KR100447268B1 - 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법 - Google Patents

Abstract

본 발명은 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법에 관한 것이다.

본 발명은 명암도 얼굴 영상을 입력하는 단계(S100)와, 임계치 탐색 방향에 따라 임계치를 생성하고 입력된 명암도 얼굴 영상을 이진화하는 단계(S200)와, 이진화 결과인 흑백 얼굴 영상으로부터 눈 쌍을 검출하는 단계(S300)와, 눈 쌍 검출에 실패했을 경우 임계치 탐색 방향을 결정하는 단계(S400), 및 눈 쌍 검출에 성공했을 경우 눈 검출 결과를 출력하는 단계(S500)로 이루어지며,

이에 따라서, 주어진 입력 명암도 얼굴 영상의 조명 상태에의 적응성을 높이고 눈 검출의 성능을 극대화할 수 있다.

Description

최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법 {METHOD FOR EYE DETECTION FROM FACE IMAGES BY SEARCHING FOR AN OPTIMAL BINARIZATION THRESHOLD}

본 발명은 얼굴 영상에서 눈을 검출하는 방법에 관한 것이며, 보다 상세히는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법에 관한 것이다.

공지된 바와 같이, 얼굴 영상으로부터 눈을 검출하는 방법으로는 명암도 영상에서 직접 추출하는 방법과 이진 영상에서 추출하는 방법이 있으며, 특징 추출의 편리성 때문에 상기 이진 영상으로부터 눈을 추출하는 방법이 더 많이 사용된다.

특히, 상기 이진 영상은 명암도 영상 또는 에지 강도 영상의 이진화 등에 의하여 생성되는데, 좋은 눈 검출 결과를 얻기 위해서는 적절한 임계치의 설정이 필수적이며, 상기 임계치를 입력 영상에 따라 변화하도록 만들기 위해서 명암도 히스토그램이나 평균 명암도로부터 임계치를 생성하는 방법을 사용할 수 있다.

그러나, 상기와 같은 임계치는 실험적으로 유도된 특정한 알고리듬 또는 공식에 의하여 계산되므로, 평균 명암도에서 크게 벗어나는 영상의 경우에는 좋지 않은 이진화 결과를 나타낼 수 있다.

또한, 종래의 기술은, 미리 정해진 임계치이든 입력 영상에 따라 계산되는 임계치이든, 하나의 명암도 얼굴 영상에 대해서는 단일 이진화 임계치를 적용하는 방식을 고수하기 때문에, 얼굴 영상의 조명 상태에 유연하게 적응하기 어려웠고, 평균적이지 않은 조명 조건 하에서 획득된 얼굴 영상에 대해서는 부적절한 임계치를 적용하게 되어 눈 검출에 실패하는 결과를 초래하는 문제점이 있었다.

따라서, 본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명의 목적은 명암도 얼굴 영상의 이진화 임계치를 이진 탐색(binary search)에 의해 생성하고, 그 이진화 결과 영상에서 눈 검출을 시도하여 실패하면 성공하거나 기각할 때까지 같은 과정을 반복하여 주어진 입력 영상에서 눈을 검출하는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법을 제공하는데 있다.

상기 본 발명의 목적을 달성하기 위한 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법은, 명암도 얼굴 영상을 입력하는 단계와, 임계치 탐색 방향에 따라 임계치를 생성하고 상기 입력된 명암도 얼굴 영상을 이진화하는 단계와, 상기 이진화 결과인 흑백 얼굴 영상으로부터 눈 쌍을 검출하는 단계와, 눈 쌍 검출에 실패했을 경우 임계치 탐색 방향을 결정하는 단계, 및 눈 쌍 검출에 성공했을 경우 눈 검출 결과를 출력하는 단계로 이루어진다.

도 1은 본 발명에 따른 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법을 도시한 흐름도,

도 2는 도 1의 임계치 생성 및 이진화 방법을 도시한 흐름도,

도 3은 도 1의 눈 쌍 검출 방법을 도시한 흐름도,

도 4는 도 3의 눈 쌍 후보 생성 방법을 도시한 흐름도,

도 5는 도 3의 눈 쌍 후보 검증 방법을 도시한 흐름도,

도 6은 도 1의 임계치 탐색 방향 결정 방법을 도시한 흐름도이다.

이하, 본 발명에 따른 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법을 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1을 참조하면, S100단계에서는 명암도 얼굴 영상을 입력한다.

S200단계에서는 임계치 탐색 방향에 따라 임계치를 생성하고 상기 입력된 명암도 얼굴 영상을 이진화한다.

S300단계에서는 상기 이진화 결과인 흑백 얼굴 영상으로부터 눈 쌍을 검출한다.

S400단계에서는 눈 쌍 검출에 실패했을 경우 임계치 탐색 방향을 결정한다.

S500단계에서는 눈 쌍 검출에 성공했을 경우 눈 검출 결과를 출력한다.

상기와 같이 이루어지는 본 발명에 따른 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법은 다음과 같이 수행된다.

도 1 내지 도 6을 참조하면, 본 발명에 따른 얼굴 영상에서 눈 검출 방법은 최초에, 명암도 얼굴 영상을 컴퓨터에 입력하고(S100), 임계치 탐색 방향에 따라 임계치를 생성하여 입력된 명암도 얼굴 영상을 이진화한다(S200).

이때, 도 2에 도시된 바와 같이, 입력된 명암도 얼굴 영상에 대하여 첫 번째 탐색일 경우에는 탐색 방향은 주어지지 않고, 대신 임계치를 초기화하며(S204), 초기 임계치는 명암도 얼굴 영상의 평균 명암도로 설정한다.

예컨대, 편의상 초기화를 0번째 탐색으로 간주하고, t_i를 i번째 탐색된 임계치(threshold), l_i를 i번째 탐색 시의 하한값(lower bound), u_i를 i번째 탐색 시의 상한값(upper bound), g_max를 가능한 최대 명암도(gray level), g_mean을 명암도 얼굴 영상의 평균 명암도라 하면 초기화는 아래의 수학식 1과 같이 수행된다.

만약, 첫 번째 탐색이 아닌 경우에는 탐색 방향이 주어지고, 새로운 임계치 탐색은 이진 탐색(binary search) 방식을 채택하여 원하는 적절한 임계치에 신속하게 근접할 수 있도록 한다(S206).

예컨대, 첫번째 탐색이 아닌 경우에, 이진화 임계치 탐색 방식은 탐색 방향에 따라 탐색 구간, 즉 하한값과 상한값을 설정하고 이 탐색 구간의 가운데에 해당하는 값을 선택하며, 실제로 i번째 탐색은 아래의 수학식 2와 같이 수행된다.

따라서, 상기 수학식 1 또는 수학식 2에 의하여 계산된 임계치를 명암도 얼굴 영상에 적용하여 이진화하면(S208), 그 결과는 흑백 얼굴 영상으로 표현된다.

즉, 명암도 얼굴 영상의 각 화소(pixel)를 임계치보다 작으면 흑화소(black pixel)로, 아니면 백화소(white pixel)로 변환한다.

상기와 같이 이진화 결과로 흑백 얼굴 영상이 표현되면, 상기 흑백 얼굴 영상으로부터 눈 쌍 검출을 시도한다(S300).

이때, 눈은 매우 유사한 두 개의 물체로 이루어진다는 사실을 활용하기 위하여 도 3에 도시된 바와 같이, 임계치 생성 및 이진화 단계의 결과인 흑백 얼굴 영상으로부터 눈 쌍을 이룰 수 있는 후보를 생성한다(S302).

만약, 눈 쌍 후보가 하나도 생성되지 않았으면 임계치를 다시 탐색하여야 하므로 임계치 탐색 결정 방향 단계로 진행하고(S304), 눈 쌍 후보가 하나라도 있으면 눈 쌍 후보가 실제 눈에 해당하는지 검증한다(S306).

만약, 검증을 통과한 눈 쌍 후보가 하나도 없으면 임계치를 다시 탐색하여야 하므로 임계치 탐색 결정 방향 단계로 진행하고(S308), 검증을 통과한 눈 쌍 후보가 하나라도 있으면 그 후보들 중에서 가장 높은 점수가 주어진 쌍을 선택하여 이를 눈 검출 결과로 출력한다(S310).

특히, 상기와 같이 흑백 얼굴 영상에서 눈 쌍 후보를 생성하려면, 도 4에 도시된 바와 같이, 흑백 얼굴 영상에서 먼저 연결 요소(connected component)를 추출한 후(S312), 각 연결 요소에 대하여 필터링(filtering)을 수행하는데(S314), 이는 눈일 가능성이 거의 없는 것들을 선택하여 더 이상 고려하지 않기 위한 것이다.

여기서 조사하는 특징은 각 연결 요소를 최소 인접 사각형(minimum bounding rectangle) 형태로 나타낼 때 포함되는 흑화소의 개수, 가로 대 세로 비율, 상대 폭, 상대 높이이다. 상기 상대 폭과 상대 높이는 각각 흑백 얼굴 영상의 폭과 높이에 대한 비율로 나타내고, 이들 특징의 값들이 일반적인 눈 영역의 특징 값에서 크게 벗어나면 필터링한다.

또한, 필터링을 통과한 요소들에 대해서는 가능한 모든 쌍을 조사하여 두 눈을 이루는 쌍이 될 수 있는 것들을 선택하고, 필터링 후에 N개의 요소가 남아있다면 모두_NC₂개의 쌍을 조사한다(S316,S318,S320,S322,S324).

먼저, 추출한 연결 요소를 하나의 쌍으로 선택하여(S316) 두 영역의 유사도와 관계된 특징들에 대하여 각 특징만으로 판단할 때 두 영역이 유사한 정도를 0과 1 사이의 유사도로 나타낸다(S318).

여기서 유사도 결정에 사용한 특징은 흑화소 개수, 영역 폭과 높이, 수직 방향으로 겹치는 정도, 수평 방향의 거리이며, 이들 중 상기 검은 픽셀 수, 영역 폭과 높이에 대해서는 두 특징 값의 비율을 직접 유사도로 사용하고, 상기 수직 방향 겹침 정도는 두 눈이 수직 방향으로 유사한 위치에 있는 점을 이용하기 위한 것이다.

또한, 두 영역이 수직 방향으로 전혀 겹치지 않으면 0, 완전히 겹치면 1로 하되, 그 사이의 경우, 두 영역이 함께 차지하는 높이에 대한 겹치는 높이의 비율을 유사도로 한다. 상기 수평 방향 거리는 두 눈이 대개 한 눈의 폭만큼 수평방향으로 떨어져 있는 점을 이용하기 위한 것이다.

따라서 유사도는 두 영역간의 수평방향 거리가 0일 때를 0, 거리가 두 영역의 최소 x값에서 최대 x값까지의 거리의 1/3일 때를 1, 2/3일 때를 0으로 하는 퍼지 멤버쉽(fuzzy membership) 형태의 함수로 결정한다.

상기와 같은 유사도 결정 과정에서 한 특징만 보더라도 두 영역이 눈 쌍이 될 수 없는 것이 확실한 경우는 눈 쌍 후보로 선택하지 않고 다음 쌍 선택으로 되돌아간다(S320). 예를 들어, 두 영역의 폭이 심한 차이가 난다거나 두 영역이 수직 방향으로 매우 멀리 떨어져 있는 경우 등이다.

반면에, 두 영역이 눈 쌍이 될 가능성이 있는 경우에는 각 쌍의 특징별 유사도를 모두 합하여 종합 유사도를 계산하고(S322), 이 값이 바로 해당 눈 쌍의 점수가 된다.

만약, 상기 모든 연결 요소들에 대한 모든 가능한 쌍이 조사되었으면 눈 쌍 후보 정보를 출력하고, 그렇지 않으면 다음 쌍 선택으로 되돌아간다(S324).

상기와 같이 눈 쌍 후보 정보가 생성되면, 생성된 각 눈 쌍 후보에 대하여 먼저 두 영역이 각각 눈 모양을 가지고 있는지를 검증한다(S306).

여기서는 미리 만들어진 눈 모양 템플릿을 이용한 템플릿 매칭(template matching) 방식을 사용한다. 즉, 도 5에 도시된 바와 같이, 어느 하나의 눈 쌍 후보를 선택하여 두 영역 중 하나라도 눈 모양을 띠고 있지 않으면 다음 눈 쌍 후보 선택으로 되돌아가고(S326,S328), 그렇지 않으면 두 영역의 모양이 서로 유사한가를 검증한다(S330).

만약, 두 영역의 모양이 유사하지 않으면 다음 눈 쌍 후보 선택으로 되돌아가고, 그렇지 않으면 검증에 성공한 것이 되며, 모든 눈 쌍 후보가 조사되었으면검증된 눈 쌍 후보 정보를 출력하고, 그렇지 않으면 다음 눈 쌍 후보 선택으로 되돌아간다(S332).

상기와 같이 검증된 눈 쌍 후보 정보가 출력되면, 상기 눈 쌍은 입력 명암도 얼굴 영상에서 검출된 눈으로 최종 출력된다(S500).

만약, 상기 눈 쌍 검출 단계(S300)에서, 눈 쌍 검출에 실패했을 경우에는 임계치 탐색 방향을 결정하여 임계치 생성 및 이진화를 다시 수행한다(S400).

이 과정은 눈 쌍 후보가 생성되지 않았거나 검증된 눈 쌍 후보가 없을 때 수행하게 되며, 이러한 경우에는 임계치가 부적절하게 설정된 것으로 판단하여 새로운 임계치 탐색을 위한 방향을 결정한다. 즉, 도 6에 도시된 바와 같이 임계치를 높일 것인가, 낮출 것인가를 결정해야 한다.

이때, 먼저 임계치 탐색 회수가 최대 반복 회수에 도달했으면 기각하고(S402), 그렇지 않으면 주어진 흑백 얼굴 영상을 분석하기 위해 상기 흑백 얼굴 영상에서 추출된 연결 요소의 평균적인 크기를 분석한다(S404,S406).

즉, 평균 크기가 너무 크게 나타나면 흑색 부분이 너무 많이 존재하는 것으로 판단할 수 있으며, 이것은 임계치가 높아서 너무 많은 화소들이 흑화소로 변환된 것이므로 임계치를 낮추어야 한다.

따라서, 이 경우에는 임계치 탐색 방향은 아래가 되고, 반대의 경우에는 임계치 탐색 방향은 위가 된다.

상술한 바와 같이 본 발명에 따른 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법은 명암도 얼굴 영상의 이진화 임계치를 이진 탐색(binary search)에 의해 생성하고, 그 이진화 결과 영상에서 눈 검출을 시도하여 실패하면 성공하거나 기각할 때까지 같은 과정을 반복하여 주어진 입력 영상에서 눈을 검출하도록 되어 있기 때문에, 주어진 입력 명암도 얼굴 영상의 조명 상태에의 적응성을 높이고 눈 검출의 성능을 극대화할 수 있는 효과가 있다.

이상에서 설명한 것은 본 발명에 따른 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (6)

1. 삭제
2. 삭제
3. 명암도 얼굴 영상을 컴퓨터에 입력하는 단계;

   임계치 탐색 방향에 따라 임계치를 생성하고 상기 입력된 명암도 얼굴 영상을 이진화하는 단계;

   상기 이진화 결과인 흑백 얼굴 영상으로부터 눈 쌍을 검출하는 단계;

   눈 쌍 검출에 실패했을 경우 임계치 탐색 방향을 결정하는 단계; 및

   눈 쌍 검출에 성공했을 경우 눈 검출 결과를 출력하는 단계를 포함하며,

   상기 눈 쌍 검출 단계는,

   상기 흑백 얼굴 영상으로부터 눈 쌍을 이룰 수 있는 후보를 생성하는 단계와,

   상기 눈 쌍 후보 생성 결과, 실제로 눈 쌍 후보가 하나라도 존재하는지 조사하는 단계와,

   상기 눈 쌍 후보가 하나라도 존재하면 눈 쌍 후보가 실제 눈에 해당하는지를 검증하는 단계와,

   검증을 통과한 눈 쌍 후보가 하나라도 존재하는지 조사하는 단계, 및

   검증을 통과한 눈 쌍 후보가 하나라도 있으면 그 후보들 중에서 최고 점수 쌍을 선택하여 눈 검출 결과로 출력하는 단계

   로 이루어지는 것을 특징으로 하는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법.
4. 제 3 항에 있어서, 상기 눈 쌍 후보 생성 단계는

   흑백 얼굴 영상에서 먼저 연결 요소를 추출하는 단계와,

   추출한 각 연결 요소를 필터링하는 단계와,

   추출한 연결 요소를 하나의 쌍으로 선택하는 단계와,

   두 영역의 특징별 유사도를 계산하는 단계와,

   상기 유사도에 따라서 선택된 하나의 쌍이 눈 쌍일 가능성이 있는지 조사하는 단계와,

   눈 쌍이 될 가능성이 있는 경우 각 쌍의 특징별 유사도를 모두 합하여 종합 유사도를 계산하는 단계, 및

   상기 추출된 연결 요소들에 대한 모든 쌍이 조사되었으면 눈 쌍 후보 정보를 출력하는 단계

   로 이루어지는 것을 특징으로 하는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법.
5. 제 3 항에 있어서, 상기 눈 쌍 후보 검증 단계는

   생성된 눈 쌍 후보 정보 중에서 하나의 눈 쌍 후보를 선택하는 단계와,

   선택된 눈 쌍 후보의 두 영역이 각각 눈 모양을 가지고 있는지 검증하는 단계와,

   선택된 눈 쌍 후보의 두 영역이 눈 모양을 가지고 있으면 상기 두 영역의 모양이 유사한지 검증하는 단계, 및

   모든 눈 쌍 후보가 조사되었으면 검증된 눈 쌍 후보 정보를 출력하는 단계

   로 이루어지는 것을 특징으로 하는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법.
6. 제 3 항에 있어서, 상기 임계치 탐색 방향 결정 단계는

   임계치 탐색 회수가 최대 반복 회수에 도달하였는지 확인하는 단계와,

   최대 반복 회수에 도달하지 않았으면 상기 흑백 얼굴 영상을 분석하기 위해 흑백 얼굴 영상에서 추출된 연결 요소의 평균적인 크기를 분석하는 단계, 및

   상기 흑백 얼굴 영상에서 추출된 연결 요소의 평균적인 크기에 따라서 임계치가 너무 높은지 결정하는 단계

   로 이루어지는 것을 특징으로 하는 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출 방법.