KR100779171B1

KR100779171B1 - 실시간 정확한 얼굴 검출 장치 및 방법

Info

Publication number: KR100779171B1
Application number: KR1020060078106A
Authority: KR
Inventors: 김대진; 전봉진; 최인호
Original assignee: 학교법인 포항공과대학교; 포항공과대학교 산학협력단
Priority date: 2006-08-18
Filing date: 2006-08-18
Publication date: 2007-11-26

Abstract

본 발명은 실시간 정확한 얼굴 검출 기술에 관한 것으로, 정지영상 또는 배경과 얼굴이 동시에 움직임이 발생하는 영상에서도 실시간 검출이 가능하고, 정면, 좌측, 우측 얼굴을 검출하는 얼굴검출 장치 및 방법을 제공한다. 이를 위하여 본 발명은 좌측, 우측 얼굴검출기를 독립적으로 구성하지 않고, 입력영상의 180도 회전에 의한 좌측 얼굴검출기만으로 좌우측 얼굴을 검출하는 검출 방법 및 얼굴검출 알고리즘에 의해서 얻어지는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능은 유지를 하면서 잘못된 얼굴검출을 최소화함으로써 정확하게 얼굴을 검출하기 위한 방법을 제공하는데 있다.

Description

실시간 정확한 얼굴 검출 장치 및 방법{Real time Robust Face Detection apparatus and method}

도 1은 본 발명에 따른 얼굴검출장치의 구성을 나타낸 블록도이다.

도 2는 도 1에 있어서 얼굴검출부의 세부적인 구성을 보여주는 블록도이다.

도 3a 및 도 3b는 본 발명에서 적용된 얼굴후보영역검출과정을 설명하는 설명도이다.

도 4는 본 발명에서 적용된 얼굴검색방법의 예를 나타낸 도면이다.

도 5a 내지 도 5c는 본 발명에 적용된 얼굴검출판단부를 설명하는 도면으로 도 5a는 얼굴로 판단된 영역에 대한 얼굴과 비얼굴 영역의 특징을 보여주기 위한 도면이고, 도 5b는 한명, 도 5c는 여러 명에 대한 얼굴검출판단부에 대한 동작을 설명하는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100...영상입력부 101...얼굴후보영역검출부

102...얼굴검출검색부 103...얼굴검출부

104...얼굴검출판단부 200...정면얼굴검출부

201...좌측얼굴검출부 202...X축플립처리부

본 발명은 얼굴검출기술에 관한 것으로서, 보다 구체적으로는 얼굴검출을 빠른 속도로 처리하고, 및/또는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능은 유지하면서 잘못된 얼굴검출을 최소화함으로써 실시간으로 정확하게 얼굴을 검출하기 위한 장치 및 방법에 관한 것이다.

얼굴검출 기술은 최근 휴먼 컴퓨터 인터페이스, 비디오 감시 시스템, 로봇의 시각 시스템, 출입통제시스템, 모바일 콘텐츠 등의 다양한 응용분야가 생겨나면서, 그 중요성이 점점 커지고 있다. 하지만, 얼굴검출 기술에 대한 많은 연구가 이루어지고 있으나, 실제 생활에 적용되기에는 아직 알고리즘의 처리속도, 신뢰성이 만족스럽지 못하다.

기존의 얼굴검출 시스템은 학습 데이터에 대하여 얼굴과 비얼굴을 잘 분류하는 분류기 개발 방법에만 의존하고 있는데, 이는 학습 데이터에 대해서는 잘 동작하지만, 학습이 되지 않은 새로운 데이터에 대해서는 성공적인 동작을 보장하지 못하고 있다. 특히, 무한적으로 다수 존재하는 비얼굴을 학습한다는 것은 거의 불가능하다. 때문에 실제 적용에서의 기존의 얼굴검출기는 많은 FAR(False accept rate; 비얼굴을 얼굴로 분류하는 오류)이 발생하고 있고, 이를 해결하기 위해서 임계치를 조정하여 FAR이 최소화되도록 조정을 하지만 동시에 FRR(False reject rate; 얼굴을 비얼굴로 분류하는 오류)가 커짐으로써 얼굴검출 성능이 저하되는 문제점이 있다. 또한 검출 속도 측면에서 빠른 검출 처리를 위해서 전체검색(full search)을 하지 않고, 일정한 픽셀간격으로 검색을 하는 방법을 적용함으로써 검출 성능 저하가 되고, 또한 움직임 영상에서 이전 영상과의 차영상으로 대강의 움직임 영역에 대해서 검출을 하는 기존의 검출 방법의 경우 정지영상 또는 배경과 얼굴이 동시에 움직임이 발생하는 영상의 경우 적용이 불가능하다는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 정지영상 또는 배경과 얼굴이 동시에 움직임이 발생하는 영상에서도 실시간 검출이 가능한 얼굴검출 장치 및 방법을 제공하는데 있다.

본 발명의 다른 기술적 과제는 정면, 좌측, 우측 얼굴을 검출하는 시스템에 적용할 때, 좌측, 우측 얼굴검출기를 독립적으로 구성하지 않고, 입력영상의 180도 회전에 의한 좌우측 얼굴검출기 중 하나의 얼굴검출기만으로 좌우측 얼굴을 검출하는 검출 방법을 제공하는데 있다.

본 발명의 또 다른 기술적 과제는 일반적인 얼굴검출 알고리즘에 의해서 얻어지는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능은 유지를 하면서 잘못된 얼굴검출을 최소화함으로써 정확하게 얼굴을 검출하기 위한 방법을 제공하는데 있다.

상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 얼굴검출방법은 입력영상으로부터 얼굴을 검출하는 얼굴검출방법에 있어서, (a) 정지영상 또는 입력영상 전체가 움직임이 발생하는 영상에서 얼굴 후보 영역을 추출하는 단계; (b) 얼굴 검출 성능을 최소화 하는 얼굴 검출 검색 단계; (c) 정면, 좌우측 얼굴 검출 단계; 및 (d) 일반적인 얼굴검출 알고리즘에서 얻어지는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능을 유지하면서 잘못된 얼굴검출을 최소화함으로써 정확하게 얼굴을 검출하는 단계를 포함하는 얼굴검출방법을 제공한다.

상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 입력영상으로부터 얼굴을 검출하는 얼굴검출장치에 있어서, 입력되는 정지영상 및 입력영상 전체에서 움직임이 발생하는 영상에서 얼굴 후보 영역을 추출하는 얼굴후보영역검출부; 얼굴 검출 성능을 거의 유지할 수 있으면서 빠른 검출 속도를 위한 얼굴검출검색부; 상기 얼굴후보영역검출부와 얼굴검출검색부의 영역에서 정면, 좌측, 우측 얼굴검출을 수행하는 얼굴검출부; 상기 얼굴검출부에서 얻어지는 얼굴 가중치 정보를 이용하여 잘못된 얼굴검출을 제거하는 얼굴검출판단부를 포함하는 얼굴검출장치를 제공한다.

상기 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명하기로 한다.

도 1은 본 발명에 따른 얼굴검출장치의 예의 구성을 나타내는 블록도로서, 크게 영상입력부(100), 얼굴후보영역검출부(101), 얼굴검출검색부(102), 얼굴검출부(103), 얼굴검출판단부(104)로 이루어진다. 얼굴검출부(103)는 도 2에서와 같이 3개의 얼굴검출부를 가지며, 정면얼굴검출부(200), 좌측얼굴검출부(201), X축 플립처리부(202)로 이루어진다. 도 1에서 도시된 얼굴검출장치의 동작을 도 2와 결부시켜 설명하기로 한다.

도 1을 참조하면, 영상입력부(100)는 정지영상의 경우 정지영상, 움직임영상의 경우 프레임 단위로 순차적으로 입력영상을 얼굴후보영역검출부(101)에 제공한다.

얼굴검출에서 다양한 얼굴크기를 검출하기 위해서는 첫째 피라미드 방식을 이용하여 입력영상의 크기를 점점 변경하고 고정된 크기의 얼굴 검출기로 검출을 수행하는 방법과, 둘째 입력영상의 크기는 고정하고 얼굴 검출기의 특징추출 필터의 크기를 점점 변경하여 검출하는 방법을 이용한다. 이때 일반적으로 매번 얼굴 검출기의 필터 크기를 변경하는 것 보다 입력 영상을 피라미드 방식으로 변경함으로써 보다 높은 검출 속도를 얻을 수 있다.

도 3a 및 도 3b를 참조하면, 얼굴후보영역검출부(101)는 얼굴의 크기에 무관한 얼굴검출을 위해서 입력영상을 피라미드식으로 크기를 점점 축소시킨 영상을 이용한다. 즉, 얼굴후보영역검출부(101)는 이전 피라미드 영상(i-1번째 피라미드 영상)과 현재 피라미드 영상(i번째 피라미드 영상)에 대하여 현재 피라미드 영상의 크기를 기준으로 이전 피라미드 영상과의 중심을 맞추어 현재 피라미드 영상 크기의 피라미드 차영상을 얻는다. 이때 얻어지는 피라미드 차영상은 단순한 배경, 물체 영역에 대해서는 차가 발생하지 않고, 얼굴, 복잡한 물체 영역에 대해서만 발생하기 때문에 얻어지는 피라미드 차영상의 차가 발생하는 영역을 얼굴후보영역으로 설정하여, 검출영역을 제한함으로써 보다 빠른 얼굴검출을 수행할 수 있으며, 정지영상 또는 전체영상이 움직임이 발생하는 영상에서도 쉽게 적용할 수 있다.

도 4는 얼굴검출검색부(102)를 설명하기 위한 것으로, 얼굴검출기를 수행함 에 있어서 수정된 2차원 로그 검색(logarithmic search)을 적용함으로써, 성능저하를 최소화 하면서 실시간으로 검출을 제공한다. 입력영상에 대하여 스캔을 수행하면서 4픽셀 간격(도 4의 1번 영역들)으로 상하좌우로 얼굴검출을 수행한다. 이때 픽셀 간격을 기준으로 윈도우(사각영역, 얼굴여부의 판별 대상이 되는 영역)를 설정하고 학습에 의해 얻어진 얼굴 검출기에 의해 얼굴여부를 판별하게 된다. 이때 그 영역에서 얼굴로 검출되면, 그 영역을 기준으로 주변 2픽셀 간격(도 4의 2번 영역들)에 대하여 검출을 수행하고, 얼굴로 판단되는 2번 영역에서 가장 높은 가중치를 보이는 영역을 기준으로 주변 1픽셀 간격(도 4의 3번 영역들)에서 검출을 수행함으로써 가장 높은 가중치를 보이는 영역의 얼굴을 전체검색(full search)를 수행하지 않고도 최적에 가까운 얼굴영역을 검출할 수 있음으로써 실시간 처리를 할 수 있다. 이때 각 단계를 증가하면서(도 4의 1->2->3) 얼굴검출부의 임계치를 점점 증가(도 4의 1(임계치의 60%), 2(임계치의 80%), 3(임계치의 100%))함으로써 처음 단계에서 검출 실패함으로써 발생하는 성능저하 현상을 최소화 할 수 있다.

도 2는 얼굴검출부(103)를 설명하기 위한 것으로, 정면 얼굴, 좌측 측면 얼굴, 우측 측면 얼굴을 검출하기 위한 얼굴검출부로써 입력영상에 대하여 얼굴후보영역검출부(101), 얼굴검출검색부(102)에 의해서 얻어지는 검색영역에서, 정면얼굴검출부(200)는 정면 얼굴을 검출하기 위한 얼굴검출부이며, 좌측얼굴검출부(201)는 좌측 측면 얼굴을 검출하기 위한 얼굴검출부이고, 우측 측면 얼굴을 검출하기 위해서는 X축 플립 처리부(202)에 의해서 입력영상을 X축을 기준으로 180도 회전함으로써 입력영상내의 우측 측면 얼굴을 좌측 측면 얼굴로 변환함으로써 좌측얼굴검출 부(201)에 의해서 검출을 수행한다. 이렇게 함으로써, 기존의 좌측, 우측 얼굴검출부를 각각 분리하여 학습, 검출기 생성을 하지 않고, 좌측얼굴검출부(201)만으로 포즈 변화를 처리할 수 있다.

도 5a는 얼굴검출판단부(104)를 설명하기 위한 것으로, 얼굴검출부(103)에서 얻어지는 얼굴검출영역을 화면에 표시를 한 것으로, 사각형영역은 얼굴검출부에 의해서 얼굴로 판단된 영역을 표시한 것으로, 실제 얼굴영역의 경우 얼굴 주변에서 얼굴로 판단되는 영역이 많으며, 원으로 표시를 한 것과 같이 실제 비얼굴영역인 주변영역에서 얼굴로 판단하는 경우는 많지 않음을 알 수 있다. 도 5a에서와 같이 실제 얼굴 영역의 경우 얼굴로 판단되는 영역이 많은 것을 알 수 있으며, 이때 각각의 영역은 얼굴로 판별되었기 때문에 높은 가중치를 가진다. 각각의 영역에서 얻어진 가중치들을 덧셈으로 누적함으로써 동일한 영역내의 가중치의 누적 값은 영역이 중첩되면 될수록 높은 값을 가지게 된다. 이러한 특징을 이용하여, 얼굴로 판별되는 영역의 가중치를 누적함으로써 실제 얼굴영역의 경우 누적된 가중치 값이 크고, 비얼굴 영역에서 얼굴로 판별되는 영역의 가중치 누적 값은 많지 않은 특징을 이용함으로써 비얼굴 영역에서 얼굴로 판별되는 영역을 제거하여 매우 정확한 얼굴검출부를 얻을 수 있다.

도 5b는 입력영상에서 얼굴검출부(103)에 의해서 얻어지는 가중치를 누적하여, 얻어진 테이블에서 임계치를 넘는 가중치 최고 누적값의 영역을 얼굴로 판단하는 얼굴검출판단부(104)의 한 사람에 대한 처리 방법이다.

도 5c는 입력영상에서 얼굴검출부(103)에 의해서 얻어지는 가중치를 누적하 여, 얻어진 테이블에서 가중치 최고 누적값을 찾고, 이 값이 임계치를 넘으면 얼굴로 판단, 그렇지 않으면 제거한 다음 판단 영역을 0으로 초기화함으로써 이후에 이 영역을 처리하지 않는다. 이때 가중치 최고 누적값이 임계치를 넘지 않을 때까지 수행함으로써 여러 사람의 얼굴영역을 검출할 수 있게 된다.

다음, 본 발명에 따른 얼굴검출방법의 성능평가를 위하여 모의 실험한 결과를 살펴보면 검출성능을 평가하기 위하여 표준 얼굴검출 데이터베이스인 MIT+CMU 데이터베이스에 대하여 얼굴검출판단부(104)를 적용하기 전에는 얼굴검출 성능 90% 기준에 대하여 103개의 비얼굴을 얼굴로 검출하는 FAR이 생겼으나, 얼굴검출판단부(104)를 적용함으로써, 동일한 얼굴검출 성능에 대하여 3개의 비얼굴을 얼굴로 판단함으로써 매우 정확한 얼굴검출기를 얻을 수 있었다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 바와 같이 본 발명에 따르면, 1)얼굴후보영역검출부에 의해 정지영상 또는 움직임영상 모두에 대해서 피라미드 영역에서의 이전 피라미드 영역과 현재 피라미드 영역과의 차영상에 의해 얼굴 후보영역을 추출함으로써 고속의 얼굴검출이 가능하다는 이점이 있다.

2)얼굴검출검색부에 의해 전체검색을 수행하기 힘든 임베디드 시스템 또는 고속 검출기를 요구하는 시스템에서 전체검색의 성능에 근접하면서도 매우 빠르게 검색할 수 있는 이점이 있다.

3)얼굴검출부에 의해 좌측, 우측 얼굴검출기를 독립적으로 가지지 않고, 좌측얼굴검출기에 의해 좌측 얼굴검출을 수행하고, 입력영상을 X축으로 180도 회전 처리 후 좌측얼굴검출기에 의해 우측 얼굴검출을 수행함으로써, 정면, 좌측, 우측 얼굴을 간단한 시스템 구성으로 우측 얼굴에 대한 추가적인 학습 과정 없이 시스템을 구성할 수 있는 이점이 있다.

4)얼굴판별부에 의해 얼굴검출부에 의해 얻어지는 얼굴 가중치 정보의 누적 테이블에 의해 비얼굴을 얼굴로 판별하는 영역에 대한 제거가 가능해짐으로써 얼굴검출성능을 일정하게 유지하면서도 비얼굴로 얼굴로 판별하는 오류를 대부분 제거되어 정확한 얼굴 검출 성능을 얻을 수 있는 이점이 있다.

본 발명은 신용카드, 현금카드, 전자주민등록증 등과, 신분확인을 필요로 하는 카드류, 단말기 접근제어, 공공장소 관제시스템, 전자사진첩 및 범죄자사진인식 등과 같이 얼굴인식을 필요로 하는 분야에 널리 적용될 수 있을 뿐 아니라, 특히 보안감시 시스템에 유용하게 적용될 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

입력영상으로부터 얼굴을 검출하는 얼굴검출방법에 있어서,

(a) 정지영상 또는 입력영상 전체가 움직임이 발생하는 영상에서 얼굴 후보 영역을 추출하는 단계;

(b) 얼굴 검출 성능을 최소화 하는 얼굴 검출 검색 단계;

(c) 정면, 좌우측 얼굴 검출 단계; 및

(d) 일반적인 얼굴검출 알고리즘에서 얻어지는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능을 유지하면서 잘못된 얼굴검출을 최소화함으로써 정확하게 얼굴을 검출하는 단계를 포함하는 얼굴검출방법.
입력영상으로부터 얼굴을 검출하는 얼굴검출장치에 있어서,

입력되는 정지영상 및 입력영상 전체에서 움직임이 발생하는 영상에서 얼굴 후보 영역을 추출하는 얼굴후보영역검출부;

얼굴 검출 성능을 거의 유지할 수 있으면서 빠른 검출 속도를 위한 얼굴검출검색부;

상기 얼굴후보영역검출부와 얼굴검출검색부의 영역에서 정면, 좌측, 우측 얼굴검출을 수행하는 얼굴검출부;

상기 얼굴검출부에서 얻어지는 얼굴 가중치 정보를 이용하여 잘못된 얼굴검출을 제거하는 얼굴검출판단부를 포함하는 얼굴검출장치.
제2항에 있어서, 상기 얼굴검출부는 정면얼굴 검출모드, 좌측 얼굴 검출모드, x축 플립 처리기 모드로 이루어지는 것을 특징으로 하는 얼굴검출장치.
제2항에 있어서, 상기 얼굴검출판단부는 가중치 누적을 이용한 얼굴판별을 수행하는 얼굴검출장치.
입력영상으로부터 얼굴을 검출하는 얼굴검출방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,

(a) 정지영상 또는 입력영상 전체가 움직임이 발생하는 영상에서 얼굴 후보 영역을 추출하는 단계;

(b) 얼굴 검출 성능을 최소화 하는 얼굴 검출 검색 단계;

(c) 정면, 좌우측 얼굴 검출 단계; 및

(d) 일반적인 얼굴검출 알고리즘에서 얻어지는 얼굴의 가중치 정보를 이용하여 얼굴검출 성능을 유지하면서 잘못된 얼굴검출을 최소화함으로써 정확하게 얼굴을 검출하는 단계를 포함하는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.