KR101385599B1

KR101385599B1 - 몽타주 추론 방법 및 장치

Info

Publication number: KR101385599B1
Application number: KR1020120107486A
Authority: KR
Inventors: 김익재; 최영주
Original assignee: 한국과학기술연구원
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2014-04-16
Also published as: US20150278997A1; KR20140040582A; US9691132B2; WO2014051246A1

Abstract

본 발명은, 몽타주 추론 방법 및 장치에 관한 것으로, 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받아, 이를 기초로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 몽타쥬 데이터베이스로부터 탐색하여, 이를 기초로 얼굴 형상 모델을 생성하여, 얼굴 인식이나 식별이 어려운 저해상도의 얼굴 영상으로부터 해당 영상 속의 얼굴과 유사한 얼굴 유형의 초기 몽타주 모델을 제공함으로써, 범죄자 검거에 기여할 수 있으며, 감시 카메라 등을 통해 촬영된 저해상도 영상을 보다 효율적으로 사용할 수 있게 한다.

Description

몽타주 추론 방법 및 장치{Method and apparatus for interfering montage}

본 발명은, 몽타주 추론 방법 및 장치에 관한 것으로, 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받아, 이를 기초로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 몽타쥬 데이터베이스로부터 탐색하여, 이를 기초로 얼굴 형상 모델을 생성하는 몽타주 추론 방법 및 장치에 관한 것이다.

본 발명은 지식경제부 및 한국산업기술평가관리원의 산업융합원천기술개발사업[과제고유번호: 2MR0270, 과제명: 3D 몽타주 생성 및 연령별 얼굴 변환 예측시스템 개발]의 일환으로 수행한 연구로부터 도출된 것이다.

범죄 사건을 해결하는 데에 있어서, 감시 카메라, CCTV, 블랙박스 등을 통해 촬영한 영상들은 중요한 단서를 제공한다. 그러나, 이러한 장치들을 통해 촬영한 영상들의 상당수는 촬영 영상에 등장하는 인물의 얼굴을 정확하게 식별해내기 어려운 경우가 많다. 대표적인 이유로는 촬영 영상 자체의 낮은 해상도, 주변 광에 따른 조명 효과, 얼굴 가림에 의한 식별 어려움 등을 들 수 있다. 이중 촬영 영상 자체가 낮은 해상도인 경우에 촬영 영상의 해상도를 개선 내지 보정하는 기술들로는 SR(Super Resolution) 기법 등이 제시되고 있다.

SR(Super Resolution, 초해상도) 기법은 카메라의 소형화에 따른 광학적 한계, CCD/CMOS 이미지 센서의 화소 수 부족으로 인한 공간 해상도의 한계, 영상 압축, 전송 및 저장 과정에서 발생하는 잡음으로 인한 비디오 시퀀스의 흐림(blur) 현상을 제거하고, 저해상도 영상을 고해상도로 보정하는 기법으로, 이러한 SR 기법의 일 실시예가 한국특허등록공보 제0504594 호 등에 개시되어 있다.

그러나, 이러한 SR 기법에도 불구하고 단순한 해상도 보정만으로는 영상에 등장하는 인물의 얼굴을 정확히 식별하기 어려운 것이 현실이다.

따라서, 저해상도로 촬영된 얼굴 영상들로부터 정확한 얼굴 형상을 복원하는 것이 아니라, 해당 얼굴 형상과 유사한 얼굴 유형을 탐색하여 얼굴 형상 모델을 추론하는 시스템이 필요하다. 이러한 얼굴 형상 모델은 촬영 영상에 등장하는 범죄자의 얼굴을 정확히 식별하기 어려운 상황에서 범죄자의 몽타주를 작성하는 데에 시작점이 될 수 있는 초기 몽타주 모델로 기능할 수 있을 것이다.

한국특허등록공보 제0504594호

본 발명이 이루고자 하는 기술적 과제는, 정확한 얼굴 인식이나 식별이 어려운 저해상도 얼굴 영상으로부터 기구축된 몽타주 데이터베이스에서 유사한 얼굴 유형을 탐색하여 얼굴 형상 모델을 추론함으로써, 범죄자의 몽타주를 작성하는 데에 시작점이 될 수 있는 초기 몽타주 모델로 활용할 수 있는 몽타주 추론 방법 및 장치를 제공하는 데에 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 이루기 위한, 몽타주 추론 방법은 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력 단계; 입력받은 사용자의 지정을 기초로 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 단계; SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨들을 갖는 계층적 구조로 분류되어 저장된 몽타주 데이터베이스로부터 SVM을 이용하여 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색하는 단계; 및 탐색된 얼굴 유형을 기초로 3차원 얼굴 형상 모델을 생성하는 몽타주 생성 단계를 포함한다.

상기의 기술적 과제를 이루기 위한, 몽타주 추론 장치는 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력부; 입력받은 사용자의 지정을 기초로 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출부; SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨들을 갖는 계층적 구조로 분류되어 저장된 몽타주 데이터베이스; 몽타주 데이터베이스로부터 SVM을 이용하여 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색하는 몽타주 데이터베이스 탐색부; 및 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성하는 몽타주 생성부를 포함한다.

상기의 기술적 과제를 이루기 위한, 몽타주 추론 방법은 얼굴 영상에 대한 배경 광원을 제거하고 얼굴 영상의 해상도를 증대시키는 사전복원 과정을 수행하는 단계; 사전복원 과정을 통해서 해상도가 증대된 얼굴 영상의 복원 성공 여부를 판단하는 단계; 해상도가 증대된 얼굴 영상의 복원이 실패했다고 판단된 경우에 한해 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력 단계; 입력받은 사용자의 지정을 기초로 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 단계; 기정의된 얼굴 유형별 특징 정보에 부합하는 얼굴 유형을 얼굴 유형별 특징 정보가 사전에 학습되어 있는 몽타주 데이터베이스로부터 탐색하는 탐색 단계; 및 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성하는 단계를 포함한다.

본 발명에 따르면, 얼굴 인식이나 식별이 어려운 저해상도의 얼굴 영상으로부터 해당 영상 속의 얼굴과 유사한 얼굴 유형의 초기 몽타주 모델을 제공함으로써, 범죄자 검거에 기여할 수 있으며, 감시 카메라 등을 통해 촬영된 저해상도 영상을 보다 효율적으로 사용할 수 있게 된다.

도 1은 본 발명의 바람직한 일 실시예에 따른 범죄자 검거를 위한 초기 몽타주 모델 제공 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따라 몽타주 추론 장치의 개념적인 구성을 도시한 블록도이다.
도 3은 본 발명의 바람직한 일 실시예에 따라 몽타주를 추론하는 방법의 흐름을 도시한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따라 저해상도 영상으로부터 초기 몽타주 모델을 도출하는 전체적인 과정을 도시한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법의 사전 복원 과정에서 얼굴 영상의 해상도를 증대시키는 과정을 예시한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법에서 사용하는 얼굴 특징 정보를 예시한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법에서 얼굴 특징 정보를 기초로 3차원 얼굴 형상 모델을 도출하는 과정을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 범죄자 검거를 위한 초기 몽타주 모델 제공 시스템(100)의 구성을 도시한 도면이다.

도 1을 참조하면, 본 실시예에 따른 초기 몽타주 모델 제공 시스템(100)은 촬영 영상 획득 장치(110) 및 몽타주 추론 장치(130)를 포함하여 구성된다. 상기한 구성요소들 이외에 다른 구성요소들이 초기 몽타주 모델 제공 시스템(100)에 포함될 수 있음은 자명하다.

촬영 영상 획득 장치(110)는 몽타주 추론 장치(130)에 얼굴 영상을 제공하는 기능을 수행하며, 소정의 위치에 장착된 카메라 장치이거나, 카메라 모듈을 포함하는 CCTV, 카메라 모듈을 통해 촬영된 영상을 저장하는 블랙박스 등이 될 수 있으며, 이들은 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명은 이에 한정되지 않는다고 할 것이다.

몽타주 추론 장치(130, Montage Inference)는 촬영 영상 획득 장치(110)로부터 탐지 대상의 얼굴이 포함된 저해상도의 얼굴 영상(120)을 획득하여, 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하여, 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색하여, 이를 기초로 얼굴 형상 모델을 생성한다.

전술한 몽타주 추론 장치(130)에 의해 생성된 얼굴 형상 모델은, 촬영 영상에 등장하는 범죄자의 얼굴을 정확히 식별하기 어려운 상황에서 범죄자의 몽타주를 작성하는 데에 시작점이 될 수 있는 초기 몽타주 모델(140)로 기능할 수 있다.

도 2는 본 발명의 바람직한 일 실시예에 따라 몽타주 추론 장치의 개념적인 구성을 도시한 블록도로, 본 실시예에 따른 몽타주 추론 장치(200)는 도 1에 도시된 초기 몽타주 모델 제공 시스템(100)의 몽타주 추론 장치(130)에 대응된다. 따라서, 도 1에 도시된 초기 몽타주 모델 제공 시스템(100)의 몽타주 추론 장치(130)에서와 동일한 사항에 대해서는 이를 참조한다.

도 2를 참조하면, 본 실시예에 따른 몽타주 추론 장치(200)는 사용자 입력부(210), 몽타주 추론부(220), 몽타주 데이터베이스(230) 및 디스플레이부(240)를 포함하여 구성되며, 이중 몽타주 추론부(220)는 얼굴 특징 정보 추출부(221), 몽타주 데이터베이스 탐색부(222) 및 몽타주 생성부(223)을 포함하여 구성될 수 있다. 상기한 구성요소들 이외에 다른 구성요소들이 몽타주 추론 장치(200) 또는 몽타주 추론부(220)에 포함될 수 있음은 자명하다.

본 실시예에 따른 사용자 입력부(210), 몽타주 추론부(220), 얼굴 특징 정보 추출부(221), 몽타주 데이터베이스 탐색부(222), 몽타주 생성부(223), 몽타주 데이터베이스(230) 및 디스플레이부(240)는 그 중 적어도 일부가 외부 단말장치나 외부 서버등과 통신하는 프로그램 모듈일 수 있으며, 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈로서 몽타주 추론 장치(200)에 포함될 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 몽타주 추론 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다.

본 실시예에 따른 몽타주 추론 장치(200)는 개인용 컴퓨터(예컨대, 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 팜톱 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같은 디지털 기기에 포함되거나 연결될 수 있다.

디스플레이부(240)는 시각적인 정보 혹은 청각적인 정보를 사용자에게 제공할 수 있으며, 시각적인 정보를 제공하기 위해, 디스플레이부(240)는 LCD(Liquid Crystal Display), TFT(Thin Film Transistor) 및 유기 EL(Organic Electroluminescence) 등을 소자로 하는 디스플레이 패널을 포함하도록 구성될 수 있다. 예컨대, 디스플레이부(240)가 터치스크린으로 구성될 경우에는 디스플레이부(240)는 동시에 사용자 입력부(210)로 동작하도록 구성될 수 있다.

디스플레이부(240)는 본 실시예에 따른 몽타주 추론 장치(200)에서 입력받거나 가공하거나 도출하는 정보 예컨대, 입력받은 얼굴 영상이나, 생성된 3차원 얼굴 형상 모델 등을 사용자에게 제공할 수 있다.

사용자 입력부(210)는 본 실시예에 따른 몽타주 추론 장치(200)에서 입력받은 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 기능을 수행한다. 이를 위해, 본 실시예에 따른 몽타주 추론 장치(200)에서는 입력받은 얼굴 영상을 디스플레이부(240)에 디스플레이하는 중에 사용자 입력부(210)를 통해 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받을 수 있다.

얼굴 특징 정보 추출부(221)는 사용자 입력부(210)를 통해 입력받은 사용자의 지정을 기초로 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출한다. 본 실시예에 따른 얼굴 특징 정보는 사용자의 지정에 따른 적어도 하나 이상의 특징점들 및 특징점들을 연결하는 선분들의 길이 정보를 포함한다.

몽타주 데이터베이스(230)는 SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨을 갖는 계층적 구조로 분류되어 저장된다.

몽타주 데이터베이스 탐색부(222)는 몽타주 데이터베이스(230)로부터 SVM을 이용하여 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색한다.

몽타주 생성부(223)은 몽타주 데이터베이스 탐색부(222)에서 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성한다. 이때, 몽타주 데이터베이스(230)에 얼굴 유형별 2차원 내지 3차원 형태의 얼굴 형상 모델이 기생성되어 저장되어 있어, 몽타주 생성부(223)는 탐색된 얼굴 유형에 대응되는 얼굴 형상 모델을 로드하는 방식으로 생성할 수도 있다.

또는, 구현예에 따라서는, 몽타주 생성부(223)는 탐색된 얼굴 유형에 대응되는 초기 얼굴 형상 모델을 디스플레이부(240)에 디스플레이하고, 디스플레이되는 중에 사용자 입력부(210)를 통해 사용자의 수정 지시에 대한 입력을 전달받아, 해당 수정 지시를 기초로 초기 얼굴 형상 모델을 수정함으로써 얼굴 형상 모델을 완성하도록 구현될 수 있다.

본 실시예에 따른 몽타주 추론 장치(200)는 사전복원부(미도시)를 더 포함하여 구성될 수도 있다.

사전복원부(미도시)는 본격적인 몽타주 추론 과정 이전에 사전 처리를 수행하는 구성요소로, 구현예에 따라서는 사전 처리를 수행한 결과 얼굴 영상이 성공적으로 복원된 경우에는 몽타주 추론을 생략하도록 구성될 수도 있다.

도 3는 본 발명의 바람직한 일 실시예에 따라 몽타주를 추론하는 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 디지털 도면 제공 방법은 도 1에 도시된 초기 몽타주 모델 제공 시스템 또는 도 2에 도시된 몽타주 추론 장치에서 수행될 수 있다. 따라서, 도 1에 도시된 초기 몽타주 모델 제공 시스템 및 도 2에 도시된 몽타주 추론 장치에서와 동일한 사항에 대해서는 이를 참조한다.

얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는다(S301).

S301 단계에서 입력받은 사용자의 지정을 기초로 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출한다(S302).

몽타주 데이터베이스로부터 S302 단계에서 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색한다(S303).

S303 단계에서 탐색된 얼굴 유형에 대응되는 얼굴 형상 모델을 생성한다(S304).

S304 단계에서 생성된 초기 얼굴 형상 모델을 디스플레이한다(S305).

S305 단계에서 디스플레이된 초기 얼굴 형상 모델에 대한 사용자의 수정 지시를 입력받는다(S306).

S306 단계에서 입력받은 수정 지시를 기초로 초기 얼굴 형상 모델을 수정하여 얼굴 형상 모델을 완성한다(S307).

도 4는 본 발명의 바람직한 일 실시예에 따라 저해상도 영상으로부터 초기 몽타주 모델을 도출하는 전체적인 과정을 도시한 도면으로, 본 실시예에 따른 초기 몽타주 모델 도출 과정은 Preprocess 과정(410)과 Mainprocess 과정(420)으로 나뉜다.

Prepocess 과정(410)은 대상 얼굴 영상의 배경광원 및 저해상도의 문제를 1차적으로 보정하는 과정으로, 본 실시예에서는 대상 얼굴 영상의 배경광원을 제거하기 위하여 다중 레티넥스 기법을 사용하고, 저해상도의 대상 얼굴 영상을 1차적으로 해상도를 개선하기 위하여 Hallucination 기법을 사용한다.

다중 레티넥스 기법은 주변의 평균 밝기 값을 이용하여 대비를 향상시킴으로써, 대상 얼굴 영상의 조명 및 배경 성분을 제거할 수 있게 한다. 좀더 구체적으로 설명하면, 레티넥스 기법은 배경성분 또는 광원에 대응되는 값인 영상의 평균적인 밝기 값을 원 영상에서 나누어 줌으로써 배경 광원에 무관한 반사 성분을 구하는 기법이다. 이때, 배경 광원은 불 균일한 분포를 가지고 장면에 조사되는 특성으로 인해 지역적으로 다르게 추정되어야 하며 이에 따라 가우시안 필터를 사용하여 구할 수 있으며, 가우시안 필터의 사이즈(가우시안 스케일)에 따라 레티넥스 기법을 적용한 결과 영상의 디테일의 증감이 결정되고, 그로 인해 결과 영상의 질이 결정되게 된다.

이때, 하나의 가우시안 스케일을 기초로 레티넥스 기법을 적용하는 경우에는, 가우시안 스케일 값인 표준편차 값을 어떻게 결정하는지가 아주 중요하게 된다. 이에 따라, 다양한 표준편차 값을 기반으로 레티넥스 기법을 적용하는 것을 다중 레티넥스(MSR, multi-scale retinex) 기법이라고 한다.

본 실시예에서는 대상 얼굴 영상의 배경광원을 제거하기 위한 알고리즘으로 다중 레티넥스 기법을 적용하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명 자체가 이에 한정되는 것은 아니라고 할 것이다.

대상 얼굴 영상의 배경광원을 제거한 결과로 도출된 얼굴 영상의 해상도를 개선하기 위해, 본 실시예에서는 할루시네이션(Hallucination) 기법을 사용하여 얼굴 영상을 구체화한다. 할루시네이션 기법의 구체적인 내용은 도 5에 대한 설명에서 후술한다.

본 실시예에서는 대상 얼굴 영상의 해상도를 1차적으로 개선하기 위한 알고리즘으로 할루시네이션 기법을 적용하고 있으나, 이는 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명 자체가 이에 한정되는 것은 아니라고 할 것이다.

Mainprocess 과정(420)은 Preprocess 과정(410)을 통해 1차적으로 복원된 얼굴 영상이 여전히 식별 또는 인식이 어려운 경우에 2차적으로 수행되는 과정으로, 본 실시예에서는 얼굴 영상의 특징 정보를 추출하여, 미리 얼굴 유형별 특징 정보가 학습되어 있는 분류기를 통해 해당 얼굴 영상에 대응되는 얼굴 유형을 탐색하고, 탐색된 얼굴 유형에 대응되는 얼굴 형상 모델을 추정함으로써, 최소한의 정보 만으로도 얼굴 영상과 최대의 유사도를 갖는 얼굴 형상 모델을 제공할 수 있다. 이처럼 제공되는 얼굴 형상 모델을 통해 용의자 후보들을 보다 효과적으로 수사할 수 있게 함으로써, 범죄자 검거에 기여할 수 있게 된다. Mainprocess 과정(420)의 구체적인 내용은 도 7에 대한 설명에서 후술한다.

도 5는 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법의 사전 복원 과정에서 얼굴 영상의 해상도를 증대시키는 과정을 예시한 도면이다.

본 실시예에 따르면, 얼굴 영상의 해상도를 1차적으로 개선시키기 위해, 할루시네이션 기법을 사용한다.

할루시네이션 기법은 얼굴의 전역적 매개 모델(global parametric model)과 지역적 비매개 모델(local nonparametric model)을 통합시킨 다단계 통계적 모델링 기법이다.

도 5를 참조하면, 전역적 얼굴(grobal faces, 501) 및 지역적 얼굴(local faces, 502)은 각각 얼굴 영상의 전체적인 형상을 나타내는 저주파 요소와, 세부적인 특징들을 나타내는 고주파 요소를 의미한다. 최적의 전역적 영상(503)은 트레이닝 데이터 집합(506)의 고유벡터(eigenvectors)로 이루어진 고유공간(eigen subspace)안에서 주어진 제약조건을 만족시키는 영상이며, 최적의 지역적 영상(504)은 패치 기반 비모수 마코프 망(patch-based nonparametric Markov network)의 에너지를 최소화시키는 최적의 전역적 영상을 추론하고, 추론된 전역적 영상과 대응되는 최적의 지역적 영상을 추론하게 된다. 이러한 일련의 과정을 거쳐 도출된 전역적 영상(503) 및 지역적 영상(504)을 서로 조합하여 해상도가 개선된 결과 영상(505)을 도출하게 된다.

도 6은 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법에서 사용하는 얼굴 특징 정보를 예시한 도면이다.

도 6을 참조하면, 본 실시예에 따른 얼굴 특징 정보는 사용자의 입력에 따라 지정된 특징점들과 이러한 특징점들을 연결하는 선분들의 길이 정보로 구성될 수 있다.

촬영 영상에 등장하는 인물의 얼굴을 정확하게 식별해내기 어려운 대표적인 이유로 촬영 영상 자체의 낮은 해상도뿐만 아니라, 촬영 영상에 포함된 얼굴이 정면 얼굴이 아닌 경우도 해당될 수 있다. 촬영 영상에 포함된 얼굴이 정면 얼굴이 아닌 경우에는 얼굴의 인식 또는 식별을 위해 사용할 수 있는 특징의 수가 많지 않게 된다.

이에 따라, 본 실시예에서는 얼굴은 대칭 형상을 이룬다는 가정 하에, 얼굴 영상의 특징점들을 대칭 형상의 한쪽 면에 대해서만 정의하고, 낮은 해상도의 영상으로부터 얼굴 영역들의 비율 정보를 추출하여, 이를 식별 또는 인식에 활용하기 위해, 얼굴 영역의 특징 정보로, 특징점들 간의 선분들의 길이 정보를 이용한다.

이때, 얼굴 영역들의 비율을 산출하는 기준이 되는 길이를 특징점 0과 10으로 이루어지는 선분의 길이로 하고 해당 길이로 모든 선분들의 길이를 나누어 해당 선분의 길이를 정규화한다. 정규화된 선분의 길이는 각 얼굴을 나타내는 고유 정보가 되어 얼굴들 간의 분류 및 비교가 가능하게 해준다.

도 6에 예시된 선분들 중에서 얼굴의 외곽 특징을 나타내는 선분 L4.3, L5.2, L7.2, L9.1은 촬영 영상에 포함된 얼굴이 정면 얼굴인 경우에 한해 얼굴의 고유정보로서 추가적으로 포함될 수 있다.

도 7은 본 발명의 바람직한 일 실시예에 따른 몽타주 추론 방법에서 얼굴 특징 정보를 기초로 얼굴 형상 모델을 도출하는 과정을 설명하기 위한 도면이다.

도 7을 참조하면, 메인 프로세스는 사전에 수행되는 학습 단계(Learning Procees, S710), 이러한 학습 단계의 결과로서 획득하게 되는 계층적 분류기(Hierarchy classifier, 703)를 통해, 입력된 얼굴 영상(701)에 대응되는 얼굴 유형을 탐색하여, 해당 얼굴 영상과 가장 유사한 3차원 얼굴 형상 모델(705)을 도출하는 추론 단계(Inference Process, S720)를 포함한다.

학습 단계(S710)에서 사용되는 트레이닝 데이터 세트(702)는 탐지 대상 얼굴이 속한 집단 예컨대, 한국인들의 얼굴들을 몽타주로 제작한 얼굴 형상 모델들을 사용한다. 이러한 얼굴 형상 모델들은 얼굴 구조를 나타내는 선그래프(wireframe) 정보를 갖는다.

이에 따라, 기정의된 특징점과 대응되는 선그래프 좌표값을 이용하여 SVM(Support Vector Machine)을 통해 탐지 대상 얼굴이 속한 집단의 얼굴 유형을 계층적으로 분류한다.

SVM은 주어진 데이터들을 두 개의 클래스로 분류하는 선형 초평면(hyperplane)을 찾음에 있어서, 해당 데이터들과 가장 거리가 먼 초평면을 찾는 학습 알고리즘이다.

다른 학습 알고리즘은 단순하게 데이터들을 분리할 수 있는 초평면을 찾는 리것에 불과한 데에 반해, SVM은 데이터들을 분리할 수 있는 수많은 후보평면들 가운데에 마진(margin)이 최대가 되는 초평면을 찾는다는 점에서 다른 학습 알고리즘과 구별된다. 여기에서 마진(margin)이란, 초평면으로부터 각 점(데이터)에 이르는 거리의 최소값을 말하는데, 이러한 마진을 최대화하면서 각 점(데이터)들을 두 클래스(1, -1)로 분류하려면, 클래스 1에 속하는 점들과의 거리 중 최소값과 클래스 -1에 속하는 점들과의 거리중 최소값이 동일하도록 초평면이 위치해야 하며, 이러한 초평면을 maximum-margin hyperplane이라 한다.

이처럼 SVM은 이러한 maximum-margin hyperplane을 이용하여 현재 저장된 데이터들을 두 클래스로 분류하며(classification), 새로 입력된 데이터가 이렇게 분류된 두 클래스 중 어디에 속하는지를 제공할 수 있다(prediction).

본 실시예에서는 이러한 SVM 기반의 클래스 분류 과정을 반복적으로 수행하여, 탐지 대상 얼굴이 속한 집단의 얼굴 유형을 계층적으로 다단계 분류하여 이처럼 분류된 얼굴 유형별 특징 정보를 복수의 레벨들을 갖는 계층적 구조로 몽타주 데이터베이스에 저장한다.

얼굴 유형은 몇가지 대표적인 클래스로 분류될 수 있지만, 본 실시예에 따른 몽타주 추론 방법에서는 특정 얼굴 유형을 선택하는 것을 목적으로 하는 것이 아니라, 얼굴 유형별 특징 정보를 기초로 가장 유사한 얼굴 형상 모델을 생성하는 것을 목적으로 하므로, SVM 기반의 클래스 분류 과정을 반복적으로 수행하여 복수의 레벨들을 갖는 계층적 구조로 얼굴 유형을 분류하는 것이 바람직하다.

추론 단계(S720)에서는 전처리 과정을 거쳐 입력된 얼굴 영상(701)에 대하여 기정의된 항목의 특징점을 사용자의 입력 등에 의해 설정하고, 이처럼 설정된 특징점들을 기초로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 계층적 분류기(Hierarchy classifier, 703)에 입력한다.

얼굴 특징 정보를 입력하면 계층적 분류기(Hierarchy classifier, 703)의 SVM을 통해 해당 얼굴 특징 정보가 계층적 분류기의 계층적 구조의 어떤 클래스에 속하는지를 획득하고, 획득된 클래스 정보(704)를 기초로, 기구축된 몽타주 데이터베이스에서 얼굴 영상(701)에 대응되는 얼굴 유형을 탐색하여, 해당 얼굴 영상과 가장 유사한 얼굴 형상 모델(705)을 도출한다.

이와 같은 과정을 통해 도출된 얼굴 형상 모델은 촬영 영상에 등장하는 범죄자의 얼굴을 정확히 식별하기 어려운 상황에서 범죄자의 몽타주를 작성하는 데에 시작점이 될 수 있는 초기 몽타주 모델로 기능할 수 있게 된다. 이에 따라, 본 발명에 따른 몽타주 추론 방법 및 장치는 범죄자 검거에 기여할 수 있으며, 감시 카메라 등을 통해 촬영된 저해상도 영상을 보다 효율적으로 사용할 수 있게 한다.

본 발명에 따른 몽타주 추론 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims

얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력 단계;
상기 입력받은 사용자의 지정을 기초로 상기 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 단계;
SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨들을 갖는 계층적 구조로 분류되어 저장된 몽타주 데이터베이스로부터 상기 SVM을 이용하여 상기 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색하는 단계; 및
상기 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성하는 몽타주 생성 단계를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제1항에 있어서,
상기 얼굴 특징 정보는 상기 사용자의 지정에 따른 적어도 하나 이상의 특징점들 및 상기 특징점들을 연결하는 선분의 길이 정보를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제1항에 있어서,
상기 몽타주 생성 단계는
상기 탐색된 얼굴 유형에 대응되는 초기 얼굴 형상 모델을 생성하는 단계;
상기 생성된 초기 얼굴 형상 모델을 디스플레이하고, 상기 디스플레이된 초기 얼굴 형상 모델에 대한 사용자의 수정 지시를 입력받는 단계; 및
상기 입력받은 수정 지시를 기초로 상기 초기 얼굴 형상 모델을 수정하여 얼굴 형상 모델을 완성하는 단계를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제1항에 있어서,
상기 사용자 입력 단계 이전에, 상기 얼굴 영상에 대한 배경 광원을 제거하고, 상기 얼굴 영상의 해상도를 증대시키는 사전복원 과정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제4항에 있어서,
상기 사용자 입력 단계 이전에, 상기 사전복원 과정을 통해서 상기 해상도가 증대된 얼굴 영상의 복원 성공 여부를 판단하는 단계를 더 포함하고,
상기 해상도가 증대된 얼굴 영상의 복원이 실패했다고 판단된 경우에 한해 상기 사용자 입력 단계를 수행하는 것을 특징으로 하는 몽타주 추론 방법.
얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력부;
상기 입력받은 사용자의 지정을 기초로 상기 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출부;
SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨들을 갖는 계층적 구조로 분류되어 저장된 몽타주 데이터베이스;
상기 몽타주 데이터베이스로부터 상기 SVM을 이용하여 상기 추출된 얼굴 특징 정보에 부합하는 얼굴 유형을 탐색하는 몽타주 데이터베이스 탐색부; 및
상기 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성하는 몽타주 생성부를 포함하는 것을 특징으로 하는 몽타주 추론 장치.
제6항에 있어서,
상기 얼굴 특징 정보는 상기 사용자의 지정에 따른 적어도 하나 이상의 특징점들 및 상기 특징점들을 연결하는 선분의 길이 정보를 포함하는 것을 특징으로 하는 몽타주 추론 장치.
제6항에 있어서,
상기 얼굴 영상에 대한 배경 광원을 제거하고, 상기 얼굴 영상의 해상도를 증대시키는 사전복원부를 더 포함하는 것을 특징으로 하는 몽타주 추론 장치.
얼굴 영상에 대한 배경 광원을 제거하고 상기 얼굴 영상의 해상도를 증대시키는 사전복원 과정을 수행하는 단계;
상기 사전복원 과정을 통해서 상기 해상도가 증대된 얼굴 영상의 복원 성공 여부를 판단하는 단계;
상기 해상도가 증대된 얼굴 영상의 복원이 실패했다고 판단된 경우에 한해 상기 얼굴 영상 내의 적어도 하나 이상의 지점에 대한 사용자의 지정을 입력받는 사용자 입력 단계;
상기 입력받은 사용자의 지정을 기초로 상기 얼굴 영상의 식별을 위해 기정의된 항목의 얼굴 특징 정보를 추출하는 단계;
상기 기정의된 얼굴 유형별 특징 정보에 부합하는 얼굴 유형을 얼굴 유형별 특징 정보가 사전에 학습되어 있는 몽타주 데이터베이스로부터 탐색하는 탐색 단계; 및
상기 탐색된 얼굴 유형을 기초로 얼굴 형상 모델을 생성하는 몽타주 생성 단계를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제9항에 있어서,
상기 얼굴 특징 정보는 상기 사용자의 지정에 따른 적어도 하나 이상의 특징점들 및 상기 특징점들을 연결하는 선분의 길이 정보를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제9항에 있어서,
상기 몽타주 생성 단계는
상기 탐색된 얼굴 유형에 대응되는 초기 얼굴 형상 모델을 상기 몽타주 데이터베이스로부터 로드하는 단계;
상기 로드된 초기 얼굴 형상 모델을 디스플레이하고, 상기 디스플레이된 초기 얼굴 형상 모델에 대한 사용자의 수정 지시를 입력받는 단계; 및
상기 입력받은 수정 지시를 기초로 상기 초기 얼굴 형상 모델을 수정하여 얼굴 형상 모델을 완성하는 단계를 포함하는 것을 특징으로 하는 몽타주 추론 방법.
제9항에 있어서,
상기 몽타주 데이터베이스는 SVM(Support Vector Machine)을 통해 얼굴 유형별 특징 정보가 학습되어 복수의 레벨들을 갖는 계층적 구조로 분류되어 저장된 것을 특징으로 하는 몽타주 추론 방법.
제9항에 있어서,
상기 탐색 단계는
SVM(Support Vector Machine)을 이용하여 상기 추출된 얼굴 특징 정보에 부합하는 상기 몽타주 데이터베이스의 계층적 구조에 속한 클래스를 탐색하는 단계; 및
상기 탐색된 클래스에 대응되는 얼굴 유형을 상기 추출된 얼굴 특징 정보에 부합하는 얼굴 유형으로 도출하는 단계를 포함하는 것을 특징으로 하는 몽타주 추론 방법.