[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170024303A - 얼굴의 특징점 검출 시스템 및 방법 - Google Patents

얼굴의 특징점 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20170024303A
KR20170024303A KR1020150119387A KR20150119387A KR20170024303A KR 20170024303 A KR20170024303 A KR 20170024303A KR 1020150119387 A KR1020150119387 A KR 1020150119387A KR 20150119387 A KR20150119387 A KR 20150119387A KR 20170024303 A KR20170024303 A KR 20170024303A
Authority
KR
South Korea
Prior art keywords
feature point
face
eigen
region
codebook
Prior art date
Application number
KR1020150119387A
Other languages
English (en)
Inventor
최현철
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020150119387A priority Critical patent/KR20170024303A/ko
Priority to US14/989,236 priority patent/US9760763B2/en
Publication of KR20170024303A publication Critical patent/KR20170024303A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06K9/00234—
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴의 특징점 검출 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템은, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및 대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함한다.

Description

얼굴의 특징점 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING FEATURE POINTS OF FACE}
본 발명의 실시예들은 얼굴의 특징점을 검출하는 기술과 관련된다.
영상 처리 기술이 발달함에 따라 대상 이미지로부터 얼굴을 인식하는 기술이 점차 상용화되고 있다. 일반적으로, 얼굴을 인식하기 위해서는 얼굴의 특징점을 검출하여야 하며, 얼굴의 특징점을 검출하기 위해 대상 이미지와 학습용 얼굴 이미지의 패턴을 비교하는 방식이 주로 사용되었다. 그러나, 종래 기술에 따르면 얼굴의 특징점들에 대응되는 국소 패턴(local patterns)을 일일이 추출하여야 하는 번거로움이 있었으며, 이 경우 국소 패턴의 추출에 따른 시간 소요가 상당하고 국소 패턴의 저장에 따른 스토리지의 저장 공간이 낭비되는 문제점이 있었다. 또한, 종래에는 얼굴의 특징점 검출을 위해 별도의 패턴 검색 알고리즘을 사용하여야 하였으며, 이 경우 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity)가 큰 문제점이 있었다. 나아가, 종래에는 패턴 검색시 이미지의 픽셀값을 비교하는 방식을 사용하였으며, 이 경우 이미지의 밝기, 주변 조명 변화 등에 따라 특징점 검출의 정확도가 떨어지는 문제점이 있었다.
한국공개특허공보 제10-2012-0066462호(2012.06.22)
본 발명의 실시예들은 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출하기 위한 수단을 제공하기 위한 것이다.
본 발명의 실시예들에 따르면, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및 대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함하는, 얼굴의 특징점 검출 시스템이 제공된다.
상기 학습부는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure pat00001
를 획득하고, 상기
Figure pat00002
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure pat00003
를 획득하며, 상기
Figure pat00004
와 상기
Figure pat00005
를 이용하여 상기 아이겐-코드북을 생성할 수 있다.
(여기서,
Figure pat00006
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
Figure pat00007
는
Figure pat00008
내지
Figure pat00009
의 평균을 나타내며,
Figure pat00010
는
Figure pat00011
내지
Figure pat00012
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
Figure pat00013
의 아이겐 값을
Figure pat00014
라 하였을 때
Figure pat00015
임. 또한,
Figure pat00016
는
Figure pat00017
내지
Figure pat00018
의 총 개수임)
상기 학습부는, 상기
Figure pat00019
와 상기 사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
Figure pat00021
를 계산하며, 상기
Figure pat00022
를 이용하여 상기 아이겐-코드북을 생성할 수 있다.
Figure pat00023
(여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
상기 학습부는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure pat00024
를 계산하고,
Figure pat00025
다음의 수학식을 이용하여
Figure pat00026
를 계산하며,
Figure pat00027
상기 아이겐-코드북은, 상기
Figure pat00028
, 상기
Figure pat00029
, 상기
Figure pat00030
, 상기
Figure pat00031
및 상기
Figure pat00032
를 포함할 수 있다.
상기 검출부는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure pat00033
를 획득하고, 다음의 수학식을 이용하여 상기
Figure pat00034
를 상기
Figure pat00035
의 값들의 조합으로 나타냄으로써
Figure pat00036
를 획득하고, 상기
Figure pat00037
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
Figure pat00038
Figure pat00039
(여기서,
Figure pat00040
는 a와 b의 내적임)
상기 검출부는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
Figure pat00041
를 상기
Figure pat00042
의 값들의 조합으로 나타내고, 상기
Figure pat00043
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
Figure pat00044
상기 검출부는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 학습부에서, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하는 단계; 상기 학습부에서, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 단계; 검출부에서, 대상 이미지로부터 얼굴 영역을 검출하는 단계; 상기 검출부에서, 상기 얼굴 영역을 설정된 크기로 분할하는 단계; 상기 검출부에서, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하는 단계; 및 상기 검출부에서, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법이 제공된다.
상기 아이겐-코드북을 생성하는 단계는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure pat00045
를 획득하는 단계; 상기
Figure pat00046
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure pat00047
를 획득하는 단계; 및 상기
Figure pat00048
와 상기
Figure pat00049
를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함할 수 있다.
(여기서,
Figure pat00050
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
Figure pat00051
는
Figure pat00052
내지
Figure pat00053
의 평균을 나타내며,
Figure pat00054
는
Figure pat00055
내지
Figure pat00056
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
Figure pat00057
의 아이겐 값을
Figure pat00058
라 하였을 때
Figure pat00059
임. 또한,
Figure pat00060
는
Figure pat00061
내지
Figure pat00062
의 총 개수임)
상기
Figure pat00063
와 상기
Figure pat00064
를 이용하여 상기 아이겐-코드북을 생성하는 단계는, 상기
Figure pat00065
와 상기
Figure pat00066
사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
Figure pat00067
를 계산하는 단계; 및 상기
Figure pat00068
를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함할 수 있다.
Figure pat00069
(여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
상기
Figure pat00070
를 이용하여 상기 아이겐-코드북을 생성하는 단계는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure pat00071
를 계산하는 단계; 및
Figure pat00072
다음의 수학식을 이용하여
Figure pat00073
를 계산하는 단계를 포함하며,
Figure pat00074
상기 아이겐-코드북은, 상기
Figure pat00075
, 상기
Figure pat00076
, 상기
Figure pat00077
, 상기
Figure pat00078
및 상기
Figure pat00079
를 포함할 수 있다.
상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure pat00080
를 획득하는 단계; 다음의 수학식을 이용하여 상기
Figure pat00081
를 상기
Figure pat00082
의 값들의 조합으로 나타냄으로써
Figure pat00083
를 획득하는 단계; 및 상기
Figure pat00084
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함할 수 있다.
Figure pat00085
Figure pat00086
(여기서,
Figure pat00087
는 a와 b의 내적임)
상기
Figure pat00088
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
Figure pat00089
를 상기
Figure pat00090
의 값들의 조합으로 나타내는 단계; 및 상기
Figure pat00091
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함할 수 있다.
Figure pat00092
상기
Figure pat00093
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
본 발명의 실시예들에 따르면, 얼굴의 일 지점에서 국소 패턴(local patterns)을 추출하는 대신 학습용 복수의 얼굴 이미지에 기초한 통계적인 추론 기법을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출할 수 있다. 또한, 본 발명의 실시예들에 따르면, 미리 학습된 아이겐-코드북을 이용한다는 점에서 패턴 검색 알고리즘을 이용하는 종래 기술에 비해 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity) 및 스토리지의 사이즈를 최소화할 수 있다. 나아가, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법은 모바일 애플리케이션 등과 같은 낮은 성능의 하드웨어에서도 쉽게 구현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 학습부에서 아이겐-코드북을 생성하는 과정을 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 검출부에서 얼굴 영역을 검출하고 검출된 얼굴 영역을 설정된 크기로 분할하는 과정을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 검출부에서 얼굴 영역의 분할된 각 영역의 중심에서 특징점까지의 방향 벡터를 구하는 과정을 설명하기 위한 도면
도 5는 본 발명의 일 실시예에 따른 검출부에서 특징점의 위치 좌표를 결정하는 과정을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템(100)은 학습부(102) 및 검출부(104)를 포함한다.
학습부(102)는 복수의 얼굴 이미지를 기초로 아이겐-코드북(eigen-codebook)을 생성하는 모듈이다. 본 실시예들에서 아이겐-코드북이란 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 정보들의 집합으로서, 후술할 검출부(104)는 상기 아이겐-코드북을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 빠르고 정확하게 검출할 수 있다. 또한, 상기 얼굴 이미지는 아이겐-코드북을 생성하는 데 사용되는 학습용 이미지로서, 사람의 얼굴 영역이 포함될 수 있다. 상기 얼굴 이미지는 예를 들어, 입력 이미지에 에이다부스트(Adaboost) 알고리즘이 적용되어 얼굴 영역을 제외한 나머지 영역이 제거된 이미지일 수 있다. 학습부(102)는 불특정 다수의 얼굴 영역이 포함된 복수의 얼굴 이미지를 이용하여 아이겐-코드북을 생성할 수 있다. 아이겐-코드북을 생성하는 데 사용되는 얼굴 이미지의 개수는 예를 들어, 100개 내지 150개일 수 있으나 이에 한정되는 것은 아니다.
도 2를 참조하면, 학습부(102)가 아이겐-코드북을 생성하는 과정이 구체적으로 개시된다. 먼저, 학습부(102)는 복수의 얼굴 이미지 각각을 설정된 크기로 분할할 수 있다. 예를 들어, 학습부(102)는 각 얼굴 이미지의 크기를 72 X 72 픽셀로 조정하고, 각 얼굴 이미지를 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다. 여기서, 각 영역은 예를 들어, 사각형 형태으로 이루어질 수 있다. 다만, 이는 하나의 실시예에 불과하며 얼굴 이미지 내의 분할된 영역의 형태 및 개수가 이에 한정되는 것은 아니다.
다음으로, 학습부(102)는 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 여기서, 특징점 검출 알고리즘은 예를 들어, HOG(Histogram of Oriented Gradients), SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등이 될 수 있으나, 상기 특징점 검출 알고리즘에 제한되는 것은 아니다. 이하에서는, 설명의 편의상 학습부(102)가 HOG 알고리즘을 적용하여 특징 벡터를 계산하는 것으로 가정한다. 상기 HOG 알고리즘은 기울기(Gradient)와 에지(Edge) 방향의 분포를 특징으로 하는 히스토그램으로서, 학습부(102)는 HOG 알고리즘을 이용하여 얼굴 이미지의 분할된 각 영역의 특징 벡터를 계산할 수 있다. 상기 HOG 알고리즘은 에지의 방향 정보를 이용한다는 점에서 이미지의 밝기, 주변 조명 변화 등에 덜 민감한 장점이 있다. n개의 얼굴 이미지가 존재한다고 가정하였을 때,
Figure pat00094
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터(예를 들어, 히스토그램 데이터)일 수 있다. 얼굴 이미지의 분할된 각 영역에 특징점 검출 알고리즘을 적용하여 획득한
Figure pat00095
내지
Figure pat00096
의 집합을
Figure pat00097
이라 하면
Figure pat00098
은 다음과 같이 표현될 수 있다.
Figure pat00099

여기서, M은 매트릭스로서,
Figure pat00100
의 각 열(column)에는 n번째 얼굴 이미지의 특징 벡터에 관한 히스토그램 데이터가 포함될 수 있다.
다음으로, 학습부(102)는
Figure pat00101
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure pat00102
를 획득할 수 있다. PCA 알고리즘은 2차 모멘트의 통계적 정보를 이용한 선형 인식 알고리즘으로서, 학습부(102)는 PCA 알고리즘을 이용하여 아이겐-특징(Eigen-features)을 획득할 수 있다.
Figure pat00103
에 PCA 알고리즘을 적용하여
Figure pat00104
를 획득하는 과정을 순차적으로 설명하면 다음과 같다.
(1)
Figure pat00105
내지
Figure pat00106
의 평균(
Figure pat00107
)을 구한다.
(2)
Figure pat00108
내지
Figure pat00109
각각에서 상기 평균(
Figure pat00110
)을 뺀다.
(3) 공분산 행렬을 만든다.
(4) 공분산 행렬을 이용하여 아이겐 값(eigen value)과 아이겐 벡터(eigen vector)를 구한다.
(5) 아이겐 데이터(또는 아이겐 히스토그램; eigen histogram)(
Figure pat00111
내지
Figure pat00112
)을 구한다.
상기
Figure pat00113
은 다음과 같이 표현될 수 있다.
Figure pat00114

여기서,
Figure pat00115
는
Figure pat00116
내지
Figure pat00117
의 평균을 나타내며,
Figure pat00118
는
Figure pat00119
내지
Figure pat00120
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터(또는 아이겐 히스토그램)이다. 이때, 아이겐 데이터
Figure pat00121
의 아이겐 값을
Figure pat00122
라 하였을 때
Figure pat00123
이며
Figure pat00124
는
Figure pat00125
내지
Figure pat00126
의 총 개수이다. 즉, 상기 특징 벡터들을 분석하면
Figure pat00127
방향으로의 분포가 가장 크다.
Figure pat00128
는
Figure pat00129
내지
Figure pat00130
중 아이겐-코드북을 생성하는 데 사용되는 아이겐 데이터의 개수로서, 도 1에 도시된 에너지 보존 레벨(energy preserving level)에 따라 달라질 수 있다. 에너지 보존 레벨은 다음의 수학식으로 표현될 수 있다. 여기서, 에너지 보존 레벨의 분모는 아이겐 값들의 제곱의 총합이 되며, 에너지 보존 레벨의 분자는 사용하고자 하는 주성분들에 대응되는 아이겐 값들의 제곱의 총합이 된다. 이때, D = n-1 이다.
Figure pat00131

Figure pat00132
의 아이겐 값이 작을수록 노이즈에 가깝다고 가정하였을 때, 각 아이겐 값에 대응되는
Figure pat00133
내지
Figure pat00134
모두를 사용하는 경우 에너지 보존 레벨이 100%가 되며 아이겐 값이 작은 순서대로
Figure pat00135
를 하나씩 제거하는 경우 에너지 보존 레벨이 점점 작아지게 된다. 즉, 아이겐-코드북을 생성하는 데 있어서 어느 정도의 노이즈까지 제거할 것인지의 여부에 따라
Figure pat00136
가 달라질 수 있다. 상기
Figure pat00137
는 얼굴 이미지의 개수, 얼굴 이미지의 분할된 각 영역의 개수, 얼굴 이미지의 설정된 특징점의 개수 등을 고려하여 적절히 설정될 수 있다.
이와 같은
Figure pat00138
의 각 열 벡터는 다음의 수학식에서 보는 바와 같이
Figure pat00139
의 열 벡터들의 선형 조합으로 표현될 수 있다. 즉, 각 주성분들은 특징 벡터에 관한 히스토그램 데이터들의 선형 조합으로 표현될 수 있다.
Figure pat00140

여기서, ㆍ는 매트릭스 곱(multiplication)을 의미한다. 상기
Figure pat00141
는 계수 매트릭스로서, 상기
Figure pat00142
와 상기
Figure pat00143
사이의 상관 관계를 나타내며 예를 들어, 다음의 수학식을 이용하여 계산될 수 있다.
Figure pat00144

여기서,
Figure pat00145
이며(R은 실수), T는 전치행렬을 의미한다. 다만,
Figure pat00146
를 계산하는 위 수학식은 하나의 실시예에 불과하며
Figure pat00147
를 계산하는 방법이 이에 한정되는 것은 아니다.
다음으로, 학습부(102)는 상기
Figure pat00148
를 이용하여 얼굴 이미지 내의 설정된 특징점 각각에 대해 아이겐 방향 벡터(eigen directional vectors)를 계산할 수 있다. 여기서, 특징점은 예를 들어, 얼굴의 입꼬리, 눈, 코, 입 등의 특징을 잘 나타낼 수 있는 부분을 의미한다. 학습부(102)는 다음의 수학식에서 보는 바와 같이 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure pat00149
를 계산할 수 있으며, 상기
Figure pat00150
를 이용하여 아이겐 방향 벡터
Figure pat00151
를 계산할 수 있다. 여기서, R은 실수를 의미한다.
Figure pat00152

학습부(102)는 다음의 수학식을 이용하여 아이겐 방향 벡터
Figure pat00153
를 계산할 수 있다.
Figure pat00154

이와 같이, 학습부(102)는
Figure pat00155
의 각 열 벡터(주성분)에 해당하는 방향 벡터를 획득할 수 있다. 즉, 학습부(102)는 상기
Figure pat00156
를 이용하여 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타낼 수 있다.
상기 아이겐-코드북은 상기
Figure pat00157
, 상기
Figure pat00158
, 상기
Figure pat00159
, 상기
Figure pat00160
및 상기
Figure pat00161
를 포함할 수 있다.
이러한 학습부(102)의 아이겐-코드북 생성 과정은 검출부(104)의 특징점 검출 과정에 앞서 전처리 과정으로서 수행될 수 있다. 본 발명의 실시예들에 따르면, 설정된 세그먼트의 특징 벡터를 이용할 뿐 높은 복잡도(complexity)를 갖는 프리-얼라이먼트(pre-alignment) 과정을 거치지 않는다. 이에 따라, 얼굴의 특징점을 검출하는 데 걸리는 시간을 최소화할 수 있다. 또한, 본 발명의 실시예들에 따르면, 픽셀값을 이용하여 특징 벡터를 추출하는 종래 기술과 달리 HOG 알고리즘을 이용하여 얼굴 이미지의 특징 벡터를 추출할 수 있다는 점에서 조명 변화, 사람의 자세 변화 등에 덜 민감한 장점이 있으며, 이에 따라 특징점의 위치를 보다 정확하게 검출할 수 있다.
검출부(104)는 학습부(102)에서 생성된 아이겐-코드북을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 검출한다. 여기서, 대상 이미지는 특징점의 검출 대상이 되는 이미지로서, 사람의 얼굴 영역이 포함될 수 있다. 상기 대상 이미지는 예를 들어, 사람의 얼굴 영역을 촬영한 촬영 이미지 또는 사진, 사람의 얼굴 영역이 포함된 컴퓨터 그래픽 등이 될 수 있으나 대상 이미지의 종류가 이에 한정되는 것은 아니다.
도 3 내지 도 5를 참조하면, 검출부(104)가 대상 이미지의 얼굴 영역의 특징점의 위치를 검출하는 과정이 구체적으로 개시된다. 먼저, 도 3을 참조하면, 검출부(104)는 대상 이미지로부터 얼굴 영역을 검출할 수 있다. 검출부(104)는 예를 들어, 에이다부스트(Adaboost) 알고리즘을 이용하여 대상 이미지로부터 얼굴 영역을 검출할 수 있다. 다만, 이는 하나의 실시예에 불과하며, 검출부(104)가 대상 이미지로부터 얼굴 영역을 검출하는 방법이 이에 한정되는 것은 아니다. 도 3에서는 검출부(104)에서 검출된 얼굴 영역이 사각형 형태로 도시되고 있다. 다음으로, 검출부(104)는 얼굴 영역을 설정된 크기로 분할할 수 있다. 검출부(104)는 예를 들어, 얼굴 영역의 크기를 72 X 72 픽셀로 조정하고, 얼굴 영역을 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다. 다만, 이는 하나의 실시예에 불과하며 얼굴 영역 내의 분할된 영역의 형태 및 개수가 이에 한정되는 것은 아니다.
다음으로, 도 4를 참조하면, 검출부(104)는 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출할 수 있다. 검출부(104)는 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 예를 들어, 검출부(104)는 얼굴 영역의 분할된 각 영역에 HOG 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 다만, 검출부(104)가 특징 벡터를 계산하는 방법이 이에 한정되는 것은 아니며, 검출부(104)는 SIFT, SURF 등과 같은 다양한 알고리즘을 이용하여 특징 벡터를 계산할 수 있다. 도 4에서는 영역 s 에 대한 특징 벡터가
Figure pat00162
로 표현되고 있다. 이때,
Figure pat00163
는 다음의 수학식에서 보는 바와 같이 아이겐-코드북의 상기
Figure pat00164
의 값들의 선형 조합으로 나타낼 수 있다. 예를 들어, 검출부(104)는
Figure pat00165
를 아이겐 HOG 공간으로 사영(projection)시킴으로써
Figure pat00166
를 획득할 수 있다. 앞선 학습부(102)의 학습 과정에서 특징 벡터에 관한 히스토그램 데이터로부터 통계적인 히스토그램의 주성분, 방향 벡터의 주성분을 획득할 수 있으며, 임의의 특징 벡터에 관한 히스토그램 데이터는 히스토그램의 주성분으로 표현이 가능하며 이때 최소 오차를 갖는 표현 방법은 아래의 수학식과 같다. 여기서,
Figure pat00167
를 = 로 표기할 수도 있다.
Figure pat00168

이때,
Figure pat00169
를 제외한 주성분들, 즉
Figure pat00170
내지
Figure pat00171
는 서로 직교하므로,
Figure pat00172
는
Figure pat00173
에서
Figure pat00174
를 뺀 값에 각 주성분들과의 내적을 취함으로써 쉽게 획득될 수 있다. 이를 수학식으로 표현하면 다음과 같다.
Figure pat00175

여기서,
Figure pat00176
는 a와 b의 내적을 의미한다.
또한, 검출부(104)는 다음의 수학식을 이용하여 얼굴 영역의 분할된 영역 s의 중심으로부터 특징점 k까지의 방향 벡터
Figure pat00177
를 상기
Figure pat00178
의 값들의 선형 조합으로 나타낼 수 있다.
Figure pat00179

이와 같은 과정을 통해, 검출부(104)는 얼굴 영역의 분할된 영역 s의 중심으로부터 특징점 k까지의 방향 벡터
Figure pat00180
를 획득할 수 있다. 검출부(104)는 분할된 영역 s의 중심에 대한 위치 정보를 가지고 있으므로 상기 위치 정보와 방향 벡터
Figure pat00181
를 이용하여 특징점 k의 위치 좌표 (x, y)를 획득할 수 있다. 즉, 검출부(104)는 분할된 영역 s의 중심 좌표에 방향 벡터
Figure pat00182
를 더하고, 더해진 방향 벡터
Figure pat00183
의 끝점의 위치 좌표 (x, y)를 특징점 k의 위치 좌표로 결정할 수 있다.
또한, 도 5를 참조하면, 검출부(104)는 얼굴 영역의 분할된 각 영역의 중심으로부터 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 특징점 k의 최종 위치 좌표로 결정할 수 있다. 상술한 과정을 통해, 검출부(104)는 얼굴 영역의 분할된 각 영역의 중심으로부터 특징점 k까지의 방향 벡터들을 계산하고, 상기 계산된 방향 벡터들의 크기를 이용하여 특징점 k의 최종 위치 좌표를 결정할 수 있다. 도 5에 도시된 각 방향 벡터는 한 점에서 만나는 것이 보장되지 않기 때문에, 본 발명의 실시예들에서 따르면 특징점 k의 위치 좌표 (x, y)에 대한 최적해로서 도 5의 각 방향 벡터들의 크기가 가장 작게 되는 좌표를 계산하고, 상기 좌표를 특징점 k의 최종 위치 좌표로 결정할 수 있다. 특징점 k의 위치 좌표 (x, y)를 계산하기 위한 수학식은 다음과 같다.
Figure pat00184

여기서,
Figure pat00185
는
Figure pat00186
일 때
Figure pat00187
를 만족하는 계수이며, S는 얼굴 영역의 분할된 각 영역(세그먼트)의 총 개수이다. 이때, 각 방향 벡터의 크기에
Figure pat00188
가 가중치로 부여되며, 상기
Figure pat00189
는 다음의 수학식을 통해 계산될 수 있다.
Figure pat00190
Figure pat00191

즉,
Figure pat00192
는 특징 벡터
Figure pat00193
와 특징 벡터들의 주성분 표현 간의 유사도를 내적으로 계산한 값에, 얼굴 영역의 특징점과 세그먼트 간의 거리를 고려하여 지수 함수로 감소하는 값을 곱함으로써 계산될 수 있다. 여기서, d는 세그먼트 중심과 특징점 사이의 거리를 나타내며, L은 세그먼트 영역을 나타내는 사각형의 반길이(half length)를 나타낸다.
이때,
Figure pat00194
는
Figure pat00195
의 아이겐 값(eigen value)에 따라 다음과 같이 정의될 수 있다.
Figure pat00196

위 수학식은 대상 이미지의 적어도 일부가 임의의 물체에 의해 가려져 안보이는 경우(in case of occlusion)를 고려하기 위한 것으로,
Figure pat00197
의 아이겐 값
Figure pat00198
을 이용할 수 있다. 여기서,
Figure pat00199
(또는
Figure pat00200
)는 상술한
Figure pat00201
를 아이겐 HOG 공간으로 사영(projection)시킴으로써 획득되는 사영 계수일 수 있다. 검출부(104)는 예를 들어, 각 사영 계수(주성분 계수)가 아이겐 값의 제곱의 2.5배까지의 범위 내에 존재하는 경우 상기 가중치
Figure pat00202
를 그대로 사용하고, 그렇지 않으면 상기 가중치
Figure pat00203
를 0으로 하여 상기 특징점 k의 위치 좌표 (x, y)의 계산에
Figure pat00204
를 반영시키지 않을 수 있다. 즉, 위 수학식은 특징 벡터가 기존의 특징 벡터 주성분의 공간 안에 들어오는지의 여부를 판별하기 위한 것이다. 상기 2.5는 일 예시로서 사용된 계수로서, 반드시 2.5일 필요는 없으며 2. 3 또는 그 이외의 수도 가능하다.
본 발명의 실시예들에 따르면, 얼굴의 일 지점에서 국소 패턴(local patterns)을 추출하는 대신 학습용 복수의 얼굴 이미지에 기초한 통계적인 추론 기법을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출할 수 있다. 또한, 본 발명의 실시예들에 따르면, 미리 학습된 아이겐-코드북을 이용한다는 점에서 패턴 검색 알고리즘을 이용하는 종래 기술에 비해 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity) 및 스토리지의 사이즈를 최소화할 수 있다. 나아가, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법은 모바일 애플리케이션 등과 같은 낮은 성능의 하드웨어에서도 쉽게 구현이 가능하다.
즉, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법에 따르면, ANNS 및 NNS 등과 같은 종래의 검색 알고리즘을 사용하였을 때보다 얼굴의 특징점을 검출하는 데 소요되는 총 시간이 대폭 감소되며, 요구되는 스토리지 사이즈 또한 대폭 감소될 수 있고, 얼굴의 특징점 검출의 정확도 또한 종래 기술과 큰 차이를 보이지 않는다.
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
먼저, 학습부(102)는 복수의 얼굴 이미지 각각을 설정된 크기로 분할한다(S602). 예를 들어, 학습부(102)는 각 얼굴 이미지의 크기를 72 X 72 픽셀로 조정하고, 각 얼굴 이미지를 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다.
다음으로, 학습부(102)는 얼굴 이미지의 분할된 각 영역의 특징 벡터와 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북을 생성한다(S604). 학습부(102)가 아이겐-코드북을 생성하는 방법에 대해서는 앞에서 자세히 설명하였는바, 여기서는 그 자세한 설명을 생략하도록 한다.
다음으로, 검출부(104)는 대상 이미지로부터 얼굴 영역을 검출한다(S606). 검출부(104)는 예를 들어, 에이다부스트(Adaboost) 알고리즘을 이용하여 대상 이미지로부터 얼굴 영역을 검출할 수 있다.
다음으로, 검출부(104)는 얼굴 영역을 설정된 크기로 분할한다(S608).
다음으로, 검출부(104)는 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출한다(S610). 검출부(104)는 예를 들어, 얼굴 영역의 분할된 각 영역에 HOG 알고리즘을 적용하여 특징 벡터를 계산할 수 있다.
마지막으로, 검출부(104)는 검출된 특징 벡터와 아이겐-코드북을 이용하여 얼굴 영역의 특징점의 위치를 검출한다(S612). 검출부(104)가 아이겐-코드북을 이용하여 얼굴 영역의 특징점의 위치를 검출하는 방법에 대해서는 앞에서 자세히 설명하였는바, 여기서는 그 자세한 설명을 생략하도록 한다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 얼굴의 특징점 검출 시스템
102 : 학습부
104 : 검출부

Claims (14)

  1. 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및
    대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함하는, 얼굴의 특징점 검출 시스템.
  2. 청구항 1에 있어서,
    상기 학습부는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure pat00205
    를 획득하고, 상기
    Figure pat00206
    에 PCA(Principal Component Analysis) 알고리즘을 적용하여
    Figure pat00207
    를 획득하며, 상기
    Figure pat00208
    와 상기
    Figure pat00209
    를 이용하여 상기 아이겐-코드북을 생성하는, 얼굴의 특징점 검출 시스템.
    (여기서,
    Figure pat00210
    는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
    Figure pat00211
    는
    Figure pat00212
    내지
    Figure pat00213
    의 평균을 나타내며,
    Figure pat00214
    는
    Figure pat00215
    내지
    Figure pat00216
    에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
    Figure pat00217
    의 아이겐 값을
    Figure pat00218
    라 하였을 때
    Figure pat00219
    임. 또한, 는
    Figure pat00221
    내지
    Figure pat00222
    의 총 개수임)
  3. 청구항 2에 있어서,
    상기 학습부는, 상기
    Figure pat00223
    와 상기
    Figure pat00224
    사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
    Figure pat00225
    를 계산하며, 상기
    Figure pat00226
    를 이용하여 상기 아이겐-코드북을 생성하는, 얼굴의 특징점 검출 시스템.
    Figure pat00227

    (여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
  4. 청구항 3에 있어서,
    상기 학습부는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
    Figure pat00228
    를 계산하고,
    Figure pat00229

    다음의 수학식을 이용하여
    Figure pat00230
    를 계산하며,
    Figure pat00231

    상기 아이겐-코드북은, 상기
    Figure pat00232
    , 상기
    Figure pat00233
    , 상기
    Figure pat00234
    , 상기
    Figure pat00235
    및 상기
    Figure pat00236
    를 포함하는, 얼굴의 특징점 검출 시스템.
  5. 청구항 4에 있어서,
    상기 검출부는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure pat00237
    를 획득하고, 다음의 수학식을 이용하여 상기
    Figure pat00238
    를 상기
    Figure pat00239
    의 값들의 조합으로 나타냄으로써
    Figure pat00240
    를 획득하고, 상기
    Figure pat00241
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
    Figure pat00242

    Figure pat00243

    (여기서,
    Figure pat00244
    는 a와 b의 내적임)
  6. 청구항 5에 있어서,
    상기 검출부는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
    Figure pat00245
    를 상기
    Figure pat00246
    의 값들의 조합으로 나타내고, 상기
    Figure pat00247
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
    Figure pat00248

  7. 청구항 6에 있어서,
    상기 검출부는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
  8. 학습부에서, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하는 단계;
    상기 학습부에서, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 단계;
    검출부에서, 대상 이미지로부터 얼굴 영역을 검출하는 단계;
    상기 검출부에서, 상기 얼굴 영역을 설정된 크기로 분할하는 단계;
    상기 검출부에서, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하는 단계; 및
    상기 검출부에서, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
  9. 청구항 8에 있어서,
    상기 아이겐-코드북을 생성하는 단계는,
    상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure pat00249
    를 획득하는 단계;
    상기
    Figure pat00250
    에 PCA(Principal Component Analysis) 알고리즘을 적용하여
    Figure pat00251
    를 획득하는 단계; 및
    상기
    Figure pat00252
    와 상기
    Figure pat00253
    를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    (여기서,
    Figure pat00254
    는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
    Figure pat00255
    는
    Figure pat00256
    내지
    Figure pat00257
    의 평균을 나타내며,
    Figure pat00258
    는
    Figure pat00259
    내지
    Figure pat00260
    에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
    Figure pat00261
    의 아이겐 값을
    Figure pat00262
    라 하였을 때
    Figure pat00263
    임. 또한,
    Figure pat00264
    는
    Figure pat00265
    내지
    Figure pat00266
    의 총 개수임)
  10. 청구항 9에 있어서,
    상기
    Figure pat00267
    와 상기
    Figure pat00268
    를 이용하여 상기 아이겐-코드북을 생성하는 단계는,
    상기
    Figure pat00269
    와 상기
    Figure pat00270
    사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
    Figure pat00271
    를 계산하는 단계; 및
    상기
    Figure pat00272
    를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    Figure pat00273

    (여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
  11. 청구항 10에 있어서,
    상기
    Figure pat00274
    를 이용하여 상기 아이겐-코드북을 생성하는 단계는,
    다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
    Figure pat00275
    를 계산하는 단계; 및
    Figure pat00276

    다음의 수학식을 이용하여
    Figure pat00277
    를 계산하는 단계를 포함하며,
    Figure pat00278

    상기 아이겐-코드북은, 상기
    Figure pat00279
    , 상기
    Figure pat00280
    , 상기
    Figure pat00281
    , 상기
    Figure pat00282
    및 상기
    Figure pat00283
    를 포함하는, 얼굴의 특징점 검출 방법.
  12. 청구항 11에 있어서,
    상기 얼굴 영역의 특징점의 위치를 검출하는 단계는,
    상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure pat00284
    를 획득하는 단계;
    다음의 수학식을 이용하여 상기
    Figure pat00285
    를 상기
    Figure pat00286
    의 값들의 조합으로 나타냄으로써
    Figure pat00287
    를 획득하는 단계; 및
    상기
    Figure pat00288
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    Figure pat00289

    Figure pat00290

    (여기서,
    Figure pat00291
    는 a와 b의 내적임)
  13. 청구항 12에 있어서,
    상기
    Figure pat00292
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는,
    다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
    Figure pat00293
    를 상기
    Figure pat00294
    의 값들의 조합으로 나타내는 단계; 및
    상기
    Figure pat00295
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    Figure pat00296

  14. 청구항 13에 있어서,
    상기
    Figure pat00297
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 방법.
KR1020150119387A 2015-08-25 2015-08-25 얼굴의 특징점 검출 시스템 및 방법 KR20170024303A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150119387A KR20170024303A (ko) 2015-08-25 2015-08-25 얼굴의 특징점 검출 시스템 및 방법
US14/989,236 US9760763B2 (en) 2015-08-25 2016-01-06 System and method for detecting feature points of face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150119387A KR20170024303A (ko) 2015-08-25 2015-08-25 얼굴의 특징점 검출 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078656A Division KR101783629B1 (ko) 2017-06-21 2017-06-21 얼굴의 특징점 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170024303A true KR20170024303A (ko) 2017-03-07

Family

ID=58095880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150119387A KR20170024303A (ko) 2015-08-25 2015-08-25 얼굴의 특징점 검출 시스템 및 방법

Country Status (2)

Country Link
US (1) US9760763B2 (ko)
KR (1) KR20170024303A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642354A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 人脸姿态的确定方法、计算机设备、计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358163A (zh) * 2017-06-14 2017-11-17 广东数相智能科技有限公司 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
KR102202654B1 (ko) * 2018-07-25 2021-01-13 상명대학교산학협력단 안면 움직임 정보 추출 방법 및 장치
CN109117773B (zh) * 2018-08-01 2021-11-02 Oppo广东移动通信有限公司 一种图像特征点检测方法、终端设备及存储介质
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
KR20200084164A (ko) * 2019-01-02 2020-07-10 엘지이노텍 주식회사 사육장 환경 관리 장치
US10818050B2 (en) * 2019-02-08 2020-10-27 Adobe Inc. Vector graphic font character generation techniques

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066462A (ko) 2010-12-14 2012-06-22 한국전자통신연구원 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI226589B (en) * 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
WO2008073962A2 (en) * 2006-12-12 2008-06-19 Rutgers, The State University Of New Jersey System and method for detecting and tracking features in images
KR102214922B1 (ko) 2014-01-23 2021-02-15 삼성전자주식회사 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066462A (ko) 2010-12-14 2012-06-22 한국전자통신연구원 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642354A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 人脸姿态的确定方法、计算机设备、计算机可读存储介质

Also Published As

Publication number Publication date
US20170061198A1 (en) 2017-03-02
US9760763B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
KR20170024303A (ko) 얼굴의 특징점 검출 시스템 및 방법
Yang et al. Fast multiple object tracking via a hierarchical particle filter
KR101523740B1 (ko) 공간 매핑을 이용한 객체 추적 장치 및 방법
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
US9443137B2 (en) Apparatus and method for detecting body parts
KR102369413B1 (ko) 영상 처리 장치 및 방법
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US10878582B2 (en) Image processing device, image processing method and storage medium storing program for tracking an object
CN108537822B (zh) 基于加权置信度估计的运动目标跟踪方法
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
US20150356346A1 (en) Feature point position detecting appararus, feature point position detecting method and feature point position detecting program
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
Vafadar et al. A vision based system for communicating in virtual reality environments by recognizing human hand gestures
CN107194950A (zh) 一种基于慢特征分析的多人跟踪方法
Qiu et al. Feature based image registration using non-degenerate pixels
KR20150041428A (ko) 객체 검출방법 및 이를 이용한 검출장치
KR101783629B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR102014093B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR101528757B1 (ko) 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법
Shitole et al. Dynamic hand gesture recognition using PCA, Pruning and ANN
JP6540577B2 (ja) 物体認識装置
Guo et al. A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent