KR101198322B1 - 얼굴 표정 인식 방법 및 시스템 - Google Patents
얼굴 표정 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR101198322B1 KR101198322B1 KR1020110096332A KR20110096332A KR101198322B1 KR 101198322 B1 KR101198322 B1 KR 101198322B1 KR 1020110096332 A KR1020110096332 A KR 1020110096332A KR 20110096332 A KR20110096332 A KR 20110096332A KR 101198322 B1 KR101198322 B1 KR 101198322B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- facial
- appearance
- aam
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 230000014509 gene expression Effects 0.000 description 12
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
본 발명은 얼굴 표정 인식 방법 및 시스템에 관한 것으로서, 보다 상세하게는, 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 단계; 상기 컨벌루션된 영상에서 얼굴 영역을 추출하는 단계; 상기 얼굴 영역에서 외형(appearance) 파라미터와 형상(shape)의 파라미터를 추출하는 단계; 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 합성하는 단계; 및 상기 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 외형(appearance)과 형상(shape)의 파라미터를 갱신하여 얼굴 표정을 인식하는 단계를 포함한다. 이에 의해, 영상의 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 눈, 코, 입 등과 같은 국지적인 영역의 특징은 강화하고 볼과 같이 반복되는 불필요한 정보를 담고 있는 외형 정보를 약화시킴으로써, 영상에서 불필요한 정보를 제거할 수 있을 뿐만 아니라 객체 특징 추출을 통해 조명으로 제거되는 중요정보를 유지할 수 있다.
Description
본 발명은 얼굴 표정 인식 방법 및 시스템에 관한 것으로서, 보다 상세하게는 AAM(Active Appearance Model)에 적용되는 영상에 DoG(Difference of Gaussian) 커널을 적용하여 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 눈, 코, 입 등과 같은 국지적인 영역의 특징은 강화하고 볼과 같이 반복되는 불필요한 정보를 담고 있는 외형의 정보를 약화시킴으로써, 영상에서 불필요한 정보를 제거할 수 있을 뿐만 아니라 객체 특징 추출을 통해 조명으로 제거되는 중요정보를 유지할 수 있는 얼굴 표정 인식 방법 및 시스템에 관한 것이다.
획득된 이미지로부터 사용자의 표정을 추출하기 위한 다양한 기술이 소개되어 있다. 현재 소개된 얼굴의 특징 검출에 관한 기술로는, 에지 정보를 이용한 방법, 휘도(Luminance), 색차(Chrominance), 얼굴의 기하학적인 외형 및 대칭에 기반한 접근법, 주성분 분석법(PCA; Principal Component Analysis), 템플릿 매칭을 이용한 방법, 얼굴의 곡률을 이용하는 접근법, 신경망을 이용하는 방법 등이 있다.
에지 정보를 이용하는 방법은 대부분 이진화 과정을 거쳐야 하므로 조명이 불균일할 경우 에지 정보 손실로 인해 안정적인 결과를 산출해내기가 어렵다. 또한, 주성분 분석법은 실시간 구현이 용이한 장점이 있으나 영역분리와 배경영상에 민감하며, 신경망에 의한 접근방식은 제한된 조건하에서는 안정적으로 작동할 수 있으나, 새로운 입력을 학습할 때 네트워크 변수의 조정이 어렵고 시간이 많이 걸린다는 단점이 있다.
얼굴의 특징 검출에 관한 기술을 더욱 확장하여 평면상의 2차원 영상에 포함된 얼굴영역을 인식한 후, 이를 통해 3차원 영상으로 구현하기 위한 연구도 활발하게 진행되고 있다. 이러한 연구에서의 대부분은 4방향, 8방향, 또는 16방향 등에서의 여러 방향에 대한 2차원 영상을 합성하여 파노라마 형태의 얼굴 영상을 텍스처 영상으로 사용함으로써, 특정 사람의 3차원 얼굴모델을 생성한다.
이러한 연속 얼굴 표정인식 방법 중 대표적 모델로는 AAM(Active Appearance Model)이 있다. AAM은 얼굴 형상(model) 벡터와 얼굴 표면 질감(texture) 벡터에 주성분 분석(PCA)을 적용하여 다양한 사람의 얼굴 통계를 이용하여 만들어진 표본 얼굴 모델에 워핑(warping)하여, 표본 얼굴의 데이터와 정규화된 영상(2D)의 얼굴 데이터의 오차 제곱을 최소화시킨다. 이 데이터를 이용하여 얼굴의 특징점을 찾는다. AAM은 속도 계산을 빨리 할 수 있고 트레킹(Tracking)이 가능하다는 장점이 있다.
그러나, AAM은 조명 변화가 심한 모바일 환경에서 성능이 많이 떨어지는 단점이 있다. 그 이유는 AAM을 갱신할 때 사용되는 최적화된 파라미터를 계산하기 위해서는 모델과 입력영상 간의 오차를 사용하게 되는데, 입력영상과 트레인 셋의 영상이 조명 및 포즈 변화와 같은 이류로 유사하지 않으면 오차가 커져 파라미터를 계산하는데 어려움을 주기 때문이다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, AAM(Active Appearance Model)에 적용되는 영상에 DoG(Difference of Gaussian) 커널을 적용함으로써, 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 조명으로 인해 제거되는 중요정보를 유지할 수 있는 얼굴 표정 인식 방법 및 시스템을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명은 얼굴 표정 인식 방법은, 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 단계; 상기 컨벌루션된 영상에서 얼굴 영역을 추출하는 단계; 상기 얼굴 영역에서 외형(appearance) 파라미터와 형상(shape)의 파라미터를 추출하는 단계; 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 합성하는 단계; 및 상기 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 외형(appearance)과 형상(shape)의 파라미터를 갱신하여 얼굴 표정을 인식하는 단계를 포함한다.
여기서, 상기 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 단계는, 서로 다른 표준편차를 갖고 있는 두 개의 가우시안(Gaussian) 커널로 영상을 각각 컨벌루션하여 블러드(Blurred)영상을 만든 후 두 영상의 차 영상을 계산하는 단계를 포함할 수 있다.
그리고, 상기 외형(appearance) 파라미터와 형상(shape)의 파라미터를 EFM(Enhanced Fisher Model) 분류방법으로 처리하여 얼굴 표정을 분류하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명은 얼굴 표정 인식 시스템은, 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 DoG 커널; 및 상기 컨벌루션된 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역에서 외형(appearance) 파라미터와 형상(shape)의 파라미터를 추출하여, 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 합성한 후, 상기 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 외형(appearance)과 형상(shape)의 파라미터를 갱신하여 얼굴 표정을 인식하는 AAM 모델링부를 포함한다.
여기서, 상기 DoG 커널은, 서로 다른 표준편차를 갖고 있는 두 개의 가우시안(Gaussian) 커널로 영상을 각각 컨벌루션하여 블러드(Blurred) 영상을 만든 후 두 영상의 차 영상을 계산하여 상기 AAM 모델링부에 제공할 수 있다.
그리고, 상기 외형(appearance) 파라미터와 형상(shape)의 파라미터를 EFM(Enhanced Fisher Model) 분류방법으로 처리하여 얼굴 표정을 분류하는 EFM 분류기를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 얼굴 표정 인식 방법 및 시스템은, AAM(Active Appearance Model)에 적용되는 영상에 DoG(Difference of Gaussian) 커널을 적용함으로써 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 눈, 코, 입 등과 같은 국지적인 영역의 특징은 강화하고 볼과 같이 반복되는 불필요한 정보를 담고 있는 형상의 정보를 약화시킬 수 있다.
또한, 본 발명의 얼굴 표정 인식 방법 및 시스템은, AAM(Active Appearance Model)에 적용되는 영상에 DoG(Difference of Gaussian) 커널을 적용함으로써 영상에서 불필요한 정보를 제거한 후 객체 특징을 추출하여 조명으로 인해 제거되는 중요정보를 유지할 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 방법의 개념도,
도 2는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도,
도 3 및 도 4는 조명이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 실험 결과,
도 5 및 도 6은 표정이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 실험 결과,
도 7은 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 블록도,
도 8은 본 발명의 다른 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도,
도 9는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 사용 상태도이다.
도 2는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도,
도 3 및 도 4는 조명이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 실험 결과,
도 5 및 도 6은 표정이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 실험 결과,
도 7은 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 블록도,
도 8은 본 발명의 다른 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도,
도 9는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 사용 상태도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예에 따른 얼굴 표정 인식 방법 및 시스템에 대해서 상세하게 설명한다. 다만, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 방법의 개념도이다.
도 1에 도시된 바와 같이, 본 발명은 입력 영상(A)를 DoG(Difference of Gaussian) 커널로 컨벌루션하여 컨벌루션된 영상(B)를 생성한다. 이후, 컨벌루션된 영상(B)에 대해 AAM(Active Appearance Model) 영상 피팅을 수행하여 AAM 모델(C)을 생성한 후, 트레이닝 셋(training set)을 적용하여 표정이 인식된 출력 영상(D)를 출력한다.
DoG 커널(DoG Kernel)은 그레이(Gray) 영상의 노이즈를 제거하고 특징을 검출하는 영상처리 알고리즘이다. DOG 커널은 서로 다른 표준편차를 갖고 있는 두 개의 가우시안(Gaussian) 커널로 영상을 각각 컨벌루션하여 블러드(Blurred)영상을 만든 후 두 영상의 차 영상을 계산하는 것이다. 이러한 DoG 커널은 다음의 [수학식 1]과 같이 정의할 수 있다.
[수학식 1]
식(5.16)에서 L(x, y, kσ)와 L(x, y, σ)는 서로 다른 표준 편차(Standard Deviation)인 kσ와 σ를 갖는 가우시안 커널이다.
DOG 커널은 영상 특징 검출을 목적으로 하는 알고리즘으로서, 디지털 영상에서 에지(Edge) 및 기타 다른 디테일의 가시성을 증진하는데 유용하게 사용된다. DoG 커널은 가우시안 필터링을 통해 노이즈를 감소시키기 때문에 영상에서 불필요한 정보를 제거할 수 있을 뿐만 아니라 객체 특징 추출을 통해 조명으로 제 되는 중요정보를 유지시켜 줄 수 있다. 특히, DoG 커널을 얼굴 영상에 적용하게 되면 눈, 코, 입 등과 같은 국지적인 형상의 특징은 강화되고 볼과 같이 반복되는 불필요한 정보를 담고 있는 형상의 정보를 약화시킬 수 있다.
DoG 커널로 컨벌루션된 영상(B)는 얼굴 영상 중 많은 정보를 담고 있는 국지적인 형상, 예컨대, 눈, 코, 입 등의 특징부분의 형상이 강화되어 얼굴형상이 인식된다.
이렇게 컨벌루션된 영상(B)에 대해, AAM 피팅을 수행하여 얼굴 표정을 인식할 수 있다.
AAM에 DoG 커널이 적용되면 AAM의 식은 다음과 같이 [수학식 2]로 정의될 수 있다.
[수학식 2]
위 식에서 *은 DoG 커널이 적용된 영상, 즉, 컨벌루션된 영상(B)를 뜻한다.
AAM에서 사용하는 피팅 알고리즘은 얼굴특징 요소를 추출하고, 추출한 얼굴특징 요소를 토대로 통계학적 얼굴모델을 변환하여 얼굴영역과 매칭하는 합성 얼굴 영상을 모델링 한다. 이 후, 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 외형(appearance)과 형상(shape)의 파라미터를 반복적으로 갱신하며 모델과 영상 간의 오차를 줄여나간다.
이에, 입력 영상의 외형 파라미터와 형상 파라미터가 측정되었으면 좌표 프레임 위에 입력 영상을 맞추고 현재 모델 인스턴트(C)와 트레이닝 셋을 컨벌루션하여 AAM이 피팅하는 영상 사이의 오차영상을 구해 오차를 줄이며 최적화하는 것이다. 피팅 알고리즘은 오차가 앞에서 말한 임계값을 만족하거나 지정된 횟수만큼 반복(interation)할 때까지 계속해서 반복 수행하며, 이에, 오차가 최적화된 얼굴 표정을 인식할 수 있다.
이와 같이 본 발명은 AAM에 DoG 커널을 적용함으로써, 얼굴 영상의 객체 내에서 많은 정보를 담고 있는 국지적인 형상, 예컨대, 눈, 코, 입 등의 형상의 특징은 강화하고, 볼과 같이 불필요한 정보를 담고 있는 형상의 정보는 약화시킨 후, AAM 피팅 알고리즘을 수행함으로써 AAM 피팅 알고리즘의 성능을 높일 수 있다.
도 2는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도이다.
본 발명의 실시예에 따른 얼굴 표정 인식 시스템은 얼굴 표정인식을 위해 AAM 모델을 사용하고 AAM 모델 생성에 쓰인 영상을 사용하여 EFM(Enhanced Fisher Model) 모델을 트레이닝 하였다(S110). 얼굴 표정 데이터가 저장되는 AAM 모델에는 여러 인종적 배경의 남성과 여성의 얼굴 표정 영상 시퀀스가 저장된다. 예컨대, 기쁨, 놀람, 화남, 혐오, 두려움, 슬픔 등의 표정 영상이 저장될 수 있다. EFM 모델 트레이닝에는 AAM 모델 생성에 사용된 영상을 적용할 수 있다. EFM은 표준 FLD(Fisher linear discriminant) 기반 방식에 대한 성능을 개선하기 위해 소개되었으며, 최초의 EFM은 차원 축소를 위해 PCA(Principle Component Analysis)에 적용되어 축소된 PCA 하위공간을 식별하는데 사용되었다. 표정인식 시스템에서 EFM은 얼굴 표정 사이의 특징들을 결정하여 얼굴 표정을 분류한다.
얼굴 표정 인식 시스템에 얼굴 표정 인식 시스템에 인식 대상이 되는 얼굴을 포함하는 영상이 입력된다(S112).
입력된 영상에서 얼굴을 인식한다(S114). 여기서, 얼굴 인식에는 DoG 커널이 적용된다. DoG 커널을 이용하여 입력된 영상을 컨벌루션 함으로써 영상에 포함된 에지(Edge) 및 기타 다른 디테일의 가시성이 증가되어 영상에 포함된 얼굴이 정확히 인식될 수 있다.
이 후, 인식된 얼굴 영상에 대해 AAM 영상 피팅을 시작한다(S116).
AAM 영상 피팅 과정을 통해 영상으로부터 얼굴의 외형(appearance)과 형상(shape)의 파라미터를 추출한다(S118, S120).
추출된 얼굴의 외형(appearance)과 형상(shape)의 파라미터를 EFM 분류기를 이용하여 처리한다(S122). EFM은 얼굴 표정 사이의 특징들을 결정하여 얼굴 표정을 분류한다.
EFM 분류기에 의해 표정이 분류되면(S124), 감정(expression)과 형상(shape)이 반영된 트레이닝 셋을 입력 영상과 컨벌루션 한다(S126).
이후, 외형(appearance)과 형상(shape)의 파라미터를 특정 임계값을 만족할 때까지 반복적으로 갱신하며 모델과 영상 간의 오차를 줄여나간다. 예를 들어, 현재 형상의 파라미터가 측정되었으면 모델 좌표 프레임 위에 입력영상을 맞추고 현재 모델 인스턴트와 AAM이 피팅하는 영상 사이의 오차영상을 구해 오차를 줄이며 최적화하는 것이다. 피팅 알고리즘은 오차가 앞에서 말한 임계값을 만족하거나 지정된 횟수만큼 반복(interation)할 때까지 계속해서 반복 수행하게 된다.
도 3 및 도 4는 조명이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 그래프이다.
도 3은 조명이 변화하는 경우 AAM 피팅 결과를 표시한 것으로써, AAM만 적용하였을 경우(1-1), DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우(1-2), Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우(1-3)의 표정 인식 결과를 도시한 것이다.
도 3에 도시된 바와 같이 DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우(1-2)와 Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우(1-3)에 보다 효과적으로 AAM 피팅이 이루어짐을 확인할 수 있다.
도 4는 조명이 변화하는 경우 종래기술에 따른 표정인식 결과와 본 발명에 따른 표정인식 결과의 정확도를 그래프로 나타낸 것이다.
도시된 그래프는 조명이 변화하는 환경에서 촬영된 영상을, AAM만 적용하였을 경우, DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우, Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우로 표정 인식 결과의 정확도를 계산하여 그래프에 도시한 것이다.
각 인식 결과의 정확도를 평가하기 위하여 RMS error를 이용하여 형상(Shape)과 Ground Truth 사이에 표준편차와 평균 에러를 계산하였다. 또한 각 AAM의 성능을 보다 정확하게 측정하기 위하여 평균 에러에 대응하는 영상의 수를 누적 계산하였다.
도 4의 그래프에 표시된 바와 같이, DoG 커널과 Canny Edge Detector가 적용된 AAM이 더 작은 에러율에서 더 많은 영상이 누적됐음을 볼 수 있다. 특히 DoG 커널이 적용된 AAM은 평균에러가 작은 구간에서 가장 많은 영상을 누적하고 있다.
도 5 및 도 6은 표정이 변화하는 조건에서 본 발명과 종래 기술의 얼굴 표정 인식결과의 비교 그래프이다.
도 5는 조명이 변화하는 경우 AAM 피팅 결과를 표시한 것으로써, AAM만 적용하였을 경우(2-1), DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우(2-2), Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우(2-3)의 표정 인식 결과를 도시한 것이다.
도 5에 도시된 바와 같이 DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우(2-2)가 Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우(2-3) 보다 효과적으로 AAM 피팅이 이루어짐을 확인할 수 있다. 이는, Canny Edge Detector가 적용된 모델의 특징이 DoG 커널이 적용된 모델보다 영상의 특징이 약하게 표현되기 때문에 얼굴의 특징을 잘 피팅하지 못하기 때문이다.
도 6은 표정 변화 하에서의 종래기술에 따른 표정인식 결과와 본 발명에 따른 표정인식 결과의 정확도를 그래프로 나타낸 것이다.
도시된 그래프는 얼굴 영상의 표정이 변화하는 환경에서 촬영된 영상을, AAM만 적용하였을 경우, DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우, Canny Edge Detector가 적용된 영상에 AAM을 적용하였을 경우로 표정 인식 결과의 정확도를 계산하여 그래프에 도시한 것이다.
AAM의 정확도를 평가하기 위하여 RMS(root mean square) errorr를 이용하여 Shape과 Ground Truth 사이에 표준편차와 평균 에러를 계산하고, AAM의 성능을 보다 정확하게 측정하기 위하여 평균 에러에 대응하는 영상의 수를 누적 계산하였다.
도 6의 그래프에 표시된 바와 같이, DoG 커널로 컨벌루션된 영상에 AAM을 적용하였을 경우 더 작은 에러율에서 더 많은 영상이 누적됐음을 볼 수 있다.
반면, Canny Edge Detector가 적용된 AAM의 경우, 성능이 좋지 않음을 볼 수 있다. 이는, Canny Edge Detector가 적용된 모델의 특징이 DoG 커널이 적용된 모델보다 약하게 표현되어 얼굴의 특징을 잘 피팅하지 못하기 때문이다.
이상의 실험 결과에서 확인할 수 있듯이, AAM에 사용되는 영상에 DoG 커널을 적용하는 경우 조명이 변화하거나 표정이 변화하는 경우에도 표정인식 성능을 보장할 수 있다.
도 7은 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 제어 블럭도로써, 스마트폰과 같은 휴대용 단말기에 본 발명의 얼굴 표정 인식 시스템을 적용한 경우를 예시한 것이다.
도 7에 도시된 바와 같이, 얼굴 표정 인식 시스템은, 카메라(510), 영상 전처리부(512), DOG 커널(514), AAM 모델링부(516), EFM 분류기(518), 디스플레이부(520), 데이터베이스(522)를 포함한다.
카메라(510)는 객체, 예컨대, 특정 사람의 얼굴의 영상을 촬영하여 2차원 영상을 생성한다.
영상 전처리부(512)는 카메라(510)로부터 제공되는 2차원 영상을 얼굴인식 실행할 수 있는 영상으로 변환 처리한다.
DOG 커널(514)은 가우시안 필터링을 통해 입력된 영상의 노이즈를 감소시켜 에지(Edge) 및 기타 다른 디테일의 가시성을 증진하고 반복되는 불필요한 정보를 담고 있는 형상의 정보를 약화시킨다. DOG 커널(514)로 컨벌루션된 영상은 얼굴 영상 중 많은 정보를 담고 있는 국지적인 형상, 예컨대, 눈, 코, 입 등의 특징부분의 형상이 강화되어 얼굴형상이 인식된다.
AAM 모델링부(516)는 DOG 커널(514)로 컨벌루션된 영상에서 외형(appearance)과 형상(shape)의 파라미터를 추출하고, 추출한 얼굴특징 요소를 토대로 통계학적 얼굴모델을 변환하여 상기 얼굴영역과 매칭하는 합성 얼굴 영상을 모델링한다. AAM 모델링부(516)는 합성얼굴 영상이 인식 대상 얼굴 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 외형(appearance)과 형상(shape)의 파라미터를 반복적으로 갱신하며 모델과 영상 간의 오차를 줄여나간다.
EFM 분류기(518)는 외형(appearance)과 형상(shape)의 파라미터에 기초하여 얼굴 영상의 표정을 인식한다. EFM 분류기(518)의 표정 인식 결과는 AAM 모델링부(516)에 제공되어 합성 얼굴 영상을 모델링하기 위한 외형(appearance)과 형상(shape)의 파라미터를 결정하는데 사용된다.
데이터베이스(522)에는 AAM을 수행하기 위한 얼굴 표정 영상 시퀀스가 저장된다. 또한, 얼굴 표정 영상 시퀀스를 트레이닝하여 생성된 EFM 모델이 저장된다.
디스플레이부(520)는 AAM 모델링부(516)에서 결정된 얼굴인식 결과가 표시된다.
도 8은 본 발명의 다른 실시예에 따른 얼굴 표정 인식 시스템의 제어 흐름도이다.
사용자는 카메라(510)로 얼굴을 촬영하여 얼굴 영상을 입력할 수 있다(S612).
입력된 얼굴 영상을 DoG 커널(514)을 이용하여 컨버전한다(S614). 이에, 얼굴 영상에 포함된 국지적인 외형의 특징이 강화되어 얼굴이 인식된다(S616).
AAM 모델링부(516)는 DoG 커널(514)로 컨버전된 영상에 대해 AAM 피팅을 수행하여 얼굴 영상을 모델링하기 위한 외형(appearance)과 형상(shape)의 파라미터를 검출한다(S618).
EFM 분류기(518)는 AAM 모델링부(516)에서 외형(appearance)과 형상(shape)의 파라미터에 기초하여 얼굴 표정을 분류한다(S620).
AAM 모델링부(516)는 EFM 분류기(518)의 분류결과를 참고하여 외형(appearance)과 형상(shape)의 파라미터를 반복적으로 갱신함으로써 입력된 얼굴 영상의 표정을 인식하여 인식결과를 표시한다(S622).
도 9는 본 발명의 실시예에 따른 얼굴 표정 인식 시스템의 사용 상태도로서, 휴대용 단말기에 본 발명의 실시예에 따른 얼굴 표정 인식 시스템을 적용하여 서비스를 제공하는 경우 사용 상태를 예시한 것이다.
카메라(510)로 촬영된 사용자의 얼굴 영상은 휴대용 단말기에 탑재된 얼굴 표정 인식 시스템에 입력되어 현재 사용자의 표정이 실시간으로 인식될 수 있다.
인식된 사용자의 표정은 휴대용 단말기에 표시된 캐릭터에 실시간으로 반영된다.
이에, 사용자의 현재 얼굴 표정과 휴대용 단말기에 표시된 캐릭터의 표정이 상호 연동되어, 캐릭터를 통해 (a)무표정, (b)기쁨, (c)놀람, (d)슬픔 등의 감정을 실시간으로 표시할 수 있다.
한편, 상술한 실시예에서는 이모티콘 캐릭터 상에 사용자의 얼굴 표정을 반영하는 경우를 설명하고 있지만, 본 발명의 얼굴 표정 인식 시스템의 표정 인식 결과는 사용자의 아바타, 이미지, 동물이나 애니메이션 캐릭터 등 감정표시가 가능한 그래픽 이미지에는 모두 적용이 가능하다. 또한, 표정 인식 결과를 텍스트로 출력하거나 디스플레이 화면의 그래픽 색상, 혹은 테마를 바꾸는 데에 적용하는 등 다양한 응용이 가능하다.
이상 설명한 바와 같이, 본 발명은 DOG 커널(514)을 이용하여 영상의 노이즈는 제거하고 특징만을 유지시킴으로써, AAM에 필요하지 않은 정보를 제거하고 피팅 알고리즘에 필요한 정보는 유지하도록 하고 있다. 이에, 조명 변화 및 표정 변화가 있는 영상에서도 우수한 표정 인식 성능을 얻을 수 있으며, 스마튼 폰 등의 휴대용 단말기에서 획득된 저화질의 영상에서도 우수한 성능을 보장할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 AAM(Active Appearance Model)에 적용되는 영상에 DoG(Difference of Gaussian) 커널을 적용함으로써, 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 눈, 코, 입 등과 같은 국지적인 영역의 특징은 강화하고 볼과 같이 반복되는 불필요한 정보를 담고 있는 외형(appearance) 정보를 약화시킴으로써, 영상에서 불필요한 정보를 제거할 수 있을 뿐만 아니라 객체 특징 추출을 통해 조명으로 제거되는 중요정보를 유지할 수 있는 얼굴 표정 인식 방법 및 시스템에 적용할 수 있다.
510 : 카메라 512 : 영상 전처리부
514 : DOG 커널 516 : AAM 모델링부
518 : EFM 분류기 520 : 디스플레이부
522 : 데이터베이스
514 : DOG 커널 516 : AAM 모델링부
518 : EFM 분류기 520 : 디스플레이부
522 : 데이터베이스
Claims (6)
- 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 단계;
상기 컨벌루션된 영상에서 얼굴 영역을 추출하는 단계;
상기 얼굴 영역에서 외형(appearance) 파라미터와 형상(shape)의 파라미터를 추출하는 단계;
상기 외형(appearance) 파라미터와 형상(shape)의 파라미터를 EFM(Enhanced Fisher Model) 분류방법으로 처리하여 얼굴 표정을 분류하는 단계;
상기 분류결과를 반영하여, 상기 외형(appearance) 파라미터와 형상(shape)의 파라미터를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 합성하는 단계; 및
상기 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 외형(appearance)과 형상(shape)의 파라미터를 갱신하여 얼굴 표정을 인식하는 단계를 포함하는 얼굴 표정 인식 방법.
- 제1항에 있어서,
상기 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 단계는,
서로 다른 표준편차를 갖고 있는 두 개의 가우시안(Gaussian) 커널로 영상을 각각 컨벌루션하여 블러드(Blurred)영상을 만든 후 두 영상의 차 영상을 계산하는 단계를 포함하는 것을 특징으로 하는 얼굴 표정 인식 방법.
- 삭제
- 입력 영상을 DoG 커널을 이용하여 컨벌루션 하는 DoG 커널;
상기 컨벌루션된 영상에서 얼굴 영역을 추출하고, 상기 얼굴 영역에서 외형(appearance) 파라미터와 형상(shape)의 파라미터를 추출하여, 상기 추출한 얼굴특징 요소를 토대로 기 저장중인 통계학적 얼굴모델(AAM; Active Appearance Model)을 변환하여 상기 얼굴영역과 합성한 후, 상기 합성 얼굴 영상이 입력된 얼굴영역을 이루는 영상과 기 설정된 맵핑값 이내로 수렴할 때까지 상기 외형(appearance)과 형상(shape)의 파라미터를 갱신하여 얼굴 표정을 인식하는 AAM 모델링부; 및
추출된 상기 외형(appearance) 파라미터와 형상(shape)의 파라미터를 EFM(Enhanced Fisher Model) 분류방법으로 처리하여 얼굴 표정을 분류하고, 분류결과를 상기 AAM 모델링부에 제공하는 EFM 분류기;
를 포함하는 얼굴 표정 인식 시스템.
- 제4항에 있어서,
상기 DoG 커널은,
서로 다른 표준편차를 갖고 있는 두 개의 가우시안(Gaussian) 커널로 영상을 각각 컨벌루션하여 블러드(Blurred) 영상을 만든 후 두 영상의 차 영상을 계산하여 상기 AAM 모델링부에 제공하는 것을 특징으로 하는 얼굴 표정 인식 시스템.
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110096332A KR101198322B1 (ko) | 2011-09-23 | 2011-09-23 | 얼굴 표정 인식 방법 및 시스템 |
| PCT/KR2012/007602 WO2013042992A1 (ko) | 2011-09-23 | 2012-09-21 | 얼굴 표정 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110096332A KR101198322B1 (ko) | 2011-09-23 | 2011-09-23 | 얼굴 표정 인식 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101198322B1 true KR101198322B1 (ko) | 2012-11-06 |
Family
ID=47564084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110096332A Expired - Fee Related KR101198322B1 (ko) | 2011-09-23 | 2011-09-23 | 얼굴 표정 인식 방법 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101198322B1 (ko) |
| WO (1) | WO2013042992A1 (ko) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382172B1 (ko) | 2013-03-12 | 2014-04-10 | 건아정보기술 주식회사 | 얼굴 영상의 계층적 특징 분류 시스템 및 그 방법 |
| KR101436730B1 (ko) | 2013-03-26 | 2014-09-02 | 가톨릭대학교 산학협력단 | 능동적 외양 모델을 이용한 비학습 얼굴의 3차원 얼굴 피팅 방법 |
| WO2014205239A1 (en) * | 2013-06-20 | 2014-12-24 | Elwha Llc | Systems and methods for enhancement of facial expressions |
| KR101510798B1 (ko) | 2008-12-10 | 2015-04-10 | 광주과학기술원 | 휴대용 얼굴 표정 연습 장치와 그 방법. |
| KR101731620B1 (ko) * | 2014-11-18 | 2017-05-02 | 상명대학교산학협력단 | 인체 미세 움직임 추출 방법 |
| KR101816412B1 (ko) * | 2016-06-14 | 2018-01-08 | 현대자동차주식회사 | 가림 랜드마크를 고려한 얼굴 랜드마크 검출 시스템 및 방법 |
| US10134177B2 (en) | 2015-01-15 | 2018-11-20 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting face pose |
| KR101950721B1 (ko) * | 2017-12-29 | 2019-02-21 | 한남대학교 산학협력단 | 다중 인공지능 안전스피커 |
| KR20190057432A (ko) * | 2016-10-19 | 2019-05-28 | 스냅 인코포레이티드 | 얼굴 모델링을 위한 신경망 |
| CN109948541A (zh) * | 2019-03-19 | 2019-06-28 | 西京学院 | 一种面部情感识别方法与系统 |
| US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| KR20230070590A (ko) * | 2021-11-15 | 2023-05-23 | 한국전자기술연구원 | 합성 표정을 이용한 얼굴인식 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101549645B1 (ko) * | 2014-01-28 | 2015-09-03 | 영남대학교 산학협력단 | 표정 동작사전을 이용한 표정인식 방법 및 장치 |
| CN105404878A (zh) * | 2015-12-11 | 2016-03-16 | 广东欧珀移动通信有限公司 | 一种照片分类方法和装置 |
| KR101994390B1 (ko) * | 2015-12-30 | 2019-06-28 | 단국대학교 산학협력단 | 가중치 보간 맵을 이용한 표정 합성 장치 및 방법 |
| CN108764207B (zh) * | 2018-06-07 | 2021-10-19 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| CN110264544B (zh) * | 2019-05-30 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 图片处理方法和装置、存储介质及电子装置 |
| CN112699797B (zh) * | 2020-12-30 | 2024-03-26 | 常州码库数据科技有限公司 | 基于联合特征对关系网络的静态人脸表情识别方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100950776B1 (ko) | 2009-10-16 | 2010-04-02 | 주식회사 쓰리디누리 | 얼굴 인식 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7587099B2 (en) * | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
| US8750578B2 (en) * | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| KR101533065B1 (ko) * | 2008-12-01 | 2015-07-01 | 삼성전자주식회사 | 화상통화 중 애니메이션 효과 제공 방법 및 장치 |
| KR100988326B1 (ko) * | 2009-01-07 | 2010-10-18 | 포항공과대학교 산학협력단 | 사용자 맞춤형 표정 인식 방법 및 장치 |
-
2011
- 2011-09-23 KR KR1020110096332A patent/KR101198322B1/ko not_active Expired - Fee Related
-
2012
- 2012-09-21 WO PCT/KR2012/007602 patent/WO2013042992A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100950776B1 (ko) | 2009-10-16 | 2010-04-02 | 주식회사 쓰리디누리 | 얼굴 인식 방법 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101510798B1 (ko) | 2008-12-10 | 2015-04-10 | 광주과학기술원 | 휴대용 얼굴 표정 연습 장치와 그 방법. |
| KR101382172B1 (ko) | 2013-03-12 | 2014-04-10 | 건아정보기술 주식회사 | 얼굴 영상의 계층적 특징 분류 시스템 및 그 방법 |
| KR101436730B1 (ko) | 2013-03-26 | 2014-09-02 | 가톨릭대학교 산학협력단 | 능동적 외양 모델을 이용한 비학습 얼굴의 3차원 얼굴 피팅 방법 |
| WO2014205239A1 (en) * | 2013-06-20 | 2014-12-24 | Elwha Llc | Systems and methods for enhancement of facial expressions |
| US9251405B2 (en) | 2013-06-20 | 2016-02-02 | Elwha Llc | Systems and methods for enhancement of facial expressions |
| US9792490B2 (en) | 2013-06-20 | 2017-10-17 | Elwha Llc | Systems and methods for enhancement of facial expressions |
| KR101731620B1 (ko) * | 2014-11-18 | 2017-05-02 | 상명대학교산학협력단 | 인체 미세 움직임 추출 방법 |
| US10102343B2 (en) | 2014-11-18 | 2018-10-16 | Sangmyung University Seoul Industry-Academy Cooperation Foundation | Method for extracting heart information based on micro movements of human body |
| US10134177B2 (en) | 2015-01-15 | 2018-11-20 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting face pose |
| KR101816412B1 (ko) * | 2016-06-14 | 2018-01-08 | 현대자동차주식회사 | 가림 랜드마크를 고려한 얼굴 랜드마크 검출 시스템 및 방법 |
| KR102223630B1 (ko) * | 2016-10-19 | 2021-03-05 | 스냅 인코포레이티드 | 얼굴 모델링을 위한 신경망 |
| KR20190057432A (ko) * | 2016-10-19 | 2019-05-28 | 스냅 인코포레이티드 | 얼굴 모델링을 위한 신경망 |
| KR20210027515A (ko) * | 2016-10-19 | 2021-03-10 | 스냅 인코포레이티드 | 얼굴 모델링을 위한 신경망 |
| US11100311B2 (en) | 2016-10-19 | 2021-08-24 | Snap Inc. | Neural networks for facial modeling |
| KR102368637B1 (ko) * | 2016-10-19 | 2022-03-02 | 스냅 인코포레이티드 | 얼굴 모델링을 위한 신경망 |
| US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
| US11688105B2 (en) | 2016-12-29 | 2023-06-27 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
| KR101950721B1 (ko) * | 2017-12-29 | 2019-02-21 | 한남대학교 산학협력단 | 다중 인공지능 안전스피커 |
| CN109948541A (zh) * | 2019-03-19 | 2019-06-28 | 西京学院 | 一种面部情感识别方法与系统 |
| CN112307942A (zh) * | 2020-10-29 | 2021-02-02 | 广东富利盛仿生机器人股份有限公司 | 一种面部表情量化表示方法、系统及介质 |
| KR20230070590A (ko) * | 2021-11-15 | 2023-05-23 | 한국전자기술연구원 | 합성 표정을 이용한 얼굴인식 방법 |
| KR102592601B1 (ko) * | 2021-11-15 | 2023-10-23 | 한국전자기술연구원 | 합성 표정을 이용한 얼굴인식 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013042992A1 (ko) | 2013-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101198322B1 (ko) | 얼굴 표정 인식 방법 및 시스템 | |
| US20230117712A1 (en) | Feature density object classification, systems and methods | |
| US10599228B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| CN109191369B (zh) | 2d图片集转3d模型的方法、存储介质和装置 | |
| JP5675229B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6664163B2 (ja) | 画像識別方法、画像識別装置及びプログラム | |
| US9547908B1 (en) | Feature mask determination for images | |
| US8620024B2 (en) | System and method for dynamic gesture recognition using geometric classification | |
| JP4950787B2 (ja) | 画像処理装置及びその方法 | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| US9807316B2 (en) | Method for image segmentation | |
| CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
| KR100896643B1 (ko) | Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치 | |
| CN112183482A (zh) | 危险驾驶行为识别方法、装置、系统及可读存储介质 | |
| CN106960202A (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN104123749A (zh) | 一种图像处理方法及系统 | |
| Boutellaa et al. | On the use of Kinect depth data for identity, gender and ethnicity classification from facial images | |
| JP2019016114A (ja) | 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN110046587B (zh) | 基于Gabor差分权重的人脸表情特征提取方法 | |
| KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
| JP7300027B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
| CN115035581A (zh) | 面部表情识别方法、终端设备及存储介质 | |
| CN114724190A (zh) | 一种基于宠物姿态的心情识别方法 | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110923 |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20111208 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20110923 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120418 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120731 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20121031 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20121101 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20160909 |