KR20080101388A - NMC-based face detection method - Google Patents
NMC-based face detection method Download PDFInfo
- Publication number
- KR20080101388A KR20080101388A KR1020070048081A KR20070048081A KR20080101388A KR 20080101388 A KR20080101388 A KR 20080101388A KR 1020070048081 A KR1020070048081 A KR 1020070048081A KR 20070048081 A KR20070048081 A KR 20070048081A KR 20080101388 A KR20080101388 A KR 20080101388A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- face detection
- candidate
- nmct
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 210000000887 face Anatomy 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것으로, (a) 입력된 컬러 영상을 흑백 영상으로 변환하여 강도 정보만을 추출하는 전처리과정을 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 영상을 최대 및 최소 축소 비율로 변환하여 검출 가능한 최대 및 최소 얼굴 크기를 조절하는 리사이즈 단계; (b) 리사이즈된 영상에 영상의 지역적 구조 특징을 이용하여 변환하는 새로운 MCT 변환 단계; (c) 상기 지역적 구조 특징으로 변환된 영상에 각 단계별 필터 테이블의 좌표를 불러와 얼굴 검출 윈도우를 적용하여 얼굴을 검출하는 후보검출 단계; (d) 상기 검출된 후보를 다양한 크기별, 위치별로 검출된 얼굴 영역들을 같은 얼굴 후보 영역끼리 그룹화하여 최종 결과를 출력하는 그룹화 단계, 및 (e) 각 그룹의 대표가 되는 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 얼굴 후보 영역을 선정하는 후보 등록 단계를 포함하는 방법을 제공함으로써, 하드웨어 구현에 적합하도록 효율적으로 메모리를 사용하여 사용자의 얼굴을 빠른 시간 이내에 검출 및 검증과 인식이 가능하도록 한 장치의 제공과 이를 응용한 완구를 제공한다.The present invention relates to a NMCT-based face detection method, and (a) to detect faces of various sizes in the pre-processed image to extract the intensity information by converting the input color image to a black and white image Resizing the image to a maximum and minimum reduction ratio to adjust a detectable maximum and minimum face size; (b) a new MCT transformation step of transforming the resized image using the local structural features of the image; (c) a candidate detection step of detecting a face by applying a face detection window by importing coordinates of each stage filter table to the image converted into the regional structural features; (d) a grouping step of outputting a final result by grouping the detected face areas of the detected candidates of various sizes and positions by the same face candidate area, and (e) accumulating classification of face candidate areas that are representative of each group. The method includes a candidate registration step of applying a child value as a weight to obtain a weighted average of a representative face candidate region and a center pixel coordinate, and selecting a face candidate region as a result. The present invention provides a device that enables a user to quickly detect, verify, and recognize a user's face, and provides a toy using the same.
Description
도 1은 본 발명에 따른 실시예로서, 새로운 MCT(New Modified Census Transform) 기반의 얼굴을 검출하고 검증하기 위한 하드웨드적인 구성으로, 시스템 온 칩(SoC; System on Chip)의 형태로 구현한 블록도이다.1 is an embodiment according to the present invention, a hardware configuration for detecting and verifying a face based on a New Modified Census Transform (MCT), and a block implemented in the form of a System on Chip (SoC). It is also.
도 2는 본 발명의 NMCT 기반 얼굴 검출장치의 세부적인 구성을 나타낸 블록도이다.2 is a block diagram showing the detailed configuration of the NMCT-based face detection apparatus of the present invention.
도 3은 본 발명의 알고리즘으로 그룹화의 예를 설명하기 위하여 나타낸 도면이다.3 is a diagram illustrating an example of grouping with the algorithm of the present invention.
도 4는 본 발명에서 얼굴 검출 및 검증을 위한 알고리즘을 나타낸 흐름도이다.4 is a flowchart illustrating an algorithm for face detection and verification in the present invention.
도 5은 본 발명에 따른 엔엠씨티(NMCT) 기반의 얼굴 검출 장치를 응용하여 완구를 제작한 상태를 나타낸 것이다.5 illustrates a state in which a toy is manufactured by applying an NMCT-based face detection apparatus according to the present invention.
♣ 도면의 주요부분에 대한 부호의 설명 ♣♣ Explanation of symbols for main part of drawing ♣
10: CPU 11: 제1저장부10: CPU 11: first storage unit
12: 제2저장부 13: 카메라12: second storage unit 13: camera
14: 모니터 15: RS232 인터페이스14: Monitor 15: RS232 Interface
16, 66: JTAG 인터페이스 17, 67: 확장 커넥터16, 66: JTAG
18: 오디오입출력부 19: 버튼입력부18: audio input / output unit 19: button input unit
20: 얼굴 저장 버튼 22: 얼굴 정보 리셋 버튼20: Save face button 22: Face information reset button
23: 충전용 어댑터 잭 25: 볼록거울23: Charging adapter jack 25: Convex mirror
30: 브리지 50: 인터페이스30: bridge 50: interface
60: 제1메모리부 61: 제1메모리부 콘트롤러60: first memory unit 61: first memory unit controller
62: 제2메모리부 70: 콘트롤러62: second memory unit 70: controller
71: 전처리모듈 72: 리사이즈모듈71: preprocessing module 72: resize module
73: NMCT모듈 74: 후보검출모듈73: NMCT module 74: candidate detection module
75: 그룹화모듈 76: 필터 데이터 저장부75: grouping module 76: filter data storage unit
100: 메인보드 200: FPGA보드100: main board 200: FPGA board
본 발명은 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것으로, 더욱 상세하게는 하드웨어 구현에 적합하도록 효율적으로 메모리를 사용하여 사용자의 얼굴을 빠른 시간 이내에 검출 및 인식이 가능한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것이다.The present invention relates to a NMCT-based face detection method, and more particularly, to NMCT-based face detection and recognition of a user's face within a short time by using memory efficiently to be suitable for hardware implementation. Relates to a face detection method.
일반적으로 지문 인식, 홍채 인식, 정맥 인식과 같은 생체 인식 기술은 오래전부터 다양한 연구가 진행되어 왔다. 이러한 생체 인식 기술 중에서도 얼굴 검출 기술은 다른 생체 정보에 비해 사용자에 대해 강제성이 적으며, 비 접촉식으로 거부감이 덜하기 때문에 각광을 받고 있는 연구 분야이다. 특히 얼굴 검출은 얼굴 검증 또는 얼굴 인식을 위한 전 단계의 기술로 인식되어져 연구되어 왔으나 그 중요성과 다양한 상업적 응용분야의 요구에 의해 차츰 독립적으로 활발한 연구가 진행 중이다.In general, various researches have been conducted on biometric technologies such as fingerprint recognition, iris recognition, and vein recognition. Among such biometric technologies, face detection technology is in the spotlight because it is less coercive to a user than other biometric information and has a low contact resistance. In particular, face detection has been recognized and studied as a previous step technique for face verification or face recognition, but is actively being actively researched due to its importance and various commercial applications.
현재까지 연구되어진 얼굴영역 검출방법은 대별하여 4가지로 분류할 수 있다. 즉 특정 템플릿(template) 형태에 기반을 둔 템플릿 정합법, 피부색을 이용한 피부색 기반 방식, 인간이 얼굴을 인지하는 방식을 모방한 신경 회로망법, 그리고 구조적 특징을 이용한 특징기반 접근법이 그것이다.The face area detection methods studied so far can be classified into four types. That is, template matching based on a specific template form, skin color based method using skin color, neural network method mimicking the way human face is perceived, and feature based approach using structural features.
먼저, 템플릿 정합법은 몇 가지 표준적인 템플릿을 만든 후, 그것을 이용하여 입력받은 영상과 비교를 하여 얼굴을 검출하는 방법이다. 이 방법은 다양한 얼굴모양의 변화에 대해 일반적인 템플릿 생성이 어렵다는 단점이 있다.First, template matching is a method of detecting a face by making some standard templates and comparing them with an input image. This method has a disadvantage in that it is difficult to generate a general template for various facial shapes.
그리고 피부색 기반 방식은 사람의 고유한 피부색을 이용하여 입력영상으로부터 검출을 하는 방법이다. 이 방법은 쉽고 빠르게 사용할 수 있지만, 조명에 의한 색변화가 있거나 배경에 피부색과 비슷한 색이 있을 경우에 얼굴 검출이 취약하다는 한계가 있다. 또한 신경 회로망법은 사람이 다른 사람의 얼굴을 인지하는 방법에 착안하여 그것을 본떠 만든 방법으로, 다중 계층 신경망에 학습을 통해 얼굴과 얼굴이 아닌 패턴을 구분 하는 방법이다. 그러나 학습된 얼굴에 대해서는 다른 방식에 비해 효과적인 검출이 가능하지만 회전과 같은 다양한 얼굴변화에 대한 검출이 어렵고 계산량이 많아 실시간 얼굴 검출방법으로는 적합하지 않다는 단점이 있다. 또, 특징기반 접근법은 얼굴의 지역적 특징, 구조적 특징 등 얼굴이 갖고 있는 고유한 특징들을 이용하여 얼굴을 검출하는 방법이다. 이 방법은 신경 회로망법과 같이 계산량이 많다는 단점이 있지만, 이용하는 특징에 따라 여러 요소들을 가변적으로 변경하여 얼굴 검출이 가능하다는 장점이 있다.The skin color based method is a method of detecting from an input image using a unique skin color of a person. This method can be used quickly and easily, but there is a limitation that the face detection is weak when there is a color change by lighting or a color similar to the skin color in the background. In addition, the neural network method is a way of thinking about how a person perceives another person's face and modeled it. It is a method of distinguishing a face from a non-face pattern through learning on a multi-layer neural network. However, it is possible to detect the learned face more effectively than other methods, but it is difficult to detect various face changes such as rotation and it is not suitable for real-time face detection method due to the large amount of calculation. In addition, the feature-based approach is a method for detecting a face by using unique features of the face such as local features and structural features of the face. This method has a disadvantage in that it has a large amount of calculation like neural network method, but it has an advantage in that face detection is possible by varying various elements according to the characteristics used.
본 발명은 얼굴 영역 검출방법으로서, 특징기반 접근법을 기반으로 하는 알고리즘, 즉 얼굴의 지역적 구조 특징을 이용한 변환방법인 CT(Census Transform) 변환을 변형한 새로운 MCT(New Modified Census Transform) 변환으로 영상을 변환하여 하드웨어 구현에 적합하도록 메모리를 효율적으로 사용하여 얼굴을 검출하는 엔엠씨티(NMCT) 기반의 얼굴 검출 방법을 제공하기 위한 것이 목적이다.The present invention is a face region detection method, which uses an algorithm based on a feature-based approach, that is, a New Modified Census Transform (MCT) transform that transforms a CT (Census Transform) transform, which is a transform method using a local structural feature of a face. An object of the present invention is to provide a face detection method based on NMCT, which detects a face by efficiently converting memory to be suitable for hardware implementation.
더욱이 본 발명은 새로운 MCT 변환 방식을 이용하여 얼굴을 검출할 때에 큰 문제가 되는 조명과 같은 빛 변화에 덜 민감하도록 하고, 또한, 정면 얼굴 영상으로 학습을 한 필터를 이용하여 하드웨어 구현을 위한 효율적인 자원의 활용을 도모한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법을 제공하기 위한 것이 다른 목적이다.Furthermore, the present invention makes it less susceptible to light changes such as lighting, which is a major problem when detecting a face using a new MCT transformation method, and is an efficient resource for hardware implementation using a filter trained with a front face image. Another object is to provide a face detection method based on NMCT.
또한 본 발명은 상기 새로운 MCT변환 방식이 적용된 하드웨어를 완구용 인형에 내장한 지능형 스마트 로봇 토이를 제공하기 위한 것이 다른 목적이다.Another object of the present invention is to provide an intelligent smart robot toy in which the new MCT transformation method is applied to a toy doll.
본 발명은 상기 목적을 달성하기 위한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법은, (a) 입력된 컬러 영상을 흑백 영상으로 변환하여 강도 정보만을 추출하는 전처리과정을 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 영상을 최대 및 최소 축소 비율로 변환하여 검출 가능한 최대 및 최소 얼굴 크기를 조절하는 리사이즈 단계; (b) 리사이즈된 영상에 영상의 지역적 구조 특징을 이용하여 변환하는 새로운 MCT 변환 단계; (c) 상기 지역적 구조 특징으로 변환된 영상에 각 단계별 필터 테이블의 좌표를 불러와 얼굴 검출 윈도우를 적용하여 얼굴을 검출하는 후보검출 단계; (d) 상기 검출된 후보를 다양한 크기별, 위치별로 검출된 얼굴 영역들을 같은 얼굴 후보 영역끼리 그룹화하여 최종 결과를 출력하는 그룹화 단계, 및 (e) 각 그룹의 대표가 되는 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 얼굴 후보 영역을 선정하는 후보 등록 단계를 포함하여 이루어진 것을 특징으로 한다.The present invention provides a face detection method based on NMCT, which comprises (a) converting an input color image into a black and white image to extract faces of various sizes from a preprocessed image of extracting intensity information only. Resizing the image to a maximum and minimum reduction ratio to adjust the maximum and minimum face sizes to be detected; (b) a new MCT transformation step of transforming the resized image using the local structural features of the image; (c) a candidate detection step of detecting a face by applying a face detection window by importing coordinates of each stage filter table to the image converted into the regional structural features; (d) a grouping step of outputting a final result by grouping the detected face areas of the detected candidates of various sizes and positions by the same face candidate area, and (e) accumulating classification of face candidate areas that are representative of each group. And a candidate registration step of selecting a face candidate region as a result by obtaining a weighted average of the size of the representative face candidate region and the center pixel coordinates by applying the child value as a weight.
또한, 본 발명은 메인보드에 구비된 구성요소로부터 데이터 입출력을 제어하는 CPU와, 각종 파일이나 연산에 필요한 데이터를 입출력하는 제1저장부와, 상기 메인보드의 부팅을 위한 OS를 비롯한 시스템 프로그램 등을 입출력하는 제2저장부와, 외부의 영상을 촬영하여 이미지 데이터로 변환하여 출력하는 카메라와, 상기 카메라로부터 촬영된 이미지 데이터를 가시적으로 나타내기 위한 표시장치로서 입력영상 및 결과영상을 표시하는 모니터가 포함된 메인보드가 구비되고, 상기 메인보드와 연결되어 FPGA보드에 탑재된 구성요소들의 데이터 입출력을 제어하는 콘트롤러와, 상기 콘트롤러의 제어로 저장된 필터 데이터 및 이미지 데이터를 입출력하는 제1메모리부와, 상기 콘트롤러의 제어로 얼굴 검출, 연산 및 검증을 위한 중간결과를 저장하는 제2메모리부가 구비된 FPGA보드를 포함하여 구성된 것을 특징으로 한다.In addition, the present invention provides a CPU for controlling data input and output from the components provided on the motherboard, a first storage unit for inputting and outputting data required for various files and operations, and a system program including an OS for booting the motherboard. And a second storage unit for inputting / outputting a camera, a camera for capturing an external image and converting the image into image data, and a display device for visually representing the image data captured by the camera. A controller including a main board including a controller connected to the main board to control data input / output of components mounted on the FPGA board, a first memory unit for inputting / outputting filter data and image data stored under control of the controller; And a second method for storing intermediate results for face detection, calculation, and verification under control of the controller. Including the FPGA board having Li added characterized in that configured.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예로서, 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관하여 상세하게 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of the present invention, NMCT-based face detection method will be described in detail as follows.
도 1은 본 발명에 따른 새로운 MCT 기반의 얼굴을 검출하고 검증하기 위한 하드웨드적인 구성으로서, 메인보드(100)와, 메인보드와 커넥터 등으로 연결된 FPGA보드(200)의 주요 구성을 나타낸 블록도이다. 도 1의 블록도는 소프트웨어로 알고리즘화된 새로운 MCT 기반의 얼굴 검출 방법을 하드웨어적인 구성으로 시스템 온 칩(SoC; System on Chip)의 형태로 구현한 것이다.1 is a hardware configuration for detecting and verifying a new MCT-based face according to the present invention, and a block diagram showing a main configuration of the
먼저, 메인보드(100)에는 CPU(10), 제1저장부(11) 및 제2저장부(12), 하나 이상의 카메라(13), 모니터(14), 오디오입출력부(18) 및 버튼입력부(19)가 구성되고, 그리고 메인보드(100)와 FPGA(200)와의 연결을 위한 RS232 인터페이스(15), JTAG 인터페이스(16) 및 확장 커넥터(17)가 구비되어 있다.First, the
CPU(10)는 메인보드(100)에 구성된 요소로부터 데이터 입출력 등을 제어하는 것이고, 제1저장부(11)는 각종 파일이나 연산에 필요한 데이터를 입출력하며, 제2저장부(12)는 메인보드(100)의 부팅을 위한 OS를 비롯한 시스템 프로그램 등을 입출력하는 것이다. 카메라(13)는 외부의 영상을 촬영하여 이미지 데이터로 변환하여 출력하는 것이고, 모니터(14)는 카메라로부터 촬영된 이미지 데이터를 가시적으로 나타내기 위한 표시장치로서 입력영상 및 결과영상을 표시한다. 상기 카메라(13)를 복수로 구성하여 얼굴의 인식력을 향상시킬 수 있을 것이다. 모니터(14)는 LCD나 유기EL 또는 CRT 등이 적용될 수 있을 것이다. 또한 오디오입출력부(18) 는 메인보드(100)의 작동상태를 음성을 포함한 가청신호로 변환하여 출력하거나 외부에서 인가된 음성신호를 변환하여 저장할 수 있도록 하는 것으로, 마이크로폰과 스피커 등이 구비된다. 버튼입력부(19)는 메인보드(100)에 인가되는 전원을 온/오프시키거나 인식된 얼굴의 저장 및 삭제 또는 메인보드(100)의 구동에 필요한 버튼이 포함될 수 있을 것이다.The
FPGA(Field Programmable Gate Array)보드(200)에 탑재된 구성요소는 FPGA(200)에 탑재된 구성요소들의 데이터 입출력을 제어하는 콘트롤러(70)가 구비되어 있고, 필터 데이터 및 이미지 데이터가 저장된 제1메모리부(60)와, 얼굴 검출, 연산 및 검증을 위한 중간결과를 저장하는 제2메모리부(62)가 포함되어 있다. 그리고 메인보드(100)와의 데이터 입출력을 위한 연결수단으로 JTAG 인터페이스(66) 및 확장 커넥터(67)가 구비되어 있다.The component mounted on the field programmable gate array (FPGA)
도 2는 본 발명의 NMCT 기반 얼굴 검출장치의 세부적인 구성을 나타낸 블록도이다.2 is a block diagram showing the detailed configuration of the NMCT-based face detection apparatus of the present invention.
FPGA(200)에는 메인보드(100)에 구비된 CPU(10)와 데이터 송수신을 위한 동기화를 위한 브리지(30)가 구비되어 있고, 브리지(30)로 입출력되는 데이터를 디코딩하는 것으로, 메인보드(100)의 제1저장부(11) 구성 등록 및 주소의 디코딩, 온칩(On-Chip) 메모리 주소의 디코딩 및 등록 디코딩 및 파일이 포함된 인터페이스(50)가 구비되어 있다.The
FPGA(200)에 탑재된 콘트롤러(70)는 NMCT 기반의 얼굴 검출, 연산 및 검증을 위하여 FPGA(200)에 탑재된 구성요소를 제어하기 위한 것이다. 제1메모리부 콘트 롤러(61)는 필터 데이터 및 이미지 데이터가 저장된 제1메모리부(60)의 데이터의 입출력을 제어하는 것이다. 전처리모듈(pre-processing module)(71)은 컬러 영상 정보를 흑백 영상으로 변환시키는 기능을 담당하는 것이고, 리사이즈모듈(resize module)(72)은 다양한 크기의 얼굴을 검출하기 위하여 영상을 점차적으로 축소시키는 기능이 포함되어 있다. 그리고 NMCT모듈(73)은 축소된 영상을 얼굴 검출 필터를 적용시키기 위한 형태로 변환하는 기능이 있고, 후보검출모듈(find candidate module)(74)은 변환된 영상에 얼굴 검출 필터를 적용하여 얼굴을 검출하는 기능이 포함되어 있으며, 그룹화모듈(Grouping Module)(75)은 다양한 크기별, 위치별로 검출된 얼굴 영역들을 그룹화하여 최종 결과를 출력하는 기능을 담당하는 것이다. 필터 데이터 저장부(76)는 제1메모리부(60)로부터 입력된 필터데이터를 일시적으로 저장하는 것이다.The
상기 전처리모듈(71)을 포함한 리사이즈모듈(72), NMCT모듈(73), 후보검출모듈(74) 및 그룹화모듈(75)이 각각 얼굴 검출, 연산 및 검증 등을 수행할 때에 제2메모리부(62)에 데이터가 저장 및 출력된다. 제2메모리부(6)는 리사이즈모듈(72)에서 축소된 데이터를 저장하고, NMCT모듈(73)에서 변환된 데이터를 저장하며, 후보검출모듈(74)에서 검출된 후보를 저장하고, 그룹화모듈(75)에서 그룹화된 얼굴영역과 등가 그룹의 색인에 대한 데이터 및 결과와 연산 정보를 저장하며, 필터정보 및 필터값, 그리고 필터 XY값을 저장한다.When the
다음으로 본 발명의 NMCT 기반의 얼굴 검출 알고리즘에 관하여 구체적으로 설명한다.Next, the NMCT-based face detection algorithm of the present invention will be described in detail.
[영상의 CT 변환] CT(census transform) 변환은 영역의 중심점과 이웃하는 점들과의 픽셀 강도(Intensity) 값을 비교하여 영상을 변환하는 방법이다. CT 변환은 크기의 제한은 없지만, 제안한 알고리즘과의 비교를 위하여 3×3 픽셀 크기 영역으로 제한을 두었다. 는 을 제외한 3×3 픽셀 크기의 지역적 구조내의 이웃 픽셀이고, 는 픽셀의 강도 값이다. 또, 는 비교 함수이며, 일 경우에 1, 그 외의 경우에는 0을 나타낸다. 는 연결(concatenate) 연산자이고, 이것을 이용하여 픽셀 에서의 CT 변환을 정의하면 다음의 수학식과 같다.[CT transform of image] A CT (census transform) transformation is a method of transforming an image by comparing pixel intensity values between a center point of a region and neighboring points. The CT transform is not limited in size, but is limited to a 3x3 pixel size area for comparison with the proposed algorithm. Is Neighboring pixels within a 3 by 3 pixel local structure excluding Is the intensity value of the pixel. In addition, Is a comparison function, 1 in the case of 1 and 0 in the other cases. Is the concatenate operator, which uses pixels The CT transform at is defined by the following equation.
상기 수학식 의 모든 비트는 같은 중요도를 갖고, 영역의 중심 값은 0이다. 즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 8-비트의 지역적 구조 특징으로 변환된다.Equation All bits of are of equal importance, and the center of the region is zero. In other words, pixel values of a 3 × 3 pixel local structure are converted into 8-bit local structure features.
[영상의 MCT 변환] MCT(modified census transform) 변환은 CT 변환이 갖고 있는 단점들을 극복하기 위하여 몇 가지를 수정한 것이다. 즉 CT 변환은 중심 픽셀의 강도 값과 이웃한 픽셀들의 강도 값을 비교하여 변환을 하고, 중심 픽셀의 변환 값이 0으로 고정되므로, 3×3 픽셀 크기 영역이 갖고 있는 모든 특징을 표현할 수 없다는 단점이 있다. MCT 변환은 3×3 픽셀 크기 영역의 평균 강도 값을 이용 하는 방법으로 이를 극복하였다.MCT Transformation of Images MCT (modified census transform) transformations are a few modifications to overcome the drawbacks of CT transformation. In other words, the CT transform compares the intensity value of the center pixel with the intensity value of neighboring pixels, and converts the center pixel's conversion value to 0. Therefore, it cannot express all the features of the 3 × 3 pixel size region. There is this. The MCT transformation overcomes this by using an average intensity value in a 3 × 3 pixel size region.
는 을 포함한 3×3 픽셀 크기의 지역적 구조 내의 이웃 픽셀이고, 는 를 포함한 지역적 구조 내의 평균 강도 값이다. 이를 이용하여, 수학식 1을 수정한 MCT 변환을 정의하면 다음의 수학식과 같다. Is Neighboring pixels within a 3 by 3 pixel local structure containing Is Average intensity value in the local structure, including Using this, defining an MCT transformation in which Equation 1 is modified is as follows.
즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 9-비트의 지역적 구조 특징으로 변환된다.That is, pixel values of the 3x3 pixel sized local structure are converted into 9-bit local structure features.
[새로운 MCT(NMCT; new modified census transform) 변환] 기존의 MCT 변환은 3×3 픽셀 크기 영역내의 점들이 각각 0 또는 1로 변환되므로, 영상의 각 픽셀마다 9-비트가 필요하다. 하드웨어의 저장장소는 8-비트 단위로 나누어지기 때문에 하드웨어 구현에는 적합하지 않은 크기이다. 따라서 본 발명의 알고리즘에서는 하드웨어 구현에 적합하도록 변환할 때에 필요한 비트수를 다음과 같이 조절하였다.[New modified census transform (NCTCT) transform] The existing MCT transform requires 9-bits for each pixel of the image since the points in the 3x3 pixel size region are converted to 0 or 1, respectively. Since the storage of hardware is divided into 8-bit units, it is not suitable for hardware implementation. Therefore, in the algorithm of the present invention, the number of bits required for the conversion to suit the hardware implementation is adjusted as follows.
는 을 제외한 와 맞닿아 있는 이웃 픽셀이고, 가 일 경우에 0, 일 경우에 2, 그 외의 경우에는 1을 나타내는 함수라 하면, 이를 이용하여 NMCT 변환을 정의하면 다음의 수학식과 같다. Is excluding Neighboring pixels that are in contact with end 0, if In one case, a function representing 2 and in other cases, a NMCT transform is defined using the following equation.
즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 7-비트의 지역적 구조 특징으로 변환된다.That is, the pixel values of the 3x3 pixel sized local structure are converted into 7-bit local structure features.
본 발명에서 제안한 알고리즘은 영상에서 3×3 픽셀 크기 영역의 지역적 구조 특징(Local Structure Feature)을 사용한다. 상기 CT 변환과 MCT 변환의 경우에는 3×3 픽셀 크기 영역내의 모든 점을 이용하여 특징을 만들었지만, 본 발명에서 제안한 알고리즘에서는 3×3 픽셀 크기 영역내의 다섯 점만을 이용하여 특징을 만들었다. 즉 CT 변환의 경우는 3×3 픽셀 크기 영역내의 중심 픽셀을 제외한 모든 픽셀이 0 또는 1의 값을 가지므로, 28=256개의 특징이 나오고, MCT 변환의 경우는 3×3 픽셀 크기 영역내의 모든 픽셀을 이용하므로 29-1=511개의 특징이 나온다. 여기서 1개를 제외한 것은 3×3 픽셀 크기 영역내의 픽셀의 변환된 값이 모두 1을 갖는 경우는 없기 때문이다.The algorithm proposed in the present invention uses a local structure feature of a 3 × 3 pixel size region in an image. In the case of the CT transform and the MCT transform, the feature was made using all points in the 3x3 pixel size region, but the algorithm proposed in the present invention was made using only five points in the 3x3 pixel size region. That is, in the case of CT transform, all pixels except the center pixel in the 3 × 3 pixel size area have a value of 0 or 1, so 2 8 = 256 features are obtained. Using all the pixels, 2 9 -1 = 511 features are available. The reason why one is excluded is that the converted values of the pixels in the 3x3 pixel size region do not all have one.
본 발명에서 제안한 새로운 MCT 변환은 네 개의 점이 0, 1, 2의 값을 가지므로, 34=81개의 특징이 나온다. 본 발명에서 제공한 알고리즘은 보다 적은 양의 특징을 사용하여 유사한 성능을 얻었다.In the new MCT transformation proposed in the present invention, since four points have values of 0, 1, and 2, 3 4 = 81 features are obtained. The algorithm provided by the present invention achieves similar performance using fewer features.
다음은 본 발명의 얼굴 검출을 위한 표본생성으로, 임의로 추출한 정면의 얼굴영상과 얼굴이 없는 영상을 이용하여 필터학습을 위한 표본을 만든다. 먼저 임 의의 정면 얼굴 영상을 만들고자 하는 얼굴 검출 윈도우의 크기에 맞추어 변형한다. 얼굴 검출 윈도우의 크기는 기존의 방법과 같이 22×22 픽셀 크기를 사용한다. 변형된 영상을 왼쪽 눈의 위치와 양쪽 눈 사이의 간격을 이용하여 정규화를 시킨다. 이 정규화된 영상에 새로운 MCT 변환을 적용하여 트루(true) 표본으로 등록한다. 그리고 임의의 얼굴이 없는 영상을 앞에서 사용한 얼굴 검출 윈도우의 크기에 맞게 잘라준다. 이 영상에 새로운 MCT 변환을 적용하여 폴스(false) 표본으로 등록한다.The following is a sample generation for face detection according to the present invention. A sample for filter learning is created using a face image and a faceless image of the front face which are randomly extracted. First, the image is transformed according to the size of the face detection window for which an arbitrary front face image is to be created. The size of the face detection window uses a 22 × 22 pixel size as in the conventional method. The deformed image is normalized using the position of the left eye and the distance between both eyes. A new MCT transform is applied to this normalized image to register as a true sample. The image without any face is cropped to fit the size of the face detection window used previously. The image is registered as a false sample by applying a new MCT transform.
상기 생성한 표본으로 얼굴 검출을 위한 필터를 학습시켰다. 학습 방법은 종래와 같은 방법을 사용하였다. 학습의 결과로 필터 테이블이 생성되는데, 이는 22×22 픽셀 크기의 얼굴 검출 윈도우에 대하여 얼굴 영역이라 판단하기 위한 중요한 픽셀의 좌표를 포함하고, 각 픽셀은 81개의 분류자 값을 갖는다. 검출 속도의 향상을 위하여 모든 픽셀의 좌표를 총 6단계로 나누었고, 단계별로 중복되는 좌표도 존재한다. 각 단계별로 8, 16, 32, 64, 128, 269개의 좌표를 포함하고 있다.The generated sample was trained to filter for face detection. The learning method used the same method as the conventional method. As a result of the training, a filter table is generated, which contains the coordinates of the significant pixels for determining the face area for a 22 × 22 pixel face detection window, with each pixel having 81 classifier values. In order to improve the detection speed, all pixel coordinates are divided into a total of six levels, and there are overlapping coordinates for each step. Each step contains 8, 16, 32, 64, 128, and 269 coordinates.
본 발명의 얼굴 검출을 위한 알고리즘의 흐름은 도 4의 흐름도로 나타낼 수 있다. 본 발명에서 제안하는 알고리즘은 영상으로부터 얼굴을 검출하는 과정(A)과, 검출된 얼굴을 검증하는 과정(B)으로 나누어지고, 얼굴 검출과정과 얼굴 검증과정을 동시에 이루어지게 된다.The flow of the algorithm for face detection of the present invention can be represented by the flowchart of FIG. 4. The algorithm proposed in the present invention is divided into a process of detecting a face from an image (A) and a process of verifying a detected face (B), and simultaneously perform a face detection process and a face verification process.
전체적인 알고리즘의 흐름은 먼저, 입력받은 영상에 전처리(preprocessing)를 하고, 전처리된 영상에서 다양한 크기의 얼굴을 검출하기 위하여 점차적으로 영상을 축소해간다. 축소된 영상에 새로운 MCT 변환을 수행하여 얼굴 검출을 위한 형태로 변환한 후, 얼굴 검출 필터를 이용하여 얼굴 후보영역을 검출한다. 마지막으로, 그룹화를 통하여 검출된 얼굴 후보 영역들을 묶어주고, 각 그룹별로 대표 얼굴 후보를 만들어 결과로서 등록하게 된다.The overall algorithm flow is to preprocess the input image first, and then gradually reduce the image to detect faces of various sizes in the preprocessed image. After performing a new MCT transformation on the reduced image to convert it into a shape for face detection, a face candidate filter is detected using a face detection filter. Finally, the face candidate regions detected through grouping are grouped, and a representative face candidate for each group is created and registered as a result.
얼굴 검출과정(A)은 상기 전처리 단계(S100)로서, 본 발명에서 제안하는 알고리즘은 픽셀의 강도 정보를 이용한다. 하지만 R(적), G(녹), B(청)로 이루어진 컬러 영상에 대해서도 검출을 해야 하므로 흑백 영상으로 변환하여 강도 정보만을 추출하는 과정이 필요하다.Face detection process (A) is the preprocessing step (S100), the algorithm proposed in the present invention uses the intensity information of the pixel. However, since a color image including R (red), G (green), and B (blue) must be detected, a process of extracting only intensity information by converting the image into a black and white image is necessary.
그리고 얼굴 검출을 위한 리사이즈 단계(S101)로서, 전처리를 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 일정한 비율로 영상을 축소해 나간다. 축소된 영상에서 22×22 픽셀 크기의 얼굴 검출 윈도우를 원 영상에 맞게 복원을 하면 축소된 정도에 따라 검출 가능한 최소와 최대의 얼굴 크기가 된다. 이 점을 이용하여 축소 비율을 변화시켜 검출의 정밀도를 조절할 수 있고, 최대 및 최소 축소 비율을 변화시켜 검출 가능한 최대 및 최소 얼굴 크기를 조절할 수 있다.Then, as a resizing step (S101) for face detection, the image is reduced in a constant ratio so as to detect faces of various sizes in the preprocessed image. When the face detection window of 22 × 22 pixel size is restored to the original image in the reduced image, it becomes the minimum and maximum detectable face size according to the reduced degree. This can be used to control the precision of detection by changing the reduction ratio, and to adjust the maximum and minimum face sizes that can be detected by changing the maximum and minimum reduction ratios.
또한, 새로운 MCT 변환 단계(S102)로서, 축소된 영상에 영상의 지역적 구조 특징을 이용한 새로운 MCT 변환을 적용하여 변환한다. 이 변환된 영상에 얼굴 검출 윈도우를 적용하여 얼굴을 검출한다. 검출 방법은 후보검출 단계(S103)로서 다음과 같다. 각 단계별로 필터 테이블에서 좌표를 읽어 온 후, 얼굴 검출 윈도우 내의 해당하는 픽셀의 변환 값을 읽는다. 이 값에 해당하는 필터 테이블내의 분류자 값을 읽은 후, 누적시켜 나간다. 단계별로 필터 테이블 내의 모든 점에 대하여 누적을 하였다면, 미리 정의한 단계별 얼굴 검출 임계값과 비교를 한다. 비교 결 과에 따라, 얼굴 영역으로 판단이 된다면 다음 단계로 넘어가고, 얼굴 영역이 아니라고 판단이 된다면 얼굴 검출 윈도우를 한 픽셀 옮긴 후 다시 적용한다.In addition, as a new MCT transformation step (S102), a new MCT transformation using local structural features of the image is applied to the reduced image and transformed. The face is detected by applying a face detection window to the converted image. The detection method is as the candidate detection step (S103) as follows. After reading the coordinates from the filter table for each step, the conversion value of the corresponding pixel in the face detection window is read. The classifier values in the filter table corresponding to these values are read and accumulated. If all points in the filter table are accumulated step by step, the comparison is made with a predefined face detection threshold value. As a result of the comparison, if it is determined that the face area is determined, the process proceeds to the next step. If it is determined that it is not the face area, the face detection window is moved by one pixel and then applied again.
다음으로 그룹화 단계(S104)로서, 상기 단계(S103)에서 검출된 후보들은 같은 얼굴이라도 크기별, 위치별로 다양하게 찾아진 결과이기 때문에 중복 검출이 된다. 따라서 같은 얼굴 후보 영역끼리 그룹화를 한 후, 각 그룹별로 대표 얼굴 후보를 만들어 결과로 한다.Next, in the grouping step (S104), the candidates detected in the step (S103) are duplicated detections because the results are found in various sizes and positions by the same face. Therefore, after grouping the same face candidate areas, a representative face candidate is created for each group, resulting in a result.
상기 그룹화 단계(S104)는 전 단계에서 검출된 후보 영역들의 중심 픽셀간의 거리와 후보 영역의 크기를 이용하여 수행한다. 가장 먼저 검출된 얼굴 후보 영역부터 가장 나중에 검출된 얼굴 후보 영역까지 서로 비교를 하여 중심 픽셀 좌표간의 거리가 임계값보다 가깝고, 영역의 크기가 비슷한 얼굴 후보 영역들을 같은 그룹으로 묶는다. 그룹 내의 후보 영역 개수가 일정 개수 이하라면 배경 영역이라 판단을 하고, 그룹을 제거한다. 이것을 도 3에 나타내었다.The grouping step S104 is performed using the distance between the center pixels of the candidate areas detected in the previous step and the size of the candidate area. Comparing each other from the first detected face candidate area to the last detected face candidate area, the face candidate areas having a distance between the center pixel coordinates closer to the threshold and having similar sizes are grouped into the same group. If the number of candidate areas in the group is less than or equal to a predetermined number, it is determined as a background area, and the group is removed. This is shown in FIG. 3.
마지막으로, 각 그룹 별로 대표가 되는 얼굴 후보 영역을 선정하는 후보 등록 단계(S105)를 수행하는데, 이것은 각 그룹의 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 이루어진다. 누적된 분류자 값을 이용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 등록한다.Finally, a candidate registration step (S105) of selecting a face candidate area representing each group is performed by applying a cumulative classifier value of the face candidate areas of each group as a weight. Using the accumulated classifier value, the weighted average of the size of the representative face candidate region and the center pixel coordinates is obtained and registered as a result.
본 발명에서 사용한 필터 테이블은 정면 영상을 사용하여 만들었기 때문에 기울어짐 등의 얼굴 왜곡이 있는 경우에는 검출이 다소 취약함을 보였다. 또한, 얼굴이 영상의 끝에 걸려서 잘린 경우나 너무 작거나 큰 경우, 또는 커다란 선글라스와 같이 얼굴이 많이 가려진 경우나 안경에 빛 반사가 심해서 얼굴의 지역적 특 징 구조가 제대로 안 나오는 경우에 검출이 취약했다. 이를 제외한 정면 영상에 대해서는 매우 뛰어난 검출 성능을 보였다.Since the filter table used in the present invention was made using the front image, it was shown that the detection was somewhat weak in the case of face distortion such as tilting. In addition, detection was vulnerable if the face was cut off at the end of the image, if it was too small or large, or if the face was obscured, such as large sunglasses, or if the specular features of the face were not reflected due to severe light reflections on the glasses. . Except for this, the front image showed very good detection performance.
영상처리 관련 알고리즘을 하드웨어로 구현할 때에 가장 중요한 요소는 메모리의 크기이다. 영상의 데이터는 매우 많은 메모리를 필요로 하므로, 이를 효율적으로 사용하는 것은 하드웨어로 구현할 때 필수적인 고려사항이다. 511개의 분류자를 표현하려면 9-비트가 필요하고, 81개의 분류자를 표현하려면 7-비트가 필요하다. 따라서 8-비트 단위로 저장되는 하드웨어 메모리의 특성상 9-비트는 자원의 낭비가 심하다. 또한 기존의 알고리즘은 484×511×2=494648, 약 483K개의 저장 공간이 필요하고, 제안한 알고리즘은 517×81=41877, 약 41K개의 저장 공간이 필요하므로, 약 1/12만큼 적은 공간을 필요로 한다.The most important factor when implementing an image processing algorithm in hardware is the memory size. Since video data requires a lot of memory, using it efficiently is an essential consideration when implementing hardware. 9-bits are required to represent 511 classifiers, and 7-bits are required to represent 81 classifiers. Therefore, 9-bit is a waste of resources due to the nature of the hardware memory stored in 8-bit units. In addition, the existing algorithm requires about 483K of storage space at 484 × 511 × 2 = 494648, and the proposed algorithm requires about 517 × 81 = 41877 and about 41K storage space. do.
또한, 얼굴 검출 과정을 보면 얼굴 검출 윈도우의 각 단계별 좌표에 해당하는 픽셀 값을 읽어온 후, 필터 테이블에서 해당 분류자를 읽어와 누적하고, 임계치와 비교하여 검출을 하는 단순한 일련 과정의 반복이다. 이는 하드웨어로 구현하기 용이한 점이 되며, 규칙적이고 반복적인 일을 빠르고 효율적으로 처리하는 하드웨어의 특성상 매우 적합하다. 따라서 본 발명에서 제안한 알고리즘은 기존의 방식과 비교하여 보다 적은 메모리 자원을 사용하고, 하드웨어로 구현할 때 메모리 자원 이용이 효율적일 뿐만 아니라, 구현이 용이하며 우수한 성능을 보인다.In addition, the face detection process is a repetition of a simple process of reading the pixel values corresponding to the coordinates of each step of the face detection window, reading the classifiers from the filter table, accumulating them, and comparing them with the threshold. This makes it easy to implement in hardware and is well suited for the nature of the hardware that handles regular and repetitive tasks quickly and efficiently. Therefore, the algorithm proposed in the present invention uses less memory resources compared to the conventional method, and it is not only efficient to use memory resources when implemented in hardware, but also easy to implement and shows excellent performance.
더욱이 얼굴 검출 과정과 동시에 검출된 얼굴에 대한 검증 과정을 거치게 된다. 이는 얼굴 검증과정(B)으로서, 후보로 등록된 얼굴은 얼굴 영역, 즉 눈, 코, 입에 대한 좌표를 계산하는 단계(S201)를 거쳐 얼굴 영역을 계산한다. 그리고 얼 굴 영역을 검출하는 단계(S202)를 수행하게 된다. 상기 얼굴 영역을 검출하는 단계(S202)에서는 얼굴 검출에 적용된 모듈을 사용하게 된다. 그리고 얼굴 영역의 눈, 코, 입의 거리를 비교 및 조합하는 단계(S203)를 수행하게 되고, 얼굴 영역의 축소, 확대 및 각도 등의 이미지를 변환하는 단계(S204)를 거쳐 얼굴 검출에 적용된 모든 모듈이 사용하여 검증연산 단계(S205)를 수행한다. 그리고 누적연산 단계(S206)를 거쳐 후보를 정합시켜 등록시키게 된다.Furthermore, at the same time as the face detection process, the detected face is verified. This is a face verification process (B) in which a face registered as a candidate calculates a face region through a step S201 of calculating coordinates for a face region, that is, an eye, a nose, and a mouth. In step S202, the facial region is detected. In detecting the face region (S202), a module applied to face detection is used. And comparing and combining the distance of the eyes, nose and mouth of the face area (S203) is performed, and converting the image such as reduction, enlargement and angle of the face area (S204) through all the applied to the face detection The module uses to perform the verification operation (S205). The candidates are registered and registered through the accumulation operation step S206.
이와 같이 본 발명의 엔엠씨티(NMCT) 기반의 얼굴 검출 알고리즘이 적용된 장치를 응용하여 도 5와 같은 완구를 제작할 수 있다.As described above, the toy as shown in FIG. 5 may be manufactured by applying a device to which the NMCT-based face detection algorithm is applied.
도 5의 완구(300)에는 사용자를 촬영하여 영상데이터로 변환하는 하나 이상의 카메라(13)가 구비되어 있고, 카메라(13)의 일측에는 하나 이상의 볼록렌즈(25)가 구비되어 있다. 볼록렌즈(25)는 사용자가 카메라(13)의 중심에 올 수 있도록 사용자의 얼굴 위치를 조정할 수 있도록 하기 위한 것이다. 상기 볼록렌즈(25) 대신에 하나 이상의 오목렌즈가 적용될 수도 있을 것이다. 촬영된 사용자의 얼굴이 표시되도록 하는 모니터(14)가 구비되어 있고, 완구(300)의 작동을 위한 전원을 공급하기 위한 전원공급부가 구비되고, 전원공급부는 건전지나 충전지가 삽입되어 결합되거나 또는 외부로부터 직류전원을 인가할 수 있도록 충전용 어댑터 잭(23)이나 커넥터가 구비될 수 있을 것이다.The
그리고 완구(300)의 작동, 예컨대, 인식된 사용자 얼굴을 저장하기 위한 얼굴 저장 버튼(20)이 구비되고, 모니터(14) 또는 모니터(14)의 일측에는 최초의 사용하거나 또는 저장된 얼굴 정보를 삭제하기 위한 얼굴 정보 리셋 버튼(22) 등이 포함되어 있다. 또한 완구(300)에는 완구의 온 또는 오프를 위한 전원 버튼 등이 포함될 수 있다. 또한 완구(300)로부터 음성이 출력되거나 외부의 음성을 입력하여 저장하기 위한 오디오입출력부(18)로서 마이크로폰이나 스피커 등이 장착되어 있다.And the operation of the
이와 같이 구성된 완구(300)는 사용자 얼굴을 저장하기 위하여, 얼굴 저장 버튼(20)을 누르면, 예컨대, "나는 ○○○야 우리 친구하자~" 라는 음성이 출력되고, 얼굴 저장을 위하여 얼굴 저장 버튼(20)을 누르면 얼굴 정보의 등록 및 저장이 이루어진다. 또한, 얼굴 정보를 충분히 저장하지 못하고 얼굴 저장 버튼에서 손을 떼게 되면, 예컨대, "싫어 싫어~ 더 놀아줘~"라는 음성이 출력되어 추가적인 얼굴 정보의 저장을 유도하게 된다.The
또한, 얼굴의 인식을 위하여 대기 중에 등록되지 않은 얼굴이 검출되면, 예컨대, "누구야? ○○○는 심심해 놀아줘~" 라는 음성이 출력된다. 그리고 이미 등록된 얼굴이 검출되면, 예컨대, "친구야~ 뭐하고 놀까?"라는 음성이 출력된다.In addition, when a face not registered in the air for face recognition is detected, for example, a voice is outputted, "Who are you? When a face already registered is detected, for example, a voice is outputted, "My friend ~ What should I play with?"
상기 완구(300)의 구성은 본 발명의 NMCT 기반의 얼굴 검출 알고리즘을 응용한 장치의 일실시예로서, 각종 정보 보안이나 인증, 감시 또는 확인 등을 위한 다양한 형태나 모양으로 제작 및 응용될 수 있을 것이다.The configuration of the
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described in connection with specific embodiments thereof, it is well known in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the claims. Anyone who owns it can easily find out.
상술한 바와 같이, 본 발명은 하드웨어 구현을 위하여 조명의 변화에 강한 새로운 MCT 기반의 얼굴 검출 알고리즘을 제안하였고, 하드웨어 구현에 적합하도록 저장 비트 수를 조절하여 메모리의 낭비를 줄이고, 적은 크기의 얼굴 검출 필터 테이블을 만들어 사용함으로써 메모리의 사용을 기존의 방식과 비교하여 약 1/12만큼 줄였다. 본 발명은 보다 적은 메모리를 사용하였지만, 양호한 검출 성능을 얻었다.As described above, the present invention has proposed a new MCT-based face detection algorithm that is resistant to changes in illumination for hardware implementation, reduces the waste of memory by adjusting the number of storage bits to be suitable for hardware implementation, and detects small face. By creating and using a filter table, the memory usage is reduced by about 1/12 compared to the conventional method. Although the present invention uses less memory, good detection performance has been obtained.
또한, 보다 많은 픽셀을 검사하여 얼굴을 검출하지만, 여러 단계로 나누어 수행함으로써 중간 단계에서 탈락되는 후보가 많아져 속도가 향상되었고, 같은 얼굴에 대해 다양하게 검출된 후보들을 그룹화 방법을 통하여 신뢰성 높은 얼굴 영역을 검출한 효과가 있다.In addition, the face is detected by scanning more pixels, but by dividing into several stages, the number of candidates dropped in the middle stage is increased, and the speed is improved. There is an effect of detecting the area.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070048081A KR20080101388A (en) | 2007-05-17 | 2007-05-17 | NMC-based face detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070048081A KR20080101388A (en) | 2007-05-17 | 2007-05-17 | NMC-based face detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20080101388A true KR20080101388A (en) | 2008-11-21 |
Family
ID=40287653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070048081A KR20080101388A (en) | 2007-05-17 | 2007-05-17 | NMC-based face detection method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20080101388A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101050537B1 (en) * | 2009-07-15 | 2011-07-20 | 주식회사 아이디테크 | Front face image detection method for access certification storage of access control system |
WO2011112730A3 (en) * | 2010-03-11 | 2011-11-17 | Microsoft Corporation | Resolution adjustment of an image that includes text undergoing an ocr process |
US8326000B2 (en) | 2008-12-22 | 2012-12-04 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting facial image |
KR101445599B1 (en) * | 2014-01-22 | 2014-10-01 | 이제희 | The apparatus and method of auto printing a smart admission ticket |
CN109509218A (en) * | 2019-01-31 | 2019-03-22 | 深兰人工智能芯片研究院(江苏)有限公司 | The method, apparatus of disparity map is obtained based on FPGA |
-
2007
- 2007-05-17 KR KR1020070048081A patent/KR20080101388A/en active IP Right Grant
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326000B2 (en) | 2008-12-22 | 2012-12-04 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting facial image |
KR101050537B1 (en) * | 2009-07-15 | 2011-07-20 | 주식회사 아이디테크 | Front face image detection method for access certification storage of access control system |
WO2011112730A3 (en) * | 2010-03-11 | 2011-11-17 | Microsoft Corporation | Resolution adjustment of an image that includes text undergoing an ocr process |
CN102782707A (en) * | 2010-03-11 | 2012-11-14 | 微软公司 | Resolution adjustment of an image that includes text undergoing an OCR process |
US8380009B2 (en) | 2010-03-11 | 2013-02-19 | Microsoft Corporation | Resolution adjustment of an image that includes text undergoing an OCR process |
KR101445599B1 (en) * | 2014-01-22 | 2014-10-01 | 이제희 | The apparatus and method of auto printing a smart admission ticket |
CN109509218A (en) * | 2019-01-31 | 2019-03-22 | 深兰人工智能芯片研究院(江苏)有限公司 | The method, apparatus of disparity map is obtained based on FPGA |
CN109509218B (en) * | 2019-01-31 | 2019-10-22 | 深兰人工智能芯片研究院(江苏)有限公司 | The method, apparatus of disparity map is obtained based on FPGA |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650261B2 (en) | System and method for identifying re-photographed images | |
KR102147052B1 (en) | Emotional recognition system and method based on face images | |
JP4743823B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5629803B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
CN109800643B (en) | Identity recognition method for living human face in multiple angles | |
KR101760258B1 (en) | Face recognition apparatus and method thereof | |
CN109948566B (en) | Double-flow face anti-fraud detection method based on weight fusion and feature selection | |
CN106529414A (en) | Method for realizing result authentication through image comparison | |
WO2005008593A1 (en) | Image processing device, imaging device, image processing method | |
CN112818722B (en) | Modular dynamic configurable living body face recognition system | |
CN108416291B (en) | Face detection and recognition method, device and system | |
CN101339607A (en) | Human face recognition method and system, human face recognition model training method and system | |
CN111652082A (en) | Face liveness detection method and device | |
CN105574509B (en) | A kind of face identification system replay attack detection method and application based on illumination | |
KR102005150B1 (en) | Facial expression recognition system and method using machine learning | |
JP2013504114A (en) | Eye state detection apparatus and method | |
Anand et al. | An improved local binary patterns histograms techniques for face recognition for real time application | |
US11315360B2 (en) | Live facial recognition system and method | |
KR20080101388A (en) | NMC-based face detection method | |
KR101344851B1 (en) | Device and Method for Processing Image | |
CN113901423B (en) | Intelligent security equipment control method and system based on face recognition | |
CN113343889A (en) | Face recognition system based on silence live body detection | |
KR20110019969A (en) | Face detection device | |
JP2010146395A (en) | Image processing device, image processing method, image processing program, and electronic equipment | |
CN103026383B (en) | Pupil detector and pupil detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20070517 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20081127 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20090226 |
|
NORF | Unpaid initial registration fee | ||
PC1904 | Unpaid initial registration fee |