[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20080101388A - NMC-based face detection method - Google Patents

NMC-based face detection method Download PDF

Info

Publication number
KR20080101388A
KR20080101388A KR1020070048081A KR20070048081A KR20080101388A KR 20080101388 A KR20080101388 A KR 20080101388A KR 1020070048081 A KR1020070048081 A KR 1020070048081A KR 20070048081 A KR20070048081 A KR 20070048081A KR 20080101388 A KR20080101388 A KR 20080101388A
Authority
KR
South Korea
Prior art keywords
face
image
face detection
candidate
nmct
Prior art date
Application number
KR1020070048081A
Other languages
Korean (ko)
Inventor
강태운
류무호
이수현
김영진
Original Assignee
(주)코아정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)코아정보시스템 filed Critical (주)코아정보시스템
Priority to KR1020070048081A priority Critical patent/KR20080101388A/en
Publication of KR20080101388A publication Critical patent/KR20080101388A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것으로, (a) 입력된 컬러 영상을 흑백 영상으로 변환하여 강도 정보만을 추출하는 전처리과정을 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 영상을 최대 및 최소 축소 비율로 변환하여 검출 가능한 최대 및 최소 얼굴 크기를 조절하는 리사이즈 단계; (b) 리사이즈된 영상에 영상의 지역적 구조 특징을 이용하여 변환하는 새로운 MCT 변환 단계; (c) 상기 지역적 구조 특징으로 변환된 영상에 각 단계별 필터 테이블의 좌표를 불러와 얼굴 검출 윈도우를 적용하여 얼굴을 검출하는 후보검출 단계; (d) 상기 검출된 후보를 다양한 크기별, 위치별로 검출된 얼굴 영역들을 같은 얼굴 후보 영역끼리 그룹화하여 최종 결과를 출력하는 그룹화 단계, 및 (e) 각 그룹의 대표가 되는 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 얼굴 후보 영역을 선정하는 후보 등록 단계를 포함하는 방법을 제공함으로써, 하드웨어 구현에 적합하도록 효율적으로 메모리를 사용하여 사용자의 얼굴을 빠른 시간 이내에 검출 및 검증과 인식이 가능하도록 한 장치의 제공과 이를 응용한 완구를 제공한다.The present invention relates to a NMCT-based face detection method, and (a) to detect faces of various sizes in the pre-processed image to extract the intensity information by converting the input color image to a black and white image Resizing the image to a maximum and minimum reduction ratio to adjust a detectable maximum and minimum face size; (b) a new MCT transformation step of transforming the resized image using the local structural features of the image; (c) a candidate detection step of detecting a face by applying a face detection window by importing coordinates of each stage filter table to the image converted into the regional structural features; (d) a grouping step of outputting a final result by grouping the detected face areas of the detected candidates of various sizes and positions by the same face candidate area, and (e) accumulating classification of face candidate areas that are representative of each group. The method includes a candidate registration step of applying a child value as a weight to obtain a weighted average of a representative face candidate region and a center pixel coordinate, and selecting a face candidate region as a result. The present invention provides a device that enables a user to quickly detect, verify, and recognize a user's face, and provides a toy using the same.

Description

엔엠씨티 기반의 얼굴 검출 방법 {A Face Detection Algorithm based on a New Modified Census Transform}NM-based face detection method {A Face Detection Algorithm based on a New Modified Census Transform}

도 1은 본 발명에 따른 실시예로서, 새로운 MCT(New Modified Census Transform) 기반의 얼굴을 검출하고 검증하기 위한 하드웨드적인 구성으로, 시스템 온 칩(SoC; System on Chip)의 형태로 구현한 블록도이다.1 is an embodiment according to the present invention, a hardware configuration for detecting and verifying a face based on a New Modified Census Transform (MCT), and a block implemented in the form of a System on Chip (SoC). It is also.

도 2는 본 발명의 NMCT 기반 얼굴 검출장치의 세부적인 구성을 나타낸 블록도이다.2 is a block diagram showing the detailed configuration of the NMCT-based face detection apparatus of the present invention.

도 3은 본 발명의 알고리즘으로 그룹화의 예를 설명하기 위하여 나타낸 도면이다.3 is a diagram illustrating an example of grouping with the algorithm of the present invention.

도 4는 본 발명에서 얼굴 검출 및 검증을 위한 알고리즘을 나타낸 흐름도이다.4 is a flowchart illustrating an algorithm for face detection and verification in the present invention.

도 5은 본 발명에 따른 엔엠씨티(NMCT) 기반의 얼굴 검출 장치를 응용하여 완구를 제작한 상태를 나타낸 것이다.5 illustrates a state in which a toy is manufactured by applying an NMCT-based face detection apparatus according to the present invention.

♣ 도면의 주요부분에 대한 부호의 설명 ♣♣ Explanation of symbols for main part of drawing ♣

10: CPU 11: 제1저장부10: CPU 11: first storage unit

12: 제2저장부 13: 카메라12: second storage unit 13: camera

14: 모니터 15: RS232 인터페이스14: Monitor 15: RS232 Interface

16, 66: JTAG 인터페이스 17, 67: 확장 커넥터16, 66: JTAG interface 17, 67: expansion connector

18: 오디오입출력부 19: 버튼입력부18: audio input / output unit 19: button input unit

20: 얼굴 저장 버튼 22: 얼굴 정보 리셋 버튼20: Save face button 22: Face information reset button

23: 충전용 어댑터 잭 25: 볼록거울23: Charging adapter jack 25: Convex mirror

30: 브리지 50: 인터페이스30: bridge 50: interface

60: 제1메모리부 61: 제1메모리부 콘트롤러60: first memory unit 61: first memory unit controller

62: 제2메모리부 70: 콘트롤러62: second memory unit 70: controller

71: 전처리모듈 72: 리사이즈모듈71: preprocessing module 72: resize module

73: NMCT모듈 74: 후보검출모듈73: NMCT module 74: candidate detection module

75: 그룹화모듈 76: 필터 데이터 저장부75: grouping module 76: filter data storage unit

100: 메인보드 200: FPGA보드100: main board 200: FPGA board

본 발명은 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것으로, 더욱 상세하게는 하드웨어 구현에 적합하도록 효율적으로 메모리를 사용하여 사용자의 얼굴을 빠른 시간 이내에 검출 및 인식이 가능한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관한 것이다.The present invention relates to a NMCT-based face detection method, and more particularly, to NMCT-based face detection and recognition of a user's face within a short time by using memory efficiently to be suitable for hardware implementation. Relates to a face detection method.

일반적으로 지문 인식, 홍채 인식, 정맥 인식과 같은 생체 인식 기술은 오래전부터 다양한 연구가 진행되어 왔다. 이러한 생체 인식 기술 중에서도 얼굴 검출 기술은 다른 생체 정보에 비해 사용자에 대해 강제성이 적으며, 비 접촉식으로 거부감이 덜하기 때문에 각광을 받고 있는 연구 분야이다. 특히 얼굴 검출은 얼굴 검증 또는 얼굴 인식을 위한 전 단계의 기술로 인식되어져 연구되어 왔으나 그 중요성과 다양한 상업적 응용분야의 요구에 의해 차츰 독립적으로 활발한 연구가 진행 중이다.In general, various researches have been conducted on biometric technologies such as fingerprint recognition, iris recognition, and vein recognition. Among such biometric technologies, face detection technology is in the spotlight because it is less coercive to a user than other biometric information and has a low contact resistance. In particular, face detection has been recognized and studied as a previous step technique for face verification or face recognition, but is actively being actively researched due to its importance and various commercial applications.

현재까지 연구되어진 얼굴영역 검출방법은 대별하여 4가지로 분류할 수 있다. 즉 특정 템플릿(template) 형태에 기반을 둔 템플릿 정합법, 피부색을 이용한 피부색 기반 방식, 인간이 얼굴을 인지하는 방식을 모방한 신경 회로망법, 그리고 구조적 특징을 이용한 특징기반 접근법이 그것이다.The face area detection methods studied so far can be classified into four types. That is, template matching based on a specific template form, skin color based method using skin color, neural network method mimicking the way human face is perceived, and feature based approach using structural features.

먼저, 템플릿 정합법은 몇 가지 표준적인 템플릿을 만든 후, 그것을 이용하여 입력받은 영상과 비교를 하여 얼굴을 검출하는 방법이다. 이 방법은 다양한 얼굴모양의 변화에 대해 일반적인 템플릿 생성이 어렵다는 단점이 있다.First, template matching is a method of detecting a face by making some standard templates and comparing them with an input image. This method has a disadvantage in that it is difficult to generate a general template for various facial shapes.

그리고 피부색 기반 방식은 사람의 고유한 피부색을 이용하여 입력영상으로부터 검출을 하는 방법이다. 이 방법은 쉽고 빠르게 사용할 수 있지만, 조명에 의한 색변화가 있거나 배경에 피부색과 비슷한 색이 있을 경우에 얼굴 검출이 취약하다는 한계가 있다. 또한 신경 회로망법은 사람이 다른 사람의 얼굴을 인지하는 방법에 착안하여 그것을 본떠 만든 방법으로, 다중 계층 신경망에 학습을 통해 얼굴과 얼굴이 아닌 패턴을 구분 하는 방법이다. 그러나 학습된 얼굴에 대해서는 다른 방식에 비해 효과적인 검출이 가능하지만 회전과 같은 다양한 얼굴변화에 대한 검출이 어렵고 계산량이 많아 실시간 얼굴 검출방법으로는 적합하지 않다는 단점이 있다. 또, 특징기반 접근법은 얼굴의 지역적 특징, 구조적 특징 등 얼굴이 갖고 있는 고유한 특징들을 이용하여 얼굴을 검출하는 방법이다. 이 방법은 신경 회로망법과 같이 계산량이 많다는 단점이 있지만, 이용하는 특징에 따라 여러 요소들을 가변적으로 변경하여 얼굴 검출이 가능하다는 장점이 있다.The skin color based method is a method of detecting from an input image using a unique skin color of a person. This method can be used quickly and easily, but there is a limitation that the face detection is weak when there is a color change by lighting or a color similar to the skin color in the background. In addition, the neural network method is a way of thinking about how a person perceives another person's face and modeled it. It is a method of distinguishing a face from a non-face pattern through learning on a multi-layer neural network. However, it is possible to detect the learned face more effectively than other methods, but it is difficult to detect various face changes such as rotation and it is not suitable for real-time face detection method due to the large amount of calculation. In addition, the feature-based approach is a method for detecting a face by using unique features of the face such as local features and structural features of the face. This method has a disadvantage in that it has a large amount of calculation like neural network method, but it has an advantage in that face detection is possible by varying various elements according to the characteristics used.

본 발명은 얼굴 영역 검출방법으로서, 특징기반 접근법을 기반으로 하는 알고리즘, 즉 얼굴의 지역적 구조 특징을 이용한 변환방법인 CT(Census Transform) 변환을 변형한 새로운 MCT(New Modified Census Transform) 변환으로 영상을 변환하여 하드웨어 구현에 적합하도록 메모리를 효율적으로 사용하여 얼굴을 검출하는 엔엠씨티(NMCT) 기반의 얼굴 검출 방법을 제공하기 위한 것이 목적이다.The present invention is a face region detection method, which uses an algorithm based on a feature-based approach, that is, a New Modified Census Transform (MCT) transform that transforms a CT (Census Transform) transform, which is a transform method using a local structural feature of a face. An object of the present invention is to provide a face detection method based on NMCT, which detects a face by efficiently converting memory to be suitable for hardware implementation.

더욱이 본 발명은 새로운 MCT 변환 방식을 이용하여 얼굴을 검출할 때에 큰 문제가 되는 조명과 같은 빛 변화에 덜 민감하도록 하고, 또한, 정면 얼굴 영상으로 학습을 한 필터를 이용하여 하드웨어 구현을 위한 효율적인 자원의 활용을 도모한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법을 제공하기 위한 것이 다른 목적이다.Furthermore, the present invention makes it less susceptible to light changes such as lighting, which is a major problem when detecting a face using a new MCT transformation method, and is an efficient resource for hardware implementation using a filter trained with a front face image. Another object is to provide a face detection method based on NMCT.

또한 본 발명은 상기 새로운 MCT변환 방식이 적용된 하드웨어를 완구용 인형에 내장한 지능형 스마트 로봇 토이를 제공하기 위한 것이 다른 목적이다.Another object of the present invention is to provide an intelligent smart robot toy in which the new MCT transformation method is applied to a toy doll.

본 발명은 상기 목적을 달성하기 위한 엔엠씨티(NMCT) 기반의 얼굴 검출 방법은, (a) 입력된 컬러 영상을 흑백 영상으로 변환하여 강도 정보만을 추출하는 전처리과정을 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 영상을 최대 및 최소 축소 비율로 변환하여 검출 가능한 최대 및 최소 얼굴 크기를 조절하는 리사이즈 단계; (b) 리사이즈된 영상에 영상의 지역적 구조 특징을 이용하여 변환하는 새로운 MCT 변환 단계; (c) 상기 지역적 구조 특징으로 변환된 영상에 각 단계별 필터 테이블의 좌표를 불러와 얼굴 검출 윈도우를 적용하여 얼굴을 검출하는 후보검출 단계; (d) 상기 검출된 후보를 다양한 크기별, 위치별로 검출된 얼굴 영역들을 같은 얼굴 후보 영역끼리 그룹화하여 최종 결과를 출력하는 그룹화 단계, 및 (e) 각 그룹의 대표가 되는 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 얼굴 후보 영역을 선정하는 후보 등록 단계를 포함하여 이루어진 것을 특징으로 한다.The present invention provides a face detection method based on NMCT, which comprises (a) converting an input color image into a black and white image to extract faces of various sizes from a preprocessed image of extracting intensity information only. Resizing the image to a maximum and minimum reduction ratio to adjust the maximum and minimum face sizes to be detected; (b) a new MCT transformation step of transforming the resized image using the local structural features of the image; (c) a candidate detection step of detecting a face by applying a face detection window by importing coordinates of each stage filter table to the image converted into the regional structural features; (d) a grouping step of outputting a final result by grouping the detected face areas of the detected candidates of various sizes and positions by the same face candidate area, and (e) accumulating classification of face candidate areas that are representative of each group. And a candidate registration step of selecting a face candidate region as a result by obtaining a weighted average of the size of the representative face candidate region and the center pixel coordinates by applying the child value as a weight.

또한, 본 발명은 메인보드에 구비된 구성요소로부터 데이터 입출력을 제어하는 CPU와, 각종 파일이나 연산에 필요한 데이터를 입출력하는 제1저장부와, 상기 메인보드의 부팅을 위한 OS를 비롯한 시스템 프로그램 등을 입출력하는 제2저장부와, 외부의 영상을 촬영하여 이미지 데이터로 변환하여 출력하는 카메라와, 상기 카메라로부터 촬영된 이미지 데이터를 가시적으로 나타내기 위한 표시장치로서 입력영상 및 결과영상을 표시하는 모니터가 포함된 메인보드가 구비되고, 상기 메인보드와 연결되어 FPGA보드에 탑재된 구성요소들의 데이터 입출력을 제어하는 콘트롤러와, 상기 콘트롤러의 제어로 저장된 필터 데이터 및 이미지 데이터를 입출력하는 제1메모리부와, 상기 콘트롤러의 제어로 얼굴 검출, 연산 및 검증을 위한 중간결과를 저장하는 제2메모리부가 구비된 FPGA보드를 포함하여 구성된 것을 특징으로 한다.In addition, the present invention provides a CPU for controlling data input and output from the components provided on the motherboard, a first storage unit for inputting and outputting data required for various files and operations, and a system program including an OS for booting the motherboard. And a second storage unit for inputting / outputting a camera, a camera for capturing an external image and converting the image into image data, and a display device for visually representing the image data captured by the camera. A controller including a main board including a controller connected to the main board to control data input / output of components mounted on the FPGA board, a first memory unit for inputting / outputting filter data and image data stored under control of the controller; And a second method for storing intermediate results for face detection, calculation, and verification under control of the controller. Including the FPGA board having Li added characterized in that configured.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예로서, 엔엠씨티(NMCT) 기반의 얼굴 검출 방법에 관하여 상세하게 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of the present invention, NMCT-based face detection method will be described in detail as follows.

도 1은 본 발명에 따른 새로운 MCT 기반의 얼굴을 검출하고 검증하기 위한 하드웨드적인 구성으로서, 메인보드(100)와, 메인보드와 커넥터 등으로 연결된 FPGA보드(200)의 주요 구성을 나타낸 블록도이다. 도 1의 블록도는 소프트웨어로 알고리즘화된 새로운 MCT 기반의 얼굴 검출 방법을 하드웨어적인 구성으로 시스템 온 칩(SoC; System on Chip)의 형태로 구현한 것이다.1 is a hardware configuration for detecting and verifying a new MCT-based face according to the present invention, and a block diagram showing a main configuration of the main board 100 and the FPGA board 200 connected to the main board and a connector. to be. The block diagram of FIG. 1 implements a new MCT-based face detection method algorithmized by software in the form of a System on Chip (SoC) in a hardware configuration.

먼저, 메인보드(100)에는 CPU(10), 제1저장부(11) 및 제2저장부(12), 하나 이상의 카메라(13), 모니터(14), 오디오입출력부(18) 및 버튼입력부(19)가 구성되고, 그리고 메인보드(100)와 FPGA(200)와의 연결을 위한 RS232 인터페이스(15), JTAG 인터페이스(16) 및 확장 커넥터(17)가 구비되어 있다.First, the motherboard 100 includes a CPU 10, a first storage unit 11 and a second storage unit 12, one or more cameras 13, a monitor 14, an audio input / output unit 18, and a button input unit. 19 is configured, and RS232 interface 15, JTAG interface 16, and expansion connector 17 are provided for connection between main board 100 and FPGA 200.

CPU(10)는 메인보드(100)에 구성된 요소로부터 데이터 입출력 등을 제어하는 것이고, 제1저장부(11)는 각종 파일이나 연산에 필요한 데이터를 입출력하며, 제2저장부(12)는 메인보드(100)의 부팅을 위한 OS를 비롯한 시스템 프로그램 등을 입출력하는 것이다. 카메라(13)는 외부의 영상을 촬영하여 이미지 데이터로 변환하여 출력하는 것이고, 모니터(14)는 카메라로부터 촬영된 이미지 데이터를 가시적으로 나타내기 위한 표시장치로서 입력영상 및 결과영상을 표시한다. 상기 카메라(13)를 복수로 구성하여 얼굴의 인식력을 향상시킬 수 있을 것이다. 모니터(14)는 LCD나 유기EL 또는 CRT 등이 적용될 수 있을 것이다. 또한 오디오입출력부(18) 는 메인보드(100)의 작동상태를 음성을 포함한 가청신호로 변환하여 출력하거나 외부에서 인가된 음성신호를 변환하여 저장할 수 있도록 하는 것으로, 마이크로폰과 스피커 등이 구비된다. 버튼입력부(19)는 메인보드(100)에 인가되는 전원을 온/오프시키거나 인식된 얼굴의 저장 및 삭제 또는 메인보드(100)의 구동에 필요한 버튼이 포함될 수 있을 것이다.The CPU 10 controls data input / output and the like from the elements configured on the main board 100. The first storage unit 11 inputs and outputs data necessary for various files and operations, and the second storage unit 12 receives the main data. Input and output of a system program including an OS for booting the board 100. The camera 13 captures an external image, converts the image into image data, and outputs the image data. The monitor 14 displays an input image and a result image as a display device for visually representing image data captured by the camera. The recognition of the face may be improved by configuring the camera 13 in plurality. The monitor 14 may be LCD, organic EL or CRT. In addition, the audio input / output unit 18 converts the operation state of the main board 100 into an audible signal including voice or outputs the converted audio signal from the outside, and includes a microphone and a speaker. The button input unit 19 may include a button necessary to turn on / off power applied to the main board 100, to store and delete a recognized face, or to drive the main board 100.

FPGA(Field Programmable Gate Array)보드(200)에 탑재된 구성요소는 FPGA(200)에 탑재된 구성요소들의 데이터 입출력을 제어하는 콘트롤러(70)가 구비되어 있고, 필터 데이터 및 이미지 데이터가 저장된 제1메모리부(60)와, 얼굴 검출, 연산 및 검증을 위한 중간결과를 저장하는 제2메모리부(62)가 포함되어 있다. 그리고 메인보드(100)와의 데이터 입출력을 위한 연결수단으로 JTAG 인터페이스(66) 및 확장 커넥터(67)가 구비되어 있다.The component mounted on the field programmable gate array (FPGA) board 200 includes a controller 70 that controls data input / output of the components mounted on the FPGA 200, and includes a first data storing filter data and image data. A memory unit 60 and a second memory unit 62 for storing intermediate results for face detection, calculation and verification are included. In addition, a JTAG interface 66 and an expansion connector 67 are provided as a connection means for data input / output with the main board 100.

도 2는 본 발명의 NMCT 기반 얼굴 검출장치의 세부적인 구성을 나타낸 블록도이다.2 is a block diagram showing the detailed configuration of the NMCT-based face detection apparatus of the present invention.

FPGA(200)에는 메인보드(100)에 구비된 CPU(10)와 데이터 송수신을 위한 동기화를 위한 브리지(30)가 구비되어 있고, 브리지(30)로 입출력되는 데이터를 디코딩하는 것으로, 메인보드(100)의 제1저장부(11) 구성 등록 및 주소의 디코딩, 온칩(On-Chip) 메모리 주소의 디코딩 및 등록 디코딩 및 파일이 포함된 인터페이스(50)가 구비되어 있다.The FPGA 200 includes a bridge 30 for synchronizing data transmission and reception with the CPU 10 included in the main board 100, and decodes data input and output to the bridge 30. An interface 50 including a configuration registration and decoding of an address, a decoding and registration decoding of an on-chip memory address, and a file is provided.

FPGA(200)에 탑재된 콘트롤러(70)는 NMCT 기반의 얼굴 검출, 연산 및 검증을 위하여 FPGA(200)에 탑재된 구성요소를 제어하기 위한 것이다. 제1메모리부 콘트 롤러(61)는 필터 데이터 및 이미지 데이터가 저장된 제1메모리부(60)의 데이터의 입출력을 제어하는 것이다. 전처리모듈(pre-processing module)(71)은 컬러 영상 정보를 흑백 영상으로 변환시키는 기능을 담당하는 것이고, 리사이즈모듈(resize module)(72)은 다양한 크기의 얼굴을 검출하기 위하여 영상을 점차적으로 축소시키는 기능이 포함되어 있다. 그리고 NMCT모듈(73)은 축소된 영상을 얼굴 검출 필터를 적용시키기 위한 형태로 변환하는 기능이 있고, 후보검출모듈(find candidate module)(74)은 변환된 영상에 얼굴 검출 필터를 적용하여 얼굴을 검출하는 기능이 포함되어 있으며, 그룹화모듈(Grouping Module)(75)은 다양한 크기별, 위치별로 검출된 얼굴 영역들을 그룹화하여 최종 결과를 출력하는 기능을 담당하는 것이다. 필터 데이터 저장부(76)는 제1메모리부(60)로부터 입력된 필터데이터를 일시적으로 저장하는 것이다.The controller 70 mounted on the FPGA 200 is for controlling components mounted on the FPGA 200 for NMCT-based face detection, calculation, and verification. The first memory controller 61 controls input / output of data of the first memory unit 60 in which filter data and image data are stored. The pre-processing module 71 is responsible for converting color image information into a black and white image, and the resize module 72 gradually reduces the image to detect faces of various sizes. It has a function to make it. The NMCT module 73 converts the reduced image into a form for applying the face detection filter, and the candidate candidate module 74 applies the face detection filter to the converted image to detect the face. The detection function is included, and the grouping module 75 is responsible for grouping the detected face areas by various sizes and positions and outputting a final result. The filter data storage unit 76 temporarily stores the filter data input from the first memory unit 60.

상기 전처리모듈(71)을 포함한 리사이즈모듈(72), NMCT모듈(73), 후보검출모듈(74) 및 그룹화모듈(75)이 각각 얼굴 검출, 연산 및 검증 등을 수행할 때에 제2메모리부(62)에 데이터가 저장 및 출력된다. 제2메모리부(6)는 리사이즈모듈(72)에서 축소된 데이터를 저장하고, NMCT모듈(73)에서 변환된 데이터를 저장하며, 후보검출모듈(74)에서 검출된 후보를 저장하고, 그룹화모듈(75)에서 그룹화된 얼굴영역과 등가 그룹의 색인에 대한 데이터 및 결과와 연산 정보를 저장하며, 필터정보 및 필터값, 그리고 필터 XY값을 저장한다.When the resize module 72 including the preprocessing module 71, the NMCT module 73, the candidate detection module 74, and the grouping module 75 perform face detection, calculation, and verification, respectively, the second memory unit ( 62) data is stored and output. The second memory unit 6 stores the data reduced in the resize module 72, stores the data converted in the NMCT module 73, stores the candidate detected in the candidate detection module 74, and the grouping module. Data 75, results, and operation information for the indexes of the grouped face regions and equivalent groups are stored in (75), and the filter information, the filter value, and the filter XY value are stored.

다음으로 본 발명의 NMCT 기반의 얼굴 검출 알고리즘에 관하여 구체적으로 설명한다.Next, the NMCT-based face detection algorithm of the present invention will be described in detail.

[영상의 CT 변환] CT(census transform) 변환은 영역의 중심점과 이웃하는 점들과의 픽셀 강도(Intensity) 값을 비교하여 영상을 변환하는 방법이다. CT 변환은 크기의 제한은 없지만, 제안한 알고리즘과의 비교를 위하여 3×3 픽셀 크기 영역으로 제한을 두었다.

Figure 112007036329419-PAT00001
Figure 112007036329419-PAT00002
을 제외한 3×3 픽셀 크기의 지역적 구조내의 이웃 픽셀이고,
Figure 112007036329419-PAT00003
는 픽셀의 강도 값이다. 또,
Figure 112007036329419-PAT00004
는 비교 함수이며,
Figure 112007036329419-PAT00005
일 경우에 1, 그 외의 경우에는 0을 나타낸다.
Figure 112007036329419-PAT00006
는 연결(concatenate) 연산자이고, 이것을 이용하여 픽셀
Figure 112007036329419-PAT00007
에서의 CT 변환을 정의하면 다음의 수학식과 같다.[CT transform of image] A CT (census transform) transformation is a method of transforming an image by comparing pixel intensity values between a center point of a region and neighboring points. The CT transform is not limited in size, but is limited to a 3x3 pixel size area for comparison with the proposed algorithm.
Figure 112007036329419-PAT00001
Is
Figure 112007036329419-PAT00002
Neighboring pixels within a 3 by 3 pixel local structure excluding
Figure 112007036329419-PAT00003
Is the intensity value of the pixel. In addition,
Figure 112007036329419-PAT00004
Is a comparison function,
Figure 112007036329419-PAT00005
1 in the case of 1 and 0 in the other cases.
Figure 112007036329419-PAT00006
Is the concatenate operator, which uses pixels
Figure 112007036329419-PAT00007
The CT transform at is defined by the following equation.

Figure 112007036329419-PAT00008
Figure 112007036329419-PAT00008

상기 수학식

Figure 112007036329419-PAT00009
의 모든 비트는 같은 중요도를 갖고, 영역의 중심 값은 0이다. 즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 8-비트의 지역적 구조 특징으로 변환된다.Equation
Figure 112007036329419-PAT00009
All bits of are of equal importance, and the center of the region is zero. In other words, pixel values of a 3 × 3 pixel local structure are converted into 8-bit local structure features.

[영상의 MCT 변환] MCT(modified census transform) 변환은 CT 변환이 갖고 있는 단점들을 극복하기 위하여 몇 가지를 수정한 것이다. 즉 CT 변환은 중심 픽셀의 강도 값과 이웃한 픽셀들의 강도 값을 비교하여 변환을 하고, 중심 픽셀의 변환 값이 0으로 고정되므로, 3×3 픽셀 크기 영역이 갖고 있는 모든 특징을 표현할 수 없다는 단점이 있다. MCT 변환은 3×3 픽셀 크기 영역의 평균 강도 값을 이용 하는 방법으로 이를 극복하였다.MCT Transformation of Images MCT (modified census transform) transformations are a few modifications to overcome the drawbacks of CT transformation. In other words, the CT transform compares the intensity value of the center pixel with the intensity value of neighboring pixels, and converts the center pixel's conversion value to 0. Therefore, it cannot express all the features of the 3 × 3 pixel size region. There is this. The MCT transformation overcomes this by using an average intensity value in a 3 × 3 pixel size region.

Figure 112007036329419-PAT00010
Figure 112007036329419-PAT00011
을 포함한 3×3 픽셀 크기의 지역적 구조 내의 이웃 픽셀이고,
Figure 112007036329419-PAT00012
Figure 112007036329419-PAT00013
를 포함한 지역적 구조 내의 평균 강도 값이다. 이를 이용하여, 수학식 1을 수정한 MCT 변환을 정의하면 다음의 수학식과 같다.
Figure 112007036329419-PAT00010
Is
Figure 112007036329419-PAT00011
Neighboring pixels within a 3 by 3 pixel local structure containing
Figure 112007036329419-PAT00012
Is
Figure 112007036329419-PAT00013
Average intensity value in the local structure, including Using this, defining an MCT transformation in which Equation 1 is modified is as follows.

Figure 112007036329419-PAT00014
Figure 112007036329419-PAT00014

즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 9-비트의 지역적 구조 특징으로 변환된다.That is, pixel values of the 3x3 pixel sized local structure are converted into 9-bit local structure features.

[새로운 MCT(NMCT; new modified census transform) 변환] 기존의 MCT 변환은 3×3 픽셀 크기 영역내의 점들이 각각 0 또는 1로 변환되므로, 영상의 각 픽셀마다 9-비트가 필요하다. 하드웨어의 저장장소는 8-비트 단위로 나누어지기 때문에 하드웨어 구현에는 적합하지 않은 크기이다. 따라서 본 발명의 알고리즘에서는 하드웨어 구현에 적합하도록 변환할 때에 필요한 비트수를 다음과 같이 조절하였다.[New modified census transform (NCTCT) transform] The existing MCT transform requires 9-bits for each pixel of the image since the points in the 3x3 pixel size region are converted to 0 or 1, respectively. Since the storage of hardware is divided into 8-bit units, it is not suitable for hardware implementation. Therefore, in the algorithm of the present invention, the number of bits required for the conversion to suit the hardware implementation is adjusted as follows.

Figure 112007036329419-PAT00015
Figure 112007036329419-PAT00016
을 제외한
Figure 112007036329419-PAT00017
와 맞닿아 있는 이웃 픽셀이고,
Figure 112007036329419-PAT00018
Figure 112007036329419-PAT00019
일 경우에 0,
Figure 112007036329419-PAT00020
일 경우에 2, 그 외의 경우에는 1을 나타내는 함수라 하면, 이를 이용하여 NMCT 변환을 정의하면 다음의 수학식과 같다.
Figure 112007036329419-PAT00015
Is
Figure 112007036329419-PAT00016
excluding
Figure 112007036329419-PAT00017
Neighboring pixels that are in contact with
Figure 112007036329419-PAT00018
end
Figure 112007036329419-PAT00019
0, if
Figure 112007036329419-PAT00020
In one case, a function representing 2 and in other cases, a NMCT transform is defined using the following equation.

Figure 112007036329419-PAT00021
Figure 112007036329419-PAT00021

즉 3×3 픽셀 크기의 지역적 구조의 픽셀 값들이 7-비트의 지역적 구조 특징으로 변환된다.That is, the pixel values of the 3x3 pixel sized local structure are converted into 7-bit local structure features.

본 발명에서 제안한 알고리즘은 영상에서 3×3 픽셀 크기 영역의 지역적 구조 특징(Local Structure Feature)을 사용한다. 상기 CT 변환과 MCT 변환의 경우에는 3×3 픽셀 크기 영역내의 모든 점을 이용하여 특징을 만들었지만, 본 발명에서 제안한 알고리즘에서는 3×3 픽셀 크기 영역내의 다섯 점만을 이용하여 특징을 만들었다. 즉 CT 변환의 경우는 3×3 픽셀 크기 영역내의 중심 픽셀을 제외한 모든 픽셀이 0 또는 1의 값을 가지므로, 28=256개의 특징이 나오고, MCT 변환의 경우는 3×3 픽셀 크기 영역내의 모든 픽셀을 이용하므로 29-1=511개의 특징이 나온다. 여기서 1개를 제외한 것은 3×3 픽셀 크기 영역내의 픽셀의 변환된 값이 모두 1을 갖는 경우는 없기 때문이다.The algorithm proposed in the present invention uses a local structure feature of a 3 × 3 pixel size region in an image. In the case of the CT transform and the MCT transform, the feature was made using all points in the 3x3 pixel size region, but the algorithm proposed in the present invention was made using only five points in the 3x3 pixel size region. That is, in the case of CT transform, all pixels except the center pixel in the 3 × 3 pixel size area have a value of 0 or 1, so 2 8 = 256 features are obtained. Using all the pixels, 2 9 -1 = 511 features are available. The reason why one is excluded is that the converted values of the pixels in the 3x3 pixel size region do not all have one.

본 발명에서 제안한 새로운 MCT 변환은 네 개의 점이 0, 1, 2의 값을 가지므로, 34=81개의 특징이 나온다. 본 발명에서 제공한 알고리즘은 보다 적은 양의 특징을 사용하여 유사한 성능을 얻었다.In the new MCT transformation proposed in the present invention, since four points have values of 0, 1, and 2, 3 4 = 81 features are obtained. The algorithm provided by the present invention achieves similar performance using fewer features.

다음은 본 발명의 얼굴 검출을 위한 표본생성으로, 임의로 추출한 정면의 얼굴영상과 얼굴이 없는 영상을 이용하여 필터학습을 위한 표본을 만든다. 먼저 임 의의 정면 얼굴 영상을 만들고자 하는 얼굴 검출 윈도우의 크기에 맞추어 변형한다. 얼굴 검출 윈도우의 크기는 기존의 방법과 같이 22×22 픽셀 크기를 사용한다. 변형된 영상을 왼쪽 눈의 위치와 양쪽 눈 사이의 간격을 이용하여 정규화를 시킨다. 이 정규화된 영상에 새로운 MCT 변환을 적용하여 트루(true) 표본으로 등록한다. 그리고 임의의 얼굴이 없는 영상을 앞에서 사용한 얼굴 검출 윈도우의 크기에 맞게 잘라준다. 이 영상에 새로운 MCT 변환을 적용하여 폴스(false) 표본으로 등록한다.The following is a sample generation for face detection according to the present invention. A sample for filter learning is created using a face image and a faceless image of the front face which are randomly extracted. First, the image is transformed according to the size of the face detection window for which an arbitrary front face image is to be created. The size of the face detection window uses a 22 × 22 pixel size as in the conventional method. The deformed image is normalized using the position of the left eye and the distance between both eyes. A new MCT transform is applied to this normalized image to register as a true sample. The image without any face is cropped to fit the size of the face detection window used previously. The image is registered as a false sample by applying a new MCT transform.

상기 생성한 표본으로 얼굴 검출을 위한 필터를 학습시켰다. 학습 방법은 종래와 같은 방법을 사용하였다. 학습의 결과로 필터 테이블이 생성되는데, 이는 22×22 픽셀 크기의 얼굴 검출 윈도우에 대하여 얼굴 영역이라 판단하기 위한 중요한 픽셀의 좌표를 포함하고, 각 픽셀은 81개의 분류자 값을 갖는다. 검출 속도의 향상을 위하여 모든 픽셀의 좌표를 총 6단계로 나누었고, 단계별로 중복되는 좌표도 존재한다. 각 단계별로 8, 16, 32, 64, 128, 269개의 좌표를 포함하고 있다.The generated sample was trained to filter for face detection. The learning method used the same method as the conventional method. As a result of the training, a filter table is generated, which contains the coordinates of the significant pixels for determining the face area for a 22 × 22 pixel face detection window, with each pixel having 81 classifier values. In order to improve the detection speed, all pixel coordinates are divided into a total of six levels, and there are overlapping coordinates for each step. Each step contains 8, 16, 32, 64, 128, and 269 coordinates.

본 발명의 얼굴 검출을 위한 알고리즘의 흐름은 도 4의 흐름도로 나타낼 수 있다. 본 발명에서 제안하는 알고리즘은 영상으로부터 얼굴을 검출하는 과정(A)과, 검출된 얼굴을 검증하는 과정(B)으로 나누어지고, 얼굴 검출과정과 얼굴 검증과정을 동시에 이루어지게 된다.The flow of the algorithm for face detection of the present invention can be represented by the flowchart of FIG. 4. The algorithm proposed in the present invention is divided into a process of detecting a face from an image (A) and a process of verifying a detected face (B), and simultaneously perform a face detection process and a face verification process.

전체적인 알고리즘의 흐름은 먼저, 입력받은 영상에 전처리(preprocessing)를 하고, 전처리된 영상에서 다양한 크기의 얼굴을 검출하기 위하여 점차적으로 영상을 축소해간다. 축소된 영상에 새로운 MCT 변환을 수행하여 얼굴 검출을 위한 형태로 변환한 후, 얼굴 검출 필터를 이용하여 얼굴 후보영역을 검출한다. 마지막으로, 그룹화를 통하여 검출된 얼굴 후보 영역들을 묶어주고, 각 그룹별로 대표 얼굴 후보를 만들어 결과로서 등록하게 된다.The overall algorithm flow is to preprocess the input image first, and then gradually reduce the image to detect faces of various sizes in the preprocessed image. After performing a new MCT transformation on the reduced image to convert it into a shape for face detection, a face candidate filter is detected using a face detection filter. Finally, the face candidate regions detected through grouping are grouped, and a representative face candidate for each group is created and registered as a result.

얼굴 검출과정(A)은 상기 전처리 단계(S100)로서, 본 발명에서 제안하는 알고리즘은 픽셀의 강도 정보를 이용한다. 하지만 R(적), G(녹), B(청)로 이루어진 컬러 영상에 대해서도 검출을 해야 하므로 흑백 영상으로 변환하여 강도 정보만을 추출하는 과정이 필요하다.Face detection process (A) is the preprocessing step (S100), the algorithm proposed in the present invention uses the intensity information of the pixel. However, since a color image including R (red), G (green), and B (blue) must be detected, a process of extracting only intensity information by converting the image into a black and white image is necessary.

그리고 얼굴 검출을 위한 리사이즈 단계(S101)로서, 전처리를 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 일정한 비율로 영상을 축소해 나간다. 축소된 영상에서 22×22 픽셀 크기의 얼굴 검출 윈도우를 원 영상에 맞게 복원을 하면 축소된 정도에 따라 검출 가능한 최소와 최대의 얼굴 크기가 된다. 이 점을 이용하여 축소 비율을 변화시켜 검출의 정밀도를 조절할 수 있고, 최대 및 최소 축소 비율을 변화시켜 검출 가능한 최대 및 최소 얼굴 크기를 조절할 수 있다.Then, as a resizing step (S101) for face detection, the image is reduced in a constant ratio so as to detect faces of various sizes in the preprocessed image. When the face detection window of 22 × 22 pixel size is restored to the original image in the reduced image, it becomes the minimum and maximum detectable face size according to the reduced degree. This can be used to control the precision of detection by changing the reduction ratio, and to adjust the maximum and minimum face sizes that can be detected by changing the maximum and minimum reduction ratios.

또한, 새로운 MCT 변환 단계(S102)로서, 축소된 영상에 영상의 지역적 구조 특징을 이용한 새로운 MCT 변환을 적용하여 변환한다. 이 변환된 영상에 얼굴 검출 윈도우를 적용하여 얼굴을 검출한다. 검출 방법은 후보검출 단계(S103)로서 다음과 같다. 각 단계별로 필터 테이블에서 좌표를 읽어 온 후, 얼굴 검출 윈도우 내의 해당하는 픽셀의 변환 값을 읽는다. 이 값에 해당하는 필터 테이블내의 분류자 값을 읽은 후, 누적시켜 나간다. 단계별로 필터 테이블 내의 모든 점에 대하여 누적을 하였다면, 미리 정의한 단계별 얼굴 검출 임계값과 비교를 한다. 비교 결 과에 따라, 얼굴 영역으로 판단이 된다면 다음 단계로 넘어가고, 얼굴 영역이 아니라고 판단이 된다면 얼굴 검출 윈도우를 한 픽셀 옮긴 후 다시 적용한다.In addition, as a new MCT transformation step (S102), a new MCT transformation using local structural features of the image is applied to the reduced image and transformed. The face is detected by applying a face detection window to the converted image. The detection method is as the candidate detection step (S103) as follows. After reading the coordinates from the filter table for each step, the conversion value of the corresponding pixel in the face detection window is read. The classifier values in the filter table corresponding to these values are read and accumulated. If all points in the filter table are accumulated step by step, the comparison is made with a predefined face detection threshold value. As a result of the comparison, if it is determined that the face area is determined, the process proceeds to the next step. If it is determined that it is not the face area, the face detection window is moved by one pixel and then applied again.

다음으로 그룹화 단계(S104)로서, 상기 단계(S103)에서 검출된 후보들은 같은 얼굴이라도 크기별, 위치별로 다양하게 찾아진 결과이기 때문에 중복 검출이 된다. 따라서 같은 얼굴 후보 영역끼리 그룹화를 한 후, 각 그룹별로 대표 얼굴 후보를 만들어 결과로 한다.Next, in the grouping step (S104), the candidates detected in the step (S103) are duplicated detections because the results are found in various sizes and positions by the same face. Therefore, after grouping the same face candidate areas, a representative face candidate is created for each group, resulting in a result.

상기 그룹화 단계(S104)는 전 단계에서 검출된 후보 영역들의 중심 픽셀간의 거리와 후보 영역의 크기를 이용하여 수행한다. 가장 먼저 검출된 얼굴 후보 영역부터 가장 나중에 검출된 얼굴 후보 영역까지 서로 비교를 하여 중심 픽셀 좌표간의 거리가 임계값보다 가깝고, 영역의 크기가 비슷한 얼굴 후보 영역들을 같은 그룹으로 묶는다. 그룹 내의 후보 영역 개수가 일정 개수 이하라면 배경 영역이라 판단을 하고, 그룹을 제거한다. 이것을 도 3에 나타내었다.The grouping step S104 is performed using the distance between the center pixels of the candidate areas detected in the previous step and the size of the candidate area. Comparing each other from the first detected face candidate area to the last detected face candidate area, the face candidate areas having a distance between the center pixel coordinates closer to the threshold and having similar sizes are grouped into the same group. If the number of candidate areas in the group is less than or equal to a predetermined number, it is determined as a background area, and the group is removed. This is shown in FIG. 3.

마지막으로, 각 그룹 별로 대표가 되는 얼굴 후보 영역을 선정하는 후보 등록 단계(S105)를 수행하는데, 이것은 각 그룹의 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 이루어진다. 누적된 분류자 값을 이용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 등록한다.Finally, a candidate registration step (S105) of selecting a face candidate area representing each group is performed by applying a cumulative classifier value of the face candidate areas of each group as a weight. Using the accumulated classifier value, the weighted average of the size of the representative face candidate region and the center pixel coordinates is obtained and registered as a result.

본 발명에서 사용한 필터 테이블은 정면 영상을 사용하여 만들었기 때문에 기울어짐 등의 얼굴 왜곡이 있는 경우에는 검출이 다소 취약함을 보였다. 또한, 얼굴이 영상의 끝에 걸려서 잘린 경우나 너무 작거나 큰 경우, 또는 커다란 선글라스와 같이 얼굴이 많이 가려진 경우나 안경에 빛 반사가 심해서 얼굴의 지역적 특 징 구조가 제대로 안 나오는 경우에 검출이 취약했다. 이를 제외한 정면 영상에 대해서는 매우 뛰어난 검출 성능을 보였다.Since the filter table used in the present invention was made using the front image, it was shown that the detection was somewhat weak in the case of face distortion such as tilting. In addition, detection was vulnerable if the face was cut off at the end of the image, if it was too small or large, or if the face was obscured, such as large sunglasses, or if the specular features of the face were not reflected due to severe light reflections on the glasses. . Except for this, the front image showed very good detection performance.

영상처리 관련 알고리즘을 하드웨어로 구현할 때에 가장 중요한 요소는 메모리의 크기이다. 영상의 데이터는 매우 많은 메모리를 필요로 하므로, 이를 효율적으로 사용하는 것은 하드웨어로 구현할 때 필수적인 고려사항이다. 511개의 분류자를 표현하려면 9-비트가 필요하고, 81개의 분류자를 표현하려면 7-비트가 필요하다. 따라서 8-비트 단위로 저장되는 하드웨어 메모리의 특성상 9-비트는 자원의 낭비가 심하다. 또한 기존의 알고리즘은 484×511×2=494648, 약 483K개의 저장 공간이 필요하고, 제안한 알고리즘은 517×81=41877, 약 41K개의 저장 공간이 필요하므로, 약 1/12만큼 적은 공간을 필요로 한다.The most important factor when implementing an image processing algorithm in hardware is the memory size. Since video data requires a lot of memory, using it efficiently is an essential consideration when implementing hardware. 9-bits are required to represent 511 classifiers, and 7-bits are required to represent 81 classifiers. Therefore, 9-bit is a waste of resources due to the nature of the hardware memory stored in 8-bit units. In addition, the existing algorithm requires about 483K of storage space at 484 × 511 × 2 = 494648, and the proposed algorithm requires about 517 × 81 = 41877 and about 41K storage space. do.

또한, 얼굴 검출 과정을 보면 얼굴 검출 윈도우의 각 단계별 좌표에 해당하는 픽셀 값을 읽어온 후, 필터 테이블에서 해당 분류자를 읽어와 누적하고, 임계치와 비교하여 검출을 하는 단순한 일련 과정의 반복이다. 이는 하드웨어로 구현하기 용이한 점이 되며, 규칙적이고 반복적인 일을 빠르고 효율적으로 처리하는 하드웨어의 특성상 매우 적합하다. 따라서 본 발명에서 제안한 알고리즘은 기존의 방식과 비교하여 보다 적은 메모리 자원을 사용하고, 하드웨어로 구현할 때 메모리 자원 이용이 효율적일 뿐만 아니라, 구현이 용이하며 우수한 성능을 보인다.In addition, the face detection process is a repetition of a simple process of reading the pixel values corresponding to the coordinates of each step of the face detection window, reading the classifiers from the filter table, accumulating them, and comparing them with the threshold. This makes it easy to implement in hardware and is well suited for the nature of the hardware that handles regular and repetitive tasks quickly and efficiently. Therefore, the algorithm proposed in the present invention uses less memory resources compared to the conventional method, and it is not only efficient to use memory resources when implemented in hardware, but also easy to implement and shows excellent performance.

더욱이 얼굴 검출 과정과 동시에 검출된 얼굴에 대한 검증 과정을 거치게 된다. 이는 얼굴 검증과정(B)으로서, 후보로 등록된 얼굴은 얼굴 영역, 즉 눈, 코, 입에 대한 좌표를 계산하는 단계(S201)를 거쳐 얼굴 영역을 계산한다. 그리고 얼 굴 영역을 검출하는 단계(S202)를 수행하게 된다. 상기 얼굴 영역을 검출하는 단계(S202)에서는 얼굴 검출에 적용된 모듈을 사용하게 된다. 그리고 얼굴 영역의 눈, 코, 입의 거리를 비교 및 조합하는 단계(S203)를 수행하게 되고, 얼굴 영역의 축소, 확대 및 각도 등의 이미지를 변환하는 단계(S204)를 거쳐 얼굴 검출에 적용된 모든 모듈이 사용하여 검증연산 단계(S205)를 수행한다. 그리고 누적연산 단계(S206)를 거쳐 후보를 정합시켜 등록시키게 된다.Furthermore, at the same time as the face detection process, the detected face is verified. This is a face verification process (B) in which a face registered as a candidate calculates a face region through a step S201 of calculating coordinates for a face region, that is, an eye, a nose, and a mouth. In step S202, the facial region is detected. In detecting the face region (S202), a module applied to face detection is used. And comparing and combining the distance of the eyes, nose and mouth of the face area (S203) is performed, and converting the image such as reduction, enlargement and angle of the face area (S204) through all the applied to the face detection The module uses to perform the verification operation (S205). The candidates are registered and registered through the accumulation operation step S206.

이와 같이 본 발명의 엔엠씨티(NMCT) 기반의 얼굴 검출 알고리즘이 적용된 장치를 응용하여 도 5와 같은 완구를 제작할 수 있다.As described above, the toy as shown in FIG. 5 may be manufactured by applying a device to which the NMCT-based face detection algorithm is applied.

도 5의 완구(300)에는 사용자를 촬영하여 영상데이터로 변환하는 하나 이상의 카메라(13)가 구비되어 있고, 카메라(13)의 일측에는 하나 이상의 볼록렌즈(25)가 구비되어 있다. 볼록렌즈(25)는 사용자가 카메라(13)의 중심에 올 수 있도록 사용자의 얼굴 위치를 조정할 수 있도록 하기 위한 것이다. 상기 볼록렌즈(25) 대신에 하나 이상의 오목렌즈가 적용될 수도 있을 것이다. 촬영된 사용자의 얼굴이 표시되도록 하는 모니터(14)가 구비되어 있고, 완구(300)의 작동을 위한 전원을 공급하기 위한 전원공급부가 구비되고, 전원공급부는 건전지나 충전지가 삽입되어 결합되거나 또는 외부로부터 직류전원을 인가할 수 있도록 충전용 어댑터 잭(23)이나 커넥터가 구비될 수 있을 것이다.The toy 300 of FIG. 5 includes one or more cameras 13 for capturing a user and converting the image data into image data, and one or more convex lenses 25 are provided on one side of the camera 13. The convex lens 25 is for enabling the user to adjust the position of the face of the user so that the user can come to the center of the camera 13. Instead of the convex lens 25, one or more concave lenses may be applied. A monitor 14 is provided to display a photographed user's face, and a power supply unit for supplying power for the operation of the toy 300 is provided, and the power supply unit is coupled by inserting a battery or a rechargeable battery or externally. It may be provided with a charging adapter jack 23 or a connector to apply a DC power from.

그리고 완구(300)의 작동, 예컨대, 인식된 사용자 얼굴을 저장하기 위한 얼굴 저장 버튼(20)이 구비되고, 모니터(14) 또는 모니터(14)의 일측에는 최초의 사용하거나 또는 저장된 얼굴 정보를 삭제하기 위한 얼굴 정보 리셋 버튼(22) 등이 포함되어 있다. 또한 완구(300)에는 완구의 온 또는 오프를 위한 전원 버튼 등이 포함될 수 있다. 또한 완구(300)로부터 음성이 출력되거나 외부의 음성을 입력하여 저장하기 위한 오디오입출력부(18)로서 마이크로폰이나 스피커 등이 장착되어 있다.And the operation of the toy 300, for example, the face storage button 20 for storing the recognized user's face is provided, the monitor 14 or one side of the monitor 14 to delete the first used or stored face information Face information reset button 22 and the like are included. In addition, the toy 300 may include a power button for turning on or off the toy. In addition, a microphone, a speaker, or the like is mounted as the audio input / output unit 18 for outputting voice from the toy 300 or inputting and storing external voice.

이와 같이 구성된 완구(300)는 사용자 얼굴을 저장하기 위하여, 얼굴 저장 버튼(20)을 누르면, 예컨대, "나는 ○○○야 우리 친구하자~" 라는 음성이 출력되고, 얼굴 저장을 위하여 얼굴 저장 버튼(20)을 누르면 얼굴 정보의 등록 및 저장이 이루어진다. 또한, 얼굴 정보를 충분히 저장하지 못하고 얼굴 저장 버튼에서 손을 떼게 되면, 예컨대, "싫어 싫어~ 더 놀아줘~"라는 음성이 출력되어 추가적인 얼굴 정보의 저장을 유도하게 된다.The toy 300 configured as described above presses the face storage button 20 in order to store the user's face. For example, the voice “I'm ○○○, let's be friends ~” is output, and the face storage button is stored for the face. Press 20 to register and store face information. In addition, if the user does not store enough face information and releases the face save button, for example, a voice of “no hate ~ play more ~” may be output to induce additional face information storage.

또한, 얼굴의 인식을 위하여 대기 중에 등록되지 않은 얼굴이 검출되면, 예컨대, "누구야? ○○○는 심심해 놀아줘~" 라는 음성이 출력된다. 그리고 이미 등록된 얼굴이 검출되면, 예컨대, "친구야~ 뭐하고 놀까?"라는 음성이 출력된다.In addition, when a face not registered in the air for face recognition is detected, for example, a voice is outputted, "Who are you? When a face already registered is detected, for example, a voice is outputted, "My friend ~ What should I play with?"

상기 완구(300)의 구성은 본 발명의 NMCT 기반의 얼굴 검출 알고리즘을 응용한 장치의 일실시예로서, 각종 정보 보안이나 인증, 감시 또는 확인 등을 위한 다양한 형태나 모양으로 제작 및 응용될 수 있을 것이다.The configuration of the toy 300 is an embodiment of the device applying the NMCT-based face detection algorithm of the present invention, it can be produced and applied in various forms or shapes for various information security, authentication, monitoring or confirmation, etc. will be.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described in connection with specific embodiments thereof, it is well known in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the claims. Anyone who owns it can easily find out.

상술한 바와 같이, 본 발명은 하드웨어 구현을 위하여 조명의 변화에 강한 새로운 MCT 기반의 얼굴 검출 알고리즘을 제안하였고, 하드웨어 구현에 적합하도록 저장 비트 수를 조절하여 메모리의 낭비를 줄이고, 적은 크기의 얼굴 검출 필터 테이블을 만들어 사용함으로써 메모리의 사용을 기존의 방식과 비교하여 약 1/12만큼 줄였다. 본 발명은 보다 적은 메모리를 사용하였지만, 양호한 검출 성능을 얻었다.As described above, the present invention has proposed a new MCT-based face detection algorithm that is resistant to changes in illumination for hardware implementation, reduces the waste of memory by adjusting the number of storage bits to be suitable for hardware implementation, and detects small face. By creating and using a filter table, the memory usage is reduced by about 1/12 compared to the conventional method. Although the present invention uses less memory, good detection performance has been obtained.

또한, 보다 많은 픽셀을 검사하여 얼굴을 검출하지만, 여러 단계로 나누어 수행함으로써 중간 단계에서 탈락되는 후보가 많아져 속도가 향상되었고, 같은 얼굴에 대해 다양하게 검출된 후보들을 그룹화 방법을 통하여 신뢰성 높은 얼굴 영역을 검출한 효과가 있다.In addition, the face is detected by scanning more pixels, but by dividing into several stages, the number of candidates dropped in the middle stage is increased, and the speed is improved. There is an effect of detecting the area.

Claims (9)

(a) 입력된 컬러 영상을 흑백 영상으로 변환하여 강도 정보만을 추출하는 전처리과정을 거친 영상에서 다양한 크기의 얼굴을 검출할 수 있도록 영상을 최대 및 최소 축소 비율로 변환하여 검출 가능한 최대 및 최소 얼굴 크기를 조절하는 리사이즈 단계;(a) The maximum and minimum face size that can be detected by converting the image to the maximum and minimum reduction ratio so that the face of various sizes can be detected in the preprocessed image that converts the input color image into a black and white image to extract only intensity information. Resizing step of adjusting; (b) 리사이즈된 영상에 영상의 지역적 구조 특징을 이용하여 변환하는 새로운 MCT 변환 단계;(b) a new MCT transformation step of transforming the resized image using the local structural features of the image; (c) 상기 지역적 구조 특징으로 변환된 영상에 각 단계별 필터 테이블의 좌표를 불러와 얼굴 검출 윈도우를 적용하여 얼굴을 검출하는 후보검출 단계;(c) a candidate detection step of detecting a face by applying a face detection window by importing coordinates of each stage filter table to the image converted into the regional structural features; (d) 상기 검출된 후보를 다양한 크기별, 위치별로 검출된 얼굴 영역들을 같은 얼굴 후보 영역끼리 그룹화하여 최종 결과를 출력하는 그룹화 단계;(d) a grouping step of outputting a final result by grouping the detected face regions by various sizes and positions by the same face candidate regions; (e) 각 그룹의 대표가 되는 얼굴 후보 영역들의 누적된 분류자 값을 가중치로 적용하여 대표 얼굴 후보 영역의 크기와 중심 픽셀 좌표의 가중 평균을 구하여 결과로 얼굴 후보 영역을 선정하는 후보 등록 단계;(e) a candidate registration step of selecting a face candidate region as a result by obtaining a weighted average of the size of the representative face candidate region and the center pixel coordinates by applying the accumulated classifier values of the face candidate regions representing the respective groups as weights; 를 포함하여 이루어진 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 방법.NMCT-based face detection method comprising a. 제1항에 있어서,The method of claim 1, 상기 단계 (b)에서, NMCT 변환을 위하여 다음의 수학식,In the step (b), the following equation for the NMCT conversion,
Figure 112007036329419-PAT00022
Figure 112007036329419-PAT00022
(여기서,
Figure 112007036329419-PAT00023
Figure 112007036329419-PAT00024
을 제외한
Figure 112007036329419-PAT00025
와 맞닿아 있는 이웃 픽셀이고,
Figure 112007036329419-PAT00026
Figure 112007036329419-PAT00027
일 경우에 0,
Figure 112007036329419-PAT00028
일 경우에 2, 그 외의 경우에는 1을 나타내는 함수이며,
Figure 112007036329419-PAT00029
는 연결(concatenate) 연산자이다.)
(here,
Figure 112007036329419-PAT00023
Is
Figure 112007036329419-PAT00024
excluding
Figure 112007036329419-PAT00025
Neighboring pixels that are in contact with
Figure 112007036329419-PAT00026
end
Figure 112007036329419-PAT00027
0, if
Figure 112007036329419-PAT00028
Is a function representing 2 in the case of 1, otherwise 1
Figure 112007036329419-PAT00029
Is the concatenate operator.)
을 적용한 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 방법.NMCT-based face detection method characterized in that the application.
제1항에 있어서,The method of claim 1, 상기 얼굴 검출 과정과 동시에 검출된 얼굴에 대한 검증 과정으로서,As a verification process for a face detected simultaneously with the face detection process, (f) 후보로 등록된 얼굴은 눈, 코, 입의 얼굴 영역에 대한 좌표를 계산하는 단계;(f) calculating the coordinates for the face area of the eyes, nose, and mouth, which are registered as candidates; (g) 상기 계산된 얼굴 영역을 얼굴 검출에 적용된 모듈을 이용하여 검출하는 단계;(g) detecting the calculated face area using a module applied to face detection; (h) 상기 검출된 눈, 코, 입의 얼굴 영역을 비교 및 조합하는 단계;(h) comparing and combining the detected eye, nose and mouth facial areas; (i) 상기 비교 및 조합된 얼굴 영역을 축소, 확대 및 각도의 이미지로 변환하는 단계;(i) converting the compared and combined face regions into images of reduced, enlarged and angled; (j) 상기 얼굴 검출에 적용된 모든 모듈이 사용하여 검증연산을 수행하는 단계, 및(j) performing verification operation using all modules applied to the face detection, and (k) 상기 검증연산 후에 후보를 정합시켜 등록시키는 누적연산을 수행하는 단계를 포함하는 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 방법.and performing a cumulative operation of matching and registering candidates after the verification operation. 상기 제1항의 방법을 이용하여 제조되는 완구.A toy manufactured using the method of claim 1. 메인보드(100)에 구비된 구성요소로부터 데이터 입출력을 제어하는 CPU(10)와,CPU 10 for controlling data input and output from the components provided on the main board 100, 각종 파일이나 연산에 필요한 데이터를 입출력하는 제1저장부(11)와,A first storage unit 11 for inputting and outputting data required for various files and operations, 상기 메인보드(100)의 부팅을 위한 OS를 비롯한 시스템 프로그램 등을 입출력하는 제2저장부(12)와,A second storage unit 12 for inputting and outputting a system program including an OS for booting the main board 100, and the like; 외부의 영상을 촬영하여 이미지 데이터로 변환하여 출력하는 카메라(13)와,A camera 13 for capturing an external image and converting the image into image data; 상기 카메라로부터 촬영된 이미지 데이터를 가시적으로 나타내기 위한 표시장치로서 입력영상 및 결과영상을 표시하는 모니터(14)가 포함된 메인보드(100)가 구비되고,As a display device for visually representing the image data photographed from the camera is provided a main board 100 including a monitor 14 for displaying an input image and a result image, 상기 메인보드(100)와 연결되어 FPGA(200)에 탑재된 구성요소들의 데이터 입출력을 제어하는 콘트롤러(70)와,A controller 70 connected to the main board 100 to control data input / output of components mounted on the FPGA 200; 상기 콘트롤러(70)의 제어로 저장된 필터 데이터 및 이미지 데이터를 입출력하는 제1메모리부(60)와,A first memory unit 60 for inputting and outputting filter data and image data stored under the control of the controller 70; 상기 제1메모리부(60)의 입출력 데이터를 제어하는 제1메모리부 콘트롤러(61)와,A first memory unit controller 61 for controlling input / output data of the first memory unit 60; 상기 콘트롤러(70)의 제어로 얼굴 검출, 연산 및 검증을 위한 중간결과를 저 장하는 제2메모리부(62)가 구비된 FPGA(200)를 포함하여 구성된 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 장치.NMCT-based, characterized in that it comprises an FPGA (200) having a second memory unit 62 for storing intermediate results for face detection, operation and verification by the control of the controller 70 Face detection device. 제5항에 있어서,The method of claim 5, 상기 메인보드(100)의 작동상태를 음성을 포함한 가청신호로 변환하여 출력하거나 외부에서 인가된 음성신호를 변환하여 저장하는 오디오입출력부(18)와,An audio input / output unit 18 for converting and outputting an operating state of the main board 100 into an audible signal including voice or converting and storing an externally applied voice signal; 상기 메인보드(100)에 인가되는 전원을 온/오프시키거나 인식된 얼굴의 저장 및 삭제 또는 메인보드(100)의 구동에 필요한 복수의 버튼이 포함된 버튼입력부(19)와,A button input unit 19 including a plurality of buttons for turning on / off power applied to the main board 100 or storing and deleting a recognized face or driving the main board 100; 상기 카메라의 촬영을 위하여 사용자의 얼굴이 중앙에 오도록 유도하기 위한 볼록렌즈(25)와,Convex lens 25 for guiding the user's face to the center for the camera to shoot, 상기 메인보드(100) 및 FPGA(200)의 구동에 필요한 전원을 공급하기 위한 충전용 어댑터 잭(23)이 포함된 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 장치.NMCT-based face detection device, characterized in that it comprises a charging adapter jack (23) for supplying power required for driving the main board (100) and the FPGA (200). 제5항에 있어서,The method of claim 5, 상기 FPGA보드(200)는 입력된 컬러 영상 정보를 흑백 영상으로 변환하는 전처리(Preprocessing)모듈(71)과,The FPGA board 200 includes a preprocessing module 71 for converting input color image information into a black and white image; 상기 흑백 영상으로 변환된 다양한 크기의 얼굴을 검출하기 위하여 영상을 점차적으로 축소시켜 가는 리사이즈(resize)모듈(72)과,A resize module 72 which gradually reduces the image so as to detect faces of various sizes converted into the black and white image; 상기 축소된 영상을 얼굴 검출 필터를 적용시키기 위한 형태로 변환시키는 새로운 MCT(new MCT)모듈(73)과,A new MCT module 73 for converting the reduced image into a form for applying a face detection filter; 상기 새로운 MCT 모듈에서 변환된 영상에 얼굴 검출 필터를 적용하여 얼굴을 검출하는 후보 검출(find candidate)모듈(74)과,A candidate candidate module 74 for detecting a face by applying a face detection filter to the image converted by the new MCT module; 상기 후보 검출모듈에서 다양한 크기별, 위치별로 검출된 얼굴 영역들을 그룹화하여 최종 결과를 출력하는 그룹화(grouping)모듈(75)이 포함된 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 장치.An NMCT-based face detection apparatus comprising a grouping module 75 for outputting a final result by grouping face regions detected by various sizes and positions in the candidate detection module. 제5항에 있어서,The method of claim 5, 상기 메인보드(100)와 FPGA(200)의 연결을 위하여 RS232 인터페이스(16), JTAG 인터페이스(16, 66) 및 확장 커넥터(17, 67)가 구비된 것을 특징으로 하는 엔엠씨티(NMCT) 기반의 얼굴 검출 장치.NMCT-based, characterized in that the RS232 interface 16, JTAG interface (16, 66) and expansion connector (17, 67) is provided for the connection of the motherboard 100 and the FPGA (200) Face detection device. 상기 제5항의 장치를 이용하여 제조되는 완구.A toy manufactured using the apparatus of claim 5.
KR1020070048081A 2007-05-17 2007-05-17 NMC-based face detection method KR20080101388A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070048081A KR20080101388A (en) 2007-05-17 2007-05-17 NMC-based face detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070048081A KR20080101388A (en) 2007-05-17 2007-05-17 NMC-based face detection method

Publications (1)

Publication Number Publication Date
KR20080101388A true KR20080101388A (en) 2008-11-21

Family

ID=40287653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070048081A KR20080101388A (en) 2007-05-17 2007-05-17 NMC-based face detection method

Country Status (1)

Country Link
KR (1) KR20080101388A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050537B1 (en) * 2009-07-15 2011-07-20 주식회사 아이디테크 Front face image detection method for access certification storage of access control system
WO2011112730A3 (en) * 2010-03-11 2011-11-17 Microsoft Corporation Resolution adjustment of an image that includes text undergoing an ocr process
US8326000B2 (en) 2008-12-22 2012-12-04 Electronics And Telecommunications Research Institute Apparatus and method for detecting facial image
KR101445599B1 (en) * 2014-01-22 2014-10-01 이제희 The apparatus and method of auto printing a smart admission ticket
CN109509218A (en) * 2019-01-31 2019-03-22 深兰人工智能芯片研究院(江苏)有限公司 The method, apparatus of disparity map is obtained based on FPGA

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326000B2 (en) 2008-12-22 2012-12-04 Electronics And Telecommunications Research Institute Apparatus and method for detecting facial image
KR101050537B1 (en) * 2009-07-15 2011-07-20 주식회사 아이디테크 Front face image detection method for access certification storage of access control system
WO2011112730A3 (en) * 2010-03-11 2011-11-17 Microsoft Corporation Resolution adjustment of an image that includes text undergoing an ocr process
CN102782707A (en) * 2010-03-11 2012-11-14 微软公司 Resolution adjustment of an image that includes text undergoing an OCR process
US8380009B2 (en) 2010-03-11 2013-02-19 Microsoft Corporation Resolution adjustment of an image that includes text undergoing an OCR process
KR101445599B1 (en) * 2014-01-22 2014-10-01 이제희 The apparatus and method of auto printing a smart admission ticket
CN109509218A (en) * 2019-01-31 2019-03-22 深兰人工智能芯片研究院(江苏)有限公司 The method, apparatus of disparity map is obtained based on FPGA
CN109509218B (en) * 2019-01-31 2019-10-22 深兰人工智能芯片研究院(江苏)有限公司 The method, apparatus of disparity map is obtained based on FPGA

Similar Documents

Publication Publication Date Title
US10650261B2 (en) System and method for identifying re-photographed images
KR102147052B1 (en) Emotional recognition system and method based on face images
JP4743823B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5629803B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN109800643B (en) Identity recognition method for living human face in multiple angles
KR101760258B1 (en) Face recognition apparatus and method thereof
CN109948566B (en) Double-flow face anti-fraud detection method based on weight fusion and feature selection
CN106529414A (en) Method for realizing result authentication through image comparison
WO2005008593A1 (en) Image processing device, imaging device, image processing method
CN112818722B (en) Modular dynamic configurable living body face recognition system
CN108416291B (en) Face detection and recognition method, device and system
CN101339607A (en) Human face recognition method and system, human face recognition model training method and system
CN111652082A (en) Face liveness detection method and device
CN105574509B (en) A kind of face identification system replay attack detection method and application based on illumination
KR102005150B1 (en) Facial expression recognition system and method using machine learning
JP2013504114A (en) Eye state detection apparatus and method
Anand et al. An improved local binary patterns histograms techniques for face recognition for real time application
US11315360B2 (en) Live facial recognition system and method
KR20080101388A (en) NMC-based face detection method
KR101344851B1 (en) Device and Method for Processing Image
CN113901423B (en) Intelligent security equipment control method and system based on face recognition
CN113343889A (en) Face recognition system based on silence live body detection
KR20110019969A (en) Face detection device
JP2010146395A (en) Image processing device, image processing method, image processing program, and electronic equipment
CN103026383B (en) Pupil detector and pupil detection method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070517

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20081127

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090226

NORF Unpaid initial registration fee
PC1904 Unpaid initial registration fee