KR20170142813A

KR20170142813A - Image detecting device and image detecting method using the same

Info

Publication number: KR20170142813A
Application number: KR1020160109256A
Authority: KR
Inventors: 배광혁; 김채성
Original assignee: 삼성전자주식회사
Priority date: 2016-06-16
Filing date: 2016-08-26
Publication date: 2017-12-28
Also published as: KR102553308B1

Abstract

The present invention relates to an image detection apparatus and an image detection method using the same. According to the embodiment of the present invention, the image detection apparatus may comprise a color image sensor, a first infrared illumination, a second infrared illumination, a mono image sensor and an image signal processor. The color image sensor outputs color image data, and the mono image sensor senses a first infrared ray or a second infrared ray reflected against the subject. The image signal processor measures the illuminance value based on the color image data and measures the distance value of the subject based on infrared image data by the first infrared ray. The image processor obtains an identification image of the subject based on the illumination value, the distance value and the infrared image data by the second infrared ray. According to the embodiment of the present invention, the illuminance value and the distance from the subject can be measured without a separate illuminance sensor or a separate distance sensor, thereby accurately sensing an identification image.

Description

TECHNICAL FIELD [0001] The present invention relates to an image detecting apparatus and an image detecting method using the same,

본 발명은 이미지 센서에 관한 것으로, 좀 더 상세하게는 이미지 검출 장치 및 이를 이용한 이미지 검출 방법에 관한 것이다.The present invention relates to an image sensor, and more particularly, to an image detecting apparatus and an image detecting method using the same.

디지털 카메라 및 디지털 캠코더와 같은 디지털 이미지 촬영 장치는 이미지 센서를 이용하여 이미지를 획득한다. 최근에는 스마트폰 또는 PC의 전면에도 이미지 센서를 이용하여 이미지를 획득한다. 이미지 센서는 CCD (Charge Coupled Device) 및 CIS (CMOS Image Sensor)를 포함한다.Digital image capture devices, such as digital cameras and digital camcorders, acquire images using an image sensor. Recently, an image is acquired using an image sensor on a front surface of a smart phone or a PC. The image sensor includes a CCD (Charge Coupled Device) and a CIS (CMOS Image Sensor).

이미지 센서는 복수의 이미지 센서 픽셀들을 포함한다. 이미지 센서 픽셀들은 어레이 형태로 배열된다. 이미지 센서 픽셀들은 입사된 광에 따라 아날로그 신호들을 출력한다. 이미지 센서 픽셀들로부터 출력되는 아날로그 신호들은 디지털 신호들로 변환되고, 디지털 신호들은 디지털 처리되어 이미지 데이터로 저장된다.The image sensor includes a plurality of image sensor pixels. The image sensor pixels are arranged in an array form. The image sensor pixels output analog signals according to the incident light. The analog signals output from the image sensor pixels are converted into digital signals, and the digital signals are digitally processed and stored as image data.

최근의 이미지 센서는 얼굴 인식 또는 홍채 인식등 식별 이미지를 검출하는 이미지 검출 장치의 구성요소로 사용되고 있다. 또한, 식별 이미지의 정확한 검출 기능 및 본래의 이미지 촬영 기능을 모두 만족시키면서 하나의 이미지 센서로 둘 이상의 기능을 구현하는 것에 대한 요구가 지속적으로 제기되고 있다.Background Art [0002] Recent image sensors are used as components of an image detection apparatus for detecting an identification image such as face recognition or iris recognition. Further, there is a continuing demand for implementing two or more functions with one image sensor while satisfying both the accurate detection function of the identification image and the original image shooting function.

본 발명은 식별 이미지의 정확한 검출을 위한 이미지 검출 장치 및 이를 이용한 이미지 검출 방법을 제공할 수 있다.The present invention can provide an image detection apparatus for accurately detecting an identification image and an image detection method using the same.

본 발명의 실시예에 따른 이미지 검출 장치는 컬러 이미지 센서, 제1 적외선 조명, 제2 적외선 조명, 모노 이미지 센서, 및 이미지 신호 프로세서를 포함할 수 있다.An image detection apparatus according to an embodiment of the present invention may include a color image sensor, a first infrared light, a second infrared light, a mono image sensor, and an image signal processor.

제1 적외선 조명은 피사체에 제1 적외선을 제공하고, 제2 적외선 조명은 피사체에 제2 적외선을 제공할 수 있다. 컬러 이미지 센서는 컬러 이미지 데이터를 출력하고, 모노 이미지 센서는 적외선 이미지 데이터를 출력할 수 있다.The first infrared illumination provides a first infrared light to the subject and the second infrared illumination provides a second infrared light to the subject. The color image sensor outputs color image data, and the mono image sensor outputs infrared image data.

이미지 신호 프로세서는 컬러 이미지 데이터에 근거하여 조도값을 측정하고, 제1 적외선에 의한 적외선 이미지 데이터에 근거하여 거리값을 측정한다. 이미지 신호 프로세서는 조도값, 거리값, 및 제2 적외선에 의한 적외선 이미지 데이터에 근거하여 피사체의 식별 이미지를 획득한다. 이미지 신호 프로세서는 조도값이 기준값 이하인 경우 제2 적외선 조명을 활성화시킨다. 이미지 신호 프로세서는 거리값이 기준 범위 이내인 경우 식별 이미지를 획득한다. 식별 이미지는 홍채 이미지일 수 있다.The image signal processor measures the illuminance value based on the color image data and measures the distance value based on the infrared image data by the first infrared ray. The image signal processor obtains an identification image of the object based on the illumination value, the distance value, and the infrared image data by the second infrared ray. The image signal processor activates the second infrared illumination if the illumination value is below a reference value. The image signal processor obtains the identification image when the distance value is within the reference range. The identification image may be an iris image.

이미지 신호 프로세서는 컬러 이미지 보정부, 조도 계산부, 및 자동 노출 컨트롤러를 포함할 수 있다. 컬러 이미지 보정부는 컬러 이미지 데이터를 보정하여 컬러 섬네일 데이터를 생성한다. 조도 계산부는 컬러 섬네일 데이터에 근거하여 조도값을 산출한다. 자동 노출 컨트롤러는 조도값에 근거하여 컬러 이미지 센서의 노출 시간을 제어한다.The image signal processor may include a color image correction unit, an illumination calculation unit, and an automatic exposure controller. The color image correction section corrects the color image data to generate color thumbnail data. The roughness calculation unit calculates the roughness value based on the color thumbnail data. The automatic exposure controller controls the exposure time of the color image sensor based on the illumination value.

이미지 신호 프로세서는 모노 이미지 보정부 및 거리 계산부를 포함할 수 있다. 모노 이미지 보정부는 제1 적외선에 의한 제1 적외선 이미지 데이터를 보정하여 제1 모노 섬네일 데이터를 생성한다. 모노 이미지 보정부는 제1 적외선 조명이 오프 상태인 경우의 제2 적외선 이미지 데이터를 보정하여 제2 모노 섬네일 데이터를 생성한다. 거리 계산부는 제1 모노 섬네일 데이터와 제2 모노 섬네일 데이터의 차이에 근거하여 거리값을 산출한다.The image signal processor may include a mono image correction unit and a distance calculation unit. The mono image correction unit corrects the first infrared image data by the first infrared ray to generate the first mono thumbnail data. The mono image correction unit generates second mono thumbnail data by correcting the second infrared image data when the first infrared light is off. The distance calculation unit calculates the distance value based on the difference between the first mono thumbnail data and the second mono thumbnail data.

본 발명의 실시예에 따른 이미지 검출 방법은 피사체에 제1 적외선을 제공하는 단계, 제1 적외선을 제공하는 시간과 모노 이미지 센서의 감지 시간을 동기화시키는 단계, 적외선 이미지 데이터를 생성하는 단계, 피사체의 거리를 측정하는 단계, 및 피사체의 식별 이미지를 획득하는 단계를 포함한다.An image detection method according to an embodiment of the present invention includes the steps of providing a first infrared ray to a subject, synchronizing a time for providing the first infrared ray and a detection time of the mono image sensor, generating infrared image data, Measuring the distance, and obtaining an identification image of the subject.

적외선 이미지 데이터는 피사체에 반사된 제1 적외선을 감지하여 생성한다. 피사체의 거리는 적외선 이미지 데이터에 근거하여 생성한다. 피사체의 식별 이미지를 획득하는 단계는 피사체의 거리가 기준 범위 이내인 경우 진행된다.The infrared image data is generated by sensing a first infrared ray reflected on the subject. The distance of the object is generated based on the infrared image data. The step of acquiring the identification image of the subject is performed when the distance of the subject is within the reference range.

피사체의 식별 이미지를 획득하는 단계는 컬러 이미지 데이터를 생성하는 단계, 조도값을 측정하는 단계, 제2 적외선을 피사체에 제공하는 단계, 및 식별 이미지를 획득하는 단계를 포함한다. 조도값은 컬러 이미지 데이터를 근거로 측정하고, 제2 적외선은 조도값이 기준값 이하인 경우 피사체에 제공한다. 모노 이미지 센서는 피사체에 반사된 제2 적외선을 감지하여 식별 이미지를 획득한다.Obtaining an identification image of a subject includes generating color image data, measuring an illuminance value, providing a second infrared to the subject, and obtaining an identification image. The illuminance value is measured based on the color image data, and the second infrared ray is provided to the subject when the illuminance value is less than or equal to the reference value. The mono image sensor senses a second infrared ray reflected from the subject to acquire an identification image.

본 발명의 실시 예에 따르면 별도의 센서 없이 조도값을 측정하고, 피사체의 거리를 측정할 수 있어, 식별 이미지를 정확하게 검출 할 수 있다.According to the embodiment of the present invention, the illuminance value can be measured without a separate sensor, the distance of the subject can be measured, and the identification image can be accurately detected.

도 1은 본 발명의 일 실시예에 따른 이미지 검출 시스템을 도시한 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 이미지 검출 장치를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 모노 이미지 센서를 이용한 거리 측정 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 검출 장치를 이용한 이미지 검출 방법을 도시한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 이미지 검출 시스템을 도시한 블록도이다.
도 8 및 도 9는 컬러 이미지 센서 및 모노 이미지 센서의 단면도이다.
도 10은 적외선 차단 모드에서의 이미지 검출 장치를 도시한 블록도이다.
도 11 및 도 12는 적외선 차단 모드에서의 피사체의 거리 측정 방법을 설명하기 위한 도면이다.
도 13은 적외선 투과 모드에서의 이미지 검출 장치를 도시한 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 이미지 검출 장치를 이용한 이미지 검출 방법을 도시한 순서도이다.
도 15는 본 발명의 일 실시예에 따른 이미지 신호 프로세서를 도시한 블록도이다.1 is a block diagram illustrating an image detection system in accordance with an embodiment of the present invention.
2 and 3 are block diagrams showing an image detection apparatus according to an embodiment of the present invention.
4 is a view for explaining a distance measuring method using a mono image sensor according to an embodiment of the present invention.
5 and 6 are flowcharts illustrating an image detecting method using an image detecting apparatus according to an embodiment of the present invention.
7 is a block diagram illustrating an image detection system in accordance with another embodiment of the present invention.
Figures 8 and 9 are cross-sectional views of a color image sensor and a mono image sensor.
10 is a block diagram showing an image detection apparatus in an infrared cutoff mode.
11 and 12 are views for explaining a method of measuring the distance of the subject in the infrared cut-off mode.
13 is a block diagram showing an image detecting apparatus in an infrared ray transmission mode.
14 is a flowchart showing an image detecting method using an image detecting apparatus according to another embodiment of the present invention.
15 is a block diagram illustrating an image signal processor in accordance with an embodiment of the present invention.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.Hereinafter, embodiments of the present invention will be described in detail and in detail so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 일 실시예에 따른 이미지 검출 시스템(1000)을 도시한 블록도이다. 예를 들어, 이미지 검출 시스템(1000)은 스마트폰, 스마트 패드, 스마트텔레비전, 스마트시계, 웨어러블 장치 중 적어도 하나를 포함할 수 있다.Figure 1 is a block diagram illustrating an image detection system 1000 in accordance with an embodiment of the present invention. For example, the image detection system 1000 may include at least one of a smart phone, a smart pad, a smart television, a smart clock, and a wearable device.

도 1을 참조하면, 이미지 검출 시스템(1000)은 이미지 검출 장치(1100), 어플리케이션 프로세서(1200), 디스플레이(1300), 스토리지 장치(1400), 랜덤 액세스 메모리(1500), 및 모뎀(1600)을 포함한다.1, an image detection system 1000 includes an image detection device 1100, an application processor 1200, a display 1300, a storage device 1400, a random access memory 1500, and a modem 1600 .

이미지 검출 장치(1100)는 컬러 이미지 센서(1110), 모노 이미지 센서(1120), 제1 적외선 조명(1130), 제2 적외선 조명(1140), 및 이미지 신호 프로세서(1150)를 포함한다.The image detection apparatus 1100 includes a color image sensor 1110, a mono image sensor 1120, a first infrared light 1130, a second infrared light 1140, and an image signal processor 1150.

컬러 이미지 센서(1110)는 가시광선 대역의 빛을 감지하고, 모노 이미지 센서(1120)는 적외선 대역의 빛을 감지한다. 컬러 이미지 센서(1110)는 컬러 이미지 데이터(CID)를 출력하고, 모노 이미지 센서(1120)는 적외선 이미지 데이터(MID)를 출력한다. 구체적인 내용은 후술된다.The color image sensor 1110 senses light in the visible light band, and the mono image sensor 1120 senses light in the infrared band. The color image sensor 1110 outputs color image data (CID), and the mono image sensor 1120 outputs infrared image data (MID). Details will be described later.

제1 적외선 조명(1130) 및 제2 적외선 조명(1140)은 적외선 대역의 조명을 제공한다. 제1 적외선 조명(1130)은 제1 적외선을 제공하고, 제2 적외선 조명(1140)은 제2 적외선을 제공한다.The first infrared light 1130 and the second infrared light 1140 provide illumination in the infrared band. The first infrared light 1130 provides a first infrared light and the second infrared light 1140 provides a second infrared light.

피사체와 이미지 검출 장치(1100) 사이의 거리를 측정하기 위하여, 모노 이미지 센서(1120)는 피사체에 반사된 제1 적외선을 감지한다. 피사체와 이미지 검출 장치(1100) 사이의 거리가 가까운 경우에도 제1 적외선이 피사체에 반사되어 모노 이미지 센서(1120)에 도달할 수 있도록, 모노 이미지 센서(1120)와 제1 적외선 조명(1130)은 서로 인접하도록 배치될 수 있다.In order to measure the distance between the subject and the image detecting apparatus 1100, the mono image sensor 1120 senses the first infrared ray reflected on the subject. The mono image sensor 1120 and the first infrared light 1130 can be illuminated by the first infrared light so that the first infrared light can be reflected by the subject and reach the mono image sensor 1120 even when the distance between the subject and the image detection device 1100 is close They can be arranged adjacent to each other.

제1 적외선 조명(1130)은 실시간으로 피사체의 거리를 측정하기 위하여 오랜 시간 동안 제1 적외선을 피사체에 제공할 수 있다. 오랜 시간 제1 적외선을 제공하기 위하여 제1 적외선 조명(1130)은 저전력의 제1 적외선을 피사체에 제공할 수 있다.The first infrared light 1130 may provide a first infrared ray to the subject for a long time in order to measure the distance of the subject in real time. In order to provide the first infrared ray for a long time, the first infrared ray illuminator 1130 can provide a first infrared ray of low power to the subject.

제2 적외선 조명(1140)은 얼굴 인식, 홍채 인식, 또는 피사체의 3D 인식 등 다양한 목적으로 이용될 수 있다. 저조도의 환경에서, 피사체를 감지하기 위하여 모노 이미지 센서(1120)는 피사체에 반사된 제2 적외선을 감지한다. 야간 또는 조명이 없는 실내와 같은 저조도 환경에서, 홍채와 같은 피사체의 일부를 감지하고자 하는 경우, 제2 적외선 조명(1140)은 피사체에 제2 적외선을 제공한다. 가시광선 조명을 사용할 경우, 눈부심 등으로 인하여 정확한 이미지 검출이 어려울 수 있으므로, 제2 적외선 조명(1140)은 적외선 대역의 제2 적외선을 제공한다.The second infrared light 1140 can be used for various purposes such as face recognition, iris recognition, or 3D recognition of a subject. In an environment of low illumination, a mono image sensor 1120 senses a second infrared ray reflected from a subject to detect a subject. In a low-light environment such as a nighttime or non-illuminated room, the second infrared light 1140 provides a second infrared ray to the subject when it is desired to detect a part of the subject such as an iris. When visible light illumination is used, the second infrared light 1140 provides a second infrared light in the infrared band because accurate image detection may be difficult due to glare and the like.

홍채 인식을 위하여 안경을 착용한 사용자에게 제2 적외선을 제공하는 경우, 제2 적외선이 안경에서 반사될 수 있다. 제2 적외선 조명(1140)과 모노 이미지 센서(1120)가 서로 인접하도록 배치되는 경우, 안경에서 반사된 제2 적외선이 모노 이미지 센서(1120)에 도달하여 정확한 이미지 검출이 어려울 수 있다. 또한, 제2 적외선 조명(1140)과 모노 이미지 센서(1120)가 서로 인접하도록 배치되는 경우, 망막 뒤의 모세혈관에서 제2 적외선 반사될 수 있으므로, 적목현상(redeye effect)이 발생할 수 있다. 따라서, 제2 적외선 조명(1140)과 모노 이미지 센서(1120)는 일정한 거리를 갖도록 배치될 수 있다. 즉, 제1 적외선 조명(1130)과 모노 이미지 센서(1120) 사이의 거리는 제2 적외선 조명(1140)과 모노 이미지 센서(1120) 사이의 거리보다 가까울 수 있다.When a user wearing glasses for iris recognition is provided with a second infrared ray, the second infrared ray may be reflected from the glasses. When the second infrared light 1140 and the mono image sensor 1120 are disposed adjacent to each other, the second infrared light reflected from the glasses may reach the mono image sensor 1120, so that accurate image detection may be difficult. In addition, when the second infrared light 1140 and the mono image sensor 1120 are disposed adjacent to each other, a second infrared ray may be reflected by the capillary tube behind the retina, so that a redeye effect may occur. Accordingly, the second infrared light 1140 and the mono image sensor 1120 can be arranged to have a certain distance. That is, the distance between the first infrared light 1130 and the mono image sensor 1120 may be closer than the distance between the second infrared light 1140 and the mono image sensor 1120.

피사체를 원거리에서도 감지할 수 있도록, 제2 적외선 조명(1140)은 고전력의 제2 적외선을 피사체에 제공할 수 있다.The second infrared ray illuminator 1140 can provide a second infrared ray of high power to the subject so that the subject can be sensed even from a long distance.

이미지 신호 프로세서(1150)는 컬러 이미지 센서(1110), 모노 이미지 센서(1120), 제1 적외선 조명(1130), 및 제2 적외선 조명(1140)을 제어하는 제어 동작 및 다양한 데이터를 연산하는 연산 동작을 수행할 수 있다. 이미지 신호 프로세서(1150)는 컬러 이미지 센서(1110) 및 모노 이미지 센서(1120)가 제공하는 데이터들을 근거로 다양한 영상 처리를 수행하고, 영상 처리된 데이터를 어플리케이션 프로세서(1200)에 제공할 수 있다.The image signal processor 1150 includes a control operation for controlling the color image sensor 1110, the mono image sensor 1120, the first infrared light 1130, and the second infrared light 1140, Can be performed. The image signal processor 1150 may perform various image processes based on the data provided by the color image sensor 1110 and the mono image sensor 1120 and may provide the image processed data to the application processor 1200.

이미지 신호 프로세서(1150)는 컬러 이미지 센서(1110)로부터 컬러 이미지 데이터(CID)를 수신하고, 컬러 이미지 데이터(CID)에 근거하여 조도값을 측정할 수 있다. 이미지 신호 프로세서(1150)는 모노 이미지 센서(1120)로부터 제1 적외선에 의한 적외선 이미지 데이터(MID)에 근거하여 피사체의 거리를 측정할 수 있다. 이미지 신호 프로세서(1150)는 조도값, 거리값, 및 제2 적외선에 의한 적외선 이미지 데이터(MID)에 근거하여 피사체의 식별 이미지를 획득할 수 있다. 구체적인 내용은 후술된다.The image signal processor 1150 can receive the color image data (CID) from the color image sensor 1110 and measure the illuminance value based on the color image data (CID). The image signal processor 1150 can measure the distance of the subject based on the infrared image data (MID) by the first infrared ray from the mono image sensor 1120. The image signal processor 1150 can obtain an identification image of the object based on the illumination value, the distance value, and the infrared image data (MID) by the second infrared ray. Details will be described later.

어플리케이션 프로세서(1200)는 이미지 검출 시스템(1000)을 제어하는 제어 동작 및 다양한 데이터를 연산하는 연산 동작을 수행할 수 있다. 어플리케이션 프로세서(1200)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다. 도 1은 어플리케이션 프로세서(1200)와 이미지 신호 프로세서(1150)가 분리되어 배치된 것으로 도시하였으나, 이에 제한되지 않고, 어플리케이션 프로세서(1200)와 이미지 신호 프로세서(1150)는 하나의 칩으로 형성될 수 있다.The application processor 1200 may perform a control operation for controlling the image detection system 1000 and a calculation operation for computing various data. The application processor 1200 may execute an operating system and various applications. 1 illustrates the application processor 1200 and the image signal processor 1150 separately arranged. However, the application processor 1200 and the image signal processor 1150 may be formed as a single chip .

디스플레이(1300)는 이미지 검출 장치(1100)에 의하여 생성된 데이터 또는 스토리지 장치(1400) 또는 랜덤 액세스 메모리(1500)에 저장된 데이터를 수신하여 표시할 수 있다. 예를 들어, 디스플레이(1300)는 LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diode), AMOLED (Active Matrix OLED), 플렉서블 디스플레이, 전자잉크 등을 포함할 수 있다.Display 1300 may receive and display data generated by image detection device 1100 or data stored in storage device 1400 or random access memory 1500. [ For example, the display 1300 may include an LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diode), an AMOLED (Active Matrix OLED), a flexible display, and an electronic ink.

스토리지 장치(1400)는 어플리케이션 프로세서(1200)의 보조기억장치로 사용될 수 있다. 예를 들어, 어플리케이션 프로세서(1200)에 의해 실행되는 운영 체제 또는 다양한 어플리케이션들의 소스 코드들, 운영 체제 또는 어플리케이션들에 의해 장기적인 저장을 목적으로 생성되는 다양한 데이터가 스토리지 장치(1400)에 저장될 수 있다. 스토리지 장치(1400)는 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.The storage device 1400 may be used as an auxiliary storage device of the application processor 1200. For example, various data generated for the purpose of long-term storage by the operating system executed by the application processor 1200 or the source codes, operating system or applications of various applications may be stored in the storage device 1400 . The storage device 1400 may include a flash memory, a phase-change RAM (PRAM), a magnetic RAM (MRAM), a ferroelectric RAM (FeRAM), a resistive RAM (RRAM)

랜덤 액세스 메모리(1500)는 어플리케이션 프로세서(1200)의 주기억장치로 사용될 수 있다. 예를 들어, 랜덤 액세스 메모리(1500)는 어플리케이션 프로세서(1200)에 의해 처리되는 다양한 데이터 및 프로세스 코드들을 저장할 수 있다. 랜덤 액세스 메모리(1500)는 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.The random access memory 1500 may be used as the main memory of the application processor 1200. [ For example, the random access memory 1500 may store various data and process codes that are processed by the application processor 1200. The random access memory 1500 may include a dynamic random access memory (DRAM), a static random access memory (SRAM), a phase change RAM (PRAM), a magnetic RAM (MRAM), a ferroelectric random access memory (FeRAM) .

모뎀(1600)은 외부 장치와 통신할 수 있다. 예를 들어, 모뎀(22)은 LTE (Long Term Evolution), CDMA (Code Division Multiple Access), 블루투스 (Bluetooth), NFC (Near FieLD Communication), 와이파이(WiFi), RFID (Radio Frequency IDentification) 등과 같은 다양한 무선 통신 방식들, 또는 USB (Universal Serial Bus), SATA (Serial AT Attachment), SPI (Serial Peripheral Interface), I2C (Inter-integrated Circuit), HS-I2C, I2S, (Integrated-interchip Sound) 등과 같은 다양한 유선 통신 방식들 중 적어도 하나에 기반하여 통신을 수행할 수 있다.The modem 1600 may communicate with an external device. For example, the modem 22 may be a variety of devices, such as Long Term Evolution (LTE), Code Division Multiple Access (CDMA), Bluetooth, Near FieLD Communication (NFC), WiFi, Radio Frequency Identification A variety of wireless communication methods or a variety of devices such as a USB (Universal Serial Bus), a Serial AT Attachment (SATA), a Serial Peripheral Interface (SPI), an Inter-integrated Circuit (I2C), an HS-I2C, And may perform communication based on at least one of wired communication schemes.

도 2는 본 발명의 일 실시예에 따른 컬러 이미지 센서 및 이미지 신호 프로세서를 도시한 블록도이다.2 is a block diagram illustrating a color image sensor and an image signal processor in accordance with an embodiment of the present invention.

도 2를 참조하면, 컬러 이미지 센서(1110)는 컬러 픽셀 어레이(1111), 컬러 센서 로우 드라이버(1112), 컬러 센서 칼럼 감지 회로(1113), 컬러 센서 타이밍 컨트롤러(1114)를 포함한다.2, the color image sensor 1110 includes a color pixel array 1111, a color sensor row driver 1112, a color sensor column sensing circuit 1113, and a color sensor timing controller 1114.

컬러 픽셀 어레이(1111)는 복수의 픽셀들을 포함할 수 있다. 각각의 픽셀은 복수의 단위 필셀(Unit pixel)들을 포함할 수 있다. 예를 들어, 각각의 픽셀은 4개의 단위 픽셀들을 포함할 수 있다. 구체적으로, 각각의 픽셀은 레드 픽셀(R1), 제1 그린 픽셀(G1), 제2 그린 픽셀(G2), 및 블루 픽셀(B1)을 포함할 수 있다. 각각의 단위 픽셀들은 각각의 색상에 대응되는 컬러 필터를 포함할 수 있다. 도 2와 달리, 각각의 픽셀은 3개의 단위 픽셀들로 구성될 수 있고, 이에 제한되지 않는다. 각각의 단위 픽셀은 입사되는 광신호를 전기적 신호로 변환할 수 있다.The color pixel array 1111 may include a plurality of pixels. Each pixel may include a plurality of unit pixels. For example, each pixel may comprise four unit pixels. Specifically, each pixel may include a red pixel R1, a first green pixel G1, a second green pixel G2, and a blue pixel B1. Each unit pixel may include a color filter corresponding to each color. Unlike FIG. 2, each pixel may be composed of three unit pixels, but is not limited thereto. Each unit pixel can convert an incident optical signal into an electrical signal.

컬러 센서 로우 드라이버(1112)는 컬러 픽셀 어레이(1111)의 동작을 제어할 수 있다. 컬러 센서 로우 드라이버(1112)는 행(row) 선택 신호를 생성하고, 컬러 픽셀 어레이(1111)에 행 선택 신호를 제공할 수 있다. 컬러 픽셀 어레이(1111)는 행 선택 신호에 의하여 선택되는 행(row)으로부터 전기적 신호를 컬러 센서 칼럼 감지 회로(1113)에 제공한다.The color sensor row driver 1112 can control the operation of the color pixel array 1111. The color sensor row driver 1112 may generate a row select signal and provide a row select signal to the color pixel array 1111. [ The color pixel array 1111 provides an electrical signal to the color sensor column sensing circuit 1113 from a row selected by the row selection signal.

컬러 센서 칼럼 감지 회로(1113)는 단위 픽셀들로부터 전기적 신호를 감지한다. 컬러 센서 칼럼 감지 회로(1113)는 아날로그-디지털 변환 동작을 수행하여 전기적 신호를 컬러 이미지 데이터(CID)로 변환할 수 있다. 컬러 센서 칼럼 감지 회로(1113)는 이미지 신호 프로세서(1150)에 컬러 이미지 데이터(CID)를 제공한다.The color sensor column sensing circuit 1113 senses electrical signals from the unit pixels. The color sensor column sensing circuit 1113 may perform an analog-to-digital conversion operation to convert an electrical signal into color image data (CID). The color sensor column sensing circuit 1113 provides color image data (CID) to the image signal processor 1150.

컬러 센서 타이밍 컨트롤러(1114)는 컬러 이미지 센서(1110)의 동작을 제어할 수 있다. 컬러 센서 타이밍 컨트롤러(1114)는 컬러 센서 로우 드라이버(1112) 및 컬러 센서 칼럼 감지 회로(1113)에 제어 신호를 제공하여 컬러 이미지 센서(1110)를 구동시킨다.The color sensor timing controller 1114 can control the operation of the color image sensor 1110. The color sensor timing controller 1114 provides control signals to the color sensor row driver 1112 and the color sensor column sensing circuit 1113 to drive the color image sensor 1110.

이미지 신호 프로세서(1150)는 컬러 이미지 보정부(1151), 조도 계산부(1152), 및 자동 노출 컨트롤러(1153)를 포함한다.The image signal processor 1150 includes a color image correction unit 1151, an illumination calculation unit 1152, and an automatic exposure controller 1153.

컬러 이미지 보정부(1151)는 컬러 이미지 센서(1110)로부터 컬러 이미지 데이터(CID)를 수신하고, 컬러 이미지 데이터(CID)를 서브샘플링 하여 컬러 섬네일 데이터(CTD)를 생성한다. 구체적으로 컬러 이미지 보정부(1151)는 컬러 픽셀 어레이(1111)에 대한 크롭(crop) 동작 및 서브샘플링 동작을 수행하여 컬러 섬네일 데이터(CTD)를 생성할 수 있다.The color image correction unit 1151 receives the color image data (CID) from the color image sensor 1110 and sub-samples the color image data (CID) to generate color thumbnail data (CTD). Specifically, the color image correction unit 1151 may perform a crop operation and a sub-sampling operation on the color pixel array 1111 to generate color thumbnail data CTD.

예를 들어, 컬러 이미지 보정부(1151)는 컬러 센서 칼럼 감지 회로(1113)로부터 1280 x 720 개의 픽셀에 대응되는 컬러 이미지 데이터(CID)를 수신하여 1280 x 704 개의 픽셀에 대응되는 컬러 이미지 데이터(CID)를 선택할 수 있다. 또는, 컬러 이미지 보정부(1151)는 컬러 센서 칼럼 감지 회로(1113)로부터 1280 x 704 개의 픽셀에 대응되는 컬러 이미지 데이터(CID)를 선택하여 수신할 수 있다. 컬러 이미지 보정부(1151)는 1280 x 704 개의 픽셀에 대응되는 컬러 이미지 데이터(CID)의 각 행을 1/10로 서브샘플링 하고, 각 열을 1/11로 서브샘플링 하여 128 x 64 개의 컬러 섬네일 데이터(CTD)를 생성할 수 있다. 각각의 컬러 섬네일 데이터(CTD)는 레드 픽셀(R1), 제1 그린 픽셀(G1), 제2 그린 픽셀(G2), 및 블루 픽셀(B1)에 대응되는 4개의 단위 픽셀들에 대응되도록 형성될 수 있다.For example, the color image correction unit 1151 receives color image data (CID) corresponding to 1280 x 720 pixels from the color sensor column sensing circuit 1113 and outputs color image data (CID) corresponding to 1280 x 704 pixels CID) can be selected. Alternatively, the color image correction unit 1151 can select and receive color image data (CID) corresponding to 1280 x 704 pixels from the color sensor column sensing circuit 1113. [ The color image correcting unit 1151 sub-samples each row of the color image data (CID) corresponding to 1280 x 704 pixels by 1/10 and sub-samples each column by 1/11 to generate 128 x 64 color thumbnails Data (CTD) can be generated. Each of the color thumbnail data CTD is formed so as to correspond to four unit pixels corresponding to the red pixel R1, the first green pixel G1, the second green pixel G2, and the blue pixel B1 .

이러한, 크롭 동작 및 서브샘플링 동작에 기초하여 컬러 섬네일 데이터(CTD)를 생성함으로써 이미지 검출 장치(1100)의 전력 소모를 감소시킬 수 있다.Such power consumption of the image detecting apparatus 1100 can be reduced by generating color thumbnail data (CTD) based on the cropping operation and the sub-sampling operation.

조도 계산부(1152)는 컬러 이미지 보정부(1151)에서 생성된 컬러 섬네일 데이터(CTD)에 기초하여 주변부의 조도값을 측정한다. 조도값은 컬러 섬네일 데이터(CTD)들 전체의 휘도값의 합에 비례한다. 즉, 조도값은 수학식 1과 같다.The roughness calculation unit 1152 measures the roughness value of the peripheral portion based on the color thumbnail data (CTD) generated by the color image correction unit 1151. [ The illuminance value is proportional to the sum of the luminance values of all of the color thumbnail data (CTDs). That is, the illuminance value is expressed by Equation (1).

수학식 1을 참조하면, 조도값(Lux value)은 컬러 섬네일 데이터(CTD)들 전체의 휘도값(YD)과 보정계수(AF)의 곱에 아날로그 이득(AG)과 노출 시간(IT)을 나눈 것과 같다. 아날로그 이득(AG)은 컬러 센서 칼럼 감지 회로(1113)에서 아날로그-디지털 변환 동작을 수행할 때의 이득을 의미한다. 노출 시간(IT)은 컬러 픽셀 어레이(1111)가 광에 노출된 시간을 의미한다.Referring to Equation 1, Lux value is obtained by dividing the analog gain AG and the exposure time IT by the product of the luminance value YD of the entire color thumbnail data CTD and the correction coefficient AF The same. The analog gain AG means a gain when performing the analog-to-digital conversion operation in the color sensor column sensing circuit 1113. The exposure time IT means the time when the color pixel array 1111 is exposed to light.

조도 계산부(1152)는 조도값에 근거하여 조도 데이터(LD)를 자동 노출 컨트롤러(1153)에 제공한다. 또한, 도시되지 않았으나, 조도 계산부(1152)는 조도 데이터(LD) 또는 컬러 섬네일 데이터(CTD)들을 이미지 신호 프로세서(1150)의 다른 구성요소 또는 어플리케이션 프로세서(1200)에 제공할 수 있다.The illuminance calculation unit 1152 provides illuminance data LD to the automatic exposure controller 1153 based on the illuminance value. Also, although not shown, the roughness calculation unit 1152 may provide illumination data LD or color thumbnail data CTDs to other components of the image signal processor 1150 or application processor 1200.

자동 노출 컨트롤러(1153)는 조도 데이터(LD)를 수신하여 노출 시간 제어 신호(ITS)를 컬러 센서 타이밍 컨트롤러(1114)에 제공할 수 있다. 예를 들어, 조도 데이터(Id)에 대응되는 조도값이 증가할수록 단위 픽셀들의 광 집적 시간이 감소될 수 있다. 따라서, 자동 노출 컨트롤러(1153)는 컬러 센서 타이밍 컨트롤러(1114)에 노출 시간 제어 신호(ITS)를 제공하여 노출 시간을 제어할 수 있다.The automatic exposure controller 1153 may receive the illumination data LD and provide an exposure time control signal ITS to the color sensor timing controller 1114. [ For example, as the illuminance value corresponding to the illuminance data Id increases, the optical integration time of the unit pixels may be reduced. Accordingly, the automatic exposure controller 1153 may provide an exposure time control signal (ITS) to the color sensor timing controller 1114 to control the exposure time.

본 발명의 일 실시예에 따른 이미지 검출 장치(1100)는 별도의 조도 센서 없이도, 컬러 이미지 센서(1110)를 이용하여 조도값을 산출할 수 있다. 따라서, 이미지 검출 장치(1100)는 조도 센서를 위하여 이미지 검출 장치(1100) 또는 이미지 검출 시스템(1000)에 제공되는 홀의 개수를 줄일 수 있다.The image detecting apparatus 1100 according to an embodiment of the present invention can calculate the illuminance value using the color image sensor 1110 without a separate illuminance sensor. Accordingly, the image detecting apparatus 1100 can reduce the number of holes provided to the image detecting apparatus 1100 or the image detecting system 1000 for the illuminance sensor.

도 3은 본 발명의 일 실시예에 따른 모노 이미지 센서, 제1 및 제2 적외선 조명, 및 이미지 신호 프로세서를 도시한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 모노 이미지 센서를 이용한 거리 측정 방법 설명하기 위한 도면이다.3 is a block diagram illustrating a mono image sensor, first and second infrared illumination, and an image signal processor in accordance with an embodiment of the present invention. 4 is a view for explaining a distance measuring method using a mono image sensor according to an embodiment of the present invention.

도 3을 참조하면, 모노 이미지 센서(1120)는 모노 픽셀 어레이(1121), 모노 센서 로우 드라이버(1122), 모노 센서 칼럼 감지 회로(1123), 모노 센서 타이밍 컨트롤러(1124)를 포함한다.Referring to FIG. 3, the mono image sensor 1120 includes a mono pixel array 1121, a mono sensor row driver 1122, a mono sensor column sensing circuit 1123, and a mono sensor timing controller 1124.

모노 픽셀 어레이(1121)는 복수의 픽셀들을 포함할 수 있다. 컬러 픽셀 어레이(1111)와 달리, 모노 픽셀 어레이(1121)는 동일한 대역의 빛을 감지하는 픽셀들로 이루어질 수 있다. 구체적으로, 각각의 픽셀들은 적외선 대역의 빛을 감지할 수 있다. 모노 픽셀 어레이(1121)는 적외선 투과 필터를 포함할 수 있다. 각각의 픽셀은 입사되는 광신호를 전기적 신호로 변환할 수 있다.The mono pixel array 1121 may include a plurality of pixels. Unlike the color pixel array 1111, the mono pixel array 1121 may be composed of pixels that sense light in the same band. Specifically, each pixel can sense light in the infrared band. The mono pixel array 1121 may include an infrared transmission filter. Each pixel can convert an incoming optical signal into an electrical signal.

모노 센서 로우 드라이버(1122)는 모노 픽셀 어레이(1121)의 동작을 제어할 수 있다. 모노 센서 로우 드라이버(1122)는 행(row) 선택 신호를 생성하고, 모노 픽셀 어레이(1121)에 행 선택 신호를 제공할 수 있다.The mono sensor row driver 1122 can control the operation of the mono pixel array 1121. The mono sensor row driver 1122 may generate a row select signal and provide a row select signal to the mono pixel array 1121.

모노 센서 칼럼 감지 회로(1123)는 모노 픽셀 어레이(1121)로부터 전기적 신호를 감지한다. 모노 센서 칼럼 감지 회로(1123)는 아날로그-디지털 변환 동작을 수행하여 전기적 신호를 적외선 이미지 데이터(MID)로 변환할 수 있다. 모노 센서 칼럼 감지 회로(1123)는 이미지 신호 프로세서(1150)에 적외선 이미지 데이터(MID)를 제공한다.Mono sensor column sensing circuit 1123 senses an electrical signal from mono pixel array 1121. The mono sensor column sensing circuit 1123 can convert an electrical signal into infrared image data (MID) by performing an analog-to-digital conversion operation. Mono sensor column sensing circuit 1123 provides infrared image data (MID) to image signal processor 1150.

모노 센서 타이밍 컨트롤러(1124)는 모노 이미지 센서(1120)의 동작을 제어할 수 있다. 모노 센서 타이밍 컨트롤러(1124)는 모노 센서 로우 드라이버(1122) 및 모노 센서 칼럼 감지 회로(1123)에 제어 신호를 제공하여 모노 이미지 센서(1120)를 구동시킨다. 또한, 모노 센서 타이밍 컨트롤러(1124)는 제1 적외선 조명 드라이버(1131) 및 제2 적외선 조명 드라이버(1141)에 제어 신호를 제공하여 제1 적외선 조명(1130) 및 제2 적외선 조명(1140)을 구동시킨다.The mono sensor timing controller 1124 can control the operation of the mono image sensor 1120. The mono sensor timing controller 1124 provides control signals to the mono sensor row driver 1122 and the mono sensor column sensing circuit 1123 to drive the mono image sensor 1120. The mono sensor timing controller 1124 also provides control signals to the first infrared illumination driver 1131 and the second infrared illumination driver 1141 to drive the first infrared illumination 1130 and the second infrared illumination 1140 .

구체적으로, 모노 센서 타이밍 컨트롤러(1124)는 제1 적외선 조명(1130) 또는 제2 적외선 조명(1140)이 적외선을 제공하는 시간과 모노 이미지 센서(1120)의 감지 시간을 동기화 시킬 수 있다. 즉, 모노 이미지 센서(1120)가 순차적으로 모노 픽셀들에 대응되는 빛을 감지하는 도중에, 제1 적외선 조명(1130) 또는 제2 적외선 조명(1140)이 오프 상태로 동작하여 실제 모노 이미지 센서(1120)에 제공되는 광량과 다르게 측정됨을 방지하기 위하여 모노 센서 타이밍 컨트롤러(1124)는 조명과 센서의 구동 타이밍을 동기화 시킬 수 있다. 또한, 이러한 동기화는 모노 이미지 센서(1120)의 감지 중에 광의 급격한 변화에 따른 롤링 셔터(rolling shutter) 현상을 방지한다. 제1 적외선 조명(1130) 및 제2 적외선 조명(1140)은 모노 센서 타이밍 컨트롤러(1124)에 의하여 조명 제공 시간을 모노 이미지 센서(1120)의 감지 시간과 동기화하므로, 계속 조명을 제공할 필요가 없게 되어 전력 소모를 감소시킬 수 있다.Specifically, the mono sensor timing controller 1124 can synchronize the time when the first infrared light 1130 or the second infrared light 1140 provides infrared rays with the detection time of the mono image sensor 1120. That is, while the mono image sensor 1120 sequentially senses light corresponding to the mono pixels, the first infrared light 1130 or the second infrared light 1140 operates in an off state, and the actual mono image sensor 1120 The mono sensor timing controller 1124 can synchronize the driving timings of the illumination and the sensor. This synchronization also prevents the rolling shutter phenomenon due to abrupt changes in light during the sensing of the mono image sensor 1120. The first infrared illumination 1130 and the second infrared illumination 1140 synchronize the illumination time with the detection time of the mono image sensor 1120 by the mono sensor timing controller 1124 so that there is no need to provide continuous illumination Thereby reducing power consumption.

이미지 신호 프로세서(1150)는 모노 이미지 보정부(1156) 및 거리 계산부(1157)를 포함한다.The image signal processor 1150 includes a mono image correction unit 1156 and a distance calculation unit 1157.

모노 이미지 보정부(1156)는 모노 이미지 센서(1120)로부터 적외선 이미지 데이터(MID)를 수신하고 적외선 이미지 데이터(MID)를 보정하여 모노 섬네일 데이터(MTD)를 생성한다. 구체적으로 모노 이미지 보정부(1156)는 모노 픽셀 어레이(1121)에 대한 크롭(crop) 동작 및 서브샘플링 동작을 수행하여 모노 섬네일 데이터(MTD)를 생성할 수 있다. 이러한, 크롭 동작 및 서브샘플링 동작에 기초하여 모노 섬네일 데이터(MTD)를 생성함으로써 이미지 검출 장치(1100)의 전력 소모를 감소시킬 수 있다.The mono image correction unit 1156 receives infrared image data (MID) from the mono image sensor 1120 and corrects the infrared image data (MID) to generate mono thumbnail data (MTD). Specifically, the mono image correction unit 1156 may perform monochrome pixel arithmetic operations and sub-sampling operations on the mono pixel array 1121 to generate mono thumbnail data (MTD). Such power consumption of the image detecting apparatus 1100 can be reduced by generating mono thumbnail data (MTD) based on the cropping operation and the sub-sampling operation.

모노 이미지 센서(1120)는 피사체에 반사된 제1 적외선에 또는 제2 적외선을 감지하여 제1 적외선 이미지 데이터(MID1)를 출력한다. 모노 이미지 센서(1120)는 제1 적외선 조명(1130) 및 제2 적외선 조명(1140)이 동작하지 않는 경우에 피사체에 반사된 적외선을 감지하여 제2 적외선 이미지 데이터(MID2)를 출력한다.The mono image sensor 1120 senses the first infrared ray or the second infrared ray reflected by the subject and outputs the first infrared ray image data MID1. The mono image sensor 1120 detects the infrared rays reflected on the subject and outputs the second infrared image data MID2 when the first infrared light 1130 and the second infrared light 1140 are not operating.

모노 이미지 보정부(1156)는 제1 적외선 이미지 데이터(MID1)를 보정하여 제1 모노 섬네일 데이터(MTD1)를 생성한다. 또한, 모노 이미지 보정부(1156)는 제2 적외선 이미지 데이터(MID2)를 보정하여 제2 모노 섬네일 데이터(MTD2)를 생성한다.The mono image correcting unit 1156 corrects the first infrared image data MID1 to generate the first mono thumbnail data MTD1. Also, the mono image correction unit 1156 corrects the second infrared image data MID2 to generate the second mono thumbnail data MTD2.

거리 계산부(1157)는 제1 모노 섬네일 데이터(MTD1) 및 제2 모노 섬네일 데이터(MTD2)에 기초하여 피사체와 모노 이미지 센서(1120) 사이의 거리, 즉 거리값(dd)을 산출한다.The distance calculation unit 1157 calculates the distance between the subject and the mono image sensor 1120, that is, the distance value dd, based on the first mono thumbnail data MTD1 and the second mono thumbnail data MTD2.

거리 계산부(1157)는 거리값(dd)에 근거하여 거리 데이터(SDD)를 모노 센서 타이밍 컨트롤러(1124)에 제공한다. 또한, 도시되지 않았으나, 거리 계산부(1157)는 거리 데이터(SDD) 또는 제1 및 제2 모노 섬네일 데이터(MTD1, MTD2)들을 이미지 신호 프로세서(1150)의 다른 구성요소 또는 어플리케이션 프로세서(1200)에 제공할 수 있다. 모노 센서 타이밍 컨트롤러(1124)는 거리 데이터(SDD)에 근거하여 모노 이미지 센서(1120), 제1 적외선 조명(1130), 및 제2 적외선 조명(1140)의 구동 여부를 결정할 수 있다.The distance calculation section 1157 provides the distance data SDD to the mono sensor timing controller 1124 based on the distance value dd. Although not shown, the distance calculation unit 1157 may calculate the distance data SDD or the first and second mono thumbnail data MTD1 and MTD2 to other components of the image signal processor 1150 or to the application processor 1200 . The mono sensor timing controller 1124 can determine whether the mono image sensor 1120, the first infrared light 1130, and the second infrared light 1140 are driven based on the distance data SDD.

제1 적외선 조명(1130)은 제1 적외선 조명 드라이버(1131) 및 제1 적외선 광원(1132)을 포함할 수 있다. 제2 적외선 조명(1140)은 제2 적외선 조명 드라이버(1141) 및 제2 적외선 광원(1142)을 포함할 수 있다.The first infrared light 1130 may include a first infrared light driver 1131 and a first infrared light source 1132. The second infrared light 1140 may include a second infrared light driver 1141 and a second infrared light source 1142.

제1 적외선 조명 드라이버(1131)는 제1 적외선 광원(1132)의 구동을 제어할 수 있다. 제2 적외선 조명 드라이버(1141)는 제2 적외선 광원(1142)의 구동을 제어할 수 있다. 도 3과 달리, 제1 적외선 조명 드라이버(1131) 및 제2 적외선 조명 드라이버(1141)는 이미지 신호 프로세서(1150) 또는 어플리케이션 프로세서(1200)에 배치될 수 있다. 또한, 별도의 제1 적외선 조명 드라이버(1131) 및 제2 적외선 조명 드라이버(1141) 없이, 모노 센서 타이밍 컨트롤러(1124)가 제1 적외선 광원(1132) 및 제2 적외선 광원(1142)을 구동시킬 수 있다.The first infrared illumination driver 1131 can control driving of the first infrared light source 1132. The second infrared illumination driver 1141 can control driving of the second infrared light source 1142. [ 3, the first infrared illumination driver 1131 and the second infrared illumination driver 1141 may be disposed in the image signal processor 1150 or the application processor 1200. [ The mono sensor timing controller 1124 can also drive the first infrared light source 1132 and the second infrared light source 1142 without a separate first infrared light driver 1131 and second infrared light driver 1141 have.

도 4를 참조하면, 이미지 검출 장치(1100)의 제1 적외선 조명(1130)은 사용자(USER)에 제1 적외선을 제공한다. 제1 적외선은 사용자(USER)에게 반사되어 돌아온다. 모노 이미지 센서(1120)는 반사된 제1 적외선을 감지한다. 모노 이미지 센서(1120)는 반사된 제1 적외선의 빛 세기(Ion)에 기초하여 사용자(USER)와 모노 이미지 센서(1120) 사이의 거리값(dd)을 측정할 수 있다. 사용자(USER)와 모노 이미지 센서(1120) 사이의 거리, 즉 거리값(dd)은 수학식 2와 같다.Referring to FIG. 4, a first infrared light 1130 of the image detection device 1100 provides a first infrared light to a user USER. The first infrared ray is reflected back to the user (USER). The mono image sensor 1120 senses the reflected first infrared rays. The mono image sensor 1120 can measure the distance value dd between the user USER and the mono image sensor 1120 based on the reflected light intensity Ion of the first infrared ray. The distance between the user USER and the mono image sensor 1120, that is, the distance value dd is expressed by Equation (2).

수학식 2를 참조하면, 거리값(dd)은 반사된 제1 적외선의 빛 세기(Ion)와 제1 적외선 조명(1130)이 오프 상태인 경우에 사용자(USER)로부터 반사된 빛 세기(Ioff)의 차이의 제곱근에 반비례한다. 제1 적외선의 빛 세기(Ion)과 제1 적외선 조명(1130)이 오프 상태인 경우에 사용자(USER)로부터 반사된 빛 세기(Ioff)의 차이는 제1 모노 섬네일 데이터(MTD1)와 제2 모노 섬네일 데이터(MTD2)의 차이에 근거하여 산출할 수 있다. 반사계수(RC)는 사용자(USER)에 입사된 광과 반사된 광의 진폭비를 의미한다.Referring to Equation (2), the distance value dd is calculated by multiplying the reflected light intensity Ion of the first infrared ray and the light intensity Ioff reflected from the user USER when the first infrared ray illumination 1130 is in an off state, Inversely proportional to the square root of the difference. The difference of the light intensity Ioff reflected from the user USER when the light intensity Ion of the first infrared ray and the first infrared light 1130 are in the off state is obtained by the difference between the first mono thumbnail data MTD1, Can be calculated based on the difference of thumbnail data (MTD2). The reflection coefficient RC means the amplitude ratio of the light incident on the user USER and the reflected light.

도 5는 본 발명의 일 실시예에 따른 이미지 검출 장치를 이용한 이미지 검출 방법을 도시한 순서도이다. 도 6은 본 발명의 일 실시예에 따른 식별 이미지를 획득하는 방법을 도시한 순서도이다.5 is a flowchart illustrating an image detecting method using an image detecting apparatus according to an embodiment of the present invention. 6 is a flowchart illustrating a method of obtaining an identification image according to an embodiment of the present invention.

도 5를 참조하면, 이미지 검출 장치(1100)를 이용한 이미지 검출 방법(S1000)은 제1 적외선을 제공하는 단계(S100), 제1 적외선의 제공 시간과 모노 이미지 센서의 감지 시간을 동기화하는 단계(S200), 제1 적외선 이미지 데이터를 생성하는 단계(S300), 제2 적외선 이미지 데이터를 생성하는 단계(S400), 피사체의 거리를 측정하는 단계(S500), 피사체의 거리가 기준 범위인지 판단하는 단계(S600), 및 식별 이미지를 획득하는 단계(S700)를 포함한다.Referring to FIG. 5, an image detection method (S1000) using an image detection apparatus 1100 includes a step of providing a first infrared ray (S100), a step of synchronizing a detection time of a mono image sensor with a provision time of a first infrared ray (S200), generating (S300) first infrared image data, generating (S400) second infrared image data, measuring a distance of a subject (S500), determining whether the distance of the subject is a reference range (S600), and acquiring an identification image (S700).

제1 적외선을 제공하는 단계(S100)에서 제1 적외선 조명(1130)은 피사체에 제1 적외선을 제공한다. 제1 적외선은 피사체에 반사되어 모노 이미지 센서(1120)에 도달한다.In the step of providing the first infrared ray (SlOO), the first infrared ray illuminator 1130 provides the first infrared ray to the subject. The first infrared ray is reflected on the subject and reaches the mono image sensor 1120.

제1 적외선의 제공 시간과 모노 이미지 센서의 감지 시간을 동기화하는 단계(S200)에서 모노 이미지 센서(1120)는 피사체에 반사된 제1 적외선을 감지한다. 이 경우, 상술한 바와 같이 이미지 검출 장치(1100)의 소비 전력 저감, 롤링 셔터 현상 방지, 및 정확한 데이터 획득을 위하여 제1 적외선을 제공하는 시간과 모노 이미지 센서(1120)의 감지 시간이 동기화 될 수 있다.In step S200, the mono image sensor 1120 senses the first infrared ray reflected from the subject, in synchronization with the providing time of the first infrared ray and the sensing time of the mono image sensor. In this case, as described above, in order to reduce the power consumption of the image detecting apparatus 1100, prevent the rolling shutter phenomenon, and obtain accurate data, the time of providing the first infrared ray and the detection time of the mono image sensor 1120 may be synchronized have.

제1 적외선 이미지 데이터를 생성하는 단계(S300)에서 모노 이미지 센서(1120)는 피사체에 반사된 제1 적외선을 감지하여 제1 적외선 이미지 데이터(MID1)를 생성한다.In the step of generating the first infrared image data (S300), the mono image sensor 1120 senses the first infrared ray reflected by the subject and generates the first infrared image data MID1.

제2 적외선 이미지 데이터를 생성하는 단계(S400)에서 모노 이미지 센서(1120)는 제1 적외선이 제공되지 않은 경우의 피사체에 반사된 적외선을 감지하여 제2 적외선 이미지 데이터(MID2)를 생성한다.In the step of generating the second infrared image data (S400), the mono image sensor 1120 senses the infrared ray reflected by the subject in the case where the first infrared ray is not provided, and generates the second infrared image data MID2.

피사체의 거리를 측정하는 단계(S500)에서 이미지 신호 프로세서(1150)는 제1 적외선 이미지 데이터(MID1) 및 제2 적외선 이미지 데이터(MID2)에 근거하여 피사체의 거리를 측정한다. 피사체의 거리를 측정하는 단계(S500)는 제1 적외선 이미지 데이터(MID1)를 보정하여 제1 모노 섬네일 데이터(MTD1)를 생성하는 단계, 제2 적외선 이미지 데이터(MID2)를 보정하여 제2 모노 섬네일 데이터(MTD2)를 생성하는 단계, 및 제1 모노 섬네일 데이터(MTD1)와 제2 모노 섬네일 데이터(MTD2)의 차이에 근거하여 피사체와 모노 이미지 센서(1120) 사이의 거리값(dd)을 산출하는 단계를 포함한다.In step S500 of measuring the distance of the subject, the image signal processor 1150 measures the distance of the subject based on the first infrared image data MID1 and the second infrared image data MID2. The step S500 of measuring the distance of the object includes the steps of generating the first mono thumbnail data MTD1 by correcting the first infrared image data MID1 and correcting the second infrared image data MID2, And a distance value dd between the subject and the mono image sensor 1120 based on the difference between the first mono thumbnail data MTD1 and the second mono thumbnail data MTD2 .

피사체의 거리가 기준 범위인지 판단하는 단계(S600)에서 이미지 신호 프로세서(1150) 또는 어플리케이션 프로세서(1200)는 거리값(dd)이 기준 범위인지 판단한다. 예를 들어, 홍채 인식을 목적으로 하는 경우, 약 20㎝ 내지 25㎝로 기준 범위가 정의될 수 있다. 홍채 인식을 목적으로 하는 경우, 홍채 이미지의 지름이 100 내지 200 픽셀 이상을 갖도록 정의되는 거리값(dd)이 기준 범위일 수 있다. 또한, 얼굴 인식을 목적으로 하는 경우, 약 25㎝ 이상으로 기준 범위가 정의될 수 있다.The image signal processor 1150 or the application processor 1200 determines whether the distance value dd is in the reference range in step S600. For example, in the case of iris recognition, a reference range may be defined to be about 20 cm to 25 cm. For the purpose of iris recognition, the distance value dd defined so that the diameter of the iris image is 100 to 200 pixels or more may be the reference range. Further, in the case of the purpose of face recognition, a reference range can be defined to be about 25 cm or more.

거리값(dd)이 기준 범위가 아닌 경우, 이미지 검출 장치(1100)는 식별 이미지를 획득하기 어려우므로 식별 이미지를 생성하는 단계(S700)로 진행하지 않고, 제1 적외선을 제공하는 단계(S100)로 돌아간다. 이미지 검출 시스템(1000)은 사용자로 하여금 기준 범위 내로 위치하도록 유도하는 메시지를 디스플레이(1300)를 통하여 제공할 수 있다.If the distance value dd is not within the reference range, the image detection apparatus 1100 does not proceed to step S700 of generating an identification image because it is difficult to obtain an identification image, . The image detection system 1000 may provide a message through the display 1300 to guide the user to be within the reference range.

거리값(dd)이 기준 범위 이내인 경우, 식별 이미지를 생성하는 단계(S700)가 진행된다. 식별 이미지를 생성하는 단계(S700)에서 모노 이미지 센서(1120)는 피사체를 감지하여 일부 이미지 데이터를 생성할 수 있고, 이미지 신호 프로세서(1150)는 일부 이미지 데이터에 근거하여 식별 이미지를 획득할 수 있다.If the distance value dd is within the reference range, step S700 of generating an identification image proceeds. In the step of generating the identification image (S700), the mono image sensor 1120 can detect the subject and generate some image data, and the image signal processor 1150 can acquire the identification image based on some image data .

도 6을 참조하면, 식별 이미지를 생성하는 단계(S700)는 컬러 이미지 데이터를 생성하는 단계(S710), 조도값을 측정하는 단계(S720), 조도값이 기준값 이하인지 판단하는 단계(S730), 제2 적외선을 생성하는 단계(S740), 및 피사체의 일부를 감지하는 단계(S750)를 포함한다.Referring to FIG. 6, the step S700 of generating an identification image includes a step S710 of generating color image data, a step S720 of measuring an illuminance value, a step S730 of determining whether the illuminance value is less than or equal to a reference value, Generating a second infrared ray (S740), and sensing a part of the object (S750).

컬러 이미지 데이터를 생성하는 단계(S710)에서 컬러 이미지 센서(1110)는 가시광선 대역의 빛을 감지하여 컬러 이미지 데이터(CID)를 생성한다.In step S710 of generating color image data, the color image sensor 1110 detects light in a visible light band to generate color image data (CID).

조도값(Lux value)을 측정하는 단계(S720)에서 이미지 신호 프로세서(1150)는 컬러 이미지 데이터(CID)를 근거로 조도값을 측정한다. 조도값을 측정하는 단계(S720)는 컬러 이미지 데이터(CID)를 서브샘플링하여 컬러 섬네일 데이터를 생성하는 단계 및 컬러 섬네일 데이터에 근거하여 조도값을 산출하는 단계를 포함한다.In step S720 of measuring the Lux value, the image signal processor 1150 measures the illuminance value based on the color image data (CID). The step of measuring the illuminance value (S720) includes sub-sampling the color image data (CID) to generate color thumbnail data, and calculating the illuminance value based on the color thumbnail data.

조도값이 기준값 이하인지 판단하는 단계(S730)에서 이미지 신호 프로세서(1150) 또는 어플리케이션 프로세서(1200)는 조도값이 기준값 이하인지 판단한다. 사용자의 홍채 또는 얼굴과 같은 피사체의 일부를 감지하기 위한 최소한의 밝기가 조도값의 기준값일 수 있다.In step S730, the image signal processor 1150 or the application processor 1200 determines whether the illuminance value is less than or equal to a reference value. The minimum brightness for sensing a part of a subject such as a user's iris or face may be a reference value of the illuminance value.

조도값이 기준값 이하인 경우, 피사체를 감지하기 어려운 저조도 환경이므로, 제2 적외선을 제공하는 단계(S740)로 진행한다. 조도값이 기준값보다 큰 경우, 별도의 광을 제공하지 않고도, 피사체를 감지할 수 있는 환경이므로, 곧바로 피사체의 일부를 감지하는 단계(S750)로 진행한다.If the illuminance value is equal to or lower than the reference value, the process proceeds to step S740 of providing the second infrared ray because the low illuminance environment is difficult to detect the object. If the illuminance value is larger than the reference value, since it is an environment in which the subject can be detected without providing additional light, the process directly proceeds to step S750 of sensing a part of the subject.

제2 적외선을 제공하는 단계(S740)에서 제2 적외선 조명(1140)은 피사체에 제2 적외선을 제공한다. 제2 적외선은 피사체에 반사되어 모노 이미지 센서(1120)에 도달한다. 제2 적외선을 통하여, 저조도 환경에서 피사체를 감지할 수 있다.In step S740 of providing a second infrared ray, the second infrared ray illuminator 1140 provides a second infrared ray to the subject. The second infrared ray is reflected on the subject and reaches the mono image sensor 1120. Through the second infrared ray, the subject can be detected in a low-illuminance environment.

피사체의 일부를 감지하는 단계(S750)에서 모노 이미지 센서(1120)는 피사체에 반사된 제2 적외선을 감지하여 피사체의 일부를 인식한다. 피사체의 일부는 사용자의 얼굴 또는 홍채를 포함할 수 있고, 이에 제한되지 않는다. 이미지 신호 프로세서(1150)는 인식된 피사체의 일부에 근거하여 식별 이미지를 획득할 수 있다.In step S750 of sensing a part of the subject, the mono image sensor 1120 detects a second infrared ray reflected from the subject and recognizes a part of the subject. Some of the subject may include, but is not limited to, a user's face or iris. The image signal processor 1150 may obtain an identification image based on a portion of the recognized object.

도 7은 본 발명의 다른 실시예에 따른 이미지 검출 시스템(2000)을 도시한 블록도이다.7 is a block diagram illustrating an image detection system 2000 in accordance with another embodiment of the present invention.

도 7을 참조하면, 이미지 검출 시스템(2000)은 이미지 검출 장치(2100), 어플리케이션 프로세서(2200), 디스플레이(2300), 스토리지 장치(2400), 랜덤 액세스 메모리(2500), 및 모뎀(2600)을 포함한다. 어플리케이션 프로세서(2200), 디스플레이(2300), 스토리지 장치(2400), 랜덤 액세스 메모리(2500), 및 모뎀(2600)은 도 1의 구성요소들과 유사한 특징을 갖고, 유사한 기능을 수행할 수 있으므로 자세한 설명을 생략한다.7, an image detection system 2000 includes an image detection device 2100, an application processor 2200, a display 2300, a storage device 2400, a random access memory 2500, and a modem 2600 . The application processor 2200, the display 2300, the storage device 2400, the random access memory 2500 and the modem 2600 have similar features to those of FIG. 1 and can perform similar functions, The description will be omitted.

이미지 검출 장치(2100)는 컬러 이미지 센서(2110), 모노 이미지 센서(2120), 적외선 조명(2130), 및 이미지 신호 프로세서(2140)를 포함한다.The image detection device 2100 includes a color image sensor 2110, a mono image sensor 2120, an infrared light 2130, and an image signal processor 2140.

컬러 이미지 센서(2110)는 가시광선 대역의 빛을 감지하여 컬러 이미지 데이터(CID)를 생성한다. 모노 이미지 센서(2120)는 모노 이미지 데이터(MID)를 생성한다. 모노 이미지 센서(2120)는 적외선 대역의 빛을 감지하는 적외선 투과 모드 및 적외선 대역의 빛을 차단하는 적외선 차단모드를 선택적으로 갖는다. 구체적인 내용은 후술된다.The color image sensor 2110 senses light in a visible light band to generate color image data (CID). The mono image sensor 2120 generates mono image data (MID). The mono image sensor 2120 selectively has an infrared transmission mode for sensing light in the infrared band and an infrared interception mode for intercepting light in the infrared band. Details will be described later.

적외선 조명(2130)은 적외선 투과 모드에서 피사체에 반사되어 모노 이미지 센서(2120)에 도달하는 적외선을 제공한다. 도 7은 하나의 적외선 조명(2130)을 도시하였으나, 이에 제한되지 않고, 적외선 조명(2130)은 복수의 조명들을 포함할 수 있다. Infrared illumination 2130 provides infrared light that is reflected to the subject in the infrared transmission mode and arrives at the mono image sensor 2120. Although FIG. 7 shows one infrared light 2130, it is not limited thereto. The infrared light 2130 may include a plurality of lights.

이미지 신호 프로세서(2140)는 컬러 이미지 센서(2110)로부터 컬러 이미지 데이터(CID)를 수신하고, 모노 이미지 센서(2120)로부터 모노 이미지 데이터(MID)를 수신한다. 적외선 차단 모드에서, 이미지 신호 프로세서(2140)는 컬러 이미지 데이터(CID) 및 모노 이미지 데이터(MID)에 근거하여 피사체의 거리를 측정한다. 적외선 투과 모드에서, 이미지 신호 프로세서(2140)는 적외선 조명(2130)에 의한 모노 이미지 데이터(MID)에 근거하여 피사체의 일부를 감지하여 식별 이미지를 생성할 수 있다.Image signal processor 2140 receives color image data (CID) from color image sensor 2110 and mono image data (MID) from mono image sensor 2120. In the infrared cutoff mode, the image signal processor 2140 measures the distance of the subject based on color image data (CID) and mono image data (MID). In the infrared transmission mode, the image signal processor 2140 can detect a part of the object based on the mono image data (MID) by the infrared light 2130 to generate an identification image.

도 8은 도 7의 컬러 이미지 센서(2110)의 단면도이고, 도 9는 도 7의 모노 이미지 센서(2120)의 단면도이다.FIG. 8 is a cross-sectional view of the color image sensor 2110 of FIG. 7, and FIG. 9 is a cross-sectional view of the mono image sensor 2120 of FIG.

도 8을 참조하면, 컬러 이미지 센서(2110)는 제1 픽셀(2111), 컬러 필터(2112), 마이크로 렌즈(2113), 적외선 차단 필터(2114), 및 외부 렌즈(2115)를 포함한다.Referring to FIG. 8, the color image sensor 2110 includes a first pixel 2111, a color filter 2112, a microlens 2113, an infrared cut filter 2114, and an external lens 2115.

제1 픽셀(2111)은 복수로 제공될 수 있고, 제1 픽셀(2111)은 입사되는 광신호를 전기적 신호로 변환할 수 있다. 컬러 필터(2112)는 복수로 제공될 수 있고, 가시광선의 대역 중 특정 대역의 빛을 투과시키고 나머지는 차단시킨다. 컬러 필터(2112)들 각각은 레드 컬러 필터, 그린 컬러 필터, 및 블루 컬러 필터 중 어느 하나일 수 있고, 제1 픽셀(2111)들 상에 각각 배치된다. 컬러 필터(2112)는 레드, 그린, 및 블루 중 어느 하나의 색상에 대응되는 대역의 빛을 제1 픽셀(2111)에 투과시킨다. 다만, 이에 제한되지 않고, 시안, 마젠타, 및 옐로우 중 어느 하나의 색상에 대응되는 대역의 빛을 제1 픽셀(2111)에 투과시킬 수 있다.The first pixel 2111 may be provided in plurality and the first pixel 2111 may convert the incident optical signal into an electrical signal. The color filter 2112 may be provided in plural, and transmits light of a specific band among the visible light band and blocks the others. Each of the color filters 2112 may be any one of a red color filter, a green color filter, and a blue color filter, and is disposed on the first pixels 2111, respectively. The color filter 2112 transmits light of a band corresponding to the color of either red, green, or blue to the first pixel 2111. However, the present invention is not limited to this, and it is possible to transmit light of a band corresponding to the hue of any one of cyan, magenta, and yellow to the first pixel 2111.

마이크로 렌즈(2113)는 복수로 제공될 수 있고, 컬러 필터(2112) 상에 배치된다. 마이크로 렌즈(2113)는 제1 픽셀(2111)로 들어가는 빛을 집광시켜 제1 픽셀(2111)의 센싱 효과를 증대시킨다. 외부 렌즈(2115)는 피사체로부터 오는 빛을 굴절시킬 수 있고, 제1 픽셀(2111)에 상이 맺히도록 할 수 있다.A plurality of microlenses 2113 may be provided, and are disposed on the color filter 2112. The microlens 2113 condenses light entering the first pixel 2111, thereby enhancing the sensing effect of the first pixel 2111. The external lens 2115 can refract the light from the subject and make the first pixel 2111 form an image.

적외선 차단 필터(2114)는 마이크로 렌즈(2113) 상에 배치된다. 적외선 차단 필터(2114)는 적외선 대역의 빛을 차단함으로써, 노이즈를 감소시키고, 컬러 이미지 센서(2110)의 색 재현성을 향상시킬 수 있다. 적외선 차단 필터(2114)는 컬러 이미지 센서(2110)에 고정될 수 있다. The infrared cutoff filter 2114 is disposed on the microlens 2113. The infrared cut filter 2114 cuts off the light in the infrared band, thereby reducing the noise and improving the color reproducibility of the color image sensor 2110. The infrared cut filter 2114 may be fixed to the color image sensor 2110.

도 9를 참조하면, 모노 이미지 센서(2120)는 제2 픽셀(2121), 마이크로 렌즈(2122), 적외선 차단 필터(2123), 적외선 통과 필터(2124), 외부 렌즈(2125), 및 액츄에이터(2126)를 포함한다.9, the mono image sensor 2120 includes a second pixel 2121, a microlens 2122, an infrared cut filter 2123, an infrared pass filter 2124, an external lens 2125, and an actuator 2126 ).

제2 픽셀(2121)은 복수로 제공될 수 있고, 제2 픽셀(2121)은 입사되는 광 신호를 전기적 신호로 변환할 수 있다. 컬러 이미지 센서(2110)와 달리, 모노 이미지 센서(2120)는 컬러 필터를 포함하지 않는다.The second pixel 2121 may be provided in a plurality and the second pixel 2121 may convert an incident optical signal into an electrical signal. Unlike the color image sensor 2110, the mono image sensor 2120 does not include a color filter.

적외선 차단 필터(2123) 및 적외선 통과 필터(2124)는 선택적으로 제2 픽셀(2121) 및 마이크로 렌즈(2122) 상에 배치된다. 적외선 차단 필터(2123)는 적외선 대역의 빛을 차단하고, 적외선 통과 필터(2124)는 적외선 대역의 빛을 투과시킨다. 적외선 통과 필터(2124)는 대역 통과 필터(band-pass filter)일 수 있다. 적외선 차단 필터(2123) 및 적외선 통과 필터(2124)는 동일 층 상에 배치될 수 있고, 서로 연결된 형상일 수 있다.The infrared cutoff filter 2123 and the infrared pass filter 2124 are selectively disposed on the second pixel 2121 and the microlens 2122. The infrared cut filter 2123 cuts off infrared ray band light and the infrared ray pass filter 2124 transmits infrared ray band light. The infrared pass filter 2124 may be a band-pass filter. The infrared cut filter 2123 and the infrared cut filter 2124 may be disposed on the same layer and may be connected to each other.

액츄에이터(2126)는 적외선 차단 필터(2123) 및 적외선 통과 필터(2124) 중 어느 하나가 제2 픽셀(2121) 상에 배치되도록 제어한다. 액츄에이터(2126)는 모터를 포함할 수 있고, 이미지 신호 프로세서(2140)로부터 모드 선택 신호를 수신하여, 제2 픽셀(2121) 상에 배치되는 필터를 결정할 수 있다.The actuator 2126 controls one of the infrared cut filter 2123 and the infrared pass filter 2124 to be disposed on the second pixel 2121. The actuator 2126 may comprise a motor and may receive a mode selection signal from the image signal processor 2140 to determine a filter disposed on the second pixel 2121.

구체적으로, 적외선 차단 필터(2123)가 제2 픽셀(2121) 상에 배치되는 경우 이미지 검출 장치(2100)는 적외선 차단 모드로 동작한다. 적외선 통과 필터(2124)가 제2 픽셀(2121) 상에 배치되는 경우, 이미지 검출 장치(2100)는 적외선 투과 모드로 동작한다.Specifically, when the infrared cut filter 2123 is disposed on the second pixel 2121, the image detection device 2100 operates in the infrared cutoff mode. When the infrared pass filter 2124 is disposed on the second pixel 2121, the image sensing device 2100 operates in the infrared transmission mode.

도 10은 적외선 차단 모드에서의 이미지 검출 장치를 도시한 블록도이다. 도 11 및 도 12는 적외선 차단 모드에서의 피사체의 거리 측정 방법을 설명하기 위한 도면이다.10 is a block diagram showing an image detection apparatus in an infrared cutoff mode. 11 and 12 are views for explaining a method of measuring the distance of the subject in the infrared cut-off mode.

도 10을 참조하면, 적외선 차단 필터(2123)는 제2 픽셀(2121) 상에 배치된다. 이 경우, 모노 이미지 센서(2120)는 적외선 대역의 빛을 감지할 수 없고, 이미지 검출 장치(2100)는 적외선 차단 모드로 동작한다. 적외선 대역의 빛을 감지할 수 없으므로, 적외선 조명(2130)은 오프 상태로 동작 하고, 이를 해칭(hatching)으로 표현하였다. Referring to FIG. 10, the infrared cut filter 2123 is disposed on the second pixel 2121. In this case, the mono image sensor 2120 can not detect light in the infrared band, and the image detecting device 2100 operates in the infrared ray blocking mode. Since infrared light can not be detected, the infrared light 2130 operates in an off state and is represented by hatching.

컬러 이미지 센서(2110) 및 모노 이미지 센서(2120)은 모두 가시광선 대역의 빛을 감지할 수 있다. 컬러 이미지 센서(2110)는 컬러 필터에 의하여 특정 색상에 대응되는 대역의 빛을 감지할 수 있고, 모노 이미지 센서(2120)는 화이트(white) 픽셀을 포함하는 것으로 볼 수 있다.Both the color image sensor 2110 and the mono image sensor 2120 can sense light in the visible light band. The color image sensor 2110 can detect light of a band corresponding to a specific color by a color filter, and the mono image sensor 2120 can be regarded as including white pixels.

도 11을 참조하면, 컬러 이미지 센서(2110) 및 모노 이미지 센서(2120)가 일정한 거리를 두고 이격되어 있다. 컬러 이미지 센서(2110) 및 모노 이미지 센서(2120)는 사용자(USER)에 반사된 빛을 감지할 수 있다. 모노 이미지 센서(2120)는 제1 화각(a1)을 가질 수 있고, 컬러 이미지 센서(2110)는 제2 화각(a2)을 가질 수 있다. 사용자(USER)와 이미지 검출 장치(2100) 사이의 거리를 측정하기 위하여, 컬러 이미지 센서(2110)에서 감지한 컬러 이미지 데이터(CID)와 모노 이미지 센서(2120)에서 감지한 모노 이미지 데이터(MID)를 매칭(matching)할 수 있다. 컬러 이미지 데이터(CID)와 모노 이미지 데이터(MID)의 매칭을 위하여, 컬러 이미지 센서(2110)에서 감지한 영상의 크기와 모노 이미지 센서(2120)에서 감지한 영상의 크기가 동일하게 할 수 있다. 따라서, 제1 화각(a1)과 제2 화각(a2)이 동일한 크기를 갖도록 할 수 있다.11, the color image sensor 2110 and the mono image sensor 2120 are spaced apart from each other by a certain distance. The color image sensor 2110 and the mono image sensor 2120 can sense the light reflected by the user USER. The mono image sensor 2120 may have a first angle of view a1 and the color image sensor 2110 may have a second angle of view a2. The color image data (CID) sensed by the color image sensor 2110 and the mono image data (MID) sensed by the mono image sensor 2120 are measured in order to measure the distance between the user USER and the image detecting device 2100. [ Can be matched. The size of the image detected by the color image sensor 2110 and the size of the image sensed by the mono image sensor 2120 may be the same for the matching of the color image data CID and the mono image data MID. Accordingly, the first angle of view a1 and the second angle of view a2 can have the same magnitude.

도 12를 참조하면, 모노 이미지 센서(2120)가 감지한 제1 이미지(I1)와 컬러 이미지 센서(2110)가 감지한 제2 이미지(I2)를 매칭하였다. 이미지 신호 프로세서(2140)는 모노 이미지 데이터(MID)에 의한 제1 이미지(I1)와 컬러 이미지 데이터(CID)에 의한 제2 이미지(I2)의 차이를 계산한다. 이러한 차이는 동공간의 거리차(d1)를 기준으로 산출할 수 있다.Referring to FIG. 12, the first image I1 sensed by the mono image sensor 2120 is matched with the second image I2 sensed by the color image sensor 2110. The image signal processor 2140 calculates the difference between the first image I1 by the mono image data MID and the second image I2 by the color image data CID. This difference can be calculated on the basis of the distance difference d1 in the same space.

구체적으로, 제1 이미지(I1)와 제2 이미지(I2)는 감지 대역이 상이한 센서를 이용하였으므로, 다른 이미지를 갖는다. 다만, 도 2를 참조하면, 이미지 신호 프로세서(2140)는 컬러 이미지 센서(2110)에서 감지한 컬러 이미지 데이터(CID)를 이용하여 제2 이미지(I2)의 밝기 정보를 산출할 수 있다. 또한, 이미지 신호 프로세서(2140)는 모노 이미지 데이터(MID)에 근거하여 제1 이미지(I1)의 밝기 정보를 산출할 수 있다. 별도의 조명이 없는 경우, 동공은 가장 어두운 영역에 속한다. 동공은 직사광의 조명이 아닌 경우, 모든 빛을 흡수한다. 따라서, 가장 밝기가 낮은 영역을 동공으로 가정할 수 있다. 이미지 신호 프로세서(2140)는 제1 이미지(I1) 및 제2 이미지(I2)에서 동공에 대응하는 영역을 결정하고, 동공간의 거리차(d1)를 산출할 수 있다.Specifically, the first image I1 and the second image I2 have different images because they use sensors having different detection bands. 2, the image signal processor 2140 may calculate the brightness information of the second image I2 using the color image data (CID) sensed by the color image sensor 2110. FIG. In addition, the image signal processor 2140 may calculate the brightness information of the first image I1 based on the mono image data (MID). If there is no separate illumination, the pupil belongs to the darkest region. The pupil absorbs all light when it is not in direct sunlight. Therefore, the region with the lowest brightness can be assumed to be the pupil. The image signal processor 2140 can determine the area corresponding to the pupil in the first image I1 and the second image I2 and calculate the distance difference d1 in the same space.

이미지 신호 프로세서(2140)는 동공간의 거리차(d1)에 근거하여 이미지 검출 장치(2100)와 사용자(USER) 사이의 거리를 계산할 수 있다. 이러한 거리값은 기설정된 캘리브래이션(calibration) 정보에 근거하여 산출될 수 있다.The image signal processor 2140 can calculate the distance between the image detecting device 2100 and the user USER based on the distance difference d1 in the space. The distance value may be calculated based on preset calibration information.

또한, 적외선 차단 모드에서 이미지 신호 프로세서(2140)는 컬러 이미지 센서(2110) 및 모노 이미지 센서(2120)를 이용하여 저조도 환경에서의 스테레오 카메라(stereoscopic camera)를 기반으로 영상 화질을 개선할 수 있다. 저조도 환경에서, 이미지 신호 프로세서(2140)는 모노 이미지 센서(2120)의 밝기 정보를 이용하여 컬러 이미지 데이터(CID)와의 조합으로 화질을 개선할 수 있다.In addition, in the infrared cutoff mode, the image signal processor 2140 can improve the image quality based on a stereoscopic camera in a low-illuminance environment using the color image sensor 2110 and the mono image sensor 2120. In a low illumination environment, the image signal processor 2140 may use the brightness information of the mono image sensor 2120 to improve image quality in combination with color image data (CID).

도 13은 적외선 투과 모드에서의 이미지 검출 장치(2110)를 도시한 블록도이다.13 is a block diagram showing the image sensing apparatus 2110 in the infrared transmission mode.

도 13을 참조하면, 적외선 통과 필터(2124)는 제2 픽셀(2121) 상에 배치된다. 이 경우, 모노 이미지 센서(2120)는 적외선 대역의 빛을 감지할 수 있고, 이미지 검출 장치(2100)는 적외선 투과 모드로 동작한다. 적외선 조명(2130)은 온 상태로 동작할 수 있다.Referring to FIG. 13, an infrared pass filter 2124 is disposed on the second pixel 2121. In this case, the mono image sensor 2120 can detect light in the infrared band, and the image detecting device 2100 operates in the infrared ray transmission mode. The infrared light 2130 can be operated in an ON state.

이미지 검출 장치(2100)와 피사체 사이의 거리값에 근거하여, 적외선 투과 모드는 적외선 차단 모드로부터 변경될 수 있다. 예를 들어, 홍채 인식을 목적으로 하는 경우, 홍채의 지름이 최소 100 내지 200 픽셀을 갖도록 거리값이 형성될 때, 이미지 신호 프로세서(2140)는 적외선 차단 모드에서 적외선 투과 모드로 변환할 수 있다.Based on the distance value between the image detecting apparatus 2100 and the subject, the infrared transmitting mode can be changed from the infrared blocking mode. For example, in the case of iris recognition, when the distance value is formed such that the iris diameter is at least 100 to 200 pixels, the image signal processor 2140 can convert the infrared ray transmission mode to the infrared ray transmission mode.

적외선 조명(2130)은 피사체에 반사되어 모노 이미지 센서(2120)에 도달한다. 모노 이미지 센서(2120)는 적외선 조명(2130)에 의한 모노 이미지 데이터(MID)에 근거하여 피사체를 감지할 수 있다. 모노 이미지 센서(2120)는 야간이나 어두운 실내와 같은 저조도 환경에서도, 적외선 조명(2130)을 이용하여 피사체를 감지할 수 있다. 다만, 별도의 조명이 존재하는 환경의 경우, 컬러 이미지 센서(2110)에 의한 컬러 이미지 데이터(CID)와 모노 이미지 데이터(MID)를 조합하여 슈도(pseudo) 컬러 이미지 데이터(CID)가 생성될 수 있다.Infrared illumination 2130 is reflected by the subject and reaches the mono image sensor 2120. The mono image sensor 2120 can detect the subject based on the mono image data (MID) by the infrared light 2130. The mono image sensor 2120 can detect the object using the infrared light 2130 even in a low-light environment such as a nighttime or a dark room. However, in an environment in which separate illumination exists, pseudo color image data (CID) may be generated by combining color image data (CID) and mono image data (MID) by the color image sensor 2110 have.

도 14는 본 발명의 다른 실시예에 따른 이미지 검출 장치를 이용한 이미지 검출 방법을 도시한 순서도이다.14 is a flowchart showing an image detecting method using an image detecting apparatus according to another embodiment of the present invention.

도 14를 참조하면, 이미지 검출 장치(2100)를 이용한 이미지 검출 방법(S2000)은 적외선 차단 모드를 활성화하는 단계(S2100), 모노 이미지 데이터 및 컬러 이미지 데이터를 생성하는 단계(S2100), 피사체의 거리를 측정하는 단계(S2300), 피사체의 거리값이 기준값 이하인지 판단하는 단계(S2400), 적외선 투과 모드를 활성화하는 단계(S2500), 및 식별 이미지를 생성하는 단계(S2600)를 포함한다.14, an image detection method (S2000) using the image detection device 2100 includes a step S2100 of activating an infrared cutoff mode, a step S2100 of generating mono image data and color image data, A step S2400 of determining whether the distance value of the subject is equal to or less than a reference value, a step of activating an infrared ray transmission mode S2500, and a step S2600 of generating an identification image.

적외선 차단 모드를 활성화하는 단계(S2100)에서 적외선 차단 필터(2123)는 제2 픽셀(2121) 상에 배치된다. 적외선 조명(2130)은 오프 상태로 동작한다.In the step S2100 of activating the infrared cut-off mode, the infrared cut filter 2123 is disposed on the second pixel 2121. The infrared light 2130 operates in the off state.

모노 이미지 데이터 및 컬러 이미지 데이터를 생성하는 단계(S2200)에서 컬러 이미지 센서(2110) 및 모노 이미지 센서(2120)는 피사체에 반사된 빛을 감지한다. 이미지 신호 프로세서(2140)는 컬러 이미지 센서(2110)로부터 수신한 전기적 신호에 근거하여 컬러 이미지 데이터(CID)를 생성하고, 모노 이미지 센서(2120)로부터 수신한 전기적 신호에 근거하여 모노 이미지 데이터(MID)를 생성한다.In step S2200 of generating mono image data and color image data, the color image sensor 2110 and the mono image sensor 2120 sense light reflected on the subject. The image signal processor 2140 generates color image data (CID) based on the electrical signals received from the color image sensor 2110 and generates mono image data (MID) based on the electrical signals received from the mono image sensor 2120 ).

피사체의 거리를 측정하는 단계(S2300)에서 이미지 신호 프로세서(2140)는 컬러 이미지 데이터(CID) 및 모노 이미지 데이터(MID)에 근거하여 피사체의 거리를 측정한다. 피사체의 거리를 측정하는 단계(S300)는 컬러 이미지 데이터(CID) 및 모노 이미지 데이터(MID)를 매칭하는 단계, 컬러 이미지 데이터(CID) 및 모노 이미지 데이터(MID)의 차이값을 추출하는 단계, 및 차이값을 캘리브래이션하여 피사체와 이미지 검출 장치(2100) 사이의 거리를 계산하는 단계를 포함한다.In step S2300 of measuring the distance of the subject, the image signal processor 2140 measures the distance of the subject based on the color image data (CID) and the mono image data (MID). The step of measuring the distance of the object S300 includes the steps of matching the color image data CID and the mono image data MID, extracting the difference value of the color image data CID and the mono image data MID, And calculating the distance between the subject and the image detecting device 2100 by calibrating the difference value.

피사체의 거리가 기준값 이하인지 판단하는 단계(S2400)에서 이미지 신호 프로세서(2140) 또는 어플리케이션 프로세서(2200)는 피사체와 이미지 검출 장치(2100)사이의 거리가 기준값 이하인지 판단한다. 예를 들어, 홍채 인식을 목적으로 하는 경우, 약 25㎝로 기준 값이 정의될 수 있다.The image signal processor 2140 or the application processor 2200 determines whether the distance between the subject and the image detecting device 2100 is less than or equal to a reference value in step S2400. For example, in the case of iris recognition, a reference value may be defined as about 25 cm.

거리값(dd)이 기준값 이하가 아닌 경우, 피사체의 일부를 인식하기 어려우므로 식별 이미지를 생성하는 단계(S2600)로 진행하지 않고, 적외선 차단모드를 유지한다. 이미지 검출 시스템(2000)은 사용자로 하여금 기준값 이하로 위치하도록 유도하는 메시지를 디스플레이(2300)를 통하여 제공할 수 있다.If the distance value dd is not equal to or less than the reference value, it is difficult to recognize a part of the subject, so the process does not proceed to the step of generating an identification image (S2600), and the infrared cutoff mode is maintained. The image detection system 2000 may provide a message through the display 2300 to direct the user to be located below a reference value.

거리값(dd)이 기준값 이하인 경우, 적외선 투과 모드를 활성화하는 단계(S2500)로 진행한다. 적외선 투과 모드를 활성화하는 단계(S2500)에서 적외선 통과 필터(2124)는 제2 픽셀(2121) 상에 배치된다. 적외선 조명(2130)은 온 상태로 동작한다. 적외선 조명(2130)은 피사체에 적외선을 제공한다. 적외선은 피사체에 반사되어 모노 이미지 센서(2120)에 도달한다. 적외선을 통하여, 저조도 환경에서 피사체의 일부를 감지할 수 있다.If the distance value dd is less than or equal to the reference value, the flow advances to step S2500 to activate the infrared transmission mode. The infrared pass filter 2124 is disposed on the second pixel 2121 in the step S2500 of activating the infrared transmission mode. The infrared light 2130 operates in the ON state. Infrared illumination 2130 provides infrared light to the subject. The infrared rays are reflected on the subject and arrive at the mono image sensor 2120. Through the infrared rays, a part of the subject can be detected in a low-illuminance environment.

식별 이미지를 생성하는 단계(S2600)에서 모노 이미지 센서(2120)는 피사체에 반사된 제2 적외선을 감지하여 피사체의 일부를 인식한다. 피사체의 일부는 사용자의 얼굴 또는 홍채를 포함할 수 있고, 이에 제한되지 않는다. 이미지 신호 프로세서(2140)는 감지된 피사체를 근거로 식별 이미지를 획득한다. 또한, 이미지 신호 프로세서(2140)는 컬러 이미지 센서(2110)에 의한 컬러 이미지 데이터(CID)와의 조합으로 개선된 이미지를 획득할 수 있다.In the step S2600 of generating the identification image, the mono image sensor 2120 senses the second infrared ray reflected on the subject and recognizes a part of the subject. Some of the subject may include, but is not limited to, a user's face or iris. The image signal processor 2140 acquires an identification image based on the sensed subject. In addition, the image signal processor 2140 can obtain an improved image in combination with color image data (CID) by the color image sensor 2110.

도 15는 본 발명의 일 실시예에 따른 이미지 신호 프로세서(3150)를 도시한 블록도이다. 도 15의 이미지 신호 프로세서(3150)는 도 1의 이미지 검출 장치(1100)에 포함되는 이미지 신호 프로세서(1150) 또는 도 7의 이미지 검출 장치(2100)에 포함되는 이미지 신호 프로세서(2140)일 수 있다.15 is a block diagram illustrating an image signal processor 3150 in accordance with an embodiment of the invention. The image signal processor 3150 of Figure 15 may be an image signal processor 1150 included in the image detection apparatus 1100 of Figure 1 or an image signal processor 2140 included in the image detection apparatus 2100 of Figure 7. [ .

도 15를 참조하면, 이미지 신호 프로세서(3150)는 모드 선택부(3511), 조도 측정 모듈(3152), 거리 측정 모듈(3153), 이미지 획득 모듈(3154), 및 압축부(3159)를 포함할 수 있다. 이미지 획득 모듈(3154)은 일반 이미지 획득 모듈(3155), 홍채 인식 모듈(3156), 얼굴 인식 모듈(3157), 및 3D 이미지 획득 모듈(3158)을 포함할 수 있다.15, the image signal processor 3150 includes a mode selection unit 3511, an illumination measurement module 3152, a distance measurement module 3153, an image acquisition module 3154, and a compression unit 3159 . The image acquisition module 3154 may include a general image acquisition module 3155, an iris recognition module 3156, a face recognition module 3157, and a 3D image acquisition module 3158.

모드 선택부(3511)는 컬러 이미지 데이터(CID)를 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 수신한다. 모드 선택부(3511)는 수신된 데이터를 조도 측정 모듈(3152), 거리 측정 모듈(3153), 및 이미지 획득 모듈(3154) 중 어느 하나에 제공할 수 있다. 모드 선택부(3511)는 스위치를 포함할 수 있고, 이미지 신호 프로세서(3150)의 각각의 모듈에 선택적으로 연결될 수 있다.The mode selection unit 3511 receives color image data (CID) or infrared image data (mono image data) (MID). The mode selection unit 3511 can provide the received data to either the illumination measurement module 3152, the distance measurement module 3153, or the image acquisition module 3154. The mode selection unit 3511 may include a switch and may be selectively connected to each module of the image signal processor 3150.

모드 선택부(3511)는 조도값(Lux value)을 측정하는 조도 측정 모드, 거리값(dd)을 측정하는 거리 측정 모드, 피사체의 일부를 감지하여 식별 이미지를 획득하는 식별 이미지 검출 모드, 및 컬러 이미지 데이터(CID)를 획득하는 일반 이미지 검출 모드를 결정할 수 있다. 또한, 식별 이미지 검출 모드는 사용자(USER)의 홍채를 인식하는 홍채 인식 모드, 사용자(USER)의 얼굴을 인식하는 얼굴 인식 모드, 및 듀얼 이미지 센서를 이용한 3D 이미지 획득 모드를 포함할 수 있다.The mode selection unit 3511 includes an illumination measurement mode for measuring a lux value, a distance measurement mode for measuring a distance value dd, an identification image detection mode for acquiring an identification image by sensing a part of a subject, It is possible to determine a general image detection mode for acquiring image data (CID). In addition, the identification image detection mode may include an iris recognition mode for recognizing the iris of the user USER, a face recognition mode for recognizing the face of the user USER, and a 3D image acquisition mode using the dual image sensor.

도 10의 적외선 차단 모드는 영상 화질 개선을 위한 경우, 일반 이미지 검출 모드에 대응될 수 있고, 거리 측정을 위한 경우, 거리 측정 모드에 대응될 수 있다. 도 13의 적외선 투과 모드는 식별 이미지 검출 모드에 대응될 수 있다.The infrared cutoff mode of FIG. 10 may correspond to the general image detection mode for improving the image quality, and may correspond to the distance measurement mode for the distance measurement. The infrared transmission mode of Fig. 13 may correspond to the identification image detection mode.

조도 측정 모드에서, 모드 선택부(3511)는 조도 측정 모듈(3152)과 연결된다. 조도 측정 모듈(3152)은 도 2의 컬러 이미지 보정부(1151), 조도 계산부(1152), 및 자동 노출 컨트롤러(1153)를 포함할 수 있고, 컬러 이미지 데이터(CID)를 이용하여 조도 데이터(LD)를 출력할 수 있다. 조도값이 기준값 이하인 경우 도 1의 제2 적외선 조명(1140) 또는 도 7의 적외선 조명(2130)을 활성화시킬 수 있다. 이 경우, 모드 선택부(3511)는 식별 이미지 검출 모드로 변환하여 홍채, 얼굴, 또는 3D 이미지 등을 인식할 수 있다. 또는, 모드 선택부(3511)는 식별 이미지 인식에 최적화된 피사체의 거리값을 확보하기 위하여 거리 측정 모드로 변환할 수 있다.In the illumination measurement mode, the mode selection unit 3511 is connected to the illumination measurement module 3152. The illumination intensity measurement module 3152 may include the color image correction section 1151, the illumination intensity calculation section 1152 and the automatic exposure controller 1153 of FIG. 2 and may use the color image data (CID) LD) can be outputted. When the illuminance value is equal to or less than the reference value, the second infrared light 1140 in FIG. 1 or the infrared light 2130 in FIG. 7 can be activated. In this case, the mode selection unit 3511 can convert the image into the identification image detection mode to recognize iris, face, or 3D image. Alternatively, the mode selection unit 3511 can convert the distance measurement mode to ensure the distance value of the object optimized for identification image recognition.

거리 측정 모드에서, 모드 선택부(3511)는 컬러 이미지 데이터(CID) 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 거리 측정 모듈(3153)에 전달한다. 거리 측정 모듈(3153)은 도 3의 모노 이미지 보정부(1156) 및 거리 계산부(1157)를 포함하여, 적외선 이미지 데이터(MID)를 이용하여 거리값(dd)을 산출할 수 있다. 또는, 거리 측정 모듈(3153)은 도 10의 적외선 차단 모드에서 컬러 이미지 데이터(CID) 및 모노 이미지 데이터(MID)를 매칭하여 거리값(dd)을 측정할 수 있다. 거리 측정 모듈(3153)은 거리값(dd)을 측정하여 거리 데이터(SDD)를 출력할 수 있다. 거리값(dd)이 기준 범위 이내인 경우, 모드 선택부(3511)는 식별 이미지 검출 모드로 변환할 수 있다.In the distance measurement mode, the mode selection unit 3511 transmits color image data (CID) or infrared image data (mono image data) MID to the distance measurement module 3153. The distance measurement module 3153 can calculate the distance value dd using the infrared image data MID including the mono image correction unit 1156 and the distance calculation unit 1157 in Fig. Alternatively, the distance measurement module 3153 can measure the distance value dd by matching the color image data (CID) and the mono image data (MID) in the infrared cutoff mode of FIG. The distance measurement module 3153 can measure the distance value dd and output the distance data SDD. When the distance value dd is within the reference range, the mode selection unit 3511 can convert to the identification image detection mode.

일반 이미지 검출 모드에서, 모드 선택부(3511)는 컬러 이미지 데이터(CID) 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 일반 이미지 모듈(3515)에 전달한다. 일반 이미지 모듈(3515)은 컬러 이미지 데이터(CID)를 수신하고, 일반적인 이미지를 출력한다. 이 경우, 모노 이미지 데이터(MID)의 밝기 정보에 근거하여 이미지 화질을 개선할 수 있다.In the normal image detection mode, the mode selector 3511 delivers color image data (CID) or infrared image data (mono image data) (MID) to the general image module 3515. The general image module 3515 receives the color image data (CID) and outputs a general image. In this case, the image quality can be improved based on the brightness information of the mono image data (MID).

홍채 인식 모드에서, 모드 선택부(3511)는 컬러 이미지 데이터(CID) 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 홍채 인식 모듈(3156)에 전달하고, 사용자(USER)의 홍채를 인식할 수 있다. 홍채 인식 모듈(3156)은 상술한 본 발명의 피사체의 일부를 인식하는 방법을 수행한다. 얼굴 인식 모드에서, 모드 선택부(3511)는 컬러 이미지 데이터(CID) 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 얼굴 인식 모듈(3157)에 전달하고, 사용자(USER)의 얼굴을 인식할 수 있다. 얼굴 인식 모듈(3157)은 상술한 본 발명의 피사체의 일부를 인식하는 방법을 수행한다. 3D 이미지 획득 모듈에서, 모드 선택부(3511)는 컬러 이미지 데이터(CID) 또는 적외선 이미지 데이터(모노 이미지 데이터)(MID)를 3D 이미지 획득 모듈(3158)에 전달하고, 모노 이미지 센서(1120, 2120) 및 컬러 이미지 센서(1110, 2110)를 이용하여 3D 이미지를 획득한다.In the iris recognition mode, the mode selection unit 3511 transmits color image data (CID) or infrared image data (mono image data) MID to the iris recognition module 3156 and recognizes the iris of the user USER . The iris recognition module 3156 performs a method of recognizing a part of the subject of the present invention described above. In the face recognition mode, the mode selection unit 3511 transmits color image data (CID) or infrared image data (mono image data) MID to the face recognition module 3157, and recognizes the face of the user USER . The face recognition module 3157 performs a method of recognizing a part of the subject of the present invention described above. In the 3D image acquisition module, the mode selection unit 3511 transmits color image data (CID) or infrared image data (mono image data) (MID) to the 3D image acquisition module 3158, and mono image sensors 1120 and 2120 ) And color image sensors 1110 and 2110 to acquire 3D images.

압축부(3519)는 이미지 획득 모듈(3154)로부터 획득된 이미지를 압축하여, 어플리케이션 프로세서(1200, 2200)에 제공한다. 구체적으로, 압축된 이미지는 스토리지 장치(1400, 2400)에 저장될 수 있고, 디스플레이(1300, 2300)에 표시될 수 있다.The compression unit 3519 compresses the image obtained from the image acquisition module 3154 and provides it to the application processors 1200 and 2200. Specifically, the compressed image can be stored in the storage device 1400, 2400 and displayed on the display 1300, 2300.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.The above description is a concrete example for carrying out the present invention. The present invention includes not only the above-described embodiments, but also embodiments that can be simply modified or easily changed. In addition, the present invention includes techniques that can be easily modified by using the above-described embodiments.

1000, 2000: 이미지 검출 시스템 1100, 2100: 이미지 검출 장치
1110,2110: 컬러 이미지 센서 1120, 2120: 모노 이미지 센서
1130: 제1 적외선 조명 1140: 제2 적외선 조명
2130: 적외선 조명 1150, 2140, 3150: 이미지 신호 프로세서1000, 2000: image detecting system 1100, 2100: image detecting apparatus
1110, 2110: Color image sensor 1120, 2120: Mono image sensor
1130: First Infrared Illumination 1140: Second Infrared Illumination
2130: infrared light 1150, 2140, 3150: image signal processor

Claims

A color image sensor for detecting light in a visible light band and outputting color image data;
A first infrared light for providing a first infrared light to a subject;
A second infrared light for providing a second infrared light to the subject;
A mono image sensor for sensing the first infrared ray or the second infrared ray reflected by the subject and outputting infrared image data; And
Measuring the illuminance value based on the color image data, measuring the distance value of the subject based on the infrared image data by the first infrared ray, and calculating the illuminance value, the distance value, And an image signal processor for obtaining an identification image of the subject based on the infrared image data.

The method according to claim 1,
Wherein the image signal processor activates the second infrared illumination when the illumination value is below a reference value.

3. The method of claim 2,
Wherein the image signal processor obtains the identification image when the distance value is within a reference range.

The method of claim 3,
Wherein the identification image comprises an iris image.

The method according to claim 1,
The image signal processor comprising:
A color image correcting unit for correcting the color image data to generate color thumbnail data;
An illuminance calculation unit for calculating the illuminance value based on the color thumbnail data; And
And an automatic exposure controller for controlling an exposure time of the color image sensor based on the illuminance value.

The method according to claim 1,
The image signal processor comprising:
Generates first mono thumbnail data by correcting first infrared image data by the first infrared light and corrects second infrared image data when the first infrared light is in an off state to generate second mono thumbnail data Mono image correction; And
And a distance calculation section for calculating a distance value between the subject and the mono image sensor based on a difference between the first mono thumbnail data and the second mono thumbnail data.

The method according to claim 1,
Wherein the mono image sensor comprises:
And a mono sensor timing controller for synchronizing the time of providing the first infrared ray or the second infrared ray and the detection time of the mono image sensor.

The method according to claim 1,
The image signal processor comprising:
A distance measurement mode for measuring the distance value, an identification image detection mode for sensing the part of the subject to obtain the identification image, and a general image detection mode for obtaining the color image data, And a mode selection unit for determining one of the two modes,
Wherein the mode selection unit converts the distance measurement mode into the identification image detection mode when the distance value is within the reference range in the distance measurement mode.

Providing a first infrared light to a subject;
Synchronizing the time of providing the first infrared ray with the sensing time of the mono image sensor;
Wherein the mono image sensor senses the first infrared ray reflected by the subject during the synchronized time to generate infrared image data;
Measuring a distance between the mono image sensor and the subject based on the infrared image data; And
And obtaining an identification image of the subject when the distance of the subject is within a reference range.

10. The method of claim 9,
Wherein the obtaining the identification image comprises:
The color image sensor sensing light in a visible light band to generate color image data;
Measuring an illuminance value based on the color image data;
Providing a second infrared ray to the subject when the illuminance value is less than or equal to a reference value; And
And the mono image sensor senses the second infrared ray reflected by the subject to obtain the identification image.