KR20210156553A

KR20210156553A - 이미지 센싱 장치 및 그의 동작 방법

Info

Publication number: KR20210156553A
Application number: KR1020200074264A
Authority: KR
Inventors: 이대현
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2021-12-27
Also published as: US20210399036A1; CN113824907B; US11715749B2; CN113824907A

Abstract

본 발명의 일실시예는 제1 컬러 필터(color filter)를 가지는 제1 픽셀들과 제2 컬러 필터를 가지는 제2 픽셀들과 제3 컬러 필터를 가지는 제3 픽셀들이 예정된 패턴으로 배열된 픽셀 어레이를 포함하는 이미지 센서; 및 상기 이미지 센서로부터 출력되는 픽셀값들에 기초하여, 상기 제1 내지 제3 픽셀들 중 가장 적은 개수의 픽셀들을 대상으로 과포화 여부를 판단하고 그 판단결과에 따라 과포화된 적어도 하나의 픽셀의 픽셀값을 보정하기 위한 이미지 프로세서를 포함하는 이미지 센싱 장치를 제공한다.

Description

이미지 센싱 장치 및 그의 동작 방법{IMAGE SENSING DEVICE AND OPERATING METHOD OF THE IMAGE SENSING DEVICE}

본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센싱 장치 및 그의 동작 방법에 관한 것이다.

이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(caTPure)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.

본 발명의 실시예는 과포화된 픽셀의 픽셀값을 보정할 수 있는 이미지 센싱 장치 및 그의 동작 방법을 제공한다.

본 발명의 일 측면에 따르면, 이미지 센싱 장치는, 제1 컬러 필터(color filter)를 가지는 제1 픽셀들과 제2 컬러 필터를 가지는 제2 픽셀들과 제3 컬러 필터를 가지는 제3 픽셀들이 예정된 패턴으로 배열된 픽셀 어레이를 포함하는 이미지 센서; 및 상기 이미지 센서로부터 출력되는 픽셀값들에 기초하여, 상기 제1 내지 제3 픽셀들 중 가장 적은 개수의 픽셀들을 대상으로 과포화 여부를 판단하고 그 판단결과에 따라 과포화된 적어도 하나의 픽셀의 픽셀값을 보정하기 위한 이미지 프로세서를 포함할 수 있다.

상기 이미지 프로세서는, 상기 가장 적은 개수의 픽셀들의 픽셀값들과 상기 제1 내지 제3 픽셀들 중 가장 많은 개수의 픽셀들의 픽셀값들에 기초하여, 상기 가장 적은 개수의 픽셀들의 과포화 여부를 판단할 수 있다.

본 발명의 다른 측면에 따르면, 이미지 센싱 장치는, 레드(red) 컬러 필터(color filter)를 가지는 제1 픽셀들과 블루(blue) 컬러 필터를 가지는 제2 픽셀들과 그린(green) 컬러 필터를 가지는 제3 픽셀들이 제1 패턴으로 배열된 픽셀 어레이를 포함하는 이미지 센서; 및 상기 이미지 센서로부터 출력되는 픽셀값들에 기초하여 제2 패턴의 이미지를 생성하고, 상기 이미지를 생성할 때 상기 제1 및 제2 픽셀들 중 과포화된 각각의 픽셀의 픽셀값을 상기 제3 픽셀들 중 상기 각각의 픽셀에 가장 인접하게 배열된 적어도 하나의 제3 픽셀의 픽셀값에 기초하여 보정하기 위한 이미지 프로세서를 포함할 수 있다.

상기 제1 픽셀들의 개수와 상기 제2 픽셀들의 개수와 상기 제3 픽셀들의 개수의 비는 1:1:2일 수 있다.

상기 제1 패턴은 쿼드(quad) 패턴을 포함할 수 있고, 상기 제2 패턴은 베이어(bayer) 패턴을 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 이미지 센싱 장치의 동작 방법은, 제1 컬러 필터(color filter)를 가지는 제1 픽셀들 중 타겟 픽셀의 픽셀값과 제2 컬럼 필터를 가지는 제2 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 적어도 하나의 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 과포화 여부를 1차적으로 판단하는 단계; 상기 타겟 픽셀의 픽셀값과 상기 제1 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 적어도 하나의 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 과포화 여부를 2차적으로 판단하는 단계; 및 상기 1차적으로 판단한 결과와 상기 2차적으로 판단한 결과에 따라 상기 타겟 픽셀의 픽셀값을 보정하는 단계를 포함할 수 있다.

상기 보정하는 단계는, 상기 1차적으로 판단한 결과와 상기 2차적으로 판단한 결과가 모두 상기 타겟 픽셀의 과포화를 나타낼 때 상기 타겟 픽셀의 픽셀값을 보정할 수 있다.

상기 보정하는 단계는, 상기 타겟 픽셀의 픽셀값과 상기 제2 픽셀들에 포함된 상기 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 픽셀값을 보정할 수 있다.

본 발명의 실시예는 과포화된 픽셀의 픽셀값을 보정함으로써 정상적인 이미지를 생성할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 이미지 센싱 장치의 블록 구성도이다.
도 2는 도 1에 도시된 이미지 센서의 블록 구성도이다.
도 3은 도 2에 도시된 픽셀 어레이의 일예들을 보인 구성도이다.
도 4는 도 1에 도시된 이미지 프로세서의 블록 구성도이다.
도 5는 도 1에 도시된 이미지 센싱 장치의 동작을 설명하기 위한 흐름도이다.
도 6은 도 5를 부연 설명하기 위한 도면이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.

그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.

도 1에는 본 발명의 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.

도 1을 참조하면, 이미지 센싱 장치는 이미지 센서(100), 및 이미지 프로세서(200)를 포함할 수 있다.

이미지 센서(100)는 입사광에 대응하는 픽셀신호들(DPXs)을 생성할 수 있다. 예컨대, 이미지 센서(100)는 쿼드 패턴(quad pattern)의 이미지에 대응하는 픽셀신호들(DPXs)를 생성할 수 있다.

이미지 프로세서(200)는 픽셀신호들(DPXs)에 기초하여 이미지를 생성할 수 있다. 예컨대, 이미지 프로세서(200)는 베이어(bayer) 패턴의 이미지를 생성할 수 있다. 특히, 이미지 프로세서(200)는 상기 베이어 패턴의 이미지를 생성할 때 이미지 센서(100)에 포함된 복수의 픽셀들 중 타겟 픽셀들의 과포화 여부를 판단하고 그 판단결과에 따라 과포화된 픽셀들을 보정할 수 있다.

도 2에는 도 1에 도시된 이미지 센서(100)가 블록 구성도로 도시되어 있다.

도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 및 신호 변환기(120)를 포함할 수 있다.

픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 상기 복수의 픽셀들을 포함할 수 있다. 상기 복수의 픽셀들은 상기 쿼드 패턴으로 배열될 수 있다(도 3 참조). 픽셀 어레이(110)는 로우 별로 픽셀신호들(VPXs)를 생성할 수 있다. 예컨대, 픽셀 어레이(100)는 제1 로우 시간 동안 제1 로우에 배열된 픽셀들로부터 픽셀신호들(VPXs)을 생성할 수 있고, 제n 로우 시간 동안 제n 로우에 배열된 픽셀들로부터 픽셀신호들(VPXs)을 생성할 수 있다(단, 'n'은 2보다 큰 자연수임). 픽셀신호들(VPXs)은 각각 아날로그 타입의 픽셀신호일 수 있다.

신호 변환기(120)는 상기 아날로그 타입의 픽셀신호들(VPXs)을 디지털 타입의 픽셀신호(DPXs)로 변환할 수 있다. 예컨대, 신호 변환기(120)는 아날로그 투 디지털 컨터버(analog to digital converter)를 포함할 수 있다.

도 3에는 도 2에 도시된 픽셀 어레이(110)의 일예들을 보인 구성도가 도시되어 있다.

도 3을 참조하면, 픽셀 어레이(110)는 상기 쿼드 패턴으로 배열된 상기 복수의 픽셀들을 포함할 수 있다. 상기 쿼드 패턴은 동일한 컬러 필터를 가지는 4개의 픽셀들이 2x2로 배열되며 4x4 단위로 컬러 배열이 반복된 구조를 일 수 있다.

일예(A)에 따르면, 상기 쿼드 패턴은 좌상 위치에 그린(green) 컬러 필터를 가지는 4개의 픽셀들(G00, G01, G10, G11)이 2x2로 배열되고, 우상 위치에 레드(red) 컬러 필터를 가지는 4개의 픽셀들(R02, R03, R12, R13)이 2x2로 배열되고, 좌하 위치에 블루(blue) 컬러 필터를 가지는 4개의 픽셀들(B20, B21, B30, B31)이 2x2로 배열되고, 우하 위치에 그린 색상 필터를 가지는 4개의 픽셀들(G22, G23, G32, G33)이 2x2로 배열된 구조를 가질 수 있다.

다른 예(B)에 따르면, 상기 쿼드 패턴은 좌상 위치에 그린 컬러 필터를 가지는 4개의 픽셀들(G00, G01, G10, G11)이 2x2로 배열되고, 우상 위치에 블루 컬러 필터를 가지는 4개의 픽셀들(B02, B03, B12, B13)이 2x2로 배열되고, 좌하 위치에 레드 컬러 필터를 가지는 4개의 픽셀들(R20, R21, R30, R31)이 2x2로 배열되고, 우하 위치에 그린 색상 필터를 가지는 4개의 픽셀들(G22, G23, G32, G33)이 2x2로 배열된 구조를 가질 수 있다.

또 다른 예(C)에 따르면, 상기 쿼드 패턴은 좌상 위치에 레드 컬러 필터를 가지는 4개의 픽셀들(R00, R01, R10, R11)이 2x2로 배열되고, 우상 위치에 그린 컬러 필터를 가지는 4개의 픽셀들(G02, G03, G12, G13)이 2x2로 배열되고, 좌하 위치에 그린 컬러 필터를 가지는 4개의 픽셀들(G20, G21, G30, G31)이 2x2로 배열되고, 우하 위치에 블루 색상 필터를 가지는 4개의 픽셀들(B22, B23, B32, B33)이 2x2로 배열된 구조를 가질 수 있다.

또 다른 예(D)에 따르면, 상기 쿼드 패턴은 좌상 위치에 블루 컬러 필터를 가지는 4개의 픽셀들(B00, B01, B10, B11)이 2x2로 배열되고, 우상 위치에 그린 컬러 필터를 가지는 4개의 픽셀들(G02, G03, G12, G13)이 2x2로 배열되고, 좌하 위치에 그린 컬러 필터를 가지는 4개의 픽셀들(G20, G21, G30, G31)이 2x2로 배열되고, 우하 위치에 레드 색상 필터를 가지는 4개의 픽셀들(R22, R23, R32, R33)이 2x2로 배열된 구조를 가질 수 있다.

여기서, 상기 레드 컬러 필터를 가지는 픽셀들(이하 "레드 픽셀들"이라 칭함)의 개수와 상기 블루 컬러 필터를 가지는 픽셀들(이하 "블루 픽셀들"이라 칭함)의 개수와 상기 그린 컬러 필터를 가지는 픽셀들(이하 "그린 픽셀들"이라 칭함)의 개수의 비는 1:1:2임을 알 수 있다. 즉, 상기 복수의 픽셀들 중 가장 적은 개수의 픽셀들은 상기 레드 픽셀들과 상기 블루 픽셀들일 수 있고, 상기 복수의 픽셀들 중 가장 많은 개수의 픽셀들은 상기 그린 픽셀들일 수 있다. 상기 복수의 픽셀들은 특성에 따라 픽셀 단위 또는 픽셀 그룹(즉, 2x2로 배열된 픽셀들) 단위로 과포화될 수 있다. 본 발명의 실시예에서는 상대적으로 적은 개수의 상기 레드 픽셀들 및 상기 블루 픽셀들의 과포화 여부를 판단하고 과포화된 픽셀들을 보정할 수 있다. 이하에서는 상기 레드 픽셀들 및 상기 블루 픽셀들을 2x2 그룹 단위로 과포화 여부를 판단하는 것을 예로 들어 설명함에 유의한다.

도 4에는 도 1에 도시된 이미지 프로세서(200)가 블록 구성도로 도시되어 있다.

도 4를 참조하면, 이미지 프로세서(200)는 제1 판단모듈(210), 제2 판단모듈(220), 보정모듈(230), 및 이미지 처리모듈(240)을 포함할 수 있다.

제1 판단모듈(210)은 픽셀신호들(DPXs)에 기초하여 상기 레드 픽셀들 및 상기 블루 픽셀들의 과포화 여부를 1차적으로 판단할 수 있다. 예컨대, 제1 판단모듈(210)은 상기 레드 픽셀들 및 상기 블루 픽셀들 중 타겟 픽셀 그룹의 픽셀값들과 상기 그린 픽셀들 중 상기 타겟 픽셀 그룹에 가장 인접하게 배열된 제1 내지 제4 주변 그린 픽셀 그룹들의 픽셀값들에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다. 제1 판단모듈(210)은 다음의 '수학식 1'을 만족할 때 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

여기서, 'TP'는 상기 타겟 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'G1'은 상기 제1 주변 그린 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'G2'는 상기 제2 주변 그린 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'G3'는 상기 제3 주변 그린 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'G4'는 상기 제4 주변 그린 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있다.

즉, 제1 판단모듈(210)은 상기 타겟 픽셀 그룹의 평균값(TP)이 상기 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들(G1, G2, G3, G4)의 평균값보다 큰 경우에 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

제2 판단모듈(220)은 픽셀신호들(DPXs)에 기초하여 상기 레드 픽셀들 및 상기 블루 픽셀들의 과포화 여부를 2차적으로 판단할 수 있다. 예컨대, 제2 판단모듈(220)은 상기 타겟 픽셀 그룹의 픽셀값들과 상기 타겟 픽셀 그룹과 동일한 컬러 필터를 가지는 픽셀 그룹들 중 상기 타겟 픽셀 그룹에 가장 인접하게 배열된 제1 내지 제4 주변 컬러 픽셀 그룹들의 픽셀값들에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다. 제2 판단모듈(220)은 다음의 '수학식 2'를 만족할 때 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

여기서, 'TP'는 상기 타겟 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'T1'은 상기 제1 주변 컬러 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'T2'는 상기 제2 주변 컬러 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'T3'는 상기 제3 주변 컬러 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있고, 'T4'는 상기 제4 주변 컬러 픽셀 그룹의 픽셀값들의 평균값을 의미할 수 있다.

즉, 제2 판단모듈(220)은 상기 타겟 픽셀 그룹의 평균값(TP)이 상기 제1 내지 제4 주변 컬러 픽셀 그룹들의 평균값들(T1, T2, T3, T4)의 계산값보다 큰 경우에 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다. 상기 계산값은 상기 제1 내지 제4 주변 컬러 픽셀 그룹들의 평균값들(T1, T2, T3, T4)의 평균값과 과포화 상수(α)를 곱셈하여 얻어진 값을 포함할 수 있다. 만약 과포화 상수(α)가 '3'이라고 가정하면, 상기 타겟 픽셀 그룹의 평균값(TP)이 상기 제1 내지 제4 주변 컬러 픽셀 그룹들의 평균값들(T1, T2, T3, T4)의 평균값의 3배에 해당하는 상기 계산값보다 큰 경우에 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

본 발명의 실시예에서는 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 때 정확도를 높이기 위해 제1 판단모듈(210)과 제2 판단모듈(220)이 구성되는 것을 예로 들어 설명하고 있지만, 반드시 이에 한정되는 것은 아니며, 설계에 따라 제1 판단모듈(210)과 제2 판단모듈(220) 중 어느 하나만이 구성될 수도 있다.

보정모듈(230)은 제1 판단모듈(210)의 판단결과와 제2 판단모듈(220)의 판단결과에 따라 상기 타겟 픽셀 그룹의 픽셀값들을 보정할 수 있다. 보정모듈(230)은 다음의 '수학식 3 내지 6'에 기초하여 상기 타겟 픽셀 그룹의 픽셀값들을 보정할 수 있다.

여기서, 'P1'은 상기 타겟 픽셀 그룹에 포함된 제1 내지 제4 픽셀 중 제1 픽셀의 픽셀값을 의미할 수 있고, 'P2'는 상기 타겟 픽셀 그룹에 포함된 상기 제1 내지 제4 픽셀 중 제2 픽셀의 픽셀값을 의미할 수 있고, 'P3'은 상기 타겟 픽셀 그룹에 포함된 상기 제1 내지 제4 픽셀 중 제3 픽셀의 픽셀값을 의미할 수 있고, 'P4'은 상기 타겟 픽셀 그룹에 포함된 상기 제1 내지 제4 픽셀 중 제4 픽셀의 픽셀값을 의미할 수 있고, 'P1''은 상기 제1 픽셀값에 대응하는 보정된 제1 픽셀값을 의미할 수 있고, 'P2''은 상기 제2 픽셀값에 대응하는 보정된 제2 픽셀값을 의미할 수 있고, 'P3''은 상기 제3 픽셀값에 대응하는 보정된 제3 픽셀값을 의미할 수 있고, 'P4''은 상기 제4 픽셀값에 대응하는 보정된 제4 픽셀값을 의미할 수 있다. 'TP', 'G1', 'G2', 'G3', 및 'G4'는 앞서 설명한 각각의 평균값들과 동일할 수 있다.

즉, 보정모듈(230)은 제1 판단모듈(210)의 판단결과와 제2 판단모듈(220)의 판단결과가 모두 상기 타겟 픽셀 그룹의 과포화를 나타낼 때 상기 타겟 픽셀 그룹에 포함된 상기 제1 내지 제4 타겟 픽셀들의 픽셀값들(P1, P2, P3, P4)을 보정하고 상기 보정된 제1 내지 제4 픽셀값들(P1', P2', P3', P4')을 생성할 수 있다. 보정모듈(230)은 상기 타겟 픽셀 그룹의 평균값(TP)과 상기 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들(G1, G2, G3, G4)에 기초하여 상기 제1 내지 제4 타겟 픽셀들의 픽셀값들(P1, P2, P3, P4)을 보정할 수 있다. 더욱 자세하게 설명하면, 보정모듈(230)은 상기 타겟 픽셀 그룹의 평균값(TP)의 4배에 해당하는 값과 상기 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들(G1, G2, G3, G4)의 합산값 간의 비율을 상기 제1 내지 제4 타겟 픽셀들의 픽셀값들(P1, P2, P3, P4) 각각에 곱셈하여 줌으로써 상기 보정된 제1 내지 제4 픽셀값들(P1', P2', P3', P4')을 생성할 수 있다. 따라서, 과포화된 타겟 픽셀 그룹의 픽셀값들은 포화되지 않은 상기 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들 수준으로 보정될 수 있다.

이미지 처리모듈(240)은 픽셀신호들(DPXs)과 보정모듈(230)로부터 생성되는 보정값(DPX')에 기초하여 상기 베이어 패턴의 이미지를 생성할 수 있다. 상기 보정값(DPX')은 상기 보정된 제1 내지 제4 픽셀값들(P1', P2', P3', P4')을 포함할 수 있다.

이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 센싱 장치의 동작을 설명한다.

도 5에는 상기 이미지 센싱 장치의 동작을 설명하기 위한 흐름도가 도시되어 있다.

도 5를 참조하면, 이미지 센서(100)는 입사광에 대응하는 픽셀신호들(DPXs)을 생성할 수 있다(S101). 예컨대, 픽셀신호들(DPXs)은 각각 디지털 타입의 픽셀값을 포함할 수 있다.

이미지 프로세서(200)는 픽셀신호들(DPXs)에 기초하여 상기 복수의 픽셀들 중 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다(S103). 예컨대, 제1 판단모듈(210)은 상기 복수의 픽셀들 중 상기 레드 픽셀들과 상기 블루 픽셀들을 대상으로 과포화 여부를 1차적으로 판단할 수 있고, 제2 판단모듈(220)은 상기 복수의 픽셀들 중 상기 레드 픽셀들과 상기 블루 픽셀들을 대상으로 과포화 여부를 2차적으로 판단할 수 있다. 이때, 제1 판단모듈(210)은 위의 '수학식 1'에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있고, 제2 판단모듈(220)은 위의 '수학식 2'에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다.

이미지 프로세서(200)는 제1 판단모듈(210)의 판단결과와 제2 판단모듈(220)의 판단결과에 따라 상기 타겟 픽셀 그룹의 픽셀값들을 보정할 수 있다(S105). 예컨대, 보정모듈(230)은 제1 판단모듈(210)의 판단결과와 제2 판단모듈(220)의 판단결과가 모두 상기 타겟 픽셀 그룹의 과포화를 나타낼 때 위의 '수학식 3 내지 6'에 기초하여 상기 타겟 픽셀 그룹의 픽셀값들을 보정할 수 있다.

이미지 프로세서(200)는 상기 레드 픽셀들과 상기 블루 픽셀들을 대상으로 모든 타겟 픽셀 그룹들의 과포화 여부를 판단하고 그 판단결과에 따라 보정할 수 있다(S107).

이미지 프로세서(200)는 이미지 센서(100)로부터 생성된 픽셀신호들(DPXs)과 보정모듈(230)로부터 생성된 보정값(DPX')에 기초하여 이미지를 생성할 수 있다. 예컨대, 이미지 처리모듈(240)은 상기 쿼드 패턴에 대응하는 픽셀신호들(DPXs)과 보정값(DPX')에 기초하여 상기 베이어 패턴의 이미지를 생성할 수 있다.

도 6에는 도 5를 부연 설명하기 위한 상기 쿼드 패턴의 일예를 보인 도면이 도시되어 있다. 도 6에는 설명의 편의를 위해 상기 레드 픽셀들 중 어느 하나의 타겟 픽셀 그룹을 대표적으로 이미지 프로세서(200)의 동작을 설명한다.

제1 판단모듈(210)은 상기 레드 픽셀들 중 상기 타겟 픽셀 그룹의 평균값(TP)과 상기 그린 픽셀들 중 상기 타겟 픽셀 그룹에 가장 인접하게 배열된 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들(G1, G2, G3, G4)에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다. 예컨대, 제1 판단모듈(210)은 위의 '수학식 1'을 만족할 때 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

제2 판단모듈(220)은 상기 타겟 픽셀 그룹의 평균값(TP)과 상기 타겟 픽셀 그룹과 가장 인접하게 배열된 제1 내지 제4 주변 레드 픽셀 그룹들의 평균값들(T1, T2, T3, T4)에 기초하여 상기 타겟 픽셀 그룹의 과포화 여부를 판단할 수 있다. 예컨대, 제2 판단모듈(220)은 위의 '수학식 2'를 만족할 때 상기 타겟 픽셀 그룹이 과포화되었음을 판단할 수 있다.

보정모듈(230)은 제1 판단모듈(210)의 판단결과와 제2 판단모듈(220)의 판단결과가 모두 상기 타겟 픽셀 그룹의 과포화를 나타낼 때 상기 타겟 픽셀 그룹의 픽셀값들을 보정할 수 있다. 예컨대, 보정모듈(230)은, 위의 '수학식 3 내지 6'에 기초하여, 상기 타겟 픽셀 그룹의 평균값(TP)의 4배에 해당하는 값과 상기 제1 내지 제4 주변 그린 픽셀 그룹들의 평균값들(G1, G2, G3, G4)의 합산값 간의 비율을 상기 제1 내지 제4 타겟 픽셀들의 픽셀값들(P1, P2, P3, P4) 각각에 곱셈하여 줌으로써 상기 보정된 제1 내지 제4 픽셀값들(P1', P2', P3', P4')을 생성할 수 있다.

이와 같은 본 발명의 실시예에 따르면, 주변 픽셀들의 픽셀값들을 이용함으로써 과포화된 픽셀을 용이하게 판단하면서도 상기 과포화된 픽셀의 픽셀값을 용이하게 보정할 수 있는 이점이 있다. 또한, 쿼드 패턴으로 배열된 픽셀들은 패턴 별로 각각 일정한 비율로 보정되기 때문에 텍스쳐(texture)를 유지할 수 있는 이점이 있다.

본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.

100 : 이미지 센서 200 : 이미지 프로세서

Claims

제1 컬러 필터(color filter)를 가지는 제1 픽셀들과 제2 컬러 필터를 가지는 제2 픽셀들과 제3 컬러 필터를 가지는 제3 픽셀들이 예정된 패턴으로 배열된 픽셀 어레이를 포함하는 이미지 센서; 및
상기 이미지 센서로부터 출력되는 픽셀값들에 기초하여, 상기 제1 내지 제3 픽셀들 중 가장 적은 개수의 픽셀들을 대상으로 과포화 여부를 판단하고 그 판단결과에 따라 과포화된 적어도 하나의 픽셀의 픽셀값을 보정하기 위한 이미지 프로세서
를 포함하는 이미지 센싱 장치.
제1항에 있어서,
상기 이미지 프로세서는,
상기 가장 적은 개수의 픽셀들의 픽셀값들과 상기 제1 내지 제3 픽셀들 중 가장 많은 개수의 픽셀들의 픽셀값들에 기초하여, 상기 가장 적은 개수의 픽셀들의 과포화 여부를 판단하는 이미지 센싱 장치.
제1항에 있어서,
상기 이미지 프로세서는,
상기 가장 적은 개수의 픽셀들 중 타겟 픽셀의 픽셀값과 상기 제1 내지 제3 픽셀들 중 가장 많은 개수의 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 제1 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 과포화 여부를 판단하기 위한 제1 판단모듈;
상기 타겟 픽셀의 픽셀값과 상기 가장 적은 개수의 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 제2 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 과포화 여부를 판단하기 위한 제2 판단모듈; 및
상기 제1 판단모듈의 판단결과와 상기 제2 판단모듈의 판단결과에 따라 상기 타겟 픽셀의 픽셀값을 보정하기 위한 보정모듈을 포함하는 이미지 센싱 장치.
제3항에 있어서,
상기 제1 판단모듈은 상기 타겟 픽셀의 픽셀값이 상기 제1 주변 픽셀들의 픽셀값들의 평균값보다 큰 경우에 상기 타겟 픽셀이 과포화되었음을 판단하는 이미지 센싱 장치.
제3항에 있어서,
상기 제2 판단모듈은 상기 타겟 픽셀의 픽셀값이 상기 제2 주변 픽셀들의 픽셀값들의 계산값보다 큰 경우에 상기 타겟 픽셀이 과포화되었음을 판단하는 이미지 센싱 장치.
제5항에 있어서,
상기 계산값은 상기 제2 주변 픽셀들의 픽셀값들의 평균값과 과포화 상수를 곱셈하여 얻어진 값을 포함하는 이미지 센싱 장치.
제3항에 있어서,
상기 보정모듈은 상기 제1 판단모듈의 판단결과와 상기 제2 판단모듈의 판단결과가 모두 상기 타겟 픽셀의 과포화를 나타낼 때 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치.
제3항에 있어서,
상기 보정모듈은 상기 타겟 픽셀의 픽셀값과 상기 제2 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치.
레드(red) 컬러 필터(color filter)를 가지는 제1 픽셀들과 블루(blue) 컬러 필터를 가지는 제2 픽셀들과 그린(green) 컬러 필터를 가지는 제3 픽셀들이 제1 패턴으로 배열된 픽셀 어레이를 포함하는 이미지 센서; 및
상기 이미지 센서로부터 출력되는 픽셀값들에 기초하여 제2 패턴의 이미지를 생성하고, 상기 이미지를 생성할 때 상기 제1 및 제2 픽셀들 중 과포화된 각각의 픽셀의 픽셀값을 상기 제3 픽셀들 중 상기 각각의 픽셀에 가장 인접하게 배열된 적어도 하나의 제3 픽셀의 픽셀값에 기초하여 보정하기 위한 이미지 프로세서
를 포함하는 이미지 센싱 장치.
제9항에 있어서,
상기 제1 픽셀들의 개수와 상기 제2 픽셀들의 개수와 상기 제3 픽셀들의 개수의 비는 1:1:2인 이미지 센싱 장치.
제9항에 있어서,
상기 제1 패턴은 쿼드(quad) 패턴을 포함하고,
상기 제2 패턴은 베이어(bayer) 패턴을 포함하는 이미지 센싱 장치.
제9항에 있어서,
상기 이미지 프로세서는,
상기 제1 및 제2 픽셀들 중 타겟 픽셀의 픽셀값과 상기 제3 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 제1 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 과포화 여부를 판단하기 위한 제1 판단모듈;
상기 타겟 픽셀의 픽셀값과 상기 타겟 픽셀과 동일한 컬러 필터를 가지는 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 제2 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 과포화 여부를 판단하기 위한 제2 판단모듈; 및
상기 제1 판단모듈의 판단결과와 상기 제2 판단모듈의 판단결과에 따라 상기 타겟 픽셀의 픽셀값을 보정하기 위한 보정모듈을 포함하는 이미지 센싱 장치.
제12항에 있어서,
상기 제1 판단모듈은 상기 타겟 픽셀의 픽셀값이 상기 제1 주변 픽셀들의 픽셀값들의 평균값보다 큰 경우에 상기 타겟 픽셀이 과포화되었음을 판단하는 이미지 센싱 장치.
제12항에 있어서,
상기 제2 판단모듈은 상기 타겟 픽셀의 픽셀값이 상기 제2 주변 픽셀들의 픽셀값들의 계산값보다 큰 경우에 상기 타겟 픽셀이 과포화되었음을 판단하는 이미지 센싱 장치.
제14항에 있어서,
상기 계산값은 상기 제2 주변 픽셀들의 픽셀값들의 평균값과 과포화 상수를 곱셈하여 얻어진 값을 포함하는 이미지 센싱 장치.
제12항에 있어서,
상기 보정모듈은 상기 제1 판단모듈의 판단결과와 상기 제2 판단모듈의 판단결과가 모두 상기 타겟 픽셀의 과포화를 나타낼 때 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치.
제12항에 있어서,
상기 보정모듈은 상기 타겟 픽셀의 픽셀값과 상기 제2 주변 픽셀들의 픽셀값들에 기초하여 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치.
제1 컬러 필터(color filter)를 가지는 제1 픽셀들 중 타겟 픽셀의 픽셀값과 제2 컬럼 필터를 가지는 제2 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 적어도 하나의 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 과포화 여부를 1차적으로 판단하는 단계;
상기 타겟 픽셀의 픽셀값과 상기 제1 픽셀들 중 상기 타겟 픽셀에 가장 인접하게 배열된 적어도 하나의 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 과포화 여부를 2차적으로 판단하는 단계; 및
상기 1차적으로 판단한 결과와 상기 2차적으로 판단한 결과에 따라 상기 타겟 픽셀의 픽셀값을 보정하는 단계
를 포함하는 이미지 센싱 장치의 동작 방법.
제18항에 있어서,
상기 보정하는 단계는, 상기 1차적으로 판단한 결과와 상기 2차적으로 판단한 결과가 모두 상기 타겟 픽셀의 과포화를 나타낼 때 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치의 동작 방법.
제18항에 있어서,
상기 보정하는 단계는, 상기 타겟 픽셀의 픽셀값과 상기 제2 픽셀들에 포함된 상기 주변 픽셀의 픽셀값에 기초하여 상기 타겟 픽셀의 픽셀값을 보정하는 이미지 센싱 장치의 동작 방법.