KR20150124367A - 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 이미지 센서는 픽셀들을 포함하는 픽셀 어레이를 포함하고, 상기 픽셀들 각각은 자동 초점을 위한 위상 차이를 검출하기 위해 독립적으로 작동하는 광전 변환 소자들을 포함한다. 상기 이미지 센서는 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함한다.

Description

광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치{IMAGE SENSOR INCLUDING A PIXEL HAVING PHOTOELECTRIC CONVERSION ELEMENTS AND IMAGE PROCESSING DEVICE HAVING THE IMAGE SENSOR}

본 발명의 개념에 따른 실시 예는 이미지 센서에 관한 것으로, 특히 컬러 이미징(color imaging)과 동시에 위상 차이 자동 초점(auto focus)을 수행할 수 있는 이미지 센서와 이를 포함하는 데이터 처리 시스템에 관한 것이다.

PAF는 위상 검출 자동 초점(phase detection auto focus) 또는 위상 차이 자동 초점(phase difference auto focus)을 의미할 수도 있다.

사진술(photography)에서, 동적 범위(dynamic range)는 최대 측정 가능한 빛의 세기와 최소 측정 가능한 빛의 세기 사이의 범위이다. 빛의 세기의 변하는 정도는 이미징 센서의 동적 범위의 전반적인 성능을 결정하는 캡처 장치로서 사용되는 장치에 의존적이다.

넓은 동적 범위(wide dynamic range(WDR))는 높은 동적 범위(high dynamic range(HDR))라고도 한다. WDR 기술은 픽셀 성능을 물리적으로 증가시키거나 각 픽셀에 멀티플 노출 시간들을 디지털적으로 적용하여 이미징 센서의 동적 범위를 증가시킨다.

이상적인 WDR 센서는 높은 풀 웰 커패시티(full well capacity(FWC))를 갖는 센서이다. FWC는 리드아웃 동안 포화 없이 수용될 수 있는 입사 신호의 전자들의 최대 개수로 정의된다. FWC이 증가함에 따라, 이미지 센서의 동적 범위는 증가한다.

DSLR(digital single lens reflex) 카메라에서, 위상 차이 자동 초점(phase difference auto-focus) 모듈이 차지하는 공간을 줄이기 위해 카메라 센서는 직접 위상 차이를 검출할 수 있는 픽셀들을 포함한다. 따라서, DSLR 카메라는 자동 초점을 할 수 있다. 이러한 기술은 거울없는(mirrorless) DSLR에 적용되고 있다.

종래의 위상 차이 검출용 픽셀은 포토다이오드의 일부분을 금속 등으로 가리고(shield), 상기 포토다이오드에서 가려지는 않은 부분으로 입사되는 빛만을 검출한다. 가려진 픽셀과 가려지지 않은 픽셀, 즉 두 개의 픽셀들을 이용하여 위상 차이를 검출하는 종래의 방법은 불규칙하게 작동하는 두 개의 픽셀들에 의해 컬러 이미지의 화질이 나빠지는 문제가 있다.

본 발명이 이루고자 하는 기술적인 과제는 상술한 문제점, 즉 컬러 이미지의 화질이 나빠지는 문제를 해결하기 위해 픽셀마다 두 개 또는 네 개의 광전 변환 소자들을 구성하여 전 영역에서 위상 차이 신호를 검출할 수 있는 이미지 센서와 이를 포함하는 이미지 처리 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 이미지 센서는 픽셀들을 포함하는 픽셀 어레이를 포함하고, 상기 픽셀들 각각은 자동 초점(auto-focus)을 위한 위상 차이(phase difference)를 검출하기 위해 독립적으로 제어되는 광전 변환 소자들을 포함한다.

상기 이미지 센서는 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함한다.

실시 예들에 따라, 상기 픽셀들이 로우들(rows)에 배치될 때, 상기 노출 시간 제어 회로는, 상기 로우들 중에서 어느 하나에 대한 로우 어드레스를 이용하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어할 수 있다.

실시 예들에 따라, 상기 픽셀들이 로우들에 배치될 때, 상기 노출 시간 제어 회로는, 비닝(binning) 조건 데이터에 기초하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어할 수 있다.

상기 픽셀들은 제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀과, 제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고, 상기 이미지 센서는 제1제어 라인을 통해 상기 제1광전 변환 소자의 제1노출 시간을 제어하기 위한 제1제어 신호를 출력하고, 제2제어 라인을 통해 상기 제2광전 변환 소자의 제2노출 시간을 제어하기 위한 제2제어 신호를 출력하고, 제3제어 라인을 통해 상기 제3광전 변환 소자의 제3노출 시간을 제어하기 위한 제3제어 신호를 출력하고, 제4제어 라인을 통해 상기 제4광전 변환 소자의 제4노출 시간을 제어하기 위한 제4제어 신호를 출력하는 노출 시간 제어 회로를 더 포함하고, 상기 제1노출 시간, 상기 제2노출 시간, 상기 제3노출 시간, 및 상기 제4노출 시간은 상기 노출 제어 회로에 의해 독립적으로 제어된다.

실시 예들에 따라, 상기 제1픽셀과 상기 제2픽셀이 동일한 로우(row) 또는 동일한 컬럼에 배치될 때, 상기 제1노출 시간과 상기 제3노출 시간은 동일하고, 상기 제2노출 시간과 상기 제4노출 시간은 동일하고, 상기 제1노출 시간은 상기 제2노출 시간보다 더 길 수 있다.

실시 예들에 따라, 상기 제1픽셀과 상기 제2픽셀이 동일한 컬럼에 배치될 때, 상기 제1노출 시간과 상기 제4노출 시간은 동일하고, 상기 제2노출 시간과 상기 제3노출 시간은 동일하고, 상기 제1노출 시간은 상기 제2노출 시간보다 더 길 수 있다.

실시 예들에 따라, 상기 픽셀들은 제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀과 제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고, 상기 제1픽셀과 상기 제2픽셀이 동일한 로우에 배치될 때, 상기 제1광전 변환 소자와 상기 제2광전 변환 소자는 대응되는 전송 게이트들을 통해 제1플로팅 디퓨전 영역을 공유하고, 상기 제3광전 변환 소자와 상기 제4광전 변환 소자는 대응되는 전송 게이트들을 통해 상기 제1플로팅 디퓨전 영역과 다른 제2플로팅 디퓨전 영역을 공유한다.

실시 예들에 따라, 상기 픽셀들은 제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀과 제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고, 상기 제1픽셀과 상기 제2픽셀이 동일한 컬럼에 배치될 때, 상기 제1픽셀과 상기 제2픽셀은 하나의 플로팅 디퓨전 영역을 공유한다.

상기 픽셀들 중에서 대응되는 두 개의 픽셀들 사이에는 제1DTI(deep trench isolation) 구조가 형성되고, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 중에서 대응되는 두 개의 광전 변환 소자들 사이에는 제2DTI 구조가 형성된다.

상기 픽셀들 각각은 픽셀마다 포함된 상기 광전 변환 소자들의 위(over)에 형성된 컬러 필터와, 상기 컬러 필터의 위에 형성된 마이크로렌즈를 더 포함한다.

본 발명의 실시 예에 따른 데이터 처리 시스템은 이미지 센서와 상기 이미지 센서의 작동을 제어하는 컨트롤러를 포함한다. 상기 이미지 센서는 픽셀들을 포함하는 픽셀 어레이를 포함하고, 상기 픽셀들 각각은 자동 초점을 위한 위상 차이를 검출하기 위해 독립적으로 제어되는 광전 변환 소자들을 포함한다.

상기 이미지 센서는 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함한다.

상기 픽셀들 각각에 포함된 상기 광전 변환 소자들은 상대적으로 긴-노출 시간으로 제어되는 제1광전 변환 소자와 상대적으로 짧은-노출 시간으로 제어되는 제2광전 변환 소자를 포함하고, 상기 픽셀들 중에서 제1픽셀에 포함된 상기 제1광전 변환 소자와 상기 픽셀들 중에서 상기 제1픽셀에 인접하게 배치된 제2픽셀에 포함된 상기 제1광전 변환 소자는 대각선 방향으로 배치된다.

상기 이미지 센서는 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함하고, 상기 광전 변환 소자들은 상대적으로 긴-노출 시간으로 제어되는 제1광전 변환 소자와 상대적으로 짧은-노출 시간으로 제어되는 제2광전 변환 소자를 포함하고, 상기 픽셀들 각각에 포함된 상기 제1광전 변환 소자에 의해 생성된 픽셀 신호는 상기 노출 시간 제어 회로의 제어에 따라 병렬로 출력된다.

상기 이미지 처리 시스템은 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들로부터 출력된 픽셀 신호들을 디지털 신호들로 변환하는 아날로그-디지털 변환기와, 상기 디지털 신호들로부터 컬러 정보를 생성하는 프리-이미지 신호 프로세서와, 상기 디지털 신호들로부터 상기 위상 차이에 상응하는 위상 차이 데이터를 생성하고 생성된 데이터를 압축하는 위상 차이 처리 회로를 더 포함한다.

상기 픽셀들 중에서 대응되는 두 개의 픽셀들 사이에는 제1DTI(deep trench isolation) 구조가 형성되고, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 중에서 대응되는 두 개의 광전 변환 소자들 사이에는 제2DTI 구조가 형성된다.

본 발명의 실시 예에 따른 이미지 센서는 픽셀마다 독립적으로 제어되는 복수의 광전 변환 소자들을 포함하고, 상기 픽셀마다 포함된 상기 복수의 광전 변환 소자들 각각의 노출 시간 또는 집적 시간을 독립적으로 제어할 수 있다.

픽셀 어레이를 포함하는 상기 이미지 센서는 상기 픽셀 어레이에 배치된 픽셀마다 포함된 복수의 광전 변환 소자들을 이용하여 상기 픽셀 어레이의 전 영역에서 위상 차이 신호들을 균일하게 검출할 수 있는 효과가 있다.

균일하게 검출되는 위상 차이 신호들을 처리할 수 있는 상기 이미지 센서에 의해 생성된 컬러 이미지의 화질은 개선되는 효과가 있다.

또한, 상기 이미지 센서에 의해 검출되는 위상 차이 신호들의 신뢰성이 높아지고 상기 이미지 센서의 공간적 해상도가 높아지므로, 상기 이미지 센서의 자동 초점 성능이 개선되는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 복수의 픽셀들을 포함하는 이미지 센서의 픽셀 어레이를 나타낸다.
도 2는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 3은 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 4는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 5는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 6은 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 7은 각각이 2개의 포토다이오드들을 포함하는 픽셀들의 단면도를 나타낸다.
도 8은 4개의 포토다이오드들을 포함하는 픽셀의 단면도를 나타낸다.
도 9는 2개의 포토다이오드들을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다.
도 10은 4개의 포토다이오드들을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다.
도 11은 도 1의 픽셀 어레이를 포함하는 이미지 센서의 블록도를 나타낸다.
도 12는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 다른 블록도를 나타낸다.
도 13은 도 1에 도시된 픽셀 어레이를 포함하는 데이터 처리 시스템의 일 실시 예에 따른 블록도를 나타낸다.
도 14는 도 13에 도시된 이미지 신호 프로세서의 개략적인 블록도이다.
도 15는 도 13에 도시된 CMOS 이미지 센서에서 한 필드 동안의 노출 시간들과 축적된 노출 빛의 양을 나타낸다.
도 16은 긴-노출 이미지 신호와 짧은-노출 이미지 신호의 결합 과정을 설명하기 위한 긴-노출 이미지 신호(long-exposure image signal)의 입출력 휘도 특성들(input/output luminance characteristics)과 짧은-노출 이미지 신호(short-exposure image signal)의 입출력 휘도 특성들(input/output luminance characteristics)을 나타낸다.
도 17은 멀티-다이오드 PAF 센서의 출력 신호들로부터 컬러 데이터(color data)와 깊이 데이터(depth data)를 동기에 맞춰 출력하는 방법을 설명하기 위한 블록도이다.
도 18은 본 발명의 실시 예에 따른 픽셀들의 작동을 제어하기 위해 로우마다 필요한 전송 게이트 제어 라인들의 개념도이다.
도 19는 동일한 컬럼에 배치된 픽셀들의 회로도를 나타낸다.
도 20은 도 19에 도시된 픽셀들의 작동을 설명하기 위한 타이밍 도이다.
도 21은 WDR(wide dynamic range)를 위한 픽셀들의 배열의 일 실시 예를 나타낸다.
도 22는 WDR(wide dynamic range)를 위한 픽셀들의 배열의 다른 실시 예를 나타낸다.
도 23은 본 발명의 실시 예에 따라 픽셀 신호들을 리드아웃하는 방법을 설명하기 위한 개념도이다.
도 24는 도 23에 도시된 픽셀 신호들을 리드아웃하는 방법을 설명하기 위한 회로도이다.
도 25는 일반 작동 조건에서 작동하는 타이밍 생성기의 작동을 설명하기 위한 개념도이다.
도 26은 2개의 로우들 단위로 비닝할 때의 타이밍 생성기의 작동을 설명하기 위한 개념도이다.
도 27은 3개의 로우들 단위로 비닝할 때의 타이밍 생성기의 작동을 설명하기 위한 개념도이다.
도 28은 도 1 또는 도 18에 도시된 픽셀들을 포함하는 데이터 처리 시스템의 다른 실시 예를 나타내는 블록도이다.
도 29는 도 28에 도시된 데이터 처리 시스템의 작동을 설명하기 위한 플로우 차트이다.
도 30은 도 1 또는 도 18에 도시된 픽셀들을 포함하는 데이터 처리 시스템의 다른 실시 예를 나타태는 블록도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 복수의 픽셀들을 포함하는 이미지 센서의 픽셀 어레이를 나타낸다. 픽셀 어레이(100)에 포함된 복수의 픽셀들(R, G, 및 B) 각각은 복수의 포토다이오들(photodiodes)을 포함할 수 있다.

픽셀 어레이(100)는 휴대용 전자 장치에 포함될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기(cellular phone or mobile phone), 스마트 폰(smart phone), 태블릿 PC, 디지털 카메라(digital camera), 캠코더(camcorder), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터(wearable computer), 사물 인터넷 장치(internet of things(IoT) device), 또는 만물 인터넷(internet of everything(IoE)) 장치 등에 사용될 수 있다.

픽셀 어레이(100)에 포함된 포토다이오드들 각각은 광전변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토트랜지스터(phototransistor), 포토게이트 (photogate), 또는 핀드 포토다이오드(pinned-photodiode)로 대체될 수 있다.

각 픽셀에 포함된 복수의 포토다이오들 각각은 독립적으로 빛 또는 이미지를 캡쳐(capture)할 수 있다.

도 1에서, R은 레드 픽셀(red pixel)을 의미하고, G는 그린 픽셀(green pixel)을 의미하고, B는 블루 픽셀(blue pixel)을 의미한다. 각 픽셀(R, G, 및 B)의 상부에는 대응되는 마이크로렌즈(microlens)가 형성될 수 있다. 픽셀 어레이 (100)는 해상도(resolution)의 손실 없이 WDR 또는 HDR을 구현할 수 있다. 각 픽셀 (R, G, 및 B)의 구조는 도 7과 도 8을 참조하여 설명될 것이다.

도 2는 도 1에 도시된 픽셀 어레이(100)의 일부(110A)를 나타낸다. 각 픽셀(R. G, 및 B)은 서로 독립적으로 작동하는 2개의 포토다이오드들(L과 S)을 포함할 수 있다.

도 2에서, L은 제1포토 다이오드(first photodiode)를 의미하고, S는 제2포토 다이오드(second photodiode)를 의미한다. 예컨대, L은 긴-노출 이미지 신호 (long-exposure image signal)를 생성할 수 있는 포토다이오드(photodiode)일 수 있고, S는 짧은-노출 이미지 신호(short-exposure image signal)를 생성할 수 있는 포토다이오드(photodiode)일 수 있다.

각 로우(Row1과 Row3)에 배치된 각 픽셀(G와 R)은 2개의 포토다이오드들(L과 S)을 포함한다.

각 로우(Row2와 Row4)에 배치된 각 픽셀(B와 G)은 2개의 포토다이오드들(L과 S)을 포함한다.

각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L과 S)의 노출 시간 (exposure time) 또는 집적 시간(integration time)은 로우 드라이버(row driver)에 의해 서로 다르게 독립적으로 제어될 수 있다.

도 2에서는 설명의 편의를 위해 각 픽셀(R, G, 및 B)은 좌우에 구현된 2개의 포토다이오드들(L과 S)을 포함하는 것으로 도시되어 있으나, 실시 예에 따라 각 픽셀(R, G, 및 B)은 상하에 구현된 2개의 포토다이오드들(L과 S)을 포함할 수 있다.

예컨대, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L)에 접속된 전송 트랜지스터(transfer transistor)의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(S)에 접속된 전송 트랜지스터(transfer transistor)의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 3은 도 1에 도시된 픽셀 어레이(100)의 일부(110B)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 동작하는 2개의 포토다이오드들(L과 S)을 포함한다.

도 3의 로우들(Row3과 Row4)에 포함된 2개의 포토다이오드들(L과 S)의 위치와 도 2의 로우들(Row3과 Row4)에 포함된 2개의 포토다이오드들(L과 S)의 위치는 서로 반대이다.

도 2와 도 3에 예시적으로 도시된 바와 같이, 각 픽셀(R. G, 및 B)에 포함된 포토다이오드들(L과 S)의 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

예컨대, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L)에 접속된 전송 트랜지스터(transfer transistor)의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 각 포토다이오드(S)에 접속된 전송 트랜지스터(transfer transistor)의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 4는 도 1에 도시된 픽셀 어레이(100)의 일부(120A)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 작동하는 4개의 포토다이오드들(L1, L2, S1, 및 S2)을 포함한다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, S1, 및 S2)의 노출 시간(exposure time) 또는 집적(integration time)은 로우 드라이버(row driver)에 의해 서로 다르게 독립적으로 제어될 수 있다.

다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1과 L2)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있고, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1과 S2)의 노출 시간 또는 집적은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다.

각 포토다이오드(L1과 L2)의 노출 시간 또는 집적은 각 포토다이오드(S1과 S2)의 노출 시간 또는 집적 시간보다 길게 설정될 수 있다.

각 포토다이오드(L1과 L2)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다. 또한, 각 포토다이오드(S1과 S2)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다.

L1은 제1포토다이오드를 의미하고, S1는 제2포토다이오드를 의미하고, L2은 제3포토다이오드를 의미하고, S2는 제4포토다이오드를 의미한다.

예컨대, L1과 L2 각각은 긴-노출 이미지 신호(long-exposure image signal)를 생성할 수 있는 포토다이오드일 수 있고, S1과 S2 각각은 짧은-노출 이미지 신호(short-exposure image signal)를 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(L1, L2, S1, 및 S2)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들 (L1, L2, S1, 및 S2)을 포함한다.

각 픽셀(R, G, 및 B)은 긴-노출 이미지 신호를 생성할 수 있는 2개의 포토다이오드들(L1과 L2)을 포함하고 짧은-노출 이미지 신호를 생성할 수 있는 2개의 포토다이오드들(S1과 S2)을 포함한다. 이때, 각 포토다이오드(L1, L2, S1, 및 S2)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

예컨대, 각 로우(Row1과 Row2)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L1과 L2)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 각 포토다이오드(S1과 S2)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 5는 도 1에 도시된 픽셀 어레이(100)의 일부(120B)를 나타낸다. 각 픽셀(R. G, 및 B)은 서로 독립적으로 동작하는 4개의 포토다이오드들(L1, L2, L3, 및 S1)을 포함한다.

즉, 각 픽셀(R, G, 및 B)은 각각이 긴-노출 이미지 신호를 생성할 수 있는 3개의 포토다이오드들(L1, L2, 및 L3)을 포함하고 짧은-노출 이미지 신호를 생성할 수 있는 1개의 포토다이오드(S1)을 포함한다. 이때, 각 포토다이오드(L1, L2, L3, 및 S1)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, L3, 및 S1)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 다르게 독립적으로 제어될 수 있다.

다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2,및 L3)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다. 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, 및 L3)의 노출 시간 또는 집적 시간은 포토다이오드(S1)의 노출 시간 또는 집적 시간보다 길게 설정될 수 있다.

각 포토다이오드(L1, L2, 및 L3)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다.

L1은 제1포토다이오드를 의미하고, L2는 제2포토다이오드를 의미하고, L3은 제3포토다이오드를 의미하고, S1는 제4포토다이오드를 의미한다.

예컨대, L1, L2, 및 L3 각각은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1은 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(L1, L2, L3, 및 S1)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들(L1, L2, L3, 및 S1)을 포함한다.

예컨대, 도 5에 도시된 바와 같이 각 로우(Row1과 Row2)에 배치된 각 픽셀 (R, G, 및 B)의 각 포토다이오드(L1, L2, 및 L3)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 포토다이오드(S1)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 6은 도 1에 도시된 픽셀 어레이(100)의 일부(120C)를 나타낸다. 각 픽셀(R. G, 및 B)은 서로 독립적으로 동작하는 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다.

즉, 각 픽셀(R, G, 및 B)은 긴-노출 이미지 신호를 생성할 수 있는 1개의 포토다이오드(L1)을 포함하고, 각각이 짧은-노출 이미지 신호를 생성할 수 있는 3개의 포토다이오드들(S1, S2, 및 S3)을 포함한다. 이때, 각 포토다이오드(S1, S2, S3, 및 L1)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1, S2, S3, 및 L1)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 다르게 독립적으로 제어될 수 있다.

다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1, S2, 및 S3)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다.

각 포토다이오드(S1, S2, 및 S3)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다.

S1은 제1포토다이오드를 의미하고, S2는 제2포토다이오드를 의미하고, S3은 제3포토다이오드를 의미하고, L1는 제4포토다이오드를 의미한다. 예컨대, L1은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1, S2, 및 S3 각각은 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다.

예컨대, 도 6에 도시된 바와 같이 각 로우(Row1과 Row2)에 배치된 각 픽셀 (R, G, 및 B)의 각 포토다이오드(S1, S2, 및 S3)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 포토다이오드(L1)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 7은 2개의 포토다이오드들(PD1과 PD2)을 포함하는 픽셀의 단면도를 나타낸다. 상기 픽셀은 도 1의 R, G, 또는 B을 의미할 수 있다.

포토다이오드(PD1 또는 PD1')는 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드와 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드 중에서 어느 하나일 수 있고, 포토다이오드(PD2 또는 PD2')는 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드와 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드 중에서 다른 하나일 수 있다.

실리콘 기판(silicon substrate) 내부에 2개의 포토다이오드들(PD1과 PD2, 및 PD1'와 PD2')이 형성되고, DTI(deep trench isolation)이 2개의 포토다이오드들 (PD1과 PD2, 및 PD1'과 PD2') 사이에 형성될 수 있다. 예컨대, 2개의 포토다이오드들(PD1과 PD2, 및 PD1'과 PD2') 사이에는 인-픽셀(in-pixel) DTI가 형성되고, 픽셀들 사이에는 인터-픽셀(inter-pixel DTI)가 형성될 수 있다.

2개의 포토다이오드들(PD1과 PD2, 또는 PD1'와 PD2')과 컬러 필터 사이에 형성된 회로 영역에는 메탈 와이어링(metal wiring), 멀티 레이어 와이어링(multi layer wiring), 또는 와이어링 레이어들(wiring layers)이 형성될 수 있다. 마이크로렌즈와 컬러 필터 사이에 렌즈 버퍼(lens buffer) 또는 평탄화 레이어 (planarization layer)가 형성될 수 있다.

도 8은 4개의 포토다이오드들(PD1-PD4)을 포함하는 픽셀의 단면도를 나타낸다. 상기 픽셀은 도 1의 R, G, 또는 B을 의미할 수 있다.

도 4와 도 8을 참조하면, PD1은 L1, S1, L2, 및 S2 중에서 어느 하나이고, PD2은 L1, S1, L2, 및 S2 중에서 다른 하나이고, PD3은 L1, S1, L2, 및 S2 중에서 또 다른 하나이고, PD4은 L1, S1, L2, 및 S2 중에서 나머지 하나일 수 있다.

도 5와 도 8을 참조하면, PD1은 L1, L2, L3, 및 S1 중에서 어느 하나이고, PD2은 L1, L2, L3, 및 S1 중에서 다른 하나이고, PD3은 L1, L2, L3, 및 S1 중에서 또 다른 하나이고, PD4은 L1, L2, L3, 및 S1 중에서 나머지 하나일 수 있다.

도 6과 도 8을 참조하면, PD1은 S1, S2, S3, 및 L1 중에서 어느 하나이고, PD2은 S1, S2, S3, 및 L1 중에서 다른 하나이고, PD3은 S1, S2, S3, 및 L1 중에서 또 다른 하나이고, PD4은 S1, S2, S3, 및 L2 중에서 나머지 하나일 수 있다.

실리콘 기판(silicon substrate) 내부에 4개의 포토다이오드들(PD1-PD4)이 형성되고, 대응되는 두 개의 포토다이오드들(PD1과 PD2, PD2와 PD3, 및 PD3와 PD4)사이에는 대응되는 DTI, 예컨대, 인-픽셀(in-pixel) DTI가 형성될 수 있다. 픽셀들 사이에는 인터-픽셀(inter-pixel) DTI가 형성될 수 있다.

4개의 포토다이오드들(PD1-PD4)과 컬러 필터 사이에 형성된 회로 영역에는 메탈 와이어링(metal wiring), 멀티 레이어 와이어링(multi layer wiring), 또는 와이어링 레이어들(wiring layers)이 형성될 수 있다. 마이크로렌즈와 컬러 필터 사이에 렌즈 버퍼(lens buffer) 또는 평탄화 레이어 (planarization layer)가 형성될 수 있다.

도 9는 2개의 포토다이오드들(PD1과 PD2)을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다. 도 2, 도 3, 도 7, 및 도 9를 참조하면, 픽셀은 2개의 포토다이오드들(PD1과 PD2), 2개의 전송 트랜지스터들(TX1과 TX2), 리셋 트랜지스터 (reset transistor; RX), 소스 팔로워(source follower; SF), 및 선택 트랜지스터 (selection transistor; SX)을 포함한다.

각 트랜지스터(TX1, TX2, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1, TG2, RS, 및 SEL)은 로우 드라이버로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인으로 공급된다.

도 9에서는 설명의 편의를 위해 플로팅 디퓨전 영역(floating diffusion region; FD)이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 긴-노출과 짧은-노출을 구분하는 픽셀들이 하나의 플로팅 디퓨전 영역(FD)에 각 포토다이오드(PD1과 PD2)에 의해 공유되지 않을 수도 있다.

도 10은 4개의 포토다이오드들(PD1-PD4)을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다. 도 4, 도 5, 도 6, 도 8, 및 도 10을 참조하면, 픽셀은 4개의 포토다이오드들(PD1-PD4), 4개의 전송 트랜지스터들(TX1~TX4), 리셋 트랜지스터 (RX), 소스 팔로워(SF), 및 선택 트랜지스터(SX)를 포함한다.

각 트랜지스터(TX1-TX2, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1~ TG4, RS, 및 SEL)은 로우 드라이버로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인으로 공급된다,

도 10에서는 설명의 편의를 위해 플로팅 디퓨전 영역(FD)이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 긴-노출과 짧은-노출을 구분하는 픽셀들이 하나의 플로팅 디퓨전 영역(FD)에 각 포토다이오드(PD1-PD4)에 의해 공유되지 않을 수도 있다.

도 11은 도 1의 픽셀 어레이를 포함하는 이미지 센서의 블록도를 나타낸다.

픽셀 어레이에 포함된 각 PAF 픽셀(P)의 구조는 도 2부터 도 8을 참조하여 설명된 픽셀의 구조와 실질적으로 동일하다. PAF 픽셀(P)은 R, G, 또는 B를 나타낸다.

홀수 번째 로우(Row1, Row3, …)에 구현된 각 PAF 픽셀(P)의 출력 신호는 바닥 아날로그-디지털 변환기(Bottom Analog-Digital Converter)로 전송된다. 바닥 아날로그-디지털 변환기로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다.

짝수 번째 로우(Row2, Row4, …)에 구현된 각 PAF 픽셀(P)의 출력 신호는 상부 아날로그-디지털 변환기(Top Analog-Digital Converter)로 전송된다. 상부 아날로그-디지털 변환기로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다.

도 11에 도시된 바와 같이 각 픽셀(P)이 복수의 포토다이오드들을 포함할 때, 각 픽셀(P)에 포함된 복수의 포토다이오드들의 노출 시간 또는 집적 시간을 제어할 수 있는 N(N은 2 이상의 자연수)개의 제어 신호들을 전송할 수 있는 N개의 전송 라인들(N lines)이 구현될 수 있다.

도 12는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 다른 블록도를 나타낸다.

픽셀 어레이에 포함된 각 PAF 픽셀(P)의 구조는 도 2부터 도 8을 참조하여 설명된 픽셀의 구조와 실질적으로 동일하다. PAF 픽셀(P)은 R, G, 또는 B를 나타낸다.

홀수 번째 로우(Row1, Row3, …)에 구현된 각 PAF 픽셀(P)의 출력 신호는 제1아날로그-디지털 변환기(first Analog-Digital Converter)로 전송된다. 제1아날로그-디지털 변환기로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다. 메모리(또는 버퍼)는 이미지 데이터를 출력할 수 있다.

짝수 번째 로우(Row2, Row4, …)에 구현된 각 PAF 픽셀(P)의 출력 신호는 제2아날로그-디지털 변환기(Second Analog-Digital Converter)로 전송된다. 제2아날로그-디지털 변환기로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다. 메모리(또는 버퍼)는 이미지 데이터를 출력할 수 있다.

도 12에 도시된 바와 같이 각 픽셀(P)이 복수의 포토다이오드들을 포함할 때, 각 픽셀(P)에 구현된 복수의 포토다이오드들의 노출 시간 또는 집적 시간을 제어할 수 있는 N(N은 2 이상의 자연수)개의 제어 신호들을 전송할 수 있는 N개의 전송 라인들(N lines)이 구현될 수 있다.

도 13은 도 1에 도시된 픽셀 어레이(100)를 포함하는 데이터 처리 시스템 (500)의 일 실시 예에 따른 블록도를 나타낸다.

도 1부터 도 10, 및 도 16을 참조하면, 데이터 처리 시스템(500)은 상술한 휴대용 전자 장치로 구현될 수 있다.

데이터 처리 시스템(500)은 광학 렌즈(503), CMOS 이미지 센서(505), 디지털 신호 프로세서(digital signal processor(DSP); 600), 및 디스플레이(640)를 포함한다.

CMOS 이미지 센서(505)는 광학 렌즈(503)를 통하여 입사된 피사체(501)에 대한 이미지 데이터(IDATA)를 생성할 수 있다. 이미지 데이터(IDATA)는 복수의 포토다이오드들(P)로부터 출력된 픽셀 신호들에 상응하는 데이터이다.

CMOS 이미지 센서(505)는 픽셀 어레이(100), 로우 드라이버(520), 리드아웃 회로(525), 타이밍 생성기(530), 제어 레지스터 블록(550), 기준 신호 생성기 (560), 및 버퍼(570)를 포함한다.

픽셀 어레이(100)는 복수의 픽셀들(P)을 포함한다. CMOS 이미지 센서(505)의 픽셀(P)은 CMOS 제조 공정을 이용하여 제조될 수 있다. 도 1부터 도 10을 참조하여 설명한 바와 같이 복수의 픽셀들(P) 각각은 포토다이오들을 포함할 수 있다.

픽셀 어레이(100)는 매트릭스(matrix) 형태로 배열된 픽셀들(P)을 포함한다. 픽셀들(P)은 픽셀 신호들을 컬럼 라인들로 전송한다.

로우 드라이버(520)는, 타이밍 생성기(530)의 제어에 따라, 픽셀들(P) 각각의 작동을 제어하기 위한 제어 신호들을 픽셀 어레이(100)로 드라이빙한다.

로우 드라이버(520)는 제어 신호들을 생성할 수 있는 제어 신호 생성기의 기능을 수행할 수 있다. 예컨대, 상기 제어 신호들은 도 9에 도시된 제어 신호들(RS, TG1, TG2, 및 SEL)을 포함하거나, 도 10에 도시된 제어 신호들(RS, TG1~TG4, 및 SEL)을 포함한다.

타이밍 생성기(530)는, 제어 레지스터 블록(550)의 제어에 따라, 로우 드라이버(520), 리드아웃 회로(525), 및 기준 신호 생성기(560)의 작동을 제어한다.

리드아웃 회로(525)는 컬럼별 아날로그-디지털 변환기(526)와 컬럼별 메모리 (527)를 포함한다. 실시 예에 따라, 아날로그-디지털 변환기(526)는 상관 이중 샘플링(correlated double sampling(CDS))의 기능을 수행할 수 있다.

리드아웃 회로(525)는 각 픽셀(P)로부터 출력된 픽셀 신호에 상응하는 디지털 이미지 신호를 출력한다.

제어 레지스터 블록(550)은, DSP(600)의 제어에 따라, 타이밍 생성기(530), 기준 신호 생성기(560), 및 버퍼(570)의 작동을 제어한다.

버퍼(570)는 리드아웃 회로(525)로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDATA)를 DSP(600)로 전송한다. 이미지 데이터(IDATA)는 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터와 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터를 포함한다.

DSP(600)는 이미지 신호 프로세서(image signal processor(ISP); 610), 센서 컨트롤러(620), 및 인터페이스(630)를 포함한다.

ISP(610)는 제어 레지스터 블록(550)을 제어하는 센서 컨트롤러(620), 및 인터페이스(630)를 제어한다.

실시 예에 따라, CMOS 이미지 센서(505)와 DSP(600)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다.

도 13에서는 CMOS 이미지 센서(505)와 ISP(610)가 분리된 형태로 도시되어 있으나, ISP(610)는 CMOS 이미지 센서(505)의 일부로서 구현될 수 있다.

ISP(610)는 버퍼(570)로부터 전송된 이미지 데이터(IDATA)를 처리하고, 처리된 이미지 데이터를 인터페이스(630)로 전송한다. 예컨대, ISP(610)는 픽셀들(P)로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터(IDATA)를 보간(interpolation)하고, 보간된 이미지 데이터(interpolated image data)를 생성할 수 있다.

센서 컨트롤러(620)는, ISP(610)의 제어에 따라, 제어 레지스터 블록(550)을 제어하기 위한 다양한 제어 신호들을 생성할 수 있다.

인터페이스(630)는 ISP(610)에서 처리된 이미지 데이터, 예컨대 보간된 이미지 데이터를 디스플레이(640)로 전송할 수 있다.

디스플레이(640)는 인터페이스(630)로부터 출력된 보간된 이미지 데이터를 디스플레이할 수 있다. 디스플레이(640)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블 디스플레이로 구현될 수 있다.

도 14는 도 14는 도 13에 도시된 이미지 신호 프로세서의 개략적인 블록도이고, 도 15는 도 13의 CMOS 이미지 센서에서 한 필드(one field) 동안 노출 시간들 (exposure times)과 축적된 노출 빛의 양을 나타내고, 도 16은 긴-노출 이미지 신호와 짧은-노출 이미지 신호의 결합 과정(combining process)을 설명하기 위한 긴-노출 이미지 신호의 입/출력 휘도 특성들(input/output luminance characteristics)과 짧은-노출 이미지 신호의 입/출력 휘도 특성들을 나타낸다.

도 14를 참조하면, 도 13의 ISP(610)는 재구성 회로(reconstruction circuit; 200)와 동적 범위 압축 회로(dynamic range compression circuit; 220)를 포함할 수 있다. 재구성 회로(200)의 작동 방법은 도 15와 도 16을 참조하여 설명될 것이다.

우선, 도 15의 (a)를 참조하면, T1 초들(예컨대, 1/60초들)의 필드 주기 (field period)에 맞추어 형성된 T2 초들 긴-노출(T2 seconds-long exposure)와 T3 초들 짧은-노출(T3 seconds short-exposure)가 수행된다. 실시 예에 따라, 긴-노출 시간과 짧은-노출 시간은 가변될 수 있다.

긴-노출과 짧은-노출을 수행하기 위해, 긴-노출 이미지 신호와 짧은-노출 이미지 신호는 하나의 필드 주기에서 로우들의 개수에 의존하여 획득된다. 긴-노출 이미지 신호와 짧은-노출 이미지 신호를 결합하기 위해, 한 필드의 로우들의 수에 의존하여 캡처된 이미지 데이터가 생성된다.

긴-노출 이미지 신호와 짧은-노출 이미지 신호의 결합은 도 14의 재구성 회로(200)에서 수행될 수 있다. 재구성 회로(200)에서의 결합 과정은 도 16을 참조하여 설명될 수 있다.

실시 예에 따라, 입력 이미지 데이터(INPUT)는 제1이미지 데이터에 상응하는 긴-노출 이미지 신호들과 제2이미지 데이터에 상응하는 짧은-노출 이미지 신호들을 포함할 수 있다.

재구성 회로(200)에 의한 결합 과정(combining process)에서, 결합된 신호 또는 결합된 이미지는 점선으로 표시된 휘도 문턱(luminance threshold)에 의해 지시되는 스위칭 포인트들(switching point)에서 신호들(또는 이미지들)을 스위칭하여 생성될 수 있다.

예컨대, 스위칭 포인트의 휘도 레벨보다 낮은 휘도 레벨을 갖는 픽셀 신호에는 상응하는 긴-노출 이미지 신호가 적용되고, 스위칭 포인트의 휘도 레벨보다 높은 휘도 레벨을 갖는 픽셀 신호에는 상응하는 짧은-노출 이미지 신호가 적용된다.

두 이미지들 사이의 레벨 매칭(level matching)은 짧은-노출 이미지 신호에 노출 비율(exposure ratio) 또는 이득(gain)을 곱하여 수행된다. 예컨대, 노출 비율 또는 이득은 긴-노출 이미지 신호와 짧은-노출 이미지 신호와의 비율에 따라 결정될 수 있다.

긴-노출 이미지 신호와 짧은-노출 이미지 신호 사이의 노출 비율이 K:1 일 때, 짧은-노출 이미지 신호의 노출은 긴-노출 이미지 신호의 노출은 1/K이다. 긴-노출 이미지 신호의 휘도 레벨은 짧은-노출 이미지 신호의 휘도 레벨보다 K배 크다. 따라서, 짧은-노출 이미지 신호에 이득 K을 곱하면 두 레벨들은 매치될 수 있다.

이와 같은 방법으로, 짧은-노출 이미지 신호는 K배만큼 곱해진다. 결과적으로 긴-노출 신호(Long Exposure Signal)의 특성과 결합된 신호(Combined Signal)의 특성을 갖는 결합된 이미지(combined image)가 생성된다.

즉, 재구성 회로(200)는 입력 이미지 데이터(INPUT)를 도 16을 참조하여 설명한 바와 같이 결합하고, 결합된 이미지(OUTPUT1)를 출력한다. 재구성 회로(200)는 짧은-노출을 통해 획득된 짧은-노출 이미지 신호(즉, 짧은-노출 이미지)와 긴-노출을 통해 획득된 긴-노출 이미지 신호(즉, 긴-노출 이미지)를 선형적으로 합하는 기능을 수행할 수 있다.

재구성 회로(200)는 짧은-노출 이미지에 노출 비율을 곱한 후, 곱셈의 결과로 생성된 이미지와 긴-노출 이미지를 선형적으로 합하여 선형적인 이미지(OUTPU1)를 생성한다. 예컨대, 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터가 M-비트(예컨대, 14-bits)이고 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터가 M-비트(예컨대, 14-bits)일 때, 제1이미지 데이터와 제2이미지 데이터는 일정 구간에서 오버랩되고 오버랩된 결합된 이미지(OUTPUT1)는 2*M비트보다 작게 된다. 예컨대, 오버랩된 결합된 이미지(OUTPUT1)는 14-비트들(bits)일 수 있다. 여기서, 각 비트의 수는 각 픽셀로부터 출력된 각 픽셀 신호에 상응하는 이미지 데이터의 비트의 수를 의미한다.

동적 범위 압축 회로(220)는 오버랩된 결합된 이미지(OUTPUT1)의 비트 수(예컨대, 14-비트들)를 디스플레이 또는 출력 표준에 맞는 비트(예컨대, 10-비트들)로 낮추고 낮아진 비트 수를 갖는 이미지(OUTPUT2)를 출력한다. 예컨대, 동적 범위 압축 회로(220)는 로컬(local) 방법 또는 글로벌(global) 방법으로 구현되는 감마 (gamma) 등의 커브(curve)를 이용하여 결합 이미지(OUTPUT1)의 비트 수를 줄이고 줄어든 비트를 갖는 출력 이미지(OUTPUT2)를 출력한다. 예컨대, 동적 범위 압축 회로(220)는 결합된 이미지(OUTPUT1)의 동적 범위를 압축(compressing)하는 기능을 수행할 수 있다.

도 15의 (b)는 롤링 셔터(rolling shutter) 방법을 설명하기 위한 것으로서, 도 15의 (b)에서 긴-노출과 짧은-노출은 오버랩되어 진행될 수도 있다. T2와 T3는 로우들의 개수에 의존적일 수 있다.

도 17은 멀티-다이오드 PAF 센서의 출력 신호들로부터 컬러 데이터와 깊이 데이터(depth data)을 동기에 맞추어 출력하는 방법을 설명하기 위한 블록도이다. 도 17에 도시된 회로는 도 13의 CMOS 이미지 센서(505)의 일부로서 포함될 수 있다.

멀티-다이오드(multi-photodiode) PAF 센서(300)의 출력 신호는 위상 차이 신호, 즉 픽셀 내에 포함된 복수의 광전 변환 소자들(예컨대, 포토 다이오드들)로부터 출력되는 신호를 의미할 수 있다.

컬러 데이터 처리 회로(310)는 광전 변환 소자들로부터 출력된 신호들(LDATA와 SDATA)를 이용하여 이미지 데이터 향상을 위한 처리를 수행할 수 있다. 상기 처리는 프리-프로세싱(pre-processing)을 포함할 수 있다. 상기 프리-프로세싱(pre-processing)은 메인 칼라(예컨대, RGB데이터)를 이미지 처리(image processing) 전에 CMOS 이미지 센서의 제조 공정에서 발생하는 문제를 정정(correction)할 수 있다. 상기 정정은 렌즈 세이딩 정정 및/또는 배드 픽셀 정정(lens shading correction and/or bad pixel correction) 등을 포함할 수 있다.

상기 처리는 메인 칼라 이미지 처리를 포함할 수 있다. 상기 메인 칼라 이미지 처리는 인터폴레이션(interpolation), 노이즈 감소(noise reduction), 에지 향상(edge enhancement), 칼라 정정(color correction) 및/또는 감마 처리(gamma processing) 등을 포함할 수 있다.

컬러 데이터 처리 회로(310)는 프리-프로세싱(pre-processing)과 메인 칼라 이미지 처리 중에서 적어도 하나를 수행할 수 있다.

PAF 데이터 처리 회로(320)는 PAF 픽셀 단위로 깊이 데이터 향상을 위한 처리를 수행한다. PAF 데이터 처리 회로(320)는 위상 차이 자동 초점 데이터 처리 (phase difference auto focus data processing)을 의미하고, 픽셀마다 포함된 포토 다이오드들로부터 출력된 신호들(LDATA와 SDATA)을 이용하여 디스패리티 데이터 (disparity data) 또는 깊이 데이터(depth data)를 변환하는 기능을 수행할 수 있다. 예컨대, 디스패리티 데이터는 멀티-다이오드들을 통해 획득된 한 포인트의 이미지에 대한 데이터를 의미할 수 있다. PAF 데이터 처리 회로(320)는 디스패리티 데이터 또는 깊이 데이터를 얻기 위해 일련의 처리, 예컨대 노이즈 감소 등을 수행할 수 있다.

각 회로(310과 320)는 파이프라인(pipeline) 구조로 구현될 수 있다.

컬러 데이터 처리 회로(310)에 의해 처리된 컬러 데이터(Color Data)와 PAF 데이터 처리 회로(320)에 의해 처리된 깊이 데이터(Depth Data)는 실시 예들에 따라 서로 동기되어 출력되거나 일렬로 차례로 출력될 수 있다.

실시 예에 따라, 컬러 데이터(Color Data)와 깊이 데이터(Depth Data)가 서로 동기될 때 컬러 데이터(Color Data)와 깊이 데이터(Depth Data)는 서로 동기되어 출력될 수 있다. 다른 실시 예에 따라, 컬러 데이터(Color Data)가 출력된 후 깊이 데이터 (Depth Data)가 출력되거나, 깊이 데이터(Depth Data)가 출력된 후 컬러 데이터 (Color Data)가 출력될 수 있다.

또 다른 실시 예에 따라, 컬러 데이터(Color Data)와 깊이 데이터(Depth Data)가 번갈아 출력될 수 있다. 또 다른 실시 예에 따라, 컬러 데이터(Color Data)와 깊이 데이터(Depth Data)를 혼합하여 출력하는 방법이 사용될 수 있다.

실시 예들에 따라 멀티-다이오드 PAF 센서(300)가 제1칩에 구현될 때, 컬러 데이터 처리 회로(310)와 PAF 데이터 처리 회로(320)는 제2칩에 구현될 수 있다. 예컨대, 컬러 데이터 처리 회로(310)와 PAF 데이터 처리 회로(320)는 ISP에 구현될 수도 있고 애플리케이션 프로세서(application processor) 또는 시스템 온 칩 (system on chip(SoC))에 구현될 수 있다. 도 17에 도시된 회로는 풀(full) PAF 픽셀들을 이용하여 깊이 맵 데이터(depth map data)를 출력할 수 있다.

도 18은 본 발명의 실시 예에 따른 픽셀들의 작동을 제어하기 위해 로우마다 필요한 전송 게이트 제어 라인들의 개념도이고, 도 19는 동일한 컬럼에 배치된 픽셀들의 회로도를 나타낸다.

도 1, 도 7, 도 18, 및 도 19를 참조하면, 각 픽셀(R, G, 및 B)은 2개의 광전 변환 소자들을 포함할 수 있다. 예컨대, 제1그린 픽셀은 2개의 광전 변환 소자들(GrPD1과 GrPD2)을 포함할 수 있고, 레드 픽셀은 2개의 광전 변환 소자들(RPD1과 RPD2)를 포함할 수 있고, 블루 픽셀은 2개의 광전 변환 소자들(BPD1과 BPD2)를 포함할 수 있고, 제2그린 픽셀은 2개의 광전 변환 소자들(GbPD1과 GbPD2)을 포함할 수 있다.

본 명세서에서 설명되는 각 픽셀(R, G, 및 B)은 위상 검출 자동 초점(phase detection auto focus) 작동 또는 위상 차이 자동 초점(phase difference auto focus) 작동을 수행할 수 있는 PAF 픽셀을 의미한다.

도 18에 도시된 바와 같이, 로우(row)마다 4개의 전송 게이트 제어 라인들이 배치될 수 있다.

제1제어 신호(TA1)는 광전 변환 소자(GrPD1)에 접속된 전송 게이트(TXa1)를 제어할 수 있고, 제2제어 신호(TA2)는 광전 변환 소자(GrPD2)에 접속된 전송 게이트(TXa2)를 제어할 수 있고, 제3제어 신호(TA3)는 광전 변환 소자(RPD1)에 접속된 전송 게이트를 제어할 수 있고, 제4제어 신호(TA4)는 광전 변환 소자(RPD2)에 접속된 전송 게이트를 제어할 수 있다. 노출 시간 제어 회로, 예컨대 도 13의 로우 드라이버(520)로부터 출력된 제어 신호들(TA1~TA4)은 제1로우에 배치된 픽셀들 각각에 포함된 2개의 광전 변환 소자들 각각의 노출 시간을 독립적으로 제어할 수 있다.

제5제어 신호(TB1)는 광전 변환 소자(BPD1)에 접속된 전송 게이트(TXb1)를 제어할 수 있고, 제6제어 신호(TB2)는 광전 변환 소자(BPD2)에 접속된 전송 게이트 (TXb2)를 제어할 수 있고, 제7제어 신호(TB3)는 광전 변환 소자(GrPD1)에 접속된 전송 게이트를 제어할 수 있고, 제8제어 신호(TB4)는 광전 변환 소자(GrPD2)에 접속된 전송 게이트를 제어할 수 있다. 노출 시간 제어 회로, 예컨대 도 13의 로우 드라이버(520)로부터 출력된 제어 신호들(TB1~TB4)은 제2로우에 배치된 픽셀들 각각에 포함된 2개의 광전 변환 소자들 각각의 노출 시간을 독립적으로 제어할 수 있다.

각 픽셀에 포함된 복수의 광전 변환 소자들 각각의 전하 축적과 전하 전송은 해당 전송 트랜지스터의 게이트로 공급되는 해당 제어 신호에 따라 제어될 수 있다.

실시 예들에, 제1제어 신호(TA1)가 광전 변환 소자(GrPD2)에 접속된 전송 게이트로 공급될 수 있도록 그리고 제2제어 신호(TA2)가 광전 변환 소자(GrPD1)에 접속된 전송 게이트로 공급될 수 있도록 픽셀 어레이에 대한 설계 변경은 가능하다. 또한, 제3제어 신호(TA3)가 광전 변환 소자(RPD2)에 접속된 전송 게이트로 공급될 수 있도록 그리고 제4제어 신호(TA4)가 광전 변환 소자(RPD1)에 접속된 전송 게이트로 공급될 수 있도록 픽셀 어레이에 대한 설계 변경은 가능하다.

도 19에 도시된 바와 같이, 픽셀 A가 제1로우에 배치된 제1그린 픽셀을 의미하고, 픽셀 B가 제2로우에 배치된 블루 픽셀이라고 가정하면, 동일한 컬럼에 배치된 상기 제1그린 픽셀과 상기 블루 픽셀은 플로팅 디퓨전 영역(또는 플로팅 디퓨전 노드; FD)을 공유할 수 있다. 즉, 4개의 광전 변환 소자들(GrPD1, GrPD2, BPD1, 및 BPD2)은 4개의 전송 게이트들을 통해 플로팅 디퓨전 영역(FD)을 공유할 수 있다.

도 20은 도 19에 도시된 픽셀들의 작동을 설명하기 위한 타이밍 도이다.

도 18부터 도 20을 참조하면, 하나의 수평 구간은 두 개의 셔터 구간들(STX1과 STX2)가 존재하고 하나의 리드 아웃 구간(READ)이 존재한다. 제1셔터 구간 (STX1)에서는, 어드레스(ADD1)에 해당하는 제1로우에 배치된 픽셀 A의 제1광전 변환 소자(GrPD1)가 전송 게이트(TXa1)와 리셋 트랜지스터(RX)를 통해 리셋된다. 즉, 제1제어 신호(TA1)는 전송 트랜지스터(TXa1)의 게이트로 공급되고 리셋 신호(RST)는 리셋 트랜지스터(RX)의 게이트로 공급된다.

제1셔터 구간(STX1)에서는, 해당하는 광전 변환 소자에 대한 리셋 작동이 수행되지 않는다.

리드 아웃 구간(READ)에서는, 어드레스(ADD1)와 다른 어드레스(ADD3)에 해당하는 로우에 배치된 픽셀의 플로팅 디퓨전 영역이 리셋된다. 그 후, 제2제어 신호 (TA2)가 제1로우에 배치된 픽셀 A의 제2광전 변환 소자(GrPD2)에 접속된 전송 트랜지스터(TXa2)의 게이트로 공급된다. 따라서, 제2광전 변환 소자(GrPD2)에 축적된 전하들은 전송 게이트(TXa2)를 통해 플로팅 디퓨전 영역(FD)으로 전송되고, 플로팅 디퓨전 영역(FD)으로 전송된 전하들에 응답하여 소스 팔로워(SF)가 작동하고, 소스 팔로워 (SF)로부터 출력된 신호는 선택 트랜지스터(SX)를 통해 컬럼 라인으로 전송된다.

VPIX는 리셋 트랜지스터(RX)와 소스 팔로워(SF)로 공급되는 작동 전압을 의미한다.

도 21은 WDR(wide dynamic range)를 위한 픽셀들의 배열의 일 실시 예를 나타낸다. 도 18, 도 19, 및 도 21을 참조하면, L은 긴-노출 이미지 신호를 생성할 수 있는 광전 변환 소자를 의미하고, S은 짧은-노출 이미지 신호를 생성할 수 있는 광전 변환 소자를 의미한다.

각 광전 변환 소자(GrPD1, RPD1, BPD1, 및 GbPD1)에 접속된 각 전송 트랜지스터의 게이트로 공급되는 각 제어 신호(TA1, TA3, TB1, 및 TB3)는 상대적으로 긴-노출 시간에 대응된다. 그러나, 각 광전 변환 소자(GrPD2, RPD2, BPD2, 및 GbPD2)에 접속된 각 전송 트랜지스터의 게이트로 공급되는 각 제어 신호(TA2, TA4, TB2, 및 TB4)는 상대적으로 짧은-노출 시간에 대응된다.

도 22는 WDR(wide dynamic range)를 위한 픽셀들의 배열의 다른 실시 예를 나타낸다. 도 18, 도 19, 및 도 22를 참조하면, L은 긴-노출 이미지 신호를 생성할 수 있는 광전 변환 소자를 의미하고, S은 짧은-노출 이미지 신호를 생성할 수 있는 광전 변환 소자를 의미한다.

각 광전 변환 소자(GrPD1, RPD1, BPD2, 및 GbPD2)에 접속된 각 전송 트랜지스터의 게이트로 공급되는 각 제어 신호(TA1, TA3, TB1, 및 TB3)는 상대적으로 긴-노출 시간에 대응된다. 그러나, 각 광전 변환 소자(GrPD2, RPD2, BPD1, 및 GbPD1)에 접속된 각 전송 트랜지스터의 게이트로 공급되는 각 제어 신호(TA2, TA4, TB2, 및 TB4)는 상대적으로 짧은-노출 시간에 대응된다.

비닝(binning)의 경우, 동일한 노출-시간에 해당하는 광전 변환 소자들로부터 출력된 전하들에 상응하는 픽셀 신호들을 다해야 하므로, 상기 비닝이 가능하도록 로우 드라이버(520)는 각 제어 신호(TA1~TA4, 및 TB1~TB4)를 제어해야 한다. 따라서, 로우 드라이버(520)는 PAF의 성능 및/또는 비닝 등 작동 조건에 따라 노출 시간에 관련된 각 제어 신호(TA1~TA4, 및 TB1~TB4)를 제어해야 한다.

도 18부터 도 22를 참조하여 설명한 바와 같이, 광전 변환 소자에 접속된 전송 트랜지스터의 게이트로 공급되는 제어 신호가 상대적으로 긴-노출 시간에 대응되는 신호인지 또는 상대적으로 짧은-노출 시간에 대응되는 신호인지에 따라 공간적으로 다른 위치에 배치된 픽셀은 서로 다른 노출 시간으로 제어될 수 있는 효과가 있다.

여기서, L과 S는 상대적인 것으로서, L에 접속된 전송 트랜지스터의 게이트로 상대적으로 짧은-노출 시간에 상응하는 제어 신호가 공급되면, 상기 L은 상대적으로 짧은-노출 이미지 신호에 상응하는 전하들을 생성할 수 있다. 또한, S에 접속된 전송 트랜지스터의 게이트로 상대적으로 긴-노출 시간에 상응하는 제어 신호가 공급되면, 상기 S는 상대적으로 긴-노출 이미지 신호에 상응하는 전하들을 생성할 수 있다.

도 18부터 도 22를 참조하여 설명한 바와 같이, 픽셀마다 포함된 2개의 광전변환 소자들 중에서 어느 하나로만 긴-노출 시간에 해당하는 제어 신호가 공급되므로, 도 18부터 도 22를 참조하여 설명한 픽셀들로부터 출력된 픽셀 신호들에 상응하는 나이퀴스트 공간 주파수(Nyquest spatial frequency)는 일반 베이어 패턴 (Bayer pattern)에 포함된 픽셀들로부터 출력된 픽셀 신호들에 상응하는 나이퀴스트 공간 주파수와 동일하므로, 도 18부터 도 22를 참조하여 설명한 픽셀들을 포함하는 이미지 센서의 해상도는 베이어 패턴들을 포함하는 이미지 센서의 해상도와 동일하다.

도 23은 본 발명의 실시 예에 따라 픽셀 신호들을 리드아웃하는 방법을 설명하기 위한 개념도이고, 도 24는 도 23에 도시된 픽셀 신호들을 리드아웃하는 방법을 설명하기 위한 회로도이다.

설명의 편의를 위해, (1) 시점부터 (4) 시점 순서로 이미지 신호들이 출력된다고 가정한다.

(1) 시점에 서로 다른 위치들에 배치된 광전 변환 소자들에 접속된 전송 트랜지스터들의 게이트들로 로우 드라이버(520)로부터 출력된 제어 신호들이 공급되면, 상기 광전 변환 소자들을 포함하는 픽셀들은 해당 컬럼 라인들(COL1~COL4)을 통해 픽셀 신호들을 병렬로 비교기들(CP1~CP4)로 출력할 수 있다.

도 13의 리드아웃 회로(525)의 실시 예에 따른 리드아웃 회로(525A)에 구현된 비교기들(CP1~CP4) 각각은 램프 신호(VRAMP)와 픽셀 신호들 각각을 비교하고 비교 신호들 각각을 출력할 수 있다. 램프 신호(VRAMP)는 기준 신호 생성기, 예컨대 램프 신호 생성기(560)로부터 출력될 수 있다.

예컨대, (1) 시점에 그린 픽셀들로부터 긴-노출 그린 이미지 신호들이 동시에 또는 병렬로 출력될 수 있다. (2) 시점에 그린 픽셀들로부터 짧은-노출 그린 이미지 신호들이 동시에 또는 병렬로 출력될 수 있다. (3) 시점에 레드 픽셀들로부터 긴-노출 레드 이미지 신호들과 블루 픽셀들로부터 긴-노출 블루 이미지 신호들이 동시에 또는 병렬로 출력될 수 있다. (4) 시점에 레드 픽셀들로부터 짧은-노출 레드 이미지 신호들과 블루 픽셀들로부터 짧은-노출 블루 이미지 신호들이 동시에 또는 병렬로 출력될 수 있다.

도 25는 일반 작동 조건에서 작동하는 타이밍 생성기의 작동을 설명하기 위한 개념도이고, 도 26은 2개의 로우들 단위로 비닝할 때의 타이밍 생성기의 작동을 설명하기 위한 개념도이고, 도 27은 3개의 로우들 단위로 비닝할 때의 타이밍 생성기의 작동을 설명하기 위한 개념도이다.

도 13, 및 도 18부터 도 27을 참조하면, 타이밍 생성기(640)는, WDR 작동 조건 하에서 위상 차이 검출 성능이 저하되지 않도록, 픽셀마다 포함된 2개의 광전 변환 소자들 중에서 어느 하나로 긴-노출 시간에 해당하는 제어 신호를 공급하도록 로우 드라이버(520)를 제어할 수 있다.

타이밍 생성기(640)는 도 27, 도 28, 및 도 29를 참조하여 설명될 비닝 조건에서 픽셀들 각각에 대한 노출을 제어할 수 있다.

도 27은 일반 작동 조건을 위한 노출 제어에 상응하는 WDR 패턴이다. 도 28은 2로우들씩 비닝하는 경우에서의 노출 제어에 상응하는 WDR 패턴이다. 이 경우, 2로우들 씩, 동시에 리드된다. 도 29는 3로우들씩 비닝하는 경우에서의 노출 제어에 상응하는 WDR 패턴이다. 이 경우, 3로우들 씩 동시에 리드된다.

도 28은 도 1 또는 도 18에 도시된 픽셀들을 포함하는 데이터 처리 시스템의 다른 실시 예를 나타내는 블록도이다.

데이터 처리 시스템(600)은 픽셀 어레이(100), 노출 시간 제어 회로(610), 아날로그-디지털 변환기(630), 프리(pre)-ISP(650), 위상 차이 처리 회로(660), 및 출력 인터페이스(670)를 포함한다.

픽셀 어레이(100)는 복수의 픽셀들을 포함한다. 상기 복수의 픽셀들 각각은 도 1부터 도 27을 참조하여 설명된 픽셀을 의미할 수 있다. 즉, 각 픽셀은 독립적으로 제어될 수 있는 2개 또는 그 이상의 광전 변환 소자들을 포함할 수 있다.

노출 시간 제어 회로(610)는 픽셀마다 광전 변환 소자들 각각의 노출 (exposure) 시간을 독립적으로 제어할 수 있다. 노출 시간 제어 회로(610)는 로우 드라이버(520)와 타이밍 생성기(530)를 포함할 수 있다.

도 29는 도 28에 도시된 데이터 처리 시스템의 작동을 설명하기 위한 플로우 차트이다.

도 28과 도 29를 참조하면, 실시 예들에 따라, 타이밍 생성기(530)는 현재 로우 어드레스를 확인하고, 확인의 결과에 기초하여 제1노출 시간 제어 신호들을 생성하고, 생성된 제1노출 시간 제어 신호들을 로우 드라이버(520)로 출력할 수 있다(S110). 즉, 제1노출 시간 제어 신호들은 현재 로우 어드레스만에 기초하여 생성될 수 있다.

로우 드라이버(520)는, 제1노출 시간 제어 신호들에 응답하여, 긴-시퀀스 및/또는 짧은-시퀀스에 해당하는 제어 신호들을 생성한다. 상기 긴-시퀀스는 긴-노출 시간을 제어하기 위한 시퀀스를 의미하고, 상기 짧은-시퀀스는 짧은-노출 시간을 제어하기 위한 시퀀스를 의미한다.

다른 실시 예들에 따라, 타이밍 생성기(530)는 비닝-조건들에 해당하는 비닝 조건 데이터를 확인하고, 확인의 결과에 기초하여 제1노출 시간 제어 신호들을 생성하고, 생성된 제1노출 시간 제어 신호들을 로우 드라이버(520)로 출력할 수 있다 (S120). 즉, 제1노출 시간 제어 신호들은 비닝 조건 데이터만에 기초하여 생성될 수 있다. 이때, 비닝 조건 데이터는 도 25, 도 26, 및 도 27을 참조하여 설명한 바와 같이 비닝 작동에 사용될 로우들의 개수에 상응하는 데이터일 수 있다.

또 다른 실시 예들에 따라, 타이밍 생성기(530)는, 현재 로우 어드레스에 대한 확인 결과(S110)와 비닝 조건 데이터에 대한 확인 결과(S120)에 기초하여, 제1노출 시간 제어 신호들을 생성하고, 생성된 제1노출 시간 제어 신호들을 로우 드라이버(520)로 출력할 수 있다.

픽셀마다 구현된 광전 변환 소자들, 예컨대, 포토다이오드들은 긴-시퀀스 및/또는 짧은-시퀀스에 따라 리셋된다(S130).

픽셀마다 구현된 광전 변환 소자들은, 긴-시퀀스 및/또는 짧은-시퀀스에 따라 집적된, 전하들을 전송 트랜지스터들을 통해 해당 플로팅 디퓨전 영역으로 전송한다. 즉, 픽셀들은 노출 시간이 지난 후에 픽셀 신호들을 컬럼 라인들을 통해 아날로그-디지털 변환기(630)로 출력한다(S140).

아날로그-디지털 변환기(630)는 픽셀들로부터 출력된 픽셀 신호들을 디지털 신호들로 변환하고, 상기 디지털 신호들을 프리-ISP(650)로 전송한다.

프리-ISP(650)는 디지털 신호들에 대해 렌즈 쉐이딩 정정 및/또는 배드 픽셀 정정 등을 수행하고, 수행의 결과에 따라 컬러 정보를 생성하고, 생성된 컬러 정보를 출력 인터페이스(670)로 출력할 수 있다.

또한, 프리-ISP(650)는 디지털 신호들 또는 상기 수행의 결과에 상응하는 신호들을 위상 차이 처리 회로(660)로 출력할 수 있다.

위상 차이 처리 회로(660)는 프리-ISP(650)로부터 전송된 디지털 신호들 또는 상기 수행의 결과에 상응하는 신호들을 압축하고 압축 결과에 상응하는 위상 차이 정보를 출력 인터페이스(670)로 출력할 수 있다.

예컨대, 위상 차이 처리 회로(660)는 프리-ISP(650)로부터 전송된 디지털 신호들을 Y 값들(예컨대 위상 값들)로 변환하고, 변환된 Y 값들에 기초하여 긴-노출 이미지 신호들에 상응하는 디지털 신호들과 짧은-노출 이미지 신호에 상응하는 디지털 신호들 사이의 패리티(parity)를 검출하고 검출의 결과에 상응하는 위상 차이 정보를 생성할 수 있다.

예컨대, 위상 차이 처리 회로(660)는 Y-축 방향으로 M(M은 2 이상의 자연수)개의 로우들에 포함된 픽셀들로부터 출력된 픽셀 신호들에 상응하는 디지털 신호들의 평균을 계산하고, 1/M으로 압축된 위상 차이 정보를 생성할 수 있다.

출력 인터페이스(670)는 프리-ISP(650)로부터 출력된 컬러 정보와 위상 차이 처리 회로(660)로부터 출력된 위상 차이 정보를 출력할 수 있다. 출력 인터페이스 (670)는 컬러 정보와 위상 차이 정보의 출력 순서를 결정할 수도 있다.

도 30은 도 1 또는 도 18에 도시된 픽셀들을 포함하는 데이터 처리 시스템의 다른 실시 예를 나타태는 블록도이다.

도 1부터 도 30을 참조하면, 데이터 처리 시스템(700)은 MIPI^®(mobile industry processor interface)를 사용 또는 지원할 수 있는 데이터 처리 시스템으로 구현될 수 있다.

데이터 처리 시스템(700)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 모바일 컴퓨팅 장치를 의미할 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터, 이동 전화기, 스마트 폰, 태블릿 PC, 디지털 카메라, 캠코더, MID, 웨어러블 컴퓨터, IoT 장치, 또는 IoE 장치 등을 의미할 수 있다.

데이터 처리 시스템(700)은 애플리케이션 프로세서(application processor(AP); 710), 이미지 센서(505), 및 디스플레이(730)를 포함할 수 있다.

AP(710)에 구현된 카메라 시리얼 인터페이스(camera serial interface(CSI)) 호스트(713)는 CSI를 통하여 이미지 센서(505)의 CSI 장치(706)와 시리얼 통신할 수 있다. 실시 예에 따라, CSI 호스트(713)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(706)는 시리얼라이저(SER)를 포함할 수 있다.

이미지 센서(505)는, 도 1부터 도 13, 및 도 18부터 도 28을 참조하여 설명한 바와 같이, 복수의 픽셀들(또는 복수의 액티브 픽셀 센서들)을 포함할 수 있다. 상기 복수의 픽셀들 각각은 독립적으로 제어될 수 있는 복수의 광전 변환 소자들을 포함할 수 있다. 상기 복수의 픽셀들 각각의 구조는 도 7 또는 도 8을 참조하여 설명한 바와 같다. 이미지 센서(505)는 FSI(front side illuminated) CMOS 이미지 센서 또는 BSI(back side illuminated) CMOS 이미지 센서로 구현될 수 있다.

또한, 이미지 센서(505)는, 로우 어드레스 및/또는 비닝 조건 데이터에 따라, 픽셀마다 포함된 복수의 광전 변환 소자들 각각의 노출 시간을 독립적으로 제어할 수 있는 노출 시간 제어 회로, 예컨대 로우 드라이버(520)를 포함할 수 있다.

AP(710)에 구현된 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 호스트(711)는 DSI를 통하여 디스플레이(730)의 DSI 장치(731)와 시리얼 통신할 수 있다. 실시 예에 따라, DSI 호스트(711)는 시리얼라이저(SER)를 포함하고 DSI 장치(731)는 디시리얼라이저(DES)를 포함할 수 있다.

예컨대, 이미지 센서(505)로부터 출력된 이미지 데이터는 CSI를 통해 AP (710)로 전송될 수 있다. AP(710)는 상기 이미지 데이터를 처리하고, 처리된 이미지 데이터를 DSI를 통해 디스플레이(730)로 전송할 수 있다.

데이터 처리 시스템(700)은 AP(710)와 통신할 수 있는 RF 칩(740)을 더 포함할 수 있다. AP(700)의 PHY(physical layer; 715)와 RF 칩(740)의 PHY(physical layer; 741)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

CPU(717)는 DSI 호스트(711), CSI 호스트(713), 및 PHY(715) 각각의 작동을 제어할 수 있고, 하나 또는 그 이상의 코어들을 포함할 수 있다.

AP(710)는 집적 회로, 시스템 온 칩(system on chip(SoC))으로 구현될 수 있고, 이미지 센서(505)의 작동을 제어할 수 있는 프로세서 또는 호스트를 의미할 수 있다.

데이터 처리 시스템(700)은 GPS 수신기(750), DRAM(dynamic random access memory)과 같은 휘발성 메모리(751), 플래시-기반 메모리와 같은 불휘발성 메모리를 포함하는 데이터 저장 장치(753), 마이크(755), 또는 스피커(757)를 포함할 수 있다. 데이터 저장 장치(753)는 AP(710)에 착탈 가능한 외장 메모리로 구현될 수 있다. 또한, 데이터 저장 장치(753)는 유니버셜 플래시 스토리지(universal flash storage(UFS)), 멀티미디어카드(multimedia card(MMC)), 임베디드 MMC(embedded MMC(eMMC^TM)), 또는 메모리 카드로 구현될 수 있다.

데이터 처리 시스템(700)은 적어도 하나의 통신 프로토콜, 예컨대, WiMAX(worldwide interoperability for microwave access; 759), WLAN(Wireless LAN; 761), UWB (ultra-wideband; 763), 및/또는 LTE^TM(long term evolution; 765) 등을 이용하여 외부 장치와 통신할 수 있다.

실시 예에 따라, 데이터 처리 시스템(700)은 NFC(near-field communication) 모듈, Wi-Fi 모듈, 및/또는 블루투스 모듈을 더 포함할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 픽셀 어레이
520: 로우 드라이버
530: 타이밍 생성기
610: 노출 시간 제어 회로

Claims (20)

1. 픽셀들을 포함하는 픽셀 어레이를 포함하고,
   상기 픽셀들 각각은 자동 초점(auto-focus)을 위한 위상 차이(phase difference)를 검출하기 위해 독립적으로 제어되는 광전 변환 소자들을 포함하는 이미지 센서.
2. 제1항에 있어서, 상기 이미지 센서는,
   상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함하는 이미지 센서.
3. 제2항에 있어서,
   상기 픽셀들이 로우들(rows)에 배치될 때,
   상기 노출 시간 제어 회로는, 상기 로우들 중에서 어느 하나에 대한 로우 어드레스를 이용하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어하는 이미지 센서.
4. 제2항에 있어서,
   상기 픽셀들이 로우들에 배치될 때,
   상기 노출 시간 제어 회로는, 비닝(binning) 조건 데이터에 기초하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어하는 이미지 센서.
5. 제1항에 있어서,
   상기 픽셀들은,
   제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀; 및
   제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고,
   상기 이미지 센서는,
   제1제어 라인을 통해 상기 제1광전 변환 소자의 제1노출 시간을 제어하기 위한 제1제어 신호를 출력하고, 제2제어 라인을 통해 상기 제2광전 변환 소자의 제2노출 시간을 제어하기 위한 제2제어 신호를 출력하고, 제3제어 라인을 통해 상기 제3광전 변환 소자의 제3노출 시간을 제어하기 위한 제3제어 신호를 출력하고, 제4제어 라인을 통해 상기 제4광전 변환 소자의 제4노출 시간을 제어하기 위한 제4제어 신호를 출력하는 노출 시간 제어 회로를 더 포함하고,
   상기 제1노출 시간, 상기 제2노출 시간, 상기 제3노출 시간, 및 상기 제4노출 시간은 상기 노출 제어 회로에 의해 독립적으로 제어되는 이미지 센서.
6. 제5항에 있어서,
   상기 제1픽셀과 상기 제2픽셀이 동일한 로우(row) 또는 동일한 컬럼에 배치될 때,
   상기 제1노출 시간과 상기 제3노출 시간은 동일하고,
   상기 제2노출 시간과 상기 제4노출 시간은 동일하고,
   상기 제1노출 시간은 상기 제2노출 시간보다 더 긴 이미지 센서.
7. 제5항에 있어서,
   상기 제1픽셀과 상기 제2픽셀이 동일한 컬럼에 배치될 때,
   상기 제1노출 시간과 상기 제4노출 시간은 동일하고,
   상기 제2노출 시간과 상기 제3노출 시간은 동일하고,
   상기 제1노출 시간은 상기 제2노출 시간보다 더 긴 이미지 센서.
8. 제1항에 있어서,
   상기 픽셀들은,
   제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀; 및
   제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고,
   상기 제1픽셀과 상기 제2픽셀이 동일한 로우에 배치될 때,
   상기 제1광전 변환 소자와 상기 제2광전 변환 소자는 대응되는 전송 게이트들을 통해 제1플로팅 디퓨전 영역을 공유하고,
   상기 제3광전 변환 소자와 상기 제4광전 변환 소자는 대응되는 전송 게이트들을 통해 상기 제1플로팅 디퓨전 영역과 다른 제2플로팅 디퓨전 영역을 공유하는 이미지 센서.
9. 제1항에 있어서,
   상기 픽셀들은,
   제1광전 변환 소자와 제2광전 변환 소자를 포함하는 제1픽셀; 및
   제3광전 변환 소자와 제4광전 변환 소자를 포함하는 제2픽셀을 포함하고,
   상기 제1픽셀과 상기 제2픽셀이 동일한 컬럼에 배치될 때,
   상기 제1픽셀과 상기 제2픽셀은 하나의 플로팅 디퓨전 영역을 공유하는 이미지 센서.
10. 제1항에 있어서,
    상기 픽셀들 중에서 대응되는 두 개의 픽셀들 사이에는 제1DTI(deep trench isolation) 구조가 형성되고,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 중에서 대응되는 두 개의 광전 변환 소자들 사이에는 제2DTI 구조가 형성되는 이미지 센서.
11. 제10항에 있어서,
    상기 픽셀들 각각은,
    픽셀마다 포함된 상기 광전 변환 소자들의 위(over)에 형성된 컬러 필터; 및
    상기 컬러 필터의 위에 형성된 마이크로렌즈를 더 포함하는 이미지 센서.
12. 이미지 센서; 및
    상기 이미지 센서의 작동을 제어하는 컨트롤러를 포함하고,
    상기 이미지 센서는,
    픽셀들을 포함하는 픽셀 어레이를 포함하고,
    상기 픽셀들 각각은 자동 초점을 위한 위상 차이를 검출하기 위해 독립적으로 제어되는 광전 변환 소자들을 포함하는 데이터 처리 시스템.
13. 제12항에 있어서, 상기 이미지 센서는,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함하는 데이터 처리 시스템.
14. 제12항에 있어서,
    상기 픽셀들이 로우들(rows)에 배치될 때,
    상기 노출 시간 제어 회로는, 상기 로우들 중에서 어느 하나에 대한 로우 어드레스를 이용하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어하는 데이터 처리 시스템.
15. 제12항에 있어서,
    상기 픽셀들이 로우들에 배치될 때,
    상기 노출 시간 제어 회로는, 비닝(binning) 조건 데이터에 기초하여, 상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 상기 노출 시간을 독립적으로 제어하는 데이터 처리 시스템.
16. 제12항에 있어서,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들은 상대적으로 긴-노출 시간으로 제어되는 제1광전 변환 소자와 상대적으로 짧은-노출 시간으로 제어되는 제2광전 변환 소자를 포함하고,
    상기 픽셀들 중에서 제1픽셀에 포함된 상기 제1광전 변환 소자와 상기 픽셀들 중에서 상기 제1픽셀에 인접하게 배치된 제2픽셀에 포함된 상기 제1광전 변환 소자는 대각선 방향으로 배치되는 데이터 처리 시스템.
17. 제12항에 있어서, 상기 이미지 센서는,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 각각의 노출(exposure) 시간을 독립적으로 제어하기 위한 노출 시간 제어 회로를 더 포함하고,
    상기 광전 변환 소자들은 상대적으로 긴-노출 시간으로 제어되는 제1광전 변환 소자와 상대적으로 짧은-노출 시간으로 제어되는 제2광전 변환 소자를 포함하고,
    상기 픽셀들 각각에 포함된 상기 제1광전 변환 소자에 의해 생성된 픽셀 신호는 상기 노출 시간 제어 회로의 제어에 따라 병렬로 출력되는 데이터 처리 시스템.
18. 제12항에 있어서, 상기 이미지 처리 시스템은,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들로부터 출력된 픽셀 신호들을 디지털 신호들로 변환하는 아날로그-디지털 변환기;
    상기 디지털 신호들로부터 컬러 정보를 생성하는 프리-이미지 신호 프로세서; 및
    상기 디지털 신호들로부터 상기 위상 차이에 상응하는 위상 차이 데이터를 생성하고 생성된 데이터를 압축하는 위상 차이 처리 회로를 더 포함하는 데이터 처리 시스템.
19. 제12항에 있어서,
    상기 픽셀들 중에서 대응되는 두 개의 픽셀들 사이에는 제1DTI(deep trench isolation) 구조가 형성되고,
    상기 픽셀들 각각에 포함된 상기 광전 변환 소자들 중에서 대응되는 두 개의 광전 변환 소자들 사이에는 제2DTI 구조가 형성되는 데이터 처리 시스템.
20. 제19항에 있어서,
    상기 픽셀들 각각은,
    픽셀마다 포함된 상기 광전 변환 소자들의 위에 형성된 컬러 필터; 및
    상기 컬러 필터의 위에 형성된 마이크로렌즈를 포함하는 데이터 처리 시스템.

Images