KR20230004854A - 조건부-리셋, 멀티-비트 판독 이미지 센서 - Google Patents
조건부-리셋, 멀티-비트 판독 이미지 센서 Download PDFInfo
- Publication number
- KR20230004854A KR20230004854A KR1020227042210A KR20227042210A KR20230004854A KR 20230004854 A KR20230004854 A KR 20230004854A KR 1020227042210 A KR1020227042210 A KR 1020227042210A KR 20227042210 A KR20227042210 A KR 20227042210A KR 20230004854 A KR20230004854 A KR 20230004854A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- charge
- reset
- node
- photosensitive element
- Prior art date
Links
- 238000005070 sampling Methods 0.000 claims abstract description 212
- 230000004044 response Effects 0.000 claims abstract description 48
- 238000012546 transfer Methods 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 57
- 230000010354 integration Effects 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000009825 accumulation Methods 0.000 claims description 25
- 230000008878 coupling Effects 0.000 claims description 20
- 238000010168 coupling process Methods 0.000 claims description 20
- 238000005859 coupling reaction Methods 0.000 claims description 20
- 238000005421 electrostatic potential Methods 0.000 claims description 14
- 238000002360 preparation method Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 79
- 238000007667 floating Methods 0.000 description 26
- 230000002596 correlated effect Effects 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000009792 diffusion process Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 21
- 238000013459 approach Methods 0.000 description 17
- 239000000872 buffer Substances 0.000 description 15
- 230000011664 signaling Effects 0.000 description 15
- 238000003491 array Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 10
- 229910052710 silicon Inorganic materials 0.000 description 10
- 239000010703 silicon Substances 0.000 description 10
- 239000010410 layer Substances 0.000 description 9
- 230000001066 destructive effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 240000007320 Pinus strobus Species 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 101100440286 Mus musculus Cntrl gene Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
멀티-비트 샘플링을 이용하는 이미지 센서 아키텍처는 이미지 센서 시스템 내에서 구현된다. 감광성 엘리먼트 상에 입사된 광에 응답하여 생성된 픽셀 신호는 픽셀 신호를 표현하는 다중-비트 디지털 값으로 변환된다. 픽셀 신호가 샘플링 임게치를 초과하는 경우, 감광성 엘리먼트는 리셋된다. 이미지 캡처 주기 동안, 샘플링 임계치를 초과하는 픽셀 신호들과 연관된 디지털 값들은 이미지 데이터에 누적된다.
Description
본 개시물은 전자 이미지 센서들 분야에 관한 것으로, 더욱 구체적으로는, 이러한 이미지 센서들에서의 사용을 위한 샘플링 아키텍처에 관한 것이다.
CMOS 또는 CCD 센서들과 같은 디지털 이미지 센서들은 복수의 감광성 엘리먼트들 ("광센서들") 을 포함하고, 이들 각각은 광센서들 상에 입사되는 포톤들 (photons) ("캡처된 광") 을 전하로 변환하도록 구성된다. 그 후에, 전하는 각각의 광센서에 의해 캡처된 광을 표현하는 이미지 데이터로 변환될 수 있다. 이 이미지 데이터는 캡처된 광의 디지털 표현을 포함하고, 조작 또는 프로세싱되어 뷰잉 디바이스 상의 디스플레이가 가능한 디지털 이미지를 생성할 수도 있다. 이미지 센서들은 광을 전기적 신호 (전하, 전압, 전류 등) 로 변환하도록 구성된 복수의 픽셀 영역들 (예를 들어, 하나 이상의 광센서들 및 수반되는 제어 회로부) 로 분할될 수도 있는 물리적 표면을 갖는 집적 회로들 ("IC들") 에서 구현된다. 편의를 위해, 이미지 센서 내의 픽셀 영역들은 또한 이미지 픽셀들 ("IP들") 이라고 지칭될 수도 있고, 픽셀 영역들 또는 이미지 픽셀들의 집성 (aggregate) 은 이미지 센서 영역이라고 지칭될 것이다. 이미지 센서 IC 는 통상적으로 또한 이미지 센서 영역의 외측 영역들, 예를 들어, 제어, 샘플링, 또는 인터페이스 회로부의 특정 타입들을 포함할 것이다. 대부분의 CMOS 이미지 센서들은 픽셀 전기적 신호들을 디지털 이미지 데이터로 변환하는 A/D (아날로그-디지털) 회로부를 포함한다. A/D 회로부는 이미지 센서 영역 내에 또는 그 주변에 위치된 하나 이상의 ADC들 (아날로그-디지털 변환기들) 일 수 있다.
여기에 개시된 다양한 실시형태들은 첨부 도면들의 도면들에서 제한이 아닌 예로서 예시되고, 이 도면들에서 동일한 참조 부호들은 동일한 엘리먼트들을 지칭한다.
도 1 은 하나의 실시형태에 따른 이미지 센서의 일 부분의 단면을 예시한 것이다;
도 2 는, 예를 들어, 도 1 의 레이아웃에서 유용한 하나의 실시형태에 따른, 다수의 픽셀 신호 임계치들을 갖는 아날로그 픽셀 이미지 센서의 부분적 어레이 회로부를 예시한 것이다;
도 3 은, 예를 들어, 도 1 및 도 2 의 실시형태들에 유용한 하나의 실시형태에 따른, 픽셀 신호를 멀티-비트 디지털 변환으로 변환하도록 구성된 일 예시적인 이미지 센서 판독 회로를 예시한 것이다;
도 4 는, 예를 들어, 도 1 의 단면 및 도 2 및 도 3 의 회로부를 사용하는 하나의 실시형태에 따른, 멀티-비트 아키텍처를 갖는 이미지 센서 시스템의 일 예시적인 회로 블록 다이어그램 실시형태을 예시한 것이다;
도 5 는, 예를 들어, 도 1 의 단면 및 도 2 및 도 3 의 회로부를 사용하는 하나의 실시형태에 따른, IP 어레이에 대해 주변에 위치된 판독 회로 어레이들을 갖는 이미지 센서 시스템 아키텍처의 다른 예시적인 회로 블록 다이어그램을 예시한 것이다;
도 6a 는, 예를 들어, 도 2 의 어레이 회로부를 사용하는 하나의 실시형태에 따른, 도 4 및 도 5 에 대안적인 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 픽셀 어레이 IC 의 상면도를 예시한 것이다;
도 6b 는, 예를 들어, 도 3 의 판독 회로부를 사용하는 하나의 실시형태에 따른, 도 4 및 도 5 에 대안적인 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 프리프로세서 (preprocessor) IC 의 상면도를 예시한 것이다;
도 6c 는, 하나의 실시형태에 따른, 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 도 6b 의 프리프로세서 IC 및 도 6a 의 픽셀 어레이 IC 부분적 단면을 예시한 것이다;
도 7 은, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로의 동작을 예시한 것이다;
도 8 은, 여기에 설명된 시스템들에 유용한 하나의 실시형태에 따른, 이미지 캡처 시스템에서의 데이터 플로우를 예시한 것이다;
도 9 는, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로에 의한 사용을 위한 다양한 시간적 샘플링 폴리시 (temporal sampling policy) 들을 예시한 것이다;
도 10 은 상관된 이중 샘플링과 관련하여 조건부-리셋 동작을 가능하게 하도록 비파괴적 초과-임계치 검출 동작이 수행되는 변경된 4-트랜지스터 픽셀의 일 실시형태를 예시한 것이다;
도 11 은 도 10 의 점진적 판독 픽셀 내의 일 예시적인 픽셀 사이클을 예시한 타이밍 다이어그램이다;
도 12 및 도 13 은 이들의 대응하는 개략적 단면 다이어그램들 아래의 도 10 의 포토다이오드, 전송 게이트 및 플로팅 확산에 대한 예시적인 정전기 전위 다이어그램들을 예시한 것이다;
도 14 는 점진적-판독 픽셀 어레이를 갖는 이미지 센서 (300) 의 일 실시형태를 예시한 것이다;
도 15 는 상관된 이중 샘플링을 가능하게 하도록 게이트-제어된 감지 노드와 감광성 엘리먼트 사이에 배치된 전송 게이트를 갖는 일 대안적인 조건부-리셋 픽셀 실시형태를 예시한 것이다;
도 16 은 도 15 의 조건부-리셋 픽셀의 픽셀 사이클 내의 예시적인 동작 페이즈 (phase) 들을 예시한 것이다;
도 17 은 도 15 의 조건부-리셋 픽셀 내의 동작의 각 페이즈 동안 생성된 예시적인 제어 신호 상태들을 도시하는 도 16 에 대응하는 타이밍 다이어그램이다;
도 18a 내지 도 18g 는 도 16 및 도 17 에 도시된 동작 페이즈들 동안 도 15 의 조건부-리셋 픽셀의 예시적인 상태들을 예시한 것이다;
도 19 는 도 16 내지 도 18g 를 참조하여 설명되는 조건부-리셋/조건부-복구 동작들을 실행하는 것이 가능한 조건부-리셋 픽셀의 일 대안적인 실시형태를 예시한 것이다;
도 20 은 디지털 상관된 이중 샘플링과 아날로그 비상관된 이중 샘플링 양쪽 모두를 통해 샘플링 노이즈 감소를 허용하는 조건부-리셋 3-트랜지스터 픽셀 및 판독 회로부의 일 실시형태를 예시한 것이다;
도 21 은 도 20 의 조건부-리셋 3-트랜지스터 픽셀 및 판독 아키텍처 내의 감소된 노이즈 픽셀 판독을 달성하기 위해 수행될 수도 있는 하나 이상의 아날로그 비상관된 이중 샘플링 동작들과의 디지털 상관된 이중 샘플링 동작의 조합을 예시한 플로우 다이어그램이다;
도 22 는 도 20 의 픽셀 아키텍처 및 판독 회로의 더욱 상세한 실시형태를 예시한 것이다;
도 23 은 도 20 및 도 22 에 제시된 픽셀 아키텍처의 일 대안적인 실시형태를 예시한 것이다;
도 24 는 가변 광 세기들에 대해 예시적인 잔차-모드 및 프레임간 집적 판독들을 예시한 것이다;
도 25 는 저조도 조건들에서 비교적 높은 SNR 이미지들을 산출하기 위해 도 24 에 도시된 프레임간 집적 접근법에 영향을 미치는, 스틸 또는 비디오 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 픽셀별 프레임 프로세싱 접근법을 예시한 것이다;
도 26 은 도 24 및 도 25 에서 개략적으로 나타낸 프레임간 집적 접근법을 사용하여 이미지 프레임들을 생성하는 것이 가능한 이미징 시스템의 일 실시형태를 예시한 것이다;
도 27 은 도 26 의 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 서브프레임 조직화 및 타임코드 할당을 예시한 것이다;
도 28 은 어떠한 비-제로 샘플 값들도 (즉, 어떠한 리셋 이벤트들도) 산출하지 않아서 주어진 프레임 동안 "코스팅 (coasting)" 하고 있는 픽셀들에 대한 출력 프레임 값들을 추정하기 위한 일 예시적인 접근법을 예시한 것이다;
도 29 는 도 24 내지 도 28 을 참조하여 설명되는 프레임간 집적 기법들을 구현하기 위해 도 26 의 ISP 에 의해 실행될 수도 있는 일 예시적인 프레임 프로세싱 시퀀스를 예시한 것이다;
도 30 은 도 24 내지 도 29 를 참조하여 설명되는 프레임간 집적을 이용하여 그리고 프레임간 집적 없이 이미징 시뮬레이션들에서 달성된 동작 범위들과 SNR 을 대비시킨 것이다; 그리고
도 31 은 확장된 노출 시간을 포함하는 스틸-프레임 캡처 모드에 대한 일 예시적인 서브프레임 조직화를 예시한 것이다.
도 1 은 하나의 실시형태에 따른 이미지 센서의 일 부분의 단면을 예시한 것이다;
도 2 는, 예를 들어, 도 1 의 레이아웃에서 유용한 하나의 실시형태에 따른, 다수의 픽셀 신호 임계치들을 갖는 아날로그 픽셀 이미지 센서의 부분적 어레이 회로부를 예시한 것이다;
도 3 은, 예를 들어, 도 1 및 도 2 의 실시형태들에 유용한 하나의 실시형태에 따른, 픽셀 신호를 멀티-비트 디지털 변환으로 변환하도록 구성된 일 예시적인 이미지 센서 판독 회로를 예시한 것이다;
도 4 는, 예를 들어, 도 1 의 단면 및 도 2 및 도 3 의 회로부를 사용하는 하나의 실시형태에 따른, 멀티-비트 아키텍처를 갖는 이미지 센서 시스템의 일 예시적인 회로 블록 다이어그램 실시형태을 예시한 것이다;
도 5 는, 예를 들어, 도 1 의 단면 및 도 2 및 도 3 의 회로부를 사용하는 하나의 실시형태에 따른, IP 어레이에 대해 주변에 위치된 판독 회로 어레이들을 갖는 이미지 센서 시스템 아키텍처의 다른 예시적인 회로 블록 다이어그램을 예시한 것이다;
도 6a 는, 예를 들어, 도 2 의 어레이 회로부를 사용하는 하나의 실시형태에 따른, 도 4 및 도 5 에 대안적인 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 픽셀 어레이 IC 의 상면도를 예시한 것이다;
도 6b 는, 예를 들어, 도 3 의 판독 회로부를 사용하는 하나의 실시형태에 따른, 도 4 및 도 5 에 대안적인 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 프리프로세서 (preprocessor) IC 의 상면도를 예시한 것이다;
도 6c 는, 하나의 실시형태에 따른, 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 도 6b 의 프리프로세서 IC 및 도 6a 의 픽셀 어레이 IC 부분적 단면을 예시한 것이다;
도 7 은, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로의 동작을 예시한 것이다;
도 8 은, 여기에 설명된 시스템들에 유용한 하나의 실시형태에 따른, 이미지 캡처 시스템에서의 데이터 플로우를 예시한 것이다;
도 9 는, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로에 의한 사용을 위한 다양한 시간적 샘플링 폴리시 (temporal sampling policy) 들을 예시한 것이다;
도 10 은 상관된 이중 샘플링과 관련하여 조건부-리셋 동작을 가능하게 하도록 비파괴적 초과-임계치 검출 동작이 수행되는 변경된 4-트랜지스터 픽셀의 일 실시형태를 예시한 것이다;
도 11 은 도 10 의 점진적 판독 픽셀 내의 일 예시적인 픽셀 사이클을 예시한 타이밍 다이어그램이다;
도 12 및 도 13 은 이들의 대응하는 개략적 단면 다이어그램들 아래의 도 10 의 포토다이오드, 전송 게이트 및 플로팅 확산에 대한 예시적인 정전기 전위 다이어그램들을 예시한 것이다;
도 14 는 점진적-판독 픽셀 어레이를 갖는 이미지 센서 (300) 의 일 실시형태를 예시한 것이다;
도 15 는 상관된 이중 샘플링을 가능하게 하도록 게이트-제어된 감지 노드와 감광성 엘리먼트 사이에 배치된 전송 게이트를 갖는 일 대안적인 조건부-리셋 픽셀 실시형태를 예시한 것이다;
도 16 은 도 15 의 조건부-리셋 픽셀의 픽셀 사이클 내의 예시적인 동작 페이즈 (phase) 들을 예시한 것이다;
도 17 은 도 15 의 조건부-리셋 픽셀 내의 동작의 각 페이즈 동안 생성된 예시적인 제어 신호 상태들을 도시하는 도 16 에 대응하는 타이밍 다이어그램이다;
도 18a 내지 도 18g 는 도 16 및 도 17 에 도시된 동작 페이즈들 동안 도 15 의 조건부-리셋 픽셀의 예시적인 상태들을 예시한 것이다;
도 19 는 도 16 내지 도 18g 를 참조하여 설명되는 조건부-리셋/조건부-복구 동작들을 실행하는 것이 가능한 조건부-리셋 픽셀의 일 대안적인 실시형태를 예시한 것이다;
도 20 은 디지털 상관된 이중 샘플링과 아날로그 비상관된 이중 샘플링 양쪽 모두를 통해 샘플링 노이즈 감소를 허용하는 조건부-리셋 3-트랜지스터 픽셀 및 판독 회로부의 일 실시형태를 예시한 것이다;
도 21 은 도 20 의 조건부-리셋 3-트랜지스터 픽셀 및 판독 아키텍처 내의 감소된 노이즈 픽셀 판독을 달성하기 위해 수행될 수도 있는 하나 이상의 아날로그 비상관된 이중 샘플링 동작들과의 디지털 상관된 이중 샘플링 동작의 조합을 예시한 플로우 다이어그램이다;
도 22 는 도 20 의 픽셀 아키텍처 및 판독 회로의 더욱 상세한 실시형태를 예시한 것이다;
도 23 은 도 20 및 도 22 에 제시된 픽셀 아키텍처의 일 대안적인 실시형태를 예시한 것이다;
도 24 는 가변 광 세기들에 대해 예시적인 잔차-모드 및 프레임간 집적 판독들을 예시한 것이다;
도 25 는 저조도 조건들에서 비교적 높은 SNR 이미지들을 산출하기 위해 도 24 에 도시된 프레임간 집적 접근법에 영향을 미치는, 스틸 또는 비디오 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 픽셀별 프레임 프로세싱 접근법을 예시한 것이다;
도 26 은 도 24 및 도 25 에서 개략적으로 나타낸 프레임간 집적 접근법을 사용하여 이미지 프레임들을 생성하는 것이 가능한 이미징 시스템의 일 실시형태를 예시한 것이다;
도 27 은 도 26 의 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 서브프레임 조직화 및 타임코드 할당을 예시한 것이다;
도 28 은 어떠한 비-제로 샘플 값들도 (즉, 어떠한 리셋 이벤트들도) 산출하지 않아서 주어진 프레임 동안 "코스팅 (coasting)" 하고 있는 픽셀들에 대한 출력 프레임 값들을 추정하기 위한 일 예시적인 접근법을 예시한 것이다;
도 29 는 도 24 내지 도 28 을 참조하여 설명되는 프레임간 집적 기법들을 구현하기 위해 도 26 의 ISP 에 의해 실행될 수도 있는 일 예시적인 프레임 프로세싱 시퀀스를 예시한 것이다;
도 30 은 도 24 내지 도 29 를 참조하여 설명되는 프레임간 집적을 이용하여 그리고 프레임간 집적 없이 이미징 시뮬레이션들에서 달성된 동작 범위들과 SNR 을 대비시킨 것이다; 그리고
도 31 은 확장된 노출 시간을 포함하는 스틸-프레임 캡처 모드에 대한 일 예시적인 서브프레임 조직화를 예시한 것이다.
일부 이미지 센서들에서, 픽셀 영역 상에 입사되는 광으로부터 발생되고 포톤 (photon) 응답을 표현하는 전기적 정보 (여기서는 "픽셀 신호" 라고 지칭됨) 는 판독 회로부에 의해 디지털 이미지 데이터 값으로 변환된다. 판독 회로부는 이미지 센서 내에 상주할 수 있고, 또는 이미지 센서의 외부에 위치될 수 있다. 일부 접근법들에서, 판독 회로는 판독 회로에 인접하거나 판독 회로에 가까운 하나 이상의 픽셀 영역들에 의한 사용을 위해 이미지 센서 내에 위치될 수 있다. 이미지 센서의 외부에 위치된 판독 회로들의 경우, 판독 회로들과 연관된 하나 이상의 픽셀 영역들의 픽셀 신호들은 픽셀 영역들로부터 판독 회로들로 전송될 수 있다.
각각의 판독 회로는 픽셀 영역을 샘플링하고, 샘플링된 픽셀 영역으로부터 픽셀 신호를 수신하며, 픽셀 신호를 그 픽셀 신호를 표현하는 멀티-비트 디지털 값으로 변환한다. 픽셀 신호 또는 그 픽셀 신호를 표현하는 디지털 값이 샘플링 임계치를 초과하는 경우, 픽셀 신호와 연관된 픽셀 영역에 저장된 픽셀 신호는 (예를 들어, 픽셀 영역과 연관된 감광성 엘리먼트를 리셋함으로써) 리셋된다. 픽셀 신호 또는 디지털 값이 샘플링 임계치를 초과하지 않는 경우, 픽셀 영역에 저장된 픽셀 신호는 리셋되지 않는다. 픽셀 신호가 샘플링 임계치를 초과할 때에만 픽셀 영역을 샘플링하고 픽셀 영역에서의 픽셀 신호를 리셋하는 것은 여기에서 "조건부 리셋에 의한 비파괴적 샘플링" 이라고 지칭된다.
이미지 센서 개요
도 1 은 일 실시형태에 유용한 이미지 센서 (25) 의 부분적 단면을 예시한 것이다. 이미지 센서 (25) 에서, (컬러 이미징에 유용한) 컬러 필터 어레이 (12) 및 마이크로렌즈 어레이 (10) 를 통과한 광이 이미지 센서의 실리콘 섹션 (20) 상에 입사된다. 마이크로렌즈들 (또는 다른 집광 옵틱들) 및 컬러 필터들의 사용은 옵션적이고 여기에는 예시적인 목적들을 위해서만 도시된 것이다. 실리콘 (20) 은 포토다이오드들 (미도시) 을 포함하여 실리콘에 의해 흡수된 포톤들에 의해 생성된 전하를 수집하고, 트랜지스터들 (또한 미도시) 에 액세스하여 포토다이오드들을 동작시킨다. 픽셀 어레이 IC 배선 (14) 은 신호들을 라우팅하고 어레이 내에 전압들을 공급하는데 사용되는 연결들을 제공한다. 도시된 바와 같이, 배선 레이어들 및 1차 액티브 회로 형성에 대향하는 집적 회로 측으로부터의 실리콘에 광이 들어가기 때문에 이미지 센서 (25) 는 BSI (BackSide Illuminated) 센서이다. 옵션적으로, 픽셀 어레이 IC 배선 (14) 은 전면 조사 (FrontSide Illumination; FSI) 를 위해 (도 1 에서 배향되는 실리콘의 "상부" 내의 1차 액티브 회로 형성을 갖는) 실리콘 (20) 과 컬러 필터 어레이 (12) 사이에 배열될 수 있다.
이미지 센서 (25) 는, 마이크로렌즈 어레이 (10) 의 렌즈들에 의해 수집된 광이 각각 입사되는 복수의 IP들 ("이미지 픽셀들") (IP1 내지 IP3 도시) 을 포함한다. 각각의 IP 는 실리콘 (20) 내에 임베딩된 하나 이상의 포토다이오드들을 포함한다. 실리콘 (20) 에 들어가는 적어도 일부의 포톤들은 실리콘에서 전자-정공 쌍들로 변환되고, 결과적인 전자들 (또는 대안적인 실시형태들에서 정공들) 은 IP들에 의해 수집된다. 여기서의 설명은 단순함의 목적들을 위해 IP들에 의한 광의 캡처 및 이미지 데이터로의 변환으로서 이 프로세스를 지칭할 것이다. 이미지 센서의 각 IP 는 이미지 센서의 표면 영역의 일 부분을 표현하고, 이미지 센서의 IP들은 컬럼들 (columns) 및 로우들 (rows) 의 다양한 어레이들로 조직화될 수도 있다. CMOS 또는 CCD 이미지 픽셀 기술에서, 각각의 IP (예를 들어, 각각의 광센서) 는 IP 상에 입사된 광을 전하로 변환하고, 전하를 전압 또는 전류로 변환하도록 구성된 판독 회로부를 포함한다. 하나의 실시형태에서, 이미지 센서의 각 IP 에 의해 캡처된 광은 관련 디지털 이미지에 대한 이미지 데이터의 하나의 픽셀을 표현하지만, 다른 실시형태들에서는, 다수의 IP들로부터의 이미지 데이터가 조합되어 (다운스케일링한) 보다 적은 수 (하나 이상) 의 픽셀들을 표현한다.
이미지 센서 (25) 는 IP 어레이 외측의 컴포넌트들을 포함할 수도 있다. 이와 유사하게, IP 어레이의 부분들은 광을 전하로 변환하지 않는 컴포넌트들을 포함할 수도 있다. 집성 (aggregate) 에서 IP들에 의해 규정된 영역은 이미지 센서 영역이라고 지칭될 것이다. 여기에 설명된 바와 같이, 이미지 센서는 증폭기들, 아날로그-디지털 변환기들 ("ADC들"), 비교기들, 제어기들, 카운터들, 누산기들, 레지스터들, 트랜지스터들, 포토다이오드들 등을 포함할 수도 있다. 상이한 아키텍처들에서, 이들 컴포넌트들 중 일부는 이미지 센서 영역 내에 또는 이미지 센서 영역 외부에 위치될 수도 있고, 일부 컴포넌트들은 동반 집적 회로 상에 위치될 수도 있다. 이들 실시형태들에서, 렌즈 (예컨대, 마이크로렌즈 어레이 (10) 의 렌즈들) 는, 예를 들어, 증폭기들, 비교기들, 제어기들, 및 다른 컴포넌트들 상에서보다는 오히려 IP 내에서의 실제 광 감지 엘리먼트들을 향해 광을 지향시키도록 구성될 수도 있다.
상술된 바와 같이, 이미지 센서는 다수의 IP들의 어레이를 포함할 수도 있다. 각각의 IP 는, 광 (예를 들어, 하나 이상의 포톤들) 에 응답하여, 대응하는 전하를 캡처하고 저장한다. 하나의 실시형태에서, IP 의 샘플링시, IP 에 저장된 전하를 나타내는 픽셀 신호가 샘플링 임계치를 초과하는 경우, 픽셀 신호는 그 픽셀 신호를 표현하는 디지털 값으로 변환되고, IP 에 의해 저장된 전하는 리셋된다. 대안적으로, IP 의 샘플링시, IP 에 저장된 전하를 나타내는 픽셀 신호가 그 픽셀 신호를 표현하는 디지털 값으로 변환되고, 디지털 값이 샘플링 임계치를 초과하는 경우, IP 에 의해 저장된 전하는 리셋된다. 다른 실시형태들에서, 아날로그-디지털 변환이 시작되고, 충분한 변환이 완료되어 임계치가 초과되는지 여부를 결정할 때, 변환을 계속할지 여부에 대한 결정이 행해진다. 예를 들어, 연속 근사 레지스터 (successive approximation register; "SAR") ADC 에서, 임계치가 최상위 비트(들) (most-significant-bit(s)) 패턴과 동일한 경우, 패턴이 분석되자마자 변환을 계속하여 픽셀의 리셋을 수행할지, 또는 변환을 중단할지 여부에 대한 결정이 행해질 수 있다. 픽셀 신호 또는 디지털 값을 샘플링 임계치와 비교하도록 구성된 비교기의 사용을 통해 픽셀 신호 또는 그 픽셀 신호를 표현하는 디지털 값이 샘플링 임계치를 초과하는지 여부의 결정이 행해질 수 있다.
도 2 는, 하나의 실시형태에 따른, 다수의 픽셀 신호 임계치들을 갖는 아날로그 픽셀 이미지 센서를 예시한 것이다. 도 2 의 이미지 센서는 CMOS 센서이고, IP 어레이 (40) 를 포함한다. IP 어레이는 임의의 수의 컬럼들 및 로우들을 포함할 수 있고, 컬럼 당 그리고 로우 당 임의의 수의 IP들을 갖는다. IP 컬럼 (50), 즉, IP 어레이에서 전체 또는 부분적 IP 컬럼들을 표현하는 컬럼은, 도 2 에 하이라이트된다. IP 컬럼 (50) 은 컬럼 라인 (55) 을 통해 통신가능하게 커플링된 복수의 IP들을 포함한다. IP (60), 즉, IP 어레이의 IP들을 표현하는 IP 는, 도 2 에 하이라이트된다.
IP (60) 는, 포토다이오드 (65) 와 함께, 포토다이오드가 노출에 대비하여 프리차지된 후에 노출 후에 샘플링될 수 있게 하는 제어 엘리먼트들을 포함한다. 동작시, 트랜지스터 (70) 는 포토다이오드의 캐소드를 전압 소스에 커플링하여 포토다이오드의 캐소드를 프리차지 전압으로 "프리차지" 하도록 스위칭 온된다. 트랜지스터 (70) 는 노출 간격의 시작시 또는 노출 간격의 시작 전에 스위칭 오프된다. 트랜지스터 (70) 가 오프되면, 캐소드 전압은 포톤 스트라이크들 (photon strikes) 에 응답하여 점차적으로 방전되어, 검출된 광의 양에 비례하여 포토다이오드 전위 VDET 가 낮아진다. 노출 간격의 종결시, 액세스 트랜지스터 (72) 는 포토다이오드 전위를 표현하는 신호가 픽셀 신호 (80) 로서 폴로어-트랜지스터 (74) 를 통해 컬럼 라인 (55) 상에서 증폭/드라이브될 수 있게 하도록 스위칭 온된다.
ADC (85) 는 컬럼 라인 (55) 을 통해 IP 컬럼 (50) 에 통신가능하게 커플링된다. 도 2 의 실시형태에서, ADC 는 픽셀 어레이 (40) 의 에지에 위치되고, IP 어레이가 위치된 이미지 센서 내에 또는 그 이미지 센서 외부에 위치될 수도 있다. ADC 는 IP (60) 로부터 픽셀 신호 (80) (아날로그 포토다이오드 전위의 표현) 를 수신한다. ADC 는 픽셀 신호를 디지털화하여 픽셀 신호를 표현하는 3-비트 디지털 값 ("Pix[2:0]") 을 생성한다. ADC 는 7개의 픽셀 임계치들, 즉, 임계치 1 내지 임계치 7 (여기에서는 "VT1 내지 VT7" 이라고 지칭됨) 을 포함한다. 픽셀 신호의 크기가 Vpre 보다 더 작지만 VT1 보다 더 큰 경우, ADC 는 픽셀 신호를 디지털 값 "000" 으로 변환한다. VT1 보다 더 작지만 VT2 보다 더 큰 픽셀 신호들은 디지털 값 "001" 로 변환되고, VT2 와 VT3 사이의 픽셀 신호들은 "010" 으로 변환 등이 행해지며, "111" 로 변환되는 VT7 보다 더 작은 픽셀 신호들까지 변환이 행해진다.
도 2 의 실시형태에서, 연속적인 픽셀 임계치들 사이의 전위 차이는 대략 동일하다 (예를 들어, VT3 - VT4 
VT5 - VT6). 다시 말해, 픽셀 임계치들은 VT1 과 VT7 사이에 선형적으로 분포된다. 추가적으로, 도 2 의 실시형태에서, Vpre 와 VT1 사이의 전위 차이는 연속적인 픽셀 임계치들 사이의 전위 차이보다 더 크지만 (예를 들어, Vpre - VT1 > VT3 - VT4), 다른 실시형태들에서는 모든 스텝들이 동일하다. Vpre -VT1 > VT3 - VT4 이도록 하는 VT1 의 선택은 IP 를 샘플링할 때, 예를 들어, 암 노이즈 (dark noise) 의 영향을 감소시킨다. 도 2 의 실시형태에서 VT7 과 Vfloor 사이의 전위 차이는 또한 연속적인 픽셀 임계치들 사이의 전위 차이보다 더 클 수 있다 (예를 들어, VT7 - Vfloor > VT3 -VT4). 마지막으로, 선형 임계치 이격 대신에, 주어진 실시형태는 임계치들을 지수적으로 이격할 수 있고, 예를 들어, 각각의 임계치는 아래의 것으로부터 2배로 되게 이격된다. 이미지를 형성하도록 다수의 ADC 샘플들을 누적하는 시스템들의 경우, 지수적 이격은 누적 이전에 선형 값으로 변환된다.
Vfloor 는, 포톤 스트라이크들에 응답하여 포토다이오드 (65) 의 캐소드 전압이 더 이상 선형적으로 방전하지 않는 픽셀 포화 임계치를 표현한다. 선형 감도 영역 (90) 내의 픽셀 신호들의 경우, 디지털 값들로의 픽셀 신호들의 변환은 그래프 (95) 에 도시된다. 검출가능한 포톤 스트라이크들의 최대 수 (즉, 픽셀 포화 포인트) 가 포토다이오드의 커패시턴스 그리고 그에 따라 그의 물리적 사이즈에 비례한다는 점에 주목해야 한다. 그 결과, 전통적인 센서 설계에서, 포토다이오드 풋프린트는 주어진 애플리케이션에서 요구되는 동적 범위에 의해 좌우되고 수축된 프로세스 지오메트리들로 인식가능하게 스케일링되지 않는다.
이미지의 캡처 동안, 하나의 실시형태에서, IP 컬럼 (50) 및 IP 어레이 (40) 에서의 각각의 다른 컬럼에서 주어진 로우 또는 로우들의 IP들은 연속적으로 샘플링되고 각각과 연관된 픽셀 신호들은 각각의 컬럼과 연관된 ADC 또는 ADC들을 사용하여 디지털 값들로 변환된다. ADC들에 의해 출력된 디지털 값들은 (후술되는 바와 같이, 일부 실시형태들에서는 조건부로) 누적되고, 이미지 캡처 주기 동안 저장된다. 도 2 에 예시된 것 이외의 IP들의 다른 타입들 및 구성들이 이미지 센서 시스템에 사용될 수 있다. 예를 들어, 트랜지스터들 (70, 72, 및 74) 과는 상이한 배열의 트랜지스터들이 사용될 수 있다. 추가적으로, IP 컬럼 (50) 과 관련하여 하나의 ADC (85) 가 도 2 에 도시되지만, 다른 실시형태들에서, IP 컬럼 당 2개 이상의 ADC 가 사용될 수 있고, 상이한 ADC 그룹들이 ADC 컬럼의 어레이 로우들의 상이한 섹션들을 서빙한다. IP들과 (판독 회로들의 형태의) ADC들의 추가적인 조합들이 더욱 상세히 후술된다. 마지막으로, ADC 의 출력 (예를 들어, 도 2 의 실시형태에서 Pix[2:0]) 은 임의의 멀티-비트 길이일 수 있고, Vpre 와 Vfloor 사이에서 임의의 방식으로 분포된 임의의 수의 임계치들과 연관될 수 있다.
멀티-비트 샘플링 및 조건부 리셋을 이용하는 이미지 센서 시스템
도 3 은, 하나의 실시형태에 따른, 픽셀 신호를 멀티-비트 디지털 변환으로 변환하도록 구성된 일 예시적인 이미지 센서 판독 회로를 예시한 것이다. 도 3 의 실시형태는 IP (100), IP 메모리 (116), 및 판독 회로 (110) 를 예시하고, 이 판독 회로는 ADC/비교기 회로 (112) (이하 "ADC/비교기") 및 가산기 (114) 를 포함한다. 다른 실시형태들에서, 도 3 의 모듈들은 추가적이거나, 더 적거나, 및/또는 상이한 컴포넌트들을 포함할 수 있다는 점에 주목해야 한다. 예를 들어, ADC/비교기는 개별 컴포넌트들로서 구현될 수 있고, 가산기는 판독 회로의 외부에 위치될 수 있다.
IP (100) 는 이미지 센서에서의 IP 를 표현하고, 예를 들어, 도 2 의 IP (60) 일 수 있다. IP (100) 는 예를 들어 외부 제어 로직으로부터 하나 이상의 제어 신호들을 수신한다. 제어 신호는, 예를 들어, IP 를 Vpre 로 리셋하고 광에 대한 IP 의 감광성 엘리먼트의 노출을 가능하게 하여 Vpre 에 대한 전하를 저장하게 함으로써, IP 가 이미지 캡처를 시작할 수 있게 할 수 있다. 이와 유사하게, 제어 신호는, 예를 들어, 이미지 캡처 주기가 지나간 후에 광에 대한 IP 의 감광성 엘리먼트의 노출을 불가능하게 함으로써, IP 가 이미지 캡처를 끝낼 수 있게 할 수 있다. 제어 신호는 또한 IP 에 의한 픽셀 신호의 출력 및 판독 회로에 의한 픽셀 신호를 표현하는 디지털 값으로의 픽셀 신호의 후속 변환 (여기서는 "IP 의 샘플링" 또는 "픽셀 신호들의 샘플링" 이라고 지칭됨) 을 가능하게 할 수 있다. 상술된 바와 같이, 픽셀 신호는 집적된 전하의 표현 (예를 들어, 소스 폴로어 전압, 증폭된 전압, 또는 집적된 전하에 비례하는 컴포넌트를 갖는 전류) 일 수 있다.
IP (100) 는, 예를 들어, 외부 제어 로직으로부터 리셋 신호를 수신한다. 리셋 신호는, 예를 들어, 이미지 캡처 주기의 시작부에서 IP 에 의해 저장된 전하를 Vpre 로 리셋한다. IP 는 또한 ADC/비교기 (112) 로부터 조건부 리셋 신호를 수신한다 (일부 회로들에서, 공통 회로부를 사용하여 조건부 리셋 및 초기 리셋이 공급된다). 조건부 리셋 신호는, 예를 들어, IP 가 샘플링될 때 샘플링 임계치를 초과하는 픽셀 신호에 응답하여 이미지 캡처 주기 동안 IP 에 의해 저장된 전하를 리셋한다. 다른 실시형태들에서, 조건부 리셋 신호는 상이한 엔티티로부터 수신된다는 점에 주목해야 한다. 하나의 구현에서, ADC/비교기는 픽셀 신호가 샘플링 임계치를 초과하는 것을 결정할 수도 있고, 외부 제어 로직이 조건부 리셋 신호를 IP 에 출력할 수 있게 할 수도 있으며; 이러한 실시형태에서, 리셋 신호 (로우-방향 신호) 와 조건부 리셋 신호 (컬럼-방향 신호) 는 IP 에 의해 AND 되어 모든 리셋들을 초기화할 수도 있다. 단순함을 위해, 나머지 설명은 ADC/비교기가 조건부 리셋 신호들을 IP 에 제공하는 실시형태들로 제한될 것이다.
판독 회로 (110) 는, 예를 들어, 외부 제어 로직으로부터 임계 신호, 샘플 신호 (또는 "샘플 인에이블 신호"), 비교 신호 (또는 "비교 인에이블 신호"), 잔차 신호 (또는 "잔차 인에이블 신호"), 및 리셋 신호를 수신하고, IP (100) 로부터 픽셀 신호들을 수신한다. IP (100) 에 대응하는 IP 메모리 엘리먼트 (116) 는 가산기 (114) 에 의한 판독/기입을 위해 그리고 외부 판독을 위해 선택하는 판독 신호를 수신한다. ADC/비교기 (112) 는 하나 이상의 샘플 신호들의 수신에 응답하여 IP (100) 을 샘플링한다. 이미지 캡처 동안, ADC/비교기는 다양한 샘플링 간격들에서, 예를 들어, 주기적으로 또는 미리 규정된 샘플링 간격 패턴 (여기서는 "샘플링 폴리시 (sampling policy)" 라고 지칭됨) 에 따라, 샘플 신호를 수신한다. 대안적으로, ADC/비교기에 의해 수신된 샘플 신호는 샘플링 폴리시를 포함할 수 있고, ADC/비교기는 샘플링 폴리시에 기초하여 IP 를 샘플링하도록 구성될 수 있다. 다른 실시형태들에서, IP 는 하나 이상의 샘플 신호들을 수신하고 그 수신된 샘플 신호들에 기초하여 샘플 신호들을 출력한다. 또 다른 실시형태들에서, IP 는 픽셀 신호들을 주기적으로 또는 샘플링 폴리시에 따라 출력하고, 또는 ADC/비교기는 픽셀 신호들을 주기적으로 또는 수신된 샘플 신호들과는 독립적인 샘플링 폴리시에 따라 샘플링한다. ADC/비교기는 IP 로부터의 픽셀 신호를 샘플링하기 전에 IP 로부터 픽셀 신호를 요청할 수 있다.
IP 의 샘플링 동안, ADC/비교기 (112) 는 IP 로부터 픽셀 신호를 수신하고 (일부 실시형태들에서는 샘플링 임계치를 초과하는 픽셀 신호에 기초하여 옵션적으로) 픽셀 신호를 그 픽셀 신호를 표현하는 다중-비트 디지털 값으로 변환한다. 픽셀 신호가 샘플링 임계치를 초과하는 경우, ADC/비교기는 IP 에 저장된 전하를 리셋하기 위한 조건부 리셋 신호를 출력한다. 픽셀 신호가 샘플링 임계치를 초과하지 않는 경우, ADC/비교기는 IP 에 저장된 전하를 리셋하기 위한 조건부 리셋 신호를 출력하지 않는다. 샘플링 임계치는 이미지 캡처 동안 변화되고 임계 신호를 통해 수신될 수 있고, 또는 주어진 이미지 캡처에 대해 미리 결정되거나 미리 설정될 수 있다. 하나의 샘플링 임계치는 다수의 이미지 캡처들 동안 사용될 수 있고, 상이한 샘플링 임계치들은 상이한 이미지 캡처들에 대해 사용될 수 있으며, 다수의 샘플링 임계치들은 단일 이미지 캡처 동안 사용될 수 있다. 하나의 실시형태에서, 샘플링 임계치는 검출된 변화하는 조도 조건들에 응답하여 변화한다 (예를 들어, 샘플링 임계치는 저조도 조건들에 응답하여 감소될 수 있고, 고조도 조건들에 응답하여 증가될 수 있다).
하나의 실시형태에서, 샘플링 임계치는 아날로그 신호 임계치이다. 이 실시형태에서, ADC/비교기 (112) 는 아날로그 비교기를 포함하고 픽셀 신호를 샘플링 임계치와 비교하여 픽셀 신호가 샘플링 임계치를 초과하는지를 결정한다. 픽셀 신호가 IP (100) 에 의해 저장된 전하를 표현하는 전압을 포함하는 경우, 픽셀 신호가 샘플링 임계치보다 더 작으면 샘플링 임계치는 초과된다. 예로서 도 2 의 실시형태를 사용하면, ADC/비교기의 샘플링 임계치가 임계치 4 라면, 픽셀 신호는, 픽셀 신호가 임계치 4 와 연관된 전압보다 더 작은 전압을 포함하는 경우에만 샘플링 임계치를 초과할 것이다.
하나의 실시형태에서, 샘플링 임계치는 디지털 신호 임계치이다. 이 실시형태에서, ADC/비교기 (112) 는 디지털 비교기를 포함하고, 우선 픽셀 신호를 그 픽셀 신호를 표현하는 디지털 값으로 변환한다. 그 후에, ADC/비교기는 디지털 값을 샘플링 임계치와 비교하여 픽셀 신호가 샘플링 임계치를 초과하는지를 결정한다. 예로서 도 2 의 실시형태를 사용하면, "101" 의 샘플링 임계치의 경우, ADC/비교기가 픽셀 신호를 "001" 의 디지털 값 (픽셀 신호가 임계치 1 과 임계치 2 사이임을 나타냄) 으로 변환한다면, 픽셀 신호는 샘플링 임계치를 초과하지 않고 조건부 리셋 신호가 출력되지 않는다. 그러나, ADC/비교기가 픽셀 신호를 "110" 의 디지털 값 (픽셀 신호가 임계치 6 과 임계치 7 사이임을 나타냄) 으로 변환한다면, 픽셀 신호는 샘플링 임계치를 초과하고 조건부 리셋 신호가 출력된다.
다른 실시형태에서, 샘플링 임계치는, 픽셀 신호의 완전한 디지털 변환 전에 평가될 수 있는 디지털 신호 임계치이다. 이것은 일부 실시형태들 또는 유스 케이스들에서 불필요한 ADC 동작들을 피하게 함으로써 픽셀의 더 빠른 조건부 리셋, 및/또는 전력 절약들을 가능하게 하는 이점이 있을 수 있다. 예를 들어, 연속 근사 레지스터 ADC 를 이용하면, 픽셀 신호의 디지털 표현을 분석하기 위해 다수의 클록 사이클들이 사용된다. 모든 비트 포지션들이 분석될 때까지, 제 1 클록 사이클이 최상위 비트를 분석하고, 제 2 클록 사이클이 다음 최상위 비트를 분석하는 것 등을 한다. 예로서 도 2 의 실시형태를 사용하면, "100" 의 샘플링 임계치의 경우, 제 1 SAR ADC 클록 사이클 후에 임계치가 만족되는지 아닌지 여부의 결정이 분석될 수 있다. "110" 의 샘플링 임계치의 경우, 제 2 SAR ADC 클록 사이클 후에 임계치가 만족되는지 아닌지 여부의 결정이 분석될 수 있다. 예를 들어, 6 또는 8 비트들의 비트 심도를 갖는 실시형태들의 경우, 1개 또는 2개의 변환 사이클들 후에 리셋 결정을 행하는 것은 상당한 시간/전력 절약들을 하게 할 수 있고, 이는 0 인 하나 이상의 LSB들을 갖는 샘플링 임계치를 선택함으로써 실현될 수 있다.
하나의 실시형태에서, 로우-방향 비교 신호는 각각의 ADC/비교기 "비교" 신호 입력에 공급되고, 비교를 수행하도록 적절한 클록 사이클에 관해 ADC/비교기에 시그널링한다. 비교 신호가 어서트 (assert) 될 때, 아날로그-디지털 변환의 현재 상태에 기초하여 비교가 수행된다. ADC/비교기 (112) 에 대한 비교에 의해 임계치가 만족되는 경우, 조건부 리셋 신호는 IP (100) 에 그리고 가산기 (114) 에 어서트되고, SAR ADC 는 픽셀 신호를 계속 변환한다. 임계치가 만족되지 않는 경우, 조건부 리셋 신호는 어서트되지 않고, 비교 신호와 관련하여 사용되어 SAR ADC 의 클록 신호를 게이팅하여 변환을 종료하도록 할 수 있다.
ADC/비교기 (112) 는 ADC/비교기에 의해 수신된 픽셀 신호를 표현하는 디지털 값 (여기서는 "디지털 변환" 이라고 지칭됨) 을 가산기 (114) 에 출력한다. ADC/비교기 (112) 는 샘플링 임계치를 초과하는 디지털 변환과 연관된 픽셀 신호에 응답하여 디지털 변환을 출력할 수 있다. 조건부 리셋 신호는 디지털 변환을 로딩하고 그것을 (이 실시형태에서 판독 라인의 어드레스 선택에 의해 복수의 이들 위치들로부터 선택되는) IP (100) 에 대응하는 IP 메모리 (116) 위치에 가산하도록 가산기 (114) 에 시그널링하기 위한 인에이블로서 사용될 수 있다. 다른 실시형태들에서, ADC/비교기는, 디지털 변환과 연관된 픽셀 신호가 샘플링 임계치를 포과하는지 여부에 관계없이, IP (100) 의 각 샘플링 동안 디지털 변환을 출력한다. 이들 실시형태들에서, 가산기는 샘플링 임계치를 초과하는 픽셀 신호들과 연관된 디지털 변환들을 누적하고 샘플링 임계치를 초과하지 않는 픽셀 신호들과 연관된 디지털 변환들을 무시하도록 구성될 수 있다. 대안적으로, 예를 들어, 임계치가 도 2 에서 "001" 로 설정되는 경우, 가산기는 IP (100) 가 판독될 때마다 디지털 변환을 IP 메모리 (116) 에 무조건적으로 가산하지만, 여전히 올바른 결과들을 생성할 수 있다.
하나의 실시형태에서, ADC/비교기 (112) 는 또한 (비교 신호가 어서트되는 일 없이) 잔차 신호 어서션의 수신에 응답하여 디지털 변환을 출력한다. 잔차 신호 어서션은 이미지 캡처의 끝과 연관되고, 디지털 변환과 연관된 픽셀 신호가 샘플링 임계치를 초과하는지 여부에 관계없이 ADC/비교기가 전체 디지털 변환을 가산기 (114) 에 출력할 수 있게 하며, 조건부 리셋을 어서트한다. 잔차 신호는 캡처 주기의 끝에서 임계치를 넘지 않지만 IP (100) 에 의해 수신된 광과 연관된 이미지 정보의 손실을 방지할 수 있다. 이러한 수신된 광을 표현하는 픽셀 신호가 샘플링 임계치를 초과하지 않는 경우, ADC/비교기는 이와 다르게 픽셀 신호와 연관된 디지털 변환을 출력하지 않을 수도 있고, IP 에 의해 저장된 전하가 (또한 잔차 신호의 어서션에 의해 트리거되는) 조건부 리셋 신호에 의해 리셋되지 않을 것이다. 디지털 변환들과 연관된 픽셀 신호들이 샘플링 임계치를 초과하는지 여부에 관계없이 ADC/비교기가 디지털 변환들을 가산기에 출력하는 실시형태들에서, 가산기는 잔차 신호를 수신할 수 있고, 신호의 수신에 응답하여 캡처 주기의 끝에서 수신된 픽셀 신호와 연관된 디지털 변환을 누적하도록 구성될 수 있다.
가산기 (114) 는 캡처 주기 동안 수신된 디지털 변환들을 누적하도록 구성된다. 상술된 바와 같이, 디지털 변환들과 연관된 픽셀 신호들이 샘플링 임계치를 초과하는 경우에만 ADC/비교기가 디지털 변환들을 출력하는 실시형태들에서, 가산기는 (잔차 신호의 수신에 응답하여 ADC/비교기에 의해 출력된 추가적 디지털 변환을 포함하여) 모든 수신된 디지털 변환들을 IP 메모리 (116) 에 누적한다. ADC/비교기가 각각의 수신된 픽셀 신호와 연관된 디지털 변환들을 출력하는 실시형태들에서, 가산기는, 잔차 신호의 수신에 응답하여 ADC/비교기에 의해 출력된 디지털 변환에 더하여, 샘플링 임계치를 초과하는 픽셀 신호들과 연관된 디지털 변환들만을 IP 메모리 (116) 에 누적하고; 이러한 실시형태들은 픽셀 신호들이 샘플링 임계치를 언제 초과하는지 그리고 잔차 신호가 언제 수신되는지를 알게 하도록 가산기에게 요구하고, 단순함의 목적을 위해 여기에 더 설명되지 않는다.
가산기 (114) 는, 예를 들어, 외부 제어 로직으로부터 리셋/가산 제어 시그널링을 수신한다. (예를 들어, 이미지 캡처 주기의 시작부에서) 리셋 신호의 수신에 응답하여, 누산기는 모든 제로들을 선택된 IP 메모리 위치 (116) 에 저장하여 이미지 데이터로서 수신된 디지털 변환들을 누적한다. 가산기는 또한 리셋 신호를 수신하고 수신된 디지털 변환들의 누적을 리셋한다.
대안적인 실시형태들에서, 가산기는 판독 회로 (110) 의 외부에 위치된다. 예를 들어, ADC/비교기는, (예를 들어, 다른 ADC들로부터의 다른 변환들과 멀티플렉싱된) 변환들의 스트림을, 누적 기능을 공급하는 개별 회로에 대한 디지털 채널에 출력할 수 있다. 이러한 경우, ADC/비교기는 또한 0 일 수 있는 "비변환" 에 대한 심볼을 출력해야 한다. 하나의 가능성은 디지털 채널 인터페이스에서의 회로 (예를 들어, 도 4 의 PHY (134)) 가 디지털 변환들을 코딩하여 대역폭을 감소시키는 것이다. 하나의 실시형태에서 "비변환" 은 "00" 으로서 출력되고, 상위 임계치 초과된 ADC 변환은 "01" 로서 출력되며, 모든 다른 ADC 변환들은 "1xxxxxx" 로서 출력되는데, 여기서 x 는 ADC 변환의 분석된 비트들 중 하나를 표현하고 x 포지션들의 수는 ADC 의 비트 심도와 동일하다.
하나의 실시형태에서, IP 는 동일한 라인 상에서 픽셀 신호를 출력하고 조건부 리셋을 수신하도록 구성된다. 이 실시형태에서, IP 및 ADC/비교기 (112) 는 대안적으로 공유된 라인 상에서 픽셀 신호와 조건부 리셋을 드라이브한다. 예를 들어, IP 는 샘플 주기의 제 1 부분 동안 공유된 라인 상에서 픽셀 신호를 출력할 수 있고, 샘플 주기의 제 2 부분 동안 공유된 라인 상에서 조건부 리셋들을 수신할 수 있다. 마지막으로, ADC/비교기는 공유된 라인 상에서 임계 신호, 샘플 신호, 및 잔차 신호를 수신할 수 있다. 예를 들어, ADC/비교기는 이미지 캡처의 시작부에서 임계 신호를 수신할 수 있고, 이미지 캡처 주기 전반에 걸쳐 샘플 신호들을 수신할 수 있으며, 이미지 캡처 주기의 끝에서 잔차 신호를 수신할 수 있다. IP 에 의해 수신된 리셋 신호가 누산기 (114) 에 의해 수신된 리셋 신호와 동일할 수 있고, 공유된 라인 상에서 수신될 수 있다는 점에 또한 주목해야 한다.
도 4 는, 하나의 실시형태에 따른, 멀티-비트 아키텍처를 갖는 이미지 센서 시스템의 일 예시적인 실시형태를 예시한 것이다. 도 4 의 이미지 센서 시스템 (120) 은 이미지 센서 영역 (125), 판독 회로 어레이 (130), 제어 로직 (132), 및 물리적 시그널링 인터페이스 (134) 를 포함한다. 다른 실시형태들에서, 이미지 센서 시스템은 도 4 의 실시형태에 예시된 것보다 더 적거나, 추가적이거나, 또는 상이한 컴포넌트들을 포함할 수도 있다 (예를 들어, 회로는 집적된 메모리 (116) 를 가질 수도 있다). 도 4 에 도시된 이미지 센서 시스템은 단일 IC 로서 구현될 수 있고, 또는 다수의 IC들로서 구현될 수 있다 (예를 들어, 이미지 센서 영역 및 판독 회로 어레이는 개별 IC들 상에 위치될 수 있다). 또한, (판독 회로 어레이, 제어 로직, 및 물리적 시그널링 인터페이스와 같은) 다양한 컴포넌트들은 이미지 센서 영역 (125) 내에 집적될 수 있다.
예의 목적들을 위해, 이미지 센서 시스템 (120) 및 이 이미지 센서 시스템에 통신가능하게 커플링된 호스트 IC (도 4 에 미도시) 는 카메라 (예를 들어, 모바일 디바이스 내의 스틸-이미지 또는 비디오 카메라, 콤팩트 카메라, 디지털 SLR 카메라, 독립형 또는 플랫폼-집적형 웹캠, 고화질 비디오 카메라, 보안 카메라, 자동차 카메라 등) 내에 1차 이미지 획득 컴포넌트들을 형성하는 것으로 가정한다. 이미지 센서 IC 및 호스트 IC 는, 제한 없이 계측 기구들, 의료 기구들, 게이밍 시스템들 또는 다른 소비자 전자 디바이스들, 군용 또는 산업용 이미징 시스템들, 수송 관련 시스템들, 공간 기반 이미징 시스템들 등을 포함하여 가상적인 임의의 이미징 시스템 또는 디바이스 내의 동일한 또는 상이한 이미징 컴포넌트들과 함께 또는 단독으로 더욱 일반적으로 배치될 수 있다. 이미지 센서 시스템의 동작은 일반적으로, 광에 대한 IP들의 노출, 노출 결과로서 저장된 전하의 이미지 데이터로의 변환, 및 이미지 데이터의 저장 매체로의 출력을 통해 이미지 또는 프레임의 캡처를 수반한다.
이미지 센서 영역 (125) 은 N-로우들 (0 에서부터 N-1 까지 인덱싱됨) 및 M-컬럼들 (0 에서부터 M-1 까지 인덱싱됨) 을 포함하는 IP 어레이 (127) 를 포함한다. 물리적 시그널링 인터페이스 (134) 는 호스트 IC (예를 들어, 범용 또는 특수 목적 프로세서, 주문형 집적 회로 (ASIC) 또는 이미지 센서 IC 를 제어하도록 구성된 임의의 다른 제어 컴포넌트) 로부터 커맨드들 및 구성 정보를 수신하도록 구성되고, 수신된 커맨드들 및 구성 정보를 제어 로직 (132) 에 제공하도록 구성된다. 물리적 시그널링 인터페이스는 또한 판독 회로 어레이 (130) 로부터 이미지 데이터를 수신하고 수신된 이미지 데이터를 호스트 IC 에 출력하도록 구성된다.
제어 로직 (132) 은 물리적 시그널링 인터페이스 (134) 로부터 커맨드들 및 구성 정보를 수신하도록 구성되고, 이미지 센서 시스템 (120) 의 동작들 및 기능성을 조작하도록 구성된 신호들을 송신하도록 구성된다. 예를 들어, 이미지 또는 프레임을 캡처하라는 커맨드의 수신에 응답하여, 제어 로직은 일련의 노출 신호들 (IP들을 리셋하게 하도록 구성됨) 및 샘플 신호들 (판독 회로 어레이 (130) 에서의 판독 회로들이 IP 어레이 (127) 에서의 IP들로부터의 픽셀 신호들을 샘플링하게 하도록 구성됨) 을 출력하여, 이미지 센서 시스템에 의한 이미지 또는 프레임의 캡처를 가능하게 할 수도 있다. 이와 유사하게, 이미지 센서 시스템을 초기화 또는 리셋하라는 커맨드의 수신에 응답하여, 제어 로직은 IP 어레이에서의 각각의 IP 를 리셋하도록 구성된 리셋 신호들을 출력하여, 각각의 IP 가 임의의 누적된 전하를 무시하게 할 수도 있다. 제어 로직에 의해 생성된 제어 신호들은 샘플링을 위한 IP 어레이 내의 특정 IP들을 식별하고, IP들과 연관된 판독 회로들의 기능성을 제어할 수도 있거나, 또는 이미지 센서 시스템과 연관된 임의의 다른 기능성을 제어할 수도 있다. 제어 로직이 도 4 에서 이미지 센서 영역 (125) 의 외부에 있는 것으로 도시되지만, 상술된 바와 같이, 제어 로직의 전부 또는 일부들은 이미지 센서 영역 내에 로컬로 구현될 수도 있다.
제어 로직 (132) 은 이미지 센서 영역 (125) 에서 각각의 IP 에 대한 제어 및 리셋 신호들을 출력한다. 도 4 의 실시형태에 예시된 바와 같이, 이미지 픽셀에서의 각각의 IP (IP[X][Y]) 는 제어 로직으로부터 (각각의 IP 에 대한 "로우" 선택 제어 신호에 대응하는) 로우-평행 Cntrl[X] 신호 및 로우-평행 리셋[X] 신호를 수신하여 IP들을 리셋하고, 여기서 "X" 및 "Y" 는 이미지 센서 영역 내의 IP 의 좌표들을 지칭한다. 임의의 주어진 IP 에 수신된 제어 신호 및 리셋 신호들이 각각 도 4 의 실시형태에서 인덱싱된 바와 같이 단지 1 비트이지만, 단순성의 목적들을 위해서만 인덱싱이 행해진 것이고 이들 신호들은 실제로 임의의 폭 또는 치수로 될 수도 있다는 것을 인식해야 한다.
판독 회로 어레이 (130) 는 M개의 판독 회로들을 포함하고, 이 각각은 IP 어레이 (127) 에서의 IP들의 컬럼으로부터 픽셀 신호들을 수신하도록 구성된다. 다른 실시형태들에서, 판독 회로 어레이는, 도 5a, 도 5b, 및 도 5c 에 설명되는 바와 같이, 각각의 IP 컬럼으로부터 픽셀 신호들을 수신하도록 구성된 다수의 판독 회로들을 포함할 수 있다는 점에 주목해야 한다. 픽셀 신호 버스는 IP 어레이에서의 각각의 IP 컬럼에서의 IP들을 판독 회로 어레이 내의 IP 컬럼과 연관된 판독 회로에 커플링한다. 각각의 IP 는 IP 에 의해 생성된 픽셀 신호를 픽셀 신호 버스에 출력하도록 구성되고, 각각의 판독 회로는 판독 회로와 연관된 IP 컬럼에서의 IP들로부터의 픽셀 신호들을 샘플링하도록 구성된다. 예를 들어, 판독 회로 0 은 픽셀 신호 버스 0 으로부터의 픽셀 신호들을 샘플링하도록 구성되는 것 등이다. 판독 회로 어레이에서의 각 판독 회로는 (예를 들어, 다수의 패스들을 통한 순서로 연속적인 IP들로부터의 픽셀 신호들을 샘플링함으로써) 판독 회로와 연관된 IP 컬럼에서의 IP들로부터의 픽셀 신호들을 반복적으로 샘플링할 수 있고, 또는 미리 결정된 비순차적인 순서에 따라 픽셀 신호들을 샘플링할 수 있다. 하나의 실시형태에서, 판독 회로들은 다수의 픽셀 신호들을 동시에 샘플링할 수 있다. 도 3 및 도 4 의 실시형태들에 예시되지 않았지만, 판독 회로들은 이미지 데이터로서 누적된 값들을 출력하기 전에 누적된 디지털 값들을 저장하도록 구성된 메모리들을 추가적으로 포함할 수 있다.
조건부 리셋 버스는 IP 어레이 (127) 에서의 각 IP 컬럼에서의 IP들을 각각의 IP 컬럼과 연관된 판독 회로에 커플링한다. IP 컬럼에서의 IP 로부터의 픽셀 신호를 샘플링한 후에, IP 컬럼과 연관된 판독 회로는 샘플링된 픽셀 신호가 샘플링 임계치를 초과하는 경우 조건부 리셋 신호를 생성한다. 예를 들어, IP 컬럼에서의 IP 가 IP 를 판독 회로에 커플링하는 픽셀 신호 버스를 통해 IP 컬럼과 연관된 판독 회로에 출력하는 경우, 그리고 판독 회로가 픽셀 신호가 샘플링 임계치를 초과한다고 결정하는 경우, 판독 회로는 판독 회로를 IP 에 커플링하는 조건부 리셋 버스를 통해 조건부 리셋 신호를 IP 에 출력하고, IP 는 IP 에 저장된 전하를 리셋한다. 상술된 바와 같이, 픽셀 신호 버스 및 조건부 리셋 버스는 픽셀 신호들이 로우 X 로부터 공유된 버스로 출력될 수 있게 하는 Cntrl[X] 및 공유된 버스로부터의 로우 X 에서의 픽셀들에 대한 조건부 리셋을 가능하게 하는 Reset[X] 를 갖는 공유된 버스에서 구현될 수 있지만, 이러한 실시형태들은 단순함의 목적들을 위해 여기에서는 더 설명되지 않는다.
제어 로직 (132) 은 판독 회로 어레이 (130) 에서의 판독 회로들에 대한 판독 제어 신호들을 생성한다. 판독 제어 신호들은 판독 회로들에 의한 IP 어레이 (127) 에서의 IP들로부터의 픽셀 신호들의 샘플링, 샘플링된 픽셀 신호의 디지털 값들로의 변환, 디지털 값들의 누적, 누적된 디지털 값들의 출력, 가산기들의 리셋을 제어할 수 있다. 판독 제어 신호들은 도 3 에 설명된 판독 회로 어레이에서의 각 판독 회로에 대한 임계 신호, 샘플 신호, 비교 신호, 잔차 신호, 판독 신호, 및 리셋/가산 신호를 포함할 수 있다.
제어 로직 (132) 은 이미지 캡처 주기 동안 이미지 캡처를 가능하게 하기 위해 판독 회로 어레이 (130) 에 대한 판독 제어 신호들을 생성하도록 구성된다. 이미지 캡처 주기 전에 또는 이미지 캡처 주기에 대한 특정 IP 메모리 위치의 제 1 사용시, 제어 로직은 각각의 판독 회로 (110) 의 누산기가 IP 메모리 위치를 리셋하게 하기 위한 리셋을 생성할 수 있다. 이미지 캡처 주기의 시작부에서, 제어 로직은 판독 회로들 각각에 대한 임계 신호를 생성할 수 있고; 상술된 바와 같이, 임계 신호는, 조건부로 픽셀 신호들과 연관된 IP들을 리셋하고 픽셀 신호들과 연관된 디지털 값들을 누적할 목적들을 위해 픽셀 신호들이 비교되는 임계치를 결정하도록 각각의 판독 회로에 의해 사용된다. 이미지 캡처 주기 동안, 제어 로직은 판독 회로들이 그 판독 회로들과 연관된 IP들로부터의 픽셀 신호들을 샘플링할 수 있게 하도록 구성된 일련의 샘플 신호들을 생성할 수 있다. 하나의 실시형태에서, 제어 로직은 하나 이상의 샘플링 폴리시들에 따라 샘플 신호들을 생성한다. 샘플링 폴리시들은 더욱 상세히 후술된다. 이미지 캡처 주기의 끝에서, 제어된 로직은, 픽셀 신호가 샘플링 임계치를 초과하는지 여부에 관계없이 각각의 판독 회로가 픽셀 신호를 표현하는 디지털 값을 누적할 수 있게 하도록 구성된 잔차 신호를 생성한다. 이미지 캡처 주기 후에, 제어 로직은, 각각의 판독 회로가 이미지 데이터로서 관련 샘플링 임계치를 초과하는 샘플링된 픽셀 신호들을 표현하는 누적된 디지털 값들을 출력할 수 있게 하도록 구성된 판독 신호를 생성한다. 제어 로직은 또한 각각의 판독 회로 내의 누적된 디지털 값들을 리셋하도록 각각의 이미지 캡처 주기 후에 리셋 신호를 생성할 수도 있다.
제어 로직은 또한 IP들 및 판독 회로들이 이미지 캡처를 일시정지 및 재개하게 하도록 구성된 일시정지 및 재개 신호들을 생성하고, 판독 회로 어레이에서의 판독 회로들 및 IP들의 기능성을 제어하는데 필요한 임의의 다른 신호를 생성하도록 구성될 수도 있다. 각각의 판독 회로의 경우, 판독 회로에 의해 출력된 이미지 데이터는 판독 회로와 연관된 IP 컬럼에서의 각각의 IP 에 의해 캡처된 광의 디지털 표현이다. 이미지 데이터는 호스트 IC 에의 후속 출력을 위해 물리적 시그널링 인터페이스에 의해 수신된다.
도 5 는, 하나의 실시형태에 따른, IP 어레이의 주변에 위치된 판독 회로 어레이들을 갖는 일 예시적인 이미지 센서 시스템 아키텍처를 예시한 것이다. 도 5 의 아키텍처에서, 6개의 판독 회로 어레이들 (140a, 140b, 140c, 140d, 140e, 및 140f) 은 IP 어레이를 포함하는 이미지 센서 영역 (145) 주위에 위치된다. 하나의 판독 회로 어레이 (130) 가 이미지 센서 영역 (125) 의 한쪽에 위치되는 도 4 의 실시형태와는 달리, 도 5 의 판독 회로 어레이들 (140) 은 이미지 센서 영역 (145) 의 모든 쪽에 위치된다. 판독 회로 어레이들은 이미지 센서 영역을 또한 포함하는 IC 내에 위치될 수 있고, 또는 하나 이상의 개별 IC들 상에 위치될 수 있다. 예를 들어, 각각의 판독 회로 어레이는 이미지 센서 IC 의 주변부 상에 위치될 수 있고, 또는 이미지 센서 IC 에 인접하게 위치된 전용 판독 회로 어레이 IC들에 위치될 수 있다.
도 4 의 이전 실시형태에서, 판독 회로 어레이 (130) 에서의 각각의 판독 회로는 IP 어레이 (127) 에서의 IP 컬럼에 커플링된다. 도 5 의 실시형태에서, 각각의 판독 회로 어레이 (140x) 는 이미지 센서 영역 (145) 의 부분적 로우들 및 부분적 컬럼들로부터의 6개의 IP들의 세트에 커플링된다. 예를 들어, 판독 회로 어레이 (140a) 는 IP1, IP2, IP3, IP7, IP8, 및 IP9 에 커플링된다. 각각의 판독 회로 어레이 (140x) 는 하나 이상의 판독 회로들을 포함한다. 하나의 실시형태에서, 각각의 판독 회로 어레이는 6개의 판독 회로들을 포함하고, 판독 회로 어레이에서의 각각의 판독 회로는 하나의 IP 에 커플링된다. 이러한 실시형태에서, 각각의 판독 회로는 이 판독 회로가 커플링되는 IP 만을 샘플링한다. 더욱 구체적으로는, 각각의 판독 회로는 다수의 로우들 및 하나 이상의 컬럼들을 포함하는 IP들의 블록에 의해 공유될 것이다. 제어 로직이 도 5 의 실시형태에 예시되지 않지만, 각각의 판독 회로 어레이는 일반적 제어 로직에 커플링될 수 있고, 또는 각각이 전용 제어 로직에 커플링될 수도 있다. 또한, 물리적 시그널링 인터페이스가 도 5 의 실시형태에 예시되지 않지만, 각각의 판독 회로 어레이는 이미지 데이터를 공통 버스를 통해 공통 물리적 시그널링 인터페이스에 출력할 수도 있고, 또는 이미지 데이터를 전용 버스를 통해 각각의 판독 회로 어레이에 커플링된 전용 물리적 시그널링 인터페이스에 출력할 수도 있다.
도 6a 는, 하나의 실시형태에 따른, 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 픽셀 어레이 IC 의 상면도를 예시한 것이다. 도 6a 의 픽셀 어레이 IC 는 IP 어레이를 둘러싸는 주변 회로부 (162) 를 포함한다. IP 어레이는 IP들의 4개의 로우 그룹들 (IP 로우 그룹들 0 내지 3) 및 로우 제어 회로부 (164) 를 포함한다. 각각의 IP 로우 그룹은 어레이의 폭이고 어레이에서의 로우들의 1/4 를 포함하며, 로우 제어 회로부는 IP들의 동작에 필요한 제어 및 리셋 신호들 (예를 들어, IP들이 리셋을 위해 인에이블되게 하고 판독을 위해 선택되게 하도록 구성된 신호들, 및 여기에 설명된 임의의 다른 신호들) 을 제공한다.
도 6b 는, 하나의 실시형태에 따른, 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 프리프로세서 (preprocessor) IC 의 상면도를 예시한 것이다. 도 6b 의 프리프로세서 IC 는 판독 회로 어레이를 포함하는 주변 회로부 (172) 를 포함한다. 판독 회로 어레이는 (대안적으로 픽셀 어레이 IC (160) 상에 있을 수도 있는) 물리적 시그널링 인터페이스 (175), 판독 제어 회로부 (176), 4개의 판독 회로 어레이들 (판독 회로 어레이 0 내지 3), 및 수반하는 메모리 그룹들 (0A/B, 1A/B, 2A/B, 및 3A/B) 을 포함한다. 각각의 판독 회로 어레이는 관련 메모리 그룹에서의 대응하는 로우들에 연결된 (ADC, 가산기, 및 각각의 IP 컬럼에 대한 리셋 로직을 포함하는) 하나 이상의 판독 회로들을 포함한다. 특정 IP 로우가 픽셀 어레이 IC 의 IP 로우 그룹에서 선택될 때, 대응하는 메모리 그룹에서의 대응하는 로우가 프리프로세서 IC 상에서 선택된다.
도 6c 는, 하나의 실시형태에 따른, 일 예시적인 2-레이어 이미지 센서 시스템 아키텍처에서의 도 6a 의 픽셀 어레이 IC 및 도 6b 의 프리프로세서 IC 의 단면을 예시한 것이다. 도 6c 의 실시형태에서, 픽셀 어레이 IC (160) 는 프리프로세서 IC (170) 상에 위치되어 픽셀 어레이 IC 의 하부 표면이 프리프로세서 IC 의 상부 표면에 커플링된다. 마이크로렌즈 어레이 (180) 및 컬러 필터 어레이 (182) 는 픽셀 어레이 IC 상에 위치된다. 픽셀 어레이 IC 및 프로세서 IC 는 픽셀 어레이 IC 배선 (184) 및 프리프로세서 IC 배선 (186) 을 통해 커플링된다. 프리프로세서 IC 상에 픽셀 어레이 IC 를 위치시킴으로써, 광을 캡처하는 것이 가능한 이미지 센서 시스템에서의 표면 영역의 퍼센티지 및 다이 사이즈가 증가된다. 예를 들어, IP 어레이 및 하나 이상의 판독 회로 어레이들을 포함하는 단일-레이어 IC 아키텍처에서, 하나 이상의 판독 회로 어레이들을 포함하는 단일-레이어 IC 의 부분은 광을 캡처하는 것이 불가능하고; 이러한 실시형태는 단일-레이어 IC 상에 입사된 광을 캡처하는데 사용된 실리콘 다이의 퍼센티지를 감소시킨다. 이것은 카메라 모듈 풋프린트가 이미징 어레이 및 렌즈보다 더 커지는 것을 요구하고, 카메라 모듈의 비용 및 사이즈를 증가시킨다. 그에 반해, 도 6c 의 실시형태의 상부-레이어는 판독 회로 어레이들을 포함하지 않아서, 상부의 단일 레이어 IC 의 다이 사이즈가 대략 IP 어레이의 사이즈로 감소된다. 마이크로렌즈 어레이 및 컬러 필터 어레이를 통과하는 상부-레이어 상에 입사된 광은 IP 어레이에서의 IP들에 의해 캡처되고, 캡처된 광을 표현하는 신호들은 픽셀 어레이 IC 배선 및 프리프로세서 IC 배선을 통해 판독 회로 어레이들에 의해 샘플링된다.
도 7 은, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로의 동작을 예시한 것이다. 도 7 의 예시적인 실시형태에서, 이미지는 16개의 샘플링 간격들의 과정을 통해 캡처된다. 도 7 의 예시적인 실시형태의 ADC 는 픽셀 신호들을 5-비트 디지털 값들로 변환하고, 누산기는 이미지 캡처 주기 동안 5-비트 디지털 값들을 9-비트 디지털 값으로 누적한다. 또한, 도 7 의 실시형태에서, ADC 는 수신된 픽셀 신호들을 이 픽셀 신호들을 표현하는 디지털 값들로 변환하여 IP 결과들에 의해 검출된 각각의 추가 포톤은 디지털 값이 1 만큼 증가하게 된다. 예를 들어, IP 가 리셋된 후에 5개의 포톤들을 검출하는 경우, IP 에 의해 생성된 픽셀 신호는 ADC 에 의해 값 "00101" 로 변환될 것이다. 다른 실시형태들에서, ADC 는 수신된 픽셀 신호들을 이 픽셀 신호들을 표현하는 디지털 값들로 변환하여 IP 결과들에 의해 검출된 다수의 추가 포톤들은 디지털 값이 1 만큼 증가하게 됨이 강조되어야 한다. 도 7 의 실시형태에서, 픽셀 신호들은 아날로그 전압들이어서, 단순함의 목적들을 위해 도 7 에 도시되지 않는다.
이미지 캡처 주기 (샘플링 간격 0) 의 시작부에서, 리셋되고 노출 시작하도록 판독 회로의 IP 를 구성하도록 구성된 제어 신호가 수신된다. 도 7 의 실시형태에서, "노출 시작" 제어 신호는 또한 IP 에 대응하는 메모리 엘리먼트에 저장된 값을 제로로 리셋한다. 추가적으로, 20개의 포톤들과 동등한 픽셀 신호에서 판독 회로에 대한 샘플링 임계치를 설정하도록 임계 신호가 수신된다.
제 1 샘플링 간격 동안, 4개의 포톤들이 IP 에 의해 검출된다. 그 후에, IP 는 4개의 포톤들의 검출에 응답하여 동등한, IP 내의 감광성 엘리먼트에 의해 수집된 전하를 표현하는 픽셀 신호를 생성하고, ADC 는 이 픽셀 신호를 디지털 값 "00100" 으로 변환한다. 4개의 검출된 포톤들이 20개의 포톤들 ("10100") 의 샘플링 간격을 트리거하지 않기 때문에, 누산기는 디지털 값 "00100" 을 누적하지 않고, IP 에 의해 저장된 전하는 소멸되지 않는다 (IP 는 리셋되지 않는다). 컬럼 "포톤들 (det. - accum.)" 은 첫 번째가 특정 샘플링 간격 동안 IP 에 의해 검출된 포톤들의 수를, 그리고 두 번째가 IP 의 마지막 조건부 리셋 이후에 누적된 포톤들의 수를 나타낸다는 점에 주목한다.
샘플링 간격 2 동안, 7개의 추가 포톤들이 IP 에 의해 검출된다. IP 에 의해 저장된 전하는, 샘플링 간격 1 동안 4개의 포톤들의 검출에 응답하여 생성된 전하로부터 11개의 누적된 포톤들 (샘플링 간격 1 동안에는 4개의 포톤들 그리고 샘플링 간격 2 동안에는 7개의 포톤들) 의 검출에 응답하여 생성된 전하로 증가한다. 저장된 전하에 응답하여 IP 에 의해 생성된 픽셀 신호는 디지털 값 "01011" 로 변환된다. 총 11개의 포톤들이 20개의 포톤들의 샘플링 임계치를 트리거하지 않기 때문에, 누산기는 디지털 값 "01011" 을 누적하지 않고, IP 는 리셋하지 않는다. 이와 유사하게, 샘플링 간격 3 동안, 2개의 추가 포톤들이 IP 에 의해 검출되고, IP 에 의해 저장된 전하는, 13개의 누적된 포톤들 (샘플링 간격 1 동안에는 4개의 포톤들, 샘플링 간격 2 동안에는 7개의 포톤들, 그리고 샘플링 간격 3 동안에는 2개의 포톤들) 의 검출에 응답하여 생성된 전하로 증가한다. 이 증가된 저장된 전하에 응답하여 IP 에 의해 생성된 픽셀 신호는 디지털 값 "01101" 로 변환된다. 누적된 13개의 포톤들이 20개의 포톤들의 샘플링 임계치를 트리거하지 않기 때문에, 누산기는 디지털 값 "01101" 을 누적하지 않고, IP 가 리셋되지 않는다.
샘플링 간격 4 동안, 11개의 추가 포톤들이 IP 에 의해 검출된다. IP 에 의해 저장된 전하는, 24개의 누적된 포톤들 (샘플링 간격 1 동안에는 4개의 포톤들, 샘플링 간격 2 동안에는 7개의 포톤들, 샘플링 간격 3 동안에는 2개의 포톤들, 그리고 샘플링 간격 4 동안에는 11개의 포톤들) 의 검출에 동등한 전하로 증가한다. 저장된 전하에 응답하여 IP 에 의해 생성된 픽셀 신호는 디지털 값 "11000" 으로 변환된다. 누적된 24개의 포톤들이 20개의 포톤들의 샘플링 임계치를 초과하기 때문에, 누산기는 디지털 값 "11000" 을 IP 에 대한 메모리 엘리먼트에 누적하고, IP 가 리셋된다.
샘플링 간격 5 동안 검출된 14개의 포톤들이 20 의 샘플링 간격을 초과하지 않고, ADC 에 의해 생성된 디지털 값 "01110" 은 누적되지 않으며 IP 는 리셋되지 않는다. 샘플링 간격 6 동안 검출된 8개의 포톤들은 IP 에 의해 22개의 포톤들 (샘플링 간격 5 동안에는 14개의 포톤들, 그리고 샘플링 간격 6 동안에는 8개의 포톤들) 의 누적된 검출을 발생시키고, 가산기는 디지털 값 "10110" 을 누적하며 (메모리 엘리먼트에 "000101110" 의 총 누적된 값을 발생시킴), IP 가 리셋된다.
이 프로세스는 16개의 샘플링 간격들 각각에 대해 반복된다. IP 에 의해 검출된 누적된 포톤들의 수만큼 초과되는 20개의 포톤들의 샘플링 임계치에 응답하여 샘플링 간격들 10, 14, 및 15 동안 ADC 에 의해 생성된 디지털 값들이 모두 누적된다. 이에 따라, IP들은 이들 간격들에 후속하는 샘플링 간격들 (샘플링 간격 11, 15, 및 16) 에 대해 리셋된다. 샘플링 간격 16 동안, 19개의 포톤들이 IP 에 의해 검출되고, 이는 20개의 포톤들의 샘플링 임계치를 초과하지 않는다. 추가적으로, 샘플링 간격 16 동안, ADC 에 의해 생성된 디지털 값 (잔차 값 (190), "10011") 을 누적하라고 누산기에게 명령하도록 구성된 잔차 신호가 수신된다. 이에 따라, 가산기는, 그 값 "10011" 을, 메모리 엘리먼트에 유지된 누적 값 "001111011" 에 누적하여 이미지 데이터 (195) "010001110" 을 생성한다. 마지막으로, 리셋 신호는 샘플링 간격 16 동안 수신되고, 이 리셋 신호는 판독 회로가 이미지 데이터를 출력할 수 있게 하고 이미지 데이터의 출력에 후속하여 ADC 에 의해 출력된 그리고 누산기에 제로로 저장된 값들을 리셋한다.
도 8 은 하나의 실시형태에 따른 이미지 캡처 시스템에서의 픽셀 정보 플로우를 예시한 것이다. 이미지 캡처 주기의 과정 동안, IP (200) 는 포톤들을 검출하고 픽셀 신호들 (202) 을 판독 회로에 출력한다. 이에 응답하여, 판독 회로 (204) 는 수신된 픽셀 신호들을 이 수신된 픽셀 신호들을 표현하는 디지털 값들로 변환하고, 샘플링 임계치를 초과하는 픽셀 신호와 연관된 각각의 디지털 값에 대해, 디지털 값을 누적하고 IP 를 리셋한다. 이미지 캡처 주기 후에, 누적된 디지털 값들은 이미지 데이터 (206) 로서 출력된다.
포스트 프로세싱 모듈 (208) 은 이미지 데이터 (206) 를 수신하고 이미지 데이터에 대해 하나 이상의 프로세싱 동작들을 수행하여 프로세싱된 데이터 (210) 를 생성한다. 하나의 실시형태에서, 응답 함수가 사용되어 원하는 응답에 따라 이미지 데이터 (206) 를 변환할 수 있다. 예를 들어, 이미지 데이터는 IP 에 의해 검출된 광의 세기에 기초하여 선형 함수 또는 로그 함수로 변환될 수 있다. 그 후에, 프로세싱된 데이터는 후속 취출 및 프로세싱을 위해 메모리 (212) 에 저장된다. IP (200), 판독 회로 (204), 포스트 프로세싱 모듈, 및 메모리는 IC 내에 위치될 수 있고, 또는 개별 커플링된 IC들 내에 위치될 수 있다.
도 9 는, 하나의 실시형태에 따른, 도 3 의 판독 회로와 같은 이미지 센서 판독 회로에 의한 사용을 위한 다양한 시간적 샘플링 폴리시들을 예시한 것이다. 도 9 의 실시형태에서, 이미지는 16개의 시간 유닛들에 동등한 이미지 캡처 주기 (220) 를 통해 캡처된다. 3개의 예시된 샘플링 폴리시들 각각에 대해, "x" 는 판독 회로에 의해 주어진 IP 의 샘플링을 나타낸다.
샘플링 폴리시 1 에서, 판독 회로는 16개의 시간 유닛들 각각 후에 IP 를 샘플링한다. 샘플링 폴리시 2 에서, 판독 회로는 매 4개의 시간 유닛들 후에 IP 를 샘플링한다. 샘플링 폴리시 2 에서의 판독 회로가 샘플링 폴리시 1 에서의 판독 회로보다 덜 빈번하게 IP 를 샘플링함에 따라, 샘플링 폴리시 2 에서의 IP 는 샘플링 폴리시 1 에서의 IP 보다 포화될 가능성이 더 많다. 그러나, 샘플링 폴리시 2 에서의 판독 회로가 샘플링 폴리시 1 에서의 판독 회로의 횟수의 25% 만 IP 를 샘플링하기 때문에, 샘플링 폴리시 2 (4개의 총 샘플들) 를 구현하는데 요구되는 리소스들 (프로세싱, 대역폭, 및 전력) 은, 샘플링 폴리시 1 (16개의 총 샘플들) 을 구현하는데 요구되는 리소스들보다 더 작을 수도 있다.
샘플링 폴리시 3 에서, 판독 회로는 시간 유닛들 1, 2, 4, 8, 및 16 후에 IP 를 샘플링한다. 샘플링 폴리시 3 의 샘플링들의 지수적 이격은 짧은 샘플 간격들 (예를 들어, 시간 유닛 0 과 시간 유닛 1 사이의 샘플 간격) 및 긴 샘플 간격들 (예를 들어, 시간 유닛 8 과 시간 유닛 16 사이의 샘플 간격) 을 제공한다. 짧은 샘플링 간격과 긴 샘플링 간격 양쪽 모두를 허용하는 것은 거의 샘플링 폴리시 2 만큼 적은 샘플링들을 이용하는 샘플링 폴리시 1 의 동적 범위를 보호한다 (샘플링 폴리시 3 에 대한 5개의 샘플링들 대 샘플링 폴리시 2 에 대한 4개의 샘플링들). 도 9 에 예시되지 않은 다른 샘플링 폴리시들도 또한 여기에 설명된 이미지 센서 시스템들에서의 판독 회로들에 의해 구현될 수도 있다. 노출 간격의 전체 길이 또는 다른 장면- 또는 사용자-의존 요인들에 따라, 상이한 샘플링 폴리시들이 선택되어 원하는 전력, SNR, 동적 범위, 또는 다른 성능 파라미터들을 만족시킬 수 있다.
비파괴적 임계치 모니터링을 이용하는 고 SNR 이미지 센서
도 2 에 도시된 3-트랜지스터 (3T) 픽셀 아키텍처가 많은 애플리케이션들에 적용가능하지만, 포토다이오드와 소스 폴로어 사이 (즉, 도 2 의 엘리먼트 (74) 와 감광성 엘리먼트 (65) 의 노드 "VDET" 사이) 에 배치된 "전송 게이트" 를 갖는 4-트랜지스터 (4T) 설계들은 다수의 이점들을 제공한다. 우선, 소스 폴로어의 게이트에서 현재 절연된 플로팅 확산은 포토다이오드의 전하 상태를 방해하는 일 없이 리셋되어 (예를 들어, VDD 에 커플링되어), 전하 집적 전에 플로팅 확산의 노이즈 플로어가 샘플링된 후에 포토다이오드 전위의 후속 샘플링으로부터 감산되는 상관된 이중 샘플링 (correlated double-sampling; CDS) 동작을 가능하게 하여, 노이즈를 제거하고 SNR 을 상당히 개선시킬 수도 있다. 다른 이점은, 반직관적으로, 포토다이오드와 소스 폴로어 사이의 스위칭된 (즉, 전송 게이트를 통한) 연결이 소스 폴로어, 리셋 및 액세스 트랜지스터들이 다수의 포토다이오드들 중에서 공유될 수 있게 함에 따른 더 콤팩트한 픽셀 설계이다. 예를 들어, 공유된 소스 폴로어, 리셋 트랜지스터 및 액세스 트랜지스터를 갖는 4개의 "4T" 픽셀들의 세트를 구현하기 위해 단지 7개의 트랜지스터들만이 요구되어 (즉, 4개의 전송 게이트들 플러스 3개의 공유된 트랜지스터들), 픽셀 당 1.75개의 트랜지스터들 (1.75T) 의 평균을 발생시킨다.
픽셀 판독의 관점에서, 3T 픽셀에서 포토다이오드와 소스 폴로어 사이의 직접 연결은, 진행 중인 광전하 집적을 방해하는 일 없이 포토다이오드의 전하 상태가 판독되게 한다. 이러한 "비파괴적 판독" 능력은 전하 레벨이 미리 결정된 임계치 미만임을 샘플링 동작이 나타내는 경우 3T 픽셀이 집적 간격에 따라 샘플링된 후에 전하를 계속 집적하도록 (즉, 리셋되지 않도록) 조건부로 허용될 수도 있음에 따라 상술된 조건부 리셋 동작의 맥락에서 특히 유리하다. 그에 반해, 4T 픽셀 판독의 부분으로서 플로팅 확산과 포토다이오드 사이의 전하 전송은 포토다이오드의 상태를 방해하여, 조건부-리셋 동작에 대한 도전과제를 제시한다.
도 10 내지 도 14 와 관련하여 후술되는 다수의 실시형태들에서, 변경된 4T 픽셀 아키텍처는 픽셀 샘플 생성으로부터 리셋 임계치를 연관해제시켜 비파괴적 (그리고 또 CDS) 초과-임계치 결정을 가능하게 하는 방식으로 동작된다. 즉, 포토다이오드 내에 누적된 전하의 최종적인 레벨을 판독하는 것 (즉, 픽셀 샘플링 동작) 그리고 이러한 판독 (즉, 3T 픽셀 샘플링 동작에서와 같은 판독) 에 기초하여 포토다이오드를 조건부로 리셋하는 것 대신에, 예비 초과-임계치 샘플링 동작은 포토다이오드 내의 초과-임계치 상태의 검출을 가능하게 하도록 실행되고, 전체 포토다이오드 판독 (즉, 픽셀 샘플 생성) 은 예비 초과-임계치 검출 결과에 따라 조건부로 실행된다. 실제로, 전체 포토다이오드 판독으로부터 획득된 픽셀 값에 따라 포토다이오드를 조건부로 리셋하는 것 대신에, 전체 포토다이오드 판독은, 임계치가 초과되었는지 여부의 예비적인 그리고 대체로 비파괴적인 결정의 결과; 적어도 하나의 실시형태에서, 픽셀 값 생성으로부터 조건부-리셋 임계치를 연관해제시킴으로써 가능하게 되는 접근법을 조건으로 한다.
도 10 은, 상관된 이중 샘플링과 관련하여 조건부-리셋 동작을 가능하게 하도록 비파괴적 초과-임계치 검출 동작이 실행되는, 여기에서 "점진적 판독 픽셀" 이라고 지칭되는, 변경된 4T 픽셀 (250) 의 일 실시형태를 예시한 것이다. 더욱 완전히 후술되는 바와 같이, 초과-임계치 검출은, 초과-임계치 조건을 나타내는 것으로 결정되었을 때, 포토다이오드 상태의 더욱 완전한 판독을 트리거하는 포토다이오드 상태의 제한된 판독을 수반한다. 즉, 픽셀 (250) 은 제한된 초과-임계치 검출 판독으로부터 완전한 판독을 위해 점진적으로 판독되어 (후자는 초과-임계치 검출 결과에 따라 조건부적임) 여기서 점진적-판독 픽셀이라고 지칭된다.
도 10 을 여전히 참조하면, 점진적 판독 픽셀 (250) 은 포토다이오드 (260) (또는 임의의 다른 실행가능한 감광성 엘리먼트) 와 플로팅 확산 노드 (262) 사이에 배치된 전송 게이트 (251), 및 전송 게이트 (251) 의 제어 단자 (예를 들어, 게이트) 와 전송-게이트 로우 라인 (TGr) 사이에 커플링된 전송-인에이블 트랜지스터 (253) 를 포함한다. 전송-인에이블 트랜지스터 (253) 의 게이트는 전송-게이트 컬럼 라인 (TGc) 에 커플링되어, TGc 가 활성화될 때, TGr 상의 전위가 (임의의 트랜지스터 임계치를 마이너스하여) 전송-인에이블 트랜지스터 (253) 를 통해 전송-게이트 (251) 의 게이트에 인가되어, 포토다이오드 (260) 내에 누적된 전하가 플로팅 확산 (262) 으로 전송되고 픽셀 판독 회로부에 의해 감지될 수 있게 한다. 더욱 구체적으로는, 플로팅 확산 (262) 은, 그 자체가 판독 라인 Vout 과 공급 레일 (이 예에서는 VDD) 사이에 커플링되는 소스 폴로어 (255) (증폭 및/또는 전하-전압 변환 엘리먼트) 의 게이트에 커플링되어, 플로팅 확산 전위를 표현하는 신호가 픽셀 외측의 판독 로직에 출력될 수 있게 한다.
도시된 바와 같이, 로우-선택 트랜지스터 (257) 는 소스 폴로어와 판독 라인 사이에 커플링되어 픽셀들의 각각의 로우들에 의한 판독 라인으로의 멀티플렉싱된 액세스를 가능하게 한다. 즉, 로우-선택 라인들 ("RS") 은 픽셀들의 각각의 로우들 내의 로우-선택 트랜지스터들 (257) 의 제어 입력들에 커플링되고 한번에 감지/판독 동작들에 대한 픽셀들의 하나의 로우를 선택하도록 원-핫 (one-hot) 기초로 동작된다. 리셋 트랜지스터 (259) 는 또한 점진적 판독 픽셀 내에 제공되어 플로팅 확산이 공급 레일에 (즉, 리셋-게이트 라인 (RG) 이 활성화될 때) 스위칭가능하게 커플링되어 리셋될 수 있게 한다. 포토다이오드 그 자체는, 전송 게이트 (251) 와 리셋 트랜지스터 (259) 를 동시에 완전히 스위칭함으로써 (예를 들어, TGr 이 높은 동안 TGc 를 어서트함으로써), 또는 포토다이오드를 리셋-상태 플로팅 확산에 단순히 연결함으로써, 플로팅 확산과 함께 리셋될 수도 있다.
도 11 은 도 10 의 점진적 판독 픽셀 내의 일 예시적인 픽셀 사이클을 예시한 타이밍 다이어그램이다. 도시된 바와 같이, 픽셀 사이클은, 최종 2개의 페이즈 (phase) 들에서 최후의 점진적 판독을 유발하도록 수행된 별개의 동작들에 대응하여 5개의 간격들 또는 페이즈들로 분할된다. 제 1 페이즈 (페이즈 1) 에서, 리셋 동작은 전송-인에이블 트랜지스터 (253), 전송 게이트 (251) 및 리셋 트랜지스터 (259) 를 스위칭 온하도록 TGr, TGc 및 RG 라인들 상의 로직 하이 신호들을 동시에 어서트함으로써 포토다이오드 및 플로팅 확산 내에서 실행되어, 전송 게이트 (251), 플로팅 확산 (262) 및 리셋 트랜지스터 (259) 를 통해 포토다이오드 (260) 를 공급 레일에 스위칭가능하게 커플링한다 (예시된 시퀀스는, 예를 들어, 프레임의 시작시 무조건부 리셋으로 시작할 수 있고, 또한 선행하는 조건부 판독/리셋 동작으로부터 시작할 수 있다). 리셋 동작을 끝내기 위해, TGr 및 RG 신호들 (즉, 소위 신호 라인들 상에 인가되는 신호들) 이 작아져서, 전송 게이트 (251) (그리고 감지 게이트 및 리셋 트랜지스터) 를 스위칭 오프하여 포토다이오드가 다음 집적 페이즈 (페이즈 2) 에서 입사광에 응답하여 전하를 누적 (또는 집적) 하도록 인에이블되도록 한다. 마지막으로, 로우-선택 신호가 도 11 에 도시된 리셋 동작 동안 하이로 되지만, 이것은 주어진 로우 어드레스가 (예를 들어, 주어진 로우로 지향된 리셋 동안 TGr 및 RG 신호들을 상승시키는) 로우-특정 동작과 관련하여 디코딩될 때마다 로우-선택 신호를 상승시키는 구현-특정 로우 디코더의 결과일 뿐이다. 대안적인 실시형태에서, 로우 디코더는 도 11 에서 점선으로 된 RS 펄스로 나타낸 바와 같이 리셋 동안 로우-선택 신호의 어서션을 억제하기 위한 로직을 포함할 수도 있다.
집적 페이즈의 종단에서, 플로팅 확산이 (즉, 플로팅 확산을 공급 레일에 커플링하기 위한 RG 신호를 펄스화함으로써) 리셋된 후에 컬럼 판독 회로 내의 샘플-앤드-홀드 엘리먼트 (sample-and-hold element) 에 의해 샘플링된다. 후자의 동작은, 실제로, 리셋-상태 샘플-앤드-홀드 신호 (SHR) 를 펄스화하여 플로팅 확산의 상태를 판독 라인 Vout 을 통해 컬럼 판독 회로 내의 샘플-앤드-홀드 엘리먼트 (예를 들어, 스위치-액세스된 용량성 엘리먼트) 에 전달하는 동안 플로팅 확산의 노이즈 레벨을 샘플링하고 도시된 실시형태에서 관심 있는 픽셀 로우 (즉, RSi 에 의해 선택된 "i 번째" 픽셀 로우) 에 대한 로우-선택 신호를 어서트함으로써 실행된다.
페이즈 3 에서 노이즈 샘플을 획득한 후에, 초과-임계치 검출 동작은 페이즈 4 에서 전송-인에이블 트랜지스터 (253) 를 스위칭 온함과 동시에 TGr 라인을 부분적-온 "초과-임계치-검출" 전위 VTGpartial 로 상승시킴으로써 (즉, 이 실시형태에서는 TGc 가 이미 온이지만 로직 하이 TGc 신호를 어서트함으로써) 실행된다. 도 12 및 도 13 에 그래픽적으로 예시된 이 동작에 의해, VTGpartial 가 전송 게이트 (251) 의 제어 노드에 인가되어 전송 게이트를 "부분적 온" 상태 ("TG 부분적 온") 로 스위칭한다. 도 12 및 도 13 을 참조하면, 포토다이오드 (260) (이 예에서 핀드 포토다이오드), 전송 게이트 (251) 및 플로팅 확산 (262) 에 대한 정전기 전위 다이어그램들은 이들의 대응하는 개략적 단면 다이어그램들 아래에 도시된다. 나타낸 정전기 전위의 레벨들은 실제의 또는 시뮬레이팅된 디바이스에서 생성된 레벨들의 정확한 표현인 것으로 의도된 것이 아니라, 픽셀 판독 페이즈들의 동작을 예시하기 위한 일반적 (또는 개념적) 표현이라는 점에 주목한다. 전송 게이트 (251) 의 제어 노드로의 VTGpartial 의 인가시, 상대적으로 얕은 채널 전위 (271) 는 포토다이오드 (260) 와 플로팅 확산 (262) 사이에 형성된다. 도 12 의 예에서, 초과-임계치 검출 동작 (페이즈 4) 시에 포토다이오드 내의 누적된 전하의 레벨은 부분적-온 전송 게이트의 얕은 채널 전위를 통해 전하 전송을 가능하게 하기에 불충분하다. 이에 따라, 누적된 전하 레벨이 전송 게이트 (251) 의 제어 노드로의 VTGpartial 의 인가에 의해 확립된 과잉 임계치를 초과하지 않기 때문에, 포토다이오드로부터 플로팅 확산으로 어떠한 과잉도 존재하지 않으며 누적된 전하는 그 대신에 포토다이오드 내에서 방해받지 않는다. 그에 반해, 도 13 의 예에서, 누적된 전하의 보다 높은 레벨이 과잉 임계치를 초과하여, 누적된 전하의 일부분 (즉, 전송 게이트 부분적-온 정전기 전위보다 높은 전하 캐리어들의 서브세트) 이 플로팅 확산 노드 (262) 로 흘러나오고, 나머지 누적된 전하는 272 에 도시된 바와 같이 포토다이오드 내에 남아있다.
도 11, 도 12 및 도 13 을 여전히 참조하면, 초과-임계치 페이즈의 종단에서, 플로팅 확산의 전하 레벨은 샘플링되고 (즉, 신호 SHS 의 어서션에 응답하여) 신호-상태 샘플-앤드-홀드 엘리먼트 내에 홀드되어 임계치-테스트 샘플 -- 신호-상태 샘플과 이전에 획득된 리셋-상태 샘플 사이의 차이 -- 을 산출하여 조건부-리셋 임계치에 대해 평가된다. 하나의 실시형태에서, 조건부-리셋 임계치는 샘플링 노이즈 플로어보다 높지만 얕은 전송 게이트 채널을 통해 미소한 전하 과잉의 검출을 가능하게 하기에는 충분히 낮은 세팅으로 프로그래밍되거나 설정되는 (예를 들어, 감지 증폭기를 사용하여 비교-스트로브 신호에 응답하여 아날로그 임계치 테스트 샘플과 비교되는) 아날로그 임계치이다. 이에 따라, 임계치-테스트 샘플은 (예를 들어, 또한 완결된 픽셀 샘플 값을 생성하는데 사용되는 아날로그-디지털 변환기 내에서의) 변환-스트로브 신호의 어서션에 응답하여 디지털화된 후에, 다시, 노이즈 플로어보다 높지만 트레이스 전하 과잉의 검출을 가능하게 하기에는 충분히 낮게 설정된 (또는 세팅으로 프로그래밍된) 디지털 조건부-리셋 임계치와 비교될 수도 있다. 어느 경우라도, 임계치-테스트 샘플이 검출가능한 과잉이 발생하지 않았음을 나타낸다면 (즉, 임계치-테스트 샘플 값이 조건부-리셋된 과잉 전하 임계치보다 더 작다면), 포토다이오드는 도 12 에 도시된 임계치 미만 상태에 있는 것으로 여겨지고, TGc 라인은 다음 조건부 판독 페이즈 (페이즈 5, 최종 페이즈) 에서 로우로 홀드되어 나머지 점진적 판독 동작 - 실제로, 포토다이오드로부터 추가 판독을 불가능하게 하여 적어도 다른 샘플링 간격에 대한 방해 없이 포토다이오드가 전하를 계속 집적할 수 있게 하는 것을 위해 전송 게이트 (251) 를 디스에이블시킨다. 그에 반해, 임계치-테스팅 샘플이 과잉 이벤트를 나타낸다면 (즉, 임계치-테스트 샘플이 조건부-리셋된 과잉 전하 임계치보다 더 크다면), TGr 라인으로의 완전히-온 "나머지-전송" 전위 VTGfull 의 인가와 동시에 TGc 라인이 조건부 판독 페이즈 동안 펄스화되어, 포토다이오드 (260) 내의 전하 (272) 의 나머지가 전체-심도 전송-게이트 채널 (273) 을 통해 플로팅 확산 (262) 으로 전송될 수 있게 하여, 페이즈 4 에서의 초과-임계치 전송과 페이즈 5 에서의 나머지 전송 사이에서, 페이즈 1 에서의 하드 리셋 이후에 포토다이오드 내에 누적된 전하가 플로팅 확산으로 완전히 전송되고, 이는 픽셀 판독 동작에서 감지될 수도 있다. 도시된 실시형태에서, 픽셀-판독 동작은 조건부 판독 페이즈 5 동안 SHS 신호와 비교/변환 스트로브를 순차적으로 펄스화하는 것에 의해 발생되지만, 이들 펄스들 중 어느 하나 또는 양쪽 모두는 옵션적으로 초과-임계치 검출의 부존재시 억제될 수도 있다. 포토다이오드의 (즉, TGr 로의 VTGfull 의 인가와 관련하여 TGc 를 펄스화하는 것에 의해 발생되는) 조건부 판독이 포토다이오드를 효과적으로 리셋하지만, 조건부 판독의 억제가 포토다이오드의 집적 상태를 방해하지 않게 한다는 점에 주목한다. 이에 따라, 조건부 판독 동작의 실행은 후속 샘플링 간격 (서브프레임) 에서의 새로운 집적에 대비하여 포토다이오드를 조건부로 리셋하거나 또는 후속 샘플링 간격에서 누적되는 집적을 가능하게 하도록 포토다이오드를 리셋하는 것을 중단시킨다. 따라서, 어느 경우라도, 새로운 프레임에서 하드 리셋을 반복하기 전에, 새로운 집적 페이즈는 페이즈 5 에 후속하고, 페이즈들 2 내지 5 는 전체 프레임 (또는 노출) 간격의 각 서브프레임에 대해 반복된다. 다른 실시형태들에서, 누적되는 집적이 프레임 경계들에 걸쳐 허용되는 경우, 하드 리셋 동작이 실행되어 이미지 센서를 초기화시키고 그 후의 불명확한 기간 동안 생략될 수도 있다.
도 14 는 점진적-판독 픽셀 어레이 (301), 시퀀싱 로직 (303), 로우 디코더/드라이버 (305) 및 컬럼 판독 회로 (307) 를 갖는 이미지 센서 (300) 의 일 실시형태를 예시한 것이다. 픽셀 어레이 (301) 가 공유된-엘리먼트 픽셀들의 4개의 로우들 및 2개의 컬럼들을 포함하는 것으로 도시되지만, 다른 실시형태들은 구현하기 위한 더욱 많은 픽셀 로우들 및 컬럼들, 예를 들어, 멀티-메가픽셀 또는 기가픽셀 이미지 센서를 포함할 수도 있다. (판독 회로부의 2개의 컬럼들이 나타나 있는) 컬럼 판독 회로 (307) 및 로우 디코더/드라이버 (304) 는 마찬가지로 픽셀 어레이에서의 픽셀들의 수를 만족시키도록 스케일링될 수도 있다.
도시된 실시형태에서, 픽셀 어레이의 각 컬럼은, 매 4개의 픽셀들이 쿼드 픽셀 셀 (310) 을 형성하고 각각의 포토다이오드들 (260) (PD1 내지 PD4), 전송 게이트들 (251), 및 전송-인에이블 게이트들 (253) 을 포함하지만 플로팅 확산 노드 (312), 리셋 트랜지스터 (259), 소스 폴로어 (255) 및 로우-선택 트랜지스터 (257) 를 공유하는 공유된-엘리먼트 픽셀들에 의해 채워진다. 이러한 배열에 의해, 픽셀 당 평균 트랜지스터 카운터는 2.75 (즉, 11개의 트랜지스터들/4개의 픽셀들) 여서, 비교적 효율적인 2.75T-픽셀 이미지 센서를 발생시킨다.
도시된 바와 같이, 로우 디코더/드라이버 (305) 는 공유된 로우-선택 신호 (RS) 및 리셋-게이트 신호 (RG) 를 쿼드 픽셀 셀들 (310) 의 각 로우에 출력하고, 독립적인 로우 전송-게이트 제어 신호들 (TGr1 내지 TGr4) 을 각각의 전송-인에이블 트랜지스터들 (253) 의 드레인 단자들에 출력한다. 로우 디코더/드라이버 (305) 가 어레이의 로우들을 통해 점차적으로 시퀀싱하는 (예를 들어, 하나의 로우가 다른 로우 이후에 판독되도록 픽셀 어레이 (301) 의 로우들에 대해 리셋, 집적 및 점진적 판독 동작들을 파이프라이닝하는) 일 실시형태에서, 로우 디코더/드라이버는 각각의 로우에 대해 적절한 시간에 RG, RS 및 TGr 신호들을 어서트하기 위한 (예를 들어, 시퀀싱 로직 (303) 으로부터의 로우 클록에 대해 이들 신호들을 통합하는) 로직을 포함할 수도 있다. 대안적으로, 로우 디코더/드라이버 (305) 는 RG, RS 및 TGr 신호들 중 임의의 신호 또는 각각의 신호에 대응하는 각각의 타이밍 신호들을 수신하여, 적절한 시간에 선택된 로우의 대응하는 RG, RS, 또는 TGr 라인들로의 임의의 각각의 인에이블 펄스를 멀티플렉싱할 수도 있다. 하나의 실시형태에서, 로우 디코더/드라이버는 온-칩 또는 오프-칩 프로그래밍가능 전압 소스 (309) 로부터 도 11, 도 12 및 도 13 에 도시된 오프 상태, 부분적-온 상태, 완전히-온 상태에 대응하는 전송-게이트 제어 전압들 (즉, VTGoff, VTGpartial, VTGfull) 을 수신하여, 예를 들어, 도 11 에 도시된 바와 같이, 결정적 시간에 상이한 제어 전압들 각각을 주어진 전송-게이트 로우 라인에 스위칭가능하게 커플링한다. 대안적인 실시형태들에서, 2개 이상의 전압 소스 (309) 는 전송-게이트 제어 전압들이 로컬로 교정되어 픽셀 어레이에 걸친 제어-전압 및/또는 성능 변동들 (즉, 비균일성) 을 보상할 수 있게 하도록 이미지 센서 (300) 내에 제공될 수도 있다.
도 14 의 실시형태를 여전히 참조하면, 컬럼 판독 회로 (307) 는 판독 회로들 (315) 의 뱅크를 포함하고, 이 각각은 디지털 임계치 비교기 및 비교적 낮은 비트-심도 아날로그-디지털 변환기 (예를 들어, 더 낮거나 더 높은 비트 심도 ADC들이 채용될 수도 있지만, 4-10 비트 ADC) 를 구현하여, 도 11 내지 도 13 과 관련하여 설명된 바와 같이 초과-임계치 검출 및 조건부 샘플링 동작들 각각을 실행한다. 하나의 구현에서, 임계치 비교기 및 ADC 는 개별 회로들에 의해 구현되어, 픽셀 샘플 값이 초과-임계치 결정에 적용되는 조건부-리셋 임계치에 상관없이 생성될 수도 있다. 이러한 접근법을 통해, 조건부-리셋 임계치는 ADC 변환에 사용된 기준 신호들 ("ADC Vrefs") 로부터 연관해제되어, 조건부-리셋 임계치 및 ADC 기준 전압들이 해방되어 센서 동작 동안 또는 센서 동작 이전에 동적으로 (예를 들어, 임계치-기준 제너레이터를 재프로그래밍하는 것을 통해) 독립적으로 조정되어 교정을 달성하거나 및/또는 동작 조건들 또는 준최적의 이미징 결과들의 변경을 보상한다. 대안적인 실시형태에서, 임계치 비교기는 (예를 들어, 조건부-리셋 임계치로서 디지털 샘플 값을 분석하는 것과 관련하여 적용된 기준을 사용하여) ADC 의 부분으로서 구현될 수도 있어서, 더욱 콤팩트한 회로 설계를 통해 컬럼 판독 로직의 풋프린트를 잠재적으로 감소시킨다.
도시된 실시형태에서, 시퀀싱 로직은 컬럼 클록, 샘플-앤드-홀드 스트로브들 (SHR, SHS), 및 비교/변환 스트로브를 컬럼 판독 로직에 전달하여, 예를 들어, 도 11 에 도시된 동작 타이밍을 가능하게 한다. 즉, 초과-임계치 검출 페이즈 (즉, 페이즈 3) 동안, 주어진 픽셀 컬럼에 대한 판독 회로는 TGc 라인을 어서트하여 (또는 TGc 라인의 어서션을 유지하여), 로우 디코더/드라이버가 주어진 픽셀 로우에 대한 TGr 라인을 부분적-온 전위 (예를 들어, 픽셀 로우의 전송 게이트들에 인가되는 VTGpartial) 로 스위칭할 때, 상술된 초과-임계치 검출 동작의 실행이 가능하게 된다. 이에 따라, 각각의 판독 회로 내의 임계치 비교기는 조건부-리셋 임계치에 대해 (주어진 포토다이오드의 전송 게이트로의 VTGpartial 의 인가에 후속하여 공유된 플로팅 확산 (312) 의 상태에 따라 생성되는) 임계치-테스트 샘플의 상태를 평가하여 2진 초과-임계치 결과를 산출한다. 초과-임계치 조건이 검출되는 경우, 판독 회로는 (즉, Vout 에 대한 포토다이오드 상태의 전체 판독을 가능하게 하고 포토다이오드를 리셋하는, 조건부 판독 동작을 수행하기 위한 완전히-온 TGr 전위 (VTGfull) 와 관련하여) TGc 신호를 짧은 시간 후에 다시 상승시키고 비교/변환 스트로브의 어서션에 응답하여 아날로그-디지털 변환 동작을 실행하여 디지털화된 픽셀 샘플을 산출한다.
조건부 전하 복구를 이용하는 상관된 이중 샘플링
도 15 는 상관된 이중 샘플링을 가능하게 하기 위한 감광성 엘리먼트 (331) (예를 들어, 핀드 포토다이오드) 와 게이트-제어된 감지 노드 (335) 사이에 배치된 전송 게이트 (333) 를 갖는 대안적인 조건부-리셋 픽셀 실시형태 (330) 를 예시한 것이다. 도시된 바와 같이, 감지 노드 (335) 는 감지 게이트 (337) 에 의해 확립되고 (예를 들어, 감지 게이트 하부의 채널은 포토게이트 제어 트랜지스터 (341) 를 통해 인가된 프리차지 전위 VPG 에 응답하여 감지 노드를 형성하고) 감지 게이트의 게이트 단자를 통해 소스 폴로어 (339) 의 게이트에 용량성 커플링된다. 감지 게이트 (337) 는 전송 게이트 (333) 와 리셋 게이트 (343) 사이에 배치되어, 후술되는 바와 같이, 포토다이오드 (331) 로부터 감지 노드 (335) 로 전송된 전하가, 예를 들어, 픽셀의 전하 레벨 판독이 조건부 리셋 임계치를 초과하는지 여부에 따라, (i) 리셋 동작을 수행하도록 리셋 게이트 (343) 를 통해 공급 전압 노드 (340) (Vdd/Vrst) 로 방전될 수 있게 하거나, 또는 (ii) 추가 전하 집적을 가능하게 하도록 전송 게이트 (333) 를 통해 포토다이오드 (331) 로 되전송될 수 있게 한다. 또한, 감지 노드 (335) 와 포토다이오드 (331) 사이의 전송 게이트의 배치는 상관된 이중 샘플링 동작을 가능하게 하여, 포토다이오드로부터의 전하-전송 전후에 감지 노드를 샘플링하여 소스 폴로어 (339) 와 로우-선택 트랜지스터 (325) 를 통해 고 SNR 픽셀 판독을 발생시킨다. 따라서, 전체적으로, 픽셀 아키텍처 (330) 는 포토다이오드 전하 상태의 저-노이즈 상관된 이중 샘플링을 가능하게 하여, 판독 결과가 포토다이오드 (331) 내의 초과-임계치 조건을 나타내는지 여부에 따라 리셋 동작 또는 전하 복구 동작 (즉, 포토다이오드로 전하를 다시 드라이브함) 중 하나가 후속한다.
도 16 은 도 15 의 조건부-리셋 픽셀의 픽셀 사이클 내의 예시적인 동작 페이즈들을 예시한 것이고, 도 17 은 동작의 각 페이즈 동안 생성된 예시적인 제어 신호 상태들을 도시한 대응하는 타이밍 다이어그램을 제시한 것이다. 도 18a 내지 도 18g 는 도 16 및 도 17 에 도시된 동작 페이즈들 동안 조건부-리셋 픽셀의 예시적인 정전기 전위 상태들을 예시한 것이다. 도 16 및 도 17 을 참조하면, 하드 리셋 (361) 은 프리차지 전압 소스 (VPG) 를 로직 하이 레벨로 설정하고 로우-선택 (RS), 전송 게이트 (TG), 포토게이트 (PG) 및 리셋 게이트 (RG) 신호들을 어서트함으로써 픽셀 사이클의 페이즈 1 에서 수행된다 (이 중 마지막은 픽셀 입도에서 리셋을 가능하게 하도록 로우 및 컬럼 제어 신호들을 논리적으로 AND 함으로써 생성될 수도 있다). 이 동작에 의해, 전송 게이트, 감지 게이트 및 리셋 게이트는 스위칭 온되어 (감지 게이트는 포토게이트 제어 트랜지스터를 통해 VPG 에의 감지 게이트 제어 노드의 스위칭된 커플링에 의해 스위칭 온됨) 포토다이오드와 공급 전압 레일 (예를 들어, VDD 또는 Vrst) 사이의 전도성 채널을 형성한다. 리셋 동작 동안 조건부-리셋 픽셀의 상태는 도 18a 에 도시되고, 전도성 채널은 381, 383 및 385 각각으로 도시된 전송 게이트, 소스 게이트 및 리셋 게이트 아래에 형성된다.
리셋 페이즈를 끝내고 전하 집적 (즉, 포토다이오드 상에 입사된 광에 응답하는 전하 누적) 을 준비하기 위해, 포토다이오드와 공급 전압 레일 사이의 전도성 채널 (즉, 381/383/385) 은 전송 게이트에서 시작하고 공급 레일 노드를 향해 진행되어 핀치 오프된다. 즉, 도 18b 에 도시된 바와 같이, 전송 게이트가 우선 스위칭 오프된 후에, 감지 게이트가, 그리고 그 후에 리셋 게이트가 스위칭 오프되고, 도 17 의 TG, PG 및 RG 제어 신호들의 연속적인 하강 에지들에 의해, 공급 전압 레일에 대한 콜랩싱 (collapsing) 채널로부터 나머지 전하를 드라이브한다.
페이즈 1 에서 포토다이오드 리셋 동작을 끝낸 후에, 전송 게이트, 포토게이트 제어 트랜지스터 및 리셋 게이트는, 도 18c 에서 전자 분포 ("e") 에 의해 예시된 바와 같이 입사광에 응답하여 포토다이오드 내에 전하가 집적 (누적) 되는 집적 페이즈 363 (페이즈 2) 전반에 걸쳐 비전도 상태에서 유지된다.
집적 페이즈 363 직후에, 포토게이트 제어 신호 (PG) 를 펄스화하여 신호 감지 동작에 대비하여 (즉, 도 18d 에서 391 ("SN") 로 도시된 바와 같이) 감지 노드의 형성을 발생시키고, 소스 폴로어의 출력을 Vout 라인 (즉, 비트 라인) 에 커플링하기 위한 로우-선택 신호를 상승시킴으로써 판독 페이즈 365 가 시작된다. 이 동작에 의해 비트 라인이 Vdd 에 가까워져서 판독 동작에 대비하여 프리차지된다는 점에 주목한다. 포토게이트 제어 신호를 펄스화하여 감지 노드를 형성하고 Vout 라인을 프리차지한 후에, 상관된 이중 샘플링 동작은, (i) Vout 라인의 상태를 저장하도록 리셋-상태 샘플-앤드-홀드 스트로브 (SHR) 를 펄스화함으로써 컬럼 판독 회로의 리셋-상태 샘플-앤드-홀드 엘리먼트 내의 리셋-상태 샘플을 캡처하는 것, (ii) 전송 게이트 신호 (TG) 를 펄스화하여 포토다이오드와 감지 노드 사이의 전도 경로를 확립하여 도 18e 에 도시된 바와 같이 포토다이오드로부터 감지 노드로의 전하 전송을 발생시키는 것, 그리고 그 후에 (iii) 신호-상태 샘플-앤드-홀드 스트로브 (SHS) 를 펄스화하여 컬럼 판독 회로의 신호-상태 샘플-앤드-홀드 엘리먼트 내에 포토다이오드 상태의 샘플을 저장하는 것, 및 (iv) 비교/변환 신호를 펄스화하여 신호-상태와 리셋-상태 샘플들 사이의 차이의 A/D 변환을 트리거하는 것에 의해 수행된다.
도 16 에 나타낸 바와 같이, 판독 페이즈 365 동안 획득된 상관된 이중 샘플 결과는 조건부-리셋 임계치와 비교되어 포토다이오드를 리셋할지 또는 포토다이오드 리셋 없이 추가 집적을 가능하게 할지 여부를 결정하고, 대안적인 조건부 동작들은 페이즈 4 에서 실행된다. 더욱 구체적으로, 이러한 샘플 결과가 조건부-리셋 임계치를 초과한다면, 조건부 리셋 367 은 하드-리셋 페이즈 1 에서와 같이 전송-게이트, 포토게이트 제어 트랜지스터 및 리셋 게이트 신호들을 펄스화함으로써 픽셀 사이클의 페이즈 4 에서 수행된다. 그에 반해, 샘플 결과가 조건부-리셋 임계치를 초과하지 않는다면, 어떠한 리셋 동작도 수행되지 않으며 (즉, RG 신호는 로우로 홀드되며) 그 대신에 조건부 전하 복구 동작 369 는 감지 노드로부터의 전하를 포토다이오드 상으로 다시 밀어내는 (즉, 전하를 포토다이오드 상으로 되미는) 레벨로 VPG 전위를 낮춤으로써 실행되어 , 포토다이오드를 그의 프리차지-전송 상태로 복구시킨다. 이 동작은 도 18f (VPG 를 낮춤으로써 제거된 감지-노드) 및 도 18g (포토다이오드 상으로 전하를 다시 보내도록 스위칭 오프된 전송 게이트) 에 도시된다. 이에 따라, 포토다이오드 상태는, 판독 페이즈에서 샘플링된 포토다이오드 상태가 초과-임계치 조건을 나타내는지 여부에 따라, 집적이 새롭게 시작될 수 있도록 리셋되거나 또는 그의 전하-누적된 상태로 복구되어 누적되는 집적을 가능하게 한다 (즉, 페이즈 3 전하-전송 동작 전에 존재한 포토다이오드 상태에서부터 계속 집적한다). 어느 경우라도, 페이즈 4 에 후속하여 추가 집적 페이즈가 시작되고, 페이즈들 2 내지 4 는 프레임 간격 당 샘플링 간격들 (또는 서브프레임들) 의 수에 따라 반복된다.
도 19 는 도 16 내지 도 18g 를 참조하여 설명된 조건부-리셋/조건부-복구 동작들을 실행하는 것이 가능한 조건부-리셋 픽셀 (410) 의 더욱 상세한 실시형태를 예시한 것이다. 도 15 를 참조하여 설명된 포토다이오드 (331), 전송 게이트 (333), 감지 게이트 (337), 소스 폴로어 (339), 포토게이트 트랜지스터 (341), 리셋 게이트 (343), 및 로우-선택 트랜지스터 (345) 에 추가적으로, 조건부-리셋 픽셀 (410) 은 리셋-인에이블 트랜지스터 (412) 를 포함하여 컬럼-리셋 신호 (RST) 와 로우-선택 신호들 (RS) 의 로직 AND 를 발생시켜서, 로우의 선택된 (각각의) 픽셀들 내의 리셋 게이트 신호 (RG) 의 어서션, 및 리셋 동작을 각각의 픽셀 입도에서 수행될 수 있게 한다. 도시된 구현에서, 리셋 신호 (RST) 는 컬럼 기반 신호 라인을 통해 수직으로 (즉, 컬럼 로직으로부터) 제공되고 스위칭 엘리먼트 (412) 내의 로우-선택 디바이스와 로컬로 AND 되어 도 15 를 참조하여 설명된 리셋 게이트 신호 (RG) 를 산출한다. 이 배열에 의해, 픽셀 (410) 내의 하드 리셋 및 조건부 리셋 동작들은 주어진 픽셀과 연관된 로우 및 컬럼 제어 신호들 (로우-선택, RS 및 컬럼-리셋, RST) 양쪽 모두의 동시발생 어서션을 통해, 그리고 그에 따라 픽셀 입도에서 발생된다 (즉, 픽셀 어레이 내의 단일 픽셀은 픽셀 리셋 동작들의 목적들을 위해 절연될 수도 있다). 이에 따라, 픽셀 (410) 은 도 16 및 도 17 을 참조하여 설명된 픽셀 사이클 페이즈들에 대해 각각 동작될 수 있어서, 임의의 각각의 픽셀에 대한 조건부 리셋을 가능하게 하면서 또한 비파괴적 판독에서 상관된 이중 샘플링을 위해 제공한다. 이 제안된 구조는 조건부 리셋 픽셀 센서에 대한 유리한 판독 방식을 달성하여, 종래의 센서 판독으로부터 획득된 것보다 상당히 더 넓은 신호 범위에서 주어진 픽셀의 효과적이고 정확한 측정을 가능하게 한다. 도 14 의 실시형태와 마찬가지로, 도 19 는 또한 다수의 포토다이오드들 (331) 및 전송 게이트들 (333) 이 도 19 의 다른 픽셀 회로부를 공유하도록 배열될 수 있다.
아날로그 비상관된 이중 샘플링 및 디지털 상관된 이중 샘플링
도 20 은 디지털 상관된 이중 샘플링과 아날로그 비상관된 이중 샘플링 양쪽 모두를 통해 샘플링 노이즈 감소를 허용하는 조건부-리셋 3T 픽셀 (450) 및 판독 회로부 (470) 의 일 실시형태를 예시한 것이다. 도시된 바와 같이, 3T 픽셀은 포토다이오드 (451), 소스 폴로어 (453), 판독-선택 트랜지스터 (455), 및 로우-선택 및 컬럼-리셋 신호들의 로직 AND 를 수행하여, 이들 2개의 제어 신호들이 어서트될 때, 포토다이오드를 공급 레일에 스위칭가능하게 커플링하기 위한 2개의 트랜지스터들 (457 및 459) 를 포함하는 리셋-AND 게이트를 포함한다. 판독 회로부 (470) 는 데이터-출력 라인 (471) (즉, 판독-선택 트랜지스터 (455) 를 통해 포토다이오드 상태를 수신하도록 커플링됨), 기준 라인 (472) (즉, 온-칩 또는 오프-칩 기준 전압 소스에 커플링됨), 샘플-앤드-홀드 엘리먼트들 (473 및 475), ADC (477), 선택적 보완 로직 (479) 및 메모리 (481) 를 포함한다.
집적 간격에 후속하는 아날로그 비상관된 이중 샘플에서, 포토다이오드 상태는 신호 샘플링 동작에서 신호-상태 샘플-앤드-홀드 엘리먼트 (473) (즉, 용량성 노드 (S) 상의 전하 레벨을 샘플링하고 홀드하도록 엘리먼트 (473) 내의 스위치를 폐쇄한 후에 개방함) 내에 캡처되고; 컬럼-리셋 ("col-reset") 및 로우-선택 신호들의 동시발생 어서션을 통해 리셋된 후에; 다시 샘플링되어 리셋/기준 샘플-앤드-홀드 엘리먼트 (475) 내의 포토다이오드 리셋 상태를 샘플링하고 홀드할 수도 있다. 포토다이오드의 전하-누적된 상태와 리셋 상태 사이의 (즉, 엘리먼트들 (473 및 475) 각각의 저장 노드들 (S 및 R) 내에 캡처된) 차이는 그 후에 ADC (477) 내에서 디지털화되어 시스템적 오프셋 (즉, 포토다이오드 및 소스 폴로어 오프셋의 리셋 상태의 비제로이지만 반복되는 부분) 이 상쇄된 최종 샘플 값을 산출할 수도 있다. 그에 따라 획득된 이중 샘플은 포토다이오드 리셋 동작이 신호 샘플링 동작에 후속하기 때문에 여기에서 "비상관된" 이중 샘플이라고 지칭되고, 이는 리셋 동작에 후속하는 포토다이오드 (451) 상의 임의의 나머지 전하 (예를 들어, 서멀 노이즈, kTC) 가 전하 집적 간격 및 신호 샘플링 동작들에 선행한 이전 리셋에서 포토다이오드 상의 임의의 나머지 전하에 대한 상관 없이 발생한다는 것을 의미한다.
디지털 상관된 이중 샘플링 동작의 경우, 포토다이오드 (451) 의 리셋 상태 (즉, 로우-선택 및 col-reset 신호들의 동시발생 어서션 직후의 포토다이오드 상태) 가 샘플링되고, ADC (470) 내에서 디지털화되며 메모리 엘리먼트 (479) 내에 형성된 (즉, 메모리 (481) 로의 경로 상의 선택적 보완 로직 (479) 의 보완 브랜치 (480) 를 개념적으로 통과하는) 네거티브 값으로서 저장될 수도 있다. 집적 간격이 발생한 후에, 포토다이오드 (451) 의 전하-누적된 상태가 샘플링되고, 디지털화되며 메모리 (481) 에 (즉, 로직 (479) 의 비-보완 브랜치를 통한) 보완 없이 전달되고 결국 리셋-상태 샘플의 네거티브 값과 합산되어 상관된 이중 샘플을 산출할 수도 있다. 전체 샘플링 동작은 포토다이오드 (451) 의 리셋 및 전하-누적된 상태들의 디지털 저장으로 인해 여기에서 디지털 상관된 이중 샘플링이라고 지칭된다. 디지털 상관된 이중 샘플링에서, 기준에 대한 누적 전과 후 양쪽 모두를 비교함으로써 샘플링이 수행된다. 양쪽의 경우들에서, 포토다이오드로부터의 신호가 샘플 및 홀드 커패시터 (473) 상에 저장되고, 기준이 샘플 및 홀드 커패시터 (475) 상에 저장되며 ADC 는 이들 2개의 샘플 및 홀드 커패시터들에 저장된 샘플들 사이의 차이를 측정한다.
도 21 은 도 20 의 조건부로-리셋 3T 픽셀 및 판독 아키텍처 내의 감소된-노이즈 픽셀 판독을 달성하기 위해 수행될 수도 있는 하나 이상의 아날로그 비상관된 이중 샘플링 동작들과의 디지털 상관된 이중 샘플링 동작의 조합을 예시한 플로우 다이어그램이다. 노출 또는 프레임 감격의 시작에서, 501 에서 하드 리셋 동작이 수행되어 포톤-유도된 전하 집적에 대비하여 포토다이오드를 리셋하고, 그 후에 503 에서 (예를 들어, 도 2 의 기준 라인 472 를 통해 전달되는) 기준 신호에 대한 포토다이오드 리셋-상태의 샘플이 후속한다. 결과적인 "기준에 대한 샘플" 은 505 에서 메모리 내에 (즉, 로직 (479) 의 보완 브랜치를 통과하는) 네거티브 값으로서 저장된다 (이와 동등하게, 503 에서 취득된 샘플은 포지티브 값으로서 저장된 후에, 제 2 샘플에 대한 감산을 위해 추후 호출될 수 있다). 집적 주기가 발생한 후에 (507), 509 에서 포토다이오드 상태가 다시 기준에 대해 샘플링된다. 즉시 끝난 집적 주기가 고정된 프레임 간격의 최종 집적 주기였다면 (511 에서 긍정적 결정), 509 에서 획득된 샘플이 521 에서 메모리에 추가되어 (즉, 505 에서 저장된 네거티브 리셋-상태 샘플과 521 에서 저장된 포지티브 누적된 전하 샘플 사이의 차이를 확립하는 (또는 결정을 가능하게 하는)) 디지털 상관된 이중 샘플링을 발생시킨다. 507 에서 집적 주기가 노출 간격에서의 마지막 집적 주기가 아니라면 (511 에서 부정적 결정), 509 에서 획득된 샘플은 판정 동작 513 에서 조건부-리셋 임계치 (θ) 와 비교된다. 샘플이 포토다이오드 내에 누적된 전하가 임계치보다 더 작음을 나타낸다면 (513 에서 부정적 결정), 507, 509 및 511 에서의 동작들이 반복되어 다른 집적 주기를 통해 포토다이오드 내에 (즉, 포토다이오드 리셋 없이) 전하 누적이 재개되도록 하고, 그 후에 다시 마지막 집적 주기가 발생하였는지 여부 그리고, 아니라면, 조건부-리셋 임계치가 초과되었는지 여부에 관한 결정이 후속한다.
도 21 을 여전히 참조하면, 509 에서 획득된 샘플이 조건부-리셋 임계치가 초과되었음을 나타낸다면 (즉, 누적된 포토다이오드 전하 > θ), 리셋 동작이 515 에서 실행되어 포토다이오드를 리셋하고, 그 후에 517 에서 리셋 전위에 대한 신호 샘플의 생성이 후속한다. 더욱 구체적으로는, 509 에서 즉시 선행하는 샘플링 동작에 후속하여 신호-상태 샘플이 신호-상태 샘플-앤드-홀드 엘리먼트 (즉, 도 20 의 엘리먼트 (473)) 내에 유지되어, 리셋/기준 샘플-앤드-홀드 엘리먼트 (즉, 도 20 의 엘리먼트 (475)) 의 입력 소스를 기준 라인으로부터 Vout 라인으로 스위칭하고 Vout 라인을 리셋/기준 샘플-앤드-홀드 엘리먼트 내에서 샘플링함으로써, 이전에 획득된 신호-상태 샘플 및 새롭게 획득된 리셋-상태 샘플이 차동적으로 (즉, 신호 상태 마이너스 리셋 상태) 아날로그-디지털 변환기에 전달되어 아날로그 비상관된 이중 샘플링을 디지털화할 수도 있다. 실제로, 픽셀-상태가 리셋되어야 한다는 결정 (즉, 513 에서 긍정적 결정) 은, 리셋/기준 샘플-앤드-홀드 엘리먼트 내의 기준 샘플에 대한 포토다이오드 리셋-상태 샘플의 대체를 트리거하여, 아날로그 비상관된 이중 샘플의 생성을 허용한다.
도시된 바와 같이, 아날로그 비상관된 이중 샘플의 디지털화된 값이 519 에서 메모리에 추가된 후에 새로운 집적 주기 및 다음 동작들이 507 에서 시작된다. 최종 집적 간격에서, 509 에서 획득된 기준에 대한 샘플은 상술된 바와 같이 521 에서 메모리에 추가되어, 노출 간격을 끝낸다. 이에 따라, 조건부 리셋 동작들 515 의 일부 비-제로 수 (N-1) 이 주어진 노출 간격 내에서 수행된다고 가정하면, 누적되 샘플 세트는 다음과 같을 것이다:
여기서 "SS" 는 신호-상태 (즉, 전하-누적된 포토다이오드의 상태 플러스 이전 리셋 상태) 샘플이고, "RS" 는 리셋-상태 샘플이고, "Ref" 는 기준 라인 상태 샘플이고, '-' 및 '+' 는 각각 감산 및 가산을 나타낸다. 즉, N-1 아날로그 비상관된 이중 샘플링 동작들은 디지털 상관된 이중 샘플링 동작에 의해 북엔드 (bookend) 된다. 또한, 각각의 아날로그 비상관된 이중 샘플링 동작 자체가 2개의 상이한 리셋 동작들 (즉, 중간 SS 샘플링에 후속하는 리셋 동작 515 및 SS 샘플에서 샘플링된 집적 값에 선행하는 것) 과 연관된 노이즈 (예를 들어, kTC 노이즈) 의 캡처 및 차별화를 수반하기 때문에, 하나의 아날로그 비상관된 이중 샘플에 대해 캡처된 리셋 상태는 사실상 후속 비상관된 이중 샘플에 대해 캡처된 신호 상태와 상관된다. 즉, 
를 규정함으로써 상기 식 (1) 을 확장하면 (여기서 CI 는 마지막 리셋 동작 이후에 집적된 전하 플러스 양자화/다른 비정상 노이즈이다), 다음을 산출한다:
재연관시, 다음과 같이 나타낼 수도 있다:
따라서, 아날로그 비상관된 이중 샘플링 동작들과 디지털 상관된 이중 샘플링 동작들의 조합은, 실제로, 완전히 상관된 이중-샘플링 동작들의 세트를, 집적 간격의 시작과 끝에서 획득된 기준 신호 샘플 사이의 차이와 함께 산출하고, 후자는 상대적 시간 노이즈가 없는 기준 소스의 경우 무시해도 된다.
도 22 는 (1) 도 21 의 503 및 509 에서 도시된 기준 동작들에 대한 샘플, 및 (2) 도 21 의 517 에서 도시된 리셋 동작에 대한 샘플 동안 신호-상태 및 리셋/기준 샘플-앤드-홀드 엘리먼트들 내의 예시적인 스위치 세팅들을 도시한, 도 20 의 픽셀 아키텍처 및 판독 회로의 더욱 상세한 실시형태를 예시한 것이다. 도 22 에 도시된 바와 같이, 여기에 개시된 모든 판독 회로들과 같은 판독 회로는, 1 보다 더 크거나 1 과 실질적으로 동일한 이득을 제공하기 위한 이득 엘리먼트 (501) 를 포함할 수도 있다. 또한, 2개의 픽셀들 (450) (4500 및 4501 로 도시됨) 은 하나 대신에 예시되어 컬럼 라인 상호연결들을 보여준다. 도 23 은 도 20 및 도 22 에 제시된 픽셀 아키텍처의 다른 실시형태를 예시한 것이다. 도시된 바와 같이, 리셋 트랜지스터들 (553 및 557) 은 포토다이오드와 공급 전압 노드 사이에 직렬로 배치되어 로직 AND 게이트를 형성한다. 또한, 전용 로우-리셋 신호 ("row_rst") 가 제공되어 온/오프 트랜지스터 (557) 를 스위칭하여, 로우-선택 신호에 의해 제어된다면 이와 다르게 발생할 수도 있는 서멀 노이즈 주입을 피하게 한다.
지금까지 설명된 조건부-리셋 이미지 센서 실시형태들에서, 전체 프레임 (또는 노출) 간격 내의 각각의 비-최종 서브프레임의 종단에서 무조건부-리셋 동작들이 실행되고, 임의의 나머지 픽셀 값 (즉, 조건부-리셋 임계치보다 높든지 높지 않든지 간에, 누적된 전하의 레벨) 이 최종 서브프레임의 종단에서 판독된다. 여기에서 "잔차 모드" 판독이라고 지칭되는 이러한 동작을 통해, (예를 들어, 합산 및 룩업 테이블에 대한 참조에 의한) 잔차 판독 및 비-최종 서브프레임 판독들을 사용하여 각각의 프레임에 대해 완결된 픽셀 값이 해석될 수도 있다.
도 24 의 601 에서 도시된 3개의 상이한 전하 누적 패턴들에 대한 예시적인 잔차-모드 판독 시퀀스를 참조하면, 극도로 낮은 광 세기들 (즉, 세기 1) 에서, N개의 프레임들 각각에서 누적된 총 전하는 노이즈 플로어보다 훨씬 높게 상승하지 않아서, 비디오 프레임들의 경우 특히 현저한, 비교적 노이즈가 있는 어두운 픽셀들을 산출한다는 것을 볼 수 있다. 상당히 더 밝은 세기 2 에서, 프레임별 전하 누적은 여전히 조건부-리셋 임계치 ("Th") 를 초과하지 못하지만, 적어도 노이즈 플로어보다 상당히 높게 상승하여 적절한 SNR 을 산출한다. 훨씬 더 밝은 세기 3 에서, 프레임별 전하 누적은 프레임-끝 직전에 조건부-리셋 임계치를 만족시키지만, 이미지 프레임의 전체 SNR 을 저하시키려는 경향이 있는 낮은 값의 그리고 그에 따른 낮은 SNR 프레임-끝 잔차가 남게 된다.
도 24 는 또한, 대비의 목적으로, 동일한 3개의 광 세기들에 대한, 여기에서 프레임간 집적 모드 (inter-frame integration mode; IFI) 또는 동적 범위 확장 모드 (dynamic range extension mode; DRX) 라고 지칭되는 대안적인 판독 모드의 적용을 예시한 것이다. 프레임간 집적 모드에서, 각각의 픽셀에 대한 각각의 프레임의 시작에서 무조건부 리셋을 수행하는 것 대신에, 주어진 픽셀에 대한 주어진 프레임의 끝에 남아있는 집적된 전하는 임계치가 마지막 프레임 판독에 대해 초과되지 않는 경우 다음 프레임까지 캐리오버되어, 전하를 계속 집적하도록 픽셀이 인에이블되는 최대 지속기간을 효과적으로 확장시킨다. 이 동작을 통해, 저레벨 광 세기는 프레임들의 시퀀스를 통해 집적되어, 노이즈 플로어보다 아주 높게 상승하여 최종적인 리셋을, 또는 프레임간 집적이 고정된 수의 프레임들로 제한되는 경우 적어도 의미있는 잔차 판독을 산출할 수도 있다. 세기 1 에서의 IFI 판독의 경우, 예를 들어, 잔차 모드에서 획득된 낮은 SNR 판독들의 시퀀스와는 대조적으로, 전하 집적이 N개의 프레임들의 시퀀스를 통해 최종적인 리셋 이벤트까지 계속되어, 높은 SNR 결과를 산출한다. 세기 2 에서, 프레임간 집적은, 일반적으로 잔차 모드의 성능과 매칭하는, 높은 SNR 판독을 생성하는데 사용될 수도 있는 리셋 이벤트들의 정상 시퀀스를 산출한다. 더 높은 세기 3 에서, IFI 접근법은 각각의 프레임 끝에서 잔차 전하의 작은 레벨이 다음 프레임에서 전하 집적에 기여할 수 있게 하여, 낮은 SNR 잔차 판독들을 저하시키는 영향을 피하게 한다.
도 24 에 반영하면, 프레임간 집적은, 실제로, 이미지 픽셀 값들을 완결하기 위한 구분 포인트로서 프레이밍 경계를 제거하여, 불완전한 프레임간 집적의 관점에서 (예를 들어, 정상 출력 프레임 레이트를 산출하는 비디오 이미징 시스템에서) 프레임-끝 픽셀 값 생성을 위한 요건을 어떻게 만족시킬지에 대한 딜레마를 제시하는 것을 볼 수 있다. 상세도 615 는, 주어진 프레임 N 내의 최종 리셋 이벤트 ("인-프레임 리셋") 와 이전 프레임으로부터의 가장 최근 리셋 ("프리-프레임" 리셋) 사이의 경과된 "프레임간 집적 간격" (IFI 간격 또는 IFI 주기) 의 결정을 가능하게 하도록 리셋 이벤트들의 타임스탬프들을 기록하는 것, (ii) IFI 간격에 걸쳐 픽셀 내에 집적된 총 전하를 결정하도록 IFI 간격 동안 하나 이상의 리셋 이벤트들에서 획득된 픽셀 샘플 값들을 집성하는 것, 그리고 그 후에 (iii) IFI 간격 및 그 간격에 걸쳐 집적된 총 전하에 기초하여 프레임-끝 픽셀 값을 추정 또는 예측하는 것을 포함하는, 여기에 제시된 다수의 실시형태들에 채용된 접근법을 예시한다. 프레임-끝 픽셀 값을 추정하는 것은, 하나 이상의 연속적인 이미지 프레임들이 전혀 리셋 이벤트들이 없어서 (예를 들어, 도 24 에서 세기들 1 또는 2 의 예들에서처럼) 주어진 픽셀에 대한 비-제로 샘플들을 포함하지 않는다는 것이 특히 도전과제이다. 더욱 상세히 후술되는 다수의 실시형태들에서, 이러한 프레임들에서의 픽셀 값은, 가장 최근 리셋 이벤트에서 결정되고 마지막-결정된 픽셀 값이 오래됨에 따라 추정을 잠재적으로 감쇠시키는 픽셀 값에 기초하여 추정된다.
도 25 는 저조도 조건들에서 비교적 높은 SNR 이미지들을 산출하기 위해 도 24 에 도시된 프레임간 집적 접근법에 영향을 미치는, 스틸 또는 비디오 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 픽셀별 프레임 프로세싱 접근법을 예시한 것이다. 도시된 바와 같이, 2개의 고레벨 동작들이 수행된다: 우선, 625 에서, 하나 이상의 인-프레임 리셋 이벤트들이 사실상 발생한 경우, 대상 이미지 프레임 내에서 발생하는 최종 리셋 이벤트에 응답하여, 업데이트된 기준 픽셀 값이 생성되고, 대응하는 기준 타임스탬프가 기록된다. 그 후에, 627 에서, 기준 픽셀 값과 기준 타임스탬프에 기초하여 이미지 프레임에 대해 출력 픽셀 값이 추정된다.
동작 625 내의 기준 픽셀 생성 및 타임스탬핑은 631 및 633 에서 도시된 컴포넌트 동작들에 의해 구현될 수도 있다. 더욱 구체적으로, 631 에서 도시된 바와 같이, 현재 프레임 동안 적어도 하나의 비-제로 판독을 나타내는 (즉, 조건부 리셋이 실행되었음을 나타내는) 각각의 픽셀에 대해, 이미징 시스템은, IFI 간격으로서, 최종 인-프레임 리셋과 가장 최근 프리-프레임 리셋 사이의 경과된 시간을 결정하고, 또한 현재 프레임 동안 획득된 모든 비-제로 판독 값들을 합산하여, IFI 결과 (또는 IFI 값) 로서, IFI 간격에 걸쳐 픽셀 내에 집적된 전하의 최종량의 값을 생성한다. 633 에서, IFI 결과의 크기 및 IFI 간격의 지속기간에 기초하여 (예를 들어, 테이블 룩업 및/또는 계산 또는 휴리스틱 (heuristic) 을 통해) 기준 픽셀 값이 결정되고, 최종 인-프레임 리셋의 타임스탬프 (즉, 가장 최근 리셋 이벤트 및 그에 따른 IFI 간격의 끝) 가 기준 픽셀 타임스탬프로서 기록된다. 고레벨 동작 627 에 대응하는 컴포넌트 동작 635 에 이어서, 가장 최근 리셋 이벤트 (즉, 기준 픽셀 타임스탬프로 나타냄) 이후에 경과된 시간과 기준 픽셀 값에 기초하여 추정된 픽셀 값이 생성되어, 기준 픽셀 값에 대한 현재-프레임 픽셀 추정을 감쇠시키고 (그리고 기준 픽셀 값을 업데이트하여 새로운 추정을 반영함) 여기서 기준 픽셀 타임스탬프는 IFI 결과가 현재 프레임에서 획득되지 않았음을 나타내고 경과된 시간은 이전-프레임 추정에 의해 나타낸 광 세기가 드롭되었음을 나타낸다. 여기에서 "코스팅 픽셀 감쇠 (coasting pixel attenuation)" 라고 지칭되는 후자의 상황은, 도 28 을 참조하여 더욱 상세히 후술된다.
도 26 은 도 24 및 도 25 에서 개략적으로 나타낸 프레임간 집적 접근법을 사용하여 이미지 프레임들을 생성하는 것이 가능한 이미징 시스템 (650) 의 일 실시형태를 예시한 것이다. 도시된 바와 같이, 이미징 시스템 (650) 은 이미지 센서 IC (651) ("이미저"), 이미지 신호 프로세서 IC (653) ("ISP") 및 메모리 IC (655) 를 포함한다. 개별 집적 회로 컴포넌트들로서 나타내었지만, 대안적인 실시형태들에서, IC들 중 하나 이상의 IC들에 의해 수행된 기능들은 IC들 중 다른 것에 병합될 수도 있고 및/또는 IC들은 3차원 IC 스택 (3D IC) 을 포함하는 다양한 상이한 멀티-칩 패키지들에서 상호연결된 컴포넌트들일 수도 있으며, 예를 들어, 이미저 (651) 의 다이는 ISP (653) 및/또는 메모리 (655) 내의 엘리먼트들에 대한 콘텍트측 상호연결을 가지며 후면 조사를 가능하게 하기 위한 그라운드이다 (또는 중첩되거나 또는 그렇지 않으면 얇다).
도시된 실시형태에서, 이미저 (651) 는 원시 프레임 데이터를 ISP (653) 에 출력하여, 판독 데이터의 하나의 서브프레임을 다른 서브프레임 이후에 적어도 개념적으로 출력하고 (sf0 내지 sfm-1), 각각의 서브프레임 내에서, 판독 데이터의 하나의 로우를 다른 로우 이후에 출력한다 (r0 내지 rn-1) (실제로, 상이한 로우들에 대한 상이한 스케줄링 및/또는 롤링 셔터 제약들은 오더리 (orderly) 접근법을 방해할 수도 있다). 하나의 실시형태에서, 이미저 (651) 및 ISP (653) 각각은 이미저가 원시 데이터 출력 내의 (또는 원시 데이터 출력과 연관된) 로우 식별자들 또는 서브프레임을 제공할 필요가 없도록 미리 결정된 서브프레임 지속기간 및 로우 판독 순서를 가정한다. 대안적으로 실시형태들에서, 이미저 (651) 는 프레임 데이터 조직화를 설명하도록 로우 식별자들 및 타임스탬프들로 필요에 따라 원시 프레임 데이터를 태깅할 수도 있다. 어느 경우라도, ISP (653) 는, 각각의 인커밍 원시 프레임 데이터를, 예를 들어, 이 데이터가 프로세싱되어 출력 프레임 값들을 생성할 수 있을 때까지, (메모리 (655) 에서의) 원시 프레임 데이터 버퍼 (661) 내에 저장한다. 하나의 실시형태에서, ISP (653) 는, 예를 들어, 이미저에 의해 확립된 프레임 레이트로, 이미저 (651) 로부터의 원시 프레임 데이터의 수신시 새로운 출력 프레임 생성 ("프레임 출력") 을 파이프라이닝하는 것을, 새로운 원시 프레임 데이터를 수신하고 이 새로운 원시 프레임 데이터를 버퍼 (661) 에 로딩하는 것과 동시에 버퍼 (661) 내의 원시 프레임 데이터의 서브프레임 로우들 및 서브프레임들 상에서 동작시킨다. 대안적인 실시형태에서, ISP (653) 는, 완결된 출력 프레임 "프레임 출력" 을 생성하도록 필요에 따라 중간 데이터 (즉, 부분적으로 프로세싱된 데이터) 를 버퍼링하는 것을, 인커밍 원시 프레임 데이터의 전부 또는 일부 상에서 그것이 수신됨에 따라 동작시킬 수도 있다.
설명의 목적들만을 위해, 원시 프레임 데이터의 일부로서 이미저 (651) 에 의해 출력된 각각의 픽셀 값은 16개의 서브프레임 판독들에 의해 각각 생성된 8개의 12-비트 픽셀 샘플들을 포함하여 (즉, 이미저 (651) 내의 16x 시간적 오버샘플링 및 10-비트 ADC, 서브프레임 출력들 중 일부는 후술되는 원시 서브프레임 송신 이전에 이미저에 의해 미리 합산된다), 원시 프레임 데이터 버퍼 (661) 가 픽셀 당 96 비트들 (bpp) 의 저장을 허용하도록 사이징되는 것으로 가정된다. 상이한 비트-심도 ADC 구현들 또는 구성들 및/또는 프레임 당 상이한 수의 서브프레임들을 수용하도록 더 크거나 더 작은 원시 프레임 데이터 버퍼가 구현될 수도 있다 (또는 생성-시간 또는 실행-시간 모드-레지스터 프로그래밍을 통해 설정될 수도 있다).
최종-프레임 잔차 판독이 없는 IFI 동작 모드 (예를 들어, 비디오 이미징 IFI 모드) 에서, 초과-임계치 이벤트들 (그리고 그에 따라 픽셀 리셋) 과 관련되어 획득된 이들 픽셀 샘플들만이 비-제로 값들일 것이다. 이에 따라, 적어도 저조도 조건들에서, 상당한 수의 픽셀 샘플들은 제로-값으로 되어, 칩간 데이터 송신에서 상당한 압축을 가능하게 한다 (일부 예들에서, 중간 서브프레임 압축은 대략 하나의 비트-픽셀별 출력을 생성할 수 있다). 그에 반해, 도 24 의 601 에서 도시된 잔차 동작 모드에서, 잔차 판독은 각각의 프레임의 최종 서브프레임의 종단에서 실행되어, 본 예에서는 원시 프레임 데이터의 적어도 12% (1/8) 가 비제로일 가능성이 있고 쉽게 압축가능하지 않아서, 이미징 시스템 (650) 내에서 더 높은 평균 칩간 시그널링 대역폭 및 메모리 대역폭을 요구함을 보장한다. 스틸-이미징 IFI 모드와 관련하여 최종-프레임 잔차 판독이 실행될 수도 있다는 점에 주목한다. 예를 들어, 유한한 수 (N-1) 의 원시 프레임들은 후술되는 바와 같이 프로세싱된 후에, 최종-서브프레임 잔차 판독을 포함하는 최종 (N 번째) 원시 프레임과 알고리즘적으로 결합되는 IFI 데이터만을 (잔차 판독 없이) 포함할 수도 있다. N 의 값은 가까운 조건들에 따라 이미징 시스템 오퍼레이터에 의해 (즉, ISP (653) 또는 이미징 시스템 (650) 내의 다른 IC 에 커플링된 사용자-인터페이스를 통해) 전송되어, 스틸 출력 이미지를 완결하도록 잔차 판독에 의해 끝낸, N개의 프레임들 전반에 걸친 연속적인 저조도 누적을 가능하게 할 수도 있다.
이미저 (651) 로부터의 데이터를 원시 프레임 데이터 버퍼 (661) 에 로딩하는 것에 추가적으로, ISP (653) 는 리셋 타임스탬프 버퍼 (663) 내의 각각의 픽셀에 대한 리셋 이벤트들의 마지막 타임스탬프들을 추적하고, 또한 마지막 프레임 버퍼 (655) 내의 가장 최근에 출력된 프레임의 추정된 픽셀 값들을 유지하며 (예를 들어, 도시된 예에서는 12 bpp 로 분석되지만, 대안적인 구현들에서는 더 높거나 더 낮은 비트 출력 픽셀 분해능들이 생성되고 기록된다), 이들 중 어느 하나는 도시된 메모리 (655) 내에서, 또는 개별 메모리 엘리먼트에서 구현될 수도 있다. 간단히 상술되고 더욱 자세히 후술되는 바와 같이, 타임스탬프들은 IFI 간격들을 결정하는데 사용되고 "마지막 프레임" 값들은 코스팅 픽셀들 (즉, 프로세싱되고 있는 프레임 내에서 기준 픽셀 값이 결정되지 않은 픽셀들) 에 대한 픽셀 값 추정들에 적용된다. 도 27 과 관련하여 더욱 상세히 설명되는 하나의 실시형태에서, 3-비트 타임스탬프 코드는 각각의 프레임 내의 8개의 실제의 또는 대략적인 서브프레임-끝 시간들을 구별하는데 사용되고, 5-비트 프레임 수는 이전 프레임들을 식별하는데 사용되어, 가장 최근의 32개의 프레임들 내의 대략적인 종료 시간들로 분석되는 8 bpp 타임스탬프를 산출한다. 대안적인 실시형태들에서, 프레임 당 더 큰 프레임-이력 윈도우 및/또는 더 큰 시간적 분해능을 가능하게 하도록 더 큰 타임스탬프들 (즉, 더 큰 bpp) 이 기록될 수도 있고, 또는 타임스탬프는 32개의 프레임들보다 더 오래된 타임스탬프들을 기록하기 위해 더 거친 분해능 및 더 큰 범위가 사용되는 쿼시-플로팅-포인트 포맷 (quasi-floating-point format) 을 사용할 수도 있다.
도 27 은 도 26 의 이미징 시스템 내에서 채용될 수도 있는 일 예시적인 서브프레임 조직화 및 타임코드 할당을 예시한 것이다. 도시된 바와 같이, (더 긴 서브프레임들, sf0, sf8 및 sf15 만이 명백히 라벨링된) 각각의 서브프레임들은 샘플링 이벤트들이 시간적으로 클러스터링되도록 조직화되어 (예를 들어, 더 긴 서브프레임 sf0, 그 후에 4개의 비교적 짧은 서브프레임들 sf1 내지 sf4; 더 긴 서브프레임 sf8 그 후에 4개의 비교적 짧은 서브프레임들 sf9 내지 sf12), 5개의 서브프레임들의 2개 그룹들 (sf0 내지 sf4 및 sf8 내지 sf12) 의 대략적인 종료 시간이 단일의 각각의 타임스탬프 코드들에 의해 표현될 수 있게 한다. 이러한 실시형태에서, 이미저는 주어진 로우 상의 각각의 픽셀에 대해 일시적 버퍼를 할당하여 ISP 로의 송신 이전에 sf0 내지 sf4 의 결과들을 합산하고, 다시 송신 이전에 sf8 내지 sf12 의 결과들을 합산할 수도 있다 (버퍼가 이 로우에 대해 필요하지 않은 시간들 동안 다른 로우들에 대한 유사한 합산들을 생성하도록 할당될 수 있다). 합산 동작으로 인해, ISP 는 5개의 합산된 샘플들 중 어떤 하나 이상이 주어진 픽셀에 대한 임계치를 실제로 초과했는지를 아는 것이 가능하지 않을 수도 있다. 그러나 프레임 시간의 2.6% 와 3.6% 를 통해서만 각각 서브프레임들의 이들 2개의 그룹들이 모아지기 때문에, (이들 간격들의 단지 절반의 불확실성을 갖는) 시간적 분해능이 크게 영향을 받지 않는다. 그러나, 동시에, 합산은, 이미저 상에서 이미지 어레이의 사이즈의 대략 1/16 로 공유된 합산 버퍼들을 제공하는 것을 희생하여, ISP 에 전달된 원시 데이터의 서브프레임들의 수의 절반만큼의 감소를 가능하게 한다. 이러한 설계에 의해, 서브프레임 종료 시간들을 분석하는데 필요한 비트들의 수는 4 에서 3 으로 감소된다 -- 실제로, 주어진 타임스탬프 비트 심도에 대한 프레임 이력 윈도우의 사이즈가 2배가 된다. 대안적인 실시형태들, 예를 들어, 다수의 서브프레임들의 이미저 집성이 없는 실시형태들에서, 서브프레임 종료 시간들은 서브프레임 타임코드에 의해 완전히 분석될 수도 있다 (예를 들어, log2N 비트들이 N개의 서브프레임들을 분석하기 위해 서브프레임 타임코드에 할당됨). 또한, 비균일한 서브프레임 간격들이 나타나 있지만 (즉, 비균일한 샘플링 간격들), 균일한 샘플링 간격들이 대안적인 실시형태들에서 사용될 수도 있다. 또한, 후속하는 예들에서의 이미지 픽셀들의 경우 동일한 서브프레임 간격들 (균일하든지 또는 아닌지 간에) 이 모든 로우들에 대해 가정되지만, 상이한 서브프레임 간격 진행들이 채용될 수도 있거나 및/또는 간격 진행들이 로우 간에서 엇갈릴 수도 있다. 이러한 실시형태들에서, 각각의 로우는 ISP 가 노출 간격들을 계산하게 하도록 픽셀 판독의 시간과 관련된 상대적 또는 절대적 타임스탬프로 태깅될 수도 있다.
프레임의 시작부와 끝들에서 비교적 긴 서브프레임들로 규정된 프레임을 갖는 것은 몇몇 이점들을 갖는다. 하나는 상술된 동작에서 나타난다 - 긴 서브프레임 이후의 몇몇 짧은 서브프레임들은 모두가 이미저 상에서 효율적으로 합산되게 할 수도 있다. 두 번째, 한쪽 끝에 대신에 프레임의 중앙에 짧은 서브프레임들을 더 많이 배치시키는 것은, 톤들이 프레임의 아주 먼 부분들에서 분석되는 상이한 톤들을 갖는 이동 오브젝트에 의해 야기되는 모션 아티팩트들을 감소시킬 수도 있다. 세 번째, 사실상 짧은 것 이전에 긴 서브프레임을 배치시키는 것은 상당한 조명을 받는 픽셀들이 각각의 짧은 시퀀스의 시작부에서 리셋되어, 하이라이트 톤들에 대한 성능 및 예측가능성이 증가할 것이라는 것을 보장한다. 네 번째, 사실상 프레임의 끝에 긴 서브프레임을 배치시키는 것은 하이라이트 톤들이 임계치를 초과하고 프레임 끝에서 리셋될 것이라는 것을 보장한다. 하이라이트 톤들이 이미저 응답 곡선의 비선형 영역에 존재할 수도 있기 때문에, 이들 톤들이 정수-프레임 기초로 계산되어 추가적인 복잡성을 피하게 하는 것이 바람직하다.
도 28 은 어떠한 비-제로 샘플 값들도 (즉, 어떠한 리셋 이벤트들도) 산출하지 않아서 주어진 프레임 동안 "코스팅" 하고 있는 픽셀들에 대한 출력 프레임 값들을 추정하기 위한 일 예시적인 접근법을 예시한 것이다. 도시된 실시형태에서, 기준 픽셀 값은 코스팅 픽셀에 대한 초기 추정치로서 인가되지만, 기준 픽셀 값이 오래됨에 따라 감쇠될 수도 있다. 이러한 접근법에 의해, 초과-임계치 이벤트들이 갑자기 중단된 (즉, 장면 엘리먼트들 및/또는 이미징 플랫폼이 이동하고 있거나, 또는 광 소스가 이동되었거나 스위칭 오프된) (밝은 포인트를 나타내는) 초기에 높은 세기의 픽셀 값은 출력 프레임 시퀀스에서 점진적으로 낮아질 것이다. 하나의 실시형태에서, 예를 들어, (즉, 픽셀이 프레임 끝에서 초과-임계치 이벤트의 끝에 있다는 가정 하에) 코스팅 픽셀에 의해 도달될 수 있었던 최대 프레임-끝 픽셀 값을 결정하는 것, 그리고 그 이론상 최대치, 또는 "코스트 값" 을 기준 픽셀 값 (즉, 기준 픽셀 값이 프레임 간에서 업데이트됨에 따른 마지막-프레임 버퍼로부터의 값) 을 갖는 필터에 적용하는 것에 의해 필터링 동작이 수행된다. 예를 들어, 무한 임펄스 응답 필터가 하나의 실시형태에서 채용되지만, 유한 임펄스 응답 필터 (FIR) 또는 임의의 다른 필터링 기법 또는 휴리스틱이 사용될 수도 있다. 이전에 높은 세기의, 그러나 현재 코스팅하는 픽셀에 대한 도 28 에 도시된 추정 프로파일을 참조하면, 제 1 프레임 (플러스 가능하다면 직전 기준-픽셀 프레임의 나머지 부분) 에 대한 코스팅 후에, 추정된 세기는, 프레임들에 있어서의 경과된 시간에 의해 분할된 조건부-리셋 임계치와 동일한 코스트 값에 따라 드롭된다는 것을 볼 수 있다. 제 2 프레임에 대한 코스팅 후에, 코스트 값 그리고 그에 따라 필터링된 픽셀 추정치는 더 낮은 값으로 드롭되고 (즉, 2개의 프레임들은 초과-임계치 이벤트 없이 지금 지나가서, 포토들이 픽셀 내에 누적되고 있는 이론상 최대 레이트가 그에 따라 더 낮아진다), 후속 프레임들에 대해서도 마찬가지이다. 볼 수 있는 바와 같이, 최종 효과는 코스팅 픽셀의 추정된 픽셀 값에서의 프레임간 감쇠이다. 선행하는 프레임에 대해 추정된 픽셀 값 (즉, 가장 최근에 업데이트된 기준 픽셀 값) 아래로 코스트 값이 드롭될 때까지 추정치를 필터링하기 위해 코스트 값이 적용되지 않는다는 것을 제외하고는, 더 낮은 세기 픽셀들에 대해 동일한 효과가 발생한다는 점에 주목한다.
도 29 는 도 24 내지 도 28 을 참조하여 설명되는 프레임간 집적 기법들을 구현하기 위해 도 26 의 ISP 에 의해 실행될 수도 있는 일 예시적인 프레임 프로세싱 시퀀스 (700) 를 예시한 것이다. 일반적으로, rowi+1 에 대한 데이터를 프로세싱하는 것으로 진행하기 전에, ISP 는 출력 프레임 데이터의 하나의 로우를 한번에 생성하여 (즉, 원시 프레임 데이터 버퍼로부터 획득된) 모든 서브프레임들로부터의 rowi 데이터를 프로세싱한다. 이에 따라, 외측 "로우 루프" 에서 로우간 전진하기 전에, ISP 는 주어진 로우에 대한 모든 서브프레임들을 통해 시퀀싱함으로써 내측 "서브프레임 루프" 를 실행한다. 구체적으로 도시되지 않았지만, 추가적인 "컬럼 루프" 가 서브프레임 루프 내에서 실행되어, 주어진 로우에 내의 각각의 픽셀을 프로세싱한다. 이 루프는 도 29 에서 각각의 로우-프로세싱 동작 내에서 0 에서부터 N-1 (N 은 이미저에서 픽셀 컬럼들의 수이다) 까지 시퀀싱되는 컬럼 인덱스, "col" 로 의미된다.
도 29 를 여전히 참조하면, 새로운 프레임의 시작에서, 로우 인덱스 ("로우"), 서브프레임 인덱스 ("SF"), 인-프레임 타임스탬프 ("FTS") 및 IFI 값 ("IFI") 은 701 에 도시된 바와 같이 제로로 초기화된다. 그 후에, 703 에서, 로우 인덱스들 및 서브프레임에 의해 특정된 원시 이미지 데이터의 로우가 원시 프레임 버퍼로부터 판독된다. 원시 이미지 데이터가 주어진 픽셀에 대해 비제로인 경우 (즉, 컬럼 루프 내에서 검출된 바와 같이, 705 에서 부정적 결정), 인-프레임 타임스탬프는 서브프레임 인덱스에 대응하는 타임코드를 반영하도록 업데이트되고, 원시 이미지 데이터 (즉, 픽셀 값) 가 IFI 값 내에 누적되며, 이 양쪽 모두는 707 에 도시된다. 제로-값의 데이터의 경우 (705 에서의 긍정적 결정) 타임스탬핑 및 IFI 값 누적은 스킵된다. 서브프레임 인덱스는 709 에서 평가되어 모든 서브프레임들이 현재 로우 인덱스에 대해 프로세싱되었는지 여부를 결정한다. 아니라면, 서브프레임 인덱스는 증대되고 703, 705 및 707 에서의 동작들이 반복된다.
주어진 픽셀 로우에 대응하는 모든 서브프레임들이 프로세싱된 후에, ISP 는 IFI 값을 평가하여 프레임 언더 프로세스 동안 임의의 초과-임계치 이벤트들이 발생하였는지 여부를 결정한다. 하나 이상의 초과-임계치 이벤트들이 발생한 경우 (즉, 비제로 IFI 값 그리고 그에 따른 715 에서의 부정적 결정), IFI 간격이 인-프레임 타임스탬프와 기준 타임스탬프 사이의 경과된 시간에 기초하여 717 에서 결정된다. 도시된 실시형태에서, 예를 들어, 현재 프레임 넘버 및 서브프레임 타임코드의 튜플에 기초하여, "time()" 함수가 호출되어 최종 인-프레임 리셋 이벤트에 대한 프레임-기준 타임스탬프를 산출하지만, 다른 기법들이 사용될 수도 있다. 719 에서, 픽셀들 (즉, 적어도 비-제로 IFI 값들을 갖는 것들) 의 현재 로우에 대한 IFI 값들 및 IFI 간격들은 (적어도 부분적으로 "Imap()" 함수에 의해 나타낸 바와 같이 테이블 룩업 동작을 통해 달성될 수도 있는) 각각의 이미지 픽셀 계산들에 적용되고, 각각의 결과적인 이미지 픽셀 값은 추정된 출력 이미지 픽셀 값으로서 할당되고 또한 새로운 기준 픽셀 값으로서 기록된다. 721 에서, 프레임-기준 인-프레임 타임스탬프는 새로운 기준 픽셀 타임스탬프로서 할당된다.
판정 715 로 되돌아가면, 현재 프레임에서 코스팅하고 있는 (즉, 제로 IFI 값을 갖는) 픽셀들에 대해, 판정 715 에 대해 긍정적 결정이 발생하고, 그 후에 725 에서 코스트 시간 (기준 픽셀 타임스탬프와 Time(FTS[SF]) 에 의해 리턴된 현재 프레임의 끝 사이의 경과된 간격) 의 결정이 후속하고, 727 에서 코스트 값 (코스트 시간에 의해 분할된 조건부-리셋 임계치) 의 결정이 후속한다. 코스트 값이 기준 픽셀 값보다 더 크다면 (즉, 729 에서의 긍정적 결정), 기준 픽셀 값은 733 에서 현재 프레임에 대한 추정된 출력 픽셀 값인 것으로 할당된다. 그렇지 않다면, 추정된 출력 픽셀 값은 731 에서 코스트 값에 기초하여, 예를 들어, 코스트 값과 기준 픽셀 값을 조합한 필터링 동작에서, 또는 코스트 값을 추정된 출력 픽셀 값인 것으로 단순히 할당함으로써, 결정된다.
추정된 출력 픽셀 값과 임의의 기준 픽셀 값/타임스탬프 업데이트들이 현재 로두에 대해 기록된 후에, 로우 인덱스는 735 에서 증대되고, 서브프레임, 인-프레임 타임스탬프 및 IFI 값들은 원시 프레임 데이터의 다음 로우의 프로세싱에 대비하여 리셋된다.
도 30 은 상술된 프레임간 집적을 이용하여 그리고 프레임간 집적 없이 이미저 파라미터들의 주어진 세트에 대해 달성가능한 동작 범위들과 SNR 을 대비시킨 것이다. 도 30 은 또한 IFI 를 이용하여 그리고 IFI 없이 효과적인 프레임 레이트들을 대비시킨 것이다. 도시된 바와 같이, IFI 접근법은, 이 예에서 더 높은 광 세기들에서 잔차 모드 동작의 동적 범위 프로파일로 수렴되면서 대략 4개의 F-스톱들에 의해 (15db SNR 를 유지하는) 저조도 감도를 확장한, 실질적으로 개선된 동적 범위를 나타낸다. 프레임 레이트가 잔차 판독에서 정상이지만 (도시된 예에서는 60 Hz 프레임 레이트로 매 프레임마다 각각의 픽셀에 대해 새로운 데이터가 획득된다), IFI 접근법에서 효과적인 프레임 레이트는 픽셀 리셋 이벤트들 사이의 경과된 시간이 증가함에 따라 광 세기와 함께 드롭된다. 점근적 SNR 플로어와 프레임 레이트에서의 롤오프는, 조건부 리셋 픽셀의 판독 이벤트를 유발하는데 요구되는 전하 캐리어들의 임계 수에 의해 결정된다. 60 의 임계치를 갖는 도시된 예의 경우, 평균 변환된 포톤 도착 레이트가 공칭 프레임 당 30 일 때 픽셀에 대한 효과적인 프레임 레이트는 반으로 줄어든다. 더 높은 임계치가 이들 수들을 시프트할 것이고 (예를 들어, 256 의 임계치는 SNR 이 약 24 dB 로 평탄해지게 할 것이다), 128 의 평균 변환된 포톤 도착 레이트에서 프레임 레이트가 반으로 된다 (여기서 잔차 모드는 대략 20 dB 의 SNR 을 생성할 것이다).
주어진 실시형태에서, 다양한 메커니즘들이 응답 곡선을 더욱 맞추기 위해 사용될 수 있다. 예를 들어, 시스템은 매 6개의 프레임들과 같은 기본 프레임 레이트의 주어진 비율 (fraction) 에서의 잔차 판독을 강요하여 주어진 픽셀에 대한 프레임 레이트에서의 감소를 제한할 수 있다. 시스템은 또한, 잔차 판독을 강요하는 일 없이, 예컨대, 2개의 임계치들을 사용함으로써, "더 부드러운" 격려책을 사용할 수 있다. 예를 들어, 도 27 의 시퀀스에서, 프레임의 마지막 서브프레임만 빼고 모두에 대해 훨씬 더 높은 SNR 판독들이 획득되도록, 서브프레임들 0 내지 14 에 대해 1024개의 포톤들의 임계치가 사용될 수 있고, 서브프레임 15 에 대해 64개의 포톤들의 임계치가 사용될 수 있다. 감소된 프레임 레이트 픽셀들의 경우, 새로운 출력 값으로의 천이들은 또한 천이 프레임에서 오래된 픽셀 값과 새로운 픽셀 값의 시간적 조합에 의해 평활화될 수 있다.
앞선 설명이 비디오-모드 동작에 대해 설명되지만, 동일한 원리들이 스틸 프레임 캡처에 대해 적용될 수 있다. 예를 들어, 사용자가 저조도-강화된 스틸 프레임 모드를 선택할 수 있고, 여기서 기본 셔터 속도는 기본 노출 시간을 규정하고, 이는 확장된 노출 시간을 수반한다. 일 예로서, 일 초의 1/60 의 기본 셔터 속도는, 예를 들어, 16 서브프레임들에 의한 16.7 ms 기본 노출 시간, 및 예를 들어, 5개의 추가적인 서브프레임들로 인한 50 ms 확장된 노출 시간을 발생시킨다. 기본 노출 시간의 끝까지 판독한 초과-임계치를 생성하지 않는 저조도 픽셀들의 경우, 이들 픽셀들은 확장된 노출 시간 (그 때 모든 픽셀들에 대해 잔차 판독치가 생성된다) 의 끝까지 계속 집적하게 된다. ISP 는 예를 들어, 기본 시간 동안 적어도 한번 임계치를 초과한 픽셀들에 대한 기본 노출 시간, 및 확장된 노출 시간 동안 임계치를 첫 번째로 초과한 픽셀들에 대한 제 1 초과분, 그리고 잔차 판독치를 단지 생성한 픽셀들에 대한 총 노출 시간에 기초하여 이미지를 해석한다.
추가적인 고려들
여기에 개시된 다양한 회로들은 컴퓨터 지원 설계 툴들을 사용하여 설명될 수 있고, 이들의 거동, 레지스터 전송, 로직 컴포넌트, 트랜지스터, 레이아웃 지오메트리들, 및/또는 다른 특성들의 관점에서 다양한 컴퓨터 판독가능 매체들로 구현되는 데이터 및/또는 명령들로서 표시될 수 있다 (표현될 수 있다) 는 점에 주목해야 한다. 이러한 회로 표시들이 구현될 수 있는 파일들 및 다른 오브젝트들의 포맷들은 GDSII, GDSIII, GDSIV, CIF, MEBES 및 임의의 다른 적합한 포맷들 및 언어들과 같은 지오메트리 설명 언어들을 지원하는 포맷들, RTL 과 같은 레지스터 레벨 설명 언어를 지원하는 포맷들, 및 C, Verilog, 및 VHDL 과 같은 거동 언어들을 지원하는 포맷들을 포함하지만 이들로 제한되지는 않는다. 이러한 포맷화된 데이터 및/또는 명령들이 구현될 수 있는 컴퓨터 판독가능 매체들은 다양한 형태들 (예를 들어, 이러한 방식으로 독립적으로 분포되든지 또는 동작 시스템에서 "인시츄" 로 저장되든지 간에, 광학, 자기 또는 반도체 저장 매체들) 의 컴퓨터 저장 매체들을 포함하지만 이들로 제한되지는 않는다.
하나 이상의 컴퓨터 판독가능 매체들을 통해 컴퓨터 시스템 내에서 수신될 때, 상술된 회로들의 표현들에 기초한 이러한 데이터 및/또는 명령은 이러한 회로를 물리적 표시의 이미지 또는 표현을 생성하도록, 네트-리스트 생성 프로그램들, 배치 및 라우팅 프로그램 등을 제한 없이 포함하는 하나 이상의 다른 컴퓨터 프로그램들의 실행과 함께 컴퓨터 시스템 내의 프로세싱 엔티티 (예를 들어, 하나 이상의 프로세서들) 에 의해 프로세싱할 수 있다. 이러한 표현 또는 이미지는 그 후에, 예를 들어, 디바이스 제작 프로세스에서 회로들의 다양한 컴포넌트들을 형성하는데 사용되는 하나 이상의 마스크들의 생성을 가능하게 하는 것에 의해 디바이스 제작에 사용될 수 있다.
전술한 설명과 첨부 도면들에서, 특정 전문용어와 도면 부호들은 개시된 실시형태들의 완전한 이해를 제공하도록 설명되었다. 일부 사례들에서, 전문용어와 기호들은 이들 실시형태들을 실시하는데 요구되지 않는 특정 상세들을 내포할 수도 있다. 예를 들어, 임의의 특정 수의 비트들, 신호 경로 폭들, 시그널링 또는 동작 주파수들, 컴포넌트 회로들 또는 디바이스들 등은 대안적인 실시형태들에서 상술된 것들과는 상이할 수 있다. 추가적으로, 집적 회로 디바이스들 또는 내부 회로 엘리먼트들 또는 블록들 사이의 링크들 또는 다른 상호연결은 버스들로서 또는 단일 신호 라인들로서 도시될 수도 있다. 버스들 각각은 대안적으로 단일 신호 라인일 수 있고, 단일 신호 라인들 각각은 대안적으로 버스들일 수 있다. 그러나, 도시된 또는 설명된 신호들 및 시그널링 링크들은 싱글-엔드형 또는 차동형일 수 있다. 신호 드라이빙 회로는 신호 드라이빙 회로와 신호 수신 회로 사이에 커플링된 신호 라인 상에서 신호 드라이빙 회로가 신호를 어서트 (또는 문맥에 따라 명백히 진술되거나 또는 나타내는 경우, 디-어서트) 할 때 신호를 신호 수신 회로에 "출력" 한다고 말한다. 여기에서 "커플링된" 이라는 용어는 직접 연결 뿐만 아니라 하나 이상의 개재 회로들 또는 구조들을 통한 연결을 나타내기 위해 사용된다. 집적 회로 디바이스 "프로그래밍" 은, 예를 들어, 원-타임 프로그래밍 동작 (예를 들어, 디바이스 제조 동안 구성 회로 내의 퓨즈들이 끊어지는 것) 을 통해 또는 호스트 명령에 응답하여 제어 값을 레지스터 또는 다른 저장 회로에 로딩하는 것 (그리고 그에 따라 디바이스의 동작 양태를 제어하거나 및/또는 디바이스 구성을 확립하는 것), 및/또는 디바이스의 하나 이상의 선택된 핀들 또는 다른 접촉 구조들을 기준 전압 라인들에 연결하여 (또한 스트래핑이라고도 지칭됨) 특정 디바이스 구성 또는 디바이스의 동작 양태를 확립하는 것을 제한 없이 포함할 수 있다. 방사에 적용하기 위해 사용되는 "광" 이라는 용어는 가시광에 제한되지 않으며, 센서 기능을 설명하는데 사용될 때 특정 픽셀 구성 (임의의 대응하는 필터들을 포함함) 이 민감한 파장 대역 또는 대역들에 적용하는 것으로 의도된다. "예시적인" 및 "실시형태" 라는 용어들은 선호 또는 요구가 아닌, 예를 표시하기 위해 사용된다. 또한, "~ 수도 있다" 또는 "~ 수 있다" 라는 용어들은 옵션적 (허용가능한) 청구물을 나타내기 위해 상호교환가능하게 사용된다. 어느 하나의 용어의 부존재가 주어진 특징 또는 기법이 요구된다는 의미로 이해되어서는 안된다.
위의 상세한 설명에서의 섹션 헤딩들은 여기에 제시된 실시형태들 중 임의의 것 또는 대응하는 섹션들의 범위 또는 정도를 규정, 제한, 해석 또는 설명하는 것이 아니라 참조의 편의만을 위해 제공되었다. 또한, 다양한 변형들 및 변경들이 본 개시물의 보다 넓은 사상 및 범위로부터 벗어남이 없이 여기에 제시된 실시형태들에 대해 행해질 수 있다. 예를 들어, 본 실시형태들 중 임의의 실시형태의 특징들 또는 양태들은 실시형태들 중 임의의 다른 실시형태와 조합하여 또는 그의 대응 특징들 또는 양태들 대신에 적어도 실행가능한 곳에 적용될 수 있다. 그에 따라, 본 명세서와 도면들은 제한적인 의미보다는 예시적인 것으로 간주되어야 한다.
Claims (48)
- 입사광에 응답하여 전하를 누적하기 위한 감광성 엘리먼트; 및
상기 감광성 엘리먼트 내에 누적된 전하가 제 1 임계치를 초과하는지 여부를 결정하고, 상기 누적된 전하가 상기 제 1 임계치를 초과할 때, (i) 상기 누적된 전하를 표현하는 멀티-비트 디지털 값을 생성하고 (ii) 추가의 전하 누적에 대비하여 상기 감광성 엘리먼트를 공칭 방전 상태 (nominal discharged state) 로 리셋하기 위한 판독 회로
를 포함하는, 집적 회로 이미지 센서. - 제 1 항에 있어서,
상기 판독 회로는,
판독 노드; 및
(i) 상기 제 1 임계치를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하고, (ii) 상기 제 1 임계치를 초과한 전하의 전송을 가능하게 한 후에 상기 판독 노드의 전하 레벨을 감지하고, (iii) 상기 판독 노드의 감지된 상기 전하 레벨에 기초하여, 상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과하는지 여부를 결정하며, (iv) 상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과한다는 결정에 응답하여 상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하기 위한 제어 회로
를 포함하는, 집적 회로 이미지 센서. - 제 2 항에 있어서,
상기 제어 회로는,
상기 감광성 엘리먼트와 상기 판독 노드 사이에 커플링된 전하-전송 스위칭 엘리먼트; 및
상기 제 1 임계치를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하도록 상기 전하-전송 스위칭 엘리먼트에 제 1 제어 신호를 인가하고, 상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하도록 상기 전하-전송 스위칭 엘리먼트에 제 2 제어 신호를 인가하기 위한 스위치 제어 회로부
를 포함하는, 집적 회로 이미지 센서. - 제 3 항에 있어서,
상기 전하-전송 스위칭 엘리먼트는, 각각의 시간들에서 상기 제 1 및 제 2 제어 신호들을 수신하도록 커플링되고, 상기 제 1 제어 신호에 응답하여 제 1 정전기 전위를 갖고 상기 제 2 제어 신호에 응답하여 제 2 정전기 전위를 갖는 전하-전도 채널을 상기 감광성 엘리먼트와 상기 판독 노드 사이에 발생시키는 제어 단자를 포함하고,
상기 제 2 정전기 전위는 상기 제 1 정전기 전위보다 더 큰, 집적 회로 이미지 센서. - 제 2 항에 있어서,
상기 판독 회로는, 상기 멀티-비트 디지털 값으로서, 상기 제어 회로가 상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 한 후에 감지된 상기 판독 노드의 전하 레벨의 디지털 표현을 생성하기 위한 아날로그-디지털 변환기를 포함하는, 집적 회로 이미지 센서. - 제 5 항에 있어서,
상기 제어 회로는, 상기 제어 회로가 상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과한 것을 결정하고 상기 판독 노드의 전하 레벨이 감지되어 상기 멀티-비트 디지털 값의 생성을 가능하게 한 후에 상기 감광성 엘리먼트를 리셋 전압 노드에 스위칭가능하게 커플링하기 위한 리셋 회로부를 포함하는, 집적 회로 이미지 센서. - 제 1 항에 있어서,
상기 판독 회로는, (i) 상기 누적된 전하를 표현하는 판독 신호의 생성을 가능하게 하도록 상기 누적된 전하를 상기 감광성 엘리먼트로부터 감지 노드로 전송하고 (ii) 상기 판독 신호가 제 1 임계치를 초과하지 않음을 제 1 제어 신호가 나타낼 때 상기 누적된 전하를 상기 감광성 엘리먼트로 되전송하기 위한 회로부를 포함하는, 집적 회로 이미지 센서. - 제 7 항에 있어서,
상기 판독 회로는, 상기 판독 신호가 상기 제 1 임계치를 초과함을 상기 제 1 제어 신호가 나타낼 때 상기 감지 노드를 리셋하도록 상기 감지 노드를 전압 소스 노드에 스위칭가능하게 커플링하기 위한 제 1 스위칭 엘리먼트를 포함하는, 집적 회로 이미지 센서. - 제 7 항에 있어서,
상기 판독 회로는, 상기 감광성 엘리먼트와 상기 감지 노드 사이에 배치된 제 1 트랜지스터, 및 (i) 상기 누적된 전하를 상기 감광성 엘리먼트로부터 상기 감지 노드로 전송하도록 상기 제 1 트랜지스터의 제어 단자 상에 제 1 펄스를 어서트 (assert) 하고, (ii) 상기 누적된 전하를 상기 감광성 엘리먼트로 되전송하도록 상기 제 1 트랜지스터의 제어 단자 상에 제 2 펄스를 어서트하기 위한 제어 회로부를 포함하는, 집적 회로 이미지 센서. - 제 9 항에 있어서,
상기 제 1 트랜지스터의 제어 단자 상에 상기 제 1 및 제 2 펄스들을 어서트하기 위한 상기 제어 회로부는, 제 2 트랜지스터, 및 상기 제 1 트랜지스터의 제어 단자 상의 상기 제 1 펄스의 어서션 이전에, 상기 감지 노드를 프리차지하도록 상기 제 2 트랜지스터의 제어 단자를 제 1 전압 공급 노드에 일시적으로 커플링하는 회로부를 포함하는, 집적 회로 이미지 센서. - 제 10 항에 있어서,
상기 제 2 트랜지스터의 제어 단자를 제 1 전압 공급 노드에 일시적으로 커플링하는 상기 회로부는, 상기 감지 노드로부터 전하를 밀어내도록 상기 제 2 트랜지스터의 제어 단자를 제 2 전압 공급 노드에 일시적으로 커플링함으로써 상기 누적된 전하를 상기 감광성 엘리먼트에 되전송하기 위한 회로부를 포함하는, 집적 회로 이미지 센서. - 제 7 항에 있어서,
상기 판독 회로는, 상기 감지 노드에 용량성 커플링된 증폭기를 포함하고,
상기 증폭기는, 상기 누적된 전하를 표현하는 판독 신호로서, 상기 감지 노드에 전송된 상기 누적된 전하에 대응하여, 상기 용량성 커플링을 통해 상기 감지 노드로부터 수신된 신호의 증폭된 표현을 생성하기 위한 것인, 집적 회로 이미지 센서. - 집적 회로 이미지 센서 내의 동작 방법으로서,
입사광에 응답하여 감광성 엘리먼트 내에 전하를 누적하는 단계;
상기 감광성 엘리먼트 내에 누적된 전하가 제 1 임계치를 초과하는지 여부를 결정하는 단계; 및
상기 누적된 전하가 상기 제 1 임계치를 초과할 때,
상기 누적된 전하를 표현하는 멀티-비트 디지털 값을 생성하는 단계, 및
추가의 전하 누적에 대비하여 상기 감광성 엘리먼트를 공칭 방전 상태로 리셋하는 단계
를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 13 항에 있어서,
상기 감광성 엘리먼트 내에 누적된 전하가 제 1 임계치를 초과하는지 여부를 결정하는 단계는,
상기 제 1 임계치를 초과한 전하가 상기 감광성 엘리먼트로부터 판독 노드로 전송될 수 있게 하는 단계;
상기 제 1 임계치를 초과한 전하의 전송을 가능하게 한 후에 상기 판독 노드의 전하 레벨을 감지하는 단게; 및
상기 판독 노드의 감지된 상기 전하 레벨에 기초하여, 상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과하는지 여부를 결정하는 단계
를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 14 항에 있어서,
상기 누적된 전하가 상기 제 1 임계치를 초과할 때 상기 누적된 전하를 표현하는 멀티-비트 디지털 값을 생성하는 단계는, 상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과한다는 결정에 응답하여 상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하는 단계를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 15 항에 있어서,
상기 공칭 방전 상태를 초과한 전하가 상기 판독 노드로 전송될 수 있게 하는 단계 후에, 상기 판독 노드의 전하 레벨에 대응하는 신호를 아날로그-디지털 변환기에 출력하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 16 항에 있어서,
상기 감광성 엘리먼트 내에 누적된 전하가 상기 제 1 임계치를 초과하는 것을 결정한 후에, 그리고 상기 판독 노드의 전하 레벨에 대응하는 신호를 아날로그-디지털 변환기에 출력하는 단계 후에 상기 감광성 엘리먼트를 리셋 전압 노드에 스위칭가능하게 커플링하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 15 항에 있어서,
상기 제 1 임계치를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하는 단계는, 상기 감광성 엘리먼트와 상기 판독 노드 사이에 커플링된 전하-전송 스위칭 엘리먼트에 제 1 제어 신호를 인가하는 단계를 포함하고,
상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하는 단계는, 상기 공칭 방전 상태를 초과한 전하가 상기 감광성 엘리먼트로부터 상기 판독 노드로 전송될 수 있게 하도록 상기 전하-전송 스위칭 엘리먼트에 제 2 제어 신호를 인가하는 단계를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 18 항에 있어서,
상기 전하-전송 스위칭 엘리먼트에 상기 제 1 및 제 2 제어 신호들을 인가하는 단계는, 상기 감광성 엘리먼트와 상기 판독 노드 사이에, 제 1 정전기 전위와 제 2 정전기 전위를 갖는 전하-전도 채널을 발생시키도록 각각의 시간들에서 상기 전하-전송 스위칭 엘리먼트의 제어 입력에 상기 제 1 및 제 2 제어 신호들을 각각 인가하는 단계를 포함하고,
상기 제 2 정전기 전위는 상기 제 1 정전기 전위보다 더 큰, 집적 회로 이미지 센서 내의 동작 방법. - 제 13 항에 있어서,
상기 감광성 엘리먼트 내에 누적된 전하가 제 1 임계치를 초과하는지 여부를 결정하는 단계는,
상기 누적된 전하를 표현하는 판독 신호의 생성을 가능하게 하도록 상기 누적된 전하를 상기 감광성 엘리먼트로부터 감지 노드로 전송하는 단계, 및
상기 판독 신호가 제 1 임계치를 초과하는지 여부를 결정하는 단계
를 포함하고,
상기 방법은, 상기 판독 신호가 상기 제 1 임계치를 초과하지 않는 것으로 결정될 때 상기 누적된 전하를 상기 감광성 엘리먼트로 되전송하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 20 항에 있어서,
상기 판독 신호가 상기 제 1 임계치를 초과하는 것으로 결정될 때 상기 감지 노드를 리셋하도록 상기 감지 노드를 전압 소스에 스위칭가능하게 커플링하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 20 항에 있어서,
상기 누적된 전하를 상기 감광성 엘리먼트로부터 감지 노드로 전송하는 단계는, 상기 감광성 엘리먼트와 상기 감지 노드 사이에 배치된 제 1 트랜지스터의 제어 단자에 커플링된 신호 라인 상에 제 1 펄스를 생성하는 단계를 포함하고,
상기 누적된 전하를 상기 감광성 엘리먼트로 되전송하는 단계는, 상기 제 1 트랜지스터의 제어 단자에 커플링된 신호 라인 상에 제 2 펄스를 생성하는 단계를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 22 항에 있어서,
상기 제 1 트랜지스터의 제어 단자에 커플링된 신호 라인 상에 제 1 펄스를 생성하는 단계 이전에, 상기 감지 노드를 프리차지하도록 제 2 트랜지스터의 제어 단자를 제 1 전압 공급 노드에 일시적으로 커플링하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 23 항에 있어서,
상기 누적된 전하를 상기 감광성 엘리먼트로 되전송하는 단계는, 상기 감지 노드로부터 전하를 밀어내도록 상기 제 2 트랜지스터의 제어 단자를 제 2 전압 공급 노드에 일시적으로 커플링하는 단계를 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 20 항에 있어서,
상기 누적된 전하를 표현하는 비증폭된 신호를 증폭기의 제어 단자에 용량성 커플링하는 단계를 포함하여, 상기 누적된 전하를 상기 감광성 엘리먼트로부터 감지 노드로 전송하는 단계 후에 상기 누적된 전하를 표현하는 판독 신호를 생성하는 단계를 더 포함하고,
상기 증폭기는 상기 판독 신호를 출력하는, 집적 회로 이미지 센서 내의 동작 방법. - 집적 회로 이미지 센서 내의 동작 방법으로서,
제 1 샘플링 시간에서 기준 신호에 대한 감광성 엘리먼트의 상태를 샘플링함으로써 리셋-상태 샘플을 생성하는 단계;
인접한 후속 리셋-상태 샘플링에 대한 상기 감광성 엘리먼트의 상태를 샘플링함으로써 적어도 하나의 중간 전하-누적 샘플을 생성하는 단계; 및
제 2 샘플링 시간에서 상기 기준 신호에 대한 상기 감광성 엘리먼트의 상태를 샘플링함으로써 최종 전하-누적 샘플을 생성하는 단계
를 포함하고,
상기 제 2 샘플링 시간은 상기 적어도 하나의 중간 전하-누적 샘플에 후속하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 26 항에 있어서,
(i) 상기 적어도 하나의 중간 전하-누적 샘플, (ii) 상기 리셋-상태 샘플 및 (iii) 상기 최종 전하-누적 샘플에 적어도 부분적으로 기초하여 픽셀 값을 생성하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 27 항에 있어서,
상기 리셋-상태 샘플에 적어도 부분적으로 기초하여 픽셀 값을 생성하는 것은, 상기 리셋-상태 샘플을 감산하고 상기 최종 전하-누적 샘플과 상기 적어도 하나의 중간 전하-누적 샘플을 가산함으로써 집성 (aggregate) 픽셀 값을 형성하는 것을 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 26 항에 있어서,
상기 기준 신호에 대한 감광성 엘리먼트의 상태를 샘플링하는 것은, 제 1 샘플-앤드-홀드 엘리먼트 (sample-and-hold element) 내의 상기 감광성 엘리먼트의 상태를 표현하는 신호 레벨을 캡처하는 것, 및 제 2 샘플-앤드-홀드 엘리먼트에서의 제 1 기준 신호를 표현하는 신호 레벨을 캡처하는 것을 포함하고,
상기 인접한 후속 리셋-상태 샘플에 대한 상기 감광성 엘리먼트의 상태를 샘플링하는 것은, 상기 제 1 샘플-앤드-홀드 엘리먼트 내의 상기 감광성 엘리먼트의 상태를 표현하는 이전에 캡처된 신호 레벨을 유지하는 동안, 상기 감광성 엘리먼트를 리셋한 후에 상기 제 2 샘플-앤드-홀드 엘리먼트 내의 상기 감광성 엘리먼트의 상태를 표현하는 신호 레벨을 캡처하는 것을 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 제 29 항에 있어서,
상기 리셋-상태 샘플, 상기 최종 전하-누적 샘플, 및 상기 적어도 하나의 중간 전하-누적 샘플 각각에 대해 상기 제 1 샘플-앤드-홀드 엘리먼트 내의 신호 레벨과 상기 제 2 샘플-앤드-홀드 엘리먼트 내의 신호 레벨 사이의 차이에 대한 아날로그-디지털 변환 동작을 실행하는 단계를 더 포함하는, 집적 회로 이미지 센서 내의 동작 방법. - 집적 회로 이미지 센서로서,
감광성 엘리먼트를 포함하는 픽셀;
기준 노드;
제 1 및 제 2 샘플-앤드-홀드 회로들
을 포함하고,
상기 제 1 샘플-앤드-홀드 회로는, 상기 감광성 엘리먼트의 샘플링을 가능하게 하도록 상기 픽셀에 스위칭가능하게 커플링되고,
상기 제 2 샘플-앤드-홀드 회로는 상기 감광성 엘리먼트 내에 누적된 전하를 표현하는 신호의 수신을 가능하게 하도록 상기 픽셀에 스위칭가능하게 커플링되고, 상기 기준 노드의 샘플링을 가능하게 하도록 상기 기준 노드에 스위칭가능하게 커플링되는, 집적 회로 이미지 센서. - 제 31 항에 있어서,
상기 픽셀 내에 광이 누적되는 프레임 간격 내의 다양한 시간들에서 상기 제 1 및 제 2 샘플-앤드-홀드 회로들 내의 샘플링 동작들을 트리거하기 위한 제어 회로부를 더 포함하고,
상기 다양한 시간들은,
상기 감광성 엘리먼트의 제 1 리셋에 후속하여, 그리고 다시 상기 프레임 간격의 끝에서, 상기 제 1 및 제 2 샘플-앤드-홀드 회로들 내에서 상기 기준 노드와 상기 감광성 엘리먼트를 각각 샘플링하는 것; 및
중앙 집적 간격에 후속하여, 상기 제 1 및 제 2 샘플-앤드-홀드 회로들 내의 중간 리셋 동작 전후에 상기 감광성 엘리먼트를 각각 샘플링하는 것
을 포함하는, 집적 회로 이미지 센서. - 제 31 항에 있어서,
상기 제 1 및 제 2 샘플-앤드-홀드 회로들 내의 샘플링 값들 사이의 차이를 표현하는 디지털화된 값을 생성하기 위한 아날로그-디지털 변환기; 및
상기 디지털화된 값을 상기 아날로그-디지털 변환기로부터 수신하고, 선택적으로 보완된 값으로서, (i) 상기 디지털화된 값의 네거티브 또는 (ii) 상기 디지털화된 값 중 어느 하나를 출력하기 위한 선택적 보완 회로
를 더 포함하는, 집적 회로 이미지 센서. - 제 33 항에 있어서,
상기 선택적으로 보완된 값을 상기 선택적 보완 회로로부터 수신하고 상기 선택적으로 보완된 값의 인스턴스들을 각각의 시간들 및 저장 위치들에 저장하도록 커플링된 메모리를 더 포함하는, 집적 회로 이미지 센서. - 제 31 항에 있어서,
상기 픽셀과 상기 제 1 및 제 2 샘플-앤드-홀드 회로들 사이에 커플링된 판독 신호 라인을 더 포함하고,
상기 감광성 엘리먼트는 포토다이오드이고,
상기 픽셀은, 판독-선택 트랜지스터를 통해 상기 판독 신호 라인에 커플링된 출력 단자 및 상기 포토다이오드의 캐소드에 직접 커플링된 게이트 단자를 갖는 트랜지스터 증폭기를 더 포함하는, 집적 회로 이미지 센서. - 제 35 항에 있어서,
상기 제 1 샘플-앤드-홀드 회로는, 제 1 용량성 노드, 및 상기 제 1 용량성 노드와 상기 판독 신호 라인 사이에 배치된 제 1 스위칭 엘리먼트를 포함하고,
상기 제 1 스위칭 엘리먼트는, (i) 상기 제 1 샘플-앤드-홀드 회로를 상기 픽셀로부터 스위칭가능하게 커플링해제하기 위한 개방 상태와, (ii) 상기 제 1 샘플-앤드-홀드 회로를 상기 픽셀에 스위칭가능하게 커플링하기 위한 폐쇄 상태 사이에서 스위칭가능하고,
상기 제 2 샘플-앤드-홀드 회로는, 제 2 용량성 노드, 상기 제 2 용량성 노드와 상기 판독 신호 라인 사이에 배치된 제 2 스위칭 엘리먼트, 및 상기 제 2 용량성 노드와 상기 기준 노드 사이에 배치된 제 3 스위칭 엘리먼트를 포함하고,
상기 제 2 스위칭 엘리먼트는, (i) 상기 제 2 샘플-앤드-홀드 회로를 상기 픽셀로부터 스위칭가능하게 커플링해제하기 위한 개방 상태와, (ii) 상기 제 2 샘플-앤드-홀드 회로를 상기 픽셀에 스위칭가능하게 커플링하기 위한 폐쇄 상태 사이에서 스위칭가능하고,
상기 제 3 스위칭 엘리먼트는, (i) 상기 제 2 샘플-앤드-홀드 회로를 상기 기준 노드로부터 스위칭가능하게 커플링해제하기 위한 개방 상태와, (ii) 상기 제 2 샘플-앤드-홀드 회로를 상기 기준 노드에 스위칭가능하게 커플링하기 위한 폐쇄 상태 사이에서 스위칭가능한, 집적 회로 이미지 센서. - 이미징 시스템 내의 동작 방법으로서,
픽셀의 제 1 리셋과 상기 픽셀의 제 2 리셋 사이의 경과된 시간을 결정하는 단계로서, 상기 픽셀의 제 1 및 제 2 리셋들은 비-오버랩하는 제 1 및 제 2 프레임 간격들 내에서 각각 발생하고, 적어도 일부의 인스턴스들에서 경과된 시간은 비-정수의 프레임들을 포함하는, 상기 픽셀의 제 1 리셋과 상기 픽셀의 제 2 리셋 사이의 경과된 시간을 결정하는 단계;
상기 픽셀의 제 1 및 제 2 리셋들 사이에서 상기 픽셀에 대해 획득된 판독 값들의 합산을 생성하는 단계; 및
상기 경과된 시간 및 상기 판독 값들의 합산에 적어도 부분적으로 기초하여 상기 픽셀에 대한 제 1 출력 픽셀 값을 생성하는 단계
를 포함하는, 이미징 시스템 내의 동작 방법. - 제 37 항에 있어서,
상기 픽셀의 제 1 리셋과 상기 픽셀의 제 2 리셋 사이의 경과된 시간을 결정하는 단계는, 상기 이미징 시스템의 메모리 내에 타임스탬프를 기록하는 단계를 포함하고,
상기 타임스탬프는 상기 픽셀의 제 1 리셋의 발생 시간을 나타내는, 이미징 시스템 내의 동작 방법. - 제 37 항에 있어서,
상기 이미징 시스템의 메모리 내에 상기 제 2 프레임 간격 동안 획득된 이미지 데이터의 제 1 입력 프레임을 저장하는 단계로서, 상기 이미지 데이터의 제 1 입력 프레임은 상기 제 1 및 제 2 리셋들 사이의 제 1 픽셀에 대해 획득된 판독 값들을 포함하는, 상기 이미지 데이터의 제 1 입력 프레임을 저장하는 단계; 및
상기 제 1 입력 프레임의 표현으로서, 상기 제 1 출력 픽셀 값을 포함하는 제 1 출력 프레임을 생성하는 단계
를 더 포함하는, 이미징 시스템 내의 동작 방법. - 제 37 항에 있어서,
제 3 프레임 간격과 연관되어, 상기 제 3 프레임 간격 동안 상기 픽셀이 리셋되지 않았음을 나타내는 이미지 데이터의 제 2 입력 프레임을 수신하는 단계; 및
상기 제 2 입력 프레임의 표현으로서, 상기 제 1 출력 픽셀 값에 적어도 부분적으로 기초하여 상기 픽셀에 대해 생성된 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 단계
를 더 포함하는, 이미징 시스템 내의 동작 방법. - 제 40 항에 있어서,
픽셀 리셋을 유발하는 일 없이 상기 제 3 프레임 간격 동안 상기 픽셀 내에 집적될 수 있었던 전하의 이론상의 양에 적어도 부분적으로 기초하여 이론상 픽셀 값을 결정하는 단계; 및
상기 이론상 픽셀 값을 상기 제 1 출력 픽셀 값과 비교하는 단계
를 더 포함하고,
상기 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 단계는, 출력 픽셀이 상기 이론상 픽셀 값보다 더 작을 때 상기 제 1 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 단계를 포함하는, 이미징 시스템 내의 동작 방법. - 제 41 항에 있어서,
상기 제 2 입력 프레임의 표현으로서, 상기 이론상 픽셀 값이 상기 출력 픽셀보다 더 작을 때 상기 이론상 픽셀 값에 적어도 부분적으로 기초하여 결정된 제 2 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 단계를 더 포함하는, 이미징 시스템 내의 동작 방법. - 이미징 시스템으로서,
픽셀 어레이, 및 각각의 프레임 간격들 내에서 상기 픽셀 어레이의 각각의 픽셀들에 대한 판독 값들을 생성하고 출력하기 위한 회로부를 갖는 이미징 컴포넌트; 및
이미지 프로세서
를 포함하고,
상기 이미지 프로세서는,
상기 픽셀 어레이의 픽셀의 제 1 리셋과 상기 픽셀의 제 2 리셋 사이의 경과된 시간을 결정하는 것으로서, 상기 픽셀의 제 1 및 제 2 리셋들은 비-오버랩하는 제 1 및 제 2 프레임 간격들 내에서 각각 발생하고, 적어도 일부의 인스턴스들에서 경과된 시간은 비-정수의 프레임들을 포함하는, 상기 픽셀 어레이의 픽셀의 제 1 리셋과 상기 픽셀의 제 2 리셋 사이의 경과된 시간을 결정하는 것을 행하고;
상기 픽셀의 제 1 및 제 2 리셋들 사이에서 상기 픽셀에 대해 상기 이미징 컴포넌트에 의해 생성된 판독 값들의 합산을 생성하며;
상기 경과된 시간 및 상기 판독 값들의 합산에 적어도 부분적으로 기초하여 상기 픽셀에 대한 제 1 출력 픽셀 값을 생성하기 위한 것인, 이미징 시스템. - 제 43 항에 있어서,
메모리를 더 포함하고,
상기 이미지 프로세서는, 상기 픽셀의 제 1 및 제 2 리셋들 사이의 경과된 시간을 결정하는 것의 부분으로서, 상기 메모리 내에 타임스탬프를 기록하도록 하는, 이미징 시스템. - 제 43 항에 있어서,
메모리를 더 포함하고,
상기 이미지 프로세서는 또한,
상기 제 2 프레임 간격 동안 상기 이미징 컴포넌트에 의해 획득된 이미지 데이터의 제 1 원시 프레임을 상기 메모리 내에 저장하는 것으로서, 상기 이미지 데이터의 제 1 원시 프레임은 상기 제 1 및 제 2 리셋들 사이에서 제 1 픽셀에 대해 획득된 판독 값들을 포함하는, 상기 이미지 데이터의 제 1 원시 프레임을 상기 메모리 내에 저장하는 것을 행하고;
상기 이미지 데이터의 제 1 원시 프레임의 표현으로서, 상기 제 1 출력 픽셀 값을 포함하는 제 1 출력 프레임을 생성하기 위한 것인, 이미징 시스템. - 제 43 항에 있어서,
상기 이미지 프로세서는 또한,
제 3 프레임 간격 동안 상기 이미징 컴포넌트에 의해 획득된 이미지 데이터의 제 2 원시 프레임을 수신하는 것으로서, 상기 이미지 데이터의 제 2 원시 프레임은 상기 제 3 프레임 간격 동안 상기 픽셀이 리셋되지 않았음을 나타내는, 상기 이미지 데이터의 제 2 원시 프레임을 수신하는 것을 행하고;
상기 이미지 데이터의 제 2 원시 프레임의 표현으로서, 상기 제 1 출력 픽셀 값에 적어도 부분적으로 기초하여 상기 픽셀에 대해 생성된 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하기 위한 것인, 이미징 시스템. - 제 46 항에 있어서,
상기 이미지 프로세서는 또한,
픽셀 리셋을 유발하는 일 없이 상기 제 3 프레임 간격 동안 상기 픽셀 내에 집적될 수 있었던 전하의 이론상의 양에 적어도 부분적으로 기초하여 이론상 픽셀 값을 결정하고;
상기 이론상 픽셀 값을 상기 제 1 출력 픽셀 값과 비교하기 위한 것이며,
상기 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 것은, 상기 제 2 출력 픽셀 값이 상기 이론상 픽셀 값보다 더 작을 때 상기 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하는 것을 포함하는, 이미징 시스템. - 제 47 항에 있어서,
상기 이미지 프로세서는 또한, 상기 이미지 데이터의 제 2 원시 프레임의 표현으로서, 상기 이론상 픽셀 값이 상기 제 1 출력 픽셀 값보다 더 작을 때 상기 이론상 픽셀 값에 적어도 부분적으로 기초하여 결정된 제 2 출력 픽셀 값을 포함하는 제 2 출력 프레임을 생성하기 위한 것인, 이미징 시스템.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261710621P | 2012-10-05 | 2012-10-05 | |
| US61/710,621 | 2012-10-05 | ||
| US201261747286P | 2012-12-29 | 2012-12-29 | |
| US61/747,286 | 2012-12-29 | ||
| PCT/US2013/062550 WO2014055391A2 (en) | 2012-10-05 | 2013-09-30 | Conditional-reset, multi-bit read-out image sensor |
| KR1020157011740A KR20150068429A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157011740A Division KR20150068429A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230004854A true KR20230004854A (ko) | 2023-01-06 |
Family
ID=49553807
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227042210A KR20230004854A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
| KR1020207019836A KR20200085943A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
| KR1020157011740A KR20150068429A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207019836A KR20200085943A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
| KR1020157011740A KR20150068429A (ko) | 2012-10-05 | 2013-09-30 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9667898B2 (ko) |
| EP (1) | EP2904770B1 (ko) |
| JP (1) | JP6374869B2 (ko) |
| KR (3) | KR20230004854A (ko) |
| CN (2) | CN104704812B (ko) |
| WO (1) | WO2014055391A2 (ko) |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036065B1 (en) * | 2012-08-16 | 2015-05-19 | Rambus Inc. | Shared-counter image sensor |
| WO2014055391A2 (en) | 2012-10-05 | 2014-04-10 | Rambus Inc. | Conditional-reset, multi-bit read-out image sensor |
| WO2015016991A1 (en) * | 2013-07-31 | 2015-02-05 | Massachusetts Institute Of Technology | Methods and apparatus for true high dynamic range imaging |
| JP6302350B2 (ja) * | 2014-05-13 | 2018-03-28 | 日本放送協会 | 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子 |
| DE102014108667A1 (de) * | 2014-06-20 | 2015-12-24 | Technische Universität Braunschweig | Stromrichter und Computerprogramm |
| JP6545541B2 (ja) * | 2014-06-25 | 2019-07-17 | 株式会社半導体エネルギー研究所 | 撮像装置、監視装置、及び電子機器 |
| JP6395482B2 (ja) * | 2014-07-11 | 2018-09-26 | キヤノン株式会社 | 光電変換装置、および、撮像システム |
| CN104252622A (zh) * | 2014-10-15 | 2014-12-31 | 倪蔚民 | 移动终端前置和虹膜识别一体化光电成像系统及方法 |
| CN107211102B (zh) * | 2015-01-30 | 2020-11-17 | 索尼公司 | 固体摄像装置和电子设备 |
| WO2016164242A1 (en) * | 2015-04-07 | 2016-10-13 | Rambus Inc. | Imaging system with dynamic reconstruction workload allocation |
| US10389961B2 (en) * | 2015-04-09 | 2019-08-20 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device and electronic device |
| CN107534049B (zh) * | 2015-04-24 | 2021-07-20 | 索尼公司 | 固态图像元件、半导体装置和电子设备 |
| US9564464B2 (en) * | 2015-06-03 | 2017-02-07 | Semiconductor Components Industries, Llc | Monolithically stacked image sensors |
| KR102523136B1 (ko) * | 2015-09-01 | 2023-04-19 | 삼성전자주식회사 | 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 |
| US9521351B1 (en) | 2015-09-21 | 2016-12-13 | Rambus Inc. | Fractional-readout oversampled image sensor |
| US10883931B2 (en) | 2016-02-24 | 2021-01-05 | Sony Corporation | Optical measuring instrument, flow cytometer, and radiation counter |
| KR102373088B1 (ko) * | 2016-03-03 | 2022-03-11 | 소니 어드밴스드 비주얼 센싱 아게 | 이벤트 기반의 비전 센서 |
| US10425589B2 (en) * | 2016-07-28 | 2019-09-24 | Intevac, Inc. | Adaptive XDR via reset and mean signal values |
| DE102016011913A1 (de) * | 2016-10-05 | 2018-04-05 | Hensoldt Sensors Gmbh | Detektoreinheit und ein Verfahren zum Detektieren eines optischen Detektionssignals |
| US10084976B2 (en) * | 2016-11-02 | 2018-09-25 | Raytheon Company | Flux rate unit cell focal plane array |
| US11039099B2 (en) * | 2016-11-24 | 2021-06-15 | Sony Semiconductor Solutions Corporation | Solid-state imaging element, solid-state imaging apparatus, and method for controlling solid-state imaging element |
| KR102621752B1 (ko) * | 2017-01-13 | 2024-01-05 | 삼성전자주식회사 | Mram을 포함한 씨모스 이미지 센서 |
| US10242268B2 (en) * | 2017-02-03 | 2019-03-26 | Raytheon Company | Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications |
| CN108574793B (zh) | 2017-03-08 | 2022-05-10 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
| US10516841B2 (en) * | 2017-03-08 | 2019-12-24 | Samsung Electronics Co., Ltd. | Pixel, pixel driving circuit, and vision sensor including the same |
| CN106982337B (zh) | 2017-04-27 | 2019-07-23 | 京东方科技集团股份有限公司 | 一种cmos图像传感器及其像素电路、驱动方法 |
| US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US11568609B1 (en) | 2017-07-25 | 2023-01-31 | Meta Platforms Technologies, Llc | Image sensor having on-chip compute circuit |
| US10726627B2 (en) | 2017-07-25 | 2020-07-28 | Facebook Technologies, Llc | Sensor system based on stacked sensor layers |
| US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
| KR102424155B1 (ko) * | 2017-11-08 | 2022-07-25 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| US11057581B2 (en) | 2018-01-24 | 2021-07-06 | Facebook Technologies, Llc | Digital pixel array with multi-stage readouts |
| US10721424B2 (en) * | 2018-02-23 | 2020-07-21 | Robert Bosch Gmbh | Analog-to-digital converter (ADC) sampling system |
| US11212468B2 (en) * | 2018-03-14 | 2021-12-28 | Sony Advanced Visual Sensing Ag | Event-based vision sensor with direct memory control |
| KR20210028139A (ko) | 2018-03-14 | 2021-03-11 | 소니 어드밴스드 비주얼 센싱 아게 | 3d-ic 기술로 제조된 이벤트-기반 비전 센서 |
| US11190721B2 (en) | 2018-04-16 | 2021-11-30 | Ningbo ABAX Sensing Electronic Technology Co., Ltd. | Signal separation method, pixel unit, and pixel array |
| JP6852712B2 (ja) * | 2018-04-27 | 2021-03-31 | 株式会社ニコン | 撮像素子および撮像装置 |
| CN108680587B (zh) * | 2018-05-09 | 2020-12-15 | 京东方科技集团股份有限公司 | 一种检测电路、信号处理方法和平板探测器 |
| US12034015B2 (en) | 2018-05-25 | 2024-07-09 | Meta Platforms Technologies, Llc | Programmable pixel array |
| US10712595B2 (en) * | 2018-05-28 | 2020-07-14 | Wuhan China Star Optoelectronics Technology Co., Ltd. | Full screen module and smartphone |
| US11906353B2 (en) * | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
| US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
| US10531035B1 (en) * | 2018-07-17 | 2020-01-07 | Semiconductor Components Industries, Llc | Image sensors with predictive pre-charging circuitry |
| US10341596B1 (en) * | 2018-07-26 | 2019-07-02 | Taiwan Semiconductor Manufacturing Company Ltd. | Image sensor system, associated timing control circuit thereof and associated method |
| JP7114396B2 (ja) * | 2018-08-03 | 2022-08-08 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
| US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
| US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
| US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
| EP3664439A1 (en) * | 2018-12-07 | 2020-06-10 | Fundació Institut de Ciències Fotòniques | An optoelectronic, a reading-out method, and a uses of the optoelectronic apparatus |
| US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
| US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
| CN113366829A (zh) * | 2019-01-23 | 2021-09-07 | 苹果公司 | 事件驱动型传感器的像素大小减小方法 |
| JP7336217B2 (ja) * | 2019-03-12 | 2023-08-31 | キヤノン株式会社 | 情報処理装置、撮像素子、撮像装置、及び情報処理方法 |
| US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
| CN109936714B (zh) * | 2019-04-11 | 2021-01-05 | 长春长光辰芯光电技术有限公司 | 一种高灵敏度长曝光时间像素结构 |
| CN110161838B (zh) * | 2019-05-06 | 2020-12-15 | 浙江大学 | 带压电力传感器静态漂移自动补偿的切削力主从控制系统 |
| US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
| US20210006742A1 (en) * | 2019-07-07 | 2021-01-07 | Himax Imaging Limited | Image sensor and timing controller thereof |
| US12108141B2 (en) | 2019-08-05 | 2024-10-01 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
| US11936998B1 (en) | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
| US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
| US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
| KR102335638B1 (ko) * | 2019-12-27 | 2021-12-07 | 한국과학기술원 | 리드아웃 회로 및 이를 포함한 이미지센서 |
| US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
| US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
| EP3930309A1 (en) * | 2020-06-26 | 2021-12-29 | ams Sensors Belgium BVBA | Pixel and method for operating a pixel |
| US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
| US12075175B1 (en) | 2020-09-08 | 2024-08-27 | Meta Platforms Technologies, Llc | Programmable smart sensor with adaptive readout |
| US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
| KR20220077735A (ko) | 2020-12-02 | 2022-06-09 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서의 픽셀 어레이 |
| KR20220085156A (ko) | 2020-12-15 | 2022-06-22 | 삼성전자주식회사 | 디지털 픽셀 센서 및 아날로그 디지털 변환기 |
| KR20220087081A (ko) * | 2020-12-17 | 2022-06-24 | 삼성전자주식회사 | 집적 게이즈 추적기 및 그 작동 방법 |
| US11935575B1 (en) | 2020-12-23 | 2024-03-19 | Meta Platforms Technologies, Llc | Heterogeneous memory system |
| US12022218B2 (en) | 2020-12-29 | 2024-06-25 | Meta Platforms Technologies, Llc | Digital image sensor using a single-input comparator based quantizer |
| KR20220105292A (ko) * | 2021-01-20 | 2022-07-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
| CN115225898A (zh) * | 2021-04-21 | 2022-10-21 | 北京大学 | 时序信号的编码方法、解码方法及装置 |
| CN115866427B (zh) * | 2023-01-17 | 2023-05-12 | 脉冲视觉(北京)科技有限公司 | 脉冲数据读出方法和装置、系统、设备和介质 |
| CN115967864B (zh) * | 2022-12-29 | 2023-12-26 | 脉冲视觉(北京)科技有限公司 | 图像传感器中光信号的采集方法、电路、设备和介质 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63314071A (ja) | 1987-06-17 | 1988-12-22 | Dainippon Screen Mfg Co Ltd | 画像読取装置の２値化処理方法 |
| US7139025B1 (en) | 1998-10-29 | 2006-11-21 | Micron Technology, Inc. | Active pixel sensor with mixed analog and digital signal integration |
| US7079178B2 (en) | 2001-02-20 | 2006-07-18 | Jaroslav Hynecek | High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset |
| US8169517B2 (en) | 2001-03-26 | 2012-05-01 | Panavision Imaging Llc | Image sensor ADC and CDS per column with oversampling |
| US7009163B2 (en) | 2001-06-22 | 2006-03-07 | Orbotech Ltd. | High-sensitivity optical scanning using memory integration |
| JP2003259234A (ja) * | 2002-02-26 | 2003-09-12 | Tohoku Techno Arch Co Ltd | Ｃｍｏｓイメージセンサ |
| US20030183891A1 (en) * | 2002-03-27 | 2003-10-02 | Xinping He | Column readout circuit with increased signal range for CMOS image sensor |
| JP4172216B2 (ja) * | 2002-07-16 | 2008-10-29 | ソニー株式会社 | 撮像装置 |
| US7176438B2 (en) * | 2003-04-11 | 2007-02-13 | Canesta, Inc. | Method and system to differentially enhance sensor dynamic range using enhanced common mode reset |
| US7218350B2 (en) * | 2003-06-30 | 2007-05-15 | Texas Instruments Incorporated | Image sensor with digital output and inherent pixel non-uniformity suppression |
| US7411169B2 (en) | 2006-05-12 | 2008-08-12 | Ess Technology, Inc. | Wide dynamic range image sensor and method of use |
| JP4667322B2 (ja) * | 2006-08-08 | 2011-04-13 | キヤノン株式会社 | 信号処理装置、撮像システム及び信号処理方法 |
| US7514716B2 (en) * | 2006-08-29 | 2009-04-07 | Aptina Imaging Corporation | In-pixel analog memory with non-destructive read sense circuit for high dynamic range global shutter pixel operation |
| US7696545B2 (en) | 2006-08-29 | 2010-04-13 | Micron Technology, Inc. | Skimmed charge capture and charge packet removal for increased effective pixel photosensor full well capacity |
| US7990451B2 (en) * | 2006-11-20 | 2011-08-02 | Ben Gurion University Of The Negev Research And Development Authority | Optical pixel and image sensor |
| US7791657B2 (en) | 2007-03-07 | 2010-09-07 | Teledyne Licensing, Llc | Dynamic range enhancement scheme for imagers |
| GB2465937B (en) | 2007-09-05 | 2012-10-03 | Hiok Nam Tay | Wide dynamic range cmos image sensor |
| US8629927B2 (en) * | 2008-04-09 | 2014-01-14 | Gentex Corporation | Imaging device |
| US8023022B2 (en) * | 2008-05-13 | 2011-09-20 | Olympus Corporation | Solid-state imaging apparatus |
| KR101496712B1 (ko) * | 2008-06-11 | 2015-02-27 | 삼성전자주식회사 | 아날로그-디지털 변환 장치와 이를 포함하는 이미지 촬상 장치 |
| WO2010084493A1 (en) * | 2009-01-26 | 2010-07-29 | Elbit Systems Ltd. | Optical pixel and image sensor |
| US8378284B2 (en) * | 2009-01-28 | 2013-02-19 | Gentex Corporation | Imaging device |
| US8144223B2 (en) * | 2009-01-28 | 2012-03-27 | Gentex Corporation | Imaging device |
| JP2011019123A (ja) * | 2009-07-09 | 2011-01-27 | Toshiba Corp | 固体撮像装置 |
| US8279328B2 (en) * | 2009-07-15 | 2012-10-02 | Tower Semiconductor Ltd. | CMOS image sensor with wide (intra-scene) dynamic range |
| TW201136294A (en) * | 2009-10-28 | 2011-10-16 | Sony Corp | Signal processing apparatus, signal processing method, computer program, image processing apparatus, and image capturing apparatus |
| WO2011110985A2 (en) * | 2010-03-12 | 2011-09-15 | Koninklijke Philips Electronics N.V. | Multiframe x-ray detector for imaging system with distributed x-ray sources |
| US8847169B2 (en) * | 2010-05-25 | 2014-09-30 | The Hong Kong University Of Science And Technology | Quantum-limited highly linear CMOS detector for computer tomography |
| KR101758310B1 (ko) | 2011-01-11 | 2017-07-27 | 삼성전자주식회사 | 아날로그 디지털 컨버터 및 이를 포함하는 이미지 센서 |
| EP2815393B1 (en) * | 2012-02-14 | 2023-04-05 | Gentex Corporation | High dynamic range imager system |
| WO2014055391A2 (en) | 2012-10-05 | 2014-04-10 | Rambus Inc. | Conditional-reset, multi-bit read-out image sensor |
-
2013
- 2013-09-30 WO PCT/US2013/062550 patent/WO2014055391A2/en active Application Filing
- 2013-09-30 CN CN201380052410.4A patent/CN104704812B/zh not_active Expired - Fee Related
- 2013-09-30 KR KR1020227042210A patent/KR20230004854A/ko not_active Application Discontinuation
- 2013-09-30 JP JP2015535711A patent/JP6374869B2/ja not_active Expired - Fee Related
- 2013-09-30 EP EP13789064.6A patent/EP2904770B1/en not_active Not-in-force
- 2013-09-30 CN CN201810415537.2A patent/CN108391066B/zh not_active Expired - Fee Related
- 2013-09-30 US US14/433,003 patent/US9667898B2/en active Active
- 2013-09-30 KR KR1020207019836A patent/KR20200085943A/ko not_active Application Discontinuation
- 2013-09-30 KR KR1020157011740A patent/KR20150068429A/ko active Application Filing
-
2017
- 2017-04-25 US US15/497,093 patent/US10594973B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2904770A2 (en) | 2015-08-12 |
| CN108391066B (zh) | 2020-11-10 |
| WO2014055391A3 (en) | 2014-06-05 |
| CN104704812A (zh) | 2015-06-10 |
| US20150281613A1 (en) | 2015-10-01 |
| CN108391066A (zh) | 2018-08-10 |
| US10594973B2 (en) | 2020-03-17 |
| US20170324920A1 (en) | 2017-11-09 |
| WO2014055391A2 (en) | 2014-04-10 |
| EP2904770B1 (en) | 2018-01-10 |
| JP2015530855A (ja) | 2015-10-15 |
| JP6374869B2 (ja) | 2018-08-15 |
| CN104704812B (zh) | 2018-05-25 |
| KR20200085943A (ko) | 2020-07-15 |
| US9667898B2 (en) | 2017-05-30 |
| KR20150068429A (ko) | 2015-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594973B2 (en) | Conditional-reset, multi-bit read-out image sensor | |
| US10136090B2 (en) | Threshold-monitoring, conditional-reset image sensor | |
| KR102212100B1 (ko) | 분할-게이트 조건부-재설정 이미지 센서 | |
| EP2832090B1 (en) | Cmos image sensors implementing full frame digital correlated double sampling with global shutter | |
| TWI424742B (zh) | 用於像素單元之高動態運作之方法及裝置 | |
| US8643755B2 (en) | Solid-state imaging device and camera system | |
| JP2006197393A (ja) | 固体撮像装置、カメラ、及び固体撮像装置の駆動方法 | |
| US9544518B2 (en) | Image pickup apparatus and image pickup system with ad converter outputting image data at first resolution in a case where pixel signals are not higher than threshold level and at second resolution in a case where pixel signals are higher than threshold level | |
| US10033956B2 (en) | Image sensor | |
| US10785423B2 (en) | Image sensor, image capturing apparatus, and image capturing method | |
| JP2014060573A (ja) | 固体撮像素子、制御方法、および電子機器 | |
| WO2024031300A1 (en) | Photon counting pixel and method of operation thereof | |
| AU2011205092A1 (en) | Change detection sampling for video sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |