[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20200113484A - 이미지 센서 및 그 동작 방법 - Google Patents

이미지 센서 및 그 동작 방법 Download PDF

Info

Publication number
KR20200113484A
KR20200113484A KR1020190033727A KR20190033727A KR20200113484A KR 20200113484 A KR20200113484 A KR 20200113484A KR 1020190033727 A KR1020190033727 A KR 1020190033727A KR 20190033727 A KR20190033727 A KR 20190033727A KR 20200113484 A KR20200113484 A KR 20200113484A
Authority
KR
South Korea
Prior art keywords
pixel
sensing
pixels
photo
floating diffusion
Prior art date
Application number
KR1020190033727A
Other languages
English (en)
Other versions
KR102684722B1 (ko
Inventor
노영훈
고주현
우지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190033727A priority Critical patent/KR102684722B1/ko
Priority to US16/685,361 priority patent/US11678075B2/en
Priority to CN202010190218.3A priority patent/CN111741242A/zh
Priority to CN202310572091.5A priority patent/CN116684752A/zh
Publication of KR20200113484A publication Critical patent/KR20200113484A/ko
Priority to US18/202,609 priority patent/US20230319430A1/en
Application granted granted Critical
Publication of KR102684722B1 publication Critical patent/KR102684722B1/ko

Links

Images

Classifications

    • H04N5/3559—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/35536—
    • H04N9/0455—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 개시의 기술적 사상의 일측면에 따른 픽셀 어레이를 포함하는 이미지 센서에 있어서, 상기 픽셀 어레이는, 동일한 컬러 필터가 구비된 제1 센싱 픽셀들 및 제2 센싱 픽셀들을 포함하는 제1 단위 픽셀을 포함하도록 구성되고, 상기 제1 센싱 픽셀들은, 제1 플로팅 디퓨전 노드를 공유하도록 구성되며, 상기 제2 센싱 픽셀들은, 상기 제1 센싱 픽셀들의 행 방향으로 인접하게 배치되고, 제2 플로팅 디퓨전 노드를 공유하도록 구성될 수 있다.

Description

이미지 센서 및 그 동작 방법 {Image sensor and operation method thereof}
본 개시의 기술적 사상은 이미지 센서에 관한 것으로서, 보다 상세하게는 플로팅 디퓨전 노드를 공유하는 센싱 픽셀 및 마이크로 렌즈를 공유하는 위상 검출 픽셀을 포함하는 이미지 센서에 관한 것이다.
이미지 센서(image sensor)는 대상물의 2차원적 또는 3차원적 이미지를 캡쳐(capture)하는 장치이다. 이미지 센서는 대상물로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용해 대상물의 이미지를 생성한다. 최근 CMOS (Complementary Metal-Oxide Semiconductor) 기술이 발전하면서, CMOS를 이용한 CMOS 이미지 센서가 널리 사용되고 있다.
본 개시의 기술적 사상이 해결하려는 과제는, 복수의 픽셀 정보를 더하여 저조도 성능을 개선하고, 각 픽셀에 수광된 정보를 이용하여 고해상도의 이미지도 획득할 수 있으며 High Dynamic Range(HDR) 및 위상 검출 오토 포커싱(PDAF)을 수행할 수 있는 경량화된 이미지 센서를 제공하는데 있다.
본 개시의 기술적 사상의 일측면에 따른 픽셀 어레이를 포함하는 이미지 센서에 있어서, 상기 픽셀 어레이는, 동일한 컬러 필터가 구비된 제1 센싱 픽셀들 및 제2 센싱 픽셀들을 포함하는 제1 단위 픽셀을 포함하도록 구성되고, 상기 제1 센싱 픽셀들은, 제1 플로팅 디퓨전 노드를 공유하도록 구성되며, 상기 제2 센싱 픽셀들은, 상기 제1 센싱 픽셀들의 행 방향으로 인접하게 배치되고, 제2 플로팅 디퓨전 노드를 공유하도록 구성될 수 있다.
본 개시의 기술적 사상의 일측면에 따른 이미지 센서는, 픽셀 신호를 출력하는, 복수의 센싱 픽셀들 및 복수의 위상 검출 픽셀들을 포함하는 픽셀 어레이, 일반 촬영 모드 또는 HDR(High Dynamic Range) 촬영 모드를 지시하는 동작 모드 정보에 기초하여 제어 신호를 출력하는 타이밍 컨트롤러 및 상기 제어 신호 및 상기 픽셀 신호에 기초하여, 픽셀 데이터를 출력하는 독출 회로를 포함하고, 상기 복수의 센싱 픽셀들 중 일부는, 하나의 플로팅 디퓨전 노드를 공유하고 하나의 컬럼 라인을 통해 상기 픽셀 신호를 출력할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 이미지 센서의 동작 방법에 있어서, 복수의 센싱 픽셀들이 하나의 플로팅 디퓨전 노드를 통해 픽셀 신호들을 순차적으로 출력하는 단계, 일반 촬영 모드 또는 HDR(High Dynamic Range) 촬영 모드를 지시하는 동작 모드 정보를 수신하는 단계 및 상기 동작 모드 정보가 상기 일반 촬영 모드를 지시하는 경우, 상기 픽셀 신호들에 대해 아날로그 비닝 동작을 수행하고, 상기 동작 모드 정보가 상기 HDR 촬영 모드를 지시하는 경우, 상기 픽셀 신호들에 대해 재구성 동작 및 DRC 동작 중 적어도 하나의 동작을 수행하는 단계를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 이미지 센서에 따르면, 복수의 센싱 픽셀들의 정보를 더하여 저조도 성능을 향상시킬 수 있다. 또한, 리모자이크(Remosaic) 동작에 의해 고해상도의 이미지를 획득할 수 있다. 또한, 복수의 센싱 픽셀들이 배열된 하나의 단위 픽셀에서, 각각의 센싱 픽셀들의 노광 시간을 달리하여 HDR을 수행할 수 있다. 또한, 마이크로 렌즈의 형상을 적절히 채용하여 위상 검출 픽셀을 상기 단위 픽셀에 포함시킬 수 있으며 이에 따라 PDAF를 수행할 수 있다.
도 1은 본 개시의 실시예에 따른 이미지 촬영 장치를 설명하기 위한 블록도이다.
도 2은 본 개시의 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 3은 본 개시의 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 4는 본 개시의 실시예에 따른 단위 픽셀 그룹을 설명하기 위한 도면이다.
도 5a 내지 도 5d는 본 개시의 실시예에 따라 HDR 촬영 모드에서 다양한 노광 시간을 갖는 복수의 센싱 픽셀들을 포함하는 단위 픽셀 그룹을 설명하기 위한 도면이다.
도 6a는 본 개시의 실시예에 따른 복수의 센싱 픽셀들이 포함된 센싱 픽셀 그룹을 설명하기 위한 회로도이며, 도 6b는 도 6a의 센싱 픽셀 그룹에 인가되는 신호를 설명하기 위한 파형도이다.
도 7은 본 개시의 실시예에 따른 이미지 센서의 동작 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시의 실시예에 따른 일반 촬영 모드에서 이미지 처리 동작을 설명하기 위한 블록도이다.
도 9는 본 개시의 실시예에 따른 일반 촬영 모드에서 이미지 처리 동작을 설명하기 위한 흐름도이다.
도 10은 본 개시의 실시예에 따른 HDR(High Dynamic Range) 촬영 모드에서 이미지 처리 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시의 실시예에 따른 HDR(High Dynamic Range) 촬영 모드에서 이미지 처리 동작을 설명하기 위한 블록도이다.
도 12는 본 개시의 실시예에 따른 위상 검출 픽셀 그룹의 구조를 설명하기 위한 단면도이다.
도 13a 내지 도 13d는 본 개시의 실시예에 따른 복수의 위상 검출 픽셀들이 포함된 위상 검출 픽셀 그룹과 마이크로 렌즈를 설명하기 위한 도면이다.
도 14는 본 개시의 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 이미지 촬영 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 이미지 촬영 장치(1000)는 촬영부(1100), 이미지 센서(100) 및 프로세서(1200)를 포함할 수 있다. 이미지 촬영 장치(1000)는 객체(S)를 촬영하여 영상 데이터를 획득할 수 있으며, 오토 포커싱(auto focusing) 기능을 수행할 수 있다.
이미지 촬영 장치(1000)의 전체 동작은 프로세서(1200)에 의해 제어될 수 있다. 프로세서(1200)는 렌즈 구동부(1120), 타이밍 컨트롤러(120) 등에 각 구성 요소의 동작을 위한 제어 신호 및/또는 정보를 제공할 수 있다. 일 예로, 프로세서(1200)는 일반 촬영 모드 또는 HDR(High Dynamic Range) 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)를 타이밍 컨트롤러(120)로 제공할 수 있다.
촬영부(1100)는 광을 수신하는 구성 요소로서, 렌즈(1110) 및 렌즈 구동부(1120)를 포함할 수 있으며, 렌즈(1110)는 적어도 하나의 렌즈들을 구비할 수 있다. 이 외에도, 촬영부(1100)는 조리개 및 조리개 구동부를 포함할 수 있다.
렌즈 구동부(1120)는 프로세서(1200)와 초점 검출에 관한 정보를 통신할 수 있고, 프로세서(1200)에서 제공된 제어 신호에 따라 렌즈(1110)의 위치를 조절할 수 있다. 렌즈 구동부(1120)는 렌즈(1110)를 객체(S)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동시킬 수 있다. 이로써, 렌즈(1110)와 객체(S) 사이의 거리가 조절될 수 있다. 렌즈(1110)의 위치에 따라 객체(S)에 대한 초점이 맞거나 흐려질 수 있다.
이미지 촬영 장치(1000)는 위상 검출 오토 포커싱(phase detection auto focusing, PDAF)을 수행할 수 있다. 예를 들어, 렌즈(1110)와 객체(S) 사이의 거리가 상대적으로 가까운 경우, 렌즈(1110)는 객체(S)에 대한 초점을 맞추기 위한 초점 위치(In-focus Position)에서 벗어나 있을 수 있고, 이미지 센서(100)에 촬영된 이미지들 사이에 위상 차가 발생할 수 있다. 렌즈 구동부(1120)는 프로세서(1200)에서 제공된 제어 신호에 기초하여, 렌즈(1110)를 객체(S)로부터의 거리가 증가하는 방향으로 이동시킬 수 있다.
또는, 렌즈(1110)와 객체(S) 사이의 거리가 상대적으로 먼 경우, 렌즈(1110)는 초점 위치에서 벗어나 있을 수 있고, 이미지 센서(100)에 맺힌 이미지들 사이에 위상 차가 발생할 수 있다. 렌즈 구동부(1120)는 프로세서(1200)에서 제공된 제어 신호에 기초하여, 렌즈(1110)를 객체(S)로부터의 거리가 감소하는 방향으로 이동시킬 수 있다.
이미지 센서(100)는 입사되는 광을 이미지 데이터로 변환할 수 있다. 이미지 센서(100)는 픽셀 어레이(110), 타이밍 컨트롤러(120) 및 이미지 신호 처리부(130)를 포함할 수 있다. 렌즈(1110)를 투과한 광학 신호는 픽셀 어레이(110)의 수광면에 이르러 피사체의 상을 결상할 수 있다.
픽셀 어레이(110)는 광학 신호를 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 픽셀 어레이(110)는 타이밍 컨트롤러(120)에 의해 노광 시간 및 감도 등이 조절될 수 있다. 픽셀 어레이(110)는 복수의 센싱 픽셀들 및 복수의 위상 검출 픽셀들을 포함할 수 있다. 센싱 픽셀들은 객체(S)를 촬영한 이미지 데이터를 출력하기 위해 동작할 수 있으며, 각각의 위상 검출 픽셀들은 객체(S)를 촬영한 이미지 데이터 간의 위상 차이를 감지하여 렌즈(1110)를 이동시키기 위해 동작할 수 있다. 센싱 픽셀들 및 위상 검출 픽셀들에 대한 구체적인 실시예는 도 2 등에서 후술한다.
프로세서(1200)는 이미지 신호 처리부(130)로부터 이미지 데이터를 수신할 수 있고, 이미지 데이터에 관한 다양한 이미지 후처리 동작을 수행하거나, 위상 차 연산을 수행할 수 있다.
일 예로, 프로세서(1200)는 센싱 픽셀들로부터 수신한 이미지 데이터에 대하여 밝기, 명암, 감마, 휘도 등의 이미지 파라미터를 조정하는 이미지 후처리 동작을 수행할 수 있다. 이미지 후처리 동작은 예컨대, 노이즈 저감 동작, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 다양한 동작을 포함할 수 있다. 이 후, 프로세서(1200)는 압축 동작을 수행하여 이미지 파일을 생성할 수 있으며, 이미지 파일로부터 이미지 데이터를 복원할 수 도 있다.
다른 예로, 프로세서(1200)는 위상 검출 픽셀들로부터 수신한 이미지 데이터에 대하여 위상 차 연산을 수행할 수 있다. 프로세서(1200)는 위상 차 연산 결과로 초점의 위치, 초점의 방향 또는 객체(S)와 이미지 센서(100) 사이의 거리 등을 구할 수 있다. 프로세서(1200)는 위상차 연산 결과를 기초로 하여, 렌즈(1110)의 위치를 이동시키기 위해 렌즈 구동부(1120)로 제어 신호를 출력할 수 있다.
본 개시의 실시예에 따르면, 이미지 촬영 장치(1000)는 다양한 전자 기기에 포함될 수 있다. 예를 들어, 이미지 촬영 장치(1000)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things, IoT), 태블릿 PC(Personal Computer), 노트북 PC, PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치, 디스플레이 장치 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 촬영 장치(1000)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
도 2은 본 개시의 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 타이밍 컨트롤러(120), 이미지 신호 처리부(130), 로우 드라이버(140), 독출 회로(150)를 포함할 수 있다.
픽셀 어레이(110)는 매트릭스 형태로 배치된 복수의 서브 픽셀들을 포함할 수 있고, 복수의 서브 픽셀들은 복수의 센싱 픽셀(SPX)들 및 복수의 위상 검출 픽셀(PPX)들을 포함할 수 있다. 일 예로, 서브 픽셀은 센싱 픽셀(SPX)일 수 있으며, 다른 예로, 서브 픽셀을 위상 검출 픽셀(PPX)일 수 있다. 복수의 서브 픽셀들 각각은 광 감지 소자를 포함할 수 있으며, 예컨대 광 감지 소자는 포토 다이오드일 수 있다. 광 감지 소자는 외부에서 입사된 빛에 의해 광 전하를 생성할 수 있으며, 복수의 픽셀들은 광 전하를 전압 또는 전류 신호로 변환하여 복수의 컬럼 라인(CL1~CLn)을 통해 픽셀 신호(SIG_PX)로써 출력할 수 있다.
픽셀 신호(SIG_PX)는, 센싱 픽셀(SPX)들로부터 출력된 이미지 신호 및 위상 검출 픽셀(PPX)들로부터 출력된 위상 신호를 포함할 수 있다. 일 예로, 복수의 센싱 픽셀(SPX)들은 도 1의 객체(S)에 대응하는 이미지 신호들을 픽셀 신호(SIP_PX)로서 출력할 수 있으며, 다른 예로, 복수의 위상 검출 픽셀(PPX)들은 객체(S)가 촬영되어 생성된 이미지들 사이의 위상 차를 산출하기 위해 이용되는 위상 신호들을 생성할 수 있다.
본 개시의 일 실시예에 따르면, 픽셀 어레이(110)는 복수의 센싱 픽셀 그룹(SPXG)을 포함할 수 있다. 각각의 센싱 픽셀 그룹(SPXG)은 행 방향으로 인접하게 배치될 수 있다. 센싱 픽셀 그룹(SPXG)에 포함된 복수의 센싱 픽셀들(예컨대, SPX1 ~ SPX3)은 하나의 플로팅 디퓨전 노드(예컨대, 도 6a의 FD)를 공유할 수 있다. 상기 복수의 센싱 픽셀들은 연장된 하나의 컬럼 라인을 통해 픽셀 신호(SIG_PX)를 출력할 수 있다. 이 경우, 센싱 픽셀 그룹(SPXG)에 포함된 복수의 센싱 픽셀(SPX)들은 동일한 컬러를 갖는 컬러 필터를 포함할 수 있다. 동일한 컬럼에 포함된 센싱 픽셀(SPX)들은, 행 단위로 픽셀 신호(SIG_PX)를 출력할 수 있다. 예컨대, 센싱 픽셀 그룹(SPXG)에 포함된 복수의 센싱 픽셀(SPX)들 중에서, 제1 행에 배치된 제1 센싱 픽셀(SPX1), 제2 행에 배치된 제2 센싱 픽셀(SPX2) 및 제3 행에 배치된 제3 센싱 픽셀(SPX3)이 각각 순차적으로 픽셀 신호(SIG_PX)를 출력할 수 있다. 복수의 센싱 픽셀(SPX)들에서 출력된 픽셀 신호(SIG_PX)를 함께 이용하여, 저조도에서도 고품질의 이미지를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 위상 검출 픽셀 그룹(PPXG)에 포함된 복수의 위상 검출 픽셀들(예컨대, PPX1, PPX2)은 동일한 하나의 마이크로 렌즈(예컨대, 도 12의 ML)를 포함할 수 있다. 위상 검출 픽셀(PPX)들은 하나의 마이크로 렌즈를 공유함으로서, 픽셀 어레이(110)의 단위 면적 당 픽셀 개수를 증가시킬 수 있다. 이 경우, 위상 검출 픽셀 그룹(PPXG)에 포함된 복수의 위상 검출 픽셀(PPX)들은 동일한 컬러를 갖는 컬러 필터를 포함할 수 있다. 위상 차 연산을 수행하기 위해서 동일한 파장 대역의 빛이 요구되기 때문이다.
타이밍 컨트롤러(120)는 픽셀 어레이(110)가 광을 흡수하여 전하를 축적하게 하거나, 축적된 전하를 임시로 저장하게 하고, 저장된 전하에 따른 전기적 신호를 픽셀 어레이(110)의 외부로 출력하게 하도록, 로우 드라이버(140)에 타이밍 컨트롤 신호(TC)를 제공함으로써, 로우 드라이버(140)를 제어할 수 있다.
본 개시의 일 실시예에 따르면, 타이밍 컨트롤러(120)는 동작 모드 정보(INFO_MD)를 참조하여, 센싱 픽셀(SPX) 또는 위상 검출 픽셀(PPX)의 노광 시간을 제어할 수 있다. 예컨대, 동작 모드 정보(INFO_MD)는 일반 촬영 모드를 지시하거나, HDR 촬영 모드를 지시할 수 있다.
일 예로, 타이밍 컨트롤러(120)는 일반 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)에 기초하여, 제1 행의 제1 센싱 픽셀(SPX1), 제2 행의 제2 센싱 픽셀(SPX2) 및 제3 행의 제3 센싱 픽셀(SPX3)이 동일한 노광 시간을 갖도록 로우 드라이버(140)로 타이밍 제어 신호(TC)를 전송할 수 있다. 다른 예로, 타이밍 컨트롤러(120)는 HDR 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)에 기초하여, 제1 행의 센싱 픽셀(111), 제2 행의 센싱 픽셀(112) 및 제3 행의 센싱 픽셀(113)이 서로 다른 노광 시간을 갖도록 로우 드라이버(140)로 타이밍 제어 신호(TC)를 전송할 수 있다.
본 개시의 일 실시예에 따르면, 타이밍 컨트롤러(120)는 동작 모드 정보(INFO_MD)를 참조하여, 이미지 신호 처리부(130) 및 독출 회로(150) 중 적어도 하나를 제어할 수 있다.
일 예로, 타이밍 컨트롤러(120)는 일반 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)에 기초하여, 아날로그 비닝(analog binning) 및 디지털 비닝(digital binning)을 수행하도록 독출 회로(150) 및 이미지 신호 처리부(130)를 제어할 수 있다. 아날로그 비닝이란, 플로팅 디퓨전 노드를 공유하는 복수의 센싱 픽셀들(예컨대, 111~113)에서 출력된 픽셀 신호(SIG_PX)들을 비닝하는 동작을 의미할 수 있다. 디지털 비닝이란, 아날로그 비닝된 픽셀 데이터(PDTA)들을 비닝하는 동작을 의미할 수 있다. 관련하여, 도 7 내지 도 9에서 자세히 후술한다.
다른 예로, 타이밍 컨트롤러(120)는 HDR 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)에 기초하여, 재구성(reconstruction) 동작 및 DRC(dynamic range compression) 동작을 수행하도록 이미지 신호 처리부(130)를 제어할 수 있다. 관련하여, 도 7 및 도 10 내지 도 11에서 자세히 후술한다.
로우 드라이버(140)는 픽셀 어레이(110)를 제어하기 위한 신호들(RSs, TXs, SELSs)을 생성하고, 픽셀 어레이(110)에 포함된 복수의 서브 픽셀들에 제공할 수 있다. 로우 드라이버(140)는 복수의 센싱 픽셀(SPX)들 및 복수의 위상 검출 픽셀(PPX)들에 대한 리셋 제어 신호들(RSs), 전송 제어 신호들(TXs), 선택 신호들(SELSs)의 활성화 및 비활성화 타이밍을 결정할 수 있다.
독출 회로(150)는 아날로그 비닝 동작, 상관 이중 샘플링(correlated double sampling) 동작을 수행할 수 있다. 독출 회로(150)는 상관 이중 샘플링의 결과로 출력된 픽셀 데이터(PDTA)를 이미지 신호 처리부(130)로 출력하거나, 프로세서(1200)로 출력할 수 있다. 관련하여, 도 8에서 자세히 후술한다.
이미지 신호 처리부(130)는 픽셀 데이터(PDTA)에 대하여 다양한 신호 처리를 수행할 수 있다. 이미지 신호 처리부(130)는 디지털 비닝 동작, 노이즈 저감 처리, 게인 조정, 파형 정형화 처리, 보간 처리, 화이트밸런스 처리, 감마 처리, 에지 강조 처리 등을 수행할 수 있다. 또한, 이미지 신호 처리부(130)는 위상 감지 오토 포커싱 시에 위상 검출 픽셀들의 위상 정보를 프로세서(1200)로 출력하여, 위상차 연산을 수행하도록 할 수 있다. 일 실시예에 있어서, 이미지 신호 처리부(130)는 이미지 센서(100) 외부의 범용 이미지 프로세서(예컨대, 도 1의 1200)에 구비될 수 있다.
도 3은 본 개시의 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이고, 도 4는 본 개시의 실시예에 따른 단위 픽셀 그룹을 설명하기 위한 도면이다. 도 4는 도 3의 단위 픽셀 그룹을 확대한 도면이다.
도 3을 참조하면, 픽셀 어레이(110)는 복수의 단위 픽셀 그룹(UPXG)으로 이루어질 수 있으며, 단위 픽셀 그룹(UPXG)은 복수의 단위 픽셀(UPX)들을 포함할 수 있다. 도 4를 참조하면, 단위 픽셀(UPX)은 동일한 컬러 필터를 포함하는 복수의 서브 픽셀들로 구성될 수 있다. 예컨대, 서브 픽셀은 센싱 픽셀(SPX) 또는 위상 감지 픽셀(PPX)일 수 있다.
본 개시의 실시예에 따르면, 단위 픽셀 그룹(UPXG)은 레드 단위 픽셀, 블루 단위 픽셀 및 그린 단위 픽셀이 베이어 패턴(bayer pattern)으로 형성될 수 있다. 즉, RGBG 베이어 패턴으로 형성될 수 있다. 다만, 이에 한정되는 것은 아니며, RGBW(Red, Green, Blue, White), CYGM(Cyan, Yellow, Green, Magenta), RGBE(Red, Green, Blue, Emerald), CMYW(Cyan, Magenta, Yellow, White) 등 다양한 패턴을 포함할 수 있다.
도 3 및 도 4를 참조하면, 센싱 픽셀 그룹(SPXG)은 복수의 센싱 픽셀(SPX)들을 포함할 수 있다. 컬럼 방향으로 인접하게 배치된 복수의 센싱 픽셀(SPX)들은 플로팅 디퓨전 노드(FD)를 공유할 수 있다. 일 예로, 하나의 단위 픽셀(UPX)은 N 열의 센싱 픽셀(SPX)들을 포함할 수 있으며, 이 경우, N 개의 플로팅 디퓨전 노드(FD)를 복수의 센싱 픽셀(SPX)들이 공유할 수 있다. 예컨대, 동일한 열에 배치된 센싱 픽셀들(SPX)은 동일한 플로팅 디퓨전 노드(FD)를 공유할 수 있다. 다만, 도 4에서는 설명의 편의상 그린 센싱 픽셀의 경우만을 도시하였으나, 레드 센싱 픽셀 및 블루 센싱 픽셀 또한 동일하게 적용될 수 있다.
도 5a 내지 도 5d는 본 개시의 실시예에 따라 HDR 촬영 모드에서 다양한 노광 시간을 갖는 복수의 센싱 픽셀들을 포함하는 단위 픽셀 그룹을 설명하기 위한 도면이다.
도 5a 내지 도 5d를 참조하면, 단위 픽셀(UPX)은 복수의 센싱 픽셀들(L, M, S)을 포함할 수 있다. 예컨대, 단위 픽셀(UPX)은 N * M 매트릭스 형태(N, M은 각각 자연수)로 복수의 센싱 픽셀(SPX)들을 포함할 수 있으며, 일 예로, 3 * 3 매트릭스 형태로 복수의 센싱 픽셀(SPX)들을 포함할 수 있다.
본 개시의 실시예에 따르면, HDR 촬영 모드에서, 복수의 센싱 픽셀(SPX)들에 포함된 광 감지 소자는 서로 다른 노광 시간을 가질 수 있다. 예컨대, 제1 센싱 픽셀(L)은 제1 시간 동안 노광되는 광 감지 소자를 포함할 수 있고, 제2 센싱 픽셀(M)은 제2 시간 동안 노광되는 광 감지 소자를 포함할 수 있으며, 제3 센싱 픽셀(S)은 제3 시간 동안 노광되는 광 감지 소자를 포함할 수 있다. 여기서 제1 시간은 제2 시간 보다 긴 시간이며, 제2 시간은 제3 시간보다 긴 시간일 수 있다.
도 5a를 참조하면, 단위 픽셀 그룹(UPXG)은 서로 동일한 노광 시간 패턴을갖는 단위 픽셀들(UPX1~UPX4)을 포함할 수 있다.
한편, 제1 단위 픽셀(UPX1)은, 제1 센싱 픽셀 그룹(SPXG1), 제2 센싱 픽셀 그룹(SPXG2) 및 제3 센싱 픽셀 그룹(SPXG3)을 제1 단위 픽셀(UPX1)의 컬럼 별로 포함할 수 있다. 각각의 센싱 픽셀 그룹(SPXG)은 하나의 행에 복수의 센싱 픽셀(SPX)들이 포함될 수 있으며, 서로 인접한 센싱 픽셀(SPX)들은 서로 다른 노광 시간을 가질 수 있다.
제1 센싱 픽셀 그룹(SPXG1)은 제2 센싱 픽셀(M), 제3 센싱 픽셀(S) 및 제1 센싱 픽셀(L)의 순서로 컬럼 방향을 따라 순차적으로 배열된 센싱 픽셀들(L, S, M)을 포함할 수 있다.
제2 센싱 픽셀 그룹(SPXG2)은 각각의 행마다 제1 센싱 픽셀(L), 제2 센싱 픽셀(M) 및 제3 센싱 픽셀(S)을 순차적으로 포함할 수 있다. 제3 센싱 픽셀 그룹(SPXG3)은 제3 센싱 픽셀(S), 제1 센싱 픽셀(L) 및 제2 센싱 픽셀(M)을 순차적으로 포함할 수 있다.
도 5b를 참조하면, 각각의 단위 픽셀들(UPX1 ~ UPX4) 중 일부는 서로 상이한 노광 시간 패턴을 가질 수 있다. 예컨대, 서로 동일한 컬럼에 위치한 단위 픽셀(UPX)들은 동일한 노광 시간 패턴을 가지며, 동일한 로우(row)에 위치한 단위 픽셀(UPX)들은 상이한 노광 시간 패턴을 가질 수 있다. 예컨대, 제1 단위 픽셀(UPX1) 및 제3 단위 픽셀(UPX3)은 동일한 노광 시간 패턴을 가지며, 제1 단위 픽셀(UPX1) 및 제2 단위 픽셀(UPX2)은 상이한 노광 시간 패턴을 가질 수 있고, 제2 단위 픽셀(UPX2) 및 제4 단위 픽셀(UPX4)은 동일한 노광 시간 패턴을 가질 수 있다.
제4 단위 픽셀(UPX4)은, 제4 센싱 픽셀 그룹(SPXG4), 제5 센싱 픽셀 그룹(SPXG5) 및 제6 센싱 픽셀 그룹(SPXG6)을 제4 단위 픽셀(UPX4)의 컬럼 별로 포함할 수 있다.
제4 센싱 픽셀 그룹(SPXG4)은 제3 센싱 픽셀(S), 제1 센싱 픽셀(L) 및 제2 센싱 픽셀(M)의 순서로 컬럼 방향을 따라 순차적으로 배열된 센싱 픽셀들(L, S, M)을 포함할 수 있다.
제5 센싱 픽셀 그룹(SPXG5)은 각각의 행마다 제1 센싱 픽셀(L), 제2 센싱 픽셀(M) 및 제3 센싱 픽셀(S)을 순차적으로 포함할 수 있다. 제6 센싱 픽셀 그룹(SPXG6)은 제2 센싱 픽셀(M), 제3 센싱 픽셀(S) 및 제1 센싱 픽셀(L)을 순차적으로 포함할 수 있다.
도 5c를 참조하면, 각각의 단위 픽셀들(UPX1~UPX4) 중 일부는 서로 상이한 노광 시간 패턴을 가질 수 있다. 예컨대, 대각선 방향으로 인접한 단위 픽셀들의 노광 시간 패턴은 동일할 수 있다. 제1 단위 픽셀(UPX1) 및 제4 단위 픽셀(UPX4)의 노광 시간 패턴은 동일하며, 제2 단위 픽셀(UPX2) 및 제3 단위 픽셀(UPX3)의 노광 시간 패턴은 동일할 수 있다.
도 5a 내지 도 5c를 참조하면, 각각의 단위 픽셀(UPX)은 복수의 센싱 픽셀(SPX)들이 포함될 수 있으며, 하나의 단위 픽셀(UPX)에 포함된 각각의 센싱 픽셀은 인접한 센싱 픽셀과는 서로 상이한 노광 시간을 가질 수 있다. 예컨대, 제1 단위 픽셀(UPX)의 경우, 정중앙에 위치한 제2 센싱 픽셀(M)에 인접한 픽셀은 제1 센싱 픽셀(L) 또는 제3 센싱 픽셀(S)이다.
도 5d를 참조하면, 단위 픽셀 그룹(UPXG)은 서로 다른 노광 시간 패턴을 갖는 단위 픽셀들(UPX1~UPX4)을 포함할 수 있다. 각각의 단위 픽셀들(UPX1~UPX4)은 제1 센싱 픽셀(L)로 구성된 제1 센싱 픽셀 그룹(SPXG1), 제2 센싱 픽셀(M)로 구성된 제2 센싱 픽셀 그룹(SPXG2), 제3 센싱 픽셀(S)로 구성된 제3 센싱 픽셀 그룹(SPXG3)을 포함할 수 있다. 또한, 단위 픽셀들(UPX1~UPX4)은 각각의 컬럼에 복수의 센싱 픽셀(SPX)들을 포함할 수 있으며, 센싱 픽셀(SPX)들은 동일한 노광 시간을 가질 수 있다.
도 6a는 본 개시의 실시예에 따른 복수의 센싱 픽셀들이 포함된 센싱 픽셀 그룹을 설명하기 위한 회로도이며, 도 6b는 도 6a의 센싱 픽셀 그룹에 인가되는 신호를 설명하기 위한 파형도이다.
도 6a를 참조하면, 센싱 픽셀 그룹(SPXG)은 복수의 센싱 픽셀들(SPX1~SPX3)을 포함할 수 있다. 센싱 픽셀(SPX)은 광 감지 소자(PD)를 포함할 수 있으며, 타이밍 컨트롤러(120)의 제어에 따라 로우 드라이버(140)는 전송 트랜지스터(TX)의 동작을 제어할 수 있다. 전송 트랜지스터(TX)는 광 감지 소자(PD)가 축적한 광 전하를 출력하도록 턴 온될 수 있다.
예컨대, 제1 센싱 픽셀(SPX1)은 제1 광 감지 소자(PD11)를 포함할 수 있다. 또한, 제1 광 감지 소자(PD11)가 축적한 광전하의 출력을 제어하는 제1 전송 트랜지스터(TX1)를 포함할 수 있다. 타이밍 컨트롤러(120)가 전송하는 타이밍 제어 신호(TC)에 기초하여 로우 드라이버(140)는 제1 전송 트랜지스터(TX1)에 제1 전송 신호(TG1)를 인가할 수 있다. 예컨대, 타이밍 컨트롤러(120)는 턴 온을 지시하는 제1 전송 신호(TG1)를 전송 트랜지스터(TX1)에 인가할 수 있다. 이에 따라 제1 광 감지 소자(PD11)는 플로팅 디퓨전 노드(FD)로 광 전하를 출력할 수 있다. 마찬가지로, 타이밍 컨트롤러(120)는 제2 전송 트랜지스터(TX2) 및 제3 전송 트랜지스터(TX3)를 제어하여 각각 제2 광 감지 소자(PD12) 및 제3 광 감지 소자(PD13)가 축적한 광전하를 동일한 플로팅 디퓨전 노드(FD)로 출력하도록 로우 드라이버(140)를 제어할 수 있다.
타이밍 컨트롤러(120)는 플로팅 디퓨전 노드(FD)에 충전된 광 전하를 픽셀 신호(SIG_PX)로써 독출 회로(150)로 출력하도록 선택 트랜지스터(SX)를 턴 온 시킬 수 있다. 예컨대, 타이밍 컨트롤러(120)는 턴 온을 지시하는 선택 신호(SEL)를 전송하도록 로우 드라이버(140)로 타이밍 제어 신호(TC)를 전송할 수 있다. 이에 따라, 컬럼 라인(COL)에 연결된 선택 트랜지스터(SX)는 턴 온 될 수 있다. 한편, 플로팅 디퓨전 노드(FD)에 축적되어 있던 광전하는, 구동 트랜지스터(DX)에 인가된 구동 전압(VDD)에 의해 증폭되어 픽셀 신호(SIG_PX)로 변환될 수 있다. 즉, 플로팅 디퓨전 노드(FD)에 축적되어 있던 광전하는 픽셀 신호(SIG_PX)로 변환되어 선택 트랜지스터(SX)를 거쳐 독출 회로(150)로 출력될 수 있다.
도 6b를 참조하면, 센싱 픽셀들(SPX1~SPX3)은 각각의 노광 시간(T1~T3)동안 충전한 광전하에 기초하여 픽셀 신호(SIG_PX)를 서로 다른 시점(T4~T6)에 출력할 수 있다.
시간(Ta)에서, 타이밍 컨트롤러(120)는 플로팅 디퓨전 노드(FD)를 리셋시키도록, 로직 하이의 리셋 신호(RS)를 리셋 트랜지스터(RX)로 전송할 수 있다. 이 경우, 리셋 트랜지스터(RX)는 턴 온되어, 플로팅 디퓨전 노드(FD)에 구동 전압(VDD) 레벨의 전압이 인가될 수 있다.
시간(Tb)에서, 타이밍 컨트롤러(120)는 제1 전송 트랜지스터(TX1)의 게이트 전극에 로직 하이의 제1 전송 신호(TG1)를 인가할 수 있다. 이에 따라, 제1 광 감지 소자(PD11)는 충전되어있던 광전하를 모두 플로팅 디퓨전 노드로 방전시킬 수 있고, 제1 광 감지 소자(PD11)는 리셋 상태가 될 수 있다.
시구간(T1)에서, 광 감지 소자(PD11)는 광 전하를 충전할 수 있다. 즉, 제1 센싱 픽셀(SPX1)은 시간(T1)만큼의 노광 시간을 가질 수 있다. 마찬가지로, 제2 센싱 픽셀(SPX2)은 시간(T2)만큼의 노광 시간을 가질 수 있으며, 제3 센싱 픽셀(SPX3)은 시간(T3)만큼의 노광 시간을 가질 수 있다.
본 개시의 실시예에 따르면, 제1 광 감지 소자(PD11), 제2 광 감지 소자(PD12) 및 제3 광 감지 소자(PD13)로부터 출력된 광전하를 서로 다른 시점(예컨대, T4, T5 및 T6)에 플로팅 디퓨전 노드(FD)로 전달할 수 있다. 이 후, 센싱 픽셀들(SPX1~SPX3)은 플로팅 디퓨전 노드(FD)가 광 전하를 수신한 순서에 따라 픽셀 신호(SIG_PX)를 순차적으로 출력할 수 있다. 순차적으로 출력된 픽셀 신호(SIG_PX)들은, 이후에 설명할 아날로그 비닝 동작에 이용될 수 있다.
시간(T4)에서, 타이밍 컨트롤러(120)는 제1 전송 신호(TG1) 및 선택 신호(SEL)를 로직 하이로 출력하며, 리셋 신호(RS)를 로직 로우로 출력할 수 있다. 이에 따라, 제1 센싱 픽셀(SPX1)에 포함된 제1 광 감지 소자(PD11)가 시간(T1)동안 충전한 광 전하를 플로팅 디퓨전 노드(FD)로 전달하고, 픽셀 신호(SIG_PX)로 변환하여 출력할 수 있다. 마찬가지로, 시간(T2)동안 제2 센싱 픽셀(SPX2)은 광 전하를 충전할 수 있고, 시간(T5)에서 제2 센싱 픽셀(SPX2)은 광 전하를 플로팅 디퓨전 노드(FD)로 전달하고, 픽셀 신호(SIG_PX)로 변환하여 출력할 수 있다. 시간(T3)동안 제3 센싱 픽셀(SPX3)은 광 전하를 충전할 수 있다. 시간(T6)에서 제3 센싱 픽셀(SPX3)은 광전하를 플로팅 디퓨전 노드(FD)로 전달하고, 픽셀 신호(SIG_PX)로 변환하여 출력할 수 있다.
도 6b를 참조하면, 타이밍 컨트롤러(120)는 일반 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)를 수신하고, 제1 센싱 픽셀(SPX1), 제2 센싱 픽셀(SPX2) 및 제3 센싱 픽셀(SPX)을 서로 동일한 노광 시간을 갖도록 제어할 수 있다. 즉, 타이밍 컨트롤러(120)는 시간(T1), 시간(T2) 및 시간(T3)가 실질적으로 동일한 전송 신호(TG)를 출력하도록 로우 드라이버(140)를 제어할 수 있다.
도 6b를 참조하면, 타이밍 컨트롤러(120)는 HDR 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)를 수신하고, 제1 센싱 픽셀(SPX1), 제2 센싱 픽셀(SPX2) 및 제3 센싱 픽셀(SPX)을 서로 다른 노광 시간을 갖도록 제어할 수 있다. 즉, 타이밍 컨트롤러(120)는 시간(T1), 시간(T2) 및 시간(T3)가 서로 다른 전송 신호(TG)를 출력하도록 로우 드라이버(140)를 제어할 수 있다.
도 5a, 도 6a 및 6b를 함께 참조하여, HDR 촬영 모드에서의 센싱 픽셀들의 동작을 설명한다. 제2 센싱 픽셀 그룹(SPXG2)은 각각의 행에 제1 시간의 노광 시간을 갖는 제1 센싱 픽셀(L), 제2 시간의 노광 시간을 갖는 제2 센싱 픽셀(M) 및 제3 시간의 노광 시간을 갖는 제3 센싱 픽셀(S)을 포함하며, 제1 시간은 제2 시간보다 길고, 제2 시간은 제3 시간보다 길 수 있다. 이 경우, 도 5a의 제1 센싱 픽셀(L), 제2 센싱 픽셀(M) 및 제3 센싱 픽셀(S)은 각각 도 6a의 제1 센싱 픽셀(SPX1), 제2 센싱 픽셀(SPX2) 및 제3 센싱 픽셀(SPX3)에 대응될 수 있다. 즉, 가장 긴 노광 시간을 갖는 제1 센싱 픽셀(L)은 시간(T1) 동안 광전하를 충전할 수 있으며, 가장 짧은 노광 시간을 갖는 제3 센싱 픽셀(S)은 시간(T3) 동안 광전하를 충전할 수 있다.
도 6b를 참조하면, 제1 센싱 픽셀(SPX1), 제2 센싱 픽셀(SPX2) 및 제3 센싱 픽셀(SPX)은 각각의 광 감지 소자(PD)에 충전되어 있던 광 전하를 서로 다른 시점에 출력할 수 있다. 예를 들어, 제1 센싱 픽셀(SPX1)은 시간(T4)에서 제1 광 감지 소자(PD11)에 충전되어있던 광전하를 플로팅 디퓨전 노드(FD)로 전송하고, 광 전하를 픽셀 신호(SIG_PX)로 변환하며, 컬럼 라인(COL)을 통해 픽셀 신호(SIG_PX)를 출력할 수 있다. 마찬가지로, 제2 센싱 픽셀(SPX2)은 시간(T5)에서 픽셀 신호(SIG_PX)를 출력하며, 제3 센싱 픽셀(SPX3)은 시간(T6)에서 픽셀 신호(SIG_PX)를 출력할 수 있다.
도 7은 본 개시의 실시예에 따른 이미지 센서의 동작 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 픽셀 어레이(110)로부터 픽셀 신호(SIG_PX)를 수신할 수 있다. 예컨대, 픽셀 어레이(110)는 복수의 센싱 픽셀(SPX)들을 포함할 수 있으며, 적어도 일부의 센싱 픽셀(SPX)들은 플로팅 디퓨전 노드(FD)를 공유할 수 있다.
단계 S320에서, 픽셀 신호(SIG_PX)를 촬영 모드에 따라 상이한 영상 처리를 수행할 수 있다. 타이밍 컨트롤러(120)는 일반 촬영 모드 또는 HDR 촬영 모드를 지시하는 동작 모드 정보(INFO_MD)에 기초하여 이미지 센서(100)를 제어할 수 있다. 일 예로, 일반 촬영 모드에서, 이미지 센서(100)는 픽셀 신호(SIG_PX)를 기반으로 아날로그 비닝 동작 및 디지털 비닝 동작 중 적어도 하나를 포함하는 비닝 동작을 수행할 수 있다. 다른 예로, HDR(High Dynamic Range) 촬영 모드에서, 이미지 센서(100)는 픽셀 신호(SIG_PX)를 기반으로 재구성 동작 및 DRC(Dynamic Range Compression) 동작 중 적어도 하나를 수행할 수 있다.
단계 S330에서, 이미지 센서(100)가 일반 촬영 모드에 있는 경우, 비닝 동작을 수행할지 여부를 결정할 수 있다. 예컨대, 타이밍 컨트롤러(120)는 비닝 동작을 수행할지 여부에 관한 정보를 포함하는 제어 신호(RC)를 독출 회로(150)로 전송할 수 있다.
단계 S340에서, 이미지 센서(100)는 비닝 동작을 수행할 수 있다. 일 예로, 이미지 센서(100)는 아날로그 비닝 동작을 수행할 수 있다. 이미지 센서(100)는 동일한 플로팅 디퓨전 노드(FD)를 공유하는 센싱 픽셀(SPX)들에서 순차적으로 출력된 픽셀 신호(SIG_PX)들을 서로 비닝할 수 있다. 이 경우, 센싱 픽셀(SPX)들로부터 출력된 전기적 신호들을 합산할 수 있어, 저조도에서 밝은 이미지를 획득할 수 있다. 다른 예로, 이미지 센서(100)는 디지털 비닝 동작을 수행할 수 있다. 이 경우, 이미지 센서(100)는 아날로그 비닝된 데이터를 기반으로 디지털 비닝 동작을 수행할 수 있다.
단계 S350에서, 이미지 센서(100)는 리모자이크 동작을 수행할 수 있다. 예컨대, 리모자이크 동작은 독출 회로(150)를 거쳐 양자화된 픽셀 데이터(PDTA)에 대하여, 각 센싱 픽셀(SPX)로부터 획득한 데이터의 순서를 재배열하는 동작일 수 있다. 이로 인해, 센싱 픽셀(SPX)들의 개수와 동일한 해상도를 갖는 이미지를 획득할 수 있다.
단계 S360 및 S370에서, 이미지 센서(100)는 HDR 촬영 모드에서, 재구성 동작을 수행할 수 있으며, 재구성 동작이 수행된 데이터에 대해 DRC 동작을 수행할 수 있다.
도 8은 본 개시의 실시예에 따른 일반 촬영 모드에서 이미지 처리 동작을 설명하기 위한 블록도이다.
독출 회로(150)는 비닝 결정부(151), 상관 이중 샘플러(CDS)(152), 아날로그-디지털 컨버터(ADC)(153) 및 버퍼(154)를 포함할 수 있다.
비닝 결정부(151)는 픽셀 어레이(110)로부터 출력된 픽셀 신호(SIG_PX)를 수신할 수 있으며, 예컨대, 복수의 센싱 픽셀(SPX)들로부터 출력된 픽셀 신호(SIG_PX)들을 수신할 수 있다.
본 개시의 실시예에 따르면, 일반 촬영 모드에서, 타이밍 컨트롤러(120)는 아날로그 비닝 동작을 수행하도록 비닝 결정부(151)를 제어할 수 있다.
도 9는 본 개시의 실시예에 따른 일반 촬영 모드에서 이미지 처리 동작을 설명하기 위한 흐름도이다.
도 9를 참조하면, 비닝 결정부(151)는 픽셀 신호들(21)에 대해 아날로그 비닝 동작을 수행하여, 아날로그 비닝된 데이터(22)를 출력할 수 있다. 비닝 결정부(151)는 각각의 단위 픽셀(UPX)에 포함된 복수의 센싱 픽셀(SPX)에서 획득한 픽셀 신호(SIG_PX)들을 비닝할 수 있다. 일 예로, 비닝 결정부(151)는 플로팅 디퓨전 노드(FD)를 공유하는 복수의 센싱 픽셀(SPX)들로부터 획득한 픽셀 신호(SIG_PX)들에 대해 아날로그 비닝동작을 수행할 수 있다. 다르게 말하면, 단위 픽셀(UPX)에 포함된 동일한 컬럼에 배치된 센싱 픽셀(SPX)들로부터 획득한 픽셀 신호(SIG_PX)들을 비닝할 수 있다. 다른 예로, 비닝 결정부(151)는 플로팅 디퓨전 노드(FD)를 공유하며 픽셀 어레이(110)의 동일한 컬럼에 배치된 제1 센싱 픽셀(도 6a의 SPX1), 제2 센싱 픽셀(도 6a의 SPX2) 및 제3 센싱 픽셀(도 6a의 SPX3)로부터 순차적으로 출력된 픽셀 신호(SIG_PX)들을 비닝할 수 있다.
다시 도 8을 참조하면, 상관 이중 샘플러(152)는 비닝된 데이터를 샘플링 및 홀드할 수 있다. 상관 이중 샘플러(152)는 특정한 잡음 레벨과 생성된 출력 전압에 따른 레벨을 이중으로 샘플링하여, 그 차이에 해당하는 레벨을 출력할 수 있다. 또한, 상관 이중 샘플러(152)는 램프 신호 생성기가 생성한 램프 신호를 입력 받아 서로 비교하여 비교 결과를 출력할 수 있다. 아날로그-디지털 컨버터(153)는 상관 이중 샘플러(152)로부터 수신하는 레벨에 대응하는 아날로그 신호를 디지털 신호로 변환할 수 있다. 버퍼(154)는 디지털 신호를 래치(latch)할 수 있고, 래치된 신호는 순차적으로 이미지 신호 처리부(130) 또는 이미지 센서(100)의 외부(예컨대, 프로세서(1200))로 출력될 수 있다.
이미지 신호 처리부(130)는 픽셀 데이터(PDTA)를 수신하여 디지털 비닝 동작을 수행할 수 있다.
도 9를 참조하면, 이미지 신호 처리부(130)는 아날로그 비닝이 수행된 픽셀 데이터(PDTA)를 수신하여, 디지털 비닝된 데이터(23)를 출력할 수 있다. 일 예로, 이미지 신호 처리부(130)는 각각의 단위 픽셀(UPX)에 포함된 데이터들을 하나의 데이터로 비닝할 수 있다. 다른 예로, 이미지 신호 처리부(130)는 로우 방향으로 아날로그 비닝된 데이터를 수신하여, 컬럼 방향으로 디지털 비닝을 수행할 수 있다. 이 경우, 이미지 신호 처리부(130)는 픽셀 어레이(110)에 배치된 픽셀 개수에 따른 해상도에서, 단위 픽셀(UPX)에 포함된 센싱 픽셀(SPX)의 개수만큼 나누어진 해상도를 갖는 데이터(23)를 출력할 수 있다.
한편, 도 9를 참조하면, 이미지 신호 처리부(130)는 리모자이크 동작을 수행할 수 있다. 이미지 신호 처리부(130)는 각각의 센싱 픽셀(SPX)들로부터 획득한 픽셀 데이터(PDTA)를 베이어 패턴에 맞게 재정렬할 수 있다. 이 경우, 타이밍 컨트롤러(120)는 아날로그 비닝을 수행하지 않도록 비닝 결정부(151)를 제어할 수 있다. 이미지 신호 처리부(130)는 독출 회로(150)로부터 획득한 픽셀 데이터(PDTA)에 대해 리모자이크 동작을 수행하여, 픽셀 어레이(110)에 배치된 픽셀 개수에 따른 해상도와 동일한 해상도를 갖는 데이터(24)를 출력할 수 있다. 즉, 리모자이크 동작을 수행하는 경우, 이미지 센서(100)는 고해상도의 이미지를 출력할 수 있다.
도 10은 본 개시의 실시예에 따른 HDR(High Dynamic Range) 촬영 모드에서 이미지 처리 동작을 설명하기 위한 흐름도이다.
도 10을 참조하면, 타이밍 컨트롤러(120)는 픽셀 신호(SIG_PX)에 기초하여 픽셀 데이터(PDTA)를 출력하도록 독출 회로(150)를 제어할 수 있다. 예컨대, HDR 촬영 모드에서, 타이밍 컨트롤러(120)는 비닝 결정부(151)가 아날로그 비닝 동작을 수행하지 않도록 제어할 수 있다. 즉, 비닝 결정부(151)는 픽셀 어레이(110)로부터 수신한 픽셀 신호(SIG_PX)를 상관 이중 샘플러(152)로 출력할 수 있다. 이후의 독출 회로(150)의 동작에 관해서는 도 8 및 도 9에서 전술하였으므로 생략한다.
타이밍 컨트롤러(120)는 재구성 동작 및 DRC(Dynamic Range Compression) 동작을 수행하도록 이미지 신호 처리부(130)를 제어할 수 있다. 재구성부(131)는 픽셀 데이터(PDTA)를 수신하여 각 센싱 픽셀(SPX)로부터 획득한 데이터들을 재구성(reconstruct)하여 합성할 수 있다. 다르게 말하면, 재구성부(131)는 서로 다른 노광 시간을 갖는 데이터를 수신하여, 다이나믹 레인지가 향상된 이미지 데이터를 출력할 수 있다. DRC부(132)는 재구성부(131)로부터 수신한 이미지 데이터를 다이나믹 레인지의 손실 없이 압축 동작을 수행할 수 있다. DRC부(132)에 의한 압축 기능에 의하여, 범용적인 프로세서(예컨대, 프로세서(1200))가 이미지 후처리 동작에 이용될 수 있다.
도 11은 본 개시의 실시예에 따른 HDR(High Dynamic Range) 촬영 모드에서 이미지 처리 동작을 설명하기 위한 블록도이다.
도 11을 참조하면, 이미지 신호 처리부(130)는 독출 회로(150)로부터 출력된 픽셀 데이터들(15)에 대해 재구성 동작 및 DRC 동작을 수행하여, 해상도 및 다이나믹 레인지의 손실이 없는 이미지 데이터(26)를 획득할 수 있다. 이미지 신호 처리부(130)는 다양한 노광 시간을 갖는 픽셀 데이터들(25)을 재구성 함으로써 다이나믹 레인지가 향상된 이미지 데이터(26)를 획득할 수 있다. 또한, DRC 동작을 수행함으로써 이미지 데이터(26)의 다이나믹 레인지 손실을 감소시켜 이미지 센서(100)의 외부(예컨대, 프로세서(1200))로 출력할 수 있다.
본 개시의 실시예에 따르면, 서로 다른 노광 시간에 의해 수집된 픽셀 데이터들(15)에 기초하여 이미지 데이터(26)를 획득할 수 있다. 예컨대, 픽셀 데이터들(15)을 참조하면, 긴 노광 시간(L), 중간 노광 시간(M) 및 짧은 노광 시간(S)으로 설정된 픽셀들의 데이터들을 포함할 수 있다.
본 개시의 실시예에 따르면, 이미지 데이터(26)의 해상도는 픽셀 데이터들(25)의 해상도 보다 낮을 수 있다. 일 예로, 이미지 신호 처리부(130)는 픽셀 데이터들(25) 중 동일한 색상을 갖는 복수의 픽셀들 9개에 대하여 하나의 이미지 픽셀로 재구성 동작을 수행할 수 있다.
한편, 도 7 내지 도 10에서 전술한 이미지 신호 처리부(130)가 수행하는 동작은 프로세서(1200)에서 수행될 수 도 있다. 예컨대, 도 7 내지 도 10에서 전술한 이미지 신호 처리부(130)가 수행하는 디지털 비닝 동작, 리모자이크 동작, 재구성 동작 및 DRC 동작은 범용적인 이미지 프로세서(예컨대, 프로세서(1200) 등)에서 대신 수행되거나, 범용적인 이미지 프로세서에서 함께 수행될 수 있다.
도 12는 본 개시의 실시예에 따른 위상 검출 픽셀 그룹의 구조를 설명하기 위한 단면도이다.
도 12를 참조하면, 위상 검출 픽셀 그룹(PPXG)은 복수의 위상 검출 픽셀(PPX)들을 포함할 수 있다. 비록, 도시된 예에 따르면 두 개의 위상 검출 픽셀들(PPX1, PPX2)을 포함하고 있으나, 이는 설명의 편의를 위함이다. 위상 검출 픽셀 그룹(PPXG)은 도 13a 내지 도 13d에서 후술할 바와 같이 다양한 개수의 위상 검출 픽셀(PPX)들을 포함할 수 있다.
도 12를 참조하면, 각각의 위상 검출 픽셀(PPX)은 광 감지 소자(PD)를 포함할 수 있다. 또한, 위상 검출 픽셀(PPX)은 마이크로 렌즈(ML)로부터 광이 입사되면, 컬러 필터(CF)를 통해 특정 대역의 광이 광 감지 소자(PD)로 입사될 수 있다. 광 감지 소자(PD)는 입사된 광에 따른 전기적 신호를 출력할 수 있다. 예컨대, 광 감지 소자(PD)는 전송 트랜지스터(예컨대, 도 6a의 TX1)로 전기적 신호를 출력할 수 있다.
본 개시의 예시적 실시예에 따르면, 복수의 위상 검출 픽셀(PPX)들은 하나의 마이크로 렌즈(ML)를 공유할 수 있다. 일 예로, 제1 위상 검출 픽셀(PPX1)에 포함된 제1 광 감지 소자(PD1)와 제2 위상 검출 픽셀(PPX2)에 포함된 제2 광 감지 소자(PD2)는 동일한 마이크로 렌즈(ML)로부터 수광할 수 있다. 다르게 말하면, 제1 위상 검출 픽셀(PPX1)과 제2 위상 검출 픽셀(PPX2)은 서로 인접하여 배치될 수 있으며, 마이크로 렌즈(ML)가 제1 위상 검출 픽셀(PPX1) 및 제2 위상 검출 픽셀(PPX2)을 덮도록 형성될 수 있다.
본 개시의 예시적 실시예에 따르면, 마이크로 렌즈(ML)를 공유하는 각각의 위상 검출 픽셀(PPX)들은 동일한 컬러를 갖는 컬러 필터(CF)를 포함할 수 있다. 예컨대, 레드, 블루 또는 그린 컬러를 갖는 컬러 필터(CF)가 될 수 있으나, 위와 같은 컬러에 제한되지는 않는다. 한편, 광 감지 소자(PD)의 주변에는 기판(SB)이 포함될 수 있으나, 기판(SB)은 생략될 수 있다.
본 개시의 예시적 실시예에 따르면, 마이크로 렌즈(ML)를 공유하는 각각의 위상 검출 픽셀(PPX)들은 동일한 노광 시간을 가질 수 있다. 위상 검출 오토 포커싱을 수행함에 있어서, 위상의 차이 이외의 나머지 파라미터들은 유사하거나 실질적으로 동일하여야 하기 때문이다.
도 13a 내지 도 13d는 본 개시의 실시예에 따른 복수의 위상 검출 픽셀들이 포함된 위상 검출 픽셀 그룹과 마이크로 렌즈를 설명하기 위한 도면이다.
도 13a 내지 도 13d를 참조하면, 픽셀 어레이(110)는 복수의 단위 픽셀 그룹(UPXG)들을 포함할 수 있으며, 단위 픽셀 그룹(UPXG)은 복수의 단위 픽셀(UPX)들을 포함할 수 있다. 일 예로, 단위 픽셀(UPX)은 센싱 픽셀(SPX) 및 위상 검출 픽셀(PPX) 중 적어도 하나를 포함할 수 있다. 다른 예로, 단위 픽셀 그룹(UPXG)은 복수의 단위 픽셀(UPX)들이 베이어 패턴을 갖도록 형성될 수 있다.
또한, 하나의 마이크로 렌즈(ML)는 단위 픽셀 그룹(UPXG)의 적어도 일부를 덮도록 형성되며, 하나의 마이크로 렌즈(ML)를 포함하는 복수의 단위 픽셀(UPX)들은 서로 인접하여 배치될 수 있다. 예컨대, 마이크로 렌즈(ML)를 포함하는 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)은 인접하여 배치될 수 있다. 상이한 컬러 필터를 갖는 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)이 각각 위상 검출 픽셀(PPX)을 포함함으로써, 특정 컬러의 픽셀 신호(SIG_PX)의 손실을 감소시킬 수 있다.
한편, 단위 픽셀 그룹(UPXG)에 포함된 센싱 픽셀(SPX)들은 도 5a 내지 도 5d 등에서 설명한 바와 같이, 다양한 노광 시간을 가질 수 있으며, 위상 검출 픽셀 그룹(PPXG)에 포함된 복수의 위상 검출 픽셀(PPX)들은 서로 동일한 노광 시간을 가질 수 있다.
도 13a를 참조하면, 마이크로 렌즈(ML)는 위상 검출 픽셀 그룹(PPXG)을 덮도록 형성되며, 위상 검출 픽셀 그룹(PPXG)은 제1 위상 검출 픽셀(PPX1) 및 제2 위상 검출 픽셀(PPX2)을 포함할 수 있다. 각각의 위상 검출 픽셀들(PPX1, PPX2)은 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)에 포함될 수 있다.
다르게 말하면, 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)은 위상 검출 픽셀 그룹(PPXG)에 포함된 제1 위상 검출 픽셀(PPX1)과 제2 위상 검출 픽셀(PPX2)을 포함할 수 있으며, 하나의 마이크로 렌즈(ML)는 제1 위상 검출 픽셀(PPX1) 및 제2 위상 검출 픽셀(PPX2)을 덮도록 형성될 수 있다.
본 개시의 예시적 실시예에 따르면, 위상 검출 픽셀 그룹(PPXG)에 포함된 각각의 위상 검출 픽셀(PPX)들은 동일한 컬러의 컬러 필터를 가질 수 있다. 도시된 예에서는, 그린 컬러를 갖는 컬러 필터가 예시되어 있으나, 이에 한정되지는 않으며, 블루 또는 레드 컬러의 컬러 필터가 될 수도 있다.
본 개시의 예시적 실시예에 따르면, 위상 검출 픽셀 그룹(PPXG)에 포함된 각각의 위상 검출 픽셀(PPX)들은 동일한 노광 시간을 가질 수 있다. 예컨대, 노광 시간은 도 5a에서 전술한 제1 시간을 가질 수 있으며, 장시간 노광을 통해 정확한 위상 데이터를 획득하기 위함이다. 그러나, 이에 한정되지는 않으며, 다양한 길이의 노광 시간(예컨대, 도 5a에서 전술한 제2 시간 또는 제3 시간)을 가질 수 있다.
본 개시의 예시적 실시예에 따르면, 하나의 단위 픽셀(예컨대, UPX_1)의 적어도 일부 영역과 다른 하나의 단위 픽셀(예컨대, UPX_2)의 적어도 일부 영역은 하나의 마이크로 렌즈(ML)를 포함할 수 있다.
도 13b를 참조하면, 마이크로 렌즈(ML)는 위상 검출 픽셀 그룹(PPXG)을 덮도록 형성되며, 위상 검출 픽셀 그룹(PPXG)은 네 개의 위상 검출 픽셀(PPX)들을 포함할 수 있다. 즉, 마이크로 렌즈(ML)는 제1 내지 제4 위상 검출 픽셀(PPX1~PPX4)들을 덮도록 형성될 수 있다. 각각의 위상 검출 픽셀(PPX)들은 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)에 포함될 수 있다. 이 경우에도, 위상 검출 픽셀 그룹(PPXG)에 포함된 각각의 위상 검출 픽셀(PPX)들은 동일한 컬러 필터를 가지며, 동일한 노광 시간을 가질 수 있다.
도 13c를 참조하면, 마이크로 렌즈(ML)는 위상 검출 픽셀 그룹(PPXG)을 덮도록 형성되며, 위상 검출 픽셀 그룹(PPXG)은 여섯 개의 위상 검출 픽셀(PPX)들을 포함할 수 있다. 즉, 마이크로 렌즈(ML)는 제1 내지 제6 위상 검출 픽셀(PPX1~PPX6)들을 덮도록 형성될 수 있다. 각각의 위상 검출 픽셀(PPX)들은 제1 단위 픽셀(UPXa) 및 제2 단위 픽셀(UPXb)에 포함될 수 있다. 컬러 필터와 노광 시간에 대한 것은 전술한 바와 같다.
도 13a 내지 도 13c를 참조하면, 위상 검출 픽셀 그룹(PPXG)은 일부의 단위 픽셀들(예컨대, UPXa 및 UPXb)에 포함될 수 있으나, 도 13d를 참조하면, 위상 검출 픽셀 그룹(PPXG)은 모든 단위 픽셀들(예컨대, UPXa ~ UPXd)에 포함될 수도 있다.
도 13d를 참조하면, 마이크로 렌즈(ML)는 위상 검출 픽셀 그룹(PPXG)을 덮도록 형성되며, 위상 검출 픽셀 그룹(PPXG)은 네 개의 위상 검출 픽셀(PPX)들을 포함할 수 있다. 즉, 마이크로 렌즈(ML)는 제5 내지 제8 위상 검출 픽셀(PPX5~PPX8)들을 덮도록 형성될 수 있다. 이 경우, 위상 검출 픽셀 그룹(PPXG)은 모든 단위 픽셀들(UPXa ~ UPXd)의 일부를 점유할 수 있다.
도 14는 본 개시의 실시예에 따른 이미지 처리 시스템을 설명하기 위한 블록도이다.
도 14의 시스템(2000)은 이미지 데이터를 필요로 하는 컴퓨터 시스템, 카메라 시스템, 스캐너, 차량 네비게이션, 비디오 폰, 경비 시스템, 움직임 검출 시스템을 포함할 수 있다. 도 14를 참조하면, 시스템(2000)은 중앙 처리 장치 또는 프로세서(2010), 비휘발성 메모리(2020), 이미지 센서를 포함하는 촬상 장치(2030), 입출력 장치(2040) 및 RAM(2050)를 포함할 수 있다. 중앙 처리 장치(2010)는 버스(2060)를 통해서 비휘발성 메모리(2020), 촬상 장치(2030), 입출력 장치(2040) 및 RAM(2050)과 통신할 수 있다.
도 14의 시스템(2000)에 포함된 촬상 장치(2030)는 본 발명의 실시예들에 따라 이상에서 설명된 이미지 센서를 포함할 수 있다. 촬상 장치(2030)로부터 출력된 이미지 데이터는 버스(2060)를 통해서 중앙 처리 장치(2010), 비휘발성 메모리(2020), 입출력 장치(2040) 및 RAM(2050)에 전달될 수 있다. 예컨대, 촬상 장치(2030)에 포함된 이미지 센서는 플로팅 디퓨전 노드를 공유하는 센싱 픽셀들을 포함할 수 있으며, 마이크로 렌즈를 공유하는 위상 검출 픽셀들을 포함할 수 있다. 이러한 센싱 픽셀들을 이용하여 이미지를 획득하거나, 위상 검출 픽셀들을 이용하여 오토 포커싱 기능을 수행할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 이미지 센서
110: 픽셀 어레이
120: 타이밍 컨트롤러

Claims (10)

  1. 픽셀 어레이를 포함하는 이미지 센서에 있어서,
    상기 픽셀 어레이는, 동일한 컬러 필터가 구비된 제1 센싱 픽셀들 및 제2 센싱 픽셀들을 포함하는 제1 단위 픽셀을 포함하도록 구성되고,
    상기 제1 센싱 픽셀들은, 제1 플로팅 디퓨전 노드를 공유하도록 구성되며,
    상기 제2 센싱 픽셀들은, 상기 제1 센싱 픽셀들의 행 방향으로 인접하게 배치되고, 제2 플로팅 디퓨전 노드를 공유하도록 구성되는 이미지 센서.
  2. 제1항에 있어서,
    상기 제1 센싱 픽셀들 및 제2 센싱 픽셀들은, 제1 광 감지 소자, 제2 광 감지 소자 및 제3 광 감지 소자를 포함하고,
    상기 제1 광 감지 소자, 상기 제2 광 감지 소자 및 상기 제3 광 감지 소자로부터 출력된 광전하를 서로 다른 시점에 상기 플로팅 디퓨전 노드로 전달하는 것을 특징으로 하는 이미지 센서.
  3. 제2항에 있어서,
    상기 제1 광 감지 소자, 상기 제2 광 감지 소자 및 상기 제3 광 감지 소자는 서로 다른 노광 시간을 갖는 것을 특징으로 하는 이미지 센서.
  4. 제1항에 있어서,
    상기 제1 센싱 픽셀들 및 제2 센싱 픽셀들은, 각각 상기 제1 플로팅 디퓨전 노드 및 제2 플로팅 디퓨전 노드로 순차적으로 광 전하를 출력하는 광 감지 소자를 각각 포함하며, 상기 광 전하를 상기 제1 및 제2 플로팅 디퓨전 노드가 수신한 순서에 따라 픽셀 신호를 순차적으로 출력하는 것을 특징으로 하는 이미지 센서.
  5. 제1항에 있어서,
    상기 픽셀 어레이는, 각각 동일한 컬러를 갖는 컬러 필터를 구비하는 복수의 위상 검출 픽셀들;을 더 포함하며,
    상기 복수의 위상 검출 픽셀들은, 하나의 마이크로 렌즈를 구비하는 것을 특징으로 하는 이미지 센서.
  6. 픽셀 신호를 출력하는, 복수의 센싱 픽셀들 및 복수의 위상 검출 픽셀들을 포함하는 픽셀 어레이;
    일반 촬영 모드 또는 HDR(High Dynamic Range) 촬영 모드를 지시하는 동작 모드 정보에 기초하여 제어 신호를 출력하는 타이밍 컨트롤러; 및
    상기 제어 신호 및 상기 픽셀 신호에 기초하여, 픽셀 데이터를 출력하는 독출 회로를 포함하고,
    상기 복수의 센싱 픽셀들 중 일부는, 하나의 플로팅 디퓨전 노드를 공유하고 하나의 컬럼 라인을 통해 상기 픽셀 신호를 출력하는 이미지 센서.
  7. 제6항에 있어서,
    상기 타이밍 컨트롤러는, 상기 일반 촬영 모드를 지시하는 상기 동작 모드 정보에 기초하여, 상기 복수의 센싱 픽셀들 중 일부에서 수신한 상기 픽셀 신호에 대하여 아날로그 비닝 동작을 수행하도록 상기 독출 회로를 제어하는 이미지 센서.
  8. 제7항에 있어서,
    상기 복수의 센싱 픽셀들 중 일부는, 제1 센싱 픽셀, 제2 센싱 픽셀 및 제3 센싱 픽셀이며, 상기 제1 센싱 픽셀, 제2 센싱 픽셀 및 제3 센싱 픽셀은 상기 픽셀 어레이의 동일한 컬럼에 배치되고,
    상기 독출 회로는, 상기 제1 센싱 픽셀, 제2 센싱 픽셀 및 제3 센싱 픽셀 각각으로부터 순차적으로 출력된 상기 픽셀 신호를 비닝하는 이미지 센서.
  9. 제6항에 있어서,
    상기 타이밍 컨트롤러는, 상기 HDR 촬영 모드를 지시하는 상기 동작 모드 정보에 기초하여, 상기 복수의 센싱 픽셀들 중 일부가 서로 다른 노광 시간을 갖도록 제어하는 것을 특징으로 하는 이미지 센서.
  10. 이미지 센서의 동작 방법에 있어서,
    복수의 센싱 픽셀들이 하나의 플로팅 디퓨전 노드를 통해 픽셀 신호들을 순차적으로 출력하는 단계;
    일반 촬영 모드 또는 HDR(High Dynamic Range) 촬영 모드를 지시하는 동작 모드 정보를 수신하는 단계; 및
    상기 동작 모드 정보가 상기 일반 촬영 모드를 지시하는 경우, 상기 픽셀 신호들에 대해 아날로그 비닝 동작을 수행하고, 상기 동작 모드 정보가 상기 HDR 촬영 모드를 지시하는 경우, 상기 픽셀 신호들에 대해 재구성 동작 및 DRC(Dynamic Range Compression) 동작 중 적어도 하나의 동작을 수행하는 단계를 포함하는 동작 방법.
KR1020190033727A 2019-03-25 2019-03-25 이미지 센서 및 그 동작 방법 KR102684722B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190033727A KR102684722B1 (ko) 2019-03-25 2019-03-25 이미지 센서 및 그 동작 방법
US16/685,361 US11678075B2 (en) 2019-03-25 2019-11-15 Image sensor that includes sensing pixels sharing a floating diffusion node and operation method thereof
CN202010190218.3A CN111741242A (zh) 2019-03-25 2020-03-18 图像传感器及其操作方法
CN202310572091.5A CN116684752A (zh) 2019-03-25 2020-03-18 图像传感器及其操作方法
US18/202,609 US20230319430A1 (en) 2019-03-25 2023-05-26 Image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190033727A KR102684722B1 (ko) 2019-03-25 2019-03-25 이미지 센서 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200113484A true KR20200113484A (ko) 2020-10-07
KR102684722B1 KR102684722B1 (ko) 2024-07-12

Family

ID=72605284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190033727A KR102684722B1 (ko) 2019-03-25 2019-03-25 이미지 센서 및 그 동작 방법

Country Status (3)

Country Link
US (2) US11678075B2 (ko)
KR (1) KR102684722B1 (ko)
CN (2) CN111741242A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3618430B1 (en) 2017-04-25 2022-02-09 Sony Group Corporation Solid-state image capturing device and electronic instrument
US10996426B2 (en) * 2019-08-21 2021-05-04 Omnivision Technologies, Inc. 3D imaging using phase detection autofocus (PDAF) image sensor
KR20220060297A (ko) * 2020-11-04 2022-05-11 에스케이하이닉스 주식회사 이미지 센싱 장치
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组
KR20220132069A (ko) * 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서
KR20220140925A (ko) * 2021-04-09 2022-10-19 삼성전자주식회사 이미지 센서
KR20220144087A (ko) 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템
US11742365B2 (en) * 2021-07-12 2023-08-29 Omnivision Technologies, Inc. High dynamic range image sensor having reduced crosstalk and jaggy
CN116095447B (zh) * 2021-11-04 2024-08-23 思特威(上海)电子科技股份有限公司 像素电路、控制方法及图像传感器
US12015857B2 (en) * 2022-06-09 2024-06-18 Proprio, Inc. Light field capture, compression, transmission and reconstruction
US20240121516A1 (en) * 2022-10-10 2024-04-11 Qualcomm Incorporated Separate exposure control for pixel sensors of an image sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130139182A (ko) * 2012-06-12 2013-12-20 캐논 가부시끼가이샤 방사선 촬영 장치, 방사선 촬영 장치의 제어 방법, 및 기억 매체
KR20150124367A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
KR20170006206A (ko) * 2015-07-07 2017-01-17 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US20170339353A1 (en) * 2016-05-20 2017-11-23 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4691930B2 (ja) 2004-09-10 2011-06-01 ソニー株式会社 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
KR101478248B1 (ko) * 2008-04-11 2014-12-31 삼성전자주식회사 두 개의 게이트로 이루어진 센싱 트랜지스터를 구비한 이미지 센서의 구동방법
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP5664141B2 (ja) 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
JP5967950B2 (ja) 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP6120508B2 (ja) 2011-10-03 2017-04-26 キヤノン株式会社 撮像素子および撮像装置
JP5448207B2 (ja) 2011-12-13 2014-03-19 国立大学法人東北大学 固体撮像装置
US9571763B2 (en) * 2014-01-10 2017-02-14 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
JP2018138139A (ja) 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、及び医療用観察システム
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
KR102398667B1 (ko) * 2017-06-05 2022-05-16 삼성전자주식회사 위상 검출 픽셀을 포함하는 이미지 센서
US20190394379A1 (en) * 2018-06-21 2019-12-26 Qualcomm Incorporated Auto exposure control predictive convergence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130139182A (ko) * 2012-06-12 2013-12-20 캐논 가부시끼가이샤 방사선 촬영 장치, 방사선 촬영 장치의 제어 방법, 및 기억 매체
KR20150124367A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
KR20170006206A (ko) * 2015-07-07 2017-01-17 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US20170339353A1 (en) * 2016-05-20 2017-11-23 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels

Also Published As

Publication number Publication date
US20230319430A1 (en) 2023-10-05
CN116684752A (zh) 2023-09-01
KR102684722B1 (ko) 2024-07-12
US20200314362A1 (en) 2020-10-01
US11678075B2 (en) 2023-06-13
CN111741242A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
KR102684722B1 (ko) 이미지 센서 및 그 동작 방법
US10412349B2 (en) Image sensor including phase detection pixel
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US10999544B2 (en) Image sensor including phase detection pixels and image pickup device
CN105898118B (zh) 图像传感器和包括图像传感器的成像设备
JP6149369B2 (ja) 撮像素子
RU2490715C1 (ru) Устройство захвата изображения
CN105842813B (zh) 图像传感器
US11950011B2 (en) Image sensor
US11425323B2 (en) Image sensor and operating method thereof
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
CN114041208A (zh) 图像传感器、摄像头组件及移动终端
US20220102414A1 (en) Image sensing device
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US9774803B2 (en) Motion reducing methods and systems using global shutter sensors
US11889217B2 (en) Image sensor including auto-focus pixels
US20220384513A1 (en) Image sensor
JP2024095582A (ja) イメージセンサ、それを含むイメージ処理システム、及びその動作方法
KR20220077735A (ko) 이미지 센서 및 이미지 센서의 픽셀 어레이
JP2022503764A (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
KR20230069801A (ko) 이미지 센서 및 이미지 센서의 동작 방법
JP2014120795A (ja) 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法
JP2017188926A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant