[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20190114332A - 이미지 센싱 장치 및 그의 동작 방법 - Google Patents

이미지 센싱 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20190114332A
KR20190114332A KR1020180036864A KR20180036864A KR20190114332A KR 20190114332 A KR20190114332 A KR 20190114332A KR 1020180036864 A KR1020180036864 A KR 1020180036864A KR 20180036864 A KR20180036864 A KR 20180036864A KR 20190114332 A KR20190114332 A KR 20190114332A
Authority
KR
South Korea
Prior art keywords
image
values
generating
code
code values
Prior art date
Application number
KR1020180036864A
Other languages
English (en)
Inventor
민창기
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020180036864A priority Critical patent/KR20190114332A/ko
Priority to CN201811442466.1A priority patent/CN110324537B/zh
Priority to US16/219,674 priority patent/US10735663B2/en
Publication of KR20190114332A publication Critical patent/KR20190114332A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/3745—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/02—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components
    • H03K19/173—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components using elementary logic circuits as components
    • H03K19/177—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components using elementary logic circuits as components arranged in matrix form
    • H03K19/17748—Structural details of configuration resources
    • H03K19/1776—Structural details of configuration resources for memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일실시예는 이미지 센싱 장치 및 상기 이미지 센싱 장치의 동작 방법에 관한 것으로, 제1 노출 시간에 대응하는 제1 이미지와 상기 제1 노출 시간과 다른 제2 노출 시간에 대응하는 제2 이미지를 생성하기 위한 이미지 센서; 상기 제1 이미지와 예정된 노출 비율에 기초하여 상기 제2 이미지에 대응하는 제3 이미지를 생성하기 위한 연산 모듈; 상기 제2 이미지와 상기 제3 이미지를 합성(fusion)하여 합성 이미지를 생성하기 위한 합성 모듈; 상기 합성 이미지와 상기 노출 비율에 기초하여, 상기 합성 이미지의 코드값(code value)들이 동일한 비트수(bit depth)를 가지도록 상기 코드값들을 각각 변환하거나 또는 유지하기 위한 변환 모듈; 및 상기 변환기로부터 출력되는 이미지값들을 저장하기 위한 메모리 모듈을 포함하는 이미지 센싱 장치를 제공한다.

Description

이미지 센싱 장치 및 그의 동작 방법{IMAGE SENSING DEVICE AND METHOD OF OPERATING THE IMAGE SENSING DEVICE}
본 발명은 반도체 설계 기술에 관한 것으로, 더욱 상세하게는 이미지 센싱 장치 및 그의 동작 방법에 관한 것이다.
이미지 센싱 장치는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 소자이다. 이미지 센싱 장치는 크게 CCD(Charge Coupled Device)를 이용한 이미지 센싱 장치와, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센싱 장치로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다.
본 발명의 실시예는 메모리 리소스(memory resource)를 줄일 수 있는 이미지 센싱 장치 및 그의 동작 방법을 제공한다.
본 발명의 일 측면에 따르면, 이미지 센싱 장치는, 제1 노출 시간에 대응하는 제1 이미지와 상기 제1 노출 시간과 다른 제2 노출 시간에 대응하는 제2 이미지를 생성하기 위한 이미지 센서; 상기 제1 이미지와 예정된 노출 비율에 기초하여 상기 제2 이미지에 대응하는 제3 이미지를 생성하기 위한 연산 모듈; 상기 제2 이미지와 상기 제3 이미지를 합성(fusion)하여 합성 이미지를 생성하기 위한 합성 모듈; 상기 합성 이미지와 상기 노출 비율에 기초하여, 상기 합성 이미지의 코드값(code value)들이 동일한 비트수(bit depth)를 가지도록 상기 코드값들을 각각 변환하거나 또는 유지하기 위한 변환 모듈; 및 상기 변환기로부터 출력되는 이미지값들을 저장하기 위한 메모리 모듈을 포함할 수 있다.
상기 동일한 비트수는 상기 코드값들이 가지는 둘 이상의 비트수 중 가장 작은 비트수를 포함할 수 있다.
상기 변환 모듈은, 상기 코드값들과 기설정된 임계값(threshold value)에 기초하여 상기 코드값들에 대응하는 플래그 신호들을 생성하기 위한 신호 생성기; 및 상기 코드값들과 상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 이미지값들을 생성하기 위한 신호 처리기를 포함할 수 있다.
상기 신호 생성기는 각각의 코드값과 상기 임계값을 비교하고 비교결과에 대응하는 각각의 플래그 신호를 생성할 수 있다.
상기 신호 처리기는 각각의 플래그 신호에 따라, 각각의 코드값을 각각의 이미지값으로서 출력하거나 또는 상기 각각의 코드값을 상기 노출 비율로 압축하여 상기 각각의 이미지값으로서 출력할 수 있다.
상기 신호 처리기는 각각의 플래그 신호에 따라, 각각의 코드값을 상기 노출 비율로 나눗셈 연산을 하기 위한 나눗셈기를 포함할 수 있다.
상기 메모리 모듈은 상기 플래그 신호들의 논리값들을 저장할 수 있다.
상기 이미지 센싱 장치는, 상기 이미지값들과 상기 플래그 신호들에 기초하여 상기 이미지값들을 상기 코드값으로 복원(decompression)하고 그 복원된 코드값들을 이용하여 톤 맵핑(tone mapping) 동작을 실시하기 위한 톤 매핑 모듈을 더 포함할 수 있다.
상기 연산 모듈은 상기 제1 이미지와 상기 노출 비율을 곱셈 연산하기 위한 곱셈기를 포함할 수 있다.
상기 제1 노출 시간은 짧은(short) 노출 시간을 포함할 수 있고, 상기 제2 노출 시간은 긴(long) 노출 시간을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센싱 장치의 동작 방법은, 짧은(short) 노출 시간에 대응하는 제1 이미지와 긴(long) 노출 시간에 대응하는 제2 이미지를 생성하는 단계; 상기 제1 이미지와 예정된 노출 비율에 기초하여 상기 제2 이미지에 대응하는 제3 이미지를 생성하는 단계; 상기 제2 이미지와 상기 제3 이미지를 합성하여 합성 이미지를 생성하는 단계; 상기 합성 이미지의 코드값(code value)들과 기설정된 임계값(threshold value)에 기초하여 상기 코드값들에 대응하는 플래그 신호들을 생성하는 단계; 상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 코드값들 중 일부 또는 전부를 압축(compression)하여 이미지값들을 생성하는 단계; 및 상기 이미지값들과 상기 플래그 신호들의 논리값들을 저장하는 단계를 포함할 수 있다.
상기 제3 이미지를 생성하는 단계는 상기 제1 이미지와 상기 노출 비율을 곱셈 연산할 수 있다.
상기 이미지값들을 생성하는 단계는 상기 플래그 신호들에 기초하여 상기 코드값들 중 일부 또는 전부를 각각 상기 노출 비율로 나눗셈 연산할 수 있다.
상기 이미지 센싱 장치의 동작 방법은, 상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 이미지값들 중 일부 또는 전부를 복원(decompression)하여 상기 코드값들에 대응하는 복원된 코드값들을 생성하는 단계; 및 상기 복원된 코드값들을 이용하여 톤 맵핑(tone mapping) 동작을 실시하는 단계를 더 포함할 수 있다.
상기 복원된 코드값들을 생성하는 단계는 상기 이미지값들 중 일부 또는 전부와 상기 노출 비율을 곱셈 연산할 수 있다.
본 발명의 실시예는 메모리 리소스(memory resource)를 줄임으로써 하드웨어 구현이 용이하고 면적을 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 장치의 블록 구성도이다.
도 2는 도 1에 도시된 변환 모듈의 블록 구성도이다.
도 3은 도 1에 도시된 이미지 센싱 장치의 동작을 설명하기 위한 흐름도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부 도면을 참조하여 설명하기로 한다.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "접속"되어 있다고 할 때 이는 "직접적으로 접속"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 접속"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한, 명세서 전체의 기재에 있어서 일부 구성요소들을 단수형으로 기재하였다고 해서, 본 발명이 그에 국한되는 것은 아니며, 해당 구성요소가 복수 개로 이루어질 수 있음을 알 것이다.
도 1에는 본 발명의 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.
도 1을 참조하면, 이미지 센싱 장치(100)는 이미지 센서(110), 연산 모듈(120), 합성 모듈(130), 변환 모듈(140), 메모리 모듈(150), 및 톤 맵핑 모듈(160)을 포함할 수 있다.
이미지 센서(110)는 짧은(short) 노출 시간(exposure time)에 대응하는 제1 이미지(I1)와 긴(long) 노출 시간에 대응하는 제2 이미지(I2)를 생성할 수 있다. 여기서, 제1 이미지(I1)는 제1 코드값(code value)들을 포함할 수 있고, 제2 이미지(I2)는 제2 코드값들을 포함할 수 있다. 상기 제1 코드값들과 상기 제2 코드값들은 모두 동일한 비트수(bit depth)(이하 '제1 비트수'라 칭함)를 가질 수 있다.
연산 모듈(120)은 제1 이미지(I1)와 예정된 노출 비율(ER)에 기초하여 제2 이미지(I2)에 대응하는 제3 이미지(I3)를 생성할 수 있다. 예컨대, 연산 모듈(120)은 제1 이미지(I1)와 노출 비율(ER)을 곱셈 연산하여 제3 이미지(I3)를 생성하기 위한 곱셈기를 포함할 수 있다. 제2 이미지(I2)의 노출 시간 도메인(domain)과 제3 이미지(I3)의 노출 시간 도메인은 일치될 수 있다. 제3 이미지(I3)는 제3 코드값들을 포함할 수 있고, 상기 제3 코드값들은 상기 제1 및 제2 코드값들보다 확장된 비트수(이하 '제2 비트수'라 칭함)를 가질 수 있다. 만약 제1 코드값이 '10 bits'을 가지고 노출 비율(ER)이 '16(2^4)배'라면, 제3 코드값은 '14(10 + 4) bits'을 가질 수 있다. 노출 비율(ER)은 상기 짧은 노출 시간과 상기 긴 노출 시간 간의 비율(ratio)을 의미할 수 있으며, 다음의 '수학식 1'에 의해 정의될 수 있다.
Figure pat00001
여기서, 'LongEXP.Time'은 상기 긴 노출 시간을 의미할 수 있고, 'ShortEXP.Time'은 상기 짧은 노출 시간을 의미할 수 있다. 노출 비율(ER)은 상기 긴 노출 시간(LongEXP.Time)을 상기 짧은 노출 시간(ShortEXP.Time)으로 나눈 결과에 대응할 수 있다.
합성 모듈(130)은 제2 이미지(I2)와 제3 이미지(I3)를 합성(fusion)하여 합성 이미지(FI)를 생성할 수 있다. 예컨대, 합성 모듈(130)은 제3 이미지(I3)의 각각의 제3 코드값을 포화 영역(saturation area)에 대응하는 코드값인지를 판단하고, 그 판단결과 제3 코드값이 상기 포화 영역에 대응하는 코드값인 경우 상기 제3 코드값을 합성 이미지(FI)의 코드값으로서 선택하고 반면 그 판단결과 상기 제3 코드값이 상기 포화 영역에 대응하는 코드값이 아닌 경우 제2 코드값을 합성 이미지(FI)의 코드값으로서 선택할 수 있다. 이에 따라, 합성 이미지(FI)의 코드값들이 각각 가지는 비트수는 상기 제1 비트수와 상기 제2 비트수 중 어느 하나일 수 있다.
변환 모듈(140)은 합성 이미지(FI)와 노출 비율(ER)에 기초하여, 합성 이미지(FI)의 코드값들이 동일한 비트수를 가지도록 합성 이미지(FI)의 코드값들을 각각 변환하거나 또는 유지할 수 있고, 그 변환 또는 유지된 코드값들(이하 '이미지값'이라 칭함)을 가지는 변환 이미지(CI)를 생성하고 합성 이미지(FI)의 코드값들 각각의 변환 여부를 나타내는 플래그 신호들(FG)을 생성할 수 있다. 상기 동일한 비트수는 합성 이미지(FI)의 코드값들이 가지는 상기 제1 및 제2 비트수 중 가장 작은 비트수인 상기 제1 비트수일 수 있다.
메모리 모듈(150)은 변환 이미지(CI)와 플래그 신호들(FG)을 저장할 수 있다. 예컨대, 메모리 모듈(150)은 '10 bits'을 가지는 각각의 이미지값과 '1 bit'을 가지는 각각의 플래그 신호를 저장할 수 있다.
톤 매핑 모듈(160)은 메모리 모듈(150)에 저장된 변환 이미지(CI') 및 플래그 신호들(FG')에 기초하여 변환 이미지(CI')의 이미지값들을 합성 이미지(FI)의 코드값으로 복원(decompression)할 수 있고, 그 복원된 코드값들을 이용하여 톤 맵핑(tone mapping) 동작을 실시할 수 있다.
도 2에는 도 1에 도시된 변환 모듈(140)의 블록 구성도가 도시되어 있다.
도 2를 참조하면, 변환 모듈(140)은 신호 생성기(141), 및 신호 처리기(143)를 포함할 수 있다.
신호 생성기(141)는 합성 이미지(FI)의 코드값들과 상기 임계값에 기초하여 합성 이미지(FI)의 코드값들에 대응하는 플래그 신호들(FG)을 생성할 수 있다. 더욱 자세하게 설명하면, 신호 생성기(141)는 각각의 코드값과 상기 임계값을 비교하고 그 비교결과에 대응하는 각각의 플래그 신호를 생성할 수 있다. 예컨대, 상기 각각의 플래그 신호는 상기 각각의 코드값이 상기 임계값보다 클때 '1'의 논리값을 가지도록 생성될 수 있고, 상기 각각의 코드값이 상기 임계값보다 작을때 '0'의 논리값을 가지도록 생성될 수 있다. 상기 임계값은 신호 생성기(141)의 내부에 기저장되거나 또는 신호 생성기(141)의 외부로부터 제공될 수 있다. 상기 임계값은 상기 포화 영역과 그 이외의 영역을 판별하기 위한 기준값일 수 있다.
신호 처리기(143)는 합성 이미지(FI)의 코드값들과 플래그 신호들(FG)과 노출 비율(ER)에 기초하여 변환 이미지(CI)의 이미지값들을 생성할 수 있다. 더욱 자세하게 설명하면, 신호 처리기(143)는 상기 각각의 플래그 신호에 따라, 상기 각각의 코드값을 각각의 이미지값으로서 출력하거나 또는 상기 각각의 코드값을 노출 비율(ER)로 압축(compression)하여 상기 각각의 이미지값으로서 출력할 수 있다. 예컨대, 신호 처리기(143)는 상기 각각의 플래그 신호에 따라, 상기 각각의 코드값을 노출 비율(ER)로 나눗셈 연산을 하기 위한 나눗셈기를 포함할 수 있다.
이하, 상기와 같은 구성을 가지는 본 발명의 실시예에 따른 이미지 센싱 장치(100)의 동작을 도 3을 참조하여 설명한다.
도 3에는 도 1에 도시된 이미지 센싱 장치(100)의 동작을 설명하기 위한 흐름도가 도시되어 있다.
도 3을 참조하면, 이미지 센싱 장치(100)의 동작 방법은, 짧은(short) 노출 시간에 대응하는 제1 이미지(I1)와 긴(long) 노출 시간에 대응하는 제2 이미지(I2)를 생성하는 단계(S100)와, 제1 이미지(I1)와 예정된 노출 비율(ER)에 기초하여 제2 이미지(I2)에 대응하는 제3 이미지(I3)를 생성하는 단계(S102)와, 제2 이미지(I2)와 제3 이미지(I3)를 합성하여 합성 이미지(FI)를 생성하는 단계(S104)와, 합성 이미지(FI)의 코드값(code value)들 각각과 기설정된 임계값(threshold value)에 기초하여 합성 이미지(FI)의 코드값들에 대응하는 플래그 신호들(FG)을 생성하는 단계(S106, S108, S110)와, 플래그 신호들(FG)과 노출 비율(ER)에 기초하여 합성 이미지(FI)의 코드값들 중 일부 또는 전부를 압축(compression)하여 변환 이미지(CI)를 생성하는 단계(S112)와, 변환 이미지(CI)의 코드값들과 플래그 신호들(FG)의 논리값들을 저장하는 단계(S114)와, 저장된 변환 이미지(CI') 및 플래그 신호들(FG')에 기초하여 톤 맵핑 동작을 실시하는 단계(S116)를 포함할 수 있다.
여기서, 제3 이미지(I3)를 생성하는 단계(S102)는 제1 이미지(I1)와 노출 비율(ER)을 곱셈 연산함으로써 제3 이미지(I3)를 생성할 수 있고, 변환 이미지(CI)를 생성하는 단계(S112)는 플래그 신호들(FG)에 기초하여 합성 이미지(FI)의 코드값들 중 일부 또는 전부를 각각 노출 비율(ER)로 나눗셈 연산함으로써 변환 이미지(CI)를 생성할 수 있다.
한편, 플래그 신호들(FG)을 생성하는 단계(S106, S108, S110)는, 합성 이미지(FI)의 코드값들과 상기 임계값을 각각 비교하는 단계(S106)와, 그 비교결과에 따라 '0'의 논리값 또는 '1'의 논리값을 가지는 각각의 플래그 신호를 생성하는 단계(S108, S110)를 포함할 수 있다.
또한, 도면에 도시되지 않았지만, 상기 톤 맵핑 동작을 실시하는 단계(S116)는, 플래그 신호들(FG)과 노출 비율(ER)에 기초하여 변환 이미지(CI)의 이미지값들 중 일부 또는 전부를 복원(decompression)하여 합성 이미지(FI)의 코드값들에 대응하는 복원된 코드값들을 생성하는 단계와, 상기 복원된 코드값들을 이용하여 상기 톤 맵핑 동작을 실시하는 단계를 포함할 수 있다.
여기서, 상기 복원된 코드값들을 생성하는 단계는 변환 이미지(CI)의 이미지값들 중 일부 또는 전부와 노출 비율(ER)을 곱셈 연산함으로써 상기 복원된 코드값들을 생성할 수 있다.
이와 같은 본 발명의 실시예들에 따르면, 확장된 비트수(bit depth)를 가지는 합성 이미지를 압축하여 저장함으로써 메모리 리소스를 줄일 수 있는 이점이 있다.
본 발명의 기술 사상은 상기 실시예에 따라 구체적으로 기술되었으나, 이상에서 설명한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 여러 가지 치환, 변형 및 변경으로 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 이미지 센싱 장치 110 : 이미지 센서
120 : 연산 모듈 130 : 합성 모듈
140 : 변환 모듈 150 : 메모리 모듈
160 : 톤 맵핑 모듈

Claims (16)

  1. 제1 노출 시간에 대응하는 제1 이미지와 상기 제1 노출 시간과 다른 제2 노출 시간에 대응하는 제2 이미지를 생성하기 위한 이미지 센서;
    상기 제1 이미지와 예정된 노출 비율에 기초하여 상기 제2 이미지에 대응하는 제3 이미지를 생성하기 위한 연산 모듈;
    상기 제2 이미지와 상기 제3 이미지를 합성(fusion)하여 합성 이미지를 생성하기 위한 합성 모듈;
    상기 합성 이미지와 상기 노출 비율에 기초하여, 상기 합성 이미지의 코드값(code value)들이 동일한 비트수(bit depth)를 가지도록 상기 코드값들을 각각 변환하거나 또는 유지하기 위한 변환 모듈; 및
    상기 변환기로부터 출력되는 이미지값들을 저장하기 위한 메모리 모듈
    를 포함하는 이미지 센싱 장치.
  2. 제1항에 있어서,
    상기 동일한 비트수는 상기 코드값들이 가지는 둘 이상의 비트수 중 가장 작은 비트수를 포함하는 이미지 센싱 장치.
  3. 제1항에 있어서,
    상기 변환 모듈은,
    상기 코드값들과 기설정된 임계값(threshold value)에 기초하여 상기 코드값들에 대응하는 플래그 신호들을 생성하기 위한 신호 생성기; 및
    상기 코드값들과 상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 이미지값들을 생성하기 위한 신호 처리기를 포함하는 이미지 센싱 장치.
  4. 제3항에 있어서,
    상기 신호 생성기는 각각의 코드값과 상기 임계값을 비교하고 비교결과에 대응하는 각각의 플래그 신호를 생성하는 이미지 센싱 장치.
  5. 제3항에 있어서,
    상기 신호 처리기는 각각의 플래그 신호에 따라, 각각의 코드값을 각각의 이미지값으로서 출력하거나 또는 상기 각각의 코드값을 상기 노출 비율로 압축하여 상기 각각의 이미지값으로서 출력하는 이미지 센싱 장치.
  6. 제3항에 있어서,
    상기 신호 처리기는 각각의 플래그 신호에 따라, 각각의 코드값을 상기 노출 비율로 나눗셈 연산을 하기 위한 나눗셈기를 포함하는 이미지 센싱 장치.
  7. 제3항에 있어서,
    상기 메모리 모듈은 상기 플래그 신호들의 논리값들을 저장하는 이미지 센싱 장치.
  8. 제3항에 있어서,
    상기 이미지값들과 상기 플래그 신호들에 기초하여 상기 이미지값들을 상기 코드값으로 복원(decompression)하고, 그 복원된 코드값들을 이용하여 톤 맵핑(tone mapping) 동작을 실시하기 위한 톤 매핑 모듈을 더 포함하는 이미지 센싱 장치.
  9. 제1항에 있어서,
    상기 연산 모듈은 상기 제1 이미지와 상기 노출 비율을 곱셈 연산하기 위한 곱셈기를 포함하는 이미지 센싱 장치.
  10. 제1항에 있어서,
    상기 제1 노출 시간은 짧은(short) 노출 시간을 포함하고,
    상기 제2 노출 시간은 긴(long) 노출 시간을 포함하는 이미지 센싱 장치.
  11. 제1항에 있어서,
    상기 노출 비율은 상기 제2 노출 시간을 상기 제1 노출 시간으로 나눈 결과에 대응하는 이미지 센싱 장치.
  12. 짧은(short) 노출 시간에 대응하는 제1 이미지와 긴(long) 노출 시간에 대응하는 제2 이미지를 생성하는 단계;
    상기 제1 이미지와 예정된 노출 비율에 기초하여 상기 제2 이미지에 대응하는 제3 이미지를 생성하는 단계;
    상기 제2 이미지와 상기 제3 이미지를 합성하여 합성 이미지를 생성하는 단계;
    상기 합성 이미지의 코드값(code value)들과 기설정된 임계값(threshold value)에 기초하여 상기 코드값들에 대응하는 플래그 신호들을 생성하는 단계;
    상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 코드값들 중 일부 또는 전부를 압축(compression)하여 이미지값들을 생성하는 단계; 및
    상기 이미지값들과 상기 플래그 신호들의 논리값들을 저장하는 단계
    를 포함하는 이미지 센싱 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 제3 이미지를 생성하는 단계는 상기 제1 이미지와 상기 노출 비율을 곱셈 연산하고,
    상기 이미지값들을 생성하는 단계는 상기 플래그 신호들에 기초하여 상기 코드값들 중 일부 또는 전부를 각각 상기 노출 비율로 나눗셈 연산하는 이미지 센싱 장치의 동작 방법.
  14. 제12항에 있어서,
    상기 플래그 신호들과 상기 노출 비율에 기초하여 상기 이미지값들 중 일부 또는 전부를 복원(decompression)하여 상기 코드값들에 대응하는 복원된 코드값들을 생성하는 단계; 및
    상기 복원된 코드값들을 이용하여 톤 맵핑(tone mapping) 동작을 실시하는 단계를 더 포함하는 이미지 센싱 장치의 동작 방법.
  15. 제14항에 있어서,
    상기 복원된 코드값들을 생성하는 단계는 상기 이미지값들 중 일부 또는 전부와 상기 노출 비율을 곱셈 연산하는 이미지 센싱 장치의 동작 방법.
  16. 제12항에 있어서,
    상기 노출 비율은 상기 긴 노출 시간을 상기 짧은 노출 시간으로 나눈 결과에 대응하는 이미지 센싱 장치.
KR1020180036864A 2018-03-29 2018-03-29 이미지 센싱 장치 및 그의 동작 방법 KR20190114332A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180036864A KR20190114332A (ko) 2018-03-29 2018-03-29 이미지 센싱 장치 및 그의 동작 방법
CN201811442466.1A CN110324537B (zh) 2018-03-29 2018-11-29 图像感测装置及其操作方法
US16/219,674 US10735663B2 (en) 2018-03-29 2018-12-13 Image sensing device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036864A KR20190114332A (ko) 2018-03-29 2018-03-29 이미지 센싱 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20190114332A true KR20190114332A (ko) 2019-10-10

Family

ID=68054074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036864A KR20190114332A (ko) 2018-03-29 2018-03-29 이미지 센싱 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US10735663B2 (ko)
KR (1) KR20190114332A (ko)
CN (1) CN110324537B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210099865A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
JP4987355B2 (ja) * 2005-10-14 2012-07-25 京セラ株式会社 撮像装置および撮像方法
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
EP2157784A4 (en) * 2007-06-14 2011-03-09 Sony Corp PICTURE RECORDING, IMAGE RECORDING AND PICTURE RECORDING PROGRAM
JP5083046B2 (ja) * 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
US8319864B2 (en) * 2008-09-11 2012-11-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8994843B2 (en) 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
MX365965B (es) * 2011-12-06 2019-06-21 Dolby Laboratories Licensing Corp Método y dispositivo para mejorar el intercambio de datos de imagen basado en no linealidad de luminancia perceptual a través de diferentes capacidades de pantalla.
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
KR102075093B1 (ko) * 2013-08-14 2020-03-03 삼성전자주식회사 이미지 센서, 아날로그-디지털 컨버터 및 아날로그-디지털 변환 방법
TWI559767B (zh) * 2014-08-14 2016-11-21 義隆電子股份有限公司 可分區感測的像素感測裝置及其操作方法
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
KR102688614B1 (ko) * 2016-09-30 2024-07-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US10735663B2 (en) 2020-08-04
US20190306398A1 (en) 2019-10-03
CN110324537A (zh) 2019-10-11
CN110324537B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
KR20190114332A (ko) 이미지 센싱 장치 및 그의 동작 방법
KR101858646B1 (ko) 영상 융합 장치 및 방법
JP4769305B2 (ja) 画像信号符号化方法及び復号方法、情報源符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
CN110089106B (zh) 用以产生高动态范围图像的动态范围扩展
US10757344B2 (en) Imaging apparatus, imaging method and imaging program
CN111161176B (zh) 图像处理方法及装置、存储介质和电子设备
CN110493583A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10313649B2 (en) Image processing apparatus, control method thereof, and storage medium
CN111696039A (zh) 图像处理方法及装置、存储介质和电子设备
US10075649B2 (en) Image capturing apparatus and image capturing method for exposure compensation in high dynamic range synthesized images
US7315385B2 (en) Image processing apparatus and method thereof
KR20130069400A (ko) 영상 처리 방법 및 시스템
JP6352625B2 (ja) 画像データ圧縮回路、画像データ圧縮方法及び撮像装置
KR102050415B1 (ko) 화상 처리 장치 및 화상 처리 방법
US20210250495A1 (en) Image processing method, device, storage medium and camera
CN115209060B (zh) 高动态范围图像压缩方法、解压缩方法及图像传感器
JP2020108001A (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
Alias et al. Hardware implementation and testing of effective DPCM image compression technique using multiple-LUT
JP2006173931A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
WO2018056065A1 (ja) 画像データ表示システム、画像データ表示方法、および画像データ表示プログラム記録媒体
KR100261031B1 (ko) Dvc의 런-앰프 선택 장치
US20040075597A1 (en) Data decompression technique for image processing
CN115904525A (zh) 数据处理方法、装置、存储介质和电子设备
JP2024086776A (ja) 撮像装置
JP2009124489A (ja) 映像信号処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
X601 Decision of rejection after re-examination