[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102412020B1 - 이미지 센서의 파라미터 제어 방법 - Google Patents

이미지 센서의 파라미터 제어 방법 Download PDF

Info

Publication number
KR102412020B1
KR102412020B1 KR1020150136450A KR20150136450A KR102412020B1 KR 102412020 B1 KR102412020 B1 KR 102412020B1 KR 1020150136450 A KR1020150136450 A KR 1020150136450A KR 20150136450 A KR20150136450 A KR 20150136450A KR 102412020 B1 KR102412020 B1 KR 102412020B1
Authority
KR
South Korea
Prior art keywords
image
values
information
feature values
corrected
Prior art date
Application number
KR1020150136450A
Other languages
English (en)
Other versions
KR20170037205A (ko
Inventor
고하영
노요환
김채성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150136450A priority Critical patent/KR102412020B1/ko
Priority to US15/273,049 priority patent/US10375337B2/en
Publication of KR20170037205A publication Critical patent/KR20170037205A/ko
Priority to US16/449,287 priority patent/US10868993B2/en
Priority to US17/099,686 priority patent/US11184570B2/en
Priority to US17/532,118 priority patent/US11699218B2/en
Application granted granted Critical
Publication of KR102412020B1 publication Critical patent/KR102412020B1/ko

Links

Images

Classifications

    • H04N5/3535—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H04N5/225—
    • H04N5/35536—
    • H04N5/35554—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)

Abstract

복수(2 이상)의 이미지 센서의 파라미터 제어 방법이 개시된다. 본 발명의 일 실시예에 따르면, 제1 파라미터들에 기초하여 작동하는 제1 이미지 센서에 의해 생성된 제1 이미지와 제2 파라미터들에 기초하여 작동하는 제2 이미지 센서에 의해 생성된 제2 이미지를 수신하는 단계, 상기 제1 이미지와 관련된 제1 특징 값들 및 상기 제2 이미지와 관련된 제2 특징 값들을 계산하는 단계, 상기 제1 이미지의 고정 영역들 및 제1 가변 영역들에서의 상기 제1 특징 값들과 상기 제2 이미지의 상기 고정 영역들 및 상기 제1 가변 영역들에서의 상기 제2 특징 값들을 이용하여 비교하고, 제1 비교 결과들을 생성하는 단계, 및 상기 비교 결과들에 기초하여, 상기 제1 파라미터들 및 상기 제2 파라미터들 중 적어도 하나를 제어하는 단계를 포함한다.

Description

이미지 센서의 파라미터 제어 방법{METHOD FOR CONTROLLING PARAMETER OF IMAGE SENSOR}
본 발명의 개념에 따른 실시예는 이미지 센서의 파라미터 제어 방법으로서, 특히 복수의 이미지 센서로부터 얻은 이미지를 이용하여 복수의 이미지 센서로부터 얻게 될 이미지의 밝기가 미리 설정된 값을 가질 수 있도록 복수의 이미지 센서의 파라미터를 제어하는 이미지 센서의 파라미터 제어 방법에 관한 것이다.
하나의 기기에 다양한 종류의 정보통신기술을 융합하는 디지털 컨버젼스(Digital Convergence) 현상이 가속화됨에 따라, 디지털 영상신호처리 기술을 매개로 각종 멀티미디어 장치 등에서 복수의 이미지 센서를 활용하는 기술이 다양하게 이용되고 있다.
구체적으로 복수의 이미지 센서로부터 얻은 복수의 이미지 데이터를 가공하여 고 동적 범위 이미지(High Dynamic Range image; HDR image), 스테레오 이미지(Stereo image), 파노라마 이미지(Panorama image)와 같은 다양한 이미지들을 생성해 낼 수 있고, 생성된 이미지는 멀티미디어 장치 등에서 애플리케이션 프로그램과 결합하여 다양한 목적에 사용된다.
한편, 위에 예시한 다양한 이미지들을 얻기 위해, 복수의 이미지 센서로부터 얻은 복수의 이미지들의 밝기가 동일하게 되도록 복수의 이미지 센서들을 제어하거나 또는 복수의 이미지 센서로부터 얻은 복수의 이미지들의 밝기가 서로 다르게 되도록 복수의 이미지 센서들을 제어할 필요가 있다.
복수의 이미지들의 밝기가 동일하게 되도록 제어할 경우, 이미지들 간의 유사성(similarity)이 높은 복수의 이미지들을 얻을 수 있고, 복수의 이미지들의 밝기가 서로 다르게 되도록 제어할 경우, 노출 브라케팅(exposure bracketing)된 복수의 이미지들을 얻을 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 복수의 이미지 센서로부터 얻게 될 이미지의 밝기가 미리 설정된 값을 가질 수 있도록 복수의 이미지 센서의 파라미터를 효율적으로 제어하는 이미지 센서의 파라미터 제어 방법을 제공하는 것이다.
본 발명의 실시예에 따른 복수(2 이상)의 이미지 센서의 파라미터 제어 방법은, 제1 파라미터들에 기초하여 작동하는 제1 이미지 센서에 의해 생성된 제1 이미지와 제2 파라미터들에 기초하여 작동하는 제2 이미지 센서에 의해 생성된 제2 이미지를 수신하는 단계, 상기 제1 이미지와 관련된 제1 특징 값들 및 상기 제2 이미지와 관련된 제2 특징 값들을 계산하는 단계, 상기 제1 이미지의 고정 영역들 및 제1 가변 영역들에서의 상기 제1 특징 값들과 상기 제2 이미지의 상기 고정 영역들 및 상기 제1 가변 영역들에서의 상기 제2 특징 값들을 이용하여 비교하고, 제1 비교 결과들을 생성하는 단계, 및 상기 비교 결과들에 기초하여, 상기 제1 파라미터들 및 상기 제2 파라미터들 중 적어도 하나를 제어하는 단계를 포함한다.
실시 예에 따라, 복수의 이미지 센서의 파라미터 제어 방법은, 상기 제1 이미지와 관련된 제3 특징 값들 및 상기 제2 이미지와 관련된 제4 특징 값들을 계산하는 단계를 더 포함하고, 상기 제1 비교 결과들을 생성하는 단계는 상기 제1 이미지의 제2 가변 영역들에서의 상기 제3 특징 값들과 상기 제2 이미지의 상기 제2 가변 영역들에서의 상기 제4 특징 값들을 이용하여 비교하고, 제2 비교 결과들을 생성하는 단계를 더 포함한다.
실시 예에 따라, 상기 제1 특징 값들은 상기 제1 이미지의 밝기 값들이고, 상기 제2 특징 값들은 상기 제2 이미지의 밝기 값들이다.
실시 예에 따라, 상기 제3 특징 값들 및 상기 제4 특징 값들 각각은 상기 제1 이미지 및 상기 제2 이미지 각각의 밝기 값들의 포화 정보, 신호대잡음비 정보, 디테일 정보 중 적어도 하나를 더 포함한다.
실시 예에 따라, 상기 제1 비교 결과들을 생성하는 단계는, 상기 제1 이미지의 상기 고정 영역들 및 상기 가변 영역들에서의 상기 제1 특징 값들을 대표하는 제1 대표값 및 상기 제2 이미지의 상기 고정 영역들 및 상기 가변 영역들에서의 상기 제2 특징 값들을 대표하는 제2 대표값들을 비교하고, 비교 결과들을 생성하는 단계를 포함한다.
실시 예에 따라, 상기 제1 파라미터들 및 상기 제2 파라미터들 중 적어도 하나를 제어하는 단계는, 상기 제1 비교 결과에 기초하여, 상기 제1 이미지 센서에 의해 생성될 이미지들의 밝기 값인 제1 목표 밝기 값 및 상기 제2 이미지 센서에 의해 생성될 이미지들의 밝기 값인 제2 목표 밝기 값을 설정하는 단계를 포함한다.
실시예에 따라, 상기 제1 목표 밝기 값 및 상기 제2 목표 밝기 값은 상기 제1 목표 밝기 값과 상기 제2 목표 밝기 값이 동일한 경우, 제1 기준 밝기로 설정되고, 상기 제1 목표 밝기 값과 상기 제2 목표 밝기 값이 서로 다른 경우, 제2 기준 밝기들로 설정된다.
실시 예에 따라, 상기 제1 파라미터들 및 상기 제2 파라미터들 각각은 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 대한 아날로그 이득 및 노출 시간 중 적어도 하나이다.
실시 예에 따라, 상기 제1 이미지와 관련된 제1 특징 값들 및 상기 제2 이미지와 관련된 제2 특징 값들을 계산하는 단계는, 상기 제1 이미지 센서의 특성 정보에 기초하여, 상기 제1 이미지를 보정하고, 보정된 제1 보정 이미지를 생성하고, 상기 제2 이미지 센서의 특성 정보에 기초하여, 상기 제2 이미지를 보정하고, 보정된 제2 보정 이미지를 생성하는 단계, 상기 제1 보정 이미지에 대한 상기 제1 특징 값들을 계산하고, 상기 제2 보정 이미지에 대한 상기 제2 특징 값들을 계산하는 단계를 포함한다.
본 발명의 다른 실시 예에 따른, 복수(2 이상)의 이미지 센서의 파라미터 제어 방법은, 제1 파라미터들에 기초하여 작동하는 제1 이미지 센서에 의해 생성된 제1 이미지와 제2 파라미터들에 기초하여 작동하는 제2 이미지 센서에 의해 생성된 제2 이미지를 수신하는 단계, 상기 제1 이미지와 관련된 밝기 값들 및 상기 제2 이미지와 관련된 상기 밝기 값들을 계산하는 단계, 상기 제1 이미지의 고정 영역들 및 가변 영역들에서의 밝기 값들과 상기 제2 이미지의 상기 고정 영역들 및 상기 가변 영역들에서의 밝기 값들을 이용하여 비교하고, 비교 결과들을 생성하는 단계, 및 상기 비교 결과들에 기초하여, 상기 제1 파라미터들 및 상기 제2 파라미터들 중 적어도 하나를 제어하는 단계를 포함한다.
실시예에 따라, 상기 비교 결과들은, 상기 제1 이미지 및 상기 제2 이미지의 전역적 밝기 값의 차이 및 상기 제1 이미지 및 상기 제2 이미지의 지역적 밝기 값의 차이에 기초하여 생성된다.
실시 예에 따라, 상기 복수의 이미지 센서의 파라미터 제어 방법은, 상기 제1 파라미터들 및 상기 제2 파라미터들의 값이 동일하게 되도록 제어하는 경우, 제1 기준 밝기를 설정하고, 상기 제1 파라미터들 및 상기 제2 파라미터들의 값이 서로 다르게 되도록 제어하는 경우, 제2 기준 밝기를 설정한다.
실시 예에 따라, 상기 제2 기준 밝기가 설정된 경우, 상기 제1 파라미터들의 값 및 상기 제2 파라미터들의 값은 미리 설정된 크기의 차이를 갖는다.
실시 예에 따라, 상기 복수의 이미지 센서의 파라미터 제어 방법은, 상기 밝기 값을 계산하는 단계 후에, 상기 제1 이미지 센서의 특성 정보를 이용하여, 상기 제1 이미지를 보정하고, 제1 보정 이미지를 생성하는 단계, 및 상기 제2 이미지 센서의 특성 정보를 이용하여, 상기 제2 이미지를 보정하고, 제2 보정 이미지를 생성하는 단계를 더 포함한다.
실시 예에 따라, 상기 비교 결과들을 생성하는 단계는, 상기 제1 이미지의 고정 영역들에서의 밝기 값들과 상기 제2 이미지의 고정 영역들의 밝기 값들을 이용하여 제1 비교 결과들을 생성하는 단계, 및 상기 제1 비교 결과들에 기초하여, 상기 제1 이미지의 제1 가변 영역들에서의 밝기 값들과 상기 제2 이미지의 제1 가변 영역들에서의 밝기 값들을 이용하여 제2 비교 결과들을 생성하는 단계를 포함한다.
실시 예에 따라, 상기 비교 결과들을 생성하는 단계는, 상기 제2 비교 결과들을 생성한 후에, 상기 제1 이미지의 제2 가변 영역들에서의 특징 값들과 상기 제2 이미지의 제2 가변 영역들에서의 상기 특징 값들을 이용하여, 제3 비교 결과들을 생성하는 단계를 더 포함하고, 상기 특징 값들은 상기 밝기 값들의 포화 정보, 신호대잡음비 정보, 디테일 정보 중 적어도 하나를 포함한다.
본 발명의 일 실시예에 따른, 복수의 이미지 센서의 파라미터 제어 방법은, 본 발명의 실시 예에 따른 CMOS 이미지 센서 제어 모듈의 동작 이전에 미리 설정된 복수의 이미지들과 관련된 특성 정보를 이용하여, 보다 효율적으로 복수의 이미지 센서의 파라미터를 제어할 수 있다.
본 발명의 다른 실시예에 따른, 복수의 이미지 센서의 파라미터 제어 방법은, 복수의 이미지들에 존재하는 밝기 값들, 밝기 값들의 포화 정보, 신호대잡음비 정보, 디테일 정보를 이용하여, 복수의 이미지 센서 각각의 파라미터를 다양하게 조절할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서 제어 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 CMOS 이미지 센서 제어 모듈의 일 실시예를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 이미지 센서의 파라미터 제어 방법을 설명하기 위한 흐름도이다.
도 4는 도 3의 이미지들 각각과 관련된 상기 특징 값들을 계산하는 방법을 보다 구체적으로 나타낸 흐름도이다.
도 5a 및 도 5b는 도 3의 고정 영역들 및 가변 영역들을 설명하기 위한 도면이다.
도 6a 및 도 6b는 도 3의 이미지들 각각의 고정 영역들 및 가변 영역들에서의 특징 값들에 기초하여 비교하고, 비교 결과들을 생성하는 방법을 보다 구체적으로 나타낸 흐름도이다.
도 7은 상기 제어 신호들을 생성하는 방법을 보다 구체적으로 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 복수의 이미지 센서의 파라미터 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 카메라 모듈 제어 시스템의 구성 블록도이다.
도 10은 본 발명의 실시예에 따른 전자 시스템을 나타내는 구성 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서 제어 시스템을 나타내는 블록도이다. 도 2는 도 1에 도시된 CMOS 이미지 센서 제어 모듈의 일 실시예를 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 이미지 센서 제어 시스템(1a)은 CMOS 이미지 센서 제어 모듈(CMOS Image Sensor(CIS) Control Module; 10), CMOS 이미지 센서들(20-1~20-n; n은 2 이상의 정수), 외부 메모리(30), 및 디스플레이 장치(40)를 포함할 수 있다.
CMOS 이미지 센서들(20-1~20-n)은 복수(2 이상)일 수 있다. 각각의 CMOS 이미지 센서들(20-1~20-n)은 복수의 카메라 모듈들(200-1~200-n) 각각에 포함될 수 있으나, 본 발명의 실시예에 따른 CMOS 이미지 센서들(200-1~20-n)의 구성 태양은 반드시 이에 한정되는 것은 아니다. 예컨대, CMOS 이미지 센서들(200-1~200-n)은 CMOS 이미지 센서들(200-1~200-n)의 수보다 적은 수의 카메라 모듈들 각각에 포함되어, 하나의 카메라 모듈에 복수의 CMOS 이미지 센서들이 포함될 수도 있다.
CMOS 이미지 센서들(20-1~20-n) 각각은 피사체(22)에 반사되어 각각의 렌즈들(21-1~21-n)을 통해 입사되는 입사광의 세기를 광전 소자를 이용하여 전기적 신호로 변환하고, 변환된 전기적 신호를 디지털 신호로 변환하여, CMOS 이미지 센서 제어 모듈(10)로 출력할 수 있다. 출력된 디지털 신호는 CMOS 이미지 센서들(20-1~20-n) 각각의 픽셀 어레이(pixel array; 미도시)에 속한 각 픽셀에 대응하는 디지털 값이 순차적으로 나열된 스트림(stream) 형태의 신호일 수 있다.
CMOS 이미지 센서들(20-1~20-n) 각각으로부터 출력된 디지털 신호는 복수의 이미지들(IMG1~IMGn)을 형성할 수 있다. 이미지들(IMG1~IMGn) 각각은 동일 장면(scene)을 3차원 기준 좌표계(three-dimensional(3D) reference system)상의 서로 다른 위치에서 바라본 정보들을 포함할 수 있다.
각각의 CMOS 이미지 센서들(20-1~20-n)은 CMOS 이미지 센서들(20-1~20-n)의 기능 및 동작과 관련된 파라미터(Parameter; PARA1~PARAn)들을 CMOS 이미지 센서 제어 모듈(10)로 출력할 수 있다. 상기 파라미터(PARA1~PARAn)들은 아날로그 이득(Analog Gain; AG)에 관한 정보 및 노출 시간(Exposure time; EXPT)에 관한 정보를 포함할 수 있다.
아날로그 이득(AG)에 관한 정보는, CDS(Correlated Double Sampling) 방식을 채용하는 이미지 센서들(20-1~20-n) 각각의 내부에서, CDS 방식에 따라 샘플링 된 리셋 신호(reset signal)와 이미지 신호(image signal)의 차이를 디지털 신호로 변환하기 위해 사용되는 램프(ramp) 신호의 기울기(slope)에 관한 정보일 수 있다.
노출 시간(EXPT)에 관한 정보는, 노출 감도, 조리개, 셔터 스피드 등의 조정 결과값에 따른 CMOS 이미지 센서들(20-1~20-n) 각각의 노출 조건과 관련된 정보일 수 있다.
아날로그 이득(AG) 및/또는 노출 시간(EXPT)에 관한 정보는, 그 값이 클수록 이미지들(IMG1~IMGn) 각각의 신호의 크기 및 이미지들(IMG1~IMGn) 각각에 포함된 노이즈(noise)의 크기가 큰 것으로 간주될 수 있다.
CMOS 이미지 센서 제어 모듈(10)은 인터페이스(I/F; 120) 및 파라미터 제어 유닛(Parameter Control Unit; 140)을 포함할 수 있다.
파라미터 제어 유닛(140)은 인터페이스(120)를 통하여, 복수의 CMOS 이미지 센서들(20-1~20-n)에 의해 생성된 복수의 이미지들(IMG1~IMGn)을 수신하고, 복수의 이미지들(IMG1~IMGn) 각각과 관련된 특징 값들(feature values)을 계산할 수 있다. 그리고, 상기 특징 값들을 이용하여, 비교 결과들(comparison results)을 생성하고, 상기 비교 결과들에 기초하여, CMOS 이미지 센서들(20-1~20-n) 각각과 관련된 파라미터(Parameter; PARA1~PARAn)들 중 적어도 하나를 제어하는 제어 신호들을 출력할 수 있다.
CMOS 이미지 센서 제어 모듈(10)의 구체적인 동작은 도3, 도 4, 도 5a, 도 5b, 도 6a, 도 6b, 도 7, 및 도 8을 참조하여 후술하기로 한다.
외부 메모리(30)는 각각의 이미지들(IMG1~IMGn)과 관련된 특성 정보(characteristic information)를 저장할 수 있다. 상기 특성 정보는 본 발명의 일 실시예에 따른 CMOS 이미지 센서 제어 모듈(10)의 동작 이전에, 미리 설정되어 외부 메모리(30)에 저장된 값일 수 있다.
상기 특성 정보는 공간특성정보(spatial characteristic information) 및 출력특성정보(output characteristic information)를 포함할 수 있다.
상기 공간특성정보는 각각의 이미지들(IMG1~IMGn)의 기하학적 형태 및 크기에 영향을 미치는 정보로써, 화각(Field Of View; FOV) 정보, 초점거리(Focal Length; FL) 정보, 및 해상도(resolution)에 관한 정보를 포함할 수 있다.
상기 출력특성정보는 이미지들(IMG1~IMGn) 각각의 이미지 픽셀의 밝기 값에 영향을 미치는 정보로써, 픽셀피치(pixel pitch)에 관한 정보, 감도(sensitivity)에 관한 정보를 포함할 수 있다.
외부 메모리(30)는 본 발명의 일 실시예에 따라 CMOS 이미지 센서들(20-1~20-n) 각각이 생성하는 이미지들(IMG1~IMGn) 이 동일한 밝기를 가지도록 제어할 것인지 여부에 관한 정보(SEL_EA)를 저장할 수도 있다.
외부 메모리(30)는 본 발명의 일 실시예에 따라 이미지들(IMG1~IMGn)의 밝기 값과 이미지들(IMG1~IMGn)을 생성하는 CMOS 이미지 센서들(20-1~20-n)의 파라미터들(PARA1~PARAn)과의 관계를 정의하는 맵핑 테이블(mapping table)을 저장할 수도 있다.
디스플레이 장치(40)는 CMOS 이미지 센서들(20-1~20-n)이 생성한 이미지들(IMG1~IMGn) 또는 본 발명에 따른 이미지 센서(20-1~20-n)의 파라미터(PARA1~PARAn) 제어 방법의 실시 중에 생성되는 이미지들을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 센서(20-1~20-n)의 파라미터(PARA1~PARAn) 제어 방법을 설명하기 위한 흐름도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 CMOS 이미지 센서 제어 모듈(10)은 복수의 CMOS 이미지 센서들(20-1~20-n) 각각으로부터 생성된 이미지들(IMG1~IMGn)을 수신할 수 있다(S100).
수신된 이미지들(IMG1~IMGn) 각각은, 카메라 모듈들(200-1~200-n) 각각의 3차원 기준 좌표계(three-dimensional(3D) reference system)상의 위치 및 카메라 모듈들(200-1~200-n) 각각이 가지는 고유의 특성(specific characteristic)에 기인하여, 기하학적 형태, 크기, 또는 피사체(22)에 대한 색재현성(color reproduction) 등이 서로 다를 수 있다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 CMOS 이미지 센서 제어 모듈(10)은 이미지들(IMG1~IMGn)을 수신(S100)한 후, 이미지들(IMG1~IMGn) 각각과 관련된 특징 값들을 계산할 수 있다(S200).
상기 특징 값들을 계산하는 방법에 관한 구체적인 내용은 도 4를 참조하여 설명하기로 한다.
도 4는 도 3의 이미지(IMG1~IMGn)들 각각과 관련된 상기 특징 값들을 계산하는 방법(S200)을 보다 구체적으로 나타낸 흐름도이다.
도 4를 참조하면, 상기 특징 값들을 계산하는 방법(S200)은 이미지 센서들(20-1~20-n) 각각의 특성 정보들을 수신하는 단계(S202), 이미지들(IMG1~IMGn) 각각을 보정하고, 보정된 보정 이미지들(CIMG1~CIMGn)을 생성하는 단계(S204), 및 보정 이미지들(CIMG1~CIMGn) 각각에 대한 상기 특징 값들을 계산하는 단계(S206)를 포함할 수 있다.
이미지 센서들(20-1~20-n) 각각의 특성 정보를 수신하는 단계(S202)에서, 상기 특성 정보는 상술한 바와 같이, 공간특성정보 및 출력특성정보를 포함하고, 이미지들(IMG1~IMGn)의 기하학적 형태, 크기, 및 이미지들(IMG1~IMGn) 각각의 이미지 픽셀의 밝기 값에 영향을 미치는 정보일 수 있다.
이미지들(IMG1~IMGn) 각각을 보정하고, 보정된 보정 이미지들(CIMG1~CIMGn)을 생성하는 단계(S204)는, 상기 공간특성정보 및 상기 출력특성정보를 이용한 기하학적 변환(geometric transformation) 및 이미지 보간법(image interpolation)을 수행함으로써 이루어질 수 있다.
상기 기하학적 변환은 회전 변환(rotation transformation), 크기 변환(scaling transformation), 또는 어파인 변환(affine transformation)과 같은 기하학적 선형 변환을 포함할 수 있다. 이미지들(IMG1~IMGn)은 동일 장면을 3차원 기준 좌표계상의 서로 다른 위치에서 바라본 정보들을 포함할 수 있으나, 보정 이미지들(CIMG1~CIMGn)은 동일 장면을 마치 3차원 기준 좌표계상의 동일한 위치에서 바라본 것과 같은 정보들을 포함할 수 있다.
상기 이미지 보간법은 최근방 이웃 보간법(nearest neighbor interpolation), 선형 보간법(linear interpolation), 고차 다항식 보간법(high-order polynomial interpolation), 스플라인 보간법(spline interpolation), 또는 적응적 선형 보간법(adaptive linear interpolation)을 포함할 수 있다.
본 발명의 일 실시예에 따른, 복수의 이미지 센서의 파라미터 제어 방법은, CMOS 이미지 센서 제어 모듈의 동작 이전에 미리 설정된 복수의 이미지들과 관련된 특성 정보를 이용하여, 복수의 이미지 센서의 파라미터를 제어하기 위한 보정 이미지들(CIMG1~CIMGn)을 생성해낼 수 있다. 따라서, 본 발명의 일 실시예에 따른, 이미지 센서의 파라미터 제어 방법은, 보정 이미지들(CIMG1~CIMGn)을 생성하기 위한 시간 복잡도(time complexity)를 줄이는 효과가 있다.
보정 이미지들(CIMG1~CIMGn) 각각에 대한 특징 값들을 계산하는 단계(S206)는, 보정 이미지들(CIMG1~CIMGn) 각각의 이미지 픽셀의 밝기 값(luminance value)들을 계산하는 단계를 포함할 수 있다. 상기 밝기 값들은 RGB, YCbCr, CIE-Lab, 또는 HSV 컬러 모델(color model)에 기반하여 구해질 수 있다. 상기 밝기 값들 각각의 크기는 0 이상 255 이하의 정수일 수 있다. 그러나, 본 발명의 특징 값들은 상기 밝기 값들에 한정되는 것은 아니다. 다른 실시예에 따라, 상기 특징 값들은 상기 밝기 값들의 포화(saturation) 정보, 신호대잡음비(Signal to Noise Ratio; SNR) 정보, 디테일(detail) 정보 중 적어도 하나를 더 포함할 수 있다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 CMOS 이미지 센서 제어 모듈(10)은 이미지들(IMG1~IMGn) 각각과 관련된 특징 값들을 계산(S200)한 후, 보정 이미지들(CIMG1~CIMGn) 각각의 고정 영역들과 관련된 특징 값들을 이용하여 비교하고, 비교 결과들을 생성할 수 있다. 그리고, CMOS 이미지 센서 제어 모듈(10)은 이미지들(CIMG1~CIMGn) 각각의 가변 영역들과 관련된 특징 값들을 이용하여 비교하고, 비교 결과들을 생성할 수 있다(S300).
상기 비교 결과들을 생성하는 방법(S300)에 관한 구체적인 내용은, 도 5a, 도 5b, 도 6a, 및 도 6b를 참조하여 설명하기로 한다.
도 5a는 도 3의 고정 영역들을 설명하기 위한 도면이다.
보정 이미지들(CIMG1~CIMGn) 각각의 형태는 이미지들(IMG1~IMGn)에 대한 기하학적 변환의 수행 결과, 서로 다른 형태를 가질 수 있다. 예컨대, 보정 이미지들(CIMG1~CIMGn)의 형태는, 네모 형태(rectangular shape), 사다리꼴 형태(trapezoid shape), 마름모 형태(rhombus shape)일 수 있다.
도 5a를 참조하면, 고정 영역들(F11~F54)은 각각이 다른 형태를 가질 수 있는 보정 이미지들(CIMG1~CIMGn)을 중첩시킨 경우에, 중첩된 영역 내에 존재할 수 있는 최대 크기의 가상의 사각형을 가정했을 때, 상기 가상의 사각형을 균등하게 분할한 작은 사각형의 영역들을 의미할 수 있다. 고정 영역들(F11~F54) 각각의 가로 길이(wf) 및 세로 길이(hf)는 동일할 수 있다. 보정 이미지들(CIMG1~CIMGn) 각각에 포함된 고정 영역들(F11~F54)의 수는 동일할 수 있다. 고정 영역들(F11~F54) 각각의 세로 길이(hf) 및 가로 길이(wf)는 미리 설정된 값일 수 있다.
한편, 보정 이미지들(CIMG1~CIMGn)에 대하여 정의되는 고정 영역들 (F11~F54)은 이미지들(IMG1~IMGn)에 대하여도 정의될 수 있다. 그러나, 이미지들(IMG1~IMGn) 각각에 존재하는 고정 영역들의 형태는 네모 형태가 아닐 수 있다.
도 5b는 도 3의 가변 영역들을 설명하기 위한 도면이다.
도 5b를 참조하면, 가변 영역들(V1~V3)은 보정 이미지들(CIMG1~CIMGn)을 중첩시킨 경우에, 중첩된 영역 내에 존재할 수 있는 최대 크기의 가상의 사각형을 가정했을 때, 상기 가상의 사각형의 내부에 존재하는 임의의 작은 사각형의 영역들을 의미할 수 있다. 가변 영역들(V1~V3) 각각의 세로 길이(hv1~hv3)는 서로 다를 수 있고, 가변 영역들(V1~V3) 각각의 가로 길이(wv1~wv3) 또한 서로 다를 수 있다. 도 5b에 도시된 가변 영역들(V1~V3)은 예시적인 것으로써, 보정 이미지들(CIMG1~CIMGn) 각각에 포함된 가변 영역들(V1~V3)의 수, 가변 영역들(V1~V3)의 크기, 및 가변 영역들(V1~V3)의 위치는 서로 다를 수 있다.
한편, 보정 이미지들(CIMG1~CIMGn)에 대하여 정의되는 가변 영역들(V1~V3)은 이미지들(IMG1~IMGn)에 대하여도 정의될 수 있다. 그러나, 이미지들(IMG1~IMGn) 각각에 존재하는 가변 영역들(V1~V3)의 형태는 네모 형태가 아닐 수도 있다.
도 6a는 본 발명의 일 실시예에 따라, 도 3의 비교 결과들을 생성하는 단계(S300)를 보다 구체적으로 나타낸 흐름도이다.
도 6a를 참조하면, 본 발명의 일 실시예에 따라, 상기 비교 결과들을 생성하는 방법은, 보정 이미지들(CIMG1~CIMGn) 각각의 고정 영역들에서의 특징 값들을 이용하여 비교하고, 제1 비교 결과들을 생성하는 단계(S302), 및 제1 비교 결과들에 기초하여, 보정 이미지들(CIMG1~CIMGn) 각각의 가변 영역들에서의 상기 특징 값들을 이용하여 비교하고, 제2 비교 결과들을 생성하는 단계(S304)를 포함할 수 있다.
실시 예에 따라, 상기 특징 값들은 보정 이미지들(CIMG1~CIMGn) 각각의 이미지 픽셀의 밝기 값들일 수 있다.
제1 비교 결과들을 생성하는 단계(S302)는, 본 발명의 일 실시예에 따라, 고정 영역들(F11~F54) 각각에 대한 밝기 값들을 보정 이미지들(CIMG1~CIMGn) 각각에 대하여 구하고, 보정 이미지들(CIMG1~CIMGn) 각각에 대한 상기 밝기 값들 간의 차이 값들을 제1 비교 결과들로 생성하는 단계를 포함할 수 있다.
제1 비교 결과들을 생성하는 단계(S302)는, 본 발명의 다른 실시예에 따라, 보정 이미지들(CIMG1~CIMGn) 각각에 대한 전역적(global) 밝기 값을 구하고, 상기 전역적 밝기 값들 간의 차이 값들을 제1 비교 결과들로 생성하는 단계를 포함할 수도 있다. 이 경우 보정 이미지들(CIMG1~CIMGn) 각각에 포함된 고정 영역들의 수는 1로 설정한 경우일 수 있다.
제2 비교 결과들을 생성하는 단계(S304)는, 본 발명의 일 실시예에 따라, 제1 가변 영역들(V1~V3) 각각에 대한 밝기 값들을 보정 이미지들(CIMG1~CIMGn) 각각에 대하여 구하고, 보정 이미지들(CIMG1~CIMGn) 각각에 대한 상기 밝기 값들 간의 차이 값들을 생성하는 단계, 및 상기 밝기 값들 간의 차이 값들에 상기 제1 비교 결과들을 더한 값들을 제2 비교 결과들로 생성하는 단계를 포함할 수 있다.
제1 비교 결과들을 생성하는 단계(S302) 및 제2 비교 결과들을 생성하는 단계(S304)에서, 상기 차이 값들은, 상기 고정 영역들(F11~F54) 및 상기 제1 가변 영역들(V1~V3) 각각의 밝기 값들을 대표하는 대표값을 서로 비교하여 생성할 수도 있다. 상기 대표값은 상기 고정 영역들(F11~F54) 및 상기 제1 가변 영역들(V1~V3) 각각의 영역 내의 밝기 값들의 평균 값, 최대 값, 또는 중간 값 중 어느 하나일 수 있다.
도 6b는, 본 발명의 다른 실시예에 따라, 도 3의 비교 결과들을 생성하는 단계(S300)를 보다 구체적으로 나타낸 흐름도이다. 도 6b에 도시된 비교 결과들을 생성하는 단계(S300)는, 제 3 비교 결과들을 생성하는 단계(S306)을 더 포함한다는 점을 제외하고는, 도 6a에 도시된 비교 결과들을 생성하는 단계(S300)와 동일하다. 그러므로, 중복되는 단계(S302 및 S304)에 대한 상세한 설명은 생략한다. 이하에서는 제3 비교결과들을 생성하는 단계(S306)에 대하여, 도 6a에 도시된 비교 결과들을 생성하는 단계(S300)와의 차이점을 중심으로 살펴보기로 한다.
제3 비교 결과들을 생성하는 단계(S306)는, 보정 이미지들(CIMG1~CIMGn)의 제2 가변 영역들(V1~V3)에서의 제2 특징 값들을 이용하여 비교하고, 제3 비교 결과들을 생성하는 단계(S306)를 포함할 수 있다.
실시 예에 따라, 상기 제2 특징 값들은 보정 이미지들(CIMG1~CIMGn) 각각의 이미지 픽셀의 밝기 값들의 포화 정보, 신호대잡음비 정보, 디테일 정보 중 적어도 하나를 포함할 수 있다.
실시 예에 따라, 제3 비교 결과들은 도 6a에 도시된 제2 비교 결과들과 유사한 방법으로 생성될 수 있다.
단, 제2 비교 결과들은 제1 비교 결과들에 기초하여 생성되므로, 보정 이미지들(CIMG1~CIMGn) 각각에 대한 고정 영역들(F11~F54) 및 제1 가변 영역들(V1~V3)에서의 특징 값들이 모두 고려될 수 있다. 반면 제3 비교 결과들은 보정 이미지들(CIMG1~CIMGn) 각각에 대한 제2 가변 영역들(V1~V3)에서의 특징 값들만이 고려될 수 있다.
제1 가변 영역들(V1~V3) 및 제2 가변 영역들(V1~V3) 각각의 수, 크기, 및 위치는 서로 다를 수 있다. 도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 CMOS 이미지 센서 제어 모듈(10)은 비교 결과들을 생성 (S300)한 후, 상기 비교 결과들에 기초하여, 이미지 센서들(20-1~20-n) 각각과 관련된 파라미터들(PARA1~PARAn) 중 적어도 하나를 제어하는 제어 신호들을 생성할 수 있다(S400). 상기 제어 신호들을 생성하는 방법(S400)에 관한 구체적인 내용은, 도 7을 참조하여 설명하기로 한다.
도 7은 상기 제어 신호들을 생성하는 방법(S400)을 보다 구체적으로 나타낸 흐름도이다.
도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은 CMOS 이미지 센서들(20-1~20-n) 각각이 생성하는 이미지들(IMG1~IMGn)이 동일한 밝기를 가지도록 제어할 것인지 여부에 관한 정보(SEL_EA)를 수신하는 단계(S401)를 포함할 수 있다.
예컨대, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각이 동일한 밝기를 가지는 이미지들(IMG1~IMGn)을 생성하도록 제어하는 경우, 상기 정보(SEL_EA)가 '0'로 설정될 수 있다. 복수의 CMOS 이미지 센서들(20-1~20-n) 각각이 서로 다른 밝기를 가지는 이미지들(IMG1~IMGn)을 생성하도록 제어하는 경우, 상기 정보(SEL_EA)가 '1'로 설정될 수 있다.
도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은 상기 정보(SEL_EA)를 수신한 후(S401), 복수의 CMOS 이미지 센서들(20-1~20-n) 각각이 생성하는 이미지들(IMG1~IMGn)이 동일한 밝기를 가지도록 제어할 것인지 여부를 판단하는 단계(S402)를 포함할 수 있다. 도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은, 생성되는 이미지들(IMG1~IMGn)이 동일한 밝기를 가지도록 제어하는 경우(S402에서 YES인 경우), CMOS 이미지 센서 제어 모듈(10)은 제1 기준 밝기 값을 설정하는 단계를 포함할 수 있다(S403).
도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은, 생성되는 이미지들(IMG1~IMGn)이 서로 다른 밝기를 가지도록 제어하는 경우(S402에서 NO인 경우), CMOS 이미지 센서 제어 모듈(10)은 제2 기준 밝기 값을 설정하는 단계를 포함할 수 있다(S404).
실시 예에 따라, 상기 제1 기준 밝기 값은 상기 제2 비교 결과들에 기초하여 설정될 수 있다. 예컨대, 상기 제2 비교 결과들에 따른 밝기 값들 중 가장 큰 밝기 값이 상기 제1 기준 밝기 값으로 설정될 수 있다.
다른 실시 예에 따라, 상기 제1 기준 밝기 값은 상기 제2 비교 결과들 및 상기 제3 비교 결과들에 기초하여 설정될 수도 있다. 예컨대, 상기 제2 비교 결과들에 따른 밝기 값들 중 가장 큰 밝기 값이라고 하더라도, 상기 제3 비교 결과들에 따라, 상기 제1 기준 밝기로 설정되지 않을 수도 있다.
도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은, 제1 기준 밝기를 설정하는 단계(S403) 또는 제2 기준 밝기를 설정하는 단계(S404) 후에, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각에 대한 목표 밝기 값들을 설정하는 단계를 포함할 수 있다(S405).
CMOS 이미지 센서들(20-1~20-n) 각각이 생성하는 이미지들(IMG1~IMGn)이 동일한 밝기를 갖도록 제어하는 경우(S402에서 YES인 경우), CMOS 이미지 센서 제어 모듈(10)은 복수의 이미지 센서들(20-1~20-n) 각각의 목표 밝기 값들을 상기 제1 기준 밝기 값으로 설정할 수 있다.
본 발명의 일 실시예에 따르면, CMOS 이미지 센서들(20-1~20-n) 이 생성하는 이미지들(IMG1~IMGn) 각각이 서로 다른 밝기를 갖도록 제어하는 경우(S402에서 NO인 경우), CMOS 이미지 센서 제어 모듈(10)은 이미지 센서들(20-1~20-n) 중 어느 하나의 이미지 센서(20-k; 단, k는 1 이상 n 이하의 정수)의 목표 밝기 값을 상기 제2 기준 밝기 값으로 설정할 수 있다.
그리고, 상기 이미지 센서(20-k)를 제외한 나머지 이미지 센서들(20-1~20-(k-1), 20-(k+1)~20-n)의 목표 밝기 값들을 상기 제2 기준 밝기 값을 중심으로, 미리 설정된 밝기 차이를 갖도록 설정할 수 있다.
본 발명의 다른 실시예에 따르면, CMOS 이미지 센서들(20-1~20-n) 이 생성하는 이미지들(IMG1~IMGn) 각각이 서로 다른 밝기를 가지도록 제어하는 경우(S402에서 NO인 경우), CMOS 이미지 센서 제어 모듈(10)은 복수의 이미지 센서들(20-1~20-n)을 적어도 2 이상의 그룹으로 나눌 수 있다. 상기 적어도 2 이상의 그룹은, 상기 제3 비교 결과에 기초하여, 그룹화된 것일 수 있다.
설명의 편의를 위해, 복수의 이미지 센서들(20-1~20-n)이 제1 그룹 및 제2 그룹으로 나뉘어진 경우를 가정한다. 이 경우, CMOS 이미지 센서 제어 모듈(10)은 상기 제1 그룹에 속한 복수의 이미지 센서들(20-1~20-m; 단, m은 1이상 n 이하의 정수)의 목표 밝기 값들을 제3 기준 밝기를 중심으로, 미리 설정된 밝기 차이를 갖도록 설정할 수 있다. 그리고, CMOS 이미지 센서 제어 모듈(10)은 제2 그룹에 속한 복수의 이미지 센서들(20-(m+1)~20-n)의 목표 밝기 값들을 제4 기준 밝기를 중심으로, 미리 설정된 밝기 차이를 갖도록 설정할 수 있다.
도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각에 대한 목표 밝기 값들을 설정하는 단계 후에(S405), CMOS 이미지 센서 제어 모듈(10)이 맵핑 데이터 (mapping data; AG_EXPT_INFO)를 수신하는 단계를 포함할 수 있다(S406).
맵핑 데이터들(AG_EXPT_INFO)은, CMOS 이미지 센서들(20-1~20-n)이 생성하는 이미지들(IMG1~IMGn)의 밝기 값과 CMOS 이미지 센서들(20-1~20-n) 각각을 제어할 수 있는 파라미터들(PARA1~PARAn)과의 관계를 정의한 데이터들일 수 있다.
상기 밝기 값은 상대적인 값일 수 있다. 예컨대, 상기 밝기 값은, CMOS 이미지 센서들(20-1~20-n) 각각이 파라미터들(PARA1~PARAn)에 의하여 제어되기 전에 생성된 이미지들(IMG1~IMGn)의 밝기 값에 대한, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각이 파라미터들(PARA1~PARAn)에 의하여 제어된 후에 생성된 이미지들(IMG1~IMGn)의 밝기 값의 비율일 수 있다. 도 7을 참조하면, 상기 제어 신호들을 생성하는 방법(S400)은, 맵핑 데이터(mapping data; AG_EXPT_INFO)를 수신하는 단계(S406) 후에, CMOS 이미지 센서 제어 모듈(10)이 복수의 이미지 센서들(20-1~20-n) 각각에 대한 파라미터들(PARA1~PARAn)을 생성하는 단계를 포함할 수 있다(S407).
파라미터들(PARA1~PARAn)은 상기 목표 밝기 값과 맵핑 데이터들(AG_EXPT_INFO)에 기초하여 생성될 수 있다.
파라미터(PARA1~PARAn)들은 아날로그 이득(Analog Gain; AG)에 관한 정보 및 노출 시간(Exposure time; EXPT)에 관한 정보를 포함할 수 있다.따라서, 본 발명의 일 실시예에 따른 복수의 이미지 센서들(20-1~20-n)의 파라미터(PARA1~PARAn) 제어 방법은, 복수의 이미지 센서들(20-1~20-n)이 생성하는 이미지들(IMG1~IMGn)과 관계된 특징 값들을 이용하여, 복수의 이미지 센서 각각의 파라미터들을 개별적으로 조절할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 복수의 이미지 센서의 파라미터 제어 방법을 설명하기 위한 흐름도이다. 이하에서는 도 3, 도 4, 도 5a, 도 5b, 도 6a, 도 6b, 및 도 7에 도시된 본 발명의 일 실시예에 따른 복수의 이미지 센서의 파라미터 제어 방법과의 차이점을 위주로 설명하기로 한다.
도 1, 도 2, 및 도 8을 참조하면, CMOS 이미지 센서 제어 모듈(10)은 복수의 CMOS 이미지 센서들(20-1~20-n) 중 어느 하나의 CMOS 이미지 센서(20-j; 단, j는 1 이상 n 이하의 정수)로부터 생성된 이미지(IMGj)를 수신할 수 있다(S100-1).
CMOS 이미지 센서 제어 모듈(10)은 도 3에 도시된 S100 단계와 달리, CMOS 이미지 센서(20-j)를 제외한 나머지 이미지 센서들(20-1~20-(j-1), 20-(j+1)~20-n)로부터 이미지(IMG1~IMG(j-1), IMG(j+1)~IMGn)를 수신하지 않을 수 있다.
CMOS 이미지 센서(20-j)는 마스터(master) 이미지 센서일 수 있다.
CMOS 이미지 센서(20-j)를 제외한 복수의 이미지 센서들(20-1~20-(j-1), 20-(j+1)~20-n)은 슬레이브(slave) 이미지 센서들일 수 있다.
도 1, 도 2, 및 도 8을 참조하면, CMOS 이미지 센서 제어 모듈(10)은 어느 하나의 CMOS 이미지 센서(20-j)로부터 생성된 이미지(IMGj)를 수신(S100-1)한 후, 이미지(IMGj)와 관련된 특징 값들을 계산할 수 있다(S200-1).
도 3 및 도 4에 도시된 S200 단계, S202 단계, S204 단계, 및 S206 단계와 달리, 수신된 이미지(IMGj)와 관련된 특징 값들만을 계산할 수 있고, 수신되지 않은 이미지들(IMG1~IMG(j-1), IMG(j+1)~IMGn)과 관련된 특징 값들은 계산되지 않을 수 있다.
이 경우 상기 특징 값들은, 이미지(IMGj)의 고정 영역들(F11~F54) 및 가변 영역들(V1~V3)에 대하여 구할 수 있다. 상기 특징 값들은, 밝기 값일 수 있다.
도 1, 도2, 및 도 8을 참조하면, CMOS 이미지 센서 제어 모듈(10)은 이미지(IMGj)와 관련된 특징 값들을 계산(S200-1)한 후, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각과 관련된 파라미터들(PARA1~PARAn) 중 적어도 하나를 제어하는 제어 신호들을 생성할 수 있다(S400-1).
제어 신호들을 생성하는 단계(S400-1)는 도 3 및 도 7에 도시된 S400 단계, S401 단계 내지 S407 단계를 이용하여 수행될 수 있다. 이 경우 제1 기준 밝기는 상기 특징 값들에 기초하여 설정될 수 있다. 실시예에 따라, 제2 기준 밝기는 제1 기준 밝기와 동일할 수 있다.
도 8에 도시된 본 발명의 다른 실시예에 따른 복수의 이미지 센서의 파라미터 제어 방법은, 도 3에 도시된 이미지 센서의 파라미터 제어 방법과는 달리, 어느 하나의 CMOS 이미지 센서(20-j; 단, j는 1 이상 n 이하의 정수)로부터 생성된 이미지(IMGj)만을 수신할 수 있다.
그리고, 수신된 이미지(IMGj)를 이용하여, 복수의 CMOS 이미지 센서들(20-1~20-n) 각각과 관련된 파라미터들(PARA1~PARAn) 중 적어도 하나를 제어하는 제어 신호들을 생성할 수 있다. 따라서, 도 3에 도시된 이미지 센서의 파라미터 제어 방법보다 시간 복잡도(time complexity)를 더욱 완화시키는 효과가 있다. 이 경우 이미지 센서의 파라미터 제어 방법은 실시간(real-time)으로 수행될 수 있다.
도 9는 본 발명의 일 실시예에 따른 카메라 모듈 제어 시스템의 구성 블록도이다.
도 9를 참조하면, 카메라 모듈 제어 시스템(1b)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID), 웨어러블 컴퓨터, 사물 인터넷 (internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
카메라 모듈 제어 시스템(1b)은 시스템 온 칩(SoC: system-on-chip, 10), 카메라 모듈(31-1~30-n; n은 2 이상의 정수), 외부 메모리(50), 및 디스플레이 장치(40)를 포함할 수 있다.
카메라 모듈(30-1~30-n), 외부 메모리(50), 및 디스플레이 장치(40)는 도 1을 참조하여 상술하였으므로, 설명의 중복을 피하기 위하여 차이점 위주로 설명한다.
카메라 모듈 제어 시스템(1b)은 카메라 모듈(30-1~30-n)에서 촬상한 정지 영상 신호(또는 정지 영상) 또는 동영상 신호(또는 동영상)를 디스플레이 장치(40)에서 디스플레이할 수 있다.
외부 메모리(50)는 SoC(10)에서 실행되는 프로그램 명령들(program instructions)을 저장한다. 또한, 외부 메모리(50)는 디스플레이 장치(40)에 스틸 이미지들(still images) 또는 무빙 이미지(moving image)를 디스플레이하기 위한 이미지 데이터를 저장할 수 있다. 상기 무빙 이미지는 짧은 시간에 나타나는(presented) 일련의 서로 다른 스틸 이미지들이다.
외부 메모리(50)는 휘발성 메모리 또는 불휘발성 메모리일 수 있다. 상기 휘발성 메모리는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)일 수 있다. 상기 불휘발성 메모리는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), PRAM(Phase change RAM), 저항 메모리일 수 있다.
SoC(10)는 이미지 센서 제어 시스템(1a)에 상응하는 동작을 수행할 수 있다. SoC(10)는 카메라 모듈(30-1~30-n), 외부 메모리(50), 및 디스플레이 장치(40)를 제어한다. 실시 예에 따라 SoC(10)는 집적 회로(integrated circuit(IC)), 프로세서(processor), 어플리케이션 프로세서(application processor), 멀티 미디어 프로세서(multimedia processor), 또는 집적된 멀티 미디어 프로세서(integrated multimedia processor)라고 호칭될 수 있다.
SoC(10)는 중앙처리장치(central processing unit(CPU); 100), ROM(read only memory; 120), RAM(random access memory; 130), 이미지 처리 프로세서(ISP: image signal processor)(190), 디스플레이 컨트롤러(180), 그래픽 프로세싱 유닛(graphics processing unit(GPU); 170), 메모리 컨트롤러(160), 카메라 인터페이스(110), 및 시스템 버스(210)를 포함할 수 있다. SoC(10)는 도시된 구성 요소 이외에 다른 구성 요소들을 더 포함할 수 있다.
도 1을 참조하여 상술한 파라미터 제어 유닛(140)은 도 9의 SoC(10) 내의 하나 이상의 구성요소(예컨대, CPU(100) 및 ISP(190) 등)에 분산 구현될 수 있다.
프로세서(processor)라고도 불릴 수 있는 CPU(100)는 외부 메모리(50)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예컨대, CPU(100)는 클럭 신호 모듈(미도시)로부터 출력된 동작 클락 신호에 응답하여 상기 프로그램들 및/또는 상기 데이터를 처리 또는 실행할 수 있다.
CPU(100)는 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 상기 멀티-코어 프로세서는 두 개 또는 그 이상의 독립적인 실질적인 프로세서들('코어들(cores)'이라고 불림)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이고, 상기 프로세서들 각각은 프로그램 명령들(program instructions)을 읽고 실행할 수 있다.
CPU(100)는 운영체제(OS; operating system)을 실행한다. 운영체제(OS)는 카메라 시스템(1a)의 자원(예를 들어, 메모리, 디스플레이 등)을 관리할 수 있다. 운영체제(OS)는 카메라 시스템(1a)에서 실행되는 어플리케이션들에 자원을 배분할 수 있다.
ROM(120), RAM(130), 및/또는 외부 메모리(50)에 저장된 프로그램들 및/또는 데이터는 필요에 따라 CPU(100)의 메모리(미도시)에 로드(load)될 수 있다.
ROM(120)은 영구적인 프로그램들 및/또는 데이터를 저장할 수 있다.
ROM(120)은 EPROM(erasable programmable read-only memory) 또는 EEPROM (electrically erasable programmable read-only memory)으로 구현될 수 있다.
RAM(130)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(50)에 저장된 프로그램들 및/또는 데이터는 CPU(100)의 제어에 따라 또는 ROM(120)에 저장된 부팅 코드(booting code)에 따라 RAM(130)에 일시적으로 저장될 수 있다. RAM(130)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.
ISP(190)는 이미지 신호에 대한 각종 처리(processing)를 수행할 수 있다.
ISP(190)는 이미지 센서(도 1의 20-1~20-n)로부터 입력된 이미지 데이터를 처리할 수 있다. 예컨대, ISP(190)는 이미지 센서(도 1의 20-1~20-n)로부터 입력된 이미지 데이터를 분석하고, 초점 여부를 판단할 수 있다. ISP(190)는 또한 이미지 센서(도 1의 20-1~20-n)로부터 입력된 이미지 데이터의 떨림 보정을 하고, 화이트 밸런스를 맞출 수 있고, 명도·대비 등의 색 보정, 색조화, 양자화, 다른 색 공간으로의 색 변환 등을 수행할 수 있다. ISP(190)는 영상 처리한 이미지 데이터를 주기적으로 버스(210)를 통해 메모리(50)에 저장할 수 있다.
GPU(170)는 그래픽 처리와 관련된 프로그램 명령들을 읽고 수행할 수 있다. 예컨대, GPU(170)는 그래픽 관련 도형 처리 등을 고속으로 수행할 수 있다.
또한, GPU(170)는 메모리 컨트롤러(160)에 의해 외부 메모리(50)로부터 리드 (read)된 데이터를 디스플레이 디바이스(40)에 적합한 신호로 변환할 수 있다.
그래픽 처리를 위해, GPU(150) 외에도 그래픽 엔진(미도시) 또는 그래픽 액셀레이터(Accelerator) 등이 사용될 수 있다.
카메라 인터페이스(110)는 카메라 모듈(30-1~30-n)과 인터페이스한다. 예를 들어, 카메라 인터페이스(110)는 미리 정해진 인터페이스 규격이나 프로토콜에 따라 카메라 모듈(30-1~30-n)을 제어하기 위한 제어 신호를 출력하고, 카메라 모듈(30-1~30-n)로부터 이미지 데이터를 수신할 수 있다. 카메라 인터페이스(110)는 카메라 모듈(30-1~30-n)로부터 수신한 이미지 데이터를 외부 메모리(50)에 저장하거나, 또는 다른 구성요소(예컨대, ISP(190))로 전송할 수 있다.
메모리 컨트롤러(160)는 외부 메모리(50)와 인터페이스 한다. 메모리 컨트롤러(160)는 외부 메모리(50)의 동작을 전반적으로 제어하며, 호스트와 외부 메모리(50) 사이의 데이터 교환을 제어한다. 예컨대, 메모리 컨트롤러(160)는 호스트의 요청에 따라 외부 메모리(50)에 데이터를 쓰거나 외부 메모리(50)로부터 데이터를 읽을 수 있다. 여기서, 호스트는 CPU(100), ISP(190), GPU(170), 디스플레이 컨트롤러(180), 또는 카메라 인터페이스(110)와 같은 마스터(master) 장치일 수 있다.
실시예에 따라, 메모리 컨트롤러(160)는 디스플레이 컨트롤러(180)로부터의 이미지 데이터 요청에 따라, 외부 메모리(50)로부터 이미지 데이터를 독출하여 메모리 컨트롤러(160)로 제공할 수 있다.
디스플레이 컨트롤러(180)는 디스플레이 장치(40)의 동작을 제어한다.
디스플레이 컨트롤러(180)는 디스플레이 장치(40)를 통해 디스플레이할 이미지 데이터를 시스템 버스(210)를 통하여 수신하고, 이를 디스플레이 장치(40)로 전송하기 위한 신호(예컨대, 인터페이스 규격에 따른 신호)로 변환하여, 상기 디스플레이 장치(40)로 전송한다.
각 구성 요소(100, 110, 120, 130, 140, 150, 160, 170, 180, 및 190)는 시스템 버스(210)를 통하여 서로 통신할 수 있다. 즉, 시스템 버스(210)는 SoC(10)의 각 구성요소를 연결하여 각 구성요소간 데이터 송수신의 통로 역할을 한다. 또한, 시스템 버스(210)는 각 구성요소간 제어 신호의 전송 통로 역할을 할 수 있다.
실시예에 따라, 시스템 버스(210)는 데이터를 전송하는 데이터 버스(미도시), 어드레스 신호를 전송하는 어드레스 버스(미도시) 및 제어 신호를 전송하는 제어 버스(미도시)를 포함할 수 있다.
실시예에 따라 시스템 버스(210)는 소정의 구성요소들 간의 데이터 통신을 위한 소규모의 버스, 즉, 인터커넥터(interconnector)를 포함할 수 있다.
도 10은 본 발명의 실시예에 따른 전자 시스템(1c)을 나타내는 구성 블록도이다. 도 10을 참조하면, 전자 시스템(1c)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, IPTV 또는 스마트 폰으로 구현될 수 있다.
전자 시스템(1c)은 어플리케이션 프로세서(1010), 이미지 센서(100), 및 디스플레이(1050)를 포함한다.
어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 예컨대, CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다.
어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.
전자 시스템(1c)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 전자 시스템(1c)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
전자 시스템(1c)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 전자 시스템(1c)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1a: 이미지 센서 제어 시스템
1b: 카메라 모듈 제어 시스템
1c: 전자 시스템
10: CMOS 이미지 센서 제어 모듈
20-1~20-n: CMOS 이미지 센서
21-1~21-n: 렌즈
22: 피사체
30: 외부 메모리
40: 디스플레이 장치
200-1~200-n: 카메라 모듈

Claims (18)

  1. 이미지 센서 제어 시스템에 있어서,
    제1 화각 정보 및 제1 초점거리 정보를 포함하는 제1 특성 정보를 갖고, 제1 이미지를 생성하도록 구성된 제1 카메라;
    상기 제1 화각 정보와 다른 제2 화각 정보 및 상기 제1 초점거리 정보와 다른 제2 초점거리 정보를 포함하는 제2 특성 정보를 갖고, 제2 이미지를 생성하도록 구성된 제2 카메라; 및
    상기 제1 이미지로부터 제1 특징 값들을 추출하고, 상기 제2 이미지로부터 제2 특징 값들을 추출하고, 상기 제1 및 제2 이미지들을 기반으로 제3 이미지를 생성하도록 구성된 컨트롤러를 포함하고,
    상기 제1 특징 값들은 상기 제1 이미지의 밝기 값들을 포함하고, 상기 제2 특징 값들은 상기 제2 이미지의 밝기 값들을 포함하는 이미지 센서 제어 시스템.
  2. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제1 특징 값들 및 상기 제2 특징 값들 중 적어도 하나를 기반으로 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나의 파라미터들을 제어하도록 구성된 이미지 센서 제어 시스템.
  3. 제 2 항에 있어서,
    상기 파라미터들은 아날로그 게인 및 노출 시간 중 적어도 하나를 포함하는 이미지 센서 제어 시스템.
  4. 제 1 항에 있어서,
    상기 컨트롤러는:
    상기 제1 특성 정보를 기반으로 상기 제1 이미지를 보정하여 제1 보정된 이미지를 생성하고, 상기 제2 특성 정보를 기반으로 상기 제2 이미지를 보정하여 제2 보정된 이미지를 생성하고;
    상기 제1 보정된 이미지를 기반으로 상기 제1 특징 값들을 연산하고, 상기 제2 보정된 이미지들을 기반으로 상기 제2 특징 값들을 연산하도록 구성된 이미지 센서 제어 시스템.
  5. 제 4 항에 있어서,
    상기 컨트롤러는 상기 제1 특성 정보를 사용하여 기하학적 변환 및 이미지 보간 중 적어도 하나를 수행하여 상기 제1 보정된 이미지를 생성하도록 구성된 이미지 센서 제어 시스템.
  6. 제 4 항에 있어서,
    상기 컨트롤러는:
    상기 제1 보정된 이미지의 고정 영역들의 상기 제1 특징 값들과 상기 제2 보정된 이미지의 고정 영역의 상기 제2 특징 값들을 비교하여 제1 비교 결과를 생성하고,
    상기 제1 비교 결과를 기반으로, 상기 제1 보정된 이미지의 가변 영역들의 상기 제1 특징 값들과 상기 제2 보정된 이미지의 가변 영역의 상기 제2 특징 값들을 비교하여 제2 비교 결과를 생성하고,
    상기 제2 비교 결과를 기반으로 상기 제3 이미지를 생성하도록 구성되고,
    상기 고정 영역들은 상기 제1 보정된 이미지 및 상기 제2 보정된 이미지 각각에 대한 특정 영역을 미리 정해진 크기에 따라 동일하게 분할함으로써 생성되고, 상기 가변 영역들은 상기 제1 보정된 이미지 및 상기 제2 보정된 이미지 각각에 대한 상기 특정 영역에 포함된 다른 크기의 영역들인 이미지 센서 제어 시스템.
  7. 제 6 항에 있어서,
    상기 컨트롤러는:
    상기 제1 보정된 이미지의 다른 가변 영역들의 상기 제1 특징 값들과 상기 제2 보정된 이미지의 다른 가변 영역들의 상기 제2 특징 값들을 비교하여 제3 비교 결과를 생성하고,
    상기 제2 비교 결과 및 상기 제3 비교 결과를 기반으로 상기 제3 이미지를 생성하도록 구성된 이미지 센서 제어 시스템.
  8. 제 1 항에 있어서,
    상기 제1 특징 값들은 상기 제1 이미지의 상기 밝기 값들과 연관된 포화 정보, 신호대잡음비 정보, 및 디테일 정보 중 적어도 하나를 더 포함하고,
    상기 제2 특징 값들은 상기 제2 이미지의 상기 밝기 값들과 연관된 포화 정보, 신호대잡음비 정보, 및 디테일 정보 중 적어도 하나를 더 포함하는 이미지 센서 제어 시스템.
  9. 이미지 센서 제어 시스템에 있어서,
    제1 화각 정보 및 제1 초점거리 정보를 포함하는 제1 특성 정보를 갖고, 제1 이미지를 생성하도록 구성된 마스터 카메라;
    상기 제1 화각 정보와 다른 제2 화각 정보 및 상기 제1 초점거리 정보와 다른 제2 초점거리 정보를 포함하는 제2 특성 정보를 갖고, 제2 이미지를 생성하도록 구성된 슬레이브 카메라; 및
    상기 제1 이미지로부터 제1 특징 값들을 추출하고, 상기 제2 이미지로부터 제2 특징 값들을 추출하고, 상기 제1 및 제2 이미지들을 기반으로 제3 이미지를 생성하도록 구성된 컨트롤러를 포함하고,
    상기 제1 특징 값들은 상기 제1 이미지의 밝기 값들을 포함하고, 상기 제2 특징 값들은 상기 제2 이미지의 밝기 값들을 포함하는 이미지 센서 제어 시스템.
  10. 제 9 항에 있어서,
    상기 제1 특징 값들을 기반으로 상기 슬레이브 카메라를 제어함으로써, 상기 제1 및 제2 이미지들에 기반된 상기 제3 이미지를 생성하도록 구성된 이미지 센서 제어 시스템.
  11. 제 9 항에 있어서,
    상기 컨트롤러는 상기 제1 특징 값들 및 상기 제2 특징 값들 중 적어도 하나를 기반으로 상기 마스터 카메라 및 상기 슬레이브 카메라 중 적어도 하나의 파라미터들을 제어하도록 구성된 이미지 센서 제어 시스템.
  12. 제 11 항에 있어서,
    상기 파라미터들은 아날로그 게인 및 노출 시간 중 적어도 하나를 포함하는 이미지 센서 제어 시스템.
  13. 제 9 항에 있어서,
    상기 컨트롤러는:
    상기 제1 특성 정보를 기반으로 상기 제1 이미지를 보정하여 제1 보정된 이미지를 생성하고, 상기 제2 특성 정보를 기반으로 상기 제2 이미지를 보정하여 제2 보정된 이미지를 생성하고;
    상기 제1 보정된 이미지를 기반으로 상기 제1 특징 값들을 연산하고, 상기 제2 보정된 이미지들을 기반으로 상기 제2 특징 값들을 연산하도록 구성된 이미지 센서 제어 시스템.
  14. 제 13 항에 있어서,
    상기 컨트롤러는:
    상기 제1 보정된 이미지의 고정 영역들의 픽셀 값들 및 상기 제1 보정된 이미지의 가변 영역들의 픽셀 값들을 기반으로 상기 제1 특징 값들을 생성하고,
    상기 고정 영역들은 상기 제1 보정된 이미지에 대한 특정 영역을 미리 정해진 크기에 따라 동일하게 분할함으로써 생성되고, 상기 가변 영역들은 상기 제1 보정된 이미지에 대한 상기 특정 영역에 포함된 다른 크기의 영역들인 이미지 센서 제어 시스템.
  15. 이미지 센서 제어 시스템에 있어서,
    제1 화각 정보 및 제1 초점거리 정보를 포함하는 제1 특성 정보를 갖고, 제1 파라미터들에 응답하여 제1 이미지를 생성하도록 구성된 제1 카메라;
    상기 제1 화각 정보와 다른 제2 화각 정보 및 상기 제1 초점거리 정보와 다른 제2 초점거리 정보를 포함하는 제2 특성 정보를 갖고, 제2 파라미터들에 응답하여 제2 이미지를 생성하도록 구성된 제2 카메라; 및
    상기 제1 이미지로부터 제1 특징 값들을 추출하고, 상기 제2 이미지로부터 제2 특징 값들을 추출하고, 상기 제1 특징 값들 및 상기 제2 특징 값들을 기반으로 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나를 제어하고, 상기 제1 파라미터들 및 상기 제2 파라미터들 중 적어도 하나의 파라미터들을 제어함으로써 상기 제1 및 제2 이미지들에 기반된 제3 이미지를 생성하도록 구성된 컨트롤러를 포함하고,
    상기 제1 특징 값들은 상기 제1 이미지의 밝기 값들을 포함하고, 상기 제2 특징 값들은 상기 제2 이미지의 밝기 값들을 포함하는 이미지 센서 제어 시스템.
  16. 제 15 항에 있어서,
    상기 제1 파라미터들은 상기 제1 카메라의 제1 아날로그 게인 및 제1 노출 시간 중 적어도 하나를 포함하고, 상기 제2 파라미터들은 상기 제2 카메라의 제2 아날로그 게인 및 제2 노출 시간 중 적어도 하나를 포함하는 이미지 센서 제어 시스템.
  17. 제 15 항에 있어서,
    상기 컨트롤러는:
    상기 제1 특성 정보를 기반으로 상기 제1 이미지를 보정하여 제1 보정된 이미지를 생성하고, 상기 제2 특성 정보를 기반으로 상기 제2 이미지를 보정하여 제2 보정된 이미지를 생성하고;
    상기 제1 보정된 이미지를 기반으로 상기 제1 특징 값들을 연산하고, 상기 제2 보정된 이미지들을 기반으로 상기 제2 특징 값들을 연산하도록 구성된 이미지 센서 제어 시스템.
  18. 제 17 항에 있어서,
    상기 제1 보정된 이미지의 고정 영역들의 상기 제1 특징 값들과 상기 제2 보정된 이미지의 고정 영역의 상기 제2 특징 값들을 비교하여 제1 비교 결과를 생성하고,
    상기 제1 비교 결과를 기반으로, 상기 제1 보정된 이미지의 가변 영역들의 상기 제1 특징 값들과 상기 제2 보정된 이미지의 가변 영역의 상기 제2 특징 값들을 비교하여 제2 비교 결과를 생성하고,
    상기 제2 비교 결과를 기반으로 상기 적어도 하나의 파라미터들을 제어하도록 구성되고,
    상기 고정 영역들은 상기 제1 보정된 이미지 및 상기 제2 보정된 이미지 각각에 대한 특정 영역을 미리 정해진 크기에 따라 동일하게 분할함으로써 생성되고, 상기 가변 영역들은 상기 제1 보정된 이미지 및 상기 제2 보정된 이미지 각각에 대한 상기 특정 영역에 포함된 다른 크기의 영역들인 이미지 센서 제어 시스템.
KR1020150136450A 2015-09-25 2015-09-25 이미지 센서의 파라미터 제어 방법 KR102412020B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150136450A KR102412020B1 (ko) 2015-09-25 2015-09-25 이미지 센서의 파라미터 제어 방법
US15/273,049 US10375337B2 (en) 2015-09-25 2016-09-22 Method controlling image sensor parameters
US16/449,287 US10868993B2 (en) 2015-09-25 2019-06-21 Method controlling image sensor parameters
US17/099,686 US11184570B2 (en) 2015-09-25 2020-11-16 Method controlling image sensor parameters
US17/532,118 US11699218B2 (en) 2015-09-25 2021-11-22 Method controlling image sensor parameters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150136450A KR102412020B1 (ko) 2015-09-25 2015-09-25 이미지 센서의 파라미터 제어 방법

Publications (2)

Publication Number Publication Date
KR20170037205A KR20170037205A (ko) 2017-04-04
KR102412020B1 true KR102412020B1 (ko) 2022-06-22

Family

ID=58409500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150136450A KR102412020B1 (ko) 2015-09-25 2015-09-25 이미지 센서의 파라미터 제어 방법

Country Status (2)

Country Link
US (4) US10375337B2 (ko)
KR (1) KR102412020B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102412020B1 (ko) * 2015-09-25 2022-06-22 삼성전자주식회사 이미지 센서의 파라미터 제어 방법
US10051192B1 (en) * 2016-06-05 2018-08-14 Scott Zhihao Chen System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
US10892287B2 (en) * 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
KR102714315B1 (ko) * 2019-08-23 2024-10-07 한화비전 주식회사 멀티 카메라

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521005A (ja) * 2007-03-09 2010-06-17 イーストマン コダック カンパニー 改善された焦点調節機能を備えたマルチレンズカメラ
JP2014072797A (ja) 2012-09-28 2014-04-21 Canon Inc 撮像装置およびその制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104327B2 (ja) * 1991-10-18 2000-10-30 松下電器産業株式会社 歪曲収差補正装置および画像合成装置
JP3261115B2 (ja) 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
JP4021394B2 (ja) 2003-09-19 2007-12-12 大日本印刷株式会社 画像補正装置および方法
KR100770019B1 (ko) 2004-12-06 2007-10-25 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
JP4739122B2 (ja) 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
JP5110926B2 (ja) 2007-03-16 2012-12-26 キヤノン株式会社 カートリッジ
JP4897593B2 (ja) 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
JP4717863B2 (ja) 2007-09-28 2011-07-06 富士フイルム株式会社 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート
JP5367455B2 (ja) 2008-06-04 2013-12-11 Ｔｏａ株式会社 複数のカラーカメラ間の色調整装置および方法
KR20100060140A (ko) 2008-11-27 2010-06-07 삼성전자주식회사 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
KR20110104698A (ko) 2010-03-17 2011-09-23 삼성전기주식회사 넓은 다이내믹 레인지를 갖는 이미지를 획득할 수 있는 촬상 장치
SG10201503516VA (en) * 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
JP5367640B2 (ja) 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP5776631B2 (ja) 2012-06-04 2015-09-09 ウシオ電機株式会社 テンプレート洗浄方法、パターン形成方法、光洗浄装置およびナノインプリント装置
KR101245247B1 (ko) 2012-08-30 2013-03-19 재단법인대구경북과학기술원 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라
KR102062921B1 (ko) * 2013-05-14 2020-01-06 현대모비스 주식회사 다수 영상의 밝기 균일화 방법
KR102412020B1 (ko) * 2015-09-25 2022-06-22 삼성전자주식회사 이미지 센서의 파라미터 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521005A (ja) * 2007-03-09 2010-06-17 イーストマン コダック カンパニー 改善された焦点調節機能を備えたマルチレンズカメラ
JP2014072797A (ja) 2012-09-28 2014-04-21 Canon Inc 撮像装置およびその制御方法

Also Published As

Publication number Publication date
US20210075988A1 (en) 2021-03-11
US10868993B2 (en) 2020-12-15
US20170094212A1 (en) 2017-03-30
US10375337B2 (en) 2019-08-06
KR20170037205A (ko) 2017-04-04
US11699218B2 (en) 2023-07-11
US20220086382A1 (en) 2022-03-17
US11184570B2 (en) 2021-11-23
US20200007809A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US11699218B2 (en) Method controlling image sensor parameters
US11039056B2 (en) Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor
US9967453B2 (en) Method of operating image signal processor and method of operating imaging system including the same
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
KR102273656B1 (ko) 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
US20200342291A1 (en) Neural network processing
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
WO2020215180A1 (zh) 图像处理方法、装置和电子设备
US9854218B2 (en) Electronic system and image processing method
CN105100601A (zh) 摄像装置及其控制方法和信号处理装置
KR20160011167A (ko) 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법
TWI785162B (zh) 提供影像的方法及用於支持所述方法的電子裝置
US20170208233A1 (en) Method for generating target gain value of wide dynamic range operation
WO2019164767A1 (en) Multiple tone control
US20160248990A1 (en) Image sensor and image processing system including same
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
US9374526B2 (en) Providing frame delay using a temporal filter
WO2022218080A1 (zh) 前置图像信号处理装置及相关产品
US8634672B2 (en) Digital image signal processing apparatus and method
CN104639842A (zh) 影像处理装置及曝光控制方法
US20240098375A1 (en) Method of operating image sensor and image device performing the same
KR20200141813A (ko) 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
US20230085017A1 (en) Electronic device and method for improving quality of image by using multiple cameras
US20240259680A1 (en) Electronic device acquiring image through image sensor, and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right