KR20160011167A - 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법 - Google Patents

Abstract

이미징 시스템은 이미지의 렌즈 쉐이딩 보정과는 독립적으로 상기 이미지의 칼라 쉐이딩 보정을 수행하는 칼라 보정 회로를 포함한다. 이미지의 안티-쉐이딩 보정 방법은 칼라 보정 회로에 의해 이미지의 렌즈 쉐이딩 보정과 독립적으로 상기 이미지에서 칼라 쉐이딩에 대해 보정하는 단계를 포함한다.

Description

이미징 시스템 및 이미지 안티-쉐이딩 보정 방법{An imaging system and A method for anti-shading correction of an image}

본 발명은 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법에 관한 것으로, 보다 상세하게는, 칼라 채널 일관성을 이용한 칼라 쉐이딩 보정 방법 및 상기 방법을 수행하는 이미징 시스템에 관한 것이다.

렌즈 쉐이딩(lense shading)은 센터를 통과할 때보다 더 적은 빛이 렌즈의 주변부를 통과할 때 발생하는 광학 효과이다. 렌즈 쉐이딩은 또한 비네팅(vinetting)으로 알려져 있다. 렌즈 쉐이딩은 이미지의 센터 보다 이미지의 코너들을 어둡도록 야기시킨다.

칼라 쉐이딩은 다른 칼라 채널들의 상기 쉐이딩이 다를 때 발생한다. 칼라 쉐이딩은 상기 이미지의 상기 주변부에 불균형 칼라를 일으킨다. 이런 현상은 대부분의 이미지 시스템에서 나타날 수 있지만, 이미지 센서 사이즈(또는 픽셀 사이즈)가 작을수록 더욱 크게 나타난다.

칼라 쉐이딩의 효과는 보통 렌즈 쉐이딩을 동반한다. 따라서 종래의 안티-쉐이딩 보정 방법들은 직접적으로 렌즈 쉐이딩 보정만을 대상으로 한다. 그 결과 종래 안티-쉐이딩 보정 방법들은 각각 독립적으로 칼라 쉐이딩과 렌즈 쉐이딩을 보정하기 보다는 오히려 칼라 쉐이딩과 렌즈 쉐이딩을 함께 보정한다.

본 발명이 이루고자 하는 기술적 과제는 렌즈 쉐이딩 보정과 별개 및/또는 독립적으로 칼라 쉐이딩 보정을 허용하는 안티-쉐이딩 보정 방법을 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 이미지의 렌즈 쉐이딩 보정과 독립적으로 이미지의 칼라 쉐이딩 보정을 수행하기 위한 칼라 보정 회로를 포함하는 이미징 시스템을 제공하는 것이다.

본 발명의 실시 예에 따르면 렌즈 쉐이딩 보정과 별개 및/또는 독립적으로 칼라 쉐이딩 보정을 허용하는 안티-쉐이딩 보정 방법이 제공된다. 적어도 일부 실시 예는 획득한 이미지에서 칼라 쉐이딩을 위한 보정하기 위해 이용되는 안티-쉐이딩 보정 함수를 적용하기 위해 칼라 채널들 사이의 일관성을 이용한다.

본 발명의 실시 예에 따르면 상기 이미지의 렌즈 쉐이딩 보정과 독립적으로 이미지의 칼라 쉐이딩 보정을 수행하기 위한 칼라 보정 회로를 포함하는 이미징 시스템이 제공된다.

상기 칼라 보정 회로는 상기 이미지의 레드와 블루 칼라 채널들에 대한 추정 칼라 일관성 모델들에 기초하여 상기 이미지의 상기 레드와 블루 칼라 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용함으로써 칼라 쉐이딩 보정 그리드들을 생성시키는 칼라 일관성 보정 회로; 및 상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 이미지의 상기 칼라 쉐이딩 보정을 수행하는 안티-쉐이딩 보정 회로를 포함할 수 있다.

상기 칼라 일관성 보정 회로는 오로지 상기 레드와 블루 칼라 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용함으로써 상기 칼라 쉐이딩 보정 그리드들을 생성할 수 있다. 상기 레드 칼라 채널에 대한 상기 추정 칼라 일관성 모델은 상기 레드 칼라 채널에 대한 공통 프로파일과 상기 레드 칼라 채널에 대한 추정 감마 계수를 포함하고, 상기 블루 칼라 채널에 대한 상기 추정 칼라 일관성 모델은 상기 블루 칼라 채널에 대한 공통 프로파일과 상기 블루 칼라 채널에 대한 추정 감마 계수를 포함할 수 있다. 상기 레드와 블루 칼라 채널들에 대한 상기 추정 감마 계수는 상기 이미지에 대한 추정 칼라 온도에 대응할 수 있다.

상기 칼라 일관성 보정 회로는 인터폴레이션을 이용하여 상기 레드 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 상기 레드 칼라 채널에 대한 상기 추정 감마 계수를 생성할 수 있다. 상기 레드 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응할 수 있다.

상기 칼라 일관성 보정 회로는 인터폴레이션을 이용하여 상기 블루 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 상기 블루 칼라 채널에 대한 상기 추정 감마 계수를 생성할 수 있다. 상기 블루 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응할 수 있다.

상기 안티-쉐이딩 보정 회로는 상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 레드와 블루 칼라 채널들 각각에 대한 칼라 쉐이딩 보정 함수들을 생성하고, 상기 이미지 각각의 픽셀로 상기 칼라 쉐이딩 보정을 적용함으로써, 상기 이미지의 상기 칼라 쉐이딩 보정을 수행할 수 있다.

상기 안티-쉐이딩 보정 회로는 상기 이미지의 상기 렌즈 쉐이딩 보정을 수행할 수 있다.

상기 칼라 일관성 보정 회로는 상기 이미지에 대한 추정 칼라 온도에 기초하여 상기 이미지의 상기 레드와 블루 칼라 채널들에 대한 상기 추정 칼라 일관성 모델들을 생성할 수 있다.

상기 칼라 일관성 보정 회로는 상기 이미지에 대한 상기 추정 칼라 온도에 기초하여 상기 레드와 블루 칼라에 대한 기준 칼라 일관성 모델들을 얻고, 상기 레드와 블루 칼라 채널들에 대한 상기 획득한 기준 칼라 일관성 모델들에 기초하여 상기 레드와 블루 칼라 채널들에 대한 상기 추정 칼라 일관성 모델들을 생성할 수 있다.

상기 칼라 보정 회로는 복수의 기준 칼라 온도들 중에서 다른 칼라 온도를 가지는 빛에서 포착된 복수의 기준 이미지들 각각으로부터 칼라 불일치 정보를 추출하는 칼라 불일치 정보 추출 회로; 및 메모리에서 상기 기준 칼라 일관성 모델들을 저장하고, 상기 복수의 기준 이미지들의 각각에 대한 기준 칼라 일관성 모델을 생성하는 칼라 일관성 모델 추정 회로를 더 포함할 수 있다.

상기 칼라 일관성 보정 회로는 상기 기준 칼라 일관성 모델들의 최소 비율에 기초하여 상기 레드와 블루 칼라 채널들에 대한 상기 추정 칼라 일관성 모델들과 상기 이미지에 대한 상기 추정 칼라 온도를 생성할 수 있다.

상기 복수의 기준 이미지들 중에서 기준 이미지들에 대한 추출된 칼라 일관성 정보는 상기 기준 이미지 각각의 픽셀에 대한 그린 대 적색 칼라 채널들의 비율과 상기 기준 이미지 각각의 픽셀에 대한 그린 대 블루 칼라 채널들의 비율을 포함할 수 있다.

상기 복수의 기준 이미지들 중에서 기준 이미지에 대한 기준 칼라 일관성 모델은 상기 기준 이미지들에 대한 칼라 온도에 대응하는 공통 프로파일과 기준 감마 계수를 포함할 수 있다. 상기 칼라 일관성 모델 추정 회로는 초기의 기준 감마 계수에 기초하여 상기 공통 프로파일을 계산하고, 상기 계산된 공통 프로파일에 기초하여 업데이트된 기준 감마 계수를 계산하고, 상기 업데이트된 기준 감마 계수에 기초하여 업데이트된 공통 프로파일을 계산하고, 기준 이미지에 대한 상기 기준 칼라 일관성 모델을 생성하기 위해 수렴할 때까지 상기 업데이트된 기준 감마 계수와 상기 업데이트된 공통 프로파일의 상기 계산을 반복할 수 있다.

상기 이미지 시스템은 상기 칼라 보정 회로에 결합된 이미지 센서을 더 포함하고, 상기 이미지센서는 상기 이미지를 캡처할 수 있다.

또 다른 하나의 실시 예는 이미지의 렌즈 쉐이딩 보정과 독립적으로 상기 이미지에서 칼라 보정회로에 의한 칼라 쉐이딩을 위한 보정을 포함하는 이미지의 안티-쉐이딩 보정을 위한 방법을 제공한다.

상기 방법은 상기 이미지의 상기 레드와 블루 칼라 채널들에 대한 추정 칼라 일관성 모델들에 기초하여 상기 이미지의 레드와 블루 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용함으로써 칼라 쉐이딩 보정 그리드들 생성하는 단계; 및 상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 이미지의 상기 칼라 쉐이딩에 대한 보정하는 단계를 더 포함할 수 있다.

상기 칼라 쉐이딩 보정 그리드들을 생성하는 단계는 상기 칼라 쉐이딩 보정 그리드들을 생성하기 위해 오로지 상기 레드와 블루 칼라 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용하는 단계를 포함할 수 있다.

상기 레드 칼라 채널에 대한 상기 추정 감마 계수는 인터폴레이션을 이용하여 상기 레드 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 생성할 수 있다. 상기 레드 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응할 수 있다.

상기 블루 칼라 채널에 대한 상기 추정 감마 계수는 인터폴레이션을 이용하여 상기 블루 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 생성될 수 있다. 상기 블루 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응할 수 있다.

상기 이미지의 상기 레드와 블루 칼라 채널을 위한 상기 추정 칼라 일관성 모델들은 상기 이미지에 대한 추정 칼라 온도에 기초하여 생성될 수 있다.

상기 추청된 칼라 일관성 모델들을 생성하는 단계는 상기 이미지에 대한 상기 추정 칼라 온도에 기초하여 메모리로부터 상기 레드와 블루 칼라 채널들에 대한 기준 칼라 일관성 모델들을 획득하는 단계; 및 상기 레드와 블루 칼라 채널들에 대한 상기 획득한 기준 칼라 일관성 모델들에 기초하여 상기 레드와 블루 칼라 채널들에 대한 상기 추정 칼라 일관성 모델들을 계산하는 단계를 포함할 수 있다.

칼라 불일치 정보는 복수의 기준 칼라 온도들 중에서 다른 칼라 온도를 가지는 빛에서 포착된 상기 복수의 기준 이미지들의 각각으로부터 복수의 기준 이미지들로부터 추출되고, 기준 칼라 일관성 모델은 상기 복수의 기준 이미지들 각각에 대해 생성되고, 상기 기준 칼라 일관성 모델들은 메모리에 저장될 수 있다.

상기 복수의 기준 이미지들 중에서 기준 이미지에 대한 기준 칼라 일관성 모델은 상기 기준 이미지들에 대한 칼라 온도에 대응하는 공통 프로파일과 기준 감마 계수를 포함할 수 있다. 상기 기준 칼라 일관성 모델들을 생성하는 단계는 초기의 기준 감마 계수에 기초하여 상기 공통 프로파일을 계산하는 단계, 상기 계산된 공통 프로파일에 기초하여 업데이트된 기준 감마 계수를 계산하는 단계, 상기 업데이트된 기준 감마 계수에 기초하여 업데이트된 공통 프로파일을 계산하는 단계, 및 기준 이미지에 대한 상기 기준 칼라 일관성 모델을 생성하기 위해 수렴할 때까지 상기 업데이트된 기준 감마 계수와 상기 업데이트된 공통 프로파일의 상기 계산을 반복하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 렌즈 쉐이딩 보정과 별개 및/또는 독립적으로 칼라 쉐이딩 보정을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미징 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 이미지 센서의 일 실시예에 대한 좀 더 상세한 블록도이다.
도 3은 칼라 보정회로를 교정하기 위한 방법의 일 실시예를 나타내는 플로우 차트이다.
도 4는 이미지의 칼라 보정을 위한 방법의 일 실시예를 나타내는 플로우 차트이다.
도 5는 본 발명의 일 실시예에 따른 전자 시스템을 나타내는 블록도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

플로우 차트는 순차적인 프로세스로서 동작을 설명 할 수도 있지만, 다수의 동작은 동시에 또는 병렬로 수행될 수 있다. 또한, 동작의 순서는 재 배열 될 수 있다. 프로세스는 그 동작들이 완료될 때 종료될 수 있고, 또한 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브 루틴, 서브 프로그램에 대응 할 수 있다. 프로세스가 함수에 대응할 때, 프로세스의 종료는 호출 기능 또는 주요 기능으로의 복귀에 해당 할 수 있다.

본원에 개시된 바와 같이, 용어 "저장 매체", "컴퓨터 판독 가능 기록 매체" 또는 "비 - 일시적 컴퓨터 판독 가능 저장 매체"는 읽기 전용 메모리 (ROM), 랜덤 액세스 메모리(RAM), 자기 RAM, 코어 메모리, 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스 및/또는 정보를 저장하기 위한 비-일시적 판독 가능 매체를 포함하는 데이터를 저장하기 위한 하나 또는 그 이상의 장치로 나타낼 수 있다. 용어 "컴퓨터 판독 가능한 매체"는 휴대용 또는 고정 저장 디바이스, 광학 저장 장치, 및 다양한 다른 유형 또는 비 일시적인 저장, 포함 또는 명령 (들)을 전달할 수 있는 매체를 포함할 수 있지만 여기에 제한되지 않는다.

또한, 예시적인 실시 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현 될 수있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드로 구현 될 때, 프로그램 코드 또는 코드 세그먼트들은 필요한 태스크가 그러한 컴퓨터 판독 가능한 기억 매체로서 컴퓨터 또는 컴퓨터 판독 가능 매체에 저장 될 수 도 있다. 소프트웨어로 구현되면, 프로세서 또는 처리함으로써 특수 목적 프로세서 또는 컴퓨터로 변환되고, 필요한 작업을 수행하도록 프로그램 될 수 있다.

코드 세그먼트가 나타낼 수 있는 절차, 함수, 서브 프로그램, 프로그램, 루틴, 서브 루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령, 데이터 구조 또는 프로그램 명령문의 임의의 조합을 포함한다. 코드 세그먼트는 정보 전달하거나 및/또는 정보, 데이터, 인수, 파라미터 또는 메모리 컨텐츠를 수신함으로써 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함하는 임의의 적절한 수단을 통해 전달되고, 포워딩되고, 전송될 수 있다.

실시예들은 이미지들의 칼라 및/또는 안티-쉐이딩 보정을 위한 방법 및 장치를 제공한다. 실시예들은 칼라 및/또는 안티-쉐이딩 보정을 위한 장치와 칼라 및/또는 안티-쉐이딩 보정된 이미지들의 생성 방법을 포함하는 전자 시스템을 제공한다. 적어도 몇몇의 실시예에 따르면 칼라 쉐이딩의 효과는 렌즈 쉐이딩의 효과들과 개별적으로 보정된다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 이미징 시스템을 도시한다.

도 1을 참조하면, 상기 이미징 시스템은 이미지 센서(1000)에 연결된 렌즈 유닛(100)을 포함한다. 상기 이미지 센서(image sensor, 1000)은 칼라 보정 회로(color correction circuit, 1200)에 접속되어 있다. 상기 칼라 보정 회로(1200)은 이미지 처리 회로(image processing circuit, 1400)에 접속된다.

상기 렌즈 유닛(100)은 상기 렌즈 유닛(100)를 통해 통과하는 주요 빛을 이용하여 상기 이미지 센서(1000)에 장면(scene)(120)의 이미지를 포커싱(focusing)하여 형성하기 위한 포커싱 옵틱들(focusing optics)(예를 들어 하나 또는 그 이상의 렌즈 및/ 또는 거울)들을 포함한다. 렌즈 유닛들과 포커싱 옵틱들은 일반적으로 잘 알려줘 있으므로 상세한 설명은 생략한다.

동작 예에 따르면, 상기 이미지 센서(1000)은 상기 장면(scene)(120)의 이미지들을 캡처하고 상기 칼라 보정 회로(1200)로 상기 캡쳐된 이미지들을 출력한다.

도 2는 도 1에 개시된 상기 이미지 센서(1000)의 구체적인 실시예를 나타내는 블록도이다. 도 2에 도시된 실시예에서, 상기 이미지 센서(1000)은 상보형-금속-산화물-반도체(CMOS:complementary-metal-oxide-semiconductor) 이미지 센서이다. 그러나 실시예들이 이 예에 제한되지 않는다.

도 2를 참조하면, 타이밍 유닛(timing unit) 또는 회로(206)은 하나 또는 그 이상의 제어 라인(CL: control line)을 통해 라인 드라이버(line driver, 202)을 제어한다. 일 실시예에서, 상기 타이밍 유닛(206)은 상기 라인 드라이버(202)로 하여금 복수의 전송 펄스들(예컨대, 리드아웃(readout) 및/또는 셔터(shutter))를 발생하도록 한다. 상기 라인 드라이버(202)는 복수의 리드 및 리셋 라인들(RRL)을 통해 픽셀 어레이(200)로 전송 펄스들을 출력할 수 있다.

상기 픽셀 어레이(200)은 로우들(ROW_1-ROW_N)과 컬럼들(COL_1-COL_N)의 어레이로 배열된 복수의 픽셀들을 포함한다. 로우들(rows)과 컬럼들(columns)은 라인으로 총괄적으로 지칭될 수 있다. 상기 복수의 리드 및 리셋 라인(RRL) 각각은 베이어(Bayer) 칼라 패턴을 가지는 상기 픽셀 어레이(200) 내의 픽셀라인에 대응한다. 도 2에서, 각 픽셀은 액티브 픽셀 센서(APS: active-pixel sensor) 일 수 있으며, 상기 픽셀 어레이(200)는 APS 어레이 일 수 있다.

상기 베이어 칼라 패턴에서, 'R'은 레드 칼라 빛을 감지하기 위한 픽셀을 나타내고, 'B'는 블루 칼라 빛을 감지하기 위한 픽셀을 나타낸다.

'Gb'는 그린 및 블루 픽셀들을 교대로 갖는 로우에서 그린 칼라 빛을 감지하기 위한 픽셀을 나타내고, 'Gr'은 그린 및 레드 픽셀들을 교대로 갖는 로우에서 그린 칼라 빛을 감지하기 위한 픽셀을 나타낸다.

알려진 바와 같이, 베이어 칼라 패턴을 가지는 픽셀 어레이를 이용하여 생성된 이미지 데이터는 R(레드) 칼라 컴포넌트 채널(R color component channel), B(블루) 칼라 컴포넌트 채널(B color component channel), Gr(그린-레드) 칼라 컴포넌트 채널(Gr color component channel), Gb(그린-블루) 칼라 컴포넌트 채널(Gb color component channel)을 생성하기 위해 보간(interpolation)된다.

상기 R 칼라 컴포넌트 채널은 상기 픽셀 어레이(200)의 상기 픽셀 위치들 각각에 도달하는 레드 칼라 빛의 각각의 강도(intensity)를 나타낸다. 상기 B 칼라 컴포넌트 채널은 상기 픽셀 어레이(200) 의 상기 픽셀 위치들 각각에 도달하는 블루 칼라 빛의 각각의 강도를 나타낸다. 상기 Gr 칼라 컴포넌트 채널은 하나의 로우에서 레드 픽셀들에 인접한 상기 그린 픽셀들의 각각에 도달하는 그린 칼라 빛의 각각의 강도를 나타낸다. 상기 Gb 칼라 컴포넌트 채널은 하나의 로우에서 블루 픽셀들에 인접한 상기 그린 픽셀들의 각각에 도달하는 그린 칼라 빛의 각각의 강도를 나타낸다.

다시 도 2를 참조하면, 상기 아날로그-디지털 컨버터(ADC)(204)는 리드아웃 픽셀들의 상기 i번째 라인(ROW_i)으로부터의 출력 전압들을 디지털 신호(이미지 데이터 또는 이미지로도 지칭될 수 있음)로 변환한다. 상기 ADC(204)는 도 1에서의 상기 칼라 보정 회로(1200)로 상기 이미지 데이터(또는 이미지)를 출력한다.

도 1에 따르면, 교정 단계(calibration phase)에서 교정된 후, 상기 칼라 보정 회로(1200)은 상기 보정 단계(correction phase)에서 상기 이미지 센서 (1000)로부터 상기 이미지 데이터에 대해 칼라 및/또는 안티-쉐이딩 보정을 수행한다. 그렇게 함으로써, 상기 칼라 보정 회로(1200)는 상기 이미지에서 렌즈 셰이딩 보정의 효과와는 독립적으로 칼라 쉐이딩의 효과를 위한 보정한다.

교정 단계(calibration phase) 동안 상기 칼라 보정 회로(1200)을 포함하는 상기 이미징 시스템의 일 실시예에 따른 동작은 도 3의 플로우 차트를 참조하여 좀 더 상세히 논의될 것이다. 보정 단계(correction phase) 동안 상기 칼라 보정 회로 (1200)을 포함하는 상기 이미징 시스템의 일 실시예에 따른 동작은 도 4의 플로우 차트를 참조하여 좀 더 상세히 논의될 것이다.

상기 칼라 보정 회로(1200) 및/ 또는 임의의 구성 요소는 하드웨어, 펌웨어, 하드웨어 실행하는 소프트웨어 또는 이들의 임의의 조합 일 수 있다. 칼라 보정 회로 (1200)가 하드웨어인 경우, 그 하드웨어는 하나 이상의 중앙 처리 유닛 (CPUs), 시스템 온칩(SOCs), 디지털 신호 프로세서(DSPs), 애플리케이션 특정 집적 회로(ASICs), 필드 프로그래머블 게이트 어레이(FPGAs) 컴퓨터 또는 상기 칼라 보정 회로(1200)의 상기 기능들을 수행하기 위한 특수 목적 머신들로서 구성된 것을 포함할 수 있다.

도 1에 따르면, 상기 칼라 보정 회로(1200)은 화이트 밸런스 보정 회로 (white balance correction circuit, 1203) 및 칼라 일관성 보정 회로 (color consistency correction circuit, 1208)에 동작적으로 연결된 화이트 밸런스 보정 파라미터 추정 회로(white balance correction parameter estimation circuit, 1202)를 포함한다.

상기 화이트 밸런스 보정 회로(1203)는 칼라 불일치 정보 추출 회로(color inconsistency information extraction circuit, 1204)와 안티-쉐이딩 보정 회로 (anti-shading correction circuit, 1210)에 동작상 연결되어 있다. 상기 칼라 불일치 정보 추출 회로(1204)는 칼라 일관성 모델 추정 회로(1206)에 동작상 연결되어 있다.

상기 칼라 일관성 모델 추정 회로(1206)은 메모리(1206M)을 포함하고, 상기 칼라 일관성 보정 회로(1208)에 동작상 연결되어 있다. 상기 메모리(1206M)는 임의의 적합한 휘발성 또는 비휘발성 메모리 일 수 있다.

상기 칼라 일관성 보정 회로(1208)은 메모리(1208M)을 포함하고, 상기 안티-쉐이딩 보정 회로(1210)에 동작상 연결되어 있다. 상기 메모리(1208M)는 임의의 적합한 휘발성 또는 비휘발성 메모리 일 수 있다.

도 1에서, 하나 또는 그 이상의 상기 화이트 밸런스 보정 파라미터 추정 회로(1202), 상기 화이트 밸런스 보정 회로(1203), 상기 칼라 불일치 정보 추출 회로(1204), 상기 칼라 일관성 모델 평가 회로(1206), 상기 칼라 일관성 보정 회로 (1208), 상기 안티-쉐이딩 보정 회로(1210) 및 이미지 처리 회로(1400)는 하드웨어, 펌웨어, 소프트웨어를 실행하는 하드웨어 또는 이들의 임의의 조합일 수 있다. 하드웨어로 구현되는 경우, 이러한 하드웨어는 하나 이상의 중앙 처리 유닛(CPUs) 시스템 온칩(SoC), 디지털 신호 프로세서(DSP), 애플리케이션 특정 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 컴퓨터 또는 상기 화이트 밸런스 보정 파라미터 추정 회로(1202), 화이트 밸런스 보정 회로(1203), 상기 컬러 불일치 정보 추출 회로(1204), 상기 칼라 일관성 모델 추정 회로(1206), 상기 칼라 일관성 보정 회로(1208), 안티-쉐이딩 보정 회로(1210) 및/또는 상기 이미지 처리 회로(1400)의 상기 기능을 수행하기 위한 특수 목적 머신으로 구성된 것들을 포함할 수 있다. CPUs, SOCs, DSPs, ASICs들 및 FPGAs는 일반적으로 프로세서 및/또는 마이크로 프로세서들로 지칭될 수 있다.

도 3은 도 1에 도시된 칼라 보정 회로를 교정하기 위한 방법의 실시예를 나타내는 플로우 차트이다.

도 1과 3에 따르면, 상기 이미지 센서(1000)의 S3000에서 알려진 칼라 온도를 갖는 컨트롤되고 알려진 빛 하에서 상기 장면(scene)(120)의 이미지(Calib_Imagej)을 캡쳐한다.

이 경우, 상기 장면(scene)(120)은 균일의 백색(또는 좀더 일반적으로, 회색) 이미지이다. 상기 이미지 센서(1000)은 알려진 칼라 온도 j 하에 상기 장면(scene) (120)의 상기 이미지(Calib_Imagej)을 캡쳐하고, j 는 J 칼라 온도들의 세트에서 칼라 온도를 식별하는 인덱스이다. 논의된 바와 같이, 칼라 온도는 대응하는 조명 타입로 지칭(식별)될 수 있다. 실시예에 따르면, J 칼라 온도들의 상기 세트는 ~2700K(텅스텐), ~4000K(형광), ~5500K(직사광선) 및 ~6500K(그늘)을 포함할 수 있다. 그러나 실시예는 이러한 예시적인 칼라 온도로 제한되지 않는다. 오히려 어떤 칼라 온도들도 이용될 수 있다. 상기 이미지 센서(1000)은 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)로 상기 캡쳐된 이미지를 출력한다.

S3010에서, 상기 화이트 밸런스 보정 파라미터 추정회로(1202)는 상기 이미지(Calib_Imagej)에서 화이트 밸런스 보정을 수행하기 위한 화이트 밸런스 보정 파라미터들을 추정한다. 실시예에 따라, 상기 화이트 밸런스 보정 파라미터들은 상기 이미지(Calib_Imagej)의 화이트 밸런스 보정을 하기 위한 퍼(per)-칼라 채널 이득(per-color channel gains0; 및 상기 이미지(Calib_Imagej)을 위한 칼라 온도(color temperature)를 포함한다. 그러나 상기 교정 단계 동안, 상기 이미지(Calib_Imagej)는 알려진 칼라 온도를 갖는 빛 하에 캡쳐된다. 따라서 상기 칼라 온도는 S3010에서 추정될 필요없다.

실시예는 이미지에서 화이트 밸런스를 보정하기 위한 퍼(per)-칼라 채널 이득을 포함하는 화이트 밸런스 보정 파라미터들을 추정하기 위한 임의의 적절히 잘 알려진 방법을 이용할 수 있다. 퍼(per)-칼라 채널 이득을 포함하는 화이트 밸런스 보정 파라미터들을 추정하기 위한 방법은 잘 알려져 있기에 상세한 설명에 생략한다. 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)는 상기 화이트 밸런스 보정 회로 (1203)으로 상기 추정 화이트 밸런스 보정 파라미터들과 상기 이미지(Calib_Imagej)을 출력한다.

S3020에서, 상기 화이트 밸런스 보정 회로(1203)은 상기 이미지 (Calib_Imagej)에서 화이트 밸런스 보정을 수행한다. 알려진 바와 같이, 이미지에서 화이트 밸런스는 상기 이미지 센서(1000)의 상기 칼라 온도와 픽셀 민감도에 의존한다. 좀 더 자세히보면, S3020에서 상기 화이트 밸런스 보정 회로(1203)는 화이트 밸런스 이미지(WB_Calib_Imagej)를 생성하기 위한 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)로부터 상기 대응하는 칼라 채널 이득에 의해 각 칼라 채널을 곱함으로써 상기 이미지에서 상기 화이트 밸런스를 보정한다.

실시예는 임의의 적절히 잘 알려진 화이트 밸런스 보정 방법을 이용할 수 있다.

이미지에서 화이트 밸런스 보정하기 위한 방법은 잘 알려졌기에, 상세한 설명에서 생략한다.

상기 화이트 밸런스 보정 회로(1203)은 상기 칼라 불일치 정보 추출 회로 (1204)로 상기 화이트 밸런스 이미지(WB_Calib_Imagej)를 출력한다.

S3040에서, 상기 칼라 불일치 정보 추출 회로(1204)는 상기 화이트 밸런스 이미지(WB_Calib_Imagej)에서 각각 픽셀을 위한 칼라 불일치 정보를 추출하고 생성하기도 하고 또는 추출하거나 생성한다.

본 발명의 실시예에 따르면, 상기 추출된 칼라 불일치 정보는 상기 화이트 밸런스 이미지(WB_Calib_Imagej)의 각 픽셀을 위한 그린-레드 및 그린-블루 칼라 채널들의 비율을 포함한다. 실시예에서, 상기 칼라 불일치 정보 추출 회로(1204)는 아래 나타낸 수학식 1에 따라 상기 화이트 밸런스 이미지(WB_Calib_Imagej)의 각 픽셀을 위한 그린-레드 칼라 채널들의 비율

을 계산한다

유사하게, 상기 칼라 불일치 정보 추출 회로(1204)는 아래 나타낸 수학식 2에 따라 상기 화이트 밸런스 이미지(WB_Calib_Imagej)을 위한 그린-블루 칼라 채널들의 비율

을 계산한다.

수학식 1과 2에서, (x,y)는 상기 화이트 밸런스 이미지(WB_Calib_Imagej)의 상기 픽셀의 상기 좌표이고, B는 상기 블루 칼라 체널을 나타내고, R은 상기 레드 칼라 채널을 나타내고, Gr은 상기 그린-레드 칼라 채널을 나타내고, Gb은 상기 그린-블루 칼라 채널을 나타낸다. 상술한 바와 같이, 상기 인덱스 j는 상기 본래의 이미지(Calib_Imagej)가 캡쳐된 하에 빛의 칼라 온도를 나타낸다.

상기 칼라 불일치 정보 추출 회로(1204)는 상기 칼라 일관성 모델 추정 회로(1206)로 상기 칼라 불일치 정보를 출력한다. 상기 칼라 일관성 모델 추정 회로(1206)은 상기 메모리(1206M)에서 상기 수신된 칼라 불일치 정보를 저장한다.

S3050에서, 상기 칼라 보정 회로 (1200)는 각각의 J 칼라 온도를 갖는 빛 하에서 얻어진 이미지에 대한 컬라 불일치 정보가 생성되었는지의 여부를 판정한다. 일 예에서, 상기 칼라 보정 회로 (1200)는 칼라 불일치 정보의 J 세트들이 생성되었는지 그리고 상기 메모리 (1206M)에 저장되었는지 판정한다.

칼라 불일치 정보의 세트들이 생성되지 않고 상기 메모리(1206M)에서 저장되지 않았다면, 상기 프로세스는 S3000으로 돌아와서 S3000, S3010, S3020 및 S3040이 J칼라 온도의 상기 세트로부터 또 다른 칼라 온도를 갖는 빛 하에 상기 장면(scene)(120)에 대해 반복된다.

몇몇의 실시예에 따르면, S3000, S3010, S3020, S3040는 상기 J 칼라 온도의 각각에 대해 개별적으로 수행된다. 그 결과, 상기 칼라 보정 회로(1200)는 적어도 J 이미지들 각각에 대해 칼라 불일치 정보를 추출하고, 상기 칼라 일관성 모델 추정 회로(1206)의 상기 메모리(1206M)에 칼라 불일치 정보의 적어도 J 세트를 저장한다. 상기 J 이미지들은 참조 이미지들로서 지칭될 수 있다.

도 3의 S3050으로 돌아가서, 칼라 불일치 정보의 J 세트들이 생성되고 상기 메모리(1206M)에 저장된다면, 상기 프로세스는 S3060으로 진행된다.

S3060에서, 상기 칼라 일관성 모델 추정 회로(1206)는 상기 메모리(1206M)에 저장된 칼라 일관성 정보의 상기 J 세트들에 기초하여 상기 J 칼라 온도의 각각에 대해 칼라 일관성 모델을 추정한다.

이미 논의된 바와 같이, 상기 j번째 칼라 온도를 위한 칼라 일관성 모델은 상기 j번째 칼라 온도에 대한 감마 계수(또는 감마들)와 결합하여 공통 프로파일(예를들어, 레드와 블루 칼라 채널들)로 구성되어 있다.

공통 프로파일은 이미지에 대한 일관성 프로파일의 독립된 부분 칼라 온도이다. 상기 공통 프로파일은 이미지 센서와 광학의 주어진 조합에 대해 상기 칼라 일관성의 공간 종속성을 제공한다.

일반적으로, 상기 공통 프로파일은 이미지에서 상기 칼라 일관성의 상기 칼라 온도 의존성을 만드는 감마 계수(또는 감마들)의 세트와 연관되어 있다. 상기 감마들은 칼라 온도-특화 프로파일로 공통 프로파일을 변환하기 위한 스케일링 인자로서 작용한다. 즉, 상기 감마들은 주어진 칼라 온도로 공통 프로파일을 맞춘다. 상기 칼라 온도-특화 프로파일은 조명-특화 프로파일로 지칭된다.

구체적으로는, 상기 감마 계수를은 주어진 칼라 온도(또는 조명 타입)을 위한 상기 공통 프로파일로부터 상기 온도-특화 프로파일(또는 조명-특화)을 만드는 곱셈 계수이다. 상기 적색 및 청색 채널들에 대한 감마 계수들의 개별 세트가 있다. 이러한 관점에서, 상기 레드 칼라 채널에 대한 감마들의 상기 세트는 상기 J 칼라 온도들의 각각을 위한 레드 칼라 채널 감마 계수을 포함하고, 그리고 상기 블루 칼라 채널을 위한 상기 감마들의 상기 세트는 상기 J 칼라 온도들의 각각을 위한 블루 칼라 채널 감마 계수를 포함한다. 각각의 칼라 채널에 대한 상기 감마 계수들의 상기 세트에서 감마들의 상기 수는 각 컬러 채널에 대한 감마 계수들의 세트에서 감마의 수는 상기 다른 색 온도에 대한 상기 교정 포인트의 상기 수와 동일하다.

S3060에서, 실시예에서 따르면, 상기 칼라 일관성 모델 추정 회로(1206)은 반복적인 최소 제곱 방법을 이용하여 상기 감마 계수와 함께 상기 레드 및 블루 칼라 채널들에 대한 상기 공통 프로파일들을 계산한다. 상기 레드와 블루 칼라 채널들 각각에 대한 예시적 계산은 아래에 좀 더 상세히 설명할 것이다.

초기 반복에서는, 상기 칼라 일관성 모델 추정 회로(1206)는 아래 표시된 수학식 3에 따라 상기 레드 칼라 채널에 대해 상기 공통 프로파일(Comm_Prof_RG(x,y))을 추정한다.

이 초기 반복에서, 상기 레드 칼라 채널에 대한 상기 감마 계수(

)는 상기 J 칼라 온도의 각각에 대해 1인 것으로 가정된다.

상기 칼라 일관성 모델 추정 회로(1206)은 아래 나타난 수학식 4에 따라 상기 레드 칼라 채널에 대해 상기 공통 프로파일(Comm_Prof_RG(x,y))에 기초하여 상기 레드 칼라 채널에 대한 새로운/업데이트된 감마 계수들을 추정한다.

상기 레드 칼라 채널에 대한 상기 새로운/업데이트된 감마 계수들(

)은 수학식 3으로 치환되고, 상기 반복 계산이 반복된다. 상기 칼라 일관성 모델 추정 회로(1206)은 상기 레드 칼라 채널에 대한 상기 공통 프로파일(Comm_Prof_RG(x,y))및 관련된 감마들(

)을 추정하기 위해 수렴할 때까지(대략 두 번 또는 세 번 반복) 상기 언급한 반복 계산을 반복한다. S3060에서의 이런 반복 계산은 상기 J 칼라 온도들의 각각에 대한 상기 레드 칼라 채널에 대한 감마들을 제공하고, 오직 한 번만 수행될 필요가 있다. 그 결과, 상기 칼라 일관성 모델 추정 회로 (1206)은 (i) 상기 공통 프로파일; 및 (ii) 상기 레드 칼라 채널에 대한 감마들의 상기 세트를 포함하는 상기 레드 칼라 채널에 대해 칼라 일관성 모델을 획득한다. 전술한 바와 같이, 상기 레드 칼라 채널에 대한 감마들의 상기 생성된 세트는 주어진 칼라 온도로 상기 레드 칼라 채널에 대한 상기 공통 프로파일을 맞춘다.

상기 블루 칼라 채널에 대한 상기 공통 프로파일에 관하여, 초기 계산에서, 상기 칼라 일관성 모델 추정 회로 (1206)은 아래 나타낸 수학식 5에 대해서 상기 블루 칼라 채널에 대한 상기 공통 프로파일(Comm_Prof_BG(x,y))을 추정한다.

이 초기 반복에서, 상기 블루 칼라 채널에 대한 상기 감마 계수(

)는 상기 J 칼라 온도의 각각에 대해 다시 1인 것으로 가정된다.

상기 칼라 일관성 모델 추정 회로 (1206)은 아래 나타난 수학식 6에 따라 상기 블루 칼라 채널에 대해 상기 공통 프로파일(Comm_Prof_BG(x,y))에 기초하여 상기 블루 칼라 채널에 대한 새로운/업데이트된 감마 계수들을 추정한다.

상기 블루 칼라 채널에 대한 상기 새로운/업데이트된 감마 계수들(

)는 수학식 5로 치환되고, 상기 반복 계산이 반복된다. 상기 칼라 일관성 모델 추정 회로 (1206)은 상기 블루 칼라 채널에 대한 상기 공통 프로파일(Comm_Prof_RG(x,y)) 및 관련된 감마들(

)을 추정하기 위해 수렴할 때까지(대략 두 번 또는 세 번 반복) 상기 언급한 반복 계산을 반복한다. S3060에서의 이런 반복 계산은 상기 J 칼라 온도들의 각각에 대한 상기 레드 칼라 채널에 대한 감마들을 제공하고, 오직 한번만 수행될 필요가 있다. 그 결과, 상기 칼라 일관성 모델 추정 회로(1206)은 (i) 상기 공통 프로파일; 및 (ii) 상기 블루 칼라 채널에 대한 감마들의 상기 세트을 포함하는 상기 블루 칼라 채널에 대해 칼라 일관성 모델을 획득한다. 전술한 바와 같이, 상기 블루 칼라 채널에 대한 감마들의 상기 생성된 세트는 주어진 칼라 온도로 상기 블루 칼라 채널에 대한 상기 공통 프로파일을 맞춘다.

도 3의 S3060를 참조하면, 상기 칼라 일관성 모델 추정 회로(1206)은 상기 칼라 일관성 보정 회로(1208)로 상기 생성된 칼라 일관성 모델들(상기 공통 프로파일(

과

) 및 감마들(

와

)의 관련된 세트를 포함하는)을 출력한다.

S3080에서, 상기 칼라 일관성 보정 회로(1208)은 상기 보정 단계에서 상기 칼라 보정 회로(1200)에 의해 사용을 위한 상기 메모리 (1208M)에서 상기 수신된 칼라 일관성 모델들을 저장한다. 상기 추정 공통 프로파일들(

및

)과 상기 j번째 칼라 온도에 대한 상기 감마들(

와

)의 조합으로 상기 j번째 칼라 온도에 대한 칼라 일관성 모델을 구성한다. 상기 메모리 (1208M)안에, 상기 칼라 일관성 모델들은 상기 칼라 보정 회로 (1200)에 의해 쉽게 검색되도록 칼라 온도 (또는 조명 타입)에 의해 인덱싱될 수 있다. 상기 저장된 칼라 일관성 모델들은 기준 칼라 일관성 모델로 지칭 될 수 있다. 유사하게, 상기 감마들(

와

)는 기준 감마들 또는 기준 감마 계수들로서 지칭될 수 있다.

상기 칼라 보정 회로(1200)는 보정 단계 동안 이미지들의 칼라 및/또는 안티-쉐이딩 보정을 수행한다. 좀 더 자세하게, 상기 보정 단계동안 상기 칼라 보정 회로(1200)는 상기 교정 단계 동안 상기 메모리(1208M)에서 획득되고 저장되는 상기 칼라 일관성 모델들을 이용하여 하나 이상의 획득한 이미지들에 대해 안티-쉐이딩 보정을 수행한다. 상기 보정단계에서 상기 칼라 보정 회로(1200)의 예시적 동작은 아래 도 4와 관련하여 좀 더 상세히 다룰 것이다.

도 4는 칼라 및/또는 안티-쉐이딩 보정에 대한 방법의 실시예에 따라 표시한 플로우 차트이다. 도 4에 도시된 상기 실시예는 도 1에 도시된 상기 이미징 시스템과 상기 칼라 보정 회로(1200)에 관해 논의될 것이다. 상기 칼라 보정 회로(1200)는 보정 단계동안 상기 장면(scene)(120)의 캡쳐된 이미지의 칼라 및/또는 안티-쉐이딩 보정을 수행한다. 상기 보정 단계에서, 상기 장면(scene)(120)은 균일성의 화이트(또는 좀 더 일반적으로, 회색) 이미지가 아니다. 반대로, 상기 장면(scene)(120)은 어떤 임의의 장면(scene)일 수 있다. 비록 도 4에 도시된 상기 실시예는 상기 장면(scene)(120)의 단일 이미지에 관한 논의일지라도, 이는 실시 예는 장면(scene)의 어떤 임의의 수의 이미지의 임의의 수에 적용 할 수 있는 것으로 이해되어야 한다.

도 4에 따르면, S4000에서 상기 이미지 센서(1000)는 도 3에서의 S3000에 관해 전술 한 바와 동일한 방식으로 상기 장면(scene)(120)의 이미지(I_Orig)를 캡쳐한다. 상기 이미지 센서(1000)은 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)로 상기 캡쳐된 이미지(또는 이미지 데이터)(IOrig)를 출력한다.

S3020에서, 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)는 상기 캡쳐된 이미지(IOrig)에 대해 화이트 밸런스 보정 파라미터들을 추정한다. 상술한 바와 같이, 화이트 밸런스 보정 파라미터들은 상기 장면(scene)(120)의 상기 이미지(I_Orig)가 캡쳐되는 하에 퍼(per)-칼라 채널 이득과 빛의 추정 칼라 온도를 포함한다. 상기 교정 단계 동안과 달리, 상기 칼라 보정 단계에서 캡쳐된 하에 빛의 상기 칼라 온도는 공지되지 않을 수 있으며, 따라서, S4010에서 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)에 의해 추정이다. 도 3에서 S3010에 관하여 앞서 논의 된 바와 같이, 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)는 임의의 잘 알려진 방식으로 상기 화이트 밸런스 보정 파라미터들을 추정할 수 있다. 게다가, 화이트 밸런스 보정 파라미터들을 추정하는 방법은 잘 알려져 있기 때문에, 상세한 설명에서 생략한다.

상기 화이트 밸런스 보정 파라미터 추정 회로(1202)는 상기 화이트 밸런스 보정 회로(1203)으로 상기 캡쳐된 이미지에 대해 상기 추정 화이트 밸런스 보정 파라미터들을 출력한다. 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)는 상기 칼라 일관성 보정 회로(1208)로 상기 추정 화이트 밸런스 보정 파라미터(예를 들어, 상기 이미지에 대한 상기 추정 칼라 온도)들을 출력한다.

S4020에서, 상기 화이트 밸런스 보정 회로(1203)은 도 3에서 S3020에 관하여 전술 한 바와 동일한 방식으로 상기 장면(scene)(120)의 상기 캡쳐된 이미지(I_Orig )에서 화이트 밸런스를 수행한다. 상기 화이트 밸런스 보정 회로(1203)은 상기 안티-쉐이딩 보정 회로(1210)로 상기 화이트 밸런스 보정된 이미지(상기 화이트 밸런스 이미지로도 지칭되는)(I_WB)을 출력한다.

S4060에서, 상기 칼라 일관성 보정 회로(1208)는 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)로부터 상기 추정 칼라 온도에 기초하여 상기 캡쳐된 이미지에 대해 추정 칼라 일관성 모델과 상기 교정 단계 동안 메모리(1208M)에 저장된 색상 일관성 모델을 생성한다.

구체적으로, 상기 칼라 일관성 보정 회로(1208)은 상기 화이트 밸런스 보정 파라미터 추정 회로(1202)로부터 상기 추정 칼라 온도에 가장 가까운 상기 칼라 온도에 대응하는 감마들의 세트를 이용하여 상기 레드 및 블루 칼라 채널들의 각각에 대해 단일 감마를 계산한다. 예를 들어, 상기 추정 칼라 온도가 상기 j번째 및 (j+1)번째 칼라 온도 사이로 떨어진다면, 상기 칼라 일관성 보정 회로 (1208)은 상기 감마들(

및

) 사이로 간단한 선형 인터폴레이션을 이용하여 상기 레드 칼라 채널에 대해 단일 감마 계수(

)을 생성한다. 이와 유사하게, 상기 칼라 일관성 보정 회로 (1208)은 상기 감마들(

및

) 사이에 간단한 선형 인터폴레이션을 이용하여 상기 블루 칼라 채널에 대해 단일 감마 계수 (

)을 생성한다.

상기 공통 프로파일(

) 및 상기 레드 칼라 채널에 대한 상기 인터폴레이트된 감마(

)는 상기 캡쳐된 이미지의 상기 레드 칼라 채널에 대해 상기 추정 칼라 일관성 모델을 구성한다. 이와 유사하게, 상기 공통 프로파일(

)및 상기 블루 칼라 채널에 대한 상기 인터폴레이트된 감마(

)는 상기 캡쳐된 이미지의 상기 블루 칼라 채널에 대해 상기 추정 칼라 일관성 모델을 구성한다.

상기 보정 단계 동안, 상기 칼라 일관성 보정 회로(1208)은 오로지 상기 추정 칼라 온도에 대해 계산된 칼라 채널당 단일 감마를 필요로 한다. 따라서, 상기 교정 단계에서 계산에 사용되는 상기 인덱스 j는 상기 보정 단계에서 상기 칼라 보정 회로(1200)의 상기 논의에 사용되지 않는다.

도 4에 따르면, S4070에서 상기 칼라 일관성 보정 회로(1208)는 상기 레드 및 블루 칼라 채널들에 대한 상기 추정 칼라 일관성 모델들을 이용하여 상기 캡쳐된 이미지에 대해 안티-쉐이딩 보정 그리드를 생성한다.

구체적으로, 실시예에 따르면, S4070에서 상기 레드 칼라 채널에 대해 상기 추정 칼라 일관성 모델에 기초하여 상기 칼라 일관성 보정 회로 (1208)은 아래 나타낸 수학식 7에 따라 상기 캡쳐된 이미지의 상기 레드 칼라 채널에 대해 상기 안티-쉐이딩 보정 그리드(

)을 맞춘다.

이와 유사하게, 상기 칼라 일관성 보정 회로(1208)은 아래 나타난 수학식 8에 따라 상기 캡쳐된 이미지의 상기 블루 칼라 채널에 대해 상기 안티-쉐이딩 쉐이딩 보정 그리드(

)을 맞춘다.

본원에서 논의된 바와 같이, 상기 맞춘 안티-쉐이딩 보정 그리드 (

) 및 (

)는 칼라 쉐이딩 보정 그리드들로 지칭된다.

수학식 7 및 8에서,

는 상기 이미지에서 상기 안티-쉐이딩의 상기 파워이고,

는 상기 칼라 쉐이딩 보정의 상기 파워이고,

는 상기 그린-레드 칼라 채널에 대한 교정 계수이고,

는 상기 그린-레드 칼라 채널에 대한 교정 계수이고,

는 상기 캡쳐된 이미지의 상기 레드 칼라 채널에 대해 상기 인터폴레이트된 감마이고,

는 상기 캡쳐된 이미지의 상기 블루 칼라 채널에 대해 상기 인터폴레이트된 감마이고,

는 상기 그린-레드 칼라 채널에 대해 상기 안티-쉐이딩 보정 그리드이고,

는 상기 그린-블루 칼라 채널에 대해 상기 안티-쉐이딩 보정 그리드이다.

상기 안티-쉐이딩 보정 그리드

및

는 위에서 논의된 상기 교정 단계동안 생성하거나 교정하는 상기 보정 단계/위상에서 알려져 있다. 그러나, 안티-쉐이딩 보정 그리드의 계산은 안티-쉐이딩 보정 그리드

및

같이 잘 알려져 있기에, 상세한 설명에서 생략한다.

수학식 7및 8에 따르면, 상기 레드 칼라 채널에 대한 상기 교정 계수

는 상기 그린-레드 칼라 채널에 대한 상기 교정 계수

와 같고

, 상기 블루 칼라 채널에 대한 상기 교정 계수

는 상기 그린-블루 칼라 채널에 대한 상기 교정 계수

와 같다

.

상기 칼라 일관성 보정 파워

및 상기 안티-쉐이딩 보정 파워

는 상기 이미지의 원하는 보정 레벨에 따라 결정되는 0과 1 사이의 사용자 정의 값이다. 상기 원하는 보정 레벨, 상기 칼라 일관성 보정 파워

및 상기 안티-쉐이딩 보정 파워

는 경험적 증거 또는 다른 정보에 따라 결정될 수 있다. 상기 알파 계수(또는 알파들)

,

,

,

는 잘 알려진 방법을 이용하여 상기 안티-쉐이딩 모델로부터 보간(interpolation)되고, 이는 간략화를 위하여 상세한 설명에서 다루지 않는다.

상기 칼라 일관성 보정 회로(1208)은 상기 안티-쉐이딩 보정 회로(1210)로 상기 칼라 쉐이딩 보정 그리드

및

을 출력한다.

S4080에서, 상기 안티-쉐이딩 보정 회로(1210)은 상기 칼라 일관성 보정 회로(1208)로부터 상기 칼라 쉐이딩 보정 그리드

및

를 이용하여 상기 화이트 밸런스 보정 회로(1203)로부터 상기 화이트 밸런스 이미지 I_WB 내의 칼라 쉐이딩에 대해 보정한다.

구체적으로, 상기 안티-쉐이딩 보정 회로(1210)는 아래 나타난 수학식 9에 따라 상기 칼라 일관성 보정 회로(1208)로부터 상기 레드 칼라 쉐이딩 보정 그리드

에 기초하여 상기 레드 칼라 채널에 대한 칼라 쉐이딩 보정 함수

을 생성한다.

상기 안티-쉐이딩 보정 회로(1210)은 아래 나타난 수학식 10에 따라 상기 칼라 일관성 보정 회로(1208)로부터 상기 블루 칼라 쉐이딩 보정 그리드

에 기초하여 상기 블루 칼라 채널에 대한 칼라 쉐이딩 보정 함수

을 생성한다.

상기 레드 및 블루 칼라 채널에 대한 상기 칼라 쉐이딩 보정 함수는 아래 표시된 수학식 11와 같이 좀 더 일반적으로 표현될 수 있다.

수학식 11에서,

는 상기 이미지의 상기 레드 및 블루 칼라 채널들 중에서 상기 i번째 칼라 채널에 대한 상기 칼라 쉐이딩 보정 함수다.

도 4에서 S4080에 따르면, 상기 안티-쉐이딩 보정 회로(1210)은 상기 화이트 밸런스 이미지 I_WB 에서 칼라 쉐이딩에 대한 보정하기 위해 상기 화이트 밸런스 이미지 I_WB의 각각의 pixel(x,y)로 상기 칼라 쉐이딩 보정 함수

을 적용한다. 구체적으로, 상기 안티-쉐이딩 보정 회로(1210)은 아래 표시된 수학식 12와 같이 칼라 쉐이딩 보정 이미지 Icorr(x,y)을 생성하기 위해 각 픽셀 값 I_WB(x,y)로 상기 i번째 칼라 채널에 대한 상기 칼라 쉐이딩 보정 함수

을 적용한다.

실시예에 따르면, 상기 칼라 쉐이딩 보정 함수

및

는 상기 칼라 보정 그리드

및

를 이용하여 생성되고, 각각 상기 칼라 쉐이딩 보정 함수

및

는 상기 화이트 밸런스 이미지의 픽셀에 적용된다. 그 결과, 상기 안티-쉐이딩 보정 회로(1210)은 상기 이미지의 상기 렌즈 쉐이딩 보정으로부터 독립적이고 분리되어 칼라 쉐이딩에 대해 보정한다. 일 예에서, 상기 안티-쉐이딩 보정 회로 (1210)는 S4080에서 상기 화이트 밸런스 이미지에서 오로지 칼라 쉐이딩에 대해 보정할 수 있다.

도 4에 따르면, 상기 칼라 쉐이딩 보정 수행 후에, S4090에서 상기 안티-쉐이딩 보정 블락(1210)은 상기 안티-쉐이딩 보정 출력 이미지 Iout(x,y)을 생성하기 위해서 수학식 13에서 아래 표시된 것과 같이 상기 칼라 쉐이딩 보정 이미지 Icorr(x,y)의 픽셀로 안티-쉐이팅 이득 함수(gain_i)을 적용함으로써 화이트 밸런스 이미지 I_WB 에서 렌즈 쉐이딩에 대해 보정한다.

수학식 13에서, 상기 렌즈 쉐이딩 보정 함수 gain_i는 아래 표시된 수학식 14에 의해 주어치고, 상기 i는 그린-레드 칼라 채널 Gr 및 상기 그린-블루 칼라 채널 Gb 중 하나이다.

수학식 14에서, 상기 렌즈 쉐이딩 보정 함수 (안티-쉐이딩 이득 또는 안티-쉐이딩 보정 함수로 몇몇의 경우에서 언급되는)는 상기 화이트 밸런스 이미지 I_WB에서 렌즈 쉐이딩에 대해 보정하기 위해 상기 이미지의 상기 그린-레드 칼라 채널 및 상기 그린-블루 칼라 채널(예를 들어,

)에 대해 적용된다.

도 4에 따르면, S4080에서의 상기 칼라 쉐이딩 보정 및 S4090에서의 상기 렌즈 쉐이딩 보정은 상기 장면(scene)(120)의 상기 이미지의 안티-쉐이딩 보정을 구성한다.

S4090에서 상기 렌즈 쉐이딩 보정을 수행한 후, 상기 안티-쉐이딩 보정 회로(1210)는 상기 이미지 처리 회로(1400)으로 상기 안티-쉐이딩 보정 출력 이미지

을 출력한다.

S4100에서, 상기 이미지 처리 회로(1400)은 마지막 출력 이미지 I_final을 생성하기 위해 상기 출력이미지

에 대해 이미지 처리(예를 들어, 디노이즈, 디모자이크)을 수행한다. 일 예로, 상기 이미지 처리 회로 (1400)은 상기 베이어 도메인으로부터 좀 더 일반적인 표준(예를 들어, YUV standard )으로 상기 출력 이미지

을 바꾸고, 필터링, 첨예화를 수행한다. 상기 이미지 처리 유닛 (1400)은 디스플레이에 대해 원하는 출력포맷으로 상기 프로세스된 표준 이미지를 변환하거나 메모리에 저장할 수 있다. 상기 이미지 처리 회로(1400)에 관하여 상술된 기능들 각각은 일반적으로 공지되어 있으므로, 상세한 설명에서 생략한다.

상기 이미지 처리 회로(1400)은 디스플레이를 위한 디스플레이(도 5의 디스플레이 504) 및/또는 저장을 위한 메모리(도 5의 메모리 508)로 상기 마지막 이미지 I_final을 출력한다.

도 5는 실시예에 따른 전자 이미징 시스템을 도시한 블락 다이어그램이다.

도 5에 따르면, 상기 전자 이미징 시스템은 예를 들어, 도 1의 상기 렌즈 유닛(100), 이미지 센서(500), 이미지 신호 프로세서(ISP: image signal processor)(502), 디스플레이(504) 및 메모리(508)을 포함한다. 상기 이미지 센서(500), 상기 ISP(502), 상기 디스플레이(504) 및 상기 메모리(508)은 버스(506)를 통해 통신한다.

상기 이미지 센서(500)은 도 1 및 도 2에 표시된 상기 이미지 센서(1000)일 수 있다. 상기 이미지 센서(500)은 전기적 신호로 광학 이미지들 변환함으로써 이미지 데이터를 캡쳐한다.

상기 ISP(502)는 상기 메모리(508)에서 저장 및 상기 디스플레이(504)에 의한 디스플레이를 위해상기 캡쳐된 이미지 데이터를 처리한다. 구체적으로 상기 ISP(502)는 상기 이미지 센서(500)으로부터 디지털 이미지 데이터를 받고, 상기 디지털 이미지 데이터에서의 이미지 처리 동작을 수행하고, 처리된 이미지 또는 처리된 이미지 데이터를 출력한다. 상기 ISP(502)는 도 1에서의 상기 칼라 보정 회로(1200)과 상기 이미지 처리 회로(1400)를 포함할 수 있다.

상기 ISP(502)는 프로그램을 실행하고 상기 전자 이미징 시스템을 컨트롤 할 수 있다. 상기 ISP(502)에 의해 실행되는 상기 프로그램 코드는 상기 메모리(508)에 저장될 수 있다. 상기 메모리(508)은 상기 이미지 센서에 의해 획득되고 상기 ISP (502)에 의해 처리된 상기 이미지 데이터를 저장할 수 있다. 상기 메모리(508)은 임의의 적합한 휘발성 또는 비 휘발성 메모리 일 수 있다.

도 5에서 표시된 상기 전자 이미징 시스템은 입력/출력 장치(미도시)를 통해 외부 장치(예를 들어, 개인 컴퓨터 또는 네트워크)로 연결될 수 있고 상기 외부 장치와 데이터를 교환할 수 도 있다.

도 5에서 표시된 상기 전자 이미징 시스템은 이미지 센서를 포함하는 디지털 스틸 카메라와 같은 이미지 센서를 포함하는 다양한 전자 제어 시스템을 구현할 수 있다. 게다가, 상기 전자 이미징 시스템은 예를 들어, 핸드폰, PDAs, 랩탑 컴퓨터, 넷북, MP3 플레이어, 네비게이션 장치, 가전 제품, 또는 이미지 센서 또는 유사 장치를 이용하는 어떤 다른 장치에 이용된다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

렌즈 유닛 (100)
픽셀 어레이 (200)
라인 드라이버 (202)
아날로그-디지털 컨버터(ADC) (204)
타이밍 유닛 또는 회로(206)
이미지 센서 (1000)
칼라 보정 회로 (1200)
화이트 밸런스 보정 파라미터 추정 회로 (white balance correction parameter estimation circuit, 1202)
화이트 밸런스 보정 회로 (white balance correction circuit, 1203)
칼라 일관성 보정 회로 (color consistency correction circuit, 1208
이미지 처리 회로 (1400)

Claims (10)

1. 이미지의 렌즈 쉐이딩 보정과는 독립적으로 상기 이미지의 칼라 쉐이딩 보정을 수행하는 칼라 보정 회로를 포함하는 이미징 시스템.
2. 제1항에 있어서, 상기 칼라 보정 회로는
   상기 이미지의 레드와 블루 칼라 채널들에 대한 추정 칼라 일관성 모델들에 기초하여 상기 이미지의 상기 레드와 블루 칼라 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용함으로써 칼라 쉐이딩 보정 그리드들을 생성시키는 칼라 일관성 보정 회로; 및
   상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 이미지의 상기 칼라 쉐이딩 보정을 수행하는 안티-쉐이딩 보정 회로를 포함하는 이미징 시스템.
3. 제2항에 있어서, 상기 칼라 일관성 보정 회로는
   상기 레드와 블루 칼라 채널들에 대해서만 안티-쉐이딩 보정 그리드들을 적용함으로써 상기 칼라 쉐이딩 보정 그리드들을 생성하는 이미징 시스템.
4. 제2항에 있어서,
   상기 레드 칼라 채널에 대한 상기 추정 칼라 일관성 모델은 상기 레드 칼라 채널에 대한 공통 프로파일과 상기 레드 칼라 채널에 대한 추정 감마 계수를 포함하고,
   상기 블루 칼라 채널에 대한 상기 추정 칼라 일관성 모델은 상기 블루 칼라 채널에 대한 공통 프로파일과 상기 블루 칼라 채널에 대한 추정 감마 계수를 포함하며,
   상기 레드와 블루 칼라 채널들에 대한 상기 추정 감마 계수는 상기 이미지에 대한 추정 칼라 온도에 대응하는 이미징 시스템.
5. 제4항에 있어서, 상기 칼라 일관성 보정 회로는
   인터폴레이션을 이용하여 상기 레드 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 상기 레드 칼라 채널에 대한 상기 추정 감마 계수를 생성하고,
   상기 레드 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응하는 이미징 시스템.
6. 제4항에 있어서, 상기 칼라 일관성 보정 회로는
   인터폴레이션을 이용하여 상기 블루 칼라 채널에 대한 복수의 기준 감마 계수들에 기초하여 상기 블루 칼라 채널에 대한 상기 추정 감마 계수를 생성하고,
   상기 블루 칼라 채널에 대한 상기 복수의 기준 감마 계수들은 복수의 기준 칼라 온도들에 대응하는 이미징 시스템.
7. 제2항에 있어서, 상기 안티-쉐이딩 보정 회로는
   상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 레드와 블루 칼라 채널들 각각에 대한 칼라 쉐이딩 보정 함수들을 생성하고,
   상기 이미지 각각의 픽셀로 상기 칼라 쉐이딩 보정을 적용함으로써, 상기 이미지의 상기 칼라 쉐이딩 보정을 수행하는 이미징 시스템.
8. 제2항에 있어서, 상기 안티-쉐이딩 보정 회로는
   상기 이미지의 상기 렌즈 쉐이딩 보정을 더 수행하는 이미징 시스템.
9. 칼라 보정 회로에 의해 이미지의 렌즈 쉐이딩 보정과 독립적으로 상기 이미지에서 칼라 쉐이딩에 대해 보정하는 단계를 포함하는 이미지 안티-쉐이딩 보정 방법.
10. 제9항에 있어서,
    상기 이미지의 상기 레드와 블루 칼라 채널들에 대한 추정 칼라 일관성 모델들에 기초하여 상기 이미지의 레드와 블루 채널들에 대한 안티-쉐이딩 보정 그리드들을 적용함으로써 칼라 쉐이딩 보정 그리드들 생성하는 단계; 및
    상기 칼라 쉐이딩 보정 그리드들에 기초하여 상기 이미지의 상기 칼라 쉐이딩에 대해 보정하는 단계를 더 포함하는 이미지 안티-쉐이딩 보정 방법.

Images