KR100976284B1

KR100976284B1 - 촬상 장치

Info

Publication number: KR100976284B1
Application number: KR1020080052486A
Authority: KR
Inventors: 요시따까 에가와
Original assignee: 가부시끼가이샤 도시바
Priority date: 2007-06-07
Filing date: 2008-06-04
Publication date: 2010-08-16
Anticipated expiration: 2028-06-04
Also published as: US8547472B2; JP2009017544A; CN101321295A; KR20080108019A; CN101321295B; JP5106256B2; US20110273596A1; US8013928B2; US20080303919A1

Abstract

광을 집광하기 위한 광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 소자를 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 적어도 R(적색), G(녹색), B(청색)의 파장 성분으로 분리하여 생성한 적어도 3개의 R 신호, G 신호, B 신호를 처리하는 신호 처리 회로를 포함하는 촬상 장치이며, 상기 광학 렌즈는 광의 파장에 의한 분산율이 큰 렌즈 재질을 이용함으로써 파장에 의한 초점 위치의 차를 크게 한 광학 렌즈와, 상기 신호 처리 회로에 있어서 센서부로부터의 출력 신호로부터 윤곽 신호를 추출하는 윤곽 신호 생성부를 구비한다.

광전 변환 소자, 광학 렌즈, 촬상 장치, 신호 처리 회로, 컬러 필터

Description

촬상 장치 {IMAGE PICKUP DEVICE}

본 발명은 촬상 장치에 관한 것으로, 특히 RGB의 색 비율 상관에 의해 RGB 신호를 생성하는 신호 처리에 관한 것이며, 예를 들어 CCD(charge-coupled device) 이미지 센서나 CMOS형 이미지 센서 등의 고체 촬상 장치, 이미지 센서 부착 휴대 전화, 디지털 카메라, 비디오 카메라 등에 사용된다.

이미지 센서는 최근 화소의 미세화가 진행되어 화소 피치가 2 ㎛대인 것이 실용화되고, 나아가서 1.75 ㎛ 피치 화소나 1.4 ㎛ 피치 화소의 개발이 진행되고 있다. 2 ㎛ 피치 이하의 미세 화소에서는, 수광면의 입사광량이 대폭으로 감소하므로 촬상 신호의 S/N이 열화된다. 또한, 종래부터 컬러 카메라에서는 RGB의 광 파장의 차이에 의한 렌즈를 통과할 때의 굴절률의 차이나 화소 피치의 미소화로부터 발생하는 색 위신호(僞信號)나 색 노이즈에 의해 화질이 열화된다고 하는 문제가 있다. 색 위신호의 억제나 색 노이즈 저감에 관해서는 다양한 방식이 제안되어 있다.

예를 들어, 일본 특허 출원 공개 평4-235472호 공보, 일본 특허 출원 공개 제2002-10108호 공보, 일본 특허 출원 공개 제2005-303731호 공보, 일본 특허 출원 공개 제2001-245307호 공보, 일본 특허 출원 공개 평5-168029호 공보 참조.

그러나 이들 종래의 방식에서도 발본적인 대책은 제안되어 있지 않다.

또한, 예를 들어 단판 컬러 카메라에서는 피사체 이미지의 에지 부분에 위색(僞色)이 부여되는 RGB 색 변화나, 각 RGB의 랜덤 노이즈에 의한 도트 형상의 색 노이즈가 발생하기 때문에 화질 열화가 발생한다.

이 색 위신호는 2가지의 발생 요인이 있다. 하나는, 센서의 한계 해상도 근방에서 화소 피치와 피사체의 고해상도 패턴의 피치의 부정합에 의해 비트가 발생되어, 도입된 신호의 주파수에 저주파 성분이 혼입됨으로써 발생한다. 다른 하나는, 전술한 바와 같이 광학 렌즈로 입사하는 RGB 광의 파장의 차이로부터 RGB 광의 굴절률이 달라, 센서 주변 영역에서 RGB의 이미지가 벗어나는 배율 색수차에 의해 발생한다.

배율 색수차는, 도24에 나타내는 바와 같이 특히 센서 주변 영역에서 커진다. 또한, 센서의 미세 화소에 대응시키기 위해, 렌즈의 F값을 작게 하여, 화소 피치에 대응하는 공간 주파수가 높아질수록 전달 함수 MTF(Modulated Transfer Function)의 RGB 광에 의한 변조도의 저하의 차이에 의해 렌즈의 중심에서도 축상 색수차가 커진다. 이로 인해, 미세 화소에서는 화질의 열화가 현저하다.

도25의 (a) 및 도25의 (b)는 적색 문자를 촬영하였을 때의 취득 화상과 이것에 대응하는 신호 파형을 각각 나타내는 것으로, 도25의 (a)에서는 대물 렌즈의 초 점이 어긋난 상태에서 촬상된 핀 흐림 화상과 그 신호 파형, 도25의 (b)는 대물 렌즈의 초점이 맞추어진 화상과 그 신호 파형을 나타낸다. 도25의 (a)의 핀 흐림 화상에서는, 표시 문자의 에지 부분에 대응하는 신호 파형이 완만하게 변화하고 있고, 또한 G 신호와 B 신호의 위상이 색수차에 의해 어긋나 버리므로 에지 부분에서 위색 착색이 발생한다. 이 핀 흐림 화상은 고정 포커스식의 대물 렌즈에서 특히 발생하기 쉽다.

도26은 고정 포커스 렌즈를 사용하여, 1 m 이상으로 초점을 맞춘 경우의 변조도(MTF)의 특성을 나타낸다. 도26으로부터 알 수 있는 바와 같이, 렌즈로부터 1 m 이상의 거리에 초점을 맞춘 경우에는, 1 m 이하의 거리에 있는 가까운 피사체에서는 초점이 맞지 않아 거리가 가까워질수록 흐림 폭이 확대되어 변조도의 저하 및 도24에 나타낸 색수차에 기인하는 신호 흐림이 발생하고 있다. 흐림 폭은 신호 파형의 수직 위치로부터의 경사의 크기에 대응하고 있다. 반대로, 렌즈로부터 예를 들어 30 ㎝ 정도의 가까운 피사체에 초점을 맞춘 경우는, 렌즈로부터 1 m 이상의 먼 피사체의 화상 흐림이 발생한다. 또한, 피사체에 초점이 맞추어져 있는 화상에서도, 도24에 나타내는 바와 같이 센서의 주변, 즉 렌즈의 주변 부분에서는 색수차(배율 색수차)가 발생하기 쉽다. 또한, 전술한 바와 같이 렌즈의 중심에서도 축상 색수차에 의해 위색 착색이 발생하는 경우도 있다.

또한, 국제 공개 WO 2006095110호의 팜플렛에는 피사계 심도를 깊게 하는 고체 촬상 장치가 개시되어 있지만, 렌즈의 색수차의 과제에 대한 대책이 실시되어 있지 않으므로 화상에 위색이 발생될 문제가 있고, 앞의 과제에의 대책이 실시되었 다고 해도 여러 피사체 조건에 대응할 수 없어, 충분한 해상도나 해상도감, 컬러 재생 화상이 얻어져 있지 않다.

본 발명의 일 실시 형태에 따른 촬상 장치는, 광을 집광하기 위한 광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한, 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 적어도 R(적색), G(녹색), B(청색)의 파장 성분으로 분리하여 생성한 적어도 3개의 R 신호, G 신호, B 신호를 처리하는 신호 처리 수단을 포함하는 촬상 장치이며,

상기 광학 렌즈는 광의 파장에 의한 분산율이 큰 렌즈 재질을 이용함으로써 파장에 의한 초점 위치의 차를 크게 한 광학 렌즈 수단과,

상기 신호 처리 수단에 있어서, 센서부로부터의 출력 신호로부터 윤곽 신호를 추출하는 윤곽 신호 생성 수단을 구비한다.

본 발명에 따른 촬상 장치는, 상술한 종래의 과제를 극복하면서 여러 피사체의 조건에 대응할 수 있으므로, 충분한 해상도나 해상도감, 컬러 재생 화상을 얻을 수 있다.

이하, 도면을 참조하여 본 발명의 촬상 장치의 실시 형태로서, CMOS 이미지 센서에 적용한 경우를 예로 들어 설명한다. 설명시에, 전체 도면에 걸쳐 공통되는 부분에는 공통되는 참조 부호를 붙인다.

<제1 실시 형태>

도1은 제1 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 렌즈와 함께 나타내는 블록도이다. 이 CMOS 이미지 센서는 센서부(11), 라인 메모리(12), 색 상관 RGB 생성 회로(13), 신호 처리 회로(14), 시스템 타이밍 발생 회로(SG)(15), 커멘드 디코더(16) 및 직렬 인터페이스(직렬 I/F)(17)를 구비하고 있다. 부호 18은 집광한 광신호를 센서부(11)에 입력하는 렌즈이다.

센서부(11)에는 화소부(111) 및 칼럼형 아날로그 디지털 컨버터(ADC)(112)가 배치되어 있다. 화소부(111)는 화소가 반도체 기판 상에 행 및 열의 2차원적으로 배치된 어레이를 갖는다. 각 화소는 광전 변환 수단(예를 들어, 포토다이오드)과 색 필터로 구성되고, 포토다이오드의 수광면의 전방면에는 R(적색), G(녹색), B(청색)의 3색의 컬러 필터가 배치된다. 색 필터 배열은, 여기서는 RGB 원색의 베이어 배열을 갖는 색 필터를 이용하고 있다.

센서부(11)는 렌즈(18)를 통해 입력된 피사체의 광신호를 컬러 필터에서 RGB 성분의 광신호로 분리하고, 포토다이오드 어레이에서 광전 변환에 의해 신호 전하를 생성한다. 이 신호 전하는 칼럼형 ADC(112)에서 디지털적인 신호(R 신호, G 신호, B 신호)로 변환되어 출력된다. 센서부(11)로부터 출력된 신호는 라인 메모리(12)에 입력된다. 여기서는 색 필터 배열이 ADC(112)에 대해 7열 병렬로 배치되어 있으므로, 시스템 타이밍 발생 회로(15)로부터의 클록에 의해 이 7열의 색 필터에 대응하는 7열의 포토다이오드 어레이로부터의 센서 출력이 순차 출력되어, 라인 메모리(12) 내의 7라인분의 라인 메모리 1 내지 라인 메모리 7에 순차 기억된다. 이 메모리 1 내지 메모리 7에 기억된 신호는 시스템 타이밍 발생 회로(15)로부터의 클록에 의해 색 상관 RGB 생성 회로(13)에 병렬로 순차 출력된다.

색 상관 RGB 생성 회로(13)는 제1 가산부(131), 평균 비율 산출부(132), RGB 생성부(133), 에지 처리부(134), 신호 합성부(135), 대역 통과 필터(BPF)(136), 진폭 강조부(137), G 보간·윤곽 처리부(130), 윤곽 신호 추출부(139) 등을 갖는다.

제1 가산부(131)에서는 라인 메모리(12)로부터 병렬로 입력된 신호(R 신호, G 신호, B 신호)를 기초로 하여 제1 가산 신호(S)를 생성한다. 그리고 평균 비율 산출부(132)에서는 가산 화소의 주변 화소의 색 정보를 기초로 하여 R 신호, G 신호, B 신호 각각과 제1 가산 신호(S)와의 평균 비율 계수를 산출한다. 그리고 RGB 생성부(133)에서는 평균 비율 계수와 제1 가산 신호(S)로부터 화소 배열의 동일한 위치의 신호로서 새로운 Rs, Gs, Bs 신호를 생성한다. 이 Rs, Gs, Bs 신호를 베이어 배열로 생성해도 좋다. 이러한 처리는 종래의 색 분리 보간 회로에 있어서의 처리 대신이 되어, 에지 부분의 색 변화나 색 노이즈를 억압한다.

RGB 생성부(133)에서 처리된 Rs, Gs, Bs 신호는 후단의 신호 처리 회로(14)에 입력되고, 화이트 밸런스, 윤곽 강조, 감마(γ) 보정 및 RGB 매트릭스 회로 등에 의해 처리되어 YUV 신호 형식이나 RGB 신호 형식의 디지털 신호(DOUT0 내지 DOUT7)로서 출력된다. 또한, 전술한 센서부(11), 라인 메모리(12)에 부가하여 색 상관 RGB 생성 회로(13) 및 신호 처리 회로(14)의 동작도 시스템 타이밍 발생 회로(SG)(15)로부터 출력되는 클록 신호를 기초로 하여 행해진다. 이때, 각 회로의 처리 파라미터 등을 커멘드에 의해 제어할 수도 있다. 예를 들어, 외부로부터 입력되는 데이터(DATA)가 직렬 인터페이스(직렬 I/F)(17)를 통해 커멘드 디코더(16)에 입력되고, 디코드된 신호가 시스템 타이밍 발생 회로(15), 라인 메모리(12), 색 상관 RGB 생성 회로(13), 신호 처리 회로(14)에 입력됨으로써 외부 입력 데이터(DATA)에 의해 처리 파라미터 등을 제어할 수도 있다.

그런데 제1 가산부(131)에 있어서 라인 메모리(12)로부터 병렬로 입력된 신호의 4 화소분 이상(여기서는, 3×3 화소 배열의 9 화소분)을 가산하여 제1 가산 신호(S)가 생성된다. 이 가산 신호(S)는 화소 피치에 대응하는 고주파 성분을 포함하고 있지 않으므로 에지 신호가 완만해진다. 그래서, 제1 가산 신호(S)의 경사 부분의 신호 변화가 소정의 기준보다 완만한 경우를 검출하여 신호 변화를 급준하게 하기 위한 흐림 보정 처리를 흐림 보정 회로(140)에서 실시한다. 또한, 제1 가산부(131)에 의한 가산 처리와 병행하여, 우선 G 보간·윤곽 처리부(130)에 있어서 가산 전의 신호에 대해 G 보간 처리 및 윤곽 처리를 실시한다. 그리고 상기한 G 보간 처리를 실시한 신호로부터 고주파 성분의 S 윤곽 신호(고해상도 신호)를 S 윤곽 신호 추출부(139)에서 추출하여, 이 S 윤곽 신호를 신호 합성부(135)에서 가산부(131)로부터의 제1 가산 신호(S)에 가산 혹은 승산하여 합성 신호(Sa)를 생성한다.

또한, 흐림 보정부(140)에서의 제1 가산 신호(S)로부터 대역 통과 필터(BPF)(136)에 의해 중간의 주파수를 추출하여 진폭 강조부(137)에서 진폭 강조한 후에 신호 합성부(135)에서 제1 가산 신호(S)에 가산 혹은 승산하는 것이 바람직하 다. 이에 의해, 제1 가산 신호(S)의 중간 주파수의 MTF의 변조도를 향상시켜 해상도감을 향상시킬 수 있다.

또한, 회로(132)에 있어서의 평균 비율 계수의 산출시에, 신호의 절환 에지에서의 비율 계수의 오차에 의해 색 재현성이 열화될 우려가 있다. 이 열화의 대책으로서 라인 메모리(12)로부터 입력된 신호의 비율 계수를 고(Hi) 레벨, 중(Mid) 레벨, 저(Lo) 레벨로 분리하여 산출하고, 비율 계수의 Hi 레벨 혹은 Lo 레벨을 에지 처리부(134)에서 선택하여 새로운 R 신호, G 신호, B 신호를 생성하고 있다. 이 비율 계수의 선택은 회로(139)로부터의 S 윤곽 신호 및 회로(140)로부터의 흐림 보정 처리로부터 추출한 신호를 기초로 하여 절환하고 있다.

상기한 제1 실시 형태에 따르면, 각 화소의 신호에 단독 화소에 기인하는 랜덤 노이즈가 존재해도 회로(131)에 있어서 3×3 화소 배열에 대해 제1 가산 신호(S)를 생성함으로써 제1 가산 신호(S)에서는 랜덤 노이즈가 저감되어 S/N을 향상시킬 수 있다. 또한, 각 화소와 동일 위치의 화소의 신호로서 공통의 제1 가산 신호(S)로부터 Rs, Gs, Bs 신호를 생성함으로써 Rs, Gs, Bs 신호의 랜덤 노이즈 성분이 동일해진다. 따라서 디모자이킹(Demosaicking)에 의한 위색 억압 회로가 불필요해져 에지에 기인하는 위색을 억제할 수 있다. 즉, 휘도 노이즈밖에 발생되지 않으므로 단색의 색 노이즈를 억압할 수 있다.

또한, 하나의 가산 신호(S)로 Rs, Gs, Bs 신호를 생성하고 있으므로, 신호 처리 회로(14)에 있어서 색 재현성을 개선하기 위한 컬러 매트릭스 연산에 의해 신호를 감산 처리하여 새롭게 RGB 신호를 생성해도 각 신호에 포함되는 랜덤 노이즈 가 동일 위상으로 되어 노이즈는 증가하지 않는다.

또한, 제1 가산 신호(S)의 중역 주파수 성분을 추출하여 진폭 강조부(137)에서 진폭 강조한 신호를 제1 가산 신호(S)에 가산함으로써 해상도감을 향상시킬 수 있다.

도2의 (b)는 도1 중의 색 상관 RGB 생성 회로(13)에 있어서 전술한 G 신호의 보간 처리를 행하는 G 보간 처리 회로(130)의 동작의 일례를 나타낸다. 여기서는, R,B 화소 위치에 각각 G 신호를 생성한다. 이하, 도2의 (a)에 나타내는 3×3 화소 배열의 중심 위치인 R3 화소(보간 대상)의 위치에 보간용 G 신호(gm)를 생성하는 방법을 도2의 (b)에 나타낸다. 우선, R3 화소에 인접하는 4개의 G 화소(= G1, G2, G4, G5 화소)의 신호 레벨의 최대치(Gmax)와 최소치(Gmin)를 판정하고, 스텝 S1에 있어서 그 차분의 신호(Gd)(= Gmax - Gmin)를 구한다. 스텝 S2에 있어서 이 차분 신호(Gd)를 소정의 판정 레벨(LevN)과 비교하여, Gd가 LevN보다 작다고 판정한 경우 스텝 S5에 있어서 G 신호(gm)로서 4개의 G 신호의 평균치 = (G1 + G2 + G4 + G5)/4를 생성한다. 상기 판정 레벨(LevN)은 랜덤 노이즈 레벨을 상정하고 있다. 차분 신호(Gd)가 LevN보다 크다고 판정한 경우, 다음의 스텝 S3에 있어서 또한 R3 화소에 종방향으로 인접하는 2개의 G1, G5 화소의 신호의 차분 신호의 절대치 ABS(G1 - G5)를 LevN과 비교하여, ABS(G1 - G5)가 LevN보다 작다고 판정한 경우에는 스텝 S6에 있어서 G1, G5 화소의 신호의 평균치 = (G1 + G5)/2를 생성하여 보간한다. 이에 대해, ABS(G1 - G5)가 LevN보다 크다고 판정한 경우는 스텝 S4로 이행하여, R3 화소에 횡방향으로 인접하는 2개의 G2, G4 화소의 신호의 차분의 절대치 ABS(G2 - G4)가 LevN보다 작은지 여부의 판정을 행한다. 절대치 ABS(G2 - G4)가 LevN보다 작다고 판정한 경우는, 스텝 S7에 있어서 G2 신호와 G4 신호의 평균치 = (G2 + G4)/2를 생성하여 보간한다. R3 화소의 종방향, 횡방향에 상관이 없는 경우에는 스텝 S8로 진행하여, R3 화소의 주변의 R1, R2, R4, R5 화소의 신호와 R3 화소의 신호의 차분 신호의 절대치 ABS(R1 - R3) = R13, ABS(R2 - R3) = R23, ABS(R4 - R3) = R43, ABS(R5 - R3) = R53을 산출한다. 이 4개의 차분 신호의 절대치(R13, R23, R43, R53)의 산출 결과로부터, 스텝 S9에 있어서 차분 신호가 최소(Rmin)인 화소의 위치(최소 화소 위치)를 결정한다. 그리고 G 신호(gm)로서 최소 화소 위치와 동일한 방향의 화소의 신호를 이용한다. 예를 들어, R3 화소의 주변의 R1, R2, R4, R5 화소 중에서 R2 화소의 신호와 R3 화소의 신호의 차분이 가장 작은 경우에는, R2 화소와 R3 화소의 중간에 위치하는 G2 화소의 신호로 보간한다. 이러한 처리에 의해 고해상도의 G 신호(gm)를 보간할 수 있다.

또한, 4개의 차분 신호의 절대치(R13, R23, R43, R53)가 모두 LevN보다 작은 경우는, 4개의 G 신호의 평균치 = (G1 + G2 + G4 + G5)/4로 보간함으로써 S/N을 개선할 수 있다. 이 G 보간 처리의 방법은, 본 예 이외에도 적용할 수 있다.

여기서, G 보간 처리 회로(130)는 도2의 (b)에 나타내는 흐름도로 나타내어진 동작을 행하도록 프로그래밍된 소프트웨어를 이용하여 실행하는 컴퓨터라도 좋고, 혹은 도2의 (b)에 나타내어진 각 스텝의 동작을 행하도록 조립된 독립된 회로를 조합하여 구성해도 좋다. 또한, 이하에 순차 동작 방법을 설명하는 색 상관 GBR 생성 회로(13) 내의 각 블록 회로도 그 방법을 실현하도록 구성한 소프트웨어 를 이용하여 컴퓨터에 의해 실현해도 좋고, 혹은 디스크리트 회로의 조합에 의해 구성된 회로를 이용해도 좋다.

도3은 도1 중의 색 상관 RGB 생성 회로(13)에 있어서 G 윤곽 신호를 생성하는 방법의 일례를 나타낸다. 도2의 (b)에 나타낸 방법에 의해 보간을 위해 생성한 G 신호를 이용하여 G 윤곽 신호를 생성한다. 예를 들어, 도3에 나타내는 5×5 화소 배열 P31 내의 굵은 선 내의 3×3 화소 배열 P32의 중심 위치인 G33 화소에 대해서는, G33 화소의 신호 레벨을 8배하고, G22, g23, G24, g32, g34, G42, g43, G44 화소의 각 신호 레벨을 -1배하여 가산한 신호 G33'를 G 윤곽 신호로서 생성한다. 이 G 윤곽 신호 G33'는 균일 피사체에서는 발생하지 않고(제로), 센서(11)의 표면에 세로 줄무늬, 가로 줄무늬 등의 패턴이 발생된 경우에는 발생한다. 다른 윤곽 생성 방법으로서, G 신호를 저주파 영역 통과 필터(LPF)에서 고주파 신호를 제거하고 원래의 고주파 신호를 포함한 G 신호와의 제산을 실시함으로써, LPF보다 낮은 저주파 영역에서는 결과가 1로 된다. LPF보다 높은 고주파 신호는 1보다 크거나 혹은 작은 결과가 얻어진다. 따라서 제산의 결과가 1 이외가 되는 신호가 고주파 신호이며, 이 신호를 윤곽 신호로서 추출할 수 있다. 이 추출한 신호를 최적의 윤곽 신호 레벨로 진폭 조정하여, 원래의 신호에 승산함으로써 윤곽 강조한 합성 신호를 생성할 수 있다. 윤곽 신호의 생성 방법은 또 다른 방법도 적용할 수 있다.

도4 및 도5는 도1 중의 색 상관 RGB 생성 회로(13)에 있어서의 기본적인 처리 방법 및 피사체의 에지 영역(피사체로부터 얻은 신호가 급격하게 변화하는 영 역)에 대해 실시하는 처리 방법의 일례를 나타낸다.

우선, 5×5 화소 배열 혹은 7×7 화소 배열의 중심 화소(T 화소)(여기서는 5×5 화소 배열 P41 내의 중심 화소 : T 화소)를 중심으로 3×3 화소 배열 P42의 필터 연산을 실시한다. 이때, 도시한 바와 같이 3×3 화소 배열 P42의 T 화소의 신호를 4배하고, T 화소에 인접하는 상하 좌우의 화소의 신호를 2배하고, 3×3 화소 배열의 코너부의 화소의 신호를 1배하고, 이들을 합계한 신호 레벨을 1/16로 한다. 이와 같이 하여 얻어진 신호를 T 화소의 가산 신호(S0)로 한다. 그 후, 가산 신호(S0)에 BPF(136)로부터의 신호와 S 윤곽 회로(139)로부터의 신호를 합성부(135)에서 합성하여 Sa 신호를 생성한다.

한편, 가산 신호 S1 내지 S8의 평균치(Save)를 생성하고, RGB 베이어 배열로 이루어지는 5×5 화소 배열 혹은 7×7 화소 배열(여기서는 5×5 화소 배열)의 각 신호 중 동일한 색의 화소 신호의 평균치를 각각 Rave, Gave, Bave로 하여 산출한다. 신호 Save는 Hi, Mid, Lo의 각 Rave, Gave, Bave를 가산한 신호로 한다. 그리고 피사체 화상의 에지 부분의 신호(에지 신호)를 에지 처리부(134)에 의해 검출하고, 에지 부분에 에지 처리를 실시한다. 에지 처리시에는, 5×5 화소 배열 혹은 7×7 화소 배열(여기서는 5×5 화소 배열)의 동일 색의 전체 신호의 평균치를 비율 계수로서 단순하게 이용하는 것이 아니라, R 신호, G 신호, B 신호의 비율 계수를 대, 중, 소 레벨로 분리하여 산출하고, 신호의 에지 영역에서는 신호의 대 레벨 혹은 소 레벨에 대응하여 산출한 비율 계수를 이용하고, 신호의 평탄 영역에서는 중 레벨에 대응하여 산출한 비율 계수를 이용한다.

상기한 바와 같이 R 신호, G 신호, B 신호의 비율 계수를 대, 중, 소 레벨로 분리하여 산출할 때, R, G, B 신호의 각각의 비율 계수의 재배열 처리를 행한다. 예를 들어, 도5에 나타내는 바와 같이 5×5 화소 배열 P51의 각 화소 RGB 각각의 신호를 그 레벨에 따라서 소에서 대로 차례로 배열한다. 예를 들어 화소 B에 대해 최소 레벨 화소 B1로부터 최대 화소 B4의 순으로 배열한다. 그리고 Hi 레벨 2 화소의 R, G, B의 평균치 Rave, Gave, Bave를 각각 산출한다. 여기서, 3 화소의 평균치를 산출해도 좋다. 마찬가지로, Mid 레벨의 2 화소 혹은 3 화소의 R, G, B의 평균치 Rave, Gave, Bave를 산출한다. 여기서는 화소 R의 Mid 레벨이 3 화소 평균이며, 그 외는 화소 평균을 산출하고 있다. 마찬가지로, Lo 레벨의 2 화소 혹은 3 화소의 R, G, B의 평균치 Rave, Gave, Bave를 산출한다. 그리고 가산 신호의 평균치 Save는, 도4에 나타내는 바와 같이 각각의 Hi, Mid, Lo 레벨의 각 평균치를 가산(Save = Rave + Gave + Bave)하여 산출한다. 또한, 상기한 에지 영역에 대한 처리의 대상으로 되는 화소수는 2 화소, 3 화소에 한정되지 않는다.

그리고 상기 평균치 Rave, Gave, Bave 및 이들을 가산한 평균치 Save를 기초로 하여 제2 가산 신호(Sa)에 대응한 3개의 비율 계수 Ka(= Rave/Save, Gave/Save, Bave/Save)를 산출한다. 그리고 RGB 생성부(133)에 의해 신호 Ka와 Sa를 이용하여 새로운 신호 Rs(= Sa*Rave/Save), Gs(= Sa*Gave/Save), Bs(= Sa*Bave/Save)를 생성한다. 이때, S 윤곽 신호가 Hi(플러스)일 때에는 Hi 레벨의 비율 계수를 이용하여 새롭게 Rs, Gs, Bs 신호를 생성한다. S 윤곽 신호가 Lo(마이너스)일 때에는 Lo 레벨의 비율 계수를 이용하여 새롭게 Rs, Gs, Bs 신호를 생성한다. 이와 같이 S 윤 곽 신호의 Hi, Lo를 산출하여 Rs, Gs, Bs 신호를 생성 처리함으로써, 색수차에 의해 R, G, B의 최고 해상도가 얻어지는 위치가 어긋나 있어도 에지 영역의 위색 신호 발생을 억압할 수 있다.

도6의 (a) 내지 도6의 (h)는 도1 중의 색 상관 RGB 생성 회로(13) 내의 흐림 보정 회로(140)에 있어서 제1 가산 신호(S)의 흐림 보정을 행하는 처리의 일례를 나타낸다. 도6의 (a)는 센서부(11) 내의 화소에 의해 나타내어지는 신호 이미지를 나타내고 있고, 사선 부분은 가산 처리에 의해 신호 파형이 완만하게 경사져 있는 영역을 나타내고 있다. 도6의 (a) 중의 G-G'선을 따르는 화소열에 대응하여 나타내는 G-G' 신호 파형과 같이, 도면 중 좌측(G측)으로부터 도면 중 우측(G'측)으로 완만하게 신호 레벨이 상승하고 있다. 여기서, 도6의 (b)에 나타내는 바와 같이 3×3 화소 배열 P61 내의 중심 영역의 화소에 착안하여, 10×10 화소 배열 P62의 중심 위치(5, E)의 화소의 신호를 D0으로 하고, 비스듬히 4 방향에 인접하는 화소의 신호를 D1 내지 D4로 한다. 그리고 이 D1 내지 D4에 대해 도6의 (c)에 나타내는 바와 같은 판정 조건에 의해 경사 판정을 실시한다. 즉, D0과의 차분이 소정의 판정 레벨(LevN)보다 작은 경우는, 도6의 (d)에 나타내는 바와 같이 7×7 화소 배열 P63에 있어서 경사가 없는 경우라 판정하여 0(제로)으로 하고, 경사가 있는 경우를 1로 한다. 이러한 경사 판정의 결과를 기초로 하여, 우선 이 7×7 화소 배열 P63 내의 중앙부의 3×3 화소 배열의 영역에서 0의 유무를 판정한다. 0이 없는 경우는 판정 영역을 5×5 화소 배열로 넓힌다. 최대 영역은 자유롭게 설정할 수 있다. 이 5×5 화소 배열에 0이 있는 경우는, 이 0의 위치의 신호로 치환한다. 0이 복수 화소 있는 경우는, 평균치 처리나 미디언 처리를 행하여 치환한다. 0의 신호가 대 신호와 소 신호가 포함되는 경우는 포함되는 개수가 많은 쪽을 선택한다. 이 처리를 순차 선택함으로써, 도6의 (e)에 나타내는 바와 같이 완만한 경사를 개선한 신호가 얻어진다. 만일, 도6의 (d) 중의 5×5 화소 배열의 영역에 0이 없는 경우는, 가산 처리에서 발생한 경사가 아니라 원래의 피사체 자체의 완만한 경사라 판단하여 신호를 치환하지 않고 그대로 이용한다.

도6의 (f)는 비율 계수의 Hi, Lo 판정 방법의 일례를 나타낸다. 도6의 (d)의 판정 결과 1의 신호 D(1)에 대해 주변 판정 결과 0의 신호 D(0)과의 대소 판정을 실시하여, D(0)이 큰 경우는 +1이라 하고, 작은 경우는 -1이라 판정한다. 그 결과, G-G'의 비율 계수는 도6의 (g)에 나타내는 바와 같이 되어, 예를 들어 도6의 (h)에 나타내는 G-G' 신호 파형과 같이, 판정 결과 0, -1, +1, 0 …에 따라서 Mid, Lo, Hi, Mid, …로 사용하는 계수가 정해진다.

도7의 (a) 내지 도7의 (j)는 도1에 도시한 CMOS 이미지 센서에 있어서의 각 부의 신호 처리의 흐름을 나타낸다. 여기서는, 신호 처리의 원리를 알기 쉽게 하기 위해, 센서부(11)로부터 출력되는 R, G, B 신호는 동일 위상에서 출력되어 있도록 1 라인분을 빼낸 신호 파형을 나타내고 있다. 이 신호를 수평 방향으로 1, 2, 1의 가중치로 필터 처리를 행하여 S/N이 개선된 신호 S를 얻는다. 그러나 이 신호 S는 신호의 절환 에지 부분이 완만하게 되어 버리므로, 한계 해상도의 영역에서는 변조도가 제로로 되어 신호 변화를 검출할 수 없다.

그래서, 도2의 (a), 도2의 (b) 및 도3을 참조하여 전술한 바와 같이 생성된 G 윤곽 신호를 S 윤곽 신호로서 이용하고 있다. 그리고 이 S 윤곽 신호를 신호 S에 가산함으로써, 원래의 G 신호와 동일한 고해상도의 Sa 신호가 얻어진다. 이때, S 윤곽 신호의 신호 레벨은 해상도감에 대응하여 조정하도록 해도 좋고, S 윤곽 신호의 레벨을 크게 하여 가산함으로써 윤곽 강조의 효과가 얻어진다.

또한, 전술한 바와 같이 센서부(11)로부터 출력되는 RGB 신호는 렌즈(18)에 의한 색수차로 인해 신호 위상이 어긋나 출력되어 있다. S 윤곽 신호는 전술한 G 윤곽 신호를 이용하고 있지만, 작은 윤곽 신호 레벨은 노이즈라고 판단하여 S 윤곽 신호로부터 삭제하고, 큰 신호만을 S 윤곽 신호로 하고 있다. 또한, 윤곽 레벨을 조정하여 S 신호에 가산하고 있다. 가산한 신호 S는 RGB의 각 신호를 가산하고 있다. 이로 인해, 도7의 (e)에 나타내는 바와 같이 저주파 영역에서는 신호 변화 부분에서 신호의 경사가 완만하게 되어 있고, 고주파 영역에서는 신호의 변화 레벨(변조도)이 작게 되어 있다. S 신호에 흐림 보정을 실시한 도7의 (f)에 나타내는 Sb 신호는 저주파 영역의 에지 흐림을 개선하고 있다. 고주파 영역에서는 완만한 경사로 되어 있지 않으므로 S 신호가 그대로 출력된다. 이 Sb 신호에 S 윤곽 신호를 가산한 도7의 (g)에 나타내는 신호 Sa는, 신호의 에지 부분이 강조되어 해상도감을 개선하고 있다.

도6의 (a) 내지 도6의 (h) 중에 나타낸 바와 같이, 생성한 신호와 S 윤곽 신호로부터 얻어진 극성을 합성한 신호는 비율 계수 선택 신호로 되어 있고, 이 신호를 기초로 하여 신호 파형의 Hi, Mid, Lo의 비율 계수 Ka를 결정하고 있다.

여기서, 에지 영역의 비율 계수의 선택 방법의 일례를 설명한다. 도7의 (d) 에 나타내는 S 윤곽 신호 레벨이 플러스 혹은 마이너스일 때에는 에지 부분이라고 판정할 수 있다. S 윤곽 신호 레벨이 제로일 때에는 에지 부분이 아니라고 판정할 수 있다. 이 판정을 기초로 하여, 도4에 나타내는 에지 처리 회로(134)에 있어서 비율 계수 중으로부터 S 윤곽 신호가 플러스일 때에는 Hi 레벨의 평균치(Hi-ave)의 비율 계수를 선택하고, S 윤곽 신호가 마이너스일 때에는 Lo 레벨의 평균치(Lo-ave)의 비율 계수를 선택하고, S 윤곽 신호가 제로일 때에는 Mid 레벨의 평균치(Mid-ave)의 비율 계수를 선택한다. S 윤곽 신호가 소정 레벨보다 작을 때에는 신호 없음(제로)이라 판정하고 있다. S 윤곽 신호가 소정 레벨보다 클 때에는 윤곽 신호 있음이라 판정하여 플러스 혹은 마이너스의 신호를 유효하게 하고 있다. 또한, 상기와는 다른 처리 방법으로서 저역의 에지 영역에서 에지 신호를 판정하였을 때에는 도2에서 산출한 비율 계수는 인접한 비율 계수로 보간 처리할 수도 있다.

다음에, Sa 신호와 3개의 계수 Ka로부터 Rs, Gs, Bs 신호를 생성한다. 이 결과, 원래의 G 신호가 갖는 것과 거의 동일한 해상도 정보가 생성된다. 또한, 도7의 (c) 및 도7의 (j)로부터 명백한 바와 같이, Bs, Rs 신호의 에지는 Gs 신호와 위상이 동일해지므로 색 위신호는 발생되지 않는다. 또한, Rs, Gs, Bs 신호의 랜덤 노이즈와 R, G, B 신호는 상관을 갖고 있다(동일 위상으로 됨). 즉, 랜덤 노이즈에 의해 G 신호 레벨이 커지면 R, B 신호 모두 커지고, 랜덤 노이즈에 의해 G 신호 레벨이 작아지면 R, B 신호 모두 작아진다. 따라서 종래 발생하고 있었던 색 노이즈(도트 형상의 랜덤 노이즈)를 억압하는 것이 가능해져 노이즈는 휘도 노이즈 만이 된다.

도8의 (a) 및 도8의 (b)는 도1 중의 색 상관 RGB 생성 회로(13)에 있어서 제1 가산 신호(S)의 중주파수 영역(중역)의 신호 진폭을 확대(강조)하는 방법의 일례를 나타낸다. 도8의 (a)에서는 제1 가산 신호(S)로부터 BPF 처리를 이용하여 중역 신호를 추출하는 방법을 나타낸다. 예를 들어, 5×5 화소 배열 P81 내의 3×3 화소 영역 P82의 중심 화소인 신호 S33에, 3×3 화소 영역 P82의 각 화소에 대응한 계수(4, 2, 1)를 승산하고 가산한다. 그리고 가산 전후에서 신호 레벨이 동일해지도록 가산 후에 1/16로 하고, 이 강조 신호를 새롭게 중심 화소인 신호 S33'로 한다.

도8의 (b)는 3×3 화소 영역 P82 중의 각 화소에 대해 상기와 마찬가지로 처리하여 강조 신호를 생성하는 방법을 나타낸다. 이와 같이 생성한 신호에, 도3을 참조하여 전술한 것과 동일한 윤곽 추출 처리를 함으로써 중역의 강조 신호 S33"를 추출한다. 이 신호 S33"를 도1 중의 진폭 강조부(137)에서 진폭을 제어하여 원래의 제1 가산 신호(S)에 가감산한다. 이에 의해, 중역 주파수의 진폭이 증가하여 해상도감이 향상된다. 이와 같이 진폭 강조를 실시해도, 본 실시 형태에서는 색 밸런스는 평균 비율 산출에 의해 별도로 실시하고 있으므로 색 재현성은 변화되지 않는다.

<제2 실시 형태>

도9는 제2 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블록도이다. 전술한 바와 같이 렌즈(18)에서 초점이 흐려진 화상으로부터 얻어지는 입 력 신호는 고해상도의 신호가 아니다. 그래서, 제2 실시 형태의 CMOS 이미지 센서에서는 렌즈(18)의 초점 흐림 대책을 실시하고 있고, 전술한 제1 실시 형태의 색 상관 RGB 생성 회로(13)와 비교하여 일부가 상이한 색 상관 RGB 생성 회로(13a)가 이용된다.

이하, 상이한 부분을 주로 설명한다. 색 상관 RGB 생성 회로(13a)에 있어서, 가산 회로(131)로부터의 제1 가산 신호(S)에 보정 회로(140)에서 흐림 보정 처리를 실시한 Sb 신호를 스위치 소자(141)에 의해 선택하여 S 윤곽 회로(139)로 도입하고, 이것을 이용하여 Sa 윤곽 신호를 생성하고 있다. 이 보정 회로(140)로부터의 Sb 신호를 이용함으로써 높은 S/N을 갖는 윤곽 신호가 생성된다. 물론, 제1 실시 형태와 마찬가지로 보간 처리 회로(130)로부터의 G 신호를 스위치 소자(141)에 의해 선택하여 S 윤곽 회로(139)에 부여하여 형성한 신호를 이용해도 좋고, 또는 Sb 신호로부터의 윤곽 신호와 G 신호로부터의 윤곽 신호를 합성하여 S 윤곽 신호에 이용해도 좋다. 다른 회로는 도1에 나타낸 것과 동일하며, 중복되는 설명은 생략한다.

상기 도9에 나타낸 제2 실시 형태에 따르면, 전술한 제1 실시 형태와 동일한 효과가 얻어진다. 게다가, 도11의 (a) 및 도11의 (b)를 참조하여 이후에 서술하는 RGB의 초점 위치가 상이한 렌즈(18a)를 사용하는 경우라도 신호 처리에 의해 의사적(擬似的)으로 피사계 심도를 깊게 할 수 있다.

<제3 실시 형태>

도10은 제3 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블 록도이다. 이 CMOS 이미지 센서는, S 윤곽으로서, Sb 신호로부터 생성한 윤곽 신호 Sb를 RGB 신호로부터 생성한 R 윤곽 신호, G 윤곽 신호, B 윤곽 신호와 합성하여 이것을 S 윤곽 합성 신호로서 이용하고 있다. 렌즈(18a)는 렌즈 설계에 의해 발생하는 축상 색수차[도11의 (a) 참조]를 갖는데, 이 축상 색수차를 적극적으로 활용하고 있다. 즉, 도11의 (b)에 나타내는 바와 같이 광 입력의 B 성분의 초점 위치를 30 ㎝ 전후로 하고, G 성분의 초점 위치를 50 ㎝ 내지 1 m, R 성분의 초점 위치를 1 m 이상의 피사계 심도가 얻어지도록 렌즈(18a)를 설계하고 있다. 그리고 광신호의 각 BGR의 초점 위치를 어긋나게 함으로써 피사계 심도를 상이하게 하고 있다.

이 CMOS 이미지 센서에서는, 도12에 나타내는 바와 같이 우선 각 RGB 신호의 5×5 화소 배열 P121, P122, P123의 각각에 대해 3×3 화소 배열에 있어서의 보간 처리(중심 화소를 상하 좌우의 4 화소의 평균치로 메우는 처리)를 도시한 바와 같이 실시한다. 이 보간한 각 화소 신호로부터 도2 혹은 도3과 동일한 처리에 의해 각 RGB 신호의 윤곽 신호를 추출한다. 추출한 신호를 가산함으로써, 가까운 피사체로부터 먼 피사체까지 해상도감이 있는 신호가 얻어진다.

제3 실시 형태에 따르면, 전술한 제1 실시 형태와 동일한 효과가 얻어진다. 게다가, 도11의 (a) 및 도11의 (b)에 나타내는 축상 색수차를 갖는 통상의 렌즈(18a)를 이용해도 신호 처리에 의해 피사계 심도를 깊게 설정할 수 있다.

<제4 실시 형태>

도13은 제4 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블 록도이다. 제4 실시 형태는 전술한 제3 실시 형태와 비교하여 렌즈(18a)는 동일한 것을 채용하고 있지만, 센서부(11b)의 일부, 색 상관 RGB 생성 회로(13b)의 일부가 상이하다.

이하, 상이한 부분을 주로 설명한다. 센서부(11b)의 색 필터 배열은 4×4 배열의 WRGB 필터를 기본으로 한 원색 필터(111)를 이용하고 있고, W 필터는 RGB의 신호를 투과하는 색 필터이다. 이에 의해, 센서부(11b)는 렌즈(18a)에서 집광한 광신호를 W, R, G, B 신호로 분리하여 2차원의 포토다이오드 어레이에서 신호 전하로 변환시키고, ADC(112)에서 디지털 신호로 변환하여 출력한다.

또한, 도13에 나타내는 바와 같이 RGB 필터 각각의 상하 좌우를 W 필터로 둘러싸는 배열로 되도록 W 필터를 바둑판 모양으로 배치해 둠으로써, 색 상관 RGB 생성 회로(13b)에서는 필터(111) 내의 4×4 화소 배열 중 어떠한 조합에서도 WRGB 화소의 개수가 동일한 가산 신호(S)를 얻고 있다. 또한, 보간 회로(130W)에 의한 W 신호의 보간 처리, 윤곽 회로(139W)에 의한 W 신호의 윤곽 추출을 실시하여 합성 회로(139S)에 의해 S 윤곽 신호를 얻고 있다. 이에 의해, 피사체의 위치에 따라서, W 신호의 윤곽 정보로서, 가까운 피사체는 B 신호로부터, 먼 피사체는 R 신호로부터의 윤곽 신호를 추출하고 있다.

제4 실시 형태에 따르면, 전술한 제1 실시 형태와 동일한 효과가 얻어진다. 이때, W 화소를 이용함으로써 S 신호량이 증가하기 때문에 촬상 감도가 향상된다.

<그 밖의 실시 형태>

상술한 각 실시 형태에서는 5×5의 화소 배열과 7×7의 화소 배열을 예로 들 어 설명하였지만, 화소수를 더욱 증가시킴으로써 더욱 높은 S/N, 고화질화를 실시할 수 있다.

또한, 윤곽 신호의 폭을 크게 추출하거나(복수 화소분), 복수 화소분의 큰 폭과 작은(예를 들어, 1 화소분) 폭의 신호를 합성한 윤곽 신호를 이용함으로써 흐림 보정 회로를 이용하지 않고 동등한 흐림 보정 효과를 얻을 수 있다.

또한, 컬러 카메라의 S/N의 열화의 요인 중 하나인 RGB 매트릭스 회로는, RGB의 색 재현성을 개선하기 위해 RGB의 행렬 연산을, 예를 들어 다음 연산식으로 실시하고 있다.

이 처리는 1개의 색에 대해 다른 2색을 감산하고 있다. 즉, 1개의 색에 다른 2색이 혼색되어 있는 양을 감산함으로써 1개의 색의 순도를 높여 색 재현성을 개선하고 있다. 상기 혼색의 요인에는 색 필터 자체의 분광 특성이나, 센서의 포토다이오드까지의 광학적인 크로스 토크(cross-talk)나, 센서부의 실리콘 기판 내에서의 신호의 확산 요인 등이 있다. 종래는 Rs, Gs, Bs의 신호의 노이즈가 랜덤이기 때문에, 상기 감산 처리에 의해 노이즈량이 증가하고 있었다.

이에 대해, 본 발명의 실시 형태에서는 Rs, Gs, Bs의 랜덤 노이즈가 동일 성분이므로, 상기 감산 처리에 의해 랜덤 노이즈를 저감하는 효과가 있다. 예를 들어 R 신호를 생성할 때, 랜덤 노이즈에 의해 Rs 신호가 커졌을 때 신호 Gs, Bs도 크게 되어 있다. 행렬 연산에 의해 R 신호는 Rs 신호로부터 Gs, Bs 성분을 감산하기 때문에, 랜덤 노이즈가 큰 만큼 큰 신호를 감산한다. 따라서 R 신호는 보다 큰 신호를 감산하고 있다. 상기와는 반대로, 랜덤 노이즈에 의해 Rs 신호가 작아졌을 때 신호 Gs, Bs도 작아진다. 행렬 연산에 의해, R 신호는 Rs 신호로부터 Gs, Bs 성분을 감산하지만 랜덤 노이즈가 작은 만큼 작은 신호를 감산한다. 따라서 R 신호는 신호의 저하가 작다. 이 결과, R 신호는 랜덤 노이즈를 작게 하는 효과가 있다. 마찬가지로 G, B 신호의 랜덤 노이즈도 작아진다.

또한, 본 발명의 촬상 장치는 색 필터 배열이 상이한 CMOS 이미지 센서에 적용한 경우라도, RGB 신호를 생성한 후에 동일한 가산 신호(S)의 생성과 RGB의 비율 산출을 기초로 하여 새로운 Rs, Gs, Bs를 생성함으로써 상기한 효과와 동일한 효과가 얻어진다.

또한, 본 발명의 촬상 장치는 CMOS 이미지 센서에 한정되지 않고, 그 밖의 CCD(전하 결합형) 센서나 적층형 센서에서도 적용할 수 있는 것 외에, 센서와는 다른 칩으로 형성되는 전용의 ISP(이미지 시그널 프로세서)에도 적용할 수 있다.

또한, 본 발명은 센서부에서, 예를 들어 10비트 ADC의 신호를 4 화소분 가산하여 S 신호를 생성하는 경우에 적용하면, S 신호는 가산 처리에 의해 실질 12비트의 고정밀도화가 가능해져 실질 포화 신호량이 4배로 된다. 또한, 4 화소분의 가산 처리에 의해 랜덤 노이즈는 약 1/2로 저감된다. 이와 같이 포화 신호량이 4배, 노이즈 저감이 1/2로 되면, 다이나믹 레인지(포화 신호량/랜덤 노이즈)를 8배로 확대하는 것이 가능해진다. 또한, 4×4 화소 배열의 16 화소분의 가산을 행하면 포 화 신호량이 16배, 랜덤 노이즈가 1/4로 저감되어, 다이나믹 레인지를 64배로 확대하는 가능해진다. 따라서 미세 화소로 포화 신호량이 저하되었다고 해도 실질 4 화소분을 가산하면 포화 신호량도 4배로 되므로, 포화 신호량이 실질적으로 종래의 1/4이라도 종래와 동일한 S/N이 얻어진다.

예를 들어, 포화 신호량이 10000 ele일 때에는, 샷 노이즈(포화 신호량의 제곱근)는 100 ele로 되어 S/N = 40 dB이 얻어진다. 포화 신호량이 2500 ele일 때에는 샷 노이즈는 50 ele로 되어 S/N = 34 dB이 된다. 그러나 본 발명을 적용하면 4 화소 가산으로 신호량이 4배인 10000 ele로 되고, 이때의 노이즈는 2배밖에 증대하지 않으므로 100 ele로 된다. 이 결과, S/N = 40 dB이 얻어진다. 따라서 포화 신호량이 실질적으로 1/4로 되어도 높은 S/N을 기대할 수 있다.

또한, 본 발명의 촬상 장치는 렌즈(18, 18a)의 색수차에 의한 화질의 열화를 회피할 수 있으므로 렌즈(18, 18a)의 F값을 작게 함으로써 고감도화를 실현할 수 있다. 또한, 렌즈(18)의 높이를 낮게 함으로써 카메라 모듈의 높이를 낮게 할 수 있다. 이 결과, 박형의 휴대 전화기에 대응한 소형 카메라 모듈을 용이하게 실현할 수 있다.

또한, 상기 실시 형태에서는 RGB 형식 혹은 WRGB 형식의 단판 컬러 카메라를 예로 들어 설명하였지만, 프리즘을 사용하여 3원색의 RGB 신호를 얻는 3판 컬러 카메라에서도 색수차가 발생하므로, 상기 실시 형태와 동일한 원리로 고감도화, 색수차 대책을 실시할 수 있다. 또한, 본 발명을 흑백 센서에 적용하여 윤곽 보정을 행한 경우에는, 신호의 증대와 노이즈 저감에 의해 감도를 높여 다이나믹 레인지를 확대할 수 있다.

여기서, 도13의 실시예의 WRGB의 컬러 필터(111)의 4×4 화소 배열 P141을 도14에 나타낸다. 도15는 이 종방향의 화소열 WGWG에 있어서의 센서부(11)의 단면도, 도16은 이 WRGB의 화소 필터의 분광 특성을 나타낸다. 도15에 있어서, 컬러 필터(111)의 전방면에는 렌즈(18a) 대신에 마이크로 렌즈(18b)가 화소마다 설치되고, 필터(111)를 통과한 광은 반도체 기판인 Si 기판(150)의 표면 영역에 형성된 화소마다의 포토다이오드(PDW, PDG)의 수광면에 초점을 맞추어 입사된다.

도16에 나타내는 바와 같이, W의 색 필터는 투명(백색)이므로 다른 RGB 필터보다 광 강도의 피크가 높고 모든 성분을 포함하기 때문에, 다이오드(PDW)로부터는 RGB의 전체 영역의 신호를 얻을 수 있다. 그러나 Si 기판(150) 내에서 광전 변환한 신호 전하가 확산함으로써 다른 색의 화소에 혼입하여 혼색이 발생한다. 게다가 W 화소 없음의 RGB의 분광 특성에 대해 신호 레벨이 상승하고 있다. 이 혼색의 영향으로 색이 옅어진다. 이로 인해, 색 재현성을 개선하기 위해 컬러 매트릭스 계수를 크게 함으로써 색 재현성을 개선한다. 그러나 이 매트릭스 계수가 크면 SNR이 커서 열화된다. 일반적으로 자신의 신호로부터 다른 색의 신호를 감산하기 때문에, 신호(S)가 작아지고 랜덤 노이즈(N)이 작아지지 않으므로 SNR이 열화된다. 또한, W 화소의 신호는 G 화소의 신호에 대해 약 2배 얻어진다. 그로 인해, W 화소가 포화되지 않는 감도 설정으로 하면, RGB 신호는 종래의 1/2로 작아지므로 광 샷 노이즈에 의해 3 dB 열화되는 과제가 있다. 또한, W의 투명한 색 필터를 그레이화함으로써 감도를 작게 할 수 있다. 이 결과, W 화소로부터의 혼색을 저감시키 는 방법이 있다. 그러나 이 방법은 W 화소를 사용한 고감도의 장점이 없어진다고 하는 문제를 파생시킨다.

(제5 실시 형태)

도17에 이 문제를 해결할 수 있는 실시예의 WRGB 컬러 필터의 4×4 화소 배열 P171을 나타낸다. 이 화소 배열은, 도18에 나타내는 바와 같이 바둑판 형상으로 배치한 W 화소의 면적을 작게 하고, 다른 R, G, B의 면적을 상대적으로 크게 하고 있다. 도19에 수평 방향으로 배열된 WGWG 화소에 대응하는 센서부(11c)의 단면도를 나타낸다. PDW, PDG의 수광면의 면적은 화소 WRGB에 대해 모두 동일한 면적으로 되어 있다. 이 면적은, 표준적인 색 온도를 상정한 경우에 발생하는 신호 전하량에 따라서 사이즈를 최적화해도 좋다. 도17의 평면도에 나타낸 화소 W에 대응하여, 도19에 나타내는 바와 같이 마이크로 렌즈(18c)와 색 필터(W)의 면적을 G보다 작게 설정하고 있다. 즉, 감도가 높은 W 화소의 면적을 작게 하고, W 화소보다 감도가 작은 G 혹은 R, B의 면적을 크게 하고 있다. 이 면적을 상이하게 함으로써, 표준적인 색 온도 예를 들어 5500 K일 때의 W 화소와 G 화소의 신호량을 동등하게 하고 있다. W 화소의 고감도화의 장점을 W 화소에 입사하는 면적을 작게 하고, 다른 R, G, B 화소의 면적을 크게 함으로써 고감도화를 실현할 수 있다. 마이크로 렌즈의 곡률은 면적이 큰 R, G, B 화소에 대응하는 마이크로 렌즈(18c)를 크게 하고, 면적이 작은 W 화소의 마이크로 렌즈(18c)의 곡률을 작게 하고 있다. 마이크로 렌즈의 곡률을 바꾸기 위해서는, 마이크로 렌즈의 형성을 W 화소는 1회로 형성하고, 면적이 큰 R, G, B 화소의 부분은 2회 이상으로 형성함으로써 실현할 수 있다. 도20에 분광 특성을 나타낸다. W 화소의 신호 레벨을 작게 하여, 그만큼 R, G, B 화소의 신호가 증가하고 있는 것을 알 수 있다. 입사하는 W 화소의 신호량이 감소하기 때문에, 파장 550 nm 이상의 R, G의 신호의 주변부의 레벨 부유(혼색)가 저감되어 있다. 이 결과, 색 재현성을 개선하기 위한 컬러 매트릭스 계수를 작게 할 수 있어 SNR의 열화를 저감하고 있다.

이와 같이, 고감도화를 위해 이용하는 투명(백색)한 색 필터는 G 신호의 약 2배의 감도를 갖는다. 따라서 신호의 밸런스가 무너지는 문제나, W 화소로부터의 누설에 의해 혼색이 커져 색 재현성 개선을 위한 컬러 매트릭스 계수가 커지기 때문에 SNR이 열화되는 문제가 있었지만, 본 실시예는 고감도의 백색 화소의 면적을 작게 하고, 그만큼을 다른 RGB색 화소의 면적을 크게 함으로써 색 신호의 SNR을 개선하는 동시에 W와 G 화소의 신호 레벨이 동일해지도록 조정할 수 있다. 그 결과, 컬러 매트릭스 계수를 작게 할 수 있으므로 SNR의 열화를 회피할 수 있다.

즉, W 화소를 작게 함으로써, Si 기판(150) 내에서 발생되는 혼색을 저감할 수 있으므로 컬러 매트릭스 처리에 의한 SNR 열화를 저감할 수 있다. 또한, 다른 RGB 화소의 실효적인 광이 입사하는 면적을 크게 함으로써 감도가 높아지므로 SNR을 개선할 수 있다.

도21의 (a) 내지 도21의 (c)에 본 발명의 실시에 이용하는 렌즈 구성의 예를 나타낸다. 도21의 (a)는 렌즈 개구 조리개가 F2.8인 경우의 일반적인 초점면의 결상 상태를 나타내고 있다. 도21의 (b)에 개구 조리개를 F2.0으로 작게 한 경우를 나타낸다. 일반적으로, F값을 작게 하면 초점 위치에 있어서의 입사광과 광축과의 각도가 커지므로, 초점 심도가 좁아지기 때문에 초점이 맞는 피사체의 거리가 좁아진다. 도21의 (c)에 특히 본 발명의 실시에 적합한 초점 심도를 깊게 한 렌즈의 예를 나타낸다. 렌즈의 구면 수차를 이용하고 있다. 도21의 (c)에서는 F2.8인 렌즈 개구 영역보다 F2.0을 사용하였을 때에 넓어지는 개구 영역의 영역에서 중앙 영역보다 초점 거리를 길게 설정함으로써 초점 심도를 깊게 하고 있다. 즉 렌즈의 색수차와 또한 구면 수차를 이용하고 있다. 구면 수차는 렌즈 형성시에 링 형상 또는 상하 혹은 좌우에서 초점 거리를 다르게 하여 형성함으로써 실현할 수 있다. 통상, 개구 F값을 작게 하면 초점 범위가 좁아진다. 이로 인해 색수차를 더욱 저감하도록 렌즈를 설계하면, 렌즈 매수가 증가하고 있었다. 도21의 (c)의 렌즈에서는, 반대로 색수차를 크게 함으로써 초점 심도를 깊게 할 수 있어 색수차를 저감하지 않아도 되므로, 렌즈 매수를 적게 할 수 있다. 렌즈 매수가 적어짐으로써 카메라 모듈의 높이도 낮게 할 수 있다. 또한, 렌즈 조리개 F2.0으로 함으로써 F2.8에 대해 약 2배의 광량이 얻어지므로(F값의 2 제곱비로 증가) 고감도화를 실현할 수 있다.

여기서, 도22의 (a) 및 도22의 (b)를 참조하여 본 발명에 이용되는 렌즈의 재료에 대해 서술한다. 도22의 (a)는 대표적인 색수차를 없앤 렌즈의 구성을 나타낸다. 이 색수차를 없앤 렌즈는, 1733년에 영국의 수학자 홀이 저굴절률 저분산 렌즈(L1)를 고굴절률 고분산 렌즈(L2)와 조합함으로써 초점 위치에서의 색수차 저감을 실현하는 방법으로서 발명되었다. 여기서, 고분산이라 함은 파장의 차이에 의한 굴절률의 차가 큰 것을 의미하고, 저분산이라 함은 파장의 차이에 의한 굴절 률의 차가 작은 것을 의미하고 있다.

색수차를 크게 하기 위해서는, 도22의 (b)에 나타내는 바와 같이 2매의 렌즈 재료를 동일한 것을 이용함으로써 색수차를 발생시킬 수 있다. 예를 들어, 고굴절률 고분산 재료를 사용하여 2개의 렌즈(L1, L2)를 형성함으로써, 이 L1, L2 조합 렌즈로부터의 초점 위치를 짧게 할 수 있고 색수차도 크게 할 수 있다. 재료도 1종류이므로 재료의 비용 저하에도 기여할 수 있다.

도23에 본 발명을 휴대 전화 등에 사용되고 있는 카메라 모듈에 적용한 일례의 단면도를 나타낸다. 센서 칩(231)은 유리 에폭시 등의 기판(232) 상에 접착제로 고정되어 있다. 센서 칩(231)의 PAD로부터 와이어(233)에 의해 기판(232)의 단자에 접속되어 있다. 도시하지 않았지만, 기판(232)에서는 기판(232)의 측면 혹은 저면(底面)에 접속 단자를 인출하고 있다. 센서 칩(231)의 상부에는, 적외 커트(IRcut) 유리인 2매의 광학 렌즈(234)와, 2매의 렌즈(234) 사이에 조리개(235)를 배치하여 렌즈 배럴(236) 상에 플라스틱 수지로 고정하고 있다. 이 렌즈 배럴(236)은 렌즈 홀더(237) 상에 고정되어 있다. 또한, 센서 칩(231)과 렌즈(234) 사이에 필요에 따라서 IR 커트 유리판(238)을 삽입해도 좋다. 일반적으로 렌즈(234)의 매수는 화소수가 증가함에 따라서 매수가 많아지고 있다. 예를 들어, 3.2M 화소에서는 3매 렌즈가 많이 사용되고 있다. 또한, 센서 칩(231)은, 예를 들어 도1의 제1 실시 형태에서 설명한 파선으로 둘러싸 나타낸 CMOS 이미지 센서이거나, 혹은 도9, 도10, 도13의 실시예의 이미지 센서이고, 또한 이미지 센서에 다른 기능을 부가한 센서 칩이라도 좋다.

또한, 전술한 각 실시 형태는 각각 단독으로 실시할 수 있을 뿐만 아니라, 적절하게 조합하여 실시하는 것도 가능하다. 또한, 전술한 각 실시 형태에는 다양한 단계의 발명이 포함되어 있고, 각 실시 형태에 있어서 개시한 복수의 구성 요건의 적절한 조합에 의해 다양한 단계의 발명을 추출하는 것도 가능하다.

추가적인 이점 및 변경들은 해당 기술 분야의 숙련자들에게 용이하게 인지될 것이다. 따라서, 더욱 넓은 관점에서의 본 발명은 본 명세서에 도시되고 설명된 특정 설명 및 대표적인 실시예에 한정되지 않는다. 따라서, 첨부된 청구범위 및 그와 균등물에 의해 한정되는 일반적인 본 발명의 개념의 기술 사상 또는 범위를 벗어나지 않고 다양한 변경들이 이루어질 수도 있다.

도1은 본 발명의 촬상 장치의 제1 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블록도.

도2의 (a)는 도1의 센서부의 3×3 화소 배열을 나타내는 도면.

도2의 (b)는 도1 중의 색 상관 RGB 생성 회로에 있어서 G 신호의 보간 처리를 행하는 방법의 일례를 나타내는 흐름도.

도3은 도1 중의 색 상관 RGB 생성 회로에 있어서 G 윤곽 신호를 생성하는 방법의 일례를 나타내는 도면.

도4는 도1 중의 색 상관 RGB 생성 회로에 있어서의 기본적인 처리 방법 및 피사체의 에지 영역에 대해 실시하는 처리 방법의 일례를 나타내는 도면.

도5는 도4의 처리 방법의 일부를 상세하게 나타내는 도면.

도6의 (a)는 도1 중의 색 상관 RGB 생성 회로에 있어서 제1 가산 신호(S)의 흐림 보정 처리의 일례를 나타내기 위한 센서부의 가산 신호의 배열과 신호 이미지를 나타내는 도면.

도6의 (b)는 도6의 (a)의 센서부의 3×3 화소의 신호를 나타내는 도면.

도6의 (c)는 가산 신호의 경사 판정의 조건을 나타내는 도면.

도6의 (d)는 경사 판정의 결과 데이터의 배열을 나타내는 도면.

도6의 (e)는 경사 판정에 의해 얻어진 신호 파형의 일례를 나타내는 도면.

도6의 (f)는 비율 계수의 판정 방법의 일례를 나타내는 도면.

도6의 (g)는 비율 계수의 판정 결과의 배열을 나타내는 도면.

도6의 (h)는 센서부에 있어서의 판정에 의한 신호 파형의 일례를 나타내는 도면.

도7의 (a) 내지 도7의 (j)는 각각 도1에 나타낸 CMOS 이미지 센서에 있어서의 각 부의 신호를 그 신호 처리의 흐름에 따라 나타내는 도면.

도8의 (a) 및 도8의 (b)는 각각 도1 중의 색 상관 RGB 생성 회로에 있어서 제1 가산 신호(S)의 중역의 신호 진폭을 강조하는 방법의 일례를 나타내는 도면.

도9는 본 발명의 제2 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블록도.

도10은 본 발명의 제3 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블록도.

도11의 (a)는 도10 중의 렌즈에서 발생하는 축상 색수차 및 각 색 신호의 초점 위치를 나타내는 도면.

도11의 (b)는 도11의 (a)에 나타낸 렌즈에서 원하는 피사계 심도가 얻어지도록 각 색 신호의 변조도와 초점 위치의 관계를 나타내는 도면.

도12는 도10 중의 색 상관 RGB 생성 회로에 있어서의 G 윤곽 신호 생성 방법의 일례를 나타내는 도면.

도13은 본 발명의 제4 실시 형태에 관한 CMOS 이미지 센서의 개략 구성을 나타내는 블록도.

도14는 도13에 있어서의 센서부의 WRGB의 색 필터 배열의 다른 예를 나타내는 도면.

도15는 도14의 화소의 단면도.

도16은 도15에 나타낸 색 필터의 분광 특성의 일례를 나타내는 도면.

도17은 본 발명의 제5 실시 형태에 있어서의 이미지 센서의 화소의 평면도.

도18은 도17의 화소의 면적의 대소 관계를 나타내는 도면.

도19는 도17의 화소의 단면도.

도20은 도19에 나타낸 색 필터의 분광 특성의 일례를 나타내는 도면.

도21의 (a)는 본 발명의 실시 형태에 이용되는 렌즈의 일례를 나타내는 도면.

도21의 (b)는 본 발명의 실시 형태에 이용되는 렌즈의 다른 예를 나타내는 도면.

도21의 (c)는 본 발명의 실시 형태에 이용되는 렌즈의 또 다른 예를 나타내는 도면.

도22의 (a)는 본 발명의 실시 형태에 이용되는 조합 렌즈의 일례를 나타내는 도면.

도22의 (b)는 본 발명의 실시 형태에 이용되는 조합 렌즈의 다른 예를 나타내는 도면.

도23은 본 발명의 촬영 장치가 내장된 모듈의 예를 나타내는 단면도.

도24는 고정 포커스 렌즈를 사용한 경우에 피사체에 초점이 맞추어져 있는 화상에서 렌즈의 주변 부분에 색수차가 발생되어 있는 모습을 나타내는 도면.

도25의 (a)는 렌즈의 초점이 어긋난 핀 흐림 화상과 신호 파형을 나타내는 도면.

도25의 (b)는 렌즈의 초점이 맞추어진 화상과 신호 파형을 나타내는 도면.

도26은 고정 포커스 렌즈를 사용하여 1 m 이상으로 초점을 맞춘 경우의 변조도(MTF) 특성을 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

11 : 센서부

12 : 라인 메모리

13 : 색 상관 RGB 생성 회로

14 : 신호 처리 회로

15 : 시스템 타이밍 발생 회로

16 : 커멘드 디코더

17 : 직렬 I/F

18, 234 : 렌즈

111 : 화소부

132 : 평균 비율 산출부

133 : RGB 생성부

134 : 에지 처리부

135 : 신호 합성부

136 : 대역 통과 필터

137 : 진폭 강조부

139 : 윤곽 신호 추출부

141 : 스위치 소자

150, 232 : 기판

231 : 센서 칩

233 : 와이어

235 : 조리개

Claims

광을 집광하기 위한 광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 복수색의 파장 성분으로 분리하여 생성한 신호를 처리하는 신호 처리 수단을 포함하는 촬상 장치로서,

상기 광신호의 파장에 따라서 상이한 초점 위치를 갖는 하나 이상의 광학 렌즈를 포함하는 광학 렌즈 수단과,

상기 신호 처리 수단에 있어서, 센서부에서의 출력 신호로부터 윤곽 신호를 추출하는 윤곽 신호 생성 수단을 구비하는 촬상 장치.
제1항에 있어서, 상기 광학 렌즈 수단은 복수매의 렌즈로 이루어지고, 적어도 2매의 렌즈 재질을 동일하게 한 렌즈 수단을 구비하는 촬상 장치.
제1항에 있어서, 상기 광학 렌즈 수단은 구면 수차를 더 갖는 촬상 장치.
제1항에 있어서, 상기 파장 분리 수단은 광을 파장 분리하지 않는 필터를 상기 광전 변환 소자의 전방면에 배치하고 있는 촬상 장치.
제4항에 있어서, 상기 파장 분리 수단은 1 화소 단위로 광을 집광하기 위한 마이크로 렌즈와 광의 파장을 분리하기 위한 필터층을 포함하고, 상기 파장을 분리하지 않는 필터층이 형성된 마이크로 렌즈의 크기를 다른 색 필터층이 형성된 마이크로 렌즈보다도 작게 형성하고 있는 촬상 장치.
제5항에 있어서, 상기 색 필터층은 마이크로 렌즈의 크기와 동일하게 형성되어 있는 촬상 장치.
제5항에 있어서, 상기 마이크로 렌즈는 마이크로 렌즈의 면적이 큰 마이크로 렌즈의 곡률을 크게 하고, 마이크로 렌즈의 면적이 작은 마이크로 렌즈의 곡률을 작게 형성하고 있는 촬상 장치.
제7항에 있어서, 상기 마이크로 렌즈는, 마이크로 렌즈의 면적이 큰 마이크로 렌즈는 복수회의 처리 단계를 거쳐 형성하는 촬상 장치.
제1항에 있어서, 상기 윤곽 신호 생성 수단은 상기 센서부로부터 출력하는 적어도 R 파장 영역의 신호, G 파장 영역의 신호, B 파장 영역의 신호로부터 윤곽 신호를 생성하여 합성하는 촬상 장치.
삭제
삭제
삭제
광을 집광하기 위한 광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 복수색의 파장 성분으로 분리하여 생성한 신호를 처리하는 신호 처리 수단을 포함하는 카메라 모듈로서,

상기 광신호의 파장에 따라서 상이한 초점 위치를 갖는 하나 이상의 광학 렌즈를 포함하는 광학 렌즈 수단과,

상기 신호 처리 수단에 있어서, 센서부에서의 출력 신호로부터 윤곽 신호를 추출하는 윤곽 신호 생성 수단을 구비하는 카메라 모듈.
광을 집광하기 위한 광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 복수색의 파장 성분으로 분리하여 생성한 신호와 파장 분리하지 않고 생성한 W 신호를 처리하는 신호 처리 수단을 포함하는 촬상 장치로서,

상기 파장 분리 수단은 1 화소 단위로 광을 집광하기 위한 마이크로 렌즈와 광의 파장을 분리하기 위한 필터층으로 이루어지고, 상기 파장을 분리하지 않는 필터층이 형성된 마이크로 렌즈의 크기를 다른 색 필터층이 형성된 마이크로 렌즈보다도 작게 형성하고 있는 촬상 장치.
제14항에 있어서, 상기 색 필터층은 마이크로 렌즈의 크기와 동일하게 형성되어 있는 촬상 장치.
제14항에 있어서, 상기 마이크로 렌즈는, 마이크로 렌즈의 면적이 큰 마이크로 렌즈의 곡률을 크게 하고, 마이크로 렌즈의 면적이 작은 마이크로 렌즈의 곡률을 작게 형성하고 있는 촬상 장치.
제16항에 있어서, 상기 마이크로 렌즈는, 마이크로 렌즈의 면적이 큰 마이크로 렌즈는 복수회의 처리 단계를 거쳐 형성하는 촬상 장치.
삭제
삭제
삭제
광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 복수색의 파장 성분으로 분리하여 생성한 신호를 포함하는 색 신호를 처리하는 촬상 장치로서,

상기 센서부에 있어서의 임의의 위치의 하나의 중심 화소와 그 주변의 복수의 주변 화소를 포함하는 화소 배열 내에 있어서 상기 중심 화소의 색 신호와 상기 복수의 주변 화소의 색 신호를 가중치에 따라서 가산하여 가산 신호를 생성하는 가산 수단과,

상기 가산 신호의 신호 변화 부분을 보정하여 화상 흐림을 보정하는 흐림 보정 수단과,

상기 가산 수단에 입력하는 가산 전의 신호로부터 신호의 변화를 추출하여 윤곽 신호를 생성하는 윤곽 신호 생성 수단과,

상기 윤곽 신호와 상기 흐림 보정 수단에 의해 보정된 가산 신호를 합성하여 합성 신호를 생성하는 합성 수단과,

상기 화소 배열 내에 있어서의 각 화소로부터 출력하는 색 신호의 각각의 평균치와 상기 합성 신호의 평균치의 비율 계수를 각각 산출하는 비율 계수 산출 수단과,

상기 비율 계수 산출 수단에 의해 산출된 비율 계수와 상기 합성 신호를 이용하여 새로운 R 신호, G 신호, B 신호를 생성하는 RGB 신호 생성 수단을 구비하는 촬상 장치.
제21항에 있어서, 상기 흐림 보정 수단은 상기 가산 신호의 신호 변화를 랜덤 노이즈 레벨을 상정한 기준 레벨과의 대소 비교에 의해 검출하는 신호 경사 판정 수단과,

상기 신호 경사 판정 수단의 검출 결과를 기초로 하여, 상기 가산 신호를 그것보다도 신호 변화가 작은 주변의 신호로 치환하는 신호 치환 수단을 구비하는 촬상 장치.
광학 렌즈에 의해 집광한 광신호를 전자로 변환하는 광전 변환 소자의 전방면에 광의 파장을 분리하는 파장 분리 수단을 배치한 화소가 2차원으로 배치된 센서부에 의해 상기 광신호를 복수색의 파장 성분으로 분리하여 생성한 신호를 포함하는 색 신호를 처리하는 카메라 모듈로서,

상기 센서부에 있어서의 임의의 위치의 하나의 중심 화소와 그 주변의 복수의 주변 화소를 포함하는 화소 배열 내에 있어서, 상기 중심 화소의 색 신호와 상기 복수의 주변 화소의 색 신호를 가중치에 따라서 가산하여 가산 신호를 생성하는 가산 수단과,

상기 가산 신호의 신호 변화 부분을 보정하여 화상 흐림을 보정하는 흐림 보정 수단과,

상기 가산 수단에 입력하는 가산 전의 신호로부터 신호의 변화를 추출하여 윤곽 신호를 생성하는 윤곽 신호 생성 수단과,

상기 윤곽 신호와 상기 흐림 보정 수단에 의해 보정된 가산 신호를 합성하여 합성 신호를 생성하는 합성 수단과,

상기 화소 배열 내에 있어서의 각 화소로부터 출력하는 색 신호의 각각의 평균치와 상기 합성 신호의 평균치의 비율 계수를 각각 산출하는 비율 계수 산출 수단과,

상기 비율 계수 산출 수단에 의해 산출된 비율 계수와 상기 합성 신호를 이용하여 새로운 R 신호, G 신호, B 신호를 생성하는 RGB 신호 생성 수단을 구비하는 카메라 모듈.
제23항에 있어서, 상기 흐림 보정 수단은 상기 가산 신호의 신호 변화를 랜덤 노이즈 레벨을 상정한 기준 레벨과의 대소 비교에 의해 검출하는 신호 경사 판정 수단과,

상기 신호 경사 판정 수단의 검출 결과를 기초로 하여, 상기 가산 신호를 그것보다도 신호 변화가 작은 주변의 신호로 치환하는 신호 치환 수단을 구비하는 카메라 모듈.
제23항에 있어서, 상기 파장 분리 수단은 파장 분리하지 않고 W 신호를 생성하는 파장 분리 수단을 갖고,

또한, 상기 파장 분리 수단은 1 화소 단위로 광을 집광하기 위한 마이크로 렌즈와 광의 파장을 분리하기 위한 필터층으로 이루어지고, 상기 파장을 분리하지 않는 필터층이 형성된 마이크로 렌즈의 크기를 다른 색 필터층이 형성된 마이크로 렌즈보다도 작게 형성하고 있는 카메라 모듈.
제4항 또는 제14항에 있어서, 광의 파장을 분리하지 않는 필터를 배치한 화소가, 바둑판 형상으로 배치되어 있는 촬상 장치.
제25항에 있어서, 광의 파장을 분리하지 않는 필터를 배치한 화소가, 바둑판 형상으로 배치되어 있는 카메라 모듈.