KR20130069612A

KR20130069612A - 촬상 장치 및 화상 처리 장치

Info

Publication number: KR20130069612A
Application number: KR1020127028746A
Authority: KR
Inventors: 요시히토 히가시츠츠미
Original assignee: 소니 주식회사
Priority date: 2010-05-12
Filing date: 2011-04-28
Publication date: 2013-06-26
Also published as: TWI458342B; WO2011142282A1; EP2571247A1; US8937680B2; CN103039067A; TW201204020A; JP5454348B2; US20130050543A1; JP2011239292A

Abstract

저비용이면서 간이한 구성으로, 원방 촬영 및 근접 촬영을 실현하는 것이 가능한 촬상 장치 및 화상 처리 장치를 제공한다. 화상 처리부(12)에서는, 유저에 의해 입력되는 모드 설정 신호에 응하여, 보정 계수 선택부(123)가, 원방 물체용의 보정 계수(k1)와 근접 물체용의 보정 계수(k2) 중에서 하나를 선택하고, 디블러(deblur) 처리부(122)에 출력한다. 디블러 처리부(122)는, 선택된 보정 계수를 사용하여 촬상 데이터(D0)에 의거한 화상 데이터(D2)의 흐림 보정을 행한다. 원방 물체 및 근접 물체의 촬상 데이터의 각각에 대해, 적절한 흐림 보정을 행하는 것이 가능해진다.

Description

촬상 장치 및 화상 처리 장치{IMAGING DEVICE AND IMAGE PROCESSING DEVICE}

본 발명은, 예를 들면 휴대 전자 기기에 알맞게 탑재되는 촬상 장치 및 화상 처리 장치에 관한 것이다.

근래, QR(Quick response) 코드 등의 2차원 바코드나, 명함용의 OCR(Optical Character Recognition) 등, 근접 촬영을 이용하여 데이터 인식이나 데이터 입력을 행하는 카메라는, 카메라 부착 휴대 전화기의 보급에 의해, 수요가 높아지고 있다.

이와 같은 카메라에서는, 데이터 인식할 때, 물체 거리(피사체까지의 거리)를 접근하여 촬영(근접 촬영)이 행하여질 필요가 있다. 그 때문에, 통상 촬영(원방(遠方)에 있는 물체를 촬영)과, 근접 촬영의 양쪽을 행하기 위해서는, 촬상 광학계로서 오토 포커스 렌즈나, 2단계로 초점을 전환 가능한 렌즈 등이 사용된다.

그러나, 상기한 바와 같은 오토 포커스 렌즈나 초점 전환 렌즈를 이용한 경우, 액추에이터나 초점맞춤(합초(合焦) 판정 회로 등이 별도로 필요해져서, 부품 갯수가 증가하고, 또한 비용도 높아진다. 또한, 이 밖에도, 피사계 심도를 확장하는 기술(EDOF : Extended depth of field)도 있지만, 이 EDOF에 의한 수법에서는, 바코드의 판독이나 OCR에 의한 인식 가능한 정도로 까지, 근점(近點)에 포커스하기는 어렵다. 따라서, 통상 촬영(원점에의 포커스)뿐만 아니라, 바코드 판독이나 OCR 인식을 행하기 위한 근접 촬영(근점에의 포커스)을, 저비용이면서 간이한 구성으로 실현하는 것이 요망되고 있다.

본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 목적은, 저비용이면서 간이한 구성으로, 원방 촬영 및 근접 촬영을 실현하는 것이 가능한 촬상 장치 및 화상 처리 장치를 제공하는 것에 있다.

본 발명의 촬상 장치는, 촬상 렌즈와, 촬상 렌즈의 통과 광선에 의거한 촬상 데이터를 취득하는 촬상 소자와, 촬상 데이터에 의거한 촬상 화상에 대해 화상 처리를 시행하는 화상 처리부를 구비한 것이다. 화상 처리부는, 촬상 화상에 대해 흐림 보정을 행하는 디블러(deblur) 처리부와, 각각이 촬상 렌즈로부터 피사체까지의 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 하나를 선택하여, 디블러 처리부에 출력하는 보정 계수 선택부를 갖고 있다.

본 발명의 화상 처리 장치는, 촬상 소자에 의해 취득되고, 촬상 렌즈의 통과 광선에 의거한 촬상 화상에 대해, 흐림 보정을 행하는 디블러 처리부와, 각각이 촬상 렌즈로부터 피사체까지의 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 하나를 선택하고, 디블러 처리부에 출력하는 보정 계수 선택부를 구비한 것이다.

본 발명의 촬상 장치 및 화상 처리 장치에서는, 보정 계수 선택부가, 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 하나를 선택하고, 디블러 처리부가, 그 선택된 보정 계수를 사용하여 촬상 데이터의 흐림 보정을 행한다. 복수의 보정 계수(예를 들면 근접 물체나 원방 물체의 보정 계수) 중에서 하나를 선택가능하게 함으로써, 물체 거리가 다른 촬상 데이터(예를 들면 원방 물체 및 근접 물체의 촬상 데이터)의 각각에 대해, 적절한 흐림 보정을 행하는 것이 가능해진다.

본 발명의 촬상 장치 및 화상 처리 장치에 의하면, 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 선택된 1개를 이용하여 흐림 보정이 이루어지기 때문에, 예를 들면 근접 물체나 원방 물체 등의 물체 거리가 다른 촬상 데이터에 대해 각각, 적절한 흐림 보정을 행할 수가 있다. 이에 의해, 오토 포커스 렌즈나 초점 전환 렌즈 등의 특수한 촬상 광학계를 이용하는 일 없이, 원점 및 근점에의 포커스가 가능해진다. 따라서, 저비용이면서 간이한 구성으로, 원방 촬영 및 근접 촬영을 실현할 수 있다.

도 1은 본 발명의 한 실시의 형태에 관한 촬상 장치의 개략 구성을 도시하는 기능 블록도.
도 2는 도 1에 도시한 촬상 소자에서의 단위 화소의 한 예를 도시하는 회로도.
도 3은 컬러 필터에서의 색 배열의 한 예를 도시하는 모식도.
도 4는 도 1에 도시한 화상 처리부의 상세 구성을 도시하는 기능 블록도.
도 5의 (A)는 원방 촬영시에 있어서의 광선 취득의 양상, (B)는 원점 PSF 함수, (C)는 원점용 보정 필터의 커널 사이즈를 도시하는 도면.
도 6의 (A)는 근접 촬영시에 있어서의 광선 취득의 양상, (B)는 근점 PSF 함수, (C)는 근점용 보정 필터의 커널 사이즈를 도시하는 도면.
도 7은 도 1에 도시한 화상 처리부에서의 디블러 처리 동작의 일부를 설명하기 위한 모식도.
도 8은 촬영한 QR 코드의 한 예를 도시하는 것으로, (A)는 디블러 처리 전, (B)는 디블러 처리 후를 도시하는 도면.
도 9는 변형례 1에 관한 디블러 처리 동작을 설명하기 위한 모식도.
도 10은 변형례 2에 한 것으로, 색광마다의 결상 위치의 차이를 설명하기 위한 모식도.
도 11은 변형례 2에 관한 디블러 처리 동작을 설명하기 위한 모식도.

이하, 본 발명의 실시의 형태를 도면에 관련지어서 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 실시의 형태(원점용과 근점용의 보정 필터를 전환하여 디블러 처리를 행하는 촬상 장치의 예)

2. 변형례 1(라인을 솎아내어서 취득한 촬상 데이터에 디블러 처리를 시행하는 예)

3. 변형례 2(특정한 색성분(G, B)에 디블러 처리를 시행하는 예)

4. 기타의 변형례

<실시의 형태>

[촬상 장치(1)의 전체 구성]

도 1은, 본 발명의 한 실시의 형태에 관한 촬상 장치(촬상 장치(1))의 기능 블록도이다. 촬상 장치(1)는, 촬상 렌즈(10), 촬상 소자(11), 화상 처리부(12), 촬상 소자 구동부(13), 정보 검출부(14) 및 제어부(15)를 구비한 것이다. 이 촬상 장치(1)는, 예를 들면 카메라 부착 휴대 전화기 등에 탑재되는 것이고, QR 코드 등의 2차원 바코드를 근접하여 촬영하는 모드(매크로 촬영 모드)와, 원방에 있는 물체를 촬영하는 모드(통상 촬영 모드)를 전환 가능하도록 되어 있다. 본 실시의 형태에서, 통상 촬영 모드에서는, 피사체가 원방에 있는 경우의 원방 촬영을 상정하고 있다. 다른 한편, 매크로 촬영 모드에서는, 피사체가 근접하여 있는 상태에서의 근접 촬영을 상정하고 있다.

촬상 렌즈(10)는, 물체(피사체)를 촬상하기 위한 메인 렌즈이고, 예를 들면, 비디오 카메라나 스틸 카메라 등으로 사용되는 일반적인 고정 초점 렌즈이다. 이 촬상 렌즈(10)의 눈동자면(瞳面) 부근에는, 도시하지 않은 개구 조리개나 셔터가 배설되어 있다.

촬상 소자(11)는, 수광 광선에 의거하여 축전(蓄電)을 행하는 광전 변환 소자이고, 촬상 렌즈(10)의 통과 광선에 의거하여 촬상 데이터(후술하는 촬상 데이터(D0))를 취득하고, 이 촬상 데이터를 화상 처리부(12)에 출력하도록 되어 있다. 이 촬상 소자(11)는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 고체 촬상 소자로 이루어지고, 이 촬상 소자(11)에는, 복수의 단위 화소가 어레이 형상으로 배열되어 있다. 또한, 이하에서는, 촬상 소자(11)가, 라인 순차로 판독이 행하여지는 CMOS 센서인 경우를 예로 들어 설명한다.

이 촬상 장치(11)에서는, 화소 배열의 각 행(로우)에 전송 선택선, 리셋선, 선택선이 배선되고, 화소 배열의 각 열(칼럼)에 신호선이 배선되어 있다. 도 2에, 이 촬상 소자(11)에서의 단위 화소의 회로 구성을 도시한다. 단위 화소(110)는, 예를 들면, 포토 다이오드(111), 전송 트랜지스터(112), 증폭 트랜지스터(113), 실렉트 트랜지스터(114), 리셋 트랜지스터(115), 및 플로팅 노드(ND116)를 갖고 있다.

포토 다이오드(111)는, 입사광을 그 광량에 응한 전하량의 신호 전하(예를 들면 전자)로 광전 변환하여 축적한다. 전송 트랜지스터(112)는, 소스, 드레인이 포토 다이오드(111)의 캐소드와 플로팅 노드(ND116)에 각각 접속되고, 게이트가 전송 선택선(TRFL)에 접속되어 있다. 전송 트랜지스터(112)는, 도통(온)함에 의해, 포토 다이오드(111)에 축적되어 있는 신호 전하를 플로팅 노드(ND116)에 전송하는 기능을 갖고 있다. 증폭 트랜지스터(113)와 실렉트 트랜지스터(114)는 전원 전위(VDD)와 신호선(SGNL)과의 사이에 직렬로 접속되어 있다. 증폭 트랜지스터(113)는, 게이트가 플로팅 노드(ND116)에 접속되고, 플로팅 노드(ND116)의 전위를 증폭하고 실렉트 트랜지스터(114)를 통하여 신호선(SGNL)에 출력한다. 실렉트 트랜지스터(114)의 게이트는 선택선(SELL)에 접속되어 있다. 리셋 트랜지스터(115)는, 소스가 플로팅 노드(ND116)에 접속되고, 드레인이 소정 전위선에 접속되고, 게이트가 리셋선(RSTL)에 접속되고, 플로팅 노드(ND116)의 전위를 리셋하는 기능을 갖고 있다.

상기한 바와 같은 촬상 소자(11)의 수광면측에는, 소정의 색 배열을 갖는 컬러 필터가 설치되어 있다. 도 3에, 그 한 예로서 베이어(Bayer) 배열의 컬러 필터를 도시한다. 이와 같이, 본 실시의 형태에서는, 3원색 중 녹(G : Green)을 2개, 적(R : Red), 청(B : Blue)을 하나씩 이용한 베이어 배열이 이용된다. 이 베이어 배열은, 색보다도 휘도의 해상도를 중시(重視)한 배열이다.

또한, 촬상 소자(11)의 출력단에는, 도시하지 않은 프리 처리부가 마련되어 있어도 좋다. 이 경우, 프리 처리부는, 촬상 소자(11)로부터 판독된 아날로그 신호에 대해 표본화 처리, 양자화 처리를 행하여, 아날로그 신호로부터 디지털 신호로 변환(A/D 변환)하여 화상 처리부(12)에 출력한다. 이 프리 처리부의 기능은, 촬상 소자(11) 자체에 갖게 하는 것도 가능하다.

화상 처리부(12)는, 촬상 소자(11)로부터 공급된 촬상 데이터(촬상 데이터(D0))에 대해, 흐림 보정 처리(디블러 처리)를 포함하는 소정의 화상 처리를 시행하는 것이다. 이 화상 처리부(12)의 구체적인 구성에 관해서는 후술한다.

촬상 소자 구동부(13)는, 촬상 소자(11)의 수광 및 판독 동작 등의 구동 제어를 행하는 것이다.

정보 검출부(14)는, 촬상 장치(1)에서의 촬영 모드의 설정 신호(모드 설정 신호)를 검출하는 것이다. 이 모드 설정 신호는, 예를 들면, 휴대 전화기 등에서의 버튼, 키, 스위치 등의 조작을 통하여, 예를 들면 유저에 의해 입력되도록 되어 있다. 본 실시의 형태에서는, 촬영 모드로서, 원방 촬영을 위한 통상 촬영 모드와, 근접 촬영을 위한 매크로 촬영 모드의 어느 하나가, 유저에 의해 선택된다(전환된다). 정보 검출부(14)는, 그 검출 결과를 모드 설정 신호(Dm)로서 제어부(15)에 출력하고, 제어부(15)가 선택된 촬영 모드에 응하여 화상 처리부(12)의 화상 처리 동작을 제어하도록 되어 있다. 촬영 모드에 따라 촬상 렌즈로부터 피사체까지의 물체 거리가 다른데, 상기한 바와 같은 제어에 의해, 화상 처리부(12)에서는 물체 거리에 응한 적절한 보정 계수의 선택(전환)이 가능해진다.

제어부(15)는, 촬상 소자 구동부(13), 화상 처리부(12) 및 정보 검출부(14)를 각각 구동 제어하는 것이고, 예를 들면 마이크로 컴퓨터 등이다.

(화상 처리부(12)의 구성)

도 4에, 이 화상 처리부(12)의 한 예에 관해 나타낸다. 화상 처리부(12)는, 예를 들면, 전처리부(120), 기억부(121), 디블러 처리부(122), 보정 계수 선택부(123) 및 유지부(124)를 구비하고 있다. 그리고, 이 화상 처리부(12)가, 본 발명의 화상 처리 장치의 한 구체예에 상당한다.

전처리부(120)는, 촬상 데이터(D0)에 대해, 예를 들면 결함 보정 처리, 노이즈 제거 처리, 화이트 밸런스 조정 처리, 셰이딩 보정 처리, Y/C 분리 처리 등의 각종 화상 처리를 시행하고, 그들 처리 후의 촬상 데이터(화상 데이터(D1))를 기억부(121)에 출력하는 것이다.

기억부(121)는, 전처리부(120)로부터 출력된 화상 데이터(D1)를, 후단의 디블러 처리를 위해, 일시적으로 유지하여 두기 위한 메모리이다. 이 기억부(121)에서의 기억 수단으로서는, 고정 디스크라도 리무버블 디스크라도 좋고, 또한, 그 종류로서도, 자기 디스크나 광디스크, 광자기 디스크, 반도체 메모리 등의 여러 가지의 것이 사용된다. 기억부(121)로 유지되어 있는 화상 데이터는, 보정 계수 선택부(123)의 제어에 응하여, 화상 데이터(D2)로서, 디블러 처리부(122)에 출력되도록 되어 있다.

본 실시의 형태에서는, 이 기억부(121)가, 복수의 라인 메모리(121a)를 가지며, 이들 복수의 라인 메모리(121a)에, 촬상 데이터(D0)에 의거한 화상 데이터가 소정의 라인분(分), 격납되도록 되어 있다. 라인 메모리(121a)의 개수(라인수)는, 디블러 처리부(122)에서 사용되는 보정 계수의 사이즈에 응하여 설정되어 있다. 상세는 후술하지만, 보정 계수는, PSF의 역함수이기 때문에, 물체 거리(촬영 모드)에 응하여 그 사이즈(2차원적인 넓어짐)가 다르다. 즉, 보정 계수마다, 후술하는 디블러 처리시의 필터 사이즈가 다른 것으로 되고, 라인 메모리(121a)의 라인수는, 그 디블러 처리시의 필터 사이즈에 응한 개수로 설정된다.

디블러 처리부(122)는, 기억부(121)로부터 공급된 촬상 데이터에 대해, 흐림를 보정하는 처리(디블러 처리)를 시행하는 것이다. 구체적으로는, 디블러 처리부(122)는, 보정 계수 선택부(123)로부터 공급된 보정 계수(보정 계수(k1) 또는 보정 계수(k2))를 이용한 필터링에 의해, 디블러 처리를 행하여, 디블러 처리 후의 화상 데이터(Dout)를 출력하는 것이다.

보정 계수 선택부(123)는, 제어부(15)의 제어에 의거하여, 복수의 흐림 보정용의 보정 계수 중에서 하나를 선택하고, 선택한 보정 계수를, 디블러 처리부(122)에 출력하는 것이다. 이들 복수의 보정 계수는, 서로 다른 복수의 촬영 모드마다 준비되어 있고, 물체 거리에 응하여 다른 것이다. 본 실시의 형태에서는, 이와 같은 보정 계수로서, 통상 촬영 모드용의 보정 계수(k1)와, 매크로 촬영 모드용의 보정 계수(k2)의 2개의 보정 계수가 사용된다. 보정 계수(k1)는, 원방 물체의 촬상 데이터에 대해 적절한 디블러 처리를 시행하기 위한 보정 계수이고, 보정 계수(k2)는, 근접 물체의 촬상 데이터에 대해 적절한 디블러 처리를 시행하기 위한 보정 계수이다. 이들의 보정 계수(k1, k2)는 각각, 예를 들면 점상(點狀) 분포 함수(PSF : Point spread function)의 역함수이다.

여기서, 촬상 소자(11)의 수광면상의 포커스 위치를 f(x, y), 실제의 결상 위치를 g(x, y)로 한 경우, PSF 함수는 이하의 식(1)에 의해 주어지는 함수(h)(x, y)이다. 즉, 보정 계수(k1, k2)는, 이하의 식(2)에 의해 주어지는 함수이다.

f(x, y)×h(x, y)=g(x, y) ………(1)

1/h(x, y) ………(2)

유지부(124)는, 상기한 바와 같은 보정 계수(k1, k2)를 유지하는 메모리이고, 기억 수단으로서는 기억부(121)와 같은 것이 사용된다. 또한, 보정 계수(k1, k2)는, 그와 같이 회로 내의 메모리에 미리 유지되어 있어도 좋지만, 정보 검출부(14)를 통하여, 외부로부터 입력되도록 되어 있어도 좋다.

[촬상 장치(1)의 작용, 효과]

도 5(A)는, 통상 촬영 모드에서의 광선 취득의 양상을 모식적으로 도시한 것이다. 이와 같이, 촬상 장치(1)에서는, 예를 들면 통상 촬영 모드에서, 물체(피사체)로부터의 광선(L1)은, 촬상 렌즈(10)를 통과한 후, 촬상 소자(11)에 도달한다. 촬상 소자(11)에서는, 촬상 소자 구동부(13)의 제어에 의해, 수광 신호가 라인 순차로 판독됨에 의해, 촬상 데이터(D0)(원방 물체의 촬상 데이터)를 취득한다. 취득된 촬상 데이터(D0)는, 화상 처리부(12)에 공급되고, 화상 처리부(12)가, 그 촬상 데이터(D0)에 대해, 소정의 화상 처리를 시행하고, 화상 데이터(Dout)로서 출력한다.

여기서, 본 실시의 형태에서는, 화상 처리부(12)가, 정보 검출부(14)를 통하여 입력된 모드 설정 신호(Dm)에 의거하여, 촬상 데이터(D0)에 대해 이하와 같은 디블러 처리를 행한다.

(1. 전처리)

구체적으로는, 우선, 디블러 처리의 전처리로서, 전처리부(120)가, 예를 들면 결함 보정 처리, 노이즈 제거 처리, 화이트 밸런스 조정 처리, 셰이딩 보정 처리, Y/C 분리 처리 등의 각종 화상 처리를 시행한다. 구체적으로는, 결함 보정 처리는, 촬상 데이터(D0)에 포함되는 결함(촬상 소자(11)의 소자 자체의 이상에 기인한 결함)을 보정하는 처리이다. 노이즈 제거 처리는, 촬상 데이터에 포함되는 노이즈(예를 들면, 어두운 장소나 감도가 족하지 않은 장소에서 촬상한 때에 발생하는 노이즈)를 제거하는 처리이다. 화이트 밸런스 조정 처리는, 컬러 필터의 통과 특성이나 촬상 소자(11)의 분광 감도 등의 디바이스의 개체차(個體差)나 조명 조건에 기인하여 무너진 색 밸런스를 조정하는 처리이다. 셰이딩 보정 처리는, 촬상 화상면 내에서의 휘도 레벨의 얼룩을 보정하는 처리이다. Y/C 분리 처리는, 휘도 신호(Y)와 크로마 신호(C)를 분리하는 처리이다. 그리고, 이 밖에도, 각 화소 데이터의 흑레벨을 설정하는 처리(클램프 처리)나, 디모자이크 처리 등의 컬러 보간 처리를 시행하도록 하여도 좋다. 이들의 처리 후의 촬상 데이터는, 화상 데이터(D1)로서 기억부(121)에 출력된다.

(2. 라인 메모리의 설정)

기억부(121)는, 전처리부(120)로부터 입력된 화상 데이터(D1)를, 후단의 보정 계수(k1, k2)를 이용한 디블러 처리시의 필터 사이즈에 대응하여, 소정 라인수의 라인 메모리(121a)에 격납하여 일시적으로 유지한다.

이때, 기억부(121)에 마련하는 라인 메모리(121a)의 라인수는, 사용하는 보정 계수(k1, k2)의 사이즈에 응하여, 어느 보정 계수를 사용한 디블러 처리에도 대응할 수 있도록, 예를 들면 다음과 같이 설정한다. 즉, 도 5(A)에 도시한 바와 같이, 통상 촬영 모드에서는, 물체의 결상점(f_f)이 촬상 소자(11)의 수광면(S1)의 부근에 위치하기 때문에, 그 PSF 함수(원점 PSF)에서는 2차원적인 넓어짐이 작아진다(도 5(B)). 이 때문에, 그 역함수인 보정 계수(k1)를 사용한 디블러 처리에서는, 필터 사이즈는 비교적 작아진다(예를 들면 도 5(C)에 도시한 3×3의 커널). 환언하면, 통상 촬영 모드에서는, 촬상 화상에서의 "흐림”의 정도가 비교적 작기 때문에, 필터 사이즈도 작아도 괜찮다.

한편, 도 6(A)는, 매크로 촬영 모드에서의 광선 취득의 양상을 모식적으로 도시하는 것인데, 이 경우, 물체의 결상점(f_n)이 촬상 소자(11)의 수광면(S1)로부터 떨어지기 때문에, 그 PSF 함수(근점 PSF)에서는, 2차원적인 넓어짐이 원점 PSF에 비하여 커진다(도 6(B)). 이 때문에, 그 역함수인 보정 계수(k2)를 사용한 디블러 처리에서는, 필터 사이즈가 비교적 커진다(예를 들면 도 6(C)에 도시한 5×5의 커널). 환언하면, 매크로 촬영 모드에서는, 촬상 화상에서의 "흐림”의 정도가 비교적 크기 때문에, 필터 사이즈는 그만큼 커진다. 따라서, 여기서는, 매크로 촬영 모드에서의 디블러 처리(보정 계수(k2)를 사용한 디블러 처리)를 고려한 5개의 라인 메모리(121a)를 마련하여 둔다.

(3. 보정 계수의 선택(전환))

본 실시의 형태에서는, 보정 계수 선택부(123)가, 상술한 모드 설정 신호(Dm)에 의거한 제어부(15)의 제어에 응하여, 유지부(124)에 유지되어 있는 보정 계수(k1, k2)중에서, 그 물체 거리에 응한 적절한 보정 계수를 선택하고, 디블러 처리부(122)에 출력한다. 구체적으로는, 모드 설정 신호(Dm)가 통상 촬영 모드를 선택하는 것인 경우에는, 원방 물체용의 보정 계수(k1)를 선택한다. 한편, 모드 설정 신호(Dm)가 매크로 촬영 모드를 선택하는 것인 경우에는, 근접 물체용의 보정 계수(k2)를 선택한다. 이에 의해, 예를 들면, 통상 촬영 모드에서, 매크로 촬영 모드를 설정하는 취지의 모드 설정 신호가 검출된 경우에는, 보정 계수(k1)가 보정 계수(k2)로 전환된다. 마찬가지로, 매크로 촬영 모드에서, 통상 촬영 모드를 설정하는 취지의 모드 설정 신호가 검출된 경우에는, 보정 계수(k2)가 보정 계수(k1)로 전환된다. 선택된 보정 계수(k1)(또는 보정 계수(k2))는, 디블러 처리부(122)에 출력된다.

이 한편으로, 보정 계수 선택부(123)는, 선택 대상으로 되어 있는 보정 계수에 응한(디블러 처리시의 필터 사이즈에 응한) 라인수의 화상 데이터(D2)를, 디블러 처리부(122)에 출력하도록 기억부(121)를 제어한다. 구체적으로는, 도 7(A)에 도시한 바와 같이, 통상 촬영 모드인 경우는, 3×3의 필터 사이즈에 대응하여, 3라인(a1 내지 a3)분의 화소 데이터(D2a)를 화상 데이터(D2)로서, 디블러 처리부(122)에 출력시킨다. 다른 한편, 도 7(B)에 도시한 바와 같이, 매크로 촬영 모드인 경우에는, 5×5의 필터 사이즈에 대응하여, 5라인(b1 내지 b5)분의 화소 데이터(D2b)를 화상 데이터(D2)로서, 디블러 처리부(122)에 출력시킨다.

(4. 보정 계수를 사용한 디블러 처리)

디블러 처리부(122)는, 보정 계수 선택부(123)에 의해 공급된 보정 계수를 사용하여, 기억부(121)로부터 공급된 소정의 라인분의 화상 데이터(D2)에 대해, 디블러 처리를 시행한다. 구체적으로는, 통상 촬영 모드인 경우에는, 3라인분의 화상 데이터(D2)에 대해, 보정 계수(k1)를 곱함에 의해, 흐림 보정을 행한다. 다른 한편, 매크로 촬영 모드인 경우에는, 5라인분의 화상 데이터(D2)에 대해, 보정 계수(k2)를 곱함에 의해, 흐림 보정을 행한다. 이와 같은 디블러 처리에 의해, 화상 데이터(D2)에 대응하는 촬상 화상에서의 흐림이 양호하게 개선되고, 피사체에 포커스 한(핀트가 맞은) 화상 데이터(Dout)가 출력된다.

이상과 같이, 본 실시의 형태에서는, 화상 처리부(12)에서, 촬상 데이터(D0)에 대해, 모드 설정 신호(Dm)에 의거하여, 원방 물체용의 보정 계수(k1)와 근접 물체용의 보정 계수(k2)중의 어느 하나가 선택되고, 선택된 보정 계수에 의거하여 디블러 처리가 이루어진다. 이와 같이, 디블러 처리에서 사용하는 보정 계수로서, 보정 계수(k1, k2)의 어느 하나를 선택할(전환할) 뿐으로, 원방 물체 및 근접 물체의 양쪽의 촬상 데이터의 각각에 대해, 적절한 흐림 보정을 행하는 것이 가능해진다. 따라서, 예를 들면 오토 포커스 렌즈나 초점 전환 렌즈 등의 특수한 촬상 광학계를 이용하는 일 없이, 원점 및 근점에의 포커스가 가능해진다. 따라서, 저비용이면서 간이한 구성으로, 원방 촬영 및 근접 촬영을 실현할 수 있다.

예를 들면, 촬상 장치(1)가 탑재된 전자 기기에 있어서, 유저에 의해 통상 촬영 모드가 설정된 경우에는, 예를 들면 풍경 등이 촬영되고, 보정 계수(k1)를 사용한 디블러 처리가 행하여진다. 한편, 매크로 촬영 모드가 설정된 경우에는, QR 코드 등의 2차원 바코드가 촬영되고, 보정 계수(k2)를 사용한 디블러 처리가 행하여진다. 도 8(A)에, 디블러 처리 전의 QR 코드의 촬상 화상, 도 8(B)에, 디블러 처리 후의 QR 코드의 촬상 화상의 한 예를 도시한다. 이와 같이, 디블러 처리에 의해, 흐림이 양호하게 보정되어, 근점에 포커스된 화상을 얻을 수 있다.

다음에, 상기 실시의 형태의 변형례(변형례 1, 2)에 관해 설명한다. 이하에서는, 상기 실시의 형태와 같은 구성 요소에 관해서는, 동일한 부호를 붙이고 적절히 설명을 생략한다.

<변형례 1>

도 9는, 변형례 1에 관한 디블러 처리 동작을 설명하기 위한 모식도이다. 상기 실시의 형태에서는, 라인 메모리의 라인수를, 보정 계수에 응한 필터 사이즈에 맞추어서 설정하였다. 즉, 보정 계수(k1, k2)의 어느 쪽을 이용한 디블러 처리에도 적용할 수 있도록, 큰 필터 사이즈를 필요로 한 보정 계수(k2)에 맞추어서 라인수를 5로 하였지만, 라인 메모리의 라인수를 적게 하여, 필터 사이즈가 작아지도록 하여도 좋다.

예를 들면, 라인 메모리의 라인수를, 통상 촬영 모드(보정 계수(k1)를 사용한 경우)의 필터 사이즈(3×3)에 맞추어서, 3이 되도록 하여도 좋다. 이 경우, 매크로 촬영 모드에서는, 본래라면, 상술한 바와 같이 5라인분 필요하게 되지만, 그 중 2라인분을 솎아냄으로써, 3라인의 라인 메모리에 대응시킬 수 있다. 구체적으로는, 도 9에 도시한 바와 같이, 5라인(b1 내지 b5)분의 화소 데이터중 소정의 라인(b2, b4)를 솎아냄(1라인 것러서 라인 메모리에의 기록을 행한다)에 의해, 3라인(b1, b3, b5)분의 화소 데이터를, 디블러 처리 대상으로 한다. 이에 의해, 수직 방향이 2라인분 솎아내여지기(수평 방향(라인 방향)의 화소는 솎아내어지지 않는다) 때문에, 3×5의 필터 사이즈로 디블러 처리를 행할 수가 있다.

이와 같이, 기억부(121)에서의 라인 메모리의 라인수는, 반드시 필터 사이즈가 큰 매크로 촬영 모드에 맞출 필요는 없다. 매크로 촬영 모드는, 주로 QR 코드의 판독 등의 데이터 인식을 위해 사용되는 촬영 모드이기 때문에, 촬상 화상에서는 그와 같은 데이터를 인식할 수 있을 정도의 해상도가 확보되어 있으면 충분하다. 이 때문에, 본 변형례와 같이, 소정의 라인을 솎아내어서 기억부(121)의 라인 메모리에 유지하도록 하여도 좋다. 이와 같은 구성에 의해서도, 상기 실시의 형태와 동등한 효과를 얻을 수 있음과 함께, 디블러 처리시의 필터 사이즈를 상기 실시의 형태에 비하여 축소하는 것이 가능하다.

또한, 기억부(121)에서의 라인 메모리의 라인수는, 상술한 "5개"나 "3개"로 한정되는 것이 아니라, 다른 라인수라도 좋다. 사용하는 보정 계수의 PSF의 사이즈 등에 응하여, 적절히 설정하는 것이 가능하다.

또한, 라인 메모리의 라인수의 삭감(필터 사이즈의 축소)은, 상기한 바와 같은 화소 데이터를 솎아내는 수법 외에도, 예를 들면 촬상 소자(11)에서의 화소 데이터끼리를 혼합하거나, 디지털 처리에서 화소 데이터끼리를 가산하거나 함에 의해서도 실현할 수 있다.

<변형례 2>

또한, 상기 실시의 형태에서는, 촬상 소자(11)의 수광면에 R, G, B의 3원색의 필터가 배열하여 이루어지는 컬러 필터를 마련하고 있기 때문에, 3색 모든 화소 데이터가 디블러 처리의 대상이 되지만, 이하와 같이, 특정한 색성분만을 디블러 처리의 대상으로 하여도 좋다. 예를 들면, 컬러 필터의 색 배열이 베이어 배열인 경우에는, 해상도를 취할 수 있는 녹색 성분만을 디블러 처리의 대상으로 하여도 좋다. 이 경우, 예를 들면, 도 10에 도시한 바와 같이, 컬러 필터의 색 배열에 응하여 배열한 화소 데이터 중, G 데이터만의 데이터 배열이 되도록 재나열을 행함으로써, 라인수를 적게 할(1/2로 한다) 수 있다.

또는, 도 11에 도시한 바와 같이, 근접 촬영의 경우, 청색광(L_B), 녹색광(L_G), 적색광(L_R)의 색광마다 결상 위치(f_B, f_G, f_R)에 차가 생기고, 이 중 청색광(LB)에서 가장 초점이 맞기 쉽게 된다. 이 때문에, 촬상 데이터(D0) 중 청색 성분만을 디블러 처리의 대상으로 하여도 좋다. 또한, 이 경우도, 상기 녹색 성분만을 이용하는 경우와 마찬가지로 B데이터만의 데이터 배열로 재나열을 행함으로써, 라인수를 적게 할 수 있다.

또한, 이들의 청색 성분과 녹색 성분을 디블러 처리 대상으로 하여도 좋다. 이 경우, 베이어 배열의 컬러 필터에서는, 데이터 배열이 「R, G, R, G, …」가 되는 라인과, 데이터 배열이 「G, B, G, B, …」가 되는 라인 중, 후자의 라인만을 선택적으로 라인 메모리에 격납하면 좋다.

<기타의 변형례>

이상 실시의 형태 및 변형례를 들어서 본 발명을 설명하였지만, 본 발명은 상기 실시의 형태 등으로 한정되는 것이 아니고, 여러 가지 변형이 가능하다. 예를 들면, 상기 실시의 형태 등에서는, 촬영 모드로서, 통상 촬영 모드와 매크로 촬영 모드의 2개의 모드 전환을 행하고, 각 촬영 모드에 응한 2개의 보정 계수를 전환 가능하게 하였지만, 촬영 모드 및 그에 대응하는 보정 계수의 수는, 3개 이상이라도 좋다.

또한, 상기 변형례 1, 2에서는, 촬상 데이터(D0) 중, 소정의 라인을 솎아내어서 디블러 처리를 행하는 경우나, R, G, B의 화소 데이터 중 특정한 색성분만을 디블러 처리 대상으로 하는 경우에 관해 설명하였지만, 이 밖에도, Y/C 분리 후의 휘도 신호를 디블러 처리 대상으로 하여도 좋다. 이 경우, 예를 들면, 화상 처리부(12)에서의 전처리부(120)에서의 Y/C 분리 처리를 행하여 휘도 신호(Y)와 색 신호(C)를 분리한 후, 그 휘도 성분만을 기억부(121)의 라인 메모리에 소정의 라인수로 격납하면 좋다.

Claims

촬상 렌즈와,
상기 촬상 렌즈의 통과 광선에 의거한 촬상 데이터를 취득하는 촬상 소자와,
상기 촬상 데이터에 의거한 촬상 화상에 대해 화상 처리를 시행하는 화상 처리부를 구비하고,
상기 화상 처리부는,
상기 촬상 화상에 대해 흐림 보정을 행하는 디블러 처리부와,
각각이 상기 촬상 렌즈로부터 피사체까지의 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 하나를 선택하고, 선택한 흐림 보정 계수를 상기 디블러 처리부에 출력하는 보정 계수 선택부를 갖는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 복수의 보정 계수는, 근접 물체용의 제 1의 보정 계수와, 원방(遠方) 물체용의 제 2의 보정 계수를 적어도 포함하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 복수의 보정 계수는 각각, 점상 분포 함수(PSF : Point spread function)의 역함수인 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
복수의 라인 메모리를 가지며, 상기 복수의 라인 메모리에 상기 촬상 데이터를 격납시켜서 유지하는 기억부를 또한 구비하고,
상기 기억부는, 상기 복수의 라인 메모리에, 상기 촬상 데이터 중 상기 보정 계수의 2차원 사이즈에 대응한 라인수의 화소 데이터를 격납하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
복수의 라인 메모리를 가지며, 상기 복수의 라인 메모리에 상기 촬상 데이터를 격납시켜서 유지하는 기억부를 또한 구비하고,
상기 기억부는, 상기 복수의 라인 메모리에, 상기 촬상 데이터 중 소정의 라인의 화소 데이터를 솎아내어서 격납하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 데이터가 적(R), 녹(G), 청(B)의 3개의 색 신호를 포함하고,
상기 디블러 처리부는, 상기 촬상 데이터 중의 특정한 색 신호만에 대해 흐림 보정을 행하는 것을 특징으로 하는 촬상 장치.
제 6항에 있어서,
상기 특정한 색 신호는, 청색 신호 및 녹색 신호의 한쪽 또는 양쪽인 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 데이터가 휘도 신호 및 색 신호로 분리되고,
상기 디블러 처리부는, 분리 후의 휘도 신호만에 대해 흐림 보정을 시행하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 보정 계수 선택부는, 외부로부터 입력되는 모드 설정 신호에 의거하여, 상기 하나의 보정 계수를 선택하는 것을 특징으로 하는 촬상 장치.
촬상 소자에 의해 취득되고, 촬상 렌즈의 통과 광선에 의거한 촬상 화상에 대해, 흐림 보정을 행하는 디블러 처리부와,
각각이 상기 촬상 렌즈로부터 피사체까지의 물체 거리에 응하여 설정된 복수의 흐림 보정 계수 중에서 하나를 선택하고, 상기 디블러 처리부에 출력하는 보정 계수 선택부를 구비한 것을 특징으로 하는 화상 처리 장치.