KR20060071893A

KR20060071893A - 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및기록 매체

Info

Publication number: KR20060071893A
Application number: KR1020050126685A
Authority: KR
Inventors: 하지메 호사까; 마사노리 가사이
Original assignee: 소니 가부시끼 가이샤
Priority date: 2004-12-22
Filing date: 2005-12-21
Publication date: 2006-06-27
Also published as: JP4534756B2; EP1675384A2; CN1794783A; US20060132642A1; JP2006180269A; EP1675384A3; CN100442816C; US7589771B2; KR101220002B1

Abstract

화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상된 화상의 노이즈를 저감한다. 촬상부(2)에서 가시광 화상 Visible과 적외광 화상 Infr을 촬상한다. 이들 화상을 촬상할 때, 특별한 조명 기구는 사용하지 않고, 자연광 하에서 촬상한다. 로우 패스 필터(33)는 가시광 화상 Visible의 노이즈를 제거하고, 하이 패스 필터(34)는 적외광 화상 Infr의 엣지를 추출한다. 로우 패스 필터(33)로부터의 출력 화상 Base는, 화상의 색미가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않다고 하는 단점이 있다. 하이 패스 필터(34)로부터의 출력 화상 Edge는 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 화상 합성부(35)에서 화상 Base와 화상 Edge를 합성함으로써 이들 화상의 장점을 합친 출력 화상 OUT이 얻어진다.

로우 패스 필터, 하이 패스 필터, 화상 합성부, 가시광 화상, 적외광 화상, 노이즈

Description

화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PICKUP APPARATUS, COMPUTER PROGRAM, AND RECORDING MEDIUM}

도 1은 촬상 소자의 구성을 도시하는 블록도.

도 2는 화상 처리부의 구성을 도시하는 블록도.

도 3은 로우 패스 필터의 구성을 도시하는 블록도.

도 4는 로우 패스 필터의 동작을 도시하는 플로우차트.

도 5는 X 방향의 레벨 1 필터의 동작을 도시하는 플로우차트.

도 6은 하이 패스 필터의 구성을 도시하는 블록도.

도 7은 화상 처리부의 제1 변형예를 도시하는 블록도.

도 8은 화상 처리부의 제2 변형예를 도시하는 블록도.

도 9는 수차 보정부의 구성을 도시하는 블록도.

도 10은 수차 보정부의 동작을 도시하는 플로우차트.

도 11은 수차 보정부에서의 스케일값의 산출 처리를 도시하는 플로우차트.

도 12는 종래의 화상 처리 장치의 구성을 도시하는 블록도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 촬상 장치

2 : 촬상부

21 : 촬상 소자

22 : 렌즈

23 : 모터

24 : 드라이버

3 : 화상 처리부

32 : 수차 보정부

31 : 게인 조정부

33 : 로우 패스 필터

34 : 하이 패스 필터

35 : 화상 합성부

[비특허 문헌 1] Georg Petschnigg Et al, Digital Photography with Flash and No-Flash Image pairs, acm Transaction on Graphics, Vol.23, Number 3, pp. 664∼672, August 2004

본 발명은, 화상의 엣지를 보존하면서 노이즈를 제거하는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체에 관한 것이다.

카메라로 화상을 촬상할 때, 화상의 색미는 라이팅에 크게 의존한다. 예를 들면, 납촉광에 비추인 피사체를 촬상하면, 오렌지색을 띄게 된 색미의 화상으로 되고, 월광에 비추인 피사체를 촬상하면, 청색을 띄게 된 색미의 화상으로 된다. 동일한 장소이어도 촬상 시의 라이팅에 의해 전혀 다른 화상이 촬상된다.

화상을 촬상할 때에는, 플래시 등의 특별한 조명 기구를 사용하지 않고, 자연의 빛(이하, 자연광이라고 함)을 이용하는 쪽이 올바른 색미를 재현할 수 있는데, 옥내나 야간에 촬상하면, 노광이 적어 화상에 노이즈가 포함된다고 하는 문제가 생긴다. 한편, 플래시를 사용하면, 노광량이 증가하여 엣지나 상세 부분이 선명하게 촬상되지만, 색미가 올바르지 않게 된다거나, 실제로는 존재하지 않는 그림자나 하이라이트가 발생한다거나 하게 된다고 하는 문제가 발생한다.

종래, 이러한 문제를 해결하기 위해, 도 12에 도시하는 바와 같은 화상 처리 장치(11)가 제안되어 있다. 화상 처리 장치(11)는, 2개의 로우 패스 필터(12, 13)와, 1개의 하이 패스 필터(14)와, 2개의 화상 합성부(15, 17)와, 1개의 음영 추출부(16)를 구비한다.

로우 패스 필터(13)는 크로스 바이래터럴 필터로서, 플래시를 사용한 화상(이하, 플래시 화상이라고 함)으로부터 엣지를 검출해서, 플래시를 사용하지 않은 화상(이하, 자연광 화상이라고 함)의 노이즈를 제거한다. 하이 패스 필터(14)는 플래시 화상의 엣지를 추출한다. 엣지의 추출에는, 자연광 화상의 각 화소값을 플래시 화상으로 제산한다고 하는 처리를 행한다.

화상 합성부(15)는 로우 패스 필터(13)에 의해 노이즈를 제거한 자연광 화상 과 하이 패스 필터(14)에 의해 엣지를 추출한 플래시 화상을 합성하여, 합성 화상 Comp를 생성한다. 화상의 합성에는, 로우 패스 필터(13)의 화소값에 하이 패스 필터(14)의 출력 화상의 화소값을 곱한다고 하는 처리를 행한다. 합성 화상 Comp는 플래시 화상과 자연광 화상의 장점을 갖추고 있어, 색미가 올바르고 노이즈가 적게 되어 있다.

로우 패스 필터(12)는 자연광 화상의 노이즈를 제거한다. 로우 패스 필터(12)로서는 바이래터럴 필터를 이용한다. 바이래터럴 필터는 1매의 화상을 이용하여 그 화상의 엣지 검출과 노이즈 제거를 행하는 필터이다.

음영 추출부(16)는 플래시 화상과 자연광 화상의 2매의 화상의 차이를 추출해서, 하이라이트나 그림자에 의해 화상이 변화된 확률을 평가한다. 화상 합성부(17)는, 음영 추출부(16)의 평가 결과에 기초하여, 로우 패스 필터(12)로부터의 출력 화상과 화상 합성부(15)의 출력 화상 Comp의 가중 가산을 행한다. 화상 합성부(17)는, 플래시의 유무에 따라 그림자나 하이라이트가 생겨 있을 가능성이 높은 부분에서는 화상의 중요도를 높게 하고, 가능성이 낮은 부분에서는 화상의 중요도를 낮게 한다. 화상 합성부(17)는 합성 화상 Comp로부터 불필요한 그림자나 하이라이트를 제거하고, 출력 화상 Out을 생성한다.

이와 같이, 종래의 화상 처리 장치(11)에서는, 플래시 화상의 엣지를 합성한 화상과, 플래시 화상의 엣지를 참조하지 않고서 노이즈를 제거한 화상의 2매의 화상을 생성하고, 플래시에 의해 그림자나 하이라이트가 발생하였을 가능성이 높은 화소에서는 하이 패스 필터(12)의 출력 화상의 계수를 높게 하고, 플래시에 의해 그림자나 하이라이트가 발생하였을 가능성이 낮은 화소에서는 화상 합성부(17)의 출력 화상 Comp의 계수를 높게 함으로써, 플래시 화상의 엣지와 자연광 화상의 색미를 최적으로 블렌드한 화상을 얻을 수 있다(예를 들면, 비특허 문헌 1).

상술한 바와 같이, 플래시를 사용하면, 화상의 엣지나 상세 부분이 선명하게 되지만, 자연광에서는 존재하지 않는 그림자나 하이라이트가 발생하는 경우가 있다. 화상 처리 장치(11)에서는, 그림자나 하이라이트는 제거하면서, 엣지나 상세 부분만을 남기고자 하지만, 이들을 구별하는 것은 용이하지 않아서 상당한 연산 코스트를 요한다.

또한, 화상 처리 장치(11)에서는 플래시 화상과 자연광 화상의 2매의 화상이 필요하다. 플래시 화상과 자연광 화상을 동시에 촬상하는 것은 불가능하기 때문에, 동화상이나 움직이는 피사체에 적용할 수 없다고 하는 문제가 있다. 또한, 플래시의 사용이 금지된 장소에서는 플래시 화상을 취득할 수 없다고 하는 문제도 있다.

본 발명은 상술한 과제를 감안하여 이루어진 것으로, 화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상한 화상의 노이즈를 저감하는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체를 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위해, 본 발명을 적용한 화상 처리 장치는, 가시광 화상과, 가시광 화상과 동일한 피사체를 촬상한 불가시광 화상을 취득하는 화상 취득 수단과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단을 구비한다.

본 발명을 적용한 촬상 장치는, 주로 가시광 화상에 대하여 감도가 있는 제1 분광 특성에 기초하여 가시광 화상을 촬상하는 가시광 화상 촬상 수단과, 주로 불가시광 화상에 대하여 감도가 있는 제2 분광 특성에 기초하여 불가시광 화상을 촬상하는 불가시광 화상 촬상 수단과, 가시광 화상과 불가시광 화상의 수차를 보정하는 수차 보정 수단과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단을 구비한다.

본 발명을 적용한 화상 처리 방법은, 가시광 화상과, 가시광 화상과 동일한 피사체를 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정을 포함한다.

본 발명을 적용한 프로그램은, 소정의 처리를 컴퓨터에 실행시키는 프로그램에 있어서, 가시광 화상과, 가시광 화상에 대응하고 또한 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정을 포함한다.

본 발명을 적용한 기록 매체는, 소정의 처리를 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체에 있어서, 가시광 화상과, 가시광 화상에 대응하고 또한 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정 을 포함하는 프로그램이 기록되어 있다.

<실시예>

이하, 도면을 참조하여 본 발명을 적용한 촬상 장치에 대하여 설명한다. 도 1에 촬상 장치(1)의 구성을 도시한다. 촬상 장치(1)는, 가시광 화상 Visible과 적외광 화상 Infr의 양쪽을 촬상하는 촬상부(2)와, 가시광 화상 Visible의 노이즈를 제거하는 화상 처리부(3)와, 화상이나 데이터의 기억 영역인 메모리(4)와, LCD(Liquid Crystal Display)(5)에의 화상 출력, 시리얼 인터페이스(6)나 USB(Universal Serial Bus)(7) 등의 인터페이스를 통하여 외부 기록 장치(10)와의 데이터 송수신을 행하는 시스템 컨트롤부(8)와, 촬상 소자(21)로부터 입력된 화상에 AGC(Automatic Gain Control) 및 CDS(Correlated Double Sampling)를 실시해서 화상 처리부(3)에 출력하는 신호 처리부(9)를 구비한다.

촬상부(2)는 가시광 화상 Visible과 적외광 화상 Infr의 RGB 화상을 출력한다. 촬상부(2)는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-0xide Semiconductor)를 구성하는 촬상 소자(21)와, 렌즈(22)의 초점 맞춤이나 셔터 절환을 행하는 모터(23)와, 모터(23)를 제어하는 드라이버(24)를 구비한다.

촬상 소자(21)에는, 적외선 화상 Infr을 촬상하기 위한 촬상 소자(21)와, 가시광 화상 Visible을 촬상하기 위한 촬상 소자(21)가 있다. 적외광 화상 Infr을 촬상하는 촬상 소자(21)와 가시광 화상 Visible을 촬상하는 촬상 소자(21)는 동일 화소 수, 동일 화면 각도이고, 동일한 시각에 동일한 시간만큼 노광된다. 또한, 촬상 소자(21)는 가시광용과 적외광용으로 따로따로이어도 되고, 1개의 촬상 소자(21)의 출력을 분광하도록 하여도 된다.

화상 처리부(3)는, 가시광 화상 Visible의 엣지를 보존하면서 노이즈를 제거한 출력 화상 Out을 생성한다. 도 2에 화상 처리부(3)의 구성을 도시한다. 화상 처리부(3)는, 가시광 화상 Visible의 게인을 조정하는 게인 조정부(31)와, 가시광 화상 Visible의 노이즈를 제거하는 로우 패스 필터(33)와, 적외광 화상 Infr의 엣지 및 상세 부분을 추출하는 하이 패스 필터(34)와, 로우 패스 필터(33)의 출력 화상인 기초 화상 Base와 하이 패스 필터(34)의 출력 화상인 상세 화상 Edge를 합성하는 화상 합성부(35)로 구성된다.

게인 조정부(31)는, 게인을 조정함으로써, 노출 부족으로 어둡게 촬상된 가시광 화상 Visible의 화소값을 증대하여, 적정 노출로 촬상된 화상에 가까운 화소값으로 한다. 게인의 조정 방법으로서는, 가시광 화상의 화소값을 상수배하는 방법이나 지수 함수에 기초한 감마 보정, 다항식 함수 등에 기초한 임의의 게인 조정 방법 등이 있다. 조정 후의 화소값의 최대값은 제한되어 있다.

도 3에 로우 패스 필터(33)의 구성을 도시한다. 로우 패스 필터(33)는, 적외광 화상 Infr의 X 방향(폭 방향)의 엣지를 검출하는 X 엣지 검출부(41)와, 적외광 화상 Infr의 Y 방향(높이 방향)의 엣지를 검출하는 Y 엣지 검출부(42)와, X 방향의 엣지 평가치를 저장하는 X 평가치 저장부(43)와, Y 방향의 엣지 평가치를 저장하는 Y 평가치 저장부(44)와, X 방향의 엣지를 제거하는 3개의 X 로우 패스 필터(45a, 45b, 45c)와, Y 방향의 엣지를 제거하는 3개의 Y 로우 패스 필터(46a, 46b, 46c)와, X 엣지 평가치와 임계치를 비교하는 3개의 X 비교부(47a, 47b, 47c)와, Y 엣지 평가치와 임계치를 비교하는 3개의 Y 비교부(48a, 48b, 48c)를 구비한다.

X 로우 패스 필터는 X 방향의 5×1 탭 FIR 로우 패스 필터이다. X 로우 패스 필터에 의해서 가시광 화상의 X 방향의 노이즈가 제거된다. Y 로우 패스 필터는 Y 방향의 1×5 탭 FIR 로우 패스 필터이다. Y 로우 패스 필터에 의해서 가시광 화상의 Y 방향의 노이즈가 제거된다.

X 엣지 검출부(41)는 X 방향의 엣지를 검출하는 4×4 FIR 필터이고, Y 엣지 검출부(42)는 Y 방향의 엣지를 검출하는 4×4 FIR 필터이다. X 평가치 저장부(43)는 X 엣지 검출부(42)의 필터 결과에 대하여 절대값 연산을 적용해서 엣지 평가치를 산출하고, 이 값을 X 엣지 화상으로서 저장한다. Y 평가치 저장부(44)는 Y 엣지 검출부(42)의 필터 결과에 대하여 절대값 연산을 적용해서 엣지 평가치를 산출하고, 이 값을 Y 엣지 화상으로서 저장한다.

X 비교부(47) 및 Y 비교부(48)는 엣지 평가치와 소정의 임계치의 비교를 행한다. 임계치 n은 엣지 평가치의 최대값의 1/2이다. X 비교부(47a)는 X 방향의 엣지 평가치와 임계치 n을 비교하고, X 비교부(47b)는 X 방향의 엣지 평가치와 임계치 n/2을 비교하며, X 비교부(47c)는 X 방향의 엣지 평가치와 임계치 n/4을 비교한다. Y 비교부(48a)는 Y 방향의 엣지 평가치와 임계치 n을 비교하고, Y 비교부(48b)는 Y 방향의 엣지 평가치와 임계치 n/2을 비교하며, Y 비교부(48c)는 Y 방향의 엣지 평가치와 임계치 n/4을 비교한다.

로우 패스 필터(33)는 레벨 1 필터(49a), 레벨 2 필터(49b), 레벨 3 필터 (49c)의 3 단계로 구성된다. 로우 패스 필터(33)의 레벨은 X 비교부(47) 및 Y 비교부(48)에서의 임계치의 대소에 따른다. 임계치 n의 로우 패스 필터를 레벨 1 필터(49a), 임계치 n/2의 로우 패스 필터를 레벨 2 필터(49b), 임계치 n/4의 로우 패스 필터(49c)를 레벨 3 필터라고 칭한다.

가시광 화상 Visible은, 우선, X 비교부(47a)에 출력된다. X 비교부(47a)는 X 평가치 저장부(43)에 저장된 X 방향의 엣지 평가치와 임계치 n을 비교한다. X 비교부(47a)는, 엣지 평가치가 임계치 n보다 작은 경우에는 가시광 화상 Visible을 X 로우 패스 필터(45a)에 출력하고, 엣지 평가치가 임계치 n 이상인 경우에는 가시광 화상 Visible을 Y 비교부(48a)에 출력한다. 비교부(48b)는 Y 평가치 저장부(44)에 저장된 Y 방향의 엣지 평가치와 임계치 n을 비교한다. 비교부(48b)는, 엣지 평가치가 임계치 n보다 작은 경우에는 가시광 화상 Visible을 Y 로우 패스 필터(46a)에 출력하고, 엣지 평가치가 임계치 n 이상인 경우에는 가시광 화상 Visible을 다음 X 비교부(47b)에 출력한다.

마찬가지로, X 비교부(47b), Y 비교부(46b), X 비교부(47c), Y 비교부(48c)에서 엣지 평가치와 임계치를 비교해서, 임계치보다 작은 경우에는 후단의 로우 패스 필터에 가시광 화상 Visible을 출력하고, 임계치 이상인 경우에는 가시광 화상 Visible을 다음 비교부에 출력한다.

도 4에 로우 패스 필터(33)의 동작을 도시한다. 로우 패스 필터(33)는, 우선, 적외광 화상 Infr을 입력받는다(단계 S1). X 엣지 검출부(41)는 적외광 화상 Infr에 존재하는 X 방향의 엣지를 검출한다. X 평가치 저장부(43)는 X 방향의 엣 지에 소정의 절대값 연산을 적용하여 X 방향의 엣지 평가치를 산출하고, 산출한 엣지 평가치를 X 엣지 화상으로서 저장한다(단계 S2). Y 엣지 검출부(42)는 적외광 화상 Infr에 존재하는 Y 방향의 엣지를 검출한다. Y 평가 저장부(44)는 Y 방향의 엣지에 소정의 절대값 연산을 적용한 Y 방향의 엣지 평가치를 산출하고, 산출한 엣지 평가치를 Y 엣지 화상으로서 저장한다(단계 S3).

로우 패스 필터(33)는 게인 조정부(31)로부터 가시광 화상 Visible을 입력받으면(단계 S4), 입력받은 가시광 화상 Visible을 레벨 1 필터(49a)에 적용하여, X 방향의 처리를 행한다(단계 S5).

도 5에 레벨 1 필터(49a)의 X 방향의 처리를 도시한다. 레벨 1 필터(49a)의 X 방향의 처리에서는, 우선, Y 방향의 좌표 Y를 0으로 초기화하고(단계 S11), X 방향의 좌표 X를 0으로 초기화한다(단계 S12). X 비교부(47a)는 X 평가치 저장부(43)로부터 X 평가치 화상을 입력받는다. X 비교부(47a)는 X 평가치 화상의 좌표(X, Y)에서의 X 방향의 엣지 평가치와 임계치 n을 비교한다. 좌표(X, Y)의 엣지 평가치가 임계치 n보다 작은 경우(단계 S13; "예"), 좌표(X, Y)의 가시광 화상에 X 로우 패스 필터(45a)를 적용한다(단계 S14). 한편, 좌표(X, Y)의 엣지 평가치가 임계치 n보다 큰 경우(단계 S13; "아니오"), 단계 S15로 처리를 이행한다. 단계 S15에서는, X 좌표를 1 인크리먼트한다(단계 S15). X 좌표의 값과 가시광 화상 Visible의 폭을 비교하고, 좌표 X가 가시광 화상 Visible의 폭보다 작으면(단계 S16; "예"), 단계 S13으로 처리를 이행한다. 한편, 좌표 X가 가시광 화상 Visible의 폭보다 크면(단계 S16; "아니오"), 좌표 Y를 1 인크리먼트한다(단계 S17). 단 계 S18에서는 Y 좌표의 값과 가시광 화상 Visible의 높이를 비교한다. Y 좌표가 가시광 화상 Visible의 높이보다 작으면(단계 S18; "예"), 단계 S12로 처리를 이행한다. 한편, Y 좌표가 가시광 화상 Visible의 높이보다 크면(단계 S18; "아니오"), 레벨 1 필터의 X 방향의 처리를 종료한다. 레벨 1 필터는 가시광 화상을 구성하는 각 화소의 엣지 평가치와 임계치 n을 비교해서, 엣지 평가치가 임계치 n보다 작으면, X 로우 패스 필터(45a)를 적용하여 X 방향의 노이즈를 제거한다.

레벨 1 필터에서는, X 방향의 레벨 1 필터(49a)에 의한 처리가 완료되면, Y 방향의 레벨 1 필터(49a)에 의한 처리를 행한다. 여기서는, 도 5에 도시하는 X 방향의 레벨 1 필터(49a)와 대략 동일한 처리를 행한다. Y 방향의 레벨 1 필터(49a)에서는 엣지 평가 화상으로서 X 엣지 화상 대신에 Y 엣지 화상을 사용하고, 로우 패스 필터로서 X 로우 패스 필터(45a) 대신에 Y 로우 패스 필터(46a)를 사용한다(단계 S6).

레벨 1 필터(49a)는, 자신의 처리가 완료되면, 가시광 화상 Visible을 레벨 2 필터(49b)에 출력한다. 레벨 2 필터(49b)는, 우선, X 방향의 처리를 행한다(단계 S7). X 방향의 처리가 완료되면, Y 방향의 처리를 행한다(단계 S8). 레벨 3 필터(49c)는 레벨 2 필터(49b)의 출력 화상을 입력받으면 X 방향의 처리를 행하고(단계 S9), X 방향의 처리를 완료하면 Y 방향의 처리를 행한다(단계 S10). 레벨 2 필터와 레벨 3 필터는 임계치가 서로 다른 것을 제외하고 동일한 처리를 행한다.

로우 패스 필터(33)에서는, 엣지 평가치가 낮은 화소일수록 필터링되는 횟수가 많게 되고, 엣지 평가치가 높은 화소일수록 필터링되는 횟수가 적게 된다. 즉, 엣지 평가치가 높은 화소는 필터링 횟수가 적기 때문에 엣지가 보존되고, 엣지 평가치가 낮은 화소는 필터링 횟수가 많기 때문에 노이즈가 제거된다. 이러한 기능을 갖는 필터를 엣지 보존 필터라고 부른다. 엣지 보존 필터의 종류는 도 3에 도시되어 있지만, 그 외에, 바이래터럴 필터나 크로스 바이래터럴 필터 등이 있다. 로우 패스 필터(33)로서 이들 필터를 사용하여도 된다.

로우 패스 필터(33)는 가시광 화상 Visible의 노이즈를 제거한 화상을 출력한다. 이 화상을 기초 화상 Base라고 칭한다. 기초 화상 Base는 화상의 색미가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않고 흐릿해졌다는 인상을 준다고 하는 단점이 있다.

하이 패스 필터(34)는 적외광 화상 Infr의 엣지 부분을 추출한다. 도 6에 하이 패스 필터(34)의 일례를 도시한다. 도 6의 하이 패스 필터(34)는 2차원 FIR 필터이다. 하이 패스 필터(34)는 로우 패스 필터(71)와 제산부(72)로 구성된다. 로우 패스 필터(71)는, 예를 들면, 엣지 보존형 로우 패스 필터이다. 로우 패스 필터(71)는 가시광 화상 Visible의 노이즈를 제거하고, 이 화상을 제산부(72)에 출력한다. 제산부(72)는 적외광 화상 Irfr로부터 로우 패스 필터(71)의 출력을 제산하여, 적외광 화상 Infr의 하이 패스 성분을 추출한다. 하이 패스 필터(34)로부터 출력된 화상에는, 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 이 화상을 상세 화상 Edge라고 칭한다.

화상 합성부(35)는 기초 화상 Base와 상세 화상 Edge를 승산한 합성 화상을 생성한다. 이 화상이 화상 처리부(3)의 출력 화상 OUT이다. 출력 화상 OUT은 기 초 화상 Base와 상세 화상 Edge의 2개의 화상의 장점을 합친 화상으로, 색이 올바르고 상세 부분이 선명하다고 하는 특징이 있다.

이상 설명한 바와 같이, 본 발명을 적용한 촬상 장치(1)에서는, 가시광 화상 Visible의 노이즈를 제거한 기초 화상 Base와, 적외광 화상 Infr의 엣지나 상세 부분을 추출한 상세 화상 Edge를 합성함으로써, 가시광 화상 Visible의 노이즈를 제거하면서, 노이즈 제거에 의해 감쇠된 엣지 부분이나 상세 부분을 포함하는 출력 화상 OUT을 얻을 수 있다.

또한, 적외광 화상 Infr은 가시광 화상 Visible과 동시에 촬상할 수 있기 때문에, 촬상 시각의 어긋남이 발생하지 않아, 동화상이나 움직이는 피사체의 처리도 가능하다.

종래의 화상 처리 장치에서는, 플래시 화상에서 엣지를 추출하고 있었기 때문에, 조명 조건의 차이에 의해 발생하는 그림자나 하이라이트를 제거하기 위한 연산 코스트가 증대하고 있었지만, 적외광 화상 Infr은 가시광 화상 Visible과 동일한 조명 조건에서 촬상할 수 있기 때문에, 조명 조건의 차이를 보정하지 않아도 된다.

또한, 종래의 화상 처리 장치에서는, 상세 부분이나 엣지를 그림자나 하이라이트로 오판별한 경우에는, 상세 부분의 화소가 파기되게 된다고 하는 과제가 있었다. 적외광 화상 Infr은 가시광 화상 Visible과 동일한 조명 조건에서 촬상할 수 있으므로, 조명 조건의 차이에 의한 그림자나 하이라이트가 발생하지 않아, 필요한 화소가 파기되게 될 우려가 없다.

다음으로, 도 7을 참조하여 화상 처리부(3)의 제1 변형예에 대하여 설명한다. 이 화상 처리부(50)는 가시광 화상 Visible의 휘도를 이용하여 엣지 검출을 행한다. 휘도는 변수가 1개이기 때문에, RGB의 3개 변수로부터 엣지 검출을 행하는 것보다 연산 코스트가 적게 된다. 인간은, 일반적으로 휘도에 대하여 감도가 높고, 색 성분에 대해서는 감도가 높지 않기 때문에, 휘도에서의 엣지 검출로도 충분한 효과가 있다.

도 7에 화상 처리부(50)의 구성을 도시한다. 화상 처리부(50)는, 게인 조정부(52)와, 매트릭스부(53)와, 색용 로우 패스 필터(54)와, 휘도용 로우 패스 필터(55)와, 하이 패스 필터(56)와, 화상 합성부(57)와, 역매트릭스부(58)를 구비한다.

게인 조정부(52)는, 게인을 조정함으로써, 노출 부족으로 어둡게 촬상된 가시광 화상의 화소값을 증대하여, 적정 노출로 촬상된 화상에 가까운 화소값으로 한다. 게인의 조정 방법으로서는, 가시광 화상의 화소값을 상수배하는 방법이나 지수 함수에 기초한 감마 보정, 다항식 함수 등에 기초한 임의의 게인 조정 방법 등이 있다. 조정 후의 화소값의 최대값은 제한되어 있다.

매트릭스부(53)는 RGB 화상에 매트릭스 변환을 적용하여, 색 화상 Cb, Cr과 휘도 화상 Yd로 변환한다. 색용 로우 패스 필터(54)는 색 화상 Cb, Cr의 노이즈를 제거한다. 색용 로우 패스 필터(54)로서는, 예를 들면 바이래터럴 필터를 사용한다. 바이래터럴 필터는 1매의 화상으로부터 엣지 검출과 노이즈 제거를 행하는 필터이다.

휘도용 로우 패스 필터(55)는 휘도 화상 Yd의 노이즈를 제거한다. 휘도용 로우 패스 필터(55)로서는, 예를 들면 크로스 바이래터럴 필터를 사용한다. 크로스 바이래터럴 필터란, 엣지 검출용 화상으로부터 검출한 엣지를 보존하면서 필터 대상 화상의 노이즈를 제거하는 필터이다. 여기서는, 적외광 화상 Infr로부터 엣지를 검출해서, 휘도 화상 Yd의 노이즈를 제거한다. 휘도용 로우 패스 필터(55)로부터 출력되는 화상을 기초 화상 Base라고 칭한다. 기초 화상 Base는, 화상의 휘도가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않고 흐릿해졌다는 인상을 준다고 하는 단점이 있다.

하이 패스 필터(56)는 적외광 화상 Infr의 엣지 부분을 추출한다. 하이 패스 필터(56)로부터 출력된 화상에는, 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 이 화상을 상세 화상 Edge라고 칭한다.

화상 합성부(57)는, 기초 화상 Base와 상세 화상 Edge를 승산한 합성 화상을 생성한다. 이 합성 화상은 기초 화상 Base와 상세 화상 Edge의 장점을 합친 화상으로서, 휘도가 올바르고 상세 부분이나 엣지가 선명하다. 역 매트릭스부(58)는 합성 화상에 역매트릭스 변환을 적용하여 휘도 화상을 RGB 화상으로 변환한다. 이 화상이 화상 처리부의 출력 화상 OUT이다.

화상 처리부(50)는 RGB 화상을 색 화상 Cb, Cr과 휘도 화상 Yd로 분리하고, 휘도 화상 Yd에 대해서만 엣지 검출을 행한다. 인간은, 일반적으로 휘도에 대하여 감도가 높고, 색 성분에 대하여 감도가 높지 않다. RGB의 3개의 변수가 아니라, 휘도에만 필터를 적용함으로써 연산 코스트를 감소시킬 수 있다.

다음으로, 화상 처리부(3)의 제2 변형예에 대하여 설명한다. 이 화상 처리 부(3)는, 도 8에 도시하는 바와 같이, 적외광 화상의 수차를 보정하는 수차 보정부(32)를 구비한다. 수차 보정부(32) 이외의 구성은 화상 처리부(3)와 동일하다. 화상 처리부(3)와 동일한 구성 요소에는 동일 부호를 붙여 놓는다. 이들 구성 요소의 설명은 생략한다.

수차 보정부(32)는 적외광과 가시광의 파장의 차에 의해 생기는 수차를 보정한다. 도 9에 수차 보정부(32)의 구성을 도시한다. 수차 보정부(32)는, 매트릭스부(61)와, 오차 산출용 바이리니어 스케일러(62)와, 수차 보정용 바이리니어 스케일러(63)와, 파라미터 산출부(64)와, 오차 산출부(65)를 구비한다.

매트릭스부(61)는 입력된 가시광 화상 Visible의 휘도 화상 Yd를 생성한다. 오차 산출용 바이리니어 스케일러(62)는, 파라미터 산출부(64)로부터 출력된 스케일값 및 디스토션값에 기초하여, 5 가지의 스케일 변환 화상 및 디스토션 변환 화상을 생성한다.

오차 산출부(65)는 스케일 변환 화상과 적외광 화상 및 디스토션 변환 화상과 적외광 화상을 비교해서 이들 화상의 오차값을 산출한다. 이 오차갑은 PSNR값(노이즈 혼입량; Peak Signal To Noise Ratio)이다. 파라미터 산출부(64)는 오차 산출부(65)에서 산출된 PSNR값을 참조하여 스케일값과 디스토션값을 최적화한다. 수차 보정용 바이리니어 스케일러(63)는, 파라미터 산출부(64)가 최적화한 스케일값과 디스토션값을 이용하여, 가시광 화상 Visible의 수차를 보정한다.

도 10에 수차 보정부(32)의 동작을 도시한다. 수차 보정부(32)는 가시광 화상 Visible과 적외광 화상 Infr을 입력받는다. 이 가시광 화상 Visible은 RGB 화 상이다(단계 S21). 매트릭스부(61)는 가시광 화상 Visible에 매트릭스을 곱하여 휘도 화상 Yd를 생성한다(단계 S22). 파라미터 산출부(64)는 스케일값의 최대값, 현재값, 최소값, 및 디스토션값의 최대값, 현재값, 최소값을 초기화한다(단계 S23).

파라미터 산출부(64)는 오차 산출부(65)로부터 PSNR값을 입력받고, PSNR값을 최대로 하는 스케일값을 구한다(단계 S24).

도 11에 스케일값의 산출 수순을 도시한다. 파라미터 산출부(64)는 스케일값의 최대값 S₁, 최대값과 현재값의 중간값 S₂, 현재값 S₃, 최소값과 현재값의 중간값 S₄, 최소값 S₅의 5 가지의 파라미터를 준비한다. 오차 검출용 바이리너어 스케일러(62)는 이들 5 가지의 스케일값 각각을 사용하여 휘도 화상 Yd의 스케일 변환을 행한다. 이에 의해, 5 가지의 파라미터에 대응하는 5매의 휘도 화상 Yd₁∼Yd₅가 생성된다(단계 S31).

오차 산출부(65)는 휘도 화상 Yd₁∼Yd₅와 적외광 화상 Infr을 비교하여 PSNR값을 구한다. 각 휘도 화상과 적외광 화상 Yd₁∼Yd₅를 비교하면, 5 가지의 PSNR값이 산출된다(단계 S32). 최대값 S₁에서 스케일 변환된 휘도 화상 Yd₁과 적외광 화상 Infr의 PSNR값이 최대인 경우(단계 S33; "예"), 파라미터 산출부(64)는 현재값 S₃를 최대값 S₁으로 바꾸고, 최대값 S₁을 최대값 S₁의 2배의 값에서 최소값 S₅를 뺀 값으로 바꾼다(단계 S34).

최대값 S₁과 현재값 S₃의 중간값에서 PSNR값이 최대인 경우(단계 S35; "예"), 파라미터 산출부(64)는 최소값 S₅를 현재값 S₃로 바꾸고, 현재값 S₃로서 최대값 S₁과 현재값 S₃의 중간값으로 바꾼다(단계 S36).

현재값 S₃에서 PSNR값이 최대인 경우(단계 S37; "예"), 파라미터 산출부(64)는 최대값 S₁을 현재값 S₃로 바꾸고, 현재값 S₃를 현재값 S₃와 최소값 S₅의 중간값으로 바꾼다(단계 S38).

최소값 S₅와 현재값 S₃의 중간에서 PSNR값이 최대인 경우(단계 S39; "예"), 파라미터 산출부(64)는 현재값 S₃를 최소값 S₅로 바꾸고, 최소값 S₅를 최소값 S₅의 2배로부터 최대값 S₁을 뺀 값으로 바꾼다(단계 S40).

최소값 S5에서 PSNR값이 최대인 경우(단계 S33, 단계 S35, 단계 S37, 단계 S39; "아니오"), 파라미터 산출부(64)는 현재값 S₃를 최소값 S₅로 바꾸고, 최소값 S₅를 최소값 S₅의 2배로부터 최대값 S₁을 바꾼다(단계 S41). 이와 같이, 스케일값의 최적화가 완료된다.

다음으로, 파라미터 산출부(64)는 디스토션값의 최적화를 행한다. 디스토션값의 최적화는 스케일값의 최적화 처리와 동일한 처리이다. 디스토션값의 최적화에서는 파라미터가 스케일값으로부터 디스토션값으로 변화된다(단계 S25). 스케일값과 디스토션값의 최적화가 완료되면, 파라미터 산출부(64)는 PSNR값의 개선량을 소정의 임계치와 비교한다. PSNR값의 개선량이 소정의 임계치보다 낮은 경우에는(단계 S26; "아니오"), 단계 S25로 처리를 이행하여, 다시, 스케일값 및 디스토션값의 최적화를 행한다.

한편, PSNR값의 개선량이 소정의 임계치보다 높은 경우에는(단계 S26; "예"), 파라미터 산출부(64)는 현재의 스케일값과 디스토션값을 수차 보정용 바이리니어 스케일러(63)에 출력한다. 수차 보정용 바이리니어 스케일러(63)는 현재의 스케일값과 디스토션값을 이용하여 가시광 화상 Visible의 수차 보정을 행하고(단계 S27), 보정된 화상을 하이 패스 필터(56)에 출력한다(단계 S28).

수차 보정부(32)를 마련함으로써, 가시광과 적외광의 파장의 차에 의해 생기는 수차의 차이를 보정할 수 있다. 이에 의해, 가시광 화상 Visible에 촬상된 상과 적외광 화상 Infr에 촬상된 상이 일치한다.

일반적으로, 적외광의 굴절율이 높아 약간 확대된다. 가시광 화상 Visible을 보정하면, 큰 화상이 얻어지지만 변형도 크게 된다. 화상의 크기와 변형의 크기는 트레이드 오프의 관계에 있기 때문에, 어느 쪽을 우선시킬지에 따라 보정하는 화상은 다르다.

화상 처리부(3)에서의 필터링 처리 및 수차 보정 처리는 제어 프로그램에 기초하여 실행하여도 된다. 이러한 제어 프로그램은, 촬상 장치(1)의 펌웨어에 기록되어 있다. 또한, 제어 프로그램은, 외부 기록 장치(9)가 판독 가능한 형식으로 기록된 기록 매체를 통하여 취득하여도 된다. 제어 프로그램을 기록하는 기록 매체로서는, 자기 판독 방식의 기록 매체(예를 들면, 자기 테이프, 플렉시블 디스크, 자기 카드), 광학 판독 방식의 기록 매체(예를 들면, CD- ROM, MO, CD-R, DVD), 반도체 메모리(메모리 카드, IC 카드) 등이 생각된다. 또한, 제어 프로그램은, 소위 인터넷 등을 통하여 취득하여도 된다.

본 발명에 따르면, 가시광 화상을 이용하여 불가시광 화상의 노이즈를 저감시키기 때문에, 화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상한 화상의 노이즈를 저감시킬 수 있다.

Claims

가시광 화상과, 상기 가시광 화상에 대응하는 불가시광 화상을 취득하는 화상 취득 수단과,

상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 노이즈 저감 수단은,

상기 가시광 화상에 로우 패스 필터를 적용하는 제1 필터링 수단과,

상기 불가시광 화상에 하이 패스 필터를 적용하는 제2 필터링 수단과,

상기 로우 패스 필터 및 상기 하이 패스 필터의 출력을 합성하는 합성 수단

을 구비하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 불가시광 화상이란, 적외광 화상인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 불가시광 화상이란, 자외광 화상인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 로우 패스 필터는 엣지 보존 로우 패스 필터인 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서,

상기 엣지 보존 로우 패스 필터는, 상기 불가시광 화상으로부터 검출된 엣지를 보존하면서 상기 가시광 화상의 노이즈를 제거하는 것을 특징으로 하는 화상 처리 장치.
제6항에 있어서,

상기 가시광 화상의 노이즈 제거는, 복수 레벨의 로우 패스 필터를 사용하여 행해지는 것을 특징으로 하는 화상 처리 장치.
제7항에 있어서,

상기 가시광 화상의 노이즈 제거는, 상기 불가시광 화상으로부터 검출된 엣지의 평가치에 따라서, 상기 복수 레벨 중 어느 레벨의 로우 패스 필터를 사용할지를 결정하는 것을 특징으로 하는 화상 처리 장치.
제8항에 있어서,

상기 로우 패스 필터의 레벨은, 화상의 X 방향 및 Y 방향에 대하여 독립하여 결정하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 가시광 화상을 색 화상과 휘도 화상으로 변환함과 함께, 변환된 상기 색 화상과 휘도 화상의 각각에 필터를 적용하는 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서,

상기 필터로서, 상기 색 화상에는 바이래터럴 필터를, 상기 휘도 화상에는 크로스 바이래터럴 필터를 사용하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 가시광 화상과 상기 불가시광 화상의 수차를 보정하는 수차 보정 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제12항에 있어서,

상기 수차 보정 수단은, 상기 가시광 화상을 변환한 휘도 화상과 상기 불가 시광 화상의 오차를 이용하여 수차 보정을 행하는 것을 특징으로 하는 화상 처리 장치.
주로 가시광에 대하여 감도가 있는 제1 분광 특성에 기초하여 가시광 화상을 촬상하는 가시광 화상 촬상 수단과,

주로 불가시광에 대하여 감도가 있는 제2 분광 특성에 기초하여 불가시광 화상을 촬상하는 불가시광 화상 촬상 수단과,

상기 가시광 화상과 불가시광 화상과의 수차를 보정하는 수차 보정 수단과,

상기 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단

을 포함하는 것을 특징으로 하는 촬상 장치.
가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,

상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정

을 포함하는 것을 특징으로 하는 화상 처리 방법.
소정의 처리를 컴퓨터에 실행시키는 프로그램에 있어서,

가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일 한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,

상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정

을 포함하는 것을 특징으로 하는 프로그램.
소정의 처리를 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체에 있어서,

가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,

상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정

을 포함하는 프로그램이 기록된 것을 특징으로 하는 기록 매체.