KR101102150B1

KR101102150B1 - 화상 처리 방법, 및 화상 처리 장치

Info

Publication number: KR101102150B1
Application number: KR1020050005748A
Authority: KR
Inventors: 야마다루이
Original assignee: 소니 주식회사
Priority date: 2004-01-23
Filing date: 2005-01-21
Publication date: 2012-01-02
Also published as: US7583297B2; CN100377575C; JP4379129B2; EP1558025A3; CN1645914A; JP2005210485A; EP1558025A2; US20050190288A1; KR20050076824A

Abstract

플래시 광을 발광시켜 촬영한 화상과, 비발광으로 촬영한 화상에 기초한 화상 보정에서 플래시 광 강도의 가상적인 조정 처리에 의해 고품질인 화상을 생성한다. 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하고, 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성한다. 본 구성에 의해, 감마 보정 등의 비선형 변환 화상에서의 포화 화소, 즉 흰색 날림(overexposed highlights) 현상을 삭감시킨 고품질인 화상을 생성하는 것이 가능하게 된다.

메모리, CPU, 프레임 메모리, 움직임 검출부

Description

화상 처리 방법, 및 화상 처리 장치{IMAGE PROCESSING METHOD AND APPARATUS, AND COMPUTER PROGRAM}

도 1은 본 발명의 화상 처리 장치의 구성을 도시하는 도면.

도 2는 본 발명의 화상 처리 방법의 수순을 설명하는 흐름도.

도 3은 본 발명의 화상 처리 방법에서의 복수의 화상 데이터에 기초한 화이트 밸런스 조정 처리의 수순을 설명하는 흐름도.

도 4는 본 발명의 화상 처리 방법에서의 강도 조정 플래시 성분 화상의 생성 처리 수순을 설명하는 흐름도.

도 5는 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.

도 6은 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.

도 7은 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.

도 8은 본 발명의 화상 처리에서의 복수의 화상 데이터에 기초한 화소값 조정 처리를 실행하는 기구를 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

101 : 렌즈

102 : 조리개

103 : 고체 촬상 소자

104 : 상관 2중 샘플링 회로

105 : A/D 컨버터

106 : DSP 블록

107 : 타이밍 제너레이터

108 : D/A 컨버터

109 : 비디오 인코더

110 : 비디오 모니터

111 : 코덱(CODEC)

112 : 메모리

113 : CPU

114 : 입력 디바이스

115 : 플래시 제어 장치

116 : 플래시 발광 장치

301, 302, 303 : 프레임 메모리

304 : 차분 화상 산출부

305 : 화이트 밸런스 조정부

306 : 외광 성분 추정부

307 : 화이트 밸런스 조정부

308 : 화소값 가산부

309 : 움직임 검출부

310 : 움직임 부분 보정 화소값 산출부

311 : 화이트 밸런스 조정부

312 : 출력 전환부

321 : 강도 조정값(게인) 산출부

322 : 강도 조정 플래시 성분 화상 산출부

330 : 플래시 성분 화상 산출부

본 발명은, 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다. 더 상세하게는, 플래시 광을 발광하여 촬영한 화상과, 발광시키지 않고 촬영한 화상을 이용한 화소값 보정 처리를 실행함과 함께 최적의 플래시 강도를 추정하여, 추정 결과에 기초를 둔 보정을 행함으로써 고품질인 화상의 생성을 가능하게 한 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다.

플래시(electrical flash, strobe)는, 카메라 촬영 시에 보조 광원으로서 이용된다. 최근 DSC(Digital Still Camera)가 급속히 보급되고 있지만, DSC에서도, 종종 플래시 촬영이 행해진다. 플래시를 사용함으로써, 필인 라이트(인물의 얼굴 에 그림자가 심하게 졌을 때 등에 그림자를 약하게 하는 기법), 역광 보정(태양을 배경으로 하여 인물을 촬영한 경우 등에 얼굴이 검게 찍히는 것을 방지하는 기법), 캐치 라이트(눈의 눈동자에 빛나는 「광의 점」을 넣어, 눈동자를 아름답게 촬영하는 기법), 혹은 낮 싱크로(데이라이트 싱크로, 대낮이나 저녁에 보조 광선으로서 사용하는 테크닉) 등, 여러가지 사진 촬영을 행할 수 있다. 한편, 플래시 촬영을 행하면, 색 밸런스가 무너지거나, 흰색 날림 현상이 발생하기도 하는 경우가 있다. 본 발명은, 이러한 플래시 촬영에서 발생하는 좋지 않은 현상을 보정 가능할 수 있는 적절한 수단을 제공하는 것을 하나의 목적으로 한다.

일반적으로, 디지털 카메라에서는, 흰 피사체가 희게 촬영되도록 화이트 밸런스(WB) 조정이 행해진다. 예를 들면 자연광, 조명광, 플래시(스트로브) 등의 피사체에 대하여 조사되는 광의 색 온도가 높아서 블루(B)의 광이 강한 광 성분 환경에서 촬영하는 경우에는, 블루의 광에 대한 감도를 억제하고, 레드(R)의 광에 대한 감도를 상대적으로 높게 하고, 반대로 피사체에 대하여 조사되는 광의 색 온도가 낮아서 레드(R)의 광이 강한 광 성분 환경에서 촬영하는 경우에는, 레드의 광에 대한 감도를 억제하고, 블루(B)의 광에 대한 감도를 상대적으로 높게 하는 등의 화이트 밸런스 조정이 행해진다.

화이트 밸런스 조정은, 통상적으로, 촬영 시에 이용하는 광원에 따른 조정 파라미터를 설정한 조정 처리가 실행된다. 예를 들면 플래시 촬영을 행하는 경우에는, 적용하는 플래시 광이 갖는 광 성분에 따른 파라미터에 따라서 화이트 밸런스 조정이 행해진다.

그러나, 플래시 광 이외의 외광이 있는 상태에서, 플래시 촬영을 행하면, 플래시 광, 외광의 2 종류의 광이 피사체에 조사되어 그 반사광이 카메라의 촬상 소자에 도달하여, 촬영이 행해지게 된다. 이러한 촬영이 행해지는 경우, 화이트 밸런스 조정을 플래시 광에 맞추어서 실시하면, 플래시 광이 많이 닿아 있는 피사체 부분은 자연스러운 색으로 조정되지만, 플래시 광이 닿지 않고 외광만의 반사광으로서 촬영되는 영역, 예를 들면 배경 화상 영역 등은, 플래시 광의 광 성분에 맞춘 파라미터 설정에 따른 화이트 밸런스 조정을 행하면, 적절한 화이트 밸런스 조정이 실행되지 않고 부자연스러운 색을 갖는 영역으로서 출력되게 된다.

반대로, 배경 부분에 맞춘 화이트 밸런스 조정, 즉 외광에 의해서만 촬영된 것으로서, 촬영 화상 전체의 화이트 밸런스 조정을 실행하면 플래시 광이 많이 닿은 부분이 부자연스러운 색으로 조정되게 된다.

이러한 문제에 대처하기 위한 구성이 몇몇 제안되고 있다. 예를 들면 특허 문헌 1은, 플래시를 발광하지 않고 촬영한 화상과, 플래시를 발광시킨 촬영 화상을 취득하고, 이 촬영된 2개의 화상을 블록으로 분할하여, 각 블록마다 휘도값의 비교를 행하고, 휘도값의 비교 결과에 기초하여, 플래시를 발광하여 촬영한 화상에 대하여 각 블록마다 서로 다른 화이트 밸런스 조정을 행하는 구성을 나타내고 있다.

화이트 밸런스 조정은, 각 블록마다 플래시 광에 맞춘 화이트 밸런스 조정, 또는 플래시 광과 외광의 중간에 맞춘 화이트 밸런스 조정, 또는 외광에 맞춘 화이트 밸런스 조정 중 어느 하나를 선택하여 실행한다. 그러나, 이러한 구성에서는, 처리를 블록 단위로 행하는 것이 필요해져서, 블록 왜곡이 생기는 문제나 피사체가 움직인 경우 등에는 올바른 처리를 할 수 없는 등의 문제가 있다.

또한, 특허 문헌 2에는, 이하의 처리 구성을 개시하고 있다. 즉, 우선 조리개를 개방하여 노출 시간을 짧게 한 뒤에 플래시를 발광시켜 촬영하고, 그 후 본래 의도한 노광 조건에서 플래시를 발광하지 않고 촬영을 행한다. 여기서, 전자를 제1 화상, 후자를 제2 화상으로 한다. 또한 제1 화상에서 소정의 레벨 이상의 화소를 주요 피사체 영역, 그 이외를 배경 영역으로서 등록한다. 그 후, 제1 화상을 플래시에 맞추어서 화이트 밸런스 조정, 제2 화상을 외광에 맞추어서 화이트 밸런스 조정하고, 제1 화상의 주요 피사체 영역과 제2 화상의 배경 영역을 조합하여 최종적인 기록 화상으로 하는 구성이다.

그러나, 본 구성에서는, 외광과 플래시 광의 양쪽이 닿는 피사체의 화이트 밸런스 조정은 정확하게 행할 수 없다.

또한, 특허 문헌 3은, 전술한 특허 문헌 2의 구성 외에, 상 흔들림 검출 수단을 부가한 구성을 개시하고 있다. 흔들림이 있다고 판단된 경우에는, 전술한 제1 화상을 그대로 기록 화상으로 하고, 제1 화상과 제2 화상의 조합 처리를 실행하지 않은 구성으로 하고 있다. 따라서 흔들림이 검출된 경우에는, 플래시 광과 외광의 색 온도의 차이에 기인한 부자연스러움이 해소되지 않게 된다.

또한, 특허 문헌 4는, 플래시를 발광시켜 촬영한 화상과, 플래시 발광없이 촬영한 화상의 대응 화소의 휘도값을 나누어서, 플래시 광의 기여율을 구하고, 이 기여율에 기초하여, 플래시를 발광시켜 촬영한 화상에 대하여 화이트 밸런스 조정을 행하는 구성을 개시하고 있다.

그러나, 본 구성에서는, 플래시 광, 외광으로부터의 반사광이 혼합되어 촬상된 화상에 대하여, 플래시의 기여율에 기초하여 플래시 광과 외광용 화이트 밸런스 파라미터를, 단순하게 보간하여, 최종적인 화상을 생성한다. 그러나, 물리적인 광의 반사 모델을 고려한 경우, 플래시 광에 의한 성분과 외광에 의한 성분은 독립적으로 처리되어, 플래시 광, 외광으로부터의 반사광이 혼합되어 촬상된 화상을 처리하는 것만으로는, 최적의 결과 화상을 생성할 수는 없다.

특허 문헌 1 : 일본 특개평 8-51632호 공보

특허 문헌 2 : 일본 특개 2000-308068호 공보

특허 문헌 3 : 일본 특개 2000-307940호 공보

특허 문헌 4 : 일본 특개평8-340542호 공보

본 발명은, 전술한 종래 기술의 문제점을 감안하여 이루어진 것으로, 외광과 플래시 광이 혼재하는 환경 하에서 촬영한 화상의 최적의 화이트 밸런스 조정을 가능하게 하고, 또한 플래시 광의 강도가 지나치게 강하거나, 혹은 지나치게 약한 경우에 최적의 플래시 광의 강도를 추정하고, 추정한 최적의 플래시 광 강도에 대응한 조정 화상에 기초한 보정을 행함으로써, 고품질인 화상을 생성하는 것을 가능하게 한 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 제1 측면은,

플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출 단계와,

상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출 단계와,

상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출 단계와,

상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법에 있다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 플래시 성분 화상 산출 단계는, 상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 단계와, 상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 단계를 포함하고, 상기 강도 조정값 산출 단계는, 상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 단계인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 최종 조정 화상 생성 단계는,

(a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,

(b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,

상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 단계인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정값 산출 단계는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 비선형 변환 처리는, 감마 보정이고, 상기 강도 조정값 산출 단계는, 감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정값 산출 단계는, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 M_f를 생성하는 플래시 마스크 생성 단계와,

하기 산출식,

g={T^-1(max-k×std_rslt)-avg₁}÷avg_F

단, T^-1은 비선형 변환 T의 역 변환,

max는 최대 출력 화소값,

k는 미리 정한 스칼라값,

avg₁은 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값,

avg_F는 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 M_f 부분의 휘도값의 평균값,

std_rslt는 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차에 의해서 강도 조정값으로서의 게인 g를 산출하는 단계

를 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정 플래시 성분 화상 산출 단계는, 강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식,

F"=gF'

에 의해서 산출하고,

상기 최종 조정 화상 생성 단계는,

최종 조정 화상 R을, 하기 식,

R=I₁+F"

에 의해서 산출하는 단계인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 화상 처리 방법은, 또한 상기 제1 화상과, 플래시를 발광시키지 않고 촬영한 제3 화상에 기초한 움직임 검출을 실행하는 움직임 검출 단계와, 상기 움직임 검출 단계에서 검출한 움직임 부분의 화소값 보정을 실행하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 화상 처리 방법은, 또한 플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬영 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명의 제2 측면은,

화상 처리 장치로서,

플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출부와,

상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출부와,

상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출부와,

상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성부

를 갖는 것을 특징으로 하는 화상 처리 장치에 있다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 플래시 성분 화상 산출부는, 상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 차분 화상 산출부와, 상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 화이트 밸런스 조정부를 포함하고, 상기 강도 조정값 산출부는, 상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 최종 조정 화상 생성부는,

상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정값 산출부는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값 을 산출하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 비선형 변환 처리는, 감마 보정이고, 상기 강도 조정값 산출부는, 감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정값 산출부는, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 M_f를 생성하고,

하기 산출식,

g={T^-1(max-k×std_rslt)-avg₁}÷avg_F

단, T^-1은 비선형 변환 T의 역 변환,

max는, 최대 출력 화소값,

k는 미리 정한 스칼라값,

avg_F는 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스 크 M_f 부분의 휘도값의 평균값,

std_rslt는 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차에 의해서 강도 조정값으로서의 게인 g를 산출하는 구성을 갖는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정 플래시 성분 화상 산출부는, 강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식,

F"=gF'

에 의해서 산출하고,

상기 최종 조정 화상 생성부는,

최종 조정 화상 R을, 하기 식,

R=I₁+F"

에 의해서 산출하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 화상 처리 장치는, 또한 상기 제1 화상과, 플래시를 발광시키지 않고 촬영한 제3 화상에 기초한 움직임 검출을 실행하는 움직임 검출부와, 상기 움직임 검출부에서 검출한 움직임 부분의 화소값 보정을 실행하는 화이트 밸런스 조정부를 갖는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 화상 처리 장치는, 또한 플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬상부를 갖는 것을 특징으로 한다.

또한, 본 발명의 제3 측면은,

화상 처리를 실행하는 컴퓨터 프로그램으로서,

를 포함하는 것을 특징으로 하는 컴퓨터 프로그램에 있다.

또한, 본 발명의 컴퓨터 프로그램은, 예를 들면 여러가지 프로그램 코드를 실행 가능한 범용 컴퓨터 시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체, 예를 들면 CD나 FD, MO 등의 기억 매체, 혹은 네트워크 등의 통신 매체에 의해서 제공 가능한 컴퓨터 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한, 보다 상세한 설명에 의해서 명확해질 것이다. 또, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 케이스 내에 있는 것에는 한하지 않는다.

<실시 형태>

이하, 도면을 참조하여, 본 발명의 상세에 대하여 설명한다. 도 1은 본 발명에 따른 화상 처리 장치의 일 구성예를 도시하는 것으로, 촬상부를 구비한 화상 처리 장치 예를 나타내고 있다.

도 1에 도시한 화상 처리 장치는, 렌즈(101), 조리개(102), 고체 촬상 소자(103), 상관 2중 샘플링 회로(104), A/D 컨버터(105), DSP 블록(106), 타이밍 제너레이터(107), D/A 컨버터(108), 비디오 인코더(109), 비디오 모니터(110), 코덱(CODEC)(111), 메모리(112), CPU(113), 입력 디바이스(114), 플래시 제어 장치(115), 플래시 발광 장치(116)로 구성된다.

입력 디바이스(114)는 카메라 본체에 있는 녹화 버튼 등의 조작 버튼류를 포함한다. 또한, DSP 블록(106)은 신호 처리용 프로세서와 화상용 RAM을 갖는 블록으로, 신호 처리용 프로세서가 화상용 RAM에 저장된 화상 데이터에 대하여 미리 프로그램된 화상 처리를 행할 수 있게 되고 있다. 이하 DSP 블록을 단순히 DSP라고 한다.

본 실시예의 전체적인 동작을 이하에 설명한다.

광학계를 통과하여 고체 촬상 소자(103)에 도달한 입사광은, 우선 촬상면 위의 각 수광 소자에 도달하여, 수광 소자에서의 광전 변환에 의해서 전기 신호로 변환되고, 상관 2중 샘플링 회로(104)에 의해서 노이즈 제거되어, A/D 컨버터(105)에 의해서 디지털 신호로 변환된 후, 디지털 신호 처리부(DSP)(106) 중 화상 메모리에 일시 저장된다. 또한, 필요하면, 촬영 시에, 플래시 제어 장치(115)를 통하여, 플래시 발광 장치(116)를 발광시킬 수 있다.

촬상 중의 상태에서는, 일정한 프레임 레이트에 의한 화상 취입을 유지하도록 타이밍 제너레이터(107)가 신호 처리계를 제어한다. 디지털 신호 처리부(DSP)(106)에도 일정한 레이트로 화소의 스트림이 보내지고, 거기서 적절한 화상 처리가 행해진 후, 화상 데이터는 D/A 컨버터(108) 혹은 코덱(CODEC)(111) 혹은 그 양쪽으로 보내진다. D/A 컨버터(108)는 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터를 아날로그 신호로 변환하고, 그것을 비디오 인코더(109)가 비디오 신호로 변환하고, 그 비디오 신호를 비디오 모니터(110)로 모니터할 수 있게 되어 있고, 이 비디오 모니터(110)는 본 실시예에서 카메라의 파인더의 역할을 담당한다. 또한, 코덱(CODEC)(111)은 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터에 대한 부호화를 행하고, 부호화된 화상 데이터는 메모리(112)에 기록된다. 여기서, 메모리(112)는 반도체, 자기 기록 매체, 광 자기 기록 매체, 광 기록 매체 등을 이용한 기록 장치 등이어도 된다.

이상이 본 실시예의 디지털 비디오 카메라의 시스템 전체의 설명이다. 촬영 화상의 화상 보정 처리는, 주로 디지털 신호 처리부(DSP)(106)에서 실행된다. 이하, 이 화상 처리의 상세에 대하여 설명한다.

화상 처리는, 디지털 신호 처리부(DSP)(106)에 입력된 화상 신호 스트림에 대하여, 소정의 프로그램 코드에 기술된 처리를 순차 실행함으로써 행해진다. 이후의 설명에서는, 프로그램 중 각 처리의 실행 시퀀스에 대하여, 흐름도를 참조하 여 설명한다. 또한, 본 발명은 이하에서 설명하는 프로그램 처리 형태에 한하지 않고, 이하에 설명하는 처리 시퀀스를 실행하는 기능을 갖는 하드웨어 구성에 의해서 실현하는 것도 가능하다.

도 2는 디지털 신호 처리부(DSP)(106) 내부에서, 입력된 화상 신호의 스트림에 대하여 실행하는 화이트 밸런스(WB) 조정 처리를 포함하는 화소값 보정 처리의 수순을 설명하는 흐름도이다.

단계 S101에서는, 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광없이 촬영하고, 단계 S102에서 이 플래시 발광없이 촬영한 촬영 화상을 화상 데이터 I₁로서 메모리에 저장한다. 단계 S103에서는, 단계 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광을 행하여 촬영하고, 단계 S104에서 이 플래시 발광하여 촬영한 촬영 화상을 화상 데이터 I₂로서 메모리에 저장한다.

다음으로 단계 S105에서는, 단계 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광없이, 재차 촬영하고, 단계 S106에서 이 플래시 발광없이 촬영한 촬영 화상을 화상 데이터 I₃으로서 메모리에 저장한다.

또한, 단계 S101, S103, S105의 촬영은, 연속한 촬영, 예를 들면 약 1/100초 간격의 연속 촬영으로서 실행된다. 각각의 촬영 단계로부터 얻어진 복수의 화상을 이용하여, 화이트 밸런스(WB)의 조정 처리 등의 화소값 보정을 행하고, 최종적인 화소값 보정 화상으로서의 최종 조정 화상을 생성한다.

또한, 단계 S102, S104, S106에서 메모리에 저장되는 화상 데이터 I₁, I₂, I₃은 손 떨림 보정이 행해진 화상으로 한다. 즉, 3매의 화상 I₁, I₂, I₃의 촬영 시에 손 떨림이 발생한 경우에는, 이들을 미리 보정하고나서 메모리에 저장한다. 즉, 촬영 화상이 손 떨림이 발생한 화상인 경우에는, 단계 S101과 S102 사이에, 단계 S103과 S104 사이에, 그리고 단계 S105와 S106 사이에서, 손 떨림 보정을 실행하여 보정 후의 화상을 메모리에 저장한다. 따라서 메모리에 저장되는 화상 데이터 I₁, I₂, I₃은 삼각으로 카메라를 고정한 상태에서 연속 촬영한 것 같은 화상으로 된다.

또 손 떨림 보정 처리는, 종래부터 알려진 처리가 적용 가능하다. 예를 들면, 가속도 센서를 이용하여 어긋남을 검출하고, 렌즈를 비키어 놓는 방법, 또는 목적의 해상도보다 큰 해상도의 화상을 촬상 소자를 이용하여 촬영하여 어긋남이 발생하지 않도록 적절한 부분을 읽어내는 방법, 또한 센서를 이용하지 않고 화상 처리만으로 손 떨림을 보정하는 방법 등, 종래로부터 널리 이용되고 있는 방법이 적용된다.

다음으로 단계 S107에서, 단계 S101, S103, S105의 3매의 화상의 촬영의 사이에, 피사체 자체의 움직임에 기인한 상 흔들림이 있었는지의 여부를 검출한다. 이 피사체 자체의 움직임에 기인한 상 흔들림이 있었는지의 여부의 검출 처리는, 3매의 화상으로부터 2개의 화상을 비교하여 행해진다. 예를 들면, 화상 I₁과 화상 I₃을 이용하여, 움직임 부분을 검출할 수 있다. 일례로서, 화상 I₁과 화상 I₃의 각 화소에 관하여 차분을 취하고, 임의의 임계값 이상인 경우에는, 움직임이 있었던 부분으로서 등록하는 방법이 있다. 피사체 자체의 움직임에 기인한 상 흔들림이 있었다고 판정한 경우(단계 S108: No)는, 단계 S112로 진행한다. 움직임이 검출된 경우(단계 S108: Yes)는, 단계 S109로 진행한다.

단계 S109에서, 단계 S107에서 검출된 움직임 부분에 관하여, 적절한 화이트 밸런스(WB) 조정을 행하기 위한 보정 처리가 가능한지의 여부의 판정을 행한다. 이 판정 처리는 예를 들면, 단계 S107에서 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율에 기초하여 행하는 방법이 적용된다. 예를 들면, 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율 [ratioA]이, 미리 정한 어느 일정한 임계값 [Threshold] 이상인 경우에는 보정이 불가능이라고 판정하고, 임계값 미만인 경우에는 보정 가능이라고 판정한다.

단계 S109에서, 보정 불가능이라고 판정된 경우, 단계 S113으로 진행하고, 보정 가능이라고 판정된 경우에는, 단계 S110으로 진행한다.

단계 S113에서는, 플래시 발광하여 촬영한 촬영 화상 데이터 I₂에 대하여, 화이트 밸런스(WB) 조정을 행하여, 출력 화상 R을 생성하고, 처리를 종료한다. 화이트 밸런스 조정에 사용하는 파라미터값으로서는, 외광 성분에 맞추어 설정된 파라미터, 플래시 광 성분에 맞추어서 설정된 파라미터, 또는 외광과 플래시 광의 중간 성분에 기초하여 설정되는 파라미터 중 어느 하나이고, 이들 파라미터를 설정한 화이트 밸런스(WB) 조정을 실행한다. 또한, 이 화이트 밸런스 조정법은, 종래부터 행해지고 있는 방법으로, 그 상세 설명은 생략한다. 또한, 적용하는 파라미터는 3×3행렬에 의해서 나타내는 파라미터이고, 각 화소의 색을 구성하는 색 성분의 변환에 적용하는 행렬이다. 3×3행렬은 대각 성분 이외를 0으로서 설정한 행렬이 적용된다.

단계 S110에서는, 복수 화상 데이터에 기초한 화이트 밸런스 조정 처리를 포함하는 화소값 보정이 실행된다. 또한, 단계 S110에서는, 단계 S107의 움직임 부분 검출 처리에서 검출된 움직임 부분을 제외한 화소의 화소값의 보정만이 실행되고, 움직임 부분의 화소값 보정 처리는, 단계 S111에서 실행한다. 혹은, 단계 S110에서 모든 화소에 대하여 화이트 밸런스 조정 처리를 포함하는 화소값 보정을 실행하고, 단계 S111에서, 움직임 부분 화소에 대해서만, 재차 보정을 실행해도 된다.

또한, 단계 S111에서 실행하는 움직임 부분의 화소값 보정 처리는, 예를 들면 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 따라서 실행된다. 또한, 이들의 처리의 상세에 대해서는, 본 발명과 동일 출원인의 특허 출원인 일본 특원 2003-312630에 기재되어 있다.

다음으로, 단계 S110 및 단계 S112에서의 복수 화상 데이터에 기초한 화이트 밸런스(WB) 조정 처리에 대하여 설명한다. 단계 S110 및 단계 S112에서의 처리는, 동일한 처리이다. 즉, 단계 S112에서는, 단계 S107의 움직임 부분 검출 처리에서 움직임이 검출되지 않은 경우에 화상 전부에 대하여 화소값 보정이 실행되고, 단계 S110에서는, 단계 S107의 움직임 부분 검출 처리에서 검출된 움직임 부분을 제외한 화소의 화소값 보정, 혹은 모든 화소에 대한 화소값 보정이 동일한 처리 시퀀스에 의해서 실행된다. 이 처리의 상세에 대하여, 도 3을 참조하여 설명한다.

단계 S201에서, 플래시 광이 있는 촬영 화상 데이터 I₂의 성분과 플래시 광이 없는 촬영 화상 I₁의 화소의 각 색 성분(예를 들면 RGB 각 채널마다)의 차를 취하고, 차분 화상 F=I₂-I₁을, 플래시 성분 화상으로서 생성하여 메모리에 저장한다. 플래시 광이 없는 촬영을 행한 단계 S101와 플래시 광이 있는 촬영을 행한 단계 S103 사이에, 피사체가 움직이지 않았다고 한다면, 차분 화상 F=I₂-I₁은, 외광이 전혀 없는 상태에서 플래시 광만을 조사하여 플래시 광만이 피사체에 반사하여, 카메라의 고체 촬상 소자에 입사하여 촬상되는 화상, 즉 플래시 성분 화상과 등가인 것으로 된다.

다음으로 단계 S202에 있어서, 차분 화상 F에 대하여, 플래시 광의 색 온도에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 플래시 성분 화상인 차분 화상 데이터 F를 플래시 광 성분에 맞추어서 설정한 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행한다. 또한 플래시 광이 지나치게 밝거나 또는 지나치게 어두운 경우에, 화상의 밝기가 최적이 되도록 레벨 조정하여, 보정된 플래시 성분 화상으로서의 보정 차분 화상 F'를 생성한다.

다음으로 단계 S203에서, 플래시 광없이 촬영한 촬영 화상 데이터 I₁에 대하여, 외광에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 플래시 광이 없는 촬영 화상 데이터 I₁을 외광 성분에 대응하는 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행하여, 보정 화상 I₁'를 생성한다.

이것은 종래부터 널리 알려져 있는 화이트 밸런스(WB) 조정에 의해서 실행된다. 예를 들면, 일본 특개 2001-78202에 설명되어 있는 기술을 적용할 수 있다. 일본 특개 2001-78202에서는, 플래시 발광을 하여 촬영한 화상 I₂와 플래시 발광을 하지 않고 촬영한 화상 I₁의 차분 화상 F와 기지의 플래시의 분광 특성으로부터, 물체 색 성분 데이터 및 외광의 분광 분포를 조명 성분 데이터로서 구한다. 이 조명 성분 데이터를 이용하여, 플래시 광 없이 촬영한 화상 I₁의 화이트 밸런스(WB) 조정을 실행하여, 보정 화상 I'를 생성한다.

다음으로 단계 S204에서, 또한 플래시 광이 지나치게 밝거나 또는 지나치게 어두운 경우에, 최종의 결과 화상의 밝기를 최적으로 하도록 보정된 플래시 성분 화상인 보정 차분 화상 F'의 강도(게인)를 조정하여, 게인 조정 차분 화상으로서의 강도 조정 플래시 성분 화상 F"를 생성한다.

강도 조정 플래시 성분 화상 F"의 생성 처리의 개요는, 이하와 같다. 즉, 보정 차분 화상 F'과 보정 화상 I₁'와 이들의 화상의 화소값에 기초한 막대그래프 등의 통계량과, 합성 화상 [F'+I₁']에 감마 보정 등 비선형 변환을 실시한 화상에 관한 통계량을 이용하여, 보정 차분 화상 F'의 최적의 게인을 구하여, 밝기를 조절한 게인 조정 차분 화상으로서의 강도 조정 플래시 성분 화상 F"를 생성하는 것이 다.

이하, 단계 S204에서 실행하는 강도 조정 플래시 성분 화상 F"(게인 조정 차분 화상)의 생성 처리의 상세에 대하여, 도 4에 도시한 플로우를 참조하여 설명한다.

우선, 단계 S301에서, 화이트 밸런스 조정이 이루어진 플래시 성분 화상인 보정 차분 화상 F'에 기초하여, 어느 정도의 광량의 플래시 광이 닿고 있는 물체가 촬상되어 있다고 생각되는 화상 중의 부분을 나타내는 플래시 마스크 M_f를 구한다. 플래시 마스크 M_f를 구하는 구체적 방법의 일례를, 이하에 설명한다.

우선, 보정 차분 화상 F'에 대하여, 휘도가 미리 정한 임의의 임계값(Th1) 이상인 화소를 검출한다. 임계값(Th1) 이상의 휘도값을 갖는 추출 화소의 휘도의 평균값을 산출한다. 보정 차분 화상 F'을 구성하는 화소 각각의 휘도가, 산출한 평균값 이상인 경우에는, 플래시 광이 비교적 크고, 외광과 플래시 광을 합성한 최종 화상에의 영향이 큰 부분이라고 할 수 있다.

또한, 도 2를 참조하여 설명한 단계 S107에서 검출한 피사체 자체의 움직임 부분에 상당하는 화소에 관해서는, 움직임이 플래시 성분으로서 나타나고 있는 가능성이 있는 것으로, 플래시 마스크 설정 대상 화소로부터는 제외한다. 움직임 부분의 화소값 보정 처리는, 도면의 처리 플로우에서의 단계 S111에서 실행한다.

즉,

(a) 보정 차분 화상 F'에 대하여, 휘도가 미리 정한 임의의 임계값 이상인 화소

(b) 피사체 자체의 움직임 부분에 상당하지 않은 화소

(a), (b)의 2개의 조건에 해당하는 화소 영역에 의해서 구성되는 마스크를 플래시 마스크 M_f로서 생성한다.

단계 S302 이하에서는, 상기 (a), (b) 양 조건을 만족하는 화소로 구성되는 플래시 마스크 M_f 부분의 화상의 해석 처리를 실행하여, 최적의 보정 차분 화상 F'의 게인 g를 산출하여, 게인 조정 차분 화상으로서의,

F"=gF'를 구한다.

단계 S302 이하의 처리에 대하여, 도 5, 도 6, 및 도 7을 참조하여 설명한다.

단계 S302에서는, 보정 차분 화상 F'와, 보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도 평균값을 산출한다.

도 5의 (1)은, 보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 횡축이 화소값, 종축이 도수를 나타내고 있다. 화소값은, 예를 들면 0(min)∼255(max)의 휘도값을 나타내고 있다. 또한, 여기서는 설명을 간결히 하기 위해서, 1개의 막대그래프를 적용하여 설명하지만, RGB 컬러 화상인 경우는, 각 화소의 각 채널, 예를 들면 RGB 각 채널의 막대그래프를 각각 생성하여, 각 채널마다 이하에 설명하는 처리를 실행한다.

보정 화상 I₁'의 플래시 마스크 M_f 부분을 구성하는 화소의 휘도(화소값)는, 최소값(min), 예를 들면 화소값=0 내지 최대값(max), 예를 들면 화소값=255의 사이에 분포하고 있으며, 보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값(avg₁이라고 부른다)을 평균값(avg₁)으로서 나타내고 있는 화소값이다.

도 5의 (2)는, 보정 차분 화상 F'의 플래시 마스크 M_f 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 보정 차분 화상 F'의 플래시 마스크 M_f 부분을 구성하는 화소의 휘도(화소값)의 평균값은, 평균값(avg_F)으로서 나타내고 있는 화소값이 된다.

도 4에 도시한 플로우의 단계 S302에서는, 도 5의 (1)과 (2)에 도시한 막대그래프를 생성하여, 각각의 막대그래프에서의 평균값, 즉,

보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도(화소값)의 평균값 [avg₁]

보정 차분 화상 F'의 플래시 마스크 M_f 부분의 휘도(화소값)의 평균값 [avg_F]

을 산출한다.

다음으로 단계 S303에서, 보정 화상 I₁'와, 보정 차분 화상 F'의 합성 화상 R_tmp=I₁'+F'를 생성한다. 이것은, 보정 화상 I₁'의 각 화소의 화소값에 대하여 보정 차분 화상 F'의 대응 화소의 화소값을 가산하여 생성한다.

도 5의 (3)에 도시한 막대그래프는, 보정 화상 I₁'와, 보정 차분 화상 F'의 합성 화상 R_tmp=I₁'+F'의 플래시 마스크 M_f 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 합성 화상 R_tmp=I₁'+F'의 플래시 마스크 M_f 부분을 구성하는 화소의 휘도(화소값)는 전체적으로 최대 화소값(max)측으로 어긋난 막대그래프로서 설정되며, 합성 화상 R_tmp=I₁'+F'의 플래시 마스크 M_f 부분의 휘도값의 평균값은, 평균값(avg_1+F)으로서 나타내고 있는 화소값으로 된다.

고체 촬상 소자로부터 출력되는 화상을 구성하는 각 화소의 휘도는, 고체 촬상 소자에 입사하는 광의 량과 선형의 관계에 있다. 한편, 일반적인 디지털 스틸카메라 등이 최종 화상으로서 출력하는 화상은, 고체 촬상 소자로부터 출력되는 화상에 대하여, 감마 보정 등의 비선형 변환을 실시한 것이다. 감마 보정은, 화상의 밝기나 색의 채도를 정확하게 표시하기 위한 보정 처리이고, 디지털 스틸 카메라가 촬상하여 얻은 화소값을, 그대로 출력하면, 사람의 눈에 의해 관찰된 경우에, 부자연스럽게 되는 경우가 있다. 이것을 해결하기 위해서, 입력 화소값과 출력 화소값을 소정의 γ 곡선을 이용하여 비선형 변환 처리를 실시하며, 이것을 감마 보정이라고 부른다.

여기서는, 이 비선형 변환을 T라고 표기한다. 단계 S304에서, 보정 화상 I₁'와, 보정 차분 화상 F'의 합성 화상 R_tmp=I₁'+F'에 대하여, 비선형 변환 T를 실시 한 화상을,

비선형 변환 화상 R_tmp'=T(F'+I₁')

을 생성한다.

여기서, 비선형 변환 화상 R_tmp'=T(F'+I₁')은, 합성 화상 R_tmp=(F'+I₁')의 각 화소의 각 채널, 예를 들면 RGB 각 채널의 화소값에 대하여 각각 비선형 변환 T를 실시하여 얻어지는 비선형 변환 화상을 나타낸다.

도 6은, 도 5의 (3)에 도시한 보정 화상 I₁'와, 보정 차분 화상 F'의 합성 화상 (F'+I₁')의 각 화소의 각 채널의 화소값에 대하여 각각 비선형 변환 T를 실시하여 얻어지는 비선형 변환 화상 T(F'+I₁')에 대한 플래시 마스크 M_f 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 휘도(화소값)는 전체적으로 최대 화소값(max)측으로 어긋난 막대그래프로서 설정된다.

단계 S305에서, 도 6에 도시한 막대그래프로부터 표준 편차를 산출한다. 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 평균값은, 도 6에 도시한 바와 같이, [avg_rslt]이다. 또한, 표준 편차는 [std_rslt]로서 구한다.

도 6에 도시한 바와 같이, 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부 분을 구성하는 화소의 화소값에 의해서 구성되는 막대그래프는, 최대값(max), 예를 들면 화소값=255 부근에 많은 화소가 분포하고 있어, 흰색 날림 현상이 일어나고 있는 것을 알 수 있다. 흰색 날림 화소는, 도 6에 도시한 흰색 날림 부분(201)에 존재할 화소이다. 즉, 감마 보정에 의해서 많은 화소의 화소값이 최대값(최대 휘도값)으로 설정, 즉 포화 화소값으로 설정되어 있다. 이 상태는, 본래의 화소 레벨의 차이를 표현할 수 없는 소위 흰색 날림 현상이라고 한다.

이상적인 화상은, 충분히 밝고, 또한 흰색 날림 현상이 일어나고 있지 않은 화상이다. 감마 보정에 의해서, 도 6에 도시한 바와 같은 포화 화소값을 많이 갖는 화상은, 이상적인 화상으로서의 특징을 구비하고 있지 않은 것이다.

따라서, 본 발명에 있어서는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 보정 화상 I₁'와, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상인 보정 차분 화상 F'과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 강도 조정값, 즉 게인(g)을 산출하여, 이 게인을 적용하여, 보정 차분 화상 F'을 보정하여 강도 조정 플래시 성분 화상을 생성한다.

이와 같이, 본 발명에 있어서는, 보정 차분 화상 F'의 게인(g라고 함)을 조절함으로써 가상적으로 플래시 광의 강도를 조절한 뒤에, 최종적인 결과 화상(최종 조정 화상)을 생성한다.

단계 S306에서, 밝고 또한 흰색 날림 현상이 일어나고 있지 않는 화상을 최 종 조정 화상으로서 생성하기 위해서,

도 5의 (1)에 도시한 보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값(avg₁),

도 5의 (2)에 도시한 보정 차분 화상 F'의 플래시 마스크 M_f 부분의 휘도값의 평균값(avg_F), 또한

도 6에 도시한 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차 [std_rslt]

등을 이용하여, 최적의 보정 차분 화상 F'의 게인 g를 산출하고, 단계 S307에서, 게인 g를 보정 차분 화상 F'의 각 화소의 각 채널의 값에 승산하여, 강도 조정 플래시 성분 화상 F"를 구한다. 즉,

F"=gF'

로서 강도 조정 플래시 성분 화상 F"를 구한다.

일반적으로, 측정 화소값이 정규 분포에 따라 분포하고 있는 경우에는, 「평균값」±「표준 편차」의 범위에 측정 화소의 약 68%, 「평균값」±「표준 편차의 2배」의 범위에 측정 화소의 약 95%가 존재한다. 화소값 분포가 엄밀히 정규 분포에 따르지 않은 경우에도, 비슷한 경향이 있다고 생각된다.

따라서, 도 6에 도시한 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프와 같이, 많은 흰색 날림 현상이 발생하는 경우, 플래시 마스크 M_f 부분의 휘도의 [평균값]+[표준 편차], 즉 도 6에 도시한 점 [A]가 화소값 최대값(max)보다 커지는 경우가 많다.

따라서, 단계 S306에서의 보정 차분 화상 F'에 대한 게인 g의 산출 처리에서는, 선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프로부터 구해지는 「평균값」±「표준 편차의 k배」(k는 미리 정해진 고정의 스칼라값, 예를 들면 1, 1.5, 2 등)의 범위가,

화소값 최대값(max)보다 큰 범위를 취하지 않으며, 또한

충분히 밝도록 하는

범위에 설정되도록 게인 g를 설정한다.

흰색 날림 현상이 없거나, 혹은 적은 이상적인 화상의 막대그래프로서는, 예를 들면 도 7에 도시한 바와 같은 막대그래프가 생각된다.

게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도의 막대그래프를 도 7에 도시한 바와 같은 막대그래프로서 설정하고, 이 게인 조정 비선형 변환 화상을 바탕으로 최종 출력 화상을 생성하면, 충분히 밝고, 또한 흰색 날림 현상이 일어나고 있지 않은 이상적인 화상을 얻을 수 있다.

도 7에 도시한 막대그래프의 평균값은, 도 7에 도시한 바와 같이, [avg'_rslt], 표준 편차는 [std'_rslt]이다.

여기서, [평균값]+[표준 편차]에 의해서 나타내는 점 [A]는, 도 7에 도시한 최대값(max)보다도 작고, 또한 평균값 [avg'_rslt]은 충분히 밝은 화소값으로 되어 있다. 예를 들면 중간 화소값 [(min+max)/2]보다 큰 충분한 화소 레벨(휘도값)를 갖는 값으로 되어 있다.

여기서, 도 7에 도시한 바와 같은 막대그래프를 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도 막대그래프라고 한다.

본 실시예에서는, 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분은 흰색 날림 현상이 적고 또한 충분히 밝은 화상으로 하기 위해서, 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도 막대그래프(도 7)의 평균값 [avg'_rslt]이, 휘도 최대값(max)으로부터 표준 편차 [std'_rslt]의 k배를 제산한 값과 동등으로 되도록 게인 g를 조정한다.

이러한 게인 g를 적용하여 생성한 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분은 흰색 날림 현상이 적고 또한 충분히 밝은 화상으로 된다.

이러한 최적의 결과 화상을 생성하는 게인 g이 산출된 경우, 게인 g가 극단적으로 크거나 또는 작은 값이 아닌 경우에는, 비선형 변환 화상 T(F'+I₁')과, 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도의 표준 편차는 큰 차가 없다고 생각되기 때문에, 도 7에 도시한 막대그래프, 즉 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도 막대그래프에서의 표준 편차 [std'_rslt]는, 도 6에 도시한 막대그래프, 즉 게인 조정전의 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분의 휘도 막대그래프에서의 표준 편차 [std_rslt]와 동일한 크기라고 가정한다. 즉,

std'_rslt=std_rslt

이다.

또한, 도 5의 (1)에 도시한 보정 화상 I₁'의 막대그래프의 평균값 [avg₁]과, 게인 g를 실시한 보정 차분 화상 F'의 플래시 마스크 M_f 부분의 휘도의 평균값 [g×avg_F]과의 가산치 [avg₁+g×avg_F]에 대하여 비선형 변환 T를 실시하여 산출하는 스칼라값,

T(avg₁+g×avg_F)

는, 최종적인 게인 조정 비선형 변환 화상 T(gF'+I₁')의 플래시 마스크 M_f 부분의 휘도의 평균값 [avg'_rslt](도 7 참조)과 동등해진다고 가정한다. 즉,

avg'_rslt=T(avg₁+g×avg_F)

로 가정한다.

즉, 구하고자 하는 최종의 게인 조정 비선형 변환 화상 T(gF'+I₁')의 평균값 [avg'_rslt]는, T(avg₁+g×avg_F)과 같아진다. 그리고, 이 값이 (max-k×std _rslt)와 동 일한 값으로 되면, 도 7에 도시한 막대그래프에 대응하는 화상이 설정되고, 결과적으로 흰색 날림 현상이 적고 또한 충분히 밝은 화상에 대응하는 막대그래프로 된다.

즉,

상기 수학식 1을 만족하는 게인 [g]를 산출하면 된다. 게인 [g]의 산출식은, 상기 수학식 1을 변형한 하기의 수학식 2를 적용한다.

여기서, T^-1은 비선형 변환 T의 역 변환을 나타내고 있다.

도 4에 도시한 흐름도의 단계 S306에서는, 상기 수학식 2에 기초하여, 플래시 성분 화상(보정 차분 화상 F')의 강도 조정값으로서의 게인 g를 산출한다. 상기 수학식 2로부터 알 수 있듯이,

게인 [g]는,

a) 도 5의 (1)에 도시한 보정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값(avg₁),

b) 도 5의 (2)에 도시한 보정 차분 화상 F'의 플래시 마스크 M_f 부분의 휘도 값의 평균값(avg_F), 또한,

c) 도 6에 도시한 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차 [std_rslt]

d) 고정의 스칼라값 [k]

의 각 값에 기초해서도 산출된다.

또한, 고정의 스칼라값 [k]는, k=1 혹은 k=1.5 등의 고정값으로, 미리 설정되는 값이다.

단계 S307에서, 보정 차분 화상 F'의 각 화소의 각 채널의 값을 g로 승산하여 강도 조정 플래시 성분 화상 F"를,

F"=gF'

로서 산출하고, 이 강도 조정 플래시 성분 화상 F"를, 최종 조정 화상의 생성에 적용하는 플래시 성분 화상으로서 설정한다.

이상의 처리가, 도 3에 도시한 단계 S204의 처리이다. 또 여기서는, 게인 g를 자동으로 산출하는 방법을 진술했지만, 게인 g은 사용자가 자유롭게 설정하고, 원하는 플래시의 강도로 조절하는 것도 가능하다.

단계 S204가 종료한 후, 다음으로 단계 S205에 있어서, 플래시 성분 화상으로서 설정한 강도 조정 플래시 성분 화상 F"과 화상 I₁'를 합성하여, 최종 조정 화상으로서의 화이트 밸런스 조정 화상 R을 생성한다. 즉,

R=I₁'+F"

로서, 화이트 밸런스 조정 화상 R을 생성한다.

이상의 처리가, 도 2에 도시한 단계 S112와 단계 S110에서의 처리의 상세이다.

단계 S107에서, 움직임 부분이 검출되지 않았던 경우에는, 단계 S112에서 전술한 처리에 따라서 취득한 강도 조정 플래시 성분 화상 F"과 화상 I₁'의 합성에 의한 화이트 밸런스 조정 화상 R, 즉

R=I₁'+F"

가 최종적인 조정 화상으로 된다. 또, 이 후 최종 조정 화상 R에 대하여 감마 보정 등의 비선형 변환 처리가 이루어져 출력된다.

또, 단계 S107에서, 움직임 부분이 검출된 경우에는, 단계 S110에서 전술한 처리에 따라서 취득한 화이트 밸런스 조정 화상 R, 즉

R=I₁'+F"

를 취득한 후, 단계 S111에서, 움직임 부분의 화소값 보정을 실행한다. 단계 S111에서의 움직임 부분의 화소값 보정은, 상술한 바와 같이, 본 발명과 동일 출원인의 특허 출원인 일본 특원 2003-312630에 기재되어 있는 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 따라서 실행된다.

단계 S107에서, 움직임 부분이 검출된 경우에는 단계 S111에서, 움직임 부분의 화소값 보정이 이루어진 화상이, 최종적인 조정 화상으로 된다.

또한, 단계 S110에서의 화소값 보정에서는, 움직임 부분의 화소인지 움직임 부분 이외의 화소인지의 구별을 행하지 않고, 화상 구성 화소, 전부에 대한 보정을 실행하여, 단계 S110에서의 화이트 밸런스 조정 화상 R, 즉

R=I₁'+F"

의 생성 후, 단계 S111에서, 단계 S107에서 검출한 움직임 부분의 화소값만을 대상으로 한 예외 보정 처리를 실행하여, 화상 R을 수정하는 구성으로 해도 된다. 구체적으로 설명하면, 움직임이 검출된 부분의 플래시 발광이 있는 화상 I₂의 화소값을 입력으로 하여, 화상 R에서의 움직임이 없었던 부분의 화소값을 참조하여, 최종적인 화상을 합성하는 방법 등이 적용 가능하다.

도 8은 본 실시예에 따른 처리를 실행하는 디지털 신호 처리부(DSP)(도 1의 DSP(106)에 상당)의 기능 구성을 도시하는 블록도이다.

도 2에 도시한 흐름도와 대비하면서, 도 8에 도시한 디지털 신호 처리부(DSP)에서의 처리에 대하여 설명한다.

도 2의 단계 S101∼S106에서, 촬영된 플래시 없는 화상 I₁, 플래시 있는 화상 I₂, 및 플래시 없는 화상 I₃은, 각각 프레임 메모리(301, 302, 303)에 저장된다. 또한, 화상 저장용 프레임 메모리로서는 디지털 신호 처리부(DSP) 내에 구성한 메모리를 적용해도 버스 접속된 메모리(도 1의 메모리(112))를 적용해도 된다.

단계 S107의 움직임 검출 처리는, 움직임 검출부(309)에서 실행된다. 움직 임 검출 처리는, 플래시 없는 화상 I₁과, 플래시 없는 화상 I₃에 기초한 차분 데이터에 의한 검출 처리로서 실행한다.

단계 S110과, 단계 S112에서 실행하는 복수 화상 데이터에 기초한 화이트 밸런스 조정 처리는, 먼저 도 3, 도 4를 참조하여 설명한 처리이다.

우선, 플래시 없는 화상 I₁과, 플래시 있는 화상 I₂에 기초하여, 플래시 성분 화상 산출부(330)에 구성된 차분 화상 산출부(304)에서 차분 화상 데이터 F=I₂-I₁을 구한다(도 3, S201). 다음으로, 차분 화상 데이터 F=I₂-I₁, 즉 플래시 광만의 조사 조건으로 촬영한 화상에 상당하는 차분 화상 F에 대하여, 화이트 밸런스 조정부(307)에서 플래시 광의 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행하여 보정된 플래시 성분 화상으로서의 보정 차분 화상 F'를 구한다(도 3, S202).

또한, 외광 성분 추정부(306)에서 추정한 외광 성분의 추정값에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 플래시 없는 화상 I₁에 대하여 화이트 밸런스 조정부(305)에서 실행한다(도 3, S203).

또한, 강도 조정값(게인) 산출부(321)에서, 보정 차분 화상 F'에 대하여 흰색 날림 현상이 없거나, 또는 적은 화상으로 하기 위한 강도 조정값으로서의 게인 [g]를 산출하고, 강도 조정 플래시 성분 화상 산출부(322)에서, 강도 조정 플래시 성분 화상 F"=gF'을 산출한다. 이 처리는, 도 3의 단계 S203의 처리, 즉 도 4에 도시한 플로우에 따른 처리이다.

또한, 최종 조정 화상 산출부(화소값 가산부)(308)에서, 화이트 밸런스 조정부(305)로부터 출력되는 보정 화상 I₁'와, 강도 조정 플래시 성분 화상 산출부(322)로부터 출력되는 강도 조정 플래시 성분 화상 F"의 화소값을 가산한다(도 3, S205).

촬영 화상에 움직임 부분이 포함되지 않는 경우에는, 움직임 부분 보정 화소값 산출부(310)에서 처리를 실행하지 않고, 화소값 가산부(308)에서 가산한 화소값을 갖는 화상 데이터가 화이트 밸런스 조정 화상으로서 출력 전환부(312)를 통하여 출력된다. 출력처는 디지털 아날로그 변환을 실행하는 D/A 변환기(108)(도 1 참조)나, 부호화 처리를 실행하는 코덱(111) 등이다.

한편, 움직임 검출부(309)에서 플래시 없는 화상 I₁과, 플래시 없는 화상 I₃에 기초한 차분 데이터에 의한 움직임 검출의 결과, 피사체 자신의 움직임 영역이 검출된 경우에는, 또한 움직임 부분 보정 화소값 산출부(310)에서, 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 의해, 움직임 있는 부분의 화소값의 보정(변환)이 이루어지며, 움직임 있는 부분이, 보정 화소값에 의해 치환된 화소값 데이터를 갖는 화상이 출력 전환부(312)를 통하여 출력된다.

화이트 밸런스 조정부(311)는, 도 2의 처리 플로우에서의 단계 S113의 처리를 실행한다. 즉, 움직임 검출부(309)에서 움직임 영역이 검출되었지만, 움직임 영역의 화상 전체에 차지하는 비율이 높은 등, 보정 불가능이라고 판단된 경우에, 플래시 있는 화상 I₂를 입력하여, 미리 정한 파라미터에 따른 화이트 밸런스 조정을 실행하고, 이것을 출력 전환부(312)를 통하여 출력한다.

또한, 도 8에 도시한 구성은, 기능을 설명하기 위해 각 처리부를 구별하여 도시하고 있지만, 실제의 처리로서는, 상술한 각 처리 플로우에 따른 처리를 실행하는 프로그램에 따라서, DSP 내의 프로세서에 의해서 실행 가능하다.

이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상세하게 설명해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것으로, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 첫머리에 기재한 특허 청구의 범위의 란을 참작해야 한다. 또한, 상술한 실시예에서는, 피사체가 어두운 경우에 발광하는 조명 장치로서 플래시라는 용어를 이용하여 설명했지만, 그 외에, 스트로브라고 불리는 경우도 있어, 플래시에 한정되는 것은 아니고, 일반적으로 피사체가 어두운 경우에 발광하는 조명 장치에서 본 발명은 적용된다.

또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해서 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 조립된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은 각종 처리를 실행할 수 있는 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.

예를 들면, 프로그램은 기록 매체로서의 하드디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.

또한, 프로그램은, 전술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터, 컴퓨터에 무선 전송하거나, LAN(Local Area Network), 인터넷 등과 같은 네트워크를 통하여, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하여, 내장한 하드디스크 등의 기록 매체에 인스톨할 수 있다.

또, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 케이스 내에 있는 것에는 한정하지 않는다.

<산업상 이용 가능성>

본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하여, 해당 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성하는 구성으로 했기 때문에, 출력 화상을 생성할 때에 실행되는 감마 보정 등의 비선형 변환 처리 후의 화상에서의 포화 화소값을 갖는 화소, 즉 흰색 날림 현상이 삭감된 고품질인 화상을 생성하는 것이 가능해지고, 예를 들면 디지털 카메라에 있어서 촬영된 화상의 보정 처리에 적용할 수 있다.

또한, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하여 화이트 밸런스 조정 완료된 제1 화상을 생성하고, 또한 플래시 성분 화상에 대하여 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상을 강도 조정하고, 이들 화상에 기초하여, 최종 조정 화상을 생성하는 구성으로 했기 때문에, 개개의 화상에 대응하는 파라미터를 이용한 최적의 화이트 밸런스 조정이 실행되고, 예를 들면 디지털 카메라에서 촬영된 화상의 보정 처리에 적용할 수 있다.

이상 설명한 바와 같이, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하여, 해당 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성하는 구성으로 했기 때문에, 출력 화상을 생성할 때에 실행되는 감마 보정 등의 비선형 변환 처리 후의 화상에서의 포화 화소값을 갖는 화소, 즉 흰색 날림 현상을 삭감한 고품질인 화상을 생성하는 것이 가능해진다.

또한, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하여 화이트 밸런스 조정 완료된 제1 화상을 생성하고, 또한 플래시 성분 화상에 대하여 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상을 강도 조정하고, 이들 화상에 기초하여, 최종 조정 화상을 생성하는 구성으로 했기 때문에, 개개의 화상에 대응하는 파라미터를 이용한 최적의 화이트 밸런스 조정이 실행된다.

Claims

플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출 단계와,

상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출 단계와,

상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출 단계와,

상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성 단계를 포함하고,

상기 강도 조정값 산출 단계는,

플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 M_f를 생성하는 플래시 마스크 생성 단계와,

하기 산출식

g={T^-1(max-k×std_rslt)-avg₁}÷avg_F

단, T^-1 : 비선형 변환 T의 역 변환

max : 최대 출력 화소값

k : 미리 정한 스칼라값

avg₁ : 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값

avg_F : 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 M_f 부분의 휘도값의 평균값

std_rslt : 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차

에 의해서 강도 조정값으로서의 게인 g를 산출하는 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서,

상기 플래시 성분 화상 산출 단계는,

상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 단계와,

상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 단계를 포함하고,

상기 강도 조정값 산출 단계는,

상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 단계인 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서,

상기 최종 조정 화상 생성 단계는,

(a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,

(b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,

상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 단계인 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서,

상기 강도 조정값 산출 단계는,

외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 하는 화상 처리 방법.
제4항에 있어서,

상기 비선형 변환 처리는, 감마 보정이고,

상기 강도 조정값 산출 단계는,

감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 하는 화상 처리 방법.
삭제
제1항에 있어서,

상기 강도 조정 플래시 성분 화상 산출 단계는,

강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식

F"=gF'

에 의해서 산출하고,

상기 최종 조정 화상 생성 단계는,

최종 조정 화상 R을, 하기 식,

R=I₁+F"

에 의해서 산출하는 단계인 것을 특징으로 하는 화상 처리 방법.
삭제
제1항에 있어서,

상기 화상 처리 방법은,

플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬영 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
화상 처리 장치로서,

플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출부와,

상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출부와,

상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출부와,

상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성부를 가지고,

상기 강도 조정값 산출부는,

플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 M_f를 생성하고,

하기 산출식

g={T^-1(max-k×std_rslt)-avg₁}÷avg_F

단, T^-1 : 비선형 변환 T의 역 변환

max : 최대 출력 화소값

k : 미리 정한 스칼라값

avg₁ : 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I₁'의 플래시 마스크 M_f 부분의 휘도값의 평균값

avg_F : 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 M_f 부분의 휘도값의 평균값

std_rslt : 비선형 변환 화상 T(F'+I₁')의 플래시 마스크 M_f 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차

에 의해서 강도 조정값으로서의 게인 g를 산출하는 구성을 갖는 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서,

상기 플래시 성분 화상 산출부는,

상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 차분 화상 산출부와,

상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 화이트 밸런스 조정부를 포함하고,

상기 강도 조정값 산출부는,

상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서,

상기 최종 조정 화상 생성부는,

(a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,

(b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,

상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하 는 구성인 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서,

상기 강도 조정값 산출부는,

외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
제13항에 있어서,

상기 비선형 변환 처리는, 감마 보정이고,

상기 강도 조정값 산출부는,

감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
삭제
제10항에 있어서,

상기 강도 조정 플래시 성분 화상 산출부는,

강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식

F"=gF'에 의해서 산출하고,

상기 최종 조정 화상 생성부는,

최종 조정 화상 R을, 하기 식

R=I₁+F"

에 의해서 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
삭제
제10항에 있어서,

상기 화상 처리 장치는,

플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬상부를 더 갖는 것을 특징으로 하는 화상 처리 장치.
삭제