JP7278096B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

デジタルカメラの普及により、デジタルカメラで撮影した動画像を、テレビなどの表示装置で見たり、プリンタなどで印刷したりすることが一般的になっている。このとき、デジタルカメラでは、撮影したシーンにおいて我々の見ている光を全て捉えられるわけではない。とりわけ輝度については、所定のダイナミックレンジ（以下、Ｄレンジ）を超えると、デジタルカメラが備えるセンサーのセンサー信号が飽和し、階調性を維持できなくなる。

一方、近年、高輝度、且つ、広色域の再現範囲を持つＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）コンテンツが普及している。ＨＤＲコンテンツでは、表現する輝度レンジにおいて１０００ｎｉｔ、色域ではＢＴ．２０２０を表現するものがある。ＨＤＲ画像データをプリンタなどで印刷する際、ＨＤＲコンテンツのＤレンジからプリンタが再現可能なＤレンジへのレンジ変換において、画質劣化を抑制することが必要となる。特許文献１では、入出力データの変換において、トーンカーブを２０％のグレーレベルに実質等しいアンカー点（基準輝度）を利用することが記載されている。

特許第５８２９７５８号公報

画像のハイライト領域の復元を行うための処理が適用された場合、該処理は必ずしも好適に作用するとは限らない。図５を用いて具体的に説明する。図５（ａ）は、主被写体である白い鳥５０１の背後に、背景にある水のきらめきが撮影されている画像を示す。この画像の背景部分は被写界深度から外れた領域であるため、水面のきらめきが丸く白い円状のいわゆる玉ボケの状態になっている。図５（ｂ）は、主被写体として雪だるま５０３を撮影した画像であり、こちらも被写界深度から外れた背景部分がボケた画像となっている。雪だるま５０３の背後には、雪山や空に浮かぶ雲５０４が映り込んでいるが、焦点位置（合焦面）から外れていることから、ボケた背景となっている。これらの画像に対し、ハイライト領域の復元を行うための処理を適用した場合、ハイライト領域が復元され、例えば白い鳥５０１の羽の細部の再現や、雪だるま５０３の質感再現の向上が実現できる。

一方、玉ボケ部５０２や背景の空の雲５０４に対しては、ボケた領域のハイライトを復元することになる。その結果、玉ボケ部５０２が濁ってきらめき感が喪失したり、雲５０４は細部がなく単にべったりとしたグレーの領域になったりする。つまり、上述したＨＤＲ画像データにおけるハイライト復元処理では、必ずしも好適な処理にならない領域が存在しうる。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、第１のダイナミックレンジを有する第１の画像の複数の領域それぞれにおける、合焦面からの距離を示す距離情報を取得する取得手段と、前記合焦面からの距離が小さい場合に第１の変換特性の重みを高くし、前記合焦面からの距離が大きい場合に第２の変換特性の重みを高くすることにより、前記複数の領域それぞれの変換特性を決定する決定手段と、前記決定手段にて決定した変換特性を用いて前記複数の領域それぞれを変換することにより、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に変換する変換手段とを有し、前記第１の変換特性は前記第２の変換特性よりも変換による階調欠損が少ない変換特性であり、前記第２の変換特性は前記第１の変換特性よりも変換によりコントラストが強くなる変換特性である。

本発明により、入力のＤレンジから出力のＤレンジへ変換する際に、画像内の合焦している主被写体部の階調性の復元を可能としつつ、ボケ領域に対するコントラストが高い画像を出力することが可能となる。

入出力の輝度レンジを表すグラフ（飽和領域あり）の例を示す図。 入出力の輝度レンジを表すグラフ（飽和領域なし）の例を示す図。 本発明の一実施形態に係る画像処理装置のハードウェア構成の例を示す図。 本発明の一実施形態に係る画像処理部のソフトウェア構成の例を示す図。 本発明の課題を説明するための図。 本発明の一実施形態に係るＤレンジ圧縮のための１ＤＬＵＴを示すグラフ。 本発明の一実施形態に係る低周波成分を生成するフィルタの例を示す図。 本発明の一実施形態に係る領域整合部の説明をするための図。 本発明の一実施形態に係る処理フローを示す図。 本発明の一実施形態に係る処理結果をグラフ化した図。 本発明の一実施形態に係る合焦点からの距離を示す図。 本発明の一実施形態に係るガマットマッピングを説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［輝度の変換］
図１は、入力装置と出力装置のＤレンジに応じた輝度の変化を説明するための図である。ここでは、入力装置をデジタルカメラとし、出力装置をプリンタとして説明する。図１において、横軸は、シーンの輝度を示し、縦軸は出力輝度を示す。デジタルカメラでは、装置に備えられた測光機能を用い、基準輝度１０１が所定の出力値１０２になるよう相対的に輝度を決定する。出力輝度に関し、デジタルカメラなどに比べ、ディスプレイやプリンタのＤレンジは狭い場合がある。そのため、例えば、デジタルカメラの撮影レンジに対して狭い、プリンタ等の出力レンジに対応して、曲線１０３で示すような特性をもつガンマ補正が適用される。図１の例の場合、シーンの輝度レンジ１０４に示すような高輝度のエリアについては、信号が飽和した白飛びの領域が含まれる画像が出力される。なお、入力のＤレンジと出力のＤレンジが同じである場合には、図１の破線にて示すように、入力値と出力値は同じとなるため、白飛びなどは発生しない。

図２は、画像が飽和する領域を最小限にしてＤレンジ圧縮を行う例を示す図である。ここでは、入力としてのＨＤＲコンテンツの輝度レンジが１０００［ｎｉｔ］であり、出力としての記録装置の輝度レンジが１００［ｎｉｔ］である場合の変換曲線の例を示している。図２において、横軸はＨＤＲコンテンツのＤレンジにおける輝度値（入力値）を示し、縦軸は記録装置のＤレンジにおける輝度値（出力値）を示す。図２に示す例の場合、高輝度の領域でも信号が飽和して白飛びの領域が発生しないように変換される。

［ハードウェア構成］
図３は、本発明を適用可能なシステムのハードウェア構成の例を示す図である。本実施形態において、システムは、ホストＰＣとしての画像処理装置３０１と、画像形成装置としてのプリンタ３０８を含んで構成される。画像処理装置３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）３０４、ディスプレイＩ／Ｆ（インタフェース）３０５、入力部Ｉ／Ｆ３０６、及びデータ転送Ｉ／Ｆ３０７を含んで構成される。ＣＰＵ３０２は、ＨＤＤ３０４に保持されるプログラムに従ってＲＡＭ３０３をワークエリアとしながら各種処理を実行する。例えば、ＣＰＵ３０２は、入力部Ｉ／Ｆ３０６を介してユーザより受信したコマンドやＨＤＤ３０４に保持されるプログラムに従ってプリンタ３０８が記録可能な画像データを生成する。そして、ＣＰＵ３０２は、生成した画像データをプリンタ３０８に転送する。また、ＣＰＵ３０２は、データ転送Ｉ／Ｆ３０７を介してプリンタ３０８から受信した画像データに対し、ＨＤＤ３０４に記憶されているプログラムに従って所定の処理を行う。その結果や様々な情報は、ディスプレイＩ／Ｆ３０５を介してディスプレイ（不図示）に表示される。画像処理装置３０１内において、各部位は通信可能に接続される。

プリンタ３０８は、ＣＰＵ３１１、ＲＡＭ３１２、ＲＯＭ３１３、画像処理アクセラレータ３０９、データ転送Ｉ／Ｆ３１０、及び印刷部３１４を含んで構成される。ＣＰＵ３１１は、ＲＯＭ３１３に保持されるプログラムに従ってＲＡＭ３１２をワークエリアとしながら各種処理を実行する。画像処理アクセラレータ３０９は、ＣＰＵ３１１よりも高速に画像処理を実行可能なハードウェアである。画像処理アクセラレータ３０９は、ＣＰＵ３１１が画像処理に必要なパラメータとデータをＲＡＭ３１２の所定のアドレスに書き込むことにより起動され、上記パラメータとデータを読み込んだ後、上記データに対し所定の画像処理を実行する。なお、画像処理アクセラレータ３０９は必須な要素ではなく、同等の処理をＣＰＵ３１１にて実行し、画像処理アクセラレータ３０９は省略してもよい。印刷部３１４は、ＣＰＵ３１１や画像処理アクセラレータ３０９により処理された画像データに基づき、記録媒体に対する印刷処理を行う。印刷部３１４は、例えば、インクジェット方式にて印刷を行うことができるが、他の方式にて印刷を行うような構成であってもよい。

画像処理装置３０１のデータ転送Ｉ／Ｆ３０７およびプリンタ３０８のデータ転送Ｉ／Ｆ３１０における接続方式としては、ＵＳＢ、ＩＥＥＥ１３９４、有線ＬＡＮ、無線ＬＡＮ等を用いることができるが、これらに限定するものではない。また、図３に示す例の場合、システムは、画像処理装置３０１とプリンタ３０８が異なる装置として設けられた例を示したが、これらが単一の装置にて実現されてもよい。

［画像処理全体の説明］
以下、本実施形態に係るコントラスト補正処理について具体的に説明する。本実施形態に係るコントラスト補正処理は、ＨＤＲ画像データをプリンタ３０８で印刷する際に所定の画像処理を行うための処理である。

図４は、ＨＤＲ画像データをプリンタ３０８で印刷する際の画像処理を説明するためのソフトウェア構成の例を示す図である。画像入力部４００は、ＨＤＲ画像データを取得する。本実施形態では、ＨＤＲ画像データは輝度レンジが１０００ｎｉｔ、色域はＢＴ．２０２０のＲＧＢデータであることを例にして説明する。ＨＤＲ画像データは、デジタルカメラにて撮影された画像データであり、デジタルカメラから直接取得してもよいし、ネットワークを介して取得されてもよい。画像入力部４００は、ＨＤＲ画像データの他に、ＨＤＲ画像データが撮影された際の撮影情報も取得する。撮影情報は、シャッター速度、露出時間、レンズ絞り値、ＩＳＯ感度、撮影時ダイナミックレンジなどの情報が含まれる。他にも、被写体の距離情報やホワイトバランス、焦点距離、測光方式などの情報が取得されてもよい。

入出力Ｄレンジ係数算出部４０１は、入力、出力それぞれのＤレンジに基づき、入出力Ｄレンジ係数ｋを算出する。入力Ｄレンジは、画像入力部４００で取得したＨＤＲ画像データに付与される各種情報（撮影時のセンサーの特性と露出条件、ホワイトバランスの設定など）に基づき算出される。出力Ｄレンジは、印刷を行うプリンタ３０８のＤレンジに基づいて決定される。なお、ここでの出力Ｄレンジは更に、印刷に使われる用紙種類のほか、印刷物が観察（設置）される観察環境などを考慮してもよい。例えば、印刷物に照明等が照射される展示環境において、輝度計などで測定することで輝度値を取得できる。例えば、印刷物の黒ベタ部と紙白の輝度を測定し、紙白輝度から黒ベタ輝度を減算することで出力Ｄレンジが求められる。上記は印刷物を例に挙げて示したが、ディスプレイ装置などの表示機器でも同様に出力Ｄレンジが求められる。ディスプレイの場合、例えば、バックライトなどの輝度値から、白部の値を特定してよい。各種情報は、ユーザからの入力により取得してもよいし、各装置から取得するような構成であってもよい。

入力、出力それぞれのＤレンジから、入出力Ｄレンジ係数ｋは以下の式（１）により算出される。
入出力Ｄレンジ係数ｋ＝（出力Ｄレンジ）／（入力Ｄレンジ）…式（１）
入出力Ｄレンジ係数ｋは、入力Ｄレンジに対する出力Ｄレンジの比であり、０～１の範囲にて示される。入出力Ｄレンジ係数ｋが１以上になる場合は、その値に対し１へのクリップを行う。つまり、入力Ｄレンジよりも出力Ｄレンジの方が大きい場合にはｋは１以上となり、その場合は、全て１として扱う。

コントラスト補正部４０２では、Ｄレンジ圧縮部４０３において低下するコントラストを補正する処理を実施する。コントラスト補正部４０２における処理の詳細は後述する。

距離情報算出部４０４では、画像入力部４００より取得した入力データの各画素の位置に対応した距離情報を取得する。画素ごとの距離情報を取得するために、本実施形態では位相差を利用する手法を挙げる。各画素の位置に応じた位相差情報を得るため、センサー（不図示）において、１つの画素を２つのフォトダイオードにて検出するように構成し、それぞれから画像データを構成する画素値を取得する。これにより、２つの画像データが取得される。このとき、両画像間にはフォトダイオードの距離のずれによる位相差が生じている。このデータを比較することにより、各画素の距離情報が取得できる。本実施形態では、位相差が強く生じている画素ほど、合焦（ピントが合っている状態）の度合いを高くし、位相差が小さい場合は、合焦の度合いを小さくする。

また、本実施形態では、画像を複数の領域に分割し、この領域を処理単位とする。したがって、各領域において、画素単位で取得した距離情報を領域の代表値として算出する。各領域の代表値としての距離情報は、領域内の画素それぞれに対して得られた距離情報を平均化することで算出してもよいし、領域内の画素の距離情報の中から中間値を取得するなどの方法が挙げられる。ここで求めた距離情報をＫ（ｍ）とし（ｍは対象領域を示す）、図１１に示すように、Ｋ（ｍ）が０～１の値となるデータを算出する。図１１において、横軸は撮影した被写体と合焦点（合焦面）との距離の相対値を表し、縦軸は相対距離に対応付けられた距離Ｋ（ｍ）を示す。合焦点１１０１では０となり、合焦点１１０１から距離が離れるに従い、１に近づくものとする。所定の距離から無限遠は１として扱う。

Ｄレンジ圧縮部４０３では、入力されたデータを、１次元ルックアップテーブル（以下１ＤＬＵＴ）などの手段を用いて所定の輝度レンジにＤレンジ圧縮を行う。１ＤＬＵＴを生成する際に、入出力Ｄレンジ係数算出部４０１で算出した入出力Ｄレンジ係数ｋ、および距離情報算出部４０４より算出した距離情報を用いる。

図６（ａ）は、本実施形態に係る１ＤＬＵＴを生成するためのグラフの例を示す。図６（ａ）において、横軸は入力輝度Ｙｉｎを示し、縦軸は出力輝度Ｙｏｕｔを示す。ここでは、入力ＤレンジをＹｉ（輝度６００が上限）とし、出力ＤレンジをＹｏ（輝度６０１が上限）とする。本実施形態では、画像を分割し、領域毎に処理を実施するものとし、対象領域ｍに対してそれぞれ１ＤＬＵＴが生成される。生成する１ＤＬＵＴを、ＬＵＴ（Ｙ，ｍ）として示す。ＬＵＴ（Ｙ，ｍ）は、Ｒ（Ｙ）とＡ（Ｙ）の２つのテーブルに基づき生成される。

本例では、入力ＤレンジがＹｉ、出力ＤレンジがＹｏであることから、入出力Ｄレンジ係数ｋは、式（１）に従いＹｏ／Ｙｉで算出される。また、図６（ａ）において、線６１０で示されるテーブルＲ（Ｙ）、および、線６１１で示されるテーブルＡ（Ｙ）はそれぞれ、以下の式（２）および式（３）により算出される。
Ｒ（Ｙ）＝ｋ×Ｙ …式（２）
Ａ（Ｙ）＝ｍｉｎ（Ｙ，Ｙｏ） …式（３）
ここで、ｍｉｎは、引数の中から最小値を返す関数である。式（３）では、Ｙ，Ｙｏのうち小さい方の値が、Ａ（Ｙ）に設定される。Ｒ（Ｙ）は、階調欠損のないテーブルを表す。一方、Ａ（Ｙ）は、高輝度側においてクリップ階調欠損があるものの、シーンの輝度に忠実な領域を有するテーブルとなっている。なお、式（２）および式（３）に従えば、出力ＤレンジＹｏが入力ＤレンジＹｉに等しくなる場合は、Ｒ（Ｙ）、Ａ（Ｙ）ともに、リニア特性を有する直線６０２の入出力の関係となる。

次に、Ｒ（Ｙ）、Ａ（Ｙ）と、距離情報算出部４０４から出力される距離情報に基づきＬＵＴ（Ｙ，ｍ）を算出する。ＬＵＴ（Ｙ，ｍ）は、距離情報算出部４０４により算出されたＫ（ｍ）を用いて、以下の式（４）により算出される。
ＬＵＴ（Ｙ，ｍ）＝Ｋ（ｍ）×Ａ（Ｙ）＋（１－Ｋ（ｍ））×Ｒ（Ｙ） …式（４）
式（４）に従えば、合焦点（合焦面）に近い領域ほどテーブルＲ（Ｙ）の重みが高くなるように適用され、合焦点から離れるほどＡ（Ｙ）の重みが高くなるように適用されることになる。言い換えると、合焦している主被写体部分については、階調欠損の少ない変換がなされ、主被写体以外の領域には、階調欠損はあるがコントラストの強い（シーン輝度に忠実な）変換が施されることになる。

なお、Ｒ（Ｙ）、Ａ（Ｙ）を式（２）および（３）を用いて求めたが、これに限定するものではなく、例えば、基準輝度までを維持したテーブルを用いてもよい。図６（ｂ）にその場合の例を示す。図６（ｂ）において、横軸は入力輝度Ｙｉｎを示し、縦軸は出力輝度Ｙｏｕｔを示す。図６（ｂ）において、０から基準輝度６３０までの出力値は、Ｒ（Ｙ）、Ａ（Ｙ）ともに同じ値となり、基準輝度６３０が入力された場合の出力輝度は輝度値６３１となる。図６（ｂ）において、基準輝度６３０よりも大きな輝度値が入力された際に、Ｒ（Ｙ）、Ａ（Ｙ）はそれぞれの特性を有するものになる。図６（ｂ）において、曲線６２０はＲ（Ｙ）を示し、曲線６２１はＡ（Ｙ）を示す。なお、直線６２２は、図６（ａ）の直線６０２に対応する。

本実施形態において、入力Ｄレンジおよび出力ＤレンジそれぞれはＹｉ＝１０００ｎｉｔ、Ｙｏ＝１００ｎｉｔである。そのため、１０００ｎｉｔの輝度レンジを有するＨＤＲ画像データは、プリンタで扱うことのできる１００ｎｉｔの輝度レンジに圧縮されることになる。

ガマットマッピング部４０５では、３次元ＬＵＴ（以下、３ＤＬＵＴ）などの手法を用いてプリンタの持つ色域にガマットマッピングを行う。図１２は、ガマットマッピングを説明するための図である。図１２において、横軸はＹＣｂＣｒ色空間のＣｒを示し、縦軸は輝度Ｙを示す。入力色域１２０１は、Ｄレンジ圧縮された画像データの色域を示す。出力色域１２０２は、ガマットマッピングにより出力される色域を示す。ここでは、出力色域１２０２は、プリンタ３０８がもつ色域に対応しているものとする。したがって、入力色域１２０１は、プリンタ３０８の色域である出力色域１２０２にガマットマッピングされる。

本実施形態において、入力色を（Ｙ，Ｃｂ，Ｃｒ）とすると、（Ｙ’，Ｃｂ’，Ｃｒ’）に変換される。入力色域１２０１のプライマリーカラー１２０３、１２０６は、出力色域１２０２のプライマリーカラー１２０４、１２０５にそれぞれマッピングされる。図１２中の破線で示すようにプライマリーカラー１２０３、１２０６の輝度値Ｙは同じ輝度値であるが、ガマットマッピング後のプライマリーカラー１２０４、１２０５は異なる輝度値になる。このように、ガマットマッピングの入出力の色域が相似形でない場合には、同じ入力輝度値であっても色相によっては異なる出力輝度値にマッピングされる。また、斜線で表した色域外領域１２０７（入力色域１２０１と出力色域１２０２の差分）は、プリンタでは表現できない色域となる。色域外領域１２０７は出力色域１２０２内に圧縮してマッピングされる。

画像出力部４０６では、プリンタ３０８で出力するための画像処理を行う。ガマットマッピング部４０５でガマットマッピングされた画像データは、プリンタ３０８で印刷する際のインク色に色分解が行われる。更に、画像出力部４０６は、ディザもしくは誤差拡散処理を用いて、インクを吐出する／しないを表す２値データに変換する量子化処理など、プリンタ３０８での出力に必要な所望の画像処理を行う。

（コントラスト補正部）
本実施形態に係るコントラスト補正部４０２における処理の詳細を説明する。

領域分割部４０２０では、画像入力部４００で入力された画像を、所定の領域に分割する。領域分割では様々な手法が存在するが、例えば、所定の画素サイズを有する矩形で分割してよい。具体的には、所定の画素数を有する画像（横画素数Ｐ，縦画素数Ｑ）を、それよりも小さい、画素数（例えば横画素数Ｘ，縦画素数Ｙ）で分割する（Ｐ＞Ｘ，Ｑ＞Ｙ）。

この他の領域分割の手法として、輝度をカテゴライズし、そこから分類する方法や、さらに色成分も加えて、色空間で分割する方法を用いてもよい。また、画像のコンテンツに応じて分割する方法を用いてもよい。また、顔検出など、特定領域の認識処理と組み合わせる手法を用いてもよい。本実施形態では説明を簡単にするために、矩形により分割する方法を用いて説明する。

色変換部４０２１では、入力されたＲＧＢデータを輝度と色差に変換する。本実施形態では、変換後のデータの色表系としてＹＣｂＣｒを用いて説明する。ＲＧＢからＹＣｂＣｒへの変換は式（５）～式（７）で表す。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …式（５）
Ｃｂ＝－０．１６８７×Ｒ－０．３３１３×Ｇ＋０．５×Ｂ …式（６）
Ｃｒ＝０．５×Ｒ－０．４１８７×Ｇ－０．０８１３×Ｂ …式（７）

なお、色変換部４０２１で用いられる色表系は、ＹＣｒＣｂに限定するものではない。例えば、明度と色差を表すＣＩＥ Ｌ＊ａ＊ｂ＊ （ＣＩＥＬＡＢ）色空間や、色相と彩度、明度を表すＨＳＬ色空間を用いてもよい。それぞれの色表系においては、ＹＣｒＣｂにおける輝度（Ｙ）に相当するものは、明度（ＬａｂのＬやＨＳＬのＬ）となる。

周波数分解部４０２２では、入力された画像データの輝度成分Ｙを高周波成分Ｈと低周波成分Ｌに周波数分解を行う。本実施形態において、低周波成分Ｌは、輝度成分Ｙに対してフィルタリング処理を行うことで生成する。図７を用いて、フィルタリング処理についてガウス型フィルタを例に説明する。フィルタサイズが５×５の大きさを表し、ピクセルごとに係数値７０１が設定されている。画像の横方向をｘ、縦方向をｙ、そして、座標（ｘ，ｙ）のピクセル値をｐ（ｘ，ｙ）、フィルタ係数値をｆ（ｘ，ｙ）とする。そして、注目画素ごとに以下の式（８）で表す方法でフィルタリング処理を行う。注目画素７０２を中心として、画像データをフィルタが走査するごとに式（８）の計算を行う。フィルタがすべての画素を走査し終わると、低周波成分画像が得られる（Ｌ（ｘ，ｙ））。なお、式（８）において、記号“・”は積を表す。
Ｌ（ｘ，ｙ）＝｛１／Σｆ（ｘ，ｙ）｝・Σ｛ｆ（ｘ，ｙ）×ｐ（ｘ，ｙ）｝ …式（８）

本実施形態では、フィルタ特性がガウス型を例に説明したが、これに限定するものではない。例えば、バイラテラルフィルタの様なエッジ保存型のフィルタを用いてもよい。エッジ保存型のフィルタを使用すれば、コントラスト補正をした際に、エッジ部分に発生するアーキファクトのハロを低減することができる。

ピクセルごとに、輝度成分をＹ，高周波成分をＨ、低周波成分をＬとすると、高周波成分Ｈは以下の式（９）により算出される。
Ｌ＝Ｙ／Ｈ …式（９）
本実施形態では、輝度成分Ｙの高周波成分Ｈと低周波成分Ｌはそれぞれ、反射光成分Ｒと照明光成分Ｌｉと同じものとして説明する。

照明光成分も低周波成分と同様にフィルタリング処理を行うことで生成することができる。また、エッジ保存型のフィルタを使用すれば、よりエッジ部分の照明光成分を精度よく生成することができる。反射光成分Ｒと照明光成分Ｌｉは式（９）と同様に以下の式（１０）で表すことができる。
Ｒ＝Ｙ／Ｌｉ …式（１０）

高周波成分Ｈは、式（９）で表されるように入力画像を低周波成分で除算することによって生成した。しかしこれに限定するものではなく、以下の式（１１）で表されるように、入力画像から低周波成分を減算することで生成してもよい。
Ｈ＝Ｙ－Ｌ …式（１１）

高周波成分補正部４０２３では、周波数分解部４０２２において分解された高周波成分Ｈに対してコントラスト補正を行い、コントラスト補正後の高周波成分Ｈｃを生成する。このとき、高周波成分補正部４０２３は、距離情報算出部４０４より算出した距離情報を利用する。

Ｈｃの生成方法の例について説明する。上記のＤレンジ圧縮部４０３の説明において、Ｄレンジ圧縮のテーブルＬＵＴ（Ｙ）は、階調欠損のないＲ（Ｙ）と、高輝度側にクリップ階調欠損があるもののシーンの輝度に忠実な領域を有するＡ（Ｙ）とを用いることを述べた。Ｒ（Ｙ）のテーブルが使用される場合、図６（ａ）の線６１０に示すように、変換特性としての直線の傾きが小さく、画像のコントラストが不足した、いわゆる眠たい画像になってしまう。そのため、ここで求めるコントラスト補正後の高周波成分Ｈｃを重畳することで、高周波のコントラストを保持し、眠たい画像の発生を回避する。ここでは、Ｄレンジ変換前のＨＤＲ画像データが有する高周波成分Ｈのコントラストを保持する。つまり、Ｒ（Ｙ）を適用した際の復元すべき高周波成分をＨ１とすると、下記の式（１２）となる。
Ｈ１＝Ｈ …式（１２）

一方、Ａ（Ｙ）が適用された場合は、図６に示すように、高輝度部に飽和している領域が存在することから、おおよそのコントラストは復元されている。つまり、Ｄレンジ変換前のコントラストＨまでを復元する必要はない。Ａ（Ｙ）を適用した際の復元すべき高周波成分をＨ２とすると、下記の式（１３）となる。
Ｈ２＝Ｈ×ｔ …式（１３）

ここで、ｔは１以下の係数であり、どの程度のコントラストにするのかは、予め設定しておく。なお、Ｄレンジ変換の際にＡ（Ｙ）を適用することで十分なコントラストが得られていると判断する場合は、ｔは“１”（後述の式（１６）の場合）もしくは“０”（後述の式（１７）の場合）に設定してもよい。

コントラスト補正後の高周波成分Ｈｃは、Ｄレンジ圧縮部４０３と同様、距離情報算出部４０４により算出されたＫ（ｍ）を用い、下記の式（１４）により算出される。この式（１４）から、合焦点からの距離に近い（Ｋ（ｍ）の値が小さい）ほど、Ｈ１の影響が強く、変換前のＨＤＲ画像の有する高周波成分を保持することになる。逆に、合焦点からの距離が遠いほど、変換前のＨＤＲ画像の有する高周波成分は保持されない。
Ｈｃ＝Ｋ（ｍ）× Ｈ２＋（１－Ｋ（ｍ））× Ｈ１ …式（１４）
式（１４）は、上述した式（４）に対応している。

尚、上記において、Ｒ（Ｙ）が適用された場合に、Ｄレンジ変換前のＨＤＲ画像データが有する高周波成分Ｈのコントラストを保持することを述べたが、これに限定するものではない。例えば、以下の式（１５）に示すように、Ｄレンジ変換前のＨＤＲ画像データが有する高周波成分Ｈに対して係数ｐを乗じてもよい。この係数ｐの値を制御することにより、例えば、用途に応じたコントラストの強弱を制御することができる。
Ｈ１＝Ｈ×ｐ …式（１５）
係数ｐは予め設定しておいてもよいし、入力と出力の入出力Ｄレンジ係数を利用し、入力と出力のＤレンジの違いに応じて、コントラストの強度を変化させてもよい。

画像合成部４０２４では、高周波成分補正部４０２３から出力されるコントラスト補正後の高周波成分Ｈｃと、Ｄレンジ圧縮部４０３から出力される圧縮後低周波成分Ｌ’を合成する。さらに、画像合成部４０２４は、色変換部４０２１から出力される色差成分の（Ｃｂ，Ｃｒ）を結合し、カラー画像の生成を行う。その合成に用いられる式を以下の式（１６）に表す。式（１６）において、高周波成分Ｈｃと圧縮後低周波成分Ｌ’を積算することで、周波数成分を合成した輝度画像Ｙｃが得られる。
Ｙｃ＝Ｈｃ×Ｌ’ …式（１６）

周波数分解部４０２２において、式（１１）を用いて高周波成分Ｈを生成している場合には、輝度画像Ｙｃは以下の式（１７）で算出することができる。
Ｙｃ＝Ｈｃ＋Ｌ’ …式（１７）

そして、画像合成部４０２４は、輝度画像Ｙｃと色差成分（Ｃｂ，Ｃｒ）を合成し、カラー画像（Ｙｃ、Ｃｂ，Ｃｒ）を生成する。

領域整合部４０２５では、画像合成部４０２４により行われた画像合成の結果に対し各領域における周囲の領域との整合を行う。図８は、本実施形態に係る領域整合を説明するための図である。図８において、矩形８０１は、１つの領域を表しており、各領域のサイズは、Ｘ画素×Ｙ画素の領域となる。対象領域ｍ内の位置（ｉ，ｊ）の画素の輝度値をＹｍ（ｉ，ｊ）、対象領域ｍの上下左右の４つの領域ｎの代表輝度値をＹｃ（ｎ）として示す。尚、ここでは、代表輝度値Ｙｃは、対象領域の輝度を平均したものを利用するがこれに限定するものではない。また、ｎは１～４のいずれかを示し、対象領域ｍとの相対関係において、１：上、２：左、３：下、４：右を意味するものとする。周囲領域ｎの代表点（ここでは重心点）と画素位置（ｉ，ｊ）との距離をｄ（ｎ）とした場合、Ｙｍ（ｉ，ｊ）は以下の式（１８）で算出される。

…式（１８）

式（１８）を用いることで、領域毎に実施したＤレンジ圧縮処理やコントラスト補正処理の周囲領域との整合性を確保でき、特異な領域のために、画像弊害が発生することを回避することができる。つまり、着目領域の画素値を、着目画素に隣接する隣接領域（周囲領域ｎ）の値に基づいて修正を行う。

［処理フロー］
図９は、本実施形態に係る処理のフローチャートを示す。本処理フローは、例えば、画像処理装置３０１のＣＰＵ３０２がＨＤＤ３０４等に格納されたプログラムを読み出して実行することで実現される。なお、図９の各工程における処理の詳細は、図４を用いて説明した処理に対応する。また、各工程の順序は必ずしも図９に示すものではなく、一部が入れ替わってもよい。

Ｓ９０１にて、画像処理装置３０１は、画像入力部４００により、対象となる画像データを取得する。

Ｓ９０２にて、画像処理装置３０１は、距離情報算出部４０４により、同画像データに付随する位相差データに基づき、距離情報を算出する。

Ｓ９０３にて、画像処理装置３０１は、入出力Ｄレンジ係数算出部４０１にて、Ｓ９０１にて取得した画像データおよびプリンタ３０８の出力情報から入出力のＤレンジ情報を取得する。

Ｓ９０４にて、画像処理装置３０１は、入出力Ｄレンジ係数算出部４０１にて、取得した入出力のＤレンジ情報から、入出力Ｄレンジ係数ｋを算出する。

Ｓ９０５にて、画像処理装置３０１は、領域分割部４０２０により、領域分割処理を実施し、画像を複数の領域に分割する。

Ｓ９０６にて、画像処理装置３０１は、距離情報算出部４０４にて、Ｓ９０２にて取得した距離情報を用いて、対象領域ｍの合焦点からの距離Ｋ（ｍ）を算出する。

Ｓ９０７にて、画像処理装置３０１は、Ｄレンジ圧縮部４０３にて、Ｓ９０４にて算出した入出力Ｄレンジ係数ｋ、およびＳ９０６にて算出した距離Ｋ（ｍ）に基づいてＤレンジ圧縮処理を実施する。

Ｓ９０８にて、画像処理装置３０１は、色変換部４０２１、周波数分解部４０２２、および高周波成分補正部４０２３により、高周波成分の補正処理を行い、画像に適したコントラスト処理を行う。

Ｓ９０９にて、画像処理装置３０１は、領域分割した全領域に対し、処理が終了したか否かの判定を行う。終了していないと判定された場合（Ｓ９０９にてＮＯ）Ｓ９０６に進み、未処理の領域を対象領域として処理を繰り返す。全領域に対する処理が終了していると判定された場合（Ｓ９０９にてＹＥＳ）Ｓ９１０へ進む。

Ｓ９１０にて、画像処理装置３０１は、画像合成部４０２４、および領域整合部４０２５により、領域の整合性処理を行う。

Ｓ９１１にて、画像処理装置３０１は、コントラスト補正部４０２から出力される整合性処理が完了した画像データに対し、ガマットマッピング部４０５により、ガマットマッピング処理を行う。

Ｓ９１２にて、画像処理装置３０１は、画像出力部４０６により、プリンタ３０８における印刷に必要な各種画像処理を実行する。そして、本処理フローを終了する。

図１０は、上記処理により得られる結果の例を説明するための図である。図１０（ａ）～（ｃ）はそれぞれ、入力Ｄレンジが出力Ｄレンジよりも大きい場合、入力Ｄレンジが出力Ｄレンジよりわずかに大きい場合、入力Ｄレンジと出力Ｄレンジが同じ場合を表している。

図１０（ａ）～図１０（ｃ）において、上部のグラフは、横軸に領域の合焦点からの距離を示し、縦軸はコントラストと階調性のブレンド率を示す。ブレンド率は、式（４）や式（１４）にて示したように、Ｋに基づく、変換の適用の割合を示す。また、コントラストとは、上述したＡ（Ｙ）による強いコントラスト補正を有する１ＤＬＵＴを適用することを意味する。階調性とは、上述のＲ（Ｙ）の１ＤＬＵＴを適用し更に圧縮前の高周波成分を重畳することにより、飛びのない階調性を維持することを意味する。したがって、式（４）や式（１４）に示すように、画像の合焦領域では、より階調性をもつ再現がなされ、合焦点からの距離が離れるほど、ハイライトに飛びのある強いコントラストが適用されることになる。

図１０（ａ）と図１０（ｂ）に示すように、入力のＤレンジが出力よりも大きいほど、つまり、入力と出力のレンジ差があるほど、それぞれの処理強度は強くなる。一方、レンジ差が小さくなるに従い、処理の強度は弱まる。また、図１０（ｃ）に示すように、入力と出力のＤレンジが同一である場合は、Ｄレンジの変換は行われず、合焦面に対する領域の距離情報に応じたコントラストと協調性の変動は生じない。

以上、本実施形態により、入力のＤレンジを出力のＤレンジへ変換する際に、画像内の合焦している主被写体部の階調性の復元を可能としつつ、ボケ領域に対するコントラストが高い画像を出力することが可能となる。

＜その他の実施形態＞
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

３０１…画像処理装置、３０８…プリンタ、４００…画像入力部、４０１…入出力Ｄレンジ係数算出部、４０２…コントラスト補正部、４０３…Ｄレンジ圧縮部、４０４…距離情報算出部、４０５…ガマットマッピング部、４０６…画像出力部、４０２０…領域分割部、４０２１…色変換部、４０２２…周波数分解部、４０２３…高周波成分補正部、４０２４…画像合成部、４０２５…領域整合部

Claims (7)

1. 第１のダイナミックレンジを有する第１の画像の複数の領域それぞれにおける、合焦面からの距離を示す距離情報を取得する取得手段と、
   前記合焦面からの距離が小さい場合に第１の変換特性の重みを高くし、前記合焦面からの距離が大きい場合に第２の変換特性の重みを高くすることにより、前記複数の領域それぞれの変換特性を決定する決定手段と、
   前記決定手段にて決定した変換特性を用いて前記複数の領域それぞれを変換することにより、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に変換する変換手段と
   を有し、
   前記第１の変換特性は前記第２の変換特性よりも変換による階調欠損が少ない変換特性であり、前記第２の変換特性は前記第１の変換特性よりも変換によりコントラストが強くなる変換特性である、
   ことを特徴とする画像処理装置。
2. 前記変換手段にて変換された前記第２の画像を補正する補正手段を更に有し、
   前記補正手段は、前記第１の画像のコントラスト補正後の高周波成分を前記第２の画像に重畳することで補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段により変換された前記複数の領域を合成する合成手段を更に有し、
   前記合成手段は、前記複数の領域のうちの着目領域の画素値を、当該着目領域に隣接する隣接領域の代表画素値に整合させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の変換特性は、前記第１のダイナミックレンジに対する前記第２のダイナミックレンジの比を前記第１の画像の画素値に積算することにより変換を行う変換特性であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第２の変換特性は、前記第１の画像の画素値と前記第２のダイナミックレンジのうちの最小値を出力する変換特性であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 第１のダイナミックレンジを有する第１の画像の複数の領域それぞれにおける、合焦面からの距離を示す距離情報を取得する取得工程と、
   前記合焦面からの距離が小さい場合に第１の変換特性の重みを高くし、前記合焦面からの距離が大きい場合に第２の変換特性の重みを高くすることにより、前記複数の領域それぞれの変換特性を決定する決定工程と、
   前記決定工程において決定した変換特性を用いて前記複数の領域それぞれを変換することにより、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に変換する変換工程と
   を有し、
   前記第１の変換特性は前記第２の変換特性よりも変換による階調欠損が少ない変換特性であり、前記第２の変換特性は前記第１の変換特性よりも変換によりコントラストが強くなる変換特性である、
   ことを特徴とする画像処理方法。
7. コンピューターを、
   第１のダイナミックレンジを有する第１の画像の複数の領域それぞれにおける、合焦面からの距離を示す距離情報を取得する取得手段、
   前記合焦面からの距離が小さい場合に第１の変換特性の重みを高くし、前記合焦面からの距離が大きい場合に第２の変換特性の重みを高くすることにより、前記複数の領域それぞれの変換特性を決定する決定手段、
   前記決定手段にて決定した変換特性を用いて前記複数の領域それぞれを変換することにより、前記第１のダイナミックレンジより小さい第２のダイナミックレンジを有する第２の画像に変換する変換手段
   として機能させ、
   前記第１の変換特性は前記第２の変換特性よりも変換による階調欠損が少ない変換特性であり、前記第２の変換特性は前記第１の変換特性よりも変換によりコントラストが強くなる変換特性である、
   ことを特徴とするプログラム。

Images