JP5911292B2 - 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、撮影画像からぼけ付加画像を生成する画像処理装置に関する。

近年、イメージセンサのサイズを大きくしてぼけ味の良好なコンパクトデジタルカメラが提案されている。しかし、イメージセンサのサイズが大きいと結像光学系も大きくなるため、カメラの小型化は困難である。そこで特許文献１には、パンフォーカス（全ての領域でピントが合った状態の画像）に近い画像を撮影するとともに被写体距離の情報を取得し、撮影画像に所定の画像処理を施すことによりぼけ味を付加するカメラが開示されている。また非特許文献１には、ぼけ味の付加方法に関し、結像光学系の情報を利用し、ガウシアンや熱拡散方程式等の解析的な関数を利用する方法が開示されている。非特許文献２には、このような画像処理をＧＰＵなどのアクセラレータを用いてハードウエア的に高速処理する構成が開示されている。

特開２０００−２０７５４９号公報 "Ｔｈｒｅｅ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒｅｎｄｅｒｉｎｇ Ｇｅｎｅｒａｌｉｚｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｅｆｆｅｃｔｓ"（２００９ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＳＩＡＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｔｈｅｍａｔｉｃｓ ｆｏｒ Ｉｎｄｕｓｔｒｙ） "Ｉｎｔｅｒａｃｔｉｖｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｕｓｉｎｇ Ｓｉｍｕｌａｔｅｄ Ｄｉｆｆｕｓｉｏｎ ｏｎ ａ ＧＰＵ"（ｔｅｃｈ．ｒｅｐｏｒｔ ０６−０１，Ｐｉｘａｒ Ａｎｉｍａｔｉｏｎ Ｓｔｕｄｉｏｓ，２００６）

しかしながら、連続的な距離変化を含む画像データにぼけを付加しようとすると、大きな演算量が必要となる。非特許文献２では、ＧＰＵを用いてハードウエア的に高速処理を行うことで計算時間を短縮しているが、演算量そのものを削減するものではない。また、演算量を削減するために被写体側に制限を設ける手法または連続的な距離変化を不連続なデータとして扱う手法が考えられるが、距離感のない画像になるか、または、画像のぼけ味が不自然になる。

そこで本発明は、少ない演算量でぼけ付加画像を生成可能な画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割する画像領域分割部と、前記画像領域分割部で分割された前記画像領域ごとにぼけカーネルを算出するぼけカーネル生成部と、前記ぼけカーネル生成部で算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成する画像処理演算部とを有する。

本発明の他の側面としての撮像装置は、前記画像処理装置を有する。

本発明の他の側面としての画像処理方法は、撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割するステップと、分割された前記画像領域ごとにぼけカーネルを算出するステップと、前記画像領域ごとに算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割するステップと、分割された前記画像領域ごとにぼけカーネルを算出するステップと、前記画像領域ごとに算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成するステップとを有する画像処理方法を情報処理装置に実行させるように構成されている。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、少ない演算量でぼけ付加画像を生成可能な画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。

実施例１における画像処理装置のブロック図である。 実施例１における画像処理装置の動作を示すフローチャートである。 実施例１における画像領域分割部により行われる画像領域分割処理を示すフローチャートである。 実施例１において、許容限界評価パラメータＩと被写体距離との関係（領域分割結果）を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における画像処理装置の構成について説明する。図１は、本実施例における画像処理装置のブロック図である。画像処理装置１は、画像データ入力部１０１、画像メモリ部１０２、パラメータ入力部１０３、パラメータメモリ部１０４、画像領域分割部１０５、ぼけカーネル生成部１０６、画像処理演算部１０７、および、画像記憶部１０８を有する。

画像データ入力部１０１は、撮像装置で撮影された画像やコンピュータグラフィックス（ＣＧ）で生成された二次元の輝度値を示す画像データ、および、その画像データに対応した距離（被写体距離）を示す距離データを取り入れる（入力する）。画像メモリ部１０２は、画像データ入力部１０１に入力された画像データおよび距離データを記憶する。パラメータ入力部１０３は、画像情報、画像領域を分割する際の許容条件、および、ぼけカーネルに関する情報（各種パラメータデータ）を取り入れる（入力する）。パラメータメモリ部１０４は、パラメータ入力部１０３に入力された各種パラメータデータを記憶する。

画像領域分割部１０５は、画像メモリ部１０２に記憶された画像データと距離データ、および、パラメータメモリ部１０４に記憶された各種パラメータデータに基づいて、シフトインバリアント領域（画像領域）を決定して画像を分割する。シフトインバリアント領域は、画像にぼけを付加してぼけ付加画像を作成する場合において、ぼけカーネルを同一とみなしても許容可能な画像領域である。すなわち、画像領域分割部１０５は、撮影画像の被写体距離および画角に応じたぼけカーネルを用いて撮影画像をぼかした場合に画質の変化量が所定の範囲内となるシフトインバリアント領域を決定し、この撮影画像をシフトインバリアント領域に分割する。シフトインバリアント領域の具体的な分割方法については後述する。ここで所定の範囲内とは、撮影画像の被写体距離および画角に応じたぼけカーネルの相違による画質の変化量が許容限界内ということであり、後述の許容限界評価パラメータＩに基づいて判定される。

ぼけカーネル生成部１０６は、画像領域分割部１０５で分割されたシフトインバリアント領域ごとにぼけカーネルを算出する。画像処理演算部１０７は、ぼけカーネル生成部１０６で算出されたぼけカーネルに基づいて、画像メモリ部１０２に記憶されている画像データにぼけカーネルの効果を付加する演算処理を行い、ぼけ付加画像を生成する。すなわち画像処理演算部１０７は、ぼけカーネル生成部１０６で算出されたぼけカーネルを用いて撮影画像に対するコンボリューション演算（畳み込み演算）を行うことで、ぼけ付加画像を生成する。画像記憶部１０８は、画像処理演算部１０７で生成されたぼけ付加画像を記憶する。

次に、図２を参照して、本実施例における画像処理装置１の動作（画像処理方法）について説明する。図２は、画像処理装置１の動作を示すフローチャートであり、画像処理装置１を用いて、入力された画像データおよびパラメータに基づいてぼけ付加画像を生成し、ぼけ付加画像を画像出力装置（不図示）に記録して表示するまでの処理を示す。

まずステップＳ２０１において、画像データ入力部１０１は、撮像装置により撮影された画像やコンピュータグラフィックスで生成された画像などの画像データ、および、その画像データに対応した距離データまたは距離データに換算可能なデータを入力する。画像データ入力部１０１に入力された画像データや距離データは、画像メモリ部１０２に記憶される。

ここで、距離データに換算可能なデータとは、入力された画像データの視点位置からの相対距離やあるグローバル座標における位置等の直接的な距離データに加えて、例えば複数の撮像装置からの画像情報を用いて生成された視差情報等が挙げられる。また、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙの技術群を用いた距離取得のためのデータも含まれる。例えば、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓと呼ばれる技術では、ぼけ量の解析に基づいて距離（被写体距離）が求められる。その他、種々の方法が存在する。後述のように、最終的には距離データからぼけカーネルの形状やサイズを決定するため、直接ぼけカーネルの形状やサイズを決定しても構わない。また、距離データと後述のステップＳ２０２で入力される撮影条件のパラメータの一つであるフォーカス位置とを用いて算出されるデフォーカス量を入力データとしてもよい。

続いてステップＳ２０２において、パラメータ入力部１０３は、撮影条件のパラメータ、後述する画像領域分割処理における許容限界の決定に必要なパラメータ、ぼけカーネルの形状やサイズの決定に必要なパラメータなどの各種パラメータを入力する。パラメータ入力部１０３に入力された各種パラメータは、パラメータメモリ部１０４に記憶される。撮影条件のパラメータに関しては、画像領域分割処理やぼけカーネル算出処理によって必要な情報が確定する。

次にステップＳ２０３において、画像領域分割部１０５は、ぼけ付加画像処理の際のシフトインバリアント領域（画像領域）を決定して画像を分割する画像領域分割処理を行う。図３を参照して、この画像領域分割処理（ステップＳ２０３）について詳述する。図３は、画像領域分割部１０５により行われる画像領域分割処理（ステップＳ２０３）を示すフローチャートである。

まずステップＳ３０１において、画像領域分割部１０５は、ぼけカーネルマップを生成する（ぼけカーネル生成処理）。ぼけカーネルマップは、被写体距離や画角などの三次元の空間情報に対応したぼけカーネルの形状や大きさに関するデータ群である。実際の光学系に即して考えた場合、被写体距離や画角に応じて点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を計測するか、または、シミュレーションにより予め算出した値を記憶しておけばよい。仮想的なぼけカーネルを考えた場合、被写体距離や画角とぼけカーネルの関係式を用意しておけばよい。画像領域分割部１０５は、例えば、光学系から計測または算出された応答関数またはガウシアンや熱拡散方程式などの解析的な関数を用いてぼけカーネルを生成する。ここで、解析的な関数とは、所定のぼけカーネルを生成するための関数であり、所定の式で表された関数である。この際、必ずしも一般的な光学系で形成されるぼけカーネルに捉われる必要はなく、所望の形でどのように決定してもよい。

次にステップＳ３０２において、画像領域分割部１０５は、許容限界評価パラメータを算出する。許容限界評価パラメータとは、ぼけカーネルに関するパラメータである。第一の評価パラメータとして、ぼけカーネルの大きさや形状を表すパラメータが挙げられる。例えば、ぼけカーネルをガウス分布とした場合の分散値である。なお、分散値を用いた演算を行わずに別の基準を用いて画像領域を決定する場合でも、ぼけカーネルをガウス分布とした場合の分散値と、画像領域の分割と結果的に対応していればよい。

また第二の評価パラメータとして、ぼけカーネルの空間周波数特性を利用して算出されるパラメータがある。例えば、ぼけカーネルをフーリエ変換し、光学伝達関数ＯＴＦの絶対値であるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いて許容限界評価パラメータを算出する。この場合、許容限界評価パラメータＩは、以下の式（１）のように表される。

ここで、μは空間周波数、μ_１およびμ_２はそれぞれ空間周波数μの上限下限を設定する定数である。許容限界評価パラメータＩは、ＭＴＦを空間周波数μで積分して得られる。このとき、画像データのフーリエ変換を行い、画像データの周波数特性を利用することもできる。上述の第一の評価パラメータや第二の評価パラメータとして得られる許容限界評価パラメータＩは、種々の被写体距離や画角のぼけカーネルデータ間での比較が可能である。

続いてステップＳ３０３において、画像領域分割部１０５は、ステップＳ３０２で算出された許容限界評価パラメータＩを利用して、画像メモリ部１０２に記憶されている画像（画像データ）の領域を分割する。本実施例では、許容限界評価パラメータＩに対応した許容限界閾値Ｔを用意し、画像データ内で許容限界評価パラメータＩの変化量が許容限界閾値Ｔ以下の画像領域をシフトインバリアント領域とする。すなわちこの画像領域は、同一のぼけカーネルを使用する領域であるとし、全画像領域をシフトインバリアント領域に分割する。なお、許容限界閾値Ｔは、ステップＳ２０２で入力されるパラメータに含まれている場合、または、予め設定されている値を利用する場合のいずれでもよい。

例えば図４は、実際の光学系でのぼけ量の変化と同等にガウス分布のぼけを付加しようとする場合において、許容限界評価パラメータＩと被写体距離との関係（領域分割結果）を示す図である。図４において、横軸は被写体距離、縦軸は許容限界評価パラメータＩを示している。本実施例では、許容限界評価パラメータＩをガウス分布の分散値としているため、許容限界評価パラメータＩは合焦位置Ｐにて０となる。許容限界評価パラメータＩと被写体距離との関係から許容限界閾値Ｔに従って被写体距離を分割すると、図４中の点線で示されるように分割領域が決定される。すなわち、点線の前後で異なるぼけカーネルが生成される。

続いて図２中のステップＳ２０４において、ぼけカーネル生成部１０６は、ステップＳ２０３で分割された画像領域（シフトインバリアント領域）ごとに、ぼけカーネルを算出する。具体的には、ぼけカーネル生成部１０６は、ステップＳ３０１で生成されたぼけカーネル（ぼけカーネルマップ）と同様のものを分割画像領域ごとに算出する。また、このようなぼけカーネルマップを予め算出または計測することなどにより記憶されている場合には、その記憶されているぼけカーネルを用いてもよい。ぼけカーネルは、分割画像領域ごとに算出して記憶しておくか、または、分割画像領域との対応関係のみを記憶しておいてもよい。このような構成により、分割画像領域ごとに対応するぼけカーネルが決定されている。

次にステップＳ２０５において、画像処理演算部１０７は、画像メモリ部１０２に記憶されている画像データとぼけカーネル生成部１０６で算出されたぼけカーネル（各分割画像領域に対応するぼけカーネル）と用いて、ぼけ付加画像を生成する。具体的には、画像処理演算部１０７は、撮影画像に関する画像データとぼけカーネルとのコンボリューション演算（畳み込み演算）を行う。

ある分割画像領域における画像データをＰ、その分割画像領域に対応するぼけカーネルをＢとすると、画像データＰとぼけカーネルＢのコンボリューションは、以下の式（２）のように表される。

式（２）は、分割画像領域中の一画素の計算である。このため、式（２）の計算を分割画像領域内の全画素に対して行うことで、分割画像領域におけるぼけ付加画像計算を行うことができる。本実施例では、分割画像領域内では同一のぼけカーネルが用いられる。このため、コンボリューション定理を用いて、式（２）は以下の式（３）のように表され、ぼけ付加画像のための計算量を削減することができる。

ここで、ＦＴは二次元のフーリエ変換を表し、ＩＦＴは二次元の逆フーリエ変換を表す。

式（３）で表される計算を画像領域分割部１０５で分割された全ての分割画像領域に対して行うことにより、画像データ入力部１０１で入力された画像データにぼけ付加の効果を与える、すなわちぼけ付加画像を生成することができる。続いてステップＳ２０６において、画像処理演算部１０７はぼけ付加画像を出力し、画像記憶部１０８はぼけ付加画像を記憶する。

本実施例の画像処理装置によれば、任意の画像およびぼけカーネルに対応したシフトインバリアント領域（ぼけカーネルの相違量を同一とみなせる領域）を算出することが可能である。これにより、撮影画像の画質を維持しつつ、ぼけカーネル演算量を削減してコンボリューション演算を行うことができる。

次に、本発明の実施例２における画像処理装置について説明する。本実施例は、ぼけカーネルの周波数特性および視覚の空間周波数特性をも考慮して、許容限界パラメータＩを決定する。具体的には、本実施例は、図３を参照して説明したステップＳ３０２での許容限界評価パラメータＩの算出方法のみが実施例１と異なり、その他の構成および処理方法については実施例１と同様である。

本実施例では、ぼけカーネルの空間周波数特性（ＭＴＦ）と視覚の空間周波数特性を利用して許容限界評価パラメータＩを算出する際に、ＣＭＴＡ（Ｃａｓｃａｄｅｄ Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ａｃｕｔａｎｃｅ）という値を用いる。ＣＭＴＡに関しては以下に説明するが、“新編 画像解析ハンドブック”（東京大学出版会，ｐｐ７７−７８）に詳述されている。

シフトインバリアント領域は、実施例１にて説明した方法を用いて判定可能である。しかしながら、人の視覚には特徴的な空間周波数特性があることが知られており、空間周波数の変化に対して反応が大きい空間周波数と、変化に対して反応が小さい空間周波数とが存在する。そのため、視覚の空間周波数特性によってぼけカーネルのＭＴＦを重み付けすることで、シフトインバリアント領域を人が変化を知覚できない領域として、より正確に許容限界評価パラメータＩを決定することが可能となる。

視覚の空間周波数に対するＭＴＦは、ＣＳＦ（Ｃｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎ）として知られている。ＣＳＦは、眼球における結像系でのローパスフィルタの特性と、網膜から脳に至る信号処理系でのバンドパスフィルタの特性を考慮してモデル化したものである、ＣＳＦの一例は、以下の式（４）で表わされる。

ここで、ｆは空間周波数であり、人の視角１度の中でコントラスト縞が見える数を表す単位［ｃｙｃｌｅ／ｄｅｇ］で表わされる。通常、ａは７５、ｂは０．２であるが、これらの値ａ、ｂは固定ではなく、評価環境の種々の条件に応じて変化する。

ある空間周波数範囲におけるぼけカーネルのＭＴＦとＣＳＦとの積の積分値を正規化した値を主観的画質係数ＳＱＦ（Ｓｕｂｊｅｃｔｉｖｅ Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ）と呼び、ぼけカーネルのＭＴＦをＭＴＦとすると、以下の式（５）のように表わされる。

ここで、ｆは空間周波数を、ｆ_１およびｆ_２はそれぞれ空間周波数の上限下限を設定する定数である。

ＣＭＴＡは、主観的画質係数ＳＱＦをウェーバー−フェヒナーの法則（Ｗｅｂｅｒ−Ｆｅｃｈｎｅｒ’ｓ ｌａｗ）を用いて、人の感覚に対して線形になるようにし、１００に規格化したものである。ウェーバー−フェヒナーの法則とは、人の感覚は刺激の対数に比例するという法則であり、ＣＭＴＡは以下の式（６）のように定式化される。

ＣＭＴＡを許容限界評価パラメータＩとして用いることで、視覚の空間周波数特性を反映したシフトインバリアント領域を決定することができる。このように画像領域分割部１０５は、ぼけカーネルの空間周波数特性と視覚の空間周波数との乗算の積算値と、視覚の空間周波数の積算値との比（ＳＱＦ）を用いてシフトインバリアント領域を決定する。

本実施例の画像処理装置によれば、ＣＭＴＡを利用した評価値（分割評価値）を用いることにより、人がぼけカーネルの変化を知覚できないシフトインバリアント領域を自動的に算出することが可能である。これにより、人の視覚に合わせて撮影画像の画質を維持しつつ、ぼけカーネル計算量を削減してコンボリューション計算を行うことができる。

各実施例の画像処理装置は撮像装置にも適用可能であり、また、各実施例の画像処理方法を情報処理装置（コンピュータ）に実行させる画像処理プログラムとして用いることもできる。このため各実施例によれば、少ない演算量でぼけ付加画像を生成可能な画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 画像処理装置
１０１ 画像データ入力部
１０２ 画像メモリ部
１０３ パラメータ入力部
１０４ パラメータメモリ部
１０５ 画像領域分割部
１０６ ぼけカーネル生成部
１０７ 画像処理演算部
１０８ 画像記憶部

Claims (9)

1. 撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割する画像領域分割部と、
   前記画像領域分割部で分割された前記画像領域ごとにぼけカーネルを算出するぼけカーネル生成部と、
   前記ぼけカーネル生成部で算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成する画像処理演算部と、を有することを特徴とする画像処理装置。
2. 前記画像領域分割部は、前記ぼけカーネルの大きさを用いて前記画像領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像領域は、前記ぼけカーネルをガウス分布とした場合の分散値に対応していることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像領域分割部は、光学系から計測または算出された応答関数または解析的な関数で表されるぼけカーネルの空間周波数特性を用いて前記画像領域を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像領域分割部は、更に、視覚の空間周波数特性を用いて前記画像領域を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像領域分割部は、前記ぼけカーネルの空間周波数特性と前記視覚の空間周波数との乗算の積算値と、該視覚の空間周波数の積算値との比を用いて前記画像領域を決定することを特徴とする請求項５に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
8. 撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割するステップと、
   分割された前記画像領域ごとにぼけカーネルを算出するステップと、
   前記画像領域ごとに算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成するステップと、を有することを特徴とする画像処理方法。
9. 撮影画像の被写体距離および画角に応じたぼけカーネルを用いて該撮影画像をぼかした場合に画質の変化量が所定の範囲内となる画像領域を決定し、該撮影画像を該画像領域に分割するステップと、
   分割された前記画像領域ごとにぼけカーネルを算出するステップと、
   前記画像領域ごとに算出された前記ぼけカーネルを用いて前記撮影画像に対するコンボリューション演算を行うことで、ぼけ付加画像を生成するステップと、を有する画像処理方法を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。