JP2013140437A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】前景領域と背景領域とを含む画像から前景領域をより好適に抽出可能とする技術を提供する。
【解決手段】画像処理装置において、画像の各画素の色情報を入力する色情報入力手段と、画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、注目画素と該注目画素の近傍画素とに関するそれぞれの色情報及び距離情報に基づいて、該注目画素に対する、前景画像領域決定に用いるパラメータを導出するパラメータ導出手段と、注目画素と該注目画素の近傍画素とに関してそれぞれの色情報及び距離情報とに基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出手段と、注目画像の各画素に対し、該画素の色情報及び距離情報と、当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出手段と、画像の各画素に対する修正されたパラメータを使用して、画像における前景画像の領域を決定する決定手段と、を備える。
【選択図】図４

Description

本発明は、画像処理技術に関するものであり、特に、前景領域と背景領域とを含む画像から前景領域をより好適に抽出する技術に関するものである。

従来から、画像から所定の領域（対象領域）を抽出する技術（セグメンテーション技術とも呼ばれる）が研究されており、映像編集における画像合成や特定領域のリフォーカス等の目的で応用されている。対象領域は、切出したい物体で、以下、前景とも呼ぶ。対象領域抽出は、以下、前景背景分離とも呼ぶ。

対象領域抽出において、画像の色情報に基づく手法として、背景差分法やクロマキー法が良く知られている。背景差分法は、対象領域を含まない背景のみの画像を予め撮影しておき、対象領域を含む画像と背景のみの画像とを比較して、その差分を計算することにより対象領域を抽出する手法である。クロマキー法は映画業界で標準的に用いられている手法であり、背景領域を一定の色にして、対象領域の色に背景色が含まれないことを仮定して対象領域を抽出する手法である。ただし、背景差分法やクロマキー法は背景の制御が容易な環境のみで使われる。

一方、特定の背景を必要としない方法として、画像中の対象領域を含む情報を大まかに予め手動で与え、任意の背景を有する画像から対象領域を分離する方法、即ち、グラブカットという方法、が提案されている（非特許文献１）。この技術は、対象領域内外をそれぞれ色クラスタリングし、各画素及び各クラスタの色情報に基づき、グラフ用のパラメータを計算し、グラフのエネルギー関数の最小化をグローバルに解くことにより対象領域を抽出する。グラフ用のパラメータは、近傍画素間の類似度、画素の前景らしさ、背景らしさである。ところで、近年、単眼カメラに距離画像センサを搭載することにより、画像の各画素に対する距離情報（深度情報）の推定が可能になり、色情報の他、有用な情報として対象領域抽出に用いられている。

現状の色情報、距離情報による対象領域抽出は、大きく三つに分類できる。一つ目は、特徴次元を色情報から距離情報まで拡張し、色処理を適用する手法である（非特許文献２）。この手法では、先ず、色情報から特徴量を抽出する。次に、距離情報から特徴量を抽出する。次に、これらの特徴量を正規化して、従来の色処理方法を適用している。

二つ目は、色情報による処理と、距離情報による処理をそれぞれ行い、その処理結果を重み付ける手法である（非特許文献３、特許文献１）。この手法では、先ず、対象領域が含まれる矩形領域を指定する。次に、色情報による指定領域内外のクラスタリング処理をそれぞれ行い、エネルギー関数のパラメータを設定する。次に、距離情報による指定領域内外のクラスタリング処理をそれぞれ行い、エネルギー関数のパラメータを設定する。次に、色情報により設定されるパラメータと距離情報により設定されるパラメータを重み付けて決定する。最後に、エネルギー関数の最小化問題の解法により前景と背景を分離している。

三つ目は、色情報による処理と、距離情報による処理をそれぞれ行い、一方の処理結果を使い、もう一方の処理結果を制御する手法である（非特許文献４、特許文献２参照）。この手法では、先ず、色情報によるクラスタリング処理を行う。次に、距離情報によるクラスタリング処理を行う。次に、距離情報の処理結果を使い、色情報のクラスタ数を制御する、或いは、色情報のクラスタの画素を再配置している。

特表２００８−５４７０９７号公報 特開２００９−２８２９７９号公報

Rother et al., Grabcut: Interactive Foreground Extraction Using Iterated Graph Cuts, ACM Trans. Graph., vol. 23, No. 3, 2004, pp. 309-314 C. Dal Mutto et al., Scene Segmentation by Color and Depth Information and its Applications, STDay 2010, 2010 H. He et al., Graphcut-based Interactive Segmentation Using Colour and Depth Cues, Australasian Conference on Robotics and Automation (ACRA 2010), 2010 F. Calderero and F. Marques, Hierarchical Fusion of Color and Depth Information at Partition Level by Cooperative Region Merging, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2009), 2009

しかしながら、色情報のみを使う対象領域抽出技術では、対象領域にテクスチャがある場合や、背景に前景と近い色領域がある場合などに、対象領域の誤抽出が生じる。この問題は、上述のグラブカット技術のような、画像をグローバルに解析する場合でも同様に発生する。

図１は、領域抽出の一例を例示的に示す図である。画像１００ａは処理対象となる入力画像の例である。画像１００ａにおいて、抽出対象である前景の一部領域にテクスチャ模様があり、しかも、当該一部領域は背景に近い色を持つ。この状態は対象領域の抽出において極めて困難なものである。対象領域のテクスチャ構造や色の均一ではない領域に対しては、エネルギー関数のパラメータ（例えば、画素間の類似度、画素の前景尤度、背景尤度）を正しく設定することは困難で有る。その結果、色情報のみを使ったグラブカット処理により、対象領域（前景領域）を適切に抽出することは困難である。

画像１００ａにおいて、点線はグラブカット処理時の手動指定領域である。つまり、点線で示される矩形領域の外側は背景領域であり、内側は未確定領域である。未確定領域にある画素は前景画素か背景画素かの判定対象になる。

画像１００ｃは上述のグラブカット技術を使用した際の抽出結果の一例を示す画像である。対象領域と判断されるところは画像例の色で表し、背景と判断されるところは白で表す。図に示されるように、対象領域の一部が切断される結果になる。その原因として、エネルギー関数のパラメータ設定が色情報に基づく処理であることが考えられる。本来背景と近い色で、対象領域の一部であるはずの領域にある画素は、近傍にある背景画素との繋がりが前景画素との繋がりより密になりがちなので、エネルギー関数の最小化問題の解法処理では、これらの部分は背景と誤判定されやすい結果になる。

一方、入力画像に加え距離情報を併せて使用する従来の対象領域抽出技術では、与えられた距離情報は正しいものとして（完全に信用して）用いる。そのため、精度が十分でない不正確な距離情報であっても当該距離情報を完全に信用して用いる結果、必ずしも前景の分離精度が向上できるとは限らない。さらに、色情報による処理と距離情報による処理とが実行されるため、処理時間が長くなるという問題点がある。

画像１００ｂは、画像１００ａに示す画像に対して距離推定を行った結果の一例を示す図である。画像１００ｂにおいて、距離の遠近は明度で表されており、明度が高い程、撮影機器までの距離が短い（近い）ことを示している。ただし、画像１００ｂにおいては、距離推定が出来ていない部分を最低明度（黒色）で示している。この例では、距離情報の特徴を分かりやすく説明するために、対象領域部分、対象領域と背景の境界部分、背景部分、対象領域の輝度の低い部分をそれぞれ均一な距離値で表しているが、実際の距離推定画像は、画素毎に違う距離値を持つノイズが沢山載るものである。上記の例から、対象領域は構造に依らずに、大まかに近い距離値になり、また、対象領域と背景領域の境界付近や、輝度の低い部分など正確な距離推定が困難であることが分かる。

本発明は上述の問題点に鑑みなされたものであり、前景領域と背景領域とを含む画像から前景領域をより好適に決定し抽出可能とする技術を提供することを目的とする。

上述の１以上の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、画像に含まれる前景画像の領域を決定する画像処理装置において、前記画像の各画素の色情報を入力する色情報入力手段と、前記画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、前記画像の各画素に対し、注目画素と該注目画素の近傍画素との色情報及び距離情報に基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出手段と、前記画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出手段により得られた信頼度に基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出手段と、前記画像の各画素に対する前記導出されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定手段と、を備える。

又は、多視点画像に含まれる複数の画像の１つである注目画像に含まれる前景画像の領域を決定する画像処理装置において、前記注目画像の各画素の色情報を入力する色情報入力手段と、前記注目画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、前記注目画像の各画素に対し、該注目画像に対する距離情報と前記多視点画像に含まれる他の画像における前記注目画素に対応する距離情報とに基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出手段と、前記注目画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出手段により得られた当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出手段と、前記画像の各画素に対する前記導出されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定手段と、を備える。

本発明によれば、前景領域と背景領域とを含む画像から前景領域をより好適に決定し抽出可能とする技術を提供することができる。

前景領域抽出の一例を示す図である。 第１実施形態に係る画像処理装置を含む撮影装置の全体ブロック図である。 第１実施形態に係る画像処理部の機能ブロック図である。 第１実施形態に係る画像処理のフローチャートである。 第１実施形態に係るパラメータ設定処理を示すフローチャートである。 第２実施形態に係る画像処理部の機能ブロック図である。 第２実施形態に係る画像処理のフローチャートである。 第２実施形態に係るパラメータ設定処理を示すフローチャートである。 多視点画像処理への適用に係る画像処理部のブロック図である。 多視点画像処理を示すフローチャートである。 符号化に適用する場合のフローチャートである。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮影装置を例に挙げて以下に説明する。特に、色情報に基づきエネルギー関数におけるパラメータを導出し、距離情報の信頼度を用いて当該パラメータを修正する例について説明する。

＜装置構成＞
図２は、第１実施形態に係る画像処理装置を実現した一実施形態である撮影装置の主要部構成を示すブロック図である。中央処理装置（ＣＰＵ）１１０１は、以下に述べる各部を統括的に制御する。

撮影部１１０２は、画像の色情報、距離情報を取得する。ここでは、一般の、カラー画像データとして色情報を入力すると共に、距離の値が各画素に割り当てられた距離画像データ（例えば、画像１００ｂに示すような画像）として距離情報を入力することを想定する。

表示部１１０４は撮影画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。表示部１１０４はタッチスクリーン機能を有していても良い。表示制御部１１０５は、表示部１１０４に表示される撮影画像や文字の表示制御を行う。操作部１１０６はユーザの指示を受け付け、ボタンや撮影モードダイヤルなどが含まれる。この操作による設定内容はＣＰＵを介して所定の処理を制御する。例えば、後述の領域の手動指定は、表示制御部１１０５と操作部１１０６を使うことにより容易に実現できる。

撮影制御部１１０７は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ１２０１からの指示に基づいた撮像系の制御を行う。

信号処理部１１０８は、バス１１０３を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。画像処理部１１０９は、撮影部１１０２で取得された画像、或いは、信号処理部１１０８から出力される画像から出力されるデジタル画像、或いは、操作部１１０６からユーザの指定に応じて画像処理を行う。圧縮／伸長部１１１０は、デジタルデータ、或いは、画像処理の結果をＪＰＥＧやＭＰＥＧやベクトル化などのファイルフォーマットへの変換、或いは、符号化制御を行う。

バス１１０３は、各種データの転送経路でなる。例えば、撮影部１１０２によって取得されたデジタルデータはこのバス１１０３を介して所定の処理部に送られる。内部メモリ１１１１は、ＣＰＵ１１０１の主メモリ、ワークエリア等として機能するほか、ＣＰＵ１０１で実行される制御プラグラム等を格納する。外部メモリ制御部１１１２は、ＰＣやその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

図３は、第１実施形態に係る撮影装置の画像処理部の内部構成を示すブロック図である。画像処理部１１０９は、撮影部１１０２により取得された画像データ、或いは、内部メモリ１１１１、外部メモリに蓄積された画像データを処理対象とし、ＣＰＵ１１０１による制御で対象領域抽出を行う。また、画像処理部１１０９により処理された画像は、例えば、圧縮／伸長部１１１０に送信され圧縮符号化される、或いは、内部メモリ１１１１、外部メモリに保存される。

画像処理部１１０９は、パラメータ計算部１１０、パラメータ設定部１２０、抽出処理部１３０を備えている。ここで、画像の色情報とは、例えば、各画素の３原色（ＲＧＢ）の画素値を示し、距離情報とは、各画素の視点からの距離（深度）に対応する情報である。

なお、距離情報は、センサなどにより測定されたものでも良いし、複数枚画像から推定されたものでも良い。また、ユーザが画像データの各領域に対して距離を指定することにより生成しても良いし、背景技術で述べた推定を行うことにより生成しても良い。そのため、距離画像データには、距離情報は推定により補間されたものも含まれるために誤った距離情報を含み得る。

パラメータ計算部１１０（パラメータ導出手段）は、入力画像の色情報による抽出処理用のパラメータを計算する。詳細に、処理対象の画像を複数の色領域に分けるクラスタリング処理を行い、各画素の色情報及び各クラスタの色情報に基づき、画素毎に近傍画素との類似度、前景らしさ、背景らしさという抽出処理用のパラメータを計算する。

パラメータ設定部１２０では、入力画像の色情報、距離情報が一致するかどうかを解析し、パラメータ計算部１１０により計算された抽出処理用のパラメータを修正し、設定する。

抽出処理部１３０では、パラメータ設定部１２０により設定されたパラメータを用いて前景画像の領域（以下では単に前景領域と呼ぶ）と背景画像の領域（以下では単に背景領域と呼ぶ）を分離し、例えば、前景画像の領域のみを抽出する。なお、第１実施形態においては本発明の画像処理装置（画像処理部１１０９）を撮像装置の構成要素として記載しているが、当該画像処理装置を別体（単体）の装置として構成しても良い。例えば、パーソナルコンピュータ（ＰＣ）が、画像処理ソフトウェアプログラムを実行し上述の各部として機能させる形態として実現可能である。

＜装置の動作＞
図４は、第１実施形態に係る画像処理部における、入力画像から対象領域の抽出結果を得るための処理を示すフローチャートである。

ステップＳ１１０では、処理対象の画像の色情報及び、当該画像に含まれる各画素に対する距離情報を、それぞれ、画像データ及び距離画像データとして入力する（色情報入力手段、距離情報入力手段）。

ステップＳ１２０では、ステップＳ１１０で入力した画像データが示す画像領域のうち、抽出対象領域を取り囲む領域を指定する。当該指定は、例えば、ユーザがグラフィカルユーザインタフェース（ＧＵＩ）を介して、抽出対象領域を取り囲む矩形領域を指定することによりなされる。つまり、指定された領域の外側には前景領域は含まれず、指定された領域の外側の各画素は背景領域の画素（背景画素）として処理される。指定された領域の内側の各画素は、この時点では背景であるか前景であるかが未確定の領域（前景候補領域とも呼ぶ）、この領域にある各画素は背景画素の可能性もあれば前景画素の可能性もあり、以下で説明する判定処理の対象となる。

ステップＳ１３０では、画像の背景領域と未確定領域のクラスタリング処理を行う。このクラスタリング処理は、背景領域と未確定領域と独立に行うもので、背景領域を背景領域の色分布によりいくつかの色特性の違う背景クラスタに分け、同様に、未確定領域もいくつかの前景候補クラスタに分けるものである。このクラスタリング処理は、公知の混合ガウス分布の推定手法を利用することが可能である。

ステップＳ１４０では、パラメータ計算部１１０は、ある注目画素と該注目画素の近傍画素とに関するそれぞれの色情報及び距離情報に基づいて、当該注目画素に対するパラメータを導出する。具体的には、エネルギー関数のパラメータを計算する。なお、ここでは、パラメータとして、
類似度Ｎ：注目画素の近傍画素との類似度
背景尤度Ｌb：注目画素がどれぐらい背景に近いかを示す度合い
前景尤度Ｌf：注目画素がどれぐらい前景に近いかを示す度合い
を用いる。このうちの一部だけをパラメータとして用いるようにしてもよい。なお、ステップＳ１４０の処理の詳細については後述する。

ステップＳ１５０では、パラメータ設定部１２０は、画素の色情報、距離情報を解析し、ステップＳ１４０により計算された各画素のパラメータを修正すべきかを判断し、必要に応じてパラメータを修正し設定する。この処理の詳細について後述する。

ステップＳ１６０では、抽出処理部１３０は、ステップＳ１５０により修正・設定されたパラメータを使い、エネルギー関数の最小化問題を解き、前景領域と背景領域をカットする。このエネルギー関数の最小化は、グラフ理論でのネットワークフロー問題で、公知のフォード・ファルカーソンのアルゴリズムなどを利用することが可能である。

ステップＳ１７０では、エネルギー関数の流量が小さくなるか、あるいは、指定する反復回数になるかを判断する。上記の条件の何れかを満たす場合、ステップＳ１８０に進み、前景背景分離結果を出力する。一方、上記の条件の何れも満たさない場合、ステップＳ１９０に進み、エネルギー関数の最小化処理によりカットされた前景領域、背景領域をそれぞれ新たな未確定領域、確定背景領域として設定し、ステップＳ１３０に戻りステップＳ１６０までの処理を繰り返す。

＜エネルギー関数のパラメータ計算処理（ステップＳ１４０）＞
第１実施形態におけるエネルギー関数のパラメータ計算処理の詳細について説明する。上述のように、
注目画素の近傍画素との類似度Ｎは、注目画素と近傍画素との間の色情報の関係によるもので、ここでは以下の式により計算する。

ここで、γは予め設定する値、distは近傍画素ｍとｎの物理的距離、｜Ｚm−Ｚn｜は近傍画素間の色距離（＝色差）である。つまり、画素間の色が近い程、類似度が高くなる。

一方、背景尤度Ｌb、注目画素の背景らしさの度合いを示し、前景尤度Ｌfは、注目画素の前景らしさの度合いを示す値であり、ここでは以下の式により計算する。

ここで、Ｚmは注目画素の色ベクトルで、μiはクラスタｉの平均色ベクトルで、Σiはクラスタｉの固有ベクトルで、πiは画素の加重係数で、Ｋはクラスタ番号の最大値である。

画素の前景尤度、背景尤度は、背景領域と未確定領域のクラスタリングの処理結果に依存するものである。画素の背景尤度Ｌb（m）を求める際に、当該画素の色情報と背景領域の各クラスタの色情報に基づき、数式２により計算する。同様に、画素の前景尤度Ｌf（m）を求める際に、当該画素の色情報と未確定領域の各クラスタの色情報に基づき計算する。

＜パラメータ修正・設定処理（ステップＳ１５０の詳細処理）＞
図５は、第１実施形態におけるパラメータ設定処理の詳細を示すフローチャートである。以下で説明する各ステップにおいて、ステップＳ１５００１からステップＳ１５００６までは、注目画素と近傍画素との間の色情報の差（色差）、距離情報の差（距離差）に基づいて画素間の類似度を修正する。そして、ステップＳ１５００７からステップＳ１５０１１までは、注目画素の背景尤度、前景尤度を距離情報の信頼度に基づいて修正する。

ステップＳ１５００１では、注目画素と近傍画素とに関してそれぞれの色情報及び距離情報を比較する。具体的には、注目画素と近傍画素間の色情報の差ΔＣ、そして、距離情報の差ΔＤを計算する。色情報の差、距離情報の差はユークリッド距離でも良いし、その他の距離でも良い。画素間の色情報の差が小さい程、当該画素同士の色が類似していることを示している。同様に、画素間の距離情報の差が小さい程、当該画素同士の距離が短いことを示している。

ステップＳ１５００２では、計算された色情報の差ΔＣ及び距離情報の差ΔＤにより、当該注目画素に対する距離情報の信頼度を導出する（信頼度導出手段）。具体的には、色情報の差ΔＣは予め設定した閾値Ｔc（第１所定値）より低くかつ距離情報の差ΔＤも予め設定した閾値Ｔd（第２所定値）より低い場合にステップＳ１５００３に進む。また、色情報の差ΔＣが予め設定した閾値Ｔcより高くかつ距離情報の差ΔＤも予め設定した閾値Ｔdより高い場合にもステップＳ１５００３に進む。何れの条件も満たさなければ、ステップＳ１５００５に進む。なお、信頼度の判断をより正確にするため、画素間の色情報の差の閾値Ｔcと距離情報の差の閾値Ｔdを低く設定してもよい。

ステップＳ１５００３では、色情報の差、距離情報の差の大小関係が一致することから、距離情報の信頼度が高いと判断する。そして、ステップＳ１５００４では、所定の計算式に従った計算により類似度Ｎを計算する。

ステップＳ１５００５では、色情報の差、距離情報の差の大小関係が一致しないことから、距離情報の信頼度が低いと判断する。つまり、色情報の差が大きいのに距離情報の差が小さい、又は、色情報の差が小さいのに距離情報の差が大きい場合は、現在の注目画素の距離情報は信頼できるとは限らない（誤っている可能性がある）と見なすのである。そして、ステップＳ１５００６では、ステップＳ１５００４で使用される所定の計算式に従った計算による類似度より低い類似度Ｎを導出する。なお、画素間の類似度の修正量は予め設定する値を使っても良いし、画素間の類似度の標準偏差に応じた量としても良い。つまり、距離情報の信頼度が相対的に高い画素に対する類似度が相対的に高くなるように類似度を修正すれば足りる。

ステップＳ１５００７では、現在の注目画素において、計算された前景尤度Ｌfは背景尤度Ｌbより大きくかつ当該画素の距離情報Ｄ'がある閾値Ｔave（第３所定値）より小さい場合にステップＳ１５００８に進む。また、計算された前景尤度Ｌfは背景尤度Ｌbより小さくかつ当該画素の距離情報Ｄ'がある閾値Ｔaveより大きい場合にもステップＳ１５００８に進む。何れの条件も満たさなければ、ステップＳ１５０１０に進む。

ステップＳ１５００８では、距離情報の信頼度が高いと判断し、ステップＳ１５００９では、注目画素の前景尤度Ｌfと背景尤度Ｌbとのうち、高い方の尤度をより高く修正し、設定する。すなわち、前景尤度Ｌfが背景尤度Ｌbより高い場合は前景尤度Ｌfをより高く、前景尤度Ｌfより背景尤度Ｌbが高い場合は、背景尤度Ｌbをより高く修正し、設定する。つまり、前景領域にある画素は背景領域の画素より小さい距離情報を持ち、しかも、前景尤度の値も背景尤度より高い傾向があることに基づき、上記の判定条件を設定している。なお、距離情報の閾値Ｔaveは画像にある画素の距離情報の平均値として設定しても良いし、他の設定方法にしても良い。また、画素の前景尤度、背景尤度の修正量は予め設定する値を使っても良いし、画素の前景尤度、背景尤度の標準偏差にしても良い。つまり、距離情報の信頼度が相対的に高い画素における背景尤度と前景尤度との差が相対的に大きくなるように背景尤度及び前景尤度を修正すれば足りる。

ステップＳ１５０１０では、色情報、距離情報からの信頼度が低いと判断する。そして、ステップＳ１５０１１では、前景尤度、背景尤度を計算値のままとする。つまり、修正しない。なお、信頼度が低い場合には、ステップＳ１５０１１では、前景尤度、背景尤度のうち高い方の尤度を低く修正するようにしてもよい。

ステップＳ１５０１２では、未確定領域にある画素は全て処理済みかをチェックする。まだ未処理の画素があれば、ステップＳ１５００１に戻り、上述の修正処理を繰り返すが、未処理の画素がなければ、処理を終了する。

＜処理結果例＞
図１の画像１００ｄは、第１実施形態に係る画像処理部１１０９による抽出結果を例示的に示す図である。図から分かるように、グラブカット技術をそのまま適用した場合に得られる結果である画像１００ｃに比較し、より好適に前景が判定され抽出されていることが分かる。

つまり、第１実施形態では、色情報の差、距離情報の差の大小関係が一致しているか否かを判断し、一致する場合に画素間の類似度の差を大きくし、画素の前景尤度と背景尤度の差が大きくするように当該前景尤度と背景尤度を修正（設定）する。その結果、複雑な画像でも対象領域の抽出が正確にできるようになるのである。

以上説明したように、第１実施形態によれば、色情報に加え距離情報を利用した前景抽出処理において、前景であるか否かの判定に用いるパラメータを、距離情報の信頼度に基づいて修正する。これにより、複雑な前景画像であってもより正確に前景領域を決定することが可能となる。特に、第１実施形態においては、色情報に加え距離情報を利用するものであるものの、処理負荷が比較的大きいエネルギー関数の最小化問題を解く処理（ステップＳ１６０）は色情報のみに対して実行される。そのため、処理負荷の増大を最小限に抑えることが可能になる。

なお、第１実施形態においては、最初に、色情報からエネルギー関数のパラメータを計算し、その後、色情報と距離情報からの信頼度を解析することにより、色情報から計算されたパラメータを設定する例について説明した。しかし、最初に距離情報に基づき、指定領域内外のクラスラスタリングし、エネルギー関数のパラメータを計算し、その後、色情報と距離情報からの信頼度を解析することにより、距離情報から計算されたパラメータを修正し、設定するようにしても良い。

（第２実施形態）
第２実施形態は、色情報と距離情報の両方を使ってエネルギー関数のパラメータを計算する。そして、距離情報の信頼度を判断することにより色情報によるパラメータと距離情報によるパラメータの重み付けを決めて、エネルギー関数のパラメータを設定する例について説明する。

図６は、本発明の実施形態に係る画像処理部１１０９の構成を示すブロック図である。なお、全体構成は第１実施形態と同様（図２）であるので説明は省略する。

＜画像処理部の装置構成＞
画像処理部１１０９は、パラメータ計算部２１０、パラメータ計算部２２０、色情報、距離情報からの信頼度解析によるパラメータ設定部２３０、抽出処理部２４０を備えている。

パラメータ計算部２１０は、入力画像の色情報による抽出処理用のパラメータを計算する。より詳細には、画像を複数の色領域に分けるクラスタリング処理を行い、各画素の色情報及び各クラスタの色情報に基づき、画素毎に近傍画素との類似度、背景尤度、前景尤度という抽出処理用のパラメータを計算する。

パラメータ計算部２１０は、入力画像の距離情報による抽出処理用のパラメータを計算する。より詳細には、画像を複数の距離領域に分けるクラスタリング処理を行い、各画素の距離情報及び各クラスタの距離情報に基づき、画素毎に近傍画素との類似度、背景尤度、前景尤度という抽出処理用のパラメータを計算する。

パラメータ設定部２３０では、入力画像の色情報、距離情報が一致するかどうかを解析する。具体的には、パラメータ計算部２１０により計算された各画素のパラメータ及びパラメータ計算部２２０により計算された各画素のパラメータの重み付けを決めて、抽出処理用のパラメータを設定する。

抽出処理部２４０では、パラメータ設定部２３０により設定されたパラメータを用いて前景と背景を分離する。

＜画像処理部の動作＞
図７は、第２実施形態に係る画像処理部における処理を示すフローチャートである。

ステップＳ２１０では、処理対象の画像の色情報及び距離情報を入力する。そして、ステップＳ２２０では、画像に対象領域が含まれる領域を指定する。指定された矩形領域外は背景領域で、指定された矩形領域内は未確定領域である。更に、ステップＳ２３０では、画像に対して、背景領域と未確定領域のクラスタリング処理を行う。同様に、ステップＳ２４０では、距離画像において、背景領域と未確定領域のクラスタリング処理を行う。

ステップＳ２５０では、画像のクラスタリング結果によりエネルギー関数のパラメータを計算する。パラメータは、第１実施形態と同様、注目画素と近傍画素との類似度、及び、注目画素の背景尤度、前景尤度である。同様に、ステップＳ２６０では、距離画像のクラスタリング結果によりエネルギー関数のパラメータを計算する。

ステップＳ２７０では、画素の色情報、距離情報を解析し、ステップＳ２５０で色情報により計算された各画素のパラメータ、また、ステップＳ２６０で距離情報により計算された各画素のパラメータの重み付けを決めてエネルギー関数用のパラメータを設定する。この処理の詳細については後述する。

ステップＳ２８０では、ステップＳ２７０により設定されたパラメータを使い、エネルギー関数の最小化問題を解法し、前景領域と背景領域をカットする。

ステップＳ２９０では、エネルギー関数の流量が小さくなるか、あるいは、指定する反復回数になるかを判断する。上記の条件がどれも満たせなければ、ステップＳ３１０に入る。ステップＳ３１０では、エネルギー関数の最小化処理によりカットされた前景領域、背景領域をそれぞれ新たな未確定領域、確定背景領域とし、ステップＳ２１０に入り、ステップＳ２８０までの処理を繰り返す。ステップＳ２９０の条件の何れを満たせば、ステップＳ３００では、前景背景分離結果を出力する。

＜パラメータ修正・設定処理（ステップＳ２７０の詳細処理）＞
図８は、第２実施形態におけるパラメータ設定処理の詳細を示すフローチャートである。

ステップＳ２７００１からステップＳ２７００７までは、注目画素と近傍画素との間の色情報の差、距離情報の差により画素間の類似度を設定する。

ステップＳ２７００１では、注目画素と近傍画素間の色情報の差ΔＣ、そして、距離情報の差ΔＤを計算する。色情報の差が小さい程、画素の色が類似することを示している。同様に、画素間の距離情報の差が小さい程、画素の距離が近いことを示している。そして、ステップＳ２７００２では、計算された画素間の色情報の差ΔＣ、距離情報の差ΔＤにより画素の色情報、距離情報からの信頼度を判断する。具体的には、色情報の差ΔＣが予め設定した閾値Ｔc（第１所定値）より低くかつ距離情報の差ΔＤも予め設定した閾値Ｔd（第２所定値）より低い場合にステップＳ２７００３に進む。また、色情報の差ΔＣが予め設定した閾値Ｔcより高くかつ距離情報の差ΔＤも予め設定した閾値Ｔdより高い場合にもステップＳ２７００３に進む。何れの条件も満たさなければ、ステップＳ２７００５に進む。

ステップＳ２７００３では、色情報の差、距離情報の差の大小関係が一致することから、距離情報の信頼度が高いと判断する。そして、ステップＳ２７００４では、距離情報の重み付けを高い数値にする。一方、ステップＳ２７００５では、色情報の差、距離情報の差の大小関係が一致しないことから、距離情報の信頼度が低いと判断する。そして、ステップＳ２７００６では、距離情報の重み付けを低い数値にする。そして、ステップＳ２７００７では、色情報から計算された画素間の類似度と距離情報から計算された画素間の類似度を決定された重み付けで設定する。なお、距離情報の重み付けを制御する代わりに、色情報の重み付けを修正するよう構成しても良い。

ステップＳ２７００８では、現在の注目画素において、計算された前景尤度Ｌfが背景尤度Ｌbより大きくかつ当該画素の距離情報Ｄ'がある閾値Ｔave（第３所定値）より小さい場合にステップＳ２７００９に進む。また、計算された前景尤度Ｌfが背景尤度Ｌbより小さくかつ当該画素の距離情報Ｄ'がある閾値Ｔaveより大きい場合、ステップＳ２７００９に進む。何れの条件も満たさなければ、ステップＳ２７０１１に進む。

ステップＳ２７００９では、距離情報の信頼度が高いと判断する。そして、ステップＳ２７００４では、距離情報の重み付けを高い数値にする。一方、ステップＳ２７０１１では、距離情報の信頼度が低いと判断する。そして、ステップＳ２７０１２では、距離情報の重み付けを低い数値にする。そして、ステップＳ２７０１３では、色情報から計算された画素の前景尤度、背景尤度と距離情報から計算された前景尤度、背景尤度とを、決定された重み付けでそれぞれ計算する。なお、距離情報の重み付けを制御する代わりに、色情報の重み付けを修正するよう構成しても良い。

ステップＳ２７０１４では、未確定領域にある画素は全て処理済みかをチェックする。まだ未処理の画素があれば、ステップＳ２７００１に戻り、上述の修正処理を繰り返すが、未処理の画素がなければ、処理を終了する。

第２の実施形態は、色情報、距離情報からそれぞれ画素間の類似度、画素の前景尤度、背景尤度というエネルギー関数のパラメータを計算した。そして距離情報の信頼度に基づいて当該距離情報の重み付けを決めて、エネルギー関数のパラメータを設定する例について説明した。

（第３実施形態）
第３実施形態では、多視点画像に含まれる複数の画像の１つである注目画像に対して、前景画像の領域を決定する例について説明する。上述の第１及び第２実施形態とは、距離情報の信頼度の導出手法が異なっている。

＜画像処理部の装置構成＞
図９は、多視点画像に応用した画像処理部の構成を示すブロック図である。

画像処理部は、処理対象の画像と周囲の画像との間のマッチング処理を行うマッチング部３１０、妥当性判定部３２０、対象領域抽出部３３０を備えている。対象領域抽出部３３０は、上述の第１、第２実施形態の画像処理部と同様の構成で有り、パラメータ計算部３３０１、パラメータ設定部３３０２、抽出処理部３３０３を備えている。

マッチング部３１０は、処理対象である注目画像の各画素と上述の多視点画像に含まれる他の画像の各画素の位置対応関係を取得する。このマッチング処理、即ち、位置合わせ処理は、公知の特徴ベースマッチング、或いは、領域ベースマッチングを利用することが可能である。妥当性判定部３２０は、注目画像の距離画像と上述の多視点画像に含まれる他の画像の距離画像とを比較することにより、距離画像の信頼度を導出する。そして、注目画素の距離情報が妥当であると判断される場合は、対象領域抽出部３３０では、当該注目画素の色情報と距離情報からの信頼度を更に解析し、計算されたパラメータを修正して設定する。一方、当該注目画素の距離情報が妥当でないと判断される場合は、対象領域抽出部３３０では、計算されたパラメータをそのまま設定する。

＜画像処理部の動作＞
図１０は、多視点画像に応用した画像処理のフローチャートである。

ステップＳ３１０では、処理対象である注目画像の色情報及び距離情報、また、上述の多視点画像に含まれる他の画像の色情報及び距離情報を入力する。そして、ステップＳ３２０では、注目画像の色情報と他の画像の色情報とのマッチング処理を行い、画素毎に画像間の位置対応関係を取得する。

ステップＳ３３０では、注目画像の距離画像と他の画像の距離画像を比較し、注目画像にある各画素の距離情報が信頼度解析用として妥当かどうかを判断する。より詳細には、注目画素に対し、注目画像における距離情報と他の画像の距離情報の差が予め設定する閾値（所定値）より小さければ、当該画素の距離情報は安定するものとし、信頼度解析に使って良いと判断する。一方、注目画素に対し、注目画像における距離情報と他の画像の距離情報の差が予め設定する閾値より大きければ、当該画素の距離情報は安定しないものとし、信頼度解析に使用しない（あるいは重み付けを小さくする）と判断する。

ステップＳ３４０では、妥当であると判断された距離情報を用い、対象領域抽出処理を行う。以下では、ステップＳ３４０をより詳細に説明する。

ステップＳ３４０１では、対象領域が含まれる領域を指定する。ステップＳ３４０２では、処理対象の背景領域と未確定領域のクラスタリングを行う。ステップＳ３４０３では、注目画像の色情報によるエネルギー関数のパラメータを計算する。

ステップＳ３４０４では、距離情報は信頼度解析処理用に妥当かどうかの判断結果を使う。画素の距離情報は信頼度解析処理用に妥当である場合は、ステップＳ３４０５では、現在の注目画素の色情報、距離情報を更に解析し、ステップＳ３４０３により計算されたパラメータを修正すべきかを判断し、必要に応じパラメータを修正し設定する。画素の距離情報は信頼度解析処理用に妥当でない場合は、ステップＳ３４０６では、ステップＳ３４０３により計算されたパラメータをそのままパラメータ値として設定する。

ステップＳ３４０７では、設定されたパラメータを使い、エネルギー関数の最小化問題を解法し、前景領域と背景領域をカットする。そして、ステップＳ３４０８では、エネルギー関数の流量が小さくなるか、あるいは、指定する反復回数になるかを判断する。上記の条件の何れかを満たす場合、ステップＳ３４０９に進み、前景背景分離結果を出力する。一方、上記の条件の何れも満たさない場合、ステップＳ３４１０に進み、エネルギー関数の最小化処理によりカットされた前景領域、背景領域をそれぞれ新たな未確定領域、確定背景領域として設定する。そして、ステップＳ３４０２に戻りステップＳ３４０７までの処理を繰り返す。

以上説明したように、第３実施形態においては、多視点画像に含まれる注目画像と他の画像とにおけるそれぞれの距離情報に基づいて、注目画像内の注目画素の距離情報の信頼度を判定した。なお上述の説明においては多視点画像を複数の画像として用いたが、例えば動画像に含まれる複数のフレーム画像を利用するよう構成しても良い。

（第４実施形態）
第４実施形態では、画像の圧縮符号化への応用例について説明する。

図１１は、上記に説明した対象領域抽出処理の実施形態を符号化に応用する場合のフローチャートである。

ステップＳ４１０では、処理対象画像を上述の実施形態に係る画像処理部に基づき前景領域の抽出を行う。

ステップＳ４２０では、前景領域の抽出結果に基づき、前景領域、背景領域をレイヤ化する。この処理では、分離された前景領域と背景領域を違うレイヤとして、前景レイヤに前景領域に属する各画素の色情報、背景レイヤに背景領域に属する各画素の色情報を記録する。

ステップＳ４３０では、前景領域、背景領域の符号化制御を行う。この処理では、特に、前景領域を画質重視すべき領域とし所定の圧縮率より低い圧縮率で圧縮する一方、背景領域に対しては当該所定の圧縮率より高い圧縮率で圧縮する（圧縮符号化手段）。

このような圧縮符号化制御を行うことにより、画質の低下を抑えつつより画像をより高い圧縮率で圧縮することが可能となる。また、対象領域や背景など任意の部分にピントを合わせ、それ以外をぼかすというリフォーカス処理に利用することも出来る。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 画像に含まれる前景画像の領域を決定する画像処理装置であって、
   前記画像の各画素の色情報を入力する色情報入力手段と、
   前記画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、
   前記画像の各画素に対し、注目画素と該注目画素の近傍画素との色情報及び距離情報に基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出手段と、
   前記画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出手段により得られた当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出手段と、
   前記画像の各画素に対する前記導出されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定手段と、
   を備える
   ことを特徴とする画像処理装置。
2. 前記信頼度導出手段は、前記注目画素と前記近傍画素との間の色情報の差が第１所定値よりも小さくかつ前記注目画素と前記近傍画素との間の距離情報の差が第２所定値より小さい場合、又は、前記注目画素と前記近傍画素との間の色情報の差が前記第１所定値よりも大きくかつ前記注目画素と前記近傍画素との間の距離情報の差が前記第２所定値より大きい場合、に前記注目画素に対し相対的に高い信頼度を導出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ導出手段は、
   前記色情報に基づく、前記注目画素と前記近傍画素との間の色情報の類似度、
   前記距離情報に基づく、前記注目画素の背景らしさの度合いを示す背景尤度、
   前記距離情報に基づく、前記注目画素の前景らしさの度合いを示す前景尤度、
   の少なくとも１つを前記パラメータとして導出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記信頼度導出手段は、前記注目画素の前景尤度が背景尤度より大きくかつ前記注目画素の距離情報が第３所定値より小さい場合、又は、前記注目画素の前景尤度が背景尤度より小さくかつ前記注目画素の距離情報が前記第３所定値より大きい場合、に前記注目画素に対し相対的に高い信頼度を導出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記パラメータ導出手段は、距離情報の信頼度が相対的に高い画素に対する類似度が相対的に高くなるように、前記パラメータとして前記画像の各画素に対する類似度を導出する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記パラメータ導出手段は、距離情報の信頼度が相対的に高い画素における背景尤度と前景尤度との差が相対的に大きくなるように、前記パラメータとして前記画像の各画素に対する背景尤度及び前景尤度を導出する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記決定手段は、前記画像の各画素に対する前記導出されたパラメータに関するエネルギー関数の最小化問題を解くことにより、前記画像における前記前景画像の領域を決定する
   ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 多視点画像に含まれる複数の画像の１つである注目画像に含まれる前景画像の領域を決定する画像処理装置であって、
   前記注目画像の各画素の色情報を入力する色情報入力手段と、
   前記注目画像の各画素に対する視点からの距離情報を入力する距離情報入力手段と、
   前記注目画像の各画素に対し、該注目画像における注目画素の距離情報と前記多視点画像に含まれる他の画像における前記注目画素に対応する距離情報とに基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出手段と、
   前記注目画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出手段により得られた当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出手段と、
   前記画像の各画素に対する前記導出されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定手段と、
   を備える
   ことを特徴とする画像処理装置。
9. 前記信頼度導出手段は、前記注目画素に対応する、前記注目画像における距離情報と前記他の画像における距離情報との差が所定値よりも小さい場合に前記注目画素に対し相対的に高い信頼度を導出する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段により前記前景画像の領域と決定された前景領域に対し所定の圧縮率より低い圧縮率で圧縮し、前記前景領域を除く領域に対し前記所定の圧縮率より高い圧縮率で圧縮する圧縮符号化手段を更に備えることを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
11. 画像に含まれる前景画像の領域を決定する画像処理方法であって、
    色情報入力手段が、前記画像の各画素の色情報を入力する色情報入力工程と、
    距離情報入力手段が、前記画像の各画素に対する視点からの距離情報を入力する距離情報入力工程と、
    信頼度導出手段が、前記画像の各画素に対し、注目画素と該注目画素の近傍画素との色情報及び距離情報に基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出工程と、
    パラメータ導出手段が、前記画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出工程により得られた当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出工程と、
    決定手段が、前記画像の各画素に対する前記導出されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定工程と、
    を備える
    ことを特徴とする画像処理方法。
12. 多視点画像に含まれる複数の画像の１つである注目画像に含まれる前景画像の領域を決定する画像処理方法であって、
    色情報入力手段が、前記注目画像の各画素の色情報を入力する色情報入力工程と、
    距離情報入力手段が、前記注目画像の各画素に対する視点からの距離情報を入力する距離情報入力工程と、
    信頼度導出手段が、前記注目画像の各画素に対し、該注目画像における注目画素の距離情報と前記多視点画像に含まれる他の画像における前記注目画素に対応する距離情報とに基づいて、該注目画素に対する距離情報の信頼度を導出する信頼度導出工程と、
    パラメータ修正手段が、前記注目画像の各画素に対し、該画素の色情報及び距離情報と、前記信頼度導出工程により得られた当該距離情報の信頼度とに基づいて、該画素に対する前記決定に用いるパラメータを導出するパラメータ導出工程により導出されたパラメータを修正するパラメータ修正工程と、
    決定手段が、前記画像の各画素に対する前記修正されたパラメータを使用して、前記画像における前記前景画像の領域を決定する決定工程と、
    を備える
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。