JP6478492B2

JP6478492B2 - 画像処理装置およびその方法

Info

Publication number: JP6478492B2
Application number: JP2014133247A
Authority: JP
Inventors: 秀康田代
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-27
Filing date: 2014-06-27
Publication date: 2019-03-06
Anticipated expiration: 2034-06-27
Also published as: JP2016011874A

Description

本発明は、物体の反射特性を取得する画像処理に関する

被写体としての物体から取得可能な情報として、色以外に、物体までの距離、物体の形状、物体の反射特性などの多種多様な情報がある。反射特性を取得する場合、物体の表面に凹凸があると、影になる領域が生じ、反射特性の取得に失敗する場合がある。反射特性の取得の失敗を防ぐために、照明の数や配置を調整して物体表面の影をなくすようにするが、物体が複雑な凹凸形状をもつ場合、実用上、調整作業は困難である。

そこで、反射特性の取得に失敗した場合に備えて、取得に失敗した領域の反射特性を補間処理する様々な画像処理技術が提案されている。例えば、特許文献1は、撮像画像から推定した物体形状と既知の照明場から、撮像画像の画素値と整合する反射特性を推定する場合に反射特性を補間処理する手法を提案する。

特許文献1の手法は、形状推定値の信頼度に応じて物体形状と照明場から反射特性を推定するか、周囲の形状信頼度が高い領域において推定した反射特性を用いて反射特性を補間処理するかを切り替える。そのため、影領域と同じ形状をもつ周辺領域の形状信頼度を高くすることにより、周辺領域の反射特性の推定値から、影領域の反射特性を精度よく算出することができる。

しかし、形状の信頼度に応じた特許文献1の推定処理によれば、物体表面の影領域が一様な表面凹凸を有し、かつ、色が異なる複数の塗料が不均一に塗布されている場合、塗料の違いによる反射特性の変化を検出することができない。その結果、影領域内の、塗料の違いにより異なる反射特性をもつ複数の領域について同じ反射特性が算出され、反射特性の推定精度が低下する。

特開2013-025762号公報

G. Petschnigg、M. Agrawala、H. Hoppe、R. Szeliski、M. Cohen、K. Toyama「Digital Photography with Flash and No-Flash Image Pairs」ACM Trans. on Graphics、vol. 23、2004年8月

本発明は、物体の異なる反射特性をもつ複数の領域について反射特性を高精度に推定することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、物体の周囲における複数の位置から光源を一つずつ点灯して前記物体を撮像することによって得られた複数の画像データを入力し、前記複数の画像データに基づき、前記物体の反射特性を表す反射特性データを取得し、前記物体の反射特性に関連する複数の参照データそれぞれの信頼度を算出し、前記複数の参照データと前記信頼度とに基づき、前記反射特性データにおける注目画素の反射特性を補間により求める補間処理を、所定のフィルタサイズを有するジョイントバイラテラルフィルタを用いて行い、
前記複数の参照データは前記物体の物理特性を表し、前記反射特性データによって反射特性が規定される各画素の物理特性を表すデータであり、
前記信頼度は、前記参照データにおいて前記所定のフィルタサイズの領域に含まれる画素の画素値の標準偏差に基づいて算出される。

本発明によれば、物体の異なる反射特性をもつ複数の領域について反射特性を高精度に推定することができる。

被写体の反射特性の取得方法を説明する図。撮像装置の構成例を説明するブロック図。被写体の反射特性を取得する際の画像処理部の構成例を示すブロック図。画像処理部による反射特性の取得処理を説明するフローチャート。参照データを説明する図。反射特性の算出処理を説明するフローチャート。信頼度の算出処理を説明するフローチャート。信頼度の算出処理によって得られる信頼度を説明する図。反射特性データの補間処理を説明するフローチャート。色データを参照データに用いた反射特性データの補間処理を説明する図。実施例2の信頼度の算出処理を説明するフローチャート。実施例2の信頼度の算出処理によって得られる信頼度を説明する図。実施例3の信頼度の算出処理を説明するフローチャート。実施例3の信頼度の算出処理によって得られる信頼度を説明する図。

以下、本発明にかかる実施例の画像処理装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。

詳細は後述するが、本発明によれば、被写体としての物体の反射特性を変化させる形状や色などの複数の物理特性データが、物体の反射特性に関連する参照データとして取得される。そして、反射特性を補間処理する影領域内の各位置について各参照データの信頼度が算出され、各位置において補間処理に用いる参照データが信頼度に応じて適応的に切り替えられる。これにより、様々な表面の凹凸や色を有する物体の反射特性の高精度な算出が可能になる。なお、以下では、反射特性を取得する物体を「被写体」と呼ぶ。

［反射特性の取得］
図1により被写体の反射特性の取得方法を説明する。図1(a)に示すように、被写体101からみて天頂方向に撮像装置102を配置する。そして、天頂方向を基準とした30度と60度の極角θ上、かつ、撮像装置102の右方向を基準方位（方位角φ=0度）として30度ずつ分割した方位に対応する位置に合計24個の照明（記号●で示す）を配置する。

つまり、被写体101の周囲に照明用の複数の光源を配置し、光源を順次点灯して、天頂に配置した撮像装置102によって凹凸がある被写体101を撮影する。図1(b)は、24個の照明の一つのみを点灯した状態で撮影される合計24枚の被写体101の画像を示し、これら24枚の画像を用いて被写体101の反射特性が取得される。

被写体101は、例えば、人物像の油彩画である。油彩画を側面から観察すると、背景から盛り上がって人物の体が描かれ、人物の顔は体よりも盛り上がって描かれていると仮定する。また、被写体101における色や模様の変化は小さいと仮定する。

［撮像装置の構成］
図2のブロック図により撮像装置102の構成例を説明する。CPU201は、RAM202をワークメモリとして、ROM203に格納されたOSや各種プログラムを実行し、システムバス200を介して、後述する各構成を制御する。

撮像部220は、撮像光学系（レンズ、絞り、シャッタ）、光学ローパスフィルタ、カラーフィルタ、および、CMOSやCCDなどの撮像デバイスから構成され、被写体からの光を撮像デバイスによって受光する。そして、撮像デバイスが出力するアナログ信号をアナログ-ディジタル(A/D)変換した撮像データ（以下、RAWデータ）を出力する。RAWデータは、CPU201の制御により、システムバス200を介して、RAM202の所定領域に格納される。

光学系制御部221は、CPU201の制御に従い、フォーカスを合わせ、絞りを調節し、シャッタを開閉するなどの撮像光学系の制御を行う。フラッシュ制御部222は、CPU201の制御に従い、図1に示す24個の照明の点灯を制御する。操作部223は、十字キー、ボタン、モードダイヤルなどに相当し、ユーザ指示の入力部である。

CPU201は、コンピュータグラフィックス(CG)生成部204、表示制御部205を制御してモニタ206にユーザインタフェイス(UI)を表示し、操作部223などからユーザ指示を受信する。なお、モニタ206にタッチスクリーンを重畳してもよく、その場合、タッチスクリーンによるユーザ入力を操作部223への入力と同等に扱うことが可能である。

ディジタル信号処理部(DSP)207は、CPU201の制御に従い、RAM202に格納されたRAWデータにデモザイキング処理、現像処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などを施して画像データを生成する。画像データは、CPU201の制御により、RAM202の所定領域に格納される。

圧縮伸長部208は、CPU201の制御に従い、RAM202に格納された画像データをJPEGやMPEGなどのフォーマットに変換するエンコード処理を行う。また、必要ならば、RAM202に格納されたRAWデータをロスレス圧縮する処理を行う。

インタフェイス209は、例えばメモリカードリーダライタであり、CPU201の制御に従い、圧縮伸長部208が出力する画像データをメディア210に格納したり、メディア210から読み出した画像データなどをRAM202に格納する。

インタフェイス209はUSBのような汎用インタフェイスでもよく、メディア210はハードディスクドライブ(HDD)、ソリッドステートドライブ(SDD)、USBメモリなどの記録媒体でもよい。また、インタフェイス209として無線ネットワークインタフェイスを用いることもでき、データの送受信先として、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、サーバ装置などのコンピュータ機器が挙げられる。さらに、CPU201は、インタフェイス209を介して、ユーザ指示を受信することができる。

画像処理部211は、CPU201の制御に従い、RAM202に格納されたRAWデータまたは画像データを利用して新たな画像データを生成する。生成された画像データは、RAM202やメディア206に格納されたり、表示制御部204を介してモニタ206に表示されたりする。モニタ206に表示される画像は、ライブビュー画像や撮影画像などである。

［画像処理部］
図3のブロック図により被写体101の反射特性を取得する際の画像処理部211の構成例を示す。撮像データ入力部303は、撮像部220が撮像したn枚（図1(b)の例では24枚）の画像データを例えばRAM202から入力する。反射特性取得部304は、入力された画像データから被写体101の反射特性データを取得する。

参照データ取得部305は、例えばメディア210から反射特性データを補間する際に用いる参照データを取得する。なお、参照データについては後述する。信頼度算出部306は、取得された参照データの信頼度を算出する。

反射特性補間処理部307は、反射特性取得部304が取得した反射特性データと信頼度算出部306が算出した参照データの信頼度を入力して、参照データの信頼度に基づき反射特性データを補間処理する。補間処理された反射特性データは、例えばRAM202やメディア210に格納される。

●反射特性の取得処理
図4のフローチャートにより画像処理部211による反射特性の取得処理を説明する。反射特性の取得処理は、ユーザ指示に従い、CPU201が画像処理部211を制御することで実行される。なお、図3に示す画像処理部211の機能を実現するプログラムをコンピュータ機器に供給することで、反射特性の取得処理を実行することも可能である。

撮像データ入力部303は、撮像部220が撮像したn枚（図1(b)の例では24枚）の画像データを入力する(S401)。以下では、簡単のために、入力される画像データが撮像部220が出力したRGB画像データをグレイスケール化した画像データとして説明を行う。続いて、反射特性取得部304は、n枚の画像データから被写体101の反射特性データを取得する(S402)。反射特性データの取得処理の詳細は後述する。

一方、参照データ取得部305は、ユーザ指示に従い、参照データを取得する(S403)。続いて、信頼度算出部306は、参照データの信頼度を算出する(S404)。参照データの信頼度算出処理の詳細は後述する。図4には、画像データの取得と反射特性データの算出に続いて、参照データの取得と参照データの信頼度の算出が行われるように記載するが、この順番は逆でもよいし、並行に行われてもよい。

次に、反射特性補間処理部307は、参照データの信頼度に基づき、反射特性データを補間処理し(S405)、補間処理した反射特性データを出力する(S406)。反射特性データの補間処理の詳細は後述する。

●参照データ
図5により参照データを説明する。図5(a)は一方の参照データである被写体101の形状データを示し、図5(b)は他方の参照データである被写体101の色データを示す。これら参照データは、例えば、予め測定されてメディア210に格納されている。形状データは、光切断方式の形状測定装置により、被写体101にスリット光を照射して測定される。形状データの画素位置は、撮像部220が撮像する画像データの画素位置と位置合わせが行われ、形状データの各画素は、図1に示す撮像システムにおける床面からの高さを示すグレイスケール値を有する。

また、色データは、正反射光を除去するために照明1、照明2、…、照明24のすべてと撮像部220に偏光フィルタを取り付け、全照明を点灯して撮像部220により撮像した画像データである。勿論、参照データとしての色データの画素位置と、反射特性を算出するための画像データの画素位置は位置合わせを行う。なお、簡単のために、反射特性を算出するための画像データと同様に、色データは、撮像部220が出力したRGB画像データをグレイスケール化した画像データとして説明を行う。

●反射特性算出部
図6のフローチャートにより反射特性の算出処理(S402)を説明する。反射特性は、n枚の画像を比較して、各画素位置(u, v)で最大の画素値を正反射光強度または正反射方向に近い方向の反射光強度と見做して算出される。また、画像jの画素位置(u, v)における画素値をIj(u, v)と表現し、各画像のサイズをU×V画素とする。

反射特性取得部304は、まず初期設定を行う。つまり、画像1の画素値I1(u, v)を最大画素値を格納するビットマップメモリImaxに格納し(S501)、カウンタjをj=2に設定し(S502)、画素位置(u, v)に初期値(0, 0)を設定する(S503)。

次に、反射特性取得部304は、画像jの画像データから画素値Ij(u, v)を取得する(S504)。そして、画素値Ij(u, v)と、画素位置(u, v)に対応するビットマップメモリの位置に格納された値Imax(u, v)を比較する(S505)。Ij(u, v)＞Imax(u, v)の場合、反射特性取得部304は、Ij(u, v)が正反射光強度または正反射方向に近い方向の反射光強度と判定して、Ij(u, v)によってImax(u, v)を更新する(S506)。

次に、反射特性取得部304は、画素位置のuをインクリメントして(S507)、インクリメント後のuと画像サイズのUを比較する(S508)。u≦Uの場合、処理をステップS504に戻して次の画素位置に関する判定を行う。また、u＞Uの場合、uをリセット(u=0)し、画素位置のvをインクリメントして(S509)、インクリメント後のvと画像サイズのVを比較する(S510)。v≦Vの場合は処理をステップS504に戻して次の画素位置に関する判定を行う。

v＞Vになると、反射特性取得部304は、vをリセット(v=0)し、カウンタjをインクリメントして(S511)、インクリメント後のカウント値jと画像数nを比較する(S512)。反射特性取得部304は、j≦nの場合は処理をステップS504に戻して次の画像jに関する判定を開始し、j＞nの場合は反射特性の取得を終了する。

以上の処理により、ビットマップメモリImaxには、n枚の画像から抽出された被写体101の正反射光強度を示す反射特性データが格納される。ただし、被写体101が例えば油彩画のように凹凸を有する場合、反射特性の取得に失敗した領域（例えば図5(c)に示す斜線を施した領域）がある可能性がある。

●信頼度算出部
図7のフローチャートにより信頼度の算出処理(S404)を説明する。信頼度算出部306は、画素位置(u, v)に初期値(0, 0)を設定し(S701)、画素位置(u, v)における各参照データの信頼度Wk(u, v)を算出する(S702)。

信頼度Wk(u, v)を算出は、下式によって、画素位置(u, v)において、(u, v)を中心とするP×P画素のフィルタ領域内の画素値の標準偏差σref(u, v)を算出することで行われる。なお、例えば画素位置が(0, 0)の場合などフィルタ領域の一部に画素値が存在しない場合は、当該部分を標準偏差σref(u, v)の算出対象から除外する。
I' = Σ_(x',y')∈T{I(x',y')/P²}；
σref(u,v) = √[Σ_(x,y)∈T{I(x,y) - I'}²/P²]； …(1)
ここで、Tはフィルタ領域、
I(x,y)、I(x',y')はフィルタ領域内の画素値。

次に、信頼度算出部306は、画素位置(u, v)における各参照データの信頼度Wk(u, v)（=σref(u, v)）を下式によって正規化する(S703)。つまり、式(2)により、各参照データの画素位置(u, v)における信頼度Wk(u, v)を二つの参照データの信頼度の和で除算して正規化を行う。
W'k(u,v) = Wk(u,v)/Σ_k∈DWk(u,v) …(2)
ここで、Dは各参照データ種類を表す添え字を要素にもつ構造体データ、
kは参照データの種類（形状s、色c）。

次に、信頼度算出部306は、画素位置のuをインクリメントして(S704)、インクリメント後のuと画像サイズのUを比較する(S705)。u≦Uの場合は処理をステップS702に戻して次の画素位置の信頼度を算出する。また、u＞Uの場合、uをリセット(u=0)し(S706)、画素位置のvをインクリメントして(S707)、インクリメント後のvと画像サイズのVを比較する(S708)。v≦Vの場合は処理をステップS702に戻して次の画素位置の信頼度を算出し、v＞Vの場合は信頼度の算出を終了する。

図8により信頼度の算出処理によって得られる信頼度を説明する。図8(a)は上記の処理によって得られる、形状の起伏が大きい油彩画における形状データの信頼度を示し、人物の顔領域、体領域、背景領域の順に信頼度が高くなる（図8において暗い領域ほど信頼度が高い）。また、図8(b)は上記の処理によって得られる色データの信頼度を示し、色と模様の変化が大きい背景領域、人物の体領域、顔領域の順に信頼度が大きくなる。形状の起伏による形状データの信頼度Ws(u, v)と、色と模様の変化による色データの信頼度Wc(u, v)の大小関係は図8(c)に示すようになる。

●反射特性補間処理部
図9のフローチャートにより反射特性データの補間処理(S405)を説明する。以下では、ジョイントバイラテラルフィルタ(joint bilateral filter)を用いて補間処理を行う例を説明するが、ジョイントバイラテラルフィルタの詳細は非特許文献1などに記載されている。

反射特性補間処理部307は、画素位置(u, v)に初期値(0, 0)を設定し(S801)、画素位置(u, v)における反射特性データI(u, v)を補間処理した反射特性データI_JBF(u, v)を生成する(S802)。下式はジョイントバイラテラルフィルタを示し、各参照データを用いて反射特性データI(u, v)が補間処理される。つまり、参照データとして形状データを用いて補間処理されたIs_JBF(u, v)と、参照データとして色データを用いて補間処理されたIc_JBF(u, v)が生成される。
Ik_JBF(u,v) = [Σ_(x,y)∈SG_σs{||(u,v)-(x,y)||}G_σr{|Ik(u,v)-Ik(x,y)|}I(x,y)]/N(u,v) …(3)

図10により色データを参照データに用いた反射特性データの補間処理（式(3)の処理）を説明する。図10(a)は反射特性データI(x, y)を示す。被写体の正反射光強度が大きい上半分に対応する反射特性データI(x, y)の画素値は例えば255、正反射強度が小さい下半分に対応する反射特性データI(x, y)の画素値は例えば128である。ただし、中央部に斜線で示す領域は被写体の凹凸によって反射特性の取得に失敗した欠落領域であり、欠落領域の画素値は例えば0である。

図10(b)は参照データの色データIc(x, y)を示す。被写体の上半分は灰色の塗料が塗布され、下半分には黒色の塗料が塗布されている。色データIc(x, y)は、塗料の分布に従い、上半分に対応する色データIc(x, y)の画素値は例えば128、下半分に対応する色データIc(x, y)の画素値は例えば0である。

欠落領域の画素位置(u, v)の画素値I(u, v)は、色データIc(x, y)と式(3)に示すフィルタ演算に基づき補間処理される。式(3)において、Sはフィルタの窓領域であり、画素位置(u, v)を中心とするF×F画素の領域である（図10(a)において破線で囲まれた領域）。

また、G_σsは空間方向の重み付け係数であり、画素位置(u, v)を中心とする最大値1、半値半幅σsのガウシアンで表される（図10(c)）。G_σrは輝度方向の重み付け係数であり、色データの画素位置(u, v)における画素値Ic(u, v)を中心とする最大値1、半値半幅σrのガウシアンに従う。

従って、色データの上半分の画素値はIc(u, v)と等しく重み付け係数は1になり、色データの下半分の画素値はIc(u, v)と異なり重み付け係数は1より小さくなる（図10(d)）。フィルタの窓領域S内の各画素位置について、G_σsとG_σrを乗算した重み付け係数（図10(e)）を用いて、反射特性データを補間処理する。また、N(u, v)はフィルタの窓領域S内の重み付け係数の和を1にする正規化係数である。

各画素位置(u, v)について式(3)に示すフィルタ演算を行うことで、色データの塗料分布に従い、欠落領域の反射特性データは、上側が画素値255に、下側が画素値128に補間処理される（図10(f)）。

次に、反射特性補間処理部307は、各参照データの信頼度W'k(u, v)に基づき、補間処理によって生成した反射特性データIs_JBF(u, v)とIc_JBF(u, v)を合成する(S803)。つまり、信頼度W'k(u, v)を重みとして下式によって反射特性データIk_JBF(u, v)を合成し、合成後の反射特性データを画素位置(u, v)の反射特性データI(u, v)として出力する。
I(u,v) = W's(u,v)×Is_JBF(u,v) + W'c(u,v)×Ic_JBF(u,v) …(4)

次に、反射特性補間処理部307は、画素位置のuをインクリメントして(S804)、インクリメント後のuと画像サイズのUを比較する(S805)。u≦Uの場合は処理をステップS802に戻して次の画素位置の反射特性データを補間処理する。また、u＞Uの場合、uをリセット(u=0)し(S806)、画素位置のvをインクリメントして(S807)、インクリメント後のvと画像サイズのVを比較する(S808)。v≦Vの場合は処理をステップS802に戻して次の画素位置の反射特性データを補間処理し、v＞Vの場合は補間処理を終了する。

各参照データの信頼度に基づき反射特性データを補間処理することで、図5(d)に示すように、形状の起伏が大きく色と模様の変化が小さい人物の顔の反射特性データは形状データに基づきが補間処理される。一方、形状の起伏が小さく色と模様の変化が大きい背景の反射特性データは色データに基づき補間処理されて、欠落領域が解消する。

このように、形状の起伏が大きく色と模様の変化が小さい人物の顔領域、形状の起伏が小さく色と模様の変化が大きい背景領域、それらの中間の人物の体領域のような、異なる反射特性をもつ複数の領域について反射特性を高精度に推定することができる。

［変形例］
上記では、24個の照明の一つのみを点灯して撮像した24枚の画像から反射特性データを取得する例を説明したが、照明方法や照明数、画像数に限定はない。被写体の形状や大きさ、被写体の反射特性に応じて照明数、画像数を増減することができる。

また、24枚の画像の中で最大の画素値を正反射方向または正反射方向に近い方向からの反射光強度データと判定して、反射特性データを取得する例を説明したが、反射特性の取得方法はこれに限らない。例えば、反射光の反射方向に対する変角特性データを反射特性データとして取得してもよい。

また、簡単のために、グレイスケールの画像データと反射特性データについて説明したが、RGB画像データまたはマルチバンド画像データを用いてもよく、画像データの成分数やバンド数に限定はない。

また、RGB画像データをグレイスケール化した画像データを参照データの色データにする例を説明したが、波長選択性を有する光学フィルタを用いて撮像した画像データであればよく、画像データの成分数やバンド数に限定はない。つまり、色データとしてRGB画像データまたはマルチバンド画像データを用いることもできる。

また、補間処理にジョイントバイラテラルフィルタを用いる例を説明したが、複数の参照データを用いる補間処理であればよく、補間処理の方法に限定はない。また、形状データとして高さデータを用いる例を説明したが、法線マップを用いてもよく、形状データの形式に限定はない。

また、光切断方式の形状測定装置によって測定される形状データを用いる例を説明したが、画像データから形状データを算出してもよい。例えば、参照データ取得部305は、反射特性データの取得に用いる画像データから、照度差ステレオ法により被写体の表面の面法線を推定し、面法線を空間方向について積分することで、被写体の形状データを算出することができる。

また、全照明を点灯し、正反射光を除去するために各照明とカメラに偏光フィルタを取り付けて撮像した画像データを色データに用いる例を説明したが、画像データから色データを算出してもよい。例えば、参照データ取得部305は、反射特性データの取得に用いる画像データを入力して、画像1、画像2、…、画像24の各画像データを比較して、各画素位置(u, v)で最小の画素値を被写体の色データとすることができる。

また、標準偏差を算出するP×P画素のフィルタ演算処理により参照データの信頼度を算出する例を説明したが、信頼度を算出する領域を限定するものではない。例えば、各参照データの全画素を用いて参照データ全体の信頼度を算出し、信頼度が大きい参照データのみを用いる切替処理を行ってもよい。また、標準偏差を信頼度とする例を説明したが、参照データの空間周波数やノイズ量から信頼度を算出してもよく、信頼度の算出方法に限定はない。

また、複数の参照データの信頼度に応じて重み付け係数を算出したが、複数の参照データの信頼度がすべて所定の範囲から逸脱した場合、予め設定した参照データを用いて補間処理を行ってもよい。また、複数の参照データの信頼度がすべて所定の範囲から逸脱した場合、参照データを用いずに周囲の反射特性データを用いて補間処理を行ってもよいし、補間処理を行わずスルーしてもよい。

以下、本発明にかかる実施例2の画像処理装置および画像処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する。

実施例2では、被写体の形状の起伏が大きくオクルージョン(occlusion)が発生して形状データの測定精度が低下する場合も、反射特性データを高精度に補間処理する方法を説明する。実施例2における、参照データの信頼度の算出処理以外の画像処理は、実施例1の画像処理と同じであり、以下では、実施例2における参照データの信頼度の算出処理のみを説明する。

図11のフローチャートにより実施例2の信頼度の算出処理(S404)を説明する。なお、図11において、図7と同様の符号を付したステップは図7と同様の処理を行うステップであり、説明を省略する。

信頼度算出部306は、画素位置(u, v)における各参照データの信頼度Wk(u, v)の算出(S702)が終了すると、ステップS1301の判定により、形状データの信頼度Ws(u, v)について、次の処理を実行する。まず、信頼度Ws(u, v)の算出対象の形状データを用いてオクルージョンマップO(u, v)を生成し(S1302)、Ws(u, v)とO(u, v)から、オクルージョンに応じた重みにより信頼度Wos(u,v)を補正する(S1303)。信頼度算出部306は、オクルージョンマップの生成にSSAO(screen space ambient occlusion)アルゴリズムを用い、下式により信頼度Wos(u, v)を補正する。
if (O(u,v) ＜ Oth)
Wos(u,v) = Ws(u,v)；
else
Wos(u,v) = 0； …(5)
ここで、Othは所定の閾値。

次に、信頼度算出部306は、信頼度Ws(u, v)に代わる信頼度Wos(u, v)と信頼度Wc(u, v)を用いて、ステップS703の正規化処理を行う。以降の処理は図7と同様であり、説明を省略する。

図12により実施例2の信頼度の算出処理によって得られる信頼度を説明する。図12(a)は形状データの信頼度W's(u, v)を示し、被写体においてオクルージョンが大きい領域（例えば人物の目、口、体の輪郭部など）の信頼度が0（最低値、図12に白色で示す）に補正される。

一方、式(5)の処理によってWos(u, v)=0になる画素位置が増加する分、式(2)の分母の値は小さくなり、相対的に人物の目、口、体の色データの信頼度W'c(u, v)が高くなる（図12(b)）。従って、形状データのオクルージョンに応じて信頼度を補正することにより、被写体の形状の起伏が大きくオクルージョンが発生した場合も、色データにより反射特性データを高精度に補間処理することが可能になる。

以下、本発明にかかる実施例3の画像処理装置および画像処理方法を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一の符号を付して、その詳細な説明を省略する。

本実施3では、被写体の色が照明色に近いため、参照データの色データと反射特性データの分離精度が低下する場合も、反射特性データを高精度に補間処理する方法を説明する。実施例1においては、簡単のために、反射特性データと色データをグレイスケールの画像データとして説明を行った。実施例3においては、反射特性データと色データがRGB画像データI(u, v)、Irc(u, v)（IはR、GまたはB）として説明を行う。また、被写体によっては、被写体表面の反射光の色が照明色と異なる色にみえるブロンズ現象が発生する場合がある。実施例3では、簡単のために、ブロンズ現象は発生せず、反射特性データの色相は撮像時の照明色の色相に一致するものとする。

実施例3における、参照データの信頼度の算出処理以外の画像処理は、実施例1の画像処理と同じであり、以下では、実施例3における参照データの信頼度の算出処理のみを説明する。図13のフローチャートにより実施例3の信頼度の算出処理(S404)を説明する。なお、図13において、図7と同様の符号を付したステップは図7と同様の処理を行うステップであり、説明を省略する。

信頼度算出部306は、画素位置(u, v)における各参照データの信頼度Wk(u, v)の算出(S702)が終了すると、ステップS1501の判定により、色データの信頼度Wc(u, v)について、次の処理を実行する。まず、ステップS402で取得した反射特性データI(u, v)と信頼度Wc(u, v)の算出対象の色データIrc(u, v)を用いて色相マップHp(u, v)を算出する(S1502)。
Hp(u,v) = tan^-1[√3{Gp(u,v) - Bp(u,v)}/{2Rp(u,v) - Gp(u,v) - Bp(u,v)}] …(6)
ここで、(Rp, Gp, Bp)(u,v)はI(u,v)またはIrc(u,v)を構成する、
pは反射特性データまたは色データを表す添字。

次に、信頼度算出部306は、色相マップから下式により色相差分マップΔH(u, v)を算出する(S1503)。
ΔH(u,v) = |H(u,v) - Hc(u,v)| …(7)
ここで、H(u,v)は反射特性データI(u,v)から算出される色相マップ、
Hc(u,v)は色データIrc(u,v)から算出される色相マップ。

反射特性データI(u, v)から算出される色相マップH(u, v)は、反射特性データの取得に使用された画像データの撮像時に被写体を照明していた照明の色に相当する。次に、信頼度算出部306は、色データの信頼度Wc(u, v)と色相差分マップΔH(u, v)から、被写体色と照明色の色相の差分に応じて色データの信頼度を下式により補正する(S1504)。
if (ΔH(u,v) ＜ Hth)
Whc(u,v) = 0；
else
Whc(u,v) = Wc(u,v)； …(8)
ここで、Hthは所定の閾値。

次に、信頼度算出部306は、信頼度Wc(u, v)に代わる信頼度Whc(u, v)と信頼度Ws(u, v)を用いて、ステップS703の正規化処理を行う。以降の処理は図7と同様であり、説明を省略する。

図14により実施例3の信頼度の算出処理によって得られる信頼度を説明する。図14(b)は色データの信頼度W'c(u, v)を示し、色相差分が小さい背景の木葉状の模様以外の背景領域と人物の顔領域の信頼度が0（最低値、図14に白色で示す）に補正される。

一方、式(8)の処理によってWhc(u, v)=0になる画素位置が増加する分、式(2)の分母の値は小さくなり、相対的に上記の背景の模様以外の背景領域と人物の顔領域の形状データの信頼度W's(u, v)が高くなる（図14(a)）。従って、色データと照明色の間の色相差分に応じて信頼度を補正することにより、被写体の色が照明色に近い場合でも、形状データにより反射特性データを高精度に補間処理することが可能になる。

［変形例］
実施例2では、信頼度の補正として、オクルージョンマップが所定の閾値を超える場合、形状データの信頼度を最低値にする例を説明した。また、実施例3では、信頼度の補正として、色相差分が所定の閾値未満の場合、色データの信頼度を最低値にする例を説明した。これに限らず、オクルージョンマップまたは色相差分と重みwの対応関係を示すテーブルまたは計算式を用いて重みw（0≦w≦1）を取得し、重みwと信頼度Wk(u, v)を乗算する補正を行ってもよい。また、実施例2と3の組み合わせが可能であることは言うまでもない。

［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。

303 … 撮像データ入力部、304 … 反射特性取得部、306 … 信頼度算出部、307 … 反射特性補間処理部

Claims

物体の周囲における複数の位置から光源を一つずつ点灯して前記物体を撮像することによって得られた複数の画像データを入力する入力手段と、
前記複数の画像データに基づき、前記物体の反射特性を表す反射特性データを取得する取得手段と、
前記物体の反射特性に関連する複数の参照データそれぞれの信頼度を算出する算出手段と、
前記複数の参照データと前記信頼度とに基づき、前記反射特性データにおける注目画素の反射特性を補間により求める補間処理を、所定のフィルタサイズを有するジョイントバイラテラルフィルタを用いて行う補間処理手段と
を有し、
前記複数の参照データは前記物体の物理特性を表し、前記反射特性データによって反射特性が規定される各画素の物理特性を表すデータであり、
前記信頼度は、前記参照データにおいて前記所定のフィルタサイズの領域に含まれる画素の画素値の標準偏差に基づいて算出される
ことを特徴とする画像処理装置。
前記取得手段は、画素位置ごとに、前記複数の画像データから最大画素値を抽出した画像データを前記反射特性データとして生成することを特徴とする請求項1に記載された画像処理装置。
前記算出手段は、画素位置ごとに、当該画素位置を中心とする前記領域に含まれる画素の画素値の標準偏差を前記信頼度として算出することを特徴とする請求項1または請求項2に記載された画像処理装置。
前記補間処理手段は、
前記複数の参照データの一方を用いて前記反射特性データに対して補間処理を行った第一の反射特性データと、前記複数の参照データの他方を用いて前記反射特性データに対して補間処理を行った第二の反射特性データと、を生成し、
前記複数の参照データそれぞれの信頼度に基づき、前記第一の反射特性データおよび前記第二の反射特性データを合成して、前記補間処理が施された反射特性データを生成することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
前記複数の参照データは、前記物体の形状を示す形状データおよび前記物体の色を表す色データであることを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
さらに、前記複数の画像データに基づき、前記形状データと前記色データとのうち少なくとも一方を取得する手段を有することを特徴とする請求項5に記載された画像処理装置。
前記算出手段は、前記形状データから生成したオクルージョンマップに基づき、前記形状データの信頼度を補正することを特徴とする請求項5または請求項6に記載された画像処理装置。
前記算出手段は、前記オクルージョンマップが所定の第一の閾値を超える形状データの信頼度を最低値に補正することを特徴とする請求項7に記載された画像処理装置。
前記算出手段は、前記複数の画像データの撮像時の前記物体の照明色と前記色データとに基づき、前記色データの信頼度を補正することを特徴とする請求項5から請求項8の何れか一項に記載された画像処理装置。
前記算出手段は、前記照明色の色相と前記色データが表す色の色相の差が所定の第二の閾値未満の色データの信頼度を最低値に補正することを特徴とする請求項9に記載された画像処理装置。
前記算出手段が算出する前記信頼度は、前記複数の参照データそれぞれの信頼度を、前記複数の参照データそれぞれの信頼度の和で除算することで得られることを特徴とする請求項１から請求項１０の何れか一項に記載された画像処理装置。
物体の周囲における複数の位置から光源を一つずつ点灯して前記物体を撮像することによって得られた複数の画像データを入力し、
前記複数の画像データに基づき、前記物体の反射特性を表す反射特性データを取得し、
前記物体の反射特性に関連する複数の参照データそれぞれの信頼度を算出し、
前記複数の参照データと前記信頼度とに基づき、前記反射特性データにおける注目画素の反射特性を補間により求める補間処理を、所定のフィルタサイズを有するジョイントバイラテラルフィルタを用いて行い、
前記複数の参照データは前記物体の物理特性を表し、前記反射特性データによって反射特性が規定される各画素の物理特性を表すデータであり、
前記信頼度は、前記参照データにおいて前記所定のフィルタサイズの領域に含まれる画素の画素値の標準偏差に基づいて算出される
ことを特徴とする画像処理方法。
コンピュータを請求項1から請求項１１の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項１３に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。