JP5561786B2 - ３次元形状モデル高精度化方法およびプログラム - Google Patents

Description

本発明は、被写体を撮影した画像と背景のみを撮影した画像から、被写体３次元モデルを高精度に復元する方法およびプログラムに関する。

自由視点映像の画質は、モデルベースの合成方式を考えた場合、多視点映像より生成される３次元形状モデルの精度に大きく左右される。多視点映像をもとに被写体の３次元形状モデル（３次元ボクセルデータ）を構築する代表的な手法として視体積交差法がある（非特許文献１）。しかしながら、この方法には、物体の凹領域を復元できないという原理的課題があった。

上記の原理的課題に対して、非特許文献２で提案されるｓｐａｃｅ ｃａｒｖｉｎｇを始めとした様々な手法が提案されている。また、特願２００９−１９５３３４号では、各カメラ画像間でステレオマッチングをもとに高精度化する手法が提案されている。

Ｖｉｓｕａｌ Ｈｕｌｌ高精度化に関する研究として、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみならず、Ｖｉｓｕａｌ Ｈｕｌｌ表面形状の安定性を考慮したエネルギー関数を定義し、最適化の枠組みにより形状を補正する手法が提案されている。非特許文献３では、ステレオマッチングによる整形手法が提案されている。当該手法は、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙによりカメラから被写体までの距離値をＶｉｓｕａｌ Ｈｕｌｌ内側へ押し込むための外力と、Ｖｉｓｕａｌ Ｈｕｌｌ表面の局所的な形状特徴を維持するための内力の線形結合により評価関数を定義し、最小化する距離値を求めることで、被写体の表面形状を決定する。Ｓｐａｃｅ ｃａｒｖｉｎｇ等の単一ボクセルに注目する手法に比べて、表面上に不自然な凹凸が発生することが少なく、滑らかな形状を復元できる結果が示されている。

一方、ボクセル空間中での隣接関係を考慮したグラフカットによりＶｉｓｕａｌ Ｈｕｌｌの整形を行う手法が提案されている。非特許文献４では、Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルに関して、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙに基づくエネルギーと、ボクセル間の隣接関係に基づくエネルギー関数を定義し、グラフカットを適用することで、滑らかな形状を復元できることを示している。さらに、Ｖｉｓｕａｌ Ｈｕｌｌの内側に、被写体が確実に存在すると仮定するＣｏｒｅ領域を設け、グラフカットの適用範囲をＶｉｓｕａｌ Ｈｕｌｌ表面とＣｏｒｅ領域間に限定することで、被写体領域が誤って削られる可能性を低減することに成功している。

豊浦正広、飯山将晃、舩冨卓哉、角所考、美濃導彦、「欠損および過抽出を含む時系列シルエットからの三次元形状獲得」、電子情報通信学会技術研究報告，PRMU2007-168，Vol.107，No.427，pp.69-74，2008-1 Kutulakos他「ATheory of Shape by Space Carving 」 International Journal of Computer Vision ２０００年 冨山仁博他「局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示」 映像情報メディア学会誌, 61, 4, pp. 471-481 (2007) Hisatomi他「Methodof 3D reconstruction using graph cuts, and its application to preservingintangible cultural heritage」 IEEE conference on ICCV, pp. 923 - 930 (2009).

しかしながら、非特許文献２に記載の提案方式等のほとんどの手法は、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみに注目して除去するか否かを決定するため、最終的に獲得されるＶｉｓｕａｌ Ｈｕｌｌの復元精度は、被写体のテクスチャ状態に大きく依存するという問題があった。また、特願２００９−１９５３３４号では、マッチング誤差の影響により復元精度が低下するという問題が顕著であった。

また、非特許文献３の手法では、最終的な復元結果は、ステレオマッチングの探索精度に大きく依存するため、被写体のテクスチャ変化が少ない領域では十分な復元精度が得られないという問題が残っている。

また、非特許文献４の手法では、ボクセル間の隣接関係に基づくエネルギー関数が、単純にボクセル単体のエネルギー値の平均で定義されているため、ボクセル空間中の隣接関係を十分に考慮できているとは言えない。また、グラフカットの適用が一回に限定されているのに加え、適用結果を評価するプロセスが存在しないため、最終的に復元される３次元形状モデルに、背景領域が含まれる可能性が高いと考えられる。

以上の問題点を踏まえ、本発明では、ボクセル空間中での連続性を十分に考慮するとともに、整形過程の３次元形状モデルをもとに、実カメラ視点で生成される自由視点画像の画質を評価するプロセスを導入することで、３次元形状モデルのテクスチャ状態を考慮したＶｉｓｕａｌ Ｈｕｌｌ高精度化方法およびプログラムを提供することを目的とする。

上記目的を実現するため本発明による３次元形状モデル高精度化方法は、多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、各撮像カメラの被写体シルエット画像から視体積交差法により復元されたＶｉｓｕａｌ Ｈｕｌｌあるいは整形されたＶｉｓｕａｌ Ｈｕｌｌを入力とし、該Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、前記オブジェクトらしさに関する尤度をもとに当該Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出ステップで入力とした直前のＶｉｓｕａｌ Ｈｕｌｌとの比較をもとにＶｉｓｕａｌ Ｈｕｌｌの整形が収束したか否かを判定し、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束したと判定されるまで、前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌを前記算出ステップの入力として、前記算出ステップと前記第１の整形ステップを繰り返し適用する第１の収束ステップと、前記第１の収束ステップで整形が収束したと判定されたＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルあるいは整形された３次元形状モデルを入力とし、該３次元形状モデルのテクスチャ状態を評価する評価ステップと、前記３次元形状モデルのテクスチャ状態の評価をもとに該３次元形状モデルの整形を行う第２の整形ステップと、前記第２の整形ステップで整形された３次元形状モデルと前記評価ステップで入力とした直前の３次元形状モデルとの比較をもとに３次元形状モデルの整形が収束したか否かを判定し、３次元形状モデルの整形が収束したと判定されるまで、前記第２の整形ステップで整形された３次元形状モデルを前記評価ステップの入力として、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップとを含む。

また、前記算出ステップは、前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、撮影カメラ間における投影画素値の分散を算出し、前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することも好ましい。

また、前記第１の整形ステップは、３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことも好ましい。

また、前記第１の収束ステップは、前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出ステップで入力とした直前のＶｉｓｕａｌ Ｈｕｌｌを比較し、表面として指定したボクセルより内側のボクセルが削られていない場合を整形が収束したと判定することも好ましい。

また、前記評価ステップは、各撮影カメラ視点で、前記３次元形状モデルから生成される自由視点画像と前記カメラ画像との差分画像を抽出することで、該３次元形状モデルのテクスチャ状態を評価することも好ましい。

また、前記第２の整形ステップは、各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことも好ましい。

また、前記第２の収束ステップは、前記第２の整形ステップで整形された３次元形状モデルと前記評価ステップで入力とした直前の３次元形状モデルを比較し、削られるボクセル数が一定数以下である場合を整形が収束したと判定することも好ましい。

上記目的を実現するため本発明によるプログラムは、多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、各撮像カメラの被写体シルエット画像から視体積交差法により復元されたＶｉｓｕａｌ Ｈｕｌｌあるいは整形されたＶｉｓｕａｌ Ｈｕｌｌを入力とし、該Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、前記オブジェクトらしさに関する尤度をもとに当該Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、前記第１の整形手段で整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出手段で入力とした直前のＶｉｓｕａｌ Ｈｕｌｌとの比較をもとにＶｉｓｕａｌ Ｈｕｌｌの整形が収束したか否かを判定し、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束したと判定されるまで、前記第１の整形手段で整形されたＶｉｓｕａｌ Ｈｕｌｌを前記算出手段の入力として、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、前記第１の収束手段で整形が収束したと判定されたＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルあるいは整形された３次元形状モデルを入力とし、該３次元形状モデルのテクスチャ状態を評価する評価手段と、前記３次元形状モデルのテクスチャ状態の評価をもとに該３次元形状モデルの整形を行う第２の整形手段と、前記第２の整形手段で整形された３次元形状モデルと前記評価手段で入力とした直前の３次元形状モデルとの比較をもとに３次元形状モデルの整形が収束したか否かを判定し、前記３次元形状モデルの整形が収束したと判定されるまで、前記第２の整形手段で整形された３次元形状モデルを前記評価手段の入力として、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段として機能させ、３次元形状モデルを復元する。

本発明により、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。

本発明によるフローチャートを示す。 ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌの表面近傍を各視点に投影することを示す。 多視点カメラ画像の例を示す。 オリジナルの３次元形状モデルを示す。 入力のＶｉｓｕａｌ Ｈｕｌｌを示す。 ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。 最終的に整形された３次元形状モデルを示す。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。提案手法は、ボクセル空間中での連続性を考慮した整形、および各視点での自由視点画像の画質を考慮した整形を特徴とする。本発明によるフローチャートを図１に示す。ある時刻１フレーム分の多視点カメラ画像と、各視点のカメラパラメータ、および各カメラの被写体シルエット画像から視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌを入力として、最終的に整形済みの３次元形状モデルを出力し、処理を終了する。以下、本フローチャートに基づいて説明する。

ステップ１：Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルのオブジェクトらしさを算出する。図２に示すように、ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌ表面近傍を各カメラ視点に投影する。視点ｉ（ｉ＝１，…，Ｎ）に投影された、カメラ画像内の座標をｖ_ｉとし、この点での投影画素値は、特定の色空間における多次元ベクトルｘ（ｖ_ｉ）として表される。色空間は例えば、ＲＧＢ空間が挙げられる。オブジェクトらしさに関する尤度を算出するため、投影画素値の各カメラ視点での平均および分散を算出する。
平均ベクトルｕ（ｖ_ｉ）は、
で算出される。ここで、＃ｎ_ｖｉｓ（ｖ_ｉ）は、オクルージョンのない視点（表面近傍のボクセルが見える視点）の数を表し、Σは、オクルージョンのない視点で行われる。ＲＧＢ空間の場合、平均ベクトルｕ（ｖ_ｉ）は、ｕ_ｒ（ｖ_ｉ）、ｕ_ｇ（ｖ_ｉ）、ｕ_ｂ（ｖ_ｉ）の３つの成分を有する。
分散ベクトルσ（ｖ_ｉ）は、
で算出される。同様に、ＲＧＢ空間の場合、分散ベクトルσ^２（ｖ_ｉ）は、σ^２ _ｒ（ｖ_ｉ）、σ^２ _ｇ（ｖ_ｉ）、σ^２ _ｂ（ｖ_ｉ）の３つの成分を有する。

この分散を正規化することにより、オブジェクトらしさに関する尤度を求める。なお、正規化とは、σ^２（ｖ_ｉ）（ｉ＝１，…，Ｎ）の最大値でσ^２（ｖ_ｉ）を除算して、最大値を１．０にしたものである。以下の式に現れているσ^２は、すべて正規化された後の分散を表している。

ステップ２：ボクセル空間中でのエネルギー関数を定義する。
エネルギー関数は、
で定義される。ここでｖ＝（ｖ_１，…，ｖ_ｉ，…，ｖ_Ｎ）は、カメラ画像内の座標をｖ_ｉを表し、λ_ｖは正の定数であり、ａ_ｖは、ボクセル空間中の各ボクセルを背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。

Ｕ（ｖ；ａ_ｖ）は、各ボクセル単体の尤度値のみに依存するデータ項であり、ａ_ｖで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
ここで、Σは視点ｉ（ｉ＝１，…，Ｎ）について総和を取り、ｔｈ_ｖ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。上式で、例えば、ｔｈ_ｖ（ｃ）＝１．２とした場合、σ_ｃ ^２＝０．５であるとき、ｔｈ_ｖ（ｃ）−σ_ｃ ^２＝０．７、σ_ｃ ^２＝０．５であるため、ａ＝１、つまり被写体領域に割り当てた方が、エネルギー値が低くなる。σ_ｃ ^２＝０．７であるとき、ｔｈ_ｖ（ｃ）−σ_ｃ ^２＝０．５、σ_ｃ ^２＝０．７であるため、ａ＝０、つまり背景領域に割り当てた方が、エネルギー値が低くなる。つまり、分散が小さいとき、被写体領域に割り当てた方が、エネルギー値が低くなる。

一方、Ｖ（ｖ；ａ_ｖ）は、平滑化項であり、隣接ボクセル間の尤度値の差をもとに以下の式で算出される．
ここで、ｄｉｓ（ｉ，ｊ）はボクセル間のユークリッド距離を表し、κ_ｖは正の定数である。定数κ_ｖは隣接ボクセルの全組み合わせＮ_ｖに関する期待値の演算子＜・＞を用いて以下のように算出される。

ステップ３：エネルギー最小化に基づくＶｉｓｕａｌ Ｈｕｌｌの整形を行う。上記エネルギー値Ｅ（ｖ；ａ_ｖ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。ここで、ａ_ｖ＝０、つまり背景領域に割り当てられたボクセルを不要部として除去する。

ステップ４：収束判定を行う。ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌとステップ１の入力のＶｉｓｕａｌ Ｈｕｌｌとを比較して、表面近傍のボクセルより内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌをステップ１の入力としてステップ１からステップ３を繰り返す。

ステップ５：各カメラ視点において、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌから獲得された３次元形状モデルをもとに自由視点画像を生成し、自由視点画像と撮影画像との差分画像を算出する。以下のステップでは、３次元形状モデルのテクスチャ状態を評価することにより、３次元形状モデルの整形を行う。

ステップ６：各撮影カメラ視点で、差分画像中でのエネルギー関数を定義する。各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を以下のように定義する。
で定義される。ここでｐは、差分画像の各画素を表し、λ_ｐは正の定数であり、ａ_ｐは、差分画像の各画素を背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。

Ｕ（ｖ；ａ_ｐ）は、差分画像の各画素の尤度値のみに依存するデータ項であり、ａ_ｐで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
ここで、Σは差分画像の各画素について総和を取り、ｘ_ｃ（ｐ_ｉ）は、画素ｐ_ｉでの画素値（ｘ_ｒ、ｘ_ｇ、またはｘ_ｂ）であり、ｔｈ_ｐ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。

一方、Ｖ（ｖ；ａ_ｐ）は、平滑化項であり、隣接画素間の画素値の差をもとに以下の式で算出される．
ここで、ｄｉｓ_ｐ（ｉ，ｊ）は画素間のユークリッド距離を表し、κ_ｐは正の定数であり、ベクトルｘ（ｐ_ｉ）は、画素ｐ_ｉでの画素値ベクトル（ｘ_ｒ、ｘ_ｇ、ｘ_ｂ）である。定数κ_ｐは隣接画素間の全組み合わせＮ_ｖに関する距離の期待値の演算子＜・＞を用いて以下のように算出される。

ステップ７：エネルギー最小化に基づき、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。上記エネルギー値Ｅ（ｖ；ａ_ｐ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。

ステップ８：Ｖｉｓｕａｌ Ｈｕｌｌ整形候補に含まれる各画素の光線を探索し、３次元形状モデルとの交点を除去する。上記のステップ５から７は、各視点ｉ（ｉ＝１，…，Ｎ）のカメラ画像に行われる。ａ_ｐ＝０、つまり背景領域に割り当てた画素の光線を探索し、３次元形状モデルとの交点を不要部として除去する。これをすべてのカメラ画像に対して行い、不要なボクセルを削る。

ステップ９：収束判定を行う。ステップ８で得られた３次元形状モデルとステップ５の入力の３次元形状モデルとを比較して、表面近傍の内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ８で得られた３次元形状モデルをステップ５の入力としてステップ５からステップ８を繰り返す。

次に、本発明の処理結果を実験結果により示す。実験は、凹領域を含む被写体を含む多視点画像を対象に、視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌに本発明の手法を適用した結果得られる３次元形状の精度を評価する。実験データとして、ＣＧモデルを２３視点に投影した画像と各視点のカメラパラメータ（中心射影行列）を用いた。

図３は、多視点カメラ画像の例を示す。図３ａは視点０２からのカメラ画像を、図３ｂは視点０６からのカメラ画像を示す。図４は、オリジナルの３次元形状モデルを示す。図５は、入力のＶｉｓｕａｌ Ｈｕｌｌを示す。図６は、ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。図７は、最終的に整形された３次元形状モデルを示す。

図４と図５を比較すると、視体積交差法のみで作成されたＶｉｓｕａｌ Ｈｕｌｌは、物体の凹領域を復元できていないことが分かる。図４と図６を比較すると、本発明のステップ１から４の処理で、物体の凹領域が復元されていることが分かる。図６と図７を比較すると、本発明のステップ５から９の処理で、物体の凹領域がより正確に再現できていることが分かる。

上記の実験結果を定量的に示す。表１は、オリジナルの３次元形状モデルに対するＰｒｅｃｉｓｉｏｎ／Ｒｅｃａｌｌ／Ｆ値を示す。ここで、Ｒｅｃａｌｌは誤って削られたボクセルの比率を示し、Ｐｒｅｃｉｓｉｏｎは、本来削るべきボクセルが削れていない比率を示す。Ｆ値は、ＲｅｃａｌｌとＰｒｅｃｉｓｉｏｎをもとに計算された、３次元形状モデルの正確さを表す指標である。

表１によると、Ｆ値は、最終的に整形された３次元形状モデルが最も良い値を示し、本発明のステップ１から９を実行することにより、物体の凹領域が復元されていることが分かる。

以上のように、本発明では、物体の凹領域の復元を行うことができ、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

Claims (8)

1. 多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、
   各撮像カメラの被写体シルエット画像から視体積交差法により復元されたＶｉｓｕａｌ Ｈｕｌｌあるいは整形されたＶｉｓｕａｌ Ｈｕｌｌを入力とし、該Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、
   前記オブジェクトらしさに関する尤度をもとに当該Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、
   前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出ステップで入力とした直前のＶｉｓｕａｌ Ｈｕｌｌとの比較をもとにＶｉｓｕａｌ Ｈｕｌｌの整形が収束したか否かを判定し、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束したと判定されるまで、前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌを前記算出ステップの入力として、前記算出ステップと前記第１の整形ステップを繰り返し適用する第１の収束ステップと、
   前記第１の収束ステップで整形が収束したと判定されたＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルあるいは整形された３次元形状モデルを入力とし、該３次元形状モデルのテクスチャ状態を評価する評価ステップと、
   前記３次元形状モデルのテクスチャ状態の評価をもとに該３次元形状モデルの整形を行う第２の整形ステップと、
   前記第２の整形ステップで整形された３次元形状モデルと前記評価ステップで入力とした直前の３次元形状モデルとの比較をもとに３次元形状モデルの整形が収束したか否かを判定し、３次元形状モデルの整形が収束したと判定されるまで、前記第２の整形ステップで整形された３次元形状モデルを前記評価ステップの入力として、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップと、
   を含むことを特徴とする３次元形状モデルを復元する方法。
2. 前記算出ステップは、
   前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、
   撮影カメラ間における投影画素値の分散を算出し、
   前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することを特徴とする請求項１に記載の方法。
3. 前記第１の整形ステップは、
   ３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、
   前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことを特徴とする請求項１または２に記載の方法。
4. 前記第１の収束ステップは、
   前記第１の整形ステップで整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出ステップで入力とした直前のＶｉｓｕａｌ Ｈｕｌｌを比較し、
   表面として指定したボクセルより内側のボクセルが削られていない場合を整形が収束したと判定することを特徴とする請求項３に記載の方法。
5. 前記評価ステップは、
   各撮影カメラ視点で、前記３次元形状モデルから生成される自由視点画像と前記カメラ画像との差分画像を抽出することで、該３次元形状モデルのテクスチャ状態を評価することを特徴とする請求項１から４のいずれか１項に記載の方法。
6. 前記第２の整形ステップは、
   各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、
   前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、
   背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことを特徴とする請求項５に記載の方法。
7. 前記第２の収束ステップは、
   前記第２の整形ステップで整形された３次元形状モデルと前記評価ステップで入力とした直前の３次元形状モデルを比較し、
   削られるボクセル数が一定数以下である場合を整形が収束したと判定することを特徴とする請求項６に記載の方法。
8. 多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、
   各撮像カメラの被写体シルエット画像から視体積交差法により復元されたＶｉｓｕａｌ Ｈｕｌｌあるいは整形されたＶｉｓｕａｌ Ｈｕｌｌを入力とし、該Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、
   前記オブジェクトらしさに関する尤度をもとに当該Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、
   前記第１の整形手段で整形されたＶｉｓｕａｌ Ｈｕｌｌと前記算出手段で入力とした直前のＶｉｓｕａｌ Ｈｕｌｌとの比較をもとにＶｉｓｕａｌ Ｈｕｌｌの整形が収束したか否かを判定し、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束したと判定されるまで、前記第１の整形手段で整形されたＶｉｓｕａｌ Ｈｕｌｌを前記算出手段の入力として、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、
   前記第１の収束手段で整形が収束したと判定されたＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルあるいは整形された３次元形状モデルを入力とし、該３次元形状モデルのテクスチャ状態を評価する評価手段と、
   前記３次元形状モデルのテクスチャ状態の評価をもとに該３次元形状モデルの整形を行う第２の整形手段と、
   前記第２の整形手段で整形された３次元形状モデルと前記評価手段で入力とした直前の３次元形状モデルとの比較をもとに３次元形状モデルの整形が収束したか否かを判定し、前記３次元形状モデルの整形が収束したと判定されるまで、前記第２の整形手段で整形された３次元形状モデルを前記評価手段の入力として、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段と、
   して機能させ、３次元形状モデルを復元することを特徴とするプログラム。