JP2004280776A - 画像内のオブジェクトの形状を決定する方法 - Google Patents

Abstract

【課題】本方法は、画像からオブジェクトの形状を決定する。
【解決手段】オブジェクトをビジュアルハル内に完全に包含できるように、オブジェクトよりも大きなビジュアルハルが構築される。オブジェクトの画像は、カメラによって取得される。ビジュアルハルは、カメラの位置および姿勢に従って画像に投影される。画像内のシードピクセルが選択される。このシードピクセルは、投影されたビジュアルハル上に位置し、領域が、各シードピクセルの回りに成長される。各領域は、シードピクセルに類似した近傍ピクセルを含む。次に、ビジュアルハルのサイズが、成長した領域に従って縮小され、オブジェクトの２次元形状が決定される。異なった視点からの複数の画像を用いると、３次元形状を決定することができる。
【選択図】図２

Description

本発明は、総括的には、コンピュータビジョンに関し、より具体的には、画像からのオブジェクトの分割に関する。

コンピュータグラフィックスおよびコンピュータビジョンの分野では、仮想現実のウォークスルー、アニメーション、ソリッドモデルリング、視覚化、マルチメディア、ならびにオブジェクト検出およびオブジェクト認識に使用することができる正確な３次元（３Ｄ）モデルを構築する必要がある。

３次元ディジタイザは、現実世界のオブジェクトからモデルを生成するのによく用いられる。システム全体のコストだけでなく、解像度、再現性、精度、信頼性、速度、および使い易さの検討は、あらゆるデジタル化システムの構成の中心になる。多くの場合、デジタル化システムの設計には、品質と性能との間の一連のトレードオフが伴う。

従来の３Ｄディジタイザは、システム性能を評価するために幾何学的品質（geometric quality）の測定に焦点を合わせていた。このような測定は、客観的なものではあるが、高品質のレンディションという全体的な目標に間接的にしか関係しない。ほとんどの３Ｄディジタイザシステムでは、モデルのレンダリングの品質は、大部分、オブジェクトについて取得された画像の個数と組み合わされた距離精度の結果である。

従来技術のディジタイザには、接触式ディジタイザ（contact digitizer）、アクティブ構造化光距離画像システム（active structured-light range-imaging system）、およびパッシブステレオ深度抽出（passive stereo depth-extraction）が含まれる。調べるには、Beslの「Active Optical Range Imaging Sensors」Advances in Machine Vision, Springer-Verlag, pp. 1-63, 1989を参照されたい。

レーザ三角測量および飛行時間計測式ポイントディジタイザ（time-of-flight point digitizer）は、よく知られた他のアクティブデジタル化アプローチである。レーザ測距システムは、走査されて別々に取得された距離画像を整列するために、個々の位置合わせステップを必要とすることが多い。アクティブディジタイザは、デジタル化されるオブジェクトに光を照射するので、テクスチャの情報および形状の情報の双方を同時に取り込むことは難しい。これは、距離画像をテクスチャと共に位置合わせする問題を提起する。

他のシステムでは、複数の狭帯域の照明、例えば赤のレーザ、緑のレーザ、および青のレーザが、照準線に沿って表面の色彩推定値を取得するために用いられる。しかしながら、これは、現実的な照明環境でオブジェクトを取り込むことには役に立たない。

パッシブディジタイザは、単一のカメラまたはステレオカメラをベースにすることができる。パッシブディジタイザは、オブジェクトのテクスチャが不十分でない場合には、形状およびテクスチャの双方を取得するために元画像を用いることができるという利点を有する。

イメージベースレンダリングシステムを用いることもできる。これについては、Nishino, K.、Y. Sato、およびK. Ikeuchi著の「Eigen-Texture Method: Appearance Compression based on 3D Model」Proc. of Computer Vision and Pattern Recognition, 1:618-624, 1999、ならびに、Pulli, K.、M. Cohen、T. Duchamp、H. Hoppe、L. Shapiro、およびW. Stuetzle著の「View-based Rendering: Visualizing Real Objects from Scanned Range and Color Data」Proceedings of the 8th Eurographics Workshop on Rendering, pp. 23-34, 1997を参照されたい。これらのシステムでは、画像および幾何学的配列は、明示的な一貫性の保証なしに別々に取得される。

イメージベースビジョンシステムでは、実行される２つの基本タスクが存在する。第１のタスクは、固有パラメータが既知であると仮定して、カメラの位置を決定することである。固有パラメータを較正する方法は、よく知られている。固定されたマルチカメラシステムを較正する方法は、２００１年８月６日に出願された「Hand-Held 3D Vision System」という発明の名称の米国特許出願第０９／９２３，８８４号において、Beardsleyにより記述されている。この出願は、参照により本明細書に援用される。

このビジョンシステムの第２のタスクは、画像を、既知のカメラ位置と共に用いて、正確な形状情報を抽出することである。通常、オブジェクトの形状は、オブジェクトを画像化するピクセルから求められる。したがって、画像のこれらピクセルを特定することが必要になってくる。これは、オブジェクト分割（object segmentation）と呼ばれる。

最もうまくいくオブジェクト分割方法は、オブジェクトが存在しない背景画像を利用し、その後に、背景差分を求めることである。通常、前景画像のピクセル輝度が、背景画像の対応するピクセルから減算され、差分画像が生成される。背景画像は、そのシーン内に前景画像が存在しないことがわかっている時に前もって取得しておくことができる。差分画像において低輝度値を有するいずれのピクセルも、背景の一部であるとみなされ、高輝度値を有するピクセルは、オブジェクトの一部と推定される。背景差分方法を調べるには、Toyama等著の「Wallflower: Principles and Practice of Background Maintenance」Proceedings of the International Conference on Computer Vision, pp. 255-261, 1999を参照されたい。

通常、従来技術の分割方法は、制御されたカメラを、制御された背景と共に利用する。例えば、カメラは、既知の角度位置および既知の背景で、ターンテーブル上のオブジェクトに向けられる。背景は、既知の色彩であるか、または既知のパターン／色彩を示すアクティブディスプレイであり得る。これらのタイプのシステムは、操作するのに面倒であり、かつ、高い費用を要する。

したがって、制御されていない環境において、安価なハンドヘルドカメラで分割を実行することが望まれる。

本発明は、画像からオブジェクトの形状を決定する方法を提供する。オブジェクトをビジュアルハル（visual hull）内に完全に包含できるように、オブジェクトよりも大きなビジュアルハルが構築される。オブジェクトの画像は、カメラによって取得される。ビジュアルハルは、カメラの位置および姿勢に従って画像に投影される。

画像内のシードピクセルが、選択される。このシードピクセルは、投影されたビジュアルハル上に位置し、領域が、各シードピクセルの回りに成長される。各領域は、シードピクセルに類似した近傍ピクセルを含む。次に、ビジュアルハルのサイズが、成長した領域に従って縮小され、オブジェクトの２次元形状が決定される。異なった視点からの複数の画像を用いると、３次元形状を決定することができる。

システム構成
図１および図２は、本発明者らの発明に従ってハンドヘルドカメラ１２０により取得されたシーンの画像からオブジェクト１０１を分割して、出力デバイス１４０上にレンダリングするのに適したオブジェクトの３Ｄモデル１０２を生成するシステム１００および方法２００をそれぞれ示している。カメラ１２０には、形状カメラ１２１およびオプションとしての位置カメラ１２２が含まれる。シーンの一部には、既知の背景１３０が含まれる。

形状カメラ１２１は、オブジェクト１０１の形状を決定するためにのみ用いられる。したがって、正確な形状データを得るために、視野１２３は、狭い方が好ましい。位置カメラ１２２は、形状カメラの位置（姿勢を含む）を決定するために用いることができる。したがって、視野１２４は、広い方が好ましい。形状カメラの位置および姿勢を決定するための多くの手法が、従来から知られていることが理解されるべきである。位置カメラを用いることは、従来技術の手法に対して新規な拡張を提供するものである。

カメラの視野１２３および視野１２４が用いられる場合に、これらの視野は、従来のステレオカメラのように、重なり合うようにする必要はない。これらの視野は、切り離すことができ、かつ、オブジェクトは、背景１３０の前に配置される必要はない。実際には、オブジェクトの画像および背景の画像は、完全に切り離すことができる。カメラ１２０は、互いに固定して連結され、かつ構成される。これについては、上記Beardsleyを参照されたい。換言すると、位置カメラと形状カメラとの空間的な関係は、予め定められている。

システム１００は、本発明による方法２００を実施する従来のプロセッサ１６０も含む。このプロセッサ１６０は、カメラ１２０に結合され、メモリおよびＩ／Ｏデバイスを有する。方法２００は、オブジェクトについての初期近似ビジュアルハル（ＶＨ（visual hull））１０３を定義する。簡単にするために、ビジュアルハル１０３の初期形状は、例えば立方体または半球として、メモリにパラメータとして定義することができる。すなわち、ビジュアルハルは、比較的シンプルにすることができる。オブジェクト１０１をビジュアルハル１０３内に完全に包含可能であることが、唯一要求されることである。

システム動作
動作中、ユーザは、上面、前面、背面、側面などの異なる方向からオブジェクト１０１を走査する。走査は、画像１２５および１２６を取得することにより行われる。形状カメラ１２１は、オブジェクト１０１の全体的な方向に向けられ、位置カメラは、背景１３０の全体的な方向に向けられる。形状カメラは、既知の背景１３０のいずれも視野に入れる必要はなく、位置カメラは、オブジェクト１０１を視野に入れる必要は一切ないことに留意されたい。上述したように、位置の決定は、他の手法を用いて実行することができる。したがって、従来技術のスタジオタイプのシステムと比較すると、取得可能なオブジェクトのビューの個数は、比較的制約を受けない。

形状画像１２５は、図２に示すように処理される。位置画像１２６、または他の公知の手段は、互いに予め定められた空間的関係を有する形状カメラ１２１の位置および姿勢２１１を決定する（２１０）ために用いられる。この情報は、形状画像１２５にビジュアルハル１０３を投影する（２２０）ために用いられる。符号２２１を参照されたい。

次に、投影されたビジュアルハル１０３上にある形状画像１２５のピクセル２３１が、シードポイント（seed point）として選択される（２３０）。それぞれのシードポイントに対して、領域成長（region growing）２５０が適用される。領域成長は、よく知られている。

シードポイントから開始して、近傍のピクセルは、ある予め定められた類似判断基準を満たすならば、領域内に受け入れられる。このプロセスが、新しく受け入れられたポイントに対して再帰的に続けられる。ピクセルを領域内に受け入れるための好ましい類似判断基準は、勾配に基づくもの（gradient-based）である。第１に、シードピクセルの勾配（gradient）の大きさが検査され、この勾配が、予め定められた閾値より小さい場合にのみ、領域成長が進行する。第２に、近傍のピクセルの勾配の大きさが、上記予め定められた閾値より小さい場合には、その近傍のピクセルは、領域に加えられる。このプロセスが、すべてのシードピクセルに対して再帰的に続けられる。

オブジェクトの表面ピクセルは、閾値よりも大きな勾配の大きさを有するので、領域成長は、画像内のオブジェクトの表面を横切らないという仮定が成り立つ。

領域成長が、すべてのシードポイントに対して完了すると、受け入れられたピクセルは、オブジェクトの外部にあり、背景の一部であると仮定することができる。その理由は、そのシードポイントが、オブジェクトの外部にあり、成長した領域は、画像の勾配を含まないからである。最後に、ビジュアルハル１０３のサイズが、成長した領域に従って縮小され、オブジェクト１０１の形状に近づく。

これらのステップは、ビジュアルハルの形状が安定するまで、画像のすべてのシードポイントに対して繰り返される。この時点で、ビジュアルハル１０３は、オブジェクト１０１の形状にほぼ一致し、この最終的なビジュアルハル１０３が、オブジェクト分割用に使用可能となる。

基本的な前提は、オブジェクトの表面が、画像の勾配と関連しており、その結果、領域成長が、オブジェクト自体の内部には決して進行しないということである。これを確実にするために、画像の勾配検出用に安全側に低い閾値が用いられる。目標は、常に、オブジェクトの初期シルエットを過大評価し、決して過小評価しないことである。テクスチャが強い背景に対しては、領域成長は、ほとんど効果を有しないことがある。しかしながら、何千もの画像に対する走査戦略において、このビジュアルハルは、最終的には、オブジェクトの表面に一致することになる。

変形として、オブジェクトおよび背景１３０の双方の一部を含む任意の画像に背景差分を適用することにより、初期ビジュアルハルのより良い推定を行うことができる。この粗い推定は、次に、オブジェクトの形状を過大評価するために拡大することができる。

本発明について、好ましい実施の形態を例にして記述してきたが、本発明の精神および範囲内において、他のさまざまな適用および変更を行い得ることが理解されるであろう。したがって、添付した特許請求の範囲の目的は、本発明の真の精神および範囲内に含まれるすべての変形および変更を網羅することである。

本発明による、ハンドヘルドカメラにより取得された画像からオブジェクトを分割するシステムの概略図である。 本発明による、ハンドヘルドカメラにより取得された画像からオブジェクトを分割する方法のフローチャートである。

Claims (11)

1. 画像内のオブジェクトの形状を決定する方法であって、
   オブジェクトをビジュアルハル内に完全に包含できるように、前記オブジェクト用の前記ビジュアルハルを構築することと、
   カメラにより前記オブジェクトの画像を取得することと、
   前記カメラの位置および姿勢に従って前記画像に前記ビジュアルハルを投影することと、
   前記投影されたビジュアルハル上に位置するピクセルをシードピクセルとして選択することと、
   各領域が前記シードピクセルに類似する近傍ピクセルを含む、各シードピクセルの回りの領域を成長させることと、
   前記オブジェクトの２次元形状を決定するために、前記成長した領域に従うサイズに前記ビジュアルハルを縮小することと
   を含む方法。
2. 前記オブジェクトの３次元形状を決定するために、複数の視点からの複数の形状画像についての取得、投影、選択、成長および縮小を行うことをさらに含む
   請求項１に記載の方法。
3. 縮小されたサイズのビジュアルハルに従って前記形状画像から前記オブジェクトを分割することをさらに含む
   請求項１に記載の方法。
4. 前記カメラは、狭い視野を有する
   請求項１に記載の方法。
5. 前記ビジュアルハルの初期形状は、パラメータにより定義される
   請求項１に記載の方法。
6. 初期ビジュアルハルは、立方体である
   請求項５に記載の方法。
7. 初期ビジュアルハルは、球である
   請求項５に記載の方法。
8. 類似の判断基準は、前記ピクセルの勾配の大きさに基づくものである
   請求項１に記載の方法。
9. 前記ビジュアルハルの初期形状を定義するために、画像差分を適用することをさらに含む
   請求項１に記載の方法。
10. 前記カメラの位置および姿勢を決定するために、前記カメラに対して固定された別のカメラにより既知の背景の位置画像を取得することをさらに含む
    請求項１に記載の方法。
11. 前記カメラと前記他方のカメラとの視野は、切り離されている
    請求項１０に記載の方法。

Images