JP4789745B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、撮像画像上で検出される画像特徴に基づいて、撮影装置もしくは観測対象物体の位置または姿勢のすくなくとも１つを算出するものである。

近年、現実空間と仮想空間を違和感なく融合させて提示する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ）技術の研究が盛んである。ＭＲ技術の中でも、現実空間に仮想空間を重ね合わせて提示するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ、拡張現実感、増強現実感とも呼ばれる）技術が特に注目を集めている。

ＡＲの画像提示装置は、主にビデオシースルー型または光学シースルー型のヘッドマウントディスプレイ（ＨＭＤ）により実現される。ビデオシースルー型の場合には、ＨＭＤ内のビデオカメラ等の撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報など）の画像を重畳した画像が提示される。光学シースルー型の場合には、ＨＭＤの位置及び姿勢に応じて生成された仮想空間の画像を透過型のディスプレイに表示し、観察者の網膜上で現実空間と仮想空間が合成される。

ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに正確に行うかであり、従来より多くの取り組みが行われてきた。ＡＲにおける位置合わせの問題は、ビデオシースルー型ＨＭＤを利用する場合には、シーン中における（すなわちシーン中に規定される基準座標系における）撮像装置の位置及び姿勢を求める問題となる。また光学シースルー型のＨＭＤを用いる場合には、シーン中におけるＨＭＤの位置及び姿勢を求める問題となる。

前者の問題を解決する方法として、シーン中に人工的な指標を配置し、指標を用いて基準座標系における撮像装置の位置及び姿勢を求めることが一般的に行われている。基準座標系における撮像装置の位置及び姿勢は、撮像装置が撮影した画像内における該指標の投影位置と、既知の情報である指標の基準座標系における３次元位置との対応関係から求められる。また後者の問題を解決する方法として、ＨＭＤに撮像装置を装着し、前者と同様な方法によって該撮像装置の位置及び姿勢を求め、それに基づいてＨＭＤの位置及び姿勢を求めることが一般的に行われている。

画像座標と３次元座標との対応をもとに撮像装置の位置及び姿勢を求める方法は、写真測量やコンピュータビジョンの分野において古くから提案されている。非特許文献１では、３点の対応をもとに非線形連立方程式を解くことによって撮像装置の位置及び姿勢を求める方法が開示されている。また、非特許文献２では、概略の撮像装置の位置及び姿勢を複数の点の画像座標と３次元座標との対応をもとに繰り返し計算により最適化することによって撮像装置の位置及び姿勢を求める方法が開示されている。

位置合わせ以外のＡＲの重要な課題の一つとして、現実空間と仮想空間との前後関係の判定を必要とするオクルージョンの問題がある。例えば仮想物体が手などの現実物体により隠蔽される位置にある場合には、現実物体を仮想物体より手前に表示する必要がある。オクルージョンを考慮しない場合には、仮想物体が常に現実物体より手前に表示されるため、観察者は違和感を感じてしまう。そのため特許文献１では、隠蔽する現実物体の色（例えば手の色）をあらかじめ設定し、撮像画像において該隠蔽する現実物体の色を持つ領域には仮想物体を描画しないことでオクルージョンの問題を解決している。

また非特許文献１１では、ＨＭＤに内蔵された２台のカメラの画像を利用して、ステレオマッチングにより現実空間の奥行き情報を求めることでオクルージョンの問題を解決している。

近年計算機の高速化などにともなって、人工的な指標を用いるのではなく、シーン中に元来存在する特徴（以下、自然特徴）を利用する位置合わせの研究が盛んに行われている。

非特許文献３、４では、画像中でのエッジと観察対象の３次元モデルとの対応をもとに撮像装置の位置及び姿勢を求める方法が開示されている。これらの手法では、まず（１）撮像装置の概略位置及び概略姿勢を用いて３次元モデルを撮影画像上に投影する。概略位置及び概略姿勢は例えば前フレームにおける撮像装置の位置及び姿勢を利用する。次に、（２）投影されたモデルを構成する線分を画像上で等間隔になるように分割し、各分割点ごとに投影された線分と垂直な方向に濃度勾配が極大となる点（エッジ）を対応点として探索する。さらに、（３）各分割点ごとに探索によって見つかった対応点と、対応する線分との画像上での距離が最小になるように撮像装置の位置及び姿勢の補正値を求め、撮像装置の位置及び姿勢を更新する。更新された撮像装置の位置及び姿勢を用いて再度３次元モデルを撮影画像上に投影し、（３）の処理を前述の距離の和が収束するまで繰り返すことにより、最終的な撮像装置の位置及び姿勢を得る。

前述の（２）の処理では、撮像装置の概略位置及び概略姿勢の精度が悪い場合に、誤った点を対応点として検出する誤検出が発生する場合がある。誤検出がある場合には、（３）の処理において繰り返し計算が収束しなかったり、得られる撮像装置の位置及び姿勢の精度が低いものになってしまうため、ＡＲの位置合わせの精度が低下する。そこで、非特許文献３、４では、ロバスト推定手法の一つであるＭ推定を用いて、前述の対応点と線分との距離が大きいデータについては重みを小さく、距離が小さいデータについては重みを大きくして、重み付き誤差の和を最小化することにより誤検出の影響を排除している。また、非特許文献５では、（２）の探索処理において複数の候補点を抽出して保持しておき、（３）の処理を繰り返すごとに複数候補点の中から最も投影された線分に近い点を選択し直すことで誤検出の影響を排除している。また、非特許文献６では、画像上での線分周辺の見えの情報を保持しておくことにより、照明変化や視点変化に起因する誤検出の影響を排除している。

一方、非特許文献７、８では、画像上でのエッジではなく、点特徴を用いて撮像装置の位置及び姿勢を求める方法が開示されている。ここで点特徴とは、画像上での位置（画像座標）及びその周辺の画像情報によって表される特徴であり、例えばＨａｒｒｉｓオペレータ，Ｍｏｒａｖｅｃオペレータなどによって検出される。非特許文献７では、３次元空間において同一平面上に存在する点に対応する点特徴を連続フレーム間で追跡し、これらの点の平面上での位置と対応する点特徴の画像座標との関係に基づいて、撮像装置の位置及び姿勢の算出を行っている。非特許文献８では、画像上でのスケール変化及び回転について不変な特徴量を持つ点特徴を用いて、該点特徴の画像座標と３次元座標との対応をもとに撮像装置の位置及び姿勢を求めている。非特許文献８では、連続フレーム間で点特徴を追跡するのではなく、予め用意された点特徴データベースと現フレームで検出された点特徴とのマッチングをとることにより点特徴の識別を行っている。点特徴を利用する場合でも、エッジの場合と同様に、誤検出の問題が発生する。非特許文献７、８では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムにより誤検出された点特徴を排除している。ＲＡＮＳＡＣを用いた誤検出排除では、ランダムに対応点を選出して撮像装置の位置及び姿勢を算出し、その算出値に同意する対応点の数が最も多い場合の対応点の集合に含まれない対応点が誤検出として排除される。

一方、人工的な指標を利用する場合に、指標の誤検出をクロマキーを利用して防止する従来手法がある。オーラッド社のバーチャルスタジオシステムＰｒｏＳｅｔ、ＳｍａｒｔＳｅｔでは、通常の青色または緑色のクロマキー処理を利用して背景と人物を分離している。この際に、背景上に背景と類似した色で人工的な位置合わせ用パターンを設置しておき、該位置合わせ用パターンの投影像を利用してカメラの位置姿勢推定を行っている。該位置合わせ用パターンはクロマキー処理により背景として人物像と分離されるため、人物像上で位置合わせ用パターンを誤検出することがなく、安定的なカメラの位置姿勢推定が可能である。また、位置合わせ用パターンはクロマキー処理により背景として削除されるため、背景上にコンピュータグラフィックスが描画された合成画像において位置合わせ用パターンが観察されることはない。
特開２００３−２９６７５９ Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ Ｍ．Ｎｏｌｌｅ："Ｒｅｖｉｅｗ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｓｏｌｕｔｉｏｎｓ ｏｆ ｔｈｅ ｔｈｒｅｅ ｐｏｉｎｔ ｐｅｒｓｐｅｃｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ"，Ｉｎｔ’ｌ．Ｊ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４． Ｄ．Ｇ．Ｌｏｗｅ："Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ，"ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１． Ｔ．Ｄｒｕｍｍｏｎｄ ａｎｄ Ｒ．Ｃｉｐｏｌｌａ，"Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ，"ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．９３２−９４６，２００２． Ａ．Ｉ．Ｃｏｍｐｏｒｔ，Ｅ． Ｍａｒｃｈａｎｄ，ａｎｄ Ｆ．Ｃｈａｕｍｅｔｔｅ，"Ａ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｅｒ ｆｏｒ ｍａｒｋｅｒｌｅｓｓ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，"Ｐｒｏｃ． Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０３），ｐｐ．３６−４５，２００３． Ｌ．Ｖａｃｃｈｅｔｔｉ，Ｖ．Ｌｅｐｅｔｉｔ，ａｎｄ Ｐ．Ｆｕａ，"Ｃｏｍｂｉｎｉｎｇ ｅｄｇｅ ａｎｄ ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ａｃｃｕｒａｔｅ ３Ｄ ｃａｍｅｒａ ｔｒａｃｋｉｎｇ，"Ｐｒｏｃ．Ｔｈｅ Ｔｈｉｒｄ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０４），ｐｐ．４８−５７，２００４． Ｈ．Ｗｕｅｓｔ，Ｆ．Ｖｉａｌ，ａｎｄ Ｄ．Ｓｔｒｉｃｋｅｒ，"Ａｄａｐｔｉｖｅ ｌｉｎｅ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｅｓ ｆｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，"Ｐｒｏｃ．Ｔｈｅ Ｆｏｕｒｔｈ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０５），ｐｐ．６２−６９，２００５． Ｇ．Ｓｉｍｏｎ，Ａ．Ｗ．Ｆｉｔｚｇｉｂｂｏｎ，ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎ，"Ｍａｒｋｅｒｌｅｓｓ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｌａｎａｒ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ｔｈｅ ｓｃｅｎｅ，"Ｐｒｏｃ．Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ２０００（ＩＳＡＲ２０００），ｐｐ．１２０−１２８，２０００． Ｉ．Ｓｋｒｙｐｎｙｋ ａｎｄ Ｄ．Ｇ．Ｌｏｗｅ，"Ｓｃｅｎｅ ｍｏｄｅｌｌｉｎｇ，ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ，"Ｐｒｏｃ．Ｔｈｅ Ｔｈｉｒｄ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０４），ｐｐ．１１０−１１９，２００４． Ｋ．Ｓａｔｏｈ，Ｓ．Ｕｃｈｉｙａｍａ，Ｈ．Ｙａｍａｍｏｔｏ，ａｎｄ Ｈ．Ｔａｍｕｒａ，"Ｒｏｂｕｓｔ ｖｉｓｉｏｎ−ｂａｓｅｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｕｔｉｌｉｚｉｎｇ ｂｉｒｄ’ｓ−ｅｙｅ ｖｉｅｗ ｗｉｔｈ ｕｓｅｒ’ｓ ｖｉｅｗ，"Ｐｒｏｃ．Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０３），ｐｐ．４６−５５，２００３． Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ，"Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，"Ｐｒｏｃ．４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．，ｐｐ．１４７−１５１，１９９８． Ｎ．Ｙｏｋｏｙａ，Ｈ．Ｔａｋｅｍｕｒａ，Ｔ．Ｏｋｕｍａ，ａｎｄ Ｍ．Ｋａｎｂａｒａ，"Ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｂａｓｅｄ ｖｉｄｅｏ ｓｅｅ−ｔｈｒｏｕｇｈ ｍｉｘｅｄ ｒｅａｌｉｔｙ，"ｉｎ（Ｙ．Ｏｈｔａ＆Ｈ．Ｔａｍｕｒａ，ｅｄｓ．）Ｍｉｘｅｄ Ｒｅａｌｉｔｙ−Ｍｅｒｇｉｎｇ Ｒｅａｌ ａｎｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄｓ，Ｃｈａｐｔｅｒ ７，Ｏｈｍｓｈａ−Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，１９９９．

従来技術で述べたオーラッド社による指標の誤検出を回避する手法は、バーチャルスタジオ向けの手法である。バーチャルスタジオでは背景から人物を抽出し、背景部分にコンピュータグラフィクスによる画像を描画し、人物画像と合成する。そのため背景をブルーバックにすることが可能であり、クロマキー処理による背景抽出を行うことが可能であった。しかしながら、ＡＲでは背景画像上にコンピュータグラフィクスの画像を重畳描画する。よって、クロマキー処理などの単純な処理で背景を抽出することが不可能であるため，背景画像上の自然特徴の誤検出を回避するのにオーラッド社の手法を適用することは不可能であった。

一方、従来、位置合わせのための自然特徴の検出処理と、仮想物体と手などの現実の隠蔽物体との前後判定の処理は別々に行われていた。隠蔽物体が仮想物体より手前にある画像領域では、位置合わせに利用される自然特徴が本来観察されないはずである。そのため、前後判定の情報を画像特徴検出に利用することにより誤検出を防止することが期待できる。しかしながら、従来は前後判定の情報を自然特徴検出に利用することはなかった。

また、隠蔽物体の位置及び姿勢を計測する手段がある場合には、該計測手段の計測結果を利用して観察対象物体と隠蔽物体との前後関係を判定することが可能である。しかしながら、従来は隠蔽物体の位置及び姿勢計測の情報を自然特徴検出に利用することはなかった。

本発明は以上の問題に鑑みてなされたものであり、観察対象物体が隠蔽物体により隠蔽される場合の画像特徴の誤検出を防止し、位置合わせの安定性を向上させることを目的とする。

また本発明の他の目的は、隠蔽物体の位置姿勢を計測する手段がある場合に、該計測手段から得られる情報を利用することで、観察対象物体が隠蔽物体により隠蔽される場合の画像特徴の誤検出を防止し、位置合わせの安定性を向上させることを目的とする。

上記目的を達成するために本願請求項１記載の発明は以下の構成を備える。

すなわち、観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、前記撮像装置を計測した位置姿勢を入力する第一入力手段と、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置若しくは前記観察対象物体の位置若しくは姿勢を補正する補正手段とを備えることを特徴とする情報処理装置。

本発明によれば、仮想物体と隠蔽物体との前後判定の情報を利用して自然特徴検出を行うことにより、観察対象が隠蔽物体により隠蔽される場合の自然特徴の誤検出を防止し、位置合わせの安定性を向上させることができる。

また、本願請求項９記載の発明によれば、隠蔽物体の位置姿勢を計測する手段がある場合に、該計測手段から得られる情報を利用することで、観察対象が隠蔽物体により隠蔽される場合の自然特徴の誤検出を防止し、位置合わせの安定性を向上させることができる。

（第一の実施形態）
本実施形態では、画像上のエッジを利用した位置合わせ手法を用いた場合について説明する。より詳細には、観察者が観察する観察対象物体が手によって遮蔽される場合に、観察者の観察対象物体に対する位置及び姿勢を求める位置姿勢計測装置及び位置姿勢計測方法について説明する。

図１は、本実施形態における位置姿勢計測装置１の構成を示している。同図に示したように、位置姿勢計測装置１は、隠蔽物体定義部１１０、画像入力部１２０、隠蔽領域検出部１３０、画像特徴検出部１４０、位置姿勢算出部１５０によって構成されており、画像入力部１２０は撮像装置１００に接続されている。

図２は、本実施形態における位置姿勢計測方法の利用場面を示す図である。観察者には撮像装置１００が装着されており、観察対象物体１０は観察者の手２０により部分的に遮蔽されている。本実施形態における位置姿勢計測装置１は、観察対象物体１０に対する撮像装置１００の位置及び姿勢を求める．本実施形態では、仮想物体は隠蔽物体、すなわち観察者の手より奥にあるものとする。

隠蔽物体定義部１１０では、位置姿勢計測を行う前に予め隠蔽物体の定義を行い、不図示の記憶部に記憶する。本実施形態では、隠蔽物体定義部１１０において手の色を定義し、画像上において該手の色を持つ画素は手によって隠蔽されているとする。手の色の定義は、例えば手の色の代表値をＲＧＢの３要素で表し、各要素がとりうる範囲を設定してもよい。また、ＲＧＢの各要素を直交する３軸としたＲＧＢ空間における楕円体領域として定義してもよい。さらに、ＲＧＢではなく、ＹＵＶ色空間のうちの色成分であるＵＶの各々を直交する２軸としたＵＶ平面における楕円領域として定義してもよい。手の色の定義方法はこれに限るものではなく、色または色領域を表すものであれば他の定義方法であってもよい。

画像入力部１２０は、撮像装置１００によって撮像された画像を位置姿勢計測装置１に入力する。画像入力部１２０は、撮像装置の出力がＮＴＳＣなどのアナログ出力であればビデオキャプチャボードによって実現される。また撮像装置の出力がＩＥＥＥ１３９４などのデジタル出力であれば、例えばＩＥＥＥ１３９４インタフェースボードによって実現される。

隠蔽領域検出部１３０は、画像入力部１２０によって入力された撮影画像において、隠蔽物体定義部１１０において定義された隠蔽物体によって観察対象物体が隠蔽される隠蔽領域を検出する。検出された隠蔽領域は画像特徴検出部１４０に出力される。

画像特徴検出部１４０は、画像入力部１２０によって入力された画像上の画像特徴を検出する。検出する際には、隠蔽領域検出部１３０によって検出された隠蔽領域以外の領域においてのみ検出を行う。画像特徴の検出結果は位置姿勢算出部１５０に出力される。

位置姿勢算出部１５０は、画像特徴検出部１４０が検出した画像特徴の情報に基づいて、撮像装置１００の観察対象物体１０に対する位置及び姿勢を算出する。

次に、本実施形態における位置姿勢計測方法の処理手順について説明する。図３は、本実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。

まずステップＳ１０１０では初期化を行う。ステップＳ１０１０における初期化では、隠蔽物体の定義及び観察対象物体に対する撮像装置の概略の位置及び姿勢の設定を行う。本実施形態における隠蔽物体は手であるので、手の色を表す色領域を設定する。設定方法としては、例えば隠蔽物体である手の画像を予め撮影し、マウスにより画像内の手領域を指定してその領域内の色をＵＶ平面にマッピングし、それを包含するようなＵＶ平面上の楕円を求めてそれを手の色を表す色領域として設定する。また、後述する本実施形態における位置姿勢計測方法は、概略の撮像装置の位置及び姿勢を、画像特徴の情報を使って更新する方法であるので、位置姿勢計測を開始する場合には予め概略の撮像装置の位置及び姿勢を与える必要がある。そこで、例えば予め決まった位置及び姿勢を設定しておき、撮像装置をその位置及び姿勢になるように移動するようにしてもよい。または、非特許文献４における画像内で検出するだけで認識可能な人工的な指標を配置して各頂点の３次元位置を計測しておき、該人工的な指標の各頂点の画像座標と３次元位置との対応から撮像装置の位置及び姿勢を求めて概略の撮像装置の位置及び姿勢としてもよい。さらに、撮像装置に磁気式や光学式、超音波式などの６自由度位置姿勢センサを装着し、該センサから得られる位置及び姿勢を概略の撮像装置の位置及び姿勢としてもよい。人工的な指標と前述の６自由度位置姿勢センサや３自由度の姿勢センサ、３自由度の位置センサを併用して計測される位置及び姿勢を概略の撮像装置の位置及び姿勢としてもよい。初期化が終ったらステップＳ１０２０に進む。

ステップＳ１０２０では、撮像装置１００が撮像した画像を画像入力部１２０を介して位置姿勢計測装置１に取り込む。ステップＳ１０２０で取り込まれた画像は、隠蔽領域検出部１３０及び画像特徴検出部１４０に送られる。

次にステップＳ１０３０において、隠蔽領域の検出を行う。ステップＳ１０１０において設定した手の色を表す色領域に対応する画素を画像中から検出し、ラベリング処理を行って連結領域を生成する。さらに連結領域ごとに膨張処理を行ってノイズを除去する。その結果残った連結領域を隠蔽領域として画像特徴検出部１４０に出力する。図１０は、本実施形態における隠蔽領域検出を説明する図である。図１０（ａ）は、撮像画像であり、観察対象物体が手によって隠蔽されている。撮像画像のどの画素が隠蔽されているかがわかるように、各画素が隠蔽されているか否かを記憶するフラグＦｉ（ｉ＝１，２，・・・，ｎ）を用意する。ここで、ｎは撮像画像の画素数である。まず始めにＦｉをすべて値０にセットする。次に、隠蔽領域に該当する画素に対応するフラグＦｉに値１をセットする。このフラグを隠蔽領域を示すデータとして画像特徴検出部１４０に出力する。図１０（ｂ）は、フラグＦｉによって生成されるマスク画像である。画像特徴の検出は、マスク画像の白い部分に対してのみ行われる。

次にステップＳ１０４０において、モデル投影を行う。モデル投影とは、概略の撮像装置の位置及び姿勢に基づいて、観察対象物体の３次元モデルを画像上に投影することであるとする。モデル投影を行うためには、焦点距離や主点位置などのカメラの内部パラメータが既知である必要がある。本実施形態においては、カメラの内部パラメータは予め計測されてわかっているものとする。

図４は本実施形態における３次元モデルの定義方法を説明する図である。３次元モデルは、点の集合及び各点を結んで構成される面の情報、面を構成する線分の情報によって定義される。図４（ａ）左図に示すように、本実施形態における３次元モデルは点Ｐ１〜点Ｐ８の８点から構成される直方体であり、直方体の座標系のＸ軸を点Ｐ１から点Ｐ４に向かう方向に、Ｙ軸を点Ｐ５から点Ｐ１に向かう方向に、Ｚ軸を点Ｐ１から点Ｐ２に向かう方向に取る。また原点をＰ５に取る。図４（ａ）中央の図及び右図に示すように、直方体は面Ｆ１〜Ｆ６により構成されている。同様に、直方体は線分Ｌ１〜Ｌ１２により構成されている。図４（ｂ）に示すように、点Ｐ１〜点Ｐ８は３次元座標値によって表される。また図４（ｃ）に示すように、面Ｆ１〜Ｆ６は、面を構成する点のＩＤと、各点を接続する順番によって表される。また、線分Ｌ１〜Ｌ１２は、両端の点のＩＤによって表される。

図５は、ステップＳ１０４０における画像上への３次元モデルの投影を示す図である。図５（ａ）は撮影された画像そのものであり、図５（ｂ）が画像上に３次元モデルを投影した図である。連続フレーム間で撮像装置と観察対象物体との間に動きが生じた場合には、図５（ｂ）に示すように実際に撮影される物体と太線で示される３次元モデルの投影像との間にずれが生じる。図５（ｂ）において、破線で示される線分は、３次元モデルを構成する線分のうち、実際には隠れて見えない線分を表している。

次にステップＳ１０５０において、画像特徴検出を行う。画像特徴検出は以下のように行う。まず投影された３次元モデルの各線分を、画像上で等間隔になるような分割点を設定する。図６は３次元モデルの画像上での分割点を示す図である。分割点の総数をＮとし、各分割点をＤＰｉ（ｉ＝１，２，．．．，Ｎ）で表す。分割点の数Ｎは、画像上での分割点の間隔を変える事で制御できる。また、分割点の数が一定になるように、画像上での分割点間の間隔を逐次変更してもよい。

次に、図７に示すフローチャートを用いて、ステップＳ１０５０における画像特徴検出処理について説明する。まずステップＳ１１１０においてｉを１にセットする。次にステップＳ１１２０において、分割点ＤＰｉが可視かどうかの判定を行う。具体的には、分割点ＤＰｉが３次元モデルの他の面に隠蔽されている場合、すなわち図６の破線上の分割点である場合に分割点ＤＰｉは可視ではない。分割点ＤＰｉが可視かどうかの判定は、例えば非特許文献８に示されるように、グラフィクスハードウェアを利用して上述の３次元モデルを描画した後、該分割点を描画し、グラフィクスハードウェアにデプスバッファが更新されたかどうかを確認することで行える。分割点ＤＰｉが可視でない場合にはステップＳ１１５０に進み、可視である場合にはステップＳ１１３０に進む。

ステップＳ１１３０では、分割点ＤＰｉが、ステップＳ１０１０において設定された隠蔽物体に隠蔽されているかどうか判定を行う。具体的には、分割点ＤＰｉの画像座標に対応する隠蔽領域のフラグＦｊの値が１である場合には分割点ＤＰｉは隠蔽物体に隠蔽されていると判定し、フラグＦｊの値が０である場合には隠蔽されていないと判定する。隠蔽されていると判定された場合はステップＳ１１５０に進む。隠蔽されていないと判定された場合にはステップＳ１１４０に進んで画像特徴の検出を行う。

ステップＳ１１４０では、分割点ＤＰｉに対応する画像特徴の検出を行う。本実施形態における画像特徴はエッジである。図８は、本実施形態における画像特徴の検出方法を説明する図である。図８に示すように、各分割点において、投影された線分の法線方向に平行でかつ分割点を通過する線分（以下、探索ライン）上においてエッジを１次元探索する。なお、探索ライン上の画素の画像座標に対応する隠蔽領域のフラグＦｊの値が１である場合には該探索ライン上の画素上ではエッジ検出を行わない。また、探索ライン上の画素の画像座標が必ずしも整数値にならない場合が生じる。この場合には、例えば周辺４点の隠蔽領域のフラグＦｊの値を使って共１次内挿法により隠蔽領域のフラグの平均値を求め、この平均値が０．５より大きい場合には隠蔽されているとしてエッジ検出を行わないようにする。エッジは、探索ライン上において濃度勾配が極値をとる位置に存在する。本実施形態では、探索ライン上でエッジが複数存在する場合には、最も分割点に近いエッジを対応点とし、その画像座標と分割点の３次元座標を保持する。なお、本実施形態では最も分割点に近いエッジを対応点としているが、これに限るものではなく、濃度勾配の極値の絶対値が最も大きいエッジを対応点としてもよい。また、非特許文献７に示すように、１つではなく複数の点を対応点候補として保持しても本発明の本質が損なわれることはない。

ステップＳ１１５０ではｉを１増分し、ステップＳ１１６０に進む。すべての分割点ＤＰｉについて処理が終了している場合には終了し、終了していない場合にはステップＳ１１２０に戻る。

すべての分割点ＤＰｉについて処理が終ったら、ステップＳ１０６０において撮像装置の位置及び姿勢を算出する。ここで、分割点ＤＰｉのうち、ステップＳ１１４０において対応点を求めた分割点の数をＮｃとする。撮像装置の位置及び姿勢は、撮像装置の概略の位置及び姿勢を繰り返し計算により補正することで算出する。図９は線分の情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。図９では画像の水平方向をｘ軸、垂直方向をｙ軸にとっている。ある分割点の座標を（ｕ，ｖ）、該分割点が所属する線分Ｌの画像上での傾きをｘ軸に対する傾きθで表す。また、線分Ｌの法線ベクトルを（ｓｉｎθ，−ｃｏｓθ）とする。さらに、該分割点の対応点の座標を（ｕ’，ｖ’）とする。線分Ｌ上の点（ｘ，ｙ）は数１を満たす。
ｘｓｉｎθ−ｙｃｏｓθ＝ｒ （数１）
ただし、ｒ＝ｕｓｉｎθ−ｖｃｏｓθ（定数）である。該対応点を通り、線分Ｌに平行な直線（図９破線で示す）上の点（ｘ，ｙ）は数２を満たす。
ｘｓｉｎθ−ｙｃｏｓθ＝ｄ （数２）
ただし、ｄ＝ｕ’ｓｉｎθ−ｖ’ｃｏｓθ（定数）である。該分割点の画像座標は撮像装置の位置及び姿勢の関数である。撮像装置の位置及び姿勢の自由度は６自由度である。ここで撮像装置の位置及び姿勢を表すパラメータをｐで表す。ｐは６次元ベクトルであり、撮像装置の位置を表す３つの要素と、姿勢を表す３つの要素からなる。姿勢を表す３つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す３次元ベクトルなどによって表現される。（ｘ，ｙ）を分割点の画像座標として（ｕ，ｖ）の近傍で１次のテイラー展開によって近似すると数３のように表せる。

ここで偏微分係数

は画像ヤコビアンと呼ばれるものであり、その導出方法は例えば非特許文献９に開示されるように広く知られているのでここではその詳細は述べない。

数３によって表される（ｘ，ｙ）が数２で表される直線上に存在するように、撮像装置の位置及び姿勢ｐの補正値△ｐを算出する。数３を数２に代入すると、数４のようになる。

数４を整理すると数５のように表せる。

数５はＮｃ個の分割点について成り立つため、数６のような△ｐに対する線形連立方程式が成り立つ。

ここで数６を数７のように簡潔に表す。
Ｊ△ｐ＝Ｅ （数７）
数７より、行列Ｊの一般化逆行列（Ｊ^Ｔ・Ｊ）^−１を用いて△ｐが求められる。しかしながら、エッジの検出には誤検出が多いので、次に述べるようなロバスト推定手法を用いる。一般に、誤検出されたエッジに対応する分割点では誤差ｄ−ｒが大きくなる。そのため数６、数７で示す連立方程式に対する寄与度が大きくなり、その結果得られる△ｐの精度が低下する。そこで、誤差ｄ−ｒが大きい分割点には小さな重みを与え、誤差ｄ−ｒが小さい分割点には大きな重みを与える。重みは例えば数８に示すようなＴｕｋｅｙの関数により与える。

なお、重みを与える関数はＴｕｋｅｙの関数である必要はなく、例えば次式で示されるようなＨｕｂｅｒの関数など、誤差ｄ−ｒが大きい分割点には小さな重みを与え、誤差ｄ−ｒが小さい分割点には大きな重みを与える関数であればなんでもよい。

分割点ＤＰｉに対応する重みをｗ_ｉとする。ここで数９のように重み行列Ｗを定義する。

重み行列Ｗは、対角成分以外はすべて０のＮｃ×Ｎｃ正方行列であり、対角成分には重みｗ_ｉが入る。この重み行列Ｗを用いて、数７を数１０のように変形する。
ＷＪ△ｐ＝ＷＥ （数１０）
数１１のように数１０を解くことにより補正値△ｐを求める。
△ｐ＝Ｊ^ＴＷＪ）^−１Ｊ^ＴＷＥ (数１１)
これにより得られた△ｐを用いて、撮像装置の概略の位置及び姿勢を更新する。以上がステップＳ１０６０における撮像装置の位置及び姿勢を算出する方法である。

次にステップＳ１０７０において撮像装置の位置及び姿勢計算が収束しているかどうかを判定する。ステップＳ１０６０における補正値が十分小さかったり、誤差ｒ−ｄの総和が十分小さい、誤差の総和が変化しないといった場合には、撮像装置の位置及び姿勢の計算が収束したと判定して、ステップＳ１０８０に進む。収束していないと判定された場合には、ステップＳ１０６０において更新された撮像装置の位置及び姿勢を新たな撮像装置の概略の位置及び姿勢として、ステップＳ１０６０に戻り、θ、ｒ、ｄを計算し直して、再度補正値△ｐを求め直す。

ステップＳ１０８０では、位置姿勢算出を終了する入力がなされたかどうかを判定し、入力された場合には終了し、入力されなかった場合にはステップＳ１０２０に戻る。

図３のフローチャートに示す位置姿勢計測方法により得られた撮像装置の位置及び姿勢を用いて、撮像画像上に仮想空間の画像を重畳描画する。図１１は本実施例におけるコンピュータグラフィクスの重畳合成方法を説明する図である。図１１（ａ）は現実物体（手）と仮想物体（仮想の円柱）との隠蔽関係を考慮しないで、得られた撮像装置の位置及び姿勢をもとに生成した仮想物体の画像をそのまま撮像画像に重畳したものである。しかし、仮想物体が手より奥にある場合には、図１１（ｂ）に示すように手より奥に描画されるべきである。ここで本実施例では、隠蔽領域として検出された領域は手の領域であるので、検出された隠蔽領域に相当する画素には仮想物体の画像を描画しないことで図１１（ｂ）のような自然なＡＲ画像の生成を行う。

以上述べたように、本実施形態では、画像上で隠蔽物体が観察対象物体を隠蔽する画像上の隠蔽領域を検出し、隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出することができる。

（変形例１−１）
第１の実施形態では、観察対象物体を隠蔽する物体は手であったが、これに限るものではなく、顔など２次元的な画像上での特徴量を持つものであれば何でもよい。例えば、図１２に示すように、あらかじめ顔画像のデータベースを保持しておく。そして、撮像画像内でデータベース内の顔画像とのマッチングをとり、顔画像とマッチングがとれた領域は顔によって隠蔽されているとして画像特徴の検出を行わない。この方法により、位置姿勢算出を安定化・高精度化できる。

また、第１の実施形態では手の色に基づいて隠蔽領域を検出していたが、隠蔽物体が固有の色を持つ場合には該色に基づいて隠蔽領域を検出してもよい。例えば、手に橙色の手袋をしている場合には、撮像画像中の橙色の領域を隠蔽領域として検出する。

さらに、隠蔽物体の色ではなく、模様に基づいて隠蔽領域を検出してもよい。例えば、手に水玉模様のついた手袋をしている場合には、撮像画像中の水玉模様の領域を隠蔽領域として検出する。

（第２の実施形態）
第１の実施形態では、撮像画像上で手領域を検出し、該手領域を隠蔽領域として隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出した。第２の実施形態では、第１の実施形態のように２次元画像上での特徴から隠蔽領域を検出するのではなく、隠蔽物体のモデル、隠蔽物体及び撮像装置の概略の位置及び姿勢を用いて撮像画像上での隠蔽領域を検出する。

図１３は、第２の実施形態における位置姿勢計測装置２の構成を示している。同図に示したように、位置姿勢計測装置２は、撮像装置１００に接続されている。そして、隠蔽物体定義部２１０、画像入力部１２０、隠蔽領域検出部２３０、画像特徴検出部１４０、位置姿勢算出部１５０、第１の概略位置姿勢入力部２６０、第２の概略位置姿勢入力部２７０を有する。なお、図１に示す位置姿勢計測装置１と同じ機能を持つ部については同じ番号を付与している。

図１４は、本実施形態における位置姿勢計測方法の利用場面を示す図である。観察者が観察する空間には、観察対象物体３０及び他の観察者４０が存在している。他の観察者４０は観察対象物体３０を隠蔽する。観察者、他の観察者は双方ともＨＭＤを装着し、ＡＲを体験しているものとする。図１４において他の観察者４０はＨＭＤ５０を装着している。本実施形態における位置姿勢計測装置２は、観察対象物体３０に対する撮像装置１００の位置及び姿勢を求める。

隠蔽物体定義部２１０では、隠蔽物体のモデルを定義する。例えば、ＨＭＤ５０の座標系を基準とした人体を包含する直方体モデルを定義し、不図示の記憶部に記憶する。画像入力部１２０、画像特徴検出部１４０、位置姿勢算出部１５０の動作は第１の実施形態と同じであるので説明を省略する。第１の概略位置姿勢入力部２６０は、撮像装置１００の概略の位置及び姿勢を入力する。第２の概略位置姿勢入力部２７０は、他の観察者４０、すなわちＨＭＤ５０の概略の位置及び姿勢を入力する。隠蔽領域検出部２３０は、第１の概略位置姿勢入力部２６０及び第２の概略位置姿勢入力部２７０から得られる位置及び姿勢情報と、隠蔽物体定義部２１０において定義された隠蔽物体のモデルとに基づき、撮影画像において観察対象物体が隠蔽される隠蔽領域を検出する。検出された隠蔽領域は画像特徴検出部１４０に出力される。

図１５は、本実施形態における処理の手順を示すフローチャートである。まずステップＳ２０１０では初期化を行う。ステップＳ２０１０における初期化では、隠蔽物体の定義及び観察対象物体に対する撮像装置の概略の位置及び姿勢の設定を行う。本実施形態における隠蔽物体は他の観察者であり、他の観察者を包含する直方体を設定する。設定方法としては、図１６に示すように、他の観察者４０の概略の身長・左右の幅・前後の幅を予め計測しておき、この他の観察者４０を包含する直方体６０を求める。さらに、ＨＭＤ５０の座標系を基準とした直方体６０の位置及び姿勢を求めておく。また、第１の実施形態と同様に、概略の撮像装置の位置及び姿勢を与える。初期化が終ったらステップＳ１０２０に進む。

ステップＳ１０２０では、撮像装置１００が撮像した画像を画像入力部１２０を介して位置姿勢計測装置２に取り込む。ステップＳ１０２０で取り込まれた画像は、隠蔽領域検出部２３０及び画像特徴検出部１４０に送られる。

次にステップＳ２０９０において、第１の概略位置姿勢入力部２６０によって撮像装置１００の概略の位置及び姿勢を入力する。また、第２の概略位置姿勢入力部２７０によって他の観察者４０が装着しているＨＭＤ５０の概略の位置及び姿勢を入力する。撮像装置１００の概略の位置及び姿勢として、例えば前フレームにおける位置及び姿勢の算出結果を用いる。また、ＨＭＤ５０の概略の位置及び姿勢として、観察者４０側において位置姿勢計測装置２を動作させ、最新の位置及び姿勢算出結果を用いる。２つの位置姿勢計測装置は同一のコンピュータ上で動作し、プロセス間通信により位置及び姿勢の算出結果をやりとりしてもよい。また、２つの位置姿勢計測装置を別のコンピュータ上で動作させ、ネットワークを介して位置及び姿勢算出結果をやりとりしてもよい。また、ＨＭＤ５０に磁気式、光学式、超音波式などの６自由度位置姿勢計測センサを装着し、該センサの出力値から概略の位置及び姿勢を得てもよい。他にも、ＨＭＤ５０に３自由度姿勢センサや位置センサを装着し、ＨＭＤ５０内の撮像装置によって撮影された画像上での指標の投影像と、３自由度センサの計測値から位置及び姿勢を得てもよい。つまり、概略の位置及び姿勢が得られるのであればいかなる方法であってもよい。また、撮像装置１００の概略の位置及び姿勢も、ＨＭＤ５０と同様な方法で得てもよい。

次にステップＳ２０３０において、隠蔽領域の検出を行う。まず図１７（ａ）に示すように、ステップＳ２０９０において得られた撮像装置１００及びＨＭＤ５０の概略の位置及び姿勢をもとに、撮像装置１００が撮影する画像上における直方体モデル６０を描画する。次に、直方体モデル６０を描画した画像上において、直方体モデル６０が描画されている部分を隠蔽領域として画像特徴検出部１４０に出力する。図１７（ｂ）は、フラグＦｉによって生成されるマスク画像である。画像特徴の検出は、マスク画像の白い部分に対してのみ行われる。

ステップＳ１０４０、Ｓ１０５０、Ｓ１０６０、Ｓ１０７０、Ｓ１０８０の処理は第１の実施形態と同じであるので説明を省略する。

以上述べたように、第２の実施形態では、隠蔽物体のモデル、隠蔽物体及び撮像装置の概略の位置及び姿勢を用いて撮像画像上での隠蔽領域を検出する。そして、隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出することができる。

（変形例）
第１及び第２の実施形態では、隠蔽領域として検出した領域において画像特徴の検出を行わなかった。しかしながら、例えば図１０に示すような状況の場合には、手の色と同一の色を持つ領域は隠蔽領域となるが、手と手以外の部分との境界に関しては必ずしも手の色と同一になるわけではない。そのため、手と手以外の部分との境界において画像特徴を誤検出する可能性がある。

そのため、検出された隠蔽領域だけでなく、その境界も隠蔽領域としてもよい。境界を隠蔽領域に含めるためには、例えば隠蔽領域を外側に１画素ずつ膨張させる。また、図１８に示すように、境界だけでなく、さらに隠蔽領域の近傍領域を隠蔽領域に含めてもよい。この場合には１画素ではなく数画素膨張させる。また、第２の実施形態の場合には、直方体の大きさを大きめにとることにより同様の効果を得ることができる。

（その他の実施形態）
上記実施形態では、画像特徴を検出する前に隠蔽領域を検出し、隠蔽領域以外で画像特徴の検出を行っていた。

しかしながら、画像特徴検出部では隠蔽領域を考慮せずに画像特徴の検出を行い、位置姿勢算出部において検出された画像特徴が隠蔽領域に含まれているかを判定し、隠蔽領域に含まれていない画像特徴のみを用いて撮像装置の位置及び姿勢を算出してもよい。この場合、画像特徴の検出と隠蔽領域の検出をコンピュータ上で並列に行うなど、位置姿勢算出の前に画像特徴の検出及び隠蔽領域の検出が終了していればよい。

また、上記実施形態では、画像特徴としてエッジを用いた。しかしながら、画像特徴はエッジに限るものではなく、点特徴であってもよい。点特徴は、一般的には特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔ）、関心点（ｉｎｔｅｒｅｓｔ ｐｏｉｎｔ）などと呼ばれており、主に画像上での濃度が極値となる点や、コーナー点（頂点）などが検出される。点特徴の検出は、例えば非特許文献１０において開示されているＨａｒｒｉｓのｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒによって検出することができる。また、非特許文献８では、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる方法で点特徴の検出を行っている。

点特徴の検出を、第１及び第２の実施形態において検出される隠蔽領域以外の領域で行い、エッジの場合と同様に誤検出を防止し、撮像装置の位置及び姿勢の算出を安定化・高精度化することができる。

また、上記実施形態では、観察者の観察対象物体に対する位置及び姿勢を求めたが、観察対象物の観察者に対する位置及び姿勢を求めるようにしても構わない。また、観察者または観察対象物の位置または姿勢を他の方法で取得することができるのであれば、観察者または観察対象物の位置または姿勢のいずれかを求めるようにしても構わない。例えば、観察者または観察対象物の姿勢は、観察者または観察対象物にジャイロを装着させることにより測定することができる。

また、上述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

第１の実施形態における位置姿勢計測装置１の構成を示す図である。 第１の実施形態における位置姿勢計測方法の利用場面を示す図である。 第１の実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。 第１の実施形態における３次元モデルの定義方法を説明する図である。 画像上への３次元モデルの投影を示す図である。 ３次元モデルの画像上での分割点を示す図である。 第１の実施形態における画像特徴検出処理の処理手順を示すフローチャートである。 第１の実施形態における画像特徴の検出方法を説明する図である。 線分の情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。 第１の実施形態における隠蔽領域検出を説明する図である。 第１の実施形態におけるコンピュータグラフィクスの重畳合成方法を説明する図である。 変形例１−２における隠蔽領域検出方法を説明する図である。 第２の実施形態における位置姿勢計測装置２の構成を示す図である。 第２の実施形態における位置姿勢計測方法の利用場面を示す図である。 第２の実施形態における処理の手順を示すフローチャートである。 第２の実施形態における隠蔽物体のモデルを定義する方法を説明する図である。 第２の実施形態における隠蔽領域検出を説明する図である。 隠蔽領域の近傍領域を説明する図である。

Claims (15)

1. 観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、
   撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置を計測した位置姿勢を入力する第一入力手段と、
   前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、
   前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、
   前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、
   前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置の位置若しくは姿勢を補正する補正手段と
   を備えることを特徴とする情報処理装置。
2. 観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、
   撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置を計測した位置姿勢を入力する第一入力手段と、
   前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、
   前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、
   前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、
   前記画像特徴検出手段で検出された前記画像特徴に基づき、前記観察対象物体の位置若しくは姿勢を補正する補正手段と
   を備えることを特徴とする情報処理装置。
3. 前記三次元形状モデルは、前記隠蔽物体を包含するバウンディングボックスの形状を有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記隠蔽物体は、人物であって、
   前記バウンディングボックスの寸法は、前記人物の身長に基づいて予め設定されていることを特徴とする請求項３に記載の情報処理装置。
5. 前記隠蔽物体は、人物であって、
   前記撮像装置に撮像されうる複数の人物の顔画像を予め保持する顔データベース手段と、
   前記撮像画像と前記複数の人物の顔画像の何れかとマッチングのとれる領域を、前記前記隠蔽物体が前記観察対象物体を隠蔽する第２隠蔽領域として検出する第２隠蔽領域検出手段と
   を更に備え、
   ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記隠蔽物体の表面上の模様パターンを保持する模様保持手段と、
   前記撮像画像から前記模様パターンが存在する領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する第３隠蔽領域検出手段、
   を更に備え、
   前記画像特徴検出手段では、前記撮像画像内の前記第３隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記隠蔽物体は、人物であって、
   前記人物の肌の色を保持する肌色保持手段と、
   前記撮像画像から前記保持される肌の色が存在する領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する第４隠蔽領域検出手段、
   を更に備え、
   前記画像特徴検出手段では、前記撮像画像内の前記第４隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記隠蔽領域検出手段が、前記隠蔽領域の周囲に向けて予め設定された画素数だけ当該隠蔽領域を膨張させ、
   前記画像特徴検出手段が、前記撮像画像内の前記膨張させた隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記補正手段の補正結果に基づき仮想空間画像を生成する仮想空間画像生成手段と、
   前記撮像画像と前記仮想空間画像を合成する画像合成手段と、
   前記撮像画像と前記仮想空間画像が合成された画像を提示する画像提示手段と
   を備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記画像合成手段が、前記隠蔽領域に、仮想空間画像を合成しないことを特徴とする請求項９に記載の情報処理装置。
11. 前記画像特徴は、線特徴または点特徴であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 画像入力手段が、撮像装置で観察対象物体を撮像した撮像画像を入力する画像入力工程と、
    第一入力手段が、前記撮像装置を計測した位置姿勢を入力する第一入力工程と、
    第二入力手段が、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力工程と、
    隠蔽領域検出手段が、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に予め保持された前記観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出工程と、
    画像特徴検出手段が、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出工程と、
    補正手段が、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置の位置若しくは姿勢を補正する補正工程と
    を有することを特徴とする情報処理方法。
13. 画像入力手段が、撮像装置で観察対象物体を撮像した撮像画像を入力する画像入力工程と、
    第一入力手段が、前記撮像装置を計測した位置姿勢を入力する第一入力工程と、
    第二入力手段が、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力工程と、
    隠蔽領域検出手段が、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に予め保持された前記観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出工程と、
    画像特徴検出手段が、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出工程と、
    補正手段が、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記観察対象物体の位置若しくは姿勢を補正する補正工程と
    を有することを特徴とする情報処理方法。
14. コンピュータを請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
15. コンピュータを請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images