JP3486613B2 - 画像処理装置およびその方法並びにプログラム、記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像画像から計測
対象の姿勢を求める技術に関するものである。

【０００２】

【従来の技術】近年、複合現実感（以下、「ＭＲ」（Ｍ
ｉｘｅｄ Ｒｅａｌｉｔｙ）と称す）に関する研究が盛
んに行われている。

【０００３】ＭＲには、ビデオカメラなどの撮影装置で
撮影された現実空間の映像に仮想空間（たとえばコンピ
ュータグラフィックス（以下、ＣＧと称す）により描画
された仮想物体や文字情報など）の映像を重畳表示する
ビデオシースルー方式と、ユーザが頭部に装着したＨＭ
Ｄ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に現
実空間の像を光学的に透過させつつ、その表示画面に仮
想空間の映像を重畳表示する光学シースルー方式があ
る。

【０００４】ＭＲの応用としては、患者の体内の様子を
透視しているかのように医師に提示する医療補助の用途
や、工場において製品の組み立て手順を実物に重ねて表
示する作業補助の用途など、今までのＶＲとは質的に全
く異なった新たな分野が期待されている。

【０００５】これらの応用に対して共通に要求されるの
は、現実空間と仮想空間の間の位置合わせをいかにして
行うかという技術であり、従来から多くの取り組みが行
われてきた。

【０００６】ビデオシースルー方式のＭＲにおける位置
合わせの問題は、撮影装置の視点の位置姿勢を正確に求
める問題に帰結される。また光学シースルー方式のＭＲ
における位置合わせの問題は、同様にユーザの視点の位
置姿勢を求める問題といえる。

【０００７】従来のＭＲシステム（特に屋内におけるＭ
Ｒシステム）では、これらの問題を解決する方法とし
て、磁気センサや超音波センサなどの位置姿勢センサを
利用して、これらの視点の位置姿勢を導出することが一
般的に行われている。

【０００８】一方、従来の屋外におけるＭＲシステムで
は、これらの視点の姿勢の導出にジャイロセンサ（厳密
には、３軸方向の角速度を計測するための複数のジャイ
ロセンサと、３軸方向の加速度を計測するための複数の
加速度センサの組み合わせによって構成される３軸姿勢
センサであるが、本明細では便宜上これをジャイロセン
サと呼ぶこととする）が利用されている。

【０００９】

【発明が解決しようとする課題】しかし、ジャイロセン
サを用いて視点の姿勢を求める場合、高精度なジャイロ
センサを用いた場合であっても、ジャイロセンサにはド
リフト誤差があるため、時間経過に伴って徐々に方位方
向の計測値に誤差が生じてしまう。また、ジャイロセン
サは姿勢計測のみしか行えないため、視点の位置の変化
に追従することが出来ない。つまり、時間経過や視点の
位置の変化に伴って現実空間と仮想空間との間に位置ず
れが生じてしまう。

【００１０】本発明は以上の問題に鑑みてなされたもの
であり、視点の姿勢または位置姿勢の計測を行うことを
目的とし、特に、時間経過に伴って生じる方位方向成分
の誤差補正を行うことを目的とする。

【００１１】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像処理装置は以下の構成を備
える。

【００１２】すなわち、計測対象との間の位置関係が固
定されている撮像装置と、前記撮像装置の撮像視点の姿
勢を計測する姿勢センサと、前記計測対象の姿勢および
／または位置を、前記姿勢センサの出力に基づいて算出
するための算出情報を記憶する記憶手段と、前記計測値
と前記記憶手段が記憶する前記算出情報を用いて撮像画
像中における指標の予測位置を求め、前記計測値から導
出される前記撮像装置のロール方向の回転角に基づいた
回転処理を当該撮影画像中における当該予測位置の周辺
領域に施した画像を作成し、ターゲット画像として出力
するターゲット画像設定手段と、前記指標のテンプレー
ト画像と前記ターゲット画像との間でテンプレートマッ
チング処理を行うことにより、前記ターゲット画像中に
おける前記指標の位置を検出する検出手段と、前記検出
手段が検出した前記指標の検出位置に基づいて、前記記
憶手段に記憶されている前記算出情報を更新する更新手
段と、前記計測値と前記更新手段によって更新された前
記算出情報に基づいて、前記計測対象の姿勢および／ま
たは位置を算出する算出手段とを備えることを特徴とす
る。

【００１３】本発明の目的を達成するために、例えば本
発明の画像処理装置は以下の構成を備える。 すなわち、
撮像装置によって撮像された撮像画像中における指標の
位置の検出を、当該指標のテンプレート画像を用いたテ
ンプレートマッチングによって行う画像処理装置であっ
て、 前記撮像装置の撮像視点の姿勢を計測する姿勢セン
サと、 前記姿勢センサが計測した前記姿勢の計測値を利
用して前記撮像画像中における前記指標の予測位置を求
め、前記撮像画像中における当該予測位置の周辺領域に
前記計測値のうちのロール方向の回転角に基づいた回転
処理を施した画像を作成しターゲット画像として出力す
るターゲット画像作成手段と、 前記テンプレート画像と
前記ターゲット画像の間においてテンプレートマッチン
グ処理を行うことにより、前記撮影画像中における前記
指標の位置を検出する検出手段と を備えることを特徴と
する。 本発明の目的を達成するために、例えば本発明の
画像処理方法は以下の構成を備える。 すなわち、計測対
象との間の位置関係が固定されている撮像装置によって
撮像画像を撮像する撮像工程と、 前記撮像装置の撮像視
点の姿勢を計測する姿勢計測工程と、 前記計測対象の姿
勢および／または位置を、前記姿勢計測工程で計測した
計測値に基づいて算出するための算出情報を記憶する記
憶工程と、 前記計測値と前記記憶工程で記憶する前記算
出情報を用いて撮像画像中における指標の予測位置を求
め、前記計測値から導出される前記撮像装置のロール方
向の回転角に基づいた回転処理を当該撮影画像中におけ
る当該予測位置の周辺領域に施した画像を作成し、ター
ゲット画像として出力するターゲット画像設定工程と、
前記指標のテンプレート画像と前記ターゲット画像との
間でテンプレートマッチング処理を行うことにより、前
記ターゲット画像中における前記指標の位置を 検出する
検出工程と、 前記検出工程で検出した前記指標の検出位
置に基づいて、前記記憶工程で記憶されている前記算出
情報を更新する更新工程と、 前記計測値と前記更新工程
で更新された前記算出情報に基づいて、前記計測対象の
姿勢および／または位置を算出する算出工程と を備える
ことを特徴とする。 本発明の目的を達成するために、例
えば本発明の画像処理方法は以下の構成を備える。 すな
わち、撮像装置によって撮像された撮像画像中における
指標の位置の検出を、当該指標のテンプレート画像を用
いたテンプレートマッチングによって行う画像処理方法
であって、 前記撮像装置の撮像視点の姿勢を計測する姿
勢センサが計測した前記姿勢の計測値を利用して前記撮
像画像中における前記指標の予測位置を求め、前記撮像
画像中における当該予測位置の周辺領域に前記計測値の
うちのロール方向の回転角に基づいた回転処理を施した
画像を作成しターゲット画像として出力するターゲット
画像作成工程と、 前記テンプレート画像と前記ターゲッ
ト画像の間においてテンプレートマッチング処理を行う
ことにより、前記撮影画像中における前記指標の位置を
検出する検出工程と を備えることを特徴とする。

【００１４】

【発明の実施の形態】以下添付図面を参照して、本発明
を好適な実施形態に従って詳細に説明する。

【００１５】［第１の実施形態］本実施形態では、姿勢
センサによるカメラ視点の姿勢計測誤差を補正すること
で、位置ずれのないＭＲ空間の提示を実現する画像処理
装置について説明する。

【００１６】姿勢センサを備えたＨＭＤの姿勢に応じ
て、現実物体の画像に仮想物体の画像を重畳描画する従
来の画像処理装置の構成を図２に示す。

【００１７】同図のＨＭＤ２００はビデオシースルー方
式のものであって、画像を表示するディスプレイ２０１
と、このＨＭＤ２００を装着した観察者の視点位置から
現実空間を撮像するカメラ２０２（観察者視点カメラ）
を備え、またカメラ２０２の視点の姿勢を計測する姿勢
センサ２０３（例えばここではジャイロセンサ）を備え
ている。又、画像処理装置２１０は、姿勢センサ２０３
からセンサ出力を入力するセンサ入力モジュール２１
１、カメラ２０２から現実物体の撮影画像を入力する画
像入力モジュール２１３、センサ入力モジュール２１１
から入力したカメラ２０２の視点の姿勢と他の方法によ
り得たカメラ２０２の視点位置に基づいてカメラ２０２
の視点の位置姿勢を表わす情報（例えば４×４のモデル
ビュー行列Ｍ^ｔ）を生成する視点位置姿勢演算モジュー
ル２１２、視点位置姿勢演算モジュール２１２により演
算された視点の位置姿勢を表わす情報に基づいて現実物
体の画像に仮想物体の画像を重畳描画した画像を生成す
る画像生成モジュール２１４から構成されており、ディ
スプレイ２０１に提示画像を提供する。この場合、時間
経過に伴って、センサ出力の誤差の蓄積に応じて生じる
位置ずれを含んだ画像がディスプレイ２０１に表示され
る。

【００１８】なお、本実施形態においては、視点位置は
固定値として予め視点位置姿勢演算モジュール２１２に
保持されているものとする。一般に、観察するＭＲ空間
中の観察対象物体（現実物体、仮想物体）までの距離が
視点位置の実際の移動量に対して相対的に大きい場合に
は、視点位置に多少の誤差があっても画像上での位置ず
れに大幅な影響を与えないという性質がある。特に屋外
におけるＭＲシステムのように観察対象物体が遠方に存
在する場合で、かつ、観察者が一箇所に立ち止まってい
るような用途においては、このように視点の位置を固定
値とすることが有効である。もちろん、カメラ２０２の
視点位置を計測する他の位置センサ（例えばＧＰＳ等）
をＨＭＤ２００にさらに装着し、その出力を視点位置と
して入力してもよい。

【００１９】尚、本実施形態では、上記の理由から、視
点位置の誤差が相対値として十分に小さいものであり、
視点位置の誤差に起因する画像上での位置ずれは十分無
視できるほどのものであると仮定する。

【００２０】次に、ＨＭＤ２００を繋いだ本実施形態に
おける画像処理装置の構成を図３に示す。図２と同じ部
分には同じ番号を付けており、又、図２と同じ部分につ
いては説明は省略する。

【００２１】図３に示した画像処理装置３１０は、図２
に示した画像処理装置２１０に補正値演算モジュール２
１５を付加し、さらに、視点位置姿勢演算モジュール２
１２を視点位置姿勢演算モジュール３１２に変更した装
置の構成となっている。この補正値演算モジュール２１
５は、画像入力モジュール２１３から入力した撮影画像
とセンサ入力モジュール２１１から入力した視点の姿勢
に基づいて、後述する補正値演算処理によって補正値
（補正行列ΔＭ^ｔ）を算出し、視点位置姿勢演算モジュ
ール３１２へと出力する。視点位置姿勢演算モジュール
３１２は、センサ入力モジュール２１１から入力したカ
メラ２０２の視点の姿勢と他の方法により得たカメラ２
０２の視点位置と補正値演算モジュール２１５から入力
した補正値に基づいて、後述する姿勢補正処理を実行し
て、センサ出力に基づいて算出した位置姿勢情報（モデ
ルビュー行列Ｍ^ｔ）を補正して、補正後の視点位置姿勢
情報（補正後のモデルビュー行列Ｍ＄^ｔ）を生成する。

【００２２】次に、補正値演算モジュール２１５におけ
る補正値演算処理の基本的原理について説明する。

【００２３】補正値演算処理は、基本的には、画像上に
撮像されるランドマーク（例えばビルの角や家の屋根な
ど、その投影像の画像特徴を位置合わせの指標して利用
可能な現実物体（の一部分））を用いて、センサ出力に
基づいて予測した画像上におけるランドマークの観測予
測位置と、画像処理によって実際に検出される当該ラン
ドマークの画像上における観測位置に基づいて行われ
る。したがって、画像上から如何に正確かつ安定的にラ
ンドマークの観測位置を検出するかが、補正値演算処理
の最大のポイントとなる。

【００２４】本実施形態では、ランドマークのテンプレ
ート画像を用いたテンプレートマッチングによってラン
ドマークの検出を行う。

【００２５】一般に、テンプレートマッチングによって
画像中から画像特徴を抽出する場合には、画像面上にお
ける画像特徴の回転が問題となる。この画像特徴の回転
は、カメラや撮影対象物体がカメラ座標系におけるロー
ル方向に回転することで生じる。例えば、図１４（ａ）
に示したテンプレート画像Ｔを用いて、図１４（ｂ）に
示した撮影画像Ｉ上からランドマークＬを検出する場
合、画像特徴の回転を考慮しない探索処理を行った場合
には安定的にランドマークを検出することが出来ない。
一方、図１４（ｃ）に示すように、画像特徴の回転を考
慮した形でテンプレート画像Ｔに回転（図の例では４５
°毎の回転）を加えたテンプレート画像Ｔ’を複数用意
し、各々のテンプレート画像毎に探索処理を行うこと
で、画像特徴の回転に対処したランドマークの検出を行
うことができる。しかし、計算量はテンプレートの数に
比例して増加するため、非常に計算負荷の高い処理とな
ってしまう。

【００２６】本実施形態においては、姿勢センサ２０３
によって、カメラ２０２の視点の姿勢が計測されてい
る。この計測値のうちの方位方向の値については前述の
とおり時間経過に伴う誤差の蓄積が存在するが、方位方
向以外の２軸（すなわち、ロール方向とピッチ方向）に
ついては比較的正確な値が取得されている。したがっ
て、図１４（ｄ）に示したように、姿勢センサ２０３に
よって計測されるカメラ２０２のロール方向の回転角に
基づいて撮影画像Ｉに回転を加えた変換画像Ｉ’を生成
し、この画像Ｉ’上においてテンプレート画像Ｔによる
探索処理を行うことで、画像特徴の回転に依存しないラ
ンドマークの検出が可能となる。

【００２７】さらに、本実施形態においては、他の２軸
の姿勢についても姿勢センサ２０３による計測値が得ら
れており、かつ、前フレームまでの処理において姿勢補
正値演算モジュール２１５にて前フレームにおける姿勢
補正値が得られている。したがって、図１４（ｅ）に示
したように、それらの値に基づいて撮影画像Ｉ上におけ
るランドマークの大まかな位置ｐを予測し、その予測位
置の近傍領域（同図におけるターゲット画像抽出領域）
に対してのみ上記の回転処理を行うことで、ランドマー
クの探索処理を行う対象であるターゲット画像Ｒを作成
し（図１４（ｆ））、探索範囲を限定することができ
る。

【００２８】従って、テンプレートマッチングによるラ
ンドマークの検出を高速かつ安定的に行うことが可能と
なる。

【００２９】次に、補正値演算モジュール２１５の具体
的な構成を図４に示す。

【００３０】補正値演算モジュール２１５は、後述する
画像Ｉ^０に基づいてテンプレート画像を生成するテンプ
レート画像生成モジュール４０３と、時刻ｔにおける画
像Ｉ ^ｔとカメラ２０２の姿勢（ｒｏｌｌ^ｔ）とに基づい
てターゲット画像を生成するターゲット画像生成モジュ
ール４０４、ターゲット画像とテンプレート画像とを用
いて類似度を算出し、ランドマークの位置を検出する対
応探索モジュール４０２、そして検出されたランドマー
クの位置に従って、これまでの補正値を最新の補正値
（後述する補正行列ΔＭ^ｔ）に更新しこれを出力する補
正値更新モジュール４０１により構成されている。

【００３１】次に、本実施形態で用いる各変数について
説明する。

【００３２】・ｉ番目（ｉ＝１，２，３，，，）のラン
ドマークをＬ_ｉ ・ランドマークＬ_ｉの世界座標における位置（既知）を
Ｐ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ，１）^Ｔ ・カメラの既定の位置を（Ｘ^０，Ｙ^０，Ｚ^０） ・テンプレート画像生成の際に用いるカメラの既定の姿
勢を（ｒｏｌｌ^０，ｐｉｔｃｈ^０，ｙａｗ^０） ・カメラの既定の位置姿勢におけるモデルビュー行列
（世界座標系からカメラ座標系への変換行列）をＭ^０ ・カメラの焦点距離（既知）をｆ ・カメラの射影変換行列（カメラ座標系から画像座標系
への変換行列）（既知）をＳ ・カメラの既定の位置姿勢における撮影画像をＩ^０ ・ランドマークＬ_ｉの画像Ｉ^０上における撮影位置をｐ
_ｉ ^０＝（ｘ_ｉ ^０ｈ_ｉ ^０，ｙ_ｉ ^０ｈ_ｉ ^０，ｈ_ｉ ^０）^Ｔ ・ランドマークＬ_ｉを検索するためのテンプレート画像
をＴ_ｉ ・テンプレート画像のサイズ（既定）をＮ×Ｎ ・テンプレート画像の座標の範囲をｘｓ_Ｔ，ｘｅ_Ｔ，ｙ
ｓ_Ｔ，ｙｅ_Ｔ（但し、ｘｓ_Ｔ＝ｙｓ_Ｔ＝−Ｎ／２の小数
部を切り捨てた値。ｘｅ_Ｔ＝ｙｅ_Ｔ＝ｘｓ_Ｔ＋Ｎ−１） ・時刻ｔにおいて撮影された画像をＩ^ｔ ・時刻ｔにおけるセンサによる姿勢計測値を（ｒｏｌｌ
^ｔ，ｐｉｔｃｈ^ｔ，ｙａｗ^ｔ） ・姿勢計測値（ｒｏｌｌ^ｔ，ｐｉｔｃｈ^ｔ，ｙａｗ^ｔ）
から算出したモデルビュー行列（世界座標系からカメラ
座標系への変換行列）をＭ^ｔ ・画像Ｉ^ｔ上におけるランドマークＬ_ｉの撮像予測位置
をｐ_ｉ ^ｔ＝（ｘ_ｉ ^ｔｈ _ｉ ^ｔ，ｙ_ｉ ^ｔｈ_ｉ ^ｔ，ｈ_ｉ ^ｔ）^Ｔ ・画像Ｉ^ｔ上で実際に検出されるランドマークＬ_ｉの撮
像位置をｐ＄_ｉ ^ｔ＝（ｘ＄_ｉ ^ｔ，ｙ＄_ｉ ^ｔ） ・画像Ｉ^ｔからランドマークＬ_ｉを検出するための探索
処理を行う対象となるターゲット画像をＲ_ｉ ^ｔ ・ランドマークのｘ方向の探索範囲（既定）を±ｍ ・ランドマークのｙ方向の探索範囲（既定）を±ｎ ・ターゲット画像のサイズをＮ’×Ｎ”（但し、Ｎ’＝
Ｎ＋２ｍ，Ｎ”＝Ｎ＋２ｎ） ・ターゲット画像の座標の範囲をｘｓ_Ｒ，ｘｅ_Ｒ，ｙｓ
_Ｒ，ｙｅ_Ｒ（但し、ｘｓ_Ｒ＝ｘｓ_Ｔ−ｍ，ｘｅ_Ｒ＝ｘｅ
_Ｔ＋ｍ，ｙｓ_Ｒ＝ｙｓ_Ｔ−ｎ，ｙｅ_Ｒ＝ｙｅ_Ｔ＋ｎ） ・ターゲット画像上Ｒ_ｉ ^ｔにおけるランドマークＬ_ｉの
検出座標を（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ） ・各ランドマークの検出座標（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）の代表
値を（ｊ^ｔ，ｋ^ｔ） ・時刻ｔにおいて算出されるカメラの姿勢の補正更新値
Δｒｏｌｌ，Δｐｉｔｃｈ，Δｙａｗ ・時刻ｔにおいて算出されるカメラの位置の補正更新値
Δｘ，Δｙ，Δｚ ・時刻ｔにおいて算出されるモデルビュー行列Ｍ^ｔを補
正するための補正行列をΔＭ^ｔ ・これまでの処理で既に算出されている（時刻ｔ−１で
算出されている）補正行列をΔＭ^ｔ−１ ・補正行列ΔＭ^ｔ−１を補正行列ΔＭ^ｔに更新するため
の補正更新行列ΔＭ’ ^ｔ ・Ｍ^ｔを補正行列ΔＭ^ｔによって補正した補正後のモデ
ルビュー行列をＭ＄^ｔ ・Ｍ^ｔを補正行列ΔＭ^ｔ−１によって補正した補正後の
モデルビュー行列をＭ’^ｔ 以上の設定に基づいて、本実施形態における姿勢計測誤
差の補正処理について処理の流れに従って以下説明す
る。

【００３３】＜テンプレート画像の作成＞まず、現実空
間を撮影するカメラを既定の位置姿勢に設定し画像Ｉ_０
を撮影する。図１に画像Ｉ_０の例を示す。同図における
Ｌ_１〜Ｌ_４がランドマークであり、Ｔ_１〜Ｔ_４で示した
枠の部分がそれぞれのランドマークに対応するテンプレ
ート画像として抽出される領域である。

【００３４】次にモデルビュー行列Ｍ^０を算出する。カ
メラの位置と姿勢からモデルビュー行列を算出する算出
方法は公知の方法であるので、ここでの説明は省略す
る。

【００３５】また、撮影された画像中のランドマーク毎
（図１ではＬ_１〜Ｌ_４）にｐ_ｉ ^０を以下の式にて算出す
る。

【００３６】ｐ_ｉ ^０＝ＳＭ^０Ｐ_ｉ そして次に各ランドマーク毎にテンプレート画像Ｔ
_ｉ（図１ではＴ_１〜Ｔ_４で示された部分の画像）を後述
の方法により作成する。

【００３７】ｒｏｌｌ^０が０のときは、画像Ｉ_０から
（ｘ_ｉ ^０，ｙ_ｉ ^０）を中心としたＮ×Ｎのサイズの矩形
領域を抽出し、これをテンプレート画像Ｔ_ｉとすればよ
い。テンプレート画像Ｔ_ｉにおいては画像の中心を座標
（０，０）と表わすこととすると、この処理は以下のよ
うに記述することができる。

【００３８】Ｔ_ｉ（ｊ，ｋ）＝Ｉ^０（ｘ_ｉ ^０＋ｊ，ｙ_ｉ
^０＋ｋ） 但し、ｊ＝ｘｓ_Ｔ〜ｘｅ_Ｔ，ｋ＝ｙｓ_Ｔ〜ｙｅ_Ｔ。

【００３９】一方、ｒｏｌｌ^０が０でないときは、（ｘ
_ｉ ^０，ｙ_ｉ ^０）を中心として、Ｎ×Ｎの矩形領域を−ｒ
ｏｌｌ^０だけ回転させた矩形領域を抽出する。すなわ
ち、ｊ＝ｘｓ_Ｔ〜ｘｅ_Ｔ，ｋ＝ｙｓ_Ｔ〜ｙｅ_Ｔの各画素
について、 Ｔ_ｉ（ｊ，ｋ）＝Ｉ^０（ｘ_ｉ ^０＋ｊｃｏｓ（−ｒｏｌｌ
^０）−ｋｓｉｎ（−ｒｏｌｌ^０），ｙ_ｉ ^０＋ｊｓｉｎ
（−ｒｏｌｌ^０）＋ｋｃｏｓ（−ｒｏｌｌ^０））となる
ようなテンプレート画像Ｔ_ｉを作成する。

【００４０】＜各時刻におけるモデルビュー行列Ｍ^ｔの
算出＞時刻ｔにおけるセンサ出力（姿勢（ｒｏｌｌ^ｔ，
ｐｉｔｃｈ^ｔ，ｙａｗ^ｔ））と、カメラの既定の位置
（Ｘ^０，Ｙ^０，Ｚ^０）に基づいて、モデルビュー行列Ｍ
^ｔを算出する。カメラの位置と姿勢からモデルビュー行
列を算出する算出方法は公知の方法であるので、ここで
の説明は省略する。

【００４１】＜補正値演算処理：モデルビュー行列Ｍ^ｔ
を補正する補正行列ΔＭ^ｔの算出＞モデルビュー行列Ｍ
^ｔを補正する補正行列ΔＭ^ｔの算出方法について説明す
る。

【００４２】まずこれまでの処理で既に算出されている
補正行列ΔＭ^ｔ−１を用いてモデルビュー行列Ｍ^ｔを補
正し、Ｍ’^ｔを求める。尚、この処理が最初の場合（ｔ
＝０の場合）、補正行列ΔＭ^ｔ−１は単位行列とする。

【００４３】Ｍ’^ｔ＝ΔＭ^ｔ−１Ｍ^ｔ 次に各ランドマーク毎にｐ_ｉ ^ｔを以下の式に従って算出
する。

【００４４】ｐ_ｉ ^ｔ＝ＳＭ’^ｔＰ_ｉ 尚、この方法は公知の方法であるため、詳細な説明は省
略する。また、各ランドマークの座標を求めた結果、そ
の座標が画像Ｉ^ｔの座標の範囲外であるランドマーク
は、以後の処理対象から除外する。

【００４５】次に、各ランドマーク毎にターゲット画像
Ｒ_ｉ ^ｔを作成する。具体的には、画像Ｉ^ｔから同画像に
おけるローカル座標である（ｘ_ｉ ^ｔ、ｙ_ｉ ^ｔ）を中心と
したＮ’×Ｎ”の矩形領域を−ｒｏｌｌ^ｔだけ回転させ
た矩形を抽出する。すなわち、ｊ＝ｘｓ_Ｔ〜ｘｅ_Ｔ，ｋ
＝ｙｓ_Ｔ〜ｙｅ_Ｔの各画素について、以下の変換を行
う。

【００４６】Ｒ_ｉ ^ｔ（ｊ，ｋ）＝Ｉ^ｔ（ｘ_ｉ ^ｔ＋ｊｃｏ
ｓ（−ｒｏｌｌ^ｔ）−ｋｓｉｎ（−ｒｏｌｌ^ｔ），ｙ_ｉ
^ｔ＋ｊｓｉｎ（−ｒｏｌｌ^ｔ）＋ｋｃｏｓ（−ｒｏｌｌ
^ｔ）） 次に各ランドマーク毎に、ターゲット画像Ｒ_ｉ ^ｔとテン
プレート画像Ｔ_ｉのマッチングを行い、ターゲット画像
上におけるランドマークの位置（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）を求
める。求める方法の具体的な処理について以下説明す
る。

【００４７】まずターゲット画像Ｒ_ｉ ^ｔ上の座標（ｊ，
ｋ）を中心としたＮ×Ｎの矩形領域とテンプレート画像
Ｔ_ｉとの類似度ｅ（ｊ，ｋ）を算出する。類似度の算出
は例えば相互相関やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ
ｄ Ｄｉｆｆｅｒｅｎｃｅ）などによって行うが、公知
のいずれのテンプレートマッチング手法を用いてもよ
い。この類似度ｅ（ｊ，ｋ）を全てのｊ及びｋ（ただ
し、ｊ＝−ｍ〜ｍ，ｋ＝−ｎ〜ｎ）について算出し、類
似度ｅ（ｊ，ｋ）を最大にするｊ及びｋを（ｊ_ｉ ^ｔ，ｋ
_ｉ ^ｔ）とする。

【００４８】そして、各ランドマークで求めた
（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）から、代表値（ｊ^ｔ，ｋ ^ｔ）を算出
する。代表値の算出は、例えば、各ランドマーク毎に求
めた（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）の平均値やメディアン値を求め
ることで行う。なお、各ランドマーク毎に求めた（ｊ_ｉ
^ｔ，ｋ_ｉ ^ｔ）のうち、その検出の際の類似度ｅ
（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）が所定の閾値よりも大きいランドマ
ークのみを代表値の算出に用いることで、信頼性の低い
検出結果を除外することができる。この場合、類似度ｅ
（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）が前記閾値以上となるランドマーク
の個数が所定数以下の場合には、時刻ｔにおける補正値
演算処理を打ち切ってもよい。

【００４９】そして次に、ランドマークの検出結果に基
づいて、補正行列ΔＭ^ｔの更新を行う。

【００５０】まず、カメラの姿勢の補正更新値Δｒｏｌ
ｌ，Δｐｉｔｃｈ，Δｙａｗを以下のようにして求め
る。

【００５１】Δｒｏｌｌ ＝０ Δｐｉｔｃｈ＝ａｒｃｔａｎ（ｋ^ｔ／ｆ） Δｙａｗ ＝ａｒｃｔａｎ（ｊ^ｔ／ｆ） 又、カメラの位置は固定と仮定しているので、位置の補
正更新値Δｘ，Δｙ，Δｚは全て０となる。

【００５２】次に、以上の姿勢Δｒｏｌｌ，Δｐｉｔｃ
ｈ，Δｙａｗ、及び位置Δｘ，Δｙ，Δｚによって定め
られるモデルビュー行列として、補正更新行列ΔＭ’^ｔ
を算出する。カメラの位置と姿勢からモデルビュー行列
を算出する算出方法は公知の方法であるので、ここでの
説明は省略する。

【００５３】そして、これまでに得られた補正行列ΔＭ
^ｔ−１と補正更新行列ΔＭ’^ｔから、更新後の補正行列
ΔＭ^ｔを以下の式に従って算出する。

【００５４】ΔＭ^ｔ＝ΔＭ’^ｔΔＭ^ｔ−１ ＜位置姿勢補正処理：補正後のモデルビュー行列Ｍ＄^ｔ
の算出＞時刻ｔにおける補正後のモデルビュー行列Ｍ＄
^ｔは、以下の式に従って求めることができる。

【００５５】Ｍ＄^ｔ＝ΔＭ^ｔＭ^ｔ そして補正後のモデルビュー行列Ｍ＄^ｔを用いてＣＧを
描画、表示することで、ジャイロセンサを用いても時間
経過に伴った方位方向の位置ずれを軽減することができ
る。

【００５６】以上、説明した本実施形態における補正処
理のフローチャートを図５乃至７に示し、以下説明す
る。

【００５７】図５は上述の補正処理のメインの処理のフ
ローチャートである。

【００５８】まずテンプレート画像を作成する（ステッ
プＳ５０１）。テンプレート画像を作成する具体的な処
理のフローチャートを図６に示す。

【００５９】まず、既定の位置姿勢に固定されたカメラ
から画像Ｉ^０を入力する（ステップＳ６０１）。次にこ
のときのカメラの位置姿勢に基づいてモデルビュー行列
Ｍ^０を算出する（ステップＳ６０２）。次に全てのｉに
ついて（言い換えれば全てのランドマークについて）ｐ
_ｉ ^０を求める（ステップＳ６０３，Ｓ６０４）。次にテ
ンプレート画像を作成する。作成する方法は上述の通り
であって、各ランドマークについて上述した範囲内の全
てのｊ、ｋに対して画素値を求め、テンプレート画像Ｔ
_ｉの座標（ｊ，ｋ）に格納する（ステップＳ６０６乃至
Ｓ６０８）。

【００６０】以上の図６に示した処理に従ってテンプレ
ート画像を生成すると、図５に戻って、画像Ｉ^ｔの撮影
を行う（ステップＳ５０２）。又、このときのセンサ出
力の取得も行う（ステップＳ５０３）。尚ステップＳ５
０２，Ｓ５０３の処理の順序はこれに限定されるもので
はなく、その順序が逆でも良いし、同期を取って、同時
に行っても良い。

【００６１】次にセンサ出力に基づいてモデルビュー行
列Ｍ^ｔの算出を行う（ステップＳ５０４）。そして補正
行列ΔＭ^ｔの算出を行う（ステップＳ５０５）。補正行
列ΔＭ^ｔの算出における具体的な処理のフローチャート
を図７に示し、以下説明する。

【００６２】まず、補正行列ΔＭ^ｔ−１でモデルビュー
行列Ｍ^ｔを補正し、モデルビュー行列Ｍ’^ｔを求める
（ステップＳ７０１）。そして次に全てのｉについて、
言い換えれば全てのランドマークについてｐ_ｉ ^ｔを算出
する（ステップＳ７０２，Ｓ７０３）。尚、算出したｐ
_ｉ ^ｔが画像Ｉ^ｔの範囲外に存在する場合には後述の処理
の対象外とする。

【００６３】次に各ランドマーク毎にターゲット画像Ｒ
_ｉ ^ｔを算出する（ステップＳ７０４乃至Ｓ７０６）。そ
してターゲット画像Ｒ_ｉ ^ｔとテンプレート画像Ｔ_ｉのマ
ッチングを行い、各ｊ、ｋごとに類似度ｅ（ｊ，ｋ）を
算出する（ステップＳ７０７，Ｓ７０８）。そして類似
度ｅ（ｊ，ｋ）が最大となる（ｊ，ｋ）を（ｊ_ｉ ^ｔ，ｋ
_ｉ ^ｔ）とする（ステップＳ７０９）。以上のステップＳ
７０７からステップＳ７０９までの処理を全てのｉ、言
い換えると全てのランドマークに対して求める（ステッ
プＳ７１０）。

【００６４】そして求めた（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）の平均値
を計算し、（ｊ^ｔ，ｋ^ｔ）を算出する（ステップＳ７１
１）。また、カメラの位置姿勢の補正値を求め（ステッ
プＳ７１２）、補正更新行列ΔＭ’^ｔを求め（ステップ
Ｓ７１３）、最終的に補正行列ΔＭ^ｔを求める（ステッ
プＳ７１４）。

【００６５】以上の図７に示した処理に従って補正行列
ΔＭ^ｔを算出すると、図５に戻って、算出した補正行列
ΔＭ^ｔを用いてモデルビュー行列Ｍ^ｔを補正する（ステ
ップＳ５０６）。

【００６６】そして補正後のモデルビュー行列Ｍ＄^ｔを
用いてＣＧを描画、表示する（ステップＳ５０７）。

【００６７】以上の説明により、本実施形態の画像処理
装置及びその方法によって、姿勢センサによるカメラ視
点の姿勢計測誤差を補正して位置ずれのないＭＲを実現
することができる。

【００６８】［第２の実施形態］第１の実施形態では、
補正処理を単一ループ（描画ループ）の中で行ってい
る。この場合、画像処理の計算負荷が原因となって描画
のフレームレートを充分得ることができない。あるい
は、描画のフレームレートを確保するために画像処理を
簡単なもの（計算量の少ないもの）にすると、補正の充
分な精度を得ることができない。

【００６９】そこで本実施形態では描画ループと補正演
算ループとを分離し、独立の更新周期（例えば描画ルー
プを６０Ｈｚで、補正演算ループを１ループ／秒）で動
作させる。又、本実施形態の処理を実行する装置とし
て、第１の実施形態で用いた画像処理装置を用いる。

【００７０】＜描画ループ＞基本的には図５、６に示し
たフローチャートに従った処理を実行するが、ステップ
Ｓ５０５において、後述の補正演算ループより送信され
る最新の補正行列ΔＭ^ｓを得てこれをΔＭ^ｔとする処理
を行う。

【００７１】＜補正演算ループ＞図８に補正演算ループ
の処理のフローチャートを示す。まず、描画ループから
時刻ｓにおける画像Ｉ^ｓと、そのときのモデルビュー行
列Ｍ^ｓを入力する（ステップＳ８０１）。そして第１の
実施形態で説明したステップＳ５０５における処理と同
様にして補正行列ΔＭ^ｓを算出する（ステップＳ８０
２）。そして算出した補正行列ΔＭ^ｓを描画ループに送
信する（ステップＳ８０３）。そして以上の処理を終了
許可があるまで実行する（ステップＳ８０４）。

【００７２】本実施形態では描画ループと補正演算ルー
プを分け、一つの画像処理装置（例えば）の中で実行し
ていたが、これに限定されるものではなく、夫々のルー
プの処理を夫々個々のコンピュータで実行しても良い。
そして、夫々のコンピュータ間で通信可能な状態にして
おき、夫々のコンピュータ間で夫々の処理結果を送受信
可能にする。このようにすることで、一つのコンピュー
タが受け持つ処理数は少なくなるので、より迅速な処理
が可能となる。

【００７３】［第３の実施形態］第２の実施形態ではモ
デルビュー行列の補正の処理において、得られた補正行
列ΔＭ^ｔとセンサによるモデルビュー行列Ｍ^ｔとの単純
な積の演算により、補正後のモデルビュー行列Ｍ＄^ｔを
求めているが、補正行列の更新は描画の周期と比べて間
隔が空いているので、補正行列が必ずしも現在のフレー
ム（時刻ｔ）に適切な補正情報を表しているとは言えな
い。

【００７４】そこで本実施形態では、第２の実施形態に
おけるステップＳ５０５において、補正演算ループから
得られる過去の補正行列を用いて、時刻ｔに適した補正
行列ΔＭ^ｔを算出する。

【００７５】まず、時刻ｓにおいて得られる補正行列Δ
Ｍ^ｓを展開して、カメラ姿勢の方位方向の補正値Δｙａ
ｗ^ｓ及びピッチ方向の補正値Δｐｉｔｃｈ^ｔを算出す
る。モデルビュー行列から個々の回転成分を求める方法
は公知であるので、ここでの説明は省略する。時刻ｓ−
１においても同様な処理をおこない、時刻ｔにおけるカ
メラ姿勢の補正値であるΔｙａｗ^ｔ及びΔｐｉｔｃｈ^ｔ
を以下のようにして求める。

【００７６】Δｙａｗ^ｔ＝Δｙａｗ^ｓ＋（Δｙａｗ^ｓ−
Δｙａｗ^ｓ−１）×Δｓｔ／ΔｓΔｐｉｔｃｈ^ｔ＝Δｐ
ｉｔｃｈ^ｓ＋（Δｐｉｔｃｈ^ｓ−Δｐｉｔｃｈ^ｓ−１）
×Δｓｔ／Δｓ ここで、Δｓｔは時刻ｓから時刻ｔまでの経過時間、Δ
ｓは時刻ｓ−１から時刻ｓまでの経過時間を表わすもの
とする。

【００７７】そして得られた補正値Δｙａｗ^ｔ及びΔｐ
ｉｔｃｈ^ｔを用いて、補正行列ΔＭ ^ｔを求める。その結
果、本実施形態における補正行列の算出方法を適用する
ことによって、現在のフレーム（時刻ｔ）に適切な補正
行列を算出することができる。

【００７８】尚、本実施形態では上記の式に示したよう
に１次の線形予測によって補正値の外挿を行っている
が、補正値の予測方法はこれに限るものではなく、２次
の線形予測や他の予測方法を用いることも可能である。

【００７９】［第４の実施形態］本実施形態では、第１
の実施形態よりもより正確に補正を行う方法を示す。

【００８０】まず、本実施形態で用いる各変数のうち、
上述の実施形態と異なるものについて説明する。

【００８１】・時刻ｔにおけるセンサ出力に基づいたモ
デルビュー行列の回転成分 Ｒ^ｔ ・カメラの既定の位置に基づいたモデルビュー行列の平
行移動成分 Ｔ^ｔ ・画像Ｉ^ｔ上におけるランドマークＬ_ｉの検出位置 ｐ
＄_ｉ ^ｔ＝（ｘ＄_ｉ ^ｔ，ｙ＄_ｉ ^ｔ） ・ランドマークＬ_ｉの「画像Ｉ^ｔ上への投影点」のカメ
ラ座標系における位置ｐｃ_ｉ ^ｔ ・ランドマークＬ_ｉから求められる、モデルビュー行列
の補正更新行列（方位方向の回転成分） ΔＲ_ｉ’^ｔ ・ランドマークＬ_ｉから求められる、ｙａｗ方向の補正
更新値 Δｙａｗ_ｉ ^ｔ ・全てのランドマークから求められるｙａｗ方向の補正
更新値 Δｙａｗ^ｔ ・モデルビュー行列の補正行列（方位方向の回転成分）
ΔＲ^ｔ ・これまでの処理で既に算出されている補正行列ΔＲ
^ｔ−１（はじめのループでは単位行列） ・補正行列ΔＲ^ｔ−１によって補正されたモデルビュー
行列の回転成分 Ｒ’ ^ｔ ・補正行列ΔＲ^ｔ−１によって補正されたモデルビュー
行列 Ｍ’^ｔ ・補正行列ΔＲ^ｔ−１を補正行列ΔＲ^ｔに更新する為の
補正更新行列（方位方向の回転成分） ΔＲ’^ｔ 以上の設定に基づいて、本実施形態における補正方法に
ついて同方法の処理のフローチャートを示す図９，１０
を用いて説明する。

【００８２】図９は本実施形態におけるメインの処理の
フローチャートである。ステップＳ９０１からステップ
Ｓ９０３までの処理は第１の実施形態におけるステップ
Ｓ５０１からステップＳ５０３までの処理と同じである
ため、説明を省略する。

【００８３】次に、モデルビュー行列の回転成分Ｒ
^ｔと、平行移動成分Ｔ^ｔとを算出する（ステップＳ９０
４）。具体的には回転成分Ｒ^ｔは、センサ出力（センサ
から得たカメラの姿勢）（ｒｏｌｌ^ｔ，ｐｉｔｃｈ^ｔ，
ｙａｗ^ｔ）に基づいて公知の方法で求める。一方、平行
移動成分Ｔ^ｔは、カメラの視点位置に基づいて公知の方
法で求める。

【００８４】そして次に補正行列ΔＲ^ｔを求める（ステ
ップＳ９０５）。補正行列ΔＲ^ｔを求める具体的な処理
のフローチャートを図１０に示し、以下説明する。

【００８５】まず、これまでの処理で既に算出されてい
る補正行列ΔＲ^ｔ−１で行列Ｒ^ｔを以下のようにして補
正し、行列Ｒ’^ｔを求める。

【００８６】Ｒ’^ｔ＝Ｒ^ｔΔＲ^ｔ−１ 次に、求めた行列Ｒ’^ｔを用いて行列Ｍ’^ｔを以下のよ
うにして求める（ステップＳ１００１）。

【００８７】Ｍ’^ｔ＝Ｒ’^ｔＴ^ｔ ステップＳ１００２からステップＳ１０１０までの処理
はそれぞれステップＳ７０２からステップＳ７１０まで
の処理と同じであるために、ここでの説明は省略する。

【００８８】次に、求まった（ｊ_ｉ ^ｔ，ｋ_ｉ ^ｔ）を用い
て画像Ｉ^ｔ上の各ランドマークの位置ｐ＄_ｉ ^ｔ＝（ｘ＄
_ｉ ^ｔ，ｙ＄_ｉ ^ｔ）を算出する（ステップＳ１０１２）。
算出は以下の式によって行う。

【００８９】ｘ＄_ｉ ^ｔ＝ｘ_ｉ ^ｔ＋ｊ_ｉ ^ｔｃｏｓ（−ｒｏ
ｌｌ^ｔ）−ｋ_ｉ ^ｔｓｉｎ（−ｒｏｌｌ^ｔ） ｙ＄_ｉ ^ｔ＝ｙ_ｉ ^ｔ＋ｊ_ｉ ^ｔｓｉｎ（−ｒｏｌｌ^ｔ）＋ｋ
_ｉ ^ｔｃｏｓ（−ｒｏｌｌ^ｔ） そして次に各ランドマークの「画像Ｉ^ｔ上への投影点」
のカメラ座標系における位置ｐｃ_ｉ ^ｔを算出する（ステ
ップＳ１０１３）。

【００９０】 ｐｃ_ｉ ^ｔ＝（ｘ＄_ｉ ^ｔ、ｙ＄_ｉ ^ｔ、−ｆ、１）^Ｔ このとき、ａをスケーリングパラメータとすると、ｐｃ
_ｉ ^ｔ・ａ＝Ｒ’^ｔΔＲ _ｉ’^ｔＴ^ｔＰ_ｉが成立する。この
式を解くことで、Δｙａｗ_ｉ ^ｔを算出する。その方法を
以下に示す。だたし、以下で、Ｉｎｖ（Ｍ）は行列Ｍの
逆行列を示す。

【００９１】Ｐ＄_ｉ ^ｔ＝（Ｘ＄_ｉ ^ｔ，Ｙ＄_ｉ ^ｔ，Ｚ＄_ｉ
^ｔ，１）^Ｔ＝Ｉｎｖ（Ｒ’^ｔ）ｐｃ _ｉ ^ｔ Ｐ’_ｉ＝（Ｘ’_ｉ，Ｙ’_ｉ，Ｚ’_ｉ，１）＝Ｔ^ｔＰ_ｉ とおくと、Ｐ＄_ｉ ^ｔ＝ΔＲ_ｉ’^ｔＰ’_ｉ／ａとなるの
で、 Ｘ＄_ｉ ^ｔ＝｛ｃｏｓ（Δｙａｗ_ｉ ^ｔ）Ｘ’_ｉ−ｓｉｎ
（Δｙａｗ_ｉ ^ｔ）Ｚ’_ｉ｝／ａ Ｚ＄_ｉ ^ｔ＝｛ｓｉｎ（Δｙａｗ_ｉ ^ｔ）Ｘ’_ｉ＋ｃｏｓ
（Δｙａｗ_ｉ ^ｔ）Ｚ’_ｉ｝／ａ となり、これを解くことで、 Δｙａｗ_ｉ ^ｔ＝ａｒｃｔａｎ｛（Ｚ＄_ｉ ^ｔ・Ｘ’_ｉ−Ｘ
＄_ｉ ^ｔ・Ｚ’_ｉ）／（Ｘ＄_ｉ ^ｔ・Ｘ’_ｉ＋Ｚ＄_ｉ ^ｔ・
Ｚ’_ｉ）｝ となる（ステップＳ１０１４）。このステップＳ１０１
４の処理をすべてのｉ、すなわち、すべてのランドマー
クに対して求める（ステップＳ１０１５）。そして求め
たすべてのΔｙａｗ_ｉ ^ｔの平均値Δｙａｗ^ｔを求める
（ステップＳ１０１６）。

【００９２】そして、求めた補正更新値Δｙａｗ^ｔを用
いて補正更新行列ΔＲ’^ｔを求める（ステップＳ１０１
７）。座標系を任意の角度（ここではΔｙａｗ^ｔ）で方
位方向に回転させるモデルビュー行列を算出する方法は
公知であるので、説明は省略する。この補正更新行列Δ
Ｒ’^ｔを用いて、求めるべき補正行列ΔＲ^ｔを以下のよ
うにして求める（ステップＳ１０１８）。

【００９３】ΔＲ^ｔ＝ΔＲ^ｔ−１ΔＲ’^ｔ 以上の図１０に示した処理に従って補正行列ΔＲ^ｔを算
出すると、図９に戻って、算出した補正行列ΔＲ^ｔを用
いてモデルビュー行列Ｍ＄^ｔを算出する（ステップＳ９
０６）。算出は以下の式に従って行う。

【００９４】Ｍ＄^ｔ＝Ｒ^ｔΔＲ^ｔＴ^ｔ そして第１の実施形態と同様に、算出したモデルビュー
行列を用いてＣＧを描画、表示する（ステップＳ９０
７）。

【００９５】［第５の実施形態］第１乃至４の実施形態
では、視点の位置を既知とし、姿勢（方向、角度）のみ
の補正を行った。前述したように、観察対象物体までの
距離が視点位置の移動量に対して相対的に大きい場合に
は視点位置を固定値とすること有効であるが、その仮定
が成り立たない場合には視点の移動に伴う位置ずれが生
じてしまう。よって本実施形態では視点位置の補正を行
う方法を示す。ただし本実施形態ではカメラ座標系にお
けるＺ軸方向（奥行き方向、撮像面に垂直な方向）の移
動量ΔＴｚは常に０であるものと仮定する。また、回転
成分については、センサにより正しい値が得られている
と仮定する。なお、この仮定が成り立つ場合には、最低
１点のランドマークの検出により位置の補正を行うこと
ができる。ここで本実施形態における設定を以下に示
す。

【００９６】・時刻ｔにおけるセンサ出力に基づいたモ
デルビュー行列の回転成分 Ｒ^ｔ ・時刻ｔにおけるカメラの既定の位置に基づいたモデル
ビュー行列の平行移動 成分 Ｔ^ｔ・モデルビュー行列の補正行列（世界座標系
における平行移動成分） ΔＴ^ｔ ・ランドマークＬ_ｉから求められるモデルビュー行列の
補正行列（世界座標系における平行移動成分） ΔＴ_ｉ
^ｔ ・これまでの処理で既に算出されている補正行列 ΔＴ
^ｔ−１（開始ループでは単位行列） ・補正行列ΔＴ^ｔ−１によって補正されたモデルビュー
行列の平行移動成分Ｔ’^ｔ ・補正行列ΔＴ^ｔ−１によって補正されたモデルビュー
行列 Ｍ’^ｔ ・モデルビュー行列の補正更新行列（カメラ座標系にお
ける平行移動成分）ΔＴｃ^ｔ ・ランドマークＬ_ｉから求められる、ｘ軸方向（カメラ
座標系）の補正更新値ΔＴｘ_ｉ ^ｔ ・ランドマークＬ_ｉから求められる、ｙ軸方向（カメラ
座標系）の補正更新値ΔＴｙ_ｉ ^ｔ ・全てのランドマークから求められる、ｘ軸方向（カメ
ラ座標系）の補正更新値 ΔＴｘ^ｔ ・全てのランドマークから求められる、ｙ軸方向（カメ
ラ座標系）の補正更新値 ΔＴｙ^ｔ 以上の設定に基づいて本実施形態における補正方法につ
いて同方法の処理のフローチャートを示す図１１，１２
を用いて説明する。

【００９７】図１１は本実施形態におけるメインの処理
のフローチャートである。ステップＳ１１０１からステ
ップＳ１１０４までの処理は、第４の実施形態における
ステップＳ９０１からステップＳ９０４における各処理
と同じなので、ここでは説明は省略する。

【００９８】次に、補正行列ΔＴ^ｔを求める（ステップ
Ｓ１１０５）。補正行列ΔＴ^ｔを求める具体的な処理の
フローチャートを図１２に示し、以下説明する。

【００９９】まず、これまでの処理で既に算出されてい
る補正行列ΔＴ^ｔ−１で行列Ｔ^ｔを補正し、行列Ｔ’^ｔ
と行列Ｍ’^ｔを以下のようにして求める（ステップＳ１
２０１）。

【０１００】Ｔ’^ｔ＝ΔＴ^ｔ−１Ｔ^ｔ Ｍ’^ｔ＝Ｒ^ｔＴ’^ｔ 次のステップＳ１２０２からステップＳ１２１１までの
各処理は、第４の実施形態におけるステップＳ１００２
からステップＳ１０１２までの各処理を同じであるため
に、ここのでは説明は省略する。

【０１０１】次にステップＳ１２１２では、ランドマー
クＬ_ｉに関する補正更新値ΔＴｘ_ｉ ^ｔ、ΔＴｙ_ｉ ^ｔを算
出する。

【０１０２】 ΔＴｘ_ｉ ^ｔ＝ｆ・Ｚｃ_ｉ ^ｔ（ｘ＄_ｉ ^ｔ−ｘ_ｉ ^ｔ） ΔＴｙ_ｉ ^ｔ＝ｆ・Ｚｃ_ｉ ^ｔ（ｙ＄_ｉ ^ｔ−ｙ_ｉ ^ｔ） ここでＺｃ_ｉ ^ｔはカメラ座標系におけるランドマークの
ｚ座標で、Ｍ’^ｔＰ_ｉの第３成分がその値となる。

【０１０３】以上の補正更新値ΔＴｘ_ｉ ^ｔ、ΔＴｙ_ｉ ^ｔ
をすべてのｉ，つまり、すべてのランドマークに対して
求め（ステップＳ１２１３）、次に求めたすべての補正
更新値ΔＴｘ_ｉ ^ｔ、ΔＴｙ_ｉ ^ｔの平均値ΔＴｘ^ｔ、ΔＴ
ｙ^ｔを求める（ステップＳ１２１４）。そして、求めた
補正更新値の平均値ΔＴｘ^ｔ、ΔＴｙ^ｔを用いて、ｘ方
向にΔＴｘ^ｔ、ｙ方向にΔＴｙ^ｔの平行移動を座標系に
施す補正更新行列ΔＴｃ^ｔを算出する（ステップＳ１２
１５）。座標系に任意の平行移動を施す座標変換行列を
算出する方法は公知であるので、説明は省略する。そし
て補正行列ΔＴ ^ｔを以下のようにして求める（ステップ
Ｓ１２１６）。

【０１０４】 ΔＴ^ｔ＝Ｉｎｖ（Ｒ^ｔ）ΔＴｃ^ｔＲ^ｔΔＴ^ｔ−１ 以上の図１２に示した処理に従って補正行列ΔＴ^ｔを算
出すると、図１１に戻って、算出した補正行列ΔＴ^ｔを
用いてモデルビュー行列Ｍ＄^ｔを算出する（ステップＳ
１１０６）。算出は以下の式に従って行う。

【０１０５】Ｍ＄^ｔ＝Ｒ^ｔΔＴ^ｔＴ^ｔ そして第１の実施形態と同様に、算出したモデルビュー
行列を用いてＣＧを描画し、表示する（ステップＳ１１
０７）。

【０１０６】［第６の実施形態］第５の実施形態ではΔ
Ｔｚが常に０と仮定していた為に、視線方向に対して前
後に視点位置が移動した場合に正確な位置合わせを行う
ことができなかった。本実施形態では、常に２点以上の
ランドマークを観察することで、ΔＴｚが０でない場合
にも対応する。

【０１０７】本実施形態における補正処理のフローチャ
ートは基本的には第５の実施形態で示した図１１，１２
と同じであるが、ステップＳ１２１４、Ｓ１２１５にお
ける処理の内容が異なる。以下、本実施形態における補
正処理でステップＳ１２１４、Ｓ１２１５における各処
理について説明する。

【０１０８】ｘ、ｙ、ｚ軸方向におけるカメラ座標系の
補正更新値をΔＴｘ^ｔ、ΔＴｙ^ｔ、ΔＴｚ^ｔとおくと、
ランドマークの撮像予測位置ｐ_ｉ ^ｔと検出位置ｐ＄_ｉ ^ｔ
の間には、各ランドマーク毎に以下の式が成り立つ。

【０１０９】ΔＴｘ^ｔ＋ｘ＄_ｉ ^ｔ・ｆ・ΔＴｚ^ｔ＝ｆ・
Ｚｃ_ｉ ^ｔ（ｘ＄_ｉ ^ｔ−ｘ_ｉ ^ｔ） ΔＴｙ^ｔ＋ｙ＄_ｉ ^ｔ・ｆ・ΔＴｚ^ｔ＝ｆ・Ｚｃ_ｉ ^ｔ（ｙ
＄_ｉ ^ｔ−ｙ_ｉ ^ｔ） よって、複数のランドマークに対して以下の連立方程式
をたて、これを解くことで、未知の補正更新値ΔＴ
ｘ^ｔ、ΔＴｙ^ｔ、ΔＴｚ^ｔを算出する（ステップＳ１２
１４）。

【０１１０】

【数１】

【０１１１】そして算出したΔＴｘ^ｔ、ΔＴｙ^ｔ、ΔＴ
ｚ^ｔを用いて、補正更新行列ΔＴｃ ^ｔを公知の方法で求
める（ステップＳ１２１５）。そしてステップＳ１２１
６では求めた更新行列ΔＴｃ^ｔを用いて第５の実施形態
と同様にして補正行列ΔＴ^ｔを求める。

【０１１２】［第７の実施形態］第１乃至６の実施形態
では回転か平行移動のいずれかのみの補正しかできなか
った。本実施形態ではその両方の補正を行う。基本的な
方法としては、回転の補正を行った後に、平行移動の補
正を行う。しかしこれに限定されるものではなく、その
逆の順序で補正しても良いし、回転の補正の後に平行移
動の補正（もしくはその逆の順序でも良い）を一定回数
繰り返しても良いし、予め設定しておいた閾値よりも誤
差が小さくなるまで、或いは補正による誤差の変動が閾
値よりも小さくなるまで、繰り返し行っても良い。

【０１１３】ここで本実施形態で以下用いる設定につい
て示す。

【０１１４】・ 処理の中間段階に得られた補正行列に
よって補正されたモデルビュー行列の回転成分 Ｒ”^ｔ ・ 処理の中間段階に得られた補正行列によって補正さ
れたモデルビュー行列Ｍ”^ｔ 以上の設定に基づいて、本実施形態における補正処理に
ついて説明する。

【０１１５】図１３に本実施形態におけるメインの処理
のフローチャートを示す。同図に示したフローチャート
は、第４の実施形態の図９に示したフローチャートに補
正行列ΔＴ^ｔを算出する処理（ステップＳ１３０６）を
追加したフローチャートとなっており、また、補正行列
ΔＲ^ｔを算出する処理（ステップＳ１３０５）における
処理も異なる。以下では、本実施形態における補正行列
ΔＴ^ｔを算出する処理（ステップＳ１３０６）、補正行
列ΔＲ^ｔを算出する処理（ステップＳ１３０５）につい
て説明する。又その他の部分については説明は省略す
る。

【０１１６】ステップＳ１３０５における補正行列ΔＲ
^ｔを算出する具体的な処理のフローチャートは基本的に
は第４の実施形態の図１０とほぼ同一であるが、本実施
形態では、ステップＳ１００１において、行列Ｒ’^ｔ及
びＭ’^ｔの算出に加え行列Ｔ’^ｔの算出を行う。

【０１１７】Ｒ’^ｔ＝Ｒ^ｔΔＲ^ｔ−１ Ｔ’^ｔ＝ΔＴ^ｔ−１Ｔ^ｔ Ｍ’^ｔ＝Ｒ’^ｔＴ’^ｔ そして、以降の処理（例えばＳ１０１４）において、図
１０における固定値Ｔ ^ｔの代わりとして、導出したＴ’
^ｔを使用する。

【０１１８】一方、ステップＳ１３０６における補正行
列ΔＴ^ｔを補正する具体的な処理のフローチャートは基
本的には第５の実施形態の図１２とほぼ同一であるが、
本実施形態では、ステップＳ１２０１において、ステッ
プＳ１３０５で求めた補正行列ΔＲ^ｔを用いて行列Ｒ^ｔ
を補正し、行列Ｒ”^ｔとＭ”^ｔを以下の式に従って求め
る。

【０１１９】Ｒ”^ｔ＝Ｒ^ｔΔＲ^ｔ Ｍ”^ｔ＝Ｒ”^ｔＴ’^ｔ 又、本実施形態における処理は図１２のフローチャート
において、ステップＳ１２１２でΔＴｘ_ｉ ^ｔ、ΔＴｙ_ｉ
^ｔを以下のようにして求める。

【０１２０】 ΔＴｘ_ｉ ^ｔ＝ｆ・Ｚｃ_ｉ ^ｔ（ｘ＄_ｉ ^ｔ−ｘ_ｉ ^ｔ） ΔＴｙ_ｉ ^ｔ＝ｆ・Ｚｃ_ｉ ^ｔ（ｙ＄_ｉ ^ｔ−ｙ_ｉ ^ｔ） ここでＺｃ_ｉ ^ｔはカメラ座標系におけるランドマークの
ｚ座標で、Ｍ”^ｔＰ_ｉの第３成分がその値となる。

【０１２１】又、本実施形態における処理は図１２のフ
ローチャートにおいて、ステップＳ１２１６で補正行列
ΔＴ^ｔを算出するが、以下の式に従って算出する。

【０１２２】 ΔＴ^ｔ＝Ｉｎｖ（Ｒ”^ｔ）ΔＴｃ^ｔＲ”^ｔΔＴ^ｔ−１ そして以上の補正行列ΔＴ^ｔが終了すると、図１３に示
したフローチャートに戻り、ステップＳ１３０７におい
てモデルビュー行列Ｍ＄^ｔを以下のようにして算出す
る。

【０１２３】Ｍ＄^ｔ＝Ｒ^ｔΔＲ^ｔΔＴ^ｔＴ^ｔ また、上述の補正行列ΔＲ^ｔ、ΔＴ^ｔを求める処理（ス
テップＳ１３０５，Ｓ１３０６）を上述の通り所定回数
繰り返しても良い。

【０１２４】［第８の実施形態］第１乃至７の実施形態
では世界座標系におけるランドマークの位置を既知とし
たが、それ以外の方法取ることもできる。すなわち、初
期位置姿勢における画像Ｉ^０上でランドマークの位置を
直接指定してもよいし、初期位置姿勢における画像Ｉ^０
上から顕著な（追跡の容易な）画像特徴（例えばエッジ
部分やテクスチャ性の強い部分）を持つ特徴点を抽出
し、この位置をランドマークの位置としてもよい。

【０１２５】ここで、手入力あるいは画像処理によって
画像座標（ｘ_ｉ ^０，ｙ_ｉ ^０）に撮像されている画像特徴
を指定あるいは検出し、ランドマークＬ_ｉとして用いる
場合を考える。このランドマークのカメラ座標をＰｃ_ｉ
^０＝（ｘ_ｉ ^０，ｙ_ｉ ^０，ｆ，１）と仮定すると、世界座
標は、初期位置姿勢におけるモデルビュー行列Ｍ^０の逆
行列を用いて，Ｐ_ｉ＝Ｉｎｖ（Ｍ^０）Ｐｃ_ｉ ^０と定義す
ることができ、第１乃至３の実施形態で述べた手法をそ
のまま適応することができる。

【０１２６】ただし、ランドマーク位置の奥行き方向の
情報は得ることが出来ないので，ランドマーク位置の奥
行き情報を用いた補正（第５の実施形態以降で述べた位
置の補正）を行うことは出来ない。

【０１２７】［変形例１］上記実施形態においては、Ｍ
Ｒシステムにおけるカメラの視点の姿勢（又は位置姿
勢）の計測を行ったが、本発明の適応範囲はこれに留ま
るものではなく、カメラの視点の姿勢（又は位置姿勢）
を計測するいずれの用途に用いることも可能であること
はいうまでもない。

【０１２８】［変形例２］上記実施形態においては、ビ
デオシースルー方式のＭＲシステムにおける視点の姿勢
（又は位置姿勢）の計測を行ったが、光学シースルー方
式のＭＲシステムであっても、本発明の画像処理装置に
よる姿勢（又は位置姿勢）計測を行うことができる。こ
の場合、ＨＭＤに姿勢センサを装着するとともに、計測
対象であるところの観察者の視点位置との相対的な姿勢
（又は位置姿勢）関係が既知であるような位置に固定さ
れるように、ＨＭＤにカメラを装着する。そして、上記
実施形態と同様な手法によってカメラの姿勢（又は位置
姿勢）を算出し、さらにその値を変換することで、観察
者視点の姿勢（又は位置姿勢）を算出する。また、本発
明の適応範囲は計測対象物体に限定されるものではな
く、いずれの計測対象物体であっても、同様にカメラ及
び姿勢センサを装着することで、その姿勢（又は位置姿
勢）を計測することができる。

【０１２９】［変形例３］上記実施形態においては、テ
ンプレート画像生成モジュール４３０において、既定の
位置姿勢で撮影した画像Ｉ^０に基づいてテンプレート画
像を生成したが、テンプレート画像は必ずしも画像Ｉ^０
に基づいて生成しなくてもよく、予め保存されているテ
ンプレート画像を用いても良いし、例えば動的なテンプ
レートの更新手法といった周知のいずれの方法によって
得られたテンプレート画像を用いてもよい。

【０１３０】［変形例４］上記実施形態においては、タ
ーゲット画像生成モジュール４０４において、ランドマ
ークの予測位置の近傍領域のみをターゲット画像として
抽出したが、テンプレートマッチングの対象画像（すな
わちターゲット画像）は、必ずしもランドマークの予測
位置の近傍領域を抽出したものでなくても良い。例え
ば、図１４（ｄ）のように入力画像全体に回転処理を加
えた画像Ｉ’を各ランドマークに共通のターゲット画像
として設定し、画像Ｉ’内において各々のランドマーク
の予測位置を求めその近傍において対応探索を行っても
良いし、画像Ｉ’の領域全体に対して対応探索を行って
も良い。

【０１３１】［変形例５］上記実施形態においては、姿
勢又は位置姿勢の計測を目的として、その手段としてテ
ンプレートマッチングによるランドマーク検出を用いた
が、本発明の画像処理装置におけるランドマーク検出手
法は、テンプレートマッチングによって画像中からラン
ドマークの位置を検出する用途であれば、姿勢又は位置
姿勢の計測に限定されることなく適応することができ
る。

【０１３２】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【０１３３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１３４】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図５乃至図１３のうち
少なくとも一つに示したフローチャート）に対応するプ
ログラムコードが格納されることになる。

【０１３５】

【発明の効果】以上の説明により、本発明によって、姿
勢センサによるカメラ視点の計測誤差の補正、特に時間
経過に伴って生じる方位方向の蓄積誤差の補正を行うこ
とができ、位置ずれのないＭＲを実現することができ
る。

【図面の簡単な説明】

【図１】初期画像Ｉ^０を示す図である。

【図２】従来の画像処理装置の構成を示す図である。

【図３】本発明の第１の実施形態における画像処理装置
の構成を示す図である。

【図４】視点位置姿勢補正値演算モジュール２１５の具
体的な構成を示す図である。

【図５】本発明の第１の実施形態におけるメインの処理
のフローチャートである。

【図６】テンプレート画像を作成する際の具体的な処理
のフローチャートである。

【図７】補正行列ΔＭ^ｔの算出における具体的な処理の
フローチャートである。

【図８】本発明の第２の実施形態における補正演算ルー
プの処理のフローチャートである。

【図９】本発明の第４の実施形態におけるメインの処理
のフローチャートである。

【図１０】補正行列ΔＲ^ｔを求める具体的な処理のフロ
ーチャートである。

【図１１】本発明の第５の実施形態におけるメインの処
理のフローチャートである。

【図１２】補正行列ΔＴ^ｔを求める具体的な処理のフロ
ーチャートである。

【図１３】本発明の第７の実施形態におけるメインの処
理のフローチャートである。

【図１４】本発明におけるテンプレートマッチングの基
本原理を説明する図である。

フロントページの続き (56)参考文献 特開2000−97637（ＪＰ，Ａ) 特開2000−275013（ＪＰ，Ａ) マーカー追跡に基づく拡張現実感シス テムとそのキャリブレーション，日本バ ーチャルリアリティ学会論文誌，日本, 1999年，Ｖｏｌ．４ Ｎｏ．４，ｐｐ. 607−616 画像と加速度計を用いたＨＭＤ上での 映像の正確な重ね合わせ，日本バーチャ ルリアリティ学会論文誌，日本，1999 年，Ｖｏｌ．４ Ｎｏ．４，ｐｐ．589 −598 カメラと３次元センサの組合せによる 現実空間と仮想空間の位置合わせ手法, 日本バーチャルリアリティ学会論文誌, 日本，1999年，Ｖｏｌ．４ Ｎｏ．１, ｐｐ．295−302 ＰＲＵ95−169 ３Ｄ−ＣＧ指向型ロ ボットビジョン，電子情報通信学会技術 研究報告，日本，1995年12月21日，Ｖｏ ｌ．95 Ｎｏ．445，ｐｐ．17−24 ＰＲＵ99−195 参照画像の適応的選 択による自由視点からの仮想物体像生成 と実世界像との融合，電子情報通信学会 技術研究報告，日本，2000年 １月20 日，Ｖｏｌ．99 Ｎｏ．574，ｐｐ．25 −32 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G01B 11/00 G06T 1/00 G06T 17/40

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 計測対象との間の位置関係が固定されて
   いる撮像装置と、 前記撮像装置の撮像視点の姿勢を計測する姿勢センサ
   と、 前記計測対象の姿勢および／または位置を、前記姿勢セ
   ンサの出力に基づいて算出するための算出情報を記憶す
   る記憶手段と、前記計測値と前記記憶手段が記憶する前記算出情報を用
   いて撮像画像中における指標の予測位置を求め、前記計
   測値から導出される前記撮像装置のロール方向の回転角
   に基づいた回転処理を当該撮影画像中における当該予測
   位置の周辺領域に施した画像を作成し、ターゲット画像
   として出力するターゲット画像設定手段と、 前記指標のテンプレート画像と前記ターゲット画像との
   間でテンプレートマッチング処理を行うことにより、前
   記ターゲット画像中における前記指標の位置を検出する
   検出手段と、 前記検出手段が検出した前記指標の検出位置に基づい
   て、前記記憶手段に記憶されている前記算出情報を更新
   する更新手段と、 前記計測値と前記更新手段によって更新された前記算出
   情報に基づいて、前記計測対象の姿勢および／または位
   置を算出する算出手段とを備えることを特徴とする画像
   処理装置。
2. 【請求項２】 前記算出情報は前記姿勢センサが計測す
   る姿勢の計測値の誤差を補正するための補正情報であっ
   て、 前記算出手段は、前記計測値と前記補正情報に基づいて
   前記計測対象の姿勢を算出することを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】 前記算出情報は、前記姿勢センサが計測
   する姿勢の計測値の誤差を補正するための補正情報と、
   前記撮像装置の撮像視点の位置情報であって、 前記算出手段は、前記計測値と前記補正情報と前記位置
   情報に基づいて前記計測対象の位置姿勢を算出すること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 【請求項４】 前記更新手段は、前記検出手段において
   １点のみの指標が検出された場合においても、前記撮像
   装置のカメラ座標系における奥行き方向を除く２方向の
   位置情報を更新することを特徴とする請求項３に記載の
   画像処理装置。
5. 【請求項５】 前記補正情報は、前記姿勢センサが計測
   する姿勢の計測値のうちの方位方向の誤差を補正するた
   めの情報であることを特徴とする請求項２または３に記
   載の画像処理装置。
6. 【請求項６】 前記更新手段は、前記撮像画像中におけ
   る前記指標の検出位置に基づいて前記算出情報を更新す
   ることを特徴とする請求項１乃至５のいずれか１項に記
   載の画像処理装置。
7. 【請求項７】 前記更新手段は、前記検出手段において
   複数の指標が検出された場合に、各々の指標毎に得られ
   る前記算出情報の更新値の代表値に基づいて前記算出情
   報を更新することを特徴とする請求項１に記載の画像処
   理装置。
8. 【請求項８】 前記更新手段は、前記ターゲット画像中
   における前記指標の予測位置と前記検出位置のずれに基
   づいて前記算出情報を更新することを特徴とする請求項
   １に記載の画像処理装置。
9. 【請求項９】 前記更新手段は、前記検出手段において
   複数の指標が検出された場合に、各々の指標毎に得られ
   る前記ずれの代表値に基づいて前記算出情報を更新する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 【請求項１０】 前記計測対象は前記撮像装置の撮像視
    点であり、 前記算出手段が算出した前記撮像装置の姿勢または位置
    姿勢に基づいて、前記撮像画像に仮想空間の像を重畳描
    画して表示する表示手段をさらに有す ることを特徴とす
    る請求項１に記載の画像処理装置。
11. 【請求項１１】 前記計測対象は観察者の視点であっ
    て、 前記観察者が観察する表示画面に現実空間の像を光学的
    に透過させつつ、前記算出手段が算出した当該観察者の
    姿勢または位置姿勢に基づいて描画した仮想空間の像を
    当該表示画面に表示する表示手段をさらに有することを
    特徴とする請求項１に記載の画像処理装置。
12. 【請求項１２】 撮像装置によって撮像された撮像画像
    中における指標の位置の検出を、当該指標のテンプレー
    ト画像を用いたテンプレートマッチングによって行う画
    像処理装置であって、 前記撮像装置の撮像視点の姿勢を計測する姿勢センサ
    と、 前記姿勢センサが計測した前記姿勢の計測値を利用して
    前記撮像画像中における前記指標の予測位置を求め、前
    記撮像画像中における当該予測位置の周辺領域に前記計
    測値のうちのロール方向の回転角に基づいた回転処理を
    施した画像を作成しターゲット画像として出力するター
    ゲット画像作成手段と、 前記テンプレート画像と前記ターゲット画像の間におい
    てテンプレートマッチング処理を行うことにより、前記
    撮影画像中における前記指標の位置を検出する検出手段
    とを備えることを特徴とする画像処理装置。
13. 【請求項１３】 計測対象との間の位置関係が固定され
    ている撮像装置によって撮像画像を撮像する撮像工程
    と、 前記撮像装置の撮像視点の姿勢を計測する姿勢計測工程
    と、 前記計測対象の姿勢および／または位置を、前記姿勢計
    測工程で計測した計測値に基づいて算出するための算出
    情報を記憶する記憶工程と、前記計測値と前記記憶工程で記憶する前記算出情報を用
    いて撮像画像中における指標の予測位置を求め、前記計
    測値から導出される前記撮像装置のロール方向の回転角
    に基づいた回転処理を当該撮影画像中における当該予測
    位置の周辺領域に施した画像を作成し、ターゲット画像
    として出力するターゲット画像設定工程と、 前記指標のテンプレート画像と前記ターゲット画像との
    間でテンプレートマッチング処理を行うことにより、前
    記ターゲット画像中における前記指標の位置を検出する
    検出工程と、 前記検出工程で検出した前記指標の検出位置に基づい
    て、前記記憶工程で記憶されている前記算出情報を更新
    する更新工程と、 前記計測値と前記更新工程で更新された前記算出情報に
    基づいて、前記計測対象の姿勢および／または位置を算
    出する算出工程とを備えることを特徴とする画像処理方
    法。
14. 【請求項１４】 撮像装置によって撮像された撮像画像
    中における指標の位 置の検出を、当該指標のテンプレー
    ト画像を用いたテンプレートマッチングによって行う画
    像処理方法であって、 前記撮像装置の撮像視点の姿勢を計測する姿勢センサが
    計測した前記姿勢の計測値を利用して前記撮像画像中に
    おける前記指標の予測位置を求め、前記撮像画像中にお
    ける当該予測位置の周辺領域に前記計測値のうちのロー
    ル方向の回転角に基づいた回転処理を施した画像を作成
    しターゲット画像として出力するターゲット画像作成工
    程と、 前記テンプレート画像と前記ターゲット画像の間におい
    てテンプレートマッチング処理を行うことにより、前記
    撮影画像中における前記指標の位置を検出する検出工程
    と を備えることを特徴とする画像処理方法。
15. 【請求項１５】 コンピュータに請求項１３又は１４に
    記載の画像処理方法を実行させるためのプログラム。
16. 【請求項１６】 請求項１５に記載のプログラムを格納
    するコンピュータ読み取り可能な記憶媒体。