JP2005326275A - 情報処理方法および装置 - Google Patents

Abstract

【課題】 撮像装置に装着した姿勢センサの撮像装置に対する姿勢を、簡便かつ正確に取得すること。
【解決手段】 撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、撮影画像から検出した指標の画像座標に関する情報と姿勢計測値とを用いて、姿勢センサと撮像装置との間の相対姿勢を算出する。その時、姿勢センサと撮像装置の間の相対姿勢と撮像装置の位置とを未知のパラメータとして、指標の画像座標の実測値と、パラメータの推定値から算出した指標の画像座標の理論値との誤差を最小化するようなパラメータを求める。
【選択図】 図１

Description

本発明は、撮像装置の姿勢を計測する目的のために撮像装置に装着された姿勢センサの撮像装置に対する姿勢を較正するに関するものである。

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮像された現実空間の画像に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）を重畳描画した画像を表示する装置によって実現される。

このような画像表示装置の応用としては、市街地を撮像した現実空間の画像中に含まれる著名な建造物等の名称や案内を仮想空間画像として重畳表示するナビゲーションや、ビルの建設予定地を撮像した画像中に建設予定のビルのコンピュータ・グラフィックス映像を重畳表示する景観シミュレーションなどが期待されている。

これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。現実空間と仮想空間の間の位置合わせを正確に行うためには、仮想空間の画像を生成するためのカメラパラメータ（内部パラメータ及び外部パラメータ）を、撮像装置のカメラパラメータと常に一致させればよい。撮像装置の内部パラメータが既知であるとすれば、複合現実感における位置合わせの問題は、撮像装置の外部パラメータ、すなわち、現実空間に設定した世界座標系における撮像装置の位置及び姿勢を求める問題に帰結される。

現実空間に設定した世界座標系における撮像装置の位置及び姿勢を求める方法として、例えば非特許文献１においては、姿勢センサを用いた撮像装置の姿勢計測と、全地球測位システム等による撮像装置の位置計測との併用によって撮像装置の位置及び姿勢を得ることが提案されている。

このような方法に用いられる姿勢センサの代表的なものに、株式会社トキメックのＴＩＳＳ−５−４０や、米国ＩｎｔｅｒＳｅｎｓｅ社のＩｎｅｒｔｉａＣｕｂｅ２が存在する。これらの姿勢センサは、３軸方向の角速度を検出するジャイロセンサと、３軸方向の加速度を検出する加速度センサによって主に構成されており、それらの計測値の組み合わせによって３軸の姿勢（方位角、ピッチ角、ロール角）を計測する。一般に、ジャイロセンサのみによって得られる角度情報は、ある時刻の姿勢に対する姿勢の相対的な変化のみであるが、これらの姿勢センサは、加速度センサによって地球の重力方向を計測することで、傾斜角（すなわち、ピッチ角及びロール角）については重力方向を基準とした絶対角を得ることができることを特徴としている。

姿勢センサが出力する姿勢計測値は、世界座標系とは無関係にセンサ自身が定義するセンサ座標系におけるセンサ自身の姿勢を表している。センサ座標系は、例えば上述のＴＩＳＳ−５−４０の場合には、重力方向（下方向）をＺ軸、このＺ軸によって定められるＸ−Ｙ平面上におけるセンサ初期化時のセンサの正面方向をＸ軸として定義される。また、ＩｎｅｒｔｉａＣｕｂｅ２の場合には、重力方向（下方向）をＺ軸、このＺ軸によって定められるＸ−Ｙ平面上において、内蔵する地磁気センサがセンサ初期化時に示している北方向をＸ軸として定義される。このように、姿勢センサによる姿勢計測値は、取得したい情報である世界座標系における計測対象物体（複合現実感を提示する画像表示装置の場合には撮像装置）の姿勢そのものではないことが一般的である。

すなわち、姿勢センサによる姿勢計測値をそのまま世界座標系における計測対象物体の姿勢として用いることはできず、何らかの座標変換を行う必要がある。具体的には、センサ自身の姿勢を計測対象物体の姿勢に変換する座標変換（以下、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍと呼ぶ）と、センサ座標系における姿勢を世界座標系における姿勢に変換する座標変換（以下、Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍと呼ぶ）が必要となる。

Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍは、センサ座標系の世界座標系に対する姿勢によって定義される変換である。

上述したように、センサ座標系は重力の方向に応じて決定されるので、センサ座標系における重力軸（ＴＩＳＳ−５−４０やＩｎｅｒｔｉａＣｕｂｅ２の場合にはＺ軸）が世界座標系においてどのような方向を向いているかは、センサ座標系と世界座標系のそれぞれにおける重力方向の定義から一意に決定可能である。この情報を利用すると、重力軸まわりの回転角に不定性を残した状態で、Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍを求めることができる。具体的には、世界座標系における鉛直上方向を表す３次元ベクトルｌとセンサ座標系における鉛直上方向を示す３次元ベクトルｇを用意して、ｇとｌの内積ｇ・ｌに基づいて両ベクトルの成す角βを算出し、さらに、ｇとｌとの外積により両ベクトルによって構成される平面の法線ベクトルｎ＝ｇ×ｌを算出する。ベクトルｎを回転軸、角度βを回転角とするような座標変換を行う回転行列Ｒ^＊ _ＷＣを算出すると、これが世界座標系に対する重力方向に対応する軸の姿勢となる。この算出方法については、本出願人からＷｏｒｌｄ Ｔｒａｎｓｆｏｒｍの算出方法を、本出願人は、特願２００３−３４１６３０で提案している。よって、Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍは、重力軸まわりの回転角のみが未知となる。

この未知パラメータは、姿勢センサがジャイロセンサであった場合に時間経過と共に発生する、重力軸まわりの姿勢計測値の蓄積誤差である「方位ドリフト誤差」と幾何学的に等価なパラメータである。そこで、未知の値として残された重力軸まわりの回転角を「方位ドリフト誤差の初期値」と解釈すると、このパラメータは、動的に変化するセンサの方位ドリフト誤差の一部とみなすことができ、結果的に、Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍを、（重力軸の関係によって導出可能な）既知の値と考えることができる。また、方位ドリフト誤差の自動計測（自動補正）は、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍが既知であれば、画像情報を利用した公知の手法によって実現できることが知られている（例えば、特許文献１を参照）。
特開２００３−１３２３７４号公報 特開２００３−２０３２５２号公報 Ｔ．Ｈｏｌｌｅｒｅｒ，Ｓ．Ｆｅｉｎｅｒ，ａｎｄ Ｊ．Ｐａｖｌｉｋ，Ｓｉｔｕａｔｅｄ ｄｏｃｕｍｅｎｔａｒｉｅｓ：ｅｍｂｅｄｄｉｎｇ ｍｕｌｔｉｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ ｔｈｅ ｒｅａｌ ｗｏｒｌｄ，Ｐｒｏｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｗｅａｒａｂｌｅ Ｃｏｍｐｕｔｅｒｓ’９９，ｐｐ．７９−８６，１９９９．

しかしながら、既知としたいＬｏｃａｌ Ｔｒａｎｓｆｏｒｍを、簡便かつ正確に較正する方法が、これまで知られていなかった。例えば、従来までに行われていた較正方法の一つに、オペレータが何らかの入力手段を介して、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍを表すパラメータの値を対話的に増減し、正確な位置合わせが達成されるまで各値の調整を試行錯誤的に行うという方法があるが、これはとても簡便とは言えなかった。また、別の方法として、予め定めた姿勢に基づいた仮想物体を画像表示装置に表示し、表示された仮想物体と現実空間とが正しい位置関係になるように、オペレータが目視で確認しながら撮像装置の姿勢を調節し、その時点における姿勢センサの出力に従って上記２つの座標変換を算出する方法が、特許文献２に開示されている。この方法は、パラメータの値を対話的に調整する方法に比べれば簡便ではあるが、オペレータの目視に頼る必要があるため正確性や再現性に改善の余地がある。

本発明は以上の問題に鑑みてなされたものであり、撮像装置に装着した姿勢センサの撮像装置に対する姿勢を、簡便かつ正確に取得することを目的とする。

上記目的を達成するために本発明は以下の構成を有することを特徴とする。

請求項１記載の発明は、撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理方法であって、前記撮影装置によって撮影された画像を入力する撮影画像入力工程と、前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力工程と、情景に配置された指標の画像座標に関する情報を前記画像から検出する検出工程と、前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出工程とを有し、前記センサ姿勢算出工程は、前記姿勢センサと前記撮像装置との間の相対姿勢と前記撮像装置の位置とを少なくとも未知のパラメータとして、前記検出された指標の画像座標に関する情報に応じた指標の画像座標の実測値と、前記パラメータの推定値から算出した当該指標の画像座標の理論値との誤差を小さくするようにパラメータを求めることを特徴とする。

請求項５記載の発明は、撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理方法であって、前記撮影装置によって撮影された画像を入力する撮影画像入力工程と、前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力工程と、情景に配置された指標の画像座標に関する情報を前記画像から検出する検出工程と、前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出工程とを有し、前記指標の画像座標に関する情報は、前記指標によって定まる１点または複数点の画像座標であることを特徴とする。

請求項１０記載の発明は、撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、前記撮像装置にはさらに画像表示装置が装着されていることを特徴とする。

請求項１１記載の発明は、撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段と、前記較正情報算出手段で算出された前記姿勢センサと前記撮像装置との間の相対姿勢を目視評価する目視評価手段とを有することを特徴とする。

請求項１３記載の発明は、撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、前記撮像装置はさらに頭部に装着されることを特徴とする。

以上の説明により、本発明によれば、撮像装置に装着した姿勢センサの撮像装置に対する姿勢を、簡便かつ正確に取得することができる。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
本実施形態に係るセンサ較正装置は、センサ自身の姿勢を撮像装置の姿勢に変換する座標変換を取得する。また、本実施形態に係るセンサ較正装置は、較正結果を確認するために、その較正結果を用いた複合現実感の提示も行う。以下、本実施形態に係るセンサ較正装置及びセンサ較正方法について説明する。

図１は、本実施形態に係るセンサ較正装置１００の概略を示す図である。図１に示したように、本実施形態に係るセンサ較正装置１００は、較正対象である姿勢センサ１１０と、姿勢センサ１１０が装着された撮像装置１２０に接続され、指標検出部１３０、指示部１４０、データ管理部１５０、較正情報算出部１６０、位置姿勢算出部１７０、画像生成部１８０、画像合成部１９０、画像表示部１１００によって構成されている。

較正対象である姿勢センサ１１０は、センサ座標系におけるセンサ自身の姿勢を計測する。姿勢センサ１１０は、地球の重力方向を計測可能な傾斜計（不図示）を内部に有しており、センサ座標系の１つの軸（本例ではＺ軸）は重力の逆方向に設定される。計測した３自由度の姿勢計測値は、データ管理部１５０の要求に従って、データ管理部１５０へと出力される。

現実空間中の複数の位置には、撮像装置１２０によって撮影するための指標（以下、基準指標）として、世界座標系（現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置が既知である複数個の基準指標Ｑ^ｋ（ｋ＝１，，，Ｋ）が配置されている。基準指標Ｑ^ｋは、センサ較正用のデータを取得する時の撮像装置１２０によって、少なくとも３個以上の指標が観測されるように設置されていることが望ましい。図１の例は、４個の基準指標Ｑ^１，Ｑ^２，Ｑ^３，Ｑ^４が配置されており、そのうちの３個Ｑ^１，Ｑ^３，Ｑ^４が撮像装置１２０の視野内に含まれている状況を示している。

基準指標Ｑ^ｋは、例えば、それぞれが異なる色を有する円形状のマーカによって構成してもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いることも可能である。撮影画像上における投影像の画像座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。

撮像装置１２０が出力する画像（以下、これを撮影画像と呼ぶ）は、指標検出部１３０に入力される。

指標検出部１３０は、撮像装置１２０より撮影画像を入力し、入力した撮影画像中に撮影されている基準指標Ｑ^ｋの画像座標を検出する。例えば、基準指標Ｑ^ｋの各々が異なる色を有するマーカによって構成されている場合には、撮影画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、基準指標Ｑ^ｋの各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを撮影画像上に施すことにより、指標の位置を検出する。また、基準指標として四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本明細では、４つの頂点の個々によって形成される４つの指標であると考える。

検出された各々の基準指標Ｑ^ｋｎの画像座標ｕ^Ｑｋｎとその識別子ｋ_ｎは、データ管理部１５０の要求に従って、データ管理部１５０へと出力される。ここで、ｎ（ｎ＝１，，，Ｎ）は検出された指標夫々に対するインデックスであり、Ｎは検出された指標の総数を表している。例えば図１の場合には、Ｎ＝３であり、識別子ｋ_１＝１，ｋ_２＝３，ｋ_３＝４とこれらに対応する画像座標ｕ^Ｑｋ１，ｕ^Ｑｋ２，ｕ^Ｑｋ３が出力される。

指示部１４０は、不図示のオペレータからデータ取得コマンドが入力された時には「データ取得」の指示をデータ管理部１５０に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部１６０に送信する。指示部１４０へのコマンド入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたＧＵＩで行うなどの、いずれの方法で行ってもよい。

データ管理部１５０は、指示部１４０から「データ取得」の指示を受けると、姿勢センサ１１０から姿勢計測値を入力し、指標検出部１３０から基準指標の画像座標とその識別子を入力し、検出された夫々の指標について、［姿勢計測値−基準指標の画像座標−基準指標の識別子］の組を、一つのデータリストに追加しこれを保持する。ここで、姿勢センサ１１０から入力される姿勢計測値は、指標検出部１３０から入力される基準指標の画像座標を検出した撮影画像の撮影時刻と、同一時刻のものである。また、データ管理部１５０は、較正情報算出部１６０からの要求にしたがって、生成したデータリストを較正情報算出部１６０に出力する。

較正情報算出部１６０は、指示部１５０から「較正情報算出」の指示を受けると、データ管理部１５０からデータリストを入力し、これをもとに較正処理を行い、その結果として得られた較正情報（すなわち、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍ）を出力する。また、較正情報の算出過程で得られる、最新の方位ドリフト誤差補正値を出力しても良い。

以上が、撮像装置に装着した姿勢センサの撮像装置に対する姿勢の取得に関する構成部分である。次に説明する構成は、較正結果の確認するための、複合現実感の提示に関する部分である。

位置姿勢算出部１７０は、姿勢センサ１１０から姿勢計測値を入力し、指標検出部１３０から基準指標の画像座標とその識別子を入力し、較正情報算出部１６０から較正情報を入力し、それらを合わせて用いて、世界座標系における撮像装置１２０の位置及び姿勢を算出する。

そこで提案されている方法によれば、位置姿勢算出部１７０は、まず、姿勢センサ１１０の方位ドリフト誤差補正値と、世界座標系における撮像装置１２０の位置の各々に、初期推定値を設定する。この値は、例えば、初期フレームにおいてはオペレータが対話的に入力してもよいし、前フレームにおける最適化結果を用いてもよいし、較正情報算出部１６０の処理工程で得られる推定値を入力して、その値を設定してもよい。続いて、位置姿勢算出部１７０は、このようにして設定した姿勢センサ１１０の方位ドリフト誤差補正値と、世界座標系における撮像装置１２０の位置の推定値とから、世界座標系における撮像装置１２０の位置と姿勢を算出する。ここで、世界座標系における撮像装置１２０の姿勢は、較正情報算出部１６０から入力する較正情報であるＬｏｃａｌ Ｔｒａｎｓｆｏｒｍと、センサ座標系と世界座標系のそれぞれにおける重力方向の定義から一意に決定可能なＷｏｒｌｄ Ｔｒａｎｓｆｏｒｍと、方位ドリフト誤差補正値の推定値と、姿勢センサ１１０から入力される姿勢計測値に基づいて算出される。

そして、その位置と姿勢から算出される基準指標の画像座標の理論値と、基準指標の画像座標の実測値との誤差を、画像ヤコビアンを用いたガウス・ニュートン法のような繰り返し計算によって最小化することにより、姿勢センサ１１０の方位ドリフト誤差補正値と、世界座標系における撮像装置１２０の位置の推定値を最適化する。さらに、得られた推定値から、撮像装置１２０の世界座標系における位置及び姿勢を算出して、画像生成部１９０へと出力する。

以上のように、与えられたＬｏｃａｌ Ｔｒａｎｓｆｏｒｍが正しいという仮定に基づいて姿勢の算出が行われるので、求められた撮像装置１２０姿勢は、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍの正確さを反映したものとなる。

画像生成部１８０は、位置姿勢算出部１７０から世界座標系における撮像装置１２０の位置及び姿勢を入力し、その位置及び姿勢から見た複合現実感を提示する画像の、仮想空間部分に相当する仮想空間画像を生成する。生成した仮想空間画像は、画像合成部１９０へ出力される。

画像合成部１９０は、撮像装置１２０から撮像画像を入力し、画像生成部１８０から仮想空間画像を入力し、それらを合成することで、複合現実感を提示する画像を生成する。生成した複合現実感を提示する画像は、画像表示部１１００へ出力される。

画像表示部１１００は、画像合成部１９０から複合現実感を提示する画像を入力し、これを表示することでオペレータに複合現実感を提示する。オペレータは、提示された複合現実感における、現実空間と仮想空間の間の、位置合わせの正確さをもって、較正結果の正確さを判断することができる。なお、画像表示部１１００は、撮像装置１２０と一体化した構成になっていても良い。その場合の、撮像装置１２０および画像表示部１１００は、いわゆる頭部装着型ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）となりうる。

続いて、図２に示したフローチャートを用いて、本実施形態の較正装置が較正情報を求める際に行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。

ステップＳ２０１０のおいて、指示部１４０は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。オペレータは、センサ較正用のデータ取得を行う位置に撮像装置１２０を配置した時に、データ取得コマンドを入力する。指示部１４０は、データ取得コマンドが入力されている場合には、ステップＳ２０２０へと処理を移行させる。以下、データ取得コマンドが入力された時刻の識別子として、記号τを使用する。以下では、時刻τが異なるときには、撮像装置１２０の視点位置の位置及び姿勢が異なっているものとする（すなわち、τは視点位置の識別子と考えることもできる）。

ステップＳ２０２０において、データ管理部１５０は、姿勢センサ１１０から、時刻τにおいて姿勢センサ１１０が計測した３自由度の姿勢計測値を入力する。この姿勢計測値は、３値ベクトルによって内部的に表現される。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。以下、本ステップでデータ管理部１５０に入力される姿勢計測値を、３次元ベクトルｍ_τ＝［ξ_ｍτ ψ_ｍτ ζ_ｍτ］^Ｔで表す。

ステップＳ２０３０において、データ管理部１５０は、指標検出部１３０から、時刻τにおいて指標検出部１３０によって検出された基準指標Ｑ^ｋｎの画像座標ｕ^Ｑｋｎとその識別子ｋ_ｎを入力する。指標検出部１３０は、入力された撮影画像に対して常に基準指標の検出処理を行っており、本ステップの処理により、姿勢センサ１１０の姿勢計測値がｍ_τであるときの基準指標の画像座標を得ることができる。なお、指標検出部１３０から入力される情報は、必ずしも全ての基準指標に関するものである必要はなく、その時点で撮影画像上において検出されている基準指標に関する情報であればよい。

次に、ステップＳ２０４０において、データ管理部１５０は、入力したデータの組をデータリストＬに追加する。具体的には、姿勢センサ１１０から入力するｍ_τをｍ_τｉ＝［ξ_ｍτｉ ψ_ｍτｉ ζ_ｍτｉ］^Ｔとし、指標検出部１３０から入力する識別子ｋ_ｎをｋ_ｉとし、同じく指標検出部１３０から入力するｕ^Ｑｋｎをｕ_ｉ ^Ｑｋｉとして、［ｍ_τｉ，ｕ_ｉ ^Ｑｋｉ，ｋ_ｉ］の組を、ｉ番目のデータとしてデータリストＬに登録する。ここでｉ（ｉ＝１，，，Ｉ）は、データリストＬに登録したデータの組夫々に対するインデックスであり、τ_ｉはｉ番目のデータが入力された時刻の識別子を表している。また、Ｉは、登録したデータの総組数を表している。

以上の処理によって、データの取得が行われる。

ステップＳ２０５０では、データ管理部１５０によって、それまでに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。条件を満たしていない場合には、再びステップＳ２０１０へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップＳ２０６０へと処理を移行させる。データリストが較正情報を算出するに足るだけの情報を有す条件としては、例えば、２フレーム（２つの時刻、２つの視点位置）以上において撮影された、少なくとも異なる３つ以上の基準指標Ｑ^ｋに関するデータが、データリストＬに含まれていること、が挙げられる。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。

次に、ステップＳ２０６０において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップＳ２０７０へと処理を移行し、入力されていない場合には、再びステップＳ２０１０へと戻り、データ取得コマンドの入力を待つ。

較正情報算出部１６０は、求めるべき較正情報、すなわちＬｏｃａｌ Ｔｒａｎｓｆｏｒｍを３値ベクトルω_ＳＣ＝［ξ ψ ζ］^Ｔとして扱う。また、較正情報算出部１６０は、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍを較正する過程で、各時刻τにおける世界座標系における撮像装置１２０の位置ｔ_ＷＣτ＝［ｘ_ｔτ ｙ_ｔτ ｚ_ｔτ］^Ｔ（未知の値）を内部で利用する。さらにまた、較正情報算出部１６０は、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍを較正する過程で、各時刻τにおける方位ドリフト誤差の補正値α_τ（未知の値）も内部で利用する。以下では、これらの未知パラメータを３＋４Ｔ次元の状態ベクトルｓ＝［ω_ＳＣ ｔ_ＷＣ１ α_１ ・・・ｔ_ＷＣτ α_τ ・・・ｔ_ＷＣＴ α_Ｔ］^Ｔで記述する。ここでＴは、リスト中に含まれる、異なるフレーム（異なる時刻、異なる視点位置）の数を表している。

ステップＳ２０７０において、較正情報算出部１６０は、状態ベクトルｓに適当な初期値を与える。この値は、オペレータによる対話的な設定操作等によって予め与えておく。あるいは、ω_ＳＣの初期値に関しては、特許文献１に示された方法によって、おおよそ求めた値を利用しても良い。また、α_τｉの初期値に関しては、ω_ＳＣの初期値を用いて、上述した特願２００３−３４１６３０に示された方法によって、ある時刻におおよそ求めた値を利用しても良い。

ステップＳ２０８０において、較正情報算出部１６０は、データリストＬ中の各データ［ｍ_τｉ，ｕ_ｉ ^Ｑｋｉ，ｋ_ｉ］（ｉ＝１，２，，，，Ｉ）および状態ベクトルｓから、全てのｉに対して、各基準指標Ｑ^ｋｉの画像座標の理論値ｕ_ｉ ^Ｑｋｉ’＝［ｕ_ｘｉ ^Ｑｋｉ’，ｕ_ｙｉ ^Ｑｋｉ’］を算出する。ここで、基準指標の画像座標の理論値とは、世界座標系における撮像装置１２０の位置および姿勢が与えられた時の、世界座標系における位置が既知の基準指標が撮影画像中に見えるべき位置（座標）のデータを指す。ここで、時刻τ_ｉにおける世界座標系における撮像装置１２０の姿勢は、センサ座標系における姿勢を世界座標系における姿勢に変換する座標変換（Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍ）、センサ座標系におけるセンサ自身の姿勢（センサの姿勢計測値：ｍ_τｉ）、方位ドリフト誤差の補正値α_τｉ、センサ自身の姿勢を計測対象物体の姿勢に変換する座標変換（Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍ：ω_ＳＣ）から算出できるので、理論値ｕ_ｉ ^Ｑｋｉ’の算出は、世界座標系における撮像装置１２０の位置ｔ_ＷＣτｉと世界座標系における撮像装置１２０の姿勢の算出に関与するω_ＳＣ及びα_τｉからなるｓを変数とした、

に基づいて行われる。

具体的には、関数Ｆ_τｉ（）は、ｉ番目のデータを取得した時の（すなわち、時刻τ_ｉ、姿勢センサ１１０の姿勢計測値がｍ_τｉである時の）世界座標系における位置がｘ_Ｗ ^Ｑｋｉである基準指標Ｑ^ｋｉのカメラ座標（撮像装置１３０上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置ベクトルｘ_Ｃｉ ^Ｑｋｉを、ｓ（＝［ω_ＳＣ ｔ_ＷＣ１ α_１・・・ｔ_ＷＣτｉ α_τｉ・・・ｔ_ＷＣＴ α_Ｔ］^Ｔ）から求める次式、

及び、ｘ_Ｃｉ ^Ｑｋｉから基準指標Ｑ^ｋｉの客観視点画像上の座標ｕ_ｉ ^Ｑｋｉ’を求める次式、

によって構成されている。

ここでｆ_ｘ及びｆ_ｙは、それぞれｘ軸方向及びｙ軸方向における撮像装置１２０の焦点距離であり、既知の値として予め保持されているものとする。

Ｒ_ＷＴは、センサ座標系と世界座標系のそれぞれにおける重力方向の定義から一意に決定可能なパラメータである、Ｗｏｒｌｄ Ｔｒａｎｓｆｏｒｍを表す３Ｘ３の回転行列であり、既知の値として予め保持されているものとする。

ΔＲ（α_τｉ）は、方位角方向にα_τｉだけの回転（方位ドリフト誤差補正）を加える３Ｘ３の回転行列を表しており、次式によって定義される。

ここで、ｌ＝（ｌ_１，ｌ_２，ｌ_３）は、世界座標系における鉛直上方向（地球の重力の反対方向）を表す既知のベクトルを表している。

Ｒ_ＴＳτｉは、ｉ番目のデータを取得した時（時刻τ_ｉ）における姿勢計測値に相当する３×３の回転行列であり、ｍ_τｉに応じて次式によって定義される。

ただし、

である。

Ｒ_ＳＣ（ω_ＳＣ）は、ω_ＳＣ＝［ξ ψ ζ］^Ｔによって決定されるＬｏｃａｌ Ｔｒａｎｓｆｏｒｍを表す３×３の回転行列であり、式４中の添え字ｍ_τｉを取り除いた式によって定義される。

ステップＳ２０９０において、較正情報算出部１６０は、全てのｉに対して、データリストＬ中の各データに含まれる基準指標Ｑ^ｋｉの実際の画像座標ｕ_ｉ ^Ｑｋｉと、それに対応する画像座標の理論値ｕ_ｉ ^Ｑｋｉ’との誤差Δｕ_ｉ ^Ｑｋｉを次式によって算出する。

ステップＳ２１００において、較正情報算出部１６０は、全てのｉに対して、状態ベクトルｓに関する画像ヤコビアン（すなわち、式１の関数Ｆ_τｉ（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×（３＋４Ｔ）列のヤコビ行列）Ｊ_ｕｉｓ ^Ｑｋｉ（＝∂ｕ_ｉ ^Ｑｋｉ／∂ｓ）を算出する。具体的には、式３の右辺をカメラ座標系上の位置ベクトルｘ_Ｃｉ ^Ｑｋｉの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ｊ_{ｕｉｘＣｉ} ^Ｑｋｉ（＝∂ｕ_ｉ ^Ｑｋｉ／∂ｘ_Ｃｉ ^Ｑｋｉ）と、式２の右辺を状態ベクトルｓの各要素で偏微分した解を各要素に持つ３行×（３＋４Ｔ）列のヤコビ行列Ｊ_ｘＣｉｓ ^Ｑｋｉ（＝∂ｘ_Ｃｉ ^Ｑｋｉ／∂ｓ）を算出し、次式によってＪ_ｕｉｓ ^Ｑｋｉを算出する。

ステップＳ２１１０において、較正情報算出部１６０は、以上のステップで算出した、全てのｉに対する誤差Δｕ_ｉ ^Ｑｋｉ及びヤコビ行列Ｊ_ｕｉｓ ^Ｑｋｉに基づいて、ｓの補正値Δｓを算出する。具体的には、全てのｉに対する誤差Δｕ_ｉ ^Ｑｋｉを垂直に並べた２Ｉ次元ベクトルの誤差ベクトル

及びヤコビ行列Ｊ_ｕｉｓ ^Ｑｋｉを垂直に並べた２Ｉ行×（３＋４Ｔ）列の行列

を作成し、Φの擬似逆行列Φ^＋を用いて、Δｓを次式より算出する。

ここで、Δｓは（３＋４Ｔ）次元ベクトルであるので、３個以上の基準指標を２枚の撮影画像上で検出すれば、Δｓを求めることができる（未知パラメータ数３＋４×２＝１１＜式数２×３×２＝１２）。なおΦ^＋は、例えばΦ^＋＝（Φ^ＴΦ）^−１Φ^Ｔによって求めることができるが、他の方法によって求めてもよい。

ステップＳ２１２０において、較正情報算出部１６０は、ステップＳ２１１０において算出した補正値Δｓを用いて、式１０に従って状態ベクトルｓを補正し、得られた値を新たなｓとする。

ステップＳ２１３０において、較正情報算出部１６０は、誤差ベクトルＵが予め定めた閾値より小さいかどうか、あるいは、補正値Δｓが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて、再度ステップＳ２０８０以降の処理を行う。

ステップＳ２１３０において計算が収束したと判定されると、ステップＳ２１４０において、較正情報算出部１６０は、得られた状態ベクトルｓに含まれるω_ＳＣを、Ｌｏｃａｌ Ｔｒａｎｓｆｏｒｍを示すパラメータとして出力する。また、最新の方位ドリフト誤差補正値を示すパラメータとして、α_Ｔを一緒に出力しても良いし、撮像装置１２０の位置ｔ_ＷＣＴをあわせて出力しても良い。

最後にステップＳ２１５０では、較正処理を終了するか否かの判定が行われる。オペレータが、指標較正装置１００に対して、較正処理の終了を指示した場合には、処理を終了させ、較正処理の継続（再較正）を指示した場合には、再びステップＳ２０１０へと戻り、データ取得コマンドの入力を待つ。

以上の処理によって、撮像装置に装着した姿勢センサの撮像装置に対する姿勢を、簡便かつ正確に取得することができる。なお、本実施形態に係る撮像装置では、上記の処理以降に、較正されたＬｏｃａｌ Ｔｒａｎｓｆｏｒｍおよび最新の方位ドリフト誤差を示すパラメータの検証工程として、これらのパラメータを用いて、位置姿勢算出部１７０、画像生成部１８０、画像合成部１９０、画像表示部１１００を利用した複合現実感の提示が行われる。その処理については、公知の技術であるので、その説明を省略する。

以上の処理によって、撮像装置に装着した姿勢センサの撮像装置に対する姿勢を、簡便かつ正確に取得することができる。

＜変形例＞
上記の実施形態において、基準指標の画像座標に関わる特徴量として、点特徴、すなわち、指標の投影像を代表する１点の画像座標を用いていた。また、基準指標Ｑとして、このような点特徴を抽出可能な指標を用いていた。しかし、本発明の適用範囲は、基準指標の種類や基準指標の画像座標に関わる特徴量の種類に限定されるものではない。

例えば、公知の位置姿勢計測装置（例えば、”Ｄ．Ｇ．Ｌｏｗｅ：Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１．”を参照）に用いられているような線特徴を基準指標の画像座標に関わる特徴量として用いて、線特徴を抽出可能な指標（以下、これを線指標と呼ぶ）を基準指標として用いてもよい。例えば、直線の原点からの距離を誤差評価のための基準として、画像からの検出値ｄと状態ベクトルｓからの推定値ｄ^＊から算出する誤差Δｄによって誤差ベクトルＵを構成し、ｄ^＊の算出式を状態ベクトルｓの各要素で偏微分した解を各要素に持つ１行×（３＋４Ｔ）列のヤコビ行列Ｊ_ｄｓ（＝∂ｄ／∂ｓ）によって行列Φを構成することで、上記実施形態と同様な枠組みによって位置及び姿勢の計測を行うことが出来る。もちろん、線指標と点指標を併用してもよい。

［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図２に示す）フローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係るセンサ較正装置の概略構成を示す図である。 第１の実施形態に係るセンサ較正方法の概略処理を示すフローチャートである。

Claims (13)

1. 撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理方法であって、
   前記撮影装置によって撮影された画像を入力する撮影画像入力工程と、
   前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力工程と、
   情景に配置された指標の画像座標に関する情報を前記画像から検出する検出工程と、
   前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出工程とを有し、
   前記センサ姿勢算出工程は、前記姿勢センサと前記撮像装置との間の相対姿勢と前記撮像装置の位置とを少なくとも未知のパラメータとして、前記検出された指標の画像座標に関する情報に応じた指標の画像座標の実測値と、前記パラメータの推定値から算出した当該指標の画像座標の理論値との誤差を小さくするようにパラメータを求めることを特徴とする情報処理方法。
2. 前記撮影画像入力工程および前記姿勢計測値入力工程は、前記撮像装置が複数の視点の夫々に位置している際に、視点毎に前記画像と前記姿勢計測値を入力し、
   前記検出手段は、前記画像の夫々から前記指標の画像座標に関する情報を検出し、
   前記推定手段は、前記姿勢センサと前記撮像装置との間の相対姿勢と、前記複数の視点の夫々における撮像装置の位置とを少なくとも未知のパラメータとして、前記画像の夫々に対する前記指標の画像座標に関する情報と前記姿勢計測値の夫々とを用いて、前記パラメータを推定することを特徴とする請求項１に記載の情報処理方法。
3. 前記推定工程は、前記姿勢センサの方位ドリフト誤差補正値に関するパラメータをさらに未知のパラメータとして求めることを特徴とする請求項１または請求項２に記載の情報処理方法。
4. 前記推定工程は、前記複数の視点の夫々における前記姿勢センサの方位ドリフト誤差補正値に関するパラメータをさらに未知のパラメータとして求めることを特徴とする請求項２に記載の情報処理方法。
5. 撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理方法であって、
   前記撮影装置によって撮影された画像を入力する撮影画像入力工程と、
   前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力工程と、
   情景に配置された指標の画像座標に関する情報を前記画像から検出する検出工程と、
   前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出工程とを有し、
   前記指標の画像座標に関する情報は、前記指標によって定まる１点または複数点の画像座標であることを特徴とする情報処理方法。
6. 前記請求項１乃至請求項５のいずれかの情報処理方法をコンピュータにおいて実現するためのプログラム。
7. 前記請求項６記載のプログラムを記録する記録媒体。
8. 撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理装置であって、
   前記撮影装置によって撮影された画像を入力する撮影画像入力手段と、
   前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力手段と、
   情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、
   前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、
   前記センサ姿勢算出手段は、前記姿勢センサと前記撮像装置との間の相対姿勢と前記撮像装置の位置とを少なくとも未知のパラメータとして、前記検出された指標の画像座標に関する情報に応じた指標の画像座標の実測値と、前記パラメータの推定値から算出した当該指標の画像座標の理論値との誤差を小さくするようにパラメータを求めることを特徴とする情報処理装置。
9. 撮像装置に装着した姿勢センサを較正するためのパラメータを求める情報処理装置であって、
   前記撮影装置によって撮影された画像を入力する撮影画像入力手段と、
   前記姿勢センサによって計測された姿勢計測値を入力する姿勢計測値入力手段と、
   情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、
   前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、
   前記指標の画像座標に関する情報は、前記指標によって定まる１点または複数点の画像座標であることを特徴とする情報処理装置。
10. 撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、
    ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、
    情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、
    前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、
    前記撮像装置にはさらに画像表示装置が装着されていることを特徴とするセンサ較正装置。
11. 撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、
    ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、
    情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、
    前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段と、
    前記較正情報算出手段で算出された前記姿勢センサと前記撮像装置との間の相対姿勢を目視評価する目視評価手段とを有することを特徴とするセンサ較正装置。
12. 前記目視評価手段は、さらに、
    前記姿勢センサで計測された計測値および前記検出手段で検出された前記指標の画像座標に関する情報および前記センサ較正情報算出手段で算出された前記姿勢センサと前記撮像装置との間の相対姿勢を用いて前記撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
    前記位置姿勢算出手段で算出された前記撮像装置の位置及び姿勢に基づき仮想画像を生成する画像生成手段と、
    前記画像入力手段から入力された画像および前記画像生成手段で生成された仮想画像を合成する画像合成手段と、
    前記画像合成手段で合成された画像を表示する画像表示手段とを有することを特徴とする請求項１１に記載のセンサ較正装置。
13. 撮像装置に装着した姿勢センサを較正するセンサ較正装置であって、
    ある視点位置において撮影された画像を前記撮像装置から入力すると共に、同視点位置における姿勢計測値を前記姿勢センサから入力するデータ入力手段と、
    情景に配置された指標の画像座標に関する情報を前記画像から検出する検出手段と、
    前記姿勢計測値と前記検出手段で検出された前記指標の画像座標に関する情報を用いて、前記姿勢センサと前記撮像装置との間の相対姿勢を算出するセンサ較正情報算出手段とを有し、
    前記撮像装置はさらに頭部に装着されることを特徴とするセンサ較正装置。
    

Images