JP5476264B2 - カメラトラッキング装置およびそのプログラム - Google Patents

Description

本発明は、画像の特徴点をトラッキングすることでカメラの姿勢を推定するカメラトラッキング装置およびそのプログラムに関する。

従来、実画像にＣＧ（Computer Graphics）画像を合成して提示するバーチャルスタジオによる撮影では、カメラが撮影する画像と合成用のＣＧとで合成位置を精度よく合わせるために、カメラが撮影する画像内の既知の特徴点から、カメラの姿勢を検出している。
例えば、３Ｄ（３次元）モデルをベースとしたカメラトラッキング（モデルベースカメラトラッキング：Model-based camera tracking）手法では、既知の被写体の３Ｄ特徴（点やエッジ）を２次元平面に投影し、撮影した画像の特徴点の位置合わせにより、カメラ姿勢を推定している。
このとき、モデルベースカメラトラッキング手法では、粗いカメラ姿勢でカメラが撮影した画像から抽出した３Ｄ特徴に対する２次元座標位置と、既知の３Ｄ特徴を画像上に投影した２次元座標位置とのマッチングエラーを最小化することで、正確なカメラ姿勢を推定する。

このように既知の特徴からカメラ姿勢を推定する手法は種々提案されている（例えば、特許文献１参照）。また、このように、特徴点のマッチングを行うには、特徴空間において距離が最も近い、あるいは、ある閾値（距離閾値）よりも近い特徴点を求める手法や、ある特徴点に対し、特徴空間において近い特徴点との距離比をもとに、どの程度似ているかを判定する最近傍距離比マッチング（Nearest neighbor distance ratio〔NNDR〕 matching）という手法が存在する（非特許文献１参照）。

この最近傍距離比マッチング手法は、あるマッチング対象の対象特徴点から最も特徴が近似する最近傍の特徴点までの特徴空間上の距離と、対象特徴点から２番目に特徴が近似する特徴点までの特徴空間上の距離の比が、予め定めた閾値（距離比閾値）よりも小さい場合、すなわち、最近傍の特徴点と２番目の特徴点との差が顕著な場合に、最近傍の特徴点を、ある特徴点にマッチングした特徴点であると判定する手法である。

例えば、図４に示すように、ある画像（ａ）と、マッチングを行う対象となる画像（ｂ）とにおいて、それぞれ黒丸位置に特徴点が存在しているとする。また、ここで、画像（ａ）の特徴点Ａと、画像（ｂ）の特徴点Ａ_１〜Ａ_４との特徴空間において、それぞれの距離がｄ_１〜ｄ_４で、ｄ_１が最も短く、その次に短いのがｄ_２、その次がｄ_３、そして、最も長いのがｄ_４であるとする。

このとき、最近傍距離比マッチング手法は、最も特徴が近似する最近傍の特徴点との距離ｄ_１と、２番目に近似する特徴点との距離ｄ_２との比（ｄ_１／ｄ_２）が、予め定めた閾値（距離比閾値）よりも小さい場合に特徴点Ａと特徴点Ａ_１とがマッチングすると判定する。これは、比の値が小さければ、最近傍の特徴点と２番目の特徴点との差が大きく、特徴の違いが顕著であるため、最近傍の特徴点がマッチングする可能性が高くなり、比の値が大きければ、最近傍の特徴点と２番目の特徴点との特徴の差が小さく、誤った特徴点とマッチングを起こす可能性が高くなるからである。
これによって、最近傍距離比マッチング手法は、類似する特徴点に対する誤ったマッチングを軽減させることができる。

特開２０１０−３３４４７号公報

D. G. Lowe,"Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol. 60，No. 2，pp. 91-110,2004.

前記した従来の技術において、特徴点のマッチングを行う際に、距離や距離比を固定した閾値で判定すると、照明等の環境下によって大きく変化する画像特徴に対して、安定的に一定数の対応する特徴点を確保することができず、頑健（ロバスト）にトラッキングを行うことができないという問題がある。

例えば、最近傍距離比マッチングの場合、正しくマッチ（インライヤ）した数と正しくマッチしなかった外れ値（アウトライヤ）の数が、距離比閾値によって大きく異なる。
この距離比閾値を“１”に近い大きな値とすると、多くの不確定なアウトライヤ（外れ値）を含んだ粗いマッチングとなる。これに対して、距離比閾値を小さい値（例えば、“０．３”未満）とすると、インライヤの数が減少し、タイトなマッチングとなる。したがって、照明やカメラの視点位置などが大きく変化する環境下においてカメラトラッキングを行う場合、固定の閾値（距離比閾値、距離閾値）では、不十分な数のインライヤあるいは大量のアウトライヤによって悪影響を受け、頑健にトラッキングを行うことができない。

本発明は、以上のような問題に鑑みてなされたものであり、環境に応じてマッチング判定を行う閾値の大きさを調整し、環境変化に対して頑健にトラッキングを行うことが可能なカメラトラッキング装置およびそのプログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のカメラトラッキング装置は、カメラで撮影された被写体のカメラ画像内の２次元座標上の特徴点と、前記被写体の３次元座標上の既知の情報である特徴点とをマッチングすることで、前記カメラの姿勢を推定するカメラトラッキング装置において、記憶手段と、特徴対応点検出手段と、カメラ姿勢推定手段と、を備え、前記特徴対応点検出手段は、特徴点検出手段と、特徴点マッチング手段と、対応点集計手段と、閾値算出手段と、を備える構成とした。

かかる構成において、カメラトラッキング装置は、記憶手段に、被写体の３次元座標上の既知の情報である特徴点の位置および多次元の特徴量を予め対応付けて記憶しておく。なお、この特徴量は、当該特徴点をカメラで撮影した際の画像上の特徴量であって、予め設定しておくものである。

そして、カメラトラッキング装置は、特徴対応点検出手段によって、カメラ画像内の特徴点と、記憶手段に記憶されている特徴点とに基づいて、カメラの姿勢を推定するための特徴点同士の対応点を検出する。
すなわち、カメラトラッキング装置は、特徴対応点検出手段の特徴点検出手段によって、カメラ画像から、画像内容が変化する特徴的な部分である特徴点の位置および多次元の特徴量を検出する。この特徴点の位置および特徴量を検出するには、例えば、ＳＵＲＦやＳＩＦＴを用いることができる。

そして、カメラトラッキング装置は、特徴対応点検出手段の特徴点マッチング手段によって、特徴点検出手段で検出された特徴点の多次元の特徴量と、記憶手段に記憶されている多次元の特徴量との特徴空間上の距離に基づいて、閾値による近似判定を行うことで特徴点のマッチングを行い対応点を検出する。この特徴点のマッチングには、例えば、最近傍距離比マッチングを用いることができる。

また、カメラトラッキング装置は、特徴対応点検出手段の対応点集計手段によって、カメラ画像の対応点としてマッチングが行われた特徴点の数であるインライヤ数と対応点としてマッチングが行われなかった特徴点の数であるアウトライヤ数とを集計する。そして、カメラトラッキング装置は、特徴対応点検出手段の閾値算出手段によって、インライヤ数が予め定めた数未満の場合、特徴点マッチング手段で特徴点がマッチングしているか否かの判定を行う閾値に所定の調整量を加算し、インライヤ数が予め定めた数以上の場合に、閾値から調整量を減算して新たな閾値を算出する。
なお、閾値算出手段は、インライヤ数が予め定めた数以上の場合であっても、アウトライヤ数のインライヤ数に対する割合が予め定めた値以下の場合に、閾値に調整量を加算する。
これによって、インライヤ数が少なければ、閾値による制限が緩められることになり、特徴点同士がマッチングする度合いが高まり、インライヤ数が増加する。一方、インライヤ数が多ければ、閾値による制限が厳しくなり、逆に、インライヤ数が減少する。
また、アウトライヤ数のインライヤ数に対する割合が予め定めた値以下の場合に、閾値を増加させることで、閾値による制限が緩められることになり、特徴点同士がマッチングする度合いが高まり、インライヤ数が増加し、アウトライヤ数が減少する。

そして、カメラトラッキング装置は、カメラ姿勢推定手段によって、特徴対応点検出手段で検出された対応点であるカメラ画像内の２次元座標上の特徴点の位置と、記憶手段に記憶されている３次元座標上の特徴点の位置とに基づいて、カメラ姿勢を推定する。

また、請求項２に記載のカメラトラッキング装置は、請求項１に記載のカメラトラッキング装置において、前記特徴対応点検出手段が、特徴点投影手段と、投影誤差算出手段と、をさらに備える構成とした。

かかる構成において、カメラトラッキング装置は、特徴点投影手段によって、現在のカメラ姿勢に基づいて、並進、回転演算を行うことで、記憶手段に記憶されている３次元座標上の特徴点を２次元座標の画像上に投影する。

そして、カメラトラッキング装置は、投影誤差算出手段によって、特徴点投影手段で投影された特徴点の位置と、当該特徴点に対応して特徴点マッチング手段でマッチングが行われたカメラ画像内の特徴点の位置との誤差を累計する。この誤差が大きければ、マッチングの精度が低いことを意味する。

そこで、カメラトラッキング装置は、閾値算出手段によって、インライヤ数が予め定めた数以上、かつ、投影誤差算出手段で累計された誤差が予め定めた数より多い場合、アウトライヤ数のインライヤ数に対する割合にかかわらず、閾値から調整量を減算して新たな閾値を算出する。これによって、閾値による制限が厳しくなり、インライヤ数を減少させることで、よりマッチング精度の高いインライヤが選択されるため、高精度のカメラマッチングが可能になる。

さらに、請求項３に記載のカメラトラッキング装置は、請求項１または請求項２に記載のカメラトラッキング装置において、閾値調整量算出手段を、さらに備える構成とした。

かかる構成において、カメラトラッキング装置は、閾値調整量算出手段によって、閾値算出手段で算出される閾値が、予め定めた回数連続して増加した場合、調整量から予め定めた値を減算し、予め定めた回数連続して減少した場合、調整量に予め定めた値を加算して新たな調整量を算出する。これによって、閾値の増減幅を大きくし、閾値を調整したい方向により早く調整することができる。

また、請求項４に記載のカメラトラッキングプログラムは、カメラで撮影された被写体のカメラ画像内の２次元座標上の特徴点と、前記被写体の３次元座標上の既知の情報である特徴点とをマッチングすることで、前記カメラの姿勢を推定するカメラトラッキング装置において、コンピュータを、特徴点検出手段、特徴点マッチング手段、対応点集計手段、閾値算出手段、カメラ姿勢推定手段、として機能させる構成とした。

かかる構成において、カメラトラッキングプログラムは、特徴点検出手段によって、カメラ画像から、画像内容が変化する特徴的な部分である特徴点の位置および多次元の特徴量を検出する。
そして、カメラトラッキングプログラムは、特徴点マッチング手段によって、特徴点検出手段で検出された特徴点の多次元の特徴量と、既知の情報として前記被写体の３次元座標上の特徴点の位置に対応付けて予め記憶手段に記憶されている多次元の特徴量との特徴空間上の距離に基づいて、閾値による近似判定を行うことで特徴点のマッチングを行い対応点を検出する。

また、カメラトラッキングプログラムは、対応点集計手段によって、カメラ画像の対応点としてマッチングが行われた特徴点の数であるインライヤ数と対応点としてマッチングが行われなかった特徴点の数であるアウトライヤ数とを集計する。そして、カメラトラッキングプログラムは、閾値算出手段によって、インライヤ数が予め定めた数未満の場合、特徴点マッチング手段で特徴点がマッチングしているか否かの判定を行う閾値に所定の調整量を加算し、インライヤ数が予め定めた数以上の場合に、閾値から調整量を減算して新たな閾値を算出する。
なお、閾値算出手段は、インライヤ数が予め定めた数以上の場合であっても、アウトライヤ数のインライヤ数に対する割合が予め定めた値以下の場合に、閾値に調整量を加算する。

そして、カメラトラッキングプログラムは、カメラ姿勢推定手段によって、特徴対応点検出手段で検出された対応点であるカメラ画像内の２次元座標上の特徴点の位置と、記憶手段に記憶されている３次元座標上の特徴点の位置とに基づいて、カメラ姿勢を推定する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、特徴点がマッチングするか否かの判定に用いる閾値を、インライヤ数に応じて調整することができるため、カメラ画像を撮影した環境に応じて、インライヤ数を安定して確保することができる。これによって、本発明は、画像特徴が照明等の環境下によって大きく変化する場合であっても、安定的にマッチングする特徴点を確保することができ、頑健（ロバスト）にカメラトラッキングを行うことができる。

また、請求項１，４に記載の発明によれば、特徴点がマッチングするか否かの判定に用いる閾値を、インライヤ数とアウトライヤ数との割合に応じて調整することができるため、インライヤ数を増加させ、アウトライヤ数を減少させることができる。これによって、本発明は、インライヤ数の増加により安定的にカメラマッチングを行うことができるとともに、カメラトラッキングに不要なアウトライヤ数の減少により演算量を抑えることができる。

請求項２に記載の発明によれば、投影誤差によって、マッチング精度を判定することができるため、投影誤差が少なくなる方向に閾値を調整することで、インライヤの精度が高まり、頑健（ロバスト）にカメラトラッキングを行うことができる。

請求項３に記載の発明によれば、閾値の増減方向が一定であれば、閾値の増減幅を大きくし、閾値を調整したい方向により早く調整することができる。これによって、本発明は、素早く最適なインライヤ数を確保することができ、カメラ画像を撮影した環境に変化がある場合であっても、素早くカメラトラッキングを行うことができる。

本発明の実施形態に係るカメラトラッキング装置の構成を示すブロック構成図である。 本発明の実施形態に係るカメラトラッキング装置の動作を示すフローチャートである。 距離比閾値の変化を示すグラフ図である。 最近傍距離比マッチングの手法を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
［カメラトラッキング装置の構成］
最初に、図１を参照して、本発明の実施形態に係るカメラトラッキング装置の構成について説明する。カメラトラッキング装置１は、カメラによって撮影され入力される画像に含まれる特徴点から、カメラの姿勢を逐次推定するものである。
ここでは、カメラトラッキング装置１は、画像入力手段１０と、記憶手段２０と、特徴対応点検出手段３０と、カメラ姿勢推定手段４０と、カメラ姿勢出力手段５０と、を備えている。また、ここでは、カメラトラッキング装置１は、外部にカメラＣを接続し、カメラＣによって撮影された画像（フレーム）を逐次入力することとする。

画像入力手段１０は、カメラＣを介して画像（フレーム）を入力するものである。この画像入力手段１０は、カメラＣとケーブル等を介して接続された、一般的な画像入力ボードで構成することができる。この画像入力手段１０は、入力した画像を、画面を構成するフレーム画像単位で特徴対応点検出手段３０に出力する。

記憶手段２０は、カメラトラッキング装置１の撮影対象となる撮影空間における被写体の３次元空間上の位置と当該位置における多次元の特徴量（特徴記述子）とを、予め対応付けた特徴データベースを記憶するものである。この記憶手段２０は、ハードディスク、半導体メモリ等の一般的な記憶装置で構成することができる。

この記憶手段２０に記憶される特徴データベースは、予め定めた被写体の特徴点の３次元空間上の座標（ｘ，ｙ，ｚ）と、当該位置を事前にカメラで撮影した際の画像上の特徴量とを対応付けて記憶したものである。この特徴量は、後記する特徴点検出手段３１において検出する特徴点の特徴量と同一のものを用いる。また、この特徴量には、その種類を特に限定する必要はないが、例えば、ＳＵＲＦ（Speeded Up Robust Features）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等を用いることができる。なお、本実施形態においては、特徴量として、ＳＵＲＦ特徴量を用いることとする。

特徴対応点検出手段３０は、カメラＣで撮影された画像から特徴点（位置および特徴量）を検出し、記憶手段２０に記憶されている特徴点（位置および特徴量）と対応する対応点（特徴点同士の対）を検出するものである。ここでは、特徴対応点検出手段３０は、特徴点検出手段３１と、特徴点マッチング手段３２と、対応点集計手段３３と、特徴点投影手段３４と、投影誤差算出手段３５と、閾値算出手段３６と、閾値調整量算出手段３７と、を備えている。

特徴点検出手段３１は、画像入力手段１０を介して入力されるカメラＣが撮影した画像から、画像内容が変化する特徴的な部分を示す特徴点の位置および多次元の特徴量を検出するものである。この特徴点検出手段３１は、エッジ、コーナー等、画像内の特徴的な部分を検出するものであって、その位置を検出するとともに、その位置における画像の特徴量を算出する。なお、この特徴点検出手段３１は、公知の手法を用いることができる。例えば、ＳＵＲＦやＳＩＦＴを用いることができる。ここでは、記憶手段２０に予め記憶している特徴量と同じＳＵＲＦ特徴量を算出するため、特徴点検出手段３１が行う特徴点検出にＳＵＲＦを用いることとする。
この特徴点検出手段３１は、カメラＣが撮影した画像から検出した特徴点の位置および多次元の特徴量を、特徴点マッチング手段３２に出力する。

ここで、一例として、特徴点検出手段３１が行うＳＵＲＦによる特徴点の位置および多次元の特徴量を算出する手法について簡単に説明する。
まず、特徴点検出手段３１は、入力された画像に対して、スケールσの異なるガウシアンフィルタ（Laplacian-of-Gaussian filter）によって画像を平滑化する。このとき、特徴点検出手段３１は、以下の（１）式に示す近似ヘッセ行列の行列式（ヘシアン値）Ｈ（Ｘ，σ）を計算する。

ここで、Ｌ_ｘｘ（Ｘ，σ）は、画像上の点Ｘ＝（ｘ，ｙ）において、スケールσのガウシアンフィルタによって垂直方向（ｙ方向）に畳み込み演算を行った画素値である。Ｌ_ｙｙ（Ｘ，σ）は、画像上の点Ｘ＝（ｘ，ｙ）において、スケールσのガウシアンフィルタによって水平方向（ｘ方向）に畳み込み演算を行った画素値である。また、Ｌ_ｘｙ（Ｘ，σ）は、画像上の点Ｘ＝（ｘ，ｙ）において、スケールσのガウシアンフィルタによって斜め方向（ｘｙ方向）に畳み込み演算を行った画素値である。

そして、特徴点検出手段３１は、スケールσごとに生成された画素ごとのヘシアン値で構成されるヘシアン画像において、予め定めた閾値よりも大きいヘシアン値を有する点Ｘ＝（ｘ，ｙ）の近傍画素（点Ｘおよび隣接８画素）と、異なる大小のスケールで生成したヘシアン画像における当該近傍画素に対応する各画素（９画素＋９画素）との間で、極大値（ピーク値）となる画素を特徴点と特定する。なお、特徴点検出手段３１は、特徴点と判定されなかった画素に対応するヘシアン値は、値“０”を設定する。
これによって、特徴点検出手段３１は、ヘシアン値が“０”以外の画素に特徴点が存在すると判定することができる。

また、特徴点検出手段３１は、入力画像において、各特徴点Ｘで、ハールウェブレット（Haar wavelet）によって、最も支配的な輝度の傾き方向（dominant rotation）を求める。そして、特徴点検出手段３１は、最も支配的な方向を基準に、特徴点Ｘ近傍の予め定めた１６個のブロック内で、それぞれ輝度勾配の方向の総和（水平Σｄｘ、垂直Σｄｙ）と大きさの総和（水平Σ｜ｄｘ｜、垂直Σ｜ｄｙ｜）の４つの値を特徴量として算出する。
すなわち、特徴点検出手段３１は、特徴点Ｘごとに、ＳＵＲＦ特徴量として、６４次元（１６×４）の特徴量を算出する。

このように、ここでは、特徴点検出手段３１は、ヘシアン値が“０”以外の値で特徴点の位置を示すヘシアン画像と、６４次元のＳＵＲＦ特徴量とを、特徴点マッチング手段３２に出力する。

特徴点マッチング手段３２は、特徴点検出手段３１で検出された特徴点と、記憶手段２０に記憶されている特徴点とを照合し、特徴点同士を対応付けるものである。
ここでは、特徴点マッチング手段３２は、特徴空間において最も近い距離と、２番目に近い距離との比（最近傍距離比）が、閾値（距離比閾値）よりも小さい場合に、特徴量の差が顕著であるため、特徴空間において最も近い特徴点同士を対応する点と判定する。なお、距離比閾値は、後記する閾値算出手段３６で算出された値を用いるが、初期値には、予め定めた値を設定しておくものとする。

例えば、特徴点マッチング手段３２は、特徴点検出手段３１で検出されたある特徴点Ｘの特徴量をｖ^Ｘ _ｉ（ｉ＝１〜６４）、記憶手段２０に記憶されているある特徴点Ｄの特徴量をｖ^Ｄ _ｉ（ｉ＝１〜６４）としたとき、特徴空間の距離を以下の（２）式に示すユークリッド距離ｄとして算出する。

そして、特徴点マッチング手段３２は、特徴点検出手段３１で検出されたある特徴点ごとに、記憶手段２０に記憶されている特徴点すべての距離を算出し、最短の距離ｄ_１と、２番目に近い距離ｄ_２とが、以下の（３）式に示すように閾値ｒ_ｔｈよりも小さい場合に、対応する特徴点であると判定する。

このように、特徴点マッチング手段３２は、特徴点検出手段３１で検出された特徴点のすべてについて、記憶手段２０に記憶されている特徴点と対応する点（インライヤ）であるか、対応しない点（アウトライヤ）であるかを判定し、その判定結果を対応点集計手段３３および投影誤差算出手段３５に出力する。

対応点集計手段３３は、特徴点マッチング手段３２で、対応点と判定された特徴点の数（インライヤ数）と、対応点と判定されなかった特徴点の数（アウトライヤ数）とを集計するものである。このインライヤ数とアウトライヤ数は、特徴点マッチング手段３２において使用する閾値（距離比閾値）の大きさを調整するための指標として用いられるために、後記する閾値算出手段３６に出力される。

特徴点投影手段３４は、後記するカメラ姿勢推定手段４０によって推定されたカメラ姿勢（３方向の並進量、３つの回転パラメータ）に基づいて、特徴点マッチング手段３２で対応する特徴点（インライヤ）として判定された記憶手段２０に記憶されている特徴点の位置（３次元座標）を、２次元画像上に投影するものである。
この特徴点投影手段３４は、画像上に投影した座標（２次元座標）を、記憶手段２０に記憶されている特徴点の位置と対応付けて、投影誤差算出手段３５に出力する。

なお、特徴点投影手段３４は、カメラ姿勢推定手段４０によってカメラ姿勢が推定される前の初期状態においては、初期設定として予め定めたカメラ姿勢（基準姿勢）を基準として、インライヤとして判定された記憶手段２０に記憶されている特徴点の位置（３次元座標）を２次元画像上に投影することとする。

投影誤差算出手段３５は、特徴点投影手段３４で投影された特徴点の画像上の位置と、特徴点マッチング手段３２によって記憶手段２０に記憶されている特徴点と対応がとられた特徴点検出手段３１で検出された特徴点（インライヤ）の画像上の位置との誤差（投影誤差）を算出するものである。

この特徴点検出手段３１で検出された特徴点（インライヤ）の画像上の位置と、特徴点投影手段３４で投影された特徴点の画像上の位置とは、記憶手段２０に記憶されている特徴点とそれぞれ対応がとられているため、投影誤差算出手段３５は、対応する特徴点同士の画像上における座標の距離の誤差（平均値）を算出する。
例えば、投影誤差算出手段３５は、インライヤ数をｎ、検出された特徴点（インライヤ）の座標をＸｐ_ｉ（ｉ＝１〜ｎ）、画像上に投影された特徴点の座標をＸｒ_ｉ（ｉ＝１〜ｎ）としたとき、以下の（４）式に示すように、座標間の距離の平均二乗誤差を算出することで、カメラ姿勢Ｅにおける投影誤差ｅ（Ｅ）を算出する。

このように算出された投影誤差ｅ（Ｅ）は、特徴点マッチング手段３２において使用する閾値（距離比閾値）の大きさを調整するための指標として用いられるために、後記する閾値算出手段３６に出力される。
また、ここでは、投影誤差算出手段３５は、検出された特徴点の座標と、対応する投影された特徴点の座標との距離差（二乗誤差）が小さいものから順に、カメラ姿勢推定に必要な予め定めた数の特徴点（インライヤ）の組（対応点）をカメラ姿勢推定手段４０に出力する。なお、投影誤差算出手段３５は、単に、検出された特徴点の座標と、対応する投影された特徴点の座標とを、任意にカメラ姿勢推定に必要な予め定めた数だけ選択して対応点としてカメラ姿勢推定手段４０に出力することしてもよい。
この投影誤差算出手段３５が選択するカメラ姿勢推定に必要な数については後記する。

閾値算出手段３６は、対応点集計手段３３で集計されたインライヤ数およびアウトライヤ数と、投影誤差算出手段３５で算出された投影誤差とに基づいて、特徴点マッチング手段３２で使用する閾値（距離比閾値）を算出するものである。この閾値算出手段３６は、算出した閾値ｒ_ｔｈを、特徴点マッチング手段３２および閾値調整量算出手段３７に出力する。

なお、特徴点マッチング手段３２において判定されたインライヤ数の絶対数が少なければ、カメラトラッキングが不安定になる。また、投影誤差が多くなれば、同様にカメラトラッキングが不安定になる。さらに、アウトライヤ数のインライヤ数に対する割合（アウトライヤ数／インライヤ数）が、より大きくなると、カメラトラッキングに不要なアウトライヤ数が増加することになり、対応点を探索する演算量が多くなってしまう。
そこで、閾値算出手段３６は、以下の（５）式に示す条件に従って、閾値（距離比閾値）ｒ_ｔｈを、調整量Δ分だけ増減させる。

ここで、Ｎ_{ｉｎｌｉｅｒ}はインライヤ数、Ｎ_{ｏｕｔｌｉｅｒ}はアウトライヤ数を示す。また、τは、予め定めたインライヤ数（Ｎ_{ｉｎｌｉｅｒ}）の絶対数の最小値を示し、例えば、その値を“１０”とする。また、εは、予め定めた投影誤差（エラー数）の最小値を示し、例えば、その値を“５”とする。また、ｎ_ｔｈは、予め定めたアウトライヤ数のインライヤ数に対する割合（アウトライヤ数／インライヤ数）の最大値を示し、例えば、その値を“０．２”とする。なお、調整量Δは、固定値（例えば、“０．００５”）として予め定めておくこととしてもよいが、ここでは、後記する閾値調整量算出手段３７によって算出された調整量Δを用いる。

このように、閾値算出手段３６は、インライヤ数がτ未満の場合、閾値ｒ_ｔｈを調整量Δ分増加させる。これによって、閾値ｒ_ｔｈによる制限が緩められ、特徴点同士がマッチングする度合いが高まり、インライヤ数が増加する方向に作用する。一方、インライヤ数がτ以上の場合、閾値算出手段３６は、基本的には、閾値ｒ_ｔｈを調整量Δ分減少させる。これによって、閾値ｒ_ｔｈによる制限が厳しくなり、インライヤ数が減少する方向に作用する。

しかし、閾値算出手段３６は、インライヤ数がτ以上の場合であっても、アウトライヤ数のインライヤ数に対する割合がｎ_ｔｈ以下の場合、閾値ｒ_ｔｈを調整量Δ分増加させる。これによって、閾値ｒ_ｔｈによる制限が緩められ、特徴点同士がマッチングする度合いが高まり、インライヤ数が増加することで、アウトライヤ数が減少する方向に作用する。

さらに、閾値算出手段３６は、インライヤ数がτ以上、かつ、投影誤差ｅ（Ｅ）がεより多い場合、アウトライヤ数のインライヤ数に対する割合にかかわらず、閾値ｒ_ｔｈを調整量Δ分減少させる。これによって、閾値による制限が厳しくなり、インライヤ数を減少させることで、よりマッチング精度の高いインライヤが選択されるため、高精度のカメラマッチングが可能になる。
なお、ここでは、最適な条件として前記（５）式としたが、条件を減らした簡易な判定としてもよい。例えば、インライヤ数のみで、閾値を調整することとしてもよい。

このように、前記（５）式に示した条件により、τの値によってインライヤ数の絶対数を確保するように閾値が調整され、さらに、εの値によって投影誤差が減少するように閾値が調整されるため、カメラトラッキングを安定化させることができる。
また、前記（５）式に示した条件により、ｎ_ｔｈによってインライヤ数を増加させ、アウトライヤ数を減少させる方向に閾値が調整されるため、インライヤ数の最大化と、アウトライヤ数の最小化が可能になり、演算量を抑えつつ、安定したカメラトラッキングを実現することができる。

閾値調整量算出手段３７は、閾値算出手段３６で閾値を調整するための調整量Δを算出するものである。この閾値調整量算出手段３７は、閾値算出手段３６で算出された閾値が、連続的に増加する場合に、さらに、閾値を増加させる方向に作用させるように調整量を算出する。また、閾値調整量算出手段３７は、閾値算出手段３６で算出された閾値が、連続的に減少する場合に、さらに、閾値を減少させる方向に作用させるように調整量を算出する。この閾値調整量算出手段３７は、算出した調整量Δを、閾値算出手段３６に出力する。

例えば、閾値調整量算出手段３７は、以下の手法で調整量を算出する。
まず、閾値調整量算出手段３７は、予め“０”から“０．１”の範囲（０＜Δ＜０．１）でランダムに調整量Δを初期値として定めておく。そして、閾値調整量算出手段３７は、閾値算出手段３６から入力された閾値ｒ_ｔｈが、予め定めた回数連続して増加した場合、現在の調整量Δに“０．００１”を加算して、新たな調整量を算出する。

また、閾値調整量算出手段３７は、閾値算出手段３６から入力された閾値ｒ_ｔｈが、予め定めた回数連続して減少した場合、現在の調整量Δから“０．００１”を減算して、新たな調整量を算出する。なお、閾値調整量算出手段３７は、調整量Δを増減させる場合、下限値“０”および上限値“０．１”で調整量Δをクリップング（０＜Δ＜０．１）することとする。

このように、閾値調整量算出手段３７は、閾値ｒ_ｔｈが連続して増加した際には、さらに閾値を増加させる方向に調整量を増加させ、閾値ｒ_ｔｈが連続して減少した際には、さらに閾値を減少させる方向に調整量を増加させることで、最適な閾値に素早く調整することができる。これによって、安定したカメラトラッキングに必要な、インライヤ数やアウトライヤ数の調整を素早く行うことができる。

カメラ姿勢推定手段４０は、特徴対応点検出手段３０（特徴点マッチング手段３２）によって対応付けられた画像上の特徴点の位置（２次元座標）と、記憶手段２０に記憶されている特徴点の位置（３次元座標）とに基づいて、カメラ姿勢（３方向の並進量、３つの回転パラメータ）を推定するものである。
ここでは、カメラ姿勢推定手段４０は、投影誤差算出手段３５において、特徴点マッチング手段３２によって対応付けられた画像上の特徴点の位置（２次元座標）と、記憶手段２０に記憶されている特徴点の位置（３次元座標）との誤差（距離差）が小さいものから順に選択されたカメラ姿勢推定に必要なインライヤの組を入力し、カメラ姿勢を推定する。そして、カメラ姿勢推定手段４０は、推定したカメラ姿勢を推定結果として、特徴対応点検出手段３０の特徴点投影手段３４およびカメラ姿勢出力手段５０に出力する。

なお、このカメラ姿勢推定手段４０におけるカメラＣの姿勢を推定する手法は、一般的な手法を用いることができる。以下、カメラ姿勢推定の一例について簡単に説明する。
カメラＣで撮影された画像上の２次元座標（ｕ，ｖ）と、実世界の３次元座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）とは、透視投影変換行列Ｐを用いて、以下の（６）式で表される。

なお、“〜”は、射影的に等しい、すなわち、定数倍の違いであっても等しいことを意味する。また、透視投影変換行列Ｐは、以下の（７）式となる。

なお、前記（６）式は、定数倍の違いを許容しているため、ｐ_３４＝１とし、固定のカメラ画像上への変換と規定すると、前記（６）式および（７）式から、３次元座標座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を画像上に透視投影変換した座標（ｕ，ｖ）は、以下の（８）式を満たす。

この（８）式に示した方程式は、未知数が（ｐ_１１，ｐ_１２，ｐ_１３，ｐ_１４，ｐ_２１，ｐ_２２，ｐ_２３，ｐ_２４，ｐ_３１，ｐ_３２，ｐ_３３）の計１１個であるため、特徴点マッチング手段３２によって対応付けられた対応点（インライヤ）の組が最低６組あれば、透視投影変換行列Ｐを求めることができる。すなわち、投影誤差算出手段３５が、カメラ姿勢推定手段４０に出力するインライヤの組数は、６組あればよい。

また、透視投影変換行列Ｐは、以下の（９）式により、カメラＣ固有の内部パラメータ行列Ａと、カメラの並進ベクトル（３方向〔ｘｙｚ方向〕の並進量）ｔと、カメラの姿勢を示す回転行列Ｒ（３つ〔ロール、ピッチ、ヨー角〕の回転パラメータ）とに分解することができる。

これによって、カメラ姿勢推定手段４０は、画像上の２次元座標上の特徴点と、予め定めた３次元座標上の特徴点とに基づいて、カメラ姿勢を推定することができる。

カメラ姿勢出力手段５０は、カメラ姿勢推定手段４０によって推定されたカメラ姿勢を外部に出力するものである。このカメラ姿勢出力手段５０は、入力された画像（フレーム）に同期してカメラ姿勢を出力する。これによって、例えば、外部に接続されたＣＧ合成装置によって、カメラＣで撮影された画像に対して、ＣＧ画像を正確な位置に合成することができる。

以上、カメラトラッキング装置１の構成について説明したが、本発明はこの構成に限定されるものではない。
例えば、ここでは、特徴点マッチング手段３２において、最近傍距離比によって特徴点がマッチングするか否かを判定したが、特徴点検出手段３１で検出された特徴点と、記憶手段２０に記憶されている特徴点との特徴空間での距離が予め定めた距離より短いものを、特徴点同士がマッチングすると判定してもよい。
この場合、特徴点マッチング手段３２は、閾値ｒ_ｔｈを距離比ではなく、予め定めたマッチングを許容する最大限の距離の値とすればよい。また、閾値調整量算出手段３７が行う閾値を調整するための調整量Δについても、距離比ではなく、閾値よりも小さい予め定めた微小な値を調整量とすればよい。

また、ここでは、閾値算出手段３６において、閾値を調整する調整量Δを適宜増減させることとしたが、この調整量Δは固定の値であってもよく、その場合、閾値調整量算出手段３７を構成から省略することができる。
また、カメラトラッキング装置１は、一般的なコンピュータを前記した各手段として機能させるプログラム（カメラトラッキングプログラム）により動作させることができる。

［カメラトラッキング装置の動作］
次に、図２を参照（構成については、適宜図１参照）して、本発明の実施形態に係るカメラトラッキング装置の動作について説明する。
まず、カメラトラッキング装置１は、画像入力手段１０によって、カメラＣから入力される画像（動画像）を順次入力する（ステップＳ１）。

そして、カメラトラッキング装置１は、特徴対応点検出手段３０において、以下の手順によって、特徴点同士の対応点を検出する。
すなわち、カメラトラッキング装置１は、特徴点検出手段３１によって、ステップＳ１で入力された画像（フレーム）から、エッジ、コーナー等、画像内の特徴的な部分を特徴点として検出し、当該特徴点の特徴量を算出する（ステップＳ２）。ここでは、特徴点検出手段３１は、ＳＵＲＦによって、特徴点の画像上の位置（２次元座標）を検出し、特徴点近傍の６４次元の特徴量をＳＵＲＦ特徴量として算出する。

そして、カメラトラッキング装置１は、特徴点マッチング手段３２によって、ステップＳ２で検出された特徴点（位置および特徴量）と、記憶手段２０に予め記憶されている特徴点（位置および特徴量）とを、最近傍距離比マッチングにより特徴点同士が対応する対応点（インライヤ）であるか否かを判定する（ステップＳ３）。
このとき、特徴点マッチング手段３２は、初期状態においては、最近傍距離比マッチングを行う際の閾値（距離比閾値）として、予め定めた値（初期値）を用いるが、次画像（フレーム）が入力され、後記するステップＳ７において、閾値が算出された場合は、その閾値を用いて最近傍距離比マッチングを行う。

さらに、カメラトラッキング装置１は、対応点集計手段３３によって、ステップＳ３で特徴点同士が対応点であると判定された特徴点の数（インライヤ数）と、対応点と判定されなかった特徴点の数（アウトライヤ数）とを集計する（ステップＳ４）。
そして、カメラトラッキング装置１は、特徴点投影手段３４によって、ステップＳ３でインライヤと判定された記憶手段２０に記憶されている特徴点の位置（３次元座標）を、２次元画像上に投影する（ステップＳ５）。

このとき、特徴点投影手段３４は、初期状態においては、初期設定として予め定めたカメラ姿勢（基準姿勢）を基準として、インライヤとして判定された記憶手段２０に記憶されている特徴点の位置（３次元座標）を２次元画像上に投影するが、次画像（フレーム）が入力され、後記するステップＳ８において、カメラ姿勢が推定された場合は、そのカメラ姿勢により特徴点の投影を行う。

そして、カメラトラッキング装置１は、投影誤差算出手段３５によって、ステップＳ５で画像上に投影された特徴点の位置と、ステップＳ３において当該特徴点とマッチングがとられている特徴点（インライヤ）の画像上の位置との誤差をすべてのインライヤにおいて算出し、その総和を投影誤差として算出する。また、このとき、投影誤差算出手段３５は、インライヤと判定された特徴点の画像上の誤差が小さいものから順に、カメラ姿勢推定に必要な予め定めた数の特徴点（インライヤ）の組を選択する（ステップＳ６）。

その後、カメラトラッキング装置１は、閾値算出手段３６によって、ステップＳ４で集計されたインライヤ数およびアウトライヤ数と、ステップＳ６で算出された投影誤差とに基づいて、ステップＳ３において、特徴点マッチング手段３２で使用する閾値（距離比閾値）を算出する（ステップＳ７）。このとき、閾値算出手段３６は、前記（５）式に示す条件に従って、閾値（距離比閾値）ｒ_ｔｈを、調整量Δ分だけ増減させる。

また、カメラトラッキング装置１は、順次このステップＳ７の動作を行う際に、閾値算出手段３６が算出した閾値が予め定めた回数連続して増加した場合、閾値調整量算出手段３７によって、現在の調整量Δに予め定めた値を加算して、新たな調整量を算出する。また、閾値算出手段３６が算出した閾値が予め定めた回数連続して減少した場合、閾値調整量算出手段３７によって、現在の調整量Δから予め定めた値を減算して、新たな調整量を算出する。なお、このとき、閾値調整量算出手段３７は、調整量Δを予め定めた下限値と上限値の範囲でクリップングする。

そして、カメラトラッキング装置１は、カメラ姿勢推定手段４０によって、ステップＳ６で選択された画像上の特徴点の位置（２次元座標）と、記憶手段２０に記憶されている特徴点の位置（３次元座標）とに基づいて、カメラ姿勢（３方向の並進量、３つの回転パラメータ）を推定する（ステップＳ８）。
その後、カメラトラッキング装置１は、カメラ姿勢出力手段５０によって、ステップＳ８で推定されたカメラ姿勢を外部に出力する（ステップＳ９）。

そして、カメラトラッキング装置１は、画像入力手段１０において、さらに、カメラＣから次画像（フレーム）が入力された場合（ステップＳ１０でＹｅｓ）、ステップＳ２に戻って動作を継続する。一方、カメラＣから次画像（フレーム）が入力されなかった場合（ステップＳ１０でＮｏ）、動作を終了する。

以上の動作により、カメラトラッキング装置１は、最近傍距離比マッチングによって特徴点のマッチングを行う際に、インライヤ数、アウトライヤ数および投影誤差に応じて、最近傍距離比マッチングに用いる閾値を適宜変化させて、カメラマッチングを行うことができる。これによって、カメラトラッキング装置１は、照明やカメラの視点位置などが大きく変化する環境下においても、頑健にトラッキングを行うことができる。

［カメラトラッキング装置の評価］
ここで、本発明のカメラトラッキング装置１を評価した評価結果について説明する。
以下の〔表１〕は、前記（５）式において、調整量Δおよび割合最大値ｎ_ｔｈを異なる初期値としたときの距離比閾値ｒ_ｔｈ、調整量Δ、インライヤ数Ｎ_{ｉｎｌｉｅｒ}、アウトライヤ数／インライヤ数（Ｎ_{ｏｕｔｌｉｅｒ}／Ｎ_{ｉｎｌｉｅｒ}）、並進および回転の姿勢のエラー量（ｍｍ，度）の各平均値を示したものである。

また、以下の〔表２〕は、従来の手法により、距離比閾値ｒ_ｔｈを固定にした場合のインライヤ数Ｎ_{ｉｎｌｉｅｒ}、アウトライヤ数／インライヤ数（Ｎ_{ｏｕｔｌｉｅｒ}／Ｎ_{ｉｎｌｉｅｒ}）、並進および回転の姿勢のエラー量（ｍｍ，度）の各平均値を示したものである。
なお、姿勢エラー量は、カメラ姿勢が既知の状態で、カメラトラッキング装置１において推定したカメラ姿勢のエラー量を測定したものである。また、ここで、前記（５）式において、インライヤ数の絶対数の最小値τを“１０”、投影誤差の最小値εを“５”とした。

この〔表１〕に示すように、本発明のカメラトラッキング装置１は、調整量Δおよび割合最大値ｎ_ｔｈを異なる初期値とした場合であっても、距離比閾値ｒ_ｔｈや調整量Δを動的に調整し、少ない姿勢エラー量で頑健にカメラ姿勢を推定することができた。
また、〔表２〕に示すように、従来の手法では、距離比閾値ｒ_ｔｈが“０．５５”以下の場合、インライヤ数が少なくなり、しばしば、カメラ姿勢の推定が破綻する等、カメラトラックングが不安定となった。また、距離比閾値が“０．８５”以上の場合、アウトライヤ数（表不記載）が多くなり、カメラトラックングが不安定となった。
これに対し、本発明のカメラトラッキング装置１は、カメラ姿勢の推定が破綻することなく、頑健にカメラ姿勢を推定することができた。

また、図３は、本発明のカメラトラッキング装置１において、距離比閾値ｒ_ｔｈの初期値を“０”に設定した際の距離比閾値ｒ_ｔｈの変化を示している。なお、この図３では、横軸にフレームｋ、縦軸に距離比閾値ｒ_ｔｈを示している。
この図３に示すように、距離比閾値ｒ_ｔｈの初期値を“０”に設定した場合であっても、カメラトラッキング装置１は、逐次入力されるカメラ画像のインライヤ数、アウトライヤ数および投影誤差に応じて、距離比閾値ｒ_ｔｈを調整することができる。これによって、従来のように画像の特性に応じて予め距離比閾値ｒ_ｔｈを固定に設定する必要がなく、照明やカメラの視点位置などが大きく変化する環境下においても、人手を介さずに最適な調整を行いカメラトラッキングを行うことができる。

１ カメラトラッキング装置
１０ 画像入力手段
２０ 記憶手段
３０ 特徴対応点検出手段
３１ 特徴点検出手段
３２ 特徴点マッチング手段
３３ 対応点集計手段
３４ 特徴点投影手段
３５ 投影誤差算出手段
３６ 閾値算出手段
３７ 閾値調整量算出手段
４０ カメラ姿勢推定手段
５０ カメラ姿勢出力手段

Claims (4)

1. カメラで撮影された被写体のカメラ画像内の２次元座標上の特徴点と、前記被写体の３次元座標上の既知の情報である特徴点とをマッチングすることで、前記カメラの姿勢を推定するカメラトラッキング装置において、
   前記被写体の３次元座標上の既知の情報である特徴点の位置および多次元の特徴量を予め対応付けて記憶する記憶手段と、
   前記カメラ画像内の特徴点と、前記記憶手段に記憶されている特徴点とに基づいて、前記カメラの姿勢を推定するための特徴点同士の対応点を検出する特徴対応点検出手段と、
   この特徴対応点検出手段で検出された対応点である前記カメラ画像内の２次元座標上の特徴点の位置と、前記記憶手段に記憶されている３次元座標上の特徴点の位置とに基づいて、カメラ姿勢を推定するカメラ姿勢推定手段と、を備え、
   前記特徴対応点検出手段は、
   前記カメラ画像から、画像内容が変化する特徴的な部分である特徴点の位置および多次元の特徴量を検出する特徴点検出手段と、
   この特徴点検出手段で検出された特徴点の多次元の特徴量と、前記記憶手段に記憶されている多次元の特徴量との特徴空間上の距離に基づいて、閾値による近似判定を行うことで特徴点のマッチングを行い前記対応点を検出する特徴点マッチング手段と、
   この特徴点マッチング手段において、前記カメラ画像の対応点としてマッチングが行われた特徴点の数であるインライヤ数と前記対応点としてマッチングが行われなかった特徴点の数であるアウトライヤ数とを集計する対応点集計手段と、
   この対応点集計手段で集計されたインライヤ数が予め定めた数未満の場合、前記特徴点マッチング手段で特徴点がマッチングしているか否かの判定を行う前記閾値に所定の調整量を加算し、前記インライヤ数が予め定めた数以上の場合に、前記閾値から前記調整量を減算して新たな閾値を算出する閾値算出手段と、を備え、
   前記閾値算出手段は、前記インライヤ数が予め定めた数以上の場合であっても、前記アウトライヤ数の前記インライヤ数に対する割合が予め定めた値以下の場合に、前記閾値に前記調整量を加算することを特徴とするカメラトラッキング装置。
2. 前記特徴対応点検出手段は、
   現在のカメラ姿勢に基づいて、前記記憶手段に記憶されている３次元座標上の特徴点を２次元座標の画像上に投影する特徴点投影手段と、
   この特徴点投影手段で投影された特徴点の位置と、当該特徴点に対応して前記特徴点マッチング手段でマッチングが行われた前記カメラ画像内の特徴点の位置との誤差を累計する投影誤差算出手段と、をさらに備え、
   前記閾値算出手段は、前記インライヤ数が予め定めた数以上、かつ、前記投影誤差算出手段で累計された誤差が予め定めた数より多い場合、前記アウトライヤ数の前記インライヤ数に対する割合にかかわらず、前記閾値から前記調整量を減算して新たな閾値を算出することを特徴とする請求項１に記載のカメラトラッキング装置。
3. 前記閾値算出手段で算出される閾値が、予め定めた回数連続して増加した場合、前記調整量から予め定めた値を減算し、予め定めた回数連続して減少した場合、前記調整量に予め定めた値を加算して新たな調整量を算出する閾値調整量算出手段を、さらに備えることを特徴とする請求項１または請求項２に記載のカメラトラッキング装置。
4. カメラで撮影された被写体のカメラ画像内の２次元座標上の特徴点と、前記被写体の３次元座標上の既知の情報である特徴点とをマッチングすることで、前記カメラの姿勢を推定するカメラトラッキング装置において、コンピュータを、
   前記カメラ画像から、画像内容が変化する特徴的な部分である特徴点の位置および多次元の特徴量を検出する特徴点検出手段、
   この特徴点検出手段で検出された特徴点の多次元の特徴量と、既知の情報として前記被写体の３次元座標上の特徴点の位置に対応付けて予め記憶手段に記憶されている多次元の特徴量との特徴空間上の距離に基づいて、閾値による近似判定を行うことで特徴点のマッチングを行い対応点を検出する特徴点マッチング手段、
   この特徴点マッチング手段において、前記カメラ画像の対応点としてマッチングが行われた特徴点の数であるインライヤ数と前記対応点としてマッチングが行われなかった特徴点の数であるアウトライヤ数とを集計する対応点集計手段、
   この対応点集計手段で集計されたインライヤ数が予め定めた数未満の場合、前記特徴点マッチング手段で特徴点がマッチングしているか否かの判定を行う前記閾値に所定の調整量を加算し、前記インライヤ数が予め定めた数以上の場合に、前記閾値から前記調整量を減算して新たな閾値を算出する閾値算出手段、
   前記対応点として検出された前記カメラ画像内の２次元座標上の特徴点の位置と、前記記憶手段に記憶されている３次元座標上の特徴点の位置とに基づいて、カメラ姿勢を推定するカメラ姿勢推定手段、として機能させ、
   前記閾値算出手段は、前記インライヤ数が予め定めた数以上の場合であっても、前記アウトライヤ数の前記インライヤ数に対する割合が予め定めた値以下の場合に、前記閾値に前記調整量を加算することを特徴とするカメラトラッキングプログラム。

Images