JP2015032256A - 画像処理装置およびそのデータベース構築装置 - Google Patents

Abstract

【課題】処理負荷を増やすことなく撮影の距離や角度に対する頑健性を向上させ、オフライン学習時間を削減できる画像処理装置およびそのデータベース構築装置を提供する。
【解決手段】距離の変化に対して頑健性の高いアルゴリズムを採用した場合は、撮影距離に関わらず同等のマッチング精度を得られるので、角度ごとに撮影距離の異なる多数の代表画像を用意する必要がない。すなわち、距離に関して視点の間隔を粗にする。一方、撮影距離の変化に対して頑健性の低いアルゴリズムを搭載した場合は、撮影距離に応じてマッチング精度が大きく変化するので、角度ごとに距離の異なる多数の代表画像を用意する必要がある。すなわち、距離に関して視点の間隔を密にする。角度や回転の変化に対して頑健性の高い認識アルゴリズムを採用した場合は、角度や回転に関わらず同等のマッチング精度を得られるので、角度や回転に関して視点の間隔を粗にする。
【選択図】図６

Description

本発明は、カメラ等の撮像手段によって取得された入力画像から認識対象を識別し、認識対象とカメラとの相対的な位置および姿勢の関係を推定する画像処理装置およびそのデータベース構築装置に関する。

近年、現実空間の映像をコンピュータで処理して更なる情報を付加するAR（拡張現実感）技術が、携帯電話等のカメラモジュールを備えた情報端末で実現されている。これらAR技術においては、処理リソースの少ない端末においても、カメラ等の撮像手段によって取得された入力画像内の認識対象物を識別し、それらの位置および姿勢の関係（以下、姿勢パラメータと表現する場合もある）をリアルタイムに推定する必要がある。

特許文献１では、画像認識処理によって、入力画像中の基準マーカに対する姿勢パラメータを推定する技術が開示されている。特許文献２では、サーバと情報端末における特徴点マッチングを利用した画像認識処理によって、処理リソースの少ない端末において、入力画像中の任意の対象物を識別する技術が開示されている。特許文献３では、初期化と追跡を組み合わせたハイブリッド型の画像認識処理によって、処理リソースの少ない端末において、入力画像中の任意の対象物に対する姿勢パラメータを推定する技術が開示されている。

特開２０１２−２１２４６０号公報 特開２０１２−２０３６６９号公報 特表２０１３−５０８８４４号公報

M. Ozuysal, M. Calonder, V. Lepetit, and P. Fua, "Fast keypoint recognition using random ferns," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 32, no. 3, pp. 448 -461, march 2010.

特許文献１に記載の従来技術においては、複雑なデザインのプリント等、任意の物体を認識対象物として扱うことができないという問題点があった。

特許文献２に記載の従来技術においては、サーバと通信を行うことによる識別速度の低下や、対象物を撮影する距離や方向の変化に対する頑健性の不足が問題であった。

特許文献３に記載の従来技術においては、初期化時の対象物を撮影する距離や方向の変化に対する頑健性の不足が問題であった。

また、特許文献２，３では、処理リソースの少ない端末でも実行可能な非特許文献1に記載のRandom Fernsと呼ばれる手法を用いることを想定しているが、その場合、実行前に必要なオフライン処理に時間を要することや、実行に必要なデータベースのサイズが大きいことが問題であった。

その一方で、オフライン処理に時間を要さないSURF，ORB，BRISK等の局所特徴量を用いた場合は、実行時の処理負荷や対象物を撮影する距離や方向の変化に対する頑健性の不足がより顕著になるという問題点があった。

本発明の目的は、上記の従来技術の課題を鑑みてなされたものであり、処理負荷を増やすことなく撮影距離や方向の変化に対する頑健性を向上させ、さらにオフライン処理時間を削減できる画像処理装置およびそのデータベース構築装置を提供することにある。

(1) 本発明の画像処理装置は、認識対象を複数の視点で画像サンプリングして各視点に固有の代表画像を生成する代表画像生成手段と、認識対象のカメラ画像から特徴点およびその局所特徴量を検出する特徴点検出手段と、各代表画像から対応点候補およびその局所特徴量を検出する対応点候補検出手段と、前記対応点候補の局所特徴量および認識対象に逆投影した座標を対応付けて管理するデータベースと、カメラ画像から検出された各特徴点の局所特徴量と前記データベースで管理される各対応点候補の局所特徴量とのマッチング結果に基づいて対応点を認識する認識手段と、前記認識結果に基づいて、前記カメラ画像を撮影した際の姿勢パラメータを推定する姿勢パラメータ算出手段とを具備した。

(2) 本発明の画像処理装置は、認識対象を複数の視点で画像サンプリングして生成された代表画像から検出された各対応点候補の局所特徴量および認識対象に逆投影した座標を対応付けて管理するデータベースと、認識対象のカメラ画像から特徴点およびその局所特徴量を取得する特徴点検出手段と、カメラ画像から検出された各特徴点の局所特徴量と前記データベースで管理される各対応点候補の局所特徴量とのマッチング結果に基づいて対応点を認識する認識手段と、認識結果に基づいて、前記カメラ画像を撮影した際の姿勢パラメータを推定する姿勢パラメータ算出手段とを具備した。

(3) 本発明のデータベース構築装置は、認識対象を複数の視点で画像サンプリングして各視点に固有の代表画像を生成する代表画像生成手段と、各代表画像から対応点候補およびその局所特徴量を取得する対応点候補検出手段と、対応点候補ごとに、その局所特徴量および認識対象に逆投影した座標を対応付けるデータベースとを具備した。

(4) 代表画像生成手段は、特徴点および／または特徴点候補を検出するアルゴリズムの視点変化に対する頑健性に応じて、視点を変化させる距離、角度、回転などのパラメータごとに画像サンプリングの密度を決定するようにした。

本発明によれば、以下のような効果が達成される。
(1) データベースには、投影パラメータの異なる代表画像そのものは蓄積されず、各代表点から検出された対応点候補の局所特徴量および当該対応点候補を認識対象へ逆投影して得られる座標値のみが蓄積され、さらに各局所特徴量は、その対応点候補の検出元の代表画像とは無関係に画一的に扱われるので、データベース容量の小型化およびデータベース構成の簡素化が達成され、認識速度の向上が図られる。

(2) 投影パラメータ値を変えて代表画像を取得する際の視点配置の密度が、特徴点検出および対応点候補検出アルゴリズムの各視点変化に対する頑健性に応じて、その弱さを補うように決定される。したがって、頑健性の高い視点変化に関して密に視点配置を行って精度向上に寄与しない多数の代表画像に関して対応点候補を無駄に蓄積したり、その逆に頑健性の低い視点変化に関して粗に視点配置を行って精度を劣化させたりすることなく、処理負荷の軽減およびデータベース容量の小型化を、視点変化に対する十分な頑健性を確保しながら実現できるようになる。

本発明が適用されるARシステムの構成を示したブロック図である。 姿勢パラメータ推定装置２の主要部の構成を示したブロック図である。 認識対象から生成される代表画像の例を示した図である。 代表画像の各対応点候補を認識対象に逆投影することで、各対応点候補に対応する認識対象の座標および勾配方向を取得する方法を示した図である。 仮想視点の設定方法を示した図である。 特徴点検出アルゴリズムの頑健性に応じて特徴点データベースの登録内容を異ならせる例を示した図である。 画像処理装置のデータベース構築装置の構成を示したブロック図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明が適用されるARシステムの構成を示したブロック図であり、携帯電話、スマートフォン、PDAあるいはノートPCなどの情報端末に実装されて使用される。

撮像装置４は、携帯端末等に搭載されているカメラモジュールあるいはWEBカメラ装置であり、認識対象５を撮影してカメラ画像Icaを表示装置１および姿勢パラメータ推定装置２に出力する。認識対象５は、形状や模様が既知である任意の三次元物体であり、印刷物やプリント等に代表される二次元的な物体（画像）も含まれる。

姿勢パラメータ推定装置２は、撮像装置４から取得したカメラ画像に基づいて、後に詳述するように、認識対象５の各対応点候補（特徴点）とカメラ画像の各特徴点との間で特徴点マッチングを実施し、相互に対応付けられた特徴点ならびにカメラの内部パラメータに基づいて、認識対象５とARシステムないしは撮像装置４との相対的な位置および姿勢の関係を推定する。

一般に、相対的な位置および姿勢の関係は、姿勢パラメータまたはカメラの外部パラメータと呼ばれる行列の形で表され、三次元空間内の位置と方向の情報が含まれる。画面内での物体の見え方は、この姿勢パラメータと、カメラの内部パラメータと呼ばれる、カメラに固有の焦点距離、主軸の位置の情報が含まれる行列やその他の光学的歪みのパラメータとによって決定される。

本実施形態では、内部パラメータや歪みパラメータは予めキャリブレーション等によって取得され、歪みは取り除かれているものとし、姿勢パラメータの推定結果は表示装置１へ提供される。ARシステムが複数種類の物体を認識対象とする場合には、姿勢パラメータと対象物のIDとの組が、認識した数だけ表示装置１へ提供される。

付加情報データベース３は、ハードディスクドライブや半導体メモリモジュール等により構成された記憶装置であり、認識対象５の位置をARシステムが認識した際に、表示装置１上で認識対象５に重畳表示するCGや２次元画像を保持しており、姿勢パラメータ推定装置２が推定したカメラの姿勢パラメータに対応する認識対象５に関する付加情報を表示装置１へ出力する。

前記表示装置１は、撮像装置４が連続的に取得したカメラ画像、および付加情報データベース３から取得された付加情報をユーザに掲示できるモニタ装置であり、携帯端末のディスプレイでも良い。また、ヘッドマウントディスプレイ(HMD)のような形態でも良く、特にシースルー型のHMDの場合はカメラ画像を表示せず、視界に付加情報のみを重畳して表示することも可能である。表示装置１がディスプレイである場合は、カメラ画像に付加情報DBから入力された付加情報を重畳表示する。その際、付加情報は、姿勢パラメータ推定装置２から入力された姿勢パラメータによって、位置や向きを補正されて表示される。

図２は、前記姿勢パラメータ推定装置２の主要部の構成を示したブロック図であり、特徴点検出部２１，マッチング部２２および姿勢パラメータ算出部２３により構成される。

特徴点検出部２１において、特徴点検出器２０１は、認識対象５を撮影したカメラ画像から特徴点を検出する。特徴量抽出器２０２は、前記各特徴点から局所特徴量を抽出する。前記特徴点検出器２０１および特徴量抽出器２０２としては、Harris，Hessian，SIFT，SURF，FAST，BRIEF，ORB，BRISK，FREAK等のアルゴリズムを用いることができる。

一般に、これらのアルゴリズムには一長一短の側面があり、撮影の距離や角度・回転に頑健なSIFT，SURF等のアルゴリズムは処理負荷が大きく、処理負荷の小さいFAST，BRIEF等のアルゴリズムは、距離や角度・回転に対する頑健性に乏しい。処理負荷と頑健性とを両立できる手法として、特徴点を分類するための識別器を事前学習する、Random Fernsに代表されるアルゴリズムが存在するが、長時間の学習とサイズの大きいデータベース（識別器）を必要とするという課題がある。

マッチング部２２において、学習部２０３は、代表画像生成部２０３ａ、対応点候補検出部２０３ｂおよび座標対応付部２０３ｃを含む。

代表画像生成部２０３ａは、認識対象５を複数の位置および方向から（複数の視点から）撮影することで、あるいは視点を変えた複数の投影パラメータを使用して投影する（以下、画像サンプリングと表現する場合もある）ことで、代表画像を生成する。本実施形態では、複数の投影パラメータを使用して代表画像が生成される。ここで、視点は認識対象５と撮像装置４との距離、認識対象５に対する撮像装置４の角度、認識対象５に対する撮像装置４の光軸周りの回転等から構成される。代表画像生成部２０３ａは、複数の異なる視点を投影パラメータに変換する。この投影パラメータを用いて認識対象５を二次元に投影することにより、距離、角度および回転の異なる複数の画像が代表画像として生成される。

図３は、認識対象５から生成される代表画像の例を示した図であり、ここでは、複数種類の角度（横軸）および距離（縦軸）の組み合わせから変換した投影パラメータを用いて代表画像が生成されている。

前記代表画像は、認識対象５を複数の視点から撮影することで取得することも可能であるが、オフライン処理の簡便さの観点から、認識対象５が平面物体であれば基準画像を射影変換（変換パラメータは投影パラメータから算出される）する等して、また複雑な三次元物体であれば、三次元モデルを投影することで人工的に作成する手法を用いることが望ましい。

対応点候補検出部２０３ｂは、前記特徴点検出部２１における手法と同様の手法で、前記各代表画像から特徴点を検出して対応点候補とし、さらに各対応点候補の局所特徴量を抽出する。

なお、対応点候補の精度を高めるために、距離が予め設定された閾値以下の局所特徴量のみを対応付ける手法や、対応点の全体の傾向から外れた対応点候補を除外する手法等が知られており、これらの手法は本発明のマッチング部２２にも同様に適用可能である。

本実施形態では、マッチング部２２の対応点候補検出部２０３ｂとして、前記特徴点検出部２１と同様のアルゴリズムを用いることが望ましいが、分解能や閾値等の細かいパラメータまで一致させる必要はなく、むしろ処理負荷の観点では、カメラ画像ごとにマッチングを実行する特徴点検出部２１では、実行速度優先のパラメータ設定を行い、実行時の最初あるいはオフラインでの学習時にのみマッチングを実行する対応点候補検出部２０３ｂでは、精度優先のパラメータ設定とすることが望ましい。

座標対応付部２０３ｃは、図４に一例を示したように、各代表画像から検出された各対応点候補を認識対象５に逆投影することで、各対応点候補に対応する認識対象５の物体座標系における座標値（３次元座標）を取得する。

特徴点データベース２０４には、各代表画像から検出された各対応点候補の局所特徴量および座標対応付部２０３ｃによって取得された逆投影後の座標値が相互に対応付けられて対応点候補ごとに記憶される。それぞれの対応点候補は異なる画像（代表画像）から検出された局所特徴量を含むが、以降の処理では全て認識対象５から検出された対応点候補として画一的に扱われる。

認識部２０５は、上記の学習後に認識対象５のカメラ画像から検出された各特徴点の局所特徴量と前記データベース２０４に蓄積されている各対応点候補の局所特徴量との対応点マッチングを行なう。本実施形態では、各特徴点および各対応点候補の局所特徴量がベクトル形式で表現されており、ユークリッド距離やハミング距離が最も近い特徴点と対応点候補とのペアが相互に対応付けられて対応点とされる。

ここで、対応付けられた特徴点と対応点候補とのペア（対応点）には、一部誤りが含まれている可能性があり、対応点を姿勢パラメータ算出部２３に入力する前段階で選抜する処理を行うことで、対応点の信頼性の向上が可能である。

この選抜処理の例として、例えば認識対象が平面物体の場合、各対応点を構成する特徴点と対応点候補の勾配方向を比較し、各対応点の勾配方向の差分が特異な対応点を削除する処理があげられる。ここで、認識対象が平面物体の場合、各勾配方向の差分は概ね一致することが期待される性質を利用している。

ここで、上述した勾配方向を利用した選抜処理を行う場合、前記座標対応付部２０３ｃが逆投影の際に、各対応点候補に対応する認識対象５の物体座標系における座標値（３次元座標）だけでなく、各対応点候補に対応する認識対象５の物体座標系における勾配方向も同時に取得し、データベース２０４に記憶する必要がある。

姿勢パラメータ算出部２３は、前記特徴点と対応点候補との対応関係、およびカメラの内部パラメータに基づいて姿勢パラメータを推定する。従来から、２次元座標と３次元座標とのマッチから、その関係を説明する姿勢パラメータを推定する手法が検討されており、３次元座標と２次元座標との関係は、一般的に次式(1)で表される。

ここで、[u,v]，[X,Y,Z]は、それぞれ２次元ピクセル座標値および３次元座標値を表し、[・]^Tは転置行列を表す。また、A、Wは、それぞれカメラの内部パラメータおよび姿勢パラメータを表す。カメラの内部パラメータは予めカメラキャリブレーションによって求めておく。

姿勢パラメータW=[R,t]=[r1,r2,r3,t]であり、回転行列Rと並進ベクトルtとで表される。３次元座標[X,Y,Z,1]^Tと２次元座標[u,v,1]^Tとのマッチおよびカメラの内部パラメータを用いて姿勢パラメータWを推定できる。

ここで、入力された２次元座標と３次元座標の対応点の中には一部誤った対応点（ペア）が含まれるため、RANSACやPROSACに代表されるサンプリング手法によって入力された対応点から正しい対応点（インライア）のみを抽出し、Levenberg-Marquard法等の反復手法によって３次元座標の再投影誤差を最小化する姿勢パラメータの推定を行うことが一般的である。

次いで、前記代表画像生成部２０３ａによる代表画像の生成方法について更に詳細に説明する。本発明では、多数の代表画像を、投影する視点に偏りがないように生成するために、認識対象５の周囲に仮想的な視点を偏りなく配置し、各視点から観察される画像を生成する。より具体的には、各視点から投影パラメータを算出し、認識対象５またはその三次元モデルを二次元に投影することで代表画像が生成される。

本実施形態では、図５に一例を示したように、認識対象５の周囲を覆う半球を近似した多角形の頂点を仮想的な視点として扱う。この場合、次式(2)、(3)、(4)の計算を行うことで視点から回転行列Ｒを求めることが可能である。

ただし

ここで、Pは仮想視点の三次元座標、rod(・)はロドリゲス変換を表す。さらに各回転行列について任意の並進パラメータtを加え、カメラの内部パラメータAと合わせて投影パラメータP=A［R｜t］を作成する。最終的に、代表画像生成部２０３ａは投影パラメータを用いて認識対象５を投影することで前記代表画像（図３）を生成する。

なお、代表画像生成部２０３ａは視点に偏りを作ることなく各代表画像を生成しても良いが、特定の視点から撮影される尤度が高いような状況下では、代表画像を生成する視点の範囲を制限しても良い。一般的に、認識対象５が平面物体であれば正面に近い角度から撮影される尤度が高いことが想定される。その場合、代表画像生成部２０３ａは、正面に近い仮想視点のみを用いて代表画像を生成することで、学習時間の削減および信頼性の向上を実現することが可能になる。

また、例えば路面上のデザイン等、撮影距離が一定の範囲内に制限されることが想定される場合には、並進パラメータの範囲を狭めることで代表画像数を削減し、学習時間の削減と信頼性の向上を実現することが可能にある。その一方で、認識対象５が三次元形状を持ち、全周囲から撮影される可能性がある場合には、仮想視点も全周囲に配置することが望ましい。

ところで、特徴点検出部２１および対応点候補検出部２０３ｂが採用する特徴点検出のアルゴリズムが、例えば角度の変化に対して高い頑健性を有している場合、撮影角度に関して視点間隔を密にして代表画像数を増やしてもマッチング精度の向上に余り寄与しない。

したがって、例えばSIFTアルゴリズムのように、距離、角度および回転（以下、「視点を変化させるパラメータ」で総称する場合もある）のいずれの変化に対する頑健性も優れたアルゴリズムを採用するのであれば、視点間隔を距離、角度、回転のいずれに関しても粗にすれば、オフライン処理負荷およびデータベース容量の小型化を、認識対象５を撮影する際の視点の変化に対する十分な頑健性を確保しながら実現できるようになる。

一方、例えばFASTアルゴリズムやBRIEFアルゴリズムのように、距離、角度および回転のいずれの変化に対しても頑健性が低いアルゴリズムを採用するのであれば、視点間隔を距離、角度、回転のいずれに関しても密にすることで、マッチング精度の向上を実現できるようになる。

ただし、必要以上に密に視点を配置してもマッチング精度の向上には寄与しないため、本発明の対応点候補検出部２０３ｂは、各視点変化（距離の変化、角度の変化、回転の変化等）に対する頑健性を補う必要最小限の数の代表画像を生成するようにしている。例えば、BRIEFアルゴリズムであれば、０〜１０度程度の回転であれば問題なくマッチングを行うことが可能であるため、回転に関しては、視点間隔（画像サンプリングの分解能）を２０度（１８パターン）や３０度（１２パターン）に設定することで、オフライン処理負荷およびデータベース容量の小型化を、認識対象５を撮影する際の回転の変化に対する十分な頑健性を確保しながら実現できるようになる。

また、例えばORBアルゴリズムやBRISKアルゴリズムのように、回転の変化に対する頑健性に較べて距離や角度の変化に対する頑健性が低いアルゴリズムを採用するのであれば、視点間隔を回転に関しては粗にする一方、距離や角度に関しては密にすれば、処理負荷の軽減およびデータベース容量の小型化を、認識対象５を撮影する際の視点の変化に対する十分な頑健性を確保しながら実現できるようになる。

一般に、回転の変化に対する頑健性にのみ優れるアルゴリズムは低処理負荷のものが数多く存在しており、距離や角度の変化に対する頑健性を加えると高処理負荷になる傾向がある。したがって、距離、角度の変化に対する頑健性に乏しいORBアルゴリズムやBRISKアルゴリズムを採用し、距離と角度の変化に対する頑健性を補えるように代表画像を生成することが、総合的な処理負荷と各視点変化に対する頑健性の両立を実現する上で望ましい。

上述したように、本発明の対応点候補検出部２０３ｂは、特徴点検出部２１および対応点候補検出部２０３ｂが採用するアルゴリズムの各視点変化（距離の変化、角度の変化、回転の変化等）に対する頑健性に応じて、その頑健性の弱さを補うように代表画像を生成するようにしている。

図６は、特徴点検出部２１および対応点候補検出部２０３ｂが採用するアルゴリズムの各視点変化に対する頑健性に応じて、特徴点データベース２０４に対応点候補が登録される代表画像の傾向を異ならせる例を示した図であり、ここでは、角度の変化に対する頑健性が同等であって、距離の変化に対する頑健性の高いアルゴリズムを採用する場合と低いアルゴリズムを採用する場合との比較を示している。

距離の変化に対して頑健性の高い認識アルゴリズムを採用した場合は、撮影距離に関わらず同等のマッチング精度を得られるので、角度ごとに撮影距離の異なる多数の代表画像を用意する必要がない。すなわち、距離に関して視点の間隔を粗にできるので、特徴点が登録される代表画像数を減じることができる。

一方、撮影距離の変化に対して頑健性の低いアルゴリズムを搭載した場合は、撮影距離に応じてマッチング精度が大きく変化するので、角度ごとに距離の異なる多数の代表画像を用意する必要がある。すなわち、距離に関して視点の間隔を密にしなければならないので、代表画像数が増えることになる。

なお、図示は省略するが、角度や回転の変化に対して頑健性の高い認識アルゴリズムを採用した場合は、角度や回転に関わらず同等のマッチング精度を得られるので、撮影距離ごとに角度や回転の異なる多数の代表画像を用意する必要がない。すなわち、角度や回転に関して視点の間隔を粗に配置すれば良い。

一方、角度や回転の変化に対して頑健性の低いアルゴリズムを搭載した場合は、角度や回転に応じてマッチング精度が大きく変化するので、撮影距離ごとに角度や回転の異なる多数の代表画像を用意する必要がある。すなわち、角度や回転に関して視点の間隔を密に設定しなければならない。

このように、本実施形態によれば、投影パラメータ値を変えて代表画像を取得する際の視点配置の密度が、特徴点検出部および対応点候補検出部の各視点変化に対する頑健性の弱さを補うように決定される。したがって、頑健性の高い視点変化に関して密に視点配置を行って精度向上に寄与しない多数の代表画像に関して対応点候補を無駄に蓄積したり、その逆に頑健性の低い視点変化に関して粗に視点配置を行って精度を劣化させたりすることなく、処理負荷の軽減およびデータベース容量の小型化を、視点変化に対する十分な頑健性を確保しながら実現できるようになる。

なお、上記の実施形態では、ARシステムの姿勢パラメータ推定装置２が学習部２０３を備え、自ら特徴点データベース２０４を予め構築するものとして説明したが、本発明はこれのみに限定されるものではなく、図７に一例を示したように、前記学習部２０３と同等の学習機能１０を姿勢パラメータ推定装置の外部に設け、当該学習機能１０がオフラインで構築したデータベースを学習部２０３に移植するようにしても良い。

学習機能１０において、代表画像生成部１０１は、認識対象５を様々な投影パラメータで二次元に投影することで代表画像を生成する。対応点候補検出部１０２は、特徴点検出部２１における手法と同様の手法で、前記各代表画像から特徴点を検出して対応点候補とし、さらに各対応点候補の局所特徴量を各代表画像から抽出する。

座標対応付部１０３は、各代表画像から検出された各対応点候補を認識対象５に逆投影することで、各対応点候補に対応する認識対象５の物体座標系における座標値（３次元座標）および勾配方向を取得する。データベース１０４には、各代表画像から検出された各対応点候補の局所特徴量、逆投影後の座標値および勾配方向が、相互に対応付けられて対応点候補ごとに記憶され、その後、ARシステムの特徴点データベース２０４へ移植される。

１…表示装置，２…姿勢パラメータ推定装置，３…付加情報データベース，４…撮像装置，５…認識対象，２１…特徴点検出部，２２…マッチング部，２３…姿勢パラメータ算出部，２０３…学習部，２０３ａ…代表画像生成部，２０３ｂ…対応点候補検出部，２０３ｃ…座標対応付部，２０４…特徴点データベース，２０５…認識部

Claims (13)

1. 撮影したカメラ画像内の認識対象に対する姿勢パラメータを推定する画像処理装置において、
   認識対象を複数の視点で画像サンプリングして各視点に固有の代表画像を生成する代表画像生成手段と、
   認識対象のカメラ画像から特徴点およびその局所特徴量を検出する特徴点検出手段と、
   各代表画像から対応点候補およびその局所特徴量を検出する対応点候補検出手段と、
   前記対応点候補ごとに、その局所特徴量および認識対象に逆投影した座標を対応付けて管理するデータベースと、
   前記カメラ画像から検出された各特徴点の局所特徴量と前記データベースで管理される各対応点候補の局所特徴量とのマッチング結果に基づいて対応点を認識する認識手段と、
   前記認識結果に基づいて、前記カメラ画像を撮影した際の姿勢パラメータを推定する姿勢パラメータ算出手段とを具備したことを特徴とする画像処理装置。
2. 前記代表画像生成手段は、前記特徴点および／または特徴点候補を検出するアルゴリズムの視点変化に対する頑健性に応じて、視点を変化させるパラメータごとに画像サンプリングの密度を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表画像生成手段は、頑健性が弱いパラメータほどより密に画像サンプリングを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記代表画像生成手段は、頑健性が強いパラメータほどより粗に画像サンプリングを行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 撮影したカメラ画像内の認識対象に対する姿勢パラメータを推定する画像処理装置において、
   認識対象を複数の視点で画像サンプリングして生成された代表画像から検出された対応点候補ごとに、その局所特徴量および認識対象に逆投影した座標を対応付けて管理するデータベースと、
   認識対象のカメラ画像から特徴点およびその局所特徴量を取得する特徴点検出手段と、
   前記カメラ画像から検出された各特徴点の局所特徴量と前記データベースで管理される各対応点候補の局所特徴量とのマッチング結果に基づいて対応点を認識する認識手段と、
   前記認識結果に基づいて、前記カメラ画像を撮影した際の姿勢パラメータを推定する姿勢パラメータ算出手段とを具備したことを特徴とする画像処理装置。
6. 前記代表画像は、視点を変化させるパラメータごとに、前記特徴点を検出するアルゴリズムの視点変化に対する頑健性に応じた密度で画像サンプリングされていることを特徴とする請求項５に記載の画像処理装置。
7. 前記視点を変化させるパラメータが、距離、角度および回転の少なくとも一つを含むことを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。
8. 前記代表画像が、認識対象の周囲に偏りなく仮想的に配置された視点から観察される画像であることを特徴とする請求項１ないし７のいずれかに記載の画像処理装置。
9. 前記代表画像が、認識対象を二次元に投影させた投影画像であり、前記視点を変化させるパラメータが投影パラメータであることを特徴とする請求項１ないし８のいずれかに記載の画像処理装置。
10. 撮影したカメラ画像内の認識対象に対する姿勢パラメータを推定する画像処理装置のデータベース構築装置において、
    認識対象を複数の視点で画像サンプリングして各視点に固有の代表画像を生成する代表画像生成手段と、
    各代表画像から対応点候補およびその局所特徴量を取得する対応点候補検出手段と、
    前記対応点候補ごとに、その局所特徴量および認識対象に逆投影した座標を対応付けるデータベースとを具備したことを特徴とする画像処理装置のデータベース構築装置。
11. 前記代表画像生成手段は、前記対応点候補を検出するアルゴリズムの視点変化に対する頑健性に応じて、視点を変化させるパラメータごとに画像サンプリングの密度を決定することを特徴とする請求項１０に記載の画像処理装置のデータベース構築装置。
12. 前記代表画像生成手段は、頑健性が弱いパラメータほどより密に画像サンプリングを行うことを特徴とする請求項１０または１１に記載の画像処理装置のデータベース構築装置。
13. 前記代表画像生成手段は、頑健性が強いパラメータほどより粗に画像サンプリングを行うことを特徴とする請求項１０または１１に記載の画像処理装置のデータベース構築装置。