JP4341135B2

JP4341135B2 - 物体認識装置

Info

Publication number: JP4341135B2
Application number: JP2000067248A
Authority: JP
Inventors: 雄一川上; 雄介中野
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2000-03-10
Filing date: 2000-03-10
Publication date: 2009-10-07
Anticipated expiration: 2020-03-10
Also published as: JP2001256483A; US7583271B2; US20010020946A1

Description

【０００１】
【発明の属する技術分野】
この発明は物体認識装置に関し、特に２次元の画像に含まれる物体を認識するための物体認識装置に関する。
【０００２】
【従来の技術】
従来、２次元画像に含まれる物体、特に人の顔からその人が誰であるかを認識する研究がなされている。任意に得られる２次元画像に含まれる顔は、通常、正面を向いているとは限らず、上下左右の様々な方向を向いている。このように、２次元画像ごとに顔のポーズが異なると、２次元画像に含まれる顔の見え方が異なる。また、２次元画像を撮像した光源の状況の違いなどにより、顔から反射する光の量が顔の各部分で異なる場合にも、２次元画像に含まれる顔の見え方が異なる。このように、顔のポーズが変化することにより、または、撮影する際の光源の状況が変化することにより、人の顔の見え方が大きく変化する。したがって、２次元画像に含まれる人を認識する場合、単純なパターンマッチング手法では、正確に人を認識することができない。
【０００３】
この課題を解決する手段として、顔画像をモデルとして表現し、入力画像からそのモデルパラメータを推定するモデルベース手法が提案されている。第１の例では顔画像の記述方法として、顔の３次元形状と顔の位置ごとの色情報（テクスチャ）とのそれぞれに対して主成分分析して得られる基底となる形状とテクスチャとの線形和で記述する方法が、崔昌石，岡崎透，原島博，式部幹、「主成分分析による顔画像の基底生成と記述」、『情報処理グラフィックスとＣＡＤ研報』、１９９０年８月号、vol.46,no.7、pp.43-50に記載されている。第１の記述方法によれば、顔の頭部回転の影響をなくすことができ、リアルな顔画像を合成することができる。
【０００４】
第２の例では、顔画像の記述方法として、円筒座標系でのレンジデータとＲＧＢ画像データとの線形和モデルを用いて、１枚の２次元画像から３次元形状を復元する手法が、Volker Blanz et al.,“A Morphable Model For Synthesis Of 3D Faves", "SIGGRAPH 99"に記載されている。
【０００５】
第３の例では、顔画像の記述方法として、顔の２次元形状と顔のテクスチャとのそれぞれに対して主成分分析して得られる基底とモデルパラメータとを用いて顔のモデル表現を行い、２次元の入力画像からモデルパラメータを推定する手法が、T.F.Coot et al., "Active Appearance Models", "In Burkhardt and Neumann, editors, Computer Vision-ECCV'98", Vol.II, Frieburg, Germany,1999 に記載されている。入力画像と推定モデルとの残差と、モデルパラメータの修正ベクトルとの関連を予め学習しておくことにより、高速な最適化を実現している。
【０００６】
【発明が解決しようとする課題】
しかしながら、第１の例では、入力された顔画像から本記述方法によるパラメータを生成する方法については記述されておらず、２次元画像を入力しただけでは、それに含まれる顔画像を認識することができない。
【０００７】
第２の例では、入力された２次元画像と線形和モデルとを入力画像面で残差を求めることで比較するため、顔の形状の違いが反映されにくい。従って、線形和モデルと２次元画像中の人物の形状が異なる場合であっても線形和モデルを２次元画像に投影した画像と２次元画像との残差が小さくなる場合があり、誤認識しやすいという欠点がある。また、入力された２次元画像は顔という立体の一面の情報しかないため、パラメータの初期値の推定が困難であるという欠点がある。また、最適化手法に最急勾配法を用いているため、収束するまでに時間が掛かってしまう。
【０００８】
第３の例では、表現されるモデルが２次元であるため、入力される２次元画像に含まれる顔の３次元形状が考慮されない。このため、２次元画像に含まれる顔とモデルの顔の違いが、ポーズの違いによるものか否かを判別することが困難であるといった問題があった。
【０００９】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、２次元画像に表された物体の方向を考慮して物体を認識することが可能な物体認識装置を提供することである。
【００１０】
この発明の他の目的は、２次元画像に表された物体に光源の違いによるシェーディングが表れていたとしても、物体を認識することが可能な物体認識装置を提供することである。
【００１１】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、物体認識装置は、モデルパラメータが与えられると３次元の形状と形状の位置ごとのテクスチャとを一意に定める３次元モデル表現手段と、物体の２次元画像を入力するための入力手段と、３次元モデル表現手段により所定のモデルパラメータで定められるモデル形状に入力された２次元画像を射影して射影テクスチャを生成するための射影手段と、３次元モデル表現手段により所定のモデルパラメータで定められるモデルテクスチャと射影テクスチャとを比較するための比較手段と、比較手段による比較に応じて、所定のモデルパラメータを変更する変更手段とを備える。
【００１２】
この発明に従えば、３次元モデル表現手段により所定のモデルパラメータで定められるモデル形状に２次元画像が射影されて射影テクスチャが生成される。３次元モデル表現手段により所定のモデルパラメータで定められるモデルテクスチャと射影テクスチャとが比較され、比較に応じて所定のモデルパラメータが変更される。このため、２次元画像に含まれる物体の３次元形状が考慮されるので、２次元画像に含まれる物体を正確に認識することが可能な物体認識装置を提供することができる。
【００１３】
好ましくは、物体認識装置の比較手段は、射影テクスチャとモデル形状とに基づき任意の方向からの光で表されるシェーディングテクスチャを生成する生成手段と、射影テクスチャとシェーディングテクスチャとに基づき、射影テクスチャからシェーディングの影響を取除いた除去テクスチャに射影テクスチャを変換するための変換手段とを含み、変換された除去テクスチャをモデルテクスチャと比較することを特徴とする。
【００１４】
この発明に従えば、射影テクスチャとモデル形状とに基づき任意の方向からの光で表されるシェーディングテクスチャが生成され、射影テクスチャとシェーディングテクスチャとに基づき、射影テクスチャからシェーディングの影響を取除いた除去テクスチャに射影テクスチャが変換される。そして、変換された除去テクスチャがモデルテクスチャと比較される。このため、２次元画像に任意の方向からの光によるシェーディングが表れていたとしても、２次元画像に含まれる物体を正確に認識することができる。
【００１５】
好ましくは、物体認識装置の比較手段は、射影テクスチャとモデルテクスチャとの差分を求め、変更手段は、差分が所定の値よりも小さくなるまで所定のパラメータを変更することを特徴とする。
【００１６】
この発明に従えば、射影テクスチャとモデルテクスチャとの差分が求められ、変更手段により差分が所定の値よりも小さくなるまで所定のパラメータが変更される。入力された２次元画像に含まれる物体が最適なパラメータで特定されるので、２次元画像中の物体を正確に認識することができる。
【００１７】
さらに好ましくは、物体認識装置は、求められた差分と所定のパラメータの変更量との関係を学習するための学習手段をさらに備える。
【００１８】
この発明に従えば、求められた差分と所定のパラメータの変更量との関係が学習されるので、所定のパラメータの変更量を容易に求めることができ、物体をさらに速く認識することができる。
【００１９】
さらに好ましくは、物体認識装置の比較手段は、モデルテクスチャと射影テクスチャとを同一平面に投影して比較することを特徴とする。
【００２０】
この発明に従えば、モデルテクスチャと射影テクスチャとが同一平面に投影されて比較されるので、２次元画像とモデル形状とのピッチ方向の回転姿勢のズレが容易に推定される。この結果、物体をさらに速く認識することができる。
【００２１】
さらに好ましくは、射影テクスチャとモデルテクスチャとは、ベクトルで表され、比較手段は、射影テクスチャのベクトルとモデルテクスチャのベクトルとの差分ベクトルの成分のうち、所定の値を超える成分を０にすることを特徴とする。
【００２２】
この発明に従えば、射影テクスチャのベクトルとモデルテクスチャのベクトルとの差分ベクトルの成分のうち、所定の値を超える成分が０にされる。このため、２次元画像中に物体の全部が含まれていない場合であっても、物体を認識することができる。
【００２３】
さらに好ましくは、モデル形状は、ポリゴンモデルであることを特徴とする。
ポリゴンモデルは、複数のポリゴンで構成される。
【００２４】
この発明に従えば、モデル形状がポリゴンモデルなので、取り扱うデータ数が少なくなる。このため、物体をさらに速く認識することができる。
【００２５】
さらに好ましくは、モデル形状は、複数の物体の３次元形状を主成分分析して得られる基底となる複数の３次元形状の線形和で表されることを特徴とする。
【００２６】
この発明に従えば、モデル形状が、複数の物体の３次元形状を主成分分析して得られる基底となる複数の３次元形状の線形和で表されるので、物体の３次元形状が統計的な性質を利用して良好に表現される。このため、物体をさらに正確に認識することができる。
【００２７】
さらに好ましくは、モデルテクスチャは、複数の物体のテクスチャを主成分分析して得られる基底となる複数のテクスチャの線形和で表されることを特徴とする。
【００２８】
この発明に従えば、モデルテクスチャが、複数の物体のテクスチャを主成分分析して得られる基底となる複数のテクスチャの線形和で表されるので、物体のテクスチャが統計的な性質を利用して良好に表現される。このため、物体を正確に認識することができる。
【００２９】
さらに好ましくは、物体認識装置の射影手段は、モデル形状に２次元画像を正射影することを特徴とする。
【００３０】
この発明に従えば、モデル形状に２次元画像が正射影されるので、２次元画像を撮影した際の撮影倍率や露出などのカメラパラメータを考慮する必要がない。このため、物体を容易に認識することができる。
【００３１】
さらに好ましくは、物体認識装置の入力手段は、同一物体を含む複数の２次元画像を入力し、射影手段は、複数の２次元画像ごとにモデル形状に射影して複数の射影テクスチャを生成し、比較手段は、複数の射影テクスチャごとにモデルテクスチャと比較することを特徴とする。
【００３２】
この発明に従えば、同一物を含む複数の２次元画像ごとにモデル形状に射影された複数の射影テクスチャが生成され、複数の射影テクスチャごとにモデルテクスチャと比較される。このため、モデルテクスチャと比較される２次元画像が複数なので、より正確に物体を認識することができる。
【００３３】
さらに好ましくは、物体認識装置の生成手段は、異なる３つの方向からの光で表される３つのシェーディングテクスチャを生成することを特徴とする。
【００３４】
この発明に従えば、異なる３つの方向からの光で表される３つのシェーディングテクスチャが生成される。このため、入力される画像の光源状況を再現することができるので、光源状況を考慮した物体を認識することができる。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示す。
【００３６】
図１は、本発明の実施の形態の１つにおける物体認識装置の概略構成を示すブロック図である。本実施の形態における物体認識装置１００は、人物の顔を認識するための装置である。なお、物体は人物の顔に限られず、有体物であればどのような物体であってもよい。
【００３７】
図１を参照して、本実施の形態における物体認識装置は、人物の顔の３次元の形状と濃淡情報（テクスチャ）とを入力するための３次元データ入力部１２と、３次元データ入力部１２が出力する３次元の形状データと濃淡情報とを記憶するための記憶部１４と、記憶部１４に記憶されたデータに統計処理を施すことにより３次元の形状と濃淡情報とを統合した統合モデルを生成するための統合モデル生成部１６と、生成された統合モデルを記憶するための統合モデル記憶部１０と、人物の顔を含む２次元画像を入力するための２次元画像入力部１８と、２次元画像に含まれる顔に対応する統合モデルのパラメータをサーチするためのパラメータサーチ部３０と、パラメータサーチ部３０でパラメータの変換に用いる修正マトリックスを求めるための学習部２０とを含む。
【００３８】
３次元データ入力部１２は、人物の顔の３次元形状とその人物の顔のテクスチャとを入力する。人物の顔の３次元形状とテクスチャとは、次の手順で入力される。
【００３９】
（１）標準的な顔を頂点と線で近似した顔の３次元形状モデル（ワイヤフレームモデル）を作成する。
【００４０】
（２）作成された３次元形状モデルを入力の対象となる人物の正面顔に整合させ、その人物の顔の３次元形状モデルを作成する。３次元形状モデル（ワイヤフレームモデル）は、三角形等のポリゴンで構成される。
【００４１】
（３）人物の顔の３次元形状モデルのポリゴンのパッチそれぞれに対して顔の表面を定義し、正面顔の濃淡情報を投影する。
【００４２】
このようにして、投影された濃淡情報がテクスチャである。したがって、テクスチャは、３次元形状モデルにおいてそれぞれのポリゴンのパッチに対応した濃淡情報である。
【００４３】
３次元データ入力部１２は、３次元形状モデルとテクスチャとを１人の人物に対してそれぞれ入力し、記憶部１４に記憶する。３次元データ入力部１２で複数人の顔の３次元形状モデルとテクスチャとが入力され、記憶部１４に記憶される。
【００４４】
統合モデル生成部は、記憶部１４に記憶された３次元形状モデルに主成分分析を行って次元圧縮された統計３次元形状モデルを生成する。また、記憶部１４に記憶されたテクスチャに主成分分析を行なって次元圧縮された統計テクスチャモデルを生成する。そして、それぞれ次元圧縮された統計３次元形状モデルと統計テクスチャモデルとを統合して主成分分析を行い、次元圧縮された統合モデルを生成する。統合モデル生成部１６で生成された統合モデルは、統合モデル記憶部１０に記憶される。統合モデルの生成について後で詳細に説明する。
【００４５】
２次元画像入力部１８は、人物の顔を撮像して２次元の画像を入力可能である。たとえば、人物の顔を直接撮影することができるデジタルスチルカメラやデジタルビデオカメラ等が含まれる。また、人物の顔が写された写真を読取るためのイメージスキャナ等も含まれる。２次元画像入力部１８が出力する２次元画像は、パラメータサーチ部３０に送信される。
【００４６】
パラメータサーチ部３０は、２次元画像入力部１８が出力する２次元画像に含まれる顔に最も近い３次元形状モデルとテクスチャとを統合モデルで作成し、統合モデルパラメータを出力する。
【００４７】
学習部２０は、統合モデル記憶部１０に記憶されている統合モデルを用いて、パラメータサーチ部３０で用いる修正マトリックスを求める。学習部２０については後述する。
【００４８】
次に、本実施の形態における物体認識装置１００の統合モデル生成部１６で行なわれる処理について説明する。統合モデル生成部１６は、統計３次元モデル生成処理と統計テクスチャモデル生成処理と統合モデル生成処理とを行う。
【００４９】
［統計３次元形状モデル生成処理］
顔の３次元形状モデルのポリゴンの頂点をｎ個とすると、３次元形状モデルは３ｎ次元のベクトルｘで表わすことができる。３次元形状モデルの座標系は、原点を頂点座標の線形計算で求められる適当な位置、たとえば重心に設定し、Ｘ軸が顔の左右方向、Ｙ軸が顔の上下方向、Ｚ軸が顔の正面方向となるように定めることができる。図２は、３次元形状モデルの座標系の一例を示す図である。図２に示す３次元形状モデルの座標系では、３次元形状モデルｘを（１）式で表わすことができる。
【００５０】
記憶部１４に記憶されている３次元形状モデルのすべてを用いて主成分分析することにより、３次元形状モデルｘを（２）式で近似することができる。ここで、ｘバーは３次元形状モデルの平均の形状を示し、以下「平均形状」という。Ｐｓは変化の正規モード（固有ベクトル）のセットを示し、ｂｓは３次元形状パラメータのセットを示す。（２）式で表される３次元形状モデルを統計３次元形状モデルと呼ぶ。
【００５１】
【数１】

【００５２】
［統計テクスチャモデル生成処理］
上述したように、テクスチャは３次元形状モデルのそれぞれのポリゴンに対応した濃淡情報で定義されることを説明した。ここで、あるモデルが３次元形状モデルＸとテクスチャＡとで構成されているとする。テクスチャＡをｕ−ｖ平面にマップしたものをテクスチャ画像という。
【００５３】
ここでのｕ−ｖ平面はどのように定義してもよいが、本実施の形態においては、３次元形状モデルを生成することにより得られる平均形状を囲む円筒の表面で表される円柱座標とする。
【００５４】
図３は、ｕ−ｖ平面の一例を示す図である。平均形状における各ポリゴンのｕ−ｖ平面への射影は、平均形状における各ポリゴンの頂点を（３）式を用いて変換することで行なわれる。このため、平均形状の各ポリゴンは、テクスチャ画像の所定の位置に対応付けられる。
【００５５】
３次元形状モデルＸのポリゴンと平均形状のポリゴンとは１対１に対応している。テクスチャＡに対応するテクスチャ画像は、テクスチャＡを平均形状の各ポリゴンに対応付け、対応付けられたテクスチャＡをｕ−ｖ平面に射影することにより得られる。
【００５６】
また、テクスチャ画像を３次元形状モデルＸへマップすることにより、３次元形状モデルＸの各ポリゴンの濃淡情報をテクスチャ画像と対応付けたモデルが作成される。テクスチャ画像の３次元形状モデルＸへのマップは、テクスチャ画像を平均形状に射影し、射影された平均形状の各ポリゴンの濃淡情報を３次元形状モデルＸの各ポリゴンの濃淡情報としたモデルを作成することをいう。
【００５７】
ポリゴンを三角形とした場合、３つの頂点に囲まれたパッチの濃淡情報は、（４）式で示すように、３×３の変換行列によってｕ−ｖ平面にワープされる。ここで、ｘとｙは、１つのパッチ上でのテクスチャの座標を表わしている。Ｈの３行目のベクトルを（０，０，１）としたものは、アフィン変換と言われ、三角形のパッチの頂点座標を与えることで、Ｈの他の係数を求めることができる。実際のワープは、Ｈ^-1を求めて、個々のｕ−ｖ座標に対するｘ−ｙ座標の濃淡情報を線形補間するにより求められる。
【００５８】
このようにして、記憶部１４に記憶されたテクスチャから求まるテクスチャ画像に対して、グレースケールのゲインとオフセットに関して（５）式を用いて正規化を行なう。ここで、αはテクスチャ画像の分散値を示し、βはテクスチャ画像の平均値を示す。また、α，βは、テクスチャ画像の平均（ｇバー）（以下「平均画像」という）から（６）式を用いて求めるようにしてもよい。ここで、正規化は、平均が０で分散が１になるように正規化されているものとする。
【００５９】
（６）式では、ｎはベクトルのエレメント数を表わす。ただし、平均画像は、補正された画像の平均なので、α，βは再帰的に求められることになる。正規化されたテクスチャ画像のセットに対して、主成分分析を行なうことにより、テクスチャ画像ｇは（７）式で近似することができる。
【００６０】
（７）式では、ｇバーはテクスチャ画像の平均画像のベクトルを示し、Ｐ_gは変化の正規モード（固有ベクトル）のセットを示し、ｂ_gはテクスチャパラメータのセットを示す。（７）式で表されるテクスチャ画像を統計テクスチャモデルと呼ぶ。
【００６１】
【数２】

【００６２】
［統合モデル生成処理］
統計３次元形状モデルと統計テクスチャモデルとの間に相関がある可能性があるので、さらに、主成分分析を適用して次元の低い統計モデルを作成する。統計３次元形状モデルと統計テクスチャモデルとを統合したベクトルを、（８）式を用いて生成する。
【００６３】
（８）式において、Ｗｓは統計３次元形状モデルと統計テクスチャモデルとの単位の違いを許容するために、それぞれのパラメータに重み付けをするための対角行列である。これらのベクトルに主成分分析を適用し、（９）式に示す統合モデルを得ることができる。
【００６４】
（９）式において、Ｑは固有ベクトルであり、ｃは統計３次元形状モデルと統計テクスチャモデルとの双方をコントロールする統合モデルパラメータのベクトルとなる。統計３次元形状モデルと統計テクスチャモデルとは、統合モデルパラメータｃによって（１０）式を用いて復元可能である。但し、（９）式のＱと（１０）式のＱ_sおよびＱ_gとは（１１）式に示す関係である。
【００６５】
【数３】

【００６６】
次に、本実施の形態における物体認識装置１００のパラメータサーチ部３０で行われるパラメータサーチ処理について説明する。
【００６７】
［パラメータサーチ処理］
図４は、パラメータサーチ部３０の詳細な構成を示すブロック図である。図４を参照して、パラメータサーチ部３０は、統合モデルパラメータｃ、ポーズパラメータｔ、および光源パラメータｕを発生または変換するためのパラメータ変換部３０１と、パラメータ変換部３０１が出力する統合モデルパラメータｃに基づき統合モデルからテクスチャ画像を生成するためのテクスチャ画像生成部３０３と、統合モデルパラメータｃに基づき統合モデルから３次元形状モデルを生成するための３次元形状モデル生成部３０５と、２次元画像入力部１８から出力される２次元画像を３次元形状モデル生成部３０５で生成された３次元形状モデルに射影するための射影部３０７と、射影部３０７で射影された２次元画像の濃淡情報をｕ−ｖ平面にマップすることによりテクスチャ画像を生成するためのマップ部３０９と、生成されたテクスチャ画像からシェーディングの影響を除去するための正規化部３１１と、テクスチャ画像生成部３０３で生成されたテクスチャ画像と正規化部３１１でシェーディングが除去されたテクスチャ画像とを比較するテクスチャ比較部３１３とを含む。
【００６８】
図５は、パラメータサーチ部３０で行なわれるパラメータサーチ処理の流れを示すフローチャートである。図６は、パラメータサーチ処理の流れを説明するための模式図である。図６は、右側の列にテクスチャ画像を、左側の列に３次元形状モデルをそれぞれ模式的に示している。また、図６中の符号は、図５の符号と合わせて記載されている。
【００６９】
図５を参照して、パラメータサーチ処理では、まず、パラメータ変換部３０１でそれぞれのパラメータに初期値が入力される（ステップＳ０１）。パラメータには、統合モデルパラメータｃとポーズパラメータｔと光源パラメータｕとがある。
【００７０】
ポーズパラメータｔは、３次元形状モデルの回転変換および並進移動変換（これらをまとめてポーズ変換と言う）を行なうためのパラメータである。光源パラメータｕは、テクスチャ画像からシェーディングの影響を除去するための正規化変換またはテクスチャ画像にシェーディングの影響を加える逆正規化変換を行なうためのパラメータである。ポーズ変換と正規化・逆正規化変換については後述する。
【００７１】
それぞれのパラメータの初期値は、予め所定の値が設定されることが好ましいが、初期値が求まっていない場合には「０」を用いればよい。ここでは、３次元形状統計パラメータｃの初期値をｃ₀で示し、ポーズパラメータｔの初期値をｔ₀で示し、光源パラメータｕの初期値をｕ₀で示してしている。
【００７２】
初期値が設定されると、ステップＳ０２において推定モデルが作成される。推定モデルの作成は、３次元形状モデル生成部３０５とテクスチャ画像生成部３０３とで行なわれる。３次元形状モデル生成部３０５は、パラメータｃに基づき（１２）式を用いて３次元形状モデルｘ_mを生成する。テクスチャ画像生成部３０３は、統合モデルパラメータｃに基づき（１３）式を用いてテクスチャ画像ｇ_mを生成する。生成された３次元形状モデルｘ_mとテクスチャ画像ｇ_mとで推定モデルが構成される。
【００７３】
次に、求められた３次元形状モデルに対してポーズ変換が行なわれる（ステップＳ０３）。ポーズ変換は、３次元形状モデル生成部３０５で（１４）式を用いて行われる。（１４）式は、ポーズパラメータｔを用いた３次元形状モデルｘ_mの３次元形状モデルｘへのポーズ変換を示す式である。
【００７４】
ポーズ変換は、回転変換および並進変換等からなる。ポーズパラメータｔは（１５）式で表わされる。ここで、ｓはスケールを、φ，θ，Ψは回転を、ｔ_X，ｔ_Y，ｔ_Zは３次元形状モデルの位置の変化を表わす。
【００７５】
回転変換を、ロール角φ、ピッチ角θ、ヨー角Ψの３自由度で表現すると、回転変換Ｄは（１６）式で表わすことができる。従って、ポーズ変換Ｔ_tを斉次座標を用いて（１７）式で表わすことができる。ただし、２次元画像から３次元形状モデルへの投影をｚ＝∞の位置のカメラを想定した正射影で行なう場合には、ｔ_x＝０としてよい。なお、ポーズ変換は、大きな偏差に対応するために多重解像度戦略を用いることもできる。
【００７６】
そして、ポーズ変換された３次元形状モデルｘに２次元画像入力部１８から出力された２次元画像ｇ₁が正射影される。正射影は、射影部３０７において行なわれる。これにより、ポーズ変換された３次元形状モデルｘのそれぞれのポリゴンに濃淡情報が付加される。この３次元形状モデルに濃淡情報が付加されたモデルを、ここでは３次元物体モデルと呼ぶことにする。
【００７７】
次のステップＳ０５では、ステップＳ０４で求められた３次元物体モデルからテクスチャ画像ｇ_imを生成する。テクスチャ画像ｇ_imの生成は、マップ部３０９で行なわれる。マップ部３０９は、３次元物体モデルの濃淡情報をｕ−ｖ平面にマップすることにより、テクスチャ画像ｇ_imを生成する。
【００７８】
そして、次のステップＳ０６では、マップ部３０９で生成されたテクスチャ画像ｇ_imを正規化する。テクスチャ画像の正規化は、正規化部３１１で（１８）式を用いて行なわれる。（１８）式は、光源パラメータｕを用いたテクスチャ画像ｇ_imのテクスチャ画像ｇ_sへの正規化変換を示す式である。
【００７９】
次のステップＳ０７においては、テクスチャ画像生成部３０３で生成されたテクスチャ画像ｇ_mと正規化部３１１で正規化されたテクスチャ画像ｇ_sとの差分が誤差ベクトルδｇとして求められる。
【００８０】
ステップＳ０４で正射影された濃淡情報からは、テクスチャ画像の一部しか得られない場合がある。また、実際に入力される２次元画像には、人物が眼鏡を掛けた状態で撮影された画像である場合もある。このような場合には、眼鏡の部分で隠れた顔画像の濃淡情報が得られない場合がある。このような場合に対応するため、ステップＳ０７において誤差ベクトルδｇの要素で一定値以上のものは「０」とする。これにより、オクリュージョンの発生に関係なく正確に最適な３次元形状線形パラメータを求めることができる。
【００８１】
次に、求められた誤差ベクトルのノルムの二乗がしきい値ｔｈよりも小さいか否かが判断される（ステップＳ０８）。しきい値ｔｈより小さくない場合にはステップＳ０９に進む。しきい値よりも小さい場合には、ステップＳ０２で用いた統合モデルパラメータｃを、最適なパラメータとして処理を終了する。
【００８２】
ステップＳ０７とステップＳ０８との処理は、テクスチャ比較部３１３で行なわれる。テクスチャ比較部３１３は、誤差ベクトルδｇのノルムの二乗がしきい値ｔｈよりも小さくない場合には、誤差ベクトルδｇをパラメータ変換部３０１に送信する。
【００８３】
次のステップＳ０９では、パラメータの補正量が計算される。パラメータの補正量は、誤差ベクトルδｇを用いて（１９）式により求められる。（１９）式において、Ｒｃ、ＲｔおよびＲｕは、それぞれ統合モデルパラメータｃとポーズパラメータｔと光源パラメータｕに対応する修正マトリックスである。修正マトリックスＲｃ、ＲｔおよびＲｕについては後で説明する。
【００８４】
ステップＳ０９で求められたパラメータ補正量δｃ、δｔ、δｕに基づき、各パラメータが補正される（ステップＳ１０）。パラメータの補正は、（２０）式により行なわれる。（２０）式において、ｋは標準的には１であるが、固定の値に設定する必要はなく、繰返しサイクルの中で適切な値を選ぶことができる。
【００８５】
ステップＳ０９およびステップＳ１０の処理は、パラメータ変換部３０１で行なわれる。パラメータ変換部３０１は、補正された各パラメータｃ、ｔ、ｕを新たなパラメータとして出力する。
【００８６】
そして、ステップＳ０２に進み、補正された新たなパラメータを用いて、上述の処理が繰り返し行われる。
【００８７】
なお、本実施の形態においては、ステップＳ０８において、繰返しの終了判定を、誤差ベクトルδｇのノルムの二乗をしきい値と比較するようにしたが、誤差が改善されなくなり、収束が確認された時点で繰返し処理を終了して処理を終了するようにしてもよい。
【００８８】
【数４】

【００８９】
［正規化変換］
３次元形状モデルを用いた２次元画像からのパラメータサーチ処理においては、２次元画像が光源の位置の違いによりシェーディングの影響を受けているため、シェーディングの影響を考慮したパラメータサーチを行なう必要がある。
【００９０】
統合モデルを作成するために入力される濃淡情報は、無影のサンプルが入力される。このため、入力される２次元画像がシェーディングの影響を受けている場合には、シェーディングの影響を除去した無影のテクスチャ画像に変換する必要がある。３次元形状モデルとテクスチャ画像とから光源の位置と強度とを推定することができる。
【００９１】
物体の表面が完全拡散面（Lambertian Surface）であると仮定すると、場所ｐにおける物体表面画像濃度Ｉ（ｐ）は、（２１）式で表わされる。ここで、ｎ_pは、物体の表面ｐの反射率ベクトルを表わしている。反射率ベクトルｎ_pの方向は場所ｐの法線方向であり、その長さは物体の反射率を表わす。ｓは、光源ベクトルを表わしている。光源ベクトルｓの方向は光源の射出方向を表し、その長さは光源の強さを表す。
【００９２】
光源ベクトルｓは、３次元ベクトルなので、３つの基底ベクトルの和で表現することができる。（２１）式を変形して（２２）式を導くことができ、任意の光源位置で得られた２次元画像は、３個の位置の光源下で得られた画像の線形和で表現できる。
【００９３】
完全拡散面は視線方向に無関係なので、円筒面に射影した３次元形状モデルのテクスチャ画像に対しても適用することができる。また、実際に入力される２次元画像は、主光源と環境光との２つで照らされているモデルを設定する方が実状に合っていると考えられる。そこで、ここでは場所ｐにおける物体表面画像濃度Ｉ（ｐ）が、（２３）式で与えられると仮定する。（２３）式においてＩ₀（ｐ）は、拡散光のみによる画像を表わす。
【００９４】
さらに、光源ベクトルｓを３成分に分解すると（２４）式で表わすことができる。（２４）式は、入力される任意の２次元画像を、統合モデルの有する無影のテクスチャ画像およびその無影のテクスチャ画像に対して３方向の光源でシェーディングを施した３枚のシェーディング画像との合計４枚の画像の線形和で再現できることを表わしている。光源の位置を統合モデルの座標系で設定すると、３枚のシェーディング画像はモデルパラメータによって一意的に計算することができる。
【００９５】
光源パラメータｕを（２５）式で表わす。（２５）式において、光源パラメータｕは、ゲインパラメータｕ₁とオフセットパラメータｕ₂およびシェーディング補正パラメータｖ₁，ｖ₂，ｖ₃で表わされる。
【００９６】
統合モデルのテクスチャ画像は（２６）式で正規化されていると仮定する。ここで新たに、光源パラメータｕを（２７）式で定義すれば、逆正規化変換を（２８）式で表現することができる。ここで、ｇ_d1，ｇ_d2，ｇ_d3はそれぞれ、与えられたテクスチャ画像ｇと３次元形状モデルｘに対して３方向の光源によるシェーディングで得られた画像である。
【００９７】
（２９）式を満足する光源パラメータｕ′は（３０）式で与えられる。
このように、テクスチャ画像の正規化変換または逆正規化変換においては、テクスチャ画像ｇと３次元形状モデルｘとから求まる３つのシェーディング画像ｇ_d1，ｇ_d2，ｇ_d3を用いて、シェーディングの影響が考慮される。すなわち、テクスチャ画像ｇを正規化変換する場合には、シェーディングの影響が除去され、テクスチャ画像を逆正規化変換する場合にはシェーディングの影響が加えられることになる。
【００９８】
また、３つのシェーディング画像ｇ_d1，ｇ_d2，ｇ_d3は、３方向からの光源でシェーディングを施した画像なので、テクスチャ画像ｇに対して３つのシェーディング画像の線形和を用いることにより、すべてのシェーディングの影響を考慮することができる。
【００９９】
【数５】

【０１００】
このように、本実施の形態における物体認識装置１００においては、入力された２次元画像と３次元形状モデルおよびテクスチャとからなる３次元統計モデルとの比較を行なう場合に、テクスチャ画像を３次元形状モデルに射影して比較するので、入力された２次元画像中の物体の形状を考慮して物体を認識することができる。このため、より正確に２次元画像中の物体を認識することができる。
【０１０１】
入力された２次元画像と３次元形状モデルおよびテクスチャとで表わされる３次元統計モデルとを比較する場合に、一般には、入力された２次元画像面で比較が行なわれることが多い。この場合、３次元統計モデルの形状を有効に利用できないこと、また、入力された２次元画像は顔という立体の一面の情報しかないため、統合モデルにおけるパラメータサーチにおいて、パラメータの初期値の推定が困難であるという欠点がある。そこで、統合モデルの全周データを持つことができる円筒座標系のテクスチャ画像で比較することにより、入力された２次元画像中の物体を効率よく認識することができる。
【０１０２】
［修正マトリックス生成処理］
上述したパラメータサーチ処理で決定すべきパラメータには、統合モデルパラメータｃのほかに、ポーズパラメータｔおよび光源パラメータｕがある。
【０１０３】
修正マトリックス生成処理は、モデル形状とモデルテクスチャとからなるサンプルモデルを定める統合パラメータｃ、姿勢変動を定めるポーズパラメータｔ、および、光源変動を定める光源パラメータｕそれぞれの摂動ベクトルδｃ，δｔ，δｕと、そのときのテクスチャ画像の誤差ベクトルδｇとの関係を線形回帰して（３１）式を満たす修正マトリックスＲｃ，Ｒｔ，Ｒｕを求める処理である。修正マトリックス生成処理は、学習部２０において行われる。
【０１０４】
図７は、本実施の形態における物体認識装置１００の学習部２０の詳細な構成を示すブロック図である。図７を参照して、学習部２０は、パラメータｃ，ｕ，ｔとそれぞれの摂動ベクトルδｃ，δｕ，δｔとを生成するためのパラメータ生成部２０１と、誤差ベクトルδｇを求めるための誤差ベクトル演算部２０２と、パラメータ生成部２０１が生成したパラメータと誤差ベクトル演算部２０２で求められた誤差ベクトルδｇとを対応付けて記憶するためのサンプルデータ記憶部２１３と、サンプルデータ記憶部２１３に記憶されたパラメータと誤差ベクトルとを用いて修正マトリックスＲｃ，Ｒｔ，Ｒｕを求めるための修正マトリックス演算部２１５とを含む。
【０１０５】
誤差ベクトル演算部２０２は、パラメータ生成部２０１が生成した統合パラメータｃと摂動ベクトルδｃとに基づき、統合モデル記憶部１０に記憶されている統合モデルからモデル形状または想定モデル形状を生成するための３次元形状モデル生成部２０３と、統合モデル記憶部１０に記憶されている統合モデルからモデルテクスチャ画像または想定モデルテクスチャ画像を生成するためのテクスチャ画像生成部２０４と、３次元形状モデルにマップされたテクスチャ画像を円筒面で表わされるｕ−ｖ平面に射影するための射影部２０５と、テクスチャ画像にシェーディングの影響を付加する逆正規化変換を行うための逆正規化部２０７と、テクスチャ画像からシェーディングの影響を除去する正規化変換を行なうための正規化部２０９と、２つのテクスチャ画像を比較するためのテクスチャ比較部２１１とを含む。
【０１０６】
図８は、学習部２０で行なわれる残差算出処理の流れを示すフローチャートである。図９は、残差算出処理の流れを模式的に示した図である。図９の右列はテクスチャ画像を示し、左列は３次元形状モデルおよびそれにテクスチャ画像がマップまたは射影された３次元形状モデルを示す。
【０１０７】
図８および図９を参照して、残差算出処理は、まず、パラメータの入力が行なわれる（ステップＳ２１）。ここで入力されるパラメータは、統合モデルパラメータｃとその摂動ベクトルδｃ、ポーズパラメータｔとその摂動ベクトルδｔ、および、光源パラメータｕとその摂動ベクトルδｕである。これらのパラメータは、物体認識装置１００に設けられたキーボード等の入力部から操作者が任意に入力するようにしてもよいし、学習部２０のパラメータ生成部２０１で自動的に生成させるようにしてもよい。
【０１０８】
そして、統合パラメータｃを用いてモデル形状とモデルテクスチャ画像とが作成される（ステップＳ２２）。３次元形状モデル生成部２０３は、パラメータ生成部２０１が生成する統合モデルパラメータｃとその摂動ベクトルδｃとを用いて、統合モデル記憶部１０に記憶されている統合モデルに基づいて３次元形状モデルを生成する。統合モデルパラメータ（ｃ＋δｃ）に基づき生成された３次元形状モデルがモデル形状ｘ_mである。
【０１０９】
テクスチャ画像生成部２０４は、パラメータ生成部２０１が生成する統合モデルパラメータｃとその摂動ベクトルδｃとを用いて、統合モデル記憶部１０に記憶されている統合モデルに基づいてテクスチャ画像を生成する。統合モデルパラメータ（ｃ＋δｃ）に基づき生成されたテクスチャ画像がモデルテクスチャ画像ｇ_mである。モデル形状ｘ_mは（３２）式で、モデルテクスチャ画像ｇ_mは（３３）式で定められる。
【０１１０】
次に、モデル形状ｘ_mのポーズ変換が行なわれる（ステップＳ２３）。３次元形状モデル生成部２０３は、パラメータ生成部２０１が生成するポーズパラメータｔとその摂動ベクトルδｔとを用いて、先に生成したモデル形状ｘ_mに対して、（３４）式によりポーズ変換を行う。（３４）式は、ポーズパラメータ（ｔ＋δｔ）を用いた３次元形状モデルｘ_mの３次元形状モデルｘへのポーズ変換を示す式である。
【０１１１】
次に、想定モデル形状と想定モデルテクスチャとが作成される（ステップＳ２４）。３次元形状モデル生成部２０３は、パラメータ生成部２０１が生成する統合モデルパラメータｃを用いて、統合モデル記憶部１０に記憶されている統合モデルに基づいて３次元形状モデルを生成する。統合モデルパラメータｃを用いて生成された３次元形状モデルが想定モデル形状ｘ₀である。
【０１１２】
テクスチャ画像生成部２０４はパラメータ生成部２０１が生成する統合パラメータｃを用いて統合モデル記憶部１０に記憶されている統合モデルに基づいてテクスチャ画像を生成する。統合モデルパラメータｃを用いて生成されたテクスチャ画像が想定モデルテクスチャ画像ｇ₀である。
【０１１３】
想定モデル形状ｘ₀と想定モデルテクスチャｇ₀とは、本来のモデルに該当する。想定モデル形状ｘ₀は（３５）式で、想定モデルテクスチャ画像ｇ₀は（３６）式で定められる。
【０１１４】
次に、想定モデル形状ｘ₀に対してポーズパラメータｔを用いたポーズ変換が行なわれる（ステップＳ２５）。３次元形状モデル生成部２０３は、パラメータ生成部２０１が生成するポーズパラメータｔを用いて、（３７）式に基づき先に求めた想定モデル形状ｘ₀にポーズ変換を行なう。ポーズ変換後の想定モデル形状をｘ₁とすると、ポーズパラメータｔを用いたポーズ変換は、（３７）式で表わすことができる。
【０１１５】
次に、ステップＳ２４で求められた想定モデルテクスチャ画像ｇ₀をステップＳ２５で求められたポーズ変換後の想定モデル形状ｘ₁にマップする（ステップＳ２６）。これにより、想定モデル形状ｘ₁の各ポリゴンに濃淡情報が付加される。付加された濃淡情報は、テクスチャである。
【０１１６】
そして、ステップＳ２６でマップされたテクスチャを円筒座標系に射影する（ステップＳ２７）。射影部２０５は、３次元形状モデル生成部２０３で生成およびポーズ変換された想定モデル形状ｘ₁にマップされた想定モデルテクスチャｇ₀を、円筒座標系に射影する。これにより、円筒座標系に濃淡情報が射影され、ｕ−ｖ平面にテクスチャ画像ｇ₀′が形成される。
【０１１７】
なお、ステップＳ２６とステップＳ２７との処理は、ステップＳ２４で作成された想定モデルテクスチャ画像ｇ₀をワーピングする処理に置換えることができる。
【０１１８】
次のステップＳ２８では、ステップＳ２７で求められたテクスチャ画像ｇ₀′に対して、光源パラメータｕを用いて逆正規化変換が行なわれる。逆正規化部２０７は、テクスチャ画像ｇ₀′に対して、パラメータ生成部２０１が生成する光源パラメータｕを用いて、シェーディングの影響を付加する逆正規化変換を行なう。逆正規化変換Ｔｕは、逆正規化変換されたテクスチャ画像をｇ₁とすると、（３８）式で表わされる。
【０１１９】
次のステップＳ２９では、ステップＳ２３でポーズ変換されたモデル形状ｘに、ステップＳ２８で逆正規化変換されたテクスチャ画像ｇ₁を射影する。射影は、射影部２０５により行なわれる。射影部２０５は、３次元形状モデルｘにテクスチャ画像ｇ₁を射影する。したがって、３次元形状とテクスチャ画像とがずれて射影されることになる。
【０１２０】
ステップＳ３０では、ステップＳ２９で射影された想定モデルテクスチャｇ₁をｕ−ｖ平面にマップする。これにより、テクスチャ画像ｇ_imが生成される。そして、生成されたテクスチャ画像ｇ_imからシェーディングを除去するための正規化変換が行なわれる（ステップＳ３１）。
【０１２１】
正規化部２０９では、テクスチャ画像ｇ_imに対して、パラメータ生成部２０１が生成する光源パラメータｕとその摂動ベクトルδｕとを用いて、テクスチャ画像ｇ_imからシェーディングの影響を除去する正規化変換を行なう。正規化されたテクスチャ画像をｇ_sとすると、光源パラメータをｕ＋δｕとした正規化変換は、（３９）式で表わされる。
【０１２２】
次のステップＳ３２では、ステップＳ２２で求められたモデルテクスチャ画像ｇ_mとステップＳ３１で正規化変換されたテクスチャ画像ｇ_sとのグレーレベルの残差が求められる。テクスチャ比較部２１１は、モデルテクスチャ画像ｇ_mとテクスチャ画像ｇ_sとのグレーレベルの残差δｇを求める。残差δｇは（４０）式で表わされる。
【０１２３】
このようにして、パラメータ生成部２０１が生成するパラメータに応じて、グレーレベルの残差δｇが求められる。パラメータ生成部２０１で複数のパラメータを生成し、それぞれのパラメータに対して残差δｇが求められる。そして、求められた残差δｇがパラメータに対応付けられてサンプルデータ記憶部２１３に記憶される。
【０１２４】
修正マトリックス演算部２１５では、サンプルデータ記憶部２１３に記憶された、各パラメータに対する摂動ベクトルδｃ，δｔ，δｕとそれぞれに対応して求められた残差δｇとの多数の組を、多重回帰を用いて修正マトリックスを求める。修正マトリックスをＲｃ，Ｒｔ，Ｒｕとすると、（４１）式を用いて修正マトリックスを求めることができる。ここで、Ｃはδｃ_i（ｉ＝１，…，ｓ）を列方向に並べたマトリックスである。Ｘはδｇ_i（ｉ＝１，…，ｓ）を列方向に並べたマトリックスである。ただし、ｓはサンプル数である。
【０１２５】
このようにして、修正マトリックス演算部２１５で、修正マトリックスＲｃ，Ｒｔ，Ｒｕを求めることで、これらの修正マトリックスがパラメータサーチ部３０のパラメータ変換部３０１に送られる。このため、パラメータサーチ部３０では、パラメータ変換部で変換すべきパラメータが、テクスチャ比較部３１３で求められた誤差ベクトルδｇに応じて変換されるので、より速く統合モデルパラメータで定まる統合モデルを入力された２次元画像中の物体に近付けることができる。これにより、物体を速く認識することができる。
【０１２６】
次に、２次元画像入力部１８で、同一人物を異なる角度で撮影されたＮ枚の２次元画像が入力された場合について説明する。図４に示したパラメータサーチ処理において、ステップＳ０４で正射影される２次元画像がＮ枚となる。これらの画像をｇ_i（ｉ＝１，…，Ｎ）で表わすと、ステップＳ０４〜ステップＳ０７までの処理が、入力された２次元画像ｇ_i毎に行なわれることになる。
【０１２７】
この結果、ステップＳ０７で求められる誤差ベクトルが、入力される２次元画像ｇ_i毎に求められることになる。ここで、入力された２次元画像ｇ_iに対応する誤差ベクトルをδｇ_iとすると、ステップＳ０８においては、求められた誤差ベクトルδｇ_iのノルムの二乗和を所定のしきい値と比較するようにすればよい。誤差ベクトルδｇ_iのノルムの二乗和Ｅは、（４２）式で表される。
【０１２８】
そして、次のステップＳ０９では、統合モデルパラメータｃの摂動ベクトルδｃとポーズパラメータｔの摂動ベクトルδｔと光源パラメータｕの摂動ベクトルδｕとが、入力された２次元画像ｇ_i毎にＮ個求められる。
【０１２９】
そして、ステップＳ１０において、それぞれのパラメータｃ，ｔ，ｕとが、Ｎ個の摂動ベクトルδｃ_i，δｔ_i，δｕ_i（ｉ＝１，…，Ｎ）とに基づき修正される。このとき用いられるパラメータの補正式は、（４３）式で表わされる。これにより、補正されたパラメータは、統合モデルパラメータｃが１つであり、ポーズパラメータがｔ₁〜ｔ_NのＮ個であり、光源パラメータがｕ₁〜ｕ_NのＮ個である。
【０１３０】
【数６】

【０１３１】
このように、Ｎ枚の２次元画像を入力するようにすれば、入力される２次元画像が増えるので、より正確に統合モデルパラメータｃを求めることができ、物体を正確に認識することができる。
【０１３２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態における物体認識装置の概略構成を示すブロック図である。
【図２】３次元形状モデルの座標系を示す図である。
【図３】テクスチャ画像が表わされるｕ−ｖ平面を示す図である。
【図４】本実施の形態における物体認識装置１００のパラメータサーチ部３０の詳細な構成を示すブロック図である。
【図５】本実施の形態における物体認識装置１００のパラメータサーチ部３０で行われるパラメータサーチ処理の流れを示すフローチャートである。
【図６】パラメータサーチ処理を説明するための模式図である。
【図７】本実施の形態における物体認識装置１００の学習部２０の詳細な構成を示すブロック図である。
【図８】本実施の形態における物体認識装置１００の学習部２０で行なわれる残差算出処理の流れを示すフローチャートである。
【図９】残差算出処理の流れを説明するための模式図である。
【符号の説明】
１０統合モデル記憶部、１２３次元データ入力部、１４記憶部、１６統合モデル生成部、１８２次元画像入力部、２０学習部、３０パラメータサーチ部、２０１パラメータ生成部、２０２誤差ベクトル演算部、２０３３次元形状生成部、２０４テクスチャ画像生成部、２０５射影部、２０７逆正規化部、２０９正規化部、２１１テクスチャ比較部、２１３サンプルデータ記憶部、２１５修正マトリックス演算部、３０１パラメータ変換部、３０３テクスチャ画像生成部、３０５３次元形状モデル生成部、３０７射影部、３０９マップ部、３１１正規化部、３１３テクスチャ比較部。

Claims

モデルパラメータが与えられると３次元の形状と前記形状の位置ごとのテクスチャとを一意に定める３次元モデル表現手段と、
物体の２次元画像を入力するための入力手段と、
前記３次元モデル表現手段により所定のモデルパラメータで定められるモデル形状に前記入力された２次元画像を射影して射影テクスチャを生成するための射影手段と、
前記３次元モデル表現手段により前記所定のモデルパラメータで定められるモデルテクスチャと前記射影テクスチャとを比較するための比較手段と、
前記比較手段による比較に応じて、前記所定のモデルパラメータを変更する変更手段とを備えた、物体認識装置。
前記比較手段は、前記射影テクスチャと前記モデル形状とに基づき任意の方向からの光で表されるシェーディングテクスチャを生成する生成手段と、
前記射影テクスチャと前記シェーディングテクスチャとに基づき、前記射影テクスチャからシェーディングの影響を取除いた除去テクスチャに前記射影テクスチャを変換するための変換手段とを含み、
前記変換された除去テクスチャを前記モデルテクスチャと比較することを特徴とする、請求項１に記載の物体認識装置。
前記比較手段は、前記射影テクスチャと前記モデルテクスチャとの差分を求め、
前記変更手段は、前記差分が所定の値よりも小さくなるまで前記所定のパラメータを変更することを特徴とする、請求項１に記載の物体認識装置。
前記求められた差分と前記所定のパラメータの変更量との関係を学習するための学習手段をさらに備えた、請求項３に記載の物体認識装置。
前記比較手段は、前記モデルテクスチャと前記射影テクスチャとを同一平面に投影して比較することを特徴とする、請求項１に記載の物体認識装置。
前記射影テクスチャと前記モデルテクスチャとは、ベクトルで表され、
前記比較手段は、前記射影テクスチャのベクトルと前記モデルテクスチャのベクトルとの差分ベクトルの成分のうち、所定の値を超える成分を０にすることを特徴とする、請求項３に記載の物体認識装置。
前記モデル形状は、ポリゴンモデルであることを特徴とする、請求項１に記載の物体認識装置。
前記モデル形状は、複数の物体の３次元形状を主成分分析して得られる基底となる複数の３次元形状の線形和で表されることを特徴とする、請求項１に記載の物体認識装置。
前記モデルテクスチャは、複数の物体のテクスチャを主成分分析して得られる基底となる複数のテクスチャの線形和で表されることを特徴とする、請求項１に記載の物体認識装置。
前記射影手段は、前記モデル形状に前記２次元画像を正射影することを特徴とする、請求項１に記載の物体認識装置。
前記入力手段は、同一物体を含む複数の２次元画像を入力し、
前記射影手段は、前記複数の２次元画像ごとに前記モデル形状に射影して複数の射影テクスチャを生成し、
前記比較手段は、前記複数の射影テクスチャごとに前記モデルテクスチャと比較することを特徴とする、請求項１に記載の物体認識装置。
前記生成手段は、異なる３つの方向からの光で表される３つのシェーディングテクスチャを生成することを特徴とする、請求項２に記載の物体認識装置。