JP3823760B2

JP3823760B2 - ロボット装置

Info

Publication number: JP3823760B2
Application number: JP2001158402A
Authority: JP
Inventors: 晃井上
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-05-28
Filing date: 2001-05-28
Publication date: 2006-09-20
Anticipated expiration: 2019-01-29
Also published as: JP2002056388A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像中の人物を識別する技術に関し、特に、正面顔による人物識別技術、並びに人物を識別するロボット装置に関する。
【０００２】
【従来の技術】
顔の映像を用いて人物を識別する方式は、従来よりいくつか提案されている。最近の顔検出、識別技術の動向は、例えば文献（１）（赤松茂、“コンピュータによる顔の認識−サーベイ−”、電子情報通信学会論文誌、Vol.J80-D-II,No.8,pp.2031-2046,August 1997）に記載されている。一般に、顔識別システムは、画像中から顔を検出する処理と、顔パターンからの特徴抽出処理と、特徴量を辞書データと比較する人物識別処理と、を備えて構成されている。
【０００３】
顔画像の検出方式としては、文献（２）（小杉信、“個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II,No.4,pp.672-681,April 1994）に記載されているように濃淡パターンを用いたテンプレートマッチングを行うものや、文献（３）（M.Turk, A.Pentland, “Face Recognition on Using Eigenfaces”, Proceedings of IEEE,CVPR91）に記載されているような、顔画像の固有ベクトル投影距離方式が知られている。
【０００４】
また、例えば特開平９−２５１５３４号公報には、目、鼻、口といった造作を検出し、その位置関係から正面顔濃淡パターンを切り出す方法も提案されている。
【０００５】
顔検出の代表的な例として、M.Turkらによる固有ベクトル投影距離方式について説明する。
【０００６】
あらかじめ多くの正面顔データ（数百枚）を用意する。それらの画素値を特徴ベクトルとして、固有値と固有ベクトルを求める。固有値の大きい順にｐ個の固有ベクトルＶn(n=1,..p)を求める。
【０００７】
テスト画像ｔを固有ベクトルＶnに投影すると、ｐ個の投影値が得られる。これらの投影値と、固有ベクトルＶn から、テスト画像を再構成することにより、再構成テスト画像ｔ’が得られる。
【０００８】
もしもｔが顔パターンに近ければ、再構成テスト画像ｔ’も顔パターンに近い画像が得られる。そこで次式（１）で与えられる距離尺度Ｄｔによって、顔であるかどうかを判断する。
【０００９】

【００１０】
顔識別の特徴量としては、目、鼻、口といった顔造作の幾何学的特徴を用いるものと、大局的な濃淡パターンの照合によるものとの２種類があるが、シーン中の顔パターンは、顔の向きや表情が変化すると造作の位置関係も変化するため、近時、後者の大局的な濃淡パターンを用いる方法が現在主流となっている。
【００１１】
顔画像の識別、照合方法としては例えば、上記文献（２）（小杉信、“個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II,No.4,pp.672-681,April 1994）では、濃淡パターンを特徴ベクトルと考え、特徴ベクトル間の内積が大きいカテゴリを識別結果としている。また、上記文献（３）（M.Turk, A.Pentland, “Face Recognition on Using Eigenfaces”, Proceedings of IEEE,CVPR91）では、顔画像の固有ベクトルへの投影値を特徴ベクトルとし、それらのユークリッド距離の小さいカテゴリを識別結果としている。
【００１２】
また従来、画像認識機能を持ったロボット装置としては、例えば特願平１０−１５１５９１号に記載された装置がある。このロボット装置は、画像中から色情報を抽出し、色パターンに応じて動作を変化させることができる。しかしながら、人物を認識する機能手段は具備していない。
【００１３】
【発明が解決しようとする課題】
上記した従来のシステムは下記記載の問題点を有している。
【００１４】
第一の問題点は、家庭環境のように照明条件が一定でない環境では人物識別が出来ないということである。
【００１５】
その理由は、一般環境における顔の検出が困難であるためである。例えばテンプレートマッチング法は、画像中の顔パターンと辞書パターンとがほとんど濃度値でない限り、検出することは困難であり、照明方向が少しでもずれていたり、あるいは辞書の人物と異なる人物の場合には、ほとんど検出不可能である。一方、固有ベクトル投影距離方式は、テンプレートマッチングに比べると、検出性能は高いものの、照明方向が違っていたり、また複雑な背景を持つ画像では、同様に、検出は失敗する。
【００１６】
また、照明条件が一定でない環境で人物識別が出来ないもう一つの理由は、従来の特徴抽出方式と識別方式が、照明変動による特徴量の変動を吸収できないためである。
【００１７】
したがって、本発明は、上記問題点に鑑みてなされたものであって、その目的は、家庭環境のような一般環境において人物を識別できるロボット装置を提供することにある。
【００１８】
したがって、本発明の他の目的は、一般環境において安定して人物を識別できるロボット装置を提供することにある。
【００１９】
【課題を解決するための手段】
前記目的を達成する本発明に係るロボット装置は、人物識別装置として、画像を取得する映像取得手段と、画像中から人間の頭部を検出する頭部検出追跡手段と、検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、正面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞書を用いて特徴量から人物を識別する顔識別手段と、識別辞書を保存する識別辞書記憶手段とを備えたことを特徴とする。そして頭部検出追跡手段において、１枚の画像から頭部を検出する単眼視頭部矩形座標検出手段と、対面距離値と頭部矩形座標値とから頭部の誤検出を取り除く対面距離評価手段とを備え、ロボットの動作を制御する全体制御部と、全体制御部の指示で音声を発話するスピーカと、全体制御部の指示でロボットを移動する移動手段と、前方の物体との距離を測定する対面距離センサと、タッチセンサと、マイクと、音声認識手段とを備えたことを特徴とする。
【００２０】
本発明において、前記全体制御部は、人物識別結果が得られたときに、人物毎に異なる音声で発話するよう制御する。
【００２１】
本発明において、前記全体制御部が、前記人物識別装置から前方物体との対面距離と方向を取得する手段と、人物識別結果を取得する手段と、前記対面距離がしきい値以上の場合には、前記前方物体に近づくように移動する手段と、前記対面距離がしきい値以下のときは、人物識別結果を人物毎に異なる音声で発話するように制御する手段と、を備える。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
図１は、本発明に係るロボット装置で用いられる人物識別装置の一実施の形態の構成を示す図である。図１を参照すると、本発明の一実施の形態をなす人物識別装置１４は、映像取得手段２と、対面距離センサ５と、人物検出識別手段１と、人物検出識別管理部１３と、辞書データ管理部１２と、を備えている。映像取得手段２は、右カメラ３と左カメラ４とを備え、それぞれのカメラ映像情報を取得する。対面距離センサ５は、カメラの光軸と同じ方向に設置されており、映像中の物体との対面距離を計測する。対面距離センサ５の例として、超音波センサ、赤外線センサなどがある。人物検出識別管理部１３は、人物検出識別手段１に対する動作開始命令と動作終了命令の送信と、辞書データ管理部１２への特徴データ送信、辞書作成命令の送信を行なう。
【００２４】
本発明の一実施の形態において用いられるカメラとしては、例えばビデオカメラ、デジタルＣＣＤカメラ等を含み、動きのある情景を、静止画像の連続として出力することのできる撮影デバイスを総称している。
【００２５】
人物検出識別手段１は、頭部検出追跡手段６と、正面顔位置合わせ手段７と、顔特徴抽出手段８と、顔識別手段９と、識別辞書記憶手段１０と、識別結果補正手段１１とを備えている。
【００２６】
人物検出識別手段１は、人物検出識別管理部１３から動作開始命令を受けると、辞書データ管理部１２から識別辞書記憶手段１０に識別用辞書をロードした後、動作を開始する。
【００２７】
図１８は、本発明の一実施の形態における人物検出識別手段１の処理を説明するための流れ図である。図１及び図１８を参照して、人物検出識別手段１の動作を説明する。
【００２８】
はじめに、頭部検出追跡手段６は、映像取得手段２からの画像情報と、対面距離センサ５の読み取り値をもとに、現在のフレームにおける人物の頭部の数と、頭部矩形座標を出力する(ステップＳ１)。
【００２９】
次に、検出した頭部数を評価する（ステップＳ２）。検出した頭部数が０の場合には、次のフレームの映像を入力して頭部検出を行い、検出数が１以上になるまで、ステップＳ１は継続される。
【００３０】
頭部検出数が１以上の時、正面顔位置合わせ手段７に検出結果が送信される。正面顔位置合わせ手段７では、顔領域の探索処理を行い（ステップＳ３）、正面顔領域が見つかったかどうかを判断する（ステップＳ４）。
【００３１】
正面顔が見つかると、顔中心部の矩形画像である正面顔画像を出力する。ステップＳ３とステップＳ４の処理は、頭部の誤検出を排除し、さらに人物がカメラの正面を向いている映像のみを抽出して後段の処理に送る事を目的としている。正面顔を発見できなかったときは、再びステップＳ１から処理を行う。
【００３２】
正面顔を発見した時は、次に顔特徴抽出手段８において、正面顔画像を特徴量データに変換する（ステップＳ５）。
【００３３】
顔特徴抽出手段８の一例は、図８に示すように、正面顔画像を左から右へ１ライン毎にスキャンし、上から下へ１ライン終われば次のラインをスキャンして１次元データを生成し（「ラスタスキャン」という）、それを特徴データとして用いるものである。その他、１次微分フィルタや２次微分フィルタを用いてフィルタリングし、エッジ情報を抽出したものを、ラスタスキャンして特徴データとする方法を用いてもよい。
【００３４】
次に、顔識別手段９において、識別辞書記憶手段１０の辞書データを参照して顔識別処理を行う（ステップＳ６）。
【００３５】
次に、識別結果補正手段１１において、過去ｍフレーム分（ｍは２以上の整数）の識別結果との統合処理を行い（ステップＳ７）、その結果を、人物検出識別管理部１３に出力する（ステップＳ８）。
【００３６】
この時、頭部検出追跡手段６（ステップＳ１）において、複数の頭部矩形を検出し、それらを全て処理していない時は（ステップＳ９のＮｏ分岐）、もう一度正面顔位置合わせ手段７による（ステップＳ３）から処理を行なう。人物検出識別手段１は、人物識別管理部１３から終了指示を受けて終了する（ステップＳ１０）。終了指示があるまでは再びステップＳ１から処理を継続して行う。
【００３７】
図２は、図１の頭部検出追跡手段６の一実施例をなす頭部検出追跡手段２７の構成を示す図である。図２を参照すると、頭部検出追跡手段２７は、頭部検出手段２１と、頭部追跡手段２２と、頭部矩形座標記憶手段２３とを備えている。頭部検出手段２１は、頭部矩形座標検出手段２４と、左右画像照合手段２５と、対面距離統合手段３１と、対面距離評価手段２６とを備えている。
【００３８】
図１９は、頭部検出追跡手段２７の処理を説明するための流れ図である。図２及び図１９を参照して、本発明の一実施例をなす頭部検出追跡手段２７の動作を説明する。
【００３９】
右カメラの映像と左カメラの映像と、対面距離センサの読み取り値が頭部検出手段２１に入力される。頭部検出手段２１は、入力された情報から人物頭部の検出処理を行い、頭部矩形座標と頭部検出数を出力する（ステップＳ１０）。
【００４０】
頭部検出数が１以上の場合には、頭部検出数と頭部矩形座標を、頭部矩形座標記憶手段２３に保存した後に、出力する（ステップＳ１８）。
【００４１】
頭部検出数が０の場合には、頭部追跡手段２２において、前のフレームにおける頭部矩形情報を、頭部矩形記憶手段２３から取り出し、頭部追跡処理を行う（ステップＳ１９）。
【００４２】
頭部追跡に成功した場合には、追跡に成功した頭部数と頭部矩形座標を出力し、追跡に失敗した場合には検出数０を出力する（ステップＳ２０）。
【００４３】
次に、図１９のステップ１０の頭部検出手段２１の動作について詳細に説明する。頭部検出手段２１では、まず左右どちらか一方の映像を頭部矩形座標検出手段２４に入力し、仮頭部検出数と仮頭部矩形座標を得る（ステップＳ１１）。
【００４４】
図２に示した頭部矩形座標検出手段２４では右カメラ映像を用いている。次に、左右画像照合手段２５において、得られた頭部矩形座標と左右カメラの映像を用いて、ステレオ視の原理をもとに対面距離値を算出する（図１９のステップＳ１２）。
【００４５】
図６を参照して、図２の左右画像照合手段２５の動作を説明する。右カメラ画像において検出された頭部矩形を、頭部検出矩形５１とする。そして頭部検出矩形５１内の画像データを用いて、左カメラ画像の同じ検出座標位置の近傍を探索する。探索方法の一例はテンプレートマッチングである。右カメラ画像の濃淡値をＦＲ(x,y)、左カメラ画像の濃淡値をＦＬ(x,y)、矩形の横サイズをＴｗ、縦サイズをＴｈとすると、テンプレートの左上始点位置が、左カメラ画像の(sx,sy) にある時のマッチング距離Ｄtmは、次式（２）で表される。
【００４６】

【００４７】
上式（２）は、右カメラと左カメラの部分画像間のユークリッド距離を表している。Ｄtmが最も小さい時の左カメラ画像上の座標を、探索結果５２とする。探索結果５２が求まると、次に左右の矩形座標値を比較し、人物頭部への距離を算出する。
【００４８】
図３２を参照して、対象物への距離算出方法の一例を示す。図３２は、左右のカメラを使って、ある一つの対象物体４０３を撮影している状況を、上から見た図である。右カメラ４０１と左カメラ４０２が、間隔Ｃを空けて平行に設置されている。カメラの画角はθで左右共に同じとする。カメラの撮像面の横方向の長さをｅとする。この状態で、右カメラ画像には、対象物４０３が座標Ｘｒに写っており、左カメラ画像には座標Ｘｌに写っている。なお画像の最大横サイズはＷ画素である。この時、カメラ撮像面から、対称物４０３までの対面距離Ｚは、次式（３）で算出することができる。

【００４９】
ここで、ｅは通常１ｃｍ未満の小さい値であることから、０として近似計算することもできる。以上のようにして、左右カメラ画像から対面距離を算出する。
【００５０】
そして、左右画像照合手段２５において、ステレオ視によって対面距離を算出した後、対面距離統合手段３１において、対面距離センサ３０の出力値をもとに、対面距離の統合処理を行う（図１９のステップＳ１３）。実験的に、超音波センサ等の距離センサは、距離が１ｍ未満の場合には非常に精度が高い。一方、１ｍ以上の遠い距離では誤差が大きくなる傾向にある。
【００５１】
ステレオ視により算出された距離値は、カメラの画角にもよるが概ね３ｍ程度まで有効であるが、距離が近すぎると、かえって誤差が大きくなる傾向にある。そこで、両者の距離値を統合する方法として、対面距離センサ３０の出力があるしきい値Ｔよりも小さい場合には、対面距離センサの値を採用し、しきい値Ｔよりも大きい場合にはステレオ視による距離値を採用するという方法が用いられる。
【００５２】
対面距離を統合した後、対面距離評価手段２６において、対面距離値と画像中の頭部矩形座標値から、頭部の実際のサイズを算出する（図１９のステップＳ１４）。
【００５３】
算出結果が、人間の頭の大きさにほぼ一致すれば、本当に頭部を検出したと判定する。算出結果が実際の頭のサイズから著しくかけ離れる場合には、誤検出であると判断する（図１９ステップＳ１５）。例えば、頭部の横サイズが１２ｃｍプラスマイナス２ｃｍ以内で、かつ縦サイズが２０ｃｍプラスマイナス４ｃｍ以内の場合は頭部と見做し、それ以外の場合は頭部ではない、と判断する。
【００５４】
実際のサイズに合っている場合には、検出数を１増やす（図１９ステップＳ１６）。
【００５５】
評価していない仮頭部矩形座標が残っている時は（図１９のステップＳ１７のＮｏ分岐）、再びステップＳ１２から処理を行う。頭部検出手段２１は仮頭部矩形座標を全て評価し終わった時点で（図１９のステップＳ１９のＹｅｓ分岐）、頭部検出数と頭部矩形座標を出力する。
【００５６】
次に、図２に示した頭部矩形座標検出手段２４について説明する。図４は、頭部矩形座標検出手段２４の一実施例をなす頭部矩形座標検出手段４１の構成を示す図である。図４を参照すると、頭部矩形座標検出手段４１は、動き画素検出手段４２と、ノイズ除去手段４７と、人物数評価手段４３と、頭頂座標検出手段４４と、頭部下部座標検出手段４５と、側頭座標検出手段４６とを備えている。
【００５７】
図２０は、頭部矩形座標検出手段４１の処理を説明するための流れ図である。図２０、図４、及び図５を参照して、頭部矩形座標検出手段４１の動作について説明する。
【００５８】
まず動き画素検出手段４２において、画面内で動きのある画素群を検出する。入力画像データと、それより１つ前に入力された画像データとの差分をとり、差分画像ｇを生成する（ステップＳ２１）。
【００５９】
さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像ｇを加算し平均をとる事によって、統合差分画像Ｇを得る（ステップＳ２２）。統合差分画像Ｇは、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。
【００６０】
統合差分画像Ｇは、ごま塩ノイズを多く含むので、ノイズ除去手段４７において、ノイズ除去処理を行う（ステップＳ２３）。ノイズ除去処理の例としては、膨張収縮処理や、メジアンフィルタ処理などがある。これらのノイズ除去処理は、画像処理の分野で一般的であり、当業者にとってよく知られている処理が用いられるので、その詳細な構成は省略する。
【００６１】
次に、図４の人物数評価手段４３において、画面内に何人の人間がいるのかを評価する。人物数評価手段４３の動作について説明する。図５は、統合差分画像Ｇの取得の例を説明するための図である。
【００６２】
はじめに、人物１人だけを検出する方法について説明する。統合差分画像Ｇ４８が得られたとすると、まず動き領域があるかどうかを判定する（図２０のステップＳ２４）。ここで動き領域とは、動きのある画素が占める領域を表わす。この動き領域がない、すなわち統合差分画像Ｇが全て０の場合には、人物数は０と判定する。それ以外の場合人物数は１とする。
【００６３】
次に、複数人物を検出する方法について説明する。統合差分画像Ｇ４９が得られたとすると、まず動き領域の有無を調べる（図２０のステップＳ２４）。動き領域がない場合は人物数０である。動き領域がある場合、統合差分画像Ｇを参照して、何人いるのかを判定する（図２０のステップＳ２５）。判定方法としては、例えば統合差分画像上部領域５０における動き領域幅の最大値が、あるしきい値よりも小さいときは１人、大きいときは２人、とする方法がある。人物数が２人のときは、人物が横に並んでいると仮定し、統合差分領域Ｇを、部分領域１と部分領域２に分割する。なお３人以上検出の場合も、分割数を増やすことで対応できる。頭部矩形を求める際には、部分領域１と部分領域２のそれぞれに対して、以下に述べる同じ処理（図２０のステップＳ２６からステップＳ２９まで）を繰り返せばよい。
【００６４】
次に、統合差分画像Ｇから頭部矩形座標を求める処理について説明する。各スキャンライン毎に動き領域幅４７を求める（図２０のステップＳ２６）。
【００６５】
動き領域幅４７は、各スキャンラインにおいて動き領域のｘ座標最大値と最小値の差分を表している。
【００６６】
次に頭頂座標検出手段４４によって頭頂のＹ座標を求める（図２０のステップＳ２７）。頭頂座標の求め方としては、動き領域のＹ座標の最小値を頭頂とする方法がある。
【００６７】
次に、頭部下部座標検出手段４５によって、頭部矩形の底辺のＹ座標を求める（図２０のステップＳ２８）。頭部矩形の底辺座標を求め方としては、頭頂から下方向（Ｙ方向）に探索し、動き領域幅４７が動き領域幅の平均値ｄｍよりも小さいラインを求め、そのラインの中でＹ座標が最も大きいところを、頭部矩形の底辺とする方法を用いてもよい。
【００６８】
次に側頭座標検出手段４６によって、頭部矩形の左右のｘ座標を求める（図２０のステップＳ２９）。左右のｘ座標の求め方としては、頭頂から頭部下部までの範囲で最も動き領域幅４７が大きなラインにおける動き領域の左右端の座標を求める方法を用いてもよい。
【００６９】
人物数が２つ以上の場合には、図２０のステップＳ２６からステップＳ２９までの処理を部分領域毎に繰り返す。
【００７０】
次に、図２の頭部追跡手段２２の動作について、図７を参照して説明する。追跡処理は、頭部矩形座標検出に用いたカメラ画像（図２では右カメラ画像）に対して行なう。まず前フレームの頭部矩形座標５３と前フレームの頭部矩形画像５５を、頭部矩形記憶手段２３から読み出す。
【００７１】
次に、現フレームにおいて、前フレームの頭部矩形座標５３の近傍領域をテンプレートマッチングによって探索し、最も距離値の小さい所を追跡結果とする。
【００７２】
図３は、図１の頭部検出追跡手段６の他の実施例をなす頭部検出追跡手段３２の構成を示す図である。図３を参照すると、この頭部検出追跡手段３２は、頭部検出手段３３と、頭部矩形記憶手段２３と、頭部追跡手段２２とを備えている。図２に示した実施例との相違点としては、頭部検出手段３３が、頭部矩形座標検出手段２４と、対面距離評価手段２６とを持ち、単眼のカメラ３４と対面距離センサ３０の出力を用いて検出を行なっていることである。すなわち、左右のステレオ視による対面距離は考慮せず、対面距離センサの読み取り値のみを用いて頭部矩形の評価を行なうものである。
【００７３】
また、頭部検出追跡手段６のその他の実施例として、対面距離センサを用いずに、左右カメラのみの情報から対面距離を求め、頭部矩形を評価するという構成の頭部検出手段を用いてもよい。この構成の場合、頭部検出手段２１において、図２の対面距離統合手段３１を除いた構成となる。
【００７４】
図９は、図１の正面顔位置合わせ手段７の一実施例をなす正面顔位置合わせ手段６１の構成を示す図である。図９を参照すると、正面顔位置合わせ手段６１は、頭部矩形切り取り手段６２と、正面顔探索手段６３と、正面顔らしさ判定手段６５とを備えて構成されている。
【００７５】
正面顔らしさ判定手段６５は、濃度分散判定手段６６と、しきい値処理手段６７とを備えている。
【００７６】
図２１は、正面顔位置合わせ手段６１の処理を説明するための流れ図である。図９及び図２１を参照して、正面顔位置合わせ手段６１の動作について説明する。正面顔位置合わせ手段６１は、画像データと頭部矩形座標と対面距離が入力されると、正面顔有無フラグと正面顔画像データを出力する。入力された画像データは、頭部矩形切り取り手段６２において、頭部矩形による部分画像に切り取られる（ステップＳ４１）。この部分画像を「頭部矩形画像」と呼ぶ。
【００７７】
次に正面顔探索手段６３において、頭部矩形画像の中から、正面顔領域を探索し、正面顔画像と標準顔辞書とのパターン間距離又は類似度を出力する（ステップＳ４２）。
【００７８】
次に、正面顔らしさ判定手段６５において、正面顔画像が本当に正面顔であるかどうかを判断する（ステップＳ４３）。ここで正面顔であると判断されれば、正面顔有無フラグは「有り」となり、正面顔画像を出力する。正面顔ではないと判断すれば、正面顔有無フラグは「無し」となり、正面顔画像は出力しない。
【００７９】
正面顔らしさ判定手段６５は、濃度分散判定手段６６と、しきい値処理手段６７とを備えている。
【００８０】
濃度分散判定手段６６は、正面顔画像データの濃淡値の分散を求め、あるしきい値以下の場合には、正面顔ではないと判断する（図２１のステップＳ４４）。
【００８１】
濃度分散判定手段６６により、単調な壁のようなパターンを排除することができる。
【００８２】
しきい値手段６７は、パターン間距離又は類似度をしきい値処理することによって正面顔らしさを判断する（図２１のステップＳ４５）。
【００８３】
パターン間距離値の場合には、しきい値以上のときに正面顔ではないと判断する。類似度の場合は、しきい値以下のときに、正面顔でないと判断する。
【００８４】
図１２は、正面顔位置合わせ手段６１の動作を模式的に示す説明図である。頭部矩形１５１が検出されているとすると、図２１のステップＳ４１によって、頭部矩形画像１５２が生成される。
【００８５】
次に図２１のステップＳ４２の顔中心部探索処理では、縮小頭部矩形画像１５３が生成された後に正面顔画像１５５が得られる。
【００８６】
なお、正面顔画像とは、図１２の正面顔画像１５５に示すような、顔の中心部分の画像であり、横方向は、両目を完全に含む程度で、縦方向は、眉毛から口全体を含む程度の領域の画像を意味する。
【００８７】
図１０は、正面顔探索手段６３の一実施例をなす正面顔探索手段７１の構成を示す図である。図１０を参照すると、この正面顔探索手段７１は、頭部矩形画像記憶手段８９と、頭部中間サイズ算出手段８８と、画像縮小手段９０と、中間サイズ記憶手段９１と、正面顔候補抽出手段７２と、中間縮小画像記憶手段７３と、コントラスト補正手段７４と、固有ベクトル投影距離算出手段７５と、標準顔辞書記憶手段７６と、記憶手段７７と、投影距離最小判定手段７８と、探索範囲終了判定手段７９と、多重解像度処理終了判定手段９２とを備えて構成されている。
【００８８】
固有ベクトル投影距離算出手段７５は、平均差分手段８２と、ベクトル投影値算出手段８３と、再構成演算手段８４と、投影距離計算手段８５とを備えて構成されている。
【００８９】
標準顔辞書記憶手段７６は、標準顔平均データ記憶手段８０と、標準顔固有ベクトルデータ記憶手段８１とを備えて構成されている。
【００９０】
記憶手段７７は、投影距離最小値記憶手段８６と、正面顔濃淡値記憶手段８７とを備えて構成されている。
【００９１】
図２２は、正面顔探索手段７１の処理を説明するための流れ図である。図１０及び図２２を参照して、正面顔探索手段７１の動作について説明する。頭部矩形画像データは、頭部矩形画像記憶手段８９に保持されている。はじめに頭部中間サイズ算出手段８８において、対面距離値と標準顔辞書データのサイズを参照して、頭部矩形画像の中間縮小サイズを計算する（ステップＳ１０１）。
【００９２】
頭部中間サイズ算出手段８８の処理例について説明する。中間縮小サイズは、図１２の縮小頭部矩形画像１５３の縦横サイズとして示されている。頭部矩形画像１５２の横サイズをＨｗ、縦サイズをＨｈとする。中間縮小サイズの横サイズをＭｗ、縦サイズをＭｈとする。また正面顔画像の横サイズをＦｗ、縦サイズをＦｈとする。Ｆｗ，Ｆｈは正面顔探索形状１５４の縦横サイズと同一であり、標準顔辞書に対して一意に決定される。なお、Ｈｈ，Ｈｗ，Ｍｈ，Ｍｗ、Ｆｈ，Ｆｗはすべて画素単位のピクセルサイズである。
【００９３】
標準顔辞書は、図１２の正面顔画像１５５に示す正面顔領域の濃淡値を特徴値として生成されたパターン認識用の辞書である。正面顔領域とは、横方向は両目を完全に含む程度で、縦方向は眉毛から口全体を含む程度の領域を意味する。正面顔領域は必ずしも矩形である必要はなく、楕円形など、両目、鼻、口を含む任意の連続領域で実現可能である。ただし、形状が矩形であれば処理が単純化されて高速化することができるので、実装形態として有効である。よって、以下では、正面顔領域を矩形であるものとして説明する。
【００９４】
正面顔領域の実際の縦横サイズを、ＲＦｈ、ＲＦｗとすると、男性の大人であれば、大体ＲＦｗ＝１０ｃｍ、ＲＦｈ＝１５ｃｍ程度で表わすことができる。一方、頭部矩形画像の実際の縦横サイズＲＨｈ、ＲＨｗは、対面距離Ｚが既知であるため、次式（４）によって、計算することができる。なお次式（４）の変数は、図３２に対応している。
【００９５】

【００９６】
撮像面の幅ｅは小さいので通常は無視して計算しても問題ない。
【００９７】
標準顔辞書を用いて頭部矩形画像を探索するためには、頭部矩形画像を標準顔辞書と同じ解像度に変換する必要がある。その変換後のサイズが中間縮小サイズＭｗ、Ｍｈである。Ｍｈ、Ｍｗは、次式（５）の関係式から求めることができる。
【００９８】

【００９９】
すなわち、頭部中間サイズ算出手段８８において、ＲＦｗ、ＲＦｈを１組指定することによって中間縮小サイズＭｗ、Ｍｈを１組算出することができる。しかし人間の正面顔の大きさは大人から子供、女性と男性で異なっている。そこで、ＲＦｗ、ＲＦｈを複数組用意し、それぞれに対応する中間縮小サイズを算出することも可能となっている。あらかじめ複数算出することにより、後段の正面顔探索処理を複数の中間縮小サイズで処理することができる。また複数の中間縮小サイズで探索処理することは、頭部矩形を複数の解像度で探索処理する行為と同じであると解釈できる。
【０１００】
頭部中間サイズ算出手段８８によって中間サイズが算出されると、中間サイズ記憶手段９１に中間サイズの情報が記憶される。
【０１０１】
次に最小パターン間距離値 Dmin を、通常得られるパターン間距離値に比べ十分大きな値に初期化する（図２２のステップＳ１０２）。
【０１０２】
中間縮小サイズ記憶手段９１の情報を１つ選択し、画像縮小手段９０において、頭部矩形画像を選択した中間縮小サイズに縮小し、縮小頭部矩形画像を得る（図２２のステップＳ１０３）。
【０１０３】
次に正面顔探索位置ＳＸ，ＳＹを０に初期化する（図２２のステップＳ１０４）。
【０１０４】
次に正面顔候補抽出手段７２において、探索位置ＳＸ，ＳＹにおける正面顔候補画像を抽出する（図２２のステップＳ１０５）。
【０１０５】
次に正面顔候補画像を明暗の調子を補正するため、コントラスト補正手段７４によってコントラストを補正する（図２２のステップＳ１０６）。
【０１０６】
コントラスト補正の具体的な方法の例について説明する。正面顔候補画像が、０からｖmaxまでの値をとるものとし、画素値の平均をμ、標準偏差をσとすると、元画像Ｖからコントラスト補正画像Ｖ’への変換式は、次式（６）で表わすことができる。
【０１０７】

【０１０８】
再び図１０及び図２２を参照すると、次に、固有ベクトル投影距離算出手段７５において、正面顔候補画像と標準顔パターンとの固有ベクトル投影距離Dを求める（ステップＳ１０７）。
【０１０９】
次に、投影距離最小判定手段７８において、DとDminとを比較する。このときDがDminよりも小さい値であれば、DminにDを代入して値を更新し、投影距離最小値記憶手段８６に記憶する。同時に正面顔候補画像を、正面顔濃淡値記憶手段８７に記憶する（ステップＳ１０８）。
【０１１０】
次に、探索範囲終了判定手段７９において、探索位置ＳＸ、ＳＹをインクリメントし（ステップＳ１０９）、頭部矩形を全て探索し終わったかどうかを判断する（ステップＳ１１０）。まだ探索し終わっていないときは、再びステップ１０５より処理を繰り返す。
【０１１１】
頭部矩形の探索範囲を全て探索し終わったら、多重解像度処理終了判定手段９２において、すべての中間縮小サイズで探索したか否かを判断する（ステップＳ１１１）。もし、探索していない中間縮小サイズがあれば、異なる中間縮小サイズを用いて再びステップＳ１０３から処理を開始する。すべての中間縮小サイズで探索が終了した時点で正面顔探索手段７１は終了する。
【０１１２】
次に、図１０の固有ベクトル投影距離算出手段７５の動作について説明する。
【０１１３】
標準顔辞書記憶手段７６には、標準顔平均データと、標準顔固有ベクトルデータが記憶されている。
【０１１４】
図３３に、特徴量の数がｐ個の時の、固有ベクトル投影距離算出用辞書の一例を示す。固有ベクトル投影距離算出用辞書は、１からｐ番めまでのｐ次元の固有ベクトルデータＥと、ｐ個の特徴量の平均値Ａveとからなる。特徴量がｐ個のとき、固有ベクトルはｐ番めまで存在するが、投影距離算出時には１からｍ番めまでを使用する。
【０１１５】
正面顔候補画像の画素値を、図８に示すようにラスタスキャンし、１次元の特徴データに変換する。このとき正面顔画像の縦横サイズの積Ｆｗ×Ｆｈは、辞書の特徴量と同じｐ個でなければならない。これをベクトルＸ：Ｘ１、Ｘ２，．．．Ｘｐとする。
【０１１６】
まず平均差分手段８２において、ベクトルＸから平均ベクトルＡveを差分する。これをベクトルＹとする。
【０１１７】

【０１１８】
次にベクトル投影値算出手段８３において、ベクトルＹをｍ個の固有ベクトルに投影し、その投影値Ｒ１．．Ｒｍを求める。投影値算出方法を、次式（８）に示す。
【０１１９】

【０１２０】
次に、再構成演算手段８４（図１０参照）において、投影値Ｒ１．．．Ｒｍと、ｍ個の固有ベクトルとを用いて元の特徴量Ｙを再構成し、その再構成ベクトルをＹ’とする。再構成の計算を次式（９）に示す。
【０１２１】

【０１２２】
次に、投影距離計算手段８５において、次式（１０）に従い、ＹとＹ‘とのユークリッド距離値を求める。これによって、固有ベクトルＥへの投影距離Ｄが算出される。
【０１２３】

【０１２４】
図１１は、図９の正面顔探索手段６３の他の実施例をなす正面顔探索手段１０１の構成を示す図である。図１１を参照すると、この正面顔探索手段１０１は、頭部矩形画像記憶手段８９と、頭部中間サイズ算出手段８８と、画像縮小手段９０と、中間サイズ記憶手段９１と、正面顔候補抽出手段７２と、中間縮小画像記憶手段７３と、コントラスト補正手段７４と、積和演算手段１０２と、標準顔辞書データ記憶手段１０４と、記憶手段１０５と、類似度最大判定手段１０３と、探索範囲終了判定手段７９と、多重解像度処理終了判定手段９２とを備えて構成されている。
【０１２５】
記憶手段１０５は、類似度最大値記憶手段１０６と、正面顔濃淡値記憶手段１０７とを備えている。
【０１２６】
図２３は、正面顔探索手段１０１の処理を説明するための流れ図である。図１１及び図２３を参照して、正面顔探索手段１０１の動作について説明する。頭部矩形画像データは、頭部矩形画像記憶手段８９に保持されている。はじめに頭部中間サイズ算出手段８８において、対面距離値と標準顔辞書データのサイズを参照して、頭部矩形画像の中間縮小サイズを計算し、中間サイズ記憶手段９１に記憶する（ステップＳ１２１）。
【０１２７】
中間縮小サイズの計算方法は正面顔探索手段７１と同一である。次に最大類似度Smaxを０に初期化する（ステップＳ１２２）。
【０１２８】
中間サイズ記憶手段９１の情報を１つ選択し、画像縮小手段９０において、頭部矩形画像を選択した中間縮小サイズに縮小し、縮小頭部矩形画像を得る（ステップＳ１２３）。
【０１２９】
次に正面顔探索位置ＳＸ、ＳＹを０に初期化する（ステップＳ１２４）。
【０１３０】
次に正面顔候補抽出手段７２において、探索位置ＳＸ、ＳＹにおける正面顔候補画像を抽出する（ステップＳ１２５）。
【０１３１】
次に正面顔候補画像を明暗の調子を補正するため、コントラスト補正手段７４によってコントラストを補正する（ステップＳ１２６）。
【０１３２】
次に積和演算手段１０２において、正面顔候補画像と標準顔パターンとの類似度Ｓを求める（ステップＳ１２７）。
【０１３３】
次に類似度最大値判定手段１０３において、ＳとＳmaxとを比較する。このときＳがＳmaxよりも大きい値であれば、ＳmaxにＳを代入して値を更新し、類似度最大値記憶手段１０６に記憶する。同時に正面顔候補画像を正面顔濃淡値記憶手段１０７に記憶する（ステップＳ１２８）。
【０１３４】
次に探索範囲終了判定手段７９において、探索位置ＳＸ、ＳＹをインクリメントし（ステップＳ１２９）、頭部矩形を全て探索し終わったかどうかを判断する（ステップＳ１３０）。まだ探索し終わっていないときは、再びステップ１２５より処理を繰り返す。
【０１３５】
頭部矩形の探索範囲を全て探索し終わったら、多重解像度処理終了判定手段９２において、すべての中間縮小サイズで探索したかどうかを判断する。もし探索していない中間縮小サイズがあれば、異なる中間縮小サイズを用いて再びステップＳ１２３から処理を開始する。
【０１３６】
すべての中間縮小サイズで探索が終了した時点で正面顔探索手段１０１は終了する。
【０１３７】
次に、図１１に示した、標準顔パターンとの類似度を算出する積和演算手段１０２の動作について説明する。
【０１３８】
積和演算手段１０２は、正面顔かそれ以外かを判別する線形判別辞書を参照して類似度Ｓを算出する。図３４に、線形判別辞書の一例を示す。図３４には、ｑ個のクラスを判別する辞書が示されているが、標準顔辞書データ記憶手段１０４は、正面顔とそれ以外の２つのクラスを判別する辞書であり、ｑ＝２の場合に相当する。
【０１３９】
正面顔候補画像の画素値を、図８に示すようにラスタスキャンし、１次元の特徴データに変換する。このとき正面顔画像の縦横サイズの積Ｆｗ×Ｆｈは、辞書の特徴量と同じｐ個でなければならない。これをベクトルＸ：Ｘ１、Ｘ２，．．．Ｘｐとする。
【０１４０】
また標準顔辞書データとして、ｑ＝１のクラスが正面顔を、ｑ＝２のクラスがそれ以外を表わすものとして説明する。正面顔との類似度は、図３４のｑ＝１の行、すなわちクラス１の識別係数４２２のみを用いて、次式（１１）によって計算することができる。
【０１４１】

【０１４２】
積和演算手段１０２は、上式（１１）を演算することによって、類似度を算出する。
【０１４３】
図１３には、図１の顔識別手段９の一実施例をなす顔識別手段１１１と、図１の識別辞書記憶手段１０の一実施例をなす識別辞書記憶手段１１２と、図１の識別結果補正手段１１の一実施例をなす識別結果補正手段１１３とが示されている。図１３を参照すると、顔識別手段１１１は、特徴データ記憶手段１１５と、積和演算手段１１６と、最大類似度人物判定手段１１８と、しきい値処理手段１１７とを備えて構成されている。識別辞書記憶手段１１２は、登録人物識別用辞書記憶手段１１９を有する。識別結果補正手段１１３は、識別結果加重平均算出手段１１４を有する。
【０１４４】
図２４は、顔識別手段１１１と識別結果補正手段１１３の処理を説明するための流れ図である。図１３及び図２４を参照して、顔識別手段１１１と識別結果補正手段１１３の動作について説明する。
【０１４５】
特徴データが入力され、特徴データ記憶手段１１５に記憶される（ステップＳ５１）。
【０１４６】
次に、登録人物識別用辞書記憶手段１１９のデータを参照し、積和演算手段１１６において、登録された人物への類似度を、人物毎にそれぞれ算出する（ステップＳ５４）。
【０１４７】
類似度の算出方法は、標準顔パターンとの類似度を算出する積和演算手段１０２の動作と基本的に同じである。ただし、識別するクラス数は登録されている人物数となる。
【０１４８】
辞書としてｑ人分のデータが登録されている場合には、登録人物識別用辞書記憶手段１１９には、図３４に示す線形判別辞書と同じ数のデータが保持されることになる。そして積和演算手段１１６により、次式（１２）に示すように、ｑ個の類似度Ｓｉ：（ｉ＝１，．．．ｑ）が得られる。
【０１４９】

【０１５０】
このように、図３４に示す線形判別辞書による積和演算処理で求められた類似度の大きさによってパターンを識別する方法を、「線形判別辞書による類似度識別」と呼ぶ。
【０１５１】
再び図１３及び図２４を参照すると、次に、最大類似度人物判定手段１１８において、算出されたｑ個の類似度の中で最大値を求め、それに対応する人物を求める（ステップＳ５５）。すなわち、特徴データと最も似ていると判断される人物を求める。この時の類似度を「最大類似度」と呼ぶ。
【０１５２】
次に、しきい値処理手段１１７において、最大類似度をあらかじめ定められたしきい値と比較する（ステップＳ５６）。
【０１５３】
顔識別手段１１１は、最大類似度がしきい値よりも高いときは、確かに人物を識別したと判断し、そのＩＤ番号と最大類似度を出力する。最大類似度がしきい値よりも低いときは、登録されている人物（本人）ではない他人である可能性が高いので、「他人」という情報を出力する。
【０１５４】
識別結果補正手段１１３は、識別結果を受け取った後、識別結果加重平均算出手段１１４によって、過去Ｎフレームにおける識別結果を統合する（ステップＳ５７）。識別結果加重平均算出手段１１４の動作の例として、過去Ｎフレームにおける識別人物ＩＤと類似度、あるいは他人判定結果を、以下のように加重平均する方法がある。
【０１５５】
ステップＡ１：過去Ｎフレームの中で、一定割合のフレーム数が「他人」の時は、「他人」とする。他人でないと判定された場合にはステップＡ２へ進む。
【０１５６】
ステップＡ２：過去Nフレームの中で、人物ｉという判定がＮｉフレームあるものとする（ｉ＝１．．．ｑ）。それぞれの人物の類似度加重平均値を次式（１３）で算出する。Ｓｉは人物ｉの類似度を表し、ＳＳｉは人物ｉの類似度加重平均値を表す。ＳＳｉの最も大きい人物ＩＤを、識別結果として出力する。
【０１５７】

【０１５８】
識別結果補正手段１１３は、上記のようにして統合された識別結果を出力する。
【０１５９】
図１５は、図１の顔識別手段９の他の実施例をなす顔識別手段１３１の構成、図１の識別辞書記憶手段１０の他の実施例をなす識別辞書記憶手段１３２の構成を示す図である。図１５を参照すると、顔識別手段１３１は、特徴データ記憶手段１１５と、固有ベクトル他人判別手段１３３と、積和演算手段１１６と、最大類似度人物判定手段１１８と、しきい値処理手段１１７とを備えている。
【０１６０】
識別辞書記憶手段１３２は、他人判別用辞書記憶手段１３４と、登録人物識別用辞書記憶手段１１９とを備えている。
【０１６１】
図２４は、顔識別手段１３１の処理を説明するための流れ図である。図１５及び図２４を参照して、顔識別手段１３１の動作について説明する。特徴データが入力され、特徴データ記憶手段１１５に記憶される（ステップＳ５１）。
【０１６２】
次に、他人判別用辞書記憶手段１３４のデータを参照しながら、固有ベクトル他人判別手段１３３によって、登録されている人物群とのパターン間距離Ｄｈを求め（ステップＳ５２）、パターン間距離Ｄｈがしきい値よりも大きければ他人であると判定する（ステップＳ５３）。パターン間距離Ｄｈは固有ベクトル投影距離として算出する。すなわち、他人判別用辞書記憶手段には、登録されている全員の特徴データによって作成された固有ベクトル辞書が記憶されている。
【０１６３】
固有ベクトル辞書の例は図３３に示されており、また固有ベクトル投影距離の算出方法は、固有ベクトル投影距離算出手段７５の動作の説明において述べられている。
【０１６４】
入力された特徴データが、固有ベクトル他人判別手段１３３において他人と判断されれば、顔識別手段１３１は、積和演算手段１１６を経ることなく、直ちに「他人」を出力する。
【０１６５】
固有ベクトル他人判定手段１３３において「他人」と判定されなかった場合には、次に、登録人物識別用辞書記憶手段１１９のデータを参照し、積和演算手段１１６において、登録された人物への類似度を、人物毎にそれぞれ算出する（ステップＳ５４）。ｑ人の人物が登録されていればｑ個の類似度Ｓｉ：（ｉ＝１，．．．ｑ）を算出する。
【０１６６】
次に、最大類似度人物判定手段１１８において、算出されたｑ個の類似度の中で最大値を求め、それに対応する人物を求める（ステップＳ５５）。すなわち、特徴データと最も似ていると判断される人物を求める。この時の類似度を最大類似度と呼ぶ。次にしきい値処理手段１１７において、最大類似度をあらかじめ定められたしきい値と比較する（ステップＳ５６）。
【０１６７】
顔識別手段１３１は、最大類似度がしきい値よりも高いときは、確かに人物を識別したと判断し、そのＩＤ番号と最大類似度を出力する。最大類似度がしきい値よりも低いときは、登録されている人物ではない他人である可能性が高いので、「他人」という情報を出力する。
【０１６８】
図１４は、図１の辞書データ管理部１２の一実施例をなす辞書データ管理部１２１の構成を示す図である。図１４を参照すると、辞書データ管理部１２１は、個人特徴データ記憶手段１２２と、識別辞書生成手段１２３と、セレクタ１２４とを備えて構成されている。
【０１６９】
識別辞書生成手段１２３は、線形判別辞書作成手段１２６と固有ベクトル辞書作成手段１２７とを備えて構成されている。個人特徴データ記憶手段１２２内には、人物別特徴データ領域１２５が、登録された人数分存在する。
【０１７０】
辞書データ管理部１２１は、特徴データと人物ＩＤ番号とが入力されると、セレクタ１２４によって人物ＩＤ毎に振り分けられ、個人特徴データ記憶手段１２２内の人物ＩＤ番号に対応する領域に入力特徴データを記憶する。また、新しい人物ＩＤの追加命令があれば、個人特徴データ記憶手段１２２内に、新しい人物別特徴データ領域１２５を確保し、新しい人物ＩＤ番号を割り当てる。また、既存の人物ＩＤの削除命令があれば、個人特徴データ記憶手段１２２内の該当するＩＤの人物別特徴データ領域１２５を破棄する。
【０１７１】
また辞書データ管理部１２１は、識別辞書作成命令を受けると、識別辞書生成手段１２３は、個人特徴データ記憶手段１２２のデータを用いて、線形判別辞書である登録人物識別用識別辞書と固有ベクトル辞書である他人判別用辞書を生成する。登録人物識別用識別辞書は、線形判別辞書作成手段１２６において作成される。他人判別用辞書は、固有ベクトル辞書作成手段１２７で作成される。
【０１７２】
なお、図１の顔識別手段９が、図１３に示した顔識別手段１１１の構成を持つ場合は、他人判別用辞書は不要であるため、識別辞書生成手段１２３は固有ベクトル辞書作成手段１２７を持たない構成としてもよい。
【０１７３】
図２５は、図１の辞書データ管理部１２への登録処理を説明するための流れ図である。図１、図１４及び図２５を参照して、辞書データ管理部１２１がカメラの前にいる新しい人物を登録する時の動作について説明する。
【０１７４】
人物検出識別管理部１３は、新しい人物ＩＤを指定して、辞書管理部１２１に新しい人物の登録を指示する（ステップＳ６１）。
【０１７５】
辞書データ管理部１２１は、個人特徴データ記憶手段１２２内に、指定されたＩＤに対応する人物別特徴データ領域１２５を確保する（ステップＳ６２）。
【０１７６】
人物検出識別管理部１３は、人物検出識別手段１内の顔特徴抽出手段８から指定枚数分の特徴データを取得し、辞書データ管理部１２１に送付する。
【０１７７】
辞書データ管理部１２１は、新しいＩＤに対応する人物別特徴データ領域１２５に、取得したデータを保存する（ステップＳ６３）。
【０１７８】
指定枚数分の取得が完了したら、人物検出識別管理部１３は、辞書データ管理部１２１に対して識別辞書の作成を指示する（ステップＳ６４）。
【０１７９】
辞書データ管理部１２１は、作成指示を受けると、識別辞書生成手段１２３の線形判別辞書作成手段１２６によって、登録人物用識別辞書を作成する（ステップＳ６５）。
【０１８０】
次に、固有ベクトル辞書作成手段１２７によって、他人判別用辞書を作成する（ステップＳ６６）。
【０１８１】
そして、作成された辞書を人物検出識別部の識別辞書記憶手段１０に出力し記憶させる（ステップＳ６７）。以上の処理により、新規人物の登録処理は終了する。
【０１８２】
図２９は、図１４の線形判別辞書作成手段１２６の一実施例をなす線形判別辞書作成手段３１１の構成を示す図である。図２９を参照すると、線形判別辞書作成手段３１１は、特徴量Ｘ記憶手段３１２と、分散共分散行列Ｃｘｘ算出手段３１３と、逆行列変換手段３１４と、行列乗算手段３１５と、目的変数Ｙ記憶手段３１７と、目的変数Ｙ生成手段３１８と、共分散行列Ｃｘｙ算出手段３１９と、係数記憶手段３２０と、定数項算出手段３１６とを備えて構成されている。
【０１８３】
図３１及び図３４を参照して、線形判別辞書の作成方法について説明する。図３１には、１人あたりｎ枚で、人物１から人物ｑまでｑ人分の個人特徴データＸ３４１が示されている。また、個人特徴データＸ３４１の特徴数はｐ個である。図３１の１行が、１枚分の特徴データを示している。個人特徴データＸ３４１は、図１４において個人特徴データ記憶手段１２２に記憶されており、１人分の個人特徴データがそれぞれ人物別特徴データ領域１２５に記憶されている。
【０１８４】
目的変数Ｙ３４２は、１つの特徴データについて１つ作成され、識別する人物数分の要素を持つベクトルである。すなわち、図３１において、人物ＩＤは１からｑまでの値をとるので、目的変数ＹはＹ１からＹｑまで存在する。目的変数Ｙ３４２の値は、０か１の２値であり、特徴データが属する人物のベクトル要素が１で、その他は０である。すなわち人物２の特徴データであれば、Ｙ２要素だけが１で他は０となる。
【０１８５】
図３４は、線形判別辞書の形式の一例を示す図である。線形判別辞書は、定数項４２１と、乗算項４２５の２種類の係数からなる。乗算項からなるマトリクスをＡｉｊ（ｉ＝１，．．．ｐ、ｊ＝１，．．．．ｑ）、定数項からなるベクトルをＡ０ｊ（ｊ＝１，．．．．ｑ）とすると、マトリクスＡｉｊは、次式（１４）から求められる。
【０１８６】

【０１８７】
上式（１４）において、Ｃｘｘは個人特徴データＸ３４１の全てのデータを用いたこの分散共分散行列である。この分散共分散行列Ｃｘｘは、次式（１５）で算出される。
【０１８８】
個人特徴データＸの要素を、ｘｉｊ：（ｉ＝１．．．．Ｎ、ｊ＝１，．．．ｐ）で表わす。Ｎは全データ数で、ｐは特徴数である。図３１に示す例では、１人につきｎ枚のデータがあることから、Ｎ＝ｎｑである。ｘ￣は、ｘの平均値を表わす。
【０１８９】

【０１９０】
Ｃｘｙは、個人特徴データＸと目的変数Ｙとの共分散行列である。共分散行列Ｃｘｙは、次式（１６）に従って算出される。ｘ￣、ｙ￣は、ｘ、ｙの平均値を表わす。
【０１９１】

【０１９２】
また、定数項Ａ０ｊは、次式（１７）に従って算出される。
【０１９３】

【０１９４】
はじめにＣｘｘを算出し、その逆行列を求める。次にＣｘｙを求める。最後にこれらの行列を乗算して乗算項マトリクスＡｉｊを求め、最後に定数項Ａ０ｊを求める。
【０１９５】
図２９は、線形判別辞書作成手段３１１の処理を説明するための図である。図２９を参照して、線形判別辞書作成手段３１１の動作を説明する。入力された個人特徴データ群は、特徴量Ｘ記憶手段３１２に記憶される。
【０１９６】
入力された個人特徴データ群と人物ＩＤを用いて、目的変数Ｙ生成手段３１８によって目的変数Ｙが生成される。生成した目的変数Ｙは、目的変数Ｙ記憶手段３１７に記憶される。
【０１９７】
次に、分散共分散行列Ｃｘｘ算出手段３１３において、分散共分散行列Ｃｘｘを算出する。
【０１９８】
次に、逆行列変換手段３１４において、分散共分散行列Ｃｘｘの逆行列を算出する。
【０１９９】
次に、共分散行列Ｃｘｙ算出手段３１９において、共分散行列Ｃｘｙを算出する。
【０２００】
次に、行列乗算手段３１５において、乗算項Ａｉｊを算出し、係数記憶手段３２０に乗算項Ａｉｊデータを記憶する。
【０２０１】
次に、定数項算出手段３１６において、定数項Ａ０ｊを算出し、係数記憶手段３２０に記憶する。
【０２０２】
最後に、係数記憶手段３２０のデータを出力して終了する。
【０２０３】
なお、図３１では、０と１の２値データを示したが、線形判別辞書作成手段３１１においては、０と１００等の他の２値データを用いることも可能である。
【０２０４】
図３０は、図１４の固有ベクトル辞書作成手段１２７の一実施例をなす固有ベクトル辞書作成手段３３１を示す図である。固有ベクトル辞書作成手段３３１は、特徴量記憶手段３３２と、特徴量平均算出手段３３３と、分散共分散行列算出手段３３４と、固有ベクトル算出手段３３５と、係数記憶手段３３６と備えて構成されている。
【０２０５】
図３１と図３３とを参照して、固有ベクトル辞書の作成方法について説明する。個人特徴データＸの要素を、ｘｉｊ：（ｉ＝１．．．．Ｎ、ｊ＝１，．．．ｐ）で表わす。
【０２０６】
はじめにＸの特徴量ごとの平均値を求める。次に、Ｘの分散共分散行列Ｃｘｘを、上式（１５）を用いて算出する。分散共分散行列Ｃｘｘの固有ベクトルを求める。固有ベクトルを求める方法は、当業者によって広く知られており、本発明とは直接関係しないことから、その詳細は省略する。
【０２０７】
以上の操作により、図３３に示すような形式の固有ベクトル辞書が得られる。固有ベクトルは特徴量の数（ｐ個）だけ得られる。図３３では、１行分が１つの固有ベクトルを表わしている。
【０２０８】
図３０は、固有ベクトル辞書作成手段３３１の構成及び処理を説明するための図である。図３０を参照して、固有ベクトル辞書作成手段３３１の動作について説明する。
【０２０９】
個人特徴データが入力されると、特徴量記憶手段３３２に記憶される。
【０２１０】
次に、特徴量平均算出手段３３３において、特徴量の平均値を求め、係数記憶手段３３６に記憶する。次に分散共分散行列算出手段３３４において、分散共分散行列Ｃｘｘを算出する。
【０２１１】
次に、固有ベクトル算出手段３３５において、分散共分散行列Ｃｘｘの固有ベクトルを算出し、係数記憶手段３３６に記憶する。最後に、係数記憶手段３３６のデータを出力して終了する。
【０２１２】
図１６は、本発明に係るロボット装置の一実施の形態の構成を示す図である。図１６を参照すると、このロボット装置２０１は、ＣＣＤカメラ２０２と、人物検出識別手段２０３と、辞書データ管理部２０４と、人物検出識別管理部２０５と、全体制御部２０６と、スピーカ２０７と、ロボット移動手段２０８とを備えている。ロボット移動手段２０８は、モータ２０９と、車輪２１０とを備えている。
【０２１３】
人物検出識別手段２０３は、ＣＣＤカメラ２０２からのステレオ映像を基に、人物検出と識別を行なっている。人物検出識別管理部２０５は、人物検出識別手段２０３との情報のやり取り、全体制御部２０６との情報のやり取り、辞書データ管理部２０４との情報のやり取りを行なっている。スピーカ２０７は全体制御部２０６に接続され、全体制御部２０６の指示で発話することができる。また全体制御部２０６は、ロボット移動手段２０８に移動指示を送る。ロボット移動手段２０８はモータ２０９と複数の車輪２１０を持ち、ロボットを自由な方向に移動させることができる。
【０２１４】
図２６は、本発明に係るロボット装置の一実施の形態の処理を説明するための図である。図１６及び図２６を参照して、本発明の一実施の形態のロボット装置２０１の動作について説明する。ロボット装置２０１は、人物を検出すると、人物の方向に移動して近づいていき、予め定められた所定の距離以内に近づいたら人物識別を行なう。
【０２１５】
人物検出識別管理部２０５は、人物検出識別手段２０３内の頭部検出追跡手段から、検出した頭部の矩形情報と、対面距離値を取得し、全体制御部２０６に送信する（ステップＳ７１）。
【０２１６】
全体制御部２０６では対面距離値を参照し、対面距離がしきい値よりも近いかどうかを判定する（ステップＳ７３）。距離がしきい値よりも遠いときは、ロボット移動手段２０８に指令して、人物の方向に前進する（ステップＳ７２）。
【０２１７】
人物の存在する概略的な方向は、画像内の頭部矩形座標から類推することができる。ステップＳ７１からステップＳ７３を繰り返し、対面距離がしきい値よりも近くなったら、全体制御部２０６は、人物検出識別管理部２０５から人物識別結果を取得する（ステップＳ７４）。
【０２１８】
次に、人物別の音声をスピーカ２０７から発声し、人物識別したことを対話者に知らせる（ステップＳ７５）。
【０２１９】
図１７は、本発明のロボット装置の一実施例の構成を示す図である。図１７を参照すると、ロボット装置２２１は、ＣＣＤカメラ２０２と、対面距離センサ２２３と、タッチセンサ２２２と、人物検出識別手段２２４と、辞書データ管理部２０４と、人物検出識別管理部２０５と、全体制御部２２７と、マイク２２５と、音声認識手段２２６と、スピーカ２０７と、ロボット移動手段２０８とを備えて構成されている。ロボット移動手段２０８は、モータ２０９と、車輪２１０とを備えている。
【０２２０】
人物検出識別手段２２４は、ＣＣＤカメラ２０２からのステレオ映像と、対面距離センサ２２３との情報を元に、人物検出と識別を行なっている。人物検出識別管理部２０５は、人物検出識別手段２２４との情報のやり取り、全体制御部２２７との情報のやり取り、辞書データ管理部２０４との情報のやり取りを行なっている。スピーカ２０７は全体制御部２２７に接続され、全体制御部２２７の指示で発話することができる。また全体制御部２２７は、ロボット移動手段２０８に移動指示を送る。ロボット移動手段２０８はモータ２０９と複数の車輪２１０を持ち、ロボットを自由な方向に移動させることができる。タッチセンサ２２２は、全体制御部２２７に接続されており、外部から物体の接触の有無と、接触の強さを検出する。マイク２２５は音声認識手段２２６に接続され、音声認識手段２２６は全体制御部２２７に接続されている。音声認識手段２２６は、マイク２２５からの音声データから、人の言葉を自動認識し、認識結果を、全体制御部に送信する。
【０２２１】
図２７は、本発明の一実施例のロボット装置の処理を説明するための流れ図である。図１７及び図２７を参照して、本発明の一実施例のロボット装置２２１の動作例について説明する。
【０２２２】
ロボット装置２２１は、対面している人物の検出識別を行ない、対話者の反応によって識別辞書を更新することによって、人物画像の逐次学習を行なう。
【０２２３】
全体制御部２２７は、人物検出識別管理部２０５から人物識別結果を取得する（ステップＳ８１）。
【０２２４】
次に識別した人物毎に特定の動作を行なう（ステップＳ８２）。特定の動作とは、人の名前を発声したり、人によって車輪を特定方向に動かしたりする行為全体を差す。
【０２２５】
次に、対話者の反応がセンスされるのを待つ（ステップＳ８３）。対話者の反応が得られたときは、次にその反応がポジティブなものかネガティブなものかを判定する（ステップＳ８４）。ポジティブな反応とは、「Ｙｅｓ」という意味であり、例えば音声認識で，「はい」を認識した時などがある。
【０２２６】
ネガティブな反応とは、「Ｎｏ」という意味であり、例えば音声認識で，「いいえ」を認識した時などがある。
【０２２７】
また、例えば、あらかじめタッチセンサを１度押下すると「はい」、２度押下すると「いいえ」という規則を予め全体制御部で決めておくことで、タッチセンサを用いて対話者の反応を取得することができる。
【０２２８】
ステップＳ８４がネガティブな反応の場合は、もう一度ステップＳ８１から動作を繰り返す。ポジティブな反応の場合には、識別に使用した顔特徴データを辞書データ管理部２０４に入力する（ステップＳ８５）。
【０２２９】
そして識別辞書を作成し更新する（ステップＳ８６）。
【０２３０】
終了指示があれば終了し、なければ、再びステップＳ８１から動作を繰り返す（ステップＳ８７）。
【０２３１】
図２８は、本発明のロボット装置の他の実施例の処理を説明するための流れ図である。図１７及び図２８を参照して、本発明の他の実施例をなすロボット装置２２１の動作の例について説明する。ロボット装置２２１は、対面している人物の検出識別を行ない、対話者の命令によって新しい人物の画像を取得し、新しい人物辞書を登録する。
【０２３２】
全体制御部２２７は、人物検出識別管理部２０５から人物識別結果を取得する（ステップＳ９１）。
【０２３３】
次に識別した人物毎に特定の動作を行なう（ステップＳ９２）。特定の動作とは、人の名前を発声したり、人によって車輪を特定方向に動かしたりする行為全体を差す。
【０２３４】
次に、対話者の命令がセンスされるのを待つ（ステップＳ９３）。対話者の命令イベントが得られると、次にその命令イベントが登録命令かどうかを判定する（ステップＳ９４）。登録命令イベントは、例えば音声認識で「とうろく」を認識したというイベントがある。また、あらかじめタッチセンサを１度たたくと登録イベントである、という規則を予め全体制御部で決めておくことにより、タッチセンサを用いて登録命令イベントを発声させることができる。
【０２３５】
登録命令が来たときは、登録処理を行い、新しい人物の登録を行なう（ステップＳ９５）。登録処理ステップＳ９５の一例は、図２５に示されており、既に説明済みである。
【０２３６】
登録処理が終了すると、再びステップＳ９１から処理を開始する。登録命令イベントが来なかった場合は、終了判定を行なう（ステップＳ９６）。
【０２３７】
終了命令があれば終了し、終了命令がない場合は、再びステップＳ９１から処理を開始する。
【０２３８】
図３５は、本発明の関連発明に係る人物検出識別システムの一実施の形態の構成を示す図である。図３５を参照すると、本発明の関連発明に係る人物検出識別システムは、映像取得手段２と、対面距離センサ５と、人物検出識別手段５０１と、辞書データ管理部１２と、人物検出識別管理部５０２と、記録媒体５０３とを備えている。記録媒体５０３には、人物検出識別処理プログラムを記録しており、磁気ディスク、半導体メモリ、CD-ROMその他の記録媒体であってよい。
【０２３９】
人物検出識別処理プログラムは、記録媒体５０３から人物検出識別手段５０１と、人物検出識別管理部５０２に読み込まれ、図１を参照して説明した前記した実施の形態における人物検出識別手段６および人物検出識別管理部１３による処理と同一の処理を実行する。
【０２４０】
【発明の効果】
以上説明したように、本発明によれば、次のような効果を奏する。
【０２４１】
本発明のロボット装置で用いられる人物識別装置は、例えば家庭環境のように、照明条件の変動が激しい環境下においても、極めて高い識別率で人物を識別することができる、という効果を奏する。
【０２４２】
その理由は以下の通りである。すなわち、本発明においては、画像の濃淡値だけではなく、動きと対面距離情報を用いて検出識別している、ためである。また、本発明においては、顔位置合わせ手段により、精度のよい正面顔を検出している、ためである。さらに、本発明においては、顔識別手段において、線形判別辞書による類似度識別を行なっている、ためである。
【０２４３】
そして、本発明においては、人（利用者）との対話を通じて、装置又はシステムが自ら学習することで、識別精度を上げる、ように構成したためである。
【０２４４】
また、本発明のロボット装置によれば、ある場所で入力画像が不良で識別できなくても、その後、装置自ら動作することにより、良好な画像を取得する、ことができる。
【図面の簡単な説明】
【図１】本発明のロボット装置で用いられる人物識別装置の一実施の形態の構成を示すブロック図である。
【図２】本発明のロボット装置で用いられる人物識別装置における頭部検出追跡手段の一実施例の構成を示すブロック図である。
【図３】本発明のロボット装置で用いられる人物識別装置における頭部検出追跡手段の別の実施例の構成を示すブロック図である。
【図４】本発明のロボット装置で用いられる人物識別装置における単眼視頭部矩形座標検出手段の一実施例の構成を示すブロック図である。
【図５】本発明のロボット装置で用いられる人物識別装置における頭部検出処理を説明するための図である。
【図６】本発明のロボット装置で用いられる人物識別装置における左右画像照合処理を説明するための図である。
【図７】本発明のロボット装置で用いられる人物識別装置における頭部追跡処理を説明するための図である。
【図８】本発明のロボット装置で用いられる人物識別装置における正面顔画像を特徴データに変換する際のラスタスキャンの説明図である。
【図９】本発明のロボット装置で用いられる人物識別装置における正面顔位置合わせ手段の一実施例の構成を示すブロック図である。
【図１０】本発明のロボット装置で用いられる人物識別装置における正面顔探索手段の一実施例の構成を示すブロック図である。
【図１１】本発明のロボット装置で用いられる人物識別装置における正面顔探索手段の他の実施例の構成を示すブロック図である。
【図１２】本発明のロボット装置で用いられる人物識別装置における頭部検出処理と顔位置合わせ処理を説明するための図である。
【図１３】本発明のロボット装置で用いられる人物識別装置における顔識別手段と識別辞書記憶手段と識別結果補正手段の各実施例の構成を示すブロック図である。
【図１４】本発明のロボット装置で用いられる人物識別装置における辞書データ管理部の一実施例の構成を示すブロック図である。
【図１５】本発明のロボット装置で用いられる人物識別装置における顔識別手段と識別辞書記憶手段と識別結果補正手段の各実施例の構成を示すブロック図である。
【図１６】本発明のロボット装置の一実施例の構成を示す図である。
【図１７】本発明のロボット装置の他の実施例の構成を示す図である。
【図１８】本発明のロボット装置で用いられる人物識別装置における人物検出処理と識別処理を説明するための流れ図である。
【図１９】本発明のロボット装置で用いられる人物識別装置における頭部検出追跡処理を説明するための流れ図である。
【図２０】本発明のロボット装置で用いられる人物識別装置における頭部検出処理を説明するための流れ図である。
【図２１】本発明のロボット装置で用いられる人物識別装置における正面顔位置合わせ処理を説明するための流れ図である。
【図２２】本発明のロボット装置で用いられる人物識別装置における正面顔探索処理を説明するための流れ図である。
【図２３】本発明のロボット装置で用いられる人物識別装置における正面顔探索処理を説明するための流れ図である。
【図２４】本発明のロボット装置で用いられる人物識別装置における顔識別処理を説明するための流れ図である。
【図２５】本発明のロボット装置で用いられる人物識別装置における人物辞書登録処理を説明するための流れ図である。
【図２６】本発明のロボット装置における行動制御を説明するための流れ図である。
【図２７】本発明のロボット装置における行動制御を説明するための流れ図である。
【図２８】本発明のロボット装置における行動制御を説明するための流れ図である。
【図２９】本発明のロボット装置で用いられる人物識別装置における線形判別辞書作成手段の一実施例の構成を示すブロック図である。
【図３０】本発明のロボット装置で用いられる人物識別装置における固有ベクトル辞書作成手段の一実施例の構成を示すブロック図である。
【図３１】本発明のロボット装置で用いられる人物識別処理に用いる線形判別辞書作成方法を説明するための図である。
【図３２】本発明のロボット装置で用いられる人物識別処理に用いるステレオ視による対面距離算出方法を説明するための図である。
【図３３】本発明のロボット装置で用いられる人物識別処理に用いる固有ベクトル投影距離辞書の説明図である。
【図３４】本発明のロボット装置で用いられる人物識別処理に用いる線形判別辞書の説明図である。
【図３５】本発明のロボット装置で用いられる人物識別装置の他の実施例の構成を示すブロック図である。
【符号の説明】
１人物検出識別手段
２映像取得手段
３右カメラ
４左カメラ
５対面距離センサ
６頭部検出追跡手段
７正面顔位置合わせ手段
８顔特徴量抽出手段
９顔識別手段
１０識別辞書記憶手段
１１識別結果補正手段
１２辞書データ管理部
１３人物検出識別管理部
１４人物識別装置
２１頭部検出手段
２２頭部追跡手段
２３頭部矩形記憶手段
２４単眼視頭部矩形座標検出手段
２５左右画像照合手段
２６対面距離評価手段
２７頭部検出追跡手段
２８右カメラ
２９左カメラ
３０対面距離センサ
３１対面距離統合手段
３２頭部検出追跡手段
３３頭部検出手段
３４ＣＣＤカメラ
４１頭部矩形座標検出手段
４２動き画素検出手段
４３人物数評価手段
４４頭頂座標検出手段
４５頭部下部座標検出手段
４６側頭座標検出手段
４７動き領域幅
４８統合差分画像Ｇ
４９統合差分画像Ｇ
５０統合差分画像上部領域
５１頭部検出矩形
５２探索結果
５３前フレームの頭部矩形座標
５４サーチ軌跡
５５前フレームの頭部矩形画像
６１正面顔位置合わせ手段
６２頭部矩形切り取り手段
６３正面顔探索手段
６４標準顔辞書デ−タ記憶手段
６５正面顔らしさ判定手段
６６濃度分散判定手段
６７しきい値処理手段
７１正面顔探索手段
７２正面顔候補抽出手段
７３中間縮小画像記憶手段
７４コントラスト補正手段
７５固有ベクトル投影距離算出手段
７６標準顔辞書記憶手段
７７記憶手段
７８投影距離最小判定手段
７９探索範囲終了判定手段
８０標準顔平均データ記憶手段
８１標準顔固有ベクトルデータ記憶手段
８２平均差分手段
８３ベクトル投影値算出手段
８４再構成演算手段
８５投影距離計算手段
８６投影距離最小値記憶手段
８７正面顔濃淡値記憶手段
８８頭部中間サイズ算出手段
８９頭部矩形画像記憶手段
９０画像縮小手段
９１中間サイズ記憶手段
９２多重解像度処理終了判定手段
１０１正面顔探索手段
１０２積和演算手段
１０３類似度最大判定手段
１０４標準顔辞書データ記憶部
１０５記憶手段
１０６類似度最大値記憶手段
１０７正面顔濃淡値記憶手段
１１１顔識別手段
１１２識別辞書記憶手段
１１３識別結果補正手段
１１４識別結果加重平均算出手段
１１５特徴データ記憶手段
１１６積和演算手段
１１７しきい値処理手段
１１８最大類似度人物判定手段
１１９登録人物用識別辞書記憶手段
１２１辞書データ管理部
１２２個人特徴データ管理部
１２３識別辞書生成手段
１２４セレクタ
１２５人物別特徴データ
１２６線形判別辞書作成手段
１２７固有ベクトル辞書作成手段
１３１顔識別手段
１３２識別辞書記憶手段
１３３他人判別手段
１３４他人判別用辞書記憶手段
１５１頭部矩形
１５２頭部矩形画像
１５３縮小頭部矩形画像
１５４正面顔探索形状
１５５正面顔画像
２０１ロボット装置
２０２ＣＣＤカメラ
２０３人物検出識別手段
２０４辞書データ管理部
２０５人物検出識別管理部
２０６全体制御部
２０７スピーカ
２０８ロボット移動手段
２０９モータ
２１０車輪
２２１ロボット装置
２２２タッチセンサ
２２３対面距離センサ
２２４人物検出識別手段
２２５マイク
２２６音声認識手段
２２７全体制御部
３１１線形判別辞書作成手段
３１２特徴量Ｘ記憶手段
３１３分散共分散行列Ｃｘｘ算出手段
３１４逆行列変換手段
３１５行列乗算手段
３１６定数項算出手段
３１７目的変数Ｙ記憶手段
３１８目的変数Ｙ生成手段
３１９共分散行列Ｃｘｙ算出手段
３２０係数記憶手段
３３１固有ベクトル辞書作成手段
３３２特徴量記憶手段
３３３特徴量平均算出手段
３３４分散共分散行列算出手段
３３５固有ベクトル算出手段
３３６係数記憶手段
３４１個人特徴データＸ
３４２目的変数Ｙ
３４３特徴データ平均値
３４４目的変数平均値
４０１右カメラ
４０２左カメラ
４０３対象物
４１１１番目の固有ベクトル
４１２２番目の固有ベクトル
４１３Ｐ番目の固有ベクトル
４１４平均値
４２１定数項
４２２クラス１の識別係数
４２３クラス２の識別係数
４２４クラスｑの識別係数
４２５乗算項
５０１人物検出識別処理部
５０２人物検出識別管理部
５０３記録媒体

Claims

取得された画像情報から正面顔画像を取得する正面顔位置合わせ手段と、
前記正面顔画像から識別辞書を用いて人物を識別する顔識別手段と、
前記顔識別手段から出力される識別結果を過去Ｎフレーム分（Ｎは２以上の整数）の情報を用いて補正する識別結果補正手段と、を含む人物識別装置を備え、
前記識別結果補正手段は、前記顔識別手段から出力される識別結果を過去Ｎフレーム分（Ｎは２以上の整数）加重平均する、ことを特徴とするロボット装置。
取得された画像情報から人の頭部を検出する頭部検出追跡手段と、
前記検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、
正面顔画像を特徴量に変換する顔特徴抽出手段と、
識別辞書を用いて特徴量から人物を識別する顔識別手段と、
識別辞書を保存する識別辞書記憶手段と、
前記顔識別手段から出力される識別結果を過去Ｎフレーム分（Ｎは２以上の整数）の情報を用いて補正する識別結果補正手段と、を含む人物識別装置を備え、
前記識別結果補正手段は、前記顔識別手段から出力される識別結果を過去Ｎフレーム分（Ｎは２以上の整数）加重平均する、ことを特徴とするロボット装置。
請求項１または２に記載のロボット装置において、
ロボットの動作を制御する全体制御部と、
前記全体制御部の指示でロボットを移動する移動手段と、
を備えたことを特徴とするロボット装置。
請求項１乃至３のいずれか一に記載のロボット装置の前記人物識別装置において、
前記顔識別手段が、
線形判別辞書と特徴データから登録されている人物への類似度を算出する積和演算手段と、
登録されている人物への類似度の最大値を求める最大類似度人物判定手段と、
前記類似度の最大値を予め定められたしきい値と比較して、他人かどうかを判定するしきい値処理手段と、
を備えたことを特徴とするロボット装置。
請求項１乃至３のいずれか一に記載のロボット装置の前記人物識別装置において、
前記顔識別手段が、
他人を判別するための固有ベクトル辞書と特徴データから固有ベクトル投影距離を算出して距離値を比較する固有ベクトル他人判別手段と、
線形判別辞書と特徴データから登録されている人物への類似度を算出する積和演算手段と、登録されている人物への類似度の最大値を求める最大類似度人物判定手段と、
前記類似度の最大値をあらかじめ定められたしきい値と比較して、他人かどうかを判定するしきい値処理手段と、
を備えたことを特徴とするロボット装置。
画像を取得する映像取得手段と、
前記取得された画像情報から人の頭部を検出する頭部検出追跡手段と、
前記検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、
正面顔画像を特徴量に変換する顔特徴抽出手段と、
識別辞書を用いて特徴量から人物を識別する顔識別手段と、
識別辞書を保存する識別辞書記憶手段と、
前記顔識別手段から出力される識別結果を過去Ｎフレーム分（Ｎは２以上の整数）加重平均する識別結果補正手段と、
を含む人物識別装置と、
ロボットの動作を制御する全体制御部と、
前記全体制御部の指示で音声を発話する音声出力手段と、
前記全体制御部の指示でロボットを移動する移動手段と、
を備えたことを特徴とするロボット装置。
前記全体制御部が、人物識別結果が得られたときに、人物毎に異なる音声で発話するよう制御する、ことを特徴とする請求項６記載のロボット装置。
前記全体制御部が、前記人物識別装置から前方物体との対面距離と方向を取得する手段と、
人物識別結果を取得する手段と、
前記対面距離がしきい値以上の場合には、前記前方物体に近づくように移動する手段と、
前記対面距離がしきい値以下のときは、人物識別結果を人物毎に異なる音声で発話するように制御する手段と、
を備えたことを特徴とする請求項６記載のロボット装置。