JP2007334623A - 顔認証装置、顔認証方法、および入退場管理装置 - Google Patents

Abstract

【課題】顔認証性能に優れた顔認証装置を提供すること。
【解決手段】顔認証装置は、移動する人物の少なくとも顔を含む画像を取得する取得手段と、前記取得手段により取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合する顔照合手段と、前記顔照合手段による照合結果に基づき前記人物を認証する認証手段とを備えている。
【選択図】 図１

Description

本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ記憶された登録顔情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する顔認証装置および顔認証方法に関する。

また、本発明は、上記顔認証装置および顔認証方法を用いてセキュリティを必要とする部屋や施設等に対する入退場を管理する入退場管理装置に関する。

例えば、顔認証装置を用いた入退場管理装置は、カメラを有している。認証対象となる人物が、カメラの前に立ち止まり、カメラのレンズに顔を向ける。カメラは、人物の顔画像を撮像（取得）する。顔認証装置は、この撮像された顔画像から得られる当該人物固有の顔の特徴情報と、あらかじめ記憶されている登録顔情報とを照合し、当該人物があらかじめ登録された人物であるか否かを判定する。入退場管理装置は、あらかじめ登録された人物であるとの判定に基づき、入退場対象エリア（部屋や施設等）のドアを開放する（たとえば、特許文献１参照）。

この種の入退場管理装置（顔認証装置）にあっては、上記したように、認証対象となる人物がカメラの前に立ち止まることで、当該人物の顔を撮像するようになっている。このため、認証対象が歩行者（移動する人物）であって、当該歩行者がドアに接近するまでに人物認証を完了することは難しい。

歩行者の顔画像を撮像する方法の公知例としては、たとえば、特許文献２および特許文献３に開示された技術がある。

特許文献２に開示された技術は、人物が歩行するときは、やや下を向く傾向があるため、顔を下から撮像した方が、正面の顔をとらえた画像を取得しやすいことに着目している。具体的には、歩行者の顔をとらえるように、通路の左右の顔よりも低い位置から、やや上向きにカメラを配置している。

特許文献３に開示された技術は、ドアが開いたときに歩行者の顔をとらえるようにカメラを配置し、ドアが開いた瞬間の画像を取得するというものである。人物がドアを通過する際に正面を向くという傾向があることに着目した技術である。
特開２００１−２６６１５２号公報 特開２０００−３３１２０７号公報 特開２００２−１４０６９９号公報

しかし、従来の入退場管理装置（顔認証装置）にあっては、カメラのレンズの前に一旦立ち止まってから認証しなければならず、利用者にとって使いにくいという問題がある。

また、従来の歩行者の顔画像を撮像する方法の問題点としては、正面の顔を捉えていない画像による認証性能の低下が挙げられる。

特許文献２、３では、歩行するときにやや下を向く傾向や、ドアを通過する際に正面を向く傾向といった歩行者の特性を利用して、歩行者に対する正面の顔を捉える撮像方法を示している。

しかし、これらはある限られた状況を想定しており、一般的な歩行動作においては正面の顔を捉えられない可能性が高い。また、歩行者の歩行速度が速い場合などを想定すると、正面の顔を捉えられたとしても取得画像数が充分ではなく、顔認証性能が低下してしまう。

そこで、本発明は、顔認証性能に優れた顔認証装置、顔認証方法、および入退場管理装置を提供することを目的とする。

本発明の一例の顔認証装置は、移動する人物の少なくとも顔を含む画像を取得する取得手段と、前記取得手段により取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合する顔照合手段と、前記顔照合手段による照合結果に基づき前記人物を認証する認証手段とを備えている。

本発明の一例の顔認証方法は、移動する人物の少なくとも顔を含む画像を取得し、前記取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出し、前記検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合し、
照合結果に基づき前記人物を認証する。

本発明の入退場管理装置は、移動する人物の少なくとも顔を含む画像を取得する取得手段と、前記取得手段により取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合する顔照合手段と、前記顔照合手段による照合結果に基づき前記人物を認証する認証手段と、前記認証手段による認証結果に基づき入退場用ゲートの開閉を制御するゲート制御手段とを備えている。

本発明によれば、顔認証性能に優れた顔認証装置、顔認証方法、および入退場管理装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明の概要について簡単に説明する。本発明では、たとえば、図２に示すように、通行路１を図示矢印ａ方向に移動して入退場対象エリア（部屋や施設等）２に設けられたドアやゲートなどのゲート装置（入退場用ゲート）３に向う歩行者Ｍの顔をカメラで撮像する。具体的には、通行路１におけるＣ地点からＡ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顔を含む画像をカメラで撮像し、Ａ地点からゲート装置３まで歩行者Ｍが到達する間に、取得した画像によって、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置３を通行許可とする。ここに、図２に示すように、歩行路１におけるＣ地点からＡ地点で囲まれた範囲を歩行者Ｍの顔を撮像する撮像対象領域と呼ぶことにする。

まず、本発明の第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を取得する取得手段としての照合画像取得用のビデオカメラ（以降、単にカメラと略称する）１０１、変化検出手段としての変化検出部１０２、頭部検出手段としての頭部検出部１０３、頭部追跡手段としての頭部追跡部１０４、顔候補領域検出手段としての顔候補領域検出部１０５、顔検出手段としての顔領域検出部１０６、顔特徴抽出手段としての顔特徴抽出部１０７、辞書記憶手段としての顔照合辞書部１０８、顔照合手段としての顔照合部１０９、歩行者Ｍを含む通行路１の画像を取得する取得手段としての監視画像取得用のビデオカメラ（以降、単にカメラと略称する）１１０、動線抽出手段としての動線抽出部１１１、基準動線記憶手段としての基準動線記憶部１１２、動線比較手段としての動線比較部１１３、表示手段としての顔認証表示部１１４、顔検索表示部１１５、ゲート制御手段としてのゲート制御部１１６、および、全体的な制御を司る制御手段としての表示認証制御部１１７を有して構成されている。

以下、各構成要素について詳細に説明する。
顔認証表示部１１４は、たとえば、図２に示すように、ゲート装置３の近傍に設置されていて、歩行者Ｍに対して、現在の顔認証の状況を表示するものであり、たとえば、液晶表示器またはＣＲＴ表示器などから構成されている。顔認証表示部１１４の設置高さは、たとえば、歩行者もの身長の平均値程度とする。

顔認証表示部１１４の表示内容としては、たとえば、図３（ａ）に示すように、照合画像取得用のカメラ１０１から得られる全体の画像３１と、顔候補領域検出部１０５により得られる顔候補領域の検出結果（顔候補領域）３２を表示する。認証処理が終了して登録された人物であると判定された場合には、歩行者Ｍに対して、図３（ｂ）に示すような通行（入場）が許可されたことを表すメッセージ「認証ＯＫ 通過して下さい」を表示する。そうでない場合は、歩行者Ｍに対して、図３（ｃ）に示すような通行（入場）が拒否されたことを表すメッセージ「認証ＮＧ パスワードを入力して下さい」を表示する。

顔検索表示部１１５は、当該顔認証装置の管理者に対して、複数（Ｎ）人の顔検索結果の順序を表示するものであり、たとえば、液晶表示器またはＣＲＴ表示器などから構成されている。表示内容としては、たとえば、図４に示すように、顔検索結果の上位１０名の顔画像を表示する。

照合画像取得用のカメラ１０１は、歩行者Ｍの少なくとも顔を含む画像を撮像するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ１０１の設置位置は、たとえば、図２に示すように、通行路１の側部でＡ地点とゲート装置３との間に設置されている。カメラ１０１の設置高さは、顔認証表示部１１４とほぼ同じとするが、カメラ１０１によって顔認証表示部１１４が隠れないようにするために、顔認証表示部１１４よりも若干低めとする。そして、上から見た場合に、図２（ａ）に示すように、撮像対象領域内の歩行者Ｍから見て、カメラ１０１および顔認証表示部１１４が一直線上になるように配設されている。
このようにカメラ１０１を設置することで、歩行者Ｍが顔認証表示部１１４を見た場合に正面の顔を含む画像を取得できる。取得した画像は、たとえば、横方向に５１２画素、縦方向に５１２画素のデジタル濃淡画像データとして変化検出部１０２に送られる。

変化検出部１０２は、カメラ１０１で得られた画像から変化のある領域を検出するものである。変化領域の検出処理には、たとえば、文献（中井，”事後確認を用いた移動物体検出手法”，情処研報，９４−ＣＶ９０，ｐｐ．１−８，１９９４）に記載されている手法のように、背景画像との差分から変化領域を検出する。これは、変化が存在しない場合の画像を背景画像として持ち、背景画像と現在の入力画像との差分から変化のある領域を変化領域として検出する。

頭部検出部１０３は、変化検出部１０２で得られた変化領域から顔を含んだ頭部領域を検出するものである。頭部領域の検出は、たとえば、図５に示す処理で行なう。まず、変化領域画像の縦方向に射影をとり、その射影値がある閾値Ｔｈを越えているものを対象領域とする。つづいて、対象とした領域について極大点の探索を行ない、見つけた極大点を基準に頭部領域を決定する。なお、図５において、５１，５２は検出した頭部領域を示している。

頭部追跡部１０４は、過去に頭部検出部１０４で検出された頭部領域と、現在の入力画像から検出された頭部領域との対応付けを行なうものである。対応付けは、たとえば、図６に示すように、現在の入力画像（時刻ｔ）で検出された頭部領域と、１つ前の入力画像（時刻ｔ−１）で検出された頭部領域との大きさと位置が近いもの同士を対応付けることにより行なう。なお、図６において、６１は検出された頭部領域を示し、６２は顔候補領域を示している。

顔候補領域検出部１０５は、頭部検出部１０３もしくは頭部追跡部１０４で得られた頭部領域から、顔の存在する候補領域を検出するものである。これは、顔らしい特徴を用いて顔候補領域を検出するもので、変化検出部１０２から頭部追跡部１０４までの処理で検出した顔を含まない頭部領域を削除する目的で行なう。具体的な顔候補領域の検出処理には、たとえば、文献（三田．金子．堀，”微小な差異を含む画像の認証に適した空間差分確率テンプレートの提案”，第９会画像センシングシンポジウム講演論文集，ＳＳII０３，２００３）に記載されている手法を用いる。これは、事前に顔の学習パターンから検出用辞書パターンを作成しておき、辞書パターンと高い類似度を持つパターンを入力画像から探す手法である。

顔領域検出部１０６は、顔候補領域検出部１０５で検出され入力された顔候補領域から顔パターンを切り出す。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。

顔特徴抽出部１０７は、検出された部品の位置をもとに顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ辞書として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。よって、部分空間を算出した結果は、顔照合辞書部１０８、顔照合部１０９に出力される。

顔照合辞書部１０８は、顔特徴抽出部１０８から得られた顔特徴情報を顔情報として保持し、人物Ｍとの類似度を計算できるようにしている。

顔照合部１０９は、カメラ１０１で取得した画像から顔特徴抽出部１０７で抽出した歩行者Ｍの顔特徴情報と顔照合辞書部１０８に記憶されている顔特徴情報（登録顔情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。この顔照合処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。

監視画像取得用のカメラ１１０は、歩行中の歩行者Ｍの撮影対象領域での動線を抽出するための画像を取得するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ１１０の設置位置は、たとえば、図２に示すように、通行路１の撮影対象領域内が画角に収まるように天井から下を見下ろす形で設置されている。取得した画像は、たとえば、横方向に６４０画素、縦方向に４８０画素のデジタル濃淡画像データとして動線抽出部１１１に送られる。

動線抽出部１１１は、カメラ１１０により得られた画像から歩行者Ｍの動線を抽出するものである。動線の抽出は、たとえば、図７に示す処理で行なう。まず、過去に入力された画像から統計的に推定した背景画像７１と、新たに入力された入力画像７２との画素間の輝度値の差分を計算し、この差分画像７３から閾値処理により２値画像を求めて人物領域７４を検出する。つづいて、各画像フレームにおいて検出された人物領域７４の対応付けを行ない、人物ごとの動線７５を求める。

基準動線記憶部１１２は、あらかじめ設定された基準動線を記憶し、歩行者Ｍの動線との距離を計算できるようにしている。

動線比較部１１３は、基準動線記憶部１１２に記憶されている基準動線と、動線抽出部１１１により得られた歩行者Ｍの動線との距離を計算する。距離は、たとえば、下記数２で計算する。これは、図８に示すように、類似度Ｄをサンプリング点Ｘ_１〜Ｘ_ｎにおける入力動線Ｌ_Ｘｋと基準動線ｌ_Ｘｋとの間の距離ｄ_Ｘｋの累積和で表わしたものである。

ゲート制御部１１６は、図２のゲート装置３に対し開閉を指示する制御信号を送る。具体的には、図９に示すように制御を行なう。すなわち、通行可能信号がオフにもかかわらず、ゲート装置３に人物が進入したときに警告音を出し管理者に通報する。あるいは、図１０に示すように、ゲート装置３に設けられているフラッパを閉じ、通行を阻止する個とも可能である。

表示認証制御部１１７は、本装置全体の制御を行なうもので、処理の流れを図１１のフローチャートに示す。以下、図１１のフローチャートについて説明する。
歩行者Ｍが撮影対象領域に存在した場合、顔領域検出処理を行ない（ステップＳ１）、その検出結果を顔認証表示部１１４に表示する（ステップＳ２）。次に、顔領域検出終了条件を満たしたか否かをチェックし（ステップＳ３）、顔領域検出終了条件を満たしていない場合、ステップＳ１に戻って上記同様な処理を繰り返す。

ここで、上記顔領域検出処理とは、カメラ１０１から顔候補領域検出部１０５までの一連の処理のことを指し、図１２に処理の流れを示す。なお、顔領域検出処理は、図１３に示すような順序で処理してもよく、これは、最初に顔らしさの特徴を用いて厳密に検出した後、動き特徴を用いて顔候補領域を検出するのを示している。
また、顔領域検出終了条件とは、たとえば、顔候補領域が必要数揃った場合であり、他にも検出した顔候補領域の画像サイズが一定値以上になった場合であるとか、頭部追跡が終了した場合などが考えられる。

顔領域検出終了条件を満たすと、動線抽出部１１１から歩行者Ｍの動線抽出結果を取得する（ステップＳ４）。次に、取得した動線抽出結果とあらかじめ基準動線記憶部１１２に登録された基準動線とを比較し（ステップＳ５）、求めた距離が閾値Ｔｈ１未満である場合は顔照合処理を行なう（ステップＳ６）。ここで、顔照合処理とは、顔領域検出部１０６から顔照合部１０９までの一連の処理のことを指し、図１４に処理の流れを示す。

一方、歩行者Ｍの動線と基準動線との距離が、閾値Ｔｈ１以上である場合は、通常の顔照合処理を行わない。具体的には、閾値Ｔｈ１以上で、かつ、閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）未満である場合は（ステップＳ７）、顔照合部１０９における判定用閾値を高く（セキュリティレベルを高く）変更して（ステップＳ８）、顔照合処理を行ない（ステップＳ６）、閾値Ｔｈ２以上である場合は、照合対象から除外し（ステップＳ９）、ステップＳ１に戻る。

次に、顔照合処理の結果から認証が成功したか否かをチェック（ステップＳ１０）、顔認証が成功した場合（当該歩行者Ｍはあらかじめ登録された人物であると判定された場合）、顔認証表示部１１２に認証ＯＫのメッセージを表示してから（ステップＳ１１）、ゲート装置３への通行可能信号を一定時間オンにし（ステップＳ１２）、ステップＳ１に戻る。これより、歩行者Ｍは、ゲート装置３を通過できる。

ステップＳ１０におけるチェックの結果、認証が失敗した場合（当該歩行者Ｍはあらかじめ登録された人物でないと判定された場合）、顔認証表示部１１２に認証ＮＧのメッセージを表示し（ステップＳ１３）、ステップＳ１に戻る。

以上説明したように、上記第１の実施の形態によれば、歩行者Ｍの動線抽出結果から、当該歩行者Ｍは撮像対象として適切かどうかを判定し、それに基づいて顔照合処理を行なうことで顔認証性能を著しく高めることができる。

次に、第２の実施の形態について説明する。
図１５は、第２の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。第２の実施の形態は、前述した第１の実施の形態に対し基準動線更新手段としての基準動線学習部１１８が追加された点が異なり、その他は前述した第１の実施の形態（図１）と同様であるので、異なる部分とそれに関連する部分だけ図示してその他の部分は図示を省略している。

基準動線学習部１１８は、認証成功時の動線抽出結果と基準動線記憶部１１２に記憶してある基準動線とを用いて基準動線を更新する。そのため、動線比較部１１３は、動線比較結果と動線抽出結果を表示認証制御部１１７に出力し、表示認証制御部１１７は、基準動線学習部１１８に認証成功時の動線抽出結果を出力する。基準動線の更新方法は、たとえば、サンプリング点Ｘ_１〜Ｘ_ｎにおける入力動線Ｌ_Ｘｋと基準動線ｌ_Ｘｋとの平均値を更新後の新たな基準動線とし、この新たな基準動線を基準動線記憶部１１２に登録（記憶）する。

以上説明したように、上記第２の実施の形態によれば、過去の認証成功時の動線抽出結果を用いて基準動線を更新し、顔認証に適した基準動線との比較を行なうことで、信頼性の高い撮像対象の判定が行なえる。

次に、第３の実施の形態について説明する。
図１６は、第３の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ３０１、変化検出部３０２、頭部検出部３０３、頭部追跡部３０４、顔候補領域検出部３０５、顔領域検出部３０６、顔特徴抽出部３０７、顔照合辞書部３０８、顔照合部３０９、移動速度計測手段としての歩行速度計測部３１０、顔認証表示部３１１、顔検索表示部３１２、ゲート制御部３１３、および、表示認証制御部３１４を有して構成されている。

なお、上記各構成要素のうち、照合画像取得用のカメラ３０１、変化検出部３０２、頭部検出部３０３、頭部追跡部３０４、顔候補領域検出部３０５は、顔領域検出部３０６、顔特徴抽出部３０７、顔照合辞書部３０８、顔照合部３０９、顔認証表示部３１１、顔検索表示部３１２、ゲート制御部３１３は、前述した第１の実施の形態（図１）における照合画像取得用のカメラ１０１、変化検出部１０２、頭部検出部１０３、頭部追跡部１０４、顔候補領域検出部は１０５、顔領域検出部１０６、顔特徴抽出部１０７、顔照合辞書部１０８、顔照合部１０９、顔認証表示部１１４、顔検索表示部１１５、ゲート制御部１１６と同様であることから説明は省略し、第１の実施の形態と異なる部分についてだけ説明する。

歩行速度計測部３１０は、歩行者Ｍの歩行速度（移動速度）を計測するものであり、たとえば、あらかじめ撮像対象領域内における歩行者Ｍの歩行速度と画像取得数との関係を記憶しておき、照合画像取得用のカメラ３０１での照合画像取得数から歩行者Ｍの歩行速度を近似的に計測する。

表示認証制御部３１４は、本装置全体の制御を行なうもので、処理の流れを図１７のフローチャートに示す。以下、図１７のフローチャートについて説明する。なお、制御方法は、図１１に示した表示認証制御部１１７と基本的に同じである。

歩行者Ｍが撮影対象領域に存在した場合、前述同様な顔領域検出処理を行ない（ステップＳ２１）、その検出結果を顔認証表示部１１４に表示する（ステップＳ２２）。次に、顔領域検出終了条件を満たしたか否かをチェックし（ステップＳ２３）、顔領域検出終了条件を満たしていない場合、ステップＳ２１に戻って上記同様な処理を繰り返す。

顔領域検出終了条件を満たすと、歩行速度計測部３１０から歩行者Ｍの歩行速度計測結果を取得する（ステップＳ２４）。次に、取得した歩行速度を閾値Ｔｈ１と比較し（ステップＳ２５）、取得した歩行速度が閾値Ｔｈ１未満である場合は前述同様な顔照合処理を行なう（ステップＳ２６）。

一方、取得した歩行速度が閾値Ｔｈ１以上である場合は、通常の顔照合処理を行わない。具体的には、閾値Ｔｈ１以上で、かつ、閾値Ｔｈ２（Ｔｈ２＞Ｔｈ１）未満である場合は（ステップＳ２７）、顔照合部３０９における判定用閾値を高く（セキュリティレベルを高く）変更して（ステップＳ２８）、顔照合処理を行ない（ステップＳ２６）、閾値Ｔｈ２以上である場合は、照合対象から除外し（ステップＳ２９）、ステップＳ２１に戻る。

次に、顔照合処理の結果から認証が成功したか否かをチェック（ステップＳ３０）、顔認証が成功した場合（当該歩行者Ｍはあらかじめ登録された人物であると判定された場合）、顔認証表示部３１１に認証ＯＫのメッセージを表示してから（ステップＳ３１）、ゲート装置３への通行可能信号を一定時間オンにし（ステップＳ３２）、ステップＳ２１に戻る。これより、歩行者Ｍは、ゲート装置３を通過できる。

ステップＳ３０におけるチェックの結果、認証が失敗した場合（当該歩行者Ｍはあらかじめ登録された人物でないと判定された場合）、顔認証表示部３１１に認証ＮＧのメッセージを表示し（ステップＳ３３）、ステップＳ２１に戻る。

以上説明したように、上記第３の実施の形態によれば、歩行者Ｍの歩行速度計測結果から撮像対象として適切かどうかを判定し、それに基づいて顔照合処理を行なうことで顔認証性能を著しく高めることができる。

次に、第４の実施の形態について説明する。
図１８は、第４の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ４０１、変化検出部４０２、頭部検出部４０３、頭部追跡部４０４、顔候補領域検出部４０５、顔領域検出部４０６、顔特徴抽出部４０７、顔照合辞書部４０８、顔照合部４０９、監視画像取得用のカメラ４１０、動線抽出部４１１、人物入れ替り判定手段としての入れ替り判定部４１２、顔認証表示部４１３、顔検索表示部４１４、通行制御部４１５、および、表示認証制御部４１６を有して構成されている。

なお、上記各構成要素のうち、照合画像取得用のカメラ４０１、変化検出部４０２、頭部検出部４０３、頭部追跡部４０４、顔候補領域検出部４０５、顔領域検出部４０６、顔特徴抽出部４０７、顔照合辞書部４０８、顔照合部４０９、動線抽出部４１１、顔認証表示部４１３、顔検索表示部４１４、ゲート制御部４１５は、前述した第１の実施の形態（図１）における照合画像取得用のカメラ１０１、変化検出部１０２、頭部検出部１０３、頭部追跡部１０４、顔候補領域検出部１０５、顔領域検出部１０６、顔特徴抽出部１０７、顔照合辞書部１０８、顔照合部１０９、動線抽出部１１１、顔認証表示部１１４、顔検索表示部１１５、ゲート制御部１１６と同じであることから説明は省略し、第１の実施の形態と異なる部分についてだけ説明する。

第４の実施の形態では、ゲート装置３を通行する場合に確実に通行しなければならない領域で、かつ、ゲート装置３付近の領域を通行者確認領域と呼ぶことにする。具体的には、図１９に示す斜線で示す矩形領域５を指すものとする。

監視画像取得用のカメラ４１０は、通行者確認領域での動線を抽出するための画像を取得するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ４０１の設置位置は、たとえば、図１９に示すように、認証終了時の歩行者Ｍの位置と通行者確認領域５内が画角に収まるように天井から下を見下ろす形で設置されている。取得した画像は、たとえば、横方向に６４０画素、縦方向に４８０画素のデジタル濃淡画像データとして動線抽出部４１１に送られる。

入れ替り判定部４１２は、顔照合結果と対応付けた動線を用いて歩行者Ｍの入れ替りを判定する。そのため、表示認証制御部４１６から顔照合結果と動線抽出結果を取得し、その判定結果を表示認証制御部４１６に出力する。具体的な処理については、１回の照合成功に対し、１人の１回の通行を許可するゲート装置３を対象に説明する。照合結果と動線との対応付けは、たとえば、図２０に示すように、照合終了時の顔検出領域の座標値（図２０（ａ））と動線の座標値（図２０（ｂ））から行なう。対応付けする対象が複数存在する場合は、互いの相対位置関係を基に決定する。

入れ替り判定処理は、たとえば、図２１に示すフローチャートにしたがった処理を行なう。これは、まず通行者確認領域５に歩行者Ｍが存在しているかを確認する（ステップＳ４１）。この確認の結果、歩行者Ｍが存在した場合は、複数人存在するかを確認する（ステップＳ４２）。この確認の結果、複数人存在する場合は、複数人の中で先頭の（最もゲート装置３に近い）歩行者Ｍが照合に成功したかどうかを確認する（ステップＳ４３）。この確認の結果、照合に成功していれば入れ替りなしと判定し（ステップＳ４４）、照合に成功していなければ入れ替りありと判定する（ステップＳ４５）。

ステップＳ４２における確認の結果、複数人存在しない場合も、同様に照合に成功したかどうかを確認し（ステップＳ４６）、照合に成功していれば入れ替りなしと判定し（ステップＳ４７）、照合に成功していなければ入れ替りありと判定する（ステップＳ４５）。この判定結果は、表示認証制御部４１６に出力する。具体的な例として、入れ替りなしの場合を図２２（ａ）、図２２（ｂ）に、入れ替りありの場合を図２２（ｃ）、図２２（ｄ）に示す。

表示認証制御部４１６は、本装置全体の制御を行なうもので、処理の流れを図２３のフローチャートに示す。以下、図２３のフローチャートについて説明する。なお、制御方法は、図１１に示した表示認証制御部１１７と基本的に同じである。

歩行者Ｍが撮影対象領域に存在した場合、前述同様な顔領域検出処理を行ない（ステップＳ５１）、その検出結果を顔認証表示部４１３に表示する（ステップＳ５２）。次に、顔領域検出終了条件を満たしたか否かをチェックし（ステップＳ５３）、顔領域検出終了条件を満たしていない場合、ステップＳ５１に戻って上記同様な処理を繰り返す。

顔領域検出終了条件を満たすと、前述同様な顔照合処理を行ない、その顔照合処理の結果を取得する（ステップＳ５４）。次に、動線抽出部４１１から歩行者Ｍの動線抽出結果を取得する（ステップＳ５５）。次に、取得した顔照合処理結果と動線抽出結果を入れ替り判定部４１２に送り（ステップＳ５６）、入れ替り判定部４１２から判定結果を取得する（ステップＳ５７）。

次に、入れ替り判定部４１２から取得した判定結果が入れ替りありか否かをチェック（ステップＳ５８）、入れ替りなしの場合は、顔認証表示部１１２に認証ＯＫのメッセージを表示してから（ステップＳ５９）、ゲート装置３への通行可能信号を一定時間オンにし（ステップＳ６０）、ステップＳ５１に戻る。これより、歩行者Ｍは、ゲート装置３を通過できる。
ステップＳ５８におけるチェックの結果、入れ替りありの場合は、顔認証表示部１１２に認証ＮＧのメッセージを表示し（ステップＳ６１）、ステップＳ５１に戻る。

以上説明したように、上記第４の実施の形態によれば、歩行者Ｍの顔照合結果と対応付けられた歩行者Ｍの動線を用いて入れ替わりを判定し、その判定結果に応じて通行制御することで入れ替りを防止し、セキュリティを著しく高めることができる。

次に、第５の実施の形態について説明する。
図２４は、第５の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ５０１、第１の顔領域検出手段としての第１の顔領域検出部５０２、第２の顔領域検出手段としての第２の顔領域検出部５０３、顔領域蓄積手段としての顔領域画像蓄積部５０４、顔特徴抽出部５０５、顔照合辞書部５０６、顔照合部５０７、および、ゲート制御部５０８を有して構成されている。

なお、上記各構成要素のうち、照合画像取得用のカメラ５０１、顔特徴抽出部５０５、顔照合辞書部５０６、および、ゲート制御部５０８は、前述した第１の実施の形態（図１）における照合画像取得用のカメラ１０１、顔特徴抽出部１０７、顔照合辞書部１０８、ゲート制御部１１６と同様であることから説明は省略し、第１の実施の形態と異なる部分についてだけ説明する。

第１の顔領域検出部５０２は、カメラ５０１により撮像された画像から歩行者Ｍの顔領域の候補を検出するもので、たとえば、第１の実施例で説明した変化検出部１０２、頭部検出部１０３、頭部追跡部１０４、顔候補領域検出部１０５から構成することで実現可能であり、よって説明は省略する。検出した顔領域は第２の顔領域検出部５０３に送られる。

第２の顔領域検出部５０３は、第１の顔領域検出部５０２により検出された顔候補領域から認証対象となる顔領域を検出するもので、たとえば、第１の実施例で説明した顔領域検出部１０６から構成することで実現可能であり、よって説明は省略する。検出した顔領域は顔領域画像蓄積部５０４に送られる。

顔領域画像蓄積部５０４は、第２の顔領域検出部５０３により検出された顔領域の画像をあらかじめ定められた複数個蓄積するもので、蓄積終了条件を満たすまで顔領域の画像を蓄積する。ここに、蓄積終了条件とは、たとえば、顔領域の画像の数が必要数揃った場合であり、他にも検出した顔領域の画像のサイズが一定値以上になった場合などが考えられる。

顔照合部５０７は、顔特徴抽出部５０５で抽出した顔特徴情報と顔照合辞書部５０６にあらかじめ記憶された登録顔情報とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する。

以下、図２５に示すフローチャートに基づき全体的な処理の流れについて説明する。なお、制御方法は、図１１に示した表示認証制御部１１７と基本的に同じであるので、簡単に説明する。

まず、カメラ５０１により歩行者Ｍの顔を含む画像を取得し（ステップＳ７１）、第１の顔領域検出部５０２へ送る。第１の顔領域検出部５０２は、カメラ５０１により取得された画像から歩行者Ｍの顔領域の候補を検出し（ステップＳ７２）、第２の顔領域検出部５０３へ送る。

第２の顔領域検出部５０３は、第１の顔領域検出部５０２により検出された顔候補領域から認証対象となる顔領域を検出し（ステップＳ７３）、顔領域画像蓄積部５０４へ送る。顔領域画像蓄積部５０４は、第２の顔領域検出部５０３により検出された顔領域の画像を、蓄積終了条件を満たすまで蓄積する（ステップＳ７４，Ｓ７５）。

検出された顔領域の画像を蓄積終了条件を満たすまで蓄積すると、顔特徴抽出部５０５により、顔領域画像蓄積部５０４に蓄積された複数の顔領域画像に対しそれぞれ特徴情報の抽出を行ない（ステップＳ７６）、顔照合部５０７へ送る。

顔照合部５０７は、抽出された各特徴情報を顔照合辞書部５０６にあらかじめ記憶された登録顔情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し（ステップＳ７７）、その判定結果をゲート制御部５０８へ送る。ゲート制御部５０８は、顔照合部５０７の判定結果に応じて人物認証の可否を判定し、人物認証の可否判定に基づきゲート装置３を制御する（ステップＳ７８）。

以上説明したように、上記第５の実施の形態によれば、第１の顔領域検出部と第２の顔領域検出部を利用し、複数個の顔領域画像を用いて顔照合を行なうことで、歩行動作で生じる顔向きの変化によるパターンの変動を吸収し、高速かつ精度よく歩行者の顔認証ができる。

なお、上記した第１〜第５の実施の形態を適宜組み合わせることも可能である。これにより、組み合わせた実施の形態夫々の作用効果を得ることができる。例えば、第１の実施の形態と第５の実施の形態を組み合わせる場合、図１１のＳ１の処理として、図２５のＳ１〜Ｓ７８（ゲート制御は除く）の処理が適用される。また、第３の実施の形態と第５の実施の形態を組み合わせる場合、図１７のＳ２１の処理として、図２５のＳ１〜Ｓ７８（ゲート制御は除く）の処理が適用される。また、第４の実施の形態と第５の実施の形態を組み合わせる場合、図２３のＳ５１の処理として、図２５のＳ１〜Ｓ７８（ゲート制御は除く）の処理が適用される。

以下に、本発明の効果についてまとめる。

（１）本発明によれば、歩行者の動線を用いて撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。

（２）本発明によれば、歩行者の歩行速度から撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。

（３）本発明によれば、歩行者の判定結果と対応付けられた動線を用いて歩行者の入れ替わりを判定することで入れ替りを防止し、セキュリティ性がより高まる顔認証装置、顔認証方法および入退場管理装置を提供できる。

（４）本発明によれば、第１の顔検出手段と第２の顔検出手段を利用し、複数の顔領域画像を用いて顔照合処理を行なうことで、歩行動作で生じる顔向き変化によるパターンの変動を吸収し、高速かつ精度よく歩行者の顔認証ができる顔認証装置、顔認証方法および入退場管理装置を提供できる。

本発明の第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 顔認証装置の設置例を説明する模式図である。 顔認証表示部における表示画面例を示す図。 顔検索表示部における表示画面例を示す図。 頭部検出処理を説明するための図。 頭部追跡処理を説明するための図。 動線抽出処理を説明するための図。 動線比較処理を説明するための図。 ゲート制御部の処理の流れの一例を説明するフローチャート。 ゲート制御部の処理の流れの別例を説明するフローチャート。 表示認証制御部の処理の流れを説明するフローチャート。 顔候補領域検出処理の流れを説明するフローチャート。 他の顔候補領域検出処理の流れを説明するフローチャート。 顔照合処理の流れを説明するフローチャート。 本発明の第２の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を要部のみ示すブロック図。 本発明の第３の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 表示認証制御部の処理の流れを説明するフローチャート。 本発明の第４の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 通行者確認領域に関する説明図。 顔照合結果と動線との対応付けを説明するための図。 入れ替り判定処理の流れを説明するフローチャート。 入れ替り判定の具体例に関する説明図。 表示認証制御部の処理の流れを説明するフローチャート。 本発明の第５の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 全体的な処理の流れを説明するフローチャート。

符号の説明

Ｍ…歩行者、１…通行路、２…入退場対象エリア（部屋や施設等）、３…ゲート装置（入退場用ゲート）、１０１…照合画像取得用のビデオカメラ（取得手段）、１０２変化検出部、１０３頭部検出部、１０４頭部追跡部、１０５顔候補領域検出部、１０６顔領域検出部（顔検出手段）、１０７顔特徴抽出部、１０８顔照合辞書部、１０９顔照合部（顔照合手段）、１１０監視画像取得用のビデオカメラ、１１１動線抽出部（動線抽出手段）、１１２基準動線記憶部、１１３動線比較部（動線比較手段）、１１４顔認証表示部、１１５顔検索表示部、１１６ゲート制御部（ゲート制御手段）、１１７表示認証制御部。

Claims (20)

1. 移動する人物の少なくとも顔を含む画像を取得する取得手段と、
   前記取得手段により取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出する顔検出手段と、
   前記顔検出手段により検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合する顔照合手段と、
   前記顔照合手段による照合結果に基づき前記人物を認証する認証手段と、
   を備えたことを特徴とする顔認証装置。
2. 前記顔照合手段は、前記検出された顔領域の画像と前記登録顔情報とを照合して両者の類似度を算出し、
   前記認証手段は、前記算出された類似度と判定用閾値と比較し、比較結果に基づき前記人物があらかじめ登録された人物であるか否かを判定する、
   ことを特徴とする請求項１に記載の顔認証装置。
3. 前記人物の動線を抽出する動線抽出手段と、
   前記動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較する比較手段と、
   前記比較手段による比較結果に基づき前記判定用閾値を変更する判定用閾値変更手段と、
   を備えたことを特徴とする請求項２に記載の顔認証装置。
4. 前記認証手段により前記人物があらかじめ登録された人物であると判定された場合、前記動線抽出手段により抽出された動線に基づき前記基準動線を更新する基準動線更新手段を備えたことを特徴とする請求項３に記載の顔認証装置。
5. 前記人物の移動速度を計測する移動速度計測手段と、
   前記移動速度計測手段により計測された移動速度に基づき前記判定用閾値を変更する判定用閾値変更手段と、
   を具備したことを特徴とする請求項２に記載の顔認証装置。
6. 前記人物の動線を抽出する動線抽出手段と、
   前記動線抽出手段により抽出された動線と前記顔照合手段の人物判定結果とを対応付け、人物判定結果と対応付けられた動線に基づき人物の入れ替りを判定する人物入れ替り判定手段と、
   を具備したことを特徴とする請求項２に記載の顔認証装置。
7. 前記顔検出手段は、
   前記取得手段により取得された画像から前記人物の顔領域候補を検出する第１の顔検出手段と、
   前記第１の顔検出手段により検出された顔領域候補から顔領域を検出する第２の顔検出手段と、
   を備え、
   前記顔照合手段は、前記第２の顔検出手段により検出される顔領域の画像と前記登録顔情報とを照合する、
   ことを特徴とする請求項１に記載の顔認証装置。
8. 移動する人物の少なくとも顔を含む画像を取得し、
   前記取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出し、
   前記検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合し、
   照合結果に基づき前記人物を認証する、
   ことを特徴とする顔認証方法。
9. 前記検出された顔領域の画像と前記登録顔情報とを照合して両者の類似度を算出し、
   前記算出された類似度と判定用閾値と比較し、比較結果に基づき前記人物があらかじめ登録された人物であるか否かを判定する、
   ことを特徴とする請求項８に記載の顔認証方法。
10. 前記人物の動線を抽出し、
    前記抽出された動線とあらかじめ設定された基準動線とを比較し、
    比較結果に基づき前記判定用閾値を変更する、
    ことを特徴とする請求項９に記載の顔認証方法。
11. 前記人物があらかじめ登録された人物であると判定された場合、前記抽出された動線に基づき前記基準動線を更新することを特徴とする請求項１０に記載の顔認証方法。
12. 前記人物の移動速度を計測し、
    前記計測された移動速度に基づき前記判定用閾値を変更する、
    ことを特徴とする請求項９に記載の顔認証方法。
13. 前記人物の動線を抽出し、
    前記抽出された動線と人物判定結果とを対応付け、人物判定結果と対応付けられた動線に基づき人物の入れ替りを判定する、
    ことを特徴とする請求項９に記載の顔認証方法。
14. 前記顔領域の検出により得られる顔領域の画像と前記登録顔情報とを照合することを特徴とする請求項８に記載の顔認証方法。
15. 移動する人物の少なくとも顔を含む画像を取得する取得手段と、
    前記取得手段により取得された画像から前記人物の顔領域候補を検出し、この検出された顔領域候補から顔領域を検出する顔検出手段と、
    前記顔検出手段により検出された顔領域の画像とあらかじめ記憶された登録顔情報とを照合する顔照合手段と、
    前記顔照合手段による照合結果に基づき前記人物を認証する認証手段と、
    前記認証手段による認証結果に基づき入退場用ゲートの開閉を制御するゲート制御手段と、
    を備えたことを特徴とする入退場管理装置。
16. 前記顔照合手段は、前記検出された顔領域の画像と前記登録顔情報とを照合して両者の類似度を算出し、
    前記認証手段は、前記算出された類似度と判定用閾値と比較し、比較結果に基づき前記人物があらかじめ登録された人物であるか否かを判定する、
    ことを特徴とする請求項１５に記載の入退場管理装置。
17. 前記人物の動線を抽出する動線抽出手段と、
    前記動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較する比較手段と、
    前記比較手段による比較結果に基づき前記判定用閾値を変更する判定用閾値変更手段と、
    を備えたことを特徴とする請求項１６に記載の入退場管理装置。
18. 前記認証手段により前記人物があらかじめ登録された人物であると判定された場合、前記動線抽出手段により抽出された動線に基づき前記基準動線を更新する基準動線更新手段を備えたことを特徴とする請求項１７に記載の入退場管理装置。
19. 前記人物の移動速度を計測する移動速度計測手段と、
    前記移動速度計測手段により計測された移動速度に基づき前記判定用閾値を変更する判定用閾値変更手段と、
    を備えたことを特徴とする請求項１６に記載の入退場管理装置。
20. 前記顔検出手段は、
    前記取得手段により取得された画像から前記人物の顔領域候補を検出する第１の顔検出手段と、
    前記第１の顔検出手段により検出された顔領域候補から顔領域を検出する第２の顔検出手段と、
    を備え、
    前記顔照合手段は、前記第２の顔検出手段により検出される顔領域の画像と前記登録顔情報とを照合する、
    ことを特徴とする請求項１５に記載の入退場管理装置。

Images