JP2006236244A - 顔認証装置および入退場管理装置 - Google Patents

Abstract

【課題】移動する人物の正面の顔画像を安定して取得することができ、認証性能が著しく向上する顔認証装置および入退場管理装置を提供する。
【解決手段】通行帯１を図示矢印ａ方向に移動して入退場対象エリア（部屋や施設等）２に設けられたドア（入退場用ゲート）３に向う歩行者Ｍの顔をカメラ１１，１２で撮像する。具体的には、通行帯１におけるＣ地点からＡ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顏を含む画像をカメラ１１，１２で撮像し、Ａ地点からドア３まで歩行者Ｍが到達する間に、取得した画像によって、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはドア３を開錠する。
【選択図】 図２

Description

本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置、および、この顔認証装置を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。

一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア（部屋や施設等）のドアを開放する（たとえば、特許文献１参照）。

この種の入退場管理装置（顔認証装置）にあっては、上記したように、認証する人物がカメラの前に立ち止まることで、当該人物の顔を撮像するようになっているため、認証対象が歩行者（移動する人物）であって、当該歩行者がドアに接近するまでに顔認証を行なう目的に使用する場合、このような歩行する人物の顔を撮像することはできないという問題がある。

これらの目的で用いる場合、歩行者が誰であるかの特徴がよくわかるように、顔の正面をとらえるようにすることが望ましい。歩行者の顔画像を撮像する方法の公知例としては、たとえば、特許文献２および特許文献３に開示された技術がある。

特許文献２の技術は、人物が歩行するときは、やや下を向く傾向があるため、顔を下から撮像した方が、正面の顔をとらえた画像を取得しやすいことに着目している。具体的には、歩行者の顔をとらえるように、通路の左右の顔よりも低い位置から、やや上向きにカメラを配置している。

特許文献３の技術は、ドアが開いたときに歩行者の顔をとらえるようにカメラを配置し、ドアが開いた瞬間の画像を取得するというものである。人物がドアを通過する際に正面を向くという傾向があることに着目した技術である。
特開２００１−２６６１５２号公報 特開２０００−３３１２０７号公報 特開２００２−１４０６９９号公報

しかし、従来の入退場管理装置（顔認証装置）にあっては、カメラのレンズの前に一旦立ち止まってから認証しなければならず、利用者にとって使いにくいという問題がある。
また、従来の歩行者の顔画像の撮像方法には次の３つの問題点が挙げられる。
（１）俯いて歩いている人物の顏の特徴は捉えやすいが、真っ直ぐ前を向いている人物の顏については下から撮像した画像になり、正面の顏画像が得られない。
すなわち、特許文献２の方法では、カメラを歩行者の身長よりも低い位置から見上げるように撮像することにより、俯いている歩行者に対しては、正面に近い顏画像が得られる可能性が高くなるが、逆に、水平方向を向いて歩いている歩行者については、正面の顏画像を撮像しにくくなるという問題がある。

（２）画像として正面の顏画像が一瞬しか撮像できないため、得られる画像の枚数も少ない。
すなわち、特許文献３の方法では、ドアが開く一瞬のみを撮像するため、正面に近い顏画像が得られるのは一瞬のみで、得られる画像の枚数も少ない。正面の顏画像は、個人を識別する上で重要な特徴を多く含むため、正面に近い顏画像の撮像枚数が少ない場合には、認証の精度も低下するという傾向がある。

（３）顏を撮像されている人物が誰かがわかりにくく、顏で認証を行なおうとする目的では使用しにくい。
すなわち、特許文献２、３の方法は、利用者にカメラを意識させない撮像方法である。顏認証を行なうことを前提としている場合には、自分が顏を撮像され、認証中であることがわかった方が、利用者にとっては装置の状態を把握しやすいとい点においてよい。しかし、たとえば、従来技術では、カメラを意識させないため、顏がうまく撮像できず、認証に失敗した場合に、自分が認証に失敗したのか、あるいは、前を歩いている人物が認証失敗したのかなど、具体的な理由がわかりにくく、利用者としてどのように対処してよいのかわからないという問題がある。

そこで、本発明は、移動する人物の正面の顔画像を安定して取得することができ、認証性能が著しく向上する顔認証装置および入退場管理装置を提供することを目的とする。
また、本発明は、移動する人物が自分は認証対象になっているか否かを容易に確認できる顔認証装置および入退場管理装置を提供することを目的とする。

本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段とを具備し、前記撮像手段および表示手段は、前記移動する人物が前記特定の位置から一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする。

また、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物と入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段と、前記認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを具備し、前記撮像手段および表示手段は、前記移動する人物が前記入退場用ゲートから一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする。

本発明によれば、移動する人物の正面の顔画像を安定して取得することができ、認証性能が著しく向上する顔認証装置および入退場管理装置を提供できる。

また、本発明によれば、移動する人物が自分は認証対象になっているか否かを容易に確認できる顔認証装置および入退場管理装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、本発明の概要について簡単に説明する。本発明では、たとえば、図２（ａ）に示すように、通行帯１を図示矢印ａ方向に移動して入退場対象エリア（部屋や施設等）２に設けられたドア（入退場用ゲート）３に向う歩行者Ｍの顔をカメラで撮像する。具体的には、通行帯１におけるＣ地点からＡ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顏を含む画像をカメラで撮像し、Ａ地点からドア３まで歩行者Ｍが到達する間に、取得した画像によって、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはドア３を開錠する。ここに、図２（ａ）に斜線で示した領域のように、歩行帯１におけるＣ地点からＡ地点で囲まれた範囲を撮像対象領域４と呼ぶことにする。
なお、図２（ｂ）は、ドア３がゲート装置５になった点が図２（ａ）と異なり、その他は図２（ａ）と同一である。

図１は、本実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を撮像する撮像手段としての第１、第２のビデオカメラ（以降、単にカメラと略称する）１１，１２、第１、第２のカメラ１１，１２により撮像された各画像からそれぞれ歩行者Ｍの顔領域を検出する顔検出手段としての顔検出部１３、歩行者Ｍの第１、第２のカメラ１１，１２からの相対的な距離を計測する距離計測手段としての顏距離計測部１４、認証対象となる最適な顔領域を選択する認証対象選択手段としての認証対象選択部１５、辞書登録操作などを行なう操作部１６、複数の辞書情報があらかじめ登録（記憶）されている辞書記憶手段としての顔認証辞書１７、歩行者Ｍの少なくとも顔を含む画像を近距離で撮像する撮像手段としての近距離カメラ１８、認証対象選択部１５により選択された顔領域の画像（あるいは、近距離カメラ１８で撮像された顔画像）と顔認証辞書１７にあらかじめ登録された辞書情報とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるかを判定する認証手段としての顔認証部１９、顔認証部１９の判定結果に基づき前記ドア３（または、ゲート装置５）を制御するゲート制御手段としてのゲート制御部２０、歩行者Ｍに対し現在の顔認証の状況を表示する表示手段としての顔認証表示部２１、歩行者Ｍに対し顔認証表示部２１を目視するように促す指示表示を行なう視線誘導表示手段としての視線誘導表示部２２、および、全体的な制御を司る制御手段としての表示認証制御部２３を有して構成されている。

以下、各構成要素について詳細に説明する。
顔認証表示部２１は、たとえば、図２に示すように、ドア３（または、ゲート装置５）の近傍に設置されていて、図３に示すように、液晶表示器３１および液晶表示器３１の周縁部に配設された照明灯（たとえば、蛍光灯）３２，３３，３４，３５から構成されている。照明灯３２，３３，３４，３５は通常は消灯してあり、利用者（歩行者Ｍ）が顔認証表示部２１の直前で辞書登録を行なう場合にのみ点灯するようになっており、詳細については後述する。顏認証表示部２１の設置高さは、歩行者Ｍの身長の平均値程度にする。

顔認証表示部２１は、歩行者Ｍに対して、現在の顔認証の状況を表示する。具体的には、歩行者Ｍがドア３から遠く顔が検出できていない場合、または、検出しはじめの場合には、図４（ａ）に示すように、第１のカメラ１１から得られる全体の画像４１を表示する。図４（ａ）における枠４２は、検出された顔の領域を示す。

顔が検出され、歩行者Ｍがドア３から一定の距離まで近付いた場合、具体的には図２のＢ地点よりも近付いた場合には、図４（ｂ）に示すように、検出した顔画像を拡大して表示する。

さらに、歩行者Ｍがドア３に対して接近した場合、具体的には図２のＡ地点よりも接近した場合には、第１のカメラ１１から得られた画像からあらがめ登録された人物か否かの判定を開始する。このとき、図４（ｃ）に示すように、「認証中」という案内文を表示する。

認証が終了し、あらかじめ登録された人物であると判定された場合には、当該歩行者Ｍに対して、図４（ｄ）に示すように、入場が許可されたことを表わす案内文を表示する。そうでない場合には、歩行者Ｍに対して、図４（ｅ）に示すように、入場が拒否されたことを表わす案内文を表示する。図４（ｅ）の表示については、後述する表示認証制御部２３の説明において述べる。

視線誘導表示部２２は、歩行者Ｍが顔認証表示部２１を目視することを促す表示部であり、ＬＥＤなどの発光素子からなる顔認証表示部２１の方向に向けた矢印パターンを用いる。設置位置は、歩行者Ｍの正面方向になるようにする。たとえば、図２（ａ）の場合はドア３に設置し、図２（ｂ）の場合は通行帯１から顔認証表示部２１が設置された壁面に向けて設置する。

歩行者Ｍがドア３（または、ゲート装置５）から一定距離離れている場合、具体的には、図２のＢ地点とＣ地点の間に歩行者Ｍがいる場合には、視線誘導表示部２２を点滅動作させ、歩行者Ｍに対し顔認証表示部２１を目視するように誘導する。歩行者Ｍがさらにドア３（または、ゲート装置５）に対して近付いた場合、具体的には、図２のＢ地点とＡ地点の間に歩行者Ｍがいる場合には、視線誘導表示部２２の点滅動作を停止させ、消灯する。これは、歩行者Ｍがある程度ドア３（または、ゲート装置５）から遠いときには、顏を顏認証表示部２１に向けるようにするために、視線誘導表示部２２が必要であるが、一旦気づいた後では、逆に視線誘導表示部２２が点滅していると、これを見てしまい、正面の顏画像が得られなくなる可能性があるためである。

操作部１６は、たとえば、図２に示すように、顔認証表示部２１の下方部位に設置されていて、歩行者Ｍが顏認証表示部２１の前に立ち止まって認証操作を行なう場合や、辞書登録操作でＩＤ番号およびパスワード等の入力に用いるもので、キーボードなどで構成されている。

近距離カメラ１８は、たとえば、図２に示すように、顔認証表示部２１と操作部１６との間に設置されていて、顔認証表示部２１の直前にいる人物（歩行者Ｍ）の顔画像を撮像するためのカメラである。操作部１６と同様、歩行者Ｍが顏認証表示部２１の前に立ち止まって操作を行なう場合などに用いられる。
歩行者Ｍが、顔認証表示部２１の前に立ち止まって操作する例としては、歩行者Ｍがドア３（または、ゲート装置５）に接近するまでの顏認証に失敗し、再度、顏認証表示部２１の前に立ち止まって詳細に顏認証を行なう場合がある。

第１、第２のカメラ１１，１２は、共通の視野を持つように設置されていて、共に歩行者Ｍの顔画像を撮像する。第１のカメラ１１は、歩行者Ｍが顔認証表示部２１を目視した場合に、正面の顔画像を撮像するためのカメラであり、第２のカメラ１２は、歩行者Ｍが顔認証表示部２１を目視せずに俯いて歩いた場合に、正面の顔画像を撮像するためのカメラである。また、第１、第２のカメラ１１，１２は、ステレオ視により、歩行者Ｍのカメラからの相対的な位置を計測する目的にも用いられる。

第１、第２のカメラ１１，１２は、たとえば、図２に示すように、通行帯１の側部でＡ地点とドア３（または、ゲート装置５）との間に垂直方向に並設されている。第１のカメラ１１の設置高さは、顔認証表示部２１とほぼ同じ高さに設定されている。ただし、第１のカメラ１１によって顔認証表示部２１が隠れないようにするため、顔認証表示部２１よりも若干低めに設定する。そして、上から見た場合に、図５に示すように、撮像対象領域４内の歩行者Ｍから見て、第１のカメラ１１および顔認証表示部２１が一直線上になるように配設されている。
第２のカメラ１２の設置高さは、第１のカメラ１１よりも低い位置に、やや下から上を見上げるように設置されている。

顔検出部１３は、第１、第２のカメラ１１，１２から得られる各画像に対して、それぞれ顔の存在する領域を検出する。顏領域の検出処理には、たとえば、文献（三田，金子，堀，“微小な差異を含む画像の照合に適した空間差分確率テンプレートの提案”，第９会画像センシングシンポジウム講演論文集，ＳＳＩＩ０３，２００３）に記載されている手法を用いる。これは、事前に顏の学習パターンから検出用辞書パターンを作成しておき、辞書パターンと高い類似度を持つパターンを入力画像中から探す手法である。

顏領域の具体的な検出例を図６に示す。図６（ａ）は第１のカメラ１１からの画像であり、図６（ｂ）は第２のカメラ１２からの画像であり、顏検出部１３によって検出された顏領域が枠６１，６２，６３，６４で表示されている。

顏距離計測部１４は、第１、第２のカメラ１１，１２から得られた各画像からそれぞれ検出された顏領域同士を対応付けることにより視差を求め、第１、第２のカメラ１１，１２から歩行者Ｍの顏までの距離を計測する。顏領域の対応付けは、たとえば、周知のテンプレートパターンマッチング法により求める。

第１のカメラ１１と第２のカメラ１２は垂直方向に並んでいるので、第１のカメラ１１からの画像で検出された顏領域について、第２のカメラ１２からの画像を縦方向に探索すれば、対応する顏領域が見付かる。具体的には、第１のカメラ１１の画像から検出された顏領域をテンプレートとして、第２のカメラ１２からの画像を縦方向に探索し、類似度が最大になった位置にある顏領域を対応づける。
図７に顔領域検出結果の対応付けの関係を示す。同時に対応付けた顔領域の組で正面顏に近い方を選択する。これは、具体的には、顔検出部１３で計算された検出用辞書パターンとの類似度が高い方を選ぶ。選ばれた顔領域の方が顔認証部１９で認証を行なう際に用いられる。なお、図７（ａ）は第１のカメラ１１からの画像であり、図７（ｂ）は第２のカメラ１２からの画像であり、図６（ａ）（ｂ）に対応している。

顏領域の対応付けの関係と、第１、第２のカメラ１１，１２の位置関係とから、第１、第２のカメラ１１，１２と歩行者Ｍの顏との位置関係が計算できる。この計算は、たとえば、文献（“３次元ビジョン”，共立出版，徐剛他著，７章）の手法等により行なう。具体的には、第１のカメラ１１の画像上での顏の位置から第１のカメラ１１に対する顏の方向がわかり、また、視差から、第１のカメラ１１からの距離がわかる。したがって、第１のカメラ１１の位置を基準とした歩行者Ｍの顏の三次元的な位置がわかる。

顏距離計測部１４は、対応がとれた顏領域の組と、ドア３（または、ゲート装置５）の位置を基準とした歩行者Ｍの顏の三次元的な位置とを出力する。歩行者Ｍの顏のドア３（または、ゲート装置５）からの位置は、あらかじめ第１のカメラ１１とドア３（または、ゲート装置５）との位置関係を求めておき、歩行者Ｍの顏と第１のカメラ１１からの位置関係により求める。

認証対象選択部１５は、顏距離計測部１４からの出力である顏領域（顔画像）と顏の三次元的な位置情報とを得て、顏認証の対象となる顏領域を決定する。顏領域が撮像対象領域４内にある人物のものである場合には、その顏領域を認証対象とする。撮像対象領域４内に存在する人物が複数存在する場合には、ドア３に対して近い方の人物の顏領域を優先して認証対象とする。

認証対象として選択した顏領域の三次元的な位置が、前のフレームから急激に変化した場合には、認証対象の人物が入れ替わったとして認証番号をインクリメントする。ここに、認証顏番号とは、認証対象となった人物の順番を表わす番号であり、初期値は「０」で、新たな人物が認証対象となった場合にインクリメントする。認証対象選択部１５の出力を受けて処理を行なう表示認証制御部２３では、この認証番号の変化により、認証対象の人物が入れ替わったことを知る。

顔認証部１９は、認証対象選択部１５からの顔領域内の画像（あるいは、近距離カメラ１８で撮像された顔画像）があらかじめ登録されたものか否かを判定する。具体的には、たとえば、特開２００１−２６６１５２号公報に記載されているように、あらかじめ登録者（歩行者）の顔画像を用意し、その顔画像から抽出した固有の特徴情報を辞書情報として顔認識辞書１７に記憶（登録）しておく。そして、認証対象選択部１５で選択された顔領域の画像（特徴情報）と顔認識辞書１７にあらかじめ登録された辞書情報とを照合して両者の類似度を求め、求めた類似度があらかじめ設定された閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。

ゲート制御部２０は、図２（ａ）のように制御する対象がドア３の場合は、表示認証制御部２３からの通過可能信号がオンのとき開錠を行なう。図２（ｂ）のように制御する対象がゲート装置５の場合には、通行可能信号がオフにもかかわらず、ゲート装置５を通過したときに警告音を出したり、あるいは、ゲート装置５に設けられているフラッパを閉じ、通行を阻止する。具体的には、図８に示すフローチャートのように制御を行なう。

表示認証制御部２３は、本装置全体の制御を行なうもので、処理の流れを図９および図１０のフローチャートに示す。以下、図９および図１０のフローチャートについて説明する。

まず、認証対象選択部１５の選択結果を取得し（ステップＳ１）、認証対象の人物が存在するか否かをチェックする（ステップＳ２）。このチェックの結果、誰も存在しない場合には、第１のカメラ１１から得られる画像を顔認証表示部２１に表示し（ステップＳ３）、操作部１６で何かキー操作されたか否かをチェックする（ステップＳ４）。このチェックの結果、何もキー操作がなければステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ２におけるチェックの結果、顏認証対象の人物（歩行者Ｍ）が存在する場合、当該歩行者Ｍは通行帯１のＣ地点からＢ地点の間にいるか否かをチェックする（ステップＳ５）。このチェックの結果、認証対象の人物、つまり、歩行者ＭがＣ地点からＢ地点の間にいる場合には、図４（ａ）に示すように、顔認証表示部２１に第１のカメラ１１から得られる全体の画像４１を表示するとともに、このとき検出された顔領域を示す枠４２を表示する（ステップＳ６）。
次に、視線誘導表示部２２を点滅動作させて（ステップＳ７）、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ５におけるチェックの結果、歩行者ＭがＣ地点からＢ地点の間にいない場合には、当該歩行者Ｍは通行帯１のＢ地点からＡ地点の間にいるか否かをチェックする（ステップＳ８）。このチェックの結果、当該歩行者ＭがＢ地点からＡ地点の間にいる場合には、図４（ｂ）に示すように、顔認証表示部２１に検出した顔画像を拡大して表示する（ステップＳ９）。
次に、視線誘導表示部２２を消灯して（ステップＳ１０）、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ８におけるチェックの結果、当該歩行者ＭがＢ地点からＡ地点の間にいない場合には、当該歩行者Ｍは通行帯１のＡ地点からドア３の間にいるか否かをチェックする（ステップＳ１１）。このチェックの結果、当該歩行者Ｍは通行帯１のＡ地点からドア３の間にいない場合には、第１のカメラ１１から得られる画像を顔認証表示部２１に表示して（ステップＳ１２）、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ１１におけるチェックの結果、当該歩行者Ｍは通行帯１のＡ地点からドア３の間にいる場合には、検出された認証対象の顏画像が認証に最低限必要な一定枚数（Ｎ＿ＩＭＧ枚）以上収集できたか否かをチェックする（ステップＳ１３）。このチェックの結果、認証対象の顏画像が一定枚数（Ｎ＿ＩＭＧ枚）以上収集できない場合には、顔認証表示部２１に認証に失敗したことを表わすメッセージを表示して（ステップＳ１４）、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ１３におけるチェックの結果、認証対象の顏画像が一定枚数（Ｎ＿ＩＭＧ枚）以上収集できた場合には、認証対象選択部１５で選択された顔領域の画像（顔画像）を顏認証部１９へ送り、顏認証処理を開始する（ステップＳ１５）。このとき、図４（ｃ）に示すように、顔認証表示部２１に「認証中」のメッセージを表示し（ステップＳ１６）、顏認証処理が終了するまで待機する（ステップＳ１７）。

顏認証処理が終了すると、認証結果が成功か失敗かをチェックし（ステップＳ１８）、認証結果が成功であれば、図４（ｄ）に示すように、顔認証表示部２１に「認証ＯＫ 通過して下さい」というメッセージを表示するとともに（ステップＳ１９）、ゲート制御部２０への通行可能信号を一定時間オンにする（ステップＳ２０）。これにより、歩行者Ｍはドア３またはゲート装置５を通過できる。その後、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ１８におけるチェックの結果、認証結果が失敗であれば、図４（ｅ）に示すように、顔認証表示部２１に「認証ＮＧ」というメッセージを一定時間表示する（ステップＳ２１）。
次に、図４（ｆ）に示すように、顔認証表示部２１に検出した顔画像を表示するとともに、「認証ＮＧ 登録を行なう場合には何かキーを押して下さい」という歩行者にキー入力を促すようなメッセージを一定時間表示し（ステップＳ２２）、一定時間内に何も操作部１６のキーが押されなければ（ステップＳ２３）、ステップＳ１に戻り、上記同様な動作を繰り返す。

一定時間内に操作部１６のキーが押されれば（ステップＳ２３）、当該歩行者Ｍに対しユーザＩＤとパスワードを入力するように案内することで、ユーザＩＤとパスワードを入力させる（ステップＳ２４）。
ここで、ユーザＩＤとパスワードが入力されると、当該ユーザＩＤとパスワードが正しいか否かをチェックする（ステップＳ２５）。このチェックの結果、ユーザＩＤとパスワードが正しくなければ、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ２５におけるチェックの結果、ユーザＩＤとパスワードが正しければ、当該歩行者Ｍがドア３（または、ゲート装置５）に近付くまでに検出された顏画像により、後述する辞書情報の登録処理を行なう（ステップＳ２６）。次に、ゲート制御部２０への通行可能信号を一定時間オンにして（ステップＳ２７）、ステップＳ１に戻り、上記同様な動作を繰り返す。

なお、ステップＳ４におけるチェックの結果、何かキーが押された場合、辞書情報の登録処理を行なう（ステップＳ２８）。この場合の具体例としては、歩行者Ｍが撮像対象領域４に存在しないような状況である。

ここで、ステップＳ２８における辞書情報の登録処理について図１１に示すフローチャートを参照して説明する。まず、ＩＤとパスワードの入力を受付ける（ステップＳ３１）。次に、入力されたＩＤとパスワードが正しいか否かをチェックし（ステップＳ３２）、正しくなければ当該登録処理を終了する。

ステップＳ３２におけるチェックの結果、ユーザＩＤとパスワードが正しければ、当該顔照合装置の撮像条件等にあわせた撮像条件を生成して、近距離用カメラ１８で歩行者Ｍの顔を撮像し、顔画像を取得する（ステップＳ３３）。次に、たとえば、得られた顔画像から固有の特徴情報を抽出し、この抽出した特徴情報を辞書情報として顔認識辞書１７に記憶（登録あるいは更新）し（ステップＳ３３）、当該登録処理を終了する。
なお、上記撮像条件としては、たとえば、顔認証装置周辺において、片方から強い光が差し込むことがある等が考えられる。この場合には、たとえば、顔認証表示部２１に設けられている照明灯を片側だけ明るくして、同様の状況を擬似的に再現する。

以上説明したように、上記実施の形態によれば、歩行者Ｍがドア３（ゲート装置５）から一定の距離の範囲にいる場合に、歩行者Ｍから見てカメラ１１，１２と顔認証表示部２１が一直線上に並ぶように配置して顏画像を撮像することにより、歩行者Ｍが顔認証表示部２１を見ることで、歩行者Ｍの正面からの顔画像を安定して撮像することができる。これにより、認証性能が著しく向上する。

また、歩行者Ｍがドア３から遠い場合にはカメラ１１からの全体の画像を表示するとともに、このときの歩行者Ｍの顏領域を枠で囲んで顔認証表示部２１に表示し、ドア３に一定距離接近したら顔画像を拡大して表示することで、歩行者Ｍは自分が認証対象になっているか否かを容易に確認できる。

また、ドア３の近傍に歩行者Ｍの顏画像を表示する顔認証表示部２１を置き、かつ、歩行者Ｍの正面（ドア３）に視線誘導表示部２２を置き、歩行者Ｍがドア３から遠いときのみ顔認証表示部２１を見るように促す指示を視線誘導表示部２２で出し、歩行者Ｍがドア３に一定距離近付いたら出していた指示を停止することで、歩行者Ｍがドア３から遠いときに正面の視線誘導表示部２２により歩行者Ｍが顔認証表示部２１に気づきやすくなり、俯くのをやめて顔認証表示部２１を見るようになる。しかも、正面の視線誘導表示部２２が顏表示用の顔認証表示部２１を見ることを促すことにより、顔認証表示部２１を見るようになる。

この結果、カメラ１１，１２で歩行者Ｍの正面の顔画像を撮像しやすくなる。また、ドア３にある程度近付くと、正面の視線誘導表示部２２消灯することにより、歩行者Ｍは顏表示用の顔認証表示部２１のみに注目するようになり、歩行者Ｍの正面の顔画像を安定して撮像することができる。これらにより、認証性能が著しく向上する。

また、２つのカメラ１１，１２を上下に置き、２つのカメラ１１，１２の視差から歩行者Ｍまでの距離を計測し、その距離に応じて認証処理および表示の制御を行ない、かつ、同時に下側のカメラ１２を用いて俯いている歩行者Ｍのより正面に近い顔画像を撮像し、顏認証を行なうことで、歩行者Ｍまでの距離を知ることができ、ドア３から歩行者Ｍまでの距離に応じた制御ができる。これにより、ユーザインタフェースがよくなる。これと同時に、歩行者Ｍが俯いている場合に、下側のカメラ１２で正面顔に近い画像を得ることができ、認証性能が著しく向上する。

さらに、歩行者Ｍがカメラ１１，１２に近付くまでに得られた画像によって顏認証を行ない、顔認証に失敗した場合は、得られた画像を用いて、ドア３の付近に設置した操作部１６を操作することで、辞書情報の登録または更新を行なうことができるる。これにより、認証に失敗した場合に歩行時の顔画像を効率よく登録に利用できる。

本発明の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。 顔認証装置の設置例を説明する模式図。 顔認証表示部の構成を概略的に示す図。 顔認証表示部における表示画面例を示す図。 顔認証表示部とカメラの配置関係を説明する模式図。 顔領域の検出例を説明する図。 顔領域検出結果の対応付けを説明する図。 ゲート制御部の処理の流れを説明するフローチャート。 表示認証制御部の処理の流れを説明するフローチャート。 表示認証制御部の処理の流れを説明するフローチャート。 辞書情報の登録処理の流れを説明するフローチャート。

符号の説明

Ｍ…歩行者、１…通行帯、２…入退場対象エリア（部屋や施設等）、３…ドア（入退場用ゲート）、４…撮像対象領域、５…ゲート装置（入退場用ゲート）、１１…第１のビデオカメラ（撮像手段）、１２…第２のビデオカメラ（撮像手段）、１３…顔検出部（顔検出手段）、１４…顏距離計測部（距離計測手段）、１５…認証対象選択部（認証対象選択手段）、１６…操作部、１７…顔認証辞書（辞書記憶手段）、１８…近距離カメラ（撮像手段）、１９…顔認証部（認証手段）、２０…ゲート制御部（ゲート制御手段）、２１…顔認証表示部（表示手段）、２２…視線誘導表示部（視線誘導表示手段）、２３…表示認証制御部（制御手段）。

Claims (16)

1. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
   前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
   この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
   前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段とを具備し、
   前記撮像手段および表示手段は、前記移動する人物が前記特定の位置から一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする顔認証装置。
2. 前記移動する人物の前記特定の位置からの距離を計測する距離計測手段をさらに具備し、
   前記表示手段は、前記距離計測手段の計測結果に基づき動作し、前記移動する人物が前記特定の位置から一定距離以上離れている場合には前記撮像手段により撮像された画像とともに当該人物の顔領域を矩形枠で表示し、前記移動する人物が前記特定の位置に一定距離以下接近した場合には当該人物の顔領域を拡大して表示することを特徴とする請求項１記載の顔認証装置。
3. 前記移動する人物の前記特定の位置からの距離を計測する距離計測手段と、
   前記移動する人物の正面方向で、前記特定の位置の近傍に設けられ、前記移動する人物に対し前記表示手段を目視するように促す指示表示を行なう視線誘導表示手段と、
   前記距離計測手段の計測結果に基づき動作し、前記移動する人物が前記特定の位置から一定距離以上離れている場合には前記視線誘導表示手段を動作させ、前記移動する人物が前記特定の位置に一定距離以下接近した場合には前記視線誘導表示手段の動作を停止させる制御手段と、
   をさらに具備したことを特徴とする請求項１記載の顔認証装置。
4. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
   前記移動する人物と特定の位置との間において垂直方向に並設され、当該移動する人物の少なくとも顔を含む画像を撮像する複数の撮像手段と、
   この複数の撮像手段により撮像された各画像からそれぞれ前記人物の顔領域を検出する顔検出手段と、
   前記複数の撮像手段により撮像された各画像に基づき当該人物の前記撮像手段からの相対的な距離を計測する距離計測手段と、
   前記顔検出手段の検出結果および前記距離計測手段の計測結果に基づき認証対象となる最適な顔領域を選択する認証対象選択手段と、
   この認証対象選択手段により選択された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
   を具備したことを特徴とする顔認証装置。
5. 前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段をさらに具備し、
   前記複数の撮像手段および表示手段は、前記移動する人物が前記特定の位置から一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする請求項４記載の顔認証装置。
6. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
   前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
   この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
   この認証手段による認証の結果、当該人物はあらかじめ登録された人物でないと判定された場合、当該人物に対し前記特定の位置の近傍に設けられた辞書登録手段を操作することで辞書情報の登録あるいは更新を行なうように案内する案内手段と、
   前記特定の位置の近傍に設けられ、前記案内手段による案内に基づき当該人物が操作することで当該認証時に得られた画像を用いて前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
   を具備したことを特徴とする顔認証装置。
7. 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
   前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
   この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
   この認証手段による認証の結果、当該人物はあらかじめ登録された人物でないと判定された場合、当該人物に対し前記特定の位置の近傍に設けられた操作手段を操作することで辞書情報の登録あるいは更新を行なうように案内する案内手段と、
   前記特定の位置の近傍に設けられ、前記案内手段による案内に基づき当該人物が前記操作手段を操作することで、当該人物が移動している間に前記顔検出手段により検出された顔領域の画像を用いて前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
   を具備したことを特徴とする顔認証装置。
8. 前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段をさらに具備し、
   前記撮像手段および表示手段は、前記移動する人物が前記特定の位置から一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする請求項６または請求項７記載の顔認証装置。
9. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
   前記移動する人物と入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
   この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
   前記特定の位置の近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段と、
   前記認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを具備し、
   前記撮像手段および表示手段は、前記移動する人物が前記入退場用ゲートから一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする入退場管理装置。
10. 前記移動する人物の前記入退場用ゲートからの距離を計測する距離計測手段をさらに具備し、
    前記表示手段は、前記距離計測手段の計測結果に基づき動作し、前記移動する人物が前記入退場用ゲートから一定距離以上離れている場合には前記撮像手段により撮像された画像とともに当該人物の顔領域を矩形枠で表示し、前記移動する人物が前記入退場用ゲートに一定距離以下接近した場合には当該人物の顔領域を拡大して表示することを特徴とする請求項９記載の入退場管理装置。
11. 前記移動する人物の前記入退場用ゲートからの距離を計測する距離計測手段と、
    前記移動する人物の正面方向で、前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し前記表示手段を目視するように促す指示表示を行なう視線誘導表示手段と、
    前記距離計測手段の計測結果に基づき動作し、前記移動する人物が前記入退場用ゲートから一定距離以上離れている場合には前記視線誘導表示手段を動作させ、前記移動する人物が前記入退場用ゲートに一定距離以下接近した場合には前記視線誘導表示手段の動作を停止させる制御手段と、
    をさらに具備したことを特徴とする請求項８記載の入退場管理装置。
12. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
    前記移動する人物と入退場用ゲートとの間において垂直方向に並設され、当該移動する人物の少なくとも顔を含む画像を撮像する複数の撮像手段と、
    この複数の撮像手段により撮像された各画像からそれぞれ前記人物の顔領域を検出する顔検出手段と、
    前記複数の撮像手段により撮像された各画像に基づき当該人物の前記撮像手段からの相対的な距離を計測する距離計測手段と、
    前記顔検出手段の検出結果および前記距離計測手段の計測結果に基づき認証対象となる最適な顔領域を選択する認証対象選択手段と、
    この認証対象選択手段により選択された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
    この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
    を具備したことを特徴とする入退場管理装置。
13. 前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段をさらに具備し、
    前記複数の撮像手段および表示手段は、前記移動する人物が前記入退場用ゲートから一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする請求項１２記載の入退場管理装置。
14. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
    前記移動する人物と入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
    この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
    この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
    この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
    前記認証手段による認証の結果、当該人物はあらかじめ登録された人物でないと判定された場合、当該人物に対し前記入退場用ゲートの近傍に設けられた辞書登録手段を操作することで辞書情報の登録あるいは更新を行なうように案内する案内手段と、
    前記入退場用ゲートの近傍に設けられ、前記案内手段による案内に基づき当該人物が操作することで当該認証時に得られた画像を用いて前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
    を具備したことを特徴とする入退場管理装置。
15. 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
    前記移動する人物と入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
    この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
    この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
    この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
    前記認証手段による認証の結果、当該人物はあらかじめ登録された人物でないと判定された場合、当該人物に対し前記入退場用ゲートの近傍に設けられた操作手段を操作することで辞書情報の登録あるいは更新を行なうように案内する案内手段と、
    前記入退場用ゲートの近傍に設けられ、前記案内手段による案内に基づき当該人物が前記操作手段を操作することで、当該人物が移動している間に前記顔検出手段により検出された顔領域の画像を用いて前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
    を具備したことを特徴とする入退場管理装置。
16. 前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し現在の顔認証の状況を表示する表示手段をさらに具備し、
    前記撮像手段および表示手段は、前記移動する人物が前記入退場用ゲートから一定の距離の範囲にいる場合に当該人物から見て一直線上に並ぶように配設されていることを特徴とする請求項１４または請求項１５記載の入退場管理装置。

Images