JP5808974B2

JP5808974B2 - 顔画像認証装置

Info

Publication number: JP5808974B2
Application number: JP2011166999A
Authority: JP
Inventors: 高田　直幸; 直幸高田; 健糸賀
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2011-07-29
Filing date: 2011-07-29
Publication date: 2015-11-10
Anticipated expiration: 2031-07-29
Also published as: JP2013030078A

Description

本発明は、顔画像認証装置に関し、特に、予め登録している顔画像について更新又は追加登録すべき利用者を検出する顔画像認証装置に関する。

顔画像の照合によって人物を認証する顔画像認証装置においては、カメラ等で監視領域を撮影した監視画像において照合の対象となる人物の顔が写っている部分である入力顔画像と、予め登録された登録人物の顔が写っている登録顔画像とを照合することにより、入力顔画像が登録人物のものであるか否かを判定する。しかしながら、撮影条件の違い、登録人物の加齢、髪型または化粧の状態等により入力顔画像が登録顔画像と大きく異なり、入力顔画像が登録人物のものであるにもかかわらず認証に失敗する場合があり、なかには認証のたびに失敗し、成功することの方が少ないという登録人物も存在することがある。このような登録人物は一般に、認証が失敗しやすく不便さを感じるとの報告を管理者に行い、その報告を受けた管理者が、顔画像認証装置の認証履歴からその人物が撮影された入力顔画像を探し出し、その入力顔画像により登録顔画像を置き換える。しかしながら、認証が失敗しやすい人物から、その旨を報告されるまでは、その認証が失敗しやすい状態が継続することになる。また、顔画像認証装置の認証履歴から認証が失敗しやすい人物を探し出す作業は、管理者にとって手間がかかるものであった。

そこで、特許文献１には、本人照合の基準となる登録顔画像を、照合時に本人であると判定された入力顔画像で更新する顔画像照合装置が提案されている。この顔画像照合装置は、照合時に本人であると判定された入力顔画像である候補顔画像を保存しておき、その後の照合処理において登録顔画像よりも候補顔画像の方が入力顔画像と類似していると判定される状態が続くと、候補顔画像にて登録顔画像を更新する。

特開２００７−３０４７６３号公報

特許文献１に記載された顔画像照合装置は、照合時に本人であると判定された候補顔画像がその後の照合処理において入力顔画像と類似していると判定される状態が続いたときに登録顔画像を更新するので、誤って登録者以外の人物の顔画像によって登録顔画像を更新するおそれを低減しつつ、照合に失敗しやすい状態を解消することができる。
しかしながら、この顔画像照合装置では登録顔画像を更新すべきと判断するためにはその人物に対する照合が複数回にわたってされる必要があるため、認証されにくい状態にある人物をより早期に検出することができる顔画像認証装置が望まれている。

そこで、本発明の目的は、予め登録された人物のうち認証されにくく、認証失敗となることが多い人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択する顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備し、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、顔領域画像と登録顔画像を照合し、当該顔領域画像の人物が登録人物か否かの認証をする顔照合手段と、顔照合手段が顔領域画像の人物は登録人物でないと認証し、かつ当該人物が認証されようとする所定の要望行動を取ったことを条件に当該人物を認証困難者と判定する判定手段とを有することを特徴とする。

また、本発明に係る顔画像認証装置において、照合部は、取得した顔領域画像が略静止していることを検出する静止検出手段をさらに備え、判定手段は、少なくとも顔領域画像が略静止している時間が所定時間以上であることを所定の要望行動とすることが好ましい。

また、本発明に係る顔画像認証装置において、照合部は、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段をさらに備え、静止検出手段は、顔領域画像の追跡位置が略静止していることを検出することが好ましい。

また、本発明に係る顔画像認証装置において、照合部は、人物の顔向きを検出する顔向き検出手段をさらに備え、判定手段は、少なくとも顔領域画像に写っている顔が撮像部に対して略正面方向を向いている顔領域画像の数が所定数以上であることを所定の要望行動とすることが好ましい。

また、本発明に係る顔画像認証装置において、照合部は、顔領域画像と顔照合手段の認証結果とを対応付けて照合履歴として記憶部に記憶させる履歴管理手段をさらに備え、判定手段は、照合履歴を参照して、同一の人物に関し登録人物ではないとの認証結果が履歴閾値以上であることを条件に追加することが好ましい。

また、本発明に係る顔画像認証装置において、照合部は、顔領域画像と顔照合手段の認証結果とを対応付けて照合履歴として記憶部に記憶させる履歴管理手段をさらに備え、判定手段は、照合履歴を参照して、同一の人物に関し所定の履歴参照期間に含まれる登録人物ではないとの認証結果が増加傾向にあることを条件に追加することが好ましい。

また、本発明に係る顔画像認証装置において、表示部と、外部からの指示入力により登録顔画像を顔領域画像にて再登録する登録手段をさらに備え、登録手段は、登録顔画像と、登録人物ではないとの認証結果の回数の多い順に顔領域画像を表示部に並べて表示させ、指示入力を受けた際に表示された登録顔画像を当該顔領域画像にて再登録することが好ましい。

本発明に係る顔画像認証装置は、予め登録された人物のうち認証されにくく、認証失敗となることが多い人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択できるという効果を奏する。
なお、以下本明細書においては、認証失敗となることが多い人物を「認証困難者」と称して説明する。

本発明を適用した顔画像認証装置の概略構成図である。顔画像認証装置がオフィスビルの入り口に設置される場合の撮像部の設置例を表す模式図である。照合テーブルの模式図である。照合テーブルの一部である履歴テーブルの模式図である。登録顔画像の更新画面の模式図である。本発明を適用した顔画像認証装置における認証困難者の判定処理の動作を示すメインフローチャートである。同じく認証困難者の判定処理の動作を示すサブフローチャートである。

以下、図を参照しつつ、本発明にかかる顔画像認証装置の一つの実施の形態を、図を参照しつつ説明する。
顔画像認証装置に対して認証を要望する人物は、なかなか認証されない場合、カメラを直視しながら立ち止まったりゆっくり歩くといった特徴的な行動をとる傾向にある。そこで、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像を順次取得するとともに、その順次取得した複数の監視画像にわたって同一の人物を追跡する。そして顔画像認証装置は、追跡中の人物がカメラを直視しながら立ち止まったりゆっくり歩く等の、認証されようとする特徴的な行動を取っているか否かを判定し、その後、認証の履歴を参照して、認証失敗となることが多い人物を認証困難者として検出する。
これにより、顔画像認証装置は、認証困難者を早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することを図る。

図１は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図１に示すように、顔画像認証装置１０は、撮像部１００、出力部２００、表示部３００、入力部４００及び画像処理部５００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。

撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物（顔画像認証装置１０による照合の対象となる監視領域内の人物を対象人物と称する）の顔を順次撮影できるように設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、２００ミリ秒）ごとに取得する。撮像部１００は、画像処理部５００と接続され、取得した監視画像を画像処理部５００へ渡す。

図２に、顔画像認証装置１０がオフィスビルの入り口に設置される場合の撮像部１００の設置例を模式的に示す。図２に示すように、例えば、顔画像認証装置１０がオフィスビルの入り口２５３に設置される場合、撮像部１００は、入り口２５３に通じる通路を監視領域に含むよう、入り口２５３が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。
これにより撮像部１００は、入り口２５３に向かう（進行方向２５４へ向かう）対象人物を所定の時間間隔で撮像することができる。なお図２では、撮像部１００が、時刻t、t＋１、ｔ＋２において入り口２５３に向かう同一の対象人物２５０、２５１、２５２を順次撮影する様子を示している。

監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横３４０画素×縦２４０画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。

出力部２００は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部５００から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。

表示部３００は、画像処理部５００と接続され、ＣＲＴ、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置を有する。そして表示部３００は、画像処理部５００からの要求に応じて画面を表示する。
また、顔画像認証装置１０は、画像処理部５００からの要求に応じて音声を鳴動させたり、振動を発生させたりする、スピーカまたは振動装置等（図示せず）をさらに備えてもよい。

入力部４００は、キーボード、マウス等の入力デバイスで構成された入力インターフェースであり、管理者からの切換操作を受け付け、その操作に対応する信号を画像処理部５００の登録手段５２９へ出力する。また、表示部３００をタッチパネルディスプレイで構成することにより、表示部３００と入力部４００を一体化してもよい。

画像処理部５００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部５００は、撮像部１００から受け取った監視画像に基づいて、対象人物を認証するとともに、認証されにくい状態にあることを判定し、履歴を参照して認証困難者を検出する。
そのために、画像処理部５００は、記憶部５１０及び照合部５２０を有する。さらに、照合部５２０は、顔検出手段５２１、顔追跡手段５２２、顔照合手段５２３、行動検出手段５２４、履歴管理手段５２７、判定手段５２８、及び登録手段５２９を有する。

記憶部５１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部５１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部５１０は、照合に使用される登録顔画像を対応する登録された人物（以降、登録人物と称する）の登録人物ＩＤと関連付けて記憶する。また記憶部５１０は、画像処理により生じた対象人物に関する情報を管理するための照合テーブル及び履歴テーブルを記憶する。この照合テーブル及び履歴テーブルの詳細については後述する。

照合部５２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成しでもよい。以下、照合部５２０の各手段について詳細に説明する。

顔検出手段５２１は、撮像部１００から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を抽出し、顔領域画像を抽出する。顔領域を抽出するために、顔検出手段５２１は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段５２１は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段５２１は、抽出した人物領域に対してＳｏｂｅｌフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段５２１は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段５２１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。

あるいは顔検出手段５２１は、Ａｄａｂｏｏｓｔ識別器を用いて顔領域を検出してもよい。この方法についてはP.ViolaとM.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and
Pattern Recognition,vol.1,pp.511-518,2001）を参照することができる。
そして顔検出手段５２１は、抽出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段５２２に出力する。

顔追跡手段５２２は、所定の時間間隔で連続して取得される複数の監視画像にわたって顔検出手段５２１から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域どうしを対応付けることで顔領域画像の追跡を行う。
例えば、顔追跡手段５２２は、最新の監視画像から抽出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から抽出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。

なお、対象人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。
あるいは、顔追跡手段５２２は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。

顔追跡手段５２２は、顔領域の対応付けを行うと、記憶部５１０に格納されている照合テーブルを更新する。図３に照合テーブルの例を示す。図３に示すように照合テーブル３１０は、対象人物ごとに照合データを管理する。
照合データは、照合テーブル３１０の各行にあらわされるデータの組であり、顔追跡手段５２２は、照合データのうち、試行番号３１１、対象人物ＩＤ３１２、開始時刻３１３、追跡フラグ３１４、顔画像データ３１５及び追跡位置情報３１６を更新する。

図３に示した照合テーブル３１０において、試行番号３１１は、追跡中の対象人物の照合データを他の照合データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段５２２によって追跡がされている間、同一の識別番号が割り当てられ続ける。
対象人物ＩＤ３１２は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号３１１と１対１に対応する。対象人物ＩＤ３１２は、一意に定まるように付与されるものとなる。例えば、顔追跡手段５２２が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、対象人物ＩＤ３１２と試行番号３１１は１対１に対応するので、いずれかを省略してもよい。
開始時刻３１３は、顔検出手段５２１がその対象人物について顔領域画像を最初に抽出し、顔追跡手段５２２が追跡処理を開始した時刻をあらわす。

追跡フラグ３１４は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段５２２がその対象人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。つまり、追跡フラグ３１４がＯＮのときはその対象人物は監視領域内に存在し、追跡フラグ３１４がＯＦＦのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。

顔画像データ３１５は、顔検出手段５２１によって作成され、顔追跡手段５２２によって追跡処理でその対象人物のものとして対応付けられた全ての顔領域画像のデータである。
追跡位置情報３１６は、顔画像データ３１５として記憶された各顔画像データが切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。

顔追跡手段５２２は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、照合テーブル３１０にその対象人物についての照合データを新たに追加し、初期化処理を行う。即ち顔追跡手段５２２は、その照合データに新たな試行番号３１１及び対象人物ＩＤ３１２を割り当てるとともに、開始時刻３１３として現在時刻を記録し、追跡フラグ３１４をＯＮに設定する。また顔追跡手段５２２は、顔画像データ３１５としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３１６としてその顔領域の座標情報及び現在時刻を記録する。
また顔追跡手段５２２は、認証フラグ３１７をＯＦＦに設定し、要望行動カウンタ３１８を０に設定する。そして顔追跡手段５２２は、新たに追加した照合データを顔照合手段５２３に出力する。

一方、顔追跡手段５２２が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての照合データは、既に照合テーブル３１０に作成されている。そのため、顔追跡手段５２２は、照合テーブル３１０の、対応する照合データの顔画像データ３１５にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３１６にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段５２２は、その照合データを顔照合手段５２３に出力する。

また、顔追跡手段５２２は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、照合テーブル３１０の、対応する照合データの追跡フラグ３１４をＯＦＦにして、その対象人物についての追跡処理を終了する。

顔照合手段５２３は、顔追跡手段５２２から出力された照合データのうち、図３に示した照合テーブル３１０の認証フラグ３１７がＯＦＦとなっている照合データの最新の顔領域画像と記憶部５１０から読み込んだ各登録顔画像とを照合し、同一人物によるものか否かを判定する。そして顔照合手段５２３は、照合データの最新の顔領域画像と登録顔画像とが同一人物によるものであると判定すると、その照合データの認証フラグ３１７をＯＮに設定する。つまり、この認証フラグ３１７は、対象人物に対する認証が成功したか否かをあらわすフラグである。

顔照合手段５２３は、照合処理として、公知の様々な照合方法を用いることができる。
例えば、顔照合手段５２３は、顔領域画像と登録顔画像のパターンマッチングを行う。顔照合手段５２３は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。
顔照合手段５２３は、各登録顔画像について求めた類似度のうち、最も高い類似度が所定の認証閾値を越える場合、その顔領域画像に写っている対象人物を、類似度が最も高い値を有する登録顔画像により登録された登録人物である（認証成功）と判断する。
一方、顔照合手段５２３は、何れの類似度も所定の基準値を越えない場合、顔領域画像に写っている対象人物は登録人物ではない（認証失敗）と判断する。なおこの認証閾値は、顔画像認証装置１０が設置される環境、目的などに応じて適宜定められる。

顔照合手段５２３は、対象人物が登録人物であると判定すると、認証フラグ３１７をＯＮに設定し、認証成功を示す信号を出力部２００へ出力する。また、顔照合手段５２３は、照合処理を実施した対象人物の照合データを行動検出手段５２４に出力する。

行動検出手段５２４は、顔領域画像に写っている対象人物の行動が認証を要望する行動（以下、要望行動と称する）らしさを表す行動特徴量を算出する。そして行動検出手段５２４は、その行動特徴量がその対象人物が要望行動を取っていることを表す所定の条件を満たす場合に、その対象人物は認証されにくい状態にあると検出し、後述するように要望行動カウンタをインクリメントする。

そのために、行動検出手段５２４は、行動特徴量として、その対象人物が撮像部１００の方向を向いている度合い、すなわち現フレームの顔領域画像に写っている顔が撮像部１００に対して正面方向を向いている度合いを示す直視度を算出する。
また行動検出手段５２４は、行動特徴量として、顔追跡手段５２２が追跡している対象人物が監視領域内で静止している度合い、すなわち複数の監視画像における、顔追跡手段５２２によって対応付けられた各顔領域の位置の変化の小ささの度合いを示す静止度を算出する。

そして行動検出手段５２４は、直視度及び静止度に基づいて、その顔領域画像に写っている対象人物が要望行動を取っているか否かを判定する。そのために行動検出手段５２４は、顔向き検出手段５２５と静止検出手段５２６を有する。

顔向き検出手段５２５は、行動特徴量を算出する特徴量算出手段として機能し、顔照合手段５２３から出力された照合データについて現フレームの顔領域画像に写っている顔の直視度を算出する。
図２の時刻t+２における対象人物２５２上に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系（Ｘ、Ｙ、Ｚ）では、原点Ｏは顔向きの検出対象となる人物の顔領域画像の重心に設定される。Ｘ軸は、原点Ｏを通り、顔の正中線に沿った垂直軸として設定される。Ｙ軸は、原点Ｏを通り、顔を左右に横断する方向の水平軸として設定される。Ｚ軸は、顔を前後に横断する方向の水平軸として設定される。
この座標系において、人物の顔向きは、人物が撮像部１００を直視した状態（すなわち、人物が顔の正面を撮像部１００に向けており、Ｚ軸が撮像部１００と顔を結ぶ直線となる状態）を顔向きの基準となる正対状態とした場合のヨー角ψ、ピッチ角θ及びロール角φの組（ψ、θ、φ）で表される。ヨー角ψは、正対状態における人物の顔向きに対する、左右方向の回転角（すなわち、Ｘ軸を回転中心とした、ＹＺ平面内での回転角）を表す。またピッチ角θは、正対状態における人物の顔向きに対する、上下方向の回転角（すなわち、Ｙ軸を回転中心とした、ＸＺ平面内での回転角）を表す。またロール角φは、正対状態における人物の顔向きに対する、Ｚ軸を回転中心とした時計回りの回転角を表す。以下では、ヨー角ψ、ピッチ角θ及びロール角φを、ラジアン単位で表し、それぞれ、右向き方向、下向き方向、時計回り方向を正とする。

顔向き検出手段は、まず、顔領域画像から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段５２５は、抽出した顔特徴点の種別と顔領域画像上の位置情報（例えば、顔領域画像の左上端部を原点とする２次元座標値）を算出する。例えば、顔向き検出手段５２５は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段５２５は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段５２５は、顔領域画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔向き検出手段５２５は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。
また顔向き検出手段５２５は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、顔領域画像にガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段５２５は、顔の各部位に相当するテンプレートと顔領域画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。

そして顔向き検出手段５２５は、抽出した顔特徴点と、人物の顔の３次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出する。この場合、人の頭部の標準的な形状を模した３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表される）を予め準備し、記憶部５１０に記憶しておく。またその３次元形状モデルの両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部５１０に記憶しておく。
顔向き検出手段５２５は、顔領域画像から顔特徴点を抽出すると、３次元形状モデルについて、所定の回転量、並進量または拡大/縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして顔向き検出手段５２５は、顔領域画像から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段５２５は、回転量、並進量または拡大/縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして顔向き検出手段５２５は、その３次元形状モデルの顔の向きから、上記のヨー角ψ、ピッチ角θ及びロール角φの組（ψ、θ、φ）を求めることができる。あるいは、本願出願人による特開２００９−２３７９９３に開示されている手法を採用することもできる。

直視度は、例えば（１）式で表されるように、ヨー角ψとピッチ角θの絶対値和の逆数とすることができる。

つまり直視度は、顔領域画像に写っている顔の向きが撮像部１００に対して正面方向に近いほど大きい値となる。例えば、対象人物が撮像部１００を直視している場合、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。一方、撮像部１００に対して顔を背けている場合は、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。
そして顔向き検出手段５２５は、直視度を算出すると、算出した直視度をその顔領域画像と対応付けて記憶部５１０に記憶しておく。

静止検出手段５２６も、行動特徴量を算出する特徴量算出手段として機能し、照合テーブル３１０の追跡位置情報３１６を用いて、顔追跡手段５２２によって対応付けられた顔領域について静止度を算出する。例えば、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸が設定される２次元の座標系を設定する。つまりこの座標系では、撮像部１００が監視領域をやや上方向から撮影するように設置されている場合、撮像部１００からみて対象人物が左から右へ移動する方向にx軸が、撮像部１００の撮影方向にそって対象人物が近づく方向にy軸が設定される。この
座標系において、時刻tにおける顔領域の重心位置を（x_t,y_t）とする。その場合、時刻tにおける顔領域の静止度は、例えば（２）式で表されるように、前フレームの顔領域の重心位置に対する現フレームの顔領域の重心位置の、水平方向の差と垂直方向の差の絶対値和の逆数とすることができる。

つまり静止度は、同一人物の顔が写っている顔領域の監視画像内における位置の変化が小さいほど大きい値となる。例えば図２に示した例では、時刻tから時刻ｔ＋１の間に対象人物が移動した距離２５５よりも時刻ｔ＋１から時刻ｔ＋２の間に対象人物が移動した距離２５６の方が小さいため、時刻ｔ＋２における静止度は時刻ｔ＋１における静止度より大きくなる。

そして静止検出手段５２７は、静止度を算出すると、算出した静止度をその顔領域画像と対応付けて記憶部５１０に記憶しておく。
なお、撮像部１００の床面からの高さ、俯角、焦点距離などの撮像条件が既知である場合には、撮像部１００と対象人物との実際の距離をおおよそ算出できるので、静止検出手段５２６は、（２）式に準じ、当該距離の時間変化の絶対値の逆数を静止度として算出してもよい。

履歴管理手段５２７は、顔照合手段５２３が算出した類似度、同手段が判断した認証結果を記憶部５１０に記録する。
図４に類似度が格納されるテーブルの例を示す。このテーブルは、図３に示した照合テーブルの一部であるが、説明の都合上、以下履歴テーブルと称して説明する。図３と図４に示されるテーブルの各行は、１回の試行により記録される照合履歴となっている。
履歴管理手段５２７は、図４に示す照合データごとに照合により得られた履歴データを管理する。
履歴データは、履歴テーブル４１０の各行にあらわされるデータの組であり、対象人物ＩＤ３１２、顔画像データ３１５、要望行動カウンタ３１８、グループ番号３２１、認証困難者フラグ３２２、認証時間３２３、類似度４１２および認証結果４１６を含む。また、履歴テーブル４１０には、登録人物を他の登録人物と識別するための登録人物ＩＤ４１３及びその登録人物の顔画像をあらわす登録顔画像４１４が管理されており、類似度４１２は登録人物ＩＤ４１３ごとに管理される。

なお、図４における顔画像データ３１５は、理解しやすいように１枚のみを示している。
類似度４１２は、顔照合手段５２３が、対象人物が写っている顔領域画像を各登録顔画像４１４と照合した結果として算出した類似度である。
また、登録人物ＩＤ４１３は、登録人物を他の登録人物と識別するためのＩＤである。登録人物ＩＤ４１３は、連続した正の整数でもよいが、例えば社員番号のように登録人物を一意に特定できるものであればどのようなものでもよい。登録顔画像４１４は、事前登録あるいは追加登録された登録人物の顔画像である。登録人物一人に対して一つ又は複数の登録顔画像が存在し得る。登録人物一人に対して複数の登録顔画像４１４が存在するときは、それぞれの登録顔画像４１４に対して登録人物ＩＤ４１３を割り当てることが好適である。なお、図４では理解しやすいように登録顔画像４１４として顔をあらわす画像を示しているが、顔照合手段５２３が顔画像の照合処理を実施するために必要なデータの形式で記憶しておいてもよい。例えば顔照合手段５２３が所定の顔特徴点の比較のみにより照合処理を実施する場合には、その顔特徴点の情報のみを記憶しておくことにより、記憶容量を節約できる。

履歴管理手段５２７は、顔照合手段５２３が認証成功と判断した場合、認証成功と判断した登録顔画像４１４については、認証成功と判断したフレームにおける類似度を記録し、認証成功と判断しなかった登録顔画像４１４については、同フレームにおいてそれぞれの登録顔画像４１４について算出された類似度を記録する。さらに、そのときの対象人物について認証成功だった旨と、認証成功と判断された登録人物ＩＤ４１３を認証結果４１６に記録する。
一方、履歴管理手段５２７は、最終的に顔照合手段５２３が認証成功と判断しなかった対象人物に関しては、最も高い類似度が算出された登録顔画像４１４については、その最も高い類似度を記録し、その他の登録顔画像４１４については、その最も高い類似度が算出されたフレームにおけるそれぞれの登録顔画像４１４について算出された類似度を記録する。
あるいは、履歴管理手段５２７は、顔照合手段５２３が認証成功と判断しなかった登録顔画像４１４については、その対象人物を写した顔領域画像と登録顔画像４１４について算出された、全ての類似度の平均値又は最近の所定数の類似度（例えば、最近５秒間に算出された類似度）の平均値を類似度４１２として記録しでもよい。これにより対象人物を写した顔領域画像と登録顔画像がどれくらい類似しているかについて、より高精度に求めることができる。

なお、類似度４１２は、顔照合手段５２３によって対象人物が登録人物であると認証されて入室するまで、又は対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置１０がタイムアウト等により、その対象人物に対する認証処理を終了するまで算出される。

また履歴管理手段５２７は、顔向き検出手段５２５が算出した直視度及び静止検出手段５２６が算出した静止度に基づいて、その登録顔画像を更新するのに最も適した顔画像を選択し、候補顔画像３１９として照合テーブル３１０に記録する。

本実施形態の行動検出手段５２４は、監視領域内の対象人物が認証時間内に撮像部１００に顔を向けた状態で立ち止まったり、ゆっくり歩いたりしているか否かを判定する。
そのために行動検出手段５２４は、顔向き検出手段５２５によって算出された直視度を直視度閾値と比較するとともに、静止検出手段５２６によって算出された静止度を静止度閾値と比較する。なお、直視度閾値は、顔領域画像に写っている対象人物の顔の向きが撮像部１００を直視しているとみなせる角度範囲にあることを判別できるように定められ、例えばヨー角ψ及びピッチ角θをラジアン値で表した場合、４とするのが好適である。また、静止度閾値は、顔領域画像に写っている対象人物が略停止していることを判別できるように定められ、例えば１秒間に５フレームの監視画像を処理する場合、顔領域画像の幅をWとしたときに１/（W×0.5）とするのが好適である。

行動検出手段５２４は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合、要望行動カウンタをインクリメントする。この要望行動カウンタは、対象人物が要望行動を取っていると判定された回数を示すカウンタであり、図３に示した照合テーブル３１０に（すなわち図４に示した履歴テーブル４１０にも）記録される。
一方、直視度が直視度閾値未満である場合、又は静止度が静止度閾値未満である場合、その対象人物は撮像部１００から顔を背けていたり、又はすばやく動いていると考えられ、認証されたいという心理状態でない可能性が高い。そのためその場合、行動検出手段５２４は要望行動カウンタを更新しない。

履歴管理手段５２７は、顔追跡手段５２２が対象人物の顔領域画像の追跡を開始してから、顔照合手段５２３が照合成功と判断するまで、または、対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置１０がタイムアウト等により、その対象人物に対する認証処理を終了するまでの認証時間を算出する。

顔追跡手段５２２が対象人物の顔領域画像の追跡を開始した時刻は、照合テーブル３１０の該当する照合データの開始時刻３１３に記憶されている。顔照合手段５２３が照合成功と判断した時刻は、その照合成功との判断に用いた顔領域画像を顔画像データ３１５として記憶した際に対応づけて照合テーブル３１０に記憶された追跡位置情報３１６の最新のものである。そこで履歴管理手段５２７は、両者の差から認証時間を算出する。

なお、タイムアウトとする認証時間は、顔画像認証装置の動作として、一般的に認証処理に要すると考えられる時間を考慮し、認証成功との結果を得るために認証処理を最大限繰り返すべき時間に基づき定められるとする。本実施の形態では、図２に示すように、歩行中の対象人物について、顔追跡手段５２２が対象人物の顔領域画像を追跡し始めてから、顔照合手段５２３が時間切れとして認証失敗の結果を出すための時間を基準に定めるとして、例えば１０秒間とすることができる。
あるいは、撮像部１００の画角や俯角、運用場所に依って増減するのが良い。また、要望行動カウンタについての所定の閾値は１以上の整数値である。例えば、３〜４秒間、その対象人物が撮像部１００を直視しながらその場に静止している場合、その対象人物についての登録顔画像を更新すべきと判断することができる。従って、例えば１秒間に５フレームの監視画像を処理する場合、この所定の閾値は２０とすることができる。要望行動カウンタは、１枚の監視画像ごとにインクリメントの有無が判断されるので、その数は、監視画像の処理間隔を考慮すると、対象人物が、撮像部１００を直視しており、静止している時間を表している。

以下、図４に示した履歴テーブル４１０を用いて履歴管理手段５２７の動作を説明する。なお、図４に示した例において、類似度４１２のうち枠４１５が付されたものは、認証成功と判断されたときの類似度をあらわす。また、類似度の取り得る範囲を０〜１０とし、認証閾値を５とし、要望行動カウンタの閾値を５とする。
例えば、対象人物ＩＤ３１２が「０５１１」の対象人物において、要望行動カウンタ３１８は「０」で要望行動カウンタの閾値を越えておらず、その対象人物が写っている顔画像と登録人物ＩＤ４１３が「２」の登録顔画像との類似度は「９.８７」で認証閾値を越えている。この場合、顔画像認証装置１０は、この対象人物は登録人物であるとして、すみやかに認証成功と判断しており、履歴管理手段５２７は、認証結果４１６の該当する欄に認証成功である旨と、登録人物ＩＤ４１３が「２」の登録人物であった旨、および顔追跡手段５２２による顔領域の追跡開始から顔照合手段５２３による認証成功までの認証時間は「０．６」秒であった、との結果を記録している。

一方、対象人物ＩＤ４１３が「００１１」の対象人物において、要望行動カウンタ３１８は「５」で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と登録人物ＩＤ４１３が「１」の登録顔画像との類似度は「５.５２」で認証閾値を越えている。この場合、顔画像認証装置１０はこの対象人物について認証成功と判断している。しかし、顔追跡手段５２２による顔領域の追跡開始から顔照合手段５２３による認証成功までの認証時間は「５．２」秒であった、との結果を記録している。対象人物ＩＤ４１２が「０５１１」の対象人物に比べ、認証されるまでに要望行動を取っていた時間があった分、認証時間は長くなっており、この対象人物は認証成功と判断されるまで要望行動をとっていた認証されにくい人物と考えられる。

しかし、対象人物ＩＤ３１２が「０２０５」の対象人物において、要望行動カウンタ３１８は「３１４」で要望行動カウンタの閾値である５を遙かに越えており、その対象人物が写っている顔画像と各登録顔画像との類似度は最大でも「０.９５」で認証閾値を越えていない。さらには認証時間３２３は、顔画像認証装置１０がタイムアウトとする「１０」秒が記録されている。
この場合、対象人物は要望行動を繰り返しとったものの、顔画像認証装置１０は、最終的にこの対象人物について認証成功と判断しなかった、即ち認証失敗に終わったことを示している。この対象人物は、登録されているが、髪型や化粧などの原因で非常に認証困難な状態になっている人物であるとも考えられる。または、未登録の来訪者、場合によっては侵入を企てる不審者の可能性もある。

また、履歴管理手段５２７は顔照合手段５２３にて認証処理が終了した最新の履歴データについて、顔画像データ３１５を参照して、同一の対象人物が過去にも認証を試みているか、即ち同一の対象人物について履歴データが履歴テーブル４１０に含まれているか否かを判定する。なお、最新の履歴データでは、グループ番号３２１は付与されておらず、認証困難者フラグ３２２は「ＯＦＦ」に初期化されている。
そのために履歴管理手段５２７は、顔画像データ３１５を用い、顔照合手段５２３と同様な照合処理を行って同一の対象人物の履歴データが履歴テーブル４１０に含まれるか否かを判定する。
履歴管理手段５２７は、最新の履歴データの顔画像データ３１５から１枚の顔領域画像を選択し、既にグループ番号３２１が付与されている履歴データの顔画像３１５との照合処理を行う。照合処理に用いる顔領域画像は、任意のものでよいが、直視度を参照してそれが最大のものを選択するのが好ましい。
履歴管理手段５２７は、最新の履歴データの顔画像データ３１５が、既にグループ番号３２１が付与されている履歴データのいずれかの顔画像データ３１５と同一人物のものと判断できる場合には、過去にも認証を試みた対象人物が再び認証を試みたとしてそのグループ番号３２１と同じ番号を、最新の履歴データのグループ番号３２１に記憶する。

一方で、最新の履歴データの顔画像データ３１５が、既にグループ番号３２１が付与されている履歴データのいずれの顔画像データ３１５と同一人物のものと判断できない場合には、履歴管理手段５２７は、今回初めて認証を試みた人物であるとして、新たな番号を生成して最新の履歴データのグループ番号３２１の欄に記憶する。新たな番号は、既に記憶済みの最大の番号に１を加えた番号でよい。
これらの処理により、同一の対象人物の履歴データには同一のグループ番号３２１が付与され、過去にどれだけの頻度や回数で認証を試みたのか、図２の模式図でいうと入口２５３に接近したのかが把握できることになる。

次に、同じく図４に示した履歴テーブル４１０を用いて判定手段５２８の動作を説明する。
判定手段５２８は、対象人物が認証されにくく、結局は認証失敗に終わることが多い認証困難者に該当するか否かを判定する。
そのために判定手段５２８は、履歴テーブル４１０の内容を参照し、同一の対象人物が過去にも認証失敗に終わったか否かを調べる。
図４に示す履歴テーブルにおいて、対象人物ＩＤ３１２が「０２０５」と「０６４２」と「０７２１」と「０８７９」の対象人物は、同一の対象人物と判断されており、グループ番号３２１は同じ「５９」が記録されている。またそれぞれの認証結果４１６を参照すると認証失敗が記録されており、当該対象人物は試行の度に認証失敗に終わっている。
判定手段５２８は、認証失敗に終わった履歴データの数と履歴閾値とを比較する。履歴閾値は、認証失敗に終わった回数がそれ上回ると認証困難者であると判断できる回数に関する閾値であり、顔画像認証装置１０の設置場所や運用条件によって定めることができる。本実施の形態においては３とする。
図４に示す場合では、同一人物と判断されグループ番号３２１に「５９」が付与された対象人物は、認証失敗に終わった履歴データの数が４である。そこで、判定手段５２８は、当該対象人物を認証困難者であると判断し、認証困難者フラグ３２２を「ＯＮ」にセットする。

次に、顔画像認証装置１０の管理モードにおける動作を述べる。
顔画像認証装置１０は、対象人物の顔画像を照合する通常モードと、装置の設定、保守等を行う管理者モードを有する。登録手段５２９は、管理者モードにおいて登録顔画像を登録、更新又は削除する。登録手段５２９は、管理者に登録顔画像の登録、更新又は削除を指示させるために表示制御手段として機能し、必要な画面を表示部３００に表示させる。
また登録手段５２９は、入力部４００から受け取った管理者からの指示に対応する信号に応じて記憶部５１０に記憶された登録顔画像を登録、更新又は削除する。

顔画像認証装置１０の管理者は、例えば、顔画像認証装置１０の登録人物から認証がされないことがほとんどで認証困難者と判定されているのではないかとの報告を受けた場合、又は定期的に装置のメンテナンスを行う場合、入力部４００に特定の暗証番号等を入力して、顔画像認証装置１０に通常モードから管理者モードへの移行を指示する。登録手段５２９は、入力部４００を介して管理者モードへの移行の指示を受け取ると、顔画像認証装置１０を管理者モードへ移行させ、表示部３００に登録顔画像の更新画面を表示させる。

図５（ａ）に登録顔画像の更新画面の例を示す。図５に示されるように、登録顔画像の更新画面は、登録顔画像を更新すべき対象人物の一覧を表示する一覧表示領域５３０、更新ボタン５３１、一覧表示ボタン５３２、削除ボタン５３３及びキャンセルボタン５３４を含む。
一覧表示領域５３０には、判定手段５２８によって認証困難者と判断された対象人物ごとに、認証失敗回数５３５、候補顔画像５３６及び登録顔画像５３７が表示される。
認証失敗回数５３５として、同一のグループ番号３２１が付与された対象人物について、認証失敗に終わった履歴データの数を表示する。
候補顔画像５３６として、照合データ３１０の候補顔画像３１９が表示される。
登録顔画像５３７として、その対象人物の認証処理において算出された類似度４１２を参照して選択された登録顔画像が表示される。

管理者モードへ移行した直後、まず登録手段５２９は、一覧表示領域５３０を空白にした更新画面を表示部３００に表示させる。そして、登録手段５２９は、入力部４００から管理者が一覧表示ボタン５３２を押下したことを示す信号を受け取ると、認証困難者フラグ３２２が「ＯＮ」となっている人物についての情報を一覧表示させた更新画面を表示部３００に表示させる。
このとき、登録手段５２９は、各対象人物に関する情報を認証失敗回数の多い順に並べて一覧表示する。これにより、頻繁に認証失敗となる対象人物から順に表示されるので、管理者は、更新すべき登録顔画像を容易に選択することができる。あるいは、照合データの開始時刻３１３を参照して、認証失敗回数が同じ対象人物については古い順に並べて一覧表示をしてもよい。
認証困難者フラグ３２２が「ＯＮ」になっているのは、図４でいうと、対象人物ＩＤ３１２が「０２５０」の対象人物のように、試行の度に認証失敗となる認証困難者である。

図５（ａ）では、認証失敗回数５３５の欄に、図４のグループ番号３２１として「５９」が付与された対象人物の認証失敗の回数である「４」が表示されている。また、候補顔画像５３６の欄に、当該対象人物の候補顔画像５３８が表示されている。さらには、登録顔画像５３７の欄には、候補顔画像５３６の欄に表示された候補顔画像の人物について算出された類似度４１２が高い人物の登録顔画像５３９、および選択ボタン５４０が表示されている。

顔画像認証装置１０の管理者は、図５（ａ）の表示結果を踏まえ、この対象人物の候補顔画像５３８と登録顔画像５３９とを目視により比較して、これらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、更新ボタン５３１にカーソルをあわせて押下する。そして登録手段５２９は、その状態で入力部４００から更新ボタン５３１が押下されたことを示す信号を受け取ると、登録顔画像５３９を候補顔画像５３８で更新する。
この場合、登録手段５２５は、更新後の登録顔画像と、候補顔画像５３８を並べて表示部３００に表示させることが望ましい。これにより、管理者は登録顔画像が所望の候補顔画像に更新されたことを容易に確認することができる。

選択ボタン５４０は、表示されている登録顔画像５３９を他の登録顔画像に変更するためのボタンである。例えば、登録手段５２９は、選択ボタン５４０が一回押下されると、図５（ｂ）に表示される登録顔画像に関する情報５４１に、選択ボタン５４０が再度押下されると、図５（ｃ）に表示される登録顔画像に関する情報５４２に、選択ボタン５４０が再度押下されると、図５（ｄ）に表示される登録顔画像に関する情報５４３に、表示を変更する。この登録顔画像に関する情報の表示順は、その登録顔画像と、候補顔画像５３８の対象人物の顔画像について算出された類似度が大きい順である。これにより、当該対象人物の顔画像と類似している可能性の高い登録顔画像から順に表示されるため、管理者は、効率よく登録顔画像を更新することができる。

また、管理者が対象人物の候補顔画像５３８と登録顔画像５３９とを目視により比較確認した際に、候補顔画像５３８に写った人物が見覚えのない人物である場合、善意の来訪者であるか、あるいは犯罪を企てるべく侵入を試みたり下見に訪れた不審人物であると判断することも可能となる。
その場合、管理者は登録顔画像の更新は行わない。また不審人物であると判断できる場合には、通報するなどの適切な対応が可能となる。

以下、図６と図７に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１０による認証困難者の検出と登録顔画像の更新に用いる候補顔画像の選定処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部５００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。
なお、以下に説明する処理の実施前に、照合テーブル３１０及び履歴テーブル４１０は空白になるよう初期化される。また、以下に説明する動作のうち、図６についての処理は監視画像を一つ取得するごとに実施される。

最初に、顔画像認証装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部５００の照合部５２０へ送る（ステップＳ７０１）。次に、照合部５２０の顔検出手段５２１は、取得された監視画像から、対象人物の顔が写っている顔領域を抽出し、その顔領域を監視画像から切り出して顔領域画像を作成する（ステップＳ７０２）。次に、顔検出手段５２１は、一つ以上の顔領域が抽出されたか否か判定する（ステップＳ７０３）。顔領域が全く抽出されなかった場合、顔検出手段５２１はステップＳ７０１へ移行し、ステップＳ７０１〜Ｓ７０３の処理を繰り返す。

一方、ステップＳ７０３において、一つ以上の顔領域が抽出され、顔領域画像が作成された場合、顔追跡手段５２２は、抽出された全ての顔領域について、照合テーブル３１０における追跡フラグ３１４が「ＯＮ」となっている対象人物ＩＤ３１２との対応付けを実施する（ステップＳ７０４）。そして顔追跡手段５２２は、照合テーブル３１０における追跡フラグ３１４が「ＯＮ」となっている対象人物ＩＤ３１２について、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ７０５）。現フレームの顔領域のいずれとも対応付けられなかった照合テーブル３１０における追跡フラグ３１４が「ＯＮ」となっている対象人物ＩＤ３１２がある場合、その対象人物ＩＤ３１２の対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段５２２は、照合テーブル３１０の、現フレームの顔領域のいずれとも対応付けられなかった対象人物ＩＤ３１２の追跡フラグ３１４を「ＯＦＦ」にして、以後追跡処理を実施しないようにする。また履歴管理手段５２７は、照合テーブル３１０の開始時刻３１３を参照して現時刻との差から認証時間を算出し、認証失敗の旨とともに履歴テーブル４１０に記録する（ステップＳ７０６）。
なお、その前フレームの顔領域に写っている人物が認証されずにタイムアウトとなった場合は、予め定められたタイムアウトを表す時間（例えば１０秒）を記録する。
また、認証フラグ３１７が「ＯＦＦ」の場合には、それまでに算出された類似度を対応する履歴テーブル４１０に記憶する。

そして顔追跡手段５２２は、現フレームの顔領域ごとに照合テーブルの照合データの新規追加又は更新をする（ステップＳ７０７）。現フレームの顔領域について照合テーブル３１０における追跡フラグ３１４が「ＯＮ」となっている対象人物ＩＤ３１２と対応付けることができなかった場合、顔追跡手段５２２は、照合テーブル３１０にその対象人物についての照合データを新たに追加する。即ち、顔追跡手段５２２は、その照合データに新たな試行番号３１１及び対象人物ＩＤ３１２を割り当てるとともに、開始時刻３１３として現在時刻を記録し、追跡フラグ３１４をＯＮに設定する。また顔追跡手段５２２は、顔画像データ３１５としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３１６としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段５２２は、認証フラグ３１７を「ＯＦＦ」に設定し、要望行動カウンタ３１８を「０」に設定する。
一方、現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、顔追跡手段５２２は、照合テーブル３１０の、対応する照合データの顔画像データ３１５にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３１６にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段５２２は、更新した照合データを顔照合手段５２３へ出力する。

以下のステップＳ７０８〜Ｓ７１６の処理は、追跡フラグ３１４が「ＯＮ」になっており、認証フラグ３１７がＯＦＦになっている照合データごとに行われる。追跡フラグ３１４が「ＯＮ」になっている照合データのうち認証フラグ３１７がＯＮである履歴データは処理対象としないのは、既に認証がなされているためである。そのため、顔照合手段５２３は、顔追跡手段５２２から出力された履歴データの最新の顔画像と記憶部５１０から読み込んだ各登録顔画像とを照合する（ステップＳ７０８）。そして顔照合手段５２３は、認証が成功したか否かを判定する（ステップＳ７０９）。

ステップＳ７０９で認証が失敗した場合、顔向き検出手段５２５は、その認証が失敗した対象人物の顔が写っている顔領域画像について直視度を算出し、その顔領域画像と対応づけて記憶部５１０に記憶する（ステップＳ７１０）。次に静止検出手段５２６は、その顔領域について静止度を算出し、その顔領域画像と対応づけて記憶部５１０に記憶する（ステップＳ７１１）。そして行動検出手段５２４は、直視度と静止度から、対象人物がカメラを直視しながら静止しているか否かを判定する（ステップＳ７１２）。そして行動検出手段５２４は、対象人物がカメラを直視しながら静止していると判定すると、要望行動カウンタ３１８をインクリメントする（ステップＳ７１３）。

一方、ステップＳ７０９で認証が成功した場合、顔照合手段５２３は、認証成功を示す信号を行動検出手段５２４を介して履歴管理手段５２７に出力して、履歴管理手段５２７は、その旨を履歴テーブル４１０の認証結果４１６に記録する（ステップＳ７１４）。
次に、顔照合手段５２３は、認証成功を示す信号を出力部２００へ出力し、出力部２００を介して電気錠の解錠を行う(ステップＳ７１５)。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。

次に、顔照合手段５２３は認証フラグ３１７を「ＯＮ」に設定する。また履歴管理手段５２７は、照合テーブル３１０の開始時刻３１３と最新の追跡位置情報３１６とから認証時間を算出し、顔照合手段５２３が算出した類似度とともに履歴テーブル４１０に記憶する(ステップＳ７１６)。
行動検出手段５２４がステップＳ７１３で要望行動カウンタ３１８をインクリメントしたとき、又は顔照合手段５２３が認証フラグ３１７を「ＯＮ」にして、履歴管理手段５２７が認証時間を算出し類似度を記録したとき、全ての顔領域画像について照合処理がされたか否かが判定される。
まだ照合処理がされていない顔画像が存在する場合、制御はステップＳ７０８に戻り、ステップＳ７０８〜Ｓ７１６の処理が繰り返される。

次に、図７を用いて、履歴テーブル４１０に記録された対象人物が認証困難者であるか否かの判定処理について説明する。この処理は、一人の対象人物について認証処理が終了するごとに、履歴管理手段５２７と判定手段５２８にて実行される。または顔画像認証装置１０が管理モードに移行した際に動作してもよい。

まず履歴管理手段５２７は、記憶部５１０に記憶されている履歴テーブル４１０を読み出す（ステップＳ８０１）。
次に、履歴管理手段５２７は、履歴データのうち、グループ番号３２１が付与されていない履歴データがあるか否かを調べる（ステップＳ８０２）。全ての履歴データについてグループ番号が付与されている場合にはステップＳ８０７に処理を進める。グループ番号が付与されていない履歴データがある場合には、その全てについてステップＳ８０３〜Ｓ８０６の処理を行う。

履歴管理手段５２７は、グループ番号が付与されてない履歴データについて、その顔画像データ３１５を用い、グループ番号が付与されている他の履歴データの顔画像３１５との類似度を算出する（ステップＳ８０３）。これはグループ番号が付与されてない履歴データの対象人物が、既にその前に認証を試みているか、つまり同一の対象人物の履歴データが存在するか否かを調べることを意図している。
ステップＳ８０３にて求められた類似度が一定以上となった場合、同一の対象人物についての履歴データが既に存在しているため、履歴管理手段５２７は、その既に存在している履歴データのグループ番号をグループ番号が付与されてない履歴データのグループ番号３２１に記録する（ステップＳ８０６）。なお、ステップＳ８０３にて求められた類似度が一定以上となる履歴データが複数存在している場合には、類似度が最大の履歴データを採用するものとする。最も同一人物らしいと考えられるからである。

一方で、ステップＳ８０３にて求められた類似度が、グループ番号が付与されている他の履歴データのいずれとも一定以上とならない場合、当該対象人物は初めて認証を試みたと考えられるので、グループ番号３２１には新たな番号を付与する。新たな番号は、既に付与されている最大番号に１を足した値でよい（ステップＳ８０５）。
ステップＳ８０３〜Ｓ８０６を繰り返すことで、履歴テーブル４１０に記録されている履歴データの全てについてグループ番号が付与され、同一の対象人物についてはグループ化され、例えば認証失敗の回数や時期などが把握できることになる。

次に、判定手段５２８は、同じグループ番号が付与された履歴データの集合（顔画像グループ）について、要望行動カウンタ３１８の値と、その顔画像グループに含まれる履歴データの数を参照して、ステップＳ８０７〜Ｓ８０９の処理を行う。
ここで、要望行動カウンタ３１８の値は、前述のように、直視度が高く静止度が高いときにインクリメントされるため、要望行動カウンタ３１８の値が高い場合、その対象人物は顔を撮像部１００に正面向きに向け、立ち止まったり、通常の歩行速度よりもかなり低速に移動しており、認証されようとしていると考えられる。一方、認証失敗という結果に終わっても、立ち止まったり、顔をカメラに向けるといった要望行動を取らない人物は認証困難者と判定するのは不適切である。そこで要望行動カウンタ３１８を参照することで、その値が低い人物を認証困難者と誤判定することを防ぐことができる。
また１つの顔画像グループに含まれる履歴データの数を参照するのは、認証困難者と判定するには、ある程度の数の認証履歴が必要と考えられるからである。例えば、登録者であっても初めて認証を試みた際に、勝手が分からず偶然認証に失敗すると、それでも直ちに認証困難者と判定されるのは不適切である。

判定手段５２８は、要望行動カウンタ３１８の値が閾値（例えば５）以上の履歴データが含まれ、その顔画像グループに含まれる履歴データの数が所定の履歴閾値以上の顔画像グループについて、認証失敗に終わった試行の回数を調べる（ステップＳ８０７）。
それが履歴閾値未満の場合には、判定手段５２８は、その顔画像グループの対象人物は認証困難者と判定しない。
認証失敗に終わった試行の回数が履歴閾値を超える場合には、判定手段５２８は、その顔画像グループの対象人物を認証困難者と判定して認証困難者フラグ３２２をＯＮにセットする（ステップＳ８０８）。
なお、履歴閾値の値は、顔画像認証装置１０の設置場所や運用条件によって定められ、例えば３とすることができる。

次に、履歴管理手段５２７は、候補顔画像を選定する。この候補顔画像は、認証困難者と判定された対象人物が登録者であった場合に、登録顔画像４１４を更新するためものであり、照合テーブル３１０に記録する（ステップＳ８０９）。
履歴管理手段５２７は、その対象人物について記録された顔領域画像のうち、直視度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図３に示した照合テーブル３１０に候補顔画像３１９として記録する。直視度が高いということは、対象人物が認証されようとして顔を撮像部１００に正面向きに向けていることを表すので、登録顔画像を照合に適した顔画像に更新できる可能性が高い。
あるいは、履歴管理手段５２７は、その対象人物について記録された顔領域画像のうち、静止度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択して照合データに記録しでもよい。静止度が高いとき、その対象人物は認証されようとして立ち止まったり、通常の歩行速度よりもかなり低速に移動していると考えられ、そのような場合、その対象人物は認証されようとして顔を撮像部１００に向けている可能性が高い。従って、そのときの顔領域画像を候補顔画像として選択することにより、登録顔画像を照合に適した正面向きの顔画像に更新できる可能性が高くなる。
あるいは、履歴管理手段５２７は、その対象人物について記録された顔領域画像のうち、いずれかの登録顔画像との類似度が最も高い顔領域画像を候補顔画像として選択して照合データに記録しでもよい。この場合、その登録顔画像を更新すべく効率的に登録手段５２９における更新処理を行うことができる。

以上説明してきたように、本発明を適用した顔画像認証装置１０は、監視画像を順次取得し、その順次取得した複数の監視画像にわたって同一の人物の顔が写っている顔領域どうしを対応付ける。そして顔画像認証装置１０は、現フレームの顔領域画像に写っている顔の向きと、監視画像における、複数の監視画像にわたって抽出された同一の人物の顔が写っている各顔領域の位置の変化から行動特徴量を算出し、認証結果とともに記録する。そして顔画像認証装置１０は、行動特徴量からその人物が要望行動を取っているにもかかわらず認証失敗になることが頻発する場合に、その人物を認証困難者として検出する。これにより、顔画像認証装置１０は、登録された顔画像が認証時に取得される顔領域画像と異なっているなどの理由で、認証困難な状態にある人物を、その人物の行動と認証履歴に基づいて早期に高精度に検出できる。そして、顔画像認証装置１０の管理者は速やかに登録顔画像の更新の必要性を認識し、認証に適した、登録顔画像の更新に用いる顔を選択することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。
例えば、判定手段５２８における、対象人物が認証困難者であるとの判断処理は、同一のグループ番号３２１が付与された対象人物についての認証失敗の回数に限られない。
判定手段５２８は、同一のグループ番号３２１が付与された履歴データのなかには、認証成功となった場合もある場合には、同一のグループ番号３２１が付与された総履歴データ数に対する認証失敗に終わった履歴データ数の割合を用いて、認証困難者であると判断することもできる。この場合、認証困難者であると判断するための閾値としては、例えば８０％とすることができる。これにより、全く認証されない、とまでは言えないものの、認証失敗が高い割合で発生するので不便さを感じる利用者について、顔画像認証装置１０の管理者は速やかに登録顔画像の更新の必要性を認識することができる。

あるいは、判定手段５２８は、各履歴データについて、試行の日時を参照し、直近の履歴データに限定して、認証失敗の回数を参照して、認証困難者であると判断してもよい。即ち、同一のグループ番号３２１が付与された履歴データについて、照合テーブル３１０の開始時刻３１３を参照して、直近の履歴データ数（例えば１０）のうち、認証失敗となった履歴データが所定数（例えば８）以上の場合に、当該対象人物は認証困難者であると判定できる。これにより、化粧の好みや髪型の変化により認証成功の可否の傾向が変わった利用者について、顔画像認証装置１０の管理者は過去よりも最近の認証結果を重視して登録顔画像の更新の必要性を認識することができる。

あるいは、判定手段５２８は、各履歴データについて、試行の日時を参照し、認証失敗になった試行の時間間隔が過去より短くなったことを参照して、認証困難者であると判断してもよい。即ち、判定手段５２８は、同一のグループ番号３２１が付与された履歴データについて、照合テーブル３１０の開始時刻３１３を参照して、直近の履歴参照期間（例えば現時点から遡った１週間）に含まれる履歴データと、過去（例えば３ヶ月前）の履歴参照期間に含まれる履歴データを比較し、認証失敗となった履歴データが過去より直近の履歴データに多く含まれていると、当該対象人物は認証困難者であると判定する。または履歴参照期間の長さを固定として、時間について移動平均を求めることにより、認証失敗となった履歴データが増加傾向にあることを検出して、当該対象人物は認証困難者であると判定する。この方法によっても、化粧の好みや髪型の変化により認証成功の可否の傾向が変わった利用者について、顔画像認証装置１０の管理者は過去よりも最近の認証結果を重視して登録顔画像の更新の必要性を認識することができる。

あるいは、判定手段５２８は、図４に示す履歴データを参照することなく、顔照合手段５２３にて認証失敗との結果が得られた場合に、要望行動カウンタ３１８の値が閾値を超えていたら当該対象人物を認証困難者であると判定しても良い。この判定結果を、例えば表示部３００を顔画像認証装置１０が設置されたオフィスビルの管理センタに設置されたモニタ画面である場合に、その画面に警告メッセージ付きで表示することにより、顔画像認証装置１０の管理者は、認証失敗との結果が得られたら直ちに登録顔画像の更新の必要性を認識することができる。

さらには、行動検出手段５２４は、カメラを直視しながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定するのではなく、単にカメラを直視している対象人物、または単に立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。
その場合、行動検出手段５２４は、直視度と静止度のうちの何れか又は何れも算出し、直視度が直視度閾値以上である場合、または静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。即ち、認証時間内において対象人物が撮像部に対して顔を略正面方向に向けていると判断される顔領域画像が所定の枚数以上である、または認証時間内において対象人物が略静止していると判断される時間が所定時間以上である場合に、行動検出手段５２４は、その対象人物は認証されようとしているものの認証されにくい状態にあると判定して要望行動カウンタをインクリメントする。
このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値と同じにしてもよい。あるいは、要望行動を取っていない人物を誤って検出することを抑制するため、このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値は静止度閾値より大きい値にしてもよい。
この場合も、顔画像認証装置１０は、登録された顔画像が認証時に取得される顔領域画像と異なって認証失敗となることが多い人物を早期に、かつ高精度に検出でき、顔画像認証装置１０の管理者は速やかに登録顔画像の更新の必要性を認識することができる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１００・・・撮像部
２００・・・出力部
３００・・・表示部
４００・・・入力部
５１０・・・記憶部
５２０・・・照合部
５２４・・・行動検出手段
５２５・・・顔向き検出手段
５２６・・・静止検出手段
５２７・・・履歴検出手段
５２８・・・判定手段
５２９・・・登録手段

Claims

監視領域内の人物を撮影した監視画像を順次取得する撮像部と、
登録人物の顔画像である登録顔画像を予め記憶する記憶部と、
前記監視画像を用いて人物認証を行う照合部
を具備する顔画像認証装置であって、
前記照合部は、
前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、
前記顔領域画像を用いて前記人物の顔向きを検出する顔向き検出手段と、
前記顔領域画像と前記登録顔画像を照合し、当該顔領域画像の人物が前記登録人物か否かの認証をする顔照合手段と、
前記顔照合手段が前記顔領域画像の人物は前記登録人物でないと認証し、かつ当該人物が認証されようとする所定の要望行動を取ったこととして少なくとも前記顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いている前記顔領域画像の数が所定数以上であることを条件に当該人物を認証困難者と判定する判定手段と、
を有することを特徴とする顔画像認証装置。
前記照合部は、取得した前記顔領域画像が略静止していることを検出する静止検出手段をさらに備え、
前記判定手段は、少なくとも前記顔領域画像が略静止している時間が所定時間以上であることを前記所定の要望行動としたことを特徴とする請求項１に記載の顔画像認証装置。
前記照合部は、順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段をさらに備え、
前記静止検出手段は、前記顔領域画像の追跡位置が略静止していることを検出することを特徴とする請求項２に記載の顔画像認証装置。
前記照合部は、前記顔領域画像と前記顔照合手段の認証結果とを対応付けて照合履歴として前記記憶部に記憶させる履歴管理手段をさらに備え、
前記判定手段は、前記照合履歴を参照して、同一の前記人物に関し前記登録人物ではないとの認証結果が履歴閾値以上であることを前記条件に追加した請求項１〜３のいずれか１つに記載の顔画像認証装置。
前記照合部は、前記顔領域画像と前記顔照合手段の認証結果とを対応付けて照合履歴として前記記憶部に記憶させる履歴管理手段をさらに備え、
前記判定手段は、前記照合履歴を参照して、同一の前記人物に関し所定の履歴参照期間に含まれる前記登録人物ではないとの認証結果が増加傾向にあることを前記条件に追加した請求項１〜３のいずれか１つに記載の顔画像認証装置。
前記顔画像認証装置は、
表示部と、外部からの指示入力により前記登録顔画像を前記顔領域画像にて再登録する登録手段をさらに備え、
前記登録手段は、前記登録顔画像と、前記登録人物ではないとの認証結果の回数の多い順に前記顔領域画像を前記表示部に並べて表示させ、指示入力を受けた際に表示された前記登録顔画像を当該顔領域画像にて再登録することを特徴とした請求項１〜５のいずれか１つに記載の顔画像認証装置。