JP4850609B2 - 顔画像照合装置 - Google Patents

Description

本発明は、顔画像を用いて本人認証を行う顔画像照合装置に関し、特に予め登録している本人の登録顔画像を順次更新していく顔画像照合装置に関する。

近年、高度のセキュリティが必要とされる施設において利用者の入退室を管理する場合や機密データへのアクセスを制限する場合などに、身体的特徴をもとに本人を確認するいわゆる生体認証（バイオメトリクス）の手法が利用されている。身体的特徴には、指紋、眼球の虹彩、顔等の身体的特徴が用いられる。

顔画像を用いた顔画像照合装置においては、照合時にビデオカメラ等にて撮影した入力顔画像と、予め登録している本人の顔画像である登録顔画像を照合して、入力顔画像が本人かどうか判定する。かかる顔画像照合装置は、部屋への入退室管理に使用され、照合結果が本人と判定されれば扉の電気錠を解錠し、本人でないと判定されれば解錠せず警告等を行う。

ところで、登録顔画像には正面を向いて撮影した顔画像を用意することが一般的である。しかし、顔画像照合装置にて照合する場面では、撮影のタイミング、利用者の癖、装置の設置状況など種々の理由により、正面以外の向きで撮影してしまうこともある。また、眼鏡をかけて登録した利用者が眼鏡を外して利用する場合もある。よって、正面を向いた登録顔画像を１枚のみ用意するのでは、利用者を正しく本人と判定できない場合がある。

このため、従来、顔画像照合装置では、撮影条件の異なる複数の登録顔画像を用意している。例えば、特許文献１では、まず顔の向きを検出し、検出された顔の向きと同じ条件にて撮影された登録顔画像を選択してから照合処理を行っている。

また、人間の顔は、加齢・眼鏡の交換・化粧の具合などにより変動するため、登録顔画像を全く更新しないと、本人であっても本人でないと判定することがある。

このため、従来、顔画像照合装置では、適宜、登録顔画像を更新している。例えば、特許文献２では、利用者に登録顔画像を提示して、手動入力を促し、更新してよいかどうかの判断を委ねている。
特開２００２−２８８６７０号公報 特開２００５−１１５４８１号公報

しかしながら、従来の顔画像照合装置では、撮影条件の異なる複数の登録顔画像の中から、利用者が更新対象となる登録顔画像を自ら選択しなければならず、利用者の使い勝手が悪い。
また、登録顔画像は、同一人物を撮影した顔画像のため、基本的に良く似た画像である。他方、顔画像照合装置における入力顔画像と登録顔画像とが類似している度合い、すなわち類似度は、必ずしも人が目視にて似ていると認識する程度と必ずしも一致しない。
このため、上を向いた顔画像の登録顔画像が、下を向いた顔画像である入力顔画像にて更新される可能性がある。したがって、異なる撮影条件の入力顔画像によって登録顔画像が更新されると、実際の運用における撮影条件のばらつきに対応するために適確な登録顔画像を複数用意していたにもかかわらず、更新により偏った撮影条件の顔画像となってしまう可能性がある。

そこで、本発明は、かかる課題を鑑みてなされたものであり、照合時の顔の向きの変動や、眼鏡の有無等の顔の撮影条件に対応できるよう複数の登録顔画像を用意した場合に、顔の撮影条件に対応する登録顔画像を自動的に選択し、更新して、照合精度の劣化を招かない顔画像照合装置の提供を目的とする。

かかる課題を解決するために、本発明は予め記憶している複数の登録顔画像と入力顔画像を照合して本人照合を行う顔画像照合装置であって、照合者の顔を撮影した入力画像に基づいて入力顔画像を取得する入力顔画像取得部と、同一人物について変動を含ませた複数の登録顔画像と、複数の登録顔画像ごとに更新に使用する３以上の候補顔画像を記憶している記憶部と、入力顔画像取得部にて取得した入力顔画像と複数の登録顔画像の類似している度合である類似度を算出し、当該類似度が照合閾値を超えていると本人であると判定する照合部と、照合部の照合結果を外部に出力する出力部と、照合部にて算出した複数の登録顔画像ごとの入力顔画像に対する類似度を比較し、最も類似度が大きい登録顔画像を選択する登録顔画像選択手段と、選択された登録顔画像に対応する候補顔画像を入力顔画像にて更新する候補顔画像更新手段と、選択された登録顔画像に対応した３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を３以上の候補画像それぞれについて算出し、相互類似度が最大の候補顔画像にて選択された登録顔画像を更新する登録顔画像更新手段とを有することを特徴とした顔画像照合装置を提供する。

かかる構成により、本発明は、撮影条件の異なる複数の登録顔画像の更新に使用する候補顔画像を更新する際に、入力顔画像と最も類似度が大きい登録顔画像を選択し、選択した登録顔画像に対応する候補顔画像を入力顔画像での更新処理を行う。

また、本発明の好適な態様では、補顔画像更新手段は、相互類似度が最も大きい候補顔画像と入力顔画像との類似度を算出し、当該類似度が更新閾値を越えている場合に限り、当該入力顔画像を用いて候補顔画像を更新する。

かかる態様により、本発明は、他人または他の撮影条件での入力顔画像にて候補顔画像が更新されるのを防ぐことができる。

また、本発明の好適な態様では、候補顔画像更新手段は、候補顔画像と入力顔画像とが類似している度合を示す候補類似度を算出し、候補類似度が最大でも最小でもない中間の候補類似度が更新閾値を越えている場合に、当該入力顔画像を用いて記憶部に記憶されている候補顔画像を更新する。

かかる態様により、本発明は、他人または他の撮影条件での入力顔画像にて候補顔画像が更新されるのを防ぐことができる。

更に、好適な態様としては、登録顔画像更新手段は登録顔画像と入力顔画像の類似度が、相互類似度が最大の候補顔画像と入力顔画像の類似度より小さいことが所定回数続くと、当該登録顔画像を更新する。

候補顔画像更新手段は、照合部が本人であると判定した場合に限り、候補顔画像を更新する。

本発明は、撮影条件が異なる登録顔画像を複数用意した顔画像照合装置であっても、適切に選択された登録顔画像を入力顔画像にて更新することができるので、顔画像照合装置の使い勝手と信頼性の向上が図れる。

以下、図を参照して、本発明にかかる顔画像照合装置を、出入口の扉に電気錠が設置されている部屋へのアクセス制御システムに適用した実施形態を説明する。

図１は、本発明にかかる顔画像照合装置１００を備えたアクセス制御システム１０全体の構成を示すブロック図である。アクセス制御システム１０は、顔画像照合装置１００、利用者の顔を撮影する撮像素子、レンズなどから構成されるカメラ１５０、利用者が操作して利用者情報（ＩＤコードなど）を入力するキースイッチであるテンキー１５１、顔画像照合装置１００からの出力に基づいて動作する扉に設置された電気錠１６０から構成されている。

また、顔画像照合装置１００は、接続しているカメラ１５０から顔画像を取得するインターフェースである入力部１０２、接続しているテンキー１５１から利用者情報を取得するインターフェースである選択入力部１０３、照合に使用する各種顔画像やプログラム等を記憶する記憶部１０４、顔画像から特徴を抽出するモジュールである特徴抽出部１０５、２つの顔画像の特徴を照合し判定するモジュールである照合部１０６、記憶部１０４に記憶される登録顔画像１０４ａと候補顔画像１０４ｂを更新するためのモジュールである更新部１０７、接続している電気錠１６０に施錠または解錠信号を出力する出力部１０８、照合結果等を表示する表示部１０９、顔画像照合装置１０の全体処理の制御を行う制御部１０１から構成されている。

次に、顔画像照合装置１０の各部について、詳細に説明する。
選択入力部１０３は、利用者によりテンキー１５１から入力された、利用者を特定する番号（ＩＤ番号）を取得し、制御部１０１に出力する。例えば、オフィスビルなどでは、社員番号を入力する。テンキーの代わりにタッチパネルや、ＩＣカードリーダーを用いてもよい。

入力部１０２は、利用者がテンキー１５１を操作して入力したＩＤ番号が予め登録されたＩＤ番号であれば、カメラ１５０によって撮影された人物の顔画像を含む入力画像を取得し、制御部１０１に出力する。なお、入力画像取得のタイミングは、超音波センサ等を設置し、利用者の接近を検知することをトリガーとしてもよい。

記憶部１０４は、フラッシュメモリやハードディスクなどの記憶媒体で実現し、複数の登録顔画像１０４ａ、複数の候補顔画像１０４ｂ、登録顔画像１０４ａと候補顔画像１０４ｂに関連づけられる利用者毎のＩＤ番号、および、撮像部１０２にて取得された入力画像を一時的に記憶する。また、本実施の形態では、画像そのものを記憶しているが、特徴抽出部１０５にて抽出された特徴量を各種顔画像に変えて記憶しておいても良い。特徴量を記憶すれば、必要な記憶容量の削減や処理スピードの向上を図ることができる。

このほか、図示していないが、記憶部１０４には、特徴抽出部１０５で実行されるプログラムである抽出モジュール、照合部１０６にて実行されるプログラムである照合モジュール、更新部１０７にて実行されるプログラムである更新モジュール、それらの処理にて用いられる照合閾値や、処理の状態を表すフラグなどの各種パラメータを記憶する。

ここで、登録顔画像１０４ａと、候補顔画像１０４ｂについて説明する。
登録顔画像１０４ａは、本人照合の基準となる顔画像であって、入力顔画像が許可された本人の顔画像であるかを照合するときに使用する。なお、登録顔画像１０４ａは、利用者１人につき最低１枚あれば顔照合が可能であるが、顔の向き、眼鏡の有無、表情の変化、といった日常変動に対応するためには、あらかじめ変動を含む画像も記憶することが有効である。本実施の形態では、顔の向きの変動に対応するため、登録顔画像１０４ａを１人あたり３枚用意し、各々、上向きの顔、正面向きの顔、下向きの顔を記憶する。なお、登録顔画像の数は利用者により異なってもよい。各登録顔画像１０４ａは、後述する登録顔画像更新手段１０７１にて、候補顔画像１０４ｂを用いて更新される。

候補顔画像１０４ｂは、登録顔画像１０４ａの更新に使用する顔画像であって、登録顔画像１０４ａと照合して本人であると判定された入力顔画像である。なお、本実施の形態では、登録顔画像１０４ａ１枚につき候補顔画像１０４ｂを３枚用意しているが、３枚以上であればよい。また、候補顔画像１０４ｂは、後述する候補顔画像更新手段１０７２にて更新される。
また、候補顔画像１０４ｂは登録顔画像１０４ａ毎に用意する。本実施の形態では、登録顔画像１０４ａを１人あたり３枚用意しているので、候補顔画像１０４ｂは９枚用意されている。

複数の登録顔画像１０４ａ、各登録顔画像に対応付けられる複数の候補顔画像１０４ｂ、およびＩＤ番号は、互いに対応付けられて記憶部１０４に記憶される。このＩＤ番号ごとの組が、顔画像照合装置１００の利用者に対応して記憶されている。

特徴抽出部１０５、照合部１０６、および更新部１０７は、図示していないが記憶部１０４に記憶されている各種プログラムであるモジュールを制御部１０１にて実行される機能ブロックとして模式的に示している。

特徴抽出部１０５は、入力画像から顔領域を切り出した入力顔画像を生成する顔画像切出手段１０５１と、入力顔画像と登録顔画像１０４ａおよび候補顔画像１０４ｂの各種顔画像から照合に有用な特徴量を算出する特徴量算出手段１０５２を有する。

なお、本実施の形態では、入力顔画像取得部は、入力部１０２及び後述する特徴抽出部１０５における顔画像切出手段にて構成される。

顔画像切出手段１０５１は、予め多数の顔画像と顔が写っていない非顔画像にて学習させたニューラルネットを用いて、入力部１０２から入力された入力画像から入力顔画像を生成する。例えば、切り出す矩形の位置と大きさを様々に変え、最も大きな出力が得られた矩形を顔領域として抽出すればよい。かかる矩形の顔領域の画像を入力顔画像として切り出し、記憶部１０４に記憶させる。ニューラルネットワーク以外の方法を用いても良い。

特徴量算出手段１０５２は、記憶部１０４に記憶されている入力顔画像、登録顔画像１０４ａ、候補顔画像１０４ｂから本人判定のための特徴量を算出する。
具体的には、特徴量を抽出したい顔画像から目尻、目頭、口の端部、口の中心などの人の特徴を呈する特徴点をテンプレートマッチング法にて抽出する。テンプレートマッチング法は、目尻等の特徴点ごとに予め用意したテンプレート画像と入力画像をずらしマッチング処理する一般的な方法なので、詳細な説明は省略する。他の方法を用いても良い。

次に特徴量算出手段１０５２は、抽出された各特徴点に対して、特徴点を中心に設定しガボールフィルタを作用させ、各特徴点近傍における方向、周波数、広がり、位置等の特徴量を算出する。ガボールフィルタを使用することにより、特徴点の周囲の局所的な画像から特徴量を算出できるので、照明の変化などによる全体的な輝度の変化の影響を避けつつ、特徴量を抽出することが可能となる。そして、特徴量算出手段１０５２は、算出した特徴量を顔画像とともに記憶部１０４に記憶する。なお、特徴点の部位や、特徴の種類に応じて重み付けをしてもよい。また、生体的特徴を現すパラメータであれば、他のパラメータを用いても良い。

照合部１０６は、記憶部１０４に記憶された入力顔画像、登録顔画像１０４ａまたは候補顔画像１０４ｂのうち２枚を比較し、同一人物の顔画像か否かの照合を行う。照合部１０６は、類似度算出手段１０６１と判定手段１０６２からなる。

類似度算出手段１０６１は、２枚の顔画像について、特徴抽出部１０５にて算出した特徴量どうしの類似度を算出する。例えば、入力顔画像の特徴量と、登録顔画像１０４ａの特徴量を記憶部１０４からそれぞれ読み出す。次に、各特徴量をベクトルとみなし、各ベクトルの差を計算した差分ベクトルの長さの逆数が類似度である。類似度は、概念的に２枚の画像が類似している度合である。このため、本実施の形態では特徴量ベクトルを用いて数値化を試みているが、これに限られるものではなく、ユークリッド距離など他の方式を用いても良い。類似度算出手段１０６１にて算出した類似度は、判定手段１０６２または更新部１０７へ送出する。

判定手段１０６２は、類似度算出手段１０６１で算出した類似度と、あらかじめ記憶されている照合閾値とを比較することで、照合部１０６に入力された２枚の顔画像が同一人物のものか否かを判定する。例えば、入力顔画像が登録顔画像１０４ａの顔画像の本人か否かの判定を行う。判定結果が、本人と判定された場合は、出力部１０８を介して電気錠１６０に出力され、電気錠１６０を解錠する。なお、本人でない場合は、出力しない。また、判定結果は、表示部１０９に判定結果として出力され、本人であれば照合ＯＫの旨、本人でなければ照合ＮＧの旨を表示部１０９にて利用者に表示される。

更新部１０７は、登録顔画像１０４ａの更新を行う登録顔画像更新手段１０７１と、候補顔画像１０４ｂの更新を行う候補顔画像更新手段１０７２と、登録顔画像１０４ａを選択する登録顔画像選択手段１０７３を有している。

登録顔画像選択手段１０７３は、記憶部１０４に記憶されている複数の登録顔画像１０４ａから、付随する候補顔画像１０４ｂを更新すべき登録顔画像１０４ａを選択する処理である。
具体的には、選択入力部１０３から入力されたＩＤ番号に対応する複数の登録顔画像１０４ａのそれぞれについて、類似度算出手段１０６１にて、入力顔画像との類似度（本人類似度）を算出するが、そのうち最大の類似度を示した登録顔画像１０４ａを選択する処理である。
本実施例では、登録顔画像１０４ａは上向きの顔、正面向きの顔、下向きの顔が記憶されているが、例えば、入力顔画像として正面向きの顔画像が取得された場合には、最も類似度が高いことになる正面向きの登録顔画像１０４ａが選択される。

登録顔画像更新手段１０７１は、複数の候補顔画像１０４ｂから他人の顔画像の可能性の低いものを特定し、登録顔画像１０４ａを更新する。

登録顔画像更新手段１０７１は、判定手段１０６２にて本人であると判定した場合に処理を開始し、複数の候補顔画像１０４ｂから登録顔画像１０４ａを更新する候補顔画像１０４ｂを選択し、選択した候補顔画像１０４ｂにて登録顔画像１０４ａを更新する処理である。

具体的には、登録顔画像更新手段１０７１は、記憶部１０４から、登録顔画像選択手段１０７３にて選択され、登録顔画像１０４ａに対応する３枚の候補顔画像１０４ｂを読み出す。次に、類似度算出手段１０６１に読み出した候補顔画像１０４ｂの相互の類似度を算出させて、図４に示すように３つの類似度を取得する。ここでは、候補顔画像１と候補顔画像２との類似度を相互類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出する。

次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高いので、候補顔画像１を特定する。そして、特定した候補顔画像１にて登録顔画像１０４ａを更新する。

アクセス制御システムの運用では、他人による詐称行為が行われ、さらに他人受理されて候補顔画像１０４ｂに他人の顔画像が紛れ込む頻度に比べると、本人が利用し、本人受理されて候補顔画像１０４ｂになる方が圧倒的に多い。したがって、他人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が低くなり、逆に本人の候補顔画像１０４ｂは相互類似度が高くなる。なお、本実施の形態では、相互類似度が最も高い候補顔画像１０４ｂにて更新するようにしたが、候補顔画像１０４ｂの数を多くすれば、最高でなくてもある程度上位になっているいずれかの候補顔画像１０４ｂを特定するようにしても良い。

更に、例え、他の撮影条件での入力顔画像が候補顔画像１０４ｂにて更新されていたとしても、かかる他の撮影条件での候補顔画像１０４ｂの相互類似度が最も高くなる可能性が低いので、他の撮影条件の入力顔画像が登録顔画像１０４ａに更新される可能性が低くなる。

本実施の形態では、候補顔画像１０４ｂのみについて相互類似度を求めるとしていたが、登録顔画像１０４ａも併せて相互類似度を求めても良い。

次に、候補顔画像更新手段１０７２を説明する。候補顔画像更新手段１０７２は、判定手段１０６２にて本人であると判定した場合に処理を開始し、複数の候補顔画像１０４ｂから最も他人の可能性が高いものと、入力顔画像を入れ替えて更新する。

候補顔画像更新手段１０７２の処理について、図３を参照し詳細に説明する。図３は、候補顔画像更新手段の処理フローである。まず、Ｓ２００では、後述するＳ２０８にて求めた候補顔画像１０４ｂの相互類似度のうち、最も高い候補顔画像を特定し、記憶部１０４から読み出す。すなわち、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像１０４ｂを特定する。例えば、比較結果が相互類似度１＞相互類似度２＞相互類似度３との結果であれば、相互類似度１が最も類似度が高い候補顔画像１を選択する。
ここで、相互類似度の最も高い候補顔画像１を選択するのは、候補顔画像１が最も他人の顔画像である可能性が低く、本人の顔画像の可能性が高いからである。そして、候補顔画像１と入力顔画像の類似度（候補類似度１）を類似度算出手段１０６１にて算出する。

Ｓ２０２では、かかる候補顔画像１との候補類似度１が、記憶部１０４に記憶されている更新閾値を超えているか否か比較し、候補顔画像１０４ｂの更新をするかどうかを判定する。すなわち、候補類似度１が更新閾値以下の場合は、入力顔画像は候補顔画像１０４ｂの更新には不適切であると判定し、更新せずに、この候補顔画像更新処理を終了する。

Ｓ２０２にて、候補類似度１が更新閾値より大きい場合は、入力顔画像は候補顔画像１０４ｂの更新に適切なものであると判定し、Ｓ２０４に進む。更新閾値は、類似度算出方法・照合精度等に依存する。候補顔画像１０４ｂは、登録顔画像１０４ａに更新される可能性があり、他人の可能性及び他の撮影条件での入力顔画像を極力排斥する必要があるので、更新閾値は高く設定する方がよい。他方、あまり高い更新閾値を設定すると、加齢等による本人の顔変化に追従できなくなる。したがって、更新閾値は、これらの要素を考慮しつつ、経験的に決定される。

Ｓ２０４では、Ｓ２００と同様に、類似度算出手段１０６１にて候補顔画像２と入力顔画像の類似度（候補類似度２）、候補顔画像３と入力顔画像の類似度（候補類似度３）を算出する。

Ｓ２０６では、候補類似度１、候補類似度２および候補類似度３の中で、最小の類似度である候補顔画像１０４ｂを選択し、候補顔画像１０４ｂを入力顔画像にて置き換える。

入力顔画像との類似度が最小な候補顔画像１０４ｂとは、本人と判定された入力顔画像と最も似ていない候補顔画像１０４ｂであることを意味している。以前に他人受理等が発生し、候補顔画像１０４ｂに他人または他の撮影条件の顔画像が含まれていたとしても、他人の候補顔画像や他の撮影条件の候補顔画像は、本人且つ同一の撮影条件の候補顔画像よりも入力顔画像との類似度が低いので、本人が利用することで候補顔画像１０４ｂに紛れ込んでいる他人の候補顔画像等を入力顔画像に更新することができる。よって、他人の顔画像等が候補顔画像１０４ｂに含まれても、いち早く当該候補顔画像１０４ａを本人の入力顔画像にて更新することが可能となる。

Ｓ２０８では、更新された候補顔画像１０４ｂの相互類似度を算出する。
候補顔画像更新手段１０７２は、更新された候補顔画像１０４ｂを含めて相互の類似度を算出させて、３つの類似度を取得する。登録顔画像更新手段１０７１の場合と同様に、候補顔画像１と候補顔画像２との類似度を相互類似度Ａ、候補顔画像２と候補顔画像３との類似度を類似度Ｂ、候補顔画像３と候補顔画像１との類似度を類似度Ｃと便宜的に呼ぶ。

次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像１では、類似度Ａおよび類似度Ｃの平均値を相互類似度１として算出する。候補顔画像２では、類似度Ｂおよび類似度Ａの平均値を相互類似度２として算出する。候補顔画像３では、類似度Ｃおよび類似度Ｂの平均値を相互類似度３として算出する。すなわち、「相互類似度１＝（類似度Ａ＋類似度Ｃ）／２」「相互類似度２＝（類似度Ｂ＋類似度Ａ）／２」「相互類似度３＝（類似度Ｃ＋類似度Ｂ）／２」にて、各候補顔画像の相互類似度を算出し、処理を終了する。

ここで、相互類似度が最も高い候補顔画像１０４ｂとは、複数の候補顔画像の何れにも似ている度合が最も高いので、複数の候補顔画像１０４ｂのうち最も本人の顔画像の可能性が高い候補顔画像１０４ｂである。

アクセス制御システムの運用では、他人による詐称行為や他人受理によって候補顔画像１０４ｂが紛れる頻度に比べると、本人による正しい本人受理による候補顔画像１０４ｂが候補顔画像１０４ｂになる方が圧倒的に多い。したがって、本人の候補顔画像１０４ｂは、複数の候補顔画像１０４ｂの中で他の候補顔画像１０４ｂとの類似度が最も高くなる。

出力部１０８は、判定手段１０６２にて本人であると判定した場合、顔画像照合装置１００に接続されている外部の機器である電気錠１６０に対して、解錠信号または施錠信号を出力するインターフェースである。

表示部１０９は、本実施の形態では、ＬＥＤにて実現しているが、液晶表示装置やタッチパネルを用いて、テンキー１５１と共用としてもよい。

制御部１０１は、ＣＰＵ、ＤＳＰ，メモリ等により実現され、顔画像照合装置１００の各部を記憶部１０４等に記憶されている各種プログラムにしたがって制御する。

以上のように構成されたアクセス制御システム１０の照合動作及び顔画像の更新動作について図２および図５に示されたフロー図を用いて説明する。なお、以下の説明では、初期設定として、顔画像照合装置１００について特別な権限をもつ管理者が、各利用者の顔を撮影して、登録顔画像１０４ａを記憶部１０４に記憶済みであり、ＩＤ番号の設定も終了しているとする。なお、一人当たり３枚の登録顔画像１０４ａが用意されているが、やや上向きの顔画像を登録顔画像１に、正面向きの顔画像を登録顔画像２に、やや下向きの顔画像を登録顔画像３に記憶するものとする。また、候補顔画像１０４ｂは、初期状態では対応付けられている登録顔画像１０４ａをコピーして記憶しておく。

図２は、本実施形態にかかる照合動作および更新動作の全体を示すフロー図である。
Ｓ１００では、利用者がテンキー１５１を操作して自分のＩＤ番号を選択操作すると、選択入力部１０３からＩＤ番号が入力される。制御部１０１では、入力されたＩＤ番号が記憶部１０４に記憶されているＩＤ番号と一致しているか否かを判定し、一致していればステップＳ１０２へ進む。他方、図示していないが、一致するＩＤ番号が記憶されていなければ、照合動作することなく終了する。

Ｓ１０２では、制御部１０１は、入力部１０２を制御し、カメラ１５０にて撮影した利用者の顔部分を含む入力画像を取得する。

Ｓ１０４では、制御部１０１は、記憶部１０４に記憶されている、複数の登録顔画像１０４ａから１枚を読み出し、次のステップでの照合処理の対象とする。

Ｓ１０６では、照合部１０６にて利用者が本人か否かの照合処理を行う。
先ず、特徴抽出部１０５の顔画像切出手段１０５１にて、入力画像から顔領域を切り出し、入力顔画像を生成し記憶部１０４へ一旦記憶する。
次に、特徴抽出部１０５の特徴量算出手段１０５２にて、Ｓ１０４またはＳ１１０にて読み出された登録顔画像１０４ａと入力顔画像のそれぞれの特徴量を算出する。
なお、本実施の形態では、記憶部１０４に登録顔画像を記憶し照合のたびに特徴量を算出しているが、登録顔画像１０４ａを画像そのものではなく特徴量を記憶しているときは、入力顔画像についてのみ行う。
また、後述のＳ１０８とＳ１１０を経て、既に入力顔画像の特徴量の計算が済んでいる場合には、同じ処理を繰り返す必要はない。
次いで、照合部１０６の類似度算出手段１０６１にて、入力顔画像と登録顔画像１０４ａの特徴量から類似度を算出する。この類似度を本人類似度とする。本人類似度は、記憶部１０４に一時的に記憶される。

Ｓ１０８では、制御部１０１は、Ｓ１００にて入力されたＩＤ番号に対応しており、記憶部１０４に記憶されている全ての登録顔画像１０４ａについて、本人類似度の算出処理が済んでいるかどうかを調べる。Ｓ１０６の処理の対象となっていない登録顔画像１０４ａがあるならば、当該登録顔画像をＳ１１０にて読み出し、Ｓ１０６の処理を繰り返す。
全ての登録顔画像１０４ａについて本人類似度算出処理が済んでいる場合には、Ｓ１１２に進む。

Ｓ１１２では、判定手段１０６２にて、記憶部１０４に記憶されている本人判定用の照合閾値と全ての本人類似度を比較し、いずれかの本人類似度が照合閾値より大きいならば照合成功（利用者は許可者本人である）として、処理をＳ１１６に進める。
いずれの本人類似度も照合閾値以下ならば、照合失敗（利用者は許可者本人とは確認できない）とし、処理をＳ１１４に進める。

ここで、照合閾値は、特徴量の定義方法に依存するものであり、経験的に決定されるものである。例えば、あらかじめ多数の顔画像を用いて実験を行い、閾値と他人受入率、本人拒否率の関係を調べた上で、顔照合装置の用途に応じた適切な照合精度を確保できるように決定する。

Ｓ１１４では、制御部１０１は、照合失敗の旨を表示部１０９に出力し、Ｓ１００のＩＤ番号の入力を待つ。当然、かかる場合は、電気錠１６０への施錠または解錠の信号は出力されない。

Ｓ１１６では、制御部１０１は、出力部１０８から接続されている電気錠１６０に施錠または解錠信号を出力するとともに、表示部１０９に照合成功の旨を表示する。

Ｓ１１８では、登録顔画像選択手段１０７３は、記憶部１０４に一時的に記憶された本人類似度のなかで、最大の登録顔画像１０４ａを選択する。これを登録顔画像Ｍとする。
登録顔画像Ｍは、アクセス制御システム１０の利用者毎に複数用意されている登録顔画像１０４ａのなかで、最も入力顔画像の状態に近い登録顔画像である。
例えば、入力顔画像が正面向きで取得されたものであった場合、登録顔画像Ｍとして、登録顔画像２が選ばれる。

ここで、本人類似度の最大の登録顔画像１０４ａとは、複数の撮影条件が異なる登録顔画像のうち入力顔画像に最も類似しているものである。したがって、登録顔画像Ｍを選択することは、入力顔画像と最も撮影条件が共通している登録顔画像１０４ａを選択していることになる。

Ｓ１２０では、Ｓ１１６で選択された、登録顔画像Ｍに付随する候補顔画像に対して、更新部１０７の候補顔画像更新手段１０７２にて、図３に示した候補顔画像更新処理を行う。登録顔画像Ｍを入力顔画像にて直接更新しないのは、登録顔画像Ｍが必ずしも撮影条件の違いだけが、本人類似度の違いに現れていない可能性があるためである。そこで、登録顔画像Ｍと撮影条件が共通していると予想される候補顔画像１０４ｂを用いて、候補顔画像１０４ｂの更新に適しているか判断している。

Ｓ１２２では、登録顔画像更新処理を行う。図５を参照して、かかる処理について説明する。図５は、当該処理に関するフロー図である。登録劣化カウンタは０をそれぞれ初期値としている。

Ｓ３００では、Ｓ２００にて候補顔画像更新の際に算出した候補類似度１と、登録顔画像Ｍに対応する本人類似度を比較する。当該本人類似度は登録顔画像Ｍと入力顔画像の類似度であり、候補類似度１は複数の候補顔画像１０４ｂの相互類似度が最高のものと入力顔画像の類似度である。このため、当該本人類似度が候補類似度１より小さいという状態は、登録顔画像Ｍよりも候補顔画像１０４ｂの方が、入力顔画像と類似していることを示している。従って、このような状態が続くのであれば、登録顔画像Ｍを候補顔画像１０４ｂで置き換えた方が良いことになる。

そこで、登録顔画像Ｍに対応する本人類似度が候補類似度１より小さい場合は、登録劣化カウンタの値に１加算し（Ｓ３０２）、次のＳ３０４に処理を移す。他方、登録顔画像Ｍに対応する本人類似度が候補類似度１以上の場合は、登録劣化カウンタを０にリセットし（Ｓ３０８）、登録顔画像更新処理（Ｓ１２２）を終了する。

Ｓ３０４では、制御部１０１は、登録劣化カウンタが所定数をカウントしたか否か判定する。この所定数は、経験的に求められる。多く設定すると、登録顔画像１０４ａの劣化への対応が遅くなり、少なく設定すると劣化への対応は早くなるが頻繁に登録顔画像１０４ａが更新されることによる他人の顔画像による更新リスクが高くなる。所定数は、これらを考慮し、経験的に決められる。

Ｓ３０４にて、所定数に達していないと判断すると、いずれの登録顔画像１０４ａについても更新は行わず、登録顔画像更新処理（Ｓ１２２）を終了する。他方、所定数に達していれば、Ｓ３０６へ進む。

Ｓ３０６では、登録顔画像更新手段１０７１にて、登録顔画像Ｍについて更新する処理を行う。すなわち、前述した登録顔画像更新手段１０７１での処理を行なう。Ｓ３０８では、登録劣化カウンタを０クリアし、登録顔画像更新処理（Ｓ１２２）を終了する。図２に戻って、Ｓ１００に戻り、再度テンキー１５１の操作がされるのを待つ。

以上では、候補顔画像１０４ｂどうしの類似度を用いた候補顔画像の更新の方法を説明したが、これに限られるものではない。
候補類似度１、候補類似度２、候補類似度３の大小関係を調べ、最大のものでも最小のものでもない中間の候補顔画像１０４ｂを選択する。例えば、候補類似度１＞候補類似度２＞候補類似度３であれば、候補類似度２が中間なので、候補顔画像２を選択する。ここで、候補類似度が中間の候補顔画像を選択するのは、複数の候補顔画像１０４ｂに１枚だけ他人の候補顔画像が紛れていた場合、今回の入力顔画像が同じ他人であれば、他人の候補顔画像との類似度が最も大きくなる。また、今回の入力顔画像が本人の顔画像であれば、他人の候補顔画像とは類似度が最も小さくなる。したがって、他人の候補顔画像の可能性が最も低くなるのが、中間の候補類似度を呈する候補顔画像だからである。

次に、中間の候補類似度２が、更新閾値より大きいか否か判定する。候補類似度２が更新閾値より大きい場合は、入力顔画像は候補顔画像１０４ｂの更新に適切なものであると判定し、小さい場合は候補顔画像の更新に不適であると判定する。

更新閾値は、類似度算出方法や照合精度等に依存する。候補顔画像１０４ｂは、登録顔画像１０４ａに更新される可能性があり、他人の可能性を極力排斥する必要があるので、更新閾値は高く設定する方がよい。他方、あまり高い更新閾値を設定すると、加齢等による本人の顔変化に追従できなくなる。したがって、更新閾値は、これらの要素を考慮しつつ、経験的に決定される。

最後に、候補類似度１、候補類似度２、候補類似度３のうち、最も小さい類似度を呈する候補顔画像１０４ｂを入力顔画像にて更新する。ここで、入力顔画像と最も小さい類似度を呈する候補顔画像１０４ｂを選択するのは、本人の入力顔画像があったときに、他人の候補顔画像とが最も類似度が小さくなるからである。

本実施の形態では候補顔画像１０４ｂが３枚であるので、第二位の類似度であった候補顔画像１０４ｂを採用したが、例えば候補顔画像１０４ｂが９枚で、２枚までは他人の顔画像であっても良い、とするならば、第３位から第７位のいずれかの類似度を採用して、更新閾値との比較をすればよい。

本実施形態では、照合の度に候補顔画像１０４ｂの更新の判断を行い、処理対象は候補顔画像１０４ｂ全体であるが、一旦、候補顔画像１０４ｂが更新された場合に、一定期間はその更新された候補顔画像１０４ｂのみ更新を許すことにして、それ以外の候補顔画像１０４ｂは更新させないようにしても良い。その一定期間が過ぎるまでに本人がアクセス制御システム１０の操作を行えば、悪意のある他人の顔画像で候補顔画像１０４ｂが更新されていても、その他人の顔画像となっている候補顔画像１０４ｂが更新されるため、登録顔画像１０４ａが誤って他人の顔画像で更新される危険性を下げることができる。

したがって、顔の変動に対応するべく複数の登録顔画像を用意した顔認証装置において、自動的に入力顔画像に最も近い変動をもたせた登録顔画像を選択して更新するので、あらかじめ登録顔画像に含ませた変動を出来るだけ保ちつつ、各登録顔画像を最新の状態に保つことができるため、加齢等の理由による顔の変動に対応でき、照合成功率の低下を防ぐことができる。

発明にかかる顔画像照合装置を備えたアクセス制御システム全体の構成を示すブロック図 本実施形態にかかる照合動作および更新動作の全体を示すフロー図 本実施形態にかかる候補顔画像更新手段の処理を示すフロー図 候補顔画像の相互類似度を示す概念図 本実施形態にかかる登録顔画像更新処理を示すフロー図

符号の説明

１０・・・アクセス制御システム
１５０・・・カメラ
１５１・・・テンキー
１００・・・顔画像照合装置
１０１・・・制御部
１０２・・・入力部
１０３・・・選択入力部
１０４・・・記憶部
１０５・・・特徴抽出部
１０６・・・照合部
１０７・・・更新部
１０８・・・出力部
１０９・・・表示部
１６０・・・電気錠

Claims (5)

1. 予め記憶している複数の登録顔画像と入力顔画像を照合して本人照合を行う顔画像照合装置であって、
   照合者の顔を撮影した入力画像に基づいて入力顔画像を取得する入力顔画像取得部と、
   同一人物について変動を含ませた複数の登録顔画像と、前記複数の登録顔画像ごとに更新に使用する３以上の候補顔画像を記憶している記憶部と、
   前記入力顔画像取得部にて取得した入力顔画像と前記複数の登録顔画像の類似している度合である類似度を算出し、当該類似度が照合閾値を超えていると本人であると判定する照合部と、
   前記照合部の照合結果を外部に出力する出力部と、
   前記照合部にて算出した複数の登録顔画像ごとの入力顔画像に対する類似度を比較し、最も類似度が大きい登録顔画像を選択する登録顔画像選択手段と、
   前記選択された登録顔画像に対応する候補顔画像を前記入力顔画像にて更新する候補顔画像更新手段と、
   前記選択された登録顔画像に対応した前記３以上の候補顔画像における一の候補顔画像とその他の候補顔画像との類似度の平均である相互類似度を前記３以上の候補画像それぞれについて算出し、前記相互類似度が最大の候補顔画像にて前記選択された登録顔画像を更新する登録顔画像更新手段と、
   を有することを特徴とした顔画像照合装置。
   
2. 前記候補顔画像更新手段は、前記相互類似度が最も大きい候補顔画像と前記入力顔画像との類似度を算出し、当該類似度が更新閾値を越えている場合に限り、当該入力顔画像を用いて候補顔画像を更新する請求項１に記載の顔画像照合装置。
   
3. 前記候補顔画像更新手段は、前記候補顔画像と入力顔画像とが類似している度合を示す候補類似度を算出し、前記候補類似度が最大でも最小でもない中間の候補類似度が更新閾値を越えている場合に、当該入力顔画像を用いて前記記憶部に記憶されている候補顔画像を更新する請求項１に記載の顔画像照合装置。
   
4. 前記登録顔画像更新手段は前記登録顔画像と前記入力顔画像の類似度が、前記相互類似度が最大の候補顔画像と前記入力顔画像の類似度より小さいことが所定回数続くと、当該登録顔画像を更新する請求項１乃至３に記載の顔画像照合装置。
   
5. 前記候補顔画像更新手段は、前記照合部が本人であると判定した場合に限り、候補顔画像を更新する請求項１乃至請求項４に記載の顔画像照合装置。
   

Images