JP5747713B2 - 認証装置、認証方法、認証プログラム - Google Patents

Description

本発明は、予め登録した顔特徴情報等の対象物の特徴情報を用いて、人物等の対象物を認証する認証装置、認証方法、認証プログラムに関する。

認証装置の一例として、カメラ等で撮影した顔画像を用いて人物を個人認証する顔認証装置は、従来から種々の製品に搭載されて利用されている。顔認証装置においては、所定人物の顔画像から生成した顔特徴情報を予めデータベースに登録しておき、認証対象の人物の顔画像から生成した顔特徴情報とデータベースに登録されている顔特徴情報との類似度を求めることによって、認証対象が登録された人物と同一であるかどうかを判定するのが一般的である。

特開平９−３５０６８号公報 特開２００６−１２７２３６号公報

顔認証装置において、所定人物の顔画像の顔特徴情報をデータベースに登録する際に、撮影された顔画像の顔の向き、表情、照明の状態、ピントぼけ、露光ずれ、手ぶれ等によって、登録しようとする顔画像の顔特徴情報が認証に適さない状態で登録されてしまう場合がある。この場合には、認証対象の顔画像が本人のものであっても本人であると判定できないことがある。そこで、認証に適した顔特徴情報を登録することができ、高精度に顔画像を認証することができる顔認証装置、顔認証方法、顔認証プログラムが求められている。

ここでは、顔認証装置を例としたが、手（掌紋）、指（指紋）、目（網膜）等の画像を用いて人物を認証する場合も同様である。さらに、人物に限らず、人以外の動物や物体を認証する場合も同様である。即ち、認証に適した特徴情報を登録することができ、高精度に対象物を認証することができる認証装置が求められている。本発明はこのような要望に対応するため、認証に適した特徴情報を登録することができ、高精度に対象物を認証することができる認証装置、認証方法、認証プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、登録しようとする対象物を撮影した画像から特徴情報を抽出する特徴情報抽出部（２）と、前記対象物を撮影した複数の第１のフレームの画像それぞれから前記特徴情報抽出部が抽出した複数の第１の特徴情報を保持する保持部（３）と、前記複数の第１の特徴情報と、前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から前記特徴情報抽出部が抽出した第２の特徴情報とを照合して第１の類似度を算出する特徴情報照合部（５）と、前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として保持部（４）に保持させる制御部（１）とを備えることを特徴とする認証装置を提供する。

上記の認証装置において、前記第２のフレームは複数であり、前記特徴情報照合部は、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出し、前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出部（６）をさらに備え、前記制御部は、前記複数の第１の特徴情報の内、前記検出部が検出した平均類似度が最も大きい特徴情報を登録情報として保持部に保持させることが好ましい。

上記の認証装置において、前記特徴情報照合部は、前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出し、前記制御部は、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として保持部に保持させるようにしてもよい。

また、本発明は、上述した従来の技術の課題を解決するため、登録しようとする対象物を撮影した複数の第１のフレームの画像それぞれから特徴情報を抽出し、複数の第１の特徴情報として保持する保持ステップ（Ｓ１０１〜Ｓ１０３，Ｓ２０１〜Ｓ２０３）と、前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から第２の特徴情報を抽出する抽出ステップ（Ｓ１０４，Ｓ２０４）と、前記複数の第１の特徴情報と前記第２の特徴情報とを照合して第１の類似度を算出する第１の算出ステップ（Ｓ１０５，Ｓ２０５）と、前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として登録する登録ステップ（Ｓ１１０，Ｓ２１６）とを含むことを特徴とする認証方法を提供する。

上記の認証方法において、前記第２のフレームは複数であり、前記第１の算出ステップは、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出し、前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出ステップ（Ｓ１０８，Ｓ２０８）をさらに含み、前記登録ステップは、前記複数の第１の特徴情報の内、前記検出ステップにて検出した平均類似度が最も大きい特徴情報を登録情報として登録することが好ましい。

上記の認証方法において、前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出する第２の算出ステップ（Ｓ２１２）をさらに含み、前記登録ステップは、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として登録するようにしてもよい。

さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、
登録しようとする対象物を撮影した複数の第１のフレームの画像それぞれから特徴情報を抽出し、複数の第１の特徴情報として保持する保持ステップ（Ｓ１０１〜Ｓ１０３，Ｓ２０１〜Ｓ２０３）と、前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から第２の特徴情報を抽出する抽出ステップ（Ｓ１０４，Ｓ２０４）と、前記複数の第１の特徴情報と前記第２の特徴情報とを照合して第１の類似度を算出する第１の算出ステップ（Ｓ１０５，Ｓ２０５）と、前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として登録する登録ステップ（Ｓ１１０，Ｓ２１６）とを実行させることを特徴とする認証プログラムを提供する。

上記の認証プログラムにおいて、前記第２のフレームは複数であり、コンピュータに、
前記第１の算出ステップとして、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出する処理を実行させ、前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出ステップ（Ｓ１０８，Ｓ２０８）をさらに実行させ、前記登録ステップとして、前記複数の第１の特徴情報の内、前記検出ステップにて検出した平均類似度が最も大きい特徴情報を登録情報として登録する処理を実行させることが好ましい。

上記の認証プログラムにおいて、コンピュータに、前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出する第２の算出ステップ（Ｓ２１２）をさらに実行させ、前記登録ステップとして、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として登録する処理を実行させるようにしてもよい。

本発明の顔認証装置、認証方法、認証プログラムによれば、認証に適した特徴情報を登録することができ、高精度に対象物を認証することが可能となる。

本発明の認証装置の第１実施形態を示すブロック図である。 各実施形態の動作を説明するための図である。 第１実施形態を説明するためのフローチャートである。 本発明の認証装置の第２実施形態を示すブロック図である。 第２実施形態を説明するためのフローチャートである。 変形例１の動作を説明するための図である。 変形例２の動作を説明するための図である。

以下、本発明の認証装置、認証方法、認証プログラムの各実施形態について、添付図面を参照して説明する。各実施形態は、認証装置、認証方法、認証プログラムの好適な例として、人物の顔を撮影した顔画像を登録して、顔特徴情報により人物を個人認証する顔認証装置、認証方法、認証プログラムについて説明する。但し、登録する画像は顔画像に限定されることはなく、認証する対象物も人物に限定されるものではない。本発明は、予め登録した対象物の特徴情報を用いて対象物を認証する任意の認証装置、認証方法、認証プログラムでよい。

≪第１実施形態≫
第１実施形態においては、所定人物の顔画像を登録する際に、顔画像から抽出した顔特徴情報を仮登録し、仮登録に続けてさらに顔画像から顔特徴情報を抽出して、顔特徴情報を本登録するように構成している。顔特徴情報の本登録が完了すると、不定人物の顔特徴情報を本登録した顔特徴情報と照合して個人認証を行う。以下、図１を用いて、仮登録動作、本登録動作、認証動作の順で説明する。

＜仮登録動作＞
図１において、顔画像を登録しようとする所定人物を図示していないカメラで撮影した顔画像データは、顔特徴情報抽出部２に入力される。ここでの人物を人物Ｐａとする。顔特徴情報抽出部２は、制御部１による制御に基づいて、所定人物の顔を撮影した所定のＮフレーム分の各顔画像データから顔特徴情報を抽出する。Ｎは自然数であり、好ましくは２以上である。第１実施形態では、Ｎを６とする。顔特徴情報抽出部２は、６フレーム分の各顔画像データから顔特徴情報を抽出するので、６個の顔特徴情報を生成して、仮登録情報保持部３へと出力する。仮登録情報保持部３は、制御部１による制御に基づいて、入力された６個の顔特徴情報を仮登録情報として保持する。ここでは顔特徴情報の数を個で表現したが、それぞれの顔特徴情報は、顔を特定するための特徴を示す１または複数の情報を含むものである。

＜本登録動作＞
前述のように、本登録動作は仮登録動作に続けて一連の動作として実行される。本登録動作では、顔特徴情報抽出部２は、制御部１による制御に基づいて、仮登録動作を行った人物と同じ人物である所定人物（人物Ｐａ）の顔を撮影した所定のＭフレーム分の各顔画像データから顔特徴情報を抽出する。Ｍは自然数であり、好ましくは２以上である。ＭはＮよりも大きいことがさらに好ましい。第１実施形態では、Ｍを１２とする。顔特徴情報抽出部２は、１２フレーム分の各顔画像データから顔特徴情報を抽出するので、１２個の顔特徴情報を生成して、顔特徴情報照合部５へと出力する。仮登録情報保持部３は、制御部１による制御に基づいて、保持しておいた６個の顔特徴情報を顔特徴情報照合部５へと出力する。

図２（Ａ）に示すように、仮登録情報保持部３から顔特徴情報照合部５へと供給される６個の顔特徴情報を概念的にＦＩ１〜ＦＩ６で表し、顔特徴情報抽出部２から顔特徴情報照合部５へと供給される１２個の顔特徴情報の顔特徴情報を概念的にＦＩ11〜ＦＩ22で表すこととする。顔特徴情報ＦＩ１〜ＦＩ６と顔特徴情報ＦＩ11〜ＦＩ22はいずれも人物Ｐａの顔特徴情報である。顔特徴情報照合部５には、仮登録動作から本登録動作までの一連の動作によって、顔特徴情報ＦＩ１〜ＦＩ６と顔特徴情報ＦＩ11〜ＦＩ22とが入力されることになる。

顔特徴情報照合部５は、制御部１による制御に基づいて、図２（Ａ）に示すように、顔特徴情報ＦＩ１〜ＦＩ６のそれぞれを基準として、顔特徴情報ＦＩ11〜ＦＩ22それぞれと照合して類似度を算出する。図２（Ａ）では顔特徴情報ＦＩ１と顔特徴情報ＦＩ11〜ＦＩ22との照合しか示していないが、顔特徴情報ＦＩ２〜ＦＩ６も同様に照合する。

図２（Ｂ）は、顔特徴情報照合部５が求めた類似度を概念的に示している。図２（Ｂ）に示すように、顔特徴情報照合部５は、顔特徴情報ＦＩ１に対して、顔特徴情報ＦＩ１と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ111〜Ｓ122を生成する。顔特徴情報照合部５は、顔特徴情報ＦＩ２に対して、顔特徴情報ＦＩ２と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ211〜Ｓ222を生成する。顔特徴情報照合部５は、顔特徴情報ＦＩ３に対して、顔特徴情報ＦＩ３と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ311〜Ｓ322を生成する。

顔特徴情報照合部５は、顔特徴情報ＦＩ４に対して、顔特徴情報ＦＩ４と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ411〜Ｓ422を生成する。顔特徴情報照合部５は、顔特徴情報ＦＩ５に対して、顔特徴情報ＦＩ５と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ511〜Ｓ522を生成する。顔特徴情報照合部５は、顔特徴情報ＦＩ６に対して、顔特徴情報ＦＩ５と顔特徴情報ＦＩ11〜ＦＩ22それぞれとの類似度を示す類似度情報Ｓ611〜Ｓ622を生成する。

顔特徴情報照合部５が生成した図２（Ｂ）に示す顔特徴情報ＦＩ１〜ＦＩ６それぞれに対する類似度情報Ｓ111〜Ｓ122，Ｓ211〜Ｓ222，Ｓ311〜Ｓ322，Ｓ411〜Ｓ422，Ｓ511〜Ｓ522，Ｓ611〜Ｓ622は、本人類似度検出部６へと出力される。本人類似度検出部６は、制御部１による制御に基づいて、図２（Ｃ）に示すように、類似度情報Ｓ111〜Ｓ122，Ｓ211〜Ｓ222，Ｓ311〜Ｓ322，Ｓ411〜Ｓ422，Ｓ511〜Ｓ522，Ｓ611〜Ｓ622それぞれを累計して平均を取ることにより、顔特徴情報ＦＩ１〜ＦＩ６それぞれに対して平均類似度を示す平均類似度情報Ｓavg1〜Ｓavg6を算出する。平均類似度情報Ｓavg1〜Ｓavg6は、仮登録動作と本登録動作とで同一人物を撮影した場合の類似度を示すので、本人類似度である。本人類似度を示す平均類似度情報Ｓavg1〜Ｓavg6は制御部１へと出力される。

制御部１は、顔特徴情報ＦＩ１〜ＦＩ６の中から、入力された本人類似度（平均類似度情報Ｓavg1〜Ｓavg6）の内、認証閾値よりも大きい値に設定した所定の登録閾値以上で本人類似度が最も大きい平均類似度情報を示す顔特徴情報を１つ特定する。そして、制御部１は、仮登録情報保持部３が保持している６個の顔特徴情報ＦＩ１〜ＦＩ６の内、特定した平均類似度情報を示す顔特徴情報を登録情報保持部４へと出力させる。登録情報保持部４は、制御部１による制御に基づいて、入力された顔特徴情報を本登録情報として保持する。

図２（Ｄ）は、仮登録情報保持部３から登録情報保持部４へと出力される顔特徴情報の例を示している。例えば、平均類似度情報Ｓavg1〜Ｓavg6の内、顔特徴情報ＦＩ３の平均類似度情報Ｓavg3が最大であったとする。登録情報保持部４には、人物Ｐａに対する以上の一連の仮登録動作から本登録動作までの動作によって顔特徴情報ＦＩ３が保持されて登録される。他の人物Ｐｂ，Ｐｃ…に対しても同様の動作を行うと、登録情報保持部４には、人物Ｐｂに対して例えば顔特徴情報ＦＩ５が登録され、人物Ｐｃに対して例えば顔特徴情報ＦＩ１が登録される。

制御部１は、平均類似度情報Ｓavg1〜Ｓavg6がいずれも登録閾値未満であれば、顔特徴情報ＦＩ１〜ＦＩ６のいずれも本登録しないよう仮登録情報保持部３及び登録情報保持部４を制御する。即ち、顔特徴情報ＦＩ１〜ＦＩ６のいずれかを仮登録情報保持部３より出力させず、登録情報保持部４に保持させないようにする。

制御部１は、本登録が完了した場合には、表示部９に登録が成功した旨を表示させ、本登録が完了しなかった場合には、表示部９に登録が成功しなかった旨を表示させる。

＜認証動作＞
顔特徴情報抽出部２は、制御部１による制御に基づいて、不定人物の顔を撮影した顔画像データから顔特徴情報を抽出する。認証動作の際は、１または複数フレームから顔特徴情報を抽出すればよい。複数フレームから顔特徴情報を抽出した方が認証精度が高くなるので、複数フレームから顔特徴情報を抽出するのが好ましい。ここでの不定人物は、上述した人物Ｐａ，Ｐｂ，Ｐｃのいずれかまたはその他の任意の人物である。顔特徴情報抽出部２は、不定人物の顔特徴情報を顔特徴情報照合部５へと出力する。

登録情報保持部４は、制御部１による制御に基づいて、保持している１または複数の顔特徴情報を顔特徴情報照合部５へと出力する。図２（Ｄ）の例では、人物Ｐａに対する顔特徴情報ＦＩ３、人物Ｐｂに対する顔特徴情報ＦＩ５、人物Ｐｃに対する顔特徴情報ＦＩ１…が顔特徴情報照合部５へと出力される。顔特徴情報照合部５は、制御部１による制御に基づいて、顔特徴情報抽出部２から出力された不定人物の顔特徴情報と登録情報保持部４から出力された顔特徴情報とをそれぞれ照合して類似度を算出し、算出した類似度を認証結果判定部７へと出力する。

認証結果判定部７は、顔特徴情報照合部５から出力された不定人物の顔特徴情報と登録情報保持部４に保持されている登録情報である顔特徴情報との類似度が制御部１から指定された所定の認証閾値以上の顔特徴情報があるか否かを判定する。認証結果判定部７は、認証閾値以上の顔特徴情報があると判定した場合には、不定人物が登録情報保持部４に登録されている人物に該当すると判定し、認証閾値以上の顔特徴情報がないと判定した場合には、不定人物が登録されている人物には該当しないと判定する。認証結果判定部７は、判定結果を顔認証結果として外部へと出力する。外部とは顔認証装置による顔認証結果を利用する外部装置であり、例えば扉のロックを解除する解除装置等である。

図３を用いて、第１実施形態による仮登録動作から本登録動作までの一連の動作についてさらに説明する。図３に示すフローチャートの各動作は制御部１による制御に基づいて実行される。図３において、顔特徴情報抽出部２は、ステップＳ１０１にて、所定人物の顔画像データから顔特徴情報を抽出する。仮登録情報保持部３は、ステップＳ１０２にて、ステップＳ１０１にて抽出した顔特徴情報を仮登録情報として仮登録する。制御部１は、ステップＳ１０３にて、Ｎフレーム分の顔特徴情報の仮登録が終了したかどうかを判定する。終了したと判定しなかったら（NO）ステップＳ１０１に処理を戻し、ステップＳ１０１〜Ｓ１０３を繰り返す。ステップＳ１０３にてＮフレーム分の顔特徴情報の仮登録が終了したと判定したら（YES）、処理をステップＳ１０４に移行させる。ステップＳ１０１〜Ｓ１０３は、仮登録動作である。

次に、顔特徴情報抽出部２は、ステップＳ１０４にて、新たに入力された同じ所定人物の顔画像データから新たに顔特徴情報を抽出する。顔特徴情報照合部５は、ステップＳ１０５にて、ステップＳ１０４にて抽出した顔特徴情報とステップＳ１０２にて仮登録した複数の仮登録情報とをそれぞれ照合して類似度を算出する。本人類似度検出部６は、ステップＳ１０６にて、ステップＳ１０５にて算出した類似度を累計する。制御部１は、ステップＳ１０７にて、Ｍフレーム分の顔特徴情報の照合が終了したかどうかを判定する。終了したと判定しなかったらステップＳ１０４に処理を戻し、ステップＳ１０４〜Ｓ１０７を繰り返す。ステップＳ１０７にてＭフレーム分の顔特徴情報の照合が終了したと判定したら、処理をステップＳ１０８に移行させる。

本人類似度検出部６は、ステップＳ１０８にて、仮登録情報毎に累計した類似度をフレーム数Ｍで割った平均類似度Ｓavg1〜Ｓavg6を算出し、算出した平均類似度Ｓavg1〜Ｓavg6を各仮登録情報の本人類似度とする。制御部１は、ステップＳ１０９にて、本人類似度が所定の登録閾値以上である仮登録情報があるか否かを判定する。本人類似度が所定の登録閾値以上である仮登録情報があると判定されれば（YES）、制御部１は、ステップＳ１１０にて、本人類似度が最も大きい仮登録情報を選択し、選択した仮登録情報（顔特徴情報）を登録情報保持部４に本登録する。ステップＳ１１０にて選択した顔特徴情報は、所定人物の顔の特徴を最も適切に表した顔特徴情報であり、所定人物を本人として認証するのに最適な顔特徴情報である。制御部１は、ステップＳ１１１にて、表示部９による画面表示によって操作者に対して登録成功を通知して終了する。

一方、ステップＳ１０９にて、本人類似度が所定の登録閾値以上である仮登録情報があると判定されなければ（NO）、制御部１は、ステップＳ１１２にて、表示部９による画面表示によって操作者に対して登録失敗を通知して終了する。ステップＳ１０９にて登録閾値以上である仮登録情報がなかったということは、入力された顔画像からは所定人物の顔の特徴を適切に表した顔特徴情報が得られなかったということであり、即ち、認証に適した顔特徴情報が抽出できなかったということである。この場合は、再度ステップＳ１０１からの処理を行えばよい。ステップＳ１０４〜Ｓ１１２は、本登録動作である。

≪第２実施形態≫
図４を用いて第２実施形態の構成及び動作について説明する。第２実施形態においても、第１実施形態と同様、仮登録動作、本登録動作、認証動作を行う。第２実施形態における仮登録動作と認証動作は第１実施形態におけるそれらの動作と同一であり、本登録動作のみが異なる。従って、仮登録動作と認証動作の説明を省略し、本登録動作を中心に説明する。

＜本登録動作＞
第２実施形態は、顔画像を登録しようとする所定人物の名前等、人物を特定する情報を登録時に入力する。図４において、顔特徴情報抽出部２は、１２フレーム分の各顔画像データから顔特徴情報を抽出し、顔特徴情報照合部５へと出力する。仮登録情報保持部３は、仮登録情報である顔特徴情報を顔特徴情報照合部５へと出力する。登録情報保持部４は、制御部１による制御に基づいて、登録しようとしている所定人物とは異なる人物の登録情報を保持している場合には、異なる人物の登録情報を顔特徴情報照合部５へと出力する。

顔特徴情報照合部５は、制御部１による制御に基づいて、顔特徴情報抽出部２から出力された所定人物の顔特徴情報と仮登録情報保持部３から出力された所定人物の複数の仮登録情報とをそれぞれ照合して類似度を算出し、算出した類似度を本人類似度検出部６へと出力する。また、顔特徴情報照合部５は、制御部１による制御に基づいて、仮登録情報保持部３から出力された所定人物の仮登録情報と登録情報保持部４から出力された所定人物とは異なる人物の登録情報とをそれぞれ照合して類似度を算出し、算出した類似度を他人類似度検出部８へと出力する。

本人類似度検出部６は、制御部１による制御に基づいて、顔特徴情報照合部５から出力された所定人物の顔特徴情報と仮登録情報との類似度を仮登録情報毎に累計して平均類似度Ｓavg1〜Ｓavg6を算出し、平均類似度Ｓavg1〜Ｓavg6を各仮登録情報の本人類似度として制御部１へと出力する。他人類似度検出部８は、顔特徴情報照合部５から出力された所定人物の仮登録情報と所定人物とは異なる人物の登録情報との類似度の中から仮登録情報毎に最大となる類似度を検出し、最大の類似度を各仮登録情報の他人類似度として制御部１へと出力する。

制御部１は、本人類似度検出部６から出力された各仮登録情報の本人類似度と他人類似度検出部８から出力された各仮登録情報の他人類似度とに応じて、本人類似度が所定の登録閾値以上の仮登録情報の中で本人類似度と他人類似度との差が最も大きい仮登録情報を本登録する。登録情報保持部４が登録しようとしている所定人物とは異なる人物の登録情報を保持してない場合には、他人類似度検出部８は他人類似度を検出することはできないので、制御部１は、第１実施形態と同様、本人類似度が所定の登録閾値以上の仮登録情報の中で本人類似度が最も大きい仮登録情報を本登録する。また、制御部１は、本人類似度が登録閾値未満であれば、いずれの仮登録情報も本登録しないよう仮登録情報保持部３及び登録情報保持部４を制御する。

図５を用いて、第２実施形態による本登録動作についてさらに説明する。図５におけるステップＳ２０１〜Ｓ２０９の処理は図３におけるステップＳ１０１〜Ｓ１０９の処理と同一であり、ここでは説明は省略する。図５において、制御部１は、ステップＳ２０９にて、本人類似度が所定の登録閾値以上である仮登録情報があると判定したら（YES）、ステップＳ２１０にて、登録しようとしている所定人物とは異なる人物、即ち他人の登録情報があるか否かを判定する。他人の登録情報があると判定されれば（YES）、制御部１は、ステップＳ２１１にて、本人類似度が所定の登録閾値以上である仮登録情報を選択する。

顔特徴情報照合部５は、ステップＳ２１２にて、選択した仮登録情報と他人の登録情報とをそれぞれ照合して類似度を算出する。他人類似度検出部８は、ステップＳ２１３にて、ステップＳ２１２にて算出した類似度の最大値を検出し、検出した最大値を各仮登録情報の他人類似度とする。制御部１は、ステップＳ２１４にて、各仮登録情報の本人類似度と他人類似度との差を算出する。制御部１は、ステップＳ２１５にて、本人類似度と他人類似度との差が最も大きい仮登録情報を選択して本登録する。ステップＳ２１５にて選択した仮登録情報は、所定人物の顔特徴を適切に表し、かつ他人の顔特徴との区別が最もつきやすい顔特徴情報、即ち、所定人物を本人として認証するのに適し、かつ他人と誤判定しにくい顔特徴情報である。

一方、ステップＳ２１０にて、他人の登録情報があると判定されなければ（NO）、制御部１は、ステップＳ２１６にて、本人類似度が最も大きい仮登録情報を選択して本登録する。ステップＳ２１６にて選択した仮登録情報は、他人の顔の特徴との区別がつきやすいかどうかは分からないものの、所定人物の顔特徴を最も適切に表した顔特徴情報、即ち、所定人物を本人として認証するのに適した顔特徴情報である。

ステップＳ２１５及びＳ２１６の後、制御部１は、ステップＳ２１８にて、表示部９による画面表示によって操作者に対して登録成功を通知して終了する。一方、制御部１は、ステップＳ２０９にて、本人類似度が所定の登録閾値以上である仮登録情報があると判定されなければ（NO）、ステップＳ２１７にて、表示部９による画面表示によって操作者に対して登録失敗を通知して終了する。

以上説明した第１，第２実施形態においては、仮登録動作で６フレーム分の各顔画像データから６個の顔特徴情報を抽出して仮登録し、本登録動作で１２フレーム分の各顔画像データから１２個の顔特徴情報を抽出して、６個の顔特徴情報と１２個の顔特徴情報との類似度を算出する例について説明した。簡略化のため、仮登録動作で６フレーム分の各顔画像データから６個の顔特徴情報を抽出して仮登録し、本登録動作で１フレーム分の各顔画像データから１個の顔特徴情報を抽出して、６個の顔特徴情報と１個の顔特徴情報との類似度を算出するよう構成することもできる。

≪変形例１≫
図６を用いて、６個の顔特徴情報と１個の顔特徴情報との類似度を算出する構成を変形例１として説明する。顔特徴情報照合部５には、仮登録情報保持部３から仮登録動作による６個の顔特徴情報ＦＩ１〜ＦＩ６が入力され、顔特徴情報抽出部２から本登録動作による１個の顔特徴情報の顔特徴情報ＦＩ10が入力される。図６（Ａ）に示すように、顔特徴情報照合部５は、顔特徴情報ＦＩ１〜ＦＩ６それぞれと顔特徴情報ＦＩ10とを照合して類似度を算出する。この場合、顔特徴情報照合部５は、図６（Ｂ）に示すように、顔特徴情報ＦＩ１〜ＦＩ６それぞれに対して、類似度情報Ｓ10〜Ｓ60を生成する。

変形例１では、顔特徴情報ＦＩ１〜ＦＩ６それぞれに対して１つの類似度情報Ｓ10〜Ｓ60が対応するので、本人類似度検出部６における平均類似度を求める処理は不要である。従って、変形例１では本人類似度検出部６は削除可能である。図６（Ｃ）に示すように、制御部１は、顔特徴情報ＦＩ１〜ＦＩ６の中から、類似度情報Ｓ10〜Ｓ60の内で最も類似度が大きい顔特徴情報を抽出して、抽出した顔特徴情報を仮登録情報保持部３から読み出して、登録情報保持部４に保持させる。ここでは、人物Ｐａにおいて顔特徴情報ＦＩ３の類似度情報Ｓ30が最大であった場合を示している。

第１，第２実施形態及び変形例１においては、仮登録動作にて抽出した顔特徴情報ＦＩ１〜ＦＩ６を基準として、本登録動作にて抽出した顔特徴情報ＦＩ11〜ＦＩ22または顔特徴情報ＦＩ10との類似度を算出し、算出した類似度に基づいて顔特徴情報ＦＩ１〜ＦＩ６の内の１つを本登録情報として登録情報保持部４に保持させるよう構成している。本登録動作にて抽出した顔特徴情報を基準とし、登録情報保持部４に登録する顔特徴情報を本登録動作にて抽出した顔特徴情報の中から選択するように構成してもよい。

≪変形例２≫
図７を用いて、本登録動作にて抽出した顔特徴情報を基準とし、登録情報保持部４に登録する顔特徴情報を本登録動作にて抽出した顔特徴情報の中から選択するようにした構成を変形例２として説明する。顔特徴情報照合部５には、仮登録情報保持部３から仮登録動作による１個の顔特徴情報ＦＩ０が入力され、顔特徴情報抽出部２から本登録動作による６個の顔特徴情報の顔特徴情報ＦＩ11〜ＦＩ16が入力される。図７に示すように、顔特徴情報照合部５は、顔特徴情報ＦＩ０と顔特徴情報ＦＩ11〜ＦＩ16それぞれとを照合して類似度を算出する。変形例２においては、顔特徴情報ＦＩ11〜ＦＩ16も仮登録情報保持部３に保持しておく。

制御部１は、変形例１と同様、顔特徴情報ＦＩ11〜ＦＩ16の中から、顔特徴情報ＦＩ０との類似度が大きい顔特徴情報を抽出して、抽出した顔特徴情報を仮登録情報保持部３から読み出して、登録情報保持部４に保持させる。図７においては、簡略化のため仮登録動作で１フレームのみで顔特徴情報ＦＩ０を抽出したが、図２と同様、複数フレームから複数の顔特徴情報を抽出してもよい。

以上の説明より分かるように、仮登録動作におけるＮフレームと本登録動作におけるＭフレームはそれぞれ複数であることが好ましい。簡略化のため、仮登録動作で顔特徴情報を抽出するフレームと、本登録動作で顔特徴情報を抽出するフレームとの内の一方を１フレームとしてもよい。この場合には、仮登録動作と本登録動作との内、最終的に登録情報保持部４に登録する顔特徴情報を選択するための複数の顔特徴情報を生成する方を複数フレームとすればよい。

本発明は以上説明した第１実施形態、第２実施形態、変形例１、変形例２に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１，図４では、仮登録情報保持部３と登録情報保持部４とを便宜的に分けて記載したが、１つの保持部（メモリ）であってもよい。仮登録情報保持部３に保持させた顔特徴情報ＦＩ１〜ＦＩ６の内の１つを選択して登録情報保持部４に保持させると説明したが、本登録する顔特徴情報を保持部内に残し、他の顔特徴情報を消去してもよい。図１，図４は本発明の概念的なブロック構成図であり、図１，図４の構成に限定されるものではない。

認証装置に搭載するコンピュータに認証プログラムをインストールして、図３または図４で説明した処理を実行させることもできる。認証プログラムは光ディスク等の記録媒体に記録して提供することができ、インターネット等の通信回線によって提供することもできる。認証プログラムによるソフトウェアによる処理とハードウェアによる処理とを適宜混在させることも可能である。

１ 制御部
２ 顔特徴情報抽出部
３ 仮登録情報保持部
４ 登録情報保持部
５ 顔特徴情報照合部
６ 本人類似度検出部
７ 認証結果判定部
８ 他人類似度検出部
９ 表示部

Claims (6)

1. 登録しようとする対象物を撮影した画像から特徴情報を抽出する特徴情報抽出部と、
   前記対象物を撮影した複数の第１のフレームの画像それぞれから前記特徴情報抽出部が抽出した複数の第１の特徴情報を保持する保持部と、
   前記複数の第１の特徴情報と、前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から前記特徴情報抽出部が抽出した第２の特徴情報とを照合して第１の類似度を算出する特徴情報照合部と、
   前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として保持部に保持させる制御部と、
   を備え、
   前記特徴情報照合部は、前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出し、
   前記制御部は、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として保持部に保持させる
   ことを特徴とする認証装置。
2. 前記第２のフレームは複数であり、
   前記特徴情報照合部は、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出し、
   前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出部をさらに備え、
   前記制御部は、前記複数の第１の特徴情報の内、前記検出部が検出した平均類似度が最も大きい特徴情報を登録情報として保持部に保持させる
   ことを特徴とする請求項１記載の認証装置。
3. 登録しようとする対象物を撮影した複数の第１のフレームの画像それぞれから特徴情報を抽出し、複数の第１の特徴情報として保持する保持ステップと、
   前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から第２の特徴情報を抽出する抽出ステップと、
   前記複数の第１の特徴情報と前記第２の特徴情報とを照合して第１の類似度を算出する第１の算出ステップと、
   前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として登録する登録ステップと、
   前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出する第２の算出ステップと、
   を含み、
   前記登録ステップは、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として登録する
   ことを特徴とする認証方法。
4. 前記第２のフレームは複数であり、
   前記第１の算出ステップは、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出し、
   前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出ステップをさらに含み、
   前記登録ステップは、前記複数の第１の特徴情報の内、前記検出ステップにて検出した平均類似度が最も大きい特徴情報を登録情報として登録する
   ことを特徴とする請求項３記載の認証方法。
5. コンピュータに、
   登録しようとする対象物を撮影した複数の第１のフレームの画像それぞれから特徴情報を抽出し、複数の第１の特徴情報として保持する保持ステップと、
   前記第１のフレームとは異なるフレームであり、前記対象物を撮影した１または複数の第２のフレームの画像から第２の特徴情報を抽出する抽出ステップと、
   前記複数の第１の特徴情報と前記第２の特徴情報とを照合して第１の類似度を算出する第１の算出ステップと、
   前記複数の第１の特徴情報の内、第１の類似度が最も大きい１つの特徴情報を登録情報として登録する登録ステップと、
   前記複数の第１の特徴情報と、前記登録しようとする対象物とは異なる対象物の第３の特徴情報との第２の類似度を算出する第２の算出ステップと、
   を実行させ、
   前記登録ステップとして、前記複数の第１の特徴情報の内、前記第１の類似度と前記第２の類似度との差が最も大きい特徴情報を登録情報として登録する処理を実行させる
   ことを特徴とする認証プログラム。
6. 前記第２のフレームは複数であり、
   コンピュータに、
   前記第１の算出ステップとして、前記複数の第１の特徴情報それぞれと複数の第２の特徴情報それぞれとの類似度を算出する処理を実行させ、
   前記複数の第１の特徴情報それぞれに対して、前記複数の第２の特徴情報との類似度を平均した平均類似度を検出する検出ステップをさらに実行させ、
   前記登録ステップとして、前記複数の第１の特徴情報の内、前記検出ステップにて検出した平均類似度が最も大きい特徴情報を登録情報として登録する処理を実行させる
   ことを特徴とする請求項５記載の認証プログラム。

Images