JP6150509B2 - 顔認証装置 - Google Patents

Description

本発明は、撮影画像から抽出された照合対象者の顔情報を予め登録された登録利用者の顔情報と照合して照合対象者を認証するか否か判定する顔認証装置に関する。

照合対象者の顔を撮影して得られた顔画像を、予め登録された利用者の顔画像と照合することにより、その照合対象者を認証する顔認証装置が用いられている。顔認証装置は、照合時の顔画像から得られる顔の特徴情報である顔情報と登録時の顔画像から得られる顔情報との類似性を評価し、照合対象者が利用者か否かを判定する。この顔情報は、利用者または照合対象者が眼鏡またはアクセサリなどの装着物を顔に装着していると、その装着物により影響を受けることがある。

例えば、登録時に眼鏡を着用していなかった利用者が照合時に眼鏡を着用していると、登録されている顔情報と照合時の顔情報との類似度が低くなり、本人であるにもかかわらず認証に失敗するおそれがある（いわゆる本人棄却）。これに対処するものとして、例えば特許文献１では、複数の照明条件、撮影角度、被写体状態（眼鏡の有無等）における被認証者の顔画像の撮影を行って複数の顔画像データを登録しておき、登録データと被認証者の認証時における顔画像を表す照合データとの類似度を算出し、類似度が所定の閾値以上となる登録データと照合データの組合せがあった場合には、認証成功と判定する顔認証システムが提案されている。

特開２００６−８５２８９号公報

各利用者について、顔に装着物が装着されている状態の顔情報と装着物が装着されていない状態の顔情報とを予め登録しておき、照合時の撮影画像から抽出された照合対象者の顔情報がその何れかと類似する場合に認証成功とすれば、登録時と照合時の装着物の装着状態が異なることに起因した本人棄却を抑制することができる。しかしながら、例えば、照合対象者が照合時に眼鏡を着用しており、その照合対象者とは別人の利用者が登録時に眼鏡を着用していると、眼鏡の影響により両者の顔情報が類似することがある。その結果、照合対象者が利用者本人でないにもかかわらず認証に成功してしまうおそれもある（いわゆる他人受入）。特許文献１のような顔認証装置では、装着物のために他人同士の顔情報が類似する場合にも認証成功となってしまうため、他人受入を抑制することができない。

そこで、本発明は、装着物に起因して利用者本人が認証に失敗したり、未登録の照合対象者が何れかの利用者であるとして誤って認証に成功する可能性を低減させた顔認証装置を提供することを目的とする。

かかる課題を解決するために、本発明は、予め登録された登録利用者ごとに、登録利用者の顔への装着物の装着状態が互いに異なる複数の顔情報を登録顔情報として記憶する記憶手段と、照合対象者の顔画像から抽出された照合対象者の顔情報を複数の登録顔情報のそれぞれと照合し、複数の登録顔情報のうち照合対象者の顔情報と類似する候補顔情報を特定する照合手段と、候補顔情報に対応する登録利用者の登録顔情報であって候補顔情報とは装着物の装着状態が異なる顔情報である別種顔情報について、別種顔情報に対応する顔画像および照合対象者の顔画像の中で装着物の装着領域以外の領域において別種顔情報と照合対象者の顔情報とが類似することを条件に、照合対象者が候補顔情報に対応する登録利用者であると判定する補足判定を行う補足判定手段と、を備えることを特徴とする顔認証装置を提供する。

補足判定手段は、候補顔情報の装着状態に応じて異なる類似判定基準を用いて補足判定を行うことが好ましい。

補足判定手段は、候補顔情報の装着状態が装着物を装着していない状態を示す場合に類似判定基準として第一の基準を用いて補足判定を行い、候補顔情報の装着状態が装着物を装着している状態を示す場合には類似判定基準として第一の基準より厳しい第二の基準を用いて補足判定を行うことが好ましい。

照合手段は、照合対象者の顔情報と複数の登録顔情報のそれぞれとの類似度を算出し、類似度が最大でありかつ第三の基準を満たす登録顔情報を候補顔情報として特定し、補足判定手段は、候補顔情報に対応する別種顔情報が記憶手段に記憶されていない場合には、候補顔情報と照合対象者の顔情報との類似度が第三の基準より厳しい第四の基準を満たすことを条件に、照合対象者は候補顔情報に対応する登録利用者であると判定することが好ましい。

補足判定手段は、装着物の装着領域よりも非装着領域の重み付けを大きくして照合対象者の顔情報と別種顔情報との重み付け類似度を算出し、重み付け類似度を用いて補足判定を行うことが好ましい。

本発明の顔認証装置は、装着物に起因して利用者本人が認証に失敗したり、未登録の照合対象者が何れかの利用者であるとして誤って認証に成功する可能性を低減させることができる。

本発明の一実施形態である顔認証装置の概略構成図である。 記憶部に記憶される登録データを説明するための図である。 顔画像中の装着領域と非装着領域を説明するための図である。 顔認証装置の処理部の動作例を示したフローチャートである。

以下、本発明の一実施形態である顔認証装置について、図面を用いて説明する。本実施形態の顔認証装置では、利用者の顔情報が利用者ごとに予め登録される。特に、装着物の一例として眼鏡を装着することがある利用者については、顔に眼鏡が装着されている状態（以下、眼鏡顔という）の顔情報と、眼鏡が装着されていない状態（以下、裸眼顔という）の顔情報とが登録される。顔認証装置は、照合対象者の顔情報を登録されている利用者の顔情報（以下、登録顔情報という）のそれぞれと照合して類似度を評価し、本人候補の登録顔情報（以下、候補顔情報という）を特定する。この登録顔情報に対応する利用者が、照合対象者と同一人物である可能性がある候補者となる。

さらに顔認証装置は、候補顔情報に対応する登録利用者の登録顔情報であって候補顔情報とは眼鏡の装着状態が異なる顔情報（以下、別種顔情報という）について、別種顔情報に対応する顔画像および照合対象者の顔画像の中で眼鏡の装着領域以外の領域においてその別種顔情報と照合対象者の顔情報とが類似するか否か補足判定する。そして別種顔情報と照合対象者の顔情報とが類似するとき、顔認証装置は、照合対象者を候補者とした利用者であると判定する。この装着状態には、顔に装着物が装着されていない状態も含まれる。本実施形態では、候補顔情報が眼鏡顔の顔情報のとき別種顔情報は裸眼顔の顔情報であり、候補顔情報が裸眼顔の顔情報のとき別種顔情報は眼鏡顔の顔情報である。この補足判定により、本実施形態の顔認証装置は、登録されている眼鏡顔と裸眼顔の両方の顔情報を有効活用して、眼鏡に起因する他人受入を抑制する。

また、本実施形態の顔認証装置は、候補顔情報が眼鏡顔の登録顔情報である場合の補足判定における類似判定基準を、候補顔情報が裸眼顔の登録顔情報である場合の補足判定における類似判定基準よりも厳しくする。このように、照合の信頼度が高い裸眼顔が本人候補のときは補足判定での類似判定基準を緩くし、比較的に信頼度が低い眼鏡顔が本人候補となったときは補足判定での類似判定基準を厳しくする。これにより、最初の照合で裸眼顔の顔情報が候補顔情報となった場合の方が、照合対象者は、候補者として特定された利用者本人であると判定され易くなる。このため、照合対象者が眼鏡を着用していないときの本人棄却を抑えながら、眼鏡を着用しているときの他人受入を抑制することができる。

さらに、本実施形態の顔認証装置は、特定した候補者について別種顔情報が登録されていない場合には、最初の照合のときより類似判定基準を厳しくして、候補顔情報が照合対象者の顔情報と類似するか否かを再び判定する。これにより、裸眼顔と眼鏡顔のうち一方の顔情報しか登録されていない利用者が、両方の顔情報が登録されている利用者より認証され易くならないようにする。

図１は、本発明の一実施形態である顔認証装置１の概略構成図である。顔認証装置１は、記憶部２０と、処理部３０と、出力部４０とを有する。顔認証装置１では、撮像部１０により撮像された画像が、処理部３０に入力される。図１には撮像部１０を１つしか示していないが、顔認証装置１は、複数の撮像部や、自動ドアや電気錠などの外部機器と接続し、認証結果に応じてそれらの機器を制御してもよい。

撮像部１０は、顔認証装置１が運用される環境に応じて、照合対象者の顔を撮影できるように設置される。例えば、通行を規制する自動ドア前方の所定範囲を撮影対象とするように設置する。撮像部１０は、照合対象者の顔が写った画像を入力画像として生成する。そのために、撮像部１０は、例えば、ＣＣＤまたはＣＭＯＳといった固体撮像素子の２次元アレイ上に照合対象者の顔の像を結像する光学系を備えたカメラを有する。撮像部１０は、生成した入力画像を処理部３０に出力する。

なお、撮像部１０は、入力画像として、カラーの多階調画像を作成するものであってもよく、または近赤外域に感度を有しグレー画像を作成するカメラであってもよい。また、撮像部１０が有する撮像素子アレイは、入力画像上に写っている顔の目、鼻、口などの特徴が区別できる程度の画素数を有することが好ましい。

記憶部２０は、半導体メモリ、磁気記録媒体および光記録媒体のうちの少なくとも一つを有する。そして記憶部２０は、顔認証装置１を制御するためのコンピュータプログラム、各種パラメータおよびデータなどを記憶する。また記憶部２０は、利用者の識別情報と、利用者の顔画像または顔画像から抽出された利用者の顔の特徴情報である顔情報とを記憶する。顔認証装置１では、利用者ごとに、利用者の識別情報および顔情報を予め記憶部２０に登録しておく。以下では、登録された利用者の顔情報を登録顔情報という。

眼鏡を着用することがある利用者については、記憶部２０は、眼鏡顔の顔情報および裸眼顔の顔情報を、利用者ごとに対応付けて記憶する。これらの顔情報は、装着物の装着状態が互いに異なる複数の顔情報の一例である。眼鏡を着用しない利用者については、記憶部２０は、裸眼顔の顔情報を記憶する。

図２は、記憶部２０に記憶される登録データを説明するための図である。図２の登録データは、利用者ごとに、識別情報としてＩＤ番号を、登録顔情報として顔画像を有する。この例では、利用者は４人である。ＩＤ０１、ＩＤ０３およびＩＤ０４の利用者は眼鏡を着用しているが、ＩＤ０２の利用者は眼鏡を着用していない。このため、ＩＤ０１、ＩＤ０３およびＩＤ０４の利用者については、眼鏡顔と裸眼顔の両方の顔画像が登録されている。一方、ＩＤ０２の利用者については、裸眼顔の顔画像のみが登録されている。

図２の例では、ＩＤ０１とＩＤ０４の利用者について登録されている眼鏡顔の眼鏡が似ている。この場合、例えば、眼鏡を着用した状態のＩＤ０１の利用者が照合対象者となり、登録されている各顔画像と照合されると、自分自身の眼鏡顔よりもＩＤ０４の利用者の眼鏡顔との類似度が高くなる可能性がある。また、登録されている眼鏡顔同士の眼鏡が似ていなくても、例えばＩＤ０１の利用者が登録時と異なる眼鏡を着用して照合対象者となった場合には、その眼鏡が他の利用者について登録されている眼鏡顔の眼鏡と似ていれば、同様に、自分自身の眼鏡顔よりも他の利用者の眼鏡顔との類似度が高くなる可能性がある。

なお、利用者の識別情報は、利用者を一意に識別できるものであればよいので、例えば利用者名などでもよい。また、図２では説明のため顔画像を登録する例を示しているが、処理部３０による照合の方式に応じて、顔画像または顔画像から抽出された利用者の顔の特徴情報を登録すればよい。登録顔情報は、外部から取得してもよいし、後述する処理部３０の特徴抽出手段３２により抽出してもよい。

また、記憶部２０は、後述する補足判定に用いられる類似度の閾値Ｔｈ１〜Ｔｈ４を記憶する。

また、記憶部２０は、顔画像中における、眼鏡が装着され眼鏡の影響を受ける目の周辺領域（装着領域という）と、顔の中で目の周辺領域以外の領域（非装着領域という）とのうち、少なくとも一方の範囲を示す領域情報を記憶する。

図３（Ａ）および図３（Ｂ）は、顔画像中の装着領域と非装着領域を説明するための図である。図３（Ａ）は、目の周辺領域を含む顔の上側の一定範囲を装着領域とし、その下側にある顔領域を非装着領域と定める場合の例を示す。この例では、顔画像５１のうち、目の周辺領域を含む、破線で示す領域５２が装着領域であり、その下側にある破線で示す領域５３が非装着領域である。この例では、記憶部２０は、例えば顔の垂直方向における顔画像５１全体に対する領域５２と領域５３の幅の比率および位置を、装着領域と非装着領域の領域情報として記憶する。

図３（Ｂ）は、顔領域のうち特徴量が抽出される領域を９個の小領域に分割し、小領域の単位で装着領域と非装着領域を定める場合の例を示す。この例では、テンプレートとなる顔画像５４のうち、顔５５の上端の髪に相当する部分を除いて、特徴量が抽出される領域５６が９個の小領域に分割される。その９個のうち、上側の３個を含む領域５７が装着領域、残りの６個を含む領域５８が非装着領域と定められる。この例では、記憶部２０は、例えばテンプレートの顔画像５４における各小領域の位置座標、および各小領域が装着領域と非装着領域の何れであるかを示す情報を、領域情報として記憶する。

処理部３０は、１個または複数個のプロセッサおよびその周辺回路を有する。そして処理部３０は、撮像部１０により入力された顔画像から照合対象者の顔情報を抽出し、その顔情報を記憶部２０に予め登録された利用者の顔情報と照合して、照合対象者が登録された利用者であるか否か判定する。そのために、処理部３０は、顔検出手段３１と、特徴抽出手段３２と、照合手段３３と、補足判定手段３４と、認可手段３５とを有する。処理部３０のこれらの手段は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。なお、これらの手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成してもよい。

出力部４０は、例えば、自動ドア、通行ゲートまたは電気錠を制御する外部機器などに接続する通信インターフェースと、その制御回路とを有する。そして出力部４０は、処理部３０から照合対象者についての認証成功を示す信号を受け取ると、接続された機器に例えば電気錠の解錠を要求する信号を出力する。あるいは、出力部４０は、撮像部１０の付近に設置され表示または音声などにより照合対象者に認証結果を通知する表示器などに、処理部３０による認証結果を示す信号を出力してもよい。

次に、処理部３０が有する各手段の機能について説明する。

顔検出手段３１は、入力画像から、照合対象者の顔が写っている領域である顔領域を検出し、その画像から顔領域に含まれる画素のみを含む画像を顔画像として切り出す。顔検出手段３１は、その顔領域の大きさが、装着領域および非装着領域を定めるテンプレート顔画像の顔領域と同等になるように、必要に応じて顔領域の拡大縮小および位置合わせを行う。顔検出手段３１は、入力画像から顔領域に含まれる画素のみを取り出した顔画像を特徴抽出手段３２に渡す。

顔領域を検出するために、顔検出手段３１は、例えば、入力画像中の部分領域から１つまたは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として検出する。具体的には、顔検出手段３１は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出する。あるいは、人物の顔を撮影した複数の画像から予めこれらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定してもよい。

あるいは、顔検出手段３１は、予め用意された顔領域のテンプレートを用いて入力画像とのテンプレートマッチングを行ったり、入力画像のエッジ画像から顔または頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を検出してもよい。

特徴抽出手段３２は、顔領域を表す画像から照合対象者の顔の特徴情報である顔情報（以下、入力顔情報ともいう）を抽出する。そのために、特徴抽出手段３２は、顔検出手段３１により得られた画像から、目領域中心、鼻尖点、口角点などの顔の特徴点を抽出する。さらに特徴抽出手段３２は、抽出された特徴点の種別と入力画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を、顔の特徴情報として抽出する。特徴抽出手段３２は、入力顔情報を記憶部２０に記憶する。

特徴抽出手段３２は、顔画像から特徴点を抽出するための公知の様々な手法を用いることができる。例えば、特徴抽出手段３２は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして特徴抽出手段３２は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各特徴点を抽出することができる。

なお、特徴抽出手段３２は、入力顔情報を抽出するのと同様の方法により、各利用者が登録されるときに顔情報を抽出し、それらを登録顔情報として記憶部２０に記憶しておく。

照合手段３３は、照合対象者の入力顔情報を記憶部２０に記憶されている各登録顔情報と照合して、照合対象者の顔情報と類似する登録顔情報に対応する利用者を、照合対象者と同一人物である可能性がある候補者として特定する。そのために、照合手段３３は、まず、入力顔情報と、各登録顔情報とを比較することにより、利用者ごとに、利用者の顔と照合対象者の顔の類似度合いを表す類似度を算出する。眼鏡顔の顔情報と裸眼顔の顔情報の両方が登録されている利用者については、照合手段３３は、眼鏡顔との類似度と裸眼顔との類似度の両方を算出する。照合手段３３は、算出した類似度を登録顔情報ごとに記憶部２０に記憶する。

照合手段３３は、例えば、入力顔情報と登録顔情報の間で、特徴抽出手段３２が抽出した特徴点ごとに周辺の画像特徴を利用して個別の類似度を求め、その総和を全体の類似度として算出する。この場合、入力顔情報と登録顔情報の差が小さいほど、すなわち、照合対象者の顔と利用者の顔が類似しているほど、類似度の値は大きくなる。

また、図３（Ｂ）に示したように、顔領域のうち特徴量が抽出される領域が複数個の小領域に分割される場合は、照合手段３３は、分割された小領域ごとに類似度を算出し、各小領域についての類似度の合計または平均をとることにより、全体の類似度を算出してもよい。

あるいは、照合手段３３は、入力顔情報と登録顔情報の間で、同一種別の特徴点ごとに位置の差（距離）を求め、その二乗和を類似度として算出してもよい。この場合の類似度は、入力顔情報と登録顔情報の差が小さいほど、すなわち、照合対象者の顔と利用者の顔が類似しているほど小さくなる。以下では、類似度が高いほど、比較対象となる二つの顔の類似度合いも高いとして説明する。

あるいは、照合手段３３は、入力画像と登録されている利用者の顔画像（以下、登録顔画像という）とのパターンマッチングにより類似度を算出してもよい。この場合、照合手段３３は、入力画像に対する登録顔画像の相対的な位置を変えつつ、入力画像と登録顔画像の間の正規化相互相関値を算出し、その正規化相互相関値の最大値を、入力画像とその登録顔画像との類似度としてもよい。この場合、照合手段３３は特徴抽出手段３２が抽出する特徴情報を類似度算出のために使用しないので、特徴抽出手段３２は省略されてもよい。

照合手段３３は、各登録顔情報について算出した類似度の最大値を求め、その最大値が閾値Ｔｈ１（第三の基準の一例）以上である場合に、その最大値をもつ登録顔情報が照合対象者の顔情報と類似する本人候補の顔情報（候補顔情報）と判定する。以降、その登録顔情報に対応する利用者が候補者として扱われる。

補足判定手段３４は、本人候補として特定された候補顔情報に対応する利用者の登録顔情報であって候補顔情報とは眼鏡の装着状態が異なる別種顔情報が記憶部２０に記憶されているか否かを判定する。すなわち、補足判定手段３４は、候補顔情報が眼鏡顔の顔情報のときは裸眼顔の顔情報が記憶されているかを、候補顔情報が裸眼顔の顔情報のときは眼鏡顔の顔情報が記憶されているかを判定する。

別種顔情報が記憶部２０に記憶されていない場合、補足判定手段３４は、候補顔情報について照合手段３３が算出した類似度が閾値Ｔｈ２（第四の基準の一例）以上であれば、照合対象者が候補者とした利用者であると判定する。一方、その類似度が閾値Ｔｈ２未満であれば、補足判定手段３４は、照合対象者が候補者とした利用者でないと判定する。

補足判定手段３４が候補顔情報を再び判定するときの類似判定基準である閾値Ｔｈ２は、照合手段３３による類似判定基準である閾値Ｔｈ１よりも高く（すなわち、基準が厳しく）設定される。これは、裸眼顔の顔情報しか登録されておらず別種顔情報が記憶部２０に記憶されていない利用者が、眼鏡顔と裸眼顔の両方の顔情報が登録されている利用者より認証され易くならないようにするためである。なお、類似度の代わりに相違度が用いられる場合は、補足判定手段３４が候補顔情報を再び判定するときの相違度の閾値は、照合手段３３が類似を判定するときの相違度の閾値より低く設定される。

一方、別種顔情報が記憶部２０に記憶されている場合、補足判定手段３４は、補足判定として、眼鏡が装着される目の周辺領域以外に関する、その別種顔情報と照合対象者の入力顔情報とが類似するか否かを更に評価し、照合対象者がその利用者であるか否かを判定する補足判定を行う。このように、顔認証装置１は、登録されている眼鏡顔と裸眼顔の両方の顔情報を利用して、照合対象者が本当に候補者と同一人物であるか否かを判定する。

その際、補足判定手段３４は、眼鏡の装着領域に対し非装着領域の重みを大きくして、照合対象者の顔情報とその別種顔情報との重み付け類似度を算出する。そのために、補足判定手段３４は、記憶部２０に記憶されている装着領域と非装着領域の領域情報を参照することにより、顔の各特徴点が装着領域と非装着領域のいずれに属するかを特定する。顔画像を構成する各特徴点は、それぞれ画像上の位置情報が対応付けられているため、補足判定手段３４は、装着領域および非装着領域と各特徴点との位置関係から、各特徴点が装着領域と非装着領域のいずれに属するか特定可能である。補足判定手段３４は、記憶部２０に記憶されている入力顔領域の特徴点と別種顔情報についての顔領域の特徴点との個別の類似度のうち、装着領域に属する特徴点に関する個別の類似度には重みα１を掛け、非装着領域に属する特徴点に関する個別の類似度には重みα１より大きい重みα２を掛ける。そして補足判定手段３４は、得られた値の各特徴点についての総和を、重み付け類似度として算出する。なお、ここで必要な個別の類似度は、補足判定手段３４が新たに算出してもよい。

図３（Ａ）の例では、装着領域である領域５２と非装着領域である領域５３との顔の垂直方向における幅の比率および位置が、領域情報として記憶部２０に記憶されている。そこで、補足判定手段３４は、着目している特徴点の垂直方向の位置と、顔画像５１全体に対する領域５２および領域５３の幅の比率および位置とから、その特徴点が装着領域と非装着領域のいずれに属するかを特定する。そして補足判定手段３４は、例えば、領域５２に含まれる目の特徴点に関する個別の類似度には装着領域の重みα１を掛け、領域５３に含まれる口の特徴点に関する個別の類似度には非装着領域の重みα２（＞α１）を掛けて、重み付け類似度を算出する。

図３（Ｂ）の例では、各小領域の位置座標および各小領域が装着領域と非装着領域の何れであるかを示す情報が、領域情報として記憶部２０に記憶されている。そこで、補足判定手段３４は、その領域情報から、着目している小領域が装着領域と非装着領域のいずれに属するかを特定する。そして補足判定手段３４は、例えば、領域５７に含まれる小領域に関する個別の類似度には装着領域の重みα１を掛け、領域５８に含まれる小領域に関する個別の類似度には非装着領域の重みα２（＞α１）を掛けて、重み付け類似度を算出する。

また、重みは、例えば非装着領域の重みを１とし装着領域の重みを０．３とするなど、非装着領域の重みを装着領域の重みに対して高く設定し、顔領域のうち眼鏡の影響が小さい領域の類似性が重み付け類似度に表出し易くする。なお、非装着領域についてのみ類似しているか否かが判定されるように、補足判定手段３４は、装着領域に対する重みを０にしてもよい。

そして、補足判定手段３４は、候補顔情報が裸眼顔の顔情報であるか否かを判定する。候補顔情報が裸眼顔の顔情報である場合、重み付け類似度が閾値Ｔｈ３（第一の基準の一例）以上であれば、補足判定手段３４は、照合対象者が候補者とした利用者であると判定する。一方、重み付け類似度が閾値Ｔｈ３未満であれば、補足判定手段３４は、照合対象者が候補者とした利用者でないと判定する。また、候補顔情報が眼鏡顔の顔情報である場合、重み付け類似度が閾値Ｔｈ４（第二の基準の一例）以上であれば、補足判定手段３４は、照合対象者が候補者とした利用者であると判定する。一方、重み付け類似度が閾値Ｔｈ４未満であれば、補足判定手段３４は、照合対象者が候補者とした利用者でないと判定する。

補足判定手段３４の補足判定に用いられる類似判定基準は、候補顔情報が裸眼顔の顔情報である場合の閾値Ｔｈ３より、候補顔情報が眼鏡顔の顔情報である場合の閾値Ｔｈ４が高く（すなわち、基準が厳しく）設定される。これは、裸眼顔が本人候補のときは照合手段３３による照合の信頼度が高く、眼鏡顔が本人候補のときはその照合の信頼度が相対的に低いため、眼鏡顔が本人候補のときの方が、照合対象者が本当に候補者と同一人物であるかをより厳しく判定する必要があるからである。このように、候補顔情報に対応する装着状態についての照合の信頼度が低いほど、補足判定の類似判定基準は厳しく設定される。なお、類似度の代わりに相違度が用いられる場合は、補足判定における候補顔情報が裸眼顔の顔情報であるときの相違度の閾値より、候補顔情報が眼鏡顔の顔情報であるときの相違度の閾値が低く設定される。

認可手段３５は、補足判定手段３４により照合対象者が予め登録された利用者と判定されたとき、出力部４０を介して、例えば認証成功を示す信号として電気錠を解錠する信号を出力したり、撮像部１０の付近に設置された表示器などに認証に成功したことを通知する。一方、照合手段３３で候補者が存在しないと判定されたとき、または補足判定手段３４により照合対象者が利用者でないと判定されたとき、認可手段３５は、出力部４０を介して認証失敗を示す信号を出力させてもよい。

図４は、顔認証装置１の処理部３０の動作例を示したフローチャートである。まず、顔検出手段３１は、照合対象者の顔が写っている入力画像を撮像部１０から取得する（ステップＳ１０）。そして顔検出手段３１は、入力画像から、照合対象者の顔が写っている領域である入力顔領域を検出する（ステップＳ１５）。顔検出手段３１は、例えば、入力画像から入力顔領域に含まれる画素のみを取り出した画像を、特徴抽出手段３２に渡す。

特徴抽出手段３２は、入力顔領域の画像から照合対象者の顔の特徴情報である入力顔情報を抽出する（ステップＳ２０）。特徴抽出手段３２は、得られた入力顔情報を照合手段３３に渡し、記憶部２０に記憶する。なお、照合手段３３が入力顔領域の画像と登録顔画像とのパターンマッチングにより類似度を算出する場合には、ステップＳ２０の処理は省略されてもよい。

照合手段３３は、利用者ごとに、入力顔情報と各登録顔情報との類似度をそれぞれ算出する（ステップＳ２５）。眼鏡顔の顔情報と裸眼顔の顔情報の両方が登録されている利用者については、照合手段３３は、入力顔情報と眼鏡顔の登録顔情報との類似度および入力顔情報と裸眼顔の登録顔情報との類似度をそれぞれ算出する。そして照合手段３３は、算出した類似度を記憶部２０に記憶する。

そして照合手段３３は、算出された類似度の最大値が閾値Ｔｈ１以上であるか否かを判定する（ステップＳ３０）。最大値が閾値Ｔｈ１未満である場合（ステップＳ３０でＮｏ）、照合手段３３は候補者が存在しない、すなわち、照合対象者はいずれの利用者でもないと判断し、認証失敗とする（ステップＳ７０）。

一方、類似度の最大値が閾値Ｔｈ１以上である場合（ステップＳ３０でＹｅｓ）、照合手段３３は、その最大値を得た登録顔情報を候補顔情報とし、その登録顔情報に対応する利用者を照合対象者と同一人物である可能性がある候補者とみなす。そして、補足判定手段３４は、候補顔情報と同一利用者の登録顔情報であって候補顔情報とは眼鏡の装着有無が異なる登録顔情報（別種顔情報）があるか否かを判定する（ステップＳ３５）。すなわち、補足判定手段３４は、候補顔情報が眼鏡顔の顔情報のときは裸眼顔の顔情報が登録されているか、候補顔情報が裸眼顔の顔情報のときは眼鏡顔の顔情報が登録されているか否かを判定する。

別種顔情報が記憶部２０に記憶されていないとき（ステップＳ３５でＮｏ）は、補足判定手段３４は、候補顔情報について照合手段３３が算出した類似度が閾値Ｔｈ２以上であるか否かを判定する（ステップＳ４０）。その類似度が閾値Ｔｈ２以上である場合（ステップＳ４０でＹｅｓ）、補足判定手段３４は、照合対象者が候補者の利用者であると判定する。このとき、認可手段３５は、出力部４０を介して認証成功を示す信号を出力する（ステップＳ６５）。一方、その類似度が閾値Ｔｈ２未満である場合（ステップＳ４０でＮｏ）、補足判定手段３４は、照合対象者が候補者の利用者でないと判定し、認証失敗とする（ステップＳ７０）。

一方、別種顔情報が記憶部２０に記憶されているとき（ステップＳ３５でＹｅｓ）は、補足判定手段３４は、非装着領域の類似性を重視した入力顔情報とその別種顔情報との重み付け類似度を算出する（ステップＳ４５）。

そして、補足判定手段３４は、候補顔情報が裸眼顔の顔情報であるか否かを判定する（ステップＳ５０）。候補顔情報が裸眼顔の顔情報である場合（ステップＳ５０でＹｅｓ）、補足判定手段３４は、算出された重み付け類似度が閾値Ｔｈ３以上であるか否かを判定する（ステップＳ５５）。重み付け類似度が閾値Ｔｈ３以上である場合（ステップＳ５５でＹｅｓ）、補足判定手段３４は、照合対象者が候補者の利用者であると判定する。このとき、認可手段３５は、出力部４０を介して認証成功を示す信号を出力する（ステップＳ６５）。一方、重み付け類似度が閾値Ｔｈ３未満である場合（ステップＳ５５でＮｏ）、補足判定手段３４は、照合対象者が候補者の利用者でないと判定し、認証失敗とする（ステップＳ７０）。

一方、候補顔情報が眼鏡顔の顔情報である場合（ステップＳ５０でＮｏ）、補足判定手段３４は、算出された重み付け類似度が閾値Ｔｈ４以上であるか否かを判定する（ステップＳ６０）。重み付け類似度が閾値Ｔｈ４以上である場合（ステップＳ６０でＹｅｓ）、補足判定手段３４は、照合対象者が候補者の利用者であると判定する。このとき、認可手段３５は、出力部４０を介して認証成功を示す信号を出力する（ステップＳ６５）。一方、重み付け類似度が閾値Ｔｈ４未満である場合（ステップＳ６０でＮｏ）、補足判定手段３４は、照合対象者が候補者の利用者でないと判定し、認証失敗とする（ステップＳ７０）。以上で、処理部３０の動作は終了する。

以上説明してきたように、上記実施形態の顔認証装置は、本人候補の登録顔情報として特定された候補顔情報に対応する登録利用者の登録顔情報であって候補顔情報とは眼鏡の装着状態が異なる別種顔情報について、眼鏡が装着される目の周辺領域以外に関するその別種顔情報と照合対象者の入力顔情報とが類似するか否かを確認して、照合対象者がその利用者であるか否かを判定する。これにより、眼鏡が類似することに起因する他人受入を抑制することができる。また、顔認証装置では、候補顔情報が眼鏡顔の登録顔情報である場合の補足判定の類似判定基準を、候補顔情報が裸眼顔の登録顔情報である場合の基準よりも厳しくする。このように、裸眼顔の顔情報が候補顔情報であるときより、照合手段３３が行う照合の信頼度が相対的に低い眼鏡顔の顔情報が候補顔情報であるときの方が、厳しい類似判定基準が用いられる。これにより、顔認証装置は、照合対象者が眼鏡を着用していないときの本人棄却を抑えながら、眼鏡を着用しているときの他人受入も抑制することができる。

なお、別種顔情報が記憶部２０に記憶されていない場合、照合対象者が候補顔情報に対応する利用者であるか否かを補足判定手段３４が再度判定せずに、認可手段３５が出力部４０を介して認証成功を示す信号を出力してもよい。また、補足判定手段３４が候補顔情報を再び判定するときの類似判定基準である閾値Ｔｈ２も、候補顔情報が裸眼顔と眼鏡顔の何れであるかに応じて変えてもよい。その際、重み付け類似度についての閾値Ｔｈ３およびＴｈ４と同様に、候補顔情報が裸眼顔の顔情報である場合の閾値より、候補顔情報が眼鏡顔の顔情報である場合の閾値を高くしてもよい。

また、補足判定手段３４は、候補顔情報が裸眼顔の顔情報であるか否かを判定せず、候補顔情報が裸眼顔と眼鏡顔の何れであっても、重み付け類似度を同じ閾値と比較してもよい。

なお、装着領域と非装着領域は、予め定められた位置関係に従って設定されるのではなく、特徴点ごとに動的に設定してもよい。例えば、目の周囲は眼鏡により影響を受けるため、特徴抽出手段３２が目の特徴点を抽出したときに、その特徴点を中心とする一定の範囲（例えば、顔画像中の平均的な眼鏡の垂直方向の長さを幅とする水平な帯状の範囲）を装着領域として設定してもよい。

また、上記の説明では、照合手段３３は、類似度が最大であり閾値Ｔｈ１以上となる登録顔情報に対応する一人の利用者を候補者として特定していた。しかしながら、類似度が閾値Ｔｈ１以上となる眼鏡顔の登録顔情報が複数ある場合は、それらについて補足判定手段３４が補足判定してもよい。その場合、補足判定手段３４は、各候補者のうち、照合手段３３により算出された類似度および補足判定手段３４により算出された重み付け類似度の和など、両者を総合して得られるスコアが最大の候補者を選出する。そして補足判定手段３４は、そのスコアが所定の基準を満たすとき、照合対象者をその候補者（利用者）と判定する。あるいは、補足判定のときに算出される重み付け類似度が最大の候補者を判定対象の候補者に選出してもよい。

また、照合手段３３は、必ずしもすべての利用者について、照合対象者の入力顔情報との照合をしなくてもよい。例えば、規制対象の区域への入場権限がある利用者のグループのみについて照合してもよい。あるいは、利用者ごとに優先順位を付与し、その情報を利用者ごとに対応付けて記憶部２０に記憶しておき、照合手段３３はその優先順位が高い利用者について優先的に照合してもよい。

また、顔認証装置１は、１つの入力画像により照合対象者を認証するものに限らず、撮影時刻が異なる複数の入力画像を用いて最終的に照合対象者を認証するものでもよい。例えば、顔認証装置１は、監視領域内を歩行する人物が複数の時点で撮影された複数の入力画像からその人物の顔領域の画像を抽出し、公知のトラッキング技術を適用することにより同一人物の顔が写っていると判断される顔領域同士について、顔領域の画像と予め登録された複数の登録顔画像のそれぞれとの類似度を時系列の順で算出し、それらの類似度を用いて監視領域内を歩行する人物を認証する顔認証装置（いわゆるウォークスルー型の顔認証装置）であってもよい。

その場合、顔認証装置１は、例えば、各時点での照合対象者の顔情報との類似度が最大になった利用者について１位ヒット数を加算し、判定対象の期間内における１位ヒット数を利用者ごとにカウントする。そして、所定の期間内で最大の類似度を得た登録顔情報を候補顔情報とし、別種顔情報が記憶部２０に記憶されている利用者については、補足判定として、その別種顔情報と照合対象者の顔情報との重み付け類似度が所定閾値以上であるか確認する。顔認証装置１は、重み付け類似度が閾値以上であり、眼鏡の装着領域以外についても別種顔情報と照合対象者の顔情報とが類似すると判定した場合、期間内における入力画像の枚数に対するその利用者の１位ヒット数の割合である１位ヒット率を算出する。そして、判定対象の利用者の１位ヒット率が閾値（例えば７割）以上であれば、顔認証装置１は照合対象者をその利用者であると判定する。あるいは、ある利用者の１位ヒット数が閾値となる回数（例えば７回）以上になった場合に、顔認証装置１は照合対象者をその利用者であると判定してもよい。

また、上記では装着物として眼鏡が装着される場合の例を説明したが、装着物は眼鏡に限らない。装着物には、例えばピアスを含むアクセサリなど、利用者が顔に装着するものが含まれる。ピアスなどのアクセサリを身に着ける利用者については、アクセサリを身に着けた状態と身に着けない状態の顔画像または顔情報を記憶部２０に記憶しておく。また、装着物の種類ごとに、装着領域と非装着領域の位置関係を記憶部２０に記憶しておく。例えば装着物がピアスである場合は、顔画像中の耳を含む一定範囲を装着領域とし、それ以外の顔領域を非装着領域として、例えばテンプレート上における装着領域を示す位置座標を領域情報として記憶部２０に記憶しておく。そして処理部３０は、眼鏡について上記したものと同様の処理をして、照合対象者を認証すればよい。

また、装着物は１個に限らず、複数個または複数種類あってもよい。その場合、記憶部２０には、例えば、登録顔情報として、１個または複数個の装着物が装着された状態の顔情報と、いずれの装着物も装着されていない状態の顔情報とを登録しておけばよい。

本実施形態では、眼鏡顔と裸眼顔を異なる装着状態の例として説明した。しかしながら、異なる装着状態はこれらに限らず、その装着状態の顔情報を照合手段３３が照合する際の信頼度が異なると考えられる別の装着状態でもよい。例えば、異なる装着状態は、「縁あり眼鏡を装着した状態」と「縁なし眼鏡を装着した状態」でもよいし、「眼鏡を装着した状態」と「ピアスを装着した状態」などでもよい。また、３種以上の装着状態を用いてもよい。

さらに、本実施形態では補足判定に用いられる閾値を装着状態ごとに記憶部２０に記憶したが、これに限らず、各装着状態に対して照合の信頼度を予め設定し、この信頼度ごとに記憶部２０に閾値を記憶しておき、補足判定を行ってもよい。

１ 顔認証装置
１０ 撮像部
２０ 記憶部
３０ 処理部
３１ 顔検出手段
３２ 特徴抽出手段
３３ 照合手段
３４ 補足判定手段
３５ 認可手段
４０ 出力部

Claims (5)

1. 予め登録された登録利用者ごとに、当該登録利用者の顔への装着物の装着状態が互いに異なる複数の顔情報を登録顔情報として記憶する記憶手段と、
   照合対象者の顔画像から抽出された当該照合対象者の顔情報を複数の前記登録顔情報のそれぞれと照合し、当該複数の登録顔情報のうち当該照合対象者の顔情報と類似する候補顔情報を特定する照合手段と、
   前記候補顔情報に対応する登録利用者の登録顔情報であって当該候補顔情報とは前記装着物の装着状態が異なる顔情報である別種顔情報について、当該別種顔情報に対応する顔画像および前記照合対象者の顔画像の中で前記装着物の装着領域以外の領域において当該別種顔情報と当該照合対象者の顔情報とが類似することを条件に、当該照合対象者が当該候補顔情報に対応する登録利用者であると判定する補足判定を行う補足判定手段と、
   を備えることを特徴とする顔認証装置。
2. 前記補足判定手段は、前記候補顔情報の装着状態に応じて異なる類似判定基準を用いて前記補足判定を行うことを特徴とする、請求項１に記載の顔認証装置。
3. 前記補足判定手段は、前記候補顔情報の前記装着状態が前記装着物を装着していない状態を示す場合に前記類似判定基準として第一の基準を用いて前記補足判定を行い、当該候補顔情報の前記装着状態が前記装着物を装着している状態を示す場合には前記類似判定基準として当該第一の基準より厳しい第二の基準を用いて前記補足判定を行うことを特徴とする、請求項２に記載の顔認証装置。
4. 前記照合手段は、前記照合対象者の顔情報と前記複数の登録顔情報のそれぞれとの類似度を算出し、当該類似度が最大でありかつ第三の基準を満たす登録顔情報を前記候補顔情報として特定し、
   前記補足判定手段は、前記候補顔情報に対応する前記別種顔情報が前記記憶手段に記憶されていない場合には、前記候補顔情報と前記照合対象者の顔情報との類似度が前記第三の基準より厳しい第四の基準を満たすことを条件に、当該照合対象者は当該候補顔情報に対応する登録利用者であると判定することを特徴とする、請求項１〜３の何れか一項に記載の顔認証装置。
5. 前記補足判定手段は、前記装着物の装着領域よりも非装着領域の重み付けを大きくして前記照合対象者の顔情報と前記別種顔情報との重み付け類似度を算出し、当該重み付け類似度を用いて前記補足判定を行うことを特徴とする、請求項１〜４の何れか一項に記載の顔認証装置。

Images