JP2016009453A - 顔認証装置および顔認証方法 - Google Patents

Abstract

【課題】低い処理コストで信頼性の高い顔認証を行う。【解決手段】ユーザの顔画像を連続して取得する顔画像取得手段と、前記顔画像取得手段が取得した第一の顔画像に基づいて前記ユーザを識別するユーザ識別手段と、前記顔画像取得手段が取得した第二の顔画像に基づいて、前記ユーザの表情または顔の向きに関連したパラメータである顔パラメータを取得するパラメータ取得手段と、前記第一の顔画像に含まれる顔の一部の領域を抽出し、当該領域を、連続して取得した複数の顔画像間で追跡する追跡手段と、前記ユーザ識別手段が識別したユーザが登録されたユーザであり、かつ、前記取得した顔パラメータが所定の条件を満たし、かつ、前記複数の顔画像間で前記抽出した領域を連続して追跡できた場合に、認証成功と判断する認証手段と、を有する。【選択図】図１

Description

本発明は、顔画像に基づいてユーザを認証する装置に関する。

近年、人物の顔が映った画像（顔画像）に基づいて当該人物を識別する装置が普及の兆しを見せている。顔画像に基づいた人物の識別は、例えば、正当な人物の顔画像から特徴量を予め抽出して保持しておき、取得した顔画像から抽出した特徴量と比較することで実現することができる。

一方で、正当な人物の顔画像（例えば写真等）を読み込ませることで、その人物になりすまして認証を通過してしまう不正も考えられるため、顔認証の分野においては、なりすましの防止が重要な課題とされている。

例えば、特許文献１に記載の顔認証方法では、複数の顔画像を取得し、当該複数の顔画像を用いて複数回の認証を行い、すべて認証をクリアした場合にのみ、正当なユーザであると判定している。これにより、例えば、一回目は無表情、二回目は笑顔など、異なる表情によって複数回の認証を行うことができるため、正当なユーザの顔写真などを予め用意して行う攻撃に対して耐性を上げることができる。

米国特許第８４５７３６７号明細書

特許文献１に記載の発明によると、一枚の顔画像のみを用いて認証を行う場合よりもセキュリティ性を高めることができる。しかし、顔画像に基づく本人認証は複雑な処理を伴うため、セキュリティ性を高めるために認証回数を増やすと、処理コストが上昇するという問題がある。

また、顔認証は、顔の特徴を数値化することで比較を行うため、表情を作った状態、すなわち表情筋に力をこめた状態では、顔の特徴を正しく読み取ることができず、正当なユーザであるにもかかわらず、不一致判定がなされてしまう場合がある。すなわち、通常の顔認証と比較して、認証に失敗する率が高くなるという問題がある。

本発明は上記の課題を考慮してなされたものであり、低い処理コストで信頼性の高い顔認証を行う技術を提供することを目的とする。

上記課題を解決するため、本発明に係る顔認証装置は、
ユーザの顔画像を連続して取得する顔画像取得手段と、前記顔画像取得手段が取得した第一の顔画像に基づいて前記ユーザを識別するユーザ識別手段と、前記顔画像取得手段が取得した第二の顔画像に基づいて、前記ユーザの表情または顔の向きに関連したパラメータである顔パラメータを取得するパラメータ取得手段と、前記第一の顔画像に含まれる顔の一部の領域を抽出し、当該領域を、連続して取得した複数の顔画像間で追跡する追跡手段と、前記ユーザ識別手段が識別したユーザが登録されたユーザであり、かつ、前記取得した顔パラメータが所定の条件を満たし、かつ、前記複数の顔画像間で前記抽出した領域
を連続して追跡できた場合に、認証成功と判断する認証手段と、を有することを特徴とする。

本発明に係る顔認証装置は、顔画像を複数取得し、当該複数の顔画像を用いてユーザの本人認証を行う装置である。
顔画像取得手段は、ユーザの顔画像を取得する手段であり、例えば、外部に接続されたカメラ等から顔画像を取得する手段である。なお、顔画像は、必ずしもカメラから直接取得しなくてもよい。例えば、入退室管理システムなど、他のシステムから取得してもよい。顔画像取得手段は、複数の顔画像を、連続したフレームとして取得することができる。
また、第一の顔画像は、画像に含まれる顔が正当なユーザ（登録されたユーザ）の顔であるか否かを識別するための画像である。ユーザ識別手段は、例えば、公知の技術を用いて、第一の顔画像に含まれる顔を識別する。
また、第二の顔画像は、ユーザの表情または顔の向きに関連したパラメータ（顔パラメータ）を読み取るための画像である。顔パラメータとは、例えば、特定の表情の度合いを表すパラメータであってもよいし、顔の向きを表すパラメータであってもよい。また、表情とは、顔の外観に関連するものであれば、必ずしも感情を表すものでなくてもよい。例えば、目つぶりや口の開閉の度合い、視線の方向などを表すパラメータであってもよい。
パラメータ取得手段は、例えば、公知の技術を用いて、第二の顔画像に含まれる顔に対応する顔パラメータを取得する。なお、第二の顔画像は複数の画像であってもよい。

また、追跡手段は、取得した顔画像に含まれる一部の領域を、連続して取得した複数の顔画像間で追跡する手段である。例えば、取得した顔画像から、所定の器官（目、目元、口、口元など）を抽出し、異なる顔画像において対応する器官を探索し、移動先を追跡する。
なお、追跡対象の領域は、顔に含まれる器官に対応する領域であってもよいし、任意の形状の閉領域であってもよい。例えば、顔全体を追跡対象としてもよい。この場合、顔全体を表す矩形を設定し、複数の画像間で追跡を行うようにしてもよい。
また、追跡対象は特徴点などであってもよく、追跡対象は複数であってもよい。

また、認証手段は、ユーザ識別手段と、パラメータ取得手段と、追跡手段から取得した情報に基づいて最終的な認証を行う手段である。具体的には、顔画像に基づいてユーザを識別する従来の処理に加え、「取得した顔パラメータが条件を満たしていること」、および、「抽出した領域が、複数の顔画像間で連続して追跡できたこと」を条件とし、これらが全て満たされた場合に、認証成功と判断する。
なお、連続して追跡できたとは、追跡対象の領域が、対象の全フレームにおいて、画像領域中に存在することを意味する。すなわち、中間のフレームで、追跡対象の領域がフレームアウトしたり、移動先の座標が判定できなくなった場合、追跡失敗となる。

また、前記顔画像取得手段は、前記第一の顔画像の取得タイミングと、前記第二の顔画像の取得タイミングとの間において、一つ以上の中間顔画像をさらに取得し、前記追跡手段は、前記中間顔画像をさらに用いて前記抽出した領域を追跡することを特徴としてもよい。

このように、追跡手段が、第一の顔画像と第二の顔画像との間のフレームを用いて、領域の追跡を行うようにしてもよい。例えば、顔画像取得手段のフレームレートが３０ＦＰＳである場合、１／３０秒ごとに追跡を行うようにしてもよい。
顔画像の取得間隔はたとえば１秒以内であり、好ましくは０．５秒以内、さらに好ましくは０．２秒以内である。このように、顔画像の取得間隔を短く設定し、追跡対象領域を監視することで、カメラに向けて提示した顔写真を差し替えるなどの行為に起因する誤認証を防ぐことができる。

また、前記第二の顔画像は、異なるタイミングで取得した複数の顔画像からなり、前記パラメータ取得手段は、当該複数の顔画像にそれぞれ対応する複数の顔パラメータをさらに取得し、前記認証手段は、前記取得した複数の顔パラメータがそれぞれ所定の条件を全て満たした場合に、認証成功と判断することを特徴としてもよい。

第二の顔画像は複数であってもよく、それぞれが複数の顔パラメータと関連付いていてもよい。例えば、一回目は喜びの度合いを表すパラメータを用い、二回目は悲しみの度合いを表すパラメータを用いてもよい。このようにすることで、認証におけるセキュリティをより強固なものにすることができる。

また、前記顔パラメータは、ユーザの表情を数値化したパラメータであることを特徴としてもよく、前記顔パラメータは、ユーザの顔の向きを数値化したパラメータであることを特徴としてもよい。

このように、顔パラメータを数値として扱うことで、容易に比較を行うことができる。なお、顔パラメータは、単一の値であってもよいし、複数の値の集合（ベクトル）であってもよい。

また、前記認証手段は、前記顔パラメータの単位時間あたりの変化量をさらに取得し、前記変化量が所定の値よりも大きい場合に、認証処理を中断することを特徴としてもよい。
また、前記追跡手段は、追跡対象の領域の単位時間あたりの移動量をさらに取得し、前記移動量が所定の値よりも大きい場合に、追跡失敗と判断することを特徴としてもよい。

顔パラメータが急激に変化した場合、または、追跡対象の領域の、単位時間あたりの移動量が大きすぎる場合、不自然な状況であるとして認証処理を中断するようにしてもよい。このようにすることで、予め用意した複数の顔画像（写真など）を用いて行われるなりすまし攻撃に対処することができる。

また、前記認証手段は、所定の時間内に認証処理が完了しなかった場合に、認証処理を中断することを特徴としてもよい。

所定の時間内に認証処理が完了しなかった場合、正当なユーザ以外が認証を試みていると推定することができる。このような場合、セキュリティの観点から、不自然と判断し、認証処理を中断することが好ましい。

また、前記追跡手段は、前記抽出した領域を追跡する際に、当該領域の近傍にある所定の範囲のみを対象として追跡を行うことを特徴としてもよい。

対象が人間の顔である場合、画像領域内で急激に動くことは考えづらい。そこで、追跡を行う対象の近傍のみを追跡範囲とすることで、追跡にかかる処理コストを低く抑えることができる。

なお、本発明は、上記手段の少なくとも一部を含む顔認証装置として特定することができる。また、本発明は、上記顔認証装置が実行する顔認証方法として特定することもできる。また、本発明は、コンピュータに上記顔認証方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、低い処理コストで信頼性の高い顔認証を行うことができる。

第一の実施形態に係る顔認証装置のシステム構成図である。 人物識別フェーズにおける顔画像の例である。 表情判定フェーズにおける顔画像の例である。 追跡領域を追跡する例を説明する図である。 第一の実施形態における顔認証処理のフローチャート図である。 第二の実施形態における顔画像の例である。 第三の実施形態における顔画像の例である。

（システム構成）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る顔認証装置は、被認証者の顔が含まれる画像（以下、顔画像）を取得し、当該画像に基づいて人物の認証を行う装置である。また、電磁ロックを有するドア装置と接続され、認証をクリアした場合に、当該ドアを開錠する機能を有する。図１は、本実施形態に係る顔認証装置１００のシステム構成図である。

顔認証装置１００は、顔画像取得部１０１、ユーザ識別部１０２、表情判定部１０３、追跡部１０４、通信部１０５、画像生成部１０６、認証部１０７から構成される。

顔画像取得部１０１は、装置正面を向いてマウントされたカメラ３００から、顔画像を取得する手段である。顔画像取得部１０１は、所定のフレームレートで、連続して顔画像を取得することができる。顔画像取得部１０１が取得した顔画像は、ユーザ識別部１０２、表情判定部１０３、追跡部１０４にそれぞれリアルタイムで供給される。
なお、実施形態の説明では、連続して取得される顔画像のうちの一枚という意味で、フレームという語を用いるが、フレームと顔画像は等価である。

ユーザ識別部１０２は、顔画像取得部１０１が取得した顔画像に含まれる顔を検出し、当該顔に基づいて人物を識別する手段である。具体的には、顔画像から、顔に対応する領域を抽出し、当該顔の特徴量を取得する。そして、予め記憶された特徴量との対比を行い、特徴量の一致度（類似度）に基づいて人物を識別する。

表情判定部１０３は、顔画像取得部１０１が取得した顔画像に基づいて、表情に関する値（以下、顔パラメータ）を取得する手段である。顔パラメータとは、喜び、怒り、悲しみ、驚き、恐怖、嫌悪、無表情などの度合いを値で表したものである。表情の度合いを値で取得する方法については、例えば、特開２００６−１１５４０６号公報等に開示されているため、詳細な説明は省略する。

追跡部１０４は、顔画像取得部１０１が取得した複数の顔画像間で、当該顔画像中に設定した領域（以下、追跡領域）を追跡する手段である。追跡領域とは、顔に含まれる器官（例えば、鼻や目）に対応する領域であり、第一の実施形態では、被認証者の右目が含まれる領域とする。

追跡部１０４は、入力された複数の顔画像間で、追跡領域を最後まで追跡できたか、あるいは途中で見失ったかを判定する。全フレームにわたって追跡が成功したということは、複数の顔画像を撮像している間、被認証者の顔がカメラ３００の前に存在し続けているということを意味し、追跡が失敗したということは、途中で被認証者の顔がカメラの前か
ら離れたことを意味する。本実施形態では、このように、追跡部１０４が追跡を行うことで、認証フェーズ中に、被認証者の顔が継続して装置の前に存在していることを確認する。

通信部１０５は、装置外部と通信を行うインタフェースである。本実施形態では、有線接続されたドア装置２００に対して開錠信号を送信することでドアを開放する。
画像生成部１０６は、カメラ３００と並んで配置されたディスプレイ４００に対して出力する画像を生成する手段である。画像生成部１０６は、顔画像取得部１０１が取得した画像と、被認証者に対する指示（例えば、特定の表情をするよう求める指示）を含んだ画像を生成し、当該画像を、ディスプレイ４００を通して被認証者に提供する。
認証部１０７は、顔画像取得部１０１、ユーザ識別部１０２、表情判定部１０３、追跡部１０４、通信部１０５、画像生成部１０６の動作をそれぞれ制御し、被認証者に対する最終的な認証を行う手段である。詳細な処理内容については後述する。

なお、顔画像取得部１０１、ユーザ識別部１０２、表情判定部１０３、追跡部１０４、画像生成部１０６、認証部１０７は、専用に設計されたハードウェアであってもよいし、ソフトウェアモジュールであってもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

（認証処理の概要）
次に、顔認証装置１００が行う認証処理の概要について説明する。図２に示した画像２０は、画像生成部１０６が生成し、認証を行っている間にディスプレイ４００に表示される画像である。当該画像は、顔画像取得部１０１が取得した被認証者の顔画像を含む画像である。
顔認証装置１００が行う認証処理は、顔画像に基づいて人物を識別するフェーズと、当該人物の表情が所定の条件を満たしたことを判定するフェーズに分けることができる。

<人物識別フェーズ>
まず、顔画像に基づいて人物を識別するフェーズについて説明する。ここで説明するフェーズを、人物識別フェーズと称する。人物識別フェーズは、ユーザ識別部１０２が、以下の各ステップを実行することで行う。

（１）顔領域の検出
ユーザ識別部１０２が、顔画像取得部１０１から顔画像を取得すると、まず、当該顔画像から人の顔が含まれる領域（顔領域）を検出する。図２の例では、符号２１が検出した顔領域である。顔領域の検出は、例えば、テクスチャ情報を用いたパターンマッチングや、顔全体の輪郭に対応したテンプレートを用いたテンプレートマッチングによって行うことができる。この他、顔を構成する器官に基づいたテンプレートマッチングを行ってもよいし、顔の一部を表す領域または点を抽出し、抽出結果に基づいて顔領域を判定してもよい。この他にも、顔画像中の肌色領域を検出することで顔領域を判定してもよい。顔領域を検出する処理は、既知のどのような方法によって行われてもよい。

（２）特徴点の配置
次に、ユーザ識別部１０２が、検出した顔領域に、複数の特徴点を配置する。特徴点は、例えば、顔の器官（例えば、目、鼻、鼻孔、口、眉、顎、額など）の位置に基づいて配置される。そのため、ユーザ識別部１０２は、まず、顔領域から、対象の器官を検出する。検出対象の器官は、予め設定されたものであってもよいし、動的に決定してもよい。
そして、検出した器官の位置に基づいて、特徴点を配置する。なお、特徴点は、器官に近いほど密に、離れるほど粗に配置することが好ましい。また、特徴点の配置方法は、被
認証者の年代や性別ごとに異なるものを用いてもよい。

（３）特徴量の取得
次に、配置した特徴点に基づいて、特徴量を算出する。特徴量は、例えば、ガボールフィルタなどのフィルタ処理によって得られた値をもとに算出することができる。

（４）人物の識別
次に、取得した特徴量と、予め記憶された特徴量を比較することで、顔画像に含まれる人物の識別を行う。特徴量を取得する方法と、比較を行う方法については、公知のものを利用すればよいため、詳細な説明は省略する。
なお、本例では、顔を検出した後で、特徴点を配置し、当該特徴点を用いて特徴量を算出したが、他の方法によって人物の識別を行ってもよい。例えば、上記（１）で取得した顔領域から、直接特徴量を算出し、人物の識別を行うようにしてもよい。

<表情判定フェーズ>
次に、顔画像に基づいて、被認証者が、所定の表情をしたことを判定するフェーズについて説明する。ここで説明するフェーズを、表情判定フェーズと称する。本実施形態では、表情判定部１０３が、顔パラメータを取得し、当該顔パラメータに基づいて判定を行う。顔パラメータとは、特定の表情の度合いを示す値であり、本実施形態では、喜びの度合いを、０〜１００の範囲で表す値であるものとする。

前述したような、人物識別フェーズを実行しただけでは、顔画像に含まれる顔が、正当な人物の顔であることは識別できても、当該人物が本当にカメラの前にいるかを正確に判定することが難しい。例えば、なりすましを試みている人物（なりすまし者）が顔写真をかざした可能性を完全に排除することができない。そこで、本実施形態では、表情判定部１０３が、以下に説明する処理を実行することで、顔パラメータをさらに取得し、被認証者が、条件に一致する表情をしたことを確認する。

顔パラメータの取得は、ユーザ識別部１０２が行った処理と同様に、表情判定部１０３が、顔画像に特徴点を配置し、特徴量を取得することで行う。ただし、取得する特徴量は、個人を識別するための特徴量ではなく、表情を識別するための特徴量であるという点において相違する。
また、特徴点の配置方法も、表情の識別に特化した配置方法となる。例えば、個人を認証する場合、個人差の生じやすい器官（例えば両目、鼻、口など）を中心に特徴点を配置するが、顔パラメータを取得する場合、表情変化の生じやすい器官（例えば、両目、眉、頬、額、口元など）などを中心に特徴点を配置する。
なお、本例では、人物の識別と同様に、特徴点を配置し、当該特徴点を用いて特徴量を算出したが、他の方法によって顔パラメータを取得してもよい。例えば、取得した顔領域から、直接特徴量を算出し、顔パラメータを取得するようにしてもよい。

また、表情判定部１０３は、予め記憶された、表情ごとの特徴量と比較を行うことで、顔パラメータを算出する。例えば、予め設定された「喜び」という表情の特徴量との一致度（類似度）が８５％であった場合、「喜び：８５％」という顔パラメータが算出される。そして、算出された顔パラメータが、事前に設定された条件を満たすか否かを判定する。例えば、「喜び≧８０％」という条件が事前に設定されていた場合、条件を満たすと判定される。

なお、本実施形態では、顔パラメータとして「喜び」を表す値を用いたが、顔パラメータは、他の表情に関連付いた値であってもよい。例えば、「怒り」「悲しみ」「驚き」「恐怖」「嫌悪」「無表情」といったものを採用してもよい。また、前述した複数の表情と
の一致度をそれぞれ算出し、当該複数の値を持ったベクトルを、顔パラメータとして出力するようにしてもよい。

以上に説明した、表情判定フェーズは、人物識別フェーズに引き続いて実行される。例えば、図２のように、無表情の状態の顔画像を取得し、人物を識別した後で、図３のように、特定の表情をするように促し、表情の判定を行う。

<追跡領域を追跡する処理>
次に、追跡部１０４が行う追跡処理について説明する。
以上に説明した二つのフェーズによると、顔画像に基づいて個人を識別することができ、取得した顔パラメータに基づいて、被認証者が所定の表情をしていることを判定することができる。すなわち、写真ではなく、人間がカメラの前にいることを推定することができる。
しかし、なりすまし者が、表情の異なる複数枚の写真をカメラにかざした場合、正当な人物であると装置が誤認してしまうおそれがある。そこで、本実施形態に係る顔認証装置は、人物識別フェーズで用いた顔画像と、表情判定フェーズで用いた顔画像との間で取得したフレームを用いて、両者に連続性があるか否かを判定する。

この点について詳しく説明する。
被認証者が実際にカメラの前にいる場合、人物識別フェーズで用いた顔画像と、表情判定フェーズで用いた顔画像との間で取得したフレームには、全て当該人物の顔が映っている。一方、写真などの手段を用いた場合、写真を取り替える際に顔がフレームアウトする。
そこで、追跡部１０４が、人物識別フェーズが開始されてから、表情判定フェーズが終了するまで、顔画像取得部１０１から供給される複数の顔画像を監視し、被認証者の顔が画像内にとどまり続けているか否かを判定する。

図４は、追跡部１０４が行う処理を説明する図である。図４（Ａ）が、人物識別フェーズを開始した際に取得した顔画像（以下、第一の顔画像）であり、図４（Ｃ）が、表情判定フェーズを開始した際に取得した顔画像（以下、第二の顔画像）である。また、図４（Ｂ）が、各フェーズの中間で取得した顔画像（以下、中間顔画像）である。被認証者は、指示に基づいて徐々に笑顔を作るため、図４（Ｂ）の顔画像における「喜び」の値は、０％と８５％の中間値となる。

追跡部１０４は、第一の顔画像を取得すると、画像中に追跡領域を設定する。追跡領域とは、画像中における顔の存在を追跡するための領域であり、本実施形態では、被認証者の右目を含む矩形領域である。追跡部１０４は、対象の器官（右目）を抽出したのちに、追跡領域を設定する。
なお、対象の器官は、対応するテンプレートを用いたテンプレートマッチングによって抽出することができる。この他にも、検出した顔領域に基づいて、対象の器官の位置を判定してもよい。対象の器官を検出する処理は、既知のどのような方法によって行われてもよい。本例では、図４中の符号４１が、設定された追跡領域である。
なお、本例では、被認証者の顔に含まれる器官に対応する領域を追跡領域としたが、追跡領域は、器官に対応する領域でなくてもよい。例えば、顔全体に対応する領域（例えば、顔全体を包含する矩形領域）を追跡領域としてもよい。

また、追跡部１０４は、顔画像取得部１０１から顔画像が供給されるごとに、設定した追跡領域の位置を追跡する。例えば、追跡領域を設定した際に、対応する画像を切り出し、当該画像をテンプレートとして、テンプレートマッチングを行う。なお、テンプレートマッチングを行う際は、直前のフレームにおける追跡領域の位置を中心とする所定の範囲
（例えば、符号４２で示した範囲）を探索範囲とするとよい。顔認証中に、被認証者の顔が大きく移動することは考えにくいため、このようにすることで、探索コストを抑えることができる。
最終的に、追跡部１０４は、表情判定フェーズが終了するまで追跡を継続し、全てのフレームにおいて、追跡領域の存在が確認できた場合に、「追跡成功」と判定する。また、追跡領域を見失ったフレームがある場合、「追跡失敗」と判定する。

図４の例では、三枚の顔画像のいずれにおいても、追跡領域４１の存在を確認できるため、追跡成功と判定される。すなわち、本実施形態に係る顔認証装置は、
（１）顔画像に含まれる顔が、正当な人物のものであると識別されたこと
（２）当該人物の表情が条件を満たしていること
（３）上記（１）が開始してから上記（２）が終了するまで、追跡領域の追跡に成功したこと
の三つを全て満たした場合に、認証成功と判定し、ドア装置２００の開錠を行う。上記のいずれかが満たされていない場合、開錠は行わない。

<処理フローチャート>
以上に説明した処理を実現するための処理フローチャートを説明する。
図５は、本実施形態に係る顔認証装置１００が実行する処理のフローチャートである。当該フローチャートの実行は、被認証者がカメラ３００の前に立ったことを検出すると開始され、認証部１０７によって制御される。

まず、ステップＳ１１で、ユーザ識別部１０２が、顔画像取得部１０１から配信された顔画像（第一の顔画像）を取得する。
次に、ステップＳ１２で、ユーザ識別部１０２が、前述した処理によって、当該第一の顔画像から特徴量を取得する。
次に、ステップＳ１３で、取得した特徴量と、ユーザ識別部１０２に予め記憶された、複数人の顔に対応する特徴量とを比較し、一致度（類似度）に基づいて、人物の識別を行う。この結果、登録されている人物であると判定された場合、処理はステップＳ１４へ遷移する。登録されていない人物であると判定された場合、画像生成部１０６を介してその旨を被認証者に通知し、処理はステップＳ１１へ戻る。

ステップＳ１４では、追跡部１０４が、顔画像取得部１０１から配信された第一の顔画像から、右目に対応する領域を抽出し、追跡領域として設定する。
次に、ステップＳ１５で、表情判定部１０３および追跡部１０４が、顔画像取得部１０１から配信された第二の顔画像を取得する。
次に、ステップＳ１６で、追跡部１０４が、直前のフレームと、ステップＳ１５で取得したフレームを比較し、追跡領域を追跡する。すなわち、抽出した右目領域が双方に含まれているか否かを確認する。この結果、追跡に成功した場合（ステップＳ１７−Ｙｅｓ）、処理はステップＳ１８へ遷移する。フレーム間で追跡に失敗した場合（ステップＳ１７−Ｎｏ）、すなわち、被認証者の右目を見失った場合、画像生成部１０６を介してその旨を被認証者に通知し、処理はステップＳ１１へ戻る。

ステップＳ１８では、表情判定部１０３が、第二の顔画像から特徴量を取得し、前述した処理によって、顔パラメータを取得する。
次に、ステップＳ１９で、表情判定部１０３が、取得した顔パラメータが、既定の条件を満たしているか否かを判定する。例えば、「喜び」を表す値が８０％以上であることが条件であった場合、顔パラメータに含まれる当該値を参照し、８０％以上である場合に、条件をクリアしたと判定し、ステップＳ２０へ遷移する。条件を満たしていなかった場合、ステップＳ１５へ遷移し、第二の顔画像の取得を続ける。
最終的に、ステップＳ２０では、認証部１０７が、通信部１０５を経由して開錠命令をドア装置２００に送信し、ドアの鍵が開放される。

従来の顔認証装置では、一回ないし複数回の顔認証処理を行うことで、被認証者の正当性を確認しているため、コストと信頼性のトレードオフの問題があった。すなわち、一回の認証では、不正に認証を通過されてしまうおそれがあり、これを防ぐために複数回の認証を行うと、処理コストが上昇するという問題があった。

これに対し、本実施形態に係る顔認証装置は、通常の顔認証処理に加え、表情が所定の条件を満たしていることを判定する。また、顔画像中に局所領域を設定して追跡を行うことで、双方の処理対象が同一の顔であることを確認する。これにより、写真などを用いた不正な試行を排除することができる。例えば、本人以外の人物が、顔写真などを用いて装置を欺こうとした場合であっても、一枚の顔写真では、指定された顔パラメータに合致する顔を提供することができない。仮に、二枚以上の顔写真を用意していたとしても、写真を差し替える際に、追跡中の領域がフレームアウトするため、追跡が失敗する。
加えて、表情を判定する処理は、個人を識別する処理ほど高い精度を必要としない。すなわち、コストのかかる処理を最小限に抑え、かつ、信頼性の高い顔認証技術を提供することができる。

なお、第一の実施形態では、追跡領域を完全に見失った場合に追跡失敗と判定したが、フレーム間で追跡領域を追跡できた場合であっても、その移動量が所定の閾値よりも大きい場合、追跡失敗と判定してもよい。追跡領域が、フレーム間で不自然なほど大きく動いている場合、なりすまし者が、写真等をすり替えようとしていることが推定できるためである。

（第二の実施形態）
第一の実施形態では、表情判定フェーズにおいて、指定した表情を被認証者に作らせ、顔パラメータによって表情の判定を行った。これに対し、第二の実施形態は、被認証者に複数の表情を作らせ、全てクリアした場合に、認証成功と判断する実施形態である。
第二の実施形態に係る顔認証装置の構成は、第一の実施形態と同様であるため、詳細な説明は省略し、処理の相違点のみを説明する。

第二の実施形態では、ステップＳ１５〜ステップＳ１９の処理を複数回繰り返し、例えば、一回目は笑顔、二回目は怒り顔といったように、繰り返しごとに異なる表情を被認証者に作らせ、表情判定部１０３がこれを判定する。
図６は、第二の実施形態において、被認証者に提示される画面の例である。図６（Ａ）は、人物識別フェーズが完了した状態の画面である。ここでは、笑顔を作るように被認証者に指示を行い、ステップＳ１９において、「喜び」に対応する所定の顔パラメータが得られたことを確認する。また、二回目のループでは、図６（Ｂ）に示したように、怒り顔を作るように被認証者に指示を行い、ステップＳ１９において、「怒り」に対応する所定の顔パラメータが得られたことを確認する。最終的に、図６（Ｃ）のように、認証が成功した状態となる。

なお、追跡部１０４が行う追跡動作は、第一の実施形態と同様である。すなわち、表情判定フェーズが完了するまで、フレーム間における追跡領域の追跡を続け、追跡領域を見失った場合、認証処理を中断させる。

第二の実施形態によると、指定された複数の表情を被認証者に作らせるため、セキュリティをより強固なものにすることができる。

なお、前述した説明では、認証における時間制限は設けなかったが、認証処理を開始してから所定の時間が経過するまでに認証が完了しなかった場合、認証失敗として処理を中断するようにしてもよい。

また、フレームごとの顔パラメータの変化の度合いを取得し、顔パラメータの変化量が所定の閾値よりも大きい場合、認証失敗と判定してもよい。顔パラメータが、フレーム間で不自然なほど大きく変動している場合、なりすまし者が、写真等をすり替えようとしていることが推定できるためである。

また、第二の実施形態では、「喜び」という表情と、「怒り」という表情を続けて作らせる例を挙げたが、他の表情の組み合わせを用いてもよい。また、複数の表情の中から、使用する表情をその都度ランダムに決定し、被認証者に指示するようにしてもよい。

（第三の実施形態）
第一ないし第二の実施形態では、表情判定部１０３が、被認証者の表情を判定した。これに対して第三の実施形態は、表情を判定するかわりに、被認証者の顔の向きを判定する実施形態である。
第三の実施形態では、表情判定部１０３が、顔向き判定部１０８（不図示）に置き換わり、被認証者の顔の向きを判定する。また、第三の実施形態では、顔パラメータは、被認証者の表情に関するパラメータではなく、被認証者の顔の向きを表すパラメータとなる。例えば、正面を０度とした場合の、上下左右の角度を表したものである。他の手段については、第一の実施形態と同様であるため、詳細な説明は省略し、処理の相違点のみを説明する。

第三の実施形態では、ステップＳ１８で、被認証者の表情を判定するかわりに、被認証者の顔の向きが所定の方向を向いていることを判定する。例えば、図７に示したように、右４５度方向を向く指示を行ったうえで、被認証者の顔の向きが、所定の範囲（例えば、右３５度〜５５度の範囲）にあるかを判定する。

追跡部１０４が行う追跡動作は、第一の実施形態と同様である。すなわち、表情判定フェーズが完了するまで、フレーム間における追跡領域の追跡を続け、追跡領域を見失った場合、認証処理を中断させる。ただし、第三の実施形態では、被認証者の顔の向きが変化するため、当該変化を考慮して追跡領域を設定することが好ましい。例えば、鼻など、顔の向きが変化しても見失うおそれが低い器官に追跡領域を設定するとよい。なお、追跡領域は、顔に含まれる器官以外に対応する領域であってもよい。例えば、顔全体を包含する矩形領域などであってもよい。

一般的に、顔の向きを判定する処理は、人物や表情を識別する処理よりも低い処理コストで実行することができる。このため、第三の実施形態によると、第一ないし第二の実施形態と同様に、全体的な処理コストを低減させることができる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、複数の中間画像を用いて追跡領域を追跡する例を挙げたが、中間画像は必ずしも用いる必要はない。

また、実施形態の説明では、７種類の表情（喜び、怒り、悲しみ、驚き、恐怖、嫌悪、無表情）を例示したが、例示した表情以外に関連付いた顔パラメータを用いてもよい。例えば、目つぶりの度合いや視線の方向、口の開閉の度合いなどを示す顔パラメータを用い
てもよい。
また、実施形態の説明では、表情を数値化したものと、顔の向きを数値化したものを顔パラメータの例として挙げたが、ユーザの顔の外観に関連する他のパラメータを採用することもできる。

また、第一および第二の実施形態では、特定の表情を作るように被認証者に指示する例を挙げたが、どのような表情を作ればよいのかを被認証者が予め把握している場合は、具体的な指示を行わないようにしてもよい。例えば、「笑顔」「怒り」といった具体的な表情を指示せず、予め定められた表情を確認したことのみを通知するようにしてもよい。また、このような場合は、画像を被認証者に提供しなくてもよい。例えば、ランプや音声によって、認証ステップが進んでいることのみを通知してもよい。
また、認証が成功するまで通知を全く行わないようにしてもよい。このように、正当な人物以外にヒントを与えないようにしてもよい。

また、実施形態の説明では、カメラを用いて顔画像を取得したが、顔画像を取得することができれば、カメラ以外を用いてもよい。例えば、ネットワーク経由で遠隔地から顔画像を取得する構成としてもよい。
また、実施形態の説明では、顔に含まれる器官を追跡領域としたが、追跡の対象は、器官以外であってもよいし、顔画像中に設定された特徴点などであってもよい。被認証者の顔が継続して存在することを確認できれば、追跡の対象はどのように設定してもよい。

１００ 顔認証装置
１０１ 顔画像取得部
１０２ ユーザ識別部
１０３ 表情判定部
１０４ 追跡部
１０５ 通信部
１０６ 画像生成部
１０７ 認証部
２００ ドア装置

Claims (11)

1. ユーザの顔画像を連続して取得する顔画像取得手段と、
   前記顔画像取得手段が取得した第一の顔画像に基づいて前記ユーザを識別するユーザ識別手段と、
   前記顔画像取得手段が取得した第二の顔画像に基づいて、前記ユーザの表情または顔の向きに関連したパラメータである顔パラメータを取得するパラメータ取得手段と、
   前記第一の顔画像に含まれる顔の一部の領域を抽出し、当該領域を、連続して取得した複数の顔画像間で追跡する追跡手段と、
   前記ユーザ識別手段が識別したユーザが登録されたユーザであり、かつ、前記取得した顔パラメータが所定の条件を満たし、かつ、前記複数の顔画像間で前記抽出した領域を連続して追跡できた場合に、認証成功と判断する認証手段と、
   を有することを特徴とする、顔認証装置。
2. 前記顔画像取得手段は、前記第一の顔画像の取得タイミングと、前記第二の顔画像の取得タイミングとの間において、一つ以上の中間顔画像をさらに取得し、
   前記追跡手段は、前記中間顔画像をさらに用いて前記抽出した領域を追跡する
   ことを特徴とする、請求項１に記載の顔認証装置。
3. 前記第二の顔画像は、異なるタイミングで取得した複数の顔画像からなり、
   前記パラメータ取得手段は、当該複数の顔画像にそれぞれ対応する複数の顔パラメータをさらに取得し、
   前記認証手段は、前記取得した複数の顔パラメータがそれぞれ所定の条件を全て満たした場合に、認証成功と判断する
   ことを特徴とする、請求項１または２に記載の顔認証装置。
4. 前記顔パラメータは、ユーザの表情を数値化したパラメータである
   ことを特徴とする、請求項１から３のいずれかに記載の顔認証装置。
5. 前記顔パラメータは、ユーザの顔の向きを数値化したパラメータである
   ことを特徴とする、請求項１から３のいずれかに記載の顔認証装置。
6. 前記認証手段は、前記顔パラメータの単位時間あたりの変化量をさらに取得し、前記変化量が所定の値よりも大きい場合に、認証処理を中断する
   ことを特徴とする、請求項１から５のいずれかに記載の顔認証装置。
7. 前記追跡手段は、追跡対象の領域の単位時間あたりの移動量をさらに取得し、前記移動量が所定の値よりも大きい場合に、追跡失敗と判断する
   ことを特徴とする、請求項１から６のいずれかに記載の顔認証装置。
8. 前記認証手段は、所定の時間内に認証処理が完了しなかった場合に、認証処理を中断する
   ことを特徴とする、請求項１から７のいずれかに記載の顔認証装置。
9. 前記追跡手段は、前記抽出した領域を追跡する際に、当該領域の近傍にある所定の範囲のみを対象として追跡を行う
   ことを特徴とする、請求項１から８のいずれかに記載の顔認証装置。
10. 顔認証装置が行う顔認証方法であって、
    ユーザの顔画像を連続して取得する顔画像取得ステップと、
    取得した第一の顔画像に基づいて前記ユーザを識別する顔認証ステップと、
    取得した第二の顔画像に基づいて、前記ユーザの表情または顔の向きに関連したパラメータである顔パラメータを取得するパラメータ取得ステップと、
    前記第一の顔画像に含まれる顔の一部の領域を抽出し、当該領域を、連続して取得した複数の顔画像間で追跡する追跡ステップと、
    前記顔認証ステップにて識別したユーザが登録されたユーザであり、かつ、前記取得した顔パラメータが所定の条件を満たし、かつ、前記複数の顔画像間で前記抽出した領域を連続して追跡できた場合に、認証成功と判断する認証ステップと、
    を含むことを特徴とする、顔認証方法。
11. 請求項１０に記載の顔認証方法の各ステップをコンピュータに実行させるプログラム。

Images