JP7191061B2 - ライブネス検査方法及び装置 - Google Patents

Description

以下の実施形態はライブネス検査及び顔認証技術に関する。

ユーザ認証システム（ｕｓｅｒ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ）において、コンピューティング装置は、ユーザにより提供される認証情報に基づいて当該コンピューティング装置に対するアクセスを許容するか否かを決定することができる。認証情報は、ユーザによって入力されるパスワード又はユーザの生体情報（ｂｉｏｍｅｔｒｉｃ ｉｎｆｏｒｍａｔｉｏｎ）などを含んでいる。生体情報は、指紋（ｆｉｎｇｅｒｐｒｉｎｔ）、紅彩（ｉｒｉｓ）又は顔に関する情報を含む。

近年、ユーザ認証システムのためのセキュリティー方法であって、顔認証なりすまし防止（ｆａｃｅ ａｎｔｉ－ｓｐｏｏｆｉｎｇ）技術に対する関心が増えつつある。顔認証なりすましは、写真、動画又はマスクなどを用いる攻撃形態を有し、顔認証においてこのような攻撃を区別することは重要である。

一実施形態に係るライブネス検査方法は、入力映像から顔領域を検出するステップと、前記顔領域の特性値を測定するステップと、前記測定された特性値が条件を満たしていない場合、前記顔領域の特性値を調整するステップと、前記特性値が調整された顔領域に基づいてライブネス検査を行うステップとを含む。

前記顔領域の特性値を測定するステップは、前記顔領域の色調を測定するステップを含み得る。

前記顔領域の特性値を調整するステップは、前記測定された顔領域の色調が予め設定された範囲に含まれていない場合、前記顔領域の色調を前記予め設定された範囲内に含まれる色調に補正するステップを含み得る。

前記顔領域の特性値を測定するステップは、前記顔領域に示された顔が傾いている程度を示す顔の傾きを測定するステップを含み得る。

前記の顔の傾きを測定するステップは、前記顔領域で、左眼、右眼、及び両側の口元に対応する特徴点を検出するステップと、前記検出された特徴点に基づいて前記の顔の傾きを測定するステップとを含み得る。

前記顔領域の特性値を調整するステップは、前記測定された顔の傾きが予め設定された範囲に含まれていない場合、前記の顔の傾きを補正するステップを含み得る。

前記顔領域の特性値を調整するステップは、前記測定された顔領域のホワイトバランスが予め設定された範囲に含まれていない場合、前記顔領域のホワイトバランスを補正するステップを含み得る。

一実施形態に係るライブネス検査方法は、前記測定された特性値が前記条件を満たす場合、前記特性値の調整なしに前記検出された顔領域に基づいてライブネス検査を行うステップをさらに含み得る。

前記ライブネス検査を行うステップは、ニューラルネットワーク基盤のライブネス検査モデルを用いて前記ライブネス検査を行うステップを含み得る。

一実施形態に係るそれぞれの映像特徴値を有する複数の顔映像で学習されたニューラルネットワークを用いる顔認証方法は、入力映像から顔領域に対する現在の顔映像を抽出するステップと、前記現在の顔映像の現在の映像特徴値を算出するステップと、前記現在の映像特徴値を、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値が有する範囲と比較するステップと、前記現在の映像特徴値が前記範囲から離脱する場合、前記現在の顔映像の映像特徴値が前記範囲に含まれるように前記現在の顔映像を調整するステップと、前記調整された現在の顔映像を前記ニューラルネットワークに入力させるステップとを含む。

前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値のうち、最小映像特徴値と最大映像特徴値に基づいて決定される絶対的な範囲であり得る。

前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値の分布特徴に基づいて決定される統計的な範囲であり、前記分布特徴は、前記映像特徴値の平均と標準偏差を含み得る。

前記ニューラルネットワークは、前記入力映像に示された顔オブジェクトのライブネスを検査するために用いられるニューラルネットワークであり得る。

前記ニューラルネットワークは、前記入力映像に示された顔オブジェクトを認証するために用いられるニューラルネットワークであり得る。

前記現在の映像特徴値を算出するステップは、前記現在の顔映像の色調値を算出するステップを含み、前記現在の顔映像を調整するステップは、前記色調値が前記範囲から離脱する場合、前記現在の顔映像の色調値が前記範囲内に含まれるように前記現在の顔映像の色調値を補正するステップを含み得る。

前記現在の映像特徴値を算出するステップは、前記現在の顔映像に示された顔が傾いている程度を示す顔の傾きを算出するステップを含み、前記現在の顔映像を調整するステップは、前記の顔の傾きが前記範囲から離脱する場合、前記の顔の傾きが前記範囲に含まれるように前記現在の顔映像の顔領域を回転させるステップを含み得る。

前記現在の映像特徴値を算出するステップは、前記現在の顔映像に示された顔領域のホワイトバランスを算出するステップを含み、前記現在の顔映像を調整するステップは、前記ホワイトバランスが前記範囲から離脱する場合、前記ホワイトバランスが前記範囲に含まれるように前記現在の顔映像のホワイトバランスを補正するステップを含み得る。

一実施形態に係る装置は、１つ以上のプロセッサを含み、前記１つ以上のプロセッサは、入力映像から顔領域を検出し、前記顔領域の特性値を測定し、前記測定された特性値が条件を満たしていない場合、前記顔領域の特性値を調整し、前記特性値が調整された顔領域に基づいてライブネス検査を行う。

前記１つ以上のプロセッサは、前記顔領域の色調を測定し、前記測定された顔領域の色調が予め設定された範囲に含まれていない場合、前記顔領域の色調を前記予め設定された範囲内に含まれる色調に補正し得る。

前記１つ以上のプロセッサは、前記顔領域に示された顔が傾いている程度を示す顔の傾きを測定し、前記測定された顔の傾きが予め設定された範囲に含まれていない場合、前記の顔の傾きを補正し得る。

前記１つ以上のプロセッサは、前記顔領域のホワイトバランスを測定し、前記測定された顔領域のホワイトバランスが予め設定された範囲に含まれていない場合、前記顔領域のホワイトバランスを補正し得る。

前記１つ以上のプロセッサは、前記測定された特性値が前記条件を満たす場合、前記特性値の調整なしに前記検出された顔領域に基づいてライブネス検査を行う。

一実施形態に係るそれぞれの映像特徴値を有する複数の顔映像で学習されたニューラルネットワークを用いる装置は、１つ以上のプロセッサを含み、前記１つ以上のプロセッサは、入力映像から顔領域に対する現在の顔映像を抽出し、前記現在の顔映像の現在の映像特徴値を算出し、前記現在の映像特徴値を、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値が有する範囲と比較し、前記現在の映像特徴値が前記範囲から離脱する場合、前記現在の顔映像の映像特徴値が前記範囲に含まれるように前記現在の顔映像を調整し、前記調整された現在の顔映像を前記ニューラルネットワークに入力させる。

一実施形態によれば、コーナーケースに対してライブネス検査が実行されても、コーナーケースのタイプに対応する前処理過程を介してコーナーケースをライブネス検査モデルの学習過程で多く学習されたケースに切り替える過程を行うことで、コーナーケースへ強靭にライブネス検査を行うことができ、コーナーケースに対してもライブネス検査結果の高い正確度を提供することができる。

一実施形態に係る顔認証及びライブネス検査を説明するための図である。 一実施形態に係る顔認証及びライブネス検査を説明するための図である。 一実施形態に係るライブネス検査方法の動作を説明するためのフローチャートである。 一実施形態に係る顔認証方法の動作を説明するためのフローチャートである。 一実施形態に係る顔認証装置の動作を説明するための図である。 一実施形態に係る絶対的な範囲と統計的な範囲の一例を説明するための図である。 一実施形態に係る色調を調整する前処理過程の一例を説明するための図である。 一実施形態に係る顔の傾きを調整する前処理過程の一例を説明するための図である。 一実施形態に係るライブネス検査方法の一例を説明するための図である。 一実施形態に係るライブネス検査方法の一例を説明するための図である。 一実施形態に係る顔認証装置の構成を示す図である。 一実施形態に係る電子装置の構成を示す図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

また、異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。添付の図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付し、これに対する重複する説明は省略することにする。

顔認証なりすまし防止技術は、コンピューティング装置に入力されたユーザの顔がフェイクの顔（ｆａｋｅ ｆａｃｅ）であるか、そうでなければ本物の顔（ｇｅｎｕｉｎｅ ｆａｃｅ）であるか否かを区別するために用いることができる。このような顔認証なりすまし防止技術は、入力映像からＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ）などのような特徴が抽出され、抽出された特徴に基づいて入力された顔がフェイクの顔であるか否かを判定するステップを含み得る。

図１及び図２は、一実施形態に係る顔認証及びライブネス検査を説明するための図である。

生体認証（ｂｉｏｍｅｔｒｉｃｓ）は、ユーザ認証のための認証技術のうち指紋、紅彩、顔、静脈、皮膚などの個人生体情報を用いる認証技術である。生体認証において顔認証（ｆａｃｅ ｖｅｒｉｆｉｃａｔｉｏｎ）は、認証を試みたユーザの顔情報に基づいて当該ユーザが有効なユーザであるか否かを判断する認証方法である。顔認証は、ユーザログイン、決済サービス、及び出入り規制などで有効なユーザを認証するために用いられる。

図１を参照すると、一実施形態において、電子装置１２０は、顔認証を介して電子装置１２０にアクセスしようとするユーザ１１０に対する認証過程を行うことができる。例えば、ユーザ１１０が電子装置１２０のロック状態を解除しようと電子装置１２０に顔認証を試みるとき、電子装置１２０は、カメラ１３０のようなイメージセンサ又は映像取得装置を用いてユーザ１１０の顔映像を取得し、取得された顔映像を分析して電子装置１００のロック状態を解除するか否かを決定する。一実施形態に係る顔映像を分析する過程は、顔映像から顔領域を検出し、特徴抽出器を用いて顔領域から特徴を抽出する過程を含む。抽出された特徴は、有効なユーザに対する登録特徴と比較し、その比較結果に基づいて顔認証の成功の可否が決定される。顔認証が成功したものと決定された場合、ユーザ１１０は、電子装置１２０のロックモードを確実に解除させることができる。反対に、顔認証が失敗したものと決定された場合、電子装置１２０は、継続的にロックモードで動作することになる。他の例において、ユーザ１１０が電子装置１２０を決済サービスを実行しようと電子装置１２０に顔認証を行う場合、電子装置１２０は、ユーザ１１０の顔映像を取得し、顔映像の分析結果としてユーザ１１０が有効なユーザとして認識された場合には決済要求を承認し、その他の場合は決済要求を拒否する。

一実施形態において、有効なユーザは、顔登録の過程を介して自身の顔を電子装置１２０に予め登録することができ、電子装置１２０は、格納装置又はクラウド記憶媒体（ｃｌｏｕｄ ｓｔｏｒａｇｅ）に当該の有効なユーザを識別するための情報を格納することができる。例えば、有効なユーザの顔映像又は当該の顔映像から抽出された顔特徴が有効なユーザの登録情報として格納される。

一実施形態によれば、上記の顔認証のような生体認証過程において、ライブネス検査（ｌｉｖｅｎｅｓｓ ｔｅｓｔ）が実行される。生体認証結果が決定される以前又は以後にライブネス検査が実行されてもよい。又は、生体認証過程とライブネス検査過程が共に実行されてもよい。ライブネス検査は、検査対象のオブジェクトが生きているオブジェクトであるか否かを検査するものとして、認証手段の真偽を判断するためのものである。例えば、ライブネス検査は、カメラ１３０を用いて撮影された映像に示された顔が人の本物の顔（ｇｅｎｕｉｎｅ ｆａｃｅ）であるか、又はそうでなければフェイクの顔（ｆａｋｅ ｆａｃｅ）であるか否かを検査する。ライブネス検査は、生きていないオブジェクト（例えば、フェイク手段として使用された写真、紙、動画及び模型など）と生きているオブジェクト（例えば、人の本物の顔など）との間を区別するために用いられる。

図２は、一実施形態に係るフェイクの顔２１０と本物の顔２２０の例示を示す。電子装置１２０は、ライブネス検査を介して本物のユーザの顔が撮影された検査対象映像から本物の顔２２０を識別することができる。また、電子装置１２０は、ライブネス検査を介してスマートフォンスクリーンやＰＣスクリーンに表示されたユーザの顔、写真に示されたユーザの顔、紙にプリンティングされたユーザの顔、ユーザの顔をモデリングした模型などが撮影された検査対象映像からフェイクの顔２１０を区別することができる。

有効でないユーザは、スプーフィング技術（ｓｐｏｏｆｉｎｇ ｔｅｃｈｎｉｑｕｅｓ）を用いてユーザ認証システムの誤認証（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ）を誘発するための試みを行う。例えば、顔認証において、有効でないユーザは、誤認証を誘発するために、有効なユーザの顔が示されたカラー写真、動画又は有効なユーザの顔の形状を描写した模型をカメラ１３０に提示する可能性がある。ライブネス検査は、このような写真、動画、マスク又は模型のような代替物を用いた認証の試み（言い換えれば、スプーフィング攻撃）を取り除いて誤認証を防止する役割を果たす。ライブネス検査の結果、認証対象は生きていないオブジェクトであると判断された場合、登録されている対象と比較して一致するか否かを判断するユーザ認証ステップに移動しないか、又は、ユーザ認証の結果とは関係なく、最終的にユーザ認証が失敗したものと決定される。

再び図１を参照すると、電子装置１２０は、実施形態によりライブネス検査及び生体認証のいずれか１つのみを行ったり、又は、ライブネス検査及び生体認証の全てを行ってもよい。電子装置１２０は、例えば、スマートフォン、ウェアラブル機器、タブレットコンピュータ、ネットブック、ラップトップ、デスクトップ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、セットトップボックス、家電機器、生体ドアロック、セキュリティー装置又は車両始動装置などであってもよい。

一実施形態に係るライブネス検査過程において、電子装置１２０は、カメラ１３０によってキャプチャーされた映像に示された様々な要素を総合的に考慮する。例えば、電子装置１２０は、キャプチャーされた映像に示された全体の顔の形状（ｓｈａｐｅ）情報、部分の顔のテクスチャ（ｔｅｘｔｕｒｅ）情報、及びコンテキスト情報のうち少なくとも１つを考慮して、検査対象であるオブジェクトが生きているか否かを決定することができる。オブジェクトが遠距離にあるとき、撮影された映像には、オブジェクトがディスプレイ装置の画面であるか又は紙であるかに対する手掛かりが含まれることがある。例えば、ディスプレイ装置又は紙を持っているユーザの手が映像に示され、これはオブジェクトがフェイクであると判断できる手掛かりになり得る。コンテキスト情報を考慮することで、このようなフェイクの際にも状況を効率よく検査することができる。また、全体の顔の形状情報を用いて、光の反射及び形状の歪みなどがライブネス検査結果に考慮され得る。例えば、フェイク手段の１つである写真又は紙の光反射は、人の本物の顔とは異なり、写真又は紙の曲げ又はしわによって形の歪みが発生する可能性がある。このような要素を考慮してライブネス検査が行われる。そして、テクスチャ情報を用いて、人の皮膚と紙／ディスプレイ装置の画面の間を区分することのできる微細なテクスチャの差が考慮され得る。そのため、電子装置１２０は、様々なレベルのライブネス判断要素を総合的に考慮することで、ライブネス検査の正確度を向上させ、ライブネス検査を強靭に行うことができる。

上記のようなライブネス検査過程や顔認証過程でニューラルネットワークを用いることができる。ニューラルネットワークがライブネス検査過程で用いられる場合、ニューラルネットワークは、入力されたデータに基づいて検査対象が本物の顔又はフェイクの顔に該当する数値、確率値、又は特徴値を示すライブネススコアを提供することができる。ニューラルネットワークが顔認証の過程において用いられる場合、ニューラルネットワークは、入力されたデータに基づいて特徴値を提供することができる。

上記のようなニューラルネットワークは、学習（ｔｒａｉｎｉｎｇ）過程を介してニューラルネットワークを形成するパラメータが決定される。学習過程においては、複数の学習データと各学習データに対応する好ましい目的値（ｄｅｓｉｒｅｄ ｖａｌｕｅ）が存在する。学習過程において、ニューラルネットワークは、学習データが入力され、パラメータに基づいた算出過程を介して学習データに対応する結果値を出力する。出力された結果値と目的値との間の差による損失が算出され、当該損失が減少するようにニューラルネットワークを構成するパラメータを調整することで、ニューラルネットワークが学習される。複数の学習データのそれぞれに対してこの過程を繰り返し行うことで、ニューラルネットワークのパラメータは次第に好ましい方向に調整されることができる。

学習過程では、一般的にニューラルネットワークが様々なケースを学習するよう、学習データを多様に構成するが、学習データを介して全てのケースを取り扱うには限界がある。そのため、実際にライブネス検査や顔認証においては、学習過程で学習されていないケース及び珍しく学習されたケース（以下、「コーナーケース（ｃｏｒｎｅｒ ｃａｓｅ）」と称する）を処理しなければならない場合が発生することがある。このような場合、当該コーナーケースに対する学習が十分に進行されていないめ、コーナーケースに対する処理結果の正確度は低くなる。

また、コーナーケースに該当する学習データは、一般的なケースに該当する学習データに比べて相対的にその数が少なく、場合に応じて、コーナーケースに該当する学習データで学習を向上する場合、ニューラルネットワークの性能が低下する問題が生じ得る。コーナーケースに該当する学習データまで実際の学習過程において用いる場合、学習データのデータ変動が大きくなり、ニューラルネットワークが目的とする結果値を出力するよう学習させることが困難になりかねない。

以下で説明する実施形態によれば、上記のようなコーナーケースに対してライブネス検査又は顔認証が実行されても、コーナーケースのタイプに対応する前処理過程を介してコーナーケースをニューラルネットワークの学習過程において多く学習されたケースに切り替える過程を行うことで、コーナーケースへ強靭にライブネス検査及び顔認証を行うことができ、コーナーケースに対する処理結果の正確度を改善させることができる。

図３は、一実施形態に係るライブネス検査方法の動作を説明するためのフローチャートである。ライブネス検査方法は、顔認証装置によって実行される。

図３を参照すると、ステップＳ３１０において、顔認証装置は、入力映像から顔領域を検出する。入力映像は、顔認証装置に入力される映像であり、ライブネス検査の対象となる映像である。入力映像は、例えば、デジタルスチールカメラ、ビデオカメラのような映像取得装置によって取得されてもよい。映像取得装置は、顔認証装置に含まれてもよいし、又は顔認証装置の外部に存在してもよい。

一実施形態に係る顔認証装置は、入力映像から顔領域を検出のためのニューラルネットワーク、ハール基盤のカスケードアダブースト分類器（Ｈａａｒ－ｂａｓｅｄ ｃａｓｃａｄｅ ａｄａｂｏｏｓｔ ｃｌａｓｓｉｆｉｅｒ）、又はＶｉｏｌａ－Ｊｏｎｅｓ検出器などを用いて顔領域を検出することができる。ただし、実施形態の範囲がこれに限定されることなく、顔認証装置は、様々な顔領域検出方式を用いて入力映像から顔領域を検出することができる。例えば、顔認証装置は、入力映像から顔のランドマーク（ｆａｃｉａｌ ｌａｎｄｍａｒｋｓ）を検出し、検出されたランドマークを含むバウンディンフ（ｂｏｕｎｄｉｎｇ）領域を顔領域として検出してもよい。

ステップＳ３２０において、顔認証装置は、顔領域の特性値（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）を測定する。特性値は、顔領域の映像特徴や顔領域に示された顔オブジェクトや映像関連の特徴を示す値である。例えば、顔認証装置は、顔領域の色調（ｈｕｅ）、顔領域に示された顔が傾いている程度を示す顔の傾き、顔領域のホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｅ）、明度、ガンマ（Ｇａｍｍａ）などの特性値を測定する。顔認証装置は、様々な特性値のうち１つ以上を測定する。

顔領域の色調、ホワイトバランス、明度、ガンマなどの特性値は、映像の画質を評価する映像画質評価方式などを用いて測定される。

顔の傾きの場合、顔認証装置は、顔領域において左眼、右眼、及び両側の口元に対応する特徴点を検出し、検出された特徴点に基づいて顔の傾きを測定する。一実施形態において、顔認証装置は、左眼及び右眼の特徴点の間の第１中間点と、両側の口元に対応する特徴点の間の第２中間点を経由する直線と基準線（例えば、垂直線又は水平線）がなしている角度に基づいて顔の傾きを測定する。

ステップＳ３３０において、顔認証装置は、測定された特性値が条件を満たしているか否かを判断する。一実施形態において、顔認証装置は、入力映像の顔領域に対して算出された特性値がニューラルネットワーク基盤のライブネス検査モデルの学習に利用された顔映像の特性値範囲に含まれているか否かを判断する。学習に利用された顔映像は、各々に対応する特性値（又は、特徴値）を有し、当該顔映像の特性値に基づいて特性値範囲が決定される。特性値範囲は、顔映像の映像特徴値のうち最小映像特徴値と最大映像特徴値との間の範囲で定義される絶対的な範囲や、又は、顔映像の映像特徴値の分布特徴（例えば、平均と標準偏差）によって決定される統計的な範囲であり得る。統計的な範囲の場合、定義される基準により絶対的な範囲よりも広いか狭いこともある。例えば、統計的な範囲は、顔映像の特性値の平均を中心に両側にＮ（自然数）標準偏差の範囲を有してもよく、Ｎの大きさに応じて統計的な範囲は絶対的な範囲よりも狭くてもよく、広くてもよい。

一実施形態では、特性値が顔領域の色調である場合、顔認証装置は、色調のＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、Ｂ（ｂｌｕｅ）要素のうちの１つ以上が予め設定された範囲に含まれているか否かを判断する。特性値が顔の傾きである場合、顔認証装置は、顔の傾きが予め設定された顔の傾き範囲内に含まれているか否かを判断する。特性値がホワイトバランス、明度、又はガンマである場合、顔認証装置は、当該特性値が予め設定された範囲内に含まれているか否かを判断する。上記の条件は、ライブネス検査の前に設定された条件であってもよく、実施形態により当該条件は中間に変更されてもよい。

顔領域の特性値が条件を満たしていない場合、ステップＳ３４０において、顔認証装置は、顔領域の特性値を調整する。一実施形態において、顔認証装置は、入力映像の顔領域に対して測定される特性値がライブネス検査モデルの学習に利用された顔映像の特性値範囲に含まれるよう、顔領域の特性値を調整する。ここで、特性値範囲は、絶対的な範囲又は統計的な範囲であり得る。顔領域の特性値が当該の特性値範囲に含まれていないことは、現在のライブネス検査対象である入力映像がコーナーケースであることを意味する。この場合に、顔認証装置は、入力映像の顔領域の特性値が学習に利用された顔映像の特性値範囲に含まれるよう顔領域に前処理を行うことで、ライブネス検査結果の正確度を高めることができる。

一実施形態では、測定された顔領域の色調が予め設定された範囲に含まれていない場合、顔認証装置は、顔領域の色調を予め設定された範囲内に含まれている色調に補正することができる。顔認証装置は、顔領域に色調補正モデルを適用することで顔領域の色調を補正し得る。色調補正モデルは、例えば、顔領域の色調を学習映像が有する平均色調に切り替える機能を行う。色調補正によって顔領域の色分布（ＲＧＢ成分の分布）が学習映像の色分布と同様に変わり得る。

異なる例として、測定された顔の傾きが予め設定された範囲に含まれていない場合、顔認証装置は顔の傾きを補正してもよい。顔認証装置は、測定された顔の傾きに基づいて入力映像の顔領域を回転させることで顔の傾きを補正することができる。顔認証装置は、顔の傾きが予め設定された範囲内に含まれるよう、顔領域を特定の角度だけ回転させることができる。

更なる例として、測定された顔領域のホワイトバランス、明度及び／又はガンマが予め設定された範囲に含まれていない場合、顔認証装置は、顔領域のホワイトバランス、明度及び／又はガンマが予め設定された範囲内に含まれるよう顔領域のホワイトバランス、明度及び／又はガンマを補正してもよい。

ステップＳ３４０で特性値が調整された場合、ステップＳ３５０において、顔認証装置は、特性値が調整された顔領域に基づいてライブネス検査を行う。ステップＳ３３０で顔領域の特性値が当該条件を満たすものと判断された場合、顔認証装置は、特性値を調整する過程を行うことなく、ステップＳ３１０から検出された顔領域に基づいてライブネス検査を行うことができる。

上記の実施形態で説明されたライブネス検査モデルは、例えば、入力データに基づいて内部パラメータによって算出された値を出力するニューラルネットワークであってもよい。ライブネス検査モデルは、入力されたデータに基づいて検査対象である顔オブジェクトが本物の顔又はフェイクの顔に該当する数値、確率値、又は特徴値を示すライブネス値を提供することができる。ライブネス値は、オブジェクトのライブネスを決定するために基準となる値である。ライブネス検査モデルは、例えば、深度畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＣＮＮ）モデルに基づいてもよい。ＤＣＮＮモデルは、畳み込みレイヤ（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）、プーリングレイヤ（ｐｏｏｌｉｎｇ ｌａｙｅｒ）及び全結合レイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含み、各レイヤによって実行される演算過程に基づいて、ライブネス検査モデルに入力される映像情報からライブネスの判断のための情報を提供する。なお、映像情報は、映像に含まれたピクセルのピクセル値（例えば、カラー値及び／又は明度値）である。上記のＤＣＮＮモデルは一実施形態に過ぎず、ライブネス検査モデルは、ＤＣＮＮモデル以外の構造のニューラルネットワークモデルに基づいてもよい。

一実施形態において、顔認証装置は、検出された顔領域に対応する第１映像に基づいて第１ライブネス値を決定することができる。第１映像の映像情報が第１ライブネス検査モデルに入力され、第１ライブネス検査モデルは、第１映像の映像情報に対応する第１ライブネス値を出力する。第１映像は、検出された全体の顔領域の形状情報を含み、第１映像に基づいて決定された第１ライブネス値は、フェイク手段を区別するために用いられる光反射及び形状の歪み特性を反映する。

顔認証装置は、検出された顔領域の部分の顔領域に対応する第２映像に基づいて第２ライブネス値を決定する。部分の顔は、検出された顔領域内でより小さい領域を抽出することで取得される。部分の顔領域として抽出される領域は、検出された顔領域内で任意に決定されてもよいし、又は検出された顔領域の中心を基準にして予め決定された大きさの領域が部分の顔領域として抽出される。

第２映像の映像情報が第２ライブネス検査モデルに入力され、第２ライブネス検査モデルは、第２映像の映像情報に対応する第２ライブネス値を出力する。第２映像は、部分の顔領域に示されたテクスチャ情報を含み、第２映像に基づいて決定された第２ライブネス値は、フェイク手段を区別するために用いられる微細なテクスチャの差異の特性を反映することができる。

顔認証装置は、入力映像の全体領域に対応する第３映像に基づいて第３ライブネス値を決定する。第３映像に対する映像情報が第３ライブネス検査モデルに入力され、第３ライブネス検査モデルは、入力映像の全体領域に対応する第３ライブネス値を出力する。入力映像に基づいて決定された第３ライブネス値は、フェイク手段を区別するために用いられるコンテキスト特性を反映する。

上記の実施形態において、第１、第２及び第３ライブネス値は、検査対象のライブネスを判断するための基準となる値であり、第１、第２及び第３ライブネス値は、各々個別のライブネス検査モデルによって決定される。また、上記の実施形態において、顔領域の特性値が調整された場合、特性値の調整された顔領域が反映された第１、第２及び第３映像の各々に基づいて、第１、第２及び第３ライブネス値が決定されることができる。

他の実施形態によれば、第１、第２及び第３ライブネス値は、１つのライブネス検査モデルによって決定されてもよい。例えば、第１映像の映像情報、第２映像の映像情報、及び入力映像の全体領域に対する映像情報が単一のライブネス検査モデルに入力され、単一のライブネス検査モデルの１つ以上の出力レイヤから第１ライブネス値、第２ライブネス値、及び第３ライブネス値が出力されてもよい。

顔認証装置は、第１ライブネス値、第２ライブネス値、及び第３ライブネス値に基づいて検査対象のライブネスの有無を決定する。一実施形態によれば、顔認証装置は、第１ライブネス値、第２ライブネス値、及び第３ライブネス値のすべてに基づいて最終ライブネス値を決定することができる。例えば、顔認証装置は、１ライブネス値、第２ライブネス値、及び第３ライブネス値の合計又は平均値を最終ライブネス値として決定する。異なる例として、顔認証装置は、第１ライブネス値、第２ライブネス値、及び第３ライブネス値のうちの１つ以上に加重値を適用し、加重値の適用結果（例えば、加重合計（ｗｅｉｇｈｔｅｄ ｓｕｍ））に基づいて最終ライブネス値を決定してもよい。加重値は、例えば、予め決定された定数であってもよく、１ライブネス値、第２ライブネス値、及び第３ライブネス値の各々に適用される加重値もそれぞれ異なってもよい。異なる例として、加重値は、特定の条件（例えば、検査対象までの距離、映像品質、顔領域の大きさ、顔領域に示された顔のポーズ、顔領域の位置、顔領域内の閉塞領域の存在有無、又は顔領域の照明状態など）に基づいて決定される条件加重値であってもよい。

他の実施形態によれば、顔認証装置は第１ライブネス値、第２ライブネス値、及び第３ライブネス値のうちの１つ以上に基づいて最終ライブネス値を決定してもよい。例えば、最終ライブネス値は、第１ライブネス値、第２ライブネス値、第３ライブネス値又は、これらのいずれかの組合せにより決定されてもよい。

顔認証装置は、最終ライブネス値が予め設定された条件を満たす否かに基づいて、検査対象のライブネスの有無を決定する。例えば、顔認証装置は、最終ライブネス値が予め設定された閾値よりも大きい場合、検査対象がライブネスを有する（検査対象が本物（ｇｅｎｕｉｎｅ））ものと決定し、最終ライブネス値が当該の閾値以下である場合には、検査対象がライブネスを有しない（検査対象がフェイク）ものと決定する。

顔認証装置は、オブジェクトに対するライブネスの検査結果に応答して制御動作を行うことができる。一実施形態では、検査対象が生きている本物のオブジェクトであると最終決定された場合、顔認証装置は、ユーザ認証手続の実行を要求するための制御信号を生成する。これとは反対に、オブジェクトが生きている本物のオブジェクトでないフェイクのオブジェクトであると最終決定された場合、顔認証装置は、ユーザ認証過程の実行を要求せず、ユーザのアクセスを遮断するための制御信号を生成することができる。

図４は、一実施形態に係る顔認証方法の動作を説明するためのフローチャートである。顔認証方法は顔認証装置によって実行される。

図４を参照すると、ステップＳ４１０において、顔認証装置は、入力映像から顔領域に対する現在の顔映像を抽出する。顔認証装置は、図３に示すステップＳ３１０のように入力映像から顔領域を検出し、検出された顔領域に対する映像である現在の顔映像を取得する。

ステップＳ４２０において、顔認証装置は、現在の顔映像の現在の映像特徴値を算出する。現在の映像特徴値は、現在の顔映像が有する特性値に対応する。一実施形態において、顔認証装置は、現在の顔映像の色調値、現在の顔映像に示された顔が傾いている程度を示す顔の傾き及び／又は現在の顔映像に示された顔領域のホワイトバランスなどの映像特徴値を算出する。

ステップＳ４３０において、顔認証装置は、現在の映像特徴値が定義された条件を満たしているか否かを判断する。一実施形態において、顔認証装置は、現在の映像特徴値と、ニューラルネットワークの学習に使用された複数の顔映像の映像特徴値に基づいた範囲とを比較し、現在の映像特徴値が当該範囲に含まれているか否かを判断する。ここで、ニューラルネットワークは、入力映像に示された顔オブジェクトを認証するために用いられるニューラルネットワークや、顔オブジェクトのライブネスを検査するために用いられるニューラルネットワークであり得る。

学習に使用された複数の顔映像の映像特徴値に基づいた範囲は、図３を参照して説明された特性値範囲に対応し、実施形態により絶対的な範囲又は統計的な範囲として定義される。絶対的な範囲の場合、学習に利用された顔映像の映像特徴値のうち、最小映像特徴値と最大映像特徴値によって範囲の大きさが決定される。統計的な範囲の場合、学習に利用された顔映像の映像特徴値の平均と標準偏差により範囲の大きさが決定される。例えば、統計的な範囲は、当該平均を中心に、両側にＮ（自然数）標準偏差の範囲を有するものとして定義される。

現在の映像特徴値が定義された条件を満たしていない場合、例えば、現在の映像特徴値が当該範囲から離脱される場合（すなわち、当該範囲に含まれていない場合）、ステップＳ４４０において、顔認証装置は、現在の顔映像の映像特徴値が当該範囲に含まれるように現在の顔映像を調整する。一実施形態において、現在の顔映像の色調値が範囲から離脱している場合、顔認証装置は、現在の顔映像の色調値が当該範囲内に含まれるように現在の顔映像の色調値を補正する。他の実施形態において、現在の顔映像に示された顔オブジェクトの顔の傾きが当該範囲から離脱されている場合、顔認証装置は、顔の傾きが当該範囲に含まれるように現在の顔映像の顔領域を回転させてもよい。更なる実施形態として、現在の顔領域のホワイトバランスが当該範囲から離れている場合、顔認証装置は、現在の顔領域のホワイトバランスが当該範囲に含まれるように現在の顔映像のホワイトバランスを補正する。

ステップＳ４５０において、顔認証装置は顔認証結果を決定する。ステップＳ４４０が実行されて現在の顔映像が調整された場合、顔認証装置は調整された現在の顔映像をニューラルネットワークに入力させることができる。もし、ステップＳ４４０が実行されていなければ、顔認証装置は、ステップＳ４１０で抽出した現在の顔映像をニューラルネットワークに入力させる。ニューラルネットワークは、入力された情報に対応する特徴値を出力する。顔認証装置は、ニューラルネットワークから取得した特徴値と予め登録された有効なユーザの特徴値に類似するか否かを判断し、その類似する程度である類似度が閾値よりも大きければ、顔認証が成功したと決定する。当該類似度が閾値以下である場合、顔認証装置は、顔認証が失敗したと決定する。予め登録された有効なユーザの特徴値も当該ニューラルネットワークを介して決定され得る。

図５は、一実施形態に係る顔認証装置の動作を説明するための図である。

図５を参照すると、顔認証装置５００は、ライブネス検査及び／又は顔認証を行う。顔認証装置５００は、顔領域検出部５１０、前処理部５２０、及び認証部５５０を含む。顔領域検出部５１０は入力映像から顔領域を検出する。顔領域検出部５１０は、例えば、カスケードアダブースト分類器、Ｖｉｏｌａ－Ｊｏｎｅｓ検出器などを用いて顔領域を検出することができる。

前処理部５２０は、ライブネス検査の結果正確度を高めるための前処理過程を行う。前処理部５２０は、特性値測定部５３０及び特性値調整部５４０を含む。特性値測定部５３０は、顔領域の特性値（映像特徴値）を測定する。例えば、特性値測定部５３０は、顔領域の色調、ホワイトバランス、明度、ガンマ、顔領域に示された顔の傾きなどを測定する。

特性値調整部５４０は、特性値測定部５３０によって測定された特性値が特定の条件を満たしているか否かを判断し、特性値が当該条件を満たしていない場合には、特性値が当該条件を満たすように顔領域の特性値を調整する。一実施形態では、特性値調整部５４０は、測定された特性値がニューラルネットワークの学習に利用された顔映像の特性値範囲に含まれているか否かを判断する。特性値調整部５４０は、入力映像の顔領域に対して測定される特性値がニューラルネットワークの学習に利用された顔映像の特性値範囲に含まれるように、顔領域の特性値を調整する。

例えば、顔領域の色調、ホワイトバランス、明度及び／又はガンマの特性値が予め設定された範囲内に含まれていない場合、特性値調整部５４０は、当該特性値が上記の範囲内に含まれるように顔領域の特性値を調整する。異なる例として、顔の傾きが予め設定された範囲に含まれていない場合、特性値調整部５４０は、顔の傾きが当該の範囲に含まれるように顔領域を回転させてもよい。特性値測定部５３０が様々な特性値を測定し、測定された特性値のうち１つ以上が条件を満たしていない場合、特性値調整部５４０は、当該条件を満たさない１つ以上の特性値を調整することができる。

上記のように特性値が調整された後、認証部５５０は、特性値が調整された顔領域に基づいて検査対象に対してライブネス検査及び／又は顔認証を行い、その実行結果を提供することができる。

例えば、認証部５５０は、ニューラルネットワーク基盤のライブネス検査モデルを用いてライブネス値を決定し、ライブネス値に基づいて検査対象のライブネスの有無を決定してもよい。ライブネス検査モデルには、特性値が調整された顔領域の情報（例、ピクセル値）が入力され、ライブネス検査モデルは、入力された情報に対応するライブネス値を出力する。認証部５５０は、当該ライブネス値と閾値とを比較し、検査対象のライブネス検査結果を決定する。特性値測定部５３０によって測定された特性値が特定の条件を満たす場合、例えば、測定された特性値が定義された特性値範囲に含まれる場合、特性値調整部５４０は、当該の特性値を調整する過程を実行せず、認証部５５０は、顔領域検出部５１０によって検出された顔領域に基づいてライブネス検査を行う。

一実施形態では、ライブネス検査結果、検査対象が本物のオブジェクトであると決定された場合、顔認証が実行される。特性値測定部５３０によって測定された特性値が特定の条件を満たしていない場合、例えば、当該測定された特性値が定義された特性値範囲に含まれていない場合、認証部５５０は、特性値調整部５０４によって特性値の調整された顔領域を特徴値を抽出するためのニューラルネットワークに入力させることができる。特性値測定部５３０によって測定された特性値が特定の条件を満たす場合、例えば、当該測定された特性値が定義された特性値範囲に含まれている場合、認証部５５０は、特性値調整の過程を有しない顔領域を特徴値を抽出するためのニューラルネットワークに入力させることができる。

認証部５５０は、当該ニューラルネットワークから取得した特徴値と予め登録された有効なユーザの特徴値とを比較し、２つの特徴値の間の類似度が閾値よりも大きければ、顔認証が成功したと決定する。当該の類似度が閾値以下であれば、顔認証は失敗したと決定される。

前処理部５２０は、上のような前処理過程を介してライブネス検査及び／又は顔認証で用いられるニューラルネットワークの学習過程において学習されていないか、又は十分に学習されていないコーナーケースを学習過程において十分に学習されたケースに切り替えることで、コーナーケースに対する処理正確度を高めることができる。コーナーケースに対応する学習データは、存在していないか、学習データの量が少なくてニューラルネットワークを学習させ難いこともある。しかし、上記のような前処理部５２０の前処理動作により、ニューラルネットワークの基本認識性能を保持しながらも、コーナーケースへ強靭にライブネス検査及び／又は顔認証を行うことができる。

図６は、一実施形態に係る絶対的な範囲と統計的な範囲の一例を説明するための図である。

入力映像に示された顔領域がライブネス検査や顔認証に適するか否かを判断するために、予め定義された範囲が用いられる。当該範囲は、ライブネス値や特徴値を取得するために用いられるニューラルネットワークの学習に使用された複数の顔映像（以下、「学習映像」という）の映像特徴値が有する範囲に対応する。それぞれの学習映像は対応する映像特徴値を有し、学習映像の映像特徴値の分布に基づいて上記の範囲が決定される。入力映像の映像特徴値が当該範囲から離脱する場合、すなわち、映像特徴値が当該範囲に含まれていない場合、入力映像の映像特徴値が当該範囲に含まれるように入力映像を調整する前処理過程が実行される。

一実施形態において、当該範囲は、学習映像の映像特徴値のうち最小映像特徴値と最大映像特徴値との間の範囲に定義される絶対的な範囲であり得る。他の実施形態において、当該範囲は、学習映像の映像特徴値の分布特徴（例えば、平均と標準偏差）によって決定される統計的な範囲であり得る。

図６を参照すると、学習映像の映像特徴値の分布グラフ６００の一例が図示されている。絶対的な範囲の場合、映像特徴値の分布において、最小映像特徴値と最大映像特徴値との間の範囲である範囲Ｒ５に該当する。統計的な範囲の場合、実施形態により多様に統計的な範囲の大きさが決定される。例えば、統計的な範囲は、学習映像の映像特徴値の平均ｍを中心に両側に１標準偏差σの範囲を示す範囲Ｒ１、平均ｍを中心に両側に２標準偏差の範囲を示す範囲Ｒ２、平均ｍを中心に両側に３標準偏差の範囲を示す範囲Ｒ３、又は平均ｍを中心に両側に４標準偏差の範囲を示す範囲Ｒ４である。

図７は、一実施形態に係る色調を調整する前処理過程の一例を説明するための図である。

図７を参照すると、以上分の色調を有する入力映像の顔領域７１０が一例として図示されている。特性値測定部５３０は、顔領域７１０の色調を測定する。例えば、特性値測定部５３０は、顔領域７１０のＧ（Ｇｒｅｅｎ）カラー要素に対するＢ（ｂｌｕｅ）カラー要素の比率に基づいて色調に対する特性値を測定する。特性値調整部５４０は、測定された色調が特定の範囲（例えば、閾値範囲）内に含まれているか否かを判断する。

特性値が当該閾値範囲に含まれていない場合、特性値調整部５４０は、顔領域７１０に対して前処理過程を行う。例えば、特性値調整部５４０は、顔領域７１０に色調補正モデルを適用することで、顔領域７１０の色調を当該の閾値範囲に含まれる色調に補正することを介して、前処理過程が実行された顔領域７２０を取得することができる。認証部５５０は、前処理過程が実行された顔領域７２０に基づいてライブネス検査及び／又は顔認証を行うことができる。

図８は、一実施形態に係る顔の傾きを調整する前処理過程の一例を説明するための図である。

図８を参照すると、以上分の顔の傾きを有する入力映像の顔領域８１０が一例として図示されている。顔領域８１０において、顔の傾きは、時計まわりに特定の角度だけ傾いている。特性値測定部５３０は、顔領域８１０が入力されれば、顔領域８１０で顔の傾きを測定することができる。例えば、特性値測定部５３０は、顔領域８１０で左眼、右眼、及び両側の口元に対応する特徴点を検出し、左眼及び右眼の特徴点の間の第１中間点と両側の口元に対応する特徴点の間の第２中間点を経由する直線と基準線（例えば、垂直線又は水平線）がなしている角度に基づいて顔の傾きを測定することができる。

特性値調整部５４０は、測定された顔の傾きが特定の範囲（例えば、閾値範囲）内に含まれているか否かを判断する。顔の傾きが当該範囲に含まれていない場合、特性値調整部５４０は顔領域８１０の顔の傾きを調整する。特性値調整部５４０は、顔の傾きが上記の範囲内に含まれるように顔領域８１０を特定の角度だけ回転させることで、前処理過程が実行された顔領域８２０を取得することができる。ライブネス認証部５５０は、前処理過程が実行された顔領域８２０に基づいてライブネス検査及び／又は顔認証を行う。

図９Ａ及び図９Ｂは、一実施形態に係るライブネス検査方法の一例を説明するための図である。

図９Ａを参照すると、検査対象が示された入力映像９１０から全体の顔領域９２０が検出され、全体の顔領域９２０の一部領域を含む部分の顔領域９３０が決定される。全体の顔領域９２０に対応する第１映像９２５の映像情報は、第１ライブネス検査モデル９４０に入力され、第１ライブネス検査モデル９４０は、第１映像９２５に対応する第１ライブネス値を出力する。

一実施形態において、第１映像９２５は、全体の顔領域９２０に映像正規化（例えば、大きさ調整、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）など）が実行された結果映像である。部分の顔領域９３０に対応する第２映像９３５の映像情報は、第２ライブネス検査モデル９５０に入力され、第２ライブネス検査モデル９５０は、第２映像９３５に対応する第２ライブネス値を出力する。一実施形態において、第２映像９３５は、部分の顔領域９３０に映像正規化が実行された結果映像である。入力映像９１０の全体領域に対応する第３映像９１５の映像情報は、第３ライブネス検査モデル９６０に入力され、第３ライブネス検査モデル９６０は、第３映像９１５に対応する第３ライブネス値を出力する。ここで、第３映像９１５は、入力映像９１０と同一であるか、又は映像９１０に映像正規化が実行された映像であってもよい。

上記の実施形態において、顔領域の特性値が特定の条件を満たすように顔領域の特性値を調整する前処理過程が実行され、当該の前処理過程が実行された顔領域が反映された第１、第２及び第３映像のそれぞれに基づいて第１、第２及び第３ライブネス値が決定されることができる。

ライブネス決定部９７０は、第１ライブネス値、第２ライブネス値、及び第３ライブネス値に基づいて最終ライブネス値を決定し、最終のライブネス値が予め設定された条件を満たす否かに基づいて、検査対象のライブネスの有無を決定する。ここで、最終ライブネス値は、例えば、第１ライブネス値、第２ライブネス値、及び第３ライブネス値の合計（ｓｕｍ）、平均、又は加重合計であってもよい。

図９Ａに示された第１ライブネス検査モデル９４０、第２ライブネス検査モデル９５０、及び第３ライブネス検査モデル９６０は、実施形態により図９Ｂに示すように、１つのライブネス検査モデル９８０に実現され得る。ここで、第１映像９２５の映像情報、第２映像９３５の映像情報、及び第３映像９１５の映像情報は、ライブネス検査モデル９８０の１つ以上の入力レイヤに入力される。例えば、第１映像９２５の映像情報、第２映像９３５の映像情報、及び第３映像９１５の映像情報が互いに異なる入力レイヤに入力されてもよいし、又は第１映像９２５の映像情報、第２映像９３５の映像情報、及び第３映像９１５の映像情報が互いに結合して１つの入力レイヤに入力されてもよい。ライブネス検査モデル９８０は、入力された映像情報に基づいて第１映像９２５、第２映像９３５、及び第３映像９１５のそれぞれに対応するライブネス値を出力し、ライブネス決定部９９０は、当該ライブネス値が予め設定された条件を満たすか否かに基づいて、検査対象のライブネスの有無を決定することができる。

図１０は、一実施形態に係る顔認証装置の構成を示す図である。

顔認証装置１０００は、入力映像に示されたオブジェクトに対する顔認証過程を行う。顔認証装置１０００は、顔認証過程でライブネス検査を行い、ライブネス検査結果に基づいて顔認証結果を決定する。顔認証装置１０００は、ライブネス検査や顔認証に関連して本明細書に記述されてもよいし、又は示された１つ以上の動作を行うことができ、ライブネス検査結果や顔認証結果をユーザに提供することができる。

図１０を参照すると、顔認証装置１０００は、１つ以上のプロセッサ１０１０及びメモリ１０２０を含む。メモリ１０２０は、プロセッサ１０１０に接続され、プロセッサ１０１０によって実行可能な命令、プロセッサ１０１０が演算するデータ又はプロセッサ１０１０によって処理されたデータを格納する。

プロセッサ１０１０は、図１～図９を参照して説明されたライブネス検査及び／又は顔認証に関連する１つ以上の動作を行う。一実施形態において、プロセッサ１０１０はライブネス検査及び／又は顔認証において、それぞれの映像特徴値を有する複数の顔映像で学習されたネットワークを用いることができる。ニューラルネットワークは、入力映像に示された顔オブジェクトのライブネスを検査するために利用されてもよいし、顔オブジェクトを認証するために用いてもよい。

ライブネス検査の場合、プロセッサ１０１０は、ライブネス検査の対象となる入力映像から顔領域を検出し、顔領域の特性値を測定する。例えば、プロセッサ１０１０は、顔領域の色調、ホワイトバランス、明度、ガンマ、顔領域に示された顔の傾きなどの特性値を測定する。

プロセッサ１０１０は、測定された特性値が条件を満たしているか否かを判断し、特性値が当該条件を満たしていない場合、特性値を調整する前処理過程を行う。例えば、顔領域の色調、ホワイトバランス、明度及び／又はガンマの特性値が予め設定された範囲内に含まれていない場合、プロセッサ１０１０は、当該の特性値が上記の範囲内に含まれるように顔領域の特性値を調整することができる。異なる例として、顔の傾きが予め設定された範囲に含まれていない場合、プロセッサ１０１０は、顔の傾きが当該範囲に含まれるように顔領域を回転させてもよい。その後、プロセッサ１０１０は、特性値が調整された顔領域に基づいてライブネス検査を行うことができる。

顔領域の特性値が当該条件を満たすと判断された場合、プロセッサ１０１０は、特性値を調整する過程なしに、入力映像から検出された顔領域に基づいてライブネス検査を行うことができる。

一実施形態において、プロセッサ１０１０は、学習されたニューラルネットワークに基づいたライブネス検査モデルを用いてライブネス値を取得し、取得したライブネス値と閾値との間の比較結果に基づいてライブネス検査の結果を決定する。例えば、プロセッサ１０１０は、当該ライブネス値が閾値よりも大きい場合、検査対象が本物のオブジェクトであると決定し、ライブネス値が閾値以下であれば、検査対象がフェイクのオブジェクトであると決定する。

顔認証の場合、プロセッサ１０１０は、入力映像から顔領域に対する現在の顔映像を抽出し、現在の顔映像の現在の映像特徴値を算出する。プロセッサ１０１０は、当該現在の映像特徴値と、ニューラルネットワークの学習に使用された複数の顔映像の映像特徴値が有する範囲とを比較し、現在の映像特徴値が当該範囲から離脱しているか否かを決定する。

一実施形態において、上記の映像特徴値が有する範囲は、ニューラルネットワークの学習に使用された複数の顔映像の映像特徴値のうち、最小映像特徴値と最大映像特徴値に基づいて決定される絶対的な範囲であり得る。絶対的な範囲の最小値は、上記の最小映像特徴値であり、当該の絶対的な範囲の最大値は、上記の最大映像特徴値である。

他の実施形態において、上記の映像特徴値が有する範囲は、ニューラルネットワークの学習に使用された複数の顔映像の映像特徴値の分布特徴に基づいて決定される統計的な範囲である。なお、分布特徴は、例えば、当該の映像特徴値の平均と標準偏差を含む。

現在の映像特徴値が当該範囲から離脱する場合、プロセッサ１０１０は、現在の顔映像の映像特徴値が当該範囲に含まれるように現在の顔映像を調整し、調整された現在の顔映像をニューラルネットワークに入力させることができる。ニューラルネットワークは、入力された情報に基づいて対応する特徴値を出力する。

現在の顔映像を調整することに関連して、例えば、プロセッサ１０１０は、現在の顔映像の色調値を算出し、算出された色調値が前記範囲から離脱するものと決定された場合、現在の顔映像の色調値が当該範囲内に含まれるように現在の顔映像の色調値を補正する。異なる例として、プロセッサ１０１０は、現在の顔映像に示された顔が傾いている程度を示す顔の傾きを算出し、算出された顔の傾きが当該範囲から離脱するものとして決定された場合、顔の傾きが当該範囲に含まれるように現在の顔映像の顔領域を回転させてもよい。更なる例として、プロセッサ１０１０は、現在の顔映像に示された顔領域のホワイトバランスを算出し、算出されたホワイトバランスが当該範囲から離脱する場合、ホワイトバランスが当該範囲に含まれるように現在の顔映像のホワイトバランスを補正してもよい。

プロセッサ１０１０は、ニューラルネットワークを介して取得した特徴値を予め登録された特徴値と比較し、２つの特徴値の間の類似度に基づいて顔認証結果を決定する。例えば、プロセッサ１０１０は、当該の類似度が閾値よりも大きい場合、顔認証が成功したと決定し、類似度が閾値以下であれば、顔認証が失敗したと決定する。

プロセッサ１０１０は、上記のライブネス検査や顔認証の結果に基づいて制御信号を生成することができる。例えば、プロセッサ１０１０は、当該の結果に応じてオブジェクトのアクセスを許容又は遮断を決定したり、オブジェクトの要求（例、特定の機能の実行要求）を拒否又は実行する制御信号を生成する。

図１１は、一実施形態に係る電子装置の構成を示す図である。

図１１を参照すると、電子装置１１００は、入力映像に示された検査対象のライブネス検査及び／又は顔認証を行う。電子装置１１００は、図１に示す電子装置１２０に対応し、図１０に示す顔認証装置１０００の機能を行うことができる。

電子装置１１００は、１つ以上のプロセッサ１１１０、メモリ１１２０、カメラ１１３０、格納装置１１４０、入力装置１１５０、出力装置１１６０、及びネットワークインターフェース１１７０を含む。プロセッサ１１１０、メモリ１１２０、カメラ１１３０、格納装置１１３０、入力装置１１５０、出力装置１１６０、及びネットワークインターフェース１１７０は、通信バス１１８０を介して通信する。

プロセッサ１１１０は、ライブネス検査及び／又は顔認証を行うための機能及び命令を実行する。例えば、プロセッサ１１１０は、メモリ１１２０又は格納装置１１４０に格納された命令を処理する。プロセッサ１１１０は、図１～図１０を参照して前述した１つ以上の動作を行う。

メモリ１１２０は、ライブネス検査及び／又は顔認証を行うための情報を格納する。メモリ１１２０は、コンピュータで読み出し可能な記憶媒体又はコンピュータ読み出し可能な格納装置を含む。メモリ１１２０は、プロセッサ１１１０によって実行するための命令とライブネス検査の実行に必要な情報を格納する。

カメラ１１３０は、ライブネス検査及び／又は顔認証の対象が示された静止画、ビデオ映像、又は、これらの全てを取得する。カメラ１１３０によって取得された映像は、本明細書で説明された入力映像に対応する。

格納装置１１４０は、コンピュータで読み出し可能な記憶媒体又はコンピュータ読み出し可能な格納装置を含む。一実施形態によれば、格納装置１１４０は、メモリ１１２０よりもさらに多くの量の情報を格納し、情報を長期間格納する。例えば、格納装置１１４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、又は、フロッピーディスクを含む。

入力装置１１５０は、触覚、ビデオ、オーディオ又はタッチ入力によってユーザから入力を受信する。例えば、入力装置１１５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を電子装置１１００に伝達できる任意の他の装置を含む。

出力装置１１６０は、視覚的、聴覚的又は触覚的なチャネルを介してユーザに電子装置１１００の出力を提供する。出力装置１１６０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又はユーザに出力を提供できる任意の他の装置を含む。ネットワークインターフェース１１７０は、有線又は無線ネットワークを介して外部装置と通信する。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの１つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成することができ、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは１つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１２０、１１００：電子装置
１、３０、１１３０：カメラ
５００、１０００：顔認証装置
５１０：顔領域検出部
５２０：前処理部
５３０：特性値測定部
５４０：特性値調整部
５５０：認証部
９４０：第１ライブネス検査モデル
９５０：第２ライブネス検査モデル
９６０：第３ライブネス検査モデル
９７０、９９０：ライブネス決定部
９８０：ライブネス検査モデル
１０１０、１１１０：プロセッサ
１０２０、１１２０：メモリ
１１４０：格納装置
１１５０：入力装置
１１６０：出力装置
１１７０：ネットワークインターフェース
１１８０：通信バス

Claims (27)

1. 入力映像から顔領域を検出するステップと、
   前記顔領域の特性値を測定するステップと、
   前記測定された特性値が条件を満たしていない場合、前記顔領域の特性値を調整するステップと、
   前記特性値が調整された顔領域に基づいてライブネス検査を行うステップと、
   を含み、
   前記顔領域の特性値を測定するステップは、前記顔領域の色調を測定するステップを含み、
   前記顔領域の特性値を調整するステップは、前記測定された顔領域の色調が予め設定された範囲に含まれていない場合に、前記顔領域に色調補正モデルを適用することによって前記顔領域の色調を前記予め設定された範囲内に含まれる色調に補正するステップを含むライブネス検査方法。
2. 前記顔領域の特性値を測定するステップは、前記顔領域に示された顔が傾いている程度を示す顔の傾きを測定するステップを含み、
   前記の顔の傾きを測定するステップは、前記顔領域で、左眼、右眼、及び両側の口元に対応する特徴点を検出するステップと、
   前記検出された特徴点に基づいて前記の顔の傾きを測定するステップと、
   を含む、請求項１に記載のライブネス検査方法。
3. 前記顔領域の特性値を調整するステップは、前記測定された顔の傾きが予め設定された範囲に含まれていない場合、前記の顔の傾きを補正するステップを含む、請求項２に記載のライブネス検査方法。
4. 前記補正するステップは、前記測定された顔の傾きに基づいて前記顔領域を回転させることにより前記の顔の傾きを補正する、請求項３に記載のライブネス検査方法。
5. 前記顔領域の特性値を測定するステップは、前記顔領域のホワイトバランスを測定するステップを含み、
   前記顔領域の特性値を調整するステップは、前記測定された顔領域のホワイトバランスが予め設定された範囲に含まれていない場合、前記顔領域のホワイトバランスを補正するステップを含む、請求項１に記載のライブネス検査方法。
6. 前記測定された特性値が前記条件を満たす場合、前記特性値の調整なしに前記検出された顔領域に基づいてライブネス検査を行うステップをさらに含む、請求項１ないし請求項５のいずれか１項に記載のライブネス検査方法。
7. 前記ライブネス検査を行うステップは、ニューラルネットワーク基盤のライブネス検査モデルを用いて前記ライブネス検査を行うステップを含む、請求項１ないし請求項６のいずれか１項に記載のライブネス検査方法。
8. それぞれの映像特徴値を有する複数の顔映像で学習されたニューラルネットワークを用いる顔認証方法において、
   入力映像から顔領域に対する現在の顔映像を抽出するステップと、
   前記現在の顔映像の現在の映像特徴値を算出するステップと、
   前記現在の映像特徴値を、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値が有する範囲と比較するステップと、
   前記現在の映像特徴値が前記範囲から離脱する場合、前記現在の顔映像の映像特徴値が前記範囲に含まれるように前記現在の顔映像を調整するステップと、
   前記調整された現在の顔映像を前記ニューラルネットワークに入力させるステップと、
   を含み、
   前記現在の映像特徴値を算出するステップは、前記現在の顔映像の色調値を算出するステップを含み、
   前記現在の顔映像を調整するステップは、前記色調値が前記範囲から離脱する場合、前記顔領域に色調補正モデルを適用することによって前記現在の顔映像の色調値が前記範囲内に含まれるように前記現在の顔映像の色調値を補正するステップを含む顔認証方法。
9. 前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値のうち、最小映像特徴値と最大映像特徴値に基づいて決定される絶対的な範囲である、請求項８に記載の顔認証方法。
10. 前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値の分布特徴に基づいて決定される統計的な範囲であり、
    前記分布特徴は、前記映像特徴値の平均と標準偏差を含む、請求項８に記載の顔認証方法。
11. 前記統計的な範囲は、前記平均を中心に両側に１標準偏差の範囲、２標準偏差の範囲、３標準偏差の範囲、及び４標準偏差の範囲のいずれか１つを示す、請求項１０に記載の顔認証方法。
12. 前記ニューラルネットワークは、前記入力映像に示された顔オブジェクトのライブネスを検査するために用いられるニューラルネットワークである、請求項８ないし請求項１１のいずれか１項に記載の顔認証方法。
13. 前記ニューラルネットワークは、前記入力映像に示された顔オブジェクトを認証するために用いられるニューラルネットワークである、請求項８ないし請求項１２のいずれか１項に記載の顔認証方法。
14. 前記現在の映像特徴値を算出するステップは、前記現在の顔映像に示された顔が傾いている程度を示す顔の傾きを算出するステップを含み、
    前記現在の顔映像を調整するステップは、前記の顔の傾きが前記範囲から離脱する場合、前記の顔の傾きが前記範囲に含まれるように前記現在の顔映像の顔領域を回転させるステップを含む、請求項８に記載の顔認証方法。
15. 前記現在の映像特徴値を算出するステップは、前記現在の顔映像に示された顔領域のホワイトバランスを算出するステップを含み、
    前記現在の顔映像を調整するステップは、前記ホワイトバランスが前記範囲から離脱する場合、前記ホワイトバランスが前記範囲に含まれるように前記現在の顔映像のホワイトバランスを補正するステップを含む、請求項８に記載の顔認証方法。
16. 請求項１ないし請求項１５のいずれか１項に記載の方法を実行するための命令を格納するコンピュータで読み出し可能な記憶媒体。
17. １つ以上のプロセッサを含み、
    前記１つ以上のプロセッサは、
    入力映像から顔領域を検出し、
    前記顔領域の特性値を測定し、
    前記測定された特性値が条件を満たしていない場合、前記顔領域の特性値を調整し、
    前記特性値が調整された顔領域に基づいてライブネス検査を行い、前記１つ以上のプロセッサは、前記顔領域の色調を測定し、前記測定された顔領域の色調が予め設定された範囲に含まれていない場合に、前記顔領域に色調補正モデルを適用することによって前記顔領域の色調を前記予め設定された範囲内に含まれる色調に補正する、装置。
18. 前記１つ以上のプロセッサは、前記顔領域に示された顔が傾いている程度を示す顔の傾きを測定し、前記測定された顔の傾きが予め設定された範囲に含まれていない場合、前記の顔の傾きを補正する、請求項１７に記載の装置。
19. 前記１つ以上のプロセッサは、前記顔領域のホワイトバランスを測定し、前記測定された顔領域のホワイトバランスが予め設定された範囲に含まれていない場合、前記顔領域のホワイトバランスを補正する、請求項１７に記載の装置。
20. 前記１つ以上のプロセッサは、前記測定された特性値が前記条件を満たす場合、前記特性値の調整なしに前記検出された顔領域に基づいてライブネス検査を行う、請求項１７に記載の装置。
21. 前記１つ以上のプロセッサは、ニューラルネットワーク基盤のライブネス検査モデルを用いて前記ライブネス検査を行う、請求項１７に記載の装置。
22. それぞれの映像特徴値を有する複数の顔映像で学習されたニューラルネットワークを用いる装置において、
    １つ以上のプロセッサを含み、
    前記１つ以上のプロセッサは、
    入力映像から顔領域に対する現在の顔映像を抽出し、
    前記現在の顔映像の現在の映像特徴値を算出し、
    前記現在の映像特徴値を、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値が有する範囲と比較し、
    前記現在の映像特徴値が前記範囲から離脱する場合、前記現在の顔映像の映像特徴値が前記範囲に含まれるように前記現在の顔映像を調整し、
    前記調整された現在の顔映像を前記ニューラルネットワークに入力させ、
    前記１つ以上のプロセッサは、
    前記現在の顔映像の色調値を算出し、
    前記色調値が前記範囲から離脱する場合に、前記顔領域に色調補正モデルを適用することによって前記現在の顔映像の色調値が前記範囲内に含まれるように前記現在の顔映像の色調値を補正する、装置。
23. 前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値のうち、最小映像特徴値と最大映像特徴値に基づいて決定される絶対的な範囲である、請求項２２に記載の装置。
24. 前記範囲は、前記ニューラルネットワークの学習に使用された前記複数の顔映像の映像特徴値の分布特徴に基づいて決定される統計的な範囲であり、
    前記分布特徴は、前記映像特徴値の平均と標準偏差を含む、請求項２２に記載の装置。
25. 前記ニューラルネットワークは、前記入力映像に示された顔オブジェクトを認証するために用いられるニューラルネットワークである、請求項２２ないし請求項２４のいずれか１項に記載の装置。
26. 前記１つ以上のプロセッサは、
    前記現在の顔映像に示された顔が傾いている程度を示す顔の傾きを算出し、
    前記の顔の傾きが前記範囲から離脱する場合、前記の顔の傾きが前記範囲に含まれるように前記現在の顔映像の顔領域を回転させる、請求項２２に記載の装置。
27. 前記１つ以上のプロセッサは、
    前記現在の顔映像に示された顔領域のホワイトバランスを算出し、
    前記ホワイトバランスが前記範囲から離脱する場合、前記ホワイトバランスが前記範囲に含まれるように前記現在の顔映像のホワイトバランスを補正する、請求項２２に記載の装置。

Images