JP6431346B2

JP6431346B2 - 顔認識装置

Info

Publication number: JP6431346B2
Application number: JP2014238757A
Authority: JP
Inventors: 耕太山本
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2014-11-26
Filing date: 2014-11-26
Publication date: 2018-11-28
Anticipated expiration: 2034-11-26
Also published as: JP2016099939A

Description

本発明の実施形態は、障害物対応の顔認識装置に関する。

セキュリティー分野における顔認証技術や、デジタルカメラで笑顔を検出する機能、顔から推定される年齢により購入是非を判断する自動販売機など、顔認識に関するアプリケーションの開発が盛んに行われている。

顔認識に際して、カメラの前に物理的に遮蔽物が存在する場合、カメラを使用した認識は不可能となる。そのような場合、システム側からユーザに対して遮蔽物を避けてもらうよう提示し、ユーザによる遮蔽物の取り除きを要請する必要がある。

しかしながら、このようなユーザに対する要請は、ユーザの行為を伴うもので、ユーザに煩わしさや、煩雑さを意識させる要因となっていた。そして、顔認識した情報を使用してユーザ毎に適応した情報を提示するアプリケーションは、十分、提供されているとは言えない。

特開２００８−２８３３７９号公報

本発明が解決しようとする課題は、可能な限り、ユーザに自然な流れでカメラによる認識を意識させることなく、円滑に認識作業を行うことができる顔認識装置を提供することである。

実施形態の顔認識装置は、外部に配設され、人物の画像を取得する画像取得部と、前記画像取得部からの画像情報を入力し、顔を構成する各パーツを検出する顔パーツ検出部と、前記画像取得部の近傍に配置され、人物の存在を検知する人物検知センサと、前記人物検知センサのセンサ出力を取り込んで、人物の位置を判定する人物位置判定部と、前記顔パーツ検出部から検出信号を取り込み、前記人物位置判定部から判定信号を取り込んで、遮蔽物の有無を判定する遮蔽物判定部と、前記遮蔽物判定部の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する顔認識部と、前記遮蔽物判定部で遮蔽物が有ると判定した場合に、遮蔽物をどけるように誘導する表示内容を表示する表示部とを備え、前記人物位置判定部は、人物の有無を検出する人物検出部と、人物が検出された場合に、同一人と推定できる人物を追跡し、その人物の移動ベクトルを算出する人物移動ベクトル算出部から成る。

本発明の実施形態に係る顔認識装置の構成例を示す図である。人物位置判定処理の流れを示すフローチャートである。顔認識処理の流れを示すフローチャートである。

以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は、本発明の実施形態に係る顔認識装置の構成例を示す図である。

図１に示すように、顔認識装置１００は、主として、画像取得部１０と、顔パーツ検出部２０、人物検知センサ３０、人物位置判定部４０、遮蔽物判定部５０、顔認識部６０、表示部７０から構成されている。この装置において、顔パーツ検出部２０、人物位置判定部４０、遮蔽物判定部５０および顔認識部６０は、汎用のＣＰＵと同ＣＰＵ上で動作するソフトウェアとして実現することができる。本実施形態はこのようなＣＰＵに、顔パーツ検出、人物位置判定処理、顔認識処理に係る一連の手続きを実行させるプログラムとして実施することもできる。

画像取得部１０は、外部に配設され画像情報を取得するもので、人物の顔が映るように配置された顔認識用カメラ（顔カメラ）である。顔カメラは、例えば、広角カメラが好適で、さらに、超広角カメラである魚眼カメラが好適である。

顔パーツ検出部２０は、画像取得部１０からの画像情報を入力し、顔を構成する各パーツを検出するものである。例えば、画像情報を所定方向に走査して、目、鼻、口などに相当する特徴部分（顔パーツ）を特定していく。

人物検知センサ３０は、画像取得部１０の近傍に配置され、人物の存在を検知する。人物検知センサ３０としては、例えば、画像センサや超音波センサや焦電型赤外線センサが好適である。超音波センサは、送波器により超音波を対象物（人物）に向け発信し、その反射波を受波器で受信することにより、対象物（人物）の有無や対象物（人物）までの距離を検出するものである。焦電型赤外線センサは、焦電効果によって赤外線を含む光を検出するもので、人体の運動などにより光の量に偏りが発生すると出力が得られる。

人物位置判定部４０は、人物検知センサ３０のセンサ出力を取り込んで、人物の位置を判定するものである。人物位置判定部４０は、例えば、人物検出部４１、人物移動ベクトル算出部４２で構成することができる。人物検出部４１は、人物検知センサ３０から出力される距離情報を取得するものである。人物検知センサ３０として画像センサを用いる場合には、例えば、背景差分もしくはＣｏＨＯＧ（Co-occurrence HOG）を用いて、人物を検知する。背景差分による人物検知は、対象の存在しない背景画像と入力画像の差分によって物体領域を求める手法である。ＣｏＨＯＧは、２ケ所の局所領域の勾配と勾配の関係性を表現することで人物の形状の構造を捉える手法である。

人物移動ベクトル算出部４２は、例えば、フレーム間で検知された人物の位置から同一人と推定できる人物を追跡し、その移動ベクトルを算出する。人物位置判定部４０は、移動ベクトル及びフレームに写る人物の大きさから、その人物が顔認識装置１００の間近に居るかどうかを判定する。どれ位の距離が間近かは、適宜決定することが可能である。

遮蔽物判定部５０は、顔パーツ検出部２０から検出信号を、人物位置判定部４０から判定信号をそれぞれ取り込んで、遮蔽物の有無を判定するものである。遮蔽物の有無の判定は、例えば、顔のパーツがいずれも検出できず、また、カメラ画像全体の輝度が極端に低い場合には、カメラの前に遮蔽物が有ると判定する。遮蔽物が有る場合には、ユーザに対して、遮蔽物をどけるように誘導する。遮蔽物として最も可能性が高いのがユーザの手である。そこで、まず、ＯＫボタンなどを表示部７０に表示し、左右の手それぞれで表示部７０に触れるようにする。それでも駄目な場合は、カメラの前の遮蔽物をユーザに確認するように促す。それでも、駄目な場合は、カメラの故障と判定する。判定結果は、顔認識部６０あるいは表示部７０に送られる。

顔認識部６０は、遮蔽物判定部５０の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する。生成した顔認識画像信号は、表示部７０に出力される。

表示部７０は、顔認識部６０からの受け取った顔認識画像を表示する。また、本実施形態では、遮蔽物判定部５０で遮蔽物が有ると判定した場合には、上述した“遮蔽物をどけるように誘導する”表示内容を表示する。

以上のように構成された顔認識装置１００について詳述する。

本実施形態においては、カメラ前に遮蔽物があるか否かを検出し、可能な限りユーザに自然な流れでカメラによる認識が行われていることを意識させることなく、スムーズに認証作業を行えるように、顔認識画像情報の取得を可能にする。

＜人物位置判定＞
図２は、人物位置判定処理の流れを示すフローチャートである。

まず、人物検知センサを起動させ、初期化を行う（ステップＳ２０１）。

次に、人物検知を開始する（ステップＳ２０２）。具体的には、人物検知センサ３０から出力される距離情報を取得する。

次いで、人物を追跡する（ステップＳ２０３）。人物の追跡では、例えば、フレーム間で検知された人物の位置から同一人と推定できる人物を追跡し、その移動ベクトルを算出する。

続いて、人物位置の判定を行う（ステップＳ２０４）。具体的には、人物位置判定部４０は、移動ベクトル及びフレームに写る人物の大きさから、その人物が顔認識装置１００の間近に居るかどうかを判定する。

次に、人物検知センサの電源がＯＦＦか否かを判定する（ステップＳ２０５）。

電源がＯＦＦでなければ（ステップＳ２０５でＮｏ）、ステップＳ２０２からステップＳ２０５の処理を繰り返し、電源がＯＦＦであれば（ステップＳ２０５でＹｅｓ）、人物位置判定処理を終了する。

＜顔認識処理＞
図３は、顔認識処理の流れを示すフローチャートである。

まず、画像取得部１０である顔認識用カメラを起動させ、初期化を行う（ステップＳ３０１）。初期化は、例えば、カメラキャリブレーション等を行う。

次に、人物位置の情報を取得する（ステップＳ３０２）。

続いて、人物が間近にいるか否かを判定する（ステップＳ３０３）。

間近にいなければ（ステップＳ３０３でＮｏ）、ステップＳ３０２に戻り、間近にいれば（ステップＳ３０３でＹｅｓ）、顔のパーツを検出する（ステップＳ３０４）。検出する顔のパーツとしては、目、鼻、口の全てでもいずれかでもよい。

次に、遮蔽物の有無を判定する（ステップＳ３０５）。例えば、顔のパーツがいずれも検出できず、また、カメラ画像全体の輝度が極端に低い場合には、顔カメラの前に遮蔽物が有ると判定する。

遮蔽物があれば（ステップＳ３０５でＹｅｓ）、遮蔽物をどけるように誘導（ステップＳ３０６）した後、ステップＳ３０４に移行する。

一方、遮蔽物がなければ（ステップＳ３０５でＮｏ）、顔認証を開始する（ステップＳ３０７）。尚、本実施形態に係る顔認識装置１００では、顔認証作業を行うための顔認識画像情報の取得を行い、別途用意する認証システムにおいて、認証作業を行うことでもよい。

次に、顔認識用カメラの電源がＯＦＦか否かを判定する（ステップＳ３０８）。

電源がＯＦＦでなければ（ステップＳ３０８でＮｏ）、ステップＳ３０２からステップＳ３０７の処理を繰り返し、電源がＯＦＦであれば（ステップＳ３０８でＹｅｓ）、顔認識処理を終了する。

本実施形態によれば、ヒューマンエラーにより、顔認識システムが動作しないことを防ぐことができる。また、顔認識システムを使用するユーザに不快感を与えるおそれがない。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・顔認識装置
１０・・・画像取得部
２０・・・顔パーツ検出部
３０・・・人物検知センサ
４０・・・人物位置判定部
５０・・・遮蔽物判定部
６０・・・顔認識部
７０・・・表示部

Claims

外部に配設され、人物の画像を取得する画像取得部と、
前記画像取得部からの画像情報を入力し、顔を構成する各パーツを検出する顔パーツ検出部と、
前記画像取得部の近傍に配置され、人物の存在を検知する人物検知センサと、
前記人物検知センサのセンサ出力を取り込んで、人物の位置を判定する人物位置判定部と、
前記顔パーツ検出部から検出信号を取り込み、前記人物位置判定部から判定信号を取り込んで、遮蔽物の有無を判定する遮蔽物判定部と、
前記遮蔽物判定部の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する顔認識部と、
前記遮蔽物判定部で遮蔽物が有ると判定した場合に、遮蔽物をどけるように誘導する表示内容を表示する表示部とを備え、
前記人物位置判定部は、
人物の有無を検出する人物検出部と、
人物が検出された場合に、同一人と推定できる人物を追跡し、その人物の移動ベクトルを算出する人物移動ベクトル算出部から成る顔認識装置。
前記表示部は、前記遮蔽物判定部において遮蔽物が無いと判定される場合に前記顔認識部から受け取った顔認識画像を表示する請求項１に記載の顔認識装置。
前記人物検知センサは、人物の全身を検知する画像センサである請求項１または請求項２に記載の顔認識装置。
前記画像取得部は、人物の顔が写るように配置された顔認識用カメラである請求項１乃至請求項３のいずれか１項に記載の顔認識装置。
前記顔パーツ検出部は、前記画像取得部からの画像情報を所定方向に走査して、目、鼻、口に相当する特徴部分を特定していく請求項１乃至請求項４のいずれか１項に記載の顔認識装置。
前記人物検出部は、背景差分により人物検知を行う請求項１乃至請求項５のいずれか１項に記載の顔認識装置。
前記人物位置判定部は、移動ベクトル及びフレームに写る人物の大きさから、その人物が間近に居るかどうかを判定する請求項１乃至請求項６のいずれか１項に記載の顔認識装置。
前記遮蔽物判定部は、前記顔パーツ検出部による顔のパーツがいずれも検出できず、また、前記画像取得部で取得した画像全体の輝度が極端に低い場合には、遮蔽物が有ると判定する請求項１乃至請求項７のいずれか１項に記載の顔認識装置。