JP4676978B2 - 顔検出装置、顔検出方法、及び、顔検出プログラム - Google Patents

Description

本発明は、撮影した画像から顔を検出する顔検出装置、顔検出方法、及び、顔検出プログラムに関するものである。

従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点を抽出する顔画像の処理装置が開発されている。
先行技術として、例えば特許文献１に記載の技術は、運転者の目の位置を精度良く検出するために、特に発光手段の光量を制御するなどして、車両内の明るさにかかわらず常に鮮明な画像を得るようにすることを狙いとしている。

また、例えば特許文献２に記載の技術は、目の上下幅に対応した幅以下の領域に限定して濃淡レベル変換を行うことで、車両内の陰影を受けた顔画像から目領域を判定することを狙いとしている。
特開昭６０−１６６８０７号公報 特開平０８−３００９７８号公報

しかしながら、昼間には太陽の高度や向き、車体の天井やピラー、或いはサンバイザーなどの陰や木漏れ日などにより顔に陰影が生じ、顔や顔の特徴点の検出が困難になるという問題点があった。例えば、図７に示す画像は太陽光が運転席の斜め上方から当たっており、顔の上半分が車体の天井、或いはサンバイザーの陰になっており、また顔の右半分が車体のピラーの陰になっているような例を示しており、同図に示すように顔に強い陰影が生じている状態では顔面上の輝度値が大きく異なるため、顔や顔の特徴点を正しく検出することができない。
特に晴天時の太陽光の近赤外成分は非常に大きく、特許文献１に記載の技術を用いてその太陽光の近赤外成分による外乱の影響を低減するためには非常に大きな光源を要するといった問題点があった。

また、車両運転中の運転者の顔位置が移動する範囲をカバーする画角のカメラを使用した場合には、運転者の顔に加えて背景も撮影される。しかしながら、特許文献２に記載の画像処理による陰影補正においては、顔全体の検出を行わずに撮像画像全体から目領域などの顔器官のみの判定を行うため、車両運転者の顔の向きや背景が刻々と変化する状況下では、顔器官の誤検出が起こるという問題点があった。
本発明は、このような従来の問題点に着目してなされたものであり、顔に陰影が生じていたり背景が刻々と変化したりする場合にも、画像から正確かつ効率的に顔の検出を行うことを可能とする顔検出装置、顔検出方法、及び、顔検出プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、顔を含む画像を入力する顔画像入力手段と、前記顔画像入力手段により入力された画像から陰影を除去する陰影除去手段と、入力された画像から顔を検出する顔検出手段とを備えた顔検出装置において、前記顔画像入力手段により入力された画像から顔検出の対象となる画像を切り出す画像切出手段と、前記画像切出手段により切り出された切出画像毎に、前記陰影除去手段により除去さ
れるべき陰影があるか否かの判定を行う陰影有無判定手段とを備え、前記陰影有無判定手段は、前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類手段と、前記明暗分類手段により明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較手段とを備えることを特徴とする顔検出装置を提供する。

本発明によれば、顔検出装置は、入力された画像から顔検出の対象となる画像を切り出し、切出画像毎に陰影有無の判定処理を行い、陰影が有ると判定された切出画像から陰影を除去することにより、顔を検出する顔検出手段に入力する画像を生成するため、全体画像から陰影を除去して顔検出を行うのに比べて、誤認識が起こりにくくかつ処理時間を短縮することができる。したがって、顔に陰影が生じていたり背景が刻々と変化したりする場合にも、画像から正確かつ効率的に顔を検出することができる。

さらに、本発明によれば、顔検出装置は明暗分類された領域の面積を比較することにより切出画像内に陰影があるか否かを判定することができるため、正確かつ効率的に陰影があるか否かを判定することができる。

請求項２に記載の発明は、請求項１に記載の顔検出装置において、前記明暗分類手段は、前記切出画像内の各画素を白画素又は黒画素に置換する２値化処理を行う２値化手段と、前記２値化手段により２値化処理が行われた切出画像からノイズを除去するノイズ除去手段と、前記ノイズ除去手段によりノイズが除去された切出画像について、白画素が連続して分布している明領域又は黒画素が連続して分布している暗領域を特定し、各領域毎に面積を計算する面積算出手段とを備えることを特徴とする。
本発明によれば、正確かつ効率的に明領域及び暗領域を特定することができる。

請求項３に記載の発明は、請求項１に記載の顔検出装置において、前記面積比較手段は、前記明暗分類手段により明暗分類がなされた領域のうち、面積が最も大きい第一の領域と、該第一の領域よりも面積が小さくかつ該第一の領域とは異なる明暗分類がなされた第二の領域と、を足し合わせた面積が、前記切出画像の面積に対して第一の所定の値以上の割合を占めるかを判定する占有面積判定手段と、前記第二の領域に対する前記第一の領域の面積比が第二の所定の範囲内にあるかを判定する面積比判定手段とを備えることを特徴とする。
本発明によれば、第一の領域及び第二の領域の占有面積や面積比を判定することで、容易に陰影の有無を判定することができる。

請求項４に記載の発明は、請求項３に記載の顔検出装置において、前記第一の所定の値が０．５以上であることを特徴とする。
請求項５に記載の発明は、請求項３に記載の顔検出装置において、前記第二の所定の範囲が０．１から１．０までの範囲であることを特徴とする。
請求項６に記載の発明は、請求項３から５の何れか１項に記載の顔検出装置において、前記陰影有無判定手段は、前記占有面積判定手段によって前記第一の領域と前記第二の領域とを足し合わせた面積の前記切出画像に占める割合が前記第一の所定の値以上と判定された場合、かつ、前記面積比判定手段によって前記第二の領域に対する前記第一の領域の面積比が第二の所定の範囲内にあると判定された場合に、陰影有りと判定することを特徴とする。
本発明によれば、顔検出に有害な陰影がある条件に該当した場合にのみ陰影ありと判定することができる。

請求項７に記載の発明は、請求項１から６の何れか１項に記載の顔検出装置において、
前記顔画像入力手段は、車両の運転者の顔を含む画像を入力することを特徴とする。
本発明によれば、運転者の顔に陰影ができている場合に、正確かつ効率的に陰影を除去して運転者の顔検出を行うことができる。
請求項８に記載の発明は、請求項１から６の何れか１項に記載の顔検出装置を備えることを特徴とする車両を提供する。
本発明によれば、車両内で運転者の顔検出を行うことができる。

請求項９に記載の発明は、顔を含む画像を入力する顔画像入力ステップと、前記顔画像入力ステップにおいて入力された画像から顔検出の対象となる画像を切り出す画像切出ステップと、前記画像切出ステップにおいて切り出された切出画像毎に、陰影有無の判定を行う陰影有無判定ステップと、前記陰影有無判定ステップにおいて切出画像に陰影が有ると判定された場合に、該切出画像から陰影を除去する陰影除去ステップと、前記陰影有無判定ステップにおいて陰影が有ると判定された場合は前記陰影除去ステップにおいて陰影が除去された切出画像から顔を検出し、前記陰影有無判定ステップにおいて陰影が無いと判定された場合は陰影が除去されていない切出画像から顔を検出する顔検出ステップとを有し、前記陰影有無判定ステップは、前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類ステップと、前記明暗分類ステップにおいて明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較ステップとを有することを特徴とする顔検出方法を提供する。

請求項１０に記載の発明は、コンピュータに、顔を含む画像を入力する顔画像入力ステップと、前記顔画像入力ステップにおいて入力された画像から顔検出の対象となる画像を切り出す画像切出ステップと、前記画像切出ステップにおいて切り出された切出画像毎に、陰影有無の判定処理を行う陰影有無判定ステップと、前記陰影有無判定ステップにおいて陰影が有ると判定された切出画像から陰影を除去する陰影除去ステップと、前記陰影除去ステップにおいて陰影が除去された切出画像から顔を検出する顔検出ステップとを実行させ、前記陰影有無判定ステップにおいては、コンピュータに、前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類ステップと、前記明暗分類ステップにおいて明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較ステップとを実行させるための顔検出プログラムを提供する。

本発明によれば、顔検出装置は、入力された画像から顔検出対象となる画像を切り出し、切出画像毎に陰影有無の判定処理を行い、陰影が有ると判定された切出画像から陰影を除去することにより、顔を検出する顔検出手段に入力する画像を生成するため、全体画像から陰影を除去して顔検出を行うのに比べて、誤認識が起こりにくくかつ処理時間を短縮することができる。したがって、顔に陰影が生じていたり背景が刻々と変化したりする場合にも、画像から正確かつ効率的に顔を検出することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
（構成）
図１は、本発明の実施の形態に係る顔検出装置１０の機能構成を示すブロック図である。同図に示すように、顔検出装置１０は、顔画像入力部１１、画像切出部１２、陰影有無判定部１３、陰影除去部１４及び顔検出部１５を備えている。なお、これらの機能構成は、図示せぬ顔検出装置１０のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）やハードディスク等の記憶装置に記憶されたプログラムを実行することにより顔検出装置１０に実現される。

顔画像入力部１１は、例えば、車内のカメラで撮影された運転者の顔を含む画像を入力し、画像切出部１２に供給する。画像切出部１２は、入力された画像に探索窓を配置し、当該探索窓を走査して、顔検出対象となる画像を順次切り出す。陰影有無判定部１３は、画像切出部１２により切り出された切出画像毎に、陰影有無の判定を行う。陰影除去部１４は、陰影有無判定部１３により陰影が有ると判定された切出画像から陰影を除去する。顔検出部１５は、入力された画像中の顔を画像処理により検出する。

陰影有無判定部１３は、さらに、図２に示すように明暗分類機能１３１と面積比較機能１３２とを備えている。明暗分類機能１３１は、切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する。面積比較機能１３２は、明暗分類機能１３１により明暗分類された領域の面積を比較することにより切出画像内に陰影があるか否かを判定する。

さらに、明暗分類機能１３１は、２値化機能１３１１とノイズ除去機能１３１２と、面積計算機能１３１３とを備えている。２値化機能１３１１は、切出画像内の各画素を白画素又は黒画素に置換する２値化処理を行う。ノイズ除去機能１３１２は、２値化機能１３１１により２値化された切出画像からノイズを除去する。面積計算機能１３１３は、ノイズ除去機能１３１２によりノイズが除去された切出画像について、白画素が連続して分布している明領域又は黒画素が連続して分布している暗領域を特定し、各領域毎に面積を計算する。

また、面積比較機能１３２は、占有面積判定機能１３２１と面積比判定機能１３２２とを備えている。占有面積判定機能１３２１は、明暗分類機能１３１により明暗分類がなされた領域のうち、面積が最も大きい第一の領域と、当該第一の領域よりも面積が小さくかつ当該第一の領域とは異なる明暗分類がなされている第二の領域と、を足し合わせた面積が、切出画像の面積に対して第一の所定の値以上の割合を占めるかを判定する。
面積比判定機能１３２２は、第二の領域に対する第一の領域の面積比が第二の所定の範囲内にあるかを判定する。
本実施の形態では、陰影有無判定部１３は、第一の領域と第二の領域とを足し合わせた面積の切出画像に占める割合が第一の所定の値以上であると判定された場合、かつ、第二の領域に対する第一の領域の面積比が第二の所定の範囲内にあると判定された場合に、陰影有りと判定する。

（顔検出処理）
次に、図３に示すフローチャートを参照して、顔検出装置１０が行う顔検出処理について説明する。
Ｓｔｅｐ１０では、顔画像入力部１１は、運転者の撮像画像を入力し、当該画像上に顔検出のための探索窓を配置する。
Ｓｔｅｐ１１では、画像切出部１２は、探索窓を走査して画像を切り出し、切出画像を得る。
Ｓｔｅｐ１２では、陰影有無判定部１３は、切出画像内に陰影が存在するかどうかを判定する陰影判定処理を行う。
陰影が存在していると判定した場合にのみＳｔｅｐ１３において陰影除去部１４は陰影除去処理を行う。
Ｓｔｅｐ１４では、陰影が存在していると判定した場合は陰影除去処理を行った上で、陰影が存在していないと判定した場合は陰影除去処理を行わずに、顔検出部１５が切出画像の顔検出処理を行う。

（陰影判定処理）
次に、本発明の特徴であるＳｔｅｐ１２の陰影判定処理について、図４に示すフローチャートを参照して詳しく説明する。
Ｓｔｅｐ１１で切り出した濃淡画像に対して、２値化機能１３１１はＳｔｅｐ２０において２値化処理を施し、明暗領域分割を行う。この例においては、２値化の方法として、画素値のヒストグラムの山と山の間の谷の底を閾値とするモード法を用いるが、その他、黒画素クラスに属する画素と白画素クラスに属する画素の分布の分離度が大きくなるように閾値を決める判別分析法や、画素値の低いところからの頻度値を積算し、あらかじめ決めておいた画素数を超えたときの画素値を閾値とするｐ−タイル法などを用いてもよい。

その後、２値化を行った明暗領域分割画像に対してノイズ除去を行うために、Ｓｔｅｐ２１においてノイズ除去機能１３１２が収縮・膨張処理を行う。ここで、収縮処理とは、背景または背景以外の領域である穴に接する対象の画素をひとまわり剥ぎ取る処理であり、膨張処理とは、逆に、背景または穴に接する対象の画素に、画素をひとまわり加える処理である。膨張処理と収縮処理の処理順は特に限定されるものではない。なお、膨張処理と収縮処理とを同じ回数行うことで、鼻の穴等の顔の特徴部分については、膨張・収縮処理を行う前の状態で残すことが可能となる。

Ｓｔｅｐ２２では、Ｓｔｅｐ２１において膨張・収縮処理を施した各画素についてラベリング処理を施す。具体的には、隣接する画素値と同じ画素値を有する画素、すなわち、同じ明暗領域となる連続した連結成分を構成する画素に対して同じラベルを付け、異なる連結成分を構成する画素に異なるラベルを付ける。
Ｓｔｅｐ２３では、面積計算機能１３１は、同じラベルが付けられた連結成分で構成される連結領域の面積或いは面積に相当する画素数を計算する。
Ｓｔｅｐ２４では、陰影有無判定部１３は、陰影有無判定に使用する白画素領域の面積Ｗと黒画素領域の面積Ｂとを求め、面積Ｗと面積Ｂを足し合わせた面積の、切出画像の面積に占める割合Ｃ１を計算する。

Ｓｔｅｐ２５では、占有面積判定機能１３２１は、白画素領域と黒画素領域とを足し合わせた領域が切出画像の大部分である（例えば、割合Ｃ１が０．９（「第１の所定の値」に対応）以上）かどうかを判定する。ここで、白画素領域と黒画素領域とを足し合わせた領域が切出画像の大部分であるという意味は、切出画像が大きな白画素領域と黒画素領域とで占められていることを示す。なお、鼻等の顔器官の検出を行う場合には、面積Ｗと面積Ｂを足し合わせた面積の切出画像の面積に占める割合が過半（例えば、割合Ｃ１が０．５以上）であってもよい。

割合Ｃ１が０．９を超えている場合には、Ｓｔｅｐ２６において、面積Ｗと面積Ｂのうち小さい面積に対する大きい面積の比率Ｃ２を算出し、面積比判定機能１３２２は白画素領域と黒画素領域の面積が同程度、すなわち、例えば、比率Ｃ２が０．２５から１．０までの範囲内（「第二の所定の範囲内」に対応））であるか否かを判定する。比率Ｃ２が０．２５から１．０までの範囲内であれば、陰影有無判定部１３は陰影有りと判定する。ここで、白画素領域と黒画素領域の面積が同程度という趣旨は、探索窓を切り出した切出画像内に明るい領域と暗い領域が同程度含まれていることを示している。明るい領域と暗い領域の面積比に大きな差がある場合には、切出画像内はほぼ均一の明るさであるものと想定されるため、陰影除去処理を施す必要はないと判断する。なお、第二の所定の範囲内は０．２５から１．０までの範囲内に限定されることはなく、例えば、０．１から１．０までの範囲内であってもよい。

（白画素領域の面積Ｗと黒画素領域の面積Ｂの求め方）
次に、図５に示すフローチャートを参照して、上記Ｓｔｅｐ２４における白画素領域の面積Ｗと黒画素領域の面積Ｂの求め方について詳しく説明する。
Ｓｔｅｐ３０においては、図４のＳｔｅｐ２２においてラベリングされＳｔｅｐ２３において面積が計算されたそれぞれの連結領域の内、最大面積の領域を判定し、その最大面積領域が白画素領域の場合にはその面積をＷとし、黒画素領域の場合にはその面積をＢとする。
そして、Ｓｔｅｐ３１において、現在処理を行っている連結領域番号として、Ｎに１をセットし、連結領域の面積の大きなほうからの通し番号とする。

次に、Ｓｔｅｐ３２において、Ｎに１を加え、２番目の連結領域の処理に移る。
Ｓｔｅｐ３３において、面積が２番目に大きい連結領域を選定し、Ｓｔｅｐ３４において、その領域の画素の色（白、或いは黒）が、最大面積の連結領域の画素の色（白、或いは黒）と同じであるか異なるかを判定する。画素の色が異なる場合には、Ｓｔｅｐ３６において、２番目に面積が大きい連結領域が黒画素領域の場合にはその面積をＢとし、白画素領域の場合にはその面積をＷとする。

一方、Ｓｔｅｐ３４において、２番目に面積が大きい連結領域の画素の色が最大面積の連結領域の画素の色と同じである場合には、Ｓｔｅｐ３５において、最大面積の連結領域と２番目に面積が大きい連結領域とが同じ白画素領域の場合には、２番目に面積が大きい連結領域の面積を面積Ｗに加え、最大面積の連結領域と２番目に面積が大きい連結領域とが同じ黒画素領域の場合には、２番目に面積が大きい連結領域の面積を面積Ｂに加える。そして、Ｓｔｅｐ３２に戻り、連結領域番号Ｎに１を加え、Ｎを３として、Ｓｔｅｐ３３において３番目に面積が大きい連結領域を判定し、Ｓｔｅｐ３４において同様の処理を繰り返す。

以上のように、面積の大きな連結領域から順番に判定を行い、白画素領域と黒画素領域が共に揃った時点の面積Ｗ及び面積Ｂが、図４のＳｔｅｐ２４〜Ｓｔｅｐ２７における白画素領域の面積Ｗ及び黒画素領域の面積Ｂとして用いられ、白画素領域の面積Ｗと黒画素領域の面積Ｂとの合計面積の切出画像全体に占める割合、及び白画素領域の面積Ｗと黒画素領域の面積Ｂとの面積比に基づいて、陰影有無の判定が実施される。

（陰影除去処理）
次に、図６を参照して、陰影除去部１４が行う陰影除去処理について説明する。陰影除去部１４は、入力画像全体を走査し、切り出した切出画像ごとの陰影有無判定により、陰影が存在すると判定された切出画像に対して陰影除去処理を実施する。ここでは陰影除去処理の一例として、公知の局所正規化法による陰影除去処理について述べる。
まず、切出画像の画素に対してローパス・フィルターを適応し、スムージングを行った画像を用意し（Ｓｔｅｐ４１）、切出画像からそのスムージング画像を差し引いて差分画像を生成する。次に、その差分画像の各画素値を２乗し（Ｓｔｅｐ４２）、その２乗画素値の画像に対してローパス・フィルター処理によるスムージングを実施する（Ｓｔｅｐ４３）。その後、各画素値に対して平方根をとった画像を用意し（Ｓｔｅｐ４４）、当該画像で差分画像を割ることで（Ｓｔｅｐ４５）、陰影除去処理を実施する。

以上の陰影有無判定処理と陰影除去処理について、具体的な処理画像の例を用いて説明する。
図７に、本発明において課題としている典型的な車両運転者の顔面上に陰影がかかった撮影画像の例を示す。太陽光が運転席の前方斜め上方から当たっており、運転者の顔の上半分が車体の天井、或いはサンバイザーの陰になっており、また顔の右半分が車体のピラーの陰になっている。このように運転者の顔面に車両構造物によって非常に強い陰影が生じている撮影画像に対して顔検出を行う場合の探索窓ごとの陰影有無判定処理と陰影除去処理を例として示す。

図３のＳｔｅｐ１０で入力された図７の撮影画像に対して、図３のＳｔｅｐ１１の顔検出用の探索窓の走査を実施する。そして、顔検出に有害な陰影存在領域に限定した陰影除去処理を行うための探索窓ごとの陰影有無判定処理の例として、図８に示すように、白枠で示した探索窓の走査位置が運転者の顔領域にある場合と、図１３に示すように、白枠で示した探索窓の走査位置が運転者の顔領域にない場合の、２つの処理画像例を示す。
図８に示す探索窓の走査位置が運転者の顔領域にある場合の、探索窓の切出画像を図９に示す。また、図１３に示す探索窓の走査位置が運転者の顔領域にない場合の、探索窓の切出画像を図１４に示す。

そして、この切出画像に対して、図４のＳｔｅｐ２０における２値化による明暗領域分割を実施した画像を図１０と図１５のそれぞれに示す。図１０と図１５に示すように、一般的に２値化による明暗領域分割では、光環境の影響によるノイズが生じる。
この図１０と図１５に示されるような２値化ノイズを除去する目的で、図４のＳｔｅｐ２１における収縮・膨張処理によるノイズ除去を実施し、図１１と図１６に示す２値化ノイズを除去したぞれぞれの画像を得る。

この図１１と図１６に示す画像に対して、図４のＳｔｅｐ２２における連結領域のラベリング処理を行い、図１２及び図１７のそれぞれに示すようなラベル付けを行う。なお、図１２及び図１７中の丸数字は、同数字が付けられたラベルを意味する。図１２の場合には、最も大きな連結領域として陰影がかかった黒画素領域がラベル１となり、次に大きな連結領域として顔面の白画素領域がラベル２となり、その次に大きな連結領域として鼻の穴の黒画素領域がラベル３となり、その次に大きな連結領域として首の明るい部分の白画素領域がラベル４となる。図１７の場合には、最も大きな連結領域として陰影がかかった黒画素領域がラベル１となり、次に大きな連結領域として顔面の白画素領域がラベル２となり、その次に大きな連結領域として鼻の穴の黒画素領域がラベル３となる。

そして、図１２と図１７のそれぞれに示したようなラベル付けされた連結領域に対して、図５で示した処理フローに従い、図９と図１４のそれぞれの切出画像における白画素領域の面積Ｗと黒画素領域の面積Ｂを求める。
図９の切出画像の場合には、図１２に示すように、白画素領域がラベル２の連結領域となり、黒画素領域がラベル１の連結領域となり、その和の切出画像全体に占める割合が０．９９となり、また白画素領域と黒画素領域の比が０．３０となるため、陰影除去処理をすべき陰影が存在すると判定される。そして、図９に示す切出画像に対して、一例として図６に示した陰影除去処理（図３のＳｔｅｐ１３）が実施され、図１８（ｂ）に示すような陰影除去処理画像を得る。そして、この図１８に示す陰影除去処理画像を用いて、図３のＳｔｅｐ１４における顔検出が実施される。

一方、図１４に示す切出画像の場合には、図１７に示すように、白画素領域がラベル２の連結領域となり、黒画素領域がラベル１の連結領域となり、その和が切出画像全体に占める割合が０．９７となり、また白画素領域と黒画素領域の比が０．０４となるため、陰影除去処理をすべき陰影が存在しないと判定され、図３のＳｔｅｐ１３における陰影除去処理は行われず、図１４に示す切出画像のまま、図３のＳｔｅｐ１４の顔検出処理が実施される。

以上説明したように、顔検出装置１０は、撮影された画像に対して探索窓を走査し画像を切り出し、その走査切り出しを行った切出画像毎に、顔或いは顔器官の検出に有害な陰影有無判定を行い、除去すべき陰影が存在する切出画像に対してのみ陰影除去処理を行うことにより、従来のように撮影画像全体に対して陰影除去処理を実施するのではなく、顔或いは顔器官の検出に有害な陰影存在領域に限定して陰影除去処理を実施するものである。そのため、例えば、車両運転手の刻々と変化する背景画像の影響を受けることなく、正確かつ効率的に顔領域の陰影除去を行い、顔検出を行うことができる。

本発明は、車内の運転者等の顔に陰影が生じ背景が刻々と変化する環境において、顔の撮像画像から陰影を効率的かつ正確に除去して顔検出を行う顔検出装置に利用することができる。

本発明の実施の形態に係る顔検出装置の機能構成を示すブロック図である。 同実施の形態に係る顔検出装置の陰影有無判定部の機能構成を示すブロック図である。 同実施の形態に係る顔検出装置が行う顔検出処理の流れを示すフローチャートである。 同実施の形態に係る陰影有無判定部が行う陰影判定処理の流れを示すフローチャートである。 同実施の形態に係る白画素領域の面積と黒画素領域の面積の求め方を示すフローチャートである。 同実施の形態に係る陰影除去部が行う陰影除去処理を示すフローチャートである。 顔面上の陰影例を示す図である。 探索窓の走査位置が運転者の顔領域にある場合の一例を示す図である。 図８に示す探索窓の切出画像を示す図である。 図９に示す切出画像の２値化による明暗領域分割処理画像を示す図である。 図１０に示す画像の収縮・膨張処理によるノイズ除去処理画像を示す図である。 図１１に示す画像の連結領域へのラベリングの一例を示す図である。 探索窓の走査位置が運転者の顔領域にない場合の一例を示す図である。 図１３に示す探索窓の切出画像を示す図である。 図１４に示す切出画像の２値化による明暗領域分割処理画像を示す図である。 図１５に示す画像の収縮・膨張処理によるノイズ除去処理画像を示す図である。 図１６に示す画像の連結領域へのラベリングの一例を示す図である。 （ａ）は切出画像であり、（ｂ）は（ａ）の切出画像に対する陰影除去処理実施後の陰影除去処理画像である。

符号の説明

１０ 顔検出装置
１１ 顔画像入力部
１２ 画像切出部
１３ 陰影有無判定部
１４ 陰影除去部
１５ 顔検出部
１０４ 陰影除去部
１３１ 明暗分類機能
１３１ 面積計算機能
１３２ 面積比較機能
１３１１ ２値化機能
１３１２ ノイズ除去機能
１３１３ 面積計算機能
１３２１ 占有面積判定機能
１３２２ 面積比判定機能

Claims (10)

1. 顔を含む画像を入力する顔画像入力手段と、前記顔画像入力手段により入力された画像から陰影を除去する陰影除去手段と、入力された画像から顔を検出する顔検出手段とを備えた顔検出装置において、
   前記顔画像入力手段により入力された画像から顔検出の対象となる画像を切り出す画像切出手段と、
   前記画像切出手段により切り出された切出画像毎に、前記陰影除去手段により除去されるべき陰影があるか否かの判定を行う陰影有無判定手段と
   を備え、
   前記陰影有無判定手段は、
   前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類手段と、
   前記明暗分類手段により明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較手段とを備えることを特徴とする顔検出装置。
2. 前記明暗分類手段は、
   前記切出画像内の各画素を白画素又は黒画素に置換する２値化処理を行う２値化手段と、
   前記２値化手段により２値化処理が行われた切出画像からノイズを除去するノイズ除去手段と、
   前記ノイズ除去手段によりノイズが除去された切出画像について、白画素が連続して分布している明領域又は黒画素が連続して分布している暗領域を特定し、各領域毎に面積を計算する面積算出手段とを備えることを特徴とする請求項１に記載の顔検出装置。
3. 前記面積比較手段は、
   前記明暗分類手段により明暗分類がなされた領域のうち、面積が最も大きい第一の領域と、該第一の領域よりも面積が小さくかつ該第一の領域とは異なる明暗分類がなされた第二の領域と、を足し合わせた面積が、前記切出画像の面積に対して第一の所定の値以上の割合を占めるかを判定する占有面積判定手段と、
   前記第二の領域に対する前記第一の領域の面積比が第二の所定の範囲内にあるかを判定する面積比判定手段とを備えることを特徴とする請求項１に記載の顔検出装置。
4. 前記第一の所定の値が０．５以上であることを特徴とする請求項３に記載の顔検出装置。
5. 前記第二の所定の範囲が０．１から１．０までの範囲であることを特徴とする請求項３に記載の顔検出装置。
6. 前記陰影有無判定手段は、前記占有面積判定手段によって前記第一の領域と前記第二の領域とを足し合わせた面積の前記切出画像に占める割合が前記第一の所定の値以上であると判定された場合、かつ、前記面積比判定手段によって前記第二の領域に対する前記第一の領域の面積比が第二の所定の範囲内にあると判定された場合に、陰影有りと判定することを特徴とする請求項３から５の何れか１項に記載の顔検出装置。
7. 前記顔画像入力手段は、車両の運転者の顔を含む画像を入力することを特徴とする請求項１から６の何れか１項に記載の顔検出装置。
8. 請求項１から６の何れか１項に記載の顔検出装置を備えることを特徴とする車両。
9. 顔を含む画像を入力する顔画像入力ステップと、
   前記顔画像入力ステップにおいて入力された画像から顔検出の対象となる画像を切り出す画像切出ステップと、
   前記画像切出ステップにおいて切り出された切出画像毎に、陰影有無の判定を行う陰影有無判定ステップと、
   前記陰影有無判定ステップにおいて切出画像に陰影が有ると判定された場合に、該切出画像から陰影を除去する陰影除去ステップと、
   前記陰影有無判定ステップにおいて陰影が有ると判定された場合は前記陰影除去ステップにおいて陰影が除去された切出画像から顔を検出し、前記陰影有無判定ステップにおいて陰影が無いと判定された場合は陰影が除去されていない切出画像から顔を検出する顔検出ステップとを有し、
   前記陰影有無判定ステップは、
   前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類ステップと、
   前記明暗分類ステップにおいて明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較ステップとを有することを特徴とする顔検出方法。
10. コンピュータに、
    顔を含む画像を入力する顔画像入力ステップと、
    前記顔画像入力ステップにおいて入力された画像から顔検出の対象となる画像を切り出す画像切出ステップと、
    前記画像切出ステップにおいて切り出された切出画像毎に、陰影有無の判定処理を行う陰影有無判定ステップと、
    前記陰影有無判定ステップにおいて陰影が有ると判定された切出画像から陰影を除去する陰影除去ステップと、
    前記陰影除去ステップにおいて陰影が除去された切出画像から顔を検出する顔検出ステップとを実行させ、
    前記陰影有無判定ステップにおいては、コンピュータに、
    前記切出画像を、明度が比較的明るい明領域と比較的暗い暗領域とに分類する明暗分類ステップと、
    前記明暗分類ステップにおいて明暗分類された領域の面積を比較することにより前記切出画像内に陰影があるか否かを判定する面積比較ステップとを実行させるための顔検出プログラム。