JP2009123081A - 顔検出方法及び撮影装置 - Google Patents

Abstract

【課題】高速にかつ精度良く顔領域を検出すること。
【解決手段】固体撮像素子から出力される画像データを取り込み（ステップＳ１）、縮小画像データを生成（ステップＳ２）した後、顔パターンと縮小画像データとのパターンマッチング処理を実行し、顔パターンと所定値以上の相関を有する顔領域候補を抽出する（ステップＳ３）。顔領域候補を抽出すると（ステップＳ４のＹＥＳ判定）、抽出した各顔候補領域から人物の顔として確からしい顔領域を肌色判定処理により特定する（ステップＳ５）とともに、各顔候補領域について、顔部品パターンとのパターンマッチング処理を実行し、該顔候補領域中から顔部品領域を検出する（ステップＳ６）。そして、抽出した各顔部品領域の相対位置関係に基づき、肌色判定処理により特定した顔領域が真の顔領域であるか否かを判定する（ステップＳ７）。
【選択図】図３

Description

本発明は、撮像画像の中に存在する人物の顔領域を検出する顔検出方法及び撮影装置に関する。

近年、デジタルビデオカメラやデジタルスチルカメラ等の撮影装置には、人物を被写体とした場合に、人物の顔に焦点を合わせるフォーカス処理や、顔が綺麗に写るように露出調整処理やホワイトバランス補正処理を自動的に行う機能を搭載するものがあり、人物の顔にピント、色、明るさが適正化された画像を容易に撮影することができるようになっている。

例えば、デジタルスチルカメラでは、静止画像を撮影する前に固体撮像素子から順次に取り込まれる撮像画像データを解析することで画像中の顔領域を抽出し、抽出した顔領域に焦点を合わせ、その顔領域を対象として露出調整やホワイトバランス補正を自動的に行う。

撮像画像中からの顔領域の検出は、精度良く行う必要がある。顔領域を誤検出すると、本来は顔でない部分を顔としてフォーカス処理をしてしまうため、人物の顔に焦点のあっていない画像（いわゆるピンぼけ画像）が撮像されてしまい、露光不良、ホワイトバランス不良が発生して、人物の顔が不自然な色になってしまうためである。

このため、顔領域の検出は、一般的に、画像中から顔領域の候補（顔候補領域）を抽出する第１ステップと、抽出した顔候補領域が人物の顔として確からしいか否かを判定する第２ステップとに分けられる。例えば、第１ステップはパターンマッチング法により行われ、第２ステップは肌色検出法により行われる。

パターンマッチング法とは、人間の顔を正面から見たパターンや横から見たパターン、大人の顔パターンや幼児の顔パターンなど各種の顔パターンを撮影装置内のメモリにテンプレートとして保持しておき、これらのテンプレートと撮像画像内の各部分領域との相関を取り、相関が高い部分領域を顔候補領域として抽出する方法である。

肌色検出法とは、１画面の撮像画像を、例えば８×８＝６４の領域に分割し、分割領域ごとのＲ（赤），Ｇ（緑），Ｂ（青）の積算データにより各分割領域の色相を求め、色相が肌色となる分割領域内に顔が存在すると判定する方法である。

以上の顔検出技術に関連して、抽出した顔候補領域中からさらに人物の顔に付属する目、鼻、口などの顔部品の検出を行う方法が知られている（例えば、特許文献１参照）。このように、顔候補領域から顔部品を検出することにより、顔以外の領域を顔領域として誤検出することをより確実に防止することができ、検出精度の向上が期待される。また、顔部品を検出することで、顔領域の大きさをより正確に判定することが可能となる。
特開２００６−２２８０６１号公報

しかしながら、顔検出の検出精度を向上させるために、上記の処理に加えて、顔部品の検出処理を行うとなると、演算処理が長くなるため、動画像の１フレーム期間（例えば１／３０秒）内に顔検出処理が終了するか否かといった時間的な問題が生じる。次のフレームまでに顔検出処理が終了し顔領域が特定されなければ、当然、顔領域を対象とした処理（フォーカス処理、露出調整処理、ホワイトバランス補正処理等）を実行することができない。１フレーム期間内に顔検出処理が終了しないのであれば、２フレーム以上の期間を掛けて顔検出処理を行わざるを得ず、顔領域の追跡性能は低下してしまう。

本発明は、上記課題を鑑みてなされたものであり、１フレーム画像から高速にかつ精度良く顔領域を検出することができる顔検出方法及び撮影装置を提供することを目的とする。

上記目的を達成するために、本発明の顔検出方法は、固体撮像素子から出力される撮像画像の中に存在する人物の顔領域を検出する顔検出方法において、顔パターンと前記撮像画像とのパターンマッチング処理を実行し、該撮像画像中から該顔パターンと所定値以上の相関を有する顔領域候補を抽出する顔候補領域検出ステップと、前記顔候補領域検出ステップで抽出した各顔候補領域から人物の顔として確からしい顔領域を特定する絞り込み処理ステップと、前記顔候補領域検出ステップで抽出した各顔候補領域について、顔部品パターンとのパターンマッチング処理を実行し、該顔候補領域中から顔部品領域を検出する顔部品領域検出ステップと、前記顔部品領域検出ステップで検出した各顔部品領域の相対位置関係に基づき、前記絞り込み処理ステップで特定した顔領域が真の顔領域であるか否かを判定する判定ステップと、を備えたことを特徴とする。

前記絞り込み処理ステップは、前記顔候補領域検出ステップで抽出した顔候補領域の色相を調べ、色相が肌色であるか否かにより、人物の顔としての確からしい顔領域を特定することが好ましい。

また、本発明の撮影装置は、固体撮像素子から出力される撮像画像の中に存在する人物の顔領域を検出する撮影装置において、顔パターンと前記撮像画像とのパターンマッチング処理を実行し、該撮像画像中から該顔パターンと所定値以上の相関を有する顔領域候補を抽出する顔候補領域検出手段と、前記顔候補領域検出手段が抽出した各顔候補領域から人物の顔として確からしい顔領域を特定する絞り込み処理手段と、前記顔候補領域検出手段が抽出した各顔候補領域について、顔部品パターンとのパターンマッチング処理を実行し、該顔候補領域中から顔部品領域を検出する顔部品領域検出手段と、前記顔部品領域検出手段が検出した各顔部品領域の相対位置関係に基づき、前記絞り込み処理手段が特定した顔領域が真の顔領域であるか否かを判定する判定手段と、を備えたことを特徴とする。

前記絞り込み処理手段は、前記顔候補領域検出手段が抽出した各顔候補領域の色相を調べ、色相が肌色であるか否かにより、人物の顔としての確からしい顔領域を特定することが好ましい。

本発明によれば、絞り込み処理と並行して顔部品領域検出処理を実行するので、高速にかつ精度良く顔領域を検出することができる。

図１において、本発明の一実施形態に係る撮影装置１０は、被写界からの入射光を取り込み結像する撮影レンズ１１と、この入射光の結像面に受光面が配置されたＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子１２と、固体撮像素子１２から出力される撮像画像データを相関二重サンプリング処理や利得調整処理、アナログ／デジタル変換処理するアナログフロントエンドプロセッサ（ＡＦＥ）１３とを備える。

さらに、撮影装置１０は、ＡＦＥ１３から出力される撮像画像データを並列に取り込む信号処理部１４及び顔検出処理部１５と、信号処理部１４に接続された画像データ格納メモリ１６とを備え、顔検出処理部１５が検出した顔情報が信号処理部１４に出力されるように構成されている。

信号処理部１４は、撮像画像データに対してオフセット処理やガンマ補正処理、ＲＧＢ／ＹＣ変換処理等を施し、さらにＪＰＥＧ画像に圧縮するなどした画像データを記録メディア（図示せず）に出力して保存したり、スルー画像として撮影装置背面などに搭載される表示部（図示せず）に表示させたりする。

また、信号処理部１４は、各部を制御する主制御回路（ＣＰＵ）１７を備え、顔検出処理部１５から送られてくる顔情報（顔領域の座標データ）に基づいて露光調整、ホワイトバランス補正等を行い、撮影レンズ１１に対しフォーカス位置の制御指示を行う。

顔検出処理部１５は、ＡＦＥ１３から取り込んだ撮像画像データを間引き処理するなどして縮小画像データを生成する前処理部１８と、この縮小画像データを格納する縮小画像データ格納メモリ１９と、予め用意された各種の顔パターン及び顔部品パターンのテンプレートデータを格納するテンプレートデータ格納メモリ２０と、縮小画像データから人物の顔らしい顔領域を検出する顔領域検出部２１と、この顔領域から顔部品を検出する顔部品検出部２２と、顔領域及び顔部品の検出結果から真の顔領域を判定する判定部２３とを備え、検出した真の顔領域の座標データを顔情報として信号処理部１４に通知する。

顔領域検出部２１は、図２に示すように、縮小画像データと顔パターンのテンプレートデータとを用いてパターンマッチング処理を行うパターンマッチング部２１ａと、パターンマッチング部２１ａにより検出された顔候補領域の色相が肌色であるか否かの判定を行う肌色判定部２１ｂとから構成されている。

パターンマッチング部２１ａは、縮小画像データ格納メモリ１９に格納された縮小画像データを輝度値で表された画像データ（グレイ画像データ）とし、テンプレートデータとの相関値が所定の閾値より大きい領域を顔候補領域として抽出する。具体的には、テンプレート（顔パターン）を各画像データ内で１画素ずつずらしながら、その各位置でテンプレートとそれに重なる部分画像との相関値ｒを下記の式（１）に基づいて計算する。

式（１）では、テンプレートの画素値をｇで表し、テンプレートと重なる部分画像の画素値をｆで表し、それらの領域内での各画素値の総和を（Σｇ），（Σｆ）、各画素値の２乗和を（Σｇ^２），（Σｆ^２）、テンプレートＴとそれに対応する部分画像との対応する画素の画素値の積の総和を（Σｆｇ）、テンプレートの画素数をｎとしている。相関値ｒは、０≦ｒ≦１の範囲の値を取り、テンプレートとの合致度が高い領域ほど１に近い値を示す。

肌色判定部２１ｂは、縮小画像データ格納メモリ１９に格納された縮小画像データを１画面の撮像画像データを、例えば、８×８＝６４の分割領域に分割し、分割領域ごとにＲ，Ｇ，Ｂの色信号の積算値をそれぞれ算出することで各分割領域の色相を求め、パターンマッチング部２１ａで抽出された顔候補領域の色相が肌色であるか否かを判定することにより顔候補領域を取捨選択して、人物の顔として確からしい顔候補領域を顔領域として特定し、この結果を判定部２３に入力する。

顔部品検出部２２は、テンプレートデータ格納メモリ２０に格納された、目、鼻、口などの顔部品パターンのテンプレートデータを用い、顔領域検出部２１のパターンマッチング部２１ａの処理が終了した時点で得られる各顔候補領域を対象としてパターンマッチングを行い、各顔候補領域から顔部品領域を検出し、この結果を判定部２３に入力する。つまり、この顔部品検出部２２による顔部品領域の検出処理は、上記の肌色判定部２１ｂによる判定処理と並行して行われる。なお、顔部品検出部２２によるパターンマッチングは、上記の式（１）に基づいて、上記と同様な方法で行われる。

判定部２３は、顔部品検出部２２から入力される顔部品領域の検出情報から、肌色判定部２１ｂから入力される顔領域内に顔部品領域が検出されたか否かを判定し、顔部品領域が検出された場合には、顔部品領域の相対位置関係（両目の位置に対する鼻や口の相対位置関係など）から、該顔領域が真の顔領域であるか否かを判定する。

次に、図３に示すフローチャートに沿って、顔検出処理部１５が行う顔検出処理の処理手順を説明する。固体撮像素子１２からは、第１フレーム画像、第２フレーム画像、第３フレーム画像、・・・と、順次に撮像画像データが出力されている。

顔検出処理部１５は、まずステップＳ１で、第１フレームの撮像画像データをＡＦＥ１３から取り込み、ステップＳ２で、前処理部１８が縮小画像データを生成する。この縮小画像データの縮小率は、数百万画素からなる撮像画像データを、比較的小さな容量の縮小画像データ格納メモリ１９に格納できる値とする。

次のステップＳ３（顔候補領域検出ステップ）では、顔領域検出部２１のパターンマッチング部２１ａが顔パターンのテンプレートをテンプレートデータ格納メモリ２０から取り出してパターンマッチング処理を行う。このパターンマッチング処理では、図４に示すように、縮小画像データ３０上で顔パターンのテンプレート３１を走査しながら、上記の式（１）で算出されるテンプレート３１と縮小画像データ３０中の部分画像との相関値ｒが所定の閾値以上であるか否かを順次に求め、その閾値以上の相関値ｒを有する部分画像を顔候補領域とし、この顔候補領域の縮小画像データ３０上での座標を求める。

縮小画像データ３０上でのテンプレート３１の走査が終了すると、次に、テンプレート３１を所定倍率だけ拡大（または縮小）したテンプレート３２を生成し、この拡大したテンプレート３２を縮小画像データ３０上で走査して再びパターンマッチング処理を行う。

予め用意された顔パターンのテンプレートが複数ある場合には、全ての顔パターンのテンプレートを用いて前述のパターンマッチング処理を繰り返し、得られた顔候補領域を示す座標データを記憶しておく。

図４に示す例では、矩形枠３３ａ，３３ｂで囲まれる領域に顔候補領域が抽出されている。顔候補領域３３ｂは、真の人物の顔画像領域であるが、顔候補領域３３ａは、樹木のパターンを顔画像として誤抽出したものである。

次のステップＳ４では、ステップＳ３で顔候補領域が検出されたか否かを判定し、顔候補領域が検出されなかった場合には、後述のステップＳ８へ進み、顔候補領域が検出されなかった旨の情報を信号処理部１４に通知する。

図４に示す例では、顔候補領域３３ａ，３３ｂが存在するため、ステップＳ４では、顔候補領域が検出されたと判定される。この場合には、ステップＳ５及びステップＳ６へ進む。ステップＳ５及びステップＳ６は、検出された顔候補領域３３ａ，３３ｂの情報（座標データ）に基づき、並行して行われる。

ステップＳ５（絞り込み処理ステップ）では、肌色判定部２１ｂが肌色検出処理を行う。肌色判定部２１ｂは、縮小画像データ３０の各分割領域（例えば、８×８＝６４の分割領域）から色相データを算出し、顔領域候補３３ａ，３３ｂの色相を調べ、色相が肌色である顔候補領域を顔領域として特定する。図４に示す例では、顔領域候補３３ａは、樹木の画像であり緑色をしているため、顔領域として特定されず、顔領域候補３３ｂは、人物の顔画像であり肌色をしているため、顔領域として特定される。

ステップＳ６（顔部品領域検出ステップ）では、顔部品検出部２２が顔部品パターンのテンプレートをテンプレートデータ格納メモリ２０から取り出してパターンマッチング処理を行う。このパターンマッチング処理では、図５に示すように、顔候補領域３３ａ，３３ｂ上で顔部品パターンのテンプレート３４を走査しながら、上記の式（１）で算出されるテンプレート３４と顔候補領域３３ａ，３３ｂ中の部分画像との相関値ｒが所定の閾値以上であるか否かを順次に求め、その閾値以上の相関値ｒを有する部分画像を顔部品領域とし、この顔部品領域の顔候補領域上での座標を求める。

顔候補領域３３ａ，３３ｂ上でのテンプレート３４の走査が終了すると、次に、テンプレート３１を所定倍率だけ拡大（または縮小）したテンプレート（図示せず）を生成し、この拡大したテンプレートを顔候補領域３３ａ，３３ｂ上で走査して再びパターンマッチング処理を行う。

予め用意された顔部品パターンのテンプレートが複数ある場合には、全ての顔部品パターンのテンプレートを用いて上述のパターンマッチング処理を繰り返し、得られた顔部品領域を示す座標データを記憶しておく。

図５に示す例では、顔候補領域３３ａからは顔部品領域は検出されず、顔候補領域３３ｂからは顔部品領域が検出される。図６に示す矩形枠３５〜３８は、顔候補領域３３ｂから検出された顔部品領域を示している。顔部品領域３５，３６は目の画像領域であり、顔部品領域３７は鼻の画像領域であり、顔部品領域３８は口の画像領域である。

ステップＳ７（判定ステップ）では、判定部２３により、肌色判定部２１ｂから入力される顔領域（図４に示す例では、顔領域候補３３ｂ）内に顔部品が検出されたか否かを判定し、顔部品が検出された場合には、顔部品領域（図６に示す例では、顔部品領域３５〜３８）の相対位置関係（両目の間隔に対する目や鼻までの距離の関係等）から、該顔領域が真の顔領域であるか否かを判定する。

次のステップＳ８では、判定部２３により、検出した真の顔領域の座標データを顔情報として信号処理部１４に通知する。なお、真の顔領域が検出されなかった場合には、顔領域が検出されなかった旨の情報を信号処理部１４に通知する。

顔検出処理部１５は、１フレーム周期ごとに以上のステップＳ１〜８を繰り返し実行する。信号処理部１４は、１フレーム周期ごとに顔検出処理部１５から通知される顔情報に基づき、フォーカス処理，露光量調整，ホワイトバランス補正処理等を実行する。これにより、人物の顔にピント、色、明るさが適正化された画像を容易に撮影することができる。

以上述べたように、本実施形態によれば、顔領域検出部２１が第１ステップとして顔候補領域を抽出した後に行う第２ステップの肌色判定処理と並行して、顔部品検出部２２による顔部品領域の検出処理を実行するように構成しているため、１フレーム画像から高速にかつ精度良く顔領域を検出することができる。

なお、上記実施形態では、１フレーム周期ごと顔検出を繰り返し実行するように構成しているが、最初のフレーム期間で顔検出を行った後、以降のフレーム期間では、検出された顔領域をテンプレートとしてパターンマッチングを行うことにより、顔領域の追跡を行うように構成することも好ましい。本発明では、顔部品の検出により顔領域を特定しているため、テンプレートとして用いる顔領域の位置及びサイズを正確に決定することができ、テンプレート内に顔以外の背景等が含まれず、追跡性能が向上する。

また、上記実施形態では、顔候補領域を検出した後、肌色検出処理により該顔候補領域の確からしさを絞り込んでいるが、肌色検出処理に代えて他の絞り込み処理を用いてもよい。

また、上記実施形態では、同一の人物の顔に対して１つの顔候補領域が検出されているが、用いる顔パターンやパターンマッチング方法の種類によっては、同一の人物の顔に対して顔候補領域が重複して（位置や大きさが僅かにずれた箇所に）検出されることがある。この場合には、顔候補領域を検出した後に、重複して検出された複数の顔候補領域を１つの顔領域としてまとめる処理（重複検出判定処理）が必要であり、この重複検出判定処理（絞り込み処理時）時に並行して顔部品検出部２２による顔部品領域の検出処理を行ってもよい。

また、上述した実施形態の撮影装置を、ドアホンシステム等に用いられる監視カメラに適用することも好適である。ドアホンシステムのように人物が近付いた時にのみ画像を保存する装置では、顔の誤抽出を低減して人物の顔の検出率を向上させることで、必要な被写体（人物顔）を的確に撮影することが可能となる。

本発明の一実施形態に係る撮影装置の構成を示す機能ブロック図である。 顔領域検出部の構成を示す機能ブロック図である。 顔検出処理部が行う処理手順を示すフローチャートである。 顔パターンをテンプレートとしたパターンマッチング処理の説明図である。 顔部品パターンをテンプレートとしたパターンマッチング処理の説明図である。 顔候補領域から検出された顔部品領域を例示した図である。

符号の説明

１０ 撮影装置
１２ 固体撮像素子
１４ 信号処理部
１５ 顔検出処理部
１６ 画像データ格納メモリ
１８ 前処理部
１９ 縮小画像データ格納メモリ
２０ テンプレートデータ格納メモリ
２１ 顔領域検出部
２１ａ パターンマッチング部
２１ｂ 肌色判定部
２２ 顔部品検出部
２３ 判定部

Claims (4)

1. 固体撮像素子から出力される撮像画像の中に存在する人物の顔領域を検出する顔検出方法において、
   顔パターンと前記撮像画像とのパターンマッチング処理を実行し、該撮像画像中から該顔パターンと所定値以上の相関を有する顔領域候補を抽出する顔候補領域検出ステップと、
   前記顔候補領域検出ステップで抽出した各顔候補領域から人物の顔として確からしい顔領域を特定する絞り込み処理ステップと、
   前記顔候補領域検出ステップで抽出した各顔候補領域について、顔部品パターンとのパターンマッチング処理を実行し、該顔候補領域中から顔部品領域を検出する顔部品領域検出ステップと、
   前記顔部品領域検出ステップで検出した各顔部品領域の相対位置関係に基づき、前記絞り込み処理ステップで特定した顔領域が真の顔領域であるか否かを判定する判定ステップと、
   を備えたことを特徴とする顔検出方法。
2. 前記絞り込み処理ステップは、前記顔候補領域検出ステップで抽出した顔候補領域の色相を調べ、色相が肌色であるか否かにより、人物の顔としての確からしい顔領域を特定することを特徴とする請求項１に記載の顔検出方法。
3. 固体撮像素子から出力される撮像画像の中に存在する人物の顔領域を検出する撮影装置において、
   顔パターンと前記撮像画像とのパターンマッチング処理を実行し、該撮像画像中から該顔パターンと所定値以上の相関を有する顔領域候補を抽出する顔候補領域検出手段と、
   前記顔候補領域検出手段が抽出した各顔候補領域から人物の顔として確からしい顔領域を特定する絞り込み処理手段と、
   前記顔候補領域検出手段が抽出した各顔候補領域について、顔部品パターンとのパターンマッチング処理を実行し、該顔候補領域中から顔部品領域を検出する顔部品領域検出手段と、
   前記顔部品領域検出手段が検出した各顔部品領域の相対位置関係に基づき、前記絞り込み処理手段が特定した顔領域が真の顔領域であるか否かを判定する判定手段と、
   を備えたことを特徴とする撮影装置。
4. 前記絞り込み処理手段は、前記顔候補領域検出手段が抽出した各顔候補領域の色相を調べ、色相が肌色であるか否かにより、人物の顔としての確からしい顔領域を特定することを特徴とする請求項３に記載の撮影装置。

Images