JP4555396B2 - 顔検出装置および顔検出プログラム - Google Patents

Description

この発明は、顔を含む画像から顔部分を検出する顔検出装置および顔検出機能をコンピュータに実現させる顔検出プログラムに関するものである。

入力画像から顔を検出する際には、Ｈａａｒ特徴を利用したＢｏｏｓｔｉｎｇフィルタを用いる。このフィルタはたとえば眉毛の下は白いというような顔のコントラスト上の特徴をいくつも積み重ねていく方法である。この方法の特徴はフィルタの演算結果が常にＤＣ成分を含まないということである。
一方で、顔を含む画像は撮像条件などによってコントラストがばらつく。このため画像によって顔検出の容易性にばらつきが出る。このばらつきを抑えるために、顔検出の前処理として画像のコントラストの正規化を行う。

従来のコントラスト補正方式は、以下（１）式、（２）式のように局所画像の平均値と標準偏差から画像信号の分散を計算し、分散の程度に応じて各画素の値を補正して顔を検出しやすくするようなコントラストの補正を行っていた（例えば、特許文献１）。

特開２００６−３０９７１４号公報

従来のコントラスト補正方式は、画像の二乗平均や分散値による割り算を行わねばならない点、局所部分のすべての画素に対して演算しなければならない点という２つの欠点があり、処理演算が大掛かりになるという問題点があった。
この発明は上記のような問題点を解決するためになされたもので、複雑な演算無しで画像の局所領域のコントラストを正規化することを目的とする。

この発明による顔検出装置は、検出対象物である顔を含む画像から局所領域を選択する入力画像選択部と、検出用のフィルタを選択して出力するフィルタ選択部と、前記入力画像選択部と前記フィルタ選択部からの出力結果を用い、選択された局所領域の入力画像のフィルタ演算を行うフィルタ演算部と、前記入力画像選択部からの出力を用いて選択された局所領域の入力画像の画素値の分布を調べる正規化部と、前記正規化部から出力された分布情報を元に正規化係数を決定する変換テーブルと、前記フィルタ演算部の出力結果と、前記変換テーブルから出力された正規化係数とを乗算する乗算器と、前記乗算器の演算結果を用いて、入力画像内部に顔が含まれるか否かの判定を行い、検出結果を出力する顔検出部とを備える。

本発明の顔検出装置によれば、正規化部は、入力画像選択部の出力であるデジタル化された画素値の分布を調べるようにしているので、二乗平均や割り算という煩雑な計算を使わなくてもよく、さらに、入力画像信号を正規化するのではなく、フィルタ演算結果に対して正規化係数を乗算して、正規化を行うようにしているので、フィルタの演算結果がＤＣ成分を含まないという特性を利用することで、演算回数を大幅に削減することができる。例えば入力画像が２４・２４である場合には演算回数を１／５７６に削減することができる。

この発明の実施の形態１による顔検出装置の構成を示す図である。 正規化部における分布の調べ方を示す図である。 正規化部における補正有効時の分布の調べ方を示す図である。 変換テーブルにおける係数選択の例を示す図である。 実施の形態１による顔検出処理の流れを示すフローチャートである。

実施の形態１．
図１はこの発明の実施の形態１による顔検出装置を示す構成図である。この実施の形態１による顔検出装置８は、入力画像選択部１、フィルタ選択部２、フィルタ演算部３、正規化部４、変換テーブル５、乗算器６、顔検出部７から構成される。
図１において、入力画像選択部１は検出の対象物（ここでは顔）を含む画像（動画でも静止画でもよい）から局所領域（例えば２４・２４、１６・１６など）を随時選択して、フィルタ演算部３および正規化部４に対して出力する。
フィルタ選択部２は前述したＨａａｒ特徴を利用したＢｏｏｓｔｉｎｇフィルタを入力として受け取り、フィルタ演算部３に対して適切なフィルタを随時選択して出力する。

フィルタ演算部３は入力画像選択部１とフィルタ選択部２からの出力結果を用いてフィルタ演算を行う。フィルタ演算部３の演算結果は、前述したようにＢｏｏｓｔｉｎｇフィルタを用いているのでＤＣ成分を含まないという特性を有する。
正規化部４は、標準偏差を使う代わりに、入力画像選択部１からの出力のデジタル化された画素の輝度値を用いて、大まかな画素値の分布を調べる。
変換テーブル５は、正規化部４から出力された分布の情報（例えば、分布の幅）を元にフィルタ演算部３からの出力結果に対して掛け合わせる正規化係数を決定する。
乗算器６は、フィルタ演算部３の出力結果と、変換テーブル５から出力された正規化係数とを掛け合わせる。この計算は、局所領域の入力画像の全画素に対して行う必要はない。
顔検出部７は、乗算器６の演算結果を用いて、最終的に入力画像内部に顔が含まれるか否かの判定を行い、検出結果を出力する。

また、顔検出装置８の構成要素である、入力画像選択部１、フィルタ選択部２、フィルタ演算部３、正規化部４、変換テーブル５、乗算器６、および顔検出部７は、この発明の趣旨に従う顔検出プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上でソフトウェアとハードウェアが協働した具体的な手段として実現することもできる。このコンピュータには、通信機能を有し、上記顔検出プログラムを実行することができる携帯電話、携帯情報端末、デジタルカメラなども含まれる。
なお、コンピュータ自体の構成及びその基本的な機能については、当業者が当該技術分野の技術常識に基づいて容易に認識できるものであり、この発明の本質に直接関わるものでないので詳細な記載を省略する。

次に動作について説明する。
顔検出装置８は、この装置８が搭載されたシステムのＣＰＵ（Central Processing Unit）から検出開始命令を受けることにより動作を開始する。
検出開始命令を受けると、まず、入力画像選択部１は顔検出を行う局所領域を選択し、フィルタ選択部２は、判定の１番目に用いるフィルタを選択する。
次に、フィルタ演算部３により入力画像選択部１からの局所領域入力画像とフィルタ選択部２で選択されたフィルタが演算され、その演算結果を乗算器６に対して出力する。

正規化部４は入力画像のデジタル化された輝度値を用いて、大まかな分布を調べる。ここでは、例としてデジタル化された画素値の上位４ビットだけを使う方式について説明する。ここで、デジタル化された画素値の上位４ビットは（０〜１５）の１６通りの値をとるので、これらの分布は図２のようになる。１以上の個数を有する要素の幅（Ｗ）は容易に求めることが可能で、図２の場合にはＷ＝１１となる。ここで、ある閾値（ｔ）以下の値はノイズである可能性があるため、閾値（ｔ）以下の値を除いてから幅を求めてもよい。この場合補正後の幅（Ｗ'）は図３に示すようにＷ'＝９となる。

変換テーブル５は正規化部４から出力された分布の幅（ＷまたはＷ'）を用いて、正規化係数を選択する。正規化係数は図４に示すように（１６／分布の幅）とするのが望ましい。ただし、除算を不要としたい場合には、元の値にある程度近く、係数の分母が２のべき乗となるような値を選択してもよい。例えば、分布の幅が３である時、正規化係数（１６／３）にある程度近く、正規化係数の分母が２のべき乗となるような値（例えば３４１／６４）を選択するようにしてもよい。

次に乗算器６は、フィルタ演算部３の出力結果と、変換テーブル５から出力された正規化係数を掛け合わせる。ここで、変換テーブル５は出力する正規化係数の分母が２のべき乗となるような値を選択しておけば、計算は、整数の乗算とビットシフトのみで実現できるため、ソフトウェアや回路の構成を簡略化することができる。
また実際には、乗算のタイミングが一致するようにフィルタ演算部３での演算処理と、正規化部４および変換テーブル５による正規化係数算出処理とが同一のサイクル数で処理できるようにしておくのが都合がよい。

最後に顔検出部７は、乗算器６からの出力結果の値とあらかじめ定められた閾値との比較を行い、入力画像１に顔が含まれるか否かを判定する。

次に、顔検出処理の詳細について説明する。
図５は、実施の形態１による顔検出処理の流れを示すフローチャートであり、この図に沿って説明する。
最初に入力画像選択部１とフィルタ選択部２で適切な入力画像とフィルタを選択する（ステップＳＴ１）。
次に、フィルタ演算部３はフィルタ選択部２で選択されたフィルタを用いて、入力画像選択部１で選択された局所入力画像を演算する。また、正規化部４は、入力画像選択部１からのデジタル化された輝度値を用いて、大まかな分布を調べ、この分布の情報（例えば、分布の幅）を元に変換テーブル５が正規化係数を決定する。
次いで、乗算部６が、フィルタ演算部３のフィルタ演算結果と、変換テーブル５で選択された正規化の係数とを乗算する（ステップＳＴ２）。
次に、顔検出部７は、乗算器６からの出力結果の値とあらかじめ定められた閾値との比較を行う（ステップＳＴ３）。

比較の結果、入力画像の中に顔があるか否かを判定できた場合には（ステップＳＴ４）、検出結果を保存した後（ステップＳＴ６）、入力画像が最終画像であるか否かを判定して（ステップＳＴ７）最終画像であれば検出処理を終了する。
最終画像でなければ、入力画像とフィルタを変更して（ステップＳＴ１）、同様の処理を繰り返す。

一方、ステップＳＴ４における判定の結果、入力画像１の中に顔があるか否かさらに判定が必要である場合には、フィルタ選択部２でフィルタを次の段階に変更した後（ステップＳＴ５）、ステップＳＴ２に戻り、同様の処理を続ける。この時入力画像は直前の判定時から変わらないため、変換テーブル５は直前と同じ正規化係数値を出力すればよい。

以上のように、この発明の実施の形態１では標準偏差を使う代わりに、デジタル化された画素値の上位４ビットだけを使って、大まかな分布を調べるようにしているので、これによって二乗平均や割り算という煩雑な計算をなくすことができる。
さらに、画像信号を正規化することをやめ、フィルタ演算結果に対して正規化を行うようにしているので、例えば入力画像が２４・２４である場合には演算回数を１／５７６に削減することができる。これは、フィルタの演算結果がＤＣ成分を含まないという特性を利用したものである。

この発明に係る顔検出装置は、デジタルカメラやデジタルビデオカメラ等に適用され、例えば、デジタルカメラによって撮影されたスナップ写真における人物の顔領域の色分布を調べてその肌色を補正したり、監視システムのデジタルビデオカメラで撮影されたデジタル映像中の人物の顔領域を検出し、人物を認識したりするのに用いられる。

Claims (4)

1. 検出対象物である顔を含む画像から所定の局所領域を選択する入力画像選択部と、
   検出用のフィルタを選択して出力するフィルタ選択部と、
   前記入力画像選択部と前記フィルタ選択部からの出力結果を用い、選択された局所領域の入力画像のフィルタ演算を行うフィルタ演算部と、
   前記入力画像選択部からの出力を用いて選択された局所領域の入力画像の画素値の分布を調べる正規化部と、
   前記正規化部から出力された分布情報を元に正規化係数を決定する変換テーブルと、
   前記フィルタ演算部の出力結果と、前記変換テーブルから出力された正規化係数とを乗算する乗算器と、
   前記乗算器の演算結果を用いて、入力画像内部に顔が含まれるか否かの判定を行い、検出結果を出力する顔検出部とを備えた顔検出装置。
2. 正規化部は、入力された局所領域のデジタル化画像の画素値上位所定数のビットだけを用いて、大まかな分布を調べる構成にしたことを特徴とする請求項１記載の顔検出装置。
3. 変換テーブルは、正規化係数を所定の算式により求められた値に近く分母が２のべき乗となるような値を選択する構成にされたことを特徴とする請求項１または請求項２記載の顔検出装置。
4. 検出対象物である顔を含む画像から局所領域を選択する入力画像選択部と、
   検出用のフィルタを選択して出力するフィルタ選択部と、
   前記入力画像選択部と前記フィルタ選択部からの出力結果を用い、選択された局所領域の入力画像のフィルタ演算を行うフィルタ演算部と、
   前記入力画像選択部からの出力を用いて選択された局所領域の入力画像の画素値の分布を調べる正規化部と、
   前記正規化部から出力された分布情報を元に正規化係数を決定する変換テーブルと、
   前記フィルタ演算部の出力結果と、前記変換テーブルから出力された正規化係数とを乗算する乗算器と、
   前記乗算器の演算結果を用いて、入力画像内部に顔が含まれるか否かの判定を行い、検出結果を出力する顔検出部としてコンピュータを機能させる顔検出プログラム。

Images