JP2003281539A

JP2003281539A - 顔部品探索装置および顔部品探索方法

Info

Publication number: JP2003281539A
Application number: JP2002082862A
Authority: JP
Inventors: 晃二 ▲高▼木; Koji Takagi; Hideo Tanimoto; 英雄谷本; Hiroyuki Masai; 宏之政井; Takahiro Watanabe; 孝弘渡辺
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2002-03-25
Filing date: 2002-03-25
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】色彩画像に含まれる顔の画像部分から顔部品
を正確に探索する。【解決手段】本発明に係る顔部品探索装置（１０１）
は、色彩画像から顔部品画像を探索する装置であって、
色彩画像を取得する画像取得部（１０）と、色彩画像か
ら顔の色彩に関するパターンである顔色彩パターンに対
応する顔領域を検出し、顔領域の画像部分を抽出する顔
領域抽出部（２０）と、抽出された顔領域の画像部分か
ら、該画像部分の濃淡を検出し、該濃淡に基づいて、顔
部品画像を探索する基準位置を示す基準点を設定する基
準点設定部（４０）と、設定された前記基準点に基づい
て顔部品画像を検出すると共に、当該顔部品画像の位置
を求める顔部品検出部（５０）とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等で得られ
た色彩画像に含まれる顔の画像部分から、目および口の
ような顔部品を探索する装置および顔部品探索方法に関
し、特に、顔への照明環境あるいは顔の向きおよび傾き
等が一様でない色彩画像における顔部品の探索に好適な
前記装置および方法に関する。

【０００２】

【従来の技術】カメラ等で撮影した画像に映り出された
人物の識別を、例えば当該人物の顔に基づいて自動的に
行う場合、当該画像上で顔および顔部品に対応する画像
部分が探索される。このような顔の探索に関する従来の
技術は、例えば、１９９４年４月の電子情報通信学会論
文誌Ｄ−ＩＩＶｏｌ.Ｊ−７７−ＤＩＩＮｏ.４ｐ
ｐ.６７２−６８１における「個人識別のための多重ピ
ラミッドを用いたシーン中の顔の探索・位置決め」に開
示されている。

【０００３】前記開示技術では、顔部品を探索すべき未
知画像にパターンマッチングを施すための一連のモザイ
ク画像が予め用意される。一連のモザイク画像は、連続
する多重解像度で、顔を含む頭部領域に関する一般的な
濃淡パターンを示す。この一連のモザイク画像のそれぞ
れと、当該未知画像とを順次マッチングすることによ
り、当該未知画像から頭部領域が段階的に絞り込まれ
る。その後、前記頭部領域から得られる顔領域のヒスト
グラムに基づいて、各顔部品の位置が求められる。

【０００４】

【発明が解決しようとする課題】ところで、例えば動画
像のフレーム画像間で、顔に対する照明環境が変化する
場合、その変化に応じて、当該顔の画像部分に現れる濃
淡の様子も変化する。しかしながら、前記開示技術のモ
ザイク画像は、予め取得した一般的な濃淡パターンに基
づいて作成されていることから、マッチング対象となる
フレーム画像間に前記したような濃淡変化が生じると、
当該モザイク画像は、その変化に対処できず、適正に頭
部領域を絞り込むことが困難となる。

【０００５】また、前記開示技術においては、探索すべ
き顔に傾きがある場合や、顔が正面以外を向いている場
合であっても適正に顔部品を探索するために、各事象に
対応した前記モザイク画像を作成することが考えられ
る。しかしながら、そのためには膨大な数のモザイク画
像が必要となり、前記マッチングの処理時間が著しく増
大することが予想されることから、顔の傾きや向きに対
処することは容易ではなかった。

【０００６】本発明の目的は、色彩画像から顔部品を探
索するにあたって、顔への照明環境の変化や顔の向きお
よび傾き等に対処し、顔部品を適正に探索し得る顔部品
探索装置および顔部品探索方法を提供することにある。

【０００７】

【課題を解決するための手段】〈構成１〉本発明に係る
顔部品探索装置は、顔の部品を表す顔部品画像が含まれ
る色彩画像から前記顔部品画像を探索する装置であっ
て、色彩画像を取得する画像取得部と、取得した前記色
彩画像から、顔の色彩に関するパターンである顔色彩パ
ターンに対応する画像領域を顔領域として検出し、当該
顔領域の画像部分を抽出する顔領域抽出部と、抽出され
た前記顔領域の前記画像部分から、該画像部分の濃淡を
検出し、該濃淡に基づいて、前記顔部品画像を探索する
基準位置を示す基準点を設定する基準点設定部と、設定
された前記基準点に基づいて前記顔部品画像を検出する
と共に、当該顔部品画像の位置を求める顔部品検出部と
を備える。

【０００８】本発明に係る顔部品探索装置は、前記画像
取得部で取得した色彩画像から、前記顔領域抽出部が前
記した顔色彩パターンを用いて顔領域を抽出する。前記
基準点設定部は、色彩画像における顔部品画像の大まか
な位置を検出すべく、前記顔領域の画像部分に示される
濃淡に基づいて、当該顔部品画像の前記基準点を設定す
る。前記顔部品検出部は、前記基準点に基づいて顔部品
画像を検出し、その位置を求める。

【０００９】前記顔領域抽出部に、前記画像取得部で取
得した前記色彩画像に基づいて前記顔色彩パターンを生
成する顔色彩パターン生成部と、生成された前記顔色彩
パターンを保持する記憶部と、該記憶部の前記顔色彩パ
ターンに基づいて前記顔領域の前記抽出を行う抽出部と
を備えることができる。

【００１０】前記顔色彩パターン生成部は、所定の色空
間における前記色彩画像の色彩パターンを生成すること
ができ、該生成された色彩パターンの中の、予め設定さ
れた色彩パターンのモデルに対応する部分を、前記顔色
彩パターンとして採用することができる。

【００１１】前記画像取得部は、一連の色彩画像を順次
取得することができ、前記色彩パターン生成部は、前記
一連の色彩画像のうちの所定の色彩画像に基づいて、前
記顔色彩パターンを生成することができる。前記抽出部
は、予め設定された判定基準に基づいて、前記顔領域の
前記抽出の成否を判定することができ、前記顔色彩パタ
ーン生成部は、前記抽出が成功しなかったとの前記判定
時に、当該色彩画像に引き続く他の色彩画像のための新
たな前記顔色彩パターンを設定することができる。

【００１２】前記基準点設定部は、前記顔領域の前記濃
淡で相互に直交する２方向における各ピーク値を検出す
るように設定することができ、当該２方向の各ピーク値
に対応する前記濃淡の部分を、前記基準点として設定す
ることが望ましい。

【００１３】前記基準点設定部は、顔の部品に関する濃
淡について予め顔の部品の位置に基づいて設定された周
波数帯に対応した低周波数フィルタを用いて、前記顔領
域から前記濃淡を検出することができる。

【００１４】前記顔部品検出部に、顔の部品について予
め設定された画像に関する情報となる顔部品情報と、該
顔部品情報に対応した顔の部品における所定の位置を示
す特徴点情報とを含む顔部品データが与えることがで
き、前記顔部品検出部は、前記基準点設定部で設定され
た前記基準点に基づいて、前記顔部品データの走査範囲
を設定する走査範囲設定部と、設定された前記走査範囲
内で前記顔部品データを走査し、該顔部品データの前記
顔部品情報と前記基準点に対応した画像部分との整合性
に関する所定の基準を満たすときの前記特徴点情報が示
す前記位置を検出する走査部と、検出された各位置の中
から所定の位置に近似する位置を選定し、選定した前記
位置を、前記顔領域における前記顔部品画像の位置と定
める位置判定部とを備えることができる。

【００１５】前記顔部品検出部に、さらに、前記色彩画
像における所定の顔部品画像について前記位置判定部で
定められた前記位置に基づいて、当該所定の顔部品画像
を除く他の顔部品画像のための前記走査の範囲を設定
し、設定した当該走査の範囲を前記走査部に供給する関
連走査範囲設定部を備えることができる。

【００１６】前記画像取得部は、一連の色彩画像を順次
取得することができ、前記顔部品検出部は、前記色彩画
像における顔部品画像の位置を、当該色彩画像について
前記基準点設定部で設定された前記基準点、または、当
該色彩画像の直前の色彩画像について前記顔部品検出部
で検出された顔部品画像の位置に基づいて検出すること
ができる。このとき、顔部品探索装置に、前記顔部品検
出部が前記検出を当該色彩画像の前記基準点に基づいて
行うべきか否かを判定するトラッキング判定部を備える
ことができる。

【００１７】また、前記顔部品画像が含まれる前記色彩
画像は、両目に対応する一対の顔部品画像を含む複数の
顔部品画像を含む画像とすることができ、当該顔部品探
索装置に、前記基準点設定部で設定された、前記両目の
前記一対の顔部品画像に対応する２つの前記基準点に基
づいて、水平方向に対する前記顔領域の傾き角度を求
め、該傾き角度の分、当該顔領域の傾きを前記水平方向
に補正すべく当該顔領域を回転させ、回転させた前記顔
領域における前記各顔部品画像の前記基準点を前記顔部
品検出部に供給する回転処理部を備えることができる。

【００１８】前記画像取得部は、一連の色彩画像を順次
取得することができ、前記顔部品画像が含まれる前記色
彩画像に、両目に対応する一対の顔部品画像を含む複数
の顔部品画像を含むことができる。このとき、顔部品探
索装置に、前記基準点設定部で設定された、前記両目の
前記一対の顔部品画像に対応する２つの前記基準点、ま
たは、当該色彩画像の直前の色彩画像について前記顔部
品検出部で検出された両目の顔部品画像の位置に基づい
て、水平方向に対する当該色彩画像の前記顔領域の傾き
角度を求め、該傾き角度の分、当該顔領域の傾きを前記
水平方向に補正すべく当該顔領域を回転させ、回転させ
た前記顔領域における前記各顔部品画像の前記基準点を
前記顔部品検出部に供給する回転処理部と、前記回転処
理部が前記傾き角度を当該色彩画像の前記基準点に基づ
いて求めるべきか否かを判定するトラッキング判定部と
を備えることができる。

【００１９】また、前記顔部品画像が含まれる前記色彩
画像は、両目に対応する一対の顔部品画像を含む複数の
顔部品画像を含む画像とすることができ、当該顔部品探
索装置に、前記両目の前記一対の顔部品画像のそれぞれ
と、前記顔領域の顔幅を規定する各端部であって前記一
対の顔部品画像のそれぞれの最も近傍にある各端部との
間の２つの距離を求め、該２つの距離の差分に基づい
て、当該色彩画像の顔の向きを検出する顔向き検出部を
備えることができる。〈構成２〉本発明に係る顔部品探索方法は、顔の部品を
表す顔部品画像が含まれる色彩画像から前記顔部品画像
を探索する方法であって、色彩画像を取得する画像取得
ステップと、取得した前記色彩画像から、顔の色彩に関
するパターンである顔色彩パターンに対応する画像領域
を顔領域として検出し、当該顔領域の画像部分を抽出す
る顔領域抽出ステップと、抽出された前記顔領域の前記
画像部分から、該画像部分に与えられている濃淡を検出
し、該濃淡に基づいて、前記顔部品画像を探索する基準
位置を示す基準点を設定する基準点設定ステップと、設
定された前記基準点に基づいて前記顔部品画像を検出す
るとともに、当該顔部品画像の位置を求める顔部品検出
ステップとを備える。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて説明する。〈具体例１〉図１は、本発明を説明するための具体例１
の顔部品探索装置１０１の構成を示すブロック図であ
る。顔部品探索装置１０１は、図１に示すように、色彩
画像を取得するカメラのような画像取得部１０と、該画
像取得部で得られた色彩画像から、後述する顔領域を抽
出する顔領域抽出部２０と、前記顔領域内で目や口のよ
うな顔部品を探索するための基準位置となる基準点を設
定する基準点設定部４０と、前記基準点に基づいて、顔
領域における顔部品の詳細な位置を求める顔部品抽出部
５０とを備える。前記基準点は、顔領域における顔部品
の大まかな位置を示す。

【００２１】本具体例で取り扱う前記色彩画像は動画像
の各フレーム画像であり、画像取得部１０は、これらの
一連のフレーム画像を、順次、顔領域抽出部２０へ供給
する。顔領域抽出部２０は、与えられたフレーム画像に
おいて、顔が表される領域を示す顔領域を探索する。顔
領域の前記探索には、画像上の顔の色彩となる肌色の色
彩パターンに関する後述する顔色彩パターンが用いら
れ、顔領域抽出部２０は、当該顔色彩パターンに対応す
るパターンを示す画像部分を顔領域として抽出する。本
具体例で取り扱う前記した顔色彩パターンは、所定の色
空間における二次元テーブルで示される。

【００２２】図２は、本具体例の前記した顔領域抽出部
２０の構成を示すブロック図である。顔領域抽出部２０
は、所定のフレーム画像に基づいて顔色彩パターンを生
成する顔色彩パターン生成部２１と、該定義部で定義さ
れた顔色彩パターンを記憶する顔色彩パターン記憶部２
２と、該記憶部の顔色彩パターンに基づいて、当該フレ
ーム画像から顔領域を検出する顔領域検出部２３と、顔
色彩パターン生成部２１および顔領域検出部２３の動作
を制御する顔領域検出制御部２４とを有する。

【００２３】顔色彩パターン生成部２１は、与えられた
フレーム画像が示すＲＧＢ値を所定の色空間の値に変換
する色空間変換部２５と、当該色空間の値に基づいてヒ
ストグラムを作成するヒストグラム作成部２６と、前記
ヒストグラムの極大値を求める極大値検出部２７と、前
記した肌色に関するパターンについて予め設定された顔
色彩パターンのモデルである後述する肌色モデル２１ａ
（図４参照）を用いて、前記ヒストグラムから仮の顔色
彩パターンを抽出する顔色彩パターン設定部２８とを有
する。

【００２４】さらに、顔色彩パターン生成部２１は、前
記仮の顔色彩パターンに基づいて、フレーム画像から顔
領域の候補を検出すべく当該画像の色彩を判別する第１
の肌色判定部２９と、該判定部で判別された色彩で表さ
れる顔領域候補の特徴から、該候補についての後述する
顔らしさ一致度を求める第１の顔らしさ判定部３０と、
求められた前記顔らしさ一致度に基づいて、顔として最
適な顔領域候補を選定し、当該最適な顔領域候補を含む
仮の顔色彩パターンを、顔領域のための顔色彩パターン
に採用すべく顔色彩パターン記憶部２２へ供給する最適
顔色彩パターン生成部３１とを有する。

【００２５】前記顔色彩パターン記憶部２２では、前記
した最適顔色彩パターン生成部３１からの顔色彩パター
ンの記憶に加えて、顔色彩パターン生成部２１で適正に
顔色彩パターンが作成できなかった場合等のために、デ
フォルト値としての顔色彩パターンが予め記憶される。

【００２６】顔領域検出部２３は、図２に示すように、
後続のフレーム画像から顔領域の候補を検出すべく、顔
色彩パターン記憶部２２に記憶されている顔色彩パター
ンに基づいて当該画像の色彩を判別する第２の肌色判定
部３２と、前記顔領域の候補について前記したと同様な
顔らしさ一致度を求め、当該顔らしさ一致度に基づい
て、顔として最適な顔領域候補を選定する第２の顔らし
さ判定部３３と、選定された最適な顔領域候補から、誤
検出により取り込まれた背景画像のような顔画像以外の
画像部分を示す領域を除去し、該除去後の領域を当該色
彩画像の顔領域として検出する顔領域切出部３４とを有
する。

【００２７】前記顔領域抽出部２０の動作を説明する。
次に示す例では、画像取得部１０からの最初のフレーム
画像に基づいて顔色彩パターンが生成される。顔色彩パ
ターン生成部２１は、画像取得部１０からフレーム画像
を供給されると、色空間変換部２５により前記した色空
間の変換を行う。この色空間として、（ａ，ｂ）色空
間、ＨＳＶ色空間あるいはＹＩＱ色空間等を用いること
ができるが、本具体例は、（ａ，ｂ）色空間を採用す
る。色空間変換部２５は、図３に示す（１）式に沿っ
て、前記フレーム画像のＲＧＢ値から（ａ，ｂ）色空間
の値を求める。

【００２８】色空間変換部２５で前記色空間の値が求め
られると、顔領域検出制御部２４は、求められた値を、
当該色空間変換部２５からヒストグラム作成部２６へ供
給させるように制御する。

【００２９】ヒストグラム作成部２６は、色空間変換部
２５からの前記色空間の値から、一般的な手法に沿って
ヒストグラムを作成し、これを極大値検出部２７へ供給
する。

【００３０】極大値検出部２７は、当該ヒストグラムに
おける色空間座標の極大値を求める。この極大値は、例
えば前記した肌色モデル２１ａを用いて求めることがで
きる。肌色モデル２１ａは、前記したように顔色彩パタ
ーンの既定モデルであり、（ａ，ｂ）色空間における各
座標値が「０」および「１」の２値で示されている。肌
色モデル２１ａは、例えば図４に示すように構成するこ
とができる。図示の例では、横軸に−２〜＋２のスケー
ルを有するａ座標軸、縦軸に−２〜＋２のスケールを有
するｂ座標軸が設けられており、各軸の中心スケールに
対応する座標（０，０）を注目点としている。各座標値
の「１」は、検出対象となる色空間座標値、すなわち検
出すべき顔領域に対応する座標値を示し、「０」は、検
出対象外である座標値を示す。従って、図示の肌色モデ
ル２１ａは、座標値が「１」である座標群で構成される
パターンを、（ａ，ｂ）色空間における顔領域の色彩パ
ターンであると規定している。なお、肌色モデル２１ａ
における座標値の設定は、図示の例に限られず、適宜設
定することができる。

【００３１】極大値検出部２７は、図２に示される肌色
モデル２１ａを、例えばｓｍｏｄｅｌ（５，５）と定義
し、前記ヒストグラムにおいて図３の（２）式を満たす
極大値（ｘ，ｙ）を求める。このとき、前記ヒストグラ
ムで肌色のパターンを示す可能性の高い範囲を予め概定
し、当該範囲内で前記極大値を求めるようにすることが
できる。

【００３２】前記した極大値は、前記（２）式を満たす
値であれば複数検出することができ、極大値検出部２７
は、検出された各値を極大値候補として、顔色彩パター
ン設定部２８へ供給する。

【００３３】顔色彩パターン設定部２８は、前記ヒスト
グラムにおける各極大値候補に、前記肌色モデル２１ａ
の注目点（０，０）が合致するように、順次、当該肌色
モデルを当てはめ、該肌色モデルの「１」のパターン部
分に対応するヒストグラム部分を、仮の顔色彩パターン
として第１の肌色判定部２９へ出力する。図５は、前記
した極大値の一つが（５５，２８）であるヒストグラム
で、当該極大値に肌色モデル２１ａの注目点が合致する
ように、この肌色モデル２１ａを当てはめた例を示す。
このとき、図中で「１」の座標値を示す座標群が、前記
した仮の顔色彩パターンに採用される。

【００３４】第１の肌色判定部２９は、探索すべきフレ
ーム画像において、顔色彩パターン設定部２８からの仮
の顔色彩パターンに対応する画像部分を抽出する。図６
に、前記ヒストグラムから抽出された２種類の仮の顔色
彩パターンに対応する２種類の画像（Ａ）および（Ｂ）
を示す。これらの各画像から、それぞれに対応する仮の
顔色彩パターンに基づいて表される画像部分（ａ１〜ｂ
２）が検出される。

【００３５】第１の肌色判定部２９は、各仮の顔色彩パ
ターンに対応する画像（Ａ）および（Ｂ）毎に、その画
像部分へ所定のラベリング処理を行う。これにより、図
６に示すように、各画像部分はラベル領域ａ１〜ｂ２に
識別される。第１の肌色判定部２９は、前記したラベリ
ング処理を施した各画像（Ａ）および（Ｂ）を、第１の
顔らしさ判定部３０へ供給する。

【００３６】第１の顔らしさ判定部３０は、前記各画像
（Ａ）および（Ｂ）の前記ラベル領域ａ１〜ｂ２につい
て、以下に説明する特徴の値を求め、求められた各値を
用いて顔らしさ一致度を求める。本具体例では、前記特
徴として、各ラベル領域の円形度の逆数である凸凹度合
ＳＦ２、重心位置ＧＤおよび対象性ＳＹＭを用いる。

【００３７】まず、凸凹度合ＳＦ２を求めるべく、前記
各ラベル領域内ａ１〜ｂ２の画素数をカウントし、当該
領域毎に面積ＡＲＥＡを求める。また、各ラベル領域の
輪郭にトレース処理を施したうえで、当該領域の周囲長
ＰＥＲＩを求める。さらに、これらの求められた各値を
用いて、図３に示す（３）式に沿って凸凹度合ＳＦ２を
算出する。

【００３８】重心位置ＧＤは、図３の（４）式から得ら
れる重心座標（ｇｘ，ｇｙ）を用いて、同図の（５）式
により求める。対象性ＳＹＭは、ＲＧＢ値の「Ｒ」を用
いた場合、図３の（６）式により求めることができる。

【００３９】前記した手順に沿って求められた各値を用
いて、図３の（７）式により、ｉ番目の仮の顔色彩パタ
ーンにおけるｊ番目のラベル領域の顔らしさ一致度ＬＦ
（ｉ，ｊ）を求める。顔らしさ一致度は、その値が小さ
いほど、当該ラベル領域が顔らしいことを示し、逆に、
ラベル領域が顔らしくない場合、顔らしさ一致度は大き
な値となる。第１の顔らしさ判定部３０は、画像（Ａ）
および（Ｂ）における各ラベル領域の顔らしさ一致度を
最適顔色彩パターン生成部３１へ供給する。

【００４０】最適顔色彩パターン生成部３１は、画像
（Ａ）および（Ｂ）のそれぞれで、最も顔らしい特徴を
有するラベル領域を判定すべく、当該各画像における顔
らしさ一致度の最小値を検出する。さらに、各画像から
検出された顔らしさ一致度のうち、最小値の顔らしさ一
致度を求める。例えば、画像（Ａ）のラベル領域ａ１お
よび画像（Ｂ）のラベル領域ｂ１が、前記各画像での顔
らしさ一致度の最小値を示す場合、これらのラベル領域
ａ１またはｂ１のうち、より小さな値の顔らしさ一致度
を示す一方のラベル領域が検出される。

【００４１】最適顔色彩パターン生成部３１は、前記検
出された一方のラベル領域を有する画像に対応する仮の
顔色彩パターンを抽出し、当該仮の顔色彩パターンを、
最適な顔色彩パターンとして採用すべく顔色彩パターン
記憶部２２へ供給する。

【００４２】顔色彩パターン記憶部２２は、最適顔色彩
パターン生成部３１からの前記顔色彩パターンを記憶す
る。これを以て、後続のフレーム画像から顔領域を検出
するのための顔色彩パターンを定義する一連の処理が完
了する。

【００４３】引き続いて、画像取得部１０から顔色彩パ
ターン生成部２１へ新たなフレーム画像が供給される
と、色空間変換部２５により、当該フレーム画像につい
ての前記したと同様な（ａ，ｂ）色空間の変換が行われ
る。顔領域検出制御部２４は、前記変換を施された当該
フレーム画像を、顔領域検出部２３の第２の肌色判定部
３２へ供給するよう、色空間変換部２５に指示する。

【００４４】第２の肌色判定部３２は、顔色彩パターン
記憶部２２に保持されている前記顔色彩パターンを用い
て、色空間変換部２５からの前記色空間の座標値および
当該フレーム画像から、当該顔色彩パターンに対応する
画像を検出する。この画像は、例えば前記した図６に示
す画像（Ａ）あるいは（Ｂ）のような画像を指す。第２
の肌色判定部３２は、前記画像を検出すると、該画像の
各画像部分に前記したと同様なラベリング処理を施した
うえで、当該画像を第２の顔らしさ判定部３３へ供給す
る。

【００４５】第２の顔らしさ判定部３３は、第２の肌色
判定部３２からの前記画像に表される各ラベル領域につ
いて、前記した第１の顔らしさ判定部３０におけると同
様な手順で、凸凹度合ＳＦ２等の特徴を求め、求めた特
徴の値を用いて、図３の（８）式により、当該ｊラベル
領域の顔らしさ一致度ＦＬＦ（ｊ）を算出する。

【００４６】さらに、算出した顔らしさ一致度ＦＬＦ
（ｊ）のうちの、最小値となる顔らしさ一致度ｍｉｎ
（ＦＬＦ（ｊ））を、顔らしさ一致度に関し予め設定さ
れた閾値ＦＡＣＥ＿ＴＨＬ１と比較する。この比較にお
いて、図３の（９）式を満たすラベル領域は、顔らしい
特徴を持つ領域と判定され、当該ラベル領域を有する画
像が顔領域切出部３４へ供給される。

【００４７】また、前記（９）式を満たすラベル領域が
存在しないことは、当該フレーム画像に顔を表す部分が
無いと判定したことを示し、この旨を示す所定の情報
を、例えば顔領域検出部２３から顔領域検出制御部２４
へ出力することができる。

【００４８】顔領域切出部３４は、第２の顔らしさ判定
部３３からの前記画像のラベル領域において、Ｘ軸およ
びＹ軸の射影を取得する。前記Ｘ軸は、画像の水平方向
に伸びる軸を示し、その垂直方向の軸をＹ軸とする。図
７に、前記画像およびそのＹ軸方向に沿って得られた射
影データの例を示す。顔を示す画像部分では、一般的
に、目や口には肌色が現れ難いことから、図７の射影デ
ータの中央部付近に示される、比較的小さな射影量を示
す部分は、目および口の部分に対応すると考えられる。

【００４９】顔領域切出部３４は、前記射影データか
ら、平均値ｍ、標準偏差σおよび最大射影量ｍａｘｖを
求め、また、当該射影データにおける閾値ｔｈｌを、図
３の（１０）式に基づいて設定する。これらの各値を用
いて、顔領域の左端（画像に向かって左）を規定するＸ
Ｌを、図３の（１１）式により求め、顔領域の右端（画
像に向かって右）を規定するＸＲを、同図の（１２）式
により求める。

【００５０】前記（１１）式によれば、図７の射影デー
タでは、ＬＸ１にほぼ一致する部分が左端ＸＬとなる。
他方、右端ＸＲの探索にあたっては、（１２）式に基づ
いて、その探索範囲（ｍ＋ｋ・σ〜ＬＸ２）で、ｐ
（ｘ）が閾値ｔｈｌを超えて下降するような部分を採用
するが、当該探索範囲でのｐ（ｘ）は、図７に示すよう
に、いったん下降した後、当該閾値を超えて隆起する曲
線を示す。本来、顔領域の端部付近でのｐ（ｘ）は、閾
値ｔｈｌを超えて下降した後、ほぼゼロ値で収束すべき
であるが、図示の例のように、いったん下降後に隆起す
ることは、この隆起部分のラベル領域に、背景の一部の
ような、顔画像を除く他の画像部分が含まれていると考
えられる。

【００５１】このことから、右端ＸＲとして、図７に示
すように、ｐ（ｘ）が前記したような隆起を示す前の閾
値ｔｈｌ以下となる部分を採用する。これにより、前記
したラベル領域に含まれていた背景の一部の大半を除外
することができる。

【００５２】また、他方のＸ軸方向に沿って得られる射
影データから、顔領域の上端および下端を、前記したＹ
軸方向の各端部におけるとほぼ同様に検出することがで
きる。顔領域切出部３４は、前記した手順に沿って検出
した各端部で規定される顔領域の画像部分を抽出し、こ
れを基準点設定部４０へ供給する。

【００５３】前記した顔領域抽出部２０に関する動作の
説明では、最初のフレーム画像に基づいて定義された顔
色彩パターンを用いて、後続のフレーム画像から顔領域
が検出されたが、画像取得部１０の立ち上がり時の動作
が不安定である場合や、最初のフレーム画像に顔が映し
出されていない場合等を考慮して、図８〜図１０のフロ
ーチャートに沿って説明する以下の手順を採用すること
ができる。

【００５４】図８のフローチャートで示す例では、動画
像における１〜ｎ番目の各フレーム画像で顔色彩パター
ンが定義される。まず、画像取得部１０からフレーム画
像が供給されると（ステップＳ１）、最適顔色彩パター
ン生成部３１が、最適な顔色彩パターンを既に定義して
いるか否かを判定する（ステップＳ２）。前記顔色彩パ
ターンを定義済みであれば、顔領域検出部２３が、当該
テーブルを用いて前記したと同様に顔領域を検出する
（ステップＳ３）。前記顔色彩パターンが未だ定義され
ていない場合、顔色彩パターン生成部２１は、当該フレ
ーム画像が動画像における何番目のフレーム画像である
かを判定し（ステップＳ４）、当該フレーム画像が、１
〜ｎ番目のいずれかの画像である場合、当該フレーム画
像から最適な顔色彩パターンを定義する（ステップＳ
５）。

【００５５】また、フレーム画像を受けた時点で顔色彩
パターンが未定義であり（ステップＳ２・Ｎｏ）、且つ
当該フレーム画像がｎ＋１番目以降の画像であること
（ステップＳ４・Ｎｏ）は、１〜ｎ番目のフレーム画像
で顔色彩パターンを定義できなかったことを示し、この
場合、顔色彩パターン記憶部２２に予め格納されている
前記したデフォルトの顔色彩パターンを採用する（ステ
ップＳ６）。

【００５６】図９のフローチャートで示す例では、１〜
ｎ番目の各フレーム画像で定義された顔色彩パターンの
うち、定義の頻度が最も高い顔色彩パターンが、ｎ＋１
番目以降のフレーム画像に用いられる。顔色彩パターン
生成部２１は、フレーム画像が入力された後（ステップ
Ｓ１１）、当該フレーム画像の順番を判定し（ステップ
Ｓ１２）、当該フレーム画像が１〜ｎ番目の画像であれ
ば、顔色彩パターンを定義する（ステップＳ１３）。さ
らに、当該顔色彩パターンが定義された回数をカウント
する（ステップＳ１４）。また、ｎ番目を超えるフレー
ム画像については、それ以前の各画像で定義された顔色
彩パターンのうち、最も定義頻度の高い顔色彩パターン
を採用し（ステップＳ１５）、この顔色彩パターンで、
前記したと同様に顔領域を検出する（ステップＳ１
６）。

【００５７】図１０のフローチャートで示す例では、ス
テップＳ２１〜Ｓ２５は、前記した図８に沿った例にお
けるステップＳ１〜Ｓ５と同様に動作する。但し、顔領
域検出部２３は、ステップＳ２３で、当該顔領域につい
ての顔らしさ一致度および顔領域の切出しに関する成否
を顔領域検出制御部２４へ出力する。

【００５８】顔領域検出制御部２４は、顔領域検出部２
３からの前記出力の内容が、図３の（１３）式の何れか
の条件を満たす場合、当該フレーム画像の照明環境がそ
れ以前のフレーム画像から変化した、あるいは顔の向き
が変化した等、フレーム画像間で環境の変化が生じたと
判断し、顔色彩パターン生成部２１に新たな顔色彩パタ
ーンを定義するよう指示する（ステップＳ２６）。顔色
彩パターン生成部２１は、顔領域検出制御部２４からの
前記した指示に従って、当該フレーム画像から新たな顔
色彩パターンを生成する。これにより、画像に映し出さ
れた環境の変化に対応した顔色彩パターンを自動的に定
義することができる。

【００５９】また、前記した各フローチャートに沿った
例を利用して、ヒストグラム作成部２６で、１〜ｎ番目
の複数のフレーム画像についての累積ヒストグラム、あ
るいは、その平均を示すヒストグラムを作成し、作成し
たヒストグラムに基づいて最適な顔色彩パターンを生成
するように設定することができる。

【００６０】図１１は、顔部品探索装置１０１の前記基
準点設定部４０の動作手順を示すフローチャートであ
る。基準点設定部４０は、前記した顔領域抽出部２０で
検出された顔領域の画像部分に、後述する低周波数フィ
ルタ処理を施し、該処理により得られた応答画像４１か
ら、各顔部品の大まかな位置となる前記した基準点を検
出する。

【００６１】基準点設定部４０は、図１１に示すステッ
プＳ３１の低周波数フィルタ処理で、当該顔領域の画像
部分が示す色彩の濃淡パターンのうち、予め設定された
低周波数で、各顔部品の位置関係に沿った位置に濃淡が
現れる部分を抽出する。例えば、応答画像４１で「濃」
を示す画素と「淡」を示す画素とが交互に頻繁に現れる
ような部分は、前記フィルタ処理において抽出されず、
前記した各顔部品の位置関係に沿った位置に、いずれか
一方の画素が連続的に現れるような部分が抽出される。
図１２に、低周波数フィルタ処理で得られる応答画像４
１の例を示す。

【００６２】基準点設定部４０は、前記ステップＳ３１
で低周波数フィルタ処理の応答画像４１を取得した後、
ステップＳ３２で、当該応答画像を左右に二分する、図
１３に示すような中心線４２を検出する。

【００６３】前記した中心線４２の検出のために、基準
点設定部４０は、応答画像４１のＹ軸方向に伸びる任意
の線を中心線候補４２′として、これをＸ軸方向に順次
的に平行移動させ、該移動毎に、当該中心線候補に対し
て互いに対称な位置にある一対の画素の濃淡レベルの類
似度を求める。この類似度の算出では、図１４に示すよ
うに、中心線候補４２′上の画素（ｘ，ｙ）から当該中
心線候補に対して対称の位置にある一対の画素である、
例えば（ｘ−１，ｙ）および（ｘ＋１，ｙ）の、濃淡レ
ベルの類似度が求められる。前記一対の画素は、応答画
像４１の全域、あるいは図１４に示すような任意のエリ
ア内（（ｘｓ，ｙｓ）〜（ｘｅ，ｙｅ））から抽出する
ことができる。その結果、類似度が高い前記一対の画素
が最も多く存在する中心線候補４２′を、当該応答画像
における中心線４２とする。また、フレーム画像の顔に
傾きがある場合は、当該傾き角度に対応した角度を、中
心線候補４２′に設定することが望ましい。

【００６４】前記ステップＳ３２で中心線４２が検出さ
れた後、基準点設定部４０は、ステップＳ３３で、Ｘ軸
方向およびＹ軸方向の射影をとり、その射影データから
ピーク部分を検出する。応答画像からＸ軸方向の射影を
とった場合、図１３に示すようなＸ軸方向の射影データ
が得られる。図示の例では、このＸ軸方向の射影データ
に２つのピーク部分が現れている。ステップＳ３３で
は、前記したＸ軸方向の射影を取得した後、当該各ピー
ク部分に対応する応答画像領域４１ａおよび４１ｂでＹ
軸方向の射影を取得する。これにより、図１３で応答画
像４１の上方に示すような一方の射影データと、当該画
像の下方に示すような他方の射影データとが得られる。
前記応答画像領域４１ａに対応する前記一方の射影デー
タには、中心線４２に対して対称的な２つのピーク部分
が現れ、前記応答画像領域部分４１ｂに対応する前記他
方の射影データには、中心線４２付近に単一のピーク部
分が現れている。

【００６５】基準点設定部４０は、前記ステップＳ３３
で検出したＸ軸方向およびＹ軸方向の各射影データに現
れるピーク部分に基づいて、ステップＳ３４で、応答画
像４１における目の大まかな位置を検出する。目の位置
の検出では、前記したＸ軸方向の前記ピーク部分で所定
の閾値を超えるピーク幅を検出し、該ピーク幅に対応す
る応答画像部分から、Ｙ軸方向の前記ピーク部分を選定
する。これにより得られたＹ軸方向のピーク部分のう
ち、中心線４２に対して互いに対称の位置にある２つの
ピーク部分を選定し、該２つのピーク部分に対応する２
つの応答画像部分を目の大まかな位置、すなわち目の基
準点と判定する。図１３に示す例では、応答画像領域４
１ａ内に、前記目の基準点に対応する前記２つの応答画
像部分が現れている。

【００６６】また、基準点設定部４０は、ステップＳ３
４で、応答画像４１における口の大まかな位置を検出す
る。口の位置の検出にあたっては、前記ステップＳ３３
で選定したＹ軸方向のピーク部分、すなわちＸ軸方向で
所定の閾値を超えるピーク幅に対応するＹ軸方向のピー
ク部分のうち、中心線４２の位置を含む射影データ部分
にある単一のピーク部分を選定し、当該単一のピーク部
分が示す応答画像部分を、口の大まかな位置、すなわち
口の基準点と判定する。図１３に示す例では、前記口の
基準点が応答画像領域４１ｂ内に現れている。

【００６７】基準点設定部４０は、前記手順に沿って、
応答画像４１における目および口の基準点を設定し、当
該各基準点に対応する座標を顔部品抽出部５０へ供給す
る。なお、前記した説明では、目および口の基準点が検
出されたが、前記した手順を利用して、鼻や眉のような
他の顔部品の基準点を検出することができる。

【００６８】図１５は、顔部品探索装置１０１の顔部品
抽出部５０の構成を示すブロック図である。顔部品抽出
部５０は、図１５に示すように、基準点設定部４０から
の前記基準点の座標に基づいて、後述する顔特徴点の探
索範囲を設定する探索領域設定部５１と、当該探索範囲
内で、予め設定された顔部品に関する情報を有するテン
プレートを用いて前記顔特徴点の候補を抽出する候補抽
出部５２と、前記顔特徴点の候補から最適な顔特徴点を
選定する候補選定部５３とを備える。

【００６９】前記した顔特徴点は、顔部品毎に予め設定
された位置であり、例えば「眉」、「目」、「鼻」およ
び「口」のそれぞれに対応する顔特徴点を、「眉下側中
心」、「虹彩中心」、「鼻先」および「口上下左右端」
とすることができる。

【００７０】顔部品抽出部５０には、任意の大きさの標
準的な顔画像に関するデータが予め与えられている。本
具体例の前記テンプレートは、この標準的な顔画像の顔
部品画像と、該顔部品画像における前記したような特徴
点の相対位置とを含むデータである。候補抽出部５２に
は、前記テンプレートを、対応する顔部品毎に格納する
テンプレート格納部５２ａが設けられている。

【００７１】探索領域設定部５１は、前記したように、
フレーム画像から各顔部品の顔特徴点を探索するための
範囲を設定する。この探索範囲は、基準点設定部４０よ
り供給された各顔部品の前記位置座標から、上下左右に
任意の距離を持つ範囲とすることができるが、当該位置
座標は、各顔部品の大まかな位置を示すことから、実際
の位置との誤差を考慮して前記探索範囲を設定すること
が望ましい。

【００７２】前記探索範囲の設定で、探索領域設定部５
１が、例えば「目」の大まかな位置座標に基づいて、そ
の特徴点である「虹彩中心」の探索範囲を設定する場
合、当該「目」の位置座標、すなわち両目に対応する一
対の位置座標から、該両位置座標間の距離である瞳間距
離を求め、求められた瞳間距離と、前記テンプレートに
含まれる標準的な顔画像おける瞳間距離との比率を求め
る。さらに、前記標準的な顔画像における「目」の位置
座標から所定の距離にある座標で既定される範囲を、前
記比率の分、変形し、変形された当該範囲内に、前記大
まかな「目」の位置座標が含まれるように、前記範囲を
当てはめる。これにより得られた範囲を、「目」の特徴
点である前記「虹彩中心」の探索範囲とする。

【００７３】前記した探索範囲の設定手順に沿って、
「眉」や「口」等の他の顔部品についても同様に、各探
索範囲を設定することができる。

【００７４】候補抽出部５２は、抽出すべき特徴点の顔
部品に対応するテンプレートをテンプレート格納部５２
ａから取得し、探索領域設定部５１で設定された前記探
索範囲内で、当該テンプレートを走査して、各顔特徴点
の位置座標の候補を検出する。例えば「虹彩中心」の位
置座標候補を検出する場合、探索領域設定部５１で求め
られた前記比率の分、「目」のテンプレートに含まれる
顔部品画像を変形すると共に、この変形に応じて、当該
顔部品画像の相対位置座標を変換する。続いて、前記テ
ンプレートを、フレーム画像の前記探索範囲内で走査
し、該走査の位置毎に、当該テンプレートの前記顔部品
画像の各画素と、当該フレーム画像で前記テンプレート
に照合される領域内の各画素との輝度差を順次求める。

【００７５】さらに、前記走査毎に求められた各輝度差
から、その総和を求め、該総和の値が、予め設定された
閾値よりも小さくなる走査位置を検出する。各輝度差の
総和値が最小値の「０」であることは、当該両画素の輝
度が完全に一致することを示し、総和値が増大するほ
ど、両者の一致度が低くなる。この総和値に関し予め設
定された前記した閾値を、例えば「１０」とする場合
は、この閾値よりも小さい「０」〜「９」のいずれかを
前記総和値が示すとき、その走査位置が検出される。

【００７６】候補抽出部５２は、検出された各走査位置
におけるテンプレートの前記相対位置座標に対応する前
記フレーム画像の位置座標を、当該フレーム画像の「虹
彩中心」の位置座標候補とする。

【００７７】また、候補抽出部５２は、前記閾値より小
さい総和値（「０」〜「９」）を、複数の段階に区分
し、区分された各段階を、テンプレートとフレーム画像
との整合性を示す確信度として表すことができる。例え
ば、前記確信度のレベルを、確信度が大きい順に「Ａ」
〜「Ｅ」の５段階に設定した場合、前記した例では、
「０」および「１」の総和値は、確信度の最大レベルと
なる「Ａ」に該当し、総和値「８」および「９」が、確
信度の最小レベルである「Ｅ」に該当する。

【００７８】各顔部品についての顔特徴点の位置座標候
補が候補抽出部５２で抽出されると、続いて、候補選定
部５３により、これらの候補から当該顔特徴点に最適な
候補が選定される。候補選定部５３は、例えば「虹彩中
心」に関する候補から最適な候補を選定する場合、これ
らの候補が示す位置座標から平均の位置座標を求め、求
められた平均の位置座標に最も近い距離にある候補を、
「虹彩中心」の最適な位置座標として選定する。このよ
うにして選定された「虹彩中心」の最適な位置座標が、
当該フレーム画像における詳細な「目」の位置座標とな
る。

【００７９】図１５に沿って説明した前記手順を利用し
て、顔部品抽出部５０を、図１６および図１７に示すよ
うに構成することができる。図１６に示す例では、顔部
品抽出部５０に、さらに、後述する基準点入力探索領域
設定部５４が設けられており、基準点設定部４０から供
給される任意の顔部品の位置座標に基づいて、当該顔部
品を含む他の顔部品の顔特徴点が探索される。

【００８０】図１６の顔部品抽出部５０では、例えば、
前記した任意の顔部品が「目」である場合、探索領域設
定部５１が、前記したと同様に、「虹彩中心」の探索範
囲を設定した後、候補抽出部５２が、テンプレート格納
部５２ａから取得した「目」のテンプレートを前記探索
範囲内で走査して顔特徴点の候補を検出し、候補選定部
５３が、前記候補から最適な候補を選定する。

【００８１】基準点入力探索領域設定部５４は、候補選
定部５３で検出された「虹彩中心」の位置座標に基づい
て、残りの顔部品の顔特徴点を探索する領域を設定す
る。前記図１５に沿って説明した例では、基準点設定部
４０からの大まかな位置座標が用いられたが、ここで
は、候補選定部５３で既に確定された位置座標（「虹彩
中心」）が用いられ、この座標は実際の位置座標との誤
差が少ないと考えられる。従って、この確定位置座標に
基づいて基準点入力探索領域設定部５４で設定する探索
範囲は、前記した探索領域設定部５１で定める探索範囲
よりも小さく設定することができる。

【００８２】例えば、前記「虹彩中心」の確定位置座標
から「眉下側中心」を探索する場合、当該確定位置座標
から瞳間距離を求め、前記したように、「目」のテンプ
レートを用いて前記比率を求める。続いて、前記テンプ
レートにおいて、「虹彩中心」の位置座標から所定の距
離にある「眉下側中心」の探索範囲を、前記比率の分、
変形および移動させる。さらに、その結果得られるテン
プレートの「虹彩中心」と、当該フレーム画像で確定さ
れた「虹彩中心」とを照合させ、当該テンプレートの
「眉下側中心」の探索範囲に基づいて、当該フレーム画
像の「眉下側中心」の探索範囲を設定する。他の残りの
顔部品についても、前記した「眉下側中心」に関する手
順と同様に、探索範囲を設定することができる。これに
より、比較的小さな探索範囲内で、顔特徴点の走査を行
うことができる。

【００８３】また、図１７に示す例では、顔部品抽出部
５０に連続処理用探索領域設定部５５が設けられてお
り、該設定部５５および探索領域設定部５１が、所定の
選択機構５６により、選択的に動作される。連続処理用
探索領域設定部５５は、処理すべきフレーム画像の直前
のフレーム画像で抽出された各顔特徴点の確定位置座標
に基づいて、当該フレーム画像の顔特徴点の探索範囲を
設定する。この探索範囲は、前記した基準点入力探索領
域設定部５４におけると同様に、比較的小さな範囲とす
ることができる。これにより、すべての顔特徴点の各探
索範囲が、直前のフレーム画像のそれらを利用して設定
されることから、顔特徴点の探索を、より効率的に行う
ことができる。

【００８４】具体例１の顔部品探索装置１０１では、前
記したように、画像取得部１０で取得したフレーム画像
について、顔領域抽出部２０で顔色彩パターンに基づい
て顔領域が検出された後、基準点設定部４０が、低周波
数フィルタの応答画像（４１）を用いて、当該顔領域に
おける顔部品の大まかな位置を検出する。そして、顔部
品抽出部５０により、前記大まかな位置に基づいて顔部
品の詳細な位置が抽出される。

【００８５】従って、具体例１の顔部品探索装置１０１
によれば、当該フレーム画像における顔領域の探索に、
関連するフレーム画像に基づいて生成した顔色彩パター
ンが用いられることから、探索すべき顔に対する照明環
境に変化があっても、適正に対処することができる。

【００８６】また、顔領域を探索する過程で、前記した
顔色彩パターンの色彩パターンデータおよび低周波数フ
ィルタの応答画像での射影データという相互に異種とな
るデータが用いられることから、単一のデータに依存し
た探索よりも信頼度の高い探索を行うことができる。

【００８７】さらに、顔部品の詳細な位置を探索する際
に、基準点設定部４０により検出された大まかな顔部品
の位置が利用されることから、顔部品の位置を効率的に
探索することができる。

【００８８】前記した説明では、動画像の各フレーム画
像が用いられたが、これに限らず、例えば画像取得部１
０をスキャナとし、該スキャナからの静止画像における
顔部品の探索に、顔部品探索装置１０１を適用すること
ができる。

【００８９】〈具体例２〉図１８は、本発明を説明する
ための具体例２の顔部品探索装置１０２の構成を示すブ
ロック図である。顔部品探索装置１０２は、図１８に示
すように、前記した具体例１の顔部品探索装置１０１の
構成に加えて、後述するトラッキング処理についての判
定を行うトラッキング判定部６０を備える。

【００９０】トラッキング判定部６０は、当該フレーム
画像の顔部品が探索されるとき、その直前のフレーム画
像で抽出された顔部品の詳細な位置を、当該フレーム画
像の前記した大まかな位置として利用するトラッキング
処理を実行するか否かを判定する。この判定にあたって
は、後述する所定の判定基準が用いられる。

【００９１】顔部品探索装置１０２の動作例を、図１９
に示すフローチャートに沿って説明する。画像取得部１
０からフレーム画像が供給されると（ステップＳ４
１）、トラッキング判定部６０は、このフレーム画像に
前記したトラッキング処理を施すか否かを判定する（ス
テップＳ４２）。画像取得部１０からのフレーム画像
が、例えば動画像における最初のフレーム画像である場
合、その直前のフレーム画像は存在しないことから、ト
ラッキング処理を実行しないとの判定を下す。

【００９２】トラッキング処理が行われない場合、当該
フレーム画像について、顔領域抽出部２０、基準点設定
部４０および顔部品抽出部５０で、具体例１におけると
同様な手順に沿って顔部品の位置が抽出されると（ステ
ップＳ４３〜４５）、顔領域検出制御部２４で、後続の
フレーム画像があるか否かが判定される（ステップＳ４
６）。後続のフレーム画像が無い場合は、顔部品探索装
置１０２の処理が終了する。

【００９３】前記フレーム画像に引き続くフレーム画像
が供給された場合（ステップＳ４１）、トラッキング判
定部６０は、次に示すような判定基準に基づいて、当該
フレーム画像のトラッキング処理を判定する（ステップ
Ｓ４２）。例えば、顔部品抽出部５０で求められる前記
した顔部品位置に関する確信度を用い、直前のフレーム
画像についての前記確信度が、予め設定した閾値以上で
あった場合、トラッキング処理を実行すると判定する。
また、例えば、前記ステップＳ４３〜４５の一連の処理
を行うループ回数が、予め設定した回数に達したとき、
トラッキング処理を実行するように設定することができ
る。

【００９４】トラッキング判定部６０は、当該フレーム
画像について、前記したような判定基準に沿った判定を
行い、その結果、トラッキング処理を実行すると判定し
たとき、前記直前のフレーム画像の詳細な顔部品位置
を、当該フレーム画像における顔部品の大まかな位置と
して取り扱うよう、顔部品抽出部５０に指示する。顔部
品抽出部５０は、トラッキング判定部６０の前記した指
示に従って、当該フレーム画像における詳細な顔部品位
置を抽出する（ステップＳ４５）。

【００９５】具体例２の顔部品探索装置１０２によれ
ば、フレーム画像の顔部品を探索する際に、前記したト
ラッキング処理により、直前のフレーム画像で得たデー
タが利用できることから、顔部品を効率的に探索するこ
とができる。これは、特に、動画像の隣接するフレーム
画像間で、顔画像に大きな変化が無い場合に有益であ
る。

【００９６】また、トラッキング判定部６０が、トラッ
キング処理を実行すると判定したとき、当該処理は、具
体例１におけると同様な構成部分で実行されることか
ら、トラッキング処理を実行する新たな機構を備える必
要が無い。

【００９７】本具体例のトラッキング処理を利用して、
例えば、顔領域抽出部２０での顔色彩パターンの生成
に、直前のフレーム画像の大まかな顔部品位置あるいは
詳細な顔部品位置を用いることができる。例えば、直前
のフレーム画像で詳細な顔部品位置の検出した後、当該
詳細な位置に基づいて次フレーム画像の顔領域を検出
し、この顔領域から顔色彩パターンを生成する。これに
より、より適正な顔色彩パターンを取得することができ
る。

【００９８】〈具体例３〉図２０は、本発明を説明する
ための具体例３の顔部品探索装置１０３の構成を示すブ
ロック図である。顔部品探索装置１０３は、前記した具
体例２の顔部品探索装置１０２の構成に加えて、フレー
ム画像における顔の傾きに関する後述する回転処理を行
う回転処理部７０を備える。

【００９９】回転処理部７０は、顔部品の両目の位置に
基づいて、当該顔の傾き角度を求め、求めた傾き角度の
分、顔の傾きを補正した顔部品の位置を、大まかな顔部
品位置として顔部品抽出部５０へ供給する。前記した両
目の位置は、本具体例では、トラッキング処理時に参照
される直前のフレーム画像の詳細な「目」の位置が採用
されるが、トラッキング処理を行わない場合は、基準点
設定部４０で検出した大まかな「目」の位置を利用する
ことができる。

【０１００】回転処理部７０は、前記「目」の位置座標
が、例えば、左目（ｘ１，ｙ１）および右目（ｘ２，ｙ
２）であるとき、ｒ＝ａｒｃｔａｎ（（ｙ２−ｙ１）／（ｘ２−ｘ１））・・・（１４）式当該両座標に関する傾き角度ｒを（１４）式から求め、
求められた傾き角度ｒを、当該顔の傾き角度とする。こ
の傾き角度は、フレーム画像全体の傾き角度とすること
ができる。さらに、前記顔の傾きを水平に補正すべく、
前記傾き角度の分、逆回転（−ｒ）させた顔部品の位置
を検出し、これを顔部品抽出部５０へ供給する。

【０１０１】この顔部品探索装置１０３の動作を図２１
に示すフローチャートに沿って説明する。前記したよう
に、図示の例では、トラッキング処理が行われるとき
に、回転処理が実行される。画像取得部１０から供給さ
れるフレーム画像について、トラッキング処理を施さな
いと判定されたときは、前記具体例１で説明したと同様
な手順で、当該フレーム画像における顔部品が探索され
る（ステップＳ５１〜Ｓ５６）。

【０１０２】また、画像取得部１０からフレーム画像が
供給され（ステップＳ５１）、トラッキング判定部６０
が当該フレーム画像にトラッキング処理を施すと判定し
たとき（ステップＳ５２）、回転処理部７０は、当該フ
レーム画像の直前のフレーム画像から得られた顔部品の
詳細な位置に基づいて前記傾き角度を求め、当該フレー
ム画像に前記した回転処理を施す（ステップＳ５７）。
前記した回転処理後に検出される顔部品の大まかな位置
は、顔部品抽出部５０へ供給され、当該顔部品抽出部
は、回転処理部７０で調整された大まかな位置に基づい
て、具体例１におけると同様に顔部品の詳細な位置を抽
出する（ステップＳ５５）。

【０１０３】具体例３の顔部品探索装置１０３によれ
ば、顔部品を探索すべきフレーム画像の顔に傾きがあっ
ても、回転処理部７０での前記した回転処理により、前
記傾きがほぼ水平に補正された情報が供給されることか
ら、この情報を受ける顔部品抽出部５０は、顔部品の詳
細な位置を適正に検出することができる。

【０１０４】前記した顔部品探索装置１０３には、トラ
ッキング判定部６０が設けられていたが、このトラッキ
ング判定部６０を備えることなく、具体例１の顔部品探
索装置１０１に回転処理部７０を備える構成とすること
ができる。その場合、顔部品を探索すべき全てのフレー
ム画像が、前記した回転処理の対象となる。

【０１０５】〈具体例４〉図２２は、本発明を説明する
ための具体例４の顔部品探索装置１０４の構成を示すブ
ロック図である。顔部品探索装置１０４は、具体例１の
顔部品探索装置１０１の構成に加えて、フレーム画像の
顔の向きを検出する顔向き抽出部８０を備える。

【０１０６】顔向き抽出部８０は、基準点設定部４０で
検出された「目」の大まかな位置に基づいて、当該フレ
ーム画像における顔の向きを検出する。図２３に、顔が
正面を向いているフレーム画像部分（Ｉ）と、前記顔が
左方向を向いているフレーム画像部分（II）とを示す。
図示の各画像部分において、顔領域の左端と、左目の大
まかな位置座標との間の距離を左端幅とし、顔領域の右
端と、右目の大まかな位置座標との間の距離を右端幅と
した場合、画像部分（Ｉ）のように顔が正面を向いてい
るときは、前記左端幅および右端幅がほぼ同じ大きさと
なる。また、例えば画像部分（II）のように、顔が左を
向いている場合は、左端幅よりも右端幅のほうが大きく
なり、逆に、顔が右を向いている場合（図示せず）であ
れば、右端幅よりも左端幅のほうが大きくなると考えら
れる。顔向き抽出部８０は、左端幅および右端幅の前記
した関係に基づいて、フレーム画像の顔の向きを検出す
る。

【０１０７】具体例４の顔部品探索装置１０４によれ
ば、フレーム画像の顔の向きを検出することができ、検
出された顔の向きを示す情報を、例えば、顔部品の大ま
かな位置座標と共に顔部品抽出部５０へ供給することに
より、当該顔部品抽出部５０は、顔の向きを考慮して詳
細な顔部品を探索することができる。また、顔部品抽出
部５０で抽出される顔部品の詳細な位置と共に、顔部品
探索装置１０４から出力することができる。

【０１０８】従来、顔が正面から左右を向いたときの両
目の間の距離変化や、目と鼻との相対的な位置関係等に
基づいて、顔の向きを検出する手法が知られているが、
顔が左右に向いているときは、前記した左端幅および右
端幅の差異が比較的現れやすいことから、顔部品探索装
置１０４のように、顔領域における目の相対的な位置に
着目することにより、顔の向きを容易に検出することが
できる。

【０１０９】前記した具体例４では、基準点設定部４０
で抽出された顔部品の大まかな位置座標に基づいて、顔
の向きが検出されたが、顔部品探索装置１０４に前記し
たトラッキング判定部６０を備えることにより、直前の
フレーム画像における顔部品の詳細な位置に基づいて、
顔の向きを検出することができる。これにより、より正
確な顔の向きを検出することができる。また、フレーム
画像における顔部品の詳細な位置に基づいて、当該フレ
ーム画像の顔向きを検出し、検出した顔向きを、後続の
フレーム画像に利用することができる。

【０１１０】〈利用形態〉本発明に係る顔部品探索装置
は、前記した具体例に限らず、以下の利用形態を採用す
ることができる。前記した具体例３および４では、顔の
傾きあるいは顔の向きが、目の位置に基づいて検出され
たが、これに代えて、例えば口の両端（口角）の位置を
利用することができる。

【０１１１】顔部品の詳細な位置を抽出する前記した顔
部品抽出部５０は、顔特徴点の探索範囲の設定につい
て、前記した例に限らず、例えば両目に関する大まかな
位置座標の距離を瞳間距離とし、この瞳間距離を考慮し
た任意の領域を前記探索範囲とすることができる。

【０１１２】顔部品抽出部５０で取り扱うテンプレート
に含まれる情報は、前記した標準的な顔部品画像に限ら
ず、顔領域から顔特徴点の候補を抽出できるものであれ
ば、他の情報を用いることができる。例えば、複数の顔
画像の平均的な顔部品を示す画像部分、あるいは、顔部
品の形状を模したフィルタあるいは色彩等の情報が含ま
れたテンプレートを用いることができる。例えば、目の
形状を模したフィルタの場合、このフィルタに円形度の
算出機能を与えることにより、目の部分で高出力が得ら
れる。また、顔部品毎に複数のテンプレートを設定する
ことができる。

【０１１３】さらに、顔部品抽出部５０は、テンプレー
トの走査において、テンプレートとフレーム画像との整
合条件を緩和すべく、例えば、目や口のエッジ位置や、
エッジの色彩等に基づいて、両者の整合性を判定するこ
とができる。顔特徴点の候補から最適な候補を選定する
際に、候補の平均の位置座標が用いられたが、これに代
えて、例えば、予め用意した統計的な各顔部品間の位置
関係を利用することができる。

【０１１４】前記した各顔特徴点に関する確信度は、前
記した統計的な各顔部品間の位置関係に基づいて修正す
ることができ、また、顔部品毎に求めた確信度を利用す
るに限らず、顔領域における全ての顔部品の確信度から
求められる平均の確信度を利用することができる。

【０１１５】

【発明の効果】本発明に係る顔部品探索装置によれば、
顔領域の探索に色彩パターンが用いられることから、探
索すべき顔に対する照明環境等に変化があっても、その
変化に対処することができる。また、顔領域を探索する
過程で、前記した色彩パターンおよび色彩の濃淡といっ
た相互に異なる複数のデータが用いられることから、単
一のデータに依存した探索よりも、信頼度の高い適正な
探索を行うことができる。

【図面の簡単な説明】

【図１】本発明に係る具体例１の顔部品探索装置の構成
を示すブロック図である。

【図２】顔領域抽出部の構成を示すブロック図である。

【図３】顔領域抽出部を説明するための説明図である。

【図４】肌色モデルを説明するための説明図である。

【図５】顔色彩パターンを説明するための説明図であ
る。

【図６】顔領域抽出部の顔色彩パターン生成部を説明す
るための説明図である。

【図７】顔領域抽出部の顔領域検出部を説明するための
説明図である。

【図８】顔領域抽出部の動作を示すフローチャート（そ
の１）である。

【図９】顔領域抽出部の動作を示すフローチャート（そ
の２）である。

【図１０】顔領域抽出部の動作を示すフローチャート
（その３）である。

【図１１】基準点設定部の動作を示すフローチャートで
ある。

【図１２】基準点設定部の低周波数フィルタ処理を説明
するための説明図である。

【図１３】基準点設定部を説明するための説明図（その
１）である。

【図１４】基準点設定部を説明するための説明図（その
２）である。

【図１５】顔部品抽出部の構成を示すブロック図（その
１）である。

【図１６】顔部品抽出部の構成を示すブロック図（その
２）である。

【図１７】顔部品抽出部の構成を示すブロック図（その
３）である。

【図１８】本発明に係る具体例２の顔部品探索装置の構
成を示すブロック図である。

【図１９】具体例２の顔部品探索装置の動作を示すフロ
ーチャートである。

【図２０】本発明に係る具体例３の顔部品探索装置の構
成を示すブロック図である。

【図２１】具体例３の顔部品探索装置の動作を示すフロ
ーチャートである。

【図２２】本発明に係る具体例４の顔部品探索装置の構
成を示すブロック図である。

【図２３】顔向き抽出部の動作を説明するための説明図
である。

【符号の説明】

１０１、１０２、１０３、１０４顔部品探索装置１０画像取得部２０顔領域抽出部２１顔色彩パターン生成部２２顔色彩パターン記憶部２３顔領域検出部２４顔領域検出制御部４０基準点設定部５０顔部品抽出部５１探索領域設定部５２候補抽出部５２ａテンプレート格納部５３候補選定部６０トラッキング判定部７０回転処理部８０顔向き抽出部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 １５０Ｇ０６Ｔ 7/60 １５０Ｂ (72)発明者政井宏之東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内 (72)発明者渡辺孝弘東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB12 CB16 CE05 CE06 DA08 DB02 DB06 DB09 DC16 DC23 DC25 5L096 AA02 AA06 BA18 CA04 EA14 FA06 FA37 FA69 GA38 GA40 GA55 HA02 JA18

Claims

【特許請求の範囲】

【請求項１】顔の部品を表す顔部品画像が含まれる色
彩画像から前記顔部品画像を探索する装置であって、色彩画像を取得する画像取得部と、取得した前記色彩画像から、顔の色彩に関するパターン
である顔色彩パターンに対応する画像領域を顔領域とし
て検出し、当該顔領域の画像部分を抽出する顔領域抽出
部と、抽出された前記顔領域の前記画像部分から、該画像部分
の濃淡を検出し、該濃淡に基づいて、前記顔部品画像を
探索する基準位置を示す基準点を設定する基準点設定部
と、設定された前記基準点に基づいて前記顔部品画像を検出
すると共に、当該顔部品画像の位置を求める顔部品検出
部とを備えることを特徴とする顔部品探索装置。
【請求項２】前記顔領域抽出部は、前記画像取得部で
取得した前記色彩画像に基づいて前記顔色彩パターンを
生成する顔色彩パターン生成部と、生成された前記顔色
彩パターンを保持する記憶部と、該記憶部の前記顔色彩
パターンに基づいて前記顔領域の前記抽出を行う抽出部
とを有する請求項１記載の顔部品探索装置。
【請求項３】前記顔色彩パターン生成部は、所定の色
空間における前記色彩画像の色彩パターンを生成し、該
生成された色彩パターンの中の、予め設定された色彩パ
ターンのモデルに対応する部分を前記顔色彩パターンと
して生成する請求項２記載の顔部品探索装置。
【請求項４】前記画像取得部は、一連の色彩画像を順
次取得し、前記顔色彩パターン生成部は、前記一連の色彩画像のう
ちの所定の色彩画像に基づいて、前記顔色彩パターンを
生成する請求項２記載の顔部品探索装置。
【請求項５】前記抽出部は、予め設定された判定基準
に基づいて、前記顔領域の前記抽出の成否を判定し、前記顔色彩パターン生成部は、前記抽出が成功しなかっ
たとの前記判定時に、当該色彩画像に引き続く他の色彩
画像のための新たな前記顔色彩パターンを設定する請求
項４記載の顔部品探索装置。
【請求項６】前記基準点設定部は、前記顔領域の前記
濃淡で相互に直交する２方向における各ピーク値を検出
し、当該２方向の各ピーク値に対応する前記濃淡の部分
を、前記基準点として設定する請求項１記載の顔部品探
索装置。
【請求項７】前記基準点設定部は、顔の部品に関する
濃淡について予め顔の部品の位置に基づいて設定された
周波数帯に対応した低周波数フィルタを用いて、前記顔
領域から前記濃淡を検出する請求項６記載の顔部品探索
装置。
【請求項８】前記顔部品検出部は、顔の部品について
予め設定された画像に関する情報となる顔部品情報と、
該顔部品情報に対応した顔の部品における所定の位置を
示す特徴点情報とを含む顔部品データが与えられ、前記基準点設定部で設定された前記基準点に基づいて、
前記顔部品データの走査範囲を設定する走査範囲設定部
と、設定された前記走査範囲内で前記顔部品データを走査
し、該データの前記顔部品情報と前記基準点に対応した
画像部分との整合性に関する所定の基準を満たすときの
前記特徴点情報が示す前記位置を検出する走査部と、検出された前記各位置の中から所定の位置に近似する位
置を選定し、選定した前記位置を、前記顔領域における
前記顔部品画像の位置と定める位置判定部とを有する請
求項１記載の顔部品探索装置。
【請求項９】前記顔部品検出部は、さらに、前記色彩
画像における所定の顔部品画像について前記位置判定部
で定められた前記位置に基づいて、当該所定の顔部品画
像を除く他の顔部品画像のための前記走査の範囲を設定
し、設定した当該走査の範囲を前記走査部に供給する関
連走査範囲設定部を有する請求項８記載の顔部品探索装
置。
【請求項１０】前記画像取得部は、一連の色彩画像を
順次取得し、前記顔部品検出部は、前記色彩画像における顔部品画像
の位置を、当該色彩画像について前記基準点設定部で設
定された前記基準点、または、当該色彩画像の直前の色
彩画像について前記顔部品検出部で検出された顔部品画
像の位置に基づいて検出し、さらに、前記顔部品検出部が前記検出を当該色彩画像の
前記基準点に基づいて行うべきか否かを判定するトラッ
キング判定部を備える請求項１記載の顔部品探索装置。
【請求項１１】前記顔部品画像が含まれる前記色彩画
像には、両目に対応する一対の顔部品画像を含む複数の
顔部品画像が含まれ、さらに、前記基準点設定部で設定された、前記両目の前
記一対の顔部品画像に対応する２つの前記基準点に基づ
いて、水平方向に対する前記顔領域の傾き角度を求め、
該傾き角度の分、当該顔領域の傾きを前記水平方向に補
正すべく当該顔領域を回転させ、回転させた前記顔領域
における前記各顔部品画像の前記基準点を前記顔部品検
出部に供給する回転処理部を備える請求項１記載の顔部
品探索装置。
【請求項１２】前記画像取得部は、一連の色彩画像を
順次取得し、前記顔部品画像が含まれる前記色彩画像には、両目に対
応する一対の顔部品画像を含む複数の顔部品画像が含ま
れ、さらに、前記基準点設定部で設定された、前記両目の前
記一対の顔部品画像に対応する２つの前記基準点、また
は、当該色彩画像の直前の色彩画像について前記顔部品
検出部で検出された両目の顔部品画像の位置に基づい
て、水平方向に対する当該色彩画像の前記顔領域の傾き
角度を求め、該傾き角度の分、当該顔領域の傾きを前記
水平方向に補正すべく当該顔領域を回転させ、回転させ
た前記顔領域における前記各顔部品画像の前記基準点を
前記顔部品検出部に供給する回転処理部と、前記回転処理部が前記傾き角度を当該色彩画像の前記基
準点に基づいて求めるべきか否かを判定するトラッキン
グ判定部とを備える請求項１記載の顔部品探索装置。
【請求項１３】前記顔部品画像が含まれる前記色彩画
像には、両目に対応する一対の顔部品画像を含む複数の
顔部品画像が含まれ、さらに、前記両目の前記一対の顔部品画像のそれぞれ
と、前記顔領域の顔幅を規定する各端部であって前記一
対の顔部品画像のそれぞれの最も近傍にある各端部との
間の２つの距離を求め、該２つの距離の差分に基づい
て、当該色彩画像の顔の向きを検出する顔向き検出部を
備える請求項１記載の顔部品探索装置。
【請求項１４】顔の部品を表す顔部品画像が含まれる
色彩画像から前記顔部品画像を探索する方法であって、色彩画像を取得する画像取得ステップと、取得した前記色彩画像から、顔の色彩に関するパターン
である顔色彩パターンに対応する画像領域を顔領域とし
て検出し、当該顔領域の画像部分を抽出する顔領域抽出
ステップと、抽出された前記顔領域の前記画像部分から、該画像部分
の濃淡を検出し、該濃淡に基づいて、前記顔部品画像を
探索する基準位置を示す基準点を設定する基準点設定ス
テップと、設定された前記基準点に基づいて前記顔部品画像を検出
すると共に、当該顔部品画像の位置を求める顔部品検出
ステップとを備えることを特徴とする顔部品探索方法。