JP2001216515A - 人物の顔の検出方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 目や口の動きを含む顔の表情やヒゲの有無に
よる顔の変動に強く、少ない計算量で、人物の目の間の
位置や目の位置や顔の領域などの情報を検出する顔検出
装置を提供することを目的とする。 【解決手段】 入力画像を小領域に分割し、各小領域の
輝度特徴から目の候補領域と目の間の候補領域とを検出
し、目の候補領域と目の間の候補領域の位置関係から目
の間の領域を決定し、目の間の領域を含むように目や顔
の領域を決定するもので、目の間の領域を検出すること
により誤検出を抑制し画像中から高精度に顔領域の検出
が実現できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔や人物に関する
情報をキーにして動画像を検索する動画像検索装置や、
自動車の運転手や乗員を監視する監視システムや、カメ
ラに映った顔をデータベース上の顔と認識する顔認識シ
ステムに係り、画像中から人物の顔の領域、顔の情報な
どを検出する技術に関するものである。

【０００２】

【従来の技術】従来から、人物の顔を検出する技術が開
発されており、例えば特開平７−３１１８３３号公報に
開示されている顔検出装置がある。以下、従来の顔検出
装置について図２２を用いて説明する。

【０００３】従来の顔検出装置２２２０は、目と口に注
目したものであり、輝度が局所的に最も小さくなる輝度
極小点と輝度が大きくなっていく輝度変曲点を検出して
この２点に挟まれる領域を顔の構成要素の領域として切
り出す領域検出装置２２２１と、顔構成要素領域の大き
さや位置関係より顔の候補を検出する顔候補検出装置２
２２２と、顔候補を詳しく調べて顔であるか否かを判定
する顔判定装置２２２３の３つの処理装置から構成され
る。入力画像信号２２３１は、人物の顔を含む画像であ
る。

【０００４】前記画像入力信号２２３１を一次微分手段
２２０１により、画像上の上から下の方向に一次微分を
行い一次微分信号２２３２を出力する。前記一次微分信
号を二値化手段２２０２により０で二値化し、一次微分
二値化信号２２３３を出力する。また前記入力画像信号
を二次微分手段２２０３により二次微分を行い、二次微
分信号２２３４を出力する。前記二次微分信号を二値化
手段２２０４により０で二値化し、二次微分二値化信号
２２３５を出力する。

【０００５】論理和手段２２０５により、前記一次微分
二値化信号２２３３と前記二次微分二値化信号２２３５
の論理和をとり目・口第一候補信号２２３６を出力す
る。前記目・口第一候補信号において連結領域特徴量算
出手段２２０６により、連結領域を成している各領域に
対して面積、重心位置、領域の縦・横の長さ、また前記
入力画像信号をも入力とし、各領域に対して領域内の輝
度の平均・分散の領域の特徴量を、領域特徴量信号２２
３７として出力する。

【０００６】前記領域特徴量信号を入力とする目第二候
補判定手段２２０７が、各領域の面積、領域の縦・横の
長さ、輝度平均・分散を調べて、前記領域が目らしい領
域を判定し、領域の特徴量と合わせて目第二候補信号２
２３８として出力する。同様に前記領域特徴量信号を入
力とする口第二候補判定手段２２０８が、各領域の面
積、領域の縦・横の長さ、輝度平均・分散を調べて、前
記領域が口らしい領域を判定し、領域の特徴量と合わせ
て口第二候補信号２２３９として出力する。

【０００７】顔候補判定手段２２０９により、前記目第
二候補信号から目候補領域を２つ、前記口第二候補信号
から口候補領域を１つ、すべての領域が互いに重複しな
いように選択し、各領域の重心位置を調べて顔らしい配
置をしている候補の組をすべての組み合わせについて調
べ、顔候補信号２２４０として出力する。

【０００８】顔候補領域画像切り出し手段２２１０は、
アフィン変換を用いて、該顔候補信号中の左右の目の候
補領域の重心位置を基準に、顔の存在する候補領域を切
り出し、顔候補像信号２２４１として出力する。顔判定
手段２２１１は、前記顔候補画像信号と、顔標準パター
ンの間の距離を算出し、ある閾値よりも小さければ、前
記入力信号の対応する場所に人間の顔が撮影されている
と判断し、顔の存在する位置・大きさ・角度を顔信号２
２４２として出力する。

【０００９】

【発明が解決しようとする課題】以上のように従来の技
術では、輝度が局所的に最も小さくなる輝度極小点と輝
度が大きくなっていく輝度変曲点を検出してこの２点に
挟まれる領域を目や口の候補領域として切り出してか
ら、これらの候補領域の形状特徴と輝度特徴から目の候
補と口の候補を検出し、目の候補と口の候補の位置関係
より顔の候補を検出し、顔候補を詳しく調べて顔である
か否かを判定する。

【００１０】しかし、顔以外の背景物が多く映っている
場合には、輝度極小点と輝度変曲点が多数存在するため
に、目や口の候補領域が多数検出され、多くの誤検出が
発生するという課題を有していた。従来技術では、目や
口の候補領域の形状特徴と輝度特徴から目の候補と口の
候補を検出しているが、個人差や表情の変化によって目
と口の形状が大きく変化するため、目や口の候補領域と
して誤検出された背景部分は、目または口の候補領域と
して多数残ってしまう。さらに、斜め向きの顔や傾いた
顔も検出するように設計した場合に顕著であるが、目の
候補と口の候補の位置関係を使って顔の候補を検出する
ときに、誤検出された背景部分が顔の候補として多数残
る。顔候補を詳しく調べる処理で誤検出を何％抑制でき
るかは、顔候補を詳しく調べる処理のアルゴリズムと閾
値に依存して変化し、顔の候補として誤検出される背景
部分は少ない方が望ましいだけでなく、多くのアルゴリ
ズムでは計算量が急激に増大してしまう。

【００１１】また、従来方式では、ヒゲが口にかかった
顔を検出しようとしても、ヒゲと口を分離できずに検出
もれになる場合があるという課題を有していた。

【００１２】本発明は、目や口の動きを含む顔の表情や
ヒゲの有無による顔の変動に強く、少ない計算量で、人
物の顔の領域などの情報を検出する人物の顔の検出装置
を提供することを目的とする。

【００１３】

【課題を解決するための手段】この課題を解決するため
に本発明は、画像中から目の候補領域と目の間の候補領
域を検出し、目の候補領域と目の間の候補領域の位置関
係から目の間の領域を決定し、目の間の領域を含むよう
に顔の領域を決定するものである。

【００１４】これにより、目の間は顔の表情による変動
が少なく、口やヒゲと離れているので、目や口の動きを
含む顔の表情やヒゲの有無による顔の変動に強く、人物
の顔の領域などの情報を検出することができる。

【００１５】また、複数の画素が連結領域かどうかを判
定するのではなく、最初に小領域に分割してから小領域
が目や目の間であるかどうかを判定することで、少ない
計算量で実行することができる。

【００１６】さらに、目の間の領域の重なりを調べた
り、目の間の候補領域内の特徴や目の候補領域内の特徴
を判定して目の間の領域を決定することで、顔以外の背
景物が多く映っている場合を含めて、少ない計算量で人
物の顔の領域を高精度で検出することができる。

【００１７】

【発明の実施の形態】本発明の請求項１に記載の発明
は、入力画像の輝度特徴から目の候補領域と目の間の候
補領域とを検出し、前記目の候補領域と目の間の候補領
域との位置関係から、前記目の間の領域を検出し、検出
された目の間の領域から顔の領域を決定するものであ
り、目の間は顔の表情による変動が少なく口やヒゲと離
れているので、目や口の動きを含む顔の表情やヒゲの有
無や髪型による顔の変動に強く、人物の顔の領域を高精
度に検出できる作用を有する。

【００１８】請求項２に記載の発明は、請求項１記載の
人物の顔の検出方法において、目の候補領域は、水平に
近い方向の線分を輝度特徴として検出するものであり、
目の領域では、顔の表情の変動によらず水平に近い方向
の線が多いので、目や口の動きを含む顔の表情やヒゲの
有無や髪型による顔の変動に強く、人物の目の候補領域
を高精度に検出できる作用を有する。

【００１９】請求項３に記載の発明は、請求項１記載の
人物の顔の検出方法において、目の間の候補領域は、画
像中の線分が少ない領域を輝度特徴として検出するもの
であり、目の間や、目の間の上の額部分や、目の間の下
の鼻部分では線分が少ないので、目や口の動きを含む顔
の表情やヒゲの有無や髪型による顔の変動に強く、人物
の目の間の候補領域を高精度検出できる作用を有する。

【００２０】請求項４に記載の発明は、請求項１から請
求項３のいずれかに記載の人物の顔の検出方法におい
て、画像の一部または全体を複数個の小領域に分割し、
小領域の輝度特徴から目の候補の小領域と目の間の候補
の小領域とを検出し、２つの目の候補の小領域の間に目
の間の候補の小領域が存在するか否かを調べることで、
前記目の間の領域を検出するものであり、目の間は顔の
表情による変動が少なく口やヒゲと離れているので、目
や口の動きを含む顔の表情やヒゲの有無や髪型による顔
の変動に強く、人物の目の間の領域を検出できる作用を
有する。また、複数の画素が連結領域かどうかを判定す
るのではなく、最初に小領域に分割してから小領域が目
や目の間であるかどうかを判定するので、少ない計算量
で人物の目の間の領域を検出できる作用を有する。

【００２１】請求項５に記載の発明は、請求項４に記載
の人物の顔の検出方法において、目の候補の小領域が、
小領域の内部の画素のエッジ情報を用いて検出されるも
のであり、目の領域では、顔の表情の変動によらず垂直
方向のエッジ強度が大きい値になるので、目や口の動き
を含む顔の表情やヒゲの有無や髪型による顔の変動に強
く、少ない計算量で目の候補の小領域を高精度に検出で
きる作用を有する。

【００２２】請求項６に記載の発明は，請求項４記載の
人物の顔の検出方法において、目の候補の小領域が、小
領域の画素の輝度ヒストグラムを求めて隣接する小領域
間で輝度ヒストグラムを比較して検出されるものであ
り、目の領域では顔の表情の変動によらず、ほぼ同じ値
の輝度をもつ画素が横方向に隣接するので、目や口の動
きを含む顔の表情やヒゲの有無や髪型による顔の変動に
強く、少ない計算量で目の候補の小領域を高精度に検出
できる作用を有する。

【００２３】請求項７に記載の発明は、請求項４記載の
人物の顔の検出方法において、目の間の候補の小領域
が、小領域の内部の画素のエッジ情報を用いて検出され
るものであり、メガネをかけていない顔の目の間では、
顔の表情の変動によらず垂直方向のエッジ強度が小さい
値になるので、目や口の動きを含む顔の表情やヒゲの有
無や髪型による顔の変動に強く、少ない計算量で目の間
の候補の小領域を高精度に検出できる作用を有する。

【００２４】請求項８に記載の発明は、請求項７記載の
人物の顔の検出方法において、目の間の候補の小領域
が、垂直方向に隣接する小領域の内部の画素のエッジ情
報を用いて検出されるものであり、メガネをかけた顔の
目の間では、垂直方向のエッジ強度が小さい値になる小
領域と垂直方向のエッジ強度が大きい値になる小領域が
上下に隣接するので、メガネの有無やヒゲの有無や髪型
や顔の表情による顔の変動に強く、少ない計算量で目の
間の候補の小領域を高精度に検出できる作用を有する。

【００２５】請求項９に記載の発明は、請求項４記載の
人物の顔の検出方法において、目の間の候補の小領域
が、小領域の画素の輝度ヒストグラムを求めて隣接する
小領域間で輝度ヒストグラムを比較して検出されるもの
であり、メガネをかけない顔の目の間の領域では顔の表
情の変動によらず、ほぼ同じ値の輝度をもつ画素が横方
向に隣接するので、目や口の動きを含む顔の表情やヒゲ
の有無や髪型による顔の変動に強く、少ない計算量でメ
ガネをかけない顔の目の間の候補の小領域を高精度に検
出できる作用を有する。また、メガネをかけた顔の目の
間の領域では横方向に隣接する画素の輝度差が大きくな
る場合が多いので、目や口の動きを含む顔の表情やヒゲ
の有無や髪型による顔の変動に強く、少ない計算量でメ
ガネをかけた顔の目の間の候補の小領域を検出できる作
用を有する。

【００２６】請求項１０に記載の発明は、画像の一部ま
たは全体を複数の小領域に分割する際に、異なる方法で
２組以上の小領域に分割し、それぞれ分割された小領域
の集まりを小領域群とし、それぞれの小領域群の画像の
輝度特徴から目の間の領域を検出し、目の間の領域の重
なりを判定して目の間の領域を修正し、修正した目の間
の領域を含むように顔の領域を決定するものであり、目
の間は顔の表情による変動が少なく口やヒゲと離れてい
るので、目や口の動きを含む顔の表情やヒゲの有無や髪
型による顔の変動に強く、人物の顔の領域を検出できる
作用を有する。また、異なる方法で２組以上の小領域に
分割して検出された目の間の領域が重複するとき、両方
とも目の間を含んでいれば２つの領域の重複する部分の
面積が大きくなるので、顔以外の背景物が多く映ってい
る場合を含めて、人物の顔の領域の誤検出を抑制し高精
度に検出できるという作用を有する。さらに、検出され
た目の間の領域の重なりを判定するだけなので、口の動
きを含む顔の表情やヒゲの有無や髪型による顔の変動に
強く、少ない計算量で人物の顔の領域の誤検出を抑制
し、高精度に検出できるという作用を有する。

【００２７】請求項１１に記載の発明は、請求項１０記
載の人物の顔の検出方法において、異なる方法での小領
域の分割は、分割する開始点を移動し一部が重なるよう
に分割するか、または、小領域の大きさが異なるように
分割するものであり、分割される領域や小領域の大きさ
によらず、目の間の領域が検出されるので、検出された
目の間の領域の重なりを判定することで人物の顔の領域
の誤検出を抑制し、高精度に検出することができるとい
う作用を有する。

【００２８】請求項１２に記載の発明は、請求項１から
請求項１１までのいずれかに記載の人物の顔の検出方法
において、顔の領域が、前記目の間の領域に含まれる色
を用いて決定されるものであり、照明条件や個人差によ
らず目の間の領域の色と顔の他の部分の肌の色は近いの
で、照明条件や個人差の変動に強く、少ない計算量で顔
の領域を検出できる作用を有する。

【００２９】請求項１３に記載の発明は、入力画像の輝
度特徴から目の間の領域を検出し、目の間の領域を含む
ように両目の候補領域を検出し、両目の候補領域の輝度
特徴または形状特徴を調べて右目の位置と左目の位置を
決定し、右目の位置と左目の位置を含むように顔の領域
を決定するものであり、目の間は顔の表情による変動が
少なく口やヒゲと離れているので、目や口の動きを含む
顔の表情やヒゲの有無や髪型による顔の変動に強く、人
物の顔の領域を検出できる作用を有する。また、目の周
辺だけに限定すれば目の輝度分布と目以外の部分の輝度
分布が大きく異なるので、目の周辺の輝度特徴や形状特
徴を用いて右目と左目の位置を検出できる作用を有す
る。

【００３０】請求項１４に記載の発明は、請求項１から
請求項１３までのいずれかに記載の人物の顔の検出方法
において、前記顔の領域内の顔に関する情報を検出する
ものであり、顔の領域の情報だけでなく、顔に関する情
報を検出できる作用を有する。

【００３１】請求項１５に記載の発明は、請求項１４に
記載の人物の顔の検出方法において、前記顔に関する情
報が、性別、年齢のいずれか１つ以上を含むものであ
り、動画像の検索や人物の監視や認識に必要な情報を検
出できる作用を有する。

【００３２】請求項１６に記載の発明は、動画像のフレ
ーム画像から請求項１から１２のいずれかに記載の人物
の顔の検出方法で検出した顔の領域から、各領域の顔に
関する情報を検出して蓄積し、顔に関する情報を用いて
動画像を検索するものであり、人物や顔をキーにして動
画像を検索したり、検索に必要な人物や顔の情報を作成
して蓄積できる作用を有する。また、目の間は顔の表情
による変動が少なく口やヒゲと離れているので、目や口
の動きを含む顔の表情やヒゲの有無や髪型による顔の変
動に強く、顔の領域を検出できる作用を有する。

【００３３】請求項１７に記載の発明は、請求項１から
１３のいずれかに記載の人物の顔の検出方法で検出した
顔の領域から、各領域の顔の特徴量とデータベースに蓄
積された顔の特徴量を用いて顔の認識を行うものであ
り、目の間は顔の表情による変動が少なく口やヒゲと離
れているので、目や口の動きを含む顔の表情やヒゲの有
無や髪型による顔の変動に強い、顔の領域が検出できる
ので、高精度に顔認識ができる作用を有する。

【００３４】請求項１８に記載の発明は、画像の一部ま
たは全体を複数個の小領域に分割する分割手段と、前記
小領域の輝度特徴から目の候補の小領域を検出する目候
補検出手段と、前記小領域の輝度特徴から目の間の候補
の小領域を検出する目間候補検出手段と、前記２つの目
の候補の小領域の間に前記目間候補検出手段で検出され
た目の間の候補が存在するか否かを調べて目の間の領域
を決定する目間決定手段と、前記目間領域検出手段で決
定した目の間の領域を含むように顔の領域を決定する顔
決定手段とを備えるものであり、目の間は顔の表情によ
る変動が少なく口やヒゲと離れているので、目や口の動
きを含む顔の表情やヒゲの有無や髪型による顔の変動に
強く、顔の領域を高精度に検出できる作用を有する。ま
た、複数の画素が連結領域かどうかを判定するのではな
く、最初に小領域に分割してから小領域が目や目の間で
あるかどうかを判定するので、少ない計算量で顔の領域
を高精度に検出できる作用を有する。

【００３５】請求項１９に記載の発明は、請求項１８に
記載の人物の顔の検出装置において、画像の一部または
全体を複数個の小領域に異なる方法で２組以上の小領域
に分割する際に、分割する開始点を移動し一部が重なる
ように分割するか、または、小領域の大きさが異なるよ
うに分割する分割手段と、それぞれ分割された小領域の
集まりを小領域群とし、それぞれの小領域群の画像の輝
度特徴から目の間の領域を検出する目間領域検出手段
と、前記目間領域検出手段でそれぞれの小領域群から決
定した複数の目の間の領域の重なりを判定して目の間の
領域を修正する重複判定手段と、前記重複判定手段で修
正された目の間の領域を含むように顔の領域を決定する
前記顔決定手段とを備えるものであり、分割される領域
や小領域の大きさによらず、目の間の領域が検出される
ので、検出された目の間の領域の重なりを判定すること
で人物の顔の領域の誤検出を抑制し、高精度に検出する
ことができるという作用を有する。

【００３６】請求項２０に記載の発明は、請求項１８ま
たは請求項１９記載の人物の顔の検出装置において、前
記顔決定手段が、前記目の間の領域に含まれる色を用い
て顔の領域を決定するものであり、照明条件や個人差に
よらず目の間の領域の色と顔の他の部分の肌の色は近い
ので、照明条件や個人差の変動に強く、少ない計算量で
顔の領域を検出できる作用を有する。

【００３７】本発明の請求項２１に記載の発明は、入力
画像の輝度特徴から目の間の領域を検出する目間検出手
段と、前記目間検出手段で検出された目の間の領域を含
むように両目の候補領域を検出する目候補設定手段と、
前記目候補設定手段で検出された両目の候補領域の輝度
特徴または形状特徴を調べて右目の位置と左目の位置を
決定する目決定手段と、前記目決定手段で決定した右目
の位置と左目の位置を含むように顔の領域を決定する顔
決定手段を備えるものであり、目の間は顔の表情による
変動が少なく口やヒゲと離れているので、目や口の動き
を含む顔の表情やヒゲの有無や髪型による顔の変動に強
く、人物の顔の領域を高精度に検出できる作用を有す
る。また、目の周辺だけに限定すれば目の輝度分布と目
以外の部分の輝度分布が大きく異なるので、目の周辺の
輝度特徴や形状特徴を用いて右目と左目の位置を検出で
きる作用を有する。

【００３８】請求項２２に記載の発明は、動画像を蓄積
する動画像蓄積手段と、前記動画像中のフレーム画像か
ら顔の領域を決定する請求項１８から請求項２１に記載
の人物の顔の検出装置と、前記決定された顔の領域内の
顔に関する情報を検出する情報検出手段と、前記情報検
出手段で検出した情報を蓄積する顔情報蓄積手段と、前
記顔情報蓄積手段に蓄積された情報を検索する検索手段
を備えるものであり、人物や顔をキーにして動画像を検
索したり、検索に必要な人物や顔の情報を作成して蓄積
できる作用を有する。また、目の間は顔の表情による変
動が少なく口やヒゲと離れているので、目や口の動きを
含む顔の表情やヒゲの有無や髪型による顔の変動に強
く、顔の領域を検出できる作用を有する。

【００３９】請求項２３に記載の発明は、入力画像から
顔の領域を決定する請求項１８から請求項２１に記載の
人物の顔の検出装置と、予め認識したい人物の顔の特徴
量と人名を蓄積するデータベース手段と、前記人物の顔
の検出装置で決定した各領域の顔の特徴量と前記データ
ベース手段に蓄積された顔の特徴量とを用いて顔の認識
を行う認識手段とを備えるものであり、目の間は顔の表
情による変動が少なく口やヒゲと離れているので、目や
口の動きを含む顔の表情やヒゲの有無や髪型による顔の
変動に強い顔の領域が検出できるので、高精度な顔認識
ができるという作用を有する。

【００４０】請求項２４に記載の発明は、コンピュータ
によって画像から人物の顔を検出するプログラムを記録
した記憶媒体であって、入力画像の輝度特徴から目の候
補領域と目の間の候補領域とを検出し、前記目の候補領
域と目の間の候補領域との位置関係から、前記目の間の
領域を検出し、検出された目の間の領域から顔の領域を
決定することを特徴とする人物の顔の検出プログラムで
あり、コンピュータにインストールして実行するもの
で、目や口の動きを含む顔の表情やヒゲの有無や髪型に
よる顔の変動に強く、人物の顔を高精度に検出できる作
用を有する。

【００４１】請求項２５に記載の発明は、コンピュータ
によって画像から人物の顔を検出するプログラムを記録
した記憶媒体であって、入力画像の輝度特徴から目の間
の領域を検出し、目の間の領域を含むように両目の候補
領域を設定し、両目の候補領域の輝度特徴または形状特
徴を調べて右目の位置と左目の位置を決定し、右目の位
置と左目の位置を含むように顔の領域を決定し、決定し
た顔の領域を出力することを特徴とする人物の顔の検出
プログラムであり、コンピュータにインストールして実
行するもので、目や口の動きを含む顔の表情やヒゲの有
無や髪型による顔の変動に強く、人物の顔の領域や脇見
の有無などの情報を検出できる作用を有する。また、目
の周辺だけに限定すれば目の輝度分布と目以外の部分の
輝度分布が大きく異なるので、目の周辺の輝度特徴や形
状特徴を用いて右目と左目の位置を検出できる作用を有
する。

【００４２】請求項２６に記載の発明は、コンピュータ
によって動画像を検索するプログラムを記録した記録媒
体であって、動画像のフレーム画像から請求項１から１
２のいずれかに記載の人物の顔の検出方法で検出した顔
の領域から、検出された各領域の顔に関する情報を検出
して蓄積し、前記顔に関する情報を用いて動画像を検索
することを特徴とする動画像検索プログラムであり、コ
ンピュータにインストールして実行するもので、人物や
顔をキーにして動画像を検索したり、検索に必要な人物
や顔の情報を作成して蓄積できる作用を有する。また、
目の間は顔の表情による変動が少なく口やヒゲと離れて
いるので、目や口の動きを含む顔の表情やヒゲの有無や
髪型による顔の変動に強く、顔の領域を高精度に検出で
きる作用を有する。

【００４３】請求項２７に記載の発明は、コンピュータ
によって顔を認識するプログラムを記録した記録媒体で
あって、請求項１から１３のいずれかに記載の人物の顔
の検出方法で検出した顔の領域から、検出された各領域
の顔の特徴量と予めデータベースに蓄積された顔の特徴
量とを用いて顔の認識を行うことを特徴とする顔認識プ
ログラムであり、コンピュータにインストールして実行
するもので、目の間は顔の表情による変動が少なく口や
ヒゲと離れているので、目や口の動きを含む顔の表情や
ヒゲの有無や髪型による顔の変動に強い顔の領域が検出
できるので、高精度な顔認識できるという作用を有す
る。

【００４４】以下に、本発明の実施の形態について、図
を用いて説明する。

【００４５】（実施の形態１）図１は、本発明の実施の
形態１における人物の顔の検出装置の構成図である。図
１において、人物の顔の検出装置１２２には入力画像信
号１０２が入力され、入力画像信号１０２がそのまま目
間領域検出手段１０１の分割手段１０３に入力される。
分割手段１０３は、入力された入力画像信号１０２の画
像全体を複数個の小領域に分割し、各小領域の画像を小
領域画像信号１０４として順次出力する。エッジ特徴量
計算手段１０５は、小領域画像信号１０４を読み込ん
で、小領域における各画素のエッジ強度の総和をエッジ
特徴量信号１０６として出力する。輝度ヒストグラム計
算手段１０７は、小領域画像信号１０４を読み込んで、
小領域内の画素のヒストグラムを輝度ヒストグラム信号
１０８として出力する。輝度ヒストグラム比較手段１０
９は、輝度ヒストグラム信号１０８を読み込んで、水平
方向に隣接する２つの小領域間の輝度ヒストグラムの差
を輝度ヒストグラム差信号１１０として出力する。第１
のバッファ手段１１１は、複数の小領域のエッジ特徴量
信号１０６と輝度ヒストグラム差信号１１０を記憶す
る。

【００４６】目候補検出手段１１２は、第１のバッファ
手段１１１に記憶したエッジ特徴量信号と輝度ヒストグ
ラム差信号を読み出して、目の候補となる小領域（目候
補）を検出し、目の候補となる小領域の座標を目候補信
号１１３として出力する。目間候補検出手段１１４は、
第１のバッファ手段１１１からエッジ特徴量信号１０６
と輝度ヒストグラム差信号１１０を読み出して、目の間
の候補となる小領域（目間候補）を検出し、目の間の候
補となる小領域の座標を表す目間候補信号１１５と眼鏡
の有無を表す眼鏡判定信号１１６を出力する。第２のバ
ッファ手段１１７は、目候補信号１１３と目間候補信号
１１５と眼鏡判定信号１１６を記憶する。目間決定手段
１１８は、第２のバッファ手段１１７から目候補信号１
１３と目間候補信号１１５と眼鏡判定信号１１６を読み
出し、必要に応じて第１のバッファ手段１１１から輝度
ヒストグラム差信号１１０を読み出し、２つの目の候補
の小領域の間に目の間の候補の小領域が存在するかどう
かを調べて目の間の領域を決定し、目の間の領域の座標
を目間領域信号１１９として出力する。

【００４７】顔決定手段１２０は、目間領域信号１１９
を読み込んで、顔の領域の座標を表す顔領域信号１２１
を出力する。

【００４８】なお、図１の人物の顔の検出装置は、パソ
コンのＣＰＵとメモリを用いて人物の顔の検出プログラ
ムによって実現することもできる。

【００４９】以下、図１の人物の顔の検出装置の動作に
ついて、図２のフローチャートを用いて説明する。

【００５０】手順２０１では、分割手段１０３が、画像
入力信号１０２によって入力された画像全体をVslit×H
slitのサイズ（Vslit、Hslitは１以上の整数）の小領域
に分割し、各小領域の画像を小領域画像信号１０４とし
て順次出力する。小領域は、図３（ａ）に示すように、
例えばVslit=１２、Hslit=２（Vslit、Hslitはあらかじ
め設定された値）とする。

【００５１】手順２０２では、エッジ特徴量計算手段１
０５が、小領域画像信号１０４を読み込んで、小領域内
の画素(x,y)に対して（ｘ、ｙは１以上の整数）垂直方
向エッジ強度の二乗Ve(x,y)を Ve(x,y)=[Y(x,y-1)-Y(x,y+1)]×[Y(x,y-1)-Y(x,y+1)] によって求め、左からｉ番目、上からｊ番目の小領域
(i,j)内部のVe(x,y)の総和をSve(i,j)とする（ｉ、ｊは
１以上の整数）。ただし、Y(x,y)は画素(x,y)の輝度を
表し、０以上２５５以下の整数である。左からｉ番目、
上からｊ番目の小領域(i,j)における各画素のエッジ強
度の総和Sve(i,j)をエッジ特徴量信号１０６として出力
する。

【００５２】手順２０３では、輝度ヒストグラム計算手
段１０７が、小領域画像信号１０４を読み込んで、小領
域(i,j)内部の画素(x,y)に対して輝度値の頻度を調べて
ヒストグラムH(i,j,bin)を作成する。ただし、本実施例
では、上位３ビットの値の頻度を調べてヒストグラムH
(i,j,bin)を作成するものとする（binは１以上８以下の
整数）。左からｉ番目、上からｊ番目の小領域(i,j)内
の画素のヒストグラムH(i,j,bin)を輝度ヒストグラム信
号１０８として出力する。

【００５３】手順２０４では、輝度ヒストグラム比較計
算手段１０９が、輝度ヒストグラム信号１０８を読み込
んで、水平方向に隣接する２つの小領域(i,j)、(i-1,j)
の間の輝度ヒストグラムの差Dh(i,j)を、 Dh(i,j) = Σ[[H(i,j,bin)-H(i-1,j,bin)]×[H(i,j,bi
n)-H(i-1,j,bin)]] によって求める。左からｉ番目、上からｊ番目の小領域
(i,j)と、左から（ｉ−１）番目、上からｊ番目の小領
域(i-1,j)との間の輝度ヒストグラムの差Dh(i,j)を、輝
度ヒストグラム差信号１１０として出力する。

【００５４】手順２０５では、第１のバッファ手段１１
１が、複数の小領域のエッジ特徴量信号１０６と輝度ヒ
ストグラム差信号１１０を記憶する。

【００５５】手順２０６では、目の部分で水平に近い方
向の線分が多いので、エッジ特徴量信号Sve(i,j)と第１
の閾値Th1を比較し、Sve(i,j) > Th1を満足する小領
域があらかじめ設定した個数Ｎ１個以上水平方向に連続
し、さらに垂直に近い方向の線分が少ないので、その中
であらかじめ設定した個数Ｎ２個以上の小領域が、輝度
ヒストグラム差信号Dh(i,j)と第２の閾値Th2を比較する
式 Dh(i,j) < Th2 を満足するとき、このＮ１個の小領域を目候補とする。
そして、目候補の左端の小領域の左上の座標と、目候補
の右端の小領域の右下の座標を、目候補信号１１３とし
て出力する。

【００５６】手順２０７では、眼鏡をかけていない顔の
目の間で、水平に近い方向の線分が少ないので、エッジ
特徴量信号Sve(i,j)と第３の閾値Th3を比較し、 Sve(i,j) < Th3 を満足する小領域があらかじめ設定した個数Ｎ３個以上
水平方向に連続し、さらに垂直に近い方向の線分も少な
いので、その中であらかじめ設定した個数Ｎ４個以上の
小領域が、輝度ヒストグラム差信号Dh(i,j)と第４の閾
値Th4を比較する式 Dh(i,j) < Th4 を満足するとき、このＮ３個の小領域を目間候補とす
る。そして、目間候補の左端の小領域の左上の座標と、
目間候補の右端の小領域の右下の座標を、目間候補信号
１１５として出力する。また、この目間候補信号に対応
する眼鏡判定信号１１６を「眼鏡なし」にして出力す
る。

【００５７】手順２０８では、眼鏡をかけている顔の目
間に水平に近い方向の線分が多いので、エッジ特徴量信
号Sve(i,j)と第５の閾値Th5の比較と、エッジ特徴量信
号Sve(i,j-1)と第６の閾値Th6の比較を実行し、 Sve(i,j) > Th5 Sve(i,j-1) < Th6 を満足する小領域の組(i,j),(i,j-1)があらかじめ設定
した個数Ｎ５個以上水平方向に連続し、さらに額部分に
線分が少ないので、その中であらかじめ設定した個数Ｎ
６個以上の小領域が、輝度ヒストグラム差信号Dh(i,j-
1)と第７の閾値Th7を比較する式 Dh(i,j-1) < Th7 を満足するとき、Ｎ５個の小領域の組の下半分を目間候
補とする。そして、目間候補の左端の小領域の左上の座
標と、目間候補の右端の小領域の右下の座標を、目間候
補信号１１５として出力する。また、この目間候補信号
に対応する眼鏡判定信号１１６を「眼鏡あり」にして出
力する。

【００５８】手順２０９では、第２のバッファ手段１１
７が、目候補信号１１３と目間候補信号１１５と眼鏡判
定信号１１６を記憶する。

【００５９】手順２１０では、目間決定手段１１８が、
第２のバッファ手段１１７から目候補信号１１３と目間
候補信号１１５を読み出し、水平に並ぶ２つの目候補に
挟まれる目間候補を検出する。検出された目間候補に対
応する眼鏡判定信号が「眼鏡なし」である場合には、検
出された目間候補の左側にある目候補の目候補信号の右
下の座標と、検出された目間候補の右側にある目候補の
目候補信号の左上の座標を、目間領域信号１１８として
出力する。検出された目間候補に対応する眼鏡判定信号
が「眼鏡あり」である場合には、検出された目間候補の
左側にある目候補の目候補信号の右下の座標と、検出さ
れた目間候補の右側にある目候補の目候補信号の左上の
座標に囲まれる領域を目間領域の候補とし、その中の小
領域の輝度ヒストグラム差信号を第１のバッファ手段か
ら読み出し、読み出した輝度ヒストグラム差信号の平均
値を求める。この平均値が第８の閾値Th8以上になると
き、検出された目間候補の左側にある目候補の目候補信
号の右下の座標と、検出された目間候補の右側にある目
候補の目候補信号の左上の座標を、目間領域信号１１８
として出力する。

【００６０】手順２１１では、顔決定手段１２０が、目
間領域信号１１８の表す座標（目の間の領域の右下の座
標と左上の座標）を基準にして、あらかじめ設定してお
いた変換式に従って顔の領域の座標を決定し、顔領域信
号１２１として出力する。目の間の領域の左上の座標を
(xli,yti)とし、右下の座標を(xri,ybi)とすると、例え
ば、顔の領域の左上の座標(xlf,ytf)と右下の座標(xrf,
ybf)を xlf = xli - (xri - xli) xrf = xri + (xri - xli) ytf = yti ybf = yti + (xrf - xlf) とする。

【００６１】本実施の形態で人物の顔を検出した例とし
て、図３（ｂ）に目候補領域３０３、３０４と目の間の
候補領域３０８を示し、図３（ｃ）に目の間の候補領域
３０８から求めた目の間の領域の左上の座標点３０１と
右下の座標点３０２と、顔の領域の左上の座標点３０５
と右下の座標点３０６を示す。

【００６２】以上の説明では、画像全体を小領域に分割
しているが、画像の一部（目の間の領域が存在すると予
想される領域）を小領域に分割してもよい。例えば、テ
レビ放送のフレーム画像から目の間の領域を検出する場
合には、顔が画像の上半分に存在することが多いので、
画像の上半分を小領域に分割し、この領域から目の間の
領域を検出すればよい。

【００６３】また、目候補を検出する手順２０６、目間
候補を検出する手順２０７および手順２０８は順次処理
するように説明したが、並列または手順２０６〜手順２
０８をどんな順番で実行してもよい。

【００６４】手順２０２では、一般に知られている他の
方法を用いてエッジ強度を計算してもよい。また、輝度
差の二乗の総和ではなく、輝度差の絶対値の総和をエッ
ジ特徴量にしてもよい。

【００６５】同様に、手順２０４では、一般に知られて
いる他の方法を用いて輝度ヒストグラムの差を計算して
もよい。また、頻度差[H(i,j,bin)-H(i-1,j,bin)]の二
乗の総和ではなく、頻度差の絶対値の総和を輝度ヒスト
グラム差信号として出力してもよい。エッジ強度や輝度
ヒストグラムの差を利用せずに、他の特徴量を利用して
直線や曲線の有無を調べて、目候補や目間候補を検出し
てもよい。

【００６６】眼鏡をかけた顔の目の間の候補は、他の特
徴を利用したり、複数の特徴を組み合わせて検出しても
よい。本実施の形態の手順２０８では、額部分（眼鏡の
上側）の特徴を利用しているが、例えば鼻部分（眼鏡の
下側）で線が少ない（各画素のエッジ強度が非常に小さ
い）ことを利用してもよい。

【００６７】また、眼鏡をかけている顔の両目の間の輝
度分布の特徴（例えば、横方向に隣接する小領域の輝度
ヒストグラムの差が大きくなるという特徴）を利用して
もよい。

【００６８】目の間の領域から顔の領域を決定する方法
として、他の方法を利用してもよい。例えば、目の間の
領域の周辺に顔の候補領域を設定し、顔の候補領域内で
肌色になる画素を肌色画素として取り出してから、あら
かじめ設定した割合以上の肌色画素を含むような矩形領
域を求めて、顔の領域としてもよい。

【００６９】本実施の形態によれば、両目と目の間の特
徴を利用して目の間の領域を検出するので、口の動きを
含む顔の表情やヒゲの有無や髪型による顔の変動に強
く、人物の顔の領域を検出することができる。

【００７０】目の領域では、目や瞼の動きを含む顔の変
動や眼鏡の有無や髪型によらず垂直方向のエッジ強度が
大きい値になり、ほぼ同じ値の輝度をもつ画素が横方向
に隣接するので、目や瞼の動きを含む顔の変動や眼鏡の
有無や髪型によらず、目の領域の候補を検出できる。ま
た、眼鏡をかけたときの目の間の特徴と眼鏡をかけない
ときの目の間の特徴を両方利用して目の間の候補を検出
することから、眼鏡の有無によらず目の間の領域の候補
を検出できる。さらに、顔の表情が変動しても目の間が
ほとんど変動しないことから、顔の表情の変動によら
ず、目の間の領域の候補を検出できる。そして、本実施
の形態で利用している目や目の間の特徴は、頭全体が動
いて顔の向きや顔の傾きが変動しても保持されるので、
頭全体の動きによらず、目の間の候補を検出できる。以
上のことから、本実施の形態の人物の顔の検出装置は、
目や瞼や頭全体の動きを含む顔の変動や眼鏡の有無や髪
型によらず、人間の顔の領域を検出できる。

【００７１】さらに、最初に小領域に分割してから小領
域が目や目の間であるかどうかを判定するので、複数の
画素が連結領域かどうかを判定するような多くの計算量
を要する処理が不要であり、少ない計算量で人物の顔の
領域を検出できる。

【００７２】人物の顔を検出する技術を使って動画像を
処理する装置やシステムでは、少ない計算量で高速に人
物の顔の領域を検出しなければならないことが多い。本
実施の形態によれば、輝度極小点と輝度変曲点に挟まれ
る領域の連結領域を調べて目や口の候補領域にする処理
のような、多くの計算量が必要な処理を実行しないの
で、高速に人物の顔の領域を検出することができる。ま
た、人物の顔の領域を検出することで、画像中の顔の数
（人数）を簡単に推定できる。

【００７３】図２に示した処理手順を人物の顔の検出プ
ログラムとして記憶媒体に記憶することにより、各種コ
ンピュータにインストールして人物の顔の検出方法を実
行し、画像から人物の顔の領域を検出することが可能と
なる。

【００７４】（実施の形態２）実施の形態２では、実施
の形態１に示した目間領域検出手段１０１を２つ組み合
わせて、より高精度な人物の顔の検出装置を提供する。

【００７５】図４は、本発明の実施の形態２における人
物の顔の検出装置の構成図である。図４において、人物
の顔の検出装置４０１には、入力画像信号４０２が部分
画像発生手段４０３に入力される。部分画像発生手段４
０３は、入力された入力画像信号４０２の画像全体か
ら、図５に示す領域５０１の画像と領域５０２の画像を
取り出し、第１の部分画像信号４０４と第２の部分画像
信号４０５を出力する。第１の目間領域検出手段４０６
は、第１の部分画像信号４０４を読み込んで目の間の領
域を検出し、目の間の領域の座標を第１の目間領域候補
信号４０７として出力する。第２の目間領域検出手段４
０８は、第２の部分画像信号４０５を読み込んで目の間
の領域を検出し、目の間の領域の座標を第２の目間領域
候補信号４０９として出力する。バッファ手段４１０
は、第１の目間領域候補信号４０７と第２の目間領域候
補信号４０９を記憶する。重複判定手段４１１は、バッ
ファ手段４１０から第１の目間領域候補信号と第２の目
間領域候補信号を読み込んで、２つの検出された目の間
の領域が重複する部分の面積を判定して、目の間の領域
の座標を目間領域信号４１２として出力する。顔決定手
段４１３は、目間領域信号４１２を読み込んで、顔の領
域の座標を表す顔領域信号４１４を出力する。

【００７６】目間領域検出手段４０６、４０８は、実施
の形態１に示した目間領域検出手段１０１と同じ構成に
すればよい。また、実施の形態１に示した人物の顔の検
出装置における小領域の高さをVslitとし、座標系の原
点(0,0)を画像の左上端の点にしたとき、図５に示した
領域５０１の左上端の座標を例えば(1,1)とし、領域５
０２の左上端の座標を(2,Vslit/2+1)にすればよい。こ
れにより、第１の目間領域検出手段４０６におけるそれ
ぞれの小領域は、第２の目間領域検出手段４０８におけ
るどこかの小領域と必ず重なることになる。なお、領域
５０１を分割して得られた小領域の集合を第１の小領域
群とし、領域５０２を分割して得られた小領域の集合を
第２の小領域群とする。

【００７７】以下，人物の顔の検出装置の動作につい
て，図６のフローチャートを用いて説明する。

【００７８】手順６０１では、部分画像発生手段４０３
が、画像入力信号４０２によって入力された画像全体か
ら、図５に示す領域５０１と領域５０２を取り出し、領
域５０１の画像を第１の部分画像信号４０４として出力
し、領域５０２の画像を第２の部分画像信号４０５とし
て出力する。

【００７９】手順６０２では、第１の目間領域検出手段
４０６が、第１の部分画像信号４０４を読み込んで目の
間の領域を検出し、目の間の領域の座標を第１の目間領
域候補信号４０７として出力する。例えば、実施の形態
１の手順２０１から手順２１０に示した動作を実行する
ことで、目の間の領域を検出することができる。

【００８０】手順６０３では、第２の目間領域検出手段
４０８が、第２の部分画像信号４０５を読み込んで目の
間の候補領域を検出し、目の間の領域の座標を第２の目
間領域候補信号４０９として出力する。

【００８１】手順６０４では、バッファ手段４１０が、
第１の目間領域候補信号４０７と第２の目間領域候補信
号４０９を記憶する。図７に示した人物の顔の画像から
本装置で人物の顔を検出したとき、第１の目間領域検出
手段で検出された目の間の領域の左上の座標と右下の座
標は点７０１、７０２になり、第２の目間領域検出手段
で検出された目の間の領域の左上の座標と右下の座標は
点７０３、７０４になる。

【００８２】手順６０５では、重複判定手段４１１が、
バッファ手段４１０から第１の目間領域候補信号と第２
の目間領域候補信号を読み込み、第１の目間領域検出手
段４０６で検出された目の間の領域の左上の座標(xl1,y
t1)および右下の座標(xr1,yb1)と、第２の目間領域検出
手段４０８で検出された目の間の領域の左上の座標(xl
2,yt2)および右下の座標(xr2,yb2)を求め、２つの目の
間の領域に重複する部分が存在するかを調べる。

【００８３】すべての目間領域候補信号の組み合わせに
対して手順６０７以降を実行した場合には、人物の顔の
検出処理を終了する（手順６０６）。

【００８４】２つの目の間の領域に重複する部分が存在
しない場合には、手順６０５に戻る（手順６０７）。

【００８５】２つの目の間の領域に重複する部分が存在
する場合には、重複する部分の左上の座標(xlo,yto)お
よび右下の座標(xro,ybo)を求める（手順６０８）。

【００８６】手順６０９では、２つの座標(xl1,yt1)、
(xr1,yb1)で囲まれる領域（第１の目の間の領域）の面
積S1と、２つの座標(xl2,yt2)、(xr2,yb2)で囲まれる領
域（第２の目の間の領域）の面積S2と、２つの座標(xl
o,yto)、(xro,ybo)で囲まれる領域（重複する部分の領
域）との面積Soを求め、その割合が閾値Th以上になるこ
とを表す式 So/S1 > Th So/S2 > Th が同時に成立するときには、重複する部分の左上の座標
(xlo,yto)および右下の座標(xro,ybo)を目間領域信号４
１２として出力する。

【００８７】手順６１０では、顔決定手段４１３が、目
間領域信号４１２の表す座標を基準にして、あらかじめ
設定しておいた変換式に従って顔の領域の座標を決定
し、顔領域信号４１４として出力する。手順６１０を実
行した後は手順６０５に戻る。

【００８８】以上の説明では、第１の小領域群と第２の
小領域群の間で、分割される領域が異なるようにしてい
るが、小領域の大きさが異なるようにしてもよい。

【００８９】本実施の形態によれば、２つの検出された
目の間の領域が重複するとき、両方とも画像中の目の間
を含んでいれば２つの領域の重複する部分の面積が大き
くなるので、顔以外の背景物が多く映っている場合を含
めて、人物の顔の領域の誤検出を抑制し、高精度に検出
することができる。

【００９０】また、少ない計算量で候補領域の重なりを
判定するので、高速に実行することができる。

【００９１】さらに、目の間の候補領域の重なりを調べ
るだけなので、口の動きを含む顔の表情やヒゲの有無や
髪型や頭全体の動きによる顔の変動に強く、人物の顔の
領域の誤検出を抑制し、高精度に検出することができ
る。

【００９２】（実施の形態３）実施の形態３では、実施
の形態１に示した目間領域検出手段と、目の間の領域の
周辺を調べる手段を組み合わせて、より高精度な人物の
顔の検出装置を提供する。

【００９３】図８は本発明の実施の形態３における人物
の顔の検出装置の構成図である。図８において、人物の
顔の検出装置８２１には、入力画像信号８０２が入力さ
れ、入力画像信号がそのまま目間領域検出手段８０１の
目間候補設定手段８０３に入力される。目間候補設定手
段８０３は、入力画像信号８０２を読み込んで目の間の
候補領域を設定し、目の間の候補領域の座標を目間領域
候補信号８０４として出力する。目候補設定手段８０５
は、目間領域候補信号８０４を読み込んで、目の間の候
補領域の左右に目の候補領域を設定し、左目領域候補信
号８０６と右目領域候補信号８０７を出力する。バッフ
ァ手段８０８は、目間領域候補信号８０４と左目領域候
補信号８０６と右目領域候補信号８０７を記憶する。部
分画像発生手段８０９は、入力画像信号８０２によって
入力された画像全体から、目間領域候補信号と左目領域
候補信号と右目領域候補信号の表す領域の画像を取り出
し、目間画像信号８１０と左目画像信号８１１と右目画
像信号８１２を出力する。輝度比較手段８１３は、目間
画像信号８１０と左目画像信号８１１と右目画像信号８
１２を読み込んで、目の間の候補領域の平均輝度と左目
の候補領域の平均輝度と右目の候補領域の平均輝度を比
較して、第１の判定結果信号８１４を出力する。色判定
手段８１５は、目間画像信号８１０と左目画像信号８１
１と右目画像信号８１２を読み込んで、目の間の候補領
域の平均色と左目の候補領域の平均色と右目の候補領域
の平均色を調べて、第２の判定結果信号８１６を出力す
る。目間決定手段８１７は、第１の判定結果信号８１４
と第２の判定結果信号８１６を読み込んで、目の間の領
域の座標を目間領域信号８１８として出力する。顔決定
手段８１９は、目間領域信号８１８を読み込んで、顔の
領域の座標を表す顔領域信号８２０を出力する。特徴判
定手段８２２は、輝度比較手段８１３と色判定手段８１
５から構成される。

【００９４】目間候補設定手段８０３は、実施の形態１
に示した目間領域検出手段と同じ構成にすればよい。ま
た、実施の形態２に示した人物の顔の検出装置から顔決
定手段を除いた部分と同じ構成にして、目間領域信号４
１２を出力するようにしてもよい。

【００９５】以下，人物の顔の検出装置の動作につい
て，図９のフローチャートを用いて説明する。

【００９６】手順９０１では、目間候補設定手段８０３
が、入力画像信号８０２を読み込んで目の間の領域を検
出し、目の間の候補領域にする。そして、目の間の候補
領域の座標を目間領域候補信号８０４として出力する。
例えば、実施の形態１に示した手順２０１から手順２１
１に示す動作を実行することで、目の間の領域を検出す
ることができる。また、実施の形態２に示した手順６０
１から手順６０９を実行してもよい。

【００９７】手順９０２では、目候補設定手段８０５
が、目間領域候補信号８０４から目の間の候補領域の左
上の座標(xli,yti)と右下の座標(xri,ybi)を読み取る。
そして、左目の候補領域の左上の座標(xll,ytl)と右下
の座標(xrl,ybl)と、右目の候補領域の左上の座標(xlr,
ytr)と右下の座標(xrr,ybr)を設定し、左目の候補領域
の座標を左目領域候補信号８０６として出力し、右目の
候補領域の座標を右目領域候補信号８０７として出力す
る。図１０に目の間の候補領域の左上の座標１００１と
右下の座標１００２と、左目の候補領域の左上の座標１
００３と右下の座標１００４と、右目の候補領域の左上
の座標１００５と右下の座標１００６の例を示す。xl
l、ytl、xrl、ybl、xlr、ytr、xrr、ybrの値は、次式で
決定する。

【００９８】xll = xri ytl = yti xrl = xll + (xri - xli) / 2 ybl = ybi xlr = xrr - (xri - xli) / 2 ytr = yti xrr = xli ybr = ybi 手順９０３では、バッファ手段８０８が、目間領域候補
信号８０４と左目領域候補信号８０６と右目領域候補信
号８０７を記憶する。

【００９９】手順９０４では、部分画像発生手段８０９
が、入力画像信号８０２によって入力された画像全体か
ら、目間領域候補信号と左目領域候補信号と右目領域候
補信号の表す領域の画像を取り出す。そして、目の間の
候補領域の画像を目間画像信号８１０として出力し、左
目の候補領域の画像を左目画像信号８１１として出力
し、右目の候補領域の画像を右目画像信号８１２として
出力する。

【０１００】手順９０５では、輝度比較手段８１３が、
目間画像信号８１０と左目画像信号８１１と右目画像信
号８１２を読み込んで、目の間の候補領域における輝度
の平均値Yiと左目の候補領域における輝度の平均値Ylと
右目の候補領域における輝度の平均値Yrを求める。そし
て、YiがYlよりも大きく、かつ、YiがYrよりも大きいと
き、第１の判定結果信号８１４を１（目の間の可能性あ
り）にする。そうでなければ、第１の判定結果信号８１
４を０（目の間の可能性なし）にする。

【０１０１】手順９０６では、色判定手段８１５が、目
間画像信号８１０と左目画像信号８１１と右目画像信号
８１２を読み込んで、目の間の候補領域における色の平
均(Ri,Gi,Bi)と左目の候補領域における色の平均(Rl,G
l,Bl)と右目の候補領域における色の平均(Rr,Gr,Br)を
求める。ただし、Ri、Rl、Rrは色の赤成分を表し、Gi、
Gl、Grは色の緑成分を表し、Bi、Bl、Brは色の青成分を
表す。肌色は赤成分が多く青成分が少ないので、 Ri > Gi Gi > Bi Rl > Gl Gl > Bl Rr > Gr Gr > Br を同時に満足するとき、第２の判定結果信号８１６を１
（目の間の可能性あり）にする。そうでないとき、第２
の判定結果信号８１６を０（目の間の可能性なし）にす
る。

【０１０２】手順９０７では、第１の判定結果信号８１
４と第２の判定結果信号８１６が同時に１になるとき、
目間決定手段８１７が目の間の領域の座標を目間領域信
号４１７として出力する。

【０１０３】手順９０８では、顔決定手段８１９が、目
間領域信号８１７の表す座標を基準にして、あらかじめ
設定しておいた変換式に従って顔の領域の座標を決定
し、顔領域信号８２０として出力する。

【０１０４】以上の説明では、左目の候補領域の幅と右
目の候補領域の幅を目の間の候補領域の半分にしている
が、画像によって左右の目の候補領域の幅と位置を変え
てもよい。例えば、手順９０２において、目の間の候補
領域の右側と左側に目の探索領域を設定して、探索領域
内の輝度特徴や形状特徴を利用して左目の候補領域と右
目の候補領域の幅と位置を決定してもよい。

【０１０５】また、手順９０６において、色の赤成分と
青成分と緑成分の大小関係だけを用いて第２の判定結果
信号の値を決定しているが、他の方法を用いて決定して
もよい。例えば、あらかじめ色空間上における肌色領域
を調べておき、目の間の候補領域や左目の候補領域や右
目の候補領域における色の平均が肌色領域内に含まれる
かどうかを判定して、第２の判定結果信号の値を決定し
てもよい。また、左目の候補領域における色の平均と右
目の候補領域における色の平均が近い色であるかどうか
を判定して、第２の判定結果信号の値を決定してもよ
い。左目の候補領域の上半分における色の平均と目の間
の候補領域の下半分における色の平均が近い色であるか
どうかを判定して第２の判定結果信号の値を決定しても
よい。

【０１０６】輝度比較手段による判定結果と色判定手段
による判定結果の両方を用いて目の間の領域を決定して
いるが、片方の判定結果だけを用いてもよい。また、ニ
ューロや統計的手法を実行する他の手段を併用して目の
間の領域を決定してもよい。また、右目と左目の候補領
域を検出してから、目の間の候補領域を決定してもよ
い。

【０１０７】本実施の形態によれば、顔の表情の変動や
頭全体の動きによらず目の間の領域は目の領域に比べて
輝度値が大きいので、顔以外の背景物が多く映っている
場合を含めて、目や口の動きを含む顔の表情やヒゲの有
無や頭全体の動きによる顔の変動に強く、少ない計算量
で人物の顔の領域を検出できる。

【０１０８】また、目の周辺や目の間の色を平均すると
肌の色に近い色になるので、顔以外の背景物が多く映っ
ている場合を含めて、人物の顔の領域の誤検出を抑制
し、高精度に検出することができる。

【０１０９】（実施の形態４）図１１は、本発明の実施
の形態４における人物の顔の検出装置の構成図である。
図１１において、人物の顔の検出装置１１１５には、入
力画像信号１１０２が入力され、この入力画像信号がそ
のまま目検出手段１１０１に入力される。目間領域検出
手段１１０３は、入力画像信号１１０２を読み込んで目
の間の領域を検出し、目の間の領域の座標を目間領域信
号１１０４として出力する。目候補設定手段１１０５
は、目間領域信号１１０４を読み込んで、目の間の領域
の左右に目の候補領域を設定し、左目領域候補信号１１
０６と右目領域候補信号１１０７を出力する。目決定手
段１１０８は、入力画像信号１１０２によって入力され
た画像全体から、左目領域候補信号１１０６と右目領域
候補信号１１０７の表す領域の画像を取り出し、それぞ
れの画像の輝度特徴または形状特徴を調べて右目の位置
と左目の位置を決定し、左目位置信号１１０９と右目位
置信号１１１０を出力する。顔決定手段１１１１は、左
目位置信号１１０９と右目位置信号１１１０を読み込ん
で、顔の領域の座標を表す顔領域信号１１１２を出力す
る。

【０１１０】図１２は、実施の形態４における目決定手
段１１０８の構成図である。目決定手段１１０８には、
入力画像信号１１０２と左目領域候補信号１１０６と右
目領域候補信号１１０７が入力される。バッファ手段１
２０１は、左目領域候補信号１１０６と右目領域候補信
号１１０７を記憶する。テンプレート読取手段１２０２
は、あらかじめ用意した標準的な目のテンプレートを読
み込み、標準目画像信号１２０３として出力する。部分
画像発生手段１２０４は、両目の候補領域内からテンプ
レートと同じサイズの画像を切り出し、候補画像信号１
２０５として出力する。部分画像発生手段１２０４で切
り出す領域は、領域指定信号１２０６によって指定され
る。第１のマッチング手段１２０７は、標準目画像信号
１２０３と候補画像信号１２０５を比較して左目の位置
を決定し、左目位置信号１２０８を出力する。第２のマ
ッチング手段１２０９は、標準目画像信号１２０３と候
補画像信号１２０５を比較して右目の位置を決定し、右
目位置信号１２１０を出力する。

【０１１１】目間領域検出手段１１０３は、例えば実施
の形態３に示した目間領域検出手段８０１と同じ構成に
すればよい。

【０１１２】以下，人物の顔の検出装置の動作につい
て，図１３のフローチャートを用いて説明する。

【０１１３】手順１３０１では、目間領域検出手段１１
０３が、入力画像信号１１０２を読み込んで目の間の領
域を検出し、目の間の領域の座標を目間領域信号１１０
４として出力する。例えば、実施の形態３に示した動作
を実行することで、目の間の領域を検出することができ
る。

【０１１４】手順１３０２では、目候補設定手段１１０
５が、目間領域信号１１０４から目の間の領域の左上の
座標(xli,yti)と右下の座標(xri,ybi)を読み取る。そし
て、左目の候補領域の左上の座標(xll,ytl)と右下の座
標(xrl,ybl)と、右目の候補領域の左上の座標(xlr,ytr)
と右下の座標(xrr,ybr)を設定し、左目の候補領域の座
標を左目領域候補信号１１０６として出力し、右目の候
補領域の座標を右目領域候補信号１１０７として出力す
る。目の間の領域の左上の座標１４０１と右下の座標１
４０２と、左目の候補領域の左上の座標１４０３と右下
の座標１４０４と、右目の候補領域の左上の座標１４０
５と右下の座標１４０６の例を図１４に示す。xll、yt
l、xrl、ybl、xlr、ytr、xrr、ybrの値は、次式で決定
する。

【０１１５】xll = xri - (xri - xli) / 3 ytl = yti - (ybi - yti) xrl = xll + (xri - xli) ybl = ybi + (ybi - yti) xlr = xrr - (xri - xli) ytr = yti - (ybi - yti) xrr = xli + (xri - xli) / 3 ybr = ybi + (ybi - yti) 手順１３０３では、バッファ手段１２０１が、左目領域
候補信号１１０６と右目領域候補信号１１０７を記憶す
る。

【０１１６】手順１３０４では、テンプレート読取手段
１２０２が、あらかじめ用意した標準的な目のテンプレ
ートを読み込み、標準目画像信号１２０３として出力す
る。

【０１１７】手順１３０５では、第１のマッチング手段
１２０７がバッファ手段１２０１から左目領域候補信号
を読み取り、左目の候補領域内にテンプレートと同じサ
イズの領域を候補画像領域として設定する。多数の候補
画像領域が設定されることになる。ｎ番目（ｎは１以上
の整数）の候補画像領域の座標は、ｎ番目の領域指定信
号１２０６として出力される。

【０１１８】手順１３０６では、部分画像発生手段１２
０４が、それぞれの候補画像領域の画像を切り出し、候
補画像信号１２０５として出力する。

【０１１９】手順１３０７では、第１のマッチング手段
１２０７が、標準目画像信号１２０３と候補画像信号１
２０５を比較して、標準目画像信号との一致度がもっと
も大きい候補画像信号を求める。標準目画像信号との一
致度が最も大きい候補画像信号の番号を調べて、その番
号の候補画像領域の座標を左目位置信号１２０８として
出力する。

【０１２０】手順１３０８では、第２のマッチング手段
１２０９がバッファ手段１２０１から右目領域候補信号
を読み取り、右目の候補領域内にテンプレートと同じサ
イズの領域を候補画像領域として設定する。多数の候補
画像領域が設定されることになる。ｎ番目（ｎは１以上
の整数）の候補画像領域の座標は、ｎ番目の領域指定信
号１２０６として出力される。

【０１２１】手順１３０９では、部分画像発生手段１２
０４が、それぞれの候補画像領域の画像を切り出し、候
補画像信号１２０５として出力する。

【０１２２】手順１３１０では、第２のマッチング手段
１２０９が、標準目画像信号１２０３と候補画像信号１
２０５を比較して、標準目画像信号との一致度がもっと
も大きい候補画像信号を求める。標準目画像信号との一
致度が最も大きい候補画像信号の番号を調べて、その番
号の候補画像領域の座標を右目位置信号１２１０として
出力する。

【０１２３】手順１３１１では、顔決定手段１１１１
が、左目位置信号１１０９から左目の中心の座標を調
べ、右目位置信号１１１０から右目の中心の座標を調
べ、それぞれの座標を基準にして、あらかじめ設定して
おいた変換式に従って顔の領域の座標を決定し、顔領域
信号１１１２として出力する。左目の中心の座標を(xl,
yl)とし、右目の中心の座標を(xr,yr)とすると、例え
ば、顔の領域の左上の座標(xlf,ytf)と右下の座標(xrf,
ybf)を xlf = xr - (xl - xr) / 2 xrf = xl + (xl - xr) / 2 ytf = (yl + yr) / 2 - (xrf - xlf) * 0.2 ybf = (yl + yr) / 2 + (xrf - xlf) * 0.8 とする。

【０１２４】以上の説明では、両目の候補領域の画像に
対するテンプレートマッチングを用いて目の位置を決定
しているが、目決定手段１１０８の構成を変更し、テン
プレートマッチング以外の方法を用いて目の位置を決定
してもよい。例えば、両目の候補領域内におけるエッジ
方向の対称性を用いて目の位置を決定してもよいし、先
験知識を用いて目の位置を決定してもよい。 また、左
目の位置を決定してから右目の位置を決定してもよい。

【０１２５】本実施の形態によれば、目の間は顔の表情
や頭全体の動きによる変動が少なく口やヒゲと離れてい
るので、目や口の動きを含む顔の表情やヒゲの有無や頭
全体の動きによる顔の変動に強く、人物の顔や目の位置
を検出できる。

【０１２６】また、目の周辺だけに限定すれば、目の輝
度分布と目以外の部分の輝度分布が大きく異なるので、
目決定手段によって右目と左目の位置を検出できる。

【０１２７】（実施の形態５）図１５は、本発明の実施
の形態５における人物の顔の検出装置の構成図である。
図１５において、人物の顔の検出装置１５０１には、入
力画像信号１５０２が入力される。目間領域検出手段１
５０３は、入力画像信号１５０２を読み込んで目の間の
領域を検出し、目の間の領域の座標を目間領域信号１５
０４として出力する。顔決定手段１５０５は、目間領域
信号１５０４と入力画像信号１５０２を読み込んで、目
の間の領域の周辺から、目の間の領域の平均色に近い色
の領域を決定し、顔の領域の座標を表す顔領域信号１５
０６を出力する。

【０１２８】目間領域検出手段１５０３は、例えば実施
の形態３に示した目間領域検出手段と同じ構成にすれば
よい。

【０１２９】以下，人物の顔の検出装置の動作につい
て，図１６のフローチャートを用いて説明する。

【０１３０】手順１６０１では、目間領域検出手段１５
０３が、入力画像信号１５０２を読み込んで目の間の領
域を検出し、目の間の領域の座標を目間領域信号１５０
４として出力する。例えば、実施の形態３に示した動作
を実行することで、目の間の領域を検出することができ
る。

【０１３１】手順１６０２では、顔決定手段１５０５
が、目の間の領域内における画素の色の平均Cmを計算
し、色空間内で平均色Cmを中心とする球状の領域に含ま
れる色を肌色とする。

【０１３２】手順１６０３では、顔決定手段１５０５
が、目の間の領域の周辺に顔の候補領域を設定し、顔の
候補領域内で肌色になる画素を肌色画素として取り出し
てから、あらかじめ設定した割合以上の肌色画素を含む
ような矩形領域を求めて、顔の領域とする。そして、顔
の領域の左上の座標と右下の座標を顔領域信号１５０６
として出力する。

【０１３３】以上の説明では、目の間の領域に含まれる
色を用いて顔の領域を決定しているが、他の方法を用い
て顔の領域を決定してもよい。例えば、実施の形態１〜
４に示したように、あらかじめ設定しておいた変換式に
従って顔の領域の座標を決定してもよい。

【０１３４】本実施の形態によれば、目の間は顔の表情
や頭全体の動きによる変動が少なく口やヒゲと離れてい
るので、目や口の動きを含む顔の表情やヒゲの有無や頭
全体の動きによる顔の変動に強く、顔の領域を検出でき
る。また、照明条件や個人差によらず目の間の領域の色
と顔の肌の色は近いので、照明条件や個人差の変動に強
く、少ない計算量で顔の領域を検出できる。

【０１３５】（実施の形態６）図１７は、本発明の実施
の形態６における動画像検索装置の構成図である。図１
７において、動画像蓄積手段１７０１は、動画像ファイ
ルを蓄積する。画像発生手段１７０２は、動画像選択信
号１７２３で指定された動画像ファイルの動画像を表す
動画像信号１７０３を、動画像蓄積手段１７０１から読
み込んで、フレーム画像を表す画像信号１７０４とフレ
ーム画像の時刻を表す時刻信号１７１９を出力する。顔
特徴検出手段１７０５は、画像信号１７０４を読み込ん
で、目の間の領域を検出して目の間の領域の座標を目間
領域信号１７０６として出力する。顔決定手段１７０７
は、目間領域信号１７０６と画像信号１７０４を読み込
んで、目の間の領域の周辺から、目の間の領域の平均色
に近い色の領域を決定し、顔の領域の座標を表す顔領域
信号１７０８を出力する。情報検出手段１７０９は、顔
領域信号１７０８と画像信号１７０４を読み込んで、顔
の領域の画像を取り出し、性別、年齢を求め顔情報信号
１７１０とし、顔画像信号１７２４および顔情報信号１
７１０を出力する。顔情報蓄積手段１７１１は、顔画像
信号１７２４と顔情報信号１７１０と時刻信号１７１９
とを動画像情報ファイルとして蓄積する。入力手段１７
１２は、動画像ファイルを選択したり、検索の条件式を
入力したり、顔画像を選択したりする。検索手段１７１
３は、入力手段からの検索条件信号１７１４を読み取っ
て、顔情報蓄積手段１７１１に蓄積された動画像情報フ
ァイルの中から検索の条件式に適合する情報を取り出
し、検索結果信号１７１５として出力する。検索結果整
形手段１７１６は、検索結果信号１７１５を記憶した
り、検索結果をユーザーにわかりやすい形に整形して画
面イメージ信号１７２０として出力したり、顔画像の選
択結果を表す画像選択信号を読み込んで動画像を再生す
るための再生制御信号１７２２を出力する。表示手段１
７１７は、画面イメージ信号１７２０を読み取り、動画
像や検索結果などを表示する。再生手段１７１８は、動
画像蓄積手段１７０１に蓄積された動画像を表示手段１
７１７に表示するために、動画像信号を画面イメージ信
号１７２０に変換する。顔特徴検出手段１７０５は、例
えば実施の形態３に示した目間検出手段と同じ構成にす
ればよい。また、動画像ファイルの形式としては、圧縮
されたＭＰＥＧ１形式やＭＰＥＧ２形式やＤＶ形式や非
圧縮形式などを利用することができる。動画像蓄積手段
１７０１と顔情報蓄積手段１７１１はハードディスク，
ＤＶＤ−ＲＡＭ，ＰＤなどの記憶媒体によって実現でき
る。画像発生手段１７０２、顔特徴検出手段１７０５、
顔決定手段１７０７、情報検出手段１７０９、検索手段
１７１３、検索結果整形手段１７１６、再生手段１７１
８は，パソコンのＣＰＵによって実現できる。表示手段
１７１７はモニタ等の表示デバイスによって実現でき
る。入力手段１７１２はキーボードと，マウス等のポイ
ンティングデバイスによって実現できる。動画像検索装
置では、あらかじめ動画像情報ファイルを作成しておい
てから、検索手段を使って顔画像を検索する。

【０１３６】最初に，動画像検索装置を用いて動画像情
報ファイルを作成する動作について，図１８のフローチ
ャートを用いて説明する。手順１８０１では、動画像蓄
積手段１７０１に蓄積されている動画像ファイルを一つ
選択する。選択結果は、動画像選択信号として画像発生
手段１７０２に入力される。

【０１３７】手順１８０２では、画像発生手段１７０２
が、動画像蓄積手段１７０１から動画像信号１７０３を
読み込んで、手順１８０１で選択した動画像ファイルの
１枚のフレーム画像を取り出し、画像信号１７０４とし
て出力する。手順１８０３では、顔特徴検出手段１７０
５が、画像信号１７０４を読み込んで目の間の領域を検
出し、目の間の領域の座標を目間領域信号１７０６とし
て出力する。例えば、実施の形態３に示した動作を実行
することで、目の間の領域を検出することができる。

【０１３８】手順１８０４では、実施の形態５の手順１
６０２と同様に、顔決定手段１７０７が、目の間の領域
内における画素の色の平均Cmを計算し、色空間内で平均
色Cmを中心とする球状の領域に含まれる色を肌色とす
る。

【０１３９】手順１８０５では、実施の形態５の手順１
６０３と同様に、顔決定手段１７０７が、目の間の領域
の周辺に顔の候補領域を設定し、顔の候補領域内で肌色
になる画素を肌色画素として取り出してから、あらかじ
め設定した割合以上の肌色画素を含むような矩形領域を
求めて、顔の領域とする。そして、顔の領域の左上の座
標と右下の座標を顔領域信号１７０８として出力する。

【０１４０】手順１８０６では、情報検出手段１７０９
が、男女識別関数g1と年齢識別関数g2を実行する。男女
識別関数g1は、顔領域信号の値と、画像信号の表すフレ
ーム画像を引数として、男女識別し、識別結果res1を返
す。年齢識別関数g2は、顔領域信号の値と、画像信号の
現すフレーム画像を引数として、年齢識別し、識別結果
res2を返す。情報検出手段１７０９は、顔の領域の左上
の座標と右下の座標と識別結果res1、res2をまとめて顔
情報信号１７１０として出力し、さらに、画像信号の表
すフレーム画像中から顔領域信号の表す顔の領域の画像
を切り出して顔画像信号１７２４として出力する。

【０１４１】男女識別関数g1の実現方法としては、予め
性別が既知の顔画像を多数収集し、この収集した顔画像
を元に判別分析等の統計的手法により実現することがで
きる。同様に年齢識別関数g2は、予め年代が既知の顔画
像を多数収集し、この収集した顔画像を元に判別分析等
の統計的手法により実現することができる。なお、ニュ
ーラルネットワークの学習により、識別関数を実現する
こともできる。

【０１４２】手順１８０７では、顔情報蓄積手段１７１
１が、時刻信号１７１９の表すフレーム画像の時刻と、
顔情報信号１７１０の表す情報を動画像情報ファイルと
して蓄積する。また、現在のフレーム画像に近い時刻の
フレーム画像（例えば０．５秒前のフレーム画像）から
検出された顔の位置と、現在のフレーム画像から検出さ
れた顔の位置とが近い場合を除いて、顔画像信号の表す
顔の領域の画像を顔画像ファイルとして蓄積する。

【０１４３】手順１８０８では、別のフレーム画像から
顔に関する情報を取り出すため、手順１８０２に戻る。
ただし、手順１８０２から手順１８０７までの処理を、
動画像の末尾まで実行した場合は、手順１８０２に戻ら
ずに動画像情報ファイルと顔画像ファイルを作成する処
理を終了する。また、顔は少なくとも数秒以上画面上に
存在するので、手順１８０２ですべてのフレーム画像を
取り出す必要はない。例えば０．５秒おきのフレーム画
像を取り出してもすべての登場人物の顔を検出すること
が可能である。

【０１４４】次に、検索手段を使って顔画像を検索する
動作について、図１９のフローチャートを用いて説明す
る。手順１９０１では、ユーザーが入力手段１７１２を
用いて検索の条件式を入力する。

【０１４５】手順１９０２では、検索手段１７１３が検
索の条件式を読み取って、顔情報蓄積手段１７１１に蓄
積された動画像情報ファイルの中から検索の条件式に適
合する情報を取り出す。そして、顔に関するデータ（性
別、年齢、顔の存在するフレーム画像の時刻）と顔の領
域の画像（顔画像）を検索結果信号として出力する。例
えば、検索の条件式が「男性」であるとき、男性の顔で
あると推定されたすべての顔画像と、それぞれの顔画像
に関連するデータを、検索結果信号として出力する。

【０１４６】手順１９０３では、検索結果整形手段１７
１６が、検索結果信号１７１５を記憶する。

【０１４７】手順１９０４では、検索結果整形手段１７
１６がユーザーにわかりやすい形に整形して、表示手段
に表示する。例えば、検索結果信号に含まれていた顔画
像と、性別、年齢を表示する。

【０１４８】手順１９０５では、ユーザーが入力手段を
用いて顔画像を一つ選択する。選択した結果は、画像選
択信号として検索結果整形手段に入力される。手順１９
０６では、検索結果整形手段１７１６が、再生手段１７
１８を制御しながら、手順１９０５で選択された顔画像
の人物のシーンを次々に再生する。以上の説明では、顔
特徴検出手段１７０５で目の間の領域を検出している
が、鼻、耳、口などの他の領域を検出し、その領域を含
むように顔決定手段で顔の領域を決定してもよい。

【０１４９】本実施の形態によれば、目の間は顔の表情
や頭全体の動きによる変動が少なく口やヒゲと離れてい
るので、目や口の動きを含む顔の表情やヒゲの有無や頭
全体の動きによる顔の変動に強く、顔の領域を検出でき
る。また、人物や顔をキーにして動画像を検索したり、
検索のための情報を作成して蓄積することができる。

【０１５０】（実施の形態７）図２０は、本発明の実施
の形態７における顔認識装置の構成図である。顔認識装
置は、予め多くの人の身分証がイメージスキャナ等によ
り顔画像をデータベースに登録しておき、ビデオカメラ
で撮像した顔画像の人物の該当者がデータベースの中に
いるか、あるいは登録された身分証のどれに一番類似し
ているかを認識するものである。

【０１５１】図２０において、ビデオカメラ２００１
は、部屋の出入り口のような監視対象領域の動画像を動
画像信号２００２として出力する。画像発生手段２００
３は、動画像信号２００２を読み込んで、フレーム画像
を表す画像信号２００４を出力する。目間領域検出手段
２００５は、画像信号２００４を読み込んで、目の間の
領域を検出して目の間の領域の座標を目間領域信号２０
０６として出力する。目候補設定手段２００７は、目間
領域信号２００６を読み込んで、目の間の領域の左右に
目の候補領域を設定し、左目領域候補信号２００８と右
目領域候補信号２００９を出力する。目決定手段２０１
０は、画像信号２００４によって入力された画像全体か
ら、左目領域候補信号２００８と右目領域候補信号２０
０９の表す領域の画像を取り出し、それぞれの画像の輝
度特徴または形状特徴を調べて右目の位置と左目の位置
を決定し、左目位置信号２０１１と右目位置信号２０１
２を出力する。顔決定手段２０１３は、左目位置信号２
０１１と右目位置信号２０１２を読み込んで、顔の領域
の座標を表す顔領域信号２０１４を出力する。情報検出
手段２０１５は、顔領域信号２０１３と画像信号２００
４を読み込んで、顔の領域の画像から顔の特徴量を求
め、第１の顔特徴信号２０１６を出力する。データベー
ス手段２０１７は、認識したい人物の顔の特徴量と人名
等を蓄積する。認識手段２０１８は、データベース手段
２０１７から顔の特徴量を表す第２の顔特徴信号２０１
９と人名を表す人名信号２０２０を読み取り、第２の顔
特徴信号と情報検出手段２０１５から出力される第１の
顔特徴信号２０１９を用いて顔の認識を行い、認識結果
信号２０２１を出力する。

【０１５２】目間領域検出手段２００５、目候補設定手
段２００７、目決定手段２０１０、顔決定手段２０１３
は、それぞれ例えば実施の形態４に示した目間領域検出
手段１１０３、目候補設定手段１１０５、目決定手段１
１０８、顔決定手段１１１１と同じ構成にすればよい。

【０１５３】以下，顔認識装置の動作について，図２０
のフローチャートを用いて説明する。ただし、ビデオカ
メラ２００１が、部屋の出入り口のような所に設置され
ていて、ビデオカメラで撮影されている動画像を表す動
画像信号２００２が、連続的に画像発生手段２００３に
入力されているものとする。手順２１０１では、画像発
生手段２００３が、動画像信号２００２から１枚のフレ
ーム画像を取り出し、画像信号２００４として出力す
る。手順２１０２では、実施の形態４の手順１３０１と
同様に、目間領域検出手段２００５が、画像信号２００
４を読み込んで目の間の領域を検出し、目の間の領域の
座標を目間領域信号２００６として出力する。

【０１５４】手順２１０３では、実施の形態４の手順１
３０２と同様に、目候補設定手段２００７が、目間領域
信号２００６から目の間の領域の左上の座標(xli,yti)
と右下の座標(xri,ybi)を読み取る。そして、左目の候
補領域の左上の座標(xll,ytl)と右下の座標(xrl,ybl)
と、右目の候補領域の左上の座標(xlr,ytr)と右下の座
標(xrr,ybr)を設定し、左目の候補領域の座標を左目領
域候補信号２００８として出力し、右目の候補領域の座
標を右目領域候補信号２００９として出力する。

【０１５５】手順２１０４では、目決定手段２０１０
が、画像信号２００４によって入力された画像全体か
ら、左目領域候補信号２００８と右目領域候補信号２０
０９の表す領域の画像を取り出し、それぞれの画像の輝
度特徴または形状特徴を調べて右目の位置と左目の位置
を決定し、左目位置信号２０１１と右目位置信号２０１
２を出力する。例えば、実施の形態４の手順１３０３〜
手順１３１０と同様の動作を実行すればよい。

【０１５６】手順２１０５では、実施の形態４の手順１
３１１と同様に、顔決定手段２０１３が、左目位置信号
２０１１と右目位置信号２０１２を読み込んで、顔の領
域の座標を表す顔領域信号２０１４を出力する。

【０１５７】手順２１０６では、情報検出手段２０１５
において、顔領域信号２０１４と画像信号２００４を読
み込んで、顔の領域の画像から顔の特徴量を求め、第１
の顔特徴信号２０１６を出力する。顔の特徴量を求める
方法としては、特願平１１−２９５０５８に開示されて
いる方法を利用することができる。この方法では、あら
かじめ認識したい人達の顔を撮影したビデオカメラから
の顔画像をセットＡ１（ビデオ顔画像）とし、認識した
い人達の顔の映った身分証を撮影したイメージスキャナ
からの身分証の顔画像をセットＢ１（身分証写真）とし
て、顔画像データを１次元のデータ列としたパターンＡ
とパターンＢに変換してから、学習によってセットＡ１
用の特徴抽出行列とセットＢ１用の特徴抽出行列を計算
しておく。そして、顔の領域の画像データに対してセッ
トＡ１用の特徴抽出行列を適用することで、顔の特徴量
を求める。

【０１５８】手順２１０７では、認識手段２０１８が、
データベース手段２０１７に蓄積されたすべての顔の特
徴量を表す第２の顔特徴信号２０１９を読み取り、第１
の顔特徴信号２０１６に類似した顔の特徴量を選び出
す。そして、最も類似した顔の特徴量をもつ人物の名前
をデータベース手段から読み取り、認識結果信号２０２
１として出力する。データベース手段に蓄積しておく顔
の特徴量は、顔画像セットＢ１に対してセットＢ１用の
特徴抽出行列を適用して、あらかじめ求めておくものと
する。

【０１５９】本実施の形態によれば、目の間は顔の表情
による変動が少なく口やヒゲと離れているので、目や口
の動きを含む顔の表情やヒゲの有無や髪型による顔の変
動に強く、顔の領域を検出して高精度に認識することが
できる。

【０１６０】

【発明の効果】以上のように、本発明によれば、画像中
から目の候補領域と目の間の候補領域を検出し、目の候
補領域と目の間の候補領域の位置関係から目の間の領域
を決定し、目の間の領域を含むように目や顔の領域を決
定することで、目の間は顔の表情による変動が少なく、
口やヒゲと離れているので、目や口の動きを含む顔の表
情やヒゲの有無による顔の変動に強く、人物の顔の領域
などの情報を検出することができる。

【０１６１】また、複数の画素が連結領域かどうかを判
定するのではなく、最初に小領域に分割してから小領域
が目や目の間であるかどうかを判定することで、少ない
計算量で実行することができる。

【０１６２】さらに、目の間の領域の重なりを調べた
り、目の間の候補領域内の特徴や目の候補領域内の特徴
を判定して目の間の領域を決定することで、顔以外の背
景物が多く映っている場合を含めて、少ない計算量で人
物の顔の領域の誤検出を抑制し、高精度に検出すること
ができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における人物の顔の検出
装置の構成図

【図２】本発明の実施の形態１における人物の顔の検出
装置の動作を示すフローチャート

【図３】（ａ）小領域の例を示す図 （ｂ）検出した人物の顔の候補領域と目の間の候補領域
の例を示す図 （ｃ）検出した人物の顔の領域と目の間の領域の例を示
す図

【図４】本発明の実施の形態２における人物の顔の検出
装置の構成図

【図５】目の間の領域の検出対象となる２つの領域の例
を示す図

【図６】本発明の実施の形態２における人物の顔の検出
装置の動作を示すフローチャート

【図７】本発明の実施の形態２における２つの検出され
た目の間の領域の例を示す図

【図８】本発明の実施の形態３における人物の顔の検出
装置の構成図

【図９】本発明の実施の形態３における人物の顔の検出
装置の動作を示すフローチャート

【図１０】目の間の候補領域と左目の候補領域と右目の
候補領域の例を示す図

【図１１】本発明の実施の形態４における人物の顔の検
出装置の構成図

【図１２】本発明の実施の形態４における目決定手段の
構成図

【図１３】本発明の実施の形態４における人物の顔の検
出装置の動作を示すフローチャート

【図１４】目の間の候補領域と左目の候補領域と右目の
候補領域の例を示す図

【図１５】本発明の実施の形態５における人物の顔の検
出装置の構成図

【図１６】本発明の実施の形態５における人物の顔の検
出装置の動作を示すフローチャート

【図１７】本発明の実施の形態６における動画像検索装
置の構成図

【図１８】本発明の実施の形態６における動画像検索装
置の動画像情報ファイルと顔画像ファイルを作成する動
作を示すフローチャート

【図１９】本発明の実施の形態６における動画像検索装
置の顔画像を検索する動作を示すフローチャート

【図２０】本発明の実施の形態７における顔認識装置の
構成図

【図２１】本発明の実施の形態７における顔認識装置の
動作を示すフローチャート

【図２２】従来例における顔検出装置を示す構成図

【符号の説明】

１０１ 目間領域検出手段 １０２ 入力画像信号 １０３ 分割手段 １０４ 小領域画像信号 １０５ エッジ特徴量計算手段 １０６ エッジ特徴量信号 １０７ 輝度ヒストグラム計算手段 １０８ 輝度ヒストグラム信号 １０９ 輝度ヒストグラム比較手段 １１０ 輝度ヒストグラム差信号 １１１ 第１のバッファ手段 １１２ 目候補検出手段 １１３ 目候補信号 １１４ 目間候補検出手段 １１５ 目間候補信号 １１６ 眼鏡判定信号 １１７ 第２のバッファ手段 １１８ 目間決定手段 １１９ 目間領域信号 １２０ 顔決定手段 １２１ 顔領域信号 １２２、４０１ 人物の顔の検出装置 ４０３ 部分画像発生手段 ４０６ 第１の目間領域検出手段 ４０８ 第２の目間領域検出手段 ４１１ 重複判定手段 ４１３ 顔決定手段 ８０１ 目間領域検出手段 ８０３ 目間候補設定手段 ８０５ 目候補設定手段 ８０９ 部分画像発生手段 ８１３ 輝度比較手段 ８１４ 色判定手段 ８１７ 目間決定手段 ８１９ 顔決定手段 ８２１ 人物の顔の検出装置 ８２２ 特徴判定手段 １７０１ 動画像蓄積手段 １７０２ 動画像発生手段 １７０５ 顔特徴検出手段 １７０７ 顔決定手段 １７０９ 情報検出手段 １７１１ 顔情報蓄積手段 １７１３ 検索手段 １７１６ 検査結果整形手段 １７１８ 再生手段 １７１７ 表示手段 ２００１ ビデオカメラ ２００３ 画像発生手段 ２００５ 目間領域検出手段 ２００７ 目候補設定手段 ２０１０ 目決定手段 ２０１３ 顔決定手段 ２０１５ 情報検出手段 ２０１７ データベース手段 ２０１８ 認識手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長尾 健司 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 相馬 正宜 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 Ｆターム(参考） 5B047 AA30 CB22 DC04 DC09 5B057 AA16 AA19 CC02 DA08 DA11 DB02 DB06 DC16 DC23 DC25 DC36 5L096 BA18 FA03 FA14 FA15 FA37 FA76 GA19 JA11 9A001 BB03 FF03 HH21 HH25 HH30 HH31 KK31

Claims (27)

【特許請求の範囲】
1. 【請求項１】 入力画像の輝度特徴から目の候補領域と
   目の間の候補領域とを検出し、前記目の候補領域と目の
   間の候補領域との位置関係から、前記目の間の領域を検
   出し、検出された目の間の領域から顔の領域を決定する
   ことを特徴とする人物の顔の検出方法。
2. 【請求項２】 目の候補領域は、水平に近い方向の線分
   を輝度特徴として検出することを特徴とする請求項１記
   載の人物の顔の検出方法。
3. 【請求項３】 目の間の候補領域は、画像中の線分が少
   ない領域を輝度特徴として検出することを特徴とする請
   求項１記載の人物の顔の検出方法。
4. 【請求項４】 画像の一部または全体を複数個の小領域
   に分割し、小領域の輝度特徴から目の候補の小領域と目
   の間の候補の小領域とを検出し、２つの目の候補の小領
   域の間に目の間の候補の小領域が存在するか否かを調べ
   ることで、前記目の間の領域を検出することを特徴とす
   る請求項１から請求項３のいずれかに記載の人物の顔の
   検出方法。
5. 【請求項５】 目の候補の小領域が、前記小領域の画素
   のエッジ情報を用いて検出されることを特徴とする請求
   項４に記載の人物の顔の検出方法。
6. 【請求項６】 前記目の候補の小領域が、前記小領域の
   画素の輝度ヒストグラムを求め、隣接する小領域間で輝
   度ヒストグラムを比較して検出されることを特徴とする
   請求項４記載の人物の顔の検出方法。
7. 【請求項７】 前記目の間の候補の小領域が、前記小領
   域の画素のエッジ情報を用いて検出されることを特徴と
   する請求項４記載の人物の顔の検出方法。
8. 【請求項８】 前記目の間の候補の小領域が、垂直方向
   に隣接する前記小領域の画素のエッジ情報を用いて検出
   されることを特徴とする請求項７記載の人物の顔の検出
   方法。
9. 【請求項９】 前記目の間の候補の小領域が、前記小領
   域の画素の輝度ヒストグラムを求め、隣接する小領域間
   で輝度ヒストグラムを比較して検出されることを特徴と
   する請求項４記載の人物の顔の検出方法。
10. 【請求項１０】 画像の一部または全体を複数の小領域
    に分割する際に、異なる方法で２組以上の小領域に分割
    し、それぞれ分割された小領域の集まりを小領域群と
    し、それぞれの小領域群の画像の輝度特徴から目の間の
    領域を検出し、目の間の領域の重なりを判定して目の間
    の領域を修正し、修正した目の間の領域を含むように顔
    の領域を決定することを特徴とする人物の顔の検出方
    法。
11. 【請求項１１】 異なる方法での小領域の分割は、分割
    する開始点を移動し一部が重なるように分割するか、ま
    たは、小領域の大きさが異なるように分割することを特
    徴とする請求項１０記載の人物の顔の検出方法。
12. 【請求項１２】 前記顔の領域は、前記目の間の領域に
    含まれる色を用いて決定されることを特徴とする請求項
    １から請求項１１までのいずれかに記載の人物の顔の検
    出方法。
13. 【請求項１３】 入力画像の輝度特徴から目の間の領域
    を検出し、目の間の領域を含むように両目の候補領域を
    検出し、両目の候補領域の輝度特徴または形状特徴を調
    べて右目の位置と左目の位置を決定し、右目の位置と左
    目の位置を含むように顔の領域を決定することを特徴と
    する人物の顔の検出方法。
14. 【請求項１４】 前記顔の領域内の顔に関する情報を検
    出することを特徴とする請求項１から請求項１３までの
    いずれかに記載の人物の顔の検出方法。
15. 【請求項１５】 前記顔に関する情報が、性別、年齢の
    いずれか１つ以上を含むことを特徴とする請求項１４に
    記載の人物の顔の検出方法。
16. 【請求項１６】 動画像のフレーム画像から請求項１か
    ら１２のいずれかに記載の人物の顔の検出方法で検出し
    た顔の領域から、各領域の顔に関する情報を検出して蓄
    積し、顔に関する情報を用いて動画像を検索することを
    特徴とする動画像検索方法。
17. 【請求項１７】 請求項１から１３のいずれかに記載の
    人物の顔の検出方法で検出した顔の領域から、各領域の
    顔の特徴量とデータベースに蓄積された顔の特徴量を用
    いて顔の認識を行うことを特徴とする顔認識方法。
18. 【請求項１８】 画像の一部または全体を複数個の小領
    域に分割する分割手段と、前記小領域の輝度特徴から目
    の候補の小領域を検出する目候補検出手段と、前記小領
    域の輝度特徴から目の間の候補の小領域を検出する目間
    候補検出手段と、前記２つの目の候補の小領域の間に前
    記目間候補検出手段で検出された目の間の候補が存在す
    るか否かを調べて目の間の領域を決定する目間決定手段
    と、前記目間領域検出手段で決定した目の間の領域を含
    むように顔の領域を決定する顔決定手段とを備えること
    を特徴とする人物の顔の検出装置。
19. 【請求項１９】 画像の一部または全体を複数個の小領
    域に異なる方法で２組以上の小領域に分割する際に、分
    割する開始点を移動し一部が重なるように分割するか、
    または、小領域の大きさが異なるように分割する分割手
    段と、それぞれ分割された小領域の集まりを小領域群と
    し、それぞれの小領域群の画像の輝度特徴から目の間の
    領域を検出する目間領域検出手段と、前記目間領域検出
    手段でそれぞれの小領域群から決定した複数の目の間の
    領域の重なりを判定して目の間の領域を修正する重複判
    定手段と、前記重複判定手段で修正された目の間の領域
    を含むように顔の領域を決定する前記顔決定手段とを備
    えることを特徴とする請求項１８に記載の人物の顔の検
    出装置。
20. 【請求項２０】 前記顔決定手段が、目の間の領域に含
    まれる色を用いて顔の領域を決定することを特徴とする
    請求項１８または請求項１９記載の人物の顔の検出装
    置。
21. 【請求項２１】 入力画像の輝度特徴から目の間の領域
    を検出する目間検出手段と、前記目間検出手段で検出さ
    れた目の間の領域を含むように両目の候補領域を検出す
    る目候補設定手段と、前記目候補設定手段で検出された
    両目の候補領域の輝度特徴または形状特徴を調べて右目
    の位置と左目の位置を決定する目決定手段と、前記目決
    定手段で決定した右目の位置と左目の位置を含むように
    顔の領域を決定する顔決定手段を備えることを特徴とす
    る人物の顔の検出装置。
22. 【請求項２２】 動画像を蓄積する動画像蓄積手段と、
    前記動画像中のフレーム画像から顔の領域を決定する請
    求項１８から請求項２１に記載の人物の顔の検出装置
    と、前記決定された顔の領域内の顔に関する情報を検出
    する情報検出手段と、前記情報検出手段で検出した情報
    を蓄積する顔情報蓄積手段と、前記顔情報蓄積手段に蓄
    積された情報を検索する検索手段を備えることを特徴と
    する動画像検索装置。
23. 【請求項２３】 入力画像から顔の領域を決定する請求
    項１８から請求項２１に記載の人物の顔の検出装置と、
    予め認識したい人物の顔の特徴量と人名を蓄積するデー
    タベース手段と、前記人物の顔の検出装置で決定した各
    領域の顔の特徴量と前記データベース手段に蓄積された
    顔の特徴量とを用いて顔の認識を行う認識手段とを備え
    ることを特徴とする顔認識装置。
24. 【請求項２４】 コンピュータによって画像から人物の
    顔を検出するプログラムを記録した記憶媒体であって、
    入力画像の輝度特徴から目の候補領域と目の間の候補領
    域とを検出し、前記目の候補領域と目の間の候補領域と
    の位置関係から、前記目の間の領域を検出し、検出され
    た目の間の領域から顔の領域を決定することを特徴とす
    る人物の顔の検出プログラムを記憶した記憶媒体。
25. 【請求項２５】 コンピュータによって画像から人物の
    顔を検出するプログラムを記録した記憶媒体であって、
    入力画像の輝度特徴から目の間の領域を検出し、目の間
    の領域を含むように両目の候補領域を設定し、両目の候
    補領域の輝度特徴または形状特徴を調べて右目の位置と
    左目の位置を決定し、右目の位置と左目の位置を含むよ
    うに顔の領域を決定し、決定した顔の領域を出力するこ
    とを特徴とする人物の顔の検出プログラムを記憶した記
    憶媒体。
26. 【請求項２６】 コンピュータによって動画像を検索す
    るプログラムを記録した記録媒体であって、動画像のフ
    レーム画像から請求項１から１２のいずれかに記載の人
    物の顔の検出方法で検出した顔の領域から、検出された
    各領域の顔に関する情報を検出して蓄積し、前記顔に関
    する情報を用いて動画像を検索することを特徴とする動
    画像検索プログラムを記憶した記憶媒体。
27. 【請求項２７】 コンピュータによって顔を認識するプ
    ログラムを記録した記録媒体であって、請求項１から１
    ３のいずれかに記載の人物の顔の検出方法で検出した顔
    の領域から、検出された各領域の顔の特徴量と予めデー
    タベースに蓄積された顔の特徴量とを用いて顔の認識を
    行うことを特徴とする顔認識プログラムを記憶した記憶
    媒体。