JPH1125269A - 顔画像認識装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 多数の顔画像をＫＬ展開して得られる固有ベ
クトルを用いて、顔画像の検出を目的とする。 【解決手段】 対象人物の顔画像の入力処理を行う画像
入力手段と、入力された画像の位置・大きさに関する正
規化等を行う位置正規化等処理手段と、該処理手段によ
って処理された顔画像からＫＬ展開による固有ベクトル
と係数の計算等を行う特徴抽出手段と、すべての顔画像
の固有ベクトルの係数をニューラルネットワークに学習
させる手段と、学習したニューラルネットワークに未知
画像の固有ベクトルの係数を入力することにより顔画像
か否かの判定を行う判定手段とよりなり、処理した顔画
像の固有ベクトルの係数を入力としてニューラルネット
ワークに学習させ、未知画像の固有ベクトルの係数をそ
の学習されたニューラルネットワークの入力としてこの
顔画像か否かを出力させることを特徴とする顔画像認識
装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像を
予め算出しておいた顔画像の特徴量と比較して顔画像か
否かの認識を行う顔画像認識装置及びその方法に関す
る。

【０００２】

【従来の技術】画像処理を用いたセキュリティシステム
などにおいては、撮影した自然画像から、人間・自動車
などの特定の対象物を検出することが重要である。

【０００３】従来、対象物の形状が固定していれば、そ
のテンプレート画像を作成し、入力画像をサーチするこ
とにより対象物を検出することが可能である。

【０００４】

【発明が解決しようとする課題】しかしながら、人間の
顔などのように、対象物の形状が固定しない場合、非常
に多数のテンプレートを作成しなければならず、他の方
法を用いる必要がある。

【０００５】そこで、本発明は係る問題点に鑑み、多数
の顔画像をＫＬ展開して得られる固有ベクトルを用いた
顔画像の検出を目的とする。

【０００６】

【課題を解決するための手段】本発明は、対象人物の顔
画像の入力処理を行う画像入力手段と、入力された画像
の位置・大きさに関する正規化等を行う位置正規化等処
理手段と、該処理手段によって処理された顔画像からＫ
Ｌ展開による固有ベクトルと係数の計算等を行う特徴抽
出手段と、すべての顔画像の固有ベクトルの係数をニュ
ーラルネットワークに学習させる手段と、学習したニュ
ーラルネットワークに未知画像の固有ベクトルの係数を
入力することにより顔画像か否かの判定を行う判定手段
とよりなる顔画像認識装置である。

【０００７】また本発明は、対象人物の画像を取り込
み、この画像に正規化、平滑化、圧縮化等の処理を施
し、処理後の画像をＫＬ展開してその固有ベクトルと係
数を求め、処理した顔画像の固有ベクトルの係数を入力
としてニューラルネットワークに学習させ、未知画像の
固有ベクトルの係数をその学習されたニューラルネット
ワークの入力としてこの顔画像か否かを出力させること
を特徴とする顔画像認識方法である。

【０００８】

【発明の実施の形態】以下本発明の顔画像認識装置及び
方法を図面の一実施例について詳細に説明する。

【０００９】図１に本実施例のハード構成概略図を示
す。同図において、１は人物の顔画像を撮影するＣＣＤ
等を用いたテレビカメラ、２は該テレビカメラ１によっ
て撮像された画像を入力する画像入力手段、３は入力さ
れた画像データに基づいて位置正規化等を行う処理手
段、４は処理後の画像データに基づいて特徴を抽出する
特徴抽出手段、５は得られた特徴データと顔画像データ
との誤差を算出する誤差算出手段、６は算出された誤差
に基づいて顔画像か否かを判定する判定手段である。

【００１０】次に、上記のハードを用いた認識方法につ
いて図２のフローチャートに基づき説明する。電子情報
通信学会論文誌Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，２１７９−
２１８７（１９９４）村瀬 洋、シュリー ナイヤー著
に述べられているように類似した画像の集合はＫＬ展開
を用いて最適に圧縮することができ、このときもとの画
像は、画像集合の共分散行列の固有ベクトルとその係数
の線形和によって表現できる。

【００１１】従って未知の画像について、固有ベクトル
の係数を計算することにより、類似した画像の検出が可
能である。ここで、ＫＬ展開についてその原理を説明す
る。

【００１２】昨今、２次元平面において回転した画像の
回転角度を検出する方法としては、いくつかの方法が使
われている。第１の方法としては、対象画像の特徴部分
（例えば直線状の部分）に着目し、回転角度を検出する
ものがある。この方法は簡単で高速に行えるが、特徴部
分がないと難しく、また同じような特徴部分がいくつか
あるとアルゴリズムを工夫しなければならない。

【００１３】第２の方法としては、何枚かの回転した画
像を用意し、正規化相互相関を行い、最も相関値の高い
画像の回転角度を対象画像の回転画像とするものがあ
る。この方法では用意する回転角度を多く用意しない
と、正確な角度検出は難しく、計算時間もかかる。

【００１４】ところで、画像圧縮の一つであるＫＬ展開
を利用して、人間の顔画像の回転角度が比較的簡単に精
度よく、計測できることがわかった。ＫＬ展開は、ｎ枚
の画像を統計処理し、ｎ個の主成分を求め、そのうちの
重みの大きいｍ個の主成分の線形和で、元の画像を表現
するものである。

【００１５】具体的手順は次のようになる。まず、１枚
の顔画像を回転角度ｒずつ回転させ、図２に示すように
ｎ枚の回転顔画像を作成する。

【００１６】次に図３に示すように前記図２の各回転顔
画像を１列、ｋ×ｋ行のベクトルＸｊで表わす。そし
て、各回転顔画像ベクトルを数１に基づいて正規化す
る。

【００１７】

【数１】

【００１８】次に各回転画像ベクトルから、平均の顔画
像ベクトルを引く。そしてＸｊをｎ列並べて、数２に示
すように行列Ｘを作成する。

【００１９】

【数２】

【００２０】ここで、画像集合の共分散行列Ｑを数３に
より求め、この行列式Ｑの固有ベクトルｅｉを求める。

【００２１】

【数３】

【００２２】そして前記固有ベクトルｅｉを基底ベクト
ルとして、入力画像を表現すると、画像データを効率よ
く表現できる。このとき固有ベクトルｅｉはｎ個できる
が、固有値λｉの大きいものほど入力画像の主成分を表
わしている。

【００２３】そこで基底ベクトル（固有ベクトル）のう
ち、重み（固有値）の大きいものをｍ個選ぶ。後は各回
転画像Ｘｊの基底ベクトルの成分ｇｊを求めればよい。
これはＸｊが長さ１に正規化されていることから数４に
示すように内積を計算することにより行われる。

【００２４】

【数４】

【００２５】このようにして入力画像はＫＬ展開され、
ｍ個の基底ベクトルの空間に投影される。そして図４に
示すようにｎ枚の回転画像の投影点を結ぶと、この空間
上で１つの閉曲線を描く。

【００２６】本実施例は斯かる方法を、顔画像の検出に
応用したものであり、多数の顔画像から固有ベクトルと
その係数を計算し、次に未知画像の係数を求めて顔画像
の係数と比較することにより顔であるかどうかの判定を
行うことを基本とする。

【００２７】本実施方法では顔画像集合の前処理から先
に行われる。即ち顔画像集合をＫＬ展開する前に次のよ
うな処理を行った。 （ステップＳ１）顔の位置と大きさを正規化するため
に、画像サイズが１９２×１９２、両目の間隔が１２８
画素、両目を結ぶ線が水平に顔の中心(両目の中心と唇
の中間位置)が顔画像の中心になるように画像を変換す
る。

【００２８】(ステップＳ２)肌の色や、全体的な輝度変
化を補正するために、上記顔画像のヒストグラムを平滑
化する。

【００２９】(ステップＳ３)照明の当り具合による影の
影響を除去するために、前記１９２×１９２画素の切り
出し画像のシェーディング状態を全体の濃淡を一次関数
で近似して補正する。

【００３０】(ステップＳ４)前記切り出し画像を１６×
１６画素に圧縮し、顔画像の明るさを均一にするために
正規化する。

【００３１】(ステップＳ５)顔画像集合の固有ベクトル
と係数の計算を行う。まず顔画像の平均顔画像を求め
る。即ち、顔画像の集合をＫＬ展開し固有ベクトルを計
算すると各顔画像Ｆｐは数５のように、平均顔画像及び
固有ベクトルと係数で表現できる。

【００３２】

【数５】

【００３３】ここでＦｐはｐ番目の顔の画像で、Ｃは平
均顔画像、ａｐｉは係数を表わし、ｅｉは固有ベクトル
を表わす。また、ｎは学習に用いた画像集合の数を表わ
す。固有ベクトルが張る空間において、顔画像の固有ベ
クトルの係数は図６のように分布する。ただし図６にお
いては固有値の一番大きい第１固有ベクトルｅ０を横軸
に、固有値の２番目に大きい第２固有ベクトルｅ１を縦
軸にし、その他の固有ベクトルは省略している。

【００３４】(ステップＳ６)未知の顔画像を前記ステッ
プＳ５で計算した固有ベクトル空間上で表わす。即ち数
６に示すように、未知画像を固有ベクトルの線形和で表
わしその係数を求める。固有ベクトルは正規直交してい
るので、未知画像と固有ベクトルとの内積を計算するこ
とにより、係数を求めることができる。

【００３５】

【数６】

【００３６】ここでＸ’は未知画像を正規化し、顔の平
均画像を引いたもので、ｂｊは係数を表わし、ｅｉは固
有ベクトルを表わす。さらにｎは学習に用いた画像集合
の数を表わす。

【００３７】また、Ｃは平均顔画像、Ｄはその他の部
分、Ｘは未知画像を表わす。 （ステップＳ７）顔画像の判定は次の３つの判断基準を
用いて、ＫＬ展開した未知画像が顔であるか否かの判断
を行う。 １．係数の二乗誤差 もし、未知画像が顔であれば、前に求めた顔画像の係数
と近い値となる。よって、未知画像Ｘの係数とすべての
顔画像Ｆｐの係数の二乗誤差Ｄｐを数７により計算し、
Ｄｐの最小値が閾値以下であれば未知画像Ｘを顔と判断
する。

【００３８】

【数７】

【００３９】このとき、ＫＬ展開の周知の理論により、
固有値の大きい固有ベクトルほど、顔画像を表現するの
に重要であるので、固有値の大きい固有ベクトルの係数
を比較すればよい。 ２．ＫＬ展開画像と原画像の二乗誤差 係数の二乗誤差を判断基準とする場合、ｍ個の固有ベク
トルの係数を比較しただけなので、ｍ＋１〜ｎの固有ベ
クトル係数が顔画像の係数と大きく異なっている場合が
あり、顔であるかどうかを判断するには十分ではないこ
ともある。

【００４０】そこで、未知画像が顔画像であれば、固有
ベクトルの線形和で十分近似できるはずだから、ＫＬ展
開した未知画像（ｍ個の固有ベクトルの線形和で表わし
た画像）とＫＬ展開しない未知画像の濃淡値の二乗誤差
を計算して判断すればよい。 ３．平均顔画像との二乗誤差 未知画像が顔であれば、顔平均画像と近い画像になると
考えられる。よって数８に示すように、未知画像と顔平
均画像との濃淡値の二乗誤差αを計算し、平均顔画像か
ら離れた画像は顔でないとすることを判断基準とすれば
よい。

【００４１】

【数８】

【００４２】いずれの判断基準にしても、誤差の閾値を
適当に選べば、顔を検出できる。ところで、前記図６に
おけるＦ’ｐ、即ち前記数５におけるＦｐは顔画像の枚
数だけあるので、顔画像が多くなると計算が大変であ
る。

【００４３】そこで、バックプロパゲーションタイプの
ニューラルネットにＦ’ｐの分布を学習させ、学習によ
って得られたニューラルネットワークに未知画像の固有
ベクトルの係数を入力し、出力として顔画像か否かの判
定結果を得る方法を用いることにより、判定に必要な計
算時間を大幅に短縮することができる。

【００４４】

【発明の効果】本発明は以上の説明のように、ＫＬ展開
を用いた顔画像認識において、顔画像の固有ベクトルの
線形和を入力としてバックプロパゲーションタイプのニ
ューラルネットワークによって、その分布を学習させる
ことにより、該学習されたニューラルネットワークによ
って未知画像の顔画像に対する判定をより短い時間で精
度よく判定することが可能となる。

【図面の簡単な説明】

【図１】本発明装置のハード構成を示す概念図である。

【図２】ＫＬ展開の回転顔画像を示す図である。

【図３】回転顔画像と回転顔画像ベクトルとの関係を示
す図である。

【図４】空間上でＫＬ展開された顔画像を示す図であ
る。

【図５】本発明方法を説明するフローチャートである。

【図６】Ｆ’ｐの分布を示す図である。

【符号の説明】

１ テレビカメラ ２ 画像入力手段 ３ 位置正規化等処理手段 ４ 特徴抽出手段 ５ 誤差算出手段 ６ 判定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 龍司 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 大隅 正人 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 対象人物の顔画像の入力処理を行う画像
   入力手段と、入力された画像の位置・大きさに関する正
   規化等を行う位置正規化等処理手段と、該処理手段によ
   って処理された顔画像からＫＬ展開による固有ベクトル
   と係数の計算等を行う特徴抽出手段と、すべての顔画像
   の固有ベクトルの係数をニューラルネットワークに学習
   させる手段と、学習したニューラルネットワークに未知
   画像の固有ベクトルの係数を入力することにより顔画像
   か否かの判定を行う判定手段とよりなる顔画像認識装
   置。
2. 【請求項２】 対象人物の画像を取り込み、この画像に
   正規化、平滑化、圧縮化等の処理を施し、処理後の画像
   をＫＬ展開してその固有ベクトルと係数を求め、処理し
   た顔画像の固有ベクトルの係数を入力としてニューラル
   ネットワークに学習させ、未知画像の固有ベクトルの係
   数をその学習されたニューラルネットワークの入力とし
   てこの顔画像か否かを出力させることを特徴とする顔画
   像認識方法。