JP4612806B2 - 画像処理装置、画像処理方法、撮像装置 - Google Patents

Description

本発明は、入力画像中の顔の表情を判別する技術に関するものである。

従来の表情認識装置の一つとして表情から情緒を判定する技術が開示されている（例えば特許文献１を参照）。情緒とは一般的に怒り、悲しみなど感情を表すものであり、上記技術によると、顔面の各特徴から関連規則に基づき所定の表情要素を抽出して、この所定の表情要素から表情要素情報を抽出している。ここで、表情要素は眼の開閉、眉の動き、前額の動き、唇の上下、唇の開閉、下唇の上下を示しており、これら表情要素は眉の動きに関しては左眉の傾きや右眉の傾きなどの表情要素情報から構成されている。

次に、得られた表情要素を構成する表情要素情報から所定の表情要素定量化規則に基づき、表情要素を定量化した表情要素コードを算出する。さらに、情緒カテゴリ毎に決められた所定の表情要素コードから所定の情緒変換式で情緒カテゴリ毎に情緒量を算出する。そして、情緒カテゴリの中で情緒量の最大値を情緒と判定を行う方法がある。
特許公報第２５７３１２６号

顔面の各特徴の形状や長さは個人によって大きな差を持っている。例えば、真顔である無表情画像において、すでに眼尻が下がっている人や元々眼が細い人など画像１枚からの主観的視点からは一見喜びであるように見えるが本人にとっては真顔である場合がある。さらに、顔画像は常に顔サイズや顔の向きが一定というわけではなく、顔がサイズ変動した場合や顔が回転した場合には表情を認識するために必要な特徴量を顔のサイズ変動や顔の回転変動に応じて正規化することが必要になる。

また、入力画像に表情場面や真顔画像である無表情場面の他に、会話場面である非表情場面を含めた日常場面を想定した時系列画像を入力画像とした場合、例えば、驚きの表情に類似した会話場面での発音「お」や喜びの表情に類似した発音「い」「え」など非表情場面を表情場面と誤判定する場合がある。

本発明は以上の問題に鑑みてなされたものであり、個人差や表情場面などにロバストな、画像中の顔の表情をより正確に判断する技術を提供することを目的とする。また、顔のサイズが変動した場合や顔が回転した場合においても正確に表情を判断する技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

即ち、顔を含む連続するフレームの画像を入力する入力手段と、
前記連続するフレームの各フレームの画像中の顔における予め設定された部位群の夫々について特徴量を求める第１の特徴量計算手段と、
予め設定された表情の顔を含む画像における当該顔の前記予め設定された部位群の夫々について特徴量を求める第２の特徴量計算手段と、
前記第１の特徴量計算手段が求めた特徴量と、前記第２の特徴量計算手段が求めた特徴量との差分または比に基づいて、前記予め設定された部位群の夫々の特徴量の変化量を求める変化量計算手段と、
前記予め設定された部位群の夫々について前記変化量計算手段が求めた変化量に基づいて、前記予め設定された部位群の夫々について得点を計算する得点計算手段と、
前記得点計算手段が前記予め設定された部位群の夫々について計算した得点の分布と、各表情毎に計算した、前記予め設定された部位群の夫々に対する得点の分布と、を比較することで、前記入力手段が入力した画像中の顔の表情を判断する第１の判断手段と、
連続したｐフレームの夫々の画像中の顔の表情が第１の表情であると前記第１の判断手段が判断してから、当該判断後、連続したｑフレームの夫々の画像中の顔の表情が前記第１の表情とは異なる第２の表情であると前記第１の判断手段が判断するまでの各フレームの画像中の顔の表情を、第１の表情として判断する第２の判断手段と
を備えることを特徴とする。

本発明の構成により、個人差や表情場面などにロバストな、画像中の顔の表情をより正確に判断することができる。さらに、顔のサイズが変動した場合や顔が回転した倍でも画像中の顔の表情をより正確に判断することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図２３は、本実施形態に係る画像処理装置の基本構成を示す図である。

２３０１はＣＰＵで、ＲＡＭ２３０２やＲＯＭ２３０３に記憶されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述の表情判別処理も行う。

２３０２はＲＡＭで、外部記憶装置３０７や記憶媒体ドライブ装置２３０８からロードされたプログラムやデータを記憶するためのエリアを備えると共に、ＣＰＵ２３０１が各種の処理を行うために必要なエリアも備える。

２３０３はＲＯＭで、ブートプログラム等の各種のプログラムやデータを格納する。

２３０４、２３０５は夫々キーボード、マウスで、各種の指示をＣＰＵ２３０１に入力することができる。

２３０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像や文字などの各種の情報を表示することができる。

２３０７は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）や後述の表情判別処理に係るプログラム、そして各種のデータを保存する。そしてこれらプログラムやデータは、ＣＰＵ２３０１からの指示によりＲＡＭ２３０２に読み出される。

２３０８は記憶媒体ドライブ装置で、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み取って、外部記憶装置２３０７やＲＡＭ２３０２に出力するものである。なお、後述の表情判別処理に係るプログラムやデータなどはこの記憶媒体に記録しておき、必要に応じてＣＰＵ２３０１の制御によりＲＡＭ２３０２に読み出されるようにしても良い。

２３０９はＩ／Ｆで、外部装置と本装置を接続するためのもので、外部装置とのデータ通信はこのＩ／Ｆを介して行われる。

２３１０は上記各部を繋ぐバスである。

図１は本実施形態に係る画像処理装置の機能構成を示すブロック図である。

画像処理装置の機能構成は、時系列に連続して複数の画像を入力する画像入力部１００と、画像入力部１００によって入力された画像（入力画像）から表情を判別するために必要な特徴量を抽出する特徴量計算部１０１と、あらかじめ用意しておいた真顔（無表情）の参照顔から表情を認識するために必要な参照特徴を抽出し保持しておく参照特徴保持部１０２と、特徴量算出部１０１で抽出された特徴量と参照特徴保持部１０２で保持されている特徴量の差分量を計算することで参照顔からの顔面の各特徴量の変化量を算出する特徴量変化量算出部１０３と、特徴量変化量算出部１０３で抽出された各特徴の変化量から各特徴ごとに得点を算出する得点算出部１０４と、得点算出部１０４で算出された得点の総和から入力画像における顔の表情の判定を行う表情判定部１０５から構成される。

なお、図１に示した各部はハードウェアにより構成しても良いが、本実施形態では画像入力部１００，特徴量抽出部１０１，特徴量変化量算出部１０３，得点算出部１０４，表情判定部１０５の各部はプログラムにより構成し、このプログラムはＲＡＭ２３０２に記憶されており、これをＣＰＵ２３０１が実行することで、各部の機能を実現するものとする。また、参照特徴保持部１０２はＲＡＭ２３０２内の所定のエリアとするが、外部記憶装置２３０７内のエリアとしても良い。

以下に、図１に示した各部についてより詳細に説明する。

画像入力部１００は、ビデオカメラ等から得られた動画像を１フレーム毎に切り出した時系列の顔画像を入力画像として入力する。即ち図２３の構成によると、各フレームの画像のデータはＩ／Ｆ２３０９に接続されたビデオカメラなどから、このＩ／Ｆ２３０９を介して逐次ＲＡＭ２３０２に出力される。

特徴量抽出部１０１は図２に示すように、眼と口と鼻位置抽出部１１０、エッジ画像生成部１１１、顔面の各特徴エッジ抽出部１１２、顔面の特徴点抽出部１１３、表情特徴量抽出部１１４で構成される。図２は特徴量抽出部１０１の機能構成を示すブロック図である。

以下、図２に示した各部について、より詳細に説明する。

眼と口と鼻位置抽出部１１０は、画像入力部１００で入力された画像（入力画像）から顔面の所定部位、即ち、眼や口や鼻の位置（入力画像中の位置）を決定する。眼や口の位置を決定する方法は、例えば、眼と口と鼻のそれぞれのテンプレートを用意し、テンプレートマッチングを行うことにより眼と口と鼻の候補を抽出し、更にその抽出後、テンプレートマッチングにより得られた眼と口と鼻の候補の空間的な配置関係と色情報である肌色情報を用いることにより眼と口と鼻位置の検出を行う方法など用いることができる。検出した眼と口の位置データは後段の顔面の各特徴エッジ抽出部１１２に出力される。

次に、画像入力部１００で得られた入力画像からエッジ画像生成部１１１でエッジ抽出し、抽出されたエッジをエッジ膨張処理を加えた後で細線化処理を行うことによってエッジ画像を生成する。例えば、エッジ抽出にはSobelフィルタによるエッジ抽出、エッジ膨張処理には８近傍膨張処理、細線化処理にはHilditchの細線化処理を使用することができる。ここでエッジ膨張処理と細線化処理は、エッジを膨張させることにより分裂しているエッジを連結し、細線化処理を行うことで、後述するエッジ走査と特徴点抽出を円滑に行うことを目的としている。生成したエッジ画像は後段の顔面の各特徴エッジ抽出部１１２に出力する。

顔面の各特徴エッジ抽出部１１２では、眼と口位置抽出部１１０で検出した眼と口の位置データとエッジ画像生成部１１１によるエッジ画像を用いて、図３に示すようなエッジ画像における眼領域、頬領域、口領域を決定する。

眼領域は領域内に眉毛と眼のエッジのみが含まれるように設定し、頬領域は頬のエッジと鼻のエッジのみが含まれるように領域を設定し、口領域は上唇エッジ、歯エッジ、下唇エッジのみが含まれるように領域指定を行う。

ここで、これらの領域の設定処理の一例について説明する。

目領域の縦幅は、テンプレートマッチングと空間配置関係から求められた左目位置検出結果と右目位置検出結果の中点から上に左右目位置検出間距離の０.５倍、下に左右目位置検出間距離の０.３倍の領域を目の縦方向領域とする。

目領域の横幅は、テンプレートマッチングと空間配置関係から求められた左目位置検出結果と右目位置検出結果の中点から左右それぞれに左右目位置検出間距離の領域を目の横方向領域とする。

つまり、目領域の縦方向の辺の長さは左右目位置検出間距離の０.８倍、横方向の辺の長さは左右目位置検出間距離の２倍となる。

口領域の縦幅は、テンプレートマッチングと空間配置関係から求められた口位置検出結果の位置より上に鼻位置検出と口検出位置間距離の０.７５倍、下に左目位置検出結果と右目位置検出結果の中点と、口位置検出結果との距離の０.２５倍の領域を縦方向領域とする。口領域の横幅は、テンプレートマッチングと空間配置関係から求められた口位置検出結果の位置より左右それぞれ左右目位置検出間距離の０.８倍を目の横方向領域とする。

頬領域の縦幅は、テンプレートマッチングと空間配置関係から求められた左目位置検出結果と右目位置検出結果の中点と口位置検出結果との中点（顔の中心付近の点となる）から上下それぞれ左目位置検出結果と右目位置検出結果の中点と、口位置検出結果との距離の０.２５倍の領域を縦方向領域とする。

頬領域の横幅は、テンプレートマッチングと空間配置関係から求められた左目位置検出結果と右目位置検出結果の中点と口位置検出結果との中点（顔の中心付近の点となる）から左右それぞれ左右目位置検出間距離の０.６倍の領域を頬の横領域とする。

つまり、頬領域の縦方向の辺の長さは、左目位置検出結果と右目位置検出結果の中点と、口位置検出結果との距離の０.５倍、横方向の辺の長さは左右目位置検出間距離の１.２倍となる。

以上の領域の設定処理によって、図３に示すように、眼領域内では上から１本目のエッジ１２０とエッジ１２１が眉毛のエッジとして、２本目のエッジ１２２とエッジ１２３が眼のエッジとして判定され、口領域内では口を閉じている場合には図３に示すように上から１本目のエッジ１２６が上唇エッジ、２本目のエッジ１２７が下唇エッジとして判定され、口を開けている場合には上から１本目のエッジが上唇エッジ、２本目のエッジが歯のエッジ、３本目のエッジが下唇エッジとして判定される。

以上の判定結果は、以上の３つの領域（眼領域、頬領域、口領域）の夫々が眼領域、頬領域、口領域の何れであるかを示すデータ、そして各領域の位置とサイズのデータとして顔面の各特徴エッジ抽出部１１２によって生成され、顔面の特徴点抽出部１１３にエッジ画像と共に出力される。

顔面の特徴点抽出部１１３は、顔面の各特徴エッジ抽出部１１２から入力した上記各種データを用いて、エッジ画像における眼領域、頬領域、口領域内のエッジを走査することによって、後述の各特徴点を検出する。

図４は、顔面の特徴点抽出部１１３が検出する各特徴点を示す図である。同図に示すように、各特徴点とは、各エッジの端点、エッジ上における端点間の中点であり、これらは例えばエッジを構成する画素の値（ここではエッジを構成する画素の値を１，エッジを構成していない画素の値を０とする）を参照して、横方向の座標位置の最大値、最小値を求めることでエッジの端点を求めることが出来、エッジ上における端点間の中点は、エッジ上において単純に端点間の中点の横方向の座標値を取る位置とすることで求めることができる。

顔面の特徴点抽出部１１３はこれらの端点の位置情報を特徴点情報として求め、眼の特徴点情報（眼領域における各エッジの特徴点の位置情報）、口の特徴点情報（口領域における各エッジの特徴点の位置情報）を夫々後段の表情特徴量抽出部１１４にエッジ画像と共に出力する。

なお、特徴点に関しては目・口・鼻の位置検出同様に目や口や鼻の端点位置を算出するテンプレートなどを用いてもよくエッジ走査による特徴点抽出に限定されるわけではない。

表情特徴量抽出部１１４は顔面の特徴点抽出部１１３で得られた各特徴点情報から、表情判別に必要な「額周りのエッジ密度」、「眉毛エッジの形状」、「左右眉毛エッジ間の距離」、「眉毛エッジと眼のエッジ間の距離」、「眼の端点と口端点の距離」、「眼の線エッジの長さ」、「眼の線エッジの形状」、「頬周りのエッジ密度」、「口の線エッジの長さ」、「口の線エッジの形状」等の特徴量を算出する。

ここで、「眼の端点と口の端点の距離」とは、図４の特徴点１３６（右眼の右端点）の座標位置から特徴点１４７（唇の右端点）の座標位置までの縦方向の距離、同様に特徴点１４１（左眼の左端点）の座標位置から特徴点１４９（唇の左端点）の座標位置までの縦方向の距離である。

また、「眼の線エッジの長さ」とは、図４の特徴点１３６（右眼の右端点）の座標位置から特徴点１３８（右眼の左端点）の座標位置までの横方向の距離、又は特徴点１３９（左眼の右端点）の座標位置から特徴点１４１（左眼の左端点）の座標位置までの横方向の距離である。

また、「眼の線エッジの形状」とは、図５に示すように、特徴点１３６（右眼の右端点）と特徴点１３７（右眼の中点）により規定される線分（直線）１５０、特徴点１３７（右眼の中点）と特徴点１３８（右眼の左端点）により規定される線分（直線）１５１を算出し、この算出された２本の直線１５０と直線１５１の傾きから形状を判定している。

この処理は左目の線エッジの形状を求める処理についても同様で、用いる特徴点が異なるだけである。即ち、特徴点１３９（左眼の右端点）と特徴点１４０（左眼の中点）とで規定される線分の傾き、特徴点１４０（左眼の中点）と特徴点１４１（左眼の左端点）とで規定される線分の傾きを求め、これにより同様に判定する。

また、「頬周りのエッジ密度」は、上記頬の領域において、エッジを構成する画素の数を表すものである。これは頬の筋肉が持ち上がることによって「しわ」が生じ、これにより長さ、太さの異なる様々なエッジが発生するので、これらのエッジの量として、これらのエッジを構成する画素の数（画素値が１である画素の数）をカウントし、頬の領域を構成する画像数で割り算することにより密度を求めることができる。

また、「口線エッジの長さ」とは、口領域においてすべてのエッジを走査し、エッジを構成する画素のうちで横方向の座標位置が最も小さい画素が特徴点１４７（口の右端点）、最も大きい画素が特徴点１４９（口の左端点）とした場合には、特徴点１４７（口の右端点）の座標位置から特徴点１４９（口の左端点）の座標位置までの距離を示すものである。

なお上述のように、特徴量を求めるために端点間の距離や、２つの端点で規定される線分の傾き、エッジ密度を求めているのであるが、この処理は換言すると、各部位のエッジの長さや形状などの特徴量を求めていることになる。従って、以下ではこれらエッジの長さや形状を総称して「エッジの特徴量」と呼称する場合がある。

以上のようにして、特徴量抽出部１０１は、入力画像から各特徴量を求めることができる。

図１に戻って、参照特徴保持部１０２には、表情判別処理を行う前に、予め真顔である無表情の画像から、特徴量抽出部１０１で行われる上記特徴量検出処理によって検出された、この無表情の顔における特徴量が保持されている。

よって、以下説明する処理では、特徴量抽出部１０１が入力画像のエッジ画像から上記特徴量検出処理によって検出した特徴量が、この参照特徴保持部１０２が保持する特徴量からどの程度変化しているかを求め、この変化量に応じて入力画像中における顔の表情の判別を行う。従って、参照特徴保持部１０２が保持する特徴量を以下、「参照特徴量」と呼称する場合がある。

まず、特徴量変化量算出部１０３は、特徴量抽出部１０１が入力画像のエッジ画像から上記特徴量検出処理によって検出した特徴量と、参照特徴保持部１０２が保持する特徴量との差分を計算する。例えば、特徴量抽出部１０１が入力画像のエッジ画像から上記特徴量検出処理によって検出した「眼の端点と口の端点の距離」と、参照特徴保持部１０２が保持する「眼の端点と口の端点の距離」との差分を計算し、特徴量の変化量する。このような差分計算を各特徴量毎に求めることは、換言すれば、各部位の特徴量の変化を求めることになる。

なお、特徴量抽出部１０１が入力画像のエッジ画像から上記特徴量検出処理によって検出した特徴量と、参照特徴保持部１０２が保持する特徴量との差分を計算する際には当然、同じ特徴におけるもの同士で差分を取るので（例えば、特徴量抽出部１０１が入力画像のエッジ画像から上記特徴量検出処理によって検出した「眼の端点と口の端点の距離」と、参照特徴保持部１０２が保持する「眼の端点と口の端点の距離」との差分計算）、それぞれの特徴量は関係付けられている必要があるが、この手法については特に限定するものではない。

なお、この参照特徴量はユーザ毎に大きく異なる場合もあり、その場合、あるユーザにはこの参照特徴量が合致するものであっても、他のユーザには合致しない場合がある。従って、参照特徴保持部１０２に複数のユーザの参照特徴量を格納させておいても良い。その場合、上記画像入力部１００から画像を入力する前段で、誰の顔の画像を入力するのかを示す情報を予め入力しておき、特徴量変化量算出部１０３が処理を行う際に、この情報を元に参照特徴量を決定すれば、ユーザ毎の参照特徴量を用いて上記差分を計算することができ、後述する表情判別処理の精度をより一層上げることができる。

また、この参照特徴保持部１０２にはユーザ毎の参照特徴量の代わりに、平均的な顔における無表情の画像から、特徴量抽出部１０１で行われる上記特徴量検出処理によって検出された、この無表情の顔における特徴量が保持されていてもよい。

このようにして、特徴量変化量算出部１０３によって求められた、各部位の特徴量の変化を示す、各変化量のデータは、後段の得点算出部１０４に出力される。

得点算出部１０４は、各特徴量の変化量と、予め求められ、メモリ（例えばＲＡＭ２３０２）が保持する「重み」とに基づいて、得点の算出を行う。重みについては、予め各部位毎に変化量の個人差などに対する分析を行っており、この分析結果に応じて各特徴量毎に適切な重みを設定する。

例えば、眼のエッジの長さなど比較的変化量が小さい特徴やしわなど変化量に個人差がある特徴は重み付けを小さくし、眼と口の端点距離など変化量に個人差が出にくい特徴は重み付けを大きくとることである。

図６は例として変化量に個人差が存在する特徴である眼のエッジの長さの変化量から得点を算出するために参照するグラフである。

横軸が特徴量変化量（以下、参照顔での特徴量で正規化した値）、縦軸が得点を表しており、例えば、眼のエッジの長さの変化量が０.４であるとするとグラフから得点は５０点と算出される。眼のエッジの長さの変化量が１.２である場合でも変化量が０.３の場合と同じように得点が５０点と算出され、個人差により変化量が大きく異なった場合でも得点差が小さくなるよう重み付けを行っている。

図７は変化量の個人差がない特徴である眼と口の端点距離の長さの変化量から得点を算出するために参照するグラフである。

図６と同様に、横軸が特徴量変化量、縦軸が得点を表しており、例えば、眼と口の端点距離の長さの変化量が１.１である場合にはグラフから５０点が算出され、眼と口の端点距離の長さの変化量が１.３である場合にはグラフから５５点が算出される。つまり、個人差により変化量が大きく異なった場合には得点差が大きくなるように重み付けを行っている。

即ち、「重み」は、得点算出部１０４が得点を算出する際の変化量区分幅と得点幅の比に対応するのである。このように特徴量毎に重みを設定するという工程を行うことで特徴量変化量の個人差を吸収させ、さらに、表情判別は１つの特徴のみに依存しないので、誤検出や未検出を減少させ、表情判別（認識）率を向上させることができる。

なお、ＲＡＭ２３０２には図５，６に示したグラフのデータ、即ち、特徴量の変化量と得点との対応関係を示すデータが保持されており、これを用いて得点を算出する。

得点算出部１０４が求めた各特徴量毎の得点のデータは、各得点がどの特徴量に対するものであるかを示すデータと共に後段の表情判定部１０５に出力される。

ＲＡＭ２３０２には、表情判別処理を行う前に、予め各表情において、得点算出部１０４による上記処理によって求めた各特徴量毎の得点のデータが保持されている。

従って表情判定部１０５は、
１ 各特徴量毎の得点の総和値と所定の閾値との比較処理
２ 各特徴量毎の得点の分布と、各表情毎の各特徴量毎の得点の分布とを比較する処理
を行うことで、表情の判別を行う。

例えば、喜びの表情を示す表情は
１ 眼尻が下がる
２ 頬の筋肉が持ち上がる
３ 口の端が持ち上がる
などの特徴が見られるため、算出される得点の分布は図９に示すように、「眼の端点と口端点の距離」、「頬周りのエッジ密度」、「口の線エッジの長さ」の得点が非常に高く、続いて「眼の線エッジの長さ」、「眼の線エッジの形状」の得点も他の特徴量に比べて高い得点となり、喜び表情に特有な得点分布となる。この特有な得点分布は他の表情に関しても同様なことが言える。図９は、喜びの表情に対する、得点の分布を示す図である。

従って、表情判定部１０５は、得点算出部１０４が求めた各特徴量の得点による分布の形状が、どの表情に特有の得点分布の形状に最も近いかを特定し、最も近い形状の得点分布が示す表情が、判定結果として出力すべき表情となる。

ここで、形状が最も近い得点分布を探す方法としては、例えば、分布の形状を混合ガウシアン近似してパラメトリックにモデル化し、求めた得点分布と各表情毎に設けられた得点分布との類似度判別を、パラメータ空間内の距離の大小を判定することにより求める。そして、求めた得点分布とより類似度の高い得点分布（より距離の小さい得点分布）が示す表情を、判定の候補とする。

次に、得点算出部１０４が求めた各特徴量の得点の総和が閾値以上であるか否かを判定する処理を行う。この比較処理は、表情場面に類似した非表情場面を表情場面と正確に判定するためにより有効な処理である。従ってこの総和値が所定の閾値以上である場合には上記候補を、最終的に判定した表情として判別する。一方、この総和値が所定の閾値よりも小さい場合には上記候補は破棄し、入力画像における顔は無表情、もしくは非表情であると判定する。

また、上記得点分布の形状の比較処理において、上記類似度がある値以下である場合にはこの時点で入力画像における顔は無表情、もしくは非表情であると判定し、得点算出部１０４が求めた各特徴量の得点の総和値と閾値との比較処理を行わないで処理を終了するようにしても良い。

図８は、得点算出部１０４が求めた各特徴量毎の得点を用いて、入力画像における顔の表情が「特定の表情」であるか否かを判定する場合の判定処理のフローチャートである。

まず、表情判定部１０５は、得点算出部１０４が求めた各特徴量の得点による分布の形状が、特定の表情に特有の得点分布の形状と近いか否かを判断する（ステップＳ８０１）。これは例えば、求めた得点分布と特定の表情の得点分布との類似度が所定値以上である場合には、「得点算出部１０４が求めた各特徴量の得点による分布の形状が、特定の表情に特有の得点分布の形状と近い」と判定する。

近いと判定された場合には処理をステップＳ８０２に進め、次に、得点算出部１０４が求めた各特徴量の得点の総和値が所定の閾値以上であるか否かの判定処理を行う（ステップＳ８０２）。そして閾値以上であると判定された場合には、入力画像における顔の表情は上記「特定の表情」であると判定し、その判定結果を出力する。

一方、ステップＳ８０１で近くないと判定された場合、ステップＳ８０２で上記総和値が閾値よりも小さいと判定された場合には処理をステップＳ８０４に進め、入力画像が非表情画像である、若しくは無表情画像であるという旨を示すデータを出力する（ステップＳ８０４）。

なお、本実施形態では表情判別処理として、各特徴量毎の得点の総和値と所定の閾値との比較処理、及び各特徴量毎の得点の分布と、各表情毎の各特徴量毎の得点の分布とを比較する処理の両方を行っていたが、これに限定されるものではなく、何れか一方の比較処理を行うのみとしても良い。

以上の処理により、本実施形態によれば、得点分布の比較処理、及び得点の総和値との比較処理を行うので、入力画像における顔の表情がどの表情であるかをより正確に判別できる。また、入力画像における顔の表情が特定の表情であるか否かを判別することもできる。

［第２の実施形態］
図１０は本実施形態に係る画像処理装置の機能構成を示すブロック図である。図１と同じ部分については同じ番号を付けており、その説明は省略する。なお本実施形態に係る画像処理装置の基本構成については、第１の実施形態と同じ、即ち図２３に示したものと同じである。

以下、本実施形態に係る画像処理装置について説明する。上述のように、本実施形態に係る画像処理装置の機能構成において、第１の実施形態に係る画像処理装置の機能構成と異なる点は、表情判定部１６５である。従って以下ではこの表情判定部１６５について詳細に説明する。

図１１は表情判定部１６５の機能構成を示すブロック図である。同図に示すように、表情判定部１６５は表情可能性判定部１７０と、表情確定部１７１から成る。

表情可能性判定部１７０は、得点算出部１０４から得られた各特徴量の得点から成る得点分布と各得点の総和値とを用いて第１の実施形態と同様の表情判定処理を行い、その判定結果を「表情の可能性判定結果」とする。例えば、喜びの表情であるか否かの判定を行う場合、得点算出部１０４で得られた得点の分布と総和値から「喜びの表情である」と判定を行うのではなくて、「喜びの表情である可能性がある」と判定を行う。

この可能性判定は、例えば、非表情場面である会話場面での発音「い」と「え」の顔面の各特徴変化と、喜び場面の顔面の各特徴変化はほぼ全く同じ特徴変化であるので、これら会話場面である非表情場面と喜び場面とを区別するために行うものである。

次に、表情確定部１７１は、表情可能性判定部１７０で得られた表情可能性判定結果を用いて、ある特定の表情画像であるという判定を行う。図１２は横軸を時系列画像の夫々固有に付けた画像番号、縦軸を得点の総和と閾値ライン１８２との差とし、真顔である無表情場面から喜び表情場面に変化した場合の得点総和と閾値ライン１８２との差を表した図である。

図１３は横軸を時系列画像の画像番号、縦軸を得点の総和と閾値ライン１８３との差とし、非表情場面である会話場面の得点総和と閾値ライン１８３との差を表した図である。

図１２の無表情場面から喜び表情場面に変化する場合を参照すると、初期過程から中間過程における得点変化は変動が大きいが、中間過程を過ぎた後は得点変動が緩やかになり、最終的には得点はほぼ一定になっている。つまり、無表情場面から喜び表情場面に変化する初期過程から中間過程では顔面の眼や口などの各部位は急激な変動を起こすが、中間過程から喜びになる過程間は眼や口の各特徴の変動は緩やかとなり最終的には変動しなくなることを示している。

この顔面の各特徴の変動特性は他の表情に対しても同様なことが言える。逆に図１３の非表情場面である会話場面を参照すると、眼や口の顔の各特徴変化が喜びとほぼ同じである発音「い」の会話場面では、得点が閾値ラインを超える画像が存在する。しかし、発音「い」の会話場面では喜び表情場面とは異なり、顔面の各特徴は常に急激な変動を起こしているため、例え得点が閾値ライン以上になったとしても、すぐに得点が閾値ライン以下になるような傾向が見られる。

よって、表情可能性判定部１７０において表情の可能性判定を行い、この表情可能性判定結果の連続性から表情確定部１７１で表情を確定させる工程を行うことで会話場面と表情場面をより正確に判別できる。

なお、人間による顔表情の認知に関する視覚心理研究においても表情表出における顔面の動き、特に速度が表情からの感情カテゴリー判断を左右する要因となっていることはＭ．Ｋａｍａｃｈｉ，Ｖ．Ｂｒｕｃｅ，Ｓ．Ｍｕｋａｉｄａ，Ｊ．Ｇｙｏｂａ，Ｓ．Ｙｏｓｈｉｋａｗａ，ａｎｄ Ｓ．Ａｋａｍａｔｓｕ，”Ｄｙｎａｍｉｃ ｐｒｏｐｅ ｒｔｉｅｓ ｉｎｆｌｕｅｎｃｅ ｔｈｅ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ，”Ｐｅｒｃｅｐｔｉｏｎ，ｖｏｌ．３０，ｐｐ．８７５−８８７，Ｊｕｌｙ ２００１でも明らかになっている。

次に、表情可能性判定部１７０、表情確定部が行う処理についてより詳細に説明する。

先ずある入力画像（ｍフレーム目の画像）について可能性判定部１７０が「第１の表情である」と判定したとする。この判定結果は表情確定部１７１に可能性判定結果として出力される。表情確定部１７１はこの判定結果をすぐには出力せずにその代わりに、可能性判定部１７０が第１の表情であると判定した回数をカウントする。なお、このカウントは可能性判定部１７０が第１の表情とは異なる第２の表情である判定をすると、０にリセットされる。

ここで表情確定部１７１がこの表情の判定結果（第１の表情であるという判定結果）をすぐに出力しないのは、これは上述の通り、ここで判断した表情はまだ上記様々な要因により不明瞭なものである可能性があることに起因するからである。

可能性判定部１７０はこの後も（ｍ＋１）フレーム目の入力画像、（ｍ＋２）フレーム目の入力画像、、、というように夫々の入力画像に対する表情判定処理を行うのであるが、表情確定部１７１によるカウント値がｎに達した場合、即ち、可能性判定部１７０がｍフレーム目から連続してｎフレーム分全て「第１の表情である」と判定すると、表情確定部１７１はこの時点が「第１の表情の開始時」であること、即ち（ｍ＋ｎ）フレーム目が開始フレームであることを示すデータをＲＡＭ２３０２に記録し、この時点以降、可能性判定部１７０が第１の表情とは異なる第２の表情である判定をした時点までを喜びの表情とする。

図１２を用いた上記説明のように、表情場面では一定期間得点総和と閾値との差が変化しなくなる、即ち、一定期間同じ表情が続く。逆に、一定期間同じ表情が続かない場合には図１３を用いた上記説明のように、非表情場面である会話場面の可能がある。

従って、可能性判定部１７０が行う上記処理によって、一定期間（ここではｎフレーム分）同じ表情の可能性を判定すれば、初めてその表情を最終的な判断結果として出力するので、このような非表情場面である会話場面等による表情判定処理に外乱となる要素を取り除くことが出来、より正確な表情判定処理を行うことができる。

図１４は、表情確定部１７１が行う、画像入力部１００から連続して入力される画像において、喜びの表情の開始時を決定する処理のフローチャートである。

まず、可能性判定部１７０による可能性判定結果が喜びであることを示すものである場合には（ステップＳ１９０）、処理をステップＳ１９１に進め、表情確定部１７１によるカウントの値がｐ（図１４ではｐ＝４とする）に達した場合（ステップＳ１９１）、即ち、可能性判定部１７０による可能性判定結果がｐフレーム連続して喜びと判定された場合に、この時点を「喜び開始」と判断し、この旨を示すデータ（例えば現在のフレーム番号データ、及び喜び開始を示すフラグデータ）をＲＡＭ２３０２に記録する（ステップＳ１９２）。

以上の処理によって、喜びの表情の開始時（開始フレーム）を特定することができる。

図１５は、表情確定部１７１が行う、画像入力部１００から連続して入力される画像において、喜びの表情の終了時を決定する処理のフローチャートである。

先ず、表情確定部１７１はステップＳ１９２においてＲＡＭ２３０２に記録された上記フラグデータを参照し、現在、喜びの表情を開始して、且つ終了していないかを判断する（ステップＳ２００）。後述するが、喜びの表情が終了したらこのデータはその旨に書き換えられるので、このデータを参照することで、現在喜びの表情が終了しているのか否かを判定することができる。

まだ喜びの表情が終了していない場合には処理をステップＳ２０１に進め、表情可能性部１７０で喜びである可能性がないとｑ（図１５ではｑ＝３とする）フレーム連続して判定された場合（表情確定部１７１によるカウントがｑフレーム連続０である場合）、この時点を「喜び終了」と判断し、上記フラグデータを「喜びが終了したことを示すデータ」に書き換えてＲＡＭ２３０２に記録する（ステップＳ２０２）。

しかし、ステップＳ２０１において、表情可能性部１７０で喜びである可能性がないとｑフレーム連続して判定されていない場合（表情確定部１７１によるカウントがｑフレーム連続０ではない場合）、最終的な表情判定結果として、入力画像中の顔の表情を「喜んでる」と判定し、上記データは操作しない。

そして喜びの表情の終了後、表情確定部１７１は、開始時から終了時までの各フレームにおける表情を「喜び」と判定する。

このように、表情開始画像と表情終了画像を決定し、その間の画像をすべて表情画像と判定を行うことで、その間の画像に対しての表情判断処理の誤判定などの発生を抑制することが出来、全体として表情判断処理の精度を上げることができる。

なお、本実施形態では「喜び」の表情を判断するための処理を例にとって説明したが、この表情が「喜び」以外であってもその処理内容は基本的には同じであることは明白である。

［第３の実施形態］
図１６は本実施形態に係る画像処理装置の機能構成を示すブロック図である。図１とほぼ同じ動作を行う部分については同じ番号を付けており、その説明は省略する。なお本実施形態に係る画像処理装置の基本構成については、第１の実施形態と同じ、即ち図２３に示したものと同じである。

本実施形態に係る画像処理装置は、入力画像中の顔の表情が何であるかの候補を１つ以上入力しておき、入力画像中の顔の表情がこの入力した１つ以上の何れであるかを判定するものである。

以下、本実施形態に係る画像処理装置についてより詳細に説明する。上述のように、本実施形態に係る画像処理装置の機能構成において、第１の実施形態に係る画像処理装置の機能構成と異なる点は、表情選択部２１１、特徴量抽出部２１２、表情判定部２１６である。従って以下ではこの表情選択部２１１、特徴量抽出部２１２、表情判定部２１６について詳細に説明する。

表情選択部２１１は、１つ以上の表情の候補を入力するためのものである。入力には例えば表示装置２３０６の表示画面上に表示される、複数の表情を選択するためのＧＵＩ上で、１つ以上の表情をキーボード２３０４やマウス２３０５を用いて選択するようにしても良い。なお選択した結果はコード（例えば番号）として特徴量抽出部２１２、特徴量変化量算出部１０３に出力される。

特徴量抽出部２１２は、画像入力部１００から入力された画像における顔から、表情選択部２１１で選択された表情を認識するための特徴量を求める処理を行う。

表情判定部２１６は、画像入力部１００から入力された画像における顔が、表情選択部２１１で選択された表情の何れであるかを判別する処理を行う。

図１７は特徴量抽出部２１２の機能構成を示すブロック図である。なお、同図において図２と同じ部分については同じ番号を付けており、その説明は省略する。以下、図１７に示した各部について説明する。

各表情毎の特徴量抽出部２２４は、顔面の特徴点抽出部１１３で得られた特徴点情報を用いて、表情選択部２１１が選択した表情に応じた特徴量を算出する。

図１８は表情選択部２１１が選択した各表情（表情１，表情２，表情３）に応じた特徴量を示す図である。例えば同図によると、表情１を認識するためには特徴１乃至４を算出する必要があるし、表情３を認識するためには特徴２乃至５を算出する必要がある。

例えば、表情選択部２１１で喜び表情を選択したと仮定すると、喜び表情に必要な特徴は眼と口の端点距離、眼のエッジの長さ、眼のエッジの傾き、口エッジの長さ、口エッジの傾き、頬周りのエッジ密度の６特徴であるというように表情別に個別の特徴量が必要となる。

このような、各表情を認識するために必要な特徴量を示すテーブル（図１８に例示するような対応関係を示すテーブル）、即ち、表情選択部２１１から入力される表情を示すコードと、この表情を認識するためにはどのような特徴量を求めるのかを示すデータとが対応付けられたテーブルはＲＡＭ２３０２に予め記録されているものとする。

上述の通り、表情選択部２１１からは選択した表情に応じたコードが入力されるので、特徴量抽出部２１２は、このテーブルを参照することで、このコードに応じた表情を認識するための特徴量を特定することができ、その結果、表情選択部２１１が選択した表情に応じた特徴量を算出することができる。

図１６に戻って、次に後段の特徴量変化量算出部１０３は第１の実施形態と同様に特徴量抽出部２１２による特徴量と、参照特徴保持部１０２が保持する特徴量との差分を計算する。

なお、特徴量抽出部２１２が算出する特徴量は、表情によってその数や種類が異なる。従って本実施形態に係る特徴量変化量算出部１０３は、表情選択部２１１が選択した表情を認識するために必要な特徴量を参照特徴保持部１０２から読み出して用いる。表情選択部２１１が選択した表情を認識するために必要な特徴量の特定は、特徴量抽出部２１２が用いた上記テーブルを参照すれば特定することができる。

例えば、喜び表情に必要な特徴は眼と口の端点距離、眼のエッジの長さ、眼のエッジの傾き、口エッジの長さ、口エッジの傾き、頬周りのエッジ密度の６特徴であるので、この６特徴と同様の特徴を参照特徴保持部１０２から読み出し、用いる。

特徴量変化量算出部１０３からは各特徴量の変化量が出力されるので、得点算出部１０４は第１の実施形態と同様の処理を行う。本実施形態では表情選択部２１１によって複数の表情が選択されている場合があるので、選択された夫々の表情毎に、第１の実施形態と同様の得点算出処理を行い、表情毎に各特徴量毎の得点を算出する。

図１９は各表情毎に、各変化量に基づいて得点を算出する様子を示す模式図である。

そして表情判定部１０５は、表情選択部２１１によって複数された表情毎に得点の総和値を求める。この夫々の表情毎の総和値において、最も高い値を示す表情が、入力画像における顔の表情とすることができる。

例えば、喜び、悲しみ、怒り、驚き、嫌悪、恐怖の表情のうちで喜び表情が最も高い得点総和ならば、表情は喜び表情であると判定されるということである。

［第４の実施形態］
本実施形態に係る画像処理装置は、入力画像中の顔の表情を判定した場合に、更に、表情場面での表情の度合いを判定する。本実施形態に係る画像処理装置の基本構成、機能構成については第１乃至３の何れの実施形態のものを適用しても良い。

まず、表情の度合いを判定する方法では、表情判定部においてある特定の表情であると判定された入力画像に対して、得点算出部で算出された得点変化の推移もしくは得点総和を参照する。

もし、得点算出部で算出された得点総和が得点の総和の閾値と比較して閾値との差が小さいならば、喜びの度合いは小さいと判定される。逆に、得点算出部で算出された得点の総和が閾値と比較して閾値との差が大きいならば、喜びの度合いが大きいと判定される。この方法は、喜びの表情以外の他の表情に対しても同様に表情の度合いを判定できる。

［第５の実施形態］
また、上記実施形態において、得点算出部で算出された眼の形状の得点から眼をつぶっているか否かの判定を行うこともできる。

図２１は参照顔の眼のエッジ、即ち、眼を開いている場合の眼のエッジを示した図であり、図２２は眼をつぶった場合の眼のエッジを示した図である。

特徴量抽出部で抽出された眼をつぶった場合の眼のエッジ３１６の長さは参照画像の眼のエッジ３０４の長さと比べて全く変化しない。

しかし、図２１の眼を開いている場合の眼のエッジ３０４の特徴点３０５と３０６を結んで得られる直線３０８の傾きと、図２２の眼をつぶった場合の眼のエッジ３１６の特徴点３１０と３１１を結んで得られる直線３１３の傾きを比べると、眼を開いた状態から眼をつぶった状態に変化した場合には直線の傾きの変化量が負となっている。

また、図２１の眼を開いている場合の眼のエッジ３０４の特徴点３０６と３０７から得られる直線３０９の傾きと、図２２の眼をつぶった場合の眼のエッジ３１６の特徴点３１１と３１２から得られる直線３１４の傾きを比べると、眼を開いた状態から眼をつぶった状態に変化した場合には直線の傾きの変化量が正となっている。

そこで、眼のエッジの長さが全く変化せず、眼のエッジから得られる上述した左右２本の直線の傾きの変化量の絶対値が参照画像の眼のエッジに対して、それぞれある所定値以上で、一方が負かつ他方が正の変化をした場合には眼をつぶっている可能性が高いと判定することができ、直線の傾きの変化量に応じて極端に得点算出部で得られる得点を小さくしている。

図２０は、得点算出部で算出された眼の形状の得点から眼をつぶっているか否かの判定処理のフローチャートである。この処理は表情判定部で行われるものである。

上述のように、目の形状に対する得点が閾値以下であるか否かを判断し、閾値以下であれば目をつぶっている、否であれば目をつぶっていないと判定する。

［第６の実施形態］
図２４は本実施形態に係る画像処理装置の機能構成を示すブロック図である。図１とほぼ同じ動作を行う部分については同じ番号を付けており、その説明は省略する。なお本実施形態に係る画像処理装置の基本構成については、第１の実施形態と同じ、即ち図２３に示したものと同じである。

特徴量抽出部７０１は図２５に示す如く、鼻と眼と口位置算出部７１０、エッジ画像生成部７１１、顔面の各特徴エッジ抽出部７１２、顔面の特徴点抽出部７１３、表情特徴量抽出部７１４から構成される。図２５は、特徴量抽出部７０１の機能構成を示すブロック図である。

正規化特徴変化量計算部７０３は、特徴量抽出部７０１から得られる夫々の特徴量と参照特徴保持部７０２から得られる夫々の特徴量の比を算出する。なお、正規化特徴変化量算出部７０３で算出される夫々の特徴変化量は笑顔を検出すると仮定した場合には「眼と口の端点距離」、「眼のエッジの長さ」、「眼のエッジの傾き」、「口エッジの長さ」、「口エッジの傾き」である。さらに、顔のサイズ変動や顔の回転変動に応じて各特徴量を正規化する。

正規化特徴変化量算出部７０３で得られたそれぞれの特徴変化量の正規化方法について説明する。図２６は、画像における顔中の目、鼻の重心位置を示す図である。同図において７２０，７２１はそれぞれ右目、左目の重心位置、７２２は花の重心位置を示す。特徴量抽出部７０１の鼻と眼と口位置検出部７１０で鼻・眼・口のそれぞれのテンプレートを用いることによって検出された鼻の重心位置７２２、眼の重心位置７２０、７２１から、図２８に示す如く、右目位置と顔位置水平方向距離７３０、左目位置と顔位置水平方向距離７３１、左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３２を算出する。

右目位置と顔位置水平方向距離７３０、左目位置と顔位置水平方向距離７３１、左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３２の比ａ：ｂ：ｃは、顔サイズが変動した場合には図２９に示す如く、右目位置と顔位置水平方向距離７３３、左目位置と顔位置水平方向距離７３４、左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３５のそれぞれの比ａ１：ｂ１：ｃ１とほとんど変化はないが、サイズ変動しない場合の右目位置と顔位置水平方向距離７３０とサイズ変動した場合の右目位置と顔位置水平方向距離７３３の比ａ：ａ１は顔サイズ変動に応じて変化する。なお、右目位置と顔位置水平方向距離７３０、左目位置と顔位置水平方向距離７３１、左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３２を算出する際には図２７に示す如く、鼻と眼の重心位置以外に眼の端点位置（７２３、７２４）や左右それぞれの鼻腔位置や左右鼻腔位置の重心（７２５）を用いても良い。眼の端点を算出する方法は、例えばエッジを走査する方法や眼の端点検出用のテンプレートを用いる方法や、鼻腔位置に関しても鼻腔検出用テンプレートを用いて左右の鼻腔の重心やそれぞれ左右鼻腔位置を用いる方法がある。変動を判定するための特徴間距離も左右の目頭間距離など他の特徴を用いても良い。

さらに、図３０に示す如く、左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３８と図２８の顔が回転しない場合の左右眼の垂直方向の座標平均と顔位置との垂直方向距離７３２との比ｃ：ｃ２は顔の上下回転によって比が変化する。

また、図３１に示す如く、右目位置と顔位置水平方向距離７３９と左目位置と顔位置水平方向距離７４０の比ａ３：ｂ３は図２８の顔が左右回転しない場合の右目位置と顔位置水平方向距離７３０と左目位置と顔位置水平方向距離７３１の比ａ：ｂと比べると比が変化する。

また、顔の左右回転した場合には、図３２に示す参照画像（無表情時の画像）の右眼端点間距離ｄ１と左眼端点間距離ｅ１の比ｇ１（＝ｄ１／ｅ１）と、図３３に示す入力画像（笑顔時の画像）の右眼端点間距離ｄ２と左眼端点間距離ｅ２の比ｇ２＝（ｄ２／ｅ２）の比ｇ２／ｇ１を用いることもできる。

図３４はサイズ変動、左右回転変動、上下回転変動を判定する処理のフローチャートである。同図のフローチャートを用いてサイズ変動、左右回転変動、上下回転変動を判定する処理について説明するのであるが、その際に図２８を「変動していない状態で眼と鼻の位置間を直線で結んだ図」、図３５を「サイズ変動、左右回転変動ないしは上下変動した後の眼と鼻の位置間を直線で結んだ図」として用いるものとする。

まず、ステップＳ７７０において、ａ：ｂ：ｃとａ４：ｂ４：ｃ４の比が同じであるかの判定を行う。この「同じである」という判定は、「全く同じ」であることに限定するものではなく、「両者の比の差がある許容範囲内」であれば「同じである」と判断しても良い。

ステップＳ７７０の判定処理でａ：ｂ：ｃとａ４：ｂ４：ｃ４の比が同じであると判断した場合には処理をステップＳ７７１に進め、「変化なし、もしくはサイズ変動のみである」と判断し、更に処理をステップＳ７７２に進め、ａ／ａ４が１であるか否かを判断する。

ａ／ａ４が１である場合には処理をステップＳ７７３に進め、「サイズ変動かつ回転変動がない」と判断する。一方、ステップＳ７７２でａ／ａ４が１ではないと判断した場合には処理をステップＳ７７４に進め、「サイズ変動のみ」と判断する。

一方、ステップＳ７７０における判断処理で、ａ：ｂ：ｃとａ４：ｂ４：ｃ４の比が同じではないと判定された場合には処理をステップＳ７７５に進め、「上下回転、左右回転、上下回転かつサイズ変動、左右回転かつサイズ変動、上下回転かつ左右回転、上下回転かつ左右回転かつサイズ変動の何れかである」と判断する。

そして処理をステップＳ７７６に進め、ａ：ｂとａ４：ｂ４の比が同じであるか否かを判定し（ここでの「同じである」という判断についてもステップＳ７７０におけるものと同じである）、同じであると判断した場合には処理をステップＳ７７７に進め、「上下回転、上下回転かつサイズ変動の何れか」と判断する。そして処理をステップＳ７７８に進め、ａ／ａ４が１であるか否かを判断する。ａ／ａ４が１ではないと判断した場合には処理をステップＳ７７９に進め、「上下回転かつサイズ変動である」と判断する。一方、ａ／ａ４が１であると判断された場合には、処理をステップＳ７８０に進め、「上下回転のみである」と判定する。

一方、ステップＳ７７６において、ａ：ｂとａ４：ｂ４の比が同じではないと判断された場合には処理をステップＳ７８１に進め、ステップＳ７７８と同様にａ／ａ４が１であるか否かを判断する。

そしてａ／ａ４が１である場合には処理をステップＳ７８２に進め、「左右回転、上下回転かつ左右回転の何れかである」と判断する。そして処理をステップＳ７８３に進め、ｃ／ｃ３が１であるか否かを判断する。ｃ／ｃ３が１ではないと判断された場合には処理をステップＳ７８４に進め、「上下回転かつ左右回転である」と判断し、一方、ｃ／ｃ３が１であると判断した場合には処理をステップＳ７８５に進め、「左右回転である」と判定する。

一方、ステップＳ７８１において、ａ／ａ４が１ではないと判断した場合には処理をステップＳ７８６に進め、「左右回転かつサイズ変動、上下回転かつ左右回転かつサイズ変動の何れかである」と判断する。そして処理をステップＳ７８７に進め、（ａ４／ｂ４）／（ａ／ｂ）が１よりも大きいか否かを判断する。

そして（ａ４／ｂ４）／（ａ／ｂ）が１よりも大きい場合には処理をステップＳ７８８に進め、「左回転」と判定する。そして処理をステップＳ７８９に進め、ａ：ｃとａ４：ｃ４の比が同じ（「同じである」の基準はステップＳ７７０と同じ）であるか否かを判断し、同じである場合には処理をステップＳ７９０に進め、「左右回転かつサイズ変動である」と判断する。一方、ａ：ｃとａ４：ｃ４の比が同じでない場合には処理を処理をステップＳ７９３に進め、「上下回転かつ左右回転かつサイズ変動である」と判断する。

一方、ステップＳ７８７において（ａ４／ｂ４）／（ａ／ｂ）が１以下であると判断した場合には処理をステップＳ７９１に進め、「右回転」と判定する。そして処理をステップＳ７９２に進め、ｂ：ｃとｂ４：ｃ４の比が同じ（「同じである」の基準はステップＳ７７０と同じ）であるか否かを判断する。そして同じである場合には処理をステップＳ７９０に進め、「左右回転かつサイズ変動である」と判断する。一方、ｂ：ｃとｂ４：ｃ４の比が同じではない場合には処理をステップＳ７９３に進め、「上下回転かつ左右回転かつサイズ変動である」と判断する。それぞれのステップで用いられている比などは、フローチャートに書かれているものに限定されるわけではない。例えば、ステップＳ７７２、ステップＳ７７８、ステップＳ７８１ではｂ／ｂ４や（ａ＋ｂ）／（ａ４＋ｂ４）などを用いても良い。

以上の処理によって、顔のサイズ変動や顔の回転変動した場合の判別が可能となる。さらに、これらの変動が判別された場合には正規化特徴変化量算出部７０３で得られる夫々の特徴変化量を正規化することによって顔のサイズが変動した場合や顔が回転した場合においても表情の認識が可能となる。

特徴量正規化方法は、例えば、サイズ変動のみである場合については、図２８と図２９を用いて説明すると、入力画像から得られるすべての特徴変化量を１／（ａ１／ａ）倍すれば良い。なお、１／（ａ１／ａ）ではなくて１（１ｂ／ｂ）、１／（（ａ１＋ｂ１）／（ａ＋ｂ））、１／（ｃ１／ｃ）やそれ以外の特徴を用いても良い。また、図３６に示すように、上下回転かつサイズ変動した場合には、上下回転が影響を与える目の端点と口の端点距離を（ａ５／ｃ５）／（ａ／ｃ）倍した後ですべての特徴量を１／（ａ１／ａ）倍すれば良い。上下回転した場合においても同様に（ａ５／ｃ５）／（ａ／ｃ）を用いることに限定するわけではない。このようにして顔のサイズ変動、上下左右回転変動を判定し、特徴変化量を正規化することによって顔のサイズが変動した場合や顔が上下左右回転変動した場合でも表情の認識が可能である。

図３７は、左右眼及び鼻の位置検出から上下・左右回転変動、サイズ変動に応じて各特徴量を正規化し、表情判定する処理のフローチャートである。

ステップＳ８７０で左右眼の重心座標と鼻の重心座標を検出した後、ステップＳ８７１で左右・上下回転変動またはサイズ変動の判定を行い、もし、左右・上下回転変動がない場合にはステップＳ８７２で特徴変化量正規化必要ないと判定され、参照特徴量との比を算出することにより特徴量の変化量を算出し、ステップＳ８７３で各特徴毎の得点算出を行い、ステップＳ８７４で各特徴量変化量から算出された得点総和を算出する。一方、ステップＳ８７１で左右・上下回転変動またはサイズ変動がありと判定された場合、ステップＳ８７５で各特徴量正規化必要ありと判定され、各特徴量を参照特徴量との比を算出することにより特徴量の変化量を算出し、上下・左右回転変動またはサイズ変動に応じて特徴量の変化量を正規化した後、ステップＳ８７３で各特徴量変化量毎の得点算出を行い、ステップＳ８７４で各特徴量変化量から算出された得点総和を算出する。

そして算出された得点の総和から、ステップＳ８７６で入力画像における顔の表情の判定を第１の実施形態と同様にして行う。

［第７の実施形態］
図３８は本実施形態に係る撮像装置の機能構成を示すブロック図である。本実施形態に係る撮像装置は同図に示す如く、撮像部８２０、画像処理部８２１、画像２次記憶部８２２から構成されている。

図３９は、撮像部８２０の機能構成を示す図で、撮像部８２０は大まかには同図に示す如く、結像光学系８３０、固体撮像素子８３１、映像信号処理８３２、画像１次記憶部８３３により構成されている。

結像光学系８３０は例えばレンズであって、周知の通り後段の固体撮像素子８３１に対して外界の光を結像させる。固体撮像素子８３１は例えばＣＣＤであって、周知の通り結像光学系８３０により結蔵された像を電気信号に変換し、結果として撮像画像を電気信号として後段の映像信号処理回路８３２に出力され、映像信号処理部８３２はこの電気信号に対してＡ／Ｄ変換を施し、ディジタル信号として後段の画像１次記憶部８３３に出力する。すなわち、画像１次記憶部８３３には、撮像画像のデータが出力される。画像１次記憶部８３３は例えばフラッシュメモリなどの記憶媒体で構成されており、この撮像画像のデータを記憶する。

図４０は画像処理部８２１の機能構成を示すブロック図である。画像処理部８２１は、上記画像１次記憶部８３３に記憶されている撮像画像データを読み出し、後段の特徴量抽出部８４２に出力する画像入力部８４０、後述する表情情報を入力し、後段の特徴量抽出部８４２に出力する表情情報入力部８４１、特徴量抽出部８４２、参照特徴保持部８４３、特徴量抽出部８４２による特徴量の比を算出することで変化量算出を行う変化量計算部８４４、回転・上下変動またはサイズ変動に応じて変化量計算部８４４で算出された各特徴の変化量を正規化する変化量正規化部８４５、変化量正規化部８４５で正規化された各特徴の変化量から各変化量毎に得点算出を行う得点算出部８４６、表情判定部８４７により構成されている。同図に示した各部は特に説明がない限りは、上記実施形態において同じ名前の部分と同じ機能を有するものである。

なお、表情情報入力部８４１では撮影したい表情を撮影者が選択することにより撮影表情情報が入力される。つまり、撮影者が笑顔を撮影したい場合には笑顔撮影モードを選択する。これにより笑顔のみを撮影するようにする。よって、この表情情報とは、選択された表情を示す情報である。なお、選択する表情は１つに限定するものではなく、複数であっても良い。

図４１は、特徴量抽出部８４２の機能構成を示すブロック図である。特徴量抽出部８４２は同図に示す如く、鼻と眼と口位置検出部８５０、エッジ画像生成部８５１、顔面の各特徴エッジ抽出部８５２、顔面の特徴点抽出部８５３、表情特徴量抽出部８５４により構成されている。各部の機能については図２５に示した各部と同じであるのでその説明は省略する。

画像処理部８２１における画像入力部８４０は、画像１次記憶部８３３に記憶されている撮像画像のデータを読み出し、後段の特徴量抽出部８４２に出力する。特徴量抽出部８４２は、表情情報入力部８４１から入力された表情情報に基づいて、撮影者の選択による撮影したい表情の特徴量を抽出する。例えば、撮影者が笑顔を撮影したい場合には笑顔認識に必要な特徴量を抽出するということである。

更に、変化量計算部８４４は、抽出した各特徴量と、参照特徴保持部８４３が保持する各特徴量との比を算出することによって各特徴量の変化量を算出し、変化量正規化８４５では変化量計算部８４４で得られた各特徴変化量の比を顔のサイズ変動や顔の回転変動に応じて正規化する。そして、得点算出部８４６で各特徴毎の重みと各特徴毎の変化量に応じて得点算出を行う。

図４２は表情判定部８４６の機能構成を示すブロック図である。表情可能性判定部８６０は、第２の実施形態と同様に得点算出部８４６で算出された各特徴毎の得点総和の閾値処理により表情情報入力部８４１で得られた表情の可能性判定を行い、表情確定部８６１は、この表情可能性判定結果の連続性から表情情報入力部８４７で得られた表情であると確定している。もし、表情情報入力部８４７で得られた表情である場合には撮影部８２０で得られた画像データを画像２次記憶部８２２に記憶する。

このようにすることで、撮影者が意図した表情の画像のみを記録することができる。

なお、画像処理部８２１の機能構成はこれに限定されるものではなく、上記各実施形態における表情認識処理を行うべく構成された装置（もしくはプログラム）を適用しても良い。

［第８の実施形態］
図４３は本実施形態に係る撮像装置の機能構成を示すブロック図である。図３８と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態に係る撮像装置は、第７の実施形態に係る撮像装置に更に画像表示部８７３を付加した構成を備える。

画像表示部８７３は液晶画面などにより構成されており、画像２次記憶部８２２に記録された画像を表示する。なお、画像表示部８７３に表示する画像は、画像処理部８７１で撮影者により選択された画像のみを表示する場合でも良い。また、画像表示部８７３に表示した画像を撮影者が画像２次記憶部８７２に記憶するか削除するか選択することも可能であり、そのためには例えば画像表示部８７３をタッチパネル形式の液晶画面により構成し、この表示画面に画像表示部８７３に表示した画像を撮影者が画像２次記憶部８７２に記憶するか削除するか選択する為のメニューを表示し、その何れかを撮影者が表示画面上で選択できるようにしても良い。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 特徴量抽出部１０１の機能構成を示すブロック図である。 エッジ画像における眼領域、頬領域、口領域を示す図である。 顔面の特徴点抽出部１１３が検出する各特徴点を示す図である。 「眼の線エッジの形状」を説明するための図である。 例として変化量に個人差が存在する特徴である眼のエッジの長さの変化量から得点を算出するために参照するグラフである。 変化量の個人差がない特徴である眼と口の端点距離の長さの変化量から得点を算出するために参照するグラフである。 得点算出部１０４が求めた各特徴量毎の得点を用いて、入力画像における顔の表情が「特定の表情」であるか否かを判定する場合の判定処理のフローチャートである。 喜びを示す表情に対する得点の分布の一例を示す図である。 本発明の第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。 表情判定部１６５の機能構成を示すブロック図である。 横軸を時系列画像の夫々固有に付けた画像番号、縦軸を得点の総和と閾値ライン１８２との差とし、真顔である無表情場面から喜び表情場面に変化した場合の得点総和と閾値ライン１８２との差を表した図である。 横軸を時系列画像の画像番号、縦軸を得点の総和と閾値ライン１８３との差とし、非表情場面である会話場面の得点総和と閾値ライン１８３との差を表した図である。 表情確定部１７１が行う、画像入力部１００から連続して入力される画像において、喜びの表情の開始時を決定する処理のフローチャートである。 表情確定部１７１が行う、画像入力部１００から連続して入力される画像において、喜びの表情の終了時を決定する処理のフローチャートである。 本発明の第３の実施形態に係る画像処理装置の機能構成を示すブロック図である。 特徴量抽出部２１２の機能構成を示すブロック図である。 表情選択部２１１が選択した各表情（表情１，表情２，表情３）に応じた特徴量を示す図である。 各表情毎に、各変化量に基づいて得点を算出する様子を示す模式図である。 得点算出部で算出された眼の形状の得点から眼をつぶっているか否かの判定処理のフローチャートである。 参照顔の眼のエッジ、即ち、眼を開いている場合の眼のエッジを示した図である。 眼をつぶった場合の眼のエッジを示した図である。 本発明の第１の実施形態に係る画像処理装置の基本構成を示す図である。 本発明の第６の実施形態に係る画像処理装置の機能構成を示すブロック図である。 特徴量抽出部７０１の機能構成を示すブロック図である。 画像における顔中の目、鼻の重心位置を示す図である。 左右それぞれ目頭と鼻の重心を示した図である 何も変動がない場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 サイズ変動がある場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 上下回転変動がある場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 左右回転変動がある場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 無表情時の左右眼の端点間距離を示した図である。 笑顔時の左右眼の端点間距離を示した図である。 サイズ変動、左右回転変動、上下回転変動を判定する処理のフローチャートである。 サイズ変動、左右回転変動、上下回転変動のいずれかの変動があった場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 上下回転変動とサイズ変動がある場合の左右眼間距離、左右眼・鼻間距離、及び眼・鼻間距離を示した図である。 左右眼及び鼻の位置検出から上下・左右回転変動、サイズ変動に応じて各特徴量を正規化し、表情判定する処理のフローチャートである。 本発明の第７の実施形態に係る撮像装置の機能構成を示すブロック図である。 撮像部８２０の機能構成を示す図である。 画像処理部８２１の機能構成を示すブロック図である。 特徴量抽出部８４２の機能構成を示すブロック図である。 表情判定部８４６の機能構成を示すブロック図である。 本発明の第８の実施形態に係る撮像装置の機能構成を示すブロック図である。

Claims (11)

1. 顔を含む連続するフレームの画像を入力する入力手段と、
   前記連続するフレームの各フレームの画像中の顔における予め設定された部位群の夫々について特徴量を求める第１の特徴量計算手段と、
   予め設定された表情の顔を含む画像における当該顔の前記予め設定された部位群の夫々について特徴量を求める第２の特徴量計算手段と、
   前記第１の特徴量計算手段が求めた特徴量と、前記第２の特徴量計算手段が求めた特徴量との差分または比に基づいて、前記予め設定された部位群の夫々の特徴量の変化量を求める変化量計算手段と、
   前記予め設定された部位群の夫々について前記変化量計算手段が求めた変化量に基づいて、前記予め設定された部位群の夫々について得点を計算する得点計算手段と、
   前記得点計算手段が前記予め設定された部位群の夫々について計算した得点の分布と、各表情毎に計算した、前記予め設定された部位群の夫々に対する得点の分布と、を比較することで、前記入力手段が入力した画像中の顔の表情を判断する第１の判断手段と、
   連続したｐフレームの夫々の画像中の顔の表情が第１の表情であると前記第１の判断手段が判断してから、当該判断後、連続したｑフレームの夫々の画像中の顔の表情が前記第１の表情とは異なる第２の表情であると前記第１の判断手段が判断するまでの各フレームの画像中の顔の表情を、第１の表情として判断する第２の判断手段と
   を備えることを特徴とする画像処理装置。
2. 前記変化量計算手段が、前記第１の特徴量計算手段が求めた特徴量と、前記第２の特徴量計算手段が求めた特徴量と、の差分または比に基づいて、前記予め設定された部位群の夫々の特徴量の変化量を求めた後、顔のサイズ変動、回転変動に基づく正規化値によって前記予め設定された部位群の夫々の特徴量の変化量を正規化し、
   前記得点計算手段が、前記予め設定された部位群の夫々について前記正規化された変化量に基づいて、前記予め設定された部位群の夫々について得点を計算することを特徴とする請求項１に記載の画像処理装置。
3. 前記変化量計算手段は、
   前記第１の特徴量計算手段によって得られる眼領域の重心位置、眼の端点位置、鼻領域の重心位置、左右鼻腔の重心位置、左右それぞれの鼻腔位置の少なくとも１つを用いて両目間水平方向距離、眼・鼻間水平及び垂直方向距離と、前記第２の特徴量計算手段によって得られる眼領域の重心位置、眼の端点位置、鼻領域の重心位置、左右鼻腔の重心位置、左右鼻腔位置の少なくとも１つを用いて得られる両目間水平方向距離、眼・鼻間水平及び垂直方向距離を算出し、
   前記第１，２の特徴量計算手段によって得られる両目間水平及び垂直方向距離比、眼・鼻間水平及び垂直方向距離の比の少なくとも１つを用いることによって、前記変化量計算手段によって算出された前記予め設定された部位群の夫々の特徴量の変化量の正規化を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記変化量計算手段は、前記第１の特徴量計算手段から得られる左眼・右眼端点間距離比と、前記第２の特徴量計算手段から得られる左眼・右眼端点間距離比との比を用いて前記予め設定された部位群の夫々の特徴量の変化量の正規化を行うことを特徴とする請求項２記載の画像処理装置。
5. 前記第１の判断手段は更に、前記得点計算手段が前記予め設定された部位群の夫々について計算した得点の総和を求め、当該求めた総和の値が予め設定された値以上であるか否かに応じて、前記入力手段が入力した画像が表情場面であるか否かを判断し、
   当該判断結果を更に参照して、前記入力手段が入力した画像中の顔の表情を判断することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第１，２の特徴量計算手段は、前記予め設定された部位群の夫々について画像上のエッジを求め、更に、求めた夫々の前記予め設定された部位のエッジにおける端点を求め、
   前記変化量計算手段は、前記予め設定された部位群の夫々について、エッジの長さの変化量、端点間の距離の変化量、２つの端点による線分の傾きの変化量のうち１つ以上を用いて特徴量の変化量を求めることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置が有する入力手段が、顔を含む連続するフレームの画像を入力する入力工程と、
   前記画像処理装置が有する第１の特徴量計算手段が、前記連続するフレームの各フレームの画像中の顔における予め設定された部位群の夫々について特徴量を求める第１の特徴量計算工程と、
   前記画像処理装置が有する第２の特徴量計算手段が、予め設定された表情の顔を含む画像における当該顔の前記予め設定された部位群の夫々について特徴量を求める第２の特徴量計算工程と、
   前記画像処理装置が有する変化量計算手段が、前記第１の特徴量計算工程で求めた特徴量と、前記第２の特徴量計算工程で求めた特徴量との差分または比に基づいて、前記予め設定された部位群の夫々の特徴量の変化量を求める変化量計算工程と、
   前記画像処理装置が有する得点計算手段が、前記予め設定された部位群の夫々について前記変化量計算工程で求めた変化量に基づいて、前記予め設定された部位群の夫々について得点を計算する得点計算工程と、
   前記画像処理装置が有する第１の判断手段が、前記得点計算工程で前記予め設定された部位群の夫々について計算した得点の分布と、各表情毎に計算した、前記予め設定された部位群の夫々に対する得点の分布と、を比較することで、前記入力工程で入力した画像中の顔の表情を判断する第１の判断工程と、
   前記画像処理装置が有する第２の判断手段が、連続したｐフレームの夫々の画像中の顔の表情が第１の表情であると前記第１の判断工程で判断してから、当該判断後、連続したｑフレームの夫々の画像中の顔の表情が前記第１の表情とは異なる第２の表情であると前記第１の判断工程で判断するまでの各フレームの画像中の顔の表情を、第１の表情として判断する第２の判断工程と
   を備えることを特徴とする画像処理方法。
8. 請求項１に記載の画像処理装置と、
   前記入力手段に入力される前記連続するフレームの画像を撮像する撮像手段と、
   前記第１の判断手段で所定の表情であると判定された顔を含む画像を記憶する記憶手段と
   を備えることを特徴とする撮像装置。
9. 更に、前記第１の判断手段で判定された画像を表示する画像表示手段を備えることを特徴とする請求項８に記載の撮像装置。
10. コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させる為のコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images