JP3920747B2

JP3920747B2 - Image processing device

Info

Publication number: JP3920747B2
Application number: JP2002259311A
Authority: JP
Inventors: 茂向田; みゆき蒲池; 敬介木下; 國宏千原
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2002-09-04
Filing date: 2002-09-04
Publication date: 2007-05-30
Anticipated expiration: 2022-09-04
Also published as: JP2004102359A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の所定の属性の特徴を抽出する画像処理装置に関する。
【０００２】
【従来の技術】
コミュニケーションにおいて、顔は重要な役割を果たしている。特に、顔からは、年齢、人種、性別、表情等の様々な情報を得ることができる。経験的には、相手の年齢から言葉遣いや態度を決めることもしばしばあり、年齢はコミュニケーションのための重要な要素の一つと言える。
【０００３】
顔の年齢変化を操作する顔画像合成手法には、顔の経年変化の骨格モデルから形状変化の特徴的な部分を変形パラメータとして用いることにより顔画像を合成する方法や、複数の顔画像を元に生成した異なる世代の平均顔の差分情報を用いて顔画像を合成する方法等が提案されている（例えば、非特許文献１、非特許文献２参照）。骨格モデルから変形パラメータを用いる方法では、人為的に設定した限られた変形パラメータのみを用いているため、経年変化に影響する特徴を的確に操作できているとは言いきれない。一方、異なる世代の平均顔の差分情報を用いる方法では、各世代の平均顔を作成する際に、十分な数のオリジナル顔画像を用いる必要がある。オリジナル顔画像の数が十分でないと、抽出した差分情報には年齢要素だけではなく、オリジナル顔画像のもつ個人特徴の要素の差が含まれてしまいかねない。
【０００４】
【非特許文献１】
中川雅通，宋續敏彦，角義恭，前原文雄，千原國宏，“骨格モデルを用いた顔画像の年齢変化シミュレーション，”信学論（Ａ），Vol.J80-A，No.8，pp.1312-1315，Aug. 1997.
【非特許文献２】
D.A.Rowland, D.I.Perrett, “Manipulating Facial Appearance through Shape and Color, ” IEEE Computer Graphics and Applications, Vol.15, No.5, pp.70-76, Sep.1995.
【０００５】
【発明が解決しようとする課題】
近年、主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ：ＰＣＡ）を用いた年齢特徴抽出が試みられている。ＰＣＡは、複数の変量（変数）により構成される多次元空間（特徴ベクトル）を、できる限り少ない次元数の特徴ベクトルとして表現しようとする多変量解析手法である。
【０００６】
ＰＣＡを用いた顔画像合成も行われているが、従来手法の特徴抽出では、年齢や表情に関する主成分を指示および抽出することは難しい。年齢の異なる複数の顔画像をデータとして投入し分析する場合、ＰＣＡの性質から上位の主成分には年齢変化に関与する成分を含んだ結果が得られることは十分に考えられる。しかし、得られた結果から、年齢変化に強く関与する主成分を取得するには、主成分ごとにデータを復元し、もっともらしい主成分を主観で選択するという方法が取られてきた。したがって、主成分を選択する人により得られる結果が異なることになる。
【０００７】
本発明の目的は、画像の所定の属性の特徴を主観によらずに抽出することができる画像処理装置に関する。
【０００８】
【課題を解決するための手段および発明の効果】
本発明に係る画像処理装置は、複数の画像を記憶する画像記憶手段と、画像記憶手段に記憶された各画像の複数の形態的特徴を抽出する特徴抽出手段と、形態的特徴とは異なる各画像の属性を取得する属性取得手段と、特徴抽出手段により抽出された各画像の複数の形態的特徴および属性取得手段により取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルを構成する形態特徴ベクトル構成手段と、形態特徴ベクトル構成手段により構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分を算出する主成分分析手段と、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲を決定する変化範囲決定手段と、変化範囲決定手段により決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルを再構成する属性特徴ベクトル再構成手段とを備えたものである。
【０００９】
本発明に係る画像処理装置においては、複数の画像が画像記憶手段により記憶され、記憶された各画像の複数の形態的特徴が特徴抽出手段により抽出される。また、形態的特徴とは異なる各画像の属性が属性取得手段により取得される。抽出された各画像の複数の形態的特徴および取得された各画像の属性を変量とする各画像ごとの形態特徴ベクトルが形態特徴ベクトル構成手段により構成される。構成された複数の画像の形態特徴ベクトルから主成分分析により第１主成分が主成分分析手段により算出される。
【００１０】
このようにして得られた第１主成分は、形態特徴ベクトルに変量として加えられた属性と密接に関与している。したがって、第１主成分に基づいて画像の所定の特徴を主観によらずに確実に抽出することができる。
また、主成分分析手段により算出された第１主成分の固有値を用いて第１主成分の変化範囲が変化範囲決定手段により決定される。また、決定された第１主成分の変化範囲での複数の形態的特徴の変化量を変量として用いて属性の特徴を示す属性特徴ベクトルが属性特徴ベクトル再構成手段により再構成される。
このようにして得られた属性特徴ベクトルの各変量は、属性の変化による各形態的特徴の変化量を示している。したがって、画像の属性の特徴を各形態的特徴の変化量として抽出することができる。
【００１４】
第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置の構成において、属性特徴ベクトル再構成手段により得られた属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成する画像合成手段をさらに備えたことを特徴とする。
【００１５】
この場合、属性特徴ベクトルの各変量が画像の属性の変化による各形態的特徴の変化量を示しているので、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１６】
第３の発明に係る画像処理装置は、第２の発明に係る画像処理装置の構成において、画像合成手段は、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルを構成し、その形態特徴ベクトルの各変量を属性特徴ベクトルの対応する変量に基づいて修正し、修正された変量を有する形態特徴ベクトルから他の画像を合成することを特徴とする。
【００１７】
この場合、特定の画像の複数の形態的特徴を変量とする形態特徴ベクトルが構成され、その形態特徴ベクトルの各変量が属性特徴ベクトルの対応する変量に基づいて修正され、修正された変量を有する形態特徴ベクトルから他の画像が合成される。このようにして、属性特徴ベクトルを用いて特定の画像から属性が異なる他の画像を合成することができる。
【００１８】
第４の発明に係る画像処理装置は、第１〜第３のいずれかの発明に係る画像処理装置の構成において、複数の画像は、複数の顔画像であり、属性は、見かけの年齢、実年齢、性別、人種、表情または体形であることを特徴とする。
【００１９】
属性が見かけの年齢の場合、形態特徴ベクトルに見かけの年齢を変量として加えることにより、主成分分析により得られた第１主成分は見かけの年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の見かけの年齢の特徴を主観によらずに確実に抽出することができる。属性が実年齢の場合、形態特徴ベクトルに実年齢を変量として加えることにより、主成分分析により得られた第１主成分は実年齢と密接に関与している。したがって、第１主成分に基づいて顔画像の実年齢の特徴を主観によらずに確実に抽出することができる。属性が性別の場合、形態特徴ベクトルに性別を変量として加えることにより、主成分分析により得られた第１主成分は性別と密接に関与している。したがって、第１主成分に基づいて顔画像の性別の特徴を主観によらずに確実に抽出することができる。属性が人種の場合、形態特徴ベクトルに人種を変量として加えることにより、主成分分析により得られた第１主成分は人種と密接に関与している。したがって、第１主成分に基づいて顔画像の人種の特徴を主観によらずに確実に抽出することができる。属性が表情の場合、形態特徴ベクトルに表情を変量として加えることにより、主成分分析により得られた第１主成分は表情と密接に関与している。したがって、第１主成分に基づいて顔画像の表情の特徴を主観によらずに確実に抽出することができる。属性が体形の場合、形態特徴ベクトルに体形を変量として加えることにより、主成分分析により得られた第１主成分は体形と密接に関与している。したがって、第１主成分に基づいて顔画像の体形の特徴を主観によらずに確実に抽出することができる。
【００２０】
第５の発明に係る画像処理装置は、第１〜第４のいずれかの発明に係る画像処理装置の構成において、複数の形態的特徴は、予め定められた複数の特徴点の座標値を含むことを特徴とする。
【００２１】
この場合、複数の形態的特徴が複数の特徴点の座標値により表される。したがって、第１主成分により画像の形状における属性の特徴を主観によらずに確実に抽出することができる。
【００２８】
【発明の実施の形態】
以下、本発明の一実施の形態における画像処理方法の概念を説明する。ここでは、画像が個人の顔画像であり、複数の形態的特徴が目、口等の顔パーツ（顔部品）の形状特徴を構成するＬ個の特徴点（ｘ，ｙ）の２次元座標であり、属性が年齢である場合を説明する。ここで、Ｌは、２以上の整数であり、ｘは顔画像におけるｘ座標、ｙは顔画像におけるｙ座標である。
【００２９】
本実施の形態では、まず、個人の顔画像を表す特徴ベクトル（形状特徴ベクトル）として、Ｌ個の特徴点（ｘ，ｙ）の２次元座標だけでなく、画像には直接関係はないが、年齢特徴に強く影響を与える既知の属性値（年齢属性値）に重みを加えたものを変量ａとして加え、以下に示すように、主成分分析（ＰＣＡ）による次元圧縮を行う。
【００３０】
具体的には以下の手順で行う。個人の顔画像の形状特徴ベクトルは、次式のように、２Ｌ＋１次元のベクトルＦ_i（ｉ＝１，２，・・・，Ｍ）として表す。ＭはＰＣＡに用いる個人の顔画像の数である。
【００３１】
Ｆ_i＝［ｘ₁，ｙ₁，ｘ₂，ｙ₂，ｘ₃，ｙ₃，…，ｘ_L，ｙ_L，ａ］^T …（１）
上式（１）において、Ｔは転置を示す。すべての顔画像の形状特徴ベクトルの平均値が形状特徴ベクトル空間の中心に配置されるように各要素（変量）から平均Ｆ_AVを引く。
【００３２】
ΔＦ_i＝Ｆ_i−Ｆ_AV …（２）
次に、上式（２）を用いて新たに顔特徴空間Ｇを次式（３）により定義する。
【００３３】
Ｇ＝［ΔＦ₁，ΔＦ₂…，ΔＦ_M］ …（３）
そして、次式（４）により顔特徴空間Ｇの共分散行列Ｓを求める。
【００３４】
Ｓ＝ＧＧ^T …（４）
上式（４）より求められた共分散行列Ｓに対して次式（５）により特異値分解を行うことにより、各固有ベクトルを顔特徴空間Ｇの主成分として求めることができる。
【００３５】
Ｓ＝ＵＤＵ^T …（５）
Ｕはユニタリ行列であり、各列が固有ベクトルとなる。すなわち、ユニタリ行列Ｕの第１列には第１番目〜第Ｍ番目の顔画像における第１主成分の主成分得点が順に並び、第２列には第１番目〜第Ｍ番目の顔画像における第２主成分の主成分得点が順に並び、第３列には第１番目〜第Ｍ番目の顔画像における第３主成分の主成分得点が順に並ぶ。同様に、ユニタリ行列Ｕの第Ｍ列には第１番目〜第Ｍ番目の顔画像における第（２Ｌ＋１）主成分の主成分得点が並ぶ。Ｄは対角行列であり、対角成分が各主成分の固有値である。すなわち、対角行列Ｄの対角成分は、第１主成分〜第（２Ｌ＋１）主成分の固有値λ₁〜λ_2L+1である。
【００３６】
ここで得られた第１主成分は、後述するように、属性値として加えた成分（年齢）の影響を強く受けており、第１主成分の主成分得点の値は、年齢属性値を強く反映したものになる。
【００３７】
ここで、第１主成分の標準偏差をσ₁とし、その３倍を形状特徴の変化範囲とする。主成分の固有値は主成分の分散であることから、第１主成分の標準偏差σ₁は、第１主成分の固有値λ₁より次式（６）のようになる。
【００３８】
σ₁ ²＝λ₁ …（６）
第１主成分の標準偏差σ₁の３倍の範囲、すなわち−（３／２）σ₁から＋（３／２）σ₁の範囲を顔形状（形状特徴）の変化範囲とする。この変化範囲にすべての顔画像のうち９０％以上が属する。＋（３／２）σ₁を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_maxとする。また、−（３／２）σ₁を第１主成分の主成分得点とし、他の主成分の主成分得点を０とする主成分特徴ベクトルをＰ_minとする。主成分特徴ベクトルＰ_maxはＭ個の顔画像より求められる平均顔画像において最年長（または最年少）の顔画像に対応し、主成分特徴ベクトルＰ_minはＭ個の顔画像により求められる平均顔画像において最年少（または最年長）の顔画像に対応する。
【００３９】
Ｐ_max＝［＋（３／２）σ₁，０，０，…，０］^T …（７）
Ｐ_min＝［−（３／２）σ₁，０，０，…，０］^T …（８）
上式（７），（８）の主成分特徴ベクトルＰ_max，Ｐ_minより顔形状ベクトルＦ_max，Ｆ_minを再構成する。顔形状ベクトルＦ_maxは最年長（または最年少）の平均顔画像を表し、顔形状ベクトルＦ_minは最年少（または最年長）の平均顔画像を表す。そして、次式のように、顔形状ベクトルＦ_maxと顔形状ベクトルＦ_minとの差を年齢特徴を表す特徴ベクトル（年齢特徴ベクトル）Ｆとして抽出する。
【００４０】
Ｆ＝Ｆ_max−Ｆ_min …（９）
ただし、年齢特徴ベクトルＦには属性値は必要ないため、年齢特徴ベクトルＦは年齢属性値を削除した２Ｌ次元のベクトルとする。
【００４１】
Ｆ＝［ｘ₁，ｙ₁，ｘ₂，ｙ₂，…，ｘ_2L，ｙ_2L］^T …（１０）
上式（１０）の年齢特徴ベクトルＦは、最年長の平均顔画像と最年少の平均顔画像との間での各特徴点の移動量を表している。例えば、変量ｘ₁は１番目の特徴点のｘ座標の移動量を表し、変量ｙ₁は１番目の特徴点のｙ座標の移動量を表す。
【００４２】
上式（１０）の年齢特徴ベクトルＦを用いて次のようにして特定の個人のオリジナル顔画像からその個人の異なる年齢の顔画像を合成することができる。
【００４３】
まず、特定の個人のオリジナル顔画像の形状特徴ベクトルＦ^Iを次式のように構成する。
【００４４】
Ｆ^I＝［ｘ₁，ｙ₁，ｘ₂，ｙ₂，…，ｘ_2L，ｙ_2L］^T …（１１）
上式（１１）の変量ｘ₁，ｙ₁，ｘ₂，ｙ₂，…，ｘ_2L，ｙ_2Lはオリジナル顔画像のＬ個の特徴点のｘ座標およびｙ座標である。
【００４５】
次に、上式（１０）の年齢特徴ベクトルＦの各変量ｘ₁，ｙ₁，ｘ₂，ｙ₂，…，ｘ_2L，ｙ_2Lに合成割合ｂを乗算し、次式の修正ベクトルＦ’を算出する。
【００４６】
Ｆ’＝［ｂｘ₁，ｂｙ₁，ｂｘ₂，ｂｙ₂，…，ｂｘ_2L，ｂｙ_2L］^T …（１２）
上式（１１）のオリジナル顔画像の形状特徴ベクトルＦ^Iに上式（１２）の修正ベクトルＦ’を次式のように加算または減算し、年齢特徴をマッピングした形状特徴ベクトルＦ^Sを作成する。
【００４７】
Ｆ^S＝Ｆ^I±Ｆ’ …（１３）
上式（１３）の形状特徴ベクトルＦ^Sから顔画像を再構成することによりオリジナル顔画像に対して年齢が異なる顔画像を合成することができる。この場合、上式（１２）における合成割合ｂの値を任意に設定することにより、任意の年齢の顔画像を合成することが可能となる。
【００４８】
次に、図１を用いて本実施の形態の画像処理方法を実行するための画像処理装置の構成を説明する。図１は本実施の形態の画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【００４９】
画像処理装置５０は、ＣＰＵ（中央演算処理装置）５０１、ＲＯＭ（リードオンリメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、入力装置５０４、表示装置５０５、外部記憶装置５０６、記録媒体駆動装置５０７および印刷装置５０８を含む。
【００５０】
入力装置５０４は、キーボード、マウス、スキャナ、デジタルカメラ等からなり、各種指令、データおよび画像を入力するために用いられる。ＲＯＭ５０２にはシステムプログラムが記憶される。記録媒体駆動装置５０７は、ＣＤ−ＲＯＭドライブ、フロッピィディスクドライブ等からなり、ＣＤ−ＲＯＭ、フロッピィディスク等の記録媒体５０９に対してデータの読み書きを行う。記録媒体５０９には、画像処理プログラムが記憶されている。外部記憶装置５０６は、ハードディスク装置等からなり、記録媒体駆動装置５０７を介して記録媒体５０９から読み込まれた画像処理プログラムおよび各種データを記憶する。ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像処理プログラムをＲＡＭ５０３上で実行する。
【００５１】
表示装置５０５は、液晶表示パネル、ＣＲＴ（陰極線管）等からなり、各種画像等を表示する。印刷装置５０８は、各種画像等を印刷する。
【００５２】
なお、画像処理プログラムを記録する記録媒体５０９として、ＲＯＭ等の半導体メモリ、ハードディスク等の種々の記録媒体を用いることができる。また、画像処理プログラムを通信回線等の通信媒体を介して外部記憶装置５０６にダウンロードし、ＲＡＭ５０３上で実行してもよい。
【００５３】
本実施の形態では、外部記憶装置５０６が画像記憶手段に相当し、ＣＰＵ５０１が特徴抽出手段、属性取得手段、形態特徴ベクトル構成手段、主成分分析手段、変化範囲決定手段、属性特徴ベクトル再構成手段および画像合成手段に相当する。
【００５４】
図２は図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。ここでは、ある年齢の個人のオリジナル顔画像からその個人の他の年齢の顔画像を合成する方法の例を示す。
【００５５】
まず、ＣＰＵ５０１は、入力装置５０４により入力された複数の個人の顔画像を画像データとして外部記憶装置５０６に記憶する（ステップＳ１）。この場合、予めデータベースに記憶された複数の個人の顔画像の画像データを用いてもよい。
【００５６】
次に、ＣＰＵ５０１は、外部記憶装置５０６に記憶された画像データに基づいて各顔画像の複数の特徴点の座標値を抽出する（ステップＳ２）。本実施の形態では、各特徴点のｘ座標およびｙ座標を抽出する。
【００５７】
次に、ＣＰＵ５０１は、各顔画像の年齢属性値を取得する（ステップＳ３）。年齢属性値は、各顔画像ごとに入力装置５０４により入力してもよく、あるいは各顔画像ごとに予めデータベースに記憶された年齢属性値を用いてもよい。本実施の形態では、後述する年齢知覚実験により得られた見かけの年齢を年齢属性値として用いる。
【００５８】
さらに、ＣＰＵ５０１は、各顔画像ごとに抽出された複数の特徴点の座標値および年齢属性値を用いて各顔画像の形状特徴ベクトルＦ_i（式（１）参照）を構成する（ステップＳ４）。
【００５９】
次いで、ＣＰＵ５０１は、複数の顔画像の形状特徴ベクトルＦ_iから式（２）〜（６）に従って主成分分析により第１主成分の固有値σ₁を算出する（ステップＳ５）。また、ＣＰＵ５０１は、第１主成分の固有値σ₁を用いて式（７）の第１主成分の主成分特徴ベクトルＰ_max，Ｐ_minを構成する（ステップＳ６）。
【００６０】
次に、ＣＰＵ５０１は、第１主成分の固有値σ₁を用いて式（７）の第１主成分の顔形状ベクトルＦ_max，Ｆ_minを再構成し（ステップＳ７）、式（８）の年齢特徴を表す年齢特徴ベクトルＦを抽出する（ステップＳ８）。
【００６１】
次いで、ＣＰＵ５０１は、年齢特徴ベクトルＦを用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成する（ステップＳ９）。
【００６２】
このようにして、画像処理プログラムを画像処理装置において実行することにより複数の個人の顔画像を用いて年齢特徴に密接に関連する顔形状の特徴を年齢特徴ベクトルＦとして抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から所望の年齢の顔画像を合成することができる。
【００６３】
上記のように、本実施の形態の画像処理装置、画像処理方法および画像処理プログラムにより未知の顔画像を合成することができるので、それらを犯罪捜査等に利用することができる。
【００６４】
なお、上記実施の形態では、画像の形態的特徴として顔形状の特徴を表す複数の特徴点の座標値を用いているが、画像の形態的特徴として肌の色合い、しみ、しわ等のテクスチャ（肌合い）を用いることもできる。また、年齢の知覚は、顔内部の形状だけではなく、髪型等を考慮してもよい。
【００６５】
さらに、上記実施の形態では、属性として見かけの年齢を用いているが、属性として見かけの年齢の代わりに実年齢を用いてもよい。また、属性として表情、人種、性別、体形等の他の属性を用いてもよい。
【００６６】
属性が実年齢の場合、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて実年齢の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から実年齢の異なる顔画像を合成することができる。
【００６７】
属性が表情の場合、喜怒哀楽等の表情をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて表情の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から表情の異なる顔画像を合成することができる。
【００６８】
属性が人種の場合、異なる複数の人種をそれぞれ異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて人種の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から人種の異なる顔画像を合成することができる。
【００６９】
属性が性別の場合、男女の性別を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて性別の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から性別の異なる顔画像を合成することができる。
【００７０】
属性が体形の場合、異なる体形を異なる値で表し、上記実施の形態の画像処理方法を適用することにより、複数の個人の顔画像を用いて体形の特徴に密接に関連する顔形状の特徴を抽出することができ、さらに抽出した顔形状の特徴を用いて特定の個人のオリジナル顔画像から体形の異なる顔画像を合成することができる。
【００７１】
また、上記実施の形態では、画像が個人の顔画像である場合を説明したが、これに限定されない。例えば、画像が動物の画像であってもよい。
【００７２】
【実施例】
１．予備実験
個人の顔の経年変化に関わる形状特徴について考える場合、ＰＣＡの変量に与える属性値として、実年齢を利用すればよい。しかし、顔の経年変化では、形状とともに、しみやしわ、肌のきめ等も変化することは経験的にも明らかである。本実施例では、経年変化により変化する顔の形状特徴ではなく、みかけの年齢、つまり若く見える顔や、老けて見える顔の形状の特徴について検討した。そして、見かけの年齢の属性値として、実年齢を与えたのでは不十分であるため、見かけの年齢の属性値を求めるために年齢知覚実験（年齢評定実験）を行った。
【００７３】
１−１．手続
年齢知覚実験における実験刺激には、ＡＴＲ（株式会社国際電気通信基礎技術研究所）の表情顔画像データベースから、日本人男女各１４２名の無表情、正面向き、実年齢が１０代後半から３０代後半の顔画像を用いた。また、顔画像は５１２×５１２ピクセルのカラー画像であり、顔が枠内に十分入る大きさであった。被験者は大学生（１８才〜２２才）の男性２５名および女性２２名であった。
【００７４】
実験は、次の手順で行われた。被験者は、モニタに表示される顔画像の年齢を推定し、表１に示す年齢評定カテゴリの中で最も適するカテゴリを選択するよう求められた。
【００７５】
【表１】

【００７６】
表１に示すように、年齢を８つのカテゴリに分類し、それらのカテゴリに年齢の若い順に０〜７の評定値を与えた。
【００７７】
１−２．結果
顔画像ごとに評定値の平均および標準偏差を求めた。図４は顔画像ごとの評定置の平均を降順に並び替えてプロットした図である。図４の横軸は、１４２名の顔画像を示し、縦軸は、各顔画像の評定値の平均を示す。三角印および丸印はそれぞれ男性および女性の顔画像の評定値の平均を表す。
【００７８】
個々の顔画像より得られた標準偏差から顔画像の性別ごとに平均を求めた。標準偏差の平均は、男性の顔画像では０．８５、女性の顔画像では０．８９であった。つまり、男女の顔とも±５才程度の誤差で年齢が推定されたことになる。
【００７９】
なお、男女で顔画像は異なり、顔画像間に関連もないため、顔画像間の比較には意味がない。
【００８０】
２．年齢特徴抽出実験
次に、上記の年齢知覚実験により得られた見かけの年齢属性値を用いて顔年齢特徴抽出実験を行った。顔情報に見かけの年齢属性値を付加する場合（以下、属性値付加条件と呼ぶ）と、顔情報に見かけの年齢属性値を付加しない場合（以下、属性値なし条件と呼ぶ）とで、抽出される形状特徴の比較を行った。
【００８１】
２−１．手続き
顔画像の形状特徴には、ＡＴＲの顔画像合成システム（ＦＵＴＯＮ）（蒲池みゆき，向田茂，吉川左紀子，加藤隆，尾田正臣，赤松茂，“顔・表情認知に関する心理実験のための顔画像合成システム−ＦＵＴＯＮＳｙｓｔｅｍ−，”信学技法，ＨＩＰ９７−３９，ｐｐ．７３−８０，Ｊａｎ．１９９８および向田茂，蒲池みゆき，赤松茂，“顔画像合成システム（ＦＵＴＯＮｓｙｓｔｅｍ）におけるマニュアルサンプリングの評価，”信学技法，ＨＩＰ９９−４９，ｐｐ．１３−１８，Ｎｏｖ．１９９９参照）のデフォルト特徴点８３点の座標値を用いた。図５は顔特徴ベクトルの変量として用いた特徴点を示す図である。図５において、８３点の特徴点を黒丸で示し、各特徴点を識別するために符号を付している。
【００８２】
顔画像としては、予備実験で用いた男女の各１４２枚の顔画像を用いた。ただし、顔幅（特徴点Ｆｒ３，Ｆｌ３間の長さ）が２３０ピクセルになるように、また両目の瞳を結ぶ直線が水平になるように正規化した。
【００８３】
男女の顔画像ごとに、属性値なし条件および属性値付加条件のそれぞれにおいてＰＣＡによる次元圧縮を行った。
・属性値なし条件
従来手法の属性値なし条件では、顔情報（形状特徴ベクトルの変量）として、８３点の特徴点の座標値のみを用いた。１枚の顔画像を１６６次元の形状特徴ベクトルＦ_Nとして表した。
【００８４】
Ｆ_N＝（ｘ₁，ｙ₁，ｘ₂，ｙ₂，ｘ₃，ｙ₃，…，ｘ₈₃，ｙ₈₃）^T
・属性値付加条件
属性値付加条件では、顔情報として（形状特徴ベクトルの変量）、８３点の特徴点の座標値に加え，予備実験で得られた各顔画像の評定値の平均値を１００倍した値を、見かけの年齢属性値ａとして用いた。そして、１枚の顔画像を１６７次元の形状特徴ベクトルＦ_Aとして表した。
【００８５】
Ｆ_A＝（ｘ₁，ｙ₁，ｘ₂，ｙ₂，ｘ₃，ｙ₃，…，ｘ₈₃，ｙ₈₃，ａ）^T
得られた主成分ごとの固有値から、その主成分の変化量を決定し、主成分ごとに形状特徴ベクトルを再構成後、視覚的にその差を比較した。
【００８６】
２−３．結果
男女それぞれの顔画像について、属性値なし条件および属性値付加条件から得られた各主成分における主成分得点を分析した。もし、主成分が年齢変化に強く関与しているのであれば、顔画像を年齢順に並べたとき、主成分上の各顔画像の主成分得点は昇順あるいは降順に並んでいるはずである。そこで、男女の顔画像での各条件で得られた主成分のうち第１主成分から第３主成分までの主成分得点をプロットした。
【００８７】
図６（ａ）は男性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図、図６（ｂ）は女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。また、図７（ａ）は男性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図、図７（ｂ）は女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。図６および図７の横軸は見かけの年齢（評定値）の高い順に並べた顔画像を示し、縦軸は主成分得点（PC score）を示す。四角印は第１主成分の主成分得点を示し、丸印は第２主成分の主成分得点を示し、三角印は第３主成分の主成分得点を示す。
【００８８】
図６（ａ），（ｂ）に示すように、属性値なし条件では、男性の顔画像および女性の顔画像とも、年齢順に並べられた顔画像の主成分得点がほぼ昇順あるいは降順に並ぶ主成分を見つけることができなかった。
【００８９】
図７（ａ），（ｂ）に示すように、属性値付加条件では、男性の顔画像および女性の顔画像とも、第１主成分の主成分得点がほぼ順に並んだ形で示された。
【００９０】
これらの結果から、属性値付加条件で得られた第１主成分が顔画像の見かけの年齢に影響を与える特徴と密接に関係していることがわかった。
【００９１】
次に、各主成分がどのような形状変化に関わっているのかを視覚的に確認するために、確認する主成分の固有値から得られた変化範囲を用いて、それぞれ顔パーツの特徴点の座標を再構成した。以下に示すように、属性値付加条件での主成分の顔形状への影響を調べた。
【００９２】
図８、図９、図１０および図１１は男性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。また、図１２、図１３、図１４および図１５は女性の顔画像において属性値付加条件で得られた第１主成分、第２主成分、第３主成分および第４主成分をそれぞれ用いて再構成した顔形状を示す図である。図８〜図１１において、（ａ）および（ｂ）は見かけの年齢が両極端の顔形状を示している。
【００９３】
再構成した顔画像から各主成分の２枚の顔形状を比較した。各主成分が形状的な特徴の変化とどのように関係しているかを、主観的な印象として挙げると次のようになる。男性の顔画像について属性値付加条件で得られた第１主成分では、眉の内側が上下に変化、外側は内側とは逆向きに上下に変化する。鼻と口は上下に変化し、口の幅は若干狭まったり、広がったり、そしてあごがやや大きくなったり、小さくなったりする。第２主成分では、額が拡大縮小し、眉の外側が水平方向へ変化し（眉の大きさが変わる）、両目の間隔もやや広くなったり、狭くなったりし、そして、鼻、口およびあごが大きく上下に変化する。第３主成分では、眉の内側が上下に変化し、外側は若干水平方向に変化する。鼻と口は大きく上下に変化し、あごは四角くややえらの張ったような形や、少し小さく、とがった形に変化する。第４主成分では、額の大きさが急激に変化し、眉の内側が大きく上下に変化する。そして、鼻および口の左側が若干水平方向に変化し、あごの左側がごくわずか変化する。
【００９４】
一方、属性値なし条件では、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９５】
女性の顔画像について属性値付加条件で得られた第１主成分では、口が上下に変化し、幅が広くなったり狭くなったりする。そして、あごがやや大きくなったり、小さくなったりする。第２主成分では、男性の顔画像について属性値付加条件で得られた第２主成分とほぼ同様であった。第３主成分では、額が拡大縮小し、眉の内側は若干上下に変化し、そして鼻と口は若干左側で水平方向に変化し、あごはややえらの張ったような形や、少し小さく、とがった形になる。第４主成分では、顔輪郭、鼻、口が若干右側で変化する。そして、顔輪郭については横幅が変化する。
【００９６】
一方、属性値なし条件では、男性の顔画像と同様に、第１主成分は属性値付加条件の第２主成分とほぼ同じ変化を示し、第２主成分は属性値付加条件の第３主成分とほぼ同じ変化を示した。以降の主成分についても同様であった。
【００９７】
２−３．考察
各主成分における主成分得点の分布から見ると、属性値なし条件と、属性値付加条件の第２主成分以降では、顔画像を見かけの年齢順に並べたときに、主成分得点が全く昇順あるいは降順になっていなかったことから、これらの主成分は見かけの年齢に影響を与える特徴と密接に関係しているとは言えない。一方、属性値付加条件の第１主成分では、見かけの年齢順に顔画像を並べたとき、男女の顔画像とも、主成分得点はほぼ順に並んでいたこと、さらには年齢知覚実験（年齢評定実験）で得られたデータ（評定値）の分布と第１主成分のデータ（主成分得点）の分布はよく似た分布を示していることから、属性値付加条件で得られた第１主成分は、見かけの年齢に影響を与える形状特徴と密接に関係していると言える。
【００９８】
各主成分の主成分得点の値を変え、顔パーツの特徴点座標に再構成させた特徴点の座標の変化についても、属性値付加条件の第１主成分は、解剖学的な知見による青年期の加齢変化とほぼ合っているように見える。
【００９９】
本発明に係る画像処理方法では、顔の形状情報である特徴点の座標値だけでなく、直接顔画像の構成には関係のない見かけの年齢という属性値を加えてＰＣＡを行うことにより、第１主成分の主成分得点が定量的にも年齢変化との関係を示していること、第１主成分から再構成した顔形状において定性的にも妥当な変形を観察できたことから、見かけの年齢に密接に関係する形状特徴を得られることを示している。
【０１００】
３−１．個人の顔画像へのマッピング
年齢特徴抽出実験により得られた見かけの年齢特徴を個人の顔画像へマッピングした。
【０１０１】
図１６〜図１９は４人のオリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。各図において、３枚の顔画像のうち、中央がオリジナル顔画像、左側が若く見えるように合成した顔画像、右側が老けて見えるように合成した画像である。合成割合は、いずれも年齢特徴抽出実験の属性値付加条件の第１主成分の変化量の±５０％とした。
【０１０２】
合成の手順は次の通りである。個人のオリジナル顔画像から、ＦＵＴＯＮで用いる８３点の特徴点を取得し、オリジナル顔画像の形状特徴ベクトルＦ^Iを特徴点の座標値を用いて、１６６次元のベクトルＦ^Iとする。
Ｆ^I＝（ｘ₁，ｙ₁，ｘ₂，ｘ₃，…，ｘ₁₆₆，ｙ₁₆₆）^T …（１１）
オリジナル顔画像の形状特徴ベクトルＦ^Iと、見かけの年齢特徴ベクトルＦの各要素に合成割合０．５を乗じた修正ベクトルＦ’を加算あるいは減算し、年齢特徴をマッピングした顔形状ベクトルＦ^Sを作成した。
【０１０３】
Ｆ’＝（０．５ｘ₁，０．５ｙ₁，０．５ｘ₂，０．５ｙ₂…，０．５ｘ₈₃，０．５ｙ₈₃）^T …（１２）
Ｆ^S＝Ｆ^I±Ｆ’ …（１３）
そして、顔形状がＦ^IからＦ^Sへと変化する形状モーフィング（顔合成技術）をＦＵＴＯＮで行った。
【０１０４】
ここで、抽出した見かけの年齢特徴は形状のみであったため、顔形状のみの合成となった。合成結果は、「オリジナル顔画像の人物が若く見られるならばこんな感じ」、「老けて見られるならばこんな感じ」という印象の顔画像となった。
【０１０５】
以上のように、上記実施例では、顔画像の形状特徴ベクトルに画像とは直接関係のない見かけの年齢という属性値を変量として加え、ＰＣＡを行うことにより、見かけの年齢変化に密接に関与する形状特徴を抽出することが可能であることが示された。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像処理方法を実施するための画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図３】図１の画像処理装置において実行される画像処理プログラムの処理を示すフローチャートである。
【図４】顔画像ごとの評定置の平均を降順に並び替えてプロットした図である
【図５】形状特徴ベクトルの変量として用いた特徴点を示す図である。
【図６】男性および女性の顔画像において属性値なし条件で得られた上位主成分の主成分得点を示す図である。
【図７】男性および女性の顔画像において属性値付加条件で得られた上位主成分の主成分得点を示す図である。
【図８】男性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図９】男性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１０】男性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１１】男性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１２】女性の顔画像において属性付加条件で得られた第１主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１３】女性の顔画像において属性付加条件で得られた第２主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１４】女性の顔画像において属性付加条件で得られた第３主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１５】女性の顔画像において属性付加条件で得られた第４主成分をそれぞれ用いて再構成した顔形状を示す図である。
【図１６】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１７】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１８】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【図１９】オリジナルの顔画像に年齢形状特徴をマッピングすることにより年齢の異なる顔画像を合成した結果を示す図である。
【符号の説明】
５０画像処理装置
５０１ＣＰＵ
５０２ＲＯＭ
５０３ＲＡＭ
５０４入力装置
５０５表示装置
５０６外部記憶装置
５０７記録媒体駆動装置
５０８印刷装置
５０９記録媒体[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image processing device for extracting features of predetermined attributes of an image.In placeRelated.
[0002]
[Prior art]
Faces play an important role in communication. In particular, various information such as age, race, sex, and facial expression can be obtained from the face. Empirically, language and attitude are often determined from the age of the other party, and age is one of the important elements for communication.
[0003]
Face image synthesis methods for manipulating changes in the age of the face include a method of synthesizing face images by using a characteristic part of shape change from a skeleton model of aging of the face as a deformation parameter, and a method based on multiple face images. A method of synthesizing a face image using difference information of average faces of different generations generated in the past has been proposed (for example, see Non-Patent Document 1 and Non-Patent Document 2). In the method using the deformation parameter from the skeleton model, only the limited artificially set deformation parameter is used, so it cannot be said that the feature affecting the secular change can be accurately manipulated. On the other hand, in the method using the difference information of the average faces of different generations, it is necessary to use a sufficient number of original face images when creating the average faces of each generation. If the number of original face images is not sufficient, the extracted difference information may include not only an age element but also a difference of elements of personal characteristics of the original face image.
[0004]
[Non-Patent Document 1]
Masamichi Nakagawa, Toshihiko Tsuji, Yoshitsugu Tsuno, Fumio Maehara, Kunihiro Chihara, “Age-time Simulation of Face Images Using Skeletal Models,” Science Review (A), Vol. J80-A, No. 8, pp .1312-1315, Aug. 1997.
[Non-Patent Document 2]
D.A.Rowland, D.I.Perrett, “Manipulating Facial Appearance through Shape and Color,” IEEE Computer Graphics and Applications, Vol.15, No.5, pp.70-76, Sep.1995.
[0005]
[Problems to be solved by the invention]
In recent years, age feature extraction using principal component analysis (PCA) has been attempted. PCA is a multivariate analysis method that attempts to express a multidimensional space (feature vector) composed of a plurality of variables (variables) as a feature vector having as few dimensions as possible.
[0006]
Although face image synthesis using PCA is also performed, it is difficult to indicate and extract principal components related to age and facial expression in the conventional feature extraction. When a plurality of face images of different ages are input and analyzed as data, it is fully conceivable that a result including a component related to age change is obtained in the upper principal component from the nature of PCA. However, in order to obtain principal components that are strongly involved in age change from the obtained results, a method has been adopted in which data is restored for each principal component and a plausible principal component is selected subjectively. Therefore, the results obtained by the person who selects the main component are different.
[0007]
  An object of the present invention is to provide an image processing apparatus capable of extracting features of predetermined attributes of an image without subjectivity.In placeRelated.
[0008]
[Means for Solving the Problems and Effects of the Invention]
  BookAn image processing apparatus according to an invention includes an image storage unit that stores a plurality of images, a feature extraction unit that extracts a plurality of morphological features of each image stored in the image storage unit, and each image different from the morphological features Attribute acquisition means for acquiring the attributes of the image, and a plurality of morphological features of each image extracted by the feature extraction means and a morphological feature vector for each image with the attributes of each image acquired by the attribute acquisition means as variables Morphological feature vector constructing means, and principal component analyzing means for calculating a first principal component by principal component analysis from morphological feature vectors of a plurality of images constructed by the morphological feature vector constructing means,A change range determining means for determining a change range of the first principal component using the eigenvalue of the first principal component calculated by the principal component analyzing means; and a change range of the first principal component determined by the change range determining means. An attribute feature vector reconstructing means for reconstructing an attribute feature vector indicating an attribute feature by using a plurality of morphological feature changes as variables;It is equipped with.
[0009]
In the image processing apparatus according to the present invention, a plurality of images are stored by the image storage means, and a plurality of morphological features of each stored image are extracted by the feature extraction means. Further, the attribute acquisition unit acquires an attribute of each image different from the morphological feature. A plurality of morphological features of each extracted image and a morphological feature vector for each image with the attribute of each acquired image as a variable are constituted by a morphological feature vector constituting unit. The first principal component is calculated by the principal component analysis means by principal component analysis from the morphological feature vectors of the plurality of configured images.
[0010]
  The first principal component obtained in this way is closely related to the attribute added as a variable to the morphological feature vector. Therefore, it is possible to reliably extract the predetermined feature of the image based on the first principal component without depending on the subjectivity.
Further, the change range of the first principal component is determined by the change range determination means using the eigenvalue of the first principal component calculated by the principal component analysis means. In addition, an attribute feature vector indicating an attribute feature is reconstructed by the attribute feature vector reconstructing unit using the determined variation amounts of the plurality of morphological features in the variation range of the first principal component as variables.
Each variable of the attribute feature vector thus obtained indicates a change amount of each morphological feature due to a change of the attribute. Therefore, the feature of the attribute of the image can be extracted as the change amount of each morphological feature.
[0014]
  First2An image processing apparatus according to the invention is1In the configuration of the image processing apparatus according to the invention, the image processing device further includes an image synthesis unit that synthesizes another image having a different attribute from a specific image using the attribute feature vector obtained by the attribute feature vector reconstruction unit. And
[0015]
In this case, since each variable of the attribute feature vector indicates a change amount of each morphological feature due to a change in the attribute of the image, it is possible to synthesize another image having a different attribute from a specific image using the attribute feature vector. it can.
[0016]
  First3An image processing apparatus according to the invention is2In the configuration of the image processing apparatus according to the invention, the image composition means configures a morphological feature vector having a plurality of morphological features of a specific image as variables, and each variable of the morphological feature vector corresponds to an attribute feature vector. The correction is based on the variable, and another image is synthesized from the morphological feature vector having the corrected variable.
[0017]
In this case, a morphological feature vector having a plurality of morphological features of a specific image as variables is configured, and each variate of the morphological feature vector is modified based on a corresponding variable of the attribute feature vector, and has a modified variate. Another image is synthesized from the morphological feature vector. In this way, another image having a different attribute can be synthesized from a specific image using the attribute feature vector.
[0018]
  First4The image processing apparatus according to the invention includes3In the configuration of the image processing device according to any one of the above, the plurality of images are a plurality of face images, and the attribute is an apparent age, actual age, sex, race, facial expression, or body shape. To do.
[0019]
When the attribute is the apparent age, the first principal component obtained by the principal component analysis is closely related to the apparent age by adding the apparent age as a variable to the morphological feature vector. Therefore, the apparent age feature of the face image can be reliably extracted based on the first principal component without depending on the subjectivity. When the attribute is the real age, the first principal component obtained by the principal component analysis is closely related to the real age by adding the real age as a variable to the morphological feature vector. Therefore, the feature of the real age of the face image can be reliably extracted based on the first principal component without depending on the subjectivity. When the attribute is gender, the first principal component obtained by principal component analysis is closely related to gender by adding gender as a variable to the morphological feature vector. Therefore, the gender characteristics of the face image can be reliably extracted based on the first principal component without depending on the subjectivity. When the attribute is race, the first principal component obtained by principal component analysis is closely related to race by adding race as a variable to the morphological feature vector. Therefore, the racial feature of the face image can be reliably extracted based on the first principal component without depending on the subjectivity. When the attribute is a facial expression, the first principal component obtained by the principal component analysis is closely related to the facial expression by adding the facial expression as a variable to the morphological feature vector. Therefore, the facial expression feature of the face image can be reliably extracted based on the first principal component without depending on the subjectivity. When the attribute is a body shape, the first principal component obtained by the principal component analysis is closely related to the body shape by adding the body shape as a variable to the shape feature vector. Therefore, the feature of the body shape of the face image can be reliably extracted based on the first principal component without depending on the subjectivity.
[0020]
  First5The image processing apparatus according to the invention includes4In the configuration of the image processing apparatus according to any one of the above inventions, the plurality of morphological features include coordinate values of a plurality of predetermined feature points.
[0021]
In this case, a plurality of morphological features are represented by coordinate values of a plurality of feature points. Therefore, the feature of the attribute in the shape of the image can be reliably extracted by the first principal component without depending on the subjectivity.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
The concept of the image processing method in one embodiment of the present invention will be described below. Here, the image is an individual's face image, and a plurality of morphological features are two-dimensional coordinates of L feature points (x, y) constituting the shape features of face parts (face parts) such as eyes and mouths. There will be described a case where the attribute is age. Here, L is an integer of 2 or more, x is an x coordinate in the face image, and y is a y coordinate in the face image.
[0029]
In the present embodiment, first, as a feature vector (shape feature vector) representing an individual face image, not only the two-dimensional coordinates of L feature points (x, y) but also the image is not directly related. A weighted value of a known attribute value (age attribute value) that strongly influences the age characteristics is added as a variable a, and dimension compression by principal component analysis (PCA) is performed as shown below.
[0030]
Specifically, the following procedure is performed. The shape feature vector of an individual face image is a 2L + 1 dimensional vector F as_i(I = 1, 2,..., M). M is the number of personal face images used for PCA.
[0031]
F_i= [X₁, Y₁, X₂, Y₂, X_Three, Y_Three, ..., x_L, Y_L, A]^T  ... (1)
In the above formula (1), T represents transposition. An average F from each element (variable) so that the average value of the shape feature vectors of all face images is arranged at the center of the shape feature vector space._AVpull.
[0032]
ΔF_i= F_i-F_AV  ... (2)
Next, a new facial feature space G is defined by the following equation (3) using the above equation (2).
[0033]
G = [ΔF₁, ΔF₂..., ΔF_M] (3)
Then, the covariance matrix S of the face feature space G is obtained by the following equation (4).
[0034]
S = GG^T  (4)
By performing singular value decomposition on the covariance matrix S obtained from the above equation (4) by the following equation (5), each eigenvector can be obtained as the main component of the face feature space G.
[0035]
S = UDU^T  ... (5)
U is a unitary matrix, and each column is an eigenvector. That is, the principal component scores of the first principal component in the first to Mth face images are arranged in order in the first column of the unitary matrix U, and the first to Mth face images in the second column. The principal component scores of the second principal component are arranged in order, and the third component principal component scores in the first to Mth face images are arranged in order in the third column. Similarly, the principal component score of the (2L + 1) principal component in the first to Mth face images is arranged in the Mth column of the unitary matrix U. D is a diagonal matrix, and the diagonal component is the eigenvalue of each principal component. That is, the diagonal component of the diagonal matrix D is the eigenvalue λ of the first principal component to the (2L + 1) th principal component.₁~ Λ_{2L + 1}It is.
[0036]
The first principal component obtained here is strongly influenced by the component (age) added as the attribute value, as will be described later, and the value of the principal component score of the first principal component strongly increases the age attribute value. It will be reflected.
[0037]
Where the standard deviation of the first principal component is σ₁3 times that is defined as the change range of the shape feature. Since the eigenvalue of the principal component is the variance of the principal component, the standard deviation σ of the first principal component₁Is the eigenvalue λ of the first principal component₁The following equation (6) is obtained.
[0038]
σ₁ ²= Λ₁  ... (6)
Standard deviation σ of the first principal component₁3 times the range, that is,-(3/2) σ₁To + (3/2) σ₁This range is the change range of the face shape (shape feature). More than 90% of all face images belong to this change range. + (3/2) σ₁Is a principal component feature vector with P as the principal component score of the first principal component and 0 as the principal component score of the other principal components._maxAnd Also,-(3/2) σ₁Is a principal component feature vector with P as the principal component score of the first principal component and 0 as the principal component score of the other principal components._minAnd Principal component feature vector P_maxCorresponds to the oldest (or youngest) face image in the average face image obtained from the M face images, and the principal component feature vector P_minCorresponds to the youngest (or oldest) face image in the average face image obtained from the M face images.
[0039]
P_max= [+ (3/2) σ₁, 0,0, ..., 0]^T  ... (7)
P_min= [-(3/2) σ₁, 0,0, ..., 0]^T  ... (8)
Principal component feature vector P in equations (7) and (8)_max, P_minMore face shape vector F_max, F_minReconfigure. Face shape vector F_maxRepresents the oldest (or youngest) average face image, and the face shape vector F_minRepresents the youngest (or oldest) average face image. Then, the face shape vector F_maxAnd face shape vector F_minIs extracted as a feature vector (age feature vector) F representing an age feature.
[0040]
F = F_max-F_min  ... (9)
However, since an attribute value is not required for the age feature vector F, the age feature vector F is a 2L-dimensional vector from which the age attribute value is deleted.
[0041]
F = [x₁, Y₁, X₂, Y₂, ..., x_2L, Y_2L]^T  (10)
The age feature vector F in the above equation (10) represents the amount of movement of each feature point between the oldest average face image and the youngest average face image. For example, the variable x₁Represents the amount of movement of the x-coordinate of the first feature point and the variable y₁Represents the amount of movement of the y-coordinate of the first feature point.
[0042]
Using the age feature vector F of the above equation (10), a face image of a different age of the individual can be synthesized from the original face image of the specific individual as follows.
[0043]
First, the shape feature vector F of the original face image of a specific individual^IIs configured as follows.
[0044]
F^I= [X₁, Y₁, X₂, Y₂, ..., x_2L, Y_2L]^T  ... (11)
Variable x in the above equation (11)₁, Y₁, X₂, Y₂, ..., x_2L, Y_2LAre the x and y coordinates of the L feature points of the original face image.
[0045]
Next, each variable x of the age feature vector F of the above equation (10)₁, Y₁, X₂, Y₂, ..., x_2L, Y_2LIs multiplied by the synthesis ratio b to calculate a correction vector F ′ of the following equation.
[0046]
F ′ = [bx₁, By₁, Bx₂, By₂, ..., bx_2L, By_2L]^T  (12)
Shape feature vector F of the original face image of equation (11)^IA shape feature vector F obtained by adding or subtracting the correction vector F ′ of the above equation (12) to the following equation and mapping the age feature^SCreate
[0047]
F^S= F^I± F ′ (13)
Shape feature vector F of equation (13) above^SBy reconstructing a face image from the above, face images having different ages can be synthesized with respect to the original face image. In this case, it is possible to synthesize a face image of any age by arbitrarily setting the value of the composition ratio b in the above equation (12).
[0048]
Next, the configuration of the image processing apparatus for executing the image processing method of the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of an image processing apparatus for carrying out the image processing method of the present embodiment.
[0049]
The image processing apparatus 50 includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, an input device 504, a display device 505, an external storage device 506, a recording medium driving device 507, and the like. A printing device 508.
[0050]
The input device 504 includes a keyboard, a mouse, a scanner, a digital camera, and the like, and is used for inputting various commands, data, and images. The ROM 502 stores a system program. The recording medium driving device 507 includes a CD-ROM drive, a floppy disk drive, and the like, and reads / writes data from / to a recording medium 509 such as a CD-ROM or a floppy disk. The recording medium 509 stores an image processing program. The external storage device 506 includes a hard disk device or the like, and stores an image processing program and various data read from the recording medium 509 via the recording medium driving device 507. The CPU 501 executes the image processing program stored in the external storage device 506 on the RAM 503.
[0051]
The display device 505 includes a liquid crystal display panel, a CRT (cathode ray tube), and the like, and displays various images. The printing device 508 prints various images.
[0052]
Note that various recording media such as a semiconductor memory such as a ROM and a hard disk can be used as the recording medium 509 for recording an image processing program. Alternatively, the image processing program may be downloaded to the external storage device 506 via a communication medium such as a communication line and executed on the RAM 503.
[0053]
In the present embodiment, the external storage device 506 corresponds to image storage means, and the CPU 501 features extraction means, attribute acquisition means, form feature vector construction means, principal component analysis means, change range determination means, attribute feature vector reconstruction means. It corresponds to image synthesizing means.
[0054]
FIG. 2 is a flowchart showing the processing of the image processing program executed in the image processing apparatus of FIG. Here, an example of a method for synthesizing a face image of another age of the individual from the original face image of the individual of a certain age is shown.
[0055]
First, the CPU 501 stores a plurality of individual face images input by the input device 504 as image data in the external storage device 506 (step S1). In this case, image data of a plurality of individual face images stored in advance in the database may be used.
[0056]
Next, the CPU 501 extracts coordinate values of a plurality of feature points of each face image based on the image data stored in the external storage device 506 (step S2). In this embodiment, the x coordinate and y coordinate of each feature point are extracted.
[0057]
Next, the CPU 501 acquires the age attribute value of each face image (step S3). The age attribute value may be input by the input device 504 for each face image, or an age attribute value stored in the database in advance for each face image may be used. In the present embodiment, an apparent age obtained by an age perception experiment described later is used as an age attribute value.
[0058]
Further, the CPU 501 uses the coordinate values and age attribute values of a plurality of feature points extracted for each face image, and the shape feature vector F of each face image._i(See equation (1)) (step S4).
[0059]
Next, the CPU 501 determines the shape feature vector F of the plurality of face images._iTo eigenvalue σ of the first principal component by principal component analysis according to equations (2) to (6)₁Is calculated (step S5). Further, the CPU 501 determines the eigenvalue σ of the first principal component₁The principal component feature vector P of the first principal component of equation (7) using_max, P_min(Step S6).
[0060]
Next, the CPU 501 determines the eigenvalue σ of the first principal component.₁The face shape vector F of the first principal component of Equation (7) using_max, F_minAre reconstructed (step S7), and an age feature vector F representing the age feature of equation (8) is extracted (step S8).
[0061]
Next, the CPU 501 synthesizes a face image of a desired age from the original face image of a specific individual using the age feature vector F (step S9).
[0062]
In this way, by executing the image processing program in the image processing apparatus, it is possible to extract facial shape features closely related to age features as age feature vectors F using a plurality of individual face images, A facial image of a desired age can be synthesized from an original facial image of a specific individual using the extracted facial shape features.
[0063]
As described above, since unknown face images can be synthesized by the image processing apparatus, the image processing method, and the image processing program of the present embodiment, they can be used for criminal investigations and the like.
[0064]
In the above embodiment, coordinate values of a plurality of feature points representing facial shape features are used as the morphological features of the image. However, textures such as skin tone, blotches, wrinkles, etc. (Texture) can also be used. Further, the perception of age may consider not only the shape inside the face but also the hairstyle and the like.
[0065]
Furthermore, in the above embodiment, the apparent age is used as the attribute, but the actual age may be used as the attribute instead of the apparent age. Moreover, you may use other attributes, such as a facial expression, a race, sex, and a body shape, as an attribute.
[0066]
When the attribute is real age, by applying the image processing method of the above embodiment, it is possible to extract facial shape features closely related to real age features using a plurality of individual face images, Furthermore, face images having different real ages can be synthesized from the original face image of a specific individual using the extracted facial shape features.
[0067]
When the attribute is a facial expression, expressions such as emotions are expressed with different values, and by applying the image processing method of the above-described embodiment, it is closely related to facial expression features using a plurality of individual facial images. The feature of the face shape can be extracted, and a face image with a different expression can be synthesized from the original face image of a specific individual using the extracted feature of the face shape.
[0068]
When the attribute is race, different races are represented by different values, and by applying the image processing method of the above embodiment, it is closely related to race characteristics using face images of multiple individuals The feature of the face shape to be extracted can be extracted, and the face image of a different race can be synthesized from the original face image of a specific individual using the extracted feature of the face shape.
[0069]
When the attribute is gender, the gender of the man and woman is represented by different values, and by applying the image processing method of the above embodiment, the facial shape features closely related to the gender features using a plurality of individual face images Furthermore, it is possible to synthesize a face image with different gender from an original face image of a specific individual using the extracted feature of the face shape.
[0070]
When the attribute is a body shape, different body shapes are represented by different values, and by applying the image processing method of the above embodiment, facial shape features closely related to the body shape features using a plurality of individual face images Furthermore, it is possible to synthesize a face image having a different body shape from an original face image of a specific individual using the extracted facial shape characteristics.
[0071]
Moreover, although the case where the image is a personal face image has been described in the above embodiment, the present invention is not limited to this. For example, the image may be an animal image.
[0072]
【Example】
1. Preliminary experiment
When considering the shape feature related to the aging of an individual's face, the real age may be used as the attribute value given to the PCA variable. However, it is also empirically clear that, with the aging of the face, spots, wrinkles, skin texture and the like change with the shape. In the present embodiment, the characteristics of the apparent age, that is, the face that looks young and the shape of the face that looks old, were examined, not the facial shape characteristics that change with time. Since it is not sufficient to give the actual age as the attribute value of the apparent age, an age perception experiment (age rating experiment) was performed in order to obtain the attribute value of the apparent age.
[0073]
1-1. procedure
For experimental stimulation in age perception experiments, from the facial expression image database of ATR (International Telecommunications Research Institute International), 142 Japanese men and women faceless, face-to-face, real age from late teens to 30s The latter half face image was used. The face image was a color image of 512 × 512 pixels, and the face was large enough to fit in the frame. The test subjects were 25 male students and 22 female students (18 to 22 years old).
[0074]
The experiment was performed according to the following procedure. The subject was asked to estimate the age of the face image displayed on the monitor and select the most suitable category from the age rating categories shown in Table 1.
[0075]
[Table 1]

[0076]
As shown in Table 1, ages were classified into 8 categories, and rating values of 0 to 7 were given to these categories in ascending order of age.
[0077]
1-2. result
The average and standard deviation of the rating values were obtained for each face image. FIG. 4 is a diagram in which the averages of the rating positions for each face image are plotted in the descending order. The horizontal axis of FIG. 4 shows the face images of 142 persons, and the vertical axis shows the average rating value of each face image. Triangle marks and circle marks represent the average rating values of male and female face images, respectively.
[0078]
The average was obtained for each gender of the face image from the standard deviation obtained from each face image. The average standard deviation was 0.85 for male face images and 0.89 for female face images. That is, the age is estimated with an error of about ± 5 years for both male and female faces.
[0079]
In addition, since face images differ between men and women and there is no relation between face images, comparison between face images is meaningless.
[0080]
2. Age feature extraction experiment
Next, a face age feature extraction experiment was performed using the apparent age attribute value obtained by the age perception experiment. Extracted when an apparent age attribute value is added to face information (hereinafter referred to as attribute value addition condition) and when an apparent age attribute value is not added to face information (hereinafter referred to as no attribute value condition) Comparison of the shape characteristics to be performed was performed.
[0081]
2-1. procedure
Face image shape features include ATR's face image synthesis system (FUTON) (Miyuki Tsunoike, Shigeru Mukada, Saiko Yoshikawa, Takashi Kato, Masaomi Oda, Shigeru Akamatsu, “Face Image Synthesis for Psychological Experiments on Face / Expression Recognition” System-FUTON System-, “Science Technique, HIP97-39, pp. 73-80, Jan. 1998 and Shigeru Mukai, Miyuki Tsujiike, Shigeru Akamatsu,“ Evaluation of Manual Sampling in Face Image Synthesis System (FUTON system) ” The coordinate values of 83 default feature points of Shingaku Technique, HIP99-49, pp. 13-18, Nov. 1999) were used. FIG. 5 is a diagram showing feature points used as variables of face feature vectors. In FIG. 5, 83 feature points are indicated by black circles, and symbols are assigned to identify each feature point.
[0082]
As face images, 142 face images of both men and women used in the preliminary experiment were used. However, normalization was performed so that the face width (the length between the feature points Fr3 and Fl3) was 230 pixels, and the straight line connecting the eyes of both eyes was horizontal.
[0083]
For each male and female face image, dimensional compression by PCA was performed in each of the no attribute value condition and the attribute value addition condition.
・ No attribute value condition
In the no attribute value condition of the conventional method, only the coordinate values of 83 feature points are used as face information (variables of shape feature vectors). One face image is converted into a 166-dimensional shape feature vector F_NExpressed as:
[0084]
F_N= (X₁, Y₁, X₂, Y₂, X_Three, Y_Three, ..., x₈₃, Y₈₃)^T
・ Attribute value addition condition
In the attribute value addition condition, as face information (variable of shape feature vector), in addition to the coordinate values of 83 feature points, a value obtained by multiplying the average value of the evaluation values of each face image obtained in the preliminary experiment by 100 is Used as the apparent age attribute value a. One face image is converted into a 167-dimensional shape feature vector F._AExpressed as:
[0085]
F_A= (X₁, Y₁, X₂, Y₂, X_Three, Y_Three, ..., x₈₃, Y₈₃, A)^T
The amount of change of the principal component was determined from the obtained eigenvalues of each principal component, and after reconstructing the shape feature vector for each principal component, the difference was visually compared.
[0086]
2-3. result
The principal component scores in each principal component obtained from the no attribute value condition and the attribute value addition condition were analyzed for the face images of each gender. If the principal component is strongly involved in the age change, when the face images are arranged in order of age, the principal component scores of the face images on the principal component should be arranged in ascending or descending order. Therefore, the principal component scores from the first principal component to the third principal component among the principal components obtained under each condition in the male and female face images were plotted.
[0087]
FIG. 6A is a diagram showing the principal component scores of the upper principal components obtained in the male face image without the attribute value condition, and FIG. 6B is the upper face obtained in the female face image without the attribute value condition. It is a figure which shows the main component score of a main component. FIG. 7A is a diagram showing the principal component scores of the upper principal components obtained under the attribute value addition condition in the male face image, and FIG. 7B is obtained under the attribute value addition condition in the female face image. It is a figure which shows the principal component score of the higher-order principal component. The horizontal axis of FIG. 6 and FIG. 7 shows face images arranged in descending order of apparent age (rating value), and the vertical axis shows the principal component score (PC score). A square mark indicates the principal component score of the first principal component, a circle mark indicates the principal component score of the second principal component, and a triangle mark indicates the principal component score of the third principal component.
[0088]
As shown in FIGS. 6A and 6B, in the attribute value-free condition, the principal component scores of the face images arranged in order of age are arranged in almost ascending or descending order for both the male face image and the female face image. I couldn't find any ingredients.
[0089]
As shown in FIGS. 7A and 7B, in the attribute value addition condition, the male principal image and the female facial image are shown in a form in which the principal component scores of the first principal component are arranged almost in sequence.
[0090]
From these results, it was found that the first principal component obtained under the attribute value addition condition is closely related to the feature that affects the apparent age of the face image.
[0091]
Next, in order to visually confirm what shape change each principal component is involved in, the coordinates of the feature points of the facial parts are used, using the change range obtained from the eigenvalues of the principal component to be confirmed. Was reconfigured. As shown below, the influence of the principal component on the face shape under the attribute value addition condition was examined.
[0092]
8, 9, 10, and 11 are reconstructed using the first principal component, the second principal component, the third principal component, and the fourth principal component obtained in the attribute value addition condition in the male face image, respectively. It is a figure which shows the performed face shape. FIG. 12, FIG. 13, FIG. 14 and FIG. 15 respectively use the first principal component, the second principal component, the third principal component and the fourth principal component obtained in the attribute value addition condition in the female face image. It is a figure which shows the reconfigure | reconstructed face shape. 8 to 11, (a) and (b) show face shapes whose apparent ages are extremes.
[0093]
Two face shapes of each principal component were compared from the reconstructed face images. The subjective impression of how each principal component is related to changes in shape characteristics is as follows. In the first principal component obtained with the attribute value addition condition for the male face image, the inside of the eyebrows changes up and down, and the outside changes up and down in the direction opposite to the inside. The nose and mouth change up and down, the width of the mouth narrows and widens slightly, and the chin becomes slightly larger and smaller. In the second main component, the forehead scales, the outside of the eyebrows changes horizontally (the size of the eyebrows changes), the distance between the eyes is slightly wider or narrower, and the nose, mouth and The chin changes greatly up and down. In the third main component, the inside of the eyebrows changes vertically, and the outside changes slightly in the horizontal direction. The nose and mouth change greatly up and down, and the chin changes into a square, slightly stretched shape, or a slightly smaller, pointed shape. In the fourth main component, the size of the forehead changes abruptly, and the inside of the eyebrows changes greatly up and down. The left side of the nose and mouth changes slightly in the horizontal direction, and the left side of the chin changes very slightly.
[0094]
On the other hand, in the no attribute value condition, the first principal component showed almost the same change as the second principal component of the attribute value addition condition, and the second principal component showed almost the same change as the third principal component of the attribute value addition condition. . The same applies to the subsequent main components.
[0095]
In the first principal component obtained with the attribute value addition condition for the female face image, the mouth changes up and down, and the width becomes wider and narrower. And the chin gets a little bigger or smaller. The second principal component was substantially the same as the second principal component obtained under the attribute value addition condition for the male face image. In the third principal component, the forehead scales up, the inside of the eyebrows slightly changes up and down, and the nose and mouth change slightly on the left side in the horizontal direction, and the chin is slightly stretched or slightly smaller It becomes a pointed shape. In the fourth main component, the face outline, nose, and mouth slightly change on the right side. And the width of the face outline changes.
[0096]
On the other hand, in the no attribute value condition, like the male face image, the first principal component shows almost the same change as the second principal component of the attribute value addition condition, and the second principal component is the third main component of the attribute value addition condition. It showed almost the same change as the component. The same applies to the subsequent main components.
[0097]
2-3. Consideration
When viewed from the distribution of the principal component scores in each principal component, the principal component scores are completely ascending or descending when the face images are arranged in the order of apparent age under the attribute value absence condition and the attribute value addition condition after the second principal component. Because they were not in descending order, these principal components are not closely related to features that affect the apparent age. On the other hand, in the first principal component of the attribute value addition condition, when face images are arranged in order of apparent age, the principal component scores are arranged almost in order for both male and female face images, and further, an age perception experiment (age assessment experiment) ) And the distribution of the first principal component data (principal component score) are very similar to each other, and therefore the first principal component obtained under the attribute value addition condition Is closely related to the shape features that affect the apparent age.
[0098]
Regarding the change of the feature point coordinates that are changed to the feature point coordinates of the face parts by changing the value of the principal component score of each principal component, the first principal component of the attribute value addition condition is the youth based on anatomical knowledge It seems to be almost consistent with the aging of the season.
[0099]
In the image processing method according to the present invention, the PCA is performed by adding not only the coordinate value of the feature point that is face shape information but also the attribute value of apparent age that is not directly related to the configuration of the face image. Since the principal component score of one principal component also quantitatively shows the relationship with age change, and the qualitatively reasonable deformation was observed in the face shape reconstructed from the first principal component, the apparent It shows that shape features closely related to age can be obtained.
[0100]
3-1. Mapping to personal face image
Apparent age features obtained by age feature extraction experiments were mapped to individual face images.
[0101]
FIG. 16 to FIG. 19 are diagrams showing the results of synthesizing face images of different ages by mapping the age shape characteristics to the original face images of four people. In each figure, among the three face images, the center is an original face image, the left is a face image synthesized so that it looks young, and the right side is an image synthesized so that it looks old. The composition ratio was set to ± 50% of the change amount of the first principal component in the attribute value addition condition of the age feature extraction experiment.
[0102]
The synthesis procedure is as follows. 83 feature points used in FUTON are obtained from the individual original face image, and the shape feature vector F of the original face image is obtained.^I166-dimensional vector F using the coordinate values of feature points^IAnd
F^I= (X₁, Y₁, X₂, X_Three, ..., x₁₆₆, Y₁₆₆)^T ... (11)
Shape feature vector F of original face image^IAnd a face shape vector F in which the age features are mapped by adding or subtracting a correction vector F ′ obtained by multiplying each element of the apparent age feature vector F by the composite ratio 0.5.^SIt was created.
[0103]
F '= (0.5x₁, 0.5y₁, 0.5x₂, 0.5y₂..., 0.5x₈₃, 0.5y₈₃)^T (12)
F^S= F^I± F ′ (13)
And the face shape is F^ITo F^SFUTON performed shape morphing (face synthesis technology) that changed into FUTON.
[0104]
Here, since the extracted apparent age feature was only the shape, only the face shape was synthesized. The result of the synthesis was a facial image with an impression of “feeling like this if the person in the original facial image is seen young” or “feeling like this if the person is seen old”.
[0105]
As described above, in the above embodiment, the attribute value of apparent age, which is not directly related to the image, is added as a variable to the shape feature vector of the face image, and the PCA is closely related to the apparent age change. It has been shown that shape features can be extracted.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus for carrying out an image processing method according to an embodiment of the present invention.
2 is a flowchart showing processing of an image processing program executed in the image processing apparatus of FIG.
3 is a flowchart showing processing of an image processing program executed in the image processing apparatus of FIG.
FIG. 4 is a diagram in which the average of the rating positions for each face image is plotted in descending order.
FIG. 5 is a diagram showing feature points used as variables of shape feature vectors.
FIG. 6 is a diagram illustrating principal component scores of upper principal components obtained in a no-attribute-value condition in male and female face images.
FIG. 7 is a diagram showing principal component scores of upper principal components obtained under attribute value addition conditions in male and female face images.
FIG. 8 is a diagram showing face shapes reconstructed using the first principal components obtained under the attribute addition condition in the male face image.
FIG. 9 is a diagram showing face shapes reconstructed using the second principal component obtained under the attribute addition condition in a male face image.
FIG. 10 is a diagram showing face shapes reconstructed using the third principal component obtained under the attribute addition condition in a male face image.
FIG. 11 is a diagram showing a face shape reconstructed using a fourth principal component obtained under the attribute addition condition in a male face image.
FIG. 12 is a diagram showing face shapes reconstructed by using first principal components obtained under attribute addition conditions in a female face image.
FIG. 13 is a diagram showing face shapes reconstructed by using second principal components obtained under attribute addition conditions in a female face image.
FIG. 14 is a diagram showing face shapes reconstructed by using third principal components obtained under attribute addition conditions in a female face image.
FIG. 15 is a diagram showing face shapes reconstructed using the fourth principal component obtained under the attribute addition condition in a female face image.
FIG. 16 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 17 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 18 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
FIG. 19 is a diagram illustrating a result of synthesizing face images of different ages by mapping an age shape feature to an original face image.
[Explanation of symbols]
50 Image processing device
501 CPU
502 ROM
503 RAM
504 Input device
505 display device
506 External storage device
507 Recording medium driving device
508 printing device
509 recording medium

Claims

Image storage means for storing a plurality of images;
Feature extraction means for extracting a plurality of morphological features of each image stored in the image storage means;
Attribute acquisition means for acquiring attributes of each image different from the morphological features;
A morphological feature vector constructing means for constructing a morphological feature vector for each image using a plurality of morphological features of each image extracted by the feature extracting means and an attribute of each image obtained by the attribute obtaining means;
Principal component analysis means for calculating a first principal component by principal component analysis from morphological feature vectors of a plurality of images constituted by the morphological feature vector construction means ;
Change range determining means for determining a change range of the first principal component using the eigenvalue of the first principal component calculated by the principal component analyzing means;
Attribute feature vector reconstructing means for reconstructing an attribute feature vector indicating an attribute feature using a variation amount of the plurality of morphological features in a variation range of the first principal component determined by the variation range determining unit as a variable. the image processing apparatus characterized by comprising and.

The image processing according to claim 1, wherein said attributes from a particular image using the attribute feature vectors obtained by said attribute feature vector reconstructing means further comprising an image combining means for combining the different other images apparatus.

The image composition means configures a morphological feature vector having the plurality of morphological features of the specific image as variables, and modifies each variable of the morphological feature vector based on a corresponding variable of the attribute feature vector, The image processing apparatus according to claim 2, wherein the other image is synthesized from a morphological feature vector having a modified variable.

The plurality of images are a plurality of face images;
The attribute, the image processing apparatus according to claim 1, wherein the apparent age, actual age, sex, race, it is a facial or body shape.

The image processing apparatus according to claim 1 , wherein the plurality of morphological features include coordinate values of a plurality of predetermined feature points.