JP5650012B2 - 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 - Google Patents

Description

本発明は、顔画像処理方法、美容カウンセリング方法および顔画像処理装置に関する。

顔画像を種々に変化させる画像処理方法としてワーピングおよびモーフィングが提案されている。ワーピングは画像を幾何学的に変換して一部の箇所を変化させる手法であり、モーフィングは元の画像と別の画像との中間画像を生成して元画像を徐々に変化させていく手法である。

特許文献１には、被験者の顔画像における肌色の分布を評価するにあたり、被験者の顔を平均顔等の標準的な顔に変形（ワーピング）させて顔形状の特徴の影響を除外したうえで、顔の色相を主成分分析する肌色評価方法が記載されている。この肌色評価方法では、顔画像を数十個の領域に分割して領域ごとに色相の平均値を求め、かかる色相の分布の傾向を主成分分析による統計処理に基づいて評価している。

また、元の顔画像を他人の顔画像に連続的に変化させるモーフィングが、映像コンテンツの作成などにしばしば用いられている（特許文献２を参照）。

非特許文献１には、多数のサンプル画像を含む顔画像データベースを用いて被験者の顔画像を統計処理することにより、被験者の顔画像における特徴点を移動させて顔の魅力度（attractiveness）を向上させるワーピングの手法が記載されている。この手法では、顔画像データベースより、予め官能評価とSupport Vector Regression（ＳＶＲ）のアルゴリズムを用いて推定された美容スコア（beauty score）が高く、かつ被験者の顔の特徴点の位置の傾向に近接するサンプル画像をランク付けして上位より複数枚を抽出して、これを母集団とする。非特許文献１では、被験者の顔の特徴点を母集団の平均顔の特徴点に移動させることで、被験者の顔の魅力度（attractiveness）が向上するとしている。

特開２００９−１６９７５８号公報 特開２００７−３００５６２号公報

Tommer Leyvand, Daniel Cohen-Or, Gideon Dror and Dani Lischinski, 「Data-Driven Enhancement of Facial Attractiveness」, Proceedings of ACM SIGGRAPH 2008, vol.27, no.3, 2008

顔の見た目の印象（以下、顔印象）を仮想的に変化させる画像処理技術は、産業上の種々の利用の可能性をもたらす。一例として、化粧料や美容施術の効果を定量的に評価して商品やサービスの設計開発のためのツールとして用いることができる。また、化粧と美容整形との学際領域における研究ツールとして、さらに「顔」をテーマにした新たなエンターテインメントの実現のための技術ツールとしても利用することが期待される。

しかしながら、上記した従来の手法は、母集団の平均顔や他人の顔など、目的とする顔や顔形状に向けて被験者の顔画像を単に変換するものであるため、顔印象の決定因子に関する研究を深化させたり顔印象を自在に変化させたりする技術を提供するものではなかった。

本発明は上述のような課題に鑑みてなされたものであり、顔印象の決定因子を知得することのできる顔画像処理技術、およびかかる顔画像処理技術を用いた美容カウンセリング方法を提供するものである。

本発明によれば顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択（重複選択を含む）された少なくとも第一の変化軸および第二の変化軸についてそれぞれ主成分分析して複数次の基底ベクトルの重み係数を算出し、前記第一の変化軸にかかる前記重み係数を変更した第一変化画像と、前記第二の変化軸にかかる前記重み係数を変更した第二変化画像と、を生成し、前記第一変化画像と前記第二変化画像とを互いに対比して出力することを特徴とする顔画像処理方法が提供される。

また本発明によれば、上記の顔画像処理方法を用いた美容カウンセリング方法であって、化粧料の塗布または美容施術の適用による顔の形状、テクスチャまたは色の変化と、前記第一変化画像または前記第二変化画像と、を対応づけて出力することを特徴とする美容カウンセリング方法が提供される。

また本発明によれば、顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択（重複選択を含む）された少なくとも第一の変化軸および第二の変化軸についてそれぞれ主成分分析して複数次の基底ベクトルの重み係数を算出する主成分分析手段と、前記第一の変化軸にかかる前記重み係数を変更した第一変化画像と、前記第二の変化軸にかかる前記重み係数を変更した第二変化画像と、を生成する変化画像生成手段と、前記第一変化画像と前記第二変化画像とを互いに対比して出力する画像出力手段と、を含む顔画像処理装置が提供される。

ここで、顔の形状とは、顔の輪郭、および目・鼻・口などの特徴部位の位置・大きさ・範囲のほか、眼鏡などの装着物の有無および形状を含む。また、顔画像のテクスチャとは顔の表面の質感を表す画像パターンをいう。顔の色とは、顔全体または顔の一部領域における肌の平均的な明度、彩度または色相の少なくとも一つをいう。
変化軸とは、顔画像（元画像）における顔の形状、テクスチャまたは色（以下、これらを併せて「決定因子」という）を変化させる方向性を意味する。変化軸は、決定因子の選択と、顔画像の主成分分析に用いられる母集団とで決定される。

上記発明によれば、決定因子より選択された複数の変化軸について個別に基底ベクトルの重み係数（固有値）を変化させた画像が対比される。これにより、選択された変化軸が顔印象に与える影響度合いを個別に可視化することができる。このため、たとえば化粧料や美容施術等によって被験者の顔印象を所望に変化させるに際して、決定因子の適切な選択が可能となる。

本発明によれば、顔印象の決定因子を知得することのできる顔画像処理技術、およびかかる顔画像処理技術を用いた美容カウンセリング方法が提供される。

第一実施形態にかかる顔画像処理方法のフローチャートである。 第一実施形態の顔画像処理装置のブロック図である。 顔形状テーブルの例を示す図である。 第一変化画像と第二変化画像と重畳変化画像とを対比して出力する状態を示す図である。 テクスチャテーブルの例を示す図である。 色テーブルの例を示す図である。 化粧質感テーブルの例を示す図である。 第三実施形態の顔画像処理装置のブロック図である。 第三実施形態において第一変化画像を生成する変化画像生成工程の詳細を示すフローチャートである。 第三実施形態において第二変化画像を生成する変化画像生成工程の詳細を示すフローチャートである。 第三実施形態において第一変化画像を生成する変化画像生成工程の変形例の詳細を示すフローチャートである。 美容手段選択テーブルの例を示す図である。

＜第一実施形態＞
はじめに、本発明の第一実施形態にかかる顔画像処理方法の概要を説明する。
図１は、本実施形態の顔画像処理方法（以下、本方法という場合がある）のフローチャートである。図２は、本方法を実現する本実施形態の顔画像処理装置１００のブロック図である。

本方法は、顔画像取得工程Ｓ１０、主成分分析工程Ｓ４０、変化画像生成工程Ｓ５０および出力工程Ｓ７０を含む。

本実施形態の顔画像処理装置１００は、コンピュータプログラムが実装されたコンピュータ装置に、必要に応じて各種デバイスが接続されて構築されている。顔画像処理装置１００の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

また、顔画像処理装置１００の各種の構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の要素として形成されていること、一つの構成要素が複数の要素で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。

本実施形態の顔画像処理装置１００は、撮像部１０、主成分分析部４０、変化画像生成部５０および出力部７０を含む。これらはバス９５で互いに接続されている。

顔画像取得工程Ｓ１０では、撮像部１０は人間の顔の少なくとも一部が撮像された顔画像（元画像ＯＩＭ）を取得する。顔画像は、顔画像処理装置１００を操作するユーザの顔の画像でもよく、または著名人を含む当該ユーザからみた他人の顔の画像でもよい。
本実施形態では撮像部１０としてデジタルカメラを例示する。撮像部１０は、顔画像処理装置１００のユーザを被験者として、その顔をデジタルデータとして撮像した顔画像データを取得する。被験者は素顔でもよく、または化粧を施した顔（化粧顔）でもよい。以下、本方法では被験者の素顔の顔画像を顔画像データとする場合を例示する。

なお、本実施形態に代えて、撮像部１０は、著名人を含む任意の人物に関する顔画像データを、記憶媒体またはネットワーク経由で取得する受信装置でもよい。

主成分分析工程Ｓ４０では、主成分分析部４０は、元画像ＯＩＭに関して、顔の形状、テクスチャまたは色より選択（重複選択を含む）された少なくとも第一の変化軸ＡＸ₁および第二の変化軸ＡＸ₂についてそれぞれ主成分分析して複数次の基底ベクトルe_1,iおよびe_2,j（ｉ、ｊはそれぞれ次数を表す自然数。以下同様。）の重み係数b_1,iおよびb_2,jを算出する。
以下、基底ベクトルe_1,iおよびe_2,jをあわせて基底ベクトルｅと表記する場合がある。同様に、重み係数b_1,iおよびb_2,jをあわせて重み係数ｂと表記する場合がある。

図１に示すように、本方法ではステップＳ６０の条件分岐により複数の変化軸を設定することができる。そして、各回の変化軸設定工程Ｓ３０で設定された変化軸にかかる基底ベクトルｅごとの重み係数ｂを主成分分析工程Ｓ４０にてそれぞれ算出する。
言い換えると、一回目の主成分分析工程Ｓ４０では、変化軸設定工程Ｓ３０で選択された決定因子（たとえば顔形状）と、母集団生成工程Ｓ３４で生成された母集団と、で決まる第一の変化軸ＡＸ₁に従って元画像ＯＩＭを主成分分析して、基底ベクトルe_1,iごとの重み係数b_1,iを算出する。変化画像生成工程Ｓ５０では、この重み係数b_1,iを変化させて画像再構成することにより第一変化画像ＩＭ₁を生成する。

他の変化軸による画像変化を更に行うことが選択されると（ステップＳ６０：ＹＥＳ）、二回目の変化軸設定工程Ｓ３０では決定因子が選択される。ここで選択される決定因子は、一回目と同じもの（たとえば顔形状）でもよい。母集団生成工程Ｓ３４では、主成分分析のための母集団が生成される。これにより、第二の変化軸ＡＸ₂が設定される。なお、二回目の決定因子が一回目と同じである場合には、母集団を構成するサンプル画像ＳＩＭの少なくとも一部が一回目の母集団と異なるものとする。一回目と二回目の決定因子が異なる場合には、母集団を構成するサンプル画像ＳＩＭが互いに完全に同一であってもよい。これにより、一回目と二回目の主成分分析でそれぞれ求まる重み係数b_1,iが互いに異なるものとなる。
二回目の主成分分析工程Ｓ４０では、設定された第二の変化軸ＡＸ₂に従って元画像ＯＩＭを主成分分析して複数次の基底ベクトルe_2,jにかかる重み係数b_2,jを算出する。

変化画像生成工程Ｓ５０では、変化画像生成部５０（図２を参照）は、第一の変化軸ＡＸ₁にかかる重み係数b_1,iを変更した第一変化画像ＩＭ₁と、第二の変化軸ＡＸ₂にかかる重み係数b_2,jを変更した第二変化画像ＩＭ₂と、を生成する。ここで、重み係数b_1,i，b_2,jを変更するとは、複数次の重み係数の一部または全部を増加または減少させることをいう。重み係数b_1,i，b_2,jを減少させるとは、当該重み係数の絶対値を小さくすることをいい、当該重み係数をゼロにすることを含む。変化画像生成工程Ｓ５０では、重み係数b_1,iを変更して画像再構成した第一変化画像ＩＭ₁と、重み係数b_2,jを変更して画像再構成した第二変化画像ＩＭ₂とを生成する。

出力工程Ｓ７０では、出力部７０は、第一変化画像ＩＭ₁と第二変化画像ＩＭ₂とを互いに対比して出力する。ここで、複数の画像を互いに対比して出力するとは、複数の画像を同時または個別に、同一または異なる画像出力手段で出力することを意味する。具体的には、同一の表示ディスプレイ装置に複数の画像を近接させて表示出力する態様や、同一の表示ディスプレイ装置上でまたは隣接配置された表示ディスプレイ装置で交互に表示出力する態様、複数の画像を同一または異なる用紙に印刷出力する態様などを一例として挙げることができる。

以下、本方法および本実施形態の顔画像処理装置１００について、より具体的に説明する。

図２に示すように、顔画像処理装置１００は、元画像ＯＩＭの顔画像データに規格化処理を施して規格化画像を生成する規格化部１２を備えている。規格化部１２は、元画像ＯＩＭから目・鼻・口・耳などの特徴点を数十点程度取得し、その顔形状を規格化する（図１：画像規格化工程Ｓ２０）。

画像規格化工程Ｓ２０は、取得した元画像ＯＩＭに正規化などの規格化処理を施して、被験者の顔の形状的な特徴（毛髪の生えぎわ、頬または顎などの輪郭、眉、目、鼻など）を捨象した規格化画像を生成する工程である。規格化処理は、市販の顔画像合成システム（例えば、株式会社国際電気通信基礎研究所、Futon）を用いて行うことができる。

顔画像処理装置１００は、複数のサンプル画像ＳＩＭを格納する顔画像データベース９０と、サンプル画像ＳＩＭを抽出する条件の入力を受け付ける条件入力部２０と、受け付けた条件に従って顔画像データベース９０からサンプル画像ＳＩＭを抽出して母集団を生成する抽出部６０と、をさらに含んでいる。
主成分分析部４０は、この母集団から複数次の基底ベクトルｅを算出し、算出された基底ベクトルにかかる重み係数ｂを顔画像（元画像ＯＩＭ）より算出する。

なお、元画像ＯＩＭの規格化処理は、顔画像データベース９０に記憶されるサンプル画像ＳＩＭに対しても施されている。すなわち、顔画像データベース９０に格納された複数枚のサンプル画像ＳＩＭは、目、鼻および口の位置が規格化されている。そして、被験者の元画像ＯＩＭとサンプル画像ＳＩＭとは同様に規格化されている。

本方法では、元画像ＯＩＭを変化させる決定因子を設定する変化軸設定工程Ｓ３０を行う。本方法では、決定因子を設定したのち、その決定因子を変化させる条件を入力して（条件入力工程Ｓ３２）、適切なサンプル画像ＳＩＭを顔画像データベース９０から抽出して母集団を生成する（母集団生成工程Ｓ３４）。ここで、決定因子（顔形状）を変化させる条件は後述のように種々に設定することができるが、一例として「日本人の女性のうち魅力的な顔であると官能評価された人達の平均顔に近づける」などが挙げられる。

本方法では、第一回目の変化軸設定工程Ｓ３０において、第一の変化軸ＡＸ₁にかかる決定因子として顔の形状（顔形状）を選択する場合を例に説明する。ただし本方法に代えて、第一の変化軸ＡＸ₁としてテクスチャや色を選択してもよい。

条件入力工程Ｓ３２では、主成分分析に用いるサンプル画像ＳＩＭの母集団を抽出するための属性データを、条件入力部２０を用いて入力する。かかる入力は、被験者が行ってもよく、または顔画像処理装置１００のオペレータが行ってもよい。ただし、一部の属性データ（たとえば図３に示す魅力度に関する属性データｆ３など）に関しては、常に選択されるよう顔画像処理装置１００にプレフィックスされていてもよい。

母集団生成工程Ｓ３４では、抽出部６０は複数のサンプル画像ＳＩＭを含む顔画像データベース９０から一部のサンプル画像ＳＩＭを抽出して母集団を生成する。主成分分析工程Ｓ４０では、主成分分析部４０は、この母集団から複数次の基底ベクトルｅを算出し、算出された基底ベクトルｅにかかる重み係数b_1,iを元画像ＯＩＭより算出する。

主成分分析工程Ｓ４０は、上記で得られた規格化画像した被験者の元画像ＯＩＭ（以下、単に元画像ＯＩＭという）の決定因子（顔形状、テクスチャまたは色）を、多数のサンプル画像に共通な基底ベクトル（固有顔）の線形和に分解する演算工程である。
基底ベクトルは、予め規格化された多数のサンプル画像ＳＩＭをそれぞれラスタスキャンして得られた共分散行列の固有ベクトル解析により求められ、固有値の大きい順に並べられている。

元画像ＯＩＭの各画素値は、基底ベクトルｅの最高次数をｎとした場合、主成分分析法（ＰＣＡ：principal component analysis）により下式（１）、（２）のように分解される。第一平均顔画像、第二平均顔画像とは、それぞれ選択された決定因子に関して母集団のサンプル画像ＳＩＭを平均化した顔画像である。基底ベクトルｅを求めるための母集団となるサンプル画像ＳＩＭを多数用いることにより、規格化されたあらゆる顔画像（元画像ＯＩＭ）を、所定の精度で下式に分解することができる。また、平均顔画像と、基底ベクトルｅおよび重み係数ｂとを用いて元画像ＯＩＭを再構成することができる。

（数１）
元画像ＯＩＭ＝第一平均顔画像＋b_1,1＊第１基底ベクトルe_1,1＋b_1,2＊第２基底ベクトルe_1,2＋b_1,3＊第３基底ベクトルe_1,3＋・・・＋b_1,k＊第ｋ基底ベクトルe_1,k＋・・・＋b_1,n-1＊第（ｎ−１）基底ベクトルe_1,n-1＋b_1,n＊第ｎ基底ベクトルe_1,n （１）

（数２）
元画像ＯＩＭ＝第二平均顔画像＋b_2,1＊第１基底ベクトルe_2,1＋b_2,2＊第２基底ベクトルe_2,2＋b_2,3＊第３基底ベクトルe_2,3＋・・・＋b_2,k＊第ｋ基底ベクトルe_2,k＋・・・＋b_2,n-1＊第（ｎ−１）基底ベクトルe_2,n-1＋b_2,n＊第ｎ基底ベクトルe_2,n （２）

なお、決定因子である顔形状、テクスチャおよび色は互いに独立して扱うことができる。いずれの決定因子に関してサンプル画像ＳＩＭの母集団を主成分分析した場合にも、各次の基底ベクトル同士は互いに直交しており、また他の決定因子の特徴が捨象された基底ベクトルが算出される。

基底ベクトルe_1,iおよびe_2,jならびに元画像ＯＩＭに関する重み係数b_1,iおよびb_2,jは、次数ごとに対応づけられて基底記憶部９２に記憶される。
なお、顔画像データベース９０から抽出される可能性のあるすべての母集団に関して、予め主成分分析をおこなって基底ベクトルｅを算出し、これを基底記憶部９２に格納しておくことが好ましい。これにより、主成分分析工程Ｓ４０においてその都度母集団から基底ベクトルｅを求める必要がなく、元画像ＯＩＭに関する重み係数b_1,iを迅速に算出することができる。

図３は、顔形状（決定因子）を変化させる条件を表す顔形状テーブルの例である。顔形状テーブルは、顔画像データベース９０に記憶された多数のサンプル画像ＳＩＭを、顔形状の特徴に寄与すると考えられる属性によって分類したテーブルである。

サンプル画像ＳＩＭには、その被撮影者にあたるサンプル提供者の属性を示す複数の属性データが付与されている。かかる属性データを一つまたは複数選択して顔画像データベース９０を検索することにより、当該属性を備えるサンプル画像ＳＩＭの母集団が生成される。

変化画像生成工程Ｓ５０では、顔画像データベース９０から抽出された母集団に属するサンプル画像ＳＩＭの顔の形状を平均した平均顔形状に向かって顔画像（元画像ＯＩＭ）をワーピング処理して第一変化画像ＩＭ₁を生成する。ここで、サンプル画像ＳＩＭの平均顔形状とは、規格化された複数のサンプル画像ＳＩＭにおける目・鼻・口などの特徴点の位置を平均化したものである。

具体的には、上式（１）における第一の変化軸ＡＸ₁にかかる重み係数b_1,iのうち所定の閾値次数ｋよりも高次の重み係数b_1,m（ｍ＝ｋ＋１，ｋ＋２，ｋ＋３，・・・）を低減してワーピング処理を行う。閾値次数ｋは、顔形状の変化度に基づいて設定することができる。詳細は第三実施形態で説明する。

より具体的には、元画像ＯＩＭにおける高次側で元画像ＯＩＭの特徴点の位置を移動させる。そして、特徴点を頂点とする微小要素を、区分的アフィン（Piece-wise Affine）法やＢスプライン近似（B-Spline Approximation）法などの画像処理方法によって座標変換する。これにより、元画像ＯＩＭの特徴点を移動させたワーピング処理後の画像（すなわち第一変化画像ＩＭ₁）が生成される。

なお、区分的アフィン法は特徴点を頂点とする三角形要素をアフィン変換により座標変換する画像処理方法である。この方法を用いることで、処理速度が速く、また後述する重畳変化画像ＩＭ_SPを生成するに際して、顔の部分領域ごとに抽出したテクスチャを変化させることができる。
Ｂスプライン近似法は、特徴点を格子点とする四角要素を座標変換する画像処理方法であり、各格子点に重率を与えたうえで座標変換することを特徴とする。この方法を用いることで元画像ＯＩＭから第一変化画像ＩＭ₁への滑らかなワーピング処理が可能である。

図１に戻り、本方法では、ステップＳ６０の最初の条件分岐ではＹＥＳが選択されて第二の変化軸ＡＸ₂にかかる決定因子が設定される（変化軸設定工程Ｓ３０）。以下、第二の変化軸ＡＸ₂にかかる決定因子として顔のテクスチャを選択する場合を例に説明する。

第二の変化軸ＡＸ₂に関しても、その決定因子を変化させる方向性を設定するための条件を入力して（条件入力工程Ｓ３２）、適切なサンプル画像ＳＩＭを顔画像データベース９０から抽出して母集団を生成する（母集団生成工程Ｓ３４）。そして、母集団のサンプル画像ＳＩＭのテクスチャから基底ベクトルe_2,jを予め求めたうえ、元画像ＯＩＭを主成分分析して重み係数b_2,jを元画像ＯＩＭより算出する。

そして本方法では、母集団に属するサンプル画像ＳＩＭの顔のテクスチャを平均した平均顔テクスチャに向かって元画像ＯＩＭをモーフィング処理して第二変化画像ＩＭ₂を生成するものとする。ここで、サンプル画像ＳＩＭの平均顔テクスチャとは、規格化された複数のサンプル画像ＳＩＭにおける肌のテクスチャを平均化したものである。

本方法では、顔画像（元画像ＯＩＭ）を多色の色ごとに主成分分析して第二の変化軸ＡＸ₂にかかる一次または複数次の基底ベクトルe_2,jの重み係数b_2,jをそれぞれ算出する。これにより、元画像ＯＩＭの色を維持したままでテクスチャを変化させることができ、元画像ＯＩＭと第二変化画像ＩＭ₂との質感の相違を容易に目視確認することができる。

具体的には、上式（２）における第二の変化軸ＡＸ₂にかかる重み係数b_2,jのうち所定の閾値次数ｎ₂よりも高次の重み係数b_2,k（ｋ＝ｎ₂＋１，ｎ₂＋２，ｎ₂＋３，・・・）を低減してモーフィング処理を行う。

ステップＳ６０の二度目の条件分岐では、ＹＥＳまたはＮＯのいずれを選択してもよい。第三の変化軸にしたがって元画像ＯＩＭを変化させて第三変化画像を生成してもよく（ステップＳ６０：ＹＥＳ）、または変化画像の出力工程Ｓ７０に進んでもよい（ステップＳ６０：ＮＯ）。

出力工程Ｓ７０では、出力部７０は、第一変化画像ＩＭ₁と第二変化画像ＩＭ₂とを互いに対比して出力する。図４は出力部７０で表示出力される第一変化画像ＩＭ₁と第二変化画像ＩＭ₂の例を示す図である。

同図で、縦軸は顔形状の変化の度合いを示し、横軸はテクスチャの変化の度合いを示している。具体的には、右下の画像が元画像ＯＩＭである。その上部に並ぶ３枚の画像が第一変化画像ＩＭ₁であり、元画像ＯＩＭからの変化度が小さい順に元画像ＯＩＭに近接して下方に配置してある。変化度の詳細は後述する。同図の右上に示す第一変化画像ＩＭ₁のうちもっとも元画像ＯＩＭからの変化度が大きい画像が平均顔形状画像ＩＭ_1avである。平均顔形状画像ＩＭ_1avは、元画像ＯＩＭのテクスチャおよび色を保持したまま、顔形状のみを母集団のサンプル画像ＳＩＭの平均顔形状としたものである。

一方、同図の右下の元画像ＯＩＭの左側に並ぶ最下段の３枚の画像が第二変化画像ＩＭ₂であり、元画像ＯＩＭからの変化度が小さい順に元画像ＯＩＭに近接して右方に配置してある。同図の左下に示す第二変化画像ＩＭ₂のうちもっとも元画像ＯＩＭからの変化度が大きい画像が平均顔テクスチャ画像ＩＭ_2avである。平均顔テクスチャ画像ＩＭ_2avは、元画像ＯＩＭの顔形状および色を保持したまま、テクスチャのみを母集団のサンプル画像ＳＩＭの平均顔テクスチャとしたものである。

本方法の第一変化画像ＩＭ₁は、元画像ＯＩＭに関して第一の変化軸ＡＸ₁にかかる重み係数b_1,iのみを変更した画像であるが、かかる画像と同等に目視しうる程度において、第二の変化軸ＡＸ₂にかかる重み係数b_2,jを更に僅かに変更した画像も含む。第二変化画像ＩＭ₂も同様であり、元画像ＯＩＭに関して第二の変化軸ＡＸ₂にかかる重み係数b_2,jのみを変更した画像のほか、かかる画像と同等に目視しうる程度において、第一の変化軸ＡＸ₁にかかる重み係数b_1,iを更に僅かに変更した画像を含む。
すなわち、第一の変化軸ＡＸ₁または第二の変化軸ＡＸ₂の一方に関する変化度が大きく、かつ他方に関する変化度がこれよりも十分に小さい画像ＩＭ₁₁およびＩＭ₂₁（図４を参照）は、第一変化画像ＩＭ₁および第二変化画像ＩＭ₂にそれぞれ含まれる。図４に示す例では、第一変化画像ＩＭ₁と第二変化画像ＩＭ₂は右上側と左下側に４枚ずつ図示されている。

また、本方法の出力工程Ｓ７０では、第一の変化軸ＡＸ₁にかかる重み係数b_1,iおよび第二の変化軸ＡＸ₂にかかる重み係数b_2,jをそれぞれ多段階に変更した重畳変化画像ＩＭ_SPを生成する。そして出力工程Ｓ７０では、第一変化画像ＩＭ₁または第二変化画像ＩＭ₂と対比して重畳変化画像ＩＭ_SPをさらに出力する。

ここで、重畳変化画像ＩＭ_SPは、元画像ＯＩＭに関して重み係数b_1,iおよびb_2,jの双方を同等程度に変更した画像であり、図４では左上側に７枚図示されている。図４のもっとも左上の顔画像は、平均顔形状と平均顔テクスチャを備える平均顔ＩＭ_avである。

ここで、従来のワーピング処理では、元画像のテクスチャおよび色を維持したまま形状のみを変化させて変化画像を生成する。また、従来のモーフィング処理では、元画像の顔形状、テクスチャおよび色の総てを変化させて変化画像を生成する。図４に示す白色の矢印ＭＲＰは、元画像ＯＩＭから平均顔ＩＭ_avに向かって顔形状とテクスチャを共に変化させたモーフィング処理の軌跡を示している。
これに対し、本方法のように異なる変化軸に従って元画像ＯＩＭを変化させた第一変化画像ＩＭ₁と第二変化画像ＩＭ₂とを対比して出力することにより、顔印象に対する変化軸ごとの影響を目視的に確認することができる。このため、従来のモーフィング処理のように第一の変化軸ＡＸ₁と第二の変化軸ＡＸ₂とを混在させて画像を変化させてしまう手法と異なり、本方法によれば決定因子ごとの変化量と顔印象の変化との対応関係を定量化することができる。

図３に戻り、本方法では、被験者が備える属性（性別、人種、年齢など）に応じてサンプル画像ＳＩＭを抽出して母集団を生成することができる（図１：母集団生成工程Ｓ３４）。このように被験者と属性が共通する母集団から算出される基底ベクトルは被験者の顔の特徴を良好に反映したものとなる。そして、低次の基底は被験者および母集団の大局的な見た目の印象の共通点を表すものであり、高次の基底は被験者個々の局所的な見た目の印象を表すものである。したがって、元画像ＯＩＭから高次の重み係数から順に低減していくことで、被験者の特徴を残したまま第一の変化軸ＡＸ₁または第二の変化軸ＡＸ₂に従って顔画像を徐々に変化させていくことができる。

図３に例示した顔形状テーブルでは、属性データとして、サンプル提供者の性別（女性：ｆ１、または男性：ｆ２）、複数人の評価者が予めサンプル画像ＳＩＭを官能評価して魅力的と感じたか否か（魅力的である：ｆ３、魅力的でない：ｆ４）、サンプル提供者の人種（日本人：ｆ５、他の人種１：ｆ６、他の人種２：ｆ７）がサンプル画像ＳＩＭに付与されている。ここで、顔画像を官能評価した場合に評価者が魅力的と感じる割合が高いことを、その顔画像の魅力度が高いという。

さらに、図３に示す例では、魅力度以外の官能的な評価項目に関しても属性データが用意されており、複数人の評価者が予め官能評価して決定したサンプル画像ＳＩＭの見た目の印象を示す属性データが、サンプル画像ＳＩＭに付与されている。具体的には、目が大きいとの印象を受けた顔（ｆ８）、小顔であるとの印象を受けた顔（ｆ９）、鼻筋が通っているとの印象を受けた顔（ｆ１０）、丸顔であるとの印象を受けた顔（ｆ１１）、角張った顔であるとの印象を受けた顔（ｆ１２）を例示する。

また、客観評価が可能な属性データとして、眼鏡を掛けている顔（ｆ１３）、左右対称の傾向の強い顔（ｆ１４）などを挙げることができる。顔の左右対称性は、サンプル画像における顔の特徴点の座標位置の演算により定量的に求めることができる。

これらの属性データは顔形状に影響を与える因子であり、言い換えると各母集団に属するサンプル画像ＳＩＭの平均的な顔形状（平均顔形状）が互いに異なる因子である。ここで、人間の素顔の平均顔形状は一般に均整が取れた顔となるため、被験者の性別（ｆ１、ｆ２）や人種（ｆ５〜ｆ７）に基づいて顔画像データベース９０から抽出された母集団の平均顔形状は、魅力的と官能評価される場合が多い。具体的には、被験者が日本人の女性の場合、図３の顔形状テーブルのうち属性データｆ１とｆ５を条件入力部２０で選択すると、その論理積（ＡＮＤ条件）に従って抽出部６０は顔画像データベース９０よりサンプル画像ＳＩＭを抽出する。具体的には、サンプル画像ＳＩＭのＮＯ１，２，５，８，１４，・・・が抽出されて母集団が生成される。

そして、主成分分析部４０は、この母集団に関する基底ベクトルｅを取得したうえ、元画像ＯＩＭの重み係数ｂ（固有値）を算出する。変化画像生成部５０は、重み係数ｂを高次基底から順にゼロにしていくことで、被験者の元画像ＯＩＭの顔形状を母集団（日本人の女性）の平均顔形状に徐々に近づけた第一変化画像ＩＭ₁が生成される。かかる第一変化画像ＩＭ₁を出力部７０で表示出力することで、被験者は自らの顔を均整化していくことで美観が向上することを目視的に確認することができる。そして被験者は、顔のどの部位をどの程度だけ変化させることで美観が向上するかを定量的に把握することができる。

そして、被験者と属性が一致するサンプル画像ＳＩＭを抽出して母集団を生成することにより、元画像ＯＩＭにおける被験者らしさを維持したままで顔形状を均整化することができる。

母集団生成工程Ｓ３４では、評価者が官能評価して魅力的であると回答したサンプル画像ＳＩＭの集合を表す属性データｆ３のほか、目が大きいと官能評価されたサンプル画像ＳＩＭの集合（属性データｆ８）、小顔であると官能評価されたサンプル画像ＳＩＭの集合（属性データｆ９）、鼻筋が通っていると官能評価されたサンプル画像ＳＩＭの集合（属性データｆ１０）などを選択してもよい。または、丸顔であると官能評価されたサンプル画像ＳＩＭの集合（ｆ１１）、角張った顔であると官能評価されたサンプル画像ＳＩＭの集合（ｆ１２）を選択してもよい。
これらの母集団に共通する基底ベクトルで元画像ＯＩＭを展開し、その重み係数ｂを高次側から低減していく（ゼロにしていく）ことで、魅力的な顔の平均顔形状、目が大きい顔の平均顔形状、小顔の平均顔形状、鼻筋が通っている顔の平均顔形状、丸顔の平均顔形状、角張った顔の平均顔形状など、被験者が希望する顔形状に向かって元画像ＯＩＭを変形（ワーピング処理）することができる。すなわち本方法によれば、従来は定量化することが困難であった官能的な属性についても変化軸として設定することができ、当該変化軸の傾向を徐々に強めるように元画像ＯＩＭを画像処理することができる。

また、被験者が眼鏡を掛けている場合は、眼鏡を掛けたサンプル画像ＳＩＭの集合（属性データｆ１３）を選択してもよい。また、被験者の顔が左右対称に近い場合には、左右対称の傾向の強いサンプル画像ＳＩＭの集合（属性データｆ１４）を選択してもよい。

なお、顔画像データベース９０は画像データを記憶する機能を有していればよく、本方法を実施する際に顔画像データベース９０にサンプル画像ＳＩＭが現に記憶されていることを必ずしも要するものではない。また、基底記憶部９２は基底ベクトルｅのベクトルデータを記憶する機能を有していればよく、顔画像処理装置１００を構築した時点においてこれらのデータが現に記憶されていることを必ずしも要するものではない。

図５は、顔のテクスチャ（決定因子）を変化させる条件を表すテクスチャテーブルの例である。テクスチャテーブルは、顔画像データベース９０に記憶された多数のサンプル画像ＳＩＭを、顔のテクスチャの特徴に寄与すると考えられる属性によって分類したものである。
図６は、顔の色（決定因子）を変化させる条件を表す色テーブルの例である。色テーブルは、顔画像データベース９０に記憶された多数のサンプル画像ＳＩＭを、顔の色の特徴に寄与すると考えられる属性によって分類したものである。

各サンプル画像ＳＩＭには、決定因子の少なくとも一つに関して、属性データの一つまたは複数が付与されている

図５に例示するテクスチャテーブルでは、属性データとして、サンプル提供者の性別（女性：ｔ１、または男性：ｔ２）、魅力度（魅力的である：ｔ３、魅力的でない：ｔ４）、人種（日本人：ｔ１１、他の人種１：ｔ１２、他の人種２：ｔ１３）がサンプル画像ＳＩＭに付与されている。これらは図３に示した顔形状テーブルと共通である。テクスチャテーブルでは、このほか、顔画像のテクスチャに寄与する属性として、サンプル提供者の年代（１０代：ｔ５、２０代：ｔ６、３０代：ｔ７、４０代：ｔ８、５０代：ｔ９、６０代以降：ｔ１０）が更にサンプル画像ＳＩＭに付与されている。顔形状に比べてテクスチャは年代の影響が顕著に現れるためである。

さらに、図５に示す例では、魅力度以外の官能的な評価項目に関しても属性データが用意されている。具体的には、肌が美白であるとの印象を受けた顔（ｔ１４）、肌の色むらが少ないとの印象を受けた顔（ｔ１５）、キメが細かいとの印象を受けた顔（ｔ１６）を例示する。これらは、美的に良好な評価項目である。また、図５に示す例では、美的に不良な評価項目を表す官能的な属性データとして、たとえば、そばかすが目立つとの印象を受けた顔（ｔ１７）などが用意されていてもよい。

図６に示す色テーブルにおける属性データのうち、サンプル提供者の性別（女性：ｃ１、または男性：ｃ２）、魅力度（魅力的である：ｃ３、魅力的でない：ｃ４）、人種（日本人：ｃ５、他の人種１：ｃ６、他の人種２：ｃ７）は他のテーブルと共通である。そして、魅力度以外の官能的な評価項目に関する属性データとしては、色白であるとの印象を受けた顔（ｃ８）、赤みが強いとの印象を受けた顔（ｃ９）、健康的にみえるとの印象を受けた顔（ｃ１０）を例示する。

これらの属性データは、設定された決定因子における変化軸として、図３、５および６に示した各テーブルから一つ以上を選択して設定することができる。これにより、元画像ＯＩＭを主成分分析するための母集団が生成される。

以上、母集団生成工程Ｓ３４でサンプル画像ＳＩＭの母集団を生成するにあたり被験者が属する属性データまたは被験者が希望する顔の傾向を表す属性データを、条件入力部２０で入力することを例示した。しかしながら本発明はこれに限られない。

本方法に代えて、たとえば元画像ＯＩＭを規格化部１２で画像分析して決定因子ごとの傾向を定量化したうえで、元画像ＯＩＭとの共通性の高いサンプル画像ＳＩＭを抽出部６０が顔画像データベース９０より自動的に抽出してもよい。かかる抽出は、サンプル画像ＳＩＭの特徴点の位置の傾向を学習したサポートベクターマシン（ＳＶＭ）を用いて行うことができる。
このほか、変化軸ごとにサンプル画像ＳＩＭを抽出して母集団を生成するのではなく、顔画像データベース９０に蓄積されたすべてのサンプル画像ＳＩＭを常に母集団として用いてもよい。すなわち、条件入力工程Ｓ３２および母集団生成工程Ｓ３４の実施は任意である。

＜第二実施形態＞
本発明の第二実施形態にかかる顔画像処理方法（以下、本方法）を説明する。第一実施形態と共通する事項について重複する説明は省略する。

本方法は、第一の変化軸ＡＸ₁および第二の変化軸ＡＸ₂として、共に決定因子をテクスチャとする（重複選択する）ことを特徴とする。本方法のフローチャートおよび本実施形態の顔画像処理装置１００のブロック図は、それぞれ第一実施形態と共通である（図１、図２を参照）。

共通の決定因子を重複選択する場合、主成分分析を行う母集団を異なるものとする。これにより、第一の変化軸ＡＸ₁の平均顔テクスチャ画像と第二の変化軸ＡＸ₂の平均顔テクスチャ画像とは互いに異なるものとなる。このため、共通の決定因子を重複選択した場合であっても、第一変化画像ＩＭ₁と第二変化画像ＩＭ₂とは異なる画像となる。たとえば、図５に示したテクスチャテーブルから選択される一以上の属性データを相違させることにより、異なる二つの母集団を生成することができる。このほか、異なるテーブルから属性データを選択してもよい。

本方法では、第一の変化軸ＡＸ₁を図５のテクスチャテーブルから選択し、第二の変化軸ＡＸ₂を図７の化粧質感テーブルから選択するものとする（図１：変化軸設定工程Ｓ３０）。

本方法の場合、第一の変化軸ＡＸ₁は顔の大局的な見た目の印象を表す第一のテクスチャであり、第二の変化軸ＡＸ₂は顔の質感を表す第二のテクスチャである。変化画像生成工程Ｓ５０では、母集団生成工程Ｓ３４で生成された母集団に属するサンプル画像ＳＩＭの顔のテクスチャを平均した平均顔テクスチャに向かって顔画像（元画像ＯＩＭ）をそれぞれモーフィング処理して第一変化画像ＩＭ₁および第二変化画像ＩＭ₂を生成する。

図７に示す化粧質感テーブルは、サンプル提供者に施した化粧の質感によってサンプル画像ＳＩＭを分類したものである。化粧の質感を変化させることで顔のテクスチャは一般に大きく変化する。本方法では、各サンプル提供者の顔に対して、ｍ１：シャープ（立体的にほっそりした印象）、ｍ２：ウェット（ぬれ肌様）、ｍ３：ソフト（ふんわりした印象）およびｍ４：ヘヴィー（のっぺりした印象）の４種類の異なる質感の化粧を個別に施した場合の顔画像をサンプル画像ＳＩＭとして顔画像データベース９０に格納しておく。質感の異なるこれらの４種類の化粧は化粧専門家が施したものが好ましい。

すなわち、本実施形態の顔画像データベース９０は、質感が異なる複数通りの化粧方法をそれぞれ施した顔が撮像されたサンプル画像を含む。抽出部６０は、当該複数通りから化粧方法を選択して母集団を生成する。

本方法では、一例として、被験者が３０代の典型的な日本人女性であり、ソフトな化粧を施すことによって、キメが細かく魅力的に見えるようになることを希望している場合を説明する。この場合、図５のテクスチャテーブルから、被験者が属する属性データｔ１、ｔ７およびｔ１１と、被験者が希望する評価項目として属性データｔ３およびｔ１４を選択する。さらに、図７の化粧質感テーブルから属性データｍ３を選択する（図１：条件入力工程Ｓ３２）。

各テーブルから選択された属性データに基づいて顔画像データベース９０をそれぞれ検索してサンプル画像ＳＩＭを抽出し、二つの母集団を生成する（図１：母集団生成工程Ｓ３４）。

母集団が生成されると、予め基底ベクトルｅを求めたうえ、元画像ＯＩＭを主成分分析して重み係数b_1,iおよびb_2,jを算出する（図１：主成分分析工程Ｓ４０）。
そして、変化画像生成工程Ｓ５０では、かかる重み係数b_1,iを高次側から徐々に低減していくことで、被験者の元画像ＯＩＭの顔形状と色を保持したまま、「キメが細かく魅力的に見える３０代の日本人女性」の平均的なテクスチャに元画像ＯＩＭを近づけた第一変化画像ＩＭ₁を生成することができる。また、変化画像生成工程Ｓ５０では、重み係数b_2,jを高次側から徐々に低減していくことで、被験者の元画像ＯＩＭの顔形状と色を保持したまま、「ソフトな質感の化粧を施した顔」の平均的なテクスチャに元画像ＯＩＭを近づけた第二変化画像ＩＭ₂を生成することができる。

＜第三実施形態＞
本発明の第三実施形態にかかる顔画像処理方法（以下、本方法）を説明する。
図８は本実施形態の顔画像処理装置１００のブロック図である。本実施形態の顔画像処理装置１００は、変化度算出部５２、変化度判定部５４、美容手段記憶部８０および美容手段抽出部８２を備える点で第一実施形態（図２を参照）と相違する。
第一実施形態または第二実施形態と共通する事項について重複する説明は省略する。また、美容手段記憶部８０および美容手段抽出部８２に関しては本実施形態の変形例にて後述する。

本方法は、元画像ＯＩＭの特徴を失うことなく自然に見える範囲で第一変化画像ＩＭ₁および第二変化画像ＩＭ₂を生成することを特徴とする。

ここで、第一実施形態においては、サンプル画像ＳＩＭの母集団の選択によっては平均顔形状画像ＩＭ_1avや平均顔テクスチャ画像ＩＭ_2av（および平均顔ＩＭ_av）が元画像ＯＩＭから掛け離れてしまう場合がある。これに対し、本実施形態では元画像ＯＩＭからの変化度の大小を判定することで、変化画像が自然に見えるか否かを知ることができる。

本方法では、第一の変化軸ＡＸ₁にかかる重み係数b_1,m（ｍ＝ｋ＋１，ｋ＋２，ｋ＋３，・・・）を低減する閾値次数ｋを、顔形状の変化度に基づいて設定する。本方法の変化画像生成工程Ｓ５０では、閾値次数ｋよりも高次の重み係数b_1,mをゼロにすることで元画像ＯＩＭの顔形状を変化させる。

図９は、第一変化画像ＩＭ₁を生成する変化画像生成工程Ｓ５０の詳細を示すフローチャートである。本方法では、顔形状の変化度として、累積寄与率（ＣＣＲ:cumulative contribution ratio）を用いる。

変化度算出部５２は、第一の変化軸ＡＸ₁にかかる重み係数b_1,iの累積寄与率（ＣＣＲ）を下式（３）により算出する。

ここで、累積寄与率ＣＣＲが低い低次側の基底のみから再構成された第一変化画像ＩＭ₁は、平均顔形状画像の影響を強く受け、被験者の局所的な見た目の印象が捨象された画像となる。言い換えると、適度な閾値次数ｋを設定し、それよりも高次側の基底を元画像ＯＩＭから除去することで、被験者の大局的な見た目の印象を残しつつ、元画像ＯＩＭが平均顔形状画像に近づいて均整が取れた顔形状となる。そして、閾値次数ｋが高すぎる場合には元画像ＯＩＭからの変化が過小であり、閾値次数ｋが低すぎる場合には元画像ＯＩＭからの変化が過大となって自然さが失われる。このため、式（３）を用いて、累積寄与率が適度な閾値（たとえば０．７〜０．９）となる臨界次数（閾値次数ｋ）を算出する。

すなわち、累積寄与率ＣＣＲと変化度とは負の相関があり、累積寄与率ＣＣＲが低い場合に元画像ＯＩＭの変化度が高いと判定することができる。これにより、第一変化画像ＩＭ₁による顔形状の変化率を所望に調整することができる。

閾値は変化度判定部５４に記憶されている。変化度判定部５４は、累積寄与率ＣＣＲと閾値とを大小判定する。本実施形態の変化画像生成部５０は、累積寄与率ＣＣＲが閾値に対応する値に至った、すなわち閾値次数ｋが変化度判定部５４で見つかったと判断した場合に、閾値次数ｋを最高次として第一変化画像ＩＭ₁を再構成する。

より具体的には、本実施形態の変化度算出部５２は、上式（１）における基底の最高次数（第ｎ次）から次数を１だけ減じ（ステップＳ５１）、第１次から第ｎ−１次までの累積寄与率ＣＣＲを算出する（ステップＳ５２１）。この累積寄与率ＣＣＲが閾値（たとえば０．９）を上回っていると変化度判定部５４が判定した場合（ステップＳ５３１：ＹＥＳ）、変化度算出部５２は第ｎ−１次および第ｎ次の重み係数b_1,n-1およびb_1,nをゼロとすることにより高次基底を除去する（ステップＳ５４）。
つづけて、変化度算出部５２はさらに基底次数を１だけ減じ（ステップＳ５１）、第１次から第ｎ−２次までの累積寄与率ＣＣＲを算出する（ステップＳ５２１）。変化度判定部５４はこの累積寄与率ＣＣＲを閾値と大小判定する。
このようにして累積寄与率ＣＣＲの更新と閾値との大小判定とを繰り返すことにより、累積寄与率ＣＣＲが閾値を下回ることとなる次数（ｋ次）が求まる（ステップＳ５３１：ＮＯ）。変化画像生成部５０は、ｋ次基底を除去せずこれを最高次として画像再構成をすることで第一変化画像ＩＭ₁を生成する。

本方法では、この閾値を段階的に低減することで、元画像ＯＩＭからの変化度が漸増する複数枚の第一変化画像ＩＭ₁を生成することができる。

具体的には、条件入力部２０（図２を参照）の操作により第一変化画像ＩＭ₁の生成の継続が選択されると（ステップＳ５６：ＮＯ）、変化度判定部５４は閾値を低減（たとえば０．９から０．８に低減）する（ステップＳ５７）。
変化度算出部５２は、この新しい閾値に達するまで基底の次数を低減（ステップＳ５１）して累積寄与率ＣＣＲを更新（ステップＳ５２１）し、高次基底を除去（ステップＳ５４）する。そして、累積寄与率ＣＣＲが新しい閾値以下となる閾値次数ｋが変化度判定部５４により見つかると（ステップＳ５３１：ＮＯ）、変化画像生成部５０は新たな第一変化画像ＩＭ₁を生成する（ステップＳ５５）。

かかる処理を繰り返すことにより、元画像ＯＩＭの変化度が漸増する複数枚の第一変化画像ＩＭ₁を生成することができる（図４を参照）。

第二の変化軸ＡＸ₂に関しては、第二の変化軸ＡＸ₂にかかる重み係数b_2,jに基づいて、モーフィング処理によるテクスチャの変化度を判定する。これにより、元画像ＯＩＭにおけるテクスチャの特徴を失うことなく、自然な範囲で元画像ＯＩＭのテクスチャを変化させた第二変化画像ＩＭ₂を生成することができる。

第二変化画像ＩＭ₂におけるテクスチャの変化度もまた累積寄与率ＣＣＲを用いて判定することが可能である。本実施形態の変形例では、累積寄与率ＣＣＲを用いてテクスチャの変化度を判定する（図１１を参照）。
本実施形態では、累積寄与率ＣＣＲに代えて元画像ＯＩＭと第二変化画像ＩＭ₂との変化度を演算する方法を以下に説明する。

変化度の演算方法を二通り説明する。いずれの方法も、第二変化画像ＩＭ₂と平均顔テクスチャ画像ＩＭ_2av（図４を参照）との距離を表す距離スコアを求めるものである。この距離スコアが小さいほど、第二変化画像ＩＭ₂が元画像ＯＩＭから大きく乖離して平均顔テクスチャ画像ＩＭ_2avに近接していることを意味するため、変化度は大きくなる。すなわち、距離スコアと変化度とは負の相関がある。

第一の方法では、第二変化画像ＩＭ₂の重み係数b_2,jの和を距離スコアｓ₁とする。この距離スコアｓ₁は、下式（４）に基づいて算出することができる。

距離スコアを演算する第二の方法は、テクスチャ変化後の第二変化画像ＩＭ₂の基底ベクトルｅの寄与率を考慮した重み係数b_2,jの積和を距離スコアｓ₂とする。この距離スコアｓ₂は下式（５）、（６）に基づいて算出することができる。ただし、式（５）中、ｔおよびｕはそれぞれ自然数である。

上式（６）で求まるｗ_iは基底ベクトルｅの次数ごとの寄与率を表している。この寄与率（任意の重率ｔを乗じてよい）と、重み係数ｂの二乗（こちらも任意の重率ｕを乗じてよい）との積和演算により、距離スコアｓ₂を算出することができる。

すなわち本方法では、基底ベクトルｅの寄与率と重み係数ｂとの積和演算に基づいて平均顔テクスチャと第二変化画像ＩＭ₂における顔のテクスチャとの距離を表す距離スコアｓ₂を算出し、算出された距離スコアｓ₂に基づいて変化度を判定してもよい。

かかる距離スコアｓ₂を用いることで、基底ベクトルｅの寄与率が強調してテクスチャの変化度が定量化される。このため、第二変化画像ＩＭ₂の見た目の印象を正確に定量化することができる。

図１０は、第二変化画像ＩＭ₂を生成する変化画像生成工程Ｓ５０の詳細を示すフローチャートである。
本実施形態では、変化度算出部５２は、基底の最高次から次数を１ずつ減じるたびに（ステップＳ５１）、変化度として距離スコアｓ₂を算出する（ステップＳ５２２）。

変化度判定部５４には、元画像ＯＩＭからの変化が自然であると目視される限界を示す官能評価値である自然目視限界が記憶されている。変化度判定部５４は、距離スコアｓ₂が自然目視限界よりも小さい場合（ステップＳ５３２：ＹＥＳ）には、高次基底を除去する（ステップＳ５４）。

そして、高次基底が徐々に除去されて基底が元画像ＯＩＭから平均顔テクスチャ画像ＩＭ_2avに近づき距離スコアｓ₂が自然目視限界に達すると（ステップＳ５３２：ＮＯ）、変化度判定部５４は、そのときの基底次数を閾値次数ｋとして第二変化画像ＩＭ₂を再構成する（ステップＳ５５）。

すなわち本方法では、第二の変化軸ＡＸ₂にかかる重み係数b_2,jのうち所定の閾値次数ｋよりも高次の重み係数b_1,m（ｍ＝ｋ＋１，ｋ＋２，ｋ＋３，・・・）を低減してモーフィング処理を行う。

このようにして、元画像ＯＩＭから自然に見える範囲における最大限度でテクスチャを変化させた第二変化画像ＩＭ₂が変化画像生成部５０で生成される。かかる第二変化画像ＩＭ₂は出力部７０で表示出力される（図１：出力工程Ｓ７０）。

言い換えると、本方法では、変化度が所定の上限値（自然目視限界）を超えないと判定された第二変化画像ＩＭ₂のうち、閾値次数ｋがもっとも低い第二変化画像ＩＭ₂を少なくとも出力する。

これにより、被験者の特徴を失わない範囲においてもっともテクスチャを変化させた第二変化画像ＩＭ₂が出力される。そして、本方法によれば、第一変化画像ＩＭ₁と第二変化画像ＩＭ₂が、それぞれ元画像ＯＩＭからの自然な見え方が維持された範囲において生成される。このため、重み係数b_1,iおよびb_2,jを共に変化させた重畳変化画像ＩＭ_SPに関しても、被験者の特徴を失わずに自然な見え方のものを生成することができる。

図１１は、第三実施形態において第一変化画像ＩＭ₁を生成する変化画像生成工程Ｓ５０の変形例の詳細を示すフローチャートである。本変形例の変化画像生成工程Ｓ５０は、美容手段抽出工程Ｓ５８を含む点で図９に示した第三実施形態と相違する。

本変形例の顔画像処理装置１００は、美容手段記憶部８０と美容手段抽出部８２とを備えている。美容手段記憶部８０は、変化画像（第一変化画像ＩＭ₁または第二変化画像ＩＭ₂）における決定因子ごとの変化度と美容手段とが対応づけられた美容手段選択テーブル（図１２を参照）を記憶する手段である。美容手段抽出部８２は、美容手段記憶部８０を参照して、変化画像が示す顔を被験者に実現する美容手段を抽出する手段である。美容手段抽出部８２が抽出した美容手段は、対応する変化画像とともに出力部７０で出力される。これにより、被験者が希望するような顔形状、テクスチャまたは色となるための美容手段が提示される。

すなわち本変形例は、上記の顔画像処理方法（図１：顔画像取得工程Ｓ１０から出力工程Ｓ７０）を用いた美容カウンセリング方法を提供するものである。この美容カウンセリング方法は、化粧料の塗布または美容施術の適用による顔の形状、テクスチャまたは色の変化と、第一変化画像ＩＭ₁または第二変化画像ＩＭ₂と、を対応づけて出力することを特徴とする。

より具体的には、本変形例では、元画像ＯＩＭのテクスチャを変化させた変化画像（第一変化画像ＩＭ₁または第二変化画像ＩＭ₂）を複数枚生成するとともに、被験者の顔が変化画像における顔形状、テクスチャまたは色となるためのについてのカウンセリングを行う。

図１２は、美容手段選択テーブルの例を示す図である。この美容手段選択テーブルは、顔形状テーブル、テクスチャテーブルまたは色テーブルから選択された属性データに基づいて顔画像データベース９０から抽出されたサンプル画像ＳＩＭの母集団ごとに、かつ決定因子の変化量ごとに、美容手段を対応づけたものである。

美容手段としては、一種または二種以上の化粧料の選択、化粧料の使用量または使用方法、美容施術の選択などが例示される。
たとえば、顔形状を変化させるための美容手段としては、目を大きく見せるメイク、二重瞼にするための液体糊（二重糊）、小顔マッサージなどが例示される。
顔のテクスチャまたは色を変化させるための美容手段としては、ファンデーションやコンシーラーなどのベースメイクや、ポイントメイクをはじめとする種々の化粧料が挙げられる。

たとえば、顔形状を変化させた第一変化画像ＩＭ₁を生成するためのサンプル画像ＳＩＭの母集団（日本人の女性を示す属性データｆ１かつｆ５の場合は、母集団１）ごとに、顔形状の変化度の程度に応じて美容手段Ａ、Ｂ、Ｃ、・・・が美容手段選択テーブルに記憶されている。そして、変化画像生成部５０が複数枚の第一変化画像ＩＭ₁を生成するごとに、変化度算出部５２が算出した変化度に対応する美容手段を美容手段抽出部８２は抽出して出力部７０にて提示する。このため、被験者は第一変化画像ＩＭ₁または第二変化画像ＩＭ₂として元画像ＯＩＭを単に変化させるだけでなく、これを実現する美容手段を具体的に知ることができる。

また、本発明の顔画像処理方法は、複数の工程を順番に記載してあるが、その記載の順番は複数の工程を実行する順番やタイミングを限定するものではない。このため、本発明の顔画像処理方法を実施するときには、その複数の工程の順番は内容的に支障のない範囲で変更することができ、また複数の工程の実行タイミングの一部または全部が互いに重複していてもよい。たとえば、上記実施形態では顔画像取得工程Ｓ１０の後に変化軸設定工程Ｓ３０および母集団生成工程Ｓ３４を行う場合を例示したが、これに代えて、変化軸設定工程Ｓ３０および母集団生成工程Ｓ３４の後に顔画像取得工程Ｓ１０を行ってもよい。また、図１では変化画像生成工程Ｓ５０を繰り返すごとに母集団生成工程Ｓ３４を行っているが、本発明はこれに限られない。複数の変化軸を予め設定して主成分分析を行ったうえで第一変化画像ＩＭ₁および第二変化画像ＩＭ₂を生成してもよい。

１０ 撮像部
１２ 規格化部
２０ 条件入力部
４０ 主成分分析部
５０ 変化画像生成部
５２ 変化度算出部
５４ 変化度判定部
６０ 抽出部
７０ 出力部
８０ 美容手段記憶部
８２ 美容手段抽出部
９０ 顔画像データベース
９２ 基底記憶部
９５ バス
１００ 顔画像処理装置

Claims (14)

1. 複数のサンプル画像を含む顔画像データベースから一部のサンプル画像を抽出して母集団を生成し、
   前記母集団から複数次の基底ベクトルを算出し、
   顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択（重複選択を含む）された少なくとも第一の変化軸および前記顔のテクスチャを示す第二の変化軸についてそれぞれ主成分分析して前記複数次の基底ベクトルの重み係数を算出し、
   前記第一の変化軸にかかる前記重み係数を変更した第一変化画像を生成し、
   前記第二の変化軸にかかる前記重み係数のうち閾値次数よりも高次の重み係数を低減し、前記母集団に属するサンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をモーフィング処理して第二変化画像を生成し、
   前記第一変化画像と前記第二変化画像とを互いに対比して出力する、
   ことを含み、
   前記第二変化画像の生成は、
   前記算出された重み係数に基づいて前記モーフィング処理によるテクスチャの変化度を判定し、
   前記変化度に基づいて前記閾値次数を変更する、
   ことを含み、変更された閾値次数に基づいて前記第二変化画像を再構成する、
   ことを特徴とする顔画像処理方法。
2. 前記第一の変化軸および前記第二の変化軸にかかる前記重み係数をそれぞれ多段階に変更した重畳変化画像を生成し、前記第一変化画像または前記第二変化画像と対比して前記重畳変化画像をさらに出力することを特徴とする請求項１に記載の顔画像処理方法。
3. 前記第一の変化軸が前記顔の形状であり、前記母集団に属する前記サンプル画像の顔の形状を平均した平均顔形状に向かって前記顔画像をワーピング処理して前記第一変化画像を生成する請求項１又は２に記載の顔画像処理方法。
4. 前記第一の変化軸にかかる前記重み係数のうち所定の閾値次数よりも高次の前記重み係数を低減して前記ワーピング処理を行う請求項３に記載の顔画像処理方法。
5. 前記第一の変化軸が前記顔の大局的な見た目の印象を表す第一のテクスチャであり、
   前記第二の変化軸が前記顔の質感を表す第二のテクスチャであり、
   前記第一変化画像の生成は、
   前記第一の変化軸にかかる前記重み係数のうち前記第一の変化軸の閾値次数よりも高次の重み係数を低減し、前記母集団に属するサンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をモーフィング処理して前記第一変化画像を生成し、
   前記第一の変化軸にかかる前記重み係数に基づいて前記モーフィング処理によるテクスチャの変化度を判定し、
   前記変化度に基づいて前記第一の変化軸の前記閾値次数を変更し、
   前記変更された閾値次数に基づいて前記第一変化画像を再構成する、
   ことを含む、
   請求項１又は２に記載の顔画像処理方法。
6. 前記顔画像データベースは、質感が異なる複数通りの化粧方法をそれぞれ施した顔が撮像された前記サンプル画像を含み、
   前記複数通りから前記化粧方法を選択して前記母集団を生成する、
   請求項１から５のいずれか１項に記載の顔画像処理方法。
7. 前記変化度が所定の上限値を超えないと判定された前記第二変化画像のうち、前記閾値次数がもっとも低い前記第二変化画像を少なくとも出力する請求項１から６のいずれか１項に記載の顔画像処理方法。
8. 前記基底ベクトルの寄与率と前記重み係数との積和演算に基づいて前記平均顔テクスチャと前記第二変化画像における前記顔のテクスチャとの距離を表す距離スコアを算出し、
   算出された前記距離スコアに基づいて前記変化度を判定する、
   ことを特徴とする請求項１から７のいずれか一項に記載の顔画像処理方法。
9. 請求項１から８のいずれか一項に記載の顔画像処理方法を用いた美容カウンセリング方法であって、
   化粧料の塗布または美容施術の適用による顔の形状、テクスチャまたは色の変化と、前記第一変化画像または前記第二変化画像と、を対応づけて出力することを特徴とする美容カウンセリング方法。
10. 複数のサンプル画像を格納する顔画像データベースと、
    サンプル画像を抽出する条件の入力を受け付ける条件入力手段と、
    受け付けた前記条件に従って前記顔画像データベースから前記サンプル画像を抽出して母集団を生成する抽出手段と、
    前記母集団から複数次の基底ベクトルを算出し、顔の少なくとも一部が撮像された顔画像に関して、前記顔の形状、テクスチャまたは色より選択（重複選択を含む）された少なくとも第一の変化軸および前記顔のテクスチャを示す第二の変化軸についてそれぞれ主成分分析して前記複数次の基底ベクトルの重み係数を算出する主成分分析手段と、
    前記第一の変化軸にかかる前記重み係数を変更した第一変化画像を生成し、前記第二の変化軸にかかる前記重み係数のうち閾値次数よりも高次の重み係数を低減し、前記母集団に属する前記サンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をモーフィング処理して第二変化画像を生成する変化画像生成手段と、
    前記算出された重み係数に基づいて前記モーフィング処理によるテクスチャの変化度を算出する変化度算出手段と、
    前記変化度に基づいて前記閾値次数を変更する変化度判定手段と、
    前記第一変化画像と前記第二変化画像とを互いに対比して出力する画像出力手段と、
    を備え、
    前記変化画像生成手段は、前記変更された閾値次数に基づいて前記第二変化画像を再構成する、
    顔画像処理装置。
11. 前記顔画像データベースに格納された複数枚の前記サンプル画像は、目、鼻および口の位置が規格化されている請求項１０に記載の顔画像処理装置。
12. 前記第一の変化軸が前記顔の形状であり、
    前記変化画像生成手段は、前記母集団に属する前記サンプル画像の顔の形状を平均した平均顔形状に向かって前記顔画像をワーピング処理して前記第一変化画像を生成する、
    請求項１０又は１１に記載の顔画像処理装置。
13. 前記変化画像生成手段は、前記第一の変化軸にかかる前記重み係数のうち閾値次数よりも高次の前記重み係数を低減して前記ワーピング処理を行う、
    請求項１２に記載の顔画像処理装置。
14. 前記第一の変化軸が前記顔の大局的な見た目の印象を表す第一のテクスチャであり、
    前記第二の変化軸が前記顔の質感を表す第二のテクスチャであり、
    前記変化画像生成手段は、前記第一の変化軸にかかる前記重み係数のうち前記第一の変化軸の閾値次数よりも高次の重み係数を低減し、前記母集団に属する前記サンプル画像の顔のテクスチャを平均した平均顔テクスチャに向かって前記顔画像をモーフィング処理して前記第一変化画像を生成し、
    前記変化度算出手段は、前記第一の変化軸にかかる前記重み係数に基づいて前記モーフィング処理によるテクスチャの変化度を算出し、
    前記変化度判定手段は、前記変化度に基づいて前記第一の変化軸の前記閾値次数を変更し、
    前記変化画像生成手段は、前記変更された閾値次数に基づいて前記第一変化画像を再構成する、
    請求項１０又は１１に記載の顔画像処理装置。

Images