JP2011048748A - 画像処理装置 - Google Patents

Abstract

【課題】顔の特徴部位の座標位置の検出処理の精度向上が望まれていた。
【解決手段】画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を平滑化する平滑化処理部と、上記平滑化された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。上記平滑化処理部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲の画像を平滑化する。
【選択図】図１０

Description

本発明は、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。

視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な顔の形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１参照。）。

特開２００７‐１４１１０７号公報

ここで、顔の特徴部位の位置の検出処理においては、処理対象となる注目画像から、顔の特徴部位に対応していると想定されるポイント（特徴点）に囲まれた画像範囲の画素をサンプリングしつつ一定形状の画像にアフィン変換し、当該アフィン変換後の画像と上記平均的な形状および見えの顔画像とを比較することにより、上記顔の特徴部位に対応していると想定されたポイントに対する評価（特徴部位の座標位置に近いか否かの評価）を行なう。

しかしながら上述した検出処理においては、上記アフィン変換の過程でのサンプリングの際に、所要のサンプリング率で画素を単純に抽出していたため、上記アフィン変換の結果得られる画像は、画質が低くノイズを含み得るような画像であった。そのため、このような変換の結果得られた画像に基づいた上記評価の精度は十分に高いものとは言えず、結果、上記特徴部位の位置の検出精度を高い水準とすることが難しかった。
また上記検出処理においては、上記サンプリングの際に、注目画像全体を対象として画素を走査し必要な画素を抽出していたため、検出処理に多くの時間を要していた。

本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の高精度化・高速化を図ることを目的とする。

本発明の態様の一つは、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を平滑化する平滑化処理部と、上記平滑化された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。
本発明によれば、注目画像における顔領域を含む所定範囲の画像を平滑化した後に上記特徴部位の座標位置の検出処理を実行するため、ノイズの影響を受けて当該検出結果がぶれてしまうことが防止され、従来よりも当該検出処理の高精度化が実現される。なお、顔領域を含む所定範囲とは、注目画像全体であってもよいし、注目画像内における一部範囲であってもよい。また上記特徴部位とは、例えば、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインとの一部について良好に座標位置を検出することができる。

上記平滑化処理部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲の画像を平滑化するとしてもよい。当該構成によれば、顔の特徴部位の座標位置を検出するために必要十分な画像範囲を確実に平滑化することができる。

上記特徴位置検出部は、上記顔領域の位置に基づいて、上記平滑化された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、上記平滑化された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、上記算出した差分値に基づいて、上記特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、平均形状画像と平均顔画像との差分値に基づいて、上記特徴点の設定位置を補正して、特徴部位の座標位置を検出するため、画像に含まれる顔の特徴部位の位置を良好に検出することができる。

上記平滑化処理部は、上記平滑化の対象となる範囲の画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに平滑化を行なうとしてもよい。当該構成によれば、上記平均形状画像と上記平均形状画像との明るさや色彩を近づけることができるため、その時の特徴点の設定位置以外の要因によって上記差分値がなかなか小さくならない（収束しない）といった不都合を回避することができ、結果、上記検出処理の高速化・高精度化がより一層図られる。

上記平滑化処理部は、上記平滑化の対象となる範囲のサイズに応じてフィルターサイズが異なる平滑化フィルターを用いて平滑化を行なうとしてもよい。当該構成によれば、平滑化の対象となる範囲のサイズに応じた最適なフィルター処理により平滑化を行なうことができる。

上記平滑化がされた範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部とを備え、上記特徴位置検出部は、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する構成としてもよい。本発明によれば、注目画像のうち平滑化された範囲をトリミングして所定サイズに変換した後の画像を対象として、上記特徴部位の座標位置の検出処理を実行するため、当該検出処理の際に走査対象となる画像が注目画像全体よりも狭いものとなり、結果、従来よりも当該検出処理の高速化が実現される。

上記特徴位置検出部は、上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、当該サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、当該差分値に基づいて、当該サイズが変換された画像における特徴点の設定位置を更新する処理を、当該差分値が所定のしきい値より小さい値となるまで繰り返し実行し、上記差分値がしきい値より小さい値となった場合、当該サイズが変換された画像における特徴点の配置を当該サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、上記サイズが変換された画像上において、特徴点の設定位置を、実際に写っている顔の特徴部位の位置との一致率が極めて高い状態にまで補正することができ、その上で上記サイズが変換された画像における特徴点の配置を注目画像において再現し、さらに、この注目画像における特徴点の設定位置を特徴部位の座標位置に近づけるように補正するため、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。

上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行するとしてもよい。上述したように上記サイズが変換された画像において設定位置が適切に補正された後の特徴点の配置が注目画像において再現された時点で、当該再現された配置にかかる特徴点は注目画像内の特徴部位の位置をかなり正確に示していると言える。そのため、注目画像における特徴点の設定位置を更新する処理は予め規定された回数を上限として実行するだけで、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。

本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能なプログラムの発明をも把握可能である。

画像処理装置としてのプリンターの構成を概略的に示す説明図である。 ＡＡＭ設定処理を示すフローチャートである。 サンプル画像ＳＩの一例を示す説明図である。 サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。 サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。 平均形状ｓ_０の一例を示す説明図である。 形状ベクトルｓ_ｉおよび形状パラメーターｐ_ｉと顔の形状ｓとの関係を例示した説明図である。 サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。 平均顔画像Ａ_０（ｘ）の一例を示す説明図である。 顔特徴位置検出処理を示すフローチャートである。 注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。 特徴点ＣＰの初期位置設定処理を示すフローチャートである。 グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。 平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。 注目画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。 顔特徴位置検出処理の結果の一例を示す説明図である。 グローバルパラメーターに応じて顔領域を基準にして特定される各範囲の一例を示した図である。 第２実施例にかかる顔特徴位置検出処理を示すフローチャートである。 注目画像ＯＩから画像をトリミングしてアフィン変換する様子の一例を示した図である。 グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。 第２実施例にかかる注目画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。

以下、本発明の実施例を図面を参照しながら説明する。
１．第１実施例
１‐１．画像処理装置の構成
図１は、本実施例にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェース（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。

印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の座標位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。

画像処理部２００は、プログラムモジュールとして、平滑化処理部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、トリミング部２５０と、変換部２６０と、を含んでいる。特徴位置検出部２２０は、設定部２２１と、生成部２２２と、算出部２２４と、補正部２２６と、を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。

表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。

内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。

１‐２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。

はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。

次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。

図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩの各特徴点ＣＰを示している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。

つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。

上記式（１）において、ｓ_０は平均形状である。
図６は、平均形状ｓ_０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ_０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ_０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ_０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。

形状モデルを表す上記式（１）において、ｓ_ｉは形状ベクトルであり、ｐ_ｉは形状ベクトルｓ_ｉの重みを表す形状パラメーターである。形状ベクトルｓ_ｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ_０とｎ個の形状ベクトルｓ_ｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐ_ｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。

図７は、形状ベクトルｓ_ｉおよび形状パラメーターｐ_ｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓ_ｉとして採用される。形状ベクトルｓ_ｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ_１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ_１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ_２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ_２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ_３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ_４は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。

なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ_０および形状ベクトルｓ_ｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ_０および形状ベクトルｓ_ｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。

つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ_０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。

図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ_０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ_０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ_０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。

なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。

次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。

上記式（２）において、Ａ_０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ_０（ｘ）の一例を示す説明図である。平均顔画像Ａ_０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ_０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ_０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ_０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。

テクスチャーモデルを表す上記式（２）において、Ａ_ｉ（ｘ）はテクスチャーベクトルであり、λ_ｉはテクスチャーベクトルＡ_ｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡ_ｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡ_ｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ_１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。

上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ_０（ｘ）とｍ個のテクスチャーベクトルＡ_ｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλ_ｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ_０（ｘ）およびテクスチャーベクトルＡ_ｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ_０（ｘ）およびテクスチャーベクトルＡ_ｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。

以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ_０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。

１‐３．顔特徴位置検出処理
図１０は、本実施例における顔特徴位置検出処理の流れを示すフローチャートである。顔特徴位置検出処理は、ＡＡＭ情報ＡＭＩを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。

なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐ_ｉや、テクスチャーパラメーターλ_ｉの値が特定される。従って、顔特徴位置検出処理の結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。

はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。

顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２２０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。

図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。

次に、平滑化処理部２１０（図１）が、顔領域ＦＡを含む所定範囲の画像を平滑化（スムージング）する（ステップＳ２３０）。この場合、平滑化処理部２１０は、所定の平滑化フィルターを用いて、例えば、注目画像ＯＩ全体を平滑化する。平滑化フィルターとしては、注目画素を含む周辺画素の画素値を平均化した値を注目画素の値とすることにより画像のノイズを低減する移動平均フィルターを用いることができる。或いは、注目画素を含む周辺画素の画素値に所定の重み付けをして加算して得た値を注目画素の値とすることにより画像のノイズを低減するガウシアンフィルターを用いるとしてもよい。

ただし、注目画像ＯＩ全体を平滑化することは処理負担が大きいため、平滑化処理部２１０は、顔領域ＦＡを含みつつ、以降の特徴部位の位置検出に最低限必要な範囲のみを、平滑化するとしてもよい。この場合、平滑化処理部２１０は、まず、平滑化すべき範囲（平滑化範囲ＳＡ）を、所定のグローバルパラメーターに応じて顔領域ＦＡを基準にして特定する。グローバルパラメーターとは、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置をそれぞれ表す各パラメーターであり、後述する特徴点ＣＰの初期位置設定処理（ステップＳ２４０）の際に用いられる数値である。グローバルパラメーターは、内部メモリー１２０の所定領域に予め格納されている。本実施例では、当該グローバルパラメーターを、平滑化範囲ＳＡを特定する際にも用いる。

図１７は、各グローバルパラメーターに応じて顔領域ＦＡを基準にして特定される各範囲を例示している。図１７（ａ）では、顔画像を想定した所定形状（例えば、楕円）Ｃについて、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターに応じて大きさを変化させた状態を示している。図１７（ｂ）は、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターによって決定される各位置および、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターによって決定される各位置に、上記所定形状Ｃ（大きさは標準）を配置した状態を示している。図１７（ｃ）は、上記所定形状Ｃ（大きさは標準）について、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターに応じて傾きを変化させた状態を示している。

平滑化処理部２１０は、本実施例では、上述したような４種類のグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせることにより顔領域ＦＡを基準にして特定される合計８１通りの範囲の、全てを含む矩形の範囲を、平滑化範囲ＳＡとして特定する。平滑化範囲ＳＡの上下左右の各辺は、顔領域ＦＡの上下左右の各辺とそれぞれ平行であるとする。そして、このように特定した平滑化範囲ＳＡの画像のみを対象として、平滑化処理部２１０は、所定の平滑化フィルターを用いて平滑化処理を行う。

特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２４０）。
図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。この場合、設定部２２１は、上述したグローバルパラメーターの値を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。

図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。設定部２２１は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ_０における特徴点ＣＰ間の配置と等しい特徴点ＣＰ間の配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡに対する大きさ、傾き、位置を調整したメッシュを設定する。最も平均的なグローバルパラメーターの組み合わせとは、これまでに述べた例で言えば、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。

設定部２２１は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２２１は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

また、図１３（ｂ）に示すように、設定部２２１は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

設定部２２１は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。なお、図１３（ａ）および図１３（ｂ）の中央においては、顔領域ＦＡよりも一回り大きな矩形を例示しており、当該矩形は平滑化範囲ＳＡである。本実施例では、上述したように、注目画像ＯＩ内で少なくとも平滑化範囲ＳＡの画像領域については平滑化がなされている。また、上記８１通りの仮設定位置にかかる特徴点ＣＰは、全て平滑化範囲ＳＡ内に存在する。

生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩにおける特徴点ＣＰの配置が平均形状ｓ_０における特徴点ＣＰの配置と等しくなるような変換によって算出される。

平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ_０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ_０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。このような平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平滑化された画像の一部を特徴点ＣＰの配置が所定の配置となるように変換した画像である。

なお、上述したように画素群ｘは、平均形状ｓ_０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。

算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出する。

設定部２２１は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰの初期位置設定処理が完了する。

特徴位置検出部２２０（図１）は、上記ステップＳ２４０において初期位置として設定された特徴点ＣＰの設定位置の補正を行う（ステップＳ２５０）。
図１５は、ステップＳ２５０で実行する特徴点ＣＰの設定位置補正処理の流れを示すフローチャートである。

生成部２２２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰの初期位置設定処理におけるステップＳ３２０と同様である。

算出部２２４は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、特徴位置検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。

ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐ_ｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰの初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ_０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐ_ｉの値はすべてゼロである。

パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。

式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐ_ｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ_０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。

式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐ_ｉを指し、Ｔは転置行列を意味する。

補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように特徴点ＣＰの設定位置を補正する。すなわち、上記ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。このようにパラメーターの更新に応じて注目画像ＯＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。

パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。

図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置検出処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。

図１６は、顔特徴位置検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の座標位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また、表情判定や顔向き判定をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値と、しきい値とを比較することで表情や顔向きを判定することができる。また、顔画像の変形をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値を変更することにより顔の形状を良好に変形することができる。

以上説明したように、本実施例の画像処理装置によれば、注目画像ＯＩにおいて少なくとも、顔領域ＦＡを含み且つ特徴点ＣＰの初期位置設定の際に特徴点ＣＰの位置設定対象となり得る画像領域の全てを含む範囲を、平滑化してノイズを低減させる。そして、当該平滑化がされた画像において、顔の特徴部位の座標位置を検出するための特徴点ＣＰの設定（設定位置の最適化）を行なうとした。つまり、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２４０）や特徴点ＣＰの設定位置補正処理（ステップＳ２５０）の対象となる画像を高画質化することで、生成される平均形状画像もノイズの少ない画像となる。よって、平均形状画像と平均顔画像との比較（差分画像Ｉｅ）に基づいた収束判定やパラメーター量の更新処理も、ノイズの影響を受けることなく正確性が増し、結果、顔の特徴部位の位置検出精度が向上する。

本実施例に係る画像処理装置によれば、設定部２２１は、グローバルパラメーターを用いて、特徴点ＣＰを設定するため、画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、注目画像ＯＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰの設定位置補正処理において、補正部２２６による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。

２．第２実施例
上記第１実施例では、注目画像ＯＩに仮設定した特徴点ＣＰに基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成し、これを平均顔画像Ａ_０（ｘ）と比較することにより、注目画像ＯＩにおける特徴点ＣＰの位置の初期設定や補正（特徴店ＣＰの設定位置を特徴部位の位置へ近づける処理）を行っていた。しかし本発明は、このような実施態様に限られることはなく、例えば、特徴点ＣＰの初期位置設定処理（第１実施例においては、図１０のステップＳ２４０）や特徴点ＣＰの設定位置補正処理（第１実施例においては、図１０のステップＳ２５０）の対象となる画像を、注目画像ＯＩからトリミングし、トリミング後の画像に基づいてこれら２種類の処理を行うようにしてもよい。

図１８は、第２実施例における顔特徴位置検出処理のフローチャートを示している。図１８のステップＳ５１０〜Ｓ５３０は、第１実施例における顔特徴位置検出処理のフローチャート（図１０）のＳ２１０〜Ｓ２３０と同じである。
ステップＳ５４０において、トリミング部２５０（図１）は、顔領域ＦＡを含む所定範囲の画像を注目画像ＯＩからトリミングする。ここで言う顔領域ＦＡを含む所定範囲とは、平滑化処理部２１０によって平滑化された平滑化範囲ＳＡである。

次に、変換部２６０（図１）が、注目画像ＯＩからトリミングされた画像（トリミング画像と呼ぶ。）のサイズが所定サイズとなるように、当該トリミング画像をアフィン変換し、当該アフィン変換後の画像を内部メモリー１２０の所定領域に保存する（ステップＳ５５０）。このように保存された画像は、特徴点ＣＰの初期位置設定処理（ステップＳ５６０）および設定位置補正処理（ステップＳ５７０）の対象となる画像（検出対象画像ＣＩと呼ぶ。）である。ここで言う所定サイズとは、縦横の長さがそれぞれ平均顔画像Ａ_０（ｘ）の縦横の長さの１倍以上かつ２倍以内程度のサイズを言う。上述したように平均顔画像Ａ_０（ｘ）のサイズが縦横５６画素×５６画素である場合には、例えば、縦横１００画素×１００画素を当該所定サイズとする。

図１９は、ある注目画像ＯＩからトリミング画像をアフィン変換して、所定サイズ（縦横１００画素×１００画素）の検出対象画像ＣＩを生成した様子を示している。図１９では、注目画像ＯＩ内のトリミングされる範囲（平滑化範囲ＳＡ）を実線で示している。注目画像ＯＩのサイズや顔領域ＦＡのサイズにもよるが、平滑化範囲ＳＡが上記所定サイズよりも大きい場合には、トリミング画像に対するアフィン変換において画像の縮小が行なわれる。一方、平滑化範囲ＳＡが上記所定サイズよりも小さい場合には、トリミング画像に対するアフィン変換において画像の拡大が行なわれる。また、注目画像ＯＩに含まれている顔画像の上下方向は、注目画像ＯＩの上下方向に対して傾いていることもあり、その場合には、顔領域ＦＡおよび平滑化範囲ＳＡも注目画像ＯＩに対して傾くことになる。そこで変換部２６０は、トリミング画像に対する上記アフィン変換においては、当該傾きを無くす方向への回転処理を伴ったサイズ変換を行なう。

なお、平滑化処理部２１０は、平滑化範囲ＳＡのサイズに応じてフィルターサイズが異なる平滑化フィルターを用いて平滑化を行なうとしてもよい。例えば、平滑化範囲ＳＡのサイズが縦横３００画素×３００画素である場合、平滑化処理部２１０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（３００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横３画素×３画素とする。また、平滑化範囲ＳＡのサイズが縦横１５００画素×１５００画素である場合、平滑化処理部２１０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（１５００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横１５画素×１５画素とする。平滑化処理部２１０は、このように決定したガウシアンフィルターを上記平滑化範囲ＳＡの画素に適用して平滑化を行なう。また、平滑化範囲ＳＡに対する平滑化処理（ステップＳ５３０）とトリミング（ステップＳ５４０）との順番は、どちらが先でもよい。

特徴位置検出部２２０（図１）は、検出対象画像ＣＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ５６０）。つまり第１実施例の図１２において説明した処理を、検出対象画像ＣＩを対象として行なう。まず、設定部２２１は、グローバルパラメーターを種々変更して、特徴点ＣＰを検出対象画像ＣＩ上の仮設定位置に設定する（ステップＳ３１０）。

図２０は、検出対象画像ＣＩにおける特徴点ＣＰの仮設定位置の一例を示す説明図である。図２０（ａ）および図２０（ｂ）には、検出対象画像ＣＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。設定部２２１は、図２０（ａ）および図２０（ｂ）の中央に示すように、図１３（ａ）および図１３（ｂ）の中央と同様に、平均形状ｓ_０における特徴点ＣＰ間の配置と等しい特徴点ＣＰ間の配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡ（ただし、上記トリミング画像のサイズ変換に伴ってサイズ変換された後の顔領域ＦＡ）に対する大きさ、傾き、位置を調整したメッシュを設定する（基準仮設定位置を設定する）。

また、図１３（ａ）および図１３（ｂ）と同様、図２０（ａ）および図２０（ｂ）に示すように、設定部２２１は、基準仮設定位置に対してグローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。第２の実施例でも、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される合計８１通りの仮設定位置が設定される。

検出対象画像ＣＩに仮設定位置が設定されたら、生成部２２２（図１）は、各仮設定位置に対応する特徴点ＣＰの配置を平均形状ｓ_０における特徴点ＣＰの配置と等しくさせる変換によって平均形状画像Ｉ（Ｗ（ｘ；ｐ））生成する（ステップＳ３２０）。つまり生成部２２２は、検出対象画像ＣＩに仮設定された特徴点ＣＰによって特定した変換対象領域に対して、三角形領域ＴＡ毎のアフィン変換（ワープＷ）を行なうことにより、平均顔画像Ａ_０（ｘ）と同一サイズである平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。このような平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩからトリミングされてサイズ変換がされた画像（検出対象画像ＣＩ）の一部を特徴点ＣＰの配置が所定の配置となるように変換した画像である。設定部２２１は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との各差分画像Ｉｅの画素値から算出したノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置を、検出対象画像ＣＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。

特徴位置検出部２２０（図１）は、上記ステップＳ５６０において検出対象画像ＣＩに初期位置として設定された特徴点ＣＰの設定位置の補正を行う（ステップＳ５７０）。つまり第１実施例の図１５において説明した処理を、検出対象画像ＣＩを対象として行なう。むろん、この場合のステップＳ４１０では、生成部２２２（図１）は、検出対象画像ＣＩに設定された特徴点ＣＰに基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。また、ステップＳ４５０では、補正部２２６（図１）が、ステップＳ４４０で算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよび上記ｎ個の形状パラメーター）を更新することにより、検出対象画像ＣＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように検出対象画像ＣＩにおける特徴点ＣＰの設定位置を補正する。すなわち、上記ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを検出対象画像ＣＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを検出対象画像ＣＩに設定する。このようにパラメーターの更新に応じて検出対象画像ＣＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。

特徴位置検出部２２０は、収束判定（ステップＳ４３０）において収束したと判定すると、その時点で検出対象画像ＣＩに設定されている特徴点ＣＰの位置を、特徴部位の座標位置として検出することができる。第２実施例では、特徴位置検出部２２０は、上記収束判定において収束したと判定した場合、更に注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理を行なう（図１８のステップＳ５８０）。

図２１は、ステップＳ５８０で実行する特徴点ＣＰの設定位置補正処理を示すフローチャートである。
特徴位置検出部２２０は、ステップＳ５７０の処理において最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置を、注目画像ＯＩにおいて再現することにより、注目画像ＯＩ上に特徴点ＣＰを設定する（ステップＳ６１０）。具体的には、特徴位置検出部２２０は、当該最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置関係（メッシュ）を、検出対象画像ＣＩ（変更部２６０によってサイズが変更された画像）のサイズと上記トリミング画像のサイズとの比に応じて拡大或いは縮小する。つまり、変更部２６０が上記トリミング画像を縮小していた場合には、当該ステップＳ６１０では拡大し、変更部２６０が上記トリミング画像を拡大していた場合には、当該ステップＳ６１０では縮小を行なう。そして、当該拡大或いは縮小したメッシュの傾きおよび位置を、注目画像ＯＩにおける顔領域ＦＡを基準にして、ステップＳ５７０の処理において最終的に設定されたグローバルパラメーターに応じて調整した上で、当該メッシュにおける特徴点ＣＰを注目画像ＯＩに設定する。

次に、特徴位置検出部２２０は、ステップＳ６１０において特徴点ＣＰを設定した後の、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数（ステップＳ６７０の処理）が、予め規定された回数（上限回数）に達したか否か判定する（ステップＳ６２０）。特徴位置検出部２２０は、上限回数に達したと判定した場合に、顔特徴位置検出処理を完了させる（ステップＳ６８０）。上限回数は、例えば、３回程度といった少ない回数である。

ステップＳ６２０において、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数が上限回数に達していないと判定された場合、生成部２２２（図１）は、その時点で注目画像ＯＩに設定されている特徴点ＣＰの配置が平均形状ｓ_０における特徴点ＣＰの配置と等しくなるようにアフィン変換を行なうことで、平均顔画像Ａ_０（ｘ）と同一サイズの平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ６３０）。

算出部２２４は、ステップＳ６３０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ６４０）。特徴位置検出部２２０は、ステップＳ６４０で算出された差分画像Ｉｅに基づき特徴点ＣＰの設定位置補正処理が収束したか否か判定する（ステップＳ６５０）。つまり特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定する。特徴位置検出部２２０は、収束したと判定した場合は、上記ステップＳ６２０の“Ｙｅｓ”の判定と同様に、顔特徴位置検出処理を完了させる（ステップＳ６８０）。なお、ステップＳ６５０の収束判定で用いるしきい値は、ステップＳ５７０（図１８）における収束判定で用いるしきい値と同等かあるいはそれよりも低い値とする。なお、ここでもステップＳ４３０（図１５）と同様に、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ６５０において算出されたノルムの値よりも小さい場合には収束したと判定しても良い。或いは、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定してもよい。

ステップＳ６５０の収束判定において収束していないと判定された場合、補正部２２６（図１）は、ステップＳ４４０，Ｓ４５０（図１５）と同様に、パラメーター更新量ΔＰを算出し（ステップＳ６６０）、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよび上記ｎ個の形状パラメーター）を更新する（ステップＳ６７０）。なお、ステップＳ６１０で特徴点ＣＰを注目画像ＯＩに設定した直後においては、グローバルパラメーター及び上記ｎ個の形状パラメーターは、ステップＳ５７０の処理（図１８）における最後のパラメーター更新により得られた値が設定されている。

ステップＳ６７０の結果、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように注目画像ＯＩにおける特徴点ＣＰの設定位置を補正する。パラメーターの更新の後には、再度、ステップＳ６２０の判定がなされ、“Ｎｏ”の判定であれば、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ６３０）以降の処理が繰り返される。図２１のステップＳ６２０からＳ６７０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていく。特徴位置検出部２２０は、顔特徴位置検出処理を完了させた（ステップＳ６８０）時点で設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置を、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定する。

第２実施例では、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理（ステップＳ５７０の内容としての図１５のステップＳ４１０〜Ｓ４５０の処理）の繰り返しに関して、回数上の制限を設けていない（ノルムが最適化されるまで繰り返すことが可能）。一方、上述したように、注目画像ＯＩ上での特徴点ＣＰの設定位置補正処理の繰り返しに関しては、回数の上限を設けている。これは、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理を経て、注目画像ＯＩに特徴点ＣＰを設定した時点（ステップＳ６１０）で既に、特徴点ＣＰの位置は、注目画像ＯＩにおける実際の特徴部位の位置に全体的にかなり近い状態にあるからである。つまり、注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理に関しては、特徴点ＣＰの設定位置の更新を少ない回数行なうだけで、その設定位置を、注目画像ＯＩの実際の特徴部位の位置に高精度にマッチさせることができる。そのため、特徴部位の位置検出の精度と処理スピードのバランスを考慮して、上述したような上限回数を設けているのである。

３．変形例
本発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。本発明は、例えば以下のような変形も可能である。

平滑化処理部２１０（図１）は、平滑化の対象となる範囲の画像に対して、明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を平均顔画像Ａ_０（ｘ）に近づける補正処理を行うとしてもよい。この場合、プリンター１００は、平均顔画像Ａ_０（ｘ）についての明るさの基準値、輝度範囲（ダイナミックレンジ）、色彩の基準値、を内部メモリー１２０に予め格納しておく。つまり、ＡＡＭ設定処理を行う上記コンピューター３００は、平均顔画像Ａ_０（ｘ）に基づいて明るさの基準値、輝度範囲、色彩の基準値、を予め生成し、これら生成した各値をプリンター１００に保持させておく。ここで言う明るさの基準値とは、例えば、平均顔画像Ａ_０（ｘ）の平均形状領域ＢＳＡ内における輝度値の平均である。また、輝度範囲とは、例えば、平均顔画像Ａ_０（ｘ）の平均形状領域ＢＳＡにおける輝度範囲である。また、色彩の基準値とは、例えば、平均顔画像Ａ_０（ｘ）の平均形状領域ＢＳＡ内におけるＲ，Ｇ，Ｂ毎の平均値の比（カラーバランス）である。なお、このような明るさの基準値、輝度範囲、色彩の基準値は、プリンター１００（画像処理装置）自身が、ＡＡＭ情報ＡＭＩとしての平均顔画像Ａ_０（ｘ）に基づいて生成するとしてもよい。

このような前提において、平滑化処理部２１０、注目画像ＯＩにおける平滑化範囲ＳＡの輝度平均値を求める。そして、当該輝度平均値と上記平均顔画像Ａ_０（ｘ）の明るさの基準値との差分を算出し、当該差分に応じて（例えば、当該差分に応じた補正度合を持ったγカーブによって）平滑化範囲ＳＡの輝度を補正する。また、平滑化処理部２１０は、平滑化範囲ＳＡの画像における輝度範囲が、上記平均顔画像Ａ_０（ｘ）の輝度範囲と略等しくなるように、平滑化範囲ＳＡの輝度範囲を拡大させる（コントラスト拡大処理をする）。また、平滑化処理部２１０は、平滑化範囲ＳＡの画像におけるＲＧＢ毎の平均値の比を求めるとともに、当該求めた比が上記平均顔画像Ａ_０（ｘ）の色彩の基準値と略等しくなるように、平滑化範囲ＳＡのＲＧＢ毎の分布を補正する。そして、平滑化処理部２１０は、このように明るさ、コントラスト、色彩の全部或いは一部の補正を、平滑化後の画像に対して施しても良いし、平滑化する前の画像に対して施しても良い。

この結果、注目画像ＯＩや検出対象画像ＣＩからアフィン変換によって生成される平均形状画像Ｉ（Ｗ（ｘ；ｐ））も、その明るさやコントラストや色彩が平均顔画像Ａ_０（ｘ）に近いものとなる。そのため、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との比較結果（差分画像Ｉｅやノルム）は、純粋に、そのとき注目画像ＯＩや検出対象画像ＣＩに設定されている特徴点ＣＰの位置の良し悪し（特徴部位の位置との一致度合い）を表すものとなり、よって、特徴部位の位置検出の高速化・高精度化がより一層図られる。

上述した第２実施例では、特徴点ＣＰの初期位置設定（図１８のステップＳ５６０）および特徴点ＣＰの設定位置補正（図１８のステップＳ５７０）の両方について、検出対象画像ＣＩに基づいた処理を行った。しかし、特徴点ＣＰの初期位置設定と特徴点ＣＰの設定位置補正のうち、いずれか一方のみについて、検出対象画像ＣＩに基づいて処理を行うとしてもよい。

画像処理装置は、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合は、図１８のフローチャートにおいてステップＳ５６０が終了したとき、検出対象画像ＣＩに設定した初期位置の特徴点ＣＰの配置を、検出対象画像ＣＩのサイズと上記トリミング画像のサイズとの比と、そのときのグローバルパラメーターに基づいて、注目画像ＯＩ上に再現する。そして、注目画像ＯＩに再現した特徴点ＣＰについて、注目画像ＯＩ上での設定位置補正処理を行う。なお、特徴点ＣＰの初期位置設定処理後における設定位置補正処理を、注目画像ＯＩにおいてのみ行う場合は、設定位置補正処理（平均形状画像の生成、差分画像Ｉｅの算出、収束判定、パラメーター更新量ΔＰの生成、パラメーター補正）の繰り返しに関しては、回数上の制限は設けないものとする。このように、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合であっても、当該初期位置設定処理が高速化されることで、顔特徴位置検出処理全体にかかる時間が短縮される。

画像処理装置は、特徴点ＣＰの設定位置補正のみを検出対象画像ＣＩに基づいて行う場合は、図１８のフローチャートにおいてステップＳ５３０（平滑化処理）の後、注目画像ＯＩにおいて特徴点ＣＰの初期位置設定処理を行う。そして、顔領域ＦＡおよび注目画像ＯＩに設定した特徴点ＣＰの初期位置を含む範囲をトリミングし、トリミング画像をアフィン変換することにより所定サイズの検出対象画像ＣＩを生成する。そして、検出対象画像ＩＣにおける特徴点ＣＰ（初期位置）について、その設定位置を補正する処理を行う。上記平滑化により検出対象画像ＣＩはノイズの低減がなされているため、特徴点ＣＰの設定位置補正処理は、高画質な検出対象画像ＣＩに基づいて行うことができる。つまり、特に高い精度が要求される設定位置補正処理をノイズの影響を排除して行うことができるため、顔の特徴部位の座標位置を表すものとして最終的に特定される特徴点ＣＰの設定位置は、実際の特徴部位の位置に極めて正確に対応した位置となる。

上述した特徴点ＣＰの初期位置設定処理や設定位置補正処理では、検出対象画像ＣＩや注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ_０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ_０（ｘ）に対して画像変換を行うことにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ_０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。

また、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。

また、平均顔画像Ａ_０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ_０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ_０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。

また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、検出モード情報についても、ネットワークを介して取得されてもよい。
また上記では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００やデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。

１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２１０…平滑化処理部、２２０…特徴位置検出部、２２１…設定部、２２２…生成部、２２４…算出部、２２６…補正部、２３０…顔領域検出部、２５０…トリミング部、２６０…変換部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部

Claims (8)

1. 画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
   注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
   上記顔領域を含む所定範囲の画像を平滑化する平滑化処理部と、
   上記平滑化された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備えることを特徴とする画像処理装置。
2. 上記平滑化処理部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲の画像を平滑化することを特徴とする請求項１に記載の画像処理装置。
3. 上記特徴位置検出部は、
   上記顔領域の位置に基づいて、上記平滑化された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、
   上記平滑化された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、
   上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、
   上記算出した差分値に基づいて、上記特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、
   上記補正された設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 上記平滑化処理部は、上記平滑化の対象となる範囲の画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに平滑化を行なうことを特徴とする請求項３に記載の画像処理装置。
5. 上記平滑化処理部は、上記平滑化の対象となる範囲のサイズに応じてフィルターサイズが異なる平滑化フィルターを用いて平滑化を行なうことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 上記平滑化がされた範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部とを備え、上記特徴位置検出部は、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出することを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 上記特徴位置検出部は、
   上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、当該サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、当該差分値に基づいて、当該サイズが変換された画像における特徴点の設定位置を更新する処理を、当該差分値が所定のしきい値より小さい値となるまで繰り返し実行し、
   上記差分値がしきい値より小さい値となった場合、当該サイズが変換された画像における特徴点の配置を当該サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、
   上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、
   上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項６に記載の画像処理装置。
8. 上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行することを特徴とする請求項７に記載の画像処理装置。