JP2006350769A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】 画像中の顔領域の濃度および／または色に基づいた、より精度の高い画質の調整を可能にする。
【解決手段】 パラメータ取得部３２が、顔検出部３１が検出した画像Ｐ０中の顔領域Ｆ０を、人間の顔が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔領域Ｆ０の濃度および／または色を表すパラメータＣｄ０，Ｃｈ０を取得する。濃度・色補正部３３がパラメータＣｄ０，Ｃｈ０に基づいて顔領域Ｆ０の色および／または濃度を推定し、推定した色および／または濃度に基づいて顔領域Ｆ０の濃度および／または色を補正する。
【選択図】 図４

Description

本発明は、入力画像の濃度および／または色を補正する画像処理を行う装置および方法、並びに画像処理プログラムに関するものである。

写真画像に含まれる人間の顔を理想的な濃度および／または色で再現するために、その写真画像から顔を抽出し、顔のコントラストを補正する画像処理が行われている。

例えば、画像の各画素の画素値をＹＵＶ色空間の画素値に変換し、ＹＵＶ色空間において予め定められた肌色を表す肌色空間に含まれる画素値を有する画素を肌色の画素と見なすことにより画像から肌色領域を検出し、さらに輝度平均値等の肌色領域の特徴量を用いて顔領域を決定し、顔領域における濃度および色の情報に基づいて、露光の状況を判定して階調を補正する手法が提案されている（特許文献１参照）。
特開２０００−１８８７６８号公報

しかしながら、特許文献１における顔領域の検出の手法においては、例えば肌色領域に影がかかっていたり、背景領域が肌色に近似していたりすると、肌色領域と背景領域の境界が検出できないため、顔領域の濃度および色を正確に検出できなかった。例えば、肌色領域に影がかかっている場合、影がかかっていない部分のみを肌色領域として検出してしまうため、影がかかっていない部分にのみ基づいて階調を補正することとなり、その結果、補正された画像のコントラストが強くなりすぎる傾向があった。

本発明は上記事情に鑑みなされたものであり、顔領域の濃度および／または色に基づいた、より精度の高い画質の調整を可能にすることを目的とする。

本発明による画像処理装置は、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量によって前記顔を表現するモデルに、入力画像中の顔領域を適応させることによって、該入力画像中の顔領域における前記統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
取得された前記重みづけパラメータの値に基づいて、前記顔領域の濃度および／または色を推定し、推定した濃度および／または色に基づいて、前記顔領域の濃度および／または色を補正する補正手段とを備えたことを特徴とするものである。

本発明による画像処理方法は、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量によって前記顔を表現するモデルに、入力画像中の顔領域を適応させることによって、該入力画像中の顔領域における前記統計的特徴量に対する重みづけパラメータを取得し、
取得された前記重みづけパラメータの値に基づいて、前記顔領域の濃度および／または色を推定し、
推定した濃度および／または色に基づいて、前記顔領域の濃度および／または色を補正することを特徴とするものである。

さらに、本発明による画像処理プログラムは、コンピュータに上記の画像処理方法を実行させる（上記各手段として機能させる）ものである。

次に、本発明による画像処理装置、方法、およびプログラムの詳細について説明する。

本発明による「顔を表現するモデル」の具体的実現手法としては、ＡＡＭ（Active Appearance Models）の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度および／または色の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ（Cootes）， Ｇ．Ｊ．エドワーズ（Edwards）， Ｃ．Ｊ．テイラー（Taylor）、「動的見えモデル（Active Appearance Models）」、第５回計算機視覚欧州会議報（In Proc. 5th European Conference on Computer Vision）、ドイツ、シュプリンガー（Springer）、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。

「複数の画像」は、実際に人間の顔を撮影することにより取得された画像であってもよく、シミュレーションにより生成された画像であってもよい。

「所定の統計処理」としては、顔領域を、顔領域を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。

「統計的特徴量」には、少なくとも顔の形状と、輝度および色の少なくとも一方とが表現されている必要がある。顔の濃度および／または色を高精度に推定するためである。

また、顔の形状、輝度および色を表す統計的特徴量は、それぞれ１つの統計的特徴量であってもよいし、複数の統計的特徴量であってもよい。

「入力画像中の顔領域」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記顔領域を検出する処理（手段）をさらに有していてもよいし、入力画像から前記顔領域の部分を予め検出しておいてもよい。

また、本発明におけるモデルを人間の顔の属性毎に複数準備しておき、入力画像中の顔領域の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中の顔領域を適応させることによって、顔領域を検出するようにしてもよい。

ここで、「属性」とは、例えば、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。

この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平１１−１７５７２４号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。

「顔を表現するモデルに、入力画像中の顔領域を適応させる」とは、入力画像中の顔領域をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。

「濃度を補正する」とは、画像の各画素の値を変更することを意味し、具体的には顔領域の濃度を全体的に変更すること、顔領域の階調を補正すること、および顔領域の露出（アンダー、オーバー、逆光、ハイコントラスト等）を補正すること等を意味する。具体的には、顔領域の濃度に基づく公知の手法を用いることができる。

「色を補正する」とは、画像の各画素の色を変更することを意味し、具体的には顔領域の色を全体的に変更することを意味する。具体的には、顔領域の色に基づく公知の手法を用いることができる。

濃度および／または色を補正する処理は、入力画像全体に対して行うようにしてもよい。

また、濃度および／または色を補正する処理は、入力画像中の顔領域だけでなく、顔領域に隣接する肌色の領域に対しても行ってもよい。ここで、「顔領域に隣接する肌の領域」には、例えば、首の領域が該当する。

また、濃度および／または色を補正する処理を入力画像中の一部の領域に対して行う場合には、処理を行わない領域に近づくにつれて濃度および／または色の補正量が小さくなるように、濃度および／または色を補正する処理を行うようにしてもよい。

また、顔領域とそれ以外の領域とにおいて濃度および／または色の補正量を変更してもよい。

本発明の画像処理方法および装置並びにプログラムによれば、人間の顔を表す統計的特徴量を含む１以上の統計的特徴量によって顔を表現するモデルに、入力画像中の顔領域を適応させることによって、入力画像中の顔領域における統計的特徴量に対する重みづけパラメータを取得し、取得した重みづけパラメータの値に基づいて、顔領域の濃度および／または色を推定し、推定した濃度および／または色に基づいて、顔領域の濃度および／または色を補正するようにしたものである。

このため、顔領域に影がかかっていたり、背景領域が肌色に近似していても、入力画像から正確に顔領域の濃度および／または色を推定することができる。したがって、顔以外の背景領域の影響が少ない、入力画像中の顔領域内の濃度および／または色を高精度に反映した濃度および／または色の補正が可能になり、より高精度に画質を調整することができるようになる。

また、濃度および／または色の補正を入力画像全体に対して行うようにした場合には、画像全体の高品質な色再現が可能になる。

また、濃度および／または色の補正を、顔領域に隣接する肌色の領域に対しても行うようにした場合には、顔領域とその隣接領域との間での色再現上の違和感をなくすことができ、より好ましい画像の再生が可能になる。

また、濃度および／または色の補正を行わない領域に近づくにつれて補正量が小さくなるように、濃度および／または色の補正を行うようにすれば、濃度および／または色の補正を行う領域と行わない領域との間での色再現上の違和感がなくなり、さらに好ましい画像の再生が可能になる。

また、顔領域とそれ以外の領域とで濃度および／または色の補正量を変更することにより、例えば、白いウェディングドレスを着た被写体の顔を明るくする補正を画像全体に適用することによって、顔より明るいウェディングドレスの模様がつぶれてしまうというような問題を回避できる。

また、入力画像中の顔領域を検出する処理（手段）を付加した場合には、顔領域の自動検出が可能になり、操作性が向上する。また、モデルに入力画像中の顔領域のみを適応することとなるため、計算量が少なくなり、その結果、高速に処理を行うことができる。

また、本発明におけるモデルを顔の属性毎に複数備えるとともに、入力画像中の顔領域の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中の顔領域を適応させることによって重みづけパラメータを取得するようにした場合、入力画像中の顔領域を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１は、本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に表したものである。図に示したように、このデジタル写真プリンタは、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４、ディスプレイ５５、キーボード５６、マウス５７、ハードディスク５８、および写真プリント出力機５９が演算・制御装置５０に接続された構成となっている。

演算・制御装置５０は、ＣＤ−ＲＯＭ等の記憶媒体からインストールされたプログラムの実行により、この装置内のＣＰＵや主記憶装置、各種入出力インターフェースと連携して、画像の入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明による濃度補正処理および色補正処理はこの装置で行われる。

フィルムスキャナ５１は、現像機（図示なし）によって現像済みのＡＰＳネガフィルムや１３５ネガフィルムを光電的に読み取って、これらのネガフィルムに記録されている写真画像を表すデジタル画像データＰ０を取得するものである。

フラットヘッドスキャナ５２は、Ｌサイズ写真プリント等のハードコピーに表された写真画像を光電的に読み取って、デジタル画像データＰ０を取得するものである。

メディアドライブ５３は、メモリカードやＣＤ、ＤＶＤ等の記録媒体に記録された写真画像を表す画像データＰ０を取得するものである。また、これらの記録媒体に、出力対象の画像データＰ２を書き込むことも可能である。なお、このメモリカードには、例えば、デジタルカメラによって、撮影された画像の画像データが書き込まれている。また、ＣＤやＤＶＤ等には、例えば、前回のプリント注文時に、フィルムスキャナによって読み取られた画像の画像データが書き込まれている。

ネットワークアダプタ５４は、公知のネットワークフォトサービスシステムにおける注文受付機（図示なし）から画像データＰ０を取得するものである。この画像データＰ０は、ユーザからの写真プリントの注文に基づく画像データであり、ユーザのパソコンからインターネット経由で送信してきたものである。また、ラボ店の店頭に設置された写真注文受付機から送信されてきたものであってもよい。

ディスプレイ５５は、このデジタル写真プリンタにおける画像の入力、補正、加工、出力のための操作画面を表示するものであり、操作内容を選択するためのメニューや処理対象の画像等が表示される。また、キーボード５６やマウス５７は、処理内容を指示するものである。

ハードディスク５８には、このデジタル写真プリンタを制御するプログラムが記憶されている他、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４において取得された画像データＰ０や、画像補正後の画像データＰ１、画像加工後の画像データ（出力対象の画像データ）Ｐ２も一時的に記憶される。

写真プリント出力機５９は、出力対象の画像を表す画像データＰ２に基づいたレーザーによる印画紙への走査露光、現像、および乾燥を行うとともに、プリント情報等の裏印字、および印画紙のプリント単位での切断や注文単位でのソート等を行うものである。なお、写真プリントの方式は、レーザー露光熱現像転写方式等であってもよい。

図２は、このデジタル写真プリンタの機能と処理の流れを示すブロック図である。図に示したように、機能の観点からは、このデジタル写真プリンタは、写真プリント対象の画像の画像データＰ０を入力する画像入力手段１と、画像データＰ０を入力として、所定の画像処理条件に基づく画像処理を行って、画像データＰ０による画像（以下、画像データとその画像データによる画像を同じ符号で表す）の画質の自動補正を行う画像補正手段２と、補正後の画像データＰ１を入力として、操作者からの指示に基づいた画像処理を行う画像加工手段３と、加工済みの画像データＰ２を入力として、写真プリントの出力や記録メディアへの出力を行う画像出力手段４とから構成されている。

画像補正手段２では、ホワイトバランス調整処理、シャープネス補正、およびノイズ軽減・除去等の処理が行われる他、本発明による濃度補正処理および色補正処理も行われる。なお、濃度補正処理には、階調補正処理および露出補正処理も含まれる。また、画像加工手段３では、画像補正手段２による処理結果の手作業による修正や、トリミング、拡大・縮小、セピア化、白黒化、および装飾フレームとの合成等の画像の加工が行われる。

このデジタル写真プリンタの操作とこのプリンタで行われる処理の流れは以下のようになる。

まず、画像入力手段１による画像データＰ０の入力が行われる。操作者は、現像済みのフィルムに記録された画像からのプリント等の出力を行う場合には、そのフィルムをフィルムスキャナ５１にセットしておき、メモリカード等の記録メディアに記録された画像データからのプリント等の出力を行う場合には、その記録メディアをメディアドライブ５３にセットしておく。一方、ディスプレイ５５には、画像データの入力元を選択する画面が表示され、操作者はキーボード５６やマウス５７の操作によって、入力元の選択を行う。入力元としてフィルムが選択された場合には、フィルムスキャナ５１は、セットされたフィルムを光電的に読み取り、デジタル変換することによって、生成された画像データＰ０を演算・制御装置５０に送信する。写真プリント等のハードコピー原稿が選択された場合には、フラットヘッドスキャナ５２は、セットされた写真プリント等のハードコピー原稿を光電的に読み取り、デジタル変換することによって、生成された画像データＰ０を演算・制御装置５０に送信する。メモリカード等の記録メディアが選択された場合には、演算・制御装置５０は、メディアドライブ５３にセットされたメモリカード等の記録メディアに記憶されている画像データＰ０を読み込む。また、ネットワークフォトサービスシステムや店頭での写真受付注文機による注文の場合には、演算・制御装置５０が、ネットワークアダプタ５４経由で画像データＰ０を受信する。このようにして取得された画像データＰ０は、ハードディスク５８に一時的に記憶される。

次に、画像補正手段２が、画像データＰ０による画像に対する自動画質補正処理を行う。具体的には、演算・制御装置５０で実行される画像処理プログラムにより、予め、このデジタル写真プリンタに設定されているセットアップ条件に基づいて、公知のホワイトバランス調整処理、シャープネス補正、ノイズ軽減・除去等の処理の他、本発明の濃度・色補正処理が行われ、補正後の画像データＰ１が出力される。出力された画像データＰ１は演算・制御装置５０のメモリに格納される。なお、ハードディスク５８に一時的に記憶するようにしてもよい。

その後、画像加工手段３は、補正後の画像Ｐ１のサムネイル画像を生成し、ディスプレイ５５に表示させる。図３（ａ）は、ディスプレイ５５に表示される画面の一例である。操作者が、表示されたサムネイル画像を確認し、画質の手動補正が必要なものや、画像の加工の注文があるものを、マウス５７やキーボード５６の操作によって選択すると（図３（ａ）では左上の画像DSCF0001を選択）、図３（ｂ）に一例を示すように、選択されたサムネイル画像が拡大されてディスプレイ５５に表示されるとともに、その画像に対する手動補正や加工の処理内容を選択するボタンが表示される。操作者は、表示されたボタンの中から所望のものをマウス５７やキーボード５６の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。画像加工手段３は、選択された処理内容に応じた画像処理を行い、加工済みの画像データＰ２を出力する。出力された画像データＰ２は演算・制御装置５０のメモリに格納される。なお、ハードディスク５８に一時的に記憶するようにしてもよい。また、以上の画像加工手段３による、ディスプレイ５５への画面表示、マウス５７やキーボード５６による入力の受付、手動補正や加工の画像処理等は、演算・制御装置５０で実行されているプログラムによって制御される。

最後に、画像出力手段４が、画像Ｐ２の出力を行う。ここでは、演算・制御装置５０が、ディスプレイ５５に出力先を選択する画面を表示させ、操作者は、マウス５７やキーボード５６の操作によって、所望の出力先を選択する。演算・制御装置５０は、選択された出力先に対して画像データＰ２を送信する。写真プリント出力を行う場合には、画像データＰ２は写真プリント出力機５９に送信され、画像Ｐ２が写真プリントとして出力される。ＣＤ等の記録メディアに出力を行う場合には、メディアドライブ５３にセットされたＣＤ等に画像データＰ２の書込みが行われる。

ここで、画像補正手段２によって行われる本発明による濃度・色補正処理の詳細について以下に説明する。図４は、濃度・色補正処理の詳細を表すブロック図である。図に示したように、画像Ｐ０中の顔領域Ｆ０を検出する顔検出部３１と、人間の顔が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔領域Ｆ０を適応させることによって、顔領域Ｆ０の濃度を表す主成分に対する重みづけパラメータＣｄ０、および色を表す主成分に対する重みづけパラメータＣｈ０を取得するパラメータ取得部３２と、重みづけパラメータＣｄ０，Ｃｈ０に基づいて顔領域Ｆ０の濃度および色を推定し、推定した色および濃度に基づいて顔領域Ｆ０の濃度および色を補正して、濃度および色が補正された画像Ｐ１′を取得する濃度・色補正部３３とによって、濃度・色補正処理が実現される。ここで、画像Ｐ１′は濃度・色補正処理のみが施された画像であり、画像Ｐ１は上述したホワイトバランス調整処理、シャープネス処理およびノイズ軽減処理等のすべての処理が施された後の画像である。なお、これらの処理の制御は演算・制御装置５０にインストールされたプログラムによって行われる。

この数学モデルＭは、図５のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルＭの生成過程について説明する。

まず、人間の顔が表された、顔の形状、輝度および色が異なる複数の顔画像（サンプル画像）の各々に対して、図６に示すように、顔形状を表す特徴点を設定する（ステップ＃１）。顔形状とは顔の輪郭形状および顔を構成する目、鼻および口等の部品の形状を含む。ここでは、特徴点の数は１２２箇所とする（ただし、図６では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。

次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ＃２）。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。

さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ＃３）。その結果、任意の顔形状は次式（１）によって近似することができる。

ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ１，ｙ１，・・・，ｘ１２２，ｙ１２２）であり、Ｓ０は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐｉは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂｉは各固有ベクトルｐｉに対する重みづけ係数を表す。図７は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ１、ｐ２に対する重みづけ係数ｂ１、ｂ２の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ１、ｂ２の値の標準偏差ｓｄに基づいて、−３ｓｄから＋３ｓｄまでの間であり、各主成分についての３つの顔形状の真ん中のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の形状に寄与する成分が抽出されており、重みづけ係数ｂ１を変化させることによって、細長い顔（−３ｓｄ）から丸顔（＋３ｓｄ）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ２を変化させることによって、口が開いた状態で顎の長い顔（−３ｓｄ）から口が閉じられた状態で顎が短い顔（＋３ｓｄ）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。

次に、各サンプル画像をステップ＃２で得られた平均顔形状に変換（ワーピング）する（ステップ＃４）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。

ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａｉｊ，ｂｉｊは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図８は、３つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。

さらに、平均顔形状に変換後のサンプル画像毎の各画素のＲ，Ｇ，Ｂ三原色の画素値を変数として主成分分析を行う（ステップ＃５）。その結果、任意の顔画像の平均顔形状下でのＲ，Ｇ，Ｂ三原色の画素値は次式（６）によって近似することができる。

ここで、Ａは平均顔形状下での各画素のＲ，Ｇ，Ｂ三原色の各々の画素値を並べて表現されるベクトル（ｒ１， ｇ１， ｂ１， ｒ２， ｇ２， ｂ２，・・・，ｒｍ， ｇｍ， ｂｍ）（ｒ、ｇ、ｂは各々Ｒ，Ｇ，Ｂの三原色の画素値、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数）であるが、ベクトルの成分の並び順は上記の順に限定されず、例えば、（ｒ１，ｒ２，・・・，ｒｍ，ｇ１，ｇ２，・・・，ｇｍ，ｂ１，ｂ２，・・・，ｂｍ）のような順であってもよい。また、Ａ０は平均顔形状における各サンプル画像の画素毎のＲ，Ｇ，Ｂ三原色の各々の画素値の平均値を並べて表現される平均ベクトル、ｑｉは主成分分析によって得られた顔のＲ，Ｇ，Ｂ三原色の画素値についての第ｉ主成分を表す固有ベクトル、λｉは各固有ベクトルｑｉに対する重みづけ係数を表す。なお、主成分の順位ｉの値が小さいほど、Ｒ，Ｇ，Ｂ三原色の画素値に対する説明力が高い、すなわち、Ｒ，Ｇ，Ｂ三原色の画素値への寄与が大きいことを意味する。

図９は、主成分分析によって得られた主成分のうち第ｉ１、第ｉ２の主成分を表す固有ベクトルｑｉ１、ｑｉ２に対する重みづけ係数λｉ１、λｉ２の値を変化させた場合の顔の画素値の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式（６）で表した場合における重みづけ係数λｉ１、λｉ２の値の標準偏差ｓｄに基づいて、−３ｓｄから＋３ｓｄまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ１主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λｉ１を変化させることによって、ヒゲの濃い顔（−３ｓｄ）からヒゲのない顔（＋３ｓｄ）まで変化することがわかる。同様に、第ｉ２主成分としては顔にかかる影の状態に寄与する成分が抽出されており、重みづけ係数λｉ２を変化させることによって、顔の右側に影がかかった顔（−３ｓｄ）から左側に影がかかった顔（＋３ｓｄ）まで変化することがわかる。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。

本実施形態では、サンプル画像として、人間の顔が表された複数の顔画像を用いているので、顔の形状の相違に寄与する成分が第１主成分として抽出されるものとすると、第１主成分の固有ベクトルｑ１に対する重みづけ係数λ１の値を変化させた場合、例えば、画像Ｐ０中の顔領域Ｆ０の形状が、細長い顔から丸顔まで顔形状が変化する。なお、顔の形状の相違に寄与する主成分が必ずしも第１主成分として抽出されている必要はない。顔の形状の相違に寄与する成分が第Ｋ主成分（Ｋ≠１）として抽出されている場合には、以下の説明の「第１」を「第Ｋ」に置き換えて考えることができる。また、顔の形状の相違が１つの主成分のみによって表現される必要はなく、複数の主成分が顔の形状の相違を説明することもありうる。

また、顔の濃度の相違に寄与する成分が第１主成分として抽出されるものとすると、第１主成分の固有ベクトルｑ１に対する重みづけ係数λ１の値を変化させた場合、例えば、画像Ｐ０中の顔領域Ｆ０の濃淡が変化する。

さらに、顔の色の相違に寄与する成分が第１主成分として抽出されるものとすると、第１主成分の固有ベクトルｑ１に対する重みづけ係数λ１の値を変化させた場合、例えば、画像Ｐ０中の顔領域Ｆ０の色が例えば青っぽい色から赤っぽい色に変化する。

以上のステップ＃１から＃５までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑｉによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約１０，０００画素により形成される顔画像に対して１２２の特徴点を設定して上記の処理を行うことによって、顔形状についての２３の固有ベクトルと顔の画素値についての１１４の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約９８％の顔形状や画素値のバリエーションを表現できることが示されている。

次に、この数学モデルＭを利用したＡＡＭの手法に基づく濃度・色補正処理の流れについて、図４を参照しながら説明する。

まず、顔検出部３１が、画像データＰ０を読み込み、画像Ｐ０中の顔領域Ｆ０を検出する。具体的には、特表２００４−５２７８６３号公報（参考文献２）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法（ニューラルネットワーク、ＳＶＭ、ＨＭＭ）等の様々な公知の手法を用いることができる。なお、画像Ｐ０がディスプレイ５５に表示された際に、マウス５７やキーボード５６の操作により、手作業で顔領域Ｆ０を指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。

次に、パラメータ取得部３２は、顔領域Ｆ０を数学モデルＭに適応させる処理を行う。具体的には、上記式（１）、（６）の上位の主成分の固有ベクトルｐｉ、ｑｉに対する重みづけ係数ｂｉ、λｉから順に係数の値を変化させながら、上記式（１）、（６）に基づいて画像を再構成し、再構成された画像と顔領域Ｆ０との差異が最小となるときの重みづけ係数ｂｉ、λｉを求める（詳細は、参考文献２参照）。このときの重みづけ係数λｉのうち、顔の濃度および色を表す重みづけ係数λｉがそれぞれパラメータＣｄ０，Ｃｈ０である。なお、重みづけ係数ｂｉ、λｉの値は、モデル生成時のサンプル画像を上記（１）、（６）で表したときのｂｉ、λｉの分布の標準偏差ｓｄに基づき、例えば−３ｓｄから＋３ｓｄまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定することが好ましい。これにより、モデルの誤適応を回避することができる。

濃度・色補正部３３は、まず、求められたパラメータＣｄ０，Ｃｈ０に基づいて参照テーブルＴ０，Ｔ１を参照して濃度の補正量Ｄおよび色の補正量Ｈを取得する。ここで、参照テーブルＴ０，Ｔ１について説明する。図１０は、参照テーブルＴ０，Ｔ１の構成と値の例を示したものである。参照テーブルＴ０，Ｔ１は、予め実験的、統計的に求めておいたパラメータＣｄ０，Ｃｈ０の値と濃度および色の補正量との関係を対応づけたものである。図に示すように、参照テーブルＴ０においては、濃度を表すパラメータＣｄ０と濃度の補正量Ｄｉ（ｉ＝１〜５）とが対応づけられており、参照テーブルＴ１においては、色を表すパラメータＣｈ０と色の補正量Ｈｉ（ｉ＝１〜５）とが対応づけられている。

ここで、濃度の補正量Ｄは、顔領域Ｆ０が予め定められた所望とする濃度となるように変更する値に定めることが考えられる。また、色の補正量Ｈは、顔領域Ｆ０が予め定められた所望とする色となるように変更する値に定めることが考えられる。

上記の説明では、顔の濃度および色を表す主成分がそれぞれ１つだけであることを前提としたが、濃度および色を表す主成分がそれぞれ複数ある場合には、それら複数の主成分に対する重みづけ係数（例えば、λ１，λ２，・・・，λＪ）の値の組合せに基づいて、濃度および色の補正量Ｄ，Ｈを決定すればよい。すなわち、パラメータＣｄ０，Ｃｈ０を次式（７）のように、各重みづけ係数の線形結合として求めるようにしてもよい（αｉは、重みづけ係数λｉに対応する主成分の濃度および色に対する寄与度を表す係数）。

また、各重みづけ係数の値の組合せとパラメータＣｄ０，Ｃｈ０の値を対応づける高次元の参照テーブルによって求めるようにしてもよい。また、図１０の参照テーブルＴ０，Ｔ１のパラメータＣｄ０，Ｃｈ０の項目を重みづけ係数λ１，λ２，…，λＪというように複数の項目に分割し、各重みづけ係数の値の組合せに対して濃度および色の補正量Ｄ，Ｈを対応づけるように参照テーブルＴ０，Ｔ１を構成してもよい。

さらに、参照テーブルＴ０，Ｔ１を用いずに、パラメータＣｄ０，Ｃｈ０を入力として、濃度および色の補正量Ｄ，Ｈを出力する関数を定義し、その関数に基づいて濃度および色の補正量Ｄ，Ｈを求めるようにしてもよい。

そして、濃度・色補正部３３は、求められた濃度および色の補正量Ｄ，Ｈに基づいて、次式（８）に示すように顔領域Ｆ０の濃度および色を補正して、濃度および色が補正された画像Ｐ１′を取得する。

ここで、Ｒ′、Ｇ′、Ｂ′は濃度補正後の顔領域Ｆ０の各画素のＲＧＢ値、Ｒ、Ｇ、Ｂは濃度補正前の顔領域Ｆ０の各画素のＲＧＢ値、Ｄｒ，Ｄｇ，ＤｂはＲＧＢ各色の濃度補正量、Ｈｒ，Ｈｇ，ＨｂはＲＧＢ各色の色補正量である。

なお、この濃度・色補正処理を顔領域Ｆ０だけでなく、画像Ｐ０全体に適用してもよい。また、顔領域Ｆ０の周辺の肌色領域（例えば首部分等）を公知の手法（例えば上記特許文献１に記載の手法）によって検出し、検出された肌色領域に対しても同様の濃度・色補正処理を行ってもよい。さらに、画像Ｐ０の一部の領域に対してのみ濃度・色補正処理を行う場合には、濃度・色補正処理を行わない領域に近づくにつれて、濃度および色の補正量が小さくなるように、補正量を変化させながら、濃度・色補正処理を行うようにしてもよい。

また、顔領域とそれ以外の領域とにおいて、補正量を変更するようにしてもよい。これにより、例えば、白いウェディングドレスを着た被写体の顔を明るくする補正を画像全体に適用することによって、顔より明るいウェディングドレスの模様がつぶれてしまうというような問題を回避できる。

以上のように、本発明の実施形態となる濃度・色補正処理は、顔検出部３１が検出した画像Ｐ０中の顔領域Ｆ０を、人間の顔が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔領域Ｆ０の濃度および色を表す主成分に対する重みづけパラメータＣｄ０，Ｃｈ０Ｃを取得し、濃度・色補正部３３が、取得されたパラメータＣｄ０，Ｃｈ０に基づいて顔領域Ｆ０の濃度および色を推定し、推定した濃度および色に基づいて顔領域Ｆ０の濃度および色を補正するようにしたものである。

このため、顔以外の背景領域の影響が少ない、画像Ｐ０中の顔領域Ｆ０内の濃度および色を高精度に反映した濃度および色の補正が可能になり、より高精度に画質を調整することができるようになる。

なお、上記の実施形態では、数学モデルＭが１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭｉ（ｉ＝１，２，・・・）を生成しておいてもよい。図１１は、この場合の濃度・色補正処理の詳細を表すブロック図である。図に示したように、画像Ｐ０に基づいて、画像中の被写体の属性情報ＡＫを取得する属性取得部３４と、取得した属性情報ＡＫに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭＫを選択するモデル選択部３５とを有している点で、上記の実施形態（図４）とは異なる。

ここで、複数の数学モデルＭｉは、例えば、同じ人種、年代、性別等を有する被写体を表すサンプル画像のみから前述の方法（図５参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａｉと関連づけられて記憶されている。

属性取得部３４は、画像Ｐ０に対する公知の認識処理（例えば、特開平１１−１７５７２４号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡＫを取得してもよいし、撮影時に被写体の属性を画像データＰ０の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にＧＰＳ情報を取得して画像データＰ０のヘッダ領域に記録するデジタルカメラ（例えば、特開２００４−１５３４２８号公報記載）で得られた画像データＰ０を入力として、画像データＰ０のヘッダ領域に記録されているＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。

モデル選択部３５は、属性取得部３４によって得られた属性情報ＡＫと関連づけられた数学モデルＭＫを取得し、パラメータ取得部３２は、顔領域Ｆ０を数学モデルＭＫに適応させる。

このように、複数の属性に応じた数学モデルＭｉを予め用意しておき、モデル選択部３５が、属性取得部３４で取得した属性ＡＫと関連づけられた数学モデルＭＫを選択し、パラメータ取得部３２が、選択された数学モデルＭＫに顔領域Ｆ０を適応させるようにした場合には、数学モデルＭＫには属性ＡＫの違いに起因する顔形状や輝度および色のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度および色を決定する他の要因を表す固有ベクトルにのみ基づいて顔領域Ｆ０を表現することが可能になり、処理精度が向上し、より高品質の画像が得られる。

なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像Ｐ０と個人を特定する情報とを関連づけておく必要がある。

また、上記の実施形態では、数学モデルは予めデジタル写真プリンタにインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのプリンタの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。

さらに、この数学モデルを生成する機能をデジタル写真プリンタに実装するようにしてもよい。具体的には、図５のフローチャートに基づいて説明した処理を行わせるプログラムを演算・制御装置５０にインストールしておけばよい。また、出荷時にはデフォルトの数学モデルをインストールしておき、そのデジタル写真プリンタへの入力画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。

また、上記の実施形態では、顔形状とＲ，Ｇ，Ｂ三原色の画素値についての別個の重みづけ係数ｂｉ、λｉによって、個別の顔画像を表現していたが、顔形状とＲ，Ｇ，Ｂ三原色の画素値のバリエーションには相関性があることから、重みづけ係数ｂｉ、λｉを結合して得られるベクトル（ｂ１，ｂ２，・・・，ｂｉ，・・・，λ１，λ２，・・・，λｉ，・・・）に対してさらに主成分分析を行うことにより、次式（９），（１０）に示したように、顔形状とＲ，Ｇ，Ｂ三原色の画素値の両方を制御する新しいアピアランスパラメータｃを得ることができる。

ここで、アピアランスパラメータｃとベクトルＱＳによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱＡによって顔の画素値の平均からの画素値の変動分要素が表現される。

このモデルを用いた場合には、パラメータ取得部３２は、アピアランスパラメータｃの値を変化させながら、上記式（１０）に基づいて平均顔形状下での顔の画素値を求め、さらに、上記式（９）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔領域Ｆ０との差異が最小となるときのアピアランスパラメータｃを求めることになる。

本発明の他の実施形態としては、上記の濃度・色補正処理をデジタルカメラに実装することが考えられる。すなわち、デジタルカメラの濃度・色補正機能として実装した場合である。図１２は、このようなデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、ＣＣＤ等からなり、被写体の撮像を行う撮像部７１、撮像部７１のＣＣＤに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データＰ０を得るＡ／Ｄ変換部７２、画像データＰ０等に対して各種画像処理を行う画像処理部７３、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮／伸長部７４、ストロボ等からなり、ストロボ発光を行うストロボ部７５、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部７６、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部７７、液晶ディスプレイ等からなり、スルー画や撮影された画像、各種設定メニュー等を表示する表示部７８、前記各部による処理の制御を行う制御部７０、および制御プログラムや画像データ等を記憶する内部メモリ７９を有している。

ここで、図２の画像入力手段１は撮像部７１とＡ／Ｄ変換部７２、画像補正手段２は画像処理部７３、画像加工手段３は画像処理部７３と操作部７６と表示部７８、画像出力手段４はメディア記録部７７によって、制御部７０による制御の下で内部メモリ７９も使用しつつ、各々の機能が実現される。

次に、このデジタルカメラの操作と処理の流れについて説明する。

まず、撮影者によるシャッターの全押し操作によって、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データＰ０として出力することによって、画像入力手段１として機能する。

次に、画像処理部７３が、シャープネス処理およびホワイトバランス調整処理等を行うとともに、本発明の濃度・色補正処理も行い、補正後の画像データＰ１を出力することによって、画像補正手段２として機能する。ここで、濃度・色補正処理は、制御部７０が、内部メモリ７９に記憶されている濃度・色補正用プログラムを起動し、内部メモリ７９に予め記憶されている数学モデルＭを用いた前述の濃度・色補正処理（図４等参照）を画像処理部７３に行わせることによって実現される。

ここで、画像Ｐ１が表示部７８により液晶ディスプレイに表示される。表示レイアウトとしては、図３（ａ）に示したサムネイル形式による複数の画像の表示が考えられる。撮影者は、操作部７６の操作ボタンの操作により、加工対象の画像を選択して拡大表示し、メニュー選択によりさらなる画像の手動補正や加工を行い、加工済みの画像データＰ２を出力する。以上のようにして、画像加工手段３の機能が実現される。

そして、圧縮／伸長部７４が画像データＰ２をＪＰＥＧ等の圧縮形式に基づく圧縮処理を行い、メディア記録部７７経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込むことによって、画像出力手段４の機能が実現される。

このように、本発明の濃度・色補正処理をデジタルカメラの画像処理機能として実装することによって、上記のデジタル写真プリンタの場合と同様の効果を得ることができる。

なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮／伸長部７４が伸長（解凍）した後、伸長済みの画像データによる画像を表示部７８の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部７３が、選択された画像処理を行う。

また、図１１等で説明した被写体の属性別の数学モデルをデジタルカメラに実装してもよいし、図５で示した数学モデルの生成処理を実装してもよい。ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔に対する濃度・色補正処理をきわめて高い精度で行うことが可能になる。

なお、上記実施形態においては、顔領域Ｆ０の濃度および色の双方を補正しているが、画像補正手段２を濃度の補正および色の補正のそれぞれに特化させることも可能である。図１３は濃度のみの補正処理の詳細を表すブロック図である。図１３に示すように、濃度補正処理は、上述した顔検出部３１と、濃度を表す主成分に対する重みづけパラメータＣｄ０のみを取得するパラメータ取得部３２と、参照テーブルＴ０のみを参照して顔領域Ｆ０の濃度を補正して濃度が補正された画像Ｐ１′を取得する濃度補正部３７により実現される。

図１４は、色のみの補正処理の詳細を表すブロック図である。図１４に示すように、色補正処理は、上述した顔検出部３１と、色を表す主成分に対する重みづけパラメータＣｈ０のみを取得するパラメータ取得部３２と、参照テーブルＴ１のみを参照して顔領域Ｆ０の色を補正して色が補正された画像Ｐ１′を取得する色補正部３８により実現される。

上記の実施形態のほか、本発明の濃度・色補正処理、濃度補正処理および色補正処理をパソコン等に行わせるプログラムを、画像編集ソフトウェアに組み込むことも考えられる。これにより、ユーザは、このソフトウェアが記憶されているＣＤ−ＲＯＭ等の記憶媒体からパソコン等にインストールしたり、インターネット上の所定のサイトからこのソフトウェアをダウンロードしてインストールしたりすることによって、自分のパソコンでの画像の編集加工の１パターンとして、本発明の濃度・色補正処理、濃度補正処理および色補正処理を利用することが可能になる。

本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に示した図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラの機能と処理の流れを示すブロック図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラのディスプレイに表示される画面の一例を示す図 本発明の一態様となる濃度・色補正処理の詳細を表すブロック図 本発明における顔の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔の画素値に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔の画素値の変化の様子を模式的に表した図 参照テーブルの構成を表す図 本発明の一態様となる濃度・色補正処理の発展的態様を表すブロック図 本発明の他の実施形態となるデジタルカメラの構成を模式的に示した図 本発明の一態様となる濃度補正処理の詳細を表すブロック図 本発明の一態様となる色補正処理の詳細を表すブロック図

符号の説明

１ 画像入力手段
２ 画像補正手段
３ 画像加工手段
４ 画像出力手段
３１ 顔検出部
３２ パラメータ取得部
３３ 濃度・色補正部
３４ 属性取得部
３５ モデル選択部
３７ 濃度補正部
３８ 色補正部
５１ フィルムスキャナ
５２ フラットヘッドスキャナ
５３ メディアドライブ
５４ ネットワークアダプタ
５５ ディスプレイ
５６ キーボード
５７ マウス
５８ ハードディスク
５９ 写真プリント出力機
７０ 制御部
７１ 撮像部
７２ Ａ／Ｄ変換部
７３ 画像処理部
７４ 圧縮／伸長部
７５ ストロボ部
７６ 操作部
７７ メディア記録部
７８ 表示部
７９ 内部メモリ

Claims (9)

1. 人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量によって前記顔を表現するモデルに、入力画像中の顔領域を適応させることによって、該入力画像中の顔領域における前記統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
   取得された前記重みづけパラメータの値に基づいて、前記顔領域の濃度および／または色を推定し、推定した濃度および／または色に基づいて、前記顔領域の濃度および／または色を補正する補正手段とを備えたことを特徴とする画像処理装置。
2. 前記補正手段が、前記入力画像の全体に対して前記濃度および／または色の補正を行うものであることを特徴とする請求項１記載の画像処理装置。
3. 前記補正手段が、前記顔領域に隣接する肌色の領域に対しても前記濃度および／または色の補正を行うものであることを特徴とする請求項１記載の画像処理装置。
4. 前記補正手段が、前記濃度および／または色の補正を行わない領域に近づくにつれて前記濃度および／または色の補正量が小さくなるように、前記補正を行うものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記補正手段が、前記顔領域とそれ以外の領域とにおいて前記濃度および／または色の補正量を変更するものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記入力画像から前記顔領域を検出する顔検出手段をさらに備えたことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記入力画像中の前記顔領域の属性を取得し、前記顔の属性毎に該顔が表現された複数の前記モデルから、取得された属性に応じた前記モデルを選択する選択手段をさらに備え、
   前記パラメータ取得手段が、前記選択されたモデルに前記顔領域を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量によって前記顔を表現するモデルに、入力画像中の顔領域を適応させることによって、該入力画像中の顔領域における前記統計的特徴量に対する重みづけパラメータを取得し、
   取得された前記重みづけパラメータの値に基づいて、前記顔領域の濃度および／または色を推定し、
   推定した濃度および／または色に基づいて、前記顔領域の濃度および／または色を補正することを特徴とする画像処理方法。
9. コンピュータを、
   人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量によって前記顔を表現するモデルに、入力画像中の顔領域を適応させることによって、該入力画像中の顔領域における前記統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
   取得された前記重みづけパラメータの値に基づいて、前記顔領域の濃度および／または色を推定し、推定した濃度および／または色に基づいて、前記顔領域の濃度および／または色を補正する補正手段として機能させることを特徴とする画像処理プログラム。

Images