JP4985510B2 - 対象画像における顔の画像に対応する顔領域の設定 - Google Patents

Description

本発明は、対象画像における顔の画像に対応する顔領域の設定に関する。

画像データの表す画像中から部分画像を順次切り出し、切り出した部分画像が顔に対応する画像であるか否かを判定することにより、顔の画像に対応する顔領域を設定する技術が知られている（例えば特許文献１ないし４）。

特開２００７−２４１４７７号公報 特開２００７−９４６３３号公報 特開２００７−１９３４０４号公報 特開２００７−１９３７４０号公報

対象画像における顔領域の設定においては、顔領域の設定精度と処理時間との調整を図ることが望まれていた。

本発明は、上記の課題を解決するためになされたものであり、顔領域設定処理の精度と処理時間との調整を図ることを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
画像データに基づき対象画像における顔の画像に対応する領域を原顔領域として検出する顔領域検出部と、
前記原顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出部と、
前記対象画像における顔の画像に対応する決定顔領域を設定する顔領域決定部であって、前記原顔領域を前記決定顔領域として設定する第１の処理モードと、前記器官領域の検出結果に基づき前記原顔領域を調整した領域を前記決定顔領域として設定する第２の処理モードと、を有する顔領域決定部と、を備える、画像処理装置。

この画像処理装置では、第１の処理モードでは、画像データに基づき検出された原顔領域が決定顔領域として設定され、第２の処理モードでは、画像データに基づき原顔領域が検出され、原顔領域における器官領域が検出され、器官領域の検出結果に基づき原顔領域を調整した領域が決定顔領域として設定される。そのため、この画像処理装置では、顔領域設定処理の精度と処理時間との調整を図ることができる。

［適用例２］適用例１に記載の画像処理装置であって、さらに、
前記決定顔領域を設定する際の精度を設定する精度設定部を備え、
前記顔領域決定部は、前記精度が所定の範囲の場合には前記第１の処理モードで前記決定顔領域を設定し、前記精度が前記所定の範囲より高い場合には前記第２の処理モードで前記決定顔領域を設定する、画像処理装置。

この画像処理装置では、設定された精度に応じて決定顔領域を設定する際の処理モードが選択されるため、設定された精度に応じて顔領域設定処理の精度と処理時間との調整を図ることができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記精度設定部は、前記決定顔領域の用途を特定する用途情報を取得し、前記用途情報に基づき前記精度を設定する、画像処理装置。

この画像処理装置では、決定顔領域の用途に応じて顔領域設定処理の精度と処理時間との調整を図ることができる。

［適用例４］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、
前記顔領域決定部は、前記第２のモードにおいて、検出された複数の前記器官領域間の位置関係に基づき前記原顔領域の傾きを調整することにより前記決定顔領域を設定する、画像処理装置。

この画像処理装置では、顔領域設定処理の傾きに関する精度と処理時間との調整を図ることができる。

［適用例５］適用例１に記載の画像処理装置であって、さらに、
前記対象画像から検出すべき顔の画像の傾きを設定する検出傾き設定部と、
検出された複数の前記器官領域間の位置関係に基づき前記対象画像に表された顔の画像の傾きを推定する顔傾き推定部と、
前記検出すべき顔の画像の傾きと前記推定された顔の画像の傾きとに基づき、前記対象画像に表された顔の画像が検出すべき顔の画像であるか否かを判定する検出判定部と、を備える、画像処理装置。

この画像処理装置では、対象画像から検出すべき顔の画像の傾きが設定され、検出された複数の器官領域間の位置関係に基づき対象画像に表された顔の画像の傾きが推定され、検出すべき顔の画像の傾きと推定された顔の画像の傾きとに基づき対象画像に表された顔の画像が検出すべき顔の画像であるか否かが判定されるため、対象画像に表された顔の画像が検出すべき顔の画像であるか否かの判定を精度良く実行することができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記顔領域検出部は、
前記対象画像上における画像領域である判定対象画像領域を設定する判定対象設定部と、
前記判定対象画像領域が所定の複数の離散した傾きの内の１つを有する顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶部と、
前記評価用データと前記判定対象画像領域に対応する画像データとに基づき前記評価値を算出する評価値算出部と、
前記評価値に基づき、前記判定対象画像領域が顔の画像に対応する画像領域であるか否かを判定する判定部と、
顔の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき前記原顔領域を設定する領域設定部と、を含む、画像処理装置。

この画像処理装置では、顔領域設定処理の傾きに関する精度と処理時間との調整を図ることができる。

［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、
前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。

この画像処理装置では、右目と左目と口との少なくとも１つに対応する器官領域の検出を利用することにより、顔領域設定処理の精度と処理時間との調整を図ることができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、顔領域検出方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔領域検出処理：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、後述する顔領域検出処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

画像処理部２００は、プログラムモジュールとして、領域検出部２１０と、精度設定部２２０と、情報付加部２３０と、を含んでいる。領域検出部２１０は、対象画像データの表す対象画像における所定の種類の被写体の画像（顔の画像および顔の器官の画像）に対応する画像領域の検出を行う。領域検出部２１０は、判定対象設定部２１１と、評価値算出部２１２と、判定部２１３と、領域設定部２１４と、顔領域決定部２１６と、を含んでいる。顔領域決定部２１６は顔傾き推定部２１７を含んでいる。これら各部の機能については、後述の顔領域検出処理の説明において詳述する。なお、後述するように、領域検出部２１０は、顔の画像に対応する原顔領域の検出および顔の器官の画像に対応する器官領域の検出を行うため、本発明における顔領域検出部および器官領域検出部として機能する。また、顔傾き推定部２１７および顔領域決定部２１６は、本発明における顔領域決定部として機能する。

精度設定部２２０は、対象画像における顔の画像に対応する顔領域を決定する際の精度を設定する。情報付加部２３０は、画像データを含む画像ファイルに所定の情報（例えば顔領域および器官領域の位置を示す情報）を付加する。

内部メモリ１２０には、また、予め設定された複数の顔学習データＦＬＤおよび複数の顔器官学習データＯＬＤが格納されている。顔学習データＦＬＤおよび顔器官学習データＯＬＤは、領域検出部２１０による所定の画像領域の検出に用いられる。図２は、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。図２（ａ）ないし図２（ｆ）には、顔学習データＦＬＤまたは顔器官学習データＯＬＤの種類と、当該種類の顔学習データＦＬＤまたは顔器官学習データＯＬＤを用いて検出される画像領域の例と、を示している。

顔学習データＦＬＤの内容については後述の顔領域検出処理の説明において詳述するが、本実施例の顔学習データＦＬＤは、顔傾きに対応付けられて設定されている。ここで、顔傾きとは、対象画像面内（インプレーン）における顔の画像の傾き（回転角度）を意味している。また、本実施例では、画像や画像領域等の傾きを、画像や画像領域等の上方向が対象画像の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度で表すものとしている。例えば、顔傾きは、対象画像の上下方向に沿って顔の画像が位置している状態（頭頂が上方向を向き顎が下方向を向いた状態）を基準状態（顔傾き＝０度）とした場合における基準状態からの顔の画像の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ａ）および図２（ｂ）に示す２つの顔学習データＦＬＤ、すなわち、図２（ａ）に示す０度の顔傾きに対応する顔学習データＦＬＤと、図２（ｂ）に示す３０度の顔傾きに対応する顔学習データＦＬＤと、が格納されている。後述するように、ある顔傾きに対応する顔学習データＦＬＤは、当該顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように学習によって設定されている。また、人物の顔は実質的に左右対称である。そのため、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ａ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｂ））との２つが予め準備されれば、これら２つの顔学習データＦＬＤを９０度単位で回転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。

顔器官学習データＯＬＤは、顔の器官の種類と器官傾きとの組み合わせに対応付けられて設定されている。本実施例では、顔の器官の種類として、目（右目および左目）と口とが設定されている。また、器官傾きとは、上述の顔傾きと同様に、画像面内（インプレーン）における顔の器官の画像の傾き（回転角度）を意味している。器官傾きは、顔傾きと同様に、対象画像の上下方向に沿って顔の器官の画像が位置している状態を基準状態（器官傾き＝０度）とした場合における基準状態からの顔の器官の画像の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ｃ）ないし図２（ｆ）に示す４つの顔器官学習データＯＬＤ、すなわち、図２（ｃ）に示す目と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｄ）に示す目と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｅ）に示す口と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｆ）に示す口と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、が格納されている。目と口とは別の種類の被写体であるため、顔器官学習データＯＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現できる。

顔学習データＦＬＤと同様に、ある器官傾きに対応する顔器官学習データＯＬＤは、当該器官傾きを中心に器官傾きの値がプラスマイナス１５度の範囲の器官の画像を検出可能なように学習によって設定されている。また、人物の目や口は実質的に左右対称である。そのため、目については、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｃ））と３０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｄ））との２つが予め準備されれば、これら２つの顔器官学習データＯＬＤを９０度単位で回転させることにより、あらゆる器官傾きの目の画像を検出可能な顔器官学習データＯＬＤを得ることができる。口についても同様に、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｅ））と３０度の器官傾きに対応する顔器官学習データＯＬＤであることを（図２（ｆ））との２つが予め準備されれば、あらゆる器官傾きの口の画像を検出可能な顔器官学習データＯＬＤを得ることができる。なお、本実施例では、右目と左目とは同じ種類の被写体であるとし、右目の画像に対応する右目領域と左目の画像に対応する左目領域とを共通の顔器官学習データＯＬＤを用いて検出するものとしているが、右目と左目とは異なる種類の被写体であるとして、右目領域検出用と左目領域検出用とにそれぞれ専用の顔器官学習データＯＬＤを準備するものとしてもよい。

Ａ−２．顔領域検出処理：
図３は、第１実施例における顔領域検出処理の流れを示すフローチャートである。本実施例における顔領域検出処理は、画像データの表す画像における顔の画像に対応する顔領域を決定する処理である。

ステップＳ１１０では、精度設定部２２０（図１）が、対象画像における顔の画像に対応する顔領域を決定する際に要求される精度を設定する。本実施例において、顔領域を決定する際の精度とは、決定される顔領域（後述の決定顔領域ＦＡｆ）の傾き（以下「顔領域傾き」とも呼ぶ）と、対象画像に表された顔の画像の実際の傾き（以下「実傾き」とも呼ぶ）と、の差異の平均値の程度を意味している。すなわち、精度が高いとは、顔領域傾きと実傾きとの差異の平均値が小さいことを意味し、精度が低いとは、顔領域傾きと実傾きとの差異の平均値が大きいことを意味する。なお、本実施例では、画像領域（例えば顔領域）や画像領域を規定するウィンドウ（後述）は方向を特定する情報を含んでおり、上述の顔領域の傾きとは、顔領域の上方向が対象画像の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度を意味している。

精度設定部２２０は、決定される顔領域の用途を特定する用途情報を取得して、用途情報に基づき精度を設定する。図４は、決定される顔領域の用途の一例を示す説明図である。図４には、画像処理部２００（図１）が提供する画像処理メニューの一覧が表示部１５０に表示されている様子が示されている。本実施例では、画像処理メニューとして、肌色補正と顔変形との２つが設定されており、決定される顔領域は、肌色補正と顔変形との２つの画像処理のために用いられる。

肌色補正は、顔領域または顔領域に基づき設定される画像領域内の人物の肌の色を好ましい肌色に補正する画像処理であり、顔領域傾きと実傾きとの差異が処理結果に及ぼす影響は比較的小さい。そのため、肌色補正を行う際には、顔領域を決定する際の精度が低いこと、すなわち顔領域傾きと実傾きとの差異の平均値が大きいことは、比較的許容されやすい。従って、ユーザにより操作部１４０を介して肌色補正が選択された場合には、精度設定部２２０は顔領域の用途が肌色補正であるとの用途情報を取得し、精度として比較的低い値を設定する。

一方、顔変形は、顔領域または顔領域に基づき設定される画像領域内の画像を変形する画像処理である。ここで、人物の顔は実質的に左右対称であるため、顔領域傾きと実傾きとの差異が大きいと、顔変形処理の結果が不自然なものとなる可能性がある。そのため、顔変形を行う際には、顔領域を決定する際の精度が高いこと、すなわち顔領域傾きと実傾きとの差異の平均値が小さいことが望まれる。従って、ユーザにより操作部１４０を介して顔変形が選択された場合には、精度設定部２２０は顔領域の用途が顔変形であるとの用途情報を取得し、精度として比較的高い値を設定する。

ステップＳ１２０（図３）では、画像処理部２００（図１）が、顔領域検出処理の対象となる画像を表す画像データを取得する。本実施例のプリンタ１００では、カードスロット１７２にメモリカードＭＣが挿入されると、メモリカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリカードＭＣより取得して内部メモリ１２０の所定の領域に格納する。なお、取得された画像データを原画像データと呼び、原画像データの表す画像を原画像ＯＩｍｇと呼ぶものとする。

ステップＳ１３０（図３）では、領域検出部２１０（図１）が、原顔領域検出処理を行う。原顔領域検出処理は、顔の画像に対応する画像領域を原顔領域ＦＡｏとして検出する処理である。図５は、原顔領域検出処理の流れを示すフローチャートである。また、図６は、原顔領域検出処理の概要を示す説明図である。図６の最上段には原画像ＯＩｍｇの一例を示している。

原顔領域検出処理（図５）におけるステップＳ３１０では、領域検出部２１０（図１）が、原画像ＯＩｍｇを表す原画像データから顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。本実施例では、図６に示すように、顔検出用画像ＦＤＩｍｇは横３２０画素×縦２４０画素のサイズの画像である。領域検出部２１０は、必要により原画像データの解像度変換を行うことにより、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。なお、本実施例における顔検出用画像ＦＤＩｍｇは本発明における対象画像に相当し、顔検出用画像データは本発明における対象画像データに相当する。

ステップＳ３２０（図５）では、判定対象設定部２１１（図１）が、判定対象画像領域ＪＩＡ（後述）の設定に用いるウィンドウＳＷのサイズを初期値に設定する。ステップＳ３３０では、判定対象設定部２１１が、ウィンドウＳＷを顔検出用画像ＦＤＩｍｇ上の初期位置に配置する。ステップＳ３４０では、判定対象設定部２１１が、顔検出用画像ＦＤＩｍｇ上に配置されたウィンドウＳＷにより規定される画像領域を、顔の画像に対応する画像領域であるか否かの判定（以下「顔判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡに設定する。図６の中段には、顔検出用画像ＦＤＩｍｇ上に初期値のサイズのウィンドウＳＷが初期位置に配置され、ウィンドウＳＷにより規定される画像領域が判定対象画像領域ＪＩＡに設定される様子を示している。本実施例では、後述するように、正方形形状のウィンドウＳＷのサイズおよび位置が変更されつつ判定対象画像領域ＪＩＡの設定が順に行われるが、ウィンドウＳＷのサイズの初期値は最大サイズである横２４０画素×縦２４０画素であり、ウィンドウＳＷの初期位置はウィンドウＳＷの左上の頂点が顔検出用画像ＦＤＩｍｇの左上の頂点に重なるような位置である。また、ウィンドウＳＷは、その傾きが０度の状態で配置される。なお、上述したように、ウィンドウＳＷの傾きとは、ウィンドウＳＷの上方向が対象画像（顔検出用画像ＦＤＩｍｇ）の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度を意味している。

ステップＳ３５０（図５）では、評価値算出部２１２（図１）が、判定対象画像領域ＪＩＡについて、判定対象画像領域ＪＩＡに対応する画像データ基づき、顔判定に用いる累計評価値Ｔｖを算出する。なお、本実施例では、顔判定は予め設定された特定顔傾き毎に実行される。すなわち、特定顔傾き毎に、判定対象画像領域ＪＩＡが当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、累計評価値Ｔｖも特定顔傾き毎に算出される。ここで、特定顔傾きとは、予め設定された顔傾きの値を意味している。本実施例では、傾きを０度から３０度ずつ増加させた計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）が、特定顔傾きとして設定されている。

図７は、顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。本実施例では、累計評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。各フィルタの外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。評価値算出部２１２は、判定対象画像領域ＪＩＡにフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用して評価値ｖＸ（すなわちｖ１〜ｖＮ）を算出する。具体的には、評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計から、マイナス領域ｍａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計を差し引いた値である。

算出された評価値ｖＸは、各評価値ｖＸに対応して設定された閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）と比較される。本実施例では、評価値ｖＸが閾値ｔｈＸ以上である場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であると判定され、フィルタＸの出力値として値「１」が設定される。一方、評価値ｖＸが閾値ｔｈＸより小さい場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域ではないと判定され、フィルタＸの出力値として値「０」が設定される。各フィルタＸには重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が設定されており、すべてのフィルタについての出力値と重み係数ＷｅＸとの積の合計が、累計評価値Ｔｖとして算出される。

なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、上記１２個の特定顔傾きのそれぞれについて、顔学習データＦＬＤ（図２（ａ）および図２（ｂ）参照）として予め設定されている。本実施例における顔学習データＦＬＤは、判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータであるため、本発明における評価用データに相当する。

顔学習データＦＬＤは、サンプル画像を用いた学習によって生成される。図８は、学習に用いられるサンプル画像の一例を示す説明図である。学習には、顔の画像に対応した画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、顔の画像に対応した画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。

学習による顔学習データＦＬＤの生成は特定顔傾き毎に実行されるため、図８に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応したものが準備される。例えば０度の特定顔傾きについての顔学習データＦＬＤの生成は、０度の特定顔傾きに対応した顔サンプル画像群と非顔サンプル画像群とを用いて実行され、３０度の特定顔傾きについての顔学習データＦＬＤの生成は、３０度の特定顔傾きに対応した顔サンプル画像群と非顔サンプル画像群とを用いて実行される。

各特定顔傾きに対応する顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の顔サンプル画像（以下「基本顔サンプル画像ＦＩｏ」とも呼ぶ）を含む。また、顔サンプル画像群は、少なくとも１つの基本顔サンプル画像ＦＩｏについて、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図８における画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図８における画像ＦＩｃおよびＦＩｄ）をも含む。

サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（すなわちフィルタ１〜フィルタＮ、図７参照）について、ある特定顔傾きに対応した顔サンプル画像群（図８参照）と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて評価値ｖＸ（すなわちｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）が設定される。ここで、顔検出率とは、顔サンプル画像群を構成する顔サンプル画像の総数に対する、評価値ｖＸによる閾値判定によって顔の画像に対応する画像であると判定される顔サンプル画像の数の割合を意味している。

次に、各フィルタＸに設定された重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が初期値に設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての累計評価値Ｔｖが算出される。後述するように、顔判定においては、ある画像について算出された累計評価値Ｔｖが所定の閾値ＴＨ以上の場合には、当該画像は顔の画像に対応する画像であると判定される。学習においては、選択されたサンプル画像（顔サンプル画像または非顔サンプル画像）について算出された累計評価値Ｔｖによる閾値判定結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。以降、サンプル画像の選択と、選択されたサンプル画像について算出された累計評価値Ｔｖによる閾値判定、および判定結果の正誤に基づく重み係数ＷｅＸの値の修正が、顔サンプル画像群および非顔サンプル画像群に含まれるすべてのサンプル画像について繰り返し実行される。以上の処理が特定顔傾き毎に実行されることにより、特定顔傾き毎の顔学習データＦＬＤが生成される。

判定対象画像領域ＪＩＡについて特定顔傾き毎に累計評価値Ｔｖが算出されると（図５のステップＳ３５０）、判定部２１３（図１）は、累計評価値Ｔｖを特定顔傾き毎に設定された閾値ＴＨと比較する（ステップＳ３６０）。ある特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上である場合には、領域検出部２１０が、判定対象画像領域ＪＩＡは当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きと、を記憶する（ステップＳ３７０）。一方、いずれの特定顔傾きについても累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３７０の処理はスキップされる。

ステップＳ３８０（図５）では、領域検出部２１０（図１）が、現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたか否かを判定する。未だ顔検出用画像ＦＤＩｍｇ全体がスキャンされていないと判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷを所定の方向に所定の移動量だけ移動する（ステップＳ３９０）。図６の下段には、ウィンドウＳＷが移動した様子を示している。本実施例では、ステップＳ３９０において、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動するものとしている。また、ウィンドウＳＷがさらに右方向には移動できない位置に配置されている場合には、ステップＳ３９０において、ウィンドウＳＷが顔検出用画像ＦＤＩｍｇの左端まで戻ると共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動するものとしている。ウィンドウＳＷがさらに下方向には移動できない位置に配置されている場合には、顔検出用画像ＦＤＩｍｇ全体がスキャンされたこととなる。ウィンドウＳＷの移動（ステップＳ３９０）の後には、移動後のウィンドウＳＷについて、上述のステップＳ３４０以降の処理が実行される。

ステップＳ３８０（図５）において現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたと判定された場合には、ウィンドウＳＷの所定のサイズがすべて使用されたか否かが判定される（ステップＳ４００）。本実施例では、ウィンドウＳＷのサイズとして、初期値（最大サイズ）である横２４０画素×縦２４０画素の他に、横２１３画素×縦２１３画素、横１７８画素×縦１７８画素、横１４９画素×縦１４９画素、横１２４画素×縦１２４画素、横１０３画素×縦１０３画素、横８６画素×縦８６画素、横７２画素×縦７２画素、横６０画素×縦６０画素、横５０画素×縦５０画素、横４１画素×縦４１画素、横３５画素×縦３５画素、横２９画素×縦２９画素、横２４画素×縦２４画素、横２０画素×縦２０画素（最小サイズ）、の合計１５個のサイズが設定されている。未だ使用されていないウィンドウＳＷのサイズがあると判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ４１０）。すなわち、ウィンドウＳＷのサイズは、最初に最大サイズに設定され、その後、順に小さいサイズに変更されていく。ウィンドウＳＷのサイズの変更（ステップＳ４１０）の後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３３０以降の処理が実行される。

ステップＳ４００（図５）においてウィンドウＳＷの所定のサイズがすべて使用されたと判定された場合には、領域設定部２１４（図１）が、原顔領域設定処理を実行する（ステップＳ４２０）。図９および図１０は、原顔領域設定処理の概要を示す説明図である。領域設定部２１４は、図５のステップＳ３６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定されステップＳ３７０において記憶されたウィンドウＳＷの座標（すなわちウィンドウＳＷの位置およびサイズ）と特定顔傾きとに基づき、原顔領域ＦＡｏを設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま原顔領域ＦＡｏとして設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が原顔領域ＦＡｏとして設定される。例えば図９（ａ）に示すように、３０度の特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図９（ｂ）に示すように、ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後のウィンドウＳＷにより規定される画像領域が原顔領域ＦＡｏとして設定される。

また、領域設定部２１４は、ステップＳ３７０において、ある特定顔傾きについて互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（以下「平均ウィンドウＡＷ」とも呼ぶ）を設定する。例えば図１０（ａ）に示すように、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が記憶された場合には、図１０（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つの平均ウィンドウＡＷが定義される。このとき、上述したのと同様に、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま原顔領域ＦＡｏとして設定される。一方、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が原顔領域ＦＡｏとして設定される（図１０（ｃ）参照）。

なお、図９に示したように、他のウィンドウＳＷと重複しない１つのウィンドウＳＷが記憶された場合にも、図１０に示した互いに一部が重複する複数のウィンドウＳＷが記憶された場合と同様に、１つのウィンドウＳＷ自身が平均ウィンドウＡＷであると解釈することも可能である。

本実施例では、学習の際に用いられる顔サンプル画像群（図８参照）に、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図８における画像ＦＩａおよびＦＩｂ）が含まれているため、ウィンドウＳＷの大きさに対する顔の画像の大きさが基本顔サンプル画像ＦＩｏと比べてわずかに大きかったり小さかったりする場合にも、原顔領域ＦＡｏが検出されうる。従って、本実施例では、ウィンドウＳＷのサイズとして上述した１５個の離散的なサイズのみが設定されているが、あらゆる大きさの顔の画像について原顔領域ＦＡｏが検出されうる。同様に、本実施例では、学習の際に用いられる顔サンプル画像群に、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図８における画像ＦＩｃおよびＦＩｄ）が含まれているため、ウィンドウＳＷに対する顔の画像の傾きが基本顔サンプル画像ＦＩｏとはわずかに異なっている場合にも、原顔領域ＦＡｏが検出されうる。従って、本実施例では、特定顔傾きとして上述した１２個の離散的な傾き値のみが設定されているが、あらゆる傾きの顔の画像について原顔領域ＦＡｏが検出されうる。

原顔領域検出処理（図３のステップＳ１３０）において、原顔領域ＦＡｏが検出されなかった場合には（ステップＳ１４０：Ｎｏ）、顔領域検出処理は終了する。一方、少なくとも１つの原顔領域ＦＡｏが検出された場合には（ステップＳ１４０：Ｙｅｓ）、画像処理部２００（図１）が、ステップＳ１１０で設定された精度に基づき、以降の実行すべき処理を判定する。すなわち、顔領域の用途が肌色補正であり、設定された精度が比較的低い値である場合には（ステップＳ１５０：Ｎｏ）、処理はステップＳ１６０に進む。

ステップＳ１６０（図３）では、顔領域決定部２１６（図１）が、決定顔領域ＦＡｆを設定する。決定顔領域ＦＡｆは、顔領域検出処理の最終的な検出結果として設定される顔領域である。ステップＳ１６０においては、顔領域決定部２１６は、原顔領域ＦＡｏを決定顔領域ＦＡｆとして設定する。上述したように、原顔領域ＦＡｏは、平均ウィンドウＡＷの傾きを特定顔傾きに一致するように変化させた後の平均ウィンドウＡＷにより規定される画像領域である。従って、原顔領域ＦＡｏを決定顔領域ＦＡｆとして設定すると、決定顔領域ＦＡｆの傾き（顔領域傾き）は、特定顔傾きとして設定された１２個の離散的な傾き（０度、３０度、６０度、・・・、３３０度）のいずれか１つとなる。そのため、決定顔領域ＦＡｆの傾き（顔領域傾き）と、対象画像に表された顔の画像の実際の傾き（実傾き）と、の差異は、プラスマイナス１５度の範囲の値となる。従って、この場合には、顔領域傾きと実傾きとの差異の平均値は比較的大きくなり、顔領域を決定する際の精度は比較的低いこととなる。なお、ステップＳ１６０における決定顔領域ＦＡｆの設定方法は、本発明における第１の処理モードにおける決定顔領域ＦＡｆの設定方法に相当する。

一方、顔領域の用途が顔変形であり、設定された精度が比較的高い値である場合には（図３のステップＳ１５０：Ｙｅｓ）、処理はステップＳ１７０に進む。ステップＳ１７０では、領域検出部２１０（図１）が、検出された原顔領域ＦＡｏの１つを選択する。

ステップＳ１８０（図３）では、領域検出部２１０（図１）が、器官領域検出処理を行う。器官領域検出処理は、選択された原顔領域ＦＡｏにおける顔の器官の画像に対応する画像領域を器官領域として検出する処理である。上述したように、本実施例では、顔の器官の種類として、右目と左目と口との３種類が設定されており、器官領域検出処理では、右目の画像に対応する右目領域ＥＡ（ｒ）と、左目の画像に対応する左目領域ＥＡ（ｌ）と、口の画像に対応する口領域ＭＡと、の検出が行われる。

図１１は、器官領域検出処理の流れを示すフローチャートである。また、図１２は、器官領域検出処理の概要を示す説明図である。図１２の最上段には、顔検出処理に用いられた顔検出用画像ＦＤＩｍｇ（図６参照）の一例を示している。

顔検出用画像ＦＤＩｍｇからの器官領域の検出は、上述した原顔領域ＦＡｏの検出と同様に行われる。すなわち、図１２に示すように、矩形形状のウィンドウＳＷがそのサイズおよび位置が変更されつつ顔検出用画像ＦＤＩｍｇ上に配置され（図１１のステップＳ５２０，Ｓ５３０，Ｓ５８０〜Ｓ６１０）、配置されたウィンドウＳＷにより規定される画像領域が顔の器官の画像に対応する器官領域であるか否かの判定（以下「器官判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡとして設定される（図１１のステップＳ５４０）。なお、ウィンドウＳＷの取り得るサイズおよび位置は、選択された原顔領域ＦＡｏのサイズおよび位置に基づき決定される。例えば、ウィンドウＳＷの横方向の長さとして取り得る値は、原顔領域ＦＡｏの横方向の長さを所定数倍して得られる最大サイズから最小サイズまでの間の所定数段階の値に設定される。また、例えば、ウィンドウＳＷの取り得る位置は、ウィンドウＳＷの中心が原顔領域ＦＡｏ内に位置するような範囲に設定される。また、ウィンドウＳＷは、その傾きが０度の状態（ウィンドウＳＷの上方向が顔検出用画像ＦＤＩｍｇの上方向と一致した基準状態）で配置される。

判定対象画像領域ＪＩＡが設定されると、顔器官学習データＯＬＤ（図１）を用いて、器官（右目、左目、口）毎に、器官判定に用いられる累計評価値Ｔｖが算出される（図１１のステップＳ５５０）。累計評価値Ｔｖの算出や器官判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨ（図７参照）は、顔器官学習データＯＬＤに規定されている。なお、顔器官学習データＯＬＤの設定のための学習は、顔学習データＦＬＤの設定のための学習と同様に、顔の器官に対応する画像であることが予めわかっている複数の器官サンプル画像によって構成された器官サンプル画像群と、顔の器官に対応する画像ではないことが予めわかっている複数の非器官サンプル画像によって構成された非器官サンプル画像群と、を用いて実行される。

なお、原顔領域検出処理（図５）においては、累計評価値Ｔｖの算出および顔判定が、すべての特定顔傾きについて実行されるのに対し、器官領域検出処理（図１１）では、累計評価値Ｔｖの算出および器官判定が、選択された原顔領域ＦＡｏの特定顔傾きと同一の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｃ）ないし図２（ｆ）参照）を用いて、原顔領域ＦＡｏの特定顔傾きと同一の器官傾きについてのみ実行される。ただし、器官領域検出処理においても、累計評価値Ｔｖの算出および器官判定が、すべての特定器官傾きについて実行されるものとしてもよい。

算出された累計評価値Ｔｖが所定の閾値ＴＨ以上である場合には、判定対象画像領域ＪＩＡは顔の当該器官の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標が記憶される（図１１のステップＳ５７０）。一方、累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ５７０の処理はスキップされる。

ウィンドウＳＷの所定のサイズのすべてについて、ウィンドウＳＷの位置し得る範囲全体がスキャンされた後に、領域設定部２１４（図１）による器官領域設定処理が実行される（図１１のステップＳ６２０）。図１３は、器官領域設定処理の概要を示す説明図である。器官領域設定処理は、原顔領域設定処理（図９および１０参照）と同様の処理である。領域設定部２１４は、図１１のステップＳ５６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ５７０において記憶されたウィンドウＳＷの座標と、原顔領域ＦＡｏに対応する特定顔傾きと、に基づき、顔の器官の画像に対応する画像領域としての器官領域を設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま器官領域として設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が器官領域として設定される。例えば図１３（ａ）に示すように、３０度の特定顔傾きについて、右目に対応するウィンドウＳＷ（ｅｒ）と左目に対応するウィンドウＳＷ（ｅｌ）と口に対応するウィンドウＳＷ（ｍ）とにおいて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図１３（ｂ）に示すように、各ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後の各ウィンドウＳＷにより規定される画像領域が器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）として設定される。

また、原顔領域設定処理と同様に、互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（平均ウィンドウＡＷ）が設定され、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま器官領域として設定され、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が器官領域として設定される。

器官領域検出処理（図３のステップＳ１８０）において器官領域が検出されなかった場合には（ステップＳ１９０：Ｎｏ）、ステップＳ１７０で選択された原顔領域ＦＡｏは真に顔の画像に対応する画像領域ではない画像領域が誤って原顔領域ＦＡｏとして検出されたと判定される（ステップＳ２００）。この場合には、選択された原顔領域ＦＡｏに基づく決定顔領域ＦＡｆの設定（後述のステップＳ２１０）は実行されない。なお、本実施例において、器官領域が検出されなかった場合とは、３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）の少なくとも１つが検出されなかった場合を意味する。

器官領域検出処理（図３のステップＳ１８０）において、３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）がすべて検出された場合には（ステップＳ１９０：Ｙｅｓ）、顔領域決定部２１６（図１）が、決定顔領域ＦＡｆを設定する（ステップＳ２１０）。図１４は、決定顔領域ＦＡｆの設定方法を示す説明図である。まず、図１４（ａ）に示すように、顔領域決定部２１６の顔傾き推定部２１７は、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ直線ＣＬの傾きを算出し、対象画像に表された顔の画像の実際の傾き（実傾き）は算出された直線ＣＬの傾きに等しいと推定する。すなわち、実傾きは、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）との間の位置関係に基づき推定される。次に、図１４（ｂ）に示すように、顔領域決定部２１６は、原顔領域ＦＡｏを規定する平均ウィンドウＡＷの傾きを推定された実傾きと一致するように変化させ（すなわち平均ウィンドウＡＷを平均ウィンドウＡＷの重心を中心として推定された実傾き分だけ時計回りに回転させ）、傾き変化後の平均ウィンドウＡＷにより規定される画像領域を決定顔領域ＦＡｆとして設定する。このとき、決定顔領域ＦＡｆは、その外周の２辺が直線ＣＬと平行な矩形の画像領域となる。

ステップＳ２１０（図３）における決定顔領域ＦＡｆの設定では、設定された決定顔領域ＦＡｆの傾き（顔領域傾き）が、対象画像に表された顔の画像の実際の傾き（実傾き）の推定値と一致する。また、実傾きの推定値として取り得る値は離散値ではなく連続値である。そのため、この場合には、顔領域傾きと実傾きとの差異の平均値は比較的小さくなり、顔領域を決定する際の精度は比較的高いこととなる。なお、ステップＳ２１０における決定顔領域ＦＡｆの設定方法は、本発明における第２の処理モードにおける決定顔領域ＦＡｆの設定方法に相当する。

ステップＳ２２０（図３）では、領域検出部２１０（図１）が、ステップＳ１７０において未だ選択されていない原顔領域ＦＡｏが存在するか否かを判定する。未だ選択されていない原顔領域ＦＡｏが存在すると判定された場合には（ステップＳ２２０：Ｎｏ）、ステップＳ１７０に戻って未選択の原顔領域ＦＡｏの１つが選択され、ステップＳ１８０以降の処理が実行される。一方、すべての原顔領域ＦＡｏが選択されたと判定された場合には（ステップＳ２２０：Ｙｅｓ）、処理はステップＳ２３０に進む。

ステップＳ２３０（図３）では、情報付加部２３０（図１）が、設定された決定顔領域ＦＡｆの位置（座標）を示す情報を、原画像データを含む画像ファイルに付属情報として付加する。これにより、原画像ＯＩｍｇを表す原画像データと、原画像ＯＩｍｇにおける決定顔領域ＦＡｆの位置（座標）を示す情報と、が含まれた画像ファイルが生成される。なお、決定顔領域ＦＡｆの位置（座標）を示す情報に加えて、器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）の位置（座標）を示す情報やステップＳ１１０で設定された精度を示す情報が画像ファイルに付属情報として付加されるとしてもよい。

以上説明したように、第１実施例のプリンタ１００による顔領域検出処理では、画像データに基づき顔検出用画像ＦＤＩｍｇにおける原顔領域ＦＡｏが検出され、ステップＳ１１０で設定された精度が比較的低い値である場合には、原顔領域ＦＡｏそのものが決定顔領域ＦＡｆとして設定される。このとき器官領域検出処理は実行されない。このときには、決定顔領域ＦＡｆの設定精度は比較的低くなるが、処理時間は比較的短くなる。一方、ステップＳ１１０で設定された精度が比較的高い値である場合には、原顔領域ＦＡｏにおける器官領域が検出され、器官領域の検出結果に基づき原顔領域ＦＡｏを調整した領域が決定顔領域ＦＡｆとして設定される。このときには、処理時間は比較的長くなるが、決定顔領域ＦＡｆの設定精度は比較的高くなる。そのため、本実施例では、決定顔領域ＦＡｆを設定する際の、設定精度と処理時間との調整を図ることができる。

Ｂ．第２実施例：
図１５は、本発明の第２実施例における画像処理装置としてのプリンタ１００ａの構成を概略的に示す説明図である。第２実施例のプリンタ１００ａは、画像処理部２００の構成の点で、図１に示した第１実施例のプリンタ１００と異なっている。すなわち、第２実施例のプリンタ１００ａは、精度設定部２２０（図１）を含まない代わりに、検出傾き設定部２４０と、検出判定部２５０と、を含んでいる。プリンタ１００ａのその他の構成は、図１に示した第１実施例のプリンタ１００の構成と同じである。

検出傾き設定部２４０は、対象画像から検出すべき顔の画像の傾きを設定する。検出判定部２５０は、設定された検出すべき顔の画像の傾きと、対象画像に表された顔の画像の実際の傾き（実傾き）の推定値とに基づき、対象画像に表された顔の画像が検出すべき顔の画像であるか否かを判定する。

図１６は、第２実施例における顔領域検出処理の流れを示すフローチャートである。第２実施例における顔領域検出処理は、図３に示した第１実施例における顔領域検出処理と同様に、画像データの表す画像における顔の画像に対応する顔領域を決定する処理である。

ステップＳ１１２（図１６）では、検出傾き設定部２４０（図１）が、対象画像から検出すべき顔の画像の傾き（以下「検出傾き範囲」とも呼ぶ）を設定する。検出傾き設定部２４０は、決定される顔領域の用途を特定する用途情報を取得して、用途情報に基づき検出傾き範囲を設定する。図１７は、決定される顔領域の用途の一例を示す説明図である。図１７には、画像処理部２００（図１）が提供する画像処理メニューの一覧が表示部１５０に表示されている様子が示されている。本実施例では、画像処理メニューとして、証明写真検出が設定されており、決定される顔領域は証明写真検出の画像処理のために用いられる。

証明写真検出は、証明写真に適した構図の写真画像を検出する処理である。証明写真に適した構図の写真画像とは、具体的には、対象画像における顔の画像の傾きが比較的小さい画像である。ユーザにより操作部１４０を介して証明写真検出が選択された場合には、検出傾き設定部２４０は顔領域の用途が証明写真検出であるとの用途情報を取得し、例えば０度から２０度および３４０度から３６０度の傾きの範囲を検出傾き範囲として設定する。図１８は、検出傾き範囲の一例を示す説明図である。

第２実施例における顔領域検出処理（図１６）のステップＳ１２０およびＳ１３０の処理内容は、第１実施例における顔領域検出処理（図３）のステップＳ１２０およびＳ１３０の処理内容と同じである。ただし、ステップＳ１３０の原顔検出処理（図５）における累計評価値Ｔｖの算出（ステップＳ３５０）は、設定された検出傾き範囲をカバーする特定顔傾きについてのみ実行される。上述したように、特定顔傾きは、傾きを０度から３０度ずつ増加させた計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）であり、ある特定顔傾きに対応する顔学習データＦＬＤ（図１）は当該特定顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように設定されている。例えば、図１８に示すように、０度の特定顔傾きに対応する顔学習データＦＬＤは、０度を中心に顔傾きの値がプラスマイナス１５度の範囲（図１８において「Ｒ（０）」と示す）の顔の画像を検出可能である。同様に、３０度の特定顔傾きに対応する顔学習データＦＬＤは、３０度を中心に顔傾きの値がプラスマイナス１５度の範囲（図１８において「Ｒ（３０）」と示す）の顔の画像を検出可能であり、３３０度の特定顔傾きに対応する顔学習データＦＬＤは、３３０度を中心に顔傾きの値がプラスマイナス１５度の範囲（図１８において「Ｒ（３３０）」と示す）の顔の画像を検出可能である。そのため、図１８に示すように、０度から２０度および３４０度から３６０度の傾きの範囲が検出傾き範囲として設定された場合には、累計評価値Ｔｖの算出は、検出傾き範囲をカバーする特定顔傾きである０度、３０度、３３０度の３つの特定顔傾きについてのみ実行される。

第２実施例における顔領域検出処理（図１６）では、第１実施例における顔領域検出処理（図３）と同様に、原顔領域検出処理（ステップＳ１３０）において原顔領域ＦＡｏが検出されなかった場合には（ステップＳ１４０：Ｎｏ）、顔領域検出処理は終了する。一方、少なくとも１つの原顔領域ＦＡｏが検出された場合には（ステップＳ１４０：Ｙｅｓ）、処理はステップＳ１７０に進む。ステップＳ１７０からＳ２１０までの処理内容は、第１実施例における顔領域検出処理（図３）における処理内容と同じである。

ステップＳ２１２（図１６）では、検出判定部２５０（図１５）が、ステップＳ２１０で推定された顔の画像の実際の傾き（実傾き）（図１４（ａ）参照）が、ステップＳ１１２で設定された検出傾き範囲内であるか否かを判定する。推定された実傾きが検出傾き範囲内であると判定された場合には（ステップＳ２１２：Ｙｅｓ）、検出判定部２５０は、対象画像に表された顔の画像が検出すべき顔の画像であると判定する。この場合には、情報付加部２３０（図１５）が、設定された決定顔領域ＦＡｆの位置（座標）を示す情報を、原画像データを含む画像ファイルに付属情報として付加する（ステップＳ２１４）。一方、推定された実傾きが検出傾き範囲内ではないと判定された場合には（ステップＳ２１２：Ｎｏ）、検出判定部２５０は、対象画像に表された顔の画像が検出すべき顔の画像ではないと判定する。この場合には、ステップＳ２１４の処理はスキップされる。

その後、ステップＳ１７０において未だ選択されていない原顔領域ＦＡｏが存在するか否かが判定され（ステップＳ２２０）、未だ選択されていない原顔領域ＦＡｏが存在すると判定された場合には（ステップＳ２２０：Ｎｏ）、処理はステップＳ１７０に戻り、すべての原顔領域ＦＡｏが選択されたと判定された場合には（ステップＳ２２０：Ｙｅｓ）、処理は終了する。

以上説明したように、第２実施例のプリンタ１００ａによる顔領域検出処理では、対象画像から検出すべき顔の画像の傾きが設定され、検出された複数の器官領域間の位置関係に基づき対象画像に表された顔の画像の傾きが推定され、検出すべき顔の画像の傾きと推定された顔の画像の傾きとに基づき、対象画像に表された顔の画像が検出すべき顔の画像であるか否かが判定される。そのため、第２実施例のプリンタ１００ａによる顔領域検出処理では、対象画像に表された顔の画像が検出すべき顔の画像であるか否かの判定を精度良く実行することができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
上記各実施例では、精度は、決定顔領域ＦＡｆの傾き（顔領域傾き）と対象画像に表された顔の画像の実際の傾き（実傾き）との差異の平均値の程度を意味するものとしているが、精度は、決定顔領域ＦＡｆの位置および大きさと対象画像に表された顔の画像の実際の位置および大きさとの差異の平均値の程度をも意味するものとしてもよい。この場合に、精度として高い精度が設定されたときには、決定顔領域ＦＡｆの設定（図３のステップＳ２１０）において、器官領域の検出結果に基づき原顔領域ＦＡｏの位置および大きさが調整されてもよい。原顔領域ＦＡｏの位置の調整は、例えば、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ線分の中点と、決定顔領域ＦＡｆの横方向および縦方向の大きさを所定の比率で分割する点と、が一致するように、原顔領域ＦＡｏを平行移動することにより行われる。また、原顔領域ＦＡｏの大きさの調整は、例えば、決定顔領域ＦＡｆの横方向の大きさが、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ線分の長さの所定倍となり、決定顔領域ＦＡｆの縦方向の大きさが、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ線分と口領域ＭＡの重心とを結ぶ線分の長さの所定倍となるように、原顔領域ＦＡｏを拡大または縮小することにより行われる。

Ｃ２．変形例２：
上記各実施例における顔領域の用途（図４および図１７参照）は、あくまで一例であり、顔領域の用途は他にも種々設定可能である。また、上記各実施例における顔領域の用途に応じた精度や検出傾き範囲は、あくまで一例であり、顔領域の用途に応じて精度や検出傾き範囲は種々変形可能である。

また、上記第１実施例において、顔領域の用途の設定を介さずに、精度が直接設定されてもよい。また、上記第２実施例において、顔領域の用途の設定を介さずに、検出傾き範囲が直接設定されてもよい。

また、上記第１実施例において、精度の設定が行われることなく、処理モードの選択、すなわち決定顔領域ＦＡｆの設定のために器官領域検出処理が実行されるか否かの選択が直接行われるとしてもよい。

Ｃ３．変形例３：
上記各実施例では、器官領域検出処理（図３のステップＳ１８０）においていずれの器官検出用画像ＯＤＩｍｇにおいても３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）の少なくとも１つが検出されなかった場合に、器官領域が検出されなかったと判定されるとしているが、３種類の器官領域の少なくとも１つが検出された場合には器官領域が検出されたと判定されるものとしてもよい。あるいは、口領域ＭＡの検出結果に関わらず、顔傾きの推定に用いられる右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）の両者が検出された場合には器官領域が検出されたと判定され、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）の少なくとも一方が検出されなかった場合には器官領域が検出されなかったと判定されるとしてもよい。

なお、３種類の器官領域の少なくとも１つが検出されたときには器官領域が検出されたと判定されるとした場合、顔傾きの推定に右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）との一方または両方が利用できないことが考えられる。このような場合には、器官領域が検出された器官検出用画像ＯＤＩｍｇの傾きを顔傾きと推定すればよい。

Ｃ４．変形例４：
上記各実施例では、顔学習データＦＬＤや顔器官学習データＯＬＤが、正面向きの画像に対応するもののみが準備されているが、右向きや左向きに対応するものが準備され、右向きや左向きの顔の画像や顔の器官の画像に対応する顔領域や器官領域の検出が行われるとしてもよい。

Ｃ５．変形例５：
上記各実施例における原顔領域検出処理（図５）や器官領域検出処理（図１１）の態様はあくまで一例であり、種々変更可能である。例えば顔検出用画像ＦＤＩｍｇ（図６参照）のサイズは３２０画素×２４０画素に限られず、他のサイズであってもよいし、原画像ＯＩｍｇそのものを顔検出用画像ＦＤＩｍｇとして用いることも可能である。また、使用されるウィンドウＳＷのサイズやウィンドウＳＷの移動方向および移動量（移動ピッチ）は上述したものに限られない。また、上記各実施例では、顔検出用画像ＦＤＩｍｇのサイズが固定され、複数種類のサイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されているが、複数種類のサイズの顔検出用画像ＦＤＩｍｇが生成され、固定サイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されるものとしてもよい。

また、上記各実施例では、累計評価値Ｔｖを閾値ＴＨと比較することにより顔判定および器官判定を行っているが（図７参照）、顔判定および器官判定を複数の判別器を用いた判別等の他の方法によって行ってもよい。顔判定および器官判定の方法に応じて、顔学習データＦＬＤおよび顔器官学習データＯＬＤの設定に用いられる学習方法も変更される。また、顔判定および器官判定は、必ずしも学習を用いた判別方法により行われる必要はなく、パターンマッチング等の他の方法により行われるとしてもよい。

また、上記各実施例では、３０度刻みの１２種類の特定顔傾きが設定されているが、より多くの種類の特定顔傾きが設定されてもよいし、より少ない種類の特定顔傾きが設定されてもよい。また、必ずしも特定顔傾きが設定される必要はなく、０度の顔傾きについての顔判定が行われるとしてもよい。また、上記各実施例では、顔サンプル画像群に基本顔サンプル画像を拡大・縮小した画像や回転させた画像が含まれるとしているが、顔サンプル画像群に必ずしもこのような画像が含まれる必要はない。

上記各実施例において、あるサイズのウィンドウＳＷにより規定される判定対象画像領域ＪＩＡについての顔判定（または器官判定）で顔の画像（または顔の器官の画像）に対応する画像領域であると判定された場合には、当該サイズより所定の比率以上小さいサイズのウィンドウＳＷを配置する場合には、顔の画像に対応する画像領域であると判定された判定対象画像領域ＪＩＡを避けて配置するものとしてもよい。このようにすれば、処理の高速化を図ることができる。

上記各実施例では、メモリカードＭＣに格納された画像データが原画像データに設定されているが、原画像データはメモリカードＭＣに格納された画像データに限らず、例えばネットワークを介して取得された画像データであってもよい。

上記各実施例では、顔の器官の種類として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官の種類として顔のどの器官を設定するかは変更可能である。例えば、顔の器官の種類として、右目と左目と口とのいずれか１つまたは２つのみが設定されるとしてもよい。また、顔の器官の種類として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つに代わり、顔のその他の器官の種類（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像に対応する領域が検出されるとしてもよい。

上記各実施例では、原顔領域ＦＡｏおよび器官領域は矩形の領域であるが、原顔領域ＦＡｏおよび器官領域は矩形以外の形状の領域であってもよい。

上記各実施例では、画像処理装置としてのプリンタ１００による顔領域検出処理を説明したが、処理の一部または全部がパーソナルコンピュータやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。 第１実施例における顔領域検出処理の流れを示すフローチャートである。 決定される顔領域の用途の一例を示す説明図である。 原顔領域検出処理の流れを示すフローチャートである。 原顔領域検出処理の概要を示す説明図である。 顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。 学習に用いられるサンプル画像の一例を示す説明図である。 原顔領域設定処理の概要を示す説明図である。 原顔領域設定処理の概要を示す説明図である。 器官領域検出処理の流れを示すフローチャートである。 器官領域検出処理の概要を示す説明図である。 器官領域設定処理の概要を示す説明図である。 決定顔領域ＦＡｆの設定方法を示す説明図である。 本発明の第２実施例における画像処理装置としてのプリンタ１００ａの構成を概略的に示す説明図である。 第２実施例における顔領域検出処理の流れを示すフローチャートである。 決定される顔領域の用途の一例を示す説明図である。 検出傾き範囲の一例を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…領域検出部
２１１…判定対象設定部
２１２…評価値算出部
２１３…判定部
２１４…領域設定部
２１６…顔領域決定部
２１７…顔傾き推定部
２２０…精度設定部
２３０…情報付加部
２４０…検出傾き設定部
２５０…検出判定部
３１０…表示処理部
３２０…印刷処理部

Claims (7)

1. 画像データに基づき対象画像における顔の画像に対応する領域を第１の顔領域として検出する顔領域検出部と、前記第１の顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出部と、を有する画像処理装置において、さらに、
   前記対象画像における顔の画像に対応する最終的な顔領域である第２の顔領域を設定する顔領域決定部であって、前記第１の顔領域を前記第２の顔領域として設定する第１の処理モードと、検出された前記器官領域に基づき前記第１の顔領域を調整した領域を前記第２の顔領域として設定する第２の処理モードと、を有する顔領域決定部と、
   前記第２の顔領域に基づき設定される画像領域を対象として実行される画像処理の種別を特定する画像処理種別情報を取得し、前記画像処理種別情報に基づき、前記第２の顔領域を設定する際の精度を設定する精度設定部と、を備え、
   前記顔領域決定部は、前記精度が所定の範囲の場合には前記第１の処理モードで前記第２の顔領域を設定し、前記精度が前記所定の範囲より高い場合には前記第２の処理モードで前記第２の顔領域を設定することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記顔領域決定部は、前記第２のモードにおいて、検出された複数の前記器官領域間の位置関係に基づき前記第１の顔領域の傾きを調整することにより前記第２の顔領域を設定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、さらに、
   前記対象画像から検出すべき顔の画像の傾きを設定する検出傾き設定部と、
   検出された複数の前記器官領域間の位置関係に基づき前記対象画像に表された顔の画像の傾きを推定する顔傾き推定部と、
   前記検出すべき顔の画像の傾きと前記推定された顔の画像の傾きとに基づき、前記対象画像に表された顔の画像が検出すべき顔の画像であるか否かを判定する検出判定部と、を備えることを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
   前記顔領域検出部は、
   前記対象画像上における画像領域である判定対象画像領域を設定する判定対象設定部と、
   前記判定対象画像領域が所定の複数の離散した傾きの内の１つを有する顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するための評価用データを記憶する記憶部と、
   前記評価用データと前記判定対象画像領域に対応する画像データとに基づき前記評価値を算出する評価値算出部と、
   前記評価値に基づき、前記判定対象画像領域が顔の画像に対応する画像領域であるか否かを判定する判定部と、
   顔の画像に対応する画像領域であると判定された前記判定対象画像領域の位置およびサイズに基づき前記第１の顔領域を設定する領域設定部と、を含むことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記顔の器官の種類は、右目と左目と口との少なくとも１つであることを特徴とする画像処理装置。
6. （ａ）画像データに基づき対象画像における顔の画像に対応する領域を第１の顔領域として検出する工程と、（ｂ）前記第１の顔領域における顔の器官の画像に対応する領域を器官領域として検出する工程と、を有する画像処理方法において、さらに、
   （ｃ）前記対象画像における顔の画像に対応する最終的な顔領域である第２の顔領域を設定する工程であって、前記第１の顔領域を前記第２の顔領域として設定する第１の処理モードと、検出された前記器官領域に基づき前記第１の顔領域を調整した領域を前記第２の顔領域として設定する第２の処理モードと、を有する工程と、
   前記第２の顔領域に基づき設定される画像領域を対象として実行される画像処理の種別を特定する画像処理種別情報を取得し、前記画像処理種別情報に基づき、前記第２の顔領域を設定する際の精度を設定する工程と、を備え、
   前記第２の顔領域を設定する工程は、前記精度が所定の範囲の場合には前記第１の処理モードで前記第２の顔領域を設定し、前記精度が前記所定の範囲より高い場合には前記第２の処理モードで前記第２の顔領域を設定する工程であることを特徴とする画像処理方法。
7. 画像データに基づき対象画像における顔の画像に対応する領域を第１の顔領域として検出する顔領域検出機能と、前記第１の顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出機能と、をコンピュータに実現させるコンピュータプログラムにおいて、さらに、
   前記対象画像における顔の画像に対応する最終的な顔領域である第２の顔領域を設定する顔領域決定機能であって、前記第１の顔領域を前記第２の顔領域として設定する第１の処理モードと、検出された前記器官領域に基づき前記第１の顔領域を調整した領域を前記第２の顔領域として設定する第２の処理モードと、を有する顔領域決定機能と、
   前記第２の顔領域に基づき設定される画像領域を対象として実行される画像処理の種別を特定する画像処理種別情報を取得し、前記画像処理種別情報に基づき、前記第２の顔領域を設定する際の精度を設定する精度設定機能と、を前記コンピュータに実現させ、
   前記顔領域決定機能は、前記精度が所定の範囲の場合には前記第１の処理モードで前記第２の顔領域を設定し、前記精度が前記所定の範囲より高い場合には前記第２の処理モードで前記第２の顔領域を設定する機能であることを特徴とするコンピュータプログラム。

Images