JP2009237620A - 画像における顔領域および器官領域の検出 - Google Patents

Abstract

【課題】顔領域からの器官領域の検出処理の検出精度と処理速度との調整を図ることを可能とする。
【解決手段】画像処理装置は、顔領域を検出する顔領域検出部と、顔領域の検出結果に基づき顔の画像を含む所定のサイズの器官検出用画像を生成する画像生成部と、器官検出用画像を表す画像データに基づき顔領域における顔の器官の画像に対応する器官領域を検出する器官領域検出部と、器官領域の検出結果の用途を特定する用途特定情報を取得する用途特定情報取得部と、用途特定情報に基づき所定のサイズを設定するサイズ設定部と、を備える。
【選択図】図１２

Description

本発明は、画像における顔領域および器官領域の検出に関する。

画像中からの顔の画像に対応する顔領域の検出および顔領域からの顔の器官（例えば目）の画像に対応する器官領域の検出を行う技術が知られている（例えば特許文献１および２）。

特開２００６−０６５６４０号公報 特開２００６−１７９０３０号公報

顔領域からの器官領域の検出の際には、検出精度と処理速度との調整が図られることが好ましい。

本発明は、上記の課題を解決するためになされたものであり、顔領域からの器官領域の検出処理の検出精度と処理速度との調整を図ることを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
対象画像における顔の画像に対応する顔領域を検出する顔領域検出部と、
前記顔領域の検出結果に基づき、前記顔の画像を含む所定のサイズの器官検出用画像を生成する画像生成部と、
前記器官検出用画像を表す画像データに基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する器官領域検出部と、
前記器官領域の検出結果の用途を特定する用途特定情報を取得する用途特定情報取得部と、
前記用途特定情報に基づき、前記所定のサイズを設定するサイズ設定部と、を備える、画像処理装置。

この画像処理装置では、顔領域が検出され、検出された顔領域に基づき顔の画像を含む所定のサイズの器官検出用画像が生成され、器官検出用画像を表す画像データに基づき顔領域における顔の器官の画像に対応する器官領域が検出される。また、この画像処理装置では、器官領域の検出結果の用途を特定する用途特定情報が取得され、用途特定情報に基づき所定のサイズが設定される。そのため、この画像処理装置では、顔領域からの器官領域の検出処理の検出精度と処理速度との調整を図ることができる。

［適用例２］適用例１に記載の画像処理装置であって、
前記サイズ設定部は、前記用途特定情報に基づき前記器官領域検出における要求精度を特定し、前記要求精度が高いほど前記所定のサイズが大きくなるように、前記所定のサイズを設定する、画像処理装置。

この画像処理装置では、用途特定情報に基づき器官領域検出における要求精度が特定され、要求精度が高いほど所定のサイズが大きくなるように所定のサイズが設定されるため、顔領域からの器官領域の検出処理の検出精度と処理速度との調整を図ることができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記用途は、検出された前記器官領域に基づき設定される画像領域を利用して実行される所定の画像処理である、画像処理装置。

この画像処理装置では、検出された器官領域に基づき設定される画像領域を利用して実行される所定の画像処理の種別に応じて、顔領域からの器官領域の検出処理の検出精度と処理速度との調整を図ることができる。

［適用例４］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、
前記画像生成部は、前記顔領域に基づき前記顔領域を含む特定画像領域を設定し、前記特定画像領域の解像度を調整することにより、前記器官検出用画像を生成する、画像処理装置。

この画像処理装置では、検出された顔領域に基づき、顔の画像を含む所定のサイズの器官検出用画像を生成することができる。

［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、
前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。

この画像処理装置では、顔領域からの右目と左目と口との少なくとも１つに対応する器官領域の検出処理の検出精度と処理速度との調整を図ることができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、器官領域検出方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．画像処理：
Ｂ．変形例：

Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、後述する画像処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

画像処理部２００は、プログラムモジュールとして、領域検出部２１０と、処理種別設定部２２０と、を含んでいる。領域検出部２１０は、対象画像データの表す対象画像における所定の種類の被写体の画像（顔の画像および顔の器官の画像）に対応する画像領域の検出を行う。領域検出部２１０は、判定対象設定部２１１と、評価値算出部２１２と、判定部２１３と、領域設定部２１４と、画像生成部２１６と、サイズ設定部２１７と、を含んでいる。これら各部の機能については、後述の画像処理の説明において詳述する。なお、後述するように、領域検出部２１０は、顔の画像に対応する顔領域の検出および顔の器官の画像に対応する器官領域の検出を行うため、本発明における顔領域検出部および器官領域検出部として機能する。また、判定部２１３および領域設定部２１４は、本発明における領域設定部として機能する。

処理種別設定部２２０は、実行すべき画像処理の種別を設定する。処理種別設定部２２０は、ユーザによる実行すべき画像処理の種別の指定を取得する指定取得部２２２を含んでいる。

内部メモリ１２０には、また、予め設定された複数の顔学習データＦＬＤおよび複数の顔器官学習データＯＬＤが格納されている。顔学習データＦＬＤおよび顔器官学習データＯＬＤは、領域検出部２１０による所定の画像領域の検出に用いられる。図２は、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。図２（ａ）ないし図２（ｆ）には、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類と、当該種類の顔学習データＦＬＤおよび顔器官学習データＯＬＤを用いて検出される画像領域の例と、を示している。

顔学習データＦＬＤの内容については後述の画像処理の説明において詳述するが、顔学習データＦＬＤは、顔傾きと顔向きとの組み合わせに対応付けられて設定されている。ここで、顔傾きとは、画像面内（インプレーン）における顔の傾き（回転角度）を意味している。すなわち、顔傾きは、画像面に垂直な軸を中心とした顔の回転角度である。本実施例では、対象画像上の領域や被写体等の傾きを、領域や被写体等の上方向が対象画像の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度で表すものとしている。例えば、顔傾きは、対象画像の上下方向に沿って顔が位置している状態（頭頂が上方向を向き顎が下方向を向いた状態）を基準状態（顔傾き＝０度）とした場合における基準状態からの顔の時計回りの回転角度で表される。

また、顔向きとは、画像面外（アウトプレーン）における顔の向き（顔の振りの角度）を意味している。ここで、顔の振りとは、略円筒状の首の軸を中心とした顔の方向である。すなわち、顔向きは、画像面に平行な軸を中心とした顔の回転角度である。本実施例では、デジタルスチルカメラ等の画像生成装置の撮像面に正対した顔の顔向きを「正面向き」と呼び、撮像面に向かって右を向いた顔（画像の観賞者からみて左を向いた顔の画像）の顔向きを「右向き」と、撮像面に向かって左を向いた顔（画像の観賞者からみて右を向いた顔の画像）の顔向きを「左向き」と呼ぶものとしている。

内部メモリ１２０には、図２（ａ）ないし図２（ｄ）に示す４つの顔学習データＦＬＤ、すなわち、図２（ａ）に示す正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｂ）に示す正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｃ）に示す右向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｄ）に示す右向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、が格納されている。なお、正面向きの顔と右向き（または左向き）の顔とは、別の種類の被写体と解釈することも可能であり、このように解釈した場合には、顔学習データＦＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現することも可能である。

後述するように、ある顔傾きに対応する顔学習データＦＬＤは、当該顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように学習によって設定されている。また、人物の顔は実質的に左右対称である。そのため、正面向きの顔向きについては、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ａ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｂ））との２つが予め準備されれば、これら２つの顔学習データＦＬＤを９０度単位で回転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。右向きの顔向きについても同様に、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｃ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｄ））との２つが予め準備されれば、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。また、左向きの顔向きについては、右向きの顔向きに対応する顔学習データＦＬＤを反転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。

顔器官学習データＯＬＤは、顔の器官の種類に対応付けられて設定されている。本実施例では、顔の器官の種類として、目（右目および左目）と口とが設定されている。顔器官学習データＯＬＤは、上述の顔学習データＦＬＤと異なり、各顔の器官の種類毎に、１つの器官傾き（具体的には０度）のみに対応付けられている。ここで、器官傾きとは、上述の顔傾きと同様に、画像面内（インプレーン）における顔の器官の傾き（回転角度）を意味している。すなわち、器官傾きは、画像面に垂直な軸を中心とした顔の器官の回転角度である。器官傾きは、顔傾きと同様に、対象画像の上下方向に沿って顔の器官が位置している状態を基準状態（器官傾き＝０度）とした場合における基準状態からの顔の器官の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ｅ）および図２（ｆ）に示す２つの顔器官学習データＯＬＤ、すなわち、図２（ｅ）に示す目に対応する顔器官学習データＯＬＤと、図２（ｆ）に示す口に対応する顔器官学習データＯＬＤと、が格納されている。目と口とは別の種類の被写体であるため、顔器官学習データＯＬＤは被写体の種類に対応して設定されていると表現できる。

顔学習データＦＬＤと同様に、０度の器官傾きに対応する顔器官学習データＯＬＤは、０度を中心に器官傾きの値がプラスマイナス１５度の範囲の器官の画像を検出可能なように学習によって設定されている。なお、本実施例では、右目と左目とは同じ種類の被写体であるとし、右目の画像に対応する右目領域と左目の画像に対応する左目領域とを共通の顔器官学習データＯＬＤを用いて検出するものとしているが、右目と左目とは異なる種類の被写体であるとして、右目領域検出用と左目領域検出用とにそれぞれ専用の顔器官学習データＯＬＤを準備するものとしてもよい。

内部メモリ１２０（図１）には、さらに、予め設定されたサイズテーブルＳＴが格納されている。サイズテーブルＳＴは、実行される画像処理の種別と、後述の器官領域検出処理における要求精度および用いられる器官検出用画像ＯＤＩｍｇのサイズと、を対応付ける情報を含んでいる。サイズテーブルＳＴの内容については後に詳述する。

Ａ−２．画像処理：
図３は、画像処理の流れを示すフローチャートである。本実施例における画像処理は、実行すべき画像処理の種別を設定し、設定された種別の画像処理を実行する処理である。

画像処理のステップＳ１１０（図３）では、処理種別設定部２２０（図１）が、実行すべき画像処理の種別を設定する。具体的には、処理種別設定部２２０は、表示処理部３１０（図１）を制御して表示部１５０上に画像処理種別設定のためのユーザインタフェースを表示させる。図４は、画像処理種別設定のためのユーザインタフェースの一例を示す説明図である。図４に示すように、本実施例のプリンタ１００は、画像処理種別として、肌色補正と顔変形と赤目補正と笑顔検出との４つの種別を有している。

肌色補正は、人物の肌の色を好ましい肌色に補正する画像処理である。顔変形は、顔領域内の画像または顔領域に基づき設定される顔の画像を含む画像領域内の画像を変形する画像処理である。赤目補正は、赤目現象が発生した目の画像の色を自然な目の色に補正する画像処理である。笑顔検出は、人物の笑顔の画像を検出する画像処理である。

ユーザが操作部１４０を介して画像処理の種別の１つを選択指定すると、指定取得部２２２（図１）は、選択指定された画像処理の種別を特定する情報（以下「画像処理種別特定情報」とも呼ぶ）を取得し、処理種別設定部２２０は、画像処理種別特定情報により特定される画像処理の種別を実行すべき画像処理の種別として設定する。なお、本実施例における画像処理の種別は、後述の器官領域検出処理（図３のステップＳ１８０）により検出される器官領域（または器官領域に基づき設定される画像領域）を利用して所定の処理が実行されるものである。そのため、設定された画像処理の種別は、器官領域検出結果の用途であると表現でき、画像処理種別特定情報は、器官領域検出結果の用途を特定する用途特定情報であると表現できる。従って、画像処理種別特定情報を取得する指定取得部２２２は、本発明における用途特定情報取得部として機能するといえる。

ステップＳ１３０（図３）では、画像処理部２００（図１）が、画像処理の対象となる画像を表す画像データを取得する。本実施例のプリンタ１００では、カードスロット１７２に挿入されたメモリカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリカードＭＣより取得して内部メモリ１２０の所定の領域に格納する。なお、取得された画像データを原画像データと呼び、原画像データの表す画像を原画像ＯＩｍｇと呼ぶものとする。

ステップＳ１４０（図３）では、領域検出部２１０（図１）が、顔領域検出処理を行う。顔領域検出処理は、顔の画像に対応する画像領域を顔領域ＦＡとして検出する処理である。図５は、顔領域検出処理の流れを示すフローチャートである。また、図６は、顔領域検出処理の概要を示す説明図である。図６の最上段には原画像ＯＩｍｇの一例を示している。

顔領域検出処理（図５）におけるステップＳ３１０では、領域検出部２１０の画像生成部２１６（図１）が、原画像ＯＩｍｇを表す原画像データから顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。本実施例では、図６に示すように、顔検出用画像ＦＤＩｍｇは横３２０画素×縦２４０画素のサイズの画像である。画像生成部２１６は、必要により原画像データの解像度変換を行うことにより、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。

ステップＳ３２０（図５）では、判定対象設定部２１１（図１）が、判定対象画像領域ＪＩＡ（後述）の設定に用いるウィンドウＳＷのサイズを初期値に設定する。ステップＳ３３０では、判定対象設定部２１１が、ウィンドウＳＷを顔検出用画像ＦＤＩｍｇ上の初期位置に配置する。ステップＳ３４０では、判定対象設定部２１１が、顔検出用画像ＦＤＩｍｇ上に配置されたウィンドウＳＷにより規定される画像領域を、顔の画像に対応する画像領域であるか否かの判定（以下「顔判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡに設定する。図６の中段には、顔検出用画像ＦＤＩｍｇ上に初期値のサイズのウィンドウＳＷが初期位置に配置され、ウィンドウＳＷにより規定される画像領域が判定対象画像領域ＪＩＡに設定される様子を示している。本実施例では、後述するように、正方形形状のウィンドウＳＷのサイズおよび位置が変更されつつ判定対象画像領域ＪＩＡの設定が順に行われるが、ウィンドウＳＷのサイズの初期値は最大サイズである横２４０画素×縦２４０画素であり、ウィンドウＳＷの初期位置はウィンドウＳＷの左上の頂点が顔検出用画像ＦＤＩｍｇの左上の頂点に重なるような位置である。また、ウィンドウＳＷは、その傾きが０度の状態で配置される。なお、上述したように、ウィンドウＳＷの傾きとは、ウィンドウＳＷの上方向が対象画像（顔検出用画像ＦＤＩｍｇ）の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度を意味している。

ステップＳ３５０（図５）では、評価値算出部２１２（図１）が、判定対象画像領域ＪＩＡについて、判定対象画像領域ＪＩＡに対応する画像データ基づき、顔判定に用いる累計評価値Ｔｖを算出する。なお、本実施例では、顔判定は、予め設定された特定顔傾きと特定顔向きとの組み合わせ毎に実行される。すなわち、特定顔傾きと特定顔向きとの組み合わせ毎に、判定対象画像領域ＪＩＡが当該特定顔傾きと特定顔向きとを有する顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、累計評価値Ｔｖも特定顔傾きと特定顔向きとの組み合わせ毎に算出される。ここで、特定顔傾きとは、所定の顔傾きであり、本実施例では、基準顔傾き（顔傾き＝０度）と基準顔傾きから顔傾きを３０度ずつ増加させた顔傾きとの計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）が、特定顔傾きとして設定されている。また、特定顔向きとは、所定の顔向きであり、本実施例では、正面向きと右向きと左向きとの計３個の顔向きが特定顔向きとして設定されている。

図７は、顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。本実施例では、累計評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。各フィルタの外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。評価値算出部２１２は、判定対象画像領域ＪＩＡにフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用して評価値ｖＸ（すなわちｖ１〜ｖＮ）を算出する。具体的には、評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計から、マイナス領域ｍａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計を差し引いた値である。

算出された評価値ｖＸは、各評価値ｖＸに対応して設定された閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）と比較される。本実施例では、評価値ｖＸが閾値ｔｈＸ以上である場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であると判定され、フィルタＸの出力値として値「１」が設定される。一方、評価値ｖＸが閾値ｔｈＸより小さい場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域ではないと判定され、フィルタＸの出力値として値「０」が設定される。各フィルタＸには重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が設定されており、すべてのフィルタについての出力値と重み係数ＷｅＸとの積の合計が、累計評価値Ｔｖとして算出される。

なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、顔学習データＦＬＤとして予め規定されている。すなわち、例えば、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ）参照）に規定されたフィルタＸの態様、閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨが用いられる。同様に、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ）参照）が用いられる。また、正面向きの顔向きと他の特定顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定の際には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ））と正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ））とに基づき、正面向きの顔向きと当該他の特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが評価値算出部２１２により生成され、使用される。右向きや左向きの顔向きについても同様に、内部メモリ１２０に予め格納された顔学習データＦＬＤに基づき必要な顔学習データＦＬＤが生成され、使用される。なお、本実施例における顔学習データＦＬＤは、判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータであるため、本発明における評価用データに相当する。

なお、顔学習データＦＬＤは、サンプル画像を用いた学習によって設定される。図８は、正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。学習には、正面向きの顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、正面向きの顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。

学習による正面向きの顔に対応する顔学習データＦＬＤの設定は特定顔傾き毎に実行されるため、図８に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応するものが準備される。例えば０度の特定顔傾きについての顔学習データＦＬＤの設定は、０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行され、３０度の特定顔傾きについての顔学習データＦＬＤの設定は、３０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行される。

各特定顔傾きに対応する顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の顔サンプル画像（以下「基本顔サンプル画像ＦＩｏ」とも呼ぶ）を含む。また、顔サンプル画像群は、少なくとも１つの基本顔サンプル画像ＦＩｏについて、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図８における画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図８における画像ＦＩｃおよびＦＩｄ）をも含む。

サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（すなわちフィルタ１〜フィルタＮ、図７参照）について、ある特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて評価値ｖＸ（すなわちｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）が設定される。ここで、顔検出率とは、顔サンプル画像群を構成する顔サンプル画像の総数に対する、評価値ｖＸによる閾値判定によって顔の画像に対応する画像であると判定される顔サンプル画像の数の割合を意味している。

次に、各フィルタＸに設定された重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が初期値に設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての累計評価値Ｔｖが算出される。後述するように、顔判定においては、ある画像について算出された累計評価値Ｔｖが所定の閾値ＴＨ以上の場合には、当該画像は顔の画像に対応する画像であると判定される。学習においては、選択されたサンプル画像（顔サンプル画像または非顔サンプル画像）について算出された累計評価値Ｔｖによる閾値判定結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。以降、サンプル画像の選択と、選択されたサンプル画像について算出された累計評価値Ｔｖによる閾値判定、および判定結果の正誤に基づく重み係数ＷｅＸの値の修正が、顔サンプル画像群および非顔サンプル画像群に含まれるすべてのサンプル画像について繰り返し実行される。このような処理によって、正面向きの顔向きと特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが設定される。

なお、他の特定顔向き（右向きおよび左向き）に対応する顔学習データＦＬＤも同様に、右向き（または左向き）の顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、右向き（または左向き）の顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群とを用いた学習によって設定される。

判定対象画像領域ＪＩＡについて特定顔傾きと特定顔向きとの組み合わせ毎に累計評価値Ｔｖが算出されると（図５のステップＳ３５０）、判定部２１３（図１）は、累計評価値Ｔｖを特定顔傾きと特定顔向きとの組み合わせ毎に設定された閾値ＴＨと比較する（ステップＳ３６０）。ある特定顔傾きと特定顔向きとの組み合わせについて累計評価値Ｔｖが閾値ＴＨ以上である場合には、領域検出部２１０が、判定対象画像領域ＪＩＡは当該特定顔傾きと当該特定顔向きとを有する顔の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きおよび当該特定顔向きと、を記憶する（ステップＳ３７０）。一方、いずれの特定顔傾きと特定顔向きとの組み合わせについても累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３７０の処理はスキップされる。

ステップＳ３８０（図５）では、領域検出部２１０（図１）が、現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたか否かを判定する。未だ顔検出用画像ＦＤＩｍｇ全体がスキャンされていないと判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷを所定の方向に所定の移動量だけ移動する（ステップＳ３９０）。図６の下段には、ウィンドウＳＷが移動した様子を示している。本実施例では、ステップＳ３９０において、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動するものとしている。また、ウィンドウＳＷがさらに右方向には移動できない位置に配置されている場合には、ステップＳ３９０において、ウィンドウＳＷが顔検出用画像ＦＤＩｍｇの左端まで戻ると共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動するものとしている。ウィンドウＳＷがさらに下方向には移動できない位置に配置されている場合には、顔検出用画像ＦＤＩｍｇ全体がスキャンされたこととなる。ウィンドウＳＷの移動（ステップＳ３９０）の後には、移動後のウィンドウＳＷについて、上述のステップＳ３４０以降の処理が実行される。

ステップＳ３８０（図５）において現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたと判定された場合には、ウィンドウＳＷの所定のサイズがすべて使用されたか否かが判定される（ステップＳ４００）。本実施例では、ウィンドウＳＷのサイズとして、初期値（最大サイズ）である横２４０画素×縦２４０画素の他に、横２１３画素×縦２１３画素、横１７８画素×縦１７８画素、横１４９画素×縦１４９画素、横１２４画素×縦１２４画素、横１０３画素×縦１０３画素、横８６画素×縦８６画素、横７２画素×縦７２画素、横６０画素×縦６０画素、横５０画素×縦５０画素、横４１画素×縦４１画素、横３５画素×縦３５画素、横２９画素×縦２９画素、横２４画素×縦２４画素、横２０画素×縦２０画素（最小サイズ）、の合計１５個のサイズが設定されている。未だ使用されていないウィンドウＳＷのサイズがあると判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ４１０）。すなわち、ウィンドウＳＷのサイズは、最初に最大サイズに設定され、その後、順に小さいサイズに変更されていく。ウィンドウＳＷのサイズの変更（ステップＳ４１０）の後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３３０以降の処理が実行される。

ステップＳ４００（図５）においてウィンドウＳＷの所定のサイズがすべて使用されたと判定された場合には、領域設定部２１４（図１）が、顔領域設定処理を実行する（ステップＳ４２０）。図９および図１０は、顔領域設定処理の概要を示す説明図である。領域設定部２１４は、図５のステップＳ３６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ３７０において記憶されたウィンドウＳＷの座標と特定顔傾きとに基づき、顔の画像に対応する画像領域としての顔領域ＦＡを設定する。具体的には、記憶された特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま顔領域ＦＡとして設定される。一方、記憶された特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が顔領域ＦＡとして設定される。例えば図９（ａ）に示すように、３０度の特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図９（ｂ）に示すように、ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後のウィンドウＳＷにより規定される画像領域が顔領域ＦＡとして設定される。

また、領域設定部２１４（図１）は、ステップＳ３７０（図５）においてある特定顔傾きについて互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（以下「平均ウィンドウＡＷ」とも呼ぶ）を設定する。例えば図１０（ａ）に示すように、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が記憶された場合には、図１０（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つの平均ウィンドウＡＷが定義される。このとき、上述したのと同様に、記憶された特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま顔領域ＦＡとして設定される。一方、記憶された特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が顔領域ＦＡとして設定される（図１０（ｃ）参照）。

なお、図９に示したように、他のウィンドウＳＷと重複しない１つのウィンドウＳＷが記憶された場合にも、図１０に示した互いに一部が重複する複数のウィンドウＳＷが記憶された場合と同様に、１つのウィンドウＳＷ自身が平均ウィンドウＡＷであると解釈することも可能である。

本実施例では、学習の際に用いられる顔サンプル画像群（図８参照）に、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図８における画像ＦＩａおよびＦＩｂ）が含まれているため、ウィンドウＳＷの大きさに対する顔の画像の大きさが基本顔サンプル画像ＦＩｏと比べてわずかに大きかったり小さかったりする場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、ウィンドウＳＷの標準サイズとして上述した１５個の離散的なサイズのみが設定されているが、あらゆる大きさの顔の画像について顔領域ＦＡが検出されうる。同様に、本実施例では、学習の際に用いられる顔サンプル画像群に、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図８における画像ＦＩｃおよびＦＩｄ）が含まれているため、ウィンドウＳＷに対する顔の画像の傾きが基本顔サンプル画像ＦＩｏとはわずかに異なっている場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、特定顔傾きとして上述した１２個の離散的な角度のみが設定されているが、あらゆる角度の顔の画像について顔領域ＦＡが検出されうる。

顔領域検出処理（図３のステップＳ１４０）において、顔領域ＦＡが検出されなかった場合には（ステップＳ１５０：Ｎｏ）、画像処理は終了する。一方、少なくとも１つの顔領域ＦＡが検出された場合には（ステップＳ１５０：Ｙｅｓ）、領域検出部２１０（図１）が、検出された顔領域ＦＡの１つを選択する（ステップＳ１７０）。

ステップＳ１８０（図３）では、領域検出部２１０（図１）が、器官領域検出処理を行う。器官領域検出処理は、選択された顔領域ＦＡにおける顔の器官の画像に対応する画像領域を器官領域として検出する処理である。上述したように、本実施例では、顔の器官とは、右目と左目と口との３つの器官を意味しており、領域検出部２１０は、器官領域として、右目の画像に対応する右目領域ＥＡ（ｒ）と、左目の画像に対応する左目領域ＥＡ（ｌ）と、口の画像に対応する口領域ＭＡと、の検出を行う。

図１１は、器官領域検出処理の流れを示すフローチャートである。また、図１２は、器官領域検出処理の概要を示す説明図である。器官領域検出処理におけるステップＳ５０２（図１１）では、サイズ設定部２１７（図１）が、サイズテーブルＳＴを参照して、器官領域検出処理に用いられる器官検出用画像ＯＤＩｍｇのサイズを設定する。

図１３は、サイズテーブルＳＴの内容の一例を示す説明図である。サイズテーブルＳＴは、実行すべき画像処理種別と、器官領域検出処理における要求精度および用いられる器官検出用画像ＯＤＩｍｇのサイズと、を対応付ける情報を含んでいる。図１３に示すように、サイズテーブルＳＴにおいて、肌色補正には、器官領域検出処理における要求精度として比較的低い精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして比較的小さい横４０画素×縦４４画素というサイズが対応付けられている。本実施例では、肌色補正の実行の際には器官領域は参照されないため、肌色補正には、器官領域検出処理の要求精度として比較的低い精度が対応付けられている。また、一般に、器官検出用画像ＯＤＩｍｇのサイズが大きいほど、器官領域検出処理の精度が高くなる一方、処理時間が増大する傾向にある。そのため、サイズテーブルＳＴにおいては、器官領域検出処理における要求精度が高いほど、使用される器官検出用画像ＯＤＩｍｇのサイズが大きい値に設定されている。従って、肌色補正には、器官検出用画像ＯＤＩｍｇのサイズとして比較的小さいサイズが対応付けられている。なお、実行すべき画像処理種別が肌色補正である場合には、器官領域検出処理が実行されないものとしてもよい。この場合には、サイズテーブルＳＴには、肌色補正に対応する要求精度や器官検出用画像ＯＤＩｍｇのサイズを特定する情報は含まれない。

サイズテーブルＳＴ（図１３）において、笑顔検出には、器官領域検出処理における要求精度として比較的高い精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして比較的大きい横８０画素×縦８８画素というサイズが対応付けられている。本実施例では、後述するように、笑顔検出の際に、器官領域検出処理により検出された器官領域（口領域ＭＡ）を対象として輪郭検出が行われるため、笑顔検出には、器官領域検出処理の要求精度として比較的高い精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして比較的大きいサイズが対応付けられている。

サイズテーブルＳＴ（図１３）において、顔変形および赤目補正には、器官領域検出処理における要求精度として中程度の精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして中程度のサイズである横６０画素×縦６６画素というサイズが対応付けられている。本実施例では、顔変形の際に、器官領域検出処理により検出された器官領域相互の位置関係に基づく顔領域ＦＡの調整が行われるため、顔変形には、器官領域検出処理の要求精度として中程度の精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして中程度のサイズが対応付けられている。また、赤目補正の際には、器官領域検出処理により検出された器官領域（右目領域ＥＡ（ｒ）および左目領域ＥＡ（ｌ））において赤目画像の検出が行われるため、赤目補正には、器官領域検出処理の要求精度として中程度の精度が対応付けられ、器官検出用画像ＯＤＩｍｇのサイズとして中程度のサイズが対応付けられている。

サイズ設定部２１７（図１）は、サイズテーブルＳＴ（図１３）においてステップＳ１１０（図３）で設定された実行すべき画像処理の種別に対応付けられた器官検出用画像ＯＤＩｍｇのサイズを、使用する器官検出用画像ＯＤＩｍｇのサイズとして設定する。なお、上述したように、設定された画像処理の種別を特定する情報（画像処理種別特定情報）は器官領域検出結果の用途を特定する用途特定情報であると表現できるため、サイズ設定部２１７は、用途特定情報に基づき器官検出用画像ＯＤＩｍｇのサイズを設定すると表現することもできる。

器官領域検出処理（図１１）のステップＳ５１０では、画像生成部２１６（図１）が、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データから器官検出用画像ＯＤＩｍｇを表す器官検出用画像データを生成する。画像生成部２１６は、図１２の上部に示すように、まず、顔検出用画像ＦＤＩｍｇにおける矩形形状の顔領域ＦＡの外周枠を拡大した枠により規定される矩形形状の画像領域を拡大顔領域ＦＡｅとして設定する。顔領域ＦＡの外周枠の拡大の際の拡大方向や拡大率は予め設定されている。拡大顔領域ＦＡｅは、本発明における特定画像領域に相当する。次に、画像生成部２１６は、顔検出用画像ＦＤＩｍｇにおける拡大顔領域ＦＡｅの部分を切り出して（トリミングして）切り出し画像ＴＩｍｇを生成し、切り出し画像ＴＩｍｇの解像度を調整して解像度調整画像ＲＣＩｍｇを生成する。解像度の調整は、矩形形状の解像度調整画像ＲＣＩｍｇのサイズが、ステップＳ５０２で設定された器官検出用画像ＯＤＩｍｇのサイズと同じサイズとなるように解像度変換を行うことにより実行される。例えば、実行すべき画像処理の種別が顔変形である場合には、解像度調整画像ＲＣＩｍｇのサイズは６０画素×６６画素となる（図１３参照）。さらに、画像生成部２１６は、解像度調整画像ＲＣＩｍｇの傾きを調整して器官検出用画像ＯＤＩｍｇを生成する。傾きの調整は、解像度調整画像ＲＣＩｍｇを顔領域ＦＡの検出に用いられた顔学習データＦＬＤに対応付けられた特定顔傾き分だけ反時計回りに回転させるアフィン変換を行うことにより実行される。

このように器官検出用画像ＯＤＩｍｇが生成されると、器官検出用画像ＯＤＩｍｇは、顔検出用画像ＦＤＩｍｇにおける顔領域ＦＡより大きな画像領域（拡大顔領域ＦＡｅ）に対応する画像であり、実行すべき画像処理種別に対応付けられたサイズ（図１３参照）を有する画像となる。また、器官検出用画像ＯＤＩｍｇに表される顔の画像の傾きは、略０度（より詳細には０度を中心とした時計回りおよび反時計回りに１５度の範囲内の値）となる。

器官検出用画像ＯＤＩｍｇからの器官領域の検出は、上述した顔検出用画像ＦＤＩｍｇからの顔領域ＦＡの検出と同様に行われる。すなわち、図１２の下部に示すように、矩形形状のウィンドウＳＷがそのサイズおよび位置が変更されつつ器官検出用画像ＯＤＩｍｇ上に配置され（図１１のステップＳ５２０，Ｓ５３０，Ｓ５８０〜Ｓ６１０）、配置されたウィンドウＳＷにより規定される画像領域が顔の器官の画像に対応する器官領域であるか否かの判定（以下「器官判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡとして設定される（図１１のステップＳ５４０）。なお、ウィンドウＳＷの取り得るサイズは、器官の種類（目および口）毎に、器官検出用画像ＯＤＩｍｇのサイズに応じて予め設定されている。すなわち、実行すべき画像処理の種別に応じて器官検出用画像ＯＤＩｍｇのサイズが決まれば、ウィンドウＳＷの取り得るサイズも決まる。

判定対象画像領域ＪＩＡが設定されると、設定された判定対象画像領域ＪＩＡについて、顔器官学習データＯＬＤ（図１）を用いて、検出器官毎に、器官判定に用いられる累計評価値Ｔｖが算出される（図１１のステップＳ５５０）。顔器官学習データＯＬＤは、累計評価値Ｔｖの算出や器官判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨ（図７参照）を規定する。なお、顔器官学習データＯＬＤの設定のための学習は、顔学習データＦＬＤの設定のための学習と同様に、顔の器官の画像を含むことが予めわかっている複数の器官サンプル画像によって構成された器官サンプル画像群と、顔の器官の画像を含まないことが予めわかっている複数の非器官サンプル画像によって構成された非器官サンプル画像群と、を用いて実行される。

なお、顔領域検出処理（図３のステップＳ１４０）においては累計評価値Ｔｖが特定顔傾き毎に算出され、特定顔傾き毎に顔判定が行われるのに対し、器官領域検出処理では、累計評価値Ｔｖは１つの判定対象画像領域ＪＩＡについて、傾き０度に対応した顔器官学習データＯＬＤを用いて傾き０度に対応した１つの値のみが算出され、傾き０度に対応した器官の画像についての器官判定のみが行われる。これは、上述したように器官検出用画像ＯＤＩｍｇに表される顔の画像の傾きは略０度であり、顔の器官の傾きは顔全体の傾きに概ね一致するものと考えられるからである。

検出器官毎に算出された累計評価値Ｔｖが所定の閾値ＴＨ以上である場合には、判定対象画像領域ＪＩＡは当該器官の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標が記憶される（図１１のステップＳ５７０）。一方、累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ５７０の処理はスキップされる。ウィンドウＳＷの所定のサイズのすべてについて、ウィンドウＳＷにより器官検出用画像ＯＤＩｍｇ全体がスキャンされた後に、器官領域設定処理が実行される（図１１のステップＳ６２０）。器官領域設定処理は、顔領域設定処理（図５参照）と同様に、平均ウィンドウＡＷを設定して、平均ウィンドウＡＷにより規定される画像領域を器官領域として設定する処理である。

器官領域検出処理（図３のステップＳ１８０）が完了すると、領域検出部２１０（図１）が、ステップＳ１７０において未だ選択されていない顔領域ＦＡが存在するか否かを判定する（ステップＳ１９０）。未だ選択されていない顔領域ＦＡが存在すると判定された場合には（ステップＳ１９０：Ｎｏ）、ステップＳ１７０に戻って未選択の顔領域ＦＡの１つが選択され、ステップＳ１８０以降の処理が実行される。一方、すべての顔領域ＦＡが選択されたと判定された場合には（ステップＳ１９０：Ｙｅｓ）、処理はステップＳ２００に進む。

ステップＳ２００（図３）では、画像処理部２００（図１）が、ステップＳ１１０で実行すべきとして設定された種別の画像処理を実行する。具体的には、実行すべき画像処理の種別が肌色補正である場合には、顔領域ＦＡまたは顔領域ＦＡに基づき設定される顔の画像を含む画像領域内における人物の肌の色が好ましい肌色に補正される。実行すべき画像処理の種別が顔変形である場合には、検出された器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）の相互の位置関係に基づき顔領域ＦＡが調整され、調整後の顔領域ＦＡ内の画像または調整後の顔領域ＦＡに基づき設定される顔の画像を含む画像領域内の画像が変形される。実行すべき画像処理の種別が赤目補正である場合には、顔領域ＦＡにおいて検出された器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ））において赤目の画像が検出され、当該画像の色が自然な目の色に近づくように補正される。実行すべき画像処理の種別が笑顔検出である場合には、検出された顔領域ＦＡおよび器官領域（口領域ＭＡ）の輪郭検出が行われ、例えば口角の開き具合を評価することにより顔領域ＦＡ内の画像が笑顔の画像か否かの判定（笑顔判定）が実行される。笑顔判定に必要な技術は、特開２００４−１７８５９３号公報や、副島義貴著「場景変動を考慮した移動物体の追跡に関する研究」１９９８年２月１５日等に記載されている。

以上説明したように、本実施例のプリンタ１００による画像処理では、顔検出用画像ＦＤＩｍｇから顔領域ＦＡが検出され、顔領域ＦＡの検出結果に基づき、画像面内における傾きの値が所定範囲内（略０度）である顔の画像を含む器官検出用画像ＯＤＩｍｇが生成され、器官検出用画像ＯＤＩｍｇを表す画像データに基づき、顔領域ＦＡにおける器官領域が検出される。ここで、器官検出用画像ＯＤＩｍｇは、画像面内における傾きが略０度である顔の画像を含む画像であるため、器官領域検出の際には、０度の器官傾きに対応する顔器官学習データＯＬＤのみが用いられ、他の器官傾きに対応する顔器官学習データＯＬＤは用いられない。そのため、本実施例のプリンタ１００による画像処理では、顔領域ＦＡからの器官領域の検出処理の精度の向上および高速化を図ることができる。また、０度の器官傾きに対応する顔器官学習データＯＬＤのみを予め準備すればよいため、準備（学習による顔器官学習データＯＬＤの設定等）の効率化、メモリ容量の有効活用を図ることができる。

また、本実施例のプリンタ１００による画像処理では、実行すべき画像処理の種別に応じて器官検出用画像ＯＤＩｍｇのサイズが決定するため、実行すべき画像処理の種別が設定されれば、検出された顔領域ＦＡのサイズに関わらず所定のサイズの器官検出用画像ＯＤＩｍｇを用いて器官領域検出処理が実行され、所定の複数のサイズのウィンドウＳＷが用いられる。そのため、本実施例のプリンタ１００による画像処理では、顔領域ＦＡからの器官領域の検出処理の精度の向上および高速化を一層図ることができる。

また、本実施例のプリンタ１００による画像処理では、実行すべき画像処理の種別を特定する情報（画像処理種別特定情報）に基づき、器官検出用画像ＯＤＩｍｇのサイズが設定される。すなわち、器官領域検出結果の用途を特定する用途特定情報に基づき、器官検出用画像ＯＤＩｍｇのサイズが設定される。そのため、本実施例のプリンタ１００による画像処理では、実行すべき画像処理の種別に応じて必要十分なサイズの器官検出用画像ＯＤＩｍｇを用いた器官領域検出処理を実現することができ、顔領域ＦＡからの器官領域の検出処理の検出精度と処理速度との調整を図ることができる。

また、本実施例のプリンタ１００による画像処理では、顔領域ＦＡの外周枠を拡大した枠により規定される拡大顔領域ＦＡｅの部分が切り出し画像ＴＩｍｇとして設定され、切り出し画像ＴＩｍｇに基づき器官検出用画像ＯＤＩｍｇが生成されるため、器官検出用画像ＯＤＩｍｇを顔の器官の画像が確実に含まれた画像とすることができ、顔領域ＦＡからの器官領域の検出処理の精度の向上を図ることができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例では、器官検出用画像ＯＤＩｍｇの生成の際に（図１２参照）、顔領域ＦＡを拡張した拡大顔領域ＦＡｅの部分を切り出して切り出し画像ＴＩｍｇとしているが、顔領域ＦＡを拡張せず、顔領域ＦＡそのものの部分を切り出して切り出し画像ＴＩｍｇとしてもよい。また、切り出し画像ＴＩｍｇの解像度の調整は必ずしも行われる必要はなく、切り出し画像ＴＩｍｇそのものの傾きを調整することにより器官検出用画像ＯＤＩｍｇを生成するものとしてもよい。また、解像度調整画像ＲＣＩｍｇの傾きの調整は必ずしも行われる必要はなく、解像度調整画像ＲＣＩｍｇそのものを器官検出用画像ＯＤＩｍｇとして使用するとしてもよい。

また、上記実施例では、器官検出用画像ＯＤＩｍｇに表される顔の画像の傾きが略０度となるように、解像度調整画像ＲＣＩｍｇを顔領域ＦＡの検出に用いられた顔学習データＦＬＤに対応付けられた特定顔傾き分だけ反時計回りに回転させるアフィン変換を行うことによって解像度調整画像ＲＣＩｍｇの傾き調整が実行されているが、器官検出用画像ＯＤＩｍｇに表される顔の画像の傾きが略０度ではない所定値（当該所定値を含む所定の範囲）となるように解像度調整画像ＲＣＩｍｇの傾き調整が実行されるものとしてもよい。このようにしても、当該所定値の傾きに対応する１つの顔器官学習データＯＬＤのみが用意され、当該顔器官学習データＯＬＤのみを用いて器官領域検出処理を実行することができる。

Ｂ２．変形例２：
上記実施例では、実行すべき画像処理の種別に応じて器官検出用画像ＯＤＩｍｇのサイズが設定されるとしているが（図１３参照）、器官検出用画像ＯＤＩｍｇのサイズは画像処理の種別に関わらず一定であるとしてもよい。また、器官領域検出処理における要求精度がユーザによりあるいは自動的に直接指定され、指定された要求精度に応じて器官検出用画像ＯＤＩｍｇのサイズが設定されるものとしてもよい。また、器官検出用画像ＯＤＩｍｇのサイズがユーザによりあるいは自動的に直接指定され、指定に従い器官検出用画像ＯＤＩｍｇのサイズが設定されるものとしてもよい。

また、上記実施例における画像処理の種別の例や、画像処理の種別に対応付けられた要求精度および器官検出用画像ＯＤＩｍｇのサイズはあくまで一例であり、プリンタ１００が実行可能な画像処理の種別として図１３に示したもの以外の画像処理の種別を有しているとしてもよいし、図１３に示した画像処理の種別の一部は実行できないものとしてもよい。また、要求精度や器官検出用画像ＯＤＩｍｇのサイズは任意に変更可能である。また、実行すべき画像処理の種別は、ユーザによる指定に従い設定される必要はなく、自動的に設定されるとしてもよい。

Ｂ３．変形例３：
上記実施例における顔領域検出処理（図５）や器官領域検出処理（図１１）の態様はあくまで一例であり、種々変更可能である。例えば顔検出用画像ＦＤＩｍｇ（図６参照）のサイズは３２０画素×２４０画素に限られず、他のサイズであってもよいし、原画像ＯＩｍｇそのものを顔検出用画像ＦＤＩｍｇとして用いることも可能である。また、使用されるウィンドウＳＷのサイズやウィンドウＳＷの移動方向および移動量（移動ピッチ）は上述したものに限られない。また、上記実施例では、顔検出用画像ＦＤＩｍｇのサイズが固定され、複数種類のサイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されているが、複数種類のサイズの顔検出用画像ＦＤＩｍｇが生成され、固定サイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されるものとしてもよい。

また、上記実施例では、累計評価値Ｔｖを閾値ＴＨと比較することにより顔判定および器官判定を行っているが（図７参照）、顔判定および器官判定を複数の判別器を用いた判別等の他の方法によって行ってもよい。顔判定および器官判定の方法に応じて、顔学習データＦＬＤおよび顔器官学習データＯＬＤの設定に用いられる学習方法も変更される。また、顔判定および器官判定は、必ずしも学習を用いた判別方法により行われる必要はなく、パターンマッチング等の他の方法により行われるとしてもよい。

また、上記実施例では、３０度刻みの１２種類の特定顔傾きが設定されているが、より多くの種類の特定顔傾きが設定されてもよいし、より少ない種類の特定顔傾きが設定されてもよい。また、必ずしも特定顔傾きが設定される必要はなく、０度の顔傾きについての顔判定が行われるとしてもよい。また、上記実施例では、顔サンプル画像群に基本顔サンプル画像ＦＩｏを拡大・縮小した画像や回転させた画像が含まれるとしているが、顔サンプル画像群に必ずしもこのような画像が含まれる必要はない。

上記実施例において、あるサイズのウィンドウＳＷにより規定される判定対象画像領域ＪＩＡについての顔判定（または器官判定）で顔の画像（または顔の器官の画像）に対応する画像領域であると判定された場合には、当該サイズより所定の比率以上小さいサイズのウィンドウＳＷを配置する場合には、顔の画像に対応する画像領域であると判定された判定対象画像領域ＪＩＡを避けて配置するものとしてもよい。このようにすれば、処理の高速化を図ることができる。

上記実施例では、メモリカードＭＣに格納された画像データが原画像データに設定されているが、原画像データはメモリカードＭＣに格納された画像データに限らず、例えばネットワークを介して取得された画像データであってもよい。

上記実施例では、顔の器官の種類として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官の種類として顔のどの器官を設定するかは変更可能である。例えば、顔の器官の種類として、右目と左目と口とのいずれか１つまたは２つのみが設定されるとしてもよい。また、顔の器官の種類として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つに代わり、顔のその他の器官の種類（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像に対応する領域が検出されるとしてもよい。

上記実施例では、顔領域ＦＡおよび器官領域は矩形の領域であるが、顔領域ＦＡおよび器官領域は矩形以外の形状の領域であってもよい。

上記実施例では、画像処理装置としてのプリンタ１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピュータやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。 画像処理の流れを示すフローチャートである。 画像処理種別設定のためのユーザインタフェースの一例を示す説明図である。 顔領域検出処理の流れを示すフローチャートである。 顔領域検出処理の概要を示す説明図である。 顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。 正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。 顔領域設定処理の概要を示す説明図である。 顔領域設定処理の概要を示す説明図である。 器官領域検出処理の流れを示すフローチャートである。 器官領域検出処理の概要を示す説明図である。 サイズテーブルＳＴの内容の一例を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…領域検出部
２１１…判定対象設定部
２１２…評価値算出部
２１３…判定部
２１４…領域設定部
２１６…画像生成部
２１７…サイズ設定部
２２０…処理種別設定部
２２２…指定取得部
３１０…表示処理部
３２０…印刷処理部

Claims (7)

1. 画像処理装置であって、
   対象画像における顔の画像に対応する顔領域を検出する顔領域検出部と、
   前記顔領域の検出結果に基づき、前記顔の画像を含む所定のサイズの器官検出用画像を生成する画像生成部と、
   前記器官検出用画像を表す画像データに基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する器官領域検出部と、
   前記器官領域の検出結果の用途を特定する用途特定情報を取得する用途特定情報取得部と、
   前記用途特定情報に基づき、前記所定のサイズを設定するサイズ設定部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記サイズ設定部は、前記用途特定情報に基づき前記器官領域検出における要求精度を特定し、前記要求精度が高いほど前記所定のサイズが大きくなるように、前記所定のサイズを設定する、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記用途は、検出された前記器官領域に基づき設定される画像領域を利用して実行される所定の画像処理である、画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
   前記画像生成部は、前記顔領域に基づき前記顔領域を含む特定画像領域を設定し、前記特定画像領域の解像度を調整することにより、前記器官検出用画像を生成する、画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。
6. 画像処理方法であって、
   （ａ）対象画像における顔の画像に対応する顔領域を検出する工程と、
   （ｂ）前記顔領域の検出結果に基づき、前記顔の画像を含む所定のサイズの器官検出用画像を生成する工程と、
   （ｃ）前記器官検出用画像を表す画像データに基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する工程と、
   （ｄ）前記器官領域の検出結果の用途を特定する用途特定情報を取得する工程と、
   （ｅ）前記用途特定情報に基づき、前記所定のサイズを設定する工程と、を備える、画像処理方法。
7. 画像処理のためのコンピュータプログラムであって、
   対象画像における顔の画像に対応する顔領域を検出する顔領域検出機能と、
   前記顔領域の検出結果に基づき、前記顔の画像を含む所定のサイズの器官検出用画像を生成する画像生成機能と、
   前記器官検出用画像を表す画像データに基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する器官領域検出機能と、
   前記器官領域の検出結果の用途を特定する用途特定情報を取得する用途特定情報取得機能と、
   前記用途特定情報に基づき、前記所定のサイズを設定するサイズ設定機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images