JP6157288B2 - 画像処理装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特に、画像中の被写体領域を検出する画像処理装置およびその制御方法、撮像装置に関する。

ビデオカメラ等の自動焦点検出（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト）に基づいて合焦位置を検出するＴＶ−ＡＦ方式が広く用いられている。ＴＶ−ＡＦ方式は、具体的には、異なるフォーカスレンズ位置で撮影された映像信号について、コントラストの程度を示すＡＦ評価値を生成し、ＡＦ評価値に基づいてコントラストが最大となるフォーカスレンズの位置を合焦位置として探索する方式である。

また、人物を撮影する場合において、人物被写体に安定したピント合わせを行うために、特定の被写体を検出する機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出領域を設定し、焦点検出を行う撮像装置が提案されている（特許文献１）。

特開２００６−２２７０８０号公報

特許文献１のように、検出された人物の顔を含む焦点検出領域が合焦するように焦点検出を行う場合、検出した人物の顔の向き等によって、焦点検出領域に背景が含まれる場合があった。この場合、焦点検出領域に含まれる背景にコントラストが高い被写体があると、人物の顔ではなく背景に合焦するように焦点検出してしまうことがあった。

また、合焦対象である顔領域を撮影者に知らせるために、顔領域を示す枠（顔枠）を重畳表示する場合も同様に、検出した人物の顔の向き等によって、顔枠が人物の顔からずれた位置で表示されたり、サイズが変化したりしてしまう場合があった。

例えば、図１０（Ａ）に示すように人物が正面向きの場合、顔枠および焦点検出領域のほぼ全体が顔領域となるような適切な表示や設定が可能である。しかし、図１０（Ｂ）に示すように人物が横向きの場合、左右の目の大きさの差が大きくなったり目の間隔が狭くなったりすることで、顔検出の精度が低下する。また、顔検出では目の位置を中心として顔領域を検出することが多いため、図１０（Ｂ）に示すように実際の位置からずれた顔領域や、実際より小さい顔領域が検出される場合がある。特に、検出された顔領域の位置がずれている場合、顔枠の表示が顔からずれることはもちろん、顔領域を焦点検出領域に設定した場合に背景の割合が多くなることで、背景に合焦してしまう可能性が増加する。

本発明はこのような課題に鑑みてなされたものである。本発明は、画像中から特定の被写体領域を検出し、検出した領域に基づいて自動焦点検出などの制御を行う画像処理装置およびその制御方法において、より高精度な被写体領域の検出を可能とすることを目的とする。

上述の目的は、画像から第１の検出対象の領域を検出する第１の検出手段と、第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出手段と、第１の検出手段によって検出された第１の検出対象の領域の位置を補正する補正手段と、第１の検出対象の領域に基づいて、評価領域を設定する設定手段と、評価領域に対応する画像の信号に基づいて、焦点検出制御、露出制御、色制御の少なくとも一つを行う制御手段とを有し、補正手段は、第２の検出対象の領域の情報に基づいて、前記第１の検出手段によって検出された前記第１の検出対象の領域の位置を補正することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、画像中から特定の被写体領域を検出し、検出した領域に基づいて自動焦点検出などの制御を行う画像処理装置およびその制御方法において、より高精度な被写体領域の検出を可能とすることができる。

本発明の実施例に係る画像処理装置の一例としてのビデオカメラの主要部の構成を示すブロック図 第１の実施例におけるＡＦ制御処理を示すフローチャート 第１の実施例における同一被写体判定処理を示すフローチャート 第１の実施例における同一被写体判定処理の判定方法を示す図 第１の実施例における顔領域補正処理を示すフローチャート 第１の実施例における顔領域補正判定処理の条件の例を示す図 第１の実施例における顔領域補正処理を示す図 ＴＶ−ＡＦ処理におけるフォーカスレンズの微小駆動を説明するための図 ＴＶ−ＡＦ処理におけるフォーカスレンズの山登り駆動を説明するための図 本発明の背景技術に関する説明の図 第２の実施例におけるＡＦ制御処理を示すフローチャート 第２の実施例における顔ＡＦ枠設定処理を示すフローチャート 第２の実施例における顔ＡＦ枠の設定に関する説明の図 第３の実施例における課題を説明する図 第３の実施例におけるＡＦ制御処理を示すフローチャート 第３の実施例における顔ＡＦ枠補正処理を示すフローチャート 第３の実施例における顔ＡＦ枠の説明の図

＜撮像装置の構成＞
以下、本発明の実施例について図面を参照しながら説明する。なお、以下では本発明の実施例に係る画像処理装置を撮像装置、特にはビデオカメラに適用した構成について説明する。ただし、被写体領域の検出結果の用途は、被写体領域枠の表示、焦点検出領域の設定、焦点検出制御、露出制御といった撮影に関する用途に限定されない。従って、以下に説明するビデオカメラが有する構成のうち、被写体領域の検出処理に直接関係しない構成は本発明に必須でないことに留意されたい。なお、本発明の実施例に係る画像処理装置を適用可能な撮像装置はビデオカメラに限らず、デジタルスチルカメラであってもよい。また、撮像装置を備える機器（例えばパーソナルコンピュータ、携帯電話機、タブレット端末、携帯情報端末、メディアプレーヤなど）に適用してもよい。

図１において、本実施例のデジタルビデオカメラ１００は、ＡＦ制御に対応したズームレンズ１２０を撮像光学系として備えている。ズームレンズ１２０は、第１固定レンズ１０１、光軸方向に移動して変倍を行う変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスコンペンセータレンズ１０５を備える。フォーカスコンペンセータレンズ（以下、単にフォーカスレンズという）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサといった光電変換素子から構成される。撮像素子１０６は撮像光学系により形成された被写体像を撮像して映像信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は撮像素子１０６の出力を相関二重サンプリングするとともに、出力に適用するゲインを調整する。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を行い、映像信号を生成する。表示部１０９はＬＣＤ等により構成され、カメラ信号処理回路１０８からの映像信号を表示する。記録部１１５は、カメラ信号処理回路１０８からの映像信号を記録媒体（磁気テープ、光ディスク、半導体メモリ等）に記録する。

ズーム駆動部１１０は、制御部１１４の制御に応じて変倍レンズ１０２を移動させる。フォーカスレンズ駆動部１１１は制御部１１４の制御に応じてフォーカスレンズ１０５を移動させる。ズーム駆動部１１０及びフォーカスレンズ駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、制御部１１４が設定した、焦点検出に用いられる領域（焦点検出領域又はＡＦ枠）の信号のみを後段のＡＦ信号処理回路１１３に供給する。

ＡＦ信号処理回路１１３は、ＡＦゲート１１２から供給される焦点検出領域中の画素信号に対して例えばフィルタを適用して予め定められた周波数帯域の成分を抽出し、ＡＦ評価値を生成する。抽出するのは、例えば高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）であってよい。

ＡＦ評価値は、制御部１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラストの程度）を表す値であるが、ピントが合った映像の鮮鋭度は高く、ぼけた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。

制御部１１４は例えばマイクロコンピュータであり、図示しないＲＯＭに予め記憶された制御プログラムを実行してデジタルビデオカメラ１００の各部を制御することにより、デジタルビデオカメラ１００全体の動作を司る。制御部１１４は、ＡＦ信号処理回路１１３から与えられるＡＦ評価値に基づいて、フォーカスレンズ駆動部１１１を制御してＴＶ−ＡＦ方式でのＡＦ制御処理（以下、単に「ＴＶ−ＡＦ制御」という）を行う。

顔検出部１１６は、ＣＤＳ／ＡＧＣ回路１０７が出力する画像信号に、公知の顔検出技術に基づく顔検出処理を適用し、第１の検出対象の領域であって、画像内の人物領域の一例としての顔領域を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。顔検出部１１６による顔検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。

顔検出部１１６は、例えば人物の顔として検出された領域（顔領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを顔検出結果として制御部１１４に出力する。制御部１１４は、この顔検出結果に基づき、画像内の顔領域を含む領域に焦点検出領域を設定するよう、ＡＦゲート１１２へ指示する。

ここで、顔検出部１１６が複数の人物の顔を検出した場合、制御部１１４は、顔の位置、顔のサイズ、もしくは撮影者の指示によって顔に優先順位をつけ、最も優先順位が高いと判断された顔を主顔とする。例えば、制御部１１４は、撮影者の指示によって選択された顔に最も高い優先順位度を付与し、続いて顔の位置が画面中央に近い程、そして、顔のサイズが大きい程高い優先度を付与することができるが、他の方法で優先順位を付与してもよい。

人体検出部１１７は、映像信号に対して公知の人体検出処理を施して、第２の検出対象の領域である、撮影画面内の人体を検出する。人体検出部１１７は、例えば人体として検出された領域（人体領域）のそれぞれについて、位置と大きさを画像内で特定可能な情報と、検出結果の信頼度などを人体検出結果として制御部１１４に出力する。本実施例では、制御部１１４は、人体検出結果に基づいて顔領域を推定する。人体検出結果から顔領域を推定する方法に特に制限は無いが、例えば人体領域として、上半身や胸部から上の人体形状を検出している場合、人体領域の形状から頭部領域を判別することが可能である。頭部領域と顔領域との大きさや位置の関係については統計的に予め求めておくことができるため、頭部領域が判別できれば、顔領域の位置やサイズを推定することができる。制御部１１４では、人体検出結果と顔検出結果とに応じて、最終的な顔領域を決定する。人体検出部１１７による検出処理は、複数フレーム毎に繰り返し行われるが、毎フレーム行ってもよい。

人体検出部１１７で人体領域を検出する方法に特に制限はないが、例えば、特開２００９−２１１３１１号公報に記載されている方法を用いることができる。具体的には、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｈａａｒフィルタなどを用い、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出し、抽出された局所特徴量から各人物領域が上半身か、非上半身かを判別する。この判別は、ＡｄａＢｏｏｓｔ学習などのような機械学習に基づき実施することができる。なお、特開２００９−２１１３１１号公報では、監視カメラで撮影された画像を対象としているため、斜め上方から撮影した画像を用いるものとして記載されているが、輪郭からの人体領域検出は、斜め上方から撮影した画像に限定される技術ではない。

ここでは、向きによって見えが変化しうる特定被写体が人物の顔であり、人物の顔の位置を推定する他の方法として人体検出を用いる場合を例示するが、特定被写体は動物の顔はもちろん、他の任意の被写体であってよい。本発明は、特定被写体の領域を検出する第１の検出方法と、特定被写体の領域の位置を推定可能な第２の検出方法とを利用可能な任意の被写体に対して適用可能である。第２の検出方法は例えば、第１の検出方法で検出すべき領域を包含する領域、特には第１の検出方法で検出すべき領域の位置を特定もしくは推定可能な領域を検出する方法であってよい。

また、制御部１１４は、顔検出や人体検出等によって検出された被写体領域の情報を撮影者に提供するため、例えば表示部１０９が表示する映像信号に、カメラ信号処理回路１０８を通じて被写体領域枠を重畳させる。これにより、映像に被写体領域枠が重畳表示され、撮影者は、デジタルビデオカメラ１００が検出している被写体領域を把握することができる。

本実施例では、検出された人体領域から人物の顔位置を推定することができるように、顔検出部１１６が顔検出を行う範囲を包含する範囲で人体検出部１１７が人体検出を行っている。

＜第１の実施例におけるＡＦ制御処理＞
次に、制御部１１４が実行するＡＦ制御処理について、図２に示すフローチャートを用いて説明する。
本処理は、制御部１１４内に格納されたコンピュータプログラムに従って実行され、例えば１フィールド画像を生成するための、撮像素子１０６からの撮像信号の読み出し周期で繰り返し実行される。

まず、Ｓ２０１で制御部１１４は、最新の映像信号に対して実行した顔検出処理の結果を顔検出部１１６から取得する。
Ｓ２０２で制御部１１４は、最新の映像信号に対して実行した人体検出処理の結果を人体検出部１１７から取得する。

次に、Ｓ２０３で制御部１１４は、Ｓ２０１およびＳ２０２で取得した顔検出結果および人体検出結果から、同一の被写体が検出されているか否かを判定する。この処理の詳細については後述する。

Ｓ２０４で制御部１１４は、Ｓ２０１で取得した顔検出結果から、人物の顔が検出されているかどうか判定する。顔が検出されていると判定されればＳ２０６へ、顔が検出されていると判定されなければＳ２０５へ、それぞれ処理を移行させる。

Ｓ２０５で制御部１１４は、撮影範囲内の所定の固定位置（例えば中央）にＡＦ枠（焦点検出領域）を設定し、ＡＦ枠の情報をＡＦゲート１１２に通知する。そしてＳ２１１で制御部１１４は、ＡＦ枠内に対応する映像信号に基づくＴＶ−ＡＦ制御を実行する。ＴＶ−ＡＦ制御の詳細については後述する。

Ｓ２０６で制御部１１４は主顔判定処理を行う。主顔判定は、顔検出部１１６で検出されている顔領域のうち、顔の位置、顔のサイズ、もしくは撮影者の指示に応じて付与される優先順位が最も高い顔領域を主顔とする処理である。顔の位置が画面中央に近いほど優先順位を高くして主顔を判定してもよいが、条件に対して優先順位を付けてもよい。例えば、撮影者の指示によって選択された顔が最も優先順位が高く、続いて顔の位置が画面中央に最も近い顔、顔のサイズが最も大きい顔という順序で優先順位を決定してもよい。
Ｓ２０７で制御部１１４は、Ｓ２０３、Ｓ２０６の結果から、顔検出部１１６で検出された顔領域と同一被写体の人体領域が検出されているか判定し、検出されていると判定されればＳ２０８に、検出されていると判定されなければＳ２０９へ処理を移行させる。

Ｓ２０８で制御部１１４は、同一被写体と判定される人体領域と顔領域の検出結果に基づいて、顔検出部１１６による顔検出結果を補正する顔領域補正処理を行う。顔領域補正処理の詳細については後述する。制御部１１４は顔領域補正処理が終了すると、処理をＳ２０９に移行させる。

Ｓ２０９で表示制御手段としての制御部１１４は、Ｓ２０６で決定した主顔の顔領域を示す表示、例えば枠状の表示（顔枠）を、表示部１０９に表示する映像信号に重畳させる（Ｓ２０９）。なお、主顔以外の顔領域についても顔枠表示を行ってもよい。この場合、主顔以外の顔に対する顔枠の表示は、主顔に対する顔枠の表示とは色や形状、表示方法などを異ならせてもよい。例えば、主顔となった顔領域に対しては２重の顔枠を、他の顔領域を１重の顔枠を用いることができる。

Ｓ２１０で制御部１１４は、主顔に対してピントを合わせるために、主顔の位置に基づいてＡＦ枠を設定し、Ｓ２１１でＴＶ−ＡＦ制御を実行する。

なお、ＴＶ−ＡＦ制御処理は微小駆動と山登り駆動を組み合わせた方法であり、ＡＦ評価値が最大となるように、フォーカスレンズを駆動させながら、ＡＦ評価値の増減を判定し、合焦点を探索する方法である。ＴＶ−ＡＦ処理自体は従来知られた方法を用いることができる。

次に、図２のＳ２０３における同一被写体判定処理について図３に示すフローチャートを用いて説明する。
Ｓ３０１で制御部１１４は、顔検出部１１６から得られた顔検出結果から、検出された人物の顔の数を取得する。そして、Ｓ３０２で制御部１１４は、検出された人物の顔の数がゼロ、もしくは後述するカウント数以下ならば（Ｙｅｓ）、本処理を終了する。

一方、検出された人物の顔の数が後述するカウント数より多い場合（Ｓ３０２でＮｏ）、制御部１１４は検出された顔領域ごとに、Ｓ３０３以降の処理を実行する。Ｓ３０３で制御部１１４は、処理対象の顔領域を包含する人体領域が検出されているか否か判定する。

処理対象の顔領域を包含する人体領域が検出されている場合（Ｓ３０３でＹｅｓ）、制御部１１４は両領域が同一の被写体に係るものであると判定する。そして同一の被写体に係る者と判定した顔領域と人体領域の検出結果に対して、Ｓ３０４で同一識別ＩＤを付与してから処理をＳ３０５に移行させる。一方、顔領域を包含する人体領域が検出されていない場合（Ｓ３０３でＮｏ）、制御部１１４は処理をＳ３０５へ移行させる。

Ｓ３０５で制御部１１４は、処理済みの顔領域の数を示すカウント数を１つ増加させ、処理をＳ３０２に戻す。制御部１１４は、検出されている全ての顔領域についてＳ３０３以降の処理が行われるまで、Ｓ３０３〜Ｓ３０５の処理を繰り返し実行した後、処理を終了する。

従って、Ｓ２０７で制御部１１４は、同一識別ＩＤが付与されている検出結果の有無を判定することにより、同一被写体に係る顔領域と人体領域が検出されているかどうかを判定することができる。

なお、Ｓ３０３における判定方法について、図４を用いてさらに説明する。図４においては、説明および理解を容易にするため、検出された顔領域と人体領域とがいずれも１つである場合を示している。図４（Ａ）は、検出された顔領域４０１の全体が人体領域４０２に包含されている状態を示している。図４（Ｂ）は、検出された顔領域４０１が人体領域４０２から離れた位置にある状態を示している。図４（Ｃ）は、検出された顔領域４０１の一部が人体領域４０２に含まれている状態を示している。
本実施例では、顔領域を包含する人体領域が存在する場合に、両領域が同一被写体に係るものであると判定する。従って、図４（Ａ）〜（Ｃ）に示す位置関係のうち、人体領域４０２に顔領域４０１の全体が含まれている図４（Ａ）の場合のみ、両領域が同一被写体に係るものであると判定される。

なお、この判定方法は単なる一例であって、他の基準によって判定することも可能である。例えば、包含関係に無くても、所定割合以上重複している顔領域と人体領域は同一被写体に係るものと判定してもよい。また、人体領域の輪郭から推定される顔領域（頭部領域）と検出されている顔領域との位置関係をさらに考慮することもできる。例えば、人体領域の形状から推定される頭部領域の中心座標と、検出されている顔領域の中心座標との距離が所定値未満である場合に両領域が同一被写体に係るものであると判定することができる。この場合、より精度の良い判定が可能である。

次に、図２のＳ２０８における顔領域補正処理について図５に示すフローチャートを用いて説明する。
まず、Ｓ５０１で制御部１１４は、上述したＳ２０３の同一被写体判定処理によって付与された同一識別ＩＤから、顔領域と人体領域の両方が検出されていると判定された被写体の数を取得する。

そして、Ｓ５０２で制御部１１４は、顔領域と人体領域の両方が検出されていると判定された被写体の数がゼロ、もしくは後述するカウント数以下である場合（Ｙｅｓ）、本処理を終了する。

一方、顔領域と人体領域の両方が検出されていると判定された被写体の数がカウント数より多い場合（Ｓ５０２でＮｏ）、制御部１１４はＳ５０３以降の処理を、顔領域と人体領域の両方が検出されていると判定された被写体ごとに実行する。

Ｓ５０３で制御部１１４は、顔検出結果、具体的には顔領域の位置やサイズを、同一の被写体に係るものと判定された（同一識別ＩＤが付与された）人体検出結果を用いて補正してよいかどうかを判定する顔領域補正判定処理を行う。顔領域補正判定処理の詳細については後述する。

Ｓ５０４で制御部１１４は、顔領域補正判定処理により、顔検出結果を補正すると判定されたか判定する。補正すると判定されている場合（Ｓ５０４でＹｅｓ）、制御部１１４はＳ５０５で、顔検出結果、具体的には顔領域の位置およびサイズを、同一識別ＩＤを有する人体検出結果から推定した顔領域の位置およびサイズに基づいて補正する。なお、本実施例では顔領域の位置およびサイズを補正しているが、顔領域の位置とサイズの少なくとも一方を補正するようにしてもよい。顔検出結果を補正すると判定されていない場合（Ｓ５０４でＮｏ）、制御部１１４は処理をＳ５０６へ移行させる。

Ｓ５０６で制御部１１４は、処理済みの被写体数を示すカウント数をアップし、処理をＳ５０２に戻す。制御部１１４は、顔領域と人体領域の両方が検出されていると判定された全ての被写体についてＳ５０３以降の処理が行われるまで、Ｓ５０３〜Ｓ５０６の処理を繰り返し実行した後、処理を終了する。

図５のＳ５０３における顔領域補正判定処理の詳細について説明する。本実施例の顔領域補正判定処理では、図６に示す条件に基づいて、顔領域結果を補正するかどうかを判定するものとする。なお、図６に示す５つの条件のうち、判定に用いる条件とその数は任意に決定できる。

（条件１：顔の向き）
顔検出部１１６で検出された顔領域が、正面向きの顔であるのか否か（横を向いているか）である。正面向きの場合、図１０（Ａ）に示すように、検出された顔領域１００１の中心と人物の顔の中心とがほぼ一致するため、顔領域１００１に含まれる背景画素はないか、あっても少ない。しかし、横向きの場合は、図１０（Ｂ）に示すように、顔領域１００２の中心が顔の中心からずれるため、顔領域１００２に背景画素が多く含まれてしまう。そのため、顔領域に対応する領域を焦点検出領域として自動焦点検出を行った場合に背景に合焦してしまう可能性が大きくなる。また顔領域が適正露出となるように自動露出制御を行った場合に背景の輝度に影響を受けやすくなる。
そのため、検出された顔領域が横向きの顔である場合には、図７（Ａ）のように顔領域補正処理を行う。顔領域補正処理の詳細については後述する。なお、横向きの顔が検出されているかどうかは、左右の目の大きさの差や、目の間隔（横向きだと狭くなる）などに基づいて判定することができる。

（条件２：人体検出結果の信頼度）
人体検出結果の信頼度が低い場合には顔領域補正を行わず、信頼度が高い場合には顔領域補正を行う。信頼度が低い場合、誤検出した可能性があり、さらには、人体領域の位置、サイズの精度が低い可能性がある。そして、検出精度の低い人体領域に基づいて顔領域補正を行ってしまうと、誤補正の可能性があるためである。

人体検出結果の信頼度とは、人体検出の結果の信頼性を表すもので、検出された被写体が人体であるか否かの正確性を表すものである。この信頼度の算出の方法はいかなる方法でも良いが、例えば、あらかじめ保持しているテンプレートとのマッチング度が高いほど信頼度が高い数値が算出されるようにすることができる。

また、信頼度が高いか否かは、あらかじめ所定の人体検出結果の信頼度閾値を設定し、この信頼度閾値よりも高いか否かで判定すればよい。例えば、信頼度が０から９（０が最高信頼度とする）までの値を取りうる場合、信頼度閾値を２と設定する。なお、信頼度閾値は実験的に定めることができる。

（条件３：顔検出結果の信頼度）
顔検出結果についても、人体検出結果と同様、信頼度が低い場合には顔領域補正を行わず、信頼度が高い場合には顔領域補正を行う。顔検出結果の信頼度が低い場合には、補正後の信頼度も低いと考えられるため、顔領域の補正を行わないようにする。

顔検出結果の信頼度とは、顔検出の結果の信頼性を表すもので、検出された被写体が顔であるか否かの正確性を表すものである。この信頼度の算出の方法は、いかなる方法でも良いが、例えば、あらかじめ保持しているテンプレートとのマッチング度が高いほど信頼度が高い数値が算出されるようにする。なお、顔が正面向きである場合だけでなく、横向きである場合も考慮して信頼度を求める。

人体検出結果と同様、信頼度が高いか否かは、あらかじめ所定の信頼度閾値を設定し、この信頼度閾値よりも高いか否かで判定すればよい。例えば、顔検出結果の信頼度が０から９（０が最高信頼度とする）の値を取りうる値の場合、信頼度閾値を４と設定する。なお、信頼度閾値は実験的に定めることができる。人体検出結果と顔検出結果の信頼度が取りうる値の範囲および信頼度閾値は同じであっても異なってもよい。顔検出の信頼度は変動が大きいため、顔検出の安定性を優先して、例えば顔検出の信頼度閾値を低めに（数値を大きめに）設定してもよい。

（条件４：顔検出結果に基づく顔領域のサイズと、人体検出結果から推定される顔領域のサイズとの差）
差が大きい場合には顔領域補正を行わず、小さい場合には顔領域補正を行う。
例えば、人体検出部１１７が人物の胸より上を検出する場合、検出された人体領域の横方向のサイズをｎ、縦方向のサイズをｍとすると、顔領域の横方向のサイズをｎ／３、縦方向のサイズをｍ／２と推定することができる。

そして、同一識別ＩＤを有する顔検出結果に基づく顔領域のサイズと比較し、予め定められた閾値よりも差が大きい場合には、顔検出もしくは人体検出の一方が誤りであるか、同一被写体判定処理結果が誤っている可能性があるため、顔領域補正は行わない。

例えば、顔領域のサイズ（面積）と人体検出結果から推定した顔サイズ（面積）とが２倍以上異なる場合には、サイズ差が大きいと判定することができる。なお、これは単なる例示であり、閾値は実験的に決定する。

また、顔検出結果による顔領域のサイズと人体検出結果から推定した顔領域のサイズとの差で判定したが、後者を人体領域のサイズとしてもよい。この場合、顔検出結果による顔領域の横方向のサイズをｏ、縦方向のサイズをｐとすると、人体領域の横方向のサイズが４ｏ以上かつ縦方向のサイズが３ｐ以上の場合はサイズ差が大きいと判定することができる。

（条件５：顔検出結果に基づく顔領域の中心位置と、人体領域の中心位置との差）
差が大きい場合には顔領域補正を行わず、小さい場合には顔領域補正を行う。
差が大きい場合には、顔検出もしくは人体検出の一方が誤りであるか、同一被写体判定処理結果が誤っている可能性があるため、顔領域補正は行わない。

例えば、顔領域の中心位置と人体検出結果の中心位置との縦方向または横方向成分の差が、人体検出結果の縦方向または横方向のサイズの５／８より大きく異なる場合には、差が大きいと判定する。ただし、閾値はこの限りではなく、経験に基づいて決定すればよい。なお、領域に外接する方形の対角線の交点や、重心を顔領域や人体領域の中心として用いることができる。

また、上述では、顔領域の中心位置と人体検出結果の中心位置との差で判定を行ったが、前述のように人体領域から顔領域を推定し、推定された顔領域の中心位置と比較しても同様の効果が得られる。

なお、顔領域補正判定処理の正確性を高めるために、同一条件に対して複数回連続して顔領域補正を行う結果が得られたことをもって、顔領域補正を行うとの判定結果とすることができる。これにより、顔領域の誤補正の可能性を軽減することが可能となる。

次に、顔領域補正の方法について図７を用いて説明する。
図７（Ａ）は、顔検出部１１６で検出された顔領域の、補正前後の位置およびサイズの例を模式的な顔枠表示により示している。補正前の顔領域が７０１、補正後の顔領域が７０２である。

図７（Ｂ）に示すように、補正前の顔領域７０１の中心位置７０７の横方向成分（水平座標）を、同一識別ＩＤを有する人体検出結果による人体領域７０５の中心位置７０６の横方向成分（水平座標）に合わせるように位置を補正する。また、補正後の顔領域７０２のサイズは、人体領域７０５から推定した顔サイズに補正する。

なお、この補正方法は一例であり、補正後の顔領域の中心と人体領域の中心の横方向位置を合致させなくてもよい。例えば、顔領域および人体検出結果から推定される顔領域の中心位置と大きさから各領域の左上の水平座標を算出し、算出された結果を平均した位置が補正後の顔領域の左上の位置となるように補正してもよい。補正量は顔領域の中心が人体領域の中心からどの程度ずれているかに応じて決めることができる。

同様に、補正後の顔領域のサイズを、人体領域から推定される顔サイズに合致させなくてもよい。例えば、補正後の顔領域のサイズを、補正前の顔領域のサイズと人体領域から推定される顔サイズとを平均したサイズに補正してもよい。補正量は顔領域のサイズが人体領域から推定される顔サイズとどの程度ずれているかに応じて決めることができる。

さらに、顔領域補正は１回の補正処理で実現してもよいが、段階的な複数回の補正により補正後の位置、サイズへの補正を実現してもよい。これにより、過補正や誤補正による影響を軽減することができる。

また、人体領域の中心位置を基準とする代わりに、人体領域から推定される顔位置を基準として顔領域の位置を補正してもよい。例えば、人体領域から顔領域を推定し、推定された顔領域の中心位置に、検出された顔領域の中心位置を合わせるような補正であってもよい。

図８は、図２のＳ２１１におけるＴＶ−ＡＦ制御で実行されるフォーカスレンズ１０５の微小駆動動作を説明するための図である。図８において、横軸は時間を、縦軸はフォーカスレンズ１０５の位置を示している。また、図中上方に映像信号の垂直同期信号を示している。微小駆動動作では、制御部１１４がフォーカスレンズ駆動部１１１を所定の微小駆動範囲内を無限方向と至近方向に移動させながらＡＦ評価値を取得する。そして、無限遠側で得られたＡＦ評価値と至近側で得られたＡＦ評価値を比較することで、ＡＦ評価値が増加するレンズ位置の方向を判定したり、ＡＦ評価値が最大となるレンズ位置（ピーク位置）を探索したりする。

なお、ＡＦ評価値の変化から合焦状態か否かを判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦判定制御ということもできる。また、ＡＦ評価値の変化から合焦方向を判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦方向判別制御ということもできる。

図８に示すように、無限遠側でレンズが停止している期間Ａの間に撮像素子１０６に蓄積された電荷（図中、斜線楕円で示す）に対するＡＦ評価値ＥＶ_Ａが時刻Ｔ_Ａで取り込まれる。また、至近側でレンズが停止している期間Ｂの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ_Ｂが時刻Ｔ_Ｂで取り込まれる。また、再び無限遠側でレンズが停止している期間Ｃの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶ_Ｃが時刻Ｔ_Ｃで取り込まれる。

そして、時刻Ｔ_Ｄで制御部１１４は、ＡＦ評価値ＥＶ_Ａ、ＥＶ_Ｂ、ＥＶ_Ｃを比較する。制御部１１４は、ＥＶ_Ａ＞ＥＶ_ＢかつＥＶ_C＞ＥＶ_Bであれば、微小駆動の駆動（振動）中心を現在の位置ａからＡＦ評価値が大きくなる方向（ここでは無限遠方向）に所定量移動させｂとする。一方、ＥＶ_Ａ＜ＥＶ_ＢまたはＥＶ_Ｂ＜ＥＶ_Ｃであれば、制御部１１４は振動中心を移動させない。

次に、ＴＶ−ＡＦ制御で微小駆動動作と組み合わせて実行される山登り駆動動作について、図９を用いて説明する。微小駆動動作により合焦方向が判別されると、山登り駆動動作に移行する。

図９は、山登り駆動動作中のＡＦ評価値の大きさとフォーカスレンズ１０５の駆動動作の例を示す図である。山登り駆動動作では、フォーカスレンズ１０５を駆動しながらＡＦ評価値を取得して、得られたＡＦ評価値がピークとなるフォーカスレンズ位置（ピーク位置）又はその近傍を検出する。

図９において、山登り駆動の開始位置から図中右方向にフォーカスレンズ１０５を駆動した場合、矢印Ａで示すように、ＡＦ評価値がピーク（最大値）を越えて減少していることが検出される。この場合、合焦点を通り過ぎたものとして山登り駆動動作を終了し、ＡＦ評価値の最大値が得られた位置にフォーカスレンズ１０５を戻し、上述の微小駆動動作に移行する。

一方、山登り駆動の開始位置から図中左方向にフォーカスレンズ１０５を駆動した場合、矢印Ｂで示すように、ＡＦ評価値がピークを越えることなく減少していることが検出される。この場合、フォーカスレンズ１０５の移動方向を間違えたものと判断して、逆方向に山登り駆動動作を継続する。なお、山登り駆動において、フォーカスレンズ１０５の一定時間あたりの移動量は、上述した微小駆動動作時よりも大きい。

このように、制御部１１４は、再起動（微小駆動からのやり直し）要否判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながら、ＡＦ評価値が最大となる位置にフォーカスレンズ１０５を移動させるＡＦ制御動作を行う。

以上説明したように本実施例では、顔検出と人体検出のように、同一被写体に係る画像領域を個別に検出する複数の検出方法を組み合わせて用いることにより、被写体領域の検出精度を高めることができる。

顔検出結果を人体検出手段の結果で補正することにより、例えば顔が横向きの場合でも、背景が被写体領域に含まれることを抑制できる。そのため、検出された被写体領域に対して自動焦点検出を行う場合に、背景に合焦させてしまう可能性を低減でき、被写体領域に安定して合焦させることが可能になる。また、検出された被写体領域が適正露出となるように自動露出制御を行う場合にも、背景の明るさが露出制御に与える影響を低減でき、より適切な露出制御が可能になる。また、検出された被写体領域に対して評価領域を設定し、評価領域内の信号に基づいて色制御（例えば、人物の顔の肌色補正処理）を行う場合にも、背景の色による影響を低減でき、より適切な色制御が可能になる。

顔検出結果と同一の被写体に係る人体検出結果で顔検出結果を補正することで、例えば人体検出結果から推定される顔領域を用いる場合におこりうる、後ろ向きの被写体の後頭部のような低コントラスト領域に基づくＴＶ−ＡＦ結果が不安定になることも抑制できる。

また、検出された被写体領域を示す表示の位置やサイズが適切なものとなるので、ユーザの違和感を軽減することができる。

本実施例では、被写体領域を個別に検出する方法の例として、顔検出と人体検出を例示して説明した。しかし、被写体領域を個別に検出する方法はこれらの組み合わせに限定されない。

例えば、検出すべき被写体領域（例えば顔領域）を検出する方法と、検出すべき被写体領域を包含する領域であって、検出すべき被写体領域の位置や大きさを推定可能な領域（例えば頭部、上半身、全身領域など）を検出する方法の組み合わせを利用可能である。
また、パターンマッチングによる検出方法と、輪郭による検出方法のように、異なる手法の組み合わせを用いてもよい。

＜第２の実施例におけるＡＦ制御処理＞
次に、第２の実施例におけるＡＦ制御処理を図１１に示すフローチャートを用いて説明する。本実施例のＡＦ制御処理では、顔領域に基づいて、顔枠（第１の焦点検出領域）と、顔枠に包含されるｍｉｎｉ顔枠（第２の焦点検出領域）とを設定し、これらをＡＦ枠として用いる。

図１１におけるＳ１１０１〜Ｓ１１０９の処理は、図２のＳ２０１〜Ｓ２０９と同様の処理であるため、説明を省略する。
Ｓ１１１０で制御部１１４は、顔枠とｍｉｎｉ顔枠の位置を決定する顔ＡＦ枠設定処理を実行する。顔ＡＦ枠設定処理の詳細については図１２を用いて後述する。
次に、Ｓ１１１１で制御部１１４は、Ｓ１１０６で決定した主顔の顔領域に対して、Ｓ１１１０で決定した顔枠とｍｉｎｉ顔枠を設定し、Ｓ１１１２へ処理を進める。Ｓ１１１２で制御部１１４は、後述するように顔枠とｍｉｎｉ顔枠とを考慮したＴＶ−ＡＦ制御を行う。

次に、図１１のＳ１１１０における顔ＡＦ枠設定処理について、図１２に示すフローチャートを用いて説明する。
Ｓ１２０１で、制御部１１４は、Ｓ１１０６で決定した主顔の顔領域に対して、Ｓ１１０８で補正処理する前の顔領域の情報と補正処理後の顔領域の情報を取得する。
Ｓ１２０２で、制御部１１４は、補正処理前後の顔領域の情報から、顔領域の補正の有無を判定する。そして、制御部１１４は、顔領域の補正がない場合には（Ｓ１２０２でＮｏ）、Ｓ１２０３に処理を進めて補正処理前の顔領域に基づいて顔枠を設定し、Ｓ１２０４で顔枠に基づいてｍｉｎｉ顔枠を設定する。顔枠およびｍｉｎｉ顔枠の設定方法については後述する。

一方、顔領域の補正がある場合には（Ｓ１２０２でＹｅｓ）、制御部１１４は処理をＳ１２０５に進め、補正処理後の顔領域に基づいて顔枠を設定し、Ｓ１２０６で、補正処理前の顔領域に基づいてｍｉｎｉ顔枠を設定する。

さらにＳ１２０７で、制御部１１４は、Ｓ１２０６で設定したｍｉｎｉ顔枠がＳ１２０５で設定した顔枠内に含まれているかどうかを判定する。ｍｉｎｉ顔枠が顔枠内に含まれている場合（Ｓ１２０７でＹｅｓ）、制御部１１４は顔ＡＦ枠設定処理を終了してＳ１１１１へ処理を進める。一方、ｍｉｎｉ顔枠が顔枠内に含まれていない場合（Ｓ１２０７でＮｏ）、制御部１１４は処理をＳ１２０８へ進める。

Ｓ１２０８で制御部１１４は、ｍｉｎｉ顔枠の位置を、顔枠に包含される位置に再設定する。例えば、制御部１１４は、顔枠の左端の水平座標よりもｍｉｎｉ顔枠の左端の水平座標が左にあった場合は、ｍｉｎｉ顔枠の左端が顔枠の左端に一致するように位置を再設定する。制御部１１４は上下方向においても同様に位置を再設定する。

次に、Ｓ１２０３、Ｓ１２０４、Ｓ１２０５、およびＳ１２０６における顔枠およびｍｉｎｉ顔枠の設定方法の例について、図１３を用いて説明する。
顔領域の補正がなく、かつ正面向きの顔の場合を図１３（Ａ）に示す。この場合、顔枠１３０１の中心位置を、顔領域の中心位置に基づいて設定する。本実施例では、顔領域と顔枠１３０１の中心位置が一致するように顔枠１３０１を設定しているが、他の位置関係であってもよい。また、顔枠１３０１の大きさを、顔領域の大きさに所定の比率を掛けた（例えば、１．３倍）大きさに設定する。顔枠が小さいと、顔の動きに対して顔枠内の画像が変化しやすいために敏感にＡＦ評価値が変動し、ＡＦ制御が安定しにくくなるため、本実施例では顔枠を顔領域よりも大きめに設定している。

また、ｍｉｎｉ顔枠１３０２の中心位置を、顔枠１３０１の中心位置に基づいて設定する。本実施例では、顔枠１３０１とｍｉｎｉ顔枠１３０２の中心位置が一致するようにｍｉｎｉ顔枠１３０２を設定しているが、ｍｉｎｉ顔枠１３０２が顔枠１３０１に包含されれば他の位置関係であってもよい。また、ｍｉｎｉ顔枠１３０２の大きさを、顔枠の大きさより小さく設定する。本実施例では、ｍｉｎｉ顔枠１３０２の縦と横の長さをそれぞれ顔枠１３０１の１／２としているが、単なる一例である。

上述のように、顔枠は検出された顔領域に基づいた位置に、かつ顔領域よりも大きく設定する。そのため、顔枠内の画像が背景を含む可能性があり、背景の影響により顔に対してピント合わせがしづらくなる可能性がある。
さらには、目、口、鼻等の顔の中心部位と、顔の周縁部位である耳とでは若干のピント位置差がある。そのため、顔枠から得られたＡＦ評価値を用いて自動焦点検出すると、顔の中心部位ではなく耳にピントが合ってしまう場合が考えられる。

そこで、本実施例では、顔枠に包含されるようにｍｉｎｉ顔枠を設定する。ｍｉｎｉ顔枠のＡＦ評価値も用いることで、顔の中心部位に安定してピントを合わせることが可能となるためである。

一方、顔領域の補正がある場合の例として、顔が横向きの場合を図１３（Ｂ）に示す。
補正後顔枠１３０３は、補正処理後の顔領域に基づいて、上述の図１３（Ａ）の顔枠１３０１と同様に設定する（すなわち、ここでは両者の中心位置が一致するように設定する）。

一方、ｍｉｎｉ顔枠１３０５は、補正処理前の顔領域に基づく顔枠１３０４に基づいて上述の図１３（Ａ）のｍｉｎｉ顔枠１３０２と同様に設定する（すなわち、ここでは両者の中心位置が一致するように設定する）。このように、本実施例では、補正処理前の顔枠１３０４とｍｉｎｉ顔枠１３０５の中心位置が一致するようにｍｉｎｉ顔枠１３０５を設定しているが、他の位置関係であってもよい。また、ｍｉｎｉ顔枠１３０５の大きさを、補正処理前の顔枠１３０４の大きさより小さく設定する。本実施例では、ｍｉｎｉ顔枠１３０５の縦と横の長さをそれぞれ顔枠１３０４の１／２に設定しているが、単なる一例である。

このように、顔が横向きの場合など、顔領域が補正されている場合には、顔枠については、背景を含まないように補正された顔領域に基づいて設定する一方、ｍｉｎｉ顔枠については、補正処理前の顔領域に基づいて設定された顔枠に基づいて設定する。これは、ｍｉｎｉ顔枠は顔枠よりも背景を含む可能性が小さく、さらに、顔の特徴部位である目、口、鼻などをとらえている可能性が高いためである。ｍｉｎｉ顔枠を補正処理後の顔領域に基づいて設定された顔枠に基づいて（例えば中心位置が一致するように）設定してしまうと、人物が横向きの場合、ｍｉｎｉ顔枠が頬に位置する可能性が高くなる。そうすると、ｍｉｎｉ顔枠内の画像が低コントラストとなり、人物の顔へのピント合わせ精度が低くなり、顔の中心部位にピントが合わなかったり、ピント位置が背景側にずれてしまったりする可能性が高くなる。

なお、本実施例では、顔領域が補正されている場合、ｍｉｎｉ顔枠は補正処理前の顔領域に基づいて設定する場合を示した。しかし、他の方法として、顔枠の補正量（補正前顔枠と補正後顔枠の位置の差）よりも小さい補正量で、顔枠と同方向に、補正処理前の顔領域に基づくｍｉｎｉ顔枠の位置を補正してもよい。例えば、顔枠の補正量が２０画素分の場合、ｍｉｎｉ顔枠は１０画素分位置を補正しても良い。

ここで、本実施例のＳ１１１２で行うＴＶ−ＡＦ制御における、図８で説明した微小駆動動作で用いるＡＦ評価値の算出の仕方を説明する。
ＡＦ評価値＝（顔枠のＡＦ評価値）＋α＊（ｍｉｎｉ顔枠のＡＦ評価値）‥（式１）
式１において、αは係数であり、ｍｉｎｉ顔枠のＡＦ評価値の重みづけを変更することができる。例えば、α＝２．５とすることにより、ｍｉｎｉ顔枠のＡＦ評価値の重みを顔枠のＡＦ評価値より上げることができる。

なお、本実施例の顔ＡＦ枠設定処理は、第１の実施例のＡＦ制御処理においても適用できる。
また、本実施例の顔ＡＦ枠設定処理は、図１１のＳ１１０７のように検出された顔領域と同一の人体検出結果があるか否かの判定を行わずに、例えば顔の向きに応じて顔領域の位置補正処理を行うか否かを判定する場合にも適用できる。その場合、例えば、顔が正面向きの場合は、顔枠の位置補正量を０とし、横向きの場合は、例えば顔サイズの１／８だけ顔が向いている方向と逆方向に顔枠の位置を補正する。そして、ｍｉｎｉ顔枠については、上述した方法と同様に設定する。なお、顔の向きに応じた顔枠の位置補正量は一例であり、他の値を用いてもよい。

このように、本実施例では顔枠に包含され、顔枠よりも小さいｍｉｎｉ顔枠を設定し、顔枠のＡＦ評価値とｍｉｎｉ顔枠のＡＦ評価値とを加重加算したＡＦ評価値に基づいてＴＶ−ＡＦ制御を行う。顔枠よりもｍｉｎｉ顔枠の方が背景を含まない可能性が高いため、ｍｉｎｉ顔枠のＡＦ評価値を考慮したＡＦ制御を行うことで、より精度よく顔に合焦させることが可能になる。

＜第３の実施例におけるＡＦ制御処理＞
第２の実施例では、ＡＦ枠として、顔枠と、顔枠に包含されるｍｉｎｉ顔枠とを用いる方法について説明した。本実施例では、第２の実施例で説明したｍｉｎｉ顔枠に関する課題とその解決方法について説明する。

第２の実施例では、ｍｉｎｉ顔枠は顔枠よりも小さく設定した。これは、背景を含む可能性を小さくし、さらに、顔の特徴部位である目、鼻、口などの顔の中心部位に安定してピントを合わせるためである。しかしながら、ｍｉｎｉ顔枠のサイズを小さくすると、顔の動きにより枠内の画像が変化しやすくなるため、ＡＦ評価値およびＡＦ結果が安定しにくくなる。

そこで本実施例では、ｍｉｎｉ顔枠を目、鼻、口の顔の中心部位に加えて、顎から肩にかけた範囲に設定することで、安定したＡＦ評価値を得られるようにした。具体的には、図１４（Ａ）に示すように、ｍｉｎｉ顔枠１４０２の水平方向のサイズは第２の実施例と同様に顔枠１４０１の半分程度とし、さらに垂直方向下向きに、顔枠の垂直サイズの１／４程度拡大した大きさに設定している。なお、拡大後もｍｉｎｉ顔枠が顔枠に包含されることには変わりが無い。なお、図１４では、カメラを正位置で構えて撮影した画像を示している。

ここで、上述の様にｍｉｎｉ顔枠を設定すると、被写体の撮影角度によっては被写体の顎や肩がｍｉｎｉ顔枠に含まれなくなる。図１４（Ｂ）、（Ｃ）、（Ｄ）の各々において、顔枠１４０３、１４０５、１４０７と、ｍｉｎｉ顔枠１４０４、１４０６、１４０８を示している。例えば、主被写体が四つん這いの場合（図１４（Ｂ））や横たわっている場合(図１４（Ｃ）)、上下反転している場合（図１４（Ｄ））は、ｍｉｎｉ顔枠に被写体の顎や肩が含まれない。

そこで本実施例では、主被写体の人体の向き（主被写体の姿勢）に応じて、ｍｉｎｉ顔枠の設定を補正する顔ＡＦ枠補正処理を行う。
本実施例におけるＡＦ制御処理のフローチャートを図１５に示す。図１５のフローチャートにおけるＳ１５０１〜Ｓ１５０９の処理は図２のＳ２０１〜Ｓ２０９と、Ｓ１５１０の処理は図１１のＳ１１１０（すなわち図１２の処理）と、それぞれ同様の処理であるため、説明を省略する。

Ｓ１５１１で行う顔ＡＦ枠補正処理について、図１６のフローチャートを用いて説明する。Ｓ１６０１において被写体検出角度判別手段としての制御部１１４は、人体検出部１１７にて検出された結果に基づいて、主被写体の姿勢（検出角度）を判別する。検出角度は、人体検出部１１７にて検出される人体の輪郭に基づいて、顔や肩などの部位の位置関係から判別することができる。なお、顔領域の位置情報については顔検出部１１６の検出結果を用いてもよい。

つまり、図１４（Ａ）の様に顔よりも人体が下に検出された場合、制御部１１４は主被写体が正立状態（検出角度０°）であると判別する。この場合制御部１１４は処理をＳ１６０２に進め、ｍｉｎｉ顔枠の水平方向サイズを顔枠の水平方向サイズの１／２とし、また垂直方向サイズは下方向に顔枠の境界まで拡大する。

一方、図１４（Ｂ）の様に、顔よりも人体が右に検出された場合、制御部１１４は主被写体の姿勢が左に９０°回転した状態（検出角度左９０°）であると判別する。この場合、制御部１１４は処理をＳ１６０３に進め、ｍｉｎｉ顔枠の垂直方向サイズを顔枠の垂直方向サイズの１／２とし、また水平方向サイズは左方向に顔枠の境界まで拡大する。（顔の上下方向と顔枠の垂直方向が対応するため、顔枠の垂直方向は画面左右方向、水平方向は画面上下方向となる）

図１４（Ｃ）の様に、顔よりも人体が左に検出された場合、制御部１１４は主被写体の姿勢が右に９０°回転した状態（検出角度右９０°）であると判別する。この場合、制御部１１４は処理をＳ１６０４に進め、ｍｉｎｉ顔枠の垂直方向サイズを顔枠の垂直方向サイズの１／２とし、また水平方向サイズは右方向に顔枠の境界まで拡大する。

図１４（Ｄ）の様に、顔よりも人体が上に検出された場合、制御部１１４は主被写体の姿勢が１８０°回転した状態（検出角度１８０°）であると判別する。この場合、制御部１１４は処理をＳ１６０５に進め、ｍｉｎｉ顔枠の水平方向サイズを顔枠の水平方向サイズの１／２とし、また垂直方向サイズは上方向に顔枠の境界まで拡大する。
なお、図１４に示した例ではｍｉｎｉ顔枠を顔枠一杯まで拡大したが、どの程度拡大するかは、顎から肩にかけた範囲が含まれる可能性が高い値を例えば実験的に求めて設定することができる。

以上の処理にて設定された顔枠及びｍｉｎｉ顔枠を、Ｓ１５１２で制御部１１４は主顔に設定する。図１７は、主顔に設定される顔枠１７０１，１７０４，１７０７，１７１０、ｍｉｎｉ顔枠１７０３，１７０６，１７０９，１７１２、人体検出領域１７０２，１７０５，１７０８，１７１１の例を主被写体の姿勢に応じて示している。図１７（Ａ）は正立状態（角度０°）を判別した場合、図１７（Ｂ）は左９０°の検出角度を判別した場合、図１７（Ｃ）は右９０°の検出角度を判別した場合、図１７（Ｄ）は１８０°の検出角度を判別した場合を示している。いずれの判別状態においても、ｍｉｎｉ顔枠１７０３，１７０６，１７０９，１７１２は目、鼻、口から顎、肩にかけた適切な範囲に設定されていることがわかる。

以上のように、本実施例では、人体検出結果に基づいて、顔と人体の検出位置の関係から人体の姿勢を判別し、判別結果に応じてｍｉｎｉ顔枠の設定範囲を補正する。これにより、主被写体に対してより安定した合焦状態を得ることができる。

なお、姿勢検出の方法は人体領域の輪郭に基づく方法に限らず、他の任意の方法を用いることができる。例えば、顔領域の検出結果を併用してもよいし、輪郭以外の情報に基づいてもよい。

また、上述の実施例では、特定被写体の例として、向きによって見えが変わる被写体を例示して説明したが、特定被写体は必ずしも向きによって見えが変わる被写体に限定されない。本発明の趣旨は、ある検出方法において被写体領域の検出精度が低下しうる場合に、他の検出方法で検出した被写体領域の情報を用いて補正することで、安定した被写体領域の検出を可能とするものである。

以上、本発明をその例示的な実施例に基づいて詳述してきたが、本発明は特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 画像から第１の検出対象の領域を検出する第１の検出手段と、
   前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出手段と、
   前記第１の検出手段によって検出された前記第１の検出対象の領域の位置を補正する補正手段と、
   前記第１の検出対象の領域に基づいて、評価領域を設定する設定手段と、
   前記評価領域に対応する画像の信号に基づいて、焦点検出制御、露出制御、色制御の少なくとも一つを行う制御手段とを有し、
   前記補正手段は、前記第２の検出対象の領域の情報に基づいて、前記第１の検出手段によって検出された前記第１の検出対象の領域の位置を補正することを特徴とする画像処理装置。
2. 前記補正手段は、前記第２の検出対象の領域の情報に基づいて、前記第１の検出手段によって検出された前記第１の検出対象の領域のサイズをさらに補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の検出手段と前記第２の検出手段の少なくとも一方の検出結果の信頼度が低いと判定された場合、前記補正手段は、前記第１の検出対象の領域の補正を制限することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の検出対象の領域を示す表示を行う表示制御手段をさらに有し、
   前記補正手段は、前記第２の検出対象の領域の情報に基づいて、前記表示制御手段によって表示される前記第１の検出手段によって検出された前記第１の検出対象の領域を示す表示の位置を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の検出手段によって検出された前記第１の検出対象の向きまたは角度を検出する第３の検出手段をさらに有し、
   前記補正手段は、前記第３の検出手段の検出結果に基づいて、前記第１の検出対象の領域の補正を制限することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記補正手段は、前記第１の検出手段によって検出された前記第１の検出対象が正面を向いていることが前記第３の検出手段によって検出された場合、前記第１の検出対象の領域の補正を制限することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の検出手段によって検出された前記第１の検出対象の領域と前記第２の検出対象の領域とのサイズおよび中心位置の少なくとも一方の差分が所定値より大きい場合、前記補正手段は、前記第１の検出対象の領域の補正を制限することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１の検出対象は人物の顔であって、前記第２の検出対象は人物の体であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記第１の検出対象の領域に基づいて、第１の評価領域を設定するとともに、当該第１の評価領域より小さい第２の評価領域を設定し、
   前記制御手段は、前記第１の評価領域から得られる信号と前記第２の評価領域から得られる信号とに基づいて前記制御を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記補正手段により前記第１の検出対象の領域の位置を補正する場合、前記設定手段は、補正後の前記第１の検出対象の領域に基づいて前記第１の評価領域を設定し、補正前の前記第１の検出対象の領域に基づいて前記第２の評価領域を設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記設定手段は、前記第１の評価領域内に含まれるように前記第２の評価領域を設定することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記補正手段により前記第１の検出対象の領域の位置を補正しない場合、前記設定手段は、前記第１の評価領域に基づいて前記第２の評価領域を設定することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第２の検出手段によって検出された前記第２の検出対象の向きまたは角度を検出する第４の検出手段をさらに有し、
    前記設定手段は、さらに前記第４の検出手段の検出結果に基づいて、前記第２の評価領域を設定することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理装置。
14. 前記補正手段は、前記第２の検出手段によって検出された前記第２の検出対象の領域の情報に基づいて前記第１の検出対象の領域を推定し、推定した前記第１の検出対象の領域の情報に基づいて前記第１の検出手段によって検出された前記第１の検出対象の領域の位置を補正することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    被写体像を光電変換して画像を生成する撮像手段とを有することを特徴とする撮像装置。
16. 画像処理装置の制御方法であって、
    第１の検出手段が、画像から第１の検出対象の領域を検出する第１の検出ステップと、第２の検出手段が、前記第１の検出対象の領域を推定可能な第２の検出対象の領域を画像から検出する第２の検出ステップと、
    補正手段が、前記第１の検出ステップで検出された前記第１の検出対象の領域の位置を補正する補正ステップと、
    設定手段が、前記第１の検出対象の領域に基づいて、評価領域を設定する設定ステップと、
    制御手段が、前記評価領域に対応する画像の信号に基づいて、焦点検出制御、露出制御、色制御の少なくとも一つを行う制御ステップとを有し、
    前記補正ステップにおいて前記補正手段は、前記第２の検出対象の領域の情報に基づいて、前記第１の検出ステップで検出された前記第１の検出対象の領域を補正することを特徴とする画像処理装置の制御方法。
17. 請求項１６に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images