JP5225317B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

近年、被写体の特徴部（特に顔部）の大きさを一定に保持するようにズーム制御を行う自動ズーム制御を行う撮像装置が提案されている。例えば、下記の特許文献１は、輝度・色差を用いて被写体抽出を行い、抽出した被写体の面積が初期設定時の被写体面積に対して一定の範囲になるように自動ズーム制御を行う撮像装置を提案している。

特開平９−６５１９７号公報

しかし、上記特許文献１が提案する撮像装置は、抽出した被写体面積と初期設定時の被写体面積とを比較して自動ズーム制御を行うので、初期設定を行う際に被写体抽出が正しく行われない場合には、撮影者の意図した被写体面積を設定できない。その結果、安定した自動ズーム制御を行えない。撮像装置が被写体の顔を抽出する場合を想定する。撮影対象の被写体の顔が正面を向いているときに撮像装置が自動ズーム制御の基準となる目標顔サイズを設定しようとしても、顔検出精度により検出されている顔のサイズが安定しなかったり、設定の瞬間に顔が横を向いて顔サイズが変化したりする場合がある。このような場合には、目標顔サイズの設定直後に被写体の顔サイズが変化し、すぐに自動ズーム制御動作が行われてしまう。その結果、撮影者の意図する画角に保持して撮影ができないといった問題がある。

本発明は、上記問題点を鑑みてなされたものであり、被写体のサイズが変化している場合でも、撮影者の意図する被写体のサイズを保持するように自動ズーム制御を行う撮像装置を提供することを目的とする。

本発明の一実施形態の撮像装置は、ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出手段と、前記被写体検出手段により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得手段と、前記被写体サイズ取得手段により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定手段と、前記被写体サイズ取得手段が取得した前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御手段とを備える。前記基準サイズ設定手段は、被写体サイズ取得手段により取得された被写体のサイズの履歴情報に基づいて、該被写体のサイズの平均値を算出し、前記算出した被写体のサイズの平均値と前記取得された被写体のサイズの最大値との差が所定の閾値以内である場合に、前記被写体のサイズが安定していると判断する。

本発明の撮像装置によれば、被写体、特に顔のサイズが不安定な場合や顔サイズが変化している場合でも安定した状態での顔サイズを設定でき、撮影者の意図する顔サイズを保持するように自動ズーム制御を実行することができる。

実施例１の撮像装置の構成例を示す図である。 自動ズーム制御処理フローの例を示す図である。 目標顔サイズ設定処理を説明するフローチャートである。 実施例２の撮像装置の構成例を示す図である。 顔枠の設定を説明する図である。 肌色領域抽出部の構成例を示す図である。 Ｌａｂ座標系の概念図と肌色領域サイズの算出を説明する図である。 目標顔サイズ設定処理を説明するフローチャートである。 閾値ＴＨｓを説明する図である。 実施例３の撮像装置の構成例を示す図である。 目標顔サイズ設定処理フローの例を示す図である。 肌色領域中心位置Ｐｂと目中心位置Ｐａとを説明する図である。 正面に対する角度と｜Ｐａ−Ｐｂ｜/ Ｗとの関係を示す図である。 実施例４の撮像装置の構成例を示す図である。 顔サイズの算出処理を説明する図である。

図１は、本発明の実施例１の撮像装置の構成例を示す図である。この例では、撮像装置は、ビデオカメラである。もちろん、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することができる。図１に示す撮像装置は、光軸方向に第１固定レンズ１０１、変倍（ズーム）レンズ１０２、絞り１０３、第２固定レンズ１０４、フォーカスコンペンセータレンズ（以下、フォーカスレンズという）１０５が順次配置され、これらによって撮像光学系が構成される。ズームレンズ１０２は光軸方向に移動して変倍を行う。また、フォーカスレンズ１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略語である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略語である。

撮像素子１０６は、撮像光学系により形成された光学像を撮像、つまり電気信号（画像信号）に変換して、ＣＤＳ／ＡＧＣ回路１０７に出力する。すなわち、撮像素子１０６は、ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像手段として機能する。ＣＤＳは、Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇの略語である。ＡＧＣは、Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌの略語である。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力（画像信号）をサンプリングし、ゲイン調整する。カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。モニタ装置１０９は、カメラ信号処理回路１０８からの映像信号を表示する。モニタ装置１０９は、ＬＣＤ（Liquid Crystal Display）等を有する。

ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータを備える。ズーム駆動源１１０は、カメラマイコン１１５からの指示に従って、ズームレンズ１０２を移動制御する。フォーカシング駆動源１１１は、カメラマイコン１１５からの指示に従って、フォーカスレンズ１０５を移動制御する。具体的には、ズーム駆動源１１０及びフォーカシング駆動源１１１は、カメラマイコン１１３が算出する駆動量、駆動方向、駆動速度に応じて制御される。

顔検出部１１２は、ＣＤＳ／ＡＧＣ回路１０７から出力される画像信号に対して公知の顔検出処理を施し、撮影画面内の人物の顔領域を検出し、その検出結果をカメラマイコン１１３に送信する。すなわち、顔検出部１１２は、撮像手段から出力された画像信号に基づいて、撮像画面内の被写体（この例では顔）を検出する被写体検出手段として機能する。顔検出処理として、例えば、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法がある。また、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法等がある。本実施例では、顔検出部１１２は、特徴点として目の抽出を行い、両目の間隔から顔サイズを決定し、目の領域を中心にして顔検出枠を設定する。

カメラマイコン１１３は、所定の記憶手段内に記憶されたコンピュータプログラムを実行することによって、撮像装置全体を制御する。このコンピュータプログラムは、本実施形態の撮像装置の制御方法を実現するプログラムである。カメラマイコン１１３は、顔サイズ算出部１１４、目標顔サイズ設定部１１５、制御部１１６、記憶メモリ１１７を備える。顔サイズ算出部１１４は、顔検出部１１２により検出された顔のサイズ（以下、「検出顔サイズ」と記述）を算出する。すなわち、顔サイズ算出部１１４は、顔検出部１１２により検出された被写体のサイズを取得する被写体サイズ取得手段として機能する。

目標顔サイズ設定部１１５は、基準サイズ設定手段として機能する。目標顔サイズ設定部１１５は、顔サイズ算出部１１４により算出された検出顔サイズに基づいて、検出顔サイズすなわち被写体のサイズが安定しているかを判断する。目標顔サイズ設定部１１５は、検出顔サイズが安定している場合に、目標顔サイズを記憶メモリ１１７に設定する。目標顔サイズは、自動ズーム制御の基準となる被写体のサイズ（基準サイズ）である。記憶メモリ１１７には、目標顔サイズが設定される。制御部１１６は、顔サイズ算出部１１４が算出した検出顔サイズが記憶メモリ１１７に設定された目標顔サイズに一致するようにズームレンズ１０２を駆動して変倍動作させる自動ズーム動作を実行する制御手段として機能する。具体的には、制御部１１６は、記憶メモリ１１７から目標顔サイズを読み出し、検出顔サイズを目標顔サイズに一致させるためのズーム駆動量、駆動方向をズーム制御量として算出する。そして、制御部１１６は、算出したズーム制御量に基づき、ズーム駆動源１１０を駆動制御する。

図２は、図１に示す撮像装置が実行する自動ズーム制御処理フローの例を示す図である。まず、目標顔サイズ設定部１１５が、制御部１１６の自動ズーム制御機能が有効であるか、すなわち、自動ズーム動作が実行中であるかを判断する（ステップＳ１）。自動ズーム動作が実行中でない場合は、処理を終了する。自動ズーム動作が実行中でない場合は、目標顔サイズ設定部１１５が、目標顔サイズ設定処理を実行する（ステップＳ２）。次に、顔サイズ算出部１１４が、顔検出部１１２によって顔が検出されているかを判断する（ステップＳ３）。顔が検出されていない場合は、処理を終了する。顔が検出されている場合は、顔サイズ算出部１１４が、検出顔サイズを算出して（ステップＳ４）、ステップＳ５に進む。続いて、制御部１１６が、検出顔サイズが目標顔サイズに一致するかを判断する（ステップＳ５）。検出顔サイズが目標顔サイズに一致する場合は、処理を終了する。検出顔サイズが目標顔サイズに一致しない場合は、ステップＳ６に進む。なお、ステップＳ５において、制御部１１６が、検出顔サイズと目標顔サイズとの差が所定の閾値の範囲に入っているかを判断し、検出顔サイズと目標顔サイズとの差が所定の閾値の範囲に入っていない場合に、ステップＳ６に進むようにしてもよい。

次に、制御部１１６が、検出顔サイズが目標顔サイズより大きいかを判断する（ステップＳ６）。検出顔サイズが目標顔サイズより大きい場合、制御部１１６は、ワイド側にズーム制御する（ステップＳ７）。検出顔サイズが目標顔サイズより大きくない場合、制御部１１６は、テレ側にズーム制御する（ステップＳ８）。上記ステップＳ７、Ｓ８においては、制御部１１６は、検出顔サイズと目標顔サイズの大きさをカメラマイコン１１３内に記憶されている焦点距離情報に換算することでズームの駆動量を算出し、ズームレンズ１０２をそれぞれワイド側、テレ側へ駆動する。

図３は、図２のステップ２における目標顔サイズ設定処理を説明するフローチャートである。まず、目標顔サイズ設定部１１５が、目標顔サイズ設定済フラグがＯＮであるかを判断する（ステップＳ２１）。目標顔サイズ設定済フラグは、目標顔サイズを設定済であるか否かを示すフラグである。目標顔サイズ設定済フラグがＯＮであることは、目標顔サイズを設定済であることを示す。目標顔サイズ設定済フラグがＯＦＦであることは、目標顔サイズを設定済でないことを示す。

目標顔サイズ設定済フラグがＯＮである場合は、処理を終了する。目標顔サイズ設定済フラグがＯＦＦである場合は、目標顔サイズ設定部１１５が、顔サイズ安定待ちカウンタＣｎｔと、顔サイズ算出回数カウンタｎとを初期化する（ステップＳ２２）。顔サイズ安定待ちカウンタＣｎｔは、顔サイズが安定するまでの顔サイズの算出回数をカウントする。顔サイズ算出回数カウンタｎは、変数ｎをカウントする。変数ｎは、履歴バッファＳ［Ｎ] への顔サイズの保存回数を示す。

次に、目標顔サイズ設定部１１５が、履歴バッファＳ［Ｎ］ を初期化する（ステップＳ２３）。履歴バッファは、Ｎ個分のデータが格納される配列である。この履歴バッファは、算出された過去Ｎ回分の顔サイズを順次保存する。続いて、目標顔サイズ設定部１１５が、顔サイズピーク値Ｓｐを初期化する（ステップＳ２４）。顔サイズピーク値Ｓｐは、算出された顔サイズの最大値（ピーク値）である。次に、顔サイズ算出部１１４が、顔が検出されているかを判断する（ステップＳ２５）。顔が検出されていない場合は、処理を終了する。顔が検出されている場合、顔サイズ算出部１１４が、検出顔サイズＳを算出し、履歴バッファＳ［ｎ］に保存する（ステップＳ２６）。続いて、目標顔サイズ設定部１１５が、顔サイズ算出回数カウンタｎをインクリメントして（ステップＳ２７）、ステップＳ２８に進む。

次に、目標顔サイズ設定部１１５が、現在算出している検出顔サイズＳが顔サイズピーク値Ｓｐより大きいかを判断する（ステップＳ２８）。検出顔サイズＳが顔サイズピーク値Ｓｐより大きくない場合は、ステップＳ３０に進む。検出顔サイズＳが顔サイズピーク値Ｓｐより大きい場合は、ステップＳ２９に進む。ステップＳ２９において、目標顔サイズ設定部１１５が、顔サイズピーク値Ｓｐを検出顔サイズＳで更新する（ステップＳ２９）。次に、目標顔サイズ設定部１１５が、算出回数ｎが履歴バッファの配列数Ｎより小さいかを判断する（ステップＳ３０）。算出回数ｎが履歴バッファの配列数Ｎより小さい場合は、上記ステップＳ２５に進む。算出回数ｎが履歴バッファの配列数Ｎより小さくない場合は、ステップＳ３１に進む。

ステップＳ３１において、目標顔サイズ設定部１１５が、履歴バッファＳ［Ｎ］の平均値と顔サイズピーク値Ｓｐとの差が所定の閾値以内であるかを判断する（ステップＳ３１）。履歴バッファＳ［Ｎ］の平均値と顔サイズピーク値Ｓｐとの差が所定の閾値以内である場合、目標顔サイズ設定部１１５が、顔のサイズが安定していると判断して、ステップＳ３２に進む。すなわち、目標顔サイズ設定部１１５は、顔サイズ算出部１１４により算出された被写体のサイズの履歴情報（履歴バッファＳ［Ｎ］内のデータ）に基づいて、該被写体のサイズの平均値を算出する。目標顔サイズ設定部１１５は、算出した被写体のサイズの平均値と取得された被写体のサイズの最大値（Ｓｐ）との差が所定の閾値以内である場合に、被写体のサイズが安定していると判断する。

ステップＳ３２において、目標顔サイズ設定部１１５が、目標顔サイズを設定する（ステップＳ３２）。そして、目標顔サイズ設定部１１５が、目標顔サイズ設定済フラグをＯＮにして（ステップＳ３３）、処理を終了する。上記ステップＳ３１において、履歴バッファＳ［Ｎ］の平均値と顔サイズピーク値Ｓｐとの差が所定の閾値以内でない場合、目標顔サイズ設定部１１５が、顔のサイズが安定していないと判断して、ステップＳ３４に進む。続いて、目標顔サイズ設定部１１５が、顔サイズ安定待ちカウンタＣｎｔをインクリメントして（ステップＳ３４）、ステップＳ３５に進む。続いて、目標顔サイズ設定部１１５が、顔サイズ安定待ちカウンタＣｎｔのカウント値が安定待ち最大時間より大きいかを判断する（ステップＳ３５）。安定待ち最大時間は、顔サイズが安定するまでの時間である。安定待ち最大時間は、シミュレーション等により予め決められる。安定待ち最大時間は、例えば、顔サイズが安定するまでにかかる最低時間よりは長く、また、目標顔サイズが設定されなくても自動ズーム制御に支障のない時間より所定の時間だけ短い値に設定される。顔サイズ安定待ちカウンタＣｎｔのカウント値が安定待ち最大時間より大きくない場合は、処理を終了する。顔サイズ安定待ちカウンタＣｎｔのカウント値が安定待ち最大時間より大きい場合は、ステップＳ３２に進む。

上述した実施例１の撮像装置によれば、検出されている顔サイズが安定してから目標顔サイズが設定される。これにより、顔の検出が不安定であったり、目標顔サイズを設定する瞬間に横を向いていたりして顔サイズが変化している場合でも、適切な目標顔サイズが設定でき、安定した自動ズーム制御を行うことができる。

図４は、実施例２の撮像装置の構成例を示す図である。図４に示す撮像装置が備える構成部のうち、図１に示す撮像装置が備える構成部と同一の符号が付けられたものは、図１に示す撮像装置が備える構成部と同様の機能を有する。図４に示す撮像装置は、構成部の一つとしてカメラマイコン１３０を備える。カメラマイコン１３０は、被写体の特徴量を算出し、この特徴量に基づいて被写体の向きを判定し、被写体が正面を向いていると判定された場合に、被写体のサイズが安定していると判断し、目標顔サイズを設定する。カメラマイコン１３０は、顔サイズ算出部１１４乃至記憶メモリ１１７の他、肌色領域抽出部１１８、顔枠領域取得部１１９、特徴量算出部１２０、顔向き判定部１２１を備える。

顔枠領域取得部１１９は、顔検出部１１２によって検出された顔に対して、この顔に含まれる目と目とを結んだ線分の中点の位置を基準として顔枠を設定し、該顔枠で囲まれる顔枠領域を取得する顔枠領域取得手段として機能する。肌色領域抽出部１１８は、顔検出部１１２によって検出された顔の肌色領域を検出する肌色領域検出手段である。本実施例では、肌色領域抽出部１１８は、顔枠領域に含まれる肌色領域を抽出し、抽出した肌色領域のサイズである肌色領域サイズを算出する肌色領域サイズ算出手段として機能する。

肌色領域抽出部１１８は、公知の肌色領域抽出技術を用いて、顔枠領域に含まれる肌色領域を抽出する。肌色領域抽出部１１８は、例えば、入力画像の画像データを輝度成分（Ｌ）と２つの色成分（ａ、ｂ）で表現するＬａｂ表色系に変換し、各画素の色成分と肌色基準値の色成分との差を求め肌色候補領域を決定し、抽出する。本実施形では、肌色領域抽出部１１８は、Ｌａｂ表色系を用いて肌色領域を抽出するが、ＨＳＶ表色系、又はＬＵＶ表色系を用いてもよい。

特徴量算出部１２０は、顔検出部１１２により検出された被写体（顔）の特徴量を算出する特徴量算出手段である。本実施例では、特徴量算出部１２０は、顔枠領域のサイズに対する肌色領域のサイズの割合を特徴量として算出する。特徴量は、例えば、顔枠領域の横幅の大きさに対する、該顔枠領域に含まれる肌色領域の横幅の大きさの割合である。特徴量が、顔枠領域の面積に対する、該顔枠領域に含まれる肌色領域の面積の割合でもよい。

顔向き判定部１２１は、特徴量算出部１２０により算出された特徴量に基づいて被写体の向きを判定する被写体向き判定手段である。具体的には、特徴量算出部１２０は、算出された特徴量が所定の閾値を超える場合に、被写体としての顔が正面を向いていると判定する。本実施例においては、顔向き判定部１２１によって顔が正面を向いていると判定された場合に、目標顔サイズ設定部１１５が、顔のサイズが安定していると判断して目標顔サイズを設定する。

図５は、顔枠の設定を説明する図である。顔枠領域取得部１１９は、図５（Ａ）、（Ｂ）中に示す顔枠１４０を設定する。顔枠領域取得部１１９は、検出された顔１３１に含まれる目と目とを結んだ線分の中点のｘ座標が、顔枠１４０が有するｘ軸方向の辺の中点のｘ座標と同じになるように顔枠１４０を設定する。顔枠１４０に含まれる領域が、顔枠領域である。顔枠領域取得部１１９は、予め決められた大きさの顔枠を設定してもよいし、目と目との間を結んだ線分の長さに応じて顔枠の辺の長さを算出し、算出された辺を有する顔枠を設定してもよい。

図５（Ａ）中には、顔が正面を向いている場合に設定される顔枠を示す。図５（Ｂ）中には、顔が横を向いている場合に設定される顔枠を示す。顔枠領域取得部１１９は、例えば図５（Ｂ）中の線分２０１の長さ、すなわち顔枠が有するｘ軸方向の辺の長さを顔枠領域のサイズを算出し、これを顔枠領域サイズＳｂとする。線分２０１は、顔１３１の両目を通る線分である。なお、顔枠領域取得部１１９が、顔枠領域の面積を顔枠領域サイズＳｂとして算出するようにしてもよい。

図６は、肌色領域抽出部の構成例を示す図である。肌色領域抽出部１１８は、画像データ情報変換部１２２、肌色領域候補決定部１２３、候補領域抽出部１２４、サイズ算出部１２５を備える。画像データ情報変換部１２２は、入力画像のデータを図７（Ａ）に示すようなＬａｂ座標系に変換する。肌色領域候補決定部１２３は、Ｌａｂ座標色分布における、符号３００で示す肌色と定義される基準値と各画素とを比較し、肌色領域候補を決定する。候補領域抽出部１２４は、決定された肌色領域候補領域を抽出する。

サイズ算出部１２５は、抽出された肌色領域の横方向（ｘ軸方向）のサイズを算出する。サイズ算出部１２５は、抽出されている肌色領域の画素数を図７（Ｂ）中の点線で示す各々のライン毎に求め、求めた画素数を各々のラインに対応するサイズとする。図５（Ｂ）を例にとって説明すると、肌色領域抽出部１１８は、図５（Ｂ）中のＳａを顔枠領域に含まれる肌色領域のサイズ（肌色領域サイズ）として算出する。なお、サイズ算出部１２５が、肌色領域の画素数をカウントすることで、肌色領域の面積を算出し、これを肌色領域サイズＳａとしてもよい。

図８は、実施例２の撮像装置による目標顔サイズ設定処理を説明するフローチャートである。図８に示すフローチャートは、図２のステップＳ２における目標顔サイズ設定処理に対応する。実施例２の撮像装置の処理は、図８に示す目標顔サイズ設定処理以外は、実施例１の撮像装置の処理と同様である。

まず、目標顔サイズ設定部１１５が、目標顔サイズ設定済フラグがＯＮであるかを判断する（ステップＳ４１）。次に、目標顔サイズ設定部１１５が、顔サイズ設定待ちカウンタＣｎｔを初期化する（ステップＳ４２）。顔サイズ設定待ちカウンタＣｎｔは、目標顔サイズが設定されるまでに顔サイズを何回算出したかをカウントする。続いて、顔サイズ算出部１１４が、顔が検出されているかを判断する（ステップＳ４３）。顔が検出されていない場合は、処理を終了する。顔が検出されている場合、顔サイズ算出部１１４が、検出されている顔の顔サイズを算出し（ステップＳ４４）、ステップＳ４５に進む。続いて、顔枠領域抽出部１１９が、検出されている顔について、顔枠領域サイズＳｂを算出する（ステップＳ４５）。また、肌色領域抽出部１１８が、肌色領域サイズＳａを算出する（ステップＳ４６）。

次に、特徴量算出部１２０が、特徴量として、Ｓａ／Ｓｂを算出する（ステップＳ４７）。そして、顔向き判定部１２１が、算出されたＳａ／Ｓｂが所定の閾値ＴＨｓより大きいかを判断し、この判断結果に基づいて、顔が正面を向いているかを判断する（ステップＳ４８）。図５（Ａ）に示すように、顔が正面を向いている場合は、特徴量Ｓａ／Ｓｂは１に近い値になる。一方、図５（Ｂ）に示すように、顔が横あるいは斜めを向いている場合は、向いている方の領域において斜線部で示すように背景領域が多くなるため、特徴量Ｓａ／Ｓｂは１より小さい値となる。従って、ステップＳ４８においては、閾値ＴＨｓとして、シミュレーション等によって顔が正面を向いていると判断できる値に予め設定されたものを用いる。

図９は、ステップＳ４８における判断処理において用いられる閾値ＴＨｓを説明する図である。本実施例では、検出精度により検出顔サイズがばらついたとしても、すぐに自動ズーム機能が動作しないようにするために、不感帯としての顔サイズの変化率が予め設定されているものとする。図９（Ａ）は、正面に対する角度と顔サイズとの関係を示す。顔が正面を向いているときの顔サイズを１００％とする。顔が徐々に横を向いていくと、顔の角度θに応じて顔サイズは徐々に小さくなっていく。顔が横を向いていくと目の間隔も狭くなり、顔サイズも小さくなる。ここで、顔サイズは正面に対する角度θとの関係からおおよそ余弦関数で定義することができる。例えば、上記の不感帯分を１０％として、１０％の顔サイズ変化が起きたときの顔の角度θを求めた場合、顔の角度θはおおよそ２５度となる。

図９（Ｂ）は、正面に対する角度と特徴量Ｓａ/ Ｓｂとの関係を示す図である。特徴量Ｓａ/ Ｓｂも、顔サイズと同様に、顔が横を向くに従って小さくなる。そこで、撮像装置が、上記で求めた顔の角度（２５度）になった場合の特徴量Ｓａ/ Ｓｂの値を予め算出する。この場合、特徴量Ｓａ/ Ｓｂは約０．９となる。そして、撮像装置が、上記算出した特徴量Ｓａ/ Ｓｂを閾値ＴＨｓとして予め設定する。

図８に戻って、Ｓａ／Ｓｂが所定の閾値ＴＨｓより大きい場合、顔向き判定部１２１は、顔が正面を向いていると判断して、ステップＳ４９に進む。ステップＳ４９、Ｓ５０は、それぞれ、図３のステップＳ３２、Ｓ３３と同様である。Ｓａ／Ｓｂが所定の閾値ＴＨｓより大きくない場合、顔向き判定部１２１は、顔が正面を向いてないと判断して、ステップＳ５１に進む。ステップＳ５１において、目標顔サイズ設定部１１５が、顔サイズ設定待ちカウンタＣｎｔをインクリメントする（ステップＳ５１）。続いて、目標顔サイズ設定部１１５が、顔サイズ設定待ちカウンタＣｎｔが設定待ち最大時間を超えているかを判断する（ステップＳ５２）。設定待ち最大時間は、目標サイズを設定するまでの時間である。設定待ち最大時間は、シミュレーション等により予め決められる。顔サイズ設定待ちカウンタＣｎｔが設定待ち最大時間を超えている場合は、ステップＳ４９に進む。顔サイズ設定待ちカウンタＣｎｔが設定待ち最大時間を超えていない場合は、処理を終了する。

実施例２の撮像装置は、検出されている顔について顔枠を設定して顔枠領域を取得し、顔枠領域のサイズに対する、該顔枠領域に含まれる肌色領域のサイズの割合に基づいて、顔の向きを判定する。そして、この撮像装置は、顔が正面を向いている場合に、目標顔サイズを設定する。その結果、実施例２の撮像装置によれば、目標顔サイズを設定する瞬間に横を向いていたりして顔サイズが変化している場合でも、正面を向いたときにいきなりワイド側にズームしたりすることなく、安定した自動ズーム制御を行うことができる。

図１０は、実施例３の撮像装置の構成例を示す図である。図１０に示す撮像装置が備える構成部のうち、図４に示す撮像装置が備える構成部と同一の符号が付けられたものは、図４に示す撮像装置が備える構成部と同様の機能を有する。図１０に示す撮像装置は、構成部の一つとしてカメラマイコン１５０を備える。カメラマイコン１５０は、被写体の特徴量を算出し、この特徴量に基づいて被写体の向きを判定し、被写体が正面を向いていると判定された場合に、目標顔サイズを設定する。カメラマイコン１５０は、顔サイズ算出部１１４乃至記憶メモリ１１７、肌色領域抽出部１１８、特徴量算出部１２０、顔向き判定部１２１の他、第１中心位置算出部１２７、第２中心位置算出部１２８を備える。

肌色領域抽出部１１８は、顔検出部１１２によって検出された顔の肌色領域を検出する。第１中心位置算出部１２７は、肌色領域中心位置Ｐｂを算出する第１中心位置算出手段である。肌色領域中心位置Ｐｂは、検出された顔の肌色領域の水平方向の中心位置（第１の中心位置）である。第１中心位置算出部１２７は、検出された肌色領域のサイズに応じて顔枠を設定し、設定した顔枠に基づいて、肌色領域中心位置Ｐｂを算出する。第２中心位置算出部１２８は、目中心位置Ｐａを算出する第２中心位置算出手段である。目中心位置Ｐａは、検出された顔に含まれる目と目とを結んだ線分の中点の位置（第２の中心位置）である。特徴量算出部１２０は、算出された第１の中心位置と第２の中心位置とのずれ量に応じた特徴量を算出する。そして、顔向き判定部１２１は、算出された特徴量が所定の閾値未満である場合に、被写体としての顔が正面を向いていると判定する被写体向き判定手段として機能する。

図１１は、実施例３の撮像装置による目標顔サイズ設定処理を説明するフローチャートである。図１１に示すフローチャートは、図２のステップＳ２における目標顔サイズ設定処理に対応する。実施例３の撮像装置の処理は、図１１に示す目標顔サイズ設定処理以外は、実施例１、２の撮像装置の処理と同様である。図１１のステップＳ６１、Ｓ６２、Ｓ６３、Ｓ６９、Ｓ７０は、それぞれ、図８のステップＳ４１、Ｓ４３、Ｓ４４、Ｓ４９、Ｓ５０と同様である。

図１１のステップＳ６４において、第１中心位置算出部１２７が、肌色領域中心位置Ｐｂを算出する（ステップＳ６４）。続いて、第２位置算出部１２８が、目中心位置Ｐａを算出する（ステップＳ６５）。

図１２は、肌色領域中心位置Ｐｂと目中心位置Ｐａとを説明する図である。図１２（Ａ）は顔が正面を向いている状態を示す。図１２（Ｂ）は、顔が横（斜め）を向いている状態を示す。顔枠４０１は、例えば、顔４００における肌色領域のサイズ（例えば面積）が顔全体のサイズに対して所定の割合になるように設定される。第１中心位置算出部１２７は、検出された顔の肌色領域の水平方向の中心位置、すなわち、顔枠４０１が有するｘ軸方向の辺の中点のｘ座標を肌色領域中心位置Ｐｂとして算出する。また、第２中心位置算出部１２８は、検出された顔に含まれる目と目とを結んだ線分の中点のｘ座標を目中心位置Ｐａとして算出する。図１２（Ａ）に示すように、顔が正面を向いている場合は目中心位置Ｐａと肌色領域中心位置Ｐｂとはほぼ一致する。図１２（Ｂ）に示すように、顔が横を向くに従って目中心位置Ｐａと肌色領域中心位置Ｐｂとがずれていく。

図１１に戻って、特徴量算出部１２０が、例えば、図１２（Ｂ）中に示す顔枠４０１の横幅Ｗを算出する（ステップＳ６６）。特徴量算出部１２０が、特徴量｜Ｐａ−Ｐｂ｜／Ｗを算出する（ステップＳ６７）。そして、顔向き判定部１２１が、特徴量｜Ｐａ−Ｐｂ｜／Ｗが所定の閾値ＴＨｐより大きいかを判断し、この判断結果に基づいて、顔が正面を向いているかを判断する（ステップＳ６８）。

図１３は、正面に対する角度と特徴量｜Ｐａ−Ｐｂ｜/ Ｗとの関係を示す図である。図１３を用いて、顔が正面を向いているかの判断処理に用いる閾値ＴＨｐについて説明する。まず、撮像装置が、図９（Ａ）を参照して説明したように、不感帯分顔サイズ変化が起きたときの顔の角度θを求める。この角度が、例えば２５度であるものとする。図１３に示すように、特徴量｜Ｐａ−Ｐｂ｜/ Ｗは顔が横を向くに従って大きくなる。そこで、正面に対する角度が上記で求めた顔の角度（２５度）になった場合の特徴量｜Ｐａ−Ｐｂ｜/ Ｗの値を求める。この例では、求まった特徴量｜Ｐａ−Ｐｂ｜/ Ｗの値は、約０．２となる。撮像装置は、この値を閾値ＴＨｐとして予め設定しておく。

図１１に戻って、特徴量｜Ｐａ−Ｐｂ｜／Ｗが閾値ＴＨｐより大きい場合、顔向き判定部１２１が、顔が正面を向いている、すなわち、顔のサイズが安定していると判断し、ステップＳ６９に進む。特徴量｜Ｐａ−Ｐｂ｜／Ｗが閾値ＴＨｐより大きくない場合、顔向き判定部１２１が、顔が正面を向いていないと判断して、処理を終了する。

以上説明した実施例３の撮像装置は、目中心位置Ｐａと肌色領域中心位置Ｐｂとのずれ量に基づいて顔の向きを判定し、顔が正面を向いているときに目標顔サイズを設定する。従って、実施例３の撮像装置によれば、目標顔サイズ設定時に被写体が横を向いていたりして顔サイズが変化している場合でも、正面を向いたときにいきなりワイド側にズームしたりすることなく、安定した自動ズーム制御を行うことができる。

図１４は、実施例４の撮像装置の構成例を示す図である。図１４に示す撮像装置が備える構成部のうち、図１に示す撮像装置が備える構成部と同一の符号が付けられたものは、図１に示す撮像装置が備える構成部と同様の機能を有する。

図１４に示す撮像装置は、構成部の一つとしてカメラマイコン１６０を備える。カメラマイコン１６０は、顔の肌色領域を検出し、検出された肌色領域のサイズに基づいて、顔のサイズが安定しているかを判断し、該顔のサイズが安定している場合に、目標顔サイズを設定する。カメラマイコン１６０は、顔サイズ算出部１１４乃至肌色領域抽出部１１８を備える。肌色領域抽出部１１８は、顔検出部１１２によって検出された顔の肌色領域を検出する。顔サイズ算出部１１４は、検出された顔の肌色領域のサイズを取得し、取得した肌色領域のサイズを顔サイズとする。本実施例では、顔サイズ算出部１１４は、肌色領域の高さを顔サイズとして算出する。具体的には、顔サイズ算出部１１４は、肌色領域を縦方向にスキャンして肌色領域の画素数が最大となる縦ラインの長さを求めることで、顔サイズを算出する。目標顔サイズ設定部１１５は、顔サイズ算出部１１４によって算出された顔サイズを目標顔サイズとして記憶メモリ１１７に設定する。制御部１１６は、設定された目標顔サイズを用いて、自動ズーム動作を実行する。目標顔サイズ設定部１１５が、実施例１と同様に、顔サイズが安定しているかを判断し、顔サイズが安定している場合に、目標顔サイズを設定するようにしてもよい。

図１５は、実施例３における顔サイズの算出処理を説明する図である。図１５（Ａ）は、顔５００が正面を向いている状態を示す。図１５（Ｂ）は、顔５００が横（斜め）を向いている状態を示す。顔サイズ算出部１１４は、顔５００に含まれる肌色領域の高さを顔サイズとして算出する。図１５（Ａ）、（Ｂ）に示す例では、肌色領域の高さは、点線に示すように、髪の毛の生え際から顎の輪郭までのライン上が最大となる。従って、顔サイズ算出部１１４は、図１５（Ａ）、（Ｂ）中の矢印の長さを顔サイズとして算出する。ただし、髪の毛の生え際は、顔が横を向くと陰になって変化することも考えられる。そこで、顔サイズ算出部１１４が、複数のラインにおける肌色領域の高さの平均値を顔サイズとして算出するようにしてもよい。

実施例４の撮像装置によれば、検出されている顔の肌色領域の高さを目標顔サイズとして設定することで、目標顔サイズの設定時に被写体が横を向いている場合でも、目標顔サイズを設定でき、安定した自動ズーム制御を行うことができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１１０ ズーム駆動源
１１１ フォーカシング駆動源
１１２ 顔検出部
１１３ カメラマイコン

Claims (8)

1. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得手段と、
   前記被写体サイズ取得手段により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定手段と、
   前記被写体サイズ取得手段が取得した前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御手段とを備え、
   前記基準サイズ設定手段は、被写体サイズ取得手段により取得された被写体のサイズの履歴情報に基づいて、該被写体のサイズの平均値を算出し、前記算出した被写体のサイズの平均値と前記取得された被写体のサイズの最大値との差が所定の閾値以内である場合に、前記被写体のサイズが安定していると判断することを特徴とする撮像装置。
2. 前記被写体検出手段により検出された被写体の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された特徴量に基づいて前記被写体の向きを判定する被写体向き判定手段とを有し、
   前記被写体向き判定手段によって前記被写体が正面を向いていると判定された場合に、前記基準サイズ設定手段が、前記被写体のサイズが安定していると判断して前記被写体の基準サイズを設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得手段と、
   前記被写体サイズ取得手段により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定手段と、
   前記被写体サイズ取得手段が取得した前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御手段とを備え、
   前記被写体検出手段は、前記被写体として顔を検出し、
   前記検出された顔に対して顔枠領域を取得する顔枠領域取得手段と、
   前記顔枠領域に含まれる肌色領域のサイズである肌色領域サイズを算出する肌色領域サイズ算出手段と、
   前記顔枠領域のサイズに対する前記肌色領域サイズの割合を前記被写体検出手段により検出された被写体の特徴量として算出する特徴量算出手段と、
   前記算出された特徴量が所定の閾値を超える場合に、前記被写体が正面を向いていると判定する被写体向き判定手段とを備え、
   前記被写体向き判定手段によって前記被写体が正面を向いていると判定された場合に、前記基準サイズ設定手段が、前記被写体のサイズが安定していると判断して前記被写体の基準サイズを設定する
   ことを特徴とする撮像装置。
4. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得手段と、
   前記被写体サイズ取得手段により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定手段と、
   前記被写体サイズ取得手段が取得した前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御手段とを備え、
   前記被写体検出手段は、前記被写体として顔を検出し、
   前記検出された顔の肌色領域を検出する肌色領域検出手段と、
   前記検出された顔の肌色領域の水平方向の中心位置を第１の中心位置として算出する第１中心位置算出手段と、
   前記検出された顔に含まれる目と目とを結んだ線分の中点の位置を第２の中心位置として算出する第２中心位置算出手段と、
   前記算出された第１の中心位置と前記第２の中心位置とのずれ量に応じた特徴量を前記被写体検出手段により検出された被写体の特徴量として算出する特徴量算出手段と、
   前記算出された特徴量が所定の閾値未満である場合に、前記被写体が正面を向いていると判定する被写体向き判定手段とを備え、
   前記被写体向き判定手段によって前記被写体が正面を向いていると判定された場合に、前記基準サイズ設定手段が、前記被写体のサイズが安定していると判断して前記被写体の基準サイズを設定する
   ことを特徴とする撮像装置。
5. 前記被写体検出手段は、前記被写体として顔を検出し、
   前記検出された顔の肌色領域を検出する肌色領域検出手段を備え、
   前記被写体サイズ取得手段は、前記検出された顔の肌色領域のサイズを取得し、
   前記基準サイズ設定手段は、前記取得された顔の肌色領域のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する
   ことを特徴とする請求項１に記載の撮像装置。
6. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像工程と、
   前記撮像工程によって出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出工程と、
   前記被写体検出工程により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得工程と、
   前記被写体サイズ取得工程により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定工程と、
   前記被写体サイズ取得工程によって取得された前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御工程と、を備え、
   前記基準サイズ設定工程では、被写体サイズ取得工程により取得された被写体のサイズの履歴情報に基づいて、該被写体のサイズの平均値を算出し、前記算出した被写体のサイズの平均値と前記取得された被写体のサイズの最大値との差が所定の閾値以内である場合に、前記被写体のサイズが安定していると判断することを特徴とする撮像装置の制御方法。
7. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像工程と、
   前記撮像工程から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出工程と、
   前記被写体検出工程により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得工程と、
   前記被写体サイズ取得工程により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定工程と、
   前記被写体サイズ取得工程が取得した前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御工程とを備え、
   前記被写体検出工程では、前記被写体として顔を検出し、
   前記検出された顔に対して顔枠領域を取得する顔枠領域取得工程と、
   前記顔枠領域に含まれる肌色領域のサイズである肌色領域サイズを算出する肌色領域サイズ算出工程と、
   前記顔枠領域のサイズに対する前記肌色領域サイズの割合を前記被写体検出工程により検出された被写体の特徴量として算出する特徴量算出工程と、
   前記算出された特徴量が所定の閾値を超える場合に、前記被写体が正面を向いていると判定する被写体向き判定工程とを備え、
   前記基準サイズ設定工程では、前記被写体向き判定工程によって前記被写体が正面を向いていると判定された場合に、前記被写体のサイズが安定していると判断して前記被写体の基準サイズを設定する
   ことを特徴とする撮像装置の制御方法。
8. ズームレンズを含む撮像光学系により形成された被写体像を撮像して画像信号を出力する撮像工程と、
   前記撮像工程から出力された画像信号に基づいて、撮像画面内の被写体を検出する被写体検出工程と、
   前記被写体検出工程により検出される、撮像画面内での被写体のサイズを取得する被写体サイズ取得工程と、
   前記被写体サイズ取得工程により取得された被写体のサイズに基づいて、該被写体のサイズが安定しているかを判断し、該被写体のサイズが安定している場合に、該被写体の基準サイズを設定する基準サイズ設定工程と、
   前記被写体サイズ取得工程で取得された前記被写体のサイズが前記設定された基準サイズに一致するように前記ズームレンズを駆動して変倍動作させる自動ズーム動作を実行する制御工程とを備え、
   前記被写体検出工程は、前記被写体として顔を検出し、
   前記検出された顔の肌色領域を検出する肌色領域検出工程と、
   前記検出された顔の肌色領域の水平方向の中心位置を第１の中心位置として算出する第１中心位置算出工程と、
   前記検出された顔に含まれる目と目とを結んだ線分の中点の位置を第２の中心位置として算出する第２中心位置算出工程と、
   前記算出された第１の中心位置と前記第２の中心位置とのずれ量に応じた特徴量を前記被写体検出工程により検出された被写体の特徴量として算出する特徴量算出工程と、
   前記算出された特徴量が所定の閾値未満である場合に、前記被写体が正面を向いていると判定する被写体向き判定工程とを備え、
   前記基準サイズ設定工程では、前記被写体向き判定工程によって前記被写体が正面を向いていると判定された場合に、前記被写体のサイズが安定していると判断して前記被写体の基準サイズを設定する
   ことを特徴とする撮像装置の制御方法。

Images