JP5565041B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、被写体を所望の撮像範囲で撮像するようにする画像処理装置および方法、並びにプログラムに関する。

近年、デジタルカメラ等の撮像装置において、人物や顔といった被写体を検出器によって検出した上で、オートフォーカス（AF）や自動露出（AE）等の機能を用いて、より好適に被写体を撮像することがなされている。

ところで、ズーム操作による撮像範囲（画角）の調整を行う撮像装置として、被写体を追尾して、その被写体が、撮像範囲の端の領域に入るとズームアウトし、撮像範囲の中央の領域に入るとズームインするようにしたものがある（特許文献１参照）。

特開２００９−３３４５０号公報

しかしながら、上述した撮像装置においては、所望の撮像範囲となるように、ズーム操作による撮像範囲の調整を、より簡単な操作で行うことはできなかった。

例えば、撮像時に、被写体との距離が変化する場合、撮像範囲における被写体の大きさを一定に保つためには、その距離に応じて微妙なズーム操作を行う必要がある。また、被写体との距離が一定であっても、撮像範囲における被写体の大きさを、所望の大きさにするためには、やはり、微妙なズーム操作を行う必要がある。

特に、近年、撮像装置の小型化に伴い、ズーム操作を行うためのボタンやレバーも小型化され、これにより、ズーム操作による撮像範囲の調整がより難しくなった。

本発明は、このような状況に鑑みてなされたものであり、特に、被写体を所望の撮像範囲でより簡単に撮像するようにするものである。

本発明の一側面の画像処理装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出手段と、ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御手段とを備える。

前記画像処理装置には、前記所定値を予め記憶する記憶手段と、前記算出手段によって算出された前記比が、前記記憶手段によって記憶されている前記所定値と同一または略同一であるか否かを、フレーム毎に判定する判定手段とをさらに設け、前記倍率制御手段には、前記判定手段によって、前記比が、前記所定値と同一または略同一であると判定されるまで、前記ズーム倍率を制御させることができる。

前記算出手段には、前記撮像手段によって撮像された撮像画像において、注目する前記被写体としての人物の領域である人物領域と、前記人物領域に含まれる、前記人物の顔の領域である顔領域との比を算出させることができる。

前記倍率制御手段には、前記ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が前記所定値と同一または略同一になるように、ズームレンズの駆動を制御させることができる。

前記倍率制御手段には、前記ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が前記所定値と同一または略同一になるように、前記撮像画像の電子的な拡大を制御させることができる。

前記画像処理装置には、前記撮像画像において、前記注目領域のサイズと、予め設定された目標サイズとを比較する比較手段をさらに設け、前記倍率制御手段には、前記ユーザによってズーム操作がされていない場合、前記比較手段によって比較された前記注目領域のサイズと前記目標サイズとの差が、所定の閾値より小さくなるように、前記撮像画像のズーム倍率を制御させることができる。

前記倍率制御手段には、前記注目領域のサイズと前記目標サイズとの差が、前記所定の閾値より小さくなるように前記撮像画像のズーム倍率を制御している間に、前記ユーザによってズーム操作がされたとき、前記ズーム操作に応じて前記撮像画像のズーム倍率を制御させ、前記画像処理装置には、前記ユーザによってズーム操作がされた後の前記注目領域のサイズを、前記目標サイズに設定する設定手段をさらに設けることができる。

前記画像処理装置には、前記撮像画像における前記注目領域の位置を検出する検出手段をさらに設け、前記倍率制御手段には、前記検出手段によって、前記注目領域の位置が、前記撮像画像の外端領域にあることが検出された場合、広角側へ前記撮像画像のズーム倍率を制御させることができる。

前記画像処理装置には、前記倍率制御手段の制御によって、前記撮像画像のズーム倍率が広角端になった場合、前記被写体が、前記撮像画像から外れる旨を提示する提示手段をさらに設けることができる。

本発明の一側面の画像処理方法は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出手段と、ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御手段とを備える画像処理装置の画像処理方法であって、前記算出手段が、前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域と、前記注目領域に含まれる、前記被写体の部分の領域である部分領域との比を算出する算出ステップと、前記倍率制御手段が、ユーザによるズーム操作に応じて、前記算出ステップの処理によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御ステップとを含む。

本発明の一側面のプログラムは、被写体を撮像する撮像手段を備える画像処理装置の画像処理をコンピュータに実行させるプログラムであって、前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出ステップと、ユーザによるズーム操作に応じて、前記算出ステップの処理によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、被写体が撮像され、撮像された撮像画像において、注目する被写体の領域である注目領域のサイズと、注目領域に含まれる、被写体の領域の一部分である部分領域のサイズとの比が算出され、ユーザによるズーム操作に応じて、算出された比が所定値と同一または略同一になるように、撮像画像のズーム倍率が制御される。

本発明の第１および第２の側面によれば、被写体を所望の撮像範囲でより簡単に撮像することが可能となる。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 被写体追尾部の構成例を示すブロック図である。 被写体マップ生成部の構成例を示すブロック図である。 被写体候補領域矩形化部の構成例を示すブロック図である。 被写体領域選択部の構成例を示すブロック図である。 被写体追尾処理について説明するフローチャートである。 被写体マップ生成処理について説明するフローチャートである。 被写体マップ生成処理の具体例を示す図である。 被写体候補領域矩形化処理について説明するフローチャートである。 被写体候補領域矩形化処理の具体例を示す図である。 被写体領域選択処理について説明するフローチャートである。 帯域特徴量マップの被写体領域特徴量和について説明する図である。 重み係数について説明する図である。 撮像範囲調整処理について説明するフローチャートである。 制御部の機能構成例を示すブロック図である。 自動ズーム調整処理について説明するフローチャートである。 自動ズーム調整処理について説明するフローチャートである。 被写体が撮像される撮像範囲について説明する図である。 被写体が撮像される撮像範囲について説明する図である。 被写体が撮像される撮像範囲について説明する図である。 被写体が撮像される撮像範囲について説明する図である。 画像処理装置の他の構成例を示すブロック図である。 図２２の制御部の機能構成例を示すブロック図である。 顔検出処理について説明するフローチャートである。 指定ズーム処理について説明するフローチャートである。 指定ズーム処理について説明するフローチャートである。 理想サイズ比について説明する図である。 画像処理装置のさらに他の構成例を示すブロック図である。 図２８の制御部の機能構成例を示すブロック図である。 自動ズーム調整処理について説明するフローチャートである。 自動ズーム調整処理について説明するフローチャートである。 指定ズーム処理について説明するフローチャートである。 指定ズーム処理について説明するフローチャートである。 画像処理装置のさらに他の構成例を示すブロック図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、例えば、動きのある被写体を撮像するデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置に備えられる。

画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示部３４、制御部３５、レンズ駆動部３６、インタフェース制御部３７、およびユーザインタフェース３８から構成される。

光学系３１は、図示せぬズームレンズおよびフォーカスレンズを含む光学系として構成される。光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２により光電変換される。イメージャ３２により光電変換された電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データに変換され、デジタル信号処理部３３に供給される。

デジタル信号処理部３３は、イメージャ３２からのデジタル信号（画像データ）に対して、所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、被写体追尾部５５、およびＣＯＤＥＣ５６を備えている。

前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。

YC生成部５３は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、YC生成部５３で処理された画像データに対して、解像度変換処理を実行する。

被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データを基に、画像データに対応する入力画像（撮像画像）における被写体を検出し、追尾する被写体追尾処理を実行する。

ここで、被写体の検出は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推
定される入力画像上の物体、つまりユーザが目を向けると推定される物体が被写体であるとして行われる。したがって、被写体は必ずしも人物に限られる訳ではない。

被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についてのデータを制御部３５に供給する。なお、被写体追尾部５５の詳細については、図２を参照して後述する。

ＣＯＤＥＣ５６は、YC生成部５３または解像度変換部５４で生成された画像データを必要に応じて符号化し、図示せぬメモリに記録させたり、符号化された画像データを復号したりする。ＣＯＤＥＣ５６で復号された画像データ、または解像度変換部５４で得られた画像データは、表示部３４に供給されて表示される。表示部３４は、例えば液晶ディスプレイなどからなり、制御部３５の制御に従ってデジタル信号処理部３３から供給された画像データに対応する入力画像（以下、適宜、撮像画像ともいう）を表示する。

制御部３５は、インタフェース制御部３７から供給される制御信号に応じて、画像処理装置１１の各部を制御する。

例えば、制御部３５は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータを取得し、インタフェース制御部３７に供給する。

また、制御部３５は、光学系３１を構成するズームレンズおよびフォーカスレンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３６に供給する。さらに制御部３５は、イメージャ３２による入力画像の撮像も制御する。

ユーザインタフェース３８は、ユーザが画像処理装置１１に対する指示を入力するときに操作されるボタンやレバー、スイッチ、マイクロホン等の入力装置、ユーザに対して情報を提示するランプやスピーカ等の出力装置などから構成される。

例えば、ユーザインタフェース３８は、ユーザインタフェース３８としてのボタンが操作されると、その操作に応じた制御信号を、インタフェース制御部３７を介して制御部３５に供給する。

［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。

図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、および重み係数算出部７４から構成される。

被写体マップ生成部７１は、入力画像が有する輝度や色等の特徴毎に、入力画像の所定フレームの所定領域における特徴量を示す特徴量マップを生成し、重み係数算出部７４に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、重み係数算出部７４から供給される特徴量毎の重み係数とに基づいて、入力画像における被写体の領域らしさを示す被写体マップを生成する。

より具体的には、被写体マップ生成部７１は、特徴毎の特徴量マップの各領域の情報（特徴量）を、同じ位置にある領域毎に重み付き加算して被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。

なお、各特徴量マップにおいて、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、被写体が含まれる可能性のより高い領域となり、したがって、各特徴量マップにより入力画像における被写体の含まれる領域を特定することができる。

被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、すなわち、被写体マップにおける情報量の多い領域を含む矩形領域を求め、その矩形領域の座標を表す座標情報を、被写体領域選択部７３に供給する。また、被写体候補領域矩形化部７２は、被写体マップ上で座標情報により表わされる矩形領域に関する情報（以下、領域情報という）を算出し、座標情報に対応付けて被写体領域選択部７３に供給する。

被写体領域選択部７３は、追尾対象となる、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体候補領域矩形化部７２からの領域情報に基づいて矩形領域の中から選択し、その被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４に供給する。

重み係数算出部７４は、被写体マップ生成部７１からの所定フレームの各特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する次フレームの特徴量マップを重み付けする重み係数を算出し、被写体マップ生成部７１に供給する。

このような構成により、被写体追尾部５５は、入力画像のフレーム毎に、被写体領域を表す被写体枠を求めることができる。

［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１の構成例について説明する。

図３の被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。

特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色といった特徴に関する情報（特徴量）を示す特徴量マップを特徴量毎に生成し、帯域特徴量マップ生成部１１２に供給する。

帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップにおける特徴量から、所定の帯域成分の特徴量を所定の回数だけ抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成し、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数に基づいて特徴量毎に合成することで、合成特徴量マップを生成し、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数に基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２（図２）に供給する。

ここで、以下においては、上述した帯域特徴量マップおよび合成特徴量マップを、単に、特徴量マップともいう。

［被写体候補領域矩形化部の構成例］
次に、図４を参照して、図２の被写体候補領域矩形化部７２の構成例について説明する。

図４の被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。

２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１のいずれかの値に２値化して、ラベリング処理部１３２に供給する。ここで、以下においては、被写体マップにおいて、入力画像の各画素に対応する情報を、単に、画素ともいう。

ラベリング処理部１３２は、２値化処理部１３１からの、２値化された被写体マップにおいて、１の値である画素が隣接する領域（以下、連結領域という）に対してラベリングし、矩形領域座標算出部１３３に供給する。

矩形領域座標算出部１３３は、ラベリング処理部１３２からの、連結領域がラベリングされた被写体マップにおいて、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、被写体マップとともに領域情報算出部１３４に供給する。

領域情報算出部１３４は、矩形領域座標算出部１３３からの被写体マップ上で座標情報により表される矩形領域に関する情報である領域情報を算出し、座標情報に対応付けて被写体領域選択部７３（図１）に供給する。

［被写体領域選択部の構成例］
次に、図５を参照して、被写体領域選択部７３の構成例について説明する。

図５の被写体領域選択部７３は、領域情報比較部１５１および被写体領域決定部１５２から構成される。

領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部２５２に供給する。

被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域の領域情報に最も近い領域情報に対応付けられている座標情報で表される矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４（図２）に供給するとともに、被写体領域の領域情報を、領域情報記憶部１５３に供給する。

領域情報記憶部１５３は、被写体領域決定部１５２からの、被写体領域の領域情報を記憶する。領域情報記憶部１５３に記憶された被写体領域の領域情報は、１フレーム後に、領域情報比較部１５１に読み出される。

［被写体追尾処理］
以下においては、画像処理装置１１の被写体追尾処理について説明する。

図６は、画像処理装置１１の被写体追尾処理について説明するフローチャートである。被写体追尾処理は、例えば、ボタンとしてのユーザインタフェース３８がユーザに操作されることで、画像処理装置１１の動作モードが被写体追尾処理を実行する被写体追尾処理モードに遷移し、表示部３４に表示されている入力画像において、追尾対象としての被写体の所定領域がユーザにより選択されたときに開始される。

ステップＳ１１において、被写体追尾部５５の被写体マップ生成部７１は、被写体マップ生成処理を行い、被写体マップを生成して、被写体候補領域矩形化部７２に供給する。

［被写体マップ生成処理］
ここで、図７および図８を参照して、被写体マップ生成処理の詳細について説明する。図７は、被写体マップ生成処理について説明するフローチャートであり、図８は、被写体マップ生成処理の具体例を示す図である。

図７のフローチャートのステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色等の特徴（特徴量毎）に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。

具体的には、図８に示されるように、入力画像２００から、輝度に関する情報を示す輝度情報マップＦ_１、色に関する情報を示す色情報マップＦ_２乃至Ｆ_Ｋ、エッジに関する情報を示すエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの、Ｍ種類の特徴量マップが生成される。

輝度情報マップＦ_１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の各画素に対応する情報となり、色情報マップＦ_２乃至Ｆ_Ｋにおいては、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の各画素に対応する情報となる。また、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の各画素に対応する情報となる。

なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を輝度情報マップＦ_１の情報（特徴量）としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色情報マップＦ_２乃至Ｆ_Ｋの情報としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの情報としてもよい。

ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップにおける特徴量から、所定の帯域成分の特徴量をＮ回抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成して、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

具体的には、図８に示されるように、輝度情報マップＦ_１における輝度情報から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、その帯域それぞれの輝度情報を示す帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎが生成される。また、色情報マップＦ_２乃至Ｆ_Ｋにおける色情報から、所定の帯域１乃至帯域Ｎの色情報が抽出され、その帯域それぞれの色情報を示す帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮが生成される。さらに、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおけるエッジ情報から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、その帯域それぞれのエッジ情報を示す帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。

ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。

例えば、帯域特徴量マップ生成部１１２は、各特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。

この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。

また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。

例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。

具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。

このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから所定の帯域成分の特徴量を抽出することができる。

なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を求める際の、ピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。

また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。

図７のフローチャートに戻り、ステップＳ３３において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｒに基づいて特徴量毎に合成する。帯域特徴量マップ合成部１１３は、合成した帯域特徴量マップ（合成特徴量マップ）を、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

具体的には、図８に示されるように、帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１１乃至ｗ_１Ｎにより重み付き加算され、合成特徴量マップＣ_１が求められる。また、帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮは、重み係数算出部７４からの帯域色情報マップ毎の重みである重み係数ｗ_２１乃至ｗ_２Ｎ，…，ｗ_Ｋ１乃至ｗ_ＫＮにより重み付き加算され、合成特徴量マップＣ_２乃至Ｃ_Ｋが求められる。さらに、帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮは、重み係数算出部７４からの帯域エッジ情報マップ毎の重みである重み係数ｗ_{（Ｋ＋１）１}乃至ｗ_{（Ｋ＋１）Ｎ}，…，ｗ_Ｍ１乃至ｗ_ＭＮにより重み付き加算され、合成特徴量マップＣ_Ｋ＋１乃至Ｃ_Ｍが求められる。このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップを生成する。なお、重み係数群Ｗ_Ｒの詳細については後述するが、重み係数群Ｗ_Ｒの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｒの各重み係数は全て１とされ、帯域特徴量マップは、重みなしで加算される。

ステップＳ３４において、合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｃに基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。

具体的には、図８に示されるように、合成特徴量マップＣ_１乃至Ｃ_Ｍは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１乃至ｗ_Ｍを用いて線形結合される。さらに、線形結合の結果得られたマップの画素値に、予め求められた重みである被写体重みが乗算され正規化されて、被写体マップ２０１を求める。なお、重み係数群Ｗ_Ｃの詳細については後述するが、重み係数群Ｗ_Ｃの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｃの各重み係数は全て１とされ、合成特徴量マップは、重みなしで線形結合される。

つまり、これから求めようとする被写体マップ上の注目する位置（画素）を注目位置とすると、各合成特徴量マップの注目位置と同じ位置（画素）の画素値に、合成特徴量マップごとの重み係数が乗算され、重み係数の乗算された画素値の総和が、注目位置の画素値とされる。さらに、このようにして求められた被写体マップの各位置の画素値に、被写体マップに対して予め求められた被写体重みが乗算されて正規化され、最終的な被写体マップとされる。例えば、正規化は、被写体マップの各画素の画素値が、０から２５５までの間の値となるようになされる。

以上のようにして、被写体マップ生成部７１は、特徴量マップから、帯域特徴量マップおよび合成特徴量マップを生成することにより、被写体マップを生成する。

図６のフローチャートに戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行い、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求める。

［被写体候補領域矩形化処理］
ここで、図９および図１０を参照して、被写体候補領域矩形化処理の詳細について説明する。図９は、被写体候補領域矩形化処理について説明するフローチャートであり、図１０は、被写体候補領域矩形化処理の具体例を示す図である。

図９のフローチャートのステップＳ５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける情報を、所定の閾値に基づいて０または１のいずれかの値に２値化し、ラベリング処理部１３２に供給する。

より具体的には、２値化処理部１３１は、図１０の上から１番目に示される、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これによって、図１０の上から２番目に示されるような２値化マップ２０２が得られる。図１０で示される２値化マップ２０２においては、白で示される部分（画素）が１の画素値を有し、黒で示される部分（画素）が０の画素値を有している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。

ステップＳ５２において、ラベリング処理部１３２は、２値化処理部１３１から２値化マップ２０２（２値化された被写体マップ）において、例えば、モルフォロジー演算等によって得られる、１である画素値の画素が隣接する連結領域に対してラベリングし、矩形領域座標算出部１３３に供給する。

より具体的には、例えば、図１０の上から３番目に示されるように、２値化マップ２０２においては、連結領域２１１が、ラベル「１」でラベリングされ、連結領域２１２が、ラベル「２」でラベリングされる。

ステップＳ５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２からの２値化マップ２０２において、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、２値化マップ２０２とともに領域情報算出部１３４に供給する。

より具体的には、図１０の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」でラベリングされた連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。また、ラベル「２」でラベリングされた連結領域２１２を外側から囲む矩形枠２２２が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。

ステップＳ５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、被写体マップ生成部７１からの被写体マップに基づいて、被写体マップ上で矩形枠に囲まれる矩形領域についての領域情報を算出する。

より具体的には、領域情報算出部１３４は、２値化マップ２０２における矩形枠２２１，２２２を表す、矩形領域座標算出部１３３からの座標情報に基づいて、矩形枠のサイズおよび中心位置の座標を、矩形領域についての領域情報として算出する。領域情報算出部１３４は、算出した領域情報を、矩形領域座標算出部１３３からの座標情報に対応付けて被写体領域選択部７３に供給する。

以上のようにして、被写体候補領域矩形化部７２は、被写体マップにおいて、注目すべき被写体の候補となる各領域を囲む矩形枠、および、被写体マップ上でその矩形枠で囲まれる領域の特徴を表す領域情報を求める。

図６のフローチャートに戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行い、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体領域選択部７３からの領域情報に基づいて矩形領域の中から選択する。

［被写体領域選択処理］
ここで、図１１のフローチャートを参照して、被写体領域選択処理の詳細について説明する。

ステップＳ７１において、領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部１５２に供給する。

より具体的には、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠のサイズと、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズとを比較する。また、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠の中心位置の座標と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）の中心位置の座標とを比較する。

ステップＳ７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズまたは中心位置の座標に最も近い矩形枠のサイズまたは中心位置を有する矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５および重み係数算出部７４に供給するとともに、被写体領域の領域情報（被写体枠のサイズまたは中心位置）を、領域情報記憶部１５３に供給する。

但し、１回目の被写体領域選択処理において、領域情報記憶部１５３には、１フレーム前の被写体領域の領域情報は記憶されていないので、被写体追尾処理の開始時にユーザによって選択された被写体の所定領域（以下、初期選択領域という）を含む矩形領域が被写体領域とされる。

以上のようにして、被写体領域選択部７３は、被写体の候補となる矩形領域の中から、注目すべき被写体の被写体領域を選択する。

［重み係数の算出］
図６のフローチャートに戻り、ステップＳ１４において、重み係数算出部７４は、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの被写体領域を表す座標情報とに基づいて、図８で示された重み係数群Ｗ_Ｒ，Ｗ_Ｃを算出する。

より具体的には、図１２に示されるように、所定の帯域特徴量マップＲ_ｍｎ（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）上の、被写体領域を表す被写体枠２３１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｒ_ｍｎとした場合、図１３の上側に示されるような重み係数群Ｗ_Ｒが算出される。

図１３の重み係数群Ｗ_Ｒにおける係数のそれぞれは、図８で示された重み係数ｗ_１１乃至ｗ_ＭＮのそれぞれに対応している。なお、図１３において、Max[a,…,z]は、値ａ乃至ｚのうちの最大値を表すものとする。

例えば、図１３の重み係数群Ｗ_Ｒにおける上から１番目の行の各係数は、図８で示された、「帯域１」である特徴量毎の帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１についての重み係数ｗ_１１乃至ｗ_Ｍ１を示している。図１３に示されるように、重み係数ｗ_１１乃至ｗ_Ｍ１は、分母が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１のうちの最大値とされ、分子が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１とされる係数であり、０乃至１の値をとる。

同様に、図１３の重み係数群Ｗ_Ｒにおける上からＮ番目の行の各係数は、図８で示された、「帯域Ｎ」である特徴量毎の帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮについての重み係数ｗ_１Ｎ乃至ｗ_ＭＮを示している。図１３に示されるように、重み係数ｗ_１Ｎ乃至ｗ_ＭＮは、分母が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮのうちの最大値とされ、分子が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１ｎ乃至ｗ_Ｍｎによれば、「帯域ｎ」である特徴量毎の帯域特徴量マップＲ_１ｎ乃至Ｒ_Ｍｎにおいて、被写体領域特徴量和が最大となる特徴量の帯域特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

また、所定の合成特徴量マップＣ_ｍ（１≦ｍ≦Ｍ）上の、被写体領域を表す矩形枠２２１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｃ_ｍとした場合、図１３の下側に示されるような重み係数群Ｗ_Ｃが算出される。

図１３の重み係数群Ｗ_Ｃにおける係数のそれぞれは、図８で示された重み係数ｗ_１乃至ｗ_Ｍのそれぞれに対応している。

つまり、図１３の重み係数群Ｗ_Ｃにおける各係数は、図８で示された、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍについての重み係数ｗ_１乃至ｗ_Ｍを示している。図１３に示されるように、重み係数ｗ_１乃至ｗ_Ｍは、分母が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍのうちの最大値とされ、分子が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１乃至ｗ_ｍによれば、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍにおいて、被写体領域特徴量和が最大となる特徴量の合成特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

重み係数算出部７４は、算出した重み係数群Ｗ_Ｒを、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給するとともに、重み係数群Ｗ_Ｃを、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給する。図６のフローチャートにおいては、ステップＳ１４の後、次フレームについての被写体追尾処理が実行され、この処理が１フレーム毎に繰り返される。

以上の処理によれば、入力画像の所定のフレームについての特徴量毎の特徴量マップにおける、そのフレームで選択された被写体領域に対応する領域の特徴量の相対的な大きさに応じて、次フレームについての特徴量毎の特徴量マップに対する重み係数が決定される。したがって、フレーム間で特徴量が変動するような場合であっても、複数の特徴量のうちの被写体を最もよく表す特徴量の特徴量マップが最も大きく重み付けされた被写体マップが生成されるので、被写体の状態が変動するような環境下でも、被写体をより安定して追尾することが可能となる。

また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。

特に、従来の被写体追尾の手法において、被写体領域内のいずれかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、十分な検波精度は得られなかった。

一方、上述した被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。

また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。

一方、上述した被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。

以上においては、特徴量として、輝度成分、色成分、およびエッジ方向を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。

また、以上においては、Ｍ×（Ｎ＋１）種類の特徴量マップに対応して、Ｍ×（Ｎ＋１）種類の重み係数を算出するようにしたが、一部の特徴量マップに対応する重み係数のみを、適宜算出するようにすることで、画像処理装置１１における演算量を抑えることができる。例えば、合成特徴量マップＣ_１乃至Ｃ_ＭのＭ種類の特徴量マップに対応する重み係数ｗ_１乃至ｗ_Ｍのみを算出するようにしてもよい。

さらに、以上においては、領域情報算出部１３４は、矩形領域の領域情報として、矩形枠のサイズおよび中心位置の座標を算出するようにしたが、矩形領域内の画素値の積分値やピーク値（最大値）を算出するようにしてもよい。この場合、被写体領域選択処理（図１１）においては、１フレーム前の被写体領域内の画素値の積分値またはピーク値に最も近い領域内の画素値の積分値またはピーク値を有する矩形領域が被写体領域とされる。

ところで、画像処理装置１１には、上述した被写体追尾処理の追尾結果を適用したアプリケーションの一例として、追尾した被写体を、撮像範囲における被写体の大きさを一定に保ちつつ撮像する、撮像範囲調整処理を実行させることができる。

［撮像範囲調整処理について］
ここで、図１４のフローチャートを参照して、画像処理装置１１の撮像範囲調整処理について説明する。撮像範囲調整処理は、例えば、ボタンとしてのユーザインタフェース３８がユーザに操作されることで、画像処理装置１１の動作モードが被写体を撮像する撮像モードに遷移し、表示部３４に表示されている入力画像（撮像画像）において、撮像対象としての被写体の所定領域がユーザにより選択されたときに開始される。

ステップＳ７１において、被写体追尾部５５は、図６のフローチャートで説明した被写体追尾処理を実行し、被写体領域の座標情報を制御部３５に供給する。

ステップＳ７２において、制御部３５は、被写体追尾部５５からの被写体領域の座標情報に基づいて、レンズ駆動部３６を制御することで、レンズ駆動部３６に、光学系３１に含まれるズームレンズを駆動させ、自動ズーム調整処理を実行する。

制御部３５による自動ズーム調整処理の詳細については後述するが、以上の処理によれば、被写体との距離が変化しても、撮像範囲における被写体の大きさを一定に保つことができる。

［制御部の機能構成例］
ここで、図１５を参照して、図１４のフローチャートのステップＳ７２における自動ズーム調整処理を実行する制御部３５の機能構成例について説明する。

図１５の制御部３５は、座標情報取得部３１１、目標サイズ設定部３１２、操作判定部３１３、位置検出部３１４、比較部３１５、およびレンズ駆動制御部３１６を備えている。

座標情報取得部３１１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、目標サイズ設定部３１２、位置検出部３１４、および比較部３１５に供給する。また、座標情報取得部３１１は、被写体追尾部５５から座標情報を取得すると、座標情報を取得した旨の情報を操作判定部３１３に供給する。

目標サイズ設定部３１２は、座標情報取得部３１１からの被写体領域の座標情報に基づいて、所定のフレームについての座標情報で表される被写体領域のサイズを、撮像範囲における被写体の大きさを一定に保つための目標となる目標サイズとして設定する。すなわち、制御部３５は、被写体領域のサイズを常に目標サイズに近づけるように、レンズ駆動部３６に、ズームレンズを駆動させる。目標サイズ設定部３１２は、設定した目標サイズを比較部３１５に供給する。

操作判定部３１３は、座標情報取得部３１１から、被写体追尾部５５から座標情報を取得した旨の情報が供給されると、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザインタフェース３８としてのズームボタン（またはズームレバー）が操作されているか否かを判定する。操作判定部３１３は、判定の結果を表す情報を、目標サイズ設定部３１２、位置検出部３１４、およびレンズ駆動制御部３１６に供給する。

位置検出部３１４は、座標情報取得部３１１からの被写体領域の座標情報に基づいて、撮像範囲における被写体の位置を検出し、その位置に応じた情報を、比較部３１５、レンズ駆動制御部３１６、および表示部３４（図１）に供給する。

比較部３１５は、位置検出部３１４から、被写体の位置に応じた情報が供給されると、座標情報取得部３１１からの座標情報で表される被写体領域のサイズと、目標サイズ設定部３１２からの目標サイズとを比較する。比較部３１５は、比較の結果を表す情報をレンズ駆動制御部３１６に供給する。

レンズ駆動制御部３１６は、操作判定部３１３からの判定の結果を表す情報や、比較部３１５からの比較の結果を表す情報に基づいて、レンズ駆動部３６を制御し、光学系３１（図１）のズームレンズを駆動させる。

［自動ズーム調整処理］
次に、図１６および図１７のフローチャートを参照して、図１４のフローチャートのステップＳ７２に対応する、図１５の制御部３５による自動ズーム調整処理について説明する。

ステップＳ１１１において、座標情報取得部３１１は、被写体追尾部５５からの被写体領域の座標情報を取得し、目標サイズ設定部３１２に供給する

ステップＳ１１２において、座標情報取得部３１１は、初期動作か否か、すなわち、ステップＳ１１１において取得した座標情報が、撮像範囲調整処理（図１４）が開始されてから最初のフレームについての被写体領域の座標情報であるか否かを判定する。

ステップＳ１１２において、初期動作であると判定された場合、座標情報取得部３１１は、撮像範囲調整処理が開始されてから最初のフレームについての座標情報を取得した旨の情報を、目標サイズ設定部３１２および操作判定部３１３に供給し、処理はステップＳ１１３に進む。

ステップＳ１１３において、目標サイズ設定部３１２は、座標情報取得部３１１から、最初のフレームについての被写体領域の座標情報が供給されると、その座標情報で表される、矩形領域である被写体領域のサイズを目標サイズとして設定する。具体的には、目標サイズ設定部３１２は、最初のフレームについての被写体領域の幅Hw（または高さHh）を、目標幅Hw_target（または目標高さHh_target）として設定する。目標サイズ設定部３１２は、設定した目標サイズを比較部３１５に供給して、処理はステップＳ１１４に進む。

一方、ステップＳ１１２において、初期動作でないと判定された場合、すなわち、ステップＳ１１１において取得した座標情報が、座標情報取得部３１１が、撮像範囲調整処理（図１４）が開始されてから２番目以降のフレームについての被写体領域の座標情報であった場合、座標情報取得部３１１は、座標情報を取得した旨の情報を操作判定部３１３に供給し、処理はステップＳ１１４に進む。

ステップＳ１１４において、操作判定部３１３は、座標情報取得部３１１から、被写体追尾部５５から座標情報を取得した旨の情報が供給されると、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザによるズーム操作がされているか否かを判定する。

ステップＳ１１４において、ユーザによるズーム操作がされていると判定された場合、操作判定部３１３は、ユーザインタフェース制御部３７からの、ズーム操作の内容を表す制御信号を、レンズ駆動制御部３１６に供給し、処理はステップＳ１１５に進む。

ステップＳ１１５において、操作判定部３１３は、内部に保持しているマニュアルフラグをONする。マニュアルフラグは、１フレーム毎に撮像範囲調整処理が実行される中で、１つ前のフレームについての撮像範囲調整処理の自動ズーム調整処理において、ユーザによりズーム操作がされていたか否かを表すフラグである。すなわち、１つ前のフレームについての自動ズーム調整処理において、ユーザによりズーム操作がされていればマニュアルフラグはONであり、ズーム操作がされていなければマニュアルフラグはOFFである。なお、撮像範囲調整処理（自動ズーム調整処理）が開始された直後においては、マニュアルフラグはOFFされている。

ステップＳ１１６において、レンズ駆動制御部３１６は、操作判定部３１３からの制御信号で表される、ユーザによるズーム操作（広角指示または望遠指示）に応じて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、距離d1だけ駆動させる。距離d1は、レンズ駆動部３６が、１フレーム分の被写体追尾処理が実行される間に、ズームレンズを移動させることのできる距離とされる。

この場合、ユーザは、撮像範囲において被写体が追尾されているか否かに関わらず、自分の好みで、撮像範囲（画角）を調整することができる。

さて、ステップＳ１１４において、ユーザによるズーム操作がされていないと判定された場合、ステップＳ１１７において、操作判定部３１３は、内部に保持しているマニュアルフラグがONであるか否かを判定する。

ステップＳ１１７において、マニュアルフラグがONであると判定された場合、すなわち、１つ前のフレームについての自動ズーム調整処理において、ユーザによるズーム操作がされていた場合、処理はステップＳ１１８に進む。

ステップＳ１１８において、操作判定部３１３は、内部に保持しているマニュアルフラグをOFFし、マニュアルフラグがOFFされたの旨の情報を、目標サイズ設定部３１２および位置検出部３１４に供給する。

ステップＳ１１９において、目標サイズ設定部３１２は、操作判定部３１３からの情報に基づいて、座標情報取得部３１１からの、そのときのフレームについての被写体領域の座標情報で表される被写体領域のサイズに基づいて、目標サイズを更新し、比較部３１５に供給する。

すなわち、直前のフレームにおいて、ユーザによって調整されていた撮像範囲（画角）における被写体の大きさ、すなわち、被写体領域のサイズが、新たに目標サイズとして設定されるようになる。

一方、ステップＳ１１７において、マニュアルフラグがONでないと判定された場合、すなわち、１つ前のフレームについての自動ズーム調整処理において、ユーザによるズーム操作がされていなかった場合、操作判定部３１３は、マニュアルフラグがOFFである旨の情報を、位置検出部３１４に供給する。

ステップＳ１２０において、位置検出部３１４は、操作判定部３１３から、マニュアルフラグがOFFである（または、OFFされた）旨の情報が供給されてくると、座標情報取得部３１１からの被写体領域の座標情報に基づいて、撮像範囲における被写体の位置を検出する。そして、位置検出部３１４は、検出された位置に基づいて、被写体が、図１８に示される撮像範囲における領域Ａ内にいるか否かを判定する。

図１８は、表示部３４に表示される撮像画像の、被写体が撮像される撮像範囲を表す図である。図１８においては、被写体は、被写体領域を表す被写体枠Ｈで囲まれている。また、図１８においては、破線により領域Ａおよび領域Ｂが示されている。領域Ａは、撮像範囲の中央部を含むように設定され、撮像時に、被写体がその内側にいることが望ましいとされる領域である。また、領域Ｂは、撮像範囲の外端領域に設定され、撮像時に、被写体がその外側にいると撮像範囲から外れてしまう（フレームアウトしてしまう）可能性があるとされる領域である。

すなわち、ステップＳ１２０において、位置検出部３１４は、被写体が、撮像範囲の中の、撮像に望ましい領域にいるか否かを判定する。具体的には、位置検出部３１４は、被写体領域を表す被写体枠Ｈの中心座標（または、４頂点のいずれかの座標）が、領域Ａ内に存在するか否かを判定する。

ステップＳ１２０において、被写体が領域Ａ内にいると判定された場合、位置検出部３１４は、被写体が領域Ａ内にいる旨の情報を、比較部３１５に供給し、処理はステップＳ１２１に進む。

ステップＳ１２１において、比較部３１５は、位置検出部３１４から、被写体が領域Ａ内にいる旨の情報が供給されると、座標情報取得部３１１からの座標情報で表される被写体領域のサイズと、目標サイズ設定部３１２からの目標サイズとを比較する。

ここで、図１８で示された被写体枠Ｈのサイズを目標サイズとすると、比較部３１５は、目標サイズとしての、図１８の被写体枠Ｈの目標幅Hw_target（または目標高さHh_target）と、そのときのフレームについての被写体領域のサイズとしての、被写体領域の幅Hw（または高さHh）とを比較する。

そして、比較部３１５は、被写体領域のサイズが目標サイズより大きいか否か、具体的には、被写体領域の幅Hw（または高さHh）が、目標幅Hw_target（または目標高さHh_target）に所定値を加算した値より大きいか否かを判定する。

ステップＳ１２１において、図１９に示されるように、被写体領域のサイズが目標サイズより大きいと判定された場合、比較部３１５は、被写体領域のサイズが目標サイズより大きい旨の情報をレンズ駆動制御部３１６に供給し、処理はステップＳ１２２に進む。

ステップＳ１２２において、レンズ駆動制御部３１６は、比較部３１５からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、広角側に距離d1だけ駆動させる。

このように、撮像範囲における被写体の大きさが目標となる大きさより大きい場合には、被写体の大きさが目標となる大きさに近づくようにズームアウトする。

一方、ステップＳ１２１において、被写体領域のサイズが目標サイズより大きくないと判定された場合、処理はステップＳ１２３に進む。

ステップＳ１２３において、比較部３１５は、被写体領域のサイズが目標サイズより小さいか否か、具体的には、被写体領域の幅Hw（または高さHh）が、目標幅Hw_target（または目標高さHh_target）から所定値を減算した値より小さいか否かを判定する。

ステップＳ１２３において、図２０に示されるように、被写体領域のサイズが目標サイズより小さいと判定された場合、比較部３１５は、被写体領域のサイズが目標サイズより小さい旨の情報をレンズ駆動制御部３１６に供給し、処理はステップＳ１２４に進む。

ステップＳ１２４において、レンズ駆動制御部３１６は、比較部３１５からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、望遠側に距離d1だけ駆動させる。

このように、撮像範囲における被写体の大きさが目標となる大きさより小さい場合には、被写体の大きさが目標となる大きさに近づくようにズームインする。

一方、ステップＳ１２３において、被写体領域のサイズが目標サイズより小さくないと判定された場合、すなわち、被写体領域のサイズが目標サイズと同一または略同一である場合、比較部３１５は何もせず、従って、レンズ駆動制御部３１６にはいずれの情報も供給されない。

このように、撮像範囲における被写体の大きさが目標となる大きさと同一または略同一である場合には、ズームアウトもズームインもしない。

ところで、ステップＳ１２０において、被写体が領域Ａ内にいないと判定された場合、処理はステップＳ１２５に進み、位置検出部３１４は、被写体が領域Ｂ内にいるか否かを判定する。具体的には、位置検出部３１４は、被写体領域を表す被写体枠Ｈの中心座標（または、４頂点の全ての座標）が、領域Ｂの内側に存在するか否かを判定する。

ステップＳ１２５において、被写体が領域Ｂ内にいると判定された場合、位置検出部３１４は何もせず、従って、レンズ駆動制御部３１６にはいずれの情報も供給されない。

このように、撮像範囲において、被写体が領域Ａの外側かつ領域Ｂの内側にいる場合にも、ズームアウトもズームインもしない。

一方、ステップＳ１２５において、被写体が領域Ｂ内にいないと判定された場合、位置検出部３１４は、被写体が領域Ｂ内にいない旨の情報をレンズ駆動制御部３１６に供給し、処理はステップＳ１２６に進む。

ステップＳ１２６において、レンズ駆動制御部３１６は、位置検出部３１４からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、広角側に距離d2だけ駆動させる。距離d2は、距離d1よりも大きい距離であり、レンズ駆動部３６が、１フレーム分の被写体追尾処理が実行される間に、ズームレンズを移動させることのできる距離とされる。

これにより、被写体が撮像範囲（画角）の端に近づいても、被写体をフレームアウトさせないように、より迅速にズームアウトすることができる。

ステップＳ１２７において、レンズ駆動制御部３１６は、レンズ駆動部３６がズームレンズを広角側に距離d2だけ駆動させた結果、ズームレンズのレンズ位置が広角端であるか否かを判定する。

ステップＳ１２７において、ズームレンズのレンズ位置が広角端でないと判定された場合、レンズ駆動制御部３１６は何もしない。

一方、ステップＳ１２７において、ズームレンズのレンズ位置が広角端であると判定された場合、レンズ駆動制御部３１６は、ズームレンズのレンズ位置が広角端である旨の情報を位置検出部３１４に供給し、処理はステップＳ１２８に進む。

ステップＳ１２８において、位置検出部３１４は、レンズ駆動制御部３１６から情報が供給されてくると、被写体が撮像範囲内にいるか否かを判定する。具体的には、位置検出部３１４は、被写体領域を表す被写体枠Ｈの中心座標（または、４頂点のいずれかの座標）が、撮像範囲内であって、領域Ｂの外側に存在するか否かを判定する。

ステップＳ１２８において、被写体が撮像範囲内にいると判定された場合、位置検出部３１４は、被写体がフレームアウトしそうである旨の警告を提示するための情報を、表示部３４に供給し、処理はステップＳ１２９に進む。

ステップＳ１２９において、表示部３４は、位置検出部３１４からの情報に基づいて、被写体がフレームアウトしそうである旨の警告を提示（表示）する。

例えば、図２１に示されるように、被写体領域を表す被写体枠Ｈの中心座標が、表示部３４に表示されている撮像画像（撮像範囲）において、領域Ｂの右側へフレームアウトしそうな場合、表示部３４は、図２１の右上に示されるように、ユーザに対して撮像範囲を右側に移動することを促す矢印Ｐを表示する。

これにより、ユーザは、被写体がフレームアウトしそうである旨の警告を確認して、被写体をフレームアウトさせないように、画像処理装置１１自体をパンさせることができる。

一方、ステップＳ１２８において、被写体が撮像範囲内にいないと判定された場合、すなわち、被写体がフレームアウトした場合、位置検出部３１４は、被写体がフレームアウトした旨の警告を提示するための情報を、表示部３４に供給し、処理はステップＳ１３０に進む。

ステップＳ１３０において、表示部３４は、位置検出部３１４からの情報に基づいて、被写体がフレームアウトした旨の警告を提示（表示）する。

例えば、被写体領域を表す被写体枠Ｈの中心座標が、表示部３４に表示されている撮像画像（撮像範囲）において、領域Ｂの右側へ完全にフレームアウトした場合、表示部３４は、図２１の右上に示される矢印Ｐをより強調して表示する。

これにより、ユーザは、被写体がフレームアウトした旨の警告を確認して、被写体をフレームインさせるように、画像処理装置１１自体をパンさせることができる。

以上の処理によれば、被写体領域のサイズが目標サイズより大きい場合には、ズームアウトするように、広角側にズームレンズを駆動させ、被写体領域のサイズが目標サイズより小さい場合には、ズームインするように、望遠側にズームレンズを駆動させることができる。したがって、撮像時に、被写体との距離が変化する場合でも、微妙なズーム操作を行うことなく、撮像範囲における被写体の大きさを略一定に保つことが可能となる。

また、ユーザによってズーム操作された場合には、ユーザの操作が優先されるので、ユーザの好みの撮像範囲に調整することもできる。そして、ユーザによるズーム操作が終了した後には、そのときの被写体領域のサイズが目標サイズとして更新されるので、目標サイズをユーザの好みのサイズに設定することができる。

なお、上述した処理においては、初期動作時の被写体領域のサイズを目標サイズとして設定するようにしたが、例えば、ユーザの操作等により、目標サイズを予め決められるようにしてもよい。

また、上述した処理においては、被写体がフレームアウトしそうな（またはフレームアウトした）旨の警告を、表示部３４に表示させるようにしたが、ユーザインタフェース３８としてのスピーカに音声を出力させたり、偏心されたおもりが付加されたモータにより構成される振動部を備えるようにして、その振動部を振動させるようにしてもよい。

さらに、上述した処理においては、被写体としての人物が追尾され、その人物の大きさを撮像範囲において略一定に保つようにしたが、被写体は人物に限られない。また、被写体が人物である場合、人物の顔を検出する顔検出器を備えることにより、撮像範囲における顔の大きさを略一定に保つようにすることもできる。

以上においては、撮像時に、被写体との距離が変化する場合でも、撮像範囲における被写体の大きさを略一定に保つ自動ズーム調整処理について説明してきた。しかしながら、画像処理装置１１の構成では、被写体との距離が一定である場合に、撮像範囲における被写体の大きさを、所望の大きさにすることはできない。すなわち、被写体が人物である場合、撮像範囲における人物の大きさ（いわゆるショット）には、全身像を撮像するフルショット、上半身を撮像するバストショット、顔を撮像するアップショット等があるが、このようなショットになるように撮像範囲を調整することはできない。

そこで、以下においては、撮像範囲における被写体の大きさが所望の大きさになるように、撮像範囲を調整する構成について説明する。

［画像処理装置の他の構成例］
図２２は、撮像範囲における被写体の大きさが所望の大きさになるように、撮像範囲を調整する画像処理装置の構成例を示している。

なお、図２２の画像処理装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２２の画像処理装置５１１において、図１の画像処理装置１１と異なるのは、デジタル信号処理部３３において顔検出部５３１を新たに設け、制御部３５に代えて、制御部５３２を設けた点である。

顔検出部５３１は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像において、被写体追尾部５５によって検出された被写体としての人物の被写体領域から顔を検出し、顔の領域（以下、顔領域という）を表す座標情報を制御部５３２に供給する。

制御部５３２は、被写体追尾部５５からの被写体領域および顔領域の座標情報に基づいて、レンズ駆動部３６を制御することで、レンズ駆動部３６に、光学系３１に含まれるズームレンズを駆動させる。

［制御部の機能構成例］
ここで、図２３を参照して、図２２の制御部５３２の機能構成例について説明する。

図２３の制御部３５は、操作判定部５５１、座標情報取得部５５２、サイズ比算出部５５３、サイズ比判定部５５４、理想サイズ比記憶部５５５、およびレンズ駆動制御部５５６を備えている。

操作判定部５５１は、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザインタフェース３８としてのズームボタン（またはズームレバー）が操作されたか否かを判定する。操作判定部５５１は、判定の結果を表す情報を、座標情報取得部５５２およびサイズ比判定部５５４に供給する。

座標情報取得部５５２は、操作判定部５５１またはレンズ駆動制御部５５６からの情報に応じて、被写体追尾部５５および顔検出部５３１から１フレーム毎に供給されてくる被写体領域および顔領域の座標情報を取得し、サイズ比算出部５５３に供給する。

サイズ比算出部５５３は、座標情報取得部５５２からの被写体領域および顔領域の座標情報に基づいて、被写体領域のサイズと顔領域のサイズとの比（以下、サイズ比という）を算出し、サイズ比判定部５５４に供給する。

サイズ比判定部５５４は、サイズ比算出部５５３からのサイズ比と、理想サイズ比記憶部５５５に記憶されている理想サイズ比とを比較し、比較の結果を表す情報をレンズ駆動制御部５５６に供給する。

理想サイズ比記憶部５５５は、理想的な被写体領域のサイズと顔領域のサイズとの比である理想サイズ比を記憶している。理想サイズ比は、撮像される被写体としての人物が、フルショット、バストショット、およびアップショットといった適切なショットとなるような被写体領域のサイズと顔領域のサイズとの比とされ、ユーザによって任意に設定される。理想サイズ比記憶部５５５に記憶されている理想サイズ比は、適宜、サイズ比判定部５５４に読み出される。

レンズ駆動制御部５５６は、サイズ比判定部５５４からの、比較の結果を表す情報に基づいて、レンズ駆動部３６を制御し、光学系３１（図２２）のズームレンズを駆動させる。また、レンズ駆動制御部５５６は、ズームレンズを駆動させた旨の情報を、座標情報取得部５５２に供給する。

［顔検出処理］
ここで、図２４のフローチャートを参照して、図２２の画像処理装置５１１による顔検出処理について説明する。顔検出処理は、１フレーム毎に実行される被写体追尾部５５による被写体追尾処理の後に実行される。

顔検出部５３１は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像において、被写体追尾部５５による被写体追尾処理によって検出された被写体としての人物の被写体領域から顔を検出し、顔領域を表す座標情報を制御部５３２に供給する。

このようにして、撮像範囲において、注目する被写体として追尾されている人物の顔を検出することができる。

［指定ズーム処理］
次に、図２５および図２６のフローチャートを参照して、図２３の制御部５３２による指定ズーム処理について説明する。

ステップＳ３１１において、操作判定部５５１は、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザによるズーム操作がされたか否かを判定する。

ステップＳ３１１においては、ユーザによりズーム操作がされるまで処理が繰り返され、ズーム操作がされたと判定された場合、操作判定部５５１は、ズーム操作がされた旨の情報を座標情報取得部５５２に供給するとともに、ユーザインタフェース制御部３７からのズーム操作の内容を表す制御信号を、サイズ比判定部５５４に供給し、処理はステップＳ３１２に進む。

ステップＳ３１２において、座標情報取得部５５２は、操作判定部５５１から、ユーザによりズーム操作がされた旨の情報が供給されると、所定のフレームについての、被写体追尾部５５からの被写体領域の座標情報、および、顔検出部５３１からの顔領域の座標情報を取得し、サイズ比算出部５５３に供給する。

ステップＳ３１３において、サイズ比算出部５５３は、座標情報取得部５５２からの被写体領域および顔領域の座標情報に基づいて、被写体領域のサイズと顔領域のサイズとのサイズ比を算出する。具体的には、サイズ比算出部５５３は、被写体領域の高さHh（または幅Hw）と、顔領域の高さFh（または幅Fw）との比Fh/Hh（またはFw/Hw）を、サイズ比として算出する。サイズ比算出部５５３は、算出したサイズ比をサイズ比判定部５５４に供給して、処理はステップＳ３１４に進む。

ステップＳ３１４において、サイズ比判定部５５４は、サイズ比算出部５５３からサイズ比が供給されると、操作判定部５５１から供給されてきた、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザによるズーム操作が、望遠側のズーム操作であるか否かを判定する。

ステップＳ３１４において、ユーザによるズーム操作が、望遠側のズーム操作であると判定された場合、処理はステップＳ３１５に進む。

ステップＳ３１５において、サイズ比判定部５５４は、サイズ比算出部５５３からサイズ比が、フルショットとなる理想サイズ比より小さいか否かを判定する。

ここで、図２７を参照して、理想サイズ比について説明する。

図２７は、ズームレンズの駆動範囲と、入力画像における被写体の大きさとの関係を概念的に示している。

図２７の上側には、ズームレンズの駆動範囲が示されており、図中、左端に広角端が、右端に望遠端が示されている。また、広角端と望遠端の間には、レンズ位置LP1乃至LP6が示されている。

また、図２７の下側には、被写体としての人物が撮像されている画像ａ乃至ｃが示されている。画像ａ乃至ｃにおいては、それぞれ、被写体が、フルショット、バストショット、およびアップショットとなるように撮像されている。

ここで、画像ａにおいて全身像が撮像されている被写体の被写体領域Haの高さをHahとし、顔領域Faの高さをFahとすると、フルショットとなる理想サイズ比は、Fah/Hahで表される。図２７においては、この理想サイズ比Fah/Hahは、ズームレンズの駆動範囲において、ズームレンズのレンズ位置が、位置LP1乃至LP2の間にあるときに得られることが示されている。

また、画像ｂにおいて上半身が撮像されている被写体の被写体領域Hbの高さをHbhとし、顔領域Fbの高さをFbhとすると、バストショットとなる理想サイズ比は、Fbh/Hbhで表される。図２７においては、この理想サイズ比Fbh/Hbhは、ズームレンズの駆動範囲において、ズームレンズのレンズ位置が、位置LP3乃至LP4の間にあるときに得られることが示されている。

さらに、画像ｃにおいて主に顔が撮像されている被写体の被写体領域Hcの高さをHchとし、顔領域Fcの高さをFchとすると、アップショットとなる理想サイズ比は、Fch/Hchで表される。図２７においては、この理想サイズ比Fch/Hchは、ズームレンズの駆動範囲において、ズームレンズのレンズ位置が、位置LP5乃至LP6の間にあるときに得られることが示されている。

すなわち、図２５のフローチャートのステップＳ３１５においては、サイズ比算出部５５３からのサイズ比Fh/Hhが、フルショットとなる理想サイズ比Fah/Hahより小さいか否かが判定される。

なお、全身像が撮像されている場合、例えば、被写体が、遠くで撮像されていても、近くで撮影されていても、サイズ比はほとんど変わらない。すなわち、図２７の画像ａにおいて、被写体がより遠くで撮像されているときでも、サイズ比はFah/Hahと略同じ値となる。

そこで、ステップＳ３１５においては、サイズ比算出部５５３からのサイズ比Fh/Hhが、フルショットとなる理想サイズ比Fah/Hahより小さく、かつ、被写体領域の高さHhが所定の閾値より大きいか否かが判定される。ここで、所定の閾値は、撮像画像（撮像範囲）の高さより小さい値であることはもちろん、撮像範囲において、被写体領域の上下に、顔領域が約１つ分入るような値などとされる。

ステップＳ３１５において、サイズ比がフルショットとなる理想サイズ比より小さいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置が広角端とレンズ位置LP1の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３１６に進む。

ステップＳ３１６において、レンズ駆動制御部５５６は、サイズ比判定部５５４からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、望遠側に距離d1だけ駆動させる。距離d1は、上述したように、レンズ駆動部３６が、１フレーム分の被写体追尾処理が実行される間に、ズームレンズを移動させることのできる距離とされる。レンズ駆動制御部５５６は、ズームレンズを駆動させた旨の情報を座標情報取得部５５２に供給する。

ステップＳ３１７において、座標情報取得部５５２は、レンズ駆動制御部５５６から、ズームレンズを駆動させた旨の情報が供給されると、次のフレームについての、被写体追尾部５５からの被写体領域の座標情報、および、顔検出部５３１からの顔領域の座標情報を取得し、サイズ比算出部５５３に供給する。

ステップＳ３１８において、サイズ比算出部５５３は、座標情報取得部５５２からの被写体領域および顔領域の座標情報に基づいて、被写体領域のサイズと顔領域のサイズとのサイズ比Fh/Hhを算出する。サイズ比算出部５５３は、算出したサイズ比をサイズ比判定部５５４に供給して、処理はステップＳ３１９に進む。

ステップＳ３１９において、サイズ比判定部５５４は、被写体がフルショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、フルショットとなる理想サイズ比Fah/Hahと同一または略同一で、かつ、被写体領域の高さHhが所定の閾値より大きいか否かを判定する。

ステップＳ３１９において、被写体がフルショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだ広角端とレンズ位置LP1の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３１６に戻る。以降、１フレーム毎にステップＳ３１６乃至Ｓ３１９の処理が繰り返される。

そして、ステップＳ３１９において、被写体がフルショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP1乃至LP2になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。

ステップＳ３２０において、レンズ駆動制御部５５６は、サイズ比判定部５５４からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズの駆動を停止させる。

これにより、ユーザは、ユーザから遠い位置にいる被写体を撮像する場合であっても、望遠側のズーム操作をするだけで、適切なフルショットで撮像することができる。

一方、ステップＳ３１５において、サイズ比がフルショットとなる理想サイズ比より小さくないと判定された場合、処理はステップＳ３２１に進み、サイズ比判定部５５４は、サイズ比がバストショットとなる理想サイズ比より小さいか否かを判定する。具体的には、サイズ比算出部５５３からのサイズ比Fh/Hhが、バストショットとなる理想サイズ比Fbh/Hbhより小さいか否かが判定される。

ステップＳ３２１において、サイズ比がバストショットとなる理想サイズ比より小さいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP1乃至LP3の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２２に進む。

ステップＳ３２２乃至Ｓ３２４の処理は、上述したステップＳ３１６乃至Ｓ３１８の処理と同様にして行われるので、その説明は省略する。

そして、ステップＳ３２５において、サイズ比判定部５５４は、被写体がバストショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、バストショットとなる理想サイズ比Fbh/Hbhと同一または略同一であるか否かを判定する。

ステップＳ３２５において、被写体がバストショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだレンズ位置LP1乃至LP3の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２２に戻る。以降、１フレーム毎にステップＳ３２２乃至Ｓ３２５の処理が繰り返される。

そして、ステップＳ３２５において、被写体がバストショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP3乃至LP4になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。ステップＳ３２０においては、上述したように、ズームレンズの駆動が停止する。

これにより、ユーザは、フルショットで被写体を撮像している場合であっても、望遠側のズーム操作をするだけで、適切なバストショットで撮像することができる。

一方、ステップＳ３２１において、サイズ比がバストショットとなる理想サイズ比より小さくないと判定された場合、処理はステップＳ３２６に進み、サイズ比判定部５５４は、サイズ比がアップショットとなる理想サイズ比より小さいか否かを判定する。具体的には、サイズ比算出部５５３からのサイズ比Fh/Hhが、アップショットとなる理想サイズ比Fch/Hchより小さいか否かが判定される。

ステップＳ３２６において、サイズ比がアップショットとなる理想サイズ比より小さいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP3乃至LP5の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２７に進む。

ステップＳ３２７乃至Ｓ３２９の処理は、上述したステップＳ３１６乃至Ｓ３１８およびステップＳ３２２乃至Ｓ３２４の処理と同様にして行われるので、その説明は省略する。

そして、ステップＳ３３０において、サイズ比判定部５５４は、被写体がアップショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、アップショットとなる理想サイズ比Fch/Hchと同一または略同一であるか否かを判定する。

ステップＳ３３０において、被写体がアップショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだレンズ位置LP3乃至LP5の間にあるので、サイズ比判定部５５４は、ズームレンズの望遠側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２７に戻る。以降、１フレーム毎にステップＳ３２７乃至Ｓ３２９の処理が繰り返される。

そして、ステップＳ３３０において、被写体がアップショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP5乃至LP6になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。ステップＳ３２０においては、上述したように、ズームレンズの駆動が停止する。

これにより、ユーザは、バストショットで被写体を撮像している場合であっても、望遠側のズーム操作をするだけで、適切なアップショットで撮像することができる。

一方、ステップＳ３２６において、サイズ比がアップショットとなる理想サイズ比より小さくないと判定された場合、すなわち、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP6より望遠側にある場合には、何も処理されない。この場合、被写体は、アップショットかまたはそれより近い（寄った）ショットで撮像されているので、望遠側のズーム操作がされても、これ以上ズームインする必要はない。

ところで、ステップＳ３１４において、ユーザによるズーム操作が、望遠側のズーム操作でないと判定された場合、すなわち、ユーザによるズーム操作が、広角側のズーム操作であると判定された場合、処理はステップＳ３３１に進む。

ステップＳ３３１において、サイズ比判定部５５４は、サイズ比算出部５５３からサイズ比が、アップショットとなる理想サイズ比より大きいか否かを判定する。具体的には、サイズ比算出部５５３からのサイズ比Fh/Hhが、アップショットとなる理想サイズ比Fch/Hchより大きいか否かが判定される。

ステップＳ３３１において、サイズ比がアップショットとなる理想サイズ比より大きいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置が望遠端とレンズ位置LP6の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３３２に進む。

ステップＳ３３２において、レンズ駆動制御部５５６は、サイズ比判定部５５４からの情報に基づいて、レンズ駆動部３６を制御し、光学系３１のズームレンズを、広角側に距離d1だけ駆動させる。レンズ駆動制御部５５６は、ズームレンズを駆動させた旨の情報を座標情報取得部５５２に供給する。

ステップＳ３３３において、座標情報取得部５５２は、レンズ駆動制御部５５６から、ズームレンズを駆動させた旨の情報が供給されると、次のフレームについての、被写体追尾部５５からの被写体領域の座標情報、および、顔検出部５３１からの顔領域の座標情報を取得し、サイズ比算出部５５３に供給する。

ステップＳ３３４において、サイズ比算出部５５３は、座標情報取得部５５２からの被写体領域および顔領域の座標情報に基づいて、被写体領域のサイズと顔領域のサイズとのサイズ比Fh/Hhを算出する。サイズ比算出部５５３は、算出したサイズ比をサイズ比判定部５５４に供給して、処理はステップＳ３３５に進む。

ステップＳ３３５において、サイズ比判定部５５４は、被写体がアップショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、アップショットとなる理想サイズ比Fch/Hchと同一または略同一であるか否かを判定する。

ステップＳ３３５において、被写体がアップショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだ望遠端とレンズ位置LP6の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３３２に戻る。以降、１フレーム毎にステップＳ３３２乃至Ｓ３３４の処理が繰り返される。

そして、ステップＳ３３５において、被写体がアップショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP6乃至LP5になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。ステップＳ３２０においては、上述したように、ズームレンズの駆動が停止する。

これにより、ユーザは、ユーザからごく近い位置にいる被写体を撮像する場合であっても、広角側のズーム操作をするだけで、適切なアップショットで撮像することができる。

一方、ステップＳ３３１において、サイズ比がアップショットとなる理想サイズ比より大きくないと判定された場合、処理はステップＳ３３６に進み、サイズ比判定部５５４は、サイズ比がバストショットとなる理想サイズ比より大きいか否かを判定する。具体的には、サイズ比算出部５５３からのサイズ比Fh/Hhが、バストショットとなる理想サイズ比Fbh/Hbhより大きいか否かが判定される。

ステップＳ３３６において、サイズ比がバストショットとなる理想サイズ比より大きいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP6乃至LP4の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３３７に進む。

ステップＳ３３７乃至Ｓ３４０の処理は、上述したステップＳ３３２乃至Ｓ３３４の処理と同様にして行われるので、その説明は省略する。

そして、ステップＳ３４０において、サイズ比判定部５５４は、被写体がバストショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、バストショットとなる理想サイズ比Fbh/Hbhと同一または略同一であるか否かを判定する。

ステップＳ３４０において、被写体がバストショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだレンズ位置LP6乃至LP4の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３３７に戻る。以降、１フレーム毎にステップＳ３３７乃至Ｓ３４０の処理が繰り返される。

そして、ステップＳ３４０において、被写体がバストショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP4乃至LP3になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。ステップＳ３２０においては、上述したように、ズームレンズの駆動が停止する。

これにより、ユーザは、アップショットで被写体を撮像している場合であっても、望遠側のズーム操作をするだけで、適切なバストショットで撮像することができる。

一方、ステップＳ３３６において、サイズ比がバストショットとなる理想サイズ比より大きくないと判定された場合、処理はステップＳ３４１に進み、サイズ比判定部５５４は、サイズ比がフルショットとなる理想サイズ比より大きいか否かを判定する。具体的には、サイズ比算出部５５３からのサイズ比Fh/Hhが、フルショットとなる理想サイズ比Fah/Hahより大きいか否かが判定される。

ステップＳ３４１において、サイズ比がフルショットとなる理想サイズ比より大きいと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP4乃至LP2の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３４２に進む。

ステップＳ３４２乃至Ｓ３４４の処理は、上述したステップＳ３３２乃至Ｓ３３４およびステップＳ３３７乃至Ｓ３３９の処理と同様にして行われるので、その説明は省略する。

そして、ステップＳ３４５において、サイズ比判定部５５４は、被写体がフルショットになったか、すなわち、サイズ比算出部５５３からのサイズ比Fh/Hhが、フルショットとなる理想サイズ比Fah/Hahと同一または略同一であるか否かを判定する。

ステップＳ３４５において、被写体がフルショットになっていないと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がまだレンズ位置LP4乃至LP2の間にあるので、サイズ比判定部５５４は、ズームレンズの広角側への駆動を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３４２に戻る。以降、１フレーム毎にステップＳ３４２乃至Ｓ３４４の処理が繰り返される。

そして、ステップＳ３４５において、被写体がフルショットになったと判定された場合、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP2乃至LP1になったので、サイズ比判定部５５４は、ズームレンズの駆動の停止を指示する旨の情報を、レンズ駆動制御部５５６に供給し、処理はステップＳ３２０に進む。ステップＳ３２０においては、上述したように、ズームレンズの駆動が停止する。

これにより、ユーザは、バストショットで被写体を撮像している場合であっても、広角側のズーム操作をするだけで、適切なフルショットで撮像することができる。

一方、ステップＳ３４１において、サイズ比がフルショットとなる理想サイズ比より大きくないと判定された場合、すなわち、図２７のズームレンズの駆動範囲において、ズームレンズのレンズ位置がレンズ位置LP1より広角側にある場合には、何も処理されない。この場合、被写体は、フルショットかまたはそれより遠い（引いた）ショットで撮像されているので、広角側のズーム操作がされても、これ以上ズームアウトする必要はない。

以上の処理によれば、ズーム操作がされたときに、ズーム操作の内容に応じて、被写体領域と顔領域とのサイズ比が、予め決められた理想サイズ比に近づくように、ズームレンズの駆動が制御される。結果として、被写体（人物）のショットにかかわらず、ズーム操作の内容に応じて、被写体が、フルショット、バストショット、アップショット等の適切なショットになるように撮像範囲を調整することができる。すなわち、微妙なズーム操作を行うことなく、撮像範囲における被写体の大きさを、所望の大きさにすることが可能となる。

また、上述した指定ズーム処理において、サイズ比を、被写体領域および顔領域の高さまたは幅により算出するようにしたが、図２７の画像ａ乃至ｃに示されるように、それぞれの領域の高さを用いた方が、サイズ比として値の変化が大きく表れるので、被写体が人物である場合には、理想サイズ比との比較・判定において有効である。

なお、上述した指定ズーム処理においては、被写体としての人物とその被写体の一部である顔の大きさの比によって撮像範囲を調整するようにしたが、被写体全体とその一部をそれぞれ検出することができるような被写体であれば、本発明を適用することができる。例えば、顔を検出する顔検出器と、目や鼻などの顔のパーツを検出する顔パーツ検出器を備えることにより、撮像範囲における顔の大きさを所望の大きさにするように、撮像範囲を調整することが可能となる。

また、上述した指定ズーム処理を、図１６および図１７で説明した自動ズーム調整処理において、ユーザによるズーム操作がされたときに実行するようにしてもよい。

［画像処理装置のさらに他の構成例］
ここで、図２８を参照して、自動ズーム調整処理において、ユーザによるズーム操作がされたときに指定ズーム処理を実行する画像処理装置の構成例について説明する。

なお、図２８の画像処理装置６１１において、図２２の画像処理装置５１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２８の画像処理装置６１１において、図２２の画像処理装置５１１と異なるのは、制御部５３２に代えて、制御部６３１を設けた点である。

［制御部の機能構成例］
ここで、図２９を参照して、図２８の制御部６３１の機能構成例について説明する。

なお、図２９の制御部６３１において、図１５の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２９の制御部６３１において、図１５の制御部３５と異なるのは、サイズ比算出部５５３、サイズ比判定部５５４、および理想サイズ比記憶部５５５を新たに設け、座標情報取得部３１１、操作判定部３１３、およびレンズ駆動制御部３１６に代えて、座標情報取得部６５１、操作判定部６５２、およびレンズ駆動制御部６５３を設けた点である。

また、図２９の制御部６３１において、サイズ比算出部５５３、サイズ比判定部５５４、および理想サイズ比記憶部５５５は、図２３の制御部５３２に設けられたものと同様であるので、その説明は省略するものとする。

そして、図２９の制御部６３１において、座標情報取得部６５１は、図１５の座標情報取得部３１１と同様の機能を備える他、図２３の座標情報取得部５５２と同様の機能をさらに備える。

操作判定部６５２は、図１５の操作判定部３１３と同様の機能を備える他、図２３の操作判定部５５１と同様の機能をさらに備える。

レンズ駆動制御部６５３は、図１５のレンズ駆動制御部３１６と同様の機能を備える他、図２３のレンズ駆動制御部５５６と同様の機能をさらに備える。

［自動ズーム調整処理］
次に、図３０および図３１のフローチャートを参照して、図２９の制御部６３１による自動ズーム調整処理について説明する。

なお、図３０，３１のフローチャートのステップＳ４１１乃至Ｓ４１５，Ｓ４１７乃至Ｓ４３０の処理は、図１６，１７のフローチャートのステップＳ１１１乃至Ｓ１１５，Ｓ１１７乃至Ｓ１３０の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ４１６において、制御部６３１は、指定ズーム処理を実行する。

［指定ズーム処理］
次に、図３２および図３３のフローチャートを参照して、図２９の制御部６３１による指定ズーム処理について説明する。

ステップＳ５１１において、座標情報取得部６５１は、操作判定部６５２から、ユーザによりズーム操作がされた旨の情報が供給されると、所定のフレームについての顔検出部５３１からの顔領域の座標情報を取得し、サイズ比算出部５５３に供給する。つまり、被写体追尾部５５からの被写体領域の座標情報は、図３０のフローチャートのステップＳ４１１において取得されているので、座標情報取得部６５１は、顔領域の座標情報のみを取得する。

なお、フローチャートのステップＳ５１２以降の処理は、図２５，２６のフローチャートのステップＳ３１３以降の処理と基本的に同様であるので、その説明は省略する。

また、指定ズーム処理は、サイズ比が理想サイズ比と略同一になるまで、複数フレームに亘って実行される。図３０，３１で示される自動ズーム調整処理は、基本的には１フレーム毎に実行されるが、ステップＳ４１６においては、複数フレームに亘って指定ズーム処理が実行され、自動ズーム調整処理に戻るようになる。

以上の処理によれば、被写体領域のサイズが目標サイズより大きい場合には、ズームアウトするように、広角側にズームレンズを駆動させ、被写体領域のサイズが目標サイズより小さい場合には、ズームインするように、望遠側にズームレンズを駆動させることができる。したがって、撮像時に、被写体との距離が変化する場合でも、微妙なズーム操作を行うことなく、撮像範囲における被写体の大きさを略一定に保つことが可能となる。

また、ユーザによってズーム操作された場合には、ズーム操作の内容に応じて、被写体領域と顔領域とのサイズ比が、予め決められた理想サイズ比に近づくように、ズームレンズの駆動が制御される。結果として、被写体としての人物のショットにかかわらず、ズーム操作の内容に応じて、被写体が、フルショット、バストショット、アップショット等の適切なショットになるように撮像範囲を調整することができる。すなわち、微妙なズーム操作を行うことなく、撮像範囲における被写体の大きさを、所望の大きさにすることが可能となる。

そして、ユーザによるズーム操作が終了した後には、所望の大きさとなった被写体領域のサイズが目標サイズとして更新されるので、被写体との距離が変化する場合でも、撮像範囲における被写体の大きさを、所望の大きさ（ショット）で略一定に保つことができる。

以上のようにして、被写体を所望の撮像範囲でより簡単に撮像することが可能となる。

なお、以上においては、画像処理装置に、被写体領域を検出・追尾する被写体追尾部５５を備えるようにしたが、フレーム毎に被写体を検出することができれば、他の被写体検出部を備えるようにしてもよい。

また、上述した自動ズーム調整処理においては、ズームレンズの駆動を制御することで、いわゆる光学ズームを調整するようにしたが、画像処理によって画像の拡大することで、いわゆる電子ズームを調整するようにしてもよい。

［制御部のさらに他の機能構成例］
ここで、図３４を参照して、電子ズームを調整するようにした画像処理装置の制御部の機能構成例について説明する。

なお、図３４の制御部６３１において、図２９の制御部６３１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３４の制御部６３１において、図２９の制御部６３１と異なるのは、レンズ駆動制御部６５３に代えて、倍率制御部７３１を設けた点である。

倍率制御部７３１は、レンズ駆動制御部６５３および電子ズーム制御部７５１を備えている。

レンズ駆動制御部６５３は、図２９の制御部６３１に設けられたものと同様の機能を有するので、その説明は省略する。

電子ズーム制御部７５１は、操作判定部３１３からの判定の結果を表す情報や、比較部３１５からの比較の結果を表す情報に基づいて、解像度変換部５４を制御し、画像データにより表示部３４に表示される入力画像（撮像画像）の倍率を変化させる。また、電子ズーム制御部７５１は、サイズ比判定部５５４からの、比較の結果を表す情報に基づいて、解像度変換部５４を制御し、画像データにより表示部３４に表示される入力画像の倍率を変化させる。

図３４の制御部６３１においても、図２９の制御部６３１と同様の作用効果を奏することができる。なお、図３４の制御部６３１による自動ズーム調整処理については、図３０乃至３３のフローチャートを参照して説明した、図２９の制御部６３１の処理と基本的に同様であるので、その説明は省略する。特に、レンズ駆動制御部６５３の制御により、ズームレンズのレンズ位置が望遠端になった場合でも、電子ズーム制御部７５１の制御により、さらに望遠側に画像を拡大することができるので、撮像範囲の調整の幅を広げることが可能となる。

なお、以上においては、本発明を適用した画像処理装置は、動きのある被写体を撮像するデジタルビデオカメラやデジタルスチルカメラなどの撮像装置に備えられるものとして説明してきたが、撮像装置に限らず、所定の情報処理装置から入力されてきた動画像を、表示装置等の出力装置に出力する画像処理装置に適用することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ３４ 表示部， ３５ 制御部， ５５ 被写体追尾部， ７１ 被写体マップ生成部， ７２ 被写体候補領域矩形化部， ７３ 被写体領域選択部， ７４ 重み係数算出部， １１１ 特徴量マップ生成部， １１２ 帯域特徴量マップ生成部， １１３ 帯域特徴量マップ合成部， １１４ 合成特徴量マップ合成部， １３１ ２値化処理部， １３２ ラベリング処理部， １３３ 矩形領域座標算出部， １３４ 領域情報算出部， １５１ 領域情報比較部， １５２ 被写体領域決定部， ２００ 入力画像， ２０１ 被写体マップ， ２２１，２２２ 矩形領域， ２３１ 被写体枠， ３１１ 座標情報取得部， ３１２ 目標サイズ設定部， ３１３ 操作判定部， ３１４ 位置検出部， ３１５ 比較部， ３１６ レンズ駆動制御部， ５１１ 画像処理装置， ５３１ 顔検出部， ５３２ 制御部， ５５１ 操作判定部， ５５２ 座標情報取得部， ５５３ サイズ比算出部， ５５４ サイズ比判定部， ５５５ 理想サイズ比記憶部， ５５６ レンズ駆動制御部， ６３１ 制御部， ６５１ 座標情報取得部， ６５２ 操作判定部， ６５３ レンズ駆動制御部， ７３１ 倍率制御部， ７５１ 電子ズーム制御部

Claims (11)

1. 被写体を撮像する撮像手段と、
   前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出手段と、
   ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御手段と
   を備える画像処理装置。
2. 前記所定値を予め記憶する記憶手段と、
   前記算出手段によって算出された前記比が、前記記憶手段によって記憶されている前記所定値と同一または略同一であるか否かを、フレーム毎に判定する判定手段とをさらに備え、
   前記倍率制御手段は、前記判定手段によって、前記比が、前記所定値と同一または略同一であると判定されるまで、前記ズーム倍率を制御する
   請求項１に記載の画像処理装置。
3. 前記算出手段は、前記撮像手段によって撮像された撮像画像において、注目する前記被写体としての人物の領域である人物領域と、前記人物領域に含まれる、前記人物の顔の領域である顔領域との比を算出する
   請求項１に記載の画像処理装置。
4. 前記倍率制御手段は、前記ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が前記所定値と同一または略同一になるように、ズームレンズの駆動を制御する
   請求項１に記載の画像処理装置。
5. 前記倍率制御手段は、前記ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が前記所定値と同一または略同一になるように、前記撮像画像の電子的な拡大を制御する
   請求項１に記載の画像処理装置。
6. 前記撮像画像において、前記注目領域のサイズと、予め設定された目標サイズとを比較する比較手段をさらに備え、
   前記倍率制御手段は、前記ユーザによってズーム操作がされていない場合、前記比較手段によって比較された前記注目領域のサイズと前記目標サイズとの差が、所定の閾値より小さくなるように、前記撮像画像のズーム倍率を制御する
   請求項１に記載の画像処理装置。
7. 前記倍率制御手段は、前記注目領域のサイズと前記目標サイズとの差が、前記所定の閾値より小さくなるように前記撮像画像のズーム倍率を制御している間に、前記ユーザによってズーム操作がされたとき、前記ズーム操作に応じて前記撮像画像のズーム倍率を制御し、
   前記ユーザによってズーム操作がされた後の前記注目領域のサイズを、前記目標サイズに設定する設定手段をさらに備える
   請求項６に記載の画像処理装置。
8. 前記撮像画像における前記注目領域の位置を検出する検出手段をさらに備え、
   前記倍率制御手段は、前記検出手段によって、前記注目領域の位置が、前記撮像画像の外端領域にあることが検出された場合、広角側へ前記撮像画像のズーム倍率を制御する
   請求項６に記載の画像処理装置。
9. 前記倍率制御手段の制御によって、前記撮像画像のズーム倍率が広角端になった場合、前記被写体が、前記撮像画像から外れる旨を提示する提示手段をさらに備える
   請求項８に記載の画像処理装置。
10. 被写体を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出手段と、
    ユーザによるズーム操作に応じて、前記算出手段によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御手段と
    を備える画像処理装置の画像処理方法において、
    前記算出手段が、前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出ステップと、
    前記倍率制御手段が、ユーザによるズーム操作に応じて、前記算出ステップの処理によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御ステップと
    を含む画像処理方法。
11. 被写体を撮像する撮像手段を備える画像処理装置の画像処理をコンピュータに実行させるプログラムにおいて、
    前記撮像手段によって撮像された撮像画像において、注目する前記被写体の領域である注目領域のサイズと、前記注目領域に含まれる、前記被写体の領域の一部分である部分領域のサイズとの比を算出する算出ステップと、
    ユーザによるズーム操作に応じて、前記算出ステップの処理によって算出された前記比が所定値と同一または略同一になるように、前記撮像画像のズーム倍率を制御する倍率制御ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images