JP7384200B2 - 構図制御装置、構図制御方法、プログラム - Google Patents

Description

本技術は構図制御装置、構図制御方法、及びプログラムに関し、特には目標とする構図を指定する際の操作受け付けに係る技術に関する。

例えば電動ジンバル等、撮像方向を変化させるように撮像装置を駆動可能な雲台装置が知られている。そして、この種の雲台装置を用いて、被写体追尾を行うことが可能とされている。具体的には、対象とする被写体が撮像画像内の中心位置等の所定位置に位置するように、雲台装置の制御（雲台装置に内蔵されるアクチュエータの駆動制御）を行うものである。

下記特許文献１には、雲台装置を用いた被写体追尾の技術が開示されている。具体的に、特許文献１では、先ず、雲台装置をパン、チルト動作させる操作をユーザに実行させて、追尾対象とする被写体を画面内の所望位置に配置させる。すなわち、追尾時の目標とする構図への調整が、ユーザのパン、チルト操作に基づき行われる。そして、このように構図の調整が行われた後、ユーザにより操作ボタン１０が操作されると、調整された構図が維持されるように、対象とする被写体の追尾動作が開始される。
また、特許文献１では、上記のようなパン、チルト操作で調整した構図を、追尾時における目標構図として登録可能とされている。登録された構図の情報（具体的には、追尾被写体Ｓについての追尾対象枠の中心座標Ｍｐ及び大きさＦｔの情報）は、ショットボタン１６に対応づけられており、ショットボタン１６が操作されると、登録した構図を維持するように被写体の追尾動作が開始される。

特開２０１３－２４７５０８号公報

上記した特許文献１に記載の技術では、目標とする構図への調整はユーザによる雲台装置のパン、チルト操作に基づき行われるため、被写体が動くシチュエーションでは、意図した構図に調整することが困難となる。また、ショットボタン１６を用いて事前登録した構図に切り替える場合であっても、事前にパン、チルト操作により構図の調整を行っておくことに変わりはなく、目標構図に調整するための操作が困難となる。

本技術は上記事情に鑑み為されたものであり、構図調整に係る操作について操作性向上を図ることを目的とする。

本技術に係る構図制御装置は、撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御部を備えるものである。
構図指定操作情報は、撮像画像を表示する画面上における指定位置の情報を含む。このため、撮像画像を表示する画面上での位置を指定するという直感的な操作に基づき、目標とする構図への調整が行われる。具体的に、上記構成では、画面上の指定位置に対応する被写体情報に基づいて撮像装置の構図が調整される。被写体情報とは、撮像画像内の被写体に関する情報であり、少なくとも、検出被写体の有無を表す情報とされる。このため、構図の調整は、画面上の検出被写体の位置を指定する操作等、直感的な操作に基づき行われる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御する構成とすることが可能である。
これにより、追尾対象とする被写体の指定操作は、画面内の検出被写体を指定する操作とされる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記被写体情報が、前記検出被写体を示さない場合は、前記指定位置の被写体を追尾するための制御を行わない構成とすることが可能である。
これにより、例えば検出被写体の背景部分等、ユーザが追尾を望んでいないと推定される被写体が指定された場合には、指定位置の被写体の追尾が行われない。

上記した本技術に係る構図制御装置においては、前記構図指定操作情報は、前記画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、前記制御部は、前記方向指定操作情報に基づき前記撮像範囲を制御する構成とすることが可能である。
この方向指定操作により、位置の指定操作で指定された被写体の画面内での位置の変更方向など、構図調整に係る方向の指定が可能とされる。

上記した本技術に係る構図制御装置においては、前記構図指定操作情報は、前記画面のタッチ操作により検出され、前記指定位置は、前記画面のタッチ開始位置である構成とすることが可能である。
これにより、追尾対象とする被写体の指定操作は、画面上で被写体をタッチするという簡易な操作とすることが可能とされる。

上記した本技術に係る構図制御装置においては、前記方向指定操作情報は前記画面をなぞる操作により検出される構成とすることが可能である。
これにより、構図調整に係る方向の指定操作が、画面上において構図を変更したい方向に指をスライドさせるという直感的な操作で実現可能となる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行う構成とすることが可能である。
これにより、雲台装置により撮像装置の撮像方向を変えることによる構図調整を行うことが可能とされる。

上記した本技術に係る構図制御装置においては、前記雲台装置は、前記撮像装置のパン又はチルト方向における向きを調整可能に構成され、前記パン又はチルト方向を指定する前記構図指定操作情報が前記画面を直線状になぞる操作により検出される構成とすることが可能である。
これにより、パン又はチルト方向の指定操作は、パン又はチルト方向に沿って直線的に指をスライドさせるという直感的な操作で実現される。

上記した本技術に係る構図制御装置においては、前記雲台装置は、前記撮像装置のロール方向における向きを調整可能に構成され、前記ロール方向を指定する前記構図指定操作情報が前記画面を円弧状になぞる操作とされた構成とすることが可能である。
これにより、ロール方向の指定操作は、ロール方向に沿った円弧状に指をスライドさせるという直感的な操作で実現される。

上記した本技術に係る構図制御装置においては、前記制御部は、前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合には、前記方向指定操作により指定された方向とは逆方向に前記撮像装置の向きを変化させ、前記被写体情報が前記検出被写体を示さない場合には、前記方向指定操作により指定された方向に前記撮像装置の向きを変化させるように前記雲台装置を制御する構成とすることが可能である。
位置指定操作が検出被写体の指定操作であった場合、ユーザは、その後の方向指定操作によって検出被写体の画面内における位置を変更することを望んでいると推定できるため、該方向指定操作により指定された方向とは逆方向に撮像装置の向きを変化させる。一方、位置指定操作が検出被写体以外の位置の指定操作であった場合、ユーザは、その後の方向指定操作によって撮像方向の変化方向を直接的に指定していると推定できるため、該方向指定操作により指定された方向に撮像装置の向きを変化させる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、前記被写体情報が前記検出被写体を示す場合は、前記追尾に係るパラメータとして、前記検出被写体の種類に応じたパラメータを用いて前記雲台装置を制御する構成とすることが可能である。
これにより、指定された被写体が動きの速い種類の被写体である場合には追従性を高めたパラメータによる追尾制御を行い、動きの遅い種類の被写体である場合には追従性を低くしたパラメータによる追尾制御を行う等、指定された被写体に応じたパラメータによる追尾制御を行うことが可能とされる。

上記した本技術に係る構図制御装置においては、前記雲台装置は、前記撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、前記制御部は、前記雲台装置のパン方向の制御、チルト方向の制御それぞれについて、前記検出被写体の種類に応じた前記パラメータを用いる構成とすることが可能である。
これにより、指定された被写体の種類に応じてパン方向、チルト方向の追尾特性を個別に設定可能となる。例えば、被写体が鳥の場合、パン、チルト方向の双方で追尾応答性を高め、被写体が犬の場合はパン方向の追尾応答性は高めるがチルト方向の追尾応答性は低くするといったことが可能とされる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記検出被写体の種類に応じて、パン方向及びチルト方向の追尾応答性が高い前記パラメータを用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低い前記パラメータを用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高い前記パラメータを用いる第三追尾モードの何れかのモードによる追尾制御を行う構成とすることが可能である。
これにより、指定された被写体の種類に応じて、追尾応答性を高める必要のない方向について過剰に応答性を高めた追尾が行われてしまうことの防止が図られる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記検出被写体の種類に応じた前記パラメータを用いた前記雲台装置の制御を開始した後、該検出被写体の位置と追尾の目標位置との誤差に基づいて前記パラメータの調整を行う構成とすることが可能である。
指定された被写体の位置と追尾の目標位置との誤差の大きさにより、設定したパラメータが実際の被写体の動きに適しているか否かを判定可能となる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記被写体情報が、前記画面内における人物として検出された検出被写体を示す場合において、前記検出被写体について検出された人体の簡易モデル情報に基づき前記撮像範囲の制御を行う構成とする可能である。
人体の簡易モデル情報とは、人体における眼、耳、鼻、口、首、肩、肘、手首、尻、膝、足首等、人体を構成する複数部位の配置状態を表す情報である。上記構成によれば、構図変更のための撮像範囲の制御は、雲台の駆動方向や駆動量を直接指示する操作や焦点距離の調整操作に基づかず、上記の簡易モデル情報から推定される例えば被写体の各部位の位置や姿勢に基づいて行うことが可能とされる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記簡易モデル情報から推定される前記検出被写体の向きの情報に基づき、該検出被写体の正面方向側に画角中心が位置するように前記撮像範囲を制御する構成とすることが可能である。
これにより、指定された被写体の正面側に空間が確保された自然な構図に調整することが可能とされる。

上記した本技術に係る構図制御装置においては、前記構図指定操作情報は、前記画面のタッチ操作により検出され、前記指定位置は、前記画面のタッチ開始位置であり、前記制御部は、前記指定位置の検出後の前記画面上における操作に基づいて、前記簡易モデル情報に基づく前記撮像範囲の制御を行う構成とすることが可能である。
これにより、例えば被写体の全身が映る構図、半身のみが映る構図への調整等、簡易モデル情報に基づく構図調整は、画面上のタッチ操作により対象とする被写体を指定した上で、画面上における操作を行うという簡易な操作により実現可能とされる。

上記した本技術に係る構図制御装置においては、前記制御部は、前記画面上に撮像画像が表示される前記撮像装置とは別途の撮像装置による撮像画像について行われた画像認識処理の結果に基づき、前記撮像範囲の制御を行う構成とすることが可能である。
これにより、画像認識処理に用いる撮像画像については、ユーザによる作画意図に応じたカメラ設定での撮像画像ではなく、画像認識処理に適したカメラ設定での撮像画像を用いることが可能とされる。

また、本技術に係る構図制御方法は、撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する構図制御方法である。
このような構図制御方法によっても、上記した本技術に係る構図制御装置と同様の作用が得られる。

また、本技術に係るプログラムは、撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する機能を、情報処理装置に実現させるプログラムである。
このようなプログラムにより、上記した本技術に係る構図制御装置が実現される。

本技術に係る第一実施形態としての構図制御装置を備えた撮像システムの外観構成例についての説明図である。 実施形態における雲台装置の内部構成例を示したブロック図である。 第一実施形態としての構図制御装置の内部構成例を示したブロック図である。 検出被写体が指定された場合の構図調整について説明するための図である。 図４と共に、検出被写体が指定された場合の構図調整について説明するための図である。 実施形態における被写体の追尾制御処理について説明するための図である。 検出被写体以外の被写体が指定された場合の構図調整について説明するための図である。 図７と共に、検出被写体以外の被写体が指定された場合の構図調整について説明するための図である。 画角の変更操作について説明するための図である。 図９と共に、画角の変更操作について説明するための図である。 ダブルタップ操作に応じた構図調整について説明するための図である。 図１１と共に、ダブルタップ操作に応じた構図調整について説明するための図である。 第一実施形態としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。 実施形態における通常駆動モード処理のフローチャートである。 実施形態における被写体追尾モード処理のフローチャートである。 第二実施形態としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。 被写体種類に応じたパラメータ設定処理の例を示したフローチャートである。 パラメータ設定処理において対象とする被写体の種類の例を説明するための図である。 パラメータ調整のための処理の例を示したフローチャートである。 人体の簡易モデル情報についての説明図である。 簡易モデル情報に基づき切り替えを行う構図の例を示した図である。 図２１に示す各構図に対応した撮像画像の例を示した図である。 第三実施形態における第一例としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。 図２３に示すステップＳ５０１の処理内容を示したフローチャートである。 第三実施形態における第二例としての構図調整手法を説明するための図である。 図２５と共に、第三実施形態における第二例としての構図調整手法を説明するための図である。 第三実施形態における第二例としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。 変形例としての撮像システムの構成を例示した図である。 変形例における各撮像装置の内部構成例を示したブロック図である。 ロール方向の駆動が可能な雲台装置を例示した図である。 撮像装置のロール方向における向きを変化させる変形例について説明するための図である。 図３１と共に、撮像装置のロール方向における向きを変化させる変形例について説明するための図である。

以下、実施の形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．装置構成例］
［1-2．構図調整について］
［1-3．処理手順］
＜２．第二実施形態＞
＜３．第三実施形態＞
［3-1．第一例］
［3-2．第二例］
＜４．変形例＞
＜５．実施形態のまとめ＞
＜６．本技術＞

＜１．第一実施形態＞
［1-1．装置構成例］

図１は、本技術に係る第一実施形態としての構図制御装置（撮像装置１）を備えた撮像システムの外観構成例についての説明図である。
本実施形態の撮像システムは、撮像装置１と雲台装置５０とを備えて構成される。撮像システムにおいては、撮像装置１が雲台装置５０に搭載された状態で、雲台装置５０の回転動作により撮像装置１の撮像方向が変化される。特に、雲台装置５０は後述するアクチュエータを備えており、該アクチュエータが駆動制御されることで、追尾対象とする被写体に対して自動追尾が行われる。

なお「撮像方向」とは、撮像装置１が撮像する向きに相当する方向であり、撮像装置１が有する撮像光学系の光軸線における正面方向（被写体側を示す方向）のことを言う。撮像方向は、図１のようなシステムの場合、雲台装置５０の回転角度によって変化されるため、雲台装置５０の回転角度によって撮像方向が一意に定まることになる。

図１Ａは、雲台装置５０に撮像装置１を搭載（装着）した状態を示し、また図１Ｂは雲台装置５０のみを示している。
雲台装置５０には、図中矢印Ｄ１で表すパン方向（ヨー方向とも換言できる）の回転のための回転軸部５１と、矢印Ｄ２で表すチルト方向（ピッチ方向とも換言できる）の回転のための回転軸部５２とが設けられると共に、基台部５３と装着部５４とアーム部５５とが設けられている。

装着部５４は、例えばＬ字部材とされ、底部上面には撮像装置１の底部に形成された図示しない機構に対応するジョイント機構５４ａが設けられており、これによって図１Ａのように撮像装置１を固定できるようにされている。
装着部５４は、回転軸部５２を介してアーム部５５に取り付けられており、これによって装着部５４はアーム部５５に対してチルト方向に回転可能とされている。

アーム部５５は、例えばＬ字部材とされ、回転軸部５１側で基台部５３に取り付けられている。これによりアーム部５５（及びアーム部５５に連結する装着部５４）はパン方向に回転可能とされている。

例えばこのような雲台装置５０を用いることで、撮像装置１の撮像方向をパン方向及びチルト方向に変位させることができる。これにより、撮像装置１による撮像画像の構図を変更することが可能とされる。
ここで、雲台装置５０により撮像装置１の撮像方向を変えることは、撮像装置１の撮像範囲を変えることの一種である。

図１Ａに示す撮像システムは、例えば、雲台装置５０の基台部５３に不図示のハンドル部が装着されて、該ハンドル部を撮像者としてのユーザが手に持って使用することが想定される。或いは、基台部５３が三脚等の台座に装着されて、ユーザが雲台装置５０を手に持たずに使用するということも想定される。

図２は、雲台装置５０の内部構成例を示したブロック図である。
雲台装置５０は、アクチュエータ５６と駆動制御部５７と通信部５８とを備えている。
アクチュエータ５６としては、本例では回動軸部５１を回転駆動するパン方向アクチュエータ（例えば、モータ）と、回動軸部５２を回転駆動するチルト方向アクチュエータ（例えば、モータ）とが設けられている。

駆動制御部５７は、アクチュエータ５６の駆動回路や駆動回路を制御する制御回路等を有して構成され、アクチュエータ５６の駆動制御を行う。特に、本例の駆動制御部５７は、通信部５８を介して入力される情報に従ってアクチュエータ５６の駆動制御を行う。

通信部５８は、所定の通信フォーマットに従って外部装置との間でデータ通信を行う。特に、本例の通信部５８は、撮像装置１が備える後述する通信部１１が対応する通信フォーマットに従ったデータ通信を行う。

図３は、撮像装置１の内部構成例を示したブロック図である。
撮像装置１は、デジタルカメラ装置として構成され、被写体の撮像を行い、動画や静止画としての画像データを記録媒体に記録したり、外部装置に送信したりすることができる。
図示のように撮像装置１は、レンズ系２、撮像部３、カメラ信号処理部４、画像認識処理部５、記録制御部６、ドライバ部７、制御部８、操作部９、表示部１０、通信部１１、バス１２を備えている。バス１２には、カメラ信号処理部４、画像認識処理部５、記録制御部６、制御部８、表示部１０、及び通信部１１が接続されており、これら各部はバス１２を介して互いにデータ通信可能とされている。

レンズ系２は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系２により、被写体からの光（入射光）が導かれ撮像部３における撮像素子の撮像面に集光される。

撮像部３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などの撮像素子を有して構成される。
この撮像部３では、撮像素子で受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号を、後段のカメラ信号処理部４に出力する。

カメラ信号処理部４は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。カメラ信号処理部４は、撮像部３からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えば、前処理、同時化処理、ＹＣ生成処理、解像度変換処理等を行う。

画像認識処理部５は、カメラ信号処理部４を介して入力される撮像画像信号に対する画像解析を行い、画像内容の認識処理を行う。特に本実施形態の場合、画像認識処理部５は、撮像画像信号のフレーム内で被写体の検出や顔検出、及び検出した被写体の種類の認識処理を行う。被写体の認識処理で認識する被写体の種類としては 例えば人、動物（犬、猫、鳥等）、自動車、飛行機、電車などが挙げられる。
本例において、画像認識処理部５は、被写体の検出処理において、被写体の「位置」と「範囲」の特定を行う。ここで、被写体の「位置」としては、被写体の注目位置を特定する。ここで、注目位置は、対象とする被写体について定められた注目されるべき位置を意味し、例えば人としての被写体であれば、全身における中心（上下左右方向の中心）又は重心、顔の中心等を挙げることができる。或いは、被写体が電車や自動車であれば、それらの進行方向における先端部や運転席位置等を挙げることができる。
本例では、注目位置は被写体の種類に応じて予め定められており、画像認識処理部５は被写体の種類に応じて被写体の注目位置を特定する。
なお、注目位置は、ユーザ操作に応じて被写体の種類ごとに予め定めておくことも考えられる。

画像認識処理部５は、制御部８からの求めに応じて、被写体検出処理で検出した被写体に係る情報（以下「被写体情報Ｉｓ」と表記する）を制御部８に出力する。具体的に、画像認識処理部５は、被写体を検出した場合に、被写体情報Ｉｓとして該被写体の位置（後述する被写体位置Ｐｓ）と範囲を表す情報を出力する。また画像認識処理部５は、検出した被写体の種類を認識した場合には、被写体情報Ｉｓとして該被写体の位置と範囲の情報と共に種類を表す情報を出力する。

記録制御部６は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部６は、例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部６の実際の形態は多様に考えられる。例えば記録制御部６は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

ドライバ部７には、レンズ系２におけるズームレンズ、フォーカスレンズ、絞り機構のそれぞれを駆動するための各モータに対応したドライバ等が設けられている。
これらのドライバは、制御部８からの指示に応じて駆動電流を対応するモータに供給し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させる。

制御部８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ（演算処理装置）を有して構成される。上記のＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。ＲＯＭは、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
制御部８は、上記ＲＯＭ等に記憶されたプログラムを実行することで、撮像装置１の全体制御を行う。例えば、制御部８は、撮像部３のシャッタスピードの制御、カメラ信号処理部４における各種信号処理の指示、操作部９を用いたユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、絞り調整等のレンズ系２の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
また、制御部８は、上記ＲＯＭ等に記憶されたプログラムを実行することで、通信部１１を介した雲台装置５０への指示を行って、雲台装置５０のパン・チルト動作の制御を行う。すなわち、パン、チルト方向における撮像方向の調整動作を制御する。

さらに、本例の制御部８は、画像認識処理部５による被写体の検出情報に基づき、対象とする被写体を追尾するための雲台装置５０の制御を行う。
ここでの「追尾」とは、対象とする被写体の位置を、撮像画像内における所定の目標位置に一致させ続けるようにすることを意味する。
なお、制御部８が行う被写体追尾のための制御の具体例については後述する。

操作部９は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。操作部９が有する操作子としては、例えば撮像装置１の筐体に設けられた各種のボタン、ダイヤル等の操作子を挙げることができる。また、操作部９には、表示部１０の画面上に対するタッチ操作を検出するタッチパネル９ａが設けられる。
操作部９は、ユーザによる操作を検知し、検知した操作に応じた信号を制御部８に出力する。

表示部１０は、撮像者としてのユーザに対して各種の情報表示を行う。表示部１０は、例えば撮像装置１の筐体に配置される液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされる。
表示部１０は、制御部８の指示に基づいて画面上に各種情報の表示を行う。例えば、表示部１０は、記録制御部６において記録媒体から読み出された画像データの再生画像を表示させる。
また、表示部１０にはカメラ信号処理部４で表示用に解像度変換された撮像画像の画像データが供給され、表示部１０は制御部８の指示に応じて、当該撮像画像の画像データについての表示を行う。これにより、構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が画面上に表示される。
また表示部１０は制御部８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、ＧＵＩ（Graphical User Interface）としての表示を画面上に行う。
ここで、以下、表示部１０の表示画面のことを「画面１０ａ」と表記する。

通信部１１は、所定の通信フォーマットに従って外部装置との間でデータ通信を行う。特に、本例の通信部１１は、雲台装置５０における通信部５８との間でデータ通信を行うことが可能とされる。ここで、雲台装置５０における通信部５８と通信部１１との間のデータ通信は、例えばＵＳＢ等の有線通信であってもよいし、ブルートゥース（Bluetooth：登録商標）等の無線通信であってもよい。

［1-2．構図調整について］

以下、図４から図１２を参照し、実施形態としての構図調整手法について説明する。
先ず、本実施形態では、雲台装置５０により構図が調整される撮像装置１の撮像画像を表示する画面１０ａ上における操作により、目標とする構図の指定が行われる。具体的に、本実施形態の撮像装置１は、撮像画像を表示する画面１０ａ上における位置の指定操作を目標とする構図の指定操作として受け付け、該目標とする構図に調整されるように雲台装置５０を制御する。より具体的に、本例では、上記のような画面１０ａ上における位置の指定操作を、構図の指定操作として受け付ける。つまりこの場合、該構図の指定操作から取得される構図の指定操作情報（構図指定操作情報）には、画面１０ａ上における指定位置の情報が含まれる。そして、本例の構図調整手法においては、このような構図指定操作情報による指定位置に対応した被写体情報に基づいて、撮像装置の構図を調整する。被写体情報とは、撮像画像内の被写体に関する情報であり、少なくとも、検出被写体の有無を表す情報を含む。このような被写体情報に基づいた構図調整を行うことで、少なくとも検出被写体の有無に応じた構図調整を行うことができる。
ここで、本例において、目標とする構図とは、被写体の追尾を行う際に目標とする構図を意味する。すなわち、ここでの構図とは、追尾対象とする被写体を撮像画像内のどの位置に配置するかという要素を少なくとも含む。

具体的な構図調整手法を図４及び図５を参照して説明する。
図４に示すように、表示部１０の画面１０ａ上に、被写体Ｓ１及び被写体Ｓ２としての二つの検出被写体が捉えられた撮像画像が表示されているとする。なお、このとき、検出被写体の追尾は未だ行われていないとする。
本例では、このように画面１０ａ上に検出被写体が表示されている状態において、検出被写体をタッチする操作（図４の例では被写体Ｓ２をタッチする操作）が行われたことに応じ、タッチされた検出被写体の追尾が開始される。具体的には、タッチされた検出被写体の位置が、タッチされたときの該検出被写体の位置のまま維持されるように、雲台装置５０のパン・チルト動作を制御する処理が開始される。
ここで、タッチ操作により検出被写体が指定された状態は、換言すれば、タッチ操作による指定位置に対応する被写体情報が検出被写体を示す状態であると言うことができる。

ここで、図６を参照し、本例における被写体の追尾制御処理について説明しておく。
本例では、被写体を追尾するための雲台装置５０の制御にＰＩＤ（Proportional Integral Differential）制御を採用している。具体的には、図６Ａに示すように追尾の対象とする被写体の位置Ｐｓと、追尾の目標位置Ｐｔとの誤差ｄ（位置誤差ｄ）を算出し、この誤差ｄに基づいて雲台装置５０の制御値Ｃを

Ｃ＝Ｐ（ｄ）＋Ｉ（ｄ）＋Ｄ（ｄ）

により計算する。なお、Ｐ（ｄ）、Ｉ（ｄ）、Ｄ（ｄ）はそれぞれ誤差ｄについての比例項、積分項、微分項を意味する。

図６Ｂは、被写体の追尾制御処理を実現するための制御部８の機能構成を示す機能ブロック図である。なお、制御部８は、被写体追尾のための制御としてパン方向とチルト方向の制御を行うため、図６Ｂに示す制御系の構成は実際にはパン方向、チルト方向のそれぞれについて設けられる。

図示のように制御部８は被写体追尾を実現するための機能部として位置誤差計算処理部Ｆ１、制御値計算処理部Ｆ２、駆動量換算部Ｆ３を有する。位置誤差計算処理部Ｆ１は、被写体の追尾時において、追尾対象の被写体の位置である被写体位置Ｐｓと、追尾の目標位置Ｐｔとを入力し、それらの誤差ｄを計算する。
ここで、被写体位置Ｐｓの情報は、図４のように撮像画像内に複数の被写体が検出されている場合には、画像認識処理部５より入力される複数の被写体の位置の情報のうち、タッチ操作により指定された被写体の位置の情報を用いる。また、目標位置Ｐｔは、被写体のタッチ操作が行われたときにおける、該タッチ操作で指定された被写体の位置の情報として設定する。

制御値計算処理部Ｆ２は、位置誤差計算処理部Ｆ１より入力した誤差ｄに基づき、上記したＰＩＤ制御の式に従った計算を行って制御値Ｃを計算する。
駆動量換算処理部Ｆ３は、制御値計算処理部Ｆ２が計算した制御値Ｃ、すなわち、撮像画像のピクセル数単位による値を、パン方向、又はチルト方向としての回転方向における角度の値に変換する。該変換は、撮像装置１の撮像パラメータ（焦点距離や撮像素子のサイズ情報等）に基づき行うことができる。

制御部８は、駆動量換算処理部Ｆ３の換算処理で得られた値、すなわちパン方向又はチルト方向の駆動量を表す値を、通信部１１を介して雲台装置５０に出力する。
雲台装置５０では、上記のように制御部８から通信部１１を介して出力された値が通信部５８を介して駆動制御部５７に入力される。駆動制御部５７は該入力された値に応じた駆動量によりアクチュエータ５６を駆動する。これにより、追尾対象とする被写体の位置（Ｐｓ）を撮像画像内の目標位置（Ｐｔ）に一致させるように撮像装置１の向きが調整され、被写体の追尾が実現される。

ここで、上述のように本例では、画面１０ａ内の検出被写体をタッチする操作が行われた場合には、タッチされたときの該検出被写体の位置が、追尾制御における目標位置Ｐｔとして設定される。すなわち、検出被写体をタッチする操作は、追尾対象とする被写体を指定する操作のみならず、追尾対象とする被写体の画面内での配置位置を指定する操作としても機能するものである。
追尾対象とする被写体の指定と、追尾対象とする被写体の画面内での配置位置の指定とが、検出被写体をタッチするという単一の操作で実現できるため、構図調整に係るユーザの操作負担軽減を図ることができ、操作性の向上が図られる。

説明を図４に戻す。
画面１０ａ内の検出被写体がタッチされた後、該タッチを行った指が、タッチ状態を維持したまま、図４の太矢印で示すように画面１０ａで移動されたとする。
本例では、このように被写体をタッチした指でタッチ状態のまま画面１０ａをなぞる操作は、タッチした被写体（つまり追尾対象被写体）の画面１０ａ内での配置位置（つまり撮像画像内での配置位置）の移動指示操作として受け付ける。

図５は、図４の太矢印で表すなぞり操作に応じて被写体の配置位置が変更された際の画面１０ａの様子を示している。
制御部８は、上記のようななぞり操作に応じて、タッチされた被写体が、なぞり操作によりなぞられた方向になぞられた量に応じた分だけ移動されるように雲台装置５０を制御する。
このとき、タッチされた被写体の追尾状態は維持したままとする。具体的に、制御部８は、なぞり操作によってタッチ位置が徐々に変化していく過程において、タッチ位置が変化するごとに、逐次、目標位置Ｐｔをその時点でのタッチ位置に更新する。これにより、タッチした被写体の画面１０ａ内での位置を、なぞり操作に連動して滑らかに変化させていくことができる。

ここで、本例では、上記のように検出被写体をタッチした後のなぞり操作に応じては、タッチした被写体の画面１０ａ内での配置位置をなぞり操作によるなぞり方向に移動させるが、このために制御部８は、撮像装置１の撮像方向がなぞり方向とは逆方向に変化するように雲台装置５０を制御することになる。

なお、上記のようななぞり操作は、画面１０ａの面内における方向の指定を含む操作であると換言できる。また、このようななぞり操作は、検出被写体をタッチする操作（画面１０ａ上の位置を指定する操作）と同様に、構図指定操作の一部を構成するものとなる。

図７及び図８は、上記のようななぞり操作が、検出被写体以外の被写体をタッチした後に行われた場合の挙動を説明するための図である。
図７に示すように、画面１０ａ上において、検出被写体である被写体Ｓ１、Ｓ２以外の背景部分としての被写体がタッチされた後に、タッチした指によるなぞり操作が行われたとする。
本実施形態では、このように検出被写体以外の被写体をタッチした後のなぞり操作は、撮像方向の変化方向を直接的に指示する操作として受け付ける。すなわち、例えば図７のように右方向へのなぞり操作が行われた場合には、図８に示すように撮像方向を右方向になぞられた量に応じた分だけ変化させる。すなわち、制御部８は、検出被写体以外の被写体をタッチした後のなぞり操作に応じて、撮像方向がなぞられた方向になぞられた量に応じた分だけ変化されるように雲台装置５０を制御する。
ここで、制御部８は、検出被写体以外の被写体がタッチされた場合には、被写体の追尾制御は行わない。

上記のように本例では、同じなぞり操作であっても、検出被写体をタッチした場合と検出被写体以外の被写体をタッチした場合とで、撮像方向の変化方向が逆となる。
ここで、タッチ操作により検出被写体以外が指定された状態は、換言すれば、タッチ操作による指定位置に対応する被写体情報が検出被写体を示さない状態である。

また、本実施形態では、画角の変更を画面上の操作によって行うことが可能とされる。
図９及び図１０は、画角の変更操作について説明するための図である。
本例では、画面１０ａに対し一本目の指がタッチされた後、該一本目の指のタッチ状態が継続されたまま他の指（二本目の指）が画面１０ａ上にタッチされた場合において、該二本目の指で画面１０ａ上をなぞる操作に応じて、画角の変更を行う。
具体的に、本例において制御部８は、二本目の指のタッチ位置が、一本目の指のタッチ位置から離れる方向に変化する場合には、画角が小さくなる（つまりズームインする）方向にズームレンズが駆動されるようにドライバ部７を制御する。これにより、図９から図１０への遷移として示すような画角の変化が実現される。
一方、制御部８は、二本目の指のタッチ位置が、一本目の指のタッチ位置に近づく方向に変化する場合には、画角が大きくなる（つまりズームアウトする）方向にズームレンズが駆動されるようにドライバ部７を制御する。この場合の画角の変化は、図１０から図９への遷移として表すような変化となる。

なお、図９及び図１０では一本目の指で検出被写体がタッチされた場合に対応した画角変更を例示したが、一本目の指で検出被写体以外の被写体がタッチされた場合にも、制御部８は上記と同様の画角制御を行う。
上記により説明した二本目の指によるなぞり操作は、画面１０ａの面内における方向の指定を含む操作であると換言できる。
また、画角の変更（制御）は、撮像装置１による撮像範囲の変更（制御）の一態様である。

また、本実施形態では、タッチ操作により追尾対象とする被写体が指定された後、再び画面１０ａをタッチする操作が行われた場合、換言すれば、検出被写体のタップを含め、画面１０ａをダブルタップする操作が行われた場合には、追尾対象被写体を撮像画像内の所定位置に配置する構図への調整が行われる。
なお、ここで言う「タップ」とは、画面１０ａ上に指をタッチし、該指を画面１０ａから離すまでの一連の動作を意味する。また、ここでのダブルタップ操作とは、１回目のタップの後、所定時間内に２回目のタップを行う操作を意味する。

図１１及び図１２は、このようなダブルタップ操作に応じた構図調整についての説明図である。
本例では、上記のようなダブルタップ操作が行われた場合には、１回目のタップで指定された追尾対象被写体（図１１の例では被写体Ｓ２）を、画角の中心位置Ｐｃ（撮像画像の中心位置）に配置する構図への調整を行う（図１２参照）。
具体的に、制御部８は、上記のようなダブルタップ操作が行われたことに応じて、追尾の目標位置Ｐｔを中心位置Ｐｃに更新して、被写体の追尾制御を継続する。

［1-3．処理手順］

図１３のフローチャートを参照し、上記により説明した実施形態としての構図調整手法を実現するための具体的な処理手順の例を説明する。
なお、図１３に示す処理は、制御部８がＲＯＭ等のメモリに記憶されたプログラムに従って実行するものである。

図１３において、制御部８はステップＳ１０１で、画面１０ａのタッチがあるまで待機し、画面１０ａのタッチがあった場合には、ステップＳ１０２の被写体情報取得処理として、画像認識処理部５より被写体情報Ｉｓを取得する処理を実行し、ステップＳ１０３で検出被写体のタッチか否かを判定する。すなわち、ステップＳ１０１で検知されたタッチ操作により指定された画面１０ａ上の位置（つまり、画面１０ａ上でのタッチ開始位置）が、ステップＳ１０２で取得した被写体情報Ｉｓに含まれる被写体の範囲内の位置であるか否かを判定する。

ステップＳ１０３において、タッチ操作により指定された画面１０ａ上の位置が被写体情報Ｉｓに含まれる被写体の範囲内の位置でなく、検出被写体のタッチではないとの否定結果を得た場合、制御部８はステップＳ１０４に進んで追尾実行フラグをＯＦＦとし、続くステップＳ１０５で通常駆動モード処理を実行する。
ここで、追尾実行フラグは、図６を参照して説明した被写体の追尾制御処理を実行するか否かを表すフラグであり、追尾実行フラグがＯＮとされた場合、制御部８は、図１３に示す処理と並行して、被写体の追尾制御処理を開始する。追尾実行フラグがＯＦＦのとき、制御部８は該追尾制御処理を実行しない。
なお、追尾実行フラグの初期値はＯＦＦであるが、ステップＳ１０４で追尾実行フラグをＯＦＦとするのは、検出被写体がタッチされて被写体の追尾制御が開始された以降において検出被写体以外をタッチする操作が行われたとき（ステップＳ１０３：Ｎ）に、被写体の追尾制御が停止されるようにするためである。
なお、ステップＳ１０５の通常駆動モード処理は、検出被写体以外の被写体をタッチした指によるなぞり操作に応じて撮像方向を変化させたり、二本目の指のなぞり操作に応じて画角調整を行ったりするための処理となるが、詳細については改めて説明する。

また、制御部８は、ステップＳ１０３で検出被写体のタッチであるとの肯定結果を得た場合は、ステップＳ１０６に進んで追尾実行フラグをＯＮとした上で、ステップＳ１０７の被写体追尾モード処理を実行する。
ここで、ステップＳ１０６で追尾実行フラグがＯＮとされたことに応じ、制御部８は、図１５で説明するステップＳ３０１及びＳ３０２の処理による設定情報（追尾対象被写体及び目標位置Ｐｔの設定情報）に基づく被写体の追尾制御処理を開始する。この追尾制御処理において制御部８は、画像認識処理部５からの被写体情報Ｉｓ（特に、追尾対象被写体の被写体位置Ｐｓの情報）の取得を毎フレーム実行し、誤差ｄの計算等に用いる。
なお、ステップＳ１０５の通常駆動モード処理は、検出被写体をタッチした指によるなぞり操作に応じて画面１０ａ内の被写体位置を移動させるための制御を行ったり、二本目の指のなぞり操作に応じて画角調整を行ったりするための処理となるが、詳細については改めて説明する。

制御部８は、ステップＳ１０５の通常駆動モード処理を実行した場合と、ステップＳ１０７の被写体追尾モード処理を実行した場合のそれぞれにおいて、処理をステップＳ１０８に進める。
ステップＳ１０８で制御部８は、処理終了条件の成立有無を判定する。ここでの処理終了条件とは、図１３に示す処理の終了条件を意味するものであり、例えば、撮像装置１の動作モードを、画面１０ａ上にスルー画としての撮像画像を表示する撮像モードから、記録制御部６が記録媒体から再生した画像を画面１０ａ上に表示する再生モードへと切り替える操作が行われたこと等の条件とすることが考えられる。
処理終了条件が成立していないと判定した場合、制御部８はステップＳ１０１に戻り、画面１０ａに対するタッチ操作を再度待機する。
これにより、検出被写体、或いは検出被写体以外の被写体がタッチされ、該タッチされた指が画面１０ａから離された以降において、画面１０ａが再びタッチされた場合には、該タッチが検出被写体以外に対するタッチであるか、又は検出被写体に対するタッチであるかに応じて、ステップＳ１０５の通常駆動モード処理、又はステップＳ１０７の被写体追尾モード処理が実行されることになる。

一方、制御部８は、ステップＳ１０８で処理終了条件が成立したと判定した場合には、ステップＳ１０９で追尾実行フラグがＯＮか否かを判定した上で、追尾実行フラグがＯＮであればステップＳ１１０で追尾実行フラグをＯＦＦとして図１３に示す一連の処理を終え、追尾実行フラグがＯＮでなければステップＳ１１０の処理をパスして図１３に示す一連の処理を終える。

図１４は、ステップＳ１０５の通常駆動モード処理のフローチャートである。
図１４に示す処理は、ステップＳ２１０で一本目の指（つまりステップＳ１０１でタッチ操作が検知された指）が画面１０ａから離れたことが検知されるまでは、ステップＳ２１１の待機処理により、撮像画像のフレームごとに繰り返し実行される処理となる。

図１４において、制御部８はステップＳ２０１で、異指タッチフラグがＯＮであるか否かを判定する。異指タッチフラグは、二本目の指（前述した画角変更の操作を参照）がタッチされている状態か否かを表すフラグであり、二本目の指のタッチがあった場合に後述するステップＳ２０５でＯＮとされ、二本目の指が画面１０ａから離れたことに応じてステップＳ２０９でＯＦＦとされる。図１４に示す処理の開始時において、異指タッチフラグはＯＦＦである。

ステップＳ２０１において、異指タッチフラグがＯＮでなければ、制御部８はステップＳ２０２に進んで二本目の指タッチの有無を判定し、二本目の指タッチがなければ、ステップＳ２０３に進んで一本目の指が移動したか否かを判定する。
一本目の指が移動した場合、制御部８はステップＳ２０４に進んで、移動に応じた制御値を出力する処理を実行する。すなわち、一本目の指の移動方向及び移動量に応じた雲台装置５０の制御値（パン方向のアクチュエータ、チルト方向のアクチュエータ双方の制御値）を通信部１１経由で雲台装置５０に出力するための処理を実行する。
これにより、検出被写体以外の被写体がタッチされ、該タッチを行った指が画面１０ａ上で任意方向になぞられた場合には、撮像装置１の撮像方向がなぞり方向になぞり量に応じた分だけ変化されるように雲台装置５０のパン及びチルト動作が制御される。

ステップＳ２０４の出力処理を実行したことに応じ、制御部８はステップＳ２１１の１フレーム待機処理を実行し、ステップＳ２０１に戻る。これにより、一本目の指の移動が継続して行われている間は、ステップＳ２０４の処理がフレームごとに繰り返されることで、撮像方向が継続して変化されることになる。

また、ステップＳ２０３において、一本目の指が移動していないと判定した場合、制御部８はステップＳ２１０に進んで一本目の指が画面１０ａから離れたか否かを判定する。
一本目の指が画面１０ａから離れていなければ、制御部８はステップＳ２１１の１フレーム待機処理に進む。すなわち、一本目の指がタッチ状態を維持している間は、図１４に示す処理がフレームごとに繰り返される。
一方、一本目の指が画面１０ａから離れた場合、制御部８はステップＳ１０５の通常駆動モード処理を終える。

また、制御部８は、ステップＳ２０２で二本目の指タッチがあったと判定した場合には、ステップＳ２０５で異指タッチフラグをＯＮとし、ステップＳ２１１で１フレーム待機処理を実行した上で、ステップＳ２０１に戻る。

ステップＳ２０１において、異指タッチフラグがＯＮであると判定した場合、制御部８はステップＳ２０６に進み、二本目の指が移動したか否かを判定する。二本目の指が移動していれば、制御部８はステップＳ２０７に進んで移動に応じたズーミング制御を行う。すなわち、二本目の指の移動が、一本目の指のタッチ位置から離れる方向の移動であれば、ズームインする方向にズームレンズが駆動されるようにドライバ部７を制御し、二本目の指の移動が一本目の指のタッチ位置に近づく方向の移動であれば、ズームアウトする方向にズームレンズが駆動されるようにドライバ部７を制御する。
制御部８は、ステップＳ２０７のズーミング制御を実行したことに応じ、ステップＳ２１１の１フレーム待機処理を実行し、ステップＳ２０１に戻る。これにより、二本目の指の移動が継続されている間は、ステップＳ２０７のズーミング制御が繰り返されることで、画角の変更が継続されることになる。

一方、ステップＳ２０６において二本目の指が移動していないと判定した場合、制御部８はステップＳ２０８に進み、二本目の指が画面１０ａから離れたか否かを判定する。二本目の指が画面１０ａから離れていないと判定した場合、制御部８は上述したステップＳ２１０に進んで一本目の指が画面１０ａから離れたか否かを判定する。すなわち、本例では、二本目の指が画面１０ａから離れていなくても、一本目の指が画面１０ａから離れた場合には、ステップＳ１０５の通常駆動モード処理が終了となる。つまり、ユーザは、検出被写体以外の被写体をタッチした一本目の指を画面１０ａから離した上で、その後に、検出被写体をタッチすることで、タッチした検出被写体の追尾や、なぞり操作による追尾対象被写体の配置位置の変更を指示することが可能とされる。

一方、二本目の指が画面１０ａから離れたと判定した場合、制御部８はステップＳ２０９に進んで異指タッチフラグをＯＦＦとし、ステップＳ２１１の１フレーム待機処理を実行した上でステップＳ２０１に戻る。
これにより、二本目の指が画面１０ａから離れた以降でも、一本目の指のタッチ状態が継続している間は、一本目の指のなぞり操作に応じて撮像方向を変化させる制御が行われる。

図１５は、ステップＳ１０７の被写体追尾モード処理のフローチャートである。
なお、以降の説明において、既に説明済みとなった処理と同様となる処理については同一のステップ番号を付して説明を省略する。
ステップＳ１０７の被写体追尾モード処理において、制御部８は、先ずステップＳ３０１で、追尾対象被写体の設定を行う。すなわち、ステップＳ１０１で検知したタッチ操作により指定された検出被写体を追尾対象被写体として設定する。
続くステップＳ３０２で制御部８は、目標位置Ｐｔの設定を行う。すなわち、ステップＳ１０１で検知したタッチ操作により指定された検出被写体の位置（被写体位置Ｐｓ）を追尾の目標位置Ｐｔとして設定する。

次いで、制御部８はステップＳ３０３で、再タッチ待機フラグがＯＮであるか否かを判定する。再タッチ待機フラグは、前述したダブルタップ操作における二回目のタップ操作を待機中の状態か否かを識別するためのフラグであり、ＯＮが待機中である状態を表し、初期値はＯＦＦである。後述するように再タッチ待機フラグは、一本目の指が画面１０ａから離れた（ステップＳ２１０：Ｙ）ことに応じて、ステップＳ３０５の処理によりＯＮとされる。

ステップＳ３０３において、再タッチ待機フラグがＯＮでなければ、制御部８はステップＳ２０１に処理を進める。ここで、ステップＳ２０１からステップＳ２１１の処理は、図１４で説明した処理と同様となるため重複説明は避ける。
但し、この場合、ステップＳ２０３で一本目の指が移動したと判定した場合、制御部８は、ステップＳ３０４に進み、移動に応じた目標位置Ｐｔの更新処理を実行する。すなわち、目標位置Ｐｔを、一本目の指の現在のタッチ位置に更新する。
制御部８は、ステップＳ３０４の更新処理を実行したことに応じ、ステップＳ２１１の１フレーム待機処理に進む。これにより、一本目の指が移動している間には、ステップＳ３０４の更新処理がフレームごとに繰り返し実行される。このため、画面１０ａにおける追尾対象被写体の移動が滑らかなものとなる。

また、図１５の処理において、制御部８は、ステップＳ２１０で一本目の指が画面１０ａから離れたと判定した場合は、ステップＳ３０５で再タッチ待機フラグをＯＮとし、ステップＳ２１１で１フレーム待機処理を行った上でステップＳ３０３に戻る。

ステップＳ３０３において、再タッチ待機フラグがＯＮであると判定した場合、制御部８はステップＳ３０６に処理を進める。ステップＳ３０６以降の処理は、ダブルタップ操作に対応した処理とされる。
先ず、ステップＳ３０６で制御部８は、画面１０ａに対する再タッチの有無を判定し、再タッチがなければステップＳ３０７で再タッチ待機時間が所定時間以上であるか否かを判定する。再タッチ待機時間とは、ステップＳ２１０で一本目の指が離れたと判定されたからの経過時間を意味する。
再タッチ待機時間が所定時間以上でなければ、制御部８はステップＳ３０６に戻る。つまり、これらステップＳ３０６及びＳ３０７の処理により、制御部８は一本目の指が離れてから所定時間内のタッチ操作（つまり２タップ目のタッチ操作）を待機する。

ステップＳ３０７において、再タッチがあったと判定した場合、制御部８はステップＳ３０８に進んで目標位置Ｐｔを画面中心位置（画角の中心位置Ｐｃ）に更新する処理を行う。これにより、ダブルタップ操作が行われたことに応じ、１回目のタップで指定された追尾対象被写体の位置（Ｐｓ）を、中心位置Ｐｃに一致させる構図への調整が行われる。

ステップＳ３０８の更新処理を実行したことに応じ、制御部８はステップＳ３０９のフラグＯＦＦ処理、すなわち異指タッチフラグ及び再タッチ待機フラグをＯＦＦとする処理を実行し、図１５に示す一連の処理を終える。
図１３を参照して分かるように、制御部８は、ステップＳ１０７の被写体追尾モード処理を実行した後、ステップＳ１０８で処理終了条件成立と判定されなければ、ステップＳ１０１の処理に移行する。これにより、本例では、ダブルタップ操作により追尾対象被写体が画面１０ａの中心に移動された以降においても、画面１０ａに対するタッチ操作の受け付けが行われ、タッチ操作が検出被写体以外の被写体をタッチする操作であれば図１４の処理が実行され、検出被写体をタッチする操作であれば図１５の処理が実行されることになる。

＜２．第二実施形態＞

続いて、第二実施形態について説明する。
第二実施形態は、被写体の追尾制御処理において、被写体の種類に応じたパラメータを用いるものである。
なお、第二実施形態において、撮像装置１や雲台装置５０の構成については第一実施形態の場合と同様となるため重複説明は避ける。

図１６は、第二実施形態としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。
図１６において、ステップＳ１０１からＳ１１０の処理については図１３の場合と同様である。
この場合、制御部８は、ステップＳ１０３で検出被写体のタッチであると判定した場合に、ステップＳ４０１に進んで被写体種類に応じたパラメータ設定処理を実行した上で、ステップＳ１０６に処理を進める。

図１７は、ステップＳ４０１の被写体種類に応じたパラメータ設定処理を示したフローチャートである。
先ず、ステップＳ４１０で制御部８は、タッチされた被写体の種類を確認する。ここで、本例における画像認識処理部５では、検出被写体の種類として、第一種類、第二種類、第三種類の三種を認識し分ける。ステップＳ４１０で制御部８は、タッチされた被写体の種類がこれら第一種類、第二種類、第三種類の何れであるかを確認する。
ここで、本例において、第一種類は「鳥」（図１８Ａ参照）であり、第二種類は「人」（図１８Ｂ参照）であり、第三種類は「犬」（図１８Ｃ参照）であるとする。
なお、第一種類について、「鳥」はあくまで一例であり、第一種類としては、「鳥」のように望遠側での撮像が行われる傾向にあり且つ縦横に比較的速く動く被写体の種類であればよい。
同様に、第二種類についても「人」は一例であり、縦横の動きが比較的遅い被写体の種類であればよく、また、第三種類についても「犬」は一例であり、縦の動きは比較的遅いが横の動きが比較的速い被写体の種類であればよい。

制御部８は、タッチした被写体の種類が第一種類であった場合にはステップＳ４１１に進んで第一種パラメータを設定し、ステップＳ４０１の処理を終える。また、制御部８は、タッチした被写体の種類が第二種類であった場合にはステップＳ４１２で第二種パラメータを設定してステップＳ４０１の処理を終え、タッチした被写体の種類が第三種類であった場合にはステップＳ４１３で第三種パラメータを設定してステップＳ４０１の処理を終える。

ここで、本例において、追尾制御処理で用いるパラメータの具体例としては、追尾制御の制御周期や、ＰＩＤ制御におけるゲイン（比例項、積分項、微分項のゲイン）を挙げることができる。制御部８は、ステップＳ４１１の第一パラメータ（「鳥」の場合のパラメータ）の設定処理として、パン方向の追尾制御処理、チルト方向の追尾制御処理のそれぞれについて、追尾の応答性を高くするパラメータの設定を行う。具体的には、例えば制御周期を設定可能な周期のうち最短の周期とし、ＰＩＤ制御におけるゲインを設定可能な値のうち最高の値とする設定を行う。
また、制御部８は、ステップＳ４１２の第二パラメータ（「人」の場合のパラメータ）の設定処理としては、パン方向の追尾制御処理、チルト方向の追尾制御処理のそれぞれについて、追尾の応答性を低くするパラメータの設定を行う。具体的には、例えば制御周期を上述した最短の周期よりも長い周期（例えば、２倍の周期）とし、ＰＩＤ制御におけるゲインを上述した最高値よりも低い値とする設定を行う。
さらに、制御部８は、ステップＳ４１３の第三パラメータ（「犬」の場合のパラメータ）の設定処理としては、パン方向の追尾制御処理に関しては追尾の応答性を高くし、チルト方向の追尾制御処理に関しては追尾の応答性を低くするパラメータの設定を行う。

ここで、本例において、制御部８は、上記した第二パラメータのように追尾制御の制御周期が最短周期の２倍の周期に設定された場合、追尾制御処理において、上記最短の周期で計算される追尾結果（制御値Ｃ）、換言すれば、２回分の追尾結果を積算し、該積算した値を雲台装置５０の制御に用いる。これにより、ノイズによる影響を軽減することができ、追尾制御の安定性向上を図ることができる。

上記のように被写体の種類に応じたパラメータ設定を行うことで、被写体の追尾制御に関して、被写体の種類ごとの動きの特性に応じた最適なパラメータを設定することが可能となり、追尾制御の精度向上を図ることができる。
また、本例では、被写体の種類に応じ、パン方向、チルト方向の追尾制御それぞれについて個別にパラメータ設定を行っているが、これにより、追尾応答性を高める必要のない方向について過剰に応答性を高めた追尾が行われてしまうことの防止を図ることでき、追尾制御の安定性向上を図ることができる。

ここで、上記では、「犬」の種類に対応してパン方向の追尾応答性を高くし、チルト方向の追尾応答性を低くするパラメータ設定例を挙げたが、被写体の種類によっては、逆にパン方向の追尾応答性を低くし、チルト方向の追尾応答性を高くするパラメータ設定を行うこともできる。
例えば、被写体の種類が家やビル等の比較的大型の不動体であり、撮像者がその周りを移動しながら撮像を行うときには、パン方向の追尾応答性を低くし、チルト方向の追尾応答性を高くするパラメータ設定を行うことが考えられる。或いは、トランポリン等により縦方向のみに激しく動くことの想定される種類の被写体に対応して、同様にパン方向の追尾応答性を低くし、チルト方向の追尾応答性を高くすることも考えられる。

また、第二実施形態において、制御部８は、図１７に示したパラメータ設定処理を実行したことに応じ、図１９に示すパラメータ調整のための処理を開始する。
ここで、図１９の処理は、パン方向の追尾制御処理、チルト方向の追尾制御処理それぞれについて実行される。

図１９において、制御部８はステップＳ４２０で、現在の設定パラメータは高応答性パラメータか否かを判定する。高応答性パラメータとは、先のステップＳ４１１からＳ４１２の処理で説明した、追尾応答性を高くするパラメータのことを意味する。例えば、ステップＳ４１１でパン方向、チルト方向に設定されたパラメータは高応答性パラメータである。

現在の設定パラメータが高応答性パラメータであると判定した場合、制御部８はステップＳ４２１に進み、位置誤差ｄが閾値ＴＨ１よりも小さいか否かを判定する。位置誤差ｄが閾値ＴＨ１よりも小さい場合、制御部８はステップＳ４２２で低応答性パラメータに変更する処理を行う。低応答性パラメータは、先のステップＳ４１１からＳ４１２の処理で説明した追尾応答性を低くするパラメータのことを意味する。ステップＳ４２２では、追尾制御処理で用いるパラメータを低応答性パラメータに変更する。
これにより、高応答性パラメータの設定後、位置誤差ｄが極端に小さい場合には、追尾制御のパラメータを低応答性パラメータに調整することが可能とされる。

ステップＳ４２２の変更処理を実行したことに応じ、制御部８はステップＳ４２５に処理を進める。また、制御部８は、ステップＳ４２１で位置誤差ｄが閾値ＴＨ１よりも小さくないと判定した場合は、ステップＳ４２２の変更処理を実行せずにステップＳ４２５に処理を進める。

また、制御部８は、ステップＳ４２０で現在の設定パラメータは高応答性パラメータでないと判定した場合には、ステップＳ４２３に進み、位置誤差ｄが閾値ＴＨ２よりも大きいか否かを判定する。位置誤差ｄが閾値ＴＨ２よりも大きい場合、制御部８はステップＳ４２４で高応答性パラメータに変更する処理を行う。
これにより、低応答性パラメータの設定後、位置誤差ｄが極端に大きい場合には、追尾制御のパラメータを高応答性パラメータに調整することが可能とされる。

ステップＳ４２４の変更処理を実行したことに応じ、制御部８はステップＳ４２５に処理を進める。また、制御部８は、ステップＳ４２３で位置誤差ｄが閾値ＴＨ１よりも大きくないと判定した場合は、ステップＳ４２４の変更処理を実行せずにステップＳ４２５に処理を進める。

ステップＳ４２５で制御部８は、追尾実行フラグがＯＦＦであるか否かを判定し、追尾実行フラグがＯＦＦでなければステップＳ４２０に戻り、ＯＦＦであれば図１９に示す一連の処理を終える。すなわち、図１９に示す処理は、被写体の追尾制御処理を実行中の期間に実行される。

上記のような位置誤差ｄに基づくパラメータ調整を行うことで、設定したパラメータが実際の被写体の動きに適しているか否かの判定結果に基づくパラメータ調整を実現でき、追尾制御の安定性向上を図ることができる。
なお、図１９では、位置誤差ｄと閾値ＴＨとの比較結果に基づいてパラメータ調整を行う例としたが、これに代えて、制御値Ｃとそれに対応する閾値との比較結果に基づいてパラメータ調整を行うこともできる。このようなパラメータ調整とした場合も、被写体の位置と追尾の目標位置との誤差に基づいてパラメータ調整を行うことに変わりはない。

上記では、高応答性パラメータと低応答性パラメータの２段階の調整とする例を挙げたが、パラメータの調整は３段階以上のパラメータ間の調整とすることもできる。

＜３．第三実施形態＞
［3-1．第一例］

第三実施形態は、人体の簡易モデル情報に基づき構図調整を行うものである。
なお、第三実施形態においても撮像装置１や雲台装置５０の構成については第一実施形態の場合と同様となるため重複説明は避ける。

先ずは図２０を参照し、人体の簡易モデル情報について説明しておく。
図２０に示すように、人体の簡易モデル情報とは、人体における眼、耳、鼻、口、首、肩、肘、手首、尻、膝、足首等、人体を構成する複数部位の配置状態を表す情報である。第三実施形態において、画像認識処理部５は、検出被写体が人としての被写体である場合には、該被写体についてこのような人体の簡易モデル情報を生成する。
具体的に、画像認識処理部５は、人としての検出被写体における眼や首、肩等といった特定部位の検出点（図中の黒丸部）と検出点を結ぶ線の情報を簡易モデル情報として生成する。このとき、各検出点は、それぞれ特定の他の検出点と線で結ばれる。各検出点は、それぞれ線で結ばれている検出点が規定されていることで、点と線により人体を表現する簡易モデルが形成される。
この場合の画像認識処理部５は、制御部８からの求めに応じ、簡易モデル情報を被写体情報Ｉｓの一部として制御部８に出力する。本例においても、制御部８は、被写体追尾中においては画像認識処理部５からの被写体情報Ｉｓの取得を毎フレーム実行する。

以下、上記のような簡易モデル情報に基づく構図調整の例として、第一例と第二例を挙げる。
第一例は、人体の簡易モデル情報に基づき、撮像画像内に映し出される被写体の部位の組み合わせが異なる複数の構図間で構図切り替えを行うものである。
具体的には、図２１に例示する構図Ｋ１、構図Ｋ２、構図Ｋ３の間での構図切り替えを行う。図２１において、構図Ｋ１は、撮像画像内に映し出される被写体の部位の組み合わせが「眼、耳、鼻、口、首、肩、肘、手首、尻、膝、足首」の組み合わせである、「フルショット」（全身構図）としての構図である。また、構図Ｋ２は、撮像画像内に映し出される被写体の部位の組み合わせが、構図Ｋ１から「足首」のみが除かれた「眼、耳、鼻、口、首、肩、肘、手首、尻、膝」の組み合わせである「ニーショット」（膝上構図）としての構図、構図Ｋ３は、撮像画像内に映し出される被写体の部位の組み合わせが構図Ｋ２からさらに「膝、尻、手首」が除かれた「眼、耳、鼻、口、首、肩、肘」の組み合わせである「バストショット」（半身構図）としての構図である。
図２２は、これら構図Ｋ１、Ｋ２、Ｋ３のそれぞれに対応した撮像画像の例を示しており、図２２Ａが構図Ｋ１（フルショット）、図２２Ｂが構図Ｋ２（ニーショット）、図２２Ｃが構図Ｋ３（バストショット）にそれぞれ対応する。

第一例では、これら構図Ｋ１、Ｋ２、Ｋ３の切り替えを、画面１０ａに対するタッチ操作に応じて行う。具体的に、この場合の制御部８は、人としての検出被写体が画面１０ａ上に表示されている状態において、前述したダブルタップ操作によって該検出被写体が画面１０ａの中心に配置された後、画面１０ａ上における該検出被写体に対するタップ操作に応じて構図Ｋ１、Ｋ２、Ｋ３の切り替えを行う。より具体的に、この場合の制御部８は、ダブルタップ操作の後、該検出被写体に対するタップ操作が行われるごとに、構図Ｋ１→構図Ｋ２→構図Ｋ３→構図Ｋ１→・・・のように構図をトグル的に切り替える。

なお、構図Ｋの切り替えは、上記のようなダブルタップ操作後のタップ操作に応じて行う例に限らず、例えば一本目の指のタッチ操作により追尾対象被写体が指定された後のズーム操作等に応じて行うこともできる。

図２３は、上記のような第一例としての構図調整手法を実現するための具体的な処理手順の例を示したフローチャートである。
なお、この場合の制御部８としても、第一実施形態の場合と同様に図１３に示す処理を実行する。但し、この場合の制御部８は、ステップＳ１０７の被写体追尾モード処理として、先の図１５に示した処理ではなく、図２３に示す処理を実行する。

図２３に示す処理について、図１５に示した処理との差異点は、ステップＳ３０９の処理を実行後にステップＳ５０１の簡易モデル情報に基づく構図切替処理を実行する点である。

図２４は、ステップＳ５０１の簡易モデル情報に基づく構図切替処理を示したフローチャートである。
先ず、制御部８はステップＳ５１０で、タップ数識別値ｃを０にリセットする。タップ数識別値ｃは、ダブルタップ操作後のタップ数を識別するための値であり、ステップＳ５１１でタップ済被写体への再タップが検知されるごとに、ステップＳ５１６やＳ５２１の処理によってｃ＝０→１→２→０→・・・のようにトグル的に値が更新される。

ステップＳ５１０に続くステップＳ５１１で制御部８は、タップ済被写体が再タップされたか否かを判定する。タップ済被写体とは、ステップＳ１０１で検知されたタッチ操作により指定された検出被写体を意味する。ステップＳ５１１では、このタップ済被写体の範囲内をタップする操作が行われたか否かを判定する。
確認のため述べておくと、ステップＳ５０１の構図切替処理が開始される時点では、該検出被写体に対しては画面中心に位置させるためのタッチが既に行われている（図２３のステップＳ２１０、Ｓ３０５からＳ３０８を参照）。ステップＳ５１１ではこの状態からの該検出被写体へのタップ操作有無を判定するため、「再タップ」との表現を用いている。

タップ済み被写体が再タップされていないと判定した場合、制御部８はステップＳ５１２に進んでタップ済被写体以外の領域がタッチされたか否かを判定し、タッチ済被写体以外の領域がタッチされてないと判定した場合は、ステップＳ５１１に戻る。つまり制御部８は、ステップＳ５１１及びＳ５１２の処理により、タップ済被写体の再タップ、タッチ済被写体以外の領域のタッチの何れかを待機する。
ステップＳ５１２においてタップ済被写体以外の領域のタッチがあったと判定した場合、制御部８はステップＳ１０２に戻る。これにより、ダブルタップ操作の後に行われたタップ済被写体以外の領域のタッチが、タップ済被写体以外の検出被写体であれば、ステップＳ１０７の処理が実行される（つまりタップ済被写体以外の検出被写体の追尾に切り替えられ、なぞり操作に応じた被写体配置位置の調整等が可能な状態となる）。或いは、ダブルタップ操作の後に行われたタップ済被写体以外の領域のタッチが、検出被写体以外に対するタッチであれば、ステップＳ１０５の処理が実行される（つまり被写体追尾が解除され、なぞり操作に応じた撮像方向の調整等が可能な状態となる）。

一方、制御部８は、ステップＳ５１１でタップ済被写体が再タップされたと判定した場合には、ステップＳ５１３に進んでタップ数識別値ｃを確認する。タップ数識別値ｃが０であれば、制御部８はステップＳ５１４に進んでフルショット（構図Ｋ１）に対応する焦点距離を目標焦点距離として計算する。すなわち、タップ済被写体について取得した簡易モデル情報に基づき、撮像画像内に映し出される部位の組み合わせが、図２１の構図Ｋ１のように「眼、耳、鼻、口、首、肩、肘、手首、尻、膝、足首」の組み合わせとなる構図が実現されるように、目標とする焦点距離を計算する。

そして、ステップＳ５１４に続くステップＳ５１５で制御部８は、追尾の目標位置Ｐｔをフルショットに対応する位置に設定する。
ここで、本例において制御部８は、追尾制御処理で用いる被写体の位置Ｐｓとして、例えば被写体の「首」の位置等、被写体に最もズームインする構図である構図Ｋ３のときに画面１０ａ内に収まる部位の位置を用いる。これにより、構図Ｋ２や構図Ｋ３への切替時に被写体の位置Ｐｓをロストして追尾に失敗することの防止を図ることができる。
ステップＳ５１５での目標位置Ｐｔは、上記のように「首」の位置等とされた被写体の位置Ｐｓを基準としたときに、構図Ｋ１において少なくとも被写体の頭部（被写体の上端部）がフレームアウトしない位置に設定する。

ステップＳ５１５で目標位置Ｐｔを設定したことに応じ、制御部８はステップＳ５１６でタップ数識別値ｃを１インクリメントした上で、ステップＳ５２２で目標焦点距離となるようにズーミング制御（ドライバ部７におけるズームレンズのドライバの制御）を行い、ステップＳ５１１に戻る。

また、ステップＳ５１３において、タップ数識別値ｃが１であれば、制御部８はステップＳ５１７に進んでニーショット（構図Ｋ２）に対応する焦点距離を目標焦点距離として計算し、ステップＳ５１８で追尾の目標位置Ｐｔをニーショットに対応する位置に設定する。具体的に本例では、上述のように「首」の位置等とされた被写体の位置Ｐｓを基準としたときに、構図Ｋ２において少なくとも被写体の頭部がフレームアウトしない位置に目標位置Ｐｔを設定する。
そして、制御部８は、ステップＳ５１８の処理を実行したことに応じ、ステップＳ５１６でタップ数識別値ｃを１インクリメントした上で、ステップＳ５２２のズーミング制御を実行し、ステップＳ５１１に戻る。

また、制御部８は、ステップＳ５１３でタップ数識別値ｃが２であった場合には、ステップＳ５１９に進んでバストショット（構図Ｋ３）に対応する焦点距離を目標焦点距離として計算し、ステップＳ５２０で追尾の目標位置Ｐｔをバストショットに対応する位置に設定する。具体的に本例では、上述のように「首」の位置等とされた被写体の位置Ｐｓを基準としたときに、構図Ｋ３において少なくとも被写体の頭部がフレームアウトしない位置に目標位置Ｐｔを設定する。
そして、制御部８は、ステップＳ５２０の処理を実行したことに応じ、ステップＳ５２１でタップ数識別値ｃを０リセットした上で、ステップＳ５２２のズーミング制御を実行し、ステップＳ５１１に戻る。

上記のようなステップＳ５１１からＳ５２２の処理により、タップ済被写体に対するタップ操作が行われるごとに、構図Ｋ１→構図Ｋ２→構図Ｋ３→構図Ｋ１→・・・のように構図Ｋがトグル的に切り替えられる。

なお、上記では、対象とする検出被写体がダブルタップ操作により画面中心に移動された後のタップ操作に応じて構図Ｋの切り替えを行うものとしたが、これはあくまで一例であって、例えば対象とする検出被写体の２度目以降のタップ操作に応じて構図Ｋを切り替える等、他の操作（タップ操作以外の操作も含む）に応じて構図Ｋの切り替えを行うことも可能である。

また、上記では、構図の調整を雲台装置５０の制御による撮像方向の変化と画角の変化とにより実現する例を挙げたが、構図の調整は、少なくとも撮像方向、画角の何れか一方を変化させることで実現することが可能である。

また、人体の簡易モデル情報によっては、被写体の姿勢を検出することが可能である。被写体の姿勢を検出する場合には、被写体が所定の姿勢であるときに、構図Ｋの切り替えを実行しないようにすることも考えられる。例えば、被写体がしゃがんでいる姿勢のときは、その後に立ち上がったりジャンプしたりする可能性を考慮し、ズームイン側への構図Ｋの変化を行わないようにすること等が考えられる。

［3-2．第二例］

続いて、第三実施形態の第二例について説明する。
第二例は、簡易モデル情報から推定される被写体の向きの情報に基づき、被写体の正面方向側に画角中心Ｐｃが位置するように雲台装置５０を制御するものである。
図２５及び図２６は、第二例としての構図調整手法の説明図である。
図２５では、画面１０ａ内に左方向を向く被写体Ｓ３と正面を向く被写体Ｓ４が映し出されている例を示している。第二例では、検出被写体のタッチ操作後、再度のタッチ操作に応じて、該検出被写体の正面方向側に画角中心Ｐｃが位置するように構図の調整が行われる。図２５及び図２６の例では、被写体Ｓ３のタッチ操作後の再度のタッチ操作に応じて、被写体Ｓ３の正面方向側に画角中心Ｐｃが位置するように構図の調整が行われた例が示されている。

図２７のフローチャートは、第二例としての構図調整手法を実現するための具体的な処理手順を示している。
この場合も制御部８は、第一実施形態の場合と同様に図１３に示す処理を実行する。但し、この場合の制御部８は、ステップＳ１０７の被写体追尾モード処理として、先の図１５に示した処理ではなく図２７に示す処理を実行する。
図１５に示した処理との差異点は、ステップＳ３０８の処理に代えて、ステップＳ６０１のスペーシング制御処理を実行する点である。

ステップＳ６０１のスペーシング制御処理において制御部８は、ステップＳ１０１でタッチ操作が検知された検出被写体（つまり追尾対象被写体）について、画像認識処理部５から取得した簡易モデル情報から該検出被写体の向きを推定する。そして、該検出被写体の正面方向側に画角中心Ｐｃが位置するように、目標位置Ｐｔの更新を行う。
制御部８は、ステップＳ６０１のスペーシング制御処理を実行したことに応じ、ステップＳ３０９に処理を進める。

上記のような処理により、追尾対象被写体を指定するタッチ操作の後の画面１０ａのタッチ操作に応じて、該追尾対象被写体の正面方向側に画角中心Ｐｃが位置するように構図の調整が行われる。
画面１０ａをタッチするという簡易な操作に応じて、指定された被写体の正面側に空間が確保された自然な構図に調整が行われるため、ユーザの操作負担軽減を図りながら、違和感の少ない構図に調整することができる。

なお、上記では、ステップＳ６０１のスペーシング制御処理が、追尾対象被写体を指定するタッチ操作の後の画面１０ａのタッチ操作に応じて実行される例を挙げたが、これはあくまで一例であり、他の操作（タッチ操作以外の操作も含む）に応じてスペーシング制御処理を行うことも可能である。

＜４．変形例＞

ここで、実施形態としては上記で例示した具体例に限定されるものでなく、多様な変形例が考えられるものである。
例えば、上記では、構図調整に係る操作が画面１０ａに対するタッチ操作として行われる例を挙げたが、これに代えて、画面１０ａ内に表示したカーソル等のポインタを用いた操作とすることもできる。例えば、被写体等の位置の指定操作は、所望の位置にポインタを位置させた状態で所定のボタンを押圧する等の操作とすることも考えられる。このとき、例えば十字キー等の変位指示操作子により、画面１０ａ内におけるポインタの変位の指示が可能となるようにしておく。また、撮像方向の調整や被写体の画面内位置の調整等に係る移動方向指定操作は、例えば所定のボタンを押圧した状態で上記の変位指示操作子によりポインタを変位させる操作等とすることも考えられる。

また、上記では、画面１０ａ上に表示される画像を撮像する撮像装置と、被写体検出等の画像認識を行うための撮像を行う撮像装置とが共通の撮像装置１とされる例を挙げたが、これらの撮像装置を別体とすることも可能である。

図２８にその一例を示す。
この場合、撮像装置１Ａが、画面１０ａ上に表示される画像を撮像する撮像装置に該当し、撮像装置３０が画像認識を行うための撮像を行う撮像装置に該当する。撮像装置３０は、画面１０ａ上に撮像画像が表示される撮像装置とは別途の撮像装置であると換言することができる。
図示のように撮像装置３０と撮像装置１Ａは共通の雲台装置５０に搭載され、雲台装置５０のパン、チルト動作に応じてこれら撮像装置３０と撮像装置１Ａがパン方向、チルト方向に連動して動く。

図２９は、撮像装置３０と撮像装置１Ａの内部構成例を示したブロック図である。
撮像装置３０は、レンズ系２、撮像部３、カメラ信号処理部４、及び画像認識処理部５を備えて構成される。なお、これらの各部については既に説明済みであるため重複説明は避ける。
撮像装置１Ａは、撮像装置１と比較して画像認識処理部５が省略された点が異なる。
この場合、撮像装置１Ａにおける制御部８は、撮像装置３０の画像認識処理部５から取得した被写体情報Ｉｓに基づき、被写体の追尾制御処理を始めとした、第一、第二、又は第三実施形態と同様の構図調整のための処理（図１３から図１５、図１６、図１７、図１９、図２３、図２４、図２７等の処理）を実行する。

なお、上記構成による撮像システムでは、撮像装置３０と撮像装置１Ａとの間に視差や画角の差が生じるため、それら視差や画角の差に基づいて各撮像画像間で被写体位置の位置合わせを行う。

上記のような撮像システムの構成を採ることで、撮像装置１Ａのカメラ設定は作画を意図したカメラ設定とすることができ、撮像装置３０のカメラ設定は画像認識に適したカメラ設定とすることが可能となる。例えば、被写体の流し撮りを行う際、撮像装置１Ａについてはシャッタスピードを下げ適切な露光を設定して撮像を行うが、撮像装置３０については、これと異なるカメラ設定とすることができる。すなわち、シャッタスピードを上げ、ＩＳＯ感度を上げた状態で、高速に動く被写体をロバストに認識できるようにすることが可能となる。
また、撮像装置３０の画角は、撮像装置１Ａの画角に左右されないため、撮像装置３０の画角を撮像装置１Ａの画角よりも広くすることで、追尾対象被写体がフレームアウトし難くして被写体認識のロバスト性が高まるようにすることができる。
さらに、撮像装置３０のフレームレートを撮像装置１よりも高めることで、被写体の追尾性能を高めることもできる。

また、上記では、雲台装置５０として、パン方向及びチルト方向のみの駆動が可能とされた雲台装置を例示したが、図３０に例示する雲台装置５０Ａのように、ロール方向（図中矢印Ｄｒの方向）の駆動が可能な雲台装置を用いることもできる。

このようにロール方向の駆動が可能とされる場合には、画面１０ａに対するなぞり操作に応じて、撮像装置１のロール方向における向きを調整することが考えられる。
例えば図３１では、一本目の指で被写体Ｓ２をタッチする操作（追尾対象被写体を指定する操作）が行われた後、二本目の指で画面１０ａ上を円弧状になぞる操作が行われたことを示している。このような操作に応じ制御部８は、図３２に示すように、撮像装置１のロール方向における向きが、なぞられた方向になぞられた量に応じた分だけ変化するように雲台装置５０を制御する。
ここで、この場合、ロール方向の向きの変化指示操作との区別可能とするために、パン方向、チルト方向の向きの変化指示操作としては、二本目の指を直線状になぞる操作とする。

なお、図３１及び図３２では一本目の指が検出被写体をタッチした後の二本目の指によるなぞり操作に応じて撮像装置１のロール方向における向きを調整する例を挙げたが、このようなロール方向における向きの調整は、一本目の指が検出被写体以外の被写体をタッチした場合にも同様に行われる。

また、第三実施形態のように被写体の簡易モデル情報を利用可能な場合には、簡易モデル情報から対象の被写体が斜めに映っていることが検出されたことに応じ、該対象の被写体が画面１０ａ内において直立状態となるように（或いは、傾きが少なくなるように）ロール方向の向きを調整することもできる。

＜５．実施形態のまとめ＞

上記のように実施形態としての構図制御装置（撮像装置１、１Ａ）は、撮像装置の構図を指定する操作情報であり、撮像装置の撮像画像を表示する画面（同１０ａ）上における指定位置の情報を含む構図指定操作情報を取得し、構図指定操作情報の指定位置に対応する被写体情報に基づいて撮像装置の構図を調整するように撮像装置の撮像範囲を制御する制御部（同８）を備えている。
構図指定操作情報は、撮像画像を表示する画面上における指定位置の情報を含む。このため、撮像画像を表示する画面上での位置を指定するという直感的な操作に基づき、目標とする構図への調整が行われる。具体的に、上記構成では、画面上の指定位置に対応する被写体情報に基づいて撮像装置の構図が調整される。被写体情報とは、撮像画像内の被写体に関する情報であり、少なくとも、検出被写体の有無を表す情報とされる。このため、構図の調整は、画面上の検出被写体の位置を指定する操作等、直感的な操作に基づき行われる。
従って、構図調整に係る操作について操作性向上を図ることができる。

また、実施形態としての構図制御装置においては、制御部は、被写体情報が、撮像画像から検出された検出被写体を示す場合は、検出被写体を追尾するように撮像範囲を制御している。
これにより、追尾対象とする被写体の指定操作は、画面内の検出被写体を指定する操作とされる。
従って、構図調整に係る操作について操作性向上を図ることができる。

さらに、実施形態としての構図制御装置においては、制御部は、被写体情報が、検出被写体を示さない場合は、指定位置の被写体を追尾するための制御を行わない。
これにより、例えば検出被写体の背景部分等、ユーザが追尾を望んでいないと推定される被写体が指定された場合には、指定位置の被写体の追尾が行われない。
従って、ユーザの意図に沿った適切な追尾制御を実現することができる。

さらにまた、実施形態としての構図制御装置においては、構図指定操作情報は、画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、制御部は、方向指定操作情報に基づき前記撮像範囲を制御している。

この方向指定操作により、位置の指定操作で指定された被写体の画面内での位置の変更方向など、構図調整に係る方向の指定が可能とされる。
構図調整に係る方向の指定操作が画面上における直感的な操作で実現され、構図調整に係る操作について操作性向上を図ることができる。

また、実施形態としての構図制御装置においては、構図指定操作情報は、画面のタッチ操作により検出され、指定位置は、画面のタッチ開始位置であるものとされている。
これにより、追尾対象とする被写体の指定操作は、画面上で被写体をタッチするという簡易な操作とすることが可能とされる。
従って、構図調整に係る操作について操作性向上を図ることができる。

さらに、実施形態としての構図制御装置においては、方向指定操作情報は画面をなぞる操作により検出されるものとされている。
これにより、構図調整に係る方向の指定操作が、画面上において構図を変更したい方向に指をスライドさせるという直感的な操作で実現可能となる。
従って、構図調整に係る操作について操作性向上を図ることができる。
また、位置の指定操作がタッチ操作であり、該位置の指定操作によって追尾対象被写体が指定される場合には、タッチした指で画面上を任意方向になぞるという操作で、追尾対象被写体の指定と、指定した被写体の画面内での位置の移動指定とを行うことが可能とされる。
従って、操作の容易性が増し、操作性のさらなる向上を図ることができる。

また、実施形態としての構図制御装置においては、制御部は、撮像装置が取り付けられた雲台装置（同５０、５０Ａ）を制御して前記撮像範囲の制御を行っている。
これにより、雲台装置により撮像装置の撮像方向を変えることによる構図調整を行うことが可能とされる。
従って、構図調整の自由度を高めることができる。

さらにまた、実施形態としての構図制御装置においては、雲台装置は、撮像装置のパン又はチルト方向における向きを調整可能に構成され、パン又はチルト方向を指定する構図指定操作情報が画面を直線状になぞる操作により検出されるものとされている。
これにより、パン又はチルト方向の指定操作は、パン又はチルト方向に沿って直線的に指をスライドさせるという直感的な操作で実現される。
従って、構図調整に係る操作について操作性向上を図ることができる。

また、実施形態としての構図制御装置においては、雲台装置は、撮像装置のロール方向における向きを調整可能に構成され、ロール方向を指定する構図指定操作情報が画面を円弧状になぞる操作とされている。
これにより、ロール方向の指定操作は、ロール方向に沿った円弧状に指をスライドさせるという直感的な操作で実現される。
従って、構図調整に係る操作について操作性向上を図ることができる。

さらに、実施形態としての構図制御装置においては、制御部は、撮像装置が取り付けられた雲台装置を制御して撮像範囲の制御を行うと共に、被写体情報が、撮像画像から検出された検出被写体を示す場合には、方向指定操作により指定された方向とは逆方向に撮像装置の向きを変化させ、被写体情報が検出被写体を示さない場合には、方向指定操作により指定された方向に撮像装置の向きを変化させるように雲台装置を制御している。
位置指定操作が検出被写体の指定操作であった場合、ユーザは、その後の方向指定操作によって検出被写体の画面内における位置を変更することを望んでいると推定できるため、該方向指定操作により指定された方向とは逆方向に撮像装置の向きを変化させる。一方、位置指定操作が検出被写体以外の位置の指定操作であった場合、ユーザは、その後の方向指定操作によって撮像方向の変化方向を直接的に指定していると推定できるため、該方向指定操作により指定された方向に撮像装置の向きを変化させる。
これにより、ユーザの意図を反映した適切な構図調整を実現することができる。

さらにまた、実施形態としての構図制御装置においては、制御部は、撮像装置が取り付けられた雲台装置を制御して撮像範囲の制御を行うと共に、被写体情報が検出被写体を示す場合は、追尾に係るパラメータとして、検出被写体の種類に応じたパラメータを用いて雲台装置を制御している。
これにより、指定された被写体が動きの速い種類の被写体である場合には追従性を高めたパラメータによる追尾制御を行い、動きの遅い種類の被写体である場合には追従性を低くしたパラメータによる追尾制御を行う等、指定された被写体に応じたパラメータによる追尾制御を行うことが可能とされる。
従って、追尾制御の精度向上を図ることができる。

また、実施形態としての構図制御装置においては、雲台装置は、撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、制御部は、雲台装置のパン方向の制御、チルト方向の制御それぞれについて、検出被写体の種類に応じたパラメータを用いている。
これにより、指定された被写体の種類に応じてパン方向、チルト方向の追尾特性を個別に設定可能となる。例えば、被写体が鳥の場合、パン、チルト方向の双方で追尾応答性を高め、被写体が犬の場合はパン方向の追尾応答性は高めるがチルト方向の追尾応答性は低くするといったことが可能とされる。
被写体の種類に応じ、追尾応答性を高める必要のない方向について過剰に応答性を高めた追尾が行われてしまうことの防止を図ることでき、追尾制御の安定性向上を図ることができる。

さらに、実施形態としての構図制御装置においては、制御部は、検出被写体の種類に応じて、パン方向及びチルト方向の追尾応答性が高いパラメータ（前述した第一パラメータ）を用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低いパラメータ（前述した第二パラメータ）を用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高いパラメータ（前述した第三パラメータ）を用いる第三追尾モードの何れかのモードによる追尾制御を行っている。
これにより、指定された被写体の種類に応じて、追尾応答性を高める必要のない方向について過剰に応答性を高めた追尾が行われてしまうことの防止が図られる。
従って、追尾制御の安定性向上を図ることができる。

さらにまた、実施形態としての構図制御装置においては、制御部は、検出被写体の種類に応じたパラメータを用いた雲台装置の制御を開始した後、該検出被写体の位置と追尾の目標位置との誤差に基づいてパラメータの調整を行っている。
指定された被写体の位置と追尾の目標位置との誤差の大きさにより、設定したパラメータが実際の被写体の動きに適しているか否かを判定可能となる。
従って、該誤差に基づいてパラメータの調整を行うことで、実際の被写体の動きに適したパラメータに調整すること可能となり、追尾制御の安定性向上を図ることができる。

また、実施形態としての構図制御装置においては、制御部は、被写体情報が、画面内における人物として検出された検出被写体を示す場合において、検出被写体について検出された人体の簡易モデル情報に基づき撮像範囲の制御を行っている。
人体の簡易モデル情報とは、人体における眼、耳、鼻、口、首、肩、肘、手首、尻、膝、足首等、人体を構成する複数部位の配置状態を表す情報である。上記構成によれば、構図変更のための撮像範囲の制御は、雲台の駆動方向や駆動量を直接指示する操作や焦点距離の調整操作に基づかず、上記の簡易モデル情報から推定される例えば被写体の各部位の位置や姿勢に基づいて行うことが可能とされる。
従って、構図調整に係るユーザの操作負担軽減を図ることができる。
また、簡易モデル情報を用いることで、画面内（撮像画像内）に収めるべき被写体の全身部分や半身部分等の特定部分の推定精度が高まるため、構図調整の正確性向上を図ることができる。例えば、顔検出により検出した顔部分から被写体の全身、半身等の特定部分を推定することもできるが、その場合よりも特定部分の推定精度が高まり、構図調整の正確性向上を図ることができる。

さらにまた、実施形態としての構図制御装置においては、制御部は、簡易モデル情報から推定される検出被写体の向きの情報に基づき、該検出被写体の正面方向側に画角中心が位置するように撮像範囲を制御している。
これにより、指定された被写体の正面側に空間が確保された自然な構図に調整することが可能とされる。
従って、ユーザの操作負担軽減を図りながら、違和感の少ない構図に調整することができる。

また、実施形態としての構図制御装置においては、構図指定操作情報は、画面のタッチ操作により検出され、指定位置は、画面のタッチ開始位置であり、制御部は、指定位置の検出後の画面上における操作に基づいて、簡易モデル情報に基づく撮像範囲の制御を行っている。
これにより、例えば被写体の全身が映る構図、半身のみが映る構図への調整等、簡易モデル情報に基づく構図調整は、画面上のタッチ操作により対象とする被写体を指定した上で、画面上における操作を行うという簡易な操作により実現可能とされる。
従って、構図調整に係る操作の容易化が図られ、ユーザの操作負担軽減を図ることができる。

さらに、実施形態としての構図制御装置においては、制御部は、画面上に撮像画像が表示される撮像装置（同１、１Ａ）とは別途の撮像装置（同３０）による撮像画像について行われた画像認識処理の結果に基づき、撮像範囲の制御を行っている。
これにより、画像認識処理に用いる撮像画像については、ユーザによる作画意図に応じたカメラ設定での撮像画像ではなく、画像認識処理に適したカメラ設定での撮像画像を用いることが可能とされる。
従って、構図調整のための撮像範囲制御を画像認識処理の結果に基づき行う場合において、画像認識処理の精度向上が図られ、構図調整の精度向上を図ることができる。

また、実施形態としての構図制御方法は、撮像装置の構図を指定する操作情報であり、撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、構図指定操作情報の指定位置に対応する被写体情報に基づいて撮像装置の構図を調整するように撮像装置の撮像範囲を制御する構図制御方法である。
このような実施形態としての構図制御方法によっても、上記した実施形態としての構図制御装置と同様の作用及び効果を得ることができる。

実施形態のプログラムは、撮像装置の構図を指定する操作情報であり、撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、構図指定操作情報の指定位置に対応する被写体情報に基づいて撮像装置の構図を調整するように撮像装置の撮像範囲を制御する機能を、情報処理装置に実現させるプログラムである。
すなわち、図１３から図１５、図１６、図１７、図１９、図２３、図２４、図２７等で説明した処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより実施形態としての構図制御装置の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御部を備える
構図制御装置。
（２）
前記制御部は、
前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御する
前記（１）に記載の構図制御装置。
（３）
前記制御部は、
前記被写体情報が、前記検出被写体を示さない場合は、前記指定位置の被写体を追尾するための制御を行わない
前記（２）に記載の構図制御装置。
（４）
前記構図指定操作情報は、前記画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、
前記制御部は、
前記方向指定操作情報に基づき前記撮像範囲を制御する
前記（１）から（３）の何れかに記載の構図制御装置。
（５）
前記構図指定操作情報は、前記画面のタッチ操作により検出され、
前記指定位置は、前記画面のタッチ開始位置である
前記（２）から（４）の何れかに記載の構図制御装置。
（６）
前記方向指定操作情報は前記画面をなぞる操作により検出される
前記（４）に記載の構図制御装置。
（７）
前記制御部は、
前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行う
前記（１）から（６）の何れかに記載の構図制御装置。
（８）
前記雲台装置は、前記撮像装置のパン又はチルト方向における向きを調整可能に構成され、
前記パン又はチルト方向を指定する前記構図指定操作情報が前記画面を直線状になぞる操作により検出される
前記（７）に記載の構図制御装置。
（９）
前記雲台装置は、前記撮像装置のロール方向における向きを調整可能に構成され、
前記ロール方向を指定する前記構図指定操作情報が前記画面を円弧状になぞる操作とされた
前記（７）又は（８）に記載の構図制御装置。
（１０）
前記制御部は、
前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合には、前記方向指定操作により指定された方向とは逆方向に前記撮像装置の向きを変化させ、前記被写体情報が前記検出被写体を示さない場合には、前記方向指定操作により指定された方向に前記撮像装置の向きを変化させるように前記雲台装置を制御する
前記（４）から（９）の何れかに記載の構図制御装置。
（１１）
前記制御部は、
前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
前記被写体情報が前記検出被写体を示す場合は、前記追尾に係るパラメータとして、前記検出被写体の種類に応じたパラメータを用いて前記雲台装置を制御する
前記（２）から（１０）の何れかに記載の構図制御装置。
（１２）
前記雲台装置は、前記撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、
前記制御部は、
前記雲台装置のパン方向の制御、チルト方向の制御それぞれについて、前記検出被写体の種類に応じた前記パラメータを用いる
前記（１１）に記載の構図制御装置。
（１３）
前記制御部は、
前記検出被写体の種類に応じて、パン方向及びチルト方向の追尾応答性が高い前記パラメータを用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低い前記パラメータを用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高い前記パラメータを用いる第三追尾モードの何れかのモードによる追尾制御を行う
前記（１２）に記載の構図制御装置。
（１４）
前記制御部は、
前記検出被写体の種類に応じた前記パラメータを用いた前記雲台装置の制御を開始した後、該検出被写体の位置と追尾の目標位置との誤差に基づいて前記パラメータの調整を行う
前記（１１）から（１３）の何れかに記載の構図制御装置。
（１５）
前記制御部は、
前記被写体情報が、前記画面内における人物として検出された検出被写体を示す場合において、前記検出被写体について検出された人体の簡易モデル情報に基づき前記撮像範囲の制御を行う
前記（１）から（１４）の何れかに記載の構図制御装置。
（１６）
前記制御部は、
前記簡易モデル情報から推定される前記検出被写体の向きの情報に基づき、該検出被写体の正面方向側に画角中心が位置するように前記撮像範囲を制御する
前記（１５）に記載の構図制御装置。
（１７）
前記構図指定操作情報は、前記画面のタッチ操作により検出され、
前記指定位置は、前記画面のタッチ開始位置であり、
前記制御部は、
前記指定位置の検出後の前記画面上における操作に基づいて、前記簡易モデル情報に基づく前記撮像範囲の制御を行う
前記（１５）又は（１６）に記載の構図制御装置。
（１８）
前記制御部は、
前記画面上に撮像画像が表示される前記撮像装置とは別途の撮像装置による撮像画像について行われた画像認識処理の結果に基づき、前記撮像範囲の制御を行う
前記（１）から（１７）の何れかに記載の構図制御装置。

１，１Ａ 撮像装置、５ 画像認識処理部、７ ドライバ部、８ 制御部、９ 操作部、９ａ タッチパネル、１０ 表示部、１０ａ 画面、３０ 撮像装置、５０，５０Ａ 雲台装置、５６ アクチュエータ、５７ 駆動制御部、Ｆ１ 位置誤差計算処理部、Ｆ２ 制御値計算処理部、Ｆ３ 駆動量換算処理部、Ｐｔ 目標位置、ｄ 誤差（位置誤差）

Claims (19)

1. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御部を備え、
   前記構図指定操作情報は、前記画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、
   前記制御部は、
   前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
   前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
   前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合には、前記方向指定操作により指定された方向とは逆方向に前記撮像装置の向きを変化させ、前記被写体情報が前記検出被写体を示さない場合には、前記方向指定操作により指定された方向に前記撮像装置の向きを変化させるように前記雲台装置を制御する
   構図制御装置。
2. 前記構図指定操作情報は、前記画面のタッチ操作により検出され、
   前記指定位置は、前記画面のタッチ開始位置である
   請求項１に記載の構図制御装置。
3. 前記方向指定操作情報は前記画面をなぞる操作により検出される
   請求項１に記載の構図制御装置。
4. 前記雲台装置は、前記撮像装置のパン又はチルト方向における向きを調整可能に構成され、
   前記パン又はチルト方向を指定する前記構図指定操作情報が前記画面を直線状になぞる操作により検出される
   請求項１に記載の構図制御装置。
5. 前記雲台装置は、前記撮像装置のロール方向における向きを調整可能に構成され、
   前記ロール方向を指定する前記構図指定操作情報が前記画面を円弧状になぞる操作とされた
   請求項１に記載の構図制御装置。
6. 前記制御部は、
   前記被写体情報が、前記画面内における人物として検出された検出被写体を示す場合において、前記検出被写体について検出された人体の簡易モデル情報に基づき前記撮像範囲の制御を行う
   請求項１に記載の構図制御装置。
7. 前記制御部は、
   前記簡易モデル情報から推定される前記検出被写体の向きの情報に基づき、該検出被写体の正面方向側に画角中心が位置するように前記撮像範囲を制御する
   請求項６に記載の構図制御装置。
8. 前記構図指定操作情報は、前記画面のタッチ操作により検出され、
   前記指定位置は、前記画面のタッチ開始位置であり、
   前記制御部は、
   前記指定位置の検出後の前記画面上における操作に基づいて、前記簡易モデル情報に基づく前記撮像範囲の制御を行う
   請求項６に記載の構図制御装置。
9. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行うと共に、
   前記構図指定操作情報は、前記画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、
   前記制御処理では、
   前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
   前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
   前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合には、前記方向指定操作により指定された方向とは逆方向に前記撮像装置の向きを変化させ、前記被写体情報が前記検出被写体を示さない場合には、前記方向指定操作により指定された方向に前記撮像装置の向きを変化させるように前記雲台装置を制御する
   構図制御方法。
10. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行う機能を、情報処理装置に実現させる共に、
    前記構図指定操作情報は、前記画面の面内における方向を指定する方向指定操作に基づく方向指定操作情報を含み、
    前記制御処理では、
    前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合には、前記方向指定操作により指定された方向とは逆方向に前記撮像装置の向きを変化させ、前記被写体情報が前記検出被写体を示さない場合には、前記方向指定操作により指定された方向に前記撮像装置の向きを変化させるように前記雲台装置を制御する
    プログラム。
11. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御部を備え、
    前記制御部は、
    前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
    前記雲台装置は、前記撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、
    前記制御部は、
    前記検出被写体の種類に応じて、前記検出被写体の追尾に用いるパラメータとしてパン方向及びチルト方向の追尾応答性が高い前記パラメータを用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低い前記パラメータを用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高い前記パラメータを用いる第三追尾モードの何れかのモードによる追尾制御を行う
    構図制御装置。
12. 前記構図指定操作情報は、前記画面のタッチ操作により検出され、
    前記指定位置は、前記画面のタッチ開始位置である
    請求項１１に記載の構図制御装置。
13. 前記制御部は、
    前記検出被写体の種類に応じた前記パラメータを用いた前記雲台装置の制御を開始した後、該検出被写体の位置と追尾の目標位置との誤差に基づいて前記パラメータの調整を行う
    請求項１１に記載の構図制御装置。
14. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行うと共に、
    前記制御処理では、
    前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
    前記雲台装置は、前記撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、
    前記制御処理では、
    前記検出被写体の種類に応じて、前記検出被写体の追尾に用いるパラメータとしてパン方向及びチルト方向の追尾応答性が高い前記パラメータを用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低い前記パラメータを用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高い前記パラメータを用いる第三追尾モードの何れかのモードによる追尾制御を行う
    構図制御方法。
15. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行う機能を、情報処理装置に実現させると共に、
    前記制御処理では、
    前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行うと共に、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御し、
    前記雲台装置は、前記撮像装置のパン方向及びチルト方向の向きを調整可能に構成され、
    前記制御処理では、
    前記検出被写体の種類に応じて、前記検出被写体の追尾に用いるパラメータとしてパン方向及びチルト方向の追尾応答性が高い前記パラメータを用いる第一追尾モードと、パン方向及びチルト方向の追尾応答性が低い前記パラメータを用いる第二追尾モードと、パン方向、チルト方向の何れか一方の追尾応答性が低く、パン方向、チルト方向の何れか他方の追尾応答性が高い前記パラメータを用いる第三追尾モードの何れかのモードによる追尾制御を行う
    プログラム。
16. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御部を備え、
    前記構図指定操作情報は、前記画面のタッチ操作によるタッチ開始位置として指定された前記指定位置の情報と、前記画面をなぞる操作である方向指定操作に基づく方向指定操作情報とを含み、
    前記制御部は、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御すると共に、前記方向指定操作情報に基づき、前記追尾の際の構図を調整する制御を行う
    構図制御装置。
17. 前記制御部は、
    前記撮像装置が取り付けられた雲台装置を制御して前記撮像範囲の制御を行う
    請求項１６に記載の構図制御装置。
18. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行うと共に、
    前記構図指定操作情報は、前記画面のタッチ操作によるタッチ開始位置として指定された前記指定位置の情報と、前記画面をなぞる操作である方向指定操作に基づく方向指定操作情報とを含み、
    前記制御処理では、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御すると共に、前記方向指定操作情報に基づき、前記追尾の際の構図を調整する制御を行う
    構図制御方法。
19. 撮像装置の構図を指定する操作情報であり、前記撮像装置の撮像画像を表示する画面上における指定位置の情報を含む構図指定操作情報を取得し、前記構図指定操作情報の前記指定位置に対応する被写体情報に基づいて前記撮像装置の構図を調整するように前記撮像装置の撮像範囲を制御する制御処理を行う機能を、情報処理装置に実現させると共に、
    前記構図指定操作情報は、前記画面のタッチ操作によるタッチ開始位置として指定された前記指定位置の情報と、前記画面をなぞる操作である方向指定操作に基づく方向指定操作情報とを含み、
    前記制御処理では、
    前記被写体情報が、前記撮像画像から検出された検出被写体を示す場合は、前記検出被写体を追尾するように前記撮像範囲を制御すると共に、前記方向指定操作情報に基づき、前記追尾の際の構図を調整する制御を行う
    プログラム。

Images