JP2020167517A - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents

Abstract

【課題】ユーザが撮像装置から離れている場合でも、容易に所望の被写体を撮像できるようにする。【解決手段】ユーザが使用する副撮像装置６０では被写体（位置Ｃ）を撮像して副撮像画像を生成する。雲台４０で撮像方向が変更可能な主撮像装置２０は、副撮像装置６０で遠隔制御されて副撮像装置６０で撮像される被写体を撮像して副撮像画像と異なる画角の主撮像画像を生成する。副撮像装置６０に設けられている画像合成部は、副撮像装置６０で生成された副撮像画像と主撮像装置２０によって生成された主撮像画像とを合成して表示画像を生成する。副撮像装置６０に設けられた表示部では、画像合成部で生成された表示画像を表示する。ユーザは、副撮像装置６０を用いて、副撮像装置６０から離れている主撮像装置２０で容易に所望の被写体を撮像できる。また、異なる画角の撮像画像で被写体を確認できる。【選択図】 図１

Description

この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、ユーザが撮像装置から離れている場合でも、容易に注目被写体の撮像を可能とする。

従来、撮像装置で望遠撮影を行う際には、撮影時の画角が狭くなるため、構図確認中に一度被写体を見逃すと、被写体を探し難いことがある。これを解消するため、例えば特許文献１では、本体レンズを用いてカメラ本体で生成された第１の画像と、本体レンズとは異なる画角のアタッチメントレンズを用いてカメラ本体に装着されたアタッチメントで生成された第２の画像を用いて、撮影範囲が広い側の画像に撮影範囲が狭い側の画像の撮影範囲枠を重畳させることが行われている。

特開２０１３−２３５１９５号公報

ところで、特許文献１では、カメラ本体にアタッチメントが装着されていることから、撮影範囲が広い側の画像には、撮影範囲が狭い側の画像の撮影範囲枠が含まれる。しかし、カメラ本体とアタッチメントが分離されている場合、撮影範囲が広い側の画像には、撮影範囲が狭い側の画像の撮像範囲が含まれない場合が生じて、被写体を探し難くなってしまう。

そこで、この技術では、ユーザが撮像装置から離れている場合でも、容易に注目被写体の撮像を可能とする画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。

この技術の第１の側面は、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置にある。

この技術において、副撮像装置では被写体を撮像して副撮像画像が生成される。また、副撮像装置で遠隔制御される主撮像装置は、例えば副撮像装置で撮像される被写体を撮像して副撮像画像と異なる画角の主撮像画像が生成される。画像合成部は、副撮像装置で生成された副撮像画像と、主撮像装置によって生成された主撮像画像とを合成して表示画像を生成する。

また、画像合成部では、被写体を撮像したときの主撮像装置と副撮像装置との視差と予め設定された第１閾値または第１閾値と第１閾値よりも大きい第２閾値との比較結果に応じて画像合成動作を切り替える。視差を算出する視差算出部は、副撮像装置で撮像される被写体までの距離と副撮像装置と主撮像装置の初期状態からの動きに基づいて視差を算出する。

画像合成部は、視差が第１閾値以下である場合、副撮像画像と主撮像画像を合成して表示画像を生成する。例えば、画像合成部は、副撮像画像と主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して表示画像を生成してもよく、副撮像画像と主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して表示画像を生成してもよい。また、画像合成部は、視差が第１閾値よりも大きく第２閾値以下である場合、副撮像画像と主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。例えば副撮像画像は主撮像画像よりも画角を広くして、画像合成部は、副撮像画像に主撮像装置で撮像される範囲を示す撮像領域表示を重畳して表示画像を生成する。また、画像合成部は、視差算出部で算出された視差が第２閾値よりも大きい場合、副撮像画像と主撮像画像のいずれか一方の撮像画像に他方の撮像画像の合焦位置を示す合焦位置表示を設けて表示画像を生成する。例えば副撮像画像は主撮像画像よりも画角を広くして、画像合成部は、副撮像画像に主撮像装置の合焦位置を示す合焦位置表示を重畳して表示画像を生成する。

この技術の第２の側面は、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を画像合成部で生成すること
を含む画像処理方法にある。

この技術の第３の側面は、
表示画像の生成をコンピュータで実行させるプログラムであって、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する手順
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
被写体を撮像する撮像部と、
前記撮像部で撮像される前記被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を主撮像装置へ送信する通信部と、
前記撮像部で生成された副撮像画像と、前記被写体位置情報に基づき前記主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と
を備える撮像装置にある。

この技術において、表示部はユーザの眼の位置として、撮像部はユーザの前方を撮像する位置として、測距部はユーザの前方正面に位置する被写体までの距離を測定する位置としてホールド部によって保持される。撮像部では被写体を撮像して、測距部は撮像部で撮像される被写体までの距離を測定する。モーションセンサ部は初期状態からの動きを測定する。初期状態は測距部と主撮像装置を対向させた状態であり、測距部で測定された主撮像装置までの距離と主撮像装置の方向を動きの基準とする。通信部は、測距部で測定された距離とモーションセンサ部で測定された動きを示す被写体位置情報を主撮像装置へ送信する。画像合成部は、撮像部で生成された副撮像画像と、被写体位置情報に基づき主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する。表示部は画像合成部で生成された表示画像を表示する。

撮像システムの構成を示す図である。 副撮像装置を例示した図である。 撮像システムの構成を例示した図である。 撮像制御部の機能構成を例示した図である。 撮像システムの動作を例示したフローチャートである。 撮像制御部における被写体位置算出部の動作を説明するための図である。 撮像制御部における被写体位置算出部の他の動作を説明するための図である。 表示画像の生成動作例を示した図である。 画像合成動作を例示したフローチャートである。 画像合成部の動作例を示す図である。 表示画像例を例示した図である。 画像合成部の動作例を示す図である。 画像合成部の動作例を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムについて
２．実施の形態について
２−１．撮像システムの構成
２−２．撮像システムの動作
２−３．撮像制御部の動作例
２−４．撮像制御部の動作例
２−５．表示画像の生成動作
２−６．表示画像の他の生成動作
３．他の実施の形態
４．応用例

＜１．撮像システムについて＞
図１は、本技術の画像処理装置と撮像装置を用いた撮像システムの構成を示している。

撮像システム１０は、主撮像装置２０と雲台４０と副撮像装置６０を有している。主撮像装置２０は、例えば雲台４０に固定されており、雲台４０によって撮像方向が変更可能とされている。また、主撮像装置２０と副撮像装置６０は無線または有線の伝送路を介して通信を行うことができるように構成されている。副撮像装置６０には本技術の画像処理装置が設けられている。副撮像装置６０は、ユーザの例えば頭部に装着できるように構成されている。

副撮像部装置６０は、撮像装置２０あるいは撮像装置２０と雲台４０の遠隔操作を行い、離れた位置からユーザが撮像対象として注目する被写体（「注目被写体」ともいう）を撮像装置２０で撮像できるようにする。主撮像装置２０あるいは副撮像装置６０は、主撮像装置２０と副撮像装置６０の相対位置関係、および副撮像装置６０で生成された被写体位置情報に基づき、方向制御信号を生成して雲台４０へ出力する。雲台４０は、方向制御信号に基づき撮像装置２０を移動させて、注目被写体ＯＢを撮像装置２０で撮像できるようにする。

また、副撮像装置６０には主撮像装置２０と画角が異なる撮像部を設けて、副撮像装置６０は、主撮像装置２０で生成された注目被写体の画像と副撮像装置６０に設けた撮像部で生成された注目被写体の画像とを用いて画像合成を行い、表示画像を生成する。

＜２．実施の形態について＞
次に、実施の形態について説明する。なお、実施の形態では、副撮像装置６０がユーザの頭部に装着できるように構成されている場合を例示する。

図２は、副撮像装置を例示している。なお、図２の（ａ）は副撮像装置の外観、図２の（ｂ）は副撮像装置の使用状態を示している。副撮像装置６０は、ホールド部６１、アーム部６２、接眼ブロック６３、回路ブロック６４および電源部６５を有している。

ホールド部６１は、副撮像装置６０がユーザの頭部に装着されたときに、頭部から副撮像装置６０が外れないように副撮像装置６０を保持する。ホールド部６１は、例えば上面からみてＵ字状のネックバンド６１０と、ネックバンド６１０の先端に設けられた耳当て部６１１Ｌ，６１１Ｒで構成されている。ホールド部６１は、湾曲部分がユーザの後頭部（あるいは頸部）に接した状態で、耳当て部６１１Ｌ，６１１Ｒによって頭部を挟持して、あるいは耳当て部６１１Ｌ，６１１Ｒが耳に係止されて、ユーザの頭部に対して所定の位置で保持される。

ホールド部６１の一方の端部には、前方に延出するアーム部６２が設けられており、アーム部６２の先端には接眼ブロック６３が設けられている。

接眼ブロック６３は、表示部７７を有しており、電子ビューファインダとしての動作を行う。また、接眼ブロック６３は、撮像光学系ブロック７３と撮像部７４を有しており、ユーザの前方を撮像する。さらに、接眼ブロック６３は、測距部７１１を有しており、撮像部７４で撮像される注目被写体、すなわちユーザの前方正面に位置する注目被写体までの距離を測定する。また、接眼ブロック６３には、表示部７７の表示画像の画像視認動作を検出する検出部、例えばユーザが接眼ブロック６３を覗いているかを検出する接眼検出部を設けて、検出結果に基づき表示制御を行い、表示画像の画像視認動作を検出したことに応じて後述する画像合成を行うようにしてもよい。

一方の耳当て部６１１Ｒには、回路ブロック６４が設けられており、回路ブロック６４にはモーションセンサ部７１２と通信部７２、視差算出部７５、画像合成部７６が設けられている。他方の耳当て部６１１Ｌには電源部６５が設けられている。モーションセンサ部７１２は、例えば３軸加速度と３軸角速度及び３軸地磁気（方位）を検出する９軸センサを用いて構成されており、副撮像装置６０の位置変化や姿勢変化の変化量等を示す動き情報を生成する。視差算出部７５は、主撮像装置２０の撮像部２２と副撮像装置６０の撮像部７４との視差を算出する。画像合成部７６は撮像部７４で生成された撮像画像と通信部７２で受信した撮像画像を合成して表示画像を生成する。また、画像合成部７６は、視差算出部７５で算出された視差に応じて画像合成動作を切り替える。また、画像合成部７６は、表示画像の画像視認動作を検出したことに応じて画像合成を行い表示画像を生成してもよい。

通信部７２は、測距部７１１で測定した注目被写体ＯＢまでの距離とモーションセンサ部７１２で生成した動き情報を含む被写体位置情報を主撮像装置２０へ送信する。また、通信部７２は主撮像装置２０から送信された画像信号を受信して画像合成部７６へ出力する。電源部６５は、通信部７２、撮像部７４、視差算出部７５、画像合成部７６、表示部７７、測距部７１１およびモーションセンサ部７１２に対して電力供給を行う。なお、図２に示す電源部６５やモーションセンサ部７１２および通信部７２、視差算出部７５、画像合成部７６の配置は例示であって、他の位置に設けられていてもよい。

＜２−１．撮像システムの構成＞
次に、撮像システムの構成について説明する。撮像システム１０では、主撮像装置２０の位置が固定されており、雲台４０によって主撮像装置２０の撮像方向がパン方向やチルト方向に移動可能とされている。また、副撮像装置６０の位置は移動可能である。

図３は、撮像システムの構成を例示している。主撮像装置２０は、撮像光学系ブロック２１、撮像部２２、画像処理部２３、通信部２４、位置姿勢検出部２８、制御部３０を有している。また、主撮像装置２０は、表示部２５、記録部２６、出力部２７を有してもよい。

撮像光学系ブロック２１は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系ブロック２１には、ズームレンズやアイリス機構等が設けられてもよい。

撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像処理部２３へ出力する。また、撮像部２２は、生成した画像信号を記録部２６や出力部２７へ出力する
画像処理部２３は、撮像部２２から供給された画像信号を副撮像装置６０の表示部７７の表示解像度に応じた画像信号に変換して、変換後の画像信号を通信部２４へ出力する。また、画像処理部２３は、撮像部２２から供給された画像信号を表示部２５の表示解像度に応じた画像信号に変換して表示部２５へ出力する。

位置姿勢検出部２８は、主撮像装置２０の姿勢あるいは姿勢と位置，姿勢変化，位置変化等を検出して位置姿勢検出結果を制御部３０へ出力する。

通信部２４は、副撮像装置６０と通信を行い、画像処理部２３から供給された画像信号を副撮像装置６０へ送信する。また、副撮像装置６０から送信された被写体位置情報を受信して制御部３０へ出力する。

表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像処理部２３から供給された画像信号に基づき、主撮像装置２０で生成した撮像画像を表示する。また、表示部２５は、制御部３０からの制御信号に基づき主撮像装置２０のメニュー表示等を行う。

記録部２６は、主撮像装置２０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部２６は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を記録媒体に記録する。また、出力部２７は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を外部機器へ出力する。

制御部３０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭは、ＣＰＵにより実行される各種プログラムを記憶する。ＲＡＭは、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザ操作に応じた動作が主撮像装置２０で行われるように各部を制御する。また、制御部３０には、副撮像装置６０から供給された被写体位置情報に基づき、注目被写体ＯＢを主撮像装置２０で撮像するように制御する撮像制御部３１が設けられている。

図４は、撮像制御部の機能構成を例示している。撮像制御部３１は、被写体位置算出部３１１と撮像方向制御部３１２およびフォーカス制御部３１３を有している。なお、主撮像装置２０の被写界深度が大きくフォーカス調整が不要である場合、撮像制御部３１は、フォーカス制御部３１３を有していなくともよい。

被写体位置算出部３１１は、位置姿勢検出部２８の位置姿勢検出結果と副撮像装置６０から供給された被写体位置情報に基づき、注目被写体の方向と注目被写体までの距離とを算出する。なお、注目被写体の方向と注目被写体までの距離の算出の詳細については後述する。被写体位置算出部３１１は、注目被写体の方向の算出結果を撮像方向制御部３１２へ出力して、注目被写体までの距離の算出結果をフォーカス制御部３１３へ出力する。

撮像方向制御部３１２は、注目被写体の方向の算出結果に基づき、主撮像装置２０の撮像方向が注目被写体の方向となるように方向制御信号を生成して雲台４０へ出力する。また、フォーカス制御部３１３は、注目被写体までの距離の算出結果に基づき、主撮像装置２０のフォーカス位置が注目被写体となるようにフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。

図３に戻り、副撮像装置６０の構成について説明する。副撮像装置６０は、被写体位置情報生成部７１、通信部７２、撮像光学系ブロック７３、撮像部７４、視差算出部７５、画像合成部７６、表示部７７を有している。また、被写体位置情報生成部７１は、測距部７１１とモーションセンサ部７１２を有している。

上述したように、測距部７１１は、副撮像装置６０を装着しているユーザの前方正面に位置する注目被写体までの距離を測定する。モーションセンサ部７１２は、副撮像装置６０の位置変化や姿勢変化の変化量等を示す動き情報を生成する。被写体位置情報生成部７１は、測距部７１１で測定した注目被写体までの距離とモーションセンサ部７１２で生成した動き情報を含む被写体位置情報を生成して通信部７２へ出力する。

通信部７２は、被写体位置情報生成部７１で生成された被写体位置情報を主撮像装置２０へ送信する。また、通信部７２は、主撮像装置２０から送信された画像信号を受信して画像合成部７６へ出力する。

撮像光学系ブロック７３は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部７４の撮像面に結像させる。また、撮像光学系ブロック７３には、ズームレンズ等が設けられてもよい。

撮像部７４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像合成部７６へ出力する
視差算出部７５は、被写体位置情報生成部７１で生成された被写体位置情報に基づき、撮像部７４と主撮像装置２０の撮像部２２との視差を算出する。視差算出部７５は算出した視差を画像合成部７６へ出力する。

画像合成部７６は、撮像部７４で生成された画像信号と通信部７２で受信した主撮像装置２０からの画像信号を用いて表示信号を生成する。また、表示信号の生成は、後述するように、視差算出部７５で算出された視差に応じて行う。また、

画像合成部７６は、生成した表示信号を表示部へ出力する。

表示部７７は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部７７は画像合成部７６で生成した表示信号に基づき撮像画像を表示する。

＜２−２．撮像システムの動作＞
図５は、撮像システムの動作を例示したフローチャートである。ステップＳＴ１で撮像システム１０はキャリブレーション処理を行う。撮像システム１０は、主撮像装置２０と副撮像装置６０が対向する状態を初期状態として、例えば副撮像装置６０によって主撮像装置２０までの距離を算出して基準距離とする。また、主撮像装置２０は副撮像装置６０の方向を基準方向、副撮像装置６０は主撮像装置２０の方向を基準方向としてステップＳＴ２に進む。

ステップＳＴ２で副撮像装置は注目被写体の位置を測定する。ユーザは、キャリブレーション処理後に注目被写体が前方正面となるように姿勢を変更して、副撮像装置６０は、測距部７１１で前方正面に位置する注目被写体までの距離を測定して、モーションセンサ部７１２で基準方向を基準とした注目被写体方向への動き（姿勢変化を示す角度）を示す動き情報を生成する。また、ユーザが移動する場合、副撮像装置６０のモーションセンサ部７１２では、移動した距離と方向を示す動き情報を生成する。副撮像装置６０は、測定した距離と動き情報を含む被写体位置情報を主撮像装置２０へ送信してステップＳＴ３に進む。

ステップＳＴ３で主撮像装置の撮像制御部は注目被写体撮像制御を行う。撮像制御部３１は、副撮像装置６０から供給された被写体位置情報に基づき、主撮像装置２０における注目被写体方向と注目被写体までの距離を算出する。また、撮像制御部３１は、注目被写体方向に基づき方向制御信号を生成して、注目被写体までの距離に基づきフォーカス制御信号を生成してステップＳＴ４に進む。

ステップＳＴ４で雲台と主撮像装置は駆動処理を行う。雲台４０はステップＳＴ３で生成された方向制御信号に基づき主撮像装置２０の撮像方向を注目被写体方向に移動させる。また、主撮像装置２０では、ステップＳＴ３で生成されたフォーカス制御信号に基づき撮像光学系ブロック２１を駆動して、焦点位置が注目被写体の位置となるようにフォーカス調整を行いステップＳＴ５に進む。なお、主撮像装置２０の被写界深度が大きい場合はフォーカス調整を行わなくてもよい。

ステップＳＴ５で副撮像装置は画像表示処理を行う。副撮像装置６０の画像合成部は、副撮像装置６０で生成した撮像画像と主撮像装置２０で生成された撮像画像等を用いて画像合成を行い、表示画像の画像信号を生成して表示部７７へ出力してステップＳＴ２に戻る。

＜２−３．撮像制御部の動作例＞
次に、撮像制御部の動作例について説明する。図６は、撮像制御部における被写体位置算出部の動作を説明するための図である。なお、図６では、雲台４０に取り付けられた主撮像装置２０の位置を「Ａ」、副撮像装置６０の位置を「Ｂ」、注目被写体の位置を「Ｃ」として示している。

撮像システム１０では、主撮像装置２０と副撮像装置６０を対向させてキャリブレーションを行い、このときの主撮像装置２０と副撮像装置６０の姿勢を初期状態とする。また、副撮像装置６０は、初期状態において主撮像装置２０までの距離Ｄabを測定して主撮像装置２０へ送信する。

その後、副撮像装置６０を装着したユーザは、主撮像装置２０から注目被写体の方向に向きを変えて、副撮像装置６０の測距部７１１は、位置Ｂから位置Ｃまでの距離Ｄbcを測定する。また、モーションセンサ部７１２は、基準方向（位置Ａの方向）に対する位置Ｃの方向の角度θabcを測定する。副撮像装置は距離Ｄbcと角度θabcを被写体位置情報として主撮像装置２０へ送信する。

主撮像装置２０の被写体位置算出部３１１は、式（１）に基づき主撮像装置の位置Ａから被写体の位置Ｃまでの距離Ｄacを算出する。

また、被写体位置算出部３１１は、式（２）に基づき主撮像装置２０における基準方向（位置Ｂの方向）に対する位置Ｃの方向の角度θbacを算出する。

被写体位置算出部３１１は、算出した角度θbacを撮像方向制御部３１２へ出力することで、撮像方向制御部３１２では、主撮像装置２０の撮像方向を基準方向（位置Ｂの方向）に対して角度θbacの方向とする方向制御信号を生成して雲台４０へ出力する。したがって、主撮像装置２０の撮像方向を、注目被写体の方向とすることができる。

被写体位置算出部３１１は、算出した距離Ｄacをフォーカス制御部３１３へ出力することで、フォーカス制御部３１３では、主撮像装置２０の焦点位置を距離Ｄacとするフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。したがって、主撮像装置２０の焦点を注目被写体に合わせることができる。

また、ユーザは注目被写体を追従するように姿勢を変えれば、副撮像装置６０では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写体位置情報が生成されて主撮像装置２０へ送信される。したがって、主撮像装置２０は、新たな被写体位置情報に基づき撮像方向制御やフォーカス制御を行うことで、撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。

さらに、主撮像装置２０で取得された撮像画像は、副撮像装置６０の表示部７７に表示されるので、注目被写体に焦点が合っている状態で撮像動作が行われているか確認できるようになる。

＜２−４．撮像制御部の他の動作例＞
次に、撮像制御部の他の動作例として、注目被写体だけでなくユーザの位置が移動する場合について説明する。

図７は、撮像制御部における被写体位置算出部の他の動作を説明するための図である。なお、図７では、雲台４０に取り付けられた主撮像装置２０の位置を「Ａ」、副撮像装置６０の位置を「Ｂ」、注目被写体の位置を「Ｃ」、移動後の副撮像装置６０の位置を「Ｂ’」、移動後の注目被写体の位置を「Ｃ’」として示している。また、位置Ａと位置Ｂを結ぶ直線と位置Ｂ’と位置Ｃ’を結ぶ直線との交点を「ｑ」とする。

撮像システム１０では、主撮像装置２０と副撮像装置６０を対向させてキャリブレーションを行い、このときの主撮像装置２０と副撮像装置６０の姿勢を初期状態とする。また、副撮像装置６０は、初期状態において主撮像装置２０までの距離Ｄabを測定して主撮像装置２０へ送信する。

その後、副撮像装置６０を装着したユーザは、主撮像装置２０から注目被写体の方向に向きを変えて、副撮像装置６０の測距部７１１は、位置Ｂから位置Ｃまでの距離Ｄbcを測定する。また、モーションセンサ部７１２は、基準方向（位置Ａの方向）に対する位置Ｃの方向の角度θabcを測定する。副撮像装置は距離Ｄbcと角度θabcを被写体位置情報として主撮像装置２０へ送信する。

主撮像装置２０の被写体位置算出部３１１は、式（１）に基づき主撮像装置の位置Ａから被写体の位置Ｃまでの距離Ｄacを算出する。

副撮像装置６０を装着したユーザが位置Ｂから位置Ｂ’に移動した場合、副撮像装置６０のモーションセンサ部７１２は、位置Ｂから位置Ｂ’までの距離Ｄbb'と角度θaqc'を測定する。また、副撮像装置６０の測距部７１１は、位置Ｂ’から移動後の被写体の位置Ｃ’までの距離Ｄb'c'を測定する。副撮像装置６０は距離Ｄbb'と距離Ｄb'c'と角度θaqc'の測定結果を被写体位置情報として主撮像装置２０へ送信する。

主撮像装置２０の被写体位置算出部３１１は、距離Ｄabと距離Ｄbb'に基づいて距離Ｄb'aを算出する。さらに、被写体位置算出部３１１は、式（３）に基づき副撮像装置６０が位置Ｂであるときの基準方向（位置Ａの方向）に対する移動後の位置Ｂ’の方向の角度θabb’を算出する。

また、被写体位置算出部３１１は、式（４）に基づき主撮像装置２０における基準方向（位置Ｂの方向）から交点ｑまでの距離Ｄbqを算出する。なお、角度θbb'c'は、角度θabB'と角度θaqc'に基づいて算出される。

被写体位置算出部３１１は、距離Ｄabから距離Ｄbqを減算することで距離Ｄqaを算出する。また、被写体位置算出部３１１は、例えば距離Ｄbb'と角度θabb'，θbb'qに基づいて距離Ｄb'qを算出して、算出した距離Ｄb'qを距離Ｄb'c'から減算することで距離Ｄc'qを算出する。さらに、被写体位置算出部３１１は、式（５）に基づき距離Ｄac'を算出する。

また、被写体位置算出部３１１は、式（６）に基づき主撮像装置２０における基準方向（位置Ｂの方向）に対する位置Ｃ’の方向の角度θbac'を算出する。

被写体位置算出部３１１は、算出した角度θbac'を撮像方向制御部３１２へ出力することで、撮像方向制御部３１２では、主撮像装置２０の撮像方向を基準方向（位置Ｂの方向）に対して角度θbac'の方向とする方向制御信号を生成して雲台４０へ出力する。したがって、主撮像装置２０の撮像方向を、移動後の注目被写体の方向とすることができる。

また、被写体位置算出部３１１は、算出した距離Ｄac'をフォーカス制御部３１３へ出力することで、フォーカス制御部３１３では、主撮像装置２０の焦点位置を距離Ｄac'とするフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。したがって、主撮像装置２０の焦点を移動後の注目被写体に合わせることができる。

また、ユーザは注目被写体を追従するように姿勢と位置を変えれば、副撮像装置６０では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写体位置情報が生成されて主撮像装置２０へ送信される。したがって、主撮像装置２０は、新たな被写体位置情報に基づき撮像方向制御やフォーカス制御を行うことで、ユーザが移動しても撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。

また、主撮像装置は固定状態に限らず移動可能としてもよい。この場合、主撮像装置が初期状態であるときの方向を基準として注目被写体の方向を示す角度と注目被写体までの距離を算出する。さらに、注目被写体の方向を示す角度と注目被写体までの距離を、主撮像装置の移動方向や移動量に報じて補正して、注目被写体の方向と注目被写体までの距離を算出してもよい。

＜２−５．表示画像の生成動作について＞
副撮像装置６０では、撮像部７４で生成された副撮像画像と、副撮像画像と画角が異なる主撮像装置２０で生成された主撮像画像を合成する。なお、主撮像画像は、上述のように副撮像装置６０から供給した被写体位置情報に基づき、撮像部７４で撮像する被写体方向に撮像方向が制御された主撮像装置２０で生成された撮像画像である。

図８は表示画像の生成動作例を示している。図８の（ａ）において、領域ＡＲｓは副撮像装置６０の撮像範囲を示しており、中心に位置する被写体が注目被写体ＯＢである。主撮像装置２０は、副撮像装置６０から供給した被写体位置情報に基づき、撮像方向が制御されて注目被写体ＯＢを撮像する。なお、領域ＡＲｍは主撮像装置２０の撮像範囲を示しており、副撮像装置６０に比べて主撮像装置２０の倍率が高く画角が狭くなっている。

副撮像装置６０の画像合成部７６は、図８の（ｂ）に示すように、主撮像装置２０で生成された主撮像画像Ｐｍを撮像部７４で生成された副撮像画像Ｐｓの例えば中央部分に重畳して表示画像を生成すれば、注目被写体ＯＢが主撮像装置２０の撮像範囲である領域ＡＲｍから外れても、撮像部７４で生成された副撮像画像Ｐｓに基づき注目被写体ＯＢの位置を把握できる。このため、注目被写体ＯＢが前方正面となるようにユーザが姿勢を変更することで、容易に注目被写体ＯＢを主撮像装置２０で追従して撮像できるようになる。なお、副撮像画像Ｐｓに対する主撮像画像Ｐｍの重畳位置は、副撮像画像Ｐｓの中央に限られない。例えば、副撮像画像Ｐｓに対する主撮像画像Ｐｍの重畳位置を中央位置から所定量だけずらして重畳させてもよい。

また、画像合成部７６は、画角の狭い主撮像画像Ｐｍに対して画角の広い副撮像画像を縮小して重畳することで表示画像を生成してもよい。このように表示画像を生成すれば、主撮像装置２０で生成された撮像画像を確認しながら、縮小表示されている副撮像画像で全体の状況を確認できる。

このように、本技術によれば、主撮像装置２０で所望の被写体を撮影中に撮像範囲から被写体が外れても、ユーザは副撮像装置６０の撮像部７４で生成された副撮像画像を利用して、所望の被写体が前方正面に位置するように姿勢を変更するだけで、引き続き主撮像装置２０で所望の被写体を撮影できるようになる。また、副撮像装置６０の表示部７７では主撮像装置２０で生成された主撮像画像が表示されるので主撮像装置２０の動作状態を確認することができる。さらに、副撮像装置６０は、主撮像装置２０と一体に設ける必要がないので、特許文献１のようにアタッチメントを撮像装置に取り付けた場合のように、撮像装置に装着された撮像レンズによってアタッチメントで生成される画像にケラレを生じるような不具合を生じることもない。

また、副撮像装置６０を例えばビューファインダとして機能させる場合、主撮像装置２０は副撮像装置６０で生成される副撮像画像よりも高画質の主撮像画像を生成して、副撮像装置６０は主撮像装置２０よりも小型軽量化すれば、操作性が良好で高画質の撮像画像を記録あるいは出力できる撮像システムを提供できる。

＜２−６．表示画像の他の生成動作＞
ところで、主撮像装置２０から副撮像装置６０までの距離が短く注目被写体までの距離が長い場合には視差が小さいことから、表示画像では視差の影響が少ない。しかし、視差が大きくなると、表示画像は異なる視点の合成画像であることが顕著となってしまう。そこで、他の表示動作では、視差に応じて画像合成部７６の動作を切り替えて、視差の影響の少ない表示画像を生成する。

次に視差に応じて表示画像を切り替える場合の表示動作について説明する。この場合、視差算出部７５は、副撮像装置６０で撮像される注目被写体までの距離と副撮像装置６０と主撮像装置２０の初期状態からの動きに基づき注目被写体を副撮像装置と主撮像装置で撮像するときの視差を算出する。

視差算出部７５は、上述の撮像制御部３１と同様に角度θabcと角度θbacを算出して、三角形（ＡＢＣ）の内角の和から角度θabcと角度θbaを減算して視差を示す角度θacbを算出する。また、ユーザと被写体が移動した場合、例えば角度θaqc'と角度θbac'を用いて角度θac'b'を算出すればよい。なお、以下の説明では、注目被写体の視差を「θp」とする。

視差算出部７５は、算出した視差θpを画像合成部７６へ出力する。画像合成部７６は、視差算出部７５で算出された視差θp（＝θacb，θac'b'）と、予め設定された第１閾値または第１閾値と第１閾値よりも大きい第２閾値との比較結果に応じて画像合成動作を切り替える。

図９は,画像合成動作を例示したフローチャートである。ステップＳＴ１１で画像合成部は視差θpを取得する。画像合成部７６は視差算出部７５で算出された視差θpを取得してステップＳＴ１２に進む。

ステップＳＴ１２で画像合成部は視差θpが第１閾値θ1以下であるか判別する。第１閾値θ1は、主撮像装置２０で生成された主撮像画像Ｐｍと副撮像装置６０の撮像部７４で生成された副撮像画像Ｐｓで視差の影響を無視できる最大の視差として予め設定されている。画像合成部７６は視差θpが予め設定された第１閾値θ1以下である場合はステップＳＴ１３に進み、第１閾値θ1よりも大きい場合はステップＳＴ１４に進む。

ステップＳＴ１３で画像合成部は一方の撮像画像に他方の撮像画像を重畳する。画像合成部７６は、図８を用いて説明したように、画角が異なる主撮像画像Ｐｍと副撮像画像Ｐｓを合成する。例えば撮像部７４で生成された副撮像画像Ｐｓに主撮像装置２０で生成された主撮像画像Ｐｍを重畳して表示画像を生成してステップＳＴ１１に戻る。

ステップＳＴ１４で画像合成部は視差θpが第２閾値θ2よりも大きいか判別する。第２閾値θ2（＞θ1）は、視差が大きいために識別表示を有効に利用できない最小の視差として予め設定されている。画像合成部７６は視差θpが予め設定された第２閾値θ2よりも大きい場合はステップＳＴ１５に進み、第２閾値θ2以下である場合はステップＳＴ１７に進む。

ステップＳＴ１５で画像合成部は撮像画像の選択を行う。画像合成部７６は、主撮像画像Ｐｍまたは副撮像画像Ｐｓのいずれかを選択する。例えば画像合成部７６は、画角の広い副撮像画像Ｐｓを選択してステップＳＴ１６に進む。

ステップＳＴ１６で画像合成部は選択画像にフォーカス位置表示ＦＰを重畳する。画像合成部７６は、ステップＳＴ１５で選択された撮像画像に、選択されていない撮像画像のフォーカス位置を示すフォーカス位置表示ＦＰを設けて表示画像を生成する。例えば、画像合成部７６は、副撮像画像に主撮像装置のフォーカス位置を示すフォーカス位置表示ＦＰを重畳して表示画像を生成してステップＳＴ１１に戻る。

ステップＳＴ１７で画像合成部は広画角撮像画像に撮像領域表示ＦＲを重畳する。画像合成部７６は、画角の広い撮像画像に他の撮像画像の撮像領域を示す撮像領域表示ＦＲ、例えば副撮像画像Ｐｓに主撮像装置２０の撮像範囲を示す撮像領域表示ＦＲを重畳して表示画像を生成してステップＳＴ１１に戻る。

図１０乃至図１３は画像合成部の動作例を示している。また、副撮像装置６０で生成される副撮像画像Ｐｓは主撮像装置２０で生成される主撮像画像Ｐｍよりも画角が広い画像とする。

図１０の（１）に示すように注目被写体の位置Ｃが主撮像装置２０の位置Ａや副撮像装置６０の位置Ｂから離れているため視差θpが第１閾値θ1以下となる場合、画像合成部７６は、副撮像画像Ｐｓに主撮像画像Ｐｍを重畳して表示画像を生成する。また、図１０の（ｂ）に示すように位置Ｃから位置Ａや位置Ｂまでの距離が短くても主撮像装置２０と副撮像装置６０が接近している（位置Ｃからみて周方向の位置差が少ない）ため、視差θpが第１閾値θ1以下となる場合も、画像合成部７６は、副撮像画像Ｐｓに主撮像画像Ｐｍを重畳して表示画像を生成する。

図１１は、視差に応じて生成される表示画像を例示している。図１１の（ａ）において、領域ＡＲｓは副撮像装置６０の撮像範囲を示しており、中心に位置する被写体が注目被写体ＯＢである。主撮像装置２０は、副撮像装置６０から供給した被写体位置情報に基づき、撮像方向が制御されて注目被写体ＯＢを撮像する。また、領域ＡＲｍは主撮像装置２０の撮像範囲を示しており、副撮像装置６０に比べて主撮像装置２０の倍率が高く画角が狭くなっている。図１１の（ｂ）は、副撮像画像Ｐｓに主撮像画像Ｐｍを重畳して生成された表示画像を示している。このように、視差θpが第１閾値θ1以下である場合、副撮像画像Ｐｓに主撮像画像Ｐｍを重畳して表示画像が生成されるので、被写体だけでなく周囲の状況を把握できるようになる。また、主撮像装置２０で記録あるいは出力される主撮像画像を確認できる。

図１２の（ａ）に示すように、注目被写体の位置Ｃが主撮像装置２０の位置Ａや副撮像装置６０の位置Ｂから離れており、位置Ａと位置Ｂも離れている（被写体からみて周方向の位置差が大きい）ため、視差θpが第１閾値θ1より大きく第２閾値θ2以下となる場合、画像合成部７６は、画角の広い副撮像画像Ｐｓに主撮像装置２０の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。また、図１２の（ｂ）に示すように、位置Ｃから位置Ａや位置Ｂまでの距離が短くて、位置Ａと位置Ｃが接近していない（被写体からみて周方向の位置差が少なくない）ため、視差θpが第１閾値θ1より大きく第２閾値θ2以下となる場合にも、画像合成部７６は、画角の広い副撮像画像Ｐｓに主撮像装置２０の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。図１１の（ｃ）は、副撮像画像Ｐｓに主撮像装置２０の撮像範囲を示す撮像領域表示ＦＲを重畳して生成された表示画像を示している。このように、視差θpが第１閾値θ1より大きく第２閾値θ2以下となる場合には、副撮像画像Ｐｓに撮像領域表示ＦＲを重畳して表示画像が生成されるので、副撮像画像Ｐｓに視差の大きい撮像画像が重畳されることがなく、表示画像が見づらい画像となってしまうことを防止できる。また、撮像領域表示ＦＲによって主撮像装置２０で撮像されている領域を把握できる。

図１３に示すように、注目被写体の位置Ｃから主撮像装置２０の位置Ａや副撮像装置６０の位置Ｂまでの距離が短くて、位置Ａと位置Ｂが離れている（被写体からみて周方向の位置差が大きい）ため、視差θpが第２閾値θ2よりも大きくなる場合、画像合成部７６は、例えば副撮像画像Ｐｓに主撮像装置２０のフォーカス位置を示すフォーカス位置表示ＦＰを重畳して表示画像を生成する。図１１の（ｄ）は、副撮像画像Ｐｓに主撮像装置２０のフォーカス位置を示すフォーカス位置表示ＦＰを重畳して生成された表示画像を示している。このように、視差θpが第２閾値θ2より大きい場合には、副撮像画像Ｐｓにフォーカス位置表示ＦＰを重畳して表示画像が生成されるので、副撮像画像Ｐｓに視差の大きい撮像画像が重畳されることがなく、表示画像が見づらい画像となってしまうことを防止できる。また、視差が大きいために、主撮像装置２０で撮像されている領域を副撮像画像Ｐｓで表示することが困難であっても、フォーカス位置表示ＦＰによって主撮像装置２０がいずれの被写体を撮像しているか把握できる。

このような本技術によれば、主撮像装置と副撮像装置と注目被写体の位置関係に応じて最適な表示画像を副撮像装置の表示部に表示させることができるようになる。

＜３．他の実施の形態＞
ところで、上述の実施の形態では、主撮像装置２０の撮像制御部３１と視差算出部７５で角度の算出等を行う場合を例示したが、撮像制御部３１と視差算出部７５の一方で角度の演算処理を行うようにしてもよい。例えば主撮像装置２０の撮像制御部３１で視差θpを算出して、副撮像装置６０の画像合成部７６へ供給するようにしてもよい。また、副撮像装置６０の視差算出部７５で角度の算出等を行って方向制御信号を生成して、主撮像装置２０あるいは雲台４０へ出力してもよい。

＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術システムや監視システム等に適用されてもよい。

図２に示す副撮像装置は術者（医師）に装着して、主撮像装置は術部を撮像できるように配置する。また、副撮像装置は主撮像装置よりも広画角の撮像画像を生成する。雲台は主撮像装置の撮像方向を少なくとも術部範囲で移動可能とする。このように副撮像装置と主撮像装置と雲台を設ければ、術者が注目する患部部分を主撮像装置で追従しながら撮影することができる。さらに、副撮像装置の接眼ブロックでは、術部を含む広い範囲の撮像画像と術部の画像が表示されるので、副撮像装置の撮像部で生成された撮像画像に基づき術部全体の状況を把握しながら主撮像装置で生成された撮像画像に基づき注目する部位の手術を行うことができる。また、副撮像装置では術部を撮像して、主撮像装置は副撮像装置よりも広画角の撮像画像を生成してもよい。この場合、副撮像装置で術部を高倍率で撮像して、主撮像装置は術部を含む広い範囲を撮像してもよい。

また、図２に示す副撮像装置は監視者に装着して、主撮像装置は監視対象領域を撮像できるように配置する。また、雲台は主撮像装置の撮像方向を少なくとも監視対象範囲で移動可能とする。このように副撮像装置と主撮像装置と雲台を設ければ、監視者が注目する監視対象者を主撮像装置で追従しながら撮影することができる。また、監視対象が主撮像装置の撮像範囲から外れても、ユーザは副撮像装置の撮像部で生成された撮像画像に基づき監視対象を確認することが可能となるので、ユーザが監視対象の方向を向き続けることで、主撮像装置によって監視対象の撮像を続けて行うことができるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置。
（２） 前記副撮像装置で生成される前記副撮像画像と前記主撮像装置で生成される前記主撮像画像は画角が異なる（１）に記載の画像処理装置。
（３） 前記被写体を撮像したときの前記主撮像装置と前記副撮像装置との視差を算出する視差算出部をさらに備え、
前記画像合成部は前記視差算出部で算出された視差に応じて画像合成動作を切り替える（１）または（２）に記載の画像処理装置。
（４） 前記画像合成部は前記視差算出部で算出された視差と、予め設定された第１閾値または前記第１閾値と前記第１閾値よりも大きい第２閾値との比較結果に応じて画像合成動作を切り替える（３）に記載の画像処理装置。
（５） 前記画像合成部は、前記視差算出部で算出された視差が前記第１閾値以下である場合、前記副撮像画像と前記主撮像画像を合成して前記表示画像を生成する（４）に記載の画像処理装置。
（６） 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して前記表示画像を生成する（５）に記載の画像処理装置。
（７） 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して前記表示画像を生成する（５）に記載の画像処理装置。
（８） 前記画像合成部は、前記視差算出部で算出された視差が前記第１閾値よりも大きく前記第２閾値以下である場合、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して前記表示画像を生成する（４）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置で撮像される範囲を示す撮像領域表示を重畳して前記表示画像を生成する（８）に記載の画像処理装置。
（１０） 前記画像合成部は、前記視差算出部で算出された視差が前記第２閾値よりも大きい場合、前記副撮像画像と前記主撮像画像のいずれか一方の撮像画像に他方の撮像画像のフォーカス位置を示すフォーカス位置表示を設けて前記表示画像を生成する（４）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置のフォーカス位置を示すフォーカス位置表示を重畳して前記表示画像を生成する（１０）に記載の画像処理装置。
（１２） 前記視差算出部は、前記副撮像装置で撮像される前記被写体までの距離と前記副撮像装置と前記主撮像装置の初期状態からの動きに基づき前記被写体を前記副撮像装置と前記主撮像装置で撮像するときの視差を算出する（３）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 画像視認動作を検出する検出部を備え、前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する（１）乃至（１２）のいずれかに記載の画像処理装置。

１０・・・撮像システム
２０・・・主撮像装置
２１，７３・・・撮像光学系ブロック
２２，７４・・・撮像部
２３・・・画像処理部
２４，７２・・・通信部
２５，７７・・・表示部
２６・・・記録部
２７・・・出力部
２８・・・位置姿勢検出部
３０・・・制御部
３１・・・撮像制御部
４０・・・雲台
６０・・・副撮像装置
６１・・・ホールド部
６２・・・アーム部
６３・・・接眼ブロック
６４・・・回路ブロック
６５・・・電源部
７１・・・被写体位置情報生成部
７５・・・視差算出部
７６・・・画像合成部
３１１・・・被写体位置算出部
３１２・・・撮像方向制御部
３１３・・・フォーカス制御部
６１０・・・ネックバンド
６１１Ｌ，６１１Ｒ・・・耳当て部
７１１・・・測距部
７１２・・・モーションセンサ部

Claims (19)

1. 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
   を備える画像処理装置。
2. 前記副撮像装置で生成される前記副撮像画像と前記主撮像装置で生成される前記主撮像画像は画角が異なる
   請求項１に記載の画像処理装置。
3. 前記被写体を撮像したときの前記主撮像装置と前記副撮像装置との視差を算出する視差算出部をさらに備え、
   前記画像合成部は前記視差算出部で算出された視差に応じて画像合成動作を切り替える
   請求項１に記載の画像処理装置。
4. 前記画像合成部は前記視差算出部で算出された視差と、予め設定された第１閾値または前記第１閾値と前記第１閾値よりも大きい第２閾値との比較結果に応じて画像合成動作を切り替える
   請求項３に記載の画像処理装置。
5. 前記画像合成部は、前記視差算出部で算出された視差が前記第１閾値以下である場合、前記副撮像画像と前記主撮像画像を合成して前記表示画像を生成する
   請求項４に記載の画像処理装置。
6. 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して前記表示画像を生成する
   請求項５に記載の画像処理装置。
7. 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して前記表示画像を生成する
   請求項５に記載の画像処理装置。
8. 前記画像合成部は、前記視差算出部で算出された視差が前記第１閾値よりも大きく前記第２閾値以下である場合、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して前記表示画像を生成する
   請求項４に記載の画像処理装置。
9. 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置で撮像される範囲を示す撮像領域表示を重畳して前記表示画像を生成する
   請求項８に記載の画像処理装置。
10. 前記画像合成部は、前記視差算出部で算出された視差が前記第２閾値よりも大きい場合、前記副撮像画像と前記主撮像画像のいずれか一方の撮像画像に他方の撮像画像のフォーカス位置を示すフォーカス位置表示を設けて前記表示画像を生成する
    請求項４に記載の画像処理装置。
11. 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置のフォーカス位置を示すフォーカス位置表示を重畳して前記表示画像を生成する
    請求項１０に記載の画像処理装置。
12. 前記視差算出部は、前記副撮像装置で撮像される前記被写体までの距離と前記副撮像装置と前記主撮像装置の初期状態からの動きに基づき前記被写体を前記副撮像装置と前記主撮像装置で撮像するときの視差を算出する
    請求項３に記載の画像処理装置。
13. 画像視認動作を検出する検出部を備え、
    前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する
    請求項１に記載の画像処理装置。
14. 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を画像合成部で生成すること
    を含む画像処理方法。
15. 表示画像の生成をコンピュータで実行させるプログラムであって、
    副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する手順
    を前記コンピュータで実行させるプログラム。
16. 被写体を撮像する撮像部と、
    前記撮像部で撮像される前記被写体までの距離を測定する測距部と、
    初期状態からの動きを測定するモーションセンサ部と、
    前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を主撮像装置へ送信する通信部と、
    前記撮像部で生成された副撮像画像と、前記被写体位置情報に基づき前記主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する画像合成部と、
    前記画像合成部で生成された表示画像を表示する表示部と
    を備える撮像装置。
17. 前記初期状態は前記測距部と前記主撮像装置を対向させた状態であり、前記測距部で測定された前記主撮像装置までの距離と前記主撮像装置の方向を前記動きの基準とする
    請求項１６に記載の撮像装置。
18. 前記表示部をユーザの眼の位置として、前記撮像部をユーザの前方を撮像する位置として、前記測距部を前記ユーザの前方正面に位置する被写体までの距離を測定する位置として、前記表示部と前記撮像部と前記測距部を保持するホールド部をさらに備える
    請求項１６に記載の撮像装置。
19. 画像視認動作を検出する検出部を備え、
    前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する
    請求項１６に記載の画像処理装置。

Images