JP2022183845A - 情報処理装置、制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】 ２つの光学系を有するレンズユニットを用いて画像を撮影する撮像装置を制御する情報処理装置であって、ユーザがライブビュー画像を表示しながら撮像装置を制御する場合に、適切に撮像装置の動作を制御することを可能とすることを目的とする。【解決手段】 本発明の情報処理装置は、左右像を１つの画像に並べた２眼画像を撮像するカメラ１００と通信する通信部５０７と、２眼画像を表示部５０６に表示し、カメラ１００によって拡大処理を適用する拡大範囲の位置を表示部５０６に表示された画像に対して設定する制御部５０１とを有し、制御部５０１は、２眼画像を表示部５０６に表示する表示形態に応じて、設定された拡大範囲の位置を変換し、カメラ１００に指示を出力することを特徴とする。【選択図】 図８

Description

本発明は、情報処理装置、制御方法、プログラム、および記憶媒体に関する。

２台のカメラで視差のある２つの画像を撮影し、撮影した２つの画像を立体視可能に表示する技術が知られている。特許文献１には、２つの光学系を有するレンズユニットを装着して、視差のある２つの画像を一度に撮像できるカメラが開示されている。

また、デジタルカメラが撮影したライブビュー画像を、デジタルカメラの外部端末に送信し、外部端末の表示部でライブビュー画像を表示することがある。また、外部端末からデジタルカメラに対して記録開始指示や画像処理の制御コマンドを送信して、デジタルカメラの動作を制御することもできる。外部端末としては、ディスプレイに画像を表示可能なパーソナルコンピュータや、スマートフォン、タブレットなどが用いられる。ユーザがデジタルカメラから離れた位置からこれらの外部端末を使用してライブビュー画像を確認したり、デジタルカメラを制御したりすることが可能となる。

特開２０１３－１４１０５２号公報

２つの光学系を有するレンズユニットを装着して撮像された画像（視差のある２つの画像を含む１つの画像）は、従来の画像のように表示すると、２つの光学系の位置関係と１つの画像における２つの画像の位置関係が逆転してしまうことがある。したがって、外部端末でデジタルカメラから取得したライブビュー画像を表示して、デジタルカメラを制御する場合、従来の１眼レンズで撮影された画像と異なる画像処理が必要となる。しかしながら、特許文献１など、従来の技術では、このような課題に対して十分に検討が行われていなかった。

本発明は、２つの光学系を有するレンズユニットを装着して画像を撮影する撮像装置を制御する情報処理装置であって、ユーザがライブビュー画像を表示しながら撮像装置を制御する場合に、適切に撮像装置の動作を制御することを可能とすることを目的とする。

本発明にかかる情報処理装置は、第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの２眼画像を撮像する撮像装置と通信する通信手段と、前記画像を表示手段に表示する表示制御手段と、前記撮像手段によって所定の画像処理を適用する対象領域の位置を前記表示された前記２眼画像に対して設定する設定手段と、を有し、前記設定手段は、前記表示制御手段が前記２眼画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記画像に対して設定された前記対象領域の位置を変換し、前記通信手段は、前記変換された前記対象領域の位置を前記撮像装置に出力することを特徴とする情報処理装置。

本発明にかかる情報処理装置などによれば、ユーザがライブビュー画像を表示しながら撮像装置を制御する場合に、適切に撮像装置の動作を制御することが可能となる。

システムの全体構成を示す模式図である。 カメラの外観図である。 カメラの構成を示すブロック図である。 レンズユニットの構成を示す模式図である。 ＰＣの構成を示すブロック図である。 カメラの動作を示すフローチャートである。 ２眼レンズから取得するレンズ情報の一例を示す模式図である。 ＰＣの動作の一例を示すフローチャートである。 左右入れ替えの模式図である。 左右入れ替え変換を含む正距円筒変換を示す模式図である。 ＰＣライブビューの表示例を示す模式図である。 拡大画像を表示する場合におけるＰＣライブビューの表示例を示す模式図である。 拡大画像の表示処理を示すフローチャートである。 拡大枠移動命令について説明するための模式図である。 拡大画像でないＰＣライブビュー表示における拡大枠移動処理を示すフローチャートである。 拡大画像を表示するＰＣライブビュー表示における拡大枠移動処理を示すフローチャートである。

以下、本発明にかかる実施形態を、図面を参照して詳細に説明する。

本発明の実施形態について説明する。図１（ａ），１（ｂ）は、本実施形態に係るシステムの全体構成の一例を示す模式図である。本実施形態に係るシステムはデジタルカメラ（カメラ）１００とパーソナルコンピュータ（ＰＣ）５００とを含む。カメラ１００にはレンズユニット３００が装着（接続）されている。レンズユニット３００の詳細は後述するが、レンズユニット３００を装着することで、カメラ１００は、所定の視差を有する２つの画像（静止画または動画）を一度に撮像できるようになる。ＰＣ５００は、カメラ１００などの撮像装置で撮像された画像を扱う情報処理装置である。図１（ａ）は、無線や有線などでカメラ１００とＰＣ５００が互いに通信可能に接続された構成を示す。図１（ｂ）は、カメラ１００で撮影した画像などを、ファイルベースで、外部記憶装置を介してＰＣ５００に入力する構成を示す。外部記憶装置はカメラ１００とＰＣ５００の両方に接続されていてもよいし、そうでなくてもよい。例えば、外部記憶装置をカメラ１００に接続して、カメラ１００で撮影した画像のファイルを外部記憶装置に格納してもよい。その後、外部記憶装置をカメラ１００から取り外してＰＣ５００に接続し、外部記憶装置に格納されたファイルをＰＣ５００が取り込んでもよい。

図２（ａ），２（ｂ）は、カメラ１００の外観の一例を示す外観図である。図２（ａ）はカメラ１００を前面側から見た斜視図であり、図２（ｂ）はカメラ１００を背面側から見た斜視図である。

カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備指示あるいは撮影指示を行うための操作部材である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部材である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部材である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部材である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部材である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部材である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。

カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部材である。方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた処理が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部材である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部材である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部材である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大したり、拡大率を大きくしたりするときに用いられる。再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部材である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示することができる。

メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示するために押下される操作部材である。ユーザは、表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて、直感的に各種設定を行うことができる。接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７に対して接眼して覗き込む部位である。ユーザは接眼部１１６を介して、カメラ１００内部の後述するＥＶＦ２１７（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示された映像を視認することができる。接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）にユーザが接眼しているか否かを検知するセンサである。

タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は、接眼ファインダ１１７に接眼して接眼部１１６を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部材であり、表示機能を備えていない。タッチバー１１９は、例えば各種機能を割当可能なマルチファンクションバー（Ｍ－Ｆｎバー）として機能する。

また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部材も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器（外部装置）に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７およびスロットを保護する。通信端子１２４は、カメラ１００に対して着脱可能なレンズユニット（後述するレンズユニット２００や、レンズユニット３００など）側と通信を行うための端子である。

図３は、カメラ１００の構成の一例を示すブロック図である。なお、図２と同一の構成要素には図２と同一の符号を付し、その構成要素の説明は適宜、省略する。図３では、カメラ１００にレンズユニット２００が装着されている。

まず、レンズユニット２００について説明する。レンズユニット２００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。

絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動して焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変えることで焦点を合わせる。レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信が行われる。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。

次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。

シャッター２１０は、システム制御部５０の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０がＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０８やＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている表示用の画像データをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。

システム制御部５０は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部５０は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部５０は、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ２１９に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。

また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。

システムメモリ２１８として、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラム等が展開される。不揮発性メモリ２１９は電気的に消去・記録可能なメモリであり、不揮発性メモリ２１９として、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２１は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２１は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部２２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２１は撮像部２１１で撮像した画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２２２で検知された姿勢に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２で検知された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、検知された姿勢に応じて画像を回転したりすることが可能である。姿勢検知部２２２には、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２２を用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）に対する何らかの物体の接近を検知することができる。接眼検知部１１８には、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。このように、接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼部１１６に対する眼（物体）の接近（接眼）および離反（離眼）を検知する接眼検知センサである。非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値とは例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとする。システム制御部５０は、接眼検知部１１８で検知された状態に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部１０８として表示をオンとし、ＥＶＦ２１７は非表示とする。また、接眼中は表示先をＥＶＦ２１７として表示をオンとし、表示部１０８は非表示とする。なお、接眼検知部１１８は赤外線近接センサに限られず、接眼検知部１１８には、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。

また、カメラ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８等を有する。

ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３によって駆動され、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。電源部２２５は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインターフェースである。記録媒体２２７は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、カメラ１００に対して着脱可能であってもよいし、カメラ１００に内蔵されていてもよい。

操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部２２９等が含まれる。他の操作部２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９等が含まれる。

シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を出力する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応じて、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を開始する。

モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は、光の透過率が表示部１０８の表示を妨げないように、表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を構成できる。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。

システム制御部５０は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。

・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。

・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。

・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。

・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。

・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。

図４は、レンズユニット３００の構成の一例を示す模式図である。図４では、レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４に示すカメラ１００のうち、図３で説明した構成要素と同一の構成要素には、図３と同一の符号を付し、その構成要素の説明は適宜、省略する。

レンズユニット３００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット３００は、視差のある右像および左像を撮像可能な２眼レンズである。本実施形態では、レンズユニット３００は２つの光学系を有し、２つの光学系それぞれで、略１８０度の広視野角の範囲を撮像できる。具体的に、レンズユニット３００の２つの光学系それぞれで、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野分（画角分）の被写体を撮像できる。つまり、２つの光学系それぞれで、前方半球の範囲を撮像できる。

レンズユニット３００は、複数のレンズと反射ミラー等を有する右眼光学系３０１Ｒ、複数のレンズと反射ミラー等を有する左眼光学系３０１Ｌ、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例であり、左眼光学系３０１Ｌは第２の光学系の一例である。右眼光学系３０１Ｒは被写体側に配置されるレンズ３０２Ｒを有し、左眼光学系３０１Ｌは被写体側に配置されるレンズ３０２Ｌを有する。レンズ３０２Ｒとレンズ３０２Ｌは同じ方向を向いており、それらの光軸は略平行である。

レンズユニット３００は、２眼立体視が可能なＶＲ画像のフォーマットの１つであるＶＲ１８０の画像を得るための２眼レンズ（ＶＲ１８０レンズ）である。本実施形態では、レンズユニット３００は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれに、略１８０度の範囲を捉えることが可能な魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれが有するレンズで捉えることが可能な範囲は、１８０度の範囲よりも狭い１６０度程度であってもよい。レンズユニット３００は、右眼光学系３０１Ｒを介して形成される右像（第１画像）と、左眼光学系３０１Ｌを介して形成される左像（第２画像）とを、レンズユニット３００が装着されたカメラの１つまたは２つの撮像素子上に結像することができる。レンズユニット３００を介して得られた第１画像と第２画像とが並んで配置された画像を２眼画像と呼ぶ。

レンズユニット３００は、レンズマウント部３０４と、カメラ１００のカメラマウント部３０５とを介して、カメラ１００に装着される。こうすることで、カメラ１００の通信端子１２４と、レンズユニット３００の通信端子３０６とを介して、カメラ１００のシステム制御部５０とレンズユニット３００のレンズシステム制御回路３０３とが電気的に接続される。

本実施形態では、右眼光学系３０１Ｒを介して形成される右像と、左眼光学系３０１Ｌを介して形成される左像とが、同時に（セットで）カメラ１００の撮像部２１１に結像される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このようにレンズユニット３００を用いることで、右眼光学系３０１Ｒと左眼光学系３０１Ｌとの２つの箇所（光学系）から、視差がある２つの画像を同時に（セットで）取得することができる。取得された画像を左眼用の画像と右眼用の画像とに分けてＶＲ表示することで、ユーザは略１８０度の範囲の立体的なＶＲ画像を視聴することができる。つまり、ユーザは、ＶＲ１８０の画像を立体視することができる。

ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像は、静止画に限られず、動画、ライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮像可能な画角よりも広範な画角、あるいは、表示部に一度で表示できる表示範囲より広い映像範囲を持つ画像も含まれる。上述したレンズユニット３００を用いてカメラ１００で撮像される画像は、ＶＲ画像の一種である。ＶＲ画像は、例えば、表示装置（ＶＲ画像を表示できる表示装置）の表示モードを「ＶＲビュー」に設定することでＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示して、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の映像を観賞することができる。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで、それらＶＲ画像を立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤ（ヘッドマウントディスプレイ）等の表示装置を装着した場合、ユーザの顔の向きに応じた視野範囲の映像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野範囲の映像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の映像に、表示範囲が変更される。すなわち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される映像も北の映像から南の映像に変更される。なお、本実施形態のレンズユニット３００を用いて撮像したＶＲ画像は、前方略１８０度の範囲を撮像した画像であり、後方略１８０度の範囲の映像は存在しない。このような画像をＶＲ表示して、映像が存在しない側に表示装置の姿勢を変更した場合にはブランク領域が表示される。

このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚（没入感）を得ることができる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）に装着されたスマートフォンはＨＭＤの一種である。

図５は、ＰＣ５００の構成の一例を示すブロック図である。制御部５０１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）であり、ＰＣ５００全体を制御する。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）５０２は、プログラムやパラメータを非一時的に記憶する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）５０３は、外部機器などから供給されるプログラムやデータを一時的に記憶する。記録媒体５０４は、ＰＣ５００に固定して設置されたハードディスクやフラッシュメモリ、あるいはＰＣ５００に対して着脱可能な光ディスク、磁気カード、光カード、ＩＣカード、メモリーカードなどである。カメラ１００が撮影した画像のファイルは、記録媒体５０４から読み出される。操作部５０５は、ＰＣ５００に対するユーザの操作を受け付ける。ユーザが操作を行う際に用いる操作部材は、ＰＣ５００に設けられたボタンやタッチパネルなどであってもよいし、ＰＣ５００に対して着脱可能なキーボードやマウスなどであってもよい。表示部５０６は、ＰＣ５００が保持するデータや外部から供給されたデータなどを表示する。表示部５０６はＰＣ５００の一部であってもよいし、ＰＣ５００とは別体の表示装置であってもよい。通信部５０７は、カメラ１００などの外部機器との通信を行う。システムバス５０８はＰＣ５００の構成要素間を通信可能に接続する。

ここで、レンズユニット３００（２眼レンズ）を装着して撮像される２眼画像の特徴について説明する。レンズユニット２００（通常の一眼レンズ）の場合、撮像部２１１上には、実際の見えに対して上下左右に反転した像（１８０度回転した像）が結像する。そのため、結像された画像全体を１８０度回転して、実際の見えに合った画像を取得（撮像）している。一方で、レンズユニット３００（２眼レンズ）の場合は、右像と左像それぞれが、実際の見えに対して１８０度回転して撮像部２１１上に結像する。右像と左像の並びは特に限定されないが、本実施形態では、撮像部２１１上において、右像が右側に結像され、左像が左側に結像されるとする。そして、レンズユニット２００（通常の一眼レンズ）の場合と同様に、結像された画像（右像と左像を含む画像）全体を１８０度回転すると、右像と左像それぞれを実際の見えに合わせることはできるが、右像と左像の位置が入れ替わってしまう。つまり、左右の位置関係が反転して、右像が左側に配置され、左像が右側に配置された画像が撮像されることになる。したがって、撮像された画像をそのまま（位置の入れ替わりを考慮せずに）表示しても立体視できない。本実施形態では、このような画像を立体視可能にする。

本実施形態における制御について説明する。カメラ１００とＰＣ５００が互いに通信可能に接続されており、カメラ１００で撮像されたライブビュー画像がＰＣ５００に送信され、ＰＣ５００が表示部５０６にライブビュー画像を表示する例について説明する。

図６は、カメラ１００の動作の一例を示すフローチャートである。この動作は、ＰＣ５００でライブビュー画像を表示するためにカメラ１００からライブビュー画像を送信する動作である。この動作は、システム制御部５０が不揮発性メモリ２１９に記録されたプログラムをシステムメモリ２１８に展開して実行することにより実現される。例えば、カメラ１００が起動すると、図６の動作が開始する。図６の動作は、カメラで撮像したライブビュー画像をＰＣの表示部に表示する機能（ＰＣライブビュー）のための動作である。図６の動作は、カメラ１００が撮影待機状態において実行される。ＰＣライブビューの動作中に、ＰＣ５００から記録開始指示が入力された場合、静止画撮影もしくは動画撮影が実行される。

ステップＳ６０１では、システム制御部５０は、カメラ１００が２眼レンズ（例えばレンズユニット３００）に対応しているか否かを判定する。例えば、システム制御部５０は、システム制御部５０のファームウェアのバージョンが２眼レンズに対応したバージョンであるか否かを判定する。２眼レンズに対応していると判定した場合はステップＳ６０２へ進み、そうでない場合はステップＳ６１１へ進む。

ステップＳ６０２では、システム制御部５０は、２眼レンズがカメラ１００に装着されているか否かを判定する。２眼レンズが装着されていると判定した場合はステップＳ６０３へ進み、そうでない場合は図６の動作を終了する。なお、２眼レンズが装着されていない状態から２眼レンズが装着された場合も、ステップＳ６０３へ進む。２眼レンズが装着されている状態から２眼レンズが取り外された場合は、ステップＳ６１１へ進む。

ステップＳ６０３では、システム制御部５０は、装着（接続）されている２眼レンズから、当該２眼レンズの設計値を取得する。設計値は設計上のパラメータであり、後述の左右入れ替えや正距円筒変換に利用される。例えば、図７（ｂ）に示すイメージサークル位置、イメージサークル直径、画角および歪曲補正係数が取得される。

ステップＳ６０４では、システム制御部５０は、装着（接続）されている２眼レンズから、当該２眼レンズの個体値を取得する。個体値はレンズユニット固有のパラメータであり、例えば製造時の誤差などである。例えば、図７（ｂ）に示すイメージサークル位置ずれ、光軸傾き、および像倍率ずれが取得される。個体値を利用することにより、設計値のみを利用する場合よりも画像処理を高精度に行うことができる。

レンズユニット３００から取得するレンズ情報について説明する。

図７（ａ）は、２眼レンズから取得するレンズ情報の一例を示す模式図である。レンズ情報は、
１．レンズ設計値
２．レンズ個体値
３．レンズフラグ
４．レンズ焦点距離
５．レンズ温度
などを含む。

レンズ設計値は、収差補正を行うための設計値である。２眼レンズの製造過程では、２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）それぞれで、レンズの偏芯や傾きなどの誤差が発生する。誤差を考慮せずに左右入れ替えや正距円筒変換などを行うと、２眼ＶＲ表示の品位が低下し、良好な立体視が困難となる。レンズ個体値は、２眼レンズの製造過程で検出した誤差の測定結果などである。レンズ設計値とレンズ個体値の詳細については、図７（ｂ）を用いて後述する。

レンズフラグは、２眼レンズであることを示すフラグである。レンズ焦点距離は、レンズの中心である「主点」から撮像素子（結像位置）までの距離である。レンズ焦点距離は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）で共通のパラメータであってもよいし、そうでなくてもよい。左右入れ替えや正距円筒変換などを高精度に行って高品位な２眼ＶＲ表示を行うためには、詳細（高精度）なレンズ焦点距離が必要となる。レンズ温度は、２眼レンズの温度であり、撮影時の環境温度などを把握するために使用される。

図７（ｂ）は、レンズ設計値とレンズ個体値の詳細を示す模式図である。本実施形態では、レンズ設計値とレンズ個体値は、左右入れ替えや正距円筒変換に用いられる。

レンズ設計値は、
１．イメージサークル位置
２．イメージサークル直径
３．画角
４．歪曲補正係数
などを含む。

イメージサークル位置は、撮像される画像における光学系の光軸中心座標であり、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のそれぞれついて用意される。つまり、イメージサークル位置は、撮像素子上に結像する像円（円周魚眼画像）の中心座標であり、右像と左像のそれぞれについて用意される。座標の原点は、例えば、撮像素子の中心（撮像される画像の中心）である。イメージサークル位置は、水平方向の座標と垂直方向の座標とを含む。なお、撮像される画像における光学系の光軸中心に関する様々な情報を、イメージサークル位置として使用することができる。例えば、画像における所定の位置（中心や左上隅など）から光軸中心までの距離などを使用することができる。

イメージサークル直径は、撮像素子上に結像する像円（円周魚眼画像）の直径である。画角は、撮像素子上に結像する像円（円周魚眼画像）の画角である。歪曲補正係数は、レンズの理想像高に対する設計像高の比である。像高ごとに歪曲補正係数を設定し、歪曲補正係数が設定されていない像高については、複数の歪曲補正係数を用いた補間演算により歪曲補正係数を算出してもよい。像高と歪曲補正係数の関係を近似した多項式を設定してもよい。イメージサークル直径、画角、および歪曲補正係数は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）で共通のパラメータであってもよいし、そうでなくてもよい。

ＰＣ５００は、円周魚眼画像を表示する際に、円周魚眼画像にマジックウィンドウを表示してもよい。マジックウィンドウは、１眼ＶＲ表示のために（最初に）切り出される領域を示す表示アイテムである。例えば、マジックウィンドウは、イメージサークル位置、イメージサークル直径、および画角に基づいて表示される。こうすることで、マジックウィンドウの表示品位を向上することができる。マジックウィンドウを適切に表示するために、ＰＣ５００は、イメージサークル位置、イメージサークル直径、および画角を適宜編集して使用する。例えば、ＰＣ５００は、イメージサークル位置やイメージサークル直径に係数を乗算する。

レンズ個体値は、
５．イメージサークル位置ずれ
６．光軸傾き
７．像倍率ずれ
などを含む。これらの情報は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のそれぞれついて測定を行って用意される。

イメージサークル位置ずれは、撮像素子上に結像する像円（円周魚眼画像）の中心座標の、設計値からのずれである。例えば、イメージサークル位置ずれは、水平方向のずれと、垂直方向のずれとを含む。設計値の座標（水平方向の座標と垂直方向の座標とを含む２次元座標）を原点として、水平方向の座標により水平方向のずれが示され、垂直方向の座標により垂直方向のずれが示される。光軸傾きは、被写体側の光軸の向きの、設計値からのずれである。例えば、光軸傾きは、水平方向のずれと垂直方向のずれとを含む。各方向のずれは角度で示される。像倍率ずれは撮像素子上に結像する像円（円周魚眼画像）の大きさの、設計値からのずれである。このずれは、例えば、設計値に対する比率で示される。

なお、レンズ情報に含まれる情報は、上述した情報に限られない。例えば、レンズ情報は、撮影された画像における右像と左像それぞれの境界位置を含んでもよい。境界位置は、例えば、円周魚眼画像の縁の位置であって、後述する図９のずれ量９０５，９０６，９０９，９１０等で示された位置である。レンズ情報は、撮影された画像における右像と左像の間の中点座標を含んでもよい。多くの場合、中点座標は撮影された画像の中心座標と一致する。レンズ情報は、マジックウィンドウの領域を示す情報（例えば、マジックウィンドウの左上隅の座標、マジックウィンドウの幅、およびマジックウィンドウの高さ）を含んでもよい。レンズ情報は、左右入れ替えや正距円筒変換などの精度を上げるための補正データ（例えば、２眼レンズのキャリブレーションにより得られた補正値）を含んでもよい。

ステップＳ６０５では、システム制御部５０は、カメラ１００がＰＣ５００に接続されたことを検知する。ステップＳ６０６では、システム制御部５０は、ＰＣ５００からＰＣライブビュー開始要求を受信する。ステップＳ６０７では、システム制御部５０は、ＰＣ５００からライブビュー画像要求を受信する。ライブビュー画像要求は、後述するように送信するライブビュー画像の解像度を指定する情報（解像度情報）を含む。システム制御部５０は、指定された解像度のライブビュー画像をＰＣ５００に送信するようにステップＳ６０９の処理を実行する。

ステップＳ６０８では、システム制御部５０は、ステップＳ６０３，Ｓ６０４で取得した情報（２眼レンズのレンズ情報）を、ライブビュー画像の座標系に合うように変換する。撮影される画像（画像ファイルに記録される画像）と、ライブビュー画像とでは解像度などが異なるため、ステップＳ６０３，Ｓ６０４で取得した情報は、そのままでは、ライブビュー画像の画像処理に用いることができない。そのため、本実施形態では、レンズ情報を、ライブビュー画像の座標系に合った情報に変換する。

ステップＳ６０９では、システム制御部５０は、ステップＳ６０８で変換されたレンズ情報と、ライブビュー画像とを、ＰＣ５００に送信する。システム制御部５０は、ステップＳ６０７で取得した解像度情報に基づいて、ライブビュー画像の解像度を変換して、ＰＣ５００に送信する。なお、本実施形態ではカメラ１００のシステム制御部５０がレンズ情報の変換を行っているが、ＰＣ５００の制御部５０１がレンズ情報の変換を行ってもよい。その際には、変換前のレンズ情報と、レンズ情報の変換に必要なパラメータとをＰＣ５００に送信する。ステップＳ６１０では、システム制御部５０は、ＰＣライブビューを終了するか否かを判定する。例えば、カメラ１００とＰＣ５００の接続が解除されたり、ユーザがカメラ１００またはＰＣ５００に対してＰＣライブビューの終了を指示した場合に、ＰＣライブビューを終了すると判定する。ＰＣライブビューを終了すると判定した場合は図６の動作を終了し、そうでない場合はステップＳ６０７へ進む。

カメラ１００に一眼レンズが装着されている場合にはステップＳ６１１の処理が行われる。ステップＳ６１１では、システム制御部５０は、一眼レンズで撮像したライブビュー画像をＰＣ５００に送信する。ステップＳ６１１の処理は、一眼レンズで撮影したライブビュー画像を外部機器に送信する従来の処理と同様であるため、詳細な説明は省略する。本実施形態では、システム制御部５０は、一眼レンズで撮像したライブビュー画像をＰＣ５００に送信する際には、装着されている一眼レンズの情報（設計値や個体値など）を当該一眼レンズから取得することも、ＰＣ５００に送信することもしないとする。

図８は、ＰＣ５００の動作の一例を示すフローチャートである。この動作は、ＰＣ５００がカメラ１００のライブビュー画像を表示するＰＣライブビュー表示を実行する制御である。また、この動作は、制御部５０１がＲＯＭ５０２に記録されたプログラム（アプリケーションプログラム）をＲＡＭ５０３に展開して実行することにより実現される。例えば、ユーザがＰＣ５００に対して特定のアプリケーションの起動を指示すると、図８の動作が開始する。図８の動作は、カメラで撮像したライブビュー画像をＰＣの表示部に表示する機能（ＰＣライブビュー）のための動作である。

ステップＳ８０１では、ＰＣ５００にカメラ（例えばカメラ１００）が接続され、制御部５０１は、ＰＣ５００にカメラが接続されたことを検知する。

ステップＳ８０２では、制御部５０１は、ステップＳ８０１で接続されたカメラが２眼レンズ（例えばレンズユニット３００）に対応可能なカメラか否かを判定する。例えば、制御部５０１は、接続されたカメラから当該カメラの機種情報を取得し、取得した機種情報に基づいて、２眼レンズに対応可能なカメラか否かを判定する。２眼レンズに対応可能と判定した場合はステップＳ８０３へ進み、そうでない場合はステップＳ８２１へ進む。２眼レンズに対応可能なカメラとは、例えば、２眼レンズを装着可能なカメラである。

ステップＳ８０３では、制御部５０１は、ステップＳ８０１で接続されたカメラのファームウェアが２眼レンズに対応可能か否かを判定する。例えば、制御部５０１は、接続されたカメラから、当該カメラのファームウェアのバージョンの情報を取得し、取得した情報に基づいて、接続されたカメラのファームウェアのバージョンが２眼レンズに対応したバージョンであるか否かを判定する。２眼レンズに対応していると判定した場合はステップＳ８０４へ進み、そうでない場合はステップＳ８２１へ進む。

２眼レンズに対応可能なカメラがＰＣ５００に接続されたとしても、接続されたカメラのファームウェアのバージョンが古いなどの理由により、接続されたカメラが２眼レンズに対応できていないことがある。そのために、ステップＳ８０３の処理が必要となる。また、ＰＣ５００には様々なカメラが接続可能であり、ファームウェアのバージョンに依らず２眼レンズに対応できないカメラが接続されることもある。そのため、ステップＳ８０３の処理の前に、ステップＳ８０２の処理が必要となる。

ステップＳ８０４では、制御部５０１は、ステップＳ８０１で接続されたカメラに２眼レンズが装着されているか否かを判定する。２眼レンズが装着されていると判定した場合はステップＳ８０５へ進み、そうでない場合はステップＳ８２１へ進む。

ステップＳ８０５では、制御部５０１は、ステップＳ８０１で接続されたカメラにＰＣライブビュー開始要求を送信する。

ステップＳ８０６では、制御部５０１は、円周魚眼表示を行うか否かを判定する。円周魚眼表示を行うと判定した場合はステップＳ８０７へ進み、そうでない場合（正距円筒表示を行う場合）はステップＳ８１４へ進む。ステップＳ８０６では、例えば、図１１（ａ）～（ｄ）のラジオボタン１１０５が選択状態か非選択状態かで、円周魚眼表示を行うか否かを判定する。図１１（ａ），（ｃ）ではラジオボタン１１０５は選択状態であり、図１１（ｂ），（ｄ）ではラジオボタン１１０５は非選択状態である。ラジオボタン１１０５が選択状態の場合は、円周魚眼表示を行うと判定し、ステップＳ８０７へ進む。ラジオボタン１１０５が非選択状態である場合は、ステップＳ８１４へ進む。

ステップＳ８０７では、制御部５０１は、ステップＳ８０１で接続されたカメラにライブビュー画像要求を送信する。本実施形態では、ステップＳ８０７のライブビュー画像要求は、通常解像度のライブビュー画像の要求であるとする。通常解像度は、例えば、４Ｋ解像度であるとする。

ステップＳ８０８では、制御部５０１は、ステップＳ８０１で接続されたカメラから、当該カメラが撮像したライブビュー画像と、当該カメラに装着されている２眼レンズのレンズ情報とを受信する。ステップＳ８０８で受信するライブビュー画像の解像度は、通常解像度である。ステップＳ８０８で受信するレンズ情報は、受信するライブビュー画像に合うように変換された情報（例えば、図６のステップＳ６０８で変換されたレンズ情報）である。

ステップＳ８３０では、カメラ１００から取得したＰＣライブビュー画像が全体画像であるか拡大画像であるかを判定する。拡大画像であった場合にはステップＳ８３１において拡大画面の表示シーケンスを実行する。ステップＳ８３１の詳細については後述する。カメラ１００から取得したＰＣライブビュー画像が全体画像である場合、ステップＳ８０９に進む。

ステップＳ８０９では、制御部５０１は、左右入れ替えを行うか否かを判定する。左右入れ替えを行うと判定した場合はステップＳ８１０へ進み、そうでない場合はステップＳ８１２へ進む。ステップＳ８０９では、例えば、図１１のチェックボックス１１０７がチェックされているか否かで、左右入れ替えを行うか否かを判定する。チェックボックス１１０７がチェックされている場合は、左右入れ替えを行うと判定し、ステップＳ８１０へ進む。チェックボックス１１０７がチェックされていない場合は、ステップＳ８１２へ進む。

ステップＳ８１０では、制御部５０１は、ステップＳ８０８で取得したレンズ情報に基づいて、ステップＳ８０８で取得したライブビュー画像における右像と左像の位置を入れ替えて、処理ライブビュー画像を生成する（左右入れ替え）。制御部５０１は、ライブビュー画像と共に受信したレンズ情報に含まれる中心座標（左眼光学系３０１Ｌと右眼光学系３０１Ｒそれぞれの光軸中心）に基づいて、ライブビュー画像における右像と左像の位置を入れ替えて、処理画像を生成する。

左右入れ替えの処理について詳述する。制御部５０１は、ライブビュー画像と併せてカメラ１００から取得したレンズ情報から、中心座標（左眼光学系３０１Ｌと右眼光学系３０１Ｒそれぞれの光軸中心）を取得する。制御部５０１は、中心座標に基づいて、撮影された画像における右像と左像の位置を入れ替えて、処理画像を生成する（左右入れ替え）。例えば、制御部５０１は、右像の中心座標に基づいて、撮影された画像における右像の領域を特定し、左像の中心座標に基づいて、撮影された画像における左像の領域を特定する。そして、制御部５０１は、特定した２つの領域の位置を入れ替える。本実施形態では、撮影された画像において右像と左像が左右に並べて配置されており、左右入れ替えにより、右像と左像の左右の位置関係が反転する。右像と左像の領域をより高精度に特定するために、２眼レンズの情報から、右像と左像それぞれの径（直径または半径）を取得してもよい。

図９（ａ），（ｂ）は、左右入れ替えの模式図である。図９（ａ）は、２眼レンズの情報を利用しない、従来の左右入れ替えを示す。図９（ｂ）は、２眼レンズの情報を利用した、本実施形態の左右入れ替えを示す。

図９（ａ），（ｂ）に示すように、左右入れ替え前の画像９０１では、円周魚眼画像である右像９０３が左側に配置されており、円周魚眼画像である左像９０７が右側に配置されている。

図９（ａ）では、画像９０１の中心座標９０２で画像９０１を左半分の画像と右半分の画像とに分割して、左半分の画像と右半分の画像とを入れ替える。換言すれば、左半分の画像を右半分の画像の右側に移動する。画像９１１は、このような左右入れ替え後の画像である。

図９（ａ）では、ずれ量９０６はずれ量９０５よりも小さい。つまり、画像９０１において、右像９０３は画像９０１の左半分の中心から画像９０１の中心に寄っている。同様に、ずれ量９１０はずれ量９０９よりも小さい。つまり、画像９０１において、左像９０７は画像９０１の右半分の中心から画像９０１の中心に寄っている。そのため、画像９１１では、左右方向における左像９０７の中心座標９１３が中心座標９０４から距離９１４もずれ、左右方向における右像９０３の中心座標９１６が中心座標９０８から距離９１７もずれてしまい、良好な立体視が困難となる。

本実施形態では、レンズ情報を用いることにより、左右入れ替え後の画像８３７（図９（ｂ））において、左右方向における左像の中心座標を中心座標９０４に一致させ、左右方向における左像の中心座標を中心座標９０８に一致させることができる。その結果、画像８３７を良好に立体視することが可能となる。

なお、左右入れ替えの方法は上記方法に限られない。例えば、２眼レンズの情報から、図９（ａ）のずれ量９０５，９０６，９０９，９１０を取得し、右像と左像の位置を入れ替える際に、取得したずれ量が維持されるように右像と左像を配置し、余った領域を黒などで埋めてもよい。ずれ量９０５は撮影された画像の左端から右像の左端までの距離であり、ずれ量９０６は撮影された画像の中心から右像の右端までの距離である。左右入れ替えの際には、ずれ量９０５は撮影された画像の左端から左像の左端までの距離となり、ずれ量９０６は撮影された画像の中心から左像の右端までの距離となるようにする。同様に、ずれ量９０９は撮影された画像の右端から左像の右端までの距離であり、ずれ量９１０は撮影された画像の中心から左像の左端までの距離である。左右入れ替えの際には、ずれ量９０９は撮影された画像の右端から右像の右端までの距離となり、ずれ量９１０は撮影された画像の中心から右像の左端までの距離となるようにする。

ステップＳ８１１では、制御部５０１は、ステップＳ８１０で生成した処理ライブビュー画像を表示部５０６に表示する。

ステップＳ８１２では、制御部５０１は、ステップＳ８０８で取得したライブビュー画像を、表示部５０６に表示する。すなわり、カメラ１００から出力されたライブビュー画像がそのまま表示部５０６に表示される。

ステップＳ８１３では、制御部５０１は、ＰＣライブビューを終了するか否かを判定する。例えば、カメラ１００とＰＣ５００の接続が解除されたり、ユーザがカメラ１００またはＰＣ５００に対してＰＣライブビューの終了を指示した場合に、ＰＣライブビューを終了すると判定する。ＰＣライブビューの終了指示は、例えば、図１１（ａ）～（ｃ）の終了ボタン１１０８の押下である。ＰＣライブビューを終了すると判定した場合は図８の動作を終了し、そうでない場合はステップＳ８０６へ進む。

上述したように、正距円筒表示を行う場合は、ステップＳ８０６からステップＳ８１４へ進む。ステップＳ８１４では、制御部５０１は、ステップＳ８０１で接続されたカメラにライブビュー画像要求を送信する。本実施形態では、ステップＳ８１４のライブビュー画像要求は、低解像度（通常解像度よりも低い解像度）のライブビュー画像の要求であるとする。正距円筒表示を行う場合には、正距円筒変換（円周魚眼画像から正距円筒画像への変換）が必要となり、正距円筒変換を施す画像の解像度が高いほど、正距円筒変換に要する時間が増し、正距円筒変換による遅延が増す。本実施形態では、正距円筒変換の高速化（正距円筒変換に要する時間の短縮）のために、低解像度のライブビュー画像を要求する。なお、正距円筒変換による遅延が許容範囲内であれば、正距円筒表示を行う場合にも、通常解像度のライブビュー画像を要求してよい。

ステップＳ８１５では、制御部５０１は、ステップＳ８０１で接続されたカメラから、当該カメラが撮像したライブビュー画像と、当該カメラに装着されている２眼レンズのレンズ情報とを受信する。ステップＳ８１５で受信するライブビュー画像の解像度は、低解像度である。ステップＳ８１５で受信するレンズ情報は、受信するライブビュー画像に合うように変換された情報（例えば、図６のステップＳ６０８で変換されたレンズ情報）である。

ステップＳ８１６では、制御部５０１は、左右入れ替えを行うか否かを判定する。左右入れ替えを行うと判定した場合はステップＳ８１７へ進み、そうでない場合はステップＳ８１９へ進む。ステップＳ８１６では、例えば、図１１（ｃ）のチェックボックス１１０７がチェックされているか否かで、左右入れ替えを行うか否かを判定する。チェックボックス１１０７がチェックされている場合は、左右入れ替えを行うと判定し、ステップＳ８１７へ進む。チェックボックス１１０７がチェックされていない場合は、ステップＳ８１９へ進む。

ステップＳ８１７では、制御部５０１は、ステップＳ８１５で取得したレンズ情報に基づいて、ステップＳ８１５で取得したライブビュー画像における右像と左像の位置を入れ替えるとともに、右像と左像それぞれを正距円筒画像に変換する。正距円筒画像への変換（正距円筒変換）は、地図の正距円筒図法のように、円周魚眼画像を球体と見立てて、緯線（横線）と経線（縦線）が直角に交差するように変換する変換処理である。正距円筒変換により、円形状の円周魚眼画像は、矩形状の正距円筒画像に変換される。

制御部５０１は、正距円筒画像における各画素を描画するために用いる円周魚眼画像の画素および変換パラメータを含むマップを生成する。マップは、変換後の各画素が変換前の画像内のどの位置に対応するかを示す。本実施形態では、円周魚眼画像を正距円筒画像に変換できるだけでなく、右像と左像の位置を補正できるように、正距円筒変換のためのマップを生成する。なお、本実施形態においては、正距円筒変換と、左右入れ替えを同時に行うことが可能なように、マップを生成する。また、制御部５０１は、ライブビュー画像と共に受信したレンズ情報に含まれる個体値を用いて補正したレンズ設計値に基づいてマップを生成してもよい。

制御部５０１は、生成したマップを用いて正距円筒変換を行って、処理画像を生成する。なお、左右入れ替えを正距円筒変換の一部としたが、左右入れ替えは正距円筒変換とは別に行ってもよい。

図１０は、本実施形態の左右入れ替え変換を含む正距円筒変換を示す模式図である。図１０に示すように、正距円筒変換前の画像１００１では、円周魚眼画像である右像１００２が左側に配置されており、円周魚眼画像である左像１００５が右側に配置されている。画像１００８は、正距円筒変換後の画像であり、正距円筒画像１００９，１０１０を含む。本実施形態では、矢印１０１１，１０１２に示すような対応付けがされるように、正距円筒変換のマップが生成される。本実施形態のマップでは、左側に配置された正距円筒画像１００９の各画素が、右側に配置された左像１００５内の各位置に対応付けられ、右側に配置された正距円筒画像１０１０の各画素が、左側に配置された右像１００２内の位置に対応付けられる。このようなマップを用いることで、右側に配置された左像１００５が、左側に配置された正距円筒画像１００９に変換され、左側に配置された右像１００２が、右側に配置された正距円筒画像１０１０に変換される。つまり、円周魚眼画像が正距円筒画像に変換されるだけでなく、右像と左像の位置が入れ替えられる。これにより、良好な立体視が可能となる。

ステップＳ８１８では、制御部５０１は、ステップＳ８１７で生成した処理ライブビュー画像を表示部５０６に表示する。

ステップＳ８１９では、制御部５０１は、ステップＳ８１５で取得したライブビュー画像における右像と左像の位置を入れ替えずに、右像と左像それぞれを正距円筒画像に変換する。つまり、制御部５０１は、左右入れ替えを行わずに正距円筒変換を行って、処理ライブビュー画像を生成する。

ステップＳ８２０では、制御部５０１は、ステップＳ８１９で生成した処理ライブビュー画像を表示部５０６に表示する。

カメラ１００に一眼レンズが装着されている場合にはステップＳ８２１の処理が行われる。ステップＳ８２１では、システム制御部５０は、一眼レンズで撮像したライブビュー画像を表示部５０６に送信する。ステップＳ８２１の処理は、一眼レンズで撮影したライブビュー画像をＰＣなどが表示する従来の処理と同様であるため、詳細な説明は省略する。

ステップＳ８１０、ステップＳ８１７、ステップＳ８１９のそれぞれでは、制御部５０１は、接続されたカメラから取得したライブビュー画像に対して画像処理を施す。ステップＳ８１０、ステップＳ８１７、ステップＳ８１９よりも後のステップＳ８１３では、制御部５０１は、ＰＣライブビューを終了するか否かを判定する。そして、ＰＣライブビューを継続する場合には、ステップＳ８１０、ステップＳ８１７、ステップＳ８１９よりも前のステップＳ８０６に処理が戻される。そのため、図８の動作では、ステップＳ８１０、ステップＳ８１７、ステップＳ８１９のいずれかの画像処理が繰り返し実行される可能性がある。

そこで、制御部５０１は、画像処理の高速化のために、実行した画像処理に関連する情報をＲＡＭ５０３に記録して、次回以降の画像処理の際に利用してもよい。例えば、制御部５０１は、画像処理前の画素と画像処理後の画素との対応関係（画像処理マップ）を記録する。画像処理マップは、ライブビュー画像の解像度やレンズ情報に変化が無ければ、使用し続けることができる。制御部５０１は、ステップＳ８１０、ステップＳ８１７、ステップＳ８１９のいずれかの画像処理を実行した際に、当該画像処理の画像処理マップを記録する。そして、制御部５０１は、同じ画像処理を再び実行する際に、記録した画像処理マップを使って画像処理を実行する。こうすることで、画像処理を高速化することができる。

図１１（ａ）～（ｄ）は、制御部５０１が表示部５０６に表示するアプリケーション画面における表示（ＰＣライブビューの表示）の一例を示す模式図である。画面１１００は、アプリケーション画面（リモートライブビュー画面）である。画面１１００は、ライブビュー表示領域１１０１、ガイド表示領域１１０２、ガイド表示領域１１０３、操作領域１１０４、終了ボタン１１０８を含む。

ライブビュー表示領域１１０１は、ライブビュー画像を表示する領域である。ライブビュー表示領域１１０１は、左側の表示領域１１０１Ａと、右側の表示領域１１０１Ｂとから成る。ガイド表示領域１１０２は、左側の表示領域１１０１Ａに表示される画像が２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のどちらの画像であるかの文字列を表示する領域である。ガイド表示領域１１０３は、右側の表示領域１１０１Ｂに表示される画像が２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のどちらの画像であるかの文字列を表示する領域である。操作領域１１０４は、ＰＣライブビューに関する操作を受け付けるための領域であり、操作領域１１０４には、ラジオボタン１１０５，１１０６とチェックボックス１１０７が表示される。ラジオボタン１１０５は、円周魚眼表示を行う際に選択されるラジオボタンであり、ラジオボタン１１０６は、正距円筒表示を行う際に選択されるラジオボタンである。ラジオボタン１１０５が選択状態の場合、ラジオボタン１１０６は非選択状態となり、ラジオボタン１１０５が非選択状態の場合、ラジオボタン１１０６は選択状態となる。チェックボックス１１０７は、左右入れ替えを行う際にチェックされるチェックボックスである。チェックボックス１１０７が操作されると、ライブビュー画像における右像（右眼映像）と左像（左眼映像）との位置が入れ替わり、ガイド表示領域１１０２，１１０３に表示する文字列も入れ替わる。終了ボタン１１０８は、ＰＣライブビューを終了するためのボタンである。拡大表示ボタン１１０９は、拡大表示処理の実行を指示するためのボタンである。枠１１１０は、拡大表示処理において、拡大の対象となる範囲（拡大範囲）をライブビュー画像上で示すアイテム（拡大枠）である。ユーザは、枠１１１０の位置を予め操作して、拡大範囲を決定したのちに、拡大表示ボタン１１０９を押下して拡大表示を実行することにより、所望の範囲を拡大して表示することが可能となる。

図１１（ａ）では、円周魚眼表示を行うためのラジオボタン１１０５が選択されている。左右入れ替えを行うチェックボックス１１０７はチェックされていない。そのため、カメラから取得したライブビュー画像が、ライブビュー表示領域１１０１にそのまま表示される。具体的には、左側の表示領域１１０１Ａに、円周魚眼画像である右眼映像が表示され、右側の表示領域１１０１Ｂに、円周魚眼画像である左眼映像が表示される。

図１１（ｂ）では、円周魚眼表示を行うためのラジオボタン１１０５が選択されており、左右入れ替えを行うチェックボックス１１０７がチェックされている。そのため、カメラから取得したライブビュー画像における右眼映像と左眼映像の位置が入れ替えられる。そして、左右入れ替え後のライブビュー画像がライブビュー表示領域１１０１に表示される。具体的には、左側の表示領域１１０１Ａに、円周魚眼画像である左眼映像が表示され、右側の表示領域１１０１Ｂに、円周魚眼画像である右眼映像が表示される。

図１１（ｃ）では、正距円筒表示を行うためのラジオボタン１１０６が選択されており、左右入れ替えを行うチェックボックス１１０７がチェックされている。そのため、カメラから取得したライブビュー画像における右眼映像と左眼映像の位置が入れ替えられるとともに、右眼映像と左眼映像（いずれかも円周魚眼画像）それぞれが正距円筒画像に変換される。そして、左右入れ替えと正距円筒変換を行った後のライブビュー画像が、ライブビュー表示領域１１０１に表示される。具体的には、左側の表示領域１１０１Ａに、正距円筒画像である左眼映像が表示され、右側の表示領域１１０１Ｂに、正距円筒画像である右眼映像が表示される。

なお、カメラ１００から取得したＰＣライブビュー画像が拡大画像である場合には円周魚眼映像の拡大枠部分のみを切り取られたライブビュー画像が送られてくるため、正距円筒変換表示に必要な画像情報が得られない。そのために、正距円筒変換表示である場合には、拡大表示ボタン１１０９をディセーブル状態にして拡大表示を禁止する。もしくは、拡大表示ボタン１１０９が押下された場合には円周魚眼表示に強制的に切り替えて拡大表示に切り替わるようにする。

＜ライブビュー拡大表示制御ついての説明＞
ＰＣライブビューで表示部５０６にライブビュー表示を行っている場合、ＰＣ５００のアプリケーションから、２眼画像の拡大指示をカメラ１００に送信し、拡大画像のライブビュー表示を実現することができる。このとき、画像の拡大処理は、カメラ１００が実行する。ＰＣ５００は、拡大処理が適用されたライブビュー画像を受信して、表示部５０６に表示する。ＰＣ５００は拡大処理の実行および解除の指示をカメラ１００に対して行うほか、カメラ１００拡大処理を適用する２眼画像の範囲（拡大範囲）の設定を行うことができる。拡大範囲の設定は、例えば、表示部５０６に表示されたライブビュー画像上で、ユーザ操作に応じて拡大枠８１０を移動させることによって実行される。ＰＣ５００の制御部は、拡大枠８１０の位置を示す情報をカメラ１００に送信して、カメラ１００に拡大範囲を通知する。

ＰＣライブビュー表示においては、上述したように、レンズユニット３００の左右の光学系から入力された左眼映像と右眼映像が、２眼画像において左右の配置が逆転していることから、制御部５０１が左眼映像と右眼映像を入れ替えて表示することが可能である。このとき、画面上で拡大枠８１０が表示される座標は、カメラ１００の座標と一致しない。例えば、画面上で、左側に表示される左眼映像の中心に拡大枠８１０の中心が一致するように拡大枠８１０を設定したとする。この場合、画面上において設定された拡大枠８１０の中心座標は、カメラ１００の撮像部２１における座標系においては、右眼映像の略中心に対応する。したがって、単にＰＣライブビュー上における拡大枠の位置を示す情報をカメラ１００に送信したとしても、ユーザが意図した拡大範囲をカメラ１００に通知することができない場合がある。

図１２は、本実施形態に係る、ＰＣライブビューの拡大表示中に制御部５０１が表示部５０６に表示するアプリ画面の表示例を示した図である。図１１との共通部分については同じ部番を付帯して説明を省略する。

カメラ１００が２眼画像のうちの一部を拡大する拡大処理を適用した拡大画像をＰＣ５００に出力し、ＰＣ５００の表示部５０６に拡大画像が表示される。このとき、拡大画像のみが表示部５０６に表示されてしまうと、ユーザは表示されている画像が２眼画像におけるどの領域に対応するかを判断することができない。そこで、拡大画像がカメラ１００から送信されている場合、ＰＣ５００は、２眼画像における拡大範囲（拡大処理の対象領域）を示す情報をカメラ１００から取得し、２眼画像における拡大範囲を示すナビゲーション表示を表示部５０６に表示する。ここで、ナビゲーション表示は、２眼画像の全体に対応する領域を示すナビゲーション表示領域１２１１と、２眼画像における拡大範囲を示す枠１２１４と、を含む。ナビゲーション表示領域１２１１は、ＰＣライブビュー表示で、拡大前の画像を表示する場合における左側の領域を示す領域１２１２と右側の領域を示す領域１２１３を含む。ユーザはナビゲーション表示を確認することで、表示される拡大画像が２眼画像においてどの領域に対応するかを認識することが可能となる。

図１２（ａ）は、図１１（ａ）のライブビュー画像が表示されている状態で、アプリ上の拡大表示ボタン１１０９を押下して、拡大表示状態に遷移した図である。

ガイド表示部１２０２は、左映像用のガイド表示部１１０２と、右映像用のガイド表示部１１０３と同様に表示している拡大画像に対応する映像を示す情報を表示する領域である。ガイド表示部１１０２は、「左眼映像」「右眼映像」といった文字列が、拡大対象に応じて表示される。

縮小表示ボタン１２０９は、拡大表示を終了し、全体表示に遷移するための操作部材である。

左右切替ボタン１２１０は、左眼映像と右眼映像のうち、現在拡大して表示されている映像から、他方の映像に拡大する対象を切り替える指示を入力するボタンである。左右切替ボタン１２１０が押下されたことに応じて、拡大処理の対象の映像を左右で切り替えるとともに、拡大範囲は、切り換え前の拡大範囲に対応する範囲が設定されるように制御する。

ナビゲーション表示領域１２１１は、２眼画像の全体の領域のうち、現在拡大表示している拡大範囲を示すＧＵＩ（ナビゲーション表示）を表示する領域である。

図１２（ｂ）は、ナビゲーション表示の拡大図である。ナビゲーション表示は、拡大前の２眼画像の左眼映像、右眼映像の配置に対応する領域を有する。領域１２１２は、拡大前の２眼画像の右眼映像に対応する領域である。領域１２１３は、拡大前の２眼画像の左眼映像に対応する領域である。また、各領域に表示される画像が左眼映像と右眼映像のどちらに対応するかを示すようにアイテムが表示される。本実施形態においては、アイテムは「左眼映像」「右眼映像」といった文字列である。

また、枠１２１４は、２眼画像のうち拡大表示の対象の領域（拡大範囲）を示す拡大枠表示である。ユーザは、ナビゲーション表示上の枠１２１４の位置によって、拡大表示されている領域が右眼映像であるか左眼映像であるかを認識することが可能となる。また、各映像において拡大表示されている領域の位置を認識することが可能となる。

図１３は、ステップＳ８３１で実行される拡大画像の表示処理を示すフローチャートである。

ステップＳ１３０１では、制御部５０１は、カメラ１００から取得した拡大画像をライブビュー表示領域８０１に描画する。この時、制御部５０１は、拡大画像をライブビュー表示領域８０１の縦方向の大きさもしくは横方向の大きさに合わせるように拡大縮小処理を適用して、拡大画像を表示してもよいし、中心合わせで等倍表示を行ってもよい。

ステップＳ１３０２では、制御部５０１は、２眼画像における拡大画像の対応する領域を示すナビゲーション表示を実行する。

ステップＳ１３０３では、制御部５０１は、左右入替が有効であるか否かを判定する。左右入替は、拡大前の画像において、左眼映像と右眼映像とを入れ替える処理である。左右入替の有効、無効の切り替えは、チェックボックス８０７へのチェックの有無に応じて制御される。そして、制御部５０１は、左右入替が有効であると判定した場合には、ステップ１３０４に遷移する。一方、制御部５０１は、左右入替が無効であると判定した場合には、ステップＳ１３０５に遷移する。

ステップＳ１３０４では、左右入替した２眼画像に対応するナビゲーション表示を実行する。図１２（ｃ）は、左右入替した２眼画像に対応するナビゲーション表示を示す。この時、左右眼は正しい並びとなっているのでそのままのガイド表示を施す。ただし、拡大位置はイメージセンサの座標位置とは異なるために拡大位置の表示を入れ替わり後の座標位置に変更する。

ステップＳ１３０５では、制御部５０１は、図１２（ｂ）に示すように左右入替をしていない２眼画像に対応するナビゲーション表示を実行する。上述したように、２眼レンズを用いて撮影されたカメラは左眼映像と右眼映像との配置が２眼画像において逆転した並びで配置される。となるガイド表示を施しナビゲーション表示部材１１１１に表示する。この時、拡大位置はイメージセンサの座標位置の表示を行う。

ステップＳ１３０６では、制御部５０１は、現在表示している拡大画像が右眼映像か否かを判定する。拡大画像が右眼映像の場合、ステップＳ１３０７で、制御部５０１は、ガイド表示部１２０２に右眼映像である表示を行う。ステップＳ１３０８では、制御部５０１は、右眼映像の中心位置（座標）から、拡大枠の左上座標までの位置を取得する。

ステップＳ１３０６で、拡大画像が右眼映像でないと判定された場合、ステップＳ１３０９で、制御部５０１は、ガイド表示部１２０２に左眼映像である表示を行う。ステップＳ９１０では、制御部５０１は、左眼映像の中心位置（座標）から拡大枠左上座標までの位置を取得する。

＜左右の眼を入れ替えている際の拡大枠の移動命令制御＞
上述したように、ＰＣライブビュー表示で、拡大画像を表示している場合に、ナビゲーション表示によって拡大画像が２眼画像のどの領域に対応するかをユーザに通知することが可能となる。本実施形態のＰＣ５００は、さらに、ライブビュー表示上で、カメラ１００が実行する拡大処理の対象領域（拡大範囲）を指定することを可能とする。ユーザは、ＰＣライブビューで表示された拡大範囲を示す拡大枠を、不図示の操作部材などを用いて移動することによって、拡大範囲の位置を決定することができる。単にＰＣライブビュー上における拡大枠の位置を示す情報をカメラ１００に送信したとしても、ユーザが意図した拡大範囲をカメラ１００に通知することができないという課題が発生する。

上述したように、カメラ１００が送信する２眼画像において、左眼映像が２眼画像の右側に配置され、右眼映像が２眼画像の左側に配置される。ＰＣライブビュー表示において、カメラ１００から取得した２眼画像の左眼映像と右眼映像とを入れ替える左右入れ替えを適用した画像を表示することがある。このような場合、ユーザは、表示された画像において拡大範囲を示す拡大枠の移動などを行うが、表示される画像における座標系は、カメラ１００における座標系と異なる。具体的には、ユーザがＰＣライブビュー表示の画像においてユーザが左眼映像の部分を指定するため、表示された画像の座標系において左側の領域に拡大枠を指定したとする。一方で、カメラ１００が処理する２眼画像の座標系において左眼映像は２眼画像の右側の領域に存在する。したがって、ＰＣライブビュー表示の座標系における拡大枠の位置を示す座標をそのままカメラ１００に指示すると、ユーザの意図と異なる位置が指定されてしまうことがある。

このような課題に鑑みて、制御部５０１は、ＰＣライブビュー表示上で設定された拡大範囲の位置情報をＰＣライブビューの表示設定（表示モード、表示形態）に応じて、カメラ１００が生成した画像における位置情報に変換して、カメラ１００に出力する。すなわち、制御部５０１は、ライブビュー表示に対してカメラ１００が実行する処理の対象領域を設定された場合、ライブビュー表示の表示形態に応じて、対象領域の設定位置を変換してカメラ１００に指示を送信する。これにより、ＰＣライブビュー表示において、カメラ１００が取得した撮像画像（２眼画像）に対して、画像の部分の移動を含む画像処理が適用されていたとしても、ユーザが意図した範囲に対してカメラ１００による処理を適用することが可能となる。

図１１（ｂ）に示すように、ＰＣ５００側で、左右の眼を入れ替えてライブビュー画像を表示している場合、ＰＣ５００の表示部５０６に表示されるライブビュー画像の座標系とカメラ１００におけるライブビュー画像の座標系は異なっている。図１４（ａ）は、カメラ１００におけるライブビュー画像の座標系を示す模式図である。図１４（ａ）に示すように、カメラ１００の座標系において、左眼映像と右眼映像とを入れ替えていない状態としてライブビューの表示制御を行っている。

図１４（ａ）に示す座標系は、カメラ１００から取得した座標系情報で、制御部５０１は、カメラのイメージセンサのサイズに応じたライブビューの座標平面をカメラから取得する。取得したライブビュー座標平面の左側に位置する２眼レンズにおける右眼座標領域１４２２、ライブビュー座標平面の右側に位置する２眼レンズにおける左眼座標領域１４２３が存在する。

制御部５０１は、カメラ１００からＰＣライブビュー画像とともに、拡大枠８１０の位置および大きさを示す拡大枠情報と、レンズ情報の左右魚眼のそれぞれの中心位置（右眼レンズ座標領域の中心１４２０、左眼レンズ座標領域の中心１４２１）とを受信する。

ＰＣ５００のライブビュー表示において左右入替を有効としてライブビュー画像を表示している場合、図１１（ｂ）に示すように左眼映像と右眼映像のそれぞれの中心座標に基づいて、映像を入れ替えて表示部５０６にライブビュー画像が表示される。

図１４（ｂ）は、左右映像を入れ替えて制御部５０１がライブビュー表示を行う場合の表示部５０６に表示される画像の配置を示す。図１４（ｂ）に示すようにカメラ１００のライブビュー座標平面において、左眼画像は、右眼レンズ座標領域の中心１４２０を中心とした左側画像表示領域１１０１Ａに表示されている。また、右眼画像は、左眼レンズ座標領域の中心１４２１を中心とした右側画像表示領域１１０１Ｂに表示されている。つまり、カメラの座標系に対して、画像の左右の関係がＸ軸方向に逆転してライブビュー画像が表示されている。さらに拡大枠８１０も同様に、左右魚眼のそれぞれの中心位置（右眼レンズ座標領域の中心１４２０、左眼レンズ座標領域の中心１４２１）を入れ替えて表示している。

このように左右入れ替えが有効となっている状態で、図１４（ｂ）の矢印に示すように、ユーザにより拡大枠８１０を移動する命令が、ＰＣ５００に対して行われたとする。左右入れ替えが無効である場合のように、そのままカメラに拡大枠８１０のユーザが命令した図１４の８０１の移動先の拡大枠表示に準じた座標をカメラ１００に移動指示すると、ユーザが意図しない位置に拡大枠８１０が移動してしまう問題が発生する。

左右入れ替えが有効であって、ユーザからの拡大枠８１０の移動命令を受けた場合、制御部５０１は、拡大枠８１０の移動先の座標位置から、図１４（ｃ）に示すカメラ１００のライブビュー座標系に変換して拡大枠８１０の移動命令をカメラ１００へ行う。

なお、ＰＣ５００がカメラ１００に命令する、ライブビュー表示の拡大領域移動制御では、拡大領域の左上の座標をカメラ１００に指示する形態や、拡大領域の中心座標を指示する形態でもよい。

＜ＰＣ５００におけるＰＣライブビューの拡大枠の移動処理フロー例＞
図１５は、ＰＣ５００のライブビューを拡大していない通常状態での拡大枠移動処理におけるフローチャートを示した説明図である。

本フローチャートは、ＰＣ５００におけるライブビューにおいて、拡大されていない２眼画像を受信し、ライブビュー画像を表示部５０６に表示した状態から始まる。

ステップＳ１５０１では、制御部５０１は、ユーザからの拡大枠移動命令があるか否かを判定し、拡大枠の移動命令があった場合にはステップＳ１５０２に進み、なかった場合は拡大枠移動制御のフローを終了する。

ステップＳ１５０２では、制御部５０１は、ユーザ命令を受けた移動先の拡大枠８１０の表示位置が図１４（ｂ）に示す、左右入れ替え時の右眼画像の表示領域１１０１Ｂ内に有るかを判断する。移動先の拡大枠８１０の位置が、右眼画像の表示領域１１０１Ｂだった場合はステップＳ１５０８に進み、それ以外の場合はステップＳ１５０７に進む。

ステップＳ１５０３では、制御部５０１は、ユーザ命令を受けた移動先の拡大枠８１０の表示位置が図１４（ｂ）に示す、左眼画像の表示領域１１０１Ａに有るかを判断する。移動先の拡大枠８１０の位置が、左眼画像の表示領域１１０１Ａだった場合にはステップＳ１５０９に進み、拡大枠８１０が左右どちらの円周魚眼の領域にも無かった場合にはステップＳ１５１０にすすむ。

ステップＳ１５０４では、制御部５０１は、現在ライブビュー画像表示を左右入れ替えて表示しているか否かを判定し、入れ替えてライブビュー画像表示を行っている場合にはステップＳ１５０５に進み、入れ替えていない場合には、ステップＳ１５６１に進む。なお、左右入替指示があるかどうかの判定については、図１１に示す、チェックボックス１１０７の選択状態をもとに、制御部５０１が判定を行う。

ステップＳ１５０５では、制御部５０１は、図１４の１４２０に示す右眼の中心座標から、ユーザが移動した拡大枠８１０までのオフセット座標を算出し、ＲＡＭ５０３に記録してステップＳ１５０７へ進む。

ステップＳ１５０６では、制御部５０１は、図１４の１４２１に示す左眼の中心座標にＲＡＭ５０３に記録した、ユーザが移動した拡大枠８１０のオフセット座標を足して移動先の座標を算出し、ステップＳ１５１１に進む。

ステップＳ１５０７では、制御部５０１は、現在ライブビュー画像表示を左右入れ替えて表示しているか否かを判定し、入れ替えてライブビュー画像表示を行っている場合にはステップＳ１５０８に進み、入れ替えていない場合には、ステップＳ１５１１に進む。

ステップＳ１５０８では、制御部５０１は、図１４の１４２１に示す左眼の中心座標から、ユーザが移動した拡大枠８１０までのオフセット座標を算出し、ＲＡＭ５０３に記録してステップＳ１５０９へ進む。

ステップＳ１５０９では、制御部５０１は、図１４の１４２０に示す右眼の中心座標にＲＡＭ５０３に記録した、ユーザが移動した拡大枠８１０のオフセット座標を足して移動先の座標を算出し、ステップＳ１５０８に進む。

ステップＳ１５１０では、制御部５０１は、移動命令を破棄して移動操作を終了する。

ステップＳ１５１１では、制御部５０１は、算出した拡大枠８１０の移動先の座標へカメラ１００に対して拡大枠８１０の移動命令する。

以上のフローをもって、拡大枠８１０の移動操作を終了する。

＜拡大中のＰＣライブビューの拡大位置の移動処理フロー例＞
図１６は、図１２に示すように拡大画像をライブビュー表示している場合に、ユーザからの拡大位置の移動命令を受けた際の制御を示すフローチャートである。

本フローチャートは、ＰＣ５００が受信した拡大されたライブビュー画像を表示部５０６に表示した状態から始まる。

ステップＳ１６０１では、制御部５０１は、ユーザからの拡大領域の移動命令があるか否かを判定し、移動命令があった場合にはステップＳ１６０２に進み、なかったステップＳ１６０５に進む。

ステップＳ１６０２では、制御部５０１は、ユーザによる移動命令に応じて拡大枠を移動した場合に、拡大枠が左眼映像と右眼映像との両方に跨いで配置されるか否かを判定する。拡大枠が左眼映像と右眼映像との両方に跨いで配置される場合にはステップＳ１６０４に進み、そうでない場合にはステップＳ１６０３に進む。

ステップＳ１６０３では、制御部５０１は、ライブビューの拡大領域が２眼レンズの現在表示中の円周魚眼領域から完全に外にはみ出して、真っ黒な領域だけの表示となってしまうような状況になっているか否かを判定する。はみ出している場合はステップＳ１６０４に進み、はみ出していない場合には、ステップＳ１６０７に進む。

ステップＳ１６０４では、制御部１０１は、ライブビュー表示の拡大位置移動命令を破棄しフローを終了する。

ステップＳ１６０５では、制御部１０１は、左右切替ボタン１２１０をユーザが操作し、拡大対象の映像を切り替える指示が入力されたか否かを判定する。指示があった場合にはステップＳ１６０６に進み、無かった場合にはフローを終了する。

ステップＳ１６０６では、右眼映像および左眼映像のうち拡大対象の映像において、領域の中心座標から、拡大枠のオフセット量を加えて移動先の座標を算出し、ステップＳ１６０７に進む。

ステップＳ１６０７では、制御部５０１は、算出した拡大位置の座標へカメラ１００に対してライブビュー拡大表示位置の移動命令する。

以上のフローをもって、拡大時の拡大位置の移動操作を終了する。

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。同様に、制御部５０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、本発明は、カメラやＰＣに限られず、視差のある２つの画像を扱うことのできる電子機器であれば適用可能である。例えば、本発明は、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ（カメラ）
５０ システム制御部
５００ パーソナルコンピュータ（ＰＣ）
５０１ 制御部

Claims (15)

1. 第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの２眼画像を撮像する撮像装置と通信する通信手段と、
   前記画像を表示手段に表示する表示制御手段と、
   前記撮像手段によって所定の画像処理を適用する対象領域の位置を前記表示された前記２眼画像に対して設定する設定手段と、
   を有し、
   前記設定手段は、前記表示制御手段が前記２眼画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記画像に対して設定された前記対象領域の位置を変換し、
   前記通信手段は、前記変換された前記対象領域の位置を前記撮像装置に出力する
   ことを特徴とする情報処理装置。
2. 前記表示制御手段は、前記２眼画像における前記第１画像と前記第２画像との位置を入れ替えて表示する第１表示形態と、前記２眼画像における前記第１の画像と前記第２の画像との位置を入れ替えないで表示する第２表示形態とを含む複数の表示形態のいずれかで前記画像を表示し、
   前記設定手段は、前記第１表示形態で前記２眼画像が表示され、前記表示手段に表示された前記画像の前記第１画像に対応する領域に前記対象領域の位置が設定された場合、前記撮像装置が撮像した前記２眼画像における前記第１画像に対応する領域に前記対象領域が設定されるように変換する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記設定手段は、前記表示手段に表示された画像に対して指定された前記対象領域の座標を、前記表示形態に応じて変換する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御手段は、前記２眼画像に前記所定の画像処理が適用されて得られた画像を前記表示手段に表示している場合に、前記２眼画像における前記対象領域の位置を示すための表示を前記表示手段に表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記所定の画像処理は、前記２眼画像の部分を拡大する拡大処理である
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示制御手段は、前記拡大処理が適用された前記２眼画像を表示している場合に、表示されている画像が前記第１画像に対応する部分であるか、前記第２画像に対応する部分であるかを示す情報を表示する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記２眼画像において前記第１の光学系の光軸中心に対応する第１座標と前記第２の光学系の光軸中心に対応する第２座標とを示すレンズ情報を取得し、
   前記設定手段は、前記表示手段に表示された前記２眼画像における前記第１座標もしくは前記第２座標に対応する座標に対する前記対象領域の位置に基づいて、前記対象領域の位置を変換する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記第１の光学系および前記第２の光学系に関する情報を取得する取得手段を更に有し、
   前記表示制御手段は、前記情報に基づき、前記２眼画像における前記第１画像と前記第２画像との位置を補正する画像処理を実行してえられた画像を前記表示手段に表示する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記情報は、前記２眼画像における前記第１の光学系の光軸中心に関する情報、および前記２眼画像における前記第２の光学系の光軸中心に関する情報を含み、
   前記処理手段は、前記画像処理において、前記２眼画像における前記第１の光学系および前記第２の光学系の光軸中心に基づき、前記２眼画像における前記第１画像と前記第２画像との位置を入れ替える
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記第１の光学系および前記第２の光学系に関する前記情報は、前記第１の光学系と前記第２の光学系とを含むレンズユニットの設計上のパラメータと、前記レンズユニット固有のパラメータとを含み、
    前記処理手段は、前記設計上のパラメータと、前記固有のパラメータとに基づき、前記画像処理を実行する
    ことを特徴とする請求項８または９に記載の情報処理装置。
11. 前記２眼画像は、前記第１画像と前記第２画像とが左右に並べて配置された画像であって、
    前記処理手段は、前記画像処理において、前記２眼画像における前記第１画像と前記第２画像との左右の位置関係を反転させる
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の情報処理装置。
12. 前記第１の光学系、および前記第２の光学系は、それぞれ、魚眼レンズを含み、
    前記第１画像、および前記第２画像は、それぞれ、円周魚眼画像である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの２眼画像を撮像する撮像装置と通信する通信工程と、
    前記２眼画像を表示手段に表示する表示制御工程と、
    前記撮像手段によって所定の画像処理を適用する対象領域の位置を前記表示された前記２眼画像に対して設定する設定工程と、
    を有し、
    前記設定工程は、前記表示制御手段が前記２眼画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記画像に対して設定された前記対象領域の位置を変換し、
    前記通信工程は、前記変換された前記対象領域の位置を前記撮像装置に出力する
    ことを特徴とする情報処理装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images