JP2022183845A5

JP2022183845A5 -

Info

Publication number: JP2022183845A5
Application number: JP2021091346A
Authority: JP
Filing date: 2021-05-31
Publication date: 2024-06-04

Description

本発明にかかる情報処理装置は、第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの第３画像を撮像する撮像装置と通信する通信手段と、前記第３画像を表示手段に表示する表示制御手段と、前記撮像装置によって所定の画像処理を適用する対象領域の位置を前記表示された前記第３画像に対して設定する設定手段と、を有し、前記設定手段は、前記表示制御手段が前記第３画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記第３画像に対して設定された前記対象領域の位置を変換し、前記通信手段は、前記変換された前記対象領域の位置を前記撮像装置に出力することを特徴とする情報処理装置。

ステップＳ６０２では、システム制御部５０は、２眼レンズがカメラ１００に装着されているか否かを判定する。２眼レンズが装着されていると判定した場合はステップＳ６０３へ進み、そうでない場合はステップＳ６１１へ進む。なお、２眼レンズが装着されていない状態から２眼レンズが装着された場合も、ステップＳ６０３へ進む。２眼レンズが装着されている状態から２眼レンズが取り外された場合は、ステップＳ６１１へ進む。

ステップＳ８０６では、制御部５０１は、円周魚眼表示を行うか否かを判定する。円周魚眼表示を行うと判定した場合はステップＳ８０７へ進み、そうでない場合（正距円筒表示を行う場合）はステップＳ８１４へ進む。ステップＳ８０６では、例えば、図１１（ａ）～（ｃ）のラジオボタン１１０５が選択状態か非選択状態かで、円周魚眼表示を行うか否かを判定する。図１１（ａ），（ｂ）ではラジオボタン１１０５は選択状態であり、図１１（ｃ）ではラジオボタン１１０５は非選択状態である。ラジオボタン１１０５が選択状態の場合は、円周魚眼表示を行うと判定し、ステップＳ８０７へ進む。ラジオボタン１１０５が非選択状態である場合は、ステップＳ８１４へ進む。

ステップＳ８３０では、カメラ１００から取得したＰＣライブビュー画像が全体画像であるか拡大画像であるかを判定する。拡大画像であった場合にはステップＳ８３１において拡大画像の表示シーケンスを実行する。ステップＳ８３１の詳細については後述する。カメラ１００から取得したＰＣライブビュー画像が全体画像である場合、ステップＳ８０９に進む。

本実施形態では、レンズ情報を用いることにより、左右入れ替え後の画像８３７（図９（ｂ））において、左右方向における左像の中心座標を中心座標９０４に一致させ、左右方向における右像の中心座標を中心座標９０８に一致させることができる。その結果、画像８３７を良好に立体視することが可能となる。

ステップＳ８１２では、制御部５０１は、ステップＳ８０８で取得したライブビュー画像を、表示部５０６に表示する。すなわち、カメラ１００から出力されたライブビュー画像がそのまま表示部５０６に表示される。

図１１（ａ）～（ｃ）は、制御部５０１が表示部５０６に表示するアプリケーション画面における表示（ＰＣライブビューの表示）の一例を示す模式図である。画面１１００は、アプリケーション画面（リモートライブビュー画面）である。画面１１００は、ライブビュー表示領域１１０１、ガイド表示領域１１０２、ガイド表示領域１１０３、操作領域１１０４、終了ボタン１１０８を含む。

＜ライブビュー拡大表示制御ついての説明＞
ＰＣライブビューで表示部５０６にライブビュー表示を行っている場合、ＰＣ５００のアプリケーションから、２眼画像の拡大指示をカメラ１００に送信し、拡大画像のライブビュー表示を実現することができる。このとき、画像の拡大処理は、カメラ１００が実行する。ＰＣ５００は、拡大処理が適用されたライブビュー画像を受信して、表示部５０６に表示する。ＰＣ５００は拡大処理の実行および解除の指示をカメラ１００に対して行うほか、カメラ１００が拡大処理を適用する２眼画像の範囲（拡大範囲）の設定を行うことができる。拡大範囲の設定は、例えば、表示部５０６に表示されたライブビュー画像上で、ユーザ操作に応じて拡大枠８１０を移動させることによって実行される。ＰＣ５００の制御部５０１は、拡大枠８１０の位置を示す情報をカメラ１００に送信して、カメラ１００に拡大範囲を通知する。

ガイド表示領域１２０２は、左映像用のガイド表示部１１０２と、右映像用のガイド表示部１１０３と同様に表示している拡大画像に対応する映像を示す情報を表示する領域である。ガイド表示部１１０２は、「左眼映像」「右眼映像」といった文字列が、拡大対象に応じて表示される。

ステップＳ１３０１では、制御部５０１は、カメラ１００から取得した拡大画像をライブビュー表示領域１１０１に描画する。この時、制御部５０１は、拡大画像をライブビュー表示領域１１０１の縦方向の大きさもしくは横方向の大きさに合わせるように拡大縮小処理を適用して、拡大画像を表示してもよいし、中心合わせで等倍表示を行ってもよい。

ステップＳ１３０３では、制御部５０１は、左右入替が有効であるか否かを判定する。左右入替は、拡大前の画像において、左眼映像と右眼映像とを入れ替える処理である。左右入替の有効、無効の切り替えは、チェックボックス１１０７へのチェックの有無に応じて制御される。そして、制御部５０１は、左右入替が有効であると判定した場合には、ステップ１３０４に遷移する。一方、制御部５０１は、左右入替が無効であると判定した場合には、ステップＳ１３０５に遷移する。

ステップＳ１３０５では、制御部５０１は、図１２（ｂ）に示すように左右入替をしていない２眼画像に対応するナビゲーション表示を実行する。上述したように、２眼レンズを用いて撮影された２眼画像は左眼映像と右眼映像との配置が逆転した並びで配置される。２眼画像の全体に対応する領域を示すガイド表示を施しナビゲーション表示部材１２１１に表示する。この時、拡大位置はイメージセンサの座標位置の表示を行う。

ステップＳ１３０６では、制御部５０１は、現在表示している拡大画像が右眼映像か否かを判定する。拡大画像が右眼映像の場合、ステップＳ１３０７で、制御部５０１は、ガイド表示領域１２０２に右眼映像であることを示す表示を行う。ステップＳ１３０８では、制御部５０１は、右眼映像の中心位置（座標）から、拡大枠の左上座標までの位置を取得する。

ステップＳ１３０６で、拡大画像が右眼映像でないと判定された場合、ステップＳ１３０９で、制御部５０１は、ガイド表示部１２０２に左眼映像であることを示す表示を行う。ステップＳ１３１０では、制御部５０１は、左眼映像の中心位置（座標）から拡大枠左上座標までの位置を取得する。

上述したように、カメラ１００が送信する２眼画像において、左眼映像が２眼画像の右側に配置され、右眼映像が２眼画像の左側に配置される。ＰＣライブビュー表示において、カメラ１００から取得した２眼画像の左眼映像と右眼映像とを入れ替える左右入れ替えを適用した画像を表示することがある。このような場合、ユーザは、表示された画像において拡大範囲を示す拡大枠の移動などを行うが、表示される画像における座標系は、カメラ１００における座標系と異なる。具体的には、ユーザがＰＣライブビュー表示の画像において左眼映像の部分を指定するため、表示された画像の座標系において左側の領域に拡大枠を指定したとする。一方で、カメラ１００が処理する２眼画像の座標系において左眼映像は２眼画像の右側の領域に存在する。したがって、ＰＣライブビュー表示の座標系における拡大枠の位置を示す座標をそのままカメラ１００に指示すると、ユーザの意図と異なる位置が指定されてしまうことがある。

制御部５０１は、カメラ１００からＰＣライブビュー画像とともに、拡大枠８１０の位置および大きさを示す拡大枠情報と、レンズ情報の左右魚眼画像のそれぞれの中心位置（右眼レンズ座標領域の中心１４２０、左眼レンズ座標領域の中心１４２１）とを受信する。

図１４（ｂ）は、左右映像を入れ替えて制御部５０１がライブビュー表示を行う場合の表示部５０６に表示される画像の配置を示す。図１４（ｂ）に示すようにカメラ１００のライブビュー座標平面において、左眼画像は、右眼レンズ座標領域の中心１４２０を中心とした左側画像表示領域１１０１Ａに表示されている。また、右眼画像は、左眼レンズ座標領域の中心１４２１を中心とした右側画像表示領域１１０１Ｂに表示されている。つまり、カメラの座標系に対して、画像の左右の関係がＸ軸方向に逆転してライブビュー画像が表示されている。さらに拡大枠８１０も同様に、左右魚眼画像のそれぞれの中心位置（右眼レンズ座標領域の中心１４２０、左眼レンズ座標領域の中心１４２１）を入れ替えて表示している。

このように左右入れ替えが有効となっている状態で、図１４（ｂ）の矢印に示すように、ユーザにより拡大枠８１０を移動する命令が、ＰＣ５００に対して行われたとする。左右入れ替えが無効である場合のように、そのままカメラに拡大枠８１０のユーザが命令した図１４（ｂ）の移動先の拡大枠表示に準じた座標をカメラ１００に移動指示すると、ユーザが意図しない位置に拡大枠８１０が移動してしまう問題が発生する。

＜ＰＣにおけるＰＣライブビューの拡大枠の移動処理フロー例＞
図１５は、ＰＣ５００のライブビューを拡大していない通常状態での拡大枠移動処理におけるフローチャートを示した説明図である。

ステップＳ１５０２では、制御部５０１は、ユーザ命令を受けた移動先の拡大枠８１０の表示位置が図１４（ｂ）に示す、左右入れ替え時の右眼画像の表示領域１１０１Ｂ内に有るかを判断する。移動先の拡大枠８１０の位置が、右眼画像の表示領域１１０１Ｂだった場合はステップＳ１５０４に進み、それ以外の場合はステップＳ１５０３に進む。

ステップＳ１５０３では、制御部５０１は、ユーザ命令を受けた移動先の拡大枠８１０の表示位置が図１４（ｂ）に示す、左眼画像の表示領域１１０１Ａに有るかを判断する。移動先の拡大枠８１０の位置が、左眼画像の表示領域１１０１Ａだった場合にはステップＳ１５０７に進み、移動先の拡大枠８１０の位置が左右どちらの円周魚眼画像の領域にも無かった場合にはステップＳ１５１０にすすむ。

ステップＳ１５０５では、制御部５０１は、図１４（ｂ）の１４２０に示す右眼座標領域１４２２の中心座標から、ユーザが移動した拡大枠８１０までのオフセット座標を算出し、ＲＡＭ５０３に記録してステップＳ１５０６へ進む。

ステップＳ１５０６では、制御部５０１は、図１４（ｂ）の１４２１に示す左眼座標領域１４２３の中心座標にＲＡＭ５０３に記録した、ユーザが移動した拡大枠８１０のオフセット座標を足して移動先の座標を算出し、ステップＳ１５１１に進む。

ステップＳ１５０８では、制御部５０１は、図１４（ｂ）の１４２１に示す左眼の中心座標から、ユーザが移動した拡大枠８１０までのオフセット座標を算出し、ＲＡＭ５０３に記録してステップＳ１５０９へ進む。

ステップＳ１５０９では、制御部５０１は、図１４（ｂ）の１４２０に示す右眼座標領域１４２２の中心座標にＲＡＭ５０３に記録した、ユーザが移動した拡大枠８１０のオフセット座標を足して移動先の座標を算出し、ステップＳ１５１１に進む。

ステップＳ１６０１では、制御部５０１は、ユーザからの拡大領域の移動命令があるか否かを判定し、移動命令があった場合にはステップＳ１６０２に進み、なかった場合にはステップＳ１６０５に進む。

ステップＳ１６０２では、制御部５０１は、ユーザによる移動命令に応じて拡大枠を移動した場合に、拡大枠の移動量が現在の眼の画像を超える量であるか否かを判定する。超える場合にはステップＳ１６０４に進み、そうでない場合にはステップＳ１６０３に進む。

ステップＳ１６０４では、制御部５０１は、ライブビュー表示の拡大位置移動命令を破棄しフローを終了する。

ステップＳ１６０５では、制御部５０１は、拡大領域を現在の眼の画像とは逆の眼の画像へ移動する指示が入力されたか否かを判定する。指示があった場合にはステップＳ１６０６に進み、無かった場合にはフローを終了する。

Claims

第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの第３画像を撮像する撮像装置と通信する通信手段と、
前記第３画像を表示手段に表示する表示制御手段と、
前記撮像装置によって所定の画像処理を適用する対象領域の位置を前記表示された前記第３画像に対して設定する設定手段と、
を有し、
前記設定手段は、前記表示制御手段が前記第３画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記第３画像に対して設定された前記対象領域の位置を変換し、
前記通信手段は、前記変換された前記対象領域の位置を前記撮像装置に出力する
ことを特徴とする情報処理装置。
前記表示制御手段は、前記第３画像における前記第１画像と前記第２画像との位置を入れ替えて表示する第１表示形態と、前記第３画像における前記第１の画像と前記第２の画像との位置を入れ替えないで表示する第２表示形態とを含む複数の表示形態のいずれかで前記第３画像を表示し、
前記設定手段は、前記第１表示形態で前記第３画像が表示され、前記表示手段に表示された前記第３画像の前記第１画像に対応する領域に前記対象領域の位置が設定された場合、前記撮像装置が撮像した前記第３画像における前記第１画像に対応する領域に前記対象領域が設定されるように変換する
ことを特徴とする請求項１に記載の情報処理装置。
前記設定手段は、前記表示手段に表示された画像に対して指定された前記対象領域の座標を、表示形態に応じて変換する
ことを特徴とする請求項１または２に記載の情報処理装置。
前記表示制御手段は、前記第３画像に前記所定の画像処理が適用されて得られた画像を前記表示手段に表示している場合に、前記第３画像における前記対象領域の位置を示すための表示を前記表示手段に表示する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記所定の画像処理は、前記第３画像の部分を拡大する拡大処理である
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記表示制御手段は、前記拡大処理が適用された前記第３画像を表示している場合に、表示されている画像が前記第１画像に対応する部分であるか、前記第２画像に対応する部分であるかを示す情報を表示する
ことを特徴とする請求項５に記載の情報処理装置。
前記第３画像において前記第１の光学系の光軸中心に対応する第１座標と前記第２の光学系の光軸中心に対応する第２座標とを示すレンズ情報を取得し、
前記設定手段は、前記表示手段に表示された前記第３画像における前記第１座標もしくは前記第２座標に対応する座標に対する前記対象領域の位置に基づいて、前記対象領域の位置を変換する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
前記第１の光学系および前記第２の光学系に関する情報を取得する取得手段を更に有し、
前記表示制御手段は、前記所定の画像処理として、前記情報に基づき、前記第３画像における前記第１画像と前記第２画像との位置を補正する第１の画像処理が適用されて得られた画像を前記表示手段に表示する
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記情報は、前記第３画像における前記第１の光学系の光軸中心に関する情報、および前記第３画像における前記第２の光学系の光軸中心に関する情報を含み、
前記第１の画像処理は、前記第３画像における前記第１の光学系および前記第２の光学系の光軸中心に基づき、前記第３画像における前記第１画像と前記第２画像との位置を入れ替える処理である
ことを特徴とする請求項８に記載の情報処理装置。
前記第１の光学系および前記第２の光学系に関する前記情報は、前記第１の光学系と前記第２の光学系とを含むレンズユニットの設計上のパラメータと、前記レンズユニット固有のパラメータとを含み、
前記第１の画像処理は、前記設計上のパラメータと、前記固有のパラメータとに基づいて実行する処理である
ことを特徴とする請求項８または９に記載の情報処理装置。
前記第３画像は、前記第１画像と前記第２画像とが左右に並べて配置された画像であって、
前記第１の画像処理は、前記第３画像における前記第１画像と前記第２画像との左右の位置関係を反転させる処理である
ことを特徴とする請求項８乃至１０のいずれか１項に記載の情報処理装置。
前記第１の光学系、および前記第２の光学系は、それぞれ、魚眼レンズを含み、
前記第１画像、および前記第２画像は、それぞれ、円周魚眼画像である
ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
第１の光学系を介して入力された第１の光学像に対応する第１画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２画像とを含む１つの第３画像を撮像する撮像装置と通信する通信工程と、
前記第３画像を表示手段に表示する表示制御工程と、
前記撮像装置によって所定の画像処理を適用する対象領域の位置を前記表示された前記第３画像に対して設定する設定工程と、
を有し、
前記設定工程は、前記表示制御手段が前記第３画像を前記表示手段に表示する表示形態に応じて、前記表示手段に表示された前記第３画像に対して設定された前記対象領域の位置を変換し、
前記通信工程は、前記変換された前記対象領域の位置を前記撮像装置に出力する
ことを特徴とする情報処理装置の制御方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。