JP5049231B2 - ３次元表示装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像を立体視可能なように３次元表示する３次元表示装置および方法並びに３次元表示方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより生成することができる。

具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。

また、このような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用画像を生成し、生成した３次元表示用画像を３次元表示モニタに３次元表示することができる。

また、このような複眼カメラにおいては、撮影時にはＦ値およびシャッタ速度等の撮影条件、撮影枚数および撮影日時等の文字および数字からなるテキスト、テキストを囲む枠等の線、手ぶれ防止、フラッシュのオン／オフおよび人物モード等を表すためのアイコン、並びに絵文字等のオブジェクトが、３次元表示用画像に重ねて表示される。撮影者はこのようなオブジェクトを確認することにより、撮影日時、撮影枚数および撮影時の撮影条件等を認識することができる。

ここで、このようなオブジェクトを表示するに際し、オブジェクトの使用頻度および重要度等に基づいて、オブジェクトの立体感を変更する手法が提案されている（特許文献１参照）。特許文献１に記載された手法によれば、オブジェクトの立体感をその使用頻度および重要度等に応じて容易に変更することができる。
特開２００５−４９６６８号公報

ここで、オブジェクトを表示する場合には、できるだけ画像が大きく表示されるように、オブジェクトは小さくならざるを得ない。しかしながら、オブジェクトが小さいと、複数の画像間の視差が大きく、３次元表示された場合の立体感が大きくなると、オブジェクトの内容を確認しずらくなり、さらには画像の立体感もつかみにくくなる。

本発明は上記事情に鑑みなされたものであり、３次元表示された画像に重ねて表示されるオブジェクトを見やすくすることを目的とする。

本発明による第１の３次元表示装置は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間の視差量が所定のしきい値以上か否かを判定し、該判定が肯定された場合に前記オブジェクトに背景を付与し、該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する表示制御手段とを備えたことを特徴とするものである。

なお、本発明による第１の３次元表示装置においては、前記表示制御手段を、前記３次元表示される画像上における前記オブジェクトが表示される領域毎に視差量を算出し、前記領域毎に前記視差量が前記所定のしきい値以上か否かを判定し、該判定が肯定された領域についてのみ、前記オブジェクトに背景を付与する手段としてもよい。

また、本発明による３次元表示装置においては、前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段をさらに備えるものとし、
前記表示制御手段を、前記表示モードが前記３次元表示に切り替えられた場合にのみ、前記視差量の算出、前記判定および前記オブジェクトへの背景の付与を行う手段としてもよい。

この場合、前記表示制御手段を、メニュー画面を前記表示手段に表示する手段とし、
前記切り替え手段を、前記メニュー画面が表示される場合には、前記表示モードを前記２次元表示に切り替える手段としてもよい。

メニュー画面とは、本発明による３次元表示装置および本発明による３次元表示装置を適用したカメラ等の機能を設定するために表示される画面であり、機能を設定するための各種メニューを表す文字を含む画面である。

本発明による第２の３次元表示装置は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段と、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示手段が前記３次元表示に切り替えられた場合にのみ、前記オブジェクトに背景を付与し、該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する表示制御手段とを備えたことを特徴とするものである。

なお、本発明による第２の３次元表示装置においては、前記表示制御手段を、メニュー画面を前記表示手段に表示する手段とし、
前記切り替え手段を、前記メニュー画面が表示される場合には、前記表示手段を前記２次元表示に切り替える手段としてもよい。

本発明による第１の３次元表示方法は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記複数の画像間の視差量が所定のしきい値以上か否かを判定し、
該判定が肯定された場合に前記オブジェクトに背景を付与し、
該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示することを特徴とするものである。

本発明による第２の３次元表示方法は、互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段とを備えた３次元表示装置における３次元表示方法であって、
前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示手段が前記３次元表示に切り替えられた場合にのみ、前記オブジェクトに背景を付与し、
該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示することを特徴とするものである。

なお、本発明による第１および第２の３次元表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による第１の３次元表示装置および方法によれば、３次元表示された画像に重ねてオブジェクトを表示するに際し、複数の画像間の視差量が所定のしきい値以上か否かが判定され、判定が肯定された場合にオブジェクトに背景が付与されて３次元表示された画像に重ねて表示される。このため、視差量が大きく３次元表示される画像の立体感が大きい場合にオブジェクトを見やすくすることができ、その結果、オブジェクトが見にくくなることにより３次元表示される画像の立体視が妨げられることを防止できる。

また、３次元表示される画像上におけるオブジェクトが表示される領域毎に視差量を算出し、領域毎に視差量が所定のしきい値以上か否かを判定し、判定が肯定された場合には、オブジェクトに背景を付与することにより、視差量が大きい領域に表示されるオブジェクトにのみ背景を付与することができるため、視差量が大きく３次元表示される画像の立体感が大きい領域に表示されるオブジェクトを見やすくすることができる。

また、表示手段が３次元表示に切り替えられた場合にのみ、視差量の算出、判定およびオブジェクトへの背景の付与を行うことにより、２次元表示を行う場合に不要な処理が行われてしまうことを防止できる。

また、メニュー画面を表示する際には、表示手段を２次元表示に切り替えることにより、メニュー画面を見やすくすることができる。

本発明による第２の３次元表示装置および方法によれば、３次元表示された画像に重ねてオブジェクトを表示するに際し、表示手段が３次元表示に切り替えられた場合にのみ、オブジェクトに背景が付与されて３次元表示された画像に重ねて表示される。このため、３次元表示が行われる場合にはオブジェクトを見やすくすることができ、その結果、オブジェクトが見にくくなることにより３次元表示される画像の立体視が妨げられることを防止できる。また、２次元表示を行う場合に不要な処理が行われてしまうことを防止できる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。

図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り１１Ａ，１１Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入出力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。

ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎にＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域に対応する位置を合焦位置として検出する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、およびＣＰＵ３３が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像ファイルをモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入出力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１および第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１および第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。本実施形態においては、第１の画像Ｇ１を２次元表示に用いるものとする。

また、表示制御部２８は、画像がモニタ２０に３次元表示または２次元表示されている場合に、オブジェクトを画像に重ねて表示する。ここで、オブジェクトとしては、Ｆ値およびシャッタ速度等の撮影条件、撮影枚数および撮影日時等の文字および数字からなるテキスト、テキストを囲む枠等の線、手ぶれ防止、フラッシュのオン／オフおよび人物モード等を表すためのアイコン、並びに絵文字等が用いられる。なお、オブジェクトのデータは内部メモリ２７に記憶されている。

図３は画像にオブジェクトが表示された状態を示す図である。なお、ここでは第１および第２の画像Ｇ１，Ｇ２の一方にオブジェクトが表示された状態を示す。図３に示すように、画像には左上隅にフラッシュの発光を示すアイコンが、右上隅に今までの撮影枚数が、左下隅にＦ値およびシャッタ速度が、右下隅に撮影日を表す文字が画像に重ねて表示される。

なお、表示されるオブジェクトとしては、図３に示すものに限定されるものではなく、ＡＦ処理ができない場合に警告を行うための文字、顔検出を行う場合のアイコン、手ぶれ防止処理を行う場合のアイコン、マクロ撮影を行う場合のアイコン等を用いることができる。

また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。なお、第１および第２の画像Ｇ１，Ｇ２にオブジェクトが表示される場合には、オブジェクトが表示された第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。

ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

３次元処理部３０は、３次元表示の方式に応じた３次元処理を第１および第２の画像Ｇ１，Ｇ２に対して行う。例えば、３次元表示の方式が裸眼平衡法によるものである場合、第１および第２の画像Ｇ１，Ｇ２を左右に並べた３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がレンチキュラー方式の場合には、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取って交互に配置した３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がスキャンバックライト方式の場合には、第１および第２の画像Ｇ１，Ｇ２を、モニタ２０のバックライトの左右への分離にあわせて交互にモニタ２０に出力する３次元処理を行う。なお、以降の説明では、第１および第２の画像Ｇ１，Ｇ２を並べる方式を第１の方式、それ以外の方式を第２の方式と称する。

なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

ここで、３次元表示を行う場合には、モニタ２０に表示される画像にオブジェクトが重ねられるが、上述したようにオブジェクトは画像の隅に小さく表示されるため、とくに第１および第２の画像Ｇ１，Ｇ２の視差量が大きく、立体感が大きくなる場合、オブジェクトが見にくくなってしまう。

第１の実施形態においては、表示制御部２８が第１および第２の画像Ｇ１，Ｇ２の視差量を算出し、視差量をしきい値Ｔｈ１と比較し、視差量がしきい値Ｔｈ１以上の場合に、オブジェクトに背景を付与するようにしてものである。なお、この処理の詳細については後述する。

ＣＰＵ３３は、レリーズボタンおよびズームレバー等を含む入出力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図４および図５は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１および第２の画像Ｇ１，Ｇ２のスルー画像を第１の方式により３次元表示する場合の処理について説明する。複眼カメラ１が撮影モードに切り替えられるまたは撮影モードの状態において電源がオンとされることによりＣＰＵ３３が処理を開始し、モニタ２０の表示モードが３次元表示に切り替えられているか否かを判定する（ステップＳＴ１）。ステップＳＴ１が肯定されると、表示制御部２８が、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２の視差量を算出する（ステップＳＴ２）。

図６は視差量の算出を説明するための図である。図６に示すように表示制御部２８は、第１の画像Ｇ１の中央の画素Ｏ１を基準とする所定範囲の領域Ａ１を切り出し、領域Ａ１をテンプレートとして第２の画像Ｇ２とのテンプレートマッチングを行い、第２の画像Ｇ２上において領域Ａ１に対応する領域Ａ２を抽出する。そして、第２の画像Ｇ２の中央の画素Ｏ２と、領域Ａ２の中央の画素Ｏ２′との水平方向における画素数の差の絶対値Δｘを視差量として算出する。

そして表示制御部２８は、視差量Δｘがしきい値Ｔｈ１以上であるか否かを判定する（ステップＳＴ３）。ここで、しきい値Ｔｈ１としては、第１および第２の画像Ｇ１，Ｇ２の水平方向の画素数の３％程度の値を用いることができる。ステップＳＴ３が肯定されると、表示制御部２８は、第１および第２の画像Ｇ１，Ｇ２に重ねて表示するための、背景付きのオブジェクトを作成する（ステップＳＴ４）。一方、ステップＳＴ３が否定されると、表示制御部２８は、第１および第２の画像Ｇ１，Ｇ２に重ねて表示するための、背景なしのオブジェクトを作成する（ステップＳＴ５）。次いで、３次元処理部３０が、第１および第２の画像Ｇ１，Ｇ２を並べる３次元処理を行うことにより３次元表示用画像を生成し（ステップＳＴ６）、表示制御部２８が、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２に作成されたオブジェクトを重ねて、オブジェクトが重ねられた３次元表示用画像を作成し（オブジェクト付き３次元表示用画像作成、ステップＳＴ７）、オブジェクトが重ねられた３次元表示用画像をモニタ２０に３次元表示する（ステップＳＴ８）。

図７は背景付きのオブジェクトが重ねられた３次元表示用画像を示す図である。図７に示すように、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２には、それぞれ左上隅にフラッシュの発光を示すアイコンが、右上隅に今までの撮影枚数が、左下隅にＦ値およびシャッタ速度が、右下隅に撮影日を表す文字が背景付きの白抜き表示とされて３次元表示用画像に重ねられる。

図８は背景なしのオブジェクトが重ねられた３次元表示用画像を示す図である。図８に示すように、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２には、それぞれ左上隅にフラッシュの発光を示すアイコンが、右上隅に今までの撮影枚数が、左下隅にＦ値およびシャッタ速度が、右下隅に撮影日を表す文字が３次元表示用画像に重ねられる。

なお、各オブジェクトは、視差量Δｘに対応する視差を持って第１および第２の画像Ｇ１，Ｇ２にそれぞれ重ねられるため、オブジェクトが重ねられた３次元表示用画像を３次元表示すると、画像とともにオブジェクトも立体視することができる。一方、視差量Δｘを持たないように、オブジェクトを第１および第２の画像Ｇ１，Ｇ２にそれぞれ重ねるようにしてもよい。この場合、画像のみが立体視され、オブジェクトは立体視されないこととなる。

また、第１および第２の画像Ｇ１，Ｇ２を第２の方式により３次元処理した場合、生成された３次元表示用画像に、図７および図８と同様にオブジェクトが重ねられる。この場合、オブジェクトには視差を持たせることができないため、オブジェクトが重ねられた３次元表示用画像を３次元表示しても、オブジェクトは立体視されないこととなる。

次いでＣＰＵ３３は、メニュー画面の表示の指示が入出力部３４からなされたか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると、表示制御部２８は表示モードを２次元表示に切り替え（ステップＳＴ１０）、第１の画像Ｇ１にメニュー画面を重ねて表示する（ステップＳＴ１１）。ステップＳＴ９が否定されると、リターンする。

図９はメニュー画面が表示された状態を示す図である。図９に示すように、モニタ２０には第１の画像Ｇ１が２次元表示されるとともに、これにメニュー画面Ｍ１が重ねて表示されている。

なお、ステップＳＴ１１に続いて、ＣＰＵ３３はメニュー画面表示終了の指示が入出力部３４からなされたか否かの監視を開始し（ステップＳＴ１２）、ステップＳＴ１２が肯定されると、表示制御部２８は表示モードを３次元表示に切り替え（ステップＳＴ１３）、リターンする。

なお、ステップＳＴ１が否定されると、表示制御部２８は、第１画像Ｇ１に表示するための背景なしのオブジェクトを作成する（ステップＳＴ１４）。さらに表示制御部２８は、第１の画像Ｇ１に作成されたオブジェクトを重ねて、オブジェクトが重ねられた２次元表示用画像を作成する（オブジェクト付き２次元表示用画像作成、ステップＳＴ１５）。そして、表示制御部２８は、オブジェクト付き２次元表示用画像をモニタ２０に２次元表示し（ステップＳＴ１６）、リターンする。

なお、ＣＰＵ３３はレリーズボタンが全押し操作されると、第１および第２の画像Ｇ１，Ｇ２の本画像を取得し、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２から３次元表示用画像を生成し、圧縮／伸張処理部２４が第１および第２の画像Ｇ１，Ｇ２並びに３次元表示用画像の画像データからなる３次元画像ファイルを生成し、メディア制御部２６が３次元画像ファイルを記録メディア２９に記録する処理を行う。

このように、第１の実施形態においては、３次元表示された画像にオブジェクトを重ねて表示するに際し、複数の画像間の視差量Δｘがしきい値Ｔｈ１以上の場合には、オブジェクトに背景を付与して３次元表示するようにしたため、視差量Δｘが大きく３次元表示される画像の立体感が大きい場合にもオブジェクトを見やすくすることができるとともに、オブジェクトが見にくくなることにより３次元表示される画像の立体視が妨げられることを防止できる。

また、表示モードが３次元表示に切り替えられた場合にのみ、視差量の算出、判定およびオブジェクトへの背景の付与を行うことにより、２次元表示を行う場合には、不要な処理が行われてしまうことを防止できる。

また、メニュー画面を表示する場合には、表示モードを２次元表示に切り替えることにより、メニュー画面を見やすくすることができる。

次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、第１の画像Ｇ１の中心を基準とする領域に基づいて算出した視差量Δｘに応じてオブジェクトに背景を付与するか否かを決定しているが、第２の実施形態においては、第１の画像Ｇ１を複数の領域に分割し、分割した領域毎に視差量を算出し、領域毎に表示するオブジェクトに背景を付与するか否かを決定するようにしてものである。なお、第２の実施形態による複眼カメラの構成は、第１の実施形態による複眼カメラの構成と同一であるため、ここでは詳細な説明は省略する。

次いで、第２の実施形態において行われる処理について説明する。図１０は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１および第２の画像Ｇ１，Ｇ２のスルー画像を第１の方式により３次元表示する場合の処理について説明する。また、表示モードは３次元表示に切り替えられているものとする。まず、表示制御部２８が、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２の領域毎の視差量を算出する（ステップＳＴ２１）。

図１１は領域毎の視差量の算出を説明するための図である。図１１に示すように本実施形態においては、第１の画像Ｇ１を４個の領域Ｂ１〜Ｂ４に分割し、上記第１の実施形態と同様に、各領域をテンプレートとして第２の画像Ｇ２とのテンプレートマッチングを行うことにより、すべての領域Ｂ１〜Ｂ４についての視差量Δｘ１〜Δｘ４を算出する。

そして、表示制御部２８は判断の対象となる領域を最初の領域に設定し（ｉ＝１，ステップＳＴ２２）、判断対象の領域の視差量Δｘｉがしきい値Ｔｈ１以上であるか否かを判定する（ステップＳＴ２３）。ステップＳＴ２３が肯定されると、表示制御部２８は、判断対象の領域に表示するための背景付きのオブジェクトを作成する（ステップＳ２４）。一方、ステップＳＴ２４が否定されると、表示制御部２８は、判断対象の領域に表示するための背景なしのオブジェクトを作成する（ステップＳＴ２５）。次いで、すべての領域についての判断を終了したか否かを判定し（ステップＳＴ２６）、ステップＳＴ２６が否定されると、判断対象の領域を次の領域に変更し（ｉ＝ｉ＋１，ステップＳＴ２７）、ステップＳＴ２３に戻り、ステップＳＴ２３以降の処理を繰り返す。

ステップＳＴ２６が肯定されると、表示制御部２８は、３次元処理により作成された３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２に作成されたオブジェクトを重ねて、オブジェクトが重ねられた３次元表示用画像を作成する（オブジェクト付き３次元表示用画像作成、ステップＳＴ２８）。なお、以降は第１の実施形態におけるステップＳＴ８以降と同様の処理が行われるため、説明を省略する。

図１２はオブジェクトが重ねられた３次元表示用画像を示す図である。なお、ここでは領域Ｂ１，Ｂ３の視差量Δｘ１，Δｘ３がしきい値Ｔｈ１以上であってものとする。図１２に示すように、領域Ｂ１，Ｂ３には背景付きの白抜き文字が表示され、領域Ｂ２，Ｂ４には背景なしの文字が表示されている。

このように、第２の実施形態においては、オブジェクトが表示される領域毎に視差量を算出し、領域毎に視差量がＴｈ１以上か否かを判定し、判定が肯定された場合には、オブジェクトに背景を付与するようにしたため、視差量が大きい領域に表示されるオブジェクトにのみ背景を付与することができ、その結果、視差量が大きく３次元表示される画像の立体感が大きい領域に表示されるオブジェクトを見やすくすることができる。

次いで、本発明の第３の実施形態について説明する。第３の実施形態においては、視差量を算出することなく、表示モードが３次元表示に切り替えられた場合に、オブジェクトに背景を付与して表示するようにした点が第１の実施形態と異なる。なお、第３の実施形態による複眼カメラの構成は、第１の実施形態による複眼カメラの構成と同一であるため、ここでは詳細な説明は省略する。

次いで、第３の実施形態において行われる処理について説明する。図１３は第３の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１および第２の画像のスルー画像を第１の方式により３次元表示する場合の処理について説明する。複眼カメラ１が撮影モードに切り替えられるまたは撮影モードの状態において電源がオンとされることによりＣＰＵ３３が処理を開始し、モニタ２０の表示モードが３次元表示に切り替えられているか否かを判定する（ステップＳＴ３１）。ステップＳＴ３１が肯定されると、表示制御部２８は、第１および第２の画像Ｇ１，Ｇ２に表示するための背景付きのオブジェクトを作成する（ステップＳＴ３２）。次いで、３次元処理部３０が、第１および第２の画像Ｇ１，Ｇ２を並べる３次元処理を行うことにより３次元表示用画像を生成し（ステップＳＴ３３）、表示制御部２８が、３次元表示用画像に含まれる第１および第２の画像Ｇ１，Ｇ２に作成されたオブジェクトを重ねて、オブジェクトが重ねられた３次元表示用画像を作成し（オブジェクト付き３次元表示用画像作成、ステップＳＴ３４）、オブジェクトが重ねられた３次元表示用画像をモニタ２０に３次元表示する（ステップＳＴ３５）。

次いでＣＰＵ３３は、メニュー画面の表示の指示が入出力部３４からなされたか否かを判定し（ステップＳＴ３６）、ステップＳＴ３６が肯定されると、表示制御部２８は表示モードを２次元表示に切り替え（ステップＳＴ３７）、第１の画像Ｇ１にメニュー画面を重ねて表示する（ステップＳＴ３８）。ステップＳＴ３６が否定されると、リターンする。

一方、ステップＳＴ３８に続いて、ＣＰＵ３３は、メニュー画面表示終了の指示が入出力部３４からなされたか否かの監視を開始し（ステップＳＴ３９）、ステップＳＴ３９が肯定されると、表示制御部２８は表示モードを３次元表示に切り替え（ステップＳＴ４０）、リターンする。

なお、ステップＳＴ３１が否定されると、表示制御部２８は、第１画像Ｇ１用の背景なしのオブジェクトを作成する（ステップＳＴ４１）。さらに表示制御部２８は、第１の画像Ｇ１に作成されたオブジェクトを重ねて、オブジェクトが重ねられた２次元表示用画像を作成する（ステップＳＴ４２）。そして、表示制御部２８は、２次元表示用画像をモニタ２０に２次元表示し（ステップＳＴ４３）、リターンする。

このように、第３の実施形態においては、表示モードが３次元表示に切り替えられた場合にのみ、オブジェクトに背景を付与するようにしたため、３次元表示が行われる場合にはオブジェクトを見やすくすることができるとともに、オブジェクトが見にくくなることにより３次元表示される画像の立体視が妨げられることを防止できる。また、２次元表示を行う場合には、不要な処理が行われてしまうことを防止できる。

なお、上記実施形態においては、メニュー画面の表示指示がなされた場合に、表示モードを２次元表示に切り替えているが、３次元表示のままメニュー画面を表示するようにしてもよい。この場合、メニュー画面も３次元表示することにより、撮影者はメニュー画面を立体視することができる。

また、上記第１の実施形態においては、第１の画像Ｇ１の中心の画素を基準とした領域の視差量Δｘを算出しているが、例えば、ＡＦ処理により得られる第１の画像Ｇ１の合焦領域とこの合焦領域に対応する第２の画像における領域との視差量を算出するようにしてもよい。また、複眼カメラ１に顔等の特定の被写体を検出する機能を設けた場合、検出した被写体の領域内の視差量を算出するようにしてもよい。

また、上記実施形態においては、本撮影が行われる前の第１および第２の画像Ｇ１，Ｇ２のスルー画像を３次元表示する場合について説明しているが、本撮影の直後の第１および第２の画像Ｇ１，Ｇ２を３次元表示する場合、および記録メディア２９に記録された第１および第２の画像Ｇ１，Ｇ２を確認のために３次元表示する場合にオブジェクトを表示するに際しても、視差量に応じてオブジェクトへの背景の有無を決定するようにしてもよい。なお、記録メディア２９に第１および第２の画像Ｇ１，Ｇ２を記録する際に、第１および第２の画像Ｇ１，Ｇ２の視差量を記録してもよい。この場合において、記録メディア２９に記録された第１および第２の画像Ｇ１，Ｇ２を表示する場合には、視差量を算出することなく、記録された視差量を用いて、オブジェクトに対する背景付与の有無を決定するようにしてもよい。

また、上記実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。

また、上記実施形態においては、本発明による３次元表示装置を複眼カメラ１に適用しているが、表示制御部２８，３次元処理部３０およびモニタ２０を備えた３次元表示装置を単独で提供するようにしてもよい。この場合、同一の被写体を異なる複数の位置において撮影することにより取得した複数の画像が３次元表示装置に入力され、上記第１から第３の実施形態と同様に、複数の画像間の視差量を用いて、表示されるオブジェクトへの背景付与の有無が決定される。

以上、本発明の実施形態について説明したが、コンピュータを、上記の表示制御部２８および３次元処理部３０に対応する手段として機能させ、図４，５，１０，１３に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 画像にオブジェクトが表示された状態を示す図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 視差量の算出を説明するための図 背景付きのオブジェクトが重ねられた３次元表示用画像を示す図 背景なしのオブジェクトが重ねられた３次元表示用画像を示す図 メニュー画面が表示された状態を示す図 第２の実施形態において行われる処理を示すフローチャート（その１） 領域毎の視差量の算出を説明するための図 オブジェクトが重ねられた３次元表示用画像を示す図 第３の実施形態において行われる処理を示すフローチャート（その１）

符号の説明

１ 複眼カメラ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
３０ ３次元処理部

Claims (9)

1. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段と、
   前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示モードが前記３次元表示に切り替えられた場合にのみ、前記複数の画像間の視差量が所定のしきい値以上か否かを判定し、該判定が肯定された場合に前記オブジェクトに背景を付与し、該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する表示制御手段とを備えたことを特徴とする３次元表示装置。
2. 前記表示制御手段は、前記３次元表示される画像上における前記オブジェクトが表示される領域毎に視差量を算出し、前記領域毎に前記視差量が前記所定のしきい値以上か否かを判定し、該判定が肯定された領域についてのみ、前記オブジェクトに背景を付与する手段であることを特徴とする請求項１記載の３次元表示装置。
3. 前記表示制御手段は、メニュー画面を前記表示手段に表示する手段であり、
   前記切り替え手段は、前記メニュー画面が表示される場合には、前記表示モードを前記２次元表示に切り替える手段であることを特徴とする請求項１または２記載の３次元表示装置。
4. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段と、
   前記３次元表示された画像にオブジェクトを表示するに際し、前記表示手段が前記３次元表示に切り替えられた場合にのみ、前記オブジェクトに背景を付与し、該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する表示制御手段とを備えたことを特徴とする３次元表示装置。
5. 前記表示制御手段は、メニュー画面を前記表示手段に表示する手段であり、
   前記切り替え手段は、前記メニュー画面が表示される場合には、前記表示手段を前記２次元表示に切り替える手段であることを特徴とする請求項４記載の３次元表示装置。
6. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段とを備えた３次元表示装置における３次元表示方法であって、
   前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示モードが前記３次元表示に切り替えられた場合にのみ、前記複数の画像間の視差量が所定のしきい値以上か否かを判定し、
   該判定が肯定された場合に前記オブジェクトに背景を付与し、
   該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示することを特徴とする３次元表示方法。
7. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段とを備えた３次元表示装置における３次元表示方法であって、
   前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示手段が前記３次元表示に切り替えられた場合にのみ、前記オブジェクトに背景を付与し、
   該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示することを特徴とする３次元表示方法。
8. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
   前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示モードが前記３次元表示に切り替えられた場合にのみ、前記複数の画像間の視差量が所定のしきい値以上か否かを判定する手順と、
   該判定が肯定された場合に前記オブジェクトに背景を付与する手順と、
   該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する手順とをコンピュータに実行させることを特徴とするプログラム。
9. 互いに異なる位置において撮影を行うことにより取得された複数の画像を３次元表示する表示手段と、
   前記複数の画像に対して３次元表示のための３次元処理を行う３次元処理手段と、
   前記表示手段の表示モードを３次元表示および２次元表示に切り替える切り替え手段とを備えた３次元表示装置における３次元表示方法をコンピュータに実行させるためのプログラムであって、
   前記３次元表示された画像に重ねてオブジェクトを表示するに際し、前記表示手段が前記３次元表示に切り替えられた場合にのみ、前記オブジェクトに背景を付与する手順と、
   該背景が付与されたオブジェクトを前記３次元表示された画像に重ねて表示する手順とをコンピュータに実行させることを特徴とするプログラム。

Images