JP2005167445A

JP2005167445A - 多視点画像表示装置

Info

Publication number: JP2005167445A
Application number: JP2003401088A
Authority: JP
Inventors: Yutaka Nishihara; 裕西原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2005-06-23

Abstract

【課題】観察位置によらず、バランスの良い運動視差を表現可能であって、更に２人の観察者が観察する場合にも観察画像の画質の劣化が生じ難い多視点画像表示装置を提供する事を課題とする。
【解決手段】水平方向に４個以上の視差を有する第１の多視点画像を表示する画像表示手段と、該画像表示手段に表示された多視点画像を各視点の画像に分離して視点ごとに観察領域を形成する多視点画像分離手段と、各視点の観察領域を分布させる位置を変更する観察領域変更手段と、前記各視点の観察領域を分布させる位置を設定する観察領域設定手段を設けることを特徴とする多視点画像表示装置を提供する。
【選択図】図１

Description

本発明は、多方向から連続的に撮影した画像を夫々観察可能な空間領域に分離して提示することにより、運動視差を表現する多視点画像表示装置に関するものである。

従来の運動視差を表現する多視点画像表示装置として、パララックス・パノラマグラム方式がある。図１４は、パララックス・パノラマグラム方式の多視点画像表示装置１００１の一例であり、８個の異なる画像を多視点画像表示装置１００１から距離Ｌの観察位置に水平方向に分離して表示することが可能なものである。パララックス・パノラマグラム方式の多視点画像表示装置としては、例えば特許第３０９６６１３号に開示されたようなものがある。

多視点画像表示装置１００１は、表示デバイス２０１とマスク３０１から構成される。表示デバイス２０１は、ＣＲＴや液晶ディスプレイやプラズマディスプレイなどから成り、８個の異なる位置から撮影した画像を用いて作成した合成視差画像を表示される。

図１５は合成視差画像を説明するものである。被写体４０１を水平方向に等間隔ｅで並べられた８個のカメラ５１１〜５１８を備えた複眼カメラ５０１を用いて撮影する。カメラ５１１〜５１８で撮影された画像は、夫々８個の画像６１１〜６１８として出力される。８個の異なる位置から撮影した画像６１１〜６１８は、縦長の短冊状に分割され、これらの画像を水平方向に繰り返し並べて合成した合成視差画像６０１を作成される。

表示デバイス２０１の表示面側には、縦スリット状の開口３１１を水平方向に複数並べたマスク３０１を設けている。

図１６は多視点画像表示装置１００１の水平方向断面図である。観察者は多視点画像表示装置１００１から距離Ｌの幅８ｅの領域において、水平方向の視点（観察位置）の移動に応じて連続的な運動視差を持った自然な立体画像を観察することができる。

また、パララックス・パノラマグラム方式の多視点画像表示装置では、上述したように観察者の水平方向の移動により運動視差を表現するようにしているので、水平方向の観察領域が広範囲に分布している。このため水平方向に観察者が複数人並んで観察することができる。図１７はこの様子を説明するものである。

観察者に提供される観察領域としては、多視点画像表示装置１００１の正面に分布する幅８ｅの主観察領域と、主観察領域の両側に分布する副観察領域とがある。このような状態で、例えば図示のように、３人の観察者が主観察領域と２つの副観察領域に夫々を利用して観察することができる。

しかしながら、上記従来の多視点画像表示装置では以下のような不具合が懸念される。

図１６において、観察者の主たる観察位置が破線で示す観察者の位置にある時は、左右方向に夫々等距離４ｅづつ観察位置を移動した場合に運動視差を表現できる。すなわち、主たる観察位置を中心として、左右方向にバランス良く運動視差を表現可能な領域が分布している。しかし、観察者の主たる観察位置が実線で示す観察者の位置にある時は、左方向に距離２ｅ、右方向に距離６ｅづつ観察位置を移動した場合に運動視差を表現できる。この場合、主たる観察位置を中心として、左右方向に運動視差を表現可能な領域が偏りを持って分布することになり、バランスの良い運動視差を表現できないという不具合がある。

さらに、図１７に示すように、もし２人の観察者が、多視点画像表示装置１００１の正面に分布する主観察領域と、副観察領域の１つを利用して観察すると、多視点画像表示装置１００１の中心を基準として２人の観察者が均等に並んで観察することができないという不具合がある。また、この時、２人の観察者が２つの副観察領域を利用して観察することにより、多視点画像表示装置１００１の中心を基準として均等に並んで観察することができるが、副観察領域は観察する時の視野角が大きくなり、主観察領域に比べると観察画像の画質が劣化するという不具合がある。

上記課題を解決するために、本発明に係る多視点画像表示装置は、水平方向に４個以上の視差を有する第１の多視点画像、或いは、垂直方向に２個以上の視差を有する第２の多視点画像のうち少なくともどちらか一方を表示する画像表示手段と、該画像表示手段に表示された多視点画像を各視点の画像に分離して視点ごとに観察領域を形成する多視点画像分離手段と、各視点の観察領域を分布させる位置を変更する観察領域変更手段と、前記各視点の観察領域を分布させる位置を設定する観察領域設定手段を設けることを特徴とする。

以上説明したように、本発明の多視点画像表示装置においては、次のような効果がある。

観察者の主たる観察位置を中心として、左右方向に運動視差を表現可能な領域を均等に分布させることができるので、左右方向に良好な運動視差を表現することが可能となる。

また、上下方向においても、運動視差を表現可能な領域を均等に分布させることができるので、上下方向に良好な運動視差を表現することが可能となる。

さらに、観察者の人数に応じて、観察領域を最適に分布させることができるので、複数人での観察を良好に行うことができる。

（第１実施例）
図１は、本発明の第１実施例の多視点画像表示装置１０１である。多視点画像表示装置１０１は、図１４で説明した従来例と同様に、表示デバイス２０１（＝画像表示手段）とマスク３０１（＝多視点画像分離手段）から構成され、８個の異なる画像を多視点画像表示装置１０１から距離Ｌの観察位置に水平方向に分離して表示することが可能なものである。また、表示デバイス２０１には、従来例と同様に作成した合成視差画像が表示される。なお、図１４と同じ番号を付けた部材は従来例と同じ機能を有するものである。

多視点画像表示装置１０１には、観察位置調整スイッチ１（＝観察領域設定手段）、画像コントローラー２（＝観察領域変更手段）が設けられている。

（観察位置調整スイッチ１の説明）
観察位置調整スイッチ１は、観察者が主たる観察位置において、左右方向にバランス良く運動視差が観察できる領域が分布するように調節するために用いる入力スイッチである。

観察位置調整スイッチ１には、押し釦スイッチ１ａと１ｂが設けられ、１ａを操作すると観察領域が左方に、１ｂを操作すると右方へ調節されるようになっている。また、多視点画像表示装置１０１の本体から距離Ｌだけ離れた位置から操作できるように、無線スイッチや十分に長いケーブルで接続されたスイッチを用いている。

観察位置調整スイッチ１への入力は、入力信号として画像コントローラー２に伝えられる。

画像コントローラー２は、観察位置調整スイッチ１への入力信号を受け、この入力信号に応じて表示デバイス２０１に表示する画像を制御するものである。

図１６において、観察者の主たる観察位置が実線で示す観察者の位置にある時、左右方向に運動視差を表現可能な領域が偏りを持って分布するため、バランスの良い運動視差を表現できないという不具合を解決する場合について説明する。

観察者が観察位置調整スイッチ１を操作すると、入力信号が画像コントローラー２に伝えられ、画像コントローラー２は観察者の主たる観察位置に分布させたい中央の４番目と５番目の画像にマーク指標ｃを加して表示デバイス２０１に表示する。

図２は、マーク指標ｃを説明するものである。図１５で説明した合成視差画像６０１を作成する際に基になる４番目の画像６１４と５番目の画像６１５にマーク指標ｃを付加して、夫々画像６１４’と画像６１５’を作成する。このようなマーク指標ｃを付加した画像６１４’と画像６１５’を基にして合成視差画像６０２を作成すると、観察者に４番目と５番目の画像が観察された時にマーク指標ｃが観察される。

さらに、この状態から観察者は主たる観察位置でマーク指標ｃが観察できるように観察位置調整スイッチ１を操作する。図３は、観察位置調整スイッチ１の押し釦スイッチ１ａを操作した時に表示デバイス２０１に表示する合成視差画像を説明するものである。

押し釦スイッチ１ａを１回操作すると、画像コントローラー２により表示デバイス２０１に表示される合成視差画像６０２は、合成視差画像６０３に切り替えられる。さらに、もう１回１ａを操作すると、合成視差画像６０３は合成視差画像６０４に切り替えられる。

図４は、合成視差画像６０４を表示した時の多視点画像表示装置１０１の水平方向断面図である。この時、観察者は主たる観察位置で４番目の画像６１４’と５番目の画像６１５’を観察しており、観察者にはマーク指標ｃが観察される。すなわち、観察者の主たる観察位置を中心にして、左右方向に運動視差を表現可能な領域が均等に分布するため、バランスの良い運動視差を表現することができる。観察位置の調整の終了後は、ある一定時間ｔだけ観察位置調整スイッチ１に入力が無いと、画像コントローラー２により付加されていたマーク指標ｃが除去される。

さらに、図１７において説明した、不具合を解決する場合について説明する。

観察者は、図３の状態から観察位置調整スイッチ１の押し釦スイッチ１ａをさらに２回操作する。図５は、このときの合成視差画像を説明するものである。１ａを１回操作すると画像コントローラー２により表示デバイス２０１に表示する合成視差画像６０４は、合成視差画像６０５、さらに、もう１回操作すると合成画像６０６に切り替えられる。

図６は、合成視差画像６０６を表示した時の多視点画像表示装置１０１の水平方向断面図である。この時、多視点画像表示装置１０１の中央正面を境界として、観察領域が分布する。

２人の観察者は、多視点画像表示装置１０１の中心を基準として、２人の観察者が均等に並んで観察することができる。また、この時、２人の観察者が観察する観察領域は、図１７の副観察領域を観察する場合に比べて視野角が小さくなるので、２人での観察においても従来例に比べて良好な画質で観察ができる。

観察位置の調整の終了後は、ある一定時間ｔだけ観察位置調整スイッチ１に入力が無いと、画像コントローラー２により付加されていたマーク指標ｃが除去される。

以上は８個の異なる画像を用いる場合について説明した。８個の場合の考え方は、偶数個の異なる画像を用いる場合には同様に適応できる。図７は、偶数個、すなわち、ｎ＝２ｍ（ｍは２以上の整数）の画像を用いる場合を説明するものである。この時、ｍ番目とｍ＋１番目の画像が分布する観察領域の境界部が、観察者の主たる観察位置となるように調整する。

一方、図８は、奇数個、すなわち、ｎ＝２ｍ＋１（ｍは２以上の整数）の異なる画像を用いる場合を説明するものである。この時、ｍ−１番目とｍ番目の画像が分布する観察領域の境界部、または、ｍ番目とｍ＋１番目の画像が分布する観察領域の境界部が、観察者の主たる観察位置となるように調整する。

また、特に１個の画像が分布する観察領域の水平方向の分布幅ｅと、観察者の左右眼の眼間距離Ｅとが、ｅ＜Ｅの関係にある時は、ｍ番目の画像が分布する観察領域が、観察者の主たる観察位置となるように調整しても良い。

（第１実施例の変形１）
上述の第１実施例においては、表示デバイス２０１に表示する合成視差画像を切り替えることにより観察位置を調整するものとしたが、表示デバイス２０１に表示する合成視差画像とマスク３０１に設けた縦スリット状の開口３１１との水平方向の相対位置を変化させることによっても同様の効果を得ることができる。

具体的には、マスク３０１の水平方向の位置を変更するための駆動機構（＝観察領域変更手段）を設けて、縦スリット状の開口３１１の位置を変更するようにしても良い。この場合、駆動機構を動作させるための駆動力として操作者の運動を用いる場合には、レバーやハンドルなどの操作（＝観察領域設定手段）によって観察位置を設定する。

また、マスク３０１を液晶シャッターなど開口部が選択可能なデバイス（＝観察領域変更手段）で構成し、縦スリット状の開口３１１を形成する位置を変化させても良い。

（第１実施例の変形２）
上述の第１実施例においては、マスク３０１を用いて８個の画像を分離して観察可能にしているが、マスク３０１の替わりに縦方向に母線方向を有するシリンドリカルレンズを水平方向に複数個並べたレンチキュラーレンズアレイ（＝多視点画像分離手段）を用いても良い。また、特許第３０９６６１３号に開示されたようなマスク（＝多視点画像分離手段）を用いる場合にも適応できる。

さらに、表示デバイス２０１を複数の視差画像を時間交互に切り替え表示する表示デバイスと、マスク３０１を液晶シャッターなど開口部が選択可能なデバイス（＝多視点画像分離手段）とで構成し、画像の切り替えに同期して縦スリット状の開口３１１を形成する位置を切り替えて立体画像を表示する場合にも適応できる。

（第２実施例）
図９は、本発明の第２実施例の多視点画像表示装置１０２である。第１実施例においては、水平方向に異なる視差を有する画像を用いる場合について述べたが、垂直方向に異なる視差を有する画像を用いる場合にも本発明を適応することができる。

多視点画像表示装置１０２は、表示デバイス２０２（＝画像表示手段）と開口部３１２を有するマスク３０２（＝多視点画像分離手段）から構成され、８個の水平方向の視差画像と６個の垂直方向の視差画像を、多視点画像表示装置１０２から距離Ｌの観察位置に水平方向と垂直方向に分離して表示することが可能なものである。

表示デバイス２０２には、水平方向８×垂直方向６＝４８画像を基に作成された合成視差画像が表示される。表示デバイス２０２に記された２桁の数字は、１０の位が水平方向に何番目の画像であるかを示し、１の位が垂直方向に何番目の画像であるかを示している。また、多視点画像表示装置１０２から距離Ｌ離れた観察位置に記された２桁の数字も同様の意味を示すものである。多視点画像表示装置１０２には、観察位置調整スイッチ３（＝観察領域設定手段）、画像コントローラー４（＝観察領域変更手段）が設けられている。

観察位置調整スイッチ３は、観察者が主たる観察位置において、左右方向および上下方向にバランス良く運動視差が観察できる領域が分布するように調節するために用いる入力スイッチである。観察位置調整スイッチ３には、押し釦スイッチ３ａと３ｂと３ｃと３ｄが設けられ、３ａを操作すると観察領域が左方に、３ｂを操作すると右方に、３ｃを操作すると上方に、３ｄを操作すると下方に調節されるようになっている。また、第１実施例と同様に多視点画像表示装置１０２の本体から距離Ｌだけ離れた位置から操作できるように、無線スイッチや十分に長いケーブルで接続されたスイッチを用いている。

観察位置調整スイッチ３への入力は、入力信号として画像コントローラー４に伝えられる。

画像コントローラー４は、観察位置調整スイッチ３への入力信号を受け、この入力信号に応じて表示デバイス２０２に表示する画像を制御するものである。

本実施例においては、水平方向の作用については第１実施例と同様であるから、垂直方向の作用について説明する。図１０は、多視点画像表示装置１０２の垂直方向断面図である。

図１０に示すように、観察者の主たる観察位置が図示のような観察者の位置にある時、上下方向に運動視差を表現可能な領域が偏りを持って分布するため、上下方向にバランスの良い運動視差を表現できないという不具合を解決する場合について説明する。

観察者が観察位置調整スイッチ３を操作すると、入力信号が画像コントローラー４に伝えられ、画像コントローラー４は観察者の主たる観察位置に分布させたい左右方向で中心となる４番目と５番目の画像で、かつ、上下方向で中心となる３番目と４番目の画像（図９或いは１１で４３、４４、５３、５４の番号を付した）に不図示のマーク指標ｄを加して表示デバイス２０２に表示する。マーク指標ｄは、第１実施例において説明したマーク指標ｃを付加する場合と同様に、マーク指標ｄを付加した画像を基にして作成した合成視差画像を表示デバイス２０２に表示することより、観察者に左右方向に４番目と５番目の画像で、かつ、上下方向に３番目と４番目の画像が観察された時にマーク指標ｄが観察されるものである。

さらに、この状態から観察者は主たる観察位置でマーク指標ｄが観察できるように観察位置調整スイッチ３を操作する。図１１は、観察位置調整スイッチ３の押し釦スイッチ３ｃを操作した時に表示デバイス２０２に表示する合成視差画像を説明するものである。

押し釦スイッチ３ｃを１回操作すると、画像コントローラー４により表示デバイス２０２に表示される合成視差画像７０１は、合成視差画像７０２に切り替えられる。さらに、もう１回３ｃを操作すると、合成視差画像７０２は合成視差画像７０３に切り替えられる。

図１２は、合成視差画像７０３を表示した時の多視点画像表示装置１０２の垂直方向断面図である。

この時、水平方向については第１実施例と同様に４番目と５番目の画像を観察しているとすると、観察者は垂直方向の主たる観察位置で３番目と４番目の画像を観察しており、観察者にはマーク指標ｄが観察される。すなわち、観察者の主たる観察位置を中心にして、上下方向に運動視差を表現可能な領域が均等に分布するため、バランスの良い運動視差を表現することができる。

観察位置の調整の終了後は、ある一定時間ｔだけ観察位置調整スイッチ３に入力が無いと、画像コントローラー４により付加されていたマーク指標ｄが除去される。

以上は６個の異なる画像を用いる場合について説明した。６個の場合の考え方は、偶数個の異なる画像を用いる場合には同様に適応できる。すなわち、ｐ＝２ｑ（ｑは１以上の整数）の画像を用いる場合、ｑ番目とｑ＋１番目の画像が分布する観察領域の境界部が、観察者の主たる観察位置となるように調整する。

一方、奇数個、すなわち、ｐ＝２ｑ＋１（ｑは１以上の整数）の異なる画像を用いる場合、ｑ＋１番目の画像が分布する観察領域が、観察者の主たる観察位置となるように調整する。

このように本発明の第２実施例においては、垂直方向に視差を有する画像を用いる場合においても適応できる。

また、第１実施例同様に、表示デバイス２０２に表示する合成視差画像とマスク３０２に設けた開口３１２との垂直方向の相対位置を変化させる手段（＝観察領域変更手段）、例えば、マスク３０２の垂直方向の位置を変更するための駆動機構、或いは、マスク３０２を液晶シャッターなど開口部が選択可能なデバイスで構成することにより、同様の効果を得ることができる。

（第３実施例）
図１３は、本発明の第３実施例の多視点画像表示装置１０３である。

第１実施例においては、多視点画像表示装置１０１には、観察位置調整スイッチ１、画像コントローラー２を設けるようにしたが、本実施例においては、観察位置調節スイッチ１の替わりに、観察者検出手段５（＝観察領域設定手段）を設けたものである。なお、第１実施例と同じ番号を付した構成部材は、第１実施例と同様の機能を有するものである。

観察者検出手段５は、観察者が主たる観察位置において、左右方向にバランス良く運動視差が観察できる領域が分布するために設けられた、観察者検出用のセンサーである。

観察者検出手段５は、ＴＶカメラで撮影した観察者の画像を演算部により画像処理を行い、観察者の位置を検出するものである。観察者の位置検出は所定時間ｔ（例えば、１０分）毎に検出され、観察者検出手段５によって得られた信号は、画像コントローラー２に伝えられる。

観察者検出手段５によって得られた信号は、画像コントローラー２により表示デバイス２０１に表示される合成視差画像を切り替え、４番目と５番目の画像が分布する観察領域の境界部が、観察者の中心位置となるように調整する。

すなわち、観察者の主たる観察位置を中心にして、左右方向に運動視差を表現可能な領域が均等に分布するため、バランスの良い運動視差を表現することができる。

このような動作は、所定時間ｔ毎にくり返して行われる。

また、観察者検出手段５により観察者の人数を検出するようにした場合は、図６に示したように、観察者が２人と検出した場合は、多視点画像表示装置１０３の中心を基準として、２人の観察者が均等に並んで観察できるように、画像を分布するように調節することができる。

また、観察者検出手段５を用いる方法は、本発明の第２実施例において説明した、垂直方向の視差を有する画像を用いる場合においても適用することができる。

本発明の第１実施例の多視点画像表示装置である。多視点画像表示装置に表示されるマーク指標ｃを説明するものである。観察位置調整スイッチ１の押し釦スイッチ１ａを操作した時に表示デバイスに表示する合成視差画像を説明するものである。図３で合成視差画像を表示した時の多視点画像表示装置の水平方向断面図である。図３の状態から観察位置調整スイッチ１の押し釦スイッチ１ａをさらに２回操作したときの表示デバイスに表示する合成視差画像を説明するものである。図５で合成視差画像を表示した時の多視点画像表示装置の水平方向断面図である。ｎ＝２ｍ（ｍは２以上の整数）の異なる画像を用いる場合の状態を説明するものである。ｎ＝２ｍ＋１（ｍは２以上の整数）の異なる画像を用いる場合の状態を説明するものである。本発明の第２実施例の多視点画像表示装置である。本発明の第２実施例の多視点画像表示装置の垂直方向断面図である。観察位置調整スイッチ３の押し釦スイッチ３ｃを操作した時に表示デバイスに表示する合成視差画像を説明するものである。合成視差画像を表示した時の多視点画像表示装置の垂直方向断面図である。本発明の第３実施例の多視点画像表示装置である。パララックス・パノラマグラム方式の多視点画像表示装置の一例である。複数の視差画像から生成される合成視差画像を説明するものである。図１４の多視点画像表示装置の水平方向断面図である。パララックス・パノラマグラム方式の多視点画像表示装置を水平方向に観察者が複数人並んで観察する様子を説明するものである。

符号の説明

１０１、１０２、１０３多視点画像表示装置
２０１、２０２、２０３表示デバイス
３０１、３０２、３０３マスク
１００１従来の多視点画像表示装置の一例
１、３観察位置調整スイッチ
２、４画像コントローラー
５観察者検出手段

Claims

水平方向に４個以上の視差を有する第１の多視点画像、或いは、垂直方向に２個以上の視差を有する第２の多視点画像のうち少なくともどちらか一方を表示する画像表示手段と、該画像表示手段に表示された多視点画像を各視点の画像に分離して視点ごとに観察領域を形成する多視点画像分離手段と、各視点の観察領域を分布させる位置を変更する観察領域変更手段と、前記各視点の観察領域を分布させる位置を設定する観察領域設定手段を設けることを特徴とする多視点画像表示装置。
前記観察領域変更手段は、前記画像表示手段に表示された多視点画像と、前記多視点画像分離手段との相対的な位置関係を変更することを特徴とする請求項１に記載の多視点画像表示装置。
前記観察領域設定手段は、入力スイッチ手段、或いは、観察者検出手段、或いは、駆動力伝達手段のうち少なくともいずれか一つであることを特徴とする請求項１に記載の多視点画像表示装置。
前記第１と第２の多視点画像の夫々を識別するための指標を設けることを特徴とする請求項１に記載の多視点画像表示装置。