JP2006245680A - 映像音響再生方法及び映像音響再生装置 - Google Patents

Abstract

【課題】 ２つの異なる映像音声を２つの異なる角度に同時に再生する。
【解決手段】 映像表示を行うフラットディスプレイ１０１の前面にレンチキュラレンズ１０２を配置して、１つのディスプレイ面に第１及び第２の視点のそれぞれから異なる映像（第１及び第２の映像）が視認できるようにする。また、音声出力に関しては、複数のスピーカの配列により構成されたアレイスピーカ１０３を用い、アレイスピーカの各スピーカからの出力音声に所定の遅延量を与えることによって、第１の視点の近傍において、第１の映像に関連する音声（第１の音声）の音圧が局所的に高くなるようにするとともに、第２の視点の近傍において、第２の映像に関連する音声（第２の音声）の音圧が局所的に高くなるようにする。これにより、第１及び第２の視点のそれぞれにおいて、独立した映像音声を視聴することが可能となる。
【選択図】 図１

Description

本発明は、複数の視点から映像音声を視聴できる映像音響再生方法及び映像音響再生装置に関し、特に、１つの表示ディスプレイを用いて複数のユーザが同時に複数の番組や情報を視聴することを可能とする映像音響再生方法及び映像音響再生装置に関する。

従来、例えば下記の特許文献１及び特許文献２に開示されているように、異なる視差画像を左右の目に独立に入力するための３次元（以下、３Ｄと記載）映像再生技術が提案されている。

例えば、下記の特許文献１には、奥行きの異なる複数の物体について、奥行きの異なる場所に結像し、観察者が注視する個別の物体の像についてピント調整可能な立体表示機器を得るための技術が開示されている。この特許文献１に開示されている技術では、図９に図示されているように、立体表示を行う仕組みとしてかまぼこ状のレンチキュラレンズ９０１を使用した立体視の原理を用いており、左目（第１の視点）用及び右目（第２の視点）用の独立した視差画像（ディスプレイ面９０２の「１」及び「２」）を、それぞれの視点方向に表示することが可能となる。なお、このような表示を行うためには、フラットディスプレイ駆動回路（不図示）が必要となる。

また、例えば、下記の特許文献２には、画面を分割することなく、１つの画面で複数の画像を見ることのできる多重映像表示装置を提供することを目的とし、図１０に図示されているように、複数の視点を得られるレンズと、レンズの一端に対向して配置された２つの液晶素子とを用いて液晶スリットバリア１００１を形成し、２つの異なる視点（第１及び第２の視点）から独立した画像（スリット光源１００２の「１」及び「２」）を見ることを可能とする技術が開示されている。図１０に図示されている２つの異なる視点に異なる画像を表示する方法としては、例えば、液晶スリットバリア１００１を用いたパララックスバリア方式を利用することが可能である。パララックスバリア方式は、２枚の液晶パネルを積層するものであり、図１０に示すように、一方の液晶パネルに細いスリット上の開口部を設けるとともに、その裏側に適当な間隔をおいて左右２眼分の画像を交互に配置することによって、所定の異なる視点から上記の開口部を通して液晶パネルを見た場合に、２つの異なる画像を分離して表示できるものである。なお、このディスプレイ表示を行う場合にも、フラットディスプレイ駆動回路（不図示）や、異なる視点への異なる画像表示を行うか否かに応じて、液晶スリットバリア１００１をスリット化するか否かを決定するための手段又は操作が必要となる。

また、例えば、図１１に図示されているように、第１の視点の映像用水平偏向フィルタ１１０２を有するプロジェクタ（第１の視点用映像プロジェクタ１１０１）、及び第２の視点の映像用垂直偏向フィルタ１１０４を有するプロジェクタ（第２の視点用映像プロジェクタ１１０３）のそれぞれを用いて、２つの画像を同一スクリーン１１０５上に投影し、第１及び第２の視点において、それぞれ水平偏向フィルタ１１０６及び垂直偏向フィルタ１１０７を介してスクリーン１１０５を見ることによって、第１及び第２の視点において、水平偏向画像光による映像（スクリーン１１０５上の「１」）及び垂直偏向画像光による映像（スクリーン１１０５上の「２」）をそれぞれ見ることを可能とする技術も知られている。

一方、例えば下記の特許文献３には、所定の空間にスピーカがあるように音を定位させて再生する局在音場の再生技術が開示されている。ここでは、図１２に図示されているように、スピーカがアレイ状に配列されたアレイスピーカ１２０１が配置されているとともに、音声信号供給部１２０３から各スピーカに供給される音声信号に対して所望の遅延を発生させるための遅延回路１２０２が設けられており、ある聴取位置近傍に焦点を結ぶように遅延量を設定することで、聴取位置におけるスピーカから直接到達する音声の音圧成分よりも、焦点において発生する音圧成分が極めて高くなるように構成されている。すなわち、空間上のある位置付近の音圧を局所的に上昇させるように、アレイスピーカ１２０１の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた信号の再生を行うことによって、局在音場が実現される。

なお、この特許文献３に開示されている技術によれば、図１２に図示されているように、同一面上に配置された多数のスピーカからなるアレイスピーカ１２０１の各スピーカ前段に遅延素子（遅延回路１２０２）を設け、この遅延素子によって各スピーカに入力される同一の音声信号に異なる遅延を与え、各スピーカから出力される音声を空間の一点（収束点）に同時に到達させて焦点付近の音圧を局所的に高める技術において、遅延量を適宜調節することによって、収束点の位置を移動することが可能となる。
特開２００２−１８５９８２公報（図７） 特開２００３−７６２８９公報（図１０、９） 特開平３−１５９５００号公報（第１〜３図）

しかしながら、従来は、実際に２つの異なる角度（視点方向）で異なる映像音声を視聴可能とするためには、２つの異なる視点が存在する共有空間で、異なる音響をそれぞれ独立して再生するための音響システムを実現させる必要があるが、こうした音響システムに係る技術は存在していない。したがって、１つのディスプレイ上に２つの異なる映像を画面全体に（分割画面を用いることなく）表示するとともに、２つの異なる映像のそれぞれに付随する音声を同一の共有空間に独立して出力することで、２つの異なる映像音声を２つの異なる角度（視点方向）に同時に再生するシステムを提供することは不可能であった。

上記課題に鑑み、本発明は、１つのディスプレイ上に２つの異なる映像を画面全体に（各映像をディスプレイの最大サイズで）表示するとともに、２つの異なる映像のそれぞれに対応する音声を独立して出力することで、２つの異なる映像音声を２つの異なる角度に同時に再生することを可能とする映像音響再生方法及び映像音響再生装置を提供することを目的とする。

上記目的を達成するため、本発明によれば、第１の映像データの再生処理を行い第１の映像を得るとともに、第２の映像データの再生処理を行い第２の映像を得る映像再生処理ステップと、
前記第１の映像データに関連する第１の音声データの再生処理を行うとともに、前記第２の映像データに関連する第２の音声データの再生処理を行う音声再生処理ステップと、
視聴位置としてあらかじめ設定されている第１の位置からユーザが見た映像が前記第１の映像となり、前記第１の位置とは異なる視聴位置としてあらかじめ設定されている第２の位置からユーザが見た映像が前記第２の映像となるように制御して、前記第１の映像及び前記第２の映像の両方を所定の表示面に同時に表示させる表示ステップと、
前記第１の音声データの再生音声の音圧が前記第１の位置において局所的に高くなるようにするとともに、前記第２の音声データの再生音声の音圧が前記第２の位置において局所的に高くなるようにするために、前記２つの再生音声を出力するためのアレイスピーカを構成する複数のスピーカのそれぞれからの出力音声が所定の遅延量だけ遅延されて出力されるように、前記第１の音声データの再生音声と前記第２の音声データの再生音声との遅延量を制御する音声出力ステップとを、
有する映像音響再生方法が提供される。

また、上記目的を達成するため、本発明によれば、映像表示を行う１つの表示面を有する表示手段と、
第１の映像データの再生処理を行い第１の映像を得るとともに、第２の映像データの再生処理を行い第２の映像を得る映像再生処理手段と、
視聴位置としてあらかじめ設定されている第１の位置からユーザが見た映像が前記第１の映像となり、前記第１の位置とは異なる視聴位置としてあらかじめ設定されている第２の位置からユーザが見た映像が前記第２の映像となるように制御して、前記第１の映像及び前記第２の映像の両方を所定の表示面に同時に表示させる表示制御手段と、
前記第１の映像データに関連する第１の音声データの再生処理を行うとともに、前記第２の映像データに関連する第２の音声データの再生処理を行う音声再生処理手段と、
前記第１の音声データの再生音声と前記第２の音声データの再生音声とを出力するための複数のスピーカの配列により構成されているアレイスピーカと、
前記第１の音声データの再生音声の音圧が前記第１の位置において局所的に高くなるようにするとともに、前記第２の音声データの再生音声の音圧が前記第２の位置において局所的に高くなるようにするために、前記アレイスピーカを構成する前記複数のスピーカのそれぞれからの出力音声が所定の遅延量だけ遅延されて出力されるように、前記第１の音声データの再生音声と前記第２の音声データの再生音声との遅延量を制御する遅延手段とを、
有する映像音響再生装置が提供される。

本発明に係る映像音響再生方法及び映像音響再生装置は、上記構成を有しており、１つのディスプレイ上に２つの異なる映像を画面全体に表示するとともに、２つの異なる映像のそれぞれに対応する音声を独立して出力することで、２つの異なる映像音声を２つの異なる角度に同時に再生することを可能とするという効果を有している。

以下、図面を参照しながら、本発明の映像音響再生方法及び映像音響再生装置の第１〜第３の実施の形態について説明する。

＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態の映像音響再生装置を示す平面図である。図１には、フラットディスプレイ１０１、レンチキュラレンズ１０２、アレイスピーカ１０３によって構成された映像音響再生装置が図示されている。なお、図１は、フラットディスプレイ１０１が形成する面（ディスプレイ面）が紙面に垂直となる方向から俯瞰した平面図である。また、図１では、音声の流れが点線で図示されているが、画像の光の流れに関しては図示省略されている。

図１に示す映像音響再生装置には、図９に示す表示原理（レンチキュラレンズ方式）が用いられている。すなわち、図１に示す映像音響再生装置は、フラットディスプレイ１０１の表面にレンチキュラレンズ１０２が配置されており、第１の視点（図１の『Ａ』）に対してはディスプレイ面の第１の画像『１』を、第２の視点に対してはディスプレイ面の第２の画像『２』を表示するように設定されている。なお、第１及び第２の画像は、分割画面を用いることなく表示され、第１及び第２の視点のそれぞれからは、第１及び第２の画像のそれぞれが、ディスプレイ面全体に表示されているように見える。

また、第１の視点からはディスプレイ全体に表示される第１の画像『１』を視認することはできるものの、第２の画像『２』を視認することはできないように設定されており、同様に、第２の視点からはディスプレイ全体に表示される第２の画像『２』を視認することはできるものの、第１の画像『１』を視認することはできないように設定されている。また、本明細書において、視点とは、ディスプレイ面を視認するユーザの位置を表している。

また、図１に示す映像音響再生装置には、基本的には、図１２に示す局在音場の再生原理が用いられているが、音声の収束点が、上記の第１及び第２の視点の２箇所となるように設定される。すなわち、図１に示す映像音響再生装置は、フラットディスプレイ１０１の背面にスピーカをアレイ状に配列したアレイスピーカ１０３を設けるとともに各スピーカに遅延回路（図１には不図示、図１２に図示されている遅延回路１２０２と同一）を設け、第１の音声は、第１の視点近傍に収束点を持つように焦点を結ぶ遅延が設定されるとともに、第２の音声は、第２の視点近傍に収束点を持つように焦点を結ぶ遅延が設定される。具体的には、第１及び第２の視点のそれぞれが収束点（焦点）となるように、収束点と各スピーカとの経路差に応じた遅延量が遅延回路に設定され、例えば、収束点に近いスピーカほど遅延量を増加することによって第１及び第２の音声のそれぞれが局所的に高くなるように設定されることによって、局所音場の生成が行われる。

なお、第１の音声は、第１の画像に関連した音声であり、第２の音声は、第２の画像に関連した音声である。これにより、２つの視点（第１及び第２の視点）には、それぞれ異なる画像（第１及び第２の画像）と、それぞれの画像に対応した音声（第１及び第２の音声）とを再生することが可能となる。また、特に、第１の画像及び第１の音声のセットが、第２の画像及び第２の音声のセットとは異なるものとすることで、第１及び第２の視点のそれぞれにおいて、異なる映像音声を視聴することが可能となる。

次に、図２を参照しながら、本発明の第１の実施の形態の映像音響再生装置の構成について説明する。図２は、本発明の第１の実施の形態の映像音響再生装置の一例を示すブロック図である。図２に示す映像音響再生装置は、再生器２０１、情報分離化器２０２、音声復号器２０３、音声ＣＨ（チャンネル）分離化器２０４、局在音場発生器２０５、アレイスピーカ２０６、映像復号器２０７、映像ＣＨ分離化器２０８、レンチキュラ画像表示器２０９を有している。なお、図２に示すアレイスピーカ２０６は、図１に示すアレイスピーカ１０３に対応しており、図２に示すレンチキュラ画像表示器２０９は、図１に示すフラットディスプレイ１０１及びレンチキュラレンズ１０２に対応している。

記録媒体２１０などや伝送路などのメディア（信号源）に存在する映像音声データは、第１及び第２の視点に対応する２ＣＨ映像データと、２ＣＨ映像データのそれぞれに対応する２ＣＨ音声データとが多重化されている映像音声データであり、まず、再生器２０１によって再生される。

なお、多重化されている映像音声データは、例えば、後述するＤＶＤやＤ−ＶＨＳの規格に準拠した形式で、ＤＶＤやＤ−ＶＨＳなどのパッケージメディアフォーマット化され、所定の記録器によってＤＶＤやＤ−ＶＨＳなどの記録媒体２１０に記録されたものが使用可能である。また、後述のように、記録媒体２１０に記録されている映像音声データは、２チャンネルの映像データ、及びこれらの映像データのそれぞれに対応する２チャンネルの音声データによって構成されている。

また、ここでは、記録媒体２１０に記録されている映像音声データに関して説明を行うが、記録媒体２１０に記録されていない映像音声データ（例えば、通信や放送などの伝送路を経由して送信される映像音声データ）を扱うことも可能である。この場合、記録媒体２１０は、伝送路と読み換え可能であり、再生器２０１は、受信装置と読み換え可能であり、受信装置は、通信や放送に特有のパケット化がなされているパケット情報を受信した場合、パケット解除処理を行って、パケットのペイロードに含まれる映像音声データの抽出を行う。なお、本明細書における記録媒体２１０は、データを記録することが可能な狭義な媒体を指すものではなく、上述のように、信号データを伝送するための電磁波、光などを含む伝送路全般も含まれるものとする。

再生器２０１により再生された映像音声データは、続いて情報分離化器２０２に供給され、情報分離化器２０２において、２ＣＨ映像データ及び２ＣＨ音声データにそれぞれ分離される。そして、情報分離化器２０２で分離された２ＣＨ映像データ及び２ＣＨ音声データは、それぞれ音声復号器２０３及び映像復号器２０７に供給される。

なお、映像音声データの多重化や分離化は、例えば、ＭＰＥＧ２規格の多重化システム方式を用いて実現可能である。例えば、映像音声データの多重化は、ＭＰＥＧシステムレイヤの同期方式であるプログラムストリーム方式を用いてエレメンタリごとにパック化された後、再生時の同期付けが可能となるようにプレゼンテーションタイムスタンプが設定されることによって行われる。タイムスタンプには、例えば、タイムスタンプ発生器から出力される２７ＭＨｚ又は９０ＫＨｚのカウンタ情報が使用され、このカウンタ情報に基づいて、情報多重化器において映像音声データの多重化が行われる。なお、こうした映像音声データの多重化や分離化は、ＭＰＥＧ多重化の規格を用いることによって実現可能であり、詳細な説明は省略する。

情報分離化器２０２から音声復号器２０３に供給された２ＣＨ音声データは、音声復号器２０３において復号された後、音声ＣＨ分離化器２０４に供給される。また、同様に、情報分離化器２０２から映像復号器２０７に供給された２ＣＨ映像データは、映像復号器２０７において復号された後、映像ＣＨ分離化器２０８に供給される。

音声ＣＨ分離化器２０４及び映像ＣＨ分離化器２０８のそれぞれでは、復号後の２ＣＨ音声データ及び２ＣＨ映像データから、各視点への音声データ（第１の視点用音声データと第２の視点用音声データ）、及び各視点への映像データ（第１の視点用映像データと第２の視点用映像データ）の識別及び分離が行われる。

例えば、ＭＰＥＧでは、Stream_id という識別子を用いてチャンネルＩＤを識別することが可能であり、あらかじめ記録媒体２１０に映像音声データを格納する際に、各チャンネルＩＤと第１及び第２の視点へのデータとの関連付けを行っておくことにより、音声ＣＨ分離化器２０４及び映像ＣＨ分離化器２０８のそれぞれにおいて、各視点（すなわち、各チャンネル）に対応する映像データや、各視点（すなわち、各チャンネル）に対応する音声データの分離を行うことが可能である。なお、上記のStream_idは、ＭＰＥＧ２規格では、ＰＥＳ（パケッタイズドエレメンタリストリーム）パケットというチャンネルごとの要素圧縮データがパケット化されたヘッダ情報内に記述可能な８ビットの情報体である。

映像ＣＨ分離化器２０８において分離された各視点への映像データは、レンチキュラ画像表示器２０９に供給される。レンチキュラ画像表示器２０９では、図９に示すような表示原理に基づいて、第１の視点からは第１の視点用映像データを閲覧可能とし、第２の視点からは第２の視点用映像データを閲覧可能とするように、ディスプレイ面における表示を行う。なお、第１及び第２の視点からは、ディスプレイ面全体に映し出されるそれぞれの画像（第１及び第２の画像）を視認することが可能である。

一方、音声ＣＨ分離化器２０４において分離された各視点への音声データは、局在音場発生器２０５に伝送される。局在音場発生器２０５では、図１２に示すような局在音場の再生原理に基づいて、第１及び第２の視点用音声データの再生が行われる。

第１の視点用映像データに対応する第１の視点用音声データに関しては、第１の視点付近の音圧を局所的に上昇させるように、アレイスピーカ２０６の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた再生信号をアレイスピーカ２０６に伝送する。アレイスピーカ２０６は、図１２に示すように複数のスピーカがアレイ状に配列された構成を有しており、各スピーカに対応する遅延回路は第１の視点近傍に焦点を結ぶように遅延量が設定され、第１の視点において、スピーカからの直接音よりも第１の視点に局在化させる再生音の音圧成分が極めて高くなるように再生が行われる。また、第２の視点用映像データに対応する第２の視点用音声データも同様に、第２の視点における再生音の音圧成分が極めて高くなるように再生が行われる。

なお、各スピーカによって２つの局在音場を発生させるために２つの音声信号を伝送する場合には、各スピーカが、２つの音声信号を加算して、ダイナミックレンジを超えない程度のゲインコントロールを行いながら出力すればよく、これによって、音声の局在化が実現され、第１の視点では第１の音声が聞こえるものの第２の音声が聞こえず、第２の視点では第２の音声が聞こえるものの第１の音声が聞こえないようにすることが可能となる。

次に、図３を参照しながら、本発明の第１の実施の形態を実現するためのプログラムに係る処理について説明する。図３は、本発明の第１の実施の形態を実現するためのプログラムに係る処理のフローチャートである。なお、以下に説明するフローチャートは、図２に示す映像音響再生装置における処理の一例を示すものである。

まず、ステップＳ３０１において、記録媒体２１０又は伝送路から、ＭＰＥＧ多重化された映像音声データが所定の単位で、再生器２０１によって読み取られる。次に、ステップＳ３０２において、ＭＰＥＧ多重化されている映像音声データが、情報分離化器２０２によって映像データ及び音声データに分離化され、ステップＳ３０３において、分離化された映像データ及び音声データのそれぞれが、音声復号器２０３及び映像復号器２０７によって復号される。

次に、ステップＳ３０４において、音声復号器２０３及び映像復号器２０７のそれぞれにおいて復号された映像データ及び音声データの各チャンネルのデータは、音声ＣＨ分離化器２０４及び映像ＣＨ分離化器２０８によって視点ごとにＣＨ分離化され、第１及び第２の視点用映像データと、第１及び第２の視点用音声データとが取得される。次に、ステップＳ３０５において、視点ごとの映像データ及び音声データに関して、ディスプレイ面上における画像表示、及び局在音場の再生原理に基づく音声再生が行われる。これにより、第１の視点では、第１の画像を閲覧しながら第１の音声を聴取することが可能となり、第２の視点では、第２の画像を閲覧しながら第２の音声を聴取することが可能となる。

次に、ステップＳ３０６において、記録媒体２１０又は伝送路に再生用の映像音声データがまだ存在するか否かが判定される。再生用の映像音声データがまだ存在する場合にはステップＳ３０１に戻り、続きの映像音声データに関して上記と同一の処理を行われ、再生用の映像音声データが存在しない場合には、本プログラムに係る処理が終了となる。

以上、説明したように、本発明の第１の実施の形態によれば、レンチキュラ画像表示器を用いて、１つのディスプレイ上に２つの異なる映像を、所定の２地点（第１及び第２の視点）からそれぞれ閲覧可能となるように画面全体に表示するとともに、２つの異なる映像のそれぞれに対応する音声を、所定の２地点のそれぞれにおいて聴取可能となるように独立して出力することによって、２つの異なる映像音声を所定の２地点（２つの異なる角度）に同時に再生することが可能となる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。図４は、本発明の第２の実施の形態の映像音響再生装置を示す平面図である。図４には、スリット光源４０１、液晶スリットバリア４０２、アレイスピーカ４０３によって構成された映像音響再生装置が図示されている。なお、図４は、スリット光源４０１が形成する面（ディスプレイ面）が紙面に垂直となる方向から俯瞰した平面図である。また、図４では、音声の流れが点線で図示されているが、画像の光の流れに関しては図示省略されている。

図４に示す映像音響再生装置には、図１０に示す表示原理（液晶パララックスバリア方式）が用いられている。すなわち、図４に示す映像音響再生装置は、スリット光源４０１の表面に液晶スリットバリア４０２が配置されており、第１の視点（図４の『Ａ』）にはディスプレイ面の画像『１』を、第２の視点（図４の『Ｂ』）にはディスプレイ面の画像『２』を表示するように設定されている。

一方、音声の再生に関しては、上述の本発明の第１の実施の形態と同様に、図１２に示す局在音場の再生原理が用いられている。これにより、２つの視点（第１及び第２の視点）には、それぞれ異なる画像（第１及び第２の画像）と、それぞれの画像に対応した音声（第１及び第２の音声）とを再生することが可能となる。

また、本発明の第２の実施の形態における映像音響再生装置の構成及び動作は、上述の本発明の第１の実施の形態とほぼ同一である（図２及び図３参照）。すなわち、図２において、レンチキュラ画像表示器２０９を図１０に示す表示原理の実現が可能なパララックスバリア画像表示器と読み換えればよく、ここでは説明を省略する。

以上、説明したように、本発明の第２の実施の形態によれば、パララックスバリア画像表示器を用いて、１つのディスプレイ上に２つの異なる映像を、所定の２地点（第１及び第２の視点）からそれぞれ閲覧可能となるように画面全体に表示するとともに、２つの異なる映像のそれぞれに対応する音声を、所定の２地点のそれぞれにおいて聴取可能となるように独立して出力することによって、２つの異なる映像音声を所定の２地点（２つの異なる角度）に同時に再生することが可能となる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。図５は、本発明の第３の実施の形態の映像音響再生装置を示す平面図である。図５には、第１の視点用映像プロジェクタ５０１、第１の視点の映像用水平偏向フィルタ５０２、第２の視点用映像プロジェクタ５０３、第２の視点の映像用水平偏向フィルタ５０４、スクリーン５０５、水平偏光フィルタ５０６、垂直偏向フィルタ５０７、アレイスピーカ５０８によって構成された映像音響再生装置が図示されている。なお、図５は、スクリーン５０５が形成する面（ディスプレイ面）が紙面に垂直となる方向から俯瞰した平面図である。また、図５では、画像の光の流れが実線で図示されており、音声の流れが点線で図示されているが、スクリーンから第１及び第２の視点への画像の光の流れに関しては図示省略されている。

図５に示す映像音響再生装置には、図１１に示す表示原理（偏向フィルタ方式）が用いられている。すなわち、図５に示す映像音響再生装置では、第１の視点用の映像データを映し出すための第１の視点用映像プロジェクタ５０１から、第１の視点の映像用水平偏向フィルタ５０２を介して、第１の視点用の映像データがスクリーン５０５に投射され、第２の視点用の映像データを映し出すための第２の視点用映像プロジェクタ５０３から、第２の視点の映像用垂直偏向フィルタ５０４を介して、第２の視点用の映像データがスクリーン５０５に投射される。なお、スクリーン５０５は、偏向光を乱さないものが使用されることが望ましい。

一方、第１の視点からは、例えば、ユーザが水平偏向フィルタをレンズ部に有する眼鏡を装着してスクリーン５０５を閲覧し、第２の視点からは、例えば、ユーザが垂直偏向フィルタをレンズ部に有する眼鏡を装着してスクリーン５０５を閲覧する。

一方、音声の再生に関しては、上述の本発明の第１及び第２の実施の形態と同様に、図１２に示す局在音場の再生原理が用いられている。これにより、２つの視点（第１及び第２の視点）には、それぞれ異なる画像（第１及び第２の画像）と、それぞれの画像に対応した音声（第１及び第２の音声）とを再生することが可能となる。

次に、本発明の第３の実施の形態における映像音響再生装置の構成について説明する。図６は、本発明の第３の実施の形態の映像音響再生装置の一構成例を示すブロック図である。本発明の第３の実施の形態の映像音響再生装置では、プロジェクタを用いた表示が行われ、図６に示す映像音響再生装置は、各チャンネルの映像データの表示に関して、図２に示す映像音響再生装置と異なっている。

すなわち、図２に示す映像音響再生装置では、レンチキュラ画像表示器２０９が用いられていたが、図６に示す映像音響再生装置では、レンチキュラ画像表示器２０９の代わりに、第１偏向フィルタ６０２（図５に示す第１の視点の映像用水平偏向フィルタ５０２に対応）を有する第１プロジェクタ６０１（図５に示す第１の視点用映像プロジェクタ５０１に対応）、及び第２偏向フィルタ６０４（図５に示す第２の視点の映像用垂直偏向フィルタ５０４に対応）を有する第２プロジェクタ６０３（図５に示す第２の視点用映像プロジェクタ５０３に対応）と、スクリーン６０５（図５に示すスクリーン５０５に対応）が用いられる。

映像ＣＨ分離化器２０８において分離された各視点への映像データは、それぞれ第１プロジェクタ６０１及び第２プロジェクタ６０３に供給される。なお、ここでは、第１の視点に対する映像データは、第１プロジェクタ６０１に供給され、第２の視点に対する映像データは、第２プロジェクタ６０３に供給される。そして、上述のように、第１プロジェクタ６０１から投射される第１の視点に対する映像データは、第１偏向フィルタ６０２を介してスクリーン６０５に映し出され、第２プロジェクタ６０３から投射される第２の視点に対する映像データは、第２偏向フィルタ６０４を介してスクリーン６０５に映し出される。なお、第１プロジェクタ６０１及び第２プロジェクタ６０３は、同一の画角及び大きさの画像を、スクリーン６０５上に重畳する形で投射することが望ましい。

一方、第１及び第２の視点からは、それぞれ第１及び第２プロジェクタ６０１、６０３から映し出された画像のみが閲覧可能となるように、対応する偏向フィルタ６０２、６０４を介したスクリーン６０５の視認が行われる。これにより、スクリーン６０５上には、第１の視点からは第１の画像のみが、第２の視点からは第２の画像のみが見えるようになる。なお、音声の再生に関しては、上述の本発明の第１及び第２の実施の形態と同様に、局在音場の再生原理が用いられ、これにより、第１の視点では、第１の画像に対応する第１の音声のみが聴取可能となり、第２の視点では、第２の画像に対応する第２の音声のみが聴取可能となる。

また、本発明の第３の実施の形態における映像音響再生装置の動作は、上述の本発明の第１及び第２の実施の形態と同一であり（図３参照）、ここでは説明を省略する。

以上、説明したように、本発明の第３の実施の形態によれば、プロジェクタにより異なる偏向を有する画像の投射を行うことで、１つのスクリーン上に２つの異なる映像を、所定の２地点（第１及び第２の視点）からそれぞれ閲覧可能となるように画面全体に表示するとともに、２つの異なる映像のそれぞれに対応する音声を、所定の２地点のそれぞれにおいて聴取可能となるように独立して出力することによって、２つの異なる映像音声を所定の２地点（２つの異なる角度）に同時に再生することが可能となる。

なお、上述の本発明の第１〜第３の実施の形態では、アレイスピーカを用いて、同一の共有空間の異なる位置に対して分離化された各チャンネルの音声データの局在音場を形成しているが、例えば、各チャンネルの音声データを、第１及び第２の視点に存在する各ユーザが装着可能なヘッドホンシステム（オーディオヘッドホン又はイヤホン）や、各視点に対する指向性を有する超指向性スピーカなどのデバイスに供給することによって、各視点において対応する音声を独立して聴取することができるようにしてもよい。

また、上述の本発明の第１〜第３の実施の形態では、異なる２地点（第１及び第２の視点）に対して独立した映像音声の再生を行っているが、同様の方法によって、３地点以上に対してそれぞれ独立した映像音声の再生を行うようにすることも可能である。

また、上述の本発明の第１〜第３の実施の形態では、異なる視点に対して異なる画像を再生する方式として、レンチキュラレンズ方式、液晶パララックスバリア方式、偏向フィルタ方式の各表示原理を例に挙げて説明したが、本発明は、これらの表示原理に限定されるものではなく、その他のあらゆる表示原理（例えば、アナグリフなどの立体映像方式で使用されている左右の目に異なる画像を入力する技術など）を適用することが可能である。

また、上述の本発明の第１〜第３の実施の形態では、音像位置を制御する方式として、アレイスピーカを用いる技術を例に挙げて説明したが、例えば、バイノーラル・トランスオーラル方式や、キルヒホッフ（Kirchhoff）の積分法に代表される波動音響理論を用いた音場制御方式によって、仮想音場空間を実現してもよい。

本発明に係る映像音声の再生技術が従来存在しなかった理由の１つとしては、今までは、こうした映像音声の再生に関する需要がなかったことが挙げられる。すなわち、本発明は、新たな映像音声の再生技術を想起し、この映像音声の再生技術に用いられるアプリケーションの開発の可能性を広げるという点においても、有用な発明であると言える。以下に、本発明に係る映像音声の再生技術を利用したアプリケーションについて説明する。

図７は、本発明に係る好適なアプリケーションの第１の例を示すブロック図である。なお、図７には、本発明に係る映像音声の再生技術を利用したゲーム装置が図示されている。図７に示すゲーム装置は、ＣＰＵ（Central Processing Unit：中央演算処理装置）７０１、視点ＣＨ用映像生成器７０２、レンチキュラ画像表示器７０３、視点ＣＨ用音声生成器７０４、局在音場発生器７０５、アレイスピーカ７０６、第１の視点用コントローラ７０７、第２の視点用コントローラ７０８を有している。なお、ここでは、上述の本発明の第１の実施の形態で説明した構成（すなわち、レンチキュラレンズ方式及びアレイスピーカ７０６による局在音場の形成）をゲーム装置に適用しているが、上述の液晶パララックスバリア方式、偏向フィルタ方式やその他の表示原理、又は音像制御方式を用いてもよい。

ＣＰＵ７０１は、映像と音声とを伴うゲームを実行するための処理及び制御を行うための手段であり、例えば、所定の記録媒体（不図示）からゲームプログラムを読み出して実行するとともに、ゲームユーザが操作するコントローラ（第１及び第２の視点用コントローラ７０７、７０８）から操作信号に応じた処理を行うことが可能である。また、ＣＰＵ７０１は、本発明の特徴である第１及び第２の視点それぞれに対して、どのような映像及び音声を再生するかの決定も行う。

ＣＰＵ７０１の処理による映像再生の決定に係る情報（例えば、画面識別情報、ゲームシナリオ識別情報、画面構成情報など）は、視点ＣＨ用映像生成器７０２に供給される。視点ＣＨ用映像生成器７０２では、上述の本発明の第１の実施の形態において説明した処理が行われ、レンチキュラ画像表示器７０３を介して、各視点に対応する映像の再生が行われる。また、同様に、ＣＰＵ７０１の処理による音声再生の決定に係る情報（例えば、音響識別情報、ゲームシナリオ識別情報、音響構成情報など）は、視点ＣＨ用音声生成器７０４に供給される。視点ＣＨ用音声生成器７０４では、上述の本発明の第１の実施の形態において説明した処理が行われ、局在音場発生器７０５及びアレイスピーカ７０６を介して、各視点に対応する音声の再生が行われる。

このように、本発明に係る映像音声の再生技術を適用したゲーム装置では、２人のゲームユーザが、それぞれ異なる視点（第１及び第２の視点）からディスプレイに映し出されているゲーム画面を見ながらゲームを行うことが可能となる。なお、２人のユーザは同一空間を共有し、同一ディスプレイ面を見ているが、上述のように各視点によって異なる画像及び音声を視聴することが可能であり、従来とは全く異なるゲームを楽しむことが可能である。また、特に、２人のユーザが互いに相手の画面が見えない状態を有効に利用したゲームを楽しむことが可能であり、こうしたゲームを実現するためのソフトウェア開発の進展も期待できる。

また、例えば、第１及び第２の視点用コントローラ７０７、７０８の空間上における位置情報がＣＰＵ７０１に供給されるように構成することも可能である。各ゲームユーザは、操作用のコントローラを把持してゲームを行うので、第１及び第２の視点用コントローラ７０７、７０８のそれぞれの位置が把握可能となれば、これらの位置情報から第１及び第２の視点の位置が把握可能となる。このように把握された第１及び第２の視点の位置情報を利用して、第１及び第２の視点の設定を動的に変化させることによって、ゲームユーザの動きに合わせた映像音声の再生位置の動的制御を行うことも可能である。

また、図８は、本発明に係る好適なアプリケーションの第２の例を示すブロック図である。なお、図８には、本発明に係る映像音声の再生技術をホームシアターや車内エンタテインメントシステムに適用した構成例が図示されている。図８に示す映像音響再生装置は、カーナビゲーションシステム（カーナビ）８０１、ＣＤオーディオ８０２、ＴＶチューナ８０３、ＤＶＤ再生器８０４、ＦＭ／ＡＭチューナ８０５、信号セレクタ８０６、視点ＣＨ用映像生成器８０７、視点ＣＨ用音声生成器８０８、映像視点切り換え器８０９、音声焦点切り換え器８１０、レンチキュラ画像表示器８１１、局在音場発生器８１２、アレイスピーカ８１３、ユーザインタフェース８１４を有している。なお、ここでは、上述の本発明の第１の実施の形態で説明した構成（すなわち、レンチキュラレンズ方式及びアレイスピーカ８１３による局在音場の形成）を映像音響再生装置に適用しているが、上述の液晶パララックスバリア方式、偏向フィルタ方式やその他の表示原理、又は音像制御方式を用いてもよい。

図８に示す映像音響再生装置は、信号源として、カーナビ８０１、ＣＤオーディオ８０２、ＴＶチューナ８０３、ＤＶＤ再生器８０４、ＦＭ／ＡＭチューナ８０５を有しており、これらの各信号源からは、それぞれ独立して映像信号及び／又は音声信号が、信号セレクタ８０６に供給される。

一方、ユーザは、ユーザインタフェース８１４を使用して、第１及び第２の視点のそれぞれに対して、どの信号源の映像音声を再生するかを選択することが可能である。すなわち、例えば、第１の視点からは、ＴＶチューナ８０３によって得られるＴＶ番組の視聴を行い、第２の視点からは、カーナビ８０１による経路案内の視聴を行うなどの選択が可能である。このようにユーザインタフェース８１４から入力された信号源及び視点の選択指示情報は、信号セレクタ８０６、映像視点切り換え器８０９、音声焦点切り換え器８１０にそれぞれ伝送される。

信号セレクタ８０６は、ユーザからの選択指示情報に従って、上述の５つの信号源から２つを選択し、選択された２つの信号源からの映像音声信号のうちの映像信号は、視点ＣＨ用映像生成器８０７に供給され、映像音声信号のうちの音声信号は、視点ＣＨ用音声生成器８０８に伝送される。

視点ＣＨ用映像生成器８０７では、上述の本発明の第１の実施の形態において説明した処理が行われ、レンチキュラ画像表示器８１１を介して、各視点に対応する映像の再生が行われる。なお、このとき、映像視点切り換え器８０９では、ユーザインタフェース１４からのユーザの選択指示情報に基づいて、２つの信号源の各映像信号を、第１及び第２の視点のどちらに対して出力するかの切り換えが行われる。

また、同様に、視点ＣＨ用音声生成器８０８では、上述の本発明の第１の実施の形態において説明した処理が行われ、局在音場発生器８１２及びアレイスピーカ８１３を介して、各視点に対応する音声の再生が行われる。なお、このとき、音声焦点切り換え器８１０では、ユーザインタフェース８１４からのユーザの選択指示情報に基づいて、２つの信号源の各音声信号を、第１及び第２の視点のどちらに対して出力するかの切り換えが行われる。

このように、本発明に係る映像音声の再生技術を適用したホームシアターや車内エンタテインメントシステムでは、２人のユーザが、それぞれ異なる視点（第１及び第２の視点）から同一のディスプレイ面を見ながら、異なる映像音声のコンテンツを楽しむことが可能となる。例えばホームシアターの場合には、リビングに居る２人のユーザが、同一ディスプレイ及び同一画面サイズでそれぞれ異なる信号源の映像音声を視聴できるアプリケーションが実現可能であり、また、車内エンタテインメントシステムの場合には、ＤＶＤやＴＶ、カーナビなどの信号源を、運転席と助手席（あるいは、助手席と後部座席など）に居る２人のユーザが、同一ディスプレイ及び同一画面サイズでそれぞれ異なる信号源の映像音声を視聴できるアプリケーションが実現可能である。

また、さらに、本発明に係る好適なアプリケーションの他の例としては、例えば、映像コンテンツの再生装置のモニタ画面に対して直交する位置（真正面）に存在する視点には、再生コンテンツに係る映像音声を再生し、この位置から少しずれた視点に対しては、メニュー画面に係る映像音声を再生するためのアプリケーションが考えられる。また、パーソナルコンピュータのモニタにおいて、真正面に存在する視点への映像音声の再生に対し、他の視点に対して、スクロールなどの操作を行った場合の映像音声の再生を行うことによって、視点を変えるだけでスクロール操作を行った場合と同様の映像音声の知覚を可能とするアプリケーションも考えられる。

本発明に係る映像音響再生方法及び映像音響再生装置は、１つのディスプレイ上に２つの異なる映像を画面全体に表示するとともに、２つの異なる映像のそれぞれに対応する音声を独立して出力することで、２つの異なる映像音声を２つの異なる角度に同時に再生することを可能とするという効果を有しており、複数の視点からの映像音声の視聴を可能とする映像音響再生技術に適用されるとともに、さらに、この映像音響再生技術を利用した様々な技術分野に適用される。

本発明の第１の実施の形態の映像音響再生装置を示す平面図である。 本発明の第１の実施の形態の映像音響再生装置の一例を示すブロック図である。 本発明の第１の実施の形態を実現するためのプログラムに係る処理のフローチャートである。 本発明の第２の実施の形態の映像音響再生装置を示す平面図である。 本発明の第３の実施の形態の映像音響再生装置を示す平面図である。 本発明の第３の実施の形態の映像音響再生装置の一構成例を示すブロック図である。 本発明に係る好適なアプリケーションの第１の例を示すブロック図である。 本発明に係る好適なアプリケーションの第２の例を示すブロック図である。 従来の技術に係るレンチキュラレンズ方式を用いた表示原理を示す平面図である。 従来の技術に係る液晶パララックスバリア方式を用いた表示原理を示す平面図である。 従来の技術に係る偏向フィルタ方式を用いた表示原理を示す平面図である。 従来の技術に係るアレイスピーカを用いた局在音場の再生技術を示す図である。

符号の説明

１０１ フラットディスプレイ
１０２、９０１ レンチキュラレンズ
１０３、２０６、４０３、５０８、７０６、８１３、１２０１ アレイスピーカ
２０１ 再生器
２０２ 情報分離化器
２０３ 音声復号器
２０４ 音声ＣＨ分離化器
２０５、７０５、８１２ 局在音場発生器
２０７ 映像復号器
２０８ 映像ＣＨ分離化器
２０９、７０３、８１１ レンチキュラ画像表示器
２１０ 記録媒体
４０１、１００２ スリット光源
４０２、１００１ 液晶スリットバリア
５０１、１１０１ 第１の視点用映像プロジェクタ
５０２、１１０２ 第１の視点の映像用水平偏向フィルタ
５０３、１１０３ 第２の視点用映像プロジェクタ
５０４、１１０４ 第２の視点の映像用垂直偏向フィルタ
５０５、６０５、１１０５ スクリーン
５０６、１１０６ 水平偏向フィルタ
５０７、１１０７ 垂直偏向フィルタ
６０１ 第１プロジェクタ
６０２ 第１偏向フィルタ
６０３ 第２プロジェクタ
６０４ 第２偏向フィルタ
７０１ ＣＰＵ
７０２、８０７ 視点ＣＨ用映像生成器
７０４、８０８ 視点ＣＨ用音声生成器
７０７ 第１の視点用コントローラ
７０８ 第２の視点用コントローラ
８０１ カーナビ（カーナビゲーションシステム）
８０２ ＣＤオーディオ
８０３ ＴＶチューナ
８０４ ＤＶＤ再生器
８０５ ＦＭ／ＡＭチューナ
８０６ 信号セレクタ
８０９ 映像視点切り換え器
８１０ 音声焦点切り換え器
８１４ ユーザインタフェース
９０２ ディスプレイ面
１２０２ 遅延回路
１２０３ 音声信号供給部

Claims (2)

1. 第１の映像データの再生処理を行い第１の映像を得るとともに、第２の映像データの再生処理を行い第２の映像を得る映像再生処理ステップと、
   前記第１の映像データに関連する第１の音声データの再生処理を行うとともに、前記第２の映像データに関連する第２の音声データの再生処理を行う音声再生処理ステップと、
   視聴位置としてあらかじめ設定されている第１の位置からユーザが見た映像が前記第１の映像となり、前記第１の位置とは異なる視聴位置としてあらかじめ設定されている第２の位置からユーザが見た映像が前記第２の映像となるように制御して、前記第１の映像及び前記第２の映像の両方を所定の表示面に同時に表示させる表示ステップと、
   前記第１の音声データの再生音声の音圧が前記第１の位置において局所的に高くなるようにするとともに、前記第２の音声データの再生音声の音圧が前記第２の位置において局所的に高くなるようにするために、前記２つの再生音声を出力するためのアレイスピーカを構成する複数のスピーカのそれぞれからの出力音声が所定の遅延量だけ遅延されて出力されるように、前記第１の音声データの再生音声と前記第２の音声データの再生音声との遅延量を制御する音声出力ステップとを、
   有する映像音響再生方法。
2. 映像表示を行う１つの表示面を有する表示手段と、
   第１の映像データの再生処理を行い第１の映像を得るとともに、第２の映像データの再生処理を行い第２の映像を得る映像再生処理手段と、
   視聴位置としてあらかじめ設定されている第１の位置からユーザが見た映像が前記第１の映像となり、前記第１の位置とは異なる視聴位置としてあらかじめ設定されている第２の位置からユーザが見た映像が前記第２の映像となるように制御して、前記第１の映像及び前記第２の映像の両方を所定の表示面に同時に表示させる表示制御手段と、
   前記第１の映像データに関連する第１の音声データの再生処理を行うとともに、前記第２の映像データに関連する第２の音声データの再生処理を行う音声再生処理手段と、
   前記第１の音声データの再生音声と前記第２の音声データの再生音声とを出力するための複数のスピーカの配列により構成されているアレイスピーカと、
   前記第１の音声データの再生音声の音圧が前記第１の位置において局所的に高くなるようにするとともに、前記第２の音声データの再生音声の音圧が前記第２の位置において局所的に高くなるようにするために、前記アレイスピーカを構成する前記複数のスピーカのそれぞれからの出力音声が所定の遅延量だけ遅延されて出力されるように、前記第１の音声データの再生音声と前記第２の音声データの再生音声との遅延量を制御する遅延手段とを、
   有する映像音響再生装置。
   

Images