JP2012054829A - 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体 - Google Patents

Abstract

【課題】映像と音声の対応関係をユーザが容易に把握することができる映像提示装置を提供する。
【解決手段】映像提示装置は、画面表示部が映像を画面表示している位置あるいは該位置の鉛直方向の直線上あるいは該直線上付近あるいは該位置の水平方向の直線上あるいは該直線上付近に当該映像の仮想音源の位置を設定し、仮想音源から音声が生じている状態を聴覚上あるいは視聴覚上再現するような音声信号を音声再生部に出力させる。前記音声再生部は、音声情報をモノラル信号に変換する。
【選択図】図３

Description

本発明は、映像を提示する技術に関するものである。

近年、家庭に様々なメディアから情報が配信されている。例えば、地上波放送、通信衛星放送、ＣＡＴＶケーブル網等を介して、ＴＶやラジオの画像・音声放送が家庭に配信されている。

加えて近年、ＣＳ（通信衛星）放送やＣＡＴＶ（ケーブルＴＶ）等において、テレビジョン信号をデジタル化して伝送する、デジタル放送システムが普及してきている。これらのシステムにおいては、デジタル圧縮・伝送技術を採用することにより、数１００にも及ぶチャンネルを確保することができる。そのため、従来にも増して多くのテレビ／ラジオ（音楽）番組を提供することが可能となってきている。

また、ＡＶ機器のデジタル化が進み、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）、デジタルカメラ等のパッケージメディアとしての映像・音声ソース、デジタルビデオレコーダなどにより、放送コンテンツを録画した映像・音声ソースも家庭内に多数存在するようになってきた。

さらに、今後行われる放送のデジタル化や通信インフラの整備などにより、映像・音声情報が家庭へ流入する経路数が拡大するものと考えられる。

このように、様々なメディアから多種多様な映像、音声情報を提供するサービスが増えている反面、ユーザがこれらのサービスを享受できる時間は限られている。そこで最近では、大型のディスプレイに同時に複数のウインドウを開き、個々のウインドウに異なる情報ソースを割り当てて再生する、マルチウインドウ再生機能が実現されている。

また上記マルチウインドウ表示機能を用いて、一度に多くの映像を一覧表示し、ユーザが所望しているコンテンツを検索する、マルチウインドウ映像検索システムが提案されている。画面上に一覧表示された複数の映像に対して、ユーザはある映像に注目しながら、別の映像に興味を持ったときには、画面を切り替えることなく瞬時にその映像内容を確認できる。このような人間の視覚処理の能力を生かすことで、ユーザはより多くの検索候補を一度に確認でき、見たい番組を効率的に見つけ出すことができる。

上記マルチウインドウ映像検索システムにおいて、映像コンテンツの音をそれぞれの映像と同時に出力し、それぞれの音をユーザが聞き分けられるようにすれば、映像内容をすばやく確認するための補助情報として有効である。そこで、マルチウインドウ機能によって表示された複数の映像とその音を同時に視聴できる方法が提案されている。

下記特許文献１には、一画面に表示される複数の映像に対応する音を、映像の表示位置に対応する位置のスピーカから同時に放音する技術が記載されている。これにより、ユーザは画面に同時に表示された映像とその音声を感覚的に対応づけることができる。

下記特許文献２には、映像が表示されるウインドウの大きさや位置に合わせて、左、中央、右に設置されたスピーカに加算する音声信号の音量バランスを調整する技術が記載されている。これによりユーザは、各スピーカによって合成された各々の音声とウインドウの対応関係を、音量によって感覚的に認識することができる。

下記特許文献３には、副画面の音声信号の周波数帯域を電話程度の狭帯域に制限する技術が記載されている。これによりユーザは、音質の違いに基づいて主画面音声と副画面音声を聞き分けることができる。

特開平８−９８１０２号公報 特開２０００−６９３９１号公報 特開平９−３２２０９４号公報

上記特許文献１に記載の技術では、スピーカの設置位置は固定されている。そのため、ユーザが映像と音声の対応関係を適切に把握できるようにするには、スピーカ設置位置に合わせて、ウインドウ表示位置、同時に出力する音声チャンネル数、などを調整する必要がある。すなわち特許文献１に記載の技術では、スピーカ設置位置によって映像と音声が制約を受け易い。

また特許文献１では、２つの映像を同時表示する際に、左画面に表示されている映像の音声を画面左側のスピーカから出力し、右画面に表示されている映像の音声を画面右側のスピーカから出力する例が記載されている。しかし、３つ以上の映像を同時表示する際にどのように画面を分割し、各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。

上記特許文献２に記載の技術では、ウインドウ内の映像と音声の対応関係を適切に把握するためには、ユーザと左スピーカの間の距離、およびユーザと右スピーカの間の距離がそれぞれ略等しい場所にユーザが位置する必要がある。例えば、右スピーカに極端に近い位置にユーザが位置している場合、右スピーカから出力される音声は近くから発生しているように感じ易い。そのため、ウインドウ配置が左右均等であっても、右映像の音声のみ大きく聞こえ、映像と音声のバランスがずれる。

特許文献２では、上記のような事情から、画面正面に単一ユーザが位置している場合には対応できるが、画面の前に複数ユーザが並んでいるような状況に対応することが難しくなる可能性がある。

上記特許文献３に記載の技術では、主画面音声のうち情報密度が高い領域の周波数帯域と、フィルタをかけた後に出力される副画面音声の周波数帯域とが重なる可能性がある。このときユーザは、両者を区別することが困難になる。

すなわち特許文献３では、主画面音声と副画面音声の組み合わせによっては、ユーザが映像と音声を対応付けることが難しくなる場合がある。また特許文献３では、特許文献１と同様に、３つ以上の映像を同時表示する際に各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。

本発明は、上記のような課題を解決するためになされたものであり、映像と音声の対応関係をユーザが容易に把握することができる映像提示装置を提供することを目的とする。

本発明に係る映像提示装置は、映像を表示している位置に仮想音源を設定し、仮想音源から音声が生じている状態を模擬する音場を形成する。

本発明に係る映像提示装置によれば、画面上の映像の位置と、ユーザが認識する音源位置とが一致するので、映像と音声の対応関係をユーザが容易に把握することができる。

実施の形態１に係る映像提示装置１００の機能ブロック図である。 画面表示部１５０の画面表示例を示す図である。 音声出力部１６０が波面合成技術を用いて仮想音源１６１から発生する音場を模擬している様子を示す図である。 仮想音源１６１の奥行方向位置を画面表示部１５０よりも奥、すなわちユーザ２００から離れる側に設定した例を示す図である。 実施の形態３に係る映像提示装置１００の機能ブロック図である。 リモコン１８０が備えるボタンの詳細を示す図である。 画面遷移モードの初期画面例を示す図である。 画面遷移モードにおける画面遷移例を示す図である。 画面内選択モードにおける画面遷移例を示す図である。 画面内選択モードにおいてユーザがリモコン１８０の決定ボタン１８４を押下したときの画面遷移例を示す図である。 実施形態３に係る映像提示装置１００の動作フロー図である。 図１の映像提示装置１００をテレビ装置として構成した例を示す図である。 図１の映像提示装置１００をテレビ装置として構成した例を示す図である。 図１の映像提示装置１００をテレビ装置として構成した例を示す図である。 図１の映像提示装置１００を映像投影システムとして構成した例を示す図である。 図１の映像提示装置１００を映像投影システムとして構成した例を示す図である。 図１の映像提示装置１００をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。 音声出力部１６０の構成例を示す図である。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る映像提示装置１００の機能ブロック図である。映像提示装置１００は、映像情報と音声情報を再生してユーザに提示する装置であり、演算処理部１１０、コンテンツ記憶部１２０、映像信号再生部１３０、音声信号再生部１４０、画面表示部１５０、音声出力部１６０を備える。

演算処理部１１０は、映像提示装置１００の全体動作を制御する。また演算処理部１１０は、映像信号再生部１３０と音声信号再生部１４０の動作を制御する。演算処理部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような演算装置を用いて構成することができる。制御動作を記述したプログラムを別途設け、演算装置がそのプログラムを実行することによって、演算処理部１１０の動作を実現することもできる。

コンテンツ記憶部１２０は、映像情報と音声情報を記録したコンテンツデータを記憶する記憶装置である。コンテンツ記憶部１２０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のような記憶装置を用いて構成することができる。コンテンツデータは、例えばテレビジョン放送波、ＤＶＤなどの記憶媒体、ビデオプレイヤーやビデオテープレコーダなどが出力する映像・音声信号、ネットワークを介してデジタルコンテンツを配信するサーバからダウンロードなどの様々なコンテンツソースから入手することができる。映像提示装置１００は、必要に応じてコンテンツソースからコンテンツデータを受け取るインタフェースを適宜備えるものとする。

映像信号再生部１３０は、コンテンツ記憶部１２０からコンテンツデータを読み出し、映像情報をデコードするなどして映像信号を生成し、映像エフェクトなどの処理を施した上で所定の画面レイアウトに加工する。映像信号再生部１３０は、映像信号を画面表示部１５０に出力して画面表示させる。

音声信号再生部１４０は、コンテンツ記憶部１２０からコンテンツデータを読み出し、音声情報をデコードするなどして音声信号を生成し、必要に応じて音声エフェクトを施し、Ｄ／Ａ変換し、アナログ信号を増幅したうえで音声出力部１６０に出力し、音声出力させる。

画面表示部１５０は、例えば液晶ディスプレイ装置などを用いて構成された画面表示デバイスである。画面表示部１５０は、映像信号再生部１３０が出力する映像信号に基づき映像を画面表示する。画面表示部１５０を駆動する処理は、映像信号再生部１３０が実行してもよいし、演算処理部１１０が実行してもよい。

音声出力部１６０は、１以上の音声出力デバイス（例えばスピーカ）を用いて構成されている。本実施形態１では、複数のスピーカを直線状に配置したスピーカアレイを想定するが、これに限られるものではない。説明の便宜上、音声出力部１６０は、画面表示部１５０の下方に設置されているものとする。

図２は、画面表示部１５０の画面表示例を示す図である。映像信号再生部１３０は、コンテンツ記憶部１２０から１以上のコンテンツデータを読み出し、映像情報を画面表示部１５０上の所定位置に画面表示させるような映像信号を生成する。ここでは３つの映像情報を画面表示部１５０上に同時表示する例を示した。ユーザは、３つの映像コンテンツを画面表示部１５０上で同時に視聴する。

音声出力部１６０は、各映像コンテンツの音声をそれぞれ個別に再生するが、このとき音声の発生元と各映像の画面上位置が一致していることが望ましい。これらが一致することにより、ユーザは映像と音声を対応付け、コンテンツの内容を容易に把握することができるからである。

以上、映像提示装置１００の構成を説明した。次に、画面表示部１５０上の映像と音声を対応付ける手法について、スピーカアレイを用いた波面合成手法と併せて説明する。

＜実施の形態１：スピーカアレイ＞
カクテルパーティーのような雑踏のなかでも、興味のある人の会話は自然と聞き取ることができる、いわゆるカクテルパーティー効果と呼ばれる現象がある。この効果の例に見られるように、音像（認知される音の像）の位置の差や音そのものの差によって、人間は同時に複数の音を聞き分けることができる。

このような人間の聴覚能力を、映像提示装置１００に活かすことを考える。複数の映像の位置にそれぞれの音像を定位することができれば、ユーザは特定の映像の音を選択的に聞き取ることができる。

カクテルパーティー効果のように自然に複数の音を聞き分けるには、音声出力部１６０が再生する音場をできるだけ原音場に近づけることが望ましい。そこで、スピーカアレイを用いた波面合成技術を、音声出力部１６０に適用する。

波面合成技術は、スピーカアレイの裏側に音源があると仮定して（仮想音源）、スピーカアレイの各スピーカから放射された波面の総和によって、音場の波面を合成するというものである。波面合成技術を用いれば、実音源が実際に仮想音源の位置に存在しているかのように、音の方向感、広がり感を再現することができる。

図３は、音声出力部１６０が波面合成技術を用いて仮想音源１６１から発生する音場を模擬している様子を示す図である。ここでは説明の簡易のため、画面表示部１５０が単一の映像コンテンツを画面表示している例を示した。

図３（ａ）は、画面表示部１５０の画面表示例を示す。映像信号再生部１３０は画面表示部１５０に、画面に向かってやや左寄りの位置に１つの映像コンテンツを画面表示させているものとする。ユーザは、この映像コンテンツが画面表示されている位置から音が発生していることを想定して、映像コンテンツを視聴する。

図３（ｂ）は、画面表示部１５０と音声出力部１６０を上方から見た上面図である。音声信号再生部１４０は、図３（ａ）に示す映像コンテンツの画面上位置に音源があるものと仮定し、仮想音源１６１をその位置に設定する。ユーザ２００は、画面表示部１５０の正面に位置しているものとする。具体的には、演算処理部１１０が映像信号再生部１３０から画面上の映像表示ウインドウの位置（たとえばウインドウの中心座標）を取得して、音声信号再生部１４０に仮想音源１６１の位置として設定する。

仮想音源１６１が図３（ｂ）に示す位置にある場合、ユーザ２００は、図３（ｂ）の実線円弧で示すような音波面が形成されていることを想定する。この音波面を波面合成技術によって再生すれば、ユーザ２００は音源が仮想音源１６１の位置にあるものと錯覚し、映像コンテンツの画面上位置と音源位置を対応させることができる。

図３（ｂ）の実線円弧に示す音波面を模擬するためには、音声信号再生部１４０は、各スピーカが発生する音波面を点線円弧で示すように合成し、合成波が実線円弧となるように、各スピーカから出力する音声を制御すればよい。これにより、ユーザ２００に届く音波面は、実線円弧のようになるので、仮想音源１６１から音声が発生している音場を模擬することができる。

この例では説明の便宜上、波面合成再生方式による再生としているが、実際の可聴域の周波数の範囲帯域内の波面を再現しようとすると、二次元平面に８．５ｍｍ間隔でスピーカを並べなければならず、現実的ではない。そのため、Wave Field Synthesis(WFS)のように、線状に並べたスピーカアレイによって近似する考え方を基にして、現実的な口径のスピーカを使用した製品が市場に出ている。それらの実装例において、波面の合成は低周波帯域の成分のみしかできないが、そのような近似でも知覚上、波面を合成した場合と似たような効果を与えることが可能である。本発明でもそのような実装による近似再生方法を前提としている。

また、聴覚心理学的に見た場合、音像を知覚する手掛りとなるのは両耳に入る音の音圧差と時間差であるとされているが、波面合成方式を、複数ユーザに対して同時にそのような音を聞かせる方式であると解釈すれば、そのような効果を生じさせる再生方式であれば厳密に波面を合成しようとする方式でなくどのような再生方式であっても構わない。

いずれの再生方式であっても、再生の際に音声出力部１６０は各スピーカの位置を知らねばならないが、各スピーカは通常機器に設置され固定されているので、スピーカ位置は既知とできる。あるいは、スピーカは移動可能であり、その移動に伴いスピーカ位置も、自動的に、またはユーザ操作により、設定可能としてもよい。

なお、図３では説明の便宜上、水平面上で音波面を合成する例を示した。これは、人間の聴覚が一般に、水平方向の音像と映像のずれよりも、鉛直方向のずれに対して鈍感であることを利用している。さらに、映像とともに、その映像に対応する音像を映像位置とは異なる場所から提示したとき、その音像が映像に引き寄せられる、いわゆる腹話術効果も併せて利用している。それらの知覚効果より、仮想音源の水平方向の位置を再現すれば、たとえ鉛直方向の音像位置（音像位置の高さ）が映像とずれていても、利用者はその映像から音が出ていると錯覚する。したがって、スピーカは画面の上端あるいは下端に、水平方向に直線状に並べ、映像と音像の左右のずれがないように音を出力してやれば十分である。

この場合、仮想音源位置は、映像位置と必ずしも一致する必要はなく、映像位置から鉛直方向に伸ばした直線上あるいはその近傍に位置させればよいということになる。そして、仮想音源は画面上あるいはその後ろに位置しないといけない訳ではなく、例えばスピーカアレイ上あるいはその前後に位置させても構わない。ただし、もちろん高さ方向にも音波面を合成するようにしてもよい。

例えば、画面表示部１５０が映像コンテンツを画面表示している高さ方向の位置に、仮想音源１６１が設置されているものと仮定し、各スピーカから出力する音声を制御する。必要に応じて、スピーカアレイを高さ方向にも複数層配置し、高さ方向の音波面合成を実施してもよい。

通常の映像コンテンツはモノラル音声だけでなくステレオ（２ｃｈ）やサラウンド音響（５．１ｃｈ）などが広く普及している。本発明の方式においてこれら複数チャネル音声信号を持つコンテンツを１つの仮想音源に対応付けて再生するためには、モノラル音声にダウンミックスする必要がある。ダウンミックスの方法についてはテレビなどで通常用いられている方法で行えばよい。あるいは、サラウンド音響に関して、リアチャネルの音声信号には残響成分が多く、通常のダウンミックス方式では音像定位しにくくなってしまう可能性もあるため、例えばフロントの３チャネル（ＦＲ，ＦＣ，ＦＬ）のみを使用し、加算して３で割るなどしてもよい。

画面表示部１５０が複数の映像コンテンツを同時に表示する場合も、図３と同様の手法によって個々の映像コンテンツの仮想音源１６１を個別に設定し、各映像コンテンツの画面上位置と仮想音源１６１の位置を対応させた音場を模擬することができる。これによりユーザは、仮想音源１６１の位置と、各映像コンテンツの画面上位置との対応を容易に把握することができる。

本実施形態１では、説明の簡易のため、音声信号再生部１４０が仮想音源１６１の位置を定めるものとして説明したが、演算処理部１１０がそのための演算処理等を実施するようにしてもよい。以下の実施形態でも同様である。

＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る映像提示装置１００は、画面表示部１５０が映像を表示している位置に仮想音源１６１の位置を設定し、仮想音源１６１から音声が生じているものと仮定した音場を、音声出力部１６０に模擬させる。これにより、ユーザは画面表示部１５０上の映像位置と、音声出力部１６０から聞こえてくる音声とを容易に対応させることができる。

また、本実施形態１に係る映像提示装置１００によれば、画面表示部１５０が画面表示する映像コンテンツのレイアウトがどのようなものであったとしても、ユーザは映像と音声を対応付けながら、所望する映像コンテンツを容易に識別することができる。これにより、任意の画面レイアウトにおいて、所望する映像コンテンツを素早く見つけることができる。

この効果は、ユーザ毎に画面レイアウトが異なるようなマルチユーザ環境において有効である。すなわち、各ユーザが画面レイアウトをカスタマイズしている場合、どの映像コンテンツが画面のどの部分に表示されるかが個別に異なるため、従来は映像位置と音源位置を対応させることが困難であった。本実施形態１によれば、仮想音源位置と映像表示位置を自由度高く対応させることができるので、画面レイアウトがどのようなものであっても、映像と音声の対応付けを柔軟に行うことができる。

＜実施の形態２＞
実施の形態１では、画面表示部１５０に沿って仮想音源１６１が配置されていることを想定したが、仮想音源の位置は任意に設定することができる。例えば、画面表示部１５０よりもユーザから離れた側に仮想音源１６１を配置することもできる。本発明の実施形態２では、その１例を説明する。映像提示装置１００の構成は、実施形態１で説明したものと同様である。

図４は、仮想音源１６１の奥行方向位置を画面表示部１５０よりも奥、すなわちユーザ２００から離れる側に設定した例を示す図である。比較のため、図３と同様に仮想音源１６１を配置した例を、図４（ａ）に併記した。

図４（ｂ）において、画面表示部１５０は、映像コンテンツを３つ同時に画面表示している。映像コンテンツ１５１の位置とサイズは図４（ａ）と同様である。他の２つの映像コンテンツ１５２および１５３は、画面表示部１５０に向かって右側に配置されている。映像コンテンツ１５２の画面サイズは映像コンテンツ１５１よりも小さく、映像コンテンツ１５３の画面サイズはさらに小さい。

ユーザは一般に、小さく表示されている映像の音量は小さいものと想定する。音声信号再生部１４０は、このことを仮想音源の位置に反映し、各映像コンテンツの仮想音源の位置を設定する。

図４において、映像コンテンツ１５２の仮想音源１６２の位置は、仮想音源１６１の位置よりも奥に設定されている。これは、映像コンテンツ１５２の画面サイズが映像コンテンツ１５１の画面サイズよりも小さいことを反映し、仮想音源１６１よりもユーザ２００から見て遠くに仮想音源１６２を配置したものである。映像コンテンツ１５３の仮想音源１６３の位置は、さらに奥に設定されている。

映像コンテンツの表示サイズの大きさと仮想音源の奥行きの関係は、画面上一番大きく表示されているコンテンツ（図４において映像コンテンツ１５１）の奥行きを０とし、ユーザから見たときの映像コンテンツの画面サイズに対応して、映像コンテンツ１５２、１５３の相対的な奥行きを算出する。このように算出された仮想音源の奥行き情報は、仮想音源の画面上の位置（表示ウインドウの中心位置）と同時に、映像再生部１３０より演算処理部に出力され、音声情報再生部１４０に設定される。

仮想音源の奥行方向の位置を設定する手法は、仮想音源という概念を用いる再生方式それぞれで、仮想音源の奥行き方向の位置の再現方法についても定義されるのが一般的であるため、それぞれの再生方式によるものとする。通常は、例えば音量を調整する、音波面の位相を調整する、などが挙げられる。

＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る映像提示装置１００は、画面表示部１５０が画面表示する映像の大きさに応じて、その映像に対応する仮想音源の奥行方向位置を設定する。これにより、映像の画面サイズと音声の対応関係を容易に把握することができるので、ユーザはいずれの音声がいずれの映像に対応するかを即座に理解することができる。

＜実施の形態３＞
本発明の実施形態３では、画面表示部１５０が表示している画面をスクロールまたは移動させ、表示する映像コンテンツを切り替える動作例を説明する。また、ユーザが映像提示装置１００に対して画面の切り替えを指示するための操作デバイス例として、リモコンを取り上げる。

図５は、本実施の形態３に係る映像提示装置１００の機能ブロック図である。本実施形態３に係る映像提示装置１００は、実施形態１〜２で説明した構成に加え、操作入力部１７０、リモコン１８０を備える。操作入力部１７０とリモコン１８０に関する事項以外については、実施形態１〜２と同様である。

リモコン１８０は、ユーザが映像提示装置１００に対して操作指示を与える操作装置である。リモコン１８０の詳細は、次の図６で改めて説明する。操作入力部１７０は、リモコン１８０が送信する操作信号を受け取り、その操作指示内容を演算処理部１１０に出力する。

図６は、リモコン１８０が備えるボタンの詳細を示す図である。リモコン１８０は、電源ボタン、チャンネルボタン、音量ボタンの他に、検索モードボタン１８１、検索モード終了ボタン１８２、方向指示ボタン１８３、決定ボタン１８４、戻るボタン１８５を備える。

映像提示装置１００は、ユーザがリモコン１８０を用いて入力する操作指示にしたがって、画面表示部１５０が表示する映像コンテンツを切り替える画面遷移モードと、画面表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。また、画面表示部１５０が画面表示する映像コンテンツを切り替える。以下では、その操作例と画面遷移例を説明する。

図７は、画面遷移モードの初期画面例を示す図である。ユーザがリモコン１８０の検索ボタン１８１を押下すると、操作入力部１７０はその旨の操作信号を受信して演算処理部１１０に出力する。演算処理部１１０は、映像提示装置１００の動作モードを画面遷移モードに切り替える。

演算処理部１１０は、コンテンツ記憶部１２０から所定の規則にしたがって画面遷移モードの初期画面に表示するべきコンテンツデータ（例えば最も新しいコンテンツデータ）を読み出し、映像情報と音声情報をデコードするなどして映像信号と音声信号を生成し、それぞれ画面表示部１５０と音声出力部１６０から出力させる。仮想音源に関する処理は実施形態１〜２と同様であるので、説明は省略する。以下同様である。

画面表示部１５０が映像コンテンツを画面表示する際の各映像コンテンツのレイアウトは、あらかじめ定められている規則にしたがう。ここでは、画面の横軸方向に映像コンテンツを取得した（例えば録画した）時刻、画面の縦軸方向に映像コンテンツの放送チャンネルを割り当て、２次元平面上に各映像コンテンツの両属性を対応させた上で表示する例を示した。

図８は、画面遷移モードにおける画面遷移例を示す図である。以下、図８に示す画面遷移について説明する。

図８（ａ）は、図７に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。図８の左方向は、録画時刻が古い側に向かう方向である。したがって演算処理部１１０は、リモコン１８０から左方向の操作信号を受け取ると、チャンネルが同じで録画時刻がより古いコンテンツデータをコンテンツ記憶部１２０から読み出し、図７と同様の手順で画面表示部１５０に画面表示させる。新たに読み出すコンテンツデータの数は、画面表示部１５０の画面サイズなどに応じて適切に定めておくか、または演算処理部１１０が都度適切な値を判定する。

図８（ｂ）は、図８（ａ）に続いてーザが上方向ボタンを押下した後の画面例を示す図である。図８の上方向は、チャンネル番号を増やす側に向かう方向である。したがって演算処理部１１０は、リモコン１８０から上方向の操作信号を受け取ると、録画時間帯が同じでチャンネル番号が大きいコンテンツデータをコンテンツ記憶部１２０から読み出し、図７と同様の手順で画面表示部１５０に画面表示させる。

図８（ｃ）は、図８（ｂ）に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。動作手順は図８（ａ）と同様である。

図９は、画面内選択モードにおける画面遷移例を示す図である。画面遷移モードにおいてユーザがリモコン１８０の決定ボタン１８４を押下すると、操作入力部１７０はその旨の操作信号を受信して演算処理部１１０に出力する。演算処理部１１０は、映像提示装置１００の動作モードを画面内選択モードに切り替える。

図９（ａ）は、画面内選択モードの初期画面例を示す図である。画面内選択モードの初期画面では、映像信号再生部１３０は、直前の画面遷移モードにおいて画面表示部１５０が画面表示していた映像コンテンツのうち、例えば画面中央に最も近い映像コンテンツにハイライトを当てる映像エフェクトを施す。これによりユーザは、現在画面上で選択されている映像コンテンツがどれであるかを容易に把握することができる。

図９（ｂ）は、図９（ａ）に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。演算処理部１１０は、操作入力部１７０を介してリモコン１８０から下方向の操作指示信号を受け取る。演算処理部１１０は、現在ハイライトが当たっている映像コンテンツの下方に画面表示されている映像コンテンツにハイライトを当てるように、映像信号再生部１３０へ指示する。映像信号再生部１３０は、その指示にしたがって当該映像コンテンツにハイライトを当てる。複数の映像コンテンツが下方に存在する場合は、例えば画面に向かって左側の映像コンテンツから順番にハイライトを当てる。

図９（ｃ）は、図９（ｂ）に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。動作手順は図９（ｂ）と同様である。

図１０は、画面内選択モードにおいてユーザがリモコン１８０の決定ボタン１８４を押下したときの画面遷移例を示す図である。

演算処理部１１０は、画面内選択モードにおいてリモコン１８０から決定ボタン１８４の操作信号を受け取ると、そのときハイライトがあたっている映像コンテンツをフルスクリーン表示するよう、映像信号再生部１３０に指示する。映像信号再生部１３０はその指示にしたがって、当該映像コンテンツをフルスクリーンモードで画面表示部１５０に画面表示させる。

また演算処理部１１０は、映像コンテンツをフルスクリーンモードに切り替えるのにともなって、当該映像コンテンツの仮想音源の位置を画面表示部１５０の中央に設定する。フルスクリーン化によって当該映像コンテンツの画面サイズが大きくなるので、それにともなって仮想音源の奥行方向位置を調整してもよい。

図１１は、本実施形態３に係る映像提示装置１００の動作フロー図である。以下、図１１の各ステップについて説明する。

（図１１：ステップＳ１１００）
映像提示装置１００の電源がＯＮされると、演算処理部１１０はメモリから制御プログラムを読み込むなどして初期化処理を適宜実行した後、本動作フローを開始する。

（図１１：ステップＳ１１０１）
演算処理部１１０は、画面表示部１５０に初期画面を表示させる。例えば、前回電源がＯＦＦされたときに画面表示部１５０が画面表示していた映像コンテンツのコンテンツデータ名やウインドウ位置などを、電源ＯＦＦ時にメモリに保存しておき、これを電源ＯＮ時に改めて読み出す。これにより、前回電源がＯＦＦされた時の画面状態を再現することができる。

（図１１：ステップＳ１１０２）
演算処理部１１０は、リモコン１８０からの操作信号を待機する。演算処理部１１０は操作入力部１７０から操作信号を受け取るとステップＳ１１０３へ進み、操作信号を受け取るまでは本ステップを繰り返して操作信号を待機する。

（図１１：ステップＳ１１０３）
演算処理部１１０は、リモコン１８０から受け取った操作信号が、画面表示部１５０にフルスクリーン表示をさせる操作指示であるか否かを判定する。具体的には、現在の画面モードが図９で説明した画面内選択モードであり、かつ押下されたボタンが決定ボタン１８４であれば、ユーザが選択した映像コンテンツをフルスクリーン表示するよう指示する操作指示であることが分かる。フルスクリーン指示である場合はステップＳ１１０７へ進み、それ以外であればステップＳ１１０４へ進む。

（図１１：ステップＳ１１０４）
演算処理部１１０は、リモコン１８０から受け取った操作信号が、いずれの画面モードを指示するものであるかを判定する。画面内検索モードを指示する操作信号である場合はステップＳ１１０５へ進み、画面遷移モードを指示する操作信号である場合はステップＳ１１０６へ進む。

（図１１：ステップＳ１１０４：補足）
演算処理部１１０は、押下されたボタンが検索ボタン１８１であれば画面遷移モードに移行すべき旨の指示であると判定する。あるいは、現在の画面モードが画面内選択モードであるときに戻るボタン１８５が押下された場合は、画面遷移モードに移行すべき旨の指示であると判定する。現在の画面モードが画面遷移モードでかつ押下されたボタンが決定ボタン１８４であれば、画面内選択モードに移行すべき旨の指示であると判定する。

（図１１：ステップＳ１１０５）
演算処理部１１０は、図９で説明した画面内検索モードを実行する。

（図１１：ステップＳ１１０６）
演算処理部１１０は、図８で説明した画面遷移モードを実行する。

（図１１：ステップＳ１１０７）
演算処理部１１０は、図１０で説明したフルスクリーン表示モードを実行する。

（図１１：ステップＳ１１０８）
演算処理部１１０は、映像提示装置１００の動作を終了する場合は本動作フローを終了し、動作を継続する場合はステップＳ１１０２に戻って同様の処理を繰り返す。

以上、本実施形態３に係る映像提示装置１００の動作を説明した。なお、本実施形態３では操作デバイスとしてリモコン１８０を例示したが、その他の操作デバイスを用いることもできる。例えば映像提示装置１００の本体筐体にリモコン１８０と同様の操作ボタンを設けてもよい。

＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る映像提示装置１００は、画面遷移モードを実行しているときに方向指示ボタン１８３が押下されると、画面表示部１５０に画面表示させる映像コンテンツを切り替えるよう映像信号再生部１３０に指示する。これによりユーザは、複数の映像コンテンツを画面内に同時表示させながら、所望する映像コンテンツを視覚的に検索することができる。また仮想音源の効果によって、映像と音声を対応付けながら、所望するコンテンツを聴覚的に識別することもできる。

また、本実施形態３に係る映像提示装置１００は、リモコン１８０からの方向操作指示にしたがって画面内に同時表示する映像コンテンツを切り替える画面遷移モードと、画面内に表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。これにより、画面遷移モードでは画面内に複数の映像コンテンツを表示させて所望する映像コンテンツを大まかに探し、画面内選択モードで映像コンテンツを確定する、といった使い分けをすることができる。特に画面遷移モードにおいて、映像と音声を対応付けながら所望する映像コンテンツを探すことができるので、映像コンテンツ検索装置としての効果も発揮することができる。

＜実施の形態４＞
本発明の実施形態４では、上記実施形態１〜３の実装例について簡単に説明する。本発明は、映像の伴う装置であれば任意の装置に対して利用することができる。本発明を適用可能な装置の様々な例について、図１２〜図１８を参照しながら説明する。

図１２〜図１４は、それぞれ図１の映像提示装置１００をテレビ装置として構成した例を示す図である。図１５、図１６は、それぞれ図１の映像提示装置１００を映像投影システムとして構成した例を示す図である。図１７は、図１の映像提示装置１００をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。図１２〜図１７のいずれにおいても、スピーカアレイとして１０個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。

本発明に係る映像提示装置１００をテレビ装置によって実装する場合、テレビ装置における音声出力部の配置は自由に決めればよい。図１２で示すテレビ装置のように、テレビ画面の下方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図１３で示すテレビ装置のように、テレビ画面の上方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図１４で示すテレビ装置のように、テレビ画面に、音声出力部における透明のフィルム型スピーカを直線状に並べたスピーカ群を埋め込んでもよい。

また、本発明に係る映像提示装置１００は、映像投影システムに利用できる。図１５で示す映像投影システムのように、映像投射装置で映像を投射する投射用スクリーンに、スピーカアレイを埋め込むようにしてもよい。図１６で示す映像投影システムのように、映像投射装置で映像を投射する音透過型のスクリーンの後ろに、スピーカアレイを配置してもよい。

そのほか、本発明に係る映像提示装置１００は、テレビ装置とテレビ台（テレビボード）によって実装することもできる。図１７で示すシステム（ホームシアターシステム）のように、テレビ装置を搭載するためのテレビ台にスピーカを並べたスピーカアレイを埋め込むようにしてもよい。

また、図１２〜図１７を参照して説明したような装置などに本発明に係る映像提示処理を適用した際、ユーザは波面合成再生処理（図１の演算処理部１１０や音声信号再生部１４０における処理）を行うか行わないかについて、装置本体に備えられたボタン操作やあるいはリモートコントローラ操作などでなされたユーザ操作により切り替える切替部を設けることもできる。たとえば、画面上に一つの映像のみが表示され、波面合成再生処理を行わない場合、２ｃｈ音声データの再生には、図３に示したように仮想音源を配置して波面合成再生方式で再生してもよい。

図１８は、音声出力部１６０の構成例を示す図である。音声出力部１６０は、図１８に示すように、アレイスピーカ１６０１の両端スピーカ１６０１Ｌ、１６０１Ｒのみを用いて波面合成を実施して音声を再生してもよい。５．１ｃｈ音声データについても同様に波面合成再生してもよいし、あるいは中央スピーカ１６０１Ｃと両側の２つのスピーカ１６０１Ｌ、１６０１Ｒのみを用いてフロントの３チャネルのみ再生してもよい。

＜実施の形態５＞
以上の実施の形態１〜４で説明した映像提示装置１００の演算処理部１１０、映像信号再生部１３０、音声信号再生部１４０の機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各機能部の処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。

また、前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上記プログラムを格納した「記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などのことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

１００：映像提示装置、１１０：演算処理部、１２０：コンテンツ記憶部、１３０：映像信号再生部、１４０：音声信号再生部、１５０：画面表示部、１５１〜１５３：映像コンテンツ、１６０：音声出力部、１６０１：アレイスピーカ、１６０１Ｌ、１６０１Ｒ：両端スピーカ、１６０１Ｃ：中央スピーカ、１６１〜１６３：仮想音源、１７０：操作入力部、１８０：リモコン、１８１：検索モードボタン、１８２：検索モード終了ボタン、１８３：方向指示ボタン、１８４：決定ボタン、１８５：戻るボタン、２００：ユーザ。

Claims (8)

1. 映像を提示する映像提示装置であって、
   映像情報を再生して映像信号を出力する映像再生部と、
   音声情報を再生して音声信号を出力する音声再生部と、
   前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
   前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
   前記映像再生部および前記音声再生部の動作を制御する演算部と、
   を備え、
   前記演算部は、
   前記画面表示部が前記映像を画面表示している位置あるいは該位置の鉛直方向の直線上あるいは該直線上付近あるいは該位置の水平方向の直線上あるいは該直線上付近に当該映像の仮想音源の位置を設定し、
   前記仮想音源から前記音声が生じている状態を聴覚上あるいは視聴覚上再現するような前記音声信号を前記音声再生部に出力させる
   ことを特徴とする映像提示装置。
2. 前記音声再生部は、前記音声情報をモノラル信号に変換することを特徴とする請求項１記載の映像提示装置。
3. 前記演算部は、前記画面表示部が前記映像を画面表示している大きさに応じて前記仮想音源の奥行方向位置を設定する
   ことを特徴とする請求項１または２記載の映像提示装置。
4. 操作入力を受け取って前記演算部に出力する操作入力部を備え、
   前記画面表示部は、複数の前記映像を同時に画面表示し、
   前記演算部は、
   前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、
   当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させ、
   当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させる
   ことを特徴とする請求項１から３のいずれか１項記載の映像提示装置。
5. 前記操作入力部は、
   前記画面表示部が同時に画面表示する前記映像を切り替える画面遷移モードと、
   前記画面表示部が同時に画面表示する前記映像を固定してその画面内に表示されている複数の映像のうちいずれかを選択する画面内選択モードと、
   を切り替える画面モード切替操作入力を受け取り、
   前記演算部は、
   前記画面モード切替操作入力を前記操作入力部から受け取ると、前記画面表示部を当該画面モード切替操作入力が指定するモードに切り替え、
   前記画面遷移モードを実行しているときに、前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させ、
   前記画面内選択モードを実行しているときに、前記画面表示部の画面内に表示されている複数の映像のうちいずれかを選択する操作入力を前記操作入力部から受け取ると、その映像をフルスクリーン表示するとともに、前記仮想音源の位置を前記画面表示部の中央に設定する
   ことを特徴とする請求項３記載の映像提示装置。
6. 映像情報を再生して映像信号を出力する映像再生部と、
   音声情報を再生して音声信号を出力する音声再生部と、
   前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
   前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
   を備えた映像提示装置を用いて映像を提示する方法であって、
   前記画面表示部が前記映像を画面表示している前記画面表示部上の位置に当該映像の仮想音源を設定するステップと、
   前記仮想音源から前記音声が生じている状態を模擬する音場を前記音声出力部が形成するような前記音声信号を前記音声再生部に出力させるステップと、
   を有することを特徴とする映像提示方法。
7. 請求項６記載の映像提示方法をコンピュータに実行させることを特徴とする映像提示プログラム。
8. 請求項７記載の映像提示プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。

Images