JP4594308B2 - ビジュアルコンテンツ信号表示装置及びビジュアルコンテンツ信号を表示する方法 - Google Patents

Description

本発明は、ビジュアルコンテンツ信号表示装置、及びビジュアルコンテンツ信号を表示する方法に関し、特に、主要なディスプレイを機能拡張するためのシステムに関する。

近年、消費者に提供されるコンテンツの多様性及び量は、たとえばサテライトＴＶブロードキャスト、デジタルバーサティルディスク、ケーブルブロードキャスト及び地上波ＴＶを含む益々増加する数の流通媒体を通して利用可能となっている多くのコンテンツを著しく増加してきている。

増加されるコンテンツの量、及び増加される流通のフレキシビリティに加えて、オーディオビジュアルコンテンツについてユーザ経験を改善するため、著しい努力がコンテンツ供給産業によりなされてきている。たとえば、デジタルＴＶ又はＤＶＤのようなデジタルビデオ配信の出現により、家庭環境で生成することができるピクチャ及びサウンドの大幅な品質の改善となる。さらに、ワイドスクリーンのＴＶ及び特にフラットスクリーンの出現は、たとえばシネマで発見されたそれらに密に類似したアスペクト比を有する大型スクリーンＴＶの増加された反映につながる。

増加されたユーザ経験の別の例は、（典型的には、５又は７の指向性スピーカに加えバス効果のためのサブウーファ）多数のスピーカが聴く位置の周りに配置され、これにより莫大な音響の体験を提供することができるホームシネマ及び特にサラウンドサウンドの出現である。

また、改善されたユーザ体験はユーザにとってより広い視野角を提供することで達成される場合があることも指摘されている。たとえば、ユーザを部分的に囲む大型の半球スクリーンを利用したシネマが知られている。例は、ＩＭＡＸのシアターパフォーマンスである。しかし、これらは、大部分の（家庭）環境にとって非常に大きく、高価であって、非実用的である。

米国特許US5,963,247は、コンポジット３次元のような画像系列が２以上の個別の画像系列を組み立てることで生成されるビジュアルディスプレイシステムを開示している。記載されるシステムでは、個別の画像系列が記録され、異なるスクリーンに投影される。視聴者は２以上のスクリーンにわたり延びるコンポジットピクチャを見るように、スクリーンは位置合わせされ、個別の画像系列が同期される。

しかし、ＵＳ５，９６３，２４７のシステムは、以下を含む多数の関連する問題点を有する傾向にある。はじめに、システムはむしろ複雑であって、複数の個別の画像系列の処理を必要とする。この処理は、画像系列の送信及び受信の両者について必要とされる。さらに、更なるエクイップメントを必要とし、記録に関連する更なる不便さ及びタスクを導入する１を超える画像系列が記録される必要がある。同様に、必要とされる帯域幅を増加し、更なる分散リソースを使用する複数の画像系列が分散される必要がある。これは、制限された利用可能な帯域幅を有する既存の通信システムにおける分散を防止する場合がある。また、従来のように、たとえば映画又はＴＶプログラムのようなビジュアルコンテンツ信号は、複数の個別の相関された画像系列を含まず、エンハンスされた視聴体験は、既存のコンテンツ信号について達成することができない。さらに、システムは、必要とされる空間の同期を達成するため、スクリーンの正確な相対位置と同様に、１を超えるスクリーンを必要とする。

したがって、改善されたビジュアルコンテンツ信号表示システムが有効であって、特に、増加されたユーザ体験、増加されたフレキシビリティ、低減された複雑さ、低減されたコスト、増加された後方互換性及び／又はコンテンツ信号の容易な記録を可能にするシステムが有効である。

したがって、本発明は、１以上の先に記載された問題点を１つ又は組み合わせで緩和、軽減又は除去することを目的とする。

本発明の第一の態様によれば、ビジュアルコンテンツ信号表示装置が提供され、この装置は、ビジュアルコンテンツ信号を受ける手段、第一の（主要な）ディスプレイにビジュアルコンテンツ信号を提供（表示）する手段、ビジュアルコンテンツ信号からバックグランドのコンテンツ情報を抽出する手段、バックグランドのコンテンツ情報に応答してサラウンドイメージを生成する手段、及び、第二の表示領域にサラウンド画像を表示し、これにより増加された視野角を有する結合された表示を提供する手段を有する。

本発明は、増加された視野角をもつ結合された表示を提供することで、増加されたユーザ体験を可能にする。たとえば、第二の表示領域は、部分的又は実質的若しくは完全でさえも、１以上の視聴者を取り囲み、これにより更に夢中にさせる視聴体験を提供することができる。視聴体験は、サラウンドサウンドの体験と互換性のあるサラウンドイメージの体験を提供し、これにより真のオーディオビジュアル体験を提供する。第二の表示領域は、１以上のスクリーン又は専用の表示エレメントからなる必要はないが、適切な領域を使用する場合がある。

プライマリ（主要な）ディスプレイの画像は、プライマリディスプレイに表示されるコンテンツ信号のバックグランドのコンテンツ情報の使用により拡張される場合があり、これにより個別の画像系列のための要件を回避又は軽減する。したがって、低い複雑さ及び／又は高いフレキシビリティを有するビジュアルコンテンツ信号表示装置が得られる場合がある。特に、家庭内での使用及び消費者市場に適した表示装置が可能であって、容易になる。

さらに、単一のコンテンツ信号が記録及び生成される必要があるので、信号の記録及び分散が大幅に容易にされる。また、ビジュアルコンテンツ表示装置は、完全に後方互換であって、既存の記録、送信、ブロードキャスト及び／又は配信手段と使用される場合があり、既存のコンテンツ信号と使用することができる。たとえば、ビジュアルコンテンツ表示装置は、慣習的なＴＶブロードキャスト又はＤＶＤコンテンツの視聴体験をエンハンスするために使用される場合がある。

サラウンドイメージは好ましくは静止画像ではなく、プライマリディスプレイに表示されるビジュアルコンテンツ信号に関連する動的なサラウンドイメージの系列であることが理解される。用語「画像」は、単数の画像と同様にたとえばビデオクリップを含む画像系列の両者を含んでいる。したがって、画像は、単一のピクチャを含んでいるか、又はビデオ系列を提供するといった複数の後続するピクチャを含む場合がある。

本発明の特徴によれば、サラウンドイメージを表示する手段は、外部のオブジェクトの表面にサラウンドイメージを投影するために作用する。

第二の表示領域は、外部の適切なオブジェクトの表面である場合があり、特に、サラウンドイメージを提供するために専用とされるオブジェクトではない場合はある。むしろ、サラウンドイメージは、利用可能な表面に投影される場合があり、これによりビジュアルコンテンツ表示装置のコスト、複雑さ及び／又はサイズを低減することができる。さらに、サラウンドイメージは、サラウンドイメージを表示するために必要とされる専用のスクリーン又はセットアップについての要件を軽減する。

本発明の異なる特徴によれば、外部の表面は、部屋の内部の表面である。これは、拡張された視聴体験を提供する特定の簡単なビジュアルコンテンツ表示装置を提供する。部屋の外部表面がサラウンドイメージを表示し、特にサラウンド体験を提供する適切なソースを提供するので、視聴体験が改善される場合がある。更に配置を容易にする。内部の表面は、好ましくは、１以上のフロア又は全体のフロア、天井及び部屋の壁である場合がある。

本発明の異なる特徴によれば、抽出する手段は、ビジュアルコンテンツ信号から、リアルタイムのバックグランドのコンテンツ情報を抽出するために作用し、サラウンドイメージを生成する手段は、リアルタイムのバックグランドのコンテンツ情報に応答して、リアルタイムのサラウンドイメージを生成するために作用する。

サラウンドイメージは、プライマリディスプレイに表示されたコンテンツ信号を反映するために動的に変動される場合がある。したがって、プライマリディスプレイ及び受信されたビジュアルコンテンツ信号のそれを超えて延びる動的に変動する画像が提供される場合があり、したがって改善された視聴体験を提供する。サラウンドイメージは、特に、シーン変化及びプライマリディスプレイのバックグランドにおける他の変化につれて特に変化する場合があり、プライマリディスプレイの画像に密に従うサラウンドイメージが提供され、これにより結合された表示の連続性がエンハンスされる。

本発明の異なる特徴によれば、抽出する手段は、ビジュアルコンテンツ信号に含まれるバックグランドメタデータに応答してバックグランドコンテンツ情報を抽出するために作用する。ビジュアルコンテンツ信号は、現在のバックグランドを示すメタデータを特に有する場合がある。たとえば、メタデータは、ビジュアルコンテンツ信号が、たとえば観衆の群れに対応するサラウンドイメージを生成するために使用される場合があるフットボールの試合からなることを示す場合がある。また、メタデータは、バックグランドの特徴又はオブジェクトを直接示す場合があり、たとえば、データは、たとえばプライマリディスプレイの一部が空からなることを示す場合もある。これにより、バックグランドのコンテンツ情報を生成する特定の低い複雑さ及び／又は正確な方法を可能にする。

本発明の異なる特徴によれば、抽出する手段は、ビジュアルコンテンツ信号のコンテンツの分析に応答してバックグランドのコンテンツ情報を抽出するために作用する。これにより、更なる情報が含まれる必要なしに、バックグランドコンテンツ情報の完全に自動化された抽出が可能となる。したがって、高度の後方互換性を保証する。たとえば、コンテンツ分析は、ビジュアルコンテンツ信号が、たとえば観衆に対応するサラウンドイメージを生成するために使用されるフットボールの試合からなることを示す場合がある。コンテンツ分析は、たとえば、代替的又は付加的に、プライマリディスプレイの画像のセクションの特定の視覚的な特徴を決定する場合がある。

本発明の異なる特徴によれば、コンテンツ分析は、イメージオブジェクトの認識を含む。コンテンツ分析は、ビジュアルコンテンツ信号におけるオブジェクトの存在を特に検出する。たとえば、コンテンツ分析は、プライマリディスプレイの画像のセクションがたとえば雲、草等を含むことを示し、適切なサウンドイメージを生成するために使用される場合がある。

本発明の異なる特徴によれば、サラウンドイメージを生成する手段は、イメージオブジェクトの動き予測を実行し、動き予測に応答してサラウンドイメージを生成するように作用する。これにより、サラウンドイメージをエンハンスし、プライマリディスプレイとサラウンドイメージとの間の増加された連続性を保証する適切な方法を可能とする。たとえば、プライマリディスプレイにおけるオブジェクトの動きは、オブジェクトがプライマリディスプレイのエッジに到達したときに追跡され、連続される場合がある。

本発明の異なる特徴によれば、バックグランドのコンテンツ情報は、プライマリディスプレイのエッジに最も近いビジュアルコンテンツ信号のイメージセクションの視覚特性を含み、サラウンドイメージを生成する手段は、対応する視覚特性を有する少なくとも部分的なサラウンドイメージを生成するために作用し、サラウンドイメージを表示する手段は、エッジに近い部分的なサラウンドイメージを表示するために作用する。

これにより、プライマリディスプレイと第二の表示エリア間のエッジにわたる高度の連続性を可能にし、したがって、１つの連続した画像として知覚される結合された表示が達成されるのを容易にする。好ましくは、コンテンツ情報は、プライマリディスプレイの異なるエッジに最も近いビジュアルコンテンツ信号の複数のイメージセクションの視覚特性を含んでおり、サラウンドイメージを生成する手段は、対応する視覚的な特性を有する複数の部分的なサラウンドセクションを生成するために作用し、サラウンドイメージを表示する手段は、対応するエッジに近い部分的なサラウンドイメージを表示するために作用する。

本発明の異なる特徴によれば、サラウンドイメージを生成する手段は、バックグランドのコンテンツ情報に関連する予め決定された画像に応答して、サラウンドイメージを生成するために作用する。これは、低い複雑さの実現を提供する。特に、サラウンドイメージ又はその一部は、類似の視覚特性を有する前に記憶された画像の包含により生成される場合がある。たとえば、前に記憶された空の画像は、空を含むプライマリディスプレイのイメージセクションを拡張するためにサラウンドイメージに含まれる場合がある。予め決定された画像の特性は、プライマリディスプレイの対応するイメージセクションを反映するために変更される場合がある。たとえば、明るさ及び色の飽和は、イメージセクションを反映するために変更される場合がある。

本発明の異なる特徴によれば、サラウンドイメージを生成する手段は、有効なバックグランドのコンテンツ情報が決定されない場合に、予め決定されたデフォルトイメージに応答してサラウンドイメージを生成するために作用する。これにより、適切なバックグランドのコンテンツ情報が決定されない場合に、中間的なサラウンドイメージが提供されるのを可能にする。デフォルトイメージは、特に、サラウンドイメージが提供されないことに対応するヌルサラウンドイメージである場合がある。この画像は、たとえば視野角（又はプライマリイメージからの距離）の関数として明るさにおいて変化する色である場合がある。

本発明の異なる特徴によれば、サラウンドイメージを生成する手段は、プライマリディスプレイのコンテンツ信号の表示の品質よりも低い品質でサラウンドイメージを生成するために作用する。

サラウンドイメージ又はその一部は、たとえば、プライマリディスプレイよりも低い解像度からなる場合がある。これは、処理を容易にし、及び／又はサラウンドイメージを生成するための機能の要件を低減する。したがって、たとえば予め決定された画像について、低減された処理時間又は記憶要件が達成される場合がある。

本発明の異なる特徴によれば、サラウンドイメージを発生する手段は、プライマリディスプレイからの増加する距離（視野角）について減少する品質をもつサラウンドイメージを生成するために作用する。たとえば、空間解像度は、増加する距離（視野角）について減少する場合がある。本発明者は、低減された品質に対する感度がプライマリディスプレイからの増加する距離につれて減少し、これに応じて品質が増加し、関与する装置及び／又は処理の複雑さ及びコストが低減される場合があることを認識している。

本発明の異なる特徴によれば、サラウンドイメージを生成する手段は、第二のディスプレイに関連する視聴環境の特性に応答してサラウンドイメージを生成するために作用する。

たとえば、投影されたサラウンドイメージは、視聴の環境における周囲の明るさレベル及び／又は反射率、サラウンドイメージを反映するために使用される表面の色に依存する場合がある。したがって、特定の視聴環境について改善されたカスタマイゼーションが達成される場合がある。視聴環境の特性は、自動的に決定されるか、たとえばユーザによる手動入力から決定される場合がある。

本発明の異なる特徴によれば、ビジュアルコンテンツ信号の表示装置は、ビジュアルコンテンツ信号のカテゴリを決定する手段を更に有し、サラウンドイメージを生成する手段は、カテゴリに応答してサラウンドイメージの処理を生成するために作用する。

ビジュアルコンテンツ信号のカテゴリは、たとえば、ビジュアルコンテンツ信号のコンテンツのジャンルに関する。たとえば、異なるアルゴリズム及びプロセスは、コンテンツがアクション、スポーツ、ニュース又は音楽コンサートコンテンツのいずれであるかに依存してサラウンドイメージを生成するために使用される場合がある。したがって、これは、ビジュアルコンテンツ信号の所与のカテゴリについて最適化されるサラウンドイメージが生成されるのを可能にする。

本発明の第二の態様によれば、ビジュアルコンテンツ信号を表示する方法が提供され、ビジュアルコンテンツ信号を受けるステップ、プライマリディスプレイにビジュアルコンテンツ信号を提供するステップ、ビジュアルコンテンツ信号からバックグランドのコンテンツ情報を抽出するステップ、バックグランドのコンテンツ情報に応答して、サラウンドイメージを生成するステップ、第二の表示領域にサラウンドイメージを表示し、これにより増加された視野角を有する結合された表示を提供するステップを有することを特徴とする。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明の実施の形態は、添付図面を参照して例を通して記載される。

以下の記載は、家庭の消費者の環境に特に適したビジュアルコンテンツ表示装置に適用可能な本発明の実施の形態に焦点を当てているが、本発明はこの適用に制限されないことを理解されない。簡略さのため、記載における用語「イメージ」は、１つのフレーム画像と複数のフレーム（たとえば動く）画像及び画像系列の両者を含むように使用されている。たとえば、サラウンドイメージは、必ずしも１つの静止画像ではないが、たとえばビデオクリップに対応する（潜在的に制限されていない）画像を含む場合がある。

図１は、本発明の実施の形態に係るビジュアルコンテンツ表示装置１００を例示している。
ビジュアルコンテンツ表示装置１００は、適切なソース（図示せず）からのビジュアルコンテンツ信号を受けるレシーバ１０１を含む。ソースは、外部又は内部にある場合があり、たとえばブロードキャスト信号又はＤＶＤディスクによる場合がある。レシーバ１０１は、ビジュアルコンテンツ信号を受け、これを抽出し、適切なフォーマットに変換するために必要とされる全ての必須の機能を含んでいる。たとえば、ＴＶブロードキャスト信号について、ベースバンドビジュアルコンテンツ信号を生成するため、受けた無線信号を増幅、フィルタリング、復調及び復号化するための全ての必須の機能を含む。

ビジュアルコンテンツ表示装置１００は、レシーバ１０１に結合されたプライマリディスプレイプロセッサ１０３、プライマリディスプレイプロセッサ１０３に結合されるプライマリディスプレイ１０５を更に含んでいる。プライマリディスプレイプロセッサ１０３は、ビジュアルコンテンツ信号を処理し、プライマリディスプレイ１０５を制御するために作用する。好適な実施の形態では、レシーバ１０１、プライマリディスプレイプロセッサ１０３及びプライマリディスプレイ１０５は、従来のＴＶセットに等価であって、標準的なＴＶビジュアルコンテンツ信号を受け、プライマリディスプレイ１０５に提供するために作用する。

さらに、ビジュアルコンテンツ表示装置１００は、レシーバ１０１に結合され、ベースバンドビジュアルコンテンツ信号をそこから受ける抽出プロセッサ１０７を含む。抽出プロセッサ１０７は、ビジュアルコンテンツ信号からバックグランドのコンテンツ情報を抽出するために作用する。バックグランドのコンテンツ情報は、プライマリディスプレイに表示される画像のバックグランドの特徴に関する。

好適な実施の形態では、抽出プロセッサ１０７は、ブロードキャスタによりビジュアルコンテンツ信号に埋め込まれているメタデータを抽出することで、バックグランドのコンテンツ情報を抽出する。メタデータは、プライマリディスプレイの画像のバックグランドを示す情報を含んでいる。好適な実施の形態では、バックグランドのコンテンツ情報は、表示されるシーンのバックグランドを形成するピクチャのイメージセクションに関し、したがってシーンの間に比較的にスタティックとなる傾向にあるイメージセクションに関する。たとえば、ニュースブロードキャストについて、ニュースリーダは、フォアグランドにあると考えられ、残りのエレメントは、バックグランドにあると考えられる。しかし、一般的にバックグランドにあるコンテンツ情報は、プライマリディスプレイのエッジを越えて適切に拡張及び外挿されるイメージセグメントに関連すると考えられる場合がある。メタデータ使用されるとき、ブロードキャスタは、適切なメタデータを埋め込むことで、バックグランド情報として考えられるものを決定する場合がある。

好適な実施の形態では、メタデータは、プライマリディスプレイの異なるエッジに向かうプライマリディスプレイの画像の視覚特性に関する。たとえば、プライマリディスプレイの上側のエッジに向かう画像セクションが空に対応すること、プライマリディスプレイの下側のエッジに向かう画像セクションが草に対応すること、及び、プライマリディスプレイのサイドエッジに向かう画像セクションがエッジに沿って中間で分離して草と空とに対応することを示すメタデータが抽出される場合がある。代替的又は付加的に、好適なバックグランドの色又はエクスチャ、若しくは他の視覚的な特性を示すデータを提供する場合がある。

抽出プロセッサ１０７は、第二のディスプレイプロセッサ１０９に結合される。第二のディスプレイプロセッサ１０９は、抽出されたバックグランドコンテンツ情報を供給し、これに応じてサラウンドイメージを生成するために作用する。第二のディスプレイプロセッサ１０９は、好適な実施の形態では、プライマリディスプレイ１０５を超えて延びる第二の表示領域にしれを表示することで、サラウンドイメージを表示するために作用する第二のディスプレイユニット１１１に結合される。

好適な実施の形態では、第二のディスプレイユニット１１１は、外部表面に画像を投影するために作用するディスプレイプロジェクタを有する。この表面は、特に、外部かつ好適には携帯用反射スクリーンであるが、好適な実施の形態では、視聴環境における既存のオブジェクトの表面である。好ましくは、プロジェクタは、プライマリディスプレイが位置される部屋の壁、フロア及び／又は天井に画像を直接投影するために作用する。

したがって、本実施の形態は、受信及び表示された画像のバックグランドに関連するサラウンドイメージが表示領域に投影され、視野角が大幅に拡張及びエンハンスされ、充実した視聴体験が提供されるシステムが提供される。

好適な実施の形態を更に例示するため、図２は、従来技術に係るＴＶディスプレイを有するビューイングアレンジメントを例示している。図２は、第一の壁２０３、第二の壁２０５及び第三の壁２０７、フロア２０９及び天井２１１を有する部屋を例示している。部屋は、特に第三の壁２０７に搭載された従来のフラットスクリーンＴＶである場合があるプライマリディスプレイ２１３を有する。

プライマリディスプレイ２１３は、明確さのため、４つの異なる画像セグメント２１５，２１７，２１９，２２１を有するとして例示される現在の画像を有するフォルムを示している。第一の画像セグメント２１５は、第一の壁２０３に最も近いプライマリディスプレイ２１３のエッジに向かう画像のバックグランドに対応する。第二の画像のセグメント２１７は、第二の壁２０５に最も近いプライマリディスプレイ２１３のエッジに向かう画像のバックグランドに対応する。第三の画像のセグメント２１９は、天井２１１に最も近いプライマリディスプレイ２１３のエッジに向かう画像のバックグランドに対応する。第四の画像セグメント２２１は、画像のフォアグランドに対応する。

図２は、従来の視聴環境を例示している。このビューイングアレンジメントの大きな問題点は、画像自身のサイズによる表示された画像のインパクトを低減するだけでなく、多くの数の視覚的な延長（distraction）を可能にする小さなサイズのプライマリディスプレイにより制限される。たとえば、シネマで体験する情緒的な経験とホームシネマ又はテレビジョン装置で体験する情緒的な経験との間の大きな違いは、非常に小さな視野角のためである。典型的に、シネマスクリーンは、少なくとも、家庭用電気製品の大きさよりもサイズの点で大きな規模のオーダである。ワイドの視野角により、視聴者はシーンに浸され、より強烈な体験が提供される。

図３は、本発明の好適な実施の形態に係る、ビジュアルコンテンツ表示装置を有するビューイングアレンジメントを例示する図である。特に、図３は、図１のビジュアルコンテンツ表示装置により提供される場合がある視聴体験を例示している。

例では、抽出プロセッサ１０７は、画像セクション２１５が第一の壁２０３に向かって延びるプライマリディスプレイ２１３のエッジの近くに存在するかを判定する。この画像セクションの特性が決定される。たとえば、この画像セグメントが緑の草のようなバックグランドを主に含んでいるかが判定される場合がある。したがって、第二のディスプレイプロセッサ１０９は、緑の草の画像を第一の壁２０３及び第三の壁２０７の一部に投影するため、第二のディスプレイユニット１１１を制御する。

同様に、第二の画像セグメント２１７は、緑及び草として判定され、したがって第二のディスプレイユニット１１１は、緑の草の画像を第二の壁２０５及び第三の壁２０７の一部に投影する場合がある。

抽出プロセッサ１０７は、画像セクション２１３がプライマリディスプレイ２１３の上側のエッジの近くにあるかを更に判定する場合がある。この画像セクション２１３の特性は、たとえば雲がある青空を主に含んでいるとして決定される。これに応じて、第二のディスプレイプロセッサ１０９は、雲の画像を天井２１１及び第三の壁の一部に投影するため、第二のディスプレイユニット１１１を制御する。

したがって、このケースでは、オリジナルディスプレイに比較される非常に増加された視野角を有する部分的に取り囲んでいる画像が視聴者に提供される。壁及び天井に投影されるサラウンドイメージは、プライマリディスプレイの画像のバックグランドについて正確な一致である必要がないか、プライマリディスプレイの画像からスムース及び知覚できない遷移を有する。むしろ、改善された視聴者の体験は、プライマリディスプレイの画像への粗い近似でさえも達成され、特に、ある画像について、関連する色の投影は、エンハンスされた体験について十分である場合がある。

特定の例として、プライマリディスプレイが市の人気のあるスクウェアの真中で話す人物を示す場合、ビル及び他の類似の特徴がサイドウォールに投影される場合があり、空及び雲が天井に投影される場合があり、カラーのモザイクをもつストリートのピクチャがフロアに投影される場合がある。このように、視聴者は、プライマリディスプレイでメインフォーカスの画像を見るが、彼の目のコーナの外で、サイドで家の正面を見て、空の雲を見る。このように、非常に強烈な視聴体験を提供するサラウンドイメージが形成される。

投影される画像は、たとえば、これら画像セクションの画像データの適切な繰返し、ぼやけ及びリサンプリングにより、異なる画像セクションから導出される場合がある。代替的及び付加的に、既存の前に記憶された画像が使用される場合がある。たとえば、ビジュアルコンテンツ表示装置は、異なる可能なバックグランドのコンテンツ特性に対応する大量の前に記憶された画像を含む場合がある。たとえば、（画像系列を含む）画像が僅かに曇った空に対応して記憶され、より曇った空について別の画像、雲のない空について別の画像が記憶される。これに応じて、抽出されたバックグランドのコンテンツ情報は、所与の画像セクションについて適切な画像を選択するために使用され、これは、表示領域の対応する部分に投影される場合がある。

１実施の形態では、メタデータがビジュアルコンテンツ信号から抽出され、適切な前に記憶された画像を選択するために使用される。この画像は、たとえばプライマリディスプレイの画像の明るさ及び色の飽和に対応するように修正される特性を有する場合がある。画像は、他の画像セグメントについて選択される他の画像とマージされ、結合されたサラウンドイメージは、部屋の壁及び／又は天井及び／又はフロアに投影される場合がある。特に、ある実施の形態では、メタデータは、ビジュアルコンテンツ信号と使用されることが意図される適切な画像を直接示すか又は識別する場合がある。

適切なバックグランドのコンテンツ情報が決定されないか、すなわち等価的にサラウンドイメージが決定されたバックグランドのコンテンツ情報に基づいて生成されない場合、ビジュアルコンテンツ表示装置は、デフォルト画像を投影するのが好ましい。デフォルト画像は、特に、画像を投影しないことに対応するヌル画像である場合がある。しかし、好適な実施の形態では、デフォルト画像は、視覚に訴える表示を生成するためプライマリディスプレイを形成する画像である。

第二のディスプレイユニット１１１は、回転多角形を有するプロジェクタ／ビーマを使用するのが好ましい場合があり、画像は、部屋の幾つかの表面に投影することができる。プロジェクタは、天井又は適切な位置で、プライマリディスプレイの前面で、視聴者の背後に配置することができる。幾つかの実施の形態では、複数のプロジェクタが使用される場合がある。

好適な実施の形態では、サラウンドイメージの処理及び生成はリアルタイムである。この実施の形態では、バックグランドコンテンツ情報は、それが受信されたとき、ビジュアルコンテンツ信号からリアルタイムで抽出され、この情報は、プライマリディスプレイと同期したサラウンドイメージを生成するために使用される。サラウンドイメージの処理及び生成に関連する遅延は、プライマリディスプレイについて等価に遅延されるビジュアルコンテンツ信号により補償される。

幾つかの実施の形態では、前に示された画像からのバックグランドコンテンツ情報は、現在の画像に対応するサラウンドイメージを生成するために使用される場合がある。これは、プライマリイメージのビジュアルコンテンツ信号を遅延しないことが好まれる実施の形態で特に有効である。

幾つかの実施の形態では、バックグランドのコンテンツ情報は、ビジュアルコンテンツ信号のコンテンツ分析により抽出される場合がある。

コンテンツ分析は、コンテンツの所与のカテゴリについて典型的な特定の特性を検出することに基づく場合がある。たとえば、ビデオコンテンツアイテムは、緑色の高い平均濃度及び頻繁な横への動きを有することで、フットボール試合に関連するとして検出される場合がある。漫画は、強い原色、ハイレベルの明るさ及びシャープな色の遷移を典型的に有することで特徴付けされる。

したがって、ビデオ符号化パラメータは、ビデオ信号のコンテンツを決定するために使用される場合がある。たとえば、ＤＣＴ変換ブロックにおけるＡＣ係数の高い相対値は、シャープな遷移が変換ブロックに含まれる可能性が高いことを示している。かかる遷移は、漫画について典型的であって、現在のコンテンツが漫画であることを示すビデオ符号化パラメータとして含まれる場合がある。典型的に、かなりの数のパラメータが考慮され、コンテンツは、決定された特性と最も密に相関するコンテンツカテゴリとして決定される場合がある。したがって、色の飽和及びルミナンスは、現在のコンテンツが漫画であるかを判定するために更に含まれる場合がある。たとえば、ビデオ符号化データが高い程度の色の飽和、高いルミナンス、高周波のＤＣＴ係数におけるエネルギーの高い集中及び大きな一様又はフラットなピクチャエリアを示す場合、コンテンツ分析アルゴリズムは、現在のコンテンツを漫画であると決定する場合がある。

典型的に、ビデオ符号化パラメータ及びノンビデオ符号化パラメータの両者は、コンテンツ分析のために互いに使用される場合がある。たとえば、高い程度の動き、強いルミナンス及び関連するサウンドトラックのリズム的な特性は、現在のコンテンツがミュージックビデオであることを示す場合がある。

コンテンツ分析に関する更なる情報は、当業者にとって一般に利用可能である。たとえば、C. Djerabaによる論文“Content-Based Multimedia Indexing and Retrieval”IEEE Multimedia, April-June 2002, Institute of Electrical and Electronic Engineers、A.Yoshika等による“A Survey on Content-Based Retrieval for Multimedia Databases”IEEE Transactions on Knowledge and Data Engineering, vol.11, No.1, January/February 1999, Institute of Electrical and Electronic Engineers、N. Dimitrova等による“Application of Vodeo-Content Analysis and Retrieval” IEEE Multimedia, July-September 2002, Institute of Electrical and Electronic Engineers、及びそこに含まれる引例は、コンテンツ分析への導入を与える。

したがって、幾つかの実施の形態では、コンテンツの判定は、所与のビジュアルコンテンツのバックグランドのコンテンツ情報の推定を決定するために使用される場合がある。たとえば、ビジュアルコンテンツ信号がフットボールの試合に関連することが決定された場合、たとえば用語に関連する観衆又はフラグを含むサラウンドイメージが生成される場合がある。カテゴリが漫画として決定された場合、強い原色がサラウンドイメージで使用される場合がある。

幾つかの実施の形態では、異なる画像セグメントの視覚特性を単に決定する簡略化されたコンテンツ分析が実行される場合がある。たとえば、コンテンツ分析は、画像のコンテンツを決定するために実行される場合がある。したがって、たとえば、イメージオブジェクトのオブジェクト識別又は認識は、バックグランドのコンテンツ情報を生成するために使用される場合がある。たとえば、オブジェクト検出アルゴリズムは、画像が移動するオブジェクトを含むことを決定する場合がある。好ましくは、オブジェクト検出は、動き予測と結合され、サラウンドイメージは、予測された動きに応答して生成される。

たとえば、移動するオブジェクトが検出される場合があり、プライマリディスプエイにおけるオブジェクトの軌道が決定される場合がある。オブジェクトがプライマリディスプレイのエッジに到達するとき、ビジュアルコンテンツ表示装置は、軌道を外挿し、連続したオブジェクトの動きをサラウンドイメージに表示する場合がある。

更なる例として、コンテンツ分析及び処理は、フォアグランドからバックグランドのフィルタリングを含む場合がある。たとえば、オブジェクト検出及びたとえばパターン認識は、バックグランドから分離することができるオブジェクトを検出するために使用される場合がある。コンテンツ分析又は処理により決定され、サラウンドイメージを生成することで使用されるパラメータの例は、画像におけるバックグランドの平均色、画像の強度又は明るさ、個々のクリップ又はシーンにおける異なるシーン及び動的な変動の期間及び頻度を含む。

好適な実施の形態では、サラウンドイメージは、プライマリディスプレイの品質レベルよりも低いレベルで生成される。本発明者は、たとえば高い空間解像度は視聴者の焦点の中心にあるプライマリディスプレイについてのみ必要とされることが認識される。視聴者は、鋭い輪郭及びプライマリデバイス（実際の焦点のポイント）の画像の色を知覚し、バックグランドの知覚は、鋭さがない（粗い輪郭及び色はより広い視野角で知覚される）。

したがって、好適な実施の形態では、サラウンドイメージは、プライマリディスプレイの空間解像度よりも低い解像度である。確かに、好適な実施の形態では、品質及び特にサラウンドイメージの解像度は、（視野角を増加する）プライマリディスプレイからの距離を増加するために低減する。低減は、単調である必要はないが、たとえばプライマリディスプレイへの距離のステップ関数である場合がある。

低減された品質レベルは、たとえば、より精度の低い情報（低い空間及び動的な解像度）が必要とされるよりも、バックグランドコンテンツ情報の抽出について必要とされる少ない計算時間を可能にする場合がある。さらに、少ないストレージキャパシティは、前に記憶されたバックグランドの画像を記憶するために必要とされる。さらに、サラウンドイメージを投影するための装置は、複雑ではなく、したがって安価である。

好適な実施の形態では、投影されるサラウンドイメージは、特定の視聴アレンジメント及びビジュアルコンテンツ信号に更にカスタマイズされる場合がある。

好適な実施の形態では、ビジュアルコンテンツ表示装置は、バックグランドのコンテンツ情報を抽出し、ビジュアルコンテンツ信号のカテゴリ（たとえばジャンル）に依存するサラウンドイメージを生成するために使用される処理パラメータ及びアルゴリズムを変更するために作用する。たとえば、サラウンドイメージによりエンハンスされるコンテンツは、ムービー／ソープ、ミュージックコンサート、スポーツゲーム、ホリデーピクチャ、ドキュメンタリー、シアター／プレイ、アニマルシリーズ及びサイエンスフィクションプログラムを含む。たとえば、スペースサイエンスフィクションシーンは、天井に接近する宇宙船と星を示すサラウンドイメージによりエンハンスされる場合がある。

サラウンドイメージの処理及び性質は、ビジュアルコンテンツ信号のコンテンツのジャンルに依存する場合がある。たとえば、花火による夜の空を生成するアルゴリズムは、コンテンツが野外のロックコンサートに対応する場合に生成され、離れた星及び宇宙船により夜の空は、コンテンツがサイエンスフィクションのプログラムでスペースステーションでの野外のシーンに対応する場合に生成される場合がある。

好適な実施の形態では、サラウンドイメージは、視聴環境の特性に応答して更に生成される。シンプルな例として、サラウンドイメージは、プライマリディスプレイよりも低い明るさであるが、明確な視聴のために十分な明るさを提供するように投影されるのが好ましい。視聴された画像は、部屋における一般的な明るさレベルと同様に、投影される表面の反射率に依存し、投影された画像の明るさは、使用される表面の明るさレベル及び性質に依存する。

これらの特徴及び他の特徴は、たとえば光強度メータを含むセンサにより検出される場合がある。更なるカスタマイズ及び視聴の体験をエンハンスするのを可能にする他の特徴の例は以下を含んでいる。ビジュアルコンテンツ表示装置は、サラウンドイメージの強度及びしたがって体験の強度を変更するための入力を含む場合がある。感度の高い人物は、僅かなエンハンスメントを好む場合があり、表示装置に慣れた視聴者は、よりエンハンスされた経験を好む場合がある。さらに、幾つかの実施の形態では、ビジュアルコンテンツ信号表示装置は、ビジュアルコンテンツ信号のカテゴリを決定する手段を有し、サラウンドイメージを生成するための手段は、ユーザにより決定された好適な感度に応じて、サラウンドイメージを生成するために作用する場合がある。

ビジュアルコンテンツ表示装置は、サラウンドイメージのダイナミクスを変えるための入力を有する場合がある。
ビジュアルコンテンツ表示装置は、メタデータ又は画像処理／分析に基づいたサラウンドイメージを選択するスイッチを有する場合がある。

ビジュアルコンテンツ表示装置は、好適な色及びサラウンドイメージのダイナミクス（たとえば、スイッチングのレート、カラープリファレンス等）を反映するユーザプロファイルを決定する手段を有する場合がある。たとえば、ユーザが４回動いた場合、異なる視聴体験は、５番目の視聴で望まれる場合がある。そのケースでは、ユーザプロファイルは、将来の視聴のためにビジュアルコンテンツ表示装置の設定（たとえば感度レベル）を制御するために記憶及び使用される場合がある。

ビジュアルコンテンツ表示装置は、サラウンドイメージを選択的に提供する。たとえば、サラウンドイメージは、予め定義されたイベントが生じたときにのみ（たとえばフットボール試合でゴールがスコアされたときにのみ）、提供される場合がある。

幾つかの実施の形態では、サラウンドイメージは、マイクロフォン、ＣＣＤカメラ等のようなセンサにより受信された送信されたオーディオ及びビデオ信号の処理に応じて部分的に決定される場合がある。これらの信号は、ビジュアルコンテンツ信号からの情報の抽出に加えて使用され、及び／又は埋め込まれたデータストリーム及びそこから抽出されたデータストリームとしてビジュアルコンテンツ信号に含まれる場合がある。センサ信号から抽出することができる情報は、ビジュアルコンテンツ信号のビジュアルコンテンツから抽出された情報に類似する場合がある。さらに、部屋の光強度（昼間又は夜、部屋における光源）、部屋における人数、ユーザからの処理順序への音声認識（異なるジャンルへの切り替え、又は感度の増加、サラウンドイメージの明るさ）、ハプニングへのサラウンドイメージの適応（パーティ、バックグランドへの会話等）、セルフラーニング等のような環境の態様が考慮される場合がある。

特定の例として、ビジュアルコンテンツ表示装置は、多数の機能及びたとえば以下を含む制御手段を含むコンシューマ・サラウンドイメージコントロールボックスとして提供される場合がある。サラウンド体験の強度を変える制御入力。コンテンツのジャンルを選択する制御入力。コンテンツアイテムカテゴリを選択する制御入力。サラウンドイメージ処理のバリエーションのダイナミクスを変える制御入力。シーンコントラストを制御する制御入力。ユーザプロファイルを選択及び／又は記憶する制御入力又はオートマチック手段。セルフラーニングモードを入力する手段（たとえば、再生されたシーンの数のようなサラウンドイメージコントロールボックスの動作の特性の測定又は決定、たとえば、サッカーゲームでの続いて起こるゴールが時間的に強調される）。予め定義されたイベントについてのみエンハンスメントが生じるのを制御する極性制御手段。たとえばオーディオ／ビデオ信号からのどの情報を使用すべきか（色、強度、画像認識等）といったような、サラウンドイメージ処理のためにソース情報を選択するためのソースセレクタ。現在視聴している環境への適応を制御する制御入力。たとえばサラウンド体験の用途を選択し、この用途を最も適切に達成するためにサラウンドイメージが選択されるのを可能にする用途セレクタ。ムードセレクタ。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適切な形式で実現することができる。しかし、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタル信号プロセッサを実行するコンピュータソフトウェアとして少なくとも部分的に実現される。本発明の実施の形態にエレメント及びコンポーネントは、いずれか適切なやり方で物理的、機能的及び論理的に実現される場合がある。確かに、機能性は、単一のユニット、複数のユニット、若しくは他の機能ユニットの一部で実現される場合がある。かかるように、本発明は、単一のユニットで実現される場合があるか、異なるユニットとプロセッサとの間で物理的及び機能的に分散される場合がある。

本発明は、好適な実施の形態と共に記載されてきたが、本実施の形態で述べた特定の形式に制限されることが意図されていない。むしろ、本発明の範囲は、特許請求の範囲によってのみ制限される。請求項では、用語「有する“comprising”」は他のエレメント又はステップの存在を排除するものではない。さらに、個々に列挙されたが、複数の手段、エレメント又は方法ステップは、たとえば単一のユニット又はプロセッサにより実現される場合がある。さらに、個々の機能は異なる請求項に含まれているが、これらは有利にも結合される場合があり、異なる請求項に含まれることは、機能の組み合わせが実施不可能及び／又は不利であることを意味していない。さらに、単数の引用は、複数を排除するものではない。したがって、“ａ”、“ａｎ”、“第一の”、“第二の”等への引用は、複数を排除するものではない。

本発明の実施の形態に係るビジュアルコンテンツ表示装置を例示する図である。 従来技術によるＴＶディスプレイを含むビューイングアレンジメントを例示する図である。 本発明の実施の形態に係るビジュアルコンテンツ表示装置を含むビューイングアレンジメントを例示する図である。

Claims (13)

1. ビジュアルコンテンツ信号を受信する手段と、
   ディスプレイに前記ビジュアルコンテンツ信号を表示する手段と、
   前記ビジュアルコンテンツ信号から、前記ディスプレイに表示される画像の背景の特徴であるバックグランドのコンテンツ情報を抽出する手段であって、前記ビジュアルコンテンツ信号に含まれるバックグランドのメタデータに応答するか又は前記ビジュアルコンテンツ信号のコンテンツ分析に応答して前記バックグランドのコンテンツ情報を抽出する抽出手段と、
   前記バックグランドのコンテンツ情報に応答してサラウンドイメージを生成する手段と、
   前記ディスプレイを超えて延びる領域に前記サラウンドイメージを表示する手段とを有し、
   前記バックグランドのコンテンツ情報は、前記ディスプレイのエッジに最も近いビジュアルコンテンツ信号の画像セクションの視覚特性を含み、前記サラウンドイメージを生成する手段は、対応する視覚特性を有する少なくとも部分的なサラウンドイメージを生成し、前記サラウンドイメージを表示する手段は、エッジに最も近い前記部分的なサラウンドイメージを表示する、
   ことを特徴とするビジュアルコンテンツ信号表示装置。
2. 前記サラウンドイメージを表示する手段は、部屋の内部の表面に前記サラウンドイメージを投影する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
3. 前記抽出する手段は、前記ビジュアルコンテンツ信号からリアルタイムのバックグランドのコンテンツ情報を抽出し、前記サラウンドイメージを生成する手段は、前記リアルタイムのバックグランドのコンテンツ情報に応答して、リアルタイムのサラウンドイメージを生成する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
4. 前記コンテンツ分析は、イメージオブジェクトの認識を含む、
   請求項１記載のビジュアルコンテンツ信号表示装置。
5. 前記サラウンドイメージを生成する手段は、イメージオブジェクトの動き予測を実行し、前記動き予測に応答して前記サラウンドイメージを生成する、
   請求項４記載のビジュアルコンテンツ信号表示装置。
6. 前記サラウンドイメージを生成する手段は、前記バックグランドのコンテンツ情報に関連する予め決定された画像に応答し、及び前記バックグランドのコンテンツ情報を抽出することができない場合に予め決定されたデフォルト画像に応答して前記サラウンドイメージを生成する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
7. 前記サラウンドイメージを生成する手段は、前記ディスプレイでのコンテンツ信号の表示の品質よりも低い品質で前記サラウンドイメージを生成する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
8. 前記サラウンドイメージを生成する手段は、前記ディスプレイへの距離が増加するときに減少する品質で前記サラウンドイメージを生成する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
9. 前記サラウンドイメージを生成する手段は、前記領域に関連する視聴環境における周囲の明るさレベル、及び／又は、前記サラウンドイメージを反射するために使用される表面の反射率及び色に依存して前記サラウンドイメージを生成する、
   請求項１記載のビジュアルコンテンツ信号表示装置。
10. 前記ビジュアルコンテンツ信号のカテゴリを決定する手段を更に有し、前記サラウンドイメージを生成する手段は、前記カテゴリに応答して前記サラウンドイメージを生成する、
    請求項１記載のビジュアルコンテンツ信号表示装置。
11. ビジュアルコンテンツ信号を表示する方法であって、
    ビジュアルコンテンツ信号を受信するステップと、
    ディスプレイに前記ビジュアルコンテンツ信号を表示するステップと、
    前記ビジュアルコンテンツ信号に含まれるバックグランドのメタデータに応答するか又は前記ビジュアルコンテンツ信号のコンテンツ分析に応答して前記ビジュアルコンテンツ信号から、前記ディスプレイに表示される画像の背景の特徴であるバックグランドのコンテンツ情報を抽出するステップと、
    前記バックグランドのコンテンツ情報に応答してサラウンドイメージを生成するステップと、
    前記ディスプレイを超えて延びる領域に前記サラウンドイメージを表示するステップとを含み、
    前記バックグランドのコンテンツ情報は、前記ディスプレイのエッジに最も近いビジュアルコンテンツ信号の画像セクションの視覚特性を含み、前記サラウンドイメージを生成するステップは、対応する視覚特性を有する少なくとも部分的なサラウンドイメージを生成し、前記サラウンドイメージを表示するステップは、エッジに最も近い前記部分的なサラウンドイメージを表示する、
    ことを特徴とする方法。
12. 請求項１１記載の方法を実行するための命令を含むコンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムを記録する記録媒体。

Images