JP5431726B2 - 画像および関連データの組み合わされた交換 - Google Patents

Description

本発明は、画像データおよび該画像データに関係するさらなるデータの組み合わされた交換の方法であって、前記画像データは画像データ要素の第一の二次元マトリクスで表され、前記さらなるデータはさらなるデータ要素の第二の二次元マトリクスで表される方法に関する。

本発明はさらに、画像データおよび該画像データに関係したさらなるデータの組み合わされた交換のための送信ユニットに関する。

本発明はさらに、そのような送信ユニットを有する画像処理装置に関する。

本発明はさらに、画像データおよび該画像データに関係するさらなるデータの組み合わされた交換のための受信ユニットに関する。

本発明はさらに、そのような受信ユニットを有するマルチビュー・ディスプレイ装置に関する。

ディスプレイ装置の登場以来、リアルな3Dディスプレイ装置は多くの者にとっての夢であり続けてきた。そのようなディスプレイ装置につながるはずの多くの原理が研究されてきた。いくつかの原理は、ある体積内にリアルな3Dオブジェクトを作り出そうとする。たとえば、A. Sullivanによる論文“Solid-state Multi-planar Volumetric Display”, proceedings of SID '03, 1531-1533, 2003において開示されているようなディスプレイ装置では、視覚データが平面のアレイにおいて、高速プロジェクターによって変位される（displaced）。各平面はスイッチ可能な拡散体である。平面の数が十分多ければ、人間の脳が映像を積分し、リアルな3Dオブジェクトを観察する。この原理は、見る者がある程度までオブジェクトのまわりを見ることを許容する。このディスプレイ装置では、すべてのオブジェクトは（半）透明である。

他の多くの原理は、両眼視差のみに基づいて3Dディスプレイ装置を作り出そうとする。そうしたシステムでは、見る者の左右の目が異なる像を知覚し、その結果、見る者が3D画像を知覚する。これらの概念の概説はD. F. McAllister編の書籍“Stereo Computer Graphics and Other True 3-D Technologies”, Princeton University Press, 1993に見出せる。第一の原理は、シャッター眼鏡をたとえばCRTと組み合わせて使う。奇数番目のフレームが表示される場合、左目について光が遮断され、偶数番目のフレームが表示される場合には右目について光が遮断される。

追加的な器具の必要なしに3Dを表示するディスプレイ装置は裸眼立体視ディスプレイ装置と呼ばれる。

第一の眼鏡なしディスプレイ装置は、見る者の左目と右目をねらった光の円錐を生成するための遮蔽を有する。円錐はたとえば奇数番目および偶数番目のサブピクセル列に対応する。適切な情報をもってこれらの列を指定することにより、見る者は、正しい位置に位置されていれば、左右の目に異なる画像を得、3D映像を知覚できる。

第二の眼鏡なしディスプレイ装置は、見る者の左目と右目に奇数番目および偶数番目のサブピクセル列の光を結像させるレンズのアレイを有する。

上述した二つの眼鏡なしディスプレイ装置の欠点は、見る者が固定された位置に留まらなければならないということである。見る者をガイドするため、見る者に正しい位置にいることを示すためのインジケーターが提案されている。たとえば、米国特許US5986804を参照。この文献では、赤および緑のLEDに遮蔽板が組み合わされている。見る者がちゃんとした位置にいれば緑の光が見え、そうでなければ赤の光が見える。

見る者を固定位置に座ることから解放するため、マルチビュー裸眼立体視ディスプレイ装置が提案されている。たとえば米国特許US60064424およびUS20000912を参照。US60064424およびUS20000912に開示されるようなディスプレイ装置では、２サブピクセルよりも大きい幅の、斜めのレンティキュラーが使用される。この方法により、いくつかの画像が隣り合わせに存在し、見る者は左右に動く若干の自由をもつ。

マルチビュー・ディスプレイ装置で3D印象を生成するためには、異なる仮想視点からの画像がレンダリングされる必要がある。これは、複数の入力ビューか何らかの3Dもしくは奥行き情報が存在していることを要求する。この奥行き情報は、マルチビュー・カメラ・システムから生成されるか、従来式の2Dビデオ素材から生成されるかして、記録されることができる。2Dビデオから奥行き情報を生成するためには、いくつかの種類の奥行き手がかり（depth cue）が適用できる。動画像からの構造復元（structure from motion）、焦点情報、幾何形状および動的な隠蔽（dynamic occlusion）などである。そのねらいは、稠密な奥行きマップ、すなわち毎ピクセルに奥行き値を生成することである。その後、奥行きマップはマルチビュー画像をレンダリングして見る者に奥行きの印象を与えることにおいて使用される。P. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN 0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、奥行き情報を抽出し、入力画像と奥行きマップに基づいてマルチビュー画像をレンダリングする方法が開示されている。マルチビュー画像は、3Dの印象を作り出すためにマルチビュー・ディスプレイ装置によって表示されるべき画像のセットである。典型的には、該セットの画像は入力画像に基づいて生成される。それらの画像の一つを生成することは、入力画像のピクセルをそれぞれのシフト量だけシフトさせることによって行われる。それらのシフト量は視差（disparities）と呼ばれる。よって、典型的には、各ピクセルについて対応する視差の値があって、それらが集まって視差マップを形成する。視差の値および奥行きの値は典型的には逆の関係にある。すなわち：
S＝α／D (1)
ここで、Sは視差、αは定数値、Dが奥行きである。奥行きマップを生成することは、視差マップを生成することと等価と考えられる。本明細書では、視差の値と奥行きの値の両方が、奥行き関連データ要素という用語でカバーされる。

ビデオ・データ、すなわち画像信号および対応する奥行きデータは、さまざまな画像処理ユニットの間で、そして最終的にはディスプレイ装置、特にマルチビュー・ディスプレイ装置へと交換される必要がある。

既存のビデオ接続は、画像のシーケンスを交換するよう設計されている。典型的には、画像は、接続の両側、すなわち送信機および受信機において、ピクセル値の二次元行列によって表現される。ピクセル値は輝度および／または色の値に対応する。送信機および受信機の両方とも、データの意味内容（semantics）についての知識を有している。すなわち、両者は同じ情報モデルを共有している。典型的には、送信機と受信機との間の接続は、その情報モデルに適応される。このデータ交換の例は、RGBリンクである。送信機と受信機のコンテキストでの画像データは、合わさって種々のピクセル値を形成するR（赤）、G（緑）およびB（青）の三つ組の値からなるデータ形式において保存および処理される。画像データの交換は、相関しているが別個の三つのデータのストリームによって実行される。これらのデータ・ストリームは、三つのチャネルによって転送される。第一のチャネルは赤の値、すなわち赤の値を表すビットのシーケンスを交換し、第二のチャネルは青の値を交換し、第三のチャネルは緑の値を交換する。三つ組の値は典型的には直列に交換されるが、情報モデルは、所定数の三つ組みが合わさって一枚の画像を形成するというものであり、これは三つ組がそれぞれ空間座標を有していることを意味している。これらの空間座標は画像を表現する二次元マトリクスにおける三つ組の位置に対応する。

そのようなRGBリンクに基づく規格の例は、DVI（デジタル・ビジュアル・インターフェース［digital visual interface］）、HDMI（高精細度マルチメディア・インターフェース［High Definition Multimedia Interface］）およびLVDS（低電圧差動信号伝達［low-voltage differential signaling］）である。しかしながら、3Dの場合、ビデオ・データとともに、奥行き関連データも交換する必要がある。

既存のビデオ・インターフェースに適応された、冒頭で述べた種類の方法を提供することが本発明の一つの目的である。

本発明のこの目的は、前記方法が、第一の二次元マトリクスと第二の二次元マトリクスをデータ要素の合成二次元マトリクスに組み合わせることを含むことにおいて達成される。本発明は、送信機および接続の受信側において情報モデルが共有されているという想定に基づいている。第一の二次元マトリクスの画像データ要素とさらなるデータ要素が、データ要素の、より大きな合成二次元マトリクスに組み合わされ、それにより、相互の空間的相関をもつデータ要素を交換するよう構成された接続上で、合成二次元マトリクスを交換する。接続、すなわち伝送チャネルのためには、さまざまなデータ要素の意味内容は重要ではない。

複数の二次元マトリクスのデータ要素をより大きな合成二次元マトリクスに組み合わせることのさらなる利点は、既知の画像処理操作の多くの種類が標準的な処理コンポーネント、たとえば圧縮ユニットおよび／または圧縮解除ユニットによって実行されうるということである。

前記さらなるデータは、次のうちの一つであってもよい：
・奥行き関連データ、つまり上で説明したように奥行き値または視差値；
・さらなる画像データ、つまり前記合成二次元マトリクスは複数の画像のピクセル値を含む；
・デオクルージョン・データ。この種のデータの説明については、R. P. Berretty and F. Ernstによる論文“High-Quality Images from 2.5D Video”, Proceedings of EUROGRAPHICS '03, sep 2003およびC. Lawrence Zitnick, Sing Bing Kang, Matthew Uyttendaele, Simon Winder, Richard Szeliskiによる論文“High-quality video view interpolation using a layered representation”, Proceedings of Siggraph 2004を参照。

合成二次元マトリクスは第一および第二の二次元マトリクスにのみ基づいていてもよいが、好ましくは該二次元マトリクスは二つの二次元マトリクス以外に対応するデータをも含む。

本発明に基づく方法のある実施形態はさらに、第三の二次元マトリクスによって表されている第二の画像データを前記合成二次元マトリクスに組み合わせることを含む。

本発明に基づく方法のもう一つの実施形態はさらに、第四の二次元マトリクスによって表されている第二のさらなるデータを前記合成二次元マトリクスに組み合わせることを含む。

基本的に、合成二次元マトリクスは画像、奥行き、視差またはデオクルージョン情報を表すデータ要素を有する。入力データ要素、すなわち第一、第二、任意的な第三、任意的な第四の二次元マトリクスの要素は、合成二次元マトリクス内に位置されるべき出力データ要素にコピーされる。合成二次元マトリクス内の位置は、共有される情報モデルに一致する限り任意に選んでよい。しかしながら、好ましくは、合成二次元マトリクス内での出力データ要素の配置は、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちの一つのマトリクスにおいて一緒に論理的なエンティティを形成する個々の入力データ要素に対応する出力データ要素が、同様の配位になるようにされる。たとえば：
・入力データ要素のブロックは、合成二次元マトリクスにおいて出力データ要素のブロックを形成するようコピーされる；
・入力データ要素の行は、合成二次元マトリクスにおいて出力データ要素の行を形成するようコピーされる；あるいは
・入力データ要素の列は、合成二次元マトリクスにおいて出力データ要素の列を形成するようコピーされる。
・「市松模様」が適用される。これは、四つの入力二次元マトリクスからの四つの入力データ要素がブロックに組み合わされることを意味する。

本発明に基づく方法のある実施形態では、合成二次元マトリクスは、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちの二つのマトリクスを水平方向に互いに隣り合わせに、二次元マトリクスのセットのうちの二つのマトリクスを垂直方向に互いに隣り合わせに置くことによって生成される。

本発明に基づく方法のある実施形態では、合成二次元マトリクスの行を、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちのマトリクスのインターリーブする行によって埋めることによって生成される。好ましくは、合成二次元マトリクスの行のうちの第一の行は、第一の二次元マトリクスの第一行の画像データ要素と、第二の二次元マトリクスの第一行のさらなるデータ要素とを含む。この構成の利点は、簡単なデータ・アクセスである。たとえば、画像データと奥行き関連データの両方が必要とされるレンダリングのプロセスは、合成二次元マトリクスの一部だけが交換されればすぐ開始できる。これは、すべてのデータ要素が受信されるまで待ってレンダリングを開始する必要がないということを意味している。

本発明に基づく方法のある実施形態はさらに、合成二次元マトリクスにメタデータを書き込むことを含む。メタデータは、ヘッダとも呼ばれるが、合成二次元マトリクスの説明データの意味である。たとえばメタデータは、名前、作成日、水平方向の大きさ、垂直方向の大きさおよび合成二次元マトリクスの出力データ要素当たりのビット数を表現する。

情報の交換は送信と受信を含む。上で記述し、論じた方法は、データ交換の送信部分に関係する。本発明のもう一つの方法は、データ交換の受信部分に関係し、やはり既存のビデオ・インターフェースに適応された、対応する方法を提供することである。

本発明のこの目的は、前記対応する方法が、データ要素の合成二次元マトリクスから第一の二次元マトリクスおよび第二の二次元マトリクスを抽出することを含むことにおいて達成される。

冒頭で述べた種類の、既存のビデオ・インターフェースに適応された送信ユニットを提供することが本発明のさらなる目的である。

本発明のこの目的は、送信ユニットが、第一の二次元マトリクスおよび第二の二次元マトリクスをデータ要素の合成二次元マトリクスに組み合わせるための組み合わせ手段を有することにおいて達成される。

冒頭で述べた種類の、既存のビデオ・インターフェースに適応された受信ユニットを提供することが本発明のさらなる目的である。

本発明のこの目的は、受信ユニットが、第一の二次元マトリクスおよび第二の二次元マトリクスをデータ要素の合成二次元マトリクスから抽出する手段を有することにおいて達成される。

冒頭で述べた種類の、既存のビデオ・インターフェースに適応された画像処理装置を提供することが本発明のさらなる目的である。

本発明のこの目的は、画像処理装置が上記の送信ユニットを有することにおいて達成される。

冒頭で述べた種類の、既存のビデオ・インターフェースに適応されたマルチビュー・ディスプレイ装置を提供することが本発明のさらなる目的である。

本発明のこの目的は、マルチビュー・ディスプレイ装置が上記の受信ユニットを有することにおいて達成される。

送信ユニット、受信ユニットの修正およびその変形は、記述される画像処理装置、マルチビュー・ディスプレイ装置および方法の修正およびその変形に対応しうる。

本発明に基づく送信ユニット、受信ユニット、画像処理装置、マルチビュー・ディスプレイ装置および方法のこれらの側面およびその他の側面は、付属の図面の参照とともに以下に述べる実装および実施形態から明らかとなり、それに関して明快にされるであろう。

同じ参照符号は図面を通じて同様の部分を表すのに使われる。

図１は、第二の処理装置１０２に接続された第一の処理装置１００を概略的に示している。第一の処理装置１００および第二の処理装置は、それぞれ画像プロセッサおよびディスプレイ・ドライバのような集積回路（IC）であってもよい。代替的には、第一の処理装置１００はパソコンのようなもっと複雑な装置で、第二の処理装置１０２はマルチビュー・ディスプレイ装置、たとえばモニタである。第一の処理装置１００および第二の処理装置１０２は物理的な接続１１６によって接続されている。物理的な接続は、データのシリアル転送のため、たとえば撚り対線に基づいているか、撚り対線に接地を加えたものに基づいている。

物理的な接続の上に、論理的な接続が実現されている。各論理的接続は、第一の処理装置１００と第二の処理装置１０２の間でのデータの転送のためのチャネルに対応する。たとえば、データの転送のための三つの論理的な接続、たとえばDVIがある。タイミング情報、すなわちクロック信号の交換のための第四の論理的な接続は、考慮に入れない。

第二の処理装置１０２のコンテキスト内で適用されるデータ・フォーマットは、第一の処理装置１００のコンテキスト内で適用されるデータ・フォーマットに等しい。

対応する奥行きデータと組み合わせて画像をデータを交換するため、第一の処理装置１００は本発明に基づく送信ユニット１０４を有する。第二の処理装置１０２は本発明に基づく受信ユニット１０６を有する。送信ユニット１０４、第一の処理装置１００と第二の処理装置１０２の間の接続および受信ユニット１０６が、第一の処理装置１００と第二の処理装置１０２との間のデータ交換を可能にする。

送信ユニット１０４は、いくつかの入力インターフェース１０８〜１１４を有するが、そのうちいくつかは任意的である。第一の入力インターフェース１０８は、第一の二次元マトリクスを与えるためのものである。第二の入力インターフェース１１０は、第二の二次元マトリクスを与えるためのものである。第三の入力インターフェース１１２は、第三の二次元マトリクスを与えるためのものである。第四の入力インターフェース１１４は、第四の二次元マトリクスを与えるためのものである。送信ユニット１０４は、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうち少なくとも二つのマトリクスの入力データ要素を合成二次元マトリクスに組み合わせるためのプロセッサを有する。

合成二次元マトリクスは、送信ユニット１０４内または第一の処理装置１００内に一時的に保存されてもよい。合わさって合成二次元マトリクスを形成するデータ要素は、入力データ要素の組み合わせと同期して、受信ユニット１０６にストリーミングされるのでもよい。

好ましくは、送信ユニット１０４はシリアライザを有する。典型的には、データ要素はいくつかのビットで表現され、ビット数は8ないし12の範囲である。物理的な接続上で、データは好ましくは、シリアル転送によって交換される。その理由で、連続するデータ要素を表現するビットは、時間的に逐次的な系列（time sequential series）に入れられる。

図２Ａ、図２Ｂ、図３Ａ、図３Ｂとの関連で、本発明に基づく送信ユニット１０４が与えるよう構成されている合成二次元マトリクスのデータ・フォーマットの例が開示される。

組み合わせのためのプロセッサおよびシリアライザは、一つのプロセッサを使って実装されうる。通常、これらの機能はソフトウェア・プログラム・プロダクトの制御のもとで実行される。実行中、通常は、ソフトウェア・プログラム・プロダクトはRAMのようなメモリにロードされ、そこから実行される。該プログラムは、ROM、ハードディスクまたは磁気および／もしくは光記憶装置のようなバックグラウンド・メモリからロードされてもよいし、あるいはインターネットのようなネットワークを介してロードされてもよい。任意的には、特定用途向け集積回路（application specific integrated circuit）が開示される機能性を提供する。

受信ユニット１０６はいくつかの出力インターフェース１１６〜１２２を有しており、そのいくつかは任意的である。第一の出力インターフェース１１６は第一の二次元マトリクスを与えるためのものである。第二の出力インターフェース１１８は第二の二次元マトリクスを与えるためのものである。第三の出力インターフェース１２０は第三の二次元マトリクスを与えるためのものである。第四の出力インターフェース１２２は第四の二次元マトリクスを与えるためのものである。

受信ユニット１０６は、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうち少なくとも二つのマトリクスに対応する入力データ要素を、出力データ要素の合成二次元マトリクスから抽出するためのプロセッサを有する。図２Ａ、図２Ｂ、図３Ａ、図３Ｂとの関連で、本発明に基づく受信ユニット１０６が受信および抽出するよう構成されている合成二次元マトリクスのデータ・フォーマットの例が開示される。

通常、これらの機能はソフトウェア・プログラム・プロダクトの制御のもとで実行される。実行中、通常は、ソフトウェア・プログラム・プロダクトはRAMのようなメモリにロードされ、そこから実行される。該プログラムは、ROM、ハードディスクまたは磁気および／もしくは光記憶装置のようなバックグラウンド・メモリからロードされてもよいし、あるいはインターネットのようなネットワークを介してロードされてもよい。任意的には、特定用途向け集積回路（application specific integrated circuit）が開示される機能性を提供する。

図２Ａは、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちいくつかのマトリクスに基づく合成二次元マトリクスを概略的に示している。第一の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Aで示されている。第二の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Bで示されている。第三の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Cで示されている。第四の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Dで示されている。

合成二次元マトリクスは、Hに等しい水平方向の大きさをもつ。これは、水平方向に隣り合う出力データ要素の数がHに等しいという意味である。合成二次元マトリクスは、Vに等しい垂直方向の大きさをもつ。これは、垂直方向に隣り合う出力データ要素の数がVに等しいという意味である。第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットの各マトリクスは、H/2に等しい水平方向の大きさをもち、V/2に等しい垂直方向の大きさをもつ。

図２Ａでは、第一の二次元マトリクスのすべての入力データ要素が、合成二次元マトリクス２００の部分マトリクス２０２にマッピングされることが示されている。換言すれば、第一の二次元マトリクスの入力データ要素に基づく出力データ要素は、論理的に、出力データ要素の一つのブロックを形成する。

図２Ａでは、第二の二次元マトリクスのすべての入力データ要素が、合成二次元マトリクス２００の部分マトリクス２０４にマッピングされることが示されている。換言すれば、第二の二次元マトリクスの入力データ要素に基づく出力データ要素は、論理的に、出力データ要素の一つのブロックを形成する。

図２Ａでは、第三の二次元マトリクスのすべての入力データ要素が、合成二次元マトリクス２００の部分マトリクス２０６にマッピングされることが示されている。換言すれば、第三の二次元マトリクスの入力データ要素に基づく出力データ要素は、論理的に、出力データ要素の一つのブロックを形成する。

図２Ａでは、第四の二次元マトリクスのすべての入力データ要素が、合成二次元マトリクス２００の部分マトリクス２０８にマッピングされることが示されている。換言すれば、第四の二次元マトリクスの入力データ要素に基づく出力データ要素は、論理的に、出力データ要素の一つのブロックを形成する。

下記の表１の各行は、二次元マトリクスの出力データ要素についての可能な由来の例である。換言すれば、行は、二次元マトリクスのセットの各二次元マトリクス内に位置するデータのそれぞれの種別を示す。たとえば、表１の第二行は、第一の二次元マトリクスが画像データを有し、第二の二次元マトリクスが奥行きデータを有し、第三の二次元マトリクスが隠蔽データを有し、第四の二次元マトリクスが空であることを明示している。

表１：合成二次元マトリクスの可能な内容の例

図２Ｂは、ヘッダ２１０を含む図２Ａの合成二次元マトリクス２００を概略的に示している。好ましくは、ヘッダを表現するデータ要素は合成二次元マトリクス２００内に含められる。それは、画像または奥行き関連データなどの他のデータ要素を上書きする結果となってもよいが、好ましくは、ヘッダは他のデータ要素に上書きすることなく合成二次元マトリクス内に保存される。代替的には、ヘッダ情報はいくつかの下位ビット内に保存され、対応する上位ビットは、たとえば画像または奥行き関連データを表現する他のデータ要素を保存するために使われる。下記の表２は、好ましくはヘッダ内に含まれるいくつかの属性を明示している。

表２：合成二次元マトリクスのヘッダのデータ属性

任意的に、画像という型はいくつかの亜型、たとえば左画像および右画像を有する。任意的に、奥行きレンダリング・パラメータがヘッダに含められる。たとえば：
・奥行きの全範囲に対応する範囲パラメータ；画面の背後の最大奥行きから画面の手前の最大奥行きまで計算される；
・ディスプレイ装置までの前記奥行き範囲のオフセットに対応する、オフセットパラメータ；
・画面の手前の最大奥行きに対応する、画面前パラメータ；
・画面の背後の最大奥行きに対応する画面後パラメータ。

図３Ａは、入力マトリクスの行がインターリーブされて合成二次元マトリクス３００を形成する、４つの入力マトリクスに基づく合成行列を概略的に示す図である。

第一の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Aで示されている。第二の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Bで示されている。第三の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Cで示されている。第四の二次元マトリクスの入力データ要素に基づく出力データ要素は文字Dで示されている。

合成二次元マトリクスは、Hに等しい水平方向の大きさをもつ。これは、水平方向に隣り合う出力データ要素の数がHに等しいという意味である。合成二次元マトリクスは、Vに等しい垂直方向の大きさをもつ。これは、垂直方向に隣り合う出力データ要素の数がVに等しいという意味である。第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットの各マトリクスは、H/2に等しい水平方向の大きさをもち、V/2に等しい垂直方向の大きさをもつ。

合成二次元マトリクス３００の行0〜6は、第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのマトリクスのインターリーブする行によって埋められる。合成二次元マトリクス３００の第一行0は、第一の二次元マトリクスおよび第二の二次元マトリクスの入力データ要素に基づく出力データ要素を含んでいることが見て取れる。指標AおよびBに着目されたい。第一行0の前半は第一の二次元マトリクスに対応する出力データ要素を含み、第一行0の後半は第二の二次元マトリクスに対応する出力データ要素を含む。

合成二次元マトリクス３００の第二行1は、第三の二次元マトリクスおよび第四の二次元マトリクスの入力データ要素に基づく出力データ要素を含んでいることが見て取れる。指標CおよびDに着目されたい。第二行1の前半は第三の二次元マトリクスに対応する出力データ要素を含み、第二行1の後半は第四の二次元マトリクスに対応する出力データ要素を含む。

表１は、図３Ａに描かれた合成二次元マトリクスにも適用可能である。

図３Ｂは、ヘッダを含む図３Ａの合成二次元マトリクスを概略的に示している。表２は、図３Ｂに描かれた合成二次元マトリクスにも適用可能である。

データ要素をインターリーブさせる代替的な諸方法も可能であることを注意しておくべきである。たとえば、それぞれの入力二次元マトリクスからのいくつかのデータ要素をグループに組み合わせることができる。いくつかの代替が下記に与えられている。ここで、文字A、B、C、Dは上記と同じ意味をもつ。

第一の代替：
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD
ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD

第二の代替：
ABABABABABABABABABABABABABABABABABABABABABABABAB
CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD
ABABABABABABABABABABABABABABABABABABABABABABABAB
CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD

図４は、いずれも本発明に基づく、マルチビュー・ディスプレイ装置４０６を有する画像処理装置４００を概略的に示している。画像処理装置４００は：
・入力画像を表すビデオ信号を受信する受信機４０２と；
・前記入力画像から奥行き関連データを抽出する画像解析ユニット４０４と；
・与えられた画像データおよび関連する奥行きデータに基づいてマルチビュー・ディスプレイ装置によってレンダリングされるマルチビュー画像を表示する、マルチビュー・ディスプレイ装置４０６とを有する。

画像データおよび関連する奥行きデータは、画像解析ユニット４０４とマルチビュー・ディスプレイ装置４０６との間で、図２Ａ、図２Ｂ、図３Ａおよび図３Ｂとの関連で述べた合成二次元マトリクスを表す合成信号によって交換される。画像解析ユニット４０４は、図１との関連で述べた送信ユニット１０４を有する。マルチビュー・ディスプレイ装置４０６は、図１との関連で述べた受信ユニット１０６を有する。

前記ビデオ信号は、アンテナまたはケーブルを介して受信された放送信号であってもよいが、VCR（ビデオ・カセット・レコーダー）またはデジタル多用途ディスク（DVD）のような記憶装置からの信号であってもよい。信号は入力コネクタ４１０において与えられる。画像処理装置４００は、たとえばテレビであってもよい。代替的には、画像処理装置４００は前記任意的なディスプレイ装置を含まず、出力画像を、ディスプレイ装置４０６を有する装置に提供する。その際、画像処理装置４００はたとえばセットトップボックス、衛星チューナー、VCRプレーヤー、DVDプレーヤーまたはレコーダーであってもよい。任意的に、画像処理装置４００はハードディスクのような記憶手段または光ディスクなどのリムーバブル・メディアに記憶するための手段を有していてもよい。画像処理装置５００は映画スタジオまたは放送局によって応用されるシステムであってもよい。

マルチビュー・ディスプレイ装置４０６は、受信された合成信号に基づいてマルチビュー画像のシーケンスを生成するよう構成されたレンダリング・ユニット４０８を有する。レンダリング・ユニット４０８は、ビデオ画像の（少なくとも）二つの相関したストリームをマルチビュー・ディスプレイ装置に与えるよう構成され、該マルチビュー・ディスプレイ装置は、ビデオ画像の相関したストリームのうち第一のストリームに基づいて第一の系列のビューを可視化し、ビデオ画像の相関したストリームのうち第二のストリームに基づいて第二の系列のビューを可視化するよう構成されている。ユーザー、すなわち見る者が左目で第一の系列のビューを観察し、右目で第二の系列のビューを観察する場合、そのユーザーは3Dの印象を感知する。ビデオ画像の相関したストリームのうち第一のストリームは、合成信号によって受信されたビデオ画像のシーケンスに対応し、ビデオ画像の相関したストリームのうち第二のストリームは、提供された奥行きデータに基づいた適切な変位によって表現されるのでもよい。好ましくは、ビデオ画像の両ストリームが、受信されたビデオ画像のシーケンスに基づいて表現される。

P. A. Redert, E. A. Hendriks, and J. Biemondによる論文“Synthesis of multi viewpoint images at non-intermediate positions”, Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN 0-8186-7919-0, pp.2749-2752, IEEE Computer Society, Los Alamitos, California, 1997では、奥行き情報を抽出し、入力画像と奥行きマップに基づいてマルチビュー画像をレンダリングする方法が開示されている。画像解析ユニット４０４は、奥行き情報を抽出する開示された方法の実装である。レンダリング・ユニット４０８は、前記論文で開示されたレンダリング方法の実装である。

上記の諸実施形態は本発明を限定するのではなく解説するものであり、当業者は付属の請求項の範囲から外れることなく代替的な実施形態を設計できるであろうことは注意しておくべきである。請求項において、括弧内に参照符号があったとしてもその請求項を限定するものと解釈してはならない。「有する」の語は請求項において挙げられている以外の要素またはステップの存在を排除しない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装されてもよい。いくつかの手段を列挙しているユニット請求項においては、それらの手段のいくつかが同一のハードウェアまたはソフトウェアの項目によって具現されてもよい。第一、第二および第三などの語の使用は、いかなる順序も示すものではない。それらの語は名称として解釈されるべきである。

第二の処理装置に接続された第一の処理装置を概略的に示す図である。 互いに隣り合わせに配置された４つの入力マトリクスに基づく合成マトリクスを概略的に示す図である。 ヘッダを含む図２Ａの合成マトリクスを概略的に示す図である。 入力マトリクスの行がインターリーブされて合成マトリクスを形成する、４つの入力マトリクスに基づく合成行列を概略的に示す図である。 ヘッダを含む図３Ａの合成マトリクスを概略的に示す図である。 いずれも本発明に基づく、マルチビュー・ディスプレイ装置を有する画像処理装置を概略的に示す図である。

Claims (14)

1. 画像データおよび該画像データに関係するさらなるデータの組み合わされた交換の方法であって、前記画像データは画像データ要素の第一の二次元マトリクスで表され、前記さらなるデータはさらなるデータ要素の第二の二次元マトリクスで表され、当該方法は、第一の二次元マトリクスと第二の二次元マトリクスをデータ要素の合成二次元マトリクスに組み合わせることを含み、前記合成二次元マトリクスの水平又は垂直サイズが、前記第一の二次元マトリクス及び前記第二の二次元マトリクスの水平又は垂直サイズの合計であり、前記さらなるデータは、少なくとも第一ビュー及び第二ビューをレンダリングするために、前記画像データ要素の第一の二次元マトリックスと共に用いられる奥行き関連データであり、前記第一ビュー及び第二ビューのうちの一方は観察者の右目で観察され他方は左目で観察される、方法。
2. 第三の二次元マトリクスによって表されている第二の画像データを前記合成二次元マトリクスに組み合わせることをさらに含み、前記合成二次元マトリクスの水平サイズが、前記第一の二次元マトリクス、前記第二の二次元マトリクス及び前記第三の二次元マトリクスから選択される水平方向に並べられたマトリクスの水平サイズの合計であり、前記合成二次元マトリクスの垂直サイズが、前記第一の二次元マトリクス、前記第二の二次元マトリクス及び前記第三の二次元マトリクスから選択される垂直方向に並べられたマトリクスの垂直サイズの合計である、請求項１記載の方法。
3. 第四の二次元マトリクスによって表されている第二のさらなるデータを前記合成二次元マトリクスに組み合わせることをさらに含み、前記合成二次元マトリクスの水平サイズが、前記第一の二次元マトリクス、前記第二の二次元マトリクス、前記第三の二次元マトリクス及び前記第四の二次元マトリクスから選択される水平方向に並べられたマトリクスの水平サイズの合計であり、前記合成二次元マトリクスの垂直サイズが、前記第一の二次元マトリクス、前記第二の二次元マトリクス、前記第三の二次元マトリクス及び前記第四の二次元マトリクスから選択される垂直方向に並べられたマトリクスの垂直サイズの合計である、請求項２記載の方法
4. 前記第二のさらなるデータが奥行き関連データである、請求項３記載の方法。
5. 前記合成二次元マトリクスは、前記の第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちの二つのマトリクスを水平方向に互いに隣り合わせに、二次元マトリクスのセットのうちの二つのマトリクスを垂直方向に互いに隣り合わせに置くことによって生成される、請求項３又は請求項４記載の方法。
6. 前記合成二次元マトリクスの行が、前記の第一、第二、第三および第四の二次元マトリクスを含む二次元マトリクスのセットのうちのマトリクスの行をインターリーブさせることによって埋められる、請求項１ないし４のうちいずれか一項記載の方法。
7. 請求項６記載の方法であって、前記合成二次元マトリクスの行のうちの第一の行は、前記第一の二次元マトリクスの第一行の画像データ要素と、前記第二の二次元マトリクスの第一行のさらなるデータ要素とを含む方法。
8. 前記合成二次元マトリクスにメタデータを書き込むことを含む、請求項１ないし７のうちいずれか一項記載の方法。
9. 画像データおよび該画像データに関係するさらなるデータの組み合わされた交換の方法であって、前記画像データは画像データ要素の第一の二次元マトリクスで表され、前記さらなるデータはさらなるデータ要素の第二の二次元マトリクスで表され、当該方法は、データ要素の合成二次元マトリクスから第一の二次元マトリクスおよび第二の二次元マトリクスを抽出することを含み、前記合成二次元マトリクスの水平又は垂直サイズが、前記第一の二次元マトリクス及び前記第二の二次元マトリクスの水平又は垂直サイズの合計であり、前記さらなるデータは、少なくとも第一ビュー及び第二ビューをレンダリングするために、前記画像データ要素の第一の二次元マトリックスと共に用いられる奥行き関連データであり、前記第一ビュー及び第二ビューのうちの一方は観察者の右目で観察され他方は左目で観察される方法。
10. 画像データおよび該画像データに関係するさらなるデータの組み合わされた交換のための送信ユニットであって、前記画像データは画像データ要素の第一の二次元マトリクスで表され、前記さらなるデータはさらなるデータ要素の第二の二次元マトリクスで表され、当該送信ユニットは、第一の二次元マトリクスおよび第二の二次元マトリクスをデータ要素の合成二次元マトリクスに組み合わせるための組み合わせ手段を有し、前記合成二次元マトリクスの水平又は垂直サイズが、前記第一の二次元マトリクス及び前記第二の二次元マトリクスの水平又は垂直サイズの合計であり、前記さらなるデータは、少なくとも第一ビュー及び第二ビューをレンダリングするために、前記画像データ要素の第一の二次元マトリックスと共に用いられる奥行き関連データであり、前記第一ビュー及び第二ビューのうちの一方は観察者の右目で観察され他方は左目で観察される送信ユニット。
11. 画像データおよび該画像データに関係するさらなるデータの組み合わされた交換のための受信ユニットであって、前記画像データは画像データ要素の第一の二次元マトリクスで表され、前記さらなるデータはさらなるデータ要素の第二の二次元マトリクスで表され、当該受信ユニットは、データ要素の合成二次元マトリクスから第一の二次元マトリクスおよび第二の二次元マトリクスを抽出するための抽出手段を含み、前記合成二次元マトリクスの水平又は垂直サイズが、前記第一の二次元マトリクス及び前記第二の二次元マトリクスの水平又は垂直サイズの合計であり、前記さらなるデータは、少なくとも第一ビュー及び第二ビューをレンダリングするために、前記画像データ要素の第一の二次元マトリックスと共に用いられる奥行き関連データであり、前記第一ビュー及び第二ビューのうちの一方は観察者の右目で観察され他方は左目で観察される受信ユニット。
12. 請求項１０記載の送信ユニットを有する画像処理装置。
13. 請求項１１記載の受信ユニットを有する画像処理装置。
14. 前記合成二次元マトリクスに基づいてレンダリングされる画像を表示するためのディスプレイ装置を有する、請求項１３記載の画像処理装置。

Images