JP4971182B2 - コンピュータ生成ビデオホログラムを計算する方法及びデバイス - Google Patents

Description

１．発明の分野
本発明は、コンピュータ生成ホログラム（ＣＧＨ：computer-generated holograms）を計算する方法及びデバイスに関し、特に、各々が複素値データを表示する個々に制御可能なホログラムセルから構成されるビデオホログラム等のリアルタイムホログラム又はほぼリアルタイムのホログラムに関する。静止画に加え、リアルタイムビデオホログラムは特に興味深い。電子ホログラフィの目的は、リアルタイムでビデオホログラムを実現することである。電子ホログラムディスプレイは、照明光を空間変調することによりオブジェクトポイントを再構成する制御可能な画素を含む空間光変調器（ＳＬＭ：Spatial Light Modulator）であるのが効果的である。本明細書中、リアルタイムホログラムをビデオホログラムと呼ぶ。ビデオホログラムは、別個に構成されるセルを示さない光学式ＳＬＭ又は音響光学変調器（ＡＯＭ：Acousto-Optic light Modulator）等も範囲に含むと、当業者には理解される。

写真のように格納されるか又は干渉パターンの形で別の適切な方法で格納される従来のホログラムとは異なり、ビデオホログラムは、３次元シーンのシーケンスから離散的なホログラムデータを計算した結果として存在する。計算処理中、中間データは、例えばコンピュータの電子記憶媒体、グラフィックスプロセッサ、グラフィックスアダプタ又は他のハードウェア構成要素等の電子手段により格納される。３Ｄシーンデータは、干渉パターン又は２Ｄデータの３Ｄ変換等の任意の方法で生成される。

２．背景の概念
空間光変調器（ＳＬＭ）は、複素値データ、すなわち光の各色成分の振幅の大きさ及び位相を空間的に制御するデバイスである。色は、空間的又は時間的に多重化されることにより符号化される。ＳＬＭは、各々がホログラムデータの離散的な値のセット（集合）により別個に処理及び制御される複数の制御可能なホログラムセルを含んでもよい。ＳＬＭは、連続していてもよく、離散的なセルを含まない。セルに基づくＳＬＭにおいて空間多重化することにより色符号化を実現するために、セルの各画素は、各々が３つ以上の原色のうち１つを表示する複数の色サブ画素を含む。使用されるビデオホログラム符号化の種類に依存して、各原色を符号化するために更なるサブ画素が使用されてもよい。例えば、周知のBurckhardtの符号化のような迂回位相符号化は、色成分毎に３つのサブ画素の構成を必要とする。３つの色成分を考慮すると、ホログラムセルに対するサブ画素数の合計は９になる。例えば、３原色が存在し、それら３原色の各々に対して３つのサブ画素が存在すると、合計９つのサブ画素になる。これに対して、周知のLeeの符号化は４つのサブ画素を必要とする。二相符号化は、ホログラムセルの各色に対して２つのサブ画素を必要とする。

各ホログラムセルは、少なくとも所定の色成分の振幅及び位相情報を含むホログラムデータの１つの離散的なセットにより符号化される。前記データは、ゼロであってもよく又は標準値を有してもよく、あるいは任意に選択されてもよい。ビデオホログラムのホログラムデータは、ＳＬＭを駆動する方式に従って連続的に更新されてもよい。ホログラム全体が数千のセルから構成されるため、数千のホログラムデータの離散的なセットが存在する。

ホログラムデータセットは、３次元シーンを再構成するために時間シーケンスの一部として単一のビデオホログラムセルを符号化するのに必要な全ての情報を含む。

専用ドライバは、離散的なホログラムデータセットを使用して、ＳＬＭの対応するサブ画素を制御する特定の制御信号を提供する。ドライバ及び制御信号の提供は、使用されるＳＬＭの種類に特有であり、本発明の対象ではない。透過型又は反射型液晶ディスプレイ、マイクロ光学電気機械マイクロシステム、あるいは連続した光学式ＳＬＭ及び音響光学変調器等の多くの種類のＳＬＭが、本発明と組み合わされて使用される。

変調光は、適切に制御された振幅及び位相でホログラムから出現し、光波面の形で自由空間を通って観察者に向けて伝播して、３次元シーンを再構成する。ホログラムデータセットを使用してＳＬＭを符号化することにより、ディスプレイから放射される波動場は、表示空間において干渉を起こすことにより所望の３次元シーンを再構成する。

本発明は、所定の波長に対する振幅と位相との少なくとも何れか一方を計算することにより、必要な波の変調に対してホログラムセル毎にリアルタイム制御データ又はほぼリアルタイムの制御データを提供する。

３．関連技術の説明
３次元シーンを再構成する際の共通の問題は、従来のＳＬＭで現在可能な画素解像度及び画素カウントが低いことである。今日入手可能な２０インチ幅のＳＬＭを再構成するために、基準として約１μｍの画素ピッチが必要とされる。ホログラムセルの３原色成分の各々を符号化する３つのサブ画素を考慮すると、１０⁹画素より多い画素が必要となる。これは、ビデオホログラムを計算するために高価なハードウェア及び速い計算速度を必要とする。現在、これらの要求を満足する十分に速い計算速度を有する手頃なリアルタイムディスプレイ及びデバイスは市販されていない。

ビデオホログラムを計算するために、実際に３Ｄシーンが存在する必要はない。これにより、技術、娯楽及び広告等、３次元動画シーンがコンピュータにより合成及び編集される種々の応用分野において仮想３Ｄシーンの再構成が可能になる。

例えば、引用によりその内容がここに合体された特許文献１において出願人により説明されるように、コンピュータ生成ビデオホログラムは、ホログラフィックディスプレイを使用して再構成される。閲覧者は、瞳孔より大きい少なくとも１つの仮想観察者ウィンドウを介してディスプレイの画面を見る。観察者ウィンドウは、閲覧者の眼の近くに位置付けられ、周知の位置検出及び追跡デバイスを使用して閲覧者の位置に追従するために追跡される。光源の像平面は、ホログラムのフーリエ平面である。観察者ウィンドウがホログラムのフーリエ平面の一部であるため、観察者ウィンドウは光源の像平面上にある。

従って、観察者ウィンドウは、瞳孔のサイズよりやや大きいサイズに制限されるのが好ましい。これにより、ＳＬＭの画素解像度及び画素カウントに対する要求は大幅に低減され、計算負荷も減少する。その結果、データ転送速度及び必要とされる計算力は低減され、低解像度の光変調器マトリクスが使用される。この出願において説明される符号化技術の１つの欠点は、その符号化技術が再構成されるオブジェクトの単一ポイント毎に実行される多くの計算を必要とする動作に基づくことである。

本発明に従って計算されるビデオホログラムは、例えば約３００万画素の画素配列を使用して再構成される。

特許文献２は、表現に対して制限された階調範囲を有するビデオホログラムを計算する方法を開示する。目標ホログラムは、部分的なホログラムに分割され、それらの個々の再構成は、最適化されたサブホログラムを繰り返し計算するために使用され、それにより必要な計算力を減少する。小さな階調範囲を有するサブホログラムが構成され、それに従って小さな階調範囲を有する完全なホログラムを形成するまで、反復処理は繰り返される。逐次処理を同時に実行される計算ステップに変換するために、各サブホログラムの別個の再構成は、完全なホログラムに対して所望の結果が達成されるまで互いに独立して最適化される。各データセットに対して目標波面を生成した後、サブホログラムは構成される。しかし、最適化されたサブホログラムを計算する際の並列処理は処理速度を増加するが、必要な計算力は減少されない。

特許文献３は、３次元シーンを計算し、ＬＣＤを使用してデジタル画像データから３次元シーンのリアルタイム再構成を行なう方法を開示する。画像データは、空間における輝度の分布により実際の又は仮想の３次元シーンを記述する。主なステップは、３Ｄシーンの各セクション境界線で３Ｄシーンをいくつかの並列セクション層（スライス）に分割すること、各セクション層に対するセクションホログラムを計算すること及び計算されたセクションホログラムを光変調器マトリクスを使用して逐次再構成することである。各セクションホログラムに対して、輝度分布により定義される所定の２次元画像は、複素関数により定義される２次元中間画像に変換される。３次元再構成の解像度は、画像をオーバーサンプリングすることにより増加される。想像上の回折画像は、セクション層まである距離で位置付けられる参照層の各シーンセクションに対して計算され、回折画像は、複素参照波により重ね合わされる。その結果、２次元ホログラムの表現は、参照層に対する干渉パターンの形となる。前記パターンは、光変調器マトリクスを符号化するためにドライバに離散的な制御値を提供する。従来技術の解決策では、光変調器マトリクスは参照層に位置付けられる。

セクション層の回折画像は、セクション層と参照層との間の距離による球面波の数値式と複素画素振幅値とを乗算し且つシーンセクション（スライス）の全ての画素にわたり積分することにより計算される。この積分は、畳み込み積分として解釈され、因子のフーリエ変換と後続する逆変換との積を計算することにより評価される。

欠点は、各セクション層のリアルタイム逐次再構成が超高速計算手段及び１秒に数百のセクションホログラムを再構成できる光変調器マトリクスを必要とすることである。更に、３次元シーンは、参照層の背後に再構成される。これは、閲覧者が光変調器マトリクスの背後の３Ｄシーン、すなわちホログラムディスプレイの内部の３Ｄシーンを見ることを意味する。

シーンの深さの適切な再構成が１００個より多いセクション層を含むため、この解決策は、ディスプレイの画面の再生速度が超高速となることを必要とする。低速で且つ再構成がホログラムディスプレイの内側に制限されることから、周知の計算及び表示手段を使用する３次元動画シーンの満足のいく自然なリアルタイム再構成は期待されない。
国際公開第２００４／０４４６５９号パンフレット 国際公開第２００３／０２５６８０号パンフレット 国際公開第２０００／０３４８３４号パンフレット

本発明の目的は、コンピュータ生成ビデオホログラムの計算を高速化する方法を提供することである。前記ビデオホログラムにより、空間解像度及び再構成品質を維持しつつ、３次元シーンを同時に再構成できる。本発明は、所定のビデオホログラムの対話式のリアルタイム再構成又はほぼリアルタイムの再構成、及び転送手段を可能にする。別の目的は、大きなコンピュータ生成ホログラフィック再構成が生成されるのを可能にする方法を提供することであり、それら再構成は、ホログラム自体の大きさ以上であってもよい。

ビデオホログラムデータセットを２次元オブジェクトデータセットの一部又は全てから計算することが可能なように、３次元シーンのオブジェクトを定義するオブジェクトデータが複数の仮想セクション層に配置され、コンピュータ生成ビデオホログラムを計算する方法により達成される。なお、各層は２次元オブジェクトデータセットを定義する。この方法は、
（ａ）第１の変換において、仮想セクション層の各２次元オブジェクトデータセットを２次元波動場分布へ変換し、該波動場分布をビデオホログラム層から有限距離にある参照層の仮想観察者ウィンドウに対して計算する、ステップと、
（ｂ）セクション層の全ての２次元オブジェクトデータセットに対して、仮想観察者ウィンドウに対して計算された２次元波動場分布を加算し、観察者ウィンドウデータセット集合体を定義する、ステップと、
（ｃ）第２の変換において、観察者ウィンドウデータセット集合体を参照層からビデオホログラム層へ変換し、コンピュータ生成ビデオホログラムに対してビデオホログラムデータセットを生成する、ステップと、
を備える。

オブジェクトデータは、２次元シーンを定義するが、３次元画像又はビデオデータを３次元データに変換するための追加の深さ情報を含むデータである。用語「３次元」の範囲には、「２次元」が含まれる。深さ情報は、全てのオブジェクトデータセットに対して同一であってもよい。従って、ホログラムを生成するデバイスは、入力及びユーザが表示したいものによって３次元モードから２次元モードに切り替えられる。

用語「層」は、再構成されるシーンを構成するポイントを記述できる任意の種類の定義可能な仮想構造を範囲に含むと広範囲に解釈されるべきである。従って、用語「層」は、任意の仮想平行面の集合及びそれらポイントを空間的に定義できる任意のアルゴリズムを含む。しかし、仮想平面セクションは、計算上処理するのに最も効率的な形の層である。

参照層は、照明光源の像平面と同一であるホログラムのフーリエ平面と同一空間を占めてもよい。しかし、許容度があり、フーリエ平面に十分に近接して置かれた観察者の眼は、適切に再構成されたシーンを見る。画素カウントが増加すると、許容度は増加する。

１つの実現例において、第１の変換はフレネル変換であり、第２の変換はフーリエ変換である。用語「変換」は、変換と同等であるか又は類似する任意の数学的な技術又は計算技術を含むと広範囲に解釈されるべきである。通常の数学的な意味で使用される変換は、マクスウェル波動方程式でより正確に記述される物理処理に対する近似値であり、フレネル変換又はフーリエ変換として知られる特別な種類のフレネル変換等の変換は２次近似値である。しかし、それら変換は、微分とは対照的に代数的であるため、計算上効率的に処理されるという重要な利点を有する。

観察者ウィンドウの再構成された波動場集合体のエラーを補償するために、反復処理は、観察者ウィンドウにおける分布とホログラム層との間で実行されてもよい。

ノイズスペックルを減少し且つ明るさ又は回折効率及びシーンの参照層における明るさの定義を向上させるために、オブジェクトデータセットは、擬似ランダム位相分布等の適切な位相分布を示してもよい。

従来技術の解決策とは異なり、本発明による上記ステップの最初の２つのステップを実行することにより、単一の波動場集合体のホログラムは回折公式を使用して計算される。全ての個々の波動場が重ね合わされるために、その波動場集合体は、３次元シーンに関する光情報全体を実現された精度内で含む。

本発明の好適な実施形態において、セクション層に対する全てのオブジェクトデータセットには、同一総数の離散的なマトリクスポイントが割り当てられる。マトリクスポイント数がホログラムの走査ポイント数と同一である場合、高速なアルゴリズムが計算処理全体に対して使用されるのが好ましく、補間又はオーバーサンプリング等、解像度を各層に適応させる処理ステップは不必要になる。全ての層に対するマトリクスポイント数は、ホログラムディスプレイにおけるＳＬＭの符号化画素数から得られる。

特許文献１により周知であるビデオホログラムディスプレイと本発明を組み合わせた場合の主な利点は、ホログラム層の波動場集合体に対する参照データセットを変換する前に、参照層の観察者ウィンドウの領域がＳＬＭ光変調器マトリクスの領域より非常に小さくなるように制限されることである。観察者ウィンドウの最大範囲は、参照層においてホログラムを再構成する場合に再構成のために使用される光源の画像を含む層における周期間隔と一致する。これにより、本発明によるコンピュータ生成ビデオホログラムが他の解決策と比較して低い回折角を実現する必要があり、参照層及びホログラム層に対するデータセットが同一数のマトリクスポイント値を有する場合には更にその必要があるという結果が得られる。光変調器マトリクスに対する振幅値の計算のため、処理速度に対する要求は大幅に減少する。特に、現在の閲覧者の位置を追跡する周知の位置検出及び追跡デバイスと組み合わせると、観察者ウィンドウの寸法はかなり最小化され、その特長から利益を得る。更に、上述した特許文献１は、再構成されるシーンの単一ポイント毎に実行される多くの計算を必要とする動作を要求する。本発明を使用すると、単一オブジェクトポイント毎に多くの計算を必要とする動作を実行する必要はなく、例えば各セクション層から観察者の眼が位置する参照平面の仮想観察者ウィンドウへの第１の変換が、層の個々のオブジェクトポイントではなくセクション層全体に対して実行される。仮想観察者ウィンドウからホログラム層へ戻す第２の変換は、全てのオブジェクトポイントに対する情報を符号化するが、単一動作であるためより効率的である。

本発明の更なる実施形態において、セクション層の各オブジェクトデータセットは、参照層までの距離に依存する仮想領域サイズに基づく。セクション層の領域は、各観察者ウィンドウのエッジからビデオホログラムのＳＬＭのエッジにわたる想像上の面から得られる。各データセットにおけるマトリクスポイント値の数が同一であるため、個々のマトリクスポイントに割り当てられる領域は、参照層までの距離に比例して変化する。スライスとしても周知であるセクション層のオブジェクトデータセットに元のオブジェクトデータを割り当てることにより、各セクション層上のマトリクスポイントを記述する２次元座標系の各マトリクスポイントにシーンの離散的なオブジェクトポイント値を割り当てる。セクション層に対するオブジェクトポイントのローカル位置に応じて、元のオブジェクト情報は、空間位置に最近接する座標系のマトリクスポイントに割り当てられる。セクション層の距離に依存する領域は、シーンのセクション層を記述するための領域に依存するオブジェクトポイント解像度が大きくなる程、セクション層が参照層に対してより近接して位置付けられるという結果を招く。これは、シーンの前景が詳細に再構成される一方で、背景の同一シーンの要素が非常に低い解像度で再構成されることを意味する。しかし、より離れた仮想セクション層は、シーンの背景に対して非常に大きなビュー領域を再構成できる。この種のシーンの再構成は、一方ではシーンの前景及び背景の要素の非常に自然な表現を提供し、他方では必要な計算力を最小限にすることを助長する。

本発明の好適な実施形態において、仮想セクション層の各オブジェクトデータセットの距離に対する値は、再構成全体又は再構成の一部がホログラム層の手前又は背後に現れるように、変換前に選択又は変更される。このように、閲覧者の眼の前の空間の深さにおける再構成の自然な位置及び合成ビデオホログラムの深さ効果の慎重な増幅又は減少は、ソフトウェア設定のみを介して実現される。

特許文献１により周知である従来の方法に従って符号化する場合、再構成された３次元シーンは、光変調器マトリクスにより制御される波動場の形で閲覧者の眼の前の自由空間に現れる。計算するのに使用される想像上のセクション層は、観察者ウィンドウの前の空間において再構成の位置を定義し、参照層に対して有限距離に位置付けられる。光近接場における一般的な条件によると、これにより、波動場集合体に対するホログラフィックに再構成されたシーンの各光点の光の寄与が球面波として伝播し、参照層の観察者ウィンドウの目標波面に寄与する。参照層における各オブジェクトデータセットの変換は、フレネル変換による適切な近似値で表される。そのために、全てのオブジェクトデータセットの全てのオブジェクトポイントの振幅値は、参照層までの各セクション層の距離に依存するフレネル位相因子と乗算される。

フレネル位相因子は、元の各セクション層と参照層との間の座標の２乗差及び他の因子に依存する指数部を有する。多くのフレネル変換を実行するために、多くの処理時間及び計算力が必要とされる。本発明の好適な実施形態によると、この欠点は、個々のステップが球面波因子との乗算の形の更なる処理ステップと共に高速フーリエ変換（ＦＦＴ：Fast Fourier Transformation）を使用して実行されるように、困難なフレネル変換をそれらステップに分割することにより補償される。この方法は、グラフィックスとホログラフィアダプタとの少なくとも何れか一方等の専用電子ハードウェアがビデオホログラムを計算するのに使用されるという利点を有する。そのようなハードウェアは、スライス及び画像レンダリング等の他のビデオ処理ステップを行なう周知のモジュール、並びに高速フーリエ変換ルーチンを使用してフレネル変換を実行する少なくとも１つの特定のプロセッサモジュールを含む少なくとも１つの専用グラフィックスプロセッサを含む。必要なＦＦＴルーチンを含むデジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）であるそのようなプロセッサは、周知の方法を使用して安価に製造される。一般的なグラフィックスプロセッサにおける最近の利点は、いわゆる共有アルゴリズムを使用してセクション層のデータを参照層にフーリエ変換するような動作を可能にすることである。

波動場の計算を簡単化するために、元のセクション層と参照層との間の光の伝播を記述する変換は、高速フーリエ変換（ＦＦＴ）及び球面波を記述する位相因子との２回の乗算を含むように変更される。第１の位相因子は、元のセクション層の座標及び元のセクション層と参照層との間の距離に依存する。第２の位相因子は、参照層の座標及び元のセクション層と参照層との間の距離に依存する。光学系における光の照準に依存して、それら位相因子の一方又は双方が定数に設定されてもよい。

従って、セクション層の分布を参照層に変換する手順は、３つのステップに分割される。

１．各オブジェクトポイントの振幅は、第１の位相因子により乗算される。

２．各オブジェクトポイントの光の複素振幅を元のセクション層から参照層に変換するために、生成された積が第１の高速フーリエ変換に対して使用される。

３．生成された変換は、第２の位相因子と乗算される。

シーンのビデオホログラム集合体に対するホログラムデータセットを生成するために、参照データセットのホログラム層への変換は、フレネル変換による光波伝播を記述する変換により表される。このステップを実行できるように、変換は上述のステップに従って実行されるが、この変換前に、参照層の全てのセクション層に対する参照データは複素加算により重ね合わされる。このフレネル変換のために、位相因子の一方又は双方が、光学系における光の照準に応じて定数に設定されてもよい。

本発明の特定の利点は、波動場集合体に対する参照データセットが全てのセクション層の計算された参照データセットを加算することにより生成されることである。ホログラム層における変換後、その波動場集合体は、３次元シーン情報全体を含むため、ビデオホログラムに対する基礎としての役割を果たす。これにより、全てのセクション層の２次元画像及び従って３Ｄシーン全体を同時に再構成できる。

符号化処理又は技術上の限界によるビデオホログラムにおける一般的なエラーを減少させたい場合、別の利点が得られる。ビデオホログラムの再構成エラーを減少するために、反復処理が使用されてもよい。従来技術において、再構成された３次元シーンのオブジェクトデータは、元の３次元オブジェクトシーンと比較される必要がある。再構成された３次元オブジェクトシーンとホログラム層との間の変換を多く含む複雑な反復処理は、所望の再構成品質が達成されるまで実行される。本発明の方法は、非常に単純な反復処理を有利に可能にする。参照データセットがオブジェクト情報全体を含むため、反復処理は、ホログラム層と２次元である参照層との間の変換を含む。

今日の画像レンダリング技術による高品質の再構成は、そのような補正処理なしでは不可能である。

ビデオホログラムは、スライサ手段を有するデジタル信号処理デバイスを使用して計算されるのが好ましい。デジタル信号処理デバイスは、トモグラフィック（断層）シーンセクション層の離散的なマトリクスポイントのオブジェクトポイントを含む別個のオブジェクトデータセットが各セクション層に対して定義されるように、実際の又は仮想の３次元シーンの光振幅の空間分布に対する離散的なオブジェクト値を含むオブジェクト情報を並列仮想セクション層のマトリクスポイントと共に割り当てる。ビデオホログラムのホログラムデータセットは、それらオブジェクトデータセットから計算される。本発明によると、信号処理デバイスは：
有限距離に位置付けられる参照層に対する波動場の別個の２次元分布を各オブジェクトデータセットから計算する第１の変換手段及び変換されたオブジェクトデータセットを層毎にバッファリングするバッファメモリ手段と、
参照データセットにおける波動場集合体の表現を生成するために、変換されたオブジェクトデータセットを加算する加算手段と、
シーンのビデオホログラム集合体に対するホログラムデータセットを生成するために、参照層に対して平行に且つ有限距離に位置付けられるホログラム層において参照（集合体）データセットを変換する第２の変換手段とを更に具備する。

デジタル信号処理デバイスは、フレネル変換を実行する少なくとも１つの独立して動作する変換手段を具備し、変換手段は：
元のデータセットのマトリクスポイント値の振幅値と球面波を記述する第１の位相因子とを乗算する第１の乗算手段であり、因子の指数部が元の各層における座標の２乗及び参照層又はホログラム層等の目標層までの距離に依存する第１の乗算手段と、
第１の乗算手段の積を元のセクション層から目標層に変換する高速フーリエ変換手段と、
その変換と球面波を記述する別の位相因子とを乗算する第２の乗算手段であり、因子の指数部が目標層における座標の２乗及び目標層と元の層との間の距離に依存する第２の乗算手段とを含む。

上述のように、光学系における光の照準に依存して、それら位相因子の一方又は双方が定数に設定されてもよい。

デジタル信号処理デバイスは、同時に変換ルーチンを実行する独立して動作するいくつかのサブプロセッサを有するマルチプロセッサであってもよい。少なくともある特定の数の変換を同時に実行できるように、リソースマネージャは、３次元シーンの内容に依存して、計算に必要な変換を利用可能な変換ルーチンに動的に割り当てることを要求される。参照層において変換されたデータセットは、バッファメモリ手段にバッファリングされる。

このようにシーンの内容に依存して、データセットは、あらゆる時点でアクティブにされ、ある特定のセクション層におけるシーンの動作中に変化が起こらない場合には数回使用される。

高速フーリエ変換を実行する場合、仮想セクション層のオブジェクトデータセットは、Ｎ個の離散的なオブジェクトポイント値を割り当てられる。数字Ｎは、２のｎ乗である。

好適な実施形態及び添付の図面を使用して、本発明による機能原理を以下に詳細に説明する。

ホログラムプロセッサを使用するビデオホログラムの計算は、ＲＧＢ又はＲＧＢ準拠の形式で光振幅の空間分布に対する値を含む実際の又は仮想の３次元シーンの元のオブジェクト情報に基づく。それら値は、周知のファイル形式で利用可能であり、ホログラムプロセッサによりデータメモリから呼び出される。３次元シーンの離散的な各オブジェクトポイントに対してオブジェクトポイントファイル形式がＢＭＰである場合、このオブジェクト情報は、例えば各２次元座標に対する複素カラーオブジェクトポイントデータＲ₀、Ｇ₀、Ｂ₀のセットを含む。データメモリＭＥＭは、３次元シーンの深さ情報ｚ₀を更に提供する。深さ情報ｚ₀が第１のビデオ画像ファイルにおいて既に提供されたか、又は追加の情報を含む少なくとも１つの第２のファイルからプロセッサにより計算されるかは、各ポイントに対する深さ情報ｚ₀にとって重要ではない。

複雑な処理を理解し易くするために、３つの空間座標の１つ、ここではｙ座標を以下の説明において無視する。シーンのオブジェクトポイントをＭ個のセクション層Ｌ₁．．．Ｌ_MのマトリクスポイントＰ₁₁．．．Ｐ_MNに割り当てることにより、Ｎ個のマトリクスポイント値を含むオブジェクトデータセットＯＳ₁．．．ＯＳ_Mを生成する。全てのデータセットは、同一数Ｎ個のマトリクスポイント値を含む。この数字Ｎは、Ｎ１個の複素値を表すことができる光変調器マトリクスの画素数Ｎ１により判定される。高速フーリエ変換アルゴリズムがフーリエ変換の計算に使用される場合、Ｎは２の冪乗、すなわちＮ＝２ⁿに減少される必要がある。尚、ｎは整数であり、Ｎ≦Ｎ１である。例えばＮ１＝１２８０画素のディスプレイの場合、各データセットは、Ｎ＝１０２４のマトリクスポイント値を含む。しかし、２ⁿ個の入力値を必要とするわけではない他のフーリエ変換アルゴリズムが使用されてもよく、従ってディスプレイ全体の解像度Ｎ１が使用される。

図２と合わせて理解されるように、図１は、好適な実施形態を示しており、計算のために図２に示すスライサによりシーンをＭ個の仮想セクション層Ｌ₁．．．Ｌ_Mに分割する方法を示している。スライサは、データメモリＭＥＭに格納された元のオブジェクト情報の深さ情報ｚを周知の方法で解析し、マトリクスポイントＰ_mnを含むシーンの各オブジェクトポイントを割り当て、セクション層Ｌ_mに対応するオブジェクトデータセットＯＳ_mに一致したマトリクスポイント値を入力する。添え字に関しては、０≦ｍ≦Ｍ、１≦ｎ≦Ｎである。ここで、Ｎは、各層のマトリクスポイントＰの数であり且つデータセットのマトリクスポイント値の数である。一方では、シーンが実際に存在するか否かに関わらず、セクション層Ｌ₁．．．Ｌ_Mは任意に定義され、シーンの離散的なオブジェクトデータセットを判定する。他方では、同一のセクション層Ｌ₁．．．Ｌ_Mは、ビデオホログラムに対する再構成されたシーン３Ｄ−Ｓの空間位置を定義することを意図する。従って、図１及び図２は、ビデオホログラムに対してローカルに定義されたようなシーンの所望の再構成３Ｄ−Ｓを示す。計算を実行できるように、更なる定義が必要である。各セクション層Ｌ_mは、閲覧者の眼Ｅ_L／Ｅ_Rが近くに存在する観察者ウィンドウＯＷを有する参照層ＲＬまでの距離Ｄ_mのところに位置付けられる。ビデオホログラムは、参照層までの距離Ｄ_Hのところに位置付けられるホログラム層ＨＬに配置される。

図２に示すように、ホログラムマトリクスの計算は、以下のステップを実行することにより継続される。

シーンが存在した場合、参照層ＲＬの波動場集合体に寄与するものとして各セクション層Ｌ_mのオブジェクトポイントの複素振幅Ａ₁₁．．．Ａ_MNを生成する波動場を判定するために、参照層ＲＬのセクション層Ｌ₁．．．Ｌ_MのオブジェクトデータセットＯＳ₁．．．ＯＳ_Mを変換するステップ。

シーンが再構成される場合、観察者ウィンドウＯＷに現れる波動場集合体を定義する参照データセットＲＳを形成するために、構成要素

を含む変換されたオブジェクトデータセットＤＳ₁．．．ＤＳ_Mを加算するステップ。

Ｄ_Hの距離に位置付けられるホログラム層ＨＬにおいてホログラムデータセットＨＳを形成して、ビデオホログラムを符号化するためのマトリクスポイント値Ｈ₁．．．Ｈ_Nを得るために、参照層ＲＬの参照データセットＲＳを逆変換するステップ。

ビデオホログラムに対するＮ個の画素値は、ホログラムデータセットの典型的な複素値から得られる。ビデオホログラムにおいて、それら値は、シーン再構成中に光を変調するための波の位相及び振幅値を表す。

観察者ウィンドウＯＷにおける閲覧者に対して３Ｄ−Ｓを再構成する方法を上述した。オブジェクトが実際に閲覧されているかのような実際の３次元法で３次元シーンを認識できるように、各眼に対する各観察者ウィンドウにおいて、種々のホログラムが必要とされる。

第２の観察者ウィンドウに対するホログラムマトリクスは同様に計算されるが、変更されたマトリクスポイント値を使用して計算される。その変更は、シーン３Ｄ−Ｓに対して閲覧者の両眼の位置が異なることによる結果である。同時に動作するＦＦＴルーチンを含む搭載されたマルチチャネルデジタル信号プロセッサにおいて、２つのホログラムマトリクスは、互いに完全に独立して同時に計算される。必要な計算力を低減するために、コンテンツの違いを殆ど示さない又は全く示さないオブジェクトデータセットの計算結果は合わせて使用されてもよい。これは、映像の背景を示すセクション層にも当てはまるだろう。両眼は、僅かにずれた角度から同一シーンを見る。

本発明の特定の特徴によると、デジタル信号処理デバイスはオブジェクトデータセットマネージャを含む。変換のために２つの信号プロセッサチャネルのうち一方に２つの同一のオブジェクトデータセットのうち一方のみを交互に割り当てることにより余分な処理を回避するために、オブジェクトデータセットマネージャは対応するオブジェクトデータセットの内容を比較する。

周知の解決策とは異なり、再構成は、観察者ウィンドウＯＷから光変調器マトリクスＬＭにわたる想像上の接続面Ａ１及びＡ２により定義される錐台形状の空間の仮想観察者ウィンドウを介して閲覧される。３Ｄ−Ｓの再構成は、ビデオホログラム層ＨＬの手前、背景又はその層の上に現れてもよく、あるいはその層と交差してもよい。

観察者ウィンドウのサイズは、眼の横方向のサイズを範囲に含む場合に十分であり、特別な場合には、そのサイズは瞳孔のサイズまで減少されてもよい。ホログラム層まで１ｍの距離で配置される１×１ｃｍ²の観察者ウィンドウを仮定すると、コンピュータ生成ビデオホログラムに必要とされる画素数は、従来の符号化方法を有する光変調器マトリクスと比較して１／２，５００．．．１／１０，０００に減少する。

図３は、計算に必要とされる変換を実行する選択された層の位置を示す。第１の仮想セクション層Ｌ₁及び別の１つの層Ｌ_mのみが示される。しかし、参照層ＲＬのセクション層Ｌ₁．．．Ｌ_Mの波動場を計算するために、全ての波動場の寄与が常に必要とされる。計算力を節約するために、３次元動画シーンを処理する場合、変換された個々のデータセットＤＳ₁．．．ＤＳ_Mはバッファリングされ、内容に変化があるまで、後続するいくつかのビデオホログラムに対して再利用される。

図４は、参照層ＲＬまでＤ_mの距離にあるセクション層Ｌ_mのオブジェクトデータセットＯＳ_mの振幅値Ａ_m1．．．Ａ_mNの変換方法を詳細に示す。この複雑な処理を理解し易くするために、１次元の変換のみが示される。式（１）は、フレネル変換の基礎的な部分を示す。

（１）

ただし、項

は、座標ｘ_mを含む層から座標ｘ₀を含む層へのフーリエ変換、すなわちＤ_mの距離に位置付けられるセクション層から参照層へのフーリエ変換の基礎的な部分を示す。

上述のように、光学系の光の照準に依存して、２次位相因子の一方又は双方が１であってもよい。

（２）

式（２）は、層Ｌ_mの対応する位相因子Ｆ１_mnと乗算されたマトリクスポイント値の振幅Ａ_mnを定義する。

最後に、式（３）は、（２）のフーリエ変換及び位相因子との乗算の結果を示す。ここで、位相因子は、参照層の観察者ウィンドウＯＷの座標ｘ₀及び各セクション層の参照層までの距離に依存する。式（３）は、参照層の観察者ウィンドウのマトリクスポイントの複素振幅を定義する。

（３）

上記解決策により、専用デジタル信号プロセッサ回路が、ちらつきのないリアルタイム再構成の形式である両眼に対する動画シーンのビデオホログラムのシーケンスの計算を実行できるように、計算処理を加速できる。

観察者ウィンドウＯＷの再構成された波動場集合体のエラーを補償するために、本発明の好適な実施形態において、図５に示す反復処理が観察者ウィンドウＯＷにおける分布とホログラム層ＨＬとの間の計算に適用される。

３次元シーンを再構成するための構成及びビデオホログラムを計算するのに必要な参照層を示す図である（一定の比率ではない）。 本発明に従ってビデオホログラムを計算する信号処理デバイスを示す概略図である。 図１に類似し且つ本発明による計算の主なステップを示す図である。 変換手段の機能原理を示す図である。 反復処理においてコンピュータ生成ホログラムのマトリクスポイント値を補正するために実行されるサブステップを示す図である。

Claims (28)

1. ビデオホログラムデータセット（ＨＳ）を２次元オブジェクトデータセット（ＯＳ₁．．．ＯＳ_M）の一部又は全てから計算することが可能なように、
   ３次元シーンのオブジェクトを定義するオブジェクトデータが複数の仮想セクション層（Ｌ₁．．．Ｌ_M）に配置され、
   各層は前記２次元オブジェクトデータセット（ＯＳ_m）を定義する、
   コンピュータ生成ビデオホログラムを計算する方法であって、
   （ａ）第１の変換（ＴＲ１）において、前記仮想セクション層の各２次元オブジェクトデータセット（ＯＳ_n）を２次元波動場分布へ変換し、該波動場分布を前記ビデオホログラム層（ＨＬ）から有限距離（Ｄ_M）にある参照層（ＲＬ）の仮想観察者ウィンドウ（ＯＷ）に対して計算する、ステップと、
   （ｂ）セクション層（Ｌ₁．．．Ｌ_M）の全ての２次元オブジェクトデータセットに対して、前記仮想観察者ウィンドウ（ＯＷ）に対して計算された前記２次元波動場分布（ＤＳ₁．．．ＤＳ_M）を加算し、観察者ウィンドウデータセット集合体（ＲＳ）を定義する、ステップと、
   （ｃ）第２の変換（ＴＲ２）において、前記観察者ウィンドウデータセット集合体（ＲＳ）を前記参照層から前記ビデオホログラム層（ＨＬ）へ変換し、前記コンピュータ生成ビデオホログラムに対して前記ビデオホログラムデータセット（ＨＳ）を生成する、ステップと、
   を備えることを特徴とする方法。
2. 前記ビデオホログラムデータセット（ＨＳ）の前記データは、前記ビデオホログラムにおいて均等に離間されたポイントに割り当てられ、前記ポイントは、マトリクスとして編成される、請求項１記載の方法。
3. 前記セクション層（Ｌ₁．．．Ｌ_M）と、前記ホログラム層（ＨＬ）と、前記参照層（ＲＬ）と、前記仮想観察者ウィンドウ（ＯＷ）とは、平面である、請求項１記載の方法。
4. 前記ビデオホログラム層（ＨＬ）と、前記セクション層と、前記仮想観察者ウィンドウとは、互いに平行である、請求項１記載の方法。
5. 再構成されたシーンが前記仮想観察者ウィンドウ（ＯＷ）を介して観察できるように、観察者の少なくとも一方の眼は、前記仮想観察者ウィンドウに近接して位置付けられる、請求項１記載の方法。
6. ２つ以上の仮想観察者ウィンドウ（ＯＷ）が存在する、請求項１又は５記載の方法。
7. 前記オブジェクトデータ（Ｒ₁，Ｇ₁，Ｂ₁，ｚ₁．．．Ｒ_P，Ｇ_P，Ｂ_P，ｚ_P）はオブジェクトデータセット（ＯＳ₁．．．ＯＳ_M）に割り当てられ、
   前記オブジェクトデータセットの全ては、前記観察者ウィンドウデータセット集合体（ＲＳ）及び前記ホログラムデータセット（ＨＳ）と、同一数（Ｎ個）の値及び同じマトリクス構造を有し、
   全てのデータセット（ＯＳ₁．．．ＯＳ_M，ＲＳ，ＨＳ）に対する値の数及び構造は、前記ビデオホログラムを符号化するのに使用される画素数から得られる、請求項１記載の方法。
8. 前記２次元オブジェクトデータセット（ＯＳ₁．．．ＯＳ_M）及び前記観察者ウィンドウデータセット集合体（ＲＳ）は、前記ビデオホログラムデータセット（ＨＳ）と同一のマトリクス構造を有する、請求項１又は７記載の方法。
9. 前記参照層の前記仮想観察者ウィンドウ（ＯＷ）の大きさは、前記参照層の周期間隔の大きさ以下となるように設定され、当該仮想観察者ウィンドウ（ＯＷ）は完全に１つの周期間隔内に位置付けられる、請求項１から８のいずれか１項に記載の方法。
10. 前記参照層は、前記ホログラムのフーリエ平面と同一空間を占める請求項１から９のいずれか１項に記載の方法。
11. 各オブジェクトデータセット（ＯＳ_m）は、対応する前記セクション層（Ｌ_m）の一定領域内に存在し、
    前記一定領域は前記セクション層の前記参照層（ＲＬ）までの距離（Ｄ_m）に応じた外延を有する、請求項１記載の方法。
12. 各セクション層の前記一定領域は、前記仮想観察者ウィンドウ（ＯＷ）のエッジと前記ビデオホログラムのエッジとを接続する想像上の面（Ａ１、Ａ２）と当該セクション層との交差部分により定義される、請求項１１記載の方法。
13. 前記仮想参照層（ＲＬ）までの距離（Ｄ₁．．．Ｄ_m）を有する前記セクション層（Ｌ_m）は、再構成されたシーン（３Ｄ−Ｓ）全体又はその一部が前記ホログラム層（ＨＬ）の手前と背後との少なくとも何れか一方に現れるように設定される、請求項１記載の方法。
14. 前記第１の変換（ＴＲ１）はフレネル変換であり、
    前記フレネル変換は、
    （ａａ）元のセクション層（Ｌ_m）の各オブジェクトポイントの振幅値Ａ_mnと球面波（Ｆ１_mn）を記述する第１の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記元のセクション層（Ｌ_m）の座標（ｘ_m，ｙ_m）の２乗と、前記元のセクション層（Ｌ_m）と参照層（ＲＬ）との間の距離（Ｄ_m）と、に依存する、サブステップと、
    （ａｂ）前記元のセクション層（Ｌ_m）から前記参照層（ＲＬ）への第１の高速フーリエ変換（ＦＦＴ）を使用して前記元のセクション層（Ｌ_m）の各オブジェクトポイント（Ａ_m1．．．Ａ_mN）に対する前記計算された積を変換するサブステップと、
    （ａｃ）前記計算された変換
    

    

    と球面波（Ｆ２_mn）を記述する第２の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記参照層（ＲＬ）の座標（ｘ，ｙ）の２乗と、前記元のセクション層（Ｌ_m）までの距離（Ｄ_m）と、に依存するサブステップと、
    を備える請求項１記載の方法。
15. 前記第２の変換（ＴＲ２）はフレネル変換であり、
    前記フレネル変換は、
    （ｃａ）前記参照データセット（ＲＳ）の各複素振幅値
    

    

    と球面波（Ｆ３_n）を記述する第３の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記参照層（ＲＬ）の座標（ｘ₀，ｙ₀）の２乗と、前記参照層（ＲＬ）と前記ホログラム層（ＨＬ）との間の距離（Ｄ_m）と、に依存する、サブステップと、
    （ｃｂ）前記参照層（ＲＬ）から前記ホログラム層（ＨＬ）への第２の高速フーリエ変換（ＦＦＴ）を使用して前記複素振幅値
    

    

    の前記計算された積を変換するサブステップと、
    （ｃｃ）符号化に使用される前記ホログラムデータセット（ＨＳ）に対して所望のホログラム値（Ｈ₁．．．Ｈ_N）を得るために、前記計算された変換（Ｈ'₁．．．Ｈ'_N）と球面波（Ｆ４_n）とを記述する第４の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記ホログラム層（ＨＬ）の座標（ｘ，ｙ）の２乗と、前記ホログラム層（ＨＬ）と前記参照層（ＲＬ）との間の距離（Ｄ_H）と、に依存する、サブステップと、
    を備える請求項１記載の方法。
16. 球面波（Ｆ１_mn、Ｆ２_mn）を記述する前記位相因子の一方又は双方は定数に設定されてもよい、請求項１４又は１５記載の方法。
17. 前記第１の変換と前記第２の変換との少なくとも何れか一方はフーリエ変換である、請求項１記載の方法。
18. 前記観察者ウィンドウにおける前記２次元波動場分布と前記ホログラム層との間で、前記各ステップの繰り返し処理を行うことにより、観察者ウィンドウに再構成された波動場集合体のエラーを補償することを特徴とする請求項１に記載の方法。
19. 前記オブジェクトデータセットが、擬似ランダム位相分布を含む適切な位相分布を示すこととなり、ノイズスペックルを減少させ、明るさ効率若しくは回折効率、ならびに、当該シーンの参照層における明るさの解像度を向上させることを特徴とする請求項１に記載の方法。
20. 深さ情報は、全てのオブジェクトデータセットに対して同一である、請求項１から１９のいずれか１項に記載の方法。
21. ホログラムを生成するデバイスは、入力モードとユーザが選択したモードとの少なくとも何れか一方に応じて、３次元モードから２次元モードの切り替えられる、請求項１又は２０記載の方法。
22. ビデオホログラムに対するビデオホログラムデータセット（ＨＳ）をオブジェクトデータセットの一部又は全てから計算することが可能なように、
    ３次元シーンにおけるオブジェクトを定義するオブジェクトデータを複数の仮想セクション層（Ｌ₁．．．Ｌ_M）へ割り当てる、デジタルスライサ手段を有するコンピュータ生成ビデオホログラムを計算するデジタル信号処理デバイスであって、
    各セクション層は別個のオブジェクトデータセット（ＯＳ_n）を定義し、
    （ａ）各オブジェクトデータセット（ＯＳ_m）から、有限距離（Ｄ_M）に設けられた参照層（ＲＬ）における仮想観察者ウィンドウ（ＯＷ）のための別個の２次元波動場分布を計算する第１の変換手段（ＴＲＭ１）と、変換されたオブジェクトデータセットをバッファリングするバッファメモリ手段と、
    （ｂ）観察者ウィンドウデータセット集合体（ＲＳ）の波動場表現を生成するために、全てのセクション層の前記変換されたオブジェクトデータを加算する加算手段（ＡＤ）と、
    （ｃ）前記ビデオホログラム集合体に対して前記ホログラムデータセット（ＨＳ）を生成するために、前記観察者ウィンドウデータセット（ＲＳ）を、前記参照層（ＲＬ）と平行で有限距離に位置付けられたホログラム層（ＨＬ）へ変換する第２の変換手段（ＴＲＭ２）と、
    を備えるデバイス。
23. 頻繁に繰り返して発生する計算ルーチンを独立して同時に実行するマルチチャネルデジタル信号プロセッサ（ＤＳＰ）を有する、請求項２２記載のデバイス。
24. 同時に実行される変換ルーチン（ＴＲ１、ＴＲ２）を有する独立して動作する複数のサブプロセッサと、
    少なくともある特定の数の変換を同時に実行できるように、前記３次元オブジェクトの内容に依存して計算に必要な前記変換を前記利用可能な変換ルーチンに動的に割り当てるリソースマネージャと、
    を有する請求項２２記載のデバイス。
25. 双方の眼に対して前記ホログラムデータセット（ＨＳ_L、ＨＳ_R）を同時に計算するマルチチャネルプロセッサである、請求項２２記載のデバイス。
26. 前記２つの信号プロセッサチャネルのうち一方において変換等を１回のみ実行するとともに、他方のチャネルにおいて前記変換を共用するために、ホログラム計算における対応するオブジェクトデータセット（ＯＳ_m）の内容を異なる元のオブジェクトデータと比較するオブジェクトデータセット制御手段を有する、請求項２２記載のデバイス。
27. 球面波（Ｆ１_mn／Ｆ３_n、Ｆ２_mn／Ｆ４_n）を記述する前記位相因子のうち１つ又は全てが定数に設定されてもよい、請求項２２記載のデバイス。
28. 入力モードとユーザが選択したモードとの少なくとも何れか一方に応じて、３次元モードから２次元モードへ切り替える、請求項２２記載のデバイス。

Images