JP2008522270A - 単体三次元レンダリングの複合ビュー表示のためのシステムと方法 - Google Patents
単体三次元レンダリングの複合ビュー表示のためのシステムと方法 Download PDFInfo
- Publication number
- JP2008522270A JP2008522270A JP2007542003A JP2007542003A JP2008522270A JP 2008522270 A JP2008522270 A JP 2008522270A JP 2007542003 A JP2007542003 A JP 2007542003A JP 2007542003 A JP2007542003 A JP 2007542003A JP 2008522270 A JP2008522270 A JP 2008522270A
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- display
- scene
- data stream
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000002131 composite material Substances 0.000 title claims description 9
- 230000002452 interceptive effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000015654 memory Effects 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 2
- 239000000872 buffer Substances 0.000 description 12
- 238000012800 visualization Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 239000011521 glass Substances 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Abstract
二つ以上の三次元レンダリング画面を実質的に同時に表示するシステムと方法を提供する。前記方法は、三次元モデルから投影画のステレオペアを生成するステップと、表示モード情報を受け取るステップと、前記表示モード情報に従って前記投影画のステレオペアを加工して出力データストリームを生成するステップと、各データストリームを適切な表示装置に分配するステップと、を含む。本発明の実施例において、前記方法は、レンダリングエンジンと、伝達可能に前記レンダリングエンジンに接続されたポストシーンプロセッサと、伝達可能に前記ポストシーンプロセッサに接続されたシーン分配器と、伝達可能に前記ポストシーンプロセッサに接続された1以上の表示装置とを用いて実行され、動作中、前記レンダリングエンジンは、三次元モデルの二次元投影画を生成し、前記ポストシーンプロセッサは、前記投影画を加工して種々のフォーマットで表示できるようにする。本発明の実施例において、三次元レンダリングの2画面は、それぞれ立体的であり、互いに反転することが可能である。本発明の実施例において、相対的に反転した画面の一つは、対話型コンソール上に表示可能であり、他方は隣接したデスクトップコンソール上に表示可能である。
Description
本発明は、双方向三次元視覚化システムを対象とし、より詳細には、単一3次元レンダリングからリアルタイムに複数画面に表示するためのシステムと方法を対象とする。
ボリュームレンダリングは、ユーザーが例えば何百ものスライス画像から作成された人体の一部の三次元モデルといった三次元データを双方向視覚化することを可能にする。前記3次元双方向視覚化システムにおいて、ユーザーは前記モデル内を自由に移動することができ、前記モデルを触診するかの如く操作することができる。前記操作は、しばしば手動操作装置によって制御され、ユーザーが3次元データの一部を「掴む」ことを可能にしており、例えば本当に生きている人体の組織、例えば肝臓、心臓、又は脳と関連する対象物を、移動、回転、修正、穴あけしたり、外科的な手術予定データを付け加えたりすることができる。前記手で触れる双方向性のための設備のおかげで、ユーザーは、「リーチイン」タイプの双方向性を望む傾向があるが、彼らの手が双方向インターフェースを制御する動作は、彼らが実際に三次元ボディに手が届き、彼らが見ている組織を物理的に操作するかのように感じられる。
図1は、この種の双方向性を示している。図の110では、モニタ上に三次元画像が見えている。ユーザーは「リーチイン」してそれを操作したいが、もちろん表示スクリーンの表面によって排除される。
この問題を解決するため、いくつかの双方向3次元視覚化システムでは、表示画像をミラー上に投影している。この解決策は、シンガポールのVolume Interactions Pte Ltd.社によって開発されたDextroscope(登録商標)によって実施されている。この解決策は、図1の120と130に示されている。それを参照して、120は、ユーザーがミラーを通して反射された表示モニターからの画像を見ている状態を示す。前記ミラーは、座った時のユーザーの胴体と頭とほぼ同じ位置に置かれている。反射像を見ることで、ユーザーはミラーの後ろに手を置くことができ、これによって表示された3次元モデルと共に「リーチイン」タイプの双方向性を体験できる。この方法は、単一のユーザーに対して良く機能するが、しばしば三次元データ視覚化セットにおいて、一人のユーザーがデータを操作し、一人以上の同僚がそばに立って操作を見ている場合がある。これは、例えば困難な外科的問題を解決するために、状況を説明する場合や、共同の努力をする場合において一般的であり、指導医師は、視覚化の専門家に、コンソールの前に座って三次元データを操作し、種々の外科的アプローチの結果を視覚化することを求める。
複数のグループが操作されたデータを見ようとする場合に、上述のミラー法には限界がある。それは、図の110に示すようにユーザーが表示モニターの正面に座っている場合と同じ向きになるように、正確に画像をミラー上に投影しようとすると、画像はモニタ上で反転する必要がある。従って、モニタ10とミラー120に表示される画像を同じ向きにするために、ミラー120で反射されるモニタ、反転した画像を投影する必要があり、一回ミラー120で反射されれば、110に示された非反転画像と同じ画像となる。
図1の画像130に、この技術の問題点を示す。双方向コンソール101は、モニタ表示された実際の画像の反射像を示す。この反射像は、適切な向きを向いている。デスクトップ補助モニタ102は、双方向コンソール101の上部にあるモニタに表示されるものと同じ画像を示す。デスクトップモニタ102の画像は、コンソール101のミラーに見えるものに対して反転しており、見る者に対して有益でない、非双方向のデスクトップ作業空間になっている。
この問題を解決するために、双方向コンソール101とデスクトップモニタ102の両方が、同じ向きに表示することが必要である。問題をより深刻なものとしているのは、いくつかの双方向三次元視覚化システムは、ユーザーに深さ方向の手掛かりを与えるために、視覚化モデルの立体投影を利用していることである。立体視覚化の利用は、三次元モデルを実際に操作するユーザーの感覚を増大させるので、「リーチイン」タイプの双方向性に対し、ユーザーが直感的に必要と認識することを増幅させる。しかし、デスクトップ画面で見ている人達にとって、上下逆に表示された平面画像を追うことよりも、上下逆に存在する立体画像を視覚的に理解することの方が困難であることが多い。従って、技術的な利益もまた、反転画像の有益性に対する矛盾を増大させ、反転画像問題を悪化させる。さらに、単にVGAビデオスプリッターを使用するだけでは、この問題を解決することができない。通常のVGAビデオスプリッターは、単に入力信号を二つに分裂する。この装置は、例えば1つ以上の軸でミラーリングをするといった、高度な信号操作はできない。さらに、すべてのスプリットしたビデオの信号品質が劣化する。
その代わりに、例えばテレプロンプターシステムで利用されている一軸上で反転することのできるより巧妙なビデオコンバータがあるが、それらはサポートする垂直周波数と画面解像度との両方の制限を受ける。一般に、サポートされる最大の垂直周波数は85Hzである。残念ながら、ステレオシーンは、フリッカーを避けるために垂直周波数90Hzか、それ以上で見ることが必要である。
垂直周波数又はリフレッシュレートとしてより知られているものは、ヘルツ単位で測定される。これは、一秒あたりに表示されるフレーム数を意味する。一つのフレームから次までの間に著しい遅延があったときに、フリッカーが生じる。この間隔は、肉眼で感知できるものである。人のフリッカーに対する感受性は、像の明るさによって変化するが、平均的には、フリッカーの認知度は、40Hzかそれ以上で受け入れるレベルにまで落ちる。目にとって最適のリフレッシュレートは、50〜60Hzである。従って、立体視のためには、リフレッシュレートは少なくとも50×2=100Hz必要である。
高性能ビデオコンバータは、要求によって垂直周波数が制限されている。コンバータへの入力としては、より高いリフレッシュレートへの要求は無く、85Hz以下のリフレッシュレートである。テレプロンプター(下を参照)は、立体視を必要としない。テレプロンプターは、ニュースキャスターにセリフを教えるために、文字を表示する。テレプロンプターシステムの例として図1Aを示す。そこでは、画面が垂直に(X軸まわりに)反転しているのがわかる。
この問題に対する他の可能性のある解決策は、X又はY軸回りに画面を反転可能なアクティブステレオプロジェクターにステレオVGA信号を送ることと、前記信号をモニタ送るか又は画面上に投影することである。このようなプロジェクタは、高価(かつ重くかさばっている)か、その装置自体の解像度で制限されている(例えば、InfocusDepthQプロジェクタは800×600しかない)。
理論的には、120Hz以上の入力ステレオVGA信号を反転して、同じ周波数で出力できるビデオコンバータをカスタムメイドすればよいが、このようなカスタムメイドは高価であり実用的ではない。
上記可能な解決策は、全体として非現実的か、大掛かりなものになるか、法外に高価であるとすれば、必要とされるものは、同じリアルタイム三次元レンダリングをマルチビューで表示する方法であって、各ビューは、それぞれ異なる表示パラメータを満足し、ユーザーが必要とするものである。
本発明の実施例において、各三次元立体場面とリアルタイム表現と対話性とが維持される複合ビューが提供される。さらに、このようなシステム例は、取り扱いやすく、配置が容易で、比較的安価である。
本発明の実施例において、単一の(三次元又は二次元)レンダリングから、リアルタイムに(独立的に平面的および又は立体的な)複合ビューを生成するシステムが提供できる。このようなビューは、任意の後処理とディスプレイの最適化によって、相対的に反転像を必要に応じて出力できる。
本発明の実施例において、三次元立体場面は歪めることなく保存でき、システムは遅延なくリアルタイムに双方向で動作し、これらの機能を達成するために大掛かりな装置は必要としない。さらに、カスタマイズされたコンバータは不要であるため、このような実施は経済的である。
本発明の実施例において、立体像のペアは、ユーザーの必要に応じて後から処理でき、それによって立体像のペアは、垂直又は水平方向に反転できる。平面モードも立体モードも、同時にサポートされ、(ページ反転、アナグリフ、自動立体視等の)ハイブリッド立体モードも、ひとつのシステムで同時にサポートされる。
さらに、ステレオペアを少人数のクライアントにデータネットワークを通して送ることができ、代替的な立体視モードで実現できる。本発明に係るシステムの例は、デスクトップと双方向コンソールの両方に開放され、一度デスクトップ上に正しい向きで表示されれば、一人のユーザーが例えばDextroscope(登録商標)(後述する代表的な三次元双方向視覚化システム)上のオブジェクトを双方向に取り扱い、別のユーザーが同じ三次元モデルをデスクトップ画像を介して、例えばマウスや他の入力デバイスを用いて双方向に取り扱う。これは、双方向操作のない単なる観察者としてのデスクトップユーザーに比べてかなりの進歩である。
[システム汎用性概観]
図3は、本発明の実施例に係る代表的なシステムレベルの図である。動作において、データは図の左から右に向かって流れる。
図3は、本発明の実施例に係る代表的なシステムレベルの図である。動作において、データは図の左から右に向かって流れる。
図3を参照して、310でレンダリングのためのデータは、レンダリングエンジン320に入力される。レンダリングエンジン320から、例えばCRT330、自動立体視液晶340、又は平面視プロジェクタ350といった複合ディスプレイ出力にデータは移動する。このように、本発明の実施例において、データセットは一度レンダリングされ、同時に複合ディスプレイ上に表示される。
図4は、本発明の実施例に係るプロセスフローである。まず401でデータは例えばモデルから投影像のステレオペアを計算するレンダリングエンジン410に入力される。
既知のように、およそ6〜7センチメートル離れた人間の目は、脳に2枚のわずかに異なるイメージを提供する。このように、ステレオペアは2つの異なる視点から見た2枚のイメージで構成される。脳は、立体の知覚によって、深さの感覚を得るようにステレオペアを合成する。
投影は、三次元世界をマッピングする過程であって、その中のオブジェクトは、二次元イメージ上にある。透視投影において、三次元世界から来た仮想光線は、視点を通り、二次元投影面上にマップされる。これは、例えば図4Aに示すピンホールカメラモデルに類似している。目はそれぞれわずかに異なる視点から見るために、異なる投影画面を有する。
投影像のステレオペアを計算した後、レンダリングエンジン410は、左右イメージL411,R412をそれぞれ出力する。左右のイメージ411,412はポストシーンプロセッサ420に入力される。ポストシーンプロセッサ420は、例えばイメージのステレオペアを加工して様々なユーザーの要求を満たすように、シーン分配器450に蓄える。
ポストシーンプロセッサ420から、例えば異なる方式で加工したイメージのステレオペアを含む複合データストリームが出力される。例えば、431で左右イメージの垂直インターレースシーンが、シーン分配器に出力される。同様に、イメージのステレオペアは432でカラーアナグリフィックステレオに変換され、シーン分配器に出力される。最後に、例えば433で、裏返しのシーンが出力され、434で433と同じシーンが裏返しされずに出力される。
従って、図4に示すように、以下の代表的な出力がポストシーンプロセッサで生成される。
[431−左右画像の垂直インターレーシング]これは、図4Bに示すレンチキュラーレンズ技術に基づいた自動立体視モニタ立体視効果を得るために採用する形式である。
[432−アナグリフィックステレオ]最終イメージはRGBである。左側視野の情報は、赤チャンネルでエンコードされ、右側視野の情報は、緑と青のチャンネルでエンコードされる。赤−水色/赤−緑の眼鏡をかけると、赤いフィルタを付けた左目は赤チャンネルでエンコードされた情報を見て、水色フィルタを付けた右目は右側視野の情報を見る。アナグリフィックステレオは、三次元映画で一般的に用いられている。
[433と434−ページ反転ステレオ]これは、左右チャンネルが交互にフレームに現れるものである。例えば、Dextroscope(登録商標)は、ページ反転ステレオ又は垂直インターレーシングステレオのどちらかを用いることができる。どちらのタイプのステレオも、シャッター付き眼鏡を必要とする。垂直インターレーシングパターンは、図4Aで用いられているものと同様であるが、レンチキュラーレンズ技術は含まれていない。垂直インターレーシングは、立体視を実現するために、水平方向解像度の半分を犠牲にしている。一方で、ページ反転は、両目に対してフルスクリーン解像度を提供する。このように、ページ反転はより良質の立体視を提供する。
上述の代表的な立体視出力形式の大きな差異は、431がユーザーが見るために眼鏡を必要としないのに対して、432は赤―水色/赤−緑の眼鏡を、433と434はシャッター眼鏡を必要とすることである。
同じイメージのステレオペアの種々の出力431〜434を提供することで、種々のディスプレイと接続されたシーン分配器450は、適切な入力431〜434を適切なディスプレイ461〜464に送る。このように、例えば左右イメージの垂直インターレース431がシーン分配器450によって自動立体視ディスプレイ461に送られる。同様に、アナグリフィックステレオ432のために変換されたシーンが、シーン分配器450によってLCD462に送られる。最後に、反転と非反転のデータストリームからなる出力ストリーム433、434が、それぞれDextroscope(登録商標)タイプの装置に送られ、そこで反転データストリームは、双方向コンソール463のミラー上に投射され、非反転データストリームが補助のデスクトップコンソール464に送られて、双方向コンソールのユーザーの同僚が見ることができるようにしている。最後に、アナグリフィックデータストリーム432又は非反転データストリーム434は、代替的に通常の又は立体視のプロジェクタ465に送られて、複数の人間が見ることができるようにする。
[Nvidia Quadro FXカードを備えたワークステーションを用いた実施例]
図5に、二つの異なるディスプレイ出力に送られる単一のレンダリングを含む本発明の実施例に係る実施の例を示す。一つのディスプレイ出力541は、平面的で直立しており、即ち非反転であり、もう一つのディスプレイ出力は、アナグリフィック赤―緑立体視ディスプレイ用である。示された実施例は、例えばNvidia Quadro FXカードを有するワークステーションで用いられる。
図5に、二つの異なるディスプレイ出力に送られる単一のレンダリングを含む本発明の実施例に係る実施の例を示す。一つのディスプレイ出力541は、平面的で直立しており、即ち非反転であり、もう一つのディスプレイ出力は、アナグリフィック赤―緑立体視ディスプレイ用である。示された実施例は、例えばNvidia Quadro FXカードを有するワークステーションで用いられる。
図5を参照して、グラフィックスカード500とシーン分配器520の内部で生じる処理と、その結果としての出力541、542を示す。
グラフィックスカード500内には、レンダリングエンジン501とポストシーンプロセッサ510がある。レンダリングエンジン501は、入力されたデータから一つの左側イメージと一つの右側イメージとを生成する。このような入力データは、例えば図4の401や図3の310である。左側と右側のイメージは、例えば図4のようにレンダリングエンジンによってポストシーンプロセッサに出力され、そこで左側イメージと右側イメージとは、アナグリフィック、垂直反転、平面データストリームの各々に変換される。
これらの二つのデータストリームは、例えばグラフィックカードからグラフィックカードの外部のシーン分配器に出力されて、そこで加工されたイメージのステレオペアを受け取り、グラフィックカードに戻して、適切なディスプレイに出力する。このように、例えばシーン分配器520は、双方向コンソール出力のためのイメージ、即ちアナグリフィックや垂直反転データストリームを要求し、それらを出力ポート532を介して双方向コンソール出力542に送る。同様に、シーン分配器520は、デスクトップ出力541のためのイメージ、即ち平面イメージを要求し、それを出力ポート531を介してデスクトップ出力541へ送る。
図6は、どのように1024×1536の画面を、本発明の実施例に係る2つの異なるビューに配分しているかを示している。ここで例えば画面領域610は、二つの1024×768の解像度のサブ画面領域に分割され、そのうちのひとつ620は、双方向コンソールにおいてミラーを介して反転イメージを生成するために用いられ、他のサブ画面630は、デスクトップモニタの垂直イメージを生成するために用いられる。
図4には、種々の可能な出力データストリームが示されているが、これらはすべて同時にサポートされる必要がないことに注意すべきである。3又は4つのビューがグラフィックカード上のディスプレイチャンネル入力に対して可能である。現在のところ、しかし、グラフィックスカードは、一般的に2チャンネルの入力のみ可能である。
このように、2チャンネルグラフィックカードを用いて、実施例のシステムは以下のデータストリームセットを有する。
双方向コンソール − ページ反転/アクティブステレオ
デスクトップコンソール − 平面視
双方向コンソール − ページ反転/アクティブステレオ
デスクトップコンソール − アナグリフステレオ
双方向コンソール − アナグリフステレオ
デスクトップコンソール − ページ反転/アクティブステレオ
双方向コンソール − アナグリフステレオ
デスクトップコンソール − 平面視
双方向コンソール − ページ反転/アクティブステレオ
デスクトップコンソール − 平面視
双方向コンソール − ページ反転/アクティブステレオ
デスクトップコンソール − アナグリフステレオ
双方向コンソール − アナグリフステレオ
デスクトップコンソール − ページ反転/アクティブステレオ
双方向コンソール − アナグリフステレオ
デスクトップコンソール − 平面視
図6は、二つの出力データストリームと対応しており、例えば一つが反転、もう一つが非反転である。二つ以上の出力データストリームを収容するために、より多くの画面領域が利用できる。しかし、これはもし所望の画面解像度がステレオ視に必要なリフレッシュレートにおいてサポートされた場合のみ役に立つ。このように、単にビデオカードのメモリーの問題ではなく、ビデオカードの構成の問題であり、ディスプレイ出力装置(モニターやプロジェクタ)がその構成をサポートするかどうかの問題である。ビデオカードのサポートする画面解像度には限界があり、リフレッシュレートもまた大きな役割を有する。例えば、120Hzで2048×2048は、現在の技術において実用的ではない。
[一つのステレオペアを用いたNvidla Quadro FXカードを装備した三次元双方向視覚化システムの実施例]
[初期化]
1. 垂直方向にスパンを有する適切な画面領域を設定する(垂直方向に限定されるものではなく、水平方向や他の組み合わせであっても良い)。例えば1024×1536で120Hzのデスクトップ。
2. オフスクリーンの画素バッファの、一つは左側イメージ、もう一つは右側イメージのための生成。
3. 二次元構造イメージとして使用されるためのオフスクリーン画素バッファの設定。
4. デスクトップと双方向コンソールの両方のためのウインドウの生成。
[初期化]
1. 垂直方向にスパンを有する適切な画面領域を設定する(垂直方向に限定されるものではなく、水平方向や他の組み合わせであっても良い)。例えば1024×1536で120Hzのデスクトップ。
2. オフスクリーンの画素バッファの、一つは左側イメージ、もう一つは右側イメージのための生成。
3. 二次元構造イメージとして使用されるためのオフスクリーン画素バッファの設定。
4. デスクトップと双方向コンソールの両方のためのウインドウの生成。
二次元構造イメージとして使用されることは、最新式のグラフィックスカードの能力に関係している。かつては、オフスクリーンレンダリングをするためには、一般的にフレームバッファ内で使用する前に、オフスクリーンレンダリングを二次元構造として結びつけることが必要であり、これには時間を要した。最新式のグラフィックスカードは、オフスクリーン画素バッファを、ニ次元構造として直ちに用いるに適した形式でフレームバッファに割り当てることを可能にしている。それはすでにフレームバッファメモリ内に常駐しているため、時間のかかるメインメモリからグラフィックスメモリへの移動を必要でないものにしている。
[(レンダリングエンジンにおける)左側と右側イメージのためのレンダリング]
1. 左目のために画素バッファを作動する。
2. 左目のためにプロジェクションマトリックスを設定する。
3. 左目のためにモデルビューマトリックスを設定する。
4. 左目のためのシーンを画素バッファにレンダリングする。
5. 右目のために画素バッファを作動する。
6. 右目のためにプロジェクションマトリックスを設定する。
7. 右目のためにモデルビューマトリックスを設定する。
8. 右目のためのシーンを画素バッファにレンダリングする。
9. イメージ操作(イメージ反転、グレースケール変換等)のために、左と右両方のイメージをポストプロセッサに送る。
10.最終イメージをシーン分配器に送る。
11.ディスプレイ出力に出力する。
1. 左目のために画素バッファを作動する。
2. 左目のためにプロジェクションマトリックスを設定する。
3. 左目のためにモデルビューマトリックスを設定する。
4. 左目のためのシーンを画素バッファにレンダリングする。
5. 右目のために画素バッファを作動する。
6. 右目のためにプロジェクションマトリックスを設定する。
7. 右目のためにモデルビューマトリックスを設定する。
8. 右目のためのシーンを画素バッファにレンダリングする。
9. イメージ操作(イメージ反転、グレースケール変換等)のために、左と右両方のイメージをポストプロセッサに送る。
10.最終イメージをシーン分配器に送る。
11.ディスプレイ出力に出力する。
図4Aに示すように、プロジェクションマトリックスは、4×4のマトリックスで、三次元のシーンが二次元投影面上にマッピングされる。それが、左目、右目のそれぞれのためにプロジェクションマトリックスを設ける理由である(上記2、3参照)。モデル/ビューマトリックス(上記3、7参照)は、三次元シーンを視空間に変換する。この空間において、視点は原点に位置する。
[一つの完全なステレオシーン(左と右)を表示するための擬似コードの例]
本発明の実施例において、一つの完全なステレオシーンを実施するために、例えば以下の擬似コードが用いられる。
// 双方向コンソールウインドウのためのディスプレイループ
Foreach Display frame do
{
switch (DisplayMode)
{
//see Display Sub-routines
case pageflipping stereo : DisplayStereoPageFlipping
case red green stereo : DisplayStereoRedGreen
case mono : DisplayStereoMono
}
}
本発明の実施例において、一つの完全なステレオシーンを実施するために、例えば以下の擬似コードが用いられる。
// 双方向コンソールウインドウのためのディスプレイループ
Foreach Display frame do
{
switch (DisplayMode)
{
//see Display Sub-routines
case pageflipping stereo : DisplayStereoPageFlipping
case red green stereo : DisplayStereoRedGreen
case mono : DisplayStereoMono
}
}
// デスクトップウインドウのためのディスプレイループ
Foreach Display frame do
{
Set up orthogonal projection
switch (DisplayMode)
{
case pagefiipping stereo : PasteTextureStereoPageFlipping (mirror yes)
case red green stereo : PasteTextureStereoRedGreen (mirror yes)
case mono : PasteTextureMono (mirror yes)
}
}
Foreach Display frame do
{
Set up orthogonal projection
switch (DisplayMode)
{
case pagefiipping stereo : PasteTextureStereoPageFlipping (mirror yes)
case red green stereo : PasteTextureStereoRedGreen (mirror yes)
case mono : PasteTextureMono (mirror yes)
}
}
ここで、orthogonal projectionは、三次元オブジェクトを二次元で表現する手段に関する。それには、オブジェクトの中心回りに90度回転させた観点から、オブジェクトの複合ビューを用いている。同様な意味合いで、前記ビューは、オブジェクトをその中心回りに90度回転させることで得られたと言える。これは、観察者に深さ方向の感覚を与えるものではない。厚みを見るのは、図7に示すように、遠近法に拠らない。三次元双方向視覚化システムは、一般的に本質的に透視投影を利用するものであるが、ここでは生地イメージが画面上に平坦に貼り付けられるように、単に正射投影が設定されている。
プログラム内のmirror yesは、イメージの反転が望ましいという指示に関連している。図2の実施例や、図4の433、434において、双方向コンソールのイメージは、レンダリングされた最初のイメージであって、デスクトップコンソールのイメージは、実際に反転されたイメージである。
// ディスプレイ サブルーチン
DisplayMono
{
foreach eye [left]
{
SetCurrentBuffer(pixelbuffer[eye])
SetProjection Matrix(eye)
SetModelViewMatrix(eye)
RenderScene(eye)
SetCurrentBuffer(framebuffer)
Set Orthogonal projection.
Bind pixelbuffer[eye] as texture
PasteTextureMono(mirror no) // mirror no == not to flip
Release pixelbuffer[eye] as texture.
}
}
DisplayMono
{
foreach eye [left]
{
SetCurrentBuffer(pixelbuffer[eye])
SetProjection Matrix(eye)
SetModelViewMatrix(eye)
RenderScene(eye)
SetCurrentBuffer(framebuffer)
Set Orthogonal projection.
Bind pixelbuffer[eye] as texture
PasteTextureMono(mirror no) // mirror no == not to flip
Release pixelbuffer[eye] as texture.
}
}
上記擬似コードの実施例において、framebufferは、グラフィックスレンダリングを実施するために割り当てられたビデオカード内のメモリースペースに関する。pixelbufferは、画面外の領域に関し、画面上の表示を意味しない。CurrentBufferは、続いて起こる描画コマンドが影響を及ぼす目標とするバッファを特定する。フローは以下のようになる。pixelbufferがCurrentBufferとして作成され、シーンは、画面上で視認されないこのバッファ内にレンダリングされる。次に、framebufferがCurrentBufferとして作成され、pixelbufferはframebufferに貼り付けられるテクスチャとして使用される。従って次に画面上に見えるものは、framebufferから導出される。
DisplayStereoRedGreen
{
SetCurrentBuffer(pixelbuffer[left])
foreach eye [ left, right]
{
SetProjectJonMatrix(eye)
SetModelViewMatrix(eye)
RenderScene(eye)
}
SetCurrentBuffer(framebuffer)
Set Orthogonal projection.
Bind pixelbuffer[left] as texture
Convert texture to grayscale.
PasteTextureMono(mirror no)
Release pixelbuffer[left] as texture.
}
{
SetCurrentBuffer(pixelbuffer[left])
foreach eye [ left, right]
{
SetProjectJonMatrix(eye)
SetModelViewMatrix(eye)
RenderScene(eye)
}
SetCurrentBuffer(framebuffer)
Set Orthogonal projection.
Bind pixelbuffer[left] as texture
Convert texture to grayscale.
PasteTextureMono(mirror no)
Release pixelbuffer[left] as texture.
}
DisplayStereoPageFlipping
{
foreach eye [ left, right]
{
SetCurrentBuffer(pixelbuffer[eye])
RenderScene(eye)
SetCurrentBuffer(framebuffer[eye])
Set Orthogonal projection.
Bind pixelbuffer[eye] as texture
PasteTextureStereoPageFlipping(mirror no)
Release pixelbuffer[eye] as texture.
)
}
{
foreach eye [ left, right]
{
SetCurrentBuffer(pixelbuffer[eye])
RenderScene(eye)
SetCurrentBuffer(framebuffer[eye])
Set Orthogonal projection.
Bind pixelbuffer[eye] as texture
PasteTextureStereoPageFlipping(mirror no)
Release pixelbuffer[eye] as texture.
)
}
本発明は、図2に示すように、デスクトップモニタで正しい向きで立体的に見るという基本的な目標を解決する方法を与えるものである。この解決策を開発するにあたり、ソフトウエアで解決することが現実的であることが判った。与えられた一般的なグラフィックスカードのハードウエアの能力で、テクスチャをレンダリングすることは、シーンを2度レンダリングする必要が無いので、可能性の高い解法である。さらに、このようなテクスチャは、上述のように、複合ステレオモードの柔軟性を増す。
従って、従来技術においてこの問題を解決するために、ソフトウエアで二つの異なるイメージを二つの異なるモニタ描画することが必要であった。これは、論理的な画面領域を二つのモニタ割り当てることを意味した。もし垂直スパンが選択された場合(本発明の実施例においては、水平スパンも選択可能であるが)、中規模のLCDモニタデスクトップコンソールとして容易に用いることができる。CRTとLCDの組み合わせは、1024×1536(768+768)で120Hz(垂直スパン)で可能であるが、2048×768で120Hz(水平スパン)は、おそらく不可能である。より高価なハイエンドLCDモニタ水平スパンの場合に必要であり、代替的な実施例において望まれる。
本発明の実施例においては、ハードウエア(グラフィックスカード)と同様にソフトウエアも利用して、既知の技術を利用してレンダリングスピードを最適化することが望ましい。
本発明の実施例においては、ハードウエア(グラフィックスカード)と同様にソフトウエアも利用して、既知の技術を利用してレンダリングスピードを最適化することが望ましい。
[システム構成例]
本発明は、データプロセッサ上で実行するソフトウエアに実装できるし、一つ以上の専用チップ内のハードウエアに実装できるし、又はこれらの組み合わせに実装できる。システム構成例としては、例えば、立体視ディスプレイ、データプロセッサ、双方向ディスプレイのコントロールコマンドや機能が割り当てられた一つ以上のインターフェース、一つ以上のメモリーや記憶装置と、グラフィックプロセッサと関連したシステムが含まれる。例えば、RadioDexter(登録商標)のソフトウエアを走らせるシンガポールのVolume Interactions Pte Ltd社のDextroscope(登録商標)やDextrobeam(登録商標)のシステム、その他類似の又は機能的に等価な三次元データセット双方向視覚化システムは、本発明の方法が容易に実施できるシステムである。本発明の実施例は、先行技術から既知の適切なデータプロセッサで実行できる命令のソフトウエアプログラムのモジュールとして実施できる。ソフトウエアプログラム例は、例えばハードドライブやフラッシュメモリやメモリスティックや光学記録メディアといった従来から既知の記憶装置に保存できる。このようなプログラムが適切なデータプロセッサのCPUからアクセスされ、実行されると、本発明の実施例に示したように、三次元データディスプレイ上にチューブ状構造の三次元コンピュータモデルが表示される上述の方法が実施される。
本発明は、データプロセッサ上で実行するソフトウエアに実装できるし、一つ以上の専用チップ内のハードウエアに実装できるし、又はこれらの組み合わせに実装できる。システム構成例としては、例えば、立体視ディスプレイ、データプロセッサ、双方向ディスプレイのコントロールコマンドや機能が割り当てられた一つ以上のインターフェース、一つ以上のメモリーや記憶装置と、グラフィックプロセッサと関連したシステムが含まれる。例えば、RadioDexter(登録商標)のソフトウエアを走らせるシンガポールのVolume Interactions Pte Ltd社のDextroscope(登録商標)やDextrobeam(登録商標)のシステム、その他類似の又は機能的に等価な三次元データセット双方向視覚化システムは、本発明の方法が容易に実施できるシステムである。本発明の実施例は、先行技術から既知の適切なデータプロセッサで実行できる命令のソフトウエアプログラムのモジュールとして実施できる。ソフトウエアプログラム例は、例えばハードドライブやフラッシュメモリやメモリスティックや光学記録メディアといった従来から既知の記憶装置に保存できる。このようなプログラムが適切なデータプロセッサのCPUからアクセスされ、実行されると、本発明の実施例に示したように、三次元データディスプレイ上にチューブ状構造の三次元コンピュータモデルが表示される上述の方法が実施される。
前述した実施形態は本発明の代表的な形態を示したに過ぎず、本発明は、実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
Claims (13)
- 三次元モデルからプロジェクションのステレオペアを生成するステップと、
表示モード情報を受け取るステップと、
プロジェクションの前記ステレオペアを、前記表示モード情報に応じて加工して出力データストリームを生成するステップと、
各データストリームを適切な表示装置に分配するステップとからなる三次元レンダリングの二つ以上のビューを実質的に同時に表示する方法。 - 前記表示モードが、自動ステレオディスプレイ、アナグリフィックステレオディスプレイ、反射装置のディスプレイ、ステレオモニターディスプレイの中の少なくとも二つを含むことを特徴とする請求項1記載の方法。
- 前記表示モード情報が、シーン分配器に記憶され、前記シーン分配器の動作時に、表示モードリクエストをポストシーンプロセッサに送ることを特徴とする請求項1記載の方法。
- 前記出力データストリームが、垂直インターレースされた左右のチャンネルと、アナグリフィックステレオと、ページ反転ステレオを含むことを特徴とする請求項1記載の方法。
- レンダリングエンジンと、
前記レンダリングエンジンと伝達可能に接続されたポストシーンプロセッサと、
前記ポストシーンプロセッサと伝達可能に接続された一つ以上の表示装置と、からなる三次元レンダリングの2以上のビューを実質的に同時に表示するシステムであって、
動作時に、前記レンダリングエンジンは三次元モデルの二次元プロジェクションを生成し、前記ポストシーンプロセッサは、種々の形式のディスプレイのために前記プロジェクションを加工することを特徴とするシステム。 - 前記レンダリングエンジンがステレオディスプレイのために一対のステレオプロジェクションを生成することを特徴とする請求項5記載のシステム。
- 前記シーン分配器が、各ビューに関連した表示パラメータを記憶する構成となっていることを特徴とする請求項5記載のシステム。
- 前記シーン分配器が、前記ポストシーンプロセッサから一つ以上の表示装置の要求に合致したデータストリームを要求することを特徴とする請求項5記載のシステム。
- 画面メモリーを複数の等しい面積の領域に分割するステップと、
各領域に一つのイメージを割り当てるステップと、
各イメージを一つの表示装置に割り当てるステップと、
定義された表示パラメータに従って各イメージを加工するステップと、
割り当てられた画面メモリーに記憶された各イメージを割り当てられた表示装置上で表示するステップとからなる、一つのボリュームレンダリングの複合ビューを表示する方法。 - 前記ボリュームレンダリングが二つのビューを有することを特徴とする請求項9記載の方法。
- 前記二つのビューが互いにステレオ映像であり、一つは反転してミラーに表示し、もう一つは非反転でモニタに表示するものであることを特徴とする請求項10記載の方法。
- 反転したデータストリームが双方向コンソールに送られ、非反転のデータストリームが前記双方向コンソールに隣接したデスクトップコンソールに送られることを特徴とする請求項11記載の方法。
- コンピュータが読み取り可能なプログラムコードを内蔵するコンピュータが利用可能な媒体を備えたコンピュータプログラム製品であって、
前記コンピュータが読み取り可能なプログラムコードは、コンピュータに、
三次元モデルからプロジェクションのステレオペアを生成させ、
表示モード情報を受け取らせ、
前記表示モード情報に従って前記プロジェクションのステレオペアを加工させて出力データストリームを生成させ、
各データストリームを適切な表示装置に分配させるための手段を備えることを特徴とするコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63119604P | 2004-11-27 | 2004-11-27 | |
US74022105P | 2005-11-26 | 2005-11-26 | |
PCT/EP2005/056279 WO2006056616A1 (en) | 2004-11-27 | 2005-11-28 | Systems and methods for displaying multiple views of a single 3d rendering ('multiple views') |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008522270A true JP2008522270A (ja) | 2008-06-26 |
Family
ID=35636792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007542003A Withdrawn JP2008522270A (ja) | 2004-11-27 | 2005-11-28 | 単体三次元レンダリングの複合ビュー表示のためのシステムと方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060164411A1 (ja) |
EP (1) | EP1815694A1 (ja) |
JP (1) | JP2008522270A (ja) |
CA (1) | CA2580447A1 (ja) |
WO (1) | WO2006056616A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141753A (ja) * | 2010-12-28 | 2012-07-26 | Nintendo Co Ltd | 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7563228B2 (en) * | 2005-01-24 | 2009-07-21 | Siemens Medical Solutions Usa, Inc. | Stereoscopic three or four dimensional ultrasound imaging |
WO2011028024A2 (en) * | 2009-09-03 | 2011-03-10 | Lg Electronics Inc. | Cable broadcast receiver and 3d video data processing method thereof |
JP5572437B2 (ja) * | 2010-03-29 | 2014-08-13 | 富士フイルム株式会社 | 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US9224240B2 (en) * | 2010-11-23 | 2015-12-29 | Siemens Medical Solutions Usa, Inc. | Depth-based information layering in medical diagnostic ultrasound |
JP5730634B2 (ja) | 2011-03-24 | 2015-06-10 | オリンパス株式会社 | 画像処理装置 |
US9251766B2 (en) | 2011-08-03 | 2016-02-02 | Microsoft Technology Licensing, Llc. | Composing stereo 3D windowed content |
WO2013169327A1 (en) * | 2012-05-07 | 2013-11-14 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Medical device navigation system stereoscopic display |
US20140184600A1 (en) * | 2012-12-28 | 2014-07-03 | General Electric Company | Stereoscopic volume rendering imaging system |
US9225969B2 (en) | 2013-02-11 | 2015-12-29 | EchoPixel, Inc. | Graphical system with enhanced stereopsis |
KR20140136701A (ko) * | 2013-05-21 | 2014-12-01 | 한국전자통신연구원 | 선택적 하이브리드 형태의 입체영상 시각장치 및 이를 이용한 디스플레이 방법 |
WO2015036872A2 (en) * | 2013-09-10 | 2015-03-19 | Calgary Scientific Inc. | Architecture for distributed server-side and client-side image data rendering |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477284B2 (en) * | 1999-09-16 | 2009-01-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for capturing and viewing stereoscopic panoramic images |
AU2001275308A1 (en) * | 2000-06-06 | 2001-12-17 | Frauenhofer Institut Fuer Graphische Datenverarbeitung | The extended virtual table: an optical extension for table-like projection systems |
US6765568B2 (en) * | 2000-06-12 | 2004-07-20 | Vrex, Inc. | Electronic stereoscopic media delivery system |
JP2002095018A (ja) * | 2000-09-12 | 2002-03-29 | Canon Inc | 画像表示制御装置及び画像表示システム、並びに画像データの表示方法 |
US6778181B1 (en) * | 2000-12-07 | 2004-08-17 | Nvidia Corporation | Graphics processing system having a virtual texturing array |
CA2380105A1 (en) * | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
US7643025B2 (en) * | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
-
2005
- 2005-11-28 US US11/288,876 patent/US20060164411A1/en not_active Abandoned
- 2005-11-28 CA CA002580447A patent/CA2580447A1/en not_active Abandoned
- 2005-11-28 JP JP2007542003A patent/JP2008522270A/ja not_active Withdrawn
- 2005-11-28 WO PCT/EP2005/056279 patent/WO2006056616A1/en active Application Filing
- 2005-11-28 EP EP05810927A patent/EP1815694A1/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141753A (ja) * | 2010-12-28 | 2012-07-26 | Nintendo Co Ltd | 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
WO2006056616A1 (en) | 2006-06-01 |
CA2580447A1 (en) | 2006-06-01 |
US20060164411A1 (en) | 2006-07-27 |
EP1815694A1 (en) | 2007-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7563228B2 (en) | Stereoscopic three or four dimensional ultrasound imaging | |
Hirose et al. | Development and evaluation of the CABIN immersive multiscreen display | |
CN102520787B (zh) | 实时空间三维呈现系统及方法 | |
WO2010084724A1 (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
JP2008522270A (ja) | 単体三次元レンダリングの複合ビュー表示のためのシステムと方法 | |
CN102005062A (zh) | 用于三维立体显示的三维图像的产生方法及装置 | |
CN103635952A (zh) | 基于时域心理视觉调制的图像/信息显示系统及方法 | |
US20140300713A1 (en) | Stereoscopic three dimensional projection and display | |
US11727645B2 (en) | Device and method for sharing an immersion in a virtual environment | |
WO2007085194A1 (fr) | Dispositif d'affichage d'image stéréo faisant appel à un obturateur à cristaux liquides et procédé d'affichage de ce dernier | |
CN102063735B (zh) | 通过改变视点角度制作三维图像源的方法和装置 | |
JP2010171628A (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
CN107948631A (zh) | 一种基于集群和渲染的裸眼3d系统 | |
JP2006115151A (ja) | 立体表示装置 | |
Wu et al. | Backward compatible stereoscopic displays via temporal psychovisual modulation | |
Sexton et al. | Parallax barrier 3DTV | |
Tanaka et al. | Twister: an immersive autostereoscopic display | |
TWI430257B (zh) | 多層景深立體顯示器影像處理方法 | |
CN107517371A (zh) | 旋转面板显示三维立体图像系统和显示方法 | |
Kakeya | Real-image-based autostereoscopic display using LCD, mirrors, and lenses | |
Aoyama et al. | 48‐5: Eye‐sensing Light Field Display for Spatial Reality Reproduction | |
JP2005175539A (ja) | 立体映像表示装置及び映像表示方法 | |
JP3114119B2 (ja) | 立体映像表示装置 | |
Delaney | Forget the funny glasses [autostereoscopic display systems] | |
Lipton | Future of autostereoscopic electronic displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090203 |