JP7339278B2 - 視聴者に合わせて調整された立体画像表示 - Google Patents

Description

本出願は、２０１７年８月３０日に出願された米国仮特許出願第６２／５５１，９４２号および２０１８年２月８日に出願された米国仮特許出願第６２／６２７，８２５号の優先権を主張し、その内容は参照により本明細書に組み込まれる。

本出願は、立体画像表示に関する。

立体ビデオまたは映画撮影は芸術である。最高の３Ｄ効果で再生するための左右のビデオストリームを取得するカメラの配置は、簡単な作業ではない。カメラの配置には、映画館および視聴者の配置の知識、ならびにそのような視聴条件下でほとんどの人が３Ｄをどのように知覚するかについての理解が必要である。立体映画撮影の分野では、２つのカメラを光軸が収束するように配置することが一般的に認められており、これにより、最高の３Ｄ効果が得られる。カメラ間隔および輻輳角は、表示スクリーンからの視聴者の平均距離、目の平均間隔、スクリーンの中心に対する平均視聴位置の知識に基づいて選択される。これらの視聴条件が守られない場合、３Ｄエクスペリエンスの品質を損なう。

視聴条件が、立体映画撮影技師によって本来意図されたものから変更されるべきである場合、新しい視聴条件のために立体ビデオを再フォーマットすることが当技術分野で既知である。通常、再フォーマットには、立体画像ペアを分析して個々のピクセルの深度を決定し、次に、元の画像および深度情報を使用して立体画像ペアを生成して、新しい視聴条件に好適な立体画像ストリームを再作成できるようにすることを伴う。このような再フォーマットは計算量が多く、新しい視聴条件で実行される。視聴条件が変化すると、計算量の多い処理が繰り返される。

出願人は、平行非収束カメラの使用によって引き起こされる３Ｄエクスペリエンスの品質の潜在的な損失が、そのような立体ビデオが単一スクリーン上の視聴者の視聴条件に合わせて再フォーマットされるときの３Ｄエクスペリエンスの品質の向上によって克服されることを発見した。

したがって、単一スクリーン上に新しい視聴条件の立体ビデオを提供するために、スケーリングおよびトリミングによって元の視聴条件下で視聴するように提供された、元の立体画像ペアを処理する再生装置が提供される。

上述のような立体画像の再フォーマットを回避するために、第１の視野での表示を本来意図した立体画像を、第２の視野を有する新しい単一ディスプレイ上に表示することが可能である。

出願人は更に、通常は視聴に使用されると予想されるより広い視野を備えた平行軸カメラを使用して３Ｄ画像を取得および保存すると、より広い範囲の視聴条件で視聴する場合、視聴装置（または視聴システム内）で記録された３Ｄ画像を処理できるという利点があることを発見した。

広範な態様は、単一スクリーン上で視聴者に表示するための立体画像を処理する方法であり、立体画像は、第１の視野を有する平行軸カメラを使用して撮影される。本方法は、単一スクリーンによって提供される第２の視野の定義と、視聴者の眼間距離Ｉｏと、視聴者と単一スクリーンとの間の距離と、を使用して、立体画像を配置およびスケーリングすることを含み、これにより、第１の視野に対する視聴者からの距離で、単一スクリーン上に画像を表示し、スクリーンに対してスケーリングされた立体画像がスクリーンよりも大きい場合、スクリーンに対して画像をトリミングし、およびスクリーンに対してスケーリングされた立体画像がスクリーンよりも小さい場合、スクリーンに対して画像に境界を提供する。

いくつかの実施形態では、本方法は、立体画像内のズームウィンドウを選択して、第１の視野を変更することを更に含んでもよく、立体画像は、変更された第１の視野に対してスケーリングされ得る。

いくつかの実施形態では、ズームウィンドウは、立体画像の中心からオフセットされて、立体画像内の関心領域を視聴することができるようにし得る。

いくつかの実施形態では、視聴者入力は、立体画像を視聴しながらオフセットを動かすために使用されてもよい。

いくつかの実施形態では、立体画像は静止画像であってもよい。

いくつかの実施形態では、立体画像はビデオ画像であってもよい。

いくつかの実施形態では、立体画像は、組み合わされたアナグリフ形式画像に変換されてもよい。

いくつかの実施形態では、立体画像は、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換されてもよい。

いくつかの実施形態では、立体画像は、シャッター眼鏡で視聴するように一連のページフリップ画像に変換されてもよい。

いくつかの実施形態では、立体画像は、偏光ディスプレイ用に一連のラインインターリーブに変換されてもよい。

いくつかの実施形態では、本方法は、単一スクリーンによって提供される第２の視野の定義を取得するように、ユーザ入力を取得することを含んでもよい。

いくつかの実施形態では、本方法は、単一スクリーンによって提供される第２の視野の定義を取得するように、センサデータを取得することを含んでもよい。

いくつかの実施形態では、立体画像は、遠方のオブジェクトの右目画像と左目画像との間Ｉｏのオブジェクト間隔に対応するように、単一スクリーン上に配置されてもよい。

いくつかの実施形態では、視聴者は、複数の視聴者を含み、眼間距離Ｉｏは、複数の視聴者の中で最小の眼間距離であるように選択されてもよい。

いくつかの実施形態では、立体画像は、相対的なベースオフセットを使用して更にスケーリングおよび／または配置されて、最も遠方のオブジェクトがスクリーンにより近くに現れるようにし、および／または最も近いオブジェクトがスクリーンにより近くに現れるようにする。目的は、単一スクリーンに焦点を合わせるための眼の調節と、近いオブジェクトおよび／または遠いオブジェクトに焦点を合わせるための眼の調節との違いによる、起こり得る目の疲れを減らすことである。相対的なベースオフセットのこの更なるスケーリングおよび配置では、単一スクリーンの深度で現れるオブジェクトが同じ深度に現れるように維持することが可能である。

別の広範な態様は、単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、装置は、プロセッサと、プロセッサによって読み取り可能なメモリと、を備え、メモリは、本明細書で定義される方法を実行する命令を格納する、装置である。

別の広範な態様は、本明細書で定義される方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラム製品である。

本発明は、添付の図面を参照した本発明の実施形態の以下の詳細な説明によってよりよく理解されるであろう。

例示的な平行カメラシステムの図である。

上に左カメラ画像、下に右カメラ画像の図である。

拡大率が１であり、表示視野がキャプチャ視野よりも大きい視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。

スクリーンへの視聴距離による視野の変化を概略的に示す。

スクリーンサイズの変化に伴う、一定の視聴距離に対する視野の変化を概略的に示す。

拡大率が１であり、表示視野がキャプチャ視野よりも小さい視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。

拡大率が１．５であり、表示視野がキャプチャ視野とほぼ同じである視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。

拡大率が０．５であり、表示視野がキャプチャ視野とほぼ同じである視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。

例示的な平行カメラシステムの視差の計算に結び付けられた比率を示す図である。

ユーザの前に置かれたデュアル平行スクリーンＳ１およびＳ２の図である。

ユーザの前に置かれたデュアル平行スクリーンＳ１およびＳ２のオブジェクトＯｐの知覚距離を計算するための比率を示す図である。

実世界における幅知覚に対応する図である。

実世界および知覚された世界における、モノスコピック視による幅知覚に対応する図である。

立体システムのデュアルスクリーンの１つである左目のスクリーンの図であり、スクリーンに表示された画像の右半分を線が正確に占めている。

距離Ｄｒｎで実世界で知覚されるオブジェクトの比率を示す図である。

知覚された世界におけるデュアルスクリーンシステムの左スクリーン上でオブジェクトを知覚する方法を示す図である。

例示的な立体システムのデュアルスクリーンＳ１およびＳ２の図であり、Ｓ１およびＳ２は、右目と左目との間Ｉｏの想像上の線に垂直であり、Ｓ１およびＳ２は、それぞれ、左目の瞳孔および右目の瞳孔に中心がある。

ユーザの前に置かれたデュアル平行スクリーンＳ１およびＳ２の図である。

ユーザが視聴者の目から距離Ｄｓでデュアルスクリーンシステムに直面しているときにオブジェクトＯｐが知覚される場所に関連する異なる比率の図である。

デュアルスクリーンＳ１およびＳ２よりもユーザから離れて位置する２つの理論的に重なり合うスクリーンＳ１’およびＳ２’の図である。

デュアルスクリーンＳ１’およびＳ２’の少なくとも一部において、右目がオブジェクトＯｐを知覚する方法に結び付けられた比率を示す図である。

光軸近くの遠方の太陽および光軸に沿った中央部の木を含む左目カメラからの概略画像である。

左目カメラの光軸に対して平行軸を有する右目カメラからの概略画像であり、したがって、光軸と垂直配列された遠方の太陽、および左にオフセットされた中央部の木を示す。

デュアルスクリーンＳ１およびＳ２よりもユーザから離れて位置する２つの重なり合うセクションＳ１’およびＳ２’を有する単一スクリーンの図である。

２つの重なり合うセクションＳ１’およびＳ２’を有する単一スクリーン上でユーザがオブジェクトＯｐを知覚する方法に結び付けられた異なる測定を示す図である。

一般的なスクリーンに表示するための概略左目画像であり、画像は、図９Ｃのカメラ画像に対応し、左への眼間オフセットＩｏ／２が表示画像に含まれ、画像は、光軸と垂直配列された遠方の太陽、および左目の光軸と垂直配列された中央部の木を示す。

一般的なスクリーンに表示するための概略右目画像であり、画像は、図９Ｄのカメラ画像に対応し、右への眼間オフセットＩｏ／２が表示画像に含まれ、画像は、光軸と垂直配列された遠方の太陽、および右目の光軸の左にオフセットされた中央部の木を示し、眼間距離Ｉｏは、図１０Ｃおよび図１０Ｄの画像内の遠方の太陽オブジェクト間を示す。

スクリーンＳ１’およびＳ２’の一部が両方の目によって共有される単純なスクリーンシステムを示す図である。

両方の目によって共有されるスクリーンＳ１’およびＳ２’の一部が対応する単純なスクリーンシステムの測定を示す図である。

デュアルスクリーンシステムと同じ比率Ｄｓ／Ｌｓ１’を有する単純なスクリーンを使用することによる、左目を対象とする画像の部分画像を示す図である。

デュアルスクリーンシステムと同じ比率Ｄｓ／Ｌｓ１’を有する単純なスクリーンを使用することによる、右目を対象とする画像の部分画像を示す図である。

左目最終画像および右目最終画像として視聴される元の画像のセクションを示す図である。

Ｌｓｅ＝Ｌｓ１’であるので、左目で知覚される画像を調整する必要がない、スクリーンＳ１’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。

Ｌｓｅ＜Ｌｓ１’であるので、左目で知覚される画像に両側に黒いストリップを追加する必要がある、スクリーンＳ１’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。

Ｌｓｅ＞Ｌｓ１’であるので、左目で知覚される画像をカットする必要がある、スクリーンＳ１’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。

Ｌｓｅ＝Ｌｓ１’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。

Ｌｓｅ＜Ｌｓ１’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。

Ｌｓｅ＞Ｌｓ１’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。

ディスプレイ上で視聴されるように画像をトリミングおよびスケーリングするための例示的な立体システムのブロック図である。 ディスプレイ上で視聴されるように画像をトリミングおよびスケーリングするための例示的な立体システムのブロック図である。

例示的なボリュームリーダー方法において仮想カメラを使用する画像取得またはレンダリングの図である。

例示的なボリュームリーダー方法における単一スクリーンフォーマットの図である。

スケールの深度が１であるとき、すなわち、実世界と同じ距離でオブジェクトが知覚される場合のオブジェクト深度のグラフである。

スケールの深度が１未満であるとき、すなわち、実世界よりも近くにオブジェクトが知覚される場合のオブジェクト深度のグラフである。

スケールの深度が１より大きいとき、すなわち、実世界よりも遠くにオブジェクトが知覚される場合のオブジェクト深度のグラフである。

スクリーンに表示された画像のＩｏおよびＢｏの幾何学的配置を示す。

Ｂｏを変更した結果、結果として生じるオブジェクト幅の変化を示す。

ＢｏがＩｏに等しいときの遠方のオブジェクトの幾何学的配置を示す。 遠方のオブジェクトの外観に対するＩｏより低い光学ベースＢｏを使用するときの影響を示す。

知覚された空間が線形でないことを示すグラフである。

実世界の距離と知覚された世界の距離との間の比率を示すグラフである。

関連するスクリーンの縁またはフレームとの競合のために、近接オブジェクトの深度を知覚するのを困難にする、視野の一部から外れた近接オブジェクトの図である。

実世界の視聴に対して同じ輻輳距離および焦点距離を概略的に示す。 立体３Ｄ視聴におけるスクリーンの輻輳距離およびより近い焦点距離を概略的に示す。

スクリーンの後ろに収束する場合の視聴の幾何学的配置を示す図である。

スクリーン輻輳角およびオブジェクト輻輳角の幾何学的配置を示す図である。

スクリーンの前に収束する場合の視聴の幾何学的配置を示す。

スクリーン輻輳角およびオブジェクト輻輳角の幾何学的配置を示す。

本明細書で説明する実施形態に含まれる画像処理技術の背後にある幾何学的配置を説明する前に、画像処理の定性的な概要を提示する。

図１Ａでは、平行カメラ、すなわち左カメラおよび右カメラを同じシーンをキャプチャするように配列することができる方法が概略的に示されている。２つのカメラは、解像度、焦点、視野などの同じプロパティを有することができ、それらは平行な光軸を有する。２つのカメラは、視聴者の目の間の間隔に対応し得る距離で離され得る。無限遠にあるオブジェクトは、各カメラ画像の同じ位置に現れる。カメラ間の距離、カメラからのオブジェクトの距離を含む視野内のオブジェクトの位置に応じて、より近いオブジェクトは異なる視差を有する。

図１Ｂでは、右目画像の上に左目画像が示され、太陽が各画像の同じ位置に現れている。中央部に現れる木は、視差により２つの画像で異なる位置になる。

図１Ｃに示すように、単一スクリーンに表示するには、図１Ｂのカメラ画像の変更が必要である。単一スクリーンでの視聴は、既知の技術で行うことができる。例えば、アナグリフカラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。

図１Ｃの表示スクリーンの視野（ＦＯＶ）は、カメラ画像の元のＦＯＶよりも大きい。図１Ｃに図示されているように、定性的に各画像は、視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのウィンドウまたはフレーム内に置かれる。この距離は人によって異なり得る。以下で説明するように、スクリーンを２人の視聴者が視聴する場合は、その視聴者の不快感を避けるために、視聴者の最小の眼間距離を使用するのが最善であり得る。このようにして得られた画像は、立体表示技術に従って単一スクリーン上に表示される。

視聴者がスクリーンからの距離を変更すると、図１Ｄに示すように、ディスプレイまたはスクリーンのＦＯＶが変化することが理解されよう。視聴者がスクリーンに近いほど、ＦＯＶは大きくなる。同様に、視聴者がスクリーンから一定の距離にいる場合、ＦＯＶはスクリーンが小さい場合よりもスクリーンが大きい場合の方が大きくなる。図１Ｄおよび図１Ｅは、ＦＯＶ、視聴距離、およびスクリーンサイズの間の依存性を定性的に理解するために重要である。

図１Ｃの実施形態では、表示スクリーンは、元のＦＯＶよりも大きいＦＯＶを提供し、したがって、境界部分の一部はパディングまたはブラックアウトされ得る。図１Ｆの実施形態では、ディスプレイＦＯＶは、キャプチャＦＯＶよりも小さい。これは、表示スクリーンが基本的に視聴距離に対して小さすぎることを意味する。図１Ｆに定性的に図示されているように、元のキャプチャ画像のトリミングは、２つの画像を組み合わせて表示スクリーンに収まることができるように行われる。元のキャプチャ画像の一部の縁部分は失われるが、画像は元のキャプチャに立体的に忠実である。

図１Ｇの実施形態では、立体出力は、１．５倍に拡大されるべきである。定性的には、図１Ｂの画像（理解を容易にするために図面シートで繰り返される）が最初に拡大され、拡大された画像から、表示スクリーンに収まることができる部分が抽出され、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット（Ｉｏ）で置かれることがわかる。表示スクリーンＦＯＶはキャプチャＦＯＶと同じにすることができるが、拡大の結果として、キャプチャ画像の重要な境界部分が失われる。しかし、拡大された画像の立体効果は視聴しやすい。

図１Ｇに示す方法で画像をスケーリングすると、拡大率はオブジェクトのサイズおよび知覚される視差に影響を与えるため、オブジェクトが近くに見えるようになり、ズームが画像内のオブジェクトに近づくことを含むような印象を与える。シーン内のオブジェクト間の深度の変動の知覚は減少または平坦化されるが、画像は２つの目と位置合わせされたままであるため、拡大しても３Ｄ効果はうまく機能する。

変化する視聴条件に従う元のキャプチャ画像への調整に耐える立体効果の機能は、平行軸カメラからの元のキャプチャ画像によって促進される。平行に近い軸を有するカメラは、適切な画像を提供することが理解されよう。

図１Ｇに図示されるキャプチャ画像の拡大は、キャプチャ画像の中心について取られる必要がなく、そのような拡大を実行するとき、対象のウィンドウが効果的に選択されることが理解されよう。更に、この機能により、視聴者は、元のキャプチャシーンのパンをシミュレートする方法で対象のウィンドウを移動できるようになることが理解されよう。

図１Ｈの実施形態では、立体出力は、０．５倍に拡大（すなわち、縮む）されるべきである。定性的には、図１Ｂの画像（理解を容易にするために図面シートで繰り返される）が最初にスケールダウンされ、小さい画像は、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット（Ｉｏ）で置かれることがわかる。表示スクリーンＦＯＶはキャプチャＦＯＶと同じにすることができるが、縮小の結果として、キャプチャ画像の一部が失われることはない。拡大率は、画像が単一表示スクリーンの利用可能なＦＯＶに正確に収まるように選択できる。以前と同様に、図１Ｈの実施形態では、シーン内のオブジェクト間の深度の変動の知覚は増加するが、画像は２つの目と位置合わせされたままであるため、拡大しても３Ｄ効果はうまく機能する。

特定の実施形態を定性的に説明してきたが、他の実施形態は、正確な幾何学計算を使用して以下に説明される。

平行カメラでキャプチャ

２つの同一のカメラで構成される立体キャプチャシステムは、平行構成で配置される。図１Ａに示すように、このような立体システムでキャプチャされたオブジェクトの視差は、左カメラで撮影した画像上でのこのオブジェクトの位置と、右のカメラでキャプチャした画像上でのこの同じオブジェクトの位置との間の測定された差である。

図２に示すように、これらの２つのカメラは、幅Ｌｃおよび長さＦの焦点距離のセンサを有すると定義される。それらのそれぞれのレンズの中心は、互いから距離Ｂをおいて置かれる。この距離をベースと呼ぶ。
オブジェクトが左カメラの中心軸上に正確にある場合、このオブジェクトは左カメラのセンサの中心に正確に表される。このオブジェクトの視差は、右のカメラのセンサ上のこのオブジェクトによって形成される点と右のカメラのセンサの中心との間の距離に等しく、これは、上のグラフのセグメントｐｃに示される。距離Ｄｒｎに位置するオブジェクトの視差は、辺ＰｃおよびＢが対応する同等の直角三角形と、辺ＤｒｎおよびＦを比較することで決定できる。Ｐｃ＝Ｂ＊Ｆ／Ｄｒｎが得られる。

深度スケール－平行スクリーン

立体画像を視聴するには、平行スクリーンシステムを使用することができ、このシステムでは、両目がそれぞれのスクリーンに別々の画像（左画像および右画像）を表示する。同一サイズのこれら２つのスクリーン（Ｓ１およびＳ２という名前）は、各目の瞳孔の中心に直接位置合わせされる（図３Ａを参照）。

左スクリーン上の表現がＯｇにあり、スクリーンに垂直でその中心を通る軸上にあるオブジェクトを使用すると、右スクリーン上の表現は、Ｏｄまたはスクリーンの中央から距離Ｐｓ（スクリーン視差）にある。したがって、差異の情報によって与えられるオブジェクトＯｐの知覚距離はＤｐになる。２つの同等の直角三角形があり、辺を一致させることにより、次の比率が得られる。

次の簡略化を行うことができる。

スクリーンの視差（Ｐｓ）は、センサの視差（Ｐｃ）にスクリーン上の拡大率を掛けることで計算できる。この拡大率（Ｍ）は、スクリーンに表示される画像の有効幅（Ｌｓｅ）とキャプチャされた画像の幅との比率に対応し、これは、すべての実用的な目的で、センサの幅（Ｌｃ）に等しくなる。今回の場合、スクリーン上に表示される画像は、元々全体がキャプチャされた画像であると確認する。以下が得られる。

前述の２つの方程式を組み合わせることで、以下が得られる。

所与の立体スクリーンから一定の距離に座って、固定のベースで撮影されたコンテンツを見ている所与の観客にとって、Ｉｏ、Ｂ、Ｄｓ、Ｌｓｅ、Ｌｃ、およびＦは、一定であると言える。次に、方程式は次のようになる。

言い換えると、立体システムによって表される深度知覚は、実世界のそれと線形比例し、その深度スケールはＣに等しくなる。実世界での距離の一元的な変化（キャプチャ）の場合、観察者によって知覚される距離のＣの変動がある（視覚化）。
・Ｅｐｒ＝１の場合、深度の知覚は実世界と同一になる。
・Ｅｐｒ＜１の場合、観察者は現実よりも浅い世界を知覚する。
・Ｅｐｒ＞１の場合、観察者は現実よりも深い世界を知覚する。

空間スケール－平行スクリーン

実世界で観察されるオブジェクトの実際の幅を確認するには、相対距離を知ることが不可欠である。実際、モノスコピック視では、異なる距離に置かれた異なるサイズのオブジェクトは、同じサイズであるかのような印象を与える可能性がある。これは図４Ａおよび図４Ｂに図示されており、ここで、線Ｌｒ１、Ｌｒ２、およびＬｒ３は３つのすべて異なる長さであるが、相対距離がわからない観察者にとっては同一の長さで、したがって、モノスコピック視でＬｐ１＝Ｌｐ２＝Ｌｐ３であるように現れる。

したがって、オブジェクトの知覚幅は、このオブジェクトの観察者に関する距離情報に直接関連している。

図５に示すように、平行スクリーンを備えた立体システムの左目のスクリーンに表示される画像の右半分を正確に占める線を表示する立体画像が取得される。したがって、スクリーン上のこの線の幅はＬｓｅ／２に等しい。

立体視では、この線は、スクリーンから観察者を隔てる距離とは異なる見かけの距離であり得る。図６Ａおよび図６Ｂに示すように、この線は、観察者から距離Ｄｐで知覚されると想定することができる。この知覚距離では、線は知覚幅Ｌｐを有する。言い換えると、この線は遠くに位置するため、はるかに幅が広いと知覚される。

２つの同等の直角三角形があるので、それは次のように確立され得る。

このような立体システムでオブジェクトの知覚深度（Ｄｐ）を計算する方法を上に示し、この計算を上記の式のＤｐの項に代入すると、以下が得られる。

これで、実世界での線の幅（Ｌｒｎ）は、知覚幅Ｌｐの左目の画像上で線を形成したと判断できる。この線は、左目の画像の右部分を完全に占めているため、前のページのグラフに表示されているように、この画像をキャプチャしたカメラのセンサの半分を完全に占めていることが確認できる。タレスの定理を適用することにより、以下が確立される。

この線の知覚幅と知覚された世界の任意のオブジェクト（Ｌｐ）およびそれらに相当する実世界（Ｌｎ）との間のスケール比は、次のとおりであることが確立される。

言い換えると、立体システムによって表される幅知覚は、実世界のそれと線形比例し、その空間スケールはＩｏ／Ｂに等しくなる。実世界での幅の各変動（キャプチャ）の場合、観察者によって知覚される幅のＩｏ／Ｂの変動がある（視覚化）。
・Ｅｓｐ＝１の場合、幅の知覚は実世界と同一になる。
・Ｅｓｐ＜１の場合、観察者は現実よりも狭い世界を知覚する（すなわち、圧搾）。
・Ｅｓｐ＞１の場合、観察者は現実よりも広い世界を知覚する（すなわち、拡大）。

立体表現の比例

立体表現の深度および空間スケールを知ることにより、この表現の比例のスケールを確認できる。この比例のスケールは、表現が平坦化されるか、延長されるか、または現実に比例するかを決定することを目的とする。比率は次のように確立される。
Ｚ＝Ｅｐｒ／Ｅｓｐ
・Ｚ＝１の場合、観察者は比例した世界を知覚する（望ましい）。
・Ｚ＜１の場合、観察者は平坦化された世界を知覚する（より快適で、より効果が少ない）。
・Ｚ＞１の場合、観察者は引き延ばされた世界を知覚する（より広範で、より壮観）。
Ｚが１に等しい場合、Ｅｐｒ＝Ｅｓｐであり、したがって、

言い換えると、焦点およびセンサのペアで指定されたキャプチャされたフィールドは、画像の幅（スクリーン）および画像の距離のペアで指定された立体システムの視野と等しくなる。Ｄｓ／Ｌｓｅの比率に平行なスクリーンを持つシステムは、スクリーンのサイズに関係なく、同等のエクスペリエンスを提供し、その比率は、Ｉｏ／Ｂによって与えられる（アリから巨人まで）。例えば、観察者がスクリーンから３０ｍの距離にいる、幅１０ｍのスクリーン用にキャプチャされた立体画像（Ｄｓ／Ｌｓｅ＝３）は、スクリーンから３０ｃｍにいる、１０ｃｍスクリーンで同一の立体エクスペリエンスを提供する（Ｄｓ／Ｌｓｅ＝３）。

しかし、特定のサイズ（Ｉｏより広い）を超えると、平行スクリーンが互いに接触するという事実に関連する問題がある。ステレオスコープまたは仮想現実ヘッドセットなどの拡大レンズを使用しない限り、平行ディスプレイの使用は非現実的であり、その使用は大幅に制限される。次のセクションでは、この制限を回避し、３ＤＴＶまたは映画のスクリーンなどの非常に大きな単一スクリーンでの表現に平行カメラ法を使用する方法について説明する。

単一スクリーンの変換

上で開発された方程式は、平行スクリーン、つまり２つの目を分離し、中心が各目の瞳孔の中心に正確に位置する想像上の線に垂直なスクリーンに対してのみ機能する。

同じＤｓ／Ｌｓｅ比率（スクリーンに表示される画像の幅に対するスクリーンまでの距離の比率）を有するシステムでの立体表現は、すべての点で同一の体験を提供すること、つまり、オブジェクトの知覚されるサイズおよび距離が完全に同一になることは上記で実証されている。

図８Ａおよび図８Ｂに示すように、知覚距離がＤｐであるＯｐオブジェクトを取り上げる。この点は、左目のスクリーン（Ｓ１）では点Ｏｇで表され、右目のスクリーン（Ｓ２）では点Ｏｄで表される。点ＯｇはスクリーンＳ１の中心軸上に正確に位置し、一方、点ＯｄはスクリーンＳ２の中心から距離Ｐｓに位置する。したがって、２つの目は、図８Ｂに示されるように、この点が局所化されていると観察者が知覚する場所である点Ｏｐに収束する。

図９Ａおよび図９Ｂに示すように、スクリーンＳ１およびＳ２と同じ比率Ｄｓ／Ｌｓｅを有し、スクリーンからより遠くに位置する２つの理論的なスクリーンＳ１’およびＳ２’ を取り上げる。これらのスクリーンは重複しているため理論的なものであり、実世界では不可能である。したがって、Ｌｓ１／Ｄｓ１はＬｓ２／Ｄ２と等しく、これもＬｓ１’／Ｄｓ１’およびＬｓ２’／Ｄｓ２’とも等しいことがわかる。スクリーンＳ１およびＳ１’は左目の瞳孔の中心にあるので、点ＯｇおよびＯｇ’は両方ともそれぞれのスクリーンＳ１およびＳ１’の中心軸上に位置すると主張することができる。図９Ａおよび図９Ｂに示すように、点ＯｄおよびＯｄ’は、それぞれスクリーンＳ２およびＳ２’の中心から距離ＰｓおよびＰｓ’に位置する。

点Ｏｐが２つの表現の同じ場所で知覚されるためには、点ＯｄおよびＯｄ’が同じ角度を形成するか、比率Ｐｓ／Ｄｓ２がＰｓ’／Ｄｓ２’と等しい。Ｓ２’はＳ２の線形拡大率であるため、Ｐｓ’はＰｓと比較して同じ拡大率になることが知られる。言い換えると、Ｌｓ２’／Ｌｓ２＝Ｐｓ’／Ｐｓである。システムはこの制約に基づいて設計されているため、Ｌｓ２’／Ｄｓ２’＝Ｌｓ２／Ｄｓ２であることも知られる。したがって、次のように推定できる。

したがって、これら２つのシステムのいずれかを使用する場合、Ｏｐオブジェクトは同じ場所で知覚される。したがって、２つのシステムがすべての点で同一および同等の立体エクスペリエンスを提供することが実証されている。

図９Ｃおよび図９Ｄに示すように、平行軸カメラを使用してキャプチャされた画像には、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは異なる位置にある。このような画像は、ヘッドマウントディスプレイを使用して視聴できる。

図９Ｂからわかるように、各目から見た画像は、オブジェクトＯｄおよびＯｇが見つかる場所に対応する第１の深度に置かれるスクリーンに収まるように、またはオブジェクトＯｄ’およびＯｇ’が見つかる場所に対応する第２の深度に置かれるスクリーンに収まるように、サイズ変更またはスケーリングされてもよい。したがって、第１の深度で使用される小さなスクリーンは、同じ視野を提供する第２の深度で、より大きなスクリーンと交換することができる。より大きなスクリーン用の画像のスケーリングにより、ＯｄがＯｄ’に変わる場合があるが、オブジェクトＯｐの立体位置は変わらない。

以下の図１０から図１３を参照した説明から理解されるように、図９Ｃおよび図９Ｄの画像は、上述のようにスクリーン位置の関数としてスケーリングできるが、画像１０Ｃおよび１０Ｄのスケーリングは、眼間距離に悪影響を及ぼし、したがって、どのようなスケーリングでも、眼間距離を維持するために位置オフセット（または、スケーリングプロセス中に左目軸および右目軸の位置を維持すること）が必要である。

２つの深度のいずれかで異なるスクリーンサイズが必要な場合、画像のスケーリングにより視野が変わる。単眼視では、通常の視野が提供され、解像度が高品質である場合、視界は一般により高く評価される。それにもかかわらず、視聴者はスクリーンから近くもしくは遠くに座ったり、または同じ視聴距離で３０インチのスクリーンを５０インチのスクリーンに変更したりでき、単眼画像を表示する機能は、元の画像の視野を変更しても悪影響を受けない。立体視では、視野を変更すると、オブジェクトの立体深度の知覚が低下する。

例えば、図９Ｂを参照すると、右目に表示される画像が第２の深度でより大きなスクリーン上に表示された場合、Ｏｄ’は、同じ第２の深度でより大きなスクリーンに収まるようにスケーリングした結果、更に左側に現れる。オブジェクトＯｇ’は左目画像内の同じ中心位置に留まるので、オブジェクトＯｐの深度はこのようにより近く見えるであろう。これにより、立体視の表示に歪みが生じるだろう。

実際、第２の深度でより大きなスクリーンを使用する場合、より大きなスクリーンを使用して、立体視に悪影響を与えることなく同じ視野の画像を表示できる。これには、スクリーン上の画像の周囲に境界を設けることが含まれ得る。有効視野は変わらない。

第２の深度でより小さいスクリーンを使用する場合、より小さいスクリーンを使用して画像の一部を表示できる。これは、より小さいディスプレイに表示されるオブジェクトはより大きいディスプレイに表示されるオブジェクトと同じサイズであり、元の視野の一部のみがより小さいスクリーンに表示されるという意味で、より小さいウィンドウを通して世界を見るようなものである。より小さいスクリーンがより大きいスクリーンと同じ解像度を有する場合、同じオブジェクトサイズを維持し、画像の一部を表示するために、画像は拡大およびトリミングされる。元の画像の縁は失われるが、第２の深度でより小さいスクリーンを使用するため、立体効果は歪められない。

この同等性が確立されたので、図１１Ａおよび図１１Ｂに示すように、単一スクリーンに基づいて立体システムに置き換えることができる。これを行うには、図１１Ａおよび図１１Ｂに示すように、２つの別々のスクリーンの２つの部分セクションのように、各瞳孔を中心とする単一のスクリーンが検討される。実際、その中心が、観察者の２つの目に垂直でありそれらの中心にある軸上にある、スクリーンＳが取り上げられる。このスクリーンは、スクリーンＳ１’（右部分）およびスクリーンＳ２’（左側部分）の部分的な表現であり、各目の視野は非対称である（両目の中心から片側が他の側より広い）と言える。

図１０Ｃおよび図１０Ｄに示すように、例えば、アナグリフ画像（例えば、右目はシアン、左目は赤）を視聴するためのアナグリフ眼鏡、交互に表示される左目画像と右目画像を視聴するためのＬＣシャッター眼鏡、または自動立体ディスプレイを使用して、画像を同じディスプレイ上で二色光学的に見る場合、画像は、Ｉｏの差異を有する遠方のオブジェクトを含む。平行軸カメラを使用してキャプチャされた画像には、オフセットＩｏが考慮されると、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは遠くのオブジェクトに対してそれぞれ異なる位置にある。

第２の視野を有する観察者のためのスクリーン上に表示するための第１の視野のためにカメラで撮影された立体画像のスケーリングは、立体画像の全体を表示することに限定されないことが理解されよう。図９Ｃ、図９Ｄ、図１０Ｃ、および図１０Ｄに示すように、関心領域ズームウィンドウは、ソース立体画像内で選択され得る。このウィンドウは、ソース画像全体よりも小さい第１の視野を提供するが、ウィンドウをソース画像として取得し、ここで説明するように表示できる。ウィンドウを選択すると、新しいスクリーンに収まるような画像のトリミングが少なくなる場合がある。

このウィンドウ選択は、画像の中央にある必要はなく、図では画像のやや左側に示されている。このウィンドウ選択は、ユーザ入力によって制御でき、ソース画像内のウィンドウを見る方向のナビゲーションを可能にする。

したがって、ソース画像は広角またはパノラマシーンにすることができ、ウィンドウ選択により、視聴者はシーン内の視線方向を変更してシーンを探索できる。

図１２Ａおよび図１２Ｂに図示されているように、同じ比率Ｄｓ／Ｌｓ１’の単一スクリーンを使用して、平行スクリーンシステムと同等のエクスペリエンスを得るには、左目を対象とする画像の部分画像（右部分）および右目用の画像の部分画像（左部分）が表示され、部分画像は次の方法で計算される。

左目については、図１２Ａおよび図１２Ｂに示すように、スクリーンＳ１’の幅の右半分は、スクリーンの幅を２で割った値（Ｌｓ／２）に眼間距離を２で割った値（Ｉｏ／２）を加えたものに等しい。したがって、完全なスクリーン幅Ｓ１’は、Ｌｓ／２＋Ｉｏ／２に２を掛けたものに等しく、Ｌｓ１’＝Ｌｓ＋Ｉｏになる。スクリーンには左目用画像の右側部分のみを表示できるため（Ｌｓ１’－Ｉｏ）、左画像のＩｏ相当部分がカットされる。画像は、比率Ｉｏ／Ｌｓ１’またはＩｏ／（Ｌｓ＋Ｉｏ）に従ってカットされる。

例えば、幅１４０ｃｍのスクリーンに表示すべき１９２０×１０８０の解像度の画像を考慮する（観察者の眼間距離は６．５ｃｍである）。左目用の画像の左側部分を８５ピクセルでカットする必要がある。

元の画像のアスペクト比を維持するために、画像はいずれも同じ比率で縦軸にカットされる。

したがって、図１３に示すように、左目用の最終画像は、元の１８３５×１０３２画像のセクションになる。ピクセル数を考慮し、両方の目で同じ選択を行う（立体配列）限り、画像の垂直部分は画像の任意の部分（上、下、中央など）であり得ることに留意すべきである。右目の画像を取得するには、右目の元の画像の同等の左のセクションを、左目のセクションと同じ垂直方向に配列された１８３５×１０３２のセクションのいずれかとするだけである。

これらの画像は、最終的な立体結果に影響を与えることなく、画像が表示されるスクリーン上の解像度に戻ることができる。したがって、画像の最終的な水平解像度および垂直解像度を取得するための式は次のとおりである。

したがって、この方法により、あらゆる点で同等のユーザエクスペリエンスを実現できる３Ｄテレビまたは３Ｄ映画スクリーンなどの単純なスクリーンに表示するために、平行カメラを備えたキャプチャシステムを使用することができる。

非同一のＤｓ／ＬおよびＦ／Ｌｃ比率の適応

比Ｄｓ／Ｌｓｅが比Ｆ／Ｌｃと同一である場合、現実に比例した立体エクスペリエンス（Ｚ＝１）を得ることが可能であることが上記で確立されている。しかし、立体表示システムには、この比率を満たすことが不可能になる可能性のある制約がある場合がある。それにもかかわらず、この比率および所望の立体比例性を回復するように画像を変更することは可能である。簡単にするために、平行スクリーンシステムを使用する。拡大レンズのおかげで非常に広い視野を持つ仮想現実ヘッドピースが、ユーザに提供される。最終的なスクリーン幅は、式Ｌｓ１＝Ｌｓ１＊Ｇで与えられ、式中、Ｇは使用されるレンズによって提供される拡大率を表す。

工程１：有効幅の決定

立体画像の有効幅は、観察者からスクリーンまでの距離を考慮して決定される。この目的のために、次の式が使用される。

工程２：比較：

次いで、スクリーンＳ１’の幅が画像の有効幅と比較される。図１４Ａ、図１４Ｂ、および図１４Ｃに示すように、
・Ｌｓｅ＝Ｌｓ１’の場合、画像をそのままスクリーンに表示できる。
・Ｌｓｅ＜Ｌｓ１’の場合、画像のサイズを縮小する（黒いバー、中央のウィンドウ）。
・Ｌｓｅ＞Ｌｓ１’の場合、スクリーンの実際のサイズに合わせて画像をカットする必要がある。

工程３（Ａ）：Ｌｓｅ＜Ｌｓ１’の場合の画像の調整

方法１：

この場合、黒い帯を画像全体に追加して、画像を目の中心に維持し、画像の元のアスペクト比を保持できる。これを行うには、次の式を使用する。

結果の画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、１９２０×１０８０の解像度の画像の場合、有効幅（Ｌｓｅ）は４５ｃｍである必要があり、最終的な幅（Ｌｓ１’）が６０ｃｍのスクリーン上に表示される。画像は次のとおりである。

したがって、最終画像は、２５６０×１４４０ピクセルの解像度を有し、アスペクト比は１．７８：１に保たれる。この新しい画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、スクリーンが８００ピクセルの解像度を有する場合、アクティブな部分（画像データを表示）は、１９２０／２５６０＊８００＝６００ピクセルになる。

方法２：

あるいは、スクリーンの水平方向の中心に、好ましくは垂直方向の中心にもあるウィンドウに表示される画像を作成することもできる。画像の解像度は次のとおりである。

画像（ダウンスケール）は１９２０ピクセルから６００ピクセルに縮小されて、スクリーンの中心に配置されるため、上記とまったく同じ結果が得られる（画像のアクティブな部分）。

工程３（Ｂ）：Ｌｓｅ＞Ｌｓ１’の場合の画像調整

画像の有効幅がスクリーンの有効幅よりも大きい場合、水平方向の中央揃えを維持するために、画像の両側もカットして画像を縮小する。次の方法を使用できる。

例えば、水平解像度が１９２０ピクセルで、スクリーンからの距離で有効幅が５０ｃｍ（Ｌｓｅ）である必要があるが、実際のスクリーン幅が３０ｃｍしかない画像。画像は次のとおりカットされ得る。

したがって、最終画像は、１１５２×６４８ピクセルの解像度を有し、アスペクト比は同じ１．７８：１に保たれる。あとは、こうして得られた画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するだけである。

平行スクリーンの方法適応

現在、単一スクリーンシステムが検討されている。

図１５Ａ、図１５Ｂ、および図１５Ｃに示すように、ユーザは、ユーザがスクリーンを見るために座っているところからの距離により限定された視野を提供するテレビ上の画像を見ている。先に見たように、最終的なスクリーン幅は、式Ｌｓ１’＝Ｌｓ＋Ｉｏで与えられる。

スクリーン上の画像を調整するには、次の２つの手順を実行できる。

工程１：２つの画像（左目と右目）の画像解像度（Ｒｉｍｇ＿ｈおよびＲｉｍｇ＿ｖ）を調整して、画像が初期比率Ｄｓ／Ｌｓｅを考慮するようにする。

工程２：セクション５の技術で得られた新しい目の左目と右目の画像の右側部分をカットする

眼間距離が６．５ｃｍで、幅（Ｌｓ）が１４０ｃｍのテレビ（１９２０Ｘ１０８０ピクセルの解像度で幅（Ｌｓｅ）が２００ｃｍである画像）を見る観察者の例を考えてみる。工程１が最初に実行される。

工程１：

Ｌｓ１’が最初に決定され、これは、Ｌｓ＋Ｉｏに等しく、１４６．５ｃｍである。ＬｓｅはＬｓ１’より大きいため、次の方法で左目および右目の画像が縮小される。

したがって、中間画像は１４０６×７９１ピクセルの解像度を有し、初期アスペクト比は同じ１．７８：１のままで保持される。工程２が実行される。

工程２：

次のように、計算の基礎として中間画像を使用して、左目の右部分および右目の左部分がカットされる。

元の画像のアスペクト比を維持するために、縦軸に沿って同じ比率で画像がカットされる。

したがって、左目用の最終画像は、１３４４×７５６ピクセルの解像度および１．７８：１のアスペクト比を有する元の画像（右の一部）のセクションになる。右目の画像は、右目の元の画像の同等の左のセクション、すなわち、左目のセクションと同じ垂直方向に配列された１３４４×７５６のセクションで構成される。あとは、左目および右目画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するための最終画像を得るだけである。

立体ズーム：画像サイズ（Ｌｓｅ’）の変更

モノスコピーでは、ズームは、所与の倍率でのｘ軸およびｙ軸における画像の拡大に対応する。２倍にズームすると、画像は元の画像の２倍の大きさで現れる。一方、以前に見たように、立体視でのこのような拡大は、スクリーン上の画像のサイズだけでなく、オブジェクトの知覚される深度にも影響を与える。

所定のスクリーン（Ｚ＝１、Ｉｏ／Ｂ＝１）の縮尺に合わせて表示された立体画像の例では、立体画像のペア（左および右の画像）は、Ｘの係数によって同じように変更されるため、Ｌｓｅ’／Ｌｓｅ＝Ｘとなる。スクリーンから同じ距離にいる所与のユーザに対するこの変更の影響が観察される。

知覚距離への影響

上記で確立された方程式によれば、以下が確立される。

したがって、画像の拡大係数がＸの場合、オブジェクトの知覚距離は１／Ｘに比例して減少する。

知覚幅への影響

上記で確立された方程式によれば、以下もまた確立される。

したがって、画像の拡大係数がＸの場合、オブジェクトの知覚幅は変わらない。

比例への影響

最後に、上記で確立された方程式によれば、以下が確立される。

したがって、画像の拡大係数がＸの場合、比例スケールは１／Ｘの反比例係数によって変わる。

要約すると（図１８Ａ、図１８Ｂ、および図１８Ｃのグラフを参照）：

立体表現の比例性を保つために、画像の知覚距離の変化は、画像の知覚サイズの等しく比例した変化を伴う。言い換えると、空間スケールの変動（Ｅｓｐ＝Ｉｏ／Ｂ）は、深度スケールの変動（Ｅｐｒ）と等しいため、比例スケールは１に等しいままである。

しかし、立体カメラシステムのベースは既に撮影に固定されており、ユーザの２つの目の間の距離は明らかに変更できないため、空間スケールのコンポーネント（ＩｏおよびＢ）は変更できない。言い換えると、スクリーン上の画像のスケールまたは拡大率が変わると、エクスペリエンスの比例性を保つ方法がない。

したがって、画像拡大法によるズームの場合：

ズームインすると、３Ｄの世界に「入る」ことができる。視野が狭くなり、３Ｄの世界が平坦になる。

ズームアウトすると、ユーザは３Ｄの世界から離れることができる。視野が広くなり、３Ｄの世界が引き延ばされる。

立体ズーム：光学ベース（Ｂｏ）の変更

以下の例示的な図が提供される。ズームが行われると、スケール（ｘ、ｙ、ｚ）が係数Ｘによって全体的に次のように変化する

ユーザの眼間距離（Ｉｏ）を変更することはできないが、２つの目の光軸の中心に対する画像の位置を変更することはできる。光学ベース（Ｂｏ）は、スクリーン上の２つの画像の中心間の距離として定義される。基本的な光学変化がオブジェクトの知覚幅および知覚深度にどのように影響するかを示すことができる。

知覚幅への影響

図１９Ａは、スクリーンに表示された画像のＩｏおよびＢｏの幾何学的配置を示し、図１９Ｂは、Ｂｏを変更した結果、結果として生じるオブジェクト幅の変化を示す。

光学ベースは、その中央が観察者の両目の完全に中心であるように配置される。

以下が確立される。

第１の方程式の「Ｌａ」を第２の方程式の結果で置き換えることにより、以下が確立される。

Ｌｐに対する比率Ｌｐ’が確立される。

したがって、所与の画像の幅の場合、オブジェクトの幅の知覚される変化は、そのオブジェクトの距離の知覚される変化と等しくなる。光学ベースの変更により、スケールの比例性の条件を満たすことができる。次に、光学ベースの変化が立体表現におけるオブジェクトの知覚距離にどのように影響するかについて説明する。

知覚距離への影響

左目および右目の画像の点Ａｇおよび点Ａｄにそれぞれ位置するオブジェクトが撮影される。図２０Ａおよび図２０Ｂは、Ｉｏより低い光学ベースＢｏを使用した場合の影響を示す。

直角三角形のプロパティに基づいて、以下が確立される。

比率Ｄｐ’／Ｄｐは次のように確立される。

この関係は、異なる光学ベースを使用すると、オルソステレオスコピック効果が失われることを実証している。実際、Ｄｐの変動は線形であるが、比率Ｄｐ’／Ｄｐの変動は線形ではなく、これは、それらがＰｓに従って変動するためであり、つまり、実世界でキャプチャされたオブジェクトの距離の関数として変動するためである。Ｄｒｎの単位変動の場合、Ｄｐ’の変動はＤｒｎの値に従って変化する。これは、ほぼ線形に比例する変動があるいくつかのゾーンとして見ることができる。この関係により、Ｘの値（３Ｄ拡大率）を計算できるようになる。

この結果は、拡大率Ｘが特定の実距離Ｄｒｎに対してのみ有効であることを実証している。例えば、元の表現の３分の１に相当する３Ｄ拡大率が得られた場合、この関係を実現するための元の距離（Ｄｒｎ）を指定できる。任意に、距離Ｄｒｎは、オルソステレオスコピックモードで、ゼロ平面に表示される実際の基準距離、つまりスクリーンからの距離（Ｄｐ＝Ｄｓ）を選択する。結果は以下のとおりである。

逆に、Ｂｏを決定して、所望の３Ｄ拡大率を与える場合、Ｂｏは次のように分離できる。

図２１Ａおよび図２１Ｂのグラフは、実世界と知覚された世界の距離の間の比率に対する光学ベースの変更の影響を示す。

上のグラフに示されているように、知覚された空間は線形ではなく（比率Ｄｐ’／Ｄｒｎは一定ではない）、更にオルソステレオスコピックではない。光学ベースを変更して画像内をズームすると、知覚距離でプラトーに急速に達する。知覚される最大距離（Ｄｒｎ＝無限遠の場合）は、次のように計算される。

方法の制限

まず、オブジェクトにはＤｒｎから無限遠まで距離に開きがあるため、ズームアウトすることはできない。無限遠にあるオブジェクトは、通常、Ｂｏ＝Ｉｏの場合、両目の中心に表示される。ＢｏがＩｏより大きい場合、点はそれぞれ左目の左および右目の右に見られる。目を離すことはできないので、この方法は融合を不可能にし、ユーザに痛みを引き起こす。

また、この方法では、知覚される画像の部分が有意に増えることはない。画像は数センチメートルしか動かされないので、期待した効果はズーム（すなわち、視野を有意に変更する）では達成できない。

最後に、光学ベースの変更は、重大な空間歪みを引き起こし、空間の直線性およびオルソステレオスコピック効果の損失を引き起こす。これらすべての理由により、光学ベースを変更することは、立体画像の３Ｄズームに推奨される方法ではない。

輻輳および調節の管理を考慮した快適な立体表現

オブジェクトの深度を確立するために、脳は多くの視覚的手がかりを使用して、それらを結合して、より高いレベルの確実性を獲得する。例えば、介在、運動視差、ぼかし、透視線、そしてもちろん、立体視（視差）を使用することができる。従来の／モノスコピックのビデオゲームおよび映画では、これらの技術の多くはコンテンツに深度のより大きな感覚を与えるために、時には観客／プレイヤーに深度の印象を提供するために使用される。

立体コンテンツの場合、視差の違いを使用して深度の印象を与える。しかし、視差情報は他の視覚的手がかりとしばしば競合する。例えば、１つのケースは、図２２に示すように、スクリーンの前にあるべきオブジェクトだがその画像が「スクリーンの端で切り取られている」場合である。

図２２の画像では、野球は立体情報に従ってスクリーンから出てくるはずであるが、フレームに「タッチ」しており、つまり、スクリーンのフレームがボールの画像を遮っているように見える。しかし、日常生活の中で、脳は別のオブジェクトを視覚的に遮るオブジェクトがその前にあることを学んだ（介在の現象）。したがって、視覚的手がかりの間には競合があり、介在は視覚野によって一般的に使用されるため、脳は立体情報を拒否してボールをスクリーンに配置すると決定する（例えば、スクリーンの前でそれを知覚することを拒否する）。立体写真家はこの現象に精通しており、注意深くスクリーンの前に現れるべきオブジェクトを正しくフレームに収める。

もう１つの主要な問題は、輻輳情報（目が収束する場所）と調節（目が焦点を合わせる距離）との間の違いから生じる。脳はこれら２つの情報を定期的に同時に管理して、明確な視覚を可能にする。これらの２つの情報は互いに一致しているはずであり、脳は両方の情報を一緒に使用してより適切な決定（調整）を行う。輻輳が所与の距離（Ｄｐ）で達成されるが、目はスクリーンの距離（Ｄｓ）に焦点を合わせるため、立体視では、これら２つの情報は必ずしも一致しない。図２３Ａは、実世界の視聴に対して同じ輻輳距離および焦点距離を概略的に示し、図２３Ｂは、立体３Ｄ視聴におけるスクリーンの輻輳距離およびより近い焦点距離を概略的に示す。

立体視における輻輳と調節との間にあまりにも多くの競合がある場合、不快感、痛み（時々持続的）、および複視（二重視、融合なし）などの多くの悪影響が発生する可能性があることが文献で示される。輻輳と調節との間のこの競合は、快適さのレベルだけでなく、立体表現におけるオブジェクトの深度の知覚にも影響する。

平行カメラおよびさまざまな距離に配置されたコンピュータ生成オブジェクトを使用して実験を行った。観察時に、視差の重要な違い（スクリーン上で測定および検証）にもかかわらず、オブジェクトの距離の知覚は、スクリーンから非常に遠くにあるオブジェクトの配置に対してわずかにしか変化しないことが観察された。輻輳と調節情報との間に競合がある場合、人間の脳は調節情報を優先することができ、オブジェクトの知覚距離はスクリーンからの距離に関連する。調節情報を裏付けるスクリーンの近くの視野に多くのオブジェクトがある場合、この効果は強調され得る。

この問題を管理するために、角度制約に関する最大または最も遠い距離（スクリーンの「内側」で知覚）と最小距離（スクリーンの「外側」）が決定される。

最大距離（Ｄｆ）

２００９年５月から６月付けのＪｏｕｒｎａｌ ｏｆ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（５３（３）：０３０２０１－０３０２０１－１４，２００９）に掲載されたＭａｒｃ Ｌａｍｂｏｏｉｊらによる記事「Ｖｉｓｕａｌ Ｄｉｓｃｏｍｆｏｒｔ ａｎｄ Ｖｉｓｕａｌ Ｆａｔｉｇｕｅ ｏｆ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ：Ａ Ｒｅｖｉｅｗ」によると、目がスクリーンに収束するときに目によって形成される角度（「調節」角度）と快適なエクスペリエンスを維持するための最大または最小の輻輳角との間を１°に制限することを考慮することが提案されている。この原理は、立体知覚の最大距離および最小距離を決定するための基礎として使用される。調節が無限遠で行われるレンズ（例、ステレオスコープ、仮想現実ヘッドセット）による視覚化と、調節がスクリーンの距離で行われる従来のスクリーンとの間には、重要な違いがあることに留意することが重要である。まず、従来のスクリーンの場合について説明する。

図２４Ａは、スクリーンの内側に輻輳した場合を表す。この図から、オブジェクトの距離（Ｄｏ）の値を見つけることは、次のように確立される。

図２４Ｂに関して、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの「内側」に収束すると、形成される角度は各目でθ’に減少する。立体知覚および見やすさを維持しながら、輻輳の角度制約（ラジアンで表されるＶは、πを掛け、１８０°で割った角度）を満たすＰの値が決定される。

これで、輻輳の条件を満たすＰ値が得られ、Ｐを以前の方程式に統合し、最大距離を次のように得る。

スクリーンまでの距離から始めて、無限遠までのすべてのオブジェクトは、輻輳制約内にあるため、快適にマージできる。この距離を確立するために、Ｄｓの値は次のようにＤｆが無限大になる傾向があるときに確立される。

眼間距離が６．５ｃｍ、およびラジアンで２°または２°π／１８０°の輻輳の制限が考慮されている人を例にとると、無限遠への快適な融合を可能にするスクリーンまでの距離は、次のとおりである。

これは、平均的なユーザから比較的近い距離にあるスクリーン上での立体表現では、立体効果が自然で非常に重要な深度（無限遠まで）を有する可能性があることを示している。これは、室内での投影だけでなく、テレビでの３Ｄ視聴にもよく対応する。一方、ユーザにより近い立体スクリーン（例えば、携帯電話、コンピュータスクリーン、タブレットなど）で視聴するには、深刻な深度制限がある。例えば、前の例と同じユーザの場合、スクリーン（例えば、ラップトップなど）がユーザから６０ｃｍのところに配置され、２°の制約下での最大許容深度は、８８．６ｃｍまたは非常に制限されているスクリーンの内側で２８．６ｃｍのみである。

最小距離（Ｄｎ）

図２５Ａおよび図２５Ｂを参照すると、スクリーンから出るオブジェクトのユーザによって知覚される、すなわち、ユーザとスクリーンとの間に位置する最小距離が計算される。

図２５Ａは、スクリーンの前に輻輳した場合を表す。この図から、オブジェクトの距離（Ｄｏ）の値を見つけることは、次のように確立される。

図２５Ｂを参照すると、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの前に収束すると、形成される角度は各目でθ’に増加する。立体知覚および見やすさを維持しながら、輻輳の角度制約（ラジアンで表されるＶは、πを掛け、１８０°で割った角度）を考慮するＰの値が決定される。

これで、輻輳の制約に対応するＰ値が決定され、Ｐ値を以前の方程式に統合し、最小距離（Ｄｎ）を次のように得る。

輻輳および調節の競合を考慮するためのパラメータ化

輻輳および調節の競合に関する立体表現の最大距離および最小距離は、次のように決定される。

視野（Ｌｓｅ’）を変更しても、立体表現における知覚された世界の全体の深度を減らすことができないことが示されている。実際、平行カメラでキャプチャされた無限遠点は、立体視野がどのように変更されたかに関係なく（常に各目の中心）、立体表現において無限遠に知覚される。一方、システムの光学ベースを変えることによって、知覚された世界の深度を表現において減らすことができることが実証されている。

Ｄｆ制約を考慮するための光学ベースが決定された。平行カメラシステム（Ｄｒｎ＝無限遠）によってキャプチャされた最も遠方の点は、快適なエクスペリエンスを可能にする最大距離で立体表現において知覚される（Ｄｐ’＝Ｄｆ）。

なお、この調整は、Ｄｓ＜Ｉｏ／Ｖ（ラジアンで表されるＶ）となるように、無限遠での融合を可能にする最小距離よりも短いスクリーンまでの任意の距離に対して行われる。任意のスクリーン距離がＩｏ／Ｖよりも大きい場合は、光学ベースをＩｏに設定できる。

光学ベースがＩｏ未満の値で確立されると、空間の線形性も変化する。この空間の変化の１つの結果は、オルソステレオスコピーのオブジェクトが、通常、スクリーンの距離になり、スクリーンから「外れる」ことになることである。したがって、スクリーンの内側にあるべき画像の部分がスクリーンから出てきて、不快感を引き起こし、フレーミングの問題を引き起こす。

この問題を解決するために、画像サイズ（Ｌｓｅ）の変更を使用して、ゼロ平面に表示されるオブジェクトの実際の距離（スクリーンからの距離）が、オルソステレオスコピック表現スケールと同等になるようにすることができる。例えば、スケールが１（自然界に比例）でキャプチャされた画像で、ユーザから６０ｃｍの位置にあるスクリーン上に立体表現がある場合、スクリーンから６０ｃｍの距離で知覚されるオブジェクトは、オブジェクトのある画像がキャプチャされたとき、カメラから６０ｃｍの位置にあるのが好ましい。

これを行うために、スクリーン上に表示されるオブジェクトの実際の距離は、Ｂｏ＝Ｉｏのオルソステレオスコピック表現の場合に確立される。この距離は次のように計算できる。Ｄｒｎ＝Ｄｓ＊Ｂ／Ｉｏ知覚距離（Ｄｐ’）がスクリーンまでの距離（Ｄｓ）と等しくなるようにする画像幅Ｌｓｅ’およびＤｒｎが確立される。これは次のように決定できる。

ＢｏがＩｏに等しい場合（ユーザがスクリーンから十分に大きな距離で離れている場合）、Ｌｓｅ’はＬｓｅに等しくなり、結果としてオルソステレオスコピックモードに戻る。

図１６Ａおよび図１６Ｂは、異なる観察条件に適応するために平行カメラ立体ビデオを処理する装置の概略ブロック図である。キャプチャパラメータにより、元の視野を決定できる。これらのパラメータは、画像もしくはビデオストリームにエンコードするか、ユーザが設定するか、またはビデオ分析で検出できる。したがって、ブロック１２は、キャプチャ視野パラメータのメモリストアを表し、所望により、画像データストアまたはビデオストリーム２２ａおよび２２ｂから視野パラメータを受け取るインターフェースを含む。

ディスプレイ／スクリーンパラメータは、スクリーン距離、スクリーン解像度、スクリーンサイズ、および視聴者の眼間距離であり得る。これらのパラメータは、メモリ１４に格納することができる。眼間距離はメモリ１４内の変数セットであり得るが、上で詳細に説明したように、トリミングおよびスケールパラメータを決定する計算機２０内の公称値に固定することもできる。スクリーンが複数の視聴者によって共有されている場合、眼間距離は、最小の眼間距離を有する人の眼間距離になるように選択して、その人の開散の問題を回避できる。

計算機２０は、図１７から図２５を参照して上で説明した輻輳制約も考慮して、ベースオフセットを変更して、遠方のオブジェクトをスクリーンに近づけ、かつビューで画像をスケーリングして、スクリーンと表示されるオブジェクトの間の輻輳角の違いを低減するトリミングおよびスケールパラメータを決定する。

視聴者とスクリーンとの間の距離は、ユーザインターフェースまたは他の適切な方法を使用して入力できる。

眼間距離に変化がある場合、他の視聴条件が元の記録を考慮している場合であっても、スケールパラメータには画像シフトパラメータが含まれる。しかし、３Ｄシーンが元の視野よりも小さい／大きいディスプレイで視聴される場合、スケールパラメータには、異なるサイズのディスプレイ上の各画像の中心間の基本距離を維持するための画像シフトが含まれる。

したがって、３Ｄ画像、すなわち、ストア２２ａおよび２２ｂに格納された右目および左目画像は、例えば、図１６Ｂに概略的に示されるように、画像プロセッサ２５で必要に応じてシフト、スケーリング、およびトリミング／境界パディングされる。画像プロセッサは、ＧＰＵ、ＣＰＵ、ＦＰＧＡ、または任意のその他の適切な処理装置であり得る。画像２２ａおよび２２ｂのソースは、当技術分野で知られているように、立体画像ストリームであり得る。

上述のように、立体視聴は既知の技術を使用して行うことができる。図１６Ｂのブロック図では、立体フォーマットはブロック２８で行われる。このような画像処理は、ＣＰＵで実行できるが、例えば、ＧＰＵまたはＦＰＧＡを使用して実行することもできる。アナグリフ表示では、カラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。偏光ラインインターリーブディスプレイでは、奇数ラインおよび偶数ラインは光の偏光が異なり（各偏光のピクセルのパターンは交互の水平ラインに限定する必要がない）、片方の目が奇数ラインを、もう片方の目が偶数ラインを見るように偏光メガネをかける。図１６Ｂに概略的に示すように、表示信号を表示装置に送信する前に、フォーマッタモジュール２８によって、所望の表示技術の立体フォーマットが行われる。必要に応じて、立体フォーマッタの操作または機能を画像プロセッサ内で実行できる。次いで、フォーマットされた１つまたは複数の画像は、対応する表示装置３０を使用して表示される。

図１６Ｃの実施形態では、画像ソースは、広角（例えば、１８０～３６０度のパノラマソース）、魚眼レンズ、またはコンピュータ生成画像ソースなどの大きな視野のソースであり、トリミングまたはデワーピングおよびトリミングにより、所与の視線方向に所望の画像を提供できる。視線方向モジュール１８は、ユーザが視線方向を選択できるようにするユーザインターフェースの一部であり得る。トリミングまたはデワーピングおよびトリミングのプロセスは、当技術分野で知られており、モジュール１９で行われる。図示されているように、元の魚眼カメラ画像は、デワープされるまで２Ｄ画像として表示できない。あるいは、デワーピングモジュール１９は、必要なトリミングおよびスケーリングがデワープされるソース画像の部分を選択することを含むように、画像プロセッサ２５に統合することができる。

画像処理、すなわちトリミングおよびスケーリングは、ボリュームリーダーを使用して実行できることが理解されよう。ボリュームリーダーとは、元の画像を３Ｄ空間に配置して、元のキャプチャパラメータを考慮し、視点またはカメラの正しい位置で元の画像の仮想「カメラ」ビューをキャプチャすることを意味する。これは、例えば、ほとんどの従来のＧＰＵ内で実行できる。

詳細は次のとおりである。
命名法
Ｄ＝距離
Ｌ＝幅
Ｈ＝高さ
Ｆ＝焦点
ＲＥＳ＝解像度

１）画像を空間に配置（図１７Ａを参照）
・左画像を任意の幅Ｌｏで配置
・右画像を同じ幅Ｌｏで配置

２）カメラの配置
・カメラを画像の中心に配置し、ｘ、ｙ、ｚ座標は０．０．０（原点）に設定
・比率を考慮するために、画像から離れた場所に配置

３）画像をレンダリング
・以下を使用して、左目および右目の画像を作成
ｉ）比率Ｌｖ／Ｈｖ＝（Ｌｓ＋Ｉｏ）／Ｈｓ
ｉｉ）比率Ｆｃｖ／Ｌｃｃｄｖ＝Ｄｓ／（Ｌｓ＋Ｉｏ）
ｉｉｉ）解像度＝ＲＥＳｓ＊（Ｌｓ＋Ｉｏ）／Ｌｓ
４）単一スクリーンのフォーマット（図１７Ｂを参照）
・２つの画像の重ね合わせ
・左の画像を（Ｉｏ／２）／（Ｌｓ＋Ｉｏ）＊Ｌｖに等しい距離だけ左にシフト
・右の画像を同じ距離だけ右にシフト
・２つの画像の共通部分を維持
・アナグリフでフォーマット

あるいは、工程４で、左目の画像をＲＥＳｓ（解像度）と等しい数のピクセルで（左から）カットでき、右目画像は、同じ数のピクセルで右からカットできる。

工程２でカメラを近づけたり遠ざけたりすると、ズームインまたはズームアウトできる。

ストリーミングサービスまたはオンラインサービスのコンテキストでは、画像をサーバーで処理し、リモートクライアントディスプレイに送信できる。このコンテキストでは、ディスプレイまたはディスプレイ機器のユーザは、画像が処理され、クライアントディスプレイに送信するためにエンコードされるサーバーに、ディスプレイ／スクリーンパラメータを中継できる。送信前にトリミングとスケーリングを実行すると、送信するデータの縮小を達成できる。

Claims (23)

1. 単一スクリーン上で視聴者に表示する立体画像を処理する方法であって、前記立体画像は、幅Ｌｃおよび長さＦの焦点距離のセンサによって提供される第１の視野（Ｌｃ／Ｆ）を有する平行軸カメラを使用して撮影され、前記方法は、前記単一スクリーンによって提供される第２の視野（（Ｌｓ＋Ｉｏ）／Ｄｓ）の定義と、前記視聴者の眼間距離（Ｉｏ）と、前記視聴者と前記単一スクリーンの幅（Ｌｓ）との間の距離（Ｄｓ）と、を使用して、前記立体画像を配置しスケーリングすることを含み、これにより、前記第１の視野に対する前記視聴者からの前記距離（Ｄｓ）で、前記単一スクリーン上に前記立体画像を表示し、前記単一スクリーンに対してスケーリングされた前記立体画像が前記単一スクリーンよりも大きい場合、前記単一スクリーンに対して前記立体画像をトリミングし、および前記単一スクリーンに対してスケーリングされた前記立体画像が前記単一スクリーンよりも小さい場合、前記立体画像に水平及び垂直からなる境界線を付し、前記単一スクリーンに対して提供する、方法。
2. 前記立体画像内のズームウィンドウを選択して、前記第１の視野を変更することを更に含み、前記立体画像は、前記変更された第１の視野に対してスケーリングされる、請求項１に記載の方法。
3. 前記ズームウィンドウが、前記立体画像の中心からオフセットされて、前記立体画像内の関心領域を視聴することができるようにする、請求項２に記載の方法。
4. 視聴者入力が、前記立体画像を視聴しながら前記オフセットを動かすために使用される、請求項３に記載の方法。
5. 前記立体画像が静止画像である、請求項１から４のいずれか一項に記載の方法。
6. 前記立体画像がビデオ画像である、請求項１から４のいずれか一項に記載の方法。
7. 前記立体画像が、組み合わされたアナグリフ形式画像に変換される、請求項１から６のいずれか一項に記載の方法。
8. 前記立体画像が、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換される、請求項１から６のいずれか一項に記載の方法。
9. 前記立体画像が、シャッター眼鏡で視聴するように一連のページフリップ画像に変換される、請求項１から６のいずれか一項に記載の方法。
10. 前記立体画像が、偏光ディスプレイ用に一連のラインインターリーブに変換される、請求項１から６のいずれか一項に記載の方法。
11. 前記単一スクリーンによって提供される前記第２の視野の定義を取得するように、ユーザ入力を取得することを更に含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記単一スクリーンによって提供される前記第２の視野の定義を取得するように、センサデータを取得することを更に含む、請求項１から１１のいずれか一項に記載の方法。
13. 前記立体画像が、遠方のオブジェクトの右目画像と左目画像との間Ｉｏのオブジェクト間隔に対応するように、前記単一スクリーン上に配置される、請求項１から１２のいずれか一項に記載の方法。
14. 前記視聴者が、複数の視聴者を含み、前記眼間距離Ｉｏが、前記複数の視聴者の中で最小の眼間距離であるように選択される、請求項１３に記載の方法。
15. 前記立体画像が、相対的なベースオフセットを使用して更にスケーリングおよび配置されて、最大深度に現れるオブジェクトがより近くに現れ、前記単一スクリーンの前に現れるオブジェクトが前記単一スクリーンにより近くに現れるようにし、これにより、
    前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および
    前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角
    のうちの少なくとも１つを制限して、目の疲れを減らす、請求項１から１４のいずれか一項に記載の方法。
16. 前記立体画像が、更にスケーリングおよび配置されて、前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角の両方を制限する、請求項１５に記載の方法。
17. 前記立体画像が、更にスケーリングされて、前記単一スクリーンの深度に現れるオブジェクトを同じ深度に現れるように維持する、請求項１６に記載の方法。
18. 前記単一スクリーン上の深度に現れるオブジェクトと前記単一スクリーンの後ろおよび／または前に現れるオブジェクトとの間を視聴する両眼角が、１度未満である、請求項１５、１６、または１７のいずれか一項に記載の方法。
19. 前記立体画像が、パノラマ画像を含み、前記方法が、前記パノラマ画像内の視線方向を定義し、前記視線方向を使用して前記パノラマ画像の一部を抽出することを更に含む、請求項１から１８のいずれか一項に記載の方法。
20. 前記パノラマ画像が、広角カメラレンズ画像であり、前記方法が、前記パノラマ画像の少なくとも一部をデワープすることを更に含む、請求項１９に記載の方法。
21. 前記パノラマ画像が魚眼レンズ画像である、請求項２０に記載の方法。
22. 単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、前記装置は、プロセッサと、前記プロセッサによって読み取り可能なメモリと、を備え、前記メモリは、請求項１から２１のいずれか一項に記載の方法を実行する命令を格納する、装置。
23. 請求項１から２１のいずれか一項に記載の方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラム。

Images