JP2009238117A - 多視差画像生成装置および方法 - Google Patents

Abstract

【課題】 ビデオメモリ量を削減する。
【解決手段】 ディスプレイパラメータから視点数と該視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、複数の視点での優先度を定める視差画像優先度情報を生成する手段１０１と、複数の画像解像度レベルごとに、複数の視点での視差画像を複数格納している手段１０２と、前記視差画像優先度情報に含まれる視点ごとに複数の画像解像度レベルの最高レベルを設定し、全視点の視差画像のデータサイズの総和が閾値よりも大きい場合には総和が閾値以下になるまで優先度の低い視点ほど低いレベルに再設定し、視点ごとの視差画像の画像解像度レベルを定める視差画像解像度情報を生成する手段１０３と、視点ごとに、前記視差画像解像度情報に対応する視差画像を手段１０２から読み出す手段１０４と、を具備する。
【選択図】 図１

Description

本発明は、画像の多視差画像生成装置および方法に関する。

映像機器や家庭用ゲーム機などリアルタイムＣＧレンダリングを行う機器においては、ＣＧキャラクタが複雑な形状をしている場合に、ＣＧキャラクタそのものを画像として用意し、表示時にその画像を板ポリゴンにテクスチャマッピングすることで、ＣＧキャラクタを構成する多くのポリゴンを描画処理することなく高速に描画する、スプライトという技術が広く用いられている。

液晶ディスプレイ上にレンチキュラーシートを重ねることで水平方向に視差のある映像を表示する一次元インテグラルイメージング方式の３Ｄディスプレイにおいては、各画素について複数の視点からのＣＧ画像を描画する必要がある（例えば特許文献１参照）。この３Ｄディスプレイにおいて観察者に立体感を与えるスプライトを描画するためには、視点ごとに異なるテクスチャ画像を板ポリゴンにマッピングする必要がある。視点ごとに異なるテクスチャを描画する手段は従来の手法が利用可能である（例えば特許文献２参照）。本明細書では、この手法を多視差スプライトと呼ぶ。
特開２００４−２１２６６６公報 特開２００４−５２２８公報

多視差スプライトをグラフィックスハードウェアのビデオメモリ上に保持する場合、表示に用いるすべての視差画像をすべてテクスチャデータとして格納する必要がある。そのため、多視差スプライトがビデオメモリの大部分を占有してしまうという問題が生じる。

この発明は、上述した事情を考慮してなされたものであり、描画対象の視点について多視差スプライトを高解像度でビデオメモリに保持する場合に比べ、多視差スプライトが占有するビデオメモリ量を削減する多視差画像生成装置および方法を提供することを目的とする。

上述の課題を解決するため、本発明の多視差画像生成装置は、ディスプレイパラメータから視点数と該視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、視点ごとの優先度を定める視差画像優先度情報を生成する第１生成手段と、複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段と、描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成する第２生成手段と、前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出す第１読み出し手段と、読み出された前記視差画像を視点と関連付けて格納する第２格納手段と、を具備することを特徴とする。

また本発明の多視差画像生成装置は、ディスプレイパラメータから視点数と該視点の位置を取得し、時刻ごとに視差画像の表示位置を示す表示位置情報を参照して、前記位置ごとに視差画像が位置する頻度を積算し、視点ごとの、頻度に応じた優先度を定める視差画像優先度情報を生成する第３生成手段と、複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段と、描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成する第２生成手段と、前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出す第１読み出し手段と、読み出された前記視差画像を視点と関連付けて格納する第２格納手段と、を具備することを特徴とする。

本発明の多視差画像生成装置および方法によれば、描画対象の視点について多視差スプライトを高解像度でビデオメモリに保持する場合に比べ、多視差スプライトが占有するビデオメモリ量を削減することができる。

以下、図面を参照しながら本発明の実施形態に係る多視差画像生成装置および方法について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
実施形態では、３Ｄディスプレイ（３次元ディスプレイ）において、異なる視点ごとに異なる画像を表示することで視差をもつスプライトの表示を行う。このとき、ビデオメモリに格納すべき各視点画像のデータ量が増大するという問題がある。実施形態の多視差画像生成装置によれば、多視差スプライトの各視点画像について複数段階の異なる解像度のスプライト画像を用意し、多視差スプライトの画面内移動領域情報、および、設定視域に応じて、視点ごとに領域および解像度の異なるスプライト画像を選択してビデオメモリに読み込み、多視差スプライトとして表示を行う。これにより、多視差スプライトデータを効率的にビデオメモリに格納することが可能となる。

もう少し詳しくは、まず、特開２００７−９６９５１の手法などで作成された視差画像について、複数段階の異なる解像度の画像を作成する。次いで、観察者に解像度の高い多視差スプライトを観察させたい領域を定義する視域優先度情報と、多視差スプライトの表示頻度の統計量、および特開２００４−２１２６６６の視域最適化情報を用い、視点ごとに、スプライト画像中の解像度の選択を行った後、ビデオメモリに読み込み、表示を行う。

（第１の実施形態）
本実施形態では、視域優先度情報とディスプレイパラメータを入力とし、視域優先度情報に依存した、多視差スプライトの各視点についての解像度（多視点解像度情報）を決定し、その多視点解像度情報にもとづいて多重解像度多視点画像格納部から選択的に各視点の画像を読み出し、多視点スプライトを構成し、多視点スプライト名を付加して多視点スプライト格納部に登録する場合である。

［装置の構成］
本実施形態の多視差画像生成装置について図１を参照して説明する。
第１の実施形態の多視差画像生成装置は、視域依存視差画像優先度決定部１０１、多重解像度多視点画像格納部１０２、視差画像解像度決定部１０３、視差画像読み出し部１０４、多視差スプライト登録部１０５、多視差スプライト格納部１０６を含む。

視域依存視差画像優先度決定部１０１は、３Ｄディスプレイのディスプレイパラメータ１１１と、視域優先度情報１１２を入力とし、視差画像優先度情報１１３を出力する。より詳しくは、視域依存視差画像優先度決定部１０１は、ディスプレイパラメータから視点数と視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、視点ごとの優先度を定める視差画像優先度情報を生成する。視域優先度情報１１２については後に図５、図６を参照して説明する。視域依存視差画像優先度決定部１０１の動作の詳細は後に図９を参照して説明する。

多重解像度多視点画像格納部１０２は、多視点画像について複数の段階の解像度の画像を格納している。多重解像度多視点画像格納部１０２は、複数の画像解像度レベルごとに、複数の視点での視差画像を複数格納している。多重解像度多視点画像格納部１０２の内容については後に図４を参照して説明する。

視差画像解像度決定部１０３は、視差画像優先度情報１１３と、多視点スプライトデータサイズ閾値１１４とを入力とし、多重解像度多視点画像格納部１０２から視差画像解像度情報１１５を読み出し、視差画像解像度情報１１６を出力する。視差画像解像度決定部１０３は、描画対象とする視点（例えば全視点）について複数の前記画像解像度レベルを高解像度のレベル（例えば最高レベル）に設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の画像解像度レベルを定める視差画像解像度情報を生成する。視差画像解像度決定部１０３の動作の一例については後に図１１を参照して説明する。

視差画像読み出し部１０４は、視差画像解像度情報１１６を入力とし、多重解像度多視点画像格納部１０２から視点数分の視差画像１１７を読み出す。視差画像読み出し部１０４は、視点ごとに解像度レベルに対応する視差画像を多重解像度多視点画像格納部１０２から読み出す。

多視差スプライト登録部１０５は、多視差スプライト名１１８を入力とし、視差画像読み出し部１０４で読み出した視点数分の視差画像に多視差スプライト名１１８を付加して多視差スプライト格納部１０６に記録する。

多視差スプライト格納部１０６は、多視差スプライトを格納する。多視差スプライト格納部１０６は、視差画像読み出し部１０４にて読み出された視差画像を視点と関連付けて格納する。

［３Ｄディスプレイにおける視域］
本実施形態における３Ｄディスプレイ２０２と、視域２０５の位置関係について図２を参照して説明する。３Ｄディスプレイ２０２は、ＬＣＤパネル２０３とレンチキュラーシート２０４を含む。

まず、３Ｄディスプレイ２０２と、本実施形態で用いる座標系２０１の位置関係を説明する。３Ｄディスプレイ２０２は観察者２０６に正対するように配置する。ここで、座標系２０１のＸ軸と３Ｄディスプレイの水平方向が平行となり、座標系２０１のＹ軸と３Ｄディスプレイ２０２の垂直方向が平行となり、３Ｄディスプレイ２０２の原点が座標系２０１の原点となるように配置するものとする。

このとき、座標系２０１のＸＺ平面について観察者２０６が立体映像を鑑賞できる範囲である視域２０５を示したものが図２の斜線で塗りつぶした領域である。ここで、図２中のＬは設定視距離である。この視域２０５は、３Ｄディスプレイの仕様を記したディスプレイパラメータ１１１から算出することが可能である。設定視距離Ｌもディスプレイパラメータに含まれる。視域２０５の算出手法は例えば特開２００４−２１２６６６に記されている。

［多視点画像の生成処理］
３Ｄディスプレイで表示する多視点画像を作成する手法について図３を参照して説明する。
図３のように図２と共通の座標系２０１に、多視点画像を生成したいＣＧオブジェクト３０１を配置する。そして、多視点カメラ３０２を視距離Ｌの直線上に一定の間隔で並べ、それぞれのカメラからＣＧオブジェクト３０１の描画処理または撮影を行う。多視点カメラ３０２のそれぞれの位置やカメラ同士の間隔の位置間隔の算出手法は、例えば特開２００７−９６９５１に記されている。多視点カメラ３０２のそれぞれで得られる画像を視差画像と呼ぶ。視差画像の集合を多視点画像と呼ぶ。

ここで得られた視差画像は、ＣＧオブジェクト３０１が描画されている領域の画素の透明度を表すアルファ成分は、アルファ成分を０〜２５５の８ビットで表現される場合には、１から２５５までの値が代入されている。一方、視差画像において、ＣＧオブジェクト３０１が描画されず、背景が描画される領域の画素の透明度を表すアルファ成分は０の値が代入されている。

視差画像においてオブジェクト３０１が描画されていない領域を示す手法としては、上記のほか、ある単一の色を視差画像においてオブジェクトが描画されていない領域を示す色（本実施形態では、この色を抜き色と呼ぶ）と定義し、オブジェクトが描画される領域の画素には、この抜き色を用いず、抜き色とは異なる抜き色と類似した色を用いる手法もある。

［多重解像度多視点画像格納部１０２に格納される情報］
図３に示すように多視点カメラ３０２を並べて描画処理を行うことにより作成された多視点画像は、多重解像度多視点画像格納部１０２に格納される。
多重解像度多視点画像格納部１０２に格納される情報について図４を参照して説明する。
多重解像度多視点画像格納部１０２は、視差画像解像度情報１１５と視差画像１１７を格納している。図４の４０１は、あるＣＧオブジェクト３０１に対応する多重解像度多視点画像である。４０２は、図３に示された一連のカメラにより撮影された多視点画像である。例えば画像４０３は、多視点カメラ３０２の一番右のカメラ３０３で撮影されたものであり、画像４０４は、右から２番目のカメラ３０４で撮影されたものであるとする。

ここで、多視点画像４０２の画像解像度を“画像解像度レベル１”と呼ぶものとする。ここで画像解像度レベル１の画像の水平画素数をＳｗ（１）、垂直画素数をＳｈ（１）とする。

多重解像度多視点画像格納部１０２が多視点画像４０２のそれぞれの画像に画像縮小処理を行い、この処理によって生成された多視点画像４０５を“画像解像度レベル２”の多視点画像と呼ぶ。ここで画像解像度レベル２の画像の水平画素数をＳｗ（２）、垂直画素数をＳｈ（２）とする。ここでの画像縮小処理は、一般の画像処理ツールを用いることも可能であるし、グラフィックスハードウェアのミップマップフィルタなどを用いてもよい。ミップマップフィルタで生成されるように、Ｓｗ（１）：Ｓｗ（２）＝Ｓｈ（１）：Ｓｈ（２）＝２：１としてもよいし、これ以外の比としてもよい。また、Ｓｗ（１）とＳｗ（２）の比と、Ｓｈ（１）とＳｈ（２）の比は必ずしも同一である必要はない。

このような画像縮小処理を任意回数繰り返すことで、さらに“画像解像度レベル３”の多視点画像４０６から、“画像解像度レベルｍ”の多視点画像４０７まで、合計ｍ段階の画像解像度の多視点画像を作成する。このようにして作成されたものが、ＣＧオブジェクト３０１に対応する多重解像度多視点画像である。
また、画像解像度レベルそれぞれに対応する水平画素数Ｓｗおよび垂直画素数Ｓｈの組をあるＣＧオブジェクト３０１に対応する視差画像解像度情報１１５と呼ぶ。

本実施形態をパーソナルコンピュータ上に実現する場合には、多重解像度多視点画像格納部１０２は、例えば、メインメモリやＨＤＤなどの外部記憶装置を用いる。

［視域優先度情報１１２の内容］
視域優先度情報１１２の内容について図５および図６を参照して説明する。
視域優先度とは、カメラの位置に応じた視差画像間の相対的な優先度を定めるものである。ここで、多視差スプライトの各視点画像について、優先度が高いほど視差画像の解像度は高く、優先度が低いほど視差画像の解像度は低く設定される。

視域優先度の設定例を図５に示す。３Ｄディスプレイから視距離Ｌの直線上の点５０１〜点５０４を定義する。点５０１のＸ座標成分をｘ０、点５０２のＸ座標成分をｘ１と順に定め、点５０４のＸ座標成分ｘ３まで定める。ここで、点５０２と点５０３の間の領域が、最も視域優先度が高いものとし、“優先順位１”とする。続いて、点５０１と点５０２の間、および、点５０３と点５０４の間の点が、“優先順位１”に比べて優先度が低い、“優先順位２”とする。

図６は視域優先度情報１１２の内部構成を示すものである。上述した視域優先度設定に対応するＸ座標成分の範囲と優先度の対応関係について順に記したものとなっている。

この例では、視域優先度は“優先順位１”“優先順位２”の２段階としているが、視域優先度は３段階以上の優先度があってもよい。また、優先度を設定する領域は、図６のように３領域だけではなく、例えば５つなど、３つ以上定義してもよい。

また、例えば、ビデオカメラなどを用いて観察者の視点位置を測定し、視点位置がディスプレイの水平中心よりも右側に主に存在している場合には、視域の右側に視域優先度が高い領域が分布するように定義するなど、３Ｄディスプレイ２０２と観察者２０６の位置関係により、視域優先度の分布を適応的に変化させることも可能である。

［視差画像優先度情報１１３の内容］
視差画像優先度情報１１３について図７を参照して説明する。
図７は、あるひとつの多視差スプライトに関する視差画像優先度情報１１３の内容を示すものである。視差画像優先度情報１１３は、多視点のカメラ位置情報と優先度情報を有している。例えば、７０１は視点０の画像を撮影したカメラ３０３について、そのカメラの位置Ｃ（０）と、優先度Ｐ（０）を有している。同様に７０２は視点１の画像を撮影したカメラ３０４に対応したものである。

このように視点０〜ｎ−１までのｎ個分の視差画像優先度情報を保持するものが視差画像優先度情報１１３である。すなわち、視点位置ごとに、異なる優先度を定義することが可能である。

［視差画像解像度情報１１６の内容］
視差画像解像度情報１１６について図８を参照して説明する。
図８は、あるひとつの多視差スプライトに関する視差画像解像度情報１１６の内容を示すものである。視差画像解像度情報１１６は、多視点のカメラ位置情報と、画像解像度レベル情報を有している。例えば、８０１は視点０の画像を撮影した図２のカメラ３０３について、そのカメラの位置Ｃ（０）と、その画像の画像解像度レベルＳ（０）を保持する。同様に８０２は視点１の画像を撮影したカメラ３０４に対応したものである。

このように視点０〜ｎ−１までのｎ個分の視差画像の画像解像度レベル情報を保持するものが視差画像解像度情報１１６である。すなわち、視点位置ごとに、異なる解像度の画像を表示するように指定することが可能である。

［視域依存視差画像優先度決定部１０１の処理内容］
視域依存視差画像優先度決定部１０１の処理フローの一例について図９を参照して説明する。本実施形態をパーソナルコンピュータ上で実施する場合には、視域依存視差画像優先度決定部１０１はＣＰＵ上に実装されるプログラムである。
（ステップＳ９０１）まず、入力されたディスプレイパラメータ１１１の情報を元に、初期値（初期優先度）を代入した仮視差画像優先度情報を作成する。ディスプレイパラメータ１１１から視点数ｎを得て、仮視差画像優先度情報の視点数ｎ個分の格納領域を確保する。次いで、ディスプレイパラメータ１１１から多視点カメラ３０２のそれぞれのカメラの位置を得て、仮視差画像優先度情報の各視点のカメラ位置Ｃ（０）〜Ｃ（ｎ−１）に代入する。次に、仮視差画像優先度情報の各視点の優先度Ｐ（０）〜Ｐ（ｎ−１）に、優先度が最も高いことを示す“優先順位１”という値を代入する。

（ステップＳ９０２）次に、入力した視域優先度情報１１２を元に、仮視差画像優先度情報の各視点についての優先度を求める。具体的な処理内容について図１０を参照して説明する。
図１０の例で、視点ｉ０に対応するカメラ１００１は、点ｘ０と点ｘ１の間に存在する。視域優先度情報１１２より、点ｘ０と点ｘ１の間の領域は、“優先順位２”であることが判明するため、視点ｉ０に対応する視差画像優先度情報１１３の優先度Ｐ（ｉ０）に、“優先順位２”を代入する。同様に、視点ｉ１に対応するカメラ１００２は、点ｘ１と点ｘ２に間に存在し、この領域は“優先順位１”であるため、優先度Ｐ（ｉ１）に“優先順位１”を代入する。さらに、視点ｉ２に対応するカメラ１００３は、点ｘ２と点ｘ３の間に存在し、この領域は“優先順位０”であるため、優先度Ｐ（ｉ２）に“優先順位２”を代入する。この処理を描画対象とする視点について行う。
（ステップＳ９０３）次に、ステップＳ９０２の処理で求めた視差画像優先度情報１１３を出力し、処理を終了する。

［視差画像解像度決定部１０３の処理内容］
視差画像解像度決定部１０３の処理フローの一例について図１１を参照して説明する。本実施形態をパーソナルコンピュータ上で実施する場合には、視差画像解像度決定部１０３はＣＰＵ上に実装されるプログラムである。
（ステップＳ１１０１）まず、入力された多視点スプライトデータサイズ閾値１１４を変数Ｄｓに代入する。同じく視差画像優先度情報１１３、視差画像解像度情報１１５が入力される。視差画像優先度情報１１３の具体的な内容は図７に、視差画像解像度情報１１６の具体的な内容は図８に示されている。視差画像解像度情報の各視点について、最も高い解像度情報である画像解像度レベル１の解像度を代入する。最後に、後段のループに用いるインデックスｉに１を代入する。

（ステップＳ１１０２）次に、視差画像解像度情報１１６の全視差の画像データサイズの総和Ｄｄを算出する。Ｄｄは以下の式で求まる。ここで、Ｓｗ（ｋ）および、Ｓｈ（ｋ）は、視差画像解像度情報１１５で参照される値である。また、Ｓ（ｋ）は、視差画像解像度情報１１６における各視点画像の画像解像度レベルである。また、ＢＰＰは、１画素あたりの情報量を示す係数であり、Ｄｄの単位がバイトで、各画素がＲＧＢＡの４つの色要素を有し、各色要素１つあたり８ビット（１バイト）で構成される場合には、ＢＰＰは４となる。

次に、算出したＤｄと１１０１において入力されたＤｓを比較する。ＤｓがＤｄ以上である場合にはステップＳ１１０７へ遷移する。ＤｓがＤｄよりも小さい場合にはステップＳ１１０３へ遷移する。

（ステップＳ１１０３）視差画像優先度情報１１３のうち、優先度が最も低いものからｉ段階分の優先度の視点について、対応する視差画像解像度情報１１６の画像解像度レベルを１段階下げる。１段階下げるとは、ある視点ｊについて、Ｓ（ｊ）＜ｍ（ｍは視差画像解像度情報１１５における最低の画像解像度レベルである）の場合には、Ｓ（ｊ）に１を加える。

この処理を具体的に説明すると次にようになる。
例えば、インデックスｉが１の場合で、視差画像優先度情報１１３の各視点の優先度が、優先順位１と優先順位２の２つの優先度を有する場合を仮定する。複数の優先度の中で最も優先度が低いものは優先順位２であり、最も低い優先順位２から１段階分の優先度とは、優先度が優先順位２のものである。したがって、優先度が優先順位２である視点ｊについて、画像解像度レベルＳ（ｊ）が最低画像解像度レベルｍ未満であれば、Ｓ（ｊ）に１加える。

異なる条件の例について説明する。インデックスｉが２の場合で、視差画像優先度情報１１３の各視点の優先度が、同じく優先順位１と優先順位２の２つの優先度を有する場合を仮定する。複数の優先度の中で最も優先度が低いものは優先順位２であり、最も低い優先順位２から２段階分の優先度とは、優先度が優先順位２と優先順位１のものである。したがって、優先度が優先順位２または優先順位１である視点ｊについて、画像解像度レベルＳ（ｊ）が最低画像解像度レベルｍ未満であれば、Ｓ（ｊ）に１加える。

（ステップＳ１１０４）視差画像解像度情報１１６の描画対象とする視点について、最低レベルの画像解像度レベルであるかどうかを判定する。具体的には、描画対象とする視点ｊについて、Ｓ（ｊ）＝ｍが満たされるかどうかを判定する。この条件を満たす場合には、これ以上解像度を下げても、多視点スプライトデータサイズ閾値Ｄｓを満足するスプライトデータを生成することが不可能である。そのため、ステップＳ１１０５に遷移し、エラーを出力して終了する（ステップＳ１１０５）。
ステップＳ１１０４で条件を満たさなかった場合には、ステップＳ１１０６に遷移する。

インデックスｉを１増やして、ステップＳ１１０２に遷移する（ステップＳ１１０６）。視差画像解像度情報１１６を出力して終了する（ステップＳ１１０７）。

［視差画像読み出し部１０４の処理内容］
視差画像読み出し部１０４は、入力された視差画像解像度情報１１６の情報を元に、多重解像度多視点画像格納部１０２から、視点ごとに対応する解像度の視差画像を読み出す。視差画像解像度情報１１６の具体的な構成は図８に示されている。例えば、図８の８０１で示される、視点０の解像度が画像解像度レベル２と指定されている場合には、視点０のスプライト画像として、多重解像度多視点画像格納部１０２より、画像解像度レベル２、視点０の画像を読み出す。以上の処理を視点数分繰りかえす。

そして、読み出した多視差スプライト画像を出力する。なお、本実施形態をパーソナルコンピュータ上で実施する場合には、視差画像読み出し部１０４はＣＰＵ上に実装されるプログラムである。

［多視差スプライト格納部１０６に格納される情報］
多視差スプライト格納部１０６に格納される多視差スプライト情報について図１２に示す。本実施形態をパーソナルコンピュータ上に実現する場合には、多視差スプライト格納部１０６は、例えば、メインメモリやＨＤＤなどの外部記憶装置を用いる。

多視差スプライト格納部１０６では、多視差スプライト画像１２０２に多視差スプライト名１１８を関連付け、多視差スプライトデータ１２０１として保持する。多視差スプライト格納部１０６は複数の多視差スプライトデータ１２０１を格納できるものとし、多視差スプライトの区別を多視差スプライト名１１８で行う。多視差スプライト名として、例えば、通し番号や文字列などを用いる。

［多視差スプライト登録部１０５の処理内容］
多視差スプライト登録部１０５は、多視差画像読み出し部１０４の出力である多視差スプライト画像と、多視差スプライト名１１８を入力とする。多視差スプライト登録部１０５では、図１２の多視差スプライト名１１８を、入力された多視差スプライト画像１２０２に関連づけて多視差スプライトデータ１２０１を構成し、多視差スプライト格納部１０６に登録する。

なお、本実施形態をパーソナルコンピュータ上で実施する場合には、多視差スプライト登録部１０５はＣＰＵ上に実装されるプログラムである。

［第１の実施形態の効果］
本実施形態では、３Ｄディスプレイの視域に基づいて定義された視差画像優先度情報と、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納手段から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、第１の実施形態の多視差画像生成装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、視域優先度が高い視点には高い解像度のスプライト画像、一方、視域優先度が低い視点には低い解像度のスプライト画像というように、観察者の視点が視域の中央に高頻度で存在する場合に、多視差スプライトの映像を視覚的に大きく劣化させることなく構成することが可能である。

なお、本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。

第１の実施形態では、水平方向のみに視差を生成する３Ｄディスプレイを対象とし、水平方向１次元についてのみの多重解像度多視差スプライトを構成したが、水平および垂直方向に視差を生成する３Ｄディスプレイについても、本実施形態の内容を縦横２次元に適用することで実施可能である。

（第２の実施形態）
本実施形態では、第１の実施形態の構成に追加して、多視差スプライト格納部から多視差スプライトを読み出し、指定された位置に描画を行い、多視差スプライトを立体映像として提示する場合の例を示す。

［装置の構成］
本実施形態の多視差画像生成装置について図１３を参照して説明する。
第２の実施形態の多視差画像生成装置は、図１に示される第１の実施形態の多視差画像生成装置に、多視差スプライト読み出し部１３０１、多視差スプライト描画部１３０２、提示部１３０３を含む。

多視差スプライト読み出し部１３０１は、多視差スプライト名１３１１を入力として、多視差スプライト格納部１０６から多視点スプライトデータを読み出す。

多視差スプライト描画部１３０２は、読み出された多視差スプライトを、ディスプレイパラメータ１１１と、スプライト表示位置１３１２に基づいてフレームメモリ上に描画を行う。

提示部１３０３は、フレームメモリ上に描画された多視差スプライトを立体映像として提示する。

［多視差スプライト読み出し部１３０１の処理内容］
多視差スプライト読み出し部１３０１は、入力された多視差スプライト名１３１１に対応する多視差スプライトデータを多視差スプライト格納部１０６から読み出す。読み出された多視差スプライトデータは、多視差スプライト描画部１３０２に入力される。本実施形態をパーソナルコンピュータ上で実施する場合には、多視差スプライト読み出し部１３０１はＣＰＵ上に実装されるプログラムであり、多視差スプライト描画部１３０２を実装したグラフィックスハードウェアのビデオメモリに多視差スプライトを転送する処理を行う。

［多視差スプライト描画部１３０２の処理内容］
多視差スプライト描画部１３０２の処理内容について図１４を参照しながら説明する。多視差スプライト描画部１３０２は、多視差スプライト読み出し部１３０１で読み出された多視差スプライト画像１４０１を、入力されたディスプレイパラメータ１１１と、スプライト表示位置１３１２にもとづいて、多視点レンダリング用フレームメモリ１４０２上に転送する。

ここで入力されるディスプレイパラメータ１１１は、多視点レンダリング用フレームメモリの個数や各視点のフレームメモリの画素数、提示部１３０３に多視点レンダリング用フレームメモリの内容を表示する際に必要となるパラメータを保持するものである。多視差スプライト描画部１３０２に入力されるディスプレイパラメータ１１１は、視域依存視差画像優先度決定部１０１に代入されるものと同一のものである必要がある。ディスプレイパラメータの具体的内容については、例えば特開２００７−９６９５１を参照されたい。

多視差スプライト画像１４０１は、ｎ個の視点について異なる解像度のスプライト画像１４０８などから構成される。多視点レンダリング用フレームメモリ１４０２は、ｎ個の視点についてのフレームバッファ１４０３などから構成される。そして、例えば視点０については、スプライト画像１４０８から、フレームバッファ１４０３上の、スプライト表示位置１４０４および１４０５で指定された多視差スプライト描画領域１４０６に画像を転送する。この処理をｎ個描画対象とする視点について繰り返す。ここで各視点について描画左上位置１４０４と描画右下位置１４０５を同一にした場合には、多視差スプライトは３Ｄディスプレイパネル面に存在するように表示される。視点ごとに視差を持たせるように、視点ごとに異なる位置に描画した場合には、多視差スプライトは３Ｄディスプレイパネル面の手前または奥に存在するように表示される。この処理の具体的内容は例えば特開２００７−９６９５１を参照されたい。

ここで、視点０の多視差スプライト描画領域１４０６と視点１の多視差スプライト描画領域１４０７は、同一のオブジェクトの異なる位置からの画像であるため、転送先の領域の大きさは共通である。したがって、多視差スプライト画像１４０１上の画像は、多視点レンダリング用フレームメモリ１４０２上の各視点の描画領域のサイズに一致するように転送時に拡大または縮小処理が施される。

本実施形態をパーソナルコンピュータ上で実施する場合には、多視差スプライト描画部１３０２は、パーソナルコンピュータに搭載されたグラフィックスハードウェア上で実現される処理である。具体的には、多視差スプライト画像１４０１は、グラフィックスハードウェア上のビデオメモリにテクスチャマッピングデータとして保持される。また、多視点レンダリング用フレームメモリ１４０２は、グラフィックスハードウェア上のビデオメモリにフレームバッファとして保持される。また、多視差スプライト画像１４０１から多視点レンダリング用フレームメモリ１４０２への転送処理は、グラフィックスハードウェアにおけるポリゴンへのテクスチャマッピング処理により実行される。転送処理を具体的に説明すると、例えば、視点０の場合、スプライト画像１４０８をテクスチャマップとして準備する。ついで、描画領域１４０６に対応する長方形のポリゴンの４隅の頂点のテクスチャ座標に、スプライト画像１４０８の４隅のテクスチャ座標を代入する。ついで、フレームバッファ１４０３への描画処理において、描画左上位置１４０４、描画右下位置１４０５となる長方形のポリゴンを描画する。この処理を描画対象とする視点について繰り返す。

［提示部１３０３の処理内容］
提示部１３０３では、多視差スプライト描画部１３０２で描画された多視点レンダリング用フレームメモリ１４０２を３Ｄディスプレイに出力する。

［第２の実施形態の効果］
本実施形態では、３Ｄディスプレイの視域に基づいて定義された視差画像優先度情報と、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納手段から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成し、生成した多視差スプライトを３Ｄディスプレイ上の任意の位置に提示する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、第２の実施形態の多視差画像生成装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、視域優先度が高い視点には高い解像度のスプライト画像、一方、視域優先度が低い視点には低い解像度のスプライト画像というように、観察者の視点が視域の中央に高頻度で存在する場合に、多視差スプライトの映像を視覚的に大きく劣化させることなく構成し、３Ｄディスプレイに表示することが可能である。

本実施形態をパーソナルコンピュータ上で実施する場合、多視差スプライト描画部１３０２における多視差スプライト画像１４０１はビデオメモリに格納される。本実施形態により、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を高解像度で保持する場合に比べ、ビデオメモリにより多く種類の多視差スプライトを格納することが可能となる。

また、ビデオメモリにおけるデータ転送速度の制約上、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を高解像度で保持する場合に比べ、多視差スプライト１つについてテクスチャメモリからフレームバッファへのデータ転送に要する時間が削減される。これにより、多視差スプライトの描画に要する時間が短縮され、多視差スプライトを用いるアプリケーションの処理速度の高速化が実現される。

また、図１５と図１６を参照しながら付随する効果について説明する。本実施形態により、３Ｄディスプレイにおける視域の中央付近１５０１（斜線部分）で観察される多視差スプライトの画像解像度を高くし、一方、視域の境界付近１５０２（点々部分）で観察される多視差スプライトの画像解像度を低くするとする。図１５の１５０３のように、観察者の視点が視域の中央付近に存在する場合には、多視差スプライトは解像度が高く近くされるが、図１６の１６０１のように観察者の視点が視域境界に近づいた場合に、多視差スプライトは解像度が低く知覚される。この効果により、観察者が現在の視点位置が視域境界に近いことを知覚させることが可能である。

観察者の視点位置が視域境界の外に移動してしまうと、観察者は正常ではない立体映像を知覚してしまうという問題が生じる。本実施形態で生成した多視差スプライトにより立体映像が正しく観察できる視域範囲を観察される多視差スプライトの画像解像度の変化として提示することで、この問題を防ぐことが可能である。

本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。または、３Ｄディスプレイアプリケーション内部のシーングラフ処理手段（シーングラフとはＣＧオブジェクトの空間データ構造のことである）に本実施形態を適用することで、アプリケーション実行中に、グラフィックスハードウェアのビデオメモリ消費量など、アプリケーションの状態に応じて動的に多視差スプライトの構成を変化させることも可能である。

本実施形態では、水平方向のみに視差を生成する３Ｄディスプレイを対象とし、水平方向１次元についてのみの多重解像度多視差スプライトを構成したが、水平および垂直方向に視差を生成する３Ｄディスプレイについても、本実施形態の内容を縦横２次元に適用することで実施可能である。

（第３の実施形態）
本実施形態では、スクリーン中のスプライト表示位置情報とディスプレイパラメータを入力とし、スプライト表示位置情報に依存する、多視差スプライトの各視点についての解像度を決定し、その多視点解像度情報にもとづいて多重解像度多視点画像格納部１０２から選択的に各視点の画像を読み出し、多視点スプライトを構成し、多視点スプライト名を付加して多視差スプライト格納部に登録する装置の例を示す。

［装置の構成］
本実施形態の多視差画像生成装置について図１７を参照して説明する。
第３の実施形態の多視差画像生成装置は、第１の実施形態の視域依存視差画像優先度決定部１０１の代わりにスプライト表示位置依存視差画像優先度決定部１７０１を含み、その他は第１の実施形態と同様である。
スプライト表示位置依存視差画像優先度決定部１７０１は、３Ｄディスプレイのディスプレイパラメータ１１１と、スプライト表示位置情報１７１１を入力とし、視差画像優先度情報１１３を出力する。スプライト表示位置依存視差画像優先度決定部１７０１は、ディスプレイパラメータから視点数と該視点の位置を取得し、時刻ごとに視差画像の表示位置を示す表示位置情報を参照して、位置ごとに視差画像が位置する頻度を積算し、視点ごとの、頻度に応じた優先度を定める視差画像優先度情報を生成する。
以下、本実施形態と第１の実施形態の異なる部分について説明する。

［スプライト表示位置情報１７１１の構成］
スプライト表示位置情報１７１１について図１８および図１９を参照して説明する。
スプライト表示位置情報１７１１の具体的な内容は、図１９で定義される情報である。
図１８は、多視差スプライトの表示位置の時間変化を図上に示した例である。３Ｄディスプレイのスクリーン１８０１の中で、多視差スプライト１８０２の中心位置の軌跡を、有向線分の集合１８０３で示している。多視差スプライトはｎ視点の視差画像を有し、ここではそのうち中央の視点の視差画像を用いるなど、代表となる１つの視差画像１８０２を利用するものとする。１８０４は、スクリーン１８０１の座標系であり、本実施形態では、スクリーン中央を原点、水平方向で、かつ、右向きをｘ軸正方向、垂直方向で、かつ、上向きをｙ軸正方向とする。スクリーン座標系１８０４は、座標系は表示システムの形態により任意に変更可能である。

ここで、軌跡１８０３を、多視差スプライトのモーションパスと呼ぶ。本実施形態でのモーションパスは、スクリーン上の点Ｐ０、Ｐ１、…、Ｐ６で定義される折れ線である。多視差スプライト１８０２の中心位置は、時刻ｔ０において点Ｐ０にあり、時刻ｔ１において点Ｐ１上にある。時刻ｔ（ｔ０≦ｔ≦ｔ１）では、中心位置Ｐは、Ｐ０とＰ１を内分した、以下の式で定義される位置にある。

ｔ１≦ｔの時刻範囲でも同様である。このように、多視差スプライト１８０２は、この折れ線１８０３の上を移動する。

図１９は、図１８の多視差スプライトの軌跡に対応する、スプライト表示位置情報１７１１の構成を示すものである。スプライト表示位置情報１７１１は、多視差スプライト名１９０１と、時刻と対応する多視差スプライトの中心位置を順に定義した情報１９０２を含む。ここで座標Ｐ０、Ｐ１、…、Ｐ６は、２次元座標で定義されるものとする。
第３の実施形態では、モーションパスを折れ線で定義したが、モーションパスはベジェ関数やスプライン関数などを用いて曲線により定義されてもよい。
また、第３の実施形態では、多視差スプライトはスクリーン面上を２次元的に移動するものとしたが、モーションパスは、３Ｄディスプレイの奥行き方向も含め３次元的に移動するように定義してもよい。その場合には、座標のＺ成分である奥行き方向の情報は用いないなど、３次元から２次元への射影処理を行う必要がある。

［スプライト表示位置依存視差画像優先度決定部１７０１の処理内容］
スプライト表示位置依存視差画像優先度決定部１７０１の処理内容の一例について図２０と図２１を参照しながら説明する。図２０は、スプライト表示位置依存視差画像優先度決定部１７０１の処理フローである。本実施形態をパーソナルコンピュータ上で実施する場合には、スプライト表示位置依存視差画像優先度決定部１７０１はＣＰＵ上に実装されるプログラムである。

（ステップＳ２００１）まず、多視差スプライト表示位置検出用ラインバッファを初期化する。このラインバッファは、図２１の２１０１で示されるものであり、３Ｄディスプレイのスクリーン１８０１の水平画素数分の数値を格納するものである。ここでは、ラインバッファＬＢ（ｘ）にすべて０を代入する。また、時刻を格納する変数ｔにモーションパスの開始時刻であるｔ＿ｓｔａｒｔを代入する。図１８のモーションパス１８０３では、ｔ＿ｓｔａｒｔ＝ｔ０である。

（ステップＳ２００２）次に、図１９のスプライト表示位置情報を参照し、現在時刻ｔにおけるスプライト中心位置を算出する。中心位置の算出手法は、前述のスプライト表示位置情報１７１１の構成で述べた手法を用いる。

（ステップＳ２００３）次に、スプライトの表示領域に対応する、ｘ座標のラインバッファの値を増加させる。具体的には、下記の式のように、スプライト画像中の非透明である有効画素の最小のｘ座標値ｘ＿ｍｉｎと最大のｘ座標値ｘ＿ｍａｘの間の範囲のラインバッファの値を１増やす。

ｘ＿ｍｉｎ≦ｘ≦ｘ＿ｍａｘの範囲ｘについて、ＬＢ（ｘ）＝ＬＢ（ｘ）＋１
図２１は、上記の処理を図で示したものである。図２１の２１０３が、スプライト画像中の水平方向の有効画素であり、この領域のラインバッファ２１０１の値を１増やす。

本実施形態では、多視差スプライトの表示時の拡大処理または縮小処理を行っていない。多視差スプライトの表示時の拡大処理または縮小処理を行う場合には、スプライトの表示領域１８０２は拡大または縮小され、その結果がラインバッファ２１０３に反映される。

（ステップＳ２００４）次に、時刻変数ｔをあらかじめ定めた時刻の増分Δｔだけ増やす。増分Δｔは多視差スプライトの移動速度に応じて設定するものとする。そして、ｔがモーションパスの終了時刻ｔ＿ｅｎｄよりも大きな値になった場合には、ステップＳ２００５に遷移する。時刻変数ｔがｔ＿ｅｎｄよりも小さい場合には、ステップＳ２００２に遷移する。

（ステップＳ２００５）次に、ラインバッファＬＢ（ｘ）の数値の平均μと分散σを算出する。図２１の２１０４は、ラインバッファの値をヒストグラムで示したものである。多視差スプライトが高い頻度で存在するｘ座標の領域では、ヒストグラム２１０４の値が大きくなる。このヒストグラムより、２１０５で示される平均μと分散σを算出する。ヒストグラム２１０４のうち、斜線で塗りつぶされている領域がμ−σ≦ｘ≦μ＋σの領域であり、水平方向に関して、この範囲に多視差スプライトは統計上高い頻度で表示されることになる。本実施形態では、この領域を多視差スプライト高頻度表示範囲と呼ぶ。

（ステップＳ２００６）次に、算出した平均μと分散σ、および、ディスプレイパラメータ１１１より、視差画像優先度情報１１３を生成し出力する。この処理の具体的内容について以下に説明する。

［スプライト表示位置依存視差画像優先度決定部１７０１における視差画像優先度情報１１３生成処理］
スプライト表示位置依存視差画像優先度決定部１７０１における視差画像優先度情報１１３生成処理について詳しく説明する。

特開２００４−２１２６６６で示されているように、本実施形態で示す３Ｄディスプレイでは、視域最適化法を用いて視域を拡大している。これは、図２２に示すように、３Ｄディスプレイ２２０１のひとつの画素についてレンチキュラーレンズで実現される視点数（例えば１２視点）よりも多い視点数（例えば２４視点）について描画部が多視点画像２２０２を生成し、３Ｄディスプレイの水平方向の画素について異なる組み合わせの視点画像を対応させることによって実現している。例えば、３Ｄディスプレイ２２０１のある画素２２０６は、多視点画像２２０２のうち、２２０３で示される視点０から視点ｊまでの多視点画像を表示に用いている。同様に、画素２２０７は、２２０４で示される視点ｉから視点ｌまでの多視点画像を表示に用い、画素２２０８は、２２０５で示される視点ｋから視点ｎ−１までの多視点画像を表示に用いている。すなわち、多視点画像２２０２は、画像中のすべての領域が３Ｄディスプレイの画素として表示されるのではなく、各視点について斜線で示した領域のみが表示されることとなる。本実施形態では、この領域を多視差画像の実効表示範囲と呼ぶ。各視点の実効表示範囲は、３Ｄディスプレイのパネル構成に依存するものであり、ディスプレイパラメータ１１１から算出可能である。

本実施形態では、ラインバッファの値の平均μを中心とする２σの幅の領域により、多視差スプライト高頻度表示範囲２１０５を定義したが、多視差スプライト高頻度表示範囲２１０５の幅は２σに限定せず、多視差スプライトの形状や移動範囲に応じて変更してもよい。

また、本実施形態では、ステップＳ２００３において、スプライト画像中の非透明である有効画素の最小のｘ座標値ｘ＿ｍｉｎと最大のｘ座標値ｘ＿ｍａｘの間の範囲のラインバッファの値を１増やすという処理を行ったが、例えば多視差スプライトが主に表示領域１８０２の右側に存在する場合には、スプライト画像中の非透明である有効画素の最小のｘ座標値ｘ＿ｍｉｎと最大のｘ座標値ｘ＿ｍａｘの間の範囲のラインバッファの右側に多く値を加算するなど、多視差スプライトの実際の形状に応じて加算する値に重み付けをしてもよい。

ここで、多視点画像２２０２のうち、多視差スプライト高頻度表示範囲を、実行表示範囲が含む視点について高い解像度で保持し、それ以外の視点については、低い解像度で保持するとする。このようにしても視覚上大きな劣化とはならず、多視差スプライト全体のデータ量を縮小することが可能である。

次に、多視点画像２２０２の表示領域と、ヒストグラム２１０４から視差画像優先度情報１１３を生成する手法について図２３を参照して説明する。
各視点について、２３０１で示すように、多視点画像の実効表示範囲が、ヒストグラム２１０４の斜線部分である多視差スプライト高頻度表示範囲を包含するものを見つける。図２３の例では、視点ａから視点ｂまでの視点が上記の条件を満たす。そのため、この範囲の視点２３０３について、優先度が最も高いことを示す“優先順位１”とする。一方、視点０から視点ａ―１の視点２３０２、視点ｂ＋１から視点ｎ−１までの範囲の視点２３０４、優先順位１より優先度が低いことを示す“優先順位２”とする。これにより、視差画像優先度情報１１３の各Ｐ（ｉ）に優先度を代入する。
なお、第３の実施形態において、スプライト表示位置依存視差画像優先度決定部１７０１の後段の処理は、第１の実施形態と共通である。

［第３の実施形態の効果］
本実施形態では、多視差スプライトの表示位置情報に基づいて算出された視差画像優先度情報と、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納部から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、本実施形態の多視差画像生成装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、多視差スプライトが高頻度で表示される領域には高い解像度のスプライト画像、一方、多視差スプライトが低頻度で表示される領域には低い解像度のスプライト画像というように、多視差スプライトの映像を視覚的に大きく劣化させることなく構成することが可能である。
本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。

本実施形態では、水平方向のみに視差を生成する３Ｄディスプレイを対象とし、水平方向１次元についてのみの多重解像度多視差スプライトを構成したが、水平および垂直方向に視差を生成する３Ｄディスプレイについても、本実施形態の内容を縦横２次元に適用することで実施可能である。

（第４の実施形態）
本実施形態では、第３の実施形態の構成に追加して、多視差スプライト格納部から多視差スプライトを読み出し、指定された位置に描画を行い、多視差スプライトを立体映像として提示する装置の例を示す。

［装置の構成］
本実施形態の多視差画像生成装置について図２４を参照して説明する。
本実施形態の多視差画像生成装置は、第２の実施形態の多視差スプライト読み出し部１３０１、多視差スプライト描画部１３０２、提示部１３０３を第３の実施形態の多視差画像生成装置に負荷したものである。

［第４の実施形態の効果］
本実施形態では、多視差スプライトの表示位置情報に基づいて算出された視差画像優先度情報と、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納手段から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成し、生成した多視差スプライトを３Ｄディスプレイ上の任意の位置に提示する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、本実施形態の装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、多視差スプライトが高頻度で表示される領域には高い解像度のスプライト画像、一方、多視差スプライトが低頻度で表示される領域には低い解像度のスプライト画像というように、多視差スプライトの映像を視覚的に大きく劣化させることなく構成し、３Ｄディスプレイに表示することが可能である。

本実施形態をパーソナルコンピュータ上で実施する場合、多視差スプライト描画部１３０２における多視差スプライト画像１４０１はビデオメモリに格納される。本実施形態により、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を高解像度で保持する場合に比べ、ビデオメモリにより多く種類の多視差スプライトを格納することが可能となる。

また、ビデオメモリにおけるデータ転送速度の制約上、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を高解像度で保持する場合に比べ、多視差スプライト１つについてテクスチャメモリからフレームバッファへのデータ転送に要する時間が削減される。これにより、多視差スプライトの描画に要する時間が短縮され、多視差スプライトを用いるアプリケーションの処理速度の高速化が実現される。

本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。または、３Ｄディスプレイアプリケーション内部のシーングラフ処理手段に本実施形態を適用することで、アプリケーション実行中に、グラフィックスハードウェアのビデオメモリ消費量など、アプリケーションの状態に応じて動的に多視差スプライトの構成を変化させることも可能である。

本実施形態では、水平方向のみに視差を生成する３Ｄディスプレイを対象とし、水平方向１次元についてのみの多重解像度多視差スプライトを構成したが、水平および垂直方向に視差を生成する３Ｄディスプレイについても、本実施形態の内容を縦横２次元に適用することで実施可能である。

（第５の実施形態）
本実施形態では、視域優先度情報とスクリーン中のスプライト表示位置情報とディスプレイパラメータを入力とし、視域情報とスプライト表示位置情報に依存した、多視差スプライトの各視点についての解像度を決定し、その多視点解像度情報にもとづいて多重解像度多視点画像格納手段から選択的に各視点の画像を読み出し、多視点スプライトを構成し、多視点スプライト名を付加して多視差スプライト格納部に登録する装置の例を示す。

［装置の構成］
本実施形態の多視差画像生成装置について図２５を参照して説明する。
本実施形態では、第１の実施形態の構成に、第３の実施形態のスプライト表示位置依存視差画像優先度決定部１７０１を追加し、視域依存視差画像優先度決定部１０１の出力とスプライト表示位置依存視差画像優先度決定部１７０１の出力を合成する視差画像優先度合成部２５０１を追加している。

視差画像優先度合成部２５０１は、スプライト表示位置依存視差画像優先度決定部１７０１の出力である視差画像優先度情報１１３と、視域依存視差画像優先度決定部１０１の出力である視差画像優先度情報１１３とを入力とし、両視差画像優先度の合成処理を行い、視差画像優先度情報２５１１を出力する。

本装置のうち、視域依存視差画像優先度決定部１０１と、多重解像度多視点画像格納部１０２と、視差画像解像度決定部１０３と、視差画像読み出し部１０４と、多視差スプライト格納部１０６と、多視差スプライト登録部１０５は、第１の実施形態で説明したものと同一であるので、本実施形態では説明を省略する。同じく、本装置のうち、スプライト表示位置依存視差画像優先度決定部１７０１は、第３の実施形態で説明したものと同一であるので、本実施形態では説明を省略する。

［視差画像優先度合成部２５０１の処理内容］
視差画像優先度合成部２５０１の処理フローについて図２６を参照して説明する。本実施形態をパーソナルコンピュータ上で実施する場合には、視差画像優先度合成部２５０１はＣＰＵ上に実装されるプログラムである。ここで、スプライト表示位置依存視差画像優先度決定部１７０１の出力である視差画像優先度情報１１３と、視域依存視差画像優先度決定部１０１の出力である視差画像優先度情報１１３と、視差画像優先度情報２５１１の構造は、すべて図７で示される１１３と同一である。

（ステップＳ２６０１）まず、ループ処理のための視点インデックス変数に０を代入する。
（ステップＳ２６０２）次に、視域依存視差画像優先度決定部１０１の出力である視差画像優先度情報１１３について、視点ｉについての優先度Ｐ（ｉ）を変数Ｐａに代入する。
（ステップＳ２６０３）次に、スプライト表示位置依存視差画像優先度決定部１７０１の出力である視差画像優先度情報１１３について、視点ｉについての優先度Ｐ（ｉ）を変数Ｐｂに代入する。

（ステップＳ２６０４）次に、２つの優先度ＰａとＰｂの比較を行う。ＰａがＰｂよりも優先度が高ければ、変数Ｐｃに優先度が低いＰｂを代入する。一方、ＰａがＰｂよりも優先度が低ければ、変数Ｐｃに優先度が低いＰａを代入する。ＰａとＰｂが等しい優先度である場合には、ＰｃにＰａを代入する。例えば、Ｐａが“優先順位１”でありＰｂが“優先順位２”である場合には、Ｐｃには“優先順位２”が代入されることになる。

（ステップＳ２６０５）次に、視差画像優先度情報２５１１の視点ｉについての優先度Ｐ（ｉ）にＰｃを代入する。
（ステップＳ２６０６）次に、視点インデックス変数ｉを１増やす。ｉが視点数ｎと等しいかどうかを判定し、等しい場合にはステップＳ２６０７へ遷移し、等しくない場合にはステップＳ２６０２へ遷移する。
（ステップＳ２６０７）最後に、視差画像優先度情報２５１１を出力して終了する。

このように、視差画像優先度合成部２５０１により、視域依存視差画像優先度決定部１０１とスプライト表示位置依存視差画像優先度決定部１７０１の両者から出力された視差画像ごとの優先度情報が合成される。

本実施形態では、各視点について、視域依存視差画像優先度決定部１０１とスプライト表示位置依存視差画像優先度決定部１７０１から出力される視差画像優先度のうち、低い優先度を出力する方法について述べたが、この方法に制約されることなく、両者のうち高い優先度を出力することもできる。また、両者の優先度の中間の優先度を算出し出力することも可能である。

［第５の実施形態の効果］
本実施形態では、第１の実施形態における３Ｄディスプレイの視域に基づいて定義された視差画像優先度情報と、第３の実施形態における多視差スプライトの表示位置情報に基づいて算出された視差画像優先度情報とを組み合わせ、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納手段から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、本実施形態の装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、かつ、多視差スプライトが高頻度で表示される領域について、多視差スプライトの映像を視覚的に大きく劣化させることなく構成することが可能である。

本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。

本実施形態では、水平方向のみに視差を生成する３Ｄディスプレイを対象とし、水平方向１次元についてのみの多重解像度多視差スプライトを構成したが、水平および垂直方向に視差を生成する３Ｄディスプレイについても、本実施形態の内容を縦横２次元に適用することで実施可能である。

（第６の実施形態）
本実施形態では、第５の実施形態の構成に追加して、第２の実施形態で説明した、多視差スプライト格納部から多視差スプライトを読み出し、指定された位置に描画を行い、多視差スプライトを立体映像として提示する装置の例を示す。

［装置の構成］
本実施形態の構成について図２７を参照して説明する。
この装置は、図２５に示される第５の実施形態の装置に、多視差スプライト読み出し部１３０１、多視差スプライト描画部１３０２、提示部１３０３を追加している。これらは、すべて第２の実施形態で説明しているため、ここでは説明を省略する。

［第６の実施形態の効果］
本実施形態では、第１の実施形態における３Ｄディスプレイの視域に基づいて定義された視差画像優先度情報と、第３の実施形態における多視差スプライトの表示位置情報に基づいて算出された視差画像優先度情報とを組み合わせ、所与の多視差スプライトデータサイズ閾値を元に、多重解像度多視点画像格納手段から視点ごとに異なる解像度で定義される多重解像度多視差スプライトを読み出し、多視差スプライトデータを生成し、生成した多視差スプライトを３Ｄディスプレイ上の任意の位置に提示する。

描画対象とする視点のスプライト画像を高解像度で保持する場合は、多視差スプライトデータサイズが多視差スプライトデータサイズ閾値を超えてしまう場合に、本実施形態の装置を用いれば、多視差スプライトデータサイズ閾値を超えないデータサイズにおいて、観察者の視点が視域の中央に高頻度で存在する場合で、かつ、多視差スプライトが高頻度で表示される領域について、多視差スプライトの映像を視覚的に大きく劣化させることなく構成し、３Ｄディスプレイに表示することが可能である。

本実施形態をパーソナルコンピュータ上で実施する場合、多視差スプライト描画部１３０２における多視差スプライト画像１４０１はビデオメモリに格納される。本実施形態により、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を最高解像度で保持する場合に比べ、ビデオメモリにより多く種類の多視差スプライトを格納することが可能となる。

また、ビデオメモリにおけるデータ転送速度の制約上、多視差スプライト１つあたりの占有ビデオメモリサイズを縮小することで、描画対象とする視点のスプライト画像を最高解像度で保持する場合に比べ、多視差スプライト１つについてテクスチャメモリからフレームバッファへのデータ転送に要する時間が削減される。これにより、多視差スプライトの描画に要する時間が短縮され、多視差スプライトを用いるアプリケーションの処理速度の高速化が実現される。

本実施形態の実施にあたっては、多視差スプライトを用いる３Ｄディスプレイアプリケーション実行の前処理での実行が考えられる。または、３Ｄディスプレイアプリケーション内部のシーングラフ処理手段に本実施形態を適用することで、アプリケーション実行中に、グラフィックスハードウェアのビデオメモリ消費量など、アプリケーションの状態に応じて動的に多視差スプライトの構成を変化させることも可能である。

以上に示した実施形態によれば、視域優先度が高い視点には高い解像度のスプライト画像、一方、視域優先度が低い視点には低い解像度のスプライト画像というように、観察者の視点が視域の中央に高頻度で存在する場合に、多視差スプライトの映像を視覚的に大きく劣化させることなく提示することにより、描画対象とする視点について多視差スプライトを高解像度でビデオメモリに保持する場合に比べ、多視差スプライトが占有するビデオメモリ量を削減することができる。

なお、次世代グラフィックス処理エンジンへの搭載や、３Ｄディスプレイ用描画エンジンのミドルウェアへの搭載が期待できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態の多視差画像生成装置のブロック図。 ３Ｄディスプレイと、視域の位置関係について説明するための図。 ＣＧオブジェクトと多視点カメラとの位置関係を示す図。 図１の多重解像度多視点画像格納部の内容を示す図。 図１の視域依存視差画像優先度決定部が入力する視域優先度情報の内容について説明するための図。 図１の視域依存視差画像優先度決定部が入力する視域優先度情報の内容を示す図。 図１の視域依存視差画像優先度決定部が出力する視差画像優先度情報の内容を示す図。 図１の視差画像解像度決定部が出力する視差画像解像度情報の内容を示す図。 図１の視域依存視差画像優先度決定部の処理の一例を示すフローチャート。 視差画像優先度情報を決定するための、視域優先度情報と多視点カメラとの位置関係を説明するための図。 図１の視差画像解像度決定部の処理の一例を示すフローチャート。 図１の多視差スプライト格納部の内容を示す図。 第２の実施形態の多視差画像生成装置のブロック図。 図１３の多視差スプライト描画部の処理内容を説明するための図。 第２の実施形態の効果を説明するための図。 第２の実施形態の効果を説明するための図。 第３の実施形態の多視差画像生成装置のブロック図。 図１７のスプライト表示位置依存視差画像優先度決定部が入力するスプライト表示位置情報を説明するための図。 図１７のスプライト表示位置依存視差画像優先度決定部が入力するスプライト表示位置情報の内容を示す図。 図１７のスプライト表示位置依存視差画像優先度決定部の処理の一例を示すフローチャート。 図１７のスプライト表示位置依存視差画像優先度決定部の処理を説明するための図。 図１７のスプライト表示位置依存視差画像優先度決定部の処理を説明するための図。 図２２の多視点画像の表示領域と、図２１のヒストグラムから視差画像優先度情報を生成する手法を説明するための図。 第４の実施形態の多視差画像生成装置のブロック図。 第５の実施形態の多視差画像生成装置のブロック図。 図２５の視差画像優先度合成部の処理の一例を示すフローチャート。 第６の実施形態の多視差画像生成装置のブロック図。

符号の説明

１０１・・・視域依存視差画像優先度決定部、１１１・・・ディスプレイパラメータ、１０２・・・多重解像度多視点画像格納部、１０３・・・視差画像解像度決定部、１０４・・・視差画像読み出し部、１０５・・・多視差スプライト登録部、１０６・・・多視差スプライト格納部、１１２・・・視域優先度情報、１１３・・・視差画像優先度情報、１１４・・・多視点スプライトデータサイズ閾値、１１５・・・視差画像解像度情報、１１６・・・視差画像解像度情報、１１７・・・視差画像、１１８、１９０１・・・多視差スプライト名、２０１・・・座標系、２０２、２２０１・・・３Ｄディスプレイ、２０３・・・ＬＣＤパネル、２０４・・・レンチキュラーシート、２０５・・・視域、２０６・・・観察者、３０１・・・ＣＧオブジェクト、３０２〜３０４・・・多視点カメラ、４０２、４０５〜４０７・・・多視点画像、４０３、４０４・・・画像、１００１〜１００３・・・カメラ、１２０１・・・多視差スプライトデータ、１２０２、１４０１・・・多視差スプライト画像、１３０１・・・多視差スプライト読み出し部、１３０２・・・多視差スプライト描画部、１３０３・・・提示部、１３１１・・・多視差スプライト名、１３１２、１４０４、１４０５・・・スプライト表示位置、１４０２・・・多視点レンダリング用フレームメモリ、１４０３・・・フレームバッファ、１４０６、１４０７・・・多視差スプライト描画領域、１４０８・・・スプライト画像、１５０１・・・視域の中央付近、１５０２・・・視域の境界付近、１７０１・・・スプライト表示位置依存視差画像優先度決定部、１７１１・・・スプライト表示位置情報、１８０１・・・スクリーン、１８０２・・・多視差スプライト、１８０３・・・モーションパス、１８０４・・・スクリーン座標系、２１０１、２１０３・・・ラインバッファ、２１０４・・・ヒストグラム、２１０５・・・多視差スプライト高頻度表示範囲、２２０２・・・多視点画像、２５０１・・・視差画像優先度合成部、２５１１・・・視差画像優先度情報。

Claims (7)

1. ディスプレイパラメータから視点数と該視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、視点ごとの優先度を定める視差画像優先度情報を生成する第１生成手段と、
   複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段と、
   描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成する第２生成手段と、
   前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出す第１読み出し手段と、
   読み出された前記視差画像を視点と関連付けて格納する第２格納手段と、を具備することを特徴とする多視差画像生成装置。
2. ディスプレイパラメータから視点数と該視点の位置を取得し、時刻ごとに視差画像の表示位置を示す表示位置情報を参照して、前記位置ごとに視差画像が位置する頻度を積算し、視点ごとの、頻度に応じた優先度を定める視差画像優先度情報を生成する第３生成手段と、
   複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段と、
   描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成する第２生成手段と、
   前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出す第１読み出し手段と、
   読み出された前記視差画像を視点と関連付けて格納する第２格納手段と、を具備することを特徴とする多視差画像生成装置。
3. ディスプレイパラメータから視点数と該視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、視点ごとの優先度を定める第１視差画像優先度情報を生成する第１生成手段と、
   ディスプレイパラメータから視点数と該視点の位置を取得し、時刻ごとに視差画像の表示位置を示す表示位置情報を参照して、前記位置ごとに視差画像が位置する頻度を積算し、視点ごとの、頻度に応じた優先度を定める第２視差画像優先度情報を生成する第３生成手段と、
   視点ごとに、前記第１視差画像優先度情報および第２視差画像優先度情報のいずれかに対応する優先度を定める第３視差画像優先度情報を生成する第４生成手段と、
   複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段と、
   描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成する第２生成手段と、
   前記視差画像解像度情報に基づいて、視点ごとに解像度レベルに対応する視差画像を前記第１格納手段から読み出す第１読み出し手段と、
   読み出された前記視差画像を視点と関連付けて格納する第２格納手段と、を具備することを特徴とする多視差画像生成装置。
4. 多視差名と、前記第１読み出し手段で読み出された視点ごとの視差画像とを関連付けて前記第２格納手段に登録する登録手段をさらに具備することを特徴とする請求項１から請求項３のいずれか１項に記載の多視差画像生成装置。
5. 多視差名に対応する視差画像を読み出す第２読み出し手段と、
   視差画像の表示位置を指定する表示位置情報と前記ディスプレイパラメータとに対応して、前記第２読み出し手段が読み出した視差画像をフレームメモリ上に描画する描画手段と、
   前記フレームメモリ上に描画された視差画像を提示する提示手段と、をさらに具備することを特徴とする請求項１から請求項４のいずれか１項に記載の多視差画像生成装置。
6. ディスプレイパラメータから視点数と該視点の位置を取得し、３次元ディスプレイから所定の視距離の直線上の位置に関して優先度が付与されている視域優先度情報を参照して、視点ごとの優先度を定める視差画像優先度情報を生成し、
   複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段を用意し、
   描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成し、
   前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出し、
   読み出された前記視差画像を視点と関連付けて格納する第２格納手段を用意することを特徴とする多視差画像生成方法。
7. ディスプレイパラメータから視点数と該視点の位置を取得し、時刻ごとに視差画像の表示位置を示す表示位置情報を参照して、前記位置ごとに視差画像が位置する頻度を積算し、視点ごとの、頻度に応じた優先度を定める視差画像優先度情報を生成し、
   複数の解像度レベルごとに、複数の視点での視差画像を複数格納している第１格納手段を用意し、
   描画対象とする視点について複数の前記解像度レベルを高解像度のレベルに設定し、描画対象とする視点の視差画像のデータサイズの総和が閾値よりも大きい場合には該総和が閾値以下になるまで前記優先度の低い視点ほど低解像度のレベルに再設定し、視点ごとの視差画像の解像度レベルを定める視差画像解像度情報を生成し、
   前記視差画像解像度情報に基づいて、視点ごとに前記解像度レベルに対応する視差画像を前記第１格納手段から読み出し、
   読み出された前記視差画像を視点と関連付けて格納する第２格納手段を用意することを特徴とする多視差画像生成方法。

Images