JP7365183B2 - 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 - Google Patents

Description

この発明は、装着したユーザの眼前に画像を表示するヘッドマウントディスプレイ、表示画像を処理する画像生成装置、コンテンツ処理システム、および画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイは鑑賞者の目の直前に画像が表示されるという特性上、広視野角で快適な鑑賞を実現するには、平板型のディスプレイに表示させる一般的な画像とは異なる態様で表示画像を生成することが求められる。ヘッドマウントディスプレイで鑑賞することを前提としたコンテンツの場合、一般にはコンテンツ内部での処理として、そのような特殊な表示画像が生成される。

一方、平板型のディスプレイでの表示を前提とした多くのコンテンツを、ヘッドマウントディスプレイでも鑑賞できるようにした場合、一旦生成された表示画像を別途、加工する必要が生じる。そのため処理の負荷、処理による映像遅延、各リソースの消費、応答性、消費電力などの面で不利となり、実現が容易でない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイ表示に対応していない映像を、低遅延、低コスト、低消費電力でヘッドマウントディスプレイに表示できるようにする技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像生成装置に関する。この画像生成装置は、表示パネルの前面に設けられた接眼レンズを介して鑑賞する表示画像を生成する画像生成装置であって、ソース画像を受信するソース画像受信制御部と、ソース画像に、前記接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成する歪み画像生成部と、画素のデータを、生成された順に格納する部分歪み画像記憶部と、表示画像の全画素数より少ない所定数の画素のデータが部分歪み画像記憶部に格納される都度、当該データを表示パネルに出力する画像表示制御部と、を備えたことを特徴とする。

この画像生成装置において、歪み画像生成部は、記憶部に格納された、歪みを与えた表示画像とソース画像における対応する画素の位置関係を画像平面に表したマップを参照して、または当該位置関係を計算して、表示画像の画素のデータを生成してもよい。

この画像生成装置において、所定数の画素のデータが部分歪み画像記憶部に格納される都度、当該データが送出されるように制御するデータ転送制御部をさらに備えてもよい。

この画像生成装置において、表示パネルを備えたヘッドマウントディスプレイを装着したユーザの頭部の姿勢を取得するユーザ姿勢計算部と、取得されたユーザの頭部の姿勢に係る情報を記憶するユーザ姿勢値記憶部と、ユーザの頭部の姿勢に基づき表示画像の平面を定義するビュースクリーンを設定するビュースクリーン射影決定部と、をさらに備え、歪み画像生成部は、ビュースクリーンに射影した画像に対し前記歪みを与えてもよい。

この画像生成装置において、ソース画像の面を、表示対象の仮想空間に固定するか、表示パネルに固定するかを決定づけるユーザ指示の内容を取得するユーザコントローラ指示受信制御部と、ユーザ指示の内容を記憶するユーザコントローラ入力値記憶部と、をさらに備え、歪み画像生成部は、前記ソース画像の面を表示対象の仮想空間に固定するモードにおいて、ビュースクリーンに射影した画像に対し歪みを与えてもよい。

この画像生成装置においてマップは、表示画像の画素数より少ない離散的な位置において、位置関係を表し、歪み画像生成部は、マップにおいて表された位置関係を補間してなる位置関係に基づき、表示画像の全画素のデータを生成してもよい。

この画像生成装置において歪み画像生成部は、接眼レンズの構造によって定まるマップを参照した変換と、マップに表されないパラメータに基づく変換とを組み合わせて、ソース画像から表示画像の画素のデータを生成してもよい。マップに表されないパラメータとして、ユーザの瞳孔間距離および前記表示パネルとユーザの目の距離の少なくともいずれかに基づき変換を行ってもよい。

この画像生成装置において部分歪み画像記憶部は、所定数の画素のデータを格納する容量の記憶領域を複数備え、歪み画像生成部は、表示画像の画素のデータの格納先を、複数の記憶領域間で切り替えてもよい。

この画像生成装置において、部分歪み画像記憶部が備える複数の記憶領域はそれぞれ、歪み画像生成部における処理の最小単位である単位領域の整数倍の容量を有してもよい。

この画像生成装置においてソース画像は、平板型ディスプレイに表示させることを前提として生成された歪みのない画像であってもよい。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像生成装置と、当該画像生成装置から送出されたデータを順次表示させる表示パネルと、を備えたことを特徴とする。

本発明のさらに別の態様はコンテンツ処理システムに関する。このコンテンツ処理システムは、上記のヘッドマウントディスプレイと、ソース画像を生成して当該ヘッドマウントディスプレイに送信するコンテンツ処理装置と、を備えたことを特徴とする。

このコンテンツ処理システムにおいて、コンテンツ処理装置から送信されたソース画像がそのまま表示できる状態にあるとき、画像表示制御部は、当該ソース画像のデータを表示パネルに出力してもよい。

このコンテンツ処理システムにおいて、歪み画像生成部は、コンテンツ処理装置から送信されるソース画像のフレームのうち、表示画像の１行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該１行分の画素のデータの生成処理を開始してもよい。

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、表示パネルの前面に設けられた接眼レンズを介して鑑賞する表示画像を生成する画像生成装置が、ソース画像を受信するステップと、ソース画像に、接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成し、順にメモリに格納するステップと、表示画像の全画素数より少ない所定数の画素のデータがメモリに格納される都度、当該データを前記表示パネルに出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイ表示に対応していない映像を、低遅延、低コスト、低消費電力でヘッドマウントディスプレイに表示できる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態のコンテンツ処理システムの構成例を示す図である。 平板型ディスプレイに表示させるための画像をヘッドマウントディスプレイに表示させる場合に必要な処理を説明するための図である。 本実施の形態のヘッドマウントディスプレイの回路構成を示す図である。 本実施の形態において実現できる、ソース画像の表示に係る２つのモードを説明するための図である。 本実施の形態においてソース画像をヘッドマウントディスプレイに表示させるまでに必要な画像の変化を概念的に示す図である。 本実施の形態のヘッドマウントディスプレイが内蔵する画像処理装置の機能ブロックの構成を示す図である。 本実施の形態の歪み画像生成部が、歪みのないソース画像から歪みのある表示画像を生成する処理を説明するための図である。 本実施の形態のヘッドマウントディスプレイが実施する処理の流れを説明するための図である。 本実施の形態の部分歪み画像記憶部の構造例を示す図である。 歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。ステレオカメラ１１０が撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像とリアクションする仮想オブジェクトを重畳表示すれば、拡張現実を実現できる。またこれら７つのカメラによる撮影画像の少なくともいずれかをＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により解析すれば、周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得できる。また物体認識や物体深度測定なども行える。

図２は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるようにコンテンツの表示画像を所定のレートで生成する。

ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。

なおコンテンツ処理装置２００とヘッドマウントディスプレイ１００の距離やインターフェース３００の通信方式は限定されない。例えばコンテンツ処理装置２００は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）、携帯電話キャリアネットワーク、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。

図３は、平板型ディスプレイ３０２に表示させるための画像をヘッドマウントディスプレイ１００に表示させる場合に必要な処理を説明するための図である。この例では、テーブルなどのオブジェクトが存在する仮想空間を表示することを考える。このときまず、ユーザの視野に対応する画像１６を描画する。描画手法は一般的なコンピュータグラフィックスの技術を適用できる。画像１６は、本来ユーザが視認すべき像を表し、歪みのない一般的な画像である。

立体視させる場合は画像１６から、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。左目用画像１８ａ、右目用画像１８ｂは、同じオブジェクトの水平方向の位置を、左右の目の間隔と当該オブジェクトまでの距離によって定まる視差分だけずらした画像である。次に左目用画像１８ａ、右目用画像１８ｂに対しそれぞれ、ヘッドマウントディスプレイ１００の接眼レンズによる歪みに合わせた逆補正を施すことにより、最終的な表示画像２２を生成する。

ここで逆補正とは、接眼レンズを介して見たときに元の画像１６が視認されるように、レンズによる歪みと逆方向に、画像をあらかじめ歪ませておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。以後、レンズに対応する歪みが与えられた画像を「歪み画像」と呼ぶ。例えばヘッドマウントディスプレイ１００は、コンテンツ処理装置２００が生成した表示画像２２を所定のフレームレートで取得し、そのまま表示パネルに表示させる。

表示された画像を、レンズを介して鑑賞することにより、ユーザの左目には左目用画像１８ａ、右目には右目用画像１８ｂの像が視認され、結果として画像１６を１フレームとする動画が立体的に認識されることになる。ヘッドマウントディスプレイ１００に表示させることを前提に制作されたコンテンツでは、このように表示画像２２として歪み画像を生成する処理を、コンテンツのプログラムの一部として実施するのが一般的である。

一方、従来型の電子ゲームや録画されたビデオ、テレビ番組、映画など、平板型のディスプレイやスクリーンに表示させることを前提としたコンテンツの場合、表示画像として所定のフレームレートで生成されるのは、画像１６のような歪みのない画像である。それらのコンテンツで呼び出されていたシステム画面も同様である。仮にそのような画像をヘッドマウントディスプレイ１００側でそのまま表示させてしまうと、接眼レンズによって歪んだ状態の像が視認されてしまう。

そこで本実施の形態では、コンテンツ内の処理として生成された歪みのない画像から、ヘッドマウントディスプレイ１００での表示に合った歪み画像を生成する集積回路を準備する。すなわち図示する画像１６を入力データとして表示画像２２を出力する集積回路を設けることにより、ヘッドマウントディスプレイ１００に表示させることを前提としていない従来型の多数のコンテンツを、ヘッドマウントディスプレイ１００で容易に鑑賞できるようにする。これにより、ヘッドマウントディスプレイ１００に表示させることを前提としたコンテンツの画像と融合させたり重畳させたりすることも容易になる。

そのような集積回路をヘッドマウントディスプレイ１００に搭載することにより、コンテンツ処理装置２００側では、表示先がヘッドマウントディスプレイ１００か平板型ディスプレイかに関わらず、従来型のコンテンツを通常どおり処理して歪みのない表示画像を生成、出力すればよくなる。あるいは場合によっては、当該集積回路をコンテンツ処理装置２００に搭載し、表示先がヘッドマウントディスプレイ１００の場合は歪み画像を生成して出力するようにしてもよい。以後、前者のケースを例に説明する。

図４は、本実施の形態のヘッドマウントディスプレイ１００の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。ヘッドマウントディスプレイ１００は、入出力インターフェース３０、メインメモリ３４、画像処理用集積回路３６、モーションセンサ４８、イメージセンサ５０、および表示パネル４６を備える。

入出力インターフェース３０は有線または無線通信によりコンテンツ処理装置２００と通信を確立し、データの送受信を実現する。本実施の形態では、入出力インターフェース３０は主に画像のデータをコンテンツ処理装置２００から所定のレートで受信する。以後、コンテンツ処理装置２００からデータ送信される画像を「ソース画像」と呼ぶ場合がある。入出力インターフェース３０はこのほか、コンテンツ処理装置２００から音声データを受信したり、コンテンツ処理装置２００へ、モーションセンサ４８の計測値やイメージセンサ５０による撮影画像を送信したりしてもよい。

メインメモリ３４は、ＤＲＡＭ（Dynamic Random Access Memory）などで実現される主記憶部であり、ＣＰＵ３２が処理するデータやパラメータ、操作信号などを記憶する。コンテンツ処理装置２００から送信されたソース画像のデータは一旦、メインメモリ３４に格納される。

画像処理用集積回路３６は、他の回路やセンサを制御するＣＰＵ３２、表示画像を描画するＧＰＵ３８、描画された画像のデータを一時的に格納するバッファメモリ４２、表示画像を表示パネル４６に送出するディスプレイコントローラ４４、および、表示画像の送出タイミングを制御するハンドシェークコントローラ４０を含む。ＣＰＵ３２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路やセンサを制御する。

ＧＰＵ３８は、コンテンツ処理装置２００から送信されメインメモリ３４に格納されたソース画像に補正を加えるなどして、最終的に表示させる画像を描画する。ただしソース画像のデータを一旦メインメモリ３４に格納することに限定する趣旨ではなく、格納せずにＧＰＵ３８が処理を開始することで処理遅延やメモリ処理量の増加を避けてもよい。また描画処理はＣＰＵ３２が、またはＣＰＵ３２とＧＰＵ３８が協働で行ってよいが、以後、一例としてＧＰＵ３８が行うとして説明する。

ＧＰＵ３８による描画処理は基本的に、画像平面を分割してなる単位領域ごとに、テクスチャデータの参照や、タイルベース遅延レンダリング（ＴＢＤＲ：Tile Based Deferred Rendering）を行う。ここで単位領域は、３２×３２画素や６４×６４画素などの矩形領域とする。ＧＰＵ３８は、処理対象の単位領域のデータを取得する都度、描画処理を開始する。

ソース画像が動画の各フレームを表す歪みのない画像の場合、ＧＰＵ３８は、上述のとおり左目用、右目用の画像を生成したうえ、それぞれにレンズ歪みの逆補正を施して左右に接続した画像を生成する。なおＧＰＵ３８は、表示対象のオブジェクトまでの距離の設定値を別途取得し、左目用、右目用の画像を、それに応じた視差となるように厳密に生成してもよいし、全ての像に一律の視差を与えるなどの簡易な処理により生成してもよい。いずれにしろＧＰＵ３８は、左目用と右目用の画像を生成することにより、それぞれに光軸を有する接眼レンズを介して見たときに自然に見えるようにする。

ＧＰＵ３８は、表示パネル４６の素子の駆動順に合わせ、ラスタ順に画素値を決定する。すなわち画像平面の左上の画素から右方向に画素値を決定していく処理を、画像平面の上から下に繰り返す。このため歪みのないソース画像と、歪みを与えた表示画像における、対応する画素の位置関係を表したマップを準備しておく。そしてＧＰＵ３８は、表示画像の画素ごとに、ソース画像の対応する位置の近傍画素の値を複数読み出し、フィルター処理することにより画素値を決定する。近傍の画素を用いて１つの画素値を決定するためのフィルター処理には様々な演算手法が提案されており、そのいずれを採用してもよい。

ただし上述のマップに代えて、歪みを与えた画像とソース画像における、対応する画素の位置関係を導出するための変換式を設定してもよい。また表示画像の画素値を決定する要因は、歪みの有無による画素の変位のみに限定されない。例えば、ソース画像が固定されている仮想３次元空間をヘッドマウントディスプレイで鑑賞する態様においては、ヘッドマウントディスプレイ、ひいてはユーザの位置や姿勢に依存して、表示画面に対する相対的なソース画像の位置や姿勢が変化する。そのため３次元空間に固定されているソース画像の平面を、ヘッドマウントディスプレイの位置や姿勢によって定まる、表示画面のビュースクリーンに射影する処理が必要となる。

このようなことを踏まえ、接眼レンズの構造によって定まる歪みの情報のほか、次のパラメータを適宜組み合わせて画素値を決定する。
１．モーションセンサ４８の出力値やＳＬＡＭの計算結果に基づくユーザの姿勢や向いている方向
２．ユーザ固有の左右の瞳孔間距離（目と目の間の距離）
３．ヘッドマウントディスプレイ１００の装着機構部１０４（装着バンド１０６）を、ユーザの頭や目の関係に基づき調整した結果として定まるパラメータ

上記２の瞳孔間距離は次のように取得する。すなわちヘッドマウントディスプレイ１００が視線追跡用ステレオカメラを内蔵している場合、ヘッドマウントディスプレイ１００を装着したユーザの瞳孔を当該視線追跡用ステレオカメラにより撮影する。または、ヘッドマウントディスプレイ１００の前面に設けたステレオカメラ１１０などをユーザが自分の顔に向けることにより、目が開いた顔を撮影する。または、コンテンツ処理システム外の図示しないカメラをユーザにむけて、目が開いた顔を撮影する。そのようにして撮影した画像を、コンテンツ処理システムで動く、瞳孔の画像認識ソフトウェアが処理し、瞳孔間距離を自動測定・記録する。

視線追跡用ステレオカメラやステレオカメラ１１０のカメラ間距離を用いた場合、三角測量する。もしくは、撮影した画像を、コンテンツ処理システムが平板型ディスプレイ３０２に表示し、ユーザが左右瞳孔の位置を指定することで、コンテンツ処理装置２００が、指定に基づき、左右の瞳孔間距離を計算して記録する。ユーザが自分の瞳孔間距離を直接登録することがあってもよい。このようにして取得した瞳孔間距離は、図３の表示画像２２における左目用画像と右目用画像の距離に反映させる。

上記３については、ヘッドマウントディスプレイ１００が内蔵する図示しないロータリーエンコーダやロータリーボリュームなどの計測器が、装着機構部１０４や装着バンド１０６のメカニカルな調整結果を取得する。コンテンツ処理システムは、当該調整結果に基づき接眼レンズから目までの距離や角度を計算する。このようにして取得したパラメータは、図３の表示画像２２における画像の拡大率や像の位置に反映させる。

上記１～３は、ヘッドマウントディスプレイ１００を装着するユーザ固有のパラメータ、あるいはユーザの位置や姿勢といった任意に変化するパラメータであり、事前にマップに反映させることが難しい。したがってＧＰＵ３８は、マップを参照してなされる変換と、上記１～３の少なくともいずれかのパラメータに基づく変換を組み合わせて最終的な画素値を決定してよい。

ＧＰＵ３８は、画素値を決定した画素順に、当該値をバッファメモリ４２に格納していく。ＧＰＵ３８は処理した画素の数、バッファメモリ４２は値が格納された画素の数、ディスプレイコントローラ４４は出力した画素の数をそれぞれ監視する。ハンドシェークコントローラ４０は、ＣＰＵ３２におけるデータ転送制御部の管理下において、バッファメモリ４２に対して、ＧＰＵ３８がデータを書き込んでいる位置、ディスプレイコントローラ４４がデータを読み出している位置、を常に監視し、データ欠乏、すなわちバッファーアンダーランや、データ溢れ、すなわちバッファオーバーランが起きることを防止する。バッファオーバーランが起き得る状態を、ハンドシェークコントローラ４０が検出した場合は、データ出力の抑制指示をＧＰＵ３８に通知する。

バッファーアンダーランが起き得る状態を、ハンドシェークコントローラ４０が検出した場合は、データ出力の加速指示をＧＰＵ３８に通知する。もし、バッファーアンダーランやバッファオーバーランが起きてしまった場合は、ＣＰＵ３２にて動作しているデータ転送制御部に通知する。データ転送制御部は、ユーザへの異常発生の通達や、転送の再開処理を行う。これにより、ＧＰＵ３８の制御のもと、表示画像の全画素数より小さい所定数の画素のデータ（以後、送出単位データと呼ぶ）がバッファメモリ４２に格納される都度、それがディスプレイコントローラ４４から表示パネル４６に送出されるようにする。

送出単位データは例えば、表示画像の１行分、または、表示画像の全行を所定数に等分してなる複数行分のデータとする。複数行分のデータとする場合、その大きさは、ＧＰＵ３８の描画における処理の最小単位である、上記単位領域の整数倍とする。一例として、表示画像を１６分割してなる行数分のデータを送出単位データとする。

そのように表示画像のフレーム全体より小さい単位でデータを送出できるようにする限り、ハンドシェークコントローラ４０がＧＰＵ３８とディスプレイコントローラ４４の通信を確立する実際のタイミングは特に限定されない。なお送出単位データを複数行単位とする場合、必ずしもＧＰＵ３８は、ラスタ順に画素値を決定する必要はなく、複数行を束ねたタイルフォーマットを用いて処理をおこない、送出単位データ内においては、画素値の決定順序がラスタ順と異なってもよい。

このような構成により、バッファメモリ４２のサイズは、表示画像の１フレーム分のサイズより格段に小さくすることができる。例えば、送出単位データを格納する記憶領域を、読み出し用と書き込み用の２つだけ準備してもよいし、送出単位データを格納する記憶領域をリングバッファとし、２つよりも多い複数準備してもよい。これにより、バッファメモリ４２をＳＲＡＭ(Static Random Access Memory)として、画像処理用集積回路３６に搭載させることが可能となる。結果として、ＤＲＡＭなどのメインメモリ３４にフレームバッファを設ける態様と比較すると、高速アクセスが可能となるうえ消費電力を抑えることができる。なおバッファメモリ４２はメインメモリ３４と一体的に構成してもよい。

ディスプレイコントローラ４４は、バッファメモリ４２から読み出した送出単位データを順次電気信号に変換して、適切なタイミングで表示パネル４６の画素を駆動させることにより画像を表示させる。なおソース画像に元から歪みが与えられている場合、ディスプレイコントローラ４４はメインメモリ３４に格納された当該ソース画像を同様に処理して表示パネル４６を駆動させることにより、ソース画像をそのまま表示させればよい。ただし処理遅延やメモリ処理量の増加を避けるため、ソース画像をメインメモリ３４に格納しなくてもよい。

ソース画像がそのまま表示できる状態か否かに係る情報は、ソース画像の付加データとしてコンテンツ処理装置２００から送信させ、ＣＰＵ３２が認識することにより動作を切り替える。表示パネル４６は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ１００を装着したユーザの目の前に画像を表示する。当該画像を、接眼レンズを介して見ることにより、ユーザには歪みのない画像が視認される。

モーションセンサ４８は、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。モーションセンサ４８は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。イメージセンサ５０は図１で示したステレオカメラ１１０に対応し、ユーザの顔の位置や向きに対応する視野で実世界の画像を撮影する。なおイメージセンサ５０はステレオカメラ１１０のものに限らず、単眼カメラ１１１や４つのカメラ１１２のいずれかまたは組み合わせであってもよい。ヘッドマウントディスプレイ１００にはこのほか、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよい。

図５は、本実施の形態において実現できる、ソース画像の表示に係る２つのモードを説明するための図である。本実施の形態では「ヘッドスペースモード」と「ワールドスペースモード」なる２つのモードを実現可能とする。前者はユーザの顔面、ひいてはヘッドマウントディスプレイ１００の表示パネル４６に対しソース画像の面が固定されているモードであり、後者は上述のように表示対象の仮想空間に対しソース画像の面が固定されているモードである。一方、図５の斜視図７０に示すように、ユーザの頭部の３軸に対しそれぞれヨー角（Ｙａｗ）、ピッチ角（Ｐｉｔｃｈ）、ロール角（Ｒｏｌｌ）が定義される。これらのパラメータはモーションセンサ４８の出力値やＳＬＡＭの計算結果によって取得される。

図の右側に示すように、ヘッドスペースモードにおいては、ソース画像はユーザの顔の向きに連動するため、ヨー角、ピッチ角、ロール角の変化と関わりなく、表示画像への画素の変位を決定できる。ワールドスペースモードにおいては、表示画像のビュースクリーンとソース画像の面の相対的な角度が、ヨー角、ピッチ角、ロール角の変化に応じて変化する。したがって画素の変位は、それらのパラメータに基づき動的に決定される。

図６は、ソース画像をヘッドマウントディスプレイに表示させるまでに必要な画像の変化を概念的に示している。（ａ）はヘッドスペースモード、（ｂ）はワールドスペースモードの場合である。どちらのモードにおいても、図３で説明した処理と同様、ソース画像７２から、視差を反映させたステレオ画像７４を得る。そして（ａ）のヘッドスペースモードでは、ソース画像の面とビュースクリーンの相対的な姿勢が変化しないため、図３のケースと同様、ステレオ画像７４の左右の画像に歪みを与えることで表示画像７６を得る。

（ｂ）のワールドスペースモードの場合は、ソース画像とビュースクリーンの相対的な姿勢が、ユーザの頭部の姿勢によって変化する。したがってヨー角、ピッチ角、ロール角に対応させてビュースクリーンを設定し、ソース画像を射影したうえで、接眼レンズに対応した歪みを与えることにより、表示画像７８が得られる。なお表示画像７８において図示した点線は視野境界を示しており、実際に表示されるものではない。このような画像表示によれば、暗闇にソース画像のスクリーンが浮いているように見せることができる。

なお図示した２つのモードはユーザが直接切り替えられるようにしてもよいし、別のパラメータの変化に応じて間接的に切り替えるようにしてもよい。例えばヘッドマウントディスプレイ１００の画面に写るソース画像の大きさによって切り替えてもよい。この場合、ソース画像がしきい値より大きく表示される場合はワールドスペースモードとし、しきい値以下となったらヘッドスペースモードへ切り替えることが考えられる。なおこれらのモードおよびその切り替えについては、国際公開ＷＯ／２０１７／０５１５６４号に開示されている。

図７は、ヘッドマウントディスプレイ１００が内蔵する画像生成装置１２８の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図４に示した画像処理用集積回路３６などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリ３４にロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置１２８のうちユーザコントローラ指示受信制御部１３２はＣＰＵ３２、入出力インターフェース３０により実現され、ヘッドスペースモードとワールドスペースモードのどちらのモードとするかを決定づけるユーザ操作の内容を取得する。例えばユーザがどちらかを選択する入力を行い、ユーザコントローラ指示受信制御部１３２はその入力情報を取得する。ユーザコントローラ入力値記憶部１３６は、そのように取得されたユーザ操作の内容を記憶する。

ユーザ姿勢計算部１３４はＣＰＵ３２、モーションセンサ４８、イメージセンサ５０などで実現され、ヘッドマウントディスプレイ１００を装着したユーザの頭部の姿勢、すなわち上述のヨー角、ピッチ角、ロール角を取得する。これらのパラメータは上述のとおり、モーションセンサ４８の計測値以外に、撮影画像の解析によっても取得できる。解析はコンテンツ処理装置２００において実施してもよい。ユーザ姿勢値記憶部１３８は、ユーザの頭部の姿勢に係る情報を格納する。ビュースクリーン射影決定部１５２はＣＰＵ３２、ＧＰＵ３８で実現され、ワールドスペースモードにおいて、ユーザの頭部の姿勢に基づき表示画像の平面を定義するビュースクリーンを設定する。

ビュースクリーン位置情報記憶部１５０は、そのように設定されたビュースクリーンの、仮想空間での位置および姿勢の情報を記憶する。ソース画像受信制御部１３０はＣＰＵ３２、入出力インターフェース３０で実現され、平板型のディスプレイでの表示を前提としたソース画像を受信する。変位ベクトルマップ記憶部１４０は、接眼レンズに対応する歪みを与えた表示画像とソース画像における対応する画素の位置関係（変位ベクトル）を画像平面に表した変位ベクトルマップを記憶する。歪み画像生成部１４４はＣＰＵ３２、ＧＰＵ３８で実現され、変位ベクトルマップを参照して、ソース画像に少なくとも接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成する。

ワールドスペースモードにおいては歪み画像生成部１４４は、ビュースクリーン位置情報記憶部１５０に格納されたビュースクリーンの位置や姿勢の情報に基づき、図６の（ｂ）で示したようにステレオ画像をビュースクリーンへ射影したうえで歪みを与える。またモードによらずステレオ画像の生成においては、上述の瞳孔間距離や接眼レンズから目までの距離および角度によって、左右の像の間隔や拡大率を制御する。

部分歪み画像記憶部１４２はバッファメモリ４２で実現され、補正後の画素のデータを生成された順に格納する。データ転送制御部１４６はＣＰＵ、ハンドシェークコントローラ、バッファメモリで実現され、表示画像の全画素数より少ない所定数の画素のデータが部分歪み画像記憶部に格納される都度、当該データが送出されるように制御する。画像表示制御部１４８は、ディスプレイコントローラ４４、表示パネル４６で実現され、送出された画素のデータに基づき画像を表示する。

図８は、歪み画像生成部１４４が、歪みのないソース画像から歪みのある表示画像を生成する処理を説明するための図である。これまで述べたようにヘッドマウントディスプレイ１００に表示させるべき歪みのある表示画像６２はすなわち、接眼レンズを介して見たときに歪みのない画像６０が視認されるような画像である。いま仮に、表示画像６２における歪みのある像を、画像６０における歪みのない像に変換することを考えると、その処理は、一般的な撮影画像においてカメラのレンズ歪みを補正する処理と等価である。すなわち当該変換において、位置座標（ｘ，ｙ）の画素の変位ベクトル（Δｘ，Δｙ）は、次の一般式で算出できる。

ここでｒは接眼レンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）は接眼レンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数であり接眼レンズの設計に依存する。補正の次数は特に限定されない。ただし補正に用いる式をこれに限定する趣旨ではない。このような像の歪みに加え、表示画像６２における左目用、右目用の領域における各像と、ソース画像における像との水平方向の変位を考慮するため、式１のΔｘには当該変位分Δｄを加算する。Δｄは接眼レンズの光軸の間隔などに基づく定数である。

そのようにして変位ベクトル（Δｘ，Δｙ）を算出すれば、表示画像６２における位置座標（ｘ，ｙ）の画素Ａに対応する、画像６０（ソース画像）における画素Ｂの位置座標（ｘ＋Δｘ，ｙ＋Δｙ）が判明する。変位ベクトル（Δｘ，Δｙ）は表示画像の画素の位置座標（ｘ，ｙ）の関数としてあらかじめ計算できる。そこでメインメモリ３４などに変位ベクトルマップ記憶部１４０を設け、表示画像の画像平面に対し変位ベクトル（Δｘ，Δｙ）を表した変位ベクトルマップを格納しておく。

変位ベクトルマップは、表示画像の全ての画素に対し変位ベクトルを表してもよいし、表示画像の画素数より少ない離散的な位置にのみ変位ベクトルを表してもよい。後者の場合、歪み画像生成部１４４は、変位ベクトルマップに表された変位ベクトルを補間することにより、表示画像の画素ごとに変位ベクトルを取得する。

そして歪み画像生成部１４４は、表示画像の平面にラスタ順に対象画素を定め、それに対応するソース画像上の位置を変位ベクトルマップに基づき特定し、当該位置近傍画素の値を複数読み出しフィルター処理することにより、対象画素の画素値とする。近傍の画素を用いて１つの画素値を決定するためのフィルター処理には様々な演算手法が提案されており、そのいずれを採用してもよい。これにより画素ごとに独立して画素値を決定でき、画像全体より小さい単位でのデータ送出が可能になる。ただし上述のとおり、画素値の決定にはヘッドマウントディスプレイ１００の姿勢やユーザ固有の各種パラメータを適宜組み合わせてよい。

また式１を用いたレンズ歪みのための補正において、接眼レンズの歪み係数は色ごとに異なる場合がある。なおヘッドマウントディスプレイ１００が備える接眼レンズは一般的な凸レンズ以外にフレネルレンズでもよい。フレネルレンズは薄型化が可能な反面、解像度の低下や同心円状に視野周辺部にいくほど画像歪みが発生しやすく、輝度が非線形に変わり得る。この非線形な同心円状の輝度変化は、赤、緑、青のそれぞれに別の特性を持ち得る（例えば”ディストーション”、エドモンド・オプティクス技術資料、［online]、インターネットURL:https://www.edmundoptics.jp/resources/application-notes/imaging/distortion/参照）。また、表示パネルの各画素がもつ発光素子の色の配列は様々であるなかで、画像平面上の位置と、表示パネルにおける位置を、サブピクセル単位で一致させる必要がある。そこで変位ベクトルマップには、これらを色ごとに補正する成分を含めてもよい。

また表示パネル４６として液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。歪み画像生成部１４４は上述したレンズ歪みに加え、このような接眼レンズや表示パネルによる様々な悪影響を解消するように補正を行ってもよい。この場合、歪み画像生成部１４４は接眼レンズの特性とともに表示パネル４６の特性を内部で保持する。例えば液晶パネルの場合、歪み画像生成部１４４はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、歪み画像生成部１４４は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。

図９は、ヘッドマウントディスプレイ１００が実施する処理の流れを説明するための図である。まずコンテンツ処理装置２００からは歪みのない画像６０が所定のレートで送信される。ヘッドマウントディスプレイ１００のソース画像受信制御部１３０は画像６０のデータを取得する。

すると歪み画像生成部１４４は、図６で説明したようにして歪みを与えた表示画像６２を生成する。ここで歪み画像生成部１４４は、１フレーム分の画像６０が全て取得されるのを待たず表示画像６２の生成を開始してもよい。画像６０のうち、表示画像６２の１行分の画素値を決定するのに必要な行数の画素のデータを取得した時点で当該行の描画を開始すれば、表示までのレイテンシをより抑えることができる。

いずれにしろ部分歪み画像記憶部１４２（バッファメモリ４２）には、表示画像６２の上の行から順に画素のデータが格納される。データ転送制御部１４６のタイミング制御により、部分歪み画像記憶部１４２に送出単位データが格納された時点で、画像表示制御部１４８はそれを読み出し表示させる。例えばあるタイミングで、表示画像６２のうち送出単位データ６４が格納されたら、それに基づく電気信号で表示パネル４６の対応する行を駆動させる。以後、画像の下方へ向かい同様の処理を繰り返すことにより、表示画像６２全体が表示されることになる。

図１０は、部分歪み画像記憶部１４２の構造例を示している。この例で部分歪み画像記憶部１４２は、それぞれが送出単位データのサイズを有する第１記憶領域６６、第２記憶領域６８を備える。一方の記憶領域にデータを書き込んでいき、送出単位データのサイズに到達したら読み出しを開始する一方、他方の記憶領域に次のデータを書き込んでいく。これを繰り返すことにより、２つの記憶領域の役割を入れ替えながらデータ書き込み、読み出しを行う。

上述のとおり、ある態様において表示パネル４６への送出単位は、歪み画像生成部１４４を構成するＧＰＵ３８の描画処理におけるテクスチャデータの参照やタイルベース遅延レンダリングの処理の最小単位である単位領域の整数倍とする。この場合、部分歪み画像記憶部１４２の第１記憶領域６６、第２記憶領域６８はそれぞれ、当該単位領域の整数倍の容量を有する。

なお部分歪み画像記憶部１４２に設ける送出単位データごとの領域を３つ以上とし、それらを循環して使用してもよい。記憶領域を３つ以上とすると、データ書き込みと読み出しに微小な速度差があることにより読み出しが遅れていき、やがて読み出されていないデータが新たなデータで上書きされてしまうなどの不具合を防止できる。

図１１は、歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。図の横方向は時間経過を表し、歪み画像生成部１４４による表示画像の描画時間を実線矢印、表示パネル４６への出力時間を破線矢印で示している。また「描画」や「出力」に併記する括弧内の記載は、フレーム番号ｍの１フレーム分の処理を（ｍ）、フレーム番号ｍのうち送出単位データのｎ番目の処理を（ｍ／ｎ）としている。（ａ）は、メインメモリ３４に１フレーム分の表示画像が格納されてから表示パネルに出力する態様を比較として示している。

具体的には時刻ｔ０から時刻ｔ１にかけて、１フレーム目が描画されるとともにそのデータがメインメモリ３４に格納される。時刻ｔ１において、２フレーム目の描画が開始されるとともに、１フレーム目がメインメモリ３４から順次読み出され表示パネル４６へ出力される。それらの処理は時刻ｔ２で完了し、続いて３フレーム目が描画されるとともに、２フレーム目が出力される。以後、同じ周期で各フレームが描画、出力される。この場合、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、２フレーム分の出力周期と等しくなる。

（ｂ）に示す本実施の形態によれば、１フレーム目の１番目の送出単位データの描画が完了した時点で、部分歪み画像記憶部１４２からそれを読み出し、表示パネル４６へ出力する。その間、２番目の送出単位データが描画されるため、１番目の送出単位データに続き、２番目の送出単位データを表示パネル４６へ出力できる。これを繰り返していくと、最後（ｎ番目）の送出単位データの描画が完了する時刻ｔ１には、１つ前（ｎ－１番目）の送出単位データの出力までが終わっていることになる。以後のフレームも同様に、描画処理と並行に表示パネル４６への出力を進捗させる。

結果として、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、１フレーム分の出力周期に、出力単位データ１つ分の出力時間を加えた値となる。すなわち（ａ）の態様と比較すると、１フレーム分の出力周期に近いΔｔだけ所要時間が短縮される。このことは、コンテンツ処理装置２００から、時刻ｔ０、ｔ１、ｔ２、・・・のタイミングで送信された歪みのない画像を、ヘッドマウントディスプレイ１００に適した状態として低遅延で表示できることを意味する。これにより、元からヘッドマウントディスプレイ１００に適した状態の画像が送信される場合と比較しても、違和感を与えにくい表示を実現できる。

なおこれまでの説明は、画像生成装置１２８内部での処理に着目していたが、クラウドサーバなどのコンテンツ処理装置２００において圧縮符号化されストリーミング転送されたソース画像のデータを、画像生成装置１２８が復号伸張する際にも、同様に処理を進捗させてよい。すなわちコンテンツ処理装置２００および画像生成装置１２８は、フレーム平面を分割してなる単位領域ごとに圧縮符号化、復号伸張、動き補償を行ってよい。

ここで単位領域は、例えば画素の１行分、２行分など、所定行数ごとに横方向に分割してなる領域、あるいは、１６×１６画素、６４×６４画素など、縦横双方向に分割してなる矩形領域などとする。コンテンツ処理装置２００および画像生成装置１２８はそれぞれ、単位領域分の処理対象のデータが取得される都度、圧縮符号化処理および復号伸張処理を開始し、処理後のデータを当該単位領域ごとに出力する。これにより、コンテンツ処理装置２００からのデータ送信時間を含め、表示までの遅延時間をより短縮させることができる。

以上述べた本実施の形態によれば、一旦生成された画像を表示に適した形式とする集積回路をヘッドマウントディスプレイなどに搭載する。当該集積回路は、１フレームより小さいサイズの送出単位データがバッファメモリに格納される都度、それを表示パネルに送出する構成とする。これによりバッファメモリを小容量のＳＲＡＭなどにすることができ、同じ集積回路内に容易に搭載できる。

大容量のＤＲＡＭなどにフレーム全体を格納するバッファを設ける一般的な手法では、描画した画像のデータを大量に伝送する必要があり、処理基板のレイアウト上の問題から伝送経路も複雑となりやすい。高速伝送のためには複数のＤＲＡＭを並列に搭載してバス幅を稼ぐことが考えられるが製造コストが高くなる問題がある。

本実施の形態の小容量のバッファメモリによれば、低コストで高速アクセスが可能となるうえ、伝送のための消費電力を抑えることができる。また、１フレームの描画を待たずに表示パネルへの出力を開始するため、元の画像を取得してから表示するまでに要する時間を最小化できる。ヘッドマウントディスプレイの場合は特に、頭部の動きやユーザ操作に対する表示画像の応答性が問題となりやすい。すなわち表示までの遅延時間によって、臨場感が損なわれるばかりでなく、映像酔いなど体調悪化を引き起こすこともある。

本実施の形態によれば、ヘッドマウントディスプレイに表示させることを前提としない従来型のコンテンツであっても、低遅延に表示させることができる。結果として、コンテンツ自体が定める表示形式に関わりなく、様々な映像をヘッドマウントディスプレイで容易かつ快適に楽しむことができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

３０ 入出力インターフェース、 ３２ ＣＰＵ、 ３４ メインメモリ、 ３６ 画像処理用集積回路、 ３８ ＧＰＵ、 ４０ ハンドシェークコントローラ、 ４２ バッファメモリ、 ４４ ディスプレイコントローラ、 ４６ 表示パネル、 ４８ モーションセンサ、 ５０ イメージセンサ、 １００ ヘッドマウントディスプレイ、 １２８ 画像生成装置、 １３０ ソース画像受信制御部、 １３２ ユーザコントローラ指示受信制御部、 １３４ ユーザ姿勢計算部、 １３６ ユーザコントローラ入力値記憶部、 １３８ ユーザ姿勢値記憶部、 １４０ 変位ベクトルマップ記憶部、 １４２ 部分歪み画像記憶部、 １４４ 歪み画像生成部、 １４６ データ転送制御部、 １４８ 画像表示制御部、 １５０ ビュースクリーン位置情報記憶部、 １５２ ビュースクリーン射影決定部、 ２００ コンテンツ処理装置。

Claims (14)

1. ヘッドマウントディスプレイにおいて表示パネルの前面に設けられた接眼レンズを介して鑑賞する表示画像を生成する画像生成装置であって、
   ソース画像を受信するソース画像受信制御部と、
   前記ヘッドマウントディスプレイを装着したユーザの頭部の姿勢を取得するユーザ姿勢計算部と、
   前記ユーザの頭部の姿勢に基づき表示画像の平面を定義するビュースクリーンを設定するビュースクリーン射影決定部と、
   前記ソース画像の面を、表示対象の仮想空間に固定するか、前記表示パネルに固定するかを決定づけるユーザ指示の内容を取得するユーザコントローラ指示受信制御部と、
   前記ソース画像の面を表示対象の仮想空間に固定するモードにおいて、前記ビュースクリーンに前記ソース画像を射影した画像に対し、前記接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成する歪み画像生成部と、
   前記画素のデータを、生成された順に格納する部分歪み画像記憶部と、
   前記表示画像の全画素数より少ない所定数の画素のデータが前記部分歪み画像記憶部に格納される都度、当該データを前記表示パネルに出力する画像表示制御部と、
   を備えたことを特徴とする画像生成装置。
2. 前記歪み画像生成部は、記憶部に格納された、前記歪みを与える前後の画像における対応する画素の位置関係を画像平面に表したマップを参照して、または前記位置関係を計算して、前記表示画像の画素のデータを生成することを特徴とする請求項１に記載の画像生成装置。
3. 前記所定数の画素のデータが前記部分歪み画像記憶部に格納される都度、当該データが送出されるように制御するデータ転送制御部をさらに備えたことを特徴とする請求項１または２に記載の画像生成装置。
4. 前記マップは、表示画像の画素数より少ない離散的な位置において、前記位置関係を表し、
   前記歪み画像生成部は、前記マップにおいて表された前記位置関係を補間してなる位置関係に基づき、前記表示画像の全画素のデータを生成することを特徴とする請求項２に記載の画像生成装置。
5. 前記歪み画像生成部は、前記接眼レンズの構造によって定まる前記マップを参照した変換と、ユーザの瞳孔間距離および前記表示パネルとユーザの目の距離の少なくともいずれかに基づく変換とを組み合わせて、前記ソース画像から前記表示画像の画素のデータを生成することを特徴とする請求項４に記載の画像生成装置。
6. 前記部分歪み画像記憶部は、前記所定数の画素のデータを格納する容量の記憶領域を複数備え、
   前記歪み画像生成部は、前記表示画像の画素のデータの格納先を、複数の前記記憶領域間で切り替えることを特徴とする請求項１から５のいずれかに記載の画像生成装置。
7. 前記部分歪み画像記憶部が備える複数の前記記憶領域はそれぞれ、前記歪み画像生成部における処理の最小単位である単位領域の整数倍の容量を有することを特徴とする請求項６に記載の画像生成装置。
8. 前記ソース画像は、平板型ディスプレイに表示させることを前提として生成された歪みのない画像であることを特徴とする請求項１から７のいずれかに記載の画像生成装置。
9. 請求項１から８のいずれかに記載の画像生成装置と、
   当該画像生成装置から出力されたデータを順次表示させる表示パネルと、
   を備えたことを特徴とするヘッドマウントディスプレイ。
10. 請求項９に記載のヘッドマウントディスプレイと、
    前記ソース画像を生成して前記ヘッドマウントディスプレイに送信するコンテンツ処理装置と、
    を備えたことを特徴とするコンテンツ処理システム。
11. 前記コンテンツ処理装置から送信されたソース画像がそのまま表示できる状態にあるとき、前記画像表示制御部は、当該ソース画像のデータを前記表示パネルに出力することを特徴とする請求項１０に記載のコンテンツ処理システム。
12. 前記歪み画像生成部は、前記コンテンツ処理装置から送信される前記ソース画像のフレームのうち、前記表示画像の１行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該１行分の画素のデータの生成処理を開始することを特徴とする請求項１０または１１に記載のコンテンツ処理システム。
13. ヘッドマウントディスプレイにおいて表示パネルの前面に設けられた接眼レンズを介して鑑賞する表示画像を生成する画像生成装置が、
    ソース画像を受信するステップと、
    前記ヘッドマウントディスプレイを装着したユーザの頭部の姿勢を取得するステップと、
    前記ユーザの頭部の姿勢に基づき表示画像の平面を定義するビュースクリーンを設定するステップと、
    前記ソース画像の面を、表示対象の仮想空間に固定するか、前記表示パネルに固定するかを決定づけるユーザ指示の内容を取得するステップと、
    前記ソース画像の面を表示対象の仮想空間に固定するモードにおいて、前記ビュースクリーンに前記ソース画像を射影した画像に対し、前記接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成し、順にメモリに格納するステップと、
    前記表示画像の全画素数より少ない所定数の画素のデータが前記メモリに格納される都度、当該データを前記表示パネルに出力するステップと、
    を含むことを特徴とする画像表示方法。
14. ヘッドマウントディスプレイにおいて表示パネルの前面に設けられた接眼レンズを介して鑑賞する表示画像を生成するコンピュータに、
    ソース画像を受信する機能と、
    前記ヘッドマウントディスプレイを装着したユーザの頭部の姿勢を取得する機能と、
    前記ユーザの頭部の姿勢に基づき表示画像の平面を定義するビュースクリーンを設定する機能と、
    前記ソース画像の面を、表示対象の仮想空間に固定するか、前記表示パネルに固定するかを決定づけるユーザ指示の内容を取得する機能と、
    前記ソース画像の面を表示対象の仮想空間に固定するモードにおいて、前記ビュースクリーンに前記ソース画像を射影した画像に対し、前記接眼レンズに対応する歪みを与えた表示画像の画素のデータを生成する機能と、
    前記画素のデータを、生成された順にメモリに格納する機能と、
    前記表示画像の全画素数より少ない所定数の画素のデータが前記メモリに格納される都度、当該データを前記表示パネルに出力する機能と、
    を実現させることを特徴とするコンピュータプログラム。

Images