JP5996814B1 - 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム - Google Patents

Abstract

【課題】ユーザが没入する仮想空間の画像をヘッドマウントディスプレイ（ＨＭＤ）に提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供する。【解決手段】第１の右目用仮想カメラ及び第１の左目用仮想カメラにより仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して第１の右目用画像及び第１の左目用画像を生成するステップ１１０４と、第２の右目用仮想カメラ及び第２の左目用仮想カメラにより仮想空間内に位置する３次元オブジェクトを撮影して第２の右目用画像及び第２の左目用画像を生成するステップ１１０６と、３次元オブジェクトの画像がディスプレイオブジェクトの画像に重なるよう、第１の右目用画像及び第２の右目用画像をＨＭＤの右目用表示部に出力し、第１の左目用画像及び前記第２の左目用画像をＨＭＤの左目用表示部に出力するステップ１１０８とを含む。【選択図】図１１

Description

本発明は、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）に提供するための方法及びプログラムに関する。

近年、ＨＭＤを用いてユーザに仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）空間を提供するゲーム等のアプリケーションが開発されている。非特許文献１には、このようなアプリケーションの仮想空間内で、ヘッズアップディスプレイ（Ｈｅａｄｓ−Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）を用いてユーザに情報を提供する技術が開示されている。

"Ｏｃｕｌｕｓベストプラクティス"、［ｏｎｌｉｎｅ］、［平成２７年１２月１０日検索］、インターネット＜ＵＲＬ： ｈｔｔｐ：／／ｓｔａｔｉｃ．ｏｃｕｌｕｓ．ｃｏｍ／ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｐｄｆｓ／ｊａ−ｊｐ／ｉｎｔｒｏ−ｖｒ／ｌａｔｅｓｔ／ｂｐ．ｐｄｆ＞

非特許文献１の技術を用いると、ＨＵＤは仮想空間内のオブジェクトの手前に表示される。このため、ユーザが感じる没入感を阻害し、ユーザエクスペリエンスを低下させる可能性がある。

本発明は、ユーザが没入する仮想空間の画像をＨＭＤに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することを目的とする。

上記の課題を解決するために、本発明の実施形態は、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、第１の右目用仮想カメラ及び第１の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第１の右目用画像及び第１の左目用画像を生成するステップと、第２の右目用仮想カメラ及び第２の左目用仮想カメラにより、仮想空間内に位置する３次元オブジェクトを含む仮想空間の一部を撮影して、第２の右目用画像及び第２の左目用画像を生成するステップと、前記３次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第１の右目用画像及び前記第２の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第１の左目用画像及び前記第２の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップとを含む方法を提供する。

本発明によれば、ユーザが没入する仮想空間の画像をＨＭＤに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。

本発明のその他の特徴及び利点は、後述する実施形態の説明、添付の図面及び特許請求の範囲の記載から明らかなものとなる。

本発明の実施形態において用いられ得る、ＨＭＤ１１０を備えるＨＭＤシステム１００を示す。 制御回路部の基本構成を概略的に示すブロック図である。 ＨＭＤを装着したユーザの頭部を中心とする３次元座標系を示す図である。 動きセンサによるポジション・トラッキングと仮想空間内に配置される仮想カメラとの間の関係を示す図である。 視線方向を決定する方法の一例を示す図である。 図６（Ａ）は、視界領域をＸ方向から見たＹＺ面図である。図６（Ｂ）は、視界領域をＹ方向から見たＸＺ面図である。 立体視を得る原理を説明する図である。 立体視を得る原理を説明する図である。 ＨＭＤシステムにおける仮想空間の表示処理等を実現するための、制御回路部の機能を示すブロック図である。 ユーザが没入する仮想空間の画像をＨＭＤに表示するための一般的な処理のフロー図である。 本発明の一実施形態の方法により実現される、ユーザが没入する仮想空間の画像をＨＭＤに提供するための基本的な処理のフロー図である。 本発明の一実施形態による、図１１に示す基本的な処理の具体例を示すフロー図である。 図１２の処理に伴う、仮想空間内でのディスプレイオブジェクト及び３Ｄオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。 図１２及び図１３に示す処理に従って生成される、ディスプレイを介して見ることができる仮想空間の画像の一例を示す。 図１２及び図１３に示す処理に従って生成される、ディスプレイを介して見ることができる仮想空間の画像の一例を示す。 本発明の一実施形態による、図１１に示す基本的な処理の別の具体例を示すフロー図である。 図１６の処理に伴う、仮想空間内でのディスプレイオブジェクト及び３Ｄオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態によるコンピュータ・プログラムは、以下のような構成を備える。

（項目１）
ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、
第１の右目用仮想カメラ及び第１の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第１の右目用画像及び第１の左目用画像を生成するステップと、
第２の右目用仮想カメラ及び第２の左目用仮想カメラにより、仮想空間内に位置する３次元オブジェクトを含む仮想空間の一部を撮影して、第２の右眼用画像及び第２の左目用画像を生成するステップと、
前記３次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第１の右目用画像及び前記第２の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第１の左目用画像及び前記第２の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップと
を含む方法。
本項目の方法によれば、ユーザが没入する仮想空間の画像をＨＭＤに提供する際に、ユーザに見せたい情報を仮想空間内のディスプレイオブジェクト上に３次元コンテンツとして提供することができる。このため、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。

（項目２）
前記３次元オブジェクトに対する前記第２の右目用仮想カメラと前記第２の左目用仮想カメラとの間の視差は、前記ディスプレイオブジェクトに対する前記第１の右目用仮想カメラと前記第１の左目用仮想カメラとの間の視差より大きくなるように設定される、項目１に記載の方法。

（項目３）
前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラは第１の仮想空間内に配置され、前記第１の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記第１の仮想空間の一部を撮影し、
前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは前記第１の仮想空間とは異なる第２の仮想空間内に配置され、前記第２の仮想空間内に位置する前記３次元オブジェクトを撮影する、項目１又は２に記載の方法。

（項目４）
前記第１の仮想空間において所定の条件が満たされるか否かを判定するステップと、
前記所定の条件が満たされると判定される場合に、
前記第２の仮想空間を生成するステップと、
前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラ、並びに前記ディスプレイオブジェクトに関連付けて記憶部に格納されている前記３次元オブジェクトを、前記第２の仮想空間内に配置するステップと
をさらに含む、項目３に記載の方法。

（項目５）
前記判定するステップは、
前記ヘッドマウントディスプレイのユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記第１の仮想空間における視界領域を決定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれるか否かを判定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれる場合に、前記所定の条件が満たされると判定するステップと
を含む、項目４に記載の方法。

（項目６）
前記第１の右目用仮想カメラ、前記第１の左目用仮想カメラ、前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは同一の仮想空間内に配置され、前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラは前記同一の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記同一の仮想空間の一部を撮影し、前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは前記同一の仮想空間内に位置する前記３次元オブジェクトを含む前記同一の仮想空間の別の一部を撮影する、項目１又は２に記載の方法。

（項目７）
仮想空間における前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラの傾き、並びに前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラの傾きは、前記ヘッドマウントディスプレイの傾きに応答して変化する、項目１から６のいずれか１項に記載の方法。

（項目８）
前記３次元オブジェクトは、３次元テキスト、３次元イメージ及び３次元動画のうちの少なくとも１つを含む３次元コンテンツを含む、項目１から７のいずれか１項に記載の方法。

（項目９）
項目１から８のいずれか１項に記載の方法をコンピュータに実行させるプログラム。

［本発明の実施形態の詳細］
以下、図面を参照して、本発明の例示的な実施形態について説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の実施形態において用いられ得る、ＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部１５０に装着されるＨＭＤ１１０と、制御回路部１２０と、動きセンサ１３０とを備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０とを含む。制御回路部１２０は、ディスプレイ１１２に右目用画像及び左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。一例として、上下左右すべての方向を見渡すことができるゲームの仮想空間がＨＭＤ１１０を用いてユーザに提供される。この場合、仮想空間は、ゲーム内でユーザが操作可能な各種オブジェクト、メニュー画像等を含んでもよい。

ディスプレイ１１２は、右目用画像を提供する右目用表示部と、左目用画像を提供する左目用表示部とを含む。また、右目用画像と左目用画像を提供できれば、ディスプレイ１１２は１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータである。図２は、制御回路部１２０の基本構成を概略的に示すブロック図である。図２に示すように、制御回路部１２０は、データ伝送路としての通信バス２０６で互いに接続された処理回路２０２と、メモリ２０４と、記憶媒体２０８と、入出力インターフェース２１０と、通信インターフェース２１２とを含む。処理回路２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ−ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった各種処理回路等を含んで構成され、制御回路部１２０及びＨＭＤシステム１００全体を制御する機能を有する。メモリ２０４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成され、処理回路２０２が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。記憶媒体２０８は、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性記憶装置を含んで構成され、ゲームなどのアプリケーションプログラム、当該プログラムに関連する各種データ、ユーザの認証プログラムなど、様々なデータを格納することができる。さらに、データを管理するためのテーブルを含むデータベースが記憶媒体２０８内に構築されていてもよい。入出力インターフェース２１０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＨＭＤ１１０や動きセンサ１３０を含む各種センサ、外部コントローラ等を接続する。通信インターフェース２１２は、ネットワーク２１４を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。

制御回路部１２０は、メモリ２０４や記憶媒体２０８に格納された所定のアプリケーション（例えば、ゲームアプリケーション）を実行することにより、アプリケーション内仮想空間を生成し、ディスプレイ１１２に当該仮想空間を提示する。また、メモリ２０４や記憶媒体２０８には、本発明の実施形態による、ユーザが没入する仮想空間の画像をＨＭＤに提供するためのプログラムが格納される。さらに、メモリ２０４や記憶媒体２０８には、仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御したりするためのプログラムが格納されてもよい。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検知する。動きセンサ１３０は、センサ部１１４と、検知部１３２とを含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検知する。そして、検知部１３２により検知された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。

動きセンサ１３０によって取得される位置や傾きに関する情報を、図３を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部１５０を中心として、３次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの３次元空間内における位置の経時変化が取得される。また、ピッチ方向軸周りのＨＭＤ１１０の傾き角度としてのピッチ角、ヨー方向軸周りのＨＭＤ１１０の傾き角度としてのヨー角、ロール方向軸周りのＨＭＤ１１０の傾き角度としてのロール角が取得される。

動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と検知部１３２のうちの一方のみから構成されてもよい。センサ部１１４は、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部１５０に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置及び傾きを検知する。これにより、ＨＭＤ１１０の動きに関する情報を検知することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検知することができ、センサ部１１４は不要である。

図４は、仮想空間の一例を示すＸＹＺ空間図である。図４において、ＸＺ平面は地表面を表し、Ｙ軸は高さ方向に延びている。図４に示すように、仮想空間４０２は、点４０６を中心として天球状に形成される。本発明の実施形態では、仮想空間４０２内に、少なくとも第１の右目用仮想カメラ４０４Ａ及び第１の左目用仮想カメラ４０４Ｂ（以下、必要に応じて、これらをまとめて「第１の仮想カメラペア４０４Ａ」と称する）が配置される。第１の仮想カメラペア４０４Ａは仮想空間４０２内の画像を撮影する。第１の仮想カメラペア４０４Ａの動きは、動きセンサ１３０の動きに対応付けられており、動きセンサ１３０が動くことによって、第１の仮想カメラペア４０４Ａにより撮影される画像が変化する。第１の仮想カメラペア４０４Ａは、ユーザの一人称視点、又はユーザのアバターに関連付けられた視点を有する。

仮想空間４０２は、略正方形または略長方形の複数のメッシュを有する天球状に形成されてもよい。この場合、各メッシュには仮想空間４０２の空間情報が関連付けられ、この空間情報に基づいて視界領域４０８（視界画像４１８）が定義される。図４において、第１の仮想カメラペア４０４Ａは基準視線４１２に基づく視界領域４０８内の視界画像４１８を撮影する。

次に、図４を参照して、動きセンサ１３０と、仮想空間４０２内に配置される第１の仮想カメラペア４０４Ａとの間の関係を説明する。第１の仮想カメラペア４０４Ａと動きセンサ１３０との間の位置関係を説明するために、以下では、動きセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。仮想空間４０２の内部に第１の仮想カメラペア４０４Ａが配置され、仮想空間４０２の外部（現実空間）に動きセンサ１３０が仮想的に配置される。

本実施形態では、ＸＺ面において、天球の中心４０６が第１の仮想カメラペアＡ４０４とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、第１の仮想カメラペアＡ４０４は、常に中心４０６に配置されてもよい。また、ＨＭＤ１１０を装着したユーザが移動して第１の仮想カメラペア４０４Ａの位置がＸ方向に移動した場合に、中心４０６が第１の仮想カメラペア４０４Ａと動きセンサ１３０の線分上に位置するように、仮想空間４０２の領域が変更されてもよい。これらの場合には、仮想空間４０２における第１の仮想カメラペア４０４Ａの位置は固定され、傾きのみが変化する。一方、動きセンサ１３０の任意の方向への移動に連動して第１の仮想カメラペア４０４Ａの位置を移動させるようにすれば、仮想空間４０２における第１の仮想カメラペア４０４Ａの位置は可変に設定される。

図５に示すように、注視センサ１４０はユーザＵの右目Ｒ及び左目Ｌの視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１及びＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１及びＬ１よりロール方向とのなす角が小さい視線Ｒ２及びＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒ及び左目Ｌの中心と注視点Ｎ１が通る直線の伸びる方向として定義される。

図６を参照して、第１の仮想カメラペア４０４Ａによって撮影される視界領域４０８について説明する。図６（Ａ）は、視界領域４０８をＸ方向から見たＹＺ面図であり、図６（Ｂ）は、視界領域４０８をＹ方向から見たＸＺ面図である。視界領域４０８は、基準視線４１２と仮想空間画像４１０のＹＺ断面によって定義される範囲である第１領域４１４（図６（Ａ）参照）と、基準視線４１２と仮想空間画像４１０のＸＺ断面によって定義される範囲である第２領域４１６（図６（Ｂ））とを有する。第１領域４１４は、基準視線４１２を中心として極角αを含む範囲として設定される。第２領域４１６は、基準視線４１２を中心として方位角βを含む範囲として設定される。

ここで、図７及び図８を参照して、立体視を得る原理を説明する。図７においては、右目７０２及び左目７０４が、正面に配置された物体７０６を見ている。右目７０２及び左目７０４は、物体７０６を見るために、それぞれ角度θ_１及びθ_２だけ内側に回転する。物体７０６までの距離が近くなるにつれて、θ_１及びθ_２の和であるθは大きくなる。物体７０６までの距離が遠くなるにつれて、θは小さくなる。このθは輻輳角（ｂｉｎｏｃｕｌａｒ ｐａｒａｌｌａｘ）と呼ばれる。

図８もまた、立体視を得る原理を説明する図である。図７と同様に、右目７０２及び左目７０４が物体７０６を見ている。物体７０６と右目７０２との間の位置関係と、物体７０６と左目７０４との間の位置関係は異なる。したがって、図示されるように、右目７０２が見ている物体７０６の画像８０２は、左目７０４が見ている画像８０４とは異なる。このような右目及び左目が見ている画像の相違は、両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）と呼ばれる。物体７０６までの距離が近くなるにつれて、両眼視差は大きくなる。物体７０６までの距離が遠くなるにつれて、両眼視差は小さくなる。

現実空間において、人間は、主にこれら２つの原理によって立体視を得ているといわれている。上述のように、本発明の実施形態で用いられるＨＭＤ１１０には、右目用表示部と左目用表示部が設けられている。このような装置は、それぞれの表示部に表示される画像に対して輻輳角や両眼視差に相当する相違を与えることにより、立体視の効果を得る。本明細書においては、上記のような輻輳角及び両眼視差をまとめて「視差」と呼ぶこととする。

図９は、ＨＭＤシステム１００における仮想空間４０２の表示処理等を実現するための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０、注視センサ１４０からの入力に基づいて、ディスプレイ１１２への画像出力を制御する。

制御回路部１２０は、表示制御部９０２と、記憶部９２６とを備える。表示制御部９０２は、仮想空間生成部９０４と、仮想カメラ制御部９０８と、判定部９１２と、視線検知部９１４と、基準視線特定部９１６と、視界領域決定部９１８と、ＨＭＤ動作検知部９２０と、視界画像生成部９２２と、画像出力部９２４とを含む。記憶部９２６は様々な情報を格納するように構成され得る。一例では、記憶部９２６は、仮想空間情報格納部９２８、アプリケーション情報格納部９３０、オブジェクト情報格納部９３２、その他情報格納部９３４を含んでもよい。記憶部９２６はまた、動きセンサ１３０や注視センサ１４０からの入力に対応した出力情報をディスプレイ１１２へ提供するための演算に必要な各種データを含んでもよい。オブジェクト情報格納部９３２は、仮想空間内に配置されるディスプレイオブジェクトや、ディスプレイオブジェクト上に表示される３Ｄオブジェクト（例えば、３Ｄテキスト、３Ｄ画像及び３Ｄ動画のうちの少なくとも１つを含む３Ｄコンテンツ）を格納してもよい。

図１０は、ユーザが没入する仮想空間の画像をＨＭＤ１１０に表示するための一般的な処理のフロー図である。
図９及び図１０を参照して、仮想空間の画像を提供するためのＨＭＤシステム１００の一般的な処理を説明する。仮想空間４０２は、ＨＭＤ１１０（注視センサ１４０、動きセンサ１３０）及び制御回路部１２０の相互作用によって提供され得る。

処理はステップ１００２において開始する。一例として、アプリケーション情報格納部９３０に格納されているゲームアプリケーションが制御回路部１２０によって実行されてもよい。ステップ１００４において、制御回路部１２０（仮想空間生成部９０４）は、仮想空間情報格納部９２８を参照するなどして、ユーザが没入する仮想空間４０２を構成する天球状の仮想空間画像４１０（図４を参照）を生成する。動きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される。動きセンサ１３０によって検知された情報は制御回路部１２０に送信される。ステップ１００６において、ＨＭＤ動作検知部９２０は、ＨＭＤ１１０の位置情報や傾き情報を取得する。ステップ１００８において、取得された位置情報及び傾き情報に基づいて視界方向が決定される。

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると、当該情報が制御回路部１２０に送信される。ステップ１０１０において、視線検知部９１４は、右目及び左目の視線が向けられる方向を特定し、視線方向Ｎ０を決定する。ステップ１０１２において、基準視線決定部９１６は、ＨＭＤ１１０の傾きにより決定された視界方向又はユーザの視線方向Ｎ０を基準視線４１２として決定する。基準視線４１２はまた、ＨＭＤ１１０の位置や傾きに追随する第１の仮想カメラペア４０４Ａの位置及び傾きに基づいて決定されてもよい。

ステップ１０１４において、視界領域決定部９１８は、仮想空間４０２における第１の仮想カメラペア４０４Ａの視界領域４０８を決定する。図４に示すように、視界領域４０８は、仮想空間画像４１０のうちユーザの視界を構成する部分（視界画像４１８）である。視界領域４０８は基準視線４１２に基づいて決定される。視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図は、既に説明した図６（Ａ）及び（Ｂ）にそれぞれ示されている。

ステップ１０１６において、視界画像生成部９２２は、視界領域４０８に基づいて視界画像４１８を生成する。視界画像４１８は、右目用と左目用の２つの２次元画像を含む。これらの２次元画像がディスプレイ１１２に重畳される（より具体的には、右目用画像が右目用表示部に出力され、左目用画像が左目用表示部に出力される）ことにより、３次元画像としての仮想空間４０２がユーザに提供される。ステップ１０１８において、画像出力部９２４は、視界画像４１８に関する情報をＨＭＤ１１０に出力する。ＨＭＤ１１０は、受信した視界画像４１８の情報に基づいて、ディスプレイ１１２に視界画像４１８を表示する。処理はステップ１０２０において終了する。

図１１は、本発明の一実施形態の方法により実現される、ユーザが没入する仮想空間の画像をＨＭＤ１１０に提供するための基本的な処理のフロー図である。図１１の処理は、本発明の実施形態の方法をコンピュータに実行させるプログラムによって実行されてもよい。図１０で説明した処理により、予め、ＨＭＤ１１０の初期位置及び初期角度におけるアプリケーション内の視界画像４１８が生成され、ＨＭＤ１１０に出力され、ＨＭＤ１１０に表示されているものとする。後述するが、本発明の実施形態では、第１の仮想カメラペア４０４Ａに加えて、第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２を含む第２の仮想カメラペア４０４Ｂが仮想空間内に配置され、第１の仮想カメラペア４０４Ａが撮影するものとは異なる仮想空間の一部やオブジェクトなどを撮影する。

図１１に示す処理に移行するために、何らかの特定のイベントが必要とされてもよい。例えば、制御回路部１２０は、仮想空間４０２内でディスプレイオブジェクトが配置される位置から所定の閾値以内の距離にユーザが近づいたと表示制御部９０２（視線検知部９１４、基準視線決定部９１６、視界領域決定部９１８、ＨＭＤ動作検知部９２０など）が判定することに応答して、図１１の処理に移行してもよい。また、制御回路部１２０は、仮想空間４０２内でユーザがディスプレイオブジェクトに対して何らかのアクション（例えば、ディスプレイオブジェクトへの接触、ディスプレイオブジェクトを起動するためのオブジェクトへの接触など）をすることに応答して、図１１の処理に移行してもよい。本発明の実施形態による図１１の処理へ移行するための様々なイベントが考えられることが当業者により理解されよう。 処理はステップ１１０２において開始する。ステップ１１０４において、仮想カメラ制御部９０８は、第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２を含む第１の仮想カメラペア４０４Ａにより、仮想空間４０２内に位置するディスプレイオブジェクトを含む仮想空間４０２の一部を撮影する。このとき、基準視線決定部９１６により決定された基準視線４１２に基づく視界領域４０８が撮影される。視界画像生成部９２２は、第１の右目用仮想カメラ４０４Ａ−１による撮影に基づいて第１の右目用画像を生成し、第１の左目用仮想カメラ４０４Ａ−２による撮影に基づいて第１の左目用画像を生成する。

ステップ１１０６において、仮想カメラ制御部９０８は、第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２により、仮想空間４０２（又は、後述するように別の仮想空間であってもよい）内に位置する３Ｄオブジェクト（例えば、３Ｄテキスト、３Ｄ画像及び３Ｄ動画のうちの少なくとも１つを含む３次元コンテンツ）を含む当該仮想空間４０２の一部を撮影する。視界画像生成部は、第２の右目用仮想カメラ４０４Ｂ−１による撮影に基づいて第２の右眼用画像を生成し、第２の左目用仮想カメラ４０４Ｂ−２による撮影に基づいて第２の左目用画像を生成する。

ステップ１１０８において、画像出力部９２４は、生成された３Ｄオブジェクトの画像が生成されたディスプレイオブジェクトの画像に重なるように、第１の右目用画像及び第２の右目用画像を重畳してＨＭＤ１１０の右目用表示部に出力し、第１の左目用画像及び第２の左目用画像を重畳してＨＭＤ１１０の左目用表示部に出力する。

図１２は、本発明の一実施形態による、図１１に示す基本的な処理の具体例を示すフロー図である。図１３は、図１２の処理に伴う、仮想空間内でのディスプレイオブジェクト（基本的に３次元である）及び３Ｄオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。以下、図１２及び図１３を参照して、本発明の一実施形態による、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法について具体的に説明する。

図１０で説明したような処理により、予め、ＨＭＤ１１０の初期位置及び初期角度に基づいてアプリケーション内の視界画像４１８が生成され、ＨＭＤ１１０に出力され、ＨＭＤ１１０に表示されているものとする。

処理はステップ１２０２において開始する。ステップ１２０４において、図１３（Ａ）上段に示すように、仮想カメラ制御部９０８は、第１の仮想空間４０２Ａ内に配置された第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２により、第１の仮想空間４０２Ａ内に位置するディスプレイオブジェクト１３０２を含む第１の仮想空間４０２Ａの一部を撮影する。視界画像生成部９２２は、第１の右目用仮想カメラ４０４Ａ−１による撮影に基づいて、視界領域４０８Ａについて第１の右目用画像を生成し、第１の左目用仮想カメラ４０４Ａ−２による撮影に基づいて、視界領域４０８Ａについて第１の左目用画像を生成する。ディスプレイオブジェクト１３０２と第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２との間の関係が図１３（Ａ）中段に概略的に示されている。第１の右目用仮想カメラ４０４Ａ−１と第１の左目用仮想カメラ４０４Ａ−２とは、ディスプレイオブジェクト１３０２に対して、視差（輻輳角）θ_Ａを有する関係にある。ここでは視差として輻輳角を用いているが、図８に示した両眼視差など当業者に周知の他の値を視差として用いてもよい。

ステップ１２０６において、判定部９１２は、第１の仮想空間４０２Ａにおいて所定の条件が満たされるか否かを判定する。所定の条件は、例えば、ディスプレイオブジェクト１３０２が視界領域４０８Ａに含まれることであってもよい。具体的には、基準視線決定部９１６がＨＭＤ１１０のユーザの基準視線４１２Ａを特定し、視界領域決定部９１８が、当該基準視線に基づいて、第１の仮想空間４０２Ａにおける視界領域４０８Ａを決定してもよい。そして、判定部９１２は、決定された視界領域４０８Ａにディスプレイオブジェクト１３０２が含まれるか否かを判定し、含まれる場合に、所定の条件が満たされたと判定してもよい。これはステップ１２０６における所定の条件の一例にすぎない。例えば、仮想空間内でユーザがディスプレイオブジェクト１３０２やディスプレイオブジェクト１３０２に関連する何らかのオブジェクトに対して所定のアクションを行うことが所定の条件とされてもよい。其の他様々な条件を上記所定の条件として用いることができることは当業者にとって明らかであろう。

所定の条件が満たされない場合（ステップ１２０６の「Ｎ」）、処理はステップ１２０４の前に戻ってもよい。所定の条件が満たされる場合（ステップ１２０６の「Ｙ」）、処理はステップ１２０８に移る。ステップ１２０８において、仮想空間生成部９０４は、記憶部９２６内の仮想空間情報格納部９２８等に格納された仮想空間情報等に基づいて、図１３（Ｂ）に示すように、第１の仮想空間４０２Ａとは異なる第２の仮想空間４０２Ｂを生成する。一例として、内部に何も存在しない天球状の仮想空間が第２の仮想空間４０２Ｂとして生成されてもよい。

ステップ１２１０において、仮想空間生成部９０４は、図１３（Ｂ）上段に示すように、第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２を含む第２の仮想カメラペア４０４Ｂ、並びにディスプレイオブジェクト１３０２に関連付けて記憶部９２６のオブジェクト情報格納部９３２等に格納されている３Ｄオブジェクト１３０４を、第２の仮想空間４０２Ｂ内に配置する。３Ｄオブジェクト１３０４と第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２との間の関係が図１３（Ｂ）中段に概略的に示される。第２の右目用仮想カメラ４０４Ｂ−１と第２の左目用仮想カメラ４０４Ｂ−２とは、３Ｄオブジェクト１３０４に対して、視差（輻輳角）θ_Ｂを有する関係にある。このとき、視差θ_Ｂは、ディスプレイオブジェクト１３０２に対する第１の右目用仮想カメラ４０４Ａ−１と第１の左目用仮想カメラ４０４Ａ−２との間の視差θ_Ａより大きくなるように設定されてもよい。

仮想空間４０２Ａにおける第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２の傾き、並びに仮想空間４０２Ｂにおける第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２の傾きは、ＨＭＤ１１０の傾きに応答して変化するように制御されてもよい。例えば、第１の仮想カメラペア４０４Ａの基準視線４１２Ａ及び第２の仮想カメラペア４０４Ｂの基準視線４１２Ｂは、表示制御部９０２によって検知されたＨＭＤ１１０の傾きに追随して、同一方向を指すように制御されてもよい。

ステップ１２１２において、図１３（Ｂ）上段に示すように、仮想カメラ制御部９０８は、第２の仮想空間４０２Ｂ内に配置された第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２により、第２の仮想空間４０２Ｂ内に位置する３Ｄオブジェクト１３０４を含む第２の仮想空間４０２Ｂの一部（例えば、視界領域４０８Ｂ）を撮影する。視界画像生成部９２２は、第２の右目用仮想カメラ４０４Ｂ−１による撮影に基づいて第２の右目用画像を生成し、第２の左目用仮想カメラ４０４Ｂ−２による撮影に基づいて第２の左目用画像を生成する。

ステップ１２１４において、図１３（Ａ）下段に示すように、画像出力部９２４は、３Ｄオブジェクト１３０４の画像がディスプレイオブジェクト１３０２の画像に重なるように、第１の右目用仮想カメラ４０４Ａ−１による撮影に基づく第１の右目用画像（ディスプレイオブジェクト１３０２の画像を含む）及び第２の右目用仮想カメラ４０４Ｂ−１による撮影に基づく第２の右目用画像（３Ｄオブジェクト１３０４の画像を含む）を重畳してＨＭＤ１１０の右目用表示部１１２−１に出力する。また、画像出力部９２４は、第１の左目用仮想カメラ４０４Ａ−２による撮影に基づく第１の左目用画像（ディスプレイオブジェクト１３０２の画像を含む）及び第２の左目用仮想カメラ４０４Ｂ−２による撮影に基づく第２の左目用画像（３Ｄオブジェクト１３０４の画像を含む）を重畳してＨＭＤ１１０の左目用表示部１１２−２に出力する。ステップ１２１６において処理は終了する。

図１４は、図１２及び図１３で説明した処理に従って生成される、ディスプレイ１１２（右目用表示部１１２−１及び左目用表示部１１２−２）を介して見ることができる仮想空間の画像の一例を示す。ディスプレイオブジェクト１３０２に対する第１の右目用仮想カメラ４０４Ａ−１と第１の左目用仮想カメラ４０４Ａ−２との間の視差θ_Ａにより、ＨＭＤ１１０を装着しているユーザには、仮想空間内に３Ｄのディスプレイオブジェクト１３０２が配置されているように見える。また、３Ｄオブジェクト１３０４に対する第２の右目用仮想カメラ４０４Ｂ−１と第２の左目用仮想カメラ４０４Ｂ−２との間の視差θ_Ｂにより、ユーザには、３Ｄディスプレイオブジェクト１３０２の画面内に３Ｄオブジェクト１３０４が表示されているように見える。さらに、視差θ_Ｂは視差θ_Ａより大きく設定されているため、３Ｄオブジェクト１３０４は３Ｄディスプレイオブジェクト１３０２の画面から飛び出しているように見える。この例では、３Ｄオブジェクト１３０４は３Ｄキャラクタの画像である。これに代えて、３Ｄ動画コンテンツを３Ｄオブジェクト１３０４として用いれば、仮想現実空間内で３Ｄ動画を視聴することも可能である。

このように、本発明の実施形態によれば、現実空間における３Ｄテレビと同様のものを仮想空間内で実現することができる。したがって、仮想空間内で、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに提供したい情報を従来技術よりも遥かに効果的に表示することができる。また、本発明の実施形態によれば、３Ｄディスプレイオブジェクトの画面上で立体的に表示させる３Ｄオブジェクトの画像のみを更新すればよく、３Ｄディスプレイオブジェクトの画像を更新し続ける必要はない。このため、従来の技術を利用する場合と比較して、描画負荷が小さくなり、コンテンツの制作が容易になる。

図１４に示した３Ｄディスプレイオブジェクト１３０２及び３Ｄオブジェクト１３０４は一例にすぎず、本発明によれば、これらは様々な形態をとることができる。例えば、図１５に示すように、３Ｄディスプレイオブジェクト１３０２は看板のような形態をとってもよく、３Ｄオブジェクト１３０４はテキスト広告のような形態をとってもよい。その他様々な形態の３Ｄディスプレイオブジェクト１３０２及び３Ｄオブジェクト１３０４を実現できることは当業者にとって明らかであろう。

図１６は、本発明の一実施形態による、図１１に示す基本的な処理の別の具体例を示すフロー図である。図１７は、図１６の処理に伴う、仮想空間内でのディスプレイオブジェクト及び３Ｄオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。以下、図１６及び図１７を参照して、本発明の一実施形態による、ユーザが没入する仮想空間の画像をＨＭＤに提供する方法について具体的に説明する。

図１２及び図１３の例と同様に、図１０で説明したような処理により、予め、ＨＭＤ１１０の初期位置及び初期角度に基づいてアプリケーション内の視界画像４１８が生成され、ＨＭＤ１１０に表示されているものとする。一方、図１２及び図１３の例とは異なり、本実施形態では、図１７上段に示すように、第１の仮想カメラペア４０４Ａ、第２の仮想カメラペア４０４Ｂ、ディスプレイオブジェクト１３０２及び３Ｄオブジェクト１３０４が同一の仮想空間４０２内に配置される。

処理はステップ１６０２において開始する。ステップ１６０４において、図１７上段に示すように、仮想カメラ制御部９０８は、仮想空間４０２内に配置された第１の仮想カメラペア４０４Ａにより、仮想空間４０２内に位置するディスプレイオブジェクト１３０２を含む仮想空間４０２の一部を撮影する。視界画像生成部９２２は、第１の右目用仮想カメラ４０４Ａ−１による撮影に基づいて、視界領域４０８Ａについて第１の右目用画像を生成し、第１の左目用仮想カメラ４０４Ａ−２による撮影に基づいて、視界領域４０８Ａについて第１の左目用画像を生成する。ディスプレイオブジェクト１３０２と第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２との間の関係が図１７中段に概略的に示されている。第１の右目用仮想カメラ４０４Ａ−１と第１の左目用仮想カメラ４０４Ａ−２とは、ディスプレイオブジェクト１３０２に対して、視差（輻輳角）θ_Ａを有する関係にある。図８に示した両眼視差など当業者に周知の他の値を視差として用いてもよい。

次いで、ステップ１６０６において、図１７上段に示すように、仮想カメラ制御部９０８は、第２の仮想カメラペア４０４Ｂにより、ステップ１６０４の場合と同一の仮想空間４０２内に位置する３Ｄオブジェクト１３０４を含む仮想空間４０２の一部を撮影する。視界画像生成部９２２は、第２の右目用仮想カメラ４０４Ｂ−１による撮影に基づいて、視界領域４０８Ｂについて第２の右目用画像を生成し、第２の左目用仮想カメラ４０４Ｂ−２による撮影に基づいて、視界領域４０８Ｂについて第２の左目用画像を生成する。３Ｄオブジェクト１３０４と第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２との間の関係が図１７中段に概略的に示される。第２の右目用仮想カメラ４０４Ｂ−１と第２の左目用仮想カメラ４０４Ｂ−２とは、３Ｄオブジェクト１３０４に対して、視差（輻輳角）θ_Ｂを有するように配置される。視差θ_Ｂは、視差θ_Ａより大きくなるように設定されてもよい。ステップ１６０６の処理は、所定の条件が満たされると判定された場合に実行されるものであってもよい。当該所定の条件は、例えば、ディスプレイオブジェクト１３０２が視界領域４０８Ａに含まれることであってもよい。

仮想空間４０２における第１の右目用仮想カメラ４０４Ａ−１及び第１の左目用仮想カメラ４０４Ａ−２の傾き、並びに／又は第２の右目用仮想カメラ４０４Ｂ−１及び第２の左目用仮想カメラ４０４Ｂ−２の傾きは、ＨＭＤ１１０の位置や傾きに応答して変化するように制御されてもよい。例えば、第１の仮想カメラペア４０４Ａの基準視線４１２Ａは、表示制御部９０２によって検知されたＨＭＤ１１０の傾きに追随するように制御されてもよい。第２の仮想カメラペア４０４Ｂの基準視線（図示せず）は、ＨＭＤ１１０の傾きに基づいて様々に変化するように制御されてもよいし、固定されていてもよい。

ステップ１６０８において、図１７下段に示すように、画像出力部９２４は、３Ｄオブジェクト１３０４の画像がディスプレイオブジェクト１３０２の画像に重なるように、第１の右目用仮想カメラ４０４Ａ−１による撮影に基づく第１の右目用画像（ディスプレイオブジェクト１３０２の画像を含む）及び第２の右目用仮想カメラ４０４Ｂ−１による撮影に基づく第２の右目用画像（３Ｄオブジェクト１３０４の画像を含む）を重畳してＨＭＤ１１０の右目用表示部１１２−１に出力する。また、画像出力部９２４は、第１の左目用仮想カメラ４０４Ａ−２による撮影に基づく第１の左目用画像（ディスプレイオブジェクト１３０２の画像を含む）及び第２の左目用仮想カメラ４０４Ｂ−２による撮影に基づく第２の左目用画像（３Ｄオブジェクト１３０４の画像を含む）を重畳してＨＭＤ１１０の左目用表示部１１２−２に出力する。ステップ１６１０において処理は終了する。

図１６及び図１７で説明した処理により、一例として、図１４に示すような画像がＨＭＤ１１０に提供される。ディスプレイオブジェクト１３０２に対する第１の右目用仮想カメラ４０４Ａ−１と第１の左目用仮想カメラ４０４Ａ−２との間の視差θ_Ａにより、ＨＭＤ１１０を装着しているユーザには、仮想空間４０２内にディスプレイオブジェクト１３０２が３次元的に表示されているように見える。また、３Ｄオブジェクト１３０４に対する第２の右目用仮想カメラ４０４Ｂ−１と第２の左目用仮想カメラ４０４Ｂ−２との間の視差θ_Ｂにより、ユーザには、３Ｄディスプレイオブジェクト１３０２の画面内に、同一の仮想空間４０２内の３Ｄオブジェクトを含む別の場所（視界領域４０８Ｂ）の画像（視界画像４１８Ｂ）が３次元的に表示されるように見える。視差θ_Ｂは視差θ_Ａより大きく設定されているため、３Ｄオブジェクト１３０４（及びこれを含む視界画像４１８Ｂ）は３Ｄディスプレイオブジェクト１３０２の画面から飛び出しているように見える。このように、本発明の実施形態によれば、現実空間における３Ｄテレビと同様のものを仮想空間内で実現し、その画面内に、同一の仮想空間内の別の場所の様子を立体的に映し出すことができる。したがって、仮想空間内で、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに提供したい情報を従来技術よりも遥かに効果的に表示することができる。既に述べたように、図１４に示した３Ｄディスプレイオブジェクト１３０２及び３Ｄオブジェクト１３０４は一例にすぎず、本発明によれば、これらは様々な形態をとることができる。

上述の本発明の実施形態によれば、ユーザが没入する仮想空間の画像をＨＭＤに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。

以上、本発明の実施形態による方法及びプログラムについて具体的に説明したが、上述の実施形態は例示に過ぎず、本発明の範囲を限定するものではない。本発明の技術的思想は、方法及びプログラムのほか、制御回路部１２０のような構成を備えるコンピュータを含む様々な態様で実施することが可能であることが理解されよう。また、本発明の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良などを適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。

１００…ＨＭＤシステム、１１０…ＨＭＤ、１１２…ディスプレイ、１１２−１…右目用表示部、１１２−２…左目用表示部、１１４…センサ部、１２０…制御回路部、１３０…動きセンサ、１３２…検知部、１４０…注視センサ、１５０…頭部、２０２…処理回路、２０４…メモリ、２０６…通信バス、２０８…記憶媒体、２１０…入出力インターフェース、２１２…通信インターフェース、２１４…ネットワーク、４０２、４０２Ａ、４０２Ｂ…仮想空間、４０４Ａ…第１の仮想カメラペア、４０４Ａ−１…第１の右目用仮想カメラ、４０４Ａ−２…第１の左目用仮想カメラ、４０４Ｂ…第２の仮想カメラペア、４０４Ｂ−１…第２の右目用仮想カメラ、４０４Ｂ−２…第２の左目用仮想カメラ、４０６…中心、４０８、４０８Ａ、４０８Ｂ…視界領域、４１０…仮想空間画像、４１２、４１２Ａ、４１２Ｂ…基準視線、４１４…第１領域、４１６…第２領域、４１８、４１８Ａ、４１８Ｂ…視界画像、９０２…表示制御部、９２６…記憶部、１３０２…ディスプレイオブジェクト、１３０４…３Ｄオブジェクト

Claims (9)

1. ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、
   第１の右目用仮想カメラ及び第１の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第１の右目用画像及び第１の左目用画像を生成するステップと、
   第２の右目用仮想カメラ及び第２の左目用仮想カメラにより、仮想空間内に位置する３次元オブジェクトを含む仮想空間の一部を撮影して、第２の右眼用画像及び第２の左目用画像を生成するステップと、
   前記３次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第１の右目用画像及び前記第２の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第１の左目用画像及び前記第２の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップと
   を含む方法。
2. 前記３次元オブジェクトに対する前記第２の右目用仮想カメラと前記第２の左目用仮想カメラとの間の視差は、前記ディスプレイオブジェクトに対する前記第１の右目用仮想カメラと前記第１の左目用仮想カメラとの間の視差より大きくなるように設定される、請求項１に記載の方法。
3. 前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラは第１の仮想空間内に配置され、前記第１の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記第１の仮想空間の一部を撮影し、
   前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは前記第１の仮想空間とは異なる第２の仮想空間内に配置され、前記第２の仮想空間内に位置する前記３次元オブジェクトを撮影する、請求項１又は２に記載の方法。
4. 前記第１の仮想空間において所定の条件が満たされるか否かを判定するステップと、
   前記所定の条件が満たされると判定される場合に、
   前記第２の仮想空間を生成するステップと、
   前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラ、並びに前記ディスプレイオブジェクトに関連付けて記憶部に格納されている前記３次元オブジェクトを、前記第２の仮想空間内に配置するステップと
   をさらに含む、請求項３に記載の方法。
5. 前記判定するステップは、
   前記ヘッドマウントディスプレイのユーザの基準視線を特定するステップと、
   前記基準視線に基づいて、前記第１の仮想空間における視界領域を決定するステップと、
   前記ディスプレイオブジェクトが前記視界領域に含まれるか否かを判定するステップと、
   前記ディスプレイオブジェクトが前記視界領域に含まれる場合に、前記所定の条件が満たされると判定するステップと
   を含む、請求項４に記載の方法。
6. 前記第１の右目用仮想カメラ、前記第１の左目用仮想カメラ、前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは同一の仮想空間内に配置され、前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラは前記同一の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記同一の仮想空間の一部を撮影し、前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラは前記同一の仮想空間内に位置する前記３次元オブジェクトを含む前記同一の仮想空間の別の一部を撮影する、請求項１又は２に記載の方法。
7. 仮想空間における前記第１の右目用仮想カメラ及び前記第１の左目用仮想カメラの傾き、並びに前記第２の右目用仮想カメラ及び前記第２の左目用仮想カメラの傾きは、前記ヘッドマウントディスプレイの傾きに応答して変化する、請求項１から６のいずれか１項に記載の方法。
8. 前記３次元オブジェクトは、３次元テキスト、３次元画像及び３次元動画のうちの少なくとも１つを含む３次元コンテンツを含む、請求項１から７のいずれか１項に記載の方法。
9. 請求項１から８のいずれか１項に記載の方法をコンピュータに実行させるプログラム。