JP2018032102A - 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】仮想体験を改善する。【解決手段】制御回路部は、仮想空間に生成された仮想身体によって入力オブジェクトが仮想空間における決定領域に移動させられたとき、入力オブジェクトに関連付けられた入力対象が入力されたことを受け付ける。【選択図】図１

Description

本開示は、仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体に関する。

特許文献１には、仮想空間に配置されたウィジェットに視線を送ることによって所定の入力を行うことができる方法が記載されている。

特許第５８７６６０７号公報（２０１６年１月２９日登録）

特許文献１においては、仮想体験をさらに改善させる余地がある。特に、ＵＩ（User Interface）に対する入力を実行した実感をユーザに体感させることにより、仮想体験をさらに改善し得る。

本開示は、前記の課題を解決するためになされたものであり、その目的は、仮想体験をさらに改善することにある。

本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、ヘッドマウントディスプレイの動きに基づいて、仮想空間のうちヘッドマウントディスプレイに出力される視界画像を生成するステップと、仮想空間に、入力対象が関連付けられた入力オブジェクトを生成するステップと、仮想空間に、ユーザの頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、仮想身体によって入力オブジェクトが仮想空間における決定領域に移動させられたことを検出するステップと、入力オブジェクトが決定領域に移動させられたことが検出された場合、入力オブジェクトに関連付けられた入力対象が入力されたことを受け付けるステップと、を含む。

また、本開示に係る仮想体験を提供する方法は、頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、入力対象が関連付けられた入力オブジェクトを生成するステップと、ユーザの頭部以外の身体の一部によって入力オブジェクトが決定領域に移動させられたことを検出するステップと、入力オブジェクトが決定領域に移動させられたことが検出された場合、入力オブジェクトに関連付けられた入力対象が入力されたことを受け付けるステップと、を含む。

本開示によれば、仮想体験をさらに改善し得る。

ＨＭＤシステムの構成を示す図である。 制御回路部のハード構成を示す図である。 ＨＭＤに設定される視野座標系を例示する図である。 ユーザに提供される仮想空間の概要を説明する図である。 視界領域の断面を示す図である。 ユーザの視線方向を決定する方法を例示する図である。 右コントローラの構成を表す図である。 制御回路部の機能的構成を示すブロック図である。 ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。 仮想空間における入力処理の流れを示すシーケンス図である。 入力処理の一例の流れを示すシーケンス図である。 入力処理の一例の流れを示すシーケンス図である。 入力処理例Ａを説明するための図である。 入力処理例Ｂを説明するための図である。 入力処理例Ｂを説明するための図である。 入力処理例Ｂを説明するための図である。 入力処理例Ｃを説明するための図である。 入力処理例Ｃを説明するための図である。 入力処理例Ｃを説明するための図である。

［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。

ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実（Virtual Reality：VR）を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

また、本実施形態において、ＨＭＤ１１０には透過型ディスプレイが適用されてもよい。つまり、ＨＭＤ１１０は、透過型ＨＭＤであってもよい。この場合、３次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実（Mixes Reality：MR）を体験することができる。本実施形態において、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。

（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。

通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種のオブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸回りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。

（ｕｖｗ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｖｗ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に変動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。また、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ２（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。

ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

（コントローラ３００）
図７は、コントローラ３００の構成を表す図である。コントローラ３００は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図１に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを、動かすことにより、ユーザの手の動きに連動する仮想オブジェクト（以下、状況に応じて仮想手、仮想右手、仮想左手、などと称することがある。）を自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。たとえば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ３００を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。

図１に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。以下の説明において、右コントローラ３２０および左コントローラ３３０は共通の構成を有するため、右コントローラ３２０の構成のみを説明する。

コントローラセンサ１４０は、右コントローラ３２０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、現実空間内における右コントローラ３２０の位置および傾きを検出する。コントローラセンサ１４０は、右コントローラ３２０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０の位置および傾きを検出する。

コントローラセンサ１４０の代わりに、右コントローラ３２０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸回りの回転を検出する。右コントローラ３２０は、各検出値に基づき、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。右コントローラ３２０は、三軸角速度センサの検出値に加えて、三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。

操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。右手の親指によって親指ボタン３０２ａおよび３０２ｂが押下され、または、天面３２２上に親指が配置されることにより、仮想右手の親指が伸ばした状態から曲げられた状態に変化される。

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えている。右手の人差し指をおり、人差し指ボタン３０２ｅによって操作することにより、仮想右手の人差し指が伸ばした状態から曲げられた状態に変化される。また、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。中指ボタン３０２ｆを右手の中指によって操作することにより、仮想右手の中指、薬指、小指が伸ばした状態から曲げられた状態に変化される。

右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。

本実施形態では、右コントローラ３２０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。たとえば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。これにより、仮想手における各指の曲がり具合を調整してもよい。たとえば、「０」の状態を指が伸びている状態として定義し、「１」の状態を指が曲げられている状態として定義することにより、ユーザは直感的な動作によって仮想手の指を制御することができる。

アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられる。アナログスティック３０２ｉは、右手の親指によって操作される。

右コントローラ３２０は、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備えている。フレーム３２６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。

赤外線ＬＥＤ３０４は、プレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０の位置および傾きを検出するために利用される。

右コントローラ３２０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によって、右コントローラ３２０の位置および傾きを検出することができる。

トランシーバ３０８は、右コントローラ３２０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。

右コントローラ３２０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。

（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御する。また、制御回路部２００は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、検出部２１０は、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。

表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置する。仮想カメラ制御部２２１は、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、入力制御部２３３、および入力決定部２３４を備えている。

仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置する。仮想手制御部２３２は、仮想空間２内における各仮想手の挙動を制御する。入力制御部２３３は、入力に用いる仮想オブジェクトである入力オブジェクトを仮想空間２内に配置する。入力オブジェクトには入力内容が対応付けられている。入力制御部２３３は、入力の決定に用いる仮想オブジェクトである決定オブジェクトを仮想空間２内に配置する。入力決定部２３４は、入力オブジェクトと決定オブジェクトとの位置関係から入力内容を決定する。

記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１、コンテンツ格納部２４２、およびオブジェクト格納部２４３を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。オブジェクト格納部２４３は、入力に用いられる入力オブジェクトおよび決定オブジェクトを格納している。

雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内に仮想オブジェクトを配置可能であるか否かを示すフラグをさらに有する。

コンテンツは、仮想空間２において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場する仮想オブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。

通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばゲームサーバ）との間でデータを送受信する。

（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図９に示す処理が開始されると、まず、ステップＳ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツであってもよい。

仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応する仮想オブジェクトが仮想空間２において配置される位置を表す座標を、設定する。これにより各仮想オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

その後、ユーザによってＨＭＤ１１０が起動されると、ステップＳ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出する。ステップＳ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、ステップＳ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ１のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。ステップＳ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。ステップＳ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。ステップＳ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

その後、ステップＳ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、ステップＳ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ステップＳ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

本実施形態では、ステップＳ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。ステップＳ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

ステップＳ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、ステップＳ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。ステップＳ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。ステップＳ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

（入力処理）
前述のように、入力制御部２３３は、入力オブジェクトおよび決定オブジェクトを生成する。ユーザは、入力オブジェクトを操作することにより入力操作を行うことができる。より詳細には、ユーザは、入力操作を行う場合、まず入力オブジェクトを仮想身体によって選択する。次に、ユーザは、選択した入力オブジェクトを決定領域に移動させる。決定領域は決定オブジェクトによって定義される領域である。入力決定部２３４は、入力オブジェクトが決定領域に移動させられたとき、入力内容を決定する。

図１０は、ＨＭＤシステム１００が仮想空間２において、入力操作を受け付ける処理の流れを示すシーケンス図である。

図１０のステップＳ２１において、入力制御部２３３は、入力オブジェクトおよび決定オブジェクトを含む入力受付画像を生成する。ステップＳ２２において、視界画像生成部２２３は、入力オブジェクトおよび決定オブジェクトを含む視界画像をＨＭＤ１１０に出力する。ステップＳ２３において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。

ステップＳ２４において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ２５において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。ステップＳ２６において、コントローラ３００が、各ボタンの押下状態を検出する。ステップＳ２７において、右コントローラ３２０および左コントローラ３３０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。ステップＳ２８において、仮想手制御部２３２が、コントローラ検出部２１３が受信した各検出値を用いて、ユーザの仮想手を、仮想空間２に生成する。ステップＳ２９において、仮想手制御部２３２は、仮想手としての仮想右手ＨＲおよび仮想左手ＨＬを含む視界画像をＨＭＤ１１０に出力する。ステップＳ３０において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。

ステップＳ３１において、入力制御部２３３および入力決定部２３４は、入力処理を実行する。入力処理の詳細は後述する。

ステップＳ３２において、視界画像生成部２２３は入力処理中の視界画像をＨＭＤ１１０に出力する。ステップＳ３３において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。

（入力処理の一例の流れ）
図１１を参照して、ステップＳ３１における入力処理の一例の流れについて説明する。図１１は、入力処理の一例の流れを示すシーケンス図である。

ステップＳ１０１では、入力制御部２３３は、入力オブジェクトが移動したことを検出する。ステップＳ１０２では、入力制御部２３３は、入力オブジェクトが決定領域に移動したか否かを判定する。入力制御部２３３は、入力オブジェクトが決定領域に移動したと判定した場合（Ｓ１０２でＹＥＳ）、ステップＳ１０３に進む。入力制御部２３３は、決定領域へ移動したか否かを、入力オブジェクトが決定オブジェクトと所定の位置関係となった否かにより判定してもよい。たとえば、入力制御部２３３は、入力オブジェクトが決定オブジェクトと接触したとき、所定の位置関係となったと判定してもよい。

ステップＳ１０３では、入力決定部２３４は、決定領域に移動したときの入力オブジェクトに対応付けられた入力対象を入力する内容に決定する。仮想空間制御部２３０は、決定された入力内容を受け付ける。

（入力処理の他の例の流れ）
図１２を参照して、ステップＳ３１における入力処理の他の例の流れについて説明する。図１２は、入力処理の他の例の流れを示すシーケンス図である。

ステップＳ２０１では、入力制御部２３３は、入力オブジェクトが移動したことを検出する。ステップＳ２０２では、入力制御部２３３は、入力オブジェクトが決定領域に移動したか否かを判定する。入力オブジェクトが決定領域に移動したと判定した場合（Ｓ２０２でＹＥＳ）、ステップＳ２０３に進む。ステップＳ２０３では、入力決定部２３４は、決定領域に移動したときの入力オブジェクトに対応付けられた入力対象を入力する内容に仮決定する。

ステップＳ２０４では、入力決定部２３４は、仮決定された入力対象が所定数となったか否かを判定する。入力対象が所定数に達していない場合（Ｓ２０４でＮＯ）、ステップＳ２０１に戻る。一方、所定数に達している場合（Ｓ２０４でＹＥＳ）、ステップＳ２０５で、入力決定部２３４は、入力が完了したとして、仮決定した所定数の入力対象を入力する内容に決定する。これが最終入力決定となる。仮想空間制御部２３０は、決定された入力内容を受け付ける。

（入力処理の例）
次に、図１３〜１７を参照して、前述したステップＳ３１における入力処理の例を説明する。

（入力処理例Ａ）
図１３を参照して、入力処理例Ａについて説明する。図１３は、入力処理例Ａを示す図である。入力処理例Ａでは、入力オブジェクトにおける第１面が決定オブジェクトと接触したとき、第１面と所定の位置関係にある第２面と対応付けられた入力対象が入力されたことを受け付ける処理の例を示す。

入力処理例Ａでは、入力オブジェクトとしてサイコロＳＫ、決定オブジェクトとして台ＫＲが設定されている。ユーザによる入力操作に従い、表示例１３０１から表示例１３０２へと進む。

サイコロＳＫは、複数の面を含み、複数の面それぞれに異なる入力対象が関連付けられている。具体的には、入力対象として「和」、「洋」、「中」が対応付けられている。「和」は和食、「洋」は洋食、「中」は中華を示す。

表示例１３０１に示すように、視界画像モニタＭＴに「今日のランチは何が食べたい？」と表示されている。ユーザは仮想右手ＨＲにより、サイコロＳＫを移動させて、台ＫＲに乗せることにより、入力操作を行う。

表示例１３０２では、サイコロＳＫの下面が台ＫＲと接触し、「洋」と記載されている面が上面となっている。このとき、サイコロＳＫの上面と対応付けられた「洋」が入力される内容となる。すなわち、「今日のランチは何が食べたい？」との問いに対し「洋食」と回答したことになる。表示例１３０２では、「洋食」との回答に対し、モニタＭＴに「今日のおススメの洋食屋はこちら」と表示している。これは、ユーザの回答に対し、次の段階の提案をしていることになる。

なお、上記の例では、接触した面と所定の位置関係にある面と対応付けられた入力対象を受け付ける構成を挙げた。入力対象はこれに限られるものではなく、接触した面と対応付けられた入力対象を受け付ける構成としてもよい。

また、入力オブジェクトの例としては、サイコロＳＫのような面を備えたものではなく、たとえば、入力対象が対応付けられたピンが球体に刺さった構造のものであってもよい。この場合、ピンが台ＫＲと接触することにより、当該ピンと対応付けられた入力対象の入力を受け付けるものであってもよい。

（入力処理例Ｂ）
図１４〜１６を参照して、入力処理例Ｂについて説明する。図１４〜１６は、入力処理例Ｂを示す図である。入力処理例Ｂでは、仮想空間に規定される領域と複数の文字オブジェクトの少なくとも１つの位置とが特定の位置関係となったとき、複数の文字オブジェクトの少なくとも１つが決定領域に移動させられたことを検出し、文字オブジェクトに関連付けられた文字が入力されたことを受け付ける処理の例を示す。

入力処理Ｂでは、入力オブジェクトとして文字オブジェクトＣＢ、決定オブジェクトとしてモニタＭＴが設定されている。文字オブジェクトＣＢは複数存在し、それぞれが異なる文字と対応付けられている。

入力処理例Ｂでは、ユーザによる入力操作に従い、表示例１４０１から表示例１４０２、表示例１４０３、…表示例１４０５へと進む。

表示例１４０１に示すように、モニタＭＴに「これは何？」と表示されている。また、文字オブジェクトＣＢが表示されている。次に、表示例１４０２に示すように、モニタＭＴに魚の絵が表示される。その後、ユーザは仮想右手ＨＲにより、文字オブジェクトＣＢをモニタＭＴに移動させることにより、それぞれの文字を入力する。

表示例１４０３では、ユーザが仮想右手ＨＲを用いて、「さ」、「か」、「な」と対応付けられた文字オブジェクトＣＢをこの順序でモニタＭＴに移動させている。これにより、表示例１４０４に示すように、「さ」、「か」、「な」が入力される。すなわち、モニタＭＴに「これは何？」と表示され、その後、魚の絵が表示されたことに対して「さかな」と回答したことになる。最後に、表示例１４０５に示すように、モニタＭＴに「正解」と表示される。

なお、上記では、仮想右手ＨＲを用いて、文字オブジェクトＣＢをモニタＭＴに移動させることによって、入力操作を行う例を説明したが、これに限られるものではない。仮想右手ＨＲによって、文字オブジェクトＣＢを投げることによって、モニタＭＴに当てることにより、文字オブジェクトＣＢを移動させてもよい。また、決定オブジェクトはモニタＭＴではなく、穴のようなものであってもよい。当該穴に文字オブジェクトＣＢを落とすことにより入力操作を行ってもよい。

（入力処理例Ｃ）
図１７〜１９を参照して、入力処理例Ｃについて説明する。図１７〜１９は、入力処理例Ｃを示す図である。入力処理例Ｃでは、仮想空間に配置された入力空間である複数の区域に、所定数の文字オブジェクトが入れられたとき、区域に入れられた文字オブジェクトに関連付けられた入力対象が入力されたことを受け付ける処理の例を示す。

入力処理例Ｃでは、入力オブジェクトとして文字オブジェクトＣＢ、決定オブジェクトとして入力領域ＫＬが設定されている。文字オブジェクトＣＢは複数存在し、それぞれが異なる文字と対応付けられている。入力領域ＫＬには文字オブジェクトＣＢを配置可能な区域が複数存在している。

入力処理例Ｃでは、ユーザによる入力操作に従い、表示例１７０１から表示例１７０２、表示例１７０３、…表示例１４０６へと進む。

表示例１７０１に示すように、モニタＭＴに「これは何？」と表示されている。また、文字オブジェクトＣＢが表示されている。さらに、入力領域ＫＬが表示されている。次に、表示例１７０２に示すように、モニタＭＴに魚の絵が表示される。その後、ユーザは仮想右手ＨＲにより、文字オブジェクトＣＢを入力領域ＫＬに移動させることにより、それぞれの文字を入力する。表示例１７０３では、ユーザが仮想右手ＨＲを用いて、「さ」、「か」、「な」と対応付けられた文字オブジェクトＣＢを、入力領域ＫＬにおけるそれぞれの区域に移動させている。ここでは、区域の左側から、「さ」、「か」、「な」に対応付けられた文字オブジェクトＣＢを入力領域ＫＬにおけるそれぞれの区域に移動させている。これにより、表示例１７０４に示すように、入力領域ＫＬの各区域に「さ」、「か」、「な」と入力される。これにより、表示例１７０５に示すように、「さかな」が入力される。すなわち、モニタＭＴに「これは何？」と表示され、その後、魚の絵が表示されたことに対して「さかな」と回答したことになる。最後に、表示例１７０６に示すように、モニタＭＴに「正解」と表示される。

なお、仮想オブジェクトとの接触による操作をＭＲ等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型ＨＭＤを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型ＨＭＤと同様に、ＨＭＤの動き、または、ユーザの視線を検知することによって特定してもよい。

〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。

（項目１）頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、 前記ヘッドマウントディスプレイの動きに基づいて、前記仮想空間のうち前記ヘッドマウントディスプレイに出力される視界画像を生成するステップと、前記仮想空間に、入力対象が関連付けられた入力オブジェクトを生成するステップと、前記仮想空間に、前記ユーザの前記頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、前記仮想身体によって前記入力オブジェクトが前記仮想空間における決定領域に移動させられたことを検出するステップと、前記入力オブジェクトが前記決定領域に移動させられたことが検出された場合、前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付けるステップと、を含む、方法。入力対象オブジェクトが決定領域に移動されると、上記入力対象オブジェクトに関連付けられた入力を受け付けることができるので、仮想空間で容易に入力を受け付けることができる。これにより、仮想体験をさらに改善し得る。

（項目２）前記入力オブジェクトは複数の部分を含み、前記複数の部分それぞれに異なる前記入力対象が関連付けられており、前記検出するステップでは、前記仮想空間に配置される決定オブジェクトに前記入力オブジェクトが接触したとき、前記入力オブジェクトが前記決定領域に移動させられたことを検出し、前記受け付けるステップでは、前記決定オブジェクトに前記入力オブジェクトが接触したことが検出されたときの前記入力オブジェクトの前記複数の部分のいずれかに関連付けられた前記入力対象が入力されたことを受け付ける、項目１に記載の方法。入力オブジェクトが決定オブジェクトに接触することにより、入力を受け付けることができるので、容易に入力を受け付けることができる。

（項目３）前記複数の部分は、複数の面であり、前記受け付けるステップでは、前記入力オブジェクトにおける第１面が前記決定オブジェクトと接触したとき、前記第１面と所定の位置関係にある第２面と対応付けられた前記入力対象が入力されたことを受け付ける、項目２に記載の方法。接触面と所定の位置関係にある面と対応付けられた入力対象の入力を受け付けるので、入力対象をユーザに容易に認識させることができる。

（項目４）前記複数の部分は、複数の面であり、前記受け付けるステップでは、前記入力オブジェクトにおける第１面が前記決定オブジェクトと接触したとき、前記第１面と対応付けられた前記入力対象が入力されたことを受け付ける、項目２に記載の方法。決定オブジェクトと接触した面と対応付けられた入力対象の入力を受け付けるので、入力対象をユーザに容易に認識させることができる。

（項目５）前記入力オブジェクトは、前記入力対象として文字が関連付けられた複数の文字オブジェクトであり、前記検出するステップでは、前記仮想空間に規定される領域と前記複数の文字オブジェクトの少なくとも１つの位置とが特定の位置関係となったとき、前記複数の文字オブジェクトの少なくとも１つが前記決定領域に移動させられたことを検出し、前記受け付けるステップでは、前記位置関係となった複数の文字オブジェクトの少なくとも１つに関連付けられた前記文字が入力されたことを受け付ける、項目１に記載の方法。複数の文字オブジェクトの入力を容易に受け付けることができる。

（項目６）前記入力オブジェクトは複数生成されるとともに、それぞれ複数の部分を含み、前記複数の部分それぞれに異なる前記入力対象が関連付けられており、前記検出するステップでは、前記仮想空間に配置された入力空間に前記入力オブジェクトの少なくとも１つが入れられたとき、当該少なくとも１つの入力オブジェクトが前記決定領域に移動させられたことを検出し、前記受け付けるステップでは、前記入力空間に前記少なくとも１つの入力オブジェクトが入れられたことが検出されたときの、前記入力空間に入れられた前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付ける、項目１に記載の方法。複数の入力オブジェクトによる入力を受け付けることができる。

（項目７）前記複数の入力オブジェクトの移動を完了させるステップをさらに含み、前記受け付けるステップでは、前記複数の入力オブジェクトの移動が完了された後、前記入力空間に入れられている前記複数の入力オブジェクトの該入力空間における位置に基づき、前記複数の入力オブジェクトの所定の面に関連付けられたそれぞれの前記入力対象が入力されたことを受け付ける、項目６に記載の方法。複数の入力オブジェクトが存在する場合に、入力の完了を容易に認識することができる。

（項目８）頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、入力対象が関連付けられた入力オブジェクトを生成するステップと、前記ユーザの前記頭部以外の身体の一部によって前記入力オブジェクトが決定領域に移動させられたことを検出するステップと、前記入力オブジェクトが前記決定領域に移動させられたことが検出された場合、前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付けるステップと、を含む、方法。入力対象オブジェクトが決定領域に移動されると、上記入力対象オブジェクトに関連付けられた入力を受け付けることができるので、仮想空間で容易に入力を受け付けることができる。これにより、ユーザの仮想体験をさらに改善し得る。

（項目９）項目１〜８のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。

（項目１０）項目９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

１ 仮想カメラ、２ 仮想空間、５ 基準視線、２１ 中心、２２ 仮想空間画像、２３ 視界領域、２４ 第１領域、２５ 第２領域、２６ 視界画像、１００ ＨＭＤシステム、１１０ ＨＭＤ、１１２ ディスプレイ、１１４、３０６ センサ、１２０ ＨＭＤセンサ、１３０ 注視センサ、１４０ コントローラセンサ、２００ 制御回路部、２１０ 検出部、２１１ ＨＭＤ検出部、２１２ 視線検出部、２１３ コントローラ検出部、２２０ 表示制御部、２２１ 仮想カメラ制御部、２２２ 視界領域決定部、２２３ 視界画像生成部、２３０ 仮想空間制御部、２３１ 仮想空間規定部、２３２ 仮想手制御部、２３３ 入力制御部、２３４ 入力決定部、２４０ 記憶部、２４１ 雛形格納部、２４２ コンテンツ格納部、２４３ オブジェクト格納部、２５０ 通信部、３００ コントローラ、３０２ 操作ボタン、３０２ａ、３０２ｂ 親指ボタン、３０２ｅ 人差し指ボタン、３０２ｆ 中指ボタン、３０２ｉ アナログスティック、３０８ トランシーバ、３２０ 右コントローラ、３２２ 天面、３２４ グリップ、３２６ フレーム、３３０ 左コントローラ、４００ 外部機器

Claims (10)

1. 頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、
   前記ヘッドマウントディスプレイの動きに基づいて、前記仮想空間のうち前記ヘッドマウントディスプレイに出力される視界画像を生成するステップと、
   前記仮想空間に、入力対象が関連付けられた入力オブジェクトを生成するステップと、
   前記仮想空間に、前記ユーザの前記頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、
   前記仮想身体によって前記入力オブジェクトが前記仮想空間における決定領域に移動させられたことを検出するステップと、
   前記入力オブジェクトが前記決定領域に移動させられたことが検出された場合、前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付けるステップと、を含む、方法。
2. 前記入力オブジェクトは複数の部分を含み、前記複数の部分それぞれに異なる前記入力対象が関連付けられており、
   前記検出するステップでは、前記仮想空間に配置される決定オブジェクトに前記入力オブジェクトが接触したとき、前記入力オブジェクトが前記決定領域に移動させられたことを検出し、
   前記受け付けるステップでは、前記決定オブジェクトに前記入力オブジェクトが接触したことが検出されたときの前記入力オブジェクトの前記複数の部分のいずれかに関連付けられた前記入力対象が入力されたことを受け付ける、請求項１に記載の方法。
3. 前記複数の部分は、複数の面であり、
   前記受け付けるステップでは、前記入力オブジェクトにおける第１面が前記決定オブジェクトと接触したとき、前記第１面と所定の位置関係にある第２面と対応付けられた前記入力対象が入力されたことを受け付ける、請求項２に記載の方法。
4. 前記複数の部分は、複数の面であり、
   前記受け付けるステップでは、前記入力オブジェクトにおける第１面が前記決定オブジェクトと接触したとき、前記第１面と対応付けられた前記入力対象が入力されたことを受け付ける、請求項２に記載の方法。
5. 前記入力オブジェクトは、前記入力対象として文字が関連付けられた複数の文字オブジェクトであり、
   前記検出するステップでは、前記仮想空間に規定される領域と前記複数の文字オブジェクトの少なくとも１つの位置とが特定の位置関係となったとき、前記複数の文字オブジェクトの少なくとも１つが前記決定領域に移動させられたことを検出し、
   前記受け付けるステップでは、前記位置関係となった複数の文字オブジェクトの少なくとも１つに関連付けられた前記文字が入力されたことを受け付ける、請求項１に記載の方法。
6. 前記入力オブジェクトは複数生成されるとともに、それぞれ複数の部分を含み、前記複数の部分それぞれに異なる前記入力対象が関連付けられており、
   前記検出するステップでは、前記仮想空間に配置された入力空間に前記入力オブジェクトの少なくとも１つが入れられたとき、当該少なくとも１つの入力オブジェクトが前記決定領域に移動させられたことを検出し、
   前記受け付けるステップでは、前記入力空間に前記少なくとも１つの入力オブジェクトが入れられたことが検出されたときの、前記入力空間に入れられた前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付ける、請求項１に記載の方法。
7. 前記複数の入力オブジェクトの移動を完了させるステップをさらに含み、
   前記受け付けるステップでは、前記複数の入力オブジェクトの移動が完了された後、前記入力空間に入れられている前記複数の入力オブジェクトの該入力空間における位置に基づき、前記複数の入力オブジェクトの所定の面に関連付けられたそれぞれの前記入力対象が入力されたことを受け付ける、請求項６に記載の方法。
8. 頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、
   入力対象が関連付けられた入力オブジェクトを生成するステップと、
   前記ユーザの前記頭部以外の身体の一部によって前記入力オブジェクトが決定領域に移動させられたことを検出するステップと、
   前記入力オブジェクトが前記決定領域に移動させられたことが検出された場合、前記入力オブジェクトに関連付けられた前記入力対象が入力されたことを受け付けるステップと、を含む、方法。
9. 請求項１〜８のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images