JP6275809B1 - 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想空間における空間把握を容易にするための表示制御方法を提供する。【解決手段】ＨＭＤを備えたシステムにおける表示制御方法であって、仮想カメラ３００と対象オブジェクトＦＣ、ＳＣとを含む仮想空間２００データを生成し、仮想カメラの視野ＣＶ、仮想空間データに基づいてＨＭＤに視野画像を表示させ、ＨＭＤの動きに基づいて仮想カメラを動かし、視野画像を更新する。さらに、入力操作に基づいて、仮想カメラから遠い側に開口を有する図形で構成される特定処理オブジェクトＴＰを表示させる。視野内における特定処理オブジェクトよりも仮想カメラ側に対象オブジェクトの少なくとも一部が存在するか否かを判定し、特定処理オブジェクトを移動させることにより、仮想カメラ側に少なくとも一部が存在すると判定された対象オブジェクトの、少なくとも一部を透過処理する。【選択図】図１０

Description

本開示は、表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラムに関する。

近年、ヘッドマウントデバイス（ＨＭＤ：Ｈｅａｄ‐Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ）を装着して仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間に没入できるゲーム（以下、ＶＲゲームと称することがある）が知られている。
特許文献１は、仮想空間内において、基準視線上に配置されているオブジェクトを特定し、オブジェクトの特定に応じてＨＭＤの所定方向への頭部傾け動作に従って特定されたオブジェクトを動かすことができることが開示されている。

特開２０１６−１７３６９８号公報 特開２０１６−５２３９６号公報

特許文献１では、複数のオブジェクトがＨＭＤの視線方向に対して重なっている場合に、視認可能で、且つ、選択可能なオブジェクトは、原則として手前側のオブジェクトであるため、奥側のオブジェクトを視認および選択することが難しい。

本開示は、ＶＲ空間における空間把握を容易にするための表示制御方法を提供することを目的とする。また、本開示は、当該表示制御方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、ヘッドマウントデバイスを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）仮想カメラと対象オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントデバイスに視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントデバイスの動きに基づいて前記仮想カメラを動かすことで前記視野画像を更新するステップと、
（ｄ）所定の入力操作に基づいて、前記仮想カメラから遠い側に開口を有する図形で構成される特定処理オブジェクトを前記仮想空間内に表示させるステップと、
（ｅ）前記視野内における前記特定処理オブジェクトよりも前記仮想カメラ側に前記対象オブジェクトの少なくとも一部が存在するか否かを判定するステップと、
（ｆ）前記特定処理オブジェクトを移動させることにより、前記ステップ（ｅ）において前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された前記対象オブジェクトの前記少なくとも一部を透過処理するステップと、
を含む。

本開示によれば、ＶＲ空間における空間把握を容易にするための表示制御方法を提供することができる。

本実施形態に係るヘッドマウントデバイス（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図５に示す仮想空間のｙｘ平面図であり、（ｂ）は、図５に示す仮想空間のｚｘ平面図である。 本実施形態に係る表示制御方法を説明するためのフローチャートである。 （ａ）は、本実施形態に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。 （ａ）は、本実施形態に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。 （ａ）は、本実施形態に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。 （ａ）は、本実施形態に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。 透過処理オブジェクトの制御方法に関する模式図である。 透過処理オブジェクトの制御方法に関する視野画像である。 （ａ），（ｂ）は、透過処理オブジェクトの変形例を示す図である。 変形例１に係る表示制御方法で規定される仮想空間の模式図である。 （ａ）は、変形例１に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。 （ａ）は、変形例２に係る表示制御方法で規定される仮想空間の模式図であり、（ｂ）は、当該仮想空間に基づいて生成される視野画像である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントデバイスを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）仮想カメラと対象オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントデバイスに視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントデバイスの動きに基づいて前記仮想カメラを動かすことで前記視野画像を更新するステップと、
（ｄ）所定の入力操作に基づいて、前記仮想カメラから遠い側に開口を有する図形で構成される特定処理オブジェクトを前記仮想空間内に表示させるステップと、
（ｅ）前記視野内における前記特定処理オブジェクトよりも前記仮想カメラ側に前記対象オブジェクトの少なくとも一部が存在するか否かを判定するステップと、
（ｆ）前記特定処理オブジェクトを移動させることにより、前記ステップ（ｅ）において前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された前記対象オブジェクトの前記少なくとも一部を透過処理するステップと、
を含む。

上記方法によれば、ＶＲ空間における空間把握を容易にすることができる。

（２）前記ステップ（ｆ）では、前記開口を形成する二次元的な前記図形の三次元直交座標系における位置および傾きを変更することによって、前記仮想空間において透過処理する二次元的な領域の三次元直交座標系における位置および傾きが変更されても良い。

上記方法によれば、三次元空間である仮想空間内において特定処理オブジェクトを任意の位置や向きに自由に動かして透過処理された視野画像を視認できるため、リッチな仮想空間体験を提供することができる。

（３）前記ステップ（ｆ）では、前記特定処理オブジェクトの前記開口の大きさが変更可能であっても良い。

上記方法によれば、よりリッチな仮想空間体験を提供することができる。

（４）前記システムは、前記ヘッドマウントデバイスの位置とユーザの頭部以外の身体の一部の位置を検出するように構成された位置センサをさらに備え、
前記仮想空間は、前記ユーザの身体の前記一部の動きに応じて動作可能な操作オブジェクトをさらに含み、
前記ステップ（ｆ）では、前記操作オブジェクトの動きに基づいて前記特定処理オブジェクトを移動可能であっても良い。

上記方法によれば、例えば、視野画像に表示される仮想手オブジェクト（ハンドデバイス）を動かすことによって、特定処理オブジェクトを任意に移動させることができる。

（５）前記システムは、前記ヘッドマウントデバイスの位置とユーザの頭部以外の身体の一部の位置を検出するように構成された位置センサをさらに備え、
前記仮想空間は、前記ユーザの身体の前記一部の動きに応じて動作可能な操作オブジェクトをさらに含み、
前記ステップ（ｆ）において、前記開口の大きさは、前記操作オブジェクトの形状に基づいて変更可能であっても良い。

上記方法によれば、例えば、仮想手オブジェクトの指の形状によって、特定処理オブジェクトの開口の広さを任意に変更することができる。

（６）前記ステップ（ｆ）では、前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された複数の対象オブジェクトのうち、前記仮想カメラに最も近い対象オブジェクトのみを透過処理しても良い。

上記方法によれば、複数の対象オブジェクトのうち奥側の対象オブジェクトまで透過処理されてしまうことを防止することができる。

（７）上記（１）から（６）のいずれかに記載の表示制御方法をコンピュータに実行させるためのプログラムである。

この構成によれば、ＶＲ空間における空間把握を容易にするプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係る情報処理方法を実現するヘッドマウントデバイス（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、ヘッドホン１１６（音声出力部の一例）とを備えている。

表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。ＨＭＤ１１０は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部１１２は、ユーザＵの左眼に投影される左眼用の表示部とユーザＵの右眼に投影される右眼用の表示部とから構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

ヘッドホン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドホン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン１１６の右耳用のスピーカに出力される音声は、ヘッドホン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる２つの音声データをヘッドホン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、ＨＭＤ１１０にヘッドホン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカ（例えば、２つの据置型スピーカ）やイヤホンを設けてもよい。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交し表示部１１２の中心とユーザＵとを結ぶ方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。

次に、図３を参照して、制御装置１２０のハードウェア構成について説明する。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５とは、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０の内部に搭載されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるための情報処理プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーション（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を提供する。これにより、ユーザＵは、表示部１１２に提供された仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３には、情報処理プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０と、をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。なお、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図４から図６を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示するための処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図を示す。図６の状態（ａ）は、図５に示す仮想空間２００のｙｘ平面図であって、図６の状態（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００を含む仮想空間２００を定義する仮想空間データを生成する。図５および図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５および図６では、上半分の天球のみが図示されている）。また、仮想空間２００には、中心位置２１を原点とするｘｙｚ座標系が設定されている。ＨＭＤシステム１の初期状態では、仮想カメラ３００が仮想空間２００の中心位置２１に配置されている。
仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを決定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸に相当する基準視線Ｌを決定し、決定された基準視線Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域と一致する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に一致する。また、視野ＣＶは、図６の状態（ａ）に示すｘｙ平面において、基準視線Ｌを中心とした極角θαの角度範囲として設定される第１領域ＣＶａと、図６の状態（ｂ）に示すｘｚ平面において、基準視線Ｌを中心とした方位角θβの角度範囲として設定される第２領域ＣＶｂとを有する。

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを移動させることができる。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像を示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。すなわち、仮想カメラ３００の視野ＣＶにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像を表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

次に、本実施形態に係る表示制御方法について、図７から図１１を参照して説明する。図７は、本実施形態に係る表示制御方法を説明するためのフローチャートである。図８から図１１は、本実施形態に係る表示制御方法で規定される仮想空間の模式図、および、当該仮想空間に基づいて生成される視野画像である。

最初に、図８の状態（ａ）に示すように、仮想空間２００は、仮想カメラ３００と、第一の対象オブジェクトＦＣと、第二の対象オブジェクトＳＣと、を含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。

仮想カメラ３００は、ユーザＵが操作するＨＭＤシステム１に関連付けられている。すなわち、ユーザＵが装着するＨＭＤ１１０の動きに応じて仮想カメラ３００の位置や向き（すなわち、仮想カメラ３００の視野ＣＶ）が変更される。なお、図８等においては、仮想カメラ３００が仮想空間２００の中心から離れた位置に配置されているが、仮想カメラ３００は、仮想空間２００の中心に配置されていても良い。

仮想空間２００内には、ゲームプログラムの進行に応じて複数の対象オブジェクトが配置され得るが、説明の容易化のため、本例では第一の対象オブジェクトＦＣおよび第二の対象オブジェクトＳＣのみを図示している。第一の対象オブジェクトＦＣは、第二の対象オブジェクトＳＣよりも仮想カメラ３００に対して手前側に配置されているオブジェクトである。本実施形態では、第一の対象オブジェクトＦＣは、例えば樹木のオブジェクトであり、第二の対象オブジェクトＳＣは、例えば、他のユーザや制御部が制御可能な敵キャラクタである。

上述の通り、第二の対象オブジェクトＳＣよりも大きな第一の対象オブジェクトＦＣが第二の対象オブジェクトＳＣの手前に配置されている場合、図８の状態（ｂ）に示すように、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖにおいては、奥側の第二の対象オブジェクトＳＣは第一の対象オブジェクトＦＣで隠れてしまいユーザが視認することができない。

そこで、本実施形態では、仮想空間での空間把握を容易にするための透過処理オブジェクトＴＰ（特定処理オブジェクトの一例）をユーザＵの入力操作に基づいて仮想空間２００内に配置可能（視野画像Ｖ内に表示可能）としている。この透過処理オブジェクトＴＰに関する表示制御方法について図７等を参照して以下説明する。

まず、制御部１２１は、ユーザＵが所定のモード（例えば、ビューモード）を選択したか否かを判定する（図７のステップＳ１０）。このビューモードは、例えば、視野画像Ｖ内に表示されるメニュー画面（不図示）等から、ユーザＵが外部コントローラ３２０を操作して選択し得る。あるいは、ユーザＵの視線方向を検出するアイ・トラッキング・センサ（注視センサ）を設け、当該アイ・トラッキング・センサでの検知に基づいて制御部１２１においてビューモードが選択されたと判定されても良い。

ユーザＵの入力操作によりビューモードが選択されたと判定された場合には（ステップＳ１０のＹｅｓ）、制御部１２１は、図９の状態（ａ）に示すように、仮想空間２００内の所定の位置に、透過処理オブジェクトＴＰを配置する（ステップＳ１２）。具体的には、仮想空間２００のうち仮想カメラ３００の視野ＣＶ内に透過処理オブジェクトＴＰを配置することが好ましい。これにより、図９の状態（ｂ）に示すように、視野画像Ｖ内の所定位置に、当該透過処理オブジェクトＴＰが表示される。透過処理オブジェクトＴＰは、仮想カメラ３００から遠い側に開口を有する二次元的な図形、例えば、仮想カメラ３００側に頂点があり仮想カメラ３００から遠い側に開口があるＶ字状の図形オブジェクトとして構成されている。この透過処理オブジェクトＴＰは、ユーザＵの入力操作によって、仮想空間２００を構成する三次元直交座標系における位置および傾きが変更可能である。

次に、制御部１２１は、視野ＣＶ内における透過処理オブジェクトＴＰよりも仮想カメラ３００側に対象オブジェクト（例えば、第一の対象オブジェクトＦＣや第二の対象オブジェクトＳＣ）の少なくとも一部が存在するか否かを判定する（ステップＳ１４）。ここで、「透過処理オブジェクトＴＰよりも仮想カメラ３００側に対象オブジェクトの少なくとも一部が存在する」とは、二次元的なＶ字型オブジェクトである透過処理オブジェクトＴＰが対象オブジェクトにかかる、すなわち、対象オブジェクトと重複するような位置に配置されたことを意味する。

透過処理オブジェクトＴＰよりも仮想カメラ３００側に第一の対象オブジェクトＦＣや第二の対象オブジェクトＳＣの少なくとも一部が存在しないと判定された場合には（ステップＳ１４のＮｏ）、制御部１２１は、透過処理オブジェクトＴＰに対するユーザＵの入力操作を受け付けたか否かを判定する（ステップＳ１６）。当該入力操作には、透過処理オブジェクトＴＰの移動だけではなく、傾き（向き）の変更や、開口角度の調整も含まれる。例えば、ユーザＵが外部コントローラ３２０を操作することで、透過処理オブジェクトＴＰに対する入力操作信号が制御部１２１へと送信される。

透過処理オブジェクトＴＰに対するユーザＵの入力操作を受け付けたと判定された場合には（ステップＳ１６のＹｅｓ）、制御部１２１は、当該入力操作に基づいて、透過処理オブジェクトＴＰを制御する（ステップＳ１８）。例えば、透過処理オブジェクトＴＰの移動に関する入力操作を受け付けた場合には、制御部１２１は、当該入力操作に応じて、透過処理オブジェクトＴＰを移動させる。例えば、図１０の状態（ａ）に示すように、制御部１２１は透過処理オブジェクトＴＰを初期位置よりも右側に移動させる。これにより、図１０の状態（ｂ）に示すように、視野画像Ｖ内においても透過処理オブジェクトＴＰが右側に移動される。その後、制御部１２１は、処理をステップＳ１４へ戻す。

ステップＳ１４において、透過処理オブジェクトＴＰよりも仮想カメラ３００側に対象オブジェクト（第一の対象オブジェクトＦＣや第二の対象オブジェクトＳＣ）の少なくとも一部が存在すると判定された場合には（ステップＳ１４のＹｅｓ）、制御部１２１は、当該対象オブジェクトを透過処理する（ステップＳ２０）。例えば、図１０の状態（ａ）に示すように、透過処理オブジェクトＴＰが初期位置よりも右側に移動されることにより、第一の対象オブジェクトＦＣの少なくとも一部が透過処理オブジェクトＴＰよりも仮想カメラ３００側に存在することとなった場合には、制御部１２１は、第一の対象オブジェクトＦＣを透過処理（例えば、完全に透明化）する（図１１の状態（ａ）参照）。これにより、図１１の状態（ｂ）に示すように、視野画像Ｖでは第一の対象オブジェクトＦＣが透過処理され、第一の対象オブジェクトＦＣよりも仮想カメラ３００に対して奥側に存在している第二の対象オブジェクトＳＣが視認可能な状態となる。なお、対象オブジェクトの透過処理は、完全透過に限られず、その奥が視認可能な程度であれば半透過であっても良い。

その後、制御部１２１は、処理をステップＳ１６へ戻し、ユーザＵの入力操作を受け付けた場合には、当該入力操作に基づいて透過処理オブジェクトＴＰを制御しつつ（ステップＳ１８）、透過処理オブジェクトＴＰと重複することとなった所定の対象オブジェクトを透過処理する（ステップＳ１４およびステップＳ２０）。すなわち、制御部１２１が、ユーザの入力操作に基づいて、開口を形成する二次元的な透過処理オブジェクトＴＰの三次元直交座標系における位置および傾きを変更することによって、仮想空間２００において透過処理する二次元的な領域の三次元直交座標系における位置および傾きが変更される。これにより、三次元空間である仮想空間内において透過処理オブジェクトＴＰを任意の位置や向きに自由に動かして透過処理された視野画像を視認できるため、リッチな仮想空間体験を提供することができる。

また、ステップＳ２０の後に、制御部１２１は、ユーザＵがビューモードの選択を解除したか否かを判定する（ステップＳ２２）。ビューモードの選択解除は、例えば、ユーザＵによる外部コントローラ３２０の操作や、アイ・トラッキング・センサでの検知により判定可能である。ユーザＵがビューモードの選択を解除したと判定された場合には（ステップＳ２２のＹｅｓ）、制御部１２１は、透過処理オブジェクトＴＰを非表示とするとともに、透過処理オブジェクトＴＰにより透過処理されていた第一の対象オブジェクトＦＣを非透過とする（ステップＳ２４）。これにより、図８の状態（ａ）に示す仮想空間２００の状態に戻り、ユーザＵは図８の状態（ｂ）に示す視野画像Ｖを視認可能となる。すなわち、第二の対象オブジェクトＳＣは、第一の対象オブジェクトＦＣによって再び隠される。その後、制御部１２１は、処理をステップＳ１０へ戻す。

以上説明したように、本実施形態によれば、制御部１２１は、ユーザＵの入力操作に基づいて、仮想カメラ３００から遠い側に開口を有するＶ字型の透過処理オブジェクトＴＰを仮想空間２００内に表示させ、視野ＣＶ内における透過処理オブジェクトＴＰよりも仮想カメラ３００側に対象オブジェクトＦＣ，ＳＣの少なくとも一部が存在するか否かを判定し、透過処理オブジェクトＴＰを移動させることにより、透過処理オブジェクトＴＰよりも仮想カメラ３００側に少なくとも一部が存在すると判定された対象オブジェクト（例えば、第一の対象オブジェクトＦＣ）を透過処理する。これにより、ユーザＵは第一の対象オブジェクトＦＣによって隠れていた奥側の第二の対象オブジェクトＳＣを視認できるようになり、ＶＲ空間における空間把握が容易となる。

なお、本例においては、透過処理オブジェクトＴＰの移動や各種調整（開口角度や向きの調整など）を、外部コントローラ３２０の入力操作に応じて行っているが、この例に限られない。例えば、図１２に示すように、仮想空間２００内にユーザＵの入力操作により操作可能な仮想手オブジェクトＨ（操作オブジェクトの一例）を配置し、当該仮想手オブジェクトＨで透過処理オブジェクトＴＰを掴んで移動させるような態様であってもよい。これにより、より直感的に透過処理オブジェクトＴＰを制御することができる。

また、図１３に示すように、透過処理オブジェクトＴＰの開口角度θを仮想手オブジェクトＨの例えば親指と人差し指とで形成されるＶ字形に対応させ、仮想手オブジェクトＨの指で形成されるＶ字形の角度を変化させることで開口角度θを変化させても良い。これにより、より直感的に透過処理オブジェクトＴＰを制御することができる。

なお、本例においては、透過処理オブジェクトＴＰは、仮想カメラ３００から遠い側に開口を有する二次元的な図形であれば、その形状は図８等に示されるものに限られない。例えば、図１４の状態（ａ）に示すような曲線形状（Ｕ字状）の透過処理オブジェクトＴＰ１や、図１４の状態（ｂ）に示すような分離された形状の透過処理オブジェクトＴＰ２であっても良い。

（変形例１）
図１５は、変形例１に係る表示制御方法で規定される仮想空間の模式図である。図１６の状態（ａ）は、変形例１に係る表示制御方法で規定される仮想空間の模式図であり、図１６の状態（ｂ）は、当該仮想空間に基づいて生成される視野画像である。
図１５に示すように、仮想空間２００内において重なった第一の対象オブジェクトＦＣおよび第二の対象オブジェクトＳＣの両者の一部が透過処理オブジェクトＴＰよりも仮想カメラ３００側に存在するようになった場合には、制御部１２１は、第一の対象オブジェクトＦＣおよび第二の対象オブジェクトＳＣをともに透過処理しても良く、図１６の状態（ａ）に示すように、手前側の第一の対象オブジェクトＦＣのみを透過処理し、奥側の第二の対象オブジェクトＳＣは透過処理しないようにしても良い。後者の場合は、図１６の状態（ｂ）に示すように、視野画像Ｖ内において奥側の第二の対象オブジェクトＳＣが視認可能となる。本開示は、仮想空間２００内において手前側の大きな対象オブジェクト（例えば、第一の対象オブジェクトＦＣ）によって奥側の小さな対象オブジェクト（例えば、第二の対象オブジェクトＳＣ）が隠れている場合に、奥側の対象オブジェクトを視認可能にすることを目的としているため、第一および第二の対象オブジェクトＦＣ，ＳＣの両方に透過処理を施すのではなく、手前側の第一の対象オブジェクトＦＣのみを透過処理すれば十分である。

（変形例２）
図１７の状態（ａ）は、変形例２に係る表示制御方法で規定される仮想空間の模式図であり、図１７の状態（ｂ）は、当該仮想空間に基づいて生成される視野画像である。
上記の実施形態においては、透過処理オブジェクトＴＰよりも仮想カメラ３００側に第一の対象オブジェクトＦＣの少なくとも一部が存在すると判定された場合には、制御部１２１は、当該第一の対象オブジェクトＦＣの全体を透過処理する構成となっているが、この例に限られない。例えば、仮想空間２００内に配置された第一の対象オブジェクトＦＣに対して透過処理オブジェクトＴＰがかかった場合に、制御部１２１は、図１７の状態（ａ）に示すように、第一の対象オブジェクトＦＣの透過処理オブジェクトＴＰよりも手前側に存在する部分のみを透過処理するようにしても良い。これにより、図１７の状態（ｂ）に示すように、視野画像Ｖ内において手前側の第一の対象オブジェクトＦＣの一部が透過されて奥側の第二の対象オブジェクトＳＣの一部が視認可能となり、上記の実施形態と同様に、ユーザＵが容易に空間把握をすることができる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ（プロセッサ）に実行させるための情報処理プログラムが記憶部１２３またはＲＯＭに予め組み込まれていてもよい。または、情報処理プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた情報処理プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る情報処理方法を実行する。

また、情報処理プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１０：ヘッドマウントデバイス（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドホン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
２００：仮想空間
３００：仮想カメラ
４００：移動経路
ＣＶ：視野
ＦＣ：第一の対象オブジェクト（対象オブジェクトの一例）
ＳＣ：第二の対象オブジェクト（対象オブジェクトの一例）
ＴＰ：透過処理オブジェクト（特定処理オブジェクトの一例）
Ｈ：仮想手オブジェクト（操作オブジェクトの一例）

Claims (10)

1. ヘッドマウントデバイスを備えたシステムにおける表示制御方法であって、
   仮想カメラと対象オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
   前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントデバイスに視野画像を表示させるステップと、
   前記ヘッドマウントデバイスの動きに基づいて前記仮想カメラを動かすことで前記視野画像を更新するステップと、
   ユーザの入力操作に基づいて、前記仮想カメラから遠い側に開口を有する図形で構成される特定処理オブジェクトを前記仮想空間内に表示させるステップと、
   前記視野内における前記特定処理オブジェクトよりも前記仮想カメラ側に前記対象オブジェクトの少なくとも一部が存在するか否かを判定するステップと、
   前記特定処理オブジェクトを移動させることにより、前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された前記対象オブジェクトの前記少なくとも一部を透過処理するステップと、
   を含む、表示制御方法。
2. 前記対象オブジェクトの前記少なくとも一部を透過処理するステップでは、前記開口を形成する二次元的な前記図形の三次元直交座標系における位置および傾きを変更することによって、前記仮想空間において透過処理する二次元的な領域の三次元直交座標系における位置および傾きが変更される、請求項１に記載の表示制御方法。
3. 前記対象オブジェクトの前記少なくとも一部を透過処理するステップでは、前記特定処理オブジェクトの前記開口の大きさが変更可能である、請求項１または２に記載の表示制御方法。
4. 前記システムは、前記ヘッドマウントデバイスの位置とユーザの頭部以外の身体の一部の位置を検出するように構成された位置センサをさらに備え、
   前記仮想空間は、前記ユーザの身体の前記一部の動きに応じて動作可能な操作オブジェクトをさらに含み、
   前記対象オブジェクトの前記少なくとも一部を透過処理するステップでは、前記操作オブジェクトの動きに基づいて前記特定処理オブジェクトを移動可能である、請求項１から３のいずれか一項に記載の表示制御方法。
5. 前記システムは、前記ヘッドマウントデバイスの位置とユーザの頭部以外の身体の一部の位置を検出するように構成された位置センサをさらに備え、
   前記仮想空間は、前記ユーザの身体の前記一部の動きに応じて動作可能な操作オブジェクトをさらに含み、
   前記対象オブジェクトの前記少なくとも一部を透過処理するステップにおいて、前記開口の大きさは、前記操作オブジェクトの形状に基づいて変更可能である、請求項３に記載の表示制御方法。
6. 前記対象オブジェクトの前記少なくとも一部を透過処理するステップでは、前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された複数の対象オブジェクトのうち、前記仮想カメラに最も近い対象オブジェクトのみを透過処理する、請求項１から５のいずれか一項に記載の表示制御方法。
7. 前記特定処理オブジェクトは、前記ユーザの入力操作に基づいて、前記開口よりも前記仮想カメラに近い側の部分が移動可能である、請求項１から６のいずれか一項に記載の表示制御方法。
8. 前記対象オブジェクトの前記少なくとも一部を透過処理するステップでは、前記特定処理オブジェクトより前記仮想カメラ側に少なくとも一部が存在すると判定された場合に、前記対象オブジェクトの全体を透過処理する、請求項１から７のいずれか一項に記載の表示制御方法。
9. 請求項１から８のいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
10. プロセッサと、コンピュータ可読命令を記憶するメモリと、を備えた装置であって、
    前記コンピュータ可読命令が前記プロセッサにより実行されると、前記装置は請求項１から８のうちいずれか一項に記載の表示制御方法を実行する、装置。

Images