WO2017199848A1

WO2017199848A1 - 仮想空間を提供する方法、プログラム及び記録媒体

Info

Publication number: WO2017199848A1
Application number: PCT/JP2017/017878
Authority: WO
Inventors: 健登中島; 裕一郎新井; 功淳馬場
Original assignee: 株式会社コロプラ
Priority date: 2016-05-17
Filing date: 2017-05-11
Publication date: 2017-11-23

Abstract

ヘッドマウントディスプレイにて動画コンテンツを再生する際に、広告等の他のコンテンツを表示する。仮想空間を定義するステップと、仮想空間において再生される動画コンテンツと、動画コンテンツの表示域の一部に表示されるサブコンテンツとを合成して合成コンテンツを生成するステップと、合成コンテンツを仮想空間に適合させるステップと、ユーザの視線を特定するステップと、視線に基づいて、視界領域を特定するステップと、合成コンテンツのうち、視界領域に相当する視界画像を生成し、ＨＭＤに出力するステップと、を含む。

Description

仮想空間を提供する方法、プログラム及び記録媒体

　本開示は仮想空間を提供する方法、プログラム及び記録媒体に関する。

　特許文献１には、仮想空間に看板及び掲示板等のオブジェクトを表示する方法が記載されている。特許文献２には、ヘッドマウントディスプレイを用いてコンテンツを視聴するシステムが記載されている。特許文献３には、ヘッドマウントディスプレイを用いてコンテンツを視聴するシステムが記載されている。特許文献４には、仮想空間において再生されるコンテンツを、ヘッドマウントディスプレイを通じてユーザに視認させるための技術が開示されている。

特開２００３－２４８８４４号公報特許第５８８２５１７号公報特開２０１３－２５８６１４号公報特開２００９－１４５８８３号公報

　ヘッドマウントディスプレイにて動画コンテンツを視聴するユーザは、据え置き型のテレビ等で動画コンテンツを視聴するユーザに比べて、より深く動画コンテンツの内容に没入する。そこで、ヘッドマウントディスプレイにて動画コンテンツを再生する際に広告を表示できれば、高い広告効果が期待できる。

　本開示は、このような事情に鑑みてなされたものであり、ヘッドマウントディスプレイにて動画コンテンツを再生する際に、広告等の他のコンテンツを表示する方法を提供する。

　前述の課題を解決するために、本開示に係る仮想空間を提供する方法は、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記仮想空間を定義するステップと、前記仮想空間において再生される動画コンテンツと、前記動画コンテンツの表示域の一部に表示されるサブコンテンツとを合成して合成コンテンツを生成するステップと、前記合成コンテンツを前記仮想空間に適合させるステップと、前記ユーザの視線を特定するステップと、前記視線に基づいて、視界領域を特定するステップと、前記合成コンテンツのうち、前記視界領域に相当する視界画像を生成し、前記ＨＭＤに出力するステップと、を含む。

　本開示によれば、ヘッドマウントディスプレイにて動画コンテンツを再生する際に、広告等の他のコンテンツを表示できるという効果を奏する。

ＨＭＤシステムの構成を示す図である。制御回路部のハード構成を示す図である。ＨＭＤに設定される視野座標系を例示する図である。ユーザに提供される仮想空間の概要を説明する図である。視界領域の断面を示す図である。ユーザの視線方向を決定する方法を例示する図である。制御回路部の機能的構成を示すブロック図である。ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。ＨＭＤシステムが、仮想空間内のプラットフォームを通じてユーザが選択した動画コンテンツを仮想空間において再生する処理の流れを示すシーケンス図である。仮想空間内のプラットフォームを通じた動画コンテンツの選択および再生を説明する図である。視界画像生成部が合成コンテンツを再生することによって表示する視野画像の一例を示す図である。制御回路部が動画コンテンツと広告コンテンツとを合成する処理の流れを示すフロー図である。視界画像生成部が合成コンテンツを再生することによって表示する視野画像の一例を示す図である。格子と広告コンテンツの位置との関係を説明するための模式図である。制御回路部が視線情報を収集する処理の流れを示す図である。ＨＭＤシステムが、仮想カメラの傾きが補正された仮想空間をユーザに提供する処理の流れを示すシーケンス図である。コンテンツに応じてＨＭＤに対する仮想カメラの傾きが異なることを説明する図である。ユーザが座位姿勢で見ることを前提としたコンテンツが再生される際の機能区画の位置を説明する図である。ユーザが仰臥姿勢で見ることを前提としたコンテンツが再生される際の機能区画の位置を説明する図である。仮想空間内のプラットフォームを通じた動画コンテンツの選択および再生を説明する図である。ＨＭＤシステムが回転モードに移行する際の処理の流れを示すシーケンス図である。制御回路部が回転モードにおいて仮想カメラの回転を開始する際の処理の流れを示すシーケンス図である。仮想カメラが回転した後の仮想空間および視界画像を示す図である。制御回路部が回転モードにおいて仮想カメラをさらに回転させるかまたは仮想カメラの回転を停止させる際の処理の流れを示すシーケンス図である。仮想カメラがさらに回転した後の仮想空間および視界画像を示す図である。仮想カメラの回転が停止した後の仮想空間および視界画像を示す図である。

　［本発明の実施形態の詳細］
　本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

　（ＨＭＤシステム１００の構成）
　図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、制御回路部２００、およびコントローラ３００を備えている。

　ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

　ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

　（制御回路部２００のハード構成）
　図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

　プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

　メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read
Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

　ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

　入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０を含む各種のセンサと、コントローラ３００とを互いに接続する。

　通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

　制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種のオブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

　制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

　ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

　ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

　ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

　ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸回りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

　ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

　上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。

　（ｕｗｖ視野座標系）
　図３は、ＨＭＤ１１０に設定されるｕｗｖ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

　図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

　ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

　ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

　ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

　（仮想空間２の概要）
　図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

　仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

　ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

　仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に変動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

　仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

　図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

　ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

　ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

　制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

　仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

　（視線方向の検出）
　注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

　注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

　図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

　制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ１（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。

　ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

　（コントローラ３００）
　コントローラ３００は、ユーザの操作に基づく各種の指令を制御回路部２００に対して送信することができるデバイスである。コントローラ３００は、有線または無線通信が可能な携帯端末であり得る。コントローラ３００は、たとえば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ、ゲーム用コンソール、汎用のＰＣ（Personal Computer）等であればよい。コントローラ３００は、タッチパネルを備え
るデバイスであることが好ましく、互いにバス接続されたプロセッサ、メモリ、ストレージ、通信部、表示部と入力部が一体として構成されたタッチパネル、を備える任意の端末が採用され得る。ユーザは、コントローラ３００のタッチパネルに対し、タップ、スワイプ、およびホールドを含む各種のタッチ動作を入力することによって、仮想空間２に配置される各種のオブジェクトおよびＵＩ（User Interface）に対して影響を及ぼすことができる。

　（制御回路部２００の機能的構成）
　図７は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御すると共に、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図７に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

　検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、および操作受付部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。操作受付部２１３は、コントローラ３００に対するユーザの操作に応じて送信された指令を受信することによって、当該操作を受け付ける。

　表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置すると共に、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

　仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、視線管理部２３２、コンテンツ特定部２３３、コンテンツ管理部２３４、傾き補正値特定部２３５、操作オブジェクト制御部２３６、および回転制御部２３７を備えている。仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。視線管理部２３２は、仮想空間２におけるユーザの視線を管理する。コンテンツ特定部２３３は、仮想空間２における再生対象のコンテンツを特定する。コンテンツ管理部２３４は、動画コンテンツに広告コンテンツを合成する。コンテンツ管理部２３４は仮想空間２における再生対象のコンテンツを特定する。コンテンツ管理部２３４は、仮想空間２において再生しているコンテンツの時間的位置を認識して、広告が表示されている時間か否かの判断を行なう。傾き補正値特定部２３５は、仮想空間２において再生されるコンテンツに予め規定されている傾き補正値を特定する。操作オブジェクト制御部２３６は、仮想空間２における操作オブジェクト２８を制御する。回転制御部２３７は、操作オブジェクト２８への操作に基づく仮想カメラ１または仮想空間２の回転を制御する。

　記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１およびコンテンツ格納部２４２を備えている。雛形格納部２４１は、各種の雛形データを格納している。コンテンツ格納部２４２は、各種のコンテンツを格納している。

　雛形データは、仮想空間２の雛形を表すデータである。雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内にオブジェクトを配置可能であるか否かを示すフラグをさらに有す
る。

　コンテンツは、仮想空間２において再生可能なコンテンツである。コンテンツの例として、たとえば、プラットフォームコンテンツおよび視聴用コンテンツが挙げられる。

　プラットフォームコンテンツは、ユーザが視聴したい視聴用コンテンツを仮想空間２においてユーザに選択させるための環境（プラットフォーム）に関するコンテンツである。このプラットフォームコンテンツが仮想空間２において再生されることによって、コンテンツ選択用のプラットフォームがユーザに提供される。プラットフォームコンテンツは、背景画像、および、オブジェクトを規定するデータを少なくとも有する。

　視聴用コンテンツは、たとえば静止画コンテンツまたは動画コンテンツである。静止画コンテンツは、背景画像を有する。動画コンテンツは、各フレームの画像（静止画）を少なくとも有する。動画コンテンツは、さらに音声データを有してもよい。

　動画コンテンツは、たとえば、全天球カメラによって生成されるコンテンツである。全天球カメラは、当該カメラのレンズを中心とした現実空間の全方向を一度に撮影することによって、全方向の画像を一度に生成することができるカメラである。全天球カメラによって得られる動画コンテンツを構成する各画像は歪んでいるが、動画コンテンツが仮想空間２において再生されるとき、各画像の歪みは、ＨＭＤ１１０のディスプレイ１１２を構成するレンズによってキャンセルされることによって解消される。したがって動画コンテンツの再生時、ユーザは仮想空間２内において歪みのない自然な画像を視認することができる。

　各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。全天球カメラによって生成される動画コンテンツに規定される初期方向は、通常、動画コンテンツの撮影に用いた全天球カメラに規定される所定の撮影方向に一致する。なお、この初期方向を、撮影方向とは異なる方向に変更してもよい。具体的には、全天球カメラによる撮影後、得られた動画コンテンツを適宜編集することによって、撮影方向からずれた方向を初期方向として動画コンテンツに規定してもよい。

　各コンテンツには、所定の傾き補正値が必要に応じて予め規定されている。傾き補正値は、コンテンツをユーザが視聴する際に前提とする姿勢に応じて、当該コンテンツに対して規定される。たとえば、ユーザが座位姿勢で視聴することを前提としたコンテンツには、座位姿勢に応じた傾き補正値が規定される。一方、ユーザが仰臥姿勢で視聴することを前提としたコンテンツには、仰臥姿勢に応じた傾き補正値が規定される。傾き補正値は、グローバル座標系におけるＨＭＤ１１０に対する仮想カメラ１の傾きを補正するために用いられる。あるいは、グローバル座標系に対する仮想空間２のＸＹＺ座標系の傾きを補正するために用いられる。

　たとえば、コンテンツが、ユーザが座位姿勢または立位姿勢で視聴することを前提としたものであれば、当該コンテンツに規定される傾き補正値は０°である。多くのコンテンツは、ユーザが座位姿勢で視聴することを前提としたものである。ユーザは、この種のコンテンツが再生される仮想空間２における現実感を高めるために、実際に座ったまたは立った状態でこの種のコンテンツを視聴する。

　一方、コンテンツが、ユーザが鉛直斜め上を向いて寝た状態（仰臥姿勢）で視聴することが適したものであれば、コンテンツに規定される傾き補正値はたとえば６０°である。この種のコンテンツとして、たとえば、ユーザ自身が他の人物に膝枕してもらったときにユーザが視認する映像をユーザに提示する動画コンテンツがある。このような動画コンテンツに予め規定される初期方向は、全天球画像のうちユーザが寝ころんだ状態で視認する箇所を向いている。ユーザは、この種の動画コンテンツが再生される仮想空間２における現実感を高めるために、実際に床に寝ころんだ状態でこの種の動画コンテンツを視聴する。

　上述した傾き補正値は、単なる例示に過ぎない。コンテンツを視聴する際に前提とするユーザの姿勢に応じた任意の値が、傾き補正値としてコンテンツに設定され得る。たとえばコンテンツが、ユーザが鉛直真上を向いた状態で視聴することを前提としたものであれば、傾き補正値として９０°がコンテンツに規定される。一方、コンテンツが、ユーザが鉛直真下を向いて視聴することを前提としたものであれば、傾き補正値として－９０°がコンテンツに規定される。

　多くのコンテンツは、ユーザが座位姿勢または立位姿勢で視聴することを前提とするので、このようなコンテンツには傾き補正値を予め規定しなくてもよい。コンテンツに傾き補正値が規定されていない場合、傾き補正値特定部２３５は、このコンテンツに値が０°の傾き補正値が規定されているものと見なす。

　通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばサーバ）との間でデータを送受信する。

　（仮想空間２の提供処理）
　図８は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図８に示す処理が開始されると、まず、Ｓ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１が、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

　仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応するオブジェクトが仮想空間２において配置される位置を表す座標を、設定する。これにより各オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

　その後、ユーザによってＨＭＤ１１０が起動されると、Ｓ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、Ｓ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、Ｓ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

　初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ２のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

　仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。Ｓ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。Ｓ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。Ｓ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

　その後、Ｓ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、Ｓ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、Ｓ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

　本実施形態では、Ｓ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。Ｓ１２において
、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視
線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば
、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

　Ｓ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、Ｓ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。Ｓ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。Ｓ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

　（プラットフォームの提供およびコンテンツの再生処理）
　本実施形態では、ＨＭＤシステム１００は、仮想空間２においてユーザが視聴したいコンテンツを仮想空間２においてユーザに選択するための環境（プラットフォーム）を、ユーザに提供する。ユーザが、仮想空間２に展開されるプラットフォームを通じて、視聴したいコンテンツを選択すれば、制御回路部２００は、選択されたコンテンツの仮想空間２における再生を開始する。以下に、プラットフォームの提供およびコンテンツの再生処理の詳細について、説明する。

　図９は、ＨＭＤシステム１００が、仮想空間２内のプラットフォームを通じてユーザが選択した動画コンテンツを仮想空間２において再生する処理の流れを示すシーケンス図である。図１０は、仮想空間２内のプラットフォームを通じた動画コンテンツの選択および再生を説明する図である。図９に示す処理が開始されると、まず、Ｓ２１において、仮想空間規定部２３１が、プラットフォーム提供用の仮想空間２を表す仮想空間データを生成することによって、プラットフォーム提供用の仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、プラットフォームに対応した仮想空間２の雛形データを、雛形格納部２４１から取得する。ここでは、オブジェクトが使用可能な雛形データが取得される。

　仮想空間規定部２３１は、さらに、仮想空間２において提供されるプラットフォームに関するプラットフォームコンテンツを、コンテンツ格納部２４２から取得する。仮想空間規定部２３１は、取得した雛形データに、取得したプラットフォームコンテンツを適合することによって、プラットフォームを提供するための仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、プラットフォームコンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。

　仮想空間規定部２３１は、さらに、プラットフォームコンテンツに含まれる各オブジェクトの管理データを、仮想空間データに追加する。これにより各オブジェクトが、プラットフォームを提供する仮想空間２における所定の位置にそれぞれ配置される。仮想空間規定部２３１は、次に、コンテンツ格納部２４２に格納される一定数の視聴用コンテンツ（ここでは動画コンテンツ）の概要画像（サムネイル）を、それぞれ取得する。仮想空間規定部２３１は、取得した各サムネイルを、仮想空間データ内のいずれかのオブジェクトの管理データに関連付ける。これにより、仮想空間２に配置される各オブジェクトに、サムネイルが関連付けられる。以下では、説明の便宜のために、仮想空間２に配置される、サムネイルが関連付けられたオブジェクトのことを、単にサムネイルと表記する場合がある
。

　対応するサムネイルがオブジェクトに関連付けられた各視聴用コンテンツは、ユーザが仮想空間２において再生させるために選択可能な動画コンテンツの候補（候補動画コンテンツ）である。ユーザは、サムネイルの選択を通じて、対応する候補動画コンテンツを選択することができる。制御回路部２００は、プラットフォームにおいてユーザによって選択された候補動画コンテンツを、仮想空間２において再生させる動画コンテンツとして特定する。

　図１０の（ａ）に、プラットフォーム提供用の仮想空間２の一例を示す。この図には、４つのサムネイルＳＮ１～ＳＮ４が配置される、プラットフォーム提供用の仮想空間２を示す。これらのサムネイルＳＮ１～ＳＮ４は、いずれも、対応する動画コンテンツの概要画像（サムネイル）が関連付けられたオブジェクトである。

　図１０の（ａ）に示す仮想空間２を表す仮想空間データの生成後、Ｓ２２において、視界画像生成部２２３は、ユーザの基準視線５に基づき視界画像２６を生成する。この生成方法は図８を参照して説明した方法と同一である。ここでは、プラットフォームに対応した視界画像２６が生成される。図１０の（ａ）では、サムネイルＳＮ１～Ｎ４のうち、ユーザの基準視線５によって規定される視界領域２３の内部に、サムネイルＳＮ１およびＳＮ２が配置されている。一方、サムネイルＳＮ３およびＳＮ４は、視界領域２３の外部に配置されている。そのため視界画像生成部２２３は、サムネイルＳＮ１およびＳＮ２を含む視界画像２６を生成する。

　Ｓ２３において、視界画像生成部２２３は、生成した視界画像２６をＨＭＤ１１０に出力する。Ｓ２４においてＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示する。ユーザは、プラットフォームの視界画像２６を視認する。サムネイルが関連付けられたオブジェクトが視界画像２６に含まれる場合、視界画像２６の表示時、当該オブジェクトに関連付けられたサムネイルがディスプレイ１１２に表示される。これによりユーザは、サムネイルを含む視界画像２６を視認する。図１０の（ｂ）に、プラットフォームの視界画像２６の一例を示す。この図に示す視界画像２６は、サムネイルＳＮ１およびＮ２を含むので、ユーザは、仮想空間２において、サムネイルＳＮ１およびＳＮ２を視認する。

　図９には示さないが、この後、ユーザがＨＭＤ１１０を動かせば、その動きに連動して視界画像２６が更新される。たとえば、ユーザがＨＭＤ１１０を動かすことによって、視界領域２３の位置が、サムネイルＳＮ１およびＳＮ３を含む位置に変化すれば、サムネイルＳＮ１およびＳＮ３を含む視界画像２６がディスプレイ１１２に表示される。したがってユーザは、ＨＭＤ１１０を適宜動かすことによって、視聴したい動画コンテンツのサムネイルを、自身の視界のうちに収めることができる。

　プラットフォームの視界画像２６が表示された後、Ｓ２５において、注視センサ１３０は、ユーザの右目の視線および左目の視線をそれぞれ検出し、Ｓ２６において、各検出値を制御回路部２００に送信する。視線検出部２１２が、この検出値を受信する。Ｓ２７において、視線検出部２１２は、受信した検出値を用いて、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向Ｎ０を特定する。

　Ｓ２８において、視線管理部２３２は、視線方向Ｎ０と、視界領域２３に含まれる各サムネイルとに基づき、視界画像２６に含まれる特定のサムネイルに規定時間以上ユーザの視線が当たったか否かを判定する。より詳細には、視線管理部２３２は、視界領域２３における視線方向Ｎ０が交わる点が、視界領域２３に含まれる特定のサムネイルの表示範囲（配置範囲）に含まれているか否かを判定する。この判定結果がＹＥＳであれば、視界画像２６に含まれる特定のサムネイルに視線が当たったと判定し、ＮＯであれば、視線は特定のサムネイルに当たっていないと判定する。

　Ｓ２８がＮｏの場合、図９の処理はＳ２５の直前に戻る。この後、Ｓ２８がＹＥＳになるまで、Ｓ２５～Ｓ２８の処理が繰り返される。一方、Ｓ２８がＹＥＳの場合、Ｓ２９において、コンテンツ特定部２３３は、規定時間以上視線が当たったと判定されたサムネイルに対応するコンテンツを特定する。たとえば、ユーザがサムネイルＳＮ１に規定時間以上視線を当てれば、サムネイルＳＮ１に対応するコンテンツとして、サムネイルＳＮ１の管理データに関連付けられる動画コンテンツを特定する。

　この後、Ｓ３０において、仮想空間規定部２３１は、特定された動画コンテンツを再生するための仮想空間データを生成することによって、動画コンテンツ再生用の仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、動画コンテンツに対応した仮想空間２の雛形データを、雛形格納部２４１から取得する。

　仮想空間規定部２３１は、コンテンツ特定部２３３によって特定された動画コンテンツを、コンテンツ格納部２４２から取得する。仮想空間規定部２３１は、取得した雛形データに、取得した動画コンテンツを適合することによって、動画コンテンツ再生用の仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、動画コンテンツに含まれる最初のフレームの画像を構成する各部分画像を適宜関連付ける。

　ここで生成される仮想空間データによって規定される仮想空間２においては、オブジェクトを配置することが想定されていない。さらに、動画コンテンツには、オブジェクトを規定する管理データが含まれない。そのためＳ３０において、仮想空間規定部２３１は、オブジェクトの管理データを含まない仮想空間データを生成する。

　動画コンテンツ再生用の仮想空間２を表す仮想空間データの生成後、Ｓ３１において、視界画像生成部２２３は、ユーザの基準視線５に基づき視界画像２６を生成する。この生成方法は図８を参照して説明した方法と同一である。ここでは、動画コンテンツの視界画像２６が生成される。Ｓ３２において、視界画像生成部２２３は、生成した視界画像２６をＨＭＤ１１０に出力する。Ｓ３３においてＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより仮想空間２における動画コンテンツの再生が開始され、ユーザは動画コンテンツの視界画像２６を視認する。

　図９には示さないが、この後、ユーザがＨＭＤ１１０を動かせば、その動きに連動して視界画像２６が更新される。したがってユーザは、ＨＭＤ１１０を適宜動かすことによって、動画コンテンツを構成する各フレームの全天球画像における所望の位置の部分画像（視界画像２６）を、視認することができる。

　図１０の（ｃ）に、動画コンテンツの視界画像２６の一例を示す。この図に示す視界画像２６は、ユーザによって選択されたサムネイルＳＮ１に対応する動画コンテンツの視界画像２６である。このように、ユーザが、図１０の（ｂ）に示すプラットフォームの視界画像２６を視認中にサムネイルＳＮ１を視線によって選択すると、ディスプレイ１１２に表示されるプラットフォームの視界画像２６が、図１０の（ｃ）に示す動画コンテンツの視界画像２６に更新される。すなわちユーザは、仮想空間２において視線移動によってサムネイルＳＮ１を選択することによって、これに対応した動画コンテンツを仮想空間２において視聴することができる。

　以上のように、ユーザは、仮想空間２において視聴したい動画コンテンツを、仮想空間２における動画コンテンツ選択用のプラットフォームを通じて選択することができる。したがってユーザは、ＨＭＤ１１０を装着する前に、制御回路部２００に接続される他の一般的なディスプレイを現実空間において視認しながら、仮想空間２において視聴したい動画コンテンツを選択する必要がない。これにより、仮想空間２に対するユーザの没入感をより一層高めることができる。

　また、制御回路部２００は、動画コンテンツの再生中にユーザが所定の操作をＨＭＤシステム１００に対して（たとえばコントローラ３００を通じて）行えば、動画コンテンツが再生される仮想空間２をユーザに提供することを終了し、それから再び、動画コンテンツ選択用のプラットフォームが展開される仮想空間２をユーザに提供する。これによりユーザは、他のサムネイルを選択することによって、他の動画コンテンツを仮想空間２において視聴することができる。ユーザは、視聴したい動画コンテンツを切り替える際にＨＭＤ１１０を外す必要がないので、仮想空間２に対するユーザの没入感をより一層高めることができる。

　（コンテンツの合成）
　動画コンテンツの表示域の一部に広告コンテンツを表示する方法の一形態について図１１及び１２を参照して説明する。本実施形態では、動画コンテンツ中の規定の表示域に広告コンテンツＳＣ１の内容が表示されるように動画コンテンツ及び広告コンテンツＳＣ１を合成した合成コンテンツを再生する。本明細書において表示域とは、動画コンテンツの時間的位置および空間的位置を少なくとも含む情報によって規定される。動画コンテンツを再生すると規定時間ごとに既定のフレームが連続して表示される。時間的位置とは表示するフレームがどのフレームであるかを示す情報ともいえる。また、空間的位置は一つのフレーム中の場所を示す。また、本実施形態において、視線管理部２３２等の制御回路部２００の処理で用いるユーザの視る方向を示す情報は、視線方向Ｎ０の方向を示す情報であってもよく、視界方向を示す情報であってもよい。

　図１１は、視界画像生成部２２３が合成コンテンツを再生することによって表示する視野画像の内、広告コンテンツＳＣ１又はＳＣ２の内容を表示するシーンの視野画像を示している。つまり、視界画像生成部２２３は、シーンＣ１’において、動画コンテンツの表示域Ｆ１に広告コンテンツＳＣ１を合成した視野画像を表示し、また、シーンＣ１”において動画コンテンツの表示域Ｆ２に広告コンテンツＳＣ２を合成した視野画像を表示する。換言すれば、視界画像生成部２２３は、シーンＣ１’において表示域Ｆ１に広告コンテンツＳＣ１を表示するように動画コンテンツと広告コンテンツＳＣ１とを合成する処理、および、シーンＣ１”において表示域Ｆ２に広告コンテンツＳＣ２を表示するように動画コンテンツと広告コンテンツＳＣ２とを合成する処理を行なう。なお、広告コンテンツＳＣ１およびＳＣ２は動画であっても静止画であってもよい。

　制御回路部２００が前述の通り動画コンテンツと広告コンテンツとの合成を行なうことを利用して、ユーザの没入感を損なわないように広告を表示させることができる。なぜなら、動画コンテンツの作成者は、表示域Ｆ１、表示域Ｆ２に、広告を表示しても不自然ではない物を配置するように動画コンテンツを作成することができるからである。例えば、屋内のシーンＣ１’では、実際に当該屋内に設置されているテレビの画面を、広告を表示する対象物とすればよい。そして、表示域Ｆ１に当該画面を配置するようにコンテンツを作成すればよい。これにより、あたかもシーンＣ１’のテレビにて実際に放映されているかのように広告コンテンツＳＣ１を表示することができる。同様に、屋内のシーンＣ１”では、実際に搭乗する人物が手に持つスマートフォン端末の画面が表示域Ｆ２に位置するようにコンテンツを作成すればよい。これにより、あたかもシーンＣ１”のスマートフォンにて実際に表示されているように広告コンテンツＳＣ２を表示することができる。このように、動画コンテンツ中の広告を表示しても不自然では無い箇所に広告を表示することで、ユーザの没入感を損ねずに広告を表示することができる。また、表示域Ｆ１、表示域Ｆ２の空間的位置および時間的位置を動画コンテンツ作成時に予め特定せずに、広告コンテンツを合成するときに広告を表示しても不自然ではない場所を特定して合成してもよい。また、広告を表示する表示域の空間的位置を予め定めておけば、動画コンテンツの作成者は、広告を表示しても不自然ではないものを当該空間的位置に配置しておけばよいので、ユーザの没入感を損ねずに広告を表示させることができる。なお、広告が表示されていても不自然ではない対象物の他の例としては、デジタルサイネージ、ポスター、電光掲示板等が挙げられる。屋外又は大規模施設の屋内であればデジタルサイネージとする等、シーンに応じて適宜、表示域を設定すればよい。

　図１２は制御回路部２００が動画コンテンツと広告コンテンツＳＣ１とを合成する処理の流れを示すフロー図である。まず、Ｓ２０１において、通信部２５０が動画コンテンツを受信する。通信部２５０が動画コンテンツを取得するタイミングは特に限定されないが、例えば、ユーザがコントローラ３００を用いて行なった動画コンテンツの取得を指示する操作を、操作受付部２１３が受け付けることによって、動画コンテンツを取得してもよい。また、既定の時間に、記憶部２４０に格納されていない動画コンテンツが外部機器４００に格納されているか否かを、通信部２５０が外部機器４００を参照することによって判断し、未格納の動画コンテンツを自動的に取得してもよい。

　通信部２５０は、動画コンテンツを取得すると記憶部２４０に格納する。コンテンツ管理部２３４は、記憶部２４０に新たな動画コンテンツが格納されたことを認識する。次に、Ｓ２０２において、コンテンツ管理部２３４は広告枠情報を動画コンテンツから取得する（広告枠情報取得ステップ）。広告枠情報とは、広告コンテンツの表示域を含むシーンの時間的位置、及び、当該表示域の空間的位置を示す情報を含む。動画コンテンツの作成者は、動画コンテンツを作成する際に、広告枠情報を当該動画コンテンツに関連付ける。

　Ｓ２０３において、コンテンツ管理部２３４は広告枠情報に基づいて動画コンテンツと広告コンテンツＳＣ１とを合成する（合成コンテンツ生成ステップ）。例えば、動画コンテンツにおける表示域を含むシーンを構成するフレームの画像に広告コンテンツＳＣ１の画像を貼り付ける処理を行なう。空間的位置、時間的位置、および広告枠の大きさに基づいて広告コンテンツの大きさおよび形状を適宜調整してもよい。例えば、広告を表示する対象物が遠方に見えるものであれば、広告コンテンツＳＣ１の大きさを小さくしたり、当該対象物が斜めから見えるものであれば広告コンテンツＳＣ１の形状を台形状に処理したりしてもよい。合成が終わるとコンテンツ管理部２３４はコンテンツ格納部２４２に合成後の動画コンテンツを格納する。コンテンツ格納部２４２に格納されている動画コンテンツをユーザが選択して再生する手順（再生ステップ）については上述の通りである。

　以上のように、本実施形態では予め動画コンテンツと広告コンテンツＳＣ１とを合成してコンテンツ格納部２４２に格納しておく形態について説明したが、本発明はこのような形態に限定されない。例えば、視界画像生成部２２３が、動画コンテンツをＨＭＤ１１０に表示させるときに、既定の表示域に広告コンテンツＳＣ１を重畳して表示するように視界画像を生成することによって合成コンテンツを合成してもよい。

　また、本実施形態では、ＨＭＤシステム１００が合成コンテンツを合成する形態について説明したが、サーバ等の外部機器４００で合成したものをＨＭＤシステム１００が取得してもよい。

　（広告コンテンツの表示）
　ヘッドマウントディスプレイにて動画コンテンツを視聴するユーザは、据え置き型のテレビ等で動画コンテンツを視聴するユーザに比べて、より深く動画コンテンツの内容に没入する。そこで、ヘッドマウントディスプレイにて動画コンテンツを再生する際に広告を表示できれば、高い広告効果が期待できる。しかし、ユーザの視界に入り易い位置に広告が表示されると仮想空間への没入感が損なわれる虞がある。

　本開示は、ヘッドマウントディスプレイにて動画コンテンツを再生する際に広告等の他のコンテンツを表示しても、ユーザの没入感に与える影響が少ない、広告等のコンテンツを表示する方法を提供する。

　動画コンテンツの表示域の一部に広告コンテンツを表示する方法の一形態について図１３及び１２を参照して説明する。本実施形態では、制御回路部２００が動画コンテンツの表示域の内、初期方向に対して後方の表示域に広告コンテンツを表示する。本明細書において表示域とは、動画コンテンツの時間的位置および空間的位置を少なくとも含む情報によって規定される。動画コンテンツを再生すると規定時間ごとに既定のフレームが連続して表示される。時間的位置とは表示するフレームがどのフレームであるかを示す情報ともいえる。また、空間的位置は一つのフレーム中の場所を示す。また、本実施形態において、視線管理部２３２等の制御回路部２００の処理で用いるユーザの視る方向を示す情報は、視線方向Ｎ０の方向を示す情報であってもよく、視界方向を示す情報であってもよい。

　図１３は、広告コンテンツＳＣ１（第１サブコンテンツ）を表示する視野画像と、広告コンテンツＳＣ１に視線を誘導するための広告コンテンツＳＣ２（第２サブコンテンツ）を表示する視野画像と、仮想空間２内の位置との関係を説明するための図である。視野画像ｖ１は、動画コンテンツの再生中に生成される仮想空間画像２２の一部である。また、視野画像ｖ１は、仮想空間２においてユーザが前方を向いているときの基準視線に基づいて表示される視野画像の一部である。ここで「前方」とは、初期方向を基準として水平方向におけるプラス方向（－９０°以上、＋９０°以下）であればよく、例えば初期方向の近辺であることが好ましい。また、「後方」とは初期方向を基準として水平方向におけるマイナス方向（９０°より大きく１８０°以下、－９０°より小さく－１８０°以上の範囲）である。

　視界画像生成部２２３は、視野画像ｖ１内の鏡ｍ１に、広告コンテンツＳＣ１中の本棚の一部を表示する（第２のサブコンテンツ表示ステップ）。この本棚の一部の画像は、前方側を向いて動画コンテンツを視聴するユーザから見て後方側に位置する広告コンテンツＳＣ１に視線を誘導するための広告コンテンツＳＣ２である。広告コンテンツＳＣ２は、初期方向に対する後方側にも注目すべきコンテンツが存在していることをユーザに知らせるためコンテンツである。動画コンテンツが再生されている間、ユーザは初期方向に近い前方側を主として視聴する傾向が有る。そのため、制御回路部２００が初期方向に対して後方側に広告コンテンツを表示すれば、ユーザの没入感を損なわない。しかし、後方側はユーザに見られ難いので、広告効果が低いという課題がある。そこで、本実施形態では、後方側の広告コンテンツＳＣ１のみならず、ユーザの視線を誘導する広告コンテンツＳＣ２を表示する。これにより、ユーザの視線を後方側に誘導することができ、ユーザに広告コンテンツＳＣ１を閲覧させることができる。よって、本実施形態は、ユーザの没入感を損ねずに、後方側に表示される広告効果を高めることができる。

　広告コンテンツＳＣ１が常時再生される形態では無い場合には、視界画像生成部２２３は、仮に視野が後方であれば広告コンテンツＳＣ１が表示されている時間的位置で、広告コンテンツＳＣ２を表示することが好ましい。すなわち、広告コンテンツＳＣ２は、広告コンテンツＳＣ１の空間的位置および時間的位置に基づいて、鏡ｍ１に表示させることが好ましい。広告コンテンツＳＣ１が表示されるタイミングと広告コンテンツＳＣ２とが表示されるタイミングを連動させることにより、効果的に広告コンテンツＳＣ１にユーザの視線を誘導することができる。

　また、広告コンテンツＳＣ２の表示方法は、本実施形態のように鏡に広告コンテンツＳＣ１の一部を表示する形態には限定されない。仮想空間画像２２の前方側に、後方側のコンテンツの一部を不自然でないように反映させることができるものであればよい。例えば、仮想空間画像２２の前方側に何らかの反射面を有する画像が表示されるのであれば、その部分に広告コンテンツＳＣ１の少なくとも一部示す画像を表示させることが好ましい。従って、動画コンテンツに登場する人物が窓を開ける際に、窓に広告コンテンツＳＣ１の一部を描画して、あたかも窓に後方の広告コンテンツＳＣ１の一部が映っているように描画してもよい。視界画像生成部２２３は、広告コンテンツＳＣ２を常時表示してもよく、既定の時間的位置のみ表示してもよい。例えば、視界画像生成部２２３は、動画コンテンツ内の主人公が鏡を覗き込んでいるとき、または、窓にかかるカーテンを開けたときなどに広告コンテンツＳＣ２を表示してもよい。また、本実施形態では視線誘導のためのコンテンツとして静止画を用いる場合について説明するが、動画であってもよく、音声であってもよい。

　視界画像生成部２２３は、ユーザが後方を向いたことを認識すると、視野画像ｖ２を表示する。すなわち、視界画像生成部２２３は、ＨＭＤ１１０の向きに基づいて視界画像を更新することで、視野画像ｖ２を生成する。視野画像ｖ２は動画コンテンツの再生中に生成される仮想空間画像２２の一部である。また、視野画像ｖ２は仮想空間２においてユーザが後方を向いているときの基準視線に基づいて表示される視野画像の一部である。視野画像ｖ２には広告コンテンツＳＣ１が含まれる。広告コンテンツＳＣ１は、広告画像ｐ１、ｐ２および広告用背景画像ｂ１を含んでいる。広告用背景画像ｂ１が、後述のつなぎ目領域Ｓを隠している。広告画像ｐ１およびｐ２は広告用背景画像ｂ１上に表示される。このように、初期方向を基準として後方側に広告コンテンツＳＣ１を含む仮想空間画像２２を生成することでユーザの没入感を損なうことなく広告を視聴させる機会を提供できる。なお、広告コンテンツＳＣ１は動画であっても静止画であってもよい。

　つなぎ目領域Ｓとは、複数の画像のつなぎ目のうち、画像間の不整合が生じるつなぎ目が集合する場所である。本実施形態では、つなぎ目領域Ｓを初期方向のマイナス方向（後方）側に位置させる。本実施形態では、動画コンテンツは全天球カメラによって撮影されたものである。全天球カメラで撮影したコンテンツのように天球状、または、半球等の球の一部に適合するように画像を表示する場合、分離した画像をつないで画像を生成することがある。分離した画像としては、複数の画像に分離したもの、および、一つの画像の一部が分離したものであり得る。この場合、画像のつなぎ目のうち、画像間の不整合が生じるつなぎ目においては、画像が歪んだり、画像が途切れて何も表示されない空間が生じたりすることがある。そのような場所に広告コンテンツを合成することで、広告を表示させるのみならず、ユーザの没入感を損なう画像を隠すことができる。つまり、本実施形態ではつなぎ目領域Ｓの上に広告コンテンツＳＣ１が重ねられることでつなぎ目領域Ｓが隠されている。従って、ユーザは歪んだ画像または何も表示されていない空間を視認すること
がないので、ユーザの没入感を損ねない。

　図１２は制御回路部２００が動画コンテンツと、広告コンテンツＳＣ１と、広告コンテンツＳＣ２とを合成する処理の流れを示すフロー図である。まず、Ｓ２０１において、通信部２５０が動画コンテンツを受信する。通信部２５０が動画コンテンツを取得するタイミングは特に限定されないが、例えば、ユーザがコントローラ３００を用いて行なった動画コンテンツの取得を指示する操作を、操作受付部２１３が受け付けることによって、動画コンテンツを取得してもよい。また、既定の時間に、記憶部２４０に格納されていないコンテンツが外部機器４００に格納されているか否かを、通信部２５０が外部機器４００を参照することによって判断し、未格納の動画コンテンツを自動的に取得してもよい。

　通信部２５０は、動画コンテンツを取得すると記憶部２４０に格納する。コンテンツ管理部２３４は、記憶部２４０に新たな動画コンテンツが格納されたことを認識する。次に、Ｓ２０２において、コンテンツ管理部２３４は視線誘導枠情報（枠情報）を動画コンテンツから取得する（第２のサブコンテンツ枠情報取得ステップ）。視線誘導枠情報とは、広告コンテンツＳＣ２の表示域を含むシーンの時間的位置、および、当該表示域の空間的位置を示す情報を含むである。動画コンテンツの作成者は、コンテンツを作成する際に、視線誘導枠情報をコンテンツに関連付ける。動画コンテンツの作成者は、動画コンテンツにおいて表示される映像の中で、例えば上述の鏡のように、広告コンテンツＳＣ２を表示しても不自然ではない箇所を特定しておくことができる。よって、ユーザの没入感を損ねずに視線誘導するための画像を表示することができる。

　Ｓ２０３において、コンテンツ管理部２３４は動画コンテンツと、広告コンテンツＳＣ１および広告コンテンツＳＣ２とを合成する。上述の通り、広告コンテンツＳＣ１を合成する空間的位置は、動画コンテンツを合成する画像のつなぎ目領域Ｓに位置する。このような位置は、初期方向とは真反対に位置することが多い。ユーザの没入感を損なわないように、初期方向から最も遠い位置にするからである。従って、コンテンツ管理部２３４は、画像のつなぎ目領域Ｓがどこかを動画コンテンツ毎に認識することなく、初期方向を認識することで、当該方向の真反対の位置に広告コンテンツＳＣ１が重なるように合成すればよい。なお、このような形態に限定されず、コンテンツ管理部２３４は、動画コンテンツを解析して、つなぎ目領域Ｓがどこかを認識したうえで広告コンテンツＳＣ１を合成してもよい。

　また、コンテンツ管理部２３４は、広告用背景画像ｂ１と動画コンテンツの仮想空間画像２２とが連続性を有するように合成する。コンテンツ管理部２３４は、広告用画像ｂ１中の壁、床を仮想空間画像２２のつなぎ目領域Ｓ付近の壁、床と連続するように合成する。広告画像ｐ１、ｐ２は広告の内容を示す画像である。広告用背景画像ｂ１は、広告の内容を表示しても自然な表示となるように、本棚、ポスター立てを含んでいる。コンテンツ管理部２３４は、広告画像ｐ１、ｐ２を本棚中の棚、ポスター立て上に合成する。これにより、広告画像ｐ１、ｐ２は、あたかも本棚中に元から存在する物、または、ポスター自体のように表示されるため、ユーザの没入感を損なわない。

　また、コンテンツ管理部２３４は視線誘導枠情報に基づいて、規定の空間的位置および時間的位置に広告コンテンツＳＣ２を合成する。

　動画コンテンツに広告コンテンツＳＣ１、ＳＣ２を合成する方法は特に限定されないが、例えば、動画コンテンツのフレームの画像に広告コンテンツ等の画像を貼り付ける処理
を行なう。また、当該画像の大きさおよび形状を適宜調整してもよい。例えば、当該画像を貼り付ける対象である本棚、鏡等の対象物が遠方に見えるものであれば、各画像の大きさを小さくしたり、当該対象物が斜めから見えるものであれば、各画像の形状を台形状に
処理したりしてもよい。

　コンテンツ管理部２３４は、コンテンツの合成が終わると、コンテンツ格納部２４２に合成後の動画コンテンツを格納する。コンテンツ格納部２４２に格納されている動画コンテンツをユーザが選択して再生する手順については上述の通りである。

　以上のように、本実施形態では予め動画コンテンツと広告コンテンツＳＣ１および広告コンテンツＳＣ２とを合成してコンテンツ格納部２４２に格納しておく形態について説明したが、本発明はこのような形態に限定されない。例えば、視界画像生成部２２３が、動画コンテンツをＨＭＤ１１０に表示させるときに、既定の表示域に広告コンテンツＳＣ１および広告コンテンツＳＣ２を重畳して表示するように視界画像を生成することによって合成コンテンツを合成してもよい。

　また、本実施形態では、ＨＭＤシステム１００が合成コンテンツを合成する形態について説明したが、サーバ等の外部機器４００が合成したものをＨＭＤシステム１００が取得してもよい。また、外部機器４００が広告用背景画像に相当する画像でつなぎ目領域Ｓを隠す処理をしておき、ＨＭＤシステム１００が広告画像を広告用背景画像上に合成する処理を行なってもよい。

　（視線情報収集）
　次に、動画コンテンツに合成する広告コンテンツＳＣ１の位置と、視線情報収集区画ＦＥとの関係について説明する。図１４は格子と広告コンテンツの位置との関係を説明する模式図である。制御回路部２００が動画コンテンツを再生するときに生成する仮想空間データには格子Ｇが関連付けられている。より詳細には仮想空間データの一部である雛形データに格子Ｇが関連付けられている。

　視線情報収集区画ＦＥは、格子Ｇによって形成される区画のうちの一つであり、仮想空間２を構成する天球面の内の規定の箇所に設定されている。視線情報収集区画ＦＥには、ユーザの視線（視界方向または視線方向Ｎ０）が視線情報収集区画ＦＥと交わっているか否かを判定する機能が割り当てられている。より具体的には視線情報収集区画ＦＥは仮想空間データを生成するための雛形データに関連付けられている。当該雛形データを用いて仮想空間データを生成することで、仮想空間２中に視線情報収集区画ＦＥが設定される。仮にゲーム等のようにオブジェクトを配置することで仮想空間を提供する場合、オブジェクトに視線情報を収集する機能を持たせればよいため、当該オブジェクトに注目されたか否かを示す情報を収集することは容易である。しかし、オブジェクトを用いない動画コンテンツの場合には、視線の情報を収集することは困難である。しかし、本実施形態のように規定の区画に視線情報を収集するための機能を持たせることで、視線の情報を収集することが可能となる。

　また、つなぎ目領域Ｓに視線情報収集区画ＦＥが重複するように雛形データを作成しておき、複数の動画コンテンツにおいて、当該雛形データを用いて仮想空間データを作成してもよい。動画コンテンツ毎に視線情報収集区画の位置を変更する必要が無いため、動画コンテンツが増えても広告に対する視線情報の収集を効率的に行うことができる。オブジェクトを使用しないか、又は、使用するとしても限られた数となるコンテンツにおいても、効率的に多くの動画コンテンツにて広告に対する注目を示す情報を収集することが容易となる。

　次に、視線情報収集区画ＦＥを用いて視線情報を収集する処理の流れを説明する。図１５は視線情報を収集する処理の流れを示す図である。まず、最初に動画コンテンツの再生が開始されると、Ｓ３０１において、コンテンツ管理部２３４は広告コンテンツＳＣ１が表示される時間か否かを判定する。具体的には、コンテンツ管理部２３４は広告枠情報のうち時間的位置を示す情報を参照し、コンテンツ管理部２３４が再生している動画コンテンツの時間的位置と照合して、前述の判定を行なう。Ｓ３０１がＮＯの場合、つまり、広告コンテンツＳＣ１が表示される時間でない場合には、Ｓ３０１がＹＥＳになるまで、Ｓ３０１の判定を続ける。なお、動画コンテンツの再生は、ユーザによる前述のプラットフォームからの動画コンテンツの選択によって開始すればよい。

　Ｓ３０１がＹＥＳの場合、Ｓ３０２において、視線管理部２３２は、ユーザの視線が広告コンテンツＳＣ１を表示している箇所に対応する視線情報収集区画ＦＥと交わっているか否かを判定する。Ｓ３０２においてＮＯの場合、視線が当該視線情報収集区画ＦＥと交わっているか否かの判定を続ける。Ｓ３０２においてＹＥＳの場合、Ｓ３０３において、視線管理部２３２は、視線と当該視線情報収集区画ＦＥとが交わっている時間を計測する（視線情報収集ステップ）。視線が視線情報収集区画ＦＥから外れると、視線管理部２３２は計測を終える。計測が終わると、視線管理部２３２は、計測を開始した時間的位置と、計測を終了した時間的位置と、視線情報収集区画ＦＥが複数設定されている場合には計測対象がどの視線情報収集区画ＦＥであったかを示す情報とを関連付けて視線情報を作成する。さらに、視線管理部２３２は、視線情報に視線情報収集区画ＦＥの対応する位置にどの広告コンテンツＳＣ１を合成したかを示す情報も関連付ける。なお、視線情報収集区画ＦＥにどの広告コンテンツＳＣ１を合成したかを示す情報は、上述したＳ２０３における動画コンテンツと広告コンテンツＳＣ１との合成を行なった後の任意のタイミングで、通信部２５０が外部機器４００に送信しておいてもよい。

　Ｓ３０４において、通信部２５０は視線情報を外部機器４００に送信する。外部機器４００の管理者は、視線情報に基づいて、どの広告にどの程度視線が向けられたかを評価することができる。また、動画コンテンツの内容に応じて、ユーザが広告に対して持った興味の度合いを評価することができる。例えば、ユーザが広告を見たシーンが、動画コンテンツにおける山場のシーン、および、盛り上がっているシーン等であれば、ユーザが当該広告に高い興味を示したと評価できる。また、例えば、ユーザが広告を見たシーンが、動画コンテンツにおける山場ではないシーン、および、盛り上がっていないシーン等であればユーザが当該広告に示した興味は高くないと評価できる。動画コンテンツ内の時間的位置と、山場であるか否か等のシーンの状況を示す情報とを関連付けておいてもよい。上述のユーザの興味の解析が容易となる。以上のように、本実施形態によれば、ヘッドマウントディスプレイにて再生する動画コンテンツに表示された広告の効果を効率的に把握することができる。

　なお、視線情報収集区画ＦＥにどの広告コンテンツＳＣ１を合成したかを示す情報は、上述したＳ２０３における動画コンテンツと広告コンテンツＳＣ１との合成を行なった後の任意のタイミングで、通信部２５０が外部機器４００に送信しておいてもよい。また、どの広告コンテンツＳＣ１をどの動画コンテンツに合成するかを外部機器４００で管理しておき、制御回路部２００は外部機器４００からの指示に従ってコンテンツの合成を行なってもよい。この場合、視線情報には視線情報収集区画ＦＥの対応する位置にどの広告コンテンツＳＣ１を合成したかを示す情報を関連付ける必要は無く、外部機器４００がどの広告にどの程度の関心をユーザが持ったかを評価できる。

　また、コンテンツ管理部２３４は、上述したＳ２０１～Ｓ２０３において、同じ場所の視線情報収集区画ＦＥに、複数の広告コンテンツを対応付けて、時間の経過に応じて表示される広告コンテンツが変化するように動画コンテンツと広告コンテンツとを合成してもよい。この場合、コンテンツ管理部２３４は再生されている動画コンテンツの時間的位置に対応する広告コンテンツを示す情報を視線情報に関連付けてもよい。一つの視線情報収集区画を用いて、複数の広告に対するユーザの関心の度合いを評価することができる。なお、どの時間的位置でどの広告コンテンツが表示されるかを示す情報は、外部機器４００に保存しておいてもよい。そして、視線情報には視線が視線情報収集区画ＦＥに交わっていた時間的位置が含まれていればよい。外部機器４００が、どの広告にどの程度視線が向けられていたかを評価することができる。

　以上の実施形態では、一つの動画コンテンツ中の一つの視線情報収集区画ＦＥを用いて視線情報を収集する形態について説明したが本発明はこのような形態に限定されない。例えば、視線情報収集区画ＦＥを有する雛形データは、複数の動画コンテンツを再生するときの仮想空間データに共通して用いてもよい。換言すれば、複数の動画コンテンツにおいて同じ空間的位置に広告コンテンツを合成して、視線情報収集区画ＦＥを用いて視線情報を収集する形態でもよい。このような形態の場合、複数の動画コンテンツを作成するとき、同じ空間的位置に広告を表示しても不自然では無いものが位置するようにすればよい。動画コンテンツ毎に視線情報収集区画の位置を変更する必要が無い。よって、動画コンテンツが多数であっても広告に対するユーザの関心の度合いを効率的に評価することができ
る。

　視線情報収集区画ＦＥは、一つの雛形データに複数設定してもよく、また、大きさが視線情報収集区画ＦＥ毎に異なってもよい。視線情報収集区画ＦＥの情報は動画コンテンツの作成者に提供され、動画コンテンツの作成者はどの視線情報収集区画ＦＥに、いつ広告を表示するかを適宜選択することができる。どの空間的位置の視線情報収集区画ＦＥに、どの時間的位置で広告を表示するかを示す情報を広告枠情報として動画コンテンツに関連付けておけばよい。

　また、視線情報収集区画ＦＥの大きさは適宜設定すればよいが、鉛直方向および水平方向共に表示域Ｆ１より大きく、且つ、視線情報収集区画ＦＥと表示域Ｆ１とにおける鉛直方向の幅の差より水平方向の幅の差が小さくなるように設定することがより好ましい。仮想空間２内における初期方向の鉛直方向の調整を低減できる。例えば、動画コンテンツを全天球カメラで撮影する場合、仮想空間における初期方向（正面）および初期画像は全天球カメラの撮影方向に基づいて自動的に定まる。しかし、上述の広告を表示する対象物の空間的位置の自由度は、撮影対象物および撮影環境によって限られる。そのため、広告を表示する対象物の空間的位置を、視線情報収集区画ＦＥに重ねるために、動画コンテンツを編集する際に初期方向も編集してもよい。ここで、初期方向を鉛直方向に移動させる調整を行なうと、仮想空間内のユーザの立つ地面が傾くことになる。これではユーザが酔う虞がある。しかし、予め、視線情報収集区画ＦＥの鉛直方向の幅を大きくしておけば、初期方向を鉛直方向に調整する必要性を低減させることができる。一方、広告に対して視線が向けられたか否かをより正確に評価する観点から、視線情報収集区画ＦＥと表示域Ｆ１との大きさの差は小さいことがより好ましい。そこで、視線情報収集区画ＦＥと表示域Ｆ１とにおける鉛直方向の幅の差より水平方向の幅の差を小さくすることによって、視線情報収集区画ＦＥと表示域Ｆ１との大きさの差を小さくしつつ、初期方向を鉛直方向に調整する必要性を低減させることができる。

　（仮想カメラ１の傾き補正）

　従来技術は、ユーザが座位姿勢で見ることを前提としたコンテンツを再生するように構成されている。しかし、仮想空間において再生されるコンテンツの中には、ユーザが仰臥姿勢で見ることを前提としたものがある。上述した従来技術には、ユーザが実際に仰臥姿勢でこのようなコンテンツを視認することが、何ら考慮されていない。そのため、このようなコンテンツが再生される際、ユーザが仰臥姿勢を取ると不自然な映像を視認する問題が生ずる。本開示は、異なる姿勢で見ることを前提とした様々なコンテンツを、ユーザの姿勢に応じて仮想空間において好適に再生する。

　仮想空間２において再生可能な各コンテンツには、その内容に応じた傾き補正値が予め規定されている。制御回路部２００は、コンテンツの再生開始時に、この傾き補正値に応じて仮想カメラ１の傾きを適宜補正する。これにより、異なる姿勢で見ることを前提とした様々なコンテンツを、ユーザの姿勢に応じて仮想空間２において好適に再生することができるので、コンテンツに応じた姿勢でユーザがコンテンツを視聴した際にユーザが自然な映像を視認することができる。以下に、制御回路部２００がコンテンツの傾き補正値に応じて仮想カメラ１の傾きを補正する際の詳細を説明する。

　図１６は、ＨＭＤシステム１００が、仮想カメラ１の傾きが補正された仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。この図に示す処理は、プラットフォームを通じてユーザがいずれかのサムネイルを選択した後における、対応する動画コンテンツの再生開始時の処理である。ユーザが選択したサムネイルに対応する動画コンテンツが特定された後、Ｓ４１において、仮想空間規定部２３１は、動画コンテンツ再生用の仮想空間データを生成する。この詳細は、図９のＳ２１の詳細と同一である。したがって、仮想空間規定部２３１は、再生対象の動画コンテンツに規定される傾き補正値を何ら考慮することなく、仮想空間データを生成する。すなわち、図１０の例では、生成される仮想空間データによって規定される仮想空間２のＸＹＺ座標系は、コンテンツに規定される傾き補正値によって補正されていないため、常にグローバル座標系と平行である。

　仮想空間データの生成後、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。このとき行われる初期化の手順には、図８を参照して説明した初期化の手順と異なり、コンテンツの傾き補正値が考慮される。初期化の手順は次の通りである。まず、Ｓ４２において、仮想カメラ制御部２２１は、仮想空間２における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、Ｓ４３において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、Ｓ４４において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。

　次に、傾き補正値特定部２３５が、Ｓ４５において、再生対象の動画コンテンツ（コンテンツ特定部２３３によって特定された動画コンテンツ）に規定される傾き補正値を、当該動画コンテンツから特定する。もし動画コンテンツに傾き補正値が規定されていない場合、傾き補正値特定部２３５は、傾き補正値として０°を特定する。

　次にＳ４６において、仮想カメラ制御部２２１は、仮想カメラ１をグローバル座標系においてＨＭＤ１１０に対して傾き補正値だけ傾けることによって、仮想空間２における仮想カメラ１の向きを設定する。この詳細は次の通りである。まず仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ＨＭＤ１１０のｕｖｗ視野座標系をグローバル座標系において傾き補正値だけ傾けたｕｖｗ視野座標系を算出し、これを仮想カメラ１に設定する。たとえば仮想カメラ制御部２２１は、グローバル座標系における水平方向に対するＨＭＤ１１０の傾きが、動画コンテンツに規定される傾き補正値に一致する場合、仮想カメラ１の向きを、仮想空間２におけるＸＹ平面に対して平行に設定する。仮想カメラ制御部２２１は、仮想カメラ１に設定したｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定する。

　その後、Ｓ４７において、視界画像生成部２２３は、仮想カメラ１の向きに基づく視界画像２６を生成し、Ｓ４８においてＨＭＤ１１０に出力する。Ｓ４９において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。

　（仮想カメラ１の傾き補正例）
　図１７は、コンテンツに応じてＨＭＤ１１０に対する仮想カメラ１の傾きが異なることを説明する図である。図１７の（ａ）に、ユーザが座位姿勢で見ることを前提とした動画コンテンツが再生される仮想空間２を示す。一方、図１７の（ｂ）に、ユーザが仰臥姿勢で見ることを前提としたコンテンツが再生される仮想空間２を示す。

　図１７の（ａ）では、仮想空間２において再生される動画コンテンツに規定される傾き補正値は、０°である。したがって、仮想空間２が規定された後、仮想カメラ１の傾きは補正されない。すなわち、グローバル座標系における仮想カメラ１の傾きは、グローバル座標系におけるＨＭＤ１１０の傾きに一致する。仮想空間２のＸＹＺ座標系はグローバル座標系と平行であるため、ＸＹＺ座標系における仮想カメラ１の傾きは、グローバル座標系におけるＨＭＤ１１０の傾きに一致する。すなわち、ＨＭＤ１１０の傾きに連動して仮想カメラ１が傾くように、仮想空間２における仮想カメラ１の向きが設定される。

　たとえば図１７の（ａ）に示すように、ユーザが座位姿勢で水平方向を視認している場合、グローバル座標系における水平面に対するＨＭＤ１１０の傾きは０°（水平面と平行）である。このとき同様に、ＸＹＺ座標系におけるＸＹ平面に対する仮想カメラ１の傾きも０°（ＸＺ平面と平行）である。したがって、ユーザが座位姿勢で見ることを前提としたコンテンツの再生を、ユーザが水平方向を視認した状態で開始すると、この動画コンテンツに規定される初期方向に対応した視界画像２６が、ディスプレイ１１２に表示される。これによりユーザは、座位姿勢で視認する場合に自然に見える映像を、座位姿勢で実際に視認することができる。

　一方、図１７の（ｂ）では、仮想空間２において再生される動画コンテンツに規定される傾き補正値は、６０°である。したがって、仮想空間２が規定された後、仮想カメラ１の傾きは傾き補正値に基づき補正される。具体的には、グローバル座標系において仮想カメラ１はＨＭＤ１１０に対して相対的に６０°傾いている。仮想空間２のＸＹＺ座標系はグローバル座標系と平行であるため、ＸＹＺ座標系におけるＸＺ平面に対する仮想カメラ１の傾きは、グローバル座標系における水平面に対するＨＭＤ１１０の傾きを６０°だけ補正した傾きである。すなわち、ＨＭＤ１１０の傾きを６０°補正した傾きで仮想カメラ１を傾けることによって、仮想空間２における仮想カメラ１の向きが設定される。

　たとえば図１７の（ｂ）に示すように、ユーザが寝た状態で鉛直６０°斜め上を視認している場合、グローバル座標系におけるＨＭＤ１１０の傾きは６０°（水平面に対して６０°傾く）である。このとき、ＸＹＺ座標系における仮想カメラ１の傾きは、ＨＭＤ１１０の傾きである６０°を傾き補正値で補正した値である０°である。すなわち仮想カメラ１のロール方向（ｗ軸）は、ＸＹ平面に対して平行である。

　したがって、ユーザが仰臥姿勢で見ることを前提としたコンテンツの再生を、ユーザが実際に寝た状態で開始すると、この動画コンテンツに規定される初期方向に対応した視界画像２６が、ディスプレイ１１２に表示される。これによりユーザは、仰臥姿勢で視認する場合に自然に見える映像を、仰臥姿勢で実際に視認することができる。

　（機能区画の統一）
　ＨＭＤシステム１００は、動画コンテンツに規定される傾き補正値に基づき仮想カメラ１の傾きを補正することによって、再生される動画コンテンツの内容によらず、動画コンテンツに含まれる広告の表示位置に対する機能区画の位置を統一化することができる。この点について、以下に説明する。

　図１８は、ユーザが座位姿勢で見ることを前提としたコンテンツが再生される際の機能区画の位置を説明する図である。図１８の（ａ）に、機能区画２７が規定される仮想空間２を示す。この図の例では、仮想空間２を構成する天球面におけるＺ軸の正方向（図中右方向）と交わる位置の近辺に、機能区画２７が予め規定されている。機能区画２７は、所定の機能を割り当てることができる領域である。本実施形態では、機能区画２７には、ユーザの視線（視界方向または視線方向Ｎ０）が機能区画２７に当たったか否かを検出する機能が割り当てられている。さらに、機能区画２７には、ユーザの視線が機能区画２７に当たった時間を検出する機能も割り当てられている。

　図１８の（ａ）に示す仮想空間２において再生される、ユーザが座位姿勢で見ることを前提とした動画コンテンツには、広告が含まれている。広告はあくまでも動画コンテンツを構成する各フレームの画像の一部であり、動画コンテンツが別途広告データをさらに有する訳ではない。仮想空間２において動画コンテンツが再生される際、動画コンテンツに含まれる広告が仮想空間２内の機能区画２７の位置に配置されるように、動画コンテンツ内の広告の位置が予め規定されている。具体的には、動画コンテンツの初期方向を仮想空間２のＸＹＺ座標系における方向に一致させるように動画コンテンツの各部分画像と仮想空間２の各メッシュとを関連付けた際、仮想空間２における機能区画２７の位置に対応するメッシュに広告を含む部分画像が関連付けられるようになっている。

　図１８の（ａ）では、初期状態（ユーザが動画コンテンツを選択した直後）に規定される仮想空間２を示す。この例では、ユーザは水平方向を向いており、そのため仮想カメラ１はＸＺ平面に対して平行に配置されている。したがって、基準視線５はＺ方向（動画コンテンツの初期方向）に一致するため、機能区画２７を含む視界領域２３が決定される。これにより、機能区画２７に重畳する部分画像（すなわち広告の表示箇所）を含む視界画像２６が生成される。

　図１８の（ｂ）に、広告Ａ１を含む視界画像２６の一例を示す。この例では、ユーザが座位姿勢で見ることを前提とした動画コンテンツの再生開始時、初期の視界画像２６として、広告Ａ１を含む視界画像２６がディスプレイ１１２表示される。仮想空間２における広告Ａ１の位置は、天球面における機能区画２７に重畳している。したがって、視線管理部２３２は、機能区画２７に対して視線が当たったことを検出することによって、ユーザが広告Ａ１に視線を当てたことを検出することができる。これによりＨＭＤシステム１００は、動画コンテンツ視聴時の広告Ａ１に対するユーザの関心の度合いを測ることができる。

　図１９は、ユーザが仰臥姿勢で見ることを前提としたコンテンツが再生される際の機能区画の位置を説明する図である。図１９の（ａ）に、機能区画２７が規定される仮想空間２を示す。この図の例でも、図１９の（ａ）と同様に、仮想空間２を構成する天球面におけるＺ軸の正方向（図中右方向）と交わる位置の近辺に、機能区画２７が予め規定されている。すなわち、仮想空間２における機能区画２７の位置は、図１８の（ｂ）の場合と統一されている。これにより、図１９の（ａ）に示す仮想空間２を規定する場合と、図１８の（ａ）に示す仮想空間２を規定する場合とで、同一の雛形データを用いることができる
。

　図１９の（ａ）に示す仮想空間２において再生される、ユーザが仰臥姿勢で見ることを前提とした動画コンテンツにも、広告が含まれている。この動画コンテンツが再生される際、動画コンテンツに含まれる広告が仮想空間２内の機能区画２７の位置に配置されるように、動画コンテンツ内の広告の位置が予め規定されている。

　図１９の（ａ）では、初期状態、すなわちユーザが動画コンテンツを選択した直後、に規定される仮想空間２を示す。この例では、ユーザは鉛直斜め６０°上を向いて寝ており、そのため仮想カメラ１は６０°の傾き傾き補正値によって補正されてＸＺ平面に対して平行に配置されている。したがって、基準視線５はＺ方向（動画コンテンツの初期方向）に一致するため、機能区画２７を含む視界領域２３が決定される。これにより、機能区画２７に重畳する部分画像（すなわち広告の表示箇所）を含む視界画像２６が生成される。

　図１９の（ｂ）に、広告Ａ２を含む視界画像２６の一例を示す。この例では、ユーザが仰臥姿勢で見ることを前提とした動画コンテンツの再生開始時、初期の視界画像２６として、広告Ａ２を含む視界画像２６がディスプレイ１１２表示される。仮想空間２における広告Ａ２の位置は、天球面における機能区画２７に重畳している。したがって、視線管理部２３２は、機能区画２７に対して視線が当たったことを検出することによって、ユーザが広告Ａ２に視線を当てたことを検出することができる。これによりＨＭＤシステム１００は、広告Ａ２に対するユーザの関心の度合いを測ることができる。

　図１８および図１９に示すように、各コンテンツに規定される傾き補正値を用いて仮想カメラ１の傾きを補正することによって、コンテンツごとの広告に対する機能区画２７の位置を、容易に統一化することができる。これにより、コンテンツごとに、機能区画２７の機能を規定するプログラムを変更する必要がなくなる。すなわち、共通のプログラムを用いて、各コンテンツ内の広告へのユーザの視線に関する視線情報を収集することができる。その結果、プラットフォームを用いた動画コンテンツの再生を効率よく運営することができる。

　（ＸＹＺ座標系を傾ける例）
　制御回路部２００は、コンテンツに規定される傾き補正値を用いて、仮想カメラ１の傾きではなく、仮想空間２のＸＹＺ座標系の傾きを補正してもよい。以下、この例について説明する。

　本例では、仮想空間規定部２３１が仮想空間２を規定する際、グローバル座標系に対するＸＹＺ座標系の傾きを、コンテンツに規定される傾き補正値を用いて補正する。具体的には、仮想空間規定部２３１は、傾き補正値特定部２３５によって特定された傾き補正値だけ、ＸＹＺ座標系をグローバル座標系に対して相対的に傾ける。たとえば傾き補正値が６０°であれば、仮想空間規定部２３１は、ＸＹＺ座標系のＸＺ平面とグローバル座標系の水平面とのなす角度が６０°になるように、ＸＹＺ座標系をグローバル座標系に対して傾ける。

　仮想空間規定部２３１は、雛形データに含まれる仮想空間２のＸＹＺ座標系を規定するデータを傾き補正値を用いて処理することによって、傾き補正後のＸＹＺ座標系を規定するデータを生成し、仮想空間データに追加する。仮想空間２における各メッシュの位置はＸＹＺ座標系における座標として各メッシュの管理データに規定されているので、ＸＹＺ座標系がグローバル座標系に対して傾くことによって、各メッシュもグローバル座標系に対して同様に傾く。一方、仮想カメラ制御部２２１は、仮想カメラ１を仮想空間２に配置した後、グローバル座標系における仮想カメラ１の傾きをＨＭＤ１１０の傾きに一致させることによって、仮想空間２における仮想カメラ１の向きを設定する。すなわちＨＭＤ１１０に対する仮想カメラ１の傾きは補正しない。たとえば仮想カメラ制御部２２１は、グローバル座標系における水平方向に対するＨＭＤ１１０の傾きが、動画コンテンツに規定される傾き補正値に一致する場合、仮想カメラ１の向きを、仮想空間２におけるＸＹ平面に対して平行に設定する。

　本例では、ユーザが座位姿勢で見ることを前提としたコンテンツが仮想空間２において再生される場合、ＸＹＺ座標系はグローバル座標系に平行であり、仮想カメラ１の傾きはＨＭＤ１１０の傾きに連動する。したがって、ユーザが座位姿勢で水平方向を視認している（ＨＭＤ１１０が水平方向を向いている）場合、仮想カメラ１の向きは仮想空間２のＸＺ平面に平行である。これによりＸＺ平面に平行な基準視線５に応じた視界画像２６がディスプレイ１１２に表示されるので、ユーザは、自然な映像を座位姿勢で視認することができる。

　一方、本例では、ユーザが仰臥姿勢で見ることを前提としたコンテンツが仮想空間２において再生される場合、仮想空間２のＸＹＺ座標系はグローバル座標系に対して６０°傾いており、かつ、グローバル座標系における仮想カメラ１の傾きはＨＭＤ１１０の傾きに連動する。したがって、ユーザが寝た状態で鉛直６０°斜め上を視認している（ＨＭＤ１１０が水平方向から６０°傾いている）場合、仮想カメラ１の向きは仮想空間２のＸＺ平面に平行である。これによりＸＺ平面に平行な基準視線５に応じた視界画像２６がディスプレイ１１２に表示される。その結果、ユーザは、自然な映像を寝た状態で視認することができる。

　従来技術では、ユーザがＨＭＤを動かすと、仮想空間におけるユーザの視認箇所を変えることができるので、仮想空間に対するユーザの没入感を高めることができる。一方で、仮想空間における没入間を高めつつ、より簡単に仮想空間における任意の箇所をユーザが視認できるように仮想空間における操作性をより高めるための工夫が、求められている。本開示は、仮想空間における操作性をより高める。

　図２０の（ａ）に、プラットフォーム提供用の仮想空間２の一例を示す。この図には、１つの操作オブジェクト２８および４つのサムネイルＳＮ１～ＳＮ４が配置される、プラットフォーム提供用の仮想空間２を示す。これらのサムネイルＳＮ１～ＳＮ４は、いずれも、対応する動画コンテンツの概要画像（サムネイル）が関連付けられたオブジェクトである。操作オブジェクト２８は、仮想カメラ１または仮想空間２を回転させるために用いられる。操作オブジェクト２８の形状は、基本的に円形である。詳しくは後述するが、操作オブジェクト２８は、ユーザによる操作オブジェクト２８への操作に応じて弾性変形（伸張）する。

　図２０の（ａ）に示す仮想空間２を表す仮想空間データの生成後、Ｓ２２において、視界画像生成部２２３は、ユーザの基準視線５に基づき視界画像２６を生成する。この生成方法は図８を参照して説明した方法と同一である。ここでは、プラットフォームに対応した視界画像２６が生成される。図２０の（ａ）では、サムネイルＳＮ１～Ｎ４のうち、ユーザの基準視線５によって規定される視界領域２３の内部に、操作オブジェクト２８、サムネイルＳＮ１、およびＳＮ２が配置されている。一方、サムネイルＳＮ３およびＳＮ４は、視界領域２３の外部に配置されている。そのため視界画像生成部２２３は、操作オブジェクト２８、サムネイルＳＮ１、ＳＮ２を含む視界画像２６を生成する。詳しくは後述するが、視界画像生成部２２３は、さらに注視点２９を含む視界画像２６を生成する。注視点２９は、ユーザが視界画像２６におけるどの位置に視線を当てているのかを示す情報である。

　Ｓ２３において、視界画像生成部２２３は、生成した視界画像２６をＨＭＤ１１０に出力する。Ｓ２４においてＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示する。ユーザは、プラットフォームの視界画像２６を視認する。サムネイルが関連付けられたオブジェクトが視界画像２６に含まれる場合、視界画像２６の表示時、当該オブジェクトに関連付けられたサムネイルがディスプレイ１１２に表示される。これによりユーザは、サムネイルを含む視界画像２６を視認する。また、操作オブジェクト２８が視界画像２６に含まれる場合、視界画像２６の表示時、操作オブジェクト２８がディスプレイ１１２に表示される。これによりユーザは、操作オブジェクト２８を含む視界画像２６を視認する。

　図２０の（ｂ）に、プラットフォームの視界画像２６の一例を示す。この図に示す視界画像２６は、操作オブジェクト２８、注視点２９、サムネイルＳＮ１、およびサムネイルＳＮ２を含む。したがってユーザは、仮想空間２において、操作オブジェクト２８、注視点２９、サムネイルＳＮ１、およびサムネイルＳＮ２を視認する。

　視界画像生成部２２３は、基準視線５および視線方向Ｎ０に基づき視界画像２６における注視点２９の位置を決定する。ユーザが正面を視認している場合、すなわち、基準視線５が視線方向Ｎ０に一致する場合、視界画像生成部２２３は、視界画像２６の生成時に、基準視線５に基づき視界画像２６の中央に注視点２９を配置する。ユーザが正面を視認したまま視線を変えない場合、基準視線５は視線方向Ｎ０に一致するので、注視点２９は常に視界画像２６の中央に配置される。

　一方、視界画像生成部２２３は、ユーザが視線を動かしたために視線方向Ｎ０が基準視線５からずれた場合、現在の視線方向Ｎ０に基づき、視界画像２６における注視点２９の位置を決定する。具体的には、視界領域２３における視線方向Ｎ０が交わる交点を特定し、次に、視界画像２６におけるこの交点に対応する位置に注視点２９が当てられた視界画像２６を生成する。

　ユーザがＨＭＤ１１０を動かさずに（基準視線５が固定されたまま）視線だけを動かすと、その視線の動きに追随して、視界画像２６における注視点２９の位置が変更される。これにより、視界画像２６においてユーザが視線を当てた位置に注視点２９が表示されるように、視界画像２６が更新される。言い換えると、ユーザは、視線の動きによって、視界画像２６内において注視点２９を自在に動かすことができる。したがってユーザは、注視点２９を確認することによって、視界画像２６におけるどの箇所に視線を当てているのかを正確に把握することができる。

　Ｓ２８において、視線管理部２３２は、視線方向Ｎ０と、視界領域２３に含まれる各サムネイルとに基づき、視界画像２６に含まれる特定のサムネイルに規定時間以上ユーザの視線（注視点２９）が当たったか否かを判定する。より詳細には、視線管理部２３２は、視界領域２３における視線方向Ｎ０が交わる点が、視界領域２３に含まれる特定のサムネイルの表示範囲（配置範囲）に含まれているか否かを判定する。この判定結果がＹＥＳであれば、視界画像２６に含まれる特定のサムネイルに視線が当たったと判定し、ＮＯであれば、視線は特定のサムネイルに当たっていないと判定する。

　Ｓ２８がＮｏの場合、図９の処理はＳ２５の直前に戻る。この後、Ｓ２８がＹＥＳになるまで、Ｓ２５～Ｓ２８の処理が繰り返される。一方、Ｓ２８がＹＥＳの場合、Ｓ２９において、コンテンツ特定部２３３は、規定時間以上視線が当たったと判定されたサムネイルに対応するコンテンツを特定する。たとえばユーザがサムネイルＳＮ１に視線を当てれば、視界画像２６においてサムネイルＳＮ１に注視点２９が重畳される。さらに、ユーザがサムネイルＳＮ１に規定時間以上視線を当てれば、サムネイルＳＮ１に対応するコンテンツとして、サムネイルＳＮ１の管理データに関連付けられる動画コンテンツを特定する
。

　この後、Ｓ３０において、仮想空間規定部２３１は、特定された動画コンテンツを再生するための仮想空間データを生成することによって、動画コンテンツ再生用の仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、動画コンテン
ツに対応した仮想空間２の雛形データを、雛形格納部２４１から取得する。

　図２０の（ｃ）に、動画コンテンツの視界画像２６の一例を示す。この図に示す視界画像２６は、ユーザによって選択されたサムネイルＳＮ１に対応する動画コンテンツの視界画像２６である。このように、ユーザが、図２０の（ｂ）に示すプラットフォームの視界画像２６を視認中にサムネイルＳＮ１を視線によって選択すると、ディスプレイ１１２に表示されるプラットフォームの視界画像２６が、図２０の（ｃ）に示す動画コンテンツの視界画像２６に更新される。すなわちユーザは、仮想空間２において視線移動によってサムネイルＳＮ１を選択することによって、これに対応した動画コンテンツを仮想空間２において視聴することができる。

　（仮想カメラ１の回転制御）
　本実施形態に係る制御回路部２００は、通常モード（第１のモード）または回転モード（第２のモード）において動作する。通常モードと回転モードとでは、制御回路部２００による仮想カメラ１の制御方法が相違する。通常モードにおいて、制御回路部２００は、ＨＭＤ１１０の傾きに連動させて仮想空間２における仮想カメラ１の傾きを制御する。したがって、通常モードにおいてユーザがＨＭＤ１１０を傾けると、それに連動して仮想カメラ１も傾き、その傾きに応じた視界画像２６がＨＭＤ１１０に表示される。

　回転モードにおいて、制御回路部２００は、仮想空間２における仮想カメラ１の傾きを、ＨＭＤ１１０の傾きに連動させて制御しない。したがって、回転モードにおいてユーザがＨＭＤ１１０を傾けても、それに連動して仮想カメラ１は傾かない。その代わりに、制御回路部２００は、ユーザによる操作オブジェクト２８の操作に応じて、仮想空間２において仮想カメラ１を回転させる。本実施形態ではユーザはＨＭＤ１１０の動きによって操作オブジェクト２８を操作することができる。したがって、制御回路部２００は、回転モードおいて、ＨＭＤ１１０の傾きに応じて仮想カメラ１を回転させる。

　通常モードでは、ユーザがＨＭＤ１１０の動きを止めると、仮想カメラ１の動きも止まる。したがって、視界画像２６の更新も止まる。一方、回転モードでは、ユーザがＨＭＤ１１０の動きを止めても、仮想カメラ１の回転は止まらない。すなわち、ユーザがＨＭＤ１１０を回転開始時の状態からさらに傾けた状態を維持し続ける限り、仮想カメラ１は回転し続ける。これにより、視界画像２６も更新され続ける。

　図２１は、ＨＭＤシステム１００が回転モードに移行する際の処理の流れを示すシーケンス図である。以下では、プラットフォームが再生される仮想空間２がユーザに提供されている場合を例に挙げて説明する。

　プラットフォームの視界画像２６が表示された後、Ｓ４１－１において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の位置および傾きを検出して、Ｓ４２－１において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、上述した手順によって基準視線５を特定する。仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。

　次に、Ｓ４３－１において、操作オブジェクト制御部２３６は、仮想空間２において操作オブジェクト２８に基準視線５が規定時間以上当たったか否かを判定する。Ｓ４３－１においてＮＯの場合、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、Ｓ４４－１において、視界画像生成部２２３は、視界画像２６を生成し、Ｓ４５－1においてＨＭＤ１１０に出力する。Ｓ４６－１において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、通常モードにおいてユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

　ユーザがＨＭＤ１１０を動かした場合、操作オブジェクト２８が視界領域２３に含まれていれば、操作オブジェクト２８は他のオブジェクトと同様に動かない。一方、ユーザがＨＭＤ１１０を動かすことによって、操作オブジェクト２８が視界領域２３から外れた場合、操作オブジェクト２８は視界領域２３内に戻るように動く。

　これを実現する手順は次の通りである。まず操作オブジェクト制御部２３６は、操作オブジェクト２８の少なくとも一部が視界領域２３の外に位置することを検出する。次に操作オブジェクト制御部２３６は、操作オブジェクト２８の少なくとも一部が視界領域２３の外に位置することを検出した場合、操作オブジェクト２８を視界領域２３の中に移動させる。具体的には、操作オブジェクト２８を規定するデータにおける、操作オブジェクト２８の位置（座標）を、現在の視界領域２３内のいずれかの座標に更新する。

　操作オブジェクト２８が視界領域２３に戻る位置は、視界領域２３内の任意の位置であればよい。操作オブジェクト２８が移動する際に移動量が最も少なくなる位置であることが好ましい。たとえば、操作オブジェクト２８が視界領域２３の右側に位置するようになった場合、操作オブジェクト制御部２３６は、操作オブジェクト２８を視界領域２３の右端に移動させることが好ましい。

　これにより、通常モードおいて、視界領域２３に常に操作オブジェクト２８が含まれるので、視界領域２３に基づき生成される視界画像２６にも、常に操作オブジェクト２８が含まれる。したがってユーザは、操作オブジェクト２８を選択したい場合、操作オブジェクト２８を容易に見つけ出すことができる。また、後述するように基準視線５によって操作オブジェクト２８を選択する場合、基準視線５を操作オブジェクト２８に当てるためのＨＭＤ１１０の移動制御を、最小限にすることができる。

　一方、Ｓ４３－１においてＹＥＳの場合、操作オブジェクト制御部２３６は、Ｓ４７－１において、ユーザによって操作オブジェクト２８が選択されたことを検出する。このように、ユーザは、視線を操作オブジェクト２８に当てることによって、操作オブジェクト２８を選択することができる。操作オブジェクト２８の選択をトリガとして、Ｓ４８－１において、制御回路部２００は回転モードに移行する。これにより、ユーザは自らの意思で制御回路部２００を回転モードに移行させることができる。回転モードへの移行後、操作オブジェクト２８へのユーザの操作に応じて、仮想カメラ１の回転が開始される。

　図２２は、制御回路部２００が回転モードにおいて仮想カメラ１の回転を開始する際の処理の流れを示すシーケンス図である。

　回転モードへの移行後、Ｓ５１において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の位置および傾きを検出して、Ｓ５２において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。Ｓ５３において、操作オブジェクト制御部２３６は、ＨＭＤ１１０の傾きが変化したか否かを判定する。Ｓ５３においてＮＯの場合、図２２の処理はＳ５１の前に戻る。したがって、操作オブジェクト２８の選択後、ユーザがＨＭＤ１１０をさらに傾けるまで、Ｓ５１～Ｓ５３の工程が繰り返される。

　一方、Ｓ５３においてＹＥＳの場合、Ｓ５４において、操作オブジェクト制御部２３６は、ＨＭＤ１１０の傾きの変化量を特定する。Ｓ５５において、操作オブジェクト制御部２３６は、特定した傾きの変化量に基づき、ユーザによって指定された操作オブジェクト２８の伸張方向（所定方向）および伸張量（所定量）を特定する。Ｓ５６において、操作オブジェクト制御部２３６は、操作オブジェクト２８を、特定した伸張方向に、特定した伸張量だけ伸張させる。その際、操作オブジェクト制御部２３６は、操作オブジェクト２８の根本から伸張方向の終端部に向かって徐々に操作オブジェクト２８が細くなるように、操作オブジェクト２８を伸張する。また、操作オブジェクト２８の伸張方向の終端部に基準視線５が重畳するように、操作オブジェクト２８の表示状態を変更する。

　その後、Ｓ５７において、回転制御部２３７は、操作オブジェクト２８の伸張方向に基づき仮想カメラ１の回転方向を決定すると共に、操作オブジェクト２８の伸張量に基づき仮想カメラ１の回転速度を決定する。その際、操作オブジェクト制御部２３６は、伸張方向における水平方向の成分に平行な方向を、仮想カメラ１の回転方向として特定することが好ましい。これにより、仮想カメラ１は仮想空間２におけるＹ軸周りにのみ回転する。また、仮想カメラ１が仮想空間２におけるＺ軸周りに回転することを防止することができる。これにより、視界画像２６の更新時に仮想空間２の地面が上下に移動するユーザが視認することを防止できるので、仮想空間２におけるユーザの酔い発生を防止することができる。

　Ｓ５８において、仮想カメラ制御部２２１は、決定された回転方向に決定された回転速度で仮想カメラ１の回転を開始する。仮想カメラ１が回転すると、仮想空間２における仮想カメラ１のロール方向が変わるので、視界領域２３が変更される。操作オブジェクト制御部２３６は、仮想カメラ１の回転時に操作オブジェクト２８が常に視界領域２３の中央に配置されるように、操作オブジェクト２８を制御する。具体的には、操作オブジェクト２８の管理データにおいて、操作オブジェクト２８の座標を視界領域２３の中央の座標に更新する。これにより仮想カメラ１のｕｖｗ視野座標系における操作オブジェクト２８の位置が固定された状態で、仮想カメラ１および操作オブジェクト２８がいずれも仮想空間２において回転する。

　視界領域決定部２２２は、一定時間回転後の仮想カメラ１の向き（ロール方向）に基づき視界領域２３を決定する。そして、Ｓ５９において、視界画像生成部２２３は、決定された視界領域２３に基づき視界画像２６を生成し、Ｓ６０においてＨＭＤ１１０に送信する。Ｓ６１おいて、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、仮想カメラ１の回転前の視界画像２６が、仮想カメラ１の回転後の視界画像２６に更新される。

　図２３は、仮想カメラ１が回転した後の仮想空間２および視界画像２６を示す図である。図２３の（ａ）に仮想空間２を示し、図２３の（ｂ）に視界画像２６を示す。以下では、操作オブジェクト２８の選択後、ユーザが首を左側にねじることによって、操作オブジェクト２８を左側に伸張させる操作を操作オブジェクト２８に対して行った例を説明する。この場合、操作オブジェクト２８の伸張方向はユーザから見て左側の方向なので、仮想カメラ１の回転方向として、Ｙ軸を自転軸とした左回りの回転方向が決定される。したがって仮想カメラ１は、Ｙ軸を自転軸として左回りに回転する。

　仮想カメラ１が左回りに回転することによって、視界領域２３の位置が、仮想空間２において左回りにずれる。これにより、図２３の（ａ）に示すように、視界領域２３におけるサムネイルＳＮ１およびサムネイルＳＮ２の位置が、回転開始前の位置よりも相対的に右側にずれるようになる。仮想カメラ１は回転中であるので、操作オブジェクト２８は伸張している。

　図２３の（ｂ）に示すように、仮想カメラ１が回転した後の視界領域２３に基づく視界画像２６には、サムネイルＳＮ１およびサムネイルＳＮ２が含まれる。視界領域２３におけるサムネイルＳＮ１およびサムネイルＳＮ２の位置が仮想カメラ１の回転開始前よりも右側にずれていることから、これに対応して、視界画像２６におけるサムネイルＳＮ１およびサムネイルＳＮ２の位置も、仮想カメラ１の回転開始前よりも右側にずれている。したがってユーザは、仮想カメラ１が左回りの回転を開始したことを把握することができる
。

　仮想カメラ１の回転開始後、ユーザが左側に首をねじり続けている間、仮想カメラ１は左回りに回転し続ける。一方、ユーザが、首をねじることを止めて、顔を正面に向けると、仮想カメラ１の回転は停止される。以下では、これらの処理の流れを説明する。

　図２４は、制御回路部２００が回転モードにおいて仮想カメラ１をさらに回転させるかまたは仮想カメラ１の回転を停止させる際の処理の流れを示すシーケンス図である。

　仮想カメラ１の回転中に、Ｓ７１において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の位置および傾きを検出して、Ｓ７２において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。Ｓ７３において、操作オブジェクト制御部２３６は、ＨＭＤ１１０の現在の傾きが、操作オブジェクト２８の選択時のＨＭＤ１１０の傾き一致するか否かを判定する。Ｓ７３においてＮＯの場合、Ｓ７４において、仮想カメラ制御部２２１は、仮想カメラ１をさらに回転させる。

　その後、視界領域決定部２２２は、一定時間回転後の仮想カメラ１の向き（ロール方向）に基づき視界領域２３を決定する。そして、Ｓ７５において、視界画像生成部２２３は、決定された視界領域２３に基づき視界画像２６を生成し、Ｓ７６においてＨＭＤ１１０に送信する。Ｓ７７において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、仮想カメラ１を一定時間回転した後の視界画像２６が、仮想カメラ１をさらに回転した後の視界画像２６に更新される。

　Ｓ７７の後、図２４に示す処理はＳ７１の前に戻る。したがって、仮想カメラ１の回転開始後、ユーザがＨＭＤ１１０の傾きを元に戻す（操作オブジェクト２８の選択時の傾きに戻す）まで、Ｓ７１～Ｓ７７の工程が繰り返される。すなわち、操作オブジェクト２８に対するユーザの操作が検出され続ける限り、仮想カメラ制御部２２１は仮想カメラ１を回転させ続ける。

　図２５は、仮想カメラ１がさらに回転した後の仮想空間２および視界画像２６を示す図である。図２５の（ａ）に仮想空間２を示し、図２５の（ｂ）に視界画像２６を示す。仮想カメラ１が左回りにさらに回転することによって、視界領域２３の位置も、仮想空間２においてさらに左回りにずれる。これにより視界領域２３は、仮想空間２におけるサムネイルＳＮ１、サムネイルＳＮ３、およびサムネイルＳＮ４を含む位置に配置されるようになる。仮想カメラ１が回転中であるので、操作オブジェクト２８も依然として伸張したままである。

　図２５の（ｂ）に示すように、仮想カメラ１がさらに回転した後の視界領域２３に基づく視界画像２６には、サムネイルＳＮ１、サムネイルＳＮ３、およびサムネイルＳＮ４が含まれる。したがってユーザは、仮想カメラ１の回転中に、サムネイルＳＮ４が新たに自身の視界に入ったことを把握する。以下では、この時点で仮想カメラ１の回転を停止させるための操作を操作オブジェクト２８に対して行う例を説明する。

　Ｓ７３においてＹＥＳの場合、Ｓ７８において、操作オブジェクト制御部２３６は、ユーザによる操作オブジェクト２８への伸張方向および伸張量の指定が解除されたことを検出する。これにより操作オブジェクト制御部２３６は、Ｓ７９において、操作オブジェクト２８の形状を元の円形に戻す。次にＳ８０において、操作オブジェクト制御部２３６は、操作オブジェクト２８の選択を解除する。次にＳ８１において、仮想カメラ制御部２２１は、仮想カメラ１の回転を停止させる。

　仮想カメラ１の回転停止後、Ｓ８２において、制御回路部２００は、通常モードに移行する。これにより視界領域決定部２２２は、仮想カメラ１の回転が停止した時点での仮想カメラ１の向きに基づき視界領域２３を特定する。視界画像生成部２２３は、Ｓ８３において、視界領域２３に基づき視界画像２６を生成し、Ｓ８４において視界画像２６をＨＭＤ１１０に出力する。ＨＭＤ１１０は、Ｓ８５において、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。

　図２６は、仮想カメラ１の回転が停止した後の仮想空間２および視界画像２６を示す図である。図２６の（ａ）に仮想空間２を示し、図２６の（ｂ）に視界画像２６を示す。図２６には、図２５に示す状態まで仮想カメラ１が回転した直後に、仮想カメラ１の回転が停止した場合の例を示す。仮想カメラ１の回転停止後、仮想空間２における操作オブジェクト２８の形状は元の円形に戻っている。これに対応して、視界画像２６に含まれる操作オブジェクト２８の形状も、元の円形に戻っている。操作オブジェクト２８は選択されておらず、さらに制御回路部２００は通常モードで動作している。したがってユーザは、通常通り、視線を動かすことによって視界画像２６内の所望のサムネイルを選択することができる。

　図２６の（ｂ）に示す視界画像２６には、仮想空間２においてサムネイルＳＮ１から離れた位置にあるサムネイルＳＮ４が含まれる。したがってユーザは、仮想カメラ１の回転前には視認できなかったサムネイルＳＮ４を、簡単な操作によって容易に自身の視野に収めることができる。また、ユーザは、サムネイルＳＮ４に視線を当てることによって、サムネイルＳＮ４に対応した動画コンテンツの視聴を開始することができる。

　以上のように、本発明に係るＨＭＤシステム１００は、通常モードでは仮想空間２に対するユーザの没入感を高めることができる。さらに、回転モードでは、ユーザは、通常モードに比べてより簡単な操作で、仮想空間２における所望の箇所を視認することができる。ＨＭＤシステム１００が通常モードおよび回転モードの両方に対応していることによって、仮想空間２におけるユーザの没入間を高めつつ、仮想空間２における操作性をより高めることができる。また、各サムネイルを仮想空間２における幅広い範囲にそれぞれ配置することができるので、仮想空間２をより有効に活用することができる。

　制御回路部２００は、回転モードにおいて、操作オブジェクト２８の伸張量が閾値を超えた場合、仮想カメラ１の回転を停止してもよい。具体的には、操作オブジェクト制御部２３６は、第２のモードにおいて、操作オブジェクト２８の伸張量が閾値を超えた場合、操作オブジェクトを元の形状に戻し、かつ、操作オブジェクトの選択を解除する。操作オブジェクト制御部２３６は、操作オブジェクト２８を元の形状に戻す前に、伸張した操作オブジェクト２８を切るように操作オブジェクト２８の表示状態を変更してもよい。仮想カメラ制御部２２１は、操作オブジェクト２８の伸張量が閾値を超えた場合、仮想カメラ１の回転を停止する。この後、制御回路部２００は、通常モードに移行する。この場合も、ユーザは簡単な操作で仮想カメラ１の停止させることができる。

　（仮想空間２を回転させる例）
　制御回路部２００は、回転モードにおいて、操作オブジェクト２８に対するユーザの操作に基づき、仮想カメラ１ではなく仮想空間２を回転させてもよい。この場合、回転制御部２３７は、特定した回転方向および回転速度を、仮想空間規定部２３１に通知する。仮想空間規定部２３１は、通知された回転方向および回転速度で仮想空間２を回転させる。ここでいう「回転」とは、仮想空間２の中心２１を通る軸を自転軸とした仮想空間２の自転を意味する。

　仮想空間規定部２３１は、仮想空間２のＸＹＺ座標系をグローバル座標系において回転させることによって、仮想空間２を回転させる。このとき、仮想空間データに含まれるＸＹＺ座標系を規定するデータを処理することによって、回転後のＸＹＺ座標系を規定するデータに更新する。仮想空間２における各メッシュの位置はＸＹＺ座標系における座標として各メッシュの管理データに規定されているので、ＸＹＺ座標系がグローバル座標系において回転することによって、各メッシュもグローバル座標系において同様に回転する。同様に、仮想空間２に配置されるサムネイルＳＮ１～ＳＮ４の位置も、ＸＹＺ座標系における座標として各サムネイルの管理データに規定されているので、ＸＹＺ座標系がグローバル座標系において回転することによって、サムネイルＳＮ１～ＳＮ４もグローバル座標系において同様に回転する。

　仮想空間規定部２３１は、仮想空間２を回転させる際、仮想カメラ１を仮想空間２と共に回転させない。すなわち、グローバル座標系における仮想カメラ１の位置および傾きを固定したまま、仮想空間２を回転させる。したがって、仮想空間２が回転すると、仮想空間２における仮想カメラ１のロール方向が相対的に変化する（仮想空間２に対して相対的に回転する）。その結果、視界領域２３の位置も相対的に変化するので、その変化に追随して視界領域２３に基づく視界画像２６も変化する。

　仮想空間２が鉛直方向を自転軸として左回りに回転すると、仮想空間２における視界領域２３の位置は、仮想空間２において相対的に右回りの方向に移動する。これにより視界画像２６は、ユーザから見て右から左に流れるように更新される。逆に、仮想空間２が鉛直方向を自転軸として右回りに回転すると、仮想空間２における視界領域２３の位置は、仮想空間２において相対的に左回りの方向に移動する。これにより視界画像２６は、ユーザから見て左から右に流れるように更新される。

　仮想空間規定部２３１は、仮想空間２を回転させる際、操作オブジェクト２８は仮想空間２と共に回転させないように制御する。具体的には、仮想カメラ１のｕｖｗ視野座標系における基準視線５と操作オブジェクトとの位置関係を維持したまま、仮想空間２を回転させる。言い換えると、仮想空間２の回転時、視界領域２３において基準視線５が交わる点に操作オブジェクト２８が常に配置されるように、仮想空間２における操作オブジェクト２８の位置を更新する。この結果、回転モードにおいて仮想空間２がどれだけ回転しても、視界画像２６には必ず操作オブジェクト２８が含まれる。ユーザは、仮想空間２の回転中において、伸張した操作オブジェクト２８を常に視認することによって、現在、操作オブジェクト２８に対する操作に基づき仮想空間２が回転していることを認識することができる。

　ユーザによって指定された操作オブジェクト２８の伸張方向に基づく仮想空間２の回転方向は、同じ伸張方向が指定された場合の仮想カメラ１の回転方向と逆であることが好ましい。これにより、視界画像２６が流れる方向を、仮想カメラ１の回転時と仮想空間２の回転時とで一致させることができる。したがって、仮想カメラ１または仮想空間２のいずれを回転させる場合でも、操作オブジェクト２８に対するユーザの同一の操作に基づく視界画像２６の流れる方向に一貫性を持たせることができる。

　（視線による操作オブジェクト２８の操作）
　通常モードにおいて、ユーザは、ＨＭＤ１１０ではなく視線を動かすことによって、操作オブジェクト２８を選択したり操作したりしてもよい。この場合、ユーザは、視界画像２６に含まれる操作オブジェクト２８に視線を向けることによって、視界画像２６において注視点２９を操作オブジェクト２８に当てる。視線管理部２３２は、注視点２９が操作オブジェクト２８に規定時間以上当たった否かを判定する。この判定結果が真である場合、操作オブジェクト制御部２３６は、操作オブジェクト２８がユーザによって選択されたことを検出する。これにより、制御回路部２００は回転モードに移行する。

　視線による操作オブジェクト２８の選択後、ユーザは、視線移動によって操作オブジェクト２８を操作することができる。この場合、ユーザは、操作オブジェクト２８が選択されているときに、視線をいずれかの方向に変化させる。視線管理部２３２は、視線変化前後の各視線方向Ｎ０に基づき、視線方向Ｎ０の移動方向および移動量を特定する。操作オブジェクト制御部２３６は、視線方向Ｎ０の移動方向に基づき操作オブジェクト２８の伸張方向を決定し、さらに、視線方向Ｎ０の移動量に基づき操作オブジェクト２８の伸張量を決定する。伸張方向および伸張量の決定後の操作オブジェクト２８の伸張および仮想カメラ１（または仮想空間２）の回転方法は、上述した例と同一である。

　以上の例では、ユーザは、ＨＭＤ１１０を動かすことなく、視線を変化させる（眼球を動かす）ことによって、仮想カメラ１または仮想空間２を所望の方向に回転させることができる。たとえば、回転モードにおいてユーザが正面右側に視線を移せば、仮想カメラ１を右回り（仮想空間２を左回り）に回転させることができる。一方、回転モードにおいてユーザが正面左側に視線を移せば、仮想カメラ１を左回り（仮想空間２を右回り）に回転させることができる。これらのようにユーザは、より簡単な操作で、仮想空間２における所望の箇所を自身の視界に収めることができる。

　（コントローラ３００による回転制御）
　ユーザは、コントローラ３００を操作することによって、操作オブジェクト２８を選択したり操作したりこともできる。この場合、通常モードにおいて、操作オブジェクト制御部２３６は、ユーザがコントローラ３００に対して操作オブジェクト２８を選択するための操作を行った場合、ユーザによって操作オブジェクト２８が選択されたことを検出する。また、回転モードにおいて、操作オブジェクト制御部２３６は、ユーザがコントローラ３００を操作することによって操作オブジェクト２８の伸張方向および伸張量を操作オブジェクト２８に指定する操作を行った場合、これらの伸張方向および伸張量を特定する。伸張方向および伸張量の決定後の操作オブジェクト２８の伸張および仮想カメラ１（または仮想空間２）の回転方法は、上述した例と同一である。

　以上の例では、ユーザは、ＨＭＤ１１０を動かすことなく、かつ視線を変化させることなく、コントローラ３００を操作することによって、仮想カメラ１または仮想空間２を所望の方向に回転させることができる。たとえば、回転モードにおいてユーザが操作オブジェクト２８を右側に伸張させるための操作をコントローラ３００に対して行えば、仮想カメラ１を右回り（仮想空間２を左回り）に回転させることができる。一方、回転モードにおいてユーザが操作オブジェクト２８を左側に伸張するための操作をコントローラ３００に対して行えば、仮想カメラ１を左回り（仮想空間２を右回り）に回転させることができる。

　コントローラ３００は、ユーザが右手で持つ右コントローラと、ユーザが左手で持つ左コントローラとからなるものであってもよい。この場合、制御回路部２００は、右コントローラの位置および傾きの検知値、ならびに、右コントローラが備える各ボタンへのユーザの押下操作の検出結果に基づき、ユーザの仮想右手を仮想空間２に生成することができる。同様に、制御回路部２００は、左コントローラの位置および傾きの検知値、ならびに、左コントローラが備える各ボタンへのユーザの押下操作の検出結果に基づき、ユーザの仮想左手を仮想空間２に生成することができる。仮想右手および仮想左手は、いずれもオブジェクトである。

　この態様では、ユーザは、仮想右手または仮想左手によって操作オブジェクト２８に作用を与えることによって、操作オブジェクト２８を選択したり操作したりすることができる。たとえばユーザが、仮想右手を操作オブジェクト２８に接触させるように右手を動かした場合、操作オブジェクト制御部２３６は、操作オブジェクト２８がユーザによって選択されたことを検出する。この後、ユーザが、仮想右手で操作オブジェクト２８をつまむための操作をコントローラ３００に対して行う（たとえば右コントローラのいずれかのボタンを押下する）と共に、仮想右手によって操作オブジェクト２８を所定方向にドラッグするように右手を動かした場合、操作オブジェクト制御部２３６は、右手を動かす前後の右コントローラの位置の各検知値に基づき、操作オブジェクト２８の伸張方向および伸張量を特定する。伸張方向および伸張量の決定後の操作オブジェクト２８の伸張および仮想カメラ１（または仮想空間２）の回転方法は、上述した例と同一である。

　以上の例では、ユーザは、ＨＭＤ１１０を動かすことなく、かつ視線を変化させることなく、右コントローラを操作することによって、仮想カメラ１または仮想空間２を所望の方向に回転させることができる。たとえば、回転モードにおいて、ユーザが、仮想右手によって操作オブジェクト２８を右方向にドラッグするように右コントローラを操作すれば、仮想カメラ１を右回り（仮想空間２を左回り）に回転させることができる。一方、回転モードにおいて、ユーザが、仮想右手によって操作オブジェクト２８を左側にドラッグするように右コントローラを操作すれば、仮想カメラ１を左回り（仮想空間２を右回り）に回転させることができる。これらの場合、ユーザは、より直感的に、仮想カメラ１または仮想空間２を回転させることができる。

　（機能区画による回転制御）
　プラットフォームが展開される仮想空間２を構成する天球面におけるいずれかの位置に、機能区画が規定されていてもよい。機能区画は、所定の機能を割り当てることができる領域である。以下では、機能区画をユーザが選択した場合に、制御回路部２００が回転モードに移行する例を説明する。以下の例では、機能区画には、ユーザの視線（視界方向または視線方向Ｎ０）が機能区画に当たったか否かを検出する機能が割り当てられている。さらに、機能区画には、ユーザの視線が機能区画に当たった時間を検出する機能も割り当てられている。

　視線管理部２３２は、通常モードにおいて機能区画に対してユーザの視線（基準視線５または視線方向Ｎ０）が規定時間以上当たったことを検出した場合、機能区画をユーザが選択したことを検出する。これにより制御回路部２００は、回転モードに移行する。この後、ユーザによる何らかの操作に基づき、制御回路部２００は仮想カメラ１または仮想空間２の回転を開始する。たとえば制御回路部２００は、規定時間以上の注視によってユーザが選択した機能区画からユーザの視線が外れたか否かを判定する。制御回路部２００は、ユーザの視線が機能区画から外れたと判定した場合、視線が外れた方向を特定する。そして、視線が外れた方向を視線の移動方向として特定し、さらに、特定した視線の移動方向に基づく回転方向に仮想カメラ１または仮想空間２を回転させる。本例のように機能区画を活用すれば、操作オブジェクト２８を規定することができない仮想空間２がユーザに提供される場合も、ユーザの操作に基づき仮想カメラ１または仮想空間２を回転させることができる。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。

　〔ソフトウェアによる実現例〕
　制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

　後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　〔付記事項１〕

　（項目１）ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記仮想空間を定義するステップと、前記仮想空間において再生される動画コンテンツと、前記動画コンテンツの表示域の一部に表示されるサブコンテンツとを合成して合成コンテンツを生成するステップと、前記合成コンテンツを前記仮想空間に適合させるステップと、前記ユーザの視線を特定するステップと、前記視線に基づいて、視界領域を特定するステップと、前記合成コンテンツのうち、前記視界領域に相当する視界画像を生成し、前記ＨＭＤに出力するステップと、を含む、仮想空間を提供する方法。ヘッドマウントディスプレイにて動画コンテンツを再生する際に、広告等の他のコンテンツを表示することができる。

　（項目２）前記サブコンテンツが前記仮想空間の予め定められた区画に表示されるように、前記動画コンテンツと前記サブコンテンツとを合成する、項目１の方法。動画コンテンツの作成者は、動画コンテンツにおいて表示される映像の中で広告を表示しても不自然ではない箇所を特定しておくことができるので、ユーザの没入感を損ねずに広告を表示することができる。

　（項目３）前記動画コンテンツに関連付けられた前記区画の空間的位置及び時間的位置を示す広告枠情報を取得するステップを含み、前記広告枠情報に基づいて前記動画コンテンツと前記サブコンテンツとを合成する、項目２の方法。動画コンテンツの作成者は、動画コンテンツにおいて表示される映像の中で広告を表示しても不自然ではない空間的位置および時間的位置を特定しておくことができるので、ユーザの没入感を損ねずに広告を表示することができる。

　（項目４）前記区画と、前記視線とが交わっているか否かを判別して視線情報を収集するステップをさらに含む、項目２又は３の方法。当該区画を用いることで、オブジェクトを用いなくてもユーザが広告に対して関心を持った度合いを評価することができる。

　（項目５）複数の候補動画コンテンツの内容を示す情報を一覧表示するコンテンツ一覧を前記仮想空間に適合させて表示するステップと、前記コンテンツ一覧において前記ユーザにより選択された前記候補動画コンテンツを前記動画コンテンツとして特定するステップと、をさらに含み、前記複数の候補動画コンテンツに含まれる２以上の候補動画コンテンツにおいては、前記動画コンテンツとして特定された場合に、前記サブコンテンツを同じ空間的位置の前記区画の一部を含むように合成する、項目４の方法。動画コンテンツが複数であっても広告に対するユーザの関心の度合いを効率的に評価することができる。

　（項目５）複数の候補動画コンテンツの内容を示す情報を一覧表示するコンテンツ一覧を前記仮想空間に適合させて表示するステップと、前記コンテンツ一覧において前記ユーザにより選択された前記候補動画コンテンツを前記動画コンテンツとして特定するステップと、をさらに含み、前記複数の候補動画コンテンツに含まれる２以上の候補動画コンテンツにおいては、前記動画コンテンツとして特定された場合に、前記サブコンテンツを同じ空間的位置の前記区画の一部を含むように合成する、項目４に記載の方法。

　（項目６）前記視線情報収集ステップでは、前記区画の水平方向の幅及び鉛直方向の幅が、前記動画コンテンツ中の前記サブコンテンツを合成する箇所の水平方向の幅及び鉛直方向の幅より大きくし、前記区画の鉛直方向の幅と前記箇所の鉛直方向の幅との差より、前記区画の水平方向の幅と当該箇所の水平方向の幅との差が小さい、項目２～５の方法。動画コンテンツの初期方向を鉛直方向に調整する必要性を低減させることができる。

　（項目７）複数の候補動画コンテンツの内容を示す情報を一覧表示するコンテンツ一覧を前記仮想空間に適合させて表示するステップと、前記コンテンツ一覧において前記ユーザにより選択された前記候補動画コンテンツを前記動画コンテンツとして特定するステップと、をさらに含む、項目１～４の方法。ユーザは複数の動画コンテンツの中から所望の動画コンテンツを選ぶことができる。

　（項目８）項目１から７のいずれか１つの方法の各ステップを、コンピュータに実行させるプログラム。

　（項目９）項目８に記載のプログラムを記録したコンピュータ読取可能な記録媒体。

　〔付記事項２〕

　（項目１）ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記仮想空間に適合させて再生するための動画コンテンツの初期方向を特定するステップと、前記初期方向の水平方向における向きと前記ＨＭＤのロール方向の水平方向における向きとが一致するように前記仮想空間に前記動画コンテンツを適合させて再生するステップと、前記初期方向の後方側に、第１のサブコンテンツを表示するステップと、前記ＨＭＤの向きおよび傾きのうち少なくとも一方に応じて視野を更新するステップと、を含む方法。ヘッドマウントディスプレイにて動画コンテンツを再生する際に広告等の他のコンテンツを表示しても、ユーザの没入感に与える影響が少ない。

　（項目２）前記初期方向の前方側に、第２のサブコンテンツをさらに表示するステップを含む、項目１の仮想空間を提供する方法。この方法によれば、第２のサブコンテンツとして、第１のサブコンテンツにユーザの視線を誘導する内容のものを表示することができる。よって、広告効果を高めることができる。

　（項目３）前記第２のサブコンテンツは、前記第１のサブコンテンツの少なくとも一部を示す画像である項目２の方法。この方法によれば、効果的に第１のサブコンテンツにユーザの視線を誘導することができる。よって、広告効果を高めることができる。

　（項目４）前記動画コンテンツには、前記第２のサブコンテンツを表示するための空間的位置及び時間的位置を含む枠情報が関連付けられており、前記枠情報を取得するステップをさらに含み、前記枠情報に基づいて、前記第２のサブコンテンツを表示する、項目２又は３の方法。動画コンテンツの作成者は、動画コンテンツにおいて表示される映像の中で第２のサブコンテンツを表示しても不自然ではない箇所を特定しておくことができるので、ユーザの没入感を損ねずに広告に視線誘導するためのコンテンツを表示することができる。

　（項目５）前記第１のサブコンテンツは広告コンテンツであり、前記第２のサブコンテンツは前記動画コンテンツに登場する反射面に投影される画像である、項目４の方法。この方法によれば、ユーザの没入感を損ねることなく、効果的に第１のサブコンテンツにユーザの視線を誘導することができる。よって、広告効果を高めることができる。

　（項目６）前記動画コンテンツを構成するフレームは、互いに異なる方向を向く複数の撮像素子によって撮影された画像であって、少なくとも一部が分離している画像をつなぎ合せて生成されており、前記視野更新ステップでは、前記第１のサブコンテンツを、前記画像のつなぎ目に重畳させて表示する、項目１～５の方法。つなぎ目は画像が歪んでいたり表示されていなかったりする虞があるが、そのような場所を広告等の第１のサブコンテンツで隠すことができるのでユーザの没入感を損ねない。

　（項目７）項目１～６の方法の各ステップを、コンピュータに実行させるプログラム。

　（項目８）項目７のプログラムを記録したコンピュータ読取可能な記録媒体。

　〔付記事項３〕

　（項目１）ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記仮想空間において再生されるコンテンツに応じて、前記基準座標系における前記ＨＭＤに対する仮想カメラの相対的な傾きまたは基準座標系に対する前記仮想空間の空間座標系の相対的な傾きを異ならせた状態で、前記仮想空間における前記仮想カメラの向きに応じた視界画像を生成するステップと、前記視界画像を前記ＨＭＤに表示させるステップとを有する、方法。異なる姿勢で見ることを前提とした様々なコンテンツを、ユーザの姿勢に応じて仮想空間において好適に再生することができる。

　（項目２）前記基準座標系に平行な前記空間座標系を有する前記仮想空間を規定するステップと、前記仮想空間に前記仮想カメラを配置するステップと、前記コンテンツに予め規定される傾き補正値に基づき、前記仮想カメラを前記基準座標系において前記ＨＭＤに対して相対的に傾けることによって、前記仮想空間における前記仮想カメラの向きを設定するステップとを有する、項目１の方法。仮想空間の空間座標系を基準座標系に対して傾ける必要がない。

　（項目３）前記コンテンツに予め規定される傾き補正値に基づき、前記基準座標系に対して相対的に傾いた前記空間座標系を有する前記仮想空間を規定するステップと、前記仮想空間に前記仮想カメラを配置するステップと、前記基準座標系における前記仮想カメラの傾きを前記ＨＭＤの傾きに一致させることによって、前記仮想空間における前記仮想カメラの向きを設定するステップとを有する、項目１の方法。仮想カメラをＨＭＤに対して傾ける必要がない。

　（項目４）前記仮想カメラの向きを設定するステップにおいて、水平方向に対する前記ＨＭＤの傾きが前記傾き補正値に一致する場合、前記仮想カメラの向きを、前記仮想空間におけるＸＺ平面に対して平行に設定する、項目２または３の方法。異なる姿勢で見ることを前提とした様々なコンテンツを、ユーザの姿勢に応じて仮想空間において最も好適に再生することができる。

　（項目５）前記ユーザの基準視線を特定するステップと、前記基準視線に基づいて、前記仮想カメラの向きを更新すると共に、視界領域を特定するステップと、前記視界領域に基づいて、前記視界画像を更新するステップとをさらに有する、項目１～４のいずれか１つの方法。ＨＭＤの動きに連動して視界画像を適切に更新することができる。

　（項目６）項目１～５のいずれか１つの方法の各ステップを、コンピュータに実行させるプログラム。

　（項目７）項目６のプログラムを記録したコンピュータ読み取り可能な記録媒体。

　〔付記事項〕
　（項目１）ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、第１のモードにおいて、前記仮想空間内に配置されかつ前記ＨＭＤに連動する仮想カメラのロール方向に基づく視界画像を前記ＨＭＤに表示させるステップと、第２のモードにおいて、前記ユーザの操作に基づき少なくとも回転方向を特定すると共に、前記操作が検出され続ける間、前記仮想カメラまたは前記仮想空間を前記回転方向に回転させ続けながら、前記ＨＭＤに表示させる前記視界画像を更新するステップとを有する、方法。仮想空間における操作性を高めることができる。

　（項目２）
　前記視界画像を前記ＨＭＤに表示させるステップにおいて、前記仮想空間に配置される操作オブジェクトを含む前記視界画像を前記ＨＭＤに表示させ、前記第１のモードにおいて、前記操作オブジェクトが前記ユーザによって選択されたことを検出するステップと、前記第１のモードにおいて、前記操作オブジェクトが選択されたことが検出された後、前記第２のモードに移行するステップとをさらに有する、項目１の方法。ユーザの意思により、第２のモードに移行することができる。

　（項目３）前記第２のモードにおいて、前記操作オブジェクトが選択されたことが検出された後、前記ユーザによって前記操作オブジェクトに指定された所定方向を特定するステップと、前記第２のモードにおいて、前記操作オブジェクトを前記所定方向に弾性変形させるステップとをさらに有し、前記回転方向を決定するステップにおいて、前記所定方向に基づき前記回転方向を決定する、項目２の方法。操作オブジェクトに対するユーザの操作に基づき、仮想カメラまたは仮想空間を回転させることができる。

　（項目４）
　前記回転方向を決定するステップにおいて、前記所定方向における水平方向の成分に基づき前記回転方向を決定する、項目３の方法。ユーザが仮想空間において酔うことを防止できる。

　（項目５）
　前記第２のモードにおいて、前記操作オブジェクトへの前記所定方向の指定が解除されたことを検出するステップと、前記第２のモードにおいて、前記所定方向の指定が解除されたことが検出された場合、前記操作オブジェクトを元の形状に戻すと共に、前記操作オブジェクトの選択を解除する変更するステップと、前記第２のモードにおいて、前記所定方向の指定が解除されたことが検出された場合、前記仮想カメラまたは前記仮想空間の回転を停止させると共に、前記第１のモードに移行するステップとをさらに有する、項目４の方法。ユーザは簡単な操作で仮想カメラまたは仮想空間の回転を停止させることができる。

　（項目６）
　前記第２のモードにおいて、前記操作オブジェクトが選択されたことが検出された後、基準座標系における前記ＨＭＤの傾きの変化量を特定するステップと、前記所定方向を特定するステップにおいて、前記傾きの変化量に基づき前記所定方向を特定する、項目３～５のいずれかの方法。ユーザはＨＭＤを傾ける方向を変えることによって仮想カメラまたは仮想空間の回転速方法を調整することができる。

　（項目７）
　前記所定方向の指定が解除されたことを検出するステップにおいて、前記仮想カメラまたは仮想空間の回転が開始された後の前記ＨＭＤの傾きが、前記操作オブジェクトが選択されたことが検出された時点の前記ＨＭＤの傾きに一致した場合、前記所定方向の指定が解除されたことを検出する、項目６の方法。ユーザは簡単な操作によって仮想カメラまたは仮想空間の回転を停止させることができる。

　（項目８）
　前記第２のモードにおいて、前記操作オブジェクトが選択されたことが検出された後、前記ユーザによって前記操作オブジェクトに指定された所定量を特定するステップと、前記第２のモードにおいて、前記所定量に基づき、前記仮想カメラまたは前記仮想空間を回転させる際の回転速度を決定するステップとをさらに有し、前記操作オブジェクトを弾性変形させるステップにおいて、前記操作オブジェクトを前記所定量だけ伸張させ、前記視界画像を更新するステップにおいて、前記仮想カメラまたは仮想空間を前記回転速度で回転させ続ける、項目３～７のいずれかの方法。ユーザは所望の回転速度で仮想カメラまたは仮想空間を回転させることができる。

　（項目９）
　前記第２のモードにおいて、前記所定量が閾値を超えた場合、前記操作オブジェクトを元の形状に戻し、かつ、前記操作オブジェクトの選択を解除するステップと、前記第２のモードにおいて、前記所定量が閾値を超えた場合、前記仮想カメラまたは前記仮想空間の回転を停止させるステップと、前記第２のモードにおいて、前記仮想カメラまたは前記仮想空間の回転が停止した後、前記第１のモードに移行するステップとをさらに有する、項目８の方法。ユーザは簡単な操作で仮想カメラまたは仮想空間の回転を停止させることができる。

　（項目１０）
　前記第２のモードにおいて、前記操作オブジェクトが選択されたことが検出された後、基準座標系における前記ＨＭＤの傾きの変化量を特定するステップをさらに備えており、、前記所定量を特定するステップにおいて、前記傾きの変化量に基づき前記所定量を特定する、項目８または９の方法。ユーザはＨＭＤを傾ける度合いを変えることによって仮想カメラまたは仮想空間の回転速方法を調整することができる。

　（項目１１）
　前記第１のモードにおいて、前記操作オブジェクトの少なくとも一部が、前記仮想カメラの視界領域の外に位置することを検出するステップと、前記第１のモードにおいて、前記操作オブジェクトの少なくとも一部が、前記視界領域の外に位置することが検出された場合、前記操作オブジェクトを前記視界領域の中に移動させるステップとをさらに有する、項目２～１０のいずれかの１つの方法。ユーザがオブジェクトを見つけ出しやすくなる
。

　（項目１２）
　前記第１のモードにおいて、前記仮想空間に規定される機能区画をユーザが選択したことを検出するステップと、前記第１のモードにおいて、前記仮想空間に規定される機能区画をユーザが選択したことが検出された場合、前記第２のモードに移行するステップをさらに有する、項目１の方法。オブジェクトを用いることができない仮想空間が提供される場合も、ユーザの操作に基づき仮想カメラまたは仮想空間を回転させることができる。

　（項目１３）
　項目１～１２のいずれかの方法の各ステップを、コンピュータに実行させるプログラム。

　（項目１４）
　項目１３のプログラムを記録したコンピュータ読み取り可能な記録媒体。

　１　仮想カメラ、２　仮想空間、５　基準視線、２１　中心、２２　仮想空間画像、２３　視界領域、２４　第１領域、２５　第２領域、２６　視界画像、１００　ＨＭＤシステム、１１０　ＨＭＤ、１１２　ディスプレイ、１１４　センサ、１２０　ＨＭＤセンサ
、１３０　注視センサ、２００　制御回路部、２１０　検出部、２１１　ＨＭＤ検出部、
２１２　視線検出部、２１３　操作受付部、２２０　表示制御部、２２１　仮想カメラ制
御部、２２２　視界領域決定部、２２３　視界画像生成部、２３０　仮想空間制御部、２
３１　仮想空間規定部、２３２　視線管理部、２３３　コンテンツ特定部、２３４　コンテンツ管理部、２４０　記憶部、２４１　雛形格納部、２４２　コンテンツ格納部、２５０　通信部、３００　コントローラ、Ｃ１’、Ｃ１”　シーン、Ｆ１　表示域、Ｆ２　表示域、ＦＥ　視線情報収集区画、Ｇ　格子、Ｎ０　視線方向、Ｎ１　注視点、ＳＣ１、ＳＣ２　広告コンテンツ

Claims

　ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、
　前記仮想空間を定義するステップと、
　前記仮想空間において再生される動画コンテンツと、前記動画コンテンツの表示域の一部に表示されるサブコンテンツとを合成して合成コンテンツを生成するステップと、
　前記合成コンテンツを前記仮想空間に適合させるステップと、
　前記ユーザの視線を特定するステップと、
　前記視線に基づいて、視界領域を特定するステップと、
　前記合成コンテンツのうち、前記視界領域に相当する視界画像を生成し、前記ＨＭＤに出力するステップと、を含む、方法。
　前記サブコンテンツが前記仮想空間の予め定められた区画に表示されるように、前記動画コンテンツと前記サブコンテンツとを合成する、請求項１に記載の方法。
　前記動画コンテンツに関連付けられた前記区画の空間的位置及び時間的位置を示す広告枠情報を取得するステップを含み、
　前記広告枠情報に基づいて前記動画コンテンツと前記サブコンテンツとを合成する、請求項２に記載の方法。
　前記区画と、前記視線とが交わっているか否かを判別して視線情報を収集するステップをさらに含む、請求項２又は３に記載の方法。
　複数の候補動画コンテンツの内容を示す情報を一覧表示するコンテンツ一覧を前記仮想空間に適合させて表示するステップと、
　前記コンテンツ一覧において前記ユーザにより選択された前記候補動画コンテンツを前記動画コンテンツとして特定するステップと、をさらに含み、
　前記複数の候補動画コンテンツに含まれる２以上の候補動画コンテンツにおいては、前記動画コンテンツとして特定された場合に、前記サブコンテンツを同じ空間的位置の前記区画の一部を含むように合成する、請求項４に記載の方法。
　前記区画の水平方向の幅及び鉛直方向の幅が、前記動画コンテンツ中の前記サブコンテンツを合成する箇所の水平方向の幅及び鉛直方向の幅より大きく、
　前記区画の水平方向の幅と当該箇所の水平方向の幅との差が、前記区画の鉛直方向の幅と前記箇所の鉛直方向の幅との差より小さい、請求項２～５のいずれか１項に記載の方法。
　複数の候補動画コンテンツの内容を示す情報を一覧表示するコンテンツ一覧を前記仮想空間に適合させて表示するステップと、
　前記コンテンツ一覧において前記ユーザにより選択された前記候補動画コンテンツを前記動画コンテンツとして特定するステップと、をさらに含む、請求項１～４のいずれか１項に記載の方法。
　請求項１から７のいずれか１項に記載の仮想空間を提供する方法の各ステップを、コンピュータに実行させるプログラム。
　請求項８に記載のプログラムを記録したコンピュータ読取可能な記録媒体。