[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6554139B2 - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP6554139B2
JP6554139B2 JP2017092370A JP2017092370A JP6554139B2 JP 6554139 B2 JP6554139 B2 JP 6554139B2 JP 2017092370 A JP2017092370 A JP 2017092370A JP 2017092370 A JP2017092370 A JP 2017092370A JP 6554139 B2 JP6554139 B2 JP 6554139B2
Authority
JP
Japan
Prior art keywords
virtual space
information
user
image data
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017092370A
Other languages
English (en)
Other versions
JP2018190196A (ja
Inventor
英太 菊地
英太 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2017092370A priority Critical patent/JP6554139B2/ja
Publication of JP2018190196A publication Critical patent/JP2018190196A/ja
Application granted granted Critical
Publication of JP6554139B2 publication Critical patent/JP6554139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
非特許文献1は、仮想空間において、ユーザに関連付けられたアバターオブジェクトをユーザの操作に基づいて動作させる技術を開示している。
"Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote"、[online]、平成28年10月6日、VRvibe、[平成28年12月5日検索]、インターネット<https://www.youtube.com/watch?v=NCpNKLXovtE>
仮想空間における仮想体験のエンタテイメント性を向上させる方法の1つとして、現実空間と同じように仮想空間の一部を切り取った2次元画像(例えば記念写真等)を撮影および保存できる仕組みを提供することが考えられる。しかし、このような仕組みを提供するだけでは、現実空間と同じ仕組みを提供するに留まり、仮想空間ならではの体験を提供するまでには至らない。
そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、ユーザ端末の動きと、仮想空間データと、に基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、仮想空間における所定位置から見た仮想空間の一部に相当する2次元画像データを生成するステップと、2次元画像データと仮想空間データとを関連付けるステップと、2次元画像データに関連付けられた仮想空間データを再定義するステップと、再定義された仮想空間データに基づいて、2次元画像データを更新するステップと、を含む。
本開示によれば、仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。
ある実施の形態に従うHMDシステム100の構成の概略を表す図である。 一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。 仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。 仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラ160の概略構成を表す図である。 ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。 HMDシステム100Aが実行する処理を表すフローチャートである。 複数ユーザに共有される仮想空間2を模式的に表す図である。 ユーザ190Aに提供される視界画像Mの一例を表す図である。 HMDシステム100A、HMDシステム100B、HMDシステム100C、およびサーバ150が実行する処理を示すシーケンス図である。 2次元画像データの生成および編集に関する処理を表すフローチャートである。 動き情報の一例を説明するための図である。 表示オブジェクトDの一例を表す図である。 表示オブジェクトDに対する編集処理を説明するための図である。
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD装置110(ユーザ端末)と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、ディスプレイ112(表示部)と、カメラ116と、マイク118と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をディスプレイ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
ディスプレイ112は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、ディスプレイ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ112は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイとして実現され得る。ディスプレイ112は、HMD装置110の本体と一体に構成されてもよいし、別体として構成されてもよい。
ある局面において、ディスプレイ112は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
カメラ116は、HMD装置110を装着するユーザの顔画像を取得する。カメラ116によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ116は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、HMD装置110本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ116は、ユーザの口、頬、および顎等の動きを検知するために、図1に示されるようにHMD装置110の外側に配置された外付けカメラであってもよい。また、カメラ116は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。
マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ150は、一または複数のコンピュータ装置により構成され得る。サーバ150は、後述するコンピュータ200のハードウェア構成と同様のハードウェア構成(プロセッサ、メモリ、ストレージ等)を備え得る。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD装置110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。例えば、入出力インターフェース13は、Bluetooth(登録商標)等の無線通信インターフェースを含み得る。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてディスプレイ112に映像を表示する。
サーバ150は、ネットワーク19を介して複数のHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMD装置110Aを有するHMDシステム100Aと、HMD装置110Bを有するHMDシステム100Bと、HMD装置110Cを有するHMDシステム100Cとを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。なお、HMDシステム100A、HMDシステム100B、HMDシステム100C、およびその他のHMDシステム100は、いずれも同様の構成を備える。ただし、各HMDシステム100は、互いに異なる機種であってもよいし、互いに異なる性能(処理性能、およびユーザ動作の検知に関する検知性能等)を有してもよい。
なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、ディスプレイ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。仮想空間2内の各位置は、XYZ座標系における座標値によって一意に特定される。
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1は、例えば仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および傾きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がディスプレイ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をディスプレイ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。視界領域23内において仮想カメラ1と仮想空間画像22との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像22よりも手前側にある仮想オブジェクトが仮想空間画像22に重畳して表示される。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、ディスプレイ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および傾きに基づいて、HMD装置110のディスプレイ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野(視界)が定義される。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の状態(A)に示されるように、ある局面において、コントローラ160は、右コントローラ160Rと左コントローラ(図示しない)とを含み得る。右コントローラ160Rは、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ160Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ160Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ160Rについて説明する。
右コントローラ160Rは、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ160Rと左コントローラとの各位置および姿勢(傾き、向き)等を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。
ある局面において、右コントローラ160Rおよび左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ160Rおよび左コントローラは、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ160Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、チャット制御モジュール233と、仮想空間記録モジュール234とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD装置110のディスプレイ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、ディスプレイ112に表示される視界画像を生成する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト制御モジュール232は、後述するコンテンツ情報241およびオブジェクト情報242に基づいて、仮想空間2に配置される仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2における仮想オブジェクトの動作(移動および状態変化等)も制御する。
仮想オブジェクトは、仮想空間2に配置されるオブジェクト全般である。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、仮想オブジェクトは、仮想空間におけるユーザの分身であるアバターおよびユーザにより操作されるゲームのキャラクタ(プレイヤキャラクタ)等のキャラクタオブジェクトを含み得る。さらに、仮想オブジェクトは、ユーザ190の身体の一部(例えば手)の動きに応じて動くオブジェクトである操作オブジェクトを含み得る。操作オブジェクトは、例えば、HMD装置110を装着したユーザ190の手に相当する手オブジェクト、ユーザ190の指に相当する指オブジェクト等を含み得る。また、手オブジェクトに関連付けられて操作されるオブジェクトも、ユーザ190の手の動きに応じて動く操作オブジェクトとして機能し得る。例えば、手オブジェクトにより把持されるタッチペン等のスティック状のオブジェクト等が、操作オブジェクトとして機能し得る。なお、以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。
チャット制御モジュール233は、同じ仮想空間2に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール233は、仮想空間2を介したチャットを行うために必要なデータ(例えば、マイク118に入力された音声データ等)をサーバ150に送信する。また、チャット制御モジュール233は、サーバ150から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。また、チャット制御モジュール233は、その他のユーザ間で共有すべきデータについても、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。共有すべきデータとしては、アバターの身体の一部の動作を制御するための動き検知データ等がある。
動き検知データは、例えば、向きデータ、アイトラッキングデータ、フェイストラッキングデータ、およびハンドトラッキングデータ等である。向きデータは、HMDセンサ120等により検出されたHMD装置110の位置および傾きを示す情報である。アイトラッキングデータは、注視センサ140等により検出された視線方向を示す情報である。フェイストラッキングデータは、例えばHMD装置110Aのカメラ116により取得された画像情報に対する画像解析処理によって生成されるデータである。フェイストラッキングデータは、ユーザ190Aの顔の各パーツの位置および大きさの経時変化を示す情報である。ハンドトラッキングデータは、例えばモーションセンサ130等により検出されたユーザ190Aの手の動きを示す情報である。
本実施形態では、チャット制御モジュール233は、音声データと動き検知データとを含む情報(以下「プレイヤ情報」という。)を、ユーザ間で共有すべき情報として、サーバ150を介して他のユーザのHMDシステム100との間で送受信する。プレイヤ情報の送受信は、通信制御モジュール250の機能を利用することにより実現される。
仮想空間記録モジュール234は、2次元画像データの生成および編集等の制御を行う。仮想空間記録モジュール234による詳細な処理については後述する。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、コンテンツ情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
コンテンツ情報241には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。具体的には、コンテンツ情報241は、仮想空間2の背景を規定する仮想空間画像データ(仮想空間画像22)と、仮想空間2に配置されるオブジェクトの定義情報とを含み得る。オブジェクトの定義情報は、オブジェクトを描画するための描画情報(例えば、オブジェクトの形状および色等のデザインを表す情報)、およびオブジェクトの初期配置を示す情報等を含み得る。また、予め設定された動作パターンに基づいて自律的に動作するオブジェクトの定義情報は、当該動作パターンを示す情報(プログラム等)を含み得る。予め定められた動作パターンに基づく動作の例としては、草を模したオブジェクトが一定のパターンで揺れる動作のような単純な繰り返し動作が挙げられる。
オブジェクト情報242には、仮想空間2に配置される各オブジェクトの状態(ゲームの進行およびユーザ190の操作等に応じて変化し得る状態)を示す情報が含まれている。具体的には、オブジェクト情報242は、各オブジェクトの位置(例えばオブジェクトに設定された重心の位置)を示す位置情報を含み得る。また、オブジェクト情報242は、変形可能なオブジェクトの動作を示す動き情報(すなわち、オブジェクトの形状を特定するための情報)をさらに含み得る。変形可能なオブジェクトの例としては、上述したアバターのように、頭部、胴体、および手等のパーツを有し、ユーザ190の動きに応じて各パーツを独立して動かすことが可能なオブジェクト等が挙げられる。
ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、コンテンツ情報241に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。
メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190Aによって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。他のHMDシステム100B,100Cにおいても、同様の処理が実行される。
ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2の背景を構成する仮想空間画像データ(仮想空間画像22)を特定し、仮想空間2を定義する。
ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
ステップS4において、HMD装置110のディスプレイ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110Aを装着したユーザ190Aは、視界画像を視認すると仮想空間2を認識し得る。
ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置および傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110Aの位置と傾きとに基づいて、HMD装置110Aを装着したユーザ190Aの視界方向(すなわち、仮想カメラ1の位置および傾き)を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
ステップS7において、コントローラ160は、現実空間におけるユーザ190Aの操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190Aによってボタンが押下されたことを検出する。別の局面において、コントローラ160は、ユーザ190Aの両手の動作(たとえば、両手を振る等)を検出する。検出内容を示す信号は、コンピュータ200に送られる。
ステップS8において、プロセッサ10は、チャット制御モジュール233として、他のHMDシステム100(ここではHMDシステム100B,100C)との間で、サーバ150を介してプレイヤ情報を送受信する。
ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として、各ユーザ190のプレイヤ情報に基づいて、各ユーザに関連付けられたアバターの動作を制御する。
ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS9の処理結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
ステップS11において、HMD装置110のディスプレイ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
ステップS5〜S11の処理は、定期的に繰り返し実行される。
図11は、複数ユーザに共有される仮想空間2を模式的に表す図である。図11に示される例では、HMD装置110Aを装着するユーザ190Aに関連付けられたアバターA1と、HMD装置110Bを装着するユーザ190Bに関連付けられたアバターA2と、HMD装置110Cを装着するユーザ190Cに関連付けられたアバターA3とが、同一の仮想空間2に配置されている。このような複数ユーザに共通の仮想空間2によれば、各ユーザに対して、アバターA1〜A3を介した他のユーザとのチャット等のコミュニケーション体験を提供することができる。
この例では、各アバターA1〜A3は、動物(猫、熊、うさぎ)を模したキャラクタオブジェクトとして定義されている。アバターA1〜A3は、ユーザの動きに連動して動作可能な部分として、頭部(顔の向き)、目(視線および瞬き等)、顔(表情)、および手を含んでいる。頭部は、HMDセンサ120等によって検出されたHMD装置110の動きに連動して動く部分である。目は、カメラ116および注視センサ140等によって検出されたユーザの目の動きおよび視線の変化に連動して動く部分である。顔は、後述するフェイストラッキングデータに基づいて決定される表情が反映される部分である。手は、モーションセンサ130等により検出されたユーザの手の動きに連動して動く部分である。また、アバターA1〜A3は、頭部および手に付随して表示される胴体部および腕部とを含んでいる。なお、腰から下の脚部については動作制御が複雑となるため、アバターA1〜A3は脚部を含んでいない。
アバターA1の視野は、HMDシステム100Aにおける仮想カメラ1の視野と一致している。これにより、ユーザ190Aに対して、アバターA1の1人称視点における視界画像Mが提供される。すなわち、ユーザ190Aに対して、あたかも自分がアバターA1として仮想空間2に存在しているかのような仮想体験が提供される。図12は、HMD装置110Aを介してユーザ190Aに提供される視界画像Mの一例を表す図である。ユーザ190B,190Cに対しても同様に、アバターA2,A3の1人称視点における視界画像が提供される。
図13は、仮想空間2におけるチャットを実現するためにHMDシステム100A、HMDシステム100B、HMDシステム100C、およびサーバ150が実行する処理を表すシーケンス図である。
ステップS21Aにおいて、HMDシステム100Aにおけるプロセッサ10は、チャット制御モジュール233として、アバターA1の動作を決定するためのプレイヤ情報を取得する。プレイヤ情報には、アバターA1(あるいはアバターA1に関連付けられるユーザ190A)を特定する情報(ユーザID等)、およびアバターA1が存在する仮想空間2を特定する情報(ルームID等)等が含まれてもよい。プロセッサ10は、チャット制御モジュール233として、上述のように取得されたプレイヤ情報を、ネットワーク19を介してサーバ150に送信する。
ステップS21Bにおいて、HMDシステム100Bにおけるプロセッサ10は、ステップS21Aにおける処理と同様に、アバターA2の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。同様に、ステップS21Cにおいて、HMDシステム100Cにおけるプロセッサ10は、アバターA3の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。
ステップS22において、サーバ150は、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ150は、各プレイヤ情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間2に関連付けられた全ユーザ(この例では、ユーザ190A〜190C)のプレイヤ情報を統合する。そして、サーバ150は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間2に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。
続いて、サーバ150から各HMDシステム100A〜100Cに送信されたプレイヤ情報に基づいて、各HMDシステム100A〜100Cは、ステップS23A〜S23Cの処理を実行する。なお、ステップS23Aの処理は、図10におけるステップS9の処理に相当する。
ステップS23Aにおいて、HMDシステム100Aにおけるプロセッサ10は、仮想オブジェクト制御モジュール232として、仮想空間2におけるユーザ190A〜190CのアバターA1〜A3の動作を制御する。具体的には、プロセッサ10は、HMDシステム100Bから送信されたプレイヤ情報に含まれるユーザ190A〜190Cの動き検知データに基づいて、アバターA1〜A3の動作を制御する。ステップS23BおよびS23Cの処理は、ステップS23Aの処理と同様である。
[2次元画像データの生成および編集]
図14を参照して、2次元画像データの生成および編集に関する処理手順を説明する。2次元画像データは、仮想空間2における所定位置から見た仮想空間2の一部に相当する。2次元画像データは、仮想カメラ1により定義される視界画像と同様に、仮想空間2内に設定された所定の視界領域によって規定される。
本実施形態では、2次元画像データの生成および編集に関する処理がHMDシステム100Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDシステム100B,100Cにより実行されてもよいし、当該処理の一部または全部がサーバ150によって実行されてもよい。
ステップS31において、HMDシステム100Aのプロセッサ10(以下単に「プロセッサ10」)は、仮想空間定義モジュール231として、仮想空間2を定義する。当該処理は、図10のステップS1の処理に相当する。具体的には、プロセッサ10は、仮想空間2を定義する仮想空間データを生成することにより、仮想空間2を規定する。仮想空間データは、上述したコンテンツ情報241とオブジェクト情報242とを含む。
ステップS32において、プロセッサ10は、HMD装置110Aの動きに応じて仮想空間2における仮想カメラ1の位置および傾きを決定する。当該処理は、図10のステップS6の処理の一部に相当する。
ステップS33において、プロセッサ10は、視界画像M(図12参照)をユーザ190に提供する。具体的には、プロセッサ10は、HMD装置110Aの動き(すなわち仮想カメラ1の位置および傾き)と、仮想空間2を定義する仮想空間データと、に基づいて視界画像Mを生成し、HMD装置110Aのディスプレイ112に視界画像Mを表示させる。当該処理は、図10のステップS10の処理に相当する。
上述したステップS32およびS33の処理(すなわち、HMD装置110Aの動きに応じた視界画像Mの更新)は、後述するステップS34〜S40が実行される間にも、継続して繰り返し実行される。
ステップS34において、プロセッサ10は、仮想空間記録モジュール234として、予め定められた条件が成立した場合に、仮想空間2における所定位置から見た仮想空間2の一部に相当する2次元画像データを生成する。例えば、プロセッサ10は、コントローラ160に対する予め定められた入力操作、および視界画像に表示されるメニュー画面に対するユーザ操作等を受け付けた場合に、2次元画像データを生成する。
例えば、プロセッサ10は、ユーザ190Aから、2次元画像データを生成するための画像生成用視界領域を示す情報を受け付ける。画像生成用視界領域は、例えば図6および図7に示される視界領域23と同様に定義される視界領域であり、仮想空間2内における位置、方向、極角、および方位角等の情報により特定され得る。なお、視界領域23の極角αおよび方位角βを画像生成用視界領域の極角および方位角として用いる場合には、プロセッサ10は、ユーザ190Aから、仮想空間2内における位置および方向を示す情報のみを受け付ければよい。続いて、プロセッサ10は、画像生成用視界領域と仮想空間2とが重なる部分を写した2次元画像データを生成する。当該2次元画像データは、仮想カメラ1の位置および傾きに基づいて視界画像データを決定する処理と同様の処理により生成される。
画像生成用視界領域は任意の方法により定められ得る。例えば、仮想カメラ1の位置および傾きに基づく視界領域23が画像生成用視界領域としても利用されてもよい。この場合、ユーザ190Aに提供される視界画像と同一の2次元画像が、2次元画像データとして生成されることになる。
ステップS35において、プロセッサ10は、仮想空間記録モジュール234として、生成された2次元画像データと仮想空間データとを関連付ける。2次元画像データに関連付けられる仮想空間データは、コンテンツ情報241と、2次元画像データの生成時点におけるオブジェクト情報242(各オブジェクトの位置情報および各変形オブジェクトの動き情報)と、を含む。
プロセッサ10は、変形オブジェクトの動き情報として、変形オブジェクトの予め定められた複数の部分の位置を示す情報を取得してもよい。変形オブジェクトの予め定められた複数の部分は、当該変形オブジェクトの形状および姿勢を特定するために必要なポイントとして予め設定された部分である。例えば、変形オブジェクトがアバターである場合、上記複数の部分は、アバターの関節に相当する部分を含み得る。
図15を参照して、上記複数の部分の例を説明する。図15は、アバターA2に設定された複数の部分Pの例を表す図である。この場合、プロセッサ10は、オブジェクト(アバターA2)の形状および姿勢を特定するために必要となる複数(ここでは11個)の部分Pの位置情報(例えば仮想空間2のXYZ座標における座標値)を、動き情報として取得してもよい。各部分Pの位置に基づいて隣接する部分P同士を接続するボーン(骨)の位置および姿勢が特定され、特定された個々のボーンの位置および姿勢に基づいて変形オブジェクトの骨格が特定される。特定された骨格の上に肉付けを行う(変形オブジェクトの定義情報に含まれる外観デザインを適用する)ことにより、変形オブジェクトの形状および姿勢を再現することができる。このように、変形オブジェクトの具体的な外観デザインを含むデータ(画像データ等)ではなく、比較的データ量の少ない変形オブジェクトの一部(部分P)の位置情報を動き情報として利用することにより、動き情報のデータ量を抑えることができる。
ステップS36において、プロセッサ10は、仮想空間記録モジュール234として、2次元画像データに表された仮想空間2の一部が表示された表示オブジェクトDを生成する。例えば、プロセッサ10は、2次元画像データに関連付けられた仮想空間データと画像生成用視界領域とに基づいて、表示オブジェクトDに表示される仮想空間2の一部を再現することができる。
図16は、仮想空間2に配置された表示オブジェクトDの一例を表す図である。表示オブジェクトDは、2次元画像データに基づいて生成された画像(テクスチャ)が表面に貼られたオブジェクトである。表示オブジェクトDが仮想空間2に配置されることにより、仮想空間2を共有する複数のユーザ190(この例では、アバターA1,A2に対応するユーザ190A,190B)は、仮想空間2内において2次元画像データの内容を一緒に確認することができる。表示オブジェクトDは、仮想空間2内の所定の位置に固定されたオブジェクトであってもよいし、移動可能なオブジェクトであってもよい。後者の例としては、アバターを介して持ち運び可能な写真を模したオブジェクト等が挙げられる。
ステップS37において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ユーザ190の手の動きに応じて手オブジェクト(アバターの手の部分に相当するオブジェクト)を動かす。当該処理は、図10のステップS9の処理に相当する。
ステップS38において、プロセッサ10は、仮想オブジェクト制御モジュール232として、手オブジェクトを介した表示オブジェクトDに対する入力を受け付ける。具体的には、プロセッサ10は、2次元画像データの内容を変更するためのユーザ190からの入力を受け付ける。例えば、被写体であるオブジェクト(例えばアバター)同士の距離が遠すぎる、オブジェクト同士が重なっている、木等のオブジェクトが構図を悪くしているといったように、2次元画像データの構図に改善の余地がある場合がある。このような場合に、ユーザ190は、操作オブジェクト(手オブジェクトまたは手オブジェクトに関連付けられたオブジェクト)を介した表示オブジェクトDに対する入力操作により、2次元画像データ内のオブジェクトの位置等を変更することが可能となっている。具体的には、タッチパネルに対してドラッグ操作を行うような感覚で、表示オブジェクトDに対する操作を行うことが可能となっている。
図17の状態(A)は、表示オブジェクトに対する入力操作の一例を示す。まず、変形しないオブジェクト(以下「非変形オブジェクト」)F1,F2,F3に対する操作例について説明する。ここでは一例として、非変形オブジェクトF1に対する操作例について説明する。例えば、手オブジェクトHが表示オブジェクトDに表示された非変形オブジェクトF1に一定距離以下まで近づくと、プロセッサ10は、手オブジェクトHと非変形オブジェクトF1との接触を検知する。そして、プロセッサ10は、手オブジェクトHと非変形オブジェクトF1とが接触した状態のまま手オブジェクトHが移動した場合に、非変形オブジェクトF1を移動させる移動操作を検知し、その移動量(例えばベクトル)を示す情報を取得する。
次に、変形オブジェクトであるアバターA2,A3に対する操作例について説明する。ここでは一例として、アバターA3に対する操作例について説明する。変形オブジェクトであるアバターA3に対しては、非変形オブジェクトF1を移動させる操作と同様の移動操作以外に、アバターA3を変形させる操作が可能である。例えば、プロセッサ10は、表示オブジェクトDに表示されたアバターA3の複数の部分Pのいずれかを操作対象として選択する操作を、ユーザ190から受け付ける。そして、プロセッサ10は、手オブジェクトHと選択された部分Pとが接触した状態のまま手オブジェクトHが移動した場合に、当該部分Pを移動させる変形操作を検知し、その移動量(例えばベクトル)を示す情報を取得する。
なお、表示オブジェクトDに表示されたオブジェクトに対する操作は、手オブジェクトHによって直接行われてもよいし、手オブジェクトHに関連付けられたオブジェクト(例えばタッチペン等を模したオブジェクト等)によって行われてもよい。
ステップS39において、プロセッサ10は、仮想空間記録モジュール234として、ステップS38で受け付けた入力に基づいて、2次元画像データに関連付けられた仮想空間データを再定義する。再定義とは、既に定義されているデータの内容を異なる内容に書き換えることである。
表示オブジェクトDに表示された非変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を取得する。この場合、プロセッサ10は、2次元画像データに関連付けられた仮想空間データのうち操作対象とされた非変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。すなわち、プロセッサ10は、当該非変形オブジェクトの元の位置から上記移動量だけ移動した後の位置(例えばXYZ座標値)を、当該非変形オブジェクトの新たな位置情報として再定義する。
表示オブジェクトDに表示された変形オブジェクトを移動させる操作がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を取得する。この場合、プロセッサ10は、上述同様の処理により、2次元画像データに関連付けられた仮想空間データのうち操作対象とされた変形オブジェクトの位置情報を、上記移動量に基づいて再定義する。なお、変形オブジェクト自体を移動させる場合、変形オブジェクトの複数の部分Pの各々の位置も同様に移動させる必要がある。このため、プロセッサ10は、当該変形オブジェクトの動き情報についても、上記移動量に基づいて再定義する。具体的には、プロセッサ10は、当該変形オブジェクトの動き情報に含まれる複数の部分Pの各々の位置情報を、上記移動量に基づいて再定義する。
表示オブジェクトDに表示された変形オブジェクトの一部(部分P)を移動させる操作(すなわち変形オブジェクトを変形させる操作)がされた場合、上述したように、プロセッサ10は、その移動量を示す情報を取得する。ここで、部分Pはアバターの関節に相当する部分であり、各部分Pはボーン(骨)により互いに連結されている。したがって、一の部分Pの位置を変化させた場合、その影響を受けて他の部分Pの位置も変化し得る。一の部分Pの位置の変化が他の部分Pの位置に与える影響は、複数の部分Pとそれらを結合するボーンとを含むスケルトンモデルについて予め定められた計算を実行することにより求められる。プロセッサ10は、このような計算を実行することにより、操作対象とされた変形オブジェクトの部分Pを上記移動量だけ移動させた場合に影響を受ける他の部分Pの移動量を算出する。そして、プロセッサ10は、操作対象とされた変形オブジェクトの動き情報のうち操作対象とされた部分Pの位置情報を、上記移動量に基づいて再定義する。また、プロセッサ10は、影響を受ける他の部分Pの位置情報についても、上記算出された移動量に基づいて再定義する。
ステップS40において、プロセッサ10は、ステップS39において再定義された仮想空間データに基づいて、2次元画像データを更新する。例えば、プロセッサ10は、再定義された後の仮想空間データに基づいて、再定義された後の仮想空間の状態(すなわち、オブジェクトの位置または形状が変更された後の状態)を内部的に再現する。そして、プロセッサ10は、内部的に再現された仮想空間と、2次元画像データを生成した際に用いられた画像生成用視界領域とに基づいて、2次元画像データを更新する。
すなわち、プロセッサ10は、オブジェクトの位置情報が再定義された場合、当該オブジェクトが再定義された後の位置情報に示される位置に配置されるように、2次元画像データを更新する。また、プロセッサ10は、変形オブジェクトの動き情報が再定義された場合、当該変形オブジェクトが再定義された後の形状となるように、2次元画像データを更新する。
図17の状態(B)は、表示オブジェクトDに表示された更新後の2次元画像データの例を表している。この例では、非変形オブジェクトF1,F2,F3は、当初位置よりも全体的に右側に移動している。また、変形オブジェクトであるアバターA3は、当初位置よりもアバターA2の近くに移動すると共に、右手部分の形状が手を挙げている状態から手を下した状態に変更されている。
例えば、通常の画像データにおいては、当該画像データに写った被写体をずらしただけでは、元々被写体が写っていた領域に対応するデータが存在しないため、当該領域が空白になってしまう。一方、上述のように再定義された後の仮想空間データに基づく仮想空間(すなわち3次元空間)を内部的に再現することにより、オブジェクトをずらした場合に元々オブジェクトが写っていた領域に対応するデータ(例えば背景等)を取得することができる。これにより、元々オブジェクトが写っていた領域に適切な画像が表示された2次元画像データを生成することができる。
以上説明した2次元画像データの生成および編集によれば、仮想空間2の一部を単に切り取った2次元画像を撮影および保存できる仕組みをユーザ190に提供することに留まらず、編集自由度の高い2次元画像をユーザ190に提供することが可能となる。これにより、ユーザ190の仮想体験のエンタテイメント性を向上させることができる。例えば、ユーザ190に対して、仮想空間2内で他のユーザ190と一緒に2次元画像データを自由に生成および編集するといった、仮想空間2ならではの体験を提供することができる。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
上記実施形態では、仮想空間2を定義するためにデータアクセスされるコンテンツ情報241(背景データおよびオブジェクトの定義情報等)は、表示オブジェクトDに表示される仮想空間の一部を再現する際にもアクセスされ得る。具体的には、例えば、ユーザ190が頭部を動かした際には、当該頭部の動きに応じて視界画像を更新する必要があるところ、視界画像に新たなオブジェクトが入り込む場合、当該オブジェクトの定義情報(描画情報)に対するデータアクセスが発生し得る。また、表示オブジェクトDに対して手オブジェクトHによる入力がされた場合、2次元画像データ内のあるオブジェクトが移動して、その背面に隠れていたオブジェクトが新たに2次元データに写る場合がある。この場合、新たに写るオブジェクトの定義情報(描画情報)に対するデータアクセスが発生し得る。このような仮想空間2を定義するためのデータアクセス(すなわち、ユーザ190に提供される視界画像を生成・更新するためのデータアクセス)と、表示オブジェクトDの表示内容を生成・更新するためのデータアクセスとが競合した場合、以下のような問題を生じ得る。すなわち、データアクセス競合に起因する処理落ちが原因で、ユーザ190に提供される視界画像の更新頻度(すなわちフレームレート)が低下してしまい、ユーザ190のVR酔いを引き起こしてしまうおそれがある。
そこで、仮想空間データは、仮想体験を提供するための仮想空間2を定義するためのコンテンツ情報241(第1コンテンツ情報)と、第1コンテンツ情報の少なくとも一部に対応する第2コンテンツ情報と、を含んでもよい。ここで、第1コンテンツ情報の少なくとも一部は、例えば上述したデータアクセス競合が発生する確率が高いデータ、およびデータアクセス競合が生じた場合の影響が大きいデータ等である。例えば、オブジェクト定義情報(描画情報)についてデータアクセス競合が生じた場合の影響が大きい場合には、オブジェクト定義情報(描画情報)は第2コンテンツ情報に含まれ得る。一方、背景データについてデータアクセス競合が生じても影響が少ない場合には、背景データは第2コンテンツ情報から除外され得る。このような状況下において、プロセッサ10は、表示オブジェクトDに表示される仮想空間の一部のうち第1コンテンツ情報の少なくとも一部に対応する部分については、第2コンテンツ情報に基づいて生成してもよい。このような構成によれば、視界画像を生成・更新するためのデータアクセス(すなわち、第1コンテンツ情報へのアクセス)と表示オブジェクトDの表示内容を生成・更新する際のデータアクセス(すなわち、第2コンテンツ情報へのアクセス)とを分離することが可能となる。すなわち、上述したようなデータアクセスの競合を回避でき、上述したような問題の発生を抑制することができる。また、データアクセス競合の発生確率、およびデータアクセス競合が生じた場合の影響度等に応じて、コンテンツ情報241の一部のデータのみを第2コンテンツ情報とすることにより、データアクセス競合が生じた場合の問題の発生を抑制しつつ、第2コンテンツ情報のデータサイズを極力抑えることができる。なお、第2コンテンツ情報は、例えば、第1コンテンツ情報の少なくとも一部を予め複製すること等により得られる。
また、2次元画像データには、仮想空間データのうち仮想空間2の一部を定義する情報(以下「部分定義情報」)が関連付けられてもよいし、仮想空間2の全体を定義する情報(以下「全体定義情報」)が関連付けられてもよい。ここで、仮想空間2の一部を定義する情報は、画像生成用視界領域に含まれるデータ(背景データ、オブジェクト等)に関するコンテンツ情報およびオブジェクト情報である。
2次元画像データに全体定義情報を関連付けた場合には、画像生成用視界領域(すなわち2次元画像データの仮想的な撮影方向)を変更(再定義)することも可能となる。例えば、プロセッサ10は、2次元画像データに関連付けられた全体定義情報に基づいて仮想空間2の全体を内部的に再現する。そして、プロセッサ10は、内部的に再現された仮想空間2の全体と再定義された画像生成用視界領域とに基づいて、アングルが変更された2次元画像データを生成することができる。このように、2次元画像データに全体定義情報を関連付けた場合には、2次元画像データの編集自由度を更に向上させることができる。
一方、2次元画像データに部分定義情報を関連付けた場合には、2次元画像データの画像生成用視界領域を変更してアングルを変更することはできないが、2次元画像データに関連付けられるデータのデータサイズを低減することができる。
また、2次元画像データには、2次元画像データが生成された時点tを含む所定期間分(例えば時点tの前後Δt秒の期間(t−Δt〜t+Δt)等)のオブジェクト情報242が関連付けられてもよい。例えば、2次元画像データには、上記所定期間を所定間隔毎に区切った複数の時点の各々に対応するオブジェクト情報242が関連付けられてもよい。例えば、所定間隔をΔtに設定した場合には、時点tに生成された2次元画像データには、時点t−Δt、時点t、および時点t+Δtの3つの時点に対応するオブジェクト情報242が関連付けられる。
例えば、プロセッサ10は、複数の時点の各々に対応するオブジェクト情報242を反映させた2次元画像データがサムネイル表示されたメニュー画面をユーザ190に提供される視界画像に表示させてもよい。そして、プロセッサ10は、ユーザ操作により選択された2次元画像データを、表示オブジェクトDに表示してもよい。このような構成によれば、ユーザ190は、例えば現実世界において連写撮影によって得られた複数の写真の中から気に入った写真を選択するように、仮想的な連写撮影によって得られた複数の2次元画像データの中から気に入った2次元画像データを選択することが可能となる。これにより、ユーザ190によりリッチな仮想体験を提供することが可能となる。
また、2次元画像データに対して可能な編集処理は上記例に限られない。例えば、仮想空間データに新たなオブジェクトが追加されてもよい。このような構成によれば、2次元画像データが生成された時点には実際には存在しておらず、2次元画像データには写っていなかったオブジェクトを被写体として含んだ2次元画像データを得ることが可能となる。
また、2次元画像データは、インターネット等を介して他のシステム(例えばSNS(Social Networking Service)サイト等)にアップロード可能とされてもよい。この場合、仮想空間2内で撮影された2次元画像データをSNSサイト等に投稿すること等が可能となり、仮想空間2における過去の体験を現実空間で他のユーザと共有するといった楽しみ方が可能となる。
また、上記実施形態では、静止画としての2次元画像データを生成する形態を説明したが、2次元画像データはある程度の時間幅(例えば数秒間等)を有する動画として生成されてもよい。動画としての2次元画像データには、動画に関連付けられる時間幅を所定間隔毎に区切った複数の時点の各々に対応するオブジェクト情報242と、コンテンツ情報241とが関連付けられ得る。
また、本実施形態においては、HMD装置110によってユーザ190が没入する仮想空間(VR空間)を例示して説明したが、HMD装置110として、透過型のHMD装置を採用してもよい。この場合、透過型のHMD装置を介してユーザ190が視認する現実空間に、仮想空間を構成する画像の一部が視界画像として重畳されるように視界画像を出力することにより、拡張現実(AR:Augumented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザ190に提供してもよい。この場合、手オブジェクトHに代えて、ユーザ190の手の動きに基づいて、仮想空間2内における対象オブジェクト(例えば表示オブジェクトD)への作用を生じさせてもよい。具体的には、プロセッサ10は、現実空間におけるユーザ190の手の位置の座標情報を特定するとともに、仮想空間2内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ10は、現実空間におけるユーザ190の手と仮想空間2における対象オブジェクトとの位置関係を把握し、ユーザ190の手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザ190の手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
表示部(ディスプレイ112)を備えるユーザ端末(HMD装置110)を介してユーザ190に仮想体験を提供するためにコンピュータ(コンピュータ200またはサーバ150が備えるコンピュータ)によって実行される情報処理方法であって、
前記仮想体験を提供するための仮想空間2を定義する仮想空間データを生成するステップ(図10のS1)と、
前記ユーザ端末の動きと、前記仮想空間データと、に基づいて視界画像Mを生成し、前記表示部に前記視界画像Mを表示させるステップ(図10のS10)と、
前記仮想空間2における所定位置から見た前記仮想空間2の一部に相当する2次元画像データを生成するステップ(図14のS34)と、
前記2次元画像データと前記仮想空間データとを関連付けるステップ(図14のS35)と、
前記2次元画像データに関連付けられた前記仮想空間データを再定義するステップ(図14のS39)と、
再定義された前記仮想空間データに基づいて、前記2次元画像データを更新するステップ(図14のS40)と、
を含む、情報処理方法。
本項目の情報処理方法によれば、仮想空間2において、編集自由度の高い2次元画像をユーザ190に提供することが可能となる。これにより、ユーザ190の仮想体験のエンタテイメント性を向上させることができる。
(項目2)
前記2次元画像データに基づいて、前記仮想空間2の前記一部が表示された表示オブジェクトDを生成し、前記表示オブジェクトDを前記仮想空間に配置するステップ(図14のS36)と、
前記表示オブジェクトDに対する入力を受け付けるステップ(図14のS38)と、をさらに含み、
前記入力に基づいて前記仮想空間データを再定義する、
項目1の情報処理方法。
本項目の情報処理方法によれば、オブジェクトとしての2次元画像データに対する直感的な操作に基づく2次元画像データの編集が可能となり、ユーザ190の操作性を向上し得る。
(項目3)
前記ユーザ190の身体の一部の動きに応じて操作オブジェクトを動かすステップ(図14のS37)と、
前記操作オブジェクトを介した前記表示オブジェクトDに対する入力を受け付けるステップ(図14のS38)と、をさらに含み、
前記入力に基づいて前記仮想空間データを再定義する、
項目2の情報処理方法。
本項目の情報処理方法によれば、所謂仮想手(手オブジェクトH)等の操作オブジェクトによる2次元画像データの直感的な編集操作を実現することができる。
(項目4)
前記仮想空間データは、前記仮想体験を提供するための仮想空間2を定義するための第1コンテンツ情報と、前記第1コンテンツ情報の少なくとも一部に対応する第2コンテンツ情報と、を含み、
前記表示オブジェクトDに表示される前記仮想空間2の前記一部のうち前記第1コンテンツ情報の少なくとも一部に対応する部分は、前記第2コンテンツ情報に基づいて生成される、
項目2または3の情報処理方法
本項目の情報処理方法によれば、視界画像を生成・更新するためのデータアクセス(すなわち、第1コンテンツ情報へのアクセス)と表示オブジェクトDの表示内容を生成・更新する際のデータアクセス(すなわち、第2コンテンツ情報へのアクセス)との競合を回避することが可能となる。これにより、処理速度の低下を防ぎ、視界画像の更新頻度(フレームレート)が低下してユーザ190がVR酔いしてしまうことを防止できる。
(項目5)
前記2次元画像データには、前記仮想空間データのうち前記仮想空間2の前記一部を定義する情報が関連付けられる、
項目1〜4のいずれかの情報処理方法。
本項目の情報処理方法によれば、2次元画像データに関連付けられるデータのデータサイズを低減することができる。
(項目6)
前記仮想空間データは、前記仮想空間2に配置されるオブジェクトの状態を示すオブジェクト情報を含み、
前記オブジェクト情報は、各オブジェクトの位置を示す位置情報と、前記ユーザ190による作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む、
項目1〜5のいずれかの情報処理方法。
本項目の情報処理方法によれば、上述のような仮想空間データに基づいて、編集自由度の高い2次元画像データを容易に生成することができる。
(項目7)
前記動き情報は、前記変形オブジェクトの予め定められた複数の部分Pの位置を示す情報である、
項目6の情報処理方法。
本項目の情報処理方法によれば、動き情報のデータ量を抑えることができる。
(項目8)
前記変形オブジェクトは、前記ユーザ190に関連付けられたキャラクタオブジェクトであり、
前記複数の部分Pは、前記キャラクタオブジェクトの関節に相当する部分を含む、
項目7の情報処理方法。
本項目の情報処理方法によれば、ユーザ190の動きと連動するアバター等のキャラクタオブジェクトの動作(変形状態)を少ないデータ量の動き情報で適切に再現することが可能となる。
(項目9)
前記2次元画像データに含まれる前記オブジェクトの前記位置情報が再定義された場合、前記オブジェクトが再定義された後の位置情報に示される位置に配置されるように、前記2次元画像データを更新する、
項目6〜8のいずれかの情報処理方法。
本項目の情報処理方法によれば、2次元画像データの被写体であるオブジェクトの位置が変更された2次元画像データを得ることができる。
(項目10)
前記2次元画像データに含まれる前記変形オブジェクトの前記動き情報が再定義された場合、前記変形オブジェクトが再定義された後の形状となるように、前記2次元画像データを更新する、
項目6〜9のいずれかの情報処理方法。
本項目の情報処理方法によれば、2次元画像データの被写体である変形オブジェクトの動作(形状)が変更された2次元画像データを得ることができる。
(項目11)
前記2次元画像データには、前記2次元画像データの生成時点を含む所定期間分の前記オブジェクト情報が関連付けられる、
項目6〜10のいずれかの情報処理方法。
本項目の情報処理方法によれば、ユーザ190によりリッチな仮想体験を提供することが可能となる。
(項目12)
項目1〜11のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目13)
少なくともメモリ(メモリモジュール240)と、前記メモリに結合されたプロセッサ(プロセッサ10)とを備え、前記プロセッサの制御により項目1〜11のいずれかの情報処理方法を実行する、装置。
1…仮想カメラ、2…仮想空間、5…基準視線、10…プロセッサ、11…メモリ、12…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…バス、19…ネットワーク、21…中心、22…仮想空間画像、23…視界領域、24,25…領域、31…フレーム、32…天面、33,34,36,37…ボタン、35…赤外線LED、38…アナログスティック、100,100A,100B,100C…HMDシステム、110,110A,110B,110C…HMD装置、112…ディスプレイ、114…センサ、116…カメラ、118…マイク、120…HMDセンサ、130…モーションセンサ、140…注視センサ、150…サーバ、160…コントローラ、160R…右コントローラ、190,190A,190B,190C…ユーザ、200…コンピュータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュール、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想オブジェクト制御モジュール、233…チャット制御モジュール、234…仮想空間記録モジュール、240…メモリモジュール、241…コンテンツ情報、242…オブジェクト情報、243…ユーザ情報、250…通信制御モジュール、810…右手、A1,A2,A3…アバター、D…表示オブジェクト、F1,F2,F3…非変形オブジェクト、H…手オブジェクト、M…視界画像、P…部分。

Claims (13)

  1. 表示部を備えるユーザ端末を介してユーザに仮想体験を提供するためにコンピュータによって実行される情報処理方法であって、
    仮想カメラを含む、前記仮想体験を提供するための仮想空間を定義する仮想空間データを生成するステップと、
    前記仮想空間における前記仮想カメラの位置から見た前記仮想空間の一部に相当する視界画像を生成し、前記表示部に前記視界画像を表示させるステップと、
    前記仮想空間における所定視点から見た前記仮想空間の一部に相当する2次元画像データを生成するステップと
    前記2次元画像データと前記仮想空間データとを関連付けるステップと、
    前記2次元画像データに関連付けられた前記仮想空間データを再定義するステップと、
    再定義された前記仮想空間データに基づいて、前記2次元画像データを更新するステップと、
    を含む、情報処理方法。
  2. 前記2次元画像データに基づいて、前記所定視点から見た前記仮想空間の前記一部が表示された表示オブジェクトを生成し、前記表示オブジェクトを前記仮想空間に配置するステップと、
    前記表示オブジェクトに対する入力を受け付けるステップと、をさらに含み、
    前記入力に基づいて前記仮想空間データを再定義する、
    請求項1に記載の情報処理方法。
  3. 前記ユーザの身体の一部の動きに応じて操作オブジェクトを動かすステップと、
    前記操作オブジェクトを介した前記表示オブジェクトに対する入力を受け付けるステップと、をさらに含み、
    前記入力に基づいて前記仮想空間データを再定義する、
    請求項2に記載の情報処理方法。
  4. 前記仮想空間データは、前記仮想体験を提供するための仮想空間を定義するための第1コンテンツ情報と、前記第1コンテンツ情報の少なくとも一部に対応する第2コンテンツ情報と、を含み、
    前記表示オブジェクトに表示される前記所定視点から見た前記仮想空間の前記一部のうち前記第1コンテンツ情報の少なくとも一部に対応する部分は、前記第2コンテンツ情報に基づいて生成される、
    請求項2または3に記載の情報処理方法。
  5. 前記2次元画像データには、前記仮想空間データのうち前記所定視点から見た前記仮想空間の前記一部を定義する情報が関連付けられる、
    請求項1〜4のいずれか一項に記載の情報処理方法。
  6. 前記仮想空間データは、前記仮想空間に配置されるオブジェクトの状態を示すオブジェクト情報を含み、
    前記オブジェクト情報は、各オブジェクトの位置を示す位置情報と、前記ユーザによる作用に応じて変形可能な変形オブジェクトの動作を示す動き情報と、を含む、
    請求項1〜5のいずれか一項に記載の情報処理方法。
  7. 前記動き情報は、前記変形オブジェクトの予め定められた複数の部分の位置を示す情報である、
    請求項6に記載の情報処理方法。
  8. 前記変形オブジェクトは、前記ユーザに関連付けられたキャラクタオブジェクトであり、
    前記複数の部分は、前記キャラクタオブジェクトの関節に相当する部分を含む、
    請求項7に記載の情報処理方法。
  9. 前記2次元画像データに含まれる前記オブジェクトの前記位置情報が再定義された場合、前記オブジェクトが再定義された後の位置情報に示される位置に配置されるように、前記2次元画像データを更新する、
    請求項6〜8のいずれか一項に記載の情報処理方法。
  10. 前記2次元画像データに含まれる前記変形オブジェクトの前記動き情報が再定義された場合、前記変形オブジェクトが再定義された後の形状となるように、前記2次元画像データを更新する、
    請求項6〜9のいずれか一項に記載の情報処理方法。
  11. 前記2次元画像データには、前記2次元画像データの生成時点を含む所定期間分の前記オブジェクト情報が関連付けられる、
    請求項6〜10のいずれか一項に記載の情報処理方法。
  12. 請求項1〜11のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
  13. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項1〜11のいずれか一項に記載の情報処理方法を実行する、装置。
JP2017092370A 2017-05-08 2017-05-08 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Active JP6554139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017092370A JP6554139B2 (ja) 2017-05-08 2017-05-08 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017092370A JP6554139B2 (ja) 2017-05-08 2017-05-08 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018072781A Division JP6856572B2 (ja) 2018-04-04 2018-04-04 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP2018190196A JP2018190196A (ja) 2018-11-29
JP6554139B2 true JP6554139B2 (ja) 2019-07-31

Family

ID=64480185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017092370A Active JP6554139B2 (ja) 2017-05-08 2017-05-08 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Country Status (1)

Country Link
JP (1) JP6554139B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6533946B1 (ja) * 2018-12-07 2019-06-26 株式会社gumi プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
CN114566132A (zh) * 2022-02-28 2022-05-31 北京京东方显示技术有限公司 参数处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2469474B1 (en) * 2010-12-24 2020-02-12 Dassault Systèmes Creation of a playable scene with an authoring system

Also Published As

Publication number Publication date
JP2018190196A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10313481B2 (en) Information processing method and system for executing the information method
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6321263B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10894211B2 (en) Information processing method, apparatus, and system for executing the information processing method
JP6201028B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
JP6978240B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018192238A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6419268B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019030638A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11882172B2 (en) Non-transitory computer-readable medium, information processing method and information processing apparatus
JP2018092592A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019020836A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180125

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190705

R150 Certificate of patent or registration of utility model

Ref document number: 6554139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250