[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6470859B1 - ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 - Google Patents

ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 Download PDF

Info

Publication number
JP6470859B1
JP6470859B1 JP2018042370A JP2018042370A JP6470859B1 JP 6470859 B1 JP6470859 B1 JP 6470859B1 JP 2018042370 A JP2018042370 A JP 2018042370A JP 2018042370 A JP2018042370 A JP 2018042370A JP 6470859 B1 JP6470859 B1 JP 6470859B1
Authority
JP
Japan
Prior art keywords
user
hmd
processor
computer
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018042370A
Other languages
English (en)
Other versions
JP2019159501A (ja
Inventor
集平 寺畑
集平 寺畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2018042370A priority Critical patent/JP6470859B1/ja
Application granted granted Critical
Publication of JP6470859B1 publication Critical patent/JP6470859B1/ja
Publication of JP2019159501A publication Critical patent/JP2019159501A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザ自身の動きの、仮想空間に配置されているアバタへの反映を、1人で、従来よりも容易に実現する。【解決手段】位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムはコンピュータに、ユーザが第1位置にいることを検知するステップ(S2752)と、第1位置にいることを検知した場合、ユーザが第1姿勢をとっていることを検知するステップ(S2754)と、第1姿勢をとっていることを検知した場合、位置センサから取得した、第1姿勢に応じた第1位置情報に基づいて、ユーザの第1寸法データを算出するステップ(S2755)と、第1寸法データの算出後に位置センサから取得した第2位置情報と、第1寸法データとに基づいて、アバタを制御するステップ(S2140)とを実行させる。【選択図】図27

Description

この開示は、アバタに関し、より特定的には、ユーザの動きが反映されたアバタを含む動画を共有するための技術に関する。
現実の人物や物体の動きをデジタル的に記録する技術としてモーションキャプチャ技術が知られている。記録された情報は、アバタの人間らしい動きの再現などに利用される(非特許文献1)。
"VIVEを使ったモーションキャプチャが開発中、IKinemaの「project Orion」"、[online]、[平成30年1月4日検索]、インターネット〈URL:http://www.dospara.co.jp/express/vr/341193〉
近年、「Youtube」(登録商標)などの動画共有サービスが活発に利用されている。このような動画共有サービスにおいて、人によっては、自身の動きを反映させた、仮想空間に配置されているアバタを含む動画を配信したいと考えている。
個人による動画の配信は、通常、1人で行われる。一方、従来のモーションキャプチャを実現するためのシステムは大がかりであり、複数人の関与を前提としている。このため、アバタを含む動画配信を実現できない場合がある。
本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、ユーザ自身の動きの、仮想空間に配置されているアバタへの反映を、1人で、従来よりも容易に実現するための技術を提供することである。
ある実施形態に従うと、位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムが提供される。このプログラムは、コンピュータに、ユーザが第1位置にいることを検知するステップと、第1位置にいることを検知した場合、ユーザが第1姿勢をとっていることを検知するステップと、第1姿勢をとっていることを検知した場合、位置センサから取得した、第1姿勢に応じた第1位置情報に基づいて、ユーザの第1寸法データを算出するステップと、第1寸法データの算出後に位置センサから取得した第2位置情報と、第1寸法データとに基づいて、アバタを制御するステップとを実行させる。
開示された技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
ある実施の形態に従うHMDシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMDに設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMDを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をX方向から見たYZ断面を表す図である。 仮想空間において視界領域をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うHMDセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各HMDがユーザに仮想空間を提供する状況を表す模式図である。 図12(A)におけるユーザ5Aの視界画像を示す図である。 ある実施の形態に従うHMDシステムにおいて実行する処理を示すシーケンス図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 ある実施形態に従う処理の概要を表す図である。 ユーザが、正面を向き、両手を水平に広げ、起立している状態を表す図である。 ユーザが、正面を向き、両手をふととも側面に下ろし、起立している状態を表す図である。 位置情報のデータ構造の一例を表す図である。 寸法データのデータ構造の一例を表す図である。 寸法データを取得する処理を表すフローチャートである。 位置情報のデータ構造の一例を表す図である。 コンピュータがユーザの動きを反映したアバターオブジェクトを含む映像を配信する処理の一例を表すフローチャートである。 サーバがアバタを含む映像を生成する処理の一例を表すフローチャートである。 視聴者の端末として機能するコンピュータの処理の一例を表すフローチャートである。 拡張現実を利用した処理の概要を表す図(その1)である。 拡張現実を利用した処理の概要を表す図(その2)である。 拡張現実を利用した処理の概要を表す図(その3)である。 拡張現実を利用した処理の概要を表す図(その4)である。 コンピュータが、ユーザの動きが反映されたアバターオブジェクトを含む映像を出力する処理の一例を表すフローチャートである。 ホームポジションを明示するマークの一例を表す図である。 ユーザが、ホームポジションにおいて、正面を向き、両手をふととも側面に下ろし、起立している状態を表す図である。 ユーザが、ホームポジションにおいて、正面を向き、両手を水平に広げ、起立している状態を表す図である。 コンピュータが、寸法データを自動的に取得する処理の一例を表すフローチャートである。
〔実施形態1〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、およびコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(登録商標)(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。例えば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ10について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
[HMDの制御装置]
図10を参照して、HMD21の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
ある局面において、コントロールモジュール510およびレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510およびレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。例えば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
ステップS1160にて、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A〜200Dは、HMD120A〜120Dを介して、ユーザ5A〜5Dに、仮想空間11A〜11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD17120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバタに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Bにおけるプロセッサ210Bは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A〜5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMD11020Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
続いて、サーバ600から各HMDセット110A〜110Cに送信されたアバター情報に基づいて、各HMDセット110A〜110Cは、ステップS1330A〜S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表わすブロック図である。
図14に示されるように、コントロールモジュール510は、仮想カメラ制御モジュール1421と、視界領域決定モジュール1422と、基準視線特定モジュール1423と、顔器官検出モジュール1424と、動き検出モジュール1425と、仮想空間定義モジュール1426と、仮想オブジェクト生成モジュール1427と、操作オブジェクト制御モジュール1428と、アバター制御モジュール1429と、を備える。レンダリングモジュール520は、視界画像生成モジュール1438を備える。メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434と、を保持している。
仮想カメラ制御モジュール1421は、仮想空間11に仮想カメラ14を配置する。仮想カメラ制御モジュール1421は、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)を制御する。視界領域決定モジュール1422は、HMD120を装着したユーザの頭の向きと、仮想カメラ14の配置位置に応じて、視界領域15を規定する。視界画像生成モジュール1438は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。
基準視線特定モジュール1423は、センサ190またはHMDセンサ410の出力に基づいて、基準視線16を特定する。基準視線特定モジュール1423はさらに、注視センサ140からの信号に基づいて、ユーザ5の視線を特定する。顔器官検出モジュール1424は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。動き検出モジュール1425は、顔器官検出モジュール1424が検出した各器官の動き(形状)を検出する。
仮想空間定義モジュール1426は、仮想空間11を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間11を規定する。
仮想オブジェクト生成モジュール1427は、仮想空間11に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール1428は、仮想空間11においてユーザの操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、アバターオブジェクト6の手の部分に相当し得る。
アバター制御モジュール1429は、ネットワーク2を介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5のアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール1429は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置するためのデータを生成する。
アバター制御モジュール1429は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール1429は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、コントローラ300の動きをアバターオブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。アバター制御モジュール1429は、動き検出モジュール1425が検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール1429は、ユーザ5の顔の動作をアバターオブジェクトに反映する。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール1428は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434とを保持している。
空間情報1431は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報1432は、仮想空間11において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間11に配置するための情報(たとえば、位置)を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
ユーザ情報1433は、寸法データ1439を備える。寸法データ1439はユーザ5の身体の寸法を表す。寸法データ1439の詳細は後述される。ユーザ情報1433はさらに、ユーザ5を識別するための情報、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報1432に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
顔情報1434は、顔器官検出モジュール1424が、ユーザ5の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報1434は、口テンプレート1435と、目テンプレート1436と、眉テンプレート1437とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート1435は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
[技術思想]
図15は、ある実施形態に従う処理の概要を表す図である。図15に示される例において、ユーザ5Aは、自身の動きを反映したアバタを含む映像をユーザ5Bに配信しようとしている。
ユーザ5Aは、HMD120Aを装着し、右コントローラ300RAと左コントローラ300LAとを保持している。HMD120Aはモーションセンサとして機能するセンサ190を備える。各コントローラは、モーションセンサ420を備える。
ユーザ5Aはさらに、モーションセンサ1521〜1523を装着している。モーションセンサ1521は、ベルト1531によってユーザ5Aの腰部に装着されている。モーションセンサ1522はユーザ5Aの右足の甲に装着されている。モーションセンサ1523はユーザ5Aの左足の甲に装着されている。これらモーションセンサ1521〜1523は、有線または無線によりコンピュータ200Aに接続されている。
ある局面において、ユーザ5Aに装着されるモーションセンサは、ベースステーション(図示しない)から照射される信号(例えば赤外線レーザ)の到達時間と角度とを検出する。コンピュータ200Aのプロセッサ210Aは、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ210Aはさらに、ベースステーションに対するモーションセンサの位置を、所定点(例えば頭部に装着されたセンサ190の位置)を基準として規格化してもよい。
ステップS1510にて、コンピュータ200Aのプロセッサ210Aは、ユーザ5Aに装着されたモーションセンサにより、ユーザ5Aの頭部、腰部、両手、両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ5Aの部位の位置を「位置情報」とも言う。
ステップS1520にて、プロセッサ210Aは、予め取得されたユーザ5Aの寸法データ1439Aと位置情報とから、ユーザ5Aの関節の回転方向を算出する。
ステップS1530にて、プロセッサ210Aは、ステップS1520で算出された関節の回転方向を、仮想空間11Aに配置されるアバターオブジェクト6Aの関節に反映する。これにより、ユーザ5Aの動きがアバターオブジェクト6Aに反映される。
ステップS1540にて、プロセッサ210Aは、仮想空間11Aに配置される仮想カメラ14Aによってアバターオブジェクト6Aを撮影する。より具体的には、プロセッサ210Aは、仮想カメラ14Aの撮影範囲である視界領域15Aに対応する視界画像17Aを生成する。
ステップS1550にて、プロセッサ210Aは、ステップS1510〜S1540を繰り返すことにより生成されたアバターオブジェクト6Aを含む映像データをコンピュータ200Bに配信する。
ステップS1560にて、コンピュータ200Bのプロセッサ210Bは、受信した映像データをディスプレイ430B(またはモニタ130B)に出力する。その結果、ユーザ5Bは、ユーザ5Aの動きが反映されたアバターオブジェクト6Aを含む映像を視認できる。
従来、モーションキャプチャを実現するためには、アバターオブジェクトの可動部(ボーン)に対応する数(例えば26個)のモーションセンサをユーザが装着する必要があった。そのため、モーションキャプチャを実現するためのコストが高いという課題があった。これに対し、実施形態に従うコンピュータ200Aは、ユーザ5Aの関節の回転方向を推定することによって、少ない数のモーションセンサによってユーザ5Aの動きをアバターオブジェクト6Aに反映できる。その結果、ユーザ5Aは、自身の動きを反映させたアバタを含む動画を従来よりも容易にユーザ5Bと共有することができる。以下、このようなシステムを実現するためのより具体的な構成および処理について説明する。
[寸法データの取得]
図16は、寸法データの取得方法を説明するための図である。図16(A)は、ユーザ5Aが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図16(A)に示される状態を第1姿勢とも言う。図16(B)は、ユーザ5Aが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図16(B)に示される状態を第2姿勢とも言う。
ある局面において、プロセッサ210Aは、ユーザ5Aに対し第1姿勢および第2姿勢をとるように促す。一例として、プロセッサ210Aは、第1姿勢および第2姿勢のキャラクタをモニタ130Aに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ210Aは、第1姿勢および第2姿勢をとる旨の音声をスピーカ180Aから出力してもよい。
プロセッサ210Aは、2つの姿勢(第1姿勢と第2姿勢)のそれぞれにおいて、ユーザ5Aに装着されたモーションセンサの出力に基づいてユーザ5Aの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図17に示されるように実座標系(x、y、z)における位置として取得され得る。
プロセッサ210Aは、2つの姿勢に対応する位置情報からユーザ5Aの寸法データ1439Aを算出する。ある実施形態において、プロセッサ210Aは、図18に示されるように、ユーザ5Aの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データ1439Aとして算出する。プロセッサ210Aは、第2姿勢における両手の間隔を肩幅として算出し得る。プロセッサ210Aは、第1姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ210Aは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ210Aは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ210Aは、第1姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
図19は、寸法データ1439を取得する処理を表すフローチャートである。ステップS1910にて、プロセッサ210は、仮想空間11に仮想カメラ14を配置する。プロセッサ210はさらに、仮想カメラ14の撮影範囲に対応する視界画像17をモニタ130に出力する。
ステップS1920にて、プロセッサ210は、ユーザ5に第1姿勢になるように指示する。例えば、プロセッサ210は、当該指示が記されたオブジェクトを仮想空間11に配置することでステップS1920の処理を実現する。ステップS1930にて、プロセッサ210は、第1姿勢に対応する位置情報を取得する。
ステップS1940にて、プロセッサ210は、ユーザ5に第2姿勢になるように指示する。ステップS1950にて、プロセッサ210は、第2姿勢に対応する位置情報を取得する。
ステップS1960にて、プロセッサ210は、第1姿勢に対応する位置情報と第2姿勢に対応する位置情報とから、ユーザ5の寸法データを算出する。プロセッサ210は、寸法データをストレージ230に格納する。
上記によれば、ユーザ5は2つの姿勢をとるだけで、自身の寸法をコンピュータ200に容易に入力できる。なお、他の局面において、ユーザは自身の寸法をキーボード等の入力デバイスを用いてコンピュータ200に入力してもよい。
[関節の回転方向]
ある実施形態において、コンピュータ200は、ユーザ5に装着された6つのモーションセンサの出力(位置情報)と、寸法データ1439とに基づいて、ユーザ5の関節の回転方向を推定する。一例として、コンピュータ200は、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。コンピュータ200は、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学(Inverse Kinematics)を利用した公知のアプリケーションにより実行され得る。
ある実施形態において、コンピュータ200は、6つのモーションセンサから、ユーザ5の首(頭部)、腰、両手首、および両足首の関節の傾き(回転方向)を取得する。加えて、コンピュータ200は、逆運動学に基づいて、両肩、両肘、両股(足のつけ根)、両膝の関節の回転方向を推定する。図20に示されるように、コンピュータ200は、各関節の回転方向をuvw視野座標系で取得または推定する。
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、コンピュータ200は、ユーザ5が正面を向いていないとき(つまり、頭部と腰部とが異なる方向を向いているとき)の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ200は、モーションセンサによって検出されるユーザ5の部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ200は、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ200Aは、関節の回転方向の精度を向上し得る。
[アバタを含む映像の配信]
図21は、コンピュータ200がユーザ5の動きを反映したアバターオブジェクト6を含む映像を配信する処理の一例を表すフローチャートである。
ステップS2110にて、コンピュータ200のプロセッサ210は、ユーザ5の入力に基づいて、仮想カメラ14の位置および傾きを変更する。これにより、ユーザ5は、任意の位置および角度からアバターオブジェクト6を撮影できる。
なお、上記の説明において仮想カメラ14は、HMD120の動きに連動するように構成されていたが、図21に示される処理の実行中は、HMD120と仮想カメラ14とが連動しないように構成され得る。
プロセッサ210はさらに、仮想カメラ14の撮影範囲に対応する視界画像17をHMD120のモニタ130に出力する。他の局面において、プロセッサ210は、視界画像17をディスプレイ430に出力してもよい。係る場合、ユーザ5は、HMD120にかえて、モーションセンサを頭部に装着してもよい。
ステップS2120にて、プロセッサ210は、コンピュータ200に関連付けられたユーザ5に装着された6つのモーションセンサから現在の位置情報を取得する。
ステップS2130にて、プロセッサ210は、現在の位置情報と寸法データ1439とに基づいてユーザ5の現在の関節の回転方向を算出(推定)する。
ステップS2140にて、プロセッサ210は、推定によって得られた回転方向と、モーションセンサから得られた回転方向とに基づいて、仮想空間11に配置されるアバターオブジェクト6を動かす。例えば、プロセッサ210は、右肩の回転方向に基づいて、アバターオブジェクト6の右上腕部を動かす。プロセッサ210はさらに、現在の位置情報(例えば現在の腰部の位置情報)に基づいてアバターオブジェクト6の仮想空間11における位置を動かす。これにより、現実空間のユーザ5の動きが仮想空間のアバターオブジェクト6に反映される。
ステップS2150にて、プロセッサ210は、ユーザから録画開始の指示を受け付ける。この指示に応じて、プロセッサ210は、仮想カメラ14の撮影範囲に対応する視界画像17を連続的にメモリ220またはストレージ230に保存する。これにより、プロセッサ210は、ユーザ5の動きが反映されたアバターオブジェクト6を含む映像データを生成する(ステップS2160)。このとき、プロセッサ210は、マイク170から取得されるユーザ5の音声も併せて保存してもよい。
ステップS2170にて、プロセッサ210は、ユーザから録画終了の指示を受け付ける。これに応答して、プロセッサ210は、映像データの保存を中止する。
ステップS2180にて、プロセッサ210は、映像データを動画共有サーバとして機能するサーバ600にアップロードする。視聴者は、サーバ600にアクセスすることによって、アップロードされた映像データを視聴できる。
このようにして、ユーザ5は、自身の動きを反映させたアバタを含む動画を従来よりも容易に共有することができる。なお、他の局面において、プロセッサ210は、映像データをサーバ600を介さず他のコンピュータ200に直接配信してもよい。
[サーバが映像を生成する場合]
図21の例では、コンピュータ200がアバタを含む映像を生成する処理を行なっているが、当該処理はコンピュータ200ではなくサーバ600によって実行されてもよい。図22は、サーバ600がアバタを含む映像を生成する処理の一例を表すフローチャートである。
ステップS2210にて、サーバ600のプロセッサ610は、コンピュータ200からユーザ5の寸法データ1439を取得する。
ステップS2220にて、コンピュータ200のプロセッサ210は、ユーザ5に装着されたモーションセンサから取得される現在の位置情報をサーバ600に送信する。
その後、プロセッサ610は、上述のステップS2130,S2140,およびS2160の処理を実行することにより、アバタを含む映像を生成する。このとき、プロセッサ610は、コンピュータ200からの指示に基づき仮想カメラ14の位置および傾きを変更する処理を実行してもよい。
ステップS2230にて、プロセッサ610は、アバタを含む映像をコンピュータ200に送信する。ステップS2240にて、プロセッサ210は、受信した映像をディスプレイ430に表示する。これにより、ユーザ5は、自身の動きが反映されたアバターオブジェクト6を視認できる。
ステップS2250にて、プロセッサ210は、録画開始指示をサーバ600に送信する。ステップS2260にて、プロセッサ610は、録画開始指示の受信に応じて映像のメモリ620またはストレージ630への保存を開始する。
ステップS2270にて、プロセッサ210は、録画終了指示をサーバ600に送信する。ステップS2280にて、プロセッサ610は、録画終了指示の受信に応じて映像の保存を終了する。
上記によれば、位置情報に基づいてアバタを動かす処理などの複雑な処理はサーバ600によって実行される。そのため、コンピュータ200の処理能力が低い場合であっても、ユーザ5は、自身の動きが反映されたアバターオブジェクト6を含む映像を容易に共有することができる。
[アバターオブジェクトの選択]
上記の例では、動画の配信者であるユーザ5の動きが反映されたアバターオブジェクト6の種類を配信者自身が決定している。しかしながら、視聴者によっては、他人の動きが反映されたアバターオブジェクトの種類を自分で決定したいと考える。そこで、ある実施形態に従うサーバ600は、視聴者によって選択されたアバターオブジェクトに配信者の動きを反映する。
図23は、視聴者の端末として機能するコンピュータ200の処理の一例を表すフローチャートである。図23に示される例において、サーバ600は、配信者の端末として機能する他のコンピュータ200からコンテンツデータを受信し、コンテンツデータを予めストレージ630に保存している。
コンテンツデータは、仮想空間11に展開されるパノラマ画像13、仮想空間11に配置されるオブジェクトを生成するためのデータ、配信者の動きを表す位置情報群(つまり、配信者に装着されたモーションセンサの連続的な出力)、配信者の寸法データ1439、および音声データを含み得る。
ステップS2310にて、サーバ600のプロセッサ610は、コンテンツを特定するための複数のコンテンツ特定データ(例えば、コンテンツデータに含まれるパノラマ画像13のサムネイル画像、コンテンツのタイトルなど)をコンピュータ200に送信する。
ステップS2320にて、コンピュータ200のプロセッサ210は、受信した複数のコンテンツ特定データをディスプレイ430に表示する。ユーザ5(視聴者)はこれを見て、いずれか1つのコンテンツを選択する。プロセッサ210は、選択されたコンテンツの識別情報をサーバ600に送信する。
ステップS2330にて、プロセッサ610は、選択されたコンテンツに関連付けられた寸法データ、位置情報群、音声データをコンピュータ200に送信する。なお、コンピュータ200は、コンテンツに関連付けられた寸法データ(つまり、コンテンツの配信者の寸法データ)を予め取得している場合もあり得る。そのため、ある実施形態においてプロセッサ610は、配信者の識別情報をコンピュータ200に送信し、コンピュータ200が当該識別情報に基づいて配信者の寸法データを取得(特定)してもよい。
ステップS2340にて、プロセッサ210は、ユーザ5からアバターオブジェクト6の種類の選択を受け付ける。一例として、ユーザは、男性のアバターオブジェクト、女性のアバターオブジェクト、動物のアバターオブジェクト、人気キャラクタを模したアバターオブジェクトなどの中から任意のアバターオブジェクトを選択できる。
続いて、プロセッサ210は、上述のステップS2130,S2150,S2160の処理を実行することにより、ユーザ5(視聴者)によって選択されたアバターオブジェクト6であって、かつ、配信者の動きが反映されたアバターオブジェクト6を含む映像を生成できる。
ステップS2360にて、プロセッサ210は、生成した映像をディスプレイ430(またはモニタ130)に出力するとともに、受信した音声データをスピーカ180から出力する。
当該構成によれば、視聴者は任意のアバターオブジェクトに配信者の動きを反映することができる。例えば、配信者が講師である場合、講師はモーションセンサを身に着けた状態で授業を収録する。視聴者は、講師の動きが反映された任意のアバターオブジェクトを含む映像を視聴することにより、楽しみながら授業を受けることができる。
ある実施形態において、コンピュータ200またはサーバ600は、予め定められた条件が満たされた場合(例えば課金処理が実行された場合)に、特定のアバターオブジェクトを選択可能な状態にしてもよい。
ある実施形態において、コンテンツデータは、位置情報群に替えて、配信者の関節の回転方向の情報を含んでいてもよい。係る場合、視聴者のコンピュータ200は、配信者の重心位置がどのように移動したかが分からない。そこで、コンピュータ200は、仮想空間11における所定位置(例えば中心12)に配置されるアバターオブジェクト6または予め定められた経路を移動するアバターオブジェクト6に対して配信者の関節の動きを反映し得る。
過去の配信者の動きを特定のアバターオブジェクト6に反映させる他の方法として、当該特定のアバターオブジェクト6の可動部(ボーン)に対応する配信者の位置情報群をコンテンツデータとして保存することが考えられる。しかしながら、この方法の場合、コンテンツデータのサイズが大きくなってしまう。また、視聴者のコンピュータ200は、特定のアバターオブジェクト6の大きさと、配信者の寸法データ1439とに基づいて、位置情報群を規格化しなければならない。
一方、配信者の回転方向の情報を含むコンテンツデータは、配信者の位置情報群を含むコンテンツデータに比べてサイズが小さい。また、視聴者のコンピュータ200は、回転方向に対して規格化を行なわなくともよい。その結果、視聴者のコンピュータ200は、配信者の動きが反映されたアバターオブジェクト6を含む動画を容易に共有できる。
[拡張現実]
上記の実施形態では、視聴者は、仮想空間11に配置されたアバターオブジェクト6が配信者と同様の動きを行なう様子を視認する。次に説明する実施形態において、視聴者は、現実空間(に対応する動画像)に配置されたアバターオブジェクト6が配信者と同様の動きを行なう様子を視認する。
図24は、ある実施形態に従う処理の概要を表す図である。図24に示される例において、ユーザ5Bが関連付けられるコンピュータ200Bは、携帯型の情報処理端末(例えばスマートフォン)として機能する。また、コンピュータ200Bはさらに、カメラ2431と、モーションセンサ2433と、ディスプレイ2435とを備える。
図24の状態(A)において、ユーザ5Bは、コンピュータ200Bに搭載されるカメラ2431でウサギ2421を撮影する。コンピュータ200Bは、生成された動画像をディスプレイ2435に出力する。コンピュータ200Bはさらに、カメラ2431により生成された動画像をコンピュータ200Aに送信する。
図24の状態(B)において、コンピュータ200Aは、受信した動画像をHMD120Aのモニタ130Aに表示する。これにより、ユーザ5Aは、ユーザ5Bが撮影しているウサギ2421を視認する。
ユーザ5Aは、HMD120Aを装着し、右コントローラ300RAと左コントローラ300LAとを保持している。ユーザ5Aはさらに、モーションセンサ1521〜1523を装着している。
ユーザ5Aは、受信した動画像を視認しながら、動きを交えつつ発話する。一例として、ユーザ5Aは、あたかもウサギ2421を触るジェスチャをしながら「ウサギの背中を優しく撫でて下さい」と発話する。
コンピュータ200Aは、ユーザ5Aのジェスチャに対応する位置情報群と、音声データと、ユーザ5Aの寸法データ1439とをコンピュータ200Bに送信する。
図24の状態(C)において、コンピュータ200Bは、仮想空間11Bに仮想カメラ14Bと、ユーザ5Aに対応するアバターオブジェクト6Aとを配置している。コンピュータ200Bは、受信した位置情報群と寸法データ1439とに基づいて、ユーザ5Aの関節の回転方向を取得する(上述のステップS2130の処理)。コンピュータ200Bはさらに、関節の回転方向と、位置情報とに基づいてアバターオブジェクト6Aを動かす(上述のステップS2140の処理)。
コンピュータ200Bは、モーションセンサ2433の出力(コンピュータ200Bの位置および傾き)に基づいて仮想カメラ14Bの位置および傾きを変更する。コンピュータ200Bは、仮想カメラ14Bの撮影範囲である視認領域15Bに対応する視界画像17Bを生成する。ある局面において、仮想カメラ14Bは、アバターオブジェクト6Aのみを撮影するように設定されている。他の局面において、仮想空間11Bに配置されるアバターオブジェクト6A以外のオブジェクト(例えばアバターオブジェクト6Aが立っている地面オブジェクト)および仮想空間11Bに展開されるパノラマ画像13Bが透明に設定されていてもよい。その結果、コンピュータ200Bは、ユーザ5Aの動きが反映されたアバターオブジェクト6Aを任意の位置および角度から撮影した映像を生成できる。
図24の状態(D)において、コンピュータ200Bは、カメラ2431により生成される動画像(つまり、現実空間に対応する動画像)において平面を検出する。この処理は、公知のアプリケーション(例えば、ARkit)により実現され得る。
コンピュータ200Bは、検出した平面上にアバターオブジェクト6Aの映像を重畳し、重畳された動画像をディスプレイ2435に出力する。これにより、ユーザ5Bは、アバターオブジェクト6Aがあたかも平面上で動いているように感じ得る。コンピュータ200Bはさらに、受信した音声データを出力する。
当該構成によれば、コンピュータ200Bは、現実世界の情報に対して、ユーザ5Aの動きが反映されたアバターオブジェクト6Aをリアルタイムに付加できる。これにより、例えば、ユーザ5Aは、ユーザ5Bが現実世界において困っている事柄に対してジェスチャも交えた分かり易い指示をユーザ5Bに与えることができる。他の例として、ユーザ5Bが観光地を撮影し、ユーザ5Aが観光地のリポートを仮想的に行なうことができる。
[制御構造]
図25は、コンピュータ200Bが、ユーザ5Aの動きが反映されたアバターオブジェクト6Aを含む映像を出力する処理の一例を表すフローチャートである。
ステップS2510にて、コンピュータ200Bのプロセッサ210Bは、カメラ2431の撮影により生成された画像をコンピュータ200Aに送信する。ステップS2520にて、プロセッサ210Bは、ユーザ5Bからアバターオブジェクト6Aの種類の選択
を受け付ける。
ステップS2530にて、コンピュータ200Aのプロセッサ210Aは、画像をモニタ130Aまたはディスプレイ430Aに表示する。ステップS2540にて、プロセッサ210Aは、予め取得しておいたユーザ5Aの寸法データ1439Aをコンピュータ200Bに送信する。ステップS2550にて、プロセッサ210Aは、ユーザ5Aに装着されたモーションセンサから現在の位置情報を取得する。プロセッサ210Aはさらに、マイク170Aから音声データを取得する。プロセッサ210Aは、現在の位置情報と音声データとをコンピュータ200Bに送信する。
その後、プロセッサ210Bは、上述のステップS2130およびS2140の処理を実行することにより、ユーザ5Aの動きが反映されたアバターオブジェクト6Aを生成する。
ステップS2560にて、プロセッサ210Bは、モーションセンサ2433の出力に基づいて仮想空間11Bに配置される仮想カメラ14Bの位置および傾きを変更する。例えば、プロセッサ210Bは、仮想空間11Bの予め定められた位置(例えば中心12B)に仮想カメラ14Bを配置する。プロセッサ210Bは、モーションセンサ2433の出力から算出されるコンピュータ200Bの位置および傾きの変化を、仮想カメラ14Bの位置および傾きに反映する。
ステップS2570にて、プロセッサ210Bは、仮想カメラ14Bによりアバターオブジェクト6Aを撮影する。
ステップS2580にて、プロセッサ210Bは、カメラ2431により撮影した画像に、仮想カメラ14Bにより撮影したアバターオブジェクト6Aを重畳する。プロセッサ210Bは、アバターオブジェクト6Aが重畳された画像をディスプレイ2435に出力する。プロセッサ210Bはさらに、受信した音声データを出力する。
コンピュータ200Aおよびコンピュータ200Bは、図25に示される処理のうち、ステップS2520およびS2540を除く処理を繰り返し実行する。その結果、ユーザ5Aの動きが反映されたアバターオブジェクト6Aが、ディスプレイ2435に表示される現実世界に表れる。
なお、図25に示される例では、コンピュータ200Aとコンピュータ200Bとは直接情報を送受信しているが、サーバ600を介して情報を送受信してもよい。
また、図25に示される例ではコンピュータ200BがステップS2130の処理(回転方向を推定する処理)を実行するように構成されているが、当該処理の実行主体はコンピュータ200Bに限られない。例えば、図22に示される処理のようにサーバ600が回転方向の推定を行なってもよいし、コンピュータ200Aが回転方向の推定を行なってもよい。コンピュータ200Aは、現在の位置情報と回転方向の推定結果とをコンピュータ200Bに送信してもよいし、上述のようにアバターオブジェクト6Aにユーザ5Aの重心移動を反映しない場合は回転方向の推定結果のみをコンピュータ200Aに送信してもよい。
また、図25に示される例ではステップS2540でコンピュータ200Aが寸法データ1439Aをコンピュータ200Bに送信しているが、コンピュータ200Bが予め寸法データ1439Aを取得している場合もあり得る。その場合、コンピュータ200Aは、ステップS2540においてユーザ5Aまたはコンピュータ200Aの識別情報をコンピュータ200Bに送信し得る。コンピュータ200Bは、受信した識別情報に従いユーザ5Aに対応する寸法データ1439Aを特定し得る。
なお、上述の例において、ユーザ5は頭部、腰部、両手、および両足の計6カ所にモーションセンサを装着しているが、モーションセンサの数は6個に限られない。ユーザ5は、少なくとも1カ所にモーションセンサを装着していればよい。
〔実施形態2〕
[寸法データの自動取得]
本実施形態では、上記の実施形態で説明した寸法データの取得を、自動的に行う構成を説明する。図26は、ある実施の形態に従う、寸法データの自動取得を説明するための図である。
プロセッサ210Aは、ユーザ5Aの動きを、仮想空間に配置されているアバターオブジェクト6Aに反映させるためのプログラムを実行すると、寸法データの自動取得を開始する。プロセッサ210Aは、ユーザ5Aに対し、所定位置(第1位置)への移動を促す。以降、該所定位置を「ホームポジション」と呼称する。
ユーザがホームポジションを認識することができるように、ホームポジションは現実空間において明示されていることが好ましい。図26(A)は、ホームポジションを明示するマークの一例を示す。図26(A)に示されるマーク2641は、一例として、ユーザ5Aが起立したとき、ユーザ5Aの足裏と接触する面(床面など)に、テープを貼付することで形成されてもよい。
ユーザ5Aに対しホームポジションへの移動を促す方法の一例として、プロセッサ210Aは、マーク2641と同様のマークの上に立つキャラクタと、マーク2641の上に立つ旨のメッセージとをモニタ130Aに表示する。他の例として、プロセッサ210Aは、マーク2641の上に立つ旨の音声をスピーカ180Aから出力してもよい。
プロセッサ210Aは、ユーザ5Aがホームポジションにいること、すなわち、ユーザ5Aがマーク2641の上に立っている状態であることを検知する。一例として、該状態の検知は、ユーザ5Aの頭部の位置が、ストレージ230に予め格納されている範囲内にあるか否かを、プロセッサ210Aが判定することにより実現される。この場合、ユーザ5Aの頭部の位置は、HMDセンサ410により、HMD120Aの位置をトラッキングすることにより検出されてもよいし、HMD120Aが備えるモーションセンサが検出する位置情報に基づいて検出されてもよい。また、上記の範囲としては、ホームポジションにユーザ5Aが立っているときの頭部の位置を中心とした範囲を設定すればよい。
プロセッサ210Aは、ユーザ5Aがホームポジションにいることを検知すると、ユーザ5Aに対し、図26の(B)に示される姿勢を取るように促す。図26(B)は、ユーザ5Aが、ホームポジションにおいて、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。実施形態1では、図26(B)に示される状態を第2姿勢と呼称していたが、本実施形態では、該状態を第1姿勢と呼称する。
ユーザ5Aに対し第1姿勢を取るように促す方法の一例として、プロセッサ210Aは、第1姿勢のキャラクタと、同様の姿勢をとる旨のメッセージとを表示する。他の例として、プロセッサ210Aは、第1姿勢をとる旨の音声をスピーカ180Aから出力してもよい。
図26に示される例では、ユーザ5Aは、位置センサとして、HMD120A、右コントローラ300RA、左コントローラ300LA、モーションセンサ1521〜1523に加え、モーションセンサ2651〜2654を装着している。モーションセンサ2651〜2654は、モーションセンサ1521〜1523と同様の機能を有する。モーションセンサ2651はユーザ5Aの右肘に装着されている。モーションセンサ2652はユーザ5Aの左肘に装着されている。モーションセンサ2653はユーザ5Aの右膝に装着されている。モーションセンサ2654はユーザ5Aの左膝に装着されている。
プロセッサ210Aは、ユーザ5Aが、ホームポジションにおいて第1姿勢をとっていることを検知する。本実施形態において、「ユーザ5Aがホームポジションにおいて第1姿勢をとっている」とは、ユーザ5Aがマーク2641の上において、第1姿勢をとったまま所定時間(例えば、3秒間)静止している状態を指す。ユーザ5Aが、ホームポジションにおいて第1姿勢をとっていることの検知は、プロセッサ210Aがこの状態を特定することで実現される。なお、ユーザ5Aがホームポジションにいることの特定方法は、既に説明しているため、ここでは説明を繰り返さない。
一例として、プロセッサ210Aは、ユーザ5Aに装着された各モーションセンサが検出する位置情報に基づき、第1姿勢に対応する頭部、腰部、両手、両足両肘、両膝の位置情報(第1位置情報)を特定(取得)する。第1位置情報は、実座標系(x、y、z)における位置として取得され得る。続いて、プロセッサ210Aは、第1姿勢に対応するユーザ5Aの各部位の位置関係に基づき、ユーザ5Aの姿勢が第1姿勢であると特定する。具体的には、プロセッサ210Aは、ユーザ5Aの足、膝、手、および肘が、マーク2641が形成された面に対して略垂直方向に並んでいると特定したとき、ユーザ5Aの姿勢が第1姿勢であると特定する。そして、プロセッサ210Aは、第1姿勢における、ユーザ5Aの各部の加速度を算出する。該加速度は、ユーザ5Aに装着された各モーションセンサが検出する位置情報の経時変化に基づき算出することができる。該加速度が、所定時間継続して、所定の誤差範囲内に収まっていれば、プロセッサ210Aは、ユーザ5Aが第1姿勢をとったまま所定時間静止していると特定する。
プロセッサ210Aは、第1姿勢を検知すると、特定した第1位置情報からユーザ5Aの寸法データ1439A(図18参照)を算出する。具体的には、プロセッサ210Aは、図18に示される寸法データ1439Aのうち、ユーザ5Aの身長、肩幅、足の長さ(第1寸法データ)を算出する。プロセッサ210Aは、第1位置情報における一方の手の位置から他方の手の位置までの距離を肩幅として算出し得る。また、プロセッサ210Aは、足の位置から頭部の位置までの高さを身長として算出し得る。プロセッサ210Aは、足の位置から腰部の位置までの高さを脚の長さとして算出し得る。
プロセッサ210Aは、第1位置情報から寸法データを算出すると、ユーザ5Aに対し図26の(C)に示される第2姿勢を取るように促す。図26(C)は、ユーザ5Aが、ホームポジションにおいて、正面を向き、両手を水平に広げ、起立している状態を表す。実施形態1では、図26(C)に示される状態を第1姿勢と呼称していたが、本実施形態では、該状態を第2姿勢と呼称する。
ユーザ5Aに対し第2姿勢を取るように促す方法の一例として、プロセッサ210Aは、第2姿勢のキャラクタと、同様の姿勢をとる旨のメッセージとをモニタ130Aに表示する。他の例として、プロセッサ210Aは、第2姿勢をとる旨の音声をスピーカ180Aから出力してもよい。
プロセッサ210Aは、ユーザ5Aが、ホームポジションにおいて第2姿勢をとっていることを検知する。なお、本実施形態において、「ユーザ5Aがホームポジションにおいて第2姿勢をとっている」とは、ユーザ5Aがマーク2641の上において、第2姿勢をとったまま所定時間静止している状態を指す。ユーザ5Aが、ホームポジションにおいて第2姿勢をとっていることの検知は、プロセッサ210Aがこの状態を特定することで実現される。なお、ユーザ5Aがホームポジションにいることの特定方法は、既に説明しているため、ここでは説明を繰り返さない。
一例として、プロセッサ210Aは、ユーザ5Aに装着された各モーションセンサが検出する位置情報に基づき、第2姿勢に対応する頭部、腰部、両手、両足両肘、両膝の位置情報(第3位置情報)を特定する。第3位置情報は、第1位置情報と同様に、実座標系(x、y、z)における位置として取得され得る。続いて、プロセッサ210Aは、第2姿勢に対応するユーザ5Aの各部位の位置関係に基づき、ユーザ5Aの姿勢が第2姿勢であると特定する。具体的には、プロセッサ210Aは、ユーザ5Aの両手および両肘が、マーク2641が形成された面に対して平行方向に並んでいると特定したとき、ユーザ5Aの姿勢が第2姿勢であると特定する。そして、プロセッサ210Aは、上述した、第1姿勢をとったまま所定時間静止していることの特定と同様の方法で、ユーザ5Aが第2姿勢をとったまま所定時間静止していることを特定する。
プロセッサ210Aは、第2姿勢を検知すると、特定した第1位置情報および第3位置情報からユーザ5Aの寸法データ1439Aを算出する。具体的には、プロセッサ210Aは、図18に示される寸法データ1439Aのうち、ユーザ5Aの腕の長さ(第2寸法データ)を算出する。プロセッサ210Aは、第3位置情報における一方の手の位置から他方の手の位置までの距離を算出し、該距離から肩幅を差し引いた値の半分を腕の長さとして算出し得る。腕の長さの算出において、第1位置情報に基づいて算出した肩幅を排除することができるので、第1位置情報および第3位置情報を用いることで、より高精度な寸法データの算出を実現することができる。
また、プロセッサ210Aは、第1位置情報から算出した、身長および脚の長さを、第3位置情報に基づいて補正してもよい。一例として、プロセッサ210Aは、第3位置情報からも身長を算出し、第1位置情報から算出した身長と、第3位置情報から算出した身長との平均値を、ユーザ5Aの身長としてもよい。同様に、プロセッサ210Aは、第3位置情報からも脚の長さを算出し、第1位置情報から算出した脚の長さと、第3位置情報から算出した脚の長さとの平均値を、ユーザ5Aの脚の長さとしてもよい。
なお、寸法データ1439Aの内容は図18に示される例に限定されない。一例として、寸法データ1439Aは、さらに、手から肘までの長さ、肘から肩までの長さ、足から膝までの長さ、膝から腰部までの長さなどを含んでもよい。
プロセッサ210Aは、第1位置情報から、手から肘までの長さ、足から膝までの長さ、および膝から腰部までの長さを算出し得る。具体的には、プロセッサ210Aは、右手の位置から右肘の位置までの距離を、右手から右肘までの長さとして算出し得る。プロセッサ210Aは、左手から左肘までの長さも、同様に算出し得る。プロセッサ210Aは、右足の位置から右膝の位置までの距離を、右足から右膝までの長さとして算出し得る。プロセッサ210Aは、左足から左膝までの長さも、同様に算出し得る。プロセッサ210Aは、右膝の位置から腰部の位置までの距離を、右膝から腰部までの長さとして算出し得る。プロセッサ210Aは、左膝から腰部までの長さも、同様に算出し得る。
また、プロセッサ210Aは、第1位置情報および第3位置情報から、肘から肩までの長さを算出し得る。具体的には、プロセッサ210Aは、腕の長さから、右手から右肘までの長さを差し引いた値を、右肘から右肩までの長さとして算出し得る。プロセッサ210Aは、左肘から左肩までの長さも、同様に算出し得る。
プロセッサ210Aは、第1位置情報から算出した、手から肘までの長さ、足から膝までの長さ、膝から腰部までの長さを、第3位置情報に基づいて補正してもよい。この補正の方法は、上述した身長および脚の長さの補正の方法と同様であるため、ここでは説明を繰り返さない。
図27は、ある実施の形態に従う、寸法データ1439の自動取得処理を表すフローチャートである。ステップS2750にて、プロセッサ210は、ユーザ5Aの動きを、仮想空間に配置されているアバターオブジェクト6Aに反映させるためのプログラムを実行し、仮想空間11に仮想カメラ14を配置する。プロセッサ210はさらに、仮想カメラ14の撮影範囲に対応する視界画像17をモニタ130に出力する。
ステップS2751にて、プロセッサ210は、ユーザ5にホームポジションに立つように指示する。例えば、プロセッサ210は、当該指示が記されたオブジェクトを仮想空間11に配置することでステップS2751の処理を実現する。
ステップS2752にて、プロセッサ210は、ユーザ5がホームポジションに立ったことを検知する。プロセッサ210は、ユーザ5がホームポジションに立ったことを検知すると、ステップS2753にて、ユーザ5に第1姿勢になるように指示する。例えば、プロセッサ210は、当該指示が記されたオブジェクトを仮想空間11に配置することでステップS2753の処理を実現する。
ステップS2754にて、プロセッサ210は、第1位置情報を取得し、ユーザ5が第1姿勢となったことを検知する。プロセッサ210は、ユーザ5が第1姿勢となったことを検知すると、ステップS2755にて、第1位置情報から寸法データを算出する。
ステップS2756にて、プロセッサ210は、ユーザ5に第2姿勢になるように指示する。例えば、プロセッサ210は、当該指示が記されたオブジェクトを仮想空間11に配置することでステップS2756の処理を実現する。
ステップS2757にて、プロセッサ210は、第3位置情報を取得し、ユーザ5が第2姿勢となったことを検知する。プロセッサ210は、ユーザ5が第2姿勢となったことを検知すると、ステップS2758にて、第1位置情報および第3位置情報から寸法データを算出する。
上記によれば、プロセッサ210がアプリケーションを実行すれば、ユーザ5の寸法データの取得が自動的に行われる。ユーザ5は、自身の寸法データを入力するために、現実空間における所定位置で2つの姿勢をとるだけでよい。以上より、ユーザ5は、寸法データの入力を1人で容易に行うことができる。
また、上記によれば、プロセッサ210が、ユーザ5に対し、ホームポジションへの移動、第1姿勢をとること、および、第2姿勢を取ることを指示する。これにより、ユーザ5は、寸法データの入力において、次に何をすべきかを認識することができる。以上より、ユーザ5は、寸法データの入力を1人で、さらに容易に行うことができる。
プロセッサ210は、ステップS2758の処理の実行後に、ユーザ5に装着された各モーションセンサから、ユーザの現在の姿勢(第3姿勢)に対応する現在の位置情報(第2位置情報)を取得し、該現在の位置情報と、算出した寸法データとに基づいて、アバターオブジェクト6を制御する。この制御の一例として、プロセッサ210は、ユーザの現在の姿勢を取るようにアバターオブジェクト6を動かしてもよい。また、プロセッサ210は、ステップS2758の処理の実行後に、図21のフローチャートに示される処理を実行してもよい。
上記によれば、ユーザ5は、寸法データの入力のみならず、ユーザ5の動きのアバターオブジェクト6への反映も、1人で容易に行うことができる。
また、図21に示されるステップS2140においてアバターオブジェクト6を動かすと同時に、ユーザ5の表情の変化を、アバターオブジェクト6の表情に反映させてもよい。この処理は、フェイストラッキング機能を有する装置をユーザ5の顔の正面に固定し、撮影したユーザ5の顔画像と、モーションセンサから得られた現在の位置情報および回転方向とをタイムスタンプで同期することで実現される。
また、プロセッサ210は、ステップS2755およびS2758にて算出したユーザ5の寸法データと、アバターオブジェクト6の寸法データとを用いて、ユーザ5の寸法データと、アバターオブジェクト6の寸法データとの比率を算出してもよい。プロセッサ210は、該比率を、アバターオブジェクト6の制御に用いてもよい。このようにしても、プロセッサ210は、ユーザ5Aの寸法データと、アバターオブジェクト6の寸法データとのずれを考慮して、アバターオブジェクト6を制御することができる。よって、両寸法データが大きく異なる場合、例えば、アバターオブジェクト6が二頭身のキャラクタであっても、ユーザ5の動きを、アバターオブジェクト6に自然に反映させることができる。なお、アバターオブジェクト6の寸法データは、例えば、予めストレージ230に記憶しておけばよい。
また、上述した例では、図26(B)に示される姿勢を第1姿勢、図26(C)に示される姿勢を第2姿勢としていたが、図26(C)に示される姿勢を第1姿勢、図26(B)に示される姿勢を第2姿勢としてもよい。
また、プロセッサ210は、図27に示すステップS2751、S2753、およびS2756の処理のうち、少なくとも1つを実行しない構成であってもよい。一例として、プロセッサ210は、これらのステップの処理をすべて実行しない、すなわち、ユーザ5に対する指示を行わない構成であってもよい。
また、プロセッサ210は、図27に示すステップS2756〜S2758の処理を実行しない構成であってもよい。すなわち、プロセッサ210は、第1姿勢のみに基づいて、ユーザ5の寸法データを算出する構成であってもよい。この構成によれば、ユーザ5の寸法データとして、身長、肩幅、脚の長さ、手から肘までの長さ、足から膝までの長さ、膝から腰部までの長さなどを取得することができる。また、この例において、第1姿勢は、図26(C)に示される姿勢であってもよい。この場合、ユーザ5の寸法データとして、身長、腕の長さ、脚の長さ、頭部から肩までの高さ、手から肘までの長さ、肘から肩までの長さ、足から膝までの長さ、膝から腰部までの長さなどを取得することができる。
また、図27に示す例では、第1位置情報からの寸法データの算出(ステップS2755)、並びに、第1位置情報および第3位置情報からの寸法データの算出(ステップS2758)は、それぞれ、第1姿勢の検知(ステップS2754)および第2姿勢の検知(ステップS2757)の後に行われるものとして記載したが、この例に限定されない。一例として、寸法データの算出処理は、それぞれ、第1姿勢および第2姿勢の検知処理と同じタイミングで行われてもよい。具体的には、プロセッサ210は、第1位置情報または第3位置情報を取得した時点で、第1姿勢または第2姿勢の検知を行いながら、寸法データの算出を開始してもよい。この例において、第1姿勢または第2姿勢を検知できなかった場合、プロセッサ210は、寸法データの算出を中止してもよい。第1姿勢または第2姿勢を検知できなかった場合とは、例えば、所定時間が経過する前に、ユーザ5が第1姿勢または第2姿勢と異なる姿勢となった場合が挙げられる。
また、上述した例では、第1位置情報および第3位置情報に基づき、第1姿勢および第2姿勢の特定を行なっていたが、第1姿勢および第2姿勢の特定は、この方法に限定されない。例えば、カメラが撮影したユーザ5を含む画像と基準画像とを比較し、両画像におけるユーザ5の姿勢について、誤差が所定範囲内であれば、ユーザ5が第1姿勢または第2姿勢をとっていると特定してもよい。該カメラは、ユーザ5の全身を撮影可能な位置に設け、コンピュータ200と有線または無線により接続すればよい。また、基準画像としては、予め、ユーザ5に第1姿勢および第2姿勢をとらせて撮影を行い、取得した画像を用いればよい。また、予め取得した基準画像は、ストレージ230に記憶しておけばよい。また、この方法で第1姿勢および第2姿勢を特定する例の場合、プロセッサ210は、第1姿勢および第2姿勢の特定中、または特定後に、第1位置情報および第3位置情報を取得すればよい。
また、モーションセンサを用いた位置検出に代えて、高精度のジャイロセンサを用いた動き検出を行うことにより、寸法データの取得や、ユーザ5の動きのアバターオブジェクト6への反映を実現してもよい。
[付記事項]
以上に開示された技術的特徴は、以下のように要約され得る。
(項目1) 位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムを説明した。本開示のある局面によれば、プログラムは、コンピュータに、ユーザが第1位置にいることを検知するステップ(S2752)と、第1位置にいることを検知した場合、ユーザが第1姿勢をとっていることを検知するステップ(S2754)と、第1姿勢をとっていることを検知した場合、位置センサから取得した、第1姿勢に応じた第1位置情報に基づいて、ユーザの第1寸法データを算出するステップ(S2755)と、第1寸法データの算出後に位置センサから取得した第2位置情報と、第1寸法データとに基づいて、アバタを制御するステップ(S2140)とを実行させる。
(項目2) (項目1)において、プログラムは、コンピュータに、ユーザに、前記第1位置への移動を促す出力を行うステップ(S2751)をさらに実行させる。
(項目3) (項目1)または(項目2)において、プログラムは、コンピュータに、ユーザが第1位置にいることを検知した場合、ユーザに、第1姿勢をとることを促す出力を行うステップ(S2753)をさらに実行させる。
(項目4) (項目1)から(項目3)のいずれかにおいて、プログラムは、コンピュータに、ユーザが第1姿勢と異なる第2姿勢をとっていることを検知するステップ(S2757)と、第2姿勢をとっていることを検知した場合、第1位置情報、および、位置センサから取得した、第2姿勢に応じた第3位置情報に基づいて、ユーザの第2寸法データを算出するステップ(S2758)とをさらに実行させ、アバタを制御するステップでは、第1寸法データおよび第2寸法データの算出後に取得した第2位置情報と、第1寸法データおよび第2寸法データとに基づいて、アバタを制御する。
(項目5) (項目4)において、プログラムは、コンピュータに、第1位置情報を取得した場合、ユーザに、第2姿勢をとることを促す出力を行うステップ(S2756)をさらに実行させる。
(項目6) (項目1)から(項目5)のいずれかにおいて、第2位置情報は、第1寸法データの算出後の第3姿勢に応じた位置情報であり、アバタを制御するステップでは、第3姿勢を取るようにアバタを動かす。
(項目7) (項目1)から(項目6)のいずれかにおいて、アバタを制御するステップでは、第1寸法データの算出後に取得した第2位置情報と、第1寸法データとに基づいて算出した、ユーザの関節の回転方向に基づいてアバタを動かす。
(項目8) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(コンピュータ200)は、(項目1)に係るプログラムを記憶する記憶部(ストレージ230)と、該プログラムを実行することにより、情報処理装置の動作を制御する制御部(プロセッサ210)と、を備えている。
(項目9) プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ(210)およびメモリ(220)を備えるコンピュータ(200)により実行される。該方法は、プロセッサが(項目1)に係る各ステップを実行する方法である。
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augumented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用
を与えることが可能となる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
5 ユーザ、6 アバターオブジェクト、10 サーバ、11 仮想空間、13 パノラマ画像、14 仮想カメラ、15 視界領域、16 基準視線、17 視界画像、100 HMDシステム、110 HMDセット、130 モニタ、140 注視センサ、150 第1カメラ、160 第2カメラ、170 マイク、180 スピーカ、190,410 センサ、200 コンピュータ、210,610 プロセッサ、220,620 メモリ、230,630 ストレージ、240,640 入出力インターフェイス、250,650 通信インターフェイス、260,660 バス、300 コントローラ、300L 左コントローラ、300R 右コントローラ、420,1521,1522,1523,2433,2651,2652,2653,2654 モーションセンサ、430,2435 ディスプレイ、510 コントロールモジュール、520 レンダリングモジュール、530 メモリモジュール、540 通信制御モジュール、600 サーバ、700 外部機器、1421 仮想カメラ制御モジュール、1422 視界領域決定モジュール、1423 基準視線特定モジュール、1424 顔器官検出モジュール、1425 動き検出モジュール、1426 仮想空間定義モジュール、1427 仮想オブジェクト生成モジュール、1428 操作オブジェクト制御モジュール、1429 アバター制御モジュール、1431 空間情報、1432 オブジェクト情報、1433 ユーザ情報、1434 顔情報、1435 口テンプレート、1436 目テンプレート、1437 眉テンプレート、1438 視界画像生成モジュール、1439 寸法データ、1531 ベルト、2421 ウサギ、2431 カメラ、2641 マーク

Claims (9)

  1. 複数の位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムであって、
    前記複数の位置センサは、前記ユーザの頭部に装着された非透過型のヘッドマウントデバイスを含み、
    前記プログラムはコンピュータに、
    前記複数の位置センサを検出可能な領域内における予め定められた第1位置に前記ユーザがいることを検知するステップと、
    前記第1位置にいることを検知した場合、前記ユーザが第1姿勢をとっていることを検知するステップと、
    前記第1姿勢をとっていることを検知した場合、前記複数の位置センサから取得した、前記第1姿勢に応じた第1位置情報に基づいて、前記ユーザの第1寸法データを算出するステップと、
    前記第1寸法データの算出後に前記複数の位置センサから取得した第2位置情報と、前記第1寸法データとに基づいて、前記アバタを制御するステップとを実行させる、プログラム。
  2. 前記プログラムは前記コンピュータに
    記第1位置への移動を前記ユーザに促す出力を前記ヘッドマウントデバイスにて行うステップをさらに実行させる、請求項1記載のプログラム。
  3. 前記プログラムは前記コンピュータに、
    前記ユーザが前記第1位置にいることを検知した場合、前記第1姿勢をとることを前記ユーザに促す出力を前記ヘッドマウントデバイスにて行うステップをさらに実行させる、請求項1または2に記載のプログラム。
  4. 前記プログラムは前記コンピュータに、
    前記ユーザが前記第1姿勢と異なる第2姿勢をとっていることを検知するステップと、
    前記第2姿勢をとっていることを検知した場合、前記第1位置情報、および、前記複数の位置センサから取得した、前記第2姿勢に応じた第3位置情報に基づいて、ユーザの第2寸法データを算出するステップとをさらに実行させ、
    前記アバタを制御するステップでは、前記第1寸法データおよび前記第2寸法データの算出後に取得した前記第2位置情報と、前記第1寸法データおよび前記第2寸法データとに基づいて、前記アバタを制御する、請求項1から3のいずれか1項に記載のプログラム。
  5. 前記プログラムは前記コンピュータに、
    前記第1位置情報を取得した場合、前記第2姿勢をとることを前記ユーザに促す出力を前記ヘッドマウントデバイスにて行うステップをさらに実行させる、請求項4に記載のプログラム。
  6. 前記第2位置情報は、前記第1寸法データの算出後の前記ユーザの第3姿勢に応じた位置情報であり、
    前記アバタを制御するステップでは、前記第3姿勢をとるように前記アバタを動かす、請求項1から5のいずれか1項に記載のプログラム。
  7. 前記アバタを制御するステップでは、
    前記第1寸法データの算出後に取得した前記第2位置情報と、前記第1寸法データとに基づいて算出した、前記ユーザの関節の回転方向に基づいて前記アバタを動かす、請求項1から6のいずれか1項に記載のプログラム。
  8. 情報処理装置であって、
    前記情報処理装置は、
    請求項1に記載のプログラムを記憶する記憶部と、
    該プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備えている、情報処理装置。
  9. コンピュータがプログラムを実行する方法であって、
    前記コンピュータは、プロセッサおよびメモリを備え、
    前記プロセッサが請求項1に記載の各ステップを実行する方法。
JP2018042370A 2018-03-08 2018-03-08 ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 Active JP6470859B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018042370A JP6470859B1 (ja) 2018-03-08 2018-03-08 ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018042370A JP6470859B1 (ja) 2018-03-08 2018-03-08 ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019007355A Division JP2019160295A (ja) 2019-01-18 2019-01-18 ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Publications (2)

Publication Number Publication Date
JP6470859B1 true JP6470859B1 (ja) 2019-02-13
JP2019159501A JP2019159501A (ja) 2019-09-19

Family

ID=65358137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018042370A Active JP6470859B1 (ja) 2018-03-08 2018-03-08 ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Country Status (1)

Country Link
JP (1) JP6470859B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091774A (ja) * 2018-12-07 2020-06-11 株式会社gumi プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
JP2020135428A (ja) * 2019-02-20 2020-08-31 株式会社ドワンゴ 位置データ処理装置およびプログラム
WO2020174586A1 (ja) * 2019-02-26 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP2020162084A (ja) * 2019-03-28 2020-10-01 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2020167661A (ja) * 2019-03-28 2020-10-08 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
WO2017141565A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 演算装置、演算方法及び演算プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
WO2017141565A1 (ja) * 2016-02-15 2017-08-24 オムロン株式会社 演算装置、演算方法及び演算プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091774A (ja) * 2018-12-07 2020-06-11 株式会社gumi プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
JP2020135428A (ja) * 2019-02-20 2020-08-31 株式会社ドワンゴ 位置データ処理装置およびプログラム
WO2020174586A1 (ja) * 2019-02-26 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JPWO2020174586A1 (ja) * 2019-02-26 2021-10-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7191196B2 (ja) 2019-02-26 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP2020162084A (ja) * 2019-03-28 2020-10-01 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2020167661A (ja) * 2019-03-28 2020-10-08 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP7344084B2 (ja) 2019-03-28 2023-09-13 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Also Published As

Publication number Publication date
JP2019159501A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
US10453248B2 (en) Method of providing virtual space and system for executing the same
US10262461B2 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US10546407B2 (en) Information processing method and system for executing the information processing method
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US10459599B2 (en) Method for moving in virtual space and information processing apparatus for executing the method
US20180196506A1 (en) Information processing method and apparatus, information processing system, and program for executing the information processing method on computer
JP6242473B1 (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US20190005731A1 (en) Program executed on computer for providing virtual space, information processing apparatus, and method of providing virtual space
JP2020004284A (ja) システム、プログラム、方法、および情報処理装置
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
US20190005732A1 (en) Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
JP2019128721A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US20180374275A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
JP2023015061A (ja) プログラム
JP2020004388A (ja) システム、プログラム、方法、および情報処理装置
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP2021101358A (ja) 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US11882172B2 (en) Non-transitory computer-readable medium, information processing method and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180702

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190118

R150 Certificate of patent or registration of utility model

Ref document number: 6470859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250