JP6594254B2 - Virtual environment construction device, virtual environment construction method, program - Google Patents
Virtual environment construction device, virtual environment construction method, program Download PDFInfo
- Publication number
- JP6594254B2 JP6594254B2 JP2016087906A JP2016087906A JP6594254B2 JP 6594254 B2 JP6594254 B2 JP 6594254B2 JP 2016087906 A JP2016087906 A JP 2016087906A JP 2016087906 A JP2016087906 A JP 2016087906A JP 6594254 B2 JP6594254 B2 JP 6594254B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual environment
- collision
- feedback
- information
- feedback target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
この発明は、現実の環境を撮影した映像に基づいて仮想的かつ移動可能な視点からの映像を合成する仮想環境構築技術に関する。 The present invention relates to a virtual environment construction technique for synthesizing a video from a virtual and movable viewpoint based on a video obtained by photographing a real environment.
スポーツの試合において、事前に体験していない初めての状況に遭遇すると、十分なパフォーマンスを発揮できないことがある。例えば、野球では「初物に弱い」という表現を用いて初対戦の投手を苦手とする状況が語られることがある。この状況に対し、実際の試合と同じ環境において選手の目線で事前に投手の投球を体験することが有効であると考えられる。 If you encounter a first situation that you have not experienced before in a sporting game, you may not be able to perform well. For example, in baseball, the phrase “weak to the first thing” may be used to describe a situation in which the pitcher of the first match is not good. For this situation, it is considered effective to experience the pitcher's pitching in advance in the same environment as the actual game.
しかしながら、実際に次の対戦相手の投球を事前に体験することは実施の観点から困難である。この対策としてスタンドなどから撮影した対戦相手の過去の投球映像を視聴することが一般的であるが、ここで視聴する映像は実際にバッターボックスに立っている選手が見ている映像と比べて視点や視野の観点から異なるため、試合状況の事前体験として十分ではない。 However, it is difficult to actually experience the next opponent's pitching in advance from the viewpoint of implementation. As a countermeasure, it is common to watch the past pitching video of the opponent taken from the stand etc., but the video to watch here is a viewpoint compared to the video actually seen by the player standing in the batter box Because it differs from the viewpoint of the field of view, it is not enough as a prior experience of the game situation.
非特許文献1には、選手の目線における事前体験の実現方法として、バッターボックス内の選手の目線の位置に360度のパノラマ画像を撮影できるカメラ(以下、全天球カメラと呼ぶ)を設置し、その全天球カメラで撮影した選手目線の映像をヘッドマウントディスプレイにより視聴する方法が記載されている。
Non-Patent
しかしながら、非特許文献1に記載の方法では、試合中にバッターボックス内にカメラを設置する必要があるため実施の観点から実現は困難である。加えて、このようにカメラで撮影された映像を視聴する場合、カメラを設置した視点のみの事前体験しかできないという課題がある。
However, the method described in Non-Patent
また、非特許文献1に記載の方法は、視覚による仮想体験を実現するものであり、触覚による仮想体験を得ることはできない。例えば、ユーザが実空間でバットを振る動作やボールをキャッチする動作をしたとしても、バットやグローブは撮影時の映像中には存在しないため、ボールがバットに当たった感覚やボールをキャッチした感覚を適当なタイミングで与えることは困難である。
Further, the method described in Non-Patent
この発明の目的は、上記のような事情を鑑み、仮想的に試合環境を構築することで、事前に選手目線での試合体験を可能にする技術を提供することである。 In view of the circumstances as described above, an object of the present invention is to provide a technology that enables a game experience from the player's perspective in advance by virtually constructing a game environment.
本発明の一態様は、動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築装置であって、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部とを含む。 One aspect of the present invention is a virtual environment construction device that constructs a virtual environment that allows a user to browse based on a real environment in which a dynamic object and a static object exist, the dynamic object and the static object A virtual environment material storage unit that stores a virtual environment material that reproduces on the virtual environment, a dynamic object sensing unit that measures position and orientation of the dynamic object in the real environment and generates position and orientation information, The virtual environment is constructed by synthesizing the virtual environment material of the dynamic object and the virtual environment material of the static object by using the position and orientation information of the dynamic object and the position and orientation information of the static object. The environment construction unit and the position of the feedback target that is the body part of the user or the object held by the part And a tactile motion sensing unit that measures feedback and generates feedback target position and orientation information, and position and orientation information of a collision object that may collide with the feedback target in the dynamic object or the static object, From the feedback target position and orientation information, the virtual environment material of the collision object, and the virtual environment material of the feedback target, it is determined whether or not there is a collision between the collision object and the feedback target at each time, and the determination result is the collision information. And a body feedback generator for generating a feedback signal for giving feedback to the user's body from the collision information.
この発明の仮想環境構築技術によれば、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視覚だけでなく触覚の観点からも仮想的に試合環境を構築することができ、視覚・触覚の2つの観点から事前に選手目線での試合体験が可能となる。 According to the virtual environment construction technique of the present invention, a game environment is virtually detected not only visually but also from a tactile sensation by detecting a user's motion in a real space and giving the user a sense of collision corresponding to the motion. It is possible to build a game experience from the viewpoint of the player in advance from the two viewpoints of visual and tactile sensation.
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. In addition, the same number is attached | subjected to the component which has the same function in drawing, and duplication description is abbreviate | omitted.
[第一実施形態]
最初に、第一実施形態の仮想環境構築装置の概要を説明する。まず、動的オブジェクトセンシング部が(例えば、野球の投球やテニスのサーブの軌道などの)事前体験の対象である動的なオブジェクト(例えば、ボール)に関する各時刻の位置および姿勢を求め、その位置姿勢情報を記憶しておく。時間変化をしない静的なオブジェクト(例えば、スタジアムやグラウンドなど)に関する位置姿勢情報は予め記憶されているものとする。以下では、ボールやスタジアムのように仮想環境を構成するためのオブジェクトを構成素材と呼ぶ。また、構成素材を仮想環境に再現するためのコンピュータ・グラフィックス(CG: Computer Graphics)データを仮想環境素材と呼び、これらも予め記憶されているものとする。なお、静的オブジェクトに関する仮想環境素材はCGデータに限定されず、実際に撮影した映像から切り出した動画または静止画データであってもよい。仮想環境構築部は各構成素材の位置姿勢情報に基づいて仮想環境素材を配置することで仮想環境を構築する。描画部は、その仮想環境を全天球映像などの映像として出力する。
[First embodiment]
Initially, the outline | summary of the virtual environment construction apparatus of 1st embodiment is demonstrated. First, the dynamic object sensing unit obtains the position and posture of each time regarding a dynamic object (for example, a ball) that is a target of prior experience (for example, baseball pitching or tennis serve trajectory), and The posture information is stored. It is assumed that position and orientation information relating to a static object that does not change with time (for example, a stadium or a ground) is stored in advance. Hereinafter, an object for configuring a virtual environment such as a ball or a stadium is referred to as a constituent material. In addition, computer graphics (CG) data for reproducing a constituent material in a virtual environment is called a virtual environment material, and these are also stored in advance. Note that the virtual environment material related to the static object is not limited to CG data, and may be a moving image or still image data cut out from an actually captured video. The virtual environment construction unit constructs a virtual environment by arranging the virtual environment material based on the position and orientation information of each constituent material. The drawing unit outputs the virtual environment as an image such as a spherical image.
この映像出力のための処理と並行して、ユーザに衝突を感得させるための処理が行われる。触覚動作センシング部は、実空間でのユーザの動作のうち、触覚に関係してくる動作をセンシングする。例えば、バットを振る、ボールをキャッチするなどの動作がセンシング対象となる。衝突判定部は、実空間でのユーザの動作に基づいて、仮想環境中でのユーザの身体の部位(またはユーザが使用する構成素材)と他の構成素材との衝突の有無を判定する。ユーザが使用する構成素材の例として、バットやグローブがあり、これらの構成素材と衝突する他の構成素材の例として、ボールがある。身体フィードバック生成部は、衝突があった場合、その衝突をユーザに伝達する。 In parallel with this video output process, a process for making the user feel a collision is performed. The tactile motion sensing unit senses a motion related to a tactile sensation among user motions in real space. For example, a motion such as swinging a bat or catching a ball is a sensing target. The collision determination unit determines whether or not there is a collision between a part of the user's body (or a constituent material used by the user) and another constituent material in the virtual environment based on the user's operation in the real space. Examples of constituent materials used by the user include bats and gloves, and examples of other constituent materials that collide with these constituent materials include balls. When there is a collision, the body feedback generation unit transmits the collision to the user.
第一実施形態の仮想環境構築装置は、図1に示すように、動的オブジェクトセンシング部11、構成素材位置姿勢記憶部12、仮想環境素材記憶部13、仮想環境構築部14、描画部15、触覚動作センシング部16、フィードバック対象位置姿勢記憶部17、衝突判定部18、および身体フィードバック生成部19を備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第一実施形態の仮想環境構築方法が実現される(図2、図3参照)。
As shown in FIG. 1, the virtual environment construction device of the first embodiment includes a dynamic
なお、視覚に関する処理(S11〜S15)と触覚に関する処理(S16〜S19)は同期が取れているものとする。例えば、バットでボールを打った瞬間の映像と手に伝わる感覚は同期することになる。 It is assumed that the process related to vision (S11 to S15) and the process related to touch (S16 to S19) are synchronized. For example, the image of the moment when the ball is hit with the bat and the sense transmitted to the hand are synchronized.
仮想環境構築装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。仮想環境構築装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。仮想環境構築装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、仮想環境構築装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。仮想環境構築装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。仮想環境構築装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。 The virtual environment construction device is a special configuration in which a special program is read by a known or dedicated computer having a central processing unit (CPU), a main storage device (RAM), and the like. Device. For example, the virtual environment construction device executes each process under the control of the central processing unit. Data input to the virtual environment construction device and data obtained in each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out as necessary and used for other processing. Is done. Further, at least a part of each processing unit of the virtual environment construction device may be configured by hardware such as an integrated circuit. Each storage unit included in the virtual environment construction device includes, for example, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory), or It can be configured with middleware such as a relational database or key-value store. Each storage unit included in the virtual environment construction device may be logically divided, and may be stored in one physical storage device.
動的オブジェクトセンシング部11は、現実環境における動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する(S11)。生成された動的オブジェクトの位置姿勢情報は構成素材位置姿勢記憶部12へ記憶される。具体的には、仮想環境構築装置に接続されたセンサ(図示せず)で動的オブジェクトを計測し、その値を入力として動的オブジェクトの3次元位置姿勢情報を推定する。動的オブジェクトとは、仮想環境において時間経過とともに3次元位置が変化する物体、例えば野球ボールやテニスボールを指す。
The dynamic
動的オブジェクトの3次元位置姿勢を算出するためのセンサとして複数カメラが利用できる。複数カメラを利用してボールの3次元位置情報を算出する手法の具体例として、ステレオ法を用いた手法がある。具体的には、予めカメラキャリブレーションを実施したカメラ群で撮影された映像に対し、画像上のボールの位置を求める。このとき、画像上のボールの位置は手作業で与えてもよいし、テンプレートマッチングなどの検出手法を用いてボールを検出し、その中心位置をボールの位置としてもよい。これら画像上で検出された位置とカメラキャリブレーションで求めたカメラパラメータとを用いてステレオ法を適用することで、ボールの3次元位置を求めることができる。また、姿勢に関しては、例えば、撮影したボールの縫い目の模様から基準の姿勢に対してどの程度回転しているかを求めることができる。 A plurality of cameras can be used as sensors for calculating the three-dimensional position and orientation of the dynamic object. As a specific example of a method for calculating the three-dimensional position information of a ball using a plurality of cameras, there is a method using a stereo method. Specifically, the position of the ball on the image is obtained with respect to an image captured by a camera group that has been subjected to camera calibration in advance. At this time, the position of the ball on the image may be given manually, or the ball may be detected using a detection method such as template matching, and the center position may be set as the position of the ball. The three-dimensional position of the ball can be obtained by applying the stereo method using the position detected on these images and the camera parameter obtained by camera calibration. As for the posture, for example, it is possible to determine how much the ball is rotated with respect to the reference posture from the pattern of the seam of the photographed ball.
動的オブジェクトの位置姿勢を求めるセンサの他の例としては、ドップラーレーダーなどを挙げることができる。このセンサは公知の技術であるため詳細な説明は省略する。その他、ボールの3次元位置姿勢情報を取得できるセンサおよび手法であればどのようなものであってもよい。 As another example of the sensor for obtaining the position and orientation of the dynamic object, a Doppler radar can be cited. Since this sensor is a known technique, a detailed description thereof is omitted. In addition, any sensor and technique that can acquire the three-dimensional position and orientation information of the ball may be used.
構成素材位置姿勢記憶部12は、各構成素材に関する位置姿勢情報を記憶する。動的オブジェクトに関する位置姿勢情報は、動的オブジェクトセンシング部11により生成されて記憶されたものである。静的オブジェクトに関する位置姿勢情報は、予め用意されて記憶されたものである。具体的には、各時刻における各構成素材の3次元位置姿勢情報を表すレコードによって構成される構成素材位置姿勢テーブルが記憶されている。
The component material position /
構成素材位置姿勢情報テーブルは、図4に示すように、構成素材を一意に識別する「構成素材ID」と、仮想環境素材を一意に識別する「仮想環境素材ID」と、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。位置は3次元の並進ベクトルとして表され、姿勢は各軸に対する回転角を表す3次元ベクトルとして表される。 As shown in FIG. 4, the component material position / orientation information table includes a “component material ID” that uniquely identifies the component material, a “virtual environment material ID” that uniquely identifies the virtual environment material, and each “time”. It has each value of “position” and “attitude” of the object. The position is represented as a three-dimensional translation vector, and the posture is represented as a three-dimensional vector representing a rotation angle with respect to each axis.
例えば、野球の投球を想定した場合、構成素材Oiがストレートボールを表すとすると、構成素材Oiに対応する仮想環境素材Eiは、仮想環境素材記憶部13に記憶された野球ボールのCGデータである。このとき、各時刻に対応する位置および姿勢はその時刻にボールがどの位置にどの姿勢で存在しているかということを表している。より具体的には、位置Ti(0), Ti(1), …, Ti(ti)はボールの軌道を、姿勢Ri(0), Ri(1), …, Ri(ti)はボールがどのように回転しているかを表している。
For example, assuming baseball pitching, if the constituent material Oi represents a straight ball, the virtual environment material Ei corresponding to the constituent material Oi is the CG data of the baseball stored in the virtual environment
なお、図4において、時刻に「-」が格納されている構成素材は、スタジアムのように時間経過に伴い位置や姿勢が変化しない静的オブジェクトであることを表す。このような静的オブジェクトの位置姿勢情報は予め記憶されているものとする。 In FIG. 4, a constituent material in which “-” is stored at the time represents a static object whose position and orientation do not change with time, such as a stadium. It is assumed that such position and orientation information of the static object is stored in advance.
また、各構成素材に対して定められている時刻は、その構成素材が後述する仮想環境構築部14において仮想環境に組み込まれた時点からの経過時刻を表す。具体的には、仮想環境において時刻taの時点で構成素材Oiが組み込まれた場合、時刻(ta+0)の時点の構成素材Oiの位置および姿勢はそれぞれTi(0), Ri(0)であり、時刻(ta+1)の時点の構成素材Oiの位置および姿勢はそれぞれTi(1), Ri(1)である。
The time set for each constituent material represents an elapsed time from the time when the constituent material is incorporated into the virtual environment in the virtual
仮想環境素材記憶部13は、各構成素材に対応する仮想環境素材を記憶する。仮想環境素材は仮想環境を構築するための素材であり、例えばCGデータや実写データなどである。仮想環境素材記憶部13は仮想環境素材IDに関連付けて各仮想環境素材を記憶する。仮想環境素材の例としては、野球であればスタジアムや野球ボールのCGデータ、テニスであればテニスコートやテニスボールのCGデータである。これらは事前に用意され記憶されているものとする。
The virtual environment
仮想環境構築部14は、構成素材位置姿勢記憶部12から各構成素材の位置姿勢情報を読み出し、仮想環境素材記憶部13から各構成素材に対応する仮想環境素材のデータを読み出し、動的オブジェクトの仮想環境素材と静的オブジェクトの仮想環境素材とを合成して仮想環境のデータを構築する(S14)。構築した仮想環境のデータは描画部15へ送られる。仮想環境のデータとは、ある仮想的な空間において一つ以上の仮想環境素材のデータが配置された仮想空間を指す。
The virtual
具体例として、野球における仮想環境のデータを作成する手順を説明する。まず、仮想環境を構築するための構成素材組み込みリストを読み込む。この構成素材組み込みリストは、図5に示すように、構成素材を一意に識別する「構成素材ID」と、その構成素材を仮想環境に組み込む「時刻」を持つ。つまり、図5の表の左2列が構成素材組み込みリストを示す。構成素材組み込みリストは予め人手で用意されているものとする。例えば野球における仮想環境のデータを作成する場合、スタジアムやピッチャー、ボールなどに関する構成素材IDおよび時刻が構成素材組み込みリストに記載されている。次に、各時刻について描画すべき構成素材が存在する場合、その構成素材に対応する仮想環境素材を仮想環境に組み込む。例えば、図5の2行目にある時刻=1、構成素材ID=O1は、時刻1において構成素材IDがO1であるスタジアムを仮想環境に組み込むことを意味する。このとき、構成素材の位置姿勢を構成素材位置姿勢記憶部12から読み出し、その位置姿勢に基づいて仮想空間に配置する。構成素材組み込みリストに記載されている全ての構成素材を仮想環境に組み込んだら処理を終了する。
As a specific example, a procedure for creating virtual environment data in baseball will be described. First, a component material incorporation list for constructing a virtual environment is read. As shown in FIG. 5, this constituent material incorporation list has “constituent material ID” for uniquely identifying the constituent material and “time” for incorporating the constituent material into the virtual environment. That is, the left two columns of the table of FIG. 5 show the constituent material incorporation list. It is assumed that the component material incorporation list is prepared manually in advance. For example, when creating virtual environment data in baseball, constituent material IDs and times regarding stadiums, pitchers, balls, and the like are listed in the constituent material incorporation list. Next, when there is a constituent material to be drawn at each time, a virtual environment material corresponding to the constituent material is incorporated into the virtual environment. For example, time = 1 and constituent material ID = O1 in the second row in FIG. 5 mean that a stadium whose constituent material ID is O1 at
描画部15は、構築した仮想環境のデータをユーザが視聴できる形態として出力する(S15)。出力する映像は、仮想環境のある視点から一方向を見るような映像でもよいし、全天球映像のように全方位を見ることができる映像でもよい。
The
例えば、ある視点から一方向を見るような映像を出力する場合は、ある位置に仮想的に透視投影カメラCを設置し、仮想環境の空間中に存在するCGモデルをカメラCの画像平面に投影すればよい。具体的には、TをカメラCの外部パラメータである位置とし、Rを姿勢とし、Kを内部パラメータとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラCの画像平面上に点qとして投影される。 For example, when outputting video that looks in one direction from a certain viewpoint, a perspective projection camera C is virtually installed at a certain position, and a CG model existing in the space of the virtual environment is projected onto the image plane of the camera C do it. Specifically, if T is a position that is an external parameter of camera C, R is a posture, and K is an internal parameter, a point p in the space where the virtual environment data exists is as follows: Is projected as a point q on the image plane.
ただし、内部パラメータKはカメラCの焦点距離や画像中心からなる3x3の行列である。 The internal parameter K is a 3 × 3 matrix composed of the focal length of the camera C and the image center.
ある視点から全方位を見渡せる全天球映像を出力する場合は、ある視点に仮想的に全天球カメラOを設置し、仮想環境の空間中に存在するCGモデルをカメラOの画像平面に投影すればよい。具体的には、TをカメラOの外部パラメータである位置とし、Rを姿勢とし、Wを投影する画像平面の幅とし、Hを高さとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラOの画像平面上に点q=(qx, qy)Tとして投影される。 When outputting an omnidirectional video that can be viewed from all viewpoints from a certain viewpoint, a omnidirectional camera O is virtually installed at a certain viewpoint, and a CG model existing in the virtual environment space is projected onto the image plane of the camera O. do it. Specifically, if T is a position that is an external parameter of camera O, R is a posture, W is a width of an image plane to be projected, and H is a height, a certain point in the space where virtual environment data exists p is projected as a point q = (q x , q y ) T on the image plane of the camera O as follows.
この例では全天球映像を2次元画像で表現する図法として正距円筒図法を用いているが、メルカトル図法など他の図法を用いてもよい。 In this example, the equirectangular projection is used as a projection method for representing the omnidirectional video as a two-dimensional image, but other projection methods such as the Mercator projection may be used.
触覚動作センシング部16は、実空間でのユーザの動作のうち、触覚に関係してくる(つまり、フィードバックを与える)身体の部位またはその部位が把持するオブジェクトの動き(位置及び姿勢)を計測し、触覚に関係してくる動作に関する情報であるフィードバック対象位置姿勢情報を生成する(S16)。以下、このような身体の部位またはその部位が把持するオブジェクトのことをフィードバック対象という。また、触覚に関係してくる動作とは、どのようなフィードバックをユーザの身体に与えたいかということに依存した動作のことであり、例えばバットを振るときのインパクトを与えたい場合にはそのバットの位置姿勢を計測する、あるいはボールをキャッチするときのインパクトを与えたい場合にはグローブの位置姿勢を計測する必要がある。これらフィードバック対象の動作を計測することができるのであれば、どのようなセンサを用いてもよい。例えば、Optitrack社に代表されるモーションセンサーを用いてもよい。また、Microsoft社のKinectを利用してもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。計測したフィードバック対象の位置及び姿勢はフィードバック対象位置姿勢記憶部17に出力する。
The tactile
身体の部位等のフィードバック対象の位置姿勢情報は、図4の構成素材位置姿勢情報テーブルと同様の構造を持つフィードバック対象位置姿勢情報テーブルで表現される。つまり、フィードバック対象位置姿勢情報テーブルは、「構成素材ID」、「仮想環境素材ID」、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。構成素材位置姿勢情報テーブルの各行のデータとフィードバック対象位置姿勢情報テーブルの各行のデータは、同一のデータ構造を有する点では同じであるが、構成素材位置姿勢情報テーブルの各行のデータが仮想環境のデータの構築に用いられるのに対し、フィードバック対象位置姿勢情報テーブルの各行のデータが後述する衝突判定に用いられる点で異なる。 The position / posture information of the feedback target such as the body part is represented by a feedback target position / posture information table having the same structure as the constituent material position / posture information table of FIG. That is, the feedback target position / orientation information table includes “component material ID”, “virtual environment material ID”, and “position” and “attitude” values of the object at each “time”. The data of each row of the constituent material position / orientation information table and the data of each row of the feedback target position / orientation information table are the same in that they have the same data structure. The difference is that the data in each row of the feedback target position / orientation information table is used for collision determination described later, whereas the data is used for data construction.
フィードバック対象位置姿勢記憶部17は、触覚動作センシング部16による計測対象となるフィードバック対象の位置姿勢情報を記憶する。具体的には、各時刻におけるフィードバック対象の3次元位置姿勢情報を表すレコードによって構成されるフィードバック対象位置姿勢テーブルが記憶されている。
The feedback target position /
衝突判定部18は、構成素材位置姿勢記憶部12から各構成素材の位置姿勢情報を読み出し、フィードバック対象位置姿勢記憶部17から各フィードバック対象の位置姿勢情報を読み出し、仮想環境素材記憶部13から構成素材とフィードバック対象に対応する仮想環境素材のデータを読み出し、各時刻における構成素材とフィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する(S18)。衝突情報は、構成素材が、どの時刻に、どの位置で、どの方向から、どのような大きさでフィードバック対象に衝突したかを表す情報である。
The
フィードバック対象に衝突する可能性があるオブジェクトが分かっている場合は、そのオブジェクトに対応する構成素材の位置姿勢情報や仮想環境素材のみを読み出すのでよい。以下、フィードバック対象に衝突する可能性があるオブジェクトのことを衝突オブジェクトという。 If an object that may collide with the feedback target is known, only the position and orientation information of the constituent material corresponding to the object or the virtual environment material may be read. Hereinafter, an object that may collide with a feedback target is referred to as a collision object.
衝突の有無を判定する方法として、例えば、構成素材(衝突オブジェクト)とフィードバック対象の表面間の距離が閾値以下の場合に衝突したと判定する方法がある。具体的には、構成素材O1、フィードバック対象O2の中心位置をそれぞれT1、T2とし、中心位置から表面までの距離をS1、S2とし、以下の式を満たすときに構成素材O1とフィードバック対象O2は衝突したと判定する。 As a method for determining the presence or absence of a collision, for example, there is a method for determining that a collision has occurred when the distance between the constituent material (collision object) and the feedback target surface is equal to or less than a threshold value. Specifically, the center positions of the constituent material O1 and the feedback target O2 are T1 and T2, respectively, the distances from the center position to the surface are S1 and S2, and when the following formula is satisfied, the constituent material O1 and the feedback target O2 are It is determined that there is a collision.
T1、T2は3次元ベクトルであり、|・|はノルムを表す。また、S1、S2は、仮想環境素材記憶部13から読み出した構成素材及びフィードバック対象に対応する仮想環境素材のデータから算出できる。
T1 and T2 are three-dimensional vectors, and | · | represents a norm. S1 and S2 can be calculated from the constituent material read from the virtual environment
例えば、バッティングでは、構成素材(衝突オブジェクト)はボールであり、フィードバック対象はバットである。また、キャッチングでは、構成素材はボール、フィードバック対象はグローブである。 For example, in batting, the constituent material (collision object) is a ball, and the feedback target is a bat. In catching, a constituent material is a ball and a feedback object is a glove.
また、衝突の大きさの算出に関してもどのような方法を用いてもよい。例えば、実際の質量を反映する方法がある。具体的には、各構成素材の質量を事前に定めておくことで、各構成素材が持つエネルギーを計算することができる。このエネルギーを用いて衝突の際に発生する衝突の大きさを計算する。もちろん、衝撃が大きすぎる場合は弱めてもよいし、衝撃が小さすぎる場合は強めてもよい。 Also, any method may be used for calculating the magnitude of the collision. For example, there is a method of reflecting the actual mass. Specifically, the energy of each constituent material can be calculated by determining the mass of each constituent material in advance. Using this energy, the magnitude of the collision that occurs during the collision is calculated. Of course, when the impact is too large, it may be weakened, and when the impact is too small, it may be strengthened.
身体フィードバック生成部19は、衝突判定部18の判定結果である衝突情報に基づいてフィードバックを与えるための各デバイスへの信号(フィードバック信号)を生成する(S19)。身体の部位にフィードバックを与えるデバイスはどのようなものでもよい。デバイスの例としては、バットやラケットにアクチュエータを搭載したものなどが挙げられる。先ほどのバットでボールを打つ例では、アクチュエータを搭載したバットに衝突判定部18で算出した衝突の大きさや方向などをフィードバックとして与える信号を生成することとなる。また、参考非特許文献2の技術のように、腹部と背面に振動子を装着し、時間差で振動させることで貫通感を与えて、衝突の現実感を与えることも可能である。
(参考非特許文献2:渡邊淳司、“触れる感覚の質感・実感に着目したコミュニケーション (特集20周年を迎えたコミュニケーション科学)”、NTT技術ジャーナルVol.23, No.9, pp.26-30, 2011年.)
なお、仮想環境のデータと衝突情報を各時刻で生成することにより、映像出力と身体へのフィードバックを同期することが可能となっている。
The body
(Reference Non-Patent Document 2: Tsukasa Watanabe, “Communication Focusing on the Feeling and Feeling of Touching Sense (Communication Science Celebrating 20th Anniversary)”, NTT Technical Journal Vol.23, No.9, pp.26-30, 2011.)
It is possible to synchronize video output and feedback to the body by generating virtual environment data and collision information at each time.
本実施形態の発明では、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視野外で発生したイベント、衝突の大きさなどの視覚では得られない情報を伝達することが可能になる。また、視覚だけでなく、触覚を利用した事前体験、すなわち身体に対するフィードバックを与える形での事前体験は、スポーツのトレーニング効果を高めることが期待できる。例えば、ピッチャーが投げた球を打ち返すような体験をすれば、バットとボールが衝突する瞬間に実際に衝突した手応え(衝突の大きさや厳密なタイミング)など、視覚情報では伝達することができないあるいは伝達しにくい情報を伝達することが可能となる。
[第二実施形態]
第一実施形態では、描画部において仮想環境内の予め定めた視点からの映像のみを出力している。そのため、仮想環境内を自由に移動するような体験の実現が困難である。全ての地点における映像を出力するということも考えられるが、処理量の観点から現実的ではない。第二実施形態では第一実施形態の構成に対してユーザの頭部の位置および姿勢をセンシングする視覚動作センシング部を追加し、ユーザが視聴したい位置および方向をセンシングすることで、仮想環境内を自由に移動しながら映像を視聴できるようにする。
In the invention of the present embodiment, by detecting the user's movement in real space and giving the user a sense of collision corresponding to the movement, it is not possible to visually obtain events such as events occurring outside the field of view and the magnitude of the collision. It becomes possible to convey information. In addition to the visual experience, the prior experience using the sense of touch, that is, the prior experience in the form of giving feedback to the body can be expected to enhance the training effect of sports. For example, if you experience the pitcher throwing back a ball, you cannot or cannot communicate with visual information, such as the response (actual magnitude and exact timing) of the collision of the bat and the ball. It is possible to transmit difficult information.
[Second Embodiment]
In the first embodiment, the drawing unit outputs only video from a predetermined viewpoint in the virtual environment. Therefore, it is difficult to realize an experience that freely moves in the virtual environment. Although it is conceivable to output video at all points, it is not realistic from the viewpoint of processing amount. In the second embodiment, a visual motion sensing unit that senses the position and orientation of the user's head is added to the configuration of the first embodiment, and by sensing the position and direction that the user wants to view, the virtual environment is sensed. Make it possible to watch videos while moving freely.
第二実施形態の仮想環境構築装置は、図6に示すように、動的オブジェクトセンシング部11、構成素材位置姿勢記憶部12、仮想環境素材記憶部13、仮想環境構築部14、描画部15、触覚動作センシング部16、フィードバック対象位置姿勢記憶部17、衝突判定部18、および身体フィードバック生成部19を第一実施形態と同様に備え、視覚動作センシング部21をさらに備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第二実施形態の仮想環境構築方法が実現される。
As illustrated in FIG. 6, the virtual environment construction device according to the second embodiment includes a dynamic
以下、第二実施形態の仮想環境構築方法の処理手続きを、第一実施形態との相違点を中心に説明する。 Hereinafter, the processing procedure of the virtual environment construction method of the second embodiment will be described focusing on differences from the first embodiment.
視覚動作センシング部21は、ユーザの頭部の位置および姿勢を計測して、頭部位置姿勢情報を生成する。生成された頭部位置姿勢情報は描画部15へ送られる。具体的には、仮想環境構築装置が備えるセンサ(図示せず)でユーザの頭部を計測し、その値を入力としてユーザの頭部の3次元位置姿勢情報を推定する。
The visual
ユーザの頭部の3次元位置姿勢を算出するためのセンサはどのようなセンサでもよい。このセンサの具体例として、先述のOptitrack社に代表されるモーションセンサーが挙げられる。また、Oculus社に代表されるヘッドマウントディスプレイ(HMD: Head Mount Display)と付属の赤外線(IR: Infrared)カメラを用いてもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。 Any sensor for calculating the three-dimensional position and orientation of the user's head may be used. A specific example of this sensor is a motion sensor represented by the above-mentioned Optitrack. Further, a head mounted display (HMD) represented by Oculus and an attached infrared (IR) camera may be used. Since these are realized using a known technique, a detailed description thereof is omitted.
描画部15は、視覚動作センシング部21より受け取った頭部位置姿勢情報に基づいて、仮想環境のデータをユーザが視聴できる形態として出力する。このとき、仮想環境におけるユーザの視線方向の映像を出力してもよいし、全方位映像を出力してもよい。
Based on the head position and orientation information received from the visual
本実施形態の発明では、ユーザが視聴したい位置および方向をセンシングすることにより、仮想環境内を自由に移動しながら映像を視聴することが可能になる。したがって、実空間でのユーザの視線方向が変動する場合であっても、視覚情報と触覚情報が同期してユーザに提示・フィードバックされるため、より現実に近い事前体験が可能になる。 In the invention of this embodiment, by sensing the position and direction that the user wants to view, it is possible to view the video while freely moving in the virtual environment. Therefore, even when the user's line-of-sight direction in the real space varies, visual information and tactile information are presented and fed back to the user in synchronization, so that a more realistic pre-experience is possible.
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 As described above, the embodiments of the present invention have been described, but the specific configuration is not limited to these embodiments, and even if there is a design change or the like as appropriate without departing from the spirit of the present invention, Needless to say, it is included in this invention. The various processes described in the embodiments are not only executed in time series according to the description order, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes.
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
[Program, recording medium]
When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on a computer, various processing functions in each of the above devices are realized on the computer.
The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its storage device. When executing the process, the computer reads a program stored in its own recording medium and executes a process according to the read program. As another execution form of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer. Each time, the processing according to the received program may be executed sequentially. A configuration in which the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. It is good. Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In this embodiment, the present apparatus is configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
11 動的オブジェクトセンシング部
12 構成素材位置姿勢記憶部
13 仮想環境素材記憶部
14 仮想環境構築部
15 描画部
16 触覚動作センシング部
17 フィードバック対象位置姿勢記憶部
18 衝突判定部
19 身体フィードバック生成部
21 視覚動作センシング部
DESCRIPTION OF
Claims (4)
上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、
上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、
上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、
上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、
上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、
上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部と
を含み、
上記衝突情報に含まれる衝突の大きさは、上記衝突オブジェクトの質量から計算される上記衝突オブジェクトのエネルギーと上記フィードバック対象の質量から計算される上記フィードバック対象のエネルギーとを用いて、計算される仮想環境構築装置。 A virtual environment construction device that constructs a virtual environment that allows a user to browse based on a real environment where dynamic objects and static objects exist,
A virtual environment material storage unit for storing a virtual environment material for reproducing the dynamic object and the static object on the virtual environment;
A dynamic object sensing unit that generates position and orientation information by measuring the position and orientation of the dynamic object in the real environment;
The virtual environment is constructed by synthesizing the virtual environment material of the dynamic object and the virtual environment material of the static object by using the position and orientation information of the dynamic object and the position and orientation information of the static object. The Environment Building Department,
A tactile motion sensing unit that generates a feedback target position and orientation information by measuring a position and orientation of a feedback target that is a part of the user's body or an object held by the part;
Position / posture information of a collision object that may collide with the feedback target in the dynamic object or the static object, the feedback target position / posture information, a virtual environment material of the collision object, and the feedback target A collision determination unit that determines whether or not there is a collision between the collision object and the feedback target at each time from the virtual environment material, and generates a determination result as collision information;
A body feedback generator for generating a feedback signal for giving feedback to the user's body from the collision information ,
The magnitude of the collision included in the collision information is a virtual calculated using the energy of the collision object calculated from the mass of the collision object and the energy of the feedback target calculated from the mass of the feedback target. Environment construction equipment.
上記ユーザの頭部の位置および姿勢を計測して頭部位置姿勢情報を生成する視覚動作センシング部と、
上記頭部位置姿勢情報に基づいて上記仮想環境における上記ユーザの視線方向の映像を出力する描画部と、
をさらに含む仮想環境構築装置。 The virtual environment construction device according to claim 1,
A visual motion sensing unit that measures the position and orientation of the user's head and generates head position and orientation information;
A drawing unit that outputs an image of the user's line-of-sight direction in the virtual environment based on the head position and orientation information;
A virtual environment construction device further including:
上記仮想環境素材記憶部が、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶しており、
上記動的オブジェクトセンシング部が、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシングステップと、
上記仮想環境構築部が、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築ステップと、
上記触覚動作センシング部が、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシングステップと、
上記衝突判定部が、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定ステップと、
上記身体フィードバック生成部が、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成ステップと
を含み、
上記衝突情報に含まれる衝突の大きさは、上記衝突オブジェクトの質量から計算される上記衝突オブジェクトのエネルギーと上記フィードバック対象の質量から計算される上記フィードバック対象のエネルギーとを用いて、計算される仮想環境構築方法。 A virtual environment construction device including a virtual environment material storage unit, a dynamic object sensing unit, a virtual environment construction unit, a tactile motion sensing unit, a collision determination unit, and a body feedback generation unit A virtual environment construction method for constructing a virtual environment for a user to browse based on a real environment in which an object exists,
The virtual environment material storage unit stores a virtual environment material for reproducing the dynamic object and the static object on the virtual environment;
A dynamic object sensing step in which the dynamic object sensing unit generates position and orientation information by measuring the position and orientation of the dynamic object in the real environment;
The virtual environment construction unit combines the dynamic environment material of the dynamic object and the virtual environment material of the static object using the position and orientation information of the dynamic object and the position and orientation information of the static object. A virtual environment construction step for constructing the virtual environment;
A tactile motion sensing step in which the tactile motion sensing unit generates a feedback target position and posture information by measuring a position and posture of a feedback target that is a body part of the user or an object held by the part;
Position and orientation information of a collision object that may collide with the feedback target in the dynamic object or the static object, the feedback target position and orientation information, and the virtual environment of the collision object A collision determination step of determining whether or not there is a collision between the collision object and the feedback target at each time from the material and the virtual environment material of the feedback target, and generating a determination result as collision information;
The body feedback generation unit includes a body feedback generation step of generating a feedback signal for giving feedback to the user's body from the collision information ;
The magnitude of the collision included in the collision information is a virtual calculated using the energy of the collision object calculated from the mass of the collision object and the energy of the feedback target calculated from the mass of the feedback target. Environment construction method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016087906A JP6594254B2 (en) | 2016-04-26 | 2016-04-26 | Virtual environment construction device, virtual environment construction method, program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016087906A JP6594254B2 (en) | 2016-04-26 | 2016-04-26 | Virtual environment construction device, virtual environment construction method, program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017199106A JP2017199106A (en) | 2017-11-02 |
JP6594254B2 true JP6594254B2 (en) | 2019-10-23 |
Family
ID=60237984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016087906A Active JP6594254B2 (en) | 2016-04-26 | 2016-04-26 | Virtual environment construction device, virtual environment construction method, program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6594254B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6892937B1 (en) * | 2020-02-03 | 2021-06-23 | 株式会社Cg工房 | Building display system, building display method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004588A (en) * | 2005-06-24 | 2007-01-11 | Canon Inc | Information processor and information processing method |
JP2008307091A (en) * | 2007-06-12 | 2008-12-25 | Akira Tomono | Real object interference display device |
KR101964223B1 (en) * | 2011-10-28 | 2019-04-01 | 매직 립, 인코포레이티드 | System and method for augmented and virtual reality |
-
2016
- 2016-04-26 JP JP2016087906A patent/JP6594254B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017199106A (en) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6984698B2 (en) | Virtual environment construction device, virtual environment construction method, and program | |
US10821347B2 (en) | Virtual reality sports training systems and methods | |
CN102331840B (en) | User selection and navigation based on looped motions | |
US11278787B2 (en) | Virtual reality sports training systems and methods | |
WO2020054442A1 (en) | Articulation position acquisition method and device, and motion acquisition method and device | |
CN104436634B (en) | The true man's shooting game system and implementation method of a kind of use immersive VR technology | |
JP6176673B2 (en) | Method and system for photographing a moving subject with a plurality of cameras and obtaining an actual movement locus of the subject based on the taken image | |
US8957858B2 (en) | Multi-platform motion-based computer interactions | |
JP6467698B2 (en) | Baseball batting practice support system | |
US10799758B2 (en) | Screen golf system, method of realizing image for screen golf, and computing-device-readable recording medium having the same recorded therein | |
JP6594254B2 (en) | Virtual environment construction device, virtual environment construction method, program | |
TW201235932A (en) | Interactive device and operating method thereof | |
US20240161427A1 (en) | Systems and methods of providing virtual activities | |
JP2021016406A (en) | Game device and program | |
CN114733189A (en) | Control method, device, medium and electronic equipment for somatosensory ball hitting | |
CN102591456A (en) | Detection of body and props | |
KR101809613B1 (en) | Method for modelling video of pitching-trace and server implementing the same | |
JP2021068405A (en) | Virtual object operating system and virtual object operating method | |
JP7534199B2 (en) | Goggle Display System | |
KR102043559B1 (en) | Virtual golf play system using mobile device | |
CN101424984A (en) | Three-dimensional pointing method and system | |
CN102375541B (en) | User movement is converted into the response of multiple object | |
JP2024090548A (en) | Information processing device, information processing method, and program | |
JP2023156940A (en) | Image processing apparatus, image processing method, and storage medium storing program | |
KR20220093204A (en) | Information processing devices, information processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6594254 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |