[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6594254B2 - Virtual environment construction device, virtual environment construction method, program - Google Patents

Virtual environment construction device, virtual environment construction method, program Download PDF

Info

Publication number
JP6594254B2
JP6594254B2 JP2016087906A JP2016087906A JP6594254B2 JP 6594254 B2 JP6594254 B2 JP 6594254B2 JP 2016087906 A JP2016087906 A JP 2016087906A JP 2016087906 A JP2016087906 A JP 2016087906A JP 6594254 B2 JP6594254 B2 JP 6594254B2
Authority
JP
Japan
Prior art keywords
virtual environment
collision
feedback
information
feedback target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016087906A
Other languages
Japanese (ja)
Other versions
JP2017199106A (en
Inventor
康輔 高橋
弾 三上
麻理子 五十川
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016087906A priority Critical patent/JP6594254B2/en
Publication of JP2017199106A publication Critical patent/JP2017199106A/en
Application granted granted Critical
Publication of JP6594254B2 publication Critical patent/JP6594254B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

この発明は、現実の環境を撮影した映像に基づいて仮想的かつ移動可能な視点からの映像を合成する仮想環境構築技術に関する。   The present invention relates to a virtual environment construction technique for synthesizing a video from a virtual and movable viewpoint based on a video obtained by photographing a real environment.

スポーツの試合において、事前に体験していない初めての状況に遭遇すると、十分なパフォーマンスを発揮できないことがある。例えば、野球では「初物に弱い」という表現を用いて初対戦の投手を苦手とする状況が語られることがある。この状況に対し、実際の試合と同じ環境において選手の目線で事前に投手の投球を体験することが有効であると考えられる。   If you encounter a first situation that you have not experienced before in a sporting game, you may not be able to perform well. For example, in baseball, the phrase “weak to the first thing” may be used to describe a situation in which the pitcher of the first match is not good. For this situation, it is considered effective to experience the pitcher's pitching in advance in the same environment as the actual game.

しかしながら、実際に次の対戦相手の投球を事前に体験することは実施の観点から困難である。この対策としてスタンドなどから撮影した対戦相手の過去の投球映像を視聴することが一般的であるが、ここで視聴する映像は実際にバッターボックスに立っている選手が見ている映像と比べて視点や視野の観点から異なるため、試合状況の事前体験として十分ではない。   However, it is difficult to actually experience the next opponent's pitching in advance from the viewpoint of implementation. As a countermeasure, it is common to watch the past pitching video of the opponent taken from the stand etc., but the video to watch here is a viewpoint compared to the video actually seen by the player standing in the batter box Because it differs from the viewpoint of the field of view, it is not enough as a prior experience of the game situation.

非特許文献1には、選手の目線における事前体験の実現方法として、バッターボックス内の選手の目線の位置に360度のパノラマ画像を撮影できるカメラ(以下、全天球カメラと呼ぶ)を設置し、その全天球カメラで撮影した選手目線の映像をヘッドマウントディスプレイにより視聴する方法が記載されている。   Non-Patent Document 1 installs a camera (hereinafter referred to as an omnidirectional camera) capable of shooting a 360-degree panoramic image at the position of the player's line of sight in the batter box as a method for realizing the prior experience in the player's line of sight. In addition, a method for viewing a player's eye-view image captured by the omnidirectional camera using a head-mounted display is described.

Ochi, D., Kunita, Y., Kameda, A., Kojima, A., Iwaki, S., “Live streaming system for omnidirectional video”, Virtual Reality (VR), 2015 IEEE , pp. 349-350, March 2015.Ochi, D., Kunita, Y., Kameda, A., Kojima, A., Iwaki, S., “Live streaming system for omnidirectional video”, Virtual Reality (VR), 2015 IEEE, pp. 349-350, March 2015.

しかしながら、非特許文献1に記載の方法では、試合中にバッターボックス内にカメラを設置する必要があるため実施の観点から実現は困難である。加えて、このようにカメラで撮影された映像を視聴する場合、カメラを設置した視点のみの事前体験しかできないという課題がある。   However, the method described in Non-Patent Document 1 is difficult to implement from the viewpoint of implementation because it is necessary to install a camera in the batter box during the match. In addition, when viewing a video shot with a camera in this way, there is a problem that only a prior experience from the viewpoint where the camera is installed is possible.

また、非特許文献1に記載の方法は、視覚による仮想体験を実現するものであり、触覚による仮想体験を得ることはできない。例えば、ユーザが実空間でバットを振る動作やボールをキャッチする動作をしたとしても、バットやグローブは撮影時の映像中には存在しないため、ボールがバットに当たった感覚やボールをキャッチした感覚を適当なタイミングで与えることは困難である。   Further, the method described in Non-Patent Document 1 realizes a visual virtual experience and cannot obtain a virtual experience by tactile sense. For example, even if the user swings the bat or catches the ball in real space, the bat or glove does not exist in the video at the time of shooting, so the sensation of the ball hitting or catching the ball Is difficult to give at an appropriate timing.

この発明の目的は、上記のような事情を鑑み、仮想的に試合環境を構築することで、事前に選手目線での試合体験を可能にする技術を提供することである。   In view of the circumstances as described above, an object of the present invention is to provide a technology that enables a game experience from the player's perspective in advance by virtually constructing a game environment.

本発明の一態様は、動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築装置であって、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部とを含む。   One aspect of the present invention is a virtual environment construction device that constructs a virtual environment that allows a user to browse based on a real environment in which a dynamic object and a static object exist, the dynamic object and the static object A virtual environment material storage unit that stores a virtual environment material that reproduces on the virtual environment, a dynamic object sensing unit that measures position and orientation of the dynamic object in the real environment and generates position and orientation information, The virtual environment is constructed by synthesizing the virtual environment material of the dynamic object and the virtual environment material of the static object by using the position and orientation information of the dynamic object and the position and orientation information of the static object. The environment construction unit and the position of the feedback target that is the body part of the user or the object held by the part And a tactile motion sensing unit that measures feedback and generates feedback target position and orientation information, and position and orientation information of a collision object that may collide with the feedback target in the dynamic object or the static object, From the feedback target position and orientation information, the virtual environment material of the collision object, and the virtual environment material of the feedback target, it is determined whether or not there is a collision between the collision object and the feedback target at each time, and the determination result is the collision information. And a body feedback generator for generating a feedback signal for giving feedback to the user's body from the collision information.

この発明の仮想環境構築技術によれば、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視覚だけでなく触覚の観点からも仮想的に試合環境を構築することができ、視覚・触覚の2つの観点から事前に選手目線での試合体験が可能となる。   According to the virtual environment construction technique of the present invention, a game environment is virtually detected not only visually but also from a tactile sensation by detecting a user's motion in a real space and giving the user a sense of collision corresponding to the motion. It is possible to build a game experience from the viewpoint of the player in advance from the two viewpoints of visual and tactile sensation.

図1は、第一実施形態の仮想環境構築装置の機能構成を例示する図である。FIG. 1 is a diagram illustrating a functional configuration of the virtual environment construction device according to the first embodiment. 図2は、第一実施形態の仮想環境構築装置の動作(視覚関連)を例示するフローチャートである。FIG. 2 is a flowchart illustrating the operation (visual relation) of the virtual environment construction device according to the first embodiment. 図3は、第一実施形態の仮想環境構築装置の動作(触覚関連)を例示するフローチャートである。FIG. 3 is a flowchart illustrating the operation (tactile sense related) of the virtual environment construction device according to the first embodiment. 図4は、位置姿勢テーブルのデータ構造を例示する図である。FIG. 4 is a diagram illustrating a data structure of the position / orientation table. 図5は、構成素材組み込みリストのデータ構造を例示する図である。FIG. 5 is a diagram illustrating a data structure of the constituent material incorporation list. 図6は、第二実施形態の仮想環境構築装置の機能構成を例示する図である。FIG. 6 is a diagram illustrating a functional configuration of the virtual environment construction device according to the second embodiment.

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail. In addition, the same number is attached | subjected to the component which has the same function in drawing, and duplication description is abbreviate | omitted.

[第一実施形態]
最初に、第一実施形態の仮想環境構築装置の概要を説明する。まず、動的オブジェクトセンシング部が(例えば、野球の投球やテニスのサーブの軌道などの)事前体験の対象である動的なオブジェクト(例えば、ボール)に関する各時刻の位置および姿勢を求め、その位置姿勢情報を記憶しておく。時間変化をしない静的なオブジェクト(例えば、スタジアムやグラウンドなど)に関する位置姿勢情報は予め記憶されているものとする。以下では、ボールやスタジアムのように仮想環境を構成するためのオブジェクトを構成素材と呼ぶ。また、構成素材を仮想環境に再現するためのコンピュータ・グラフィックス(CG: Computer Graphics)データを仮想環境素材と呼び、これらも予め記憶されているものとする。なお、静的オブジェクトに関する仮想環境素材はCGデータに限定されず、実際に撮影した映像から切り出した動画または静止画データであってもよい。仮想環境構築部は各構成素材の位置姿勢情報に基づいて仮想環境素材を配置することで仮想環境を構築する。描画部は、その仮想環境を全天球映像などの映像として出力する。
[First embodiment]
Initially, the outline | summary of the virtual environment construction apparatus of 1st embodiment is demonstrated. First, the dynamic object sensing unit obtains the position and posture of each time regarding a dynamic object (for example, a ball) that is a target of prior experience (for example, baseball pitching or tennis serve trajectory), and The posture information is stored. It is assumed that position and orientation information relating to a static object that does not change with time (for example, a stadium or a ground) is stored in advance. Hereinafter, an object for configuring a virtual environment such as a ball or a stadium is referred to as a constituent material. In addition, computer graphics (CG) data for reproducing a constituent material in a virtual environment is called a virtual environment material, and these are also stored in advance. Note that the virtual environment material related to the static object is not limited to CG data, and may be a moving image or still image data cut out from an actually captured video. The virtual environment construction unit constructs a virtual environment by arranging the virtual environment material based on the position and orientation information of each constituent material. The drawing unit outputs the virtual environment as an image such as a spherical image.

この映像出力のための処理と並行して、ユーザに衝突を感得させるための処理が行われる。触覚動作センシング部は、実空間でのユーザの動作のうち、触覚に関係してくる動作をセンシングする。例えば、バットを振る、ボールをキャッチするなどの動作がセンシング対象となる。衝突判定部は、実空間でのユーザの動作に基づいて、仮想環境中でのユーザの身体の部位(またはユーザが使用する構成素材)と他の構成素材との衝突の有無を判定する。ユーザが使用する構成素材の例として、バットやグローブがあり、これらの構成素材と衝突する他の構成素材の例として、ボールがある。身体フィードバック生成部は、衝突があった場合、その衝突をユーザに伝達する。   In parallel with this video output process, a process for making the user feel a collision is performed. The tactile motion sensing unit senses a motion related to a tactile sensation among user motions in real space. For example, a motion such as swinging a bat or catching a ball is a sensing target. The collision determination unit determines whether or not there is a collision between a part of the user's body (or a constituent material used by the user) and another constituent material in the virtual environment based on the user's operation in the real space. Examples of constituent materials used by the user include bats and gloves, and examples of other constituent materials that collide with these constituent materials include balls. When there is a collision, the body feedback generation unit transmits the collision to the user.

第一実施形態の仮想環境構築装置は、図1に示すように、動的オブジェクトセンシング部11、構成素材位置姿勢記憶部12、仮想環境素材記憶部13、仮想環境構築部14、描画部15、触覚動作センシング部16、フィードバック対象位置姿勢記憶部17、衝突判定部18、および身体フィードバック生成部19を備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第一実施形態の仮想環境構築方法が実現される(図2、図3参照)。   As shown in FIG. 1, the virtual environment construction device of the first embodiment includes a dynamic object sensing unit 11, a constituent material position and orientation storage unit 12, a virtual environment material storage unit 13, a virtual environment construction unit 14, a drawing unit 15, A tactile motion sensing unit 16, a feedback target position / posture storage unit 17, a collision determination unit 18, and a body feedback generation unit 19 are provided. The virtual environment construction device performs the process of each step described later, thereby realizing the virtual environment construction method of the first embodiment (see FIGS. 2 and 3).

なお、視覚に関する処理(S11〜S15)と触覚に関する処理(S16〜S19)は同期が取れているものとする。例えば、バットでボールを打った瞬間の映像と手に伝わる感覚は同期することになる。   It is assumed that the process related to vision (S11 to S15) and the process related to touch (S16 to S19) are synchronized. For example, the image of the moment when the ball is hit with the bat and the sense transmitted to the hand are synchronized.

仮想環境構築装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。仮想環境構築装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。仮想環境構築装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、仮想環境構築装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。仮想環境構築装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。仮想環境構築装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。   The virtual environment construction device is a special configuration in which a special program is read by a known or dedicated computer having a central processing unit (CPU), a main storage device (RAM), and the like. Device. For example, the virtual environment construction device executes each process under the control of the central processing unit. Data input to the virtual environment construction device and data obtained in each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out as necessary and used for other processing. Is done. Further, at least a part of each processing unit of the virtual environment construction device may be configured by hardware such as an integrated circuit. Each storage unit included in the virtual environment construction device includes, for example, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory), or It can be configured with middleware such as a relational database or key-value store. Each storage unit included in the virtual environment construction device may be logically divided, and may be stored in one physical storage device.

動的オブジェクトセンシング部11は、現実環境における動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する(S11)。生成された動的オブジェクトの位置姿勢情報は構成素材位置姿勢記憶部12へ記憶される。具体的には、仮想環境構築装置に接続されたセンサ(図示せず)で動的オブジェクトを計測し、その値を入力として動的オブジェクトの3次元位置姿勢情報を推定する。動的オブジェクトとは、仮想環境において時間経過とともに3次元位置が変化する物体、例えば野球ボールやテニスボールを指す。   The dynamic object sensing unit 11 generates position and orientation information by measuring the position and orientation of the dynamic object in the real environment (S11). The generated position / posture information of the dynamic object is stored in the constituent material position / posture storage unit 12. Specifically, a dynamic object is measured by a sensor (not shown) connected to the virtual environment construction apparatus, and the three-dimensional position / orientation information of the dynamic object is estimated using the value as an input. A dynamic object refers to an object whose three-dimensional position changes over time in a virtual environment, such as a baseball ball or a tennis ball.

動的オブジェクトの3次元位置姿勢を算出するためのセンサとして複数カメラが利用できる。複数カメラを利用してボールの3次元位置情報を算出する手法の具体例として、ステレオ法を用いた手法がある。具体的には、予めカメラキャリブレーションを実施したカメラ群で撮影された映像に対し、画像上のボールの位置を求める。このとき、画像上のボールの位置は手作業で与えてもよいし、テンプレートマッチングなどの検出手法を用いてボールを検出し、その中心位置をボールの位置としてもよい。これら画像上で検出された位置とカメラキャリブレーションで求めたカメラパラメータとを用いてステレオ法を適用することで、ボールの3次元位置を求めることができる。また、姿勢に関しては、例えば、撮影したボールの縫い目の模様から基準の姿勢に対してどの程度回転しているかを求めることができる。   A plurality of cameras can be used as sensors for calculating the three-dimensional position and orientation of the dynamic object. As a specific example of a method for calculating the three-dimensional position information of a ball using a plurality of cameras, there is a method using a stereo method. Specifically, the position of the ball on the image is obtained with respect to an image captured by a camera group that has been subjected to camera calibration in advance. At this time, the position of the ball on the image may be given manually, or the ball may be detected using a detection method such as template matching, and the center position may be set as the position of the ball. The three-dimensional position of the ball can be obtained by applying the stereo method using the position detected on these images and the camera parameter obtained by camera calibration. As for the posture, for example, it is possible to determine how much the ball is rotated with respect to the reference posture from the pattern of the seam of the photographed ball.

動的オブジェクトの位置姿勢を求めるセンサの他の例としては、ドップラーレーダーなどを挙げることができる。このセンサは公知の技術であるため詳細な説明は省略する。その他、ボールの3次元位置姿勢情報を取得できるセンサおよび手法であればどのようなものであってもよい。   As another example of the sensor for obtaining the position and orientation of the dynamic object, a Doppler radar can be cited. Since this sensor is a known technique, a detailed description thereof is omitted. In addition, any sensor and technique that can acquire the three-dimensional position and orientation information of the ball may be used.

構成素材位置姿勢記憶部12は、各構成素材に関する位置姿勢情報を記憶する。動的オブジェクトに関する位置姿勢情報は、動的オブジェクトセンシング部11により生成されて記憶されたものである。静的オブジェクトに関する位置姿勢情報は、予め用意されて記憶されたものである。具体的には、各時刻における各構成素材の3次元位置姿勢情報を表すレコードによって構成される構成素材位置姿勢テーブルが記憶されている。   The component material position / orientation storage unit 12 stores position / orientation information regarding each component material. The position / orientation information regarding the dynamic object is generated and stored by the dynamic object sensing unit 11. The position / orientation information regarding the static object is prepared and stored in advance. Specifically, a constituent material position / posture table configured by records representing the three-dimensional position / posture information of each constituent material at each time is stored.

構成素材位置姿勢情報テーブルは、図4に示すように、構成素材を一意に識別する「構成素材ID」と、仮想環境素材を一意に識別する「仮想環境素材ID」と、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。位置は3次元の並進ベクトルとして表され、姿勢は各軸に対する回転角を表す3次元ベクトルとして表される。   As shown in FIG. 4, the component material position / orientation information table includes a “component material ID” that uniquely identifies the component material, a “virtual environment material ID” that uniquely identifies the virtual environment material, and each “time”. It has each value of “position” and “attitude” of the object. The position is represented as a three-dimensional translation vector, and the posture is represented as a three-dimensional vector representing a rotation angle with respect to each axis.

例えば、野球の投球を想定した場合、構成素材Oiがストレートボールを表すとすると、構成素材Oiに対応する仮想環境素材Eiは、仮想環境素材記憶部13に記憶された野球ボールのCGデータである。このとき、各時刻に対応する位置および姿勢はその時刻にボールがどの位置にどの姿勢で存在しているかということを表している。より具体的には、位置Ti(0), Ti(1), …, Ti(ti)はボールの軌道を、姿勢Ri(0), Ri(1), …, Ri(ti)はボールがどのように回転しているかを表している。   For example, assuming baseball pitching, if the constituent material Oi represents a straight ball, the virtual environment material Ei corresponding to the constituent material Oi is the CG data of the baseball stored in the virtual environment material storage unit 13. . At this time, the position and posture corresponding to each time indicate at which position and in which posture the ball is present at that time. More specifically, positions Ti (0), Ti (1),…, Ti (ti) indicate the trajectory of the ball, and postures Ri (0), Ri (1),…, Ri (ti) indicate which ball is It shows how it is rotating.

なお、図4において、時刻に「-」が格納されている構成素材は、スタジアムのように時間経過に伴い位置や姿勢が変化しない静的オブジェクトであることを表す。このような静的オブジェクトの位置姿勢情報は予め記憶されているものとする。   In FIG. 4, a constituent material in which “-” is stored at the time represents a static object whose position and orientation do not change with time, such as a stadium. It is assumed that such position and orientation information of the static object is stored in advance.

また、各構成素材に対して定められている時刻は、その構成素材が後述する仮想環境構築部14において仮想環境に組み込まれた時点からの経過時刻を表す。具体的には、仮想環境において時刻taの時点で構成素材Oiが組み込まれた場合、時刻(ta+0)の時点の構成素材Oiの位置および姿勢はそれぞれTi(0), Ri(0)であり、時刻(ta+1)の時点の構成素材Oiの位置および姿勢はそれぞれTi(1), Ri(1)である。   The time set for each constituent material represents an elapsed time from the time when the constituent material is incorporated into the virtual environment in the virtual environment construction unit 14 described later. Specifically, when the constituent material Oi is incorporated at the time ta in the virtual environment, the position and orientation of the constituent material Oi at the time (ta + 0) are Ti (0) and Ri (0), respectively. Yes, the position and orientation of the constituent material Oi at the time (ta + 1) are Ti (1) and Ri (1), respectively.

仮想環境素材記憶部13は、各構成素材に対応する仮想環境素材を記憶する。仮想環境素材は仮想環境を構築するための素材であり、例えばCGデータや実写データなどである。仮想環境素材記憶部13は仮想環境素材IDに関連付けて各仮想環境素材を記憶する。仮想環境素材の例としては、野球であればスタジアムや野球ボールのCGデータ、テニスであればテニスコートやテニスボールのCGデータである。これらは事前に用意され記憶されているものとする。   The virtual environment material storage unit 13 stores a virtual environment material corresponding to each constituent material. The virtual environment material is a material for constructing a virtual environment, such as CG data or live-action data. The virtual environment material storage unit 13 stores each virtual environment material in association with the virtual environment material ID. Examples of virtual environment materials are CG data of a stadium and a baseball ball for baseball, and CG data of a tennis court and tennis ball for tennis. These are prepared and stored in advance.

仮想環境構築部14は、構成素材位置姿勢記憶部12から各構成素材の位置姿勢情報を読み出し、仮想環境素材記憶部13から各構成素材に対応する仮想環境素材のデータを読み出し、動的オブジェクトの仮想環境素材と静的オブジェクトの仮想環境素材とを合成して仮想環境のデータを構築する(S14)。構築した仮想環境のデータは描画部15へ送られる。仮想環境のデータとは、ある仮想的な空間において一つ以上の仮想環境素材のデータが配置された仮想空間を指す。   The virtual environment construction unit 14 reads the position and orientation information of each constituent material from the constituent material position and orientation storage unit 12, reads the virtual environment material data corresponding to each constituent material from the virtual environment material storage unit 13, and The virtual environment material and the virtual environment material of the static object are synthesized to construct virtual environment data (S14). The constructed virtual environment data is sent to the drawing unit 15. Virtual environment data refers to a virtual space in which data of one or more virtual environment materials is arranged in a certain virtual space.

具体例として、野球における仮想環境のデータを作成する手順を説明する。まず、仮想環境を構築するための構成素材組み込みリストを読み込む。この構成素材組み込みリストは、図5に示すように、構成素材を一意に識別する「構成素材ID」と、その構成素材を仮想環境に組み込む「時刻」を持つ。つまり、図5の表の左2列が構成素材組み込みリストを示す。構成素材組み込みリストは予め人手で用意されているものとする。例えば野球における仮想環境のデータを作成する場合、スタジアムやピッチャー、ボールなどに関する構成素材IDおよび時刻が構成素材組み込みリストに記載されている。次に、各時刻について描画すべき構成素材が存在する場合、その構成素材に対応する仮想環境素材を仮想環境に組み込む。例えば、図5の2行目にある時刻=1、構成素材ID=O1は、時刻1において構成素材IDがO1であるスタジアムを仮想環境に組み込むことを意味する。このとき、構成素材の位置姿勢を構成素材位置姿勢記憶部12から読み出し、その位置姿勢に基づいて仮想空間に配置する。構成素材組み込みリストに記載されている全ての構成素材を仮想環境に組み込んだら処理を終了する。   As a specific example, a procedure for creating virtual environment data in baseball will be described. First, a component material incorporation list for constructing a virtual environment is read. As shown in FIG. 5, this constituent material incorporation list has “constituent material ID” for uniquely identifying the constituent material and “time” for incorporating the constituent material into the virtual environment. That is, the left two columns of the table of FIG. 5 show the constituent material incorporation list. It is assumed that the component material incorporation list is prepared manually in advance. For example, when creating virtual environment data in baseball, constituent material IDs and times regarding stadiums, pitchers, balls, and the like are listed in the constituent material incorporation list. Next, when there is a constituent material to be drawn at each time, a virtual environment material corresponding to the constituent material is incorporated into the virtual environment. For example, time = 1 and constituent material ID = O1 in the second row in FIG. 5 mean that a stadium whose constituent material ID is O1 at time 1 is incorporated into the virtual environment. At this time, the position and orientation of the constituent material are read from the constituent material position and orientation storage unit 12, and are arranged in the virtual space based on the position and orientation. When all the constituent materials described in the constituent material incorporation list are incorporated into the virtual environment, the process is terminated.

描画部15は、構築した仮想環境のデータをユーザが視聴できる形態として出力する(S15)。出力する映像は、仮想環境のある視点から一方向を見るような映像でもよいし、全天球映像のように全方位を見ることができる映像でもよい。   The drawing unit 15 outputs the constructed virtual environment data in a form that the user can view (S15). The video to be output may be a video that looks in one direction from a certain viewpoint of the virtual environment, or may be a video that can be viewed in all directions, such as an omnidirectional video.

例えば、ある視点から一方向を見るような映像を出力する場合は、ある位置に仮想的に透視投影カメラCを設置し、仮想環境の空間中に存在するCGモデルをカメラCの画像平面に投影すればよい。具体的には、TをカメラCの外部パラメータである位置とし、Rを姿勢とし、Kを内部パラメータとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラCの画像平面上に点qとして投影される。   For example, when outputting video that looks in one direction from a certain viewpoint, a perspective projection camera C is virtually installed at a certain position, and a CG model existing in the space of the virtual environment is projected onto the image plane of the camera C do it. Specifically, if T is a position that is an external parameter of camera C, R is a posture, and K is an internal parameter, a point p in the space where the virtual environment data exists is as follows: Is projected as a point q on the image plane.

Figure 0006594254
Figure 0006594254

ただし、内部パラメータKはカメラCの焦点距離や画像中心からなる3x3の行列である。   The internal parameter K is a 3 × 3 matrix composed of the focal length of the camera C and the image center.

ある視点から全方位を見渡せる全天球映像を出力する場合は、ある視点に仮想的に全天球カメラOを設置し、仮想環境の空間中に存在するCGモデルをカメラOの画像平面に投影すればよい。具体的には、TをカメラOの外部パラメータである位置とし、Rを姿勢とし、Wを投影する画像平面の幅とし、Hを高さとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラOの画像平面上に点q=(qx, qy)Tとして投影される。 When outputting an omnidirectional video that can be viewed from all viewpoints from a certain viewpoint, a omnidirectional camera O is virtually installed at a certain viewpoint, and a CG model existing in the virtual environment space is projected onto the image plane of the camera O. do it. Specifically, if T is a position that is an external parameter of camera O, R is a posture, W is a width of an image plane to be projected, and H is a height, a certain point in the space where virtual environment data exists p is projected as a point q = (q x , q y ) T on the image plane of the camera O as follows.

Figure 0006594254
Figure 0006594254

この例では全天球映像を2次元画像で表現する図法として正距円筒図法を用いているが、メルカトル図法など他の図法を用いてもよい。   In this example, the equirectangular projection is used as a projection method for representing the omnidirectional video as a two-dimensional image, but other projection methods such as the Mercator projection may be used.

触覚動作センシング部16は、実空間でのユーザの動作のうち、触覚に関係してくる(つまり、フィードバックを与える)身体の部位またはその部位が把持するオブジェクトの動き(位置及び姿勢)を計測し、触覚に関係してくる動作に関する情報であるフィードバック対象位置姿勢情報を生成する(S16)。以下、このような身体の部位またはその部位が把持するオブジェクトのことをフィードバック対象という。また、触覚に関係してくる動作とは、どのようなフィードバックをユーザの身体に与えたいかということに依存した動作のことであり、例えばバットを振るときのインパクトを与えたい場合にはそのバットの位置姿勢を計測する、あるいはボールをキャッチするときのインパクトを与えたい場合にはグローブの位置姿勢を計測する必要がある。これらフィードバック対象の動作を計測することができるのであれば、どのようなセンサを用いてもよい。例えば、Optitrack社に代表されるモーションセンサーを用いてもよい。また、Microsoft社のKinectを利用してもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。計測したフィードバック対象の位置及び姿勢はフィードバック対象位置姿勢記憶部17に出力する。   The tactile motion sensing unit 16 measures the movement (position and posture) of a body part related to tactile sensation (that is, giving feedback) or an object gripped by the part of the user's movement in real space. Then, feedback target position / orientation information, which is information related to the motion related to the sense of touch, is generated (S16). Hereinafter, such a body part or an object held by the part is referred to as a feedback target. The motion related to the sense of touch is a motion that depends on what kind of feedback the user wants to give to the user's body. It is necessary to measure the position and orientation of the glove when it is desired to measure the position and orientation of the ball or to give an impact when catching the ball. Any sensor may be used as long as the operation of the feedback target can be measured. For example, a motion sensor represented by Optitrack may be used. Microsoft Kinect may also be used. Since these are realized using a known technique, a detailed description thereof is omitted. The measured position and orientation of the feedback target are output to the feedback target position / posture storage unit 17.

身体の部位等のフィードバック対象の位置姿勢情報は、図4の構成素材位置姿勢情報テーブルと同様の構造を持つフィードバック対象位置姿勢情報テーブルで表現される。つまり、フィードバック対象位置姿勢情報テーブルは、「構成素材ID」、「仮想環境素材ID」、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。構成素材位置姿勢情報テーブルの各行のデータとフィードバック対象位置姿勢情報テーブルの各行のデータは、同一のデータ構造を有する点では同じであるが、構成素材位置姿勢情報テーブルの各行のデータが仮想環境のデータの構築に用いられるのに対し、フィードバック対象位置姿勢情報テーブルの各行のデータが後述する衝突判定に用いられる点で異なる。   The position / posture information of the feedback target such as the body part is represented by a feedback target position / posture information table having the same structure as the constituent material position / posture information table of FIG. That is, the feedback target position / orientation information table includes “component material ID”, “virtual environment material ID”, and “position” and “attitude” values of the object at each “time”. The data of each row of the constituent material position / orientation information table and the data of each row of the feedback target position / orientation information table are the same in that they have the same data structure. The difference is that the data in each row of the feedback target position / orientation information table is used for collision determination described later, whereas the data is used for data construction.

フィードバック対象位置姿勢記憶部17は、触覚動作センシング部16による計測対象となるフィードバック対象の位置姿勢情報を記憶する。具体的には、各時刻におけるフィードバック対象の3次元位置姿勢情報を表すレコードによって構成されるフィードバック対象位置姿勢テーブルが記憶されている。   The feedback target position / posture storage unit 17 stores position / posture information of a feedback target to be measured by the tactile motion sensing unit 16. Specifically, a feedback target position / posture table configured by records representing the feedback target three-dimensional position / posture information at each time is stored.

衝突判定部18は、構成素材位置姿勢記憶部12から各構成素材の位置姿勢情報を読み出し、フィードバック対象位置姿勢記憶部17から各フィードバック対象の位置姿勢情報を読み出し、仮想環境素材記憶部13から構成素材とフィードバック対象に対応する仮想環境素材のデータを読み出し、各時刻における構成素材とフィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する(S18)。衝突情報は、構成素材が、どの時刻に、どの位置で、どの方向から、どのような大きさでフィードバック対象に衝突したかを表す情報である。   The collision determination unit 18 reads the position and orientation information of each constituent material from the constituent material position and orientation storage unit 12, reads the position and orientation information of each feedback target from the feedback target position and orientation storage unit 17, and configures from the virtual environment material storage unit 13. Data of the virtual environment material corresponding to the material and the feedback target is read, whether or not there is a collision between the constituent material and the feedback target at each time is determined, and a determination result is generated as collision information (S18). The collision information is information indicating at what time, at what position, in what direction, in what size, and in what size the component material has collided with the feedback target.

フィードバック対象に衝突する可能性があるオブジェクトが分かっている場合は、そのオブジェクトに対応する構成素材の位置姿勢情報や仮想環境素材のみを読み出すのでよい。以下、フィードバック対象に衝突する可能性があるオブジェクトのことを衝突オブジェクトという。   If an object that may collide with the feedback target is known, only the position and orientation information of the constituent material corresponding to the object or the virtual environment material may be read. Hereinafter, an object that may collide with a feedback target is referred to as a collision object.

衝突の有無を判定する方法として、例えば、構成素材(衝突オブジェクト)とフィードバック対象の表面間の距離が閾値以下の場合に衝突したと判定する方法がある。具体的には、構成素材O1、フィードバック対象O2の中心位置をそれぞれT1、T2とし、中心位置から表面までの距離をS1、S2とし、以下の式を満たすときに構成素材O1とフィードバック対象O2は衝突したと判定する。   As a method for determining the presence or absence of a collision, for example, there is a method for determining that a collision has occurred when the distance between the constituent material (collision object) and the feedback target surface is equal to or less than a threshold value. Specifically, the center positions of the constituent material O1 and the feedback target O2 are T1 and T2, respectively, the distances from the center position to the surface are S1 and S2, and when the following formula is satisfied, the constituent material O1 and the feedback target O2 are It is determined that there is a collision.

Figure 0006594254
Figure 0006594254

T1、T2は3次元ベクトルであり、|・|はノルムを表す。また、S1、S2は、仮想環境素材記憶部13から読み出した構成素材及びフィードバック対象に対応する仮想環境素材のデータから算出できる。   T1 and T2 are three-dimensional vectors, and | · | represents a norm. S1 and S2 can be calculated from the constituent material read from the virtual environment material storage unit 13 and the data of the virtual environment material corresponding to the feedback target.

例えば、バッティングでは、構成素材(衝突オブジェクト)はボールであり、フィードバック対象はバットである。また、キャッチングでは、構成素材はボール、フィードバック対象はグローブである。   For example, in batting, the constituent material (collision object) is a ball, and the feedback target is a bat. In catching, a constituent material is a ball and a feedback object is a glove.

また、衝突の大きさの算出に関してもどのような方法を用いてもよい。例えば、実際の質量を反映する方法がある。具体的には、各構成素材の質量を事前に定めておくことで、各構成素材が持つエネルギーを計算することができる。このエネルギーを用いて衝突の際に発生する衝突の大きさを計算する。もちろん、衝撃が大きすぎる場合は弱めてもよいし、衝撃が小さすぎる場合は強めてもよい。   Also, any method may be used for calculating the magnitude of the collision. For example, there is a method of reflecting the actual mass. Specifically, the energy of each constituent material can be calculated by determining the mass of each constituent material in advance. Using this energy, the magnitude of the collision that occurs during the collision is calculated. Of course, when the impact is too large, it may be weakened, and when the impact is too small, it may be strengthened.

身体フィードバック生成部19は、衝突判定部18の判定結果である衝突情報に基づいてフィードバックを与えるための各デバイスへの信号(フィードバック信号)を生成する(S19)。身体の部位にフィードバックを与えるデバイスはどのようなものでもよい。デバイスの例としては、バットやラケットにアクチュエータを搭載したものなどが挙げられる。先ほどのバットでボールを打つ例では、アクチュエータを搭載したバットに衝突判定部18で算出した衝突の大きさや方向などをフィードバックとして与える信号を生成することとなる。また、参考非特許文献2の技術のように、腹部と背面に振動子を装着し、時間差で振動させることで貫通感を与えて、衝突の現実感を与えることも可能である。
(参考非特許文献2:渡邊淳司、“触れる感覚の質感・実感に着目したコミュニケーション (特集20周年を迎えたコミュニケーション科学)”、NTT技術ジャーナルVol.23, No.9, pp.26-30, 2011年.)
なお、仮想環境のデータと衝突情報を各時刻で生成することにより、映像出力と身体へのフィードバックを同期することが可能となっている。
The body feedback generation unit 19 generates a signal (feedback signal) to each device for giving feedback based on the collision information which is the determination result of the collision determination unit 18 (S19). Any device that provides feedback to a body part may be used. Examples of the device include a bat or a racket equipped with an actuator. In the example of hitting the ball with the bat, the signal that gives the feedback the magnitude and direction of the collision calculated by the collision determination unit 18 to the bat equipped with the actuator is generated. Further, as in the technique of Reference Non-Patent Document 2, it is possible to attach a vibrator to the abdomen and the back and vibrate with a time difference to give a sense of penetration and give a sense of reality of a collision.
(Reference Non-Patent Document 2: Tsukasa Watanabe, “Communication Focusing on the Feeling and Feeling of Touching Sense (Communication Science Celebrating 20th Anniversary)”, NTT Technical Journal Vol.23, No.9, pp.26-30, 2011.)
It is possible to synchronize video output and feedback to the body by generating virtual environment data and collision information at each time.

本実施形態の発明では、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視野外で発生したイベント、衝突の大きさなどの視覚では得られない情報を伝達することが可能になる。また、視覚だけでなく、触覚を利用した事前体験、すなわち身体に対するフィードバックを与える形での事前体験は、スポーツのトレーニング効果を高めることが期待できる。例えば、ピッチャーが投げた球を打ち返すような体験をすれば、バットとボールが衝突する瞬間に実際に衝突した手応え(衝突の大きさや厳密なタイミング)など、視覚情報では伝達することができないあるいは伝達しにくい情報を伝達することが可能となる。
[第二実施形態]
第一実施形態では、描画部において仮想環境内の予め定めた視点からの映像のみを出力している。そのため、仮想環境内を自由に移動するような体験の実現が困難である。全ての地点における映像を出力するということも考えられるが、処理量の観点から現実的ではない。第二実施形態では第一実施形態の構成に対してユーザの頭部の位置および姿勢をセンシングする視覚動作センシング部を追加し、ユーザが視聴したい位置および方向をセンシングすることで、仮想環境内を自由に移動しながら映像を視聴できるようにする。
In the invention of the present embodiment, by detecting the user's movement in real space and giving the user a sense of collision corresponding to the movement, it is not possible to visually obtain events such as events occurring outside the field of view and the magnitude of the collision. It becomes possible to convey information. In addition to the visual experience, the prior experience using the sense of touch, that is, the prior experience in the form of giving feedback to the body can be expected to enhance the training effect of sports. For example, if you experience the pitcher throwing back a ball, you cannot or cannot communicate with visual information, such as the response (actual magnitude and exact timing) of the collision of the bat and the ball. It is possible to transmit difficult information.
[Second Embodiment]
In the first embodiment, the drawing unit outputs only video from a predetermined viewpoint in the virtual environment. Therefore, it is difficult to realize an experience that freely moves in the virtual environment. Although it is conceivable to output video at all points, it is not realistic from the viewpoint of processing amount. In the second embodiment, a visual motion sensing unit that senses the position and orientation of the user's head is added to the configuration of the first embodiment, and by sensing the position and direction that the user wants to view, the virtual environment is sensed. Make it possible to watch videos while moving freely.

第二実施形態の仮想環境構築装置は、図6に示すように、動的オブジェクトセンシング部11、構成素材位置姿勢記憶部12、仮想環境素材記憶部13、仮想環境構築部14、描画部15、触覚動作センシング部16、フィードバック対象位置姿勢記憶部17、衝突判定部18、および身体フィードバック生成部19を第一実施形態と同様に備え、視覚動作センシング部21をさらに備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第二実施形態の仮想環境構築方法が実現される。   As illustrated in FIG. 6, the virtual environment construction device according to the second embodiment includes a dynamic object sensing unit 11, a constituent material position and orientation storage unit 12, a virtual environment material storage unit 13, a virtual environment construction unit 14, a drawing unit 15, The tactile sensation motion sensing unit 16, the feedback target position / posture storage unit 17, the collision determination unit 18, and the body feedback generation unit 19 are provided in the same manner as in the first embodiment, and the visual motion sensing unit 21 is further provided. The virtual environment construction device implements the virtual environment construction method according to the second embodiment by performing processing of each step described later.

以下、第二実施形態の仮想環境構築方法の処理手続きを、第一実施形態との相違点を中心に説明する。   Hereinafter, the processing procedure of the virtual environment construction method of the second embodiment will be described focusing on differences from the first embodiment.

視覚動作センシング部21は、ユーザの頭部の位置および姿勢を計測して、頭部位置姿勢情報を生成する。生成された頭部位置姿勢情報は描画部15へ送られる。具体的には、仮想環境構築装置が備えるセンサ(図示せず)でユーザの頭部を計測し、その値を入力としてユーザの頭部の3次元位置姿勢情報を推定する。   The visual motion sensing unit 21 measures the position and posture of the user's head and generates head position / posture information. The generated head position / posture information is sent to the drawing unit 15. Specifically, the user's head is measured by a sensor (not shown) provided in the virtual environment construction device, and the three-dimensional position / orientation information of the user's head is estimated using the value as an input.

ユーザの頭部の3次元位置姿勢を算出するためのセンサはどのようなセンサでもよい。このセンサの具体例として、先述のOptitrack社に代表されるモーションセンサーが挙げられる。また、Oculus社に代表されるヘッドマウントディスプレイ(HMD: Head Mount Display)と付属の赤外線(IR: Infrared)カメラを用いてもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。   Any sensor for calculating the three-dimensional position and orientation of the user's head may be used. A specific example of this sensor is a motion sensor represented by the above-mentioned Optitrack. Further, a head mounted display (HMD) represented by Oculus and an attached infrared (IR) camera may be used. Since these are realized using a known technique, a detailed description thereof is omitted.

描画部15は、視覚動作センシング部21より受け取った頭部位置姿勢情報に基づいて、仮想環境のデータをユーザが視聴できる形態として出力する。このとき、仮想環境におけるユーザの視線方向の映像を出力してもよいし、全方位映像を出力してもよい。   Based on the head position and orientation information received from the visual motion sensing unit 21, the drawing unit 15 outputs the data of the virtual environment as a form that can be viewed by the user. At this time, an image in the direction of the user's line of sight in the virtual environment may be output, or an omnidirectional image may be output.

本実施形態の発明では、ユーザが視聴したい位置および方向をセンシングすることにより、仮想環境内を自由に移動しながら映像を視聴することが可能になる。したがって、実空間でのユーザの視線方向が変動する場合であっても、視覚情報と触覚情報が同期してユーザに提示・フィードバックされるため、より現実に近い事前体験が可能になる。   In the invention of this embodiment, by sensing the position and direction that the user wants to view, it is possible to view the video while freely moving in the virtual environment. Therefore, even when the user's line-of-sight direction in the real space varies, visual information and tactile information are presented and fed back to the user in synchronization, so that a more realistic pre-experience is possible.

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。   As described above, the embodiments of the present invention have been described, but the specific configuration is not limited to these embodiments, and even if there is a design change or the like as appropriate without departing from the spirit of the present invention, Needless to say, it is included in this invention. The various processes described in the embodiments are not only executed in time series according to the description order, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes.

[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
[Program, recording medium]
When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on a computer, various processing functions in each of the above devices are realized on the computer.
The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   This program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its storage device. When executing the process, the computer reads a program stored in its own recording medium and executes a process according to the read program. As another execution form of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer. Each time, the processing according to the received program may be executed sequentially. A configuration in which the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. It is good. Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。   In this embodiment, the present apparatus is configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.

11 動的オブジェクトセンシング部
12 構成素材位置姿勢記憶部
13 仮想環境素材記憶部
14 仮想環境構築部
15 描画部
16 触覚動作センシング部
17 フィードバック対象位置姿勢記憶部
18 衝突判定部
19 身体フィードバック生成部
21 視覚動作センシング部
DESCRIPTION OF SYMBOLS 11 Dynamic object sensing part 12 Constituent material position and orientation storage part 13 Virtual environment material storage part 14 Virtual environment construction part 15 Drawing part 16 Tactile motion sensing part 17 Feedback target position and orientation storage part 18 Collision determination part 19 Body feedback generation part 21 Visual Motion sensing unit

Claims (4)

動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築装置であって、
上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、
上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、
上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、
上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、
上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、
上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部と
含み、
上記衝突情報に含まれる衝突の大きさは、上記衝突オブジェクトの質量から計算される上記衝突オブジェクトのエネルギーと上記フィードバック対象の質量から計算される上記フィードバック対象のエネルギーとを用いて、計算される仮想環境構築装置。
A virtual environment construction device that constructs a virtual environment that allows a user to browse based on a real environment where dynamic objects and static objects exist,
A virtual environment material storage unit for storing a virtual environment material for reproducing the dynamic object and the static object on the virtual environment;
A dynamic object sensing unit that generates position and orientation information by measuring the position and orientation of the dynamic object in the real environment;
The virtual environment is constructed by synthesizing the virtual environment material of the dynamic object and the virtual environment material of the static object by using the position and orientation information of the dynamic object and the position and orientation information of the static object. The Environment Building Department,
A tactile motion sensing unit that generates a feedback target position and orientation information by measuring a position and orientation of a feedback target that is a part of the user's body or an object held by the part;
Position / posture information of a collision object that may collide with the feedback target in the dynamic object or the static object, the feedback target position / posture information, a virtual environment material of the collision object, and the feedback target A collision determination unit that determines whether or not there is a collision between the collision object and the feedback target at each time from the virtual environment material, and generates a determination result as collision information;
A body feedback generator for generating a feedback signal for giving feedback to the user's body from the collision information ,
The magnitude of the collision included in the collision information is a virtual calculated using the energy of the collision object calculated from the mass of the collision object and the energy of the feedback target calculated from the mass of the feedback target. Environment construction equipment.
請求項1に記載の仮想環境構築装置であって、
上記ユーザの頭部の位置および姿勢を計測して頭部位置姿勢情報を生成する視覚動作センシング部と、
上記頭部位置姿勢情報に基づいて上記仮想環境における上記ユーザの視線方向の映像を出力する描画部と、
をさらに含む仮想環境構築装置。
The virtual environment construction device according to claim 1,
A visual motion sensing unit that measures the position and orientation of the user's head and generates head position and orientation information;
A drawing unit that outputs an image of the user's line-of-sight direction in the virtual environment based on the head position and orientation information;
A virtual environment construction device further including:
仮想環境素材記憶部と、動的オブジェクトセンシング部と、仮想環境構築部と、触覚動作センシング部と、衝突判定部と、身体フィードバック生成部とを含む仮想環境構築装置が、動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築方法であって、
上記仮想環境素材記憶部が、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶しており、
上記動的オブジェクトセンシング部が、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシングステップと、
上記仮想環境構築部が、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築ステップと、
上記触覚動作センシング部が、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシングステップと、
上記衝突判定部が、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定ステップと、
上記身体フィードバック生成部が、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成ステップと
含み、
上記衝突情報に含まれる衝突の大きさは、上記衝突オブジェクトの質量から計算される上記衝突オブジェクトのエネルギーと上記フィードバック対象の質量から計算される上記フィードバック対象のエネルギーとを用いて、計算される仮想環境構築方法。
A virtual environment construction device including a virtual environment material storage unit, a dynamic object sensing unit, a virtual environment construction unit, a tactile motion sensing unit, a collision determination unit, and a body feedback generation unit A virtual environment construction method for constructing a virtual environment for a user to browse based on a real environment in which an object exists,
The virtual environment material storage unit stores a virtual environment material for reproducing the dynamic object and the static object on the virtual environment;
A dynamic object sensing step in which the dynamic object sensing unit generates position and orientation information by measuring the position and orientation of the dynamic object in the real environment;
The virtual environment construction unit combines the dynamic environment material of the dynamic object and the virtual environment material of the static object using the position and orientation information of the dynamic object and the position and orientation information of the static object. A virtual environment construction step for constructing the virtual environment;
A tactile motion sensing step in which the tactile motion sensing unit generates a feedback target position and posture information by measuring a position and posture of a feedback target that is a body part of the user or an object held by the part;
Position and orientation information of a collision object that may collide with the feedback target in the dynamic object or the static object, the feedback target position and orientation information, and the virtual environment of the collision object A collision determination step of determining whether or not there is a collision between the collision object and the feedback target at each time from the material and the virtual environment material of the feedback target, and generating a determination result as collision information;
The body feedback generation unit includes a body feedback generation step of generating a feedback signal for giving feedback to the user's body from the collision information ;
The magnitude of the collision included in the collision information is a virtual calculated using the energy of the collision object calculated from the mass of the collision object and the energy of the feedback target calculated from the mass of the feedback target. Environment construction method.
請求項1または2に記載の仮想環境構築装置の各部としてコンピュータを機能させるためのプログラム。   The program for functioning a computer as each part of the virtual environment construction apparatus of Claim 1 or 2.
JP2016087906A 2016-04-26 2016-04-26 Virtual environment construction device, virtual environment construction method, program Active JP6594254B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016087906A JP6594254B2 (en) 2016-04-26 2016-04-26 Virtual environment construction device, virtual environment construction method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016087906A JP6594254B2 (en) 2016-04-26 2016-04-26 Virtual environment construction device, virtual environment construction method, program

Publications (2)

Publication Number Publication Date
JP2017199106A JP2017199106A (en) 2017-11-02
JP6594254B2 true JP6594254B2 (en) 2019-10-23

Family

ID=60237984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016087906A Active JP6594254B2 (en) 2016-04-26 2016-04-26 Virtual environment construction device, virtual environment construction method, program

Country Status (1)

Country Link
JP (1) JP6594254B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6892937B1 (en) * 2020-02-03 2021-06-23 株式会社Cg工房 Building display system, building display method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004588A (en) * 2005-06-24 2007-01-11 Canon Inc Information processor and information processing method
JP2008307091A (en) * 2007-06-12 2008-12-25 Akira Tomono Real object interference display device
KR101964223B1 (en) * 2011-10-28 2019-04-01 매직 립, 인코포레이티드 System and method for augmented and virtual reality

Also Published As

Publication number Publication date
JP2017199106A (en) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6984698B2 (en) Virtual environment construction device, virtual environment construction method, and program
US10821347B2 (en) Virtual reality sports training systems and methods
CN102331840B (en) User selection and navigation based on looped motions
US11278787B2 (en) Virtual reality sports training systems and methods
WO2020054442A1 (en) Articulation position acquisition method and device, and motion acquisition method and device
CN104436634B (en) The true man's shooting game system and implementation method of a kind of use immersive VR technology
JP6176673B2 (en) Method and system for photographing a moving subject with a plurality of cameras and obtaining an actual movement locus of the subject based on the taken image
US8957858B2 (en) Multi-platform motion-based computer interactions
JP6467698B2 (en) Baseball batting practice support system
US10799758B2 (en) Screen golf system, method of realizing image for screen golf, and computing-device-readable recording medium having the same recorded therein
JP6594254B2 (en) Virtual environment construction device, virtual environment construction method, program
TW201235932A (en) Interactive device and operating method thereof
US20240161427A1 (en) Systems and methods of providing virtual activities
JP2021016406A (en) Game device and program
CN114733189A (en) Control method, device, medium and electronic equipment for somatosensory ball hitting
CN102591456A (en) Detection of body and props
KR101809613B1 (en) Method for modelling video of pitching-trace and server implementing the same
JP2021068405A (en) Virtual object operating system and virtual object operating method
JP7534199B2 (en) Goggle Display System
KR102043559B1 (en) Virtual golf play system using mobile device
CN101424984A (en) Three-dimensional pointing method and system
CN102375541B (en) User movement is converted into the response of multiple object
JP2024090548A (en) Information processing device, information processing method, and program
JP2023156940A (en) Image processing apparatus, image processing method, and storage medium storing program
KR20220093204A (en) Information processing devices, information processing methods and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190924

R150 Certificate of patent or registration of utility model

Ref document number: 6594254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150