JP2023162525A

JP2023162525A - Simulation device, simulation method, and program

Info

Publication number: JP2023162525A
Application number: JP2022072891A
Authority: JP
Inventors: 友香理石河; Yukari Ishikawa
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2023-11-09

Abstract

[Problem] To enable a real third party to accurately evaluate the movements of a person experiencing a simulated experience in virtual reality.
[Solution] A detection unit (11) detects an operation of a controller by an experience person performing a simulated experience in virtual reality, and a measurement unit (12) detects an operation of a controller by an experience person. The output unit (13) outputs first information indicating the measured condition of the person experiencing the experience, as well as second information indicating the content of the detected controller operation.
[Selection diagram] Figure 1

Description

本発明は、シミュレーション装置、シミュレーション方法、およびプログラムに関し、特に、仮想現実での模擬体験を提供するシミュレーション装置、シミュレーション方法、およびプログラムに関する。 The present invention relates to a simulation device, a simulation method, and a program, and particularly to a simulation device, a simulation method, and a program that provide a simulated experience in virtual reality.

シミュレーション映像を用いて、訓練や実技講習、あるいは、ビデオゲームやｅスポーツが行われている。関連する技術の一例では、シミュレーション装置は、プロジェクタースクリーン上に、あるいは、ディスプレイの画面上に、シミュレーション映像を表示する。体験者は、表示されたシミュレーション映像が指し示す状況に応じて、動作を実施する。指導者は、体験者の動作が状況に応じた適切なものかどうかを評価する（特許文献２）。または、指導者は、体験者が状況に応じて適切な動作を実行しているかどうかを確認する（特許文献３）。 Simulation videos are used for training, practical courses, video games, and e-sports. In an example of related technology, a simulation device displays a simulation image on a projector screen or a display screen. The user performs actions according to the situation indicated by the displayed simulation video. The instructor evaluates whether the experiencer's movements are appropriate according to the situation (Patent Document 2). Alternatively, the instructor checks whether the participant is performing appropriate actions according to the situation (Patent Document 3).

特開２００３－３１６２４８号公報JP2003-316248A 特開２０１５－１５４２１９号公報Japanese Patent Application Publication No. 2015-154219 特開２００５－１２１３１３号公報Japanese Patent Application Publication No. 2005-121313

特許文献２または３に記載の関連する技術では、二次元のシミュレーション映像を用いている。体験者は、二次元のシミュレーション映像を視認しても、シミュレーション映像中の目標までの距離を正確に感知することが難しい。これらの関連する技術は、訓練の効果が大きくはないという問題がある。ＶＲ（Virtual Realty）技術を用いて、現実により近い訓練を可能にすることが要望されている。 A related technique described in Patent Document 2 or 3 uses a two-dimensional simulation image. Even when the user visually recognizes the two-dimensional simulation image, it is difficult for the user to accurately sense the distance to the target in the simulation image. The problem with these related techniques is that their training effects are not large. There is a demand for using VR (Virtual Realty) technology to enable training that is closer to reality.

しかしながら、体験者がＶＲゴーグルなどを装着して、仮想現実での訓練を行う場合、指導者などの現実の第三者は、仮想現実での状況と関連して、体験者の状態を把握することが難しい。その結果、現実の第三者は、体験者の動作を正確に評価できない。 However, when participants wear VR goggles and perform training in virtual reality, a real third party such as an instructor can grasp the participant's condition in relation to the situation in virtual reality. It's difficult. As a result, a real third party cannot accurately evaluate the experiencer's movements.

本発明は、上記の課題に鑑みてなされたものであり、その目的は、現実の第三者が仮想現実での模擬体験を行っている体験者の動作を正確に評価できるようにすることにある。 The present invention has been made in view of the above-mentioned problems, and its purpose is to enable a real third party to accurately evaluate the movements of a person experiencing a simulated experience in virtual reality. be.

本発明の一態様に係るシミュレーション装置は、仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知する検知手段と、前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定する測定手段と、測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力する出力手段とを備えている。 A simulation device according to one aspect of the present invention includes a detection unit that detects an operation of a controller by an experiencer performing a simulated experience in virtual reality; and output means that outputs first information indicating the measured condition of the person experiencing the experience, as well as second information indicating the content of the detected operation of the controller.

本発明の一態様に係るシミュレーション方法では、シミュレーション装置が、仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知し、前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定し、測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力する。 In the simulation method according to one aspect of the present invention, the simulation device detects an operation of a controller by an experiencer performing a simulated experience in virtual reality, and when detecting the operation of the controller by the experiencer, the simulation device detects the operation of the controller by the experiencer. and outputs first information indicating the measured condition of the person experiencing the experience, as well as second information indicating the content of the detected operation of the controller.

本発明の一態様に係るプログラムは、仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知することと、前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定することと、測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力することとをコンピュータに実行させる。 A program according to one aspect of the present invention detects an operation of a controller by an experiencer performing a simulated experience in virtual reality, and detects a state of the experiencer when detecting the operation of the controller by the experiencer. and outputting first information indicating the measured state of the experience person and second information indicating the content of the detected operation of the controller.

本発明の一態様によれば、現実の第三者が仮想現実での模擬体験を行っている体験者の動作を正確に評価することができる。 According to one aspect of the present invention, a real third party can accurately evaluate the movements of an experiencer who is performing a simulated experience in virtual reality.

実施形態１に係るシミュレーション装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a simulation device according to a first embodiment. FIG. 実施形態１に係るシミュレーション装置の動作を示すフローチャートである。3 is a flowchart showing the operation of the simulation device according to the first embodiment. 実施形態２に係るシミュレーション装置の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of a simulation device according to a second embodiment. 実施形態１に係るシミュレーション装置の動作を示すフローチャートである。3 is a flowchart showing the operation of the simulation device according to the first embodiment. 実施形態１～２のいずれかに係るシミュレーション装置のいずれかを備えたシミュレーションシステムの構成の一例を概略的に示す図である。1 is a diagram schematically showing an example of the configuration of a simulation system including one of the simulation apparatuses according to any one of embodiments 1 and 2. FIG. 仮想現実の一例を模式的に示す図である。FIG. 1 is a diagram schematically showing an example of virtual reality. 体験者の動作の一例を説明する図である。FIG. 3 is a diagram illustrating an example of the movement of the person experiencing the experience. 実施形態１～２のいずれかに係るシミュレーション装置のハードウェア構成の一例を概略的に示す図である。1 is a diagram schematically showing an example of a hardware configuration of a simulation apparatus according to any of embodiments 1 and 2. FIG.

以下では、本発明の実施形態の具体例をいくつか説明する。 Below, some specific examples of embodiments of the present invention will be described.

〔実施形態１〕
図１から図２を参照して、実施形態１について説明する。 [Embodiment 1]
Embodiment 1 will be described with reference to FIGS. 1 and 2.

（シミュレーション装置１０）
図１を参照して、本実施形態１に係るシミュレーション装置１０の構成を説明する。図１は、シミュレーション装置１０の構成を示すブロック図である。 (Simulation device 10)
With reference to FIG. 1, the configuration of a simulation apparatus 10 according to the first embodiment will be described. FIG. 1 is a block diagram showing the configuration of a simulation device 10. As shown in FIG.

図１に示すように、シミュレーション装置１０は、検知部１１、測定部１２、および出力部１３を備えている。 As shown in FIG. 1, the simulation device 10 includes a detection section 11, a measurement section 12, and an output section 13.

シミュレーション装置１０は、仮想現実での模擬体験のためのシミュレーション映像データを取得する。シミュレーション映像の内容は、例えば、訓練や実技講習、あるいは、ビデオゲームやｅスポーツと関連する。 The simulation device 10 acquires simulation video data for a simulated experience in virtual reality. The content of the simulation video may be related to training, practical training, video games, or e-sports, for example.

一例では、シミュレーション装置１０は、図示しない記憶装置から、仮想現実での模擬体験のためのシミュレーション映像のデータを取得する。シミュレーション装置１０は、記憶装置から取得したシミュレーション映像のデータを、体験者が装着するＶＲ（Virtual Realty）ゴーグル２００（図５）へ出力する。シミュレーション装置１０は、ＶＲゴーグル２００のディスプレイの画面上に、シミュレーション映像を表示する。 In one example, the simulation device 10 acquires simulation video data for a simulated experience in virtual reality from a storage device (not shown). The simulation device 10 outputs simulation video data acquired from the storage device to VR (Virtual Realty) goggles 200 (FIG. 5) worn by the experiencer. The simulation device 10 displays a simulation video on the screen of the display of the VR goggles 200.

検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００（図５）の操作を検知する。検知部１１は、検知手段の一例である。 The detection unit 11 detects the operation of the controller 100 (FIG. 5) by the person viewing the simulation video. The detection unit 11 is an example of a detection means.

一例では、検知部１１は、コントローラ１００から、体験者の操作によってコントローラ１００へ入力されたデータを受信する。 In one example, the detection unit 11 receives data input from the controller 100 to the controller 100 through an operation by the user.

体験者の操作とは、例えば、体験者がコントローラ１００を動かしたり、コントローラ１００に設けられたトリガスイッチを押したりすることである。別の例では、体験者の操作とは、コントローラ１００が備えたマイクロフォンへ、音声を入力することである。なお、体験者の操作は、上記の例には限定されない。 The experiencer's operation means, for example, that the experiencer moves the controller 100 or presses a trigger switch provided on the controller 100. In another example, the experiencer's operation is inputting voice into a microphone included in the controller 100. Note that the experiencer's operations are not limited to the above example.

検知部１１は、コントローラ１００の仮想現実での向きを検知してもよい。さらに、検知部１１は、コントローラ１００が仮想現実内で指している位置を検知してもよい。この場合、検知部１１は、コントローラ１００が備えたジャイロセンサ（図示せず）より、コントローラ１００の傾き角度を表すセンサデータを受信する。検知部１１は、コントローラ１００のジャイロセンサから受信したセンサデータを用いて、コントローラ１００の仮想現実での向きを計算する。 The detection unit 11 may detect the orientation of the controller 100 in virtual reality. Furthermore, the detection unit 11 may detect the position that the controller 100 is pointing to within the virtual reality. In this case, the detection unit 11 receives sensor data representing the tilt angle of the controller 100 from a gyro sensor (not shown) included in the controller 100. The detection unit 11 uses sensor data received from the gyro sensor of the controller 100 to calculate the orientation of the controller 100 in virtual reality.

また、検知部１１は、コントローラ１００の仮想現実での向きを示す情報と、仮想現実のシミュレーション映像データとを用いて、コントローラ１００が仮想現実内で指している位置を計算する。 Furthermore, the detection unit 11 uses information indicating the orientation of the controller 100 in virtual reality and virtual reality simulation video data to calculate the position that the controller 100 is pointing in the virtual reality.

ここで、仮想現実のシミュレーション映像データは、仮想現実での模擬体験のためのシミュレーションプログラムにしたがって、図示しない演算装置によって生成される。検知部１１は、図示しない演算装置から、仮想現実のシミュレーション映像データを取得することができる。 Here, the virtual reality simulation video data is generated by an arithmetic device (not shown) according to a simulation program for a simulated experience in virtual reality. The detection unit 11 can acquire virtual reality simulation video data from an arithmetic device (not shown).

検知部１１は、コントローラ１００が備えたマイクロフォン（図示せず）により、体験者の発話を検知してもよい。 The detection unit 11 may detect the utterances of the experiencer using a microphone (not shown) included in the controller 100.

あるいは、検知部１１は、コントローラ１００が備えたセンサ（図示せず）により、体験者の動作を検知してもよい。 Alternatively, the detection unit 11 may detect the movement of the experiencer using a sensor (not shown) included in the controller 100.

検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００の操作を検知したことを、測定部１２に通知する。また、検知部１１は、検知したコントローラ１００の操作の内容を示す情報を、出力部１３へ出力する。体験者によるコントローラ１００の操作の内容は、体験者の動作の内容を表すと言い換えることもできる。 The detection unit 11 notifies the measurement unit 12 that the operation of the controller 100 by the person viewing the simulation video has been detected. Further, the detection unit 11 outputs information indicating the content of the detected operation of the controller 100 to the output unit 13. The content of the operation of the controller 100 by the person experiencing the experience can also be expressed as representing the content of the movement of the person experiencing the experience.

測定部１２は、体験者によるコントローラ１００の操作を検知したとき、体験者の状態を測定する。測定部１２は、測定手段の一例である。 The measurement unit 12 measures the state of the user when detecting an operation of the controller 100 by the user. The measuring section 12 is an example of a measuring means.

一例では、測定部１２は、検知部１１から、シミュレーション映像を視認している体験者によるコントローラ１００の操作を検知したことを通知される。このとき、測定部１２は、体験者の状態を測定する。 In one example, the measuring unit 12 is notified by the detecting unit 11 that an operation of the controller 100 by the person viewing the simulation video has been detected. At this time, the measurement unit 12 measures the condition of the person experiencing the experience.

例えば、測定部１２は、仮想現実での体験者から目標（例えば、アバター）までの距離（図７）を測定する。このとき、測定部１２は、仮想現実での模擬体験のためのシミュレーションプログラムを読み込んで実行する演算装置（図示せず）から、仮想現実での体験者の位置情報、および、仮想現実での目標の位置情報を取得する。そして、測定部１２は、仮想現実での体験者の位置情報、および、仮想現実での目標の位置情報に基づいて、仮想現実での体験者と目標との間の距離を計算する。本例では、仮想現実での体験者と目標との間の距離が、体験者の状態を示す情報である。 For example, the measuring unit 12 measures the distance (FIG. 7) from the experiencer to the target (eg, avatar) in virtual reality. At this time, the measurement unit 12 receives position information of the experiencer in virtual reality and the goal in virtual reality from a calculation device (not shown) that reads and executes a simulation program for a simulated experience in virtual reality. Get location information. Then, the measuring unit 12 calculates the distance between the experiencer and the target in virtual reality based on the position information of the experiencer in virtual reality and the position information of the target in virtual reality. In this example, the distance between the experiencer and the target in virtual reality is information indicating the state of the experiencer.

他の一例では、測定部１２は、ＶＲゴーグル２００が備えたインカメラ（図示せず）より、体験者の目を撮影した映像のデータを取得する。測定部１２は、体験者の目を撮影した映像のデータを、周知の解析技術を用いて解析することにより、仮想現実での体験者の視線の位置を計算する。本例では、仮想現実での体験者の視線の位置座標が、体験者の状態を示す情報である。 In another example, the measuring unit 12 acquires data of an image of the experiencer's eyes from an in-camera (not shown) included in the VR goggles 200. The measurement unit 12 calculates the position of the user's line of sight in virtual reality by analyzing the data of the image of the user's eyes using a well-known analysis technique. In this example, the positional coordinates of the user's line of sight in virtual reality is information indicating the state of the user.

測定部１２は、体験者によるコントローラ１００の操作を検知したときの体験者の状態を示す情報を、出力部１３へ出力する。体験者の状態を示す情報とは、例えば、仮想現実での体験者の視線の位置を示す情報や、コントローラ１００の向きを示す情報などである。 The measurement unit 12 outputs information indicating the state of the experiencer when the operation of the controller 100 by the experiencer is detected to the output unit 13. The information indicating the state of the experiencer is, for example, information indicating the position of the experiencer's line of sight in virtual reality, information indicating the orientation of the controller 100, and the like.

出力部１３は、測定した体験者の状態を示す第１の情報とともに、検知したコントローラ１００の操作の内容を示す第２の情報を出力する。出力部１３は、出力手段の一例である。 The output unit 13 outputs first information indicating the measured state of the user and second information indicating the content of the detected operation of the controller 100. The output unit 13 is an example of an output means.

一例では、出力部１３は、測定部１２から、測定データ、すなわち、体験者によるコントローラ１００の操作を検知したときの体験者の状態を示す情報（第１の情報と呼ぶ）を受信する。また、出力部１３は、検知部１１から、検知部１１が検知したコントローラ１００の操作の内容を示す情報（第２の情報と呼ぶ）を受信する。 In one example, the output unit 13 receives measurement data from the measurement unit 12, that is, information indicating the state of the experiencer when the operation of the controller 100 by the experiencer is detected (referred to as first information). The output unit 13 also receives from the detection unit 11 information (referred to as second information) indicating the content of the operation of the controller 100 detected by the detection unit 11.

出力部１３は、測定部１２が測定した体験者の状態を示す第１の情報とともに、検知部１１が検知したコントローラ１００の操作の内容を示す第２の情報を出力する。例えば、出力部１３は、指導者などの第三者が監視している外部モニタ（図示せず）へ、第1の情報および第２の情報を出力する。そして、出力部１３は、外部モニタの画面上に、第１の情報および第２の情報を同時に表示する。 The output unit 13 outputs first information indicating the state of the experiencer measured by the measurement unit 12 and second information indicating the content of the operation of the controller 100 detected by the detection unit 11. For example, the output unit 13 outputs the first information and the second information to an external monitor (not shown) monitored by a third party such as an instructor. Then, the output unit 13 simultaneously displays the first information and the second information on the screen of the external monitor.

（シミュレーション装置１０の動作）
図２を参照して、本実施形態１に係るシミュレーション装置１０の動作を説明する。図２は、シミュレーション装置１０の各部が実行する処理の流れを示すフローチャートである。 (Operation of simulation device 10)
The operation of the simulation device 10 according to the first embodiment will be described with reference to FIG. 2. FIG. 2 is a flowchart showing the flow of processing executed by each part of the simulation device 10.

図２に示すように、まず、シミュレーション装置１０は、仮想現実での模擬体験のためのシミュレーション映像をＶＲゴーグル２００（図５）等に表示する。 As shown in FIG. 2, first, the simulation device 10 displays a simulation video for a simulated experience in virtual reality on the VR goggles 200 (FIG. 5) or the like.

対に、検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００（図５）の操作を検知する（Ｓ１）。検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００の操作を検知したことを、測定部１２に通知する。また、検知部１１は、検知したコントローラ１００の操作の内容を示す情報を、出力部１３へ出力する。 On the other hand, the detection unit 11 detects the operation of the controller 100 (FIG. 5) by the person viewing the simulation video (S1). The detection unit 11 notifies the measurement unit 12 that the operation of the controller 100 by the person viewing the simulation video has been detected. Further, the detection unit 11 outputs information indicating the content of the detected operation of the controller 100 to the output unit 13.

体験者によるコントローラ１００の操作を検知部１１が検知したとき、続いて、測定部１２は、体験者の状態を測定する（Ｓ２）。測定部１２は、測定データを、出力部１３へ出力する。 When the detection section 11 detects the operation of the controller 100 by the experience person, the measurement section 12 subsequently measures the state of the experience person (S2). The measurement unit 12 outputs measurement data to the output unit 13.

出力部１３は、測定部１２が測定した体験者の状態を示す第１の情報とともに、検知部１１が検知したコントローラ１００の操作の内容を示す第２の情報を出力する（Ｓ３）。 The output unit 13 outputs first information indicating the state of the experiencer measured by the measuring unit 12 and second information indicating the content of the operation of the controller 100 detected by the detecting unit 11 (S3).

以上で、本実施形態１に係るシミュレーション装置１０の動作は終了する。 With this, the operation of the simulation device 10 according to the first embodiment ends.

（本実施形態の効果）
本実施形態の構成によれば、検知部１１は、仮想現実での模擬体験を行っている体験者によるコントローラ１００の操作を検知する。測定部１２は、体験者によるコントローラ１００の操作を検知したとき、体験者の状態を測定する。出力部１３は、測定した体験者の状態を示す第１の情報とともに、検知したコントローラ１００の操作の内容を示す第２の情報を出力する。現実の第三者は、第１の情報を得ることで、体験者の状態を知ることができる。同じ第三者は、第２の情報を得ることで、体験者によるコントローラ１００の操作の内容を知ることができる。このようにして、現実の第三者は、体験者の状態と体験者による操作の内容を共に知ることができるので、仮想現実での模擬体験を行っている体験者の動作を正確に評価することができる。 (Effects of this embodiment)
According to the configuration of this embodiment, the detection unit 11 detects an operation of the controller 100 by an experiencer who is performing a simulated experience in virtual reality. The measurement unit 12 measures the state of the user when detecting an operation of the controller 100 by the user. The output unit 13 outputs first information indicating the measured state of the experiencer and second information indicating the content of the detected operation of the controller 100. A real third party can know the condition of the experiencer by obtaining the first information. The same third party can know the content of the operation of the controller 100 by the experiencer by obtaining the second information. In this way, a real third party can know both the user's state and the details of the user's operations, making it possible to accurately evaluate the user's movements while performing a simulated experience in virtual reality. be able to.

〔実施形態２〕
図３から図４を参照して、実施形態２について説明する。本実施形態２では、体験者の動作を評価するための参考指標を提供する構成を説明する。本実施形態２では、前記実施形態１と共通する構成に対して、前記実施形態１と同じ符号を付して、それらの構成に関する説明を省略する。 [Embodiment 2]
Embodiment 2 will be described with reference to FIGS. 3 to 4. In Embodiment 2, a configuration for providing reference indicators for evaluating the actions of the person experiencing the experience will be described. In the second embodiment, components common to those in the first embodiment are given the same reference numerals as those in the first embodiment, and explanations regarding these components will be omitted.

（シミュレーション装置２０）
図３を参照して、本実施形態２に係るシミュレーション装置２０の構成を説明する。図３は、シミュレーション装置１０の構成を示すブロック図である。 (Simulation device 20)
The configuration of the simulation device 20 according to the second embodiment will be described with reference to FIG. 3. FIG. 3 is a block diagram showing the configuration of the simulation device 10.

図３に示すように、シミュレーション装置２０は、検知部１１、測定部１２、および出力部１３を備えている。加えて、シミュレーション装置２０は、評価部２４をさらに備えている。 As shown in FIG. 3, the simulation device 20 includes a detection section 11, a measurement section 12, and an output section 13. In addition, the simulation device 20 further includes an evaluation section 24.

評価部２４は、測定部１２が測定した体験者の状態、および、検知部１１が検知したコントローラ１００の操作の内容に基づいて、指導者が体験者の動作を評価するための参考指標を導出する。評価部２４は、評価手段の一例である。 The evaluation unit 24 derives a reference index for the instructor to evaluate the behavior of the person based on the condition of the person measured by the measurement unit 12 and the operation of the controller 100 detected by the detection unit 11. do. The evaluation unit 24 is an example of evaluation means.

一例では、評価部２４は、測定部１２から、体験者によるコントローラ１００の操作を検知したときの体験者の状態を示す情報（すなわち測定データ）を受信する。また、評価部２４は、検知部１１から、検知したコントローラ１００の操作の内容を示す情報を受信する。 In one example, the evaluation unit 24 receives from the measurement unit 12 information (i.e., measurement data) indicating the state of the experiencer when the operation of the controller 100 by the experiencer is detected. The evaluation unit 24 also receives information indicating the content of the detected operation of the controller 100 from the detection unit 11 .

評価部２４は、測定部１２が測定した体験者の状態、および、検知部１１が検知したコントローラ１００の操作の内容に基づいて、体験者の動作を評価するための参考指標を導出する。参考指標は、例えば、指導者から見た、体験者の動作の手順の適合度である。 The evaluation unit 24 derives a reference index for evaluating the user's behavior based on the state of the user measured by the measurement unit 12 and the operation of the controller 100 detected by the detection unit 11. The reference index is, for example, the degree of suitability of the experiencer's movement procedure from the instructor's perspective.

なお、評価部２４は、体験者の動作を評価するための参考指標に代えて、体験者の動作に関する評価指標（例えば、評価値）を導出してもよい。 Note that the evaluation unit 24 may derive an evaluation index (for example, an evaluation value) regarding the experiencer's behavior instead of the reference index for evaluating the experiencer's behavior.

評価部２４は、導出した参考指標のデータを、出力部１３へ出力する。 The evaluation unit 24 outputs the derived reference index data to the output unit 13.

出力部１３は、前記実施形態１と同様に、測定部１２が測定した体験者の状態を示す第１の情報とともに、検知部１１が検知したコントローラ１００の操作の内容を示す第２の情報を出力する。 Similarly to the first embodiment, the output unit 13 outputs first information indicating the state of the person experiencing the experience measured by the measuring unit 12 and second information indicating the content of the operation of the controller 100 detected by the detecting unit 11. Output.

また、出力部１３は、評価部２４から、評価部２４が導出した参考指標のデータを受信する。出力部１３は、体験者の動作に関する評価の参考指標をさらに出力する。 Further, the output unit 13 receives from the evaluation unit 24 data on the reference index derived by the evaluation unit 24. The output unit 13 further outputs reference indicators for evaluation regarding the experiencer's movements.

（シミュレーション装置２０の動作）
図４を参照して、本実施形態２に係るシミュレーション装置２０の動作を説明する。図４は、シミュレーション装置２０の各部が実行する処理の流れを示すフローチャートである。 (Operation of simulation device 20)
The operation of the simulation device 20 according to the second embodiment will be described with reference to FIG. 4. FIG. 4 is a flowchart showing the flow of processing executed by each part of the simulation device 20.

図４に示すように、まず、シミュレーション装置２０は、仮想現実での模擬体験のためのシミュレーション映像をＶＲゴーグル２００（図５）等に表示する。 As shown in FIG. 4, first, the simulation device 20 displays a simulation video for a simulated experience in virtual reality on the VR goggles 200 (FIG. 5) or the like.

対に、検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００（図５）の操作を検知する（Ｓ２０１）。検知部１１は、シミュレーション映像を視認している体験者によるコントローラ１００の操作を検知したことを、測定部１２に通知する。また、検知部１１は、検知したコントローラ１００の操作の内容を示す情報を、出力部１３および評価部２４へ出力する。 On the other hand, the detection unit 11 detects the operation of the controller 100 (FIG. 5) by the person viewing the simulation video (S201). The detection unit 11 notifies the measurement unit 12 that the operation of the controller 100 by the person viewing the simulation video has been detected. Further, the detection unit 11 outputs information indicating the content of the detected operation of the controller 100 to the output unit 13 and the evaluation unit 24.

体験者によるコントローラ１００の操作を検知部１１が検知したとき、続いて、測定部１２は、体験者の状態を測定する（Ｓ２０２）。測定部１２は、測定データを、出力部１３および評価部２４へ出力する。 When the detection unit 11 detects the operation of the controller 100 by the person experiencing the experience, the measuring unit 12 subsequently measures the state of the person experiencing the experience (S202). The measurement unit 12 outputs measurement data to the output unit 13 and the evaluation unit 24.

出力部１３は、測定部１２が測定した体験者の状態を示す第１の情報とともに、検知部１１が検知したコントローラ１００の操作の内容を示す第２の情報を出力する（Ｓ２０３）。 The output unit 13 outputs first information indicating the state of the experiencer measured by the measuring unit 12 and second information indicating the content of the operation of the controller 100 detected by the detecting unit 11 (S203).

評価部２４は、測定部１２が測定した体験者の状態、および、検知部１１が検知したコントローラ１００の操作の内容に基づいて、体験者の動作を評価するための参考指標を導出する（Ｓ２０４）。評価部２４は、導出した参考指標のデータを、出力部１３へ出力する。 The evaluation unit 24 derives a reference index for evaluating the experiencer's behavior based on the experiencer's state measured by the measurement unit 12 and the content of the operation of the controller 100 detected by the detection unit 11 (S204 ). The evaluation unit 24 outputs the derived reference index data to the output unit 13.

出力部１３は、体験者の動作に関する評価の参考指標をさらに出力する（Ｓ２０５）。 The output unit 13 further outputs a reference index for evaluation regarding the experiencer's movement (S205).

以上で、本実施形態２に係るシミュレーション装置２０の動作は終了する。 With this, the operation of the simulation device 20 according to the second embodiment ends.

（本実施形態の効果）
本実施形態の構成によれば、検知部１１は、仮想現実での模擬体験を行っている体験者によるコントローラ１００の操作を検知する。測定部１２は、体験者によるコントローラ１００の操作を検知したとき、体験者の状態を測定する。出力部１３は、測定した体験者の状態を示す第１の情報とともに、検知したコントローラ１００の操作の内容を示す第２の情報を出力する。現実の第三者は、第１の情報を得ることで、体験者の状態を知ることができる。同じ第三者は、第２の情報を得ることで、体験者によるコントローラ１００の操作の内容を知ることができる。このようにして、現実の第三者は、体験者の状態と体験者による操作の内容を共に知ることができるので、仮想現実での模擬体験を行っている体験者の動作を正確に評価することができる。 (Effects of this embodiment)
According to the configuration of this embodiment, the detection unit 11 detects an operation of the controller 100 by an experiencer who is performing a simulated experience in virtual reality. The measurement unit 12 measures the state of the user when detecting an operation of the controller 100 by the user. The output unit 13 outputs first information indicating the measured state of the user and second information indicating the content of the detected operation of the controller 100. A real third party can know the condition of the experiencer by obtaining the first information. By obtaining the second information, the same third party can know the details of the operation of the controller 100 by the experiencer. In this way, a real third party can know both the user's state and the details of the user's operations, making it possible to accurately evaluate the user's movements while performing a simulated experience in virtual reality. be able to.

さらに、本実施形態の構成によれば、評価部２４は、測定した体験者の状態、および、検知したコントローラ１００の操作の内容に基づいて、体験者の動作を評価するための参考指標を導出する。出力部１３は、体験者の動作に関する評価の参考指標をさらに出力する。これにより、現実の第三者は、出力された参考指標を考慮して、体験者の動作を評価することができる。 Further, according to the configuration of the present embodiment, the evaluation unit 24 derives a reference index for evaluating the movement of the user based on the measured state of the user and the detected operation of the controller 100. do. The output unit 13 further outputs reference indicators for evaluation regarding the experiencer's movements. Thereby, a real third party can evaluate the experiencer's actions by considering the output reference index.

〔実施形態３〕
図５から図７を参照して、実施形態３について説明する。本実施形態３では、前記実施形態１～２において説明したシミュレーション装置１０，２０のいずれかを備えたシミュレーションシステム１について説明する。 [Embodiment 3]
Embodiment 3 will be described with reference to FIGS. 5 to 7. In the third embodiment, a simulation system 1 including one of the simulation devices 10 and 20 described in the first and second embodiments will be described.

（シミュレーションシステム１）
図５を参照して、前述した実施形態１～２に係るシミュレーション装置１０，２０のいずれかを備えたシミュレーションシステム１の構成の一例を、最初に説明する。図５において、「シミュレーション装置１０（２０）」とは、実施形態１～２に係るシミュレーション装置１０，２０のいずれかを表す。 (Simulation system 1)
Referring to FIG. 5, an example of the configuration of a simulation system 1 including one of the simulation apparatuses 10 and 20 according to the first to second embodiments described above will first be described. In FIG. 5, "simulation device 10 (20)" represents either the simulation device 10 or 20 according to the first or second embodiment.

図５に示すように、シミュレーションシステム１は、シミュレーション装置１０（２０）、コントローラ１００、およびＶＲゴーグル２００を備えている。 As shown in FIG. 5, the simulation system 1 includes a simulation device 10 (20), a controller 100, and VR goggles 200.

コントローラ１００は、シミュレーション映像を視認している体験者による操作のために使用される。コントローラ１００は、機械や道具を模したものであってもよいし、専用のデザインと設計とを与えられたものであってもよい。コントローラ１００は、有線又は無線により、シミュレーション装置１０（２０）と通信可能に接続されている。 The controller 100 is used for operations by a person viewing the simulation video. The controller 100 may be modeled after a machine or tool, or may have a custom design and design. The controller 100 is communicably connected to the simulation device 10 (20) by wire or wirelessly.

コントローラ１００は、ジャイロセンサなどの各種センサを備えている。さらに、コントローラ１００は、トリガスイッチを備えている。体験者は、コントローラ１００を動かしたり、トリガスイッチを押したりする操作を行うことにより、シミュレーションプログラムを進行または分岐させる。 The controller 100 includes various sensors such as a gyro sensor. Further, the controller 100 includes a trigger switch. The user moves the controller 100 or presses a trigger switch to advance or branch the simulation program.

ＶＲゴーグル２００は、仮想現実の認知を体験者に提供する。ＶＲゴーグル２００は、体験者が視界の周りに装着することにより使用される。ＶＲゴーグル２００には、シミュレーションプログラムを読み込んで実行する演算装置（図示せず）から、仮想現実のシミュレーション映像データが送信される。体験者は、ＶＲゴーグル２００を装着している限り、あたかも自分が仮想現実内にいるかのように認識する。 The VR goggles 200 provide the experiencer with virtual reality perception. The VR goggles 200 are used by the user wearing them around his or her field of vision. Virtual reality simulation video data is transmitted to the VR goggles 200 from a computing device (not shown) that reads and executes a simulation program. As long as the experiencer wears the VR goggles 200, the experiencer perceives himself/herself as if he or she were in virtual reality.

（仮想現実での模擬体験の一例）
図６は、仮想現実の一例を模式的に示す図である。図６に示すように、体験者は、ＶＲゴーグル２００を装着している。このとき、体験者は、自分が仮想現実内にいるように認識する。上述したように、仮想現実のシミュレーション映像データは、図示しない演算装置により生成される。シミュレーション装置１０（２０）は、演算装置が生成したシミュレーション映像データを取得して、ＶＲゴーグル２００のディスプレイの画面上に、シミュレーション映像を表示する。 (An example of a simulated experience in virtual reality)
FIG. 6 is a diagram schematically showing an example of virtual reality. As shown in FIG. 6, the person experiencing the experience is wearing VR goggles 200. At this time, the experiencer perceives himself/herself as being in virtual reality. As described above, virtual reality simulation video data is generated by a calculation device (not shown). The simulation device 10 (20) acquires simulation video data generated by the arithmetic device and displays the simulation video on the screen of the display of the VR goggles 200.

体験者が仮想現実内で移動（あるいは移動しようと）したり、向きを変えたりすると、仮想現実での体験者の視点が変換される。このとき、シミュレーション装置１０（２０）は、変換された後の体験者の視点から見た仮想現実のシミュレーション映像データを演算装置から取得して、取得したシミュレーション映像データを、ＶＲゴーグル２００へ送信する。 As the experiencer moves (or attempts to move) or turns within the virtual reality, the experiencer's perspective in virtual reality is transformed. At this time, the simulation device 10 (20) acquires the converted virtual reality simulation video data seen from the experiencer's perspective from the computing device, and transmits the acquired simulation video data to the VR goggles 200. .

図６に示すように、仮想現実内には、体験者のほか、目標（本例では、人）が存在する。目標は、シミュレーションプログラムにしたがって、仮想現実内で行動する。図６では、目標は、体験者に向かって移動している。体験者の視点では、目標が自分に近づいているように見える。 As shown in FIG. 6, in addition to the experiencer, a target (in this example, a person) exists in the virtual reality. The target acts in virtual reality according to a simulation program. In FIG. 6, the target is moving toward the experiencer. From the experiencer's perspective, the goal appears to be approaching them.

図７は、体験者の動作の一例を説明する図である。図７に示す一例では、体験者は、目標が自分に近づいている間に、予め定められたいくつかの動作（ここでは５つの動作とする）（例えば、「警告」「コントローラ１００を取り出す」「威嚇」「コントローラ１００を構える」「トリガを引く（トリガスイッチを押す）」）を実施する。図７では、５つの動作を、時系列にしたがって、動作１～動作５とそれぞれ附番している。 FIG. 7 is a diagram illustrating an example of the user's movements. In the example shown in FIG. 7, the experiencer performs several predetermined actions (here, five actions) (for example, "warning", "take out the controller 100") while the target approaches him/her. ``Intimidate'', ``hold the controller 100'', ``pull the trigger (press the trigger switch)''). In FIG. 7, the five operations are numbered as operations 1 to 5 in chronological order.

体験者が「警告」の動作を実施したとき、体験者の発話による音声が、コントローラ１００のマイクロフォン（図示せず）に入力される。 When the experiencer performs the "warning" action, the voice uttered by the experiencer is input to the microphone (not shown) of the controller 100.

体験者が「コントローラ１００を取り出す」「コントローラ１００を構える」の各動作を実施したとき、体験者の動作に伴って、コントローラ１００の動きが発生する。コントローラ１００が備えたジャイロセンサ（図示せず）は、コントローラ１００の動きを検知する。 When the user performs the actions of "taking out the controller 100" and "holding the controller 100," the controller 100 moves in accordance with the user's actions. A gyro sensor (not shown) included in the controller 100 detects movement of the controller 100.

体験者が「威嚇」「トリガを引く」の各動作を実施したとき、コントローラ１００のトリガスイッチが押される。コントローラ１００が備えたトリガスイッチ（図示せず）は、体験者による押す操作を検知する。 When the experiencer performs the actions of "threatening" and "pulling the trigger," the trigger switch of the controller 100 is pressed. A trigger switch (not shown) included in the controller 100 detects a push operation by the user.

コントローラ１００は、マイクロフォンや各種センサが出力するデータを、通信ネットワークを介して、シミュレーション装置１０（２０）へ送信する。 The controller 100 transmits data output by a microphone and various sensors to the simulation device 10 (20) via a communication network.

このようにして、シミュレーションシステム１では、体験者の動作を示す情報が、コントローラ１００からシミュレーション装置１０（２０）へ渡される。体験者の動作を示す情報とは、例えば、体験者の発話を示す情報や、コントローラ１００を動かしたことを示す情報である。 In this way, in the simulation system 1, information indicating the movements of the experiencer is passed from the controller 100 to the simulation device 10 (20). The information indicating the experiencer's actions is, for example, information indicating the experiencer's utterances or information indicating that the controller 100 has been moved.

シミュレーション装置１０（２０）の検知部１１は、コントローラ１００から渡された、コントローラ１００が備えたマイクロフォンが出力する音声データ（体験者の動作を示す情報の一例である）を用いて、コントローラ１００が備えたマイクロフォンへの音声入力を検知することができる。また、検知部１１は、コントローラ１００が備えたトリガスイッチが出力するデータ（体験者の動作を示す情報の一例である）を用いて、コントローラ１００が備えたトリガスイッチへの入力操作を検知することができる。 The detection unit 11 of the simulation device 10 (20) uses the audio data (which is an example of information indicating the experiencer's movement) output from the microphone included in the controller 100 and is passed from the controller 100 to the controller 100. It is possible to detect voice input to the equipped microphone. The detection unit 11 also detects an input operation to the trigger switch included in the controller 100 using data output from the trigger switch included in the controller 100 (which is an example of information indicating the movement of the user). I can do it.

また、体験者が「コントローラ１００を構える」という動作を実施したとき、コントローラ１００の傾きが発生する。コントローラ１００が備えたジャイロセンサ（図示せず）は、コントローラ１００の傾きを検知する。 Further, when the user performs the action of "holding the controller 100", the controller 100 tilts. A gyro sensor (not shown) included in the controller 100 detects the tilt of the controller 100.

コントローラ１００は、ジャイロセンサが出力する傾き角度のデータを、通信ネットワークを介して、シミュレーション装置１０（２０）へ送信する。 The controller 100 transmits the tilt angle data output by the gyro sensor to the simulation device 10 (20) via the communication network.

加えて、ＶＲゴーグル２００が備えたインカメラ（図示せず）より、体験者の目が撮影される。ＶＲゴーグル２００は、インカメラが出力する撮影データを、通信ネットワークを介して、シミュレーション装置１０（２０）へ送信する。 In addition, an in-camera (not shown) included in the VR goggles 200 photographs the eyes of the experiencer. The VR goggles 200 transmits the shooting data output by the in-camera to the simulation device 10 (20) via the communication network.

このようにして、シミュレーションシステム１では、体験者の状態を示す情報が、ＶＲゴーグル２００からシミュレーション装置１０（２０）へ渡される。 In this manner, in the simulation system 1, information indicating the state of the experiencer is passed from the VR goggles 200 to the simulation device 10 (20).

シミュレーション装置１０（２０）の測定部１２は、ＶＲゴーグル２００から渡された、ＶＲゴーグル２００のインカメラが出力する撮影データ（体験者の状態を示す情報の一例である）を用いて、仮想現実での体験者の視線の位置を測定することができる。または、測定部１２は、コントローラ１００の傾き角度のデータ（体験者の状態を示す情報の一例である）を用いて、体験者の視線の向きを測定することができる。あるいはまた、測定部１２は、コントローラ１００の傾き角度のデータ（体験者の状態を示す情報の一例である）を用いて、コントローラ１００が仮想現実内で指している位置を測定することができる。 The measurement unit 12 of the simulation device 10 (20) uses the photographic data (which is an example of information indicating the state of the user) output by the in-camera of the VR goggles 200, which is passed from the VR goggles 200, to measure the virtual reality. It is possible to measure the position of the user's line of sight. Alternatively, the measurement unit 12 can measure the direction of the user's line of sight using data on the inclination angle of the controller 100 (which is an example of information indicating the state of the user). Alternatively, the measuring unit 12 can measure the position that the controller 100 is pointing within the virtual reality using data on the inclination angle of the controller 100 (which is an example of information indicating the state of the user).

（ハードウェア構成について）
前記実施形態１～２で説明したシミュレーション装置１０，２０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図８に示すような情報処理装置９００により実現される。図８は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。 (About hardware configuration)
Each component of the simulation apparatuses 10 and 20 described in the first and second embodiments represents a functional unit block. Some or all of these components are realized by an information processing device 900 as shown in FIG. 8, for example. FIG. 8 is a block diagram showing an example of the hardware configuration of the information processing device 900.

図８に示すように、情報処理装置９００は、一例として、以下のような構成を含む。 As shown in FIG. 8, the information processing device 900 includes the following configuration, as an example.

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１
ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２
ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３
ＲＡＭ９０３にロードされるプログラム９０４
プログラム９０４を格納する記憶装置９０５
記録媒体９０６の読み書きを行うドライブ装置９０７
通信ネットワーク９０９と接続する通信インタフェース９０８
データの入出力を行う入出力インタフェース９１０
各構成要素を接続するバス９１１
前記実施形態１～２で説明したシミュレーション装置１０，２０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。 CPU (Central Processing Unit) 901
ROM (Read Only Memory) 902
RAM (Random Access Memory) 903
Program 904 loaded into RAM 903
Storage device 905 that stores program 904
A drive device 907 that reads and writes the recording medium 906
Communication interface 908 connected to communication network 909
Input/output interface 910 for inputting and outputting data
Bus 911 connecting each component
Each component of the simulation apparatuses 10 and 20 described in the first and second embodiments is realized by the CPU 901 reading and executing a program 904 that realizes these functions. A program 904 that realizes the functions of each component is stored in advance in, for example, a storage device 905 or ROM 902, and is loaded into RAM 903 and executed by CPU 901 as needed. Note that the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.

上記の構成によれば、前記実施形態１～２で説明したシミュレーション装置１０，２０が、ハードウェアとして実現される。したがって、前記実施形態１～２のいずれかにおいて説明した効果と同様の効果を奏することができる。 According to the above configuration, the simulation devices 10 and 20 described in the first and second embodiments are realized as hardware. Therefore, the same effects as those described in any of the first and second embodiments can be achieved.

（付記）
本発明の一態様は、以下のようにも記載され得るが、以下に限定されない。 (Additional note)
One embodiment of the present invention may also be described as follows, but is not limited to the following.

（付記１）
仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知する検知手段と、
前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定する測定手段と、
測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力する出力手段と
を備えたシミュレーション装置。 (Additional note 1)
a detection means for detecting an operation of a controller by an experiencer performing a simulated experience in virtual reality;
Measuring means for measuring the state of the experiencer when detecting an operation of the controller by the experiencer;
A simulation device comprising: output means for outputting first information indicating the measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.

（付記２）
前記測定手段は、前記仮想現実での前記体験者から目標までの距離を測定する
ことを特徴とする付記１に記載のシミュレーション装置。 (Additional note 2)
The simulation device according to appendix 1, wherein the measuring means measures a distance from the experiencer to the target in the virtual reality.

（付記３）
前記測定手段は、前記仮想現実での前記体験者の視線の位置を測定する
ことを特徴とする付記１に記載のシミュレーション装置。 (Additional note 3)
The simulation device according to supplementary note 1, wherein the measuring means measures the position of the user's line of sight in the virtual reality.

（付記４）
前記測定手段は、前記体験者の視線の向きを測定する
ことを特徴とする付記１に記載のシミュレーション装置。 (Additional note 4)
The simulation device according to supplementary note 1, wherein the measuring means measures the direction of the visual line of the person experiencing the experience.

（付記５）
前記測定手段は、前記コントローラが前記仮想現実内で指している位置を測定する
ことを特徴とする付記１から４のいずれか１項に記載のシミュレーション装置。 (Appendix 5)
5. The simulation device according to any one of Supplementary Notes 1 to 4, wherein the measuring means measures a position pointed by the controller in the virtual reality.

（付記６）
前記検知手段は、前記コントローラが備えたマイクロフォンへの音声入力を検知する
ことを特徴とする付記１から４のいずれか１項に記載のシミュレーション装置。 (Appendix 6)
The simulation device according to any one of Supplementary Notes 1 to 4, wherein the detection means detects audio input to a microphone included in the controller.

（付記７）
前記検知手段は、前記コントローラが備えたトリガスイッチへの入力操作を検知する
ことを特徴とする付記１に記載のシミュレーション装置。 (Appendix 7)
The simulation device according to appendix 1, wherein the detection means detects an input operation to a trigger switch provided in the controller.

（付記８）
測定した前記体験者の状態、および、検知した前記コントローラの操作の内容に基づいて、前記体験者の動作を評価するための参考指標を導出する評価手段をさらに備え、
前記出力手段は、前記体験者の動作に関する評価の前記参考指標をさらに出力する
ことを特徴とする付記１に記載のシミュレーション装置。 (Appendix 8)
Further comprising an evaluation means for deriving a reference index for evaluating the operation of the user based on the measured state of the user and the detected operation of the controller,
The simulation device according to supplementary note 1, wherein the output means further outputs the reference index for evaluation regarding the movement of the person experiencing the experience.

（付記９）
シミュレーション装置が、
仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知し、
前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定し、
測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力する
シミュレーション方法。 (Appendix 9)
The simulation device
Detects controller operations by participants performing a simulated experience in virtual reality,
When detecting the operation of the controller by the experiencer, measuring the state of the experiencer,
A simulation method that outputs first information indicating a measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.

（付記１０）
仮想現実での模擬体験を行っている体験者によるコントローラの操作を検知することと、
前記体験者による前記コントローラの操作を検知したとき、前記体験者の状態を測定することと、
測定した前記体験者の状態を示す第１の情報とともに、検知した前記コントローラの操作の内容を示す第２の情報を出力することと
をコンピュータに実行させるためのプログラム。 (Appendix 10)
Detecting controller operations by an experiencer performing a simulated experience in virtual reality;
Measuring the state of the experiencer when detecting an operation of the controller by the experiencer;
A program for causing a computer to output first information indicating a measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.

（付記１１）
前記出力手段は、前記仮想現実での前記体験者による射撃が目標に当たったかどうかを示す第２の情報を出力する
ことを特徴とする付記１から４のいずれか１項に記載のシミュレーション装置。 (Appendix 11)
The simulation device according to any one of Supplementary Notes 1 to 4, wherein the output means outputs second information indicating whether or not the shooting by the experience person in the virtual reality hits the target.

（付記１２）
前記測定手段は、前記体験者が装着するゴーグルが備えたセンサにより、前記体験者の状態を測定する
ことを特徴とする付記１に記載のシミュレーション装置。 (Appendix 12)
The simulation device according to supplementary note 1, wherein the measuring means measures the condition of the experience person using a sensor included in goggles worn by the experience person.

（付記１３）
前記検知手段は、仮想現実での模擬体験のためのシミュレーション映像を視認している前記体験者を撮影して得られた撮影映像から、前記体験者の動作および状態の少なくとも一方を検出する
ことを特徴とする付記１に記載のシミュレーション装置。 (Appendix 13)
The detection means detects at least one of a motion and a state of the experience person from a photographed image obtained by photographing the experience person viewing a simulation image for a simulated experience in virtual reality. The simulation device according to Supplementary Note 1, which is characterized by:

本発明は、例えば、仮想現実での模擬体験を提供するシミュレーション装置に利用することができる。 The present invention can be used, for example, in a simulation device that provides a simulated experience in virtual reality.

１シミュレーションシステム
１０シミュレーション装置
１１検知部
１２測定部
１３出力部
２０シミュレーション装置
２４評価部
１００コントローラ
２００ＶＲゴーグル 1 Simulation system 10 Simulation device 11 Detection section 12 Measurement section 13 Output section 20 Simulation device 24 Evaluation section 100 Controller 200 VR goggles

Claims

a detection means for detecting an operation of a controller by an experiencer performing a simulated experience in virtual reality;
Measuring means for measuring the state of the experiencer when detecting an operation of the controller by the experiencer;
A simulation device comprising: output means for outputting first information indicating the measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.

The simulation device according to claim 1, wherein the measuring means measures a distance from the experiencer to the target in the virtual reality.

The simulation device according to claim 1, wherein the measuring means measures the position of the user's line of sight in the virtual reality.

The simulation device according to claim 1, wherein the measuring means measures the direction of the user's line of sight.

The simulation device according to any one of claims 1 to 4, wherein the measuring means measures a position pointed by the controller in the virtual reality.

The simulation device according to any one of claims 1 to 4, wherein the detection means detects audio input to a microphone included in the controller.

The simulation device according to any one of claims 1 to 4, wherein the detection means detects an input operation to a trigger switch included in the controller.

Further comprising an evaluation means for deriving a reference index for evaluating the operation of the user based on the measured state of the user and the detected operation of the controller,
The simulation device according to claim 1, wherein the output means further outputs the reference index for evaluation regarding the movement of the person experiencing the experience.

The simulation device
Detects controller operations by participants performing a simulated experience in virtual reality,
When detecting the operation of the controller by the experiencer, measuring the state of the experiencer,
A simulation method that outputs first information indicating a measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.

Detecting controller operations by an experiencer performing a simulated experience in virtual reality;
Measuring the state of the experiencer when detecting an operation of the controller by the experiencer;
A program for causing a computer to output first information indicating a measured state of the person experiencing the experience and second information indicating the content of the detected operation of the controller.