JP2024135766A

JP2024135766A - Tactile Presentation System

Info

Publication number: JP2024135766A
Application number: JP2023046623A
Authority: JP
Inventors: 修一赤岩; Shuichi Akaiwa; 慶介木野井; Keisuke Kinoi
Original assignee: Kurimoto Ltd
Current assignee: Kurimoto Ltd
Priority date: 2023-03-23
Filing date: 2023-03-23
Publication date: 2024-10-04
Also published as: WO2024195830A1

Abstract

To prevent a user trying to touch an object for which a tactile sense is not set from suspecting a device failure in a system including a tactile output device which projects a virtual space on a display and allows the user to feel a tactile sense about partial objects in the virtual space.SOLUTION: User recognition means is executed which allows for discriminating between a touchable object 81a about which a user can feel a tactile sense by a tactile output device and an untouchable object 81b about which the user cannot feel a tactile sense, out of objects displayed in a virtual space 80.SELECTED DRAWING: Figure 5

Description

この発明は、仮想空間上のオブジェクトの触覚を利用者に提示するシステムに関する。 This invention relates to a system that presents the tactile sensation of an object in a virtual space to a user.

コンテンツと連動して利用者に触感による効果を味わわせる触覚提示装置が様々な形で提案されている。触感としては例えば振動や圧迫、風、湿気、熱などの、利用者が止まっていても実感できる能動的な触覚効果を映画などの映像コンテンツに合わせて提供することが既に行われている。また、人の動作を受けるインターフェースデバイスでは、固さや柔らかさといった手にして握ったときにかかる抵抗などの、利用者の動作に対して実感される受動的な触覚効果を与えることが検討されている。 Various types of tactile presentation devices have been proposed that allow users to experience tactile effects in conjunction with content. Active tactile effects such as vibration, pressure, wind, humidity, and heat that can be felt even when the user is standing still have already been provided in conjunction with video content such as movies. In addition, for interface devices that receive human movements, consideration is being given to providing passive tactile effects that can be felt in response to the user's movements, such as the resistance felt when holding something in the hand, such as hardness or softness.

一方で、仮想空間においてユーザ同士がアバターを操作して交流するＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）システムが普及しつつある。現時点においてＶＲで再現する仮想空間の感覚は視覚と聴覚が中心である。さらに現実味を向上させるために、触覚提示装置と連動してオブジェクトなどと接触した感触をユーザに体験させることが検討されている。 On the other hand, VR (Virtual Reality) systems, in which users interact with each other by operating avatars in a virtual space, are becoming more and more popular. At present, the senses of virtual space reproduced in VR are primarily visual and auditory. To further improve the sense of realism, there are plans to link this with a tactile presentation device to allow users to experience the sensation of touching objects, etc.

特許文献１には、ヘッドマウントディスプレイを用い、ディスプレイ内に表示した仮想オブジェクトの触覚をユーザに提示する触覚提示装置が提案されている。ユーザが視線で仮想オブジェクトを選択した際、そのオブジェクトに対応した触覚を端末機器に出力し、ユーザが仮想オブジェクトの触感として触覚での体験をする。 Patent Document 1 proposes a tactile presentation device that uses a head-mounted display to present the user with the tactile sensation of a virtual object displayed on the display. When the user selects a virtual object with their line of sight, a tactile sensation corresponding to that object is output to a terminal device, allowing the user to experience the tactile sensation of the virtual object.

特開２０２０－０１７１５９号公報JP 2020-017159 A

しかしながら、仮想空間を構成するオブジェクト全てに触覚の情報を付与しようとすると、データ量が膨大になり、処理負荷が大きくなりやすいので、オブジェクトの一部にのみ触覚を設定することが現実的な対応として考えられる。しかし、一部のオブジェクトのみに触感が付与されていると、ユーザがオブジェクトを触っても、その設定によっては触覚を出力されず、ユーザの落胆に繋がってしまうおそれがある。また、ユーザはそもそもオブジェクトに触覚が設定されているかわからないため、元から触感が感じられないオブジェクトに触れてしまった場合に、触覚を提示する装置の不具合やプログラムのエラーなどを疑わざるを得ず、没入感が妨げられてしまう。 However, if haptic information is added to all objects that make up a virtual space, the amount of data would be enormous, and the processing load would be large, so a realistic solution would be to set haptics only to some of the objects. However, if haptics are added to only some of the objects, depending on the settings, haptics may not be output when the user touches an object, which could lead to disappointment for the user. Furthermore, because the user does not know whether haptics are set for an object in the first place, if they touch an object that does not have a haptic sensation to begin with, they are forced to suspect a malfunction in the device that presents haptics or an error in the program, which hinders the sense of immersion.

そこでこの発明は、ユーザに触覚が設定されているオブジェクトか予め認識させ、無駄な確認行動をとらせないようにし、機器不調などの疑いを回避することを目的とする。 The purpose of this invention is to allow the user to recognize in advance whether an object has tactile sensations, to prevent unnecessary checking actions, and to avoid suspicion of equipment malfunction, etc.

この発明は、
ディスプレイに仮想空間を出力する画像出力部を有し、
ユーザに触覚を体感させる触覚出力装置と接続され、
前記仮想空間にオブジェクトを表示し、前記触覚出力装置によってユーザが触覚を体感可能な可触オブジェクト、又は前記触覚を体感不可能な不触オブジェクトをユーザが識別可能にさせるユーザ認識手段を実行可能な
触覚提示システムにより、上記の課題を解決したのである。 The present invention relates to
An image output unit that outputs a virtual space to a display,
It is connected to a haptic output device that allows the user to experience haptics,
The above problem was solved by a tactile presentation system capable of displaying objects in the virtual space and executing a user recognition means that enables the user to identify tactile objects whose tactile sensations can be experienced by the user through the tactile output device, or non-tactile objects whose tactile sensations cannot be experienced by the user.

この発明にかかる触覚提示システムは、前記ユーザ認識手段が、前記可触オブジェクト、又は前記不触オブジェクトを、視覚で認識できる情報を表示する実施形態を採用できる。例えば、当該オブジェクトに仮想空間上で触れることができる条件下において、前記可触オブジェクトのみ点滅表示されたり、前記可触オブジェクトのみ所定の色調で光ったり、前記可触オブジェクトと前記不触オブジェクトとが異なる色調で光ったり、前記不触オブジェクトのみ半透明表示されたりといった表示による実施形態が挙げられる。 The tactile presentation system according to the present invention may employ an embodiment in which the user recognition means displays information that allows the tactile object or the non-tactile object to be visually recognized. For example, under conditions in which the object can be touched in virtual space, the tactile object alone may be displayed flashing, the tactile object alone may be illuminated in a predetermined color tone, the tactile object and the non-tactile object may be illuminated in different colors, or only the non-tactile object may be displayed semi-transparently.

この発明にかかる触覚提示システムは、前記ユーザ認識手段が、ユーザが選択したオブジェクトを選択したときに、前記可触オブジェクトと前記不触オブジェクトとを、聴覚で認識できる情報を出力する実施形態が採用できる。例えば、前記可触オブジェクトを選択していた場合は、触覚提示可能であることを示す音声を再生し、前記不触オブジェクトを選択していた場合は、音声を再生しないか又は触覚提示できないことを示す音声を再生する。 The tactile presentation system according to the present invention may employ an embodiment in which the user recognition means outputs information that allows the tactile object and the non-tactile object to be audibly recognized when the user selects a selected object. For example, if the tactile object is selected, a sound is played indicating that tactile presentation is possible, and if the non-tactile object is selected, no sound is played or a sound is played indicating that tactile presentation is not possible.

この発明にかかる触覚提示システムは、サーバと、ユーザが操作する制御装置とを有し、
前記サーバが仮想空間におけるオブジェクトと、前記制御装置を操作するユーザのアバターとの位置を管理し、
前記制御装置が前記画像出力部と前記触覚出力装置とを有し、
前記制御装置は、前記サーバから受け取った情報に従い、前記ユーザ認識手段を実行する実施形態が採用できる。 The tactile presentation system according to the present invention includes a server and a control device operated by a user,
The server manages the positions of objects in a virtual space and an avatar of a user who operates the control device;
the control device has the image output unit and the haptic output device,
The control device may be configured to execute the user recognition means in accordance with information received from the server.

この発明にかかる触覚提示方法は、
仮想空間をディスプレイに出力して、表示されるオブジェクトのうちの一部について、触覚出力装置によってユーザに当該オブジェクトに接触した触覚を体感させる方法であって、
前記仮想空間に表示されるオブジェクトのうち、ユーザが触覚を体感可能に設定されている可触オブジェクト、又は触覚を体感不可能に設定されている不触オブジェクトを、ユーザに識別可能にさせるステップと、
前記ユーザによるアバターが前記可触オブジェクトを選択して接触した際に、当該前記可触オブジェクトについて設定されている触覚を、前記触覚出力装置によって提示するステップと、
を実行する。 The tactile presentation method according to the present invention comprises:
A method for outputting a virtual space to a display and allowing a user to experience a haptic sensation of touching a part of a displayed object by a haptic output device, comprising:
A step of allowing a user to identify tactile objects that are set so that the user can experience a tactile sense or non-tactile objects that are set so that the user cannot experience a tactile sense among the objects displayed in the virtual space;
When the user's avatar selects and touches the tactile object, a haptic sensation set for the tactile object is presented by the haptic output device;
Execute.

この発明にかかるプログラムは、前記触覚提示システムにおいて、前記画像出力部を有し、前記触覚出力装置と接続されるコンピュータにおいて、前記ユーザ認識手段を実行させるためのプログラムである。 The program of the present invention is a program for executing the user recognition means in a computer in the tactile presentation system, the computer having the image output unit and connected to the tactile output device.

この発明により、ユーザが触覚提示装置により触覚を体験できる仮想空間において、いちいち全てのオブジェクトに対してアバターで接触して触覚が体験できるものであるか否かを手作業で判定する必要が無くなる。つまり、触覚が体験できるオブジェクトを視覚や聴覚などで接触する前から検知でき、ユーザが触覚を体験しようとして触覚が設定されていないオブジェクトに触れてしまい落胆する事態を回避でき、仮想空間における体験のユーザビリティが向上する。 This invention eliminates the need for a user in a virtual space where they can experience haptics using a haptic presentation device to manually determine whether or not they can experience haptics by touching each and every object with an avatar. In other words, it is possible to detect objects that can be experienced with haptics before touching them visually or audibly, preventing a user from being disappointed by touching an object that does not have haptics set when trying to experience haptics, thereby improving the usability of the experience in the virtual space.

この発明にかかる触覚提示システムの第一の実施形態例の機能ブロック図FIG. 1 is a functional block diagram of a first embodiment of a tactile presentation system according to the present invention; この発明で利用する触覚提示装置の例であるＭＲＦデバイスの概念図A conceptual diagram of an MRF device, which is an example of a tactile presentation device used in this invention. この発明で利用する触覚提示装置（タップユニット）の概念図Conceptual diagram of the tactile presentation device (tap unit) used in this invention この発明で利用する触覚データの例を示すテーブルTable showing examples of tactile data used in the present invention （ａ）この発明を実行して発光の有無でオブジェクトを識別可能にした仮想空間における第一の表示形態例、（ｂ）この発明を実行してテキスト表示の有無でオブジェクトを識別可能にした仮想空間における第二の表示形態例(a) A first example of a display form in a virtual space in which the present invention is implemented to make objects identifiable by the presence or absence of light emission. (b) A second example of a display form in a virtual space in which the present invention is implemented to make objects identifiable by the presence or absence of text display. この発明を実行して触覚を体感するユーザと装置とのイメージ図An image of a user and a device that experiences haptics by implementing the present invention. この発明にかかる触覚提示システムの第二の実施形態例の機能ブロック図FIG. 2 is a functional block diagram of a second embodiment of a tactile presentation system according to the present invention; この発明にかかる触覚提示システムの第一の実施形態の実行フロー例図FIG. 2 is an example of an execution flow of the first embodiment of the tactile presentation system according to the present invention.

以下、この発明について詳細に説明する。この発明は、仮想空間におけるオブジェクトに触れる感触をユーザに体感させるにあたり、触覚を体感可能なオブジェクトを認識可能とする触覚提示システムである。 The present invention is described in detail below. The present invention is a tactile presentation system that allows a user to experience the sensation of touching an object in a virtual space and recognizes the object that is tactile.

この発明において触覚とは、五感のうちの一つであり直接的又は間接的に肌や筋肉、神経などによって体感できる感覚をいい、特に断りがない場合は広義の意味で用いる。狭義の触覚とは皮膚で感じる感覚として知られる触覚、圧覚、痛覚、冷覚、温覚のうちの一つであるが、この発明においての触覚とは狭義の触覚だけでなく、圧覚などその他の感覚も含む。本発明はこれらの感覚について、体感する度合いの強弱が味わえるものを好適に調整する。押されて圧力の強弱の違いとして感じられる圧感のような利用者の動作によらずに体感する能動的な触覚効果だけでなく、抵抗や手ごたえ、足ごたえといった利用者の動作に対して体感する受動的な触覚効果も対象となる。 In this invention, touch is one of the five senses and refers to a sensation that can be felt directly or indirectly through the skin, muscles, nerves, etc., and is used in a broad sense unless otherwise specified. Touch in the narrow sense is one of the sensations known as those felt through the skin, such as touch, pressure, pain, cold, and warmth, but touch in this invention includes not only touch in the narrow sense but also other sensations such as pressure. The present invention appropriately adjusts the intensity of these sensations. This applies not only to active tactile effects that are felt regardless of the user's actions, such as the sense of pressure felt when pressed and the difference in pressure, but also to passive tactile effects that are felt in response to the user's actions, such as resistance, a sense of resistance, or a sense of resistance in the hand.

この発明で用いる前記触覚出力装置は、それらを利用する利用者に対して前記の触覚を体感させる装置である。前記触覚出力装置は、その触覚を体感させる挙動を、電気信号を受けて実現する触覚出力デバイスを有する。この発明で用いる触覚出力デバイスとしては、電気信号の単なるオンオフだけではなく、電気信号の電流量や電圧に応じて、強度が異なる触覚による体感を実現させるものが用いられる。この触覚出力デバイスとしては、例えば、電気信号を受けて装置を駆動するモーターなどのアクチュエータや、電気信号を受けて装置を加熱して気体を膨らませるバルーンや、電気信号を受けて回転翼を回転させて気流を発生させる扇風機や、電気信号を受けて装置の回転抵抗を上昇させる磁気粘性流体デバイスなどが挙げられる。この他、電気信号を受けて装置が有する直動体（ピストン）の抵抗を上昇させる磁気粘性ダンパーも利用可能である。 The tactile output device used in this invention is a device that allows a user who uses it to experience the tactile sensation. The tactile output device has a tactile output device that realizes the behavior that causes the tactile sensation by receiving an electric signal. The tactile output device used in this invention is not simply an on/off of an electric signal, but is one that realizes a tactile sensation of different strengths depending on the current amount and voltage of the electric signal. Examples of this tactile output device include an actuator such as a motor that receives an electric signal to drive a device, a balloon that receives an electric signal to heat a device and inflate a gas, an electric fan that receives an electric signal to rotate a rotor and generate an airflow, and a magnetorheological fluid device that receives an electric signal to increase the rotational resistance of a device. In addition, a magnetorheological damper that receives an electric signal to increase the resistance of a linear moving body (piston) of a device can also be used.

この発明にかかる触覚提示システム１０の実施形態例である機能ブロック図を図１に示す。触覚提示システム１０は、実際に利用者に対して触覚による体感を発生させる触覚出力装置１１と接続され、触覚出力装置１１と通信してその体感させる動作を制御するとともに、ディスプレイに仮想空間を出力する画像出力部７０を有するか、又は画像出力部７０と接続される制御装置５１を有する。 Figure 1 shows a functional block diagram of an embodiment of a tactile presentation system 10 according to the present invention. The tactile presentation system 10 is connected to a tactile output device 11 that actually generates a tactile sensation for the user, and communicates with the tactile output device 11 to control the operation of providing the sensation. It also has an image output unit 70 that outputs a virtual space to a display, or a control device 51 that is connected to the image output unit 70.

触覚出力装置１１は、電気信号に応じて触覚をユーザに提示させる触覚出力デバイス１４を有する。モーターなどのアクチュエータや加熱によるバルーンなどの直接的に利用者に接触させて触覚を体感させるものや、ファンによる風圧を利用者が受けて非接触で間接的に体感させるものといった能動的な触覚感覚を味わわせるデバイス、ＭＲＦデバイスなどの利用者の動きに対する抵抗を増減させて受動的な触覚感覚を味わわせるデバイスのどちらも利用できる。 The haptic output device 11 has a haptic output device 14 that presents a haptic sensation to the user in response to an electrical signal. Both devices that provide an active haptic sensation, such as actuators such as motors or heated balloons that allow the user to directly touch the device and experience the sensation, and devices that allow the user to indirectly experience the sensation without contact by receiving wind pressure from a fan, and devices that provide a passive haptic sensation by increasing or decreasing the resistance to the user's movements, such as MRF devices, can be used.

触覚出力装置１１は、触覚出力デバイス１４に電気信号を送信する又は送信させるなどの演算やコマンドなどの制御を行う触覚制御部２１と、触覚制御部２１が利用するメモリであるデータ記憶部２２を有する。データ記憶部２２は、信号の一時的な記録や触覚制御部２１による演算に必要な情報及び結果、命令等を格納するものである。データ記憶部２２のメモリは揮発性メモリであってよいが、不揮発性メモリも有しているとさらに好ましい。不揮発性メモリを有していると、高性能な触覚出力装置１１では個人向けの出力変更の記録や履歴などを保存して、出力のさらなる好適化のために参照することができる。なお図示しないが、触覚制御部２１を動作されるプログラムは、データ記憶部２２が不揮発性メモリである場合はそこに格納されていてもよいし、別途格納されていてもよい。ここではこれらが行う触覚出力装置１１の制御を担う部分をまとめて出力装置制御部２０とする。出力装置制御部２０の構成は触覚制御部２１とデータ記憶部２２以外の要素を含んでいてもよい。 The haptic output device 11 has a haptic control unit 21 that controls operations and commands such as sending or making the haptic output device 14 send electrical signals, and a data storage unit 22 that is a memory used by the haptic control unit 21. The data storage unit 22 temporarily records signals and stores information, results, commands, etc. required for operations by the haptic control unit 21. The memory of the data storage unit 22 may be a volatile memory, but it is more preferable if it also has a non-volatile memory. If it has a non-volatile memory, a high-performance haptic output device 11 can store records and history of output changes for individuals and refer to them for further optimization of the output. Although not shown, the program that operates the haptic control unit 21 may be stored in the data storage unit 22 if it is a non-volatile memory, or may be stored separately. Here, the parts that control the haptic output device 11 performed by these may be collectively referred to as the output device control unit 20. The configuration of the output device control unit 20 may include elements other than the haptic control unit 21 and the data storage unit 22.

また、触覚出力装置１１は装置自体を作動させるために必要な電源２５を有する。バッテリでもよいし、外部電源と接続されていてもよい。バッテリの場合は、触覚出力装置１１が必要とする電流量が小さい場合は交換可能な一次電池でよいが、必要とする電流量が多い場合は、外部電源から充電される二次電池であると運用しやすい。また、後述する通信部２６を有線ケーブルが担う場合には、制御装置５１を外部電源として給電されるものでもよい。 The haptic output device 11 also has a power source 25 necessary to operate the device itself. This may be a battery, or it may be connected to an external power source. In the case of a battery, if the amount of current required by the haptic output device 11 is small, a replaceable primary battery will suffice, but if the amount of current required is large, it is easier to operate it as a secondary battery that is charged from an external power source. Furthermore, if the communication unit 26 described below is handled by a wired cable, it may be one that is powered by the control device 51 as an external power source.

触覚出力装置１１は、制御装置５１の通信部６３との間で通信できる通信部２６を有する。少なくとも制御装置５１からの通信を受信できるものである必要があり、相互通信できるものであると制御装置５１による制御がより多様にできるため好ましい。通信部２６で受信したデータや命令は出力装置制御部２０に送られ、それを用いて触覚出力装置１１が動作する。また、センサ等によるデータや履歴、ログなどを出力装置制御部２０から通信部２６を介して制御装置５１に送ってもよい。また、触覚出力装置１１はデータの一部を制御装置５１に送信し、その返信として結果を受け取ってもよい。 The haptic output device 11 has a communication unit 26 that can communicate with the communication unit 63 of the control device 51. It is necessary that it is at least capable of receiving communication from the control device 51, and it is preferable that it is capable of mutual communication, since this allows more diverse control by the control device 51. Data and commands received by the communication unit 26 are sent to the output device control unit 20, and the haptic output device 11 operates using these. In addition, data, history, logs, etc. from sensors, etc. may be sent from the output device control unit 20 to the control device 51 via the communication unit 26. The haptic output device 11 may also send part of the data to the control device 51 and receive the results as a reply.

通信部２６と通信部６３との通信は有線通信でもよいし、無線通信でもよい。有線通信の場合は、有線ケーブルを介して電源を供給するものでもよい。規格は特に限定されず、本発明出願時点においてはＵＳＢケーブル、Ｌｉｇｈｔｎｉｎｇ（登録商標）ケーブル、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）ケーブルなどが選択可能であるが、同様の又は上位互換の通信が可能である規格であればよい。無線通信の場合は、近距離無線通信規格であれば利用でき、種々の無線ＬＡＮ規格や、Ｂｌｕｅｔｏｏｔｈ（登録商標。以下略）、ＢｌｕｅｔｏｏｔｈＬＥ、ワイヤレスＵＳＢなどが挙げられる。ただし、少なくともこの発明における調整自体を実現するために必要とするデータ量は小さいため、ＢｌｕｅｔｏｏｔｈやＢｌｕｅｔｏｏｔｈＬＥなどの比較的低速かつ使用電力の少ない規格が好適に用いられる。もちろん、本発明で必要とする以外の動作のために大量のデータを必要とし、高速の通信規格を採用するものでもよい。 The communication between the communication unit 26 and the communication unit 63 may be wired or wireless. In the case of wired communication, power may be supplied via a wired cable. The standard is not particularly limited, and at the time of filing the present application, a USB cable, a Lightning (registered trademark) cable, a Thunderbolt (registered trademark) cable, etc. can be selected, but any standard that allows similar or upwardly compatible communication may be used. In the case of wireless communication, any short-range wireless communication standard may be used, such as various wireless LAN standards, Bluetooth (registered trademark, omitted below), Bluetooth LE, and wireless USB. However, since the amount of data required to realize at least the adjustment itself in this invention is small, a relatively slow standard that uses little power, such as Bluetooth or Bluetooth LE, is preferably used. Of course, a high-speed communication standard that requires a large amount of data for operations other than those required in this invention may also be used.

触覚出力装置１１は、触覚出力デバイス１４が体感させる触覚のためのデバイス自体の変位や、触覚出力デバイス１４を利用者が操作した際の位置や変位、荷重などを測定するセンサ１６を有すると好ましい。 It is preferable that the haptic output device 11 has a sensor 16 that measures the displacement of the device itself for the haptic sensation experienced by the haptic output device 14, as well as the position, displacement, load, etc., when the user operates the haptic output device 14.

制御装置５１は、通信部６３を介して触覚出力装置１１と通信し、触覚出力装置１１に対してコンテンツの一環としての感触を利用者に提供させるように制御するコンピュータである装置である。具体的には、利用者が利用するパソコン、ゲーム機、スマートフォン、スマートウォッチ、テレビ、ルータ、ネットワークスピーカーなどの端末が例として挙げられる。また、ルータや端末を介して接続されるネットワーク９２の先に設けられたサーバ９１が後述する制御装置５１の機能の一部を担っていてもよい。そのために、制御装置５１は有線ＬＡＮ機能、無線ＬＡＮ機能や移動体通信網への接続機能といったネットワークインターフェース（ＮＷＩＦ）６９を有していると好ましい。なお、ネットワークインターフェース６９は通信部６３と兼用でもよいし、独立していてもよい。通信量が大きく異なるため、独立している方が好適である場合が多い。図では独立している例を示す。 The control device 51 is a computer that communicates with the haptic output device 11 via the communication unit 63 and controls the haptic output device 11 to provide the user with a sensation as part of the content. Specific examples include terminals used by users, such as personal computers, game consoles, smartphones, smart watches, televisions, routers, and network speakers. In addition, a server 91 provided at the end of a network 92 connected via a router or terminal may perform part of the functions of the control device 51 described below. For this purpose, it is preferable that the control device 51 has a network interface (NWIF) 69 such as a wired LAN function, a wireless LAN function, or a function for connecting to a mobile communication network. The network interface 69 may be shared with the communication unit 63, or may be independent. Since the communication volume is significantly different, it is often preferable to have it independent. The figure shows an example in which it is independent.

制御装置５１は、入出力装置５４を有する。入出力装置５４は利用者とのインターフェースであり、入力を受け付け、触覚以外の要素を出力する。図ではまとめているが、一つの装置である必要はなく、複数個の装置によって構成されていてよい。また、入出力装置５４そのものが制御装置５１の筐体の中にまとまっている必要はなく、接続される他の装置と接続できるインターフェースだけを有していてもよい。 The control device 51 has an input/output device 54. The input/output device 54 is an interface with the user, accepting input and outputting elements other than tactile sensations. Although shown together in the figure, it does not have to be a single device, and may be composed of multiple devices. Furthermore, the input/output device 54 itself does not have to be together inside the housing of the control device 51, and may simply have an interface that can connect to other devices.

入出力装置５４のうち出力装置としては、画像出力部７０が挙げられる。画像出力部７０には映像出力装置であるディスプレイ７２が接続され、画像出力部７０からの出力に応じて仮想空間を画像として出力する。ディスプレイ７２は筐体に組み込まれたディスプレイだけでなく、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔケーブルで接続されたディスプレイやプロジェクター、ヘッドマウントディスプレイなどが挙げられる。この中でも特に没入感の高いヘッドマウントディスプレイが望ましい。筐体に組み込まれたディスプレイとしては、スマートフォンやタブレットのタッチパネルが他の入出力を受け付ける入出力装置５４を兼ねて採用されていてもよい。 An example of an output device among the input/output devices 54 is the image output unit 70. A display 72, which is a video output device, is connected to the image output unit 70, and outputs the virtual space as an image according to the output from the image output unit 70. The display 72 may be a display built into the housing, or a display, projector, or head-mounted display connected via an HDMI or DisplayPort cable. Of these, a head-mounted display that provides a particularly immersive feeling is desirable. As a display built into the housing, the touch panel of a smartphone or tablet may be used to double as the input/output device 54 that accepts other inputs and outputs.

また、出力装置として音声を出力するための音声出力装置も有していると好ましい。音声出力装置としては、筐体が有するスピーカー、有線又は無線接続されたヘッドホンやイヤホン、スピーカーなどの装置や、これらと接続されるインターフェース（音声出力部（図示せず））が挙げられる。 It is also preferable that the output device has an audio output device for outputting audio. Examples of audio output devices include a speaker built into the housing, wired or wirelessly connected headphones, earphones, speakers, and other devices, as well as an interface (audio output unit (not shown)) connected to these.

入出力装置５４のうち操作に用いる入力装置としては、筐体に組み込まれたディスプレイと一体化したタッチパネルの他、ＵＳＢケーブルで接続されたマウスやトラックボール、コントローラ、キーボードなどの装置や、これらと接続されるインターフェース（入力部（図示せず））であってもよい。また、入力装置の一部が触覚出力装置１１と兼用されていてもよい。 The input device used for operation among the input/output devices 54 may be a touch panel integrated with a display built into the housing, or a device such as a mouse, trackball, controller, or keyboard connected via a USB cable, or an interface (input unit (not shown)) connected to these. In addition, part of the input device may also serve as the tactile output device 11.

制御装置５１は、演算などを行う制御部６１を有する。具体的にはＣＰＵやＧＰＵなどの演算装置であり、コンテンツの読み込み、演算、入出力装置５４への出力や入力の受付、触覚出力装置１１との通信などの装置の挙動を制御する。また、特にこの実施形態では、アプリ６５の一部として後述するユーザ認識手段７１を実行する。 The control device 51 has a control unit 61 that performs calculations and the like. Specifically, it is a calculation device such as a CPU or GPU, and controls the behavior of the device, such as reading content, calculations, receiving input and output to the input/output device 54, and communication with the haptic output device 11. In this embodiment in particular, it also executes user recognition means 71, which will be described later, as part of the app 65.

制御装置５１は、データやプログラムを保持する記憶部６２を有する。記憶部６２としては、ストレージとして用いられる不揮発性メモリや磁気ディスクと、演算に用いる揮発性メモリとの両方を有していることが好ましい。図では読み込まれているか否かを区別せずに記載している。 The control device 51 has a memory unit 62 that holds data and programs. It is preferable that the memory unit 62 has both a non-volatile memory or a magnetic disk used as storage, and a volatile memory used for calculations. In the figure, there is no distinction as to whether data or programs are loaded or not.

記憶部６２には、利用者が触覚の出力をコンテンツの一部として体感できる仮想空間を操作、表示するアプリケーションソフト（図中「アプリ６５」）が記録される。上記の制御装置５１にプリインストールされたものであってもよいし、ネットワーク９２を介したサーバ９１からダウンロードされてインストールされたものであってもよい。 The storage unit 62 stores application software ("app 65" in the figure) that operates and displays a virtual space in which the user can experience tactile output as part of the content. This may be pre-installed in the control device 51, or may be downloaded and installed from a server 91 via a network 92.

アプリ６５は、映像としての仮想空間を提供するとともに、その映像で表示されたオブジェクトのうちの一部について、触覚の出力を触覚出力装置１１に行わせて、利用者に触覚による体感を提供するプログラムである。 The application 65 is a program that provides a virtual space in the form of an image, and causes the haptic output device 11 to output haptics for some of the objects displayed in the image, thereby providing the user with a haptic sensation.

アプリ６５は、仮想空間の視覚や聴覚での体感を、入出力装置５４と通信部６３とを介して提供するために、それを再現するためのプログラムを含む音声信号や映像信号などのメディア信号を含むメディアデータのメディアデータベース６６を記憶部６２に有する。このメディアデータとは、たとえば仮想空間を構成する座標、テクスチャ、エフェクトなどの情報、前記仮想空間内に設置されるオブジェクトの形状についての３Ｄデータやグラフィック、声やセリフ、効果音などであり、触覚出力装置１１で触覚を体感させようとするオブジェクトごとに紐付されていると好ましい。なお、メディアデータベース６６は全ての必要なメディアデータを記憶部６２内に保持している必要はなく、ネットワーク経由で必要に応じて適宜ダウンロードして一時的に、または永続的に追加されるものでもよい。 In order to provide a visual and auditory experience of the virtual space via the input/output device 54 and the communication unit 63, the app 65 has a media database 66 in the storage unit 62 of media data including media signals such as audio signals and video signals including a program for reproducing the experience. This media data is, for example, information such as coordinates, textures, and effects that constitute the virtual space, 3D data and graphics about the shapes of objects placed in the virtual space, voices, lines, sound effects, etc., and is preferably linked to each object for which the haptic sensation is to be experienced by the haptic output device 11. Note that the media database 66 does not need to hold all necessary media data in the storage unit 62, and may be added temporarily or permanently by appropriately downloading it via the network as needed.

またアプリ６５は、前記の仮想空間とその中にあるオブジェクトの触感を、入出力装置５４への出力と並行して触覚出力装置１１を介して提供するために、それを再現するための触覚データを含む触覚データベース６７を記憶部６２に有する。この触覚データとは、触覚出力装置１１が触覚出力デバイス１４をどのような状況でどのような値で動作させるかについての値の集合や関数などの設定である。触覚データは、その複数記録される中から前記の仮想空間の中でユーザが能動的に触れようとするオブジェクト、または受動的に触覚で体感することになるオブジェクトごとに選択されるものである。制御装置５１は、入出力装置５４からの操作や再生しているコンテンツにおけるトリガーなどから、体感させようとするオブジェクトを選択し、又は自動的に選択されると、そのオブジェクトに紐づけられた触覚データを、触覚データベース６７から読み出して、通信部６３と通信部２６を介して触覚出力装置１１へ送信する。 In addition, the app 65 has a haptic database 67 in the storage unit 62, which contains haptic data for reproducing the virtual space and the haptic sensation of the objects therein, in order to provide it via the haptic output device 11 in parallel with the output to the input/output device 54. This haptic data is a set of values, functions, and other settings that indicate in what situation and with what values the haptic output device 11 operates the haptic output device 14. The haptic data is selected from the multiple records for each object that the user intends to actively touch in the virtual space, or for each object that the user intends to passively experience haptically. The control device 51 selects an object to be experienced based on an operation from the input/output device 54 or a trigger in the content being played, or when an object is automatically selected, reads out the haptic data associated with that object from the haptic database 67 and transmits it to the haptic output device 11 via the communication unit 63 and the communication unit 26.

触覚出力装置１１では、ユーザにより選択されたオブジェクトが触覚を体感可能な可触オブジェクトである場合に、デフォルト値として送られてきた触覚データを、データ記憶部２２に記録し、この触覚データを参照した出力で触覚出力デバイス１４を制御して、具体的に利用者に触覚を体感させる。 When the object selected by the user is a tactile object that allows the user to experience the sense of touch, the tactile output device 11 records the tactile data sent as default values in the data storage unit 22, and controls the tactile output device 14 with output that references this tactile data, allowing the user to specifically experience the sense of touch.

以下、触覚出力デバイス１４として具体的なデバイスを用いた例を挙げて説明する。以下の説明では、触覚出力デバイス１４として、磁気粘性流体（ＭＲＦ：Magneto Rheological Fluid）デバイス（以下、「ＭＲＦデバイス」と略記する。）を有するタップユニットである触覚出力装置１１を例にとり説明する。ここで具体例として用いるＭＲＦデバイスは、回転軸４１、円板３２、ヨーク３４，３５、コイル３７，磁気粘性流体３８、ケーシング３１，３６などで構成されている。図２に示すように回転軸４１に取り付けられた円板３２の周囲に、ヨーク３４，３５に挟まれた空間が設けられ、その空間に、置かれた磁場の強さによって粘性が変化する磁気粘性流体３８が導入されている。また、ヨーク３５に支えられて磁界（図中矢印）を発生させるコイル３７が格納されている。回転軸４１は軸受３９に支えられ、磁気粘性流体３８に囲まれた円板３２と一体化されている。磁気粘性流体３８は、回転軸４１を回転させる際の抵抗を、磁場を発生させるコイル３７に供給される電流量によって調節できる。この回転軸４１を回転させようとする力を加えた利用者に対して、磁気粘性流体３８の粘性を増減させることで、回転軸４１と一体化している円板３２に対する抵抗を増減させて、回転軸４１の「回動させにくさ」として能動的な触覚効果を体感させるものである。この例では、円板３２が、触覚出力デバイス１４において磁気粘性流体３８と接する前記回転体にあたる。センサ１６は、この円板３２そのものの角度を検知するか、円板３２と連動して回転する回転軸４１の角度を検知するように取り付けられているとよい。 The following describes an example of a specific device used as the haptic output device 14. In the following description, the haptic output device 14 will be described as an example of a haptic output device 11, which is a tap unit having a magnetorheological fluid (MRF) device (hereinafter abbreviated as "MRF device"). The MRF device used as a specific example here is composed of a rotating shaft 41, a disk 32, yokes 34 and 35, a coil 37, a magnetorheological fluid 38, and casings 31 and 36. As shown in FIG. 2, a space is provided around the disk 32 attached to the rotating shaft 41, sandwiched between the yokes 34 and 35, and a magnetorheological fluid 38, whose viscosity changes depending on the strength of the magnetic field placed therein, is introduced into the space. In addition, a coil 37 that is supported by the yoke 35 and generates a magnetic field (arrow in the figure) is stored. The rotating shaft 41 is supported by a bearing 39 and is integrated with the disk 32 surrounded by the magnetorheological fluid 38. The resistance of the magnetorheological fluid 38 when rotating the rotating shaft 41 can be adjusted by the amount of current supplied to the coil 37 that generates the magnetic field. When a user applies force to rotate the rotating shaft 41, the viscosity of the magnetorheological fluid 38 is increased or decreased, thereby increasing or decreasing the resistance to the disk 32 that is integrated with the rotating shaft 41, and the user experiences an active haptic effect as the "difficulty of rotating the rotating shaft 41." In this example, the disk 32 corresponds to the rotating body that contacts the magnetorheological fluid 38 in the haptic output device 14. The sensor 16 may be attached to detect the angle of the disk 32 itself, or to detect the angle of the rotating shaft 41 that rotates in conjunction with the disk 32.

このようなＭＲＦデバイスを用いた触覚出力装置１１であるタップユニットを図３（ａ）（ｂ）に示す。指や手のひらにより挟持される基部４０と、基部４０に設けられたＭＲＦデバイスの回転軸４１に連動して回動する指当てパーツ４２とを有する。指当てパーツ４２は人差し指、中指、薬指、小指のいずれかまたはそれらの全てに対応しており、指を曲げて握ろうとすると、支点部４３を中心にして回動する。すなわち、この指当てパーツ４２が、利用者が直接に接触して操作する部位にあたる。指当てパーツ４２が押されると、第一リンク材４４と、ピン４６を介してリンクされた第二リンク材４５が図３（ｃ）のように回動する。この動きにより、第二リンク材４５と連結された回転軸４１が基部４０に対して回動される。この回動の際の抵抗が、ＭＲＦデバイスの磁気粘性流体３８によって増減される。 3(a) and (b) show a tap unit, which is a tactile output device 11 using such an MRF device. It has a base 40 that is held by the fingers or palm, and a finger rest part 42 that rotates in conjunction with a rotation shaft 41 of the MRF device provided on the base 40. The finger rest part 42 corresponds to any one or all of the index finger, middle finger, ring finger, and little finger, and rotates around a fulcrum part 43 when the finger is bent to grip. In other words, this finger rest part 42 corresponds to the part that the user directly touches and operates. When the finger rest part 42 is pressed, the first link material 44 and the second link material 45 linked via a pin 46 rotate as shown in FIG. 3(c). This movement rotates the rotation shaft 41 connected to the second link material 45 relative to the base 40. The resistance during this rotation is increased or decreased by the magnetorheological fluid 38 of the MRF device.

このＭＲＦデバイスに付属するセンサ１６としては、指当てパーツ４２の回転中心に対する角度として変位を測定する角度センサや、指当てパーツ４２にかかる荷重を測定するトルクセンサなどを搭載するとよい。これらセンサ１６のデータに応じてその状況における適切な電流量が加えられて、適切な抵抗が生じ、状況に応じた触覚を出力する。 The sensors 16 attached to this MRF device may include an angle sensor that measures the displacement of the finger rest part 42 as an angle relative to the center of rotation, and a torque sensor that measures the load on the finger rest part 42. Depending on the data from these sensors 16, an appropriate amount of current is applied in that situation, generating an appropriate resistance and outputting a tactile sensation appropriate to the situation.

このＭＲＦデバイスの触覚データの例を図４のテーブルに示す。選択したオブジェクトごとに定められたテーブルで、指当てパーツ４２がデフォルト状態から押込まれることで第二リンク材４５が何度回転した回転位置で、どの程度電流を流して回転軸にかかる抵抗を上昇させるかを配列としたものである。このようなテーブルが、利用しようとするオブジェクトごとに設定され、触覚データベース６７にまとめて記録されている。なお、このようなテーブルでなくても、回転位置に応じた関数で定義したものであってもよい。例えば、オブジェクトが小さいものであれば、回転位置が大きく進んで触れると表現されるところまでは抵抗がなく、回転位置が進んで触れたと表現されるところから抵抗を増やすように電流値が上がる。あるいは、グミ状のオブジェクトを握る触感を仮想的に実現するなら、最初からグミを変形させる感触を模してある程度の抵抗が加わるが、グミが変形してこれ以上は変形しないと表現される角度から急激に抵抗があがり、それ以上は回転位置が進まないように電流値を最大値に設定する。 An example of the tactile data of this MRF device is shown in the table in FIG. 4. The table is determined for each selected object, and is an array of the amount of current flow to increase the resistance on the rotation axis at the rotation position where the second link material 45 rotates by pushing the finger contact part 42 from the default state. Such a table is set for each object to be used and recorded together in the tactile database 67. Note that a table defined by a function according to the rotation position may be used instead of such a table. For example, if the object is small, there is no resistance until the rotation position moves significantly and it is expressed as touching, and the current value increases so as to increase the resistance from the point where the rotation position moves and it is expressed as touching. Alternatively, if the tactile sensation of gripping a gummy candy is virtually realized, a certain amount of resistance is applied from the beginning to mimic the sensation of deforming the gummy candy, but the resistance increases sharply from the angle where the gummy candy is deformed and it is expressed that it will not deform any further, and the current value is set to the maximum value so that the rotation position does not move any further.

利用者が触覚を体感しようとするオブジェクトが選択されたら、そのオブジェクトに紐づけられた触覚データを、触覚データベース６７に蓄積された中から呼び出して選択する。仮にそのオブジェクトに紐づけられた触覚データが触覚データベース６７に無ければ、制御装置５１はネットワーク９２を介してサーバ９１から該当する触覚データをダウンロードして選択してもよい。制御装置５１は選択された触覚データを、触覚出力装置１１に送信する。 When an object for which the user wishes to experience a haptic sensation is selected, the haptic data associated with that object is retrieved and selected from among the data stored in the haptic database 67. If there is no haptic data associated with that object in the haptic database 67, the control device 51 may download the corresponding haptic data from the server 91 via the network 92 and select it. The control device 51 transmits the selected haptic data to the haptic output device 11.

利用者がタップユニットを握って指当てパーツ４２が押し込まれ、連動して第二リンク材４５が回動し、回転軸４１及び円板３２の回転位置が変化したら、角度センサであるセンサ１６がそれを検知する。回転位置が２度に到達したときの、触覚制御部２１がＭＲＦデバイスに流す電流値をデータ記憶部２２に格納した触覚データのテーブルを参照して確認する。触覚制御部２１はこの電流値に対応する電圧をＭＲＦデバイスに掛けて、想定した手ごたえとなる触覚を利用者に体感させるように触覚提示手段を実行する。回転位置がさらに変化したことをセンサ１６が検知したら、その新たな回転位置に対応した電流値を参照し、信号を計算し、触覚を体感させる。 When the user grasps the tap unit and the finger rest part 42 is pressed in, the second link member 45 rotates in tandem, changing the rotational position of the rotating shaft 41 and the disk 32, which is detected by the sensor 16, an angle sensor. The tactile control unit 21 checks the current value to be passed through the MRF device when the rotational position reaches 2 degrees by referring to the table of tactile data stored in the data storage unit 22. The tactile control unit 21 applies a voltage corresponding to this current value to the MRF device, and executes the tactile presentation means so that the user experiences the expected tactile sensation. When the sensor 16 detects that the rotational position has changed further, it refers to the current value corresponding to the new rotational position, calculates a signal, and causes the user to experience the tactile sensation.

制御装置５１で実行するアプリ６５において、仮想空間でユーザが選択するオブジェクトが変更になったら、制御装置５１は触覚データベース６７から、新たなオブジェクトに紐づけられた触覚データを呼び出し、触覚出力装置１１へ送信して新たなオブジェクトに対応した触覚を提供する。 When the object selected by the user in the virtual space is changed in the application 65 executed by the control device 51, the control device 51 retrieves the haptic data associated with the new object from the haptic database 67, transmits it to the haptic output device 11, and provides the haptic sensation corresponding to the new object.

この発明において、ユーザは制御装置５１が有する画像出力部７０に接続された、ディスプレイ７２に出力される仮想空間を観測する。仮想空間８０の例を図５（ａ）（ｂ）に示す。仮想空間８０の内部には少なくとも複数のオブジェクト８１が表示される。また、仮想空間８０内にはユーザのアバター８２の一部が少なくとも表示されると好ましい。特に前記触覚出力装置１１が装着される部位に相当する人体のパーツが表示に含まれているのが好ましい。特に腕や手に相当するパーツが表示されているのが好ましい。ユーザは入出力装置５４の操作用デバイスを操作し、制御装置５１はその操作に応じてアバター８２を仮想空間８０内で移動させたり姿勢変更させたりする。また、アバター８２の操作以外にも、選択やボタンの押下などの操作も受け付ける。 In this invention, the user observes a virtual space output on a display 72 connected to an image output unit 70 of the control device 51. An example of the virtual space 80 is shown in Figs. 5(a) and (b). At least a plurality of objects 81 are displayed inside the virtual space 80. It is also preferable that at least a part of the user's avatar 82 is displayed in the virtual space 80. In particular, it is preferable that the display includes parts of the human body corresponding to the part where the haptic output device 11 is attached. In particular, it is preferable that parts corresponding to the arms and hands are displayed. The user operates the operation device of the input/output device 54, and the control device 51 moves the avatar 82 within the virtual space 80 or changes its posture in response to the operation. In addition to the operation of the avatar 82, operations such as selection and button pressing are also accepted.

仮想空間８０に表示されるオブジェクトのうち、一部のオブジェクトは触覚を体感可能な可触オブジェクト８１ａであり、残りのオブジェクトは触覚を体感不可能な不触オブジェクト８１ｂである。可触オブジェクト８１ａには、触覚データが登録又は紐づけられている。ユーザが当該可触オブジェクト８１ａを選択して触覚を体感しようとすると、触覚出力装置１１の触覚出力デバイス１４により、当該可触オブジェクト８１ａの触感として定義されている触覚データにより触覚が出力されてユーザは体感できる。一方、不触オブジェクト８１ｂには、触覚データが登録又は紐づけられていない。ユーザが当該不触オブジェクト８１ｂを選択して触覚を体感しようとしても特段の出力がされないか、または選択が不可能となっている。 Of the objects displayed in the virtual space 80, some of the objects are tactile objects 81a that can be experienced with the sense of touch, and the remaining objects are non-tactile objects 81b that cannot be experienced with the sense of touch. Tactile data is registered or linked to the tactile objects 81a. When a user selects the tactile object 81a and attempts to experience the sense of touch, the tactile output device 14 of the tactile output apparatus 11 outputs a sense of touch based on the tactile data defined as the tactile feel of the tactile object 81a, and the user can experience it. On the other hand, no tactile data is registered or linked to the non-tactile objects 81b. Even if a user selects the non-tactile object 81b and attempts to experience the sense of touch, no special output is given, or the object cannot be selected.

これらの可触オブジェクト８１ａと不触オブジェクト８１ｂとを区別する接触可否設定は、メディアデータベース６６において各オブジェクトの設定として登録されており、オブジェクトを表示しようとする際にその接触可否設定も読み込むとよい。または、オブジェクトを表示しようとする際に、サーバ９１から個々のオブジェクトの接触可否設定を読み込むようにしてもよい。接触可否設定がメディアデータベース６６に保存されている場合、可触オブジェクト８１ａの触覚データも触覚データベース６７に登録されていると、サーバ９１への問い合わせを抑えて高速で表示できるので好ましい。 The touchability settings that distinguish these tactile objects 81a and untouchable objects 81b are registered as settings for each object in the media database 66, and the touchability settings can be read when an object is to be displayed. Alternatively, the touchability settings for each object can be read from the server 91 when an object is to be displayed. When the touchability settings are stored in the media database 66, it is preferable that the tactile data of the tactile object 81a is also registered in the tactile database 67, since this reduces queries to the server 91 and allows for high-speed display.

この発明にかかる触覚提示システムでは、制御部６１が、仮想空間８０に表示されるオブジェクト８１のうち、触覚出力装置１１によってユーザが触覚を体感可能な可触オブジェクト８１ａを識別可能にさせるユーザ認識手段７１を実行する。ユーザに識別可能にさせるとは、視覚又は聴覚、触覚により識別できる情報の違いを有し、ディスプレイ上の表示または音声出力装置からの音声出力において、不触オブジェクト８１ｂとは異なることが識別できることをいう。 In the tactile presentation system of the present invention, the control unit 61 executes a user recognition means 71 that enables the user to identify tactile objects 81a that can be sensed by the user through the tactile output device 11, among the objects 81 displayed in the virtual space 80. "Enabled by the user to identify" means that the object has a difference in information that can be identified visually, aurally, or tactilely, and can be identified as being different from non-tactile objects 81b in the display on the display or in the audio output from the audio output device.

具体的には、視覚により識別できる情報の違いとしては、可触オブジェクト８１ａを共通の色調にしたり、点滅させたり、オブジェクト周囲に「触覚有」のメッセージを表示させたりすることが挙げられる。逆に、不触オブジェクト８１ｂを半透明に表示したり、可触オブジェクト８１ａとは違う色調にしたりすることも挙げられる。共通の色調にするとは、例えば可触オブジェクト８１ａの本来の表示の周囲に特定の色調での発光表示をさせたり、可触オブジェクト８１ａの色調自体を特定の共通の色調に変更させたりするといったことが挙げられる。不触オブジェクト８１ｂを光らせたり色調を変えたりする場合には、可触オブジェクト８１ａより目立ちにくくするように、明度や彩度が低い色にすることが挙げられる。このような色調や透明度によって識別可能にさせる方式は、オブジェクト８１の表示される数が比較的多くても判別しやすい。 Specifically, examples of differences in information that can be visually identified include making the tactile objects 81a have a common color tone, blinking, or displaying a message saying "tactile" around the objects. Conversely, examples of non-touchable objects 81b can be displayed semi-transparently or in a different color tone from the tactile objects 81a. Examples of using a common color tone include, for example, displaying a specific color tone around the original display of the tactile objects 81a, or changing the color tone of the tactile objects 81a themselves to a specific common color tone. When making the non-touchable objects 81b glow or change the color tone, examples of colors that have lower brightness or saturation include making them less noticeable than the tactile objects 81a. Such a method of making them identifiable by color tone or transparency makes it easy to distinguish even if a relatively large number of objects 81 are displayed.

図５（ａ）に示す例では、仮想空間８０内で表示される際に、触覚データが紐づけられた可触オブジェクト８１ａは周囲に点滅する光を放つようにし、触覚データが紐づけられていない不触オブジェクト８１ｂはそのような点滅する光を放っていないように表示する。これにより、目立つ発光を示しているオブジェクト８１が可触オブジェクト８１ａであることが、ディスプレイ７２で仮想空間８０の表示を見たユーザには容易に識別できる。このような表示 In the example shown in FIG. 5(a), when displayed in the virtual space 80, the tactile object 81a associated with the tactile data emits a blinking light around it, while the non-tactile object 81b not associated with the tactile data is displayed as not emitting such a blinking light. This allows the user viewing the display of the virtual space 80 on the display 72 to easily identify that the object 81 that emits a conspicuous light emission is the tactile object 81a. Such a display

図５（ｂ）に示す例では、可触オブジェクト８１ａに「接触可」である旨をメッセージとして表示している。また、併せて不触オブジェクト８１ｂを半透明に表示している。ここでは吹き出し型のウインドウ８３を表示させているが、オブジェクト８１に重なるようにテキストを表示してもよい。また、ウインドウ８３やテキストを点滅表示にしたりしてもよい。ウインドウ８３を表示する形式は特に可触オブジェクト８１ａが目立つので、多くの不触オブジェクト８１ｂの中に、ごく少数の可触オブジェクト８１ａが存在するような仮想空間において好適に利用できる。 In the example shown in FIG. 5(b), a message is displayed on the tactile object 81a indicating that it is "touchable." Additionally, the non-touchable object 81b is displayed semi-transparently. Here, a speech bubble-type window 83 is displayed, but text may be displayed overlapping the object 81. The window 83 and text may also be displayed blinking. The format of displaying the window 83 makes the tactile objects 81a particularly noticeable, and is therefore suitable for use in a virtual space where there are a very small number of tactile objects 81a among many non-touchable objects 81b.

これらの視覚により識別可能にさせる方式の場合、仮想空間８０にオブジェクト８１を表示し始めるときから可触オブジェクト８１ａに識別可能な表示をさせてもよいし、ユーザが操作するアバター８２から当該オブジェクト８１までの仮想空間８０上における距離が所定の範囲内となったときから識別可能な表示をしてもよい。また、単に表示させるだけではなく、ユーザが仮想空間８０内で当該オブジェクトをポインティングデバイスなどによる操作によって選択したタイミングで識別可能な表示をしてもよい。選択したタイミングで識別可能に表示される場合、目的とするものを探索して手に取るまでは可触オブジェクト８１ａであるか不触オブジェクト８１ｂであるかが区別できないが、選択した後は触覚を体感しようとする前から識別可能となるので、以降は期待して当該可触オブジェクト８１ａの触感を体験しようとすることができる。 In the case of these visually identifiable methods, the tactile object 81a may be displayed in an identifiable manner from the time when the object 81 starts to be displayed in the virtual space 80, or may be displayed in an identifiable manner from the time when the distance in the virtual space 80 from the avatar 82 operated by the user to the object 81 falls within a predetermined range. In addition to simply displaying the object, the tactile object may be displayed in an identifiable manner at the timing when the user selects the object in the virtual space 80 by operating a pointing device or the like. When the object is displayed in an identifiable manner at the time of selection, it is not possible to distinguish whether it is a tactile object 81a or a non-tactile object 81b until the user searches for and picks up the desired object, but after selection, the object becomes identifiable before the user tries to experience the tactile sensation, so the user can then try to experience the tactile sensation of the tactile object 81a in anticipation.

この発明にかかる触覚提示システムは、ユーザ認識手段７１として、ユーザが選択したオブジェクトを選択したときに、可触オブジェクト８１ａと不触オブジェクト８１ｂとを、聴覚で認識できる情報の違いを有するように処理してもよい。可触オブジェクト８１ａに近づいていくと特定の音声の出力が強くなり、逆に遠ざかると特定の音声の出力が弱くなって、所定の距離以上離れると聞こえなくなるようにすることが挙げられる。この場合の特定の音声とは警報のような音でもよいし、可触オブジェクト８１ａの声として設定されるような言葉であってもよいし、音楽であってもよい。 The tactile presentation system of the present invention may process the tactile object 81a and the non-tactile object 81b as the user recognition means 71 so that when the user selects an object, they have different information that can be recognized by hearing. For example, the output of a specific sound may become stronger as the user approaches the tactile object 81a, and conversely, the output of the specific sound may become weaker as the user moves away, and the sound may become inaudible when the user moves away from the tactile object 81a by a predetermined distance or more. In this case, the specific sound may be an alarm-like sound, a word that is set as the voice of the tactile object 81a, or music.

また、アバター８２を操作してオブジェクト８１を選択する際に、可触オブジェクト８１ａを選択した場合にのみ触覚提示可能であることを示す音声を再生し、不触オブジェクト８１ｂを選択した場合は、音声を再生しないか又は触覚提示できないことを示す音声を再生するという実施形態でもよい。触覚提示できないことを示す音声としては例えば警告音などが挙げられる。 In another embodiment, when the avatar 82 is operated to select an object 81, a sound indicating that tactile presentation is possible is played only when a tactile object 81a is selected, and when a non-tactile object 81b is selected, no sound is played or a sound indicating that tactile presentation is not possible is played. An example of a sound indicating that tactile presentation is not possible is a warning sound.

この実施形態を実行した場合のイメージ図を図６に示す。例えば可触オブジェクト８１ａがその仮想空間８０における知的存在と設定されているとする。ユーザＵのアバター８２を介して当該可触オブジェクト８１ａを選択したら、所定の色調で光るように画像出力部７０が表示するとともに、入出力装置５４であるヘッドホン７３からは「私に触ってみてよ」などのように接触を促す音声を発生する。ユーザＵは視覚では特定の色調として、聴覚では音声として、当該可触オブジェクト８１ａに触覚データが紐づけられていることを識別できる。ユーザＵは識別できたその可触オブジェクト８１ａの触覚を体感すべく、触覚出力装置１１を操作するか、または自動的に、当該可触オブジェクト８１ａに紐づけられている触覚データによる触覚を触覚出力装置１１により体感する。 Figure 6 shows an image of this embodiment when it is executed. For example, assume that a tactile object 81a is set as an intelligent entity in the virtual space 80. When the tactile object 81a is selected via the user U's avatar 82, the image output unit 70 displays it as shining in a specific color tone, and the headphones 73, which are the input/output device 54, generate a sound encouraging contact, such as "Touch me." The user U can visually identify that tactile data is linked to the tactile object 81a as a specific color tone and audibly identify the sound. The user U operates the tactile output device 11 to experience the tactile sensation of the identified tactile object 81a, or automatically experiences the tactile sensation of the tactile data linked to the tactile object 81a through the tactile output device 11.

上記に示す実施形態では、仮想空間におけるオブジェクト８０とアバター８２の位置を制御装置５１のアプリ６５が管理していたが、この発明に示す触覚提示システムはこれに限定されない。複数のユーザが操作する制御装置５１が、ネットワーク９２を介してサーバ９１に接続し、サーバ９１が仮想空間におけるアバター８２とオブジェクト８１の位置を管理する実施形態でもよい。この場合、ユーザＵは入出力装置５４を介してアバター８２を仮想空間８０内で操作する信号をサーバ９１に送信し、情報を各ユーザの制御装置５１との間で同期する。サーバ９１が管理する仮想空間８０内で可触オブジェクト８１ａと不触オブジェクト８１ｂとを識別可能にしようとする場合、図７に示す実施形態のように、サーバ９１がユーザ認識手段７１を行った上で識別可能である画面表示の情報を制御装置５１に送り、制御装置５１はすでに可触オブジェクト８１ａを識別可能となったその情報をそのままディスプレイ７２やヘッドホン７３などに出力させてもよい。逆に、サーバ９１は位置の管理などの限定的な情報を管理するのみで、アバター８２とオブジェクト８１との位置が所定の条件を満たしたときに、制御装置５１のアプリ６５側でユーザ認識手段７１を実行して、識別可能にさせる視覚上又は聴覚上の効果を認識させてもよい。この場合の構成は図１に示す形態に準じる。 In the embodiment shown above, the app 65 of the control device 51 manages the positions of the object 80 and the avatar 82 in the virtual space, but the tactile presentation system shown in this invention is not limited to this. An embodiment may be used in which the control device 51 operated by multiple users is connected to the server 91 via the network 92, and the server 91 manages the positions of the avatar 82 and the object 81 in the virtual space. In this case, the user U transmits a signal to the server 91 via the input/output device 54 to operate the avatar 82 in the virtual space 80, and the information is synchronized with the control device 51 of each user. When it is intended to make the tactile object 81a and the non-touchable object 81b identifiable in the virtual space 80 managed by the server 91, as in the embodiment shown in FIG. 7, the server 91 performs the user recognition means 71 and then sends identifiable screen display information to the control device 51, and the control device 51 may output the information that has already made the tactile object 81a identifiable to the display 72, headphones 73, etc. Conversely, the server 91 may only manage limited information such as position management, and when the positions of the avatar 82 and the object 81 satisfy a predetermined condition, the application 65 of the control device 51 may execute the user recognition means 71 to recognize a visual or auditory effect that makes the avatar 82 and the object 81 identifiable. The configuration in this case is similar to the form shown in FIG. 1.

この発明にかかる触覚提示システム又は触覚提示方法を実行する処理フローの例を、図８を用いて説明する。まず、ユーザＵがパソコンやゲーム機などである制御装置５１を操作して、アプリ６５を起動し、サーバ９１が提供する仮想空間８０サービスに接続する（Ｓ１０１）。この制御装置５１には、触覚出力装置１１が接続されており、ユーザＵは触覚出力装置１１を装着するなどして、触覚を提示され得る状態である。制御装置５１に接続されたディスプレイ７２に、仮想空間８０が表示される。仮想空間８０内にはユーザＵのアバター８２と、複数のオブジェクト８１とが内包されている（Ｓ１０２）。アバター８２とオブジェクト８１のグラフィックスデータはメディアデータベース６６から読み出される。ユーザＵが入出力装置５４のコントローラからの入力に応じて、アバター８２が移動したり視線が変更されたりすると、仮想空間８０の表示が更新される（Ｓ１０３）。制御装置５１の制御部６１は、更新された仮想空間８０内にあるオブジェクト８１についてチェックを行うユーザ認識手段７１を実行する（Ｓ１０４）。当該オブジェクト８１が、触覚データが登録されたり又は紐づけられたりしていない不触オブジェクト８１ｂであれば（Ｓ１０５→Ｎｏ）、その不触オブジェクト８１ｂを基本的な設定の通りに表示するものとする（Ｓ１０６）。当該オブジェクト８１が、触覚データが登録又は紐づけられている可触オブジェクト８１ａであれば（Ｓ１０５→Ｙｅｓ）、その可触オブジェクト８１ａの周囲を所定の色で発光させるエフェクトを掛けて表示するものとする（Ｓ１０７）。この判定を、表示するすべてのオブジェクト８１について行い（Ｓ１０８→Ｎｏ）、仮想空間８０内において可触オブジェクト８１ａが発光して表示される（Ｓ１０８→Ｙｅｓ，Ｓ１１０）。ユーザＵはディスプレイ７２上で表示される仮想空間８０内で、どのオブジェクト８１が可触オブジェクト８１ａであるかを、発光する光を見ることで識別できる。 An example of a process flow for executing the tactile presentation system or tactile presentation method according to the present invention will be described with reference to FIG. 8. First, the user U operates the control device 51, which is a personal computer or a game machine, to start the application 65 and connect to the virtual space 80 service provided by the server 91 (S101). The tactile output device 11 is connected to this control device 51, and the user U is in a state where tactile sensation can be presented by wearing the tactile output device 11, for example. The virtual space 80 is displayed on the display 72 connected to the control device 51. The virtual space 80 contains the user U's avatar 82 and multiple objects 81 (S102). Graphics data for the avatar 82 and the objects 81 are read from the media database 66. When the user U moves the avatar 82 or changes the line of sight in response to input from the controller of the input/output device 54, the display of the virtual space 80 is updated (S103). The control unit 61 of the control device 51 executes the user recognition means 71 that checks the objects 81 in the updated virtual space 80 (S104). If the object 81 is an intangible object 81b with no tactile data registered or linked (S105→No), the intangible object 81b is displayed according to the basic settings (S106). If the object 81 is a tangible object 81a with no tactile data registered or linked (S105→Yes), the tangible object 81a is displayed with an effect that causes the periphery of the tangible object 81a to emit light in a predetermined color (S107). This determination is performed for all objects 81 to be displayed (S108→No), and the tangible objects 81a are displayed emitting light in the virtual space 80 (S108→Yes, S110). The user U can identify which objects 81 are tangible objects 81a in the virtual space 80 displayed on the display 72 by looking at the emitted light.

ユーザＵがアバター８２を操作して、可触オブジェクト８１ａを選択して触れようとするまでは、このユーザ認識手段７１を実行しての表示が繰り返される（Ｓ１１１→Ｎｏ）。発光により可触オブジェクト８１ａが識別可能となっているので、ユーザＵは触感を体感しようとする可触オブジェクト８１ａを把握した上で移動し、接触可能な位置までアバター８２を移動させることができる。ユーザＵは接触可能な位置まで近づいたら、アバター８２を操作して、可触オブジェクト８１ａを選択して触れようとする（Ｓ１１１→Ｙｅｓ）。この触れようとする意思をアプリ６５が判定する挙動としては、例えばアバター８２が選択可能な範囲まで近づいたことを条件としてもよいし、アバター８２の腕を伸ばして仮想空間８０上で実際に触れる位置関係となったことを条件としてもよいし、カーソルや視点表示などで可触オブジェクト８１ａをユーザが選択（ターゲット）したことを条件としてもよい。 The display by executing this user recognition means 71 is repeated until the user U operates the avatar 82 to select and touch the tactile object 81a (S111→No). Since the tactile object 81a is identifiable by light emission, the user U can move after grasping the tactile object 81a to be touched, and move the avatar 82 to a contactable position. When the user U approaches a contactable position, the user operates the avatar 82 to select and touch the tactile object 81a (S111→Yes). The behavior by which the app 65 judges the intention to touch may be, for example, that the avatar 82 approaches within a selectable range, that the avatar 82's arms are stretched out to be in a position where it can actually be touched in the virtual space 80, or that the user selects (targets) the tactile object 81a with a cursor or viewpoint display.

いずれの条件でも、ユーザＵが可触オブジェクト８１ａに接触しようとすると判定されたら、制御部６１はその可触オブジェクト８１ａに登録又は紐づけられた触覚データを触覚データベース６７から読み出し（Ｓ１１２）、触覚信号送信部６４から通信部６３へ送る（Ｓ１１３）。通信部２６を介して触覚データを受け取った触覚出力装置１１は、その触覚データに従って触覚出力デバイス１４への出力を制御する（Ｓ１１４）。これにより、ユーザＵはアバター８２として仮想空間８０内で接触している当該可触オブジェクト８１ａに設定された触覚を提示される。 Regardless of the conditions, when it is determined that the user U is attempting to touch the tactile object 81a, the control unit 61 reads out the tactile data registered or linked to that tactile object 81a from the tactile database 67 (S112), and sends it from the tactile signal transmission unit 64 to the communication unit 63 (S113). The tactile output device 11, which receives the tactile data via the communication unit 26, controls the output to the tactile output device 14 in accordance with the tactile data (S114). As a result, the user U is presented with the tactile sensation set for the tactile object 81a that he or she is touching in the virtual space 80 as the avatar 82.

また、フロー上は現れないが、発光により可触オブジェクト８１ａと不触オブジェクト８１ｂとが触れる必要なくディスプレイ７２を見ているだけで識別できるので、ユーザＵは触覚を体感しようとして、誤って不触オブジェクト８１ｂを選択して、触覚データが読み出されずに空振りに終わるという事態を防止できる。 In addition, although it is not shown in the flow, the tactile object 81a and the non-touchable object 81b can be distinguished by simply looking at the display 72 without the need to touch them due to the light emitted, so it is possible to prevent a situation in which the user U tries to experience touch and mistakenly selects the non-touchable object 81b, resulting in a miss without the tactile data being read out.

１０触覚提示システム
１１触覚出力装置
１４触覚出力デバイス
１６センサ
２０出力装置制御部
２１触覚制御部
２２データ記憶部
２５電源
２６通信部
３１ケーシング
３２円板
３４ヨーク
３５ヨーク
３７コイル
３８磁気粘性流体
３９軸受
４０基部
４１回転軸
４２パーツ
４３支点部
４４第一リンク材
４５第二リンク材
４６ピン
５１制御装置
５４入出力装置
６１制御部
６２記憶部
６３通信部
６４触覚信号送信部
６５アプリ
６６メディアデータベース
６７触覚データベース
６９ネットワークインターフェース
７０画像出力部
７１ユーザ認識手段
７２ディスプレイ
７３ヘッドホン
８０仮想空間
８１オブジェクト
８１ａ可触オブジェクト
８１ｂ不触オブジェクト
８２アバター
８３ウインドウ
９１サーバ
９２ネットワーク
Ｕユーザ 10 Tactile presentation system 11 Tactile output device 14 Tactile output device 16 Sensor 20 Output device control unit 21 Tactile control unit 22 Data storage unit 25 Power supply 26 Communication unit 31 Casing 32 Disk 34 Yoke 35 Yoke 37 Coil 38 Magnetorheological fluid 39 Bearing 40 Base 41 Rotating shaft 42 Part 43 Support 44 First link member 45 Second link member 46 Pin 51 Control device 54 Input/output device 61 Control unit 62 Memory unit 63 Communication unit 64 Tactile signal transmission unit 65 Application 66 Media database 67 Tactile database 69 Network interface 70 Image output unit 71 User recognition means 72 Display 73 Headphones 80 Virtual space 81 Object 81a Tactile object 81b Non-touchable object 82 Avatar 83 Window 91 Server 92 Network U User

Claims

An image output unit that outputs a virtual space to a display,
It is connected to a haptic output device that allows the user to experience haptics,
A tactile presentation system capable of executing a user recognition means for displaying objects in the virtual space and enabling a user to identify tactile objects with which the user can experience a sense of touch via the tactile output device, or non-tactile objects with which the user cannot experience a sense of touch.

The tactile presentation system according to claim 1, wherein the user recognition means displays visually recognizable information.

The tactile presentation system according to claim 1, wherein the user recognition means outputs information that can be audibly recognized when the user selects an object.

A server and a control device operated by a user,
The server manages the positions of objects in a virtual space and an avatar of a user who operates the control device;
the control device has the image output unit and the haptic output device,
The tactile presentation system according to claim 1 , wherein the control device executes the user recognition means in accordance with information received from the server.

A method for outputting a virtual space to a display and allowing a user to experience a haptic sensation of touching a part of a displayed object by a haptic output device, comprising:
A step of allowing a user to identify tactile objects that are set so that the user can experience a tactile sense or non-tactile objects that are set so that the user cannot experience a tactile sense among the objects displayed in the virtual space;
When the user's avatar selects and touches the tactile object, a haptic sensation set for the tactile object is presented by the haptic output device;
A tactile presentation method for performing the above.

A program for causing a computer having the image output unit and connected to the haptic output device to operate as the haptic presentation system according to any one of claims 1 to 3 and to execute the user recognition means.