[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2021047756A - Device, method, and program for delivering haptic vibration - Google Patents

Device, method, and program for delivering haptic vibration Download PDF

Info

Publication number
JP2021047756A
JP2021047756A JP2019171071A JP2019171071A JP2021047756A JP 2021047756 A JP2021047756 A JP 2021047756A JP 2019171071 A JP2019171071 A JP 2019171071A JP 2019171071 A JP2019171071 A JP 2019171071A JP 2021047756 A JP2021047756 A JP 2021047756A
Authority
JP
Japan
Prior art keywords
vibration
channel
vibration signal
signal
onomatope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019171071A
Other languages
Japanese (ja)
Other versions
JP7171530B2 (en
Inventor
優 鎌本
Masaru Kamamoto
優 鎌本
淳司 渡邊
Junji Watanabe
淳司 渡邊
孝太 南澤
Kouta Minamizawa
孝太 南澤
開 中村
Kai Nakamura
開 中村
大弥 加藤
Hiroya Kato
大弥 加藤
誠 鵜重
Makoto Ushige
誠 鵜重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Keio University
Original Assignee
Nippon Telegraph and Telephone Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Keio University filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019171071A priority Critical patent/JP7171530B2/en
Publication of JP2021047756A publication Critical patent/JP2021047756A/en
Application granted granted Critical
Publication of JP7171530B2 publication Critical patent/JP7171530B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To allow for reducing uneasiness even when the number of channels is different between a delivery source terminal and a delivery destination terminal.SOLUTION: A haptic vibration delivery device of the present invention comprises a channel number detection unit, an output signal generator unit, and a storage unit. The channel number detection unit detects the number N of channels of a delivery destination terminal. The output signal generator unit converts a vibration signal, a signal related to vibration for M channels associated with onomatopoeia information, into a vibration signal for N channels using the onomatopoeia information. The storage unit stores the vibration signal associated with the onomatopoeia information.SELECTED DRAWING: Figure 1

Description

本発明は、触覚として感じる振動を配信する触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラムに関する。 The present invention relates to a tactile vibration distribution device, a tactile vibration distribution method, and a tactile vibration distribution program that distributes vibrations felt as tactile sensations.

触覚として感じる振動を配信する技術として、非特許文献１に記載された技術が知られている。非特許文献１では、触覚情報を伝送するプラットホーム、身体や有体物の触覚情報の入出力のためのゲートウェイとして機能する物理ネットワークノードが示されている。 The technique described in Non-Patent Document 1 is known as a technique for delivering vibration felt as a tactile sensation. Non-Patent Document 1 discloses a platform for transmitting tactile information and a physical network node that functions as a gateway for input / output of tactile information of a body or a tangible object.

松園敏志、南澤孝太、“HaptI/O:IP伝送技術を用いた触覚伝送ノードの開発”，慶應義塾大学修士論文、2018.03.Toshishi Matsuzono, Kota Minamizawa, “Hapt I / O: Development of Tactile Transmission Node Using IP Transmission Technology”, Keio University Master's Thesis, 2018.03.

触覚振動信号を取得するデバイス（配信元端末）と呈示するデバイス（配信先端末）が一つの対であれば触覚振動信号を用いたコンテンツを楽しむことができる。しかし、取得デバイス（配信元端末）と呈示デバイス（配信先端末）が異なる場合には、一部のデータが消失したり劣化したりする可能性があった。例えば、取得デバイスが１チャネルであり、呈示デバイスが２チャネルの場合には、呈示デバイスの片方からしか信号が出力されない、もしくは呈示デバイスの両方から同じ信号が出力されるということになっていた。逆に、取得デバイスが２チャネルで、呈示デバイスが１チャネルの場合には、取得デバイスの片方のチャネルしか出力されない、もしくは両方のチャネルの和が出力されるという状況であった。 If the device that acquires the tactile vibration signal (delivery source terminal) and the device that presents it (delivery destination terminal) are paired, the content using the tactile vibration signal can be enjoyed. However, if the acquisition device (delivery source terminal) and the presentation device (delivery destination terminal) are different, some data may be lost or deteriorated. For example, when the acquisition device has one channel and the presentation device has two channels, the signal is output from only one of the presentation devices, or the same signal is output from both of the presentation devices. On the contrary, when the acquisition device has two channels and the presentation device has one channel, only one channel of the acquisition device is output, or the sum of both channels is output.

本発明は、配信元端末と配信先端末のチャネル数が異なる場合でも違和感を低減することを目的とする。 An object of the present invention is to reduce discomfort even when the number of channels of the distribution source terminal and the distribution destination terminal are different.

本発明の触覚振動配信装置は、少なくともチャネル数検出部と出力信号生成部を備える。チャネル数検出部は、配信先端末のチャネル数Ｎを検出する。出力信号生成部は、オノマトペ情報が関連付けられたチャネル数Ｍの振動に関する信号である振動信号を、オノマトペ情報を利用してＮチャネルの振動信号に変換する。ここで、ＭとＮは１以上の整数である。 The tactile vibration distribution device of the present invention includes at least a channel number detection unit and an output signal generation unit. The channel number detection unit detects the channel number N of the distribution destination terminal. The output signal generation unit converts a vibration signal, which is a signal related to vibration of the number of channels M associated with the onomatope information, into an N-channel vibration signal using the onomatope information. Here, M and N are integers of 1 or more.

本発明の触覚振動配信装置によれば、オノマトペ情報を利用してＮチャネルの振動信号に変換するので、人の感覚に整合しやすいように信号を選択できる。よって、違和感を低減できる。 According to the tactile vibration distribution device of the present invention, since the onomatope information is used to convert into an N-channel vibration signal, the signal can be selected so as to easily match the human senses. Therefore, the feeling of strangeness can be reduced.

触覚振動配信システムの機能構成例を示す図。The figure which shows the functional configuration example of the tactile vibration distribution system. 触覚振動配信システムの処理フローの例を示す図。The figure which shows the example of the processing flow of the tactile vibration distribution system. 振動信号にオノマトペ情報を関連付けたイメージを示す図。The figure which shows the image which associated the onomatope information with the vibration signal. 記憶部１９０が記憶している振動信号の例を示す図。The figure which shows the example of the vibration signal which the storage part 190 stores. 配信する振動信号のイメージを示す図。The figure which shows the image of the vibration signal to be delivered. コンピュータの構成例を示す図。The figure which shows the configuration example of a computer.

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. The components having the same function are given the same number, and duplicate explanations will be omitted.

本明細書内では、Ｄ，Ｍ，Ｎは１以上の整数、Ｋはフレーム長を示す整数、ｄは１以上Ｄ以下の整数、ｍは１以上Ｍ以下の整数、ｎは１以上Ｎ以下の整数、ｋは１以上Ｋ以下の整数、Ｎ＿１，…，Ｎ＿Ｄは１以上の整数、ｎ＿ｄは１以上Ｎ＿ｄ以下の整数とする。 In the present specification, D, M, N are integers of 1 or more, K is an integer indicating the frame length, d is an integer of 1 or more and D or less, m is an integer of 1 or more and M or less, and n is 1 or more and N or less. An integer, k is an integer of 1 or more and K or less, N_1, ..., N_D is an integer of 1 or more, and n_d is an integer of 1 or more and N_d or less.

図１に触覚振動配信システムの機能構成例を、図２に触覚振動配信システムの処理フローの例を示す。触覚振動配信システム１０は、触覚振動配信装置１００、配信元端末２００、配信先端末３００＿１，…，３００＿Ｄで構成される。配信元端末２００、配信先端末３００＿１，…，３００＿Ｄは、スマートフォンのような通信用の端末だけでなく、クッション、ぬいぐるみ、ペンライトなどの人が持ったり触ったりする物に通信機能と触覚振動を伝えるデバイス（センサ、バイブレータなど）を取り付けた物でもよい。 FIG. 1 shows an example of the functional configuration of the tactile vibration distribution system, and FIG. 2 shows an example of the processing flow of the tactile vibration distribution system. The tactile vibration distribution system 10 is composed of a tactile vibration distribution device 100, a distribution source terminal 200, a distribution destination terminal 300_1, ..., 300_D. The distribution source terminal 200, distribution destination terminal 300_1, ..., 300_D provide communication functions and tactile vibration not only to communication terminals such as smartphones, but also to cushions, stuffed animals, penlights, and other objects that people hold or touch. It may be equipped with a transmitting device (sensor, vibrator, etc.).

配信元端末２００は、少なくとも取得部２１０を備える。取得部２１０は、触覚振動を検出する触覚振動センサなどを使い、振動に関する信号である振動信号を取得し、出力する（Ｓ２１０）。振動信号のチャネル数はＭであり、フレーム長はＫである。ｍ番目のチャネルの振動信号を、ｘｍ（１），…，ｘｍ（ｋ），…，ｘｍ（Ｋ）とする。振動信号は、例えば４８ｋＨｚでサンプリングし、フレーム長Ｋを４８００（つまり、０．１秒分）などにすればよい。 The distribution source terminal 200 includes at least an acquisition unit 210. The acquisition unit 210 acquires and outputs a vibration signal, which is a signal related to vibration, by using a tactile vibration sensor or the like that detects tactile vibration (S210). The number of channels of the vibration signal is M, and the frame length is K. Let the vibration signal of the m-th channel be x m (1), ..., X m (k), ..., X m (K). The vibration signal may be sampled at 48 kHz, for example, and the frame length K may be set to 4800 (that is, 0.1 second) or the like.

配信元端末２００がオノマトペ付与部２２０を備えるか、触覚振動配信装置１００がオノマトペ付与部１２０を備える。オノマトペ付与部２２０，１２０は、取得部２１０が取得した振動信号、または、振動信号と振動信号を取得した時の音響信号を入力とし、振動信号に対するオノマトペ（テキスト情報）を取得または生成し、オノマトペを示す情報であるオノマトペ情報を振動信号と関連付けて出力する（Ｓ２２０，Ｓ１２０）。オノマトペは、人が配信元端末２００または他の端末に入力することで取得し、オノマトペ付与部２２０またはオノマトペ付与部１２０が、振動信号にオノマトペ情報を関連付けてもよい。もしくは、触覚振動(振動信号)を取得した時の音響信号または触覚振動自体から、単発音（または半発音分の振動）を切り出し、音素を決定して、擬音語を生成し、複数音節分を統合することでオノマトペを自動生成してもよい。自動生成には、例えば参考文献１（石原一志, 服部佑哉, 中谷智広, 尾形哲也, 奥乃博, "環境音の擬音語変換における音素決定曖昧性の解消", 情報処理学会 第66回全国大会, 3Y-5, Mar. 2004.）の技術を利用すればよい。上述の振動信号のフレーム長Ｋは、振動信号から単発音、あるいは、単発音２，３個（単発音「トン」が２個分で「トントン」）に相当する信号が切り出される長さに設定することが望ましい。図３に、振動信号にオノマトペ情報を関連付けたイメージを示す。なお、振動信号に対して２つ以上のオノマトペを対応させた情報をオノマトペ情報としてもよい。例えば、チャネルによってオノマトペを変えてもよい。 The distribution source terminal 200 includes an onomatope giving unit 220, or the tactile vibration distribution device 100 includes an onomatope giving unit 120. The onomatope giving units 220 and 120 receive the vibration signal acquired by the acquisition unit 210 or the vibration signal and the acoustic signal at the time of acquiring the vibration signal as input, and acquire or generate the onomatope (text information) for the vibration signal to obtain or generate the onomatope. Onomatope information, which is information indicating the above, is output in association with the vibration signal (S220, S120). The onomatope may be acquired by a person inputting it to the distribution source terminal 200 or another terminal, and the onomatope giving unit 220 or the onomatope giving unit 120 may associate the onomatope information with the vibration signal. Alternatively, a single sound (or half-pronounced vibration) is cut out from the acoustic signal or the tactile vibration itself when the tactile vibration (vibration signal) is acquired, the phoneme is determined, an onomatopoeia is generated, and multiple syllables are generated. Onomatope may be automatically generated by integrating. For automatic generation, for example, Reference 1 (Kazushi Ishihara, Yuya Hattori, Tomohiro Nakatani, Tetsuya Ogata, Hiroshi Okuno, "Resolving ambiguity in phoneme determination in onomatopoeic conversion of environmental sounds", IPSJ 66th National Convention, 3Y-5, Mar. 2004.) can be used. The frame length K of the above-mentioned vibration signal is set to a length at which a signal corresponding to a single sound or a few single sounds (two single sounds "ton" is "ton ton") is cut out from the vibration signal. It is desirable to do. FIG. 3 shows an image in which the onomatope information is associated with the vibration signal. The information in which two or more onomatopes are associated with the vibration signal may be used as onomatope information. For example, the onomatope may be changed depending on the channel.

オノマトペ付与部２２０がオノマトペ情報を関連付ける場合は、配信元端末２００から触覚振動配信装置１００に、オノマトペ付与部２２０が出力するオノマトペ情報が関連付けられたＭチャネルの振動信号が送信される。オノマトペ付与部１２０がオノマトペ情報を関連付ける場合は、例えば、Ｍチャネルの振動信号と人が入力したオノマトペ、もしくは、Ｍチャネルの振動信号と音響信号が配信元端末２００から触覚振動配信装置１００に送信される。 When the onomatope giving unit 220 associates the onomatope information, the distribution source terminal 200 transmits the vibration signal of the M channel associated with the onomatope information output by the onomatope giving unit 220 to the tactile vibration distribution device 100. When the onomatope giving unit 120 associates the onomatope information, for example, the vibration signal of the M channel and the onomatope input by a person, or the vibration signal and the acoustic signal of the M channel are transmitted from the distribution source terminal 200 to the tactile vibration distribution device 100. To.

オノマトペ付与部１２０またはオノマトペ付与部２２０から出力される、オノマトペ情報が関連付けられた振動信号は、チャネル数Ｍとともに記憶部１９０に入力され、記憶部１９０に記憶されるようにしてもよい。 The vibration signal associated with the onomatope information output from the onomatope giving unit 120 or the onomatope giving unit 220 may be input to the storage unit 190 together with the number of channels M and stored in the storage unit 190.

触覚振動配信装置１００は、チャネル数検出部１３０と出力信号生成部１６０と記憶部１９０を備える。チャネル数検出部１３０は、配信先端末のチャネル数Ｎを取得し、出力する（Ｓ１３０）。配信先端末が１つの場合は、１つのチャネル数Ｎ＿１を検出すればよい。図１に示しているように配信先端末３００＿１，…，３００＿Ｄの全てに配信するときは、各配信先端末３００＿ｄそれぞれの（Ｄ個の）チャネル数Ｎ＿１，…，Ｎ＿Ｄを検出する。また、配信先端末３００＿ｄから配信依頼があったときに振動信号を配信する場合は、配信先端末３００＿ｄからの配信依頼にチャネル数Ｎ＿ｄの情報も含めておき、チャネル数検出部１３０は、受信した配信依頼からチャネル数Ｎ＿ｄを取得してもよい。 The tactile vibration distribution device 100 includes a channel number detection unit 130, an output signal generation unit 160, and a storage unit 190. The channel number detection unit 130 acquires and outputs the channel number N of the distribution destination terminal (S130). When there is one delivery destination terminal, one channel number N_1 may be detected. As shown in FIG. 1, when delivering to all of the delivery destination terminals 300_1, ..., 300_D, the number of (D) channels N_1, ..., N_D of each delivery destination terminal 300_d is detected. When the vibration signal is distributed when the distribution destination terminal 300_d receives a distribution request, the distribution request from the distribution destination terminal 300_d includes the information of the number of channels N_d, and the channel number detection unit 130 receives the signal. The number of channels N_d may be obtained from the distribution request.

出力信号生成部１６０は、配信先端末のチャネル数（Ｎ＿１，…，Ｎ＿Ｄ）、オノマトペ情報が関連付けられたＭチャネルの振動信号を入力として、配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。出力信号生成部１６０は、オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄが同じであれば、入力されたオノマトペ情報が関連付けられたＭチャネルの振動信号を、そのまま配信先端末３００＿ｄへのＮ＿ｄチャネルの振動信号とする。オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄが異なる場合には、出力信号生成部１６０は、オノマトペ情報が関連付けられた振動信号のチャネル数Ｍと配信先端末３００＿ｄのチャネル数Ｎ＿ｄの大小を比較し、チャネル数の差分を考慮して、オノマトペ情報が関連付けられたＭチャネルの振動信号を、オノマトペ情報を利用してＮチャネルの振動信号に変換する（Ｓ１６０）。記憶部１９０は、オノマトペ情報が関連付いた振動信号を記憶している。図４は、記憶部１９０が記憶している振動信号の例である。この例では、振動信号は、オノマトペ情報だけでなくチャネル数（ｃｈ数）、リズム（ＢＰＭ：Beat par Minute）、パワーも関連付けて記憶されている。チャネル数、リズム、パワーは、適宜関連付ければよい。なお、本実施例では、リズム、パワーを用いる例は示さないが、後述の変形例に示す。 The output signal generation unit 160 receives the vibration signal of the M channel associated with the number of channels (N_1, ..., N_D) of the delivery destination terminal and the onomatope information as input, and transmits the vibration signal of the M channel to the delivery destination terminal 300_1, ..., 300_D. The vibration signal of the channel, ..., The vibration signal of the N_D channel is generated and output. If the number of channels M of the vibration signal associated with the onomatope information and the number of channels N_d of the delivery destination terminal 300_d are the same, the output signal generation unit 160 generates the vibration signal of the M channel associated with the input onomatope information. The vibration signal of the N_d channel to the delivery destination terminal 300_d is used as it is. When the number of channels M of the vibration signal associated with the onomatope information and the number of channels N_d of the delivery destination terminal 300_d are different, the output signal generation unit 160 has the number of channels M of the vibration signal associated with the onomatope information and the delivery destination terminal. The magnitude of the number of channels N_d of 300_d is compared, the difference in the number of channels is taken into consideration, and the vibration signal of the M channel associated with the onomatope information is converted into the vibration signal of the N channel using the onomatope information (S160). .. The storage unit 190 stores the vibration signal associated with the onomatope information. FIG. 4 is an example of the vibration signal stored in the storage unit 190. In this example, the vibration signal is stored not only with the onomatope information but also with the number of channels (number of channels), rhythm (BPM: Beat par Minute), and power. The number of channels, rhythm, and power may be appropriately related. In this embodiment, an example using rhythm and power is not shown, but a modified example described later will be shown.

この段落と次の段落では、配信先端末３００のチャネル数をＮとして説明する。まず、Ｎ＞Ｍの場合の例を示す。出力信号生成部１６０は、入力されたオノマトペ情報が関連付けられたチャネル数Ｍの振動信号を、そのまま配信先端末のチャネル数Ｎの信号のうちのＭチャネル分の信号とした上で、Ｎ−Ｍチャネル分の信号を次のように生成する。出力信号生成部１６０は、Ｍチャネルの振動信号に関連付けられたオノマトペ情報と同じオノマトペ情報が関連付けられた振動信号を記憶部１９０から取得する。そして、記憶部１９０から取得した振動信号も用いてＮチャネルの振動信号を生成する。例えば、Ｎ−Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得すればよい。出力信号生成部１６０は、Ｍチャネルの振動信号と記憶部１９０から取得したＮ−Ｍチャネルの振動信号を、そのままＮチャネルに割り当ててもよいし、重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当ててもよい。記憶部１９０にＮ−Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号がＮ−Ｍチャネル分以上に記録されている場合、あらかじめ記憶部１９０の振動信号に優先度を付与しておき、優先度の高い振動信号を優先して取得してもよいし、記憶部１９０に新しく記憶された振動信号から優先して取得してもよい。 In this paragraph and the next paragraph, the number of channels of the delivery destination terminal 300 will be described as N. First, an example in the case of N> M is shown. The output signal generation unit 160 uses the vibration signal of the number of channels M associated with the input onomatope information as it is as a signal for M channels among the signals of the number of channels N of the distribution destination terminal, and then N—M. The signal for the channel is generated as follows. The output signal generation unit 160 acquires a vibration signal associated with the same onomatope information as the onomatope information associated with the vibration signal of the M channel from the storage unit 190. Then, the vibration signal of the N channel is generated by using the vibration signal acquired from the storage unit 190. For example, a vibration signal associated with the same onomatope information for the NM channel may be acquired from the storage unit 190. The output signal generation unit 160 may assign the vibration signal of the M channel and the vibration signal of the NM channel acquired from the storage unit 190 to the N channel as they are, or the weighted addition result is assigned to each channel of the N channel. May be assigned. When the vibration signal associated with the same onomatope information for the NM channel is recorded in the storage unit 190 for the NM channel or more, the vibration signal of the storage unit 190 is given priority in advance. The vibration signal having a high priority may be preferentially acquired, or the vibration signal newly stored in the storage unit 190 may be preferentially acquired.

次に、Ｎ＜Ｍの場合の例を示す。出力信号生成部１６０は、配信元端末２００から受信したＭチャネルの振動信号を重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当てればよい。また、記憶部１９０にオノマトペの優先度を記憶しておき、優先度に依存した重み付けを行ってもよい。例えば、Ｍチャネルの振動信号にチャネルによって異なるオノマトペが関連付けられている場合、優先度の高いオノマトペが関連付けられているチャネルの振動信号の重みを重くして、重み付け加算を行えばよい。出力信号生成部１６０は、配信元端末２００から受信したＭチャネルの振動信号からランダムに、または、優先度の高いオノマトペが関連付けられているチャネルの振動信号からＮチャネル分を選択して、それぞれのチャネルに割り当ててもよい。 Next, an example in the case of N <M is shown. The output signal generation unit 160 may assign the result of weighting and addition of the vibration signals of the M channel received from the distribution source terminal 200 to each channel of the N channel. Further, the priority of the onomatope may be stored in the storage unit 190, and weighting depending on the priority may be performed. For example, when a different onomatope is associated with the vibration signal of the M channel depending on the channel, the weight of the vibration signal of the channel to which the high-priority onomatope is associated may be increased and weighted addition may be performed. The output signal generation unit 160 randomly selects from the vibration signals of the M channel received from the distribution source terminal 200, or selects N channels from the vibration signals of the channel associated with the high-priority onomatope, and each of them. It may be assigned to a channel.

配信先端末３００＿１，…，３００＿Ｄのそれぞれに振動信号を配信する場合は、出力信号生成部１６０は、それぞれの配信先端末のチャネル数に適合する振動信号を生成する。触覚振動配信装置１００は、配信先端末３００＿１，…，３００＿Ｄに出力信号生成部１６０が生成した振動信号を配信する。なお、出力信号生成部１６０から出力される信号は、チャネル数Ｎ＿ｄのオノマトペ情報が関連付けられた振動信号として記憶部１９０に追加で記憶するようにしてもよい。図５に、配信する振動信号のイメージを示す。 When delivering a vibration signal to each of the delivery destination terminals 300_1, ..., 300_D, the output signal generation unit 160 generates a vibration signal matching the number of channels of each delivery destination terminal. The tactile vibration distribution device 100 distributes the vibration signal generated by the output signal generation unit 160 to the distribution destination terminals 300_1, ..., 300_D. The signal output from the output signal generation unit 160 may be additionally stored in the storage unit 190 as a vibration signal associated with the onomatope information of the number of channels N_d. FIG. 5 shows an image of the vibration signal to be distributed.

配信先端末３００＿１，…，３００＿Ｄは、呈示部３７０＿１，…，３７０＿Ｄを備えている。呈示部３７０＿ｄは受信した振動信号を入力とし、振動信号に従って、バイブレーションなどによって振動をユーザに伝える。 The delivery destination terminals 300_1, ..., 300_D include presentation units 370_1, ..., 370_D. The presentation unit 370_d receives the received vibration signal as an input, and transmits the vibration to the user by vibration or the like according to the vibration signal.

本発明の触覚振動配信装置によれば、オノマトペ情報を利用してＮチャネルの振動信号に変換するので、人の感覚に整合しやすいように信号を選択できる。よって、違和感を低減できる。 According to the tactile vibration distribution device of the present invention, since the onomatope information is used to convert into an N-channel vibration signal, the signal can be selected so as to easily match the human senses. Therefore, the feeling of strangeness can be reduced.

［変形例１］
触覚振動配信装置１００は、さらにリズム検出部１４０も備えてもよい。この場合、リズム検出部１４０は、Ｍチャネルの振動信号を入力とし、Ｍチャネルの振動信号のリズムを検出し、出力する（Ｓ１４０）。 [Modification 1]
The tactile vibration distribution device 100 may also include a rhythm detection unit 140. In this case, the rhythm detection unit 140 receives the vibration signal of the M channel as an input, detects the rhythm of the vibration signal of the M channel, and outputs the rhythm (S140).

出力信号生成部１６０は、リズムも入力とし、リズムに基づいて配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。具体的には、出力信号生成部１６０は、例えば、Ｎ＞Ｍの場合、リズムが近い振動信号の優先度を高くして、記憶部１９０から振動信号を取得すればよい。あるいは、出力信号生成部１６０は、Ｎ−Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得し、Ｍチャネルの振動信号と記憶部１９０から取得したＮ−Ｍチャネルの振動信号を、リズムが近い振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてＮチャネルのそれぞれのチャネルに割り当ててもよい。逆に、Ｎ≦Ｍの場合には、リズムが近い振動信号の優先度が高くなるように振動信号を生成してもよい。例えば、Ｎ≦Ｍの場合には、出力信号生成部１６０は、Ｍチャネルの振動信号を、リズムが近く優先度の高い振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてもよい。 The output signal generation unit 160 also takes a rhythm as an input, and generates and outputs an N_1 channel vibration signal, ..., N_D channel vibration signal for transmission to the delivery destination terminals 300_1, ..., 300_D based on the rhythm. Specifically, for example, when N> M, the output signal generation unit 160 may obtain the vibration signal from the storage unit 190 by increasing the priority of the vibration signal having a close rhythm. Alternatively, the output signal generation unit 160 acquires a vibration signal associated with the same onomatope information for the NM channel from the storage unit 190, and acquires the vibration signal of the M channel and the NM channel acquired from the storage unit 190. The result of weighting and adding the vibration signal with a heavier weight as the vibration signal having a closer rhythm may be assigned to each channel of the N channel as the vibration signal of the N channel. On the contrary, when N ≦ M, the vibration signal may be generated so that the priority of the vibration signal having a close rhythm is high. For example, in the case of N ≦ M, the output signal generation unit 160 adds the weight of the vibration signal of the M channel to the vibration signal of the N channel with a heavier weight as the vibration signal has a closer rhythm and a higher priority. May be.

本変形例の触覚振動配信装置によれば、実施例１よりもさらに類似の振動信号を使用できるので、さらに違和感を低減できる。 According to the tactile vibration distribution device of the present modification, a vibration signal similar to that of the first embodiment can be used, so that the feeling of discomfort can be further reduced.

［変形例２］
実施例１の触覚振動配信装置１００に、さらにパワー検出部１５０も備えてもよいし、変形例１の触覚振動配信装置１００に、さらにパワー検出部１５０も備えてもよい。この場合、パワー検出部１５０は、Ｍチャネルの振動信号を入力とし、Ｍチャネルの振動信号のチャネルごとのパワーを検出して出力する（Ｓ１５０）。検出する「パワー」は、振動信号の最大値ｍａｘ｛ｘｍ（１），…，ｘｍ（ｋ），…，ｘｍ（Ｋ）｝としてもよいし、振動信号の平均値（ｘｍ（１）＋…＋ｘｍ（ｋ）＋…＋ｘｍ（Ｋ））／Ｋとしてもよい。 [Modification 2]
The tactile vibration distribution device 100 of the first embodiment may further include a power detection unit 150, and the tactile vibration distribution device 100 of the first modification may further include a power detection unit 150. In this case, the power detection unit 150 receives the vibration signal of the M channel as an input, detects and outputs the power of the vibration signal of the M channel for each channel (S150). The "power" to be detected may be the maximum value max {x m (1), ..., X m (k), ..., x m (K)} of the vibration signal, or the average value of the vibration signal (x m (x m (k)). 1) + ... + x m (k) + ... + x m (K)) / K may be used.

出力信号生成部１６０は、パワーも入力とし、パワーに基づいて配信先端末３００＿１，…，３００＿Ｄへ送信するためのＮ＿１チャネルの振動信号，…，Ｎ＿Ｄチャネルの振動信号を生成し、出力する。具体的には、例えば、Ｎ＞Ｍの場合、出力信号生成部１６０は、Ｍチャネルの平均のパワーを求め、平均のパワーに近い平均パワーの振動信号を優先して記憶部１９０から取出してもよい。あるいは、出力信号生成部１６０は、Ｎ−Ｍチャネル分の同じオノマトペ情報が関連付けられている振動信号を記憶部１９０から取得し、Ｍチャネルの平均のパワーに近い平均パワーの振動信号の優先度を高くして、Ｍチャネルの振動信号と記憶部１９０から取得したＮ−Ｍチャネルの振動信号を、優先度の高い振動信号ほど重みを重くして、重み付け加算した結果をＮチャネルのそれぞれのチャネルに割り当ててもよい。また、例えば、Ｎ≦Ｍの場合、パワー検出部１５０が振動信号のＭチャネルのチャネルごとのパワーを検出し、出力信号生成部１６０が、Ｍチャネルの振動信号を、パワーが大きい振動信号ほど重みを重くして重み付け加算した結果を、Ｎチャネルの振動信号としてもよい。 The output signal generation unit 160 also takes power as an input, and generates and outputs an N_1 channel vibration signal, ..., N_D channel vibration signal for transmission to the distribution destination terminals 300_1, ..., 300_D based on the power. Specifically, for example, when N> M, the output signal generation unit 160 obtains the average power of the M channel, and even if the vibration signal having the average power close to the average power is preferentially taken out from the storage unit 190. Good. Alternatively, the output signal generation unit 160 acquires a vibration signal associated with the same onomatope information for the NM channel from the storage unit 190, and prioritizes the vibration signal having an average power close to the average power of the M channel. The weight is increased so that the vibration signal of the M channel and the vibration signal of the NM channel acquired from the storage unit 190 are weighted as the vibration signal has a higher priority, and the result of weighting addition is added to each channel of the N channel. May be assigned. Further, for example, when N ≦ M, the power detection unit 150 detects the power of each channel of the M channel of the vibration signal, and the output signal generation unit 160 weights the vibration signal of the M channel as the power of the vibration signal increases. The result of weighting and addition may be used as an N-channel vibration signal.

本変形例の触覚振動配信装置によれば、実施例１よりもさらに類似の振動信号を使用できるので、さらに違和感を低減できる。 According to the tactile vibration distribution device of the present modification, a vibration signal similar to that of the first embodiment can be used, so that the feeling of discomfort can be further reduced.

［プログラム、記録媒体］
上述の各種の処理は、図６に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。 [Program, recording medium]
In the above-mentioned various processes, the recording unit 2020 of the computer 2000 shown in FIG. 6 is made to read a program for executing each step of the above method, and the control unit 2010, the input unit 2030, the output unit 2040, the display unit 2050, and the like operate. It can be carried out by letting it.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing the processing content can be recorded on a computer-readable recording medium. The computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 Further, the distribution of this program is performed, for example, by selling, transferring, renting, or the like a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。 A computer that executes such a program first, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. The program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Further, in this embodiment, the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

１００ 触覚振動配信装置 １２０，２２０ オノマトペ付与部
１３０ チャネル数検出部 １４０ リズム検出部
１５０ パワー検出部 １６０ 出力信号生成部
１９０ 記憶部 ２００ 配信元端末
２１０ 取得部 ３００ 配信先端末
３７０ 呈示部 100 Tactile vibration distribution device 120, 220 Onomatope granting unit 130 Number of channels detection unit 140 Rhythm detection unit 150 Power detection unit 160 Output signal generation unit 190 Storage unit 200 Distribution source terminal 210 Acquisition unit 300 Distribution destination terminal 370 Presentation unit

Claims (8)

ＭとＮを１以上の整数とし、
配信先端末のチャネル数Ｎを取得するチャネル数検出部と、
オノマトペ情報が関連付けられたチャネル数Ｍの振動に関する信号である振動信号を、前記オノマトペ情報を利用してＮチャネルの振動信号に変換する出力信号生成部と
を備えた触覚振動配信装置。 Let M and N be integers of 1 or more
A channel number detection unit that acquires the channel number N of the delivery destination terminal, and
A tactile vibration distribution device including an output signal generator that converts a vibration signal, which is a signal related to vibration of the number of channels M associated with onomatope information, into an N-channel vibration signal using the onomatope information. 請求項１記載の触覚振動配信装置であって、
オノマトペ情報が関連付いた振動信号を記憶した記憶部も備え、
前記出力信号生成部は、Ｍチャネルの振動信号に関連付けられたオノマトペ情報と同じオノマトペ情報が関連付けられた振動信号を前記記憶部から取得し、前記記憶部から取得した振動信号も用いてＮチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。 The tactile vibration distribution device according to claim 1.
It also has a storage unit that stores vibration signals associated with onomatope information.
The output signal generation unit acquires a vibration signal associated with the same onomatope information as the onomatope information associated with the vibration signal of the M channel from the storage unit, and uses the vibration signal acquired from the storage unit to obtain the vibration signal of the N channel. A tactile vibration distribution device characterized by generating a vibration signal. 請求項２記載の触覚振動配信装置であって、
前記記憶部が記憶した振動信号には、当該振動信号のリズムに関する情報も関連付けられており、
前記のＭチャネルの振動信号のリズムを検出するリズム検出部も備え、
前記出力生成部は、リズムが近い振動信号の優先度を高くして、前記記憶部から振動信号を取得する
ことを特徴とする触覚振動配信装置。 The tactile vibration distribution device according to claim 2.
Information about the rhythm of the vibration signal is also associated with the vibration signal stored by the storage unit.
It also has a rhythm detector that detects the rhythm of the vibration signal of the M channel.
The output generation unit is a tactile vibration distribution device characterized in that a vibration signal having a close rhythm has a high priority and a vibration signal is acquired from the storage unit. 請求項２または３記載の触覚振動配信装置であって、
前記記憶部が記憶した振動信号には、当該振動信号のパワーに関する情報も関連付けられており、
前記のＭチャネルの振動信号のチャネルごとのパワーを検出するパワー検出部も備え、
前記出力生成部は、Ｍチャネルの平均のパワーに、パワーが近い振動信号の優先度を高くして、前記記憶部から振動信号を取得する
ことを特徴とする触覚振動配信装置。 The tactile vibration distribution device according to claim 2 or 3.
Information about the power of the vibration signal is also associated with the vibration signal stored by the storage unit.
It also has a power detector that detects the power of each channel of the vibration signal of the M channel.
The output generation unit is a tactile vibration distribution device characterized in that a vibration signal whose power is close to the average power of the M channel is given high priority and the vibration signal is acquired from the storage unit. 請求項１から４のいずれかに記載の触覚振動配信装置であって、
前記記憶部は、あらかじめ定めたオノマトペの優先度も記憶しており、
前記出力信号生成部は、優先度に依存した重み付け加算により、Ｎチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。 The tactile vibration distribution device according to any one of claims 1 to 4.
The storage unit also stores a predetermined priority of onomatope.
The output signal generation unit is a tactile vibration distribution device characterized in that an N-channel vibration signal is generated by weighting addition depending on priority. 請求項１から５のいずれかに記載の触覚振動配信装置であって、
前記のＭチャネルの振動信号のチャネルごとのパワーを検出するパワー検出部も備え、
前記出力生成部は、パワーが大きい振動信号の重みを重くした重み付け加算により、Ｎチャネルの振動信号を生成する
ことを特徴とする触覚振動配信装置。 The tactile vibration distribution device according to any one of claims 1 to 5.
It also has a power detector that detects the power of each channel of the vibration signal of the M channel.
The output generation unit is a tactile vibration distribution device characterized in that an N-channel vibration signal is generated by weighting addition in which the weight of a vibration signal having a large power is increased. ＭとＮを１以上の整数とし、
配信元端末でのＭチャネルの振動に関する信号である振動信号を取得する取得ステップと、
Ｍチャネルの振動信号に対して、チャネルごとに、当該チャネルの振動信号に対応するオノマトペ情報を関連付けるオノマトペ付与ステップと、
配信先端末のチャネル数Ｎを検出するチャネル数検出ステップと、
Ｍチャネルの振動信号を、前記オノマトペ情報を利用してＮチャネルの振動信号に変換する出力信号生成ステップと、
配信先端末でＮチャネルの振動信号に基づいて触覚振動を呈示する呈示ステップ
を実行する触覚振動配信方法。 Let M and N be integers of 1 or more
The acquisition step of acquiring the vibration signal, which is a signal related to the vibration of the M channel at the distribution source terminal,
An onomatope assignment step that associates the onomatope information corresponding to the vibration signal of the channel with respect to the vibration signal of the M channel for each channel.
A channel number detection step for detecting the channel number N of the delivery destination terminal, and
An output signal generation step of converting an M-channel vibration signal into an N-channel vibration signal using the onomatope information, and
A tactile vibration distribution method that executes a presentation step of presenting tactile vibration based on an N-channel vibration signal at a distribution destination terminal. 請求項１から６のいずれかの触覚振動配信装置としてコンピュータを機能させるための触覚振動配信プログラム。 A tactile vibration distribution program for operating a computer as the tactile vibration distribution device according to any one of claims 1 to 6.
JP2019171071A 2019-09-20 2019-09-20 Haptic vibration delivery device, Haptic vibration delivery method, Haptic vibration delivery program Active JP7171530B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019171071A JP7171530B2 (en) 2019-09-20 2019-09-20 Haptic vibration delivery device, Haptic vibration delivery method, Haptic vibration delivery program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171071A JP7171530B2 (en) 2019-09-20 2019-09-20 Haptic vibration delivery device, Haptic vibration delivery method, Haptic vibration delivery program

Publications (2)

Publication Number Publication Date
JP2021047756A true JP2021047756A (en) 2021-03-25
JP7171530B2 JP7171530B2 (en) 2022-11-15

Family

ID=74876436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171071A Active JP7171530B2 (en) 2019-09-20 2019-09-20 Haptic vibration delivery device, Haptic vibration delivery method, Haptic vibration delivery program

Country Status (1)

Country Link
JP (1) JP7171530B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189407A1 (en) * 2022-03-31 2023-10-05 株式会社栗本鐵工所 Tactile pattern providing system, tactile pattern providing program, and tactile pattern providing method
WO2023189406A1 (en) * 2022-03-31 2023-10-05 株式会社栗本鐵工所 Output control device, output control program, and output control method
JP7578239B2 (en) 2021-08-04 2024-11-06 日本電信電話株式会社 Multipoint conference control device, signal conversion device, terminal device, and programs therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048023A (en) * 2009-08-25 2011-03-10 Pioneer Electronic Corp Somesthetic vibration generating device and somesthetic vibration generation method
JP2013117996A (en) * 2001-10-10 2013-06-13 Immersion Corp Sound data output and operation using tactile feedback
JP2015092654A (en) * 2013-09-06 2015-05-14 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ Method and apparatus of converting control tracks for providing haptic feedback
JP2016105248A (en) * 2014-12-01 2016-06-09 コニカミノルタ株式会社 Tactile sense language conversion device
WO2018105266A1 (en) * 2016-12-05 2018-06-14 ソニー株式会社 Information processing apparatus, information processing method, program, and information processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117996A (en) * 2001-10-10 2013-06-13 Immersion Corp Sound data output and operation using tactile feedback
JP2011048023A (en) * 2009-08-25 2011-03-10 Pioneer Electronic Corp Somesthetic vibration generating device and somesthetic vibration generation method
JP2015092654A (en) * 2013-09-06 2015-05-14 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ Method and apparatus of converting control tracks for providing haptic feedback
JP2016105248A (en) * 2014-12-01 2016-06-09 コニカミノルタ株式会社 Tactile sense language conversion device
WO2018105266A1 (en) * 2016-12-05 2018-06-14 ソニー株式会社 Information processing apparatus, information processing method, program, and information processing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7578239B2 (en) 2021-08-04 2024-11-06 日本電信電話株式会社 Multipoint conference control device, signal conversion device, terminal device, and programs therefor
WO2023189407A1 (en) * 2022-03-31 2023-10-05 株式会社栗本鐵工所 Tactile pattern providing system, tactile pattern providing program, and tactile pattern providing method
WO2023189406A1 (en) * 2022-03-31 2023-10-05 株式会社栗本鐵工所 Output control device, output control program, and output control method

Also Published As

Publication number Publication date
JP7171530B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
JP7171530B2 (en) Haptic vibration delivery device, Haptic vibration delivery method, Haptic vibration delivery program
JP6505117B2 (en) Interaction of digital personal digital assistant by replication and rich multimedia at response
US9092059B2 (en) Stream-independent sound to haptic effect conversion system
KR20180115628A (en) Management layer for multiple intelligent personal assistant services
JP2003066984A (en) Method for altering network transmitting content data based on user specified characteristics
CN112136102B (en) Information processing apparatus, information processing method, and information processing system
KR20060112601A (en) Key generating method and key generating apparatus
JP3589216B2 (en) Speech synthesis system and speech synthesis method
JP6166889B2 (en) Dialog support apparatus, dialog system, dialog support method and program
CN110289015B (en) Audio processing method, device, server, storage medium and system
WO2019035371A1 (en) Information processing device, information processing method, and program
CN112398952A (en) Electronic resource pushing method, system, equipment and storage medium
US9992536B2 (en) Information provision device, information provision method, and information provision system
WO2021176925A1 (en) Method, system and program for inferring audience evaluation of performance data
CN115769202A (en) Transient personalization mode for guest users of automated assistants
JP6598369B2 (en) Voice management server device
JP2005242243A (en) System and method for interactive control
JP2007072511A (en) Chat system, chat server, program and message exchange method
JP6511189B1 (en) Information processing system and transcription method
JP7018850B2 (en) Terminal device, decision method, decision program and decision device
JP2020071470A (en) Information processing system and transcription method
US12050730B2 (en) System and method for reproducing tactile content using spatial information
US20240015368A1 (en) Distribution system, distribution method, and non-transitory computer-readable recording medium
JPH11219278A (en) Three-dimensional virtual world system
US20240112689A1 (en) Synthesizing audio for synchronous communication

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221102

R150 Certificate of patent or registration of utility model

Ref document number: 7171530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150