[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018156417A - Input device and voice synthesis device - Google Patents

Input device and voice synthesis device Download PDF

Info

Publication number
JP2018156417A
JP2018156417A JP2017052950A JP2017052950A JP2018156417A JP 2018156417 A JP2018156417 A JP 2018156417A JP 2017052950 A JP2017052950 A JP 2017052950A JP 2017052950 A JP2017052950 A JP 2017052950A JP 2018156417 A JP2018156417 A JP 2018156417A
Authority
JP
Japan
Prior art keywords
input device
unit
consonant
vowel
consonants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017052950A
Other languages
Japanese (ja)
Other versions
JP6888351B2 (en
Inventor
潮 岡部
Ushio Okabe
潮 岡部
亮佑 石浦
Ryosuke Ishiura
亮佑 石浦
航平 大竹
Kohei Otake
航平 大竹
悠真 竹内
Yuma Takeuchi
悠真 竹内
俊文 八木
Toshifumi Yagi
俊文 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2017052950A priority Critical patent/JP6888351B2/en
Publication of JP2018156417A publication Critical patent/JP2018156417A/en
Application granted granted Critical
Publication of JP6888351B2 publication Critical patent/JP6888351B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an input device enabling a vowel and a consonant to be input to a speech synthesizer by a simple operation.SOLUTION: An input device 10 designates one of vowels of lyrics of a singing voice synthesized by a singing voice synthesis control device 20 according to operation on an operator (S 11, S 12). Moreover, the input device 10 designates the other of consonants in accordance with the movement of the input device 10 (S13, S14). The input device 10 transmits vowels and consonants to the singing voice synthesis control device 20 (S15). The singing voice synthesis control apparatus 20 generates and outputs a synthesized voice having vowels and consonants received from the input device 10 and pitches determined according to the operation on the operator of the own device (S21 to S26).SELECTED DRAWING: Figure 5

Description

本発明は、ユーザーの操作に応じてリアルタイムで歌唱音声を合成する技術に関する。   The present invention relates to a technique for synthesizing a singing voice in real time according to a user operation.

ユーザーによる演奏及び歌詞の入力に応じて、リアルタイムで歌唱音声を合成及び再生する技術が知られている。例えば、非特許文献1には、母音を入力するためのキー及び演奏を入力するためのキーを有する歌唱音声合成装置が記載されている。   A technique for synthesizing and reproducing a singing voice in real time in accordance with a performance and lyrics input by a user is known. For example, Non-Patent Document 1 describes a singing voice synthesizer having a key for inputting a vowel and a key for inputting a performance.

“歌うキーボード ポケットミク”、[online]、平成26年4月3日、[2017年3月6日検索]、インターネット<URL:http://otonanokagaku.net/nsx39/>“Singing Keyboard Pocket Miku”, [online], April 3, 2014, [Search March 6, 2017], Internet <URL: http://otonanokagaku.net/nsx39/>

非特許文献1に記載の技術においては、入力できる歌詞が母音のみであり、合成される歌唱音声が単調であるという問題があった。
これに対し本発明は、母音及び子音を簡単な操作で音声合成装置に入力できるようにした入力装置を提供することを目的とする。
In the technique described in Non-Patent Document 1, there is a problem that the lyrics that can be input are only vowels and the synthesized singing voice is monotonous.
On the other hand, an object of the present invention is to provide an input device capable of inputting vowels and consonants to a speech synthesizer with a simple operation.

本発明は、歌唱合成制御装置で合成する歌唱音声の歌詞の母音及び子音の一方を操作子に対する操作に応じて指定する第1指定部と、前記母音及び子音の他方を、自装置の動きに応じて指定する第2指定部と、前記指定された母音及び子音を、歌唱合成制御装置へ送信する送信部とを有する入力装置を提供する。   The present invention provides a first designating unit that designates one of the vowels and consonants of the lyrics of the singing voice synthesized by the singing synthesis control device according to an operation on the operation element, and the other of the vowels and the consonant is a movement of the device There is provided an input device having a second designating unit designated in response and a transmitting unit for transmitting the designated vowel and consonant to the singing synthesis control device.

この入力装置は、使用状態においてユーザーの指と接触する接触面を有する被把持部を有し、前記操作子は、前記被把持部における前記接触面に設けられてもよい。   The input device may include a gripped portion having a contact surface that contacts a user's finger in a use state, and the operation element may be provided on the contact surface of the gripped portion.

前記第2指定部は、前記入力装置を動かす方向に応じて前記母音及び子音の他方を指定してもよい。   The second designating unit may designate the other of the vowel and the consonant according to a direction in which the input device is moved.

上記いずれかの構成の入力装置と、歌唱合成制御装置とを備え、前記歌唱合成制御装置は、前記入力装置から前記指定された母音及び子音を受信する受信部と、1以上の操作子と、前記1以上の操作子に対する操作を検出する操作検出部と、前記操作検出部により前記操作が検出された前記操作子に応じて音高を決定する決定部と前記受信部により受信された前記母音及び子音と、前記決定部により決定された音高とを有する合成音声を生成する音声合成部とを有する音声合成装置を提供する。   An input device having any one of the above configurations and a singing synthesis control device, wherein the singing synthesis control device includes a receiving unit that receives the designated vowels and consonants from the input device, and one or more operators. An operation detection unit that detects an operation on the one or more operation elements, a determination unit that determines a pitch according to the operation element detected by the operation detection unit, and the vowel received by the reception unit And a speech synthesizer that generates a synthesized speech having a consonant and a pitch determined by the determination unit.

本発明によれば、母音及び子音を簡単な操作で音声合成装置に入力できるようにした入力装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the input device which enabled it to input a vowel and a consonant to a speech synthesizer by simple operation can be provided.

本発明の一実施形態に係る音声合成装置の概略構成を例示する図。The figure which illustrates schematic structure of the speech synthesizer concerning one embodiment of the present invention. 被把持部11の構成を例示する図。The figure which illustrates the structure of the to-be-held part 11. FIG. 入力装置10の動きと指定される子音との関係を例示する図。The figure which illustrates the relationship between the motion of the input device 10, and the consonant designated. 入力装置10及び歌唱合成制御装置20の機能構成を例示する図。The figure which illustrates the function structure of the input device 10 and the song synthesis control apparatus 20. 入力装置10及び歌唱合成制御装置20の動作を示すフローチャート。The flowchart which shows operation | movement of the input device 10 and the song synthesis | combination control apparatus 20. FIG. 変形例に係る被把持部11の構造を例示する図。The figure which illustrates the structure of the to-be-gripped part 11 which concerns on a modification. 変形例に係る被把持部11の動きと指定される子音との関係を例示する図。The figure which illustrates the relationship between the motion of the to-be-held part 11 which concerns on a modification, and the designated consonant. 別の変形例に係る被把持部11の構造を例示する図。The figure which illustrates the structure of the to-be-gripped part 11 which concerns on another modification. 別の変形例に係る被把持部11の動きと指定される子音との関係を示す図。The figure which shows the relationship between the motion of the to-be-held part 11 which concerns on another modification, and the designated consonant. 変形例に係る入力装置及び歌唱合成制御装置の動作を示すフローチャート。The flowchart which shows operation | movement of the input device which concerns on a modification, and a song synthesis | combination control apparatus.

1.構成
図1は、本発明の一実施形態に係る音声合成装置1の概略構成を例示する図である。音声合成装置1は、リアルタイムで歌唱音声を合成する装置である。音声合成装置1は、入力装置10と、歌唱合成制御装置20とを含む。歌唱音声の合成には、少なくとも、歌詞及び音高の情報が必要である。この例において、歌詞は入力装置10において入力され、音高は歌唱合成制御装置20において入力される。入力装置10において入力された歌詞を伝達するため、入力装置10と歌唱合成制御装置20とは、情報を送受信するためのケーブル30を用いて、接続されている。ただし、入力装置10と歌唱合成制御装置20とは、有線ではなく、無線で接続されてもよい。
1. Configuration FIG. 1 is a diagram illustrating a schematic configuration of a speech synthesizer 1 according to an embodiment of the invention. The voice synthesizer 1 is a device that synthesizes a singing voice in real time. The speech synthesizer 1 includes an input device 10 and a song synthesis control device 20. In order to synthesize a singing voice, at least information on lyrics and pitch is required. In this example, lyrics are input at the input device 10, and pitches are input at the singing synthesis control device 20. In order to transmit lyrics input by the input device 10, the input device 10 and the singing voice synthesis control device 20 are connected using a cable 30 for transmitting and receiving information. However, the input device 10 and the song synthesis control device 20 may be connected wirelessly instead of wired.

歌唱合成制御装置20は、歌唱合成を行う装置である。この例において、歌唱合成制御装置20は、電子ピアノで例示される鍵盤楽器を模した外観を有する。歌唱合成制御装置20は、前面に操作部21を備える。操作部21は、鍵を模した複数の操作子211を有する。歌唱合成制御装置20は、入力装置10から入力された歌詞と、いずれかの操作子211を押す操作に応じて決定した音高とに基づいて、歌唱音声の合成を制御する。   The song synthesis control device 20 is a device that performs song synthesis. In this example, the singing synthesis control device 20 has an external appearance imitating a keyboard instrument exemplified by an electronic piano. The singing synthesis control device 20 includes an operation unit 21 on the front surface. The operation unit 21 includes a plurality of operation elements 211 imitating keys. The singing voice synthesis control device 20 controls the synthesis of the singing voice based on the lyrics input from the input device 10 and the pitch determined according to the operation of pressing any one of the operators 211.

入力装置10は、歌詞を入力するための装置である。歌詞は母音及び子音の組み合わせにより構成される。入力装置10は、棒状の形状を有する。入力装置10は、被把持部11と、発光部12とを含む。被把持部11は、ユーザーによって把持される部位である。発光部12は、発光する部位である。このように入力装置10は、ケミカルライトで例示される照明器具としても機能する。発光部12及びその制御には公知の技術が用いられる。   The input device 10 is a device for inputting lyrics. The lyrics are composed of a combination of vowels and consonants. The input device 10 has a rod shape. The input device 10 includes a gripped part 11 and a light emitting part 12. The gripped part 11 is a part gripped by the user. The light emitting unit 12 is a part that emits light. As described above, the input device 10 also functions as a lighting fixture exemplified by chemical lights. A well-known technique is used for the light emission part 12 and its control.

図2は、被把持部11の構成を例示する図である。被把持部11は、使用状態においてユーザーの指と接触する接触面11Aを有する。接触面11Aには、複数のスイッチ111〜116が設けられている。接触面11Aに設けられるスイッチは、例えばモーメンタリ型のプッシュ式スイッチである。このスイッチによれば、これらのスイッチを押している間はオンが入力され、スイッチが押されていない間はオフが入力される。スイッチは、オン/オフの入力が可能であれば、プッシュ式でなくてもよい。   FIG. 2 is a diagram illustrating the configuration of the gripped portion 11. The gripped portion 11 has a contact surface 11A that comes into contact with the user's finger in the use state. A plurality of switches 111 to 116 are provided on the contact surface 11A. The switch provided on the contact surface 11A is, for example, a momentary push switch. According to this switch, ON is input while these switches are pressed, and OFF is input while the switches are not pressed. The switch may not be a push type as long as an on / off input is possible.

この実施形態では、歌詞を構成する母音及び子音のうちの母音については、スイッチ111〜114の操作によって指定される。例えば、スイッチ111のみが押されている間は、[a](あ)が指定される。スイッチ112のみが押されている間は、[i](い)が指定される。スイッチ113のみが押されている間は、[u](う)が指定される。スイッチ111及び112のみが押されている間は、[e](え)が指定される。スイッチ111及び113のみが押されている間は、[o](お)が指定される。   In this embodiment, the vowels of the vowels and consonants constituting the lyrics are designated by the operation of the switches 111 to 114. For example, while only the switch 111 is pressed, [a] (A) is designated. While only the switch 112 is being pressed, [i] (yes) is designated. [U] (U) is designated while only the switch 113 is pressed. While only the switches 111 and 112 are pressed, [e] (e) is designated. While only the switches 111 and 113 are pressed, [o] (O) is designated.

スイッチ114が押されている間は、拗音(半母音)の使用が指定される。例えば[ka](か)の拗音は[kja](きゃ)である。このため、スイッチ114が押されて間は、拗音を表現するために、母音[a]の直前に半母音[j]を挿入することが指定される。   While the switch 114 is being pressed, use of stuttering (semi-vowel) is designated. For example, the roar of [ka] (ka) is [kja] (kya). For this reason, while the switch 114 is pressed, it is designated to insert the semi-vowel [j] immediately before the vowel [a] in order to express the stuttering.

歌詞の母音及び子音のうちの子音については、スイッチ115及び116の操作、並びに入力装置10の動きによって指定される。この例において、入力装置10の「動き」は、入力装置10が振られることによる入力装置10の位置の変化(つまり移動)である。   The consonant of the vowel and consonant of the lyrics is designated by the operation of the switches 115 and 116 and the movement of the input device 10. In this example, the “movement” of the input device 10 is a change (that is, movement) of the position of the input device 10 due to the input device 10 being shaken.

また、この実施形態では、入力装置10の動きによって清音が指定され、濁音の使用の有無はスイッチ115の操作、半濁音の使用の有無はスイッチ116の操作によって指定される。例えば、子音として[k](か行)が指定され、且つ濁音の使用が指定された場合、[g](が行)が指定される。また、子音として[h](は行)が指定され、且つ半濁音の使用が指定された場合、[p](ぱ行)が指定される。   In this embodiment, clear sound is designated by the movement of the input device 10, whether or not muddy sound is used is designated by operating the switch 115, and whether or not semi-voiced sound is used is designated by operating the switch 116. For example, when [k] (or line) is designated as a consonant and use of muddy sound is designated, [g] (ga line) is designated. [H] (ha line) is specified as a consonant, and [p] (pa line) is specified when use of a semi-turbid sound is specified.

図3は、入力装置10の動きと、指定される子音との関係を例示する図である。ここで、入力装置10の下から上に延びる中心軸を「L」と規定する。入力装置10が、中心軸Lの軸方向に振られている間は、[k]が、その反対方向に振られている間は、[h]が指定される。入力装置10が、中心軸Lに対して時計回りに45度回転した方向に振られている間は、[s](さ行)が、その反対方向に振られている間は、[m](ま行)が指定される。入力装置10が、中心軸Lに対して時計回りに90度回転した方向に振られている間は、[t](た行)が、その反対方向に振られている間は、[y](や行)が指定される。入力装置10が、中心軸Lに対して時計回りに135度回転した方向に振られている間は、[n](な行)が、その反対方向に振られている間は、[r](ら行)が指定される。入力装置10がいずれの方向にも振られていない場合は、[a](あ行)が指定される。図3に示す矢印で示した方向以外に入力装置10が振られた場合は、最も近い方向に対応する子音が指定される。   FIG. 3 is a diagram illustrating the relationship between the movement of the input device 10 and the specified consonant. Here, the central axis extending from the bottom to the top of the input device 10 is defined as “L”. [K] is designated while the input device 10 is swung in the axial direction of the central axis L, and [h] is designated while the input device 10 is swung in the opposite direction. While the input device 10 is swung in the direction rotated 45 degrees clockwise with respect to the central axis L, [s] (running) is swung in the opposite direction, while [m] (Line) is specified. While the input device 10 is swung in the direction rotated 90 degrees clockwise with respect to the central axis L, [t] (the row) is swung in the opposite direction, [y] (Or line) is specified. While the input device 10 is swung in a direction rotated 135 degrees clockwise with respect to the central axis L, [n] (a row) is swung in the opposite direction, [r] (Ra line) is specified. When the input device 10 is not swung in any direction, [a] (row) is designated. When the input device 10 is swung in a direction other than the direction indicated by the arrow shown in FIG. 3, the consonant corresponding to the closest direction is designated.

なお入力装置10の動きと、指定される子音との関係は図3の例に限定されない。図3の例では、入力装置10を地面に垂直に立てて用いた場合、地面にほぼ垂直な面における入力装置10の動きに応じて子音が定義される。しかし、図3の例における中心軸Lを、入力装置10において横(具体的には、例えば被把持部11においてスイッチが設けられた面に垂直な方向)に設定してもよい。この例によれば、地面にほぼ水平な面における入力装置10の動きに応じて子音が定義される。   The relationship between the movement of the input device 10 and the designated consonant is not limited to the example of FIG. In the example of FIG. 3, when the input device 10 is used while standing perpendicular to the ground, a consonant is defined according to the movement of the input device 10 in a plane substantially perpendicular to the ground. However, the central axis L in the example of FIG. 3 may be set laterally in the input device 10 (specifically, for example, a direction perpendicular to the surface of the gripped portion 11 where the switch is provided). According to this example, consonants are defined according to the movement of the input device 10 on a surface substantially horizontal to the ground.

なお、[わ]、[を]、[ん]の各音は、例えば、スイッチ115をオンし、且つ入力装置10を動かさないことによって指定される。また、[ゃ]、[ゅ][ょ]という小書き文字を表現する場合は、これを指定するためのスイッチが別に設けられてもよい。   Note that the sounds [wa], [o], and [n] are specified by turning on the switch 115 and not moving the input device 10, for example. In addition, when expressing small characters such as []], []] [[], a switch for designating this may be provided separately.

図4は、入力装置10及び歌唱合成制御装置20の機能構成を例示する図である。入力装置10は、操作検出部101、第1指定部102、動き検出部103、第2指定部104及び送信部105を含む。操作検出部101は、スイッチ111〜116の各スイッチから入力される信号に基づいて、スイッチ111〜116の操作の状態を検出する。第1指定部102は、歌詞の母音及び子音のうちの母音を、操作検出部101により検出されたスイッチ111〜114の操作の状態に応じて指定する。動き検出部103は、入力装置10の動きを検出する。この実施形態では、動き検出部103は、図示せぬセンサからの情報に基づいて、少なくとも入力装置10の動かされた方向(振られた方向)を検出する。センサは、例えば、2軸又は3軸の加速度センサを含む。動き検出部103は、例えば、加速度センサによって計測された加速度、加速度から求められた速度、及び変位の大きさに基づいて、入力装置10の動きを検出する。動き検出部103は、加速度センサ以外のセンサを用いて、入力装置10の動きを検出してもよい。第2指定部104は、歌詞の母音及び子音のうちの子音を、動き検出部103により検出された入力装置10の動き、並びに操作検出部101により検出されたスイッチ115及び116の操作の状態に応じて指定する。送信部105は、第1指定部102により指定された母音及び第2指定部104により指定された子音を、歌唱合成制御装置20へ送信する。   FIG. 4 is a diagram illustrating a functional configuration of the input device 10 and the song synthesis control device 20. The input device 10 includes an operation detection unit 101, a first specification unit 102, a motion detection unit 103, a second specification unit 104, and a transmission unit 105. The operation detection unit 101 detects the operation states of the switches 111 to 116 based on signals input from the switches 111 to 116. The first designation unit 102 designates a vowel of the vowels and consonants of the lyrics according to the operation state of the switches 111 to 114 detected by the operation detection unit 101. The motion detection unit 103 detects the motion of the input device 10. In this embodiment, the motion detection unit 103 detects at least the direction in which the input device 10 has been moved (the direction in which the input device 10 has been shaken) based on information from a sensor (not shown). The sensor includes, for example, a biaxial or triaxial acceleration sensor. The motion detection unit 103 detects the motion of the input device 10 based on, for example, the acceleration measured by the acceleration sensor, the speed obtained from the acceleration, and the magnitude of the displacement. The motion detection unit 103 may detect the motion of the input device 10 using a sensor other than the acceleration sensor. The second designation unit 104 converts the consonant of the vowels and consonants of the lyrics into the movement of the input device 10 detected by the movement detection unit 103 and the operation state of the switches 115 and 116 detected by the operation detection unit 101. Specify accordingly. The transmitting unit 105 transmits the vowel specified by the first specifying unit 102 and the consonant specified by the second specifying unit 104 to the singing synthesis control device 20.

なお、入力装置10の各機能は、CPU(Central Processing Unit)で例示される演算処理装置、ROM(Read only memory)及びRAM(Random access memory)で例示されるメモリ、並びに通信モジュール等を搭載したプロセッサにより実装される。入力装置10の各機能は、例えば、プロセッサ及びプロセッサが実行するプログラムにより実装される。また、入力装置10の機能は2以上のプロセッサ又はプログラムにより実装されてもよい。   Each function of the input device 10 is equipped with an arithmetic processing unit exemplified by a CPU (Central Processing Unit), a memory exemplified by a ROM (Read only memory) and a RAM (Random access memory), and a communication module. Implemented by the processor. Each function of the input device 10 is implemented by, for example, a processor and a program executed by the processor. The function of the input device 10 may be implemented by two or more processors or programs.

歌唱合成制御装置20は、受信部201、操作検出部202、決定部203、合成指示部204、音声合成部205及び音声出力部206を含む。受信部201は、入力装置10(送信部105)から、歌詞の母音及び子音を受信する。操作検出部202は、操作部21の各操作子211から入力される信号に基づいて、
各操作子211の操作の状態を検出する。決定部203は、操作検出部202の検出結果に基づいて、ユーザーにより押された操作子211に応じた音高を決定する。合成指示部204は、受信部201により受信された子音及び母音、並びに決定部203により決定された音高に基づいて、歌唱音声を合成するように、音声合成部205に指示する。音声合成部205は、合成指示部204からの合成指示に従って歌唱音声を合成して、歌唱音声(合成音声)を生成する。音声合成部205は、合成された歌唱音声を示す音信号を、音声出力部206に出力する。音声出力部206は、音声合成部205から出力された音信号に従って音を出力する。
The singing voice synthesis control device 20 includes a receiving unit 201, an operation detection unit 202, a determination unit 203, a synthesis instruction unit 204, a voice synthesis unit 205, and a voice output unit 206. The receiving unit 201 receives lyrics vowels and consonants from the input device 10 (transmitting unit 105). The operation detection unit 202 is based on a signal input from each operator 211 of the operation unit 21.
The state of operation of each operator 211 is detected. Based on the detection result of the operation detection unit 202, the determination unit 203 determines a pitch according to the operation element 211 pressed by the user. The synthesis instruction unit 204 instructs the speech synthesis unit 205 to synthesize the singing voice based on the consonant and vowel received by the reception unit 201 and the pitch determined by the determination unit 203. The voice synthesizer 205 synthesizes a singing voice in accordance with a synthesis instruction from the synthesis instruction unit 204 to generate a singing voice (synthesized voice). The voice synthesis unit 205 outputs a sound signal indicating the synthesized singing voice to the voice output unit 206. The sound output unit 206 outputs sound according to the sound signal output from the sound synthesis unit 205.

なお、受信部201、操作検出部202、決定部203、合成指示部204及び音声合成部205の各機能は、CPUで例示される演算処理装置、ROM及びRAMで例示されるメモリ、並びに通信モジュール等を搭載したプロセッサにより実装される。歌唱合成制御装置20の各機能は、例えば、プロセッサ及びプロセッサが実行するプログラムにより実装される。また、歌唱合成制御装置20の機能は2以上のプロセッサ又はプログラムにより実装されてもよい。音声出力部206は、例えば、信号処理回路、増幅器及びスピーカを含む。   Note that each function of the receiving unit 201, the operation detecting unit 202, the determining unit 203, the synthesis instructing unit 204, and the voice synthesizing unit 205 includes an arithmetic processing unit exemplified by a CPU, a memory exemplified by a ROM and a RAM, and a communication module. Etc. are mounted by a processor equipped with. Each function of the song synthesis control device 20 is implemented by, for example, a processor and a program executed by the processor. Moreover, the function of the song synthesis control apparatus 20 may be implemented by two or more processors or programs. The audio output unit 206 includes, for example, a signal processing circuit, an amplifier, and a speaker.

2.動作
図5は、入力装置10及び歌唱合成制御装置20の動作を示すフローチャートである。図5のフローは、例えば、入力装置10及び歌唱合成制御装置20の電源がオンされている期間において実行される。
2. Operation FIG. 5 is a flowchart showing operations of the input device 10 and the song synthesis control device 20. The flow in FIG. 5 is executed, for example, during a period in which the input device 10 and the song synthesis control device 20 are turned on.

入力装置10において、第1指定部102は、操作検出部101の検出結果に基づいて、スイッチ111〜113の少なくともいずれかが押されたか否かを判断する(ステップS11)。いずれのスイッチも押されていないと判断した場合(ステップS11;NO)、第1指定部102は、待機する。スイッチ111〜113の少なくともいずれかが押されたと判断した場合(ステップS11;YES)、第1指定部102は、母音を指定する(ステップS12)。第1指定部102は、スイッチ111〜113の操作状態に応じて、[a]、[i]、[u]、[e]、[o]のうちのいずれかの母音を指定し、また、スイッチ114の操作状態に応じて拗音を表現するための半母音を指定する。   In the input device 10, the first designation unit 102 determines whether or not at least one of the switches 111 to 113 is pressed based on the detection result of the operation detection unit 101 (step S11). When it is determined that none of the switches is pressed (step S11; NO), the first designation unit 102 stands by. When it is determined that at least one of the switches 111 to 113 has been pressed (step S11; YES), the first designation unit 102 designates a vowel (step S12). The first designation unit 102 designates one of vowels among [a], [i], [u], [e], and [o] according to the operation state of the switches 111 to 113, and A semi-vowel for expressing a stuttering is designated according to the operation state of the switch 114.

次に、動き検出部103は、入力装置10の動きを検出する(ステップS13)。第2指定部104は、動き検出部103により検出された入力装置10の動かされた方向、並びに操作検出部101により検出されたスイッチ115及びスイッチ116の操作状態に応じて、子音を指定する(ステップS14)。第2指定部104は、[a]、[k]、[s]、[t]、[n]、[h]、[m]、[g]、[z](ざ行)、[d](だ行)、[b](ば行)及び[p](ぱ行)のうちの、いずれかの子音を指定する。   Next, the motion detector 103 detects the motion of the input device 10 (step S13). The second designation unit 104 designates a consonant according to the direction in which the input device 10 is detected detected by the motion detection unit 103 and the operation state of the switch 115 and the switch 116 detected by the operation detection unit 101 ( Step S14). The second designating unit 104 selects [a], [k], [s], [t], [n], [h], [m], [g], [z] (zag), [d] One of the consonants is specified among (line), [b] (line), and [p] (line).

次に、送信部105は、指定された母音及び子音を、歌唱合成制御装置20へ送信する(ステップS15)。この送信後、入力装置10の処理はステップS11に戻される。即ち、スイッチ111〜113の少なくともいずれかが押されている間は、送信部105は、母音及び子音を歌唱合成制御装置20へ送信する。   Next, the transmission part 105 transmits the designated vowel and consonant to the song synthesis control apparatus 20 (step S15). After this transmission, the process of the input device 10 is returned to step S11. That is, the transmission unit 105 transmits vowels and consonants to the singing synthesis control device 20 while at least one of the switches 111 to 113 is pressed.

歌唱合成制御装置20において受信部201は、入力装置10から、母音及び子音を受信したか否かを判断する(ステップS21)。母音及び子音を受信していないと判断した場合(ステップS21;NO)、受信部201は待機する。母音及び子音が受信されたと判断した場合(ステップS21;YES)、決定部203は、操作検出部202の検出結果に基づいて、少なくともいずれかの操作子211が押されたか否かを判断する(ステップS22)。いずれの操作子211も押されていないと判断した場合(ステップS21;NO)、歌唱合成制御装置20の処理は、ステップS21に戻される。   In the singing synthesis control device 20, the receiving unit 201 determines whether or not a vowel and a consonant have been received from the input device 10 (step S21). If it is determined that vowels and consonants are not received (step S21; NO), the receiving unit 201 waits. When it is determined that a vowel and a consonant have been received (step S21; YES), the determination unit 203 determines whether or not at least one of the operators 211 has been pressed based on the detection result of the operation detection unit 202 ( Step S22). When it is determined that none of the operators 211 is pressed (step S21; NO), the processing of the singing synthesis control device 20 is returned to step S21.

決定部203は、少なくともいずれかの操作子211が押されたと判断した場合(ステップS22;YES)、押された操作子211に応じた音高を決定する(ステップS23)。決定部203は、この操作子211に固有の音高を決定する。操作子211は鍵を模した操作子である。よって、より高い音高に対応する鍵に相当する操作子211が押された場合ほど、決定部203はより高い音高を決定するとよい。   If it is determined that at least one of the operators 211 has been pressed (step S22; YES), the determination unit 203 determines a pitch corresponding to the pressed operator 211 (step S23). The determination unit 203 determines a pitch specific to the operator 211. An operator 211 is an operator imitating a key. Therefore, the determination unit 203 may determine a higher pitch as the operator 211 corresponding to a key corresponding to a higher pitch is pressed.

合成指示部204は、受信された子音及び母音、並びに決定された音高に基づいて、歌唱音声を合成するように、音声合成部205に指示する(ステップS24)。具体的には、合成指示部204は、子音及び母音に従い決定された歌詞を発音記号に変換して、この発音記号及び決定した音高の音声を合成する指示を生成し、音声合成部205に出力する。音声合成部205は、入力された合成指示に従って歌唱音声を合成する(ステップS25)。歌唱音声の合成には公知の技術を用いることができるので、ここではその概要だけ説明する。音声合成部205は、素片ライブラリを有している。素片ライブラリは、ある特定の歌唱者の声からサンプリングした音楽素片(歌声の断片)を含むデータベースである。素片ライブラリには、その歌唱者の歌唱音声波形から採取された素片データが複数含まれている。素片データとは、歌唱音声波形から、音声学的な特徴部分を切り出して符号化した音声データをいう。   The synthesis instruction unit 204 instructs the voice synthesis unit 205 to synthesize the singing voice based on the received consonants and vowels and the determined pitch (step S24). Specifically, the synthesis instruction unit 204 converts the lyrics determined according to the consonant and the vowel into phonetic symbols, generates an instruction for synthesizing the phonetic symbol and the voice of the determined pitch, and sends it to the voice synthesis unit 205. Output. The voice synthesizer 205 synthesizes a singing voice according to the inputted synthesis instruction (step S25). Since a well-known technique can be used for synthesis of the singing voice, only the outline will be described here. The speech synthesis unit 205 has a segment library. The segment library is a database including musical segments (singing voice fragments) sampled from a voice of a specific singer. The segment library includes a plurality of segment data collected from the singing voice waveform of the singer. Segment data refers to speech data obtained by extracting and encoding phonetic features from a singing speech waveform.

ここで、素片データについて、[さいた]という歌詞の歌唱音声を合成する場合を例として説明する。[さいた]という歌詞は発音記号で[saita]と表される。発音記号[saita]で表される音声の波形を特徴により分析すると、[s]の音の立ち上がり部分、[s]の音、[s]の音から[a]の音への遷移部分、[a]の音…と続き、[a]の音の減衰部分で終わる。各素片データは、これらの音声学的な特徴部分に対応する音声データである。素変ライブラリには、あらゆる音及び音の組み合わせに関する素片データが格納されている。以下の説明において、ある発音記号で表される音の立ち上がり部分に対応する素片データを、その発音記号の前に[#]を付けて、[#s]のように表す。また、ある発音記号で表される音の減衰部分に対応する素片データを、その発音記号の後に[#]を付けて、[a#]のように表す。また、ある発音記号で表される音から他の発音記号で表される音への遷移部分に対応する素片データを、それらの発音記号の間に[−]を入れて、[s−a]のように表す。   Here, the case of synthesizing the singing voice of the lyrics “sai” with respect to the segment data will be described as an example. The lyrics of [sai] are represented by phonetic symbols [saita]. When the waveform of the voice represented by the phonetic symbol [saita] is analyzed by features, the rising part of the sound of [s], the sound of [s], the transition part from the sound of [s] to the sound of [a], [ The sound of [a] is continued and ends with the attenuation part of the sound of [a]. Each piece of data is audio data corresponding to these phonetic features. The element change library stores element data relating to all sounds and combinations of sounds. In the following description, segment data corresponding to the rising portion of a sound represented by a phonetic symbol is represented as [#s] with [#] in front of the phonetic symbol. In addition, segment data corresponding to a sound attenuation portion represented by a certain phonetic symbol is expressed as [a #] by adding [#] after the phonetic symbol. Further, segment data corresponding to a transition portion from a sound represented by a certain phonetic symbol to a sound represented by another phonetic symbol is inserted between those phonetic symbols, and [s-a ].

例えば、[ぱ]という音声は、[#p]、[p]、[p−a]及び[a]という素片データを順番に並べて繋げることにより合成される。音声合成部205は、これらの素片データを組み合わせた後、音高を調整する。音声合成部205は、音高を調整した合成音声の音信号を出力する。音声出力部206は、音声合成部205から出力された音信号に従って合成音声を出力する(ステップS26)。   For example, a voice [Pa] is synthesized by arranging and connecting segment data [#p], [p], [pa] and [a] in order. The speech synthesizer 205 adjusts the pitch after combining these segment data. The speech synthesizer 205 outputs a sound signal of synthesized speech whose pitch is adjusted. The voice output unit 206 outputs a synthesized voice according to the sound signal output from the voice synthesis unit 205 (step S26).

次に、合成指示部204は、入力装置10から受信される母音又は子音が変化したか否かを判断する(ステップS27)。具体的には、合成指示部204は、母音及び子音の少なくとも一方が変化したか、並びに母音及び子音が受信されなくなったかを判断する。母音及び子音に変化がないと判断した場合(ステップS27;NO)、合成指示部204は音高の変更があるか否かを判断する(ステップS28)。具体的には、合成指示部204は、操作子211が押されなくなった(操作子211から指が離された)か、及び別の操作子211が押されたかを判断する。音高に変更がないと判断された場合は(ステップS28;NO)、合成指示部204は、新たな歌唱音声の合成を指示しない。具体的に葉、歌唱合成制御装置20の処理はステップS25に処理が戻され、音声合成部205は、音声出力部206を用いて、同じ歌詞(文字)の合成音声を出力し続ける(ステップS25,S26)。音声合成部205は、最後の母音(先の例では[a])を伸ばし続ける音信号を出力する。   Next, the synthesis instruction unit 204 determines whether or not the vowel or consonant received from the input device 10 has changed (step S27). Specifically, the synthesis instruction unit 204 determines whether at least one of the vowels and consonants has changed, and whether the vowels and consonants are no longer received. If it is determined that there is no change in the vowels and consonants (step S27; NO), the synthesis instruction unit 204 determines whether there is a change in pitch (step S28). Specifically, the composition instruction unit 204 determines whether the operator 211 is no longer pressed (a finger is released from the operator 211) and whether another operator 211 is pressed. When it is determined that there is no change in the pitch (step S28; NO), the synthesis instruction unit 204 does not instruct the synthesis of a new singing voice. Specifically, the processing of the leaf and singing synthesis control device 20 is returned to step S25, and the speech synthesis unit 205 continues to output synthesized speech of the same lyrics (characters) using the speech output unit 206 (step S25). , S26). The speech synthesizer 205 outputs a sound signal that continues to extend the last vowel ([a] in the previous example).

一方、合成指示部204が入力装置10から受信される母音又は子音が変化したと判断された場合(ステップS27;YES)、又は音高が変更されたと判断した場合(ステップS28;YES)には、歌唱合成制御装置20の処理は、ステップS21に戻される。
そして、入力装置10から母音及び子音が受信され(ステップS21;YES)、更に操作子211の操作で音高が指定された場合には(ステップS22;YES)、合成指示部204は、新たな歌唱音声の合成を音声合成部205に指示し、歌唱音声の合成、及び合成音声の出力を行わせる(ステップS23〜S26)。
On the other hand, when the synthesis instruction unit 204 determines that the vowel or consonant received from the input device 10 has changed (step S27; YES), or when the pitch has been changed (step S28; YES). The process of the song synthesis control device 20 is returned to step S21.
When the vowel and the consonant are received from the input device 10 (step S21; YES) and the pitch is specified by the operation of the operator 211 (step S22; YES), the synthesis instruction unit 204 receives a new one. The voice synthesis unit 205 is instructed to synthesize the singing voice, and singing voice is synthesized and the synthesized voice is output (steps S23 to S26).

以上説明した音声合成装置1によれば、ユーザーは片方の手で入力装置10を持ち、スイッチを押す操作と入力装置10を動かす動作とによって、歌詞の母音及び子音を指定することができる。更に、ユーザーは他方の手で歌唱合成制御装置20を操作することによって、歌詞の音高を指定することができる。よって、ユーザーは、歌詞の母音、子音及び音高を簡単に指定して、歌唱合成制御装置20に合成音声を出力させることができる。   According to the speech synthesizer 1 described above, the user can hold the input device 10 with one hand, and can specify vowels and consonants of lyrics by an operation of pressing a switch and an operation of moving the input device 10. Furthermore, the user can designate the pitch of the lyrics by operating the singing synthesis control device 20 with the other hand. Therefore, the user can easily specify the vowels, consonants, and pitches of the lyrics, and cause the singing synthesis control device 20 to output the synthesized speech.

3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3. Modifications The present invention is not limited to the above-described embodiments, and various modifications can be made. Hereinafter, some modifications will be described. Two or more of the following modifications may be used in combination.

3−1.被把持部11
図6は、変形例に係る被把持部11の構造を例示する図であり、図7は、被把持部11の動きと指定される子音との関係を例示する図である。被把持部11の接触面11Aに設けられるスイッチの種類及び数は、図2の例に限定されない。この変形例では、図6に示すように、接触面11Aにおいて、濁音を指定するスイッチ115及び半濁音を指定する116が設けられておらず、代わりに、モードを切り替えるスイッチ117が設けられている。第1指定部102は、スイッチ117がオフされている間は、図7の左側の図に示すように、子音として[a]、[k]、[s]、[t]、[n]、[h]、[m]、[y]、[r]を指定可能とする。一方、第1指定部102は、スイッチ117がオンされている間は、図7の右側の図に示すように、子音として[y]、[w]、[g]、[z]、[d]、[b]、[p]を指定可能とする。
3-1. Grasping part 11
FIG. 6 is a diagram illustrating the structure of the gripped portion 11 according to a modification, and FIG. 7 is a diagram illustrating the relationship between the movement of the gripped portion 11 and the specified consonant. The type and number of switches provided on the contact surface 11A of the gripped portion 11 are not limited to the example of FIG. In this modified example, as shown in FIG. 6, the contact surface 11A is not provided with a switch 115 for designating muddy sound and 116 for designating semi-turbid sound. Instead, a switch 117 for switching modes is provided. . While the switch 117 is off, the first designation unit 102 uses [a], [k], [s], [t], [n], [n], as consonants as shown in the left diagram of FIG. [H], [m], [y], [r] can be specified. On the other hand, as long as the switch 117 is on, the first designation unit 102 uses [y], [w], [g], [z], [d ], [B], and [p] can be specified.

図8は、別の変形例に係る被把持部11の構造を例示する図であり、図9は、被把持部11の動きと指定される子音との関係を例示する図である。入力装置10は、接触面11Aに設けられたスイッチの操作に応じて子音を、入力装置10の動きに応じて母音を指定してもよい。この例では図8に示すように、接触面11Aに、子音を指定するためのスイッチとして、スイッチ111〜114及び118が設けられている。この場合、4つのスイッチ111〜113及び118のオン/オフの組み合わせにより、清音、濁音及び半濁音を含む計16個の子音を指定することができる。スイッチ114は、上述した実施形態と同様、拗音の使用の有無を指定するためのスイッチである。図9に示すように、この変形例では、第1指定部102及び第2指定部104に代えて、第1指定部106及び第2指定部107が設けられている。第1指定部106は、歌詞の母音及び子音のうちの子音を、操作検出部101により検出されたスイッチ111〜113及び118の操作の状態に応じて指定する。第2指定部107は、歌唱音声の歌詞の母音及び子音のうちの母音を、スイッチ114の操作の状態及び動き検出部103により検出された入力装置10の動きに応じて指定する。送信部105は、第1指定部106により指定された子音及び第2指定部107により指定された母音を、歌唱合成制御装置20へ送信する。歌唱合成制御装置20の構成は、上述した実施形態と同じでよい。   FIG. 8 is a diagram illustrating the structure of the grasped portion 11 according to another modification, and FIG. 9 is a diagram illustrating the relationship between the movement of the grasped portion 11 and the specified consonant. The input device 10 may designate a consonant according to the operation of a switch provided on the contact surface 11 </ b> A and a vowel according to the movement of the input device 10. In this example, as shown in FIG. 8, switches 111 to 114 and 118 are provided on the contact surface 11 </ b> A as switches for designating consonants. In this case, a total of 16 consonants including clear sound, muddy sound and semi-muddy sound can be designated by the combination of on / off of the four switches 111 to 113 and 118. The switch 114 is a switch for designating whether or not the stuttering is used, as in the above-described embodiment. As shown in FIG. 9, in this modification, a first specifying unit 106 and a second specifying unit 107 are provided instead of the first specifying unit 102 and the second specifying unit 104. The first designation unit 106 designates a consonant among the vowels and consonants of the lyrics according to the operation state of the switches 111 to 113 and 118 detected by the operation detection unit 101. The second designation unit 107 designates the vowels of the lyrics vowels and consonants of the singing voice according to the operation state of the switch 114 and the movement of the input device 10 detected by the movement detection unit 103. The transmitting unit 105 transmits the consonant specified by the first specifying unit 106 and the vowel specified by the second specifying unit 107 to the singing synthesis control device 20. The configuration of the singing synthesis control device 20 may be the same as that of the above-described embodiment.

図10は、この変形例に係る入力装置10及び歌唱合成制御装置20の動作を示すフローチャートである。図10のフローは、例えば、入力装置10及び歌唱合成制御装置20の電源がオンされている間において、実行される。入力装置10において、第1指定部106は、操作検出部101の検出結果に基づいて、スイッチ111〜113及び118の少なくともいずれかが押されたか否かを判断する(ステップS31)。いずれのスイッチも押されていないと判断した場合(ステップS31;NO)、第1指定部106は、待機する。スイッチ111〜113及び118の少なくともいずれかが押されたと判断した場合(ステップS31;YES)、第1指定部106は、子音を指定する(ステップS32)。   FIG. 10 is a flowchart showing operations of the input device 10 and the song synthesis control device 20 according to this modification. The flow in FIG. 10 is executed, for example, while the input device 10 and the song synthesis control device 20 are powered on. In the input device 10, the first designation unit 106 determines whether at least one of the switches 111 to 113 and 118 has been pressed based on the detection result of the operation detection unit 101 (step S31). When it is determined that none of the switches is pressed (step S31; NO), the first designation unit 106 stands by. When determining that at least one of the switches 111 to 113 and 118 has been pressed (step S31; YES), the first designation unit 106 designates a consonant (step S32).

次に、動き検出部103は、入力装置10の動きを検出する(ステップS33)。第2指定部107は、動き検出部103により検出された入力装置10の動かされた方向に応じて、母音を指定する(ステップS34)。   Next, the motion detector 103 detects the motion of the input device 10 (step S33). The second designation unit 107 designates a vowel according to the direction of movement of the input device 10 detected by the motion detection unit 103 (step S34).

次に、送信部105は、指定された子音及び母音を、歌唱合成制御装置20へ送信する(ステップS35)。この送信後、入力装置10の処理はステップS31に戻される。即ち、スイッチ111〜113及び118の少なくともいずれかが押されている間は、送信部105は、子音及び母音を歌唱合成制御装置20へ送信する。   Next, the transmission part 105 transmits the designated consonant and vowel to the song synthesis control apparatus 20 (step S35). After this transmission, the process of the input device 10 is returned to step S31. That is, while at least one of the switches 111 to 113 and 118 is pressed, the transmission unit 105 transmits the consonant and the vowel to the song synthesis control device 20.

3−2.入力装置10の動きと子音との関係
上述した実施形態で説明した入力装置10の動きの方向と指定される子音との関係は、一例に過ぎない。例えば3軸の直交座標系を規定して、軸方向毎に異なる子音を対応させてもよい。また、入力装置10の動きは、入力装置10の振動に限られず、入力装置10の姿勢の変化(回転、ひねり)等であってもよい。入力装置10は、その動きに応じた子音又は母音が指定するように構成されていればよい。
3-2. The relationship between the movement of the input device 10 and the consonant The relationship between the direction of movement of the input device 10 and the specified consonant described in the above-described embodiment is merely an example. For example, a three-axis orthogonal coordinate system may be defined, and different consonants may be associated with each axial direction. Further, the movement of the input device 10 is not limited to the vibration of the input device 10 and may be a change in the posture of the input device 10 (rotation, twist) or the like. The input device 10 should just be comprised so that the consonant or vowel according to the motion may designate.

3−3.他の変形例
入力装置10の具体的形状は、実施形態において例示したものに限定されない。例えば、入力装置10は、交通整理のための誘導灯等の、棒状に形成された装置であってもよい。また、入力装置10は、照明機能を有さなくてもよく、例えば、杖又は指揮棒であってもよい。また、入力装置10の形状は棒状であるものに限られず、例えば、ダンベル、又はユーザーの身体の部位に装着される装置(例えば、グローブ型の装置)等の、棒状でない装置であってもよい。また、入力装置10は、携帯型のデバイス(例えば、スマートフォン)であってもよい。この場合、入力装置10は、タッチスクリーンの表面をなぞるユーザーの指の動きを検出し、その動きに応じた母音又は子音を指定してもよい。この場合、タッチスクリーン上で指が移動した方向と、母音又は子音とが対応付けられていればよい。
3-3. Other Modifications The specific shape of the input device 10 is not limited to that illustrated in the embodiment. For example, the input device 10 may be a rod-shaped device such as a guide light for traffic control. Further, the input device 10 may not have a lighting function, and may be, for example, a walking stick or a command stick. The shape of the input device 10 is not limited to a rod shape, and may be a device that is not a rod shape, such as a dumbbell or a device (for example, a glove-type device) that is attached to a body part of a user. . The input device 10 may be a portable device (for example, a smartphone). In this case, the input device 10 may detect the movement of the user's finger tracing the surface of the touch screen and specify a vowel or consonant corresponding to the movement. In this case, the direction in which the finger moves on the touch screen may be associated with the vowel or consonant.

入力装置10は、母音又は子音の指定に用いられるスイッチが押されている期間においてのみ、入力装置10の動きを検出してもよい。これにより、常に入力装置10の動きを検知する場合に比べて、入力装置10消費電力の低減が期待できる。   The input device 10 may detect the movement of the input device 10 only during a period in which a switch used for designating a vowel or consonant is being pressed. Thereby, compared with the case where the movement of the input device 10 is always detected, a reduction in power consumption of the input device 10 can be expected.

入力装置において母音又は子音の指定に用いられる操作子は、モーメンタリ型のスイッチに限定されない。モーメンタリ型のスイッチに代えて、又は加えて、オルタネイト型のスイッチが用いられてもよい。あるいは、スイッチに代えて、又は加えて、レバー、スライダー、又はダイヤル等が用いられてもよい。   An operator used for designating a vowel or consonant in the input device is not limited to a momentary switch. Instead of or in addition to the momentary switch, an alternate switch may be used. Alternatively, a lever, a slider, a dial, or the like may be used instead of or in addition to the switch.

歌唱合成制御装置20は、電子鍵盤楽器を模した外観を有していなくてもよく、弦楽器や、管楽器、吹奏楽器等の楽器を模した外観を有していてもよいし、楽器を模した外観でなくてもよい。歌唱合成制御装置20は、少なくとも歌唱音声の合成を制御する機能を有していればよい。操作部21に含まれる操作子の数も、1以上の数であれば、いくつでもよい。   The singing synthesis control device 20 may not have an external appearance imitating an electronic keyboard instrument, may have an external appearance imitating a stringed instrument, a wind instrument, a wind instrument, or the like, or imitate an instrument. It does not have to be the appearance. Singing synthesis control device 20 should just have a function which controls composition of at least singing voice. The number of operators included in the operation unit 21 may be any number as long as it is one or more.

上述した実施形態で説明した入力装置10及び歌唱合成制御装置20の構成又は動作の一部が省略されてもよい。例えば、入力装置10が、拗音、濁音及び半濁音の少なくともいずれかを指定しない構成であってもよい。   A part of the configuration or operation of the input device 10 and the singing voice synthesis control device 20 described in the above-described embodiment may be omitted. For example, the input device 10 may be configured not to specify at least one of stuttering, muddy sound, and semi-muddy sound.

1…音声合成装置、10…入力装置、101…操作検出部、102…第1指定部、103…動き検出部、104…第2指定部、105…送信部、106…第1指定部、107…第2指定部、11…被把持部、11A…接触面、111〜118…スイッチ、12…発光部、20…歌唱合成制御装置、201…受信部、202…操作検出部、203…決定部、204…合成指示部、205…音声合成部、206…音声出力部、21…操作部、211…操作子、30…ケーブル。 DESCRIPTION OF SYMBOLS 1 ... Speech synthesizer, 10 ... Input device, 101 ... Operation detection part, 102 ... 1st designation | designated part, 103 ... Motion detection part, 104 ... 2nd designation | designated part, 105 ... Transmission part, 106 ... 1st designation | designated part, 107 DESCRIPTION OF SYMBOLS 2nd designation | designated part, 11 ... Grasped part, 11A ... Contact surface, 111-118 ... Switch, 12 ... Light emission part, 20 ... Singing synthesis control apparatus, 201 ... Reception part, 202 ... Operation detection part, 203 ... Determination part , 204 ... synthesis instruction unit, 205 ... voice synthesis unit, 206 ... voice output unit, 21 ... operation unit, 211 ... operator, 30 ... cable.

Claims (4)

歌唱合成制御装置で合成する歌唱音声の歌詞の母音及び子音の一方を操作子に対する操作に応じて指定する第1指定部と、
前記母音及び子音の他方を、自装置の動きに応じて指定する第2指定部と、
前記指定された母音及び子音を、歌唱合成制御装置へ送信する送信部と
を有する入力装置。
A first designation unit that designates one of the vowels and consonants of the lyrics of the singing voice to be synthesized by the singing synthesis control device according to an operation on the operator;
A second designating unit for designating the other of the vowels and consonants according to the movement of the device;
An input device comprising: a transmitter that transmits the designated vowels and consonants to the singing synthesis control device.
使用状態においてユーザーの指と接触する接触面を有する被把持部を有し、
前記操作子は、前記被把持部における前記接触面に設けられる
請求項1に記載の入力装置。
Having a gripped portion having a contact surface that comes into contact with a user's finger in use;
The input device according to claim 1, wherein the operation element is provided on the contact surface of the gripped portion.
前記第2指定部は、前記入力装置を動かす方向に応じて前記母音及び子音の他方を指定する
請求項1又は2に記載の入力装置。
The input device according to claim 1, wherein the second designation unit designates the other of the vowel and the consonant according to a direction in which the input device is moved.
請求項1ないし3のいずれか一項に記載の入力装置と、
歌唱合成制御装置と
を備え、
前記歌唱合成制御装置は、
前記入力装置から前記指定された母音及び子音を受信する受信部と、
1以上の操作子と、
前記1以上の操作子に対する操作を検出する操作検出部と、
前記操作検出部により前記操作が検出された前記操作子に応じて音高を決定する決定部と
前記受信部により受信された前記母音及び子音と、前記決定部により決定された音高とを有する合成音声を生成する音声合成部と
を有する音声合成装置。
An input device according to any one of claims 1 to 3,
A singing synthesis control device,
The singing synthesis control device is
A receiving unit for receiving the designated vowel and consonant from the input device;
One or more controls,
An operation detection unit for detecting an operation on the one or more operators;
A determination unit that determines a pitch according to the operation element for which the operation is detected by the operation detection unit; a vowel and a consonant received by the reception unit; and a pitch determined by the determination unit. A speech synthesizer comprising: a speech synthesizer that generates synthesized speech.
JP2017052950A 2017-03-17 2017-03-17 Input device, speech synthesizer, input method, and program Active JP6888351B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017052950A JP6888351B2 (en) 2017-03-17 2017-03-17 Input device, speech synthesizer, input method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052950A JP6888351B2 (en) 2017-03-17 2017-03-17 Input device, speech synthesizer, input method, and program

Publications (2)

Publication Number Publication Date
JP2018156417A true JP2018156417A (en) 2018-10-04
JP6888351B2 JP6888351B2 (en) 2021-06-16

Family

ID=63717315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052950A Active JP6888351B2 (en) 2017-03-17 2017-03-17 Input device, speech synthesizer, input method, and program

Country Status (1)

Country Link
JP (1) JP6888351B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140151A1 (en) * 2022-01-19 2023-07-27 カシオ計算機株式会社 Information processing device, electronic musical instrument, electronic musical instrument system, method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169645A (en) * 2000-12-01 2002-06-14 Toshiba Corp Mobile communication terminal
JP2004318826A (en) * 2003-04-04 2004-11-11 Mitsubishi Electric Corp Portable terminal device and character input method
JP2014098800A (en) * 2012-11-14 2014-05-29 Yamaha Corp Voice synthesizing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169645A (en) * 2000-12-01 2002-06-14 Toshiba Corp Mobile communication terminal
JP2004318826A (en) * 2003-04-04 2004-11-11 Mitsubishi Electric Corp Portable terminal device and character input method
JP2014098800A (en) * 2012-11-14 2014-05-29 Yamaha Corp Voice synthesizing apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加々見 翔太 他3名: "リアルタイム日本語歌唱鍵盤楽器"VOCALOID キーボード"の開発", 情報処理学会インタラクション2012予稿集, JPN6020043628, 17 March 2012 (2012-03-17), JP, pages 837 - 842, ISSN: 0004386155 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140151A1 (en) * 2022-01-19 2023-07-27 カシオ計算機株式会社 Information processing device, electronic musical instrument, electronic musical instrument system, method, and program
JP7544076B2 (en) 2022-01-19 2024-09-03 カシオ計算機株式会社 Information processing device, electronic musical instrument, electronic musical instrument system, method, and program

Also Published As

Publication number Publication date
JP6888351B2 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
US20210248986A1 (en) Stick Controller
US6388183B1 (en) Virtual musical instruments with user selectable and controllable mapping of position input to sound output
US11011145B2 (en) Input device with a variable tensioned joystick with travel distance for operating a musical instrument, and a method of use thereof
US9939910B2 (en) Dynamic effects processing and communications for wearable devices
JP6737996B2 (en) Handheld controller for computer, control system for computer and computer system
CN103885663A (en) Music generating and playing method and corresponding terminal thereof
US20180315405A1 (en) Sensor driven enhanced visualization and audio effects
JP6888351B2 (en) Input device, speech synthesizer, input method, and program
WO2011010134A4 (en) Musical instruments
US20180137770A1 (en) Musical instrument indicator apparatus, system, and method to aid in learning to play musical instruments
KR101817012B1 (en) Guitar with motion sensors
Overholt Advancements in violin-related human-computer interaction
JPS62157092A (en) Shoulder type electric drum
US8912420B2 (en) Enhancing music
Zanini The Augmented Drumstick
JP2013044889A (en) Music player
JP2017173591A (en) Voice synthesis control device and voice synthesis device
JP2017167249A (en) Performance device
Nichols Motion Capture for Musical Expression
Lehrman The wii remote as a musical instrument: Technology and case studies
JP2002287750A (en) Electronic stringed instrument
KR20120135134A (en) Guitar playing system, playing guitar and, method for displaying of guitar playing information
JP2016180906A (en) Musical performance support device
WO2018229746A1 (en) Musical instrument
DiGenova An introduction to some recent developments in gestural musical instruments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R151 Written notification of patent or utility model registration

Ref document number: 6888351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350