JP2018156417A - Input device and voice synthesis device - Google Patents
Input device and voice synthesis device Download PDFInfo
- Publication number
- JP2018156417A JP2018156417A JP2017052950A JP2017052950A JP2018156417A JP 2018156417 A JP2018156417 A JP 2018156417A JP 2017052950 A JP2017052950 A JP 2017052950A JP 2017052950 A JP2017052950 A JP 2017052950A JP 2018156417 A JP2018156417 A JP 2018156417A
- Authority
- JP
- Japan
- Prior art keywords
- input device
- unit
- consonant
- vowel
- consonants
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 78
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 78
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 32
- 239000011295 pitch Substances 0.000 abstract description 22
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 208000003028 Stuttering Diseases 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001166076 Diapheromera femorata Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
本発明は、ユーザーの操作に応じてリアルタイムで歌唱音声を合成する技術に関する。 The present invention relates to a technique for synthesizing a singing voice in real time according to a user operation.
ユーザーによる演奏及び歌詞の入力に応じて、リアルタイムで歌唱音声を合成及び再生する技術が知られている。例えば、非特許文献1には、母音を入力するためのキー及び演奏を入力するためのキーを有する歌唱音声合成装置が記載されている。
A technique for synthesizing and reproducing a singing voice in real time in accordance with a performance and lyrics input by a user is known. For example,
非特許文献1に記載の技術においては、入力できる歌詞が母音のみであり、合成される歌唱音声が単調であるという問題があった。
これに対し本発明は、母音及び子音を簡単な操作で音声合成装置に入力できるようにした入力装置を提供することを目的とする。
In the technique described in
On the other hand, an object of the present invention is to provide an input device capable of inputting vowels and consonants to a speech synthesizer with a simple operation.
本発明は、歌唱合成制御装置で合成する歌唱音声の歌詞の母音及び子音の一方を操作子に対する操作に応じて指定する第1指定部と、前記母音及び子音の他方を、自装置の動きに応じて指定する第2指定部と、前記指定された母音及び子音を、歌唱合成制御装置へ送信する送信部とを有する入力装置を提供する。 The present invention provides a first designating unit that designates one of the vowels and consonants of the lyrics of the singing voice synthesized by the singing synthesis control device according to an operation on the operation element, and the other of the vowels and the consonant is a movement of the device There is provided an input device having a second designating unit designated in response and a transmitting unit for transmitting the designated vowel and consonant to the singing synthesis control device.
この入力装置は、使用状態においてユーザーの指と接触する接触面を有する被把持部を有し、前記操作子は、前記被把持部における前記接触面に設けられてもよい。 The input device may include a gripped portion having a contact surface that contacts a user's finger in a use state, and the operation element may be provided on the contact surface of the gripped portion.
前記第2指定部は、前記入力装置を動かす方向に応じて前記母音及び子音の他方を指定してもよい。 The second designating unit may designate the other of the vowel and the consonant according to a direction in which the input device is moved.
上記いずれかの構成の入力装置と、歌唱合成制御装置とを備え、前記歌唱合成制御装置は、前記入力装置から前記指定された母音及び子音を受信する受信部と、1以上の操作子と、前記1以上の操作子に対する操作を検出する操作検出部と、前記操作検出部により前記操作が検出された前記操作子に応じて音高を決定する決定部と前記受信部により受信された前記母音及び子音と、前記決定部により決定された音高とを有する合成音声を生成する音声合成部とを有する音声合成装置を提供する。 An input device having any one of the above configurations and a singing synthesis control device, wherein the singing synthesis control device includes a receiving unit that receives the designated vowels and consonants from the input device, and one or more operators. An operation detection unit that detects an operation on the one or more operation elements, a determination unit that determines a pitch according to the operation element detected by the operation detection unit, and the vowel received by the reception unit And a speech synthesizer that generates a synthesized speech having a consonant and a pitch determined by the determination unit.
本発明によれば、母音及び子音を簡単な操作で音声合成装置に入力できるようにした入力装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the input device which enabled it to input a vowel and a consonant to a speech synthesizer by simple operation can be provided.
1.構成
図1は、本発明の一実施形態に係る音声合成装置1の概略構成を例示する図である。音声合成装置1は、リアルタイムで歌唱音声を合成する装置である。音声合成装置1は、入力装置10と、歌唱合成制御装置20とを含む。歌唱音声の合成には、少なくとも、歌詞及び音高の情報が必要である。この例において、歌詞は入力装置10において入力され、音高は歌唱合成制御装置20において入力される。入力装置10において入力された歌詞を伝達するため、入力装置10と歌唱合成制御装置20とは、情報を送受信するためのケーブル30を用いて、接続されている。ただし、入力装置10と歌唱合成制御装置20とは、有線ではなく、無線で接続されてもよい。
1. Configuration FIG. 1 is a diagram illustrating a schematic configuration of a
歌唱合成制御装置20は、歌唱合成を行う装置である。この例において、歌唱合成制御装置20は、電子ピアノで例示される鍵盤楽器を模した外観を有する。歌唱合成制御装置20は、前面に操作部21を備える。操作部21は、鍵を模した複数の操作子211を有する。歌唱合成制御装置20は、入力装置10から入力された歌詞と、いずれかの操作子211を押す操作に応じて決定した音高とに基づいて、歌唱音声の合成を制御する。
The song
入力装置10は、歌詞を入力するための装置である。歌詞は母音及び子音の組み合わせにより構成される。入力装置10は、棒状の形状を有する。入力装置10は、被把持部11と、発光部12とを含む。被把持部11は、ユーザーによって把持される部位である。発光部12は、発光する部位である。このように入力装置10は、ケミカルライトで例示される照明器具としても機能する。発光部12及びその制御には公知の技術が用いられる。
The
図2は、被把持部11の構成を例示する図である。被把持部11は、使用状態においてユーザーの指と接触する接触面11Aを有する。接触面11Aには、複数のスイッチ111〜116が設けられている。接触面11Aに設けられるスイッチは、例えばモーメンタリ型のプッシュ式スイッチである。このスイッチによれば、これらのスイッチを押している間はオンが入力され、スイッチが押されていない間はオフが入力される。スイッチは、オン/オフの入力が可能であれば、プッシュ式でなくてもよい。
FIG. 2 is a diagram illustrating the configuration of the
この実施形態では、歌詞を構成する母音及び子音のうちの母音については、スイッチ111〜114の操作によって指定される。例えば、スイッチ111のみが押されている間は、[a](あ)が指定される。スイッチ112のみが押されている間は、[i](い)が指定される。スイッチ113のみが押されている間は、[u](う)が指定される。スイッチ111及び112のみが押されている間は、[e](え)が指定される。スイッチ111及び113のみが押されている間は、[o](お)が指定される。
In this embodiment, the vowels of the vowels and consonants constituting the lyrics are designated by the operation of the
スイッチ114が押されている間は、拗音(半母音)の使用が指定される。例えば[ka](か)の拗音は[kja](きゃ)である。このため、スイッチ114が押されて間は、拗音を表現するために、母音[a]の直前に半母音[j]を挿入することが指定される。
While the
歌詞の母音及び子音のうちの子音については、スイッチ115及び116の操作、並びに入力装置10の動きによって指定される。この例において、入力装置10の「動き」は、入力装置10が振られることによる入力装置10の位置の変化(つまり移動)である。
The consonant of the vowel and consonant of the lyrics is designated by the operation of the
また、この実施形態では、入力装置10の動きによって清音が指定され、濁音の使用の有無はスイッチ115の操作、半濁音の使用の有無はスイッチ116の操作によって指定される。例えば、子音として[k](か行)が指定され、且つ濁音の使用が指定された場合、[g](が行)が指定される。また、子音として[h](は行)が指定され、且つ半濁音の使用が指定された場合、[p](ぱ行)が指定される。
In this embodiment, clear sound is designated by the movement of the
図3は、入力装置10の動きと、指定される子音との関係を例示する図である。ここで、入力装置10の下から上に延びる中心軸を「L」と規定する。入力装置10が、中心軸Lの軸方向に振られている間は、[k]が、その反対方向に振られている間は、[h]が指定される。入力装置10が、中心軸Lに対して時計回りに45度回転した方向に振られている間は、[s](さ行)が、その反対方向に振られている間は、[m](ま行)が指定される。入力装置10が、中心軸Lに対して時計回りに90度回転した方向に振られている間は、[t](た行)が、その反対方向に振られている間は、[y](や行)が指定される。入力装置10が、中心軸Lに対して時計回りに135度回転した方向に振られている間は、[n](な行)が、その反対方向に振られている間は、[r](ら行)が指定される。入力装置10がいずれの方向にも振られていない場合は、[a](あ行)が指定される。図3に示す矢印で示した方向以外に入力装置10が振られた場合は、最も近い方向に対応する子音が指定される。
FIG. 3 is a diagram illustrating the relationship between the movement of the
なお入力装置10の動きと、指定される子音との関係は図3の例に限定されない。図3の例では、入力装置10を地面に垂直に立てて用いた場合、地面にほぼ垂直な面における入力装置10の動きに応じて子音が定義される。しかし、図3の例における中心軸Lを、入力装置10において横(具体的には、例えば被把持部11においてスイッチが設けられた面に垂直な方向)に設定してもよい。この例によれば、地面にほぼ水平な面における入力装置10の動きに応じて子音が定義される。
The relationship between the movement of the
なお、[わ]、[を]、[ん]の各音は、例えば、スイッチ115をオンし、且つ入力装置10を動かさないことによって指定される。また、[ゃ]、[ゅ][ょ]という小書き文字を表現する場合は、これを指定するためのスイッチが別に設けられてもよい。
Note that the sounds [wa], [o], and [n] are specified by turning on the
図4は、入力装置10及び歌唱合成制御装置20の機能構成を例示する図である。入力装置10は、操作検出部101、第1指定部102、動き検出部103、第2指定部104及び送信部105を含む。操作検出部101は、スイッチ111〜116の各スイッチから入力される信号に基づいて、スイッチ111〜116の操作の状態を検出する。第1指定部102は、歌詞の母音及び子音のうちの母音を、操作検出部101により検出されたスイッチ111〜114の操作の状態に応じて指定する。動き検出部103は、入力装置10の動きを検出する。この実施形態では、動き検出部103は、図示せぬセンサからの情報に基づいて、少なくとも入力装置10の動かされた方向(振られた方向)を検出する。センサは、例えば、2軸又は3軸の加速度センサを含む。動き検出部103は、例えば、加速度センサによって計測された加速度、加速度から求められた速度、及び変位の大きさに基づいて、入力装置10の動きを検出する。動き検出部103は、加速度センサ以外のセンサを用いて、入力装置10の動きを検出してもよい。第2指定部104は、歌詞の母音及び子音のうちの子音を、動き検出部103により検出された入力装置10の動き、並びに操作検出部101により検出されたスイッチ115及び116の操作の状態に応じて指定する。送信部105は、第1指定部102により指定された母音及び第2指定部104により指定された子音を、歌唱合成制御装置20へ送信する。
FIG. 4 is a diagram illustrating a functional configuration of the
なお、入力装置10の各機能は、CPU(Central Processing Unit)で例示される演算処理装置、ROM(Read only memory)及びRAM(Random access memory)で例示されるメモリ、並びに通信モジュール等を搭載したプロセッサにより実装される。入力装置10の各機能は、例えば、プロセッサ及びプロセッサが実行するプログラムにより実装される。また、入力装置10の機能は2以上のプロセッサ又はプログラムにより実装されてもよい。
Each function of the
歌唱合成制御装置20は、受信部201、操作検出部202、決定部203、合成指示部204、音声合成部205及び音声出力部206を含む。受信部201は、入力装置10(送信部105)から、歌詞の母音及び子音を受信する。操作検出部202は、操作部21の各操作子211から入力される信号に基づいて、
各操作子211の操作の状態を検出する。決定部203は、操作検出部202の検出結果に基づいて、ユーザーにより押された操作子211に応じた音高を決定する。合成指示部204は、受信部201により受信された子音及び母音、並びに決定部203により決定された音高に基づいて、歌唱音声を合成するように、音声合成部205に指示する。音声合成部205は、合成指示部204からの合成指示に従って歌唱音声を合成して、歌唱音声(合成音声)を生成する。音声合成部205は、合成された歌唱音声を示す音信号を、音声出力部206に出力する。音声出力部206は、音声合成部205から出力された音信号に従って音を出力する。
The singing voice
The state of operation of each
なお、受信部201、操作検出部202、決定部203、合成指示部204及び音声合成部205の各機能は、CPUで例示される演算処理装置、ROM及びRAMで例示されるメモリ、並びに通信モジュール等を搭載したプロセッサにより実装される。歌唱合成制御装置20の各機能は、例えば、プロセッサ及びプロセッサが実行するプログラムにより実装される。また、歌唱合成制御装置20の機能は2以上のプロセッサ又はプログラムにより実装されてもよい。音声出力部206は、例えば、信号処理回路、増幅器及びスピーカを含む。
Note that each function of the receiving
2.動作
図5は、入力装置10及び歌唱合成制御装置20の動作を示すフローチャートである。図5のフローは、例えば、入力装置10及び歌唱合成制御装置20の電源がオンされている期間において実行される。
2. Operation FIG. 5 is a flowchart showing operations of the
入力装置10において、第1指定部102は、操作検出部101の検出結果に基づいて、スイッチ111〜113の少なくともいずれかが押されたか否かを判断する(ステップS11)。いずれのスイッチも押されていないと判断した場合(ステップS11;NO)、第1指定部102は、待機する。スイッチ111〜113の少なくともいずれかが押されたと判断した場合(ステップS11;YES)、第1指定部102は、母音を指定する(ステップS12)。第1指定部102は、スイッチ111〜113の操作状態に応じて、[a]、[i]、[u]、[e]、[o]のうちのいずれかの母音を指定し、また、スイッチ114の操作状態に応じて拗音を表現するための半母音を指定する。
In the
次に、動き検出部103は、入力装置10の動きを検出する(ステップS13)。第2指定部104は、動き検出部103により検出された入力装置10の動かされた方向、並びに操作検出部101により検出されたスイッチ115及びスイッチ116の操作状態に応じて、子音を指定する(ステップS14)。第2指定部104は、[a]、[k]、[s]、[t]、[n]、[h]、[m]、[g]、[z](ざ行)、[d](だ行)、[b](ば行)及び[p](ぱ行)のうちの、いずれかの子音を指定する。
Next, the
次に、送信部105は、指定された母音及び子音を、歌唱合成制御装置20へ送信する(ステップS15)。この送信後、入力装置10の処理はステップS11に戻される。即ち、スイッチ111〜113の少なくともいずれかが押されている間は、送信部105は、母音及び子音を歌唱合成制御装置20へ送信する。
Next, the
歌唱合成制御装置20において受信部201は、入力装置10から、母音及び子音を受信したか否かを判断する(ステップS21)。母音及び子音を受信していないと判断した場合(ステップS21;NO)、受信部201は待機する。母音及び子音が受信されたと判断した場合(ステップS21;YES)、決定部203は、操作検出部202の検出結果に基づいて、少なくともいずれかの操作子211が押されたか否かを判断する(ステップS22)。いずれの操作子211も押されていないと判断した場合(ステップS21;NO)、歌唱合成制御装置20の処理は、ステップS21に戻される。
In the singing
決定部203は、少なくともいずれかの操作子211が押されたと判断した場合(ステップS22;YES)、押された操作子211に応じた音高を決定する(ステップS23)。決定部203は、この操作子211に固有の音高を決定する。操作子211は鍵を模した操作子である。よって、より高い音高に対応する鍵に相当する操作子211が押された場合ほど、決定部203はより高い音高を決定するとよい。
If it is determined that at least one of the
合成指示部204は、受信された子音及び母音、並びに決定された音高に基づいて、歌唱音声を合成するように、音声合成部205に指示する(ステップS24)。具体的には、合成指示部204は、子音及び母音に従い決定された歌詞を発音記号に変換して、この発音記号及び決定した音高の音声を合成する指示を生成し、音声合成部205に出力する。音声合成部205は、入力された合成指示に従って歌唱音声を合成する(ステップS25)。歌唱音声の合成には公知の技術を用いることができるので、ここではその概要だけ説明する。音声合成部205は、素片ライブラリを有している。素片ライブラリは、ある特定の歌唱者の声からサンプリングした音楽素片(歌声の断片)を含むデータベースである。素片ライブラリには、その歌唱者の歌唱音声波形から採取された素片データが複数含まれている。素片データとは、歌唱音声波形から、音声学的な特徴部分を切り出して符号化した音声データをいう。
The synthesis instruction unit 204 instructs the
ここで、素片データについて、[さいた]という歌詞の歌唱音声を合成する場合を例として説明する。[さいた]という歌詞は発音記号で[saita]と表される。発音記号[saita]で表される音声の波形を特徴により分析すると、[s]の音の立ち上がり部分、[s]の音、[s]の音から[a]の音への遷移部分、[a]の音…と続き、[a]の音の減衰部分で終わる。各素片データは、これらの音声学的な特徴部分に対応する音声データである。素変ライブラリには、あらゆる音及び音の組み合わせに関する素片データが格納されている。以下の説明において、ある発音記号で表される音の立ち上がり部分に対応する素片データを、その発音記号の前に[#]を付けて、[#s]のように表す。また、ある発音記号で表される音の減衰部分に対応する素片データを、その発音記号の後に[#]を付けて、[a#]のように表す。また、ある発音記号で表される音から他の発音記号で表される音への遷移部分に対応する素片データを、それらの発音記号の間に[−]を入れて、[s−a]のように表す。 Here, the case of synthesizing the singing voice of the lyrics “sai” with respect to the segment data will be described as an example. The lyrics of [sai] are represented by phonetic symbols [saita]. When the waveform of the voice represented by the phonetic symbol [saita] is analyzed by features, the rising part of the sound of [s], the sound of [s], the transition part from the sound of [s] to the sound of [a], [ The sound of [a] is continued and ends with the attenuation part of the sound of [a]. Each piece of data is audio data corresponding to these phonetic features. The element change library stores element data relating to all sounds and combinations of sounds. In the following description, segment data corresponding to the rising portion of a sound represented by a phonetic symbol is represented as [#s] with [#] in front of the phonetic symbol. In addition, segment data corresponding to a sound attenuation portion represented by a certain phonetic symbol is expressed as [a #] by adding [#] after the phonetic symbol. Further, segment data corresponding to a transition portion from a sound represented by a certain phonetic symbol to a sound represented by another phonetic symbol is inserted between those phonetic symbols, and [s-a ].
例えば、[ぱ]という音声は、[#p]、[p]、[p−a]及び[a]という素片データを順番に並べて繋げることにより合成される。音声合成部205は、これらの素片データを組み合わせた後、音高を調整する。音声合成部205は、音高を調整した合成音声の音信号を出力する。音声出力部206は、音声合成部205から出力された音信号に従って合成音声を出力する(ステップS26)。
For example, a voice [Pa] is synthesized by arranging and connecting segment data [#p], [p], [pa] and [a] in order. The
次に、合成指示部204は、入力装置10から受信される母音又は子音が変化したか否かを判断する(ステップS27)。具体的には、合成指示部204は、母音及び子音の少なくとも一方が変化したか、並びに母音及び子音が受信されなくなったかを判断する。母音及び子音に変化がないと判断した場合(ステップS27;NO)、合成指示部204は音高の変更があるか否かを判断する(ステップS28)。具体的には、合成指示部204は、操作子211が押されなくなった(操作子211から指が離された)か、及び別の操作子211が押されたかを判断する。音高に変更がないと判断された場合は(ステップS28;NO)、合成指示部204は、新たな歌唱音声の合成を指示しない。具体的に葉、歌唱合成制御装置20の処理はステップS25に処理が戻され、音声合成部205は、音声出力部206を用いて、同じ歌詞(文字)の合成音声を出力し続ける(ステップS25,S26)。音声合成部205は、最後の母音(先の例では[a])を伸ばし続ける音信号を出力する。
Next, the synthesis instruction unit 204 determines whether or not the vowel or consonant received from the
一方、合成指示部204が入力装置10から受信される母音又は子音が変化したと判断された場合(ステップS27;YES)、又は音高が変更されたと判断した場合(ステップS28;YES)には、歌唱合成制御装置20の処理は、ステップS21に戻される。
そして、入力装置10から母音及び子音が受信され(ステップS21;YES)、更に操作子211の操作で音高が指定された場合には(ステップS22;YES)、合成指示部204は、新たな歌唱音声の合成を音声合成部205に指示し、歌唱音声の合成、及び合成音声の出力を行わせる(ステップS23〜S26)。
On the other hand, when the synthesis instruction unit 204 determines that the vowel or consonant received from the
When the vowel and the consonant are received from the input device 10 (step S21; YES) and the pitch is specified by the operation of the operator 211 (step S22; YES), the synthesis instruction unit 204 receives a new one. The
以上説明した音声合成装置1によれば、ユーザーは片方の手で入力装置10を持ち、スイッチを押す操作と入力装置10を動かす動作とによって、歌詞の母音及び子音を指定することができる。更に、ユーザーは他方の手で歌唱合成制御装置20を操作することによって、歌詞の音高を指定することができる。よって、ユーザーは、歌詞の母音、子音及び音高を簡単に指定して、歌唱合成制御装置20に合成音声を出力させることができる。
According to the
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
3. Modifications The present invention is not limited to the above-described embodiments, and various modifications can be made. Hereinafter, some modifications will be described. Two or more of the following modifications may be used in combination.
3−1.被把持部11
図6は、変形例に係る被把持部11の構造を例示する図であり、図7は、被把持部11の動きと指定される子音との関係を例示する図である。被把持部11の接触面11Aに設けられるスイッチの種類及び数は、図2の例に限定されない。この変形例では、図6に示すように、接触面11Aにおいて、濁音を指定するスイッチ115及び半濁音を指定する116が設けられておらず、代わりに、モードを切り替えるスイッチ117が設けられている。第1指定部102は、スイッチ117がオフされている間は、図7の左側の図に示すように、子音として[a]、[k]、[s]、[t]、[n]、[h]、[m]、[y]、[r]を指定可能とする。一方、第1指定部102は、スイッチ117がオンされている間は、図7の右側の図に示すように、子音として[y]、[w]、[g]、[z]、[d]、[b]、[p]を指定可能とする。
3-1. Grasping
FIG. 6 is a diagram illustrating the structure of the gripped
図8は、別の変形例に係る被把持部11の構造を例示する図であり、図9は、被把持部11の動きと指定される子音との関係を例示する図である。入力装置10は、接触面11Aに設けられたスイッチの操作に応じて子音を、入力装置10の動きに応じて母音を指定してもよい。この例では図8に示すように、接触面11Aに、子音を指定するためのスイッチとして、スイッチ111〜114及び118が設けられている。この場合、4つのスイッチ111〜113及び118のオン/オフの組み合わせにより、清音、濁音及び半濁音を含む計16個の子音を指定することができる。スイッチ114は、上述した実施形態と同様、拗音の使用の有無を指定するためのスイッチである。図9に示すように、この変形例では、第1指定部102及び第2指定部104に代えて、第1指定部106及び第2指定部107が設けられている。第1指定部106は、歌詞の母音及び子音のうちの子音を、操作検出部101により検出されたスイッチ111〜113及び118の操作の状態に応じて指定する。第2指定部107は、歌唱音声の歌詞の母音及び子音のうちの母音を、スイッチ114の操作の状態及び動き検出部103により検出された入力装置10の動きに応じて指定する。送信部105は、第1指定部106により指定された子音及び第2指定部107により指定された母音を、歌唱合成制御装置20へ送信する。歌唱合成制御装置20の構成は、上述した実施形態と同じでよい。
FIG. 8 is a diagram illustrating the structure of the grasped
図10は、この変形例に係る入力装置10及び歌唱合成制御装置20の動作を示すフローチャートである。図10のフローは、例えば、入力装置10及び歌唱合成制御装置20の電源がオンされている間において、実行される。入力装置10において、第1指定部106は、操作検出部101の検出結果に基づいて、スイッチ111〜113及び118の少なくともいずれかが押されたか否かを判断する(ステップS31)。いずれのスイッチも押されていないと判断した場合(ステップS31;NO)、第1指定部106は、待機する。スイッチ111〜113及び118の少なくともいずれかが押されたと判断した場合(ステップS31;YES)、第1指定部106は、子音を指定する(ステップS32)。
FIG. 10 is a flowchart showing operations of the
次に、動き検出部103は、入力装置10の動きを検出する(ステップS33)。第2指定部107は、動き検出部103により検出された入力装置10の動かされた方向に応じて、母音を指定する(ステップS34)。
Next, the
次に、送信部105は、指定された子音及び母音を、歌唱合成制御装置20へ送信する(ステップS35)。この送信後、入力装置10の処理はステップS31に戻される。即ち、スイッチ111〜113及び118の少なくともいずれかが押されている間は、送信部105は、子音及び母音を歌唱合成制御装置20へ送信する。
Next, the
3−2.入力装置10の動きと子音との関係
上述した実施形態で説明した入力装置10の動きの方向と指定される子音との関係は、一例に過ぎない。例えば3軸の直交座標系を規定して、軸方向毎に異なる子音を対応させてもよい。また、入力装置10の動きは、入力装置10の振動に限られず、入力装置10の姿勢の変化(回転、ひねり)等であってもよい。入力装置10は、その動きに応じた子音又は母音が指定するように構成されていればよい。
3-2. The relationship between the movement of the
3−3.他の変形例
入力装置10の具体的形状は、実施形態において例示したものに限定されない。例えば、入力装置10は、交通整理のための誘導灯等の、棒状に形成された装置であってもよい。また、入力装置10は、照明機能を有さなくてもよく、例えば、杖又は指揮棒であってもよい。また、入力装置10の形状は棒状であるものに限られず、例えば、ダンベル、又はユーザーの身体の部位に装着される装置(例えば、グローブ型の装置)等の、棒状でない装置であってもよい。また、入力装置10は、携帯型のデバイス(例えば、スマートフォン)であってもよい。この場合、入力装置10は、タッチスクリーンの表面をなぞるユーザーの指の動きを検出し、その動きに応じた母音又は子音を指定してもよい。この場合、タッチスクリーン上で指が移動した方向と、母音又は子音とが対応付けられていればよい。
3-3. Other Modifications The specific shape of the
入力装置10は、母音又は子音の指定に用いられるスイッチが押されている期間においてのみ、入力装置10の動きを検出してもよい。これにより、常に入力装置10の動きを検知する場合に比べて、入力装置10消費電力の低減が期待できる。
The
入力装置において母音又は子音の指定に用いられる操作子は、モーメンタリ型のスイッチに限定されない。モーメンタリ型のスイッチに代えて、又は加えて、オルタネイト型のスイッチが用いられてもよい。あるいは、スイッチに代えて、又は加えて、レバー、スライダー、又はダイヤル等が用いられてもよい。 An operator used for designating a vowel or consonant in the input device is not limited to a momentary switch. Instead of or in addition to the momentary switch, an alternate switch may be used. Alternatively, a lever, a slider, a dial, or the like may be used instead of or in addition to the switch.
歌唱合成制御装置20は、電子鍵盤楽器を模した外観を有していなくてもよく、弦楽器や、管楽器、吹奏楽器等の楽器を模した外観を有していてもよいし、楽器を模した外観でなくてもよい。歌唱合成制御装置20は、少なくとも歌唱音声の合成を制御する機能を有していればよい。操作部21に含まれる操作子の数も、1以上の数であれば、いくつでもよい。
The singing
上述した実施形態で説明した入力装置10及び歌唱合成制御装置20の構成又は動作の一部が省略されてもよい。例えば、入力装置10が、拗音、濁音及び半濁音の少なくともいずれかを指定しない構成であってもよい。
A part of the configuration or operation of the
1…音声合成装置、10…入力装置、101…操作検出部、102…第1指定部、103…動き検出部、104…第2指定部、105…送信部、106…第1指定部、107…第2指定部、11…被把持部、11A…接触面、111〜118…スイッチ、12…発光部、20…歌唱合成制御装置、201…受信部、202…操作検出部、203…決定部、204…合成指示部、205…音声合成部、206…音声出力部、21…操作部、211…操作子、30…ケーブル。
DESCRIPTION OF
Claims (4)
前記母音及び子音の他方を、自装置の動きに応じて指定する第2指定部と、
前記指定された母音及び子音を、歌唱合成制御装置へ送信する送信部と
を有する入力装置。 A first designation unit that designates one of the vowels and consonants of the lyrics of the singing voice to be synthesized by the singing synthesis control device according to an operation on the operator;
A second designating unit for designating the other of the vowels and consonants according to the movement of the device;
An input device comprising: a transmitter that transmits the designated vowels and consonants to the singing synthesis control device.
前記操作子は、前記被把持部における前記接触面に設けられる
請求項1に記載の入力装置。 Having a gripped portion having a contact surface that comes into contact with a user's finger in use;
The input device according to claim 1, wherein the operation element is provided on the contact surface of the gripped portion.
請求項1又は2に記載の入力装置。 The input device according to claim 1, wherein the second designation unit designates the other of the vowel and the consonant according to a direction in which the input device is moved.
歌唱合成制御装置と
を備え、
前記歌唱合成制御装置は、
前記入力装置から前記指定された母音及び子音を受信する受信部と、
1以上の操作子と、
前記1以上の操作子に対する操作を検出する操作検出部と、
前記操作検出部により前記操作が検出された前記操作子に応じて音高を決定する決定部と
前記受信部により受信された前記母音及び子音と、前記決定部により決定された音高とを有する合成音声を生成する音声合成部と
を有する音声合成装置。 An input device according to any one of claims 1 to 3,
A singing synthesis control device,
The singing synthesis control device is
A receiving unit for receiving the designated vowel and consonant from the input device;
One or more controls,
An operation detection unit for detecting an operation on the one or more operators;
A determination unit that determines a pitch according to the operation element for which the operation is detected by the operation detection unit; a vowel and a consonant received by the reception unit; and a pitch determined by the determination unit. A speech synthesizer comprising: a speech synthesizer that generates synthesized speech.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052950A JP6888351B2 (en) | 2017-03-17 | 2017-03-17 | Input device, speech synthesizer, input method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052950A JP6888351B2 (en) | 2017-03-17 | 2017-03-17 | Input device, speech synthesizer, input method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018156417A true JP2018156417A (en) | 2018-10-04 |
JP6888351B2 JP6888351B2 (en) | 2021-06-16 |
Family
ID=63717315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017052950A Active JP6888351B2 (en) | 2017-03-17 | 2017-03-17 | Input device, speech synthesizer, input method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6888351B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023140151A1 (en) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | Information processing device, electronic musical instrument, electronic musical instrument system, method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169645A (en) * | 2000-12-01 | 2002-06-14 | Toshiba Corp | Mobile communication terminal |
JP2004318826A (en) * | 2003-04-04 | 2004-11-11 | Mitsubishi Electric Corp | Portable terminal device and character input method |
JP2014098800A (en) * | 2012-11-14 | 2014-05-29 | Yamaha Corp | Voice synthesizing apparatus |
-
2017
- 2017-03-17 JP JP2017052950A patent/JP6888351B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002169645A (en) * | 2000-12-01 | 2002-06-14 | Toshiba Corp | Mobile communication terminal |
JP2004318826A (en) * | 2003-04-04 | 2004-11-11 | Mitsubishi Electric Corp | Portable terminal device and character input method |
JP2014098800A (en) * | 2012-11-14 | 2014-05-29 | Yamaha Corp | Voice synthesizing apparatus |
Non-Patent Citations (1)
Title |
---|
加々見 翔太 他3名: "リアルタイム日本語歌唱鍵盤楽器"VOCALOID キーボード"の開発", 情報処理学会インタラクション2012予稿集, JPN6020043628, 17 March 2012 (2012-03-17), JP, pages 837 - 842, ISSN: 0004386155 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023140151A1 (en) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | Information processing device, electronic musical instrument, electronic musical instrument system, method, and program |
JP7544076B2 (en) | 2022-01-19 | 2024-09-03 | カシオ計算機株式会社 | Information processing device, electronic musical instrument, electronic musical instrument system, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6888351B2 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210248986A1 (en) | Stick Controller | |
US6388183B1 (en) | Virtual musical instruments with user selectable and controllable mapping of position input to sound output | |
US11011145B2 (en) | Input device with a variable tensioned joystick with travel distance for operating a musical instrument, and a method of use thereof | |
US9939910B2 (en) | Dynamic effects processing and communications for wearable devices | |
JP6737996B2 (en) | Handheld controller for computer, control system for computer and computer system | |
CN103885663A (en) | Music generating and playing method and corresponding terminal thereof | |
US20180315405A1 (en) | Sensor driven enhanced visualization and audio effects | |
JP6888351B2 (en) | Input device, speech synthesizer, input method, and program | |
WO2011010134A4 (en) | Musical instruments | |
US20180137770A1 (en) | Musical instrument indicator apparatus, system, and method to aid in learning to play musical instruments | |
KR101817012B1 (en) | Guitar with motion sensors | |
Overholt | Advancements in violin-related human-computer interaction | |
JPS62157092A (en) | Shoulder type electric drum | |
US8912420B2 (en) | Enhancing music | |
Zanini | The Augmented Drumstick | |
JP2013044889A (en) | Music player | |
JP2017173591A (en) | Voice synthesis control device and voice synthesis device | |
JP2017167249A (en) | Performance device | |
Nichols | Motion Capture for Musical Expression | |
Lehrman | The wii remote as a musical instrument: Technology and case studies | |
JP2002287750A (en) | Electronic stringed instrument | |
KR20120135134A (en) | Guitar playing system, playing guitar and, method for displaying of guitar playing information | |
JP2016180906A (en) | Musical performance support device | |
WO2018229746A1 (en) | Musical instrument | |
DiGenova | An introduction to some recent developments in gestural musical instruments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210503 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6888351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |