JP2016085309A - Musical sound estimation device and program - Google Patents
Musical sound estimation device and program Download PDFInfo
- Publication number
- JP2016085309A JP2016085309A JP2014216990A JP2014216990A JP2016085309A JP 2016085309 A JP2016085309 A JP 2016085309A JP 2014216990 A JP2014216990 A JP 2014216990A JP 2014216990 A JP2014216990 A JP 2014216990A JP 2016085309 A JP2016085309 A JP 2016085309A
- Authority
- JP
- Japan
- Prior art keywords
- musical sound
- stability
- input
- evaluation
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 81
- 230000005236 sound signal Effects 0.000 claims abstract description 80
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims description 161
- 238000000034 method Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
Description
この発明は、楽器を演奏した際の楽音を評価する技術に関する。 The present invention relates to a technique for evaluating a musical sound when a musical instrument is played.
楽器が正規のピッチに調律されているかを確認するために、楽音の周波数と各音名に割り当てられた基準周波数とのずれを視覚的に表示する調律器が用いられている（例えば、特許文献１参照）。特許文献１の調律器は、入力された楽音信号の基本周期により音名を特定し、特定された音名に従って各音名に割当てた色を多色発光素子で発光させると共に、楽音信号の基準周波数からのピッチ誤差値に従って多色発光素子の発光量を制御する。したがって、特許文献１の調律器によれば、調律しようとしている楽音の音名とピッチ誤差の大きさを視覚的に確認することができる。 In order to check whether or not the instrument is tuned to a regular pitch, a tuner that visually displays the deviation between the frequency of the musical sound and the reference frequency assigned to each note name is used (for example, Patent Documents). 1). The tuning device of Patent Document 1 specifies a pitch name based on the basic period of an input musical tone signal, causes a color assigned to each pitch name to emit light according to the specified pitch name, and emits a reference of the musical tone signal. The light emission amount of the multicolor light emitting element is controlled according to the pitch error value from the frequency. Therefore, according to the tuning device of Patent Document 1, it is possible to visually confirm the pitch name of the musical tone to be tuned and the magnitude of the pitch error.
事前に録音された伴奏に合わせてユーザが歌唱するカラオケ装置において、音声のピッチと楽曲の正規のピッチとのずれを得点化して視覚的に表示する歌唱採点システムがある（例えば、特許文献２参照）。特許文献２の歌唱採点システムは、ユーザが歌唱した楽曲に関する歌唱パラメータを、その楽曲において発声すべき正しい音声に基づく理想パラメータと対比することにより、ユーザの歌声に対する評価値を算出する。したがって、特許文献２の歌唱採点システムによれば、ユーザは自分の歌声がどれだけ理想的な歌声に近いかを視覚的に確認することができる。 In a karaoke apparatus in which a user sings in accordance with a pre-recorded accompaniment, there is a singing scoring system for scoring and visually displaying the difference between the pitch of voice and the regular pitch of music (for example, see Patent Document 2). ). The singing scoring system of Patent Document 2 calculates an evaluation value for a user's singing voice by comparing a singing parameter relating to a song sung by the user with an ideal parameter based on the correct voice to be uttered in the song. Therefore, according to the singing scoring system of Patent Document 2, the user can visually check how close his / her singing voice is to an ideal singing voice.
楽器の演奏音が良い音であるかどうかはピッチの正確性のみでは評価できず、様々な要素を総合的に評価する必要がある。特に、楽器の演奏方法に熟練していない初心者は、自らが演奏した楽音が良い音であるかどうかを判断する技量に乏しく、指導者による助言に従って繰り返し練習する他に上達方法がなかった。 Whether or not the performance sound of a musical instrument is a good sound cannot be evaluated only by the accuracy of the pitch, and various factors must be comprehensively evaluated. In particular, beginners who are not proficient in playing musical instruments have poor skills to determine whether the musical sound they played is a good sound, and there was no way to improve other than repetitively practicing according to the advice of the instructor.
この発明は、楽器の演奏者に対して楽音の評価指標を提示することができる楽音評価技術を提供することである。 An object of the present invention is to provide a musical tone evaluation technique capable of presenting musical tone evaluation indices to musical instrument players.
上記の課題を解決するために、この発明の第一の態様の楽音評価装置は、楽器の理想的な演奏を録音した参考楽音信号から抽出した参考特徴量を記憶する参考特徴量記憶部と、評価の対象とする入力楽音信号から抽出した特徴量における周波数スペクトルの分布状態と参考特徴量における周波数スペクトルの分布状態とを比較することで入力楽音信号のリッチネスを算出するリッチネス算出部と、リッチネスを入力楽音信号の評価結果として出力する評価結果出力部と、を含む。 In order to solve the above problems, the musical tone evaluation apparatus according to the first aspect of the present invention includes a reference feature amount storage unit that stores a reference feature amount extracted from a reference musical tone signal obtained by recording an ideal performance of a musical instrument, A richness calculation unit that calculates the richness of the input musical sound signal by comparing the distribution state of the frequency spectrum in the feature amount extracted from the input musical sound signal to be evaluated with the distribution state of the frequency spectrum in the reference feature amount; An evaluation result output unit that outputs the evaluation result of the input musical sound signal.
この発明の第二の態様の楽音評価装置は、楽器の理想的な演奏を録音した参考楽音信号から抽出した参考特徴量を記憶する参考特徴量記憶部と、評価の対象とする入力楽音信号からアタック区間を検出する音節検出部と、入力楽音信号のアタック区間から抽出した特徴量におけるノイズの量及びピッチの変化と参考特徴量におけるノイズの量及びピッチの変化とを比較することで入力楽音信号のアタック明瞭度を算出するアタック明瞭度算出部と、アタック明瞭度を入力楽音信号の評価結果として出力する評価結果出力部と、を含む。 A musical tone evaluation apparatus according to a second aspect of the present invention includes a reference feature amount storage unit that stores a reference feature amount extracted from a reference musical tone signal obtained by recording an ideal performance of a musical instrument, and an input musical tone signal to be evaluated. An input musical tone signal by comparing the syllable detection unit for detecting an attack interval and the noise amount and pitch change in the feature amount extracted from the attack interval of the input musical sound signal with the noise amount and pitch change in the reference feature amount. An attack intelligibility calculating unit that calculates the attack intelligibility of the sound, and an evaluation result output unit that outputs the attack intelligibility as an evaluation result of the input musical sound signal.
この発明の第三の態様の楽音評価装置は、評価の対象とする入力楽音信号からピッチを検出し、所定の時間区間におけるピッチの変化の度合いを表す音高安定度を算出する音高安定度算出部と、入力楽音信号から音量を算出し、時間区間における音量の変化の度合いを表す音量安定度を算出する音量安定度算出部と、入力楽音信号から周波数スペクトルを算出し、時間区間における周波数スペクトルの変化の度合いを表す音色安定度を算出する音色安定度算出部と、音高安定度、音量安定度及び音色安定度を入力楽音信号の評価結果として出力する評価結果出力部と、を含む。 A musical tone evaluation apparatus according to a third aspect of the present invention detects a pitch from an input musical tone signal to be evaluated, and calculates a pitch stability that indicates a degree of pitch change in a predetermined time interval. A calculation unit, a volume stability calculation unit that calculates a volume stability from the input musical sound signal, calculates a volume stability representing a degree of change in volume in the time interval, calculates a frequency spectrum from the input musical sound signal, and calculates a frequency in the time interval A timbre stability calculation unit that calculates timbre stability representing the degree of spectrum change, and an evaluation result output unit that outputs pitch stability, volume stability, and timbre stability as evaluation results of the input musical sound signal. .
この発明の第四の態様の楽音評価装置は、楽器の理想的な演奏を録音した参考楽音信号から抽出した参考特徴量を記憶する参考特徴量記憶部と、評価の対象とする入力楽音信号からアタック区間を検出する音節検出部と、入力楽音信号から抽出した特徴量における周波数スペクトルの分布状態と参考特徴量における周波数スペクトルの分布状態とを比較することで入力楽音信号のリッチネスを算出するリッチネス算出部と、入力楽音信号のアタック区間から抽出した特徴量におけるノイズの量及びピッチの変化と参考特徴量におけるノイズの量及びピッチの変化とを比較することで入力楽音信号のアタック明瞭度を算出するアタック明瞭度算出部と、入力楽音信号からピッチを検出し、所定の時間区間におけるピッチの変化の度合いを表す音高安定度を算出する音高安定度算出部と、入力楽音信号から音量を算出し、時間区間における音量の変化の度合いを表す音量安定度を算出する音量安定度算出部と、入力楽音信号から周波数スペクトルを算出し、時間区間における周波数スペクトルの変化の度合いを表す音色安定度を算出する音色安定度算出部と、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度を入力楽音信号の評価結果として出力する評価結果出力部と、を含む。 A musical tone evaluation apparatus according to a fourth aspect of the present invention includes a reference feature amount storage unit that stores a reference feature amount extracted from a reference musical tone signal obtained by recording an ideal performance of a musical instrument, and an input musical tone signal to be evaluated. Richness calculation that calculates the richness of the input musical sound signal by comparing the distribution state of the frequency spectrum in the feature amount extracted from the input musical sound signal and the distribution state of the frequency spectrum in the reference feature amount, and a syllable detection unit that detects the attack period And the change in noise and pitch in the feature value extracted from the attack section of the input music signal and the change in noise and pitch in the reference feature value are calculated to calculate the attack clarity of the input music signal Sound that expresses the degree of change in pitch in a given time interval by detecting the pitch from the input musical sound signal and the attack clarity calculation unit A pitch stability calculation unit that calculates the stability, a volume stability calculation unit that calculates a volume from the input music signal, and calculates a volume stability that represents the degree of change in volume in the time interval, and a frequency from the input music signal A tone color stability calculation unit that calculates the spectrum and calculates the tone color stability that represents the degree of change in the frequency spectrum in the time interval, and inputs the richness, attack clarity, pitch stability, volume stability, and tone stability. And an evaluation result output unit that outputs the signal as an evaluation result.
この発明によれば、楽器の演奏者に対して楽音の評価指標を提示することができる。これにより、楽器の演奏者は自らの演奏手法がどの程度の熟練度にあるのかを容易に把握することができる。したがって、楽器の演奏者がより良い楽音を発する演奏手法を習得することを支援することができる。 According to the present invention, it is possible to present a musical sound evaluation index to a musical instrument player. As a result, the player of the musical instrument can easily grasp the level of skill of the performance technique of the instrument. Therefore, it is possible to support the musical instrument player to learn a performance technique for generating a better musical sound.
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. In addition, the same number is attached | subjected to the component which has the same function in drawing, and duplication description is abbreviate | omitted.
［第一実施形態］
この発明の第一実施形態は、スタンドアローン型の楽音評価装置である。すなわち、単独の機器である楽音評価装置に対して評価対象の楽音信号が入力され、その評価結果が出力される構成である。
[First embodiment]
The first embodiment of the present invention is a stand-alone musical tone evaluation apparatus. That is, a musical tone signal to be evaluated is input to a musical tone evaluation apparatus that is a single device, and the evaluation result is output.
第一実施形態の楽音評価装置１は、図１に示すように、入力端子１０、Ａ／Ｄ変換部１１、ラウドネス算出部１２、音節検出部１３、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６、リッチネス算出部１７、アタック明瞭度算出部１８、総合得点算出部１９、グラフ化部２０、評価結果出力部２１及び参考特徴量記憶部２２を例えば含む。 As shown in FIG. 1, the musical tone evaluation apparatus 1 according to the first embodiment includes an input terminal 10, an A / D converter 11, a loudness calculator 12, a syllable detector 13, a pitch stability calculator 14, and a volume stability. For example, the calculation unit 15 includes a tone color stability calculation unit 16, a richness calculation unit 17, an attack clarity calculation unit 18, a total score calculation unit 19, a graphing unit 20, an evaluation result output unit 21, and a reference feature amount storage unit 22.
楽音評価装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。楽音評価装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。楽音評価装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、楽音評価装置１の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。 The musical tone evaluation apparatus 1 is a special configuration in which a special program is read into a known or dedicated computer having a central processing unit (CPU), a main storage (RAM), and the like. Device. The musical tone evaluation apparatus 1 executes each process under the control of the central processing unit, for example. The data input to the musical tone evaluation device 1 and the data obtained in each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out as necessary and used for other processing. Is done. Further, at least a part of each processing unit of the musical tone evaluation apparatus 1 may be configured by hardware such as an integrated circuit.
楽音評価装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。 Each storage unit included in the musical tone evaluation apparatus 1 includes, for example, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory, or It can be configured with middleware such as a relational database or key-value store.
楽音評価装置１の入力端子１０には、評価の対象とする楽音信号（以下、入力楽音信号という。）が入力される。入力楽音信号は各種の楽器を演奏した際の演奏音が収録された音響信号である。演奏される楽器の種類は限定されず、例えばバイオリンやチェロのような弦楽器であってもよいし、トランペットやクラリネット、フルートのような管楽器であってもよい。入力楽音信号は、マイクロホン等の収音手段を入力端子１０へ接続してリアルタイムに楽器の演奏音を収音したものであってもよいし、あらかじめ楽器の演奏音をICレコーダーやスマートフォンの録音機能のような録音手段で不揮発性メモリやハードディスクドライブのような記録媒体へ録音し、入力端子１０へ接続した再生手段により再生することで入力してもよい。 A musical tone signal to be evaluated (hereinafter referred to as an input musical tone signal) is input to the input terminal 10 of the musical tone evaluation apparatus 1. The input musical sound signal is an acoustic signal in which performance sounds when various musical instruments are played are recorded. The type of musical instrument to be played is not limited, and may be a stringed instrument such as a violin or cello, or a wind instrument such as a trumpet, clarinet, or flute. The input musical sound signal may be obtained by connecting the sound collecting means such as a microphone to the input terminal 10 and collecting the performance sound of the musical instrument in real time, or the performance sound of the musical instrument is recorded in advance on the IC recorder or the smartphone. Recording may be performed on a recording medium such as a non-volatile memory or a hard disk drive by a recording means such as that described above, and may be input by being reproduced by a reproducing means connected to the input terminal 10.
楽音評価装置１でリアルタイムに演奏している楽音の評価をする場合には、評価対象の楽音を収音可能な位置に楽音評価装置１を設置する必要があるため、楽音評価装置１は携帯可能な装置として構成するとよい。具体的には、例えば、携帯電話やスマートフォン、タブレット端末、モバイルコンピュータ等のようにマイクロホンを内蔵した汎用の情報処理装置に楽音評価装置１の機能を実装したアプリケーションプログラムをインストールして構成してもよいし、マイクロコンピュータを内蔵した小型の専用機器として構成してもよい。 When the musical sound being played in real time is evaluated by the musical sound evaluation device 1, the musical sound evaluation device 1 must be installed at a position where the musical sound to be evaluated can be picked up. Therefore, the musical sound evaluation device 1 is portable. It may be configured as a simple device. Specifically, for example, an application program that implements the function of the musical tone evaluation device 1 may be installed in a general-purpose information processing device with a built-in microphone such as a mobile phone, a smartphone, a tablet terminal, or a mobile computer. Alternatively, it may be configured as a small dedicated device incorporating a microcomputer.
参考特徴量記憶部２２には、評価の参考とする楽音信号（以下、参考楽音信号という）と、参考楽音信号から抽出した特徴量（以下、参考特徴量という）とが、関連付けて記憶されている。参考楽音信号は、理想的な演奏方法により演奏された際の演奏音を収音した音響信号である。参考特徴量記憶部２２には、楽器の種類別や楽器の機種別、奏法の種類別など、任意の基準で分類して複数種類の参考楽音信号が記憶されていてもよい。 In the reference feature quantity storage unit 22, a musical sound signal (hereinafter referred to as a reference musical sound signal) used as a reference for evaluation and a characteristic quantity extracted from the reference musical sound signal (hereinafter referred to as a reference characteristic quantity) are stored in association with each other. Yes. The reference musical sound signal is an acoustic signal obtained by collecting performance sounds when played by an ideal performance method. The reference feature quantity storage unit 22 may store a plurality of types of reference musical sound signals classified according to an arbitrary standard, such as by instrument type, instrument type, or performance type.
以下、図２を参照して、第一実施形態の楽音評価装置１の処理手続きを説明する。 Hereinafter, with reference to FIG. 2, the processing procedure of the musical tone evaluation apparatus 1 of the first embodiment will be described.
ステップＳ１１において、Ａ／Ｄ変換部１１は、入力端子１０から入力された入力楽音信号をデジタル信号に変換する。入力端子１０からの入力楽音信号がデジタル信号である場合にはＡ／Ｄ変換部１１は備えなくともよい。デジタル信号である入力楽音信号は、ラウドネス算出部１２、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６、リッチネス算出部１７、アタック明瞭度算出部１８及び総合得点算出部１９へ入力される。 In step S11, the A / D converter 11 converts the input musical sound signal input from the input terminal 10 into a digital signal. When the input musical sound signal from the input terminal 10 is a digital signal, the A / D converter 11 may not be provided. The input musical sound signal which is a digital signal includes a loudness calculation unit 12, a pitch stability calculation unit 14, a volume stability calculation unit 15, a timbre stability calculation unit 16, a richness calculation unit 17, an attack intelligibility calculation unit 18, and an overall score. Input to the calculation unit 19.
ステップＳ１２において、ラウドネス算出部１２は、入力楽音信号から音量を算出する。音量の算出方法は周知のいかなる方法をも適用することができる。利用可能な音量算出方法としては、例えば、「特開２００８−０９６６９８号公報」に記載のものが挙げられる。算出した音量は、音量安定度算出部１５へ入力される。 In step S12, the loudness calculation unit 12 calculates the volume from the input musical sound signal. Any known method can be applied to the sound volume calculation method. Examples of the volume calculation method that can be used include those described in “JP 2008-096698 A”. The calculated volume is input to the volume stability calculator 15.
ステップＳ１３において、音節検出部１３は、入力楽音信号から音の有無を検出し、アタック区間を検出する。一般に楽器の音は、発音開始時に周波数が高く、その後周波数が低下して一定の周波数に安定する。音楽の分野では、発音直後の部分をアタック、アタック部分からピッチが漸次低下していく部分をデケイ、ピッチが安定した部分をサスティーンと称している。したがって、音節検出部１３は、例えば、無音区間、有音でありアタックに該当する区間、有音でありサスティーンに該当する区間に、入力楽音信号を分類する。アタックの検出方法は周知のいかなる方法をも適用することができる。利用可能なアタック検出方法としては、例えば、「特許第４０８４４７０号公報」に記載のものが挙げられる。音節検出部１３は、入力楽音信号がアタック区間である場合に、アタック明瞭度算出部１９へ通知する。 In step S13, the syllable detection unit 13 detects the presence or absence of sound from the input musical sound signal and detects an attack section. In general, the sound of a musical instrument has a high frequency at the start of sound generation, and then the frequency decreases and stabilizes at a constant frequency. In the field of music, the part immediately after pronunciation is called attack, the part where the pitch gradually decreases from the attack part is called decay, and the part where the pitch is stable is called sustain. Therefore, the syllable detection unit 13 classifies the input musical sound signal into, for example, a silent section, a section that is sound and corresponds to an attack, and a section that is sound and corresponds to a sustain. Any known method can be applied to the attack detection method. Examples of the attack detection method that can be used include those described in “Japanese Patent No. 4084470”. The syllable detection unit 13 notifies the attack intelligibility calculation unit 19 when the input musical sound signal is an attack section.
ステップＳ１４において、音高安定度算出部１４は、入力楽音信号からピッチを検出し、所定の時間区間における音高安定度を算出する。音高安定度とは、評価対象の楽音におけるピッチの変化の度合いを表す評価指標である。一般的に楽器の演奏はピッチのふらつきが少ない方が良い音であると感じられる。したがって、ピッチの変化の度合いが小さい方が高い音高安定度を与えられるようにする。所定の時間区間は楽器の種類や楽器の機種、奏法の種類などにより調整すればよい。例えば、所定の時間区間は直近１秒間などに設定する。算出した音高安定度は、グラフ化部２０へ入力される。 In step S14, the pitch stability calculation unit 14 detects the pitch from the input musical sound signal, and calculates the pitch stability in a predetermined time interval. The pitch stability is an evaluation index representing the degree of pitch change in the musical sound to be evaluated. In general, playing a musical instrument feels better when there is less fluctuation in pitch. Therefore, higher pitch stability can be provided when the degree of change in pitch is smaller. The predetermined time interval may be adjusted according to the type of musical instrument, the type of musical instrument, the type of performance method, and the like. For example, the predetermined time interval is set to the last one second. The calculated pitch stability is input to the graphing unit 20.
ステップＳ１５において、音量安定度算出部１５は、ラウドネス算出部１２から入力された音量を参照し、所定の時間区間における音量安定度を算出する。音量安定度とは、評価対象の楽音における音量の変化の度合いを表す評価指標である。一般的に楽器の演奏は音量が安定している方が良い音であると感じられる。したがって、音量の変化の度合いが小さい方が高い音量安定度を与えられるようにする。所定の時間区間は音高安定度算出の時間区間と同様に、楽器の種類や楽器の機種、奏法の種類などにより調整すればよい。音量安定度算出部１５の時間区間は必ずしも音高安定度算出部１４の時間区間と一致しなくともよい。算出した音量安定度は、グラフ化部２０へ入力される。 In step S15, the volume stability calculation unit 15 refers to the volume input from the loudness calculation unit 12, and calculates the volume stability in a predetermined time interval. The volume stability is an evaluation index that represents the degree of change in volume in the musical sound to be evaluated. In general, playing a musical instrument feels better when the volume is stable. Therefore, a higher volume stability is provided when the degree of change in volume is smaller. The predetermined time interval may be adjusted according to the type of musical instrument, the type of musical instrument, the type of rendition, and the like, similar to the time interval for calculating the pitch stability. The time interval of the volume stability calculation unit 15 does not necessarily need to coincide with the time interval of the pitch stability calculation unit 14. The calculated volume stability is input to the graphing unit 20.
ステップＳ１６において、音色安定度算出部１６は、入力楽音信号を周波数変換して周波数スペクトルを算出し、所定の時間区間における音色安定度を算出する。音色安定度は、周波数スペクトルの変化の度合いを表す評価指標である。一般的に楽器の演奏は音色のふらつきが少ない方が良い音であると感じられる。したがって、周波数スペクトルの変化の度合いが小さい方が高い音色安定度を与えられるようにする。所定の時間区間は音高安定度を算出する際の時間区間と同様に、楽器の種類や楽器の機種、奏法の種類などにより調整すればよい。音色安定度算出部１６の時間区間は必ずしも音高安定度算出部１４や音量安定度算出部１５の時間区間と一致しなくともよい。算出した音色安定度は、グラフ化部２０へ入力される。 In step S16, the timbre stability calculation unit 16 calculates the frequency spectrum by frequency-converting the input musical tone signal, and calculates the timbre stability in a predetermined time interval. The timbre stability is an evaluation index representing the degree of change in the frequency spectrum. In general, playing a musical instrument seems to be better when there is less fluctuation in the timbre. Therefore, higher timbre stability is provided when the degree of change in the frequency spectrum is smaller. The predetermined time interval may be adjusted according to the type of musical instrument, the type of musical instrument, the type of rendition, and the like, similar to the time interval when calculating the pitch stability. The time interval of the timbre stability calculation unit 16 does not necessarily match the time interval of the pitch stability calculation unit 14 or the volume stability calculation unit 15. The calculated timbre stability is input to the graphing unit 20.
ステップＳ１７において、リッチネス算出部１７は、入力楽音信号を周波数変換して算出した周波数スペクトルの分布状態と、参考特徴量記憶部２２に記憶されている参考特徴量から算出した周波数スペクトルの分布状態とを比較することで入力楽音信号のリッチネス（richness）を算出する。リッチネスとは、楽音の音色の豊かさを表す評価指標である。リッチネスは、評価対象の楽音から算出した周波数スペクトルの分布状態が、理想的な楽音から算出した周波数スペクトルの分布状態にどれだけ近いかを評価することで算出する。周波数スペクトルの分布状態は、例えば、三刺激値の比率（tristimulus ratio）などを考慮して評価する。三刺激値による音色の評価方法に関しては「Pollard, H. F., Jansson, E. V., “A Tristimulus Method for the Specification of Musical Timbre”, Acustica, vol. 51, No. 3, pp. 162-171, 1982.」などの記載を参照されたい。算出したリッチネスは、グラフ化部２０へ入力される。 In step S <b> 17, the richness calculation unit 17 calculates the frequency spectrum distribution state calculated by frequency-converting the input musical tone signal, and the frequency spectrum distribution state calculated from the reference feature amount stored in the reference feature amount storage unit 22. To calculate the richness of the input musical sound signal. Richness is an evaluation index that represents the richness of timbres of musical sounds. The richness is calculated by evaluating how close the distribution state of the frequency spectrum calculated from the musical sound to be evaluated is to the distribution state of the frequency spectrum calculated from the ideal musical sound. The distribution state of the frequency spectrum is evaluated in consideration of, for example, a tristimulus ratio. For the evaluation method of timbre by tristimulus values, see “Pollard, HF, Jansson, EV,“ A Tristimulus Method for the Specification of Musical Timbre ”, Acustica, vol. 51, No. 3, pp. 162-171, 1982.” Please refer to the description. The calculated richness is input to the graphing unit 20.
ステップＳ１８において、アタック明瞭度算出部１８は、音節検出部１３から通知されたアタック区間において、入力楽音信号の特徴量からノイズの量及びピッチの変化を算出し、参考特徴量記憶部２２に記憶された参考特徴量から算出したアタック区間のノイズの量及びピッチの変化と比較することで入力楽音信号のアタック明瞭度を算出する。アタック明瞭度とは、楽音のアタック部分がどれだけ明瞭に発音されているかを示す評価指標である。アタック明瞭度は、アタック区間のノイズの量、また、アタック区間のピッチがふらついているか、などを総合的に評価して算出される。算出したアタック明瞭度は、グラフ化部２０へ入力される。 In step S <b> 18, the attack clarity calculation unit 18 calculates the noise amount and the pitch change from the feature amount of the input musical sound signal in the attack section notified from the syllable detection unit 13, and stores the change in the reference feature amount storage unit 22. The attack intelligibility of the input musical sound signal is calculated by comparing with the amount of noise and the change in pitch of the attack section calculated from the reference feature value. Attack clarity is an evaluation index that indicates how clearly the attack portion of a musical sound is pronounced. The attack intelligibility is calculated by comprehensively evaluating the amount of noise in the attack section and whether the pitch of the attack section fluctuates. The calculated attack clarity is input to the graphing unit 20.
ステップＳ１９において、総合得点算出部１９は、ラウドネス算出部１２からの音量と音節検出部１３からのアタック区間とを参照しながら、入力楽音信号からリッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度を算出し、これらに基づいて入力楽音信号の総合得点を算出する。総合得点の算出方法は、例えば、各評価指標の評価値を２０点満点に換算し、それらを合計した値を総合得点とすればよい。このとき特定の評価指標に重み付けをして合計した値を１００点満点に換算し、総合得点としてもよい。算出した総合得点は、評価結果表示部２１へ出力される。 In step S19, the total score calculation unit 19 refers to the volume from the loudness calculation unit 12 and the attack section from the syllable detection unit 13, and the richness, attack clarity, pitch stability, volume stability from the input musical sound signal. Degree and tone color stability are calculated, and based on these, a total score of the input musical tone signal is calculated. The method for calculating the total score may be, for example, converting the evaluation value of each evaluation index into a maximum score of 20 and summing them to be the total score. At this time, the total value obtained by weighting the specific evaluation index may be converted to a total score of 100 points to obtain a total score. The calculated total score is output to the evaluation result display unit 21.
ステップＳ２０において、グラフ化部２０は、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度をグラフ化し、評価結果出力部２１へ出力する。グラフの表示形態は任意に設計できる。図３に各評価指標をグラフ化した例を示す。図３の例は、ピッチの誤差を表示する調律器の機能（２１１ａ、２１１ｂ）と楽音評価装置の機能（２１２ａ、２１２ｂ）を単一の機器に実装した場合の例である。例えば、図３（Ａ）に示すように、音高安定度（図中では「Pitch」）、音量安定度（図中では「Dynamics」）、音色安定度（図中では「Timbre」）、リッチネス（図中では「Brightness」）、アタック明瞭度（図中では「Attack」）を円の中心から放射状に軸を取って各評価値をプロットしたレーダーチャートとしてグラフ化してもよい（２１２ａ）。また、例えば、図３（Ｂ）に示すように、音の明度（図中では「Brightness」）、音高誤差（図中では「Pitch」）又は音量（図中では「Dynamics」）から選択したいずれかの評価指標について時間変化を表示する折れ線グラフとし、任意に評価指標を切り替えられるようにグラフ化してもよい（２１２ｂ）。図３（Ｂ）の例は、音高誤差（図中では「Pitch」）を表示している状態であり、グラフ部分を円弧状にスワイプまたはフリックすることで音量（図中では「Dynamics」）や音の明度（図中では「Brightness」）に表示を切り替えることができる。このとき、音高誤差は中央の水平線を正規のピッチとして入力楽音信号のピッチのずれを時系列に表示し、音量は画面下方を最低音量（無音）とし画面上方を最大音量として入力楽音信号の音量を時系列に表示する。 In step S <b> 20, the graphing unit 20 graphs richness, attack clarity, pitch stability, volume stability, and timbre stability, and outputs them to the evaluation result output unit 21. The display form of the graph can be designed arbitrarily. FIG. 3 shows an example in which each evaluation index is graphed. The example of FIG. 3 is an example in which the function (211a, 211b) of the tuner for displaying the pitch error and the function (212a, 212b) of the tone evaluation device are mounted on a single device. For example, as shown in FIG. 3A, pitch stability (“Pitch” in the figure), volume stability (“Dynamics” in the figure), tone stability (“Timbre” in the figure), richness ("Brightness" in the figure) and attack clarity ("Attack" in the figure) may be graphed as a radar chart in which the respective evaluation values are plotted radially from the center of the circle (212a). In addition, for example, as shown in FIG. 3B, it is selected from sound brightness (“Brightness” in the figure), pitch error (“Pitch” in the figure), or volume (“Dynamics” in the figure). A line graph that displays a change in time for any evaluation index may be used, and the graph may be graphed so that the evaluation index can be arbitrarily switched (212b). The example of FIG. 3B shows a state in which a pitch error (“Pitch” in the figure) is displayed, and the volume (“Dynamics” in the figure) can be obtained by swiping or flicking the graph part in an arc shape. And the brightness of the sound ("Brightness" in the figure) can be switched. At this time, the pitch error is displayed in chronological order with the pitch difference of the input music signal as the normal pitch on the center horizontal line, and the volume is set to the lowest volume (silence) at the bottom of the screen and the maximum volume at the top of the screen. Display volume in chronological order.
ステップＳ２１において、評価結果出力部２１は、グラフ化部２０から入力されるグラフ化された各評価指標と総合得点算出部１９から入力される総合得点とを入力楽音信号の評価結果として出力する。評価結果出力部２１は、液晶ディスプレイや有機ＥＬディスプレイのような汎用的な表示装置であってもよいし、例えば各評価指標に対応するＬＥＤを色別に配列した専用の表示装置であってもよい。 In step S21, the evaluation result output unit 21 outputs each graphed evaluation index input from the graphing unit 20 and the total score input from the total score calculation unit 19 as an evaluation result of the input musical sound signal. The evaluation result output unit 21 may be a general-purpose display device such as a liquid crystal display or an organic EL display, or may be a dedicated display device in which LEDs corresponding to each evaluation index are arranged for each color. .
上述の実施形態では、楽音評価装置は、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度の五種類の評価指標を算出する例を説明したが、これらの評価指標の任意の組み合わせを算出するように構成してもよい。例えば、リッチネスのみを算出する構成としてもよい。この場合、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６及びアタック明瞭度算出部１８は備えなくともよい。また、例えば、アタック明瞭度のみを算出する構成としてもよい。この場合、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６及びリッチネス算出部１７は備えなくともよい。また、例えば、音高安定度、音量安定度及び音色安定度の組み合わせを算出する構成としてもよい。この場合、リッチネス算出部１７及びアタック明瞭度算出部１８は備えなくともよい。 In the above-described embodiment, the musical tone evaluation apparatus has described an example in which five types of evaluation indexes of richness, attack clarity, pitch stability, volume stability, and timbre stability are calculated. You may comprise so that the combination of may be calculated. For example, only richness may be calculated. In this case, the pitch stability calculation unit 14, the volume stability calculation unit 15, the timbre stability calculation unit 16, and the attack clarity calculation unit 18 may not be provided. Further, for example, only the attack intelligibility may be calculated. In this case, the pitch stability calculation unit 14, the volume stability calculation unit 15, the timbre stability calculation unit 16, and the richness calculation unit 17 may not be provided. Further, for example, a combination of pitch stability, volume stability, and timbre stability may be calculated. In this case, the richness calculation unit 17 and the attack clarity calculation unit 18 may not be provided.
上記のように構成することにより、楽音評価装置１の利用者は、楽器を演奏しながら、自らの演奏する楽音のリッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度などの評価指標を確認することができる。これにより、利用者は自らの演奏手法がどの程度の習熟度にあるのかを容易に把握することができる。したがって、楽音評価装置１は利用者がより良い楽音を発する演奏手法を習得することを支援することができる。 By configuring as described above, the user of the musical tone evaluation apparatus 1 can perform the musical instrument while playing the musical instrument, such as the richness, attack clarity, pitch stability, volume stability, and timbre stability of the musical performance that the user performs. The evaluation index can be confirmed. Thereby, the user can easily grasp the level of proficiency of his / her performance technique. Therefore, the musical tone evaluation apparatus 1 can assist the user to learn a performance technique for generating a better musical tone.
［第二実施形態］
この発明の第二実施形態は、サーバ型の楽音評価装置である。サーバ型の楽音評価装置は、複数の評価者端末へサンプル楽音を提示して、評価者端末から入力された評価投票に基づいてサンプル楽音の評価結果を学習する。また、サーバ型の楽音評価装置は、利用者端末から受信する楽音信号を評価してサンプル楽音の評価結果と比較して利用者端末へ評価結果を返信する。
[Second Embodiment]
The second embodiment of the present invention is a server-type musical sound evaluation apparatus. The server-type musical sound evaluation apparatus presents sample musical sounds to a plurality of evaluator terminals, and learns the evaluation results of the sample musical sounds based on the evaluation vote input from the evaluator terminals. The server-type musical tone evaluation apparatus evaluates the musical tone signal received from the user terminal, compares the evaluation result with the sample musical tone, and returns the evaluation result to the user terminal.
第二実施形態の楽音評価装置２は、図４に示すように、ラウドネス算出部１２、音節検出部１３、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６、リッチネス算出部１７、アタック明瞭度算出部１８、評価結果出力部２１及び参考特徴量記憶部２２を第一実施形態と同様に含み、例えば、サンプル楽音記憶部２３、評価投票部２４、楽音評価更新部２５及び評価要求受付部２６をさらに含む。 As shown in FIG. 4, the musical tone evaluation apparatus 2 according to the second embodiment includes a loudness calculation unit 12, a syllable detection unit 13, a pitch stability calculation unit 14, a volume stability calculation unit 15, a timbre stability calculation unit 16, The richness calculation unit 17, the attack clarity calculation unit 18, the evaluation result output unit 21, and the reference feature amount storage unit 22 are included in the same manner as in the first embodiment. For example, the sample musical sound storage unit 23, the evaluation voting unit 24, and the musical sound evaluation update It further includes a unit 25 and an evaluation request receiving unit 26.
楽音評価装置２は、評価者端末３及び利用者端末４と、図示していない通信網を通じて通信を行う。この通信網は、例えば、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、専用線、公衆交換電話網、携帯電話通信網などで構成することができる。 The musical tone evaluation apparatus 2 communicates with the evaluator terminal 3 and the user terminal 4 through a communication network (not shown). This communication network can be constituted by, for example, the Internet, a WAN (Wide Area Network), a LAN (Local Area Network), a dedicated line, a public switched telephone network, a mobile phone communication network, or the like.
評価者端末３及び利用者端末４は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。評価者端末３及び利用者端末４は、例えば、中央演算処理装置の制御のもとで各処理を実行する。評価者端末３及び利用者端末４に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、評価者端末３及び利用者端末４の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。 The evaluator terminal 3 and the user terminal 4 have a special program read into a known or dedicated computer having, for example, a central processing unit (CPU), a main memory (RAM), and the like. It is a special device constructed. For example, the evaluator terminal 3 and the user terminal 4 execute each process under the control of the central processing unit. The data input to the evaluator terminal 3 and the user terminal 4 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out as necessary. Used for other processing. Further, at least a part of each processing unit of the evaluator terminal 3 and the user terminal 4 may be configured by hardware such as an integrated circuit.
評価者端末３及び利用者端末４は、通信機能を有しており、ウェブブラウザ等のアプリケーションプログラムにより楽音評価装置２から受信する情報を表示し、また、評価者端末３及び利用者端末４上で入力された情報を楽音評価装置２へ送信する機能を備える汎用的な情報処理機器である。また、少なくとも評価者端末３は、楽音評価装置２から受信する楽音信号を再生するスピーカー等の音響機能を有している。具体的には、評価者端末３及び利用者端末４は、パーソナル・コンピュータや携帯電話、スマートフォン、タブレット端末などである。 The evaluator terminal 3 and the user terminal 4 have a communication function, display information received from the musical tone evaluation apparatus 2 by an application program such as a web browser, and the evaluator terminal 3 and the user terminal 4 This is a general-purpose information processing device having a function of transmitting the information input in step 1 to the musical tone evaluation apparatus 2. Further, at least the evaluator terminal 3 has an acoustic function such as a speaker that reproduces a musical sound signal received from the musical sound evaluation device 2. Specifically, the evaluator terminal 3 and the user terminal 4 are a personal computer, a mobile phone, a smartphone, a tablet terminal, or the like.
以下、図５を参照して、第二実施形態の楽音評価装置２の処理手続きを説明する。以下では、上述の第一実施形態との相違点を中心に説明する。 Hereinafter, the processing procedure of the musical tone evaluation apparatus 2 of the second embodiment will be described with reference to FIG. Below, it demonstrates centering on difference with the above-mentioned 1st embodiment.
サンプル楽音記憶部２３には、複数のサンプル楽音信号と各サンプル楽音信号の評価結果が関連付けて記憶されている。サンプル楽音信号は、不特定の演奏者が楽器を演奏した演奏音を収録した楽音信号である。サンプル楽音信号は楽器の種類や楽器の機種、奏法の種類などの任意の基準により分類して記憶するように構成してもよい。 The sample musical sound storage unit 23 stores a plurality of sample musical sound signals and evaluation results of the respective sample musical sound signals in association with each other. The sample musical sound signal is a musical sound signal that includes performance sounds of unspecified performers playing musical instruments. The sample musical tone signals may be classified and stored according to any criteria such as the type of musical instrument, the type of musical instrument, and the type of performance.
ステップＳ２４において、評価投票部２４は、サンプル楽音記憶部２３に記憶されたサンプル楽音信号を評価者端末３へ提示する。評価者端末３は、提示されたサンプル楽音信号に対して評価者が採点した評価結果を含めた評価投票を生成し、その評価投票を楽音評価装置２に送信する。評価投票部２４は、評価者端末３から評価投票を受信する。サンプル楽音信号の評価は、一つのサンプル楽音を提示して各評価指標の得点を入力する方法でもよいし、無作為もしくは一定の基準に従って抽出した二つのサンプル楽音を提示して、いずれのサンプル楽音が良い音であると感じるかを入力する方法でもよい。 In step S 24, the evaluation voting unit 24 presents the sample musical sound signal stored in the sample musical sound storage unit 23 to the evaluator terminal 3. The evaluator terminal 3 generates an evaluation vote including the evaluation result scored by the evaluator for the presented sample musical sound signal, and transmits the evaluation vote to the musical sound evaluation device 2. The evaluation voting unit 24 receives an evaluation vote from the evaluator terminal 3. The sample musical sound signal can be evaluated by either presenting one sample musical sound and inputting the score of each evaluation index, or by presenting two sample musical sounds extracted randomly or according to a certain standard, You can also input how you feel the sound is good.
ステップＳ２５において、楽音評価更新部２５は、評価者端末３から受信した評価投票に含まれる評価結果に基づいて、サンプル楽音記憶部２３に記憶されたサンプル楽音信号の評価結果を更新する。評価結果を更新する方法は、例えば、記憶されている評価結果を最新の評価結果で上書きすることで更新してもよいし、各サンプル楽音信号に対する過去の評価結果を記憶しておき、その平均値を計算して更新してもよい。また、二つのサンプル楽音の比較による評価結果であれば、良い音とされたサンプル楽音の評価結果に所定の得点を加算し、悪い音とされたサンプル楽音の評価結果から所定の得点を減算することで更新してもよい。 In step S <b> 25, the musical sound evaluation update unit 25 updates the evaluation result of the sample musical sound signal stored in the sample musical sound storage unit 23 based on the evaluation result included in the evaluation vote received from the evaluator terminal 3. The method for updating the evaluation result may be updated, for example, by overwriting the stored evaluation result with the latest evaluation result, or the past evaluation result for each sample musical sound signal is stored, and the average thereof is stored. The value may be calculated and updated. Also, if the evaluation result is a comparison of two sample musical sounds, a predetermined score is added to the evaluation result of the sample musical sound judged to be a good sound, and the predetermined score is subtracted from the evaluation result of the sample musical sound regarded as a bad sound. It may be updated.
楽音評価更新部２５は、サンプル楽音信号の評価結果に基づいて、機械学習の手法を用いて、参考特徴量記憶部２２に記憶された参考楽音信号の特徴量を学習するように構成してもよい。このときサンプル楽音信号の評価結果があらかじめ定めた閾値を超える場合に限って学習対象としてもよい。 The musical tone evaluation update unit 25 may be configured to learn the feature quantity of the reference musical tone signal stored in the reference feature quantity storage unit 22 using a machine learning technique based on the evaluation result of the sample musical tone signal. Good. At this time, only when the evaluation result of the sample musical sound signal exceeds a predetermined threshold value, it may be a learning target.
ステップＳ２６において、評価要求受付部２６は、利用者端末４から楽音信号を受信し、その楽音信号を入力楽音信号として生成する。受信した楽音信号がアナログ信号である場合には、第一実施形態の楽音評価装置と同様に、Ａ／Ｄ変換部１０によりデジタル信号に変換する。デジタル信号である入力楽音信号は、ラウドネス算出部１２、音高安定度算出部１４、音量安定度算出部１５、音色安定度算出部１６、リッチネス算出部１７及びアタック明瞭度算出部１８へ入力される。 In step S26, the evaluation request accepting unit 26 receives the tone signal from the user terminal 4 and generates the tone signal as an input tone signal. When the received musical sound signal is an analog signal, it is converted into a digital signal by the A / D converter 10 as in the musical sound evaluation apparatus of the first embodiment. The input musical sound signal, which is a digital signal, is input to the loudness calculation unit 12, the pitch stability calculation unit 14, the volume stability calculation unit 15, the timbre stability calculation unit 16, the richness calculation unit 17, and the attack intelligibility calculation unit 18. The
ステップＳ１２からステップＳ１８において、楽音評価装置２は、第一実施形態の楽音評価装置１と同様に、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度を算出する。算出したリッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度は、評価結果出力部２１へ入力される。 In step S12 to step S18, the musical tone evaluation apparatus 2 calculates richness, attack clarity, pitch stability, volume stability, and timbre stability in the same manner as the musical sound evaluation apparatus 1 of the first embodiment. The calculated richness, attack clarity, pitch stability, volume stability, and timbre stability are input to the evaluation result output unit 21.
ステップＳ２１において、評価結果出力部２１は、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度を評価結果として、入力楽音信号を送信してきた利用者端末４へ送信する。また、評価結果出力部２１は、入力楽音信号と評価結果とを関連付けて新たなサンプル楽音信号としてサンプル楽音記憶部２３へ記憶する。 In step S21, the evaluation result output unit 21 transmits the richness, attack clarity, pitch stability, volume stability, and timbre stability as evaluation results to the user terminal 4 that has transmitted the input musical sound signal. The evaluation result output unit 21 associates the input musical sound signal with the evaluation result and stores them in the sample musical sound storage unit 23 as a new sample musical sound signal.
評価結果出力部２１は、入力楽音信号の評価結果をサンプル楽音記憶部２３に記憶されたサンプル楽音信号の評価結果と比較して、入力楽音信号の順位を求めて評価結果に含めてもよい。順位を求める際には、第一実施形態の総合得点算出部１９と同様に入力楽音信号の総合得点とサンプル楽音信号の総合得点を算出し、総合得点の降順の順位を求めればよい。このとき、全体における順位や、同一の楽器内での順位、同一の機種内での順位、同一音高内での順位など、複数の基準で分類したカテゴリ内での順位を求めてもよい。 The evaluation result output unit 21 may compare the evaluation result of the input musical tone signal with the evaluation result of the sample musical tone signal stored in the sample musical tone storage unit 23 to determine the rank of the input musical tone signal and include it in the evaluation result. When determining the rank, the total score of the input musical tone signal and the total score of the sample musical tone signal may be calculated in the same way as the total score calculating unit 19 of the first embodiment, and the descending order of the total score may be calculated. At this time, ranks in categories classified by a plurality of criteria, such as overall rank, rank in the same musical instrument, rank in the same model, rank in the same pitch, etc. may be obtained.
利用者端末４は評価結果出力部２１から受信した入力楽音信号の評価結果を出力する。表示形態は任意に選択することができる。例えば、第一実施形態のグラフ化部２０と同様に、レーダーチャートや折れ線グラフなどに変換して画面表示することができる。 The user terminal 4 outputs the evaluation result of the input musical sound signal received from the evaluation result output unit 21. The display form can be arbitrarily selected. For example, similarly to the graphing unit 20 of the first embodiment, it can be converted into a radar chart, a line graph, or the like and displayed on the screen.
上述の実施形態では、楽音評価装置は、リッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度の五種類の評価指標を算出する例を説明したが、第一実施形態と同様に、これらの評価指標の任意の組み合わせを算出するように構成してもよい。 In the above-described embodiment, the musical tone evaluation apparatus has described an example in which five types of evaluation indices of richness, attack clarity, pitch stability, volume stability, and timbre stability are calculated, but as in the first embodiment. Further, any combination of these evaluation indexes may be calculated.
上記のように構成することにより、楽音評価装置２の利用者は、自らの演奏した楽音のリッチネス、アタック明瞭度、音高安定度、音量安定度及び音色安定度などの評価指標を確認することができ、また、自分の演奏が他の演奏者の中でどのレベルにあるのかを容易に把握することができる。したがって、楽音評価装置２は利用者がより良い楽音を発する演奏手法を習得することを支援することができ、また、演奏者がより良い演奏方法を習得するモチベーションを向上させることができる。さらに、参考楽音信号を機械学習の手法により学習するため、多くのサンプル楽音を収集することにより、多くの人が理想的と考える楽音に近い演奏方法を習得することを支援することができる。 By configuring as described above, the user of the musical tone evaluation apparatus 2 confirms evaluation indexes such as the richness, attack clarity, pitch stability, volume stability, and tone color stability of the musical tone played by the user. In addition, it is possible to easily grasp the level at which one's performance is among other performers. Therefore, the musical tone evaluation apparatus 2 can assist the user to learn a performance technique for producing a better musical tone, and improve the motivation for the player to learn a better performance method. Further, since the reference musical sound signal is learned by the machine learning technique, it is possible to support the acquisition of a performance method close to a musical sound that many people consider ideal by collecting many sample musical sounds.
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 The present invention is not limited to the above-described embodiment, and it goes without saying that modifications can be made as appropriate without departing from the spirit of the present invention. The various processes described in the above embodiment may be executed not only in time series according to the order of description, but also in parallel or individually as required by the processing capability of the apparatus that executes the processes or as necessary.
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
[Program, recording medium]
When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on a computer, various processing functions in each of the above devices are realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own recording medium and executes a process according to the read program. As another execution form of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer. Each time, the processing according to the received program may be executed sequentially. Also, the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. It is good. Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In this embodiment, the present apparatus is configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
１、２ 楽音評価装置
３ 評価者端末
４ 利用者端末
１０ 入力端子
１１ Ａ／Ｄ変換部
１２ ラウドネス算出部
１３ 音節検出部
１４ 音高安定度算出部
１５ 音量安定度算出部
１６ 音色安定度算出部
１７ リッチネス算出部
１８ アタック明瞭度算出部
１９ 総合得点算出部
２０ グラフ化部
２１ 評価結果出力部
２２ 参考特徴量記憶部
２３ サンプル楽音記憶部
２４ 評価投票部
２５ 楽音評価更新部
２６ 評価要求受付部
1, 2 Musical sound evaluation device 3 Evaluator terminal 4 User terminal 10 Input terminal 11 A / D conversion unit 12 Loudness calculation unit 13 Syllable detection unit 14 Pitch stability calculation unit 15 Volume stability calculation unit 16 Tone stability calculation unit 17 Richness Calculation Unit 18 Attack Clarity Calculation Unit 19 Total Score Calculation Unit 20 Graphing Unit 21 Evaluation Result Output Unit 22 Reference Feature Amount Storage Unit 23 Sample Music Sound Storage Unit 24 Evaluation Voting Unit 25 Musical Sound Evaluation Update Unit 26 Evaluation Request Accepting Unit
Claims (8)
評価の対象とする入力楽音信号から抽出した特徴量における周波数スペクトルの分布状態と上記参考特徴量における周波数スペクトルの分布状態とを比較することで上記入力楽音信号のリッチネスを算出するリッチネス算出部と、
上記リッチネスを上記入力楽音信号の評価結果として出力する評価結果出力部と、
を含む楽音評価装置。 A reference feature storage unit for storing a reference feature extracted from a reference musical sound signal recording an ideal performance of the instrument;
A richness calculation unit for calculating the richness of the input musical sound signal by comparing the distribution state of the frequency spectrum in the feature amount extracted from the input musical sound signal to be evaluated with the distribution state of the frequency spectrum in the reference feature amount;
An evaluation result output unit that outputs the richness as an evaluation result of the input musical sound signal;
Musical sound evaluation device including
評価の対象とする入力楽音信号からアタック区間を検出する音節検出部と、
上記入力楽音信号の上記アタック区間から抽出した特徴量におけるノイズの量及びピッチの変化と上記参考特徴量におけるノイズの量及びピッチの変化とを比較することで上記入力楽音信号のアタック明瞭度を算出するアタック明瞭度算出部と、
上記アタック明瞭度を上記入力楽音信号の評価結果として出力する評価結果出力部と、
を含む楽音評価装置。 A reference feature storage unit for storing a reference feature extracted from a reference musical sound signal recording an ideal performance of the instrument;
A syllable detector that detects an attack interval from the input musical sound signal to be evaluated;
The attack intelligibility of the input tone signal is calculated by comparing the noise amount and pitch change in the feature value extracted from the attack interval of the input tone signal with the noise amount and pitch change in the reference feature amount. An attack intelligibility calculation unit,
An evaluation result output unit for outputting the attack intelligibility as an evaluation result of the input musical sound signal;
Musical sound evaluation device including
上記入力楽音信号から音量を算出し、上記時間区間における音量の変化の度合いを表す音量安定度を算出する音量安定度算出部と、
上記入力楽音信号から周波数スペクトルを算出し、上記時間区間における上記周波数スペクトルの変化の度合いを表す音色安定度を算出する音色安定度算出部と、
上記音高安定度、上記音量安定度及び上記音色安定度を上記入力楽音信号の評価結果として出力する評価結果出力部と、
を含む楽音評価装置。 A pitch stability calculating unit that detects a pitch from an input musical sound signal to be evaluated and calculates a pitch stability indicating a degree of change in pitch in a predetermined time interval;
A volume stability calculation unit that calculates a volume from the input musical sound signal and calculates a volume stability indicating a degree of change in volume in the time interval;
A timbre stability calculating unit that calculates a frequency spectrum from the input musical sound signal and calculates a timbre stability indicating a degree of change in the frequency spectrum in the time interval;
An evaluation result output unit that outputs the pitch stability, the volume stability, and the timbre stability as an evaluation result of the input musical sound signal;
Musical sound evaluation device including
評価の対象とする入力楽音信号からアタック区間を検出する音節検出部と、
上記入力楽音信号から抽出した特徴量における周波数スペクトルの分布状態と上記参考特徴量における周波数スペクトルの分布状態とを比較することで上記入力楽音信号のリッチネスを算出するリッチネス算出部と、
上記入力楽音信号の上記アタック区間から抽出した特徴量におけるノイズの量及びピッチの変化と上記参考特徴量におけるノイズの量及びピッチの変化とを比較することで上記入力楽音信号のアタック明瞭度を算出するアタック明瞭度算出部と、
上記入力楽音信号からピッチを検出し、所定の時間区間におけるピッチの変化の度合いを表す音高安定度を算出する音高安定度算出部と、
上記入力楽音信号から音量を算出し、上記時間区間における音量の変化の度合いを表す音量安定度を算出する音量安定度算出部と、
上記入力楽音信号から周波数スペクトルを算出し、上記時間区間における上記周波数スペクトルの変化の度合いを表す音色安定度を算出する音色安定度算出部と、
上記リッチネス、上記アタック明瞭度、上記音高安定度、上記音量安定度及び上記音色安定度を上記入力楽音信号の評価結果として出力する評価結果出力部と、
を含む楽音評価装置。 A reference feature storage unit for storing a reference feature extracted from a reference musical sound signal recording an ideal performance of the instrument;
A syllable detector that detects an attack interval from the input musical sound signal to be evaluated;
A richness calculation unit for calculating the richness of the input musical sound signal by comparing the distribution state of the frequency spectrum in the feature amount extracted from the input musical sound signal and the distribution state of the frequency spectrum in the reference feature amount;
The attack intelligibility of the input tone signal is calculated by comparing the noise amount and pitch change in the feature value extracted from the attack interval of the input tone signal with the noise amount and pitch change in the reference feature amount. An attack intelligibility calculation unit,
A pitch stability calculation unit that detects a pitch from the input musical sound signal and calculates a pitch stability representing a degree of change in pitch in a predetermined time interval;
A volume stability calculation unit that calculates a volume from the input musical sound signal and calculates a volume stability indicating a degree of change in volume in the time interval;
A timbre stability calculating unit that calculates a frequency spectrum from the input musical sound signal and calculates a timbre stability indicating a degree of change in the frequency spectrum in the time interval;
An evaluation result output unit that outputs the richness, the attack clarity, the pitch stability, the volume stability, and the timbre stability as an evaluation result of the input musical sound signal;
Musical sound evaluation device including
上記リッチネス、上記アタック明瞭度、上記音高安定度、上記音量安定度及び上記音色安定度に基づいて算出した総合得点を上記入力楽音信号の評価結果に含める総合得点算出部をさらに含む楽音評価装置。 The musical sound evaluation apparatus according to claim 4,
A musical tone evaluation apparatus further comprising a total score calculation unit that includes a total score calculated based on the richness, the attack clarity, the pitch stability, the volume stability, and the timbre stability in the evaluation result of the input music signal .
マイクロホンで収音した音響信号をデジタル信号に変換して上記入力楽音信号を生成するＡ／Ｄ変換部と、
上記評価結果をグラフ化して画面表示するグラフ化部と、
をさらに含む楽音評価装置。 It is a musical sound evaluation apparatus of Claim 1 to 5,
An A / D converter that converts an acoustic signal picked up by a microphone into a digital signal to generate the input musical sound signal;
A graphing unit that graphs the evaluation results and displays them on the screen;
A musical tone evaluation apparatus further including:
複数のサンプル楽音信号と上記サンプル楽音信号の評価結果を関連付けて記憶するサンプル楽音記憶部と、
上記サンプル楽音信号を評価者端末へ提示し、上記評価者端末から入力された評価結果を含む評価投票を受け付ける評価投票部と、
上記評価投票に含まれる評価結果に基づいて上記サンプル楽音信号の評価結果を更新する楽音評価更新部と、
利用者端末から受信した楽音信号を上記入力楽音信号として生成する評価要求受付部と、
をさらに含み、
上記評価結果出力部は、上記入力楽音信号の評価結果を上記利用者端末へ送信するものである
楽音評価装置。 It is a musical sound evaluation apparatus of Claim 1 to 5,
A sample musical sound storage unit for storing a plurality of sample musical sound signals and evaluation results of the sample musical sound signals in association with each other;
An evaluation voting unit that presents the sample musical sound signal to an evaluator terminal and receives an evaluation vote including an evaluation result input from the evaluator terminal;
A musical tone evaluation update unit that updates an evaluation result of the sample musical sound signal based on an evaluation result included in the evaluation vote;
An evaluation request receiving unit that generates a musical tone signal received from a user terminal as the input musical tone signal;
Further including
The evaluation result output unit transmits the evaluation result of the input musical sound signal to the user terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014216990A JP6539887B2 (en) | 2014-10-24 | 2014-10-24 | Tone evaluation device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014216990A JP6539887B2 (en) | 2014-10-24 | 2014-10-24 | Tone evaluation device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016085309A true JP2016085309A (en) | 2016-05-19 |
| JP6539887B2 JP6539887B2 (en) | 2019-07-10 |
Family
ID=55972082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014216990A Expired - Fee Related JP6539887B2 (en) | 2014-10-24 | 2014-10-24 | Tone evaluation device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6539887B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018022099A (en) * | 2016-08-05 | 2018-02-08 | 株式会社コルグ | Musical sound evaluation device |
| CN110709922A (en) * | 2017-06-28 | 2020-01-17 | 雅马哈株式会社 | Singing voice generating device, method and program |
| CN113113045A (en) * | 2021-04-02 | 2021-07-13 | 广州繁星互娱信息科技有限公司 | Scene picture display method, device, terminal and storage medium |
| WO2021212717A1 (en) * | 2020-04-24 | 2021-10-28 | 中科新悦（苏州）科技有限公司 | Audio data analysis method, electronic device, and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000066667A (en) * | 1998-08-25 | 2000-03-03 | Korg Inc | Tuning instrument |
| JP2005107088A (en) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | Singing voice evaluating device, karaoke scoring device and its program |
| JP2005241717A (en) * | 2004-02-24 | 2005-09-08 | Kawai Musical Instr Mfg Co Ltd | Model preparing apparatus in musical sound judgement apparatus for natural musical instrument, and model preparing program |
| US20070256543A1 (en) * | 2004-10-22 | 2007-11-08 | In The Chair Pty Ltd. | Method and System for Assessing a Musical Performance |
| JP2008040259A (en) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | Musical piece practice assisting device, dynamic time warping module, and program |
| JP2009216909A (en) * | 2008-03-10 | 2009-09-24 | Xing Inc | Karaoke system |
| JP2013205489A (en) * | 2012-03-27 | 2013-10-07 | Yamaha Corp | Music practice support device |
| JP2014186132A (en) * | 2013-03-22 | 2014-10-02 | Yamaha Corp | Singing evaluation device |
-
2014
- 2014-10-24 JP JP2014216990A patent/JP6539887B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000066667A (en) * | 1998-08-25 | 2000-03-03 | Korg Inc | Tuning instrument |
| JP2005107088A (en) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | Singing voice evaluating device, karaoke scoring device and its program |
| JP2005241717A (en) * | 2004-02-24 | 2005-09-08 | Kawai Musical Instr Mfg Co Ltd | Model preparing apparatus in musical sound judgement apparatus for natural musical instrument, and model preparing program |
| US20070256543A1 (en) * | 2004-10-22 | 2007-11-08 | In The Chair Pty Ltd. | Method and System for Assessing a Musical Performance |
| JP2008040259A (en) * | 2006-08-08 | 2008-02-21 | Yamaha Corp | Musical piece practice assisting device, dynamic time warping module, and program |
| JP2009216909A (en) * | 2008-03-10 | 2009-09-24 | Xing Inc | Karaoke system |
| JP2013205489A (en) * | 2012-03-27 | 2013-10-07 | Yamaha Corp | Music practice support device |
| JP2014186132A (en) * | 2013-03-22 | 2014-10-02 | Yamaha Corp | Singing evaluation device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018022099A (en) * | 2016-08-05 | 2018-02-08 | 株式会社コルグ | Musical sound evaluation device |
| CN110709922A (en) * | 2017-06-28 | 2020-01-17 | 雅马哈株式会社 | Singing voice generating device, method and program |
| WO2021212717A1 (en) * | 2020-04-24 | 2021-10-28 | 中科新悦（苏州）科技有限公司 | Audio data analysis method, electronic device, and storage medium |
| CN113113045A (en) * | 2021-04-02 | 2021-07-13 | 广州繁星互娱信息科技有限公司 | Scene picture display method, device, terminal and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6539887B2 (en) | 2019-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8586849B1 (en) | Media system and method of progressive instruction in the playing of a guitar based on user proficiency | |
| US8859872B2 (en) | Method for giving feedback on a musical performance | |
| US20180137425A1 (en) | Real-time analysis of a musical performance using analytics | |
| MX2011012749A (en) | System and method of receiving, analyzing, and editing audio to create musical compositions. | |
| KR101361056B1 (en) | Karaoke host device and program | |
| US10504498B2 (en) | Real-time jamming assistance for groups of musicians | |
| US9286808B1 (en) | Electronic method for guidance and feedback on musical instrumental technique | |
| US11842720B2 (en) | Audio processing method and audio processing system | |
| CN108257588B (en) | Music composing method and device | |
| JP6539887B2 (en) | Tone evaluation device and program | |
| US20190392803A1 (en) | Transposing device, transposing method and non-transitory computer-readable storage medium | |
| US20170278496A1 (en) | Interactive stringed musical instrument and system comprising the same | |
| WO2019180830A1 (en) | Singing evaluating method, singing evaluating device, and program | |
| JP5807754B2 (en) | Stringed instrument performance evaluation apparatus and stringed instrument performance evaluation program | |
| Jiang | Using pitch feature matching to design a music tutoring system based on deep learning | |
| KR102221143B1 (en) | A saxophone performance evaluation system and a saxophone performance evaluation method | |
| JP5843074B2 (en) | Stringed instrument performance evaluation apparatus and stringed instrument performance evaluation program | |
| JP6788560B2 (en) | Singing evaluation device, singing evaluation program, singing evaluation method and karaoke device | |
| CN113053337A (en) | Intonation evaluation method, intonation evaluation device, intonation evaluation equipment and storage medium | |
| JP2007240552A (en) | Musical instrument sound recognition method, musical instrument annotation method and music piece searching method | |
| JP7184218B1 (en) | AUDIO DEVICE AND PARAMETER OUTPUT METHOD OF THE AUDIO DEVICE | |
| US20230410676A1 (en) | Information processing system, electronic musical instrument, information processing method, and machine learning system | |
| WO2022215250A1 (en) | Music selection device, model creation device, program, music selection method, and model creation method | |
| JP2017134352A (en) | Karaoke system | |
| CN116994542A (en) | Method and device for generating musical instrument training information, electronic equipment and computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190521 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6539887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |