[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2017049428A - Musical sound performance device - Google Patents

Musical sound performance device Download PDF

Info

Publication number
JP2017049428A
JP2017049428A JP2015172355A JP2015172355A JP2017049428A JP 2017049428 A JP2017049428 A JP 2017049428A JP 2015172355 A JP2015172355 A JP 2015172355A JP 2015172355 A JP2015172355 A JP 2015172355A JP 2017049428 A JP2017049428 A JP 2017049428A
Authority
JP
Japan
Prior art keywords
performance
data
sound
effector
chord
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015172355A
Other languages
Japanese (ja)
Inventor
永介 山下
Eisuke Yamashita
永介 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2015172355A priority Critical patent/JP2017049428A/en
Publication of JP2017049428A publication Critical patent/JP2017049428A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a karaoke device for obtaining an optimal effect influence according to a playing style without requiring user's manual operation.SOLUTION: The karaoke device has an HDD 49 for storing karaoke music data, reads to reproduce the karaoke music data, and inputs a performance signal according to a performance of an electric guitar 4 by a musical instrument player in accordance with the reproduction. The karaoke device also has distortion 61, a chorus 62 and reverb 63 for each providing desired effects to the performance signal, sets a parameter value indicating each strength/weakness of the effect influence to an initial value, detects the playing style of the performance on the basis of the performance signal, and increases or decreases each parameter value of the distortion 61, the chorus 62 and the reverb 63 from the initial value on the basis of the detection result.SELECTED DRAWING: Figure 2

Description

本発明は、ユーザの楽器演奏に基づく演奏信号に対し各種の処理を行う楽音演奏装置に関する。   The present invention relates to a musical tone performance apparatus that performs various processes on performance signals based on musical instrument performance of a user.

ユーザの楽器演奏時の演奏信号が入力され、その演奏信号に対し、ユーザの娯楽性を向上させるための各種の処理を行う技術が既に知られている。例えば、特許文献1に記載の従来技術では、カラオケ楽曲の再生に合わせてユーザが弦楽器を演奏すると、その演奏信号に対し、楽音演奏装置に備えられた複数の内部エフェクタによって適宜のエフェクト効果(リミッター、ワウ等)を施すことができる。   There is already known a technique in which a performance signal for playing a musical instrument of a user is input and various processes for improving the entertainment of the user are performed on the performance signal. For example, in the prior art described in Patent Document 1, when a user plays a stringed instrument in accordance with the reproduction of karaoke music, an appropriate effect effect (limiter) is applied to the performance signal by a plurality of internal effectors provided in the musical sound performance device. , Wah, etc.).

特開2012−15885号公報(段落[0034]等)JP 2012-15585 A (paragraph [0034] etc.)

ところで、一般に、弦楽器(特にギター)には、多種多様な奏法が存在する。例えば、各コードの和音を構成する複数音を略同時に発音させるストローク奏法、各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法、各弦がミュートあるいは短い時間で刻むように発音されるカッティング奏法、楽曲のドライブ感を強調するために、各コードをルート音と当該ルート音に対して5度上の音程となる音で発音させるパワーコード奏法、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法、等がある。   By the way, generally, there are a wide variety of performance methods for stringed instruments (especially guitars). For example, a stroke playing method in which a plurality of notes that make up the chords of each chord are pronounced at the same time, an arpeggio playing method in which a plurality of notes that make up the chords of each chord are distributed, and each string is muted or chopped in a short time In order to emphasize the feeling of driving the music, the chord is played with a root sound and a sound that is 5 times higher than the root sound. There is a choking technique in which a string is flexed upward while being in contact with a fret, and the tone pitch is smoothly shifted to a higher side.

これらの奏法は、それぞれに最適な上記エフェクタの種類及びそのエフェクト効果の程度が互いに大きく異なる。しかしながら、ユーザが奏法を変えるたびに手動操作で上記内部エフェクタの選択や上記エフェクト効果の大小の設定を変えるのは非常に面倒であり、不便である。特に楽曲の演奏中に奏法を変えた場合や、ユーザがエフェクタの設定を変更している最中は、ユーザは演奏ができないことになる。   These performance methods are greatly different from each other in the type of the effector and the degree of the effect that are optimum for each. However, it is very troublesome and inconvenient to change the selection of the internal effector and the setting of the effect effect by manual operation every time the user changes the playing style. In particular, when the performance method is changed during the performance of the music, or while the user is changing the effector settings, the user cannot perform the performance.

本発明の目的は、ユーザの手動操作を不要としつつ、奏法に応じた最適なエフェクト効果を得ることができる楽音演奏装置を提供することにある。   An object of the present invention is to provide a musical sound performance device that can obtain an optimum effect effect according to a performance style while eliminating the need for manual operation by a user.

上記目的を達成するために、第1の発明は、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が少なくとも対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、前記演奏信号入力手段から入力される前記演奏信号に所望のエフェクトをそれぞれ施す複数の内部エフェクタと、前記複数の内部エフェクタそれぞれにおけるエフェクト効果の強弱を表すパラメータ値を、予め定められた、若しくは、前記楽器演奏者の所望の、初期値に設定するパラメータ設定手段と、前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者の演奏の奏法を検出する奏法検出手段と、前記奏法検出手段による検出結果に応じて、前記複数の内部エフェクタそれぞれの前記パラメータ値を前記初期値から増減させるパラメータ増減手段と、を有することを特徴とする。   In order to achieve the above object, the first invention includes music data storage means for storing karaoke music data including at least chord information composed of a plurality of chord progressions including a performance part of a predetermined stringed instrument, Musical string data reproducing means for reading out and reproducing the karaoke musical composition data stored in the musical composition data storage means, and according to the reproduction of the karaoke musical composition data by the musical composition data reproducing means, the stringed musical instrument is played by the instrument player. A performance signal input means for inputting a performance signal output from the performance signal, a plurality of internal effectors each for applying a desired effect to the performance signal input from the performance signal input means, and an effect effect in each of the plurality of internal effectors Parameter values indicating strength are determined in advance or the instrument Parameter setting means for setting an initial value desired by the player, performance method detecting means for detecting the performance method of the musical instrument player based on the performance signal input from the performance signal input means, and the performance method detection means Parameter increasing / decreasing means for increasing or decreasing the parameter value of each of the plurality of internal effectors from the initial value in accordance with the detection result of

本願発明の楽音演奏装置では、楽曲データ記憶手段に記憶されたカラオケ楽曲データが、楽曲データ再生手段によって読み出されて再生される。このとき、本願発明では、カラオケ楽曲データの再生とともにユーザ(楽器演奏者)が楽器を演奏することができ、さらにその演奏音に対し所望のエフェクト効果を付与することができる。すなわち、上記再生に合わせてユーザが弦楽器を演奏すると、弦楽器から出力された演奏信号が演奏信号入力手段を介し入力され、その演奏信号に対し、複数の内部エフェクタによって適宜のエフェクト効果を施すことができる。   In the musical tone performance apparatus of the present invention, the karaoke music data stored in the music data storage means is read and reproduced by the music data reproducing means. At this time, in this invention, a user (musical instrument player) can play a musical instrument with reproduction | regeneration of karaoke music data, Furthermore, a desired effect effect can be provided with respect to the performance sound. That is, when a user plays a stringed instrument in accordance with the reproduction, a performance signal output from the stringed instrument is input through the performance signal input means, and appropriate effect effects can be applied to the performance signal by a plurality of internal effectors. it can.

そして、本願発明においては、パラメータ設定手段と、奏法検出手段と、パラメータ増減手段と、が設けられる。まず、パラメータ設定手段が、各内部エフェクタにおけるエフェクト効果の強弱を表すパラメータ値を、初期値(予め固定的に定められた値、若しくは、ユーザにより所望に操作入力された値)に設定する。この状態で、奏法検出手段が、上記演奏信号入力手段から入力される演奏信号に基づき、ユーザの弦楽器の演奏における奏法を検出する。そして、パラメータ増減手段が、上記奏法検出手段の検出結果に応じて、各内部エフェクタの上記パラメータ値を(上記初期値から)増減させる。   In the present invention, parameter setting means, rendition style detection means, and parameter increase / decrease means are provided. First, the parameter setting means sets a parameter value indicating the strength of the effect effect in each internal effector to an initial value (a value fixedly determined in advance or a value input by a user as desired). In this state, the performance style detection means detects a performance style in the performance of the user's stringed instrument based on the performance signal input from the performance signal input means. Then, the parameter increase / decrease means increases / decreases the parameter value of each internal effector (from the initial value) according to the detection result of the performance style detection means.

これにより、例えば、ユーザがアルペジオ奏法を行った場合には、コーラスやフェイザー等のパラメータ値が増大して演奏音に大きな揺らぎの効果が与えられるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。また例えば、ユーザがパワーコード奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、コーラスやフェイザー等のパラメータ値が減少して演奏音に対する揺らぎの効果を最小限に抑制し、ドライブ感を増大させることができる。また例えば、ユーザがチョーキング奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。   As a result, for example, when a user performs an arpeggio, parameter values such as chorus and phaser increase, and a large fluctuation effect is given to the performance sound, and parameter values such as reverb or delay also increase. Great reverberation effect and echo effect are given to the performance sound. Also, for example, when a user performs a power chord technique, a parameter value such as distortion or overdrive increases and a greatly distorted sound is produced, and a parameter value such as chorus or phaser decreases to The effect of fluctuation can be suppressed to the minimum, and the drive feeling can be increased. Also, for example, when the user performs a choking technique, a parameter value such as distortion or overdrive increases and a greatly distorted sound is produced, and a parameter value such as reverb or delay increases and the performance sound increases. Reverberation effect and echo effect are given.

以上のようにして、本願発明においては、ユーザによる煩雑な手動操作を行うことなく、奏法に応じた最適なエフェクト効果を自動的に得ることができる。これにより、ユーザにとっての利便性や娯楽性を大きく向上することができる。   As described above, in the present invention, it is possible to automatically obtain the optimum effect effect according to the playing style without performing a complicated manual operation by the user. Thereby, convenience and entertainment for the user can be greatly improved.

第2発明は、上記第1発明において、前記奏法検出手段は、前記楽器演奏者の演奏が、(i)各コードを、ルート音と当該ルート音に対して5度上の音程となる音とからなるパワーコードで発音させるパワーコード奏法;(ii)各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法;(iii)弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法;のいずれかの奏法であることを検出することを特徴とする。   According to a second aspect of the present invention, in the first aspect, the rendition style detection means is configured such that the performance of the musical instrument performer is: (i) each chord is a root sound and a sound having a pitch 5 degrees above the root sound. (Ii) Arpeggio playing method in which a plurality of sounds composing chords of each chord are sounded; (iii) After the sounding is started by picking the string, the string is brought into contact with the fret. It is detected that the performance method is any one of the choking performance method in which the sound pitch is smoothly shifted to a higher side while being bent upward.

第3発明は、上記第2発明において、前記複数の内部エフェクタは、歪んだ音を発音させるための、ディストーション又はオーバードライブを含む第1エフェクタと、音に揺らぎの効果を与えるための、コーラス又はフェイザーを含む第2エフェクタと、音に残響効果やエコー効果を与えるための、リバーブ又はディレイを含む第3エフェクタと、を少なくとも備えることを特徴とする。   According to a third invention, in the second invention, the plurality of internal effectors include a first effector including distortion or overdrive for generating a distorted sound, and a chorus or a chord for giving a fluctuation effect to the sound. It comprises at least a second effector including a phaser and a third effector including reverb or delay for giving a reverberation effect or an echo effect to the sound.

第4発明は、上記第3発明において、前記奏法検出手段が前記パワーコード奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第1エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第2エフェクタの前記パラメータ値を前記初期値から減少させることを特徴とする。   In a fourth aspect based on the third aspect, when the performance style detection means detects the power code performance style, the parameter increase / decrease means increases at least the parameter value of the first effector from the initial value. In addition, the parameter value of the second effector is decreased from the initial value.

第5発明は、上記第3発明において、前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第2エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第3エフェクタの前記パラメータ値を前記初期値から増大させることを特徴とする。   In a fifth aspect based on the third aspect, when the rendition style detection means detects the arpeggio performance style, the parameter increase / decrease means increases at least the parameter value of the second effector from the initial value. The parameter value of the third effector is increased from the initial value.

第6発明は、上記第3発明において、前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第1エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第3エフェクタの前記パラメータ値を前記初期値から増大させることを特徴とする。   In a sixth aspect based on the third aspect, when the rendition style detection means detects the arpeggio performance style, the parameter increase / decrease means increases at least the parameter value of the first effector from the initial value. The parameter value of the third effector is increased from the initial value.

本発明によれば、ユーザの手動操作を不要としつつ、奏法に応じた最適なエフェクト効果を得ることができる。   ADVANTAGE OF THE INVENTION According to this invention, the optimal effect effect according to the performance method can be acquired, making a user's manual operation unnecessary.

本発明の一実施形態のカラオケ装置の主要構成を示す説明図である。It is explanatory drawing which shows the main structures of the karaoke apparatus of one Embodiment of this invention. カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。It is a functional block diagram which shows the main structures of the control system of the control apparatus with which the karaoke apparatus was equipped. 楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of the reception data from the server containing music data. 楽曲データの再生時にモニタに表示される表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content displayed on a monitor at the time of reproduction | regeneration of music data. CPUの詳細機能を表す機能ブロック図である。It is a functional block diagram showing the detailed function of CPU. 内部エフェクタに備えられる各エフェクタ(ディストーション、コーラス、リバーブ)におけるパラメータ値の増減制御の一例を表すテーブルである。It is a table showing an example of the increase / decrease control of the parameter value in each effector (distortion, chorus, reverb) with which an internal effector is equipped. ユーザがアルペジオ奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。It is explanatory drawing for demonstrating the increase / decrease method of the parameter value by the comparison with target pitch data and real pitch data when a user performs with the arpeggio performance method. ユーザがパワーコード奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。It is explanatory drawing for demonstrating the increase / decrease method of the parameter value by the comparison with target pitch data and real pitch data when a user performs with a power chord performance method. ユーザがチョーキング奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。It is explanatory drawing for demonstrating the increase / decrease method of the parameter value by the comparison with target pitch data and real pitch data when a user performs with the choking performance method. カラオケ装置の楽曲再生時にCPUにより実行される処理内容を示すフローチャートであるIt is a flowchart which shows the processing content performed by CPU at the time of the music reproduction of a karaoke apparatus. ステップS100の詳細手順を表すフローチャートである。It is a flowchart showing the detailed procedure of step S100.

以下、本発明の一実施の形態について、図面を参照しつつ説明する。本実施形態では、ユーザがカラオケ楽曲の演奏と共に主として自らエレキギターを演奏する場合を説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, a case will be described in which a user mainly plays an electric guitar by himself along with the performance of karaoke music.

<主要構成>
図1は、本実施形態の楽音演奏装置であるカラオケ装置の主要構成を示す説明図である。図1に示すように、カラオケ装置10には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをCRTに表示するモニタテレビ(以下、モニタと略称する)13と、ユーザ用のモニタ14と、エレキギター4(所定の弦楽器に相当)やエレキベースなどの電子楽器を接続するための楽器接続ボード8と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲(カラオケ楽曲。以下、適宜「曲」と略称する)の選曲及び曲の再生の予約などの選曲制御や、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ(カラオケ楽曲データに相当)の受信などの通信制御や、受信された楽曲データに含まれる楽音種類指定情報たるMIDIデータのうち楽器接続ボード8に接続された楽器と同じ種類の楽器の音源を指定する等を行う制御装置20と、が備えられている。
<Main configuration>
FIG. 1 is an explanatory diagram showing a main configuration of a karaoke apparatus which is a musical tone performance apparatus of the present embodiment. As shown in FIG. 1, the karaoke apparatus 10 has a monitor television (hereinafter, abbreviated as a monitor) that displays a lyrics telop indicating lyrics, a background video displayed on the background of the lyrics telop, a video showing a music selection number, etc. on the CRT. 13, a user monitor 14, a musical instrument connection board 8 for connecting an electronic musical instrument such as an electric guitar 4 (corresponding to a predetermined stringed musical instrument) or an electric bass, and a plurality of musical instrument performance parts By selecting a song (karaoke song; hereinafter abbreviated as “song” as appropriate) and selecting a song to be reserved for playback, sending a request signal indicating a request to send the selected song to the server, and by request signal Communication control such as reception of music data (corresponding to karaoke music data) corresponding to the displayed music, and musical tone type designation information included in the received music data And a control unit 20 that performs for designating the same type of instrument sound source and an instrument connected to the instrument connection board 8 of the IDI data, are provided.

さらに、カラオケ装置10には、この例では、楽器接続ボード8から入力される楽器の演奏信号とマイクロフォン17,18から入力される音声信号と曲の再生信号とのミキシング(後述の図2に示すミキシング回路9参照)や、音声と曲との音量バランス調整や、エコー調整や、ディレイ調整や、ミキシング信号の増幅や、再生される曲の音程制御(キーコントロール)や、高音・低音の制御(トーンコントロール)等を行うアンプ16と、このアンプ16から出力される増幅信号を音として再生するフロアータイプの1組のスピーカ11,11と、天井吊下げ用の1組のスピーカ12,12と、制御装置20を遠隔操作するリモコン30と、が備えられている。リモコン30には、各種の操作ボタン30a,30bが備えられている。   Further, in this example, the karaoke apparatus 10 mixes a musical instrument performance signal inputted from the musical instrument connection board 8, a voice signal inputted from the microphones 17 and 18, and a music reproduction signal (shown in FIG. 2 described later). Mixing circuit 9), sound and music volume balance adjustment, echo adjustment, delay adjustment, mixing signal amplification, playback pitch control (key control), treble and bass control ( An amplifier 16 that performs tone control), a set of floor type speakers 11 and 11 that reproduce the amplified signal output from the amplifier 16 as sound, a set of speakers 12 and 12 for hanging the ceiling, And a remote controller 30 for remotely operating the control device 20. The remote controller 30 is provided with various operation buttons 30a and 30b.

楽器接続ボード8は、図示を省略するが、電子ドラム、キーボード、エレキベース、エレキギター4の出力端子(フォンプラグ)を接続するそれぞれの入力端子(フォンジャック。演奏信号入力手段に相当)と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード8は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の1つの演奏信号を選択し、その選択された演奏信号を制御装置20の入力端子44(後述の図2参照)へ出力する役割をする。例えばエレキギター4から出力される演奏信号は、エレキギター4のフォンプラグ4a(後述の図2参照)を接続するフォンジャックを介して楽器接続ボード8へ入力され、楽器接続ボード8の出力端子から出力される演奏信号は、制御装置20の入力端子44へ入力される。なお、上記のように楽器の接続及びその種類を自動検出するのに代え、ユーザが、既に接続済みの楽器に対応した設定等をリモコン30等において手動で行うようにしてもよい。またその場合、エレキギター4のような電子弦楽器ではなく、ガットギターやフォークギターのようなアコースティック発音のギターの音を、マイクロフォンで集音してフォンジャックへ入力してもよい。   Although not shown, the musical instrument connection board 8 is connected to the output terminals (phone plugs) of the electronic drum, keyboard, electric bass, and electric guitar 4 (phone jacks; corresponding to performance signal input means); And output terminals for outputting performance signals inputted to the respective input terminals. The musical instrument connection board 8 automatically detects that each musical instrument is connected and the type of the musical instrument by connecting the output terminal of each musical instrument to the input terminal, and selects one performance signal of the connected musical instrument. The selected performance signal is output to an input terminal 44 (see FIG. 2 described later) of the control device 20. For example, a performance signal output from the electric guitar 4 is input to the musical instrument connection board 8 via a phone jack that connects a phone plug 4 a (see FIG. 2 described later) of the electric guitar 4, and is output from the output terminal of the musical instrument connection board 8. The output performance signal is input to the input terminal 44 of the control device 20. Note that instead of automatically detecting the connection and the type of the musical instrument as described above, the user may manually perform settings corresponding to the musical instrument already connected on the remote controller 30 or the like. In that case, instead of an electronic string instrument such as the electric guitar 4, an acoustically sounding guitar sound such as a gut guitar or a folk guitar may be collected by a microphone and input to the phone jack.

<制御系>
上記制御装置20の制御系の構成について図2を参照して説明する。図2は、制御装置20の制御系の主要構成を示す機能ブロック図である。制御装置20は、装置筺体にLAN回線15を接続する通信端子40と、楽器接続ボード8の出力端子と接続される入力端子44と、アンプ16の音声入力端子と接続される音声出力端子41と、モニタ13の映像入力端子と接続される映像出力端子42と、モニタ14の映像入力端子と接続される映像出力端子43とを備えている。
<Control system>
The configuration of the control system of the control device 20 will be described with reference to FIG. FIG. 2 is a functional block diagram showing the main configuration of the control system of the control device 20. The control device 20 includes a communication terminal 40 that connects the LAN line 15 to the device housing, an input terminal 44 that is connected to the output terminal of the musical instrument connection board 8, and an audio output terminal 41 that is connected to the audio input terminal of the amplifier 16. The video output terminal 42 connected to the video input terminal of the monitor 13 and the video output terminal 43 connected to the video input terminal of the monitor 14 are provided.

また、制御装置20には、制御プログラムにしたがって各種制御を実行するCPU45が設けられている。CPU45には、リモコン30から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのRAM46と、CPU45により実行されるプログラム(後述の図10及び図11に示すフローを実行する楽音演奏処理プログラムを含む)及び必要なデータテーブルなどが記憶されたROM47とが接続されている。   The control device 20 is provided with a CPU 45 that executes various controls according to the control program. The CPU 45 includes a RAM 46 for temporarily storing data transmitted from the remote controller 30, music selection number data indicating the music selection number of the selected music, music selection number data of the reserved music, and a program executed by the CPU 45 ( A musical tone performance processing program for executing a flow shown in FIGS. 10 and 11 (to be described later) and a ROM 47 in which necessary data tables are stored are connected.

また、CPU45には、モニタ13,14に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオRAM48と、サーバ70から送信される楽曲データやコード譜情報・五線譜情報(詳細は後述)、歌詞データ、及び映像データを通信端子40を介して受信するためのLANボード50と、このLANボード50により受信される楽曲データ及び歌詞データ等を一時保存するためのハードディスク(以下、単に「HDD」と称す。楽曲データ記憶手段に相当)とが接続されている。   Further, the CPU 45 has a video RAM 48 in which character video data for displaying lyrics telop and various message videos is stored on the monitors 13 and 14, music data transmitted from the server 70, chord score information / stave information (details) ), A LAN board 50 for receiving lyrics data and video data via the communication terminal 40, and a hard disk for temporarily storing music data and lyrics data received by the LAN board 50 (hereinafter referred to as “hard disk”). Simply referred to as “HDD”, which corresponds to music data storage means).

さらに、CPU45には、HDD49から読み出された曲データに含まれるMIDIデータを入力するとともに、その入力されたMIDIデータにより指定される音源から音源信号を出力するMIDI音源ボード51が接続されている。また、CPU45には、上記出力された音源信号を入力してアンプ16により増幅可能な信号に変換する音声制御回路52が接続されている。   Further, the CPU 45 is connected to a MIDI sound source board 51 that inputs MIDI data included in the song data read from the HDD 49 and outputs a sound source signal from a sound source specified by the input MIDI data. . The CPU 45 is connected to a sound control circuit 52 that inputs the output sound source signal and converts it into a signal that can be amplified by the amplifier 16.

また、CPU45には、HDD49から読み出された一般的な背景映像データ、及びHDD49から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ13の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路54が接続されている。   Further, general background video data read from the HDD 49, song-specific background data read from the HDD 49, lyrics telop data included in the song data, and the like are input to the CPU 45, and the display screen of the monitor 13 is displayed. A video control circuit 54 is connected to perform video control for creating a video in which the lyrics telop is superimposed on the background video displayed on the screen or changing the color of the lyrics telop as the music progresses.

さらに、CPU45には、制御装置20の受光部38により受光されたリモコン30からの光信号をデジタル信号に変換する変換回路55と、制御装置20の筺体に設けられた各種ボタン及びキー(テンキー、選曲ボタン等)59を押したときに点灯するLED58へ表示信号を出力する表示回路56と、上記各種ボタン及びキーを押したときに発生するスイッチング信号を入力する入力回路57とが接続されている。   Further, the CPU 45 includes a conversion circuit 55 that converts an optical signal received from the light receiving unit 38 of the control device 20 into a digital signal, and various buttons and keys (tenkey, A display circuit 56 that outputs a display signal to the LED 58 that is turned on when the music selection button 59 is pressed, and an input circuit 57 that inputs a switching signal generated when the various buttons and keys are pressed are connected. .

また、本実施形態の特徴の1つとして、CPU45には、エフェクタ部60が接続されている。すなわち、一般に、エレキギター4のように、演奏音を電気信号の形で出力する電子楽器においては、単独で出力できるサウンドは表現力に限界がある。そこで、通常、これを補うためにエフェクタが使用される場合が多い。これに対応し、本実施形態のカラオケ装置10においては、上記エフェクタ部60が設けられている。エフェクタ部60は、ユーザが演奏する電子楽器(上記の例ではエレキギター4)から出力される演奏音に、所望のエフェクトを施すことができる。この例では、歪んだ音を発音させるディストーション又はオーバードライブ等(第1エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図2等においては、単に「ディストーション」と称する)61と、音に揺らぎの効果を与えるためのコーラス又はフェイザー等(第2エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図2等においては、単に「コーラス」と称する)62と、音に残響効果やエコー効果を与えるための、リバーブ又はディレイ等(第3エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図2等においては、単に「リバーブ」と称する)63と、が少なくとも備えられている。このエフェクタ部60によって、ユーザが意図するような多種多様な表現の電子楽器のサウンドを、実現することが可能である。   In addition, as one of the features of the present embodiment, the effector unit 60 is connected to the CPU 45. That is, generally, in an electronic musical instrument that outputs a performance sound in the form of an electric signal, such as the electric guitar 4, the sound that can be output independently has a limit in expressive power. Therefore, usually an effector is often used to compensate for this. Corresponding to this, the effector unit 60 is provided in the karaoke apparatus 10 of the present embodiment. The effector unit 60 can apply a desired effect to the performance sound output from the electronic musical instrument played by the user (the electric guitar 4 in the above example). In this example, distortion or overdrive for generating a distorted sound (corresponding to a first effector and an internal effector. In the following portion of the specification, and in FIG. 2 and the like, simply referred to as “distortion”) 61, A chorus or phaser or the like for imparting a fluctuation effect to the sound (corresponding to the second effector and the internal effector. In the following part of the specification and in FIG. 2 etc., it is simply referred to as “chorus”) 62, Reverb or delay for giving a reverberation effect or an echo effect (corresponding to a third effector and an internal effector, the following part of the specification, and simply referred to as “reverb” in FIG. 2 and the like) 63; At least. With this effector unit 60, it is possible to realize sounds of various kinds of electronic musical instruments as intended by the user.

<カラオケ装置の基本動作>
以上の基本構成のカラオケ装置10において、ユーザがリモコン30により例えばエレキギター4の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ70から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター4の演奏パートを含む楽曲データの演奏に合わせてユーザ(楽器演奏者に相当)がエレキギター4を演奏すると、エレキギター4から出力される演奏信号は、楽器接続ボード8を介して制御装置20の入力端子44へ入力され、適宜にエフェクタ部60によりエフェクトを施される。そして、音声制御回路52において、音源信号が音声出力端子41へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音声制御回路52において、音源信号のエレキギターの楽曲パート一部をエレキギター4の演奏信号(上記エフェクタ部60によりエフェクトを施されたもの)と置き換えたマイナスワン再生状態で、音声出力端子41へ出力される。
<Basic operation of karaoke equipment>
In the karaoke apparatus 10 having the above basic configuration, when the user selects karaoke music including a performance part of the electric guitar 4 by the remote controller 30 and receives music data transmitted from the server 70 corresponding to the music selection, the music data is changed. Played. When a user (corresponding to a musical instrument player) plays the electric guitar 4 in accordance with the performance of the music data including the performance part of the electric guitar 4, the performance signal output from the electric guitar 4 is transmitted via the musical instrument connection board 8. The signal is input to the input terminal 44 of the control device 20, and an effect is appropriately applied by the effector unit 60. Then, in the sound control circuit 52, the sound source signal is output to the sound output terminal 41. In the case of the so-called minus one playback state, the audio control circuit 52 replaces a part of the musical guitar part of the sound source signal with the performance signal of the electric guitar 4 (effects applied by the effector unit 60). In the minus one reproduction state, it is output to the audio output terminal 41.

このとき、本実施形態では、サーバ70より歌詞データや映像データとともに受信した当該エレキギター4のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報及び五線譜情報(詳細は後述)が対応付けられており、当該楽曲データの再生時にはモニタ13,14によってコード譜情報又は五線譜情報が歌詞データや映像データと共に表示される。これにより、演奏者であるユーザは、モニタ13,14に表示されるコード譜情報又は五線譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター4の演奏パートを自ら容易に演奏して、当該エレキギター4の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。   At this time, in this embodiment, chord score information and staff score information for performance support in advance for the music data including the guitar performance part of the electric guitar 4 received from the server 70 together with the lyrics data and the video data (details will be described later). The chord score information or the staff score information is displayed together with the lyrics data and the video data by the monitors 13 and 14 when the music data is reproduced. Thereby, the user who is a performer easily performs the performance part of the electric guitar 4 by himself using the chord score information or the staff information displayed on the monitors 13 and 14 according to the karaoke music to be reproduced. Thus, it is possible to practice the electric guitar 4 and enjoy an ensemble of the entire karaoke music.

<データ構造>
図3は、本実施形態における、サーバ70より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図3に示す例では、サーバから受信されるデータの、カラオケ楽曲の4小節分を示している。受信データは、4小節分の演奏の進行に対応した複数の楽器演奏パート(この例では、エレキギター4に対応するギターパート、ベースパート、ドラムパート)の楽曲データと、上記コード譜情報と、上記五線譜情報と、歌詞データ(歌詞テロップデータ)と、映像データと、を備えている。
<Data structure>
FIG. 3 is an explanatory diagram showing a data structure of received data including music data received from the server 70 in the present embodiment. In the example shown in FIG. 3, four bars of karaoke music pieces of data received from the server are shown. The received data includes music data of a plurality of musical instrument performance parts (in this example, a guitar part, a bass part, and a drum part corresponding to the electric guitar 4) corresponding to the progress of the performance for four bars, the chord score information, The music score information, lyric data (lyric telop data), and video data are provided.

楽曲データは、歌詞データ及び映像データとともに、図3に示すデータ中の1番目の小節(以下、単に「第1小節」等という)から再生され、時間の経過に従って第2小節、第3小節、第4小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。   The music data is reproduced from the first bar (hereinafter simply referred to as “first bar” or the like) in the data shown in FIG. 3 together with the lyrics data and the video data, and the second bar, the third bar, Playback proceeds to the fourth measure. Corresponding to the reproduction, display based on the lyrics data and the video data also proceeds.

<コード譜情報>
コード譜情報は、楽曲データに対応付けられており、この例では、図中の第1小節が、コードEm、第2小節が、コードBm7、第3小節が、コードC、第4小節が、コードBm7、第5小節が、コードCmaj7、第6小節が、コードBm7、第7小節が、コードAm7及びAm7/D、第8小節が、コードGmaj9となっている。
<Cord score information>
The chord score information is associated with music data. In this example, the first bar in the figure is chord Em, the second bar is chord Bm7, the third bar is chord C, the fourth bar is The code Bm7, the fifth bar is the code Cmaj7, the sixth bar is the code Bm7, the seventh bar is the codes Am7 and Am7 / D, and the eighth bar is the code Gmaj9.

<五線譜情報>
五線譜情報は、上記ギターパートの内容を五線譜で表したもので、上記コード譜情報と同様、楽曲データに対応付けられている。なお、後述するチョーキング奏法を行うべきチョーキング部位では、チョーキング奏法に沿った内容の五線譜(後述の図9参照)となっている。この五線譜情報の詳細については後述する。なお、チョーキング奏法に沿った内容であれば(すなわち開始音高と最終音高とが明示されていれば)、五線譜情報に代え、他の情報(例えばTAB譜情報等)を用いてもよい。
<Stave information>
The staff notation information represents the contents of the guitar part in a staff notation, and is associated with music data in the same manner as the chord notation information. In addition, the choking part which should perform the choking performance method mentioned later becomes the staff score (refer FIG. 9 mentioned later) of the content along the choking performance method. Details of the staff information will be described later. If the content is in accordance with the choking technique (that is, if the start pitch and the final pitch are clearly specified), other information (for example, TAB score information) may be used instead of the staff score information.

なお、楽曲データの種類が複数ある場合には、楽曲データ毎に、曲名(例えば、上述した選曲に用いる楽曲ID)、楽曲演奏用のMIDIデータ、歌詞データ、演奏支援用のコード譜データが対応付けられたデータ構造であればよい。楽曲データ構造は周知であるので、図3には必要な部分だけを図示している。   When there are a plurality of types of music data, each music data corresponds to a music name (for example, music ID used for music selection described above), MIDI data for music performance, lyrics data, and chord data for performance support. Any data structure may be used. Since the music data structure is well known, only the necessary parts are shown in FIG.

また、この例では、上記コード譜情報及び五線譜情報が楽曲データと同一ファイルにより構成されているが、これに限られず、コード譜情報や五線譜情報が楽曲データと別ファイル(以下、コード譜情報ファイル又は五線譜情報ファイル)で構成され、同じ曲名で対応付けられていてもよい。   In this example, the chord score information and the staff information are composed of the same file as the music data. However, the present invention is not limited to this, and the chord score information and the staff information are separate files from the music data (hereinafter referred to as the chord music information file). Or a music score information file) and may be associated with the same music title.

例えば、以下の構成と処理(1)〜(4)によって、コード譜情報や五線譜情報が楽曲データと別ファイル(コード譜情報ファイル又は五線譜情報ファイル)であっても、コード譜情報や五線譜情報が楽曲データと同一ファイルの場合と、同じ作用が得られる。
(1)コード譜情報ファイル又は五線譜情報ファイルとは、楽曲データの再生の時間進行に応じて出現するコード情報又は五線譜情報を、予め、楽曲の進行時間と対応付けたテーブルのファイルである。テーブルは具体的には、(演奏時間t1:コードEm、t2:コードBm、・・・最後の演奏時間tX:最後のコード譜X)の情報が記録されている。
(2)上記コード情報ファイル又は五線譜情報ファイルを、楽曲データとともに、HDD49に記憶しておく。
(3)入力回路57から楽曲の再生が指定された場合に、CPU45は、楽曲データとともに、対応するコード譜情報ファイル又は五線譜情報ファイルもHDD49から読み出す。
(4)CPU45は、ROM47の実行プログラムに従い楽曲データを再生し、再生の進行時間に応じて、コード情報ファイル又は五線譜情報ファイルからコード譜情報又は五線譜情報を読み出す。
具体的には、楽曲データの再生の進行時間がt1(秒)に到達した場合には、コード情報ファイル又は五線譜情報ファイルからt1に対応するコードEm又は五線譜の内容を読み出し、t2(秒)の到達で、t2に対応するコードBm又は五線譜の内容を読み出す。以下同様に、楽曲データの再生終了(tX)迄、コード譜情報ファイル又は五線譜情報ファイルから進行時間に応じたコード譜又は五線譜を読み出し続ける。
For example, by the following configurations and processes (1) to (4), even if the chord score information and the staff information are separate from the music data (the chord score information file or the staff information file), the chord score information and the staff information are The same effect can be obtained as in the case of the same file as the music data.
(1) The chord score information file or the staff information file is a file of a table in which the chord information or the staff information that appears in accordance with the progress of the music data reproduction is associated with the progress time of the music in advance. Specifically, the table records information of (performance time t1: chord Em, t2: chord Bm,... Last performance time tX: last chord score X).
(2) The code information file or the staff information file is stored in the HDD 49 together with the music data.
(3) When the reproduction of the music is designated from the input circuit 57, the CPU 45 reads out the corresponding music score information file or the staff information file from the HDD 49 together with the music data.
(4) The CPU 45 reproduces the music data according to the execution program of the ROM 47, and reads out the chord information or the staff information from the chord information file or the staff information file according to the reproduction progress time.
Specifically, when the music data reproduction progress time reaches t1 (seconds), the code Em or the staff score corresponding to t1 is read from the code information file or the staff information file, and t2 (seconds) is read. Upon arrival, the code Bm or the staff score corresponding to t2 is read. Similarly, the chord score or the staff score corresponding to the progress time is continuously read from the chord score information file or the staff score information file until the music data reproduction ends (tX).

図4は、楽曲データの再生時に上記コード譜情報に対応してモニタ13,14に表示される表示内容の一例を示す説明図である。この例では、上記図3に示したもののうち最初の4小節分の楽曲データに対応した表示の例を示している。すなわち、モニタ13,14の表示内容は、上記4小節分の歌詞「あの言葉さえ 言わなければ」と、歌詞の上側に添えられたコード譜(第1小節:Em、第2小節:Bm7、第3小節:C、第4小節:Bm7)と、歌詞の下側に2小節分ずつ設けられた再生進行バーと、からなっている。再生進行バーは、楽曲データの再生の進行状態を帯状に延びる黒色部分によって示されている。エレキギター4のユーザは、楽曲データの再生時、モニタ13,14に表示される上記コード譜を見て、再生進行バーの延び状態に対応してコード進行順にエレキギター4のコードを押さえることで、カラオケ楽曲のエレキギターパートを容易に弾くことができる。   FIG. 4 is an explanatory diagram showing an example of display contents displayed on the monitors 13 and 14 in correspondence with the chord score information when music data is reproduced. In this example, a display example corresponding to the music data for the first four bars of the one shown in FIG. 3 is shown. That is, the display contents of the monitors 13 and 14 are the above-mentioned lyrics for the four bars “I have to say that word” and the chord score attached to the upper side of the lyrics (first bar: Em, second bar: Bm7, 3 bars: C, 4th bar: Bm7), and a playback progress bar provided at the bottom of the lyrics for 2 bars. The reproduction progress bar is indicated by a black portion extending in a strip shape to indicate the progress of reproduction of the music data. The user of the electric guitar 4 looks at the chord score displayed on the monitors 13 and 14 when reproducing the music data, and presses the chords of the electric guitar 4 in the order of the chord progression corresponding to the extension state of the reproduction progression bar. You can easily play the electric guitar part of karaoke music.

図4(a)は、第1小節(コードEm)の冒頭から始まった上記楽曲データの再生が第1小節の途中(歌詞「あの」の「の」の部分の直後)まで進行している状態であり、1つ目の再生進行バーの黒色部分が、上記第1小節の途中まで延びている。図4(b)は、上記図4(a)の状態からさらに再生が進み、第1小節が終了して、第2小節(コードBm7)の途中の部分(歌詞「言葉さえ」の「さ」の部分の直前)が再生されている状態であり、上記黒色部分が第2小節の途中まで延びている。図4(c)は、上記図4(b)の状態からさらに再生が進み、第2小節の終わり(歌詞「言葉さえ」の「え」の後の部分)が再生されている状態であり、上記黒色部分が第2小節の終わりまで延びている。   FIG. 4 (a) shows a state where the reproduction of the music data starting from the beginning of the first bar (code Em) is progressing to the middle of the first bar (immediately after the “no” part of the lyrics “that”). The black portion of the first reproduction progress bar extends partway through the first bar. In FIG. 4 (b), the reproduction further proceeds from the state of FIG. 4 (a), the first measure ends, and the middle part of the second measure (code Bm7) (“sa” of the lyrics “Even the word”). The black portion extends partway through the second bar. FIG. 4 (c) shows a state in which the reproduction further proceeds from the state of FIG. 4 (b) and the end of the second measure (the part after “E” of the lyrics “words”) is being reproduced. The black part extends to the end of the second bar.

<本実施形態の特徴>
ところで、一般に、弦楽器(特にエレキギター4)には、多種多様な奏法が存在する。例えば、各コードの和音を構成する複数音を略同時に発音させるストローク奏法、各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法、各弦がミュートあるいは短い時間で刻むように発音されるカッティング奏法、楽曲のドライブ感を強調するために、各コードをルート音と当該ルート音に対して5度上の音程となる音で発音させるパワーコード奏法、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法、等がある。これらの奏法は、上記エフェクタ部60における、それぞれに最適なエフェクタ種類(上記の例では、ディストーション61、コーラス62、リバーブ63)及びそのエフェクト効果の程度が互いに大きく異なる。
<Features of this embodiment>
By the way, in general, stringed instruments (particularly the electric guitar 4) have a variety of performance methods. For example, a stroke playing method in which a plurality of notes that make up the chords of each chord are pronounced at the same time, an arpeggio playing method in which a plurality of notes that make up the chords of each chord are distributed, and each string is muted or chopped in a short time In order to emphasize the feeling of driving the music, the chord is played with a root sound and a sound that is 5 times higher than the root sound. There is a choking technique in which a string is flexed upward while being in contact with a fret, and the tone pitch is smoothly shifted to a higher side. In these performance methods, the optimum effector types (distortion 61, chorus 62, reverb 63 in the above example) and the degree of the effect of the effector 60 are greatly different from each other.

そこで、本実施形態では、ユーザの演奏中に、その演奏内容が上記のうちどの奏法に該当するかを自動的に判定し、その判定結果に応じて、上記エフェクタ部60のディストーション61、コーラス62、リバーブ63のエフェクト効果の強弱を表すパラメータ値を増減させる。以下、その詳細を順を追って説明する。   Therefore, in the present embodiment, during the performance of the user, it is automatically determined to which of the above playing methods the performance content corresponds, and the distortion 61 and chorus 62 of the effector unit 60 are determined according to the determination result. The parameter value representing the strength of the effect of the reverb 63 is increased or decreased. Hereinafter, the details will be described in order.

<奏法の検出>
本実施形態では、ユーザがエレキギター4を演奏することで出力された演奏信号の周波数成分が公知のFFT(高速フーリエ変換)の手法により抽出された後にクロマベクトル処理が行われることで、所定の時間区分ごとに、上記演奏に対応した実音高データ(詳細は後述)が生成される。その実音高データと、上記コード譜情報及び五線譜情報に基づき生成された目標音高データ(詳細は後述)との一致度に基づき、上記奏法の検出が行われる。以下、その詳細を図5〜図9を用いて説明する。
<Performance detection>
In this embodiment, the chroma vector process is performed after the frequency component of the performance signal output by the user playing the electric guitar 4 is extracted by a known FFT (Fast Fourier Transform) technique, thereby obtaining a predetermined value. For each time segment, actual pitch data (details will be described later) corresponding to the performance is generated. The rendition method is detected based on the degree of coincidence between the actual pitch data and the target pitch data (details will be described later) generated based on the chord information and the staff information. The details will be described below with reference to FIGS.

<CPUの詳細機能>
上記の奏法検出を行うために、本実施形態の上記CPU45が備える機能的構成を、図5に示す。図示のように、CPU45は、FFT処理部45a、特徴パラメータ取得部45b、実データバッファ45c、目標データ生成部45g、目標データバッファ45e、マッチング処理部45d、及び、エフェクタ制御信号生成部45f等の各機能部を備えている。
<Detailed functions of CPU>
FIG. 5 shows a functional configuration of the CPU 45 of the present embodiment in order to perform the rendition style detection. As illustrated, the CPU 45 includes an FFT processing unit 45a, a feature parameter acquisition unit 45b, an actual data buffer 45c, a target data generation unit 45g, a target data buffer 45e, a matching processing unit 45d, an effector control signal generation unit 45f, and the like. Each functional unit is provided.

前述のようにしてユーザのエレキギター4の演奏により出力され制御装置20に入力された演奏信号は、デジタルデータに変換された後にFFT処理部45a及び特徴パラメータ取得部45bに入力される。FFT処理部45aでは、入力されたサンプリングデータ列である演奏音声データを所定の時間区分(例えば186msec)毎に分割して高速フーリエ変換する。このFFTによって得られた周波数スペクトルは、FFT処理部45aから特徴パラメータ取得部45bに入力される。   The performance signal output by the user's performance of the electric guitar 4 and input to the control device 20 as described above is converted into digital data, and then input to the FFT processing unit 45a and the characteristic parameter acquisition unit 45b. The FFT processing unit 45a divides the performance audio data, which is the input sampling data sequence, into predetermined time segments (for example, 186 msec) and performs fast Fourier transform. The frequency spectrum obtained by the FFT is input from the FFT processing unit 45a to the feature parameter acquisition unit 45b.

特徴パラメータ取得部45bは、上記演奏音声データが入力されるとともに、FFT処理部45aから、周波数領域の情報である周波数スペクトルが入力される。特徴パラメータ取得部45bは、上記演奏音声データ及びその周波数スペクトルから、演奏音声データの様々な特徴を示す複数の特徴パラメータを取得し、公知のクロマベクトル化の手法によりその取得結果に対応した実音高データ(上記演奏信号に含まれる各音を表すデータ)を生成し出力する。この特徴パラメータの取得は、上記時間区分ごとのフレームで行われる。具体的には、特徴パラメータ取得部45bは、上記入力された演奏音声データから時間領域の特徴パラメータを割り出す時間領域情報取得部45baと、FFT処理部45aから入力された周波数スペクトルから周波数領域の特徴パラメータを割り出す周波数領域情報取得部45bbとを備えている。   The characteristic parameter acquisition unit 45b receives the performance sound data and also receives a frequency spectrum that is frequency domain information from the FFT processing unit 45a. The characteristic parameter acquisition unit 45b acquires a plurality of characteristic parameters indicating various characteristics of the performance sound data from the performance sound data and its frequency spectrum, and the actual pitch corresponding to the acquired result by a known chroma vectorization technique. Data (data representing each sound included in the performance signal) is generated and output. This feature parameter is acquired in the frame for each time segment. Specifically, the feature parameter acquisition unit 45b includes a time domain information acquisition unit 45ba that calculates a time domain feature parameter from the input performance audio data and a frequency domain feature from the frequency spectrum input from the FFT processing unit 45a. A frequency domain information acquisition unit 45bb for determining parameters.

時間領域情報取得部45baは、入力された演奏音声データをFFT処理部45aと同期した上記時間区分ごとのフレームに分割し、各フレームごとに時間領域の特徴パラメータを取得する。時間領域情報取得部45baが取得する特徴パラメータの例としては、例えば、エネルギ、エネルギ変化度、持続時間等がある。周波数領域情報取得部45bbは、上記FFT処理部45aから入力された上記時間区分の長さの波形の周波数スペクトルから周波数領域の特徴パラメータを取得する。周波数領域情報取得部45bbが取得する特徴パラメータの例としては、例えば、ピッチ、倍音周波数、倍音レベル、倍音位相、等がある。   The time domain information acquisition unit 45ba divides the input performance sound data into frames for each of the time segments synchronized with the FFT processing unit 45a, and acquires time domain feature parameters for each frame. Examples of characteristic parameters acquired by the time domain information acquisition unit 45ba include energy, energy change, duration, and the like. The frequency domain information acquisition unit 45bb acquires frequency domain feature parameters from the frequency spectrum of the waveform having the length of the time segment input from the FFT processing unit 45a. Examples of characteristic parameters acquired by the frequency domain information acquisition unit 45bb include, for example, pitch, harmonic frequency, harmonic level, harmonic phase, and the like.

上記のようにして時間領域情報取得部45ba及び周波数領域情報取得部45bbで取得された特徴パラメータに基づき生成され出力された上記実音高データは、実データバッファ45cに入力される。実データバッファ45cは、入力された上記実音高データを時間情報(タイムスタンプ)を付して記憶する。 The actual pitch data generated and output based on the characteristic parameters acquired by the time domain information acquisition unit 45ba and the frequency domain information acquisition unit 45bb as described above are input to the actual data buffer 45c. The actual data buffer 45c stores the input actual pitch data with time information (time stamp).

一方、目標データ生成部45gには、上記カラオケ楽曲データに同期した上記コード譜情報及び五線譜情報が入力される。目標データ生成部45gは、そのコード譜情報及び五線譜情報に基づき、目標音高データ(本実施形態では、アルペジオ奏法用目標音高データ、パワーコード奏法用目標音高データ、チョーキング奏法用目標音高データ、及び、通常奏法用目標音高データの4種類がある。詳細は後述)を生成する。この目標音高データは、例えば、五線譜情報で表される音やコード譜情報で表されるコードを構成する和音に対応したデータである。生成された目標音高データは、目標データバッファ45eへ出力されて目標データバッファ45eに記憶される。 On the other hand, the chord score information and the staff information synchronized with the karaoke piece data are input to the target data generation unit 45g. Based on the chord score information and the notation information, the target data generation unit 45g sets target pitch data (in this embodiment, target pitch data for arpeggio performance, target pitch data for power chord performance, target pitch for choking performance) There are four types of data and normal performance target pitch data, details of which will be described later. This target pitch data is, for example, data corresponding to chords constituting a sound represented by staff information and a chord represented by chord information. The generated target pitch data is output to the target data buffer 45e and stored in the target data buffer 45e.

マッチング処理部45dは、上述のようにして実データバッファ45cに記憶された実音高データと、これに対応する、目標データバッファ45eに記憶された上記目標音高データと、を公知の手法で比較し、一致度を例えば演算により数値的に算出する。そして、算出された一致度が所定のしきい値(例えば70%)以上であるか否かに基づき、上記エレキギター4の奏法を決定する(言い替えれば奏法の検出が行われる)。決定結果は、エフェクタ制御信号生成部45fへ出力される。なお、上記のように上記一致度を演算によって算出するのではなく、予め複数の区分に分けられ各区分ごとに一致度の値が対応づけられたテーブルが用意されており、上記比較結果が当該テーブルのどの区分に属するかによって一致度を決定するようにしてもよい。   The matching processor 45d compares the actual pitch data stored in the actual data buffer 45c as described above with the corresponding target pitch data stored in the target data buffer 45e by a known method. The degree of coincidence is calculated numerically, for example, by calculation. Then, based on whether or not the calculated degree of coincidence is equal to or greater than a predetermined threshold value (for example, 70%), the performance method of the electric guitar 4 is determined (in other words, the performance method is detected). The determination result is output to the effector control signal generation unit 45f. Instead of calculating the degree of coincidence by calculation as described above, a table is prepared in which the degree of coincidence is assigned to each section in advance, and the comparison result is The degree of coincidence may be determined depending on which section of the table it belongs to.

エフェクタ制御信号生成部45fは、マッチング処理部45dから入力された上記奏法検出結果に基づいて、エフェクタ部60に備えられた各エフェクタ(前述の例ではディストーション61、コーラス62、リバーブ63)それぞれにおける、上記検出された奏法に適するように各エフェクタのパラメータ値の増加処理又は減少処理を決定し、対応するエフェクタ制御信号を生成する。エフェクタ制御信号生成部45fは、上記生成したエフェクタ制御信号をエフェクタ部60へと出力する。   The effector control signal generation unit 45f is based on the rendition style detection result input from the matching processing unit 45d, in each effector (distortion 61, chorus 62, reverb 63 in the above example) provided in the effector unit 60. An increase process or a decrease process of the parameter value of each effector is determined so as to be suitable for the detected performance style, and a corresponding effector control signal is generated. The effector control signal generation unit 45f outputs the generated effector control signal to the effector unit 60.

<エフェクタパラメータ値増減>
上記エフェクタ制御信号生成部45fからの上記エフェクタ制御信号によりエフェクタ部60において実現される、各エフェクタ(ディストーション61、コーラス62、リバーブ63)におけるパラメータ値の増減の一例を図6に示す。なお、テーブル中の各数値[%]は、演奏開始前にユーザの手動により設定されていた(若しくは固定的にデフォルトとして設定されていた)上記ディストーション61、コーラス62、リバーブ63の上記パラメータ値(以下適宜、「パラメータ初期値」という)に対する増減の度合いを、百分率により表したものである。
<Increase / decrease effector parameter value>
An example of the increase / decrease of the parameter value in each effector (distortion 61, chorus 62, reverb 63) realized in the effector 60 by the effector control signal from the effector control signal generator 45f is shown in FIG. Each numerical value [%] in the table is set by the user manually (or fixedly set as default) before the performance is started, and the parameter values of the distortion 61, the chorus 62, and the reverb 63 ( The degree of increase / decrease with respect to “parameter initial value”) is expressed as a percentage as appropriate.

図示のように、マッチング処理部45dにより決定された奏法がアルペジオ奏法であった場合には、上記エフェクタ制御信号生成部45fからの上記エフェクタ制御信号に応じて、上記コーラス62のパラメータ値は上記パラメータ初期値より70%増大され、上記リバーブ20のパラメータ値は上記パラメータ初期値より20%増大される。なお、上記ディストーション61のパラメータ値は上記パラメータ初期値から増減なく(±0)そのまま維持される。これにより、例えば分散和音によるバッキング演奏において音の広がりが増大し、他の演奏パートとの美しいアンサンブルを実現することができる。   As shown in the figure, when the performance method determined by the matching processing unit 45d is an arpeggio performance method, the parameter value of the chorus 62 depends on the effector control signal from the effector control signal generation unit 45f. The parameter value of the reverb 20 is increased by 20% from the initial parameter value. Note that the parameter value of the distortion 61 is maintained as it is (± 0) without increasing or decreasing from the initial parameter value. Thereby, for example, the spread of the sound increases in a backing performance using distributed chords, and a beautiful ensemble with other performance parts can be realized.

また、マッチング処理部45dにより決定された奏法がパワーコード奏法であった場合には、上記エフェクタ制御信号生成部45fからの上記エフェクタ制御信号に応じて、上記ディストーション61のパラメータ値は上記パラメータ初期値より50%増大され、上記コーラス62のパラメータ値は上記パラメータ初期値より30%減少される。なお、上記リバーブ63のパラメータ値は上記パラメータ初期値から増減なく(±0)そのまま維持される。これにより、例えばロック系のカラオケ楽曲によるバッキング演奏において、シャープにひずませた音により切れ味の鋭い演奏を実現し、ドライブ感を増大させることができる。   When the performance method determined by the matching processing unit 45d is a power code performance method, the parameter value of the distortion 61 is set to the parameter initial value according to the effector control signal from the effector control signal generation unit 45f. The parameter value of the chorus 62 is reduced by 30% from the initial parameter value. The parameter value of the reverb 63 is maintained as it is (± 0) without increasing or decreasing from the parameter initial value. As a result, for example, in a backing performance with rock-type karaoke music, it is possible to realize a sharp performance with a sharply distorted sound and to increase driving feeling.

また、マッチング処理部45dにより決定された奏法がチョーキング奏法であった場合には、上記エフェクタ制御信号生成部45fからの上記エフェクタ制御信号に応じて、上記ディストーション61のパラメータ値は上記パラメータ初期値より30%増大され、上記リバーブ63のパラメータ値は上記パラメータ初期値より80%増大される。なお、上記コーラス62のパラメータ値は上記パラメータ初期値から増減なく(±0)そのまま維持される。これにより、例えばカラオケ楽曲の間奏でのギターソロパートの演奏において、適度に歪みつつ残響感の効いた音により華麗に響きわたるギターソロを実現することができる。   When the performance method determined by the matching processing unit 45d is a choking performance method, the parameter value of the distortion 61 is determined from the parameter initial value according to the effector control signal from the effector control signal generation unit 45f. The parameter value of the reverb 63 is increased by 80% from the initial parameter value. The parameter value of the chorus 62 is maintained as it is (± 0) without increasing or decreasing from the parameter initial value. Thereby, for example, in the performance of a guitar solo part as an interlude of karaoke music, it is possible to realize a guitar solo that resonates brilliantly with a sound that is moderately distorted and has a feeling of reverberation.

なお、上記図6に示したパラメータ値の増減制御は、パラメータ初期値に対する増減度合いを相対的に設定する手法により行ったが、これに限られない。例えば、パラメータ初期値がいくらであるかにかかわらず、予め固定的に設定された各パラメータの絶対値に強制的に設定するようにしてもよい。例えば、上記アルペジオ奏法の場合、上記コーラス62のパラメータ値がたとえば数値「0」〜「20」で表される場合には、パラメータ初期値が「0」の場合であっても「5」の場合であっても一律に比較的大きな「14」に制御され、上記リバーブ20のパラメータ値がたとえば数値「0」〜「20」で表される場合には、パラメータ初期値が「0」の場合であっても「5」の場合であっても一律に「4」に制御されるようにしてもよい。   The parameter value increase / decrease control shown in FIG. 6 is performed by a method of setting the increase / decrease degree relative to the parameter initial value relatively, but is not limited thereto. For example, the absolute value of each parameter that is fixedly set in advance may be forcibly set regardless of how much the parameter initial value is. For example, in the case of the arpeggio playing method, when the parameter value of the chorus 62 is expressed by numerical values “0” to “20”, the parameter initial value is “0” even if it is “5”. However, when the parameter value of the reverb 20 is expressed by numerical values “0” to “20”, for example, when the parameter initial value is “0”, the control value is uniformly relatively large “14”. Even if it is “5”, it may be controlled to “4” uniformly.

<目標データ生成部の詳細>
本実施形態においては、ユーザによる演奏がどのような奏法によるものであるかを検出するために、上記目標データ生成部45gは、アルペジオ奏法用目標音高データ45g1、パワーコード奏法用目標音高データ生成部45g2、チョーキング奏法用目標音高データ45g3、及び、通常奏法用目標音高データ45g4、を備えている。入力される、上記コード譜情報及び五線譜情報には、予め、当該カラオケ楽曲データの適宜の演奏区間ごとに、上記各種奏法のうちどの奏法で演奏すべきかの奏法情報が対応づけられている。そして、当該カラオケ楽曲の再生による曲に進行に応じて、上記演奏区間ごとに、上記アルペジオ奏法用目標音高データ45g1、パワーコード奏法用目標音高データ生成部45g2、チョーキング奏法用目標音高データ45g3、及び、通常奏法用目標音高データ45g4、のうちいずれかが選択的に用いられて、対応する各奏法による目標音高データが生成され、目標データバッファ45eに記憶される。
<Details of the target data generator>
In the present embodiment, in order to detect what kind of rendition is performed by the user, the target data generating unit 45g includes arpeggio rendition target pitch data 45g1, power code rendition target pitch data. A generating unit 45g2, choking performance target pitch data 45g3, and normal performance target pitch data 45g4 are provided. The chord score information and the staff score information to be inputted are associated in advance with performance style information indicating which performance style of the various performance styles should be played for each appropriate performance section of the karaoke piece data. The arpeggio performance target pitch data 45g1, the power chord performance target pitch data generation unit 45g2, and the choking performance target pitch data for each performance section according to the progress of the song by the reproduction of the karaoke music. Either of 45g3 and normal performance style target pitch data 45g4 is selectively used, and target pitch data for each corresponding performance style is generated and stored in the target data buffer 45e.

<アルペジオ奏法用目標データ>
アルペジオ奏法用目標データ生成部45g1では、コード譜情報に含まれる各コードの和音を構成する複数音を、経時的に分散して発音させた目標音高データが、当該コード譜情報に基づいて生成される。なお、和音構成する各音の分散のさせ方(どの音をどの順序でどのタイミングで発音するか)は、典型的な1種類を固定的に使用してもよいし、複数種類を用意していずれか1つに当てはまるか否かを上記マッチング処理部45dで判定するようにしてもよいし、順序を問わず和音を構成する音であるか否かを上記マッチング処理部45dで判定するようにしてもよい。
<Arpeggio performance target data>
The arpeggio performance target data generation unit 45g1 generates target pitch data based on the chord score information, which is generated by distributing the sounds of the chords of each chord included in the chord score information over time. Is done. As for how to disperse each sound constituting the chord (which sound is generated in which order and at which timing), one typical type may be used in a fixed manner, or a plurality of types may be prepared. The matching processing unit 45d may determine whether any one of them is applicable, or the matching processing unit 45d may determine whether the sound constitutes a chord regardless of the order. May be.

<パワーコード奏法用目標データ>
パワーコード奏法用目標データ生成部45g2では、コード譜情報に含まれる各コードのルート音と当該ルート音に対して5度上の音程となる音とによって構成される、パワーコードからなる目標音高データが、当該コード譜情報に基づいて生成される。
<Target data for power code performance>
In the power chord performance target data generation unit 45g2, a target pitch composed of a power chord composed of a root sound of each chord included in the chord score information and a sound having a pitch 5 degrees higher than the root sound. Data is generated based on the chord score information.

<チョーキング奏法用目標データ>
チョーキング奏法用目標データ生成部45g3では、エレキギター4の単音演奏時において、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させる奏法(チョーキング奏法)からなる目標音高データが、上記五線譜情報に基づいて生成される。
<Target data for choking techniques>
In the choking performance target data generation unit 45g3, when the electric guitar 4 plays a single note, after the sounding is started by picking the string, the string is bent upward while keeping the string in contact with the fret so that the sounding pitch is smoothed to the higher side. The target pitch data consisting of the performance method (choking performance method) to be transferred to is generated based on the staff information.

<奏法検出とパラメータ増減の具体例>
次に、上記の手法によるユーザのエレキギター4の奏法の検出と、その検出結果に対応した各エフェクタのパラメータ増減の具体例を、図7〜図9により説明する。
<Specific examples of rendition style detection and parameter increase / decrease>
Next, specific examples of detection of the playing method of the user's electric guitar 4 by the above-described method and increase / decrease of parameters of each effector corresponding to the detection result will be described with reference to FIGS.

<アルペジオ奏法の検出>
前述したように、カラオケ楽曲のうち、上記奏法情報によりアルペジオ奏法による演奏が指定されている区間については、上記マッチング処理部45において、上記アルペジオ奏法用目標データ生成部45g1で生成されたアルペジオ奏法用目標音高データと、(ユーザがアルペジオ奏法で演奏した)上記実音高データとの比較により、当該アルペジオ奏法の検出が行われる。
<Detection of arpeggios>
As described above, for the section of the karaoke piece in which the performance by the arpeggio performance is specified by the performance information, the matching processing unit 45 uses the arpeggio performance target data generation unit 45g1 for the arpeggio performance method. Detection of the arpeggio performance is performed by comparing the target pitch data with the actual pitch data (performed by the user with the arpeggio).

図7において、この例では、上記図3、図4に示した楽曲データにおける、前述した、コードEmの第1小節、コードBm7の第2小節、・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター4を演奏した状態を示している。   7, in this example, the music is reproduced by the chord progression in the order of the first measure of chord Em, the second measure of chord Bm7, etc., in the song data shown in FIGS. 3 and 4 above. In this state, the user plays the electric guitar 4 in accordance with the reproduction.

上記のようなコード進行に対応する上記目標音高データは、前述したように、各コードを構成する和音を経時的に分散して発音させたデータとなっている。すなわち、前述の奏法情報に対応して、第3小節において、コードEmを構成する各和音を発音するように、6弦0フレット→4弦2フレット→3弦0フレット→1弦0フレット→2弦0フレット→3弦0フレットの順序の運指態様により発音される音高が、指定されている。同様に、第4小節において、コードBm7を構成する各和音を発音するように、5弦2フレット→4弦4フレット→3弦2フレット→1弦2フレット→2弦3フレット→3弦2フレットの順序の運指態様により発音される音高が、指定されている。   As described above, the target pitch data corresponding to the chord progression as described above is data in which chords constituting each chord are distributed over time and sounded. That is, in correspondence with the above-mentioned performance information, the 6th string 0th fret → 4th string 2nd fret → 3rd string 0th fret → 1st string 0th fret → 2 so that each chord constituting the chord Em is pronounced in the third measure. The pitch to be generated is specified by the fingering mode in the order of string 0 fret → 3 string 0 fret. Similarly, in the 4th measure, the 5th string, 2nd fret, 4th string, 4th fret, 3rd string, 2nd fret, 1st string, 2nd fret, 2nd string, 3rd fret, 3rd string, 2nd fret so that each chord constituting chord Bm7 is pronounced. The pitch that is pronounced by the fingering mode of the order is specified.

そして、上記第1小節〜第2小節において、ユーザによるエレキギター4の演奏による演奏信号に基づき、上述のようにしてFFT処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター4の演奏により、第1小節のコードEmに対しては、6弦0フレット→4弦2フレット→3弦0フレット→1弦0フレット→2弦0フレット→2弦0フレットの順序の運指態様により発音される音高のデータが、入力された演奏信号から生成されている。第2小節のコードBm7に対しては、5弦2フレット→4弦4フレット→2弦3フレット→1弦2フレット→2弦3フレット→3弦2フレットの順序の運指態様により発音される音高のデータが、入力された演奏信号から生成されている。   Then, in the first bar to the second bar, the frequency components are extracted by the FFT process and the chroma vector process is performed as described above based on the performance signal of the performance of the electric guitar 4 by the user. High data is being generated. In this example, by playing the electric guitar 4 by the user, the chord Em of the first measure is 6th string 0th fret → 4th string 2th fret → 3rd string 0th fret → 1st string 0th fret → 2th string 0th fret → 2 Data of pitches generated by the fingering mode in the order of the string 0 fret is generated from the input performance signal. The chord Bm7 of the second measure is sounded in the order of fingering in the order of 5th string, 2nd fret, 4th string, 4th fret, 2nd string, 3rd fret, 1st string, 2nd fret, 2nd string, 3rd fret, 3rd string, 2nd fret. The pitch data is generated from the input performance signal.

ここで、本実施形態では、例えば、1小節の1/2程度における目標音高データと実音高データとの比較による一致度が、所定のしきい値(例えば70%)以上であれば、上記奏法情報で指定された奏法によって上記エレキギター4が演奏されたと決定される。なお、上記1小節の1/2程度の発音に基づく奏法決定手法に限られず、さらに限定された発音数(たとえば1小節における最初の1つの発音のみ)で算出した一致度に基づき奏法決定をさらに迅速に行ってもよい。   Here, in the present embodiment, for example, if the degree of coincidence by comparison between target pitch data and actual pitch data in about one half of one measure is equal to or higher than a predetermined threshold (for example, 70%), It is determined that the electric guitar 4 has been played according to the playing method specified by the playing method information. In addition, the performance method determination is not limited to the above-described performance method determination method based on the pronunciation of about 1/2 of one measure, and the performance method determination is further performed based on the degree of coincidence calculated with a more limited number of pronunciations (for example, only the first one pronunciation in one measure). You may go quickly.

図示の例では、上記第1小節のうちの前半1/2部分において、目標音高データと実音高データとが完全に一致している。これにより、この時点でのユーザによるエレキギター4の奏法はアルペジオ奏法である、と決定される。この結果、これ以降(この例では、第1小節のうち後半1/2分と、第2小節)においては、図示のように、コーラス62のパラメータ値は上記パラメータ初期値に対して70%増大した値(以下適宜、単に「パラメータ初期値比170%」等という)となり、上記コーラスリバーブ63のパラメータ値はパラメータ初期値比120%の値となる(前述の図6も参照)。なお、上記ディストーション61のパラメータ値は上記パラメータ初期値比100%のまま維持される。   In the illustrated example, the target pitch data and the actual pitch data are completely the same in the first half of the first measure. Thereby, it is determined that the playing method of the electric guitar 4 by the user at this time is the arpeggio playing method. As a result, in the subsequent steps (in this example, the second half of the first measure and the second measure), as shown in the figure, the parameter value of the chorus 62 increases by 70% with respect to the parameter initial value. The parameter value of the chorus reverb 63 becomes the value of the parameter initial value ratio of 120% (see also FIG. 6 described above). The parameter value of the distortion 61 is maintained at the parameter initial value ratio of 100%.

なお、この例では、上述したように、第1小節の第4拍めにおいて、目標音高データにおける3弦0フレットの指定に対し実音高データでは2弦0フレットが押さえられ、不一致データとなっている。しかしながら、上記第1小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない(第2小節第2拍目の不一致データについても同様)。   In this example, as described above, at the 4th beat of the first measure, the 2nd string 0th fret is pressed in the actual pitch data, whereas the 3rd string 0th fret is specified in the target pitch data, resulting in inconsistent data. ing. However, the effector parameter value has already been switched in the middle of the first measure, and the presence of the mismatch data does not affect the switched parameter value (mismatch data at the second beat second beat). The same applies to.

<パワーコード奏法の検出>
前述したように、カラオケ楽曲のうち、上記奏法情報によりパワーコードによる演奏が指定されている区間については、上記マッチング処理部45において、上記パワーコード奏法用目標データ生成部45g2で生成されたパワーコード奏法用目標音高データと、(ユーザがパワーコードを用いて演奏した)上記実音高データとの比較により、当該パワーコード奏法の検出が行われる。
<Detection of power code performance>
As described above, the power code generated by the power code performance method target data generation unit 45g2 in the matching processing unit 45 for the section of the karaoke music in which the performance by the power code is specified by the performance method information. The power chord playing method is detected by comparing the performance pitch target pitch data with the actual pitch data (performed by the user using the power chord).

図8において、この例では、上記図3、図4に示した楽曲データにおける、前述した、コードCの第3小節、コードBm7の第4小節、・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター4を演奏した状態を示している。   8, in this example, the music is reproduced by the chord progression in the order of the third measure of chord C, the fourth measure of chord Bm7, etc., in the song data shown in FIGS. 3 and 4 above. In this state, the user plays the electric guitar 4 in accordance with the reproduction.

上記のようなコード進行に対応する上記目標音高データは、前述したように、各コードのルート音と当該ルート音に対して5度上の音程となる音とからなるパワーコードのデータとなっている。すなわち、前述の奏法情報に対応して、第3小節において、コードCに対し、4弦の5フレットと5弦の3フレットとの2箇所を押さえる運指態様により発音される音高が、指定されている。同様に、第4小節において、コードBm7に対し、4弦の4フレットと5弦の2フレットとが指定されている。   As described above, the target pitch data corresponding to the chord progression as described above is power chord data including the root sound of each chord and a sound that is 5 degrees above the root sound. ing. In other words, in accordance with the above-mentioned performance information, the pitch that is pronounced in the third measure by the fingering mode of pressing the chord C at two locations of the 4-string 5-fret and 5-string 3-fret is designated. Has been. Similarly, in the fourth measure, a 4-string 4-fret and a 5-string 2-fret are designated for the chord Bm7.

そして、上記第3小節〜第4小節において、ユーザによるエレキギター4の演奏による演奏信号に基づき、上述のようにしてFFT処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター4の演奏により、第3小節のコードCに対しては、4弦の5フレットと5弦の3フレットとの2箇所を押さえる運指態様により発音される音高のデータが、入力された演奏信号から生成されている。第4小節のコードCに対しては、4弦の5フレットと5弦の3フレットとの2箇所を押さえる運指態様の後、4弦の4フレットと5弦の2フレットとの2箇所を押さえる運指態様により発音される音高のデータが、入力された演奏信号から生成されている。   Then, in the third to fourth measures, the frequency component extraction and the chroma vector processing by the FFT processing are performed as described above on the basis of the performance signal by the performance of the electric guitar 4 by the user. High data is being generated. In this example, as a result of the user's performance of the electric guitar 4, the pitch of the third measure of chord C is pronounced in a fingering manner in which two chords of four strings and five frets are pressed. Are generated from the input performance signal. For chord C of the 4th measure, after the fingering mode of pressing the 4th string 5th fret and the 5th string 3rd fret, the 4th string 4th fret and the 5th string 2nd fret Data of pitches generated by the fingering mode to be pressed is generated from the input performance signal.

そして、図示の例では、上記第3小節のうちの前半1/2部分において、目標音高データと実音高データとが完全に一致している。これにより、前述と同様、この時点でのユーザによるエレキギター4の奏法はパワーコード奏法である、と決定される。この結果、これ以降(この例では、第3小節のうち後半1/2分と、第4小節)においては、図示のように、ディストーション61のパラメータ値は、これまでの(上記アルペジオ奏法に対応した)上記パラメータ初期値比100%から、パラメータ初期値比150%に増大される(前述の図6も参照)。また、コーラス62のパラメータ値は、これまでの(上記アルペジオ奏法に対応した)上記パラメータ初期値比170%から、パラメータ初期値比70%に減少される。なお、上記リバーブ63のパラメータ値は、これまでの(上記アルペジオ奏法に対応した)上記パラメータ初期値比120%から、パラメータ初期値比100%に減少される(パラメータ初期値に戻る)。   In the illustrated example, the target pitch data and the actual pitch data are completely the same in the first half of the third measure. Thus, as described above, it is determined that the playing method of the electric guitar 4 by the user at this time is the power chord playing method. As a result, from this point onward (in this example, the second half of the third measure and the fourth measure), as shown in the figure, the parameter value of the distortion 61 corresponds to the previous arpeggio performance method. The parameter initial value ratio is increased from 100% to the parameter initial value ratio of 150% (see also FIG. 6). Further, the parameter value of the chorus 62 is reduced from the parameter initial value ratio 170% (corresponding to the arpeggio playing method) so far to the parameter initial value ratio 70%. The parameter value of the reverb 63 is reduced from the previous parameter initial value ratio of 120% (corresponding to the arpeggio playing method) to the parameter initial value ratio of 100% (returns to the parameter initial value).

なお、この例では、上述したように、第4小節の第1拍めにおいて、目標音高データにおける4弦の4フレット及び5弦の2フレットの指定に対し実音高データでは4弦の5フレット及び5弦の3フレットが押さえられ、これのみが不一致データとなっている。しかしながら、上記第3小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない。   In this example, as described above, in the first beat of the fourth measure, the 4th string 4th fret and the 5th string 2nd fret are designated in the target pitch data, while the 4th string 5th fret is specified in the actual pitch data. And the 3rd fret of the 5th string is pressed, and this is the only discrepancy data. However, the effector parameter value has already been switched in the middle of the third measure, and the presence of this mismatch data does not affect the switched parameter value.

<チョーキング奏法の検出>
前述したように、カラオケ楽曲のうち、上記奏法情報によりチョーキング奏法による演奏が指定されている区間については、上記マッチング処理部45において、上記チョーキング奏法用目標データ生成部45g3で生成されたチョーキング奏法用目標音高データと、(ユーザがチョーキング奏法で演奏した)上記実音高データとの比較により、当該チョーキング奏法の検出が行われる。
<Detection of choking technique>
As described above, for the section of the karaoke piece in which the performance based on the choking performance is specified by the performance information, the matching processing unit 45 uses the choking performance method generated by the choking performance target data generation unit 45g3. The choking performance is detected by comparing the target pitch data with the actual pitch data (performed by the user with the choking performance).

図9において、この例では、上記図3、図4に示した楽曲データにおける、前述した、コードCmaj7の第5小節、コードBm7の第6小節、コードAm7及びAm7/Dの第7小節、コードGmaj9の第8小節・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター4を演奏した状態を示している。   9, in this example, in the music data shown in FIGS. 3 and 4, the above-mentioned fifth measure of the code Cmaj7, the sixth measure of the chord Bm7, the seventh measure of the chords Am7 and Am7 / D, the chord This shows a state in which music is played in the progression of chords in the order of eighth measure of Gmaj9 and the user plays the electric guitar 4 in accordance with the playback.

上記第5小節〜第8小節の上記目標音高データは、前述の奏法情報に対応して、第5小節において、1拍目の1弦の7フレット相当の「B」の音を発音するために、1弦の6フレット相当の「A」の音で発音開始させた後、1音分のチョーキング奏法(図中の「cho.」表記を参照。以下同様)によって音高を上記「B」の音まで上昇させる奏法が、指定されている。また4拍目の2弦の5フレット相当の「E」の音を発音するために、2弦の3フレット相当の「D」の音で発音開始させた後に上記同様に音高を上記「E」の音まで上昇させるよう指定されている。   The target pitch data of the fifth bar to the eighth bar is for generating a “B” sound corresponding to the 7th fret of the first string of the first beat in the fifth bar, corresponding to the above-mentioned performance information. In addition, after the sound of “A” corresponding to the 6th fret of the 1st string is started, the pitch is changed to the above “B” by the choking technique for one sound (see “cho.” In the figure, the same applies hereinafter). The performance method to raise to the sound of is specified. In addition, in order to sound the “E” sound corresponding to the 5th fret of the 2nd string of the 4th beat, the sound is started with the sound “D” corresponding to the 3rd fret of the 2nd string. ”Is specified to increase.

同様に、第6小節において、1拍目の3弦の7フレット相当の「D」の音を発音するために、3弦の5フレット相当の「C」の音で発音開始させた後に上記同様に音高を上記「D」の音まで上昇させるよう指定されている。また3拍目の1弦の7フレット相当の「B」の音を発音するために、1弦の5フレット相当の「A」の音で発音開始させた後に上記同様に音高を上記「B」の音まで上昇させるよう指定されている。   Similarly, in the sixth measure, in order to generate the sound “D” corresponding to the 7th fret of the 3rd string of the first beat, the sound is started with the sound “C” corresponding to the 5th fret of the 3rd string, and the same as above. Is specified to raise the pitch to the above "D" sound. In addition, in order to generate the sound of “B” corresponding to the 7th fret of the 1st string of the 3rd beat, after the start of sound generation by the sound of “A” corresponding to the 5th fret of the 1st string, the pitch is changed to the above “B”. ”Is specified to increase.

同様に、第7小節において、1拍目の1弦の5フレット相当の「A」の音を発音するために、1弦の3フレット相当の「G」の音で発音開始させた後に上記同様に音高を上記「A」の音まで上昇させるよう指定されている。また4拍目の3弦の5フレット相当の「C」の音を発音するために、3弦の4フレット相当の「B」の音で発音開始させた後に上記同様に音高を上記「C」の音まで上昇させるよう指定されている。   Similarly, in the seventh measure, in order to generate the sound of “A” corresponding to the 5th fret of the 1st string of the first beat, the sound is started with the sound of “G” corresponding to the 3rd fret of the 1st string, and the same as above. Is specified to raise the pitch to the above-mentioned “A” sound. In addition, in order to generate the “C” sound corresponding to the 5th fret of the 3rd string of the 4th beat, after the start of the sound “B” corresponding to the 4th fret of the 3rd string, the pitch is changed to “C” in the same manner as described above. ”Is specified to increase.

同様に、第8小節においては、3弦の4フレット相当の「B」の音を発音するために、3弦の2フレット相当の「A」の音で発音開始させた後に上記同様に音高を上記「B」の音まで上昇させるよう指定されている。   Similarly, in the 8th measure, in order to generate a sound of “B” corresponding to the 4th fret of the 3rd string, after the start of the sound “A” corresponding to the 2nd fret of the 3rd string, Is designated to be raised to the sound "B".

そして、上記第5小節〜第8小節において、ユーザによるエレキギター4の演奏による演奏信号に基づき、上述のようにしてFFT処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター4の演奏により、第5小節においては、1弦6フレット相当「A」→7フレット相当「B」、2弦3フレット相当「D」→5フレット相当「E」の音高のデータが、入力された演奏信号から生成されている。第6小節においては、3弦5フレット相当「C」→7フレット相当「D」、1弦5フレット相当「A」→7フレット相当「B」の音高のデータが、入力された演奏信号から生成されている。第7小節においては、1弦2フレット相当「F#」→3フレット相当「G」、3弦4フレット相当「B」→5フレット相当「C」の音高のデータが、入力された演奏信号から生成されている。第8小節においては、3弦2フレット相当「A」→4フレット相当「B」の音高のデータが、入力された演奏信号から生成されている。   In the fifth to eighth measures, the frequency components are extracted by the FFT process and the chroma vector process is performed as described above based on the performance signal obtained by the user playing the electric guitar 4. High data is being generated. In this example, when the user plays the electric guitar 4, in the fifth measure, "A" corresponding to the first string 6th fret "B" corresponding to 7th fret "B", "D" corresponding to the 2nd string 3rd fret "E" corresponding to 5th fret. The pitch data is generated from the input performance signal. In the sixth measure, pitch data of “C” equivalent to 3rd string and 5th fret “D” → corresponding to 7th fret “D”, 1st string corresponding to 5th fret “A” → 7th fret equivalent “B” is obtained from the inputted performance signal. Has been generated. In the seventh measure, pitch data of "F #" equivalent to 1st string 2nd fret "G" → 3rd fret equivalent "G", 3rd string 4th fret equivalent "B" → 5th fret equivalent "C" is input as the performance signal Is generated from. In the eighth measure, pitch data from “A” corresponding to the third string and second fret to “B” corresponding to the fourth fret is generated from the inputted performance signal.

そして、図示の例では、上記第5小節のうちの前半部分において、目標音高データと実音高データとが完全に一致している。これにより、前述と同様、この時点でのユーザによるエレキギター4の奏法はチョーキング奏法である、と決定される。この結果、これ以降(この例では、第5小節の後半と、第6小節〜第8小節)においては、図示のように、ディストーション61のパラメータ値は、これまでの(上記パワーコード奏法に対応した)上記パラメータ初期値比150%から、パラメータ初期値比130%に減少される(前述の図6も参照)。また、コーラス62のパラメータ値は、これまでの(上記パワーコード奏法に対応した)上記パラメータ初期値比70%から、パラメータ初期値比100%に増大される。また、上記リバーブ63のパラメータ値は、これまでの(上記パワーコード奏法に対応した)上記パラメータ初期値比100%から、パラメータ初期値比180%に増大される。   In the illustrated example, the target pitch data and the actual pitch data are completely the same in the first half of the fifth measure. Thus, as described above, the playing method of the electric guitar 4 by the user at this time is determined to be the choking playing method. As a result, in the subsequent steps (in this example, the second half of the fifth measure and the sixth to eighth measures), as shown in the figure, the parameter values of the distortion 61 correspond to the above-described power code performance method. The parameter initial value ratio is reduced from 150% to the parameter initial value ratio of 130% (see also FIG. 6 described above). Also, the parameter value of the chorus 62 is increased from the parameter initial value ratio of 70% (corresponding to the power chord playing method) so far to the parameter initial value ratio of 100%. Further, the parameter value of the reverb 63 is increased from the parameter initial value ratio of 100% (corresponding to the power code playing method) so far to the parameter initial value ratio of 180%.

なお、この例では、上述したように、第7小節の第1拍めにおいて、目標音高データにおける1弦3フレット相当「G」→1弦5フレット相当「A」の指定に対し、実音高データでは1弦2フレット相当「F#」→3フレット相当「G」となり、これのみが不一致データとなっている。しかしながら、上記第5小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない。   In this example, as described above, at the first beat of the seventh measure, the actual pitch is in response to the designation of “G” corresponding to the 1st string and 3rd fret to “A” corresponding to the 1st string and 5th fret in the target pitch data. In the data, “F #” corresponding to the 1st string 2nd fret → “G” corresponding to the 3rd fret, and only this is the mismatch data. However, the effector parameter value has already been switched in the middle of the fifth measure, and the presence of this mismatch data does not affect the switched parameter value.

<制御手順>
上記のような本実施形態の手法を実現するために、カラオケ装置10の楽曲再生時にCPU45により実行される処理内容を、図10のフローチャートにより説明する。
<Control procedure>
In order to realize the method of the present embodiment as described above, processing contents executed by the CPU 45 when the karaoke apparatus 10 plays back music will be described with reference to a flowchart of FIG.

図10において、このフローは、例えばカラオケ装置10のユーザが、制御装置20の電源ボタンを押して制御装置20の電源を立ち上げると、開始される。制御装置20の電源の立ち上がりに連動して、アンプ16、楽器接続ボード8及びモニタ13,14の電源が立ち上がる。なお、前述したように、この例では、カラオケ装置10のユーザが、楽器接続ボード8にエレキギター4を接続して演奏する場合を例にとって説明する。ユーザがエレキギター4のフォンプラグを楽器接続ボード8の入力端子(上記フォンジャック)に接続すると、楽器接続ボード8はエレキギター4が接続されたことを検知する。   In FIG. 10, this flow is started when, for example, the user of the karaoke device 10 presses the power button of the control device 20 to turn on the control device 20. In conjunction with the rising of the power supply of the control device 20, the power supply of the amplifier 16, the musical instrument connection board 8 and the monitors 13, 14 is started up. As described above, in this example, the case where the user of the karaoke apparatus 10 performs by connecting the electric guitar 4 to the musical instrument connection board 8 will be described. When the user connects the phone plug of the electric guitar 4 to the input terminal (phone jack) of the musical instrument connection board 8, the musical instrument connection board 8 detects that the electric guitar 4 is connected.

図10において、まず、ステップS5において、CPU45は、ユーザによる選曲が終了したか否かを判定する。選曲は、例えば、ユーザがエレキギター4を演奏したい曲の選曲番号をリモコン30のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップS5の判定が満たされず(ステップS5:NO)、ループ待機する。選曲が終了した場合はステップS5の判定が満たされ(ステップS5:YES)、ステップS10に移る。   In FIG. 10, first, in step S5, the CPU 45 determines whether or not the music selection by the user has been completed. In the music selection, for example, when the user inputs the music selection number of the music that he / she wants to play the electric guitar 4 with the numeric keypad of the remote controller 30 and presses the music selection button, the music selection ends. Until the music selection is completed, the determination in step S5 is not satisfied (step S5: NO), and a loop is waited for. When the music selection is completed, the determination in step S5 is satisfied (step S5: YES), and the process proceeds to step S10.

ステップS10では、CPU45は、例えば上記ボタン及びキー59を介した、ユーザによる、上記エフェクタ部60の各エフェクタ(ディストーション61、コーラス62、リバーブ63)のパラメータ値の大小設定(パラメータ初期値)を受け付けるとともに、各エフェクタのパラメータ値を受け付けた内容のとおりに設定する。なお、このステップS10の手順を実行するCPU45が、各請求項記載のパラメータ設定手段として機能する。その後、ステップS15に移る。   In step S <b> 10, the CPU 45 accepts the magnitude setting (parameter initial value) of the parameter value of each effector (distortion 61, chorus 62, reverb 63) of the effector unit 60 by the user via the button and key 59, for example. At the same time, the parameter values of each effector are set as received. The CPU 45 that executes the procedure of step S10 functions as parameter setting means described in each claim. Thereafter, the process proceeds to step S15.

ステップS15では、CPU45は、ステップS5での選曲結果に対応し、上記選曲番号を示す選曲番号データをRAM46に一時保存するとともに、LANボード50を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、LAN回線15を介してサーバ70へ送信する。これにより、サーバ70は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データ、上記コード譜情報、及び上記五線譜情報と、当該楽曲データに対応した歌詞データ及び映像データとを検索して読み出し、その読み出された曲データ等を、LAN回線15を介して制御装置20に送信する。ステップS15が終了したら、ステップS20に移る。   In step S15, the CPU 45 temporarily stores the music selection number data indicating the music selection number in the RAM 46 corresponding to the music selection result in step S5, and transmits the music data corresponding to the music selection number via the LAN board 50. A request signal to be requested is transmitted to the server 70 via the LAN line 15. Accordingly, the server 70 stores, from a storage device (not shown), music data corresponding to the music selection number indicated in the request signal, the chord music information, and the staff information, and lyrics data and video data corresponding to the music data. Is retrieved and read, and the read music data and the like are transmitted to the control device 20 via the LAN line 15. When step S15 ends, the process proceeds to step S20.

ステップS20では、CPU45は、LANボード50を介し、サーバ70からLAN回線15を介して送信された(コード譜情報・五線譜情報を含む)楽曲データ等を受信する。その後、ステップS25に移る。   In step S20, the CPU 45 receives music data (including chord score information and staff information) transmitted from the server 70 via the LAN line 15 via the LAN board 50. Thereafter, the process proceeds to step S25.

ステップS25では、CPU45は、上記ステップS20で受信した楽曲データ等をHDD49に一時保存する。その後、ステップS30に移る。   In step S25, the CPU 45 temporarily stores the music data received in step S20 in the HDD 49. Thereafter, the process proceeds to step S30.

なお、ステップS15,ステップS20、ステップS25の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜・五線譜情報等は、選曲毎にサーバ70からオンデマンドで取得する処理を行う。そのほか、カラオケ装置10の制御装置20に大容量の補助記憶手段(HDD49など)に、予め、楽曲データ等を記憶し、選曲毎に、選曲番号に対応付けられた楽曲データ(MIDIデータ)、及び、楽曲データに対応したコード譜・五線譜情報等の情報群を補助記憶手段から読み出して、目的とする情報を取得するステップS15,ステップS20、ステップS25に相当する処理としてもよい。   In addition, as a process of step S15, step S20, and step S25, the music data matched with the music selection number, chord music / stave music information, and the like are acquired on demand from the server 70 for each music selection. In addition, music data and the like are stored in advance in a large-capacity auxiliary storage means (such as the HDD 49) in the control device 20 of the karaoke apparatus 10, and music data (MIDI data) associated with the music selection number for each music selection, and A process corresponding to step S15, step S20, or step S25 may be performed in which an information group such as chord score / stave score information corresponding to the music data is read from the auxiliary storage unit and the target information is acquired.

ステップS30では、CPU45は、上記ステップS25でHDD49に記憶されている楽曲データであるMIDIデータの読み出しを開始し、読み出されたMIDIデータをMIDI音源ボード51に書き込む。ステップS30が終了したら、ステップS35に移る。   In step S30, the CPU 45 starts reading the MIDI data, which is the music data stored in the HDD 49 in step S25, and writes the read MIDI data to the MIDI tone generator board 51. When step S30 ends, the process proceeds to step S35.

ステップS35では、CPU45は、MIDI音源ボード51に制御信号を出力し、上記ステップS30で書き込んだMIDIデータに対応した音源信号を、MIDI音源ボード51から出力させる。MIDI音源ボード51から出力される音源信号は、音声制御回路52へ出力されるとともに、アンプ16により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子41からアンプ16へ出力される。また、マイクロフォン17,18から入力された音声信号は、アンプ16に内蔵されたミキシング回路9において上記音楽信号とミキシングされる。このとき、エレキギター4のフォンプラグ4aから出力された演奏信号は、楽器接続ボード8及び制御装置20を介してミキシング回路9に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ16に内蔵された図示しない増幅回路により増幅された後にスピーカ11及びスピーカ12へ出力され、両スピーカによって再生される。なお、このステップS35の手順を実行するCPU45が各請求項記載の楽曲データ再生手段として機能する。ステップS35が終了すると、ステップS40に移る。   In step S35, the CPU 45 outputs a control signal to the MIDI sound source board 51 and causes the MIDI sound source board 51 to output a sound source signal corresponding to the MIDI data written in step S30. The sound source signal output from the MIDI sound source board 51 is output to the sound control circuit 52 and converted into a music signal that can be amplified by the amplifier 16, and the converted music signal is transmitted from the sound output terminal 41 to the amplifier 16. Is output. Also, the audio signal input from the microphones 17 and 18 is mixed with the music signal in the mixing circuit 9 built in the amplifier 16. At this time, the performance signal output from the phone plug 4a of the electric guitar 4 is input to the mixing circuit 9 via the musical instrument connection board 8 and the control device 20, and is mixed with the audio signal and the music signal. The mixed signal thus mixed is amplified by an amplifier circuit (not shown) built in the amplifier 16 and then output to the speaker 11 and the speaker 12 and reproduced by both speakers. The CPU 45 executing the procedure of step S35 functions as music data reproducing means described in each claim. When step S35 ends, the process proceeds to step S40.

ステップS40では、CPU45は、モニタ13,14に制御信号を出力し、ステップS25で保存したコード譜情報(又は五線譜情報)及び歌詞等をモニタ13,14により表示させる。これにより、エレキギター4の演奏者であるユーザは、モニタ13,14に表示されるコード譜(又は五線譜)にしたがってエレキギター4を演奏することにより、再生されるカラオケ楽曲に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップS50に移る。   In step S40, the CPU 45 outputs a control signal to the monitors 13 and 14, and causes the monitors 13 and 14 to display the chord score information (or staff score information), lyrics, etc. stored in step S25. Thereby, the user who is a player of the electric guitar 4 plays the electric guitar according to the karaoke music to be reproduced by playing the electric guitar 4 according to the chord score (or the staff score) displayed on the monitors 13 and 14. Part can be played easily. Thereafter, the process proceeds to step S50.

ステップS50では、CPU45は、上記ユーザのエレキギター4の演奏により入力端子44から入力された演奏信号を演奏データとして例えば上記HDD49に蓄積する。その後、ステップS55に移る。   In step S50, the CPU 45 stores the performance signal input from the input terminal 44 by the performance of the user's electric guitar 4 as performance data, for example, in the HDD 49. Thereafter, the process proceeds to step S55.

ステップS55では、CPU45は、前述のFFT(高速フーリエ変換)の処理単位に対応した1つの上記時間区分が終了したか否かを判定する。上記時間区分が終了していなければ判定が満たされず(S55:NO)、上記ステップS30に戻って同様の手順を繰り返す。上記時間区分が終了したら判定が満たされ(S55:YES)、ステップS100に移る。   In step S55, the CPU 45 determines whether or not one time segment corresponding to the FFT (Fast Fourier Transform) processing unit has been completed. If the time segment has not ended, the determination is not satisfied (S55: NO), and the process returns to step S30 and the same procedure is repeated. When the time segment ends, the determination is satisfied (S55: YES), and the routine goes to Step S100.

ステップS100では、CPU45は、前述した手法によるエフェクタ制御処理を行う。このエフェクタ制御処理の詳細を、図11に示す。   In step S100, the CPU 45 performs effector control processing by the above-described method. Details of the effector control processing are shown in FIG.

図11において、まずステップS110で、CPU45は、上記ステップS50で蓄積した(上記1つの区分に対応した)演奏データを読み出し、上記FFT処理部45aにより、公知のFFT(高速フーリエ変換)の手法により各周波数成分を抽出し解析する。その後、ステップS120に移る。   In FIG. 11, first, in step S110, the CPU 45 reads out the performance data accumulated in step S50 (corresponding to the one category), and the FFT processing unit 45a uses a known FFT (fast Fourier transform) technique. Each frequency component is extracted and analyzed. Thereafter, the process proceeds to step S120.

ステップS120では、CPU45は、上記特徴パラメータ取得部45bにより、上記ステップS110での解析結果を公知の手法によりクロマベクトル化することにより、前述の実音高データを生成する。その後、ステップS130に移る。   In step S120, the CPU 45 generates the above-described actual pitch data by converting the analysis result in step S110 into a chroma vector by a known method by the feature parameter acquisition unit 45b. Thereafter, the process proceeds to step S130.

ステップS130では、CPU45は、前述の奏法情報に基づき、上記目標データ生成部45g(詳細には上記アルペジオ奏法用目標音高データ45g1、パワーコード奏法用目標音高データ生成部45g2、チョーキング奏法用目標音高データ45g3、及び、通常奏法用目標音高データ45g4のいずれか)により、上記ステップS20で取得されステップS40で表示されたコード譜情報・五線譜情報に基づき、前述のようにして各奏法に対応した目標音高データを選択的に生成し、上記目標データバッファ45eに記憶する。その後、ステップS140に移る。   In step S130, based on the above-described performance style information, the CPU 45 performs the target data generation section 45g (specifically, the arpeggio performance target pitch data 45g1, the power code performance target pitch data generation section 45g2, the choking performance target). Based on the chord score information / stave score information acquired in step S20 and displayed in step S40 based on the pitch data 45g3 and the target pitch data 45g4 for normal performance style) Corresponding target pitch data is selectively generated and stored in the target data buffer 45e. Thereafter, the process proceeds to step S140.

ステップS140では、CPU45は、上記マッチング処理部45dにより、上記ステップS130で生成された目標音高データを、上記ステップS120で生成された、対応する実音高データと比較し、一致度を算出する。そして、その一致度が上記しきい値(例えば70%)以上であるか否かに基づき、実際に上記エレキギター4が演奏されたときの奏法を決定(すなわち奏法の検出)する。その後、ステップS150に移る。なお、このステップS140を実行するCPU45が奏法検出手段として機能する。   In step S140, the CPU 45 compares the target pitch data generated in step S130 with the corresponding actual pitch data generated in step S120 by the matching processing unit 45d, and calculates the degree of coincidence. Then, based on whether or not the degree of coincidence is equal to or higher than the threshold value (for example, 70%), the performance method when the electric guitar 4 is actually played is determined (that is, the performance method is detected). Thereafter, the process proceeds to step S150. The CPU 45 that executes step S140 functions as a performance style detection unit.

ステップS150では、CPU45は、上記ステップS140で検出された上記エレキギター4の奏法に対応した、各エフェクタ(ディストーション61、コーラス62、リバーブ63)のパラメータ値の増減(図6参照)を実現するための上記エフェクタ制御信号を生成し、エフェクタ部60に出力する。なお、このステップS150を実行するCPU45がパラメータ制御手段として機能する。   In step S150, the CPU 45 realizes increase / decrease (see FIG. 6) of parameter values of each effector (distortion 61, chorus 62, reverb 63) corresponding to the playing method of the electric guitar 4 detected in step S140. The effector control signal is generated and output to the effector unit 60. The CPU 45 that executes step S150 functions as a parameter control unit.

図10に戻り、上記ステップS150が終了すると、CPU45は、ステップS65において、楽曲データの再生が終了したか(言い換えれば、ステップS30でのMIDIデータの読み出しが楽曲データの最後のMIDIデータまで終了したか)否かを判定する。楽曲データの再生が終了していれば判定が満たされ(ステップS65:YES)、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず(ステップS65:NO)、上記ステップS30に戻り、上記ステップS30〜ステップS65の手順を繰り返す。   Returning to FIG. 10, when step S150 is completed, the CPU 45 finishes reproducing the music data in step S65 (in other words, reading of the MIDI data in step S30 is completed up to the last MIDI data of the music data). Determine whether or not. If the reproduction of the music data is finished, the determination is satisfied (step S65: YES), and this flow is finished. Until the reproduction of the music data is completed, the determination is not satisfied (step S65: NO), the process returns to step S30, and the procedure of steps S30 to S65 is repeated.

<実施形態の効果>
以上説明したように、本実施形態においては、まず、ユーザの各種ボタン及びキー59の手動操作に応じて、エフェクタ部60の各エフェクタ(ディストーション61、コーラス62、リバーブ63)におけるパラメータ値が上記パラメータ初期値に設定される。その後、エレキギター4から入力される演奏信号に基づき、ユーザのエレキギター4の演奏における奏法が検出される。そして、その奏法の検出結果に応じて、各エフェクタ(ディストーション61、コーラス62、リバーブ63)のパラメータ値を(上記初期値から)増減させる。
<Effect of embodiment>
As described above, in the present embodiment, first, the parameter values in each effector (distortion 61, chorus 62, reverb 63) of the effector unit 60 are determined according to the user's manual operation of various buttons and keys 59. Set to the initial value. After that, based on the performance signal input from the electric guitar 4, the performance method in the performance of the user's electric guitar 4 is detected. Then, the parameter value of each effector (distortion 61, chorus 62, reverb 63) is increased or decreased (from the initial value) in accordance with the detection result of the performance method.

具体的には、図6及び図7に示したように、ユーザがアルペジオ奏法を行った場合には、コーラスやフェイザー等のパラメータ値が増大して演奏音に大きな揺らぎの効果が与えられるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。また、図6及び図8に示したように、ユーザがパワーコード奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、コーラスやフェイザー等のパラメータ値が減少して演奏音に対する揺らぎの効果を最小限に抑制し、ドライブ感を増大させることができる。また、図6及び図9に示したように、ユーザがチョーキング奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。   Specifically, as shown in FIGS. 6 and 7, when the user performs the arpeggio, the parameter values such as chorus and phaser are increased, and the performance sound is greatly fluctuated. A parameter value such as reverb or delay is increased, and a large reverberation effect or echo effect is given to the performance sound. Also, as shown in FIGS. 6 and 8, when the user performs the power chord performance method, the parameter value such as distortion or overdrive is increased and a greatly distorted sound is generated, and a chorus, a phaser, etc. Thus, the parameter value can be reduced and the effect of fluctuation on the performance sound can be suppressed to the minimum, and the drive feeling can be increased. Also, as shown in FIGS. 6 and 9, when the user performs the choking technique, a parameter value such as distortion or overdrive increases, and a greatly distorted sound is generated, and a reverb or delay or the like is generated. The parameter value also increases, and a large reverberation effect or echo effect is given to the performance sound.

以上のようにして、本実施形態においては、ユーザによる煩雑な手動操作を行うことなく、奏法に応じた最適なエフェクト効果を自動的に得ることができる。これにより、ユーザにとっての利便性や娯楽性を大きく向上することができる。   As described above, in this embodiment, it is possible to automatically obtain the optimal effect effect according to the playing style without performing a complicated manual operation by the user. Thereby, convenience and entertainment for the user can be greatly improved.

なお、以上においては、ユーザによる実際のエレキギター4の奏法の検出を、目標音高データと実音高データとの一致度に基づき行ったが、これに限られない。すなわち、目標音高データを用いず、実音高データのみを用いて、奏法検出を行ってもよい。この場合、実音高データに対して、公知のFFT(高速フーリエ変換)等の手法により各周波数成分を抽出して解析し、解析後の内容が、上記アルペジオ奏法による発音、上記パワーコード奏法による発音、上記チョーキング奏法による発音のいずれに該当するか否かを判定すればよい。   In the above description, the actual performance of the electric guitar 4 is detected by the user based on the degree of coincidence between the target pitch data and the actual pitch data, but is not limited thereto. That is, the rendition style detection may be performed using only the actual pitch data without using the target pitch data. In this case, each frequency component is extracted from the actual pitch data by a known FFT (Fast Fourier Transform) method and analyzed, and the content after the analysis is the sound produced by the arpeggio playing method, the sound produced by the power code playing method. What is necessary is just to determine whether it corresponds to the pronunciation by the above choking performance.

なお、以上において、図5等の各図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。   In addition, in the above, the arrow shown in each figure of FIG. 5 etc. shows an example of the flow of a signal, and does not limit the flow direction of a signal.

また、図10、図11等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
具体的には、発明を実施するには、エレキギター4の奏法を検出するための楽曲データに対応したコード譜・五線譜情報等があればよいので、楽曲データはMIDIデータでなくとも生音(PCM)データであっても問題ない。
In addition, the flowcharts shown in FIGS. 10 and 11 do not limit the present invention to the procedure shown in the above flow, and the addition and deletion of the procedure, the change of the order, etc. are within the scope not departing from the gist and technical idea of the invention. You may do.
Specifically, in order to implement the invention, it is only necessary to have chord score / stave information corresponding to the music data for detecting the playing method of the electric guitar 4, so the music data is not a MIDI data but a raw sound (PCM). ) No problem with data.

また、以上既に述べた以外にも、上記実施形態や上記変形例の手法を適宜組み合わせて利用しても良い。   In addition to those already described above, the methods of the above-described embodiments and modifications may be used in appropriate combination.

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。   In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.

4 エレキギター(弦楽器)
10 カラオケ装置(楽音演奏装置)
49 HDD(楽曲データ記憶手段)
61 ディストーション(第1エフェクタ、内部エフェクタ)
62 コーラス(第2エフェクタ、内部エフェクタ)
63 リバーブ(第3エフェクタ、内部エフェクタ)
4 Electric guitar (stringed instrument)
10 Karaoke equipment (musical performance equipment)
49 HDD (music data storage means)
61 Distortion (first effector, internal effector)
62 Chorus (second effector, internal effector)
63 Reverb (third effector, internal effector)

Claims (6)

所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が少なくとも対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、
前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、
前記演奏信号入力手段から入力される前記演奏信号に所望のエフェクトをそれぞれ施す複数の内部エフェクタと、
前記複数の内部エフェクタそれぞれにおけるエフェクト効果の強弱を表すパラメータ値を、予め定められた、若しくは、前記楽器演奏者の所望の、初期値に設定するパラメータ設定手段と、
前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者の演奏の奏法を検出する奏法検出手段と、
前記奏法検出手段による検出結果に応じて、前記複数の内部エフェクタそれぞれの前記パラメータ値を前記初期値から増減させるパラメータ増減手段と、
を有することを特徴とする楽音演奏装置。
Song data storage means for storing karaoke song data including at least chord information consisting of progression of a plurality of chords, including a performance part of a predetermined string instrument;
Music data reproducing means for reading out and reproducing the karaoke music data stored in the music data storage means;
A performance signal input means for inputting a performance signal output from the stringed instrument by a performance of the stringed instrument by a musical instrument player according to the reproduction of the karaoke music data by the music data reproducing means;
A plurality of internal effectors each applying a desired effect to the performance signal input from the performance signal input means;
Parameter setting means for setting a parameter value indicating the strength of the effect effect in each of the plurality of internal effectors to a predetermined or initial value desired by the instrument player;
Based on the performance signal input from the performance signal input means, a performance style detection means for detecting a performance style of the musical instrument player;
In accordance with the detection result by the rendition style detection means, parameter increase / decrease means for increasing / decreasing the parameter value of each of the plurality of internal effectors from the initial value;
A musical performance device characterized by comprising:
請求項1記載の楽音演奏装置において、
前記奏法検出手段は、
前記楽器演奏者の演奏が、
(i)各コードを、ルート音と当該ルート音に対して5度上の音程となる音とからなるパワーコードで発音させるパワーコード奏法;
(ii)各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法;
(iii)弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法;
のいずれかの奏法であることを検出する
ことを特徴とする楽音演奏装置。
In the musical sound performance device according to claim 1,
The rendition style detection means includes:
The performance of the instrument player is
(I) A power chord method in which each chord is pronounced with a power chord composed of a root sound and a sound that is five times higher than the root sound;
(Ii) an arpeggio playing method in which a plurality of sounds constituting a chord of each chord are distributed and pronounced;
(Iii) A choking technique in which after the start of sound generation by picking on a string, the string is bent upwards while in contact with the fret, and the sound pitch is smoothly shifted to the higher side;
A musical performance device characterized by detecting that the performance method is any of the above.
請求項2記載の楽音演奏装置において、
前記複数の内部エフェクタは、
歪んだ音を発音させるための、ディストーション又はオーバードライブを含む第1エフェクタと、
音に揺らぎの効果を与えるための、コーラス又はフェイザーを含む第2エフェクタと、
音に残響効果やエコー効果を与えるための、リバーブ又はディレイを含む第3エフェクタと、
を少なくとも備えることを特徴とする楽音演奏装置。
In the musical sound performance device according to claim 2,
The plurality of internal effectors are
A first effector including distortion or overdrive for producing a distorted sound;
A second effector including a chorus or a phaser for imparting a fluctuation effect to the sound;
A third effector including a reverb or delay for giving a sound a reverberation effect or an echo effect;
A musical tone performance apparatus comprising at least
請求項3記載の楽音演奏装置において、
前記奏法検出手段が前記パワーコード奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第1エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第2エフェクタの前記パラメータ値を前記初期値から減少させる
ことを特徴とする楽音演奏装置。
In the musical sound performance device according to claim 3,
When the rendition style detection means detects the power code performance style, the parameter increase / decrease means increases at least the parameter value of the first effector from the initial value and increases the parameter value of the second effector. A musical performance device characterized by being reduced from an initial value.
請求項3記載の楽音演奏装置において、
前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第2エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第3エフェクタの前記パラメータ値を前記初期値から増大させる
ことを特徴とする楽音演奏装置。
In the musical sound performance device according to claim 3,
When the rendition style detection means detects the arpeggio performance style, the parameter increase / decrease means increases at least the parameter value of the second effector from the initial value and sets the parameter value of the third effector to the initial value. A musical performance device characterized by increasing from the value.
請求項3記載の楽音演奏装置において、
前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第1エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第3エフェクタの前記パラメータ値を前記初期値から増大させる
ことを特徴とする楽音演奏装置。
In the musical sound performance device according to claim 3,
When the rendition style detection means detects the arpeggio performance style, the parameter increase / decrease means increases at least the parameter value of the first effector from the initial value and sets the parameter value of the third effector to the initial value. A musical performance device characterized by increasing from the value.
JP2015172355A 2015-09-01 2015-09-01 Musical sound performance device Pending JP2017049428A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015172355A JP2017049428A (en) 2015-09-01 2015-09-01 Musical sound performance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015172355A JP2017049428A (en) 2015-09-01 2015-09-01 Musical sound performance device

Publications (1)

Publication Number Publication Date
JP2017049428A true JP2017049428A (en) 2017-03-09

Family

ID=58279368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015172355A Pending JP2017049428A (en) 2015-09-01 2015-09-01 Musical sound performance device

Country Status (1)

Country Link
JP (1) JP2017049428A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022532149A (en) * 2019-06-06 2022-07-13 広州市拿火信息科技有限公司 Audio processing methods, equipment and systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022532149A (en) * 2019-06-06 2022-07-13 広州市拿火信息科技有限公司 Audio processing methods, equipment and systems

Similar Documents

Publication Publication Date Title
JP4274272B2 (en) Arpeggio performance device
JP3915807B2 (en) Automatic performance determination device and program
JP5704368B2 (en) Musical performance device and musical performance processing program
JP5884992B2 (en) Musical performance device and musical performance processing program
JP5708730B2 (en) Musical performance device and musical performance processing program
JP4932614B2 (en) Code name detection device and code name detection program
JP2017049428A (en) Musical sound performance device
JP2014026213A (en) Musical sound playing device
JP7419830B2 (en) Accompaniment sound generation device, electronic musical instrument, accompaniment sound generation method, and accompaniment sound generation program
JP6141737B2 (en) Karaoke device for singing in consideration of stretch tuning
JP5787279B2 (en) Musical performance device
JP5969421B2 (en) Musical instrument sound output device and musical instrument sound output program
JP3214623B2 (en) Electronic music playback device
JP3637196B2 (en) Music player
JP5825533B2 (en) Music search device, music search system, and music search program
JP3873914B2 (en) Performance practice device and program
JP6065827B2 (en) Musical performance device and musical performance processing program
JP5413749B2 (en) Musical performance device
JP5648877B1 (en) Musical performance device and musical performance processing program
JP4172509B2 (en) Apparatus and method for automatic performance determination
JPH08137483A (en) Karaoke device
JP2015102741A (en) Musical performance device and musical performance processing program
JP6424501B2 (en) Performance device and performance program
JP3870948B2 (en) Facial expression processing device and computer program for facial expression
JP5505012B2 (en) Electronic music apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200203