JP2016018148A

JP2016018148A - Performance sound information detection device

Info

Publication number: JP2016018148A
Application number: JP2014142247A
Authority: JP
Inventors: 太郎徳弘; Taro Tokuhiro; 菊池　健; Takeshi Kikuchi; 菊池　　健
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2014-07-10
Filing date: 2014-07-10
Publication date: 2016-02-01

Abstract

PROBLEM TO BE SOLVED: To avoid a constant connection of a component part for detecting performance sound information with a component part for analyzing a performance sound in analyzing the performance sound information after performance.SOLUTION: A performance sound information detection device 100 includes: a detection unit 111 that detects performance sound information corresponding to a performance sound generated by an instrument; an attachment part 101 that attaches the detection unit 111 to the instrument; a storage unit 116 that stores the performance sound information detected by the detection unit 111; and a communication unit 114 that transmits the performance sound information stored by the storage unit 116 to a display device 200. Since the performance sound information is temporarily stored in the storage unit 116, it is possible to read and transmit the performance sound information from the storage unit 116 after performance.SELECTED DRAWING: Figure 2

Description

本発明は楽器の演奏音情報を検出して解析するための技術に関する。 The present invention relates to a technique for detecting and analyzing performance sound information of a musical instrument.

楽器を調律する場合、チューナが振動センサなどで検出した演奏音情報をリアルタイムで表示し、演奏者はこの表示内容を参考にして楽器の調律を行う（例えば特許文献１参照）。また、演奏音情報を記録してこれを解析する技術が知られている（例えば特許文献２参照）。 When tuning a musical instrument, the performance sound information detected by the tuner with a vibration sensor or the like is displayed in real time, and the performer tunes the musical instrument with reference to the display content (see Patent Document 1, for example). Further, a technique for recording performance sound information and analyzing the information is known (for example, see Patent Document 2).

特許第4739227号公報Japanese Patent No. 4739227 特開2008-233574号公報JP 2008-233574 A

特許文献１に記載の仕組みでは、演奏音情報をリアルタイムに検出して表示するだけであるから、例えば演奏後にその演奏音情報を解析して演奏の支援を行うというようなことができない。また、特許文献２には演奏音情報を記録して解析することが開示されているが、開示されているシステムでは演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続していなければならないという制約がある。通信ケーブルなどを介して有線通信で常時接続した場合、演奏者は通信ケーブルが煩わしいと感じてしまう。また無線通信で常時接続した場合、電池の消耗により長時間使用できないという課題がある。 With the mechanism described in Patent Document 1, performance sound information is only detected and displayed in real time, and therefore it is not possible to support performance by analyzing the performance sound information after performance, for example. Further, Patent Document 2 discloses recording and analyzing performance sound information. However, in the disclosed system, a component for detecting performance sound information and a component for analyzing performance sound are always connected. There is a restriction that it must be done. When always connected by wired communication via a communication cable or the like, the performer feels that the communication cable is troublesome. Moreover, when always connected by wireless communication, there is a problem that it cannot be used for a long time due to battery consumption.

本発明は、演奏音情報をその演奏後に解析する場合に、演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続せずに済むための仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism for eliminating the need to always connect a component for detecting performance sound information and a component for analyzing performance sound when the performance sound information is analyzed after the performance. To do.

上述した課題を解決するため、本発明は、楽器が発する演奏音に応じた演奏音情報を検出する検出部と、前記検出部を前記楽器に取り付ける取付部と、前記検出部によって検出された演奏音情報を記憶する記憶部と、前記記憶部によって記憶されている演奏音情報を送信する通信部とを備える演奏音情報検出装置を提供する。 In order to solve the above-described problems, the present invention provides a detection unit that detects performance sound information corresponding to a performance sound emitted by a musical instrument, a mounting unit that attaches the detection unit to the musical instrument, and a performance detected by the detection unit. Provided is a performance sound information detection device comprising a storage unit for storing sound information and a communication unit for transmitting performance sound information stored in the storage unit.

前記記憶部は、前記検出部によって検出された演奏音情報に時間情報を付加して記憶し、前記通信部は、前記記憶部によって記憶された演奏音情報及び時間情報を送信するようにしてもよい。 The storage unit adds and stores time information to the performance sound information detected by the detection unit, and the communication unit transmits the performance sound information and time information stored by the storage unit. Good.

前記通信部は、前記演奏音情報の送信先と情報の同期を行うときに、前記記憶部によって記憶されている内容を送信するようにしてもよい。 The communication unit may transmit the contents stored in the storage unit when synchronizing the information with the transmission destination of the performance sound information.

前記検出部によって検出された演奏音情報の情報量を削減する処理を行う情報処理部を備えるようにしてもよい。 You may make it provide the information processing part which performs the process which reduces the information content of the performance sound information detected by the said detection part.

前記通信部は、前記演奏音情報の送信先情報の同期を行うときに送信した内容を前記記憶部から削除するようにしてもよい。 The communication unit may delete the content transmitted when synchronizing the transmission destination information of the performance sound information from the storage unit.

本発明によれば、演奏音情報をその演奏後に解析する場合に、演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続する必要がない。 According to the present invention, when the performance sound information is analyzed after the performance, it is not necessary to always connect the component for detecting the performance sound information and the component for analyzing the performance sound.

本発明の一実施例に係る演奏音情報解析システムの構成を示すブロック図。The block diagram which shows the structure of the performance sound information analysis system which concerns on one Example of this invention. 演奏音情報検出装置の構成を示すブロック図。The block diagram which shows the structure of a performance sound information detection apparatus. 演奏音情報検出装置が楽器に取り付けられている時の様子を示す図。The figure which shows a mode when the performance sound information detection apparatus is attached to the musical instrument. 演奏音情報の内容を示す図。The figure which shows the content of performance sound information. 表示装置に表示される画面の一例を示す図。The figure which shows an example of the screen displayed on a display apparatus. 表示装置に表示される画面の一例を示す図。The figure which shows an example of the screen displayed on a display apparatus. 表示装置に表示される画面の一例を示す図。The figure which shows an example of the screen displayed on a display apparatus. 表示装置に表示される画面の一例を示す図。The figure which shows an example of the screen displayed on a display apparatus. 表示装置に表示される画面の一例を示す図。The figure which shows an example of the screen displayed on a display apparatus.

[実施形態]
[構成]
図１は、本発明の一実施例に係る演奏音情報解析システムの構成を示すブロック図である。演奏音情報解析システムは、演奏音情報検出装置１００と、表示装置２００と、サーバ装置３００とを備えている。演奏音情報検出装置１００は、図示せぬ楽器に取り付けられ、その楽器が演奏されたときに生じる振動を演奏音に応じた演奏音情報として検出し、これを不揮発性の記憶手段に永続的に記憶する。そして、演奏音情報検出装置１００は、演奏後の所定のタイミングで、記憶している演奏音情報を表示装置２００に送信する。演奏音情報検出装置１００と表示装置２００（通信部２１１）との間の通信は、例えばブルートゥース（登録商標）やＮＦＣ（Near field communication）などの近距離無線通信であってもよいし、通信ケーブルなどを介した有線通信であってもよい。また、演奏音情報検出装置１００と表示装置２００は、一体化していてもよい。 [Embodiment]
[Constitution]
FIG. 1 is a block diagram showing a configuration of a performance sound information analysis system according to an embodiment of the present invention. The performance sound information analysis system includes a performance sound information detection device 100, a display device 200, and a server device 300. The performance sound information detection apparatus 100 is attached to a musical instrument (not shown), detects vibrations generated when the musical instrument is played as performance sound information corresponding to the performance sound, and permanently stores this in a nonvolatile storage means. Remember. Then, the performance sound information detection device 100 transmits the stored performance sound information to the display device 200 at a predetermined timing after the performance. The communication between the performance sound information detection device 100 and the display device 200 (communication unit 211) may be short-range wireless communication such as Bluetooth (registered trademark) or NFC (Near field communication), or a communication cable. Wired communication via the above may be used. Moreover, the performance sound information detection apparatus 100 and the display apparatus 200 may be integrated.

表示装置２００は、例えばタブレットやスマートホン、パーソナルコンピュータなどの通信装置であり、通信部２１１、表示部２１２、操作部２１３、及び制御部２１４を備えたコンピュータとして構成されている。表示装置２００において、制御部２１４が内蔵メモリ等に記憶されたプログラムを実行することで、演奏音情報検出装置１００から送信されてくる演奏音情報を通信部２１１によって受信し、この演奏音情報に対して処理負荷が比較的低い解析処理を行って演奏音のピッチなどを表示部２１２に表示したり、また、この演奏音情報を演奏後の所定のタイミングで通信部２１１からサーバ装置３００に送信したりする。表示装置２００（通信部２１１）とサーバ装置３００（通信部３１１）との間の通信は、例えば専用線を介した通信でもよいし、ＬＡＮ（Local Area Network）やインターネットなどのネットワーク経由の比較的遠距離の通信であってもよい。 The display device 200 is a communication device such as a tablet, a smart phone, or a personal computer, and is configured as a computer including a communication unit 211, a display unit 212, an operation unit 213, and a control unit 214. In the display device 200, when the control unit 214 executes a program stored in the built-in memory or the like, the performance sound information transmitted from the performance sound information detection device 100 is received by the communication unit 211, and the performance sound information is included in the performance sound information. An analysis process with a relatively low processing load is performed to display the pitch of the performance sound on the display unit 212, and the performance sound information is transmitted from the communication unit 211 to the server device 300 at a predetermined timing after the performance. To do. The communication between the display device 200 (communication unit 211) and the server device 300 (communication unit 311) may be communication via a dedicated line, for example, or relatively via a network such as a LAN (Local Area Network) or the Internet. It may be a long-distance communication.

サーバ装置３００は、通信部３１１、記憶部３１２及び制御部３１３を備えたコンピュータとして構成されている。サーバ装置３００において、制御部３１３が記憶部３１２に記憶されたプログラムを実行することで、表示装置２００から送信されてくる演奏音情報を通信部３１１によって受信し、この演奏音情報に対して処理負荷が比較的高い解析処理を行うほか、演奏音情報の長期保存や演奏者同士のコミュニティ機能の実現などを行う。記憶部３１２には、各楽曲のピッチの時系列の遷移を含む楽曲データベースが記憶されている。 The server device 300 is configured as a computer including a communication unit 311, a storage unit 312, and a control unit 313. In the server device 300, the control unit 313 executes the program stored in the storage unit 312, so that the performance sound information transmitted from the display device 200 is received by the communication unit 311, and the performance sound information is processed. In addition to performing analysis processing with a relatively high load, it performs long-term storage of performance sound information and realization of community functions between performers. The storage unit 312 stores a music database including time-series transitions of the pitch of each music.

図２は、演奏音情報検出装置１００の構成を示すブロック図である。検出部１１１は、楽器に取り付けられ、その楽器が演奏されたときに生じる振動の波形を示す電気信号を演奏音情報として検出する。検出部１１１は、例えばピエゾ素子やマイクロホンであるが、その他の検出手段であってもよい。検出部１１１から出力される電気信号はＡ／Ｄコンバータ１１２によってアナログデジタル変換される。制御部１１７は、例えばＣＰＵ（Central Processing Unit）及びメモリを備えており、アナログデジタル変換された信号を所定期間でサンプリングしたサンプリング値（演奏音情報）を、計時部１１８によって付与されたタイムスタンプ（時間情報）とともに記憶部１１６に書き込む。記憶部１１６は、例えばハードディスクやフラッシュメモリのような不揮発性の記憶手段であり、情報を永続的に記憶する。この記憶部１１６の記憶容量は、例えば１０時間分の演奏に係る演奏音情報を記憶可能な量である。通信部１１４は、例えばアンテナや通信回路を備えており、例えばブルートゥース（登録商標）やＮＦＣに従う通信を行う。通信部１１４は、制御部１１７による制御の下、表示装置２００と情報の同期を行うときに、記憶部１１６によって記憶された内容を表示装置２００（通信部２１１）に送信する。表示部１１５は、例えば液晶ディスプレイや液晶駆動装置を備えており、制御部１１７による制御の下、演奏音情報検出装置１００の状態（電源のオンオフ状態や記憶部１１６に記憶されている情報の量など）を表示する。操作部１１３は、例えばキーやタッチパネルであり、演奏者の操作を受け付けてその操作に応じた信号を制御部１１７に供給する。 FIG. 2 is a block diagram showing a configuration of the performance sound information detection apparatus 100. As shown in FIG. The detection unit 111 is attached to a musical instrument and detects an electrical signal indicating a vibration waveform generated when the musical instrument is played as performance sound information. The detection unit 111 is, for example, a piezo element or a microphone, but may be other detection means. The electrical signal output from the detection unit 111 is converted from analog to digital by the A / D converter 112. The control unit 117 includes, for example, a CPU (Central Processing Unit) and a memory, and a sampling value (performance sound information) obtained by sampling an analog-digital converted signal in a predetermined period is a time stamp ( (Time information) is written in the storage unit 116. The storage unit 116 is a nonvolatile storage unit such as a hard disk or a flash memory, and stores information permanently. The storage capacity of the storage unit 116 is an amount capable of storing performance sound information related to a performance for 10 hours, for example. The communication unit 114 includes, for example, an antenna and a communication circuit, and performs communication according to, for example, Bluetooth (registered trademark) or NFC. The communication unit 114 transmits the content stored in the storage unit 116 to the display device 200 (communication unit 211) when synchronizing information with the display device 200 under the control of the control unit 117. The display unit 115 includes, for example, a liquid crystal display and a liquid crystal driving device. Etc.). The operation unit 113 is, for example, a key or a touch panel, and receives a player's operation and supplies a signal corresponding to the operation to the control unit 117.

図３は、演奏音情報検出装置１００が楽器（ここでは管楽器１０）に取り付けられている状態を示す図である。検出部１１１は例えば管楽器１０のベル（図３）や弦楽器のヘッドなどに、クリップ式、粘着材式、アタッチメント式、ネジ止め式などの機構を有する取付部１０１によって取り付けられる。ただし検出部１１１の取り付け位置は図３の例に限らない。図３に示すように、演奏音情報検出装置１００においては、取付部１０１及び検出部１１１とその他の構成１１２〜１１８が一体に構成されていてもよいし、取付部１０１及び検出部１１１とその他の構成１１２〜１１８とが分離しており、両者が有線または無線によって通信可能に接続されていてもよい。 FIG. 3 is a diagram showing a state in which the performance sound information detection device 100 is attached to a musical instrument (here, wind instrument 10). The detection unit 111 is attached to, for example, the bell (FIG. 3) of the wind instrument 10 or the head of a stringed instrument by an attachment unit 101 having a mechanism such as a clip type, an adhesive material type, an attachment type, or a screw type. However, the attachment position of the detection unit 111 is not limited to the example of FIG. As shown in FIG. 3, in the performance sound information detection apparatus 100, the attachment part 101, the detection part 111, and the other structures 112-118 may be comprised integrally, or the attachment part 101, the detection part 111, and others are comprised. These configurations 112 to 118 may be separated from each other, and both may be connected to be communicable by wire or wirelessly.

図４は、演奏音情報検出装置１００の記憶部１１６に記憶されている演奏音情報の内容を示す図である。演奏音情報は例えばファイル形式であり、ヘッダと実データによって構成されている。実データには、上述したサンプリング値及びそのサンプリング値に対して付与されたタイムスタンプが含まれている。ここでのサンプリング周期は、ピアノの音域 (20Hz〜4,200Hz程度）をもカバーするために例えば10KHzであるが、記憶部１１６の記憶容量や制御部１１７の処理能力などに応じてそれより高くても低くてもよい。また、サンプリング値の情報量は例えば8bit であるが、その表現形式は符号付２進数など、どのようなものでもよいし、また bit 数も8bitより大きくても小さくてもよい。なお、サンプリング周期をあらかじめ決めた固定値にするか又はファイルのヘッダに格納することにより、実データ内のタイムスタンプを省略してもよい。サンプリング周期10KHzでサンプリング値を8bitとしてタイムスタンプを省略した場合、記憶部１１６に演奏１０時間分の演奏音情報を記録するには、1byte x 10KHz x 3,600sec x 10 hours = 360MB の記憶容量が少なくとも必要となる。 FIG. 4 is a diagram showing the contents of the performance sound information stored in the storage unit 116 of the performance sound information detection apparatus 100. The performance sound information is in a file format, for example, and is composed of a header and actual data. The actual data includes the above-described sampling value and a time stamp given to the sampling value. The sampling period here is, for example, 10 KHz to cover the piano range (about 20 Hz to 4,200 Hz), but it is higher depending on the storage capacity of the storage unit 116 and the processing capability of the control unit 117. May be low. The information amount of the sampling value is, for example, 8 bits, but the expression form may be any form such as a signed binary number, and the number of bits may be larger or smaller than 8 bits. Note that the time stamp in the actual data may be omitted by setting the sampling period to a predetermined fixed value or storing it in the header of the file. When the sampling value is 8 bits with a sampling period of 10 KHz and the time stamp is omitted, in order to record the performance sound information for 10 hours in the storage unit 116, the storage capacity of 1 byte x 10 KHz x 3,600 sec x 10 hours = 360 MB is at least Necessary.

[動作]
次に、本実施形態の動作を説明する。
[動作の概要]
演奏音情報検出装置１００の制御部１１７は、検出部１１１によって検出されて記憶部１１６に記憶されている演奏音情報及び時間情報（以下、単に演奏音情報という）を、自装置の通信部１１４と表示装置２００の通信部２１１とが通信可能になったとき（例えば通信部１１４と通信部２１１とが無線接続されたタイミングで両者の情報の同期がなされるときや、無線接続されたのちに演奏者の操作に基づいて両者の情報の同期がなされるとき）に送信する。表示装置２００の制御部２１４は、通信部２１１によって演奏音情報を受信し、内蔵メモリに記憶する。そして、制御部２１４は、記憶された演奏音情報に対して解析処理を行い、この解析結果に応じた画面を表示部２１２に表示させる。また、制御部２１４は、演奏音情報や上記の解析結果をサーバ装置３００に送信する。サーバ装置３００の制御部３１３は、演奏音情報や上記の解析結果を受信すると、記憶部３１２に記憶する。そして、制御部３１３は、演奏音情報や上記解析結果に対して、表示装置２００が行った解析よりも処理負荷の高い解析処理を行い、さらにその解析結果を記憶部３１２に記憶する。表示装置２００の制御部２１４は、通信部２１１を用いてサーバ装置３００に記憶されている演奏音情報や解析結果にアクセスし、これを取得して表示部２１２に表示することができる。制御部２１４は、自装置の内蔵メモリや、サーバ装置３００の記憶部３１２に記憶されている演奏音情報や解析結果を表示することで、後述する各動作モードに応じた情報を演奏者に提示することができる。演奏者はこれらの情報を見て、自身の演奏や練習の振り返りなどの各種管理を行うことができる。 [Operation]
Next, the operation of this embodiment will be described.
[Overview of operation]
The control unit 117 of the performance sound information detection device 100 uses the performance sound information and time information (hereinafter simply referred to as performance sound information) detected by the detection unit 111 and stored in the storage unit 116 as the communication unit 114 of the own device. And the communication unit 211 of the display device 200 are communicable (for example, when the information is synchronized at the timing when the communication unit 114 and the communication unit 211 are wirelessly connected, or after the wireless connection is established) (When the information is synchronized based on the player's operation). The control unit 214 of the display device 200 receives performance sound information through the communication unit 211 and stores it in the built-in memory. Then, the control unit 214 performs analysis processing on the stored performance sound information and causes the display unit 212 to display a screen corresponding to the analysis result. In addition, the control unit 214 transmits performance sound information and the analysis result to the server device 300. When the control unit 313 of the server device 300 receives the performance sound information and the analysis result, the control unit 313 stores the performance sound information and the analysis result in the storage unit 312. The control unit 313 performs an analysis process with a higher processing load than the analysis performed by the display device 200 on the performance sound information and the analysis result, and further stores the analysis result in the storage unit 312. The control unit 214 of the display device 200 can access performance sound information and analysis results stored in the server device 300 using the communication unit 211, obtain them, and display them on the display unit 212. The control unit 214 displays performance sound information and analysis results stored in the built-in memory of the own device or the storage unit 312 of the server device 300 to present information corresponding to each operation mode described later to the performer. can do. The performer can see these pieces of information and perform various management such as reviewing his performance and practice.

以下、本実施形態の動作を動作モード単位で説明する。
[リアルタイムモード]
リアルタイムモードは、楽器のチューニングをする場合などに用いられ、表示装置２００は通常のチューナとして動作する。図５は、リアルタイムモードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。表示装置２００においては、操作部２１３によって指定された音名の周波数が制御部２１４に設定される（図５の例では音名Aの周波数442 Hz）。表示装置２００の制御部２１４は、演奏音情報検出装置１００から送信されてくる演奏音情報に基づいて演奏音の周波数を計算し、計算した周波数にもっとも近い音名を推定して、その音名の周波数（目標周波数という）を特定する。そして、制御部２１４は、図５に示すように、例えば表示部２１２の例えば左下部分に推定した音名を表示し（ここではA)、さらに、その音名の目標周波数と、演奏音情報に基づいて計算した周波数（計算周波数という）とに基づいて、演奏音の音高のずれ方向を例えば三角形の図形の色で表示する。また、制御部２１４は、表示部２１２の例えば左上部分に、目標周波数と計算周波数とに基づいて、チューニングメーターを模した画像にて両者の差を表示する。また、制御部２１４は、表示部２１の例えば右上部分に、目標周波数のレベルを表示するとともに、入力周波数の経時変化（ピッチグラフ）を表示する。なお、チューニングメーターとピッチグラフは並列提示ではなく、一方だけを切り替えて表示する方式であってもよい。
なお、上記のリアルタイムモードは、演奏中においてリアルタイムに演奏音情報を解析するのに好適な動作モードであるが、以下に説明する４種類のノンリアルタイムモードは、演奏後において演奏音情報を解析するのに好適な動作モードである。 Hereinafter, the operation of this embodiment will be described in units of operation modes.
[Real-time mode]
The real-time mode is used when tuning a musical instrument, and the display device 200 operates as a normal tuner. FIG. 5 is a diagram illustrating an example of a screen displayed on the display unit 212 of the display device 200 in the real-time mode. In the display device 200, the frequency of the pitch name designated by the operation unit 213 is set in the control unit 214 (in the example of FIG. 5, the frequency of the pitch name A is 442 Hz). The control unit 214 of the display device 200 calculates the frequency of the performance sound based on the performance sound information transmitted from the performance sound information detection device 100, estimates the pitch name closest to the calculated frequency, and determines the pitch name. Frequency (referred to as target frequency) is specified. Then, as shown in FIG. 5, the control unit 214 displays the estimated pitch name, for example, in the lower left part of the display unit 212 (A here), and further displays the target frequency of the pitch name and the performance sound information. Based on the frequency calculated on the basis (referred to as “calculated frequency”), the direction of pitch deviation of the performance sound is displayed, for example, in the color of a triangular figure. In addition, the control unit 214 displays the difference between the two in an image imitating a tuning meter based on the target frequency and the calculated frequency, for example, in the upper left part of the display unit 212. In addition, the control unit 214 displays the target frequency level and, for example, the change over time (pitch graph) of the input frequency in the upper right part of the display unit 21. Note that the tuning meter and the pitch graph may be displayed by switching only one of them instead of parallel presentation.
The above-mentioned real-time mode is an operation mode suitable for analyzing performance sound information in real time during performance, but the four types of non-real time modes described below analyze performance sound information after performance. This is a suitable operation mode.

[ピッチグラフモード（ノンリアルタイムモード）]
ピッチグラフモードは、記録されたファイル単位でピッチ遷移を時系列に表示するノンリアルタイムモードであり、例えば演奏終了後に演奏者が演奏内容を振り返る場合などに用いられる。図６は、ピッチグラフモードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、表示部２１２の例えば左上部分に列挙された演奏音情報のファイル一覧のうち、ピッチグラフの表示対象とするファイルを操作部２１３によって選択する。ファイルが選択されると、制御部２１４は、そのファイルの属性情報（ファイル名、記録日時、タグなど）を表示部２１２の例えば左下部分に表示し、また、そのファイルに含まれる演奏音情報の時系列のピッチを表示部２１２の例えば右部分に実線で表示する。ピッチの表示においては、制御部２１４は、リアルタイムモードと同じく、推定した音名（図中 C,D,E,G）の目標周波数を破線などで表示する。また、制御部２１４は、目標周波数とのずれの大きさによりピッチグラフの色を変える等してもよい。 [Pitch graph mode (non-real-time mode)]
The pitch graph mode is a non-real time mode in which pitch transitions are displayed in time series in units of recorded files. For example, the pitch graph mode is used when the performer looks back on the performance contents after the performance is completed. FIG. 6 is a diagram illustrating an example of a screen displayed on the display unit 212 of the display device 200 in the pitch graph mode. The performer uses the operation unit 213 to select a file to be displayed as a pitch graph from a list of performance sound information files listed in the upper left portion of the display unit 212, for example. When a file is selected, the control unit 214 displays the attribute information (file name, recording date, tag, etc.) of the file in the lower left part of the display unit 212, for example, and the performance sound information included in the file. The time-series pitch is displayed as a solid line on the right portion of the display unit 212, for example. In the display of the pitch, the control unit 214 displays the target frequency of the estimated pitch name (C, D, E, G in the figure) with a broken line or the like, as in the real time mode. Further, the control unit 214 may change the color of the pitch graph depending on the magnitude of the deviation from the target frequency.

[周波数分布モード（ノンリアルタイムモード）]
周波数分布モードは、記録されたファイル単位で演奏音の周波数分布を表示するノンリアルタイムモードであり、例えば演奏終了後に演奏者がどのような周波数の音を演奏したかを振り返る場合などに用いられる。図７は、周波数分布モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、ピッチグラフモードと同様の方法にて、解析対象となるファイルを選択する。制御部２１４は、例えば横軸を周波数とし縦軸を演奏頻度（ファイル中の累積演奏時間）とした周波数分布グラフを表示部２１２の右部分に表示する。このとき、制御部２１４は、ピッチグラフモードと同じく、推定した音名と、その音名の目標周波数を示すガイド線を表示する。演奏者は、このグラフを見ることにより、例えば自らが演奏できた最も高い音や最も低い音を確認したり、各音名ごとに自らの演奏音とガイド線（目標周波数）とのずれの傾向などを理解することができる。図示した例においては、音名D, A が目標周波数よりも高い傾向があることがわかる。さらには、演奏者は、これらの振り返りをファイル単位（日々の演奏記録）で比較することにより、演奏能力の向上（例えばより高い音が出るようになる）や改善（例えば音程がより目標周波数に近づく）の具合を確認することができる。 [Frequency distribution mode (non-real-time mode)]
The frequency distribution mode is a non-real-time mode that displays the frequency distribution of the performance sound in units of recorded files. For example, the frequency distribution mode is used to look back on what frequency sound the performer performed after the performance. FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit 212 of the display device 200 in the frequency distribution mode. The performer selects a file to be analyzed by the same method as in the pitch graph mode. For example, the control unit 214 displays a frequency distribution graph with the horizontal axis as frequency and the vertical axis as performance frequency (cumulative performance time in the file) on the right portion of the display unit 212. At this time, similarly to the pitch graph mode, the control unit 214 displays the estimated pitch name and a guide line indicating the target frequency of the pitch name. For example, the performer can check the highest and lowest sounds that he was able to perform by looking at this graph, and the tendency of the difference between his performance sound and the guide line (target frequency) for each note name. Can understand. In the illustrated example, it can be seen that the pitch names D and A tend to be higher than the target frequency. Furthermore, the performer compares these reflections in units of files (daily performance records) to improve performance (for example, a higher sound can be produced) or improve (for example, the pitch becomes more targeted). You can check how close you are.

［練習記録モード（ノンリアルタイムモード）］
練習記録モードは、各ファイルのタイムスタンプをもとに演奏を行った日時の特定と演奏時間の推定をおこなうノンリアルタイムモードであり、演奏の練習日数や練習時間などを表示することにより演奏者のモチベーション維持や向上のために利用される。図８は、練習記録モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、表示部２１２の例えば左上部分に列挙された年月の一覧のうち、練習記録を参照したい年月を操作部２１３によって選択する。年月が選択されると、制御部２１４は、その年月における累積練習日数及び累積練習時間をタイムスタンプをもとに計算して表示部２１２の例えば左下部分に表示する。また、制御部２１４は、その年月のうち練習を行った日については、表示部２１２の例えば右部分に表示されるカレンダー上でマーク（例えばオレンジ色で表記）する。このとき、制御部２１４は、同じ種類の楽器の演奏者どうしで練習の記録を比較できるようにするために、日ごとの練習時間に応じてマークの濃度や面積などを変化させてもよい。 [Practice recording mode (non-real-time mode)]
The practice recording mode is a non-real-time mode that identifies the date and time of performance based on the time stamp of each file and estimates the performance time. Used to maintain and improve motivation. FIG. 8 is a diagram illustrating an example of a screen displayed on the display unit 212 of the display device 200 in the practice recording mode. The performer uses the operation unit 213 to select the year and month for which he / she wants to refer to the practice record from the list of years listed in the upper left part of the display unit 212, for example. When the year and month are selected, the control unit 214 calculates the accumulated practice days and accumulated practice time in the year and month based on the time stamp and displays them on the lower left portion of the display unit 212, for example. In addition, the control unit 214 marks (for example, in orange) a calendar displayed on the right side of the display unit 212, for example, on the day of practice in the year and month. At this time, the control unit 214 may change the density and the area of the mark according to the practice time for each day so that the performance records can be compared between players of the same type of musical instrument.

［練習データ利用モード（ノンリアルタイムモード）］
練習データ利用モードは、サーバ装置３００に蓄積された演奏音情報のファイルをサーバ装置３００が解析してピッチの遷移などを得てから楽曲データベースを検索するノンリアルタイムモードであり、演奏した楽曲を自動的に推定して記録することが可能となる。サーバ装置３００の制御部３１３は、演奏音情報のファイルを取得し、それを解析して得たピッチの時系列の遷移に基づいて、楽曲データベースと比較し、その演奏者の過去の演奏履歴等をも参考にして、演奏した楽曲を推定する。図９は、練習データ利用モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。制御部２１４は、サーバ装置３００から取得した楽曲の推定結果に基づいて、演奏された楽曲名を日ごとに表示部２１２に表示する。 [Practice data usage mode (non-real-time mode)]
The practice data use mode is a non-real-time mode in which the server apparatus 300 analyzes the performance sound information file stored in the server apparatus 300 and obtains the transition of the pitch, etc., and searches the music database. Can be estimated and recorded. The control unit 313 of the server apparatus 300 obtains a file of performance sound information, compares it with the music database based on the time-series transition of the pitch obtained by analyzing the file, and performs the past performance history of the performer, etc. To estimate the music played. FIG. 9 is a diagram illustrating an example of a screen displayed on the display unit 212 of the display device 200 in the practice data use mode. The control unit 214 displays the played music name on the display unit 212 for each day based on the music estimation result acquired from the server device 300.

上記実施形態によれば、演奏音情報検出装置１００が検出した演奏音情報を不揮発性の記憶手段である記憶部１１６に記憶しておき、演奏後の所定のタイミングでその演奏音情報を表示装置２００に送信する。よって、演奏音情報を検出する構成部分である演奏音情報検出装置１００と、演奏音を解析する構成部分である表示装置２００ないしサーバ装置３００とを常時接続する必要がない。また、長時間の演奏を行う場合であっても演奏音情報の記録や解析等を行うことが可能となる。 According to the embodiment, the performance sound information detected by the performance sound information detection device 100 is stored in the storage unit 116 which is a nonvolatile storage means, and the performance sound information is displayed at a predetermined timing after the performance. 200. Therefore, there is no need to always connect the performance sound information detecting device 100 that is a component that detects performance sound information and the display device 200 or the server device 300 that is a component that analyzes the performance sound. Further, it is possible to record and analyze performance sound information even when performing for a long time.

［変形例］
［変形例１］
演奏音情報検出装置１００において、制御部１１７は、演奏音情報の情報量を削減する処理を行う情報処理部として機能してもよい。例えば制御部１１７は、記憶部１１６に記憶されたサンプリング値に対してピッチ解析を行い、その結果得られた周波数情報を表示装置２００に送信するようにしてもよい。この場合、サンプリング周期は、１秒に数十サンプル（例えば30samples/sec）までに落とすことができる。また、制御部１１７は、一般的なデータ圧縮アルゴリズムを用いてサンプリング値（演奏音情報）の情報量を削減してもよい。これにより、記憶部１１６の記憶量の削減や演奏音情報検出装置１００及び表示装置２００間における通信量の削減を行うことができる。 [Modification]
[Modification 1]
In the performance sound information detection apparatus 100, the control unit 117 may function as an information processing unit that performs processing for reducing the amount of performance sound information. For example, the control unit 117 may perform pitch analysis on the sampling value stored in the storage unit 116 and transmit the frequency information obtained as a result to the display device 200. In this case, the sampling period can be reduced to several tens of samples (for example, 30 samples / sec) per second. The control unit 117 may reduce the amount of information of the sampling value (performance sound information) using a general data compression algorithm. Thereby, it is possible to reduce the storage amount of the storage unit 116 and the communication amount between the performance sound information detection device 100 and the display device 200.

［変形例２］
演奏音検出装置１００と表示装置２００との関係は、１対１ではなく、複数対１としてもよい。このようにすれば、演奏音情報検出装置１００を複数人で１台ずつ所有し、表示装置２００をこれらの複数人で共通で使用することができる。また、演奏音情報検出装置１００と表示装置２００との関係を１対複数としてもよい。この場合、表示装置２００に割り当てられた識別情報を用いて、演奏音情報検出装置１００からそれぞれの表示装置２００に送信された演奏音情報を識別するようにすればよい。 [Modification 2]
The relationship between the performance sound detection device 100 and the display device 200 may be a plurality of one-to-one instead of one-to-one. In this way, the performance sound information detecting device 100 can be owned by a plurality of persons and the display device 200 can be commonly used by the plurality of persons. The relationship between the performance sound information detection device 100 and the display device 200 may be one-to-multiple. In this case, the performance sound information transmitted from the performance sound information detection device 100 to each display device 200 may be identified using the identification information assigned to the display device 200.

［変形例３］
実施形態に係るシステムにおいて演奏音情報の解析を行う解析装置は、表示装置２００とサーバ装置３００であったが、サーバ装置３００は必須ではなく、解析装置が表示装置２００のみでもよい。 [Modification 3]
In the system according to the embodiment, the analysis devices that analyze performance sound information are the display device 200 and the server device 300, but the server device 300 is not essential, and the analysis device may be only the display device 200.

［変形例４］
演奏音情報検出装置１００の記憶部１１６の空き容量が閾値より少なくなった場合、制御部１１７は、例えば表示部１１５を点灯させるなどの報知処理を行ってユーザに知らせるようにしてもよい。また、制御部１１７は、記憶部１１６の空き容量が無くなった場合、最も古い演奏音情報から順に、新しい演奏音情報を上書きするようにしてもよいし、その場合、演奏音情報に基づきより情報量が小さい情報（例えば演奏時間）を生成し、その演奏音情報に上書きしてもよい。これも制御部１１７が演奏音情報の情報量を削減する処理に相当する。 [Modification 4]
When the free space in the storage unit 116 of the performance sound information detection apparatus 100 becomes smaller than the threshold, the control unit 117 may notify the user by performing notification processing such as turning on the display unit 115, for example. In addition, when the storage unit 116 runs out of free space, the control unit 117 may overwrite the new performance sound information in order from the oldest performance sound information. Information with a small amount (for example, performance time) may be generated and overwritten on the performance sound information. This also corresponds to a process in which the control unit 117 reduces the amount of performance sound information.

［変形例５］
本発明は、演奏音情報検出装置１００や表示装置２００、サーバ装置３００と同等の機能をコンピュータに実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。 [Modification 5]
The present invention can also be specified as a program for causing a computer to realize functions equivalent to the performance sound information detection apparatus 100, the display apparatus 200, and the server apparatus 300, and a recording medium such as an optical disk storing such a program. The program according to the present invention can be provided in the form of being downloaded to a computer via a network such as the Internet, and being made available after being installed.

１００演奏音情報検出装置、１１１検出部、１１２Ａ／Ｄコンバータ、１１３操作部、１１４通信部、１１５表示部、１１６記憶部、１１７制御部、１１８計時部、１１９取付部。２００表示装置、２１１通信部、２１２表示部、２１３操作部、２１４制御部、３００サーバ装置、３１１通信部、３１２記憶部、３１３制御部。 DESCRIPTION OF SYMBOLS 100 Performance sound information detection apparatus, 111 detection part, 112 A / D converter, 113 operation part, 114 communication part, 115 display part, 116 memory | storage part, 117 control part, 118 timing part, 119 attachment part. 200 display device, 211 communication unit, 212 display unit, 213 operation unit, 214 control unit, 300 server device, 311 communication unit, 312 storage unit, 313 control unit.

Claims

A detection unit for detecting performance sound information corresponding to the performance sound emitted by the instrument;
An attachment part for attaching the detection part to the instrument;
A storage unit for storing performance sound information detected by the detection unit;
A performance sound information detection apparatus comprising: a communication unit that transmits performance sound information stored in the storage unit.

The storage unit adds and stores time information to the performance sound information detected by the detection unit,
The performance sound information detection apparatus according to claim 1, wherein the communication unit transmits performance sound information and time information stored by the storage unit.

The performance sound information detection device according to claim 1, wherein the communication unit transmits the contents stored in the storage unit when synchronizing the information with the transmission destination of the performance sound information.

The performance sound information detection apparatus according to any one of claims 1 to 3, further comprising an information processing unit that performs a process of reducing an information amount of the performance sound information detected by the detection unit.

The performance sound information detection apparatus according to claim 3, wherein the communication unit deletes, from the storage unit, contents transmitted when synchronizing the information with the transmission destination of the performance sound information.