[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2010072595A - Beat location presumption system, method, and program - Google Patents

Beat location presumption system, method, and program Download PDF

Info

Publication number
JP2010072595A
JP2010072595A JP2008243199A JP2008243199A JP2010072595A JP 2010072595 A JP2010072595 A JP 2010072595A JP 2008243199 A JP2008243199 A JP 2008243199A JP 2008243199 A JP2008243199 A JP 2008243199A JP 2010072595 A JP2010072595 A JP 2010072595A
Authority
JP
Japan
Prior art keywords
beat
analysis
section
interval
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008243199A
Other languages
Japanese (ja)
Other versions
JP5054646B2 (en
Inventor
Hiromi Ishisaki
広海 石先
Keiichiro Hoashi
啓一郎 帆足
Yasuhiro Takishima
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008243199A priority Critical patent/JP5054646B2/en
Publication of JP2010072595A publication Critical patent/JP2010072595A/en
Application granted granted Critical
Publication of JP5054646B2 publication Critical patent/JP5054646B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a beat location presumption system, method, and program, which surely presumes a beat location in response to a large change in tempo while reducing the amount of calculation. <P>SOLUTION: The beat location presumption system 100 estimates the beat location of the data of a piece of music and is provided with: an initial setting section 101 that sets the first section of analysis; an analysis sections setting part 102 that sequentially sets the succeeding sections of analysis immediately succeeding the first section of analysis; a validation section setting part 103 that sets validation sections within the respective sections of analysis; a beat location detection part 110 that detects beat locations with respect to music data in the respective sections of analysis or validation sections; and a validation part 114 that validates whether the beat locations detected in the respective sections of analysis are identical with the beat locations detected in the respective validation sections within the respective sections of analysis. Thus, the presumption of beat locations is performed over the whole data of a piece of music from the results of the validations. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、楽曲データの拍位置を推定する拍位置推定装置、拍位置推定方法および拍位置推定プログラムに関する。   The present invention relates to a beat position estimating apparatus, a beat position estimating method, and a beat position estimating program for estimating a beat position of music data.

従来、音楽波形信号から自動で拍やテンポ情報を抽出する手法が知られている。たとえば、特許文献1に記載される装置および方法は、入力された音楽信号に対して複数の異なる推定範囲を設定し、推定範囲ごとのテンポ推定と複数の推定範囲の各テンポ値とを統合して、音楽データについて時間的に変動するテンポ値を得ている。そのようにして、楽曲の途中でテンポが変化するような音楽データのテンポ推定を可能にしている。また、特許文献2、3および非特許文献3に記載される方法は、PCMデータから得られた音楽波形信号に対し、STFTに基づいた時系列パワースペクトラム、もしくはそれに相応する特徴量を計算し、自己相関および相互相関を利用することにより拍位置を推定している。   Conventionally, a technique for automatically extracting beat and tempo information from a music waveform signal is known. For example, the apparatus and method described in Patent Literature 1 sets a plurality of different estimation ranges for an input music signal, and integrates the tempo estimation for each estimation range and the tempo values of the plurality of estimation ranges. Thus, a tempo value that varies with time is obtained for the music data. In this way, it is possible to estimate the tempo of music data such that the tempo changes during the music. In addition, the methods described in Patent Documents 2 and 3 and Non-Patent Document 3 calculate a time-series power spectrum based on STFT or a feature amount corresponding to the music waveform signal obtained from PCM data, The beat position is estimated by using auto-correlation and cross-correlation.

また、非特許文献1記載の方法では、リズム特徴量としてビートヒストグラムと呼ばれるものを特徴量としている。ビートヒストグラムは、各周波数帯域における音楽音響信号の時間包絡と自己相関から抽出されたテンポの統計量として計算される。非特許文献2に記載の方法は調和音のオンセット(音の立ち上がり)コードの遷移確率、打楽器のパターン情報に基づいて実時間での拍推定を行っている。打楽器のパターンとはスペクトルの低周波域にエネルギーが局在しているバスドラムと、広い周波数域にエネルギーが広がっているスネアドラムの組み合わせである。このような打楽器のパターン情報に基づき、音楽的に一般的な知識とされている事前情報を用いることで拍位置を推定している。
特開2003−263162号公報 特開2002−116754号公報 特開2007−33851号公報 G.Tzanetakis and P.Cook, “Musical genre classification of audio signals”, IEEE, Trans on Speech and Audio Processing, Vol.10, No.5, pp.293-302 Goto.M, “An audio-based real-time beat tracking system for music with or without drum-sounds.”, Journal of New Music Research, June 2001, Vol.30, No.2, pp.159-171 Miguel Alonso, Bertrand David, and Gael Richard, “Tempo and beat estimation of music signals”, In Proc.ISMIR2004.
Further, in the method described in Non-Patent Document 1, a so-called beat histogram is used as a feature amount as a rhythm feature amount. The beat histogram is calculated as a tempo statistic extracted from the time envelope and autocorrelation of the music acoustic signal in each frequency band. The method described in Non-Patent Document 2 performs beat estimation in real time based on the transition probability of onset (sound rise) chords of harmonic sounds and percussion instrument pattern information. A percussion instrument pattern is a combination of a bass drum in which energy is localized in a low frequency region of a spectrum and a snare drum in which energy is spread in a wide frequency region. Based on such percussion instrument pattern information, the beat position is estimated by using prior information that is generally known in terms of music.
JP 2003-263162 A JP 2002-116754 A JP 2007-33851 A G. Tzanetakis and P. Cook, “Musical genre classification of audio signals”, IEEE, Trans on Speech and Audio Processing, Vol. 10, No. 5, pp.293-302 Goto.M, “An audio-based real-time beat tracking system for music with or without drum-sounds.”, Journal of New Music Research, June 2001, Vol.30, No.2, pp.159-171 Miguel Alonso, Bertrand David, and Gael Richard, “Tempo and beat estimation of music signals”, In Proc.ISMIR2004.

特許文献1には、楽曲の途中でテンポが変化するような音楽データのテンポ推定を可能にするために、多段的な分析により時系列でテンポ変動を推定可能な方法が記載されている。第1段階にて大きな信号幅によるテンポ推定を適用し、第2段階では第1段階で推定されたテンポに基づいて設定された区間に対してテンポ推定を行う。しかしながら、上記のような多段的な分析では、解析量が膨大になるため実時間推定は困難である。また、特許文献1にも記載されているように、特許文献2、3、非特許文献1〜3記載の技術では、大幅なテンポ変化に対応することができない。   Patent Document 1 describes a method capable of estimating tempo fluctuations in a time series by multi-stage analysis in order to enable tempo estimation of music data such that the tempo changes in the middle of music. Tempo estimation with a large signal width is applied in the first stage, and tempo estimation is performed in the second stage for the section set based on the tempo estimated in the first stage. However, in the multistage analysis as described above, since the amount of analysis becomes enormous, real-time estimation is difficult. Further, as described in Patent Document 1, the techniques described in Patent Documents 2 and 3 and Non-Patent Documents 1 to 3 cannot cope with a large tempo change.

本発明は、このような事情に鑑みてなされたものであり、計算量を軽減しつつ、大幅なテンポ変化に対応して正確に拍位置を推定できる拍位置推定装置、拍位置推定方法および拍位置推定プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and is capable of estimating a beat position accurately in response to a significant change in tempo while reducing the amount of calculation, and a beat position estimation method and a beat position estimation method. An object is to provide a position estimation program.

(1)上記の目的を達成するため、本発明の拍位置推定装置は、曲データの拍位置を推定する拍位置推定装置であって、最初の解析区間を設定する初期設定部と、前記最初の解析区間に続く解析区間を逐次設定する解析区間設定部と、前記各解析区間内に検証区間を設定する検証区間設定部と、前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出部と、前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証部と、を備え、前記検証結果に基づき楽曲データ全体にわたり拍位置を推定することを特徴としている。なお、拍位置とは、楽曲の再生に対して時間軸上に周期的に刻まれる拍の時刻を指す。また、楽曲データ全体にわたりとは、拍位置の推定が必要とされる楽曲の範囲全体という意味であり、必ずしも一曲全てを意味しない。   (1) In order to achieve the above object, the beat position estimating device of the present invention is a beat position estimating device for estimating the beat position of music data, and includes an initial setting unit for setting an initial analysis section, An analysis interval setting unit that sequentially sets analysis intervals subsequent to the analysis interval, a verification interval setting unit that sets a verification interval within each analysis interval, and beat positions of the music data of each analysis interval or verification interval are detected A beat position detection unit; and a verification unit that verifies whether or not the beat position detected in each analysis section matches the beat position detected in the verification section in each analysis section, and the verification The beat position is estimated over the entire music data based on the result. The beat position refers to the time of a beat that is periodically engraved on the time axis for the reproduction of music. Further, “over the whole music data” means the whole range of music for which estimation of the beat position is required, and does not necessarily mean all music.

このように、本発明の拍位置推定装置は、解析区間内に検証区間を設定し、両区間で検出された拍位置が互いに一致するかを検証する。そして、その検証結果に基づいて楽曲データ全体にわたり拍位置を推定する。これにより、楽曲データに存在するテンポの変動に対して正確に拍位置を推定することができる。また、従来のテンポ変動に対応可能な方式に比べて楽曲データ全体にわたり何度も重複して解析する必要がなく、計算量を軽減することができる。   As described above, the beat position estimating apparatus according to the present invention sets the verification section in the analysis section and verifies whether the beat positions detected in both sections match each other. Based on the verification result, the beat position is estimated over the entire music data. Thereby, it is possible to accurately estimate the beat position with respect to the tempo variation existing in the music data. Further, it is not necessary to repeatedly analyze the entire music data over and over, compared to a conventional method that can cope with tempo fluctuations, and the amount of calculation can be reduced.

(2)また、本発明の拍位置推定装置は、前記検証区間設定部が、前記各解析区間で検出された拍位置に基づいて、検証区間を設定することを特徴としている。これにより、効率よく精度の高い検証をすることができる。   (2) Moreover, the beat position estimation apparatus of the present invention is characterized in that the verification section setting unit sets a verification section based on the beat position detected in each analysis section. Thereby, verification with high accuracy can be performed efficiently.

(3)また、本発明の拍位置推定装置は、前記解析区間設定部が、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴としている。これにより、効率よく、正確な拍位置を検出するのに適当な解析区間を設定することができる。   (3) Moreover, the beat position estimation apparatus of the present invention is characterized in that the analysis section setting unit sequentially sets analysis sections over the entire music data based on the verification result. As a result, it is possible to set an analysis interval suitable for detecting an accurate beat position efficiently.

(4)また、本発明の拍位置推定装置は、前記解析区間についての拍位置の検出結果に基づき、前記解析区間の開始位置が適当か否かを判定する位置判定部を更に備え、判定の結果、前記解析区間の開始位置が不適当である場合に、前記解析区間設定部は、開始位置をシフトさせた次の解析区間を設定することを特徴としている。このように、本発明の拍位置推定装置は、解析区間の開始位置が適当か否かを判定し、適当でないときには解析区間をシフトさせる。これにより、たとえばほとんど音が無い区間や語りが記録されている区間を含めないように解析区間を設定することができ、効率よく、正確な拍位置を検出するのに適当な解析区間を設定することができる。   (4) Moreover, the beat position estimation apparatus of the present invention further includes a position determination unit that determines whether or not the start position of the analysis section is appropriate based on the detection result of the beat position for the analysis section. As a result, when the start position of the analysis section is inappropriate, the analysis section setting unit sets the next analysis section in which the start position is shifted. As described above, the beat position estimation apparatus of the present invention determines whether or not the start position of the analysis section is appropriate, and shifts the analysis section when it is not appropriate. As a result, for example, an analysis section can be set so as not to include a section where there is almost no sound or a section where narration is recorded, and an appropriate analysis section is set to detect an accurate beat position efficiently. be able to.

(5)また、本発明の拍位置推定装置は、前記解析区間設定部が、前記検証の結果、前記拍位置が一致しないときに、前記検証区間で検出された拍位置を基準にして、次の解析区間の長さおよび開始位置を設定することを特徴としている。これにより、たとえば検証区間で検出された拍間隔を基準に解析区間の長さを設定し、検証区間で検出された拍位置を開始位置として解析区間を設定することができる。   (5) Further, in the beat position estimation device according to the present invention, when the analysis section setting unit, as a result of the verification, does not match the beat positions, the beat position detected in the verification section is used as a reference. It is characterized by setting the length and starting position of the analysis section. Thereby, for example, the length of the analysis section can be set based on the beat interval detected in the verification section, and the analysis section can be set using the beat position detected in the verification section as the start position.

(6)また、本発明の拍位置推定装置は、前記解析区間設定部が、前記検証の結果、前記拍位置が一致しないときに、前記検証区間で検出された拍位置の間隔より標準最低拍間隔以上長い間隔を次の解析区間の長さに設定することを特徴としている。標準最低拍間隔とは、一般的な楽曲のテンポの範囲の上限から導かれる最低の拍間隔をいう。通常、一般的な楽曲のテンポの範囲は、50BPM以上、250BPM以下である。したがって、上限の250BPMにおける拍間隔は、0.24秒であるため、標準最低拍間隔として0.24秒をとることができる。これにより、検証区間で検出された拍位置を2つ以上含む区間を解析区間として設定でき、効率よく、正確な拍位置を検出することができる。   (6) Further, in the beat position estimation device of the present invention, when the analysis section setting unit does not match the beat positions as a result of the verification, a standard lowest beat is determined based on a beat position interval detected in the verification section. An interval longer than the interval is set to the length of the next analysis section. The standard minimum beat interval refers to the minimum beat interval derived from the upper limit of the tempo range of general music. Usually, the range of the tempo of general music is 50 BPM or more and 250 BPM or less. Therefore, since the beat interval at the upper limit of 250 BPM is 0.24 seconds, 0.24 seconds can be taken as the standard minimum beat interval. Thereby, a section including two or more beat positions detected in the verification section can be set as an analysis section, and an accurate beat position can be detected efficiently.

(7)また、本発明の拍位置推定装置は、前記解析区間設定部が、直前に設定された解析区間内で検出された最初の拍位置から、前記解析区間または前記検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定することを特徴としている。これにより、検出結果を基準として一拍ごとシフトさせた解析区間を設定することができ、拍位置を考慮しつつ精密に拍位置を検出することが可能となる。   (7) Further, in the beat position estimation device of the present invention, the analysis interval setting unit is detected in the analysis interval or the verification interval from the first beat position detected in the analysis interval set immediately before. It is characterized in that the next analysis section is set with the position shifted by one beat as the start position. Thereby, it is possible to set an analysis section that is shifted for each beat based on the detection result, and it is possible to accurately detect the beat position while considering the beat position.

(8)また、本発明の拍位置推定装置は、前記解析区間設定部が、直前に設定された解析区間内で検出された最後の拍位置から、前記解析区間または前記検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定することを特徴としている。これにより、検出結果を基準として、各解析区間の最後の一拍のみ重なるようにシフトさせた解析区間を設定することができ、拍位置を考慮しつつ効率的に拍位置を検出することが可能となる。   (8) Further, in the beat position estimation device of the present invention, the analysis interval setting unit is detected in the analysis interval or the verification interval from the last beat position detected in the analysis interval set immediately before. It is characterized in that the next analysis section is set with the position shifted by one beat as the start position. This makes it possible to set an analysis section that is shifted so that only the last beat of each analysis section overlaps based on the detection result, and it is possible to efficiently detect the beat position while considering the beat position. It becomes.

(9)また、本発明の拍位置推定装置は、前記解析区間設定部が、前記検証の結果、前記拍位置が一致しない区間に重ならないよう、次の解析区間の開始位置を設定することを特徴としている。これにより、不規則な拍をとる区間や拍の無い区間をとばして効率よく拍位置を検出することができる。   (9) Further, in the beat position estimation device of the present invention, the analysis section setting unit sets a start position of the next analysis section so as not to overlap a section where the beat positions do not match as a result of the verification. It is a feature. As a result, it is possible to efficiently detect the beat position by skipping an irregular beat section or a section without a beat.

(10)また、本発明の拍位置推定装置は、前記各解析区間で検出された拍位置を楽曲データ全体にわたり統合する統合部を更に備えることを特徴としている。これにより、拍位置を統合してより妥当性の高い拍位置を楽曲データ全体にわたり推定することができる。   (10) The beat position estimating apparatus of the present invention is further characterized by further comprising an integration unit that integrates the beat positions detected in each analysis section over the entire music data. Thereby, beat positions can be integrated and a more appropriate beat position can be estimated over the entire music data.

(11)また、本発明の拍位置推定方法は、楽曲データの拍位置を推定する拍位置推定方法であって、最初の解析区間を設定すると、前記最初の解析区間に続く解析区間を逐次設定する解析区間設定ステップと、前記各解析区間内に検証区間を設定する検証区間設定ステップと、前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出ステップと、前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証ステップと、を含み、前記検証区間設定ステップでは、前記各解析区間で検出された拍位置に基づいて、検証区間を設定し、前記解析区間設定ステップでは、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴としている。これにより、計算量を軽減しつつ、大幅なテンポ変化に対応して正確に拍位置を推定できる。   (11) Further, the beat position estimation method of the present invention is a beat position estimation method for estimating the beat position of music data, and when the first analysis section is set, the analysis sections subsequent to the first analysis section are sequentially set. An analysis interval setting step, a verification interval setting step for setting a verification interval in each analysis interval, a beat position detection step for detecting a beat position for each analysis segment or music data in the verification interval, and each analysis interval Verifying whether or not the beat position detected in step 1 and the beat position detected in the verification section in each analysis section match, and in the verification section setting step, A verification section is set based on the detected beat position, and the analysis section setting step sequentially sets the analysis section over the entire music data based on the verification result. There. This makes it possible to accurately estimate the beat position in response to a significant change in tempo while reducing the amount of calculation.

(12)また、本発明の拍位置推定プログラムは、楽曲データの拍位置を推定する拍位置推定プログラムであって、最初の解析区間を設定する初期設定処理と、前記最初の解析区間に続く解析区間を逐次設定する解析区間設定処理と、前記各解析区間内に検証区間を設定する検証区間設定処理と、前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出処理と、前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証処理と、をコンピュータに実行させ、前記検証区間設定処理では、前記各解析区間で検出された拍位置に基づいて、検証区間を設定し、前記解析区間設定処理では、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴としている。これにより、計算量を軽減しつつ、大幅なテンポ変化に対応して正確に拍位置を推定できる。   (12) The beat position estimation program of the present invention is a beat position estimation program for estimating the beat position of music data, and includes an initial setting process for setting a first analysis section and an analysis following the first analysis section. An analysis section setting process for sequentially setting sections, a verification section setting process for setting a verification section in each analysis section, a beat position detection process for detecting a beat position for music data in each analysis section or verification section, A verification process for verifying whether or not the beat position detected in each analysis section and the beat position detected in the verification section in each analysis section match, and the verification section setting process Then, a verification section is set based on the beat position detected in each analysis section, and in the analysis section setting process, the analysis section is sequentially set over the entire music data based on the verification result. It is characterized in Rukoto. This makes it possible to accurately estimate the beat position in response to a significant change in tempo while reducing the amount of calculation.

本発明によれば、楽曲データに存在するテンポの変動に対して正確に拍位置を推定することができる。また、従来のテンポ変動に対応可能な方式に比べて楽曲データ全体にわたり何度も重複して解析する必要がなく、計算量を軽減することができる。   According to the present invention, it is possible to accurately estimate a beat position with respect to a tempo change existing in music data. Further, it is not necessary to repeatedly analyze the entire music data over and over, compared to a conventional method that can cope with tempo fluctuations, and the amount of calculation can be reduced.

次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。   Next, embodiments of the present invention will be described with reference to the drawings. In order to facilitate understanding of the description, the same reference numerals are given to the same components in the respective drawings, and duplicate descriptions are omitted.

(拍位置推定装置の構成)
図1は、拍位置推定装置100の構成を示すブロック図である。拍位置推定装置100は、楽曲データの拍位置を推定する。具体的には、拍位置推定装置100は、楽曲データを提供するコンテンツサーバであってもよいし、携帯電話機や携帯音楽プレーヤー等の携帯端末であってもよい。
(Configuration of beat position estimation device)
FIG. 1 is a block diagram showing a configuration of the beat position estimating apparatus 100. As shown in FIG. The beat position estimation apparatus 100 estimates the beat position of music data. Specifically, the beat position estimation apparatus 100 may be a content server that provides music data, or may be a mobile terminal such as a mobile phone or a mobile music player.

図1に示すように、拍位置推定装置100は、初期設定部101、解析区間設定部102、検証区間設定部103、楽曲データベース106、区間抽出部107、拍位置検出部110、位置判定部111、記録部113、検証部114、統合部118、基本拍位置推定部119、拍情報記憶部120、およびメタ情報生成部121を備えている。   As shown in FIG. 1, the beat position estimating apparatus 100 includes an initial setting unit 101, an analysis section setting unit 102, a verification section setting unit 103, a music database 106, a section extraction unit 107, a beat position detection unit 110, and a position determination unit 111. A recording unit 113, a verification unit 114, an integration unit 118, a basic beat position estimation unit 119, a beat information storage unit 120, and a meta information generation unit 121.

初期設定部101は、解析対象となる楽曲データの信号を抽出するため最初の解析区間を設定する。最初の解析区間の長さは、たとえば約1.2秒を基準にして設定することができる。約1.2秒は、一般的な楽曲のテンポ範囲が50BPM以上250BPM以下であることを考慮し、拍間隔が最長となる長さである。また、最初の解析区間の開始位置は楽曲データの信号の開始位置などに設定することができる。ただし、開始位置の設定はこの限りではない。なお、以下の説明では、特に言及しない限り解析区間の長さおよび開始位置の設定の際には、長さは標準最低拍間隔を加えるものとする。また、開始位置は標準最低拍間隔の半分だけ、早い位置を開始位置とするものとする。あらかじめ長めの解析区間を設定し、拍位置の検出状況に応じて解析区間を短くすることにより、効率よく、かつ精度よく拍位置を推定することができる。なお、携帯端末上で拍位置推定するような場合には、対象の区間を装置上にて実行できる区間長に管理することで、メモリ制限等の問題を回避できる。   The initial setting unit 101 sets an initial analysis section in order to extract a music data signal to be analyzed. The length of the first analysis section can be set on the basis of about 1.2 seconds, for example. About 1.2 seconds is a length that makes the beat interval the longest in consideration of the tempo range of a general music being 50 BPM or more and 250 BPM or less. Further, the start position of the first analysis section can be set to the start position of the music data signal. However, the start position is not limited to this. In the following description, the standard minimum beat interval is added to the length when setting the length of the analysis section and the start position unless otherwise specified. In addition, the start position is assumed to be a start position that is half the standard minimum beat interval. By setting a long analysis section in advance and shortening the analysis section according to the beat position detection status, the beat position can be estimated efficiently and accurately. When the beat position is estimated on the mobile terminal, problems such as memory limitations can be avoided by managing the target section to a section length that can be executed on the apparatus.

解析区間設定部102は、最初の解析区間に続く解析区間を逐次設定する。解析区間設定部102は、検証結果に基づき楽曲データ全体にわたり複数の解析区間を逐次設定する。検証結果に基づくことで、効率よく、正確な拍位置を検出するのに適当な解析区間を設定することができる。また、拍位置推定装置100は、解析区間の開始位置が適当か否かを判定し、適当でないときには、解析区間設定部102により解析区間をシフトさせる。たとえば音が無い区間や語りが記録されている区間を含めないように解析区間を設定することができる。   The analysis interval setting unit 102 sequentially sets analysis intervals subsequent to the first analysis interval. The analysis section setting unit 102 sequentially sets a plurality of analysis sections over the entire music data based on the verification result. Based on the verification result, it is possible to set an analysis interval suitable for efficiently detecting an accurate beat position. The beat position estimation apparatus 100 determines whether or not the start position of the analysis section is appropriate. If the start position is not appropriate, the analysis section setting unit 102 shifts the analysis section. For example, the analysis section can be set so as not to include a section where there is no sound or a section where narrative is recorded.

解析区間設定部102は、検証部114により解析区間で検出された拍位置と検証区間で検出された拍位置とが一致するか否かを判定された結果、拍位置が一致しないときに、検証区間で検出された拍位置を基準にして、次の解析区間の長さおよび開始位置を設定する。たとえば検証区間で検出された拍間隔を基準に解析区間の長さを設定し、検証区間で検出された拍位置を開始位置として解析区間を設定することができる。   The analysis section setting unit 102 performs verification when the beat position does not match as a result of determining whether or not the beat position detected in the analysis section matches the beat position detected in the verification section by the verification unit 114. The length and start position of the next analysis section are set based on the beat position detected in the section. For example, the length of the analysis section can be set based on the beat interval detected in the verification section, and the analysis section can be set using the beat position detected in the verification section as the start position.

また、検証区間で検出された拍位置の間隔より標準最低拍間隔以上長い間隔を次の解析区間の長さに設定してもよい。その場合には、対象とする最初の拍位置より標準最低拍間隔の半分だけ早い位置を開始位置とし解析区間を設定する。これにより、検証区間で検出された拍位置を少なくとも2つ以上含む区間を解析区間として設定でき、効率よく正確な拍位置を検出することができる。このようにして、拍位置推定装置100は、検証結果に基づき楽曲データ全体にわたり拍位置を推定する。これにより、計算量を低減しつつ、テンポ変化に対応して正確に拍位置を推定できる。   Further, an interval longer than the standard minimum beat interval than the beat position interval detected in the verification interval may be set as the length of the next analysis interval. In that case, the analysis section is set with the start position being a position earlier than the target first beat position by half the standard minimum beat interval. Thereby, a section including at least two beat positions detected in the verification section can be set as an analysis section, and an accurate beat position can be detected efficiently. In this way, the beat position estimating apparatus 100 estimates the beat position over the entire music data based on the verification result. Thereby, it is possible to accurately estimate the beat position corresponding to the tempo change while reducing the calculation amount.

なお、解析区間設定部102は、直前に設定された解析区間内で検出された最初の拍位置から、解析区間または検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定してもよい。これにより、検出結果を基準として一拍ごとシフトさせた解析区間を設定することができ、拍位置を考慮しつつ精密に拍位置を検出することが可能となる。   The analysis interval setting unit 102 starts from a position shifted from the first beat position detected in the analysis interval set immediately before by one beat interval detected in the analysis interval or the verification interval. The next analysis interval may be set. Thereby, it is possible to set an analysis section that is shifted for each beat based on the detection result, and it is possible to accurately detect the beat position while considering the beat position.

また、解析区間設定部102は、直前に設定された解析区間内で検出された最後の拍位置から、解析区間または検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定してもよい。これにより、検出結果を基準として、各解析区間の最後の一拍のみ重なるようにシフトさせた解析区間を設定することができ、拍位置を考慮しつつ効率的に拍位置を検出することが可能となる。   Further, the analysis section setting unit 102 starts from a position shifted from the last beat position detected in the analysis section set immediately before by one beat detected in the analysis section or the verification section. The next analysis interval may be set. This makes it possible to set an analysis section that is shifted so that only the last beat of each analysis section overlaps based on the detection result, and it is possible to efficiently detect the beat position while considering the beat position. It becomes.

また、解析区間設定部102は、検証の結果、解析区間と検証区間とで検出された拍位置が一致しない区間があるときにその区間に重ならないよう、次の解析区間の開始位置を設定してもよい。つまり不適当と判定される区間を進めて(とばして)解析区間の開始位置を設定することができる。これにより、不規則な拍をとる区間や拍の無い区間を無視して効率よく拍位置を検出することができる。なお、検証結果を反映せずに所定長さの解析区間を所定間隔ごとに設定することもできる。   In addition, the analysis interval setting unit 102 sets the start position of the next analysis interval so that it does not overlap when there is an interval where beat positions detected in the analysis interval and the verification interval do not match as a result of the verification. May be. That is, the start position of the analysis section can be set by advancing (skipping) the section determined to be inappropriate. As a result, it is possible to efficiently detect a beat position while ignoring a section having an irregular beat or a section without a beat. Note that an analysis section having a predetermined length can be set for each predetermined interval without reflecting the verification result.

検証区間設定部103は、各解析区間で検出された拍位置に基づいて、各解析区間内に検証区間を設定する。たとえば、隣り合う拍位置の間隔(拍間隔)から標準最低拍間隔分長い区間を検証区間とすることが好ましい。また、2つの拍間隔分の長さとしてもよい。楽曲データベース106は、拍位置推定の対象となりうる楽曲データを蓄積する。楽曲データは、AAC等のファイル形式で格納されている。   The verification section setting unit 103 sets a verification section in each analysis section based on the beat position detected in each analysis section. For example, a section that is longer than the interval between adjacent beat positions (beat interval) by the standard minimum beat interval is preferably used as the verification section. Further, it may be the length of two beat intervals. The music database 106 stores music data that can be a target of beat position estimation. The music data is stored in a file format such as AAC.

区間抽出部107は、設定された区間の楽曲データを抽出する。区間は、解析区間であってもよいし、検証区間でもよい。具体的には、楽曲データベース106内に格納された楽曲データを呼び出し、拍位置推定の対象となる区間における楽曲信号を抽出する。区間抽出部107は、楽曲データのフォーマットが解析に適さないフォーマットであった場合、解析に適したファイル形式に変換を行う。   The section extraction unit 107 extracts music data of the set section. The section may be an analysis section or a verification section. Specifically, the music data stored in the music database 106 is called, and the music signal in the section for which the beat position is to be estimated is extracted. If the format of the music data is not suitable for analysis, the section extraction unit 107 performs conversion into a file format suitable for analysis.

拍位置検出部110は、区間抽出部107により抽出された各解析区間または検証区間の楽曲データについて拍位置を検出する。そして、検出された拍位置を暫定的な拍位置として扱う。たとえば、自己相関をベースにした拍位置検出を行うことができる。そして、複数設定された解析区間の楽曲データの拍位置を繰り返し検出し、各解析区間について検出区間の楽曲データの拍位置も検出する。拍位置検出の処理については後述する。拍位置検出の方法はこの方法に限定されず、検知関数(自己相関計算の対象となる関数、以下同様)を計算する段階で、ローパスフィルタ等の帯域制限フィルタや、バンドパスフィルタ等の帯域通過フィルタを適用してもよい。   The beat position detection unit 110 detects the beat position of the music data in each analysis section or verification section extracted by the section extraction unit 107. Then, the detected beat position is treated as a temporary beat position. For example, beat position detection based on autocorrelation can be performed. Then, the beat position of the music data in the set analysis section is repeatedly detected, and the beat position of the music data in the detection section is also detected for each analysis section. The beat position detection process will be described later. The method for detecting the beat position is not limited to this method. At the stage of calculating the detection function (the function to be subjected to autocorrelation calculation, the same applies hereinafter), the band pass filter such as the low pass filter or the band pass filter such as the band pass filter is used. A filter may be applied.

位置判定部111は、解析区間についての拍位置の検出結果に基づき、解析区間の開始位置が適当か否かを判定する。たとえば、解析区間の平均音量が50db以下の場合や解析区間内での相関が低い場合などには、解析区間の開始位置は不適当と判定する。判定の結果、適当であれば検証区間の設定に移り、不適当であれば、拍位置推定装置100は、解析区間設定部102により解析区間の開始位置を再設定する。   The position determination unit 111 determines whether the start position of the analysis section is appropriate based on the detection result of the beat position for the analysis section. For example, when the average volume of the analysis section is 50 db or less or when the correlation in the analysis section is low, the start position of the analysis section is determined to be inappropriate. As a result of the determination, if appropriate, the process shifts to setting of a verification section, and if inappropriate, the beat position estimation apparatus 100 resets the start position of the analysis section by the analysis section setting unit 102.

記録部113は、検出された拍位置を記録する。解析区間における各検出結果のみならず、検証区間における検出結果も記録する。記録部113は、各区間について拍位置検出部110により検出された拍位置を順次記録していく。記録部113は、解析区間、検出区間ごとに検出結果を保持する。   The recording unit 113 records the detected beat position. Not only the detection results in the analysis interval but also the detection results in the verification interval are recorded. The recording unit 113 sequentially records the beat positions detected by the beat position detection unit 110 for each section. The recording unit 113 holds a detection result for each analysis section and detection section.

検証部114は、各解析区間で検出された拍位置と各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する。一致とは、それぞれ検出された拍位置が所定の誤差範囲内にあることをいう。誤差範囲としては標準最低拍間隔またはその半分を設定することができる。たとえば、検証区間で検出された各拍位置(楽曲開始から各拍までの時間が経過した時点)の誤差範囲内に解析区間で検出された拍位置のいずれかがあるか否かを判定することにより検証を行う。   The verification unit 114 verifies whether or not the beat position detected in each analysis section matches the beat position detected in the verification section in each analysis section. Matching means that the detected beat positions are within a predetermined error range. As the error range, the standard minimum beat interval or half thereof can be set. For example, determining whether there is any of the beat positions detected in the analysis section within the error range of each beat position detected in the verification section (when the time from the start of the music to each beat has elapsed) Verify by

また、解析区間で検出された各拍位置についてその誤差範囲内に検証区間で検出された拍位置があるか否かを判定し、さらに検証区間で検出された各拍位置についてその誤差範囲内に解析区間で検出された拍位置があるか否かを判定することとしてもよい。このような処理により、検証部114は、解析区間における検出結果と、検証区間における検出結果を比較し、拍位置が一致する場合には解析区間は適当と判定し、一致しない場合には解析区間は不適当と判定する。   Further, it is determined whether or not each beat position detected in the analysis section has a beat position detected in the verification section within the error range, and each beat position detected in the verification section is included in the error range. It may be determined whether there is a beat position detected in the analysis section. By such processing, the verification unit 114 compares the detection result in the analysis section with the detection result in the verification section. When the beat positions match, the verification section 114 determines that the analysis section is appropriate. Is determined to be inappropriate.

統合部118は、各解析区間で検出された拍位置を楽曲データ全体にわたり統合する。これにより、さらに妥当性の高い拍位置を楽曲データ全体にわたり推定することができる。たとえば、複数設定された各解析区間における推定拍位置の情報を時系列に基づいて累積し、各時点で推定された拍の累積個数を拍の尤もらしさとして利用することができる。なお、統合部118を設けずに拍位置検出部110により検出された拍位置を推定結果としてもよい。   The integration unit 118 integrates the beat positions detected in each analysis section over the entire music data. This makes it possible to estimate a more appropriate beat position over the entire music data. For example, information on estimated beat positions in a plurality of set analysis sections can be accumulated based on a time series, and the accumulated number of beats estimated at each time point can be used as the likelihood of the beat. Note that the beat position detected by the beat position detection unit 110 without providing the integration unit 118 may be used as the estimation result.

基本拍位置推定部119は、統合された拍位置から楽曲データ全体にわたり基本拍位置を推定する。基本拍位置推定部119は、統合部118によって得られた統合された拍位置の情報から尤もらしい拍を有効な拍として推定する。統合および基本拍位置推定の処理については後述する。   The basic beat position estimation unit 119 estimates the basic beat position over the entire music data from the integrated beat position. The basic beat position estimation unit 119 estimates a likely beat as an effective beat from the integrated beat position information obtained by the integration unit 118. The processing of integration and basic beat position estimation will be described later.

拍情報記憶部120は、楽曲データ全体にわたり推定された拍位置を特定する拍情報を記憶する。メタ情報生成部121は、楽曲データ全体にわたり推定された拍位置を特定するメタ情報を生成する。このように最終的な解析結果をメタ情報として出力することができる。なお、拍位置推定装置100は、統合部118および基本拍位置推定部119を備えずに、拍位置検出部110により検出された拍位置を、楽曲全体にわたり推定された拍位置とすることができる。   The beat information storage unit 120 stores beat information that specifies beat positions estimated over the entire music data. The meta information generation unit 121 generates meta information that identifies beat positions estimated over the entire music data. Thus, the final analysis result can be output as meta information. Note that the beat position estimation apparatus 100 does not include the integration unit 118 and the basic beat position estimation unit 119, and the beat position detected by the beat position detection unit 110 can be a beat position estimated over the entire music. .

拍位置推定装置100は、制御部(図示せず)により、各部の制御を行うとともに拍位置検出を終了するか継続するかの判定を行う。たとえば、対象となる楽曲データ全体にわたり拍位置の検出が行われたとき終了と判定し、対象となる楽曲データ全体にわたり拍位置が検出されていないときには継続と判定する。制御部は、全楽曲データの区間に対して検出が行われていない場合、区間抽出部107に次の区間の楽曲データを抽出するよう指示する。   The beat position estimation apparatus 100 controls each part by a control unit (not shown) and determines whether to end or continue the beat position detection. For example, when the beat position is detected over the entire target music data, it is determined to end, and when the beat position is not detected over the entire target music data, it is determined to continue. When the detection is not performed for the entire music data section, the control unit instructs the section extraction unit 107 to extract the music data of the next section.

このようにして、解析区間の位置および解析区間の長さを対象となる楽曲データから自動で設定することができる。なお、上記の例に限らず、楽曲データに対して事前に検知関数を計算し、最初の解析区間を設定することもできる。   In this manner, the position of the analysis section and the length of the analysis section can be automatically set from the target music data. Note that the present invention is not limited to the above example, and it is also possible to calculate a detection function for music data in advance and set the first analysis section.

(拍位置推定装置の動作)
次に、拍位置推定装置100の動作を説明する。図2は、本発明に係る拍位置推定装置100の特徴的な動作の一例を示すフローチャートである。まず、拍位置推定装置100は、最初の解析区間を設定する(ステップS1)。そして、全ての解析区間について拍位置の検出および検証が終了しているか否かを判定する(ステップS2)。全ての解析区間について拍位置の検出および検証が終了している場合には、拍を統合し(ステップS3)、統合された拍の位置を推定された拍位置として出力し、終了する。一方、全ての解析区間について拍位置の検出および検証が終了していない場合には、設定された解析区間の楽曲データを抽出する(ステップS4)。
(Operation of beat position estimation device)
Next, the operation of the beat position estimating apparatus 100 will be described. FIG. 2 is a flowchart showing an example of a characteristic operation of the beat position estimating apparatus 100 according to the present invention. First, the beat position estimation apparatus 100 sets the first analysis section (step S1). Then, it is determined whether or not beat position detection and verification have been completed for all analysis sections (step S2). When the detection and verification of the beat positions are completed for all the analysis sections, the beats are integrated (step S3), the integrated beat positions are output as the estimated beat positions, and the process ends. On the other hand, if beat position detection and verification have not been completed for all analysis sections, the music data of the set analysis section is extracted (step S4).

そして抽出された解析区間の楽曲データについて拍位置を検出する(ステップS5)。次に検出された拍位置に基づいて解析区間の位置は適当か否かを判定する(ステップS6)。解析区間の位置が適当でないと判定された場合には、判定結果を反映して解析区間を設定する(ステップS7)。解析区間の位置が適当であると判定された場合には検証区間を設定し(ステップS8)、検証区間の楽曲データを抽出し(ステップS9)、その楽曲データについて拍位置を検出する(ステップS10)。   Then, the beat position is detected for the music data of the extracted analysis section (step S5). Next, it is determined whether or not the position of the analysis section is appropriate based on the detected beat position (step S6). If it is determined that the position of the analysis section is not appropriate, the analysis section is set by reflecting the determination result (step S7). If it is determined that the position of the analysis section is appropriate, the verification section is set (step S8), the music data of the verification section is extracted (step S9), and the beat position is detected for the music data (step S10). ).

次に、解析区間において検出された拍位置と検証区間において検出された拍位置とが一致するか否かを判定(検証)する(ステップS11)。拍位置が一致しないと判定された場合には、ステップS7に戻り、検証結果を反映した解析区間を設定する。その際には検証結果に基づいて解析区間の長さおよび位置を設定することができる。拍位置が一致する場合には、一致した拍位置を記録し(ステップS12)、次の解析区間を設定し(ステップS13)、ステップS2に戻る。   Next, it is determined (verified) whether or not the beat position detected in the analysis section matches the beat position detected in the verification section (step S11). If it is determined that the beat positions do not match, the process returns to step S7, and an analysis section reflecting the verification result is set. In this case, the length and position of the analysis section can be set based on the verification result. If the beat positions match, the matched beat position is recorded (step S12), the next analysis section is set (step S13), and the process returns to step S2.

(解析区間の設定および拍位置検出)
図3(a)〜(d)は、それぞれ解析区間の設定、解析区間における拍位置の検出、検証区間の設定、および検証区間における拍位置の検出を示す概略図である。図3(a)に示すように、拍位置推定の対象となる楽曲データに対して、まず解析区間201が設定される。そして、図3(b)に示すように、解析区間201について拍位置P1〜P3が検出される。次に、図3(c)に示すように、検出された拍間隔よりやや広い検証区間301が設定される。そして、図3(d)に示すように、検証区間301について拍位置R1、R2が検出される。拍位置R1、R2のそれぞれの誤差範囲内に、解析区間201について検出された拍位置P1〜P3が入っているかを判定することにより検証処理を行う。たとえば、図3に示す解析区間における第1、第2拍位置P1、P2と検証区間における第1、第2拍位置R1、R2が一致しない場合に不適当と判定される。
(Analysis section setting and beat position detection)
FIGS. 3A to 3D are schematic diagrams illustrating setting of an analysis section, detection of a beat position in the analysis section, setting of a verification section, and detection of a beat position in the verification section, respectively. As shown in FIG. 3A, an analysis section 201 is first set for the music data that is the target of beat position estimation. Then, as shown in FIG. 3B, beat positions P1 to P3 are detected for the analysis section 201. Next, as shown in FIG. 3C, a verification section 301 that is slightly wider than the detected beat interval is set. Then, as shown in FIG. 3D, beat positions R1 and R2 are detected for the verification section 301. Verification processing is performed by determining whether or not the beat positions P1 to P3 detected for the analysis section 201 are within the error ranges of the beat positions R1 and R2. For example, if the first and second beat positions P1 and P2 in the analysis section shown in FIG. 3 do not match the first and second beat positions R1 and R2 in the verification section, it is determined to be inappropriate.

なお、図3に示す例では、最初の解析区間における推定結果の第1から第2拍目を含む区間に対して検証区間を設定しているが、検証区間はこの限りではなく、第3拍目までを含む形や、第2〜第3拍目のみを含む区間、もしくは解析区間のすべてを含む区間を検証区間とすることができる。また、検証区間を複数設定し、各検証区間に対して検証することとしてもよい。   In the example shown in FIG. 3, the verification section is set for the section including the first to second beats of the estimation result in the first analysis section. However, the verification section is not limited to this, and the third beat The form including up to the eyes, the section including only the second to third beats, or the section including all of the analysis sections can be set as the verification section. Also, a plurality of verification intervals may be set and verification may be performed for each verification interval.

(拍位置検出)
図4は、拍位置検出処理を示すフローチャートである。上記のように設定された解析区間の楽曲データを抽出し、入力波形に対して短時間フーリエ変換を適用し、入力波形におけるスペクトログラムを計算する(ステップT1)。スペクトログラムから時系列でのパワー関数を求め(ステップT2)、自己相関関数により拍間隔を算出し(ステップT3)、相互相関関数により拍位置を算出することで拍位置を検出する(ステップT4)。
(Beat position detection)
FIG. 4 is a flowchart showing beat position detection processing. The music data of the analysis section set as described above is extracted, the short-time Fourier transform is applied to the input waveform, and the spectrogram in the input waveform is calculated (step T1). A power function in time series is obtained from the spectrogram (step T2), a beat interval is calculated by an autocorrelation function (step T3), and a beat position is detected by calculating a beat position by a cross correlation function (step T4).

(解析区間の設定)
図5(a)〜(c)は、それぞれ解析区間の設定例を示す概略図である。解析区間設定部102は、解析区間の位置をシフトさせて次の解析区間の開始位置を設定する。たとえば、図5(a)に示すように、直前の解析区間202の終了位置の直後に次の解析区間203の開始位置を設定する。また、図5(b)に示すように、直前の解析区間202の位置と重複して次の解析区間204設定してもよい。また、図5(c)に示すように、直前の解析区間202で検出された拍間隔を飛ばして次の解析区間205設定してもよい。図5(b)に示す解析区間の設定方式では、直前の解析区間202の検出結果を利用し、検出された拍位置の間隔分、解析区間をシフトさせる。なお、シフト量は1拍分(拍間隔)とすることが好ましいがこれに限らない。
(Analysis section setting)
FIGS. 5A to 5C are schematic diagrams illustrating examples of setting analysis sections. The analysis section setting unit 102 sets the start position of the next analysis section by shifting the position of the analysis section. For example, as shown in FIG. 5A, the start position of the next analysis section 203 is set immediately after the end position of the immediately previous analysis section 202. Further, as shown in FIG. 5B, the next analysis section 204 may be set to overlap with the position of the immediately previous analysis section 202. Further, as shown in FIG. 5C, the next analysis interval 205 may be set by skipping the beat interval detected in the immediately previous analysis interval 202. In the analysis section setting method shown in FIG. 5B, the analysis section is shifted by the detected beat position interval using the detection result of the immediately preceding analysis section 202. The shift amount is preferably one beat (beat interval), but is not limited thereto.

(統合および基本拍位置推定)
次に、統合および基本拍位置推定について説明する。図6は、検出した拍位置の統合処理を示す概略図である。たとえば、統合部118は、図5(a)〜(c)に示すいずれかの方法で解析区間をシフトさせ、各時系列上で重複して得られた検出結果を加算する。
(Integration and basic beat position estimation)
Next, integration and basic beat position estimation will be described. FIG. 6 is a schematic diagram showing the integration processing of the detected beat positions. For example, the integration unit 118 shifts the analysis interval by any of the methods shown in FIGS. 5A to 5C and adds detection results obtained in duplicate on each time series.

図6に示すように、Beat_(n)は各解析区間によって検出された拍位置を示すパワー関数である。Integrated_Beatは統合後の推定拍位置となる。Integrated_Beatは、Beat_(n)の時系列上の各拍位置における検出結果N(整数)を累積することで得られる。図6では、統合された拍位置の情報は関数Integrated_Beatとして表されている。また、Integrated_Beatにはハニング窓等の窓関数を掛け合わせることで、スムージング等の処理をした後にピーク検出を行うことで拍位置の推定結果を得ることや、ピーク間隔によってテンポ(BPM)計算を行うことができる。たとえば、図6におけるIntegrated_Beatで最大値の1/2以上である拍のみを抽出し、基本拍位置として推定することができる。   As shown in FIG. 6, Beat_ (n) is a power function indicating the beat position detected by each analysis section. Integrated_Beat is the estimated beat position after integration. Integrated_Beat is obtained by accumulating detection results N (integer) at each beat position on the time series of Beat_ (n). In FIG. 6, the integrated beat position information is represented as a function Integrated_Beat. In addition, by multiplying Integrated_Beat by a window function such as a Hanning window, a peak detection result is obtained after performing smoothing or other processing, and a tempo (BPM) calculation is performed based on the peak interval. be able to. For example, only beats that are 1/2 or more of the maximum value in Integrated_Beat in FIG. 6 can be extracted and estimated as basic beat positions.

なお、拍位置の推定の際には、検出された拍位置をbI(1),bI(2),…,bI(m)としたときに、以下の数式を用いて拍位置を算出することもできる。
In estimating the beat position, when the detected beat positions are bI (1), bI (2),..., BI (m), the beat position is calculated using the following formula. You can also.

以上の拍位置推定の各処理はプログラムをコンピュータに実行させることにより行うことができる。なお、上記の実施形態では検証結果を解析区間に反映させるが、検証結果にかかわらず解析区間を設定することとしてもよい。その場合でも、解析区間の検出拍位置と検証区間の検出拍位置とを比較し検証を行うため、拍位置の精度を高めることは可能である。   Each process of the above beat position estimation can be performed by making a computer run a program. In the above embodiment, the verification result is reflected in the analysis interval. However, the analysis interval may be set regardless of the verification result. Even in that case, since the verification is performed by comparing the detected beat position in the analysis section and the detected beat position in the verification section, it is possible to improve the precision of the beat position.

本発明に係る拍位置推定装置100の構成を示すブロック図である。It is a block diagram which shows the structure of the beat position estimation apparatus 100 which concerns on this invention. 本発明に係る拍位置推定装置100の特徴的な動作を示すフローチャートである。It is a flowchart which shows the characteristic operation | movement of the beat position estimation apparatus 100 which concerns on this invention. (a)解析区間の設定、(b)解析区間における拍位置の検出、(c)検証区間の設定、および(d)検証区間における拍位置の検出を示す概略図である。It is the schematic which shows the setting of (a) analysis section, (b) detection of the beat position in an analysis section, (c) setting of a verification section, and (d) detection of the beat position in a verification section. 拍位置検出処理を示すフローチャートである。It is a flowchart which shows a beat position detection process. (a)〜(c)解析区間の設定例を示す概略図である。(A)-(c) It is the schematic which shows the example of a setting of an analysis area. 検出した拍位置の統合処理を示す概略図である。It is the schematic which shows the integration process of the detected beat position.

符号の説明Explanation of symbols

100 拍位置推定装置
101 初期設定部
102 解析区間設定部
103 検証区間設定部
106 楽曲データベース
107 区間抽出部
110 拍位置検出部
111 位置判定部
113 記録部
114 検証部
118 統合部
119 基本拍位置推定部
120 拍情報記憶部
121 メタ情報生成部
201〜205 解析区間
301 検証区間
P1〜P3、R1、R2 拍位置
100 beat position estimation apparatus 101 initial setting section 102 analysis section setting section 103 verification section setting section 106 music database 107 section extraction section 110 beat position detection section 111 position determination section 113 recording section 114 verification section 118 integration section 119 basic beat position estimation section 120 beat information storage unit 121 meta information generation unit 201-205 analysis section 301 verification section P1-P3, R1, R2 beat position

Claims (12)

楽曲データの拍位置を推定する拍位置推定装置であって、
最初の解析区間を設定する初期設定部と、
前記最初の解析区間に続く解析区間を逐次設定する解析区間設定部と、
前記各解析区間内に検証区間を設定する検証区間設定部と、
前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出部と、
前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証部と、を備え、
前記検証結果に基づき楽曲データ全体にわたり拍位置を推定することを特徴とする拍位置推定装置。
A beat position estimation device for estimating the beat position of music data,
An initial setting section for setting the first analysis section;
An analysis interval setting unit that sequentially sets analysis intervals subsequent to the first analysis interval;
A verification interval setting unit for setting a verification interval in each analysis interval;
A beat position detector for detecting a beat position for the music data of each analysis section or verification section;
A verification unit that verifies whether the beat position detected in each analysis section and the beat position detected in the verification section in each analysis section match,
A beat position estimating apparatus for estimating a beat position over the entire music data based on the verification result.
前記検証区間設定部は、前記各解析区間で検出された拍位置に基づいて、検証区間を設定することを特徴とする請求項1記載の拍位置推定装置。   The beat position estimation device according to claim 1, wherein the verification section setting unit sets a verification section based on the beat positions detected in each analysis section. 前記解析区間設定部は、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴とする請求項1または請求項2記載の拍位置推定装置。   The beat position estimation device according to claim 1 or 2, wherein the analysis section setting unit sequentially sets analysis sections over the entire music data based on the verification result. 前記解析区間についての拍位置の検出結果に基づき、前記解析区間の開始位置が適当か否かを判定する位置判定部を更に備え、
判定の結果、前記解析区間の開始位置が不適当である場合に、前記解析区間設定部は、開始位置をシフトさせた次の解析区間を設定することを特徴とする請求項1から請求項3のいずれかに記載の拍位置推定装置。
Based on the detection result of the beat position for the analysis section, further comprising a position determination unit for determining whether the start position of the analysis section is appropriate,
The analysis section setting unit sets a next analysis section in which the start position is shifted when the start position of the analysis section is inappropriate as a result of the determination. The beat position estimation apparatus according to any one of the above.
前記解析区間設定部は、前記検証の結果、前記拍位置が一致しないときに、前記検証区間で検出された拍位置を基準にして、次の解析区間の長さおよび開始位置を設定することを特徴とする請求項1から請求項4のいずれかに記載の拍位置推定装置。   The analysis interval setting unit sets the length and start position of the next analysis interval based on the beat position detected in the verification interval when the beat positions do not match as a result of the verification. The beat position estimation apparatus according to any one of claims 1 to 4, wherein the beat position estimation apparatus is characterized in that 前記解析区間設定部は、前記検証の結果、前記拍位置が一致しないときに、前記検証区間で検出された拍位置の間隔より標準最低拍間隔以上長い間隔を次の解析区間の長さに設定することを特徴とする請求項5記載の拍位置推定装置。   The analysis interval setting unit sets, as a length of the next analysis interval, an interval longer than the standard minimum beat interval than the interval of the beat positions detected in the verification interval when the beat positions do not match as a result of the verification. The beat position estimating apparatus according to claim 5, wherein 前記解析区間設定部は、直前に設定された解析区間内で検出された最初の拍位置から、前記解析区間または前記検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定することを特徴とする請求項1から請求項6のいずれかに記載の拍位置推定装置。   The analysis section setting unit starts from a position shifted by one beat from the beat interval detected in the analysis section or the verification section from the first beat position detected in the analysis section set immediately before. The beat position estimation apparatus according to any one of claims 1 to 6, wherein a next analysis section is set. 前記解析区間設定部は、直前に設定された解析区間内で検出された最後の拍位置から、前記解析区間または前記検証区間で検出された拍間隔の一拍分シフトさせた位置を開始位置として次の解析区間を設定することを特徴とする請求項1から請求項7のいずれかに記載の拍位置推定装置。   The analysis interval setting unit starts from a position shifted from the last beat position detected in the analysis interval set immediately before by one beat of the beat interval detected in the analysis interval or the verification interval. The beat position estimation apparatus according to any one of claims 1 to 7, wherein a next analysis section is set. 前記解析区間設定部は、前記検証の結果、前記拍位置が一致しない区間に重ならないよう、次の解析区間の開始位置を設定することを特徴とする請求項1から請求項8のいずれかに記載の拍位置推定装置。   The analysis section setting unit sets a start position of the next analysis section so as not to overlap with a section where the beat positions do not match as a result of the verification. The beat position estimating apparatus described. 前記各解析区間で検出された拍位置を楽曲データ全体にわたり統合する統合部を更に備えることを特徴とする請求項1から請求項9のいずれかに記載の拍位置推定装置。   The beat position estimating apparatus according to any one of claims 1 to 9, further comprising an integration unit that integrates beat positions detected in each analysis section over the entire music data. 楽曲データの拍位置を推定する拍位置推定方法であって、
最初の解析区間を設定すると、
前記最初の解析区間に続く解析区間を逐次設定する解析区間設定ステップと、
前記各解析区間内に検証区間を設定する検証区間設定ステップと、
前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出ステップと、
前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証ステップと、を含み、
前記検証区間設定ステップでは、前記各解析区間で検出された拍位置に基づいて、検証区間を設定し、
前記解析区間設定ステップでは、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴とする拍位置推定方法。
A beat position estimation method for estimating the beat position of music data,
If you set the first analysis interval,
An analysis interval setting step for sequentially setting analysis intervals subsequent to the first analysis interval;
A verification interval setting step for setting a verification interval in each analysis interval;
A beat position detecting step of detecting a beat position for the music data of each analysis section or verification section;
Verifying whether the beat positions detected in each analysis section and the beat positions detected in the verification section within each analysis section match,
In the verification interval setting step, based on the beat position detected in each analysis interval, a verification interval is set,
In the analysis section setting step, a beat position estimation method, wherein analysis sections are sequentially set over the entire music data based on the verification result.
楽曲データの拍位置を推定する拍位置推定プログラムであって、
最初の解析区間を設定する初期設定処理と、
前記最初の解析区間に続く解析区間を逐次設定する解析区間設定処理と、
前記各解析区間内に検証区間を設定する検証区間設定処理と、
前記各解析区間または検証区間の楽曲データについて拍位置を検出する拍位置検出処理と、
前記各解析区間で検出された拍位置と前記各解析区間内の検証区間で検出された拍位置とが一致するか否かを検証する検証処理と、をコンピュータに実行させ、
前記検証区間設定処理では、前記各解析区間で検出された拍位置に基づいて、検証区間を設定し、
前記解析区間設定処理では、前記検証結果に基づき楽曲データ全体にわたり解析区間を逐次設定することを特徴とする拍位置推定プログラム。
A beat position estimation program for estimating the beat position of music data,
An initial setting process for setting the first analysis interval;
An analysis interval setting process for sequentially setting analysis intervals subsequent to the first analysis interval;
A verification interval setting process for setting a verification interval in each analysis interval;
A beat position detection process for detecting a beat position for the music data in each analysis section or verification section;
Verifying whether or not the beat position detected in each analysis section and the beat position detected in the verification section within each analysis section match,
In the verification interval setting process, based on the beat position detected in each analysis interval, a verification interval is set,
In the analysis section setting process, a beat position estimation program is characterized in that analysis sections are sequentially set over the entire music data based on the verification result.
JP2008243199A 2008-09-22 2008-09-22 Beat position estimating apparatus, beat position estimating method, and beat position estimating program Expired - Fee Related JP5054646B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008243199A JP5054646B2 (en) 2008-09-22 2008-09-22 Beat position estimating apparatus, beat position estimating method, and beat position estimating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008243199A JP5054646B2 (en) 2008-09-22 2008-09-22 Beat position estimating apparatus, beat position estimating method, and beat position estimating program

Publications (2)

Publication Number Publication Date
JP2010072595A true JP2010072595A (en) 2010-04-02
JP5054646B2 JP5054646B2 (en) 2012-10-24

Family

ID=42204385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008243199A Expired - Fee Related JP5054646B2 (en) 2008-09-22 2008-09-22 Beat position estimating apparatus, beat position estimating method, and beat position estimating program

Country Status (1)

Country Link
JP (1) JP5054646B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508457A (en) * 2020-04-14 2020-08-07 上海影卓信息科技有限公司 Music beat detection method and system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263162A (en) * 2002-03-07 2003-09-19 Yamaha Corp Method and device for estimating tempo of musical data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263162A (en) * 2002-03-07 2003-09-19 Yamaha Corp Method and device for estimating tempo of musical data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508457A (en) * 2020-04-14 2020-08-07 上海影卓信息科技有限公司 Music beat detection method and system

Also Published As

Publication number Publication date
JP5054646B2 (en) 2012-10-24

Similar Documents

Publication Publication Date Title
JP6017687B2 (en) Audio signal analysis
EP2845188B1 (en) Evaluation of downbeats from a musical audio signal
JP4465626B2 (en) Information processing apparatus and method, and program
US9646592B2 (en) Audio signal analysis
US9093056B2 (en) Audio separation system and method
US7812241B2 (en) Methods and systems for identifying similar songs
US8440901B2 (en) Musical score position estimating apparatus, musical score position estimating method, and musical score position estimating program
Clarisse et al. An Auditory Model Based Transcriber of Singing Sequences.
US8494668B2 (en) Sound signal processing apparatus and method
US9378719B2 (en) Technique for analyzing rhythm structure of music audio data
JP5127982B2 (en) Music search device
CN107210029B (en) Method and apparatus for processing a series of signals for polyphonic note recognition
Ryynanen et al. Automatic bass line transcription from streaming polyphonic audio
Cogliati et al. Piano music transcription modeling note temporal evolution
CN104143340B (en) A kind of audio frequency assessment method and device
CN104157296B (en) A kind of audio frequency assessment method and device
JP5924968B2 (en) Score position estimation apparatus and score position estimation method
Thomas et al. Detection of largest possible repeated patterns in indian audio songs using spectral features
JP5054646B2 (en) Beat position estimating apparatus, beat position estimating method, and beat position estimating program
Gurunath Reddy et al. Predominant melody extraction from vocal polyphonic music signal by time-domain adaptive filtering-based method
Shiu et al. Musical structure analysis using similarity matrix and dynamic programming
Tang et al. Melody Extraction from Polyphonic Audio of Western Opera: A Method based on Detection of the Singer's Formant.
JPH0675562A (en) Automatic musical note picking-up device
JP4128848B2 (en) Pitch pitch determination method and apparatus, pitch pitch determination program and recording medium recording the program
JP6252421B2 (en) Transcription device and transcription system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120727

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees