JP5454317B2 - 音響解析装置 - Google Patents
音響解析装置 Download PDFInfo
- Publication number
- JP5454317B2 JP5454317B2 JP2010088354A JP2010088354A JP5454317B2 JP 5454317 B2 JP5454317 B2 JP 5454317B2 JP 2010088354 A JP2010088354 A JP 2010088354A JP 2010088354 A JP2010088354 A JP 2010088354A JP 5454317 B2 JP5454317 B2 JP 5454317B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- component
- feature
- acoustic signal
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
- G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Description
以上の形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
単位帯域σF[m]毎の成分値a[m,n]の算定の方法は、単位帯域σF[m]内の複数の成分値xの平均(相加平均)に限定されない。例えば、単位帯域σF[m]内の複数の成分値xの加重和や加算値や中央値を成分値xとして算定する構成や、各成分値xを成分行列Aの成分値a[m,n]としてそのまま採択する構成も採用され得る。また、単位帯域σF[m]の帯域幅は、1オクターブに限定されず任意に選定される。例えば、各単位帯域σF[m]を1オクターブの整数倍や1オクターブの整数分の1の帯域幅に設定した構成が採用され得る。
以上の形態では、加重値系列Wを利用して初期差分行列Ckを差分行列Dkに補正したが、加重値系列Wを利用した補正は省略され得る。例えば、図4の差分算定部44が算定した初期差分行列Ckを差分行列Dkとして特徴量抽出部36が音色特徴量Fを生成する構成(したがって加重値生成部46や補正部48は省略される)が採用される。
以上の形態では、各差分行列Dkから生成されたK個の特徴値系列E1〜EKと成分行列Aに応じた特徴値系列EK+1とを含む音色特徴量Fを生成したが、特徴値系列EK+1は音色特徴量Fから省略され得る。
以上の形態では、成分行列Aの前縁側の各成分値a[m,n]を後縁側に移行して移相行列Bkを生成したが、移相行列生成部42が移相行列Bkを生成する方法は適宜に変更され得る。例えば、成分行列Aのうち前縁側の移相量kΔにわたる各列を破棄して移相行列Bk(縦m行×横(N−kΔ)列)を生成する構成も採用され得る。差分算定部44は、成分行列Aと移相行列Bkとの重複部分のみについて成分値a[m,n]と成分値bk[m,n]との差分値ck[m,n]を算定することで縦m行×横(N−kΔ)列の初期差分行列Ckを生成する。また、以上の例示では成分行列Aの各成分値a[m,n]を時間軸の手前側に移相したが、各成分値a[m,n]を時間軸の後方側(時間の経過側)に移相量kΔだけ移相して移相行列Bkを生成する構成も採用され得る。
以上の形態では、成分取得部32の周波数分析部322が音響信号XからスペクトルPXを生成するとともに行列生成部324がスペクトルPXの時系列から成分行列Aを生成したが、成分取得部32が成分行列Aを取得する方法は任意である。例えば、音響信号Xの成分行列Aが記憶装置14に事前に格納され(したがって音響信号Xの記憶は省略され得る)、成分取得部32が記憶装置14から成分行列Aを取得する構成が採用される。また、音響信号Xの各スペクトルPXの時系列が記憶装置14に事前に格納され(したがって音響信号Xの記憶や周波数分析部322は省略され得る)、成分取得部32(行列生成部324)が記憶装置14の各スペクトルPXから成分行列Aを生成する構成も採用される。すなわち、成分取得部32は、成分行列Aを取得する要素として包括される。
以上の形態では、信号解析部22および特徴比較部26の双方を具備する音響解析装置100を例示したが、信号解析部22および特徴比較部26の片方のみを具備する音響解析装置としても本発明は実現され得る。すなわち、音響信号Xの音色の解析(音色特徴量Fの抽出)に利用される音響解析装置(以下「特徴抽出装置」という)は、信号解析部22を具備するとともに特徴比較部26を省略した構成である。他方、音響信号X1と音響信号X2との音色の比較(類否指標値Qの算定)に利用される音響解析装置(以下「特徴比較装置」という)は、特徴比較部26を具備するとともに信号解析部22を省略した構成である。特徴抽出装置の信号解析部22が生成した音色特徴量F(F1,F2)は、例えば通信網や可搬型の記録媒体を介して、特徴比較装置に提供されて記憶装置14に格納される。特徴比較装置の特徴比較部26は、記憶装置14に記憶された音色特徴量F1および音色特徴量F2の比較で類否指標値Qを算定する。
Claims (4)
- 音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列を取得する成分取得手段と、
前記成分行列と当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列を、前記成分行列に対する移相量を相違させた複数の移相行列の各々について生成する差分生成手段と、
前記差分行列のうち時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を前記差分行列毎に含む音色特徴量を生成する特徴量抽出手段と
を具備する音響解析装置。 - 前記差分生成手段は、
前記成分行列のうち周波数軸方向に配列する複数の成分値に応じた加重値を単位期間毎に配列した加重値系列を生成する加重値生成手段と、
前記成分行列と前記移相行列との各成分値の差分値で構成される初期差分行列を生成する差分算定手段と、
前記初期差分行列に前記加重値系列を作用させて前記差分行列を生成する補正手段と
を含む請求項1の音響解析装置。 - 前記特徴量抽出手段は、前記成分行列のうち時間軸方向に配列する複数の成分値に応じた特徴値を単位帯域毎に配列した特徴値系列を含む前記音色特徴量を生成する
請求項1または請求項2の音響解析装置。 - 音響信号を時間軸上で区分した各単位期間における単位帯域毎の成分値を時間軸方向および周波数軸方向に配列した成分行列と、当該成分行列を時間軸方向に移相した移相行列との各成分値の差異に応じた要素値で構成される差分行列のうち、時間軸方向に配列する複数の要素値に応じた特徴値を単位帯域毎に配列した特徴値系列を、前記成分行列に対する移相量を相違させた複数の移相行列の各々について含む音色特徴量を、第1音響信号および第2音響信号の各々について記憶する記憶手段と、
前記第1音響信号と前記第2音響信号との前記音色特徴量を比較することで、前記第1音響信号と前記第2音響信号との音色の類否を示す類否指標値を算定する特徴比較手段と
を具備する音響解析装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010088354A JP5454317B2 (ja) | 2010-04-07 | 2010-04-07 | 音響解析装置 |
US13/081,408 US8853516B2 (en) | 2010-04-07 | 2011-04-06 | Audio analysis apparatus |
EP11161259.4A EP2375406B1 (en) | 2010-04-07 | 2011-04-06 | Audio analysis apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010088354A JP5454317B2 (ja) | 2010-04-07 | 2010-04-07 | 音響解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011221157A JP2011221157A (ja) | 2011-11-04 |
JP5454317B2 true JP5454317B2 (ja) | 2014-03-26 |
Family
ID=44303303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010088354A Expired - Fee Related JP5454317B2 (ja) | 2010-04-07 | 2010-04-07 | 音響解析装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8853516B2 (ja) |
EP (1) | EP2375406B1 (ja) |
JP (1) | JP5454317B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102422531B (zh) * | 2009-06-29 | 2014-09-03 | 三菱电机株式会社 | 音频信号处理装置 |
JP5454317B2 (ja) * | 2010-04-07 | 2014-03-26 | ヤマハ株式会社 | 音響解析装置 |
JP5477357B2 (ja) * | 2010-11-09 | 2014-04-23 | 株式会社デンソー | 音場可視化システム |
US9313593B2 (en) * | 2010-12-30 | 2016-04-12 | Dolby Laboratories Licensing Corporation | Ranking representative segments in media data |
JP5582123B2 (ja) | 2011-10-05 | 2014-09-03 | 三菱電機株式会社 | 半導体装置 |
JP5935503B2 (ja) * | 2012-05-18 | 2016-06-15 | ヤマハ株式会社 | 楽曲解析装置および楽曲解析方法 |
US8927846B2 (en) * | 2013-03-15 | 2015-01-06 | Exomens | System and method for analysis and creation of music |
US10133537B2 (en) * | 2014-09-25 | 2018-11-20 | Honeywell International Inc. | Method of integrating a home entertainment system with life style systems which include searching and playing music using voice commands based upon humming or singing |
US9705857B1 (en) * | 2014-10-10 | 2017-07-11 | Sprint Spectrum L.P. | Securely outputting a security key stored in a UE |
US9681230B2 (en) | 2014-10-17 | 2017-06-13 | Yamaha Corporation | Acoustic system, output device, and acoustic system control method |
KR102697424B1 (ko) | 2016-11-07 | 2024-08-21 | 삼성전자주식회사 | 대표 파형 제공 장치 및 방법 |
US10504504B1 (en) * | 2018-12-07 | 2019-12-10 | Vocalid, Inc. | Image-based approaches to classifying audio data |
US11170043B2 (en) * | 2019-04-08 | 2021-11-09 | Deluxe One Llc | Method for providing visualization of progress during media search |
CN111292763B (zh) * | 2020-05-11 | 2020-08-18 | 新东方教育科技集团有限公司 | 重音检测方法及装置、非瞬时性存储介质 |
CN112885374A (zh) * | 2021-01-27 | 2021-06-01 | 吴怡然 | 一种基于频谱分析的声音音准判断方法及系统 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6430533B1 (en) * | 1996-05-03 | 2002-08-06 | Lsi Logic Corporation | Audio decoder core MPEG-1/MPEG-2/AC-3 functional algorithm partitioning and implementation |
DE60041118D1 (de) | 2000-04-06 | 2009-01-29 | Sony France Sa | Extraktor von Rythmuseigenschaften |
US20030205124A1 (en) | 2002-05-01 | 2003-11-06 | Foote Jonathan T. | Method and system for retrieving and sequencing music by rhythmic similarity |
AU2003275618A1 (en) | 2002-10-24 | 2004-05-13 | Japan Science And Technology Agency | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
US6873596B2 (en) * | 2003-05-13 | 2005-03-29 | Nokia Corporation | Fourier-transform based linear equalization for CDMA downlink |
KR100530377B1 (ko) * | 2003-12-30 | 2005-11-22 | 삼성전자주식회사 | 엠펙 오디오 디코더의 합성필터 및 그 디코딩 방법 |
JP4483561B2 (ja) * | 2004-12-10 | 2010-06-16 | 日本ビクター株式会社 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
US7812241B2 (en) * | 2006-09-27 | 2010-10-12 | The Trustees Of Columbia University In The City Of New York | Methods and systems for identifying similar songs |
US7659471B2 (en) * | 2007-03-28 | 2010-02-09 | Nokia Corporation | System and method for music data repetition functionality |
US20080300702A1 (en) * | 2007-05-29 | 2008-12-04 | Universitat Pompeu Fabra | Music similarity systems and methods using descriptors |
US8208643B2 (en) * | 2007-06-29 | 2012-06-26 | Tong Zhang | Generating music thumbnails and identifying related song structure |
JP4973537B2 (ja) * | 2008-02-19 | 2012-07-11 | ヤマハ株式会社 | 音響処理装置およびプログラム |
JP2010054802A (ja) * | 2008-08-28 | 2010-03-11 | Univ Of Tokyo | 音楽音響信号からの単位リズムパターン抽出法、該方法を用いた楽曲構造の推定法、及び、音楽音響信号中の打楽器パターンの置換法 |
US20120237041A1 (en) * | 2009-07-24 | 2012-09-20 | Johannes Kepler Universität Linz | Method And An Apparatus For Deriving Information From An Audio Track And Determining Similarity Between Audio Tracks |
US8542945B1 (en) * | 2009-11-15 | 2013-09-24 | Lester F. Ludwig | Correction of mis-focus in recorded images using centered discrete fractional fourier transformations with high-accuracy orthonormal eigenvectors |
JP5454317B2 (ja) * | 2010-04-07 | 2014-03-26 | ヤマハ株式会社 | 音響解析装置 |
US9313593B2 (en) * | 2010-12-30 | 2016-04-12 | Dolby Laboratories Licensing Corporation | Ranking representative segments in media data |
-
2010
- 2010-04-07 JP JP2010088354A patent/JP5454317B2/ja not_active Expired - Fee Related
-
2011
- 2011-04-06 US US13/081,408 patent/US8853516B2/en not_active Expired - Fee Related
- 2011-04-06 EP EP11161259.4A patent/EP2375406B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
EP2375406B1 (en) | 2014-07-16 |
JP2011221157A (ja) | 2011-11-04 |
US8853516B2 (en) | 2014-10-07 |
US20110268284A1 (en) | 2011-11-03 |
EP2375406A1 (en) | 2011-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5454317B2 (ja) | 音響解析装置 | |
JP5560861B2 (ja) | 楽曲解析装置 | |
JP6019858B2 (ja) | 楽曲解析装置および楽曲解析方法 | |
JP5088030B2 (ja) | 演奏音の類似度を評価する方法、装置およびプログラム | |
US9257111B2 (en) | Music analysis apparatus | |
US7411125B2 (en) | Chord estimation apparatus and method | |
JP6197569B2 (ja) | 音響解析装置 | |
CN107210029A (zh) | 用于处理一连串信号以进行复调音符辨识的方法和装置 | |
JP4815436B2 (ja) | 可変分解能により情報信号をスペクトル表現に変換する装置および方法 | |
JP2013164584A (ja) | 音響処理装置 | |
JP6281211B2 (ja) | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム | |
JP7120468B2 (ja) | 音響解析方法、音響解析装置およびプログラム | |
CN110959172B (zh) | 演奏解析方法、演奏解析装置以及存储介质 | |
JP2012027196A (ja) | 信号分析装置、方法、及びプログラム | |
JP2015200685A (ja) | アタック位置検出プログラムおよびアタック位置検出装置 | |
JP2014134688A (ja) | 音響解析装置 | |
JP7318253B2 (ja) | 楽曲解析方法、楽曲解析装置およびプログラム | |
JP5879813B2 (ja) | 複数音源の識別装置および複数音源に連動する情報処理装置 | |
CN108780634B (zh) | 声音信号处理方法及声音信号处理装置 | |
Hjerrild et al. | Physical models for fast estimation of guitar string, fret and plucking position | |
Trail et al. | Direct and surrogate sensing for the Gyil african xylophone. | |
JP2017058596A (ja) | 自動アレンジ装置及びプログラム | |
Fan et al. | The realization of multifunctional guitar effectors&synthesizer based on ADSP-BF533 | |
EP2043089B1 (en) | Method and device for humanizing music sequences | |
EP3929913A1 (en) | Sound signal synthesis method, generative model training method, sound signal synthesis system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5454317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |