JP2007072023A

JP2007072023A - 情報処理装置及び情報処理方法

Info

Publication number: JP2007072023A
Application number: JP2005257238A
Authority: JP
Inventors: Takashi Hasegawa; 長谷川　　隆
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-09-06
Filing date: 2005-09-06
Publication date: 2007-03-22
Also published as: US20070051230A1; CN1928990A

Abstract

【課題】録画された音楽番組等において、番組中に演奏された音楽と他の音楽コンテンツとの同一性を判定したり、演奏された音楽に関する情報を取得したり、該演奏の音質を向上させたり、該演奏映像を音楽コンテンツに付与する音楽コンテンツ高付加価値化方法を提供する。
【解決手段】２つのコンテンツから音高列特徴情報並びに音量の時間変化規則性特徴情報を抽出し、音楽であるか否かを求め、音楽であると判定された部分に対して、該情報を該部分途中から比較することによりコンテンツ内の音楽の同一性を判定する。また、予め蓄積された複数の音楽コンテンツから構成されるデータベース上のコンテンツとの同一性判定によって、該データベースのどの音楽と同一か判定することによりコンテンツの音楽を同定することによりコンテンツ内の音楽を検索する。
【選択図】図１

Description

本発明は、音響の特徴情報を用いて該音響と類似する音響を検索する情報処理装置及び情報処理方法並びにプログラムに関する。

従来から、与えられた音楽の音高と音量を求め、これらから曖昧度を含む論理式を構成し音楽の検索を行う方法が考案されていた（特許文献１参照）。

また、検索キーとして音楽に人手で付与されたインデックス、または曲頭の特徴量を用い、一の音楽コンテンツに二の音楽コンテンツを置換する方法も考案されていた（特許文献２）。

特開２００１−５２００４号公報特開２００４−１３４０１０号公報

しかし、特許文献１では、検索にあたって音高と音量に基づいているため、音高が検出し難い曲（例えば、ラップ等）の検索の際には精度良く検索することが難しかった。また、検索キーの音楽とデータベースの音楽のテンポが異なる場合（ライブ映像とＣＤ等）、ユーザが指定する曖昧度によって検索精度が変わる上に、ユーザが適切な値を入力しなければならず、使い勝手が十分ではなかった。

また、特許文献２では、検索キーとして音楽に人手で付与されたインデックス、または曲頭の特徴量を用いるため、音楽番組等、曲頭に音声や拍手等が混入している場合には精度の良い検索はできず、使い勝手が十分ではなかった。

本発明は、上記した課題に鑑みてなされたものであり、その目的は、音響検索における使い勝手を向上させることである。

上記課題を解決するために、本発明に係る情報処理装置は、音声データを含むデータが入力する入力部と、前記入力部から入力した音声データから音高列情報と音量の時間変化の規則性情報を含む特徴情報を抽出する抽出手段と、前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報との類似性を判定する判定手段と、を備える構成とした。

また、音声データの類似性を判定する特徴情報である音高列情報は正規化された音量の時間変化の規則性情報により正規化されたものとした。これによりテンポの異なる音声データの類似性判定も精度良く行うことが可能となる。

さらに、抽出した特徴情報に基づき、音声データ中の所定部分が音楽であるか否かを判定する音楽判定手段を備えるものとした。これにより、曲頭に音声や拍手等が混入している場合でも音声データの類似性判定が精度よく行うことが可能となる。

本発明によれば、音響検索における使い勝手を向上させることができる。

以下、本発明の実施例を図示により説明する。

本発明を用いたコンテンツの音楽同一性判定方法の一実施例を、図１を用いて説明する。

まず、特徴抽出処理（１０２、１１２）により、２つの映像コンテンツ中の音響若しくは音響コンテンツ（１０１、１１１）から、音高列と音量時間変化規則性（１０３、１１３）が抽出される。次に、類似度計算処理（１２０）により、抽出された特徴量（１０３、１１３）を比較して、該２コンテンツ（１０１、１１１）の同一性（１２１）が判定される。ここで、音高列とは、ある時刻に発音されている音響のある周波数におけるパワーを列挙したもの、若しくはそれらの値から特定の規則で符号化した符号列のことである。

次に、図１における特徴抽出処理（１０２、１１２）の一実施例を、図２〜４を用いて説明する。
まず、音高列の抽出処理を、図２と図３を用いて説明する。

まず、コンテンツの音響情報（２００）をフィルタバンク（２１０）に入力する。フィルタバンク（２１０）はバンドパスフィルタ（ＢＰＦ；２１１〜２１５）１２８個から構成され、各ＢＰＦは音高０〜１２７の周波数をピークとするフィルタである。音高は８８鍵ピアノの中央Ｃ音を６０（２１４）とした半音階に対応し、例えば、音高０（２１１）は中央Ｃから５オクターブ下のＣ音、音高１（２１２）はＣ＃音、音高１２（２１３）は中央Ｃから４オクターブ下のＣ音、音高１２７（２１５）は中央Ｃから５オクターブ上のＣ音の上のＧ＃音となる。音高Ｎの周波数Ｆ（Ｎ）は、３０１で表される。ＢＰＦを通過した音響は、当該ＢＰＦの音高Ｎに対応する周波数Ｆ（Ｎ）とその周辺の周波数成分のみを持つ音響である。

次に、ＢＰＦを通過した音響を、同じ音階同士足し合わせ、音階毎のパワーを求める（２２０）。例えば音階Ｃのパワーは、各オクターブにおけるＣ音の音高、すなわち０、１２、２４、３６、４８、６０、７２、８４、９６、１０８、１２０のパワーの和となる。ここで、時刻ｔにおける音階ｎのパワーＰ（ｎ、ｔ）は、ＢＰＦ（ｍ）の同時刻におけるパワーｐ（ｍ、ｔ）から、３０２を用いて求めることができる。また、該ＢＰＦのパワーは、同時刻周辺のＢＰＦの出力ｘ（ｔ）〜ｘ（ｔ＋Δｔ）から、３０３を用いて求めることができる。

以上の処理から求められた時刻毎の１２次元ベクトル量であるＰ（ｎ、ｔ）（２３０）が音高列である。

次に、音量時間変化規則性の抽出処理を、図４を用いて説明する。
まず、コンテンツの音響情報（４００）からピーク検出処理（４０１）によりピーク列（４０２）を求める。具体的には、３０３に準拠した方法によりコンテンツ音響のパワーを求め、該パワーの極大値が定められた値を超えた時刻をピークとし、ピーク列の要素とする。

次に、最初のピークと最後のピークの間の時間を求め（４０３）、該時間を等間隔に２〜ピーク数分割し（４０４）以下の処理を行う。Ｎ個に等分割した場合の推定ピーク位置（４０８）それぞれに対して（４０７）、該推定ピーク位置近傍に実際のピークが存在する数を求める（４０９）。分割数の中で実際のピークが推定ピーク位置に最も多く存在する分割数を求め（４０５）、該分割数に等分割した位置近傍に存在するピークのみから構成される集合を音量時間変化規則性Ｔとする（４０６）。

次に、図１における類似度計算処理（１２０）を、図５と図６を用いて説明する。

まず、２コンテンツの音量時間変化規則性の類似度を計算する（５０１）。次に、音量時間変化規則性を用いて各コンテンツの音高列を正規化する（５０２）。次に、正規化された音高列の類似度を計算し（５０３）、音量時間変化規則性類似度と正規化音高列類似度から同一性を計算する（５０４）。

音量時間変化規則性類似度は６０１で表される。ここで、ｔの右下に記載の付番はコンテンツ１若しくは２を表し、ａ並びにｂは０〜Ｍの間の定数であり、コンテンツの中間部分の音量時間変化規則性のみを用いることを表す。これは、音楽番組やライブ等の音響情報の場合、コンテンツの開始ならびに終了付近は拍手やアナウンス等の音響が重ねられているため、類似度計算を行う際に精度を落とす要因となるためである。

次に、正規化音高列は６０２のように変換される。これは、音量時間変化規則性の各ピークの間の時間を１に正規化した音高列である。これにより、比較対象のコンテンツの間でテンポの差異があっても同一性判定が可能となる。更に、正規化音高列類似度は６０３に示す式で求められる。記号の意味は６０１に準ずる。同一性Ｓは前記２つの類似度の線形結合で求められる（６０４）。

次に、同一性を判定する一方のコンテンツが音楽番組やライブ等であり、音楽と音楽以外の部分が混在する場合、特徴抽出（図１の１０２）の際に非音楽部分を検出し、音楽部分のみに関して同一性判定を行う。そこで、非音楽部分を含むコンテンツとの同一性判定方法を、図７と図８を用いて説明する。

図７は非音楽部分の判定条件であり、左項（７０１）が音高列に関する判定条件、右項（７０２）が音量時間変化規則性に関する判定条件である。前記２つの判定がいずれも真であった場合に、時刻ｔは非音楽部分と判定する。ここで、左項（７０１）は各音階のパワーとパワーの平均値との差が全て一定値未満であることを表し、その場合に音響に音程が無いことになり、非音楽候補となる。また、右項（７０２）は推定ピーク位置数に対して実際に存在するピーク数が一定値より少ないことを表し、その場合にはリズム感が無いことになり、非音楽候補となる。図７の条件は、音程感もリズム感も無い音響は非音楽であることを表す。

例えば図８において、コンテンツ１（８００）とコンテンツ２（８１０）の同一性を判定する場合、図７の条件によってコンテンツ１（８００）の非音楽部分が８０１、８０３、８０５と判定された場合、同一性判定は８０２と８１０、及び８０４と８１０それぞれで行われる。
次に、上記音楽同一性判定方法を用いた音楽検索システム並びにその方法を、図９と図１０を用いて説明する。

該システムは、検索を実行するためのプロセッサ（９０１）、検索されるコンテンツを入力するための装置（９０２）、検索結果を表示したりユーザインターフェイスを実現する装置（９０３）、プログラムを記憶若しくは途中結果を一時保存するためのメモリ（９１０）、音楽データベース（９２０）から構成される。ここで、コンテンツ入力装置（９０２）としては、ハードディスクやＤＶＤ等の蓄積デバイスや、ネットワーク上に蓄積されたコンテンツを入力するためのネットワーク接続装置、映像や音響を直接入力するためのカメラやマイク等が考えられる。また、メモリ（９１０）には音楽関連情報検索プログラム（９１１）並びに音楽同一性判定プログラム（９１２）が記憶されている。また、音楽データベースには複数の音楽（９２１）並びに該音楽の題名、演奏者、作曲者等の関連情報（９２２）が蓄積されている。

音楽検索を行う場合、まず、メモリ（９１０）より音楽関連情報検索プログラム（９１１）が起動され、プロセッサ（９０１）によって以下の処理が実行される。
コンテンツ入力装置（９０２）からコンテンツが入力される（１０００）。次に、音楽同一性判定プログラム（９１２）を用いて、該コンテンツと音楽データベース（９２０）上の音楽（９２１）それぞれに関して（１００１）、同一性が判定される（１００２）。音楽ｉが同一と判定された場合（１００３）、関連情報（９２２）からｉに対応する値を検索結果表示装置（９０３）に出力する（１００４）。

ここで、１００４において、検索結果として関連情報の代わりに音楽ｉ自身を出力する場合も考えられる。これは、例えば音楽番組内で演奏された音楽と同じ楽曲をＣＤ音質で視聴する場合が考えられる。この場合、関連情報（９２２）は必要ない。

また、関連情報検索の場合には、音楽データベース（９２０）上の音楽（９２１）から予め特徴情報を抽出しておき、該データベースに蓄積しておくことも考えられる。この場合、音楽データベースは図１１の１１００に示すように、音楽から抽出された特徴（１１０１）と関連情報（１１０２）から構成される。一方、検索結果として音楽自身を出力する場合でも同様に予め特徴情報を抽出しておくことが考えられるが、この場合には、データベースは１１１０に示すように特徴（１１１１）と音楽（１１１２）から構成されることになる。
この場合の同一性判定処理を、図１２を用いて説明する。

まず、特徴抽出処理（１２０２）により、検索されるコンテンツ（１２０１）から、特徴量（１２０３）が抽出される。次に、類似度計算処理（１２２０）により、抽出された特徴量（１２０３）と予めデータベース（１１００若しくは１１１０）に蓄積された特徴量（１２１０）を比較して、データベース内の音楽との同一性（１２２１）が判定される。

次に、上記音楽検索方法を用いた音楽情報高付加価値化システム並びにその方法を、図１３〜１５を用いて説明する。

該システムは、検索を実行するためのプロセッサ（１３０１）、映像コンテンツを入力するための装置（１３０２）、変換結果を出力する装置（１３０３）、プログラムを記憶若しくは途中結果を一時保存するためのメモリ（１３１０）、音楽データベース（１３２０）から構成される。また、メモリ（１３１０）には、音楽情報高付加価値化プログラム（１３１１）、音楽検索プログラム（１３１２）、及び音楽同一性判定プログラム（１３１３）が記憶されている。また、音楽データベースには複数の音楽（１３２２）並びに該音楽から抽出された特徴（１３２１）が蓄積されている。

音楽情報高付加価値化を行う場合、まず、コンテンツ入力装置（１３０２）から入力された映像コンテンツから、音楽データベース（１３２０）に蓄積された音楽（１３２２）を、音楽検索プログラム（１３１２）を用いて検索する（１４００）。音楽検索の方法は図９並びに図１０を用いて説明した音楽関連情報検索の方法で、検索結果として関連情報の代わりに音楽ｉ自身を出力する場合と同等の方法を用いる。次に、入力された映像の音量時間変化規則性と音楽ｉの該特徴量を用いて音量時間変化規則性補正を行う（１４０１）。次に、該補正量に従い、入力された映像の伸縮を行う。次に、映像コンテンツにデータベース中の音響を付与する場合、該映像の該当音楽部分の音響情報を該データベース中の音響と置換する（１４０３）。これにより、例えば音楽番組の演奏部分の音響を、データベース中のＣＤ音質の音楽または、データベース中の音響に映像を付加する場合、該映像の該当音楽部分の動画像情報を、該データベース中の音響に付加する（１４０４）。

ここで、音量時間変化規則性補正量Ａは１５０１で表される。これは、音量時間変化規則性のｋ番目のピークとｋ＋１番目のピークの間が、音楽音響と合わせるためにはα（ｋ）だけ映像を伸縮する必要があることを表す。

なお、映像に付与する、または映像が付加される音楽コンテンツは、本実施例のように音楽データベースに予め蓄積されている場合のほか、ＣＤ等の記録媒体から入力される場合、インターネット上のアーカイブに蓄積されている場合も考えられる。

次に、以上で述べた発明を適用したテレビ若しくはハードディスク／ＤＶＤレコーダの構成と動作例を，図１６を用いて説明する。

該装置は，少なくとも，チューナ（１６０１）（テレビの場合）若しくはハードディスク／ＤＶＤ等のコンテンツＤＢ（１６０２）（ハードディスク／ＤＶＤレコーダの場合），及び映像は音量時間変化抽出装置（１６０３），音高列抽出装置（１６０４），音量時間変化規則性類似度計算装置（１６０５），音高列正規化装置（１６０６），正規化音高列類似度計算装置（１６０７），特徴同一性判定装置（１６０８），音楽データベース（１６００）から構成される。また，音楽情報高付加価値化機能を有する場合，音量時間変化規則性補正装置（１６０９）も含む。

チューナ（１６０１）若しくはコンテンツＤＢ（１６０２）より入力された映像及び音声を含むデータから，音量時間変化抽出装置（１６０３）並びに音高列抽出装置（１６０４）により特徴量が抽出される。次に，音量時間変化抽出装置（１６０３）から抽出された音量時間変化規則性特徴量と音楽データベース（１６００）に蓄積された同特徴量から，音量時間変化規則性類似度計算装置（１６０５）により音量時間変化規則性類似度が計算される。また，音高列抽出装置（１６０４）から抽出された音高列特徴量は，音量時間変化規則性特徴量を用いて音高列正規化装置（１６０６）により正規化音高列特徴量に変換される。次に，正規化音高列特徴量と音楽データベース（１６００）に蓄積された同特徴量から，正規化音高列類似度計算装置（１６０７）により正規化音高列類似度が計算される。次に，音量時間変化規則性類似度と正規化音高列類似度から，特徴同一性判定装置（１６０８）により，入力された映像と音楽データベース（１６００）に蓄積された特徴に対応する音楽との同一性が判定される。更に，入力された映像に音楽データベース（１６００）に蓄積された音響を付与する，または音楽データベース（１６００）に蓄積された音響に入力された映像を付与する場合，音量時間変化抽出装置（１６０３）から抽出された音量時間変化規則性特徴量を用いて音量時間変化規則性補正装置（１６０９）により入力された映像を補正する。

次に，音楽データベースに蓄積される特徴を生成するための特徴生成装置の例を図１７に示す。

音楽データベース（１７００）に蓄積された音楽等のコンテンツ（１７１１）から，音高列抽出装置（１７０１）並びに音量時間変化抽出装置（１７０２）により特徴量が抽出される。次に，音高列抽出装置（１６０４）から抽出された音高列特徴量は，音量時間変化抽出装置（１７０２）から抽出された音量時間変化規則性特徴量を用いて音高列正規化装置（１７０３）により正規化音高列特徴量に変換される。音量時間変化抽出装置（１７０２）から抽出された音量時間変化規則性特徴量と音高列正規化装置（１７０３）から出力される正規化音高列特徴量が音楽データベース（１７００）内のコンテンツ（１７１１）に対応する特徴（１７１２）として蓄積される。

音楽同一性判定方法の例。音高列特徴量抽出処理の例。音高の周波数、音階のパワー、音響のパワーの計算式の例。音量時間変化規則性抽出処理の例。類似度計算処理の例。音量時間変化規則性類似度、正規化音高列、音高列類似度、類似度の計算式の例。非音楽部分判定条件の例。非音楽部分を含むコンテンツと音楽コンテンツの例の模式図。音楽関連情報検索システムの例。音楽関連情報検索の例。図９における別の音楽データベース例。音楽同一性判定方法の別の例。音楽情報高付加価値化システムの例。音楽情報高付加価値化方法の例。音量時間変化規則性補正量の例。本発明を適用したテレビ若しくはハードディスク／ＤＶＤレコーダの例。音楽データベース向け特徴生成装置の例。

符号の説明

１０１、１１１、２００、４００、８００、８１０、１２０１…コンテンツ
１０３、１１３、１１０１、１１１１、１２０３、１２１０、１３２１…特徴量
２１０…フィルタバンク
２１１〜２１５…バンドパスフィルタ
２３０、３０２…音高列
３０１…音高に対応する周波数
３０３…音響のパワー
４０２…ピーク列
４０８…推定ピーク位置
４０６…音量時間変化規則性
６０１…音量時間変化規則性類似度
６０２…正規化音高列
６０３…正規化音高列類似度
６０４…同一性
７０１、７０２…非音楽部分判定条件
８０１、８０３、８０５…コンテンツの非音楽部分
８０２、８０４…コンテンツの音楽部分
９２０、１１００、１１１０、１３２０，１６００，１７００…音楽データベース
９２１、１１１２、１３２２…音楽
９２２、１１０２…音楽関連情報
１５０１…音量時間変化規則性補正量

Claims

音声データを含むデータが入力される入力部と、
前記入力部から入力した音声データから音高列情報と音量の時間変化の規則性情報を含む特徴情報を抽出する抽出手段と、
前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報との類似性を判定する判定手段と、を備えてなることを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記音量の時間変化の規則性情報に基づいて前記音高列情報を正規化する音高列正規化手段を備え、
前記判定手段は、音量の時間変化の規則性情報と前記音列正規化手段により正規化された正規化音高列情報を含む特徴情報と、所定の音声データの特徴情報と、の類似性を判定することを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記抽出手段は、前記音声データ中の所定部分の前記特徴情報を抽出し、
前記抽出手段により抽出した特徴情報に基づき前記所定部分は音楽であるか否かを判定する音楽判定手段を、備え
前記音楽判定手段が音楽であると判定した前記所定部分について前記判定手段が類似性を判定することを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記判定手段により判定された類似性に関する情報を出力する出力手段を備えていることを特徴とする情報処理装置。
請求項１または請求項４にいずれかに記載の情報処理装置において
データが蓄積される蓄積手段を備え、
前記所定の音声データの特徴情報は前記蓄積手段に蓄積されていることを特徴とする情報処理装置。
請求項７に記載の情報処理装置において、
前記蓄積手段には、複数の音声データが蓄積されていて、
前記判定手段が前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報とが類似していると判定した場合、前記入力手段により入力された音声データと前記蓄積手段に蓄積された音声データを置換して出力するように制御する制御手段を備えていることを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記蓄積手段には、複数の音声データに関する情報が蓄積されていて、
前記判定手段が前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報とが類似していると判定した場合、前記制御手段は前記蓄積手段に蓄積されている該音声データに関する情報が前記出力手段により出力されるように制御する制御手段を備えていることを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記蓄積手段には、複数の映像データが蓄積されていて、
前記判定手段が前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報とが類似していると判定した場合、前記制御手段は前記蓄積手段に蓄積されている複数の映像データから前記音声データに対応した映像データを前記入力手段により入力した音声データに付与するように制御する制御手段を備えていることを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記蓄積手段には、複数の音声データに関する情報が蓄積されていて、
前記判定手段が前記抽出手段により抽出した特徴情報と所定の音声データの特徴情報とが類似していると判定した場合、前記制御手段は前記蓄積手段に蓄積されている音声データに関する情報を前記入力手段により入力した音声データに付与するように制御する制御手段を備えていることを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記入力手段により入力された映像データ並びに/若しくは音声データ，及び/または前記蓄積手段に蓄積された映像データ並びに/若しくは音声データを伸縮する伸縮手段を備えていることを特徴とする情報処理装置。
請求項８に記載の情報処理装置において、
前記蓄積手段に蓄積されている映像データ及び/または前記入力手段により入力した音声データを伸縮する伸縮手段を備えてなることを特徴とする情報処理装置。
請求項５〜８のいずれかに記載の情報処理装置において、
前記蓄積手段に蓄積されるデータは、前記入力手段より入力されることを特徴とする情報処理装置。
音声データを含むコンテンツデータが入力される入力部と、
前記コンテンツデータに含まれる音声データから音高列情報と音量の時間変化の規則性情報を含む特徴情報を抽出する抽出手段と、
データを蓄積する蓄積手段と、を備え、
前記蓄積手段は前記抽出手段により抽出した特徴情報を前記入力部に入力された各コンテンツデータに対応させて蓄積することを特徴とする情報処理装置。
請求項１３に記載の情報処理装置において、
前記音量の時間変化の規則性情報に基づいて前記音高列情報を正規化する音高列正規化手段を備え、
前記蓄積手段には、音量の時間変化の規則性情報と前記音列正規化手段により正規化された正規化音高列情報を含む特徴情報が蓄積されることを特徴とする情報処理装置。
請求項１３に記載の情報処理装置において、
前記入力部に入力されたコンテンツデータは前記蓄積手段に蓄積された後に、前記抽出手段により特徴情報を抽出されることを特徴とする情報処理装置。
音声データを含むデータを入力する入力ステップと、
前記入力ステップにて入力した音声データから音高列情報と音量の時間変化の規則性情報を含む特徴情報を抽出する抽出ステップと、
前記抽出ステップにより抽出した特徴情報と所定の音声データの特徴情報との類似性を判定する判定ステップからなる情報処理方法。