JP4398242B2 - 録音の多段階識別方法 - Google Patents

Description

本発明はコンテンツから録音／録画を識別すること、特に音紋識別と録音／録画に関するその他の情報を組み合わせて、始めは最も廉価な識別方式を用いながら必要に応じてより複雑な方式を重ねていくことにより識別の信頼性を向上させて信頼性の高い識別を効率的に実現させることを指向する。

音声（およびビデオ）録音／録画の識別には各種の用途がある。多くの用途は、録音／録画された作品の再生および演奏に対する補償や権利保有者による統制に関する。２０世紀末から２１世紀の初めにかけて開発されたナップスター等のファイル共有ソフトウェアやその他同様のサービスにより、この種のシステムを利用することの重要性が増した。正確な識別を行うことに対するニーズは数年来高かったが、どのシステムもこのニーズに応えることができなかった。

録音／録画識別の別の用途は、録音を聞く（または録画を見る）際に、ユーザーに対し付加価値を提供することである。一例がカリフォルニア州バークレーのグレースノート社（Ｇｒａｃｅｎｏｔｅ，Ｉｎｃ．Ｂｅｒｋｅｌｅｙ，Ｃａｌｉｆｏｒｎｉａ）から提供されているＣＤＤＢ楽曲識別サービスであり、コンパクトディスク（ＣＤ）を識別して、識別されたＣＤに関する情報、例えばアルバム名、アーティスト、トラック名、およびインターネット上の関連コンテンツ（アルバムカバー、アーティストおよびファンのウェブサイト等）へのアクセスを提供する。ＣＤＤＢサービスはコンパクトディスクを識別することに関しては有効であるものの、ＣＤやＤＶＤ等のリムーバブルディスクに保存されていないファイルの識別に用いる場合にはいくつかの短所がある。

全ての音声音紋技術には「盲点」、すなわちその技術を用いるシステムが音声の類似や相違を誤って識別する箇所がある。ただ一つの音紋技術に依存している限り、盲点に遭遇した際にその技術により得られる解が不正確なものとなる。

グレースノート社製ＣＤＤＢシステムは、さらに音声ファイルをＭＰ３その他のフォーマットへデジタル的に符号化するアプリケーションに使用されることで有名である。これらの符号化アプリケーションはグレースノート社のＣＤＤＢサービスを利用して、符号化の対象とされたコンパクトディスクを識別し、タイトルおよびＩＤタグに正しいメタデータを書き込む。グレースノート社のＣＤＤＢサービスは、各トラックに対して一意なＩＤ（ＴＵＩＤ）を返し、この種のＩＤをＭＰ３ファイル用のＩＤ３Ｖ２タグに挿入する。ＴＵＩＤはハッシュ化済みかつ権利保護されており、グレースノート社製システムでのみ読み込み可能である。しかしＩＤ３Ｖ２タグは簡単に編集することができ、あるファイルのＴＵＩＤを別のファイルのＩＤ３Ｖ２タグに保存することが可能である。従って、ＴＵＩＤ単独ではファイルの音声コンテンツに対して信頼性の高い識別子とはいえない。

グレースノート社製ＣＤＤＢシステムはまた、クライアント装置により抽出されたテキストをトラック、アーティスト、およびアルバム名が格納されたメタデータ・データベースに対し一致検索することにより、ファイル名、ファイル・パス、ＩＤタグ（タイトル）等からデジタル音声ファイルを識別するのに利用されるテキスト・マッチング機能も提供する。このテキスト・マッチングは識別力を向上させるため各録音に対してユーザが入力した内容も関連付けて利用するが、録音がコンパクト・ディスクから切り離されて、いずれかのフォーマットでファイルに保存されてしまうと、録音の音声コンテンツとテキストが合致することを確かめる方法は無かった。

本発明の一態様では、リソースの使用を最少限に抑えつつ、録音の識別能力を最大化する。

本発明の別の態様では、複数の識別方法を用い、音声音紋等のリソースを多く消費する方法は必要な場合のみに用いるようにする。

本発明の更なる態様では、未識別データの処理を最少限に抑える。

本発明の更に別の態様では、所望の信用度に達するまで、最も廉価な識別技術に、徐々により高価な識別技術を付加して用いる。

本発明のまた更なる態様では、未識別録音が関連付けられたテキストと、識別済み録音に関連付けられたテキストを比較することにより、コンテンツに基づく録音の識別を検証する。

本発明のまた更に別の態様では、信頼性を向上させるべく、異なる音源からの録音識別方法を利用する。

本発明のなお更なる態様では、ファジー・トラック長分析を用いて、コンテンツに基づく録音の識別を検証する。

本発明の更に別の態様では、基準データベースで用いられる、録音を識別用の識別データを自動的に抽出する。

本発明のなお更なる態様では、未識別録音を周期的にシステムへ再投入して、最近追加されたデータまたは最近改良された技術により識別可能か否かを判定する。

上述の態様は次のような録音識別方法により実現可能である。同方法は、ユーザー所有の媒体に保存された未識別録音に関する情報と、当該未識別録音の少なくとも１つの部分から少なくとも１つのアルゴリズムにより決定された音紋とを抽出するステップ、当該未識別録音から抽出された情報の少なくとも一部と基準録音の対応する情報を含む識別データベースを用いて当該未識別録音の見込み識別を行なうステップ、および当該情報の少なくとも一部の各々とアルゴリズム的に決定された少なくとも１つの音紋を組み合わせたものに基づく前記見込み識別が単一の基準録音をそれぞれの信用度で識別する場合に当該未識別録音を識別するステップによる。当該未識別録音の少なくとも１つの部分は、音声、ビデオ、またはその両方を含んでいてよい。

データベースは好適には、識別サービス・プロバイダの制御下にあるサーバーだけが識別できる一意な識別子を提供する識別サービス・プロバイダにより管理される。一意識別子は、一旦識別された録音に関係付けられる。続いて、一意識別子を用いて録音の複製が識別されて、処理速度が極めて高速になる。一意識別子はオプション的に、高速ＲＡＭまたは特別に索引付けられたデータベース・テーブルにキャッシュされる。

未識別録音に非波形データが利用できない場合、当該未識別録音は、複数のアルゴリズムを用いてその未識別録音の少なくとも１つの部分から音紋を抽出するステップと、当該未識別録音から抽出された少なくとも２つの音紋と基準録音に対応して生成された音紋を含む少なくとも１つのデータベースとを用いて、当該未識別録音の見込み識別を行なうステップと、各々の音紋に基づく見込み識別が各々の信用度で単一の基準録音を識別した場合に、当該未識別録音を識別するステップにより識別されることが好適である。

好適には、ユーザー所有の録音の識別に用いられ、音紋情報を含まない既存のデータベースが、データベースのユーザーが所有する録音に関連付けられた非波形データを取得するステップと、録音の少なくとも１つの部分から少なくとも１つの音紋を抽出するステップと、データベースにて非波形データと合致するデータが検出された場合に当該少なくとも１つの音紋を当該録音の識別情報として保存するステップにより拡張される。一例として、ユーザー所有のオーディオＣＤからデジタル楽曲ファイルを符号化する処理の間に識別システムを用いてオーディオＣＤを識別し、固有ＩＤシステムを用いて符号化処理の間に抽出された音紋をオーディオＣＤに直接関連付けることができる。

音紋または一意識別子のいずれかを用いる録音の識別は、好適には識別用データベースに保存されている他の情報、例えば録音の長さや録音内部に埋め込まれた数値識別子等により検証される。検証に合格しないか、または識別に使用する情報のいくつかには合致するものの全てには合致しない録音に関する情報は、誤りの原因を後で分析すべく保存することができる。上述のように音紋が得られた場合、音紋の取得に誤りがあった可能性がある。従って、マッチング失敗用に保存されている情報のパターン識別に基づいて、誤りをオペレータに対して出力することも、あるいはデータベースに保存されている情報をシステムが修正することもできる。例えば、大多数の合致した音紋が保存されていても、それ以外の情報は一貫してそれらに合致しない場合には、音紋データベースの誤りをオペレータに通知する必要があるかもしれない。

本発明は、ユーザー所有の媒体に保存された未識別録音に関する情報と少なくとも１つのアルゴリズムにより決定された音紋を、当該未識別録音の少なくとも１つの部分から抽出する抽出ユニットと、当該抽出ユニットに接続されており、当該未識別録音から抽出された情報の少なくとも一部と基準録音の対応する情報を含む識別データベースとを用いて当該未識別録音の見込み識別を行ない、当該情報の少なくとも一部の各々とアルゴリズム的に決定された少なくとも１つの音紋との組み合わせに基づく当該見込み識別が、単一の基準録音を各々の信用度で識別した場合に当該未識別録音を識別する識別ユニットを含む録音識別システムを含む。

本発明はまた、複数のアルゴリズムを用いて未識別録音の少なくとも１つの部分から音紋を抽出する抽出ユニットと、前記抽出ユニットに接続されており、当該未識別録音から抽出された少なくとも２つの音紋と基準録音に対応して生成された音紋の少なくとも１つのデータベースとを用いて、当該未識別録音の見込み識別を行ない、各音紋に基づく当該見込み識別が、単一の基準録音を各々の信用度で識別した場合に当該未識別録音を識別する識別ユニットを含む録音識別システムを含む。

上述のシステムのいずれにおいても、抽出ユニットは通常、インターネット等のネットワークを介して識別ユニットとしての少なくとも１つのサーバーに接続されたクライアント装置である。クライアント装置は、録音にアクセスするドライブを備えたパーソナル・コンピュータ、ネットワーク接続を有する家電製品、または未識別録音をある場所から別の場所へ送信するサーバー・コンピュータであってよい。さらに、データベースの一部はローカルに利用可能であって、抽出ユニットおよび識別ユニットが同一の装置に配置されてコンポーネントを共有することができる。

本発明はまた、未識別録音を識別するために用いられるデータベースに保存された基準情報を取得するシステムを含む。当該システムは、ユーザー所有の録音を識別するためのデータベースのユーザーが所有する録音に関連付けられた非波形データを取得する受信ユニットと、録音の少なくとも１つの部分から少なくとも１つの音紋を抽出する抽出ユニットと、前記受信ユニットおよび前記抽出ユニットに接続されており、データベース内で非波形データに対する合致が検出された場合に録音の識別情報として少なくとも１つの音紋を保存する記憶ユニットを含む。

これらおよび引き続き開示される他の態様や利点は、本明細書および請求項で記載する詳細な構成および動作に含まれており、本明細書の一部をなす添付図面を参照するが、その際同一部材には同一番号が付与されている。

本発明によれば、図１に示されるようなシステムにおいて識別に使用する装置がセットになってコンポーネントの組が提供され、複数の方法を利用して音声（およびビデオ）ファイルの分析および識別を行うことを容易にする。好適には、録音識別子およびテキスト・データを含むデータベース９０をデジタル音声をテキスト情報に基づき識別する方法と音紋を用いて音声を識別する方法と組み合わせる。好適には、データベース９０内のテキスト・データはユーザーにより与えられ、ユーザーから入力されたスペリングのバリエーションを含んでいる。そのようなデータベースの一つとして、グレースノート社のＣＤＤＢ音楽識別サービスが利用可能である。

図１に示すように、録音１００は、ハードディスクまたはコンパクトディスクからデジタル音声ファイルを読み込む等の任意の従来方法によりクライアント装置１１０からアクセスされる。そして、録音１００および付随する情報（メタデータ）から情報が抽出される。以下に詳述するように、録音１００から抽出される情報は音紋である。メタデータから抽出された情報は、ＣＤトラックの（ＴＯＣから得られる）トラック長である録音の演奏時間、録音がＭＰ３ファイルにある場合はファイル名およびＩＤ３タグ、および録音がＣＤ上にある場合は目次（ＴＯＣ）データを含む。録音を含んでいるファイルが本発明に従って動作するクライアント装置により生成された場合、ＩＤ３ファイルから一意なＩＤが抽出されることになるが、最初はその情報が利用できないものと仮定する。

一実施形態の例において、抽出された情報はクライアント１１０からサーバー１２０へ送られ、録音１００から抽出された情報の少なくとも一部および基準録音に対応して生成された音紋を含むデータベース１３０を用いて未識別録音の見込み識別を行なう。テキスト情報または一意なＩＤ（固有ＩＤ）が抽出されれば、一致検索が行われる。テキスト情報または一意なＩＤを用いて合致が検出された場合、少なくとも１つのアルゴリズムにより決定された音紋が、合致記録に含まれる音紋と比較されて、録音１００から抽出された情報に合致し、合致する情報の各項目について信用度が十分な基準を満たす単一の基準録音が存在するか否かを判定する。テキスト情報および一意なＩＤに基づいた合致が検出できない場合、録音１００から抽出された音紋のうちの少なくとも２つを用いて単一の基準録音に識別できるかが試みられる。いずれかの方法を用いて単一の基準録音が特定された場合、好適には最終検証ステップとして録音１００の演奏時間が単一の基準録音の演奏時間と比較される。

好適には、関連メタデータを用いて音紋識別により得られた合致を検証する。あらゆる識別システムと同様に、音紋は誤った結果をもたらす場合がある。検証用コンポーネントが無ければ、この種の誤りはシステム全体に伝播して、大多数のユーザーに誤ったデータを返す恐れがある。トラック長の比較等によって検証を行うことにより、システムが潜在的な誤りを捕捉し、その誤りに検証用のフラグを立てておくことが可能になる。

本発明によるシステムは好適には、各種の識別方法およびその重要度の重み付けを可能にする、独自仕様の結果報告用および柔軟な管理用インターフェース１３０を含む。特定の識別方法毎に合致成功率を分析することにより、管理者は識別確率を最大化すべく各構成要素の識別基準を変えることができる。本発明によるシステムは好適には、検索結果（１４０）を補助すべく、グレースノート社のデータサービス部門を介してＣＤＤＢデータベースを利用している２８００万人以上のユーザーによる利用データを反映させる。

本発明によるシステムは柔軟性を有するため、異なる環境下で録音を識別する場合、異なる構成にすることができる。例えば、ストリーミング音声を監視するアプリケーションは、ピア・ツー・ピア・システムのファイルを識別するものやアナログ入力を識別するものとは全く異なるシステムおよび構造を必要とする。しかし、本発明はこれらの各状況下で録音を識別できるように構成することができる。

本発明によるシステムはリソース消費量を最少限に抑えつつ、識別機能を最大化する。複数の識別方法を利用して、音声音紋等のリソースを多く消費する方法は必要なときのみに用いる。複数の音声音紋技術を利用することにより、データコリジョンが減り、既存の音声音紋技術のあらゆる「盲点」がカバーされる。単一の音紋技術を利用する音紋システムに見られる「盲点」は、複数の異なる音紋技術を用いることにより回避される。これはまた、特定の用途に用いる際の微調整を可能にする。

好適には、音紋は図２に示す方法を用いる複数音紋識別サービスを利用して取得される。これにより、システムは各種の録音を正確に識別することができる。

図２に示すように、未識別（未知の）録音１００が音紋を抽出するクライアント装置１１０からアクセスされた場合、可能ならば識別システム２１０により従来のＴＯＣ／ファイル識別が実行されて、結果２２０がクライアント装置１１０に返される。ＴＵＩＤが検出された場合、結果２２０には、マスター・メタデータ・データベース（図２に示さず）の内容へのポインタとなる一意識別子（ＴＵＩＤ）が含まれる。録音１００はまた、少なくとも１つ、好適には複数の、それぞれアルゴリズムが異なる音紋抽出システムを用いて音紋抽出部２３０によって処理され、音紋／ＩＤ送信キャッシュ２４０に保存される。以下に詳述するように、音紋アップローダー２５０が音紋をいつ音紋識別サーバー１２０へ送信すべきかに関する指示が受信される。

音紋識別サーバー１２０において、音紋アップローダー２５０により送信された音紋はまずは音紋受信キャッシュ２６０に保存される。次いで音紋は、録音の音紋と異なるエンドユーザーにより抽出されアップロードされた音紋との相関性を調べるためのアルゴリズム比較器を用いて音紋検証２７０を受ける。音紋同士がかなり類似していることがわかった場合に検証が行われる。検証は上記以外の方法によっても行うことができるが、上記方法は不良データの排除に役立つプロセスの一例である。

本実施例において、正当かつ関連があると判定された音紋は、音紋縫合部２８０へ送られる。例えば、音紋が録音を３０秒に区切った複数の区間から取られている場合、音紋は連続的な音紋ストリームに加工される。これにより、録音区間の識別が単純化できる。結果的に得られた音紋は、既存データベース９０（図１）に関連付けられた音紋データベース２９０に保存される。

ＣＤＤＢデータベースは一部がユーザーから与えられた内容により構築されており、２００２年半ば時点には１２００万トラックおよび９００，０００アルバムを超えるメタデータ・データベースが構築されている。このデータベースは、基本メタデータ（アーティスト、アルバム、およびトラック名）と拡張データ（ジャンル、ラベル等）の両方を含む。

図１に示すシステムを用いて、波形データベースの構築に同様の分散型収集方法を利用することができる。録音１００が生音声波形である場合、ＣＤがＭＰ３ファイル等の別のフォーマットに符号化されるときに、クライアント装置１１０は、データベース９０のユーザーにより所有される録音１００に関連付けられた非波形データを取得し、録音の少なくとも１つの部分から音紋を抽出する抽出アルゴリズムを実行する。次いで音紋は、好適にはＣＤのＴＯＣから得られるような一意なＩＤと共にサーバー１２０へ送信される。一意なＩＤが利用できる場合、すなわち、データベースで非波形データに対する合致が検出された場合、サーバー１２０はデータベース９０の適切なメタデータと、ユーザー所有の録音を識別するために得られた音紋を、データベース９０を用いてＣＤを識別するのと同レベルの精度で関連付けることができる。この方法で動的に集められた音紋は以下に詳述するように、録音の識別情報として少なくとも１つの音紋を保存するに先立って、認証済みクライアントからの音紋を蓄積する音紋収集サーバー（図１に示さず）へ送信されてもよい。

複数の音紋を収集する抽出部はまた、ラウドアイ（Ｌｏｕｄｅｙｅ）やミューズ（Ｍｕｓｅ）等の市販エンコーダに含まれる静的波形の組にも適用される。このアプローチの課題は、音紋を適切なメタデータに関連付けることである。上述の方法により、音声音紋を親レコードに論理的に関連付けて、オリジナル音源へ逆向きに関連付けることができる。好適な実施例においては、一意なＩＤにより同じ曲のライブとスタジオ・バージョンが区別され、同時にそれらの録音を同一アーティストおよび各々のアルバムにリンクすることがきる。

好適には、サーバー１２０は情報を、一意なＩＤに関連付けられた並列な記録の集合として保存する。クライアント１１０がサーバー１２０に対して媒体（ＣＤ、デジタル音声ファイル、ビデオファイル）の識別を依頼すると、サーバー１２０もまた、この特定のＣＤについて音紋をどのように収集すべきかに関する記録を返す。これは、収集指示レコード（ＧＩＲ）と呼ばれる。ＧＩＲは、一連の指示を含んでいてもよい。その後には、リモート音紋収集コードが続く。このレコードは、負荷の少ない時間に予め計算しておくことも、または識別時に動的に計算することもできる。

サーバー１２０は、ＣＤの人気に関して既知の情報を利用して、収集に関する意思決定を行う。音紋を取得する機会を逃がさないよう、稀少ＣＤに関するあらゆる項目が収集される（たとえユーザーには多少負担であろうとも）。非常に人気のあるＣＤの場合は正反対の状況である。その負担は多くのユーザーに分散されるため、彼らは音紋収集を手伝わされていることに気付きもしないだろう。

ＧＩＲを構築するための規則および手順は、手動でも自動化されていてもよく、時間経過に伴ない変更されてもよい。これらはまた、特定のユーザー、アプリケーション、または地理的位置に個別に適用することができる。

一実施例において、サーバーは以前に収集された音紋を削除するようにＧＩＲを修正して動的に音紋を収集する。ＧＩＲの更新頻度は即時から日、週、または月の範囲で変動する。ＧＩＲに含まれる指示としては次のようなものがある。
−収集されるトラックと区間、およびそれらの優先度のリスト。
−音紋ジェネレータが使用するアルゴリズム。
−音紋ジェネレータに音紋を処理する方法を指示するパラメータ。例えば、
音声サンプルの周波数
処理すべき音紋の周波数帯域
音紋の解像度
音声の要求品質
−音紋収集をいつ実行するか、例えば、
トラック符号化の前
トラック符号化の後
トラック符号化と並行して
−音紋をキャッシュに書き込んで、それをサーバーへ返送する時期に関する指示。例えば、
トラック符号化の前
トラック符号化の後
ＣＤ全体が符号化された後
サーバーへの返送用通信チャネルがビジーでないとき
次のＣＤを調べるとき
音紋群が送信準備状態にあるとき
−コンピュータに過負荷をかけないようにＣＰＵパワーを処理に投入する指示
好適には、システムは動作の間、音紋の品質を向上させようと試みる。音源信号の品質や音紋抽出に使用するパラメータは、より高品質なものが利用できる場合改善されてゆき、その結果、サーバー１２０がどの音紋を収集すべきかを決定するために使う品質行列が複雑になる。音源品質の例を以下に挙げる。好適には、データベース９０または音紋収集サーバーが管理する類似データベースが、データベースに格納されている音紋の音源品質を保存しているため、より高品質な音源からの音紋が利用できる場合、音紋は入れ替えられる。

動的に収集された音紋に、品質の検証に役立つ情報を含めることができる。媒体からの読み込む際の誤り率等の情報が音紋収集機能へ送信される。本システムは、音源媒体からの誤り率の高い音紋を拒絶することができる。

上述のように、音紋を直ちに保存するのではなく、録音の複数の音紋が、音紋収集サーバーにより収集されデータベースに追加されてもよい。これらの音紋をアルゴリズムを用いて比較してそれらの相関性が判定される。十分な相関がない場合、十分な相関が得られるまでさらに音紋を収集することができ、音紋のうち１つまたは合成された音紋がデータベースに保存される。これにより、不良音紋がデータベースに格納されることを防止する。

タイミングがわずかに変しても音紋の重なりが生じる恐れがあるため、区分化された音紋の縫合が必要な場合がある。アルゴリズム化された縫合により、より高品質の連続的な音紋が得られる。単純な縫合のやり方は、区分化された音紋を録音における出現順に追加するものである。複雑な縫合のやり方は、音紋の異なる特性を最小共通項目に合わせて尺度調整してから、録音における出現順にそれらを追加するものである。好適には、区分けされた音紋がジッターを含む場合、何らかの数学的適合判定が用いられるため、追加を行うことはデータストリームへの単純な追加よりもファジーな処理である。

利用可能な音声音紋の一例が、「録音の自動識別」と題された米国特許出願（マクスウェル・ウェルズ（Ｍａｘｗｅｌｌ Ｗｅｌｌｓ）ら、２００２年７月２２日出願）に記載されており、本明細書で引用している。しかし、任意の公知のアルゴリズムを用いて導かれた音紋取得技術はデジタル音声に限らず、ビデオ、テレビ番組（アナログ、デジタル共に）、およびＤＶＤの用途に用いることができる。特定の用途で識別される媒体に適当な識別子および識別技術が用いられる。

本発明は優れた柔軟性を有し、ピア・ツー・ピア環境におけるＭＰ３識別、あるいは監視や報告目的での音声ストリームの識別等、広範な環境で利用可能である。複数の識別コンポーネントを使用する以外にソリューションは見つかっておらず、本発明が任意の音声（またはビデオ）識別アプリケーションのニーズに応えるべくカスタマイズ可能な唯一のソリューションである。

ピア・ツー・ピア・アプリケーションに本発明を実施するための機能的な説明を、図３を参照しつつ以下に述べる。本実施形態において、音声ファイルは一般からアクセス可能にする前に識別され、ファイルがシステムに受け入れ可能であれか否かが判定される。これは「フィルター・イン」として知られる処理である。

クライアント装置１１０（図１）は、サーバー１２０（図１）へのアップロード時点で音声ファイルから情報３１０（図３）を抽出する。抽出された情報は好適には、一意なＩＤ、ＩＤ３タグ、ファイル名テキスト・データ、トラック演奏時間等の非波形データ、および音紋を含む。これらは、録音から抽出されて識別のためにサーバー１２０へ送信される。

最初の一致検索３２０は、一意なＩＤが存在すればそれに対して実行される。グレースノート社のＴＵＩＤを利用すれば、９９．９％の精度で検索結果を返すことが可能になる。これはまた、リソース消費が最も少ない識別方法であって、非常に高速な識別速度を実現可能である。一致する一意ＩＤが存在すれば、システムは検証段階へ移行する。一致する一意ＩＤが存在しない場合、システムは次の識別方法３３０を用いて識別を試みる。

本実施例において次に、９００,０００アルバムおよび１２００万曲を超える楽曲を含むグレースノート社製ＣＤＤＢサービス等のメタデータ・データベースを用いてテキスト情報に基づく識別が行われる。テキスト情報を用いた一致検索は、ファイル名、ファイル・パス、またはＭＰ３ファイルのＩＤ３タグ内のテキスト等、利用可能なテキスト情報を用いて、識別に使用するデータの集合を提供する。許容できる一致検索結果が返された場合、システムは検証段階へ移行する。一致するものがないと判定される場合、システムは次の識別方法を利用して識別を試みる。

次のステップは音紋を利用する識別であり、この場合は音声音紋を用いる。未識別録音からの音紋が基準録音用のデータベース９０の音紋と、一度に１つづつ（または異なる音紋に別々のプロセッサを用いて並行して）比較される。各音紋技術は、一致検索結果および信用度を返す。一致検索により単一の基準録音に絞られ、その信用度が許容可能な場合、システムは検証段階へ移行する。一致するものがないと判定される場合、システムは対象アプリケーションに応じて、ユーザーに最も一致すると思われる結果の検証を求めたり、あるいは、「一致するものがない」との結果を返すことができる。

検証は、あらゆる識別システムが成功するための鍵となる要素である。好適には、録音の演奏時間等の鍵となるファイル属性を用いて、未識別録音から抽出された演奏時間を、データベースに格納された単一の基準録音の演奏時間と比較することにより、あるファイルと、識別システムが判定したものとが同一であるか否かを検証する。

好適には、発見的（ヒューリスティック）多数決アルゴリズム３４０を用いて一致検索の結果がシステムが判定するものと同じであるか否かを決定する。この自己監視により、システムに悪影響を与える不正確なデータをシステムが検索結果として返す可能性を減少させることができる。発見的法則は最適合致を行うべく、手動制御またはアルゴリズムにより制御される。これらの発見的法則はまた、どの識別技術をどのような順番で適用すべきかを決定するのに用いてもよい。

各アプリケーションの管理者は、システムの各ステージ（またはコンポーネント）で必要とされる精度のレベルを決定することができ、従ってシステムを最適化するための明示的な統制を行なうことができる。例えば、集計合致度が９０％であることが必要な場合、システム管理者は管理インターフェース１３０を用いて受容可能な結果のレベルを９０％に調整して、その閾値が満たされない限り一致が成立しないようにできる。管理者はまた、コンポーネント毎に結果レベルを設定することができる。例えば、テキストの合致度のレベルを９９％に設定し、音声音紋の合致度のレベルを８５％に抑えて設定できる。

識別成功との結果が返されたならば、一意なＩＤでファイルに再びタグが付与されて３５０、システム全体にわたって正確なＩＤを持つファイルとして生息する。その結果、その後のファイル識別でのリソース消費が最少限で済む。

ファイルに割り当てられた一意なＩＤ（ＴＵＩＤ）は次いで、システムへの入力が許されたレコードレーベル、製作者、およびそれらのファイルのコンテンツ所有者が入力するタイトル／アーティストペア３７０により発生するＴＵＩＤのリスト３７０とマッチングされる（３６０）。一実施形態において、そのＴＵＩＤがデータベースに存在する場合はファイルの共有が許可されるが、ＴＵＩＤがデータベースに存在しない場合にはファイルはブロックされる。別の実施形態では、ＴＵＩＤがデータベースに存在する場合にファイルはブロックされる。これらの実施形態のいずれも、ファイルがユーザーからアクセスされたか、またはあるコンピュータから別のコンピュータへ送信されたかを識別するのに適用可能である。

図４Ａに示すように、本発明の実施形態は複数の関連データベースを使用する。マスター・メタデータ・データベース４１０は、タイトル、アーティスト／著者名、所有者名および日付の情報を含んでいる。関連データベースには、音紋データベース２９０（図２）を形成する音声音紋データベース４３０およびビデオ音紋データベース４４０を含んでいる。また、トラック長、ＴＯＣデータベース４５０、テキスト・データベース４６０、およびハッシュＩＤデータベース４７０並びに一意であることが確認された固有ＩＤデータベース４８０も含まれる。

図４Ｂに示すように、未識別（未知）録音１００がクライアント装置１１０からアクセスされた場合、音紋５４０、５５０、メタデータ５６０、および存在すれば固有ＩＤ５７０を含む情報が抽出される。さらに、録音の演奏時間５８０が決定され、数値ハッシュ５９０が計算される。抽出された音紋は、音紋６００、６１０と比較される。同様に、数値ハッシュ、テキスト、および一意ＩＤ（固有ＩＤ）に対する一致検索が実行される（６２０、６３０、６４０）。基準録音が特定されたならば、未識別録音１００の演奏時間を基準録音の演奏時間と比較することにより検証が行なわれる。比較方法各々の信用度と共に検索された結果６６０〜７１０が結果集計部７３０へ送られる。

未識別録音１００に合致する基準録音が検出されなかった場合（７５０）、抽出された情報５４０〜５９０および結果は、周期的に識別サーバー１２０へ再投入するべく未識別一時保管箱７６０に保存される（図２、４Ｂ）。本実施例において、基準録音が特定されたものの信用度が低い場合（７７０）、例えば合致する可能性のある、見込み候補を１つ以上ユーザーに提示し、その応答としてユーザーの選択を受信する等の発見的方法７９０、または手動による見直し８１０を適用する等の識別後処理７８０が実行される。このようなユーザーの選択結果が発見的方法用データベース８２０に保存される。識別後処理７８０の結果単一の基準録音が識別されるか、または結果集計部７３０が識別結果の信用度が高いことを出力した場合（７７０）、ハッシュＩＤが生成８１０されてハッシュ・データベース４８０およびクライアント装置１１０へ送られる。このため、ファイルを作成するときにハッシュおよび一意ＩＤ（ＴＵＩＤ）がＩＤ３タグに保存される。

一実施形態においてシステムは、識別結果を向上させようと類似ファイルの識別を繰り返したときの誤り率に基づく学習を行う。また、結果に誤りがあることを示すユーザーから、手動で通知を受けることもできる。これにより、時間の経過とともに識別を連続的に検証することができる。例えば、本発明のシステムによりファイルを識別することができ、次いで時間の経過とともにシステムはそのファイルの識別に欠陥があると判定して、オペレータにその旨を通知する。別の実施形態において、システムは非音紋ベースのデータを監視して適宜識別結果を変えることにより何が間違っているかを判定する。

本発明は、追跡目的であらゆる音声コンテンツを識別するために利用できる。デジタル音声ストリーム、アナログ入力またはローカル音声ファイルが全て追跡できる。そのような追跡システムは、音声配信地点に配備されたサーバー側追跡システムであって、報告、デジタル権利管理（ＤＲＭ）システムまたは権利支払いシステムと統合することができる。追跡されている音声コンテンツが未参加の第三者からのものである場合、本システムのクライアント版を配備して配信中のコンテンツを監視することができる。いずれの場合も、最高水準の精度を保証すべく複数の識別方法を用いる。

デジタル権利管理コンポーネントとして波形に基づく識別を利用することが可能であり、ユーザーが作成したデジタル音声ファイルを承認済みコンテンツのリストと比較することが行われる。これにより上述のようなピア・ツー・ピアのファイル共有アーキテクチャ内でフィルター・イン方式が可能になる。

音声音紋技術は著作権侵害防止ツールとして用いることができ、調査対象の音声の種類に応じてカスタマイズすることができる。著作権が侵害されたＣＤの場合、グレースノート社のＣＤＤＢ ＣＤサービスを利用して目次（ＴＯＣ）識別を行ない、音声音紋技術を発展させることができる。

識別を行うことで、付加価値サービスの配信が可能になる。配信されているコンテンツを明確に把握することができなければ、当該音声コンテンツに関する付加価値コンテンツおよびサービスを配信することは不可能である。

本発明の多くの特徴および利点は詳細な明細書から明らかであり、添付の請求項により本発明の真の概念および範囲に含まれるこのような特徴および利点を全て包含することを意図している。更に、当業者は各種の改良や変更を容易に考え付くであろうが、本発明を例示した構成や動作そのものに限定する意図は無く、従ってあらゆる適切な改良および同等物も本発明の範囲に含まれる。例えば、本システムおよび方法は一意な識別子を使用するとして記述しているが、ハッシュ識別子を代わりに用いてもよい。本出願は、「デジタル音楽の多段階識別の方法およびシステム」と題された米国仮出願第６０／３０８，５９４号（発明者：デールＴ．ロバーツ（Ｄａｌｅ Ｔ．Ｒｏｂｅｒｔｓ）ら、出願日：２００１年７月３１日）に関連し、これを優先権主張するとともに、本願明細書に援用するものである。

本発明によるシステムの機能ブロック図である。 本発明による音紋抽出のフローチャートである。 未識別録音を識別する方法のフローチャートである。 本発明によるシステムのブロック図である。 本発明によるシステムのブロック図である。 本発明によるシステムのブロック図である。

Claims (8)

1. 未識別録音を識別する方法であって、
   媒体に保存された未識別録音に関するテキスト又は固有ＩＤを含む情報と、前記未識別録音の少なくとも一の所定時間部分からアルゴリズムにより決定された少なくとも第一の音紋とを抽出するステップと、
   前記未識別録音から抽出された情報の少なくとも一部を用いて、前記未識別録音に対応する識別データベース中の少なくとも１つの記録を探索するステップと、
   前記の抽出されたテキスト又は固有ＩＤを用いて、前記の探索された記録中に1つ以上の合致記録が見出される場合（前記合致記録は、前記抽出された情報のいくつかを用いた比較に従い見出される）、前記のアルゴリズムにより決定された少なくとも第一の音紋を前記合致記録に関連して保存された音紋と比較して、単一基準録音を識別し、
   前記の抽出されたテキスト又は固有ＩＤを用いて、前記の探索された記録中に合致記録が見出されない場合、前記のアルゴリズムにより決定された少なくとも第一の音紋及び前記未識別録音の他の所定時間部分からアルゴリズムにより決定された第二の音紋を用いて単一基準録音を識別するステップと、を含む方法。
2. 前記識別データベースが識別サービス・プロバイダにより管理されており、
   前記探索ステップが、前記未識別録音に前記識別サービス・プロバイダから固有ＩＤが関連付けられている場合は前記固有ＩＤを用い、又は前記未識別録音にテキストが関連付けられている場合は前記未識別録音に関連付けられている前記テキストを用いる、請求項１に記載の方法。
3. 前記未識別録音の抽出された長さを前記単一基準録音の保存された長さと比較することにより前記識別を検証するステップを更に含む、請求項２に記載の方法。
4. 前記未識別録音に関連付けられた前記テキストが前記録音のファイル名を含む、請求項３に記載の方法。
5. 前記未識別録音に関連付けられた前記テキストが前記録音のＩＤ３タグを含む、請求項３に記載の方法。
6. アルゴリズムにより決定された前記少なくとも第一の音紋が、前記未識別録音の少なくとも一の所定時間部分の音声およびビデオ情報の少なくとも一方から抽出される、請求項１に記載の方法。
7. 前記未識別録音の抽出された長さを前記単一基準録音の保存された長さと比較することにより前記識別ステップを検証するステップを更に含む、請求項１に記載の方法。
8. 未識別録音を識別するシステムであって、
   媒体に保存された未識別録音に関するテキスト又は固有ＩＤを含む情報と、前記未識別録音の少なくとも一の所定時間部分からアルゴリズムにより決定された少なくとも第一の音紋とを抽出する抽出ユニットと、
   前記抽出ユニットに接続されており、前記未識別録音から抽出された情報の少なくとも一部を用いて、前記未識別録音に対応する識別データベース中の少なくとも１つの記録を探索するとともに、
   前記の抽出されたテキスト又は固有ＩＤを用いて、前記の探索された記録中に1つ以上の合致記録が見出される場合（前記合致記録は、前記抽出された情報のいくつかを用いた比較に従い見出される）、前記のアルゴリズムにより決定された少なくとも第一の音紋を前記合致記録に関連して保存された音紋と比較して、単一基準録音を識別し、
   前記の抽出されたテキスト又は固有ＩＤを用いて、前記の探索された記録中に合致記録が見出されない場合、前記のアルゴリズムにより決定された少なくとも第一の音紋及び前記未識別録音の他の所定時間部分からアルゴリズムにより決定された第二の音紋を用いて単一基準録音を識別する識別ユニットと、を含むシステム。

Images