[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2007519986A - 導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング - Google Patents

導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング Download PDF

Info

Publication number
JP2007519986A
JP2007519986A JP2006540687A JP2006540687A JP2007519986A JP 2007519986 A JP2007519986 A JP 2007519986A JP 2006540687 A JP2006540687 A JP 2006540687A JP 2006540687 A JP2006540687 A JP 2006540687A JP 2007519986 A JP2007519986 A JP 2007519986A
Authority
JP
Japan
Prior art keywords
fingerprint
query
candidate
threshold
query fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006540687A
Other languages
English (en)
Inventor
セー オーストフェーン,ヨブ
アー セー エム カルケル,アントニウス
アー ハイツマ,ヤープ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007519986A publication Critical patent/JP2007519986A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、問い合わせデータオブジェクトを候補データオブジェクトのマッチングを、両データオブジェクトのフィンガープリントを抽出して比較することによって行うための方法および装置に関する。本発明のある実施形態では、フィンガープリント抽出モジュール(110)、フィンガープリントマッチングモジュール(210)、統計モジュール(120)および識別モジュールを有する装置が提供される。フィンガープリント抽出モジュール(110)は、問い合わせオブジェクトの一部をなしていて問い合わせフィンガープリントを構築する情報信号を受信する。フィンガープリントマッチングモジュール(210)は、前記問い合わせフィンガープリントを少なくとも一つの潜在的な最良一致候補を見出すためにデータベース(215)中に保存されている候補と比較する。一方、統計モジュールは、前記問い合わせフィンガープリントの統計的モデルを決定して、それによりたとえば、前記問い合わせフィンガープリントの内部におけるある種の情報の統計分布を決定する。閾値決定器(120)は、前記問い合わせフィンガープリントの分布に基づいて、前記問い合わせフィンガープリントとある潜在的最良一致候補とが識別モジュール(130)によって同様であると宣言されうる範囲の適応的閾値距離Tを導出するよう構成される。閾値を問い合わせおよび/または候補フィンガープリントから導出される統計的データに依存しうるよう設定することによって、他人受入率FARの改善が達成されうる。

Description

本発明はフィンガープリントのマッチングのための方法および装置に関する。
フィンガープリント技術はメディアコンテンツ(オーディオまたはビデオのような)を識別するのに使われる。オーディオまたはビデオセグメントは、それからフィンガープリントを抽出し、該抽出されたフィンガープリントを既知コンテンツのフィンガープリントが保存されているデータベース内で検索することによって識別される。抽出されたフィンガープリントと保存されているフィンガープリントとの間の類似性が十分であると見なされた場合にコンテンツが識別される。
マルチメディアフィンガープリントの第一の目的は、二つのマルチメディアオブジェクトの知覚上の等価性を確立するための効率的な機構である:それも(典型的には大きな)オブジェクトそのものを比較するのではなく、関連付けられたフィンガープリント(設計により小さい)を比較することによってである。フィンガープリント技術を使うたいていのシステムでは、多数のマルチメディアオブジェクトのフィンガープリントがその関連付けられたメタデータ(たとえば楽曲情報、アーチスト名、タイトルおよびアルバム)とともにデータベースに保存されている。フィンガープリントはメタデータへのインデックスの役割をする。よって、未識別マルチメディアコンテンツは、フィンガープリントを計算し、これを前記フィンガープリント/メタデータデータベースにおける問い合わせとして使うことによってメタデータが検索される。マルチメディアコンテンツそのものの代わりにフィンガープリントを使うことの利点は三つある:フィンガープリントが比較的小さいことによる必要メモリ/記憶容量の低減、知覚的に重要でない情報がすでにフィンガープリントから除去されていることによる効率的な比較、そして検索すべきデータセットがより小さいことによる効率的な検索である。
フィンガープリントはオブジェクトの短い要約と見なすことができる。したがって、フィンガープリント関数は、多数のビットからなるオブジェクトXを限られた数のビットのみのフィンガープリントFにマッピングすべきである。フィンガープリントシステムには5つの主要なパラメータがある:堅牢性、信頼性、フィンガープリントサイズ、粒度および検索速度(またはスケーラビリティ)である。
システムの堅牢性の度合いは、信号劣化があるような場合にフィンガープリントから特定のオブジェクトが正しく識別できるかどうかを決める。高い堅牢性を実現するためには、フィンガープリントFは、信号劣化に関して不変な(少なくともある程度まで)知覚的特徴に基づくべきである。好ましくは、ひどく劣化した信号でも元来の劣化していない信号のフィンガープリントと同様のフィンガープリントを与える。フィンガープリントシステムの堅牢性の尺度を表すのには、一般に「本人拒否率」(FRR: false rejection rate)が使われる。本人拒否は、知覚上同様のオブジェクトのフィンガープリントに、肯定的な識別を生じるには大きすぎる違いがある場合に生じる。
フィンガープリントシステムの信頼性は、オブジェクトが誤って識別される頻度に関する。言い換えれば、信頼性は「他人受入率」(FAR: false acceptance rate)――すなわち、二つの異なるオブジェクトが同一であると誤って宣言されうる確率に関係する。
フィンガープリントサイズがいかなるフィンガープリントシステムにも重要であることは明らかである。一般に、フィンガープリントサイズが小さいほど多くのフィンガープリントをデータベースに保存できる。フィンガープリントサイズはしばしばビット毎秒で表され、フィンガープリントデータベースサーバーのために必要とされるメモリリソースをかなりの部分まで決定する。
粒度は用途に依存しうるパラメータであるが、あるオブジェクトを識別するためにそのオブジェクトのどのくらい長い(大きな)具体的標本が必要とされるかに関係している。
検索速度(またはスケーラビリティ)はその名の通り、フィンガープリントデータベースでフィンガープリントをみつけるのに必要とされる時間に関する。
上記の5つの基本パラメータは互いに大きく影響し合っている。たとえば、より低い粒度を実現しようとすれば、同じ信頼性を得るためにはより大きなフィンガープリントを抽出する必要がある。これは、他人受入率がフィンガープリントサイズに対して逆の関係にあるという事実のためである。別の例では、より堅牢なフィンガープリントを設計すると、検索速度は一般に増加する。
フィンガープリントシステムの基本パラメータを議論したところで、これから典型的なフィンガープリントシステムの一般的な記述をすることにする。
フィンガープリントは、もとになるオーディオまたはビデオ信号から特徴ベクトルを抽出することに基づくものでもよい。そのようなベクトルは、関連するメタデータ(たとえばタイトル、作者など)への参照とともにデータベース中に保存される。未知の信号の受信に際して、該未知の信号から特徴ベクトルが抽出される。これがその後、フィンガープリントデータベース上での問い合わせとして使用される。問い合わせ特徴ベクトルとデータベース中の最良一致との間の距離が所与の閾値よりも小さければ、二つの項目は等価と宣言され、関連付けられたメタデータが返される:すなわち、受け取ったコンテンツが識別されたのである。
マッチング・プロセスにおいて使われる閾値は、他人受入率(FAR)と本人拒否率(FRR)との間のかねあいによる。たとえば、閾値を上げれば(すなわち、二つのフィンガープリントが同様であると判断されるための両フィンガープリント間の許容できる「距離」を上げる)、FARは上がるが、同時にFRRは低下する。FARとFRRとの間のかねあいは、通例、いわゆるネイマン・ピアソン法(Neyman-Pearson approach)を通じてなされる。これは、閾値を、FARを事前に指定された許容可能なレベル未満に保つ最小値となるように選ぶことを意味している。FRRは閾値を決定するためには使われず、単に選択された閾値の値の結果として決まる。
US2002/0178410A1(Haitsma, Kalker, Baggen and Oostveen)は、マルチメディアコンテンツのフィンガープリントを生成してマッチングを行うための方法および装置を開示している。この文書の4ページには、二つの3秒のオーディオクリップが、二つの導出されたフィンガープリントブロックH1とH2との間のハミング距離がある閾値T未満である場合に同様であると宣言される方法が記載されている。
閾値Tの選択を解析するため、US2002/0178410A1の著者らは、フィンガープリント抽出プロセスがランダムなi.i.d.(independent and identically distributed[独立かつ一様分布])ビットを与えると想定している。その場合、ビット誤りの数は、nを抽出されたビット数、p(=0.5)を0または1のビットが抽出される確率として、パラメータ(n,p)をもつ二項分布をもつことになる。nが大きいので、二項分布は平均μ=np、標準偏差σ=√(np(1−p))の正規分布によって近似できる。フィンガープリントブロックH1が与えられたとすると、ランダムに選ばれたフィンガープリントブロックH2のH1に対する相違がT=αnより少ない確率は次式によって与えられる。
Figure 2007519986
しかし、実際上は、堅牢なフィンガープリントは時間軸に沿って高い相関をもつ。これは、根底にあるビデオシーケンスの大きな時間相関、あるいはオーディオフレームの重なりに起因するものでありうる。オーディオフィンガープリントについての実験の結果、誤りビットの数は正規分布をしているが、標準偏差はi.i.d.の場合より約3倍大きいことが示されている。したがって、式(1)はこの因子3を含むよう修正される。
Figure 2007519986
上記の手法は、フィンガープリント間の分布が定常的であると想定している。これはある種の技術分野については当を得た想定のように思われるが、ビデオフィンガープリントの場合にそうでないことは確かである。ビデオフィンガープリントにおいては、ビデオ中の「活動」の量が、フィンガープリントビットの相関に直接的に反映される:長引くスチールは一定の(すなわち相関が非常に高い)フィンガープリントにつながり、一方、「派手な」ミュージッククリップはフィンガープリントビット間の相関が非常に低いことにつながることになる。この非定常性は、閾値について適切な値を決定する際の問題につながる。
適応的な閾値処理技術を提供するための装置を提案することが、本発明の諸実施形態の目的の一つである。
本発明の第一の側面によれば、問い合わせフィンガープリントを候補フィンガープリントと比較する方法が提供される。該方法は:問い合わせフィンガープリントおよび/または候補フィンガープリントの統計的モデルを決定し、該統計的モデルに基づいて前記問い合わせフィンガープリントと前記候補フィンガープリントとが同様であると宣言されうる範囲の閾値距離を導出する、ことを含むことを特徴としている。
本発明の第二の側面は、問い合わせオブジェクトを既知のオブジェクトとマッチングする方法を提供する。該方法では、複数の候補オブジェクトを表す複数の候補フィンガープリントがデータベースにあらかじめ保存されており、当該方法は、前記問い合わせオブジェクトの一部をなす情報信号を受信してそれから問い合わせフィンガープリントを構築し、前記問い合わせフィンガープリントをデータベース中のある候補フィンガープリントと比較することを含んでおり、当該方法は:問い合わせフィンガープリントおよび/または候補フィンガープリントの統計的モデルを決定し、該統計的モデルに基づいて前記問い合わせフィンガープリントと前記候補フィンガープリントとが同様であると宣言されうる範囲の閾値距離を導出する、ステップをさらに含むことを特徴としている。
第一および第二の側面の方法において、特定のフィンガープリントの統計的モデルに基づく閾値の導出は、問い合わせフィンガープリントの型/内的特性に従ってFARを最適化しうる適応的閾値設定を提供し、任意の閾値処理システムの適用に対して改善されたマッチング品質を与える。
好ましくは、候補フィンガープリントが問い合わせフィンガープリントから前記閾値距離未満の距離だけ離れていると見出され、その候補と問い合わせフィンガープリントとの間の距離が他のいかなる候補フィンガープリントと当該問い合わせフィンガープリントとの間の距離よりも小さい場合には、その候補フィンガープリントが最良一致候補フィンガープリントと宣言され、該最良一致候補フィンガープリントによって表される候補オブジェクトと当該問い合わせフィンガープリントによって表される問い合わせオブジェクトとは同じであると見なされる。
好ましくは、前記統計的モデルは、前記問い合わせフィンガープリントおよび/または候補フィンガープリントに対して内的相関導出を実行した結果を有する。
好ましくは、前記フィンガープリントは二進値を有し、前記統計的モデルを前記問い合わせフィンガープリントについて計算するのは、問い合わせフィンガープリントフレームF(m,k)のうち直前のフィンガープリントフレームF(m,k−1)での対応するビットと異なるものがいくつあるかを決定し、前記遷移数を、全フィンガープリントビットが直前の対応するビットと逆の状態であるとした場合に得られる最大値M(k−1)で割ることによって前記問い合わせフィンガープリントについての遷移確率qを決定することによる。ここで、各フィンガープリントは1フレームあたりMビットを含んでKフレームにまたがっており、kはフレーム添え字(0からKの範囲)、mはフレーム内でのビット添え字(0からMの範囲)である。
このとき、閾値(threshold)距離Tは、所望の他人受入率(FAR)に基づいて次式から計算されうる。
Figure 2007519986
第三の側面では、本発明は問い合わせオブジェクトを既知のオブジェクトとマッチングする装置を提供する。当該装置は、問い合わせオブジェクトの一部をなす情報信号を受信してそれから問い合わせフィンガープリントを構築するためのフィンガープリント抽出モジュールと、前記問い合わせフィンガープリントを一つまたは複数の候補フィンガープリントのデータベース中に保存されている候補フィンガープリントと比較するためのフィンガープリントマッチングモジュールとを有しており、当該装置はさらに:前記問い合わせフィンガープリントおよび/または前記一つもしくは複数のフィンガープリントのうちの一つまたは複数の統計的モデルを決定するための統計モジュールと、該統計的モデルに基づいて前記問い合わせフィンガープリントとある候補フィンガープリントとが同様であると宣言されうる範囲の閾値距離Tを導出する閾値決定器と、ある候補フィンガープリントが前記問い合わせフィンガープリントから前記閾値距離T未満の距離だけ離れていると見出され、前記候補と前記問い合わせフィンガープリントとの間の距離が他のいかなる候補フィンガープリントと当該問い合わせフィンガープリントとの間の距離よりも小さい場合には、その候補フィンガープリントが最良一致候補フィンガープリントと宣言され、該最良一致候補フィンガープリントによって表される候補オブジェクトと当該問い合わせフィンガープリントによって表される問い合わせオブジェクトとは同じであると見なされるよう構成された識別モジュール、とを有することを特徴としている。
本発明のよりよい理解のため、そしてその諸実施形態が実施されうる仕方を示すため、これから例として付属の図式的な図面を参照する。
図1を参照すると、機能ブロック図がクライアント側100とデータベースサーバー側200とに分けて示されている。クライアント側では、オブジェクトがフィンガープリント抽出モジュール110によって受信され、フィンガープリントFがそのオブジェクトについて計算される。問い合わせフィンガープリントFは一方では統計モジュール120に渡され、他方ではデータベースサーバー側200にも渡される。統計モジュール120は、前記問い合わせフィンガープリントFのランダム性/相関性を決定し(たとえば、内的相関を決定しうる)、この情報を閾値決定器130に渡す。閾値決定器130は、モジュール120からの情報に基づいて、閾値レベルTを適応的に設定し、この閾値レベルTをデータベースサーバー側200に渡す。
データベースサーバー側200では、マッチングモジュール210がクライアント側100から問い合わせフィンガープリントFを受信し、既知のフィンガープリントのデータベース内で前記フィンガープリントの最良一致を探す。最良一致情報は次いで閾値比較モジュール220に渡され、最良一致候補フィンガープリントが当該問い合わせフィンガープリントに十分近い(閾値距離T内)かどうかが判定され、それにより入力オブジェクトと前記候補フィンガープリントに対応する一致したオブジェクトとの同一性が判定される。フィンガープリントFが二進値をとる場合、前記閾値比較モジュール220はたとえばフィンガープリントブロックH1とデータベース210中の最良一致に関係するフィンガープリントブロックH2との間のハミング距離を比較し、その二つのブロックの間のハミング距離が、閾値決定モジュール130から比較モジュール220に供給される閾値距離Tより小さいかどうかを調べてもよい。同一性決定は、識別モジュール230によってなされるが、その際、二つの導出されたフィンガープリントブロックの間のハミング距離が前記閾値距離Tより小さければ、未識別の問い合わせオブジェクトがデータベース中に見つかったオブジェクトと同様であると宣言され、関連するメタデータが返される。
上の記述では、問い合わせフィンガープリントFと閾値Tとはクライアント側100からデータベースサーバー側200に送られる。ここで、もちろん、閾値Tがデータベースサーバー側200で決定されることもでき、したがって上述したブロック図の修正がもちろん可能であることを注意しておく。
ここで図2を参照すると、フィンガープリントを見出し、マッチングする際における図1のブロック図の構成要素の動作を一般的な形で説明するフローチャートが示されている。
ステップS100では、オブジェクト標本(たとえば、ビデオの場合、短い「クリップ」)が受信され、問い合わせフィンガープリントがその標本に基づいて決定される。この問い合わせフィンガープリントは、いかなる好適な従来技術の方法(US2002/0178410A1)に従って決定されてもよい。ステップS200(経路「A」によって到達する)では、問い合わせフィンガープリントに対する閾値が、問い合わせフィンガープリントの特定の特性(ランダム性/相関性)に基づいて決定される。
ステップS200と並行して実行されうるステップS300では、問い合わせフィンガープリントはデータベースサーバー側200で保持されているフィンガープリントとマッチングされ、最良一致候補が返される。ここでもまた、このマッチング・プロセスは従来技術の仕方で実行することができ、問い合わせフィンガープリントに対して最も近い一致を返す。
ステップS300において、問い合わせフィンガープリントと最良一致候補との間の「距離」が決定され、ステップS400においてその「距離」がステップS200で決定された閾値距離よりも小さいか否かが調べられる。ステップS400で問い合わせフィンガープリントと最良一致候補との間の距離が閾値よりも大きいと見出された場合、ステップS500において、問い合わせオブジェクトには一致するオブジェクトがみつからなかったという結果が返される。他方、ステップS400で問い合わせフィンガープリントと最良一致候補フィンガープリントとの間の距離が閾値距離よりも小さかった場合には、ステップS600において、問い合わせオブジェクトと最良一致候補に関係するデータベース内のオブジェクトとの間の一致が宣言される。その際、最良一致オブジェクトのメタデータなどがユーザーに返されてもよい。
図2では、ステップS100からS200につながる点線で示された経路「A」は、問い合わせフィンガープリントに基づいて閾値をT=T1と設定する一つのオプションを表す。しかし、代替的に、経路「A」は破棄してもよく、最良一致候補の特性に基づいて閾値T=T2としてもよい。この可能性は、S300からS200への代替的な経路Bによって表される。
さらなる代替では、閾値Tは、問い合わせフィンガープリントと最良一致候補フィンガープリントとの両方の特性の組み合わせに基づいて設定されてもよい。たとえば、閾値を二つの導出された適応的閾値T1、T2の間の平均に設定するのである。
図3は、所与の閾値を適応的に決定するための一般的な方法論を示すフローチャートである。
ステップS210において、問い合わせ候補フィンガープリントが受信され、フィンガープリントのランダム性の測度が決定され、次いでステップS210において見出されたランダム性の測度に基づいてステップS220において閾値距離が設定される。
上記から、および図1に関する説明から理解されるであろうように、比較において使われる閾値T(T1またはT2)は、問い合わせフィンガープリントまたは/および最良一致候補におけるランダム性/相関性に対して適応される。より具体的には、問い合わせフィンガープリントについての閾値決定の場合、問い合わせフィンガープリントの相関が決定され、この相関からマッチングの間に使われるべき閾値が計算される。内的相関のランダム性が低いと見出されるほど、より小さな閾値距離Tを設定してもFRRに悪影響を及ぼさずにすむ。
上述したように、閾値は問い合わせフィンガープリントの内的相関、最良一致候補フィンガープリントの内的相関または両者の組み合わせに基づいて決定される。フィンガープリントが二進値であり、フィンガープリントビットがマルコフ過程のように振る舞う場合には、閾値を適応的に設定するための解を導出できる。
適応的閾値設定問題への解が図4に示されている。ステップS221において、問題となっているフィンガープリントの内的相関が決定され、ステップS222において前記内的相関に基づいて当該フィンガープリントについての遷移確率が決定され、ステップS223において、遷移確率(以下に説明)と所望の他人受入率との両方に基づいて閾値距離が適応的に設定される。
フィンガープリントが1フレームあたりMビットからなり、Kフレームにまたがるとする。この場合、フィンガープリントはF(m,k)で表せる。ここで、kはフレーム添え字(0からK−1の範囲)、mはフレーム内でのビット添え字(0からM−1の範囲)である。フレームkから抽出されたフィンガープリントビットがフレームk−1からの対応するフィンガープリントビットと等しくない確率をqで表すものとする(すなわち、q=Prob[bit(m,k)≠bit[m,k−1]])。この確率qが遷移確率と呼ばれる。この場合、相関は(q=1/2である純粋にランダムなビットの場合に比べて)次の因子だけ大きくなる。
Figure 2007519986
結果として、他人受入率FARは次の関係式によって記述される。
Figure 2007519986
所望のFARと計算された遷移確率qから適応的閾値を計算するために上記の関係式を使用するプロセスは、次のようにまとめることができる:
フィンガープリントFを抽出する
フィンガープリントFについての遷移確率qを次のようにして決定する:
(a)フィンガープリントビットF(m,k)のうち直前のものF(m,k−1)と異なっているものの個数を決定する
(b)ステップ(a)で計算された遷移数を、各フレームについて全フィンガープリントビットが直前のフレームでのビットと逆であるとした場合に得られる理論的な最大値M(K−1)で割って、遷移確率q=(ビット遷移の数)/(M(k−1))を決定する。
この特定の問い合わせフィンガープリントFのマッチングのために使われるべき閾値Tを、前記の計算された値qと所定のあらかじめ承認された他人受入率とから、関係式(3)を使って決定する。
上記から、閾値Tは、適応的にT=T1(上記の問い合わせフィンガープリントの相関に基づく)あるいはT=T2(上記の最良一致フィンガープリントの相関に基づく)あるいはT=T3(T1、T2の組み合わせに基づく[たとえばT=(T1+T2)/2])として設定することができる。次いで、決定段階において、ハミング距離がTより小さければ、もとになった両オブジェクトが同じであると宣言する。
本発明のついての上記の個別的な例においては、閾値距離はある特定の問い合わせ標本の、あるいは、実際、ある特定の候補標本または標本集合の内的特性に基づいて適応的に設定されている。しかし、記述された個別的な例は問題になっている内的特性をランダム性/相関性としているものの、情報信号の種類によっては他の種類の統計分布が適用されうること、したがって本発明が、問い合わせ標本または候補標本フィンガープリントが従うと期待されるいかなる所与の適用可能な「統計モデル」に基づいて適応的閾値を提供することにも合理的に拡張されうることは認識されるであろう。
さらに、当業者は、図2ないし4のフローチャートが本発明を実施するための一つの構成を示しているものの、他の構成も可能であることを認識するであろう。たとえば、図2のステップS300において単一の最良一致候補を返すのではなく、ある閾値距離内の複数の近似一致候補を返して、その後「最良」一致を計算するために並列に(あるいはそれほど有利ではないが直列に)処理してもよい。本発明はまた、データベース中の一部の候補が一致し得ないことが明らかである場合にすぐさま破棄できるという、いわゆる「剪定」(pruning)技法を使って適用することもできる――その場合、検索/マッチングはずっと縮小された検索空間内で行うことができる。
本発明の諸実施形態に基づいて、閾値がフィンガープリントの特定の特性に依存するような、適応的閾値を設定するための諸方法および装置が開示される。特定の方法はビデオコンテンツのマッチングにおける使用のために非常に好適であるが、これに限定されるものではない。記載されている諸技法はさまざまな異なる技術分野およびさまざまな異なる種類の信号に適用されうるもので、それにはオーディオ信号、ビデオ信号、マルチメディア信号が含まれるがこれに限られるものではない。
当業者は、記載されている諸プロセスがソフトウェア、ハードウェアまたはいかなる好適な組み合わせにおいても実施しうることを認識するであろう。
まとめると、本発明は、フィンガープリントマッチングのための方法および装置に関する。本発明のある実施形態では、フィンガープリント抽出モジュール(110)、フィンガープリントマッチングモジュール(210)、統計モジュール(120)および識別モジュールを有する装置が提供される。フィンガープリント抽出モジュール(110)は、問い合わせオブジェクトの一部をなしていて問い合わせフィンガープリントを構築する情報信号を受信する。フィンガープリントマッチングモジュール(210)は、前記問い合わせフィンガープリントを少なくとも一つの潜在的な最良一致候補を見出すためにデータベース(215)中に保存されている候補と比較する。一方、統計モジュールは、前記問い合わせフィンガープリントの統計的モデルを決定して、それによりたとえば、前記問い合わせフィンガープリントの統計分布を決定する。閾値決定器(120)は、前記問い合わせフィンガープリントの分布に基づいて、前記問い合わせフィンガープリントとある潜在的最良一致候補とが識別モジュール(130)によって同様であると宣言されうる範囲の適応的閾値距離Tを導出するよう構成される。閾値を問い合わせフィンガープリントの統計的分布に基づいて適応的な仕方で設定することによって、他人受入率FARの改善およびその他の利点が達成されうる。
本発明のある実施形態に基づく適応的な閾値を用いたフィンガープリント法を図解する機能ブロック図である。 本発明のある実施形態に基づいてフィンガープリントを見出し、マッチングするのに関わるプロセスを一般的な形で説明するフローチャートである。 本発明のある実施形態に基づく適応的閾値を決定するための方法論を一般的な形で示すフローチャートである。 本発明の諸実施形態に基づく、特定の適応的閾値設定方法論を示すフローチャートである。

Claims (10)

  1. 問い合わせフィンガープリントを候補フィンガープリントと比較する方法であって:前記問い合わせフィンガープリントおよび/またはある候補フィンガープリントの統計的モデルを決定し、該統計的モデルに基づいて、その範囲内なら前記問い合わせフィンガープリントと前記候補フィンガープリントとが同様であると宣言されうる閾値距離を導出する、ことを含むことを特徴とする方法。
  2. 問い合わせオブジェクトを既知のオブジェクトとマッチングする方法であって、該方法では、複数の候補オブジェクトを表す複数の候補フィンガープリントがデータベースにあらかじめ保存されており、当該方法は、前記問い合わせオブジェクトの一部をなす情報信号を受信してそれから問い合わせフィンガープリントを構築し、前記問い合わせフィンガープリントを前記データベース中のある候補フィンガープリントと比較することを有しており、当該方法がさらに:
    前記問い合わせフィンガープリントおよび/または前記候補フィンガープリントについての統計的モデルを決定し、
    該統計的モデルに基づいて、その範囲内なら前記問い合わせフィンガープリントと前記候補フィンガープリントとが同様であると宣言されうる閾値距離を導出する、
    ステップを有することを特徴とする方法。
  3. 請求項1または2記載の方法であって、ある候補フィンガープリントが当該問い合わせフィンガープリントから前記閾値距離未満の距離だけ離れていると見出され、その候補と当該問い合わせフィンガープリントとの間の距離が他のいかなる候補フィンガープリントと当該問い合わせフィンガープリントとの間の距離よりも小さい場合には、その候補フィンガープリントが最良一致候補フィンガープリントと宣言され、該最良一致候補フィンガープリントによって表される候補オブジェクトと当該問い合わせフィンガープリントによって表される問い合わせオブジェクトとが同じであると見なされることを特徴とする方法。
  4. 請求項1ないし3のうちいずれか一項記載の方法であって、前記統計的モデルが、前記問い合わせフィンガープリントおよび/または前記候補フィンガープリントに対する内的相関導出を実行した結果を有することを特徴とする方法。
  5. 前記フィンガープリントは二進値を含む複数のフレームを有し、前記統計的モデルを前記問い合わせフィンガープリントについて計算するのは、前記問い合わせフィンガープリントのフレームF(m,k)のうち直前のフィンガープリントフレームF(m,k−1)での対応するビットと異なるものがいくつあるかを決定し、前記遷移数を、全フィンガープリントビットが直前の対応するビットと逆の状態であったとした場合に得られるはずの最大値M(k−1)で割ることによって前記問い合わせフィンガープリントについての遷移確率qを決定することによっており、ここで、各フィンガープリントは1フレームあたりMビットを含んでKフレームにまたがっており、kはフレーム添え字(0からKの範囲)、mはフレーム内でのビット添え字(0からMの範囲)である、ことを特徴とする、請求項4記載の方法。
  6. 閾値距離Tが、所望の他人受入率(FAR)に基づいて式
    Figure 2007519986
    から計算されることを特徴とする、請求項5記載の方法。
  7. 問い合わせオブジェクトを既知のオブジェクトとマッチングする装置であって、当該装置は、問い合わせオブジェクトの一部をなす情報信号を受信してそれから問い合わせフィンガープリントを構築するためのフィンガープリント抽出モジュールと、前記問い合わせフィンガープリントを一つまたは複数の候補フィンガープリントのデータベース中に保存されている候補フィンガープリントと比較するためのフィンガープリントマッチングモジュールとを有しており、当該装置はまた:
    前記問い合わせフィンガープリントおよび/または前記一つもしくは複数のフィンガープリントのうちの一つまたは複数の統計的モデルを決定するための統計モジュールと、
    該統計的モデルに基づいて、その範囲内なら前記問い合わせフィンガープリントとある潜在的な最良一致候補フィンガープリントとが同様であると宣言されうる閾値距離Tを導出する閾値決定器と、
    ある候補フィンガープリントが前記問い合わせフィンガープリントから前記閾値距離T未満の距離だけ離れていると見出され、前記候補と前記問い合わせフィンガープリントとの間の距離が他のいかなる候補フィンガープリントと当該問い合わせフィンガープリントとの間の距離よりも小さい場合には、その候補フィンガープリントが最良一致候補フィンガープリントと宣言され、該最良一致候補フィンガープリントによって表される候補オブジェクトと当該問い合わせフィンガープリントによって表される問い合わせオブジェクトとが同じであると見なされるよう構成された識別モジュール、
    とをも有することを特徴とする装置。
  8. 請求項7記載の装置であって、前記統計モジュールが、前記問い合わせフィンガープリントおよび/または前記一つまたは複数の候補フィンガープリントに対する内的相関導出を実行することを特徴とする装置。
  9. 前記フィンガープリントは二進値を含む複数のフレームを有し、前記統計モジュールが前記統計的モデルを前記問い合わせフィンガープリントまたは/および前記候補フィンガープリントについて計算するのは、前記問い合わせフィンガープリントのフレームF(m,k)のうち直前のフィンガープリントフレームF(m,k−1)での対応するビットと異なるものがいくつあるかを決定し、前記遷移数を、全フィンガープリントビットが直前の対応するビットと逆の状態であったとした場合に得られるはずの最大値M(k−1)で割ることによって遷移確率qを決定することによっており、ここで、各フィンガープリントは1フレームあたりMビットを含んでKフレームにまたがっており、kはフレーム添え字(0からKの範囲)、mはフレーム内でのビット添え字(0からMの範囲)である、ことを特徴とする、請求項8記載の装置。
  10. 前記閾値決定器が前記閾値距離Tを、所望の他人受入率(FAR)に基づいて式
    Figure 2007519986
    から計算することを特徴とする、請求項9記載の装置。
JP2006540687A 2003-11-18 2004-11-08 導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング Withdrawn JP2007519986A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03104250 2003-11-18
PCT/IB2004/052334 WO2005050620A1 (en) 2003-11-18 2004-11-08 Matching data objects by matching derived fingerprints

Publications (1)

Publication Number Publication Date
JP2007519986A true JP2007519986A (ja) 2007-07-19

Family

ID=34610093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540687A Withdrawn JP2007519986A (ja) 2003-11-18 2004-11-08 導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング

Country Status (6)

Country Link
US (1) US20070071330A1 (ja)
EP (1) EP1687806A1 (ja)
JP (1) JP2007519986A (ja)
KR (1) KR20060118493A (ja)
CN (1) CN1882984A (ja)
WO (1) WO2005050620A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007171772A (ja) * 2005-12-26 2007-07-05 Clarion Co Ltd 音楽情報処理装置、音楽情報処理方法および制御プログラム
JP2010530100A (ja) * 2007-06-06 2010-09-02 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 複数の検索の組み合わせを使用して、オーディオ/ビデオの指紋検索精度を改善する方法及び装置
JP2011076111A (ja) * 2010-12-20 2011-04-14 Ntt Docomo Inc 情報受信通知装置及び情報受信通知方法
JP2014520287A (ja) * 2012-05-23 2014-08-21 エンサーズ カンパニー リミテッド オーディオ信号を用いたコンテンツ認識装置及び方法

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0107127A (pt) * 2000-08-23 2002-07-02 Koninkl Philips Electronics Nv Método para aperfeiçoar a renderização de um item de conteúdo, sistema cliente configurado para aperfeiçoar a renderização de um item de conteúdo, e, sistema servidor configurado para facilitar uma renderização aperfeiçoada de um item de conteúdo
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
ATE405101T1 (de) * 2001-02-12 2008-08-15 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
KR20040086350A (ko) * 2002-02-05 2004-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 핑거프린트의 효율적 저장
WO2004030341A1 (en) * 2002-09-30 2004-04-08 Koninklijke Philips Electronics N.V. Fingerprint extraction
AU2003264774A1 (en) * 2002-11-01 2004-05-25 Koninklijke Philips Electronics N.V. Improved audio data fingerprint searching
WO2004044820A1 (en) * 2002-11-12 2004-05-27 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
US8719779B2 (en) * 2004-12-28 2014-05-06 Sap Ag Data object association based on graph theory techniques
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
WO2007053112A1 (en) * 2005-11-07 2007-05-10 Agency For Science, Technology And Research Repeat clip identification in video data
EP2033443A2 (en) 2006-06-13 2009-03-11 Koninklijke Philips Electronics N.V. Fingerprint, apparatus, method for identifying and synchronizing video
WO2008007269A2 (en) 2006-06-23 2008-01-17 Koninklijke Philips Electronics N.V. Method of navigating items at a media player
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20080274687A1 (en) * 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
US8238669B2 (en) * 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US8447032B1 (en) 2007-08-22 2013-05-21 Google Inc. Generation of min-hash signatures
US8437555B2 (en) * 2007-08-27 2013-05-07 Yuvad Technologies, Inc. Method for identifying motion video content
WO2009087511A1 (en) * 2008-01-04 2009-07-16 Koninklijke Philips Electronics N.V. A method and a system for identifying elementary content portions from an edited content
US8224029B2 (en) 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search
US20100215211A1 (en) * 2008-05-21 2010-08-26 Ji Zhang System for Facilitating the Archiving of Video Content
US8611701B2 (en) * 2008-05-21 2013-12-17 Yuvad Technologies Co., Ltd. System for facilitating the search of video content
US8488835B2 (en) * 2008-05-21 2013-07-16 Yuvad Technologies Co., Ltd. System for extracting a fingerprint data from video/audio signals
US8370382B2 (en) * 2008-05-21 2013-02-05 Ji Zhang Method for facilitating the search of video content
WO2009140822A1 (en) * 2008-05-22 2009-11-26 Yuvad Technologies Co., Ltd. A method for extracting a fingerprint data from video/audio signals
US8577077B2 (en) * 2008-05-22 2013-11-05 Yuvad Technologies Co., Ltd. System for identifying motion video/audio content
US20100169911A1 (en) * 2008-05-26 2010-07-01 Ji Zhang System for Automatically Monitoring Viewing Activities of Television Signals
US8335786B2 (en) * 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
CN102411578A (zh) * 2010-09-25 2012-04-11 盛乐信息技术(上海)有限公司 一种多媒体播放系统和方法
CN102413007B (zh) * 2011-10-12 2014-03-26 上海奇微通讯技术有限公司 一种深度报文检测方法及设备
CN103093761B (zh) * 2011-11-01 2017-02-01 深圳市世纪光速信息技术有限公司 音频指纹检索方法及装置
US9141676B2 (en) * 2013-12-02 2015-09-22 Rakuten Usa, Inc. Systems and methods of modeling object networks
US9986280B2 (en) * 2015-04-11 2018-05-29 Google Llc Identifying reference content that includes third party content
CN106407226B (zh) * 2015-07-31 2019-09-13 华为技术有限公司 一种数据处理方法、备份服务器及存储系统
CN106910494B (zh) 2016-06-28 2020-11-13 创新先进技术有限公司 一种音频识别方法和装置
KR102668559B1 (ko) * 2016-09-01 2024-05-27 주식회사 모티브인텔리전스 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 방법 및 장치
CN106446802A (zh) * 2016-09-07 2017-02-22 深圳市金立通信设备有限公司 一种指纹识别方法及终端
US10771828B2 (en) * 2018-09-18 2020-09-08 Free Stream Media Corp. Content consensus management
US20210056085A1 (en) * 2019-08-19 2021-02-25 Gsi Technology Inc. Deduplication of data via associative similarity search
US11417099B1 (en) 2021-11-08 2022-08-16 9219-1568 Quebec Inc. System and method for digital fingerprinting of media content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
ATE405101T1 (de) * 2001-02-12 2008-08-15 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
US7328153B2 (en) * 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
US7142699B2 (en) * 2001-12-14 2006-11-28 Siemens Corporate Research, Inc. Fingerprint matching using ridge feature maps

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007171772A (ja) * 2005-12-26 2007-07-05 Clarion Co Ltd 音楽情報処理装置、音楽情報処理方法および制御プログラム
JP2010530100A (ja) * 2007-06-06 2010-09-02 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 複数の検索の組み合わせを使用して、オーディオ/ビデオの指紋検索精度を改善する方法及び装置
JP2011076111A (ja) * 2010-12-20 2011-04-14 Ntt Docomo Inc 情報受信通知装置及び情報受信通知方法
JP2014520287A (ja) * 2012-05-23 2014-08-21 エンサーズ カンパニー リミテッド オーディオ信号を用いたコンテンツ認識装置及び方法

Also Published As

Publication number Publication date
KR20060118493A (ko) 2006-11-23
US20070071330A1 (en) 2007-03-29
EP1687806A1 (en) 2006-08-09
WO2005050620A1 (en) 2005-06-02
CN1882984A (zh) 2006-12-20

Similar Documents

Publication Publication Date Title
JP2007519986A (ja) 導出されたフィンガープリントのマッチングによるデータオブジェクトのマッチング
AU2020200997B2 (en) Optimization of audio fingerprint search
EP2685450B1 (en) Device and method for recognizing content using audio signals
US7260439B2 (en) Systems and methods for the automatic extraction of audio excerpts
US8266142B2 (en) Audio/Video fingerprint search accuracy using multiple search combining
EP2323046A1 (en) Method for detecting audio and video copy in multimedia streams
CN103021440B (zh) 一种音频流媒体的跟踪方法及系统
US10127309B2 (en) Audio information retrieval method and device
US7689638B2 (en) Method and device for determining and outputting the similarity between two data strings
Saracoglu et al. Content based copy detection with coarse audio-visual fingerprints
CN107204183B (zh) 一种音频文件检测方法及装置
WO2005122141A1 (en) Effective audio segmentation and classification
KR102334018B1 (ko) 자가 증식된 비윤리 텍스트의 유효성 검증 장치 및 방법
Haitsma et al. An efficient database search strategy for audio fingerprinting
CN112711944B (zh) 一种分词方法、系统、分词器生成方法及系统
KR101302568B1 (ko) 허밍 질의 기반 음원 검색 고속화 시스템 및 그 방법
AU2005252714B2 (en) Effective audio segmentation and classification
KR20220109182A (ko) 학습된 부적합 텍스트의 부합성 검사 장치 및 방법
KR20220109938A (ko) 학습된 부적합 텍스트의 부합성 검사 장치 및 방법
KR101647012B1 (ko) 오디오 신호의 배경 잡음 환경을 반영한 음악 검색 장치 및 방법
CN115035556A (zh) 人脸检索方法、装置、电子设备及存储介质
CN118230740A (zh) 基于声纹识别与聚类的音频处理方法、装置、设备及介质
Parwej et al. EE М|| 5. SIINII VIIIIIIIIII
JPH05197813A (ja) 特徴選択方法
NZ722874B2 (en) Optimization of audio fingerprint search

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071106

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091109