JP5143896B2

JP5143896B2 - 画像修飾及びフレームレート変換に反応しないビデオ署名の導出

Info

Publication number: JP5143896B2
Application number: JP2010508364A
Authority: JP
Inventors: ラダクリシュナン、レグナサン; バウアー、クラウス
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2007-05-17
Filing date: 2008-05-01
Publication date: 2013-02-13
Anticipated expiration: 2028-05-01
Also published as: US20100238350A1; EP2149098A1; US8488061B2; ATE494587T1; EP2149098B1; CN101681373A; JP2010527556A; CN101681373B; WO2008143768A1; DE602008004340D1

Description

本発明は一般的にビデオ信号の処理に関し、より具体的には信号を識別するためにビデオ信号から特徴を抽出するプロセスに関する。本明細書を通じ、「ビデオ信号」及び「ビデオ内容」の用語は視覚による知覚を予定する画像を表す信号及び内容を言う。

受信した信号のビデオ内容が許可されたものか又は許可されてないものかを検出する試みは、受信した信号の内容を分析して、ある種の内容の識別子又は署名を生成するプロセスに多く依存することがある。これらの試みは受信した内容がある参照内容のコピーであるか否かを決定するための分析結果を用いる。これらの多くの試みでは、受信した信号の内容が意図せず又は意図的に修飾され、そのためそれは参照内容と異なるにもかかわらず人が観察する場合参照内容と本質的に同一のものとして認識される場合にも、信頼して識別することができることが重要である。もし参照内容と修飾された内容の知覚される差が小さい場合は、好ましくは署名生成プロセスはお互いに非常に類似している参照及び修飾された内容から署名を生成するべきである。

信号内容に意図しない改変を加える例として送信チャネル及び記憶媒体の信号にノイズを挿入し又は加えることを含む。ビデオ信号に意図して改変を加える例として、コントラスト/明るさ調整、ガンマ修正、輝度ヒストグラム平坦化、彩度調整、及び白色平衡化のための色彩修正の様な輝度及び色の変更を含み、画像のトリミング及びサイズの変更、画像の回転及び反転、引き伸ばし、シミの除去、不鮮明化、明確化及び輪郭強調の様な幾何学的改変を含み、及び非可逆圧縮、フレームレート変換の様な符号化技術を含む。

本発明の目的は、その内容が上に述べた様なメカニズムにより改変されていた場合においても、ビデオ内容の信頼できる識別をするために用いることのできる識別プロセスを提供することである。

この目的は以下に開示する本発明により達成される。

本発明の種々の特徴及び好ましい実施の態様は以下の検討及び添付された図面を参照することによりよく理解されるであろう。幾つかの図面においては同様な参照番号は同様の要素を指す。以下の検討の内容及び図面は単に例として記載されるものであり、本発明の範囲を限定することを意図するものと解してはならない。

図１はビデオ信号の信頼できる識別をするために用いられるビデオ署名発生器の略ブロック図である。図２はビデオ信号の信頼できる識別をするために用いられるビデオ署名発生器の略ブロック図である。図３は画像前処理プロセッサの一つの実施の態様において実施されるプロセスの略ブロック図である。図４は空間領域プロセッサにより得られる低解像度画像の略ブロック図である。図５はセグメントに配置されたビデオフレームの略ブロック図である。図６は一組のビデオ署名を生成するためにビデオ内容のセグメントを処理するビデオ署名発生器の略ブロック図である。図７はビデオ内容のコピーを検出するために署名データベースを操作するシステムの略ブロック図である。図８は本発明の種々の特徴的側面を実施するために使用される装置の略ブロック図である。

A．導入部
本発明の種々の特徴的側面は、ビデオ内容のセグメントを分析しそして各セグメントに署名を生成することによりビデオ内容を識別するためのシステムで有利に用いることができる。ある信号のある区間のセグメントについて生成された署名は署名セットを形成し、このセットはその区間での内容を信頼して識別できるものとして用いることができる。以下においてまず単一セグメントについて署名を生成するために用いられるプロセスについて記述し、そして署名セットの生成及び使用について記述する。

図１は信号セグメント３のビデオ内容を分析するビデオ署名発生器１００であって、その内容を識別し又はその内容を表すビデオ署名１９３を生成する発生器の略ブロック図である。実施例に示す様に、セグメント３は一連のビデオフレーム３a−３dを含む。

もしビデオ信号がビデオ内容とともにオーディオ内容を伝送する場合、オーディオ内容を表すオーディオ署名は種々の方法によりオーディオ内容を処理することにより得ることができ、その方法には２００６年１１月３０日に出願された米国特許仮出願番号60/872,090号に開示されている、発明者Regunathan Radhakrishnan他、発明の名称「信頼できる信号の識別手段を提供するためのビデオ及びオーディオ信号内容の特徴の抽出」（Extracting Features of Video and Audio Signal Content to Provide a Reliable Identification of the Signals）を含む。同出願は参照により本明細書に組み入れられる。

B.ビデオ信号抽出機
ビデオ信号発生器１００の一実施例を図２に示す。この実施例では、画像前処理プロセッサ１１０はフレーム３a,３b,３c,３dで伝送される像のための一連のフォーマット独立画像を得、空間領域プロセッサ１３０はフォーマット独立画像をダウンサンプルし, 一連のフォーマット独立画像の低解像度表示を生成し、時間的領域プロセッサ１５０は一連の低解像度表示の合成画像を表す値を生成し、ビデオ署名プロセッサ１７０は合成画像値にハッシュ関数を適用し、セグメント３の内容を表し且つ識別するビデオ署名１９３を生成する。プロセッサ１１０、１３０、１５０及び１７０による処理は種々の方法により実施することができる。好ましいプロセス実施例については以下に述べる。

１．画像前処理プロセッサ
ある代表的な実施例では、セグメント３の各ビデオフレーム３a,３b,３c,３dはピクセルDの配列により表される像を伝送する。画像前処理プロセッサ１１０は各フレーム像のフォーマット独立画像を作り出す。フォーマット独立画像はピクセル配列Fで表される。フォーマット独立画像の生成は種々の方法で行ってもよい。以下にその幾つかの例を示す。

ある応用例では、ビデオ署名発生器１００はビデオ内容を種々のフォーマットで伝送するテレビのビデオ信号の署名を生成し、そのフォーマットには480 x 640ピクセルの標準解像度（SD）及び1080 x 1920ピクセルの高解像度（HD）の順次走査及びインターレース走査を含む。画像前処理プロセッサ１１０は各フレームの像を、関心の対象となる全ての信号フォーマットに共通するフォーマットを持つフォーマット独立画像に変換する。好ましい実施の態様においては、フォーマット独立画像中のピクセルFはビデオのフレームが異なるフォーマット間で変換される場合に起こりうる修飾に対する感度を減少させるために。フレーム中のピクセルDをダウンサンプルして得られる。

ある実施例においては、フォーマット独立画像の解像度は120 x 160ピクセルの解像度を持つ様に選択され、この解像度はHD及びSDの解像度の画像を順次走査及びインターレース走査の両フォーマットで伝送するテレビ信号の場合において都合の良い選択である。画像前処理プロセッサ１１０はSDフォーマットビデオ内容を各フレーム像のピクセルを4分の１にダウンサンプルしてフォーマット独立画像に変換する。画像前処理プロセッサ１１０は、各フレーム像をトリミングして左端から２４０ピクセルを、右端から２４０ピクセルを除去して解像度が1080 x 1440ピクセルの中間画像を得て、その中間画像中のピクセルを9分の１にダウンサンプルすることにより、HDフォーマットビデオ内容をフォーマット独立画像に変換する。

もし、ビデオ信号がビデオのフレームが２フィールドで配置されるインターレース走査フォーマットの内容を伝送する場合、信号はフォーマット独立画像を得る前に順次走査フォーマットに変換されても良い。代替的に、走査フォーマットの選択により左右されない方法はインターレース走査フレームでのフィールドのただ一つからフォーマット独立画像を得ることで達成される。例えば、フォーマット独立画像は各フレームの第一フィールドのみから又は各フレームの第二フィールドのみから得ることができる。他のフィールドのビデオ内容は無視することができる。このプロセスによりフォーマット独立画像を得る前に順次走査フォーマットへ変換する必要を避けることができる。

もし適当なトリミング及びダウンサンプル化がなされる場合、得られる画像は本質的にフレーム像フォーマットから独立であり、そのため続く署名生成プロセスは異なるフォーマット及びフォーマット間の変換から生じる修飾に反応しない。このアプローチでは一連のフォーマット独立画像から生成されるビデオ署名は、これらの像がフォーマット変換に付されたとしても、一連のフレーム像のビデオ内容を正しく識別する可能性を増すであろう。

好ましくは、フォーマット独立画像は意識的な修飾により影響を受ける像の領域を除くのが良い。テレビのようなビデオの応用では、例えば、これはビデオ内容にロゴ又は他の図形物が挿入される画像の隅及び端を除くトリミングを施すことにより達成される。

図３は、上に記載したトリミング及びダウンサンプル操作を含む画像前処理プロセッサ１１０により実行されるプロセス１１２により得られた結果の概略図である。セグメント３のフレーム３a中の像は像の中心部分のピクセルDを取り出す様にトリミングされる。この中心部分のピクセルDはダウンサンプルされフォーマット独立画像５aのピクセルFを得る。一連の画像５のフォーマット独立画像５a、５b、５c、５dはセグメント３の各フレーム3a、3b、3c、3dについて得られる。プロセス１１２は以下の様に表される：
{F_m} = IP[{D_m}]、ただし、O ≦ m < M
式中
{F_m} =フレームmのフォーマット独立画像中の一組のピクセル
IP[ ] =フレームmの像に適用される画像全処理プロセッサ操作
{D_m} =フレームmの像の一組のピクセル
M=セグメント中のフレームの数
フォーマット変換のための像のサイズを再変更するトリミング操作は、ロゴ挿入の様な意図的な修飾により影響される像の領域を除くトリミング操作と組合わせて又はそれとは別個に実施しても良い。トリミング操作はダウンサンプル操作の前又は後に実施しても良い。例えば、フォーマット独立画像はビデオ内容をトリミングし、そしてトリミングされた画像をダウンサンプルすることにより得られ、またビデオ内容をダウンサンプルし、続いてダウンサンプルされた画像をトリミングすることにより、及びダウンサンプル操作を上に述べた２つのトリミング操作の間に行うことにより得られる。

例えば、もし各ビデオフレームが赤、緑及び青（ＲＧＢ）値で表されるピクセルを含むカラー画像を伝送する場合、別のフォーマット独立画像が各フレーム中の赤、緑及び青値の各々について得られることもある。好ましくは、一つのフォーマット独立画像がフレーム中の赤、緑及び青値より得られるピクセルの輝度又は明るさから各フレームについて得るのが良い。もし各ビデオフレームが単色画像を伝送する場合、フレーム独立画像はそのフレーム中の個々のピクセルの強度から得られることもある。

２．空間領域プロセッサ
ある代表的な実施例では、空間領域プロセッサ１３０はフォーマット独立画像のダウンサンプルされた低解像度表示を、フォーマット独立画像の各々のピクセルFを幅GXピクセル、高さGYピクセルの領域にグループ化することにより得る。画素Eの低解像度画像は各領域のピクセルの平均強度を計算することにより各フォーマット独立画像中のピクセルFの強度から得られる。各低解像度画像はKｘL画素の解像度を持つ。これは図４に系統的に表されている。画素Eは以下の式を実行するプロセスより得ても良い。

式中
E_m(k,l) =フレームmの低解像度画像中の画素
GX=ピクセルFの数で表されたピクセル群の幅
GY=ピクセルFの数で表されたピクセル群の高さ
K=低解像度画像の水平解像度
L=低解像度画像の垂直解像度
Fm(i, j) =フレームmのフォーマット独立画像中のピクセル
グループの水平サイズGXは、K−GX= RHとなる様に、グループの垂直サイズGYは、L−GY= RVとなる様に選択され、ここでRH及びRVは各フォーマット独立画像の各水平及び垂直解像度である。120 x 160ピクセルの解像度を持つダウンサンプルされたフォーマット独立画像中の素子を生成する、上で検討した代表的な実施の態様においては、グループの一つの好適なサイズは8 x 8であり、これは120/8 x 160/8 = 15 x 20 画素の解像度を持つ低解像度画像を提供する。

代替的に、空間領域プロセッサ１３０により実施されるグループ化は、画像前処理プロセッサ１１０による処理と組み合わされ又はそれより前に実施することができる。ビデオ署名を生成するために高解像度ピクセルFよりもむしろ低解像度画素Eを用いることにより、生成されたビデオ署名はビデオ信号内容の詳細を変えるが、平均強度を保つプロセスに対して余り反応しない。

３．時間的領域プロセッサ
時間的領域プロセッサ１５０の代表的な実施例では、一連の低解像度画像の合成値を表す値が各画素Eの時間的平均及び分散値より得られる。各画素E(k,l)の時間的平均Z(k,l)は次の式から算出しても良い。

代替的に、セグメント３内の選択されたフレームのビデオ内容は、以下の式に示す画素の加重合計から時間的平均を計算することにより、より重要度が増すこともある。

式中、w_mは、フレームmのビデオ内容から導出された低解像度画像中の画素の重み付け係数である。

もし望むならば、式３a又は３bにより表される時間領域プロセスは式２により表される空間領域プロセスの前に実施しても良い。

Z(k,l)値は各画素E(k,l)の時間及び空間の両方についての平均強度を表す。したがって、これらの平均値はセグメント３のビデオ内容により表される任意の動作について多くの情報を伝送することはしない。動作の表示は各画素E(k,l)の分散を計算することにより得ることができる。

もし各画素E(k,l)の平均値Z(k,l)が式３aに示す様に計算される場合、各画素E(k,l)の分散値V(k,l)は以下の式から計算しても良い。

もし各画素の平均値が式３bに示す様に計算される場合は、各画素E(k,l)の分散値
V(k,l)は以下の式から計算しても良い。

好ましい実施の態様においては、一連の低解像度画像の合成した値は時間平均及び分散配列Z及びVそれぞれに導出される２つの階数行列Zr 及びVr の要素の値である。階数行列の各要素の値はその関連する配列中のそれぞれの要素の階数順位を表す。例えば、もし要素Z(2,3)が平均値配列Z中の第４の大きい要素である場合、階数行列Zr中の対応する要素Zr(2,3)は４に等しい。この好ましい実施の態様においては、合成値QZ及び QVは以下の式で表しても良い：

QZ(k,l)= Z_r(k,l) ただし 0≦k<K;0≦l<L (5)
QV(k,l)= Vr(k,l) ただし0≦k<K;0≦l<L (6)

行列階数を用いることは任意である。他の実施の態様においては、一連の低解像度画像の合成した値は時間平均及び分散配列Z及びV中の要素の値である。これの他の代表的な実施の態様においては、合成値QZ及び QVは以下の式で表しても良い：
QZ(k,l)= Z(k,l) ただし 0≦k<K;0≦l<L (7)
QV(k,l)= V(k,l) ただし0≦k<K;0≦l<L (8)

４．ビデオ署名プロセッサ
ビデオ署名プロセッサ１７０は合成値QZ及び QVのK x L配列にハッシュ関数を適用し2組のハッシュビットを生成する。これらの２組のハッシュビットの組み合わせはセグメント３の内容を識別するビデオ署名を構成する。好ましくはハッシュ関数は合成値内の変化に相対的に反応せず、用いられる任意のハッシュキーの変化により反応するのが良い。入力される単一のビットの変化に対してさえもその出力が極めて大きく変化する典型的な暗号法的ハッシュ関数と異なり、この場合に適用される好ましいハッシュ関数は入力合成値の小さな変化に対して僅かの変化しか示さない出力を生成する。これにより、生成されたビデオ署名はビデオ内容の小さな変化に対して僅かしか変化しない。

一つの好適なハッシュ関数は一組のNz ベースマトリクスを用いてQZ合成値に対して一組のNzハッシュビットを生成し、一組のNvベースマトリクスを用いてQV合成値に対して一組のNvハッシュビットを生成する。ベースマトリクスの各々はKxL配列要素を持つ。これらの要素は好ましくは互いに直交し、又は直交に近い一組のベクトルを表す。以下に述べる実施の態様においては、ベースマトリクスの要素は、これらの要素はお互いに直交に近い一組のベクトルを表すという想定でランダム数発生器により生成される。合成値QZとともに用いられ各ベースマトリクスPZnのマトリクス要素pz_n（k,l)は以下の式から生成しても良い：
pz_n(k,l) = RGH-p_n（p_nは上バー付き）
ただし１≦n≦N_z, 0≦k<K, 0≦l<L (9)

ただし、RNG =ランダム数発生器の出力。

p_n(p_nは上バー付き）＝各マトリクスに対しRNGにより生成された数の平均値。

合成値QVとともに用いられる、各ベースマトリクスPV_nのマトリクス要素pv_n(k,l)は以下の式から生成しても良い：

pv_n(k,l) = RGN−p_n(p_nは上バー付き）ただし1 < n ≦ N_v, 0< k <K, 0<l <L (10)

発生器RNGは範囲[0, 1]の範囲に均一に分布するランダム又は擬似ランダム値を生成する。発生器の初期状態はハッシュキーにより初期化されても良く、キーはハッシュ関数及び生成されたビデオ署名を暗号化してより安全にする。

一組のハッシュビットBZ_nが合成値QZをまずNzベースマトリクスの各々に投射することにより得られ、以下の式で表わすことができる：

ここで
HZ_n =合成値QZをベースマトリクスPZ_nに投射したもの。

そして一組のハッシュビットBZ_nが各投射を全ての投射の中央値と比べ、もしその投射が閾値と等しいか又はそれを超える場合はハッシュビットを第一の値に設定し、もし投射が閾値より小さい場合はハッシュビットを第二の値に設定することにより得られる。このプロセスの一例は以下の式で表すことができる：

BZ_n=sgn(HZ_n−H_z（H_zは上バー付き）） (12)
ただし、sgn(x) =0 x < 0 の場合
1 x≧ 0

H_z（H_zは上バー付き） = 全ての投射HZ_n の中央値。

他の組のハッシュビットBV_nが以下の式で示す同様の方法により得られる。

ここでHV_n =合成値QVをベースマトリクスPV_nに投射したもの、及び
H_v（上バー付き） = 全ての投射HV_n の中央値。

ビデオ署名は２組のハッシュビットの連結から得られ、それは全ビット長がNz + Nvに等しい値を形成する。Nz及びNv に対する各値は、合成値QZ 及びQVの最終ビデオ署名に対する相対的貢献度合いに応じて、所望の全ビット荷重及びビット長を提供する様に設定しても良い。上に述べたテレビ信号のビデオ署名を生成する応用例ではNz及びNvはいずれも１８に等しく設定される。

C. 適用
１．署名セット
ビデオ署名発生器１００により生成される署名は署名が生成されるセグメントのビデオ内容を表す。セグメントより可なり長い信号の間隔の場合、ビデオ内容の信頼できる識別方法は、その間隔に含まれるセグメントに対する一組の署名を生成することにより得ることができる。

図５に示す略図はビデオフレームの幾つかのセグメントを含むある信号の間隔を表す図解である。５つのセグメントを表している。信号の第１のセグメント３はビデオフレーム3aから3dを含む。続く各セグメント4, 5, 6, 7はビデオフレーム4a から4d, 5aから5d, 6aから6d及び7aから7dを各々含む。上に記述した様に各セグメント中のビデオフレーム内容を処理するために、ビデオ署名発生器１００を用いて、一組の署名をこれらのセグメントについて生成することができる。

各セグメントは整数値のビデオフレームを含む。好ましくは、各セグメント中の一連のフレームは名目上の長さLに等しい時間の間隔の、又は名目上の長さLと示す一フレーム時間内のビデオ内容を伝送する。「フレーム時間」（frame period)の用語は一つのフレームにより伝送されるビデオ内容の時間の長さを言う。続く各セグメントのｔ＃で示す名目上の開始時間は補正値ΔTによりお互いに分離されている。この補正値は、ビデオ署名発生器１００により処理される信号の最も小さいフレームレート（frame rate）のフレーム時間に等しく設定しても良い。例えば、処理される最も小さいレートが１秒に１２フレームの場合、補正値ΔTは1/12秒又は約83.3ミリ秒に設定される。

名目上の長さLは、続いて生成されるビデオ署名の、フレームレート変換のような内容の修飾に対する感度を減少させることと、ビデオ署名により提供される表示の時間分解能を増すこととの競合する利害をバランスさせるように選択しても良い。経験的に言えば、ビデオ内容の約2秒に対応する名目上のセグメントの長さLが多くの場合においてよい結果を生み出すことを示す。

セグメント長さL及び補正値ΔTで述べた特定の値は単に例として挙げたものである。もし補正値ΔTがフレーム時間の整数値に等しくない場合、続く各セグメントの実際の開始時間の間の補正値は図に示す様に、異なる補正値Δ１及びΔ２によって変わり得る。もし望むならば、実際の開始時間の間の補正値の長さは名目上の補正値ΔTで示す一つのフレーム時間内にとどめても良い。

図６はセグメント３から７のビデオ内容から生成された一組のビデオ署名１９３から１９７を示すブロック概略図である。図５及び６を参照しつつ説明すると、ビデオ署名発生器１００はt1の名目上の開始時間に開始するセグメント３のビデオ内容を得て、このビデオ内容を処理しビデオ署名１９３を生成する。ビデオ署名発生器１００はその後t2の名目上の開始時間に開始するセグメント４のビデオ内容を得て、このビデオ内容を処理してビデオ署名１９４を生成する。発生器はセグメント５，６及び７のビデオ内容の処理を続け、その処理はt3, t4及びt5の名目上の開始時間にはじまり、ビデオ署名195, 196及び197を生成する。署名は本質的に所望の任意のセグメント番号に対して発生させてよい。

名目上の開始時間はビデオ内容に伴う任意の特定の時間データのいずれにも対応する必要はない。原則として、名目上の開始時間とビデオ内容を整合させることは任意である。例えば、ある実施の態様においては、名目上の開始時間は処理される信号の開始からの相対的な補正値として表される。各セグメントは、その各名目上の開始時間に最も近い開始時間を持つビデオ内容を伝送するビデオフレームで始まる。代替的に各セグメントは、各セグメントの名目上の開始時間を含むビデオフレームと共に開始しても良い。本質的に、開始するフレームと名目上の開始時間の間は任意に調整することができる。

２．コピーの検出
ビデオ内容のセグメントから生成された署名セットは、その内容が上に述べたものを含めて種々のプロセスにより修飾された場合にも、その内容を識別するために使用することができる。特定のビデオ内容が、修飾された場合においても、参照内容のコピーであるか否かを信頼できる方法により確認する能力は以下を含む種々の方法により用いることができる：
・許可されていないコピーの検出：ピアーツピア（peer to peer）サーバーのネットワークは内容の配布を容易にするが、これはまた法で保護された内容の許可を得ていない又は海賊版コピーの検出をより困難にすることもある。何故ならそれらの内容の多くのコピーはピアーツピアサーバーの間で存在しうるからである。ある設備では、もし許可を得ていないコピーがネットワーク上に存在するか否かをネットワークから利用可能な全ての内容の署名セットを生成し、これらの署名セットをデータベースの参照署名セットと対比することにより自動的に決定することができる。

・放送の確認：特定のビデオ内容を配布するための放送ネットワークと契約するビジネスでは、放送受信機により受信する信号から署名セットを生成し、これらの署名セットを特定の内容の参照署名セットと対比することにより契約条件が守られているか否かを確認することができる。

・受信の識別：放送ネットワークの評価を提供するビジネスでは受信信号から署名セットを生成し、これらの署名セットを参照署名セットと対比して受信機により受信される内容を識別することができる。

図７は上のリストに記載されたものを含む種々の応用例で用いることのできるシステムの概略ブロック図である。ビデオ署名発生器１００はパス３１から受信されたビデオ内容の参照流れから参照ビデオ署名セットを生成する。生成された参照ビデオ署名セットはビデオ署名データベース180中に記憶される。参照署名セットはその実施を容易にすることのできる他の情報と共に記憶させても良い。例えば、参照署名セットは基礎となる内容自体と共に、又は内容の所有者、内容のライセンス条件、内容の題名、内容の文章による記述の様な内容についての情報と共に記憶させても良い。

各参照署名セットはデータベースサーチキーを持つ。このキーは所望の任意の方法によるものであっても良い。好ましくはこのキーは関連する参照署名セット中の署名に基づくものであるか又はそれから創りだされるものであっても良い。

任意の特定のビデオ内容は署名データベースに記憶されている一以上の署名セットにより表される参照内容と対比してチェックしても良い。チェックされる内容は本明細書でテスト内容と呼ぶ。テストビデオ内容の同一性は、ビデオ署名発生器１０１に、パス３３から受信したテストビデオ内容から一以上のテストビデオ署名セットを生成させ、テストビデオ署名セットをビデオサーチ（検索）エンジン１８５に送ることによりチェックしても良い。ビデオサーチエンジン１８５は，テストビデオ署名セットと厳密な又はそれに近い対（match）をなす署名データベース１８０中の参照ビデオ署名セットの検索を試みる。

ある実施の態様においては、ビデオサーチエンジン１８５はビデオ署名発生器１０１から一以上のテスト署名セットを受領する。各テスト署名セットはテスト内容から生成された順番に、順番付けされた一連のテスト署名S_TESTを含む。ビデオサーチエンジン１８５は署名データベース１８０からパス１８２を経て参照署名セットを受領する。各参照署名セットは対応する参照内容から生成された順番に、順番付けされた一連の参照署名Srefを含む。ビデオサーチエンジン１８５はテスト内容と特定の参照内容の類似性を、テスト内容のテスト署名セットと特定の参照内容の参照署名セットの間の相違DSMの程度を計算することにより決定する。この相違DSMの程度はテスト署名セットの一連の署名中の対応する署名と特定の参照内容の参照署名セットの間のハミング距離から得られる。この相違の程度は以下の式の何れかを含む多くの方法により計算することができる。

式中
DSM=計算された相違の程度
HD[x, y] =署名x及びyの間のハミング距離
S_REF(S)=一連の参照署名中のs番目の署名
S_TEST ⁽S)= 一連のテスト署名中のs番目の署名

ビデオサーチエンジン１８５は、テスト署名セットとの相違を最小にする参照署名セットを求めて署名データベース１８０を検索する。この参照署名セットと関連する参照内容は、テスト内容と共通の起源を持つデータベース中の最有力候補である。もし相違の程度がある分類閾値より小さい場合、テスト署名セットと関連するテスト内容はマッチする参照署名セットと関連する参照内容とその起源を共にするが又はそのコピーであると見做される。経験の教えるところによると、各署名セット中の一連の署名が約２秒のビデオ内容を表す場合に使用すると種々のビデオ内容について良い結果が得られる。

以下の議論において説明を簡単にするために、もし、テスト内容が特定の参照内容と共通の起源を持つ場合に、テスト内容及びある特定の参照内容は「マッチ」するとする。上に述べた分類閾値として選ばれた値は、テスト及び参照内容がお互いにマッチする又はマッチしないと正しく認められることの可能性に影響を与えると思われる。それはまた不正確な決定がなされる可能性にも影響を与える。マッチングする内容がマッチしない内容として不正確に分類される「不正確な否定的決定」の可能性は、分類閾値が減少するに連れて増大する。逆にマッチしない内容がマッチする内容として不正確に分類される「不正確な肯定的決定」は、分類閾値が増大するに連れて増大する。

分類閾値は任意の所望の方法で設定してよい。分類閾値を設定するために用いられる一つの方法は、データベース１８０中の参照署名セットにより表される元のビデオ内容を得て、この元の内容のコピーを多く造ることである。コピーは種々の方法、例えば、フレームレート変換及び上に述べた他の意図的及び非意図的修飾により修飾される。この方法は各コピーのテスト署名セットを生成し、テスト署名セット及び参照署名セットの間の、第一の組のDSM相違値を算出する。この方法はまた、署名セットと元の内容と起源を同じくしない他のビデオ内容のテスト署名セットとの間の、第二のの組のDSM相違値を算出する。２つのセット中の値の範囲は重複しないこともある。もしそれらが重複する場合は、重複する量は通常、各セットの値の範囲の非常に小さい部分である。分類閾値は、重複した範囲内の値に、又はそれらが重複しない場合は、２つの範囲の間の値に設定される。この閾値は、その適用上の必要に応じて、不正確な肯定的決定、又は不正確な否定的決定を招来するリスクを比較衡量して調整しても良い。

D.実施
本発明の種々の特徴を取り入れた装置は、コンピュータにより、又は汎用コンピュータに見られるものと同様な構成品に接続されているデジタル信号プロセッサ（ＤＳＰ）の様なより専用化された構成品を含むある種の他の装置によるソフトウェアーの実行を含め種々の方法により実施することができる。図８は本発明の特徴を実施するために用いることのできる装置７０の概略ブロック図である。プロセッサ７２は計算機資源を提供する。ＲＡＭ７３は処理するためにプロセッサ７２により使用されるシステムランダムアクセスメモリー（ＲＡＭ）である。ＲＯＭ７４は装置７０を作動させるために必要なプログラムを記憶し及び、恐らく本発明の種々の特徴を実施する、読出し専用メモリー（ＲＯＭ）の様なある形式の永続記憶装置を表す。I/O制御７５は通信チャネル７６、７７により信号を受信し及び伝達するインターフェイス回路を表す。記載の実施の態様では、全ての主要なシステムの構成品はバス７１に接続され、バスは一以上の物理的バス又は論理バスを表すが、バスの基本設計は本発明の実施するために必要なものではない。

汎用コンピュータシステムにより実施される実施の態様では、追加の構成品が、キーボード又はマウス及びディスプレイの様な、装置との接続のために、及び磁気テープ又はディスク又は光学媒体の様な記憶媒体を持つ記憶装置７８を制御するために含んでも良い。これらの記憶媒体はオペレーティングシステム、ユーティリティ、及び応用の指示プログラムを記憶するために用いられ、そして本発明の種々の特徴を実施するプログラムを含んでも良い。

本発明の種々の特徴を実施するために必要な機能は、個別論理部品、集積回路、一以上のＡＳＩＣ及び/又はプログラム制御プロセッサを含み種々の幅広い方法により使用可能な構成品により実行することができる。これらの構成品が使用される方法は本発明にとっては重要ではない。本発明のソフトウェアーの実施は、超音速から紫外線周波数までを含む全スペクトルを通してベースバンド又は変調通信経路の様な種々の機械可読媒体により、又は磁気テープ、カード又はディスク、又は光カード又はディスク、及び紙を含む媒体上の検出可能なマークを含む実質的に任意の記憶技術を用いて情報を伝達する記憶媒体を通して伝送されても良い。

Claims

あるフレームレートにおいてある特定の解像度を有し、隣接するフレーム間のあるフレーム時間を有する、一連の像を表すビデオ内容を担うビデオ信号中の一連のフレームを受け取るステップ；
各々が前記ビデオ信号中に複数の隣接するフレームを含む複数のセグメントを形成するステップであって、連続するセグメントは、名目上の時間間隔に等しくはないが１フレーム以内で前記名目上の時間間隔に等しくなる時間間隔だけお互いにオフセットされた時間に開始するステップ；
前記セグメントによって伝送されるビデオ内容を処理し、一連の低解像度画像中の画素の平均及び分散を表す合成値を計算するステップであって、各低解像度画像は前記特定の解像度よりも低い解像度の一連の像の各像の少なくとも一部を表すステップ；及び
複数の署名を生成して、前記セグメントのビデオ内容を識別する署名セットを得るステップであって、前記署名セット中の各署名は、各セグメントの合成値から得られた一組の値にハッシュ関数を適用することにより生成されるステップを有する方法。
前記一組の値の各値は各合成値に等しい、請求項1の方法。
前記合成値の階数行列から前記一組の値を得るステップを含む請求項１の方法。
前記一連の像を表すピクセルをトリミングし、ダウンサンプルし、ピクセル群の平均強度から画素を生成することにより前記一連の低解像度画像を生成するステップを含む、請求項1乃至３の何れか1項の方法。
前記一連の像を表すピクセルをトリミングし、ダウンサンプルすることにより一連のフォーマット独立画像を生成するステップ；及び
各フォーマット独立画像中のピクセル群の平均強度から画素を生成するステップを含む、請求項１乃至３の何れか１項の方法。
ハッシュ関数を前記合成値から得られる一組の値に適用するステップは、前記一組の値をランダム値ベクトル要素を含む一組のベクトルに投射するステップを含み、各署名の各成分は前記一組の値を各ベクトルに投射することにより導出される、請求項１乃至５の何れか一項の方法
前記ベクトル要素は０から1の範囲に均一に分布するランダム変数と各ベクトルの全てのベクトル要素について均一に分布するランダム変数の平均値の差から得られる値を持ち；
前記一組の値を各ベクトルへの投射は前記一組の値と各ベクトルのベクトル要素の内積から得られ；及び
各署名の各成分は、もし前記一組の値の対応するベクトルへの投射が閾値より大きい場合は第一の値を持ち、もし前記一組の値の対応するベクトルへの投射が閾値より小さい場合は第二の値を持ち、前記閾値は前記一組の値の前記一組のベクトルへの投射の中央値に等しい、請求項６の方法。
第一のビデオ信号のセグメントのビデオ内容を識別する第一の署名セットを得るステップであって、第一のビデオ信号のセグメントはビデオ内容を、第１のフレームレートで第１の解像度を有し、隣接するフレームの間の第一の時間を持つ一連の像を表すフレームにより伝送するステップ；
第二のビデオ信号のセグメントのビデオ内容を識別する第二の署名セットを得るステップであって、第二のビデオ信号のセグメントはビデオ内容を、第２のフレームレートで第２の解像度を有し、隣接するフレームの間の第二の時間を持つ一連の像を表すフレームにより伝送し、第二のフレームレートは第一のフレームレートに等しくなく、第二の時間は第一の時間に等しくないステップ；及び
第一の署名セットと第二の署名セットの間の相違の程度を導出して、第一のビデオ信号と第二のビデオ信号が共通のソース像に発している各一連の像を表すビデオ内容を伝送するか否かを決定するステップを含む、請求項１の方法。
請求項1乃至８の何れか1項の方法のステップを実施する手段を含む装置。
コンピュータに請求項1乃至８の何れか1項の方法のステップを実行させるためのプログラムを記録したコンピュータ読み取り可能記録媒体。