JP6990998B2 - カメラワーク判定装置及びプログラム - Google Patents

Description

本発明は、コンピュータ及びハードディスクを用いた映像処理分野において、映像のカメラワークを判定する装置及びプログラムに関する。

映像のズームイン、パンニング等の「カメラワーク」は、映像の制作者が視聴者に被写体またはイベント内容を強く印象付けたい場合に用いられる傾向がある。したがって、カメラワークに関する情報は、見たい場面を検索する作業、注目すべき場面をセレクトしてダイジェスト映像を作る作業等を効率的に進めるために、重要な手掛かりとなる。

カメラワークを自動的に判定する技術としては、例えば特許文献１，２，３の手法が提案されている。

特許文献１の手法は、映像圧縮符号化データから動きベクトルを含む符号化情報を抽出し、動きベクトルからカメラワークまたは被写体と無関係な動きベクトルをノイズとして除去し、ノイズ除去後の動きベクトルからカメラワークを判定するものである。

特許文献２の手法は、フレーム内の右端、左端等の外縁ブロックについて、フレーム内予測とフレーム間予測との間の差に基づいて、時間方向の相関と空間方向の相関との大小関係を判定し、パンまたはチルトのカメラワークを判定するものである。

特許文献３の手法は、フレームの局所領域を空間微分及び時間微分することで、その移動方向を検出し、局所領域の移動方向からカメラワークを判定するものである。

特開平１０－１１２８６４号公報 特開２００８－２２５５９１号公報 特開平１０－２４３３４０号公報

前述の特許文献１，２の手法は、ＭＰＥＧ等の特定の符号化方式にて生成された映像を対象とするものであり、汎用性が低い。また、前述の特許文献３の手法は、映像の符号化方式に依存しないものであり、汎用性が高い。しかし、いずれの手法も、連続したフレーム画像間の動きデータを求める必要があり、処理時間が増大する可能性がある。

また、特許文献１，３の手法は、画像全体から求めた動きデータを用いるため、被写体の動きがノイズとなり、カメラワークの判定精度が低下する可能性がある。これに対し、特許文献２の手法は、画像の右端、左端等の外縁ブロックの動きデータを用いるため、特許文献１，３の手法と異なり、カメラワークの判定精度はさほど低下しない。

しかしながら、特許文献２の手法では、パンまたはチルトのカメラワークのみを判定するものであり、ズームインまたはズームアウトのカメラワークを判定することができない。特許文献２の手法により判定されるカメラワークは、所定の種類に限定されていることから、カメラワークの情報を用いて所望の場面を検索する作業等を進めるのに効率が悪く、不十分であるという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定可能なカメラワーク判定装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１のカメラワーク判定装置は、映像から所定のT₁フレーム毎に第１フレーム画像をサンプリングし、前記第１フレーム画像から所定のT₂フレーム先（T₁＞T₂とする。）の第２フレーム画像をサンプリングし、前記T₁フレームの間隔毎に、前記第１フレーム画像及び前記第２フレーム画像をペアとした画像ペアを生成するフレーム画像サンプリング部と、前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した、画像の左端及び右端または前記画像の上端及び下端の複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類として「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、前記画像間カメラワーク判定部により判定された同じ前記画像間カメラワーク種が継続する前記画像ペアの数を継続区間の長さとして求め、前記継続区間の長さが所定の閾値以上であるか否かを判定し、前記継続区間の長さが前記閾値以上であると判定した場合、前記継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力するカメラワーク判定部と、を備え、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームイン」として判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームアウト」として判定することを特徴とする。

また、請求項２のカメラワーク判定装置は、請求項１に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、を備えたことを特徴とする。

また、請求項３のカメラワーク判定装置は、請求項２に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記継続区間の長さが前記閾値以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、を備えたことを特徴とする。

さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載のカメラワーク判定装置として機能させることを特徴とする。

以上のように、本発明によれば、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。

本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。 フレーム画像サンプリング部により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。 画像間カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。 背景領域R_nの例を説明する図である。 方向kの例を説明する図である。 画像ペアP*[i]の背景領域R_nにおける主方向番号C_R[i,n]及び主方向動き量d_R[i,n]の例を説明する図である。 画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求めるカメラワーク判定及び動き量算出部の処理例を示すフローチャートである。 主方向番号C_R[i,n]及び画像間カメラワーク種C_P[i]の関係を説明する図である。 カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。 カメラワーク判定部の処理例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の概要〕
まず、本発明の概要について説明する。本発明者は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となるように、鋭意検討を行った。その結果、本発明者は、次の（１）及び（２）を見出した。

（１）一般的な映像のカメラワークは瞬間的に変化するものではなく、一定時間継続する傾向がある。そこで、本発明では、連続したフレーム画像の動きデータを用いるのではなく、所定間隔でサンプリングしたフレーム画像の動きデータを用いてカメラワークを判定する。これにより、十分な精度のカメラワーク判定を実現すると共に、高速化を実現することができる。

（２）複数の背景領域の動きデータを比較することで、ズームインまたはズームアウトのカメラワークを判定することができる。そこで、本発明では、被写体の動きに影響されないように背景部分の動きのみを利用し、背景部分を複数の領域に分割し、分割した背景領域毎の動きデータを比較することでカメラワークを判定する。これにより、ズームイン及びズームアウトを含む、より詳細なカメラワークを判定することができる。

〔全体構成〕
次に、本発明の実施形態によるカメラワーク判定装置の全体構成について説明する。図１は、本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。このカメラワーク判定装置１は、フレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２を備えている。

フレーム画像サンプリング部１０は、番組映像を入力し、番組映像からT₁フレーム毎にフレーム画像をサンプリングし、画像系列P[1],...,P[N_P]を生成する。N_Pは、サンプリングされたフレーム画像の数を示す。

フレーム画像サンプリング部１０が入力する番組映像は、符号化方式に依存しない映像である。したがって、当該カメラワーク判定装置１は、汎用性の高い処理を実現することができる。

フレーム画像サンプリング部１０は、各フレーム画像P[i]について、当該フレーム画像P[i]の位置からT₂フレーム先のフレーム画像をP'[i]として、フレーム画像P'[i]をサンプリングする。T₁＞T₂である。

フレーム画像サンプリング部１０は、フレーム画像P[i]及びフレーム画像P'[i]をペアとして画像ペアP*[i]を生成し、画像ペア系列P*[1],...,P*[N_P]を生成する。そして、フレーム画像サンプリング部１０は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を画像間カメラワーク判定部１１に出力する。

図２は、フレーム画像サンプリング部１０により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。図２に示すように、番組映像からT₁フレーム毎にフレーム画像P[i]がサンプリングされ、画像系列P[1],...,P[N_P]が生成される。そして、各フレーム画像P[i]について、そこからT₂フレーム先のフレーム画像P'[i]がサンプリングされる。

フレーム画像P[i]及びフレーム画像P'[i]をペアとした画像ペアP*[i]が生成され、画像ペア系列P*[1],...,P*[N_P]が生成される。

これにより、番組映像からフレーム画像がサンプリングされ、所定間隔毎に画像ペアP*[i]が生成される。当該カメラワーク判定装置１は、番組映像の連続した全てのフレーム画像ではなく、所定間隔でサンプリングした画像ペアP*[i]を用いてカメラワークを判定するから、処理負荷が低減すると共に、処理時間も短くて済む。

図１に戻って、画像間カメラワーク判定部１１は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を入力する。

画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。そして、画像間カメラワーク判定部１１は、画像間カメラワーク種系列C_P[1],...,C_P[N_P]及び画像間動き量系列d_P[1],...,d_P[N_P]を生成する。

画像間カメラワーク判定部１１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]をカメラワーク判定部１２に出力する。画像間カメラワーク判定部１１の詳細については後述する。

画像間カメラワーク種C_P[i]は、「ズームイン」「ズームアウト」「左パン」「右パン」「上チルト」「下チルト」「静止」「その他」からなる８種類のカメラワークとする。

これにより、画像ペアP*[i]のそれぞれについて、「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種C_P[i]、及びカメラの動き量を示す画像間動き量d_P[i]が求められる。

カメラワーク判定部１２は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]を入力する。そして、カメラワーク判定部１２は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。

カメラワーク判定部１２は、各カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定する。また、カメラワーク判定部１２は、各カメラワーク区間について、画像間カメラワーク種C_P[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量d_P[i]に基づいてカメラ動き量d[n]を算出する。

カメラワーク判定部１２は、各カメラワーク区間について、開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成する。N_Cは、判定されたカメラワーク区間の数を示す。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。カメラワーク判定部１２の詳細については後述する。

これにより、当該カメラワーク判定装置１は、「ズームイン」「ズームアウト」を含むカメラワークを判定するから、より詳細なカメラワークを判定することができる。

〔画像間カメラワーク判定部１１〕
次に、図１に示した画像間カメラワーク判定部１１について詳細に説明する。前述のとおり、画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。

図３は、画像間カメラワーク判定部１１の構成例及び入出力データ例を示すブロック図である。この画像間カメラワーク判定部１１は、背景領域動きヒストグラム算出部２０及びカメラワーク判定及び動き量算出部２１を備えている。

背景領域動きヒストグラム算出部２０は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]を入力する。そして、背景領域動きヒストグラム算出部２０は、画像ペアP*[i]を構成する２枚のフレーム画像について、ブロックマッチング等の既存手法を用いて、数ピクセル間隔の各画素の動き差分ベクトルを求める。

背景領域動きヒストグラム算出部２０は、分割した各背景領域R_n（n=1,...,6）について、動き差分ベクトルを所定の複数の方向kに分類し、方向k毎に動き差分ベクトルの数を積算し、動きヒストグラムを求める。すなわち、背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）について、方向k毎に動き差分ベクトルの数の積算値である度数h[i,n,k]（k＝1,...,8）を求める。背景領域R_nは、被写体の動きに影響されない領域である。

また、背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）について方向k毎に、方向kに属する動き差分ベクトルの長さの和を算出し、その和を度数h[i,n,k]で除算することで、以下の式にて、動き量の平均値d_A[i,n,k]を求める。
［数１］
d_A[i,n,k]＝（方向kに属する動き差分ベクトルの長さの和）／h[i,n,k] ・・・（１）

これにより、各背景領域R_n（n=1,...,6）について方向k毎に、動き差分ベクトルの長さの平均値が動き量の平均値d_A[i,n,k]として算出される。

背景領域動きヒストグラム算出部２０は、各背景領域R_n（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値d_A[i,n,k]を、カメラワーク判定及び動き量算出部２１に出力する。

ここで、パラメータiは、画像ペアP*[i]の番号であり、i=1,...,N_Pである。パラメータnは、背景領域R_nの番号であり、n=1,...,6とする。パラメータkは、方向kの番号であり、k＝1,...,8とする。

図４は、背景領域R_nの例を説明する図である。図４には、画像の左端上、左端中央、左端下、右端上、右端中央及び右端下の６つの背景領域R_n（n=1,...,6）が示されている。画像の横幅をＷとすると、画像の左端上の背景領域R₁、左端中央の背景領域R₂、左端下の背景領域R₃、右端上の背景領域R₄、右端中央の背景領域R₅及び右端下の背景領域R₆の横幅は、それぞれ０．２Ｗである。

図５は、方向kの例を説明する図である。図５には、中央点を起点とした８つの方向k＝1,...,8が示されている。方向1は右、方向2は右下、方向3は下、方向4は左下、方向5は左、方向6は左上、方向7は上、方向8は右上の向きをそれぞれ示す。

図３に戻って、カメラワーク判定及び動き量算出部２１は、背景領域動きヒストグラム算出部２０から、各背景領域R_n（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値d_A[i,n,k]を入力する。

カメラワーク判定及び動き量算出部２１は、各背景領域R_nについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを背景領域R_nの主方向番号C_R[i,n]に設定する。また、カメラワーク判定及び動き量算出部２１は、背景領域R_nの主方向番号C_R[i,n]（の方向k）における動き量の平均値d_A[i,n,C_R[i,n]]を特定し、これを背景領域R_nの主方向動き量d_R[i,n]に設定する。

図６は、画像ペアP*[i]の背景領域R_nにおける主方向番号C_R[i,n]及び主方向動き量d_R[i,n]の例を説明する図である。図６には、画像ペアP*[i]の背景領域R_nの各方向kについて、度数h[i,n,k]及び動き量の平均値d_A[i,n,k]が示されている。カメラワーク判定及び動き量算出部２１により、度数h[i,n,k]が最大値を取る方向kとして方向k=3が特定され、主方向番号C_R[i,n]=3が設定される。また、主方向番号C_R[i,n]=3（の方向k=3）における動き量の平均値d_A[i,n,C_R[i,n]]=d_A[i,n,3]が特定され、主方向動き量d_R[i,n]=3.4が設定される。

図３に戻って、カメラワーク判定及び動き量算出部２１は、各背景領域R_nの主方向番号C_R[i,n]及び主方向動き量d_R[i,n]に基づいて、画像ペアP*[i]の画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求める。そして、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]をカメラワーク判定部１２に出力する。

図７は、画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を求めるカメラワーク判定及び動き量算出部２１の処理例を示すフローチャートであり、図８は、主方向番号C_R[i,n]及び画像間カメラワーク種C_P[i]の関係を説明する図である。まず、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]の番号であるパラメータiについて、i=1を設定する（ステップＳ７０１）。

カメラワーク判定及び動き量算出部２１は、「ズームイン」の条件（主方向番号C_R[i,n]について、5≦C_R[i,1]≦7、かつ4≦C_R[i,2]≦6、かつ3≦C_R[i,3]≦5、かつC_R[i,4]=1または7または8、かつC_R[i,5]=1または2または8、かつ1≦C_R[i,6]≦3であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０２）。D₁は予め設定された値である。「ズームイン」の主方向番号C_R[i,n]の条件は、図８（１）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の中央から放射状に外側へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たすと判定した場合（ステップＳ７０２：Ｙ）、画像間カメラワーク種C_P[i]＝「ズームイン」を設定する（ステップＳ７０３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たさないと判定した場合（ステップＳ７０２：Ｎ）、ステップＳ７０４へ移行する。

カメラワーク判定及び動き量算出部２１は、「ズームアウト」の条件（主方向番号C_R[i,n]について、1≦C_R[i,1]≦3、かつC_R[i,2]＝1または2または8、かつC_R[i,3]＝1または7または8、かつ3≦C_R[i,4]≦5、かつ4≦C_R[i,5]≦6、かつ5≦C_R[i,6]≦7であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０４）。「ズームアウト」の主方向番号C_R[i,n]の条件は、図８（２）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の外側から中心へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たすと判定した場合（ステップＳ７０４：Ｙ）、画像間カメラワーク種C_P[i]＝「ズームアウト」を設定する（ステップＳ７０５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たさないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０６へ移行する。

カメラワーク判定及び動き量算出部２１は、「左パン」の条件（主方向番号C_R[i,n]について、全てのC_R[i,n]＝1または2または8であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０６）。「左パン」の主方向番号C_R[i,n]の条件は、図８（３）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の右側へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たすと判定した場合（ステップＳ７０６：Ｙ）、画像間カメラワーク種C_P[i]＝「左パン」を設定する（ステップＳ７０７）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たさないと判定した場合（ステップＳ７０６：Ｎ）、ステップＳ７０８へ移行する。

カメラワーク判定及び動き量算出部２１は、「右パン」の条件（主方向番号C_R[i,n]について、4≦全てのC_R[i,n]≦6であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７０８）。「右パン」の主方向番号C_R[i,n]の条件は、図８（４）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の左側へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たすと判定した場合（ステップＳ７０８：Ｙ）、画像間カメラワーク種C_P[i]＝「右パン」を設定する（ステップＳ７０９）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たさないと判定した場合（ステップＳ７０８：Ｎ）、ステップＳ７１０へ移行する。

カメラワーク判定及び動き量算出部２１は、「上チルト」の条件（主方向番号C_R[i,n]について、2≦全てのC_R[i,n]≦4であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７１０）。「上チルト」の主方向番号C_R[i,n]の条件は、図８（５）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の下側へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たすと判定した場合（ステップＳ７１０：Ｙ）、画像間カメラワーク種C_P[i]＝「上チルト」を設定する（ステップＳ７１１）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たさないと判定した場合（ステップＳ７１０：Ｎ）、ステップＳ７１２へ移行する。

カメラワーク判定及び動き量算出部２１は、「下チルト」の条件（主方向番号C_R[i,n]について、6≦全てのC_R[i,n]≦8であり、かつ主方向動き量d_R[i,n]について、全てのd_R[i,n]≧D₁（n=1,...,6））を満たすか否かを判定する（ステップＳ７１２）。「下チルト」の主方向番号C_R[i,n]の条件は、図８（６）の矢印に示すとおり、全ての主方向番号C_R[i,n]の示す動き方向が、フレーム画像の上側へ向いていることである。

カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たすと判定した場合（ステップＳ７１２：Ｙ）、画像間カメラワーク種C_P[i]＝「下チルト」を設定する（ステップＳ７１３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たさないと判定した場合（ステップＳ７１２：Ｎ）、ステップＳ７１４へ移行する。

カメラワーク判定及び動き量算出部２１は、「静止」の条件（主方向動き量d_R[i,n]について、d_R[i,n]＜D₂（n=1,...,6））を満たすか否かを判定する（ステップＳ７１４）。D₂は予め設定された値である。

カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たすと判定した場合（ステップＳ７１４：Ｙ）、画像間カメラワーク種C_P[i]＝「静止」を設定する（ステップＳ７１５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たさないと判定した場合（ステップＳ７１４：Ｎ）、画像間カメラワーク種C_P[i]＝「その他」を設定する（ステップＳ７１６）。

カメラワーク判定及び動き量算出部２１は、ステップＳ７０３、ステップＳ７０５、ステップＳ７０７、ステップＳ７０９、ステップＳ７１１、ステップＳ７１３、ステップＳ７１５またはステップＳ７１６から移行して、以下の式にて、各背景領域R_nの主方向動き量d_R[i,n]を加算して平均化し、画像間動き量d_P[i]を算出する（ステップＳ７１７）。
［数２］

カメラワーク判定及び動き量算出部２１は、パラメータiをインクリメントし（i=i+1）（ステップＳ７１８）、パラメータiが画像数N_P（画像ペアP*[i]の数）よりも大きいか否かを判定する（ステップＳ７１９）。

カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数N_Pよりも大きくないと判定した場合（ステップＳ７１９：Ｎ）、ステップＳ７０２へ移行する。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数N_Pよりも大きいと判定した場合（ステップＳ７１９：Ｙ）、処理を終了する。これにより、画像ペアP*[i]の画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]が求められる。

〔カメラワーク判定部１２〕
次に、図１に示したカメラワーク判定部１２について詳細に説明する。前述のとおり、カメラワーク判定部１２は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定し、各カメラワーク区間について、開始フレーム番号T_S[n]、終了フレーム番号T_E[n]及びカメラワーク種C[n]を特定し、カメラ動き量d[n]を算出する。

図９は、カメラワーク判定部１２の構成例及び入出力データ例を示すブロック図である。このカメラワーク判定部１２は、カメラワーク区間判定部３０及びカメラワークデータ生成部３１を備えている。

カメラワーク区間判定部３０は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[N_P]、画像間カメラワーク種C_P[i]からなる画像間カメラワーク種系列C_P[1],...,C_P[N_P]、及び画像間動き量d_P[i]からなる画像間動き量系列d_P[1],...,d_P[N_P]を入力する。そして、カメラワーク区間判定部３０は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間を特定し、当該区間をカメラワーク区間として判定する。

カメラワークデータ生成部３１は、カメラワーク区間判定部３０により判定された各カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する画像間カメラワーク種C_P[i]をカメラワーク種C[n]として特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する全ての画像間動き量d_P[i]を加算し、加算結果をカメラ動き量d[n]として求める。

カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成する。そして、カメラワークデータ生成部３１は、これらのデータをカメラワークデータとして出力する。

図１０は、カメラワーク判定部１２の処理例を示すフローチャートである。カメラワーク判定部１２は、画像間カメラワーク判定部１１から画像ペアP*[i]、画像間カメラワーク種C_P[i]及び画像間動き量d_P[i]を入力する（ステップＳ１００１）。そして、カメラワーク判定部１２は、n=1、i=1、カメラ動き量d[n]=画像間動き量d_p[i]、i₀=1及びCount=0を設定する（ステップＳ１００２）。nはカメラワーク区間の番号を示し、i及びi₀は画像ペアP*[i]の番号を示し、Countはカメラワーク区間の長さを示す。

カメラワーク判定部１２は、i番目の画像ペアP*[i]の画像間カメラワーク種C_P[i]とi+1番目の画像ペアP*[i+1]の画像間カメラワーク種C_P[i+1]とが同じであるか否かを判定する（C_P[i]=C_P[i+1]？、ステップＳ１００３）。

カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種C_P[i]と画像間カメラワーク種C_P[i+1]とが同じであると判定した場合（ステップＳ１００３：Ｙ）、カメラ動き量d[n]にi+1番目の画像間動き量d_p[i+1]を加算し、新たなカメラ動き量d[n]を求める（d[n]=d[n]+d_p[i+1]、ステップＳ１００４）。そして、カメラワーク判定部１２は、カメラワーク区間の長さCountをインクリメントする（Count=Count+1、ステップＳ１００５）。

カメラワーク判定部１２は、画像ペアP*[i]の番号iが画像ペアP*[i]の数N_p以上であるか否かを判定する（i≧N_p？、ステップＳ１００６）。すなわち、カメラワーク判定部１２は、ステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったか否かを判定する。

カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数N_p以上でないと判定した場合（ステップＳ１００６：Ｎ）、すなわちステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1、ステップＳ１００７）、ステップＳ１００３へ移行する。

一方、カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数N_p以上であると判定した場合（ステップＳ１００６：Ｙ）、すなわちステップＳ１００３～ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００８へ移行する。

一方、カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種C_P[i]と画像間カメラワーク種C_P[i+1]とが同じでないと判定した場合（ステップＳ１００３：Ｎ）、ステップＳ１００８へ移行する。

カメラワーク判定部１２は、ステップＳ１００３（Ｎ）またはステップＳ１００６（Ｙ）から移行して、カメラワーク区間の長さCountが予め設定された閾値Th以上であるか否かを判定する（Count≧Th？、ステップＳ１００８）。

カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上であると判定した場合（ステップＳ１００８：Ｙ）、番号nのカメラワーク区間の開始フレーム番号T_S[n]、終了フレーム番号T_E[n]、カメラワーク種C[n]及びカメラ動き量d[n]を設定する（ステップＳ１００９）。

具体的には、カメラワーク判定部１２は、画像ペアP*[i₀]を構成する２枚のフレーム画像P[i₀],P'[i₀]のうちフレーム画像P[i₀]のフレーム番号を、当該カメラワーク区間の開始フレーム番号T_S[n]に設定する。また、カメラワーク判定部１２は、画像ペアP*[i]を構成する２枚のフレーム画像P[i],P'[i]のうちフレーム画像P'[i]のフレーム番号を、当該カメラワーク区間の終了フレーム番号T_E[n]に設定する。

さらに、カメラワーク判定部１２は、画像ペアP*[i₀]の画像間カメラワーク種C_P[i₀]を、当該カメラワーク区間のカメラワーク種C[n]に設定する。また、カメラワーク判定部１２は、ステップＳ１００４にて算出したカメラ動き量d[n]を、当該カメラワーク区間のカメラ動き量d[n]に設定する。

カメラワーク判定部１２は、ステップＳ１００９から移行して、カメラワーク区間の番号nをインクリメントする（n=n+1、ステップＳ１０１０）。

一方、カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上でないと判定した場合（ステップＳ１００８：Ｎ）、ステップＳ１０１１へ移行する。

カメラワーク判定部１２は、ステップＳ１００８（Ｎ）またはステップＳ１０１０から移行して、画像ペアP*[i]の番号iが画像ペアP*[i]の数N_p以上であるか否かを判定する（i≧N_p？、ステップＳ１０１１）。すなわち、カメラワーク判定部１２は、ステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったか否かを判定する。

カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数N_p以上でないと判定した場合（ステップＳ１０１１：Ｎ）、すなわちステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1）、カメラ動き量d[n]に画像間動き量d_p[i]を設定し（d[n]=d_p[i]）、i₀=1及びCount=0を設定し（ステップＳ１０１２）、ステップＳ１００３へ移行する。これにより、次のカメラワーク区間または次の画像ペアP*[i]について処理が行われる。

一方、カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数N_p以上であると判定した場合（ステップＳ１０１１：Ｙ）、すなわちステップＳ１００３～ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００９にて設定した開始フレーム番号T_S[n]、終了フレーム番号T_E[n]、カメラワーク種C[n]及びカメラ動き量d[n]から、開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成し、これらの系列をカメラワークデータとして出力する（ステップＳ１０１３）。

以上のように、本発明の実施形態によるカメラワーク判定装置１によれば、フレーム画像サンプリング部１０は、番組映像からT₁フレーム毎にフレーム画像P[i]をサンプリングし、フレーム画像P[i]からT₂フレーム先のフレーム画像P'[i]をサンプリングし、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を生成する。

画像間カメラワーク判定部１１は、画像ペアP*[i]について、２枚のフレーム画像P[i],P'[i]間における分割した背景領域R_nのみの動きデータに基づいて、画像間カメラワーク種C_P[i]を判定すると共に、画像間動き量d_P[i]を算出する。

具体的には、画像間カメラワーク判定部１１の背景領域動きヒストグラム算出部２０は、分割した背景領域R_nについて、２枚のフレーム画像P[i],P'[i]から求めた動き差分ベクトルを方向kに分類し、方向k毎の動きヒストグラムである動き差分ベクトルの度数h[i,n,k]を求める。また、背景領域動きヒストグラム算出部２０は、背景領域R_nについて、方向kに属する動き差分ベクトルの長さの和を度数h[i,n,k]で除算し、方向k毎に動き量の平均値d_A[i,n,k]を求める。そして、背景領域動きヒストグラム算出部２０は、背景領域R_nについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを主方向番号C_R[i,n]に設定し、主方向番号C_R[i,n]の動き量の平均値d_A[i,n,C_R[i,n]]を主方向動き量d_R[i,n]に設定する。

また、画像間カメラワーク判定部１１のカメラワーク判定及び動き量算出部２１は、背景領域R_nの主方向番号C_R[i,n]及び主方向動き量d_R[i,n]に基づいて、画像間カメラワーク種C_P[i]を求め、背景領域R_nの主方向動き量d_R[i,n]の平均を画像間動き量d_P[i]として求める。

カメラワーク判定部１２は、画像間カメラワーク種C_P[i]に基づいてカメラワーク区間を判定し、カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定し、画像間カメラワーク種C_P[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量d_P[i]に基づいてカメラ動き量d[n]を算出する。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。

具体的には、カメラワーク判定部１２のカメラワーク区間判定部３０は、同じ画像間カメラワーク種C_P[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。また、カメラワークデータ生成部３１は、カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号T_S[n]及び終了フレーム番号T_E[n]を特定し、当該カメラワーク区間に対応する画像間カメラワーク種C_P[i]をカメラワーク種C[n]として特定し、当該カメラワーク区間に対応する全ての画像間動き量d_P[i]を加算し、加算結果をカメラ動き量d[n]として求める。そして、カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列T_S[1],...,T_S[N_C]、終了フレーム番号系列T_E[1],...,T_E[N_C]、カメラワーク種系列C[1],...,C[N_C]及びカメラ動き量系列d[1],...,d[N_C]を生成し、これらのデータをカメラワークデータとして出力する。

これにより、映像の符号化方式に依存しない番組映像を処理対象とするから、符号化方式に応じた処理が不要となる。また、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を用いるようにしたから、連続したフレーム画像を用いる必要がなく、処理時間を短くすることができる。

また、分割した複数の背景領域R_nを用いるようにしたから、「パン」「チルト」「静止」に加え、「ズームイン」及び「ズームアウト」のカメラワーク種C[n]も判定することができる。

したがって、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、分割した背景領域R_nの数を６（n=1,...,6）としたが、本発明はその数を限定するものではなく、２以上であればよい。また、図４に示した背景領域R_nは、画面の左端及び右端に設定するようにしたが、例えば画面の上端及び下端に設定するようにしてよいし、左端、右端、上端及び下端に設定するようにしてもよい。

また、前記実施形態では、方向kの数を８（k＝1,...,8）としたが、本発明はその数を限定するものではなく、２以上であればよい。

尚、本発明の実施形態によるカメラワーク判定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。カメラワーク判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。カメラワーク判定装置１に備えたフレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ カメラワーク判定装置
１０ フレーム画像サンプリング部
１１ 画像間カメラワーク判定部
１２ カメラワーク判定部
２０ 背景領域動きヒストグラム算出部
２１ カメラワーク判定及び動き量算出部
３０ カメラワーク区間判定部
３１ カメラワークデータ生成部

Claims (4)

1. 映像から所定のT₁フレーム毎に第１フレーム画像をサンプリングし、前記第１フレーム画像から所定のT₂フレーム先（T₁＞T₂とする。）の第２フレーム画像をサンプリングし、前記T₁フレームの間隔毎に、前記第１フレーム画像及び前記第２フレーム画像をペアとした画像ペアを生成するフレーム画像サンプリング部と、
   前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した、画像の左端及び右端または前記画像の上端及び下端の複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類として「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、
   前記画像間カメラワーク判定部により判定された同じ前記画像間カメラワーク種が継続する前記画像ペアの数を継続区間の長さとして求め、前記継続区間の長さが所定の閾値以上であるか否かを判定し、前記継続区間の長さが前記閾値以上であると判定した場合、前記継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力するカメラワーク判定部と、
   を備え、
   前記画像間カメラワーク判定部は、
   前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームイン」として判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種を「ズームアウト」として判定する、
   ことを特徴とするカメラワーク判定装置。
2. 請求項１に記載のカメラワーク判定装置において、
   前記画像間カメラワーク判定部は、
   前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、
   前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、
   前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、
   を備えたことを特徴とするカメラワーク判定装置。
3. 請求項２に記載のカメラワーク判定装置において、
   前記カメラワーク判定部は、
   同じ前記画像間カメラワーク種が継続する前記継続区間の長さが前記閾値以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、
   前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、
   を備えたことを特徴とするカメラワーク判定装置。
4. コンピュータを、請求項１から３までのいずれか一項に記載のカメラワーク判定装置として機能させるためのプログラム。

Images