JP4007406B2 - 動画像の特徴場面検出方法 - Google Patents

Description

本発明は，ビデオや映画等の動画像を短時間で概要把握を行うための早見する方法及び
装置に係り，特にビデオテープやビデオディスクに格納された動画像からカット（１台の
カメラで撮影された途切れのない動画像区間）間のデゾルブ（連続するカットA，Bがある
とき，そのカットの変わり目において，Aがフェードアウトすると同時にBがフェードイン
する特殊映像効果）を検出することによって動画像を代表する場面を特定する動画像の特
徴場面検出方法及び装置に関する。

近年，通常のテレビ放送に加えて，衛星放送やケーブルテレビなどが普及しつつあり，
放送の多チャンネル化が進行している。今後，情報ハイウエイと称される広帯域の通信基
盤が整備されれば，放送の配信が容易になり，現状よりもさらに多くの放送業者が参入し
て，多チャンネル化が加速されると考えられる。こうした大量に放送される情報の中から
，視聴者個人個人にとって有用な情報と無用な情報とを区別し，選択することは非常に手
間と時間のかかる作業である。そのため，映像内容を手早く把握するための要約情報（ダ
イジェスト）を効率よく作成する技術の研究が進められている。ダイジェストを作成する
にあたって最も基本的かつ不可欠な処理は，映像中から重要な場面を選び出すことである
。もし，映像中の場面場面の重要度を計算機で自動的に判定できれば，ダイジェストの作
成は非常に簡単になる。例えば，特開平4-294694号では，野球中継において，映像中の移
動物体の移動結果と，ある特定のイベントとの対応（ランナーの本塁位置への移動と，得
点があったこととの対応等）に着目して，重要度の高い場面を選択する方法が示されてい
る。

特開平４−２９４６９４号公報

しかしながら，移動物体の動き解析は，現状の画像認識の技術水準では精度や処理速度
が十分でなく，それによって得られた動きパターンと，特定のイベントとの対応が必ずし
も対応するとは限らないという問題点がある。また，正しくイベントが検出できた場合で
も，その前後のどの範囲までを重要な場面として切り出せばよいのかを自動判定させるこ
とは極めて困難である。さらに，ダイジェスト自体，映像全体を視聴するのに比べれば格
段に短い時間ながら，やはり一定の時間をかけて視聴する必要性は残っており，もっと簡
潔に概要把握できるような技術が求められている。

本発明の目的は，映像中の重要な場面かどうかの判定とその範囲の特定とを簡便かつ高
速に行うための方法を提供することにある。また，映像がどんな分野（ニュース，スポー
ツ中継等）に属するかを判定して分類し，ユーザの映像選択の一助となる情報として提供
することにある。

放送映像については，多くの場合，放送局側で重要な場面を強調するような各種の映像
効果が施されている。この性質はスポーツ中継の場合に特に顕著であり，例えば，得点が
入った場合にはリプレイを放映するといった特徴がある。リプレイ映像は視点の異なるカ
メラで撮像された映像が使われることが多く，単純に全く同じ映像かどうかでリプレイ映
像か否かを判定することはできないが，そうしたリプレイ映像に切り替わるときには，デ
ゾルブやワイプといった特殊映像効果が用いられ，通常の放送から一時的に外れることを
視聴者が明確に分かるような工夫がされている。さらにまた通常の放送に戻るときにも同
様の映像効果が利用される。したがって，こうした特殊映像効果を検出することにより，
重要な場面を選び出すことが可能になる。

そこで，対象となる動画像をフレーム単位で時系列に処理装置に入力し，該処理装置で
は，フレーム中の各画素の色もしくは輝度が，連続する複数枚のフレーム群にまたがって
，該フレーム群の最初のフレームの色もしくは輝度の値から，最後のフレームの色もしく
は輝度の値に向けて単調に近づく傾向で推移しているかどうかを調べ，該条件を満たす画
素の数から画面全体としての変化を表す評価値を計算し，該評価値が予め定めた許容範囲
外となった時点で，該連続する複数枚のフレームにまたがる区間に，デゾルブ等の特殊映
像効果による場面の変わり目があったと判定し，該区間もしくはその近傍を動画像中の特
徴的な点であると判定する。

また，対象となる動画像をフレーム単位で時系列に処理装置に入力し，または対象とな
る音声を時系列に処理装置に入力し，該処理装置では，カット変化や色調を含む複数の種
類の画像特徴量の変化を検出する手段と，必要に応じて話者変化を含む音声特徴量の変化
を検出する手段を設け，該検出手段により，変化が発生したこと，もしくは複数の変化が
同時または特定の順番で発生したことからなる特徴量に基づき，番組の種類を判別する。

本発明によれば，重要な場面とその範囲を同時に得ることができ，ダイジェスト映像が
自動で作成できる効果がある。一般にリプレイされる場面は重要な場面であることが多い
が、本発明では、デゾルブを含む特殊映像効果の区間を検出することによって、放送中の
リプレイ場面を精度よく検出できる。

さらにまた，カット変化や色調を含む複数の種類の画像特徴量の変化が同時または特定
の順番で発生したことからなる特徴量に基づき，番組の種類を判別する手段によって，映
像の種類が自動的に判定されるので，視聴者にとって興味のない種類の映像であれば，ダ
イジェスト映像を見るまでもなく却下でき，効率的な映像選択ができる効果がある。また
，この映像の種類の判定においては，簡単な画像や音声の変化とその組み合わせから判定
を行うので，処理が高速に行える。

放送でリプレイされる場面は，専門家が重要であると判定した部分であり，そうしたリ
プレイ場面を検出できれば，ダイジェスト作成が極めて容易になる。本発明によれば，デ
ゾルブを含む特殊映像効果による場面の変わり目が検出できるため，そうした特殊効果に
相前後して流される重要な場面を精度よく抽出できる。また同時に，その場面の範囲も得
ることができる。

さらに，カット変化や色調を含む複数の種類の画像特徴量の変化が同時または特定の順
番で発生したことからなる特徴量に基づき，番組の種類を判別する手段によって，映像の
種類が自動的に判定されるので，視聴者にとって興味のない種類の映像であれば，ダイジ
ェスト映像を見るまでもなく却下でき，効率的な映像選択ができる。また，この映像の種
類の判定においては，簡単な画像や音声の変化とその組み合わせから判定を行うので，処
理が高速に行える。

以下，本発明の１実施例を詳細に説明する。

図１は，本発明を実現するためのシステム構成の概略ブロック図の一例である。１はＣ
ＲＴ等のディスプレイ装置であり，コンピュータ４の出力画面を表示する。コンピュータ
４に対する命令は，キーボードやポインティングデバイス等の入力装置５を使って行うこ
とができる。１０の動画像再生装置は，地上波放送や衛星放送，ケーブルテレビなどの放
送番組を受信するためのチュナー装置，もしくは光ディスクやビデオテープ等に記録され
た動画像を再生するための装置である。動画像再生装置から出力される映像信号は，逐次
，３のＡ／Ｄ変換器によってデジタル画像データに変換され，コンピュータに送られる。
コンピュータ内部では，デジタル画像データは，インタフェース８を介してメモリ９に入
り，メモリ９に格納されたプログラムに従って，ＣＰＵ７によって処理される。１０が扱
う動画像の各フレームに，動画像の先頭から順に番号（フレーム番号）が割り付けられて
いる場合には，フレーム番号を制御線２によって動画像再生装置に送ることで，当該場面
の動画像を呼び出して再生することができる。また，処理の必要に応じて，各種情報を６
の外部情報記憶装置に蓄積することができる。メモリ９には，以下に説明する処理によっ
て作成される各種のデータが格納され，必要に応じて参照される。

以下では，重要場面の選別にあたって，特殊映像効果によるカット変化の一つであるデ
ゾルブを検出する方法について詳細に説明する。

図２は，図１で示したシステム上で実行される，動画像のデゾルブ検出プログラムのフ
ローチャートの一例である。プログラムはメモリ９に格納され，ＣＰＵ７は，まず最初に
初期化処理として，プログラムの実行に必要な各種の変数を初期値に設定する（２００）
。次に，過去のフレーム画像の各画素の輝度値を収めるｍ個の二次元配列B(x, y)の各要
素に０を代入する（２０２）。フレーム画像のサイズがｗ×ｈのとき，ｘは０からw-1，
ｙは０からh-1までの値をとる。処理２０４では，動画像再生装置１０が出力するフレー
ム画像の取り込みを行う（２０４）。処理２０６は，評価値が入る変数evalを０にし，ル
ープカウンタに初期値０を代入する。そして，以下の２０８〜２２８の処理をフレーム画
像中の全画素について行う。

２０８から２２８の処理では，デゾルブに特有の性質の検出を行っている。ここで，デ
ゾルブは，図３に示すように，カットの変わり目の前後でＢのように，前後のカットのフ
レーム画像ＡとＣとが混じりあう区間を持つカット変化である。ＢにおけるＡとＣの混合
比率は，デゾルブ開始時のＡが１００％，Ｃが０％の状態から，時間をかけて比率が逆転
してゆき，最終的にＡが０％，Ｃが１００％になった時点でデゾルブが完了する。濃淡画
像の場合，Ａの輝度値をBa，Ｂの輝度値をBb，Ｃの輝度値をBc，Ｃの混合割合をα（0≦
α≦1）としたとき，Bb ＝ Ba × (1 - α) + Bc × αの式で近似することができる。こ
の式を変形すると，Bb ＝ (Bc - Ba) × α + Baになり，混合割合αが０から単調に増加
するデゾルブの場合，Bbの値もBaからBcまで単調に増加もしくは減少する。したがって，
過去ｍフレーム分について常に画素の輝度値をバッファに蓄えておき，そのｍフレーム長
の区間で輝度値が単調に増加もしくは減少しているかどうかを調べることでデゾルブの検
出を行うことができる。ｍの値は，８から１５程度に設定すると，実験的に良好な結果が
得られる。

まず処理２０８では，過去のフレームの輝度値を記憶している二次元配列Ｂのｍ番目の
配列Bmに，座標(x, y)で表される画素の輝度値を代入する。そして，ループカウンタiに
１を代入し，変数numに０を代入する。次に，１番目の配列に記憶された輝度値B1(x, y)
とｍ番目の配列Bm(x, y)の値を比較し（２１２），続けて，i番目の配列に記憶された輝
度値Bi(x, y)がその次の配列Bi+1(x, y)の値よりも大きいかどうかを比較する（２１４，
２１６）。B1(x, y)がBm(x, y)より大きいときには，Bi(x, y)がBi+1(x, y)より大きい場
合にnumの値を１つ増やす。
逆に，B1(x, y)がBm(x, y)より小さいときには，Bi(x, y)がBi+1(x, y)より小さい場合に
numの値を１つ増やす（２１８）。続く処理２２０では，Bi(x, y)にBi+1(x, y)の値を代
入することで，ｍ個の配列Ｂを順番に１つずつシフトするようにし，常に最新のフレーム
から数えてｍフレーム分の輝度値がバッファとして格納されているようにする。処理２２
２では，ループカウンタiを１つ増やし，iがｍより大きくなるまで，処理２１２の時点で
B1(x, y)がBm(x, y)より大きかったときには処理２１４，そうでないときには処理２１６
に戻って処理を繰り返す（２２４）。numが閾値th1よりも大きいときには（２２６），座
標(x, y)の画素については，十分単調に増加もしくは減少しているとしてevalの値を１つ
増やす（２２８）。自然動画像はノイズ等により不規則な変動があるのが常であり，また
，デゾルブの速度も，人間がデゾルブ操作を行う場合にはムラが生じて一定ではなくなる
ので，単調性の判定に閾値を設けることでマージンを持たせる。上記処理をフレーム画像
中の全画素について行うべく，２０８に戻って繰り返す（２３０〜２３６）。これによっ
て，デゾルブの特徴を満たす画素の数がevalに入る。
最後に，evalが閾値th2を超えているかどうかを調べ（２３８），超えていればデゾルブ
があるとして，デゾルブ検出処理（２４０）を実行する。最後に，処理２０４に戻り，映
像の終わりまで２０４からの処理を繰り返す。

上記の方法では，ズームやパンといったカメラの動きがある場合にも，evalが高めに出
る。カメラが動けば，それに応じて，フレーム画像中の各画素の輝度も変化し，そうした
変化の中には，輝度が単調増加もしくは単調減少している画素も少なからず存在するから
である。そのため，デゾルブとカメラの動きとの区別がつきにくいケースもある。そこで
，以下では，デゾルブがもっと明確にわかるようなデゾルブ検出方法について説明する。

一般に，デゾルブの時間は，１秒（NTSC方式の映像の場合で３０フレーム）以上になる
ものが多い。したがって，デゾルブがかかっている区間では，ｍ＝８のときで２２フレー
ム，ｍ＝１５のときでも１５フレーム以上の時間，evalの値が高い状態が続く。一方，カ
メラの動きの場合は，デゾルブのときほど値は高くない上，必ずしも連続して高い状態が
続くとは限らない。したがって，過去ｎフレーム分についてevalの値の総和sumをとった
とき，デゾルブのときのsumの値とカメラの動きのときのsumとでは顕著な違いが現れる。
図４は，上記の考え方を加えたデゾルブ検出方法である。

まず最初に初期化処理として，プログラムの実行に必要な各種の変数を初期値に設定す
る（４００）。次に，過去のフレーム画像の各画素の輝度値を収めるｍ個の二次元配列B(
x, y)の各要素に０を代入するとともに，過去ｎフレーム分のevalの値を記憶するｎ個の
変数E1〜Enを全て０にする（４０２）。フレーム画像のサイズがｗ×ｈのとき，ｘは０か
らw-1，ｙは０からh-1までの値をとる。処理４０４では，動画像再生装置１０が出力する
フレーム画像の取り込みを行う（４０４）。以下，図２で示した２０６から２３６までの
処理を実行してevalを得る（４０６）。そして，Enにevalの値を代入する。E1からEnまで
の総和をsumに求めるとともに，EjにEj+1の値を次々と代入しながらシフトし，常に最新
のeval値がE1〜Enに格納されているようにする（４０８〜４１２）。最後に，sumが閾値t
h3よりも大きいかどうかを判定し（４１４），大きければ，デゾルブ検出処理２４０を行
い，そうでなければ何もせずに処理４０４まで戻って繰り返す。

デゾルブ検出処理２４０では，デゾルブで挟まれた場面を重要な場面として選択する。
図２および図４のデゾルブ検出方法を実行すると，図５のような評価値の時間推移を表す
グラフを得ることができる。評価値は，デゾルブ区間において，一瞬だけ大きな値を示す
のではなく，急速に増加して急速に減少する三角形状の変化を示す特徴がある。そして，
三角形の底辺を成す２頂点が，デゾルブの開始点と終了点にほぼ対応している。ダイジェ
ストを作成するときには，デゾルブのような特殊映像効果がかかった部分が先頭や末尾に
残っていると見苦しいので，デゾルブの終わった点から，次のデゾルブが始まる手前まで
の区間５０７を切り出すようにする。そのため，上記のデゾルブ検出方法でデゾルブか否
かの判定に用いる第１の閾値５００に加えて，それより低い第２の閾値５０２を用いる。
そして，重要場面の開始点としてのデゾルブが検出された場合には，評価値が第１の閾値
を超えた点５０４以降ではじめて第２の閾値を下回った点５０６を重要場面の開始点とす
る。このとき，余裕をとって開始点を遅らせても構わない。また，重要場面の終了点とし
てデゾルブが検出された場合には，評価値が第１の閾値を超えた点５１０から過去に遡っ
て見たときに初めて第２の閾値を下回った点５０８を重要場面の終了点とする。このとき
，開始点と同様に，余裕をとって終了点を早めの時間にとってもよい。検出されたデゾル
ブが重要場面の開始点を示すのか，終了点を示すのかの判定には，デゾルブ間の時間が利
用できる。通常の放送が続いてれば，デゾルブはないのでデゾルブ間の時間間隔が長くな
り，重要場面ならば，比較的間隔は短い。こうして得られた重要場面を順番に再生するこ
とで，ダイジェストができる。

上記の実施例においては，輝度の単調な変化を調べたが，色の同様の変化を利用するこ
ともできる。色は１次元情報である輝度と異なり，３次元の情報である。従って，単純に
値の増加減少をもとに単調変化を調べることはできない。ここで，A色からB色への単調な
変化とは，２つの色を３次元の色空間にマッピングしたとき，A色からの距離を徐々に増
しつつ，B色との距離を徐々に縮める傾向としてとらえることができる。したがって，図
２における過去のフレームの輝度値を記憶する二次元配列Ｂの替わりに，色を記憶する二
次元配列Ｂ’を用い，そのＢ’中の各色がＢ’１との色差が増加すると同時にＢ’ｍとの
色差が減少する形で並んでいることを判定すれば，あとは輝度の場合と同様の手法を用い
ることができる。

上記のようなデゾルブ等の特殊映像効果を使ったシーンを重要場面とみなせるのは，現
実としてスポーツ中継等の一部の番組に限定される。また，スポーツ番組中でも合間に挿
入されるコマーシャル中には特殊映像効果が頻繁に登場するため，単純にデゾルブに挟ま
れた区間という条件では過剰に検出しすぎることも多い。もちろん，多めに検出する分に
は，元の映像よりも十分に短い映像になっていれば，実用上問題はない。しかし，より精
度高く重要場面を抽出できれば，概要把握にかかる時間がさらに節約できる。そこで，ダ
イジェストを作成する対象の映像がどのような種類の映像かを区別する手段を設け，重要
場面の選択に活用する。

図６と図７は，それぞれニュース番組とスポーツ番組において発生するイベントを時間
軸に沿って図示したものである。ここでは，イベントとして，画像や音声の特徴が大きく
変化する点を考える。図中では，１）構図，２）色調，３）話者，４）字幕，５）デゾル
ブ，６）リプレイ，７）スロー再生，の７項目を例に挙げた。こうしたイベントの現れ方
や組み合わせには番組の種類によって特徴があり，その特徴をもとに番組の分類を行うこ
とができる。例えば，ニュース番組においては，キャスターが全面に登場するカットが時
間を空けて複数回現れるので，同じ構図の画像，より具体的には中心付近に顔の色である
肌色が大きな面積を占めている画像が複数回現れる特徴がある。また，そのときの話者は
同一人物である場合が多いとか，番組全体として字幕が頻繁に現れるという特徴もある。
一方，スポーツ中継の場合，固定位置に設置された複数のカメラを切り替えながら放送が
行われることが多く，同じか極めて類似した構図の画像が頻繁に現れる。特に野球やサッ
カーの場合には，色調は芝生の色である緑がメインとなる。また，リプレイやスロー再生
が頻繁に使われるという特徴がある。さらに，ＣＭの場合には，音の途切れが少ない，Ｂ
ＧＭが頻繁に使われる，色調が鮮やか，カットが多く，その時間長も短い，などの特徴が
ある。このように，映像中における複数のイベントの組み合わせパターンから，その映像
の種類をある程度推測することができる。そして，ここで挙げたイベントは，画像認識・
音声認識の技術を要する中では比較的簡単に求められ，その信頼性が高いものばかりであ
る。すなわち，ストーリー等の映像の意味内容に関する認識は必要としない。

図８は，映像の種類を見分けるシステムのブロック図の一例である。入力映像は，画像
信号と音声信号のそれぞれについて，画像取り込み部８００及び音声取り込み部８０２で
デジタイズされる。デジタイズされたデータは，イベント検出部８０４に送られ，８０４
中の種類別に設けられた専用検出部８０６〜８２０によって，イベント検出の処理が行わ
れる。検出されたイベントは，イベント別カウンタ部８２２によって，イベントの種類別
にカウントされる。また，同時生起カウンタ部８２４は，複数のイベントが同時に，もし
くは規定の順番に現れた場合にのみ，そのイベントの組み合わせに対応するカウンタを１
増やす。これらのカウンタで得られた各種イベントの出現頻度分布は，比較部８２８によ
って，どの種類の番組におけるイベントの出現頻度分布に近いか比較照合される。

次に，図８中の各ブロックについて詳細に説明する。

イベント検出部８０４のうち，カット点検出部８０６は，カットの変わり目を検出する
。その手法については，例えば，発明者らによる，情報処理学会論文誌 Vol.33, No.4,
「カラービデオ映像における自動索引付け法と物体探索法」や特開平４−１１１１８１号
等で示された方法等が利用できる。イベント別カウンタ部８２２では，カット点の数がカ
ウントされる。

同一構図検出部８０６は，予め定めた時間以内の過去に遡って，同じ構図もしくは類似
した構図の絵が現れているかどうかを検出する。これにはテンプレートマッチングに代表
される画像比較手法が使える。具体的には，比較する２枚のフレーム画像の同じ座標位置
にある画素の１つ１つについて，輝度差もしくは色差を求めて全画面分の総和をとり，こ
れを画像間の相異度とする。この相異度が定めた閾値より小さければ，同一もしくは類似
性が高いと判定できる。ここで，映像中のフレーム画像全てについて，同一構図か否かを
検出するのは処理時間がかかり，また，連続するフレーム画像間では画像の類似性が高い
動画像の特徴を考慮すると無駄でもある。そこで，カット点検出に連動させて，カット点
の画像だけを調べる対象とする。イベント別カウンタ部では，同一構図を持つフレームの
数がカウントされる。

色調検出部８１０は，予め定めた時間以内の過去に遡って，同一の色調もしくは類似し
た色調の絵が現れているかどうかを検出する。これには，例えば，フレーム画面全体につ
いての色度数分布が利用できる。これは構図に無関係な，どの色がどれだけ使われている
かを表した特徴量である。具体的には，比較する２枚のフレーム画像のそれぞれについて
，画像を表現する画素の色を６４色程度に分別し，それら各色がそれぞれフレーム画像中
にどれだけ存在するかをカウントする。そして，得られた度数分布の各度数の差分の絶対
値の総和をもって色調の相異度とする。この相異度が定めた閾値より小さければ，同一も
しくは類似性が高いと判定できる。色調に関しても構図と同様の理由で，カット点の画像
についてのみ対象とすると効率がよい。イベント別カウンタ部では，同一色調を持つフレ
ームの数がカウントされる。また，色調検出部は，途中で求めた度数分布を利用して，ど
の色が最も多く使われているかを調べるようにしてもよい。具体的には，イベント別カウ
ンタ部中に，赤・青・緑等の色別にカウンタを用意し，赤系の色が多ければ赤のカウンタ
を増やし，緑が多ければ，緑のカウンタを増やすようにする。

字幕検出部８１２は，映像中に字幕が現れているかどうかを検出する。その手法につい
ては，例えば，発明者らによる，特願平5-330507等で示された方法等が利用できる。イベ
ント別カウンタ部８２２では，字幕の出現数がカウントされる。

デゾルブ検出部８１４は，映像中のデゾルブ等の特殊効果を検出する。その手法につい
ては，本発明の前半で説明した通りである。イベント別カウンタ部８２２では，デゾルブ
の出現数がカウントされる。

リプレイ検出部８１６は，予め定めた時間以内の過去に遡って，全く同一の映像が現れ
ているかどうかを検出する。これは同一構図検出部８０８と同様にテンプレートマッチン
グ等によってフレーム画像の比較をすることで行える。しかし，比較する動画像間の各フ
レームごとにテンプレートマッチングを行っていたのでは処理時間がかかりすぎるので，
各フレームを数文字分程度のコードに変換し，そのコード列の照合をもって動画像の照合
とする。１枚のフレームに対応するコード単体では情報量が極めて小さいが，動画像は多
くのフレームから構成されるので，１つの動画像が含むコードの数も多く，動画像中にお
けるコードの一連のシーケンスは，一片の動画像を特定するに足る十分な情報量を持つ。
こうした考え方に立脚した動画像の照合方法は，発明者らによる，特開平７−１１４５６
７号に示されている。

スロー再生検出部８１８は，スロー再生の映像を検出する。スロー再生は，フレーム画
像を標準再生時よりも長めの間隔（１／２スローで２倍，１／４スローで４倍）で連続表
示することで実現されるため，スロー再生の映像の場合，画像取り込み部８００でデジタ
イズされる画像は，全く同じ画像が複数枚続くという特徴がある（１／２スローで２枚，
１／４スローで４枚）。そこで，スロー再生かどうかの判定には，連続する２枚のフレー
ムを調べ，そのテンプレートマッチングによって画像相異度を調べる。そして，一定時間
分の相異度の推移を調べ，相異度が特定の周期で大きい値と小さい値を繰り返しているよ
うならば，スロー再生であると判定する。例えば，１／２スローの場合には，２枚ずつ同
じ画像が続くので，相異度は，小さい値と大きい値を交互に繰り返す。１／４の場合には
，小さい値が３回続いて大きい値が１回というように繰り返す。但し，動画像の場合，ス
ロー再生でなくても，連続する２枚のフレーム画像は類似しているので，相異度の大小の
判定は閾値を低めにして行う必要がある。イベント別カウンタ部８２２では，スロー再生
の出現数がカウントされる。

同一話者検出部８２０では，予め定めた時間以内の過去に遡って，同一の話者が話した
ことがあったかどうかを検出する。例えば，音声の自己相関を求め，最も大きな値をとる
周波数が一致しているかどうかで調べることができる。イベント別カウンタ部８２２では
，同一話者の発話数がカウントされる。

同時生起カウンタ部８２４は，上記のイベントのうちの幾つかが同時もしくは特定の順
番で現れた場合にカウントを行う。カウンタは，検出するイベントの組み合わせの数だけ
用意される。例えば，同じ構図のときに，同じ話者が話しているケースでは，構図イベン
トと話者イベントの同時発生に対応するカウンタが１増やされる。同様に，デゾルブがあ
って，その直後にスロー再生が検出された場合には，デゾルブイベントとスロー再生イベ
ントの連続発生に対応するカウンタが１増える。

比較部８２８では，時計８２６を参照し，時刻ｔ１からｔ２までの一定時間における映
像中のイベントの出現頻度の傾向が，どのような種類の番組のものに近いかを比較する。
比較に先立ち，まずニュース番組，スポーツ番組などそれぞれの種類別に典型的なイベン
トを調べておき，番組を特徴づける重要なイベントであるほど高くなるように値を与えて
ランク付けを行って，番組ごとにイベント別のランク一覧表を作成する。比較にあたって
は，各イベントの出現頻度値を正規化した値に，このランク一覧表で記述された値を掛け
て重み付けを行い，そうして得られた各イベントごとの値の総和が閾値を超えた場合，そ
のランク一覧に対応する種類の番組であると判定する。

このようにして得られたイベントを，図６もしくは図７のような，一方を時間軸とする
表形式で，図１のディスプレイ１上に一覧表示することができる。この一覧表示によって
，計算機が自動で判定できなかった場合でも，ユーザはこうした情報を１つの手がかりに
して，他から入手した情報，経験や知識等を合わせて利用することによって，番組の種類
を推測できる可能性がある。また，計算機に教えていない種類の番組が新たに入力された
場合，この一覧表示の中から，重要なイベント，もしくはイベントの組み合わせを選んで
登録するようにしてもよい。これは，図１で示したマウス等のポインティングデバイス５
を使って，一覧表上の各イベントの変化点や区間の表示部分をクリックするなどのダイレ
クトかつビジュアルな操作で行うようにすればユーザにとって非常に便利になる。

尚、本発明はＰＣ／ＷＳを用いて実現できる他、ＴＶ、ＶＴＲなどの一機能としても適
用可能である。

本発明の実施例を実現するためのシステムブロック図である。 デゾルブの検出を行うプログラムのフローチャートである。 デゾルブの概念を表す図である。 デゾルブの検出を行うもう１つのプログラムのフローチャートである。 デゾルブ検出を行うプログラムを実行したときの評価値の時間推移を表すグラフである。 ニュース番組の典型的なイベントチャートである。 スポーツ中継の典型的なイベントチャートである。 映像の分類を行うシステムのブロック図である。

符号の説明

１…ディスプレイ，２…制御信号線，３…Ａ／Ｄ変換器，４…コンピュータ，５…入力
装置，６…外部情報記憶装置，７…ＣＰＵ，８…接続インタフェース，９…メモリ，１０
…動画像再生装置，１１…キーボード。

Claims (2)

1. 入力受付手段が、番組を構成する動画像をフレーム単位で時系列に入力を受け、
   処理装置は、
   検出部において、入力を受けた前記動画像から、前記動画像の特徴が変化する点であるイベントと、上記検出されたイベント毎の発生タイミングを検出し、
   検出されたイベントの種類ごとの発生タイミングに基いて、該イベントの出現頻度の傾向を抽出し、記憶部に記憶された番組の種類毎のイベントの特徴と比較して、前記入力された番組の種類を判別し、
   前記入力された番組の種類を判別してから、前記動画像の特徴場面を抽出し、前記特徴場面によって前記番組のダイジェストを作成することを特徴とする番組のダイジェスト作成方法。
2. 請求項１に記載のダイジェスト作成方法において、前記処理装置は、前記入力を受けた動画像のフレームの特徴量が、古いものから順番に単調に最も新しいフレームの特徴量に近づいていく特徴を持つか否かを判定し、該判定が真である場合に、該フレームから一定時間までの映像区間を特徴場面として抽出し、前記番組のダイジェストを作成することを特徴とする番組のダイジェスト作成方法。

Images