JP3774662B2 - 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 - Google Patents
画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP3774662B2 JP3774662B2 JP2001382165A JP2001382165A JP3774662B2 JP 3774662 B2 JP3774662 B2 JP 3774662B2 JP 2001382165 A JP2001382165 A JP 2001382165A JP 2001382165 A JP2001382165 A JP 2001382165A JP 3774662 B2 JP3774662 B2 JP 3774662B2
- Authority
- JP
- Japan
- Prior art keywords
- digest
- feature information
- playback
- scene feature
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、テレビジョン放送の情報ストリームを受信して記憶し、当該記憶ストリームの再生処理等を行う装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、並びにそれを実施するための機能をコンピュータに実現させるためのプログラム、及び上記機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、テレビジョン放送を受信して記憶媒体（磁気テープ等）に記憶し、当該記憶媒体に記憶したテレビジョン放送の情報（ビデオ信号）を、ユーザからの指示（再生希望する時の指示）に基づき再生する装置としては、ＶＴＲ（ビデオテープレコーダ）が多く普及している。
【０００３】
一方、近年では、ランダムアクセスの可能なハードディスクや光ディスク等の記憶媒体に関して大容量化が急速に進んでいることから、このような記憶媒体を、ＶＴＲ等で用いられる磁気テープの変わりに利用した装置の開発が進められている。
例えば、記憶媒体が大容量である点、及び記憶媒体に対してランダムアクセスが可能である点を生かし、ＶＴＲ技術の延長で様々な装置が開発されている。このような装置の一例としては、テレビジョン放送されている番組を常にリアルタイムに記憶媒体に記憶（録画）しておき、当該記憶媒体において、過去に遡ったある位置から再生できるように構成されたものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したような、ランダムアクセスの可能なハードディスクや光ディスク等の記憶媒体を利用した従来の再生装置では、再生対象の記憶媒体において、過去に遡ったある位置から再生できるように構成されたものであっても、過去の任意の時点から現在までの内容を掻い摘んで視聴したい等というユーザの要望を満たすことができなかった。
【０００５】
具体的には例えば、再生対象の記憶媒体に記憶された情報が、スポーツの試合中継の番組の情報である場合、当該記憶媒体の再生により、試合の開始から視聴する、或は試合の途中の任意の時点から視聴することになる。
しかしながら、試合の開始から視聴する場合、現在の状況を気にかけながら視聴しなければならない。また、試合の途中から視聴する場合、それまでの試合の経過がわからず、試合の流れを掴めないまま、視聴を続けなければならない。
このように、従来では、過去の任意の時点から現在までの番組の内容を、掻い摘んで視聴することができなかった。
【０００６】
そこで、本発明は、上記の欠点を除去するためになされたもので、記憶媒体のダイジェスト再生により、現在の放送に追いつくことを可能とした、画像処理装置、画像処理システム、画像処理方法、並びにそれを実施するための機能をコンピュータに実現させるためのプログラム、及び上記機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、動画の再生処理する画像処理装置であって、入力動画を記憶する動画記憶手段と、上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、再生動画のダイジェストの再生時間を入力する入力手段と、上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段とを備え、上記ダイジェスト作成手段は、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする。
【０００８】
本発明の画像処理装置は、動画の再生処理する画像処理装置であって、入力動画を記憶する動画記憶手段と、上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、再生動画のダイジェストの再生時間を入力する入力手段と、上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段と、上記シーンの特徴情報を抽出するシーン特徴情報抽出手段とを備え、上記シーン特徴情報記憶手段は、上記シーン特徴情報抽出手段で抽出されたシーン特徴情報を記憶し、上記ダイジェスト作成手段は、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出手段によってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする。
【０００９】
本発明の画像処理システムは、複数の機器が互いに通信可能に接続されてなる画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、上記画像処理装置の機能を有することを特徴とする。
【００１０】
本発明の画像処理方法は、動画の再生処理するための画像処理方法であって、入力動画を記憶手段に記憶する動画記憶ステップと、上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、再生動画のダイジェストの再生時間を入力する入力ステップと、上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップとを有し、上記ダイジェスト作成ステップでは、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする。
【００１１】
本発明の画像処理方法は、動画の再生処理するための画像処理方法であって、入力動画を記憶手段に記憶する動画記憶ステップと、上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、再生動画のダイジェストの再生時間を入力する入力ステップと、上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップと、上記シーンの特徴情報を抽出するシーン特徴情報抽出ステップとを有し、上記シーン特徴情報記憶ステップでは、上記シーン特徴情報抽出ステップで抽出されたシーン特徴情報を記憶し、上記ダイジェスト作成ステップでは、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出ステップによってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする。
【００１２】
本発明のプログラムは、上記画像処理装置の機能をコンピュータに実現させるためのプログラムであることを特徴とする。
【００１３】
本発明のコンピュータ読み取り可能な記録媒体は、上記画像処理装置の機能をコンピュータに実現させるためのプログラムを記録したことを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３５】
[第1の実施の形態]
＜本実施の形態の全体構成＞
本発明は、例えば、図１に示すような画像処理装置１００に適用される。
本実施の形態の画像処理装置１００は、記憶媒体のダイジェスト再生により、現在の放送に追いつくことができるように構成された再生機能を有し、上記図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キーボード１０４、マウス１０５、外部記憶装置１０６、表示器１０７、ＮＩＣ１０８、ビデオＩ／Ｆ１０９、ビデオカメラ１１０、ＶＴＲ１１２、及び受信機１１３が、システムバス１１１を介して互いに通信可能なように接続された構成としている。
【００３６】
ＣＰＵ１０１は、所定の処理プログラムを実行することで、画像処理装置１００全体の動作制御を司る。
ＲＯＭ１０２には、ＣＰＵ１０１での動作制御を実施するための処理プログラム（画像処理装置１００の立ち上げ時に実行されるブートプログラム等）や各種データが格納される。
ＲＡＭ１０３は、ＣＰＵ１０１によりＲＯＭ１０２等から処理プログラムがロードされるメモリであると共に、ＣＰＵ１０１が各種動作制御を実行する際の作業用メモリを提供する。
【００３７】
キーボード１０４及びマウス１０５は、ユーザによる画像処理装置１００に対する各種動作指示の環境（各種入力操作環境）を提供する。
外部記憶装置１０６は、ハードディスクやフレキシブルディスク、或いはＣＤ−ＲＯＭ等で構成される。
表示器１０７は、ＣＲＴディスプレイ等で構成され、処理結果等をユーザに対して表示する。
ＮＩＣ１０８は、ネットワークインターフェースであり、ネットワーク上の各機器或いはシステムとの通信を可能とする。
【００３８】
ビデオＩ／Ｆ（インターフェース）１０９は、ビデオカメラ１１０やＶＴＲ１１２からの動画を取り込むことを可能とする。
受信機１１３は、地上波放送や衛星放送等の放送電波を受信する。
【００３９】
尚、上記図１に示した構成において、ビデオカメラ１１０、ＶＴＲ１１２、及び外部記憶装置１０６を、ＮＩＣ１０８により接続されるネットワーク上に配置するようにしてもよい。
【００４０】
図２は、上記図１の画像処理装置１００を機能的に示したものである。
画像処理装置１００は、上記図２に示すように、受信機１１３により実施されるストリーム受信部２０１と、ＣＰＵ１０１により実施されるシーン特徴抽出部２０２、ダイジェスト作成部２０５、及び再生部２０６と、ＲＡＭ１０３または外部記憶装置１０６から実施される動画蓄積部２０３及びシーン特徴情報蓄積部２０４と、表示器１０７により実施される表示部２０７と、キーボード１０４及びマウス１０５等から実施されるユーザ操作部２０８とを備えている。
【００４１】
ストリーム受信部２０１は、受信機１１３により、テレビジョンの地上波の放送や衛星放送、或いはネットワークインターフェース１０８を介してのケーブルテレビジョン放送やネットワークを介した放送等を受信して、それを情報ストリームとして出力する。
【００４２】
シーン特徴抽出部２０２は、ストリーム受信部２０１から出力される情報ストリーム（動画のフレーム）を解析することで、シーンの特徴を取得する。
動画蓄積部２０３であり、シーン特徴抽出部２０２からの動画のフレームを順次蓄積する。
シーン特徴情報蓄積部２０４は、シーン特徴抽出部２０２で得られたシーン特徴情報を蓄積する。
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されているシーン特徴情報に基づき動画のダイジェストを作成する。
【００４３】
再生部２０６は、再生モードが「現行放送モード」である場合、ストリーム受信部２０１から順次出力される動画のフレームを再生し、再生モードが受信中の動画を録画しながら録画済み部分の動画を再生する「追いかけ（第１のタイムシフト）再生モード」である場合、動画蓄積部２０３に蓄積された動画のフレームを再生し、再生モードが受信中の動画を録画しながら録画済み部分の動画をダイジェスト再生する「追いつき（第２のタイムシフト）再生モード」である場合、ダイジェスト作成部２０５で得られたダイジェスト情報に基づき動画蓄積部２０３に蓄積された動画のフレームを再生する。
【００４４】
表示部２０７は、再生部２０６で再生された動画をユーザに対して表示出力する。
ユーザ操作部２０８は、ユーザがキーボード１０４及びマウス１０５等を含み、再生モードの切換指示等を行うためのものである。
【００４５】
＜画像処理装置１００の全体動作＞
上記図１及び図２に示したような構成を備えた画像処理装置１００の動作の一例（１）〜（３）について、以下に説明する。
【００４６】
（１）現行放送モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「現行放送モード」の指定がなされた場合、現行放送の再生が行なわれる。
【００４７】
すなわち、再生部２０６は、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）からフレームを順に取り出して再生する。
【００４８】
（２）追いかけ（第１のタイムシフト）再生モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「追いかけ再生モード」の指定がなされた場合、追いかけ再生が行われる。
【００４９】
すなわち、先ず、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）から順に取り出されたフレームは、シーン特徴抽出部２０２を介して、動画蓄積部２０３に蓄積される。
動画蓄積部２０３は、記憶容量として十分な大きさを有するものであるが、記憶できる限界を超えた場合、古い情報に対して順に上書き記憶する。
【００５０】
再生部２０６は、ユーザ操作部２０８で指定された位置まで遡ったフレームを、動画蓄積部２０３から順に取り出して再生する。
このとき、前の再生モードが「追いつき再生モード」であり、この状態から当該「追いかけ再生モード」に切りかえられた場合、再生部２０６は、再生されていた位置からの追いかけ再生を開始する。
【００５１】
（３）追いつき（第２のタイムシフト）再生モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「追いつき再生モード」の指定がなされた場合、追いつき再生が行われる。
【００５２】
すなわち、先ず、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）から順に取り出されたフレームは、シーン特徴抽出部２０２を介して、動画蓄積部２０３に蓄積される。
このとき、シーン特徴抽出２０２は、入力フレームをシーンに分割し、それぞれのシーンの特徴を抽出してシーン特徴情報蓄積部２０４に蓄積する。
【００５３】
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照し解析することで、ダイジェストを作成する。
再生部２０６は、ダイジェスト作成部２０５で作成されたダイジェストを再生する。
この再生後は、ただちに「現行放送モード」の動作に戻り、これにより、現行放送が再生される。
【００５４】
つまり、追いつき再生モードとは、動画像データを録画しながら、前記ユーザーから指示された録画済み部分の前記動画像データをダイジェスト再生し、現在の放送されている動画像データに追いつくモードである。
【００５５】
＜シーン特徴情報の抽出処理、及びダイジェストの作成処理の詳細＞
【００５６】
（１）シーン特徴情報の抽出処理
図３は、シーン特徴抽出部２０２で実行される、シーン特徴情報の抽出処理をフローチャートによって示したものである。
【００５７】
ステップＳ３０１：
先ず、シーン特徴抽出部２０２は、ストリーム受信部２０１から受け取ったフレームを、動画蓄積部２０３に蓄積する。
このとき、シーン特徴抽出部２０２は、個々のフレームに対して、フレーム識別するためのフレームＩＤを付与する。
【００５８】
ステップＳ３０２：
シーン特徴抽出部２０２は、動画蓄積部２０３に蓄積したフレームのそれぞれについて、順番に注目するフレームと、過去のフレーム群とのフレーム間類似性距離計算を行う。
【００５９】
ここでの過去のフレーム群とは、単数のフレームの場合も、複数のフレームの場合もあり、特にそのアルゴリズムを限定しない。また、これら比較対象となる過去のフレーム群は、特に図示しないメモリ上に保持しておく。
【００６０】
ステップＳ３０２での処理の具体例を挙げると、先ず、前のフレームと現在のフレームのそれぞれのフレームに対して、図４に示すような、縦横の複数のブロック分割を行なう。
次に、上記ブロック分割後の各ブロックに関して、ＲＧＢの平均値を算出する。
そして、現在フレームにおける各ブロックと、その前フレームにおける各ブロックとの間で、対応するブロック同士のＲＧＢの平均値の差の二乗和を求め、この結果を、シーンチェンジの激しさの度合いを表すフレーム間類似性距離とする。
したがって、フレーム間類似性距離が小さいほど類似しており、フレーム間類似性距離が大きいほど類似していない。すなわち、フレーム間類似性距離が大きければ、現在フレームは、その前のフレームに対してシーンチェンジである可能性が大きい。
【００６１】
上記の処理は、
【００６２】
【数１】
【００６３】
なる式（１）で表される。
【００６４】
ステップＳ３０３：
シーン特徴抽出部２０２は、ステップＳ３０２で取得したフレーム間類似性距離計算の結果（類似度）により、シーンチェンジを判定する。
この判定の結果、シーンチェンジでない場合、そのまま本処理終了となる。
【００６５】
ステップＳ３０４：
ステップＳ３０３の判定の結果、シーンチェンジである場合、シーン特徴抽出部２０２は、シーン特徴情報を蓄積する。
その後、本処理終了となる。
【００６６】
ここでのシーン特徴情報とは、例えば、図５に示すように、シーン毎に付与されるシーンＩＤ、シーンの先頭のフレームＩＤ、シーンの長さ、及びシーンの特徴の一つであるシーンチェンジの激しさ等の情報からなる。
“シーンの長さ”は、今回のシーンチェンジのフレームＩＤから前回のシーンチェンジのフレームＩＤを引いた結果から得られるフレーム数の情報である。
“シーンの激しさ”は、シーンの切り替わりの激しさを示し、上述した類似度の逆数を利用した情報である。ただし、ここでは、類似度“０”はあり得ないものとする。したがって、類似度が低いほど、激しいシーンの切り替わりであり、“シーンの激しさ”の値も大きくなる。
【００６７】
（２）ダイジェストの作成処理
図６及び図７は、ダイジェスト作成部２０５で実行される、ダイジェストの作成処理をフローチャートによって示したものである。
尚、以下の説明における“ＳＦＩＤ”、“ＣＦＩＤ”、及び“ＴＤ”等は、作業用メモリ（ＲＡＭ１０３等）におけるフラグ或はバッファを示す。
【００６８】
ステップＳ５０１：図５参照
ダイジェスト作成部２０５は、ユーザからの「追いつき再生モード」の指示により、「追いかけ再生モード」からの切り換えであるか否かを判定する。
【００６９】
ステップＳ５０２、ステップＳ５０３：
ステップＳ５０１の判定の結果、「追いかけ再生モード」からの切り換えである場合、ダイジェスト作成部２０５は、“ＳＦＩＤ”に対して現在再生中のフレームＩＤを設定する（ステップＳ５０３）。
一方、「追いかけ再生モード」からの切り換えでない場合、すなわち「現行放送モード」からの切り換えである場合、ダイジェスト作成部２０５は、“ＳＦＩＤ”に対して、ユーザから指定された開始位置のフレームＩＤを設定する。
これにより、“ＳＦＩＤ”により示されるフレームからの追いつき再生が行われる。
【００７０】
ステップＳ５０４、ステップＳ５０５：
ダイジェスト作成部２０５は、“ＣＦＩＤ”に対して現行放送のフレームＩＤを設定し（ステップＳ５０４）、“ＴＤ”に対してユーザから指定されたダイジェスト再生時間を設定する（ステップＳ５０５）。
尚、“ＴＤ”として指定できるのは、（“ＣＦＩＤ”−“ＳＦＩＤ”）より短い時間である。
【００７１】
ステップＳ５０６：
ダイジェスト作成部２０５は、ダイジェスト総シーン数Ｎｔを、
ＴＤ÷ダイジェスト１シーン辺りの時間Ｔｓ
なる演算により求める。
尚、上記演算式で割り切れない場合は、その余りを無視する。また、“Ｔｓ”については、特に限定しないが、例えば、人間の目にちらつかない２秒程度が望ましい。
【００７２】
ステップＳ５０７：
ダイジェスト作成部２０５は、“Ｎａ”に対して、ステップＳ５０６で求めた“Ｎｔ”を設定する。
ここでの“Ｎａ”は、“ＣＦＩＤ”により示されるフレーム以前に、ダイジェスト中で再生されるべきシーンの数である。
【００７３】
ステップＳ５０８：
ダイジェスト作成部２０５は、“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数Ｎｂを決定する。
【００７４】
具体的には、ダイジェスト再生中においても、現行放送は先に進むため、最終的に現行放送においつくためには、例えば、図８に示すように、ダイジェスト再生開始時の現行放送の位置（“ＣＦＩＤ”）から、追いついた時点での現行放送の位置までの間（ダイジェスト再生中に進む時間）を考慮しなければならない。
【００７５】
ダイジェスト再生中に進む時間の部分は、これから決まる部分であるため、現時点では、シーンの区切りや激しさはわからない。したがって、一度にダイジェスト再生するシーンを決定する方法では、この部分はシーンの激しさを利用できないため、一定時間おきにＴｓ分ずつ再生する。この一定時間を所定値Ｌとする。
所定値Ｌは、Ｔｓより十分に長く、動画内容に十分に変化が起こりうる時間であるものとする。特に限定しないが、例えば、５分（＝３００秒）程度が望ましい。
【００７６】
したがって、“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数Ｎｂは、
Ｎｂ＝ＴＤ÷Ｌ
なる演算より求める。この演算の結果、割り切れない場合、その余りは無視する。
【００７７】
ステップＳ５０９：
ダイジェスト作成部２０５は、ステップＳ５０７にて設定を行なった“Ｎａ”（“ＣＦＩＤ”により示されるフレーム以前に、ダイジェスト中で再生されるべきシーンの数）に対して、
Ｎａ−Ｎｂ
なる演算の結果を改めて設定する。これは、ダイジェスト再生で再生できるシーン数が“Ｎｔ”と決まっていることにより、
Ｎｔ＝Ｎａ＋Ｎｂ
なる関係を満たすようにするためである。
【００７８】
ステップＳ５１０：
ダイジェスト作成部２０５は、“ＳＦＩＤ”により示されるフレームからＴｓ分を、ダイジェストリストに追加する。これは、ユーザが、“ＳＦＩＤ”により示されるフレームからの追いつき再生を指示したはずであるのに、“ＳＦＩＤ”により示されるフレームが再生されない、という違和感を防ぐためである。
【００７９】
ここでのダイジェストリストとは、例えば、図９に示すように、開始フレームＩＤ、及び長さの情報を含んでいる。
“長さ”は、フレーム数で表している。このため、例えば、Ｔｓ（秒）分の長さは、フレームレートが“３０（フレーム毎秒）”であれば６０フレームとなる。
【００８０】
ステップＳ５１１：
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照して、ＳＦＩＤ＋Ｔｓ×フレームレートの位置からＣＦＩＤまでの間で、Ｔｓより長いシーンの中から、シーンの激しさの順に（Ｎａ−１）個分取り出し、これをダイジェストリストに追加する。
このとき、シーンの先頭ＩＤがダイジェストリスト中の“開始フレームＩＤ”となり、Ｔｓ分の長さ６０フレームがダイジェストリスト中の“長さ”となる。また、（Ｎａ−１）個分取り出すようにしたのは、既に、ステップＳ５１０において１個分をダイジェストリストへ追加しているためである。また、シーンの激しさの順に取り出すようにしたのは、シーンチェンジが激しいほど、人間の印象に残るという仮定に基づいているためである。
【００８１】
ステップＳ５１２：
ダイジェスト作成部２０５は、ダイジェストリストを時系列順にソートする。
【００８２】
ステップＳ５１３：図７参照
ダイジェスト作成部２０５は、後述するの処理の準備として、“Ｎ”に初期値として“１”を設定する。
【００８３】
ステップＳ５１４：
ダイジェスト作成部２０５は、“Ｎｂ”（“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数）が正であるか否かを判定する。
【００８４】
ステップＳ５１５〜ステップＳ５１７：
ステップＳ５１４の判定の結果、「Ｎｂ＞０」である場合、ダイジェスト作成部２０５は、“ＣＦＩＤ”で示されるフレーム以降からも、ダイジェストリストの末尾に追加するシーンが存在すると認識し、“ＣＦＩＤ”により示されるフレームからＮ×Ｌの位置からＴｓ分をダイジェストリストに追加する（ステップＳ５１５）。
そして、ダイジェスト作成部２０５は、“Ｎｂ”をデクリメントし（ステップＳ５１６）、“Ｎ”をインクリメントして（ステップＳ５１７）、再び、ステップＳ５１４に戻り、まだ、“Ｎｂ”が正であれば、更にステップＳ５１５からの処理を繰り返し実行する。
【００８５】
すなわち、“ＣＦＩＤ”により示されるフレームに近い位置から、所定値Ｌ毎に、フレームをＴｓ分ずつダイジェストリストに追加していく。そして、ステップＳ５１４において、“Ｎｂ”が０になったところで、ステップＳ５１８に進むことになる。
【００８６】
ステップＳ５１８、ステップＳ５１９：
ステップＳ５１４の判定の結果、「Ｎｂ＞０」でない場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎａ×Ｔｓ）の結果が正であるか否かを判定する（ステップＳ５１８）。すなわち、ダイジェスト作成部２０５は、指定されたダイジェスト再生時間からダイジェストリストの総再生時間を引いた分に余りがあるか否かを判定する。
この判定の結果、「（ＴＤ−Ｎａ×Ｔｓ）＞０」でない場合、そのまま本処理終了となる。一方、「（ＴＤ−Ｎａ×Ｔｓ）＞０」である場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎａ×Ｔｓ）分だけ、ダイジェストリスト中の個々のシーンの長さをＴＤに等しくなるまで漸次のばしていく。
【００８７】
尚、上記図６及び図７に示したような処理により、上記図９に示したようなダイジェストリストが作成されることになる。当該処理は、特別な演算を必要としないため、処理時間が非常に短い時間となる。したがって、ダイジェスト再生時間への影響は無視できる。
【００８８】
上述のようにして作成されたダイジェストリストは、再生部２０６から参照される。すなわち、再生部２０６は、ダイジェスト作成部２０５で作成された当該ダイジェストリストを参照し、これに基づいて、動画蓄積部２０３から順にフレームを取り出して再生して、表示部２０７で表示する。その後、再生部２０６は、現行放送の再生を行う。
【００８９】
[第２の実施の形態]
本実施の形態では、上記図１及び図２に示した画像処理装置１００において、
「追いつき再生モード」時のダイジェストの作成処理を、ダイジェスト再生中に新しく検出されたシーンの特徴情報を参照してダイジェストリストを適宜修正する処理とする。
当該処理を、図１０のフローチャートによって示す。
【００９０】
尚、上記図１０に示す処理は、上記図６に示したステップＳ５０１〜ステップＳ５０６の処理実行後の処理である。また、上記図１０に示す処理において、ステップＳ９０１の処理は、上記図６のステップＳ５１０の処理と同様であり、ステップＳ９０２の処理は、上記図６のステップＳ５１１の処理と同様であり、ステップ９０３の処理は、上記図６のステップＳ５１２と同様であるため、これらのステップの処理についての詳細な説明は省略する。
【００９１】
上記図６に示したステップＳ５０１〜ステップＳ５０６、及びステップＳ９０１〜ステップＳ９０３（ステップＳ５１０〜ステップＳ５１２）の処理実行後、先ず、ダイジェスト作成部２０５は、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しないか否かを判定する（ステップＳ９０４）。
この判定の結果、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しない場合、後述するステップＳ９１１からの処理に進み、ダイジェストリストに対して、２つ以上のシーンに関しての情報が存在する場合、次のステップＳ９０５からの処理に進む。
【００９２】
ステップＳ９０４の判定の結果、ダイジェストリストに対して、２つ以上のシーンに関しての情報が存在する場合、先ず、ダイジェスト作成部２０５は、ダイジェストリストの先頭のシーンに関する情報のみを、再生部２０６へ供給する。
これにより、再生部２０６は、当該先頭シーンの再生を行う（ステップＳ９０５）。
【００９３】
次に、ダイジェスト作成部２０５は、ダイジェストリストから、再生部２０６で再生された先頭シーンに関しての情報を削除する（ステップＳ９０６）。
【００９４】
次に、ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照することで、新たなシーンが決定されたか否かを判定する（ステップＳ９０７）。これは、上述したダイジェストリストの先頭のシーンを再生中にも放送が受信され、シーン特徴抽出部２０２においてシーンの特徴抽出が行われているからである。
この判定の結果、新たなシーンが決定されていない場合、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９５】
ステップＳ９０７の判定の結果、新たなシーンが決定された場合、ダイジェスト作成部２０５は、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高いか否かを判定する（ステップＳ９０８）。
この判定の結果、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高くない場合、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９６】
ステップＳ９０８の判定の結果、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高い場合、ダイジェスト作成部２０５は、ダイジェストリスト中の激しさの最も小さい値を有するシーンに関する情報を削除する（ステップＳ９０９）。
そして、ダイジェスト作成部２０５は、当該新たなシーンを、ダイジェストリストの末尾に追加することで、ダイジェストで採用する（ステップＳ９１０）。
その後、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９７】
一方、上述したステップＳ９０４の判定の結果、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しない場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎｔ×Ｔｓ）の結果が正であるか否かを判定する（ステップＳ９１１）。
この判定の結果、「（ＴＤ−Ｎｔ×Ｔｓ）＞０」でない場合、そのまま本処理終了となる。
【００９８】
ステップＳ９１１の判定の結果、「（ＴＤ−Ｎｔ×Ｔｓ）＞０」である場合、すなわち指定されたダイジェスト再生時間よりダイジェストリストの時間が短かい場合、ダイジェスト作成部２０５は、最後に再生されるシーンを（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生されるような情報を、当該シーンに関するダイジェストリストにおける情報として再生部２０６へ供給する。
これにより、再生部２０６は、最後に再生されるシーンを（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生する（ステップＳ９１２）。
その後、本処理終了となる。
【００９９】
[第３の実施の形態]
上述した第１及び第２の実施の形態では、ストリーム受信後にシーン特徴を抽出し、これを「追いつき再生モード」で活用するように構成した。本実施の形態では、ストリーム送信側でシーン特徴情報を予め抽出し、動画像と一緒に送信し、受信側で利用するように構成する。
【０１００】
＜本実施の形態の全体構成＞
図１１は、本実施の形態において、本発明を適用した画像処理システム１１００の構成を示したものである。
画像処理システム１１００は、上記図１１に示すように、送信装置１１０１と、パーソナルコンピュータ等の端末装置１１０３とが、通信網１１０２を介して通信可能なように接続された構成としている。
【０１０１】
送信装置１１０１は、動画像を構成するシーンとシーン特徴情報を多重化し、この多重化データ（ストリーム）を通信網１１０２上に送信する。
通信網１１０２は、例えば、テレビジョン放送の場合には電波に相当し、ＣＡＴＶの場合には同軸ケーブルや光ファイバ、インターネット等に相当する。
端末装置１１０３は、通信網１１０２を介してストリーム受信し、当該ストリームから動画像の再生等を行う。
【０１０２】
＜送信装置１１０１の構成＞
図１２は、送信装置１１０１の構成を示したものである。
送信装置１１０１は、上記図１２に示すように、上記図１に示した構成部１０１〜１１２を備えると共に、更に送信機１２０１を備えた構成としている。
【０１０３】
送信機１２０１は、例えば、地上波放送や衛星放送等の放送電波等を送信する。この送信データは、ビデオＩ／Ｆ１０９に対して入力される。
尚、インターネット経由のストリーミング配信の場合、送信機１２０１は、ＮＩＣ１０８を介してストリームを送信することになる。
【０１０４】
図１３は、上記図１２に示した構成により実現される送信装置１１０１の機能構成を示したものである。
送信装置１１０１は、上記図１３に示すように、動画入力部１３０１、シーン特徴抽出部１３０２（上記図２に示した構成部２０２に相当）、動画蓄積部１３０３（上記図２に示した構成部２０３に相当）、シーン特徴情報蓄積部１３０４（上記図２に示した構成部２０４に相当）、及びストリーム送信部１３０５を備えている。
【０１０５】
動画入力部１３０１は、ビデオカメラ１１０やＶＹＲ１１２等からビデオI／F１０９を介して動画像を送信装置１１０１内に入力し、当該動画像のフレームデータを抽出してシーン特徴抽出部１３０２に供給する。
【０１０６】
シーン特徴抽出部１３０２は、第１及び第２実施の形態におけるシーン特徴抽出部２０２と同様の機能を有し、動画蓄積部１３０３についても、第１及び第２実施の形態における動画蓄積部２０３と同様の機能を有し、さらにシーン特徴情報蓄積部１３０４についても、第１及び第２実施の形態におけるシーン特徴情報蓄積部２０４と同様に機能を有する。
【０１０７】
尚、シーン特徴抽出部１３０２、動画蓄積部１３０３、及びシーン特徴情報蓄積部１３０４の詳細については、第１及び第２実施の形態の説明で既に述べてあるため、ここでは省略する。
【０１０８】
ストリーム送信部１３０５は、動画蓄積部１３０３から動画像を読み出すと共に、シーン特徴情報蓄積部１３０４からシーン特徴情報を読み出し、これらの動画像及びシーン特徴情報の多重化を行った後、当該多重化ストリームを送信する。
【０１０９】
＜端末装置１１０３の構成＞
端末端末１１０３は、上記図１に示した構成と同様の構成を備えたものであり、この構成により、例えば、図１４に示すような機能が実現される。
【０１１０】
すなわち、端末装置１１０３は、上記図１４に示すように、ストリーム受信部１４０１（上記図２に示した構成部２０１に相当）、動画蓄積部１４０２（上記図２に示した構成部２０３に相当）、シーン特徴情報蓄積部１４０３（上記図２に示した構成部２０４に相当）、ダイジェスト作成部１４０４（上記図２に示した構成部２０５に相当）、再生部１４０５（上記図２に示した構成部２０６に相当）、表示部１４０６（上記図２に示した構成部２０７に相当）、及びユーザ操作部１４０７（上記図２に示した構成部２０８に相当）を備えている。
【０１１１】
ストリーム受信部１４０１は、第１及び第２実施の形態におけるストリーム受信部２０１と同様の機能を有するものであるが、受信ストリームを解析することで、動画像及びシーン特徴情報に分離し、動画像を動画蓄積部１４０２に供給すると共に、シーン特徴情報をシーン特徴蓄積部１４０３に供給する。
【０１１２】
動画蓄積部１４０２は、第１及び第２実施の形態における動画蓄積部２０３と同様の機能を有するものであり、シーン特徴蓄積部１４０３についても、第１及び第２実施の形態におけるシーン特徴蓄積部２０４と同様の機能を有するものである。また、ダイジェスト作成部１４０４も第１及び第２実施の形態におけるダイジェスト作成部２０５と同様の機能を有するものであり、再生部１４０５も第１及び第２実施の形態における再生部２０６と同様の機能を有するものであり、表示部１４０６も第１及び第２実施の形態における表示部２０７と同様の機能を有するものであり、ユーザ操作部１４０７も第１及び第２実施の形態におけるユーザ操作部２０８と同様の機能を有するものである。
【０１１３】
尚、上記の構成部１４０２〜１４０７の詳細については、第１及び第２実施の形態の説明で既に述べてあるため、ここでは省略する。
【０１１４】
＜送信装置１１０１及び端末装置１１０３の動作＞
先ず、送信装置１１０１において、動画入力部１３０１は、送信装置１１０１内に動画像を入力し、当該動画像のフレームデータを抽出し、これをシーン特徴抽出部１３０２に供給する。
【０１１５】
次に、シーン特徴抽出部１３０２は、動画入力部１３０１からのフレームデータからシーン及びシーン特徴情報を抽出し、フレームを動画蓄積部１３０３に蓄積すると共に、シーン特徴情報をシーン特徴情報蓄積部１３０４へ蓄積する。
【０１１６】
尚、ここまでの動作については、第１及び第２の実施の形態におけるシーン特徴抽出部２０２、動画蓄積部２０３、及びシーン特徴情報蓄積部２０４による動作と同様であるため、その詳細な説明は省略する。
【０１１７】
次に、ストリーム送信部１３０５は、動画蓄積部１３０３からフレームを順次取り出し、この取出フレームに対応するシーン特徴情報をシーン特徴情報蓄積部１３０４から順次取り出し、これらのフレーム及びシーン特徴情報を多重化したストリームを通信網１１０２を介して送信する。
【０１１８】
フレーム及びシーン特徴情報の多重化の方法としては、例えば、ＭＰＥＧ−２のシステムで規格化されている方法等が適用可能である。具体的には例えば、シーン（動画像）及びシーン特徴情報を、それぞれＰＥＳ（Packetized Elementary Stream）にパケット化し、このパケットデータをＴＳ（Transport Stream）の多重ストリームとする方法が挙げられる。
【０１１９】
上述のようにして送信装置１１０１から通信網１１０２に対して送出された多重化ストリームは、端末装置１１０３で受信される。
【０１２０】
端末装置１１０３において、先ず、ストリーム受信部１４０１は、送信装置１１０１からの多重化ストリームを受信し、当該多重化ストリームから、動画像及びシーン特徴情報を分離し、動画像を動画蓄積部１４０２に蓄積すると共に、シーン特徴情報をシーン特徴蓄積部１４０３に蓄積する。
これ以降の動作（ダイジェスト作成部１４０４からユーザ操作部１４０７にかけての動作）については、第１及び第２の実施の形態における構成部２０５から構成部２０８にかけての動作と同様であるため、その詳細な説明は省略する。
【０１２１】
尚、第１〜第３の実施の形態において、次のような構成（１）〜（８）とするようにしてもよい。
【０１２２】
（１）個々のフレームを識別するためにフレームＩＤを用いたが、その代わりに、例えば、タイムコードを用いるようにしてもよい。また、シーンの長さとしては、フレーム数を用いたが、その代わりに、例えば、時間を用いるようにしてもよい。
【０１２３】
（２）シーンチェンジの激しいシーンの先頭フレームから一定時間分のフレームを、ダイジェストに採用したが、これに限られることはなく、例えば、シーンの最後から、或いは、シーンの中心から一定時間分のフレームを、ダイジェストに採用するようにしてもよい。
【０１２４】
（３）シーンの特徴として、シーンチェンジの激しさを用いるようにしたが、これに限られることはなく、例えば、シーン中の対象物の動きの激しさ等を用いるようにしてもよい。
具体的には例えば、シーン中のフレーム間の類似度の統計を取り、この結果が常に高い場合には動きが穏やかであり、低い場合には動きが激しい、等とする。動きの激しいシーンの先頭から、或いは最後から、或いは中心から、一定時間ずつダイジェストに採用する。このとき、シーン中の最も激しいフレームのフレームＩＤを併せて抽出しておき、当該フレームを中心に、一定時間ずつダイジェストに採用する、等の方法も考えられる。逆に動きが穏やかなところを基準にする方法も考えられる。
【０１２５】
（４）ダイジェスト再生時間については、ユーザが指定するようにしたが、これに限られることはなく、例えば、自動的に決定するようにしてもよい。例えば、（ＣＦＩＤ−ＳＦＩＤ）の１０％を、ダイジェスト再生時間とする。
【０１２６】
（５）“ＣＦＩＤ”から“ＳＦＩＤ”の区間は、シーンチェンジの激しさを利用してダイジェストを作成するようにしたが、これに限られることはなく、例えば、“ＣＦＩＤ”以降と同様に、一定時間ごとにフレームを所定時間分ずつダイジェストに採用するようにしてもよい。
【０１２７】
(６) 第３の実施の形態において、シーン特徴抽出部１３０２によってシーン及びシーン特徴を抽出したが、動画像作成時に、人手によって同様な情報を付与する方法であってもかまわない。
【０１２８】
(７) 第３の実施の形態において、シーン特徴抽出部を別な装置上に構成し、結果のシーン特徴情報と対応する動画像を、送信装置に入力する構成としても、構わない。
【０１２９】
（８）本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
【発明の効果】
以上説明したように本発明では、入力動画（受信されたテレビジョン放送の動画等）を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶し、当該シーン特徴情報及びダイジェストの再生時間に基づいて、再生動画についてのダイジェストを作成し、当該ダイジェストに基づいて、動画再生するように構成したので、例えば、ユーザから指定された過去の任意の時点から現在までの動画をダイジェストで再生できるので、現在の入力動画に追いつくことが可能となる。
【０１３１】
また、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間（ダイジェストに基づく再生を行っている間）については、所定間隔でのダイジェストを作成する等の構成により、ダイジェストに基づく再生を行っている間の入力画像も加味して、ダイジェストを作成することができるため、現在の入力動画に追いついた際に、ユーザに対して違和感を与えることがない。また、ダイジェスト再生指示した位置から現行放送に追いつくまでの間については、シーンの特徴量の抽出処理を行わなくても良いので、メモリや演算能力に制限のある場合でも、ダイジェスト再生を容易に行うことができる。
また、シーンの特徴情報を抽出するシーン特徴情報抽出手段を備え、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、シーン特徴情報が抽出された時に、ダイジェストに対して修正を加えることにより、ダイジェスト再生中に進む時間分の現在の放送に特徴量の大きいシーンがあった場合に、追いつき開始位置から追いつき再生指示した位置までの間で特徴量が低いシーンと入れ替えることで、再生するダイジェストにダイジェスト再生中に進む時間分の現在の放送の特徴量の大きいシーンを加味することができ、適切な内容のダイジェストを作成することができる。
【０１３２】
また、現在の入力動画に追いつくまでの時間をユーザが指定することも可能であるので、動画の再生が長時間に遡る場合であっても、効率のよい動画の視聴が可能となる。
【０１３３】
また、シーンの特徴となる情報を用いるように構成しているので、適切なダイジェストを作成することができ、再生動画の内容の把握も容易となる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の機能的構成を示すブロック図である。
【図３】上記画像処理装置のシーン特徴抽出部の処理を説明するためのフローチャートである。
【図４】上記画像処理装置におけるフレームのブロック分割の一例を説明するための図である。
【図５】上記シーン特徴抽出部で得られるシーン特徴情報の一例を説明するための図である。
【図６】上記画像処理装置のダイジェスト作成部の処理（Ｓ５０１〜Ｓ５１２）を説明するためのフローチャートである。
【図７】上記ダイジェスト作成部の処理（Ｓ５１３〜Ｓ５１９）を説明するためのフローチャートである。
【図８】上記画像処理装置での「追いつき再生モード」時の位置関係を説明するための図である。
【図９】上記ダイジェスト作成部で作成されるダイジェストリストの一例を説明するための図である。
【図１０】第２の実施の形態における、上記ダイジェスト作成部の処理を説明するためのフローチャートである。
【図１１】第３の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図１２】上記画像処理システムの送信装置の構成を示すブロック図である。
【図１３】上記送信装置の機能構成を示すブロック図である。
【図１４】上記画像処理システムの端末装置の機能構成を示すブロック図である。
【符号の説明】
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ 表示器
１０８ ＮＩＣ
１０９ ビデオＩ／Ｆ
１１０ ビデオカメラ
１１１ バス
１１２ ＶＴＲ
１１３ 受信機
２０１ ストリーム受信機
２０２ シーン特徴抽出部
２０３ 動画蓄積部
２０４ シーン特徴情報蓄積部
２０５ ダイジェスト作成部
２０６ 再生部
２０７ 表示部
２０８ ユーザ操作部
【発明の属する技術分野】
本発明は、例えば、テレビジョン放送の情報ストリームを受信して記憶し、当該記憶ストリームの再生処理等を行う装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、並びにそれを実施するための機能をコンピュータに実現させるためのプログラム、及び上記機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来より例えば、テレビジョン放送を受信して記憶媒体（磁気テープ等）に記憶し、当該記憶媒体に記憶したテレビジョン放送の情報（ビデオ信号）を、ユーザからの指示（再生希望する時の指示）に基づき再生する装置としては、ＶＴＲ（ビデオテープレコーダ）が多く普及している。
【０００３】
一方、近年では、ランダムアクセスの可能なハードディスクや光ディスク等の記憶媒体に関して大容量化が急速に進んでいることから、このような記憶媒体を、ＶＴＲ等で用いられる磁気テープの変わりに利用した装置の開発が進められている。
例えば、記憶媒体が大容量である点、及び記憶媒体に対してランダムアクセスが可能である点を生かし、ＶＴＲ技術の延長で様々な装置が開発されている。このような装置の一例としては、テレビジョン放送されている番組を常にリアルタイムに記憶媒体に記憶（録画）しておき、当該記憶媒体において、過去に遡ったある位置から再生できるように構成されたものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したような、ランダムアクセスの可能なハードディスクや光ディスク等の記憶媒体を利用した従来の再生装置では、再生対象の記憶媒体において、過去に遡ったある位置から再生できるように構成されたものであっても、過去の任意の時点から現在までの内容を掻い摘んで視聴したい等というユーザの要望を満たすことができなかった。
【０００５】
具体的には例えば、再生対象の記憶媒体に記憶された情報が、スポーツの試合中継の番組の情報である場合、当該記憶媒体の再生により、試合の開始から視聴する、或は試合の途中の任意の時点から視聴することになる。
しかしながら、試合の開始から視聴する場合、現在の状況を気にかけながら視聴しなければならない。また、試合の途中から視聴する場合、それまでの試合の経過がわからず、試合の流れを掴めないまま、視聴を続けなければならない。
このように、従来では、過去の任意の時点から現在までの番組の内容を、掻い摘んで視聴することができなかった。
【０００６】
そこで、本発明は、上記の欠点を除去するためになされたもので、記憶媒体のダイジェスト再生により、現在の放送に追いつくことを可能とした、画像処理装置、画像処理システム、画像処理方法、並びにそれを実施するための機能をコンピュータに実現させるためのプログラム、及び上記機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、動画の再生処理する画像処理装置であって、入力動画を記憶する動画記憶手段と、上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、再生動画のダイジェストの再生時間を入力する入力手段と、上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段とを備え、上記ダイジェスト作成手段は、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする。
【０００８】
本発明の画像処理装置は、動画の再生処理する画像処理装置であって、入力動画を記憶する動画記憶手段と、上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、再生動画のダイジェストの再生時間を入力する入力手段と、上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段と、上記シーンの特徴情報を抽出するシーン特徴情報抽出手段とを備え、上記シーン特徴情報記憶手段は、上記シーン特徴情報抽出手段で抽出されたシーン特徴情報を記憶し、上記ダイジェスト作成手段は、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出手段によってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする。
【０００９】
本発明の画像処理システムは、複数の機器が互いに通信可能に接続されてなる画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、上記画像処理装置の機能を有することを特徴とする。
【００１０】
本発明の画像処理方法は、動画の再生処理するための画像処理方法であって、入力動画を記憶手段に記憶する動画記憶ステップと、上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、再生動画のダイジェストの再生時間を入力する入力ステップと、上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップとを有し、上記ダイジェスト作成ステップでは、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする。
【００１１】
本発明の画像処理方法は、動画の再生処理するための画像処理方法であって、入力動画を記憶手段に記憶する動画記憶ステップと、上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、再生動画のダイジェストの再生時間を入力する入力ステップと、上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップと、上記シーンの特徴情報を抽出するシーン特徴情報抽出ステップとを有し、上記シーン特徴情報記憶ステップでは、上記シーン特徴情報抽出ステップで抽出されたシーン特徴情報を記憶し、上記ダイジェスト作成ステップでは、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出ステップによってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする。
【００１２】
本発明のプログラムは、上記画像処理装置の機能をコンピュータに実現させるためのプログラムであることを特徴とする。
【００１３】
本発明のコンピュータ読み取り可能な記録媒体は、上記画像処理装置の機能をコンピュータに実現させるためのプログラムを記録したことを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３５】
[第1の実施の形態]
＜本実施の形態の全体構成＞
本発明は、例えば、図１に示すような画像処理装置１００に適用される。
本実施の形態の画像処理装置１００は、記憶媒体のダイジェスト再生により、現在の放送に追いつくことができるように構成された再生機能を有し、上記図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キーボード１０４、マウス１０５、外部記憶装置１０６、表示器１０７、ＮＩＣ１０８、ビデオＩ／Ｆ１０９、ビデオカメラ１１０、ＶＴＲ１１２、及び受信機１１３が、システムバス１１１を介して互いに通信可能なように接続された構成としている。
【００３６】
ＣＰＵ１０１は、所定の処理プログラムを実行することで、画像処理装置１００全体の動作制御を司る。
ＲＯＭ１０２には、ＣＰＵ１０１での動作制御を実施するための処理プログラム（画像処理装置１００の立ち上げ時に実行されるブートプログラム等）や各種データが格納される。
ＲＡＭ１０３は、ＣＰＵ１０１によりＲＯＭ１０２等から処理プログラムがロードされるメモリであると共に、ＣＰＵ１０１が各種動作制御を実行する際の作業用メモリを提供する。
【００３７】
キーボード１０４及びマウス１０５は、ユーザによる画像処理装置１００に対する各種動作指示の環境（各種入力操作環境）を提供する。
外部記憶装置１０６は、ハードディスクやフレキシブルディスク、或いはＣＤ−ＲＯＭ等で構成される。
表示器１０７は、ＣＲＴディスプレイ等で構成され、処理結果等をユーザに対して表示する。
ＮＩＣ１０８は、ネットワークインターフェースであり、ネットワーク上の各機器或いはシステムとの通信を可能とする。
【００３８】
ビデオＩ／Ｆ（インターフェース）１０９は、ビデオカメラ１１０やＶＴＲ１１２からの動画を取り込むことを可能とする。
受信機１１３は、地上波放送や衛星放送等の放送電波を受信する。
【００３９】
尚、上記図１に示した構成において、ビデオカメラ１１０、ＶＴＲ１１２、及び外部記憶装置１０６を、ＮＩＣ１０８により接続されるネットワーク上に配置するようにしてもよい。
【００４０】
図２は、上記図１の画像処理装置１００を機能的に示したものである。
画像処理装置１００は、上記図２に示すように、受信機１１３により実施されるストリーム受信部２０１と、ＣＰＵ１０１により実施されるシーン特徴抽出部２０２、ダイジェスト作成部２０５、及び再生部２０６と、ＲＡＭ１０３または外部記憶装置１０６から実施される動画蓄積部２０３及びシーン特徴情報蓄積部２０４と、表示器１０７により実施される表示部２０７と、キーボード１０４及びマウス１０５等から実施されるユーザ操作部２０８とを備えている。
【００４１】
ストリーム受信部２０１は、受信機１１３により、テレビジョンの地上波の放送や衛星放送、或いはネットワークインターフェース１０８を介してのケーブルテレビジョン放送やネットワークを介した放送等を受信して、それを情報ストリームとして出力する。
【００４２】
シーン特徴抽出部２０２は、ストリーム受信部２０１から出力される情報ストリーム（動画のフレーム）を解析することで、シーンの特徴を取得する。
動画蓄積部２０３であり、シーン特徴抽出部２０２からの動画のフレームを順次蓄積する。
シーン特徴情報蓄積部２０４は、シーン特徴抽出部２０２で得られたシーン特徴情報を蓄積する。
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されているシーン特徴情報に基づき動画のダイジェストを作成する。
【００４３】
再生部２０６は、再生モードが「現行放送モード」である場合、ストリーム受信部２０１から順次出力される動画のフレームを再生し、再生モードが受信中の動画を録画しながら録画済み部分の動画を再生する「追いかけ（第１のタイムシフト）再生モード」である場合、動画蓄積部２０３に蓄積された動画のフレームを再生し、再生モードが受信中の動画を録画しながら録画済み部分の動画をダイジェスト再生する「追いつき（第２のタイムシフト）再生モード」である場合、ダイジェスト作成部２０５で得られたダイジェスト情報に基づき動画蓄積部２０３に蓄積された動画のフレームを再生する。
【００４４】
表示部２０７は、再生部２０６で再生された動画をユーザに対して表示出力する。
ユーザ操作部２０８は、ユーザがキーボード１０４及びマウス１０５等を含み、再生モードの切換指示等を行うためのものである。
【００４５】
＜画像処理装置１００の全体動作＞
上記図１及び図２に示したような構成を備えた画像処理装置１００の動作の一例（１）〜（３）について、以下に説明する。
【００４６】
（１）現行放送モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「現行放送モード」の指定がなされた場合、現行放送の再生が行なわれる。
【００４７】
すなわち、再生部２０６は、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）からフレームを順に取り出して再生する。
【００４８】
（２）追いかけ（第１のタイムシフト）再生モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「追いかけ再生モード」の指定がなされた場合、追いかけ再生が行われる。
【００４９】
すなわち、先ず、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）から順に取り出されたフレームは、シーン特徴抽出部２０２を介して、動画蓄積部２０３に蓄積される。
動画蓄積部２０３は、記憶容量として十分な大きさを有するものであるが、記憶できる限界を超えた場合、古い情報に対して順に上書き記憶する。
【００５０】
再生部２０６は、ユーザ操作部２０８で指定された位置まで遡ったフレームを、動画蓄積部２０３から順に取り出して再生する。
このとき、前の再生モードが「追いつき再生モード」であり、この状態から当該「追いかけ再生モード」に切りかえられた場合、再生部２０６は、再生されていた位置からの追いかけ再生を開始する。
【００５１】
（３）追いつき（第２のタイムシフト）再生モード時の動作
ユーザ操作部２０８によりユーザから、再生モードとして「追いつき再生モード」の指定がなされた場合、追いつき再生が行われる。
【００５２】
すなわち、先ず、ストリーム受信部２０１で得られた情報ストリーム（受信ストリーム）から順に取り出されたフレームは、シーン特徴抽出部２０２を介して、動画蓄積部２０３に蓄積される。
このとき、シーン特徴抽出２０２は、入力フレームをシーンに分割し、それぞれのシーンの特徴を抽出してシーン特徴情報蓄積部２０４に蓄積する。
【００５３】
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照し解析することで、ダイジェストを作成する。
再生部２０６は、ダイジェスト作成部２０５で作成されたダイジェストを再生する。
この再生後は、ただちに「現行放送モード」の動作に戻り、これにより、現行放送が再生される。
【００５４】
つまり、追いつき再生モードとは、動画像データを録画しながら、前記ユーザーから指示された録画済み部分の前記動画像データをダイジェスト再生し、現在の放送されている動画像データに追いつくモードである。
【００５５】
＜シーン特徴情報の抽出処理、及びダイジェストの作成処理の詳細＞
【００５６】
（１）シーン特徴情報の抽出処理
図３は、シーン特徴抽出部２０２で実行される、シーン特徴情報の抽出処理をフローチャートによって示したものである。
【００５７】
ステップＳ３０１：
先ず、シーン特徴抽出部２０２は、ストリーム受信部２０１から受け取ったフレームを、動画蓄積部２０３に蓄積する。
このとき、シーン特徴抽出部２０２は、個々のフレームに対して、フレーム識別するためのフレームＩＤを付与する。
【００５８】
ステップＳ３０２：
シーン特徴抽出部２０２は、動画蓄積部２０３に蓄積したフレームのそれぞれについて、順番に注目するフレームと、過去のフレーム群とのフレーム間類似性距離計算を行う。
【００５９】
ここでの過去のフレーム群とは、単数のフレームの場合も、複数のフレームの場合もあり、特にそのアルゴリズムを限定しない。また、これら比較対象となる過去のフレーム群は、特に図示しないメモリ上に保持しておく。
【００６０】
ステップＳ３０２での処理の具体例を挙げると、先ず、前のフレームと現在のフレームのそれぞれのフレームに対して、図４に示すような、縦横の複数のブロック分割を行なう。
次に、上記ブロック分割後の各ブロックに関して、ＲＧＢの平均値を算出する。
そして、現在フレームにおける各ブロックと、その前フレームにおける各ブロックとの間で、対応するブロック同士のＲＧＢの平均値の差の二乗和を求め、この結果を、シーンチェンジの激しさの度合いを表すフレーム間類似性距離とする。
したがって、フレーム間類似性距離が小さいほど類似しており、フレーム間類似性距離が大きいほど類似していない。すなわち、フレーム間類似性距離が大きければ、現在フレームは、その前のフレームに対してシーンチェンジである可能性が大きい。
【００６１】
上記の処理は、
【００６２】
【数１】
なる式（１）で表される。
【００６４】
ステップＳ３０３：
シーン特徴抽出部２０２は、ステップＳ３０２で取得したフレーム間類似性距離計算の結果（類似度）により、シーンチェンジを判定する。
この判定の結果、シーンチェンジでない場合、そのまま本処理終了となる。
【００６５】
ステップＳ３０４：
ステップＳ３０３の判定の結果、シーンチェンジである場合、シーン特徴抽出部２０２は、シーン特徴情報を蓄積する。
その後、本処理終了となる。
【００６６】
ここでのシーン特徴情報とは、例えば、図５に示すように、シーン毎に付与されるシーンＩＤ、シーンの先頭のフレームＩＤ、シーンの長さ、及びシーンの特徴の一つであるシーンチェンジの激しさ等の情報からなる。
“シーンの長さ”は、今回のシーンチェンジのフレームＩＤから前回のシーンチェンジのフレームＩＤを引いた結果から得られるフレーム数の情報である。
“シーンの激しさ”は、シーンの切り替わりの激しさを示し、上述した類似度の逆数を利用した情報である。ただし、ここでは、類似度“０”はあり得ないものとする。したがって、類似度が低いほど、激しいシーンの切り替わりであり、“シーンの激しさ”の値も大きくなる。
【００６７】
（２）ダイジェストの作成処理
図６及び図７は、ダイジェスト作成部２０５で実行される、ダイジェストの作成処理をフローチャートによって示したものである。
尚、以下の説明における“ＳＦＩＤ”、“ＣＦＩＤ”、及び“ＴＤ”等は、作業用メモリ（ＲＡＭ１０３等）におけるフラグ或はバッファを示す。
【００６８】
ステップＳ５０１：図５参照
ダイジェスト作成部２０５は、ユーザからの「追いつき再生モード」の指示により、「追いかけ再生モード」からの切り換えであるか否かを判定する。
【００６９】
ステップＳ５０２、ステップＳ５０３：
ステップＳ５０１の判定の結果、「追いかけ再生モード」からの切り換えである場合、ダイジェスト作成部２０５は、“ＳＦＩＤ”に対して現在再生中のフレームＩＤを設定する（ステップＳ５０３）。
一方、「追いかけ再生モード」からの切り換えでない場合、すなわち「現行放送モード」からの切り換えである場合、ダイジェスト作成部２０５は、“ＳＦＩＤ”に対して、ユーザから指定された開始位置のフレームＩＤを設定する。
これにより、“ＳＦＩＤ”により示されるフレームからの追いつき再生が行われる。
【００７０】
ステップＳ５０４、ステップＳ５０５：
ダイジェスト作成部２０５は、“ＣＦＩＤ”に対して現行放送のフレームＩＤを設定し（ステップＳ５０４）、“ＴＤ”に対してユーザから指定されたダイジェスト再生時間を設定する（ステップＳ５０５）。
尚、“ＴＤ”として指定できるのは、（“ＣＦＩＤ”−“ＳＦＩＤ”）より短い時間である。
【００７１】
ステップＳ５０６：
ダイジェスト作成部２０５は、ダイジェスト総シーン数Ｎｔを、
ＴＤ÷ダイジェスト１シーン辺りの時間Ｔｓ
なる演算により求める。
尚、上記演算式で割り切れない場合は、その余りを無視する。また、“Ｔｓ”については、特に限定しないが、例えば、人間の目にちらつかない２秒程度が望ましい。
【００７２】
ステップＳ５０７：
ダイジェスト作成部２０５は、“Ｎａ”に対して、ステップＳ５０６で求めた“Ｎｔ”を設定する。
ここでの“Ｎａ”は、“ＣＦＩＤ”により示されるフレーム以前に、ダイジェスト中で再生されるべきシーンの数である。
【００７３】
ステップＳ５０８：
ダイジェスト作成部２０５は、“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数Ｎｂを決定する。
【００７４】
具体的には、ダイジェスト再生中においても、現行放送は先に進むため、最終的に現行放送においつくためには、例えば、図８に示すように、ダイジェスト再生開始時の現行放送の位置（“ＣＦＩＤ”）から、追いついた時点での現行放送の位置までの間（ダイジェスト再生中に進む時間）を考慮しなければならない。
【００７５】
ダイジェスト再生中に進む時間の部分は、これから決まる部分であるため、現時点では、シーンの区切りや激しさはわからない。したがって、一度にダイジェスト再生するシーンを決定する方法では、この部分はシーンの激しさを利用できないため、一定時間おきにＴｓ分ずつ再生する。この一定時間を所定値Ｌとする。
所定値Ｌは、Ｔｓより十分に長く、動画内容に十分に変化が起こりうる時間であるものとする。特に限定しないが、例えば、５分（＝３００秒）程度が望ましい。
【００７６】
したがって、“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数Ｎｂは、
Ｎｂ＝ＴＤ÷Ｌ
なる演算より求める。この演算の結果、割り切れない場合、その余りは無視する。
【００７７】
ステップＳ５０９：
ダイジェスト作成部２０５は、ステップＳ５０７にて設定を行なった“Ｎａ”（“ＣＦＩＤ”により示されるフレーム以前に、ダイジェスト中で再生されるべきシーンの数）に対して、
Ｎａ−Ｎｂ
なる演算の結果を改めて設定する。これは、ダイジェスト再生で再生できるシーン数が“Ｎｔ”と決まっていることにより、
Ｎｔ＝Ｎａ＋Ｎｂ
なる関係を満たすようにするためである。
【００７８】
ステップＳ５１０：
ダイジェスト作成部２０５は、“ＳＦＩＤ”により示されるフレームからＴｓ分を、ダイジェストリストに追加する。これは、ユーザが、“ＳＦＩＤ”により示されるフレームからの追いつき再生を指示したはずであるのに、“ＳＦＩＤ”により示されるフレームが再生されない、という違和感を防ぐためである。
【００７９】
ここでのダイジェストリストとは、例えば、図９に示すように、開始フレームＩＤ、及び長さの情報を含んでいる。
“長さ”は、フレーム数で表している。このため、例えば、Ｔｓ（秒）分の長さは、フレームレートが“３０（フレーム毎秒）”であれば６０フレームとなる。
【００８０】
ステップＳ５１１：
ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照して、ＳＦＩＤ＋Ｔｓ×フレームレートの位置からＣＦＩＤまでの間で、Ｔｓより長いシーンの中から、シーンの激しさの順に（Ｎａ−１）個分取り出し、これをダイジェストリストに追加する。
このとき、シーンの先頭ＩＤがダイジェストリスト中の“開始フレームＩＤ”となり、Ｔｓ分の長さ６０フレームがダイジェストリスト中の“長さ”となる。また、（Ｎａ−１）個分取り出すようにしたのは、既に、ステップＳ５１０において１個分をダイジェストリストへ追加しているためである。また、シーンの激しさの順に取り出すようにしたのは、シーンチェンジが激しいほど、人間の印象に残るという仮定に基づいているためである。
【００８１】
ステップＳ５１２：
ダイジェスト作成部２０５は、ダイジェストリストを時系列順にソートする。
【００８２】
ステップＳ５１３：図７参照
ダイジェスト作成部２０５は、後述するの処理の準備として、“Ｎ”に初期値として“１”を設定する。
【００８３】
ステップＳ５１４：
ダイジェスト作成部２０５は、“Ｎｂ”（“ＣＦＩＤ”で示されるフレーム以降で、現行放送に追いつくまでにダイジェスト中で再生されるべきシーンの数）が正であるか否かを判定する。
【００８４】
ステップＳ５１５〜ステップＳ５１７：
ステップＳ５１４の判定の結果、「Ｎｂ＞０」である場合、ダイジェスト作成部２０５は、“ＣＦＩＤ”で示されるフレーム以降からも、ダイジェストリストの末尾に追加するシーンが存在すると認識し、“ＣＦＩＤ”により示されるフレームからＮ×Ｌの位置からＴｓ分をダイジェストリストに追加する（ステップＳ５１５）。
そして、ダイジェスト作成部２０５は、“Ｎｂ”をデクリメントし（ステップＳ５１６）、“Ｎ”をインクリメントして（ステップＳ５１７）、再び、ステップＳ５１４に戻り、まだ、“Ｎｂ”が正であれば、更にステップＳ５１５からの処理を繰り返し実行する。
【００８５】
すなわち、“ＣＦＩＤ”により示されるフレームに近い位置から、所定値Ｌ毎に、フレームをＴｓ分ずつダイジェストリストに追加していく。そして、ステップＳ５１４において、“Ｎｂ”が０になったところで、ステップＳ５１８に進むことになる。
【００８６】
ステップＳ５１８、ステップＳ５１９：
ステップＳ５１４の判定の結果、「Ｎｂ＞０」でない場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎａ×Ｔｓ）の結果が正であるか否かを判定する（ステップＳ５１８）。すなわち、ダイジェスト作成部２０５は、指定されたダイジェスト再生時間からダイジェストリストの総再生時間を引いた分に余りがあるか否かを判定する。
この判定の結果、「（ＴＤ−Ｎａ×Ｔｓ）＞０」でない場合、そのまま本処理終了となる。一方、「（ＴＤ−Ｎａ×Ｔｓ）＞０」である場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎａ×Ｔｓ）分だけ、ダイジェストリスト中の個々のシーンの長さをＴＤに等しくなるまで漸次のばしていく。
【００８７】
尚、上記図６及び図７に示したような処理により、上記図９に示したようなダイジェストリストが作成されることになる。当該処理は、特別な演算を必要としないため、処理時間が非常に短い時間となる。したがって、ダイジェスト再生時間への影響は無視できる。
【００８８】
上述のようにして作成されたダイジェストリストは、再生部２０６から参照される。すなわち、再生部２０６は、ダイジェスト作成部２０５で作成された当該ダイジェストリストを参照し、これに基づいて、動画蓄積部２０３から順にフレームを取り出して再生して、表示部２０７で表示する。その後、再生部２０６は、現行放送の再生を行う。
【００８９】
[第２の実施の形態]
本実施の形態では、上記図１及び図２に示した画像処理装置１００において、
「追いつき再生モード」時のダイジェストの作成処理を、ダイジェスト再生中に新しく検出されたシーンの特徴情報を参照してダイジェストリストを適宜修正する処理とする。
当該処理を、図１０のフローチャートによって示す。
【００９０】
尚、上記図１０に示す処理は、上記図６に示したステップＳ５０１〜ステップＳ５０６の処理実行後の処理である。また、上記図１０に示す処理において、ステップＳ９０１の処理は、上記図６のステップＳ５１０の処理と同様であり、ステップＳ９０２の処理は、上記図６のステップＳ５１１の処理と同様であり、ステップ９０３の処理は、上記図６のステップＳ５１２と同様であるため、これらのステップの処理についての詳細な説明は省略する。
【００９１】
上記図６に示したステップＳ５０１〜ステップＳ５０６、及びステップＳ９０１〜ステップＳ９０３（ステップＳ５１０〜ステップＳ５１２）の処理実行後、先ず、ダイジェスト作成部２０５は、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しないか否かを判定する（ステップＳ９０４）。
この判定の結果、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しない場合、後述するステップＳ９１１からの処理に進み、ダイジェストリストに対して、２つ以上のシーンに関しての情報が存在する場合、次のステップＳ９０５からの処理に進む。
【００９２】
ステップＳ９０４の判定の結果、ダイジェストリストに対して、２つ以上のシーンに関しての情報が存在する場合、先ず、ダイジェスト作成部２０５は、ダイジェストリストの先頭のシーンに関する情報のみを、再生部２０６へ供給する。
これにより、再生部２０６は、当該先頭シーンの再生を行う（ステップＳ９０５）。
【００９３】
次に、ダイジェスト作成部２０５は、ダイジェストリストから、再生部２０６で再生された先頭シーンに関しての情報を削除する（ステップＳ９０６）。
【００９４】
次に、ダイジェスト作成部２０５は、シーン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を参照することで、新たなシーンが決定されたか否かを判定する（ステップＳ９０７）。これは、上述したダイジェストリストの先頭のシーンを再生中にも放送が受信され、シーン特徴抽出部２０２においてシーンの特徴抽出が行われているからである。
この判定の結果、新たなシーンが決定されていない場合、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９５】
ステップＳ９０７の判定の結果、新たなシーンが決定された場合、ダイジェスト作成部２０５は、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高いか否かを判定する（ステップＳ９０８）。
この判定の結果、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高くない場合、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９６】
ステップＳ９０８の判定の結果、当該新たなシーンの激しさが、ダイジェストリスト中の激しさの最も小さいものよりも高い場合、ダイジェスト作成部２０５は、ダイジェストリスト中の激しさの最も小さい値を有するシーンに関する情報を削除する（ステップＳ９０９）。
そして、ダイジェスト作成部２０５は、当該新たなシーンを、ダイジェストリストの末尾に追加することで、ダイジェストで採用する（ステップＳ９１０）。
その後、ダイジェスト作成部２０５は、再びステップＳ９０４へ戻り、以降の処理ステップを繰り返し実行する。
【００９７】
一方、上述したステップＳ９０４の判定の結果、ダイジェストリストに対して、１つのシーンに関しての情報のみしか存在しない場合、ダイジェスト作成部２０５は、（ＴＤ−Ｎｔ×Ｔｓ）の結果が正であるか否かを判定する（ステップＳ９１１）。
この判定の結果、「（ＴＤ−Ｎｔ×Ｔｓ）＞０」でない場合、そのまま本処理終了となる。
【００９８】
ステップＳ９１１の判定の結果、「（ＴＤ−Ｎｔ×Ｔｓ）＞０」である場合、すなわち指定されたダイジェスト再生時間よりダイジェストリストの時間が短かい場合、ダイジェスト作成部２０５は、最後に再生されるシーンを（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生されるような情報を、当該シーンに関するダイジェストリストにおける情報として再生部２０６へ供給する。
これにより、再生部２０６は、最後に再生されるシーンを（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生する（ステップＳ９１２）。
その後、本処理終了となる。
【００９９】
[第３の実施の形態]
上述した第１及び第２の実施の形態では、ストリーム受信後にシーン特徴を抽出し、これを「追いつき再生モード」で活用するように構成した。本実施の形態では、ストリーム送信側でシーン特徴情報を予め抽出し、動画像と一緒に送信し、受信側で利用するように構成する。
【０１００】
＜本実施の形態の全体構成＞
図１１は、本実施の形態において、本発明を適用した画像処理システム１１００の構成を示したものである。
画像処理システム１１００は、上記図１１に示すように、送信装置１１０１と、パーソナルコンピュータ等の端末装置１１０３とが、通信網１１０２を介して通信可能なように接続された構成としている。
【０１０１】
送信装置１１０１は、動画像を構成するシーンとシーン特徴情報を多重化し、この多重化データ（ストリーム）を通信網１１０２上に送信する。
通信網１１０２は、例えば、テレビジョン放送の場合には電波に相当し、ＣＡＴＶの場合には同軸ケーブルや光ファイバ、インターネット等に相当する。
端末装置１１０３は、通信網１１０２を介してストリーム受信し、当該ストリームから動画像の再生等を行う。
【０１０２】
＜送信装置１１０１の構成＞
図１２は、送信装置１１０１の構成を示したものである。
送信装置１１０１は、上記図１２に示すように、上記図１に示した構成部１０１〜１１２を備えると共に、更に送信機１２０１を備えた構成としている。
【０１０３】
送信機１２０１は、例えば、地上波放送や衛星放送等の放送電波等を送信する。この送信データは、ビデオＩ／Ｆ１０９に対して入力される。
尚、インターネット経由のストリーミング配信の場合、送信機１２０１は、ＮＩＣ１０８を介してストリームを送信することになる。
【０１０４】
図１３は、上記図１２に示した構成により実現される送信装置１１０１の機能構成を示したものである。
送信装置１１０１は、上記図１３に示すように、動画入力部１３０１、シーン特徴抽出部１３０２（上記図２に示した構成部２０２に相当）、動画蓄積部１３０３（上記図２に示した構成部２０３に相当）、シーン特徴情報蓄積部１３０４（上記図２に示した構成部２０４に相当）、及びストリーム送信部１３０５を備えている。
【０１０５】
動画入力部１３０１は、ビデオカメラ１１０やＶＹＲ１１２等からビデオI／F１０９を介して動画像を送信装置１１０１内に入力し、当該動画像のフレームデータを抽出してシーン特徴抽出部１３０２に供給する。
【０１０６】
シーン特徴抽出部１３０２は、第１及び第２実施の形態におけるシーン特徴抽出部２０２と同様の機能を有し、動画蓄積部１３０３についても、第１及び第２実施の形態における動画蓄積部２０３と同様の機能を有し、さらにシーン特徴情報蓄積部１３０４についても、第１及び第２実施の形態におけるシーン特徴情報蓄積部２０４と同様に機能を有する。
【０１０７】
尚、シーン特徴抽出部１３０２、動画蓄積部１３０３、及びシーン特徴情報蓄積部１３０４の詳細については、第１及び第２実施の形態の説明で既に述べてあるため、ここでは省略する。
【０１０８】
ストリーム送信部１３０５は、動画蓄積部１３０３から動画像を読み出すと共に、シーン特徴情報蓄積部１３０４からシーン特徴情報を読み出し、これらの動画像及びシーン特徴情報の多重化を行った後、当該多重化ストリームを送信する。
【０１０９】
＜端末装置１１０３の構成＞
端末端末１１０３は、上記図１に示した構成と同様の構成を備えたものであり、この構成により、例えば、図１４に示すような機能が実現される。
【０１１０】
すなわち、端末装置１１０３は、上記図１４に示すように、ストリーム受信部１４０１（上記図２に示した構成部２０１に相当）、動画蓄積部１４０２（上記図２に示した構成部２０３に相当）、シーン特徴情報蓄積部１４０３（上記図２に示した構成部２０４に相当）、ダイジェスト作成部１４０４（上記図２に示した構成部２０５に相当）、再生部１４０５（上記図２に示した構成部２０６に相当）、表示部１４０６（上記図２に示した構成部２０７に相当）、及びユーザ操作部１４０７（上記図２に示した構成部２０８に相当）を備えている。
【０１１１】
ストリーム受信部１４０１は、第１及び第２実施の形態におけるストリーム受信部２０１と同様の機能を有するものであるが、受信ストリームを解析することで、動画像及びシーン特徴情報に分離し、動画像を動画蓄積部１４０２に供給すると共に、シーン特徴情報をシーン特徴蓄積部１４０３に供給する。
【０１１２】
動画蓄積部１４０２は、第１及び第２実施の形態における動画蓄積部２０３と同様の機能を有するものであり、シーン特徴蓄積部１４０３についても、第１及び第２実施の形態におけるシーン特徴蓄積部２０４と同様の機能を有するものである。また、ダイジェスト作成部１４０４も第１及び第２実施の形態におけるダイジェスト作成部２０５と同様の機能を有するものであり、再生部１４０５も第１及び第２実施の形態における再生部２０６と同様の機能を有するものであり、表示部１４０６も第１及び第２実施の形態における表示部２０７と同様の機能を有するものであり、ユーザ操作部１４０７も第１及び第２実施の形態におけるユーザ操作部２０８と同様の機能を有するものである。
【０１１３】
尚、上記の構成部１４０２〜１４０７の詳細については、第１及び第２実施の形態の説明で既に述べてあるため、ここでは省略する。
【０１１４】
＜送信装置１１０１及び端末装置１１０３の動作＞
先ず、送信装置１１０１において、動画入力部１３０１は、送信装置１１０１内に動画像を入力し、当該動画像のフレームデータを抽出し、これをシーン特徴抽出部１３０２に供給する。
【０１１５】
次に、シーン特徴抽出部１３０２は、動画入力部１３０１からのフレームデータからシーン及びシーン特徴情報を抽出し、フレームを動画蓄積部１３０３に蓄積すると共に、シーン特徴情報をシーン特徴情報蓄積部１３０４へ蓄積する。
【０１１６】
尚、ここまでの動作については、第１及び第２の実施の形態におけるシーン特徴抽出部２０２、動画蓄積部２０３、及びシーン特徴情報蓄積部２０４による動作と同様であるため、その詳細な説明は省略する。
【０１１７】
次に、ストリーム送信部１３０５は、動画蓄積部１３０３からフレームを順次取り出し、この取出フレームに対応するシーン特徴情報をシーン特徴情報蓄積部１３０４から順次取り出し、これらのフレーム及びシーン特徴情報を多重化したストリームを通信網１１０２を介して送信する。
【０１１８】
フレーム及びシーン特徴情報の多重化の方法としては、例えば、ＭＰＥＧ−２のシステムで規格化されている方法等が適用可能である。具体的には例えば、シーン（動画像）及びシーン特徴情報を、それぞれＰＥＳ（Packetized Elementary Stream）にパケット化し、このパケットデータをＴＳ（Transport Stream）の多重ストリームとする方法が挙げられる。
【０１１９】
上述のようにして送信装置１１０１から通信網１１０２に対して送出された多重化ストリームは、端末装置１１０３で受信される。
【０１２０】
端末装置１１０３において、先ず、ストリーム受信部１４０１は、送信装置１１０１からの多重化ストリームを受信し、当該多重化ストリームから、動画像及びシーン特徴情報を分離し、動画像を動画蓄積部１４０２に蓄積すると共に、シーン特徴情報をシーン特徴蓄積部１４０３に蓄積する。
これ以降の動作（ダイジェスト作成部１４０４からユーザ操作部１４０７にかけての動作）については、第１及び第２の実施の形態における構成部２０５から構成部２０８にかけての動作と同様であるため、その詳細な説明は省略する。
【０１２１】
尚、第１〜第３の実施の形態において、次のような構成（１）〜（８）とするようにしてもよい。
【０１２２】
（１）個々のフレームを識別するためにフレームＩＤを用いたが、その代わりに、例えば、タイムコードを用いるようにしてもよい。また、シーンの長さとしては、フレーム数を用いたが、その代わりに、例えば、時間を用いるようにしてもよい。
【０１２３】
（２）シーンチェンジの激しいシーンの先頭フレームから一定時間分のフレームを、ダイジェストに採用したが、これに限られることはなく、例えば、シーンの最後から、或いは、シーンの中心から一定時間分のフレームを、ダイジェストに採用するようにしてもよい。
【０１２４】
（３）シーンの特徴として、シーンチェンジの激しさを用いるようにしたが、これに限られることはなく、例えば、シーン中の対象物の動きの激しさ等を用いるようにしてもよい。
具体的には例えば、シーン中のフレーム間の類似度の統計を取り、この結果が常に高い場合には動きが穏やかであり、低い場合には動きが激しい、等とする。動きの激しいシーンの先頭から、或いは最後から、或いは中心から、一定時間ずつダイジェストに採用する。このとき、シーン中の最も激しいフレームのフレームＩＤを併せて抽出しておき、当該フレームを中心に、一定時間ずつダイジェストに採用する、等の方法も考えられる。逆に動きが穏やかなところを基準にする方法も考えられる。
【０１２５】
（４）ダイジェスト再生時間については、ユーザが指定するようにしたが、これに限られることはなく、例えば、自動的に決定するようにしてもよい。例えば、（ＣＦＩＤ−ＳＦＩＤ）の１０％を、ダイジェスト再生時間とする。
【０１２６】
（５）“ＣＦＩＤ”から“ＳＦＩＤ”の区間は、シーンチェンジの激しさを利用してダイジェストを作成するようにしたが、これに限られることはなく、例えば、“ＣＦＩＤ”以降と同様に、一定時間ごとにフレームを所定時間分ずつダイジェストに採用するようにしてもよい。
【０１２７】
(６) 第３の実施の形態において、シーン特徴抽出部１３０２によってシーン及びシーン特徴を抽出したが、動画像作成時に、人手によって同様な情報を付与する方法であってもかまわない。
【０１２８】
(７) 第３の実施の形態において、シーン特徴抽出部を別な装置上に構成し、結果のシーン特徴情報と対応する動画像を、送信装置に入力する構成としても、構わない。
【０１２９】
（８）本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
【発明の効果】
以上説明したように本発明では、入力動画（受信されたテレビジョン放送の動画等）を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶し、当該シーン特徴情報及びダイジェストの再生時間に基づいて、再生動画についてのダイジェストを作成し、当該ダイジェストに基づいて、動画再生するように構成したので、例えば、ユーザから指定された過去の任意の時点から現在までの動画をダイジェストで再生できるので、現在の入力動画に追いつくことが可能となる。
【０１３１】
また、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間（ダイジェストに基づく再生を行っている間）については、所定間隔でのダイジェストを作成する等の構成により、ダイジェストに基づく再生を行っている間の入力画像も加味して、ダイジェストを作成することができるため、現在の入力動画に追いついた際に、ユーザに対して違和感を与えることがない。また、ダイジェスト再生指示した位置から現行放送に追いつくまでの間については、シーンの特徴量の抽出処理を行わなくても良いので、メモリや演算能力に制限のある場合でも、ダイジェスト再生を容易に行うことができる。
また、シーンの特徴情報を抽出するシーン特徴情報抽出手段を備え、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、シーン特徴情報が抽出された時に、ダイジェストに対して修正を加えることにより、ダイジェスト再生中に進む時間分の現在の放送に特徴量の大きいシーンがあった場合に、追いつき開始位置から追いつき再生指示した位置までの間で特徴量が低いシーンと入れ替えることで、再生するダイジェストにダイジェスト再生中に進む時間分の現在の放送の特徴量の大きいシーンを加味することができ、適切な内容のダイジェストを作成することができる。
【０１３２】
また、現在の入力動画に追いつくまでの時間をユーザが指定することも可能であるので、動画の再生が長時間に遡る場合であっても、効率のよい動画の視聴が可能となる。
【０１３３】
また、シーンの特徴となる情報を用いるように構成しているので、適切なダイジェストを作成することができ、再生動画の内容の把握も容易となる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の機能的構成を示すブロック図である。
【図３】上記画像処理装置のシーン特徴抽出部の処理を説明するためのフローチャートである。
【図４】上記画像処理装置におけるフレームのブロック分割の一例を説明するための図である。
【図５】上記シーン特徴抽出部で得られるシーン特徴情報の一例を説明するための図である。
【図６】上記画像処理装置のダイジェスト作成部の処理（Ｓ５０１〜Ｓ５１２）を説明するためのフローチャートである。
【図７】上記ダイジェスト作成部の処理（Ｓ５１３〜Ｓ５１９）を説明するためのフローチャートである。
【図８】上記画像処理装置での「追いつき再生モード」時の位置関係を説明するための図である。
【図９】上記ダイジェスト作成部で作成されるダイジェストリストの一例を説明するための図である。
【図１０】第２の実施の形態における、上記ダイジェスト作成部の処理を説明するためのフローチャートである。
【図１１】第３の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図１２】上記画像処理システムの送信装置の構成を示すブロック図である。
【図１３】上記送信装置の機能構成を示すブロック図である。
【図１４】上記画像処理システムの端末装置の機能構成を示すブロック図である。
【符号の説明】
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ 表示器
１０８ ＮＩＣ
１０９ ビデオＩ／Ｆ
１１０ ビデオカメラ
１１１ バス
１１２ ＶＴＲ
１１３ 受信機
２０１ ストリーム受信機
２０２ シーン特徴抽出部
２０３ 動画蓄積部
２０４ シーン特徴情報蓄積部
２０５ ダイジェスト作成部
２０６ 再生部
２０７ 表示部
２０８ ユーザ操作部
Claims (14)
- 動画の再生処理する画像処理装置であって、
入力動画を記憶する動画記憶手段と、
上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、
再生動画のダイジェストの再生時間を入力する入力手段と、
上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、
上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段とを備え、
上記ダイジェスト作成手段は、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする画像処理装置。 - 動画の再生処理する画像処理装置であって、
入力動画を記憶する動画記憶手段と、
上記動画記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を記憶するシーン特徴情報記憶手段と、
再生動画のダイジェストの再生時間を入力する入力手段と、
上記入力手段に入力された上記再生時間と上記シーン特徴情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成手段と、
上記ダイジェスト作成手段により作成されたダイジェストに基づいて、上記動画記憶手段内の動画を再生する再生手段と、
上記シーンの特徴情報を抽出するシーン特徴情報抽出手段とを備え、
上記シーン特徴情報記憶手段は、上記シーン特徴情報抽出手段で抽出されたシーン特徴情報を記憶し、
上記ダイジェスト作成手段は、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出手段によってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする画像処理装置。 - 上記再生手段は、上記ダイジェストに基づいた再生後、上記動画記憶手段に入力記憶された現時点の動画を再生することを特徴とする請求項１又は２記載の画像処理装置。
- 上記ダイジェスト作成手段は、ダイジェストを構成する候補となるシーン特徴情報のリストを保持し、
上記再生手段は、当該リストを参照してダイジェストを再生することを特徴とする請求項１又は２記載の画像処理装置。 - 上記ダイジェスト作成手段は、ダイジェストを構成する候補となるシーン特徴情報のリストを保持し、上記シーン特徴情報抽出手段によってシーン特徴情報が抽出された際に、当該抽出されたシーン特徴情報に基づいて上記リストを並べ替えることを特徴とする請求項２記載の画像処理装置。
- 上記ダイジェスト作成手段は、ダイジェスト再生開始位置から始まる所定の長さのシーンを含むダイジェストを作成することを特徴とする請求項１又は２記載の画像処理装置。
- 上記ダイジェスト作成手段は、上記ダイジェストの再生時間を、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの長さの所定の割合にすることを特徴とする請求項１又は２記載の画像処理装置。
- 上記シーン特徴情報は、シーンの切り替わりの激しさの情報、及びシーン中の対象物の動きの激しさの情報の少なくとも何れかの情報を含むことを特徴とする請求項１又は２記載の画像処理装置。
- 上記入力される動画像データには、予めシーンの特徴情報が含まれていることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
- 複数の機器が互いに通信可能に接続されてなる画像処理システムであって、
上記複数の機器のうち少なくとも１つの機器は、請求項１〜９の何れか１項に記載の画像処理装置の機能を有することを特徴とする画像処理システム。 - 動画の再生処理するための画像処理方法であって、
入力動画を記憶手段に記憶する動画記憶ステップと、
上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、
再生動画のダイジェストの再生時間を入力する入力ステップと、
上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、
上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップとを有し、
上記ダイジェスト作成ステップでは、ダイジェスト再生開始位置からダイジェスト再生指示した位置までの間については、上記シーン特徴情報に基づいたダイジェストを作成し、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間については、所定間隔でのダイジェストを作成することを特徴とする画像処理方法。 - 動画の再生処理するための画像処理方法であって、
入力動画を記憶手段に記憶する動画記憶ステップと、
上記記憶手段内の動画を構成する複数のシーンのそれぞれについて、シーンの特徴情報を情報記憶手段に記憶するシーン特徴情報記憶ステップと、
再生動画のダイジェストの再生時間を入力する入力ステップと、
上記入力ステップにより入力された上記再生時間と上記情報記憶手段内のシーン特徴情報に基づいて、再生動画についてのダイジェストを作成するダイジェスト作成ステップと、
上記ダイジェスト作成ステップにより作成されたダイジェストに基づいて、上記記憶手段内の動画を再生する再生ステップと、
上記シーンの特徴情報を抽出するシーン特徴情報抽出ステップとを有し、
上記シーン特徴情報記憶ステップでは、上記シーン特徴情報抽出ステップで抽出されたシーン特徴情報を記憶し、
上記ダイジェスト作成ステップでは、ダイジェスト再生指示した位置からダイジェスト再生終了位置までの間について、上記シーン情報抽出ステップによってシーン特徴情報が抽出された時に、上記ダイジェストに対して修正を加えることを特徴とする画像処理方法。 - 請求項１又は２記載の画像処理装置の機能をコンピュータに実現させるためのプログラム。
- 請求項１又は２記載の画像処理装置の機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001382165A JP3774662B2 (ja) | 2000-12-27 | 2001-12-14 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
| US10/022,371 US7145684B2 (en) | 2000-12-27 | 2001-12-20 | Image processing apparatus and method, image processing program, and computer readable storage medium storing image processing program |
| US11/276,428 US7777910B2 (en) | 2000-12-27 | 2006-02-28 | Image processing apparatus and method, image processing program, and computer readable storage medium storing image processing program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000399038 | 2000-12-27 | ||
| JP2000-399038 | 2000-12-27 | ||
| JP2001382165A JP3774662B2 (ja) | 2000-12-27 | 2001-12-14 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262230A JP2002262230A (ja) | 2002-09-13 |
| JP3774662B2 true JP3774662B2 (ja) | 2006-05-17 |
Family
ID=26606932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001382165A Expired - Fee Related JP3774662B2 (ja) | 2000-12-27 | 2001-12-14 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7145684B2 (ja) |
| JP (1) | JP3774662B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3774662B2 (ja) | 2000-12-27 | 2006-05-17 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
| JP4354806B2 (ja) * | 2001-05-31 | 2009-10-28 | キヤノン株式会社 | 動画像管理装置及び方法 |
| US20030055634A1 (en) | 2001-08-08 | 2003-03-20 | Nippon Telegraph And Telephone Corporation | Speech processing method and apparatus and program therefor |
| JP4194272B2 (ja) * | 2001-12-28 | 2008-12-10 | キヤノン株式会社 | 動画像管理装置及び方法 |
| JP2004187029A (ja) | 2002-12-04 | 2004-07-02 | Toshiba Corp | 要約映像追いかけ再生装置 |
| US20050198067A1 (en) * | 2004-03-05 | 2005-09-08 | Casper Liu | Multi-resolution feature extraction for video abstraction |
| JP2006012300A (ja) | 2004-06-25 | 2006-01-12 | Funai Electric Co Ltd | ディスク再生装置 |
| JP4747746B2 (ja) * | 2005-09-07 | 2011-08-17 | ソニー株式会社 | 画像信号処理装置および画像信号処理方法 |
| US20070098281A1 (en) * | 2005-10-31 | 2007-05-03 | International Business Machines Corporation | Damping rotational vibration in a multi-drive tray |
| JP2008301320A (ja) * | 2007-06-01 | 2008-12-11 | Casio Hitachi Mobile Communications Co Ltd | 記録再生装置及びプログラム |
| JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5483863B2 (ja) * | 2008-11-12 | 2014-05-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP2013192062A (ja) * | 2012-03-14 | 2013-09-26 | Toshiba Corp | 映像配信システム、映像配信装置、映像配信方法およびプログラム |
| JP5964486B1 (ja) * | 2015-07-17 | 2016-08-03 | ソフトバンク株式会社 | 表示装置及びプログラム |
| JP6660236B2 (ja) * | 2016-04-15 | 2020-03-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3320197B2 (ja) * | 1994-05-09 | 2002-09-03 | キヤノン株式会社 | 画像編集装置及びその方法 |
| JPH08124363A (ja) | 1994-10-27 | 1996-05-17 | Fujitsu Ltd | ビデオ機器 |
| US5778137A (en) | 1995-12-28 | 1998-07-07 | Sun Microsystems, Inc. | Videostream management system |
| US6219837B1 (en) * | 1997-10-23 | 2001-04-17 | International Business Machines Corporation | Summary frames in video |
| KR100339436B1 (ko) * | 1998-04-03 | 2002-06-03 | 모리시타 요이찌 | 휴대 시청 시스템 |
| JP3721009B2 (ja) | 1999-05-31 | 2005-11-30 | 株式会社リコー | 録画視聴システム |
| US6829781B1 (en) * | 2000-05-24 | 2004-12-07 | At&T Corp. | Network-based service to provide on-demand video summaries of television programs |
| US6697523B1 (en) * | 2000-08-09 | 2004-02-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for summarizing a video using motion and color descriptors |
| US7038736B2 (en) | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| JP3774662B2 (ja) | 2000-12-27 | 2006-05-17 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 |
| JP4354806B2 (ja) * | 2001-05-31 | 2009-10-28 | キヤノン株式会社 | 動画像管理装置及び方法 |
| US7391436B2 (en) | 2001-08-28 | 2008-06-24 | Canon Kabushiki Kaisha | Image processing apparatus with comparing of difference of camera operation information between image data of plural sections in input image data |
| JP4194272B2 (ja) * | 2001-12-28 | 2008-12-10 | キヤノン株式会社 | 動画像管理装置及び方法 |
| US6956904B2 (en) * | 2002-01-15 | 2005-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Summarizing videos using motion activity descriptors correlated with audio features |
| US6963378B2 (en) * | 2002-11-01 | 2005-11-08 | Motorola, Inc. | Method and apparatus for reduction of visual content |
| US7145664B2 (en) * | 2003-04-18 | 2006-12-05 | Therma-Wave, Inc. | Global shape definition method for scatterometry |
-
2001
- 2001-12-14 JP JP2001382165A patent/JP3774662B2/ja not_active Expired - Fee Related
- 2001-12-20 US US10/022,371 patent/US7145684B2/en not_active Expired - Fee Related
-
2006
- 2006-02-28 US US11/276,428 patent/US7777910B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7777910B2 (en) | 2010-08-17 |
| JP2002262230A (ja) | 2002-09-13 |
| US20060132853A1 (en) | 2006-06-22 |
| US7145684B2 (en) | 2006-12-05 |
| US20020122212A1 (en) | 2002-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3774662B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 | |
| JP3838035B2 (ja) | 放送方法及び放送受信装置 | |
| US7295757B2 (en) | Advancing playback of video data based on parameter values of video data | |
| US7366401B2 (en) | Video summary play apparatus and method | |
| JP2010508733A (ja) | 資源の効率的な使用によるデジタル・ビデオ・レコーダにおけるトリック再生機能の実行 | |
| KR20110063004A (ko) | 키 프레임 추출 장치 및 방법과 이를 이용한 방송 녹화 장치 및 방법 | |
| CN106791997A (zh) | 一种在接收端的流媒体数据的处理方法及系统、电视终端 | |
| KR101426241B1 (ko) | 개인 맞춤형 녹화 컨텐츠 처리 방법 및 장치 | |
| JP3107432B2 (ja) | 動画データ圧縮蓄積再生装置 | |
| JP4786888B2 (ja) | 映像ストリーム処理装置 | |
| JP2001045395A (ja) | 放送番組送受信システム、送信装置、放送番組送信方法、受信再生装置、放送番組再生方法、及び記録媒体 | |
| JP2002112193A (ja) | 符号化データの転送制御方法及び蓄積再生システム | |
| JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 | |
| JP3144285B2 (ja) | 映像処理装置 | |
| JP2004158929A (ja) | 動画像処理方法および動画像処理装置ならびに動画像伝送装置 | |
| KR101218921B1 (ko) | 방송 수신기의 방송 프로그램 하이라이트 구간 처리 방법 | |
| US20080104656A1 (en) | Method of storing and reproducing interactive digital broadcast signals and apparatus therefor | |
| US20050152671A1 (en) | Apparatus and method for video signal recording/reproducing | |
| JP7272096B2 (ja) | 視聴録画装置、視聴録画方法および視聴録画プログラム | |
| JP2004173212A (ja) | 撮像装置、記録装置及び記録方法並びに記憶媒体 | |
| JP4528022B2 (ja) | 映像配信方法およびシステム | |
| JP4829767B2 (ja) | 映像記録再生装置、その映像特殊再生方法 | |
| JP2000115779A (ja) | 画像処理装置および同装置に適用される動画像符号化方法 | |
| JP4363364B2 (ja) | 受信装置及び受信方法 | |
| JP2002281438A (ja) | 要約映像特定装置、および要約映像特定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |