JP4368819B2 - 要約再生装置及び要約再生装置の制御方法 - Google Patents

Description

本発明は、動画コンテンツの要約を作成する要約再生装置及び要約再生装置の制御方法に関する。

近年、ハードディスクを内蔵した長時間録画が可能なテレビ放送受信装置や、通信ネットワークを経由して配信される動画コンテンツを閲覧可能なビデオ閲覧装置が普及し始めている。このため視聴者が扱う動画コンテンツの量は急速に増加している。
しかし、視聴者がこれら大量の動画コンテンツを視聴する時間は限られている。そのため、動画コンテンツを効率良く視聴することを可能にする技術が求められている。

このような要求に対して、各動画コンテンツの要約を再生したり、動画コンテンツ内の各シーン（場面、ショット）のサムネイル画像を並べて表示したりして、短時間に動画コンテンツの概要の把握する手助けをする技術が開発されている（例えば特許文献１、特許文献２参照）。
特許３３６７２６８号公報 特開２００４−３１２５６７号公報

ところで、動画コンテンツの要約を作成する際にはその動画コンテンツの中で重要性が高いと判断される部分を選出することになるが、ある特定の部分のみが集中的に選出され、作成された要約画像を見ても動画コンテンツ全体の概要を把握することができない場合がある。
また、単に一定時間毎あるいは場面毎に要約を作成して再生するようにした場合には、重要性の低い部分が延々と再生されたり、逆に重要性の高い部分の再生が途中で終了してしまったりする場合がある。

本発明は上記課題を鑑みてなされたものであり、オリジナルの動画コンテンツ内の場面の数に依存せずに動画コンテンツ全体が見渡せる要約を作成することを可能にする要約再生装置及び要約再生装置の制御方法を提供することを主たる目的とする。

上記課題を解決するための本発明の一つは、要約再生装置であって、時系列に連続する複数の静止画像をそれぞれ符号化して得られる複数の静止画像データを動画像データとして記録するデータ記録部と、各静止画像データを時系列に再生して得られる動画像における場面の変わり目を、前記各静止画像データに基づいて検出する場面切替検出部と、前記動画像の中での各静止画像の重要度を示す指標値を、前記各静止画像データに基づいて算出する重要度算出部と、前記動画像における各場面にそれぞれ含まれる静止画像の各重要度を示す指標値に基づいて、各場面を順位付ける場面順位付け部と、前記順位付けた順に所定数だけ選出した各場面に含まれる各静止画像を時系列に要約画像として再生する要約画像再生部と、前記要約画像において再生される場面の数である前記所定数の入力をユーザインタフェースから受ける要約場面数入力部と、前記要約画像の再生時間の入力をユーザインタフェースから受ける要約再生時間入力部と、を備え、前記要約画像再生部は、前記順位付けた順に前記所定数だけ選出した各場面に含まれる各静止画像を、前記要約画像の再生時間を前記所定数で割って得られる時間ずつ、時系列に要約画像として再生する。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。

オリジナルの動画コンテンツ内の場面の数に依存せずに動画コンテンツ全体が見渡せる要約を作成することを可能にする要約再生装置及び要約再生装置の制御方法を提供することができる。

＝＝＝全体構成例＝＝＝
本実施の形態に係る要約再生装置２００の構成例を図１に示す。
本実施の形態に係る要約再生装置２００は、チューナ２０４、デコーダ２０５、表示制御装置２０６、中央演算装置２０１、主記憶装置２０２、外部記憶装置２０３、記録媒体読取装置２０７、入力装置２０８、通信ポート２０９を備える。また要約再生装置２００は、表示制御装置２０６を通じて表示装置１００と接続されている。

中央演算装置２０１は、要約再生装置２００の全体の制御を司るもので、外部記憶装置２０３に記憶される本実施の形態に係る各種の動作を行うためのコードから構成される要約再生装置制御プログラム９００を主記憶装置２０２に読み出して実行することにより、要約再生装置２００としての各種機能を実現する。例えば中央演算装置２０１により要約再生装置制御プログラム９００が実行され、チューナ２０４、デコーダ２０５、表示制御装置２０６、主記憶装置２０２、外部記憶装置２０３、記録媒体読取装置２０７、入力装置２０８、通信ポート２０９等のハードウェア機器と協働することにより、データ記録部、場面切替検出部、重要度算出部、場面順位付け部、要約画像再生部、要約場面数入力部、要約再生時間入力部、放送データ受信部、通信データ受信部が実現される。

チューナ２０４は、放送される音声や画像のデータを動画像データとして受信する装置である。例えばデジタル衛星放送やデジタル地上波放送、デジタルＣＡＴＶ（Community Antenna TeleVision systemまたはCAble TeleVision）放送などの各種形式の放送を受信するための装置として構成される。もちろんアナログ放送を受信する装置とすることもできる。

動画像データは、動画像を構成する時系列に連続する複数の静止画像を、それぞれ符号化して得られる複数の静止画像データを備えてなる。また各静止画像はフレームと呼ばれることもある。本実施の形態に係る動画像データの一例を図３に示す。図３に示すように、動画像データは複数の静止画像データにより構成されている。各静止画像データには、各静止画像の時系列的な順序を表すフレーム番号が付されている。図３に示す例では１から１０７８９２までのフレーム番号が各静止画像データに付されている。各静止画像データを時系列に（つまりフレーム番号順に）再生することにより動画像を復元することができる。また通常、動画像は複数の場面（シーンあるいはショット。映画等の撮影でカメラが回り始めてから止まるまで連続撮影された一連の画像。）を含んでいる。図３に示す動画像は４つの場面を含んでいる。また詳しくは後述するが、各場面の中において最も重要度の高い静止画像をその場面の代表フレームと呼ぶ。図３に示す例では、２つめの場面及び３つ目の場面において、それぞれフレーム番号２３６４７及び３５３８９で示されるフレームが代表フレームであることが示されている。

一方各静止画像データには、各静止画像を構成する各画素の色を示すデータが記述されている。例えば、各画素について、ＲＧＢ（Red、Green、Blue）各２ビットのデータが記述されている。この場合各画素毎に６４色中の１色を表示させることが可能である。また各静止画像データの中には音声データも含まれている。

図１に戻って、デコーダ２０５は、動画像データを伸張（デコード）し、デコードされた動画像を表示制御装置２０６に送信する。
表示制御装置２０６はデコードされた動画像を表示装置１００へ出力する。
表示装置１００は動画像を表示する。表示装置１００は例えばディスプレイやスピーカを備えている。

主記憶装置２０２は、中央演算装置２０１によりワークエリアとして用いられたり、要約再生装置制御プログラム９００を記憶したりする。例えば、ＲＡＭ（Random Access Memory）によって実現することができる。
外部記憶装置２０３は、例えばハードディスク装置により構成することができる。外部記憶装置２０３には、要約再生装置制御プログラム９００やフレーム重要度管理テーブル８００、定義ベクトル管理テーブル８１０が記憶されている。その様子を図２に示す。

要約再生装置制御プログラム９００は、要約再生装置２００を機能させるためのプログラムである。例えば動画像を構成する各静止画像について、後述する特徴ベクトルをそれぞれ算出したり、各静止画像に基づいて動画像に含まれる各場面の変わり目を検出したりする。詳しくは後述する。

フレーム重要度管理テーブル８００は、動画像の中での各静止画像の重要度を管理するためのテーブルである。フレーム重要度管理テーブル８００を図４に示す。図４に示すように、本実施の形態に係るフレーム重要度管理テーブル８００は、各静止画像の重要度の高い順に各静止画像をランク付けして記憶したものである。また図４に示すフレーム重要度管理テーブル８００は、全部で２９７場面ある動画像の各静止画像をその重要度に応じてランク付けしたものであるが、上位２９７にランク付けされる各静止画像は、各場面内において重要度が最大の各静止画像である。そしてそれらの各静止画像つまり各場面において最も重要度の大きな静止画像（代表フレーム）の重要度の大きい順に、１位から２９７位まで各静止画像がランク付けされる。これにより、１位から２９７位までは動画像に含まれる各場面の順位付けを表すことになる。つまり、ランキング１位の３５３８９番のフレームを含む場面は、動画像全体の中で最も重要な場面であるということになる。また反対にランキング２９７位の０番のフレームを含む場面は、動画像全体の中で最も重要度の低い場面であるということになる。ランキング２９８位から１０７８９２位の各フレームは、場面の区別無く、単純に重要度に応じてランク付けした各フレームを表す。なおフレーム重要度管理テーブル８００においては、フレーム番号の代わりにコンテンツ内の位置を示す別のものを記憶するようにしても良い。たとえば、フレームを構成するデータの場所（バイト数）や、表示時刻を示すＰＴＳ（Presentation Time Stamp）でもよい。

ここで各静止画像の重要度を表す指標値を算出するための計算式を図１０に示す。図１０に示すように本実施の形態においては、定数ベクトルと特徴ベクトルの内積により各静止画像の重要度を求める。定数ベクトルは、図５に示す定数ベクトル管理テーブル８１０に、動画像のジャンル別に記憶されている。特徴ベクトルは、直前（時間的に一つ前の静止画像）のフレームとの相違度、動きベクトルの大きさ、静止画像データを再生する際の音の大きさを表す各指標値を要素とするベクトルである。

そして、各静止画像について求めた特徴ベクトルと、図５に定義された定数ベクトルとの内積を演算することにより、各フレームの重要度を示す指標値を算出する。

なお、直前のフレームとの相違度は、そのフレームにおける色分布データと直前のフレームの色分布データとの相違度とすることができる。色分布データとは、一つのフレーム全体における同じ色を示す画素の出現頻度を求めたものである。例えばＲＧＢ各２ビット６４色の色分布データを作成する場合、フレームの各画素のＲＧＢ値をそのＲＧＢ各上位２ビットのみで表現した６ビット６４色に縮退し、６４色のそれぞれについて縮退によってその色を示す画素の数をカウントする。この場合、色分布データは配列Ｈｎ（ｉ）で表され、ｉは０から６３の値をとる。例えばｉが０のときの度数Ｈｎ（０）は，ＲＧＢカラー値の上位２ビットがＲＧＢ各々全て０である画素がフレーム中に幾つあるかを示している。そして、Ｈｎと１つ前のフレームの色分布データＨｎ−１との間の相異度は、カイ二乗検定等の計算式により求めることができる。

図１に戻って、記録媒体読取装置２０７は、ビデオテープやＤＶＤ（Digital Versatile Disk）などに記録された動画像データを読み取るための装置である。読み取った動画像データは、外部記憶装置２０３や主記憶装置２０２に記憶される。
入力装置２０８は、要約再生装置２００へのデータ入力等のために用いられる装置でありユーザインタフェースとして機能する。入力装置２０８としては例えば操作スイッチやタッチパネル、リモートコントロール装置、あるいはキーボードやマウス等を用いることができる。
通信ポート２０９は、コンピュータや他の要約再生装置２００等の他の情報処理装置と通信を行うための装置である。例えばインターネットを介して通信可能に接続される動画像配信サーバから送信される各種動画像データを、通信ポート２０９を通じて受信するようにすることもできる。この場合、受信した動画像データは、外部記憶装置２０３や主記憶装置２０２に記憶される。

＝＝＝要約再生装置を用いた処理の流れ＝＝＝
次に本実施の形態に係る要約再生装置２００を用いて、ある動画像から、その動画像を要約した要約画像を作成し、再生する際の処理の流れについて説明する。

＜フレームの重要度の算出＞
まず本実施の形態に係る要約再生装置２００は、動画像に含まれる各静止画像について、上述した計算式に従って重要度を算出し、図４に示したフレーム重要度管理テーブル８００を作成する。その際の処理の流れを図６のフローチャートに示す。

まず、本実施の形態に係る要約再生装置２００は定数ベクトルを選択する（S1000）。定数ベクトルの選択は、図５に示した定数ベクトル管理テーブル８１０に示す各ジャンルの中から、動画コンテンツのカテゴリ（スポーツ、ドラマ、ニュースなど）に応じて適切なものを選択することにより行うことができる。カテゴリは例えばＥＰＧ（Electronic Program Guide）情報などから取得することができる。もちろん定数データは、ユーザなどに入力装置２０８を通じて入力させる様にすることもできる。

次に要約再生装置２００はビデオコンテンツデータ（動画像データ）を読み取る（S1010）。ビデオコンテンツデータの読み取りは、チューナ２０４を用いて、放送される動画像データを受信して行うようにすることもできるし、通信ポート２０９を介して通信可能に接続される情報処理装置から送信されてくる動画像データを受信することにより行うこともできる。あるいは、ＤＶＤやビデオテープなどの記録媒体に記録された動画像データを、記録媒体読取装置２０７を用いて読み取ることにより行うこともできる。

そして要約再生装置２００は、S1010で読み取ったビデオコンテンツデータの各フレームに対する特徴ベクトルを計算する（S1020）。上述したように、特徴ベクトルの構成要素には、直前フレームとの相違度や動きベクトルの大きさ、音の大きさなどがある。

その後要約再生装置２００はS1020で計算した直前フレームとの相違度を用いて、シーンチェンジ（場面の変わり目）を検出する（S1030）。シーンチェンジは、例えば、上述した色分布データＨｎと１つ前のフレームの色分布データＨｎ−１との間の相異度と判定値とを比較し、この比較の結果に応じて検出することができる。例えば、相違度が判定値を超えている場合に、シーンチェンジであると判定するようにすることができる。そしてシーンチェンジとシーンチェンジとの間を、１つのシーンとして区別する。

次に要約再生装置２００は、各フレームの重要度を計算する（S1040）。重要度は、図１０に示すように、特徴ベクトルと定数ベクトルの内積を計算することにより求めることができる。ただし、特許文献２で示しているような方法を用いても良い。

続いて要約再生装置２００は、S1030によって切り分けられた各シーンごとに、シーンの重要度を計算する。シーンの重要度は、シーン内のフレームの重要度の最大値を用いることができる。そして各シーンの代表フレームとして、シーン内において重要度が最大となるフレームを選択する。ただし、シーンの重要度は、シーン内の各フレームの重要度の平均値とすることもできる。また、シーンの長さ（時間）やシーン内の重要度の最大値などを組み合わせて計算してもよい。また、シーンの代表フレームとして、シーンの先頭フレームや、時間的に中央のフレームを選択しても良い。

次に要約再生装置２００は、各シーンの代表フレームを、そのシーンの重要度の大きい（重要な）順にランキングし、ランキング上位とする。そしてこの結果は、図４に示すフレーム重要度管理テーブル８００に格納する（S1060）。

そして要約再生装置２００は、シーンの代表フレームを除いた残りのフレームを、フレームの重要度の順にランキングし、ランキング下位とする。この結果は、図４に示すフレーム重要度管理テーブル８００に格納する（S1070）。

＜要約の作成及び再生＞
次に本実施の形態に係る要約再生装置２００は、フレーム重要度管理テーブル８００に基づいて、動画像を要約した要約画像を作成し、再生する。その際の処理の流れを図７のフローチャートに示す。

まず要約再生装置２００は、フレーム重要度管理テーブル８００から各フレームのランキング情報を読み込む（S2000）。次に要約再生装置２００はランキング閾値（所定数）を初期化する（S2010）。ランキング閾値とは、要約画像において再生される場面の数を示す数値である。ランキング閾値は、例えば５を初期値として記憶しておくことができる。もちろん視聴者等により入力装置２０８を用いて入力させるようにすることもできる。そして次に要約再生装置２００は、視聴者の要求する要約再生時間（要約画像の再生時間）の入力を受け付ける（S2020）。例えばここでは２分とする。

そうすると、要約再生装置２００は、フレーム重要度管理テーブル８００においてランキングされた各フレームのうち、ランキング閾値以上のフレームをまず選択する（S2030）。そして要約再生装置２００は、上記選択された各フレームを基に、再生範囲を決める（S2040）。たとえば、選択されたフレームを先頭に一定の時間を再生範囲に選択する。この時間は、例えば要約画像の再生時間を上記ランキング閾値の数で割って得られる時間とすることができる。もちろんそのほかの方法によってもよい。

次に要約再生装置２００は、選択された各フレームを先頭とする各再生範囲の合計時間を算出する（S2050）。そして要約再生装置２００は、上記算出された合計時間と視聴者の要求する要約再生時間とを比較する（S2060）。算出された合計時間と視聴者の要求する要約再生時間との差分が所定値以下の場合には、”Yes”に進む。算出された合計時間と視聴者の要求する要約再生時間との差分が所定値以下ではない場合には、”No”に進む。ここで、例えばある一つの場面全体の再生時間が比較的短い場合には、その場面の再生時間が、要約画像の再生時間を上記ランキング閾値の数で割って得られる時間に満たない場合がある。このような場面を含んでいる場合には、算出された合計時間と視聴者の要求する要約再生時間との差分が所定値以下とはならないことがある。この場合は、S2070に進み、ランキング閾値を変更する。例えばランキング閾値をより大きな値に変更する。そして再度S2030以降の処理を繰り返す。もちろんS2070におけるランキング閾値の変更は、例えばS2070における比較の結果に応じて行うようにすることができる。例えばS2050で算出された時間の方が視聴者の要求する要約再生時間よりも大きい場合は、閾値を上げるようにすることができる。またS2050で算出された時間の方が視聴者の要求する要約再生時間よりも小さい場合は、閾値を下げるようにすることもできる。ここで変更量は、既知の２分探索法などのアルゴリズムを用いることができる。

要約再生装置２００は、S2080で”Yes”に進んだら、上記選択された各フレームを先頭とする各再生範囲を、時系列に再生する（S2080）。

本実施の形態に係る要約再生装置２００が以上の処理を行うことによって、視聴者は指定した時間長（ここでは２分）の要約コンテンツを閲覧することができる。また作成された要約画像には、重要度の高い場面から所定時間ずつ抽出された映像が含まれている。つまり視聴者は、オリジナルの動画像内の場面の数に依存せずに動画コンテンツ全体が見渡せる要約を閲覧することができるのである。

また以上のことから分かるように、本実施の形態に係る要約再生装置２００によれば、例えば２つの場面からなる動画像について、要約画像において再生される場面の数として１が指定された場合には、２つの場面のいずれか一方の場面から所定時間分抽出された映像が要約画像として再生されることになる。

また本実施の形態に係る要約再生装置２００は、図８のフローチャートに示すように、全ての場面についてそれぞれ所定時間ずつ再生するように要約画像を作成することもできる。例えば視聴者が個人的に撮影したビデオ画像を編集する場合などには、全ての場面についてどのような映像が記録されているのかを知りたいことがある。このような場合に特に有効である。

まず要約再生装置２００は、フレーム重要度管理テーブル８００から各フレームのランキング情報を読み込む（S3000）。そしてシーンの数だけ、フレーム重要度管理テーブル８００の上位からフレームを選択する（S3010）。つまり各シーンの代表フレームを全て選択する。次に要約再生装置２００は、上記選択された各フレームを基に、それぞれ一定時間を再生範囲として決める（S3020）。たとえば、選択されたフレームを先頭に２秒の範囲を再生範囲として選択する。そして要約再生装置２００は、上記選択された各フレームを先頭とする各再生範囲を、時系列に再生する（S3030）。

このように、本実施の形態に係る要約再生装置２００は、全ての場面についてそれぞれ所定時間ずつ再生するように要約画像を作成することもできる。

また、さらに本実施の形態に係る要約再生装置２００は、全ての場面についてそれぞれサムネイルを作成し再生するようにすることもできる。この場合も、視聴者が個人的に撮影したビデオ画像を編集する場合などに、各場面にどのような画像が含まれているかを知りたいときなどに特に有効である。

まず要約再生装置２００は、フレーム重要度管理テーブル８００から各フレームのランキング情報を読み込む（S4000）。そしてシーンの数だけ、フレーム重要度管理テーブル８００の上位からフレームを選択する（S4010）。つまり各シーンの代表フレームを全て選択する。次に要約再生装置２００は、上記選択された各フレームを基に、それぞれサムネイルを作成する（S4020）。そして要約再生装置２００は、上記作成した各サムネイルを、フレーム番号順位に表示する（S3030）。

このように、本実施の形態に係る要約再生装置２００は、全ての場面についてそれぞれサムネイルを再生するようにすることもできる。

以上、本実施の形態に係る要約再生装置２００について説明したが、本実施の形態に係る要約再生装置２００によれば、視聴者の指定する時間内でコンテンツ全体を見渡すことのできる要約画像を得ることが可能となる。

また、本実施の形態に係る要約再生装置２００で生成したランキング情報をネットワークや放送を介して視聴者に配信するようにすれば、動画再生装置内でランキング情報を生成せず、ネットワークや放送を用いてランキング情報を受信できる動画再生装置を所有する視聴者は、コンテンツ全体を見渡すことのできる要約画像を得ることが可能となる。

以上発明を実施するための最良の形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。例えば、本実施の形態に係る要約再生装置２００は、ＨＤＤレコーダやＤＶＤレコーダ、セットトップボックス、テレビ放送受信機、ラジオ放送受信機、携帯電話機、携帯型記憶装置、パーソナルコンピュータ等によって構成されることもできる。

本実施の形態に係る要約再生装置の全体構成を示すブロック図である。 本実施の形態に係る要約再生装置の記憶装置を示す図である。 本実施の形態に係る動画像データを示す図である。 本実施の形態に係るフレーム重要度管理テーブルを示す図である。 本実施の形態に係る定数ベクトル定義テーブルを示す図である。 本実施の形態に係るフレームの重要度の算出の処理の流れを示すフローチャートである。 本実施の形態に係る要約画像作成、再生の処理の流れを示すフローチャートである。 本実施の形態に係る要約画像作成、再生の処理の流れを示すフローチャートである。 本実施の形態に係る要約画像作成、再生の処理の流れを示すフローチャートである。 本実施の形態に係る重要度の算出式を示す図である。

符号の説明

１００ 表示装置
２００ 要約再生装置
２０１ 中央演算装置
２０２ 主記憶装置
２０３ 外部記憶装置
２０４ チューナ
２０５ デコーダ
２０６ 表示制御装置
２０７ 記録媒体読み取り装置
２０８ 入力装置
２０９ 通信ポート
６００ フレーム重要度管理テーブル
６１０ 定数ベクトル管理テーブル
９００ 要約再生装置制御プログラム

Claims (4)

1. 時系列に連続する複数の静止画像をそれぞれ符号化して得られる複数の静止画像データを動画像データとして記録するデータ記録部と、
   各静止画像データを時系列に再生して得られる動画像における場面の変わり目を、前記各静止画像データに基づいて検出する場面切替検出部と、
   前記動画像の中での各静止画像の重要度を示す指標値を、前記各静止画像データに基づいて算出する重要度算出部と、
   前記動画像における各場面にそれぞれ含まれる静止画像の各重要度を示す指標値に基づいて、各場面を順位付ける場面順位付け部と、
   前記順位付けた順に所定数だけ選出した各場面に含まれる各静止画像を時系列に要約画像として再生する要約画像再生部と、
   前記要約画像において再生される場面の数である前記所定数の入力をユーザインタフェースから受ける要約場面数入力部と、
   前記要約画像の再生時間の入力をユーザインタフェースから受ける要約再生時間入力部と、
   を備え、
   前記要約画像再生部は、
   前記順位付けた順に前記所定数だけ選出した各場面に含まれる各静止画像を、前記要約画像の再生時間を前記所定数で割って得られる時間ずつ、時系列に要約画像として再生する
   ことを特徴とする要約再生装置。
2. 前記要約画像再生部は、
   前記順位付けた順に前記所定数だけ選出した各場面に含まれる各静止画像を、前記選出した各場面内において前記重要度を示す指標値が最大である静止画像から、前記要約画像の再生時間を前記所定数で割って得られる時間ずつ、時系列に要約画像として再生する
   ことを特徴とする請求項１に記載の要約再生装置。
3. 時系列に連続する複数の静止画像をそれぞれ符号化して得られる複数の静止画像データを動画像データとして記録する要約再生装置の制御方法であって、
   前記要約再生装置が、前記各静止画像データを時系列に再生して得られる動画像における場面の変わり目を、前記各静止画像データに基づいて検出し、
   前記要約再生装置が、前記動画像の中での各静止画像の重要度を示す指標値を、前記各静止画像データに基づいて算出し、
   前記要約再生装置が、前記動画像における各場面にそれぞれ含まれる静止画像の各重要度を示す指標値に基づいて、各場面を順位付け、
   前記要約再生装置が、前記順位付けた順に所定数だけ選出した各場面に含まれる各静止画像を時系列に要約画像として再生し、
   前記要約再生装置が、前記要約画像において再生される場面の数である前記所定数の入力をユーザインタフェースから受け、
   前記要約再生装置が、前記要約画像の再生時間の入力をユーザインタフェースから受け、
   前記要約再生装置が、前記順位付けた順に前記所定数だけ選出した各場面に含まれる各静止画像を、前記要約画像の再生時間を前記所定数で割って得られる時間ずつ、時系列に要約画像として再生する
   ことを特徴とする要約再生装置の制御方法。
4. 前記要約再生装置は、
   前記順位付けた順に前記所定数だけ選出した各場面に含まれる各静止画像を、前記選出した各場面内において前記重要度を示す指標値が最大である静止画像から、前記要約画像の再生時間を前記所定数で割って得られる時間ずつ、時系列に要約画像として再生する
   ことを特徴とする請求項３に記載の要約再生装置の制御方法。

Images