JPH09284698A

JPH09284698A - 映像のダイジェスト作成装置および方法

Info

Publication number: JPH09284698A
Application number: JP8095039A
Authority: JP
Inventors: Akio Nagasaka; 晃朗長坂; Takafumi Miyatake; 孝文宮武; Yoshikazu Amano; 良和天野; Shigeru Hirahata; 茂平畠
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-04-17
Filing date: 1996-04-17
Publication date: 1997-10-31

Abstract

(57)【要約】【課題】本発明の目的は，録画された番組の内容構成
をユーザが素早く把握できるようにするために，ビデオ
映像の内容構成のわかりやすい提示方法，ならびに使い
勝手の良い操作インタフェースを提供することにある。【解決手段】ＶＴＲ等の録画装置と接続され、録画装
置における録画開始と同時に録画中の映像をフレーム単
位に変換し、映像を構成するカットの変わり目を示すフ
レームを代表映像として検出して記憶しておき、録画装
置における録画動作とほぼ同時に代表映像の集合体とし
て表現されるダイジェスト映像ファイルが作成される。【効果】ダイジェスト映像は、単に代表映像を得られ
た時刻順に表示するだけでなく、得られた時間帯をくぎ
り、１つの時間帯で予め定めた数の代表映像に絞って表
示することで、規則的な配列を実現でき、録画された番
組の内容が把握しやすい。さらに、表示された代表映像
の１つを選択することを、録画された番組の再生開始位
置を示すと設定することで、時間的な再生位置を視覚的
に決定することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映画やテレビ番組
などのビデオ映像（動画像）を視聴するための装置およ
び方法に係り、特に録画している映像の内容構成をすば
やく把握するためのダイジェストを作成する録画予約装
置および方法に関する。

【０００２】

【従来の技術】最近では、ビデオの番組予約録画の機能
を使えば、決められた放送時間にテレビ番組を見なくて
も、自分の好きな時間に好きな場所で所望のテレビ番組
を視聴できる。見たい番組が２つ重なった時でも１つを
視聴し、１つを裏番組で録画して時間のある時に録画し
た番組を視聴することができる。しかし、後に視聴する
つもりで番組を予約録画しておいても、視聴するだけの
まとまった時間がとれなかったり、どのような番組をど
のビデオテープ（またはビデオディスク等の記録媒体）
に録画したのかを忘れたりして、結局はせっかく録画し
た番組を見ないまま放置しているケースも少なくない。
最悪の場合には、まだ視聴していない番組が録画された
記録媒体に、違う番組を上書きで記録してしまう場合も
ある。これは、現在のビデオ機器（以後、ビデオディス
ク、ビデオテープ等の記録機器のことをビデオ機器と呼
ぶことにする）に、ビデオ映像の内容確認を手早く行う
ための機能が不十分なことも一因となっている。予約録
画された全ての番組に、最初から最後まで視聴する価値
が有るとは限らない。視聴者としては、部分的に興味の
ある場面だけを視聴したい場合も多い。そのような場
合、興味があるビデオ映像が部分的に含まれるような番
組の全体を初めから最後まで見るのは、非常に時間がか
かる。時間的な代償が大きすぎるのである。

【０００３】現状のビデオ機器には、ビデオテープに記
録されている番組のタイトル情報をビデオテープの一部
分に記録しておき、そのビデオテープに記録されている
番組タイトルや録画した日時を表示する機能を備えたも
のがある。このようなビデオ機器では、ビデオテープ中
に記録されている内容を番組単位、すなわちタイトル単
位で一覧することはできるが、番組の内容をイメージで
確認できるような画像情報の一覧表示を行うことはでき
ない。

【０００４】タイトル一覧により選択したタイトルのビ
デオ映像の内容を短時間に確認するためには、そのビデ
オ映像を高速再生にして見る方法がある。例えば、２倍
速再生で音声まで確認できる機能を有するビデオ機器も
ある。

【０００５】しかし、高速再生されたビデオ映像の場
合、そのビデオ映像の最初から最後まで一律に等しく再
生するので、全体の内容構成を大まかに把握する分には
過分な映像まで含まれる。そのため、時間の利用効率が
非常に悪い。また、ビデオ映像の再生は遅速を問わず時
間を追ってシーケンシャルに行われることに変わり無
く、テレビ画面には常に１つの場面しか表示されないの
で、他の場面との時間的な位置関係を含むビデオ映像全
体の構成を把握しにくいと言った問題点がある。

【０００６】記録媒体としてビデオディスクを用いる場
合には、特開平３−３５４３１号公報に示されるよう
に、再生を再開する前に早送り手段によって、記録円盤
の記録開始位置から通常の再生画面と早送りとを繰り返
して間欠的に映像を出力するビデオディスクプレーヤが
記載されている。記録された内容に関わらず所定時間ご
とに早送りと通常再生とが繰り返される。ビデオディス
クはランダムアクセスが可能であるから、現再生部分か
ら次の再生部分への早送り(scan)時間は無視できる程度
に少ないが、時間間隔によって再生部分を特定している
ので必ずしも重要なシーンが表示されないという問題点
がある。また、テレビ画面の全体に間欠的にそのまま通
常再生を表示するので、対象のビデオ映像の内容の全部
を確認するには、全再生部分の再生時間がかかってしま
い、瞬時に内容の全部を確認することはできない。

【０００７】

【発明が解決しようとする課題】映像の内容を確認する
ためのダイジェスト情報とは、そもそも大量の情報を短
時間で把握できるようにするようにまとめられた情報で
ある。例えば数時間に及ぶ映画の中からハイライトシー
ンだけを選び出して数分程度にまとめたプロモーション
ビデオはその最も典型的なものである。しかし、ハイラ
イトシーンとそれ以外の場面との区別は映像内容に対す
る高度な知識と読解力とを必要とする。従来の画像認識
技術では、人間が介在せずに、機械がリアルタイムに任
意の映像を理解してプロモーションビデオを作成できる
までには至っていない。ましてや、ビデオ機器で番組が
録画されている最中に、リアルタイムで録画中の番組の
ダイジェスト映像を自動的に作成する装置は従来提案さ
れていなかった。

【０００８】そこで、本発明の第１の目的は、録画装置
に接続され、録画されたビデオ映像の内容構成を、ビデ
オ録画後すぐに把握することができるダイジェスト作成
装置及びその方法を提供することにある。

【０００９】本発明の第２の目的は、録画されたビデオ
映像の内容構成が一見して把握できるように、わかりや
すく提示するためのダイジェスト作成装置及びその方法
を提供することにある。

【００１０】本発明の第３の目的は、録画されたビデオ
映像の内容構成から任意の場面を選択することによりビ
デオ機器の再生制御を行うダイジェスト作成装置及びそ
の方法を提供することにある。

【００１１】本発明の第４の目的は、予約録画により、
ビデオ映像を録画すると同時にそのビデオ映像の内容が
一見して把握できる情報を作成することができるダイジ
ェスト作成装置及びその方法を提供することにある。

【００１２】更に本発明の第５の目的は、留守番録画さ
れた番組の内容構成をユーザがすばやく把握できるよう
にするために、ビデオ映像の内容構成のわかりやすい提
示方法、並びに使いやすい操作インターフェースを提供
することにある。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
め、本発明のダイジェスト作成装置は、外部から又は外
部への映像信号の入出力を制御する入出力インタフェー
スと、入力された映像信号をフレーム単位の映像信号に
変換する変換手段と、該フレーム単位の映像信号を取り
込んで該テレビ番組を構成する映像のカットの変わり目
を検出して、各カットから少なくとも１つの代表映像を
抽出する手段と、該代表映像の集合からなるダイジェス
ト一覧映像を記憶する記憶手段と、外部に接続された表
示手段に該ダイジェスト一覧映像を表示するための表示
制御手段と、を有し、受信されたテレビ番組の映像を録
画する録画手段に接続され、該録画手段における該テレ
ビ番組の録画と同時に、該テレビ番組を構成する映像の
カットの代表映像の集合からなるダイジェスト一覧映像
の作成を開始する。

【００１４】ダイジェスト一覧映像を一見して把握する
ために、作成されたダイジェスト映像をそのダイジェス
ト映像が取り込まれた時間帯によって分類して表示する
ように表示制御される。

【００１５】また、表示されているダイジェスト一覧映
像のなかから、ダイジェスト映像を選択すると、その選
択されたダイジェスト映像位置が再生開始位置としてビ
デオ機器に伝達される。

【００１６】予約録画時には、ビデオ機器により予約設
定された番組の開始及び終了時刻、チャンネルの情報を
得るとともに、ダイジェスト作成装置におけるダイジェ
スト映像作成処理を番組の録画中に行う。

【００１７】さらに留守番録画する時間帯とチャンネル
を設定するためのインターフェース手段と、録画したビ
デオ映像の内容構成を簡潔にわかりやすく表現するダイ
ジェスト情報を作成するためのダイジェスト作成手段
と、そのダイジェスト作成手段を設定された時間に起動
及び終了させるためのタイマー手段と、ダイジェストを
表示するための手段を有する。

【００１８】その他の手段などは、明細書の実施例の記
載から自ずと明らかになろう。

【００１９】本発明によれば、予約録画した番組が、果
たして見るに値するかどうかを簡単に確認でき、ユーザ
の時間的負担を軽減できる。

【００２０】

【発明の実施の形態】以下、図面を用いて本発明の実施
例を説明する。

【００２１】本発明の全体イメージを明確化するため
に，まず，図12を用いてシステム機器の構成との動作概
要を説明する。

【００２２】図示しない受信手段により受信したテレビ
番組を単に視聴する場合には、テレビ受像器（1203）に
そのテレビ番組が表示される。受信したテレビ番組の録
画はビデオ機器（1202）により行われる。ビデオ機器に
おいては記録媒体の種類は問わない。ビデオ機器（120
2）で番組が録画される際には、同時にダイジェスト作
成装置（1201）によりダイジェスト映像が作成される。

【００２３】プリンタ（1204）はダイジェスト作成装置
（1201）で作成されたダイジェスト画像を印刷するため
に用いられる。図12においては、プリンタ（1204）はダ
イジェスト作成装置（1201）に接続されているが、印刷
を行わない場合は特に備える必要はない。

【００２４】図1にダイジェスト作成装置（1201）の構
成を示す。

【００２５】ダイジェスト作成装置（1201）は、入出力
I/F（11）と、ビデオデジタイザ（12）と、ＣＰＵ（1
3）と、記憶手段（14）と、指示装置（15）と、タイマ
ー手段（16）とからなり、それぞれがバスによって接続
されている。17は後述するビデオ機器制御のための制御
信号であり、18はアナログビデオ映像信号である。ビデ
オ機器がデジタル信号で映像を出力する構成の場合に
は、17にデジタル映像信号も含まれ、18と12は不要であ
る。

【００２６】記憶手段（14）には、ダイジェスト作成装
置（1201）の初期化を行い、以下のプログラムを実行可
能な状態にするための起動プログラム（141）、ビデオ
デジタイザ（12）を制御して入力された動画像をフレー
ム単位に取り込む画像取り込みプログラム（142）、画
像取り込みプログラム（142）により得られたフレーム
画像を用いて、ダイジェスト画像を作成するダイジェス
ト作成実行プログラム（143）、ダイジェスト画像の表
示制御のためのダイジェスト画像出力プログラム（14
4）、画像取り込みプログラム（142）により得られたフ
レーム画像を一旦記憶するフレーム記憶領域（145）。
但し、ダイジェスト作成実行プログラム（143）による
カット変わり目の判定が終わったフレームは消去され
る、作成されたダイジェスト画像を第６図のファイル構
造で記憶するダイジェスト情報記憶領域（146）、ビデ
オ機器の予約録画機能が利用される場合に、録画開始時
刻、録画終了時刻、録画番組を受信するチャンネル等の
予約録画情報を記憶する予約情報記憶領域（147）、表
示されたダイジェスト一覧画像のなかから、１のダイジ
ェスト画像（カットを代表する画像）が選択指示された
場合に、ビデオ機器に対して選択指示されたダイジェス
ト画像が示す位置からの再生を制御するための再生制御
プログラム（148）が記憶されている。

【００２７】図13にダイジェスト作成装置（1201）を備
えたビデオ機器で画像の録画を行うときの手順を示す。

【００２８】ダイジェスト作成装置（1201）に電源が投
入されると（1301）、メモリに記憶されている起動プロ
グラム（141）に従ってＣＰＵ（13）の処理が開始され
る（1302）。使用者の便宜を図るためダイジェスト作成
装置の電源はビデオ機器の電源投入に連動して投入され
るようにしても良い。

【００２９】テレビ番組等の動画像（以下ビデオ映像）
は、テレビ受像器又はビデオ機器により地上波・衛星・
ケーブル等の放送を受信して得られた信号をビデオデジ
タイザ（12）を介して取り込まれる。ビデオ映像は、フ
レームと呼ばれる静止画が、ぱらぱら漫画のように連続
的に高速に表示されることで成り立っている。ビデオデ
ジタイザ（12）により、それらのフレーム１枚１枚はデ
ジタル画像としてフレーム記憶領域（146）に取り込ま
れる。

【００３０】ダイジェスト作成装置において、ビデオ機
器が録画を開始したことを通知する制御信号(17)を検出
すると（1303）、ビデオ機器におけるビデオ映像の録画
と並行して、フレーム記憶領域（146）に取り込まれた
フレーム画像に対して図４に示すダイジェスト作成プロ
グラム（143）が実行される（1304）。ビデオ機器から
ビデオ映像の録画の終了を検出し（1305）、かつ、作成
されたダイジェスト映像をダイジェスト情報記憶領域
（146）に格納し終わると（1306）、ダイジェスト作成
装置（1201）の状態を監視する。ダイジェスト作成装置
の終了信号を検出すると（1307）、ハードウエアの電源
遮断に備え、例えば、図示しないキャッシュメモリに入
ったまま残されているファイルデータをディスクに書き
込むといったようにデータが破壊されないように準備を
行う（1308）。準備が終わると、ダイジェスト作成装置
（1201）は実際に自身の電源をオフにする。

【００３１】次に図14を用いて、ビデオ機器で録画され
たビデオ映像を再生する際の、ダイジェスト作成装置の
動作を説明する。図13での説明と同様に、ダイジェスト
作成装置（1201）に電源が投入されると（1401）、メモ
リに記憶されている起動プログラム（141）に従ってＣ
ＰＵ（13）の処理が開始される（ステップ1402）。ビデ
オ機器にビデオ映像が録画された記録媒体が投入された
状態で、ユーザからダイジェスト映像の一覧表示信号が
入力されてダイジェスト作成装置が、そのダイジェスト
映像の一覧表示信号を検出すると（1403）、ダイジェス
ト出力プログラム（144）が実行される（1407）。ダイ
ジェスト出力処理中以外で、ダイジェスト作成装置の終
了信号が検出されると、図13の1307〜1309と同様の手順
1404〜1406によりダイジェスト作成装置のシステム終了
手続きが実行される。

【００３２】ダイジェスト出力プログラムは、ダイジェ
スト映像をテレビ受像器に出力する。出力されたダイジ
ェスト映像はいくつかの表示形態を有する。表示形態の
例は後で図５、７、１１を用いて説明するが、ユーザの
入力によりダイジェスト映像の表示形態の変更が要求さ
れた場合には（1408）、表示形態を他の形態に変更する
ようにダイジェスト表示形態変更処理（1409）が行われ
る。また、ユーザの入力によりダイジェスト映像をプリ
ンタへ印刷するように指示があれば、テレビ受像器に表
示されているダイジェスト映像が適切なプリンタ制御コ
ードの変換されてプリンタで印刷処理される（1411）。
また、テレビ受像器に表示されているダイジェスト映像
の中からカットの代表画像を選択すると（1412）、その
選択されたカットの位置からビデオ機器に投入された記
録媒体を再生するように再生制御プログラム（148）に
よりビデオ機器を制御する（1413）。ビデオ機器からビ
デオ映像の再生終了を示す信号が検出される（1414）ま
で、ビデオ機器の再生続行を許し（1415）、ビデオ映像
の再生終了を示す信号を検出すると、起動プログラムを
実行した直後の状態となる。

【００３３】テレビ受像器に表示されるダイジェストの
表示形態や量等を規定するユーザの指示情報は、ビデオ
機器に付属のリモコンやポインティングデバイスといっ
た指示装置を別途設けて、ダイジェスト作成装置のＣＰ
Ｕ（13）に伝えられる。指示装置15に必要とされる指示
キーについては、図10を用いて後で説明する。

【００３４】以上では、ビデオ機器とダイジェスト作成
装置とは独立の装置として説明してきたが、ダイジェス
ト作成機能を持つビデオ機器としても、本発明の範疇に
含まれることはあきらかである。

【００３５】第５図を用いて、本発明で作成されるダイ
ジェスト映像の概略を説明する。

【００３６】本発明ではダイジェスト映像とは、ビデオ
映像中の代表的な画面を一覧にして表示されたものであ
る。図５において、500はビデオ映像を時間を追って表
示されるフレーム列の形で模式的に表したものである。
ビデオ映像は、カット単位に分けられ、各カット502か
ら代表的なフレーム504がピックアップされて、代表画
像の一覧が作成される。506は、表示画面の例である。
表示にはダイジェスト映像のもととなるビデオ映像の録
画日時と、各カットから抽出された代表画像列とが表示
される。代表画像が画面に表示しきれない場合は、次頁
に表示する。または、表示する代表画像の枚数を制限し
たり、１つの代表画像の表示領域を小さくしても良い。
代表画像の枚数を制限する手法として、先に本発明者ら
が出願した米国出願(出願番号待ち、Antonelli No.936.
34360X00、日立No.319400749、日本代理人は薄田特許事
務所)に記載の技術を用いることができる。代表画像504
の横に付された番号は、代表画像の時間的な表示順を示
すものであり、放送時間を表示することで代用できる。
また、左上から右下へ順位代表画像が表示されることを
マニュアル等に示して規則化しておけば、特にこのよう
な表示順を示す数値を表示する必要はない。

【００３７】カットとは、一台のカメラで撮影された連
続的な映像区間として定義される。カットは、画像的に
も内容的にも一つの固まりとみなせる動画の最小単位で
ある。このようなダイジェストの一覧表示によれば、一
度にたくさんの場面の画面が表示できるので、映像の流
れや場面のつながりといった全体構成が見渡しやすく、
映像内容を比較的容易に把握することができダイジェス
ト情報として十分に利用できる。

【００３８】続いて、ダイジェスト作成プログラム（14
3）、ダイジェスト出力プログラム（144）と表示形態、
ダイジェスト情報記憶領域（146）におけるダイジェス
ト映像のファイル構造、について順に説明する。入出力
I/F（11）、ビデオデジタイザ（12）、起動プログラム
（141）、画像取り込みプログラム（142）は説明を省略
する。

【００３９】図４にダイジェスト作成プログラム（14
3）のフローチャートを示す。ダイジェスト作成プログ
ラム（143）はＣＰＵ（13）で実行される。ＣＰＵ（1
3）はまず最初に初期化処理として変数ｎを０にし、代
表画像の識別の基準として利用される色ヒストグラム用
のメモリ領域をリセットする（400）。色ヒストグラム
用のメモリ領域は、記憶手段（14）の一部に設けられて
いる。フレーム画像の取り込みはビデオ映像信号中のSy
nc信号が検出されるのを待って行われ、新しいフレーム
が取り込まれる度に順にそのフレームに番号fnが付けら
れる（402）。ここで、ｎはアルゴリズムの説明に当た
って、フレームと各種変数との対応関係を明確にするた
めに便宜的に設けた変数であり、実際のプログラム中で
記述される必要はない。次に、取り込まれたフレーム画
像fnについて色ヒストグラムHnを作成する（404）。色
ヒストグラムは、１枚のフレーム画像全体における、同
じ色を示す画素の出現頻度を求めたものである。例え
ば、ＲＧＢ各２ビット６４色の色ヒストグラムを作成す
る場合、フレームの各画素のＲＧＢカラー値をそのＲＧ
Ｂ各上位２ビットのみで表現した６ビット６４色に縮退
し、６４色のそれぞれについて、縮退によってその色を
示す画素の数をカウントする。この場合、色ヒストグラ
ムは配列Hn(i)で表され、ｉは０から６３の値をとる。
例えば、ｉが０のときの度数Hn(0)は、ＲＧＢカラー値
の上位２ビットがＲＧＢ各々全て０である画素がフレー
ム中にいくつあるかを示している。続く処理406では、
フレームfnの色ヒストグラムHnと、１つ前のフレームfn
-1の色ヒストグラムHn-1との間の相異度R1nを求める。
色ヒストグラム間の相異度R1nは、カイ二乗検定等の計
算式により求めることができる。計算式は特開平４−１
１１１８号公報に記載の方法を用いればよい。処理408
では、相異度R1nが閾値th1を超えているかどうかを調べ
る。もし、超えていれば、カットの変わり目と判定し、
フレーム画像fnをダイジェスト情報としてダイジェスト
情報記憶領域（146）に記憶する（410）。また、ダイジ
ェスト情報を取り込んだ時の現在時刻もfnと対応づけて
ファイルに書き込む（412）。本発明ではビデオ機器に
おけるビデオ映像の録画と同時にダイジェストを作成し
ているので、記憶された現在時刻は、ビデオ映像を受信
した時刻を示している。取り込まれたフレーム画像のデ
ータ量がダイジェスト情報として不必要に大きな場合、
あるいは大きいがためにファイルに書き込むのに時間が
かかりすぎて処理の続行に支障を来す場合には、取り込
まれたフレーム画像を縮小してファイルに書き込む。フ
レーム画像を縮小するとは、物理的にフレーム画像を示
すためのデータ量を減少させることであり、具体的に
は、フレーム画像情報自体を圧縮して情報量を減らした
り、フレーム画像の表示画素を減らしてフレーム画像の
情報量を減らす方法が考えられる。そして、処理414で
ｎを１つ増やして、ビデオ機器の番組録画終了に至るま
でカットの変わり目の判断とカットの変わり目を示す先
頭フレーム画像の取り込みを続け、この先頭フレーム画
像をダイジェスト情報記憶領域（146）に記憶する。

【００４０】ダイジェスト情報記憶領域（146）に記憶
されるデータのファイル構造を図６に示す。

【００４１】600はヘッダー情報であり、他のファイル
形式との識別や登録されているカットの総数といったフ
ァイル全体に関わる情報が入る。602は、代表画像の格
納アドレスのテーブルであり、各カットの代表画像のデ
ータがファイル中のどの位置に格納されているかを表す
オフセット値が、カットの総数分だけ順番に格納され
る。同様に604はカットの代表画像の取り込まれた時
刻、すなわち放送時刻、606は属性情報に関するテーブ
ルである。他にも関連情報を格納する場合には、必要な
だけ同様のテーブルが作成される。これらのテーブルの
間ではそれぞれのテーブルの先頭から数えて同じ位置に
格納されているアドレス情報は、同じ代表画像に関する
情報となるように格納され、相互に対応がとれるように
なっている。608から618は、それぞれの情報を格納する
データ領域である。これらの情報のうち、ヘッダー情報
600やテーブル情報602〜606は、ダイジェストの作成処
理が終了するまで確定しない情報である。例えば、記録
されたカットの総数はもちろん、代表画像の格納アドレ
スのテーブルもそのサイズがカットの総数に依存してい
るため、最後まで確定しない。これらの情報は、ダイジ
ェスト作成中はダイジェスト作成装置のメモリ（14）上
に大きめに確保した領域に一時的に作成され、ダイジェ
スト映像の作成終了後（図４でのステップ146の後に相
当し、実質的には処理対象のビデオ映像に対して代表画
像の抽出処理が終了した時点を指す）に、実際に使用し
たメモリサイズに応じて図６のファイル構造でダイジェ
スト情報記憶領域（146）に記録される。図４でのダイ
ジェスト作成処理の説明中のステップ418に対応する。
この記録処理を行わずにダイジェスト作成装置の電源が
遮断されるとせっかく作成されたダイジェスト映像が失
われてしまうので、ダイジェスト作成装置の終了処理の
前には、必ずダイジェスト映像の格納の確認が行われる
必要がある。ダイジェスト情報として記録される情報と
しては、上述の情報の他、VTR機器等のビデオ機器に対
してダイジェスト作成装置により通信及び制御ができる
場合には、カットの代表画像の放送された時刻に対応す
る記録媒体上の再生位置のアドレス情報も記憶してお
く。これにより、ユーザは代表画像の一覧を見ながら、
指定した代表画像に対応する記録位置から、録画された
映像を再生視聴することができる。また、時間的に代表
画像付近の音声情報を取り込んで記録しておけば、その
音声情報によって内容が一段と深く理解でき、実際に記
録媒体を再生しなくても（例えばビデオテープを動かさ
なくても）代表画像について把握できる情報量が拡大す
る。特に音声情報は動画像に比べてデータ量が少なく、
記憶容量上の制限も小さいので、図６のファイル構造に
加えることは容易である。代表画像付近の音声情報とし
ては、例えば、時間的に代表画像の開始位置から一定時
間の音声をとりこめばよい。

【００４２】ダイジェスト映像の例を図５、図７、図１
１に示す。図５についての説明は既に示したが、つけ加
えるとダイジェスト映像の表示領域はテレビ受像器の画
面全体であっても良いし、ウインドウの様に画面上の部
分的な領域であってもよい。個々の代表画像には付加さ
れた放送時刻や番号の表示は録画された番組の再生開始
位置の目安となる。

【００４３】図７は，ダイジェスト映像の表示方法の別
の例である。図７の表示領域７００では，録画時刻７０
２が，録画開始時刻から一定時間間隔で時刻が並んでい
る。図の例では，１１時から１５分間隔で時刻が縦一列
に表示されている。そして，時刻表示の右側には，何枚
かの代表画像が表示されている。これらの代表画像は，
その放送時刻が，その行の左に書かれた時刻とその１つ
下の行の左に書かれた時刻との間の時間帯に含まれるも
のである。この例のように，一定間隔で表示された時刻
と，代表画像とを対応がわかるように表示することで，
時間をもとにした場面検索が非常に容易になる。例え
ば，時代劇など物語の起承転結がハッキリしており、物
語の山場が時間で見当がつくような場合（卑近な例を挙
げれば，先の副将軍がその身分を明かして相手を跪かせ
る場面は，８時４０分過ぎ頃と決まっている）や、番組
中で放送時刻が毎回決まっている特定のコーナーの等の
場面の検索に絶大な効果を発揮する。また，このような
時刻が縦に並ぶ形式は，現在広く普及している新聞・雑
誌等のテレビ番組欄のレイアウトも同様の形式であるこ
とから，対応関係がとりやすくなる利点もある。

【００４４】上記の形式での表示にあたっては，ある時
間帯に含まれる代表画像の数が多ければ，図７の１１時
３０分の項のように，その時間帯については行を増やし
て表示すればよい。しかしながら，多すぎる数の代表画
像は，やはりダイジェスト映像全体の見通しを悪くし，
迅速な映像内容の把握を阻害する原因ともなる。そこ
で，代表画像の表示枚数を制限し、各時間帯で表示され
る枚数が一定値以内におさめるための間引き処理を、第
８図、第９図を用いて説明する。

【００４５】図８に，間引きを考慮した代表画像の一覧
表示を行うためのフローチャートを示す。この間引き処
理はダイジェスト画像の一覧を表示する際に行われる。
外部からダイジェスト画像の一覧要求を受け付ける際
に、オプションとして間引き処理の要求が有った場合
（図14の1408）に、図14の1409のダイジェスト表示形態
変更処理の１つとして図８の処理が開始される。処理８
００で初期化を行い，変数ｎとｃに０を代入する。先述
の方法で作成されたダイジェスト情報のファイルから，
その開始時刻を読み出し，変数Tsに代入する（８０
２）。また，記憶手段14のダイジェスト記憶領域中の間
引き処理の対象である番組の録画ファイルに記録された
代表画像の総数Ｎを読み出す（８０４）。次に，ある時
間帯に含まれる代表画像の総数を数えるためのカウンタ
ｃを０にリセットし，現在のｎの値を，ｎ’に退避する
（８０６）。このとき，Tsの値を一覧表の左端に表示す
る。そして，ファイル中のｎ番目に記録された代表画像
DFnの放送時刻DTnをダイジェスト情報のファイルから読
み出す（８０８）。続く処理８１０では，変数ｃ，ｎに
それぞれ１を加え，Ｎから１を引く。これにより，DTn
がTs + Tstepよりも小さく，かつＮが０より大きくなれ
ば，処理８０８に戻って繰り返す（８１２）。ここで，
Tstepは時間帯の幅であり，例えば，図７のような１５
分間隔の一覧を作る場合なら，Tstepは１５分となる。
これら８０８〜８１２の処理を繰り返すうちに，Tsから
Tstep時間分の時間帯に含まれる代表画像の数がｃに求
まる。８１４ではｎ’に退避していた値をｎに戻してお
く。もし，ｃがCmaxより大きければ，後述する間引き処
理８２０を行い，そうでなければ，ｃの数だけ代表画像
DFnをファイルから読み出して，一覧上に順に表示して
いく（８１８〜８２４）。Cmaxは，各時間帯がそれぞれ
表示できる最大の代表画像の数である。例えば，代表画
像の一覧において，時刻表示の右横に並べることができ
る代表画像の最大数をCmaxにすれば，全ての時間帯にお
いて１行分だけ代表画像が並ぶことになる。最後に，Ts
にTstepを足し込み（８２６），もし，Ｎが０になって
いなければ処理８０６まで戻って繰り返す。Ｎが０であ
れば，それで一覧の表示は完了である。

【００４６】図９は，上記の間引き処理８２０の詳細な
フローチャートである。まず処理９００では，小数点を
扱うことのできる変数stepに，ｃをCmaxで割った値を代
入し，カウンタｉを０にする。stepは，間引き間隔を表
す。次に，ダイジェスト情報のファイルからｎ番目の代
表画像を読み出し，一覧表上に表示する。９０４でカウ
ンタｉの値を１増やすとともに，処理９０６でｉとstep
を掛けた値を整数化してｎ’を加えた値をｎに代入す
る。もし，ｉが Cmaxより小さければ，すなわち，Cmax
分だけ表示が終わっていなければ，９０２に戻って繰り
返す。

【００４７】上記の例では，代表画像をその放送された
時刻に関係なく，取り込まれた順番で間引いたが，時間
帯をCmaxの数だけ等分に分け，その分割点に対応する時
間に最も近い放送時刻を持つ代表画像を表示していくよ
うにしてもよい。例えば，Cmaxが５でTsが１１時，Tste
pが１５分の場合，３分ごと，すなわち，１１時，１１
時３分，１１時６分…にそれぞれ最も近い時刻に取り込
まれた代表画像を表示していく。これは，代表画像は短
いカットが続く映像区間ほどたくさん取り込まれている
ので，図９に示した間引き方では，特定の映像区間に偏
った代表画像で満たされる危険があるからである。

【００４８】また，上記に述べたようなダイジェストの
表示方法において，番組の最後のほうは表示の対象から
省くと都合のよい場合がある。特に，推理ドラマのよう
に，種明かしを一度見てしまうと，その番組をあえて見
ようとは思わなくなるような場合で，かつ，ダイジェス
トを，番組内容全体を把握するためよりも，見るかどう
かを決める判断材料に用いるような場合である。これは
ユーザがダイジェストを見る際に，番組の何分目からは
ダイジェストを表示しないという設定をすることで実現
できる。そして，ダイジェストの表示の際には，代表画
像の放送時刻を調べて，設定された時間以降の代表画像
の表示を行わないようにする。但し，結局見る価値がな
いとユーザが判断した場合には，手早く全体を把握した
いと思うものなので，ユーザの指示で即座に番組全編の
ダイジェストに切り替えられるようにする。このため，
ダイジェストの作成は，ユーザの設定の如何を問わず，
番組全編について行っておく。

【００４９】ＶＴＲで，ダイジェストを見るためのイン
タフェースとしては，例えば，図１０に示すように「ダ
イジェスト表示」ボタン１０００と「表示モード切替」
ボタン１００２，スクロールや、アイコン等のオブジェ
クト指示のための十字ボタン１００４を用意する。番組
の録画時も、ダイジェスト映像の一覧要求時も、ダイジ
ェスト作成装置の起動プログラムの立ち上がり後にダイ
ジェスト表示ボタン１０００を押すと、映像出力装置と
してのテレビ受像機の表示画面が即座に切り替わり，ビ
デオ機器に投入されている記録媒体のダイジェスト映像
の一覧が表示される。ビデオ機器で録画を行っている場
合にはダイジェスト映像の一覧表示は行われないが、単
にテレビ番組を視聴中であったり、ビデオ機器で録画済
みの番組を再生中であるときには、ダイジェスト映像の
一覧表示が行われる。代表画像が１つの画面で表示しき
れない場合には，スクロールボタン１００４を使って自
由にスクロールして見ることができる。また，モードボ
タン１００２を押すたびに，図５の５０６の表示形式か
ら図７の表示形式へというように表示形式を変更するこ
とができる。また，代表画像を間引いて表示するモード
へもこのボタンで変更する。録画した番組が複数ある場
合には，ダイジェスト表示ボタンを押したときに，図１
１のように予約番組設定とダイジェスト映像とが対応し
た選択画面が現れる。この画面には，録画した番組の録
画開始時間・終了時間ならびにチャンネルの情報１１０
０と，数枚だけに限定した代表画像の組１１０２とがペ
アになって１つの欄を構成している。これらの欄が予約
設定により録画された番組の数だけ表示されている。ユ
ーザは１１０２によって，ダイジェストを見る番組をビ
ジュアルに確認し選択することができる。１１０２の作
成には，図８、図９で示したような間引き方法が利用で
きる。具体的には，Tstepを番組の時間枠いっぱいに
し，Cmaxを数枚にすることで得られる。図１０に示すよ
うなダイジェスト作成装置の操作をするために必要な操
作はボタンは、ダイジェスト作成装置専用のリモートコ
ントローラを準備しても良いし、ビデオ機器に標準とし
て設けても良い。

【００５０】次に、以上のダイジェスト作成装置の付加
機能として、予約録画時のダイジェスト作成装置の開始
及び終了の処理動作と予約録画情報の記憶形態を、図２
と図３とを用いて説明する。

【００５１】ビデオ機器において録画設定された予約情
報１２０はダイジェスト作成装置に送られ、記憶媒体中
に設けられた予約情報記憶領域（147）に記憶される。
予約情報記憶領域（147）には、図３に示す情報が保持
される。予約番号３００は予約番組が複数ある場合の識
別番号である。開始時刻３０１は予約番号１の番組の開
始時刻、終了時刻３０２は予約番号１の番組の終了する
時刻、チャンネル３０３は予約番号１の番組の放映され
るチャンネル、補助情報３０４は例えば番組の録画直後
にその番組のダイジェスト映像一覧をプリンタに印刷す
る等の補助的な情報である。

【００５２】図２に予約による番組録画時のダイジェス
ト作成装置での処理手順を示す。

【００５３】図２は，ビデオ機器で予約録画を行うため
に備えられたプログラマブルタイマーによって、ダイジ
ェスト作成装置の電源が入れられてから再び切られるま
でのＣＰＵ（１３）の動作フロー例を示した図である。
２００でビデオ機器、及びダイジェスト作成装置に電源
が入れられると、ＣＰＵ（１３）は、メモリ（１４）、
特には電源の投入遮断によって記憶内容が消えないリー
ドオンリーメモリ（ＲＯＭ）に格納された起動用プログ
ラムによって、Ｉ／Ｏポートや割り込みアドレスの設
定、周辺機器との接続といったハードウエアの初期化処
理２０２を行う。このとき、プログラマブルタイマーに
よって起動されたのかどうかの判定も行う。これは、プ
ログラマブルタイマーに動作中かどうかを知らせるフラ
グを設けておき、Ｉ／Ｏポートを通じてＣＰＵ（１３）
が自由にそのフラグを読みとれるようにしておけば容易
に実現できる。

【００５４】プログラマブルタイマーは、ダイジェスト
作成装置（1201）への電源供給線をリレーなどのスイッ
チでオンオフする制御のほかに、ＣＰＵ（13）に対して
制御信号を発生する。この制御信号をダイジェスト作成
開始／終了信号として用いる。電源のオンオフと、ダイ
ジェスト作成開始／終了信号の発生時刻との間には一定
の時間差を設ける。これは、２００の電源投入から２０
４のプログラム起動まで、ある程度の時間がかかるため
である。また，放送受信チュナーのようなアナログ系の
回路は，電源投入からしばらく時間が経過したほうが出
力信号が安定する。したがって、実際にダイジェストを
作ろうとする番組の開始時刻（つまり予約設定時刻）よ
りも、電源オンから処理２０４完了までに要する時間分
だけ事前に２００で電源の投入が行われるようにダイジ
ェスト作成装置の電源音時刻を調整する。そして、番組
の実際の開始時刻にビデオ機器から発生される録画開始
信号を待って、ダイジェストの作成が開始される（２０
６）。ダイジェスト映像の作成は、ダイジェスト作成プ
ログラム（143）に従って行われる。

【００５５】処理２０８では、プログラマブルタイマー
に格納された終了時間の情報を予約情報記憶領域(147)
に記憶された予約情報から取得する。そして、ダイジェ
スト作成プログラムの実行中（２１０）は、タイマーか
ら現在時刻を読み出して終了時刻と比較し、終了時刻に
至ったときにプログラムを終了する。あるいは、タイマ
ーが終了時刻に信号を発生するようになってれば、実行
中は終了信号発生の有無を監視し、終了信号を検知した
時点でプログラムを終了する。そして、ハードウエアの
電源遮断に備え，例えば、キャッシュに入ったままメモ
リに残されているファイルデータをディスクに書き込む
といったように、データが破壊されないよう準備を行う
（２１２）。準備が終わると、計算機はプログラマブル
タイマーに電源遮断準備了を伝える信号を送信し、タイ
マーはその信号を受けて実際に電源をオフにする（２１
４）。計算機に準備了信号を送信する機構がない場合に
は，電源遮断の準備に要する最長の時間を予め求めてお
き，その時間だけ遅らせてタイマーが電源をオフにする
ようにしてもよい。

【００５６】さらに、録画と並行してダイジェスト映像
を作成した後には、自動的にダイジェスト一覧映像をプ
リンタに出力するところまで行っておくと一層便利であ
る。これは、ダイジェスト映像のファイル（図６の構
造）が作成された後、電源遮断の準備に入る前に、印刷
処理を行わせることで実現できる。もちろん、印刷にか
かる時間だけ電源遮断を遅らせる必要があるのは言うま
でもない。紙に出力することで、ディスプレイ画面で見
るよりも、高解像度でより多くの代表画像が一度に確認
できる他、ユーザはダイジェスト作成装置やビデオ機器
の電源を投入する労をとらずとも、ダイジェスト映像の
一覧が印刷された紙を手に取った瞬間に録画された番組
の概要を一覧することができる。

【００５７】また、ダイジェスト映像一覧は、単に記録
媒体に録画された映像内容の確認だけでなく、他の用途
にも利用できる。例えば、録画した番組を再生している
ときに、ダイジェスト映像の一覧を表示し、その一覧映
像の中から任意の代表画像を選択して、その選択された
代表画像が示す場面までスキップすることができる。再
生中にダイジェスト映像の一覧が要求された場合には、
ダイジェスト映像が要求された際に再生されていた画像
の位置情報を利用し、その位置情報に対応する放送時刻
以前の代表画像を省略して表示することで、コマーシャ
ルなどの不要なビデオ映像区間のスキップが非常に容易
になる。

【００５８】以上で述べてきた説明は、テレビ受像器と
ビデオ機器とダイジェスト作成装置とが別々の機器の場
合を例にとって行ったが、本発明はそれに限定されるも
のではなく、例えば、ビデオ機器の付加機能として用い
ることができる。さらに、テレビ自体の一機能として組
み込むことも可能である。

【００５９】

【発明の効果】本発明によれば、録画と同時進行で録画
している番組のダイジェスト映像が自動的に作成され、
必要に応じて即座にその番組の内容を確認できるので、
その番組が果たして見るに値するかどうかを簡単に確認
でき、ユーザの時間的負担を軽減できる。

【図面の簡単な説明】

【図１】本発明のダイジェスト作成装置の構成図であ
る。

【図２】タイマーによる起動から終了までのCPU動作を
示すフローチャートの一例である。

【図３】プログラマブルタイマーで記憶される予約設定
情報のデータ構造の一例である。

【図４】ダイジェスト作成プログラムのフローチャート
の一例である。

【図５】本発明で説明するダイジェストの概要を示す図
である。

【図６】ダイジェスト情報のファイル構造の一例であ
る。

【図７】ダイジェスト表示形式の一例である。

【図８】図７で示した形式のダイジェストを作成するた
めのフローチャートの一例である。

【図９】図８の補足フローチャートである。

【図１０】VTR等でダイジェストを見るためのインタフ
ェースの一例である。

【図１１】複数のダイジェストが作成された時の選択画
面の一例である。

【図１２】ダイジェスト作成装置と他の機器との接続関
係を示す図である。

【図１３】ダイジェスト映像の作成時の本発明の動作概
要である。

【図１４】ダイジェスト映像の再生時の本発明の動作概
要である。

【符号の説明】

1202…ビデオ機器、1201…映像ダイジェスト作成装置、
11…入出力I/F、12…ビデオデジタイザ、13…CPU、14…
記憶手段、15…指示装置、16…タイマー。

───────────────────────────────────────────────────── フロントページの続き (72)発明者天野良和神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内 (72)発明者平畠茂神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マルチメディアシステム開発本部内

Claims

【特許請求の範囲】

【請求項１】受信されたテレビ番組の映像を録画する録
画手段に接続され、該録画手段における該テレビ番組の
録画と同時に、該テレビ番組を構成する映像のカットの
変わり目の集合からなるダイジェスト一覧映像の作成を
開始する以下の構成からなるダイジェスト作成手段、外部から又は外部への映像信号の入出力を制御する入出
力インタフェースと、入力された映像信号をフレーム単位の映像信号に変換す
る変換手段と、該フレーム単位の映像信号を取り込んで該テレビ番組を
構成する映像のカットの変わり目を代表映像として検出
する手段と、該代表映像の集合からなるダイジェスト一覧映像を記憶
する記憶手段と、外部に接続された表示手段に該ダイジェスト一覧映像を
表示する表示制御手段と、からなることを特徴とする映
像のダイジェスト作成装置。
【請求項２】請求項１において、上記ダイジェスト映像
情報には、上記録画手段で録画された番組を識別するた
めのヘッダー情報と、上記カットの変わり目を示す代表
映像情報と、該代表映像情報が取り込まれた時刻とが含
まれることを特徴とするダイジェスト作成装置。
【請求項３】請求項１において、上記表示制御手段は、
時刻を見出しとする１つの欄に、その時刻から一定時間
内の時間帯に出現する代表映像を表示するようにダイジ
ェスト一覧映像の表示を制御することを特徴とするダイ
ジェスト作成装置。
【請求項４】請求項３において、上記表示制御手段は、
予め任意の上記時間帯の欄に表示される代表映像の数が
設定された場合には、上記時間帯に含まれるカット数よ
りも少ない数の代表映像が選択されて表示するように制
御することを特徴とするダイジェスト作成装置。
【請求項５】請求項３において、上記表示制御手段は、
予め定められた時間帯に所属する代表画像を表示の対象
から外すように制御することを特徴とするダイジェスト
作成装置。
【請求項６】請求項１において、上記表示手段に表示さ
れた上記ダイジェスト一覧映像のなかから代表画像を選
択する選択手段を有し、該選択手段によって選択された
１の代表映像がダイジェスト作成装置に取り込まれた時
刻が示す位置から、該録画手段に録画された番組の再生
を開始する手段を有することを特徴とするダイジェスト
作成装置。
【請求項７】特定のテレビ番組を予約録画するために設
定された時間帯とチャンネルの情報を取り込むためのイ
ンタフェース手段と，該特定のテレビ番組の受信中に該
番組の内容と構成を表現するダイジェスト情報を作成す
るためのダイジェスト作成手段と，そのダイジェスト作
成手段を，上記設定された時間に基づき起動及び終了さ
せるためのタイマー手段と，作成されたダイジェストを
表示するための手段を設けることを特徴とする映像のダ
イジェスト作成装置。
【請求項８】請求項７において，演算処理手段への電源
投入の時刻と，ダイジェスト作成の開始時間との間に一
定の時間差を設けることを特徴とする映像のダイジェス
ト作成装置。
【請求項９】請求項７において，演算処理手段の電源遮
断の時刻と，ダイジェスト作成の終了時間との間に一定
の時間差を設けることを特徴とする映像のダイジェスト
作成装置。
【請求項１０】請求項７において，ダイジェスト情報
は，番組の各場面の代表画面を一覧表示したものである
ことを特徴とする映像のダイジェスト作成装置。
【請求項１１】請求項７において，ダイジェスト情報と
して，番組の開始時間及び終了時間，チャンネルも一緒
に記録することを特徴とする映像のダイジェスト作成装
置。
【請求項１２】請求項１０において，ダイジェスト情報
として，代表画面を取り込んだ時刻も，該代表画面と対
応づけて記録することを特徴とする映像のダイジェスト
作成装置。
【請求項１３】請求項１０において，ダイジェスト情報
として，代表画面を取り込んだ時刻付近の音声情報も一
緒に取り込んで記録することを特徴とする映像のダイジ
ェスト作成装置。
【請求項１４】請求項１０において，ダイジェストの表
示において、時刻を見出しとする１つの欄に，その時刻
から一定時間内の時間帯に出現する場面の代表画像を並
べる表示手段を有することを特徴とする映像のダイジェ
スト作成装置。
【請求項１５】請求項１４において，代表画像の表示枚
数を間引き，各時間帯で表示される枚数が一定値以内に
おさまるようにダイジェストを表示することを特徴とす
る映像のダイジェスト作成装置。
【請求項１６】請求項１０において，ダイジェストの表
示において、番組の特定の時間帯に所属する代表画像を
表示の対象から省くことを特徴とする映像のダイジェス
ト作成装置。
【請求項１７】請求項１０において，ダイジェストをプ
リンタで出力することを特徴とする映像のダイジェスト
作成装置。
【請求項１８】請求項１０において，作成されたダイジ
ェストが複数ある場合には，番組ごとに数を限定して選
択した代表画像の組を，それらの組を一覧したメニュー
画面を表示し，その中から確認するダイジェストを選ぶ
ことができることを特徴とする映像のダイジェスト作成
装置。
【請求項１９】予約時間設定用のインターフェース手段
と、放送受信用チューナとを備えたVTRにおいて、特定
のテレビ番組の時間帯とチャンネルとを予約設定するた
めのインターフェース手段と、該番組の内容と構成を表
現するダイジェスト情報を作成するためのダイジェスト
作成手段と、そのダイジェスト作成手段を、設定された
時間に起動及び終了させるためのタイマー手段と、ダイ
ジェストを表示するための手段とを設けることを特徴と
するVTR。
【請求項２０】請求項１９において、ダイジェストを表
示する手段に画面を切り変えてダイジェスト表示させる
ボタンを設けたことを特徴とするVTR。
【請求項２１】プログラマブルタイマーの起動により、
映像のダイジェスト作成のためのプログラムを読み込
み、上記プログラマブルタイマーを用いて特定のテレビ番組
の開始時刻にあわせて該番組の内容と構成を表現するダ
イジェストを作成し、上記プログラマブルタイマーを用いて特定のテレビ番組
の開始時刻にあわせて該番組の内容と構成を表現するダ
イジェストを作成し、上記プログラマブルタイマーを用いて上記特定の番組の
終了時刻にあわせて上記ダイジェストの作成を終了さ
せ、作成したダイジェストを表示することを特徴とする映像
のダイジェスト作成方法。
【請求項２２】請求項２１において、上記映像のダイジ
ェスト作成のためのプログラムは、映像信号中のSync信
号が検出される度にフレーム画像を取り込み、新しいフ
レームが取り込まれた順に番号nを付し、取り込まれた
フレーム画像fnについて色ヒストグラムHnを作成し、作
成した色ヒストグラムHnと、１つ前のフレームfn-1の色
ヒストグラムHn-1との間の相異度R1nをを求め、相異度R
1n-1が閾値th1を超えている場合には、カットの変わり
目と判定し、フレーム画像fnをダイジェスト情報として
ファイルに記録すると共に、このときの現在時刻もfnと
対応づけてファイルに書き込むことを特徴とする映像の
ダイジェスト作成方法。
【請求項２３】請求項６において、ビデオ機器が再生中
の映像位置を検出する手段と、該検出された映像位置か
らのダイジェスト一覧映像を表示する手段とを有するこ
とを特徴とするダイジェスト作成装置。