JP2005020351A

JP2005020351A - Video reproducing device with thumb nail picture creation function and thumb nail picture recording medium

Info

Publication number: JP2005020351A
Application number: JP2003182283A
Authority: JP
Inventors: Satoshi Wakabayashi; 聡若林
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-06-26
Filing date: 2003-06-26
Publication date: 2005-01-20

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video reproducing device with thumb nail picture creation function, with which video information reproduced from a plurality of recording regions of a recording medium can more easily be selected by thumb nail pictures representing the respective recording regions, and to provide a thumb nail picture recording medium. <P>SOLUTION: The device is provided with a thumb nail display control means 17 displaying the thumb nail pictures as representative pictures of video information on the screen of a display means, a means 21 creating the thumb nail picture from video information, a means 23 acquiring character auxiliary information from caption information, a means 22 embedding character auxiliary information in the thumb nail picture, and a means 19 selecting the thumb nail picture from a display device. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、サムネイル画像作成機能付きビデオ再生装置及びサムネイル画像記録媒体に係り、特に記録媒体の複数の記録領域から再生されるビデオ情報の選択が、各記録領域を代表するサムネイル画像によって、より容易に出来るサムネイル画像作成機能付きビデオ再生装置及びサムネイル画像記録媒体に関する。
【０００２】
【従来の技術】
周知のように、近年ではデジタル映像や音声、字幕等のデータを記録した、例えばＤＶＤのようなディスクを再生する動画対応のディスク再生装置が開発されている。
その再生装置に搭載されるディスクに記録されている映像や音声の圧縮フォーマットとしては、映像ではＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＩｍａｇｅＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）映像圧縮方式、音声ではＡＣ（ＡｕｄｉｏＣｏｍｐｒｅｓｓｉｏｎ）３オーディオ圧縮方式やＭＰＥＧオーディオ圧縮方式が用いられている。
【０００３】
さらに、映画やカラオケ等の字幕用としてＥＩＡ−７０８より規定された副映像データ圧縮方式が取り入れられている。また、これら映像、音声、字幕のデータはＭＰＥＧ２システムレイヤに従って多重化されてディスク内に記録されている。
【０００４】
そして、複数のプログラムが記録されたディスクに対して複数の再生開始位置と再生区間、再生順序を定義することが出来る。この複数の定義位置はディスクに記録されたデータとしては、プログラムという形で設定され記録される。
このプログラムは動画作成者が定義してディスク内にデータとして記録することも出来るし、またそのディスクを再生するユーザーが任意に設定しディスクに記録することも出来る。
【０００５】
このように、多数のプログラムが記録されたディスクに対して、ユーザーは簡単にそのプログラムにアクセスして再生するためにプログラムを代表するサムネイル画像を用いて表示装置に代表化させて表示し、ユーザーがその静止画像を選択することで各プログラムを簡単に再生することが出来る（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開２００２‐１５０７５７号公報（図６）
【０００７】
従来例のサムネイル画像作成機能付きビデオ再生装置のブロック構成について、図１１と共に説明する。
図１１に示すこのサムネイル画像作成機能付きビデオ再生装置１Ａは、駆動装置１１、バッファ１２、デコーダ１４、ビデオ表示信号制御手段１５、サムネイル表示制御手段１７Ａ、表示デバイス１８、選択手段（文字データ生成手段）１９、字幕表示信号制御手段２０、サムネイル画像生成手段２１、フレームメモリ２４、サムネイル画像用メモリ２５Ａ、及び画像表示制御手段２６より構成されている。
【０００８】
駆動装置１１は、ビデオファイルやデータファイルの記憶が可能な情報記憶媒体であるディスク１０Ａを回転駆動し、前記ディスク１０Ａに対して情報の読み書きを実行する。
バッファ１２は、前記ディスク１０Ａより前記駆動装置１１を介して読み出したデータを一時貯めておく。
デコーダ１４は、前記読み出したデータの復号動作を行う。
ビデオ表示信号制御手段１５は、前記デコーダ１４を制御し、ビデオ画像イメージデータをフレームメモリ２４へ出力する。
字幕表示信号制御手段２０は、前記デコーダ１４を制御し、字幕画像イメージデータをフレームメモリ２４へ出力する。
【０００９】
フレームメモリ２４は、前記デコーダ１４から出力されたビデオ画像イメージデータ及び字幕画像イメージデータを格納する。
サムネイル画像生成手段２１は、選択手段１９を用いて表示デバイス１８より指定された箇所に対して前記フレームメモリ２４からビデオ画像イメージデータを取得し、このビデオ画像イメージデータを変換して、サムネイル画像を生成する。
サムネイル画像用メモリ２５Ａは、その変換して生成されたサムネイル画像を保存する。
画像表示制御手段２６は、フレームメモリ２４に格納されている画像イメージデータを表示デバイス１８に表示する。
【００１０】
サムネイル表示制御手段１７Ａは、サムネイル画像用メモリ２５Ａに保存されているサムネイル画像を表示デバイス１８に表示する。
表示デバイス１８は、前記フレームメモリ２４の出力及びサムネイル画像用メモリ２５Ａの出力とを１つの画面上に表示する。
【００１１】
サムネイル画像に対する補助文字情報を作成する場合、ユーザーは選択手段１９を用いて表示手段１８に表示されているサムネイル画像の中から所望のサムネイル画像を選択する。
選択されたサムネイル画像に対する補助文字情報を選択手段（文字データ入力手段）１９を用いることで、テキストとしてユーザーが作成する。
作成した補助文字情報は、サムネイル画像とは別の図示せぬテキスト情報保存用メモリに保存される。
【００１２】
記録可能な記録媒体の場合、前記図示せぬテキスト情報保存用メモリに保存されたテキスト情報は、選択したサムネイル画像データに対応したサムネイル属性情報ファイルの一部にテキストとして書き込まれ、サムネイル属性情報ファイルとして記録媒体１０Ａに保存される。
選択手段１９により、前記表示デバイス１８の表示画面に表示されたサムネイル画像の中からユーザーが所定のサムネイル画像を選択する。
【００１３】
【発明が解決しようとする課題】
ところで、ビデオ再生装置では、記録媒体の記憶容量が大きいことから、複数のプログラム（チャプターやブックマークあるいはタイトル）を記録することが可能である。
複数のプログラムが記録された記録媒体に対して、ユーザーは複数のプログラムを簡単にアクセスするためにその複数の各プログラムを代表する複数のサムネイル画像を表示装置に表示することで、ユーザーが選択したプログラムを容易にアクセス出来るようになる。
【００１４】
しかし、画面の領域は限られており、その中で複数のサムネイル画像を表示するため、各サムネイル画像をある程度小さなサイズにせざるを得ず、従ってサムネイル画像が代表するプログラムの内容がわかりづらく、所望のサムネイル画像を正確に選択出来ないという問題があった。
【００１５】
また、サムネイル画像を補佐する補助情報としてユーザーが文字データを入力することが出来るが、一般に市販されているビデオ再生装置では文字データ入力手段（選択手段）としてパネルボタンまたはリモコンしか付随していないため、サムネイル画像に対して補助的な文字データを入力するのは、ユーザーにとって面倒で労力と時間を要するという問題があった。
【００１６】
そこで、本発明は以上の問題に鑑みてなされたもので、サムネイル画像に対する補助的な文字データを簡単に入力することが可能なサムネイル画像作成機能付きビデオ再生装置、及びその装置に搭載されるサムネイル画像記録媒体を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、
請求項１に記載された発明は、
ビデオ情報が記録されたビデオ情報記録領域、前記ビデオ情報に付随した字幕情報が記録された字幕情報記録領域、及び前記ビデオ情報を代表するサムネイル画像が記録された補助情報記録領域を少なくとも有する記録媒体から、前記サムネイル画像を再生表示するサムネイル画像作成機能付きビデオ再生装置において、
再生して得られる各領域毎のビデオ情報の中から指定した箇所の画像を変換して各サムネイル画像を生成するサムネイル画像生成手段２１と、
前記各領域毎のビデオ情報に付随して再生して得られた字幕情報の中から各文字データを取得する文字データ取得手段２３と、
前記各サムネイル画像を順次記憶すると共に前記各文字データを前記各サムネイル画像に埋め込んで記憶するサムネイル画像記憶手段２５と、
前記各文字データを埋め込んだ各サムネイル画像を前記補助情報記録領域に順次記録する補助情報記録手段１１，１２と、
前記補助情報記録領域より再生した前記各サムネイル画像の中から所定のサムネイル画像を選択する選択手段１９とを備え、
前記サムネイル画像を前記字幕情報から選択した文字データと共に表示することを特徴としたサムネイル画像作成機能付きビデオ再生装置を提供し、
請求項２に記載された発明は、
ビデオ情報が記録されたビデオ情報記録領域、前記ビデオ情報に付随した字幕情報が記録された字幕情報記録領域、及び前記ビデオ情報を代表するサムネイル画像が記録された補助情報記録領域を少なくとも有するサムネイル画像記録媒体において、
前記サムネイル画像記録領域には、前記ビデオ情報記録領域を複数に区分した各領域に対応したビデオ情報に付随して記録された字幕情報から選択した文字データが前記各サムネイル画像に対応付けて埋め込まれて記録されていることを特徴としたサムネイル画像記録媒体を提供するものである。
【００１８】
【発明の実施の形態】
本発明の実施の形態につき、好ましい実施例により、以下に図と共に説明する。
なお、参照符号については、従来例における構成と同一の構成については同一の参照符号を付して、その説明は省略する。
＜実施例＞
図１は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例を示すブロック図である。
図２はＭＰＥＧ２のシーケンスを説明した図である。
図３はＪＰＥＧのヘッダ構造図である。
図４はＭＰＥＧ２のトランスポートストリームの構成を説明した図である。
図５は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するサムネイル画像に補助文字データを埋め込む手順を示したフローチャートである。
図６は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用する文字データを取得する手順を示したフローチャートである。
図７は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するビデオパケットと字幕パケットとの関係を模式的に示した図である。
図８は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するサムネイル画像を文字データと共に画面に表示する手順を示したフローチャートである。
図９は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例に塔載される記録媒体（ディスク）の構成について説明した図である。
図１０は本発明のサムネイル画像作成機能付きビデオ再生装置の実施例における字幕文字表示付きサムネイル表示画面を示した図である。
【００１９】
図１の本実施例のサムネイル画像作成機能付きビデオ再生装置１は、駆動装置１１、バッファ１２、デコーダ１４、ビデオ表示信号制御手段１５、サムネイル表示制御手段１７、表示デバイス１８、選択手段１９、字幕表示信号制御手段２０、サムネイル画像生成手段２１、文字データ埋め込み手段２２、文字データ取得手段２３、フレームメモリ２４、サムネイル画像用メモリ２５、画像表示制御手段２６、及びＪＰＥＧデコーダ２７より構成されている。
【００２０】
駆動装置１１は、ビデオファイルやデータファイルを記憶出来る情報記憶媒体であるディスク１０を回転駆動し、前記ディスク１０に対して情報の読み書きを実行する。
バッファ１２は、前記駆動装置１１を介して前記ディスク１０より読み出したビデオデータを貯めておく。
デコーダ１４は、前記読み出したビデオデータの復号動作を行う。
【００２１】
ビデオ表示信号制御手段１５は、前記デコーダ１４を制御し、ビデオ画像イメージデータをフレームメモリ２４へ出力する。
字幕表示信号制御手段２０は、前記デコーダ１４を制御し、字幕画像イメージデータをフレームメモリ２４へ出力する。
【００２２】
前記フレームメモリ２４は、前記デコーダ１４から出力されたビデオ画像イメージデータ及び字幕画像イメージデータを格納する。
サムネイル画像生成手段２１は、選択手段１９を用いて表示デバイス１８より指定された箇所に対して、前記フレームメモリ２４からビデオ画像イメージデータを取得し、このビデオ画像イメージデータを変換して、サムネイル画像を生成する。
【００２３】
サムネイル画像用メモリ２５は、その変換して生成したサムネイル画像を保存する。
文字データ取得手段２３は、選択手段１９を用いて表示デバイス１８より指定された箇所に対してデコーダ１４を制御し、デコードされたその箇所の字幕データの中より文字データを取得する。
【００２４】
文字データ埋め込み手段２２は、サムネイル用画像メモリ２５に保存したサムネイル画像の中に前記文字データ取得手段２３により取得した文字データを埋め込む。
前記サムネイル用画像メモリ２５の中の文字データを埋め込んだサムネイル画像は、バッファ１２及び駆動装置１１を介して記録媒体１０の図示せぬ補助情報記録領域に記録される。
【００２５】
画像表示制御手段２６は、フレームメモリ２４に格納されている画像イメージデータを表示デバイス１８に表示する。
サムネイル表示制御手段１７は、サムネイル画像用メモリ２５に保存されている文字データが添付されたサムネイル画像を表示デバイス１８に表示する。
【００２６】
表示デバイス１８は、前記フレームメモリ２４の出力及びサムネイル画像用メモリ２５の出力とを１つの画面上に表示する。
選択手段１９により、前記表示デバイス１８の表示画面を見てユーザーが所定の箇所を選択する。図１０に示すような、文字データ表示付きのサムネイル表示画面が得られる。
【００２７】
次に、図１に示されたサムネイル画像作成機能付きビデオ再生装置１におけるサムネイル画像の作成方法について説明する。
まず、本実施例で使用するデータのフォーマットに関して説明する。ビデオデータはＭＰＥＧ方式によって圧縮されているものとする。
【００２８】
ＭＰＥＧ２方式の場合は、シーケンス層、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）層、ピクチャ層、スライス層、マクロブロック（ＭＢ）層、及びブロック層の６階層に分けられている。
このうち、ＧＯＰ層には、フレーム間予測を使わずにその情報だけから符号化されたＩピクチャ、Ｉピクチャ又はＰピクチャからの予測を行うことで生成されるＰピクチャ、双方向の予測によって生成されるＢピクチャの３種類の画像データが含まれる。
【００２９】
ここで、シーケンス層は図２に示すように、前述したＩピクチャから始まり、Ｐピクチャ、Ｂピクチャを含む画像データをひとつのグループとしたＧＯＰと、ＧＯＰの先頭に付加されるＳＨ（ＳｅｑｕｅｎｃｅＨｅａｄｅｒ）とより構成される。
【００３０】
ＧＯＰには各ピクチャーデータの前位置にＧＯＰＨ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅＨｅａｄｅｒ）が設けられている。
ＧＯＰＨには、ＧＯＰの開始同期コードであるＧＳＣ（ＧｒｏｕｐＳｔａｒｔＣｏｄｅ）が付され、続いてシーケンスの先頭からの時間を示すコードであるＴＣ（ＴｉｍｅＣｏｄｅ）、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグのＣＧ（ＣｌｏｓｅｄＧＯＰ）、及び編集等のためにＧＯＰ内の最初のＢピクチャが正確に再生出来ないことを示すフラグのＢＬ（ＢｒｏｋｅｎＬｉｎｋ）が付加されている。
【００３１】
また、生成されるサムネイル画像のフォーマットは一般にＪＰＥＧファイル交換フォーマット（ＪＦＩＦ）と呼ばれるフォーマットを使用する。その仕様はＪＰＥＧＤｒａｆｔＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ（ＩＳＯ１０９１８−１）に従っている。
【００３２】
すなわち、図３に示すようにＪＰＥＧデータは、ＳＯＩ（ＳｔａｒｔＯｆＩｍａｇｅ）マーカーで始まり、その次に複数のマーカーが入るフレームマーカー、そして最後はＥＯＩ（ＥｎｄＯｆＩｍａｇｅ）マーカーで終わる。
【００３３】
フレームマーカー内には、ＪＰＥＧファイル交換フォーマットを示すＡＰＰマーカーや、コメントを入れるコメント（ＣＯＭ）マーカーなどの各種セグメントを入れることが出来、またさらに画像圧縮したデータが格納されるマーカーなど複数のセグメントが実際に格納される。
さらに、字幕情報は、ＥＩＡ−７０８で規定されたフォーマットに従って記録されている。
【００３４】
次に、ＭＰＥＧ２方式のトランスポートストリーム（ＴＳ）の構成を図４に示す。
トランスポートストリーム（ＴＳ）はＴＳパケットの集まりから成り、各ＴＳパケットはＴＳパケットの情報を示すＴＳヘッダ（ＴＳｈｅａｄｅｒ）とデータを格納するＴＳペイロード（ＴＳｐａｙｌｏａｄ）とからなる。
ＴＳペイロードのデータを集めてＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）と呼ばれるエレメンタリストリームを構成する。ＴＳペイロードの部分には、ＰＥＳｈｅａｄｅｒとＰＥＳＰａｃｋｅｔＤａｔａのデータが分割されて格納される。
【００３５】
ＰＥＳはその属性などを格納するＰＥＳヘッダ及びデータを格納するＰＥＳパケットデータから構成される。
ＰＥＳヘッダはそのデータの再生時刻を示すＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）やそのデコード時刻を示すＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）及びその他のデータが格納されている。
【００３６】
次に、ディスク１０に格納された動画像からユーザーが指定した場所の動画像を抽出し、サムネイル画像及び補助文字情報を作成する手順について、図５と共に説明する。
【００３７】
まず、ユーザーは選択手段１９によりサムネイル画像を生成すべき場所（フレーム）を指定する（ステップ（Ｓ）１０１）。
【００３８】
次に、ユーザーが選択手段１９により指定したその指定フレームの場所の情報は駆動装置１１に供給され、駆動装置１１はそのフレームに対応するディスク（記録媒体）１０の読み出すべき場所を決定する（ステップ１０２）。
【００３９】
次に、駆動装置１１を通してディスク１０に記録された符号化された動画像のうち、ステップ１０２で指定された場所（フレーム）に記録されているＭＰＥＧ２による動画像データを取り出す（ステップ１０３）。
【００４０】
その後で取得した動画像データをデコーダ１４により前記指定フレームに対する画像を復号化する（ステップ１０４）。
【００４１】
サムネイル画像生成手段２１で、その復号化した画像に対し前記ＪＰＥＧＤｒａｆｔＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄに従ったＪＰＥＧファイル交換フォーマットで符号化（エンコード）して、その符号化した静止画像（サムネイル画像）を生成し、サムネイル画像用メモリ２５に保存する（ステップ１０５）。
【００４２】
次に、文字データ取得手段２３で、指定された場所（フレーム）の最も近傍にある字幕文字データから順に検索する（ステップ１０６）。
【００４３】
適当な字幕文字データが検索された後、ステップ１０６で検索された指定文字データ内に存在する文字データを、後述する方法により抽出（取得）する（ステップ１０７）。
【００４４】
文字データ埋め込み手段２２で、取得した文字データをステップ１０５で生成したサムネイル画像用メモリ２５の静止画像（サムネイル画像）に埋め込む（ステップ１０８）。
なお、ステップ１０６及びステップ１０８に関する処理内容について詳細は後述する。
【００４５】
最後に、サムネイル表示制御手段１７で、文字データを埋め込んだ（マージした）静止画像を、ＪＰＥＧデコーダ２７でデコードして表示デバイス１８の画面に表示する（ステップ１０９）。
以上がサムネイル画像に補助文字情報を埋め込む手順である。
ここでは、指定フレームの場所の情報を駆動装置１１に供給して、サムネイル画像を生成する場合について説明したが、これに限定されるものではなく、ユーザーが選択手段１９により画像表示デバイス１８の表示画面を見て指定した、その指定フレームの場所の情報をサムネイル画像生成手段２１に供給して、サムネイル画像を生成するようにしてもよい。
【００４６】
次に、前記ステップ１０６で示された、指定されたフレームの最も近傍にある文字データを検索する手段について説明する。
これはユーザーが指定した画像フレームを有するＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）と同じＰＴＳを有する字幕文字データを、もしも同じＰＴＳを有する字幕文字データが動画像情報に存在しない場合は、該当ＰＴＳに近い値を有する文字データを、該当ビデオフレームの後方にあるトランスポートパケットから探し出し取得する。
【００４７】
この字幕文字データを取得する手順について、図６と共に以下に説明する。
まず、作成しようとするサムネイル画像に対応するビデオフレームのＴＳパケットが指定される（ステップ２０１）。
【００４８】
指定されたビデオＴＳパケットに対するＰＴＳ情報を取得する（ステップ２０２）。
次に、該当ＴＳパケットより後方にあるＴＳパケットを検索する（ステップ２０３）。
【００４９】
検索されたＴＳパケットが字幕文字データのＴＳパケットかどうかチェックする（ステップ２０４）。
もしも字幕文字データのＴＳパケットでない場合（ステップ２０４でＮｏ）は、ステップ２０３へ戻る。
【００５０】
字幕文字データのＴＳパケットである場合（ステップ２０４でＹｅｓ）は、
そのＴＳパケット内にＰＥＳパケットヘッダが含まれているかチェックする（ステップ２０５）。
【００５１】
含まれていない場合（ステップ２０５でＮｏ）は、ステップ２０３へ戻る。
含まれている場合（ステップ２０５でＹｅｓ）はステップ２０６へ進む。
ＰＥＳヘッダを解析し、ＰＴＳを取得する（ステップ２０６）。
【００５２】
次に、ステップ２０２で取得されたＰＴＳとＴＳパケットとの時間差を求める（ステップ２０７）。
取得した時間差、及び前回チェックした時間差と今回の時間差との差の絶対値をチェックする（ステップ２０８）。
【００５３】
取得した時間差が１秒以上字幕の方が遅い場合、及び今回の時間差の方が前回の時間差よりも大きくなった場合（ステップ２０８でＹｅｓ）、ステップ２０９へ進む。
それ以外の場合（ステップ２０８でＮｏ）は、その時間差及び字幕のＴＳパケット位置を保存しておき、ステップ２０３へ戻る。
【００５４】
最後に、前回の時間差の字幕ＴＳパケットが字幕とビデオフレームの差が最も小さいことになるので、そのＰＴＳが含まれる字幕ＴＳパケットの字幕文字データを取得する（ステップ２０９）。
図７に、ＴＳのビデオパケットと字幕パケットの関係図を示す。
【００５５】
ＪＰＥＧファイル交換フォーマットのサムネイル画像ヘッダ部分の所定フレームマーカー部分に付加する字幕文字データの抽出方法に関して、字幕文字データが日本語の場合、以下の（ａ）乃至（ｇ）の夫々異なる抽出方法があげられる。
【００５６】
（ａ）取り出した字幕文字データの先頭から１０文字を切り出して、前記所定のフレームマーカー部分に付加する。
（ｂ）取り出した字幕文字データの先頭から、空白または句読点を除いた箇所から、次の空白または句読点がある箇所までの単語を切り出して、前記所定のフレームマーカー部分に付加する。
【００５７】
（ｃ）前記（ｂ）の手法によると先頭にある感嘆詞などを切り出してしまう可能性があり、この（ｂ）の手法を繰り返し用いることで、文字長が５文字以上となる先頭の文章から１０文字を取り出して、前記所定のフレームマーカー部分に付加する。
（ｄ）取り出した字幕文字データを日本語構文の解析を行って、最初の名詞を、前記所定のフレームマーカー部分に付加する。
【００５８】
（ｅ）前記（ｄ）の手法において、先頭の名詞に引き続き名詞がつながっているときは、連続する名詞の終り（複合名詞）までを切り出して、前記所定のフレームマーカー部分に付加する。
【００５９】
（ｆ）前記（ｄ）の手法において、切り出した名詞または複合名詞の次に助詞がある場合、その助詞までを切り出して、前記所定のフレームマーカー部分に付加する。
（ｇ）取り出した字幕文字データを日本語構文の解析を行って、先頭の名詞から始まる１０文字を切り出して、前記所定のフレームマーカー部分に付加する。
【００６０】
次に、図５のステップ１０８で既に説明した、取得した字幕文字データをサムネイル画像に埋め込む文字データ埋め込み手段２２について説明する。
獲得した字幕文字データを、生成したＪＰＥＧファイル交換フォーマットのサムネイル画像ヘッダ部分のフレームマーカー部分に、ＣＯＭマーカー形式
（「０ｘＦＦ，０ｘＦＥ」＋「セグメントの長さ（２バイト）」＋「副情報識別子（４バイト）」＋「取得した字幕文字データ」）で埋め込む。
【００６１】
なお、「０ｘＦＦ，０ｘＦＥ」は、コメントマーカーを示すマーカー識別子である。「セグメントの長さ（２バイト）」は、「セグメントの長さ」が入っている箇所からこのセグメントの終りまでの長さ（バイト数）を示す。「副情報識別子（４バイト）」は、以降のデータが字幕文字データであることを示す識別子である。
【００６２】
ＣＯＭセグメントとはコメントマーカー（ＣＯＭマーカー）を意味し、コメントを記入するセグメント領域を示すものである。なお、記録する前に既にＣＯＭマーカーのデータが記録されていた場合は、そのＣＯＭマーカーに追加して上記文字コードが入ったＣＯＭマーカーを埋め込む。
【００６３】
次に、ディスク１０に記録されたＪＰＥＧファイル交換フォーマットのサムネイル画像を字幕文字データと共に画面に表示する手順について、図８のフローチャートと共に説明する。
まず、ＪＰＥＧファイル交換フォーマットでディスク１０の図示せぬ補助情報記録領域に記録されているサムネイル画像を、駆動装置（ドライブ）１１、バッファ１２、サムネイル画像用メモリ２５、及びＪＰＥＧデコーダ２７を介して取得し、表示デバイス１８の画面に表示する（ステップ３０１）。
【００６４】
次に、副情報（字幕文字データ）を表示するか、チェックする（ステップ３０２）。
これは予めデフォルトで設定してあるものを使用するか、ユーザーが任意に表示するか、表示しないかを事前に設定したものをチェックする。表示しない場合（ステップ３０２でＮｏ）はそれで終了となる。
【００６５】
ユーザーが副情報表示を選択していた場合（ステップ３０２でＹｅｓ）、画面上のポインティングデバイスがサムネイル画像上にあるか、またはユーザーがそのサムネイル画像を選択状態であるか、チェックする（ステップ３０３）。
【００６６】
選択状態でない、またはポインティングデバイスがサムネイル画像上にない場合（ステップ３０３でＮｏ）は、それで終了する。
ポインティングデバイスがサムネイル画像上にある場合（ステップ３０３でＹｅｓ）は、サムネイル画像データのヘッダ部分のＣＯＭマーカーを調べる（ステップ３０４）。
【００６７】
ＣＯＭマーカーが発見されなかったか、またはあってもＣＯＭマーカー内の続くデータに副映像識別子がない場合（ステップ３０４でＮｏ）は、それで終了する。
ＣＯＭマーカーが有り、なお且つ続くデータに副映像識別子がある場合（ステップ３０４でＹｅｓ）は、この装置が生成した字幕文字データが入っていることになる。
その場合はＣＯＭマーカーの後に続く（セグメント長−副映像識別子の長さ分の）字幕文字データを取得する（ステップ３０５）。
【００６８】
次に、取得した字幕文字データをＪＰＥＧデコーダ２７でデコードし、文字データイメージデータを取得する（ステップ３０６）。
最後に、取得した文字イメージデータを表示デバイス１８の表示画面に追加表示する（ステップ３０７）。
【００６９】
なお、他の装置でこの副情報をいれたサムネイル画像を表示した場合、ＣＯＭマーカーに補助文字データを記載しているため、他の装置ではＣＯＭセグメントの情報はコメントとして扱われるため、実際の動作上の振る舞いには影響しない。
【００７０】
また、ユーザーがこのサムネイル補助文字データを使用するか、しないかを、予め選択することで、この補助文字データの取得、設定を禁止することも可能である。
また、この装置はビデオ情報がＭＰＥＧフォーマットで圧縮されていない場合や、サムネイル画像のフォーマットがＪＰＥＧファイル交換フォーマットでない場合にも有効である。
【００７１】
また、この装置は、サムネイル画像に補助文字データを埋め込むので、従来装置のようにサムネイル画像と手書きの補助文字情報との対応関係を予め関連付けておく必要はない。
【００７２】
次に、本実施例に塔載されるサムネイル画像記録媒体（ディスク）の構成について、図９と共に説明する。
ディスク１０は、以下のような複数のファイル（Ｆａ〜Ｆｆ）を有する構成になる。
（ａ）ストリームファイル（Ｆａ）には、映像情報データ（例えば、ビデオ情報（Ｖ）、オーディオ情報（Ａ）、字幕情報（ＳＰ）が図７のようにマルチプレックスされたトランスポートストリーム）が格納される（ビデオ情報記録領域、字幕情報記録領域）。
【００７３】
（ｂ）サムネイル画像ファイル（Ｆｂ）には、副情報である字幕文字データが埋め込まれたサムネイル画像データ（例えば、ＪＰＥＧフォーマットのファイル）が格納される（補助情報記録領域）。
（ｃ）サムネイル属性ファイル（Ｆｃ）には、サムネイル画像に関連するマーク位置情報、サムネイルの大きさ等が入る。
【００７４】
（ｄ）ストリーム属性ファイル（Ｆｄ）には、ストリームファイルの属性、再生可能位置など、ストリームの属性情報が入る。
（ｅ）再生制御ファイル（Ｆｅ）には、ストリームやプレイリストの再生方法、再生順番などの情報が入る。
（ｆ）メディア情報ファイル（Ｆｆ）には、記録媒体全体の情報を管理する情報が入る。
【００７５】
副情報である字幕文字データが埋め込まれたサムネイル画像データそのものは、例えばビデオ情報とオーディオ情報、字幕情報がマルチプレクスされたトランスポートストリームが記録されている領域とは別の所定のサムネイル画像データ記録領域に記録される。
【００７６】
【発明の効果】
以上に説明したように、本発明のサムネイル画像作成機能付きビデオ再生装置によれば、ユーザーがサムネイル画像を表示選択する際に、その手助けとなる補助文字データを表示出来、所望箇所のサムネイル画像の選択がより簡単に出来る。
【００７７】
また、本発明によれば、ユーザーが補助文字情報の文字データを字幕文字情報から直接に取得出来るので、補助文字情報を、ユーザーが入力手段を使用して入力する負担をなくすことが出来る。
また、本発明によれば、この補助文字情報を参照することによりサムネイル画像の内容を確実に判別することが出来、サムネイル画像選択の間違いを減少させることが出来る。
【００７８】
また、本発明によれば、サムネイル画像に文字データを埋め込むので、従来のようにサムネイル画像と手書きの補助文字データとを予め関連付けておく工数が省ける。
【００７９】
また、本発明のサムネイル画像記録媒体によれば、記録媒体の補助情報記録領域にはサムネイル画像に対応付けて補助文字データが埋め込まれて記録されているので、その記録媒体の補助情報記録領域を再生して、サムネイル画像と共に補助文字データも参照して、所望の箇所のサムネイル画像を容易に見付け、そのサムネイル画像に対応したビデオ情報を即座に再生開始出来る。
【図面の簡単な説明】
【図１】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例を示すブロック構成図である。
【図２】ＭＰＥＧ２のシーケンスを説明した図である。
【図３】ＪＰＥＧのヘッダ構造を説明した図である。
【図４】ＭＰＥＧ２のトランスポートストリームの構成を説明した図である。
【図５】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するサムネイル画像に補助文字データを埋め込む手順を示したフローチャートである。
【図６】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用する文字データを取得する手順を示したフローチャートである。
【図７】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するビデオパケットと字幕パケットとの関係を模式的に示した図である。
【図８】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例で使用するサムネイル画像を文字データと共に画面に表示する手順を示したフローチャートである。
【図９】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例に塔載されるサムネイル画像記録媒体（ディスク）の構成について説明した図である。
【図１０】本発明のサムネイル画像作成機能付きビデオ再生装置の実施例の字幕文字データ表示付きサムネイル表示画面を示した図である。
【図１１】従来例のサムネイル画像作成機能付きビデオ再生装置のブロック構成図である。
【符号の説明】
１サムネイル画像作成機能付きビデオ再生装置
１０ディスク（記録媒体）
１１駆動装置（補助情報記録手段）
１２バッファ（補助情報記録手段）
１４デコーダ
１５ビデオ表示信号制御手段
１７サムネイル表示制御手段
１８表示デバイス
１９選択手段
２０字幕表示信号制御手段
２１サムネイル画像生成手段
２２文字データ埋め込み手段
２３文字データ取得手段
２４フレームメモリ
２５サムネイル画像用メモリ
２６画像表示制御手段
２７ＪＰＥＧデコーダ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video playback apparatus with a thumbnail image creation function and a thumbnail image recording medium, and in particular, selection of video information to be played back from a plurality of recording areas of a recording medium is easier by using thumbnail images representing each recording area. The present invention relates to a video playback apparatus with a thumbnail image creation function and a thumbnail image recording medium.
[0002]
[Prior art]
As is well known, in recent years, a moving image compatible disc playback device for playing back a disc such as a DVD in which data such as digital video, audio, and subtitles is recorded has been developed.
The compression formats of video and audio recorded on a disc mounted on the playback apparatus include MPEG2 (Moving Picture Image Coding Experts) video compression format for video and AC (Audio Compression) 3 audio compression format and MPEG for audio. An audio compression method is used.
[0003]
Further, a sub-picture data compression method defined by EIA-708 is used for subtitles such as movies and karaoke. These video, audio, and subtitle data are multiplexed in accordance with the MPEG2 system layer and recorded in the disc.
[0004]
A plurality of playback start positions, playback sections, and playback order can be defined for a disc on which a plurality of programs are recorded. The plurality of defined positions are set and recorded in the form of a program as data recorded on the disc.
This program can be defined by the movie creator and recorded as data on the disc, or the user who plays the disc can arbitrarily set it and record it on the disc.
[0005]
In this way, for a disc on which a large number of programs are recorded, the user can use the thumbnail image representing the program to display it on the display device in order to easily access and play the program. However, each program can be easily reproduced by selecting the still image (see, for example, Patent Document 1).
[0006]
[Patent Document 1]
JP 2002-150757 A (FIG. 6)
[0007]
A block configuration of a conventional video playback apparatus with a thumbnail image creation function will be described with reference to FIG.
This video reproduction apparatus 1A with thumbnail image creation function shown in FIG. 11 includes a drive unit 11, a buffer 12, a decoder 14, a video display signal control unit 15, a thumbnail display control unit 17A, a display device 18, a selection unit (character data generation unit). ) 19, subtitle display signal control means 20, thumbnail image generation means 21, frame memory 24, thumbnail image memory 25A, and image display control means 26.
[0008]
The driving device 11 rotates and drives a disk 10A, which is an information storage medium capable of storing video files and data files, and reads / writes information from / to the disk 10A.
The buffer 12 temporarily stores data read from the disk 10A via the driving device 11.
The decoder 14 performs a decoding operation on the read data.
The video display signal control means 15 controls the decoder 14 and outputs video image image data to the frame memory 24.
The caption display signal control means 20 controls the decoder 14 and outputs caption image image data to the frame memory 24.
[0009]
The frame memory 24 stores the video image image data and subtitle image image data output from the decoder 14.
The thumbnail image generation means 21 obtains video image image data from the frame memory 24 at a location designated by the display device 18 using the selection means 19, converts the video image image data, and converts the thumbnail image into a thumbnail image. Generate.
The thumbnail image memory 25A stores the thumbnail image generated by the conversion.
The image display control means 26 displays the image image data stored in the frame memory 24 on the display device 18.
[0010]
The thumbnail display control means 17A displays the thumbnail image stored in the thumbnail image memory 25A on the display device 18.
The display device 18 displays the output of the frame memory 24 and the output of the thumbnail image memory 25A on one screen.
[0011]
When creating auxiliary character information for a thumbnail image, the user uses the selection means 19 to select a desired thumbnail image from the thumbnail images displayed on the display means 18.
Auxiliary character information for the selected thumbnail image is generated as text by using the selection means (character data input means) 19.
The created auxiliary character information is stored in a text information storage memory (not shown) separate from the thumbnail image.
[0012]
In the case of a recordable recording medium, the text information stored in the text information storage memory (not shown) is written as text in a part of the thumbnail attribute information file corresponding to the selected thumbnail image data, and the thumbnail attribute information file Is stored in the recording medium 10A.
The selection means 19 allows the user to select a predetermined thumbnail image from the thumbnail images displayed on the display screen of the display device 18.
[0013]
[Problems to be solved by the invention]
By the way, in the video reproducing apparatus, since the storage capacity of the recording medium is large, a plurality of programs (chapter, bookmark or title) can be recorded.
For a recording medium on which a plurality of programs are recorded, the user selects the user by displaying a plurality of thumbnail images representing each of the plurality of programs on a display device in order to easily access the plurality of programs. The program can be easily accessed.
[0014]
However, the area of the screen is limited, and in order to display a plurality of thumbnail images, it is necessary to make each thumbnail image a small size to some extent. Therefore, it is difficult to understand the contents of the program represented by the thumbnail image, There was a problem that the thumbnail image of could not be selected correctly.
[0015]
In addition, a user can input character data as auxiliary information for assisting a thumbnail image. However, generally, a commercially available video playback apparatus is accompanied only with a panel button or a remote controller as character data input means (selection means). However, it is troublesome for the user to input auxiliary character data for the thumbnail image, and it takes time and effort.
[0016]
Therefore, the present invention has been made in view of the above problems, and a video playback device with a thumbnail image creation function capable of easily inputting auxiliary character data for a thumbnail image, and a thumbnail mounted on the device. An object is to provide an image recording medium.
[0017]
[Means for Solving the Problems]
To solve the above problem,
The invention described in claim 1
A recording medium having at least a video information recording area in which video information is recorded, a caption information recording area in which caption information associated with the video information is recorded, and an auxiliary information recording area in which a thumbnail image representing the video information is recorded From a video playback device with a thumbnail image creation function for playing back and displaying the thumbnail image,
Thumbnail image generating means 21 for converting the image of the designated portion from the video information for each area obtained by reproduction to generate each thumbnail image;
Character data acquisition means 23 for acquiring each character data from subtitle information obtained by reproducing the video information for each region;
Thumbnail image storage means 25 for sequentially storing the thumbnail images and storing the character data embedded in the thumbnail images;
Auxiliary information recording means 11, 12 for sequentially recording each thumbnail image in which each character data is embedded in the auxiliary information recording area;
Selecting means 19 for selecting a predetermined thumbnail image from the thumbnail images reproduced from the auxiliary information recording area;
Providing a video playback device with a thumbnail image creation function, wherein the thumbnail image is displayed together with character data selected from the subtitle information;
The invention described in claim 2
A thumbnail image having at least a video information recording area in which video information is recorded, a caption information recording area in which caption information associated with the video information is recorded, and an auxiliary information recording area in which a thumbnail image representing the video information is recorded In the recording medium,
In the thumbnail image recording area, character data selected from subtitle information recorded in association with video information corresponding to each area obtained by dividing the video information recording area into a plurality of areas is embedded in association with each thumbnail image. The present invention provides a thumbnail image recording medium characterized by being recorded in the above manner.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
The preferred embodiments of the present invention will be described below with reference to the drawings.
Note that the same reference numerals are assigned to the same components as those in the conventional example, and the description thereof is omitted.
<Example>
FIG. 1 is a block diagram showing an embodiment of a video playback apparatus with a thumbnail image creation function of the present invention.
FIG. 2 is a diagram illustrating an MPEG2 sequence.
FIG. 3 is a header structure diagram of JPEG.
FIG. 4 is a diagram illustrating the structure of an MPEG2 transport stream.
FIG. 5 is a flowchart showing a procedure for embedding auxiliary character data in a thumbnail image used in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 6 is a flowchart showing a procedure for obtaining character data used in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 7 is a diagram schematically showing the relationship between video packets and subtitle packets used in the embodiment of the video reproducing apparatus with thumbnail image creation function of the present invention.
FIG. 8 is a flowchart showing a procedure for displaying a thumbnail image used in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention on the screen together with character data.
FIG. 9 is a diagram illustrating the configuration of a recording medium (disc) mounted in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 10 is a diagram showing a thumbnail display screen with subtitle character display in the embodiment of the video playback apparatus with thumbnail image creation function of the present invention.
[0019]
1 includes a drive device 11, a buffer 12, a decoder 14, a video display signal control means 15, a thumbnail display control means 17, a display device 18, a selection means 19, and subtitles. The display signal control unit 20, thumbnail image generation unit 21, character data embedding unit 22, character data acquisition unit 23, frame memory 24, thumbnail image memory 25, image display control unit 26, and JPEG decoder 27 are included.
[0020]
The driving device 11 rotates and drives a disk 10 that is an information storage medium capable of storing a video file and a data file, and reads / writes information from / to the disk 10.
The buffer 12 stores video data read from the disk 10 via the driving device 11.
The decoder 14 performs a decoding operation on the read video data.
[0021]
The video display signal control means 15 controls the decoder 14 and outputs video image image data to the frame memory 24.
The caption display signal control means 20 controls the decoder 14 and outputs caption image image data to the frame memory 24.
[0022]
The frame memory 24 stores the video image image data and subtitle image image data output from the decoder 14.
The thumbnail image generation means 21 obtains video image image data from the frame memory 24 at a location designated by the display device 18 using the selection means 19, converts the video image image data, and converts the thumbnail image into a thumbnail image. Is generated.
[0023]
The thumbnail image memory 25 stores the thumbnail image generated by the conversion.
The character data acquisition means 23 controls the decoder 14 for the location designated by the display device 18 using the selection means 19, and obtains character data from the decoded caption data at that location.
[0024]
The character data embedding unit 22 embeds the character data acquired by the character data acquiring unit 23 in the thumbnail image stored in the thumbnail image memory 25.
The thumbnail image in which the character data in the thumbnail image memory 25 is embedded is recorded in an auxiliary information recording area (not shown) of the recording medium 10 via the buffer 12 and the driving device 11.
[0025]
The image display control means 26 displays the image image data stored in the frame memory 24 on the display device 18.
The thumbnail display control means 17 displays on the display device 18 a thumbnail image to which character data stored in the thumbnail image memory 25 is attached.
[0026]
The display device 18 displays the output of the frame memory 24 and the output of the thumbnail image memory 25 on one screen.
The user selects a predetermined location by viewing the display screen of the display device 18 by the selection means 19. A thumbnail display screen with character data display as shown in FIG. 10 is obtained.
[0027]
Next, a method for creating a thumbnail image in the video playback apparatus 1 with a thumbnail image creation function shown in FIG. 1 will be described.
First, the format of data used in this embodiment will be described. It is assumed that the video data is compressed by the MPEG system.
[0028]
In the case of the MPEG2 system, it is divided into six layers of a sequence layer, a GOP (Group Of Picture) layer, a picture layer, a slice layer, a macroblock (MB) layer, and a block layer.
Among these, the GOP layer is generated by bi-prediction, a P picture generated by performing prediction from an I picture, I picture, or P picture encoded only from the information without using inter-frame prediction. Three types of image data of the B picture to be processed are included.
[0029]
Here, as shown in FIG. 2, the sequence layer starts with the above-mentioned I picture, and includes a GOP in which image data including a P picture and a B picture is grouped, and SH (Sequence Header) added to the head of the GOP. It is composed of.
[0030]
In the GOP, a GOPH (Group Of Picture Header) is provided in front of each picture data.
A GOP (Group Start Code), which is a GOP start synchronization code, is attached to GOPH, followed by a TC (Time Code), which is a code indicating the time from the beginning of the sequence, and images in the GOP are independent of other GOPs. A flag CG (Closed GOP) indicating that playback is possible and a flag BL (Broken Link) indicating that the first B picture in the GOP cannot be played back correctly for editing or the like are added.
[0031]
Also, the format of the thumbnail image to be generated generally uses a format called JPEG file exchange format (JFIF). The specification is in accordance with JPEG Draft International Standard (ISO 10918-1).
[0032]
That is, as shown in FIG. 3, JPEG data starts with an SOI (Start Of Image) marker, followed by a frame marker containing a plurality of markers, and finally ends with an EOI (End Of Image) marker.
[0033]
In the frame marker, various segments such as an APP marker indicating the JPEG file exchange format and a comment (COM) marker for adding a comment can be placed. Further, a plurality of segments such as a marker for storing image compressed data are included. Actually stored.
Further, the caption information is recorded in accordance with a format defined by EIA-708.
[0034]
Next, FIG. 4 shows the structure of a transport stream (TS) of the MPEG2 system.
The transport stream (TS) is composed of a collection of TS packets, and each TS packet is composed of a TS header (TSheader) indicating information of the TS packet and a TS payload (TSpayload) for storing data.
The TS payload data is collected to form an elementary stream called PES (Packetized Elementary Stream). In the portion of the TS payload, the data of PHEheader and PES Packet Data are divided and stored.
[0035]
The PES is composed of a PES header that stores its attributes and the like, and a PES packet data that stores data.
The PES header stores a PTS (Presentation Time Stamp) indicating the reproduction time of the data, a DTS (Decoding Time Stamp) indicating the decoding time, and other data.
[0036]
Next, a procedure for extracting a moving image at a location designated by the user from moving images stored on the disk 10 and creating a thumbnail image and auxiliary character information will be described with reference to FIG.
[0037]
First, the user designates a place (frame) where a thumbnail image is to be generated by the selection means 19 (step (S) 101).
[0038]
Next, information on the location of the designated frame designated by the user by the selection means 19 is supplied to the drive device 11, and the drive device 11 determines the location where the disk (recording medium) 10 corresponding to the frame is to be read (step). 102).
[0039]
Next, out of the encoded moving images recorded on the disk 10 through the driving device 11, moving image data according to MPEG2 recorded at the location (frame) specified in step 102 is taken out (step 103).
[0040]
Thereafter, the moving image data acquired is decoded by the decoder 14 into an image corresponding to the designated frame (step 104).
[0041]
The thumbnail image generation means 21 encodes (encodes) the decoded image in a JPEG file exchange format according to the JPEG Draft International Standard, and generates the encoded still image (thumbnail image). The image is stored in the image memory 25 (step 105).
[0042]
Next, the character data acquisition means 23 searches in order from the subtitle character data nearest to the designated place (frame) (step 106).
[0043]
After appropriate subtitle character data is retrieved, character data existing in the designated character data retrieved in step 106 is extracted (acquired) by a method described later (step 107).
[0044]
The character data embedding unit 22 embeds the acquired character data in the still image (thumbnail image) in the thumbnail image memory 25 generated in step 105 (step 108).
Details of the processing contents relating to step 106 and step 108 will be described later.
[0045]
Finally, the thumbnail display control means 17 decodes the still image embedded (merged) with the character data by the JPEG decoder 27 and displays it on the screen of the display device 18 (step 109).
The above is the procedure for embedding auxiliary character information in the thumbnail image.
Here, a case has been described in which the location information of the designated frame is supplied to the driving device 11 to generate a thumbnail image. However, the present invention is not limited to this, and the user can display the image display device 18 using the selection unit 19. Information on the location of the designated frame designated by looking at the screen may be supplied to the thumbnail image generating means 21 to generate a thumbnail image.
[0046]
Next, the means for searching for the character data closest to the designated frame shown in step 106 will be described.
This is a subtitle character data having the same PTS as a PTS (Presentation Time Stamp) having an image frame specified by the user. If subtitle character data having the same PTS is not present in the moving image information, a value close to the corresponding PTS is set. The character data it has are searched and acquired from the transport packet at the back of the video frame.
[0047]
A procedure for acquiring the caption character data will be described below with reference to FIG.
First, a TS packet of a video frame corresponding to a thumbnail image to be created is designated (step 201).
[0048]
PTS information for the designated video TS packet is acquired (step 202).
Next, a TS packet located behind the corresponding TS packet is searched (step 203).
[0049]
It is checked whether or not the retrieved TS packet is a TS packet of subtitle character data (step 204).
If it is not a TS packet of subtitle character data (No in step 204), the process returns to step 203.
[0050]
If it is a TS packet of subtitle character data (Yes in step 204),
It is checked whether a PES packet header is included in the TS packet (step 205).
[0051]
If not included (No in step 205), the process returns to step 203.
If it is included (Yes in step 205), the process proceeds to step 206.
The PES header is analyzed to obtain the PTS (Step 206).
[0052]
Next, the time difference between the PTS acquired in step 202 and the TS packet is obtained (step 207).
The acquired time difference and the absolute value of the difference between the previously checked time difference and the current time difference are checked (step 208).
[0053]
If the acquired time difference is slower for subtitles of 1 second or longer, and if the current time difference is greater than the previous time difference (Yes in step 208), the process proceeds to step 209.
In other cases (No in step 208), the time difference and the TS packet position of the caption are stored, and the process returns to step 203.
[0054]
Finally, since the subtitle TS packet of the previous time difference has the smallest difference between the subtitle and the video frame, the subtitle character data of the subtitle TS packet including the PTS is acquired (step 209).
FIG. 7 shows a relationship diagram between TS video packets and caption packets.
[0055]
Regarding the extraction method of subtitle character data to be added to the predetermined frame marker portion of the thumbnail image header portion of the JPEG file exchange format, when the subtitle character data is Japanese, the following extraction methods (a) to (g) are different. It is done.
[0056]
(A) Cut out 10 characters from the head of the extracted subtitle character data and add them to the predetermined frame marker portion.
(B) From the beginning of the extracted subtitle character data, a word from a place excluding a blank or punctuation mark to a place where the next blank or punctuation mark exists is cut out and added to the predetermined frame marker portion.
[0057]
(C) According to the method (b), there is a possibility that an exclamation at the beginning may be cut out. By repeatedly using the method (b), from the first sentence having a character length of 5 characters or more, Ten characters are extracted and added to the predetermined frame marker portion.
(D) The extracted subtitle character data is analyzed in Japanese syntax, and the first noun is added to the predetermined frame marker portion.
[0058]
(E) In the method of (d), when a noun continues to the first noun, the end of the continuous noun (compound noun) is cut out and added to the predetermined frame marker portion.
[0059]
(F) In the method of (d), when there is a particle next to the extracted noun or compound noun, the particle is cut out and added to the predetermined frame marker portion.
(G) The extracted subtitle character data is analyzed in Japanese syntax, and 10 characters starting from the first noun are cut out and added to the predetermined frame marker portion.
[0060]
Next, the character data embedding means 22 for embedding the acquired subtitle character data already described in step 108 of FIG. 5 in the thumbnail image will be described.
The acquired subtitle character data is displayed in the COM marker format in the frame marker portion of the thumbnail image header portion of the generated JPEG file exchange format.
(“0xFF, 0xFE” + “segment length (2 bytes)” + “sub information identifier (4 bytes)” + “acquired subtitle character data”).
[0061]
“0xFF, 0xFE” is a marker identifier indicating a comment marker. “Segment length (2 bytes)” indicates the length (number of bytes) from the location containing “segment length” to the end of this segment. The “sub information identifier (4 bytes)” is an identifier indicating that the subsequent data is subtitle character data.
[0062]
The COM segment means a comment marker (COM marker) and indicates a segment area in which a comment is written. If COM marker data has already been recorded before recording, the COM marker including the character code is embedded in addition to the COM marker.
[0063]
Next, a procedure for displaying the thumbnail image of the JPEG file exchange format recorded on the disc 10 together with the subtitle character data will be described with reference to the flowchart of FIG.
First, a thumbnail image recorded in an auxiliary information recording area (not shown) of the disk 10 in the JPEG file exchange format is acquired via the drive device 11, the buffer 12, the thumbnail image memory 25, and the JPEG decoder 27. Then, it is displayed on the screen of the display device 18 (step 301).
[0064]
Next, it is checked whether sub information (caption character data) is displayed (step 302).
This is checked by using in advance whether the default is set, or whether the user arbitrarily displays or does not display. If it is not displayed (No in step 302), it ends.
[0065]
If the user has selected the sub information display (Yes in step 302), it is checked whether the pointing device on the screen is on the thumbnail image or whether the user is in the selected state (step 303). .
[0066]
If it is not in the selected state or if the pointing device is not on the thumbnail image (No in step 303), the process ends there.
If the pointing device is on the thumbnail image (Yes in step 303), the COM marker in the header portion of the thumbnail image data is examined (step 304).
[0067]
If no COM marker is found or if there is no sub-picture identifier in the subsequent data in the COM marker (No in step 304), the process ends.
If there is a COM marker and there is a sub-picture identifier in the following data (Yes in step 304), subtitle character data generated by this apparatus is included.
In that case, subtitle character data (for the length of the segment length-sub-picture identifier) following the COM marker is acquired (step 305).
[0068]
Next, the obtained subtitle character data is decoded by the JPEG decoder 27 to obtain character data image data (step 306).
Finally, the acquired character image data is additionally displayed on the display screen of the display device 18 (step 307).
[0069]
When a thumbnail image containing this sub information is displayed on another device, the auxiliary character data is described in the COM marker, so the information on the COM segment is handled as a comment on the other device, so that the actual operation is performed. The above behavior is not affected.
[0070]
It is also possible to prohibit the acquisition and setting of the auxiliary character data by selecting in advance whether or not the thumbnail auxiliary character data is used by the user.
This apparatus is also effective when the video information is not compressed in the MPEG format or when the thumbnail image format is not the JPEG file exchange format.
[0071]
Further, since this apparatus embeds auxiliary character data in a thumbnail image, it is not necessary to associate the correspondence between the thumbnail image and handwritten auxiliary character information in advance as in the conventional apparatus.
[0072]
Next, the configuration of the thumbnail image recording medium (disc) mounted in this embodiment will be described with reference to FIG.
The disk 10 is configured to have a plurality of files (Fa to Ff) as follows.
(A) The stream file (Fa) stores video information data (for example, a transport stream in which video information (V), audio information (A), and caption information (SP) are multiplexed as shown in FIG. 7). (Video information recording area, subtitle information recording area).
[0073]
(B) In the thumbnail image file (Fb), thumbnail image data (for example, a file in JPEG format) in which subtitle character data as sub information is embedded is stored (auxiliary information recording area).
(C) The thumbnail attribute file (Fc) contains mark position information related to the thumbnail image, the size of the thumbnail, and the like.
[0074]
(D) Stream attribute file (Fd) contains stream attribute information such as stream file attributes and playable positions.
(E) The reproduction control file (Fe) contains information such as the reproduction method and reproduction order of streams and playlists.
(F) The media information file (Ff) contains information for managing information on the entire recording medium.
[0075]
The thumbnail image data itself in which subtitle character data as sub-information is embedded is, for example, predetermined thumbnail image data recording different from an area where a transport stream in which video information, audio information, and subtitle information are multiplexed is recorded. Recorded in the area.
[0076]
【The invention's effect】
As described above, according to the video playback device with a thumbnail image creation function of the present invention, when the user selects to display a thumbnail image, auxiliary character data can be displayed to assist, and the thumbnail image at a desired location can be displayed. The selection is easier.
[0077]
Further, according to the present invention, since the user can directly obtain the character data of the auxiliary character information from the subtitle character information, it is possible to eliminate the burden of the user inputting the auxiliary character information using the input means.
Further, according to the present invention, it is possible to reliably determine the contents of the thumbnail image by referring to the auxiliary character information, and it is possible to reduce the mistake in selecting the thumbnail image.
[0078]
Further, according to the present invention, since the character data is embedded in the thumbnail image, it is possible to save the man-hour for associating the thumbnail image and the handwritten auxiliary character data in advance as in the prior art.
[0079]
Further, according to the thumbnail image recording medium of the present invention, since the auxiliary character data is embedded and recorded in the auxiliary information recording area of the recording medium in association with the thumbnail image, the auxiliary information recording area of the recording medium is recorded. By reproducing and referring to the auxiliary character data together with the thumbnail image, it is possible to easily find the thumbnail image at a desired location and immediately start reproducing the video information corresponding to the thumbnail image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a video playback apparatus with a thumbnail image creation function according to the present invention.
FIG. 2 is a diagram illustrating an MPEG2 sequence.
FIG. 3 is a diagram illustrating a JPEG header structure.
FIG. 4 is a diagram for explaining the configuration of an MPEG2 transport stream.
FIG. 5 is a flowchart showing a procedure for embedding auxiliary character data in a thumbnail image used in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 6 is a flowchart showing a procedure for obtaining character data used in the embodiment of the video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 7 is a diagram schematically showing a relationship between a video packet and a caption packet used in an embodiment of a video reproducing apparatus with a thumbnail image creation function of the present invention.
FIG. 8 is a flowchart showing a procedure for displaying a thumbnail image used in the embodiment of the video reproducing apparatus with a thumbnail image creating function of the present invention on a screen together with character data.
FIG. 9 is a diagram illustrating a configuration of a thumbnail image recording medium (disc) mounted in an embodiment of a video playback device with a thumbnail image creation function of the present invention.
FIG. 10 is a diagram showing a thumbnail display screen with subtitle character data display of an embodiment of a video playback apparatus with a thumbnail image creation function of the present invention.
FIG. 11 is a block diagram of a conventional video playback apparatus with a thumbnail image creation function.
[Explanation of symbols]
1 Video playback device with thumbnail image creation function
10 discs (recording media)
11 Drive device (auxiliary information recording means)
12 Buffer (Auxiliary information recording means)
14 Decoder
15 Video display signal control means
17 Thumbnail display control means
18 Display devices
19 Selection means
20 Subtitle display signal control means
21 Thumbnail image generation means
22 Character data embedding means
23 Character data acquisition means
24 frame memory
25 Thumbnail image memory
26 Image display control means
27 JPEG decoder

Claims

A recording medium having at least a video information recording area in which video information is recorded, a caption information recording area in which caption information associated with the video information is recorded, and an auxiliary information recording area in which a thumbnail image representing the video information is recorded From a video playback device with a thumbnail image creation function for playing back and displaying the thumbnail image,
Thumbnail image generating means for converting the image of the designated place from the video information for each area obtained by reproduction and generating each thumbnail image;
Character data acquisition means for acquiring each character data from subtitle information obtained by reproduction accompanying the video information for each area;
Thumbnail image storage means for sequentially storing the thumbnail images and storing the character data embedded in the thumbnail images;
Auxiliary information recording means for sequentially recording each thumbnail image in which each character data is embedded in the auxiliary information recording area;
Selecting means for selecting a predetermined thumbnail image from the thumbnail images reproduced from the auxiliary information recording area;
A video playback apparatus with a thumbnail image creation function, wherein the thumbnail image is displayed together with character data selected from the caption information.

A thumbnail image having at least a video information recording area in which video information is recorded, a caption information recording area in which caption information associated with the video information is recorded, and an auxiliary information recording area in which a thumbnail image representing the video information is recorded In the recording medium,
In the thumbnail image recording area, character data selected from subtitle information recorded in association with video information corresponding to each area obtained by dividing the video information recording area into a plurality of areas is embedded in association with each thumbnail image. A thumbnail image recording medium characterized by being recorded.