JP2009124298A - 符号化映像再生装置及び符号化映像再生方法 - Google Patents

Abstract

【課題】視聴したい映像シーンを迅速、簡単、且つ確実に検索し、再生することができる符号化映像再生装置及び符号化映像再生方法を提供する。
【解決手段】符号化映像再生装置１００は、映像信号の物理変化量から、複数の階層の映像区間であるセグメント及びショットを検出し、各階層の各映像区間を代表する特徴情報を抽出する特徴シーン抽出部１３５と、各階層の各映像区間であるセグメント及びショットを代表するサムネイル画像を含む、映像検索メニューを生成するＯＳＤ生成部１３７と、操作入力部１１０で映像検索メニューの中のサムネイル画像の一つを選択することによって、選択されたサムネイル画像に関連付けられた映像シーンから再生を開始させるシステム制御部１２０とを有しており、必要に応じて、不要シーン特定部１３６が特定する不要シーンを除いた映像区間について、映像検索メニューを生成する。
【選択図】図１

Description

本発明は、ストリーム情報ファイルから視聴したい映像シーンを検索し、再生することができる符号化映像再生装置及び符号化映像再生方法に関するものである。

ハードディスクレコーダ又は光ディスクレコーダのような符号化映像記録再生装置においては、早送り再生や巻戻し再生などの特殊再生によって、視聴したい映像シーンを見つけることができる。例えば、ユーザーは、番組を早送り再生し、視聴したい映像シーンが表示されたと判断したときに、操作入力部を手動操作して、通常再生に移行させる。しかし、ユーザーが早送り再生中の視聴したい映像シーンを確認してから通常再生の手動操作を行うまでの間に、映像が時間的に進んでしまうので、ユーザーは、進み過ぎた時間だけ巻戻すための追加の操作を行う必要があった。この追加の操作を無くするために、早送り再生中に通常再生の手動操作が行われた場合には、早送り再生の速度に応じたオフセット分だけ、通常再生の手動操作の時点よりも時間的に過去の映像から、通常再生を開始させる提案がある（例えば、特許文献１参照）。

また、記録された番組中に散在する複数の映像シーンを、複数のサムネイル画像（縮小画像）として表示装置の画面に一覧表示させ、ユーザーが視聴したい映像シーンを複数のサムネイル画像の中から選択することで、選択されたサムネイル画像に対応する映像位置から通常再生を開始させる方法も提案されている（例えば、特許文献２参照）。

さらに、操作入力部で所定の操作がなされた場合に、再生画像に重ねて、再生画像に時間的に近い複数枚のサムネイル画像を表示する方法も提案されている（例えば、特許文献３参照）。

特開２００５−２９３６８０号公報（第４−６頁、図５） 特開平１０−１４５７４３号公報（第４−５頁、図９） 特開２００５−８００２７号公報（第３−５頁、図４）

しかしながら、特許文献１の映像検索方法においては、ユーザーは、早送り再生又は巻戻し再生を行いながら視聴したい映像シーンを見つける必要があるので、例えば、番組後半にある映像シーンを、早送り再生を用いて検索する場合に、多くの時間を要するという問題がある。また、早送り再生の速度を上げた場合には、早送り再生中における単位時間あたりの表示可能枚数は一定（早送り再生速度とは無関係）であるため、表示される映像シーンの時間間隔が広くなり、視聴したい映像シーンが表示されず、見つけることができない場合が増える。また、表示される映像シーンの時間間隔が広がることによって、映像内容の連続性を把握し難くなるので、ユーザーは、視聴したい映像シーンを探すことが困難になる。

特許文献２の映像検索方法においては、多数のサムネイル画像を画面に一覧表示するが、縦横方向に並ぶ多数のサムネイル画像から視聴したい映像シーンを探す作業は、ユーザーに、視線の移動及び多数のサムネイル画像についての判断を強要するので、ユーザーの負担は大きく、また、視聴したい映像シーンを見落とす可能性が増大するという問題がある。

また、特許文献２の映像検索方法においては、所定の時間間隔で取得した映像シーンのサムネイル画像を表示している。このため、所定の時間間隔を長く設定すれば、視聴したい映像シーンが表示されない可能性が増大し、所定の時間間隔を短く設定すれば、ユーザーは、多数のサムネイル画像から視聴したい映像シーンを見つけなければならず、検索時間が長くなり、ユーザーの負担も増大するという問題がある。また、特許文献２におけるサムネイル画像の映像シーンは、番組内容に関係しない（一定時間ごとの）映像シーンであるので、サムネイル画像を選択した後に、視聴したい映像シーンから再生を開始させるためのユーザーによる手動操作が必要になる。

特許文献３の映像検索方法においては、特許文献１の場合と同様に、始めにユーザーが早送り再生などの手動操作によって、おおよその再生開始位置（視聴したい映像シーンに時間的に近い位置）を見つけなければならないという問題がある。また、特許文献３の映像検索方法においては、おおよその再生開始位置を特定した後、再生開始位置の近傍の画像として、符号化圧縮単位（ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）である０．５秒単位でサムネイル画像を表示するので、符号化圧縮単位毎の多数のサムネイル画像を保持する必要があった。この場合、符号化映像再生装置には、膨大な情報量を処理できる非常に高い情報処理能力が要求され、回路規模及び画像制御アルゴリズムが複雑になるという問題がある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、視聴したい映像シーンを迅速、簡単、且つ確実に検索することができる符号化映像再生装置及び符号化映像再生方法を提供することにある。

本発明の符号化映像再生装置は、符号化圧縮された映像信号及び音声信号を多重化した動画像データの記録再生を行う記録再生手段と、前記映像信号の物理変化量から、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出する特徴シーン抽出手段と、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する検索画面生成手段と、ユーザーによる操作入力を受け付ける操作入力手段と、前記操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させる制御手段とを有することを特徴としている。

また、本発明の符号化映像再生方法は、記録再生手段によって記録された、符号化圧縮された映像信号及び音声信号を多重化した動画像データの前記映像信号の物理変化量から、特徴シーン抽出手段によって、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出するステップと、検索画面生成手段によって、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成するステップと、ユーザーによる操作入力を受け付ける操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させるステップとを有することを特徴としている。

本発明によれば、視聴したい映像シーンを迅速、簡単、且つ確実に検索し、視聴したい映像シーンから再生を開始させることができるという効果がある。

図１は、本発明の実施の形態に係る符号化映像再生装置１００（すなわち、本発明の実施の形態に係る符号化映像再生方法を実施する装置）を含むシステムの構成を概略的に示すブロック図である。図１に示されるシステムは、ストリーム情報ファイルを再生することができる符号化映像再生装置１００と、ユーザー指示を入力するリモコンなどの操作入力部１１０と、符号化映像再生装置１００から出力される映像信号に基づく映像を表示し及び音声信号に基づく音声を出力する液晶モニタなどの表示装置１４０とを有する。図１に示されるように、符号化映像再生装置１００は、この符号化映像再生装置１００全体を制御するシステム制御部１２０と、メモリ部１２１と、デコーダブロック１３０とを有する。デコーダブロック１３０は、デジタル放送信号などを受け取る放送受信部１３１と、ストリーム制御部１３２と、着脱可能な又は固定された情報記録媒体１３３ａを備えた記録再生ドライブ部１３３と、映像音声デコーダ部１３４と、バッファメモリ１３５ａ，１３５ｂを備えた特徴シーン抽出部１３５と、不要シーン特定部１３６と、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）生成部１３７と、加算回路１３８とを有する。デコーダブロック１３０は、映像音声ストリームの記録再生機能を持つ部分であり、システム制御部１２０からの指示にしたがって、ストリーム情報の記録再生を行う。なお、操作入力部１１０は、符号化映像再生装置１００の本体に備えたれた操作入力部であってもよい。また、表示装置１４０は、符号化映像再生装置１００の本体に備えられた表示部であってもよい。

符号化映像再生装置１００は、例えば、ハードディスクレコーダ又は光ディスクレコーダなどの映像記録再生装置である。また、符号化映像再生装置１００は、映像の記録再生機能を持つハードディスク内蔵型テレビ又はパーソナルコンピュータであってもよい。さらに、情報記録媒体１３３ａが着脱可能な場合には、符号化映像再生装置１００は、映像再生装置であってもよい。

符号化映像再生装置１００が記録するストリーム情報ファイルは、例えば、ＭＰＥＧ−２方式などで符号化圧縮された映像情報と、ＡＣ−３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）方式などで符号化圧縮された音声情報とを多重化した単一のマルチメディアファイルである。また、符号化映像再生装置１００における映像検索とは、ユーザーが特定シーンや特定人物が記録されている部分のみを視聴したい場合に、ストリーム情報ファイルから視聴したい映像シーンが記録されている位置を特定し、視聴したい映像シーンから再生を開始することである。

本実施の形態においては、記録再生ドライブ部１３３は、符号化圧縮された映像信号及び音声信号を多重化した動画像データの記録再生を行い、特徴シーン抽出部１３５は、映像信号の物理変化量から、複数の判断基準を用いて、複数の判断基準に対応する複数の階層の映像区間を検出し、各階層の各映像区間を代表する特徴情報を抽出する。また、ＯＳＤ生成部１３７は、特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する。本実施の形態においては、複数の判断基準は、第１の閾値αと、第１の閾値αより小さい第２の閾値βを含み、第１の閾値αに対応する階層の各映像区間は、セグメントであり、第２の閾値βに対応する階層の各映像区間は、セグメントに一致する区間又はセグメントを分割した区間であるショットである。また、映像検索メニューは、各セグメントを代表するサムネイル画像を複数含むセグメント画像情報領域と、各ショットを代表するサムネイル画像を複数含むショット画像情報領域とを含む（後述する図８の符号７０２，８０１）。ショット画像情報領域に含まれるサムネイル画像は、セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む。ユーザーが操作入力部１１０を用いて、映像検索メニューの中のサムネイル画像の一つを選択すると、システム制御部１２０からの指示にしたがって、記録再生ドライブ部１３３は、選択されたサムネイル画像に関連付けられた映像シーンから再生を開始する。なお、本実施の形態においては、複数のサムネイル画像から成る画像情報領域の階層数が２の場合を説明するが、この階層数は３以上であってもよい。

本実施の形態においては、不要シーン特定部１３６は、映像信号及び音声信号の両方の物理変化量から、不要シーンを特定し、ＯＳＤ生成部１３７は、不必要な映像シーン（不要シーン）を除いた映像区間について、映像検索メニューを生成することもできる。この処理は、映像検索に際して、ユーザーが番組内容を把握しやすくするために、意味的重要性が低い不要シーン（例えば、コマーシャル映像や、コマーシャルの前後に存在する映像重複シーン）を除いた区間を対象に、サムネイル画像メニューを生成する処理である。

一般に、番組内容の意味的な連続性は、映像の連続性に近似する。このため、本実施の形態においては、番組内容の意味的な連続性は、映像の連続性に等しいということを前提としている。映像の連続性とは、映像の物理量の連続性であり、映像の物理量の変化（物理変化量）が所定の閾値以下の場合には連続性があり、所定の閾値を超える場合には連続性が無いと判断することができる。本実施の形態においては、第２の閾値βを用いて、ある再生位置における映像の連続性が無いと判断された点を、シーンチェンジ（ショットの境界でもある。）と言い、あるシーンチェンジと次のシーンチェンジとの間の映像区間をショット（Ｓｈｏｔ）と言う。さらに、本実施の形態においては、第１の閾値α（α＞β）を用いて、あるショットとその次のショットとの間の映像の連続性が無いと判断された点をセグメントの境界（セグメントの境界は、シーンチェンジでもある。）と呼び、あるセグメントの境界と次のセグメントの境界との間の映像区間をセグメント（Ｓｅｇｍｅｎｔ）と定義する。本実施の形態においては、映像検索をする場合には、まずセグメントを検出し、セグメント単位による映像シーンの検索を行い、次に、検索された映像シーンのセグメント内をショット単位で検索する。

既に概略を説明したように、映像の連続性は、映像の物理変化量（例えば、カラーヒストグラム、ＤＣ成分、動きベクトル、エッジ情報、テクスチャ情報など）と、所定の閾値から求めることができる。例えば、セグメントの境界の判断に際しては、物理変化量が所定の第１の閾値αより大きい場合に、セグメントの境界であると判断する。また、シーンチェンジ（ショットの境界）の判断に際しては、物理変化量が、所定の第２の閾値β（β＜α）より大きい場合に、シーンチェンジであると判断する。番組内容の意味的な連続性は、映像の連続性に近似するので、セグメントは、映像シーンの意味的（内容的）な連続性が確保されている大きな単位の映像区間であり、ショットは、映像シーンの意味的（内容的）な連続性が確保されている小さな単位の映像区間である。

図１に示される、記録再生ドライブ部１３３は、情報記録媒体１３３ａからの情報の読出し及び情報記録媒体１３３ａへの情報の書込みができる情報記録再生手段である。本実施の形態においては、記録再生ドライブ部１３３は、情報記録媒体１３３ａであるハードディスクを内蔵した、ハードディスクドライブである。なお、記録再生ドライブ部１３３は、光ディスクドライブ又やＳＤメディアドライブ（フラッシュメモリドライブ）などのような他の情報記録媒体を用いた情報記録再生手段であってもよい。

記録再生ドライブ部１３３には、符号化映像が多重化されたストリーム情報、ストリーム情報の再生制御情報、メタデータ制御ファイル、及びサムネイル画像ファイルが記録される。ストリーム情報の再生制御情報には、記録再生ドライブ部１３３に記録されているストリーム情報から分離した符号化映像音声ストリームに関する映像や音声の属性情報と、ストリーム情報のアクセス単位（通常、ＧＯＰ単位）毎に再生開始時間情報及び再生開始位置情報の対応関係を示す情報などが含まれる。なお、再生開始時間情報及び再生開始位置情報は、タイムサーチや特殊再生（早送り再生や巻き戻し再生）などのランダムアクセスを行うために用いられる。

サムネイル画像ファイルは、主にサムネイル画像メニューを生成するために使用される、ある映像シーンの代表画の縮小画像を記録したファイルである。映像シーンの代表画とは、セグメントの先頭ピクチャの画像ファイル又はショットの先頭ピクチャの画像ファイルである。ただし、映像シーンの代表画は、セグメント内の先頭ピクチャ以外のピクチャ、例えば、セグメント内において任意の時間経過した後のピクチャ、又は、ショットの先頭ピクチャ以外のピクチャ、例えば、ショット内において任意の時間経過した後のピクチャであってもよい。なお、サムネイル画像ファイルのデータ形式は、ビットマップファイルやＲＡＷデータのような非圧縮データ形式であってもよく、ＪＰＥＧなどの圧縮データ形式であってもよい。また、サムネイル画像ファイルは、ＤＣ成分のようなサムネイル画像を生成するための情報を含んでもよい。

メタデータ制御ファイルは、ストリーム情報ファイル中から、サムネイル画像ファイルが関連付けられているセグメントやショットを特定するための情報を記録するファイルである。また、メタデータ制御ファイルは、このような関連情報以外にも、セグメントやショットを補足説明する情報である、再生時間、再生開始位置、代表画のピクチャサイズ、映像ジャンル、及びピクチャの物理特性を示す情報などを含むことができる。

図１に示される、放送受信部１３１は、ＭＰＥＧ−２ ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（ＭＰＥＧ−２ ＴＳ）形式で符号化圧縮されたデジタル放送波を受信する。デジタル放送波は、複数の番組の映像音声情報が多重化された信号であってもよい。この場合には、放送受信部１３１は、特定の番組のＭＰＥＧ−２ ＴＳのみを抽出する機能を持つ必要がある。また、ストリーム制御部１３２は、デコーダブロック１３０におけるストリームの流れを統括制御する。

次に、本実施の形態における記録処理を説明する。放送受信部１３１は、デジタル放送波として受信されたＭＰＥＧ−２ ＴＳを、ストリーム制御部１３２に供給する。システム制御部１２０からの指示にしたがって、記録再生ドライブ部１３３は、ストリーム制御部１３２に供給されたＭＰＥＧ−２ ＴＳのストリーム情報を記録する。

ストリーム制御部１３２は、ストリーム情報を記録再生ドライブ部１３３に記録させる制御を行うとともに、符号化圧縮単位としてのＧＯＰ毎に、システム制御部１２０に対して、ランダムアクセスするための情報として、再生開始時間、再生開始位置などを通知する。その後、システム制御部１２０は、ランダムアクセスするための情報である再生開始時間、再生開始位置などを再生制御情報として、記録再生ドライブ部１３３に記録させる。

特徴シーン抽出部１３５は、記録再生ドライブ部１３３に対するストリーム情報の記録中に、ストリーム情報からセグメント及びショットに関連する情報を抽出する。具体的には、ストリーム制御部１３２から特徴シーン抽出部１３５にストリーム情報が入力され、その後、特徴シーン抽出部１３５は、入力されたストリーム情報のアクセス単位毎に、符号化圧縮単位の先頭に位置するＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）の映像情報を特定する。なお、Ｉピクチャは、符号化圧縮単位の基本ピクチャであり、動き予測を用いずに映像信号を直接符号化したフレーム映像である。

特徴シーン抽出部１３５は、アクセス単位毎にＩピクチャの物理変化量を算出し、特徴シーン抽出部１３５内に備えられたバッファメモリに格納する。なお、物理変化量とは、ピクチャの画像情報から得られるカラーヒストグラム、ＤＣ成分、エッジ情報、テクスチャ情報、動きベクトルなどの物理情報、又はそれらの組み合わせた情報である。本実施の形態においては、ピクチャの特徴を示すＤＣ成分をバッファメモリ１３５ａ又は１３５ｂに蓄積する場合を説明する。その後、順次アクセス単位毎に物理変化量の蓄積処理を行うとともに、過去に蓄えた物理変化量との比較を行う。画像比較を行う際には、物理変化量を元にその特徴（空間的、時間的）によって、セグメントであるかショットであるかの分類を行うことができる。このように取得した比較結果から、予め設定している閾値（第１の閾値α又は第２の閾値β）を越えるか否かによって、セグメントの境界又はショットの境界（シーンチェンジ）の判定を行う。

システム制御部１２０からの指示にしたがって、セグメント又はショットと判定された映像区間の代表画のサムネイル画像は、記録再生ドライブ部１３３内のサムネイル画像ファイルに記録される。同時に、記録されたサムネイル画像ファイルのファイル名、開始時刻、終了時刻、Ｉピクチャ位置、Ｉピクチャサイズは、記録再生ドライブ部１３３内のメタデータ制御ファイルに記録される。なお、上述したサムネイル画像は、Ｉピクチャから再エンコードして生成してもよいし、画像比較で用いたＤＣ成分をそのまま利用してもよい。

また、セグメントとショットを特定する処理は、後述するサムネイル画像メニューの表示前に行われていればよく、記録再生ドライブ部１３３による記録中に行ってもよく、再生開始後に適宜行ってもよく、オフライン中に選択された番組に対して行ってもよい。

また、本実施の形態においては、セグメント及びショットの抽出処理と、システム処理の負荷をバランスよく構成できる例として、アクセス単位の代表画であるＩピクチャに対して物理変化量の比較を行うが、システム処理性能が高ければ全てのフレームを対象に物理変化量の比較を行ってもよい。

次に、本実施の形態における不要シーン特定処理を説明する。不要シーン特定部１３６は、ストリーム情報の記録中にコマーシャル映像、及びコマーシャル映像の前後に位置する映像重複シーンに関連する区間情報を抽出する。具体的には、まずストリーム制御部１３２から不要シーン特定部１３６にストリーム情報が入力される。その後、不要シーン特定部１３６は、入力されたストリーム情報をデコードし、音声情報から無音部分の時刻情報を特定する。そして、不要シーン特定部１３６は、特定された無音部分の時刻情報と、特徴シーン抽出部１３５で特定したシーンチェンジ点の時刻情報とを比較し、コマーシャル映像に特有の映像と音声の変化点が周期性を持って存在するかを判定する。システム制御部１２０からの指示にしたがって、コマーシャル映像と判定された区間を示す情報は、記録再生ドライブ部１３３内に、メタデータ制御ファイルとして記録される。ここで、無音部分とは、テレビジョン放送のＣＭの前後（すなわち、番組本編とＣＭ期間の間、及び、ＣＭ期間内に含まれる複数のＣＭ部分の境界）に存在する。また、このため、ＣＭ境界を検出する際に、テレビジョン放送の無音部分を検出する。また、コマーシャル映像に特有の映像と音声の変化点の周期性とは、例えば、１つのＣＭ部分の境界は一定の周期（例えば、日本のＴＶ放送においては、１５秒又は３０秒など）で現れるように決められていることであり、これを「ＣＭルール」とも言う。

不要シーン特定部１３６は、コマーシャル映像の区間が特定された後、コマーシャル映像の区間の前後にショットが存在するか否かを、システム制御部１２０に問い合わせてもよい。システム制御部１２０は、記録再生ドライブ部１３３内のメタデータ制御ファイル及びサムネイル画像ファイルを読み込み、コマーシャル映像と判定された区間の前後に画像相関性の高い区間があるかを判定する。もしもコマーシャル映像と判定された区間の前後に画像相関性の高い区間が存在すれば、コマーシャル映像区間を挟んで表示された映像重複シーンと判定してもよい。このように判定された一方の映像重複シーンとコマーシャル映像シーンを、メタデータ制御ファイル中の不要シーンと判定してもよい。このように構成することで、コマーシャル映像付近に存在する同じショットを複数提示しないサムネイル画像メニューを生成することができる。

次に、本実施の形態における再生処理を説明する。記録再生ドライブ部１３３に記録されたストリーム情報を再生させる場合には、システム制御部１２０は、再生対象のストリーム情報に関連する再生制御情報を記録再生ドライブ部１３３から予め読み出し、これをメモリ部１２１に保持する。その後、記録再生ドライブ１３３は、記録されているストリーム情報を読み出し、ストリーム制御部１３２を経由して、映像音声デコーダ部１３４に供給する。映像音声デコーダ部１３４は、ストリーム情報を逐次取り込んだ後に、符号化圧縮された映像ストリーム又は音声ストリームに分離する。その後、映像音声デコーダ部１３４は、ＭＰＥＧ−２方式などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、映像音声デコーダ部１３４は、ＡＣ−３方式などで符号化された音声ストリームをデコード処理して、音声信号に復号する。

ＯＳＤ生成部１３７は、システム制御部１２０からの指示にしたがって、サムネイル画像を利用した映像検索画面（後述する図７及び図８に示す）を生成する。生成した映像検索画面信号は、加算回路１３８によって、映像音声デコーダ部１３４から出力される映像信号に重畳される。このようにして出力された映像信号及び音声信号は、表示装置１４０に入力され、表示装置１４０は、映像検索画面が重畳された映像を表示する。

操作入力部１１０は、符号化映像再生装置１００のフロントパネルに配置されている操作パネルやリモコンなどを指す。操作入力部１１０には、番組や映像シーンを選択するためのキー、例えば、上下左右キー、決定キー、が具備されている。システム制御部１２０は、操作入力部１１０によって要求された命令の内容を解釈し、デコーダブロック１３０を制御することで、任意のストリーム情報を再生する。

なお、本実施の形態においては、特徴シーン抽出部１３５及び不要シーン特定部１３６が、デコーダブロック１３０内のハードウェアとして構成されている場合を説明しているが、これらは、デコーダブロック１３０の外部に存在してもよく、また、同様の機能を有するファームウェアであってもよい。

図２は、記録再生ドライブ部１３３の情報記録媒体１３３ａ内の論理ファイル構造を示す図である。図２に示されるように、この論理ファイルには、論理的に階層構造を成すファイル構造の最上位階層に、ディレクトリ構造であるルートディレクトリ２００が配置され、ルートディレクトリ２００の下位階層に、ディレクトリ構造であるマルチメディアディレクトリ２０１が配置され、マルチメディアディレクトリ２０１の下位階層に、ディレクトリ構造であるストリーム管理ディレクトリ２０２と、メタデータ管理ディレクトリ２０３とが配置されている。なお、メタデータ管理ディレクトリ２０３（及びメタデータ管理ディレクトリ２０３の中のファイル）を総称して、メタデータ記録領域と呼ぶ。本実施の形態においては、メタデータ記録領域内の情報が、番組記録時に生成される場合を説明するが、本発明における検索画面を表示する前に生成すればよく、例えば、再生開始前や再生開始中に生成してもよい。

また、図２に示される論理ファイルには、マルチメディアディレクトリ２０１の下位階層に、再生制御情報ファイル２１１が配置されている。再生制御情報ファイル２１１には、記録再生ドライブ部１３３内の録画番組の管理情報が記述されている。また、ストリーム情報ファイル２１２は、録画番組の映像信号又は音声信号の少なくとも一方を符号化圧縮し、再生時間情報と共に多重化したファイルであり、メタデータ管理ファイル２１３は、特徴シーンデータの管理情報を記述したファイルであり、サムネイル画像ファイル２１４は、録画番組の特徴シーンの代表画を記録したファイルである。

ストリーム情報ファイル２１２は、録画番組単位で１つのファイルが割り当てられており、番組を特定するためにユニークなファイル名が割り振られる。図２には、ファイル名として、５桁の数字が割り当てられている場合を示しているが、他のファイル名を採用することもできる。

また、サムネイル画像ファイル２１４においては、特徴シーン毎に１つのファイルが割り当てられる。図２には、サムネイル画像ファイル２１４として、アンダースコアによって区切られた前半５桁の数字と、後半６桁の数字から構成されファイル名が例示されている。前半５桁には、特徴シーンが含まれるストリーム情報ファイル２１２の名前が格納される。後半６桁には、当該ストリーム情報ファイル２１２の先頭から起算したフレーム番号が記録される。例えば、サムネイル画像ファイル「００００２＿０００１３５．ｄａｔ」は、名前が０２０００．ｍｔｓのストリーム情報ファイル２１２に関連付けて記録されており、先頭から１３５枚目のフレームのサムネイル画像が記録されているファイルである。

ストリーム情報ファイル２１２とサムネイル画像ファイル２１４は、個別のディレクトリ内に配置する例を示したが、同一のディレクトリ内に配置されていてもよいし、メタデータ管理ファイル２１３及びサムネイル画像ファイル２１４がルートディレクトリ２００に直接配置されてもよい。また、メタデータ管理ファイル２１３に、単一のファイルに全ての録画番組の特徴情報がまとめて記録されている例を示しているが、録画番組の特徴情報を、複数のファイルに分割して記録してもよい。また、サムネイル画像ファイル２１４は、特徴シーン毎に分割してファイルを形成しているが、単一のファイルにまとめて管理してもよい。

本実施の形態におけるメタデータ管理ディレクトリ２０３は、記録再生ドライブ部１３３の所定物理アドレス区間に記録されていてもよい。このように構成すれば、特徴シーンの情報をまとめて記録や消去する場合に、ディスクシークの発生を抑えることができ、データの読み取り及び書き込みを高速にすることができる。

また、メタデータ管理ファイル２１３のデータ形式は、テキスト形式であってもバイナリ形式であってもよく、これら以外の形式であってもよい。なお、第三者による改ざんや情報の流出を阻むために、メタデータ管理ファイル２１３に暗号化処理を施すこともできる。

また、サムネイル画像ファイル２１４は、ストリーム情報ファイル２１２中の映像データを示す画像情報を復号できればよく、非可逆圧縮映像でも可逆圧縮映像であってもよい。また、メタデータ管理ファイル２１３と同様に、第三者による改ざんや情報の流出を阻むために、サムネイル画像ファイル２１４に暗号化処理を施すこともできる。

再生制御情報ファイル２１１に、メタデータ管理ディレクトリ２０３又はメタデータ管理ファイル２１３が存在しているか否か、又はメタデータ管理ファイル２１３又はサムネイル画像ファイル２１４が記述されていても、有効な値であるか否かの情報を記述しておくこともできる。このように構成すれば、システム制御部１２０は、メタデータ記録領域の情報を参照することなく、素早くメタデータ管理ファイル２１３又はサムネイル画像ファイル２１４の有無又は有効であるか否かを判断することができる。

図３は、図２に示されるストリーム情報ファイル２１２の４階層から成るデータ管理構造を示す図である。図３に示されるように、ストリーム情報ファイル２１２は、４階層から成るデータ管理構造を持つ。最下層のフレーム層においては、ストリーム情報ファイル２１２は、映像フレーム単位に細分化されており、所定数の映像フレームは符号化圧縮単位毎にＧＯＰ３００というアクセス単位を形成する。なお、ＧＯＰ３００の先頭フレームは、Ｉピクチャである。フレーム層の上位層であるショット層においては、ストリーム情報ファイル２１２は、シーンチェンジ間の区間を示す複数のショット（図３には、Ｓｈｏｔ＃１〜＃７を示す。）３０１から構成されており、各ショットは、１つ以上のＧＯＰ３００から構成されている。また、ショット層の上位層であるセグメント層においては、ストリーム情報ファイル２１２は、意味的な連続区間を示す複数のセグメント（図３には、Ｓｅｇｍｅｎｔ＃１〜＃４を示す。）３０２から構成されており、各セグメントは、１つ以上のショット３０１から構成されている。

図４は、図２に示される再生制御情報ファイル２１１のシンタックスを示す図である。再生制御情報ファイル２１１は、ディスク一般情報４００と、録画番組情報４１０とを有する。図４に示されるように、ディスク一般情報４００には、ディスクの属性情報が含まれる。ディスク一般情報４００には、“ｍｅｔａ＿ｄｉｓｃ＿ｖａｌｉｄ＿ｆｌａｇ”４０１と、“ｄｉｓｃ＿ｎａｍｅ”４０２とが含まれる。“ｍｅｔａ＿ｄｉｓｃ＿ｖａｌｉｄ＿ｆｌａｇ”４０１は、記録されたメタデータ記録領域の情報が有効か無効かを示すフラグ情報である。“ｄｉｓｃ＿ｎａｍｅ”４０２は、ディスク名を示す情報である。

また、図４に示されるように、録画番組情報４１０には、光ディスク内に記録されている録画番組の管理情報が含まれる。録画番組情報４１０には、録画番組の総数を示す“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”４１１が含まれ、次のループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ；ｉ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”４１１が示す数だけ繰り返される。

ストリーム情報ファイル名４１２は、録画番組が対応付けられているストリーム情報ファイル２１２の名前を示す５桁の数字情報である。また、開始時間情報４１３及び終了時間情報４１４は、録画番組に関連付けられたストリーム情報ファイル２１２に多重化されるシステム時刻を基準とした開始時刻と終了時刻である。なお、本実施の形態においては、システム時刻を記録した例を示しているが、単純に開始時間情報４１３として番組先頭を示す００時間００分００秒と設定し、終了時間情報４１４を番組終了までの時刻を設定してもよい。また、図４に示されるように、ストリーム情報ファイル名４１２、開始時間情報４１３、及び終了時間情報４１４は、ストリーム情報ファイル２１２を特定し、当該ストリーム情報ファイル２１２からの読出し位置を決定する情報であり、再生区間情報と呼ぶ。

また、“ｍｅｔａ＿ｔｉｔｌｅ＿ｖａｌｉｄ＿ｆｌａｇ”４１５は、メタデータ記録領域内に、録画番組が動画検索用のメタデータを保持しているか否かを示すフラグ情報である。ユーザーによって録画番組の再生が指示された際には、“ｍｅｔａ＿ｔｉｔｌｅ＿ｖａｌｉｄ＿ｆｌａｇ”４１５に基づいて、メタデータを作成する必要があるか否かを判断することができる。

また、属性情報管理テーブル４２０には、ストリーム情報ファイル２１２中に多重化されている映像情報や音声情報などの属性情報が記録されている。また、属性情報管理テーブル４２０には、ストリームを構成している映像情報や音声情報毎にパケットＩＤなどを格納しており、当該パケットＩＤを用いて映像音声デコード部１３４は、映像データ、音声データ、ストリーム管理データなどに分離することができる。

また、アクセスポイント管理テーブル４３０には、アクセス単位毎のストリーム読み出し位置と再生開始時間を記録したリスト情報が記録されており、このリスト情報を用いてサーチや特殊再生などのランダムアクセス再生を行うことができる。例えば、映像データがＭＰＥＧ−２ビデオストリームでエンコードされている場合、ＧＯＰの先頭がアクセス単位に相当するものであり、当該ＧＯＰ毎に再生開始時間と再生開始アドレス（ストリームファイル先頭を起算とした位置）の情報が記述されている。符号化映像再生装置１００は、再生開始時間情報からストリーム情報ファイル２１２の再生開始アドレスを割り出し、ランダムアクセス再生を行う。

図５は、図２に示されるメタデータ管理ファイル２１３のシンタックスを示す図である。まず、録画番組の総数を示す“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”５０１が記録され、次のループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿Ｔｉｔｌｅ；ｉ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”５０１の数だけ繰り返される。このループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿Ｔｉｔｌｅ；ｉ＋＋）以下」には、サムネイル情報５１０と不要シーン情報５４０とが含まれる。

図５に示されるように、サムネイル情報５１０には、“ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ”５１１と、“ｎｕｍ＿ｏｆ＿ｓｈｏｔ”５１２が含まれ、それぞれには、録画番組タイトルが持つセグメント数とショット数が記録される。

図５に示されるループ文「ｆｏｒ（ｊ＝０；ｊ＜ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ；ｊ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ”５１１の数だけ繰り返され、当該ループ文中の情報は、セグメント情報５２０と呼ばれる。セグメント情報５２０には、“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１と、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３と、“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４と、“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５とが含まれる。“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１は、当該セグメントと関連したショットを特定するためのＩＤ番号であり、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３は、当該セグメントを示すサムネイル画像ファイル２１４のファイル名であり、“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４は当該セグメントの開始時間を示す時刻情報であり、“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５は、当該セグメントの終了時間を示す時刻情報である。なお、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３に、例えば、０ｘＦＦＦＦなどの特定値が設定されている場合には、当該セグメントに関連したサムネイル画像ファイル２１４が存在しないことを示す。その場合、ストリーム情報ファイル２１２から再読込みを行うことで、当該セグメントに関連したサムネイル画像ファイルを、別途生成するように構成してもよい。

また、図５に示されるループ文「ｆｏｒ（ｋ＝０；ｋ＜ｎｕｍ＿ｏｆ＿ｓｈｏｔ；ｋ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｈｏｔ”５１２の数だけ繰り返され、当該ループ文中の情報は、ショット情報５３０と呼ばれる。ショット情報５３０には、“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１と、“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２と、“Ｅｎｄ＿ｓｈｏｔ＿ｔｉｍｅ”５３３と、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と、“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５とが含まれる。“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１は、当該セグメントを示すサムネイル画像ファイル２１４のファイル名であり、“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２は、当該ショットの開始時間を示す時刻情報であり、“Ｅｎｄ＿ｓｈｏｔ＿ｔｉｍｅ”５３３は、当該ショットの終了時間を示す時刻情報であり、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４は、当該ショット内の先頭Ｉピクチャの開始位置情報であり、“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、当該ショット内の先頭Ｉピクチャのサイズである。なお、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４は、ストリーム映像ファイル２１２の先頭から起算したバイト数を示している。“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、当該Ｉピクチャ先頭から起算したバイト数を示す。また、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、位置を特定できる情報であればよく、バイト数でもセクタ数でもパケット数などの計測単位で記録されていてもよい。なお、“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１に、例えば、０ｘＦＦＦＦなどの特定値が設定されている場合には、当該ショットに関連したサムネイル画像ファイル２１４が存在しないことを示す。その場合、ストリーム情報ファイル２１２から再読込みを行うことで、当該ショットに関連したサムネイル画像ファイルを、別途生成するように構成してもよい。

また、図５に示されるように、不要シーン情報５４０は、“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１情報を含む。“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１は、当該録画番組に含まれるコマーシャル映像などの不要区間数を示す情報である。図５に示されるループ文「ｆｏｒ（ｌ＝０；ｌ＜ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ；ｌ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１の数だけ繰り返され、当該ループ文中の情報は、不要シーン情報５５０と呼ばれる。不要シーン情報５５０には、“Ｓｔａｒｔ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５１と、“Ｅｎｄ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５２とが含まれる。“Ｓｔａｒｔ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５１は、コマーシャル映像などの番組把握には不要な映像シーンの開始時間の時刻情報を示し、“Ｅｎｄ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５２は、当該区間の終了時間の時刻情報を示す。

なお、メタデータ管理ファイル２１３に含まれる情報は、１つのファイルで構成する例を示したが、情報の特性に合わせて複数のファイルに分割してもよい。

図６は、図５に示されるメタデータ管理ファイル２１３のデータ構造におけるセグメントとショットの関連図である。図６に示されるように、セグメントは、セグメント情報５２０毎にリスト化されたテーブルとして記述されている。また、セグメント情報５２０毎に、「０」から起算した“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１が割り振られている。同様に、ショットは、ショット情報５３０毎にリスト化されたテーブルとして記述されている。また、ショット情報５３０毎に、「０」から起算した“Ｓｈｏｔ＿ＩＤ”６０２が割り振られている。図６には、Ｎｓｅｇｍｅｎｔ個の“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１と、Ｎｓｈｏｔ個の“Ｓｈｏｔ＿ＩＤ”６０２とが記録されている場合が示されている。

“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１の設定値としては、当該セグメントが開始されるショットを特定するＩＤ番号が記録される。例えば、図６においては、“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１が「３」（“Ｓｅｇｍｅｎｔ＿ＩＤ”＝３）であるセグメント情報５２０においては、“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１に「７」の値が設定されている。すなわち、当該セグメント情報５２０が開始されるショットは、ＳｈｏｔＩＤ６０２が「７」（“Ｓｈｏｔ＿ＩＤ”＝７）で設定されたショット情報５３０である。

こうすれば、セグメント情報５２０に関連づけられたショット情報５３０を特定できることに加え、セグメント情報５２０の代表画であるＩピクチャの記録位置とサイズ情報は、当該セグメント情報５２０に関連付けられたショット情報５３０に記録される“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５から識別できる。このようにセグメントとショット間の制御情報を構成することで、セグメントからショットをすぐに特定することができる。このため、セグメントを指定すれば、ショットに関連付けられたサムネイル情報などを瞬時に読み出すことができる。セグメント及びショットにサムネイル画像が関連付けて記録されていない場合であっても、素早くＩピクチャの記録位置とサイズが特定できるので、短時間でサムネイル画像ファイルが生成できる。

なお、セグメントとショットのサムネイル画像のファイル名に関する情報を共用させる場合、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３は保持しなくてもよい。例えば、図６においては、セグメント情報５２０（“Ｓｅｇｍｅｎｔ＿ＩＤ”＝３）のサムネイル画像のファイル名は、ショット情報５３０（“Ｓｈｏｔ＿ＩＤ”＝７）の“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１の設定値である“０００３０＿００１８００”と特定できる。こうすればセグメントとショット間で無駄な情報を持たず、より少ないデータ量でサムネイル情報を制御することができる。

図７は、本実施の形態において表示装置１４０に表示される映像検索画面（基本）の一例を示す図である。図４に示されるように、映像検索画面（基本）は、録画番組を再生中に映像シーン検索を行った際に、表示装置１４０に出力される画面イメージを示している。例えば、録画番組の再生中に、操作入力部１１０の一時停止キー、又は映像検索用の専用キーなどを押下することにより、映像検索画面（基本）が表示される。なお、映像検索画面（基本）の表示は、録画番組の選択が行われていればよく、番組再生中に限らない。

図７に示されるように、映像検索画面（基本）は、録画番組映像（一時停止中）上に、再生時間バー領域７０１と、セグメント画像情報領域７０２と、セグメント属性情報領域７０３とを表示することで構成される。なお、図７において、録画番組映像に重畳されるこれらの領域が不透過な状態である例を示しているが、録画番組映像の視認性を高めるために、一定の透過率を設定してもよい。

再生時間バー領域７０１には、現在選択されている録画番組における開始時刻、終了時刻、及び現在時刻などの情報が表示される。図７においては、開始時刻として「００：００：００」、すなわち、「００時００分００秒」を示し、終了時刻として「００：３０：００」、すなわち、「００時３０分００秒」を示し、現在時刻として「００：２２：１５」、すなわち、「００時２２分１５秒」を示している。

再生時間バー領域７０１は、開始時刻から終了時刻までを棒状の時間バーで示しており、時間バーの内の区間７０１ａ，７０１ｂ，７０１ｃはコマーシャル映像や重複シーンなどの不要シーンを示す。また、棒状の時間バーの内の区間７０１ｄは、現在選択されているセグメントの再生区間を示す。なお、一般的な録画番組はコマーシャル映像直後に視聴価値の高い映像シーンを配置することが多い。そこで、コマーシャル映像を示す区間をあえてユーザーに提示することで、コマーシャル映像を視聴しないように検索性を向上させることができ、加えて、視聴価値の高い見所となる映像シーンを素早く特定することもできる。

次に、セグメント画像情報領域７０２には、現在選択されているセグメントを示すサムネイル画像を中央に配置し、現在選択されているセグメントの直前の２個分のセグメントを示すサムネイル画像と現在選択されているセグメントの直後の２個分のセグメントを示すサムネイル画像を表示する。図７の例においては、時間的に未来方向のセグメントを、現在選択されているセグメントより右側に配置し、時間的に過去方向のセグメントを、現在選択されているセグメントより左側に配置している。すなわち、図７の例においては、セグメント画像情報領域７０２は、時間軸の順番に、サムネイル画像が左から右に配列される。なお、中央に配置される現在選択されるセグメントは、他のセグメントよりも目立つようにするため、枠を付けたり、画面の彩度を変更したり、画像サイズを一回り大きくするなどの強調処置を採用してもよい。

なお、セグメント画像情報領域７０２に表示するサムネイル画像は、サムネイル画像ファイル２１４で記録された画像解像度を変更させないほうが望ましい。なぜならば、サムネイル画像ファイル２１４をスケーリング表示させると、符号化映像再生装置１００は画像拡大縮小処理を行う必要があり、システムへの負荷をかけるとともに応答性が悪くなる可能性があるからである。また、セグメント画像情報領域７０２に配置するサムネイル画像の個数は奇数であることが望ましい。なぜならば、ユーザーの認知性を向上させるために、現在選択されている画像を中央に表示させるためである。現状、サムネイル画像ファイルは、ＭＰＥＧ圧縮時のＤＣ成分を利用しているため、画像サイズは１／８である。サムネイル画像ファイルをスケーリングせずに表示する場合、セグメント画像情報領域７０２には８個分のサムネイル画像を格納可能である。一方、この値は偶数であることに加え、サムネイル画像間に隙間なく配置されるため、視認性が極端に悪くなる。そのためこのような条件下においては７個分又は５個分のサムネイル画像を配置するのが最適と考えられる。

セグメント画像情報領域７０２においては、操作入力部１１０の左右キー押下によって現在選択されているセグメントを移動することができる。例えば、操作入力部１１０の右キーを押下すると、セグメント画像情報領域７０２に表示されているサムネイル画像が全体的に左にシフトする。図７上のＤに示す図（ビルと人間が表示）が中央の位置に移動し、当該サムネイル画像が選択されることとなる。全体的にサムネイル画像が左にシフトするため、図７上のＡに示す図（太陽とビル）が表示されなくなり、図７上のＥの後方に存在するセグメントを示すサムネイル画像が新たに読み込まれて、最右端の位置に表示される。

また、操作入力部１１０の決定キーを押下することにより、当該セグメントが示す映像シーンにサーチし、当該再生位置から通常再生を行うことができる。

セグメント属性情報領域７０２には、現在選択されているセグメントの順番を示す番号とセグメント総数、及び現在選択されているセグメント開始時刻と番組総再生時間、セグメントの時間長などが表示される。

なお、操作入力部１１０の左右キー押下によって、セグメント画像情報領域７０２内のサムネイル画像は逐次更新されるが、それに連動して再生時間バー領域７０１、及びセグメント属性情報領域７０３の表示内容も更新される。再生時間バー領域７０１においては、現在時刻及び現在時刻が属するセグメント表示色の位置が更新される。同様にセグメント属性情報領域７０３においては、次セグメントの情報に更新される。なお、現在一時停止中のバックグラウンドに表示されている再生画像については、次セグメントの映像を表示してもよいし、当該映像検索時に一時停止した際の映像を表示し続けていてもよい。

図８は、本実施の形態における表示装置１４０に表示される映像検索画面（詳細）の一例を示す図である。図８に示されるように、映像検索画面（詳細）は、映像検索画面（基本）から、さらに細分化した映像シーン検索を行った際に、表示装置１４０に出力される画面イメージを示している。この映像検索画面（詳細）は、図７に示される映像検索画面（基本）に表示されるセグメントを示す第１段階のサムネイル画像を選択した際に表示される第２段階のサムネイル画像メニューである。映像検索画面（詳細）は、映像検索画面（基本）のセグメントを選択した状態で、操作入力部１１０の上キー、又は映像検索用の専用キーなどを押下することにより、映像検索画面（詳細）が表示される。

図８に示されるように、映像検索画面（詳細）は、映像検索画面（基本）の情報に加え、ショット画像情報領域８０１が表示される。また、セグメント属性情報領域７０３は、ショット属性情報領域８０２に表示が変更される。なお、図８に示されるように、選択されたセグメントのサムネイル画像以外については、選択されていないことを明示するようサムネイル画像の彩度を変えて、区別しやすいように表示してもよい。また、図７と同様に、ショット画像情報領域８０１について、再生映像の視認性を高めるために、ある一定の透過率を設定してもよい。

ショット画像情報領域８０１には、現在選択されているショット（図８においては、現在選択されているセグメントのサムネイル画像（領域７０２内のＣ）と同じ画像）を示すサムネイル画像を中央に配置し、現在選択されているショットを示すサムネイル画像の直前の３個分のショットを示すサムネイル画像と、現在選択されているショットを示すサムネイル画像の直後の３個分のショットを示すサムネイル画像とを表示する。ショット画像情報領域８０１におけるサムネイル画像の配置ルールは、セグメント画像情報領域７０２におけるサムネイル画像の配置ルールと同様である。なお、ショット画像情報領域８０１には、選択されているセグメント内のショットのみを表示することも可能であるが、図８に示される例においては、配置可能な個数が許す限り、前後のセグメント内に存在するショットを示すサムネイル画像を配置している。

ショット画像情報領域８０１において、現在選択されているショットは、操作入力部１１０の左右キー押下によって、移動させることができる。この移動ルールは、セグメント画像情報領域７０２において、現在選択されているセグメントに適用される移動ルールと同様である。

また、操作入力部１１０の決定キーを押下することによって、ショット画像情報領域８０１において、現在選択されているショットが示す映像シーンをサーチし、現在選択されているショットが示す映像シーンの位置から通常再生を行うことができる。

ショット属性情報領域８０２には、現在選択されているショットの順番を示すショット番号及びショット総数、現在選択されているショットの開始時刻及び番組総時間、並びに、現在選択されているショットの時間長が表示される。

なお、操作入力部１１０の左右キー押下によって、ショット画像情報領域８０１が更新されるが、それに連動して、再生時間バー領域７０１、セグメント画像情報領域７０２、及びショット属性情報領域８０２の表示内容も更新される。再生時間バー領域７０１においては、現在時刻及び現在時刻が属するショット表示色の位置も更新される。同様に、セグメント画像情報領域７０２においては、変更後のショットが属するセグメントが中央に配置されるよう情報内容が更新される。また、ショット属性情報領域８０１においては、次ショットの情報内容に更新される。なお、現在一時停止中のバックグラウンドに表示されている再生画像については、次ショットの映像を表示してもよいし、当該映像検索時に一時停止した際の映像を表示し続けていてもよい。

図９（Ａ）乃至（Ｅ）は、本実施の形態における不要シーン特定部１３６によって特定された不要シーンを除いて、サムネイル画面を生成する処理の説明図である。図９（Ａ）乃至（Ｃ）は、メタデータ管理ファイル２１３に記録されているセグメント及びショットのデータ構造の一例であり、図９（Ｄ）及び（Ｅ）は、メタデータ管理ファイル２１３中の不要シーン情報に基づいたデータモデルである。図７及び図８に示される映像検索画面は、不要シーン情報である図９（Ｃ）を加味したサムネイル画像の選出が行われることが望ましい。なぜならば、コマーシャル映像における映像の物理変化量は大きく、上記セグメントやショットを数多く検出する可能性が高く、加えて、コマーシャル映像は、ユーザーにとって視聴価値が低く、コマーシャル映像のシーンをサムネイル画像で表示することは、映像検索性という観点からも非常に効率が悪いからである。

図９（Ｄ）及び（Ｅ）に示されるように、補正後のセグメント及び補正後のショットの代表画であるサムネイル画像選出に補正処理を施すことによって、ユーザーにとって視聴価値の高い映像シーンに限定して映像検索が行うことができる。具体的には、図９（Ｄ）及び（Ｅ）に示されるように不要シーンで示される映像が一部でも含まれるショットは、映像検索には無効なショットとして認識する。図９（Ａ）乃至（Ｅ）に示されるように、不要シーンを考慮に入れたサムネイル画像を選出する場合、Ｓｅｇｍｅｎｔ＃２の代表画は、Ｓｈｏｔ＃４のサムネイル画像からＳｈｏｔ＃６のサムネイル画像に変更されることになる。このように，セグメントの代表画であるサムネイル画像が、不要シーンの間に含まれている場合でも、映像検索画面におけるサムネイル画像を表示する際に、番組映像検索には無意味な映像シーンをユーザーに提示することないため検索性を向上させることができる。

図９（Ａ）乃至（Ｅ）においては、不要シーンが一部でも存在するショットを無効なショットと判定し、３つのショット（Ｓｈｏｔ＃３，＃４，＃５）が無効なショットと判定される場合を説明したが、無効なショットの判定方法として他の方法を採用することもできる。

図１０（Ａ）乃至（Ｅ）に示されるように、不要シーンがショット全体を包含する場合についてのみ、無効なショットと判定する方法を採用してもよい。この場合には、図１０（Ａ）乃至（Ｅ）に示されるように、１つのショット（Ｓｈｏｔ＃４）が無効なショットと判定される。

また、図１１（Ａ）乃至（Ｅ）に示されるように、不要シーンがショットの一部だけに存在し且つ一定の基準時間Ｔ０以上の不要シーンが含まれる場合に、無効なショットと判定する方法を採用してもよい。図１１（Ｂ）及び（Ｃ）に示されるように、不要シーンの期間Ｔ３は基準時間Ｔ０より短いので、Ｓｈｏｔ＃３は無効なショットと判定されず、不要シーンの期間Ｔ５は基準時間Ｔ０より長いので、Ｓｈｏｔ＃５は無効なショットと判定される。したがって、２つのショット（Ｓｈｏｔ＃４，＃５）が無効なショットと判定される。

図１２は、符号化映像再生装置１００におけるセグメント情報及びショット情報の取得処理を示すフローチャートである。図１２を用いて、特徴シーン抽出部１３５におけるセグメントとショットの取得動作を詳細に説明する。特徴シーン抽出部１３５内には２つのバッファメモリ（図１における１３５ａ，１３５ｂ）が存在しており、一方（例えば、バッファメモリ１３５ａ）に基準映像フレームのＩピクチャ画像の物理変化量を示す情報を格納し、他方（例えば、バッファメモリ１３５ｂ）に順次読込んだ映像フレームのＩピクチャ画像の物理変化量を格納する。このように２つのバッファメモリ１３５ａ，１３５ｂに読込んだ画像情報を比較し、画像類似性を算出することにより、セグメント及びショットであるか否かを判定する。

図１２に示されるように、番組の記録動作が開始されると、システム制御部１２０は、常時、ストリーム制御部１３２を監視し、録画中のストリーム情報中の符号化圧縮映像がＧＯＰ開始点か否かを判定する（ステップＳ１０１）。ＧＯＰを検出した場合、システム制御部１２０は、当該ＧＯＰの先頭画像であるＩピクチャ画像を、特徴シーン抽出部１３５に転送させる。特徴シーン抽出部１３５は、２つのバッファメモリ１３５ａ，１３５ｂを内蔵しており、基準フレーム画像の物理変化量を記録する１つ目のバッファメモリ（以下「第１のバッファメモリ」と言う。）１３５ａが使用されているか否かを判定する（ステップＳ１０２）。もし第１のバッファメモリ１３５ａが空いていれば、Ｉピクチャの物理変化量であるＭＰＥＧのＤＣ成分を第１のバッファメモリ１３５ａに格納し（ステップＳ１０３）、次のＧＯＰ検出を待つ。本実施の形態においては、映像の物理変化量としてＤＣ成分を記録しているが、画像のカラーヒストグラムや動きベクトルなどでもよいし、それらの組み合わせであってもよい。

ステップＳ１０２において、第１のバッファメモリ１３５ａが使用されていると判断された場合、他方のバッファメモリ（以下「第２のバッファメモリ」と言う。）１３５ｂに、当該映像情報の物理変化量であるＤＣ成分を格納する（ステップＳ１０４）。その後、第１のバッファメモリ１３５ａと第２のバッファメモリ１３５ｂに記録されているＤＣ成分について、画素毎の差分を算出することで、画像類似性を算出する。そして、この算出された値が、予め決められた第１の閾値α以上か否かを判定する（ステップＳ１０５）。

映像情報の物理変化量が第１の閾値αよりも高い場合、当該Ｉピクチャはセグメントであると判定され（ステップＳ１０６）、当該Ｉピクチャの物理変化量であるＤＣ成分からサムネイル画像を生成し、当該サムネイル画像をサムネイル画像ファイル２１４として記録する。同時に、このセグメントの開始時間情報、サムネイル画像ファイル名をメタデータ管理ファイル２１３中に記録する。なお、この検出されたセグメントより１つ前のセグメントがあった場合、当該セグメントの終了時間情報を記録する。

セグメントはショットを集約したものであるため、セグメントが検出されるとそれに対応するショットの情報も生成される（ステップＳ１０７）。ショットが生成されると、同様にサムネイル画像ファイル２１４を生成し、ショット開始時刻、Ｉピクチャ位置情報、Ｉピクチャサイズ、サムネイル画像ファイル名などをメタデータ管理ファイル２１３中に記録する。なお、この検出されたショットより１つ前のショットがある場合、当該ショットの終了時間情報を記録する。

その後、基準フレームの情報を更新するため、第２のバッファメモリ１３５ｂの内容が第１のバッファメモリ１３５ａの内容になるようデータ更新し（ステップＳ１０８）、処理をステップＳ１１０に進める。

一方、セグメント判定処理ステップであるステップＳ１０５において、物理変化量が第１の閾値α以下の場合、ショット判定ステップであるステップＳ１０９が実施される。ここでは、物理変化量を、第１の閾値αよりも低い閾値である第２の閾値βと比較する。物理変化量が第２の閾値βよりも高い場合、ショット情報取得フローであるステップＳ１０７以降の処理が行われ、処理をステップＳ１１０に進める。ステップＳ１０８において、物理変化量が第２の閾値β以下の場合、処理をステップＳ１１０に進める。ステップＳ１１０においては、記録終了になるまで、次のＧＯＰについてステップＳ１０１〜Ｓ１０９を繰り返す。

なお、本実施の形態においては、単純に前後に配置された２枚のＩピクチャの画像類似性のみでセグメントか否かを判定しているが、一定時間内の物理変化量をバッファメモリに格納しておき、この一定時間内の物理変化量の連続性に基づいてセグメントか否かを判断してもよい。このように構成することで、ある連続した映像シーンに一瞬シーンチェンジが入ったとしても、セグメントの連続性が保たれていることを判別できるため、より意味的な不連続点をより適切に判断することができる。

図１３は、符号化映像再生装置１００における不要シーン情報の取得処理を示すフローチャートである。図１３を用いて、不要シーン特定部１３６におけるコマーシャル映像である不要区間の特定動作を詳細に説明する。ここでは、一般に、テレビ放送におけるコマーシャルは、番組本編とコマーシャルの間、及び、コマーシャルと次のコマーシャルとの間に無音部分を有し、この無音部分は、固定の周期性を持って現れる（すなわち、無音部分の間隔は所定時間間隔である）ことを利用して、コマーシャル部分か否かを判定する。

記録動作が開始されると、システム制御部１２０からの指示にしたがって、ストリーム制御部１３２は、ストリーム情報を不要シーン特定部１３６に転送する。不要シーン特定部１３６は、受け取ったストリーム情報から音声情報を抽出し（ステップＳ２０１）、抽出された音声情報から、音声出力レベルを検出する（ステップＳ２０２）。その後、不要シーン特定部１３６は、音声出力レベルが閾値ε以下である場合に、この部分を無音部分であると判定して、処理をステップＳ２０４に進める。無音部分でない場合は、音声情報が無音部分を検出するまでステップＳ２０１以降の処理を行う。

ステップＳ２０４においては、無音と判断された時点の時刻情報と、特徴シーン抽出部１３５で得られたシーンチェンジ点を示すショットの時刻情報を比較し、シーンチェンジ点の近傍に無音部分があるか否かを比較する（ステップＳ２０４）。そして、ステップＳ２０４で得られた結果と、無音部分の長さ、無音部分の周期性から、コマーシャル映像（ＣＭ映像）のルールに合致するか否かを判定する（ステップＳ２０５）。コマーシャルと次のコマーシャルとの間には、無音部分が存在する特徴があるため、非常に短い時間の無音部分が一定の周期で検出されるとコマーシャル映像と判定できる。

判定の結果、コマーシャル映像と判定された場合、当該区間を不要シーン特定部１３６内のバッファメモリに保持する（ステップＳ２０６）とともに、メタデータ管理ファイル２１３に記録する。そして、記録終了になるまで（ステップＳ２０７）、ステップＳ２０１以降の処理を続ける。

なお、コマーシャル映像区間が判定された後、コマーシャル映像区間前後のショットを示すサムネイル画像ファイル２１４を比較し、重複した映像であると判断された場合、いずれかの映像区間を不要シーンに含めるよう構成してもよい。

図１４は、符号化映像再生装置１００における映像検索処理を示すフローチャートである。図１４においては、録画番組再生中に、ユーザーが視聴したい映像シーンを検索する際に図７、図８に示される映像検索画面を表示する処理を説明している。

まず、録画番組再生中に、操作入力部１１０の一時停止キーが押下されると、システム制御部１２０は、再生制御情報ファイル２１１に記録されている、再生中の番組の開始時間と終了時間を取得する。そして、システム制御部１２０が保持する現在再生している時刻情報を取得する（ステップＳ３０１）。

その後、システム制御部１２０は、図７に示される映像検索画面（基本）を生成するようＯＳＤ生成部１３７に指示する。ＯＳＤ生成部１３７においては、現在再生している番組の開始時刻、終了時刻、現在再生時刻情報から、図７に示される再生時間バー領域７０１を生成する。そして、ＯＳＤ生成部１３７においては、メタデータ管理ファイル２１３内の不要シーン情報５４０から、番組中の不要シーンの位置を割り出し、再生時間バー領域７０１の黒色で示される領域を記述する（ステップＳ３０２）。

その後、システム制御部１２０は、メタデータ管理ファイル２１３から現在の再生時刻が属するセグメントを特定する。セグメントの特定は、セグメント情報５２０に記録されている“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４から“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５までの区間に含まれるか否かを、全てのセグメントに対して実施することによって行われる。

セグメントが特定されると、当該セグメント情報５２０から“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３を取得し、サムネイル画像ファイル２１４から同名の画像データを取得し、映像検索画面（基本）の中央のセグメント画像として配置する。同様の手順で、現在セグメントの前後各２個のセグメントについても同様の処理を行うことで、セグメント画像情報領域７０２を表示及び更新する（ステップＳ３０３）。なお、サムネイル画像ファイル２１４の抽出時に、図９（Ａ）乃至（Ｅ）、図１０（Ａ）乃至（Ｅ））、図１１（Ａ）乃至（Ｅ）で示される不要シーンを除いた区間に対して、画像ファイルの選出を行ってもよい。

そして、操作入力部１１０の左右キーが押下されると、選択されているセグメントの位置を更新する（ステップＳ３０４）。同様に、操作入力部１１０の上キーが押下されると、ステップＳ３０７で示される映像検索画面（詳細）の表示ステップに進む（ステップＳ３０５）。操作入力部１１０の決定キーが押下される（ステップＳ３０６）と、ステップＳ３１１に示される映像検索実行の前処理を行う。なお、操作入力部１１０からの入力があるまで、ステップＳ３０３以降の処理を繰り返す。

ステップＳ３０７においては映像検索画面（詳細）を表示する処理であるが、システム制御部１２０は、まず現在選択されているセグメント情報５２０の“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１を取得する。その後、システム制御部１２０は、当該“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１と同じ“Ｓｈｏｔ＿ＩＤ”６０２を持つショット情報５３０を取得し、映像検索画面（詳細）中の中央のショット画像として配置する。それ以降は、セグメント画像情報領域７０２中のサムネイル配置ルールと同様の手順で、ショット画像情報領域８０１内のサムネイル画像ファイル２１４の配置が行われる。なお、サムネイル画像ファイル２１４の抽出時に、図９（Ａ）乃至（Ｅ）、図１０（Ａ）乃至（Ｅ））、図１１（Ａ）乃至（Ｅ）で示される不要シーンを除いた区間に対して、画像ファイルの選出を行ってもよい。

そして、操作入力部１１０の左右キーが押下されると、選択されているショットの位置を更新する（ステップＳ３０８）。同様に、操作入力部１１０の下キーが押下されると、ステップＳ３０３で示される映像検索画面（基本）の表示ステップに進む（ステップＳ３０９）。操作入力部１１０の決定キーが押下される（ステップＳ３１０）と、ステップＳ３１１に示される映像検索実行の前処理を行う。なお、操作入力部１１０からの入力があるまで、ステップＳ３０７以降の処理を繰り返す。

ステップＳ３１１においては、操作入力部１１０の決定キーが押下されたセグメント又はショットに関連付けられた開始時間情報を、メタデータ管理ファイル２１３中に記録されている“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４又は“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２から取得する（ステップＳ３１１）。そして、システム制御部１２０からの指示により、当該開始時間情報の位置にタイムサーチを行い、当該地点から通常再生を行うことで視聴したい映像シーンの検索処理を実行する（ステップＳ３１０）。なお、タイムサーチ後は、通常再生に移行しても、一時停止を継続してもよい。

本実施の形態の装置及び方法によれば、番組把握のために意味的重要性が低いシーン、例えば、コマーシャル映像、又は、コマーシャル前後に位置する重複シーン、を除いた区間を対象に、意味的重要性に基づいて階層化されたサムネイル画像を表示及び選択することができる。このため、本実施の形態の装置及び方法によれば、ユーザーは、階層化されたサムネイル画像を選択することによって、視聴したい映像シーンを迅速、簡単、且つ確実に検索することが可能になる。

また、本実施の形態の装置及び方法によれば、符号化映像像再生装置１００内に保持するサムネイル画像は、ショットとセグメントを示す画像情報のみであればよく、全ての符号化圧縮単位のサムネイル画像を保持する必要はない。また、本実施の形態の装置及び方法によれば、サムネイル画像としては、ＭＰＥＧで利用される画像全体の平均値を表す成分であるＤＣ成分から生成することで、画像間の比較を容易にするとともに、画像圧縮効率に優れたサムネイル画像の情報を記録することができる。このため、符号化映像再生装置１００が取り扱う画像情報量は少なくなり、符号化映像再生装置１００のハードウェア及び／又はソフトウェアには高い情報処理能力が要求されることはなく、回路規模が小さくても、視聴したい映像シーンを効率的に検索することが可能となる。

本発明の実施の形態に係る符号化映像再生装置を含むシステムの構成を概略的に示すブロック図である。 実施の形態に係る符号化映像再生装置の記録再生ドライブ部内の論理ファイル構造を示す図である。 図２に示されるストリーム情報ファイルの４階層から成るデータ管理構造を示す図である。 図２に示される再生制御情報ファイルのシンタックスを示す図である。 図２に示されるメタデータ管理ファイルのシンタックスを示す図である。 図５に示されるメタデータ管理ファイルのデータ構造におけるセグメントとショットの関連図である。 実施の形態に係る符号化映像再生装置によって表示装置に表示される映像検索画面（基本）の一例を示す図である。 実施の形態に係る符号化映像再生装置によって表示装置に表示される映像検索画面（詳細）の一例を示す図である。 （Ａ）乃至（Ｅ）は、実施の形態に係る符号化映像再生装置の不要シーン特定部によって特定された不要シーンを除いて、サムネイル画面を生成する処理の説明図である。 （Ａ）乃至（Ｅ）は、実施の形態に係る符号化映像再生装置の不要シーン特定部によって特定された不要シーンを除いて、サムネイル画面を生成する他の処理の説明図である。 （Ａ）乃至（Ｅ）は、実施の形態に係る符号化映像再生装置の不要シーン特定部によって特定された不要シーンを除いて、サムネイル画面を生成する他の処理の説明図である。 実施の形態に係る符号化映像再生装置におけるセグメント情報及びショット情報の取得処理を示すフローチャートである。 実施の形態に係る符号化映像再生装置における不要シーン情報の取得処理を示すフローチャートである。 実施の形態に係る符号化映像再生装置における映像検索処理を示すフローチャートである。

符号の説明

１００ 符号化映像再生装置、 １１０ 操作入力部、 １２０ システム制御部、 １２１ メモリ部、 １３０ デコーダブロック、 １３１ 放送受信部、 １３２ ストリーム制御部、 １３３ 記録再生ドライブ部、 １３４ 映像音声デコーダ部、 １３５ 特徴シーン抽出部、 １３６ 不要シーン特定部、 １４０ 表示装置、 ２００ ルートディレクトリ、 ２０１ マルチメディアディレクトリ、 ２０２ ストリーム管理ディレクトリ、 ２０３ メタデータ管理ディレクトリ、 ２１１ 再生制御情報ファイル、 ２１２ ストリーム情報ファイル、 ２１３ メタデータ管理ファイル、 ２１４ サムネイル画像ファイル、 ３００ ＧＯＰ、 ３０１ ショット、 ３０２ セグメント、 ７０１ 再生時間バー領域、 ７０２ セグメント画像情報領域、 ７０３ セグメント属性情報領域、 ８０１ ショット画像情報領域、 ８０２ ショット属性情報領域。

Claims (10)

1. 符号化圧縮された映像信号及び音声信号を多重化した動画像データの記録再生を行う記録再生手段と、
   前記映像信号の物理変化量から、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出する特徴シーン抽出手段と、
   前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する検索画面生成手段と、
   ユーザーによる操作入力を受け付ける操作入力手段と、
   前記操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させる制御手段と
   を有することを特徴とする符号化映像再生装置。
2. 前記映像信号及び音声信号の両方の物理変化量から、不要シーンを特定する不要シーン特定手段を有し、
   前記検索画面生成手段は、前記不要シーンを除いた映像区間について、前記映像検索メニューを生成する
   ことを特徴とする請求項１に記載の符号化映像再生装置。
3. 前記複数の判断基準は、第１の閾値と、前記第１の閾値より小さい第２の閾値を含み、
   前記第１の閾値に対応する階層の映像区間は、セグメントであり、
   前記第２の閾値に対応する階層の映像区間は、前記セグメントに一致する区間又は前記セグメントを分割した区間であるショットである
   ことを特徴とする請求項１又は２に記載の符号化映像再生装置。
4. 前記映像検索メニューは、各セグメントを代表するサムネイル画像を複数含むセグメント画像情報領域と、各ショットを代表するサムネイル画像を複数含むショット画像情報領域とを含み、
   前記ショット画像情報領域に含まれるサムネイル画像は、前記セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む
   ことを特徴とする請求項３に記載の符号化映像再生装置。
5. 前記映像検索メニューに含まれる同じ階層のサムネイル画像の個数は、奇数であることを特徴とする請求項１乃至４のいずれか１項に記載の符号化映像再生装置。
6. 記録再生手段によって記録された、符号化圧縮された映像信号及び音声信号を多重化した動画像データの前記映像信号の物理変化量から、特徴シーン抽出手段によって、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出するステップと、
   検索画面生成手段によって、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成するステップと、
   ユーザーによる操作入力を受け付ける操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させるステップと
   を有することを特徴とする符号化映像再生方法。
7. 不要シーン特定手段によって、前記映像信号及び音声信号の両方の物理変化量から、不要シーンを特定するステップをさらに有し、
   前記映像検索メニューを生成するステップにおいて、前記不要シーンを除いた映像区間について、前記映像検索メニューを生成する
   ことを特徴とする請求項６に記載の符号化映像再生方法。
8. 前記複数の判断基準は、第１の閾値と、前記第１の閾値より小さい第２の閾値を含み、
   前記第１の閾値に対応する階層の映像区間は、セグメントであり、
   前記第２の閾値に対応する階層の映像区間は、前記セグメントに一致する区間又は前記セグメントを分割した区間であるショットである
   ことを特徴とする請求項６又は７に記載の符号化映像再生方法。
9. 前記映像検索メニューは、各セグメントを代表するサムネイル画像を複数含むセグメント画像情報領域と、各ショットを代表するサムネイル画像を複数含むショット画像情報領域とを含み、
   前記ショット画像情報領域に含まれるサムネイル画像は、前記セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む
   ことを特徴とする請求項８に記載の符号化映像再生方法。
10. 前記映像検索メニューに含まれる同じ階層のサムネイル画像の個数は、奇数であることを特徴とする請求項６乃至９のいずれか１項に記載の符号化映像再生方法。

Images