JP4813905B2 - 再生装置及び方法、記録媒体、データ構造、並びに記録装置及び方法 - Google Patents

Description

本発明は、符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含むメイントランスポートストリームを再生するための再生装置及び方法、メイントランスポートストリームが記録された記録媒体、メイントランスポートストリームのデータ構造、並びにメイントランスポートストリームを記録するための記録装置及び方法に関する。

DVDビデオのフォーマットは、静止画像の連続再生（いわゆるスライドショー）を実現している。各静止画像信号はMPEG2（Moving Picture Experts Group 2）ビデオのフレーム内符号化画像（I-picture）に符号化されて、MPEG2プログラムストリームに多重化される。また、I-pictureとオーディオ、サブピクチャをMPEG2プログラムストリームに多重化することで、スライドショーにオーディオやサブピクチャを同期して再生することができる。このようなスライドショーは、プレゼンテーションタイムスタンプPTS(Presentation Time Stamp)に基づいて、所定のタイミングに再生される。

DVDビデオのプログラムストリームは、VOBU(Video Object Unit)を単位とする構造を有する。このような従来のDVDのデータの構造については、例えば下記特許文献１等に記載されている。図３６は、従来のＤＶＤビデオのプログラムストリームの構造を示す模式図である。図３６に示すように、DVDビデオのプログラムストリームは、VOBS（Video Object Set）単位で管理され、これが例えば映画１作品等の単位となる。このVOBSは、複数のVideo Object（VOB）から構成されている。このVOBは、各データがディスク上に１群として記録されている単位である。このVOBは、複数のCellで構成され、これが例えば映画における１シーンや１カット等の単位となる。更に、このCellが複数のVOBU(Video Object Unit)により構成さる。このVOBUは、動画像で0.4〜1.2秒の単位であり、このVOBU中にMPEG２フォーマットにおける１以上のGOP（Group of Picture）が含まれている。

VOBUは、このVOBUの管理情報を有するパックであるNavigation pack（N_PCK）を有し、このNavigation packが各VOBUの先頭に配置される。Navigation packは、VOBU_SRI（VOBU Search Information）とSP_SYNCAを有する。VOBU_SRIは、当該VOBU_SRIを含むVOBUの再生時刻の前後Ｎ秒（Ｎは整数）に再生されるVOBUの先頭アドレスを有する。また、SP_SYNCAは、当該SP_SYNCAを含むVOBUのビデオと同期して再生されるサブピクチャのアドレス情報を有する。映画等を再生する場合に、予めこのNavigation packを読み込み、Navigation packが示す管理情報に基づき再生を行うことができる。

また、VOBUは、このNV_PCKの他に、主映像を有するパックであるビデオパック（V_PCK）と、音声データを有するパックであるオーディオパック（A_PCK）と、副映像データを有するパックであるサブピクチャパック（SP_PCK）とを有している。このV_PCK、A_PCK、SP_PCKは、それぞれMPEG２等の所定のフォーマットで圧縮されて記録媒体上に記録されている。このVOBUには、例えば図３６に示すビデオパックを含む（１つのI-pictureとSequence_end_codeのデータを含む）VOBU１や、ビデオパックを含まないVOBU２等がある。

ここで、スライドショーに使われるVOBUは、ビデオパック（MPEG2ビデオを含むVideo pack）を含まなくてもよい。ビデオパックを含まないVOBU、例えば、図３６においてはVOBU２では、その前のVOBU１からのビデオのスチルを続ける。また、I-pictureがスチルされる時間長を、ナビコマンドによってコントロールすることができる。

また、DVDオーディオのプログラムストリームも、図３６に示す構造と基本的に同じ構造を有している。そして、DVDオーディオのフォーマットは、オーディオ再生とスライドショーの進行が非同期なモード（Browsable slide show）を実現している。Browsable slide showでは、ユーザが、リモコン等で次の静止画像への進行をプレーヤへ指示して、それぞれの静止画像のスチル再生時間が変化しても、オーディオ再生は途切れないで連続に再生される。このように、DVDオーディオには、ビデオとオーディオの再生が非同期なモードがある。

ところで、図３６とは異なるフォーマットのデータが、本願発明者等が先に出願した下記特許文献２に記載されている。下記特許文献２に記載の情報処理装置において記録されるデータのアプリケーションフォーマットは、AVストリームの管理のためにPlay ListとClipとからなる２つのレイヤを有する。Play ListレイヤにおけるPlay Listは、ユーザのみに参照されるものであり、ユーザがPlay Listを参照してビデオ等のデータを再生、編集する際に使用することができる。一方、Clipレイヤは、Play Listにより指定されたAVストリームをプレーヤが再生する際に使用するものである。ここでは、１つのAVストリームとそのAVストリームの付属情報であるペアを１つのオブジェクトとし、それをClipと呼ばれる単位で管理する。AVストリームファイルは、Clip AVストリームファイルと呼ばれ、その付属情報は、Clip Information fileと呼ばれ、別々に記録媒体に記録される。このようにストリームデータと、その付属情報とを別々に記録して管理することでデータの管理を容易に行えるようにしている。

特開平１０−２７１４４４号公報 特開２００２−１５８９７２号公報

しかしながら、上述の図３６に示すようなデータ形式では、静止画像のアドレス情報がMPEGプログラムストリームに埋めこまれてしまうため、読み出すのに時間がかかる。すなわち、静止画像の読み出しアドレスを決定する時に、ディスクからストリームデータを読み出して、そのデータをプレーヤのホストCPUが解析し、その上で、静止画像のアクセス点のアドレスを決定するため、静止画像の読出処理に時間がかかってしまう。一方、上記特許文献２に記載のオーディオ・ビデオデータと同様なフォーマットを使用してスライドショーが実現できれば、データの管理が容易で且つ、同様の記録再生装置を使用すること等ができて便利である。

本発明は、このような従来の実情に鑑みて提案されたものであり、オーディオ・ビデオデータと同様なフォーマットの静止画像及びその付属情報を用いて、スライドショーを容易に実現するために用いられる再生装置及び方法、記録媒体、データ構造、並びに記録装置及び方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る再生装置は、符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを再生管理情報に基づいて再生する再生装置において、前記メイントランスポートストリームから画像情報と副画像情報と前記第１の音声情報を含む場合には前記第１の音声情報とを分離してそれぞれ復号する前に前記メイントランスポートストリームを保存しておく第１のバッファと、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを復号する前に前記オーディオトランスポートストリームを保存しておく第２のバッファと、前記メイントランスポートストリームが前記第１の音声情報を含む場合における前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる前記第１の音声情報と、前記第２のバッファから読み出された前記オーディオトランスポートストリームに含まれる前記第２の音声情報のいずれか一方が入力される第３のバッファとを備え、前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる画像情報を復号し、音声情報と同期して再生する場合は、前記第１の音声情報を選択して復号し、非同期に再生する場合は、前記第２の音声情報を選択して復号し、途切れることなく連続して再生し、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報と副画像情報の再生開始点情報と再生終了点情報を含むとともに、前記メイントランスポートストリームに含まれる画像情報を、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けることを示す第１の情報、及び表示時間を指定する情報を有する。

本発明に係る再生方法は、符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを再生管理情報に基づいて再生する再生方法において、前記メイントランスポートストリームから画像情報と副画像情報と前記第１の音声情報を含む場合には前記第１の音声情報とを分離してそれぞれ復号する前に前記メイントランスポートストリームを第１のバッファに保存するステップと、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを復号する前に前記オーディオトランスポートストリームを第２のバッファに保存するステップと、前記メイントランスポートストリームが前記第１の音声情報を含む場合における前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる前記第１の音声情報と、前記第２のバッファから読み出された前記オーディオトランスポートストリームに含まれる前記第２の音声情報のいずれか一方を第３のバッファに入力するステップと、前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる画像情報を復号し、音声情報と同期して再生する場合は、前記第１の音声情報を選択して復号し、非同期に再生する場合は、前記第２の音声情報を選択して復号し、途切れることなく連続して再生するステップとを有し、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報と副画像情報の再生開始点情報と再生終了点情報を含むとともに、前記メイントランスポートストリームに含まれる画像情報を、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けることを示す第１の情報、及び表示時間を指定する情報を有する。

本発明に係る記録媒体は、再生装置によって使用される符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び前記画像情報の再生管理情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームが記録される記録媒体において、前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、さらに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームが記録されており、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを再生装置に対して指示する情報を有し、前記再生装置により前記再生管理情報が用いられて前記画像情報及び前記第１または第２の音声情報が再生される。
本発明に係るデータ構造は、再生装置によって使用される符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び前記画像情報の再生管理情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを有し、前記再生装置によって再生されるデータ構造において、前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、さらに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを有し、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを再生装置に対して指示する情報を有し、前記再生装置により前記再生管理情報が用いられて前記画像情報及び前記音声情報が再生される。

本発明に係る記録装置は、符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び前記画像情報の再生管理情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを記録媒体に記録する記録装置において、前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、前記メイントランスポートストリームを前記記録媒体に記録するとともに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを記録する記録手段を備え、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを指示する情報を有する。

本発明に係る記録方法は、符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び前記画像情報の再生管理情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを記録媒体に記録する記録方法において、前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、前記メイントランスポートストリームを前記記録媒体に記録するとともに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを記録するステップを備え、前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを指示する情報を有する。

本発明によれば、メイントランスポートストリームと別にオーディオトランスポートストリームを用意することで、音声が画像とは非同期に、途切れることなく連続して再生されるスライドショーを実現することが可能になる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、DVDに動画の記録再生を行ためのフォーマットを利用しつつ、静止画像を連続再生するスライドショーを実現するデータを記録する情報処理装置、及びそのようなデータを再生する情報処理装置に適用したものである。

（１）第１の実施の形態
（１−１）データ構造
ここでは、先ず、本発明の第１の実施の形態における情報処理装置にて記録又は再生されるデータの構造について説明する。図１は、本発明の記録再生システムで用いる記録媒体上の静止画像アプリケーションフォーマットの構造を簡単化して示す図である。このフォーマットは、上述した特許文献２に記載のアプリケーションフォーマットと同様な構成を有し、AVストリームの管理のためにPlay ListとClipの２つのレイヤをもつ。

本第１の実施の形態においては、１枚以上の静止画像からなる静止画像群である静止画像グループ（Group of picture files）とその静止画像グループの付属情報とのペアを１つのオブジェクトと考え、このオブジェクトをClipと呼ばれる単位で管理する。この静止画像グループの付属情報（画像属性情報）をClip Informationと呼ぶ。

また、Clipの中の静止画像を使ったスライドショーの再生区間の集まりをPlay Listと呼ぶ。Play Listは、静止画像の再生順序等を指定する再生パス（再生経路）を示す再生指定情報である。１つの再生区間は、Play Itemと呼ばる。従ってPlay Listは、Play Itemの集まりにより構成される。

Play Listには、２つのタイプがある。１つは、Real Play Listであり、もう１つは、Virtual Play Listである。Real Play Listは、それが参照しているClipの静止画像グループの部分を共有しているとみなされる。すなわち、Real Play Listは、それが参照しているClipの静止画像グループの部分に相当するデータ容量をディスクの中で占める。新しい静止画像が記録される場合、それはReal Play Listに自動的に追加される。Real Play Listの再生範囲の一部分が消去された場合、それが参照しているClipの静止画像グループの部分もまたデータが消去される。一方、Virtual Play Listは、Clipのデータを共有していないとみなされる。Virtual Play Listが変更または消去されたとしても、Clipは何も変化しない。なお、以下の説明においては、Real Play ListとVirtual Play Listを総称して単に、Play Listと呼んでいる。

図２は、Group of picture filesとそのClip Informationの例を示す図である。本実施の形態においては、上述したように、１枚以上の静止画像ファイルを１つのGroup of picture filesとして管理する。そして、このGroup of picture filesに対応するClip Information fileを設ける。Clip Informationは、Group of picture filesに含まれる各静止画像ファイル毎に、静止画像ファイルを参照する時の静止画像識別情報であるID（file_id）、file_idに対応するファイル名（file_name）、そのファイルのバイトサイズ（file_size）、各静止画像の水平方向画素数（horizontal_size）及び静止画像の垂直方向画素数（vertical_size）を示す情報を有するものである。

なお、図２においては、静止画像のデータ形式は、JPEG、PNGとしているが、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればなんでもよいことはいうまでもない。

本実施の形態においては、２種類のスライドショーについて説明する。第１のスライドショーは、各静止画像の再生開始時刻が予め決められているスライドショー（以下、タイムベーススライドショー又はタイムベースモードともいう。）であり、第２のスライドショーは、各静止画像の再生開始時刻が決められておらず、再生順序が決められているスライドショー（以下、Browsable slide showともいう。）である。

タイムベーススライドショーは、ユーザがスライドの再生を次に進めるということを再生装置（プレーヤ）に指示しない場合、それぞれのスライドの再生は自動的に進み、時間軸上で予め決められた時刻に所定のスライドが再生される。従って、各スライドの再生時間（スライドのスチルの持続時間）が有限となっている。タイムベーススライドショーにおいては、静止画像と同時にオーディオを再生する場合、オーディオの再生を静止画像の再生に同期させることができる。

一方、ブラウザブルスライドショーは、再生順序が決められており、各スライドの再生時間が有限又は無限となっている。このように、スライド再生時間が無限であるものが含まれている場合、ユーザが再生装置に、スライドの再生を次に進めるという指示をしない限り、次のスライドの再生には進まない。従って、それぞれのスライドの再生は時間軸上で予め決められた時刻に再生されない。ブラウザブルスライドショーにおいては、静止画像と同時にオーディオを再生する場合、オーディオは静止画像の再生に同期しない。

（１−２）再生開始時刻が指定されたスライドショー
各静止画像の再生開始時刻が予め決められている第１のスライドショーについて図３乃至図５を参照して説明する。

（１−２−１）スライドショー：静止画像のみ
図３は、各静止画像の再生開始時刻が予め決められているスライドショーを説明する図であって、図３（ａ）は、各静止画像の再生開始時刻が予め決められているスライドショーにおけるPlay Listの一例を示す図、図３（ｂ）は、静止画像と再生時間との関係を示す模式図である。各静止画像の再生開始時刻が予め決められているスライドショーでは、それぞれの静止画像がPlay Itemの時間軸上の所定のタイミングで再生される。

Play Listは、複数のPlay Itemから構成されてなる。図３に示すように、各Play Itemは、スライドショーの再生区間を示すIN_time及びOUT_timeのデータを有している。このIN_time及びOUT_timeにより、各スライドショーの再生開始及び終了時刻を指定する。また、各Play Itemは、スライドショーを構成する各静止画像毎のデータ（以下、Sceneともいう。）を有する。このSceneは、Clipの中のGroup of picture filesを参照するときの静止画像の識別情報であるID（file_id）を含む。また、これらのSceneは、Play Itemの中での再生開始時刻（start_time_stamp）を含む。また、これらの各Sceneの再生時間、即ち各静止画像のスチル再生時間である表示時間（duration）を有する。

ここで、各Sceneの再生時間は、Play Itemの中で重なってもよく、１つのSceneは、複数のfile_idを持つことができる。例えば、図３（ｂ）に示す場合、Scene[２]が、Scene[１]及びScene[３]と重なっている。この場合、Scene[２]の画像がScene[１]、及びScene[３]の両方の画像上に重ねて表示される。ここで、図３（ｂ）における画像中の数字は、file_idを示す。なお、各画像の重なり位置の情報、即ち図３（ｂ）においては、例えばScene[２]の画像のScene[１]の画像上での表示位置の情報は、Play Listに記述することができるが、Play Listとは別のファイルに記述されていてもよいし、または、Scene[２]が参照するGroup of picture filesの中に記述されていてもよい。

図４は、図３（ａ）に示すPlay ListとClipとの関係を示す図である。Play Listは、Clipの中の静止画像（この例ではファイルID）を参照する。Clip Informationは、Play Listによって参照される静止画像（ファイルID）とその実態（この例ではファイル名）との関係を示す。即ち、Clip Informationを参照して、Play Listに記述された静止画像識別情報であるID（file_id）のファイル名File_nameを特定する。そして、このファイル名の静止画像ファイルを、Group of Picture filesから読み出す。

（１−２−２）スライドショー：静止画像＋オーディオ
次に、このような各静止画像の再生開始時刻が予め決められているスライドショーにオーディオを同期再生する場合について説明する。図５は、静止画像のスライドショーにオーディオを同期して再生する時のPlay Listの構成例を示す図である。各静止画像の再生開始時刻が予め決められているスライドショーにオーディオを同期する場合、Play Listにおいて、静止画像の再生パスを示すPlay Item（MainPath）とは別に、オーディオの再生パスを示すオーディオ再生指定情報としてのSub Play Item（SubPath）を設ける。

このSub Play Itemは、Play Item（Play List）の時間軸上での再生開始時刻（sync_start_PTS_of_Play Item）を含む。また、このSub Play Itemは、Sub Play Itemが参照するClip上での再生開始時刻（Sub Play Item_IN_time）を含む。また、このSub Play Itemは、Sub Play Itemが参照するClip上での再生終了時刻（Sub Play Item_OUT_time）を含む。

Sub Play ItemがClipの中へのアクセスポイントをプレゼンテーションタイムスタンプ（PTS）で指し示している時、Clip Information fileは、AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。Sub Play Itemが参照するClipのAVストリームファイルはオーディオストリームである。

即ち、Clip Information fileは、オーディオストリームにおける開始時刻と、開始時刻及び終了時刻に対応するソースパケット（アクセス最小単位）のアドレスを示す情報とが記述されたテーブル（オーディオ用のEP_map）を有する。このテーブルを参照して、指定されたプレゼンテーションタイムPTSに対応するアドレスを取得し、このアドレスで示されるオーディオデータを読み出し再生することができる。このように、Sub Play Itemは、静止画像の再生パスを示すPlay Itemの時間軸上での再生開始時刻を有するため、静止画像のスライドショーにオーディオを同期して再生することができる。

（１−３）再生順序のみが指定されたスライドショー
次に、静止画像の再生順序のみを指定する第２のスライドショー（Browsable slide show）について、図６乃至図８を参照して説明する。

（１−３−１）スライドショー：静止画像のみ
図６（ａ）は、Browsable slide showを示すPlay Listの一例を示す図、図６（ｂ）は、静止画像と再生時間との関係を示す模式図である。この場合、図６（ａ）に示すように、Browsable slide showのPlay ItemのSceneは、図３乃至図５の場合と異なり、静止画像の再生開始時刻を指定しない。各静止画像のPlay Itemの中での再生開始時刻（start_time_stamp）の情報の代わりに、各静止画像がPlay Item上で再生される順番のみを指定する情報を有している。更に、図３乃至図５に示す例とは異なり、Play Itemは、IN_time及びOUT_timeを持たない。また、スライドショーを構成する各静止画像の再生時間（表示時間）が決められていない。この例の場合、ユーザが各Sceneの再生時間をプレーヤへ指示することができる。

また、このPlay Listの各Sceneは、上述の図３のような予め決められた再生時間（duration）ではなく、各静止画像のPlay Item中での再生順番に対応したデフォールト再生時間を示す情報を有する。ユーザが特に何も指定しない時のみ、プレーヤはデフォールト再生時間のスチル再生を行う。このように、デフォールト再生時間を有することにより、ユーザは、リモコン等で次の静止画像への進行をプレーヤへ指示し、各静止画像のスチル再生時間を自由にコントロールすることができる。

即ち、Play Itemの各Sceneは、Play Itemの中でのSceneの再生の順序を指定する情報（playing_order）と、Clipの中のGroup of Picture filesを参照する時の静止画像の識別情報であるID（file_id）と、各Sceneのデフォールト再生時間（default_duration）とを有している。なお、このデフォールト再生時間は、各静止画像毎に異なる値としても、同じ値としてもよい。

また、Browsable slide showにおいても、上述の再生時刻を予め指定するスライドショーの場合と同じく、１つのSceneに複数の静止画像を重ねて表示することもできる。この場合は、１つのSceneに複数のfile_idが記述される。例えば図６（ａ）の場合、図６（ｂ）に示すように、Scene[１]にfile_id＝１とfile_id＝２とが記述されている場合、file_id＝２の画像がfile_id＝１の画像上に表示される。ここで、図６（ｂ）における画像中の数字は、file_idを示す。なお、file_id＝２の画像のfile_id＝１の画像上での表示位置の情報は、Play Listに記述することができるが、Play Listとは別のファイルに記述されていてもよいし、または、file_id＝２が参照する画像ファイルの中に記述されていてもよい。

図７は、図６（ａ）に示すPlay Listと、Clipの関係の例を示す図である。Play Listは、Clipの中の静止画像を参照して、Clip Informationは、Play Listによって参照される静止画像とその実態の関係を示す。即ち、本実施の形態においては、Play Listが示すClipの中の静止画像を識別するためのファイルIDから、Clip Informationを参照し、このファイルIDに対応するファイル名を取得し、このファイル名の静止画像をGroup of Picture filesから読み出し再生する。

（１−３−２）スライドショー：静止画像＋オーディオ
次に、このようなBrowsable slide showに対してオーディオを非同期に再生する場合について説明する。図８は、オーディオを非同期に再生するBrowsable slide showのPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図である。Play Listは、静止画像の再生パスを示すPlay Itemと、オーディオの再生パスを示すPlay Itemとからなるが、オーディオを非同期に再生する場合、図５に示す場合と異なり、Play Listは、Play Itemがオーディオの再生パスを示し、Sub Play Itemが静止画像の再生パスを示す。

このBrowsable slide showでは、ユーザが、リモコン等で次の静止画像への進行をプレーヤへ指示して、各静止画像のスチル再生時間が変化しても、オーディオ再生は、スライドショーの進行とは非同期であるため、途切れないで連続に再生される。

ここで、スライドショーの再生経路を示すSub Play Itemの構成は、上述の図６で説明したスライドショーの再生経路を示すPlay Itemと同じである。即ち、Play Itemの中でのSceneの再生順番（playing_order）と、Clipの中のGroup of Picture filesのファイルを参照する際に必要なID（file_id）と、Sceneのデフォールト再生時間（defoult_duration）とから構成されている。

また、図８に示すBrowsable slide showのオーディオの再生経路を示すPlay Itemは、Play Itemが参照するClip上での再生開始時刻（IN_time）と、Play Itemが参照するClip上での再生終了時刻（OUT_time）とが記述されている。

オーディオの再生経路を示すPlay Itemが、Clipのオーディオストリーム中へのアクセスポイントをタイムスタンプで指示している時、Clip Information fileは、ClipのAVストリームファイルの中でオーディオストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。

即ち、Play Itemが参照するClip Information fileは、オーディオストリームにおいて、各再生区間の開始時刻とそのアドレスとの対応関係が記述されたテーブル（オーディオ用EP_map）を有する。これにより、再生装置は指定されたタイムスタンプをアドレスに変換して目的の再生区間のオーディオストリームを読出し再生することができる。

ここでは、オーディオの再生経路を示すPlay Itemにおいて、再生開始時刻と終了時刻とが決められているため、例えばオーディオの再生終了時刻にスライドショーが終了するようにしてもよいし、また、終了時刻まで再生されたオーディオを再び再生するようにして、オーディオを複数回繰り返して再生するようにしてもよい。

（１−４）情報処理装置（記録装置）の構成
次に、上述したように、各静止画像の再生開始時刻が予め決められているスライドショー又は静止画像の再生順序のみが予め決められているスライドショーを実現するためのデータを記録する本実施の形態における情報処理装置について説明する。

図９は、本実施の形態における情報処理装置を示すブロック図である。図９に示すように、情報処理装置１は、端子１３を介して静止画像が入力され、これを符号化する静止画像エンコーダ１４と、端子１０を介してオーディオが入力され、これを符号化するオーディオエンコーダ１１と、端子１５を介してスライドショーの再生内容に関する情報が入力されると共に、静止画像エンコーダ１４及びオーディオエンコーダ１１から夫々画像属性情報及びオーディオ属性情報が供給され、上述したPlay List及びClip Informationを生成するコントローラ１６と、コントローラ１６からPlay List及びClip Informationが供給されこれを例えばDVD等の記録媒体（メディア）に記録すると共に、静止画像及びオーディオデータを所定の形式にて、記録媒体に記録する記録部１７とから構成される。

コントローラ１６は、スライドショーの再生内容に関する情報として、上述の図３に示したように、各静止画像の再生開始時刻が予め決められている場合、各静止画像の再生開始時刻及びその再生時間（表示時間）の情報を受取る。また、図５に示したように、そのようなスライドショーにオーディオを同期して再生する場合、各静止画像の再生開始時刻及びその再生時間に加え、オーディオの再生時間の情報として静止画像の再生パスを示すPlay Item上での再生開始時刻と、オーディオストリーム中での再生区間を示す情報とを受取る。また、上述の図６に示したように、各静止画像の再生開始時刻が決められていなく、その再生順序のみが決められているスライドショーの場合、各静止画像の再生順番及びそのデフォールト再生時間の情報を受取り、また、図８に示したように、そのようなスライドショーとは、非同期のオーディオを再生するの場合、各静止画像の再生順番及びそのデフォールト再生時間に加え、オーディオストリーム中の再生区間を示す情報を受取る。また、コントローラ１６は、静止画像エンコーダ１４から、画像属性情報として、各静止画像のデータサイズ、垂直及び水平画素数等のデータが供給され、Group of Picture filesに含まれる各静止画像に対応する、図２に示すClip Informatioinを作成する。

そして、コントローラ１６は、供給された情報から、このClip Informatioinに記述されたID（file_id）を使用して、上述した静止画像及びオーディオの再生パスを示すPlay Listを作成する。また、オーディオデータのPlay Item上の再生時刻と、オーディオストリームのアクセス最小単位（アクセスポイント）のアドレスとの対応関係を示すテーブル（オーディオ用のEP_map）を有するオーディオデータ用のClip Information（オーディオ属性情報）を作成する。

記録部１７は、これらのClip Information及びPlay Itemを記録媒体に記録すると共に、これらの情報に従ってデータを記録する。図１０は、記録するデータのファイルとディレクトリの構成の例を示す図である。図１０に示すように、ルート１００は、BDAV１１０及びPICTURE１２０のディレクトリを有し、BDAV１１０は、PLAY LIST１１１、CLIPINF１１２及びSTREAM１１３というディレクトリを有している。PLAY LIST１１１は、複数のPlay Listファイル１１１ａ〜１１１ｃを有している。また、CLIPINF１１２は、オーディオストリームのClip Informationファイル１１２ａと、Group of picture filesのClip Informationファイル１１２ｂとを有している。また、STREAM１１３は、オーディオストリーム（Auxiliary audio stream）ファイル１１３ａを有している。更に、PICTURE１２０は、例えば静止画像ファイル１２１〜１２５のグループからなるGroup of picture files１２０ａを複数有している。

図１１は、Clip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置の例を示す。本実施の形態においては、図３及び図６に示すように、Clip Informationの中に出現する画像ファイル名（画像識別情報ID（file_id））の順番に、再生装置（プレーヤ）が静止画像ファイルを読み出し、再生する。よって、プレーヤが静止画像ファイルを読み出す順番に、記録媒体（ディスク）上に静止画像データを並べると、プレーヤのデータのシークにかかる時間を最小にすることができるため、読み出す静止画像ファイルの順番どおりに記録媒体上に静止画像データを書き込むようにすることができる。

次に、本実施の形態における情報処理装置の記録動作について説明する。図１２は、本実施の形態における情報処理装置の記録動作のうち、Play Listの作成方法を示すフローチャートである。先ず、静止画像エンコーダ１４は、端子１３を介して供給される静止画像をエンコードして画像データを生成し、記録部１７へ供給すると共に、その画像属性情報をコントローラ１６へ供給する。また、オーディオエンコーダ１１は、端子１０を介して供給されるオーディオデータをエンコードしてオーディオストリームを生成し、記録部１７へ供給すると共に、そのストリーム属性情報をコントローラ１６へ供給する。

そして、図１２に示すように、コントローラ１６は、スライドショーの再生内容を取得する（ステップＳ１）。即ち、上述したように、スライドショーとオーディオとがAV同期する場合には、各静止画像の再生開始時刻及びその再生時間、並びに、これに同期して再生するオーディオの再生時間の情報を端子１５を介して受取る。また、スライドショーとオーディオとがAV非同期の場合には、各静止画像の再生順番及びそのデフォールト再生時間、並びにオーディオの再生時間の情報を端子１５を介して受取る。

次いで、コントローラ１６は、静止画像エンコーダ１４から画像属性情報を受取り（ステップＳ２）、オーディオエンコーダ１１からオーディオ用のEP_map等のオーディオストリーム属性情報を受取る（ステップＳ３）。そして、コントローラ１６は、この画像属性情報に従って、上述のGroup of picture filesに関する付属情報としてClip Informationを作成する（ステップＳ４）。即ち、スライドショーで再生する画像の順番に、それぞれの静止画像の属性データを登録する。更に、Clip Informationの画像ファイルのfile_idを参照して、供給された外部からの情報に基づきスライドショーの再生区間（再生パス）を示すPlay Listを作成すると共に、オーディオの再生パスを示すPlay Listを作成する（ステップＳ５）。更に、コントローラ１６はPlay ListとClip Informationとを記録部１７に記録するよう指示する。

記録部１７は、コントローラ１６にて作成されたPlay List及びClip Informationを記録媒体に記録すると共に、静止画像エンコーダ１４及びオーディオエンコーダにて生成された夫々画像データ及びオーディオデータを記録媒体に記録する。このとき、記録部１７は、Clip InformationのPlay Item中に出現する画像ファイル順に画像データが並ぶように、画像データを記録する。

このように構成された記録装置としての情報処理装置においては、１以上の静止画像ファイルをまとめて１つのファイルとしたGroup of picture filesとして管理し、このファイルに含まれる各静止画像を管理する例えば識別情報（file_id）等の情報をClip Informationとして管理し、スライドショーにおける各静止画像の再生を指定するPlay Itemを使用する。したがって、上記特許文献２等に記載されている動画用の記録装置と互換を保ちつつスライドショーを実現するデータを記録することができる。即ち、動画像におけるAVストリームファイルの代わりに、静止画像グループのファイル（Group of picture files）を用意する。このGroup of picture files内のファイルを参照するためのClip Information fileを用意し、Play Listによりその再生を指定することにより、動画像のデータのフォーマットにおけるClip（Information file）、Play List等との共通化を図ることができる。

（１−５）情報処理装置（再生装置）の構成
図１３は上述の記録装置により記録されたデータを再生する情報処理装置を示すブロック図である。図１３に示すように、情報処理装置２０は、記録媒体からデータを読み出す読出部２１と、読出部２１により読み出されたPlay List及びClipInformationが供給されるコントローラ２２と、読出部２１により読み出された静止画像データ及びオーディオデータが供給される夫々静止画像デコーダ２３及びオーディオデコーダ２６と、デコードされた静止画像を一時的に保持するフレームバッファ２４と、静止画像の再生を制御するプロセッサ２５とから構成される。

コントローラ２２は、Play Listを参照して再生する静止画像データのID（file_id）を取得し、静止画像デコーダ２３に、取得した静止画像データのIDが示す静止画像素データを読み出させ、復号させる。ここで、静止画像の再生開始時刻が予め決められていないスライドショーを再生する場合は、コントローラ２２には、ユーザーインターフェース２７を介してユーザからの指示が供給され、このユーザからの指示のタイミングにより、静止画像データのIDを取得して読み出し動作を行わせることができる。また、ユーザからの指示がない場合は、Play Listに記述されている静止画像の再生時間（duration）又はデフォールトの再生時間（default_duration）を経過した場合に、静止画像データのIDを取得し読み出し動作を行う。

また、コントローラ２２は、Play Listを参照して再生するオーディオデータの再生時間を取得し、オーディオストリームのClip Informationを参照し、当該再生時間に対応するオーディオストリームのアドレスを取得し、読出部２１に対して該当するオーディオデータを読み出すよう指示する。

以下、この情報処理装置の再生動作について詳細に説明する。図１４は、本実施の形態の情報処理装置における再生動作を示すフローチャートである。図１４に示すように、先ず、読出部２１により、Play ListとClip Informationを読み出し、コントローラ２２に供給する。コントローラ２２はPlay Listの静止画像の再生パスを示すPlay Itemの静止画像を識別するfile_idを取得する（ステップＳ１１）。そして、コントローラ２２は、Group of picture filesのClip Informationを参照して、上記の静止画像のfile_idが示す静止画像ファイルを特定し、その静止画像ファイルを読出部２１により、Group of picture filesから読み出す（ステップＳ１２）。

また、コントローラ２２は、Play Listのオーディオの再生パスを示すPlay Itemに従って、オーディオの再生時間を取得する（ステップＳ１３）。そして、Auxiliary audio streamのClip Informationを参照して、オーディオストリームファイルの中でストリームのデコードを開始すべきアドレス情報を取得して、その情報に基づいて読出部２１により、オーディオストリームファイルからオーディオデータを読み出す（ステップＳ１４）ように制御する。

そして、静止画像デコーダ２３は、ステップＳ１２で読み出された静止画像データをデコード（ステップＳ１５）し、デコードした画像をフレームバッファ２４へ入力する。また、オーディオデコーダ２６は、ステップＳ１４にて読み出されたオーディオデータをデコードし（ステップＳ１６）、デコードしたオーディオを出力する。コントローラ２２は、プロセッサ２５に所定の指示を出し、フレームバッファ２４は、その指示に従って、ストアしている画像を所定のタイミングにて再生する（ステップＳ１７）。

ここで、ステップＳ１１において、コントローラ２２は、次のタイミングｔ１又はｔ２にて静止画像のfile_idを取得する。即ち、静止画像の再生時間が、Play Listの静止画像の再生パスを示すPlay Itemの該当するSceneに記述されている再生時間を経過したタイミングｔ１、又はユーザーインターフェース２７から静止画像を切り替える指示を受け取ったタイミングｔ２である。ここで、Play Itemの最後の静止画像を再生終了したとき、コントローラ２２はPlay Listの再生を終了する。

即ち、コントローラ２２は、上述の図３乃至図５に示す各静止画像の再生開始時刻が予め決められている場合は、上記タイミングｔ１、即ちPlay ItemのSceneに記述されたduratonが経過したタイミングでfile_idを読み出し、これに対応する静止画像の読み出しを読出部２１に指示することができる。また、上述の図６乃至図８に示す各静止画像の再生開始時刻をユーザ等に指示させる場合は、上記タイミングｔ２、即ち、ユーザから等の静止画像の切り替え指示のタイミングにて次のfile_idを読み出し、これに対応する静止画像の読み出しを指示することができる。ここで、静止画像の切り替え指示が供給されない場合は、予め決められているデフォールトの再生時間（default_dulation）を経過した時点を次のfile_idの読出しのタイミングとする。

このように構成された再生装置としての情報処理装置においては、静止画像の連続再生であるスライドショーを実現するデータのフォーマットとして、静止画像及びオーディオデータの管理のためにPlay ListとClipとからなる２つのレイヤを設け、Clipにおける静止画像群及びオーディオストリームと、これらの付属情報であるClip Information fileとが別々のファイルで管理されているため、上述の特許文献２等に記載された動画像の記録再生に適用されるデータのフォーマットと共通化を図ることができる。即ち、Clipに１以上の静止画像からなるGroup of picture filesと、これを管理するClip Information fileとを設け、Play ListのPlay Itemにてスライドショーの再生区間を指定して、静止画像の連続再生であるスライドショーを実現するようにしたので、動画像を扱う情報処理装置と互換を保ちつつ静止画像を連続再生することができる。

また、Play ListのPlay Itemに記述される再生パスの順序で静止画像を記録することにより、読出しにかかるシーク時間を短くすることができる。

（１−６）の変形例
また、上述の実施の形態においては、Group of picture filesに含まれる１以上の静止画像に別々の画像ファイル名を付し、Group of picture filesを別々の画像ファイルの集合として管理する場合について説明したが、これを１つの画像ファイルとして管理してもよい。次に、Group of picture filesに含まれる１以上の静止画像を１つの画像ファイルとして管理する第１の実施の形態における変形例について説明する。

本変形例においては、Group of picture filesにおいて、１以上の静止画像を含む画像ファイルのグループ（以下、静止画像グループファイルという。）に分け、この静止画像グループの例えば再生順序の先頭から順番にID番号を割り振り、そのID番号をClip Informationが参照するものである。

Group of picture filesに含まれる１以上の静止画像を１つの画像ファイルとして管理する本変形例においは、例えば、同時にプレゼンテーションされる静止画像をグループ化して管理することができる。具体的には上述した図７に示すスライドショーの場合、同時に再生されるfile_id＝１及びfile_id＝２の２つの静止画像を１つのグループとしてグループ化し、また、file_id＝３の静止画像を１つのグループとし、また、同時に再生されるfile_id＝４とfile_id＝５の静止画像を１つのグループとしてグループ化する。

この場合、上述した図６に示すPlay Listとは異なる構造を有する。図１５は、本変形例におけるPlay ListとClipとの関係の例を示す図である。図１５に示すように、Play Listは、静止画像の再生パスを示すPlay Itemから構成されてなる点は図６と同様であるが、Play Itemは、図６に示すSceneの代わりに、Pageを有している。ここで、図６に示すSceneは、Play Itemの中での各Sceneの再生順序を指定する情報、Clipの中のGroup of picture filesを参照する際の静止画像の識別情報ID（file_id）、及びデフォールトの再生時間を有しているが、本変形例におけるPageは、上記Sceneの静止画像の識別情報ID（file_id）の代わりに、各静止画像グループの識別情報であるID（group_id）が記述されている点が異なる。その他の点においては、このPageはSceneと同等の機能を有する。即ち、Pageは、Play Itemの中での各Pageの再生の順序を指定する情報（playing_order）と、Clipの中のGroup of Picture filesを参照する際の静止画像グループの識別情報であるID（group_id）と、各Groupのデフォールト再生時間（default_duration）とを有している。

本変形例においても、Play Listは、Clipの中の静止画像を参照し、そして、Clip Informationは、Play Listによって参照される静止画像とその実態との関係を示す。即ち、Play Listは、Clipの中の静止画像を識別するための静止画像グループ識別情報ID（group_id）を参照する。そして、Clip Informationは、この静止画像グループ識別情報ID（group_id）に対応するグループ化された静止画像の記録媒体上でのアドレス情報を示す。再生装置は、このアドレス情報を取得し、静止画像を読み出し再生する。

図１６は、図１５に示す本変形例におけるClip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置の例を示す。Clip Informationは、上述したように、各々の静止画像グループ識別情報ID（group_id）に対応するグループ化された静止画像の記録媒体上でのアドレス情報（ads１、ads２、ads３）を有する。そして、記録媒体上には、Play Itemの再生順序に従って、即ちPage［１］、［２］、［３］に記述された静止画像グループ識別情報ID（group_id＝１、２、３）の順番に、静止画像グループデータが記録されている。

再生装置（プレーヤ）は、Clip Informationの中に出現する静止画像グループ識別情報ID（group_id）の順番に、静止画像データを読み出して再生する。このような静止画像ファイルの構造にすることにより、Group of picture filesを別々の画像ファイルの集合とする場合に比べて、ファイルを管理するためのファイルシステムデータの量を低減することができる。

（２）第２の実施の形態
次に、本発明の第２の実施の形態について説明する。上述の第２の実施の形態においては、Group of picture filesの各静止画像、又は各々の静止画像グループの画像データがそのまま記録媒体に記録されるものとして説明したが、本実施の形態においては、この画像データがトランスポートストリーム（ＴＳ）の形式で記録されるものである。静止画像をトランスポートストリームに多重化する際は、上述の図９における記録部１７にて多重化するものとする。

（２−１）スライドショー：静止画像のみ
図１７は、本実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置を示す。ここでも、同時再生される１以上の静止画像を静止画像グループとして管理する場合であって、再生順序を指定し、各静止画像の再生時間（スライドのスチルの持続時間）が有限であるデフォールトの再生時間としたスライドショーについて説明する。

本実施の形態においては、各々の静止画像グループの画像データがトランスポートストリームに多重化されているため、Clip Informationは、グループ化された静止画像の識別情報ID（group_id）と、それに対応するグループ化された静止画像が多重化されているトランスポートストリーム中における開始アドレス、即ち先頭のソースパケット番号（SPN_start）とを示すテーブルであるEP_mapを有する。なお、ソースパケット番号とは、トランスポートストリームファイルの中におけるソースパケットの順番に１ずつインクリメントされて付される番号であり、トランスポートストリームファイルの先頭のソースパケット番号がゼロとされるものである。

記録装置は、上述の第１の実施の形態と同様に、再生順序（読出し順序）に従って静止画像グループの画像データをトランスポートストリームに多重化して記録し、再生装置（プレーヤ）は、このClip Informationの中に出現する静止画像グループ識別情報ID（group_id）の順番に、静止画像データを読み出して再生する。このような静止画像ファイルの構造にすることにより、このトランスポートストリームの構造は、上記特許文献２で説明されているAVストリームファイルと同様とすることができ、同様の記録再生装置を使用すること等ができて便利である。

また、図１６に示す変形例及び図１７に示す本実施の形態に示すように、再生順序に従ってデータが記録されたデータ配置にすることにより、図１１の場合と同様の効果を奏する。即ち、プレーヤが静止画像ファイルを読み出す順番に、記録媒体（ディスク）上に静止画像データを並べ、読み出す静止画像ファイルの順番どおりに記録媒体上に静止画像データを書き込むようにすることで、プレーヤのデータのシークにかかる時間を最小にすることができる。

（２−２）スライドショー：静止画像＋オーディオ
次に、このようなスライドショーに対してオーディオを非同期に再生する場合について説明する。図１８は、本実施の形態におけるオーディオを非同期に再生する場合のPlay Listを示す図である。Play Listは、静止画像の再生パスを示すPlay Itemと、オーディオの再生パスを示すPlay Itemとからなる。ここで、静止画像の再生パスをPlay Itemとし、オーディオの再生パスをSub Play Itemとしている点が図８に示す場合とは異なる。従って、本実施の形態においては、Sub Play Itemに、再生開始時刻In_timeと再生終了時刻Out_timeを持たせ、オーディオストリームの中の再生開始と再生終了のタイムスタンプを参照する。また、Play Itemは、上述したようにスライドショーを構成する各静止画像のデータであるPageを有している。

再生装置は、Clip informationを参照して、Sub Play Itemの再生開始時刻In_timeと再生終了時刻Out_timeに対応するところのオーディオストリームのデータの記録媒体上でのアドレス情報を取得する。そして、再生装置は、このアドレス情報を用いてオーディオを読み出し再生する。このようなオーディオの再生の仕組みは、図８に示す第１の実施の形態と同様である。

また、Sub Play Item及びPlay Itemには、再生パス等の情報に加えて、再生制御情報を付加することができる。ここで、本実施の形態におけるSub Play Itemは、再生制御情報として、Sub Play Itemの再生がPlay Itemの再生と非同期であることを示す第１の情報（Sub Play Item_type）が付加されている。更に、このSub Play Itemの再生制御情報として、オーディオストリームの再生開始時刻IN_timeと再生終了時刻Out_timeとで示される再生区間を繰り返し再生するか、又は１回だけ再生するかを示すフラグ（第２の情報）（is_repeat_Sub Play Itemフラグ）が付加されている。再生装置は、この第１の情報Sub Play Item_typeにより、Sub Play Itemの再生がPlay Itemの再生と非同期と判断する。また、is_repeat_Sub Play Itemフラグが例えば０のとき、１回のみの再生とし、フラグが１のとき、上記再生区間を繰り返し再生する。

なお、ここでは、この２つの再生制御情報は、静的なデータ形式でSub Play Itemに付随するデータとして説明したが、その他、プレイバックコントロール（いわゆるPBC）のコマンド形式でSub Play Itemに付随させてもよい。具体的には、例えば、is_repeat_Sub Play Itemフラグの代わりに、Repeat-Sub Play Itemというコマンドを使用してSub Play Itemに付随させてもよい。

（３）第３の実施の形態
次に、本発明の第３の実施の形態について説明する。本実施の形態は、上述の第１の実施の形態において説明した図３に示す各静止画像の再生時刻が予め決められているスライドショーや、静止画像の再生順序のみを指定する図６又は図１５に示すスライドショーにおいて、Scene又はPageとして記述されている１つの再生パスを示す画像再生指定情報を、１つのPlay Itemとし、各Scene又はPageに対応する数のPlay Itemを持たせるものである。このように、各Play Itemにより再生パス（１つの再生区間）を示すことにより、AVストリームの再生区間(時間軸上のイン点（IN）とアウト点（OUT）の対で表されるPlay Item)をグループ化したものをPlay Listとして有している上記特許文献２に記載の情報処理装置におけるPlay Itemと同様の構成とすることができ、更に互換性を高めることができる。

（３−１）スライドショー：静止画像のみ
図１９（ａ）及び（ｂ）は、再生順序を指定し、それぞれのスライドの再生時間（スライドのスチルの持続時間）が有限であるスライドショーであって、例えば、図６に示すScene、又は図１８に示すPageの代わりに、Play Itemを使用した場合の夫々Play List及び静止画像と再生時間との関係を示す図である。図１９に示すように、本実施の形態においては、各Play Itemは、再生開始時刻IN_timeと再生終了時刻OUT_timeを使って、各静止画像又は同時に再生される静止画像グループの再生区間を示す。即ち、図６又は図１８に示すPlay Itemにおいては、各Scene又はPageにて各Scene又はPageの長さを示すデフォールトの再生時間（表示時間）default_dulationを指定するものであるが、本実施の形態においては、図１９（ａ）に示すように、Play Item１が、例えば図１８のPage［１］に相当し、そのIN_timeとOUT_timeを夫々ｔ１及びｔ２に設定する。従って、このｔ１からｔ２で示される再生区間は、デフォールト再生時間（delfault_duration）のｄ１に等しい。また、Play Item２のIN_time及びOUT_timeを夫々ｔ２及びｔ３に設定する。このｔ２からｔ３の再生区間は、デフォールト再生時間（delfault_duration）のｄ２に等しい。また、Play Item３のIN_time及びOUT_timeを夫々ｔ３及びｔ４に設定する。このｔ３からｔ４の再生区間は、デフォールト再生時間（delfault_duration）のｄ３に等しい。

各Play ItemのIN_time及びOUT_timeは、ＡＶストリームの中の再生範囲を示しており、ＡＶストリームの中のIN_timeのPTSからOUT_timeのPTSの値までの静止画データが再生される。図１９に示すタイプのスライドショーの場合、あるPlay ItemのIN_timeのPTSからOUT_timeのPTSの値までの静止画像データが再生されると、プレーヤは、自動的に次のPlay Itemの再生に移る。

また、図１９に示すPlay Itemでは、静止画像のデフォールト再生時間が有限である場合である。しかし、例えばPlay Listの作成者が、このデフォールト再生時間を無限に設定したい場合、Play Itemの情報に、再生終了時刻OUT_timeの再生画像を表示しつづけることを示す情報を追加することにより、デフォールト再生時間を無限に設定することも可能である。上述したようにPlay Itemには、上記特許文献２に記載の情報処理装置と同様、新たに情報（再生制御情報）を追加することができる。例えば、図２０に示すように、Play Itemに、OUT_Timeの画像を表示し続けるか否かを示す再生制御情報としてフラグis_Play Item_Stillを付属させることができ、このフラグis_Play Item_Still＝１に設定されている場合（default_durationが無限の場合）、再生装置は、Play Itemの再生終了時刻OUT_timeのPTSの画像を再生したところで、その画像を表示し続ける。この場合、ユーザがスライドの再生を次に進めるということをプレーヤへ指示しない限り、次のスライドの再生に進まない。そして、ユーザが、次の静止画像へ再生を進めることを再生装置に命令すると、再生装置は次のPlay Itemの再生を開始する。

このように、Play Itemにフラグis_Play Item_Stillを付属させれば、１つのPlay Listの中に、静止画像のデフォールト再生時間が有限のPlay Itemと無限のPlay Itemを混在させることができる。図２０に示す例では、Play Item１及びPlay Item３の再生時間を無限にし、Play Item２の再生時間を有限にした場合を示す。また、全てのPlay Itemにおける再生時間を無限としてもよい。

なお、ここでは、OUT_timeの再生画像を表示し続けることを示す再生制御情報は、静的なフラグというデータ形式でPlay Itemに付随するデータとして説明したが、その他、プレイバックコントロール（いわゆるPBC）のコマンド形式でPlay Itemに付随させてもよい。具体的には、例えば、Still-Play Itemというコマンドを使用してPlay Itemに付随させることができる。

図１９及び図２０のPlay Itemが参照する１以上の静止画像からなる静止画像ファイルは、図１７に示したようなトランスポートストリームの形式で記録媒体に記録されている。そして、Play Itemの再生開始時刻IN_timeと再生終了時刻OUT_timeが示すところのトランスポートストリームのデータアドレスは、Clip InformationのEP_mapを参照することにより得ることができる。図２１及び図２２は、Play Listと、そのClip Information fileと、記録媒体上に記録されるデータを模式的に示す図である。

図２１は、図１９に示すPlay Itemの再生時間が有限の場合を示す。図１７と同様に、トランスポートストリーム形式の静止画像ファイルにおいて、ABCD0001.JPGとABCD0001.PNGとが多重化されているトランスポートストリームは、プレゼンテーションタイムスタンプPTSがｔ１からｔ２までの範囲であり、また、ABCD0002.JPGが多重化されているトランスポートストリームはPTSがｔ２からｔ３までの範囲であり、また、ABCD0003.JPGとABCD0003.PNGとが多重化されているトランスポートストリームはPTSがｔ３からｔ４までの範囲である。これら、PTSがｔ１〜ｔ４の間には、静止画像とそれにオーバーレイされるグラフィックスや字幕等がトランスポートストリームに多重化されている。

この静止画像ファイルのトランスポートストリームに関連して記録媒体に記録されているClip Information fileのEP_mapは、トランスポートストリームのプレゼンテーションタイプスタンプPTSの値とそれが示すところのトランスポートストリーム中におけるソースパケット番号との対応関係を示すテーブルである。即ち、本実施の形態におけるEP_mapは、Play Item１、Play Item２及びPlay Item３のそれぞれのIN_timeであるｔ１、ｔ２及びｔ３が示すところの各ソースパケット番号の値を有する。ここで、上述の第２の実施の形態における図１７に示すEP_mapは、複数の静止画像グループ識別情報Group_idと、それが開始されるソースパケット番号SPN_startとの対応関係を示すテーブルであるのに対し、図２１に示す本実施の形態におけるEP_mapは、上記特許文献２に記載のEP_mapと同様の構成、即ち、静止画像のタイムスタンプPTS_startと、それが開始される先頭のソースパケット番号SPN_startとの対応関係を示すテーブルとなっている。

再生装置（プレーヤ）は、このEP_mapを用いて、Play Itemが参照している静止画像データ、即ち、ソースパケット番号SPN_startで示されるデータを読み出し、再生する。このような静止画像ファイルの構造にすることにより、このトランスポートストリームの構造は、上記特許文献２で説明されているAVストリームファイルと同様の構造であるので、同様の記録再生装置を使用すること等ができて便利である。

この図２１に示すPlay Listでは、静止画像のデフォールトの再生時間は有限に設定されており、そのデフォールトの再生時間は、Play Itemの再生開始時刻IN_timeと再生終了時刻OUT_timeとで示される時間区間である。一方、図２２に示すPlay Listでは、静止画像のデフォールトの再生時間に無限が設定されているPlay Itemを含み、デフォールト再生時間が無限であることは、Play Itemに付加されたis_Play Item_Stillフラグにより示される。

ユーザは、有限に設定されたデフォールト再生時間を終わるのを待たずに、又はデフォールト再生時間が無限に設定されている場合はその途中で次の静止画像へ再生を進めることを再生装置に命令することができる。例えば、再生装置がPlay Item１を再生している途中に、ユーザが次の静止画像へ再生を進めることを再生装置に命令すると、再生装置はPlay Item２の再生を開始する。このときの再生開始時刻がIN_Time＝ｔ２となり、再生装置は、EP_mapのｔ２に対応するソースパケット番号spn２で示されるソースパケットから読出し再生する。

また、Play Itemの静止画像のデフォールトの再生時間を示すために、Play Itemの付属情報（再生制御情報）として、OUT_timeの画像の再生をスチルさせることを示す情報、及びスチルの持続時間を示す情報を使用することもできる。

例えば、OUT_timeの画像の再生をスチルさせることを示す情報として、上述のis_Play Item_Stillフラグを使用し、is_Play Item_Stillフラグに加えて、スチルの持続時間を示す情報Still_durationを追加する。具体的には、is_Play Item_Stillフラグが１であるとき、OUT_timeの画像の再生をスチルさせることを示し、そのスチルの持続時間をStill_durationが示すものとすることができる。また、スチルの持続時間Still_durationが所定の値に設定されている場合に、スチルの持続時間が無限であることを示すことにすればよい。例えば、スチル持続時間Still_durationを８ビットの値としたとき、0xFFの場合に、スチルの持続時間が無限であることを示し、それ以外の値であるとき、Still_durationの値は、有限のスチルの持続時間を示すものとする。このスチル持続時間Still_durationの値の単位としては例えば秒（ｓ）を設定することができる。

また、任意のPlay Itemへのランダムアクセスを考慮するに、それぞれのPlay Itemが参照するトランスポートストリーム部分が、トランスポートストリームファイルの中でソースパケットのレベルで多重化されていないほうが便利である。なぜなら、そのPlay Itemの再生に必要なデータの読み出し量を最小にできるからである。そのためには、図２３に示すように、各Play Itemが参照するトランスポートストリーム部分毎に、トランスポートストリームの基本となる同期信号（システムタイムクロック（SystemTimeClock）)STCを独立させておくことが好ましい。これにより、各Play Itemが参照するトランスポートストリーム部分をトランスポートストリームファイルの中で独立させた状態で、トランスポートストリームを多重化することができる。

図２３に示すClip Information fileは、上記特許文献２と同様のSequenceInfoを有する。SequenceInfoは、Clip Information fileの付属情報であり、トランスポートストリームファイルの中で連続なシステムタイムクロックSTCが開始するところのソースパケット番号(SPN_STC_start)とそのシステムタイムクロックSTCのインデックス番号(stc_id)との対応関係を示すテーブルである。１つの連続なシステムタイムクロックSTCを有するソースパケット列をSTC-sequenceと呼ぶ。

この場合は、図２３に示すように、Play Itemは、再生開始時刻IN_time及び再生終了時刻OUT_timeに加えて、これらタイムスタンプが参照するところのSTCへの参照値(ref_to_stc_id)を有する。再生装置（プレーヤ）は、EP_mapとSequenceInfoとを使用して、Play Itemが参照している静止画像データを読み出し、再生する。

（３−２）スライドショー：静止画像＋オーディオ
次に、このように、各再生区間がPlatListにより示されるスライドショーと共にオーディオを再生する場合について説明する。

（３−２−１）静止画像とオーディオが同期して再生する場合
先ず、図２１のような静止画像のPlay Listに対してオーディオを同期させて再生する場合について説明する。上述した図５に示す第１の実施の形態においては、スライドショーにおける各静止画像の再生開始時刻及び再生時間が決められており、この静止画像の再生に同期して再生させるオーディオの再生パスを示すオーディオ再生指定情報にSub Play Itemを使用している。このように、オーディオの再生パスとしてSub Play Itemを使用することもできるが、静止画像をトランスポートストリームに多重化する場合は、静止画像に同期して再生するオーディオもまた、トランスポートストリームに多重化する方が読み出すストリームが１本になるので、再生処理が容易である。

図２４は、静止画像に同期して再生するオーディオもまた、トランスポートストリームに多重化し、静止画像の再生に同期させてオーディオを再生するスライドショーのPlay Listを示す図である。図２１に示す例においては、１以上の静止画像がトランスポートストリームに多重化されていたが、本実施の形態においては、スライドショーに同期して再生されるオーディオストリームが、静止画像と共にトランスポートストリームに多重化されている。再生装置（プレーヤ）は、Clip InformationのEP_mapを用いて、Play Itemが参照している静止画像データ及びオーディオを読み出し、プレゼンテーションタイムスランプPTSに基づいて、静止画像にオーディオを同期させて再生出力する。

ここで、図２１、図２２、図２３又は図２４のEP_mapが、トランスポートストリームファイル（静止画ファイル）の中で指し示すソースパケットについて、２通りの方法を説明する。

図２５に示すEP_mapにおいては、静止画像の再生開始時刻のPTS（＝ｔ２）に対応する静止画像のデータを含む最初のビデオパケット（「Ｖ」）がソースパケット番号spn2により、指し示される。この場合、静止画像にオーバーレイされる（同期して再生される）グラフィクス（「Ｇ」）や字幕（「Ｓ」）等の副画像情報は、EP_mapによって指し示されるビデオパケットよりも位置的に後ろに多重化される。

また、図２６に示すように、ＴＳファイルでは、静止画像の再生開始時刻のPTS（＝ｔ２）に対応する静止画像のデータを含む最初のビデオパケット（「Ｖ」）の前に、MPEG２トランスポートストリームのシステム情報であるPAT（Program Association Table：番組表）とPMT（Program Map Table：番組対応表）とが多重化されており、例えばそのPATを含むパケットを、EP_mapのソースパケット番号spn2によって指し示してもよい。

（３−２−２）静止画像の再生がオーディオの再生と非同期である場合
次に、このような静止画像のPlay Listに対してオーディオを非同期に再生する場合について説明する。図２７は、オーディオを非同期に再生するBrowsable slide showのPlay Listを示す図である。Play Listは、静止画像の再生パスを示す複数のPlay Itemと、オーディオの再生パスを示すSub Play Itemとからなる。図１８に示す第２の実施の形態と同様に、Sub Play Itemの再生開始時刻IN_time及び再生終了時刻OUT_timeは、オーディオストリームの中の夫々再生開始及び終了のタイムスタンプにより示される。

再生装置は、Clip Informationを参照して、Sub Play ItemのIN_time及びOUT_timeに対応するところのオーディオストリームの記録媒体上でのデータアドレス情報を取得する。そして、再生装置は、このアドレス情報を用いてオーディオを読み出し再生する。このようなオーディオの再生の仕組みは、上述の図８に示す第１の実施の形態と同様である。Play Listの作成者は、図１８に示す第２の実施の形態と同様にして、Play Itemに対して再生制御情報を付加することができる。即ち、再生制御情報として、オーディオストリームの再生開始時刻IN_timeと再生終了時刻Out_timeとで示される再生区間を繰り返し再生するか、又は１回だけ再生するかを示すフラグ（is_repeat_Sub Play Itemフラグ）とSub Play Itemの再生がPlay Itemの再生と非同期であることを示す情報（Sub Play Item_type）とを付加する。なお、上述したように、この再生制御情報をプレイバックコントロール（いわゆるPBC）のコマンド形式でSub Play Itemに付随させてもよい。

この場合、再生装置は、以下の３通りの方法でSub Play Itemの再生を行うことができる。即ち、第１の方法は、Play Itemが参照する静止画像ファイルと、Sub Play Itemが参照するオーディオストリームファイルとの２つのファイルのデータを記録媒体から読み出すときに、それぞれのファイルを時分割に交互に読み出す方法である。この場合、再生装置は、２つのファイルのデータを記録媒体から交互に読み出しながら、静止画像とオーディオとを再生する。

第２の方法は、はじめに、Sub Play Itemが参照するオーディオストリームファイルの全てのデータを読み出し、それを再生装置の中のバッファメモリーに蓄える。次に、Play Itemが参照する静止画像データを記録媒体から読み出す。再生装置は、静止画像データを記録媒体から読み出し、オーディオデータをバッファメモリーから読み出しながら、静止画像とオーディオとを再生する。

第３の方法は、はじめに、Play Itemが参照する静止画像ファイルの全てのデータを読み出し、それを再生装置の中のバッファメモリーに蓄える。次に、Sub Play Itemが参照するオーディオストリームを記録媒体から読み出す。再生装置は、オーディオストリームを記録媒体から読み出し、静止画像をバッファメモリーから読み出しながら、静止画とオーディオを再生する。

ここで、上記第２の方法は、Sub Play Itemが参照するオーディオストリームファイルのバイトサイズが小さい場合に有効であり、また、上記第３の方法は、Sub Play Itemが参照する静止画像ファイルのバイトサイズが小さい場合に有効である。

例えば、実用的な例として、数メガバイト（Mbyte）程度の大きさならば、再生に先立って、全てファイルデータをバッファメモリーに読み出すことができる。ブラウザブルスライドショーのアプリケーションとして、オーディオ再生はＢＧＭ(Back Ground Music)であり、Sub Play Itemの再生を繰り返し行う場合、例えば、ビットレート２５６kbpsのオーディオストリームの約６５秒間のデータサイズは、約２メガバイト（Mbyte）であるため、上記第２の方法は有効である。

次に、上記の第１の方法で読み出す場合のプレーヤモデルについて説明する。図２８は、上記第１の方法で読み出し再生する再生装置を示すブロック図である。この方法においては、Play Itemが参照するメイントランスポートストリーム（静止画像ファイル）（以下、メインＴＳという。）と、Sub Play Itemが参照するオーディオトランスポートストリーム（以下、オーディオＴＳという。）との２つのファイルのデータをドライブ（記録媒体）から読み出すときに、それぞれのファイルを時分割に交互に読み出す。なお、本実施の形態におけるトランスポートストリーム（DVR MPEG2-TS）の構成については後述する。

再生装置は、２つのファイル（メインＴＳ及びオーディオＴＳ）データを記録媒体３１から交互に読み出しながら、静止画像とオーディオとを再生する。読出部３１にて読み出された各ファイルデータは、復調・ＥＣＣ復号部３２により、復調され、復調された多重化ストリームに誤り訂正が施される。そして、メインＴＳファイルのソースパケットデータは、メインＴＳをバッファリングするメインＴＳ用リードバッファ（Read Buffer）３３にバッファリングされ、また、オーディオＴＳファイルのソースパケットデータは、オーディオＴＳをバッファリングするオーディオＴＳ用リードバッファ３４にバッファリングされる。

メインＴＳ用リードバッファ３３から読み出されたストリームデータは、後述するメイン用プレーヤ（BDAV MPEG2 TS Player Model_1）３５に供給される。メイン用プレーヤ３５は、メインＴＳ用リードバッファ３３から伝送レートＲＭＡＸで読み出したストリームデータを所定のタイミング（伝送レートＲＴＳ＿ｍ）で、後段のメイン用PID（パケットＩＤ）フィルタ３７へ出力する。また、オーディオＴＳ用リードバッファ３４から読み出されたストリームデータは、後述するオーディオ用プレーヤ（BDAV MPEG2 TS Player Model_2）３６に供給される。オーディオ用プレーヤ３６は、オーディオＴＳ用リードバッファ３４から伝送レートＲＡで読み出したストリームデータを所定のタイミング（伝送レートＲＴＳ＿ａ）で、後段のオーディオ用PIDフィルタ３９へ出力する。

メイン用PIDフィルタ３７は、入力されたメインＴＳをPID（パケットＩＤ）に応じて、後段の各エレメンタリーストリームのデコーダへ振り分けて出力する。即ち、静止画像（ビデオ）、副画像情報（グラフィックス及びサブタイトル（字幕）等）、並びにメインＴＳのPSI（Program Specific Information：プログラム仕様情報）及びSI（Service Information）等のシステム情報が、夫々トランスポートバッファＴＢ１、ＴＢ２及びＴＢsys１に振り分けられる。なお、SIは、TSの付加情報を記述するテーブルであって、MPEG2規格外のものを示す。SIもまた、トランスポートパケットにパケット化さる。SIには、SIT（Selection Information Table）等がある。静止画像のトランスポートパケットは、トランスポートバッファＴＢ１から一定レートＲｘ１で多重バッファＭＢに伝送され、更に一定レートＲｂｘ１でエレメンタリーストリームＥＢに伝送され、デコーダＤ１にてデコードされ出力される。また、副画像情報のトランスポートパケットは、トランスポートストリームバッファＴＢ２から、一定レートＲｘ２でバッファＢ２に伝送され、デコーダＤ２にてデコードされ出力される。また、システム情報のトランスポートパケットは、トランスポートバッファＴＢsys１から一定レートＲｘｓｙｓでバッファＢsys１に伝送され、デコーダＤsys１にてデコードされ出力される。

同様に、オーディオ用PIDフィルタ３８は、入力されたオーディオトランスポートストリームをPID（パケットID）に応じて、後段の各エレメンタリーストリームのデコーダへ振り分けて出力する。即ち、オーディオのトランスポートパケットは、トランスポートバッファＴＢ４から一定レートＲｘ４でメインバッファＢ４に伝送され、デコーダＤ４にてデコードされ出力される。また、オーディオＴＳのシステム情報のトランスポートパケットは、トランスポートバッファＴＢsys２から一定レートＲｘｓｙｓでバッファＢsys２に伝送され、更に一定レートＲｓｙｓでデコーダＤsys２に伝送されデコードされて出力される。

また、オーディオ用PIDフィルタ３８とトランスポートストリームバッファＴＢ４、ＴＢsysとの間には、オーディオスイッチ（Audio SW）３９が設けられている。このオーディオスイッチ３９は、例えば図２４等に示すようなタイムベースドモード（Time Based mode）のスライドショウを再生する場合と、例えば図２２又は図２３等に示すブラウザブルモード（Browsable mode）のスライドショウを再生する場合とで切替え制御される。即ち、オーディオスイッチ３９は、メインＴＳ用リードバッファ３３からのデータが供給されるメイン用PIDフィルタ３７と接続されたタイムベースモードスイッチＳＷＴと、オーディオ用リードバッファ３４からのデータが供給されるオーディオ用PIDフィルタ３８と接続されたブラウザブルモードスイッチＳＷＢとを有し、これを切替えて、オーディオストリームをトランスポートバッファＴＢ４に供給するようになされている。例えば、ブラウザブルスライドショーの場合、オーディオスイッチ３９は、ブラウザブルモードスイッチＳＷＢの側にあり、従って、その場合、オーディオストリームは、オーディオＴＳ用リードバッファ３４からオーディオ用PIDフィルタ３８を介してオーディオデコーダＤ４へ供給される。また、例えば図２４に示すタイムベースドスライドショーの場合であって、オーディオストリームがメインＴＳに多重化されている場合、オーディオスイッチ３９は、タイムベースモードスイッチＳＷＴの側にあり、メインＴＳに多重化されたオーディオストリームは、メインＴＳ用リードバッファ３３からメイン用PIDフィルタ３７を介してトランスポートバッファＴＢ４又はＴＢsys２へ供給される。

次に、エレメンタリーストリームのデコーダについて説明する。TBn、MB、EB、TBsys、Bsys、Rxn、Rbxn、Rxsys、Dn、及びDsysの表記方法は、ISO/IEC13818-1 (MPEG2 Systems規格)のT-STD（System Target Decoder）に定義されているものと同じである。即ち、次の通りである。
TBn（ｎ＝１〜５）：エレメンタリーストリームｎのトランスポートバッファ
MB：ビデオストリームの多重バッファ
EB：ビデオストリームのエレメンタリーストリームバッファ
TBsys：復号中のプログラムのシステム情報のための入力バッファ
Bsys：復号中のプログラムのシステム情報のためのシステムターゲットデコーダ内のメインバッファ
Rxn：データがTBnから取り除かれる伝送レート
Rbxn：PESパケットペイロードがMBnから取り除かれる伝送レート（ビデオストリームについてのみ存在）
Rxsys：データがTBsysから取り除かれる伝送レート
Dn：エレメンタリーストリームnのデコーダ
Dsys：復号中のプログラムのシステム情報に関するデコーダ
次に、図２８に示したプレーヤモデルに含まれるメイン用プレーヤ（BDAV MPEG2 TS Player_1）３５及びオーディオ用プレーヤ（BDAV MPEG2 TS Player_2）３６について説明する。図２９（ａ）及び（ｂ）は、夫々メイン用プレーヤ３５及びオーディオ用プレーヤ３６を示すブロック図である。

図２９（ａ）に示すように、メイン用プレーヤ３５では、前段のメインＴＳ用リードバッファ３３から読み出されたソースパケットデータがソースデパッケタイザ部４１へビットレートＲＭＡＸで入力される。ＲＭＡＸは、メインＴＳファイルのソースパケットストリームのビットレートである。

アライバルタイムクロックカウンタ（Arrival time clock counter）４２は、パルス発振器（27MHz X-tal）４３から出力される２７ＭＨｚの周波数のパルスをカウントするバイナリカウンタである。そして、アライバルタイムクロックカウンタは、時刻ｔ（ｉ）におけるカウント値Arrival_time_clock(i)を出力する。

メインＴＳ及びオーディオＴＳは、トランスポートパケットとそのアライバルタイムスタンプとを有するソースパケットを単位とするデータ列からなり、１つのソースパケットは、１つのトランスポートパケットとそれのarrival_time_stamp（ATS）を持つ。arrival_time_stampは、メインＴＳ又はオーディオＴＳの中で、対応するトランスポートパケットがデコーダに到着する時刻を示すタイムスタンプである。各ストリームを構成する各ソースパケットのarrival_time_stampに基づいて作られる時間軸をアライバルタイムベースといい、そのクロックをATC（Arrival Time Clock）と呼ぶ。

そして、このようなメインＴＳから読み出された現在のソースパケットのarrival_time_stampが、アライバルタイムクロックカウンタ４２のカウント値arrival_time_clock(i)のＬＳＢ（least Significant Bit：最下位ビット）３０ビットの値と等しい時、そのソースパケットのトランスポートパケットがソースデパッケタイザ部４１から出力される。ＲＴＳ＿ｍは、メインＴＳのビットレートである。

また、図２９（ｂ）に示すように、オーディオ用プレーヤ３６では、前段のオーディオＴＳ用リードバッファ３４から読み出されたソースパケットデータがソースデパッケタイザ４４へビットレートＲＡで入力される。ビットレートＲＡは、オーディオＴＳファイルのソースパケットストリームのビットレートである。

アライバルタイムクロックカウンタ４５及びパルス発振器４６は、メイン用プレーヤ３５と同様の働きをする。また、ソースデパッケタイザ部４４は、メイン用プレーヤ３５と同様の働きをする。即ち、現在のソースパケットのarrival_time_stampが、アライバルタイムクロックカウンタ４５のカウント値arrival_time_clock(i)のＬＳＢ３０ビットの値と等しい時、そのソースパケットのトランスポートパケットがソースデパッケタイザ部４４から出力される。ＲＴＳ_Ａは、オーディオＴＳのビットレートである。

図３０は、ブラウザブルモードのスライドショーのバッファモデルの概念を示す図である。ブラウザブルモードでは、Play Itemが参照する静止画像のファイルであるメインＴＳファイルと、Sub Play Itemが参照するオーディオＴＳファイルを時分割に交互にドライブからレートＲＵＤで読み出す時に、メインＴＳのソースパケットストリームのビットレートＲＭＡＸとオーディオＴＳのソースパケットストリームのビットレートＲＡとが保障される必要がある。そのために、例えば図９に示す静止画像エンコーダ１４及びオーディオエンコーダ１１において、夫々メインＴＳ及びオーディオＴＳをエンコードして記録するときに、それぞれのビットレートの上限値を制限しなければならない。

図３１（ａ）及び（ｂ）は、夫々図２８に示すブラウザブルモードのスライドショー時のエレメンタリーストリームバッファＥＢ（ビデオコードバッファ）のビット占有量及びオーディオコードバッファＢ４のビット占有量の例を示すグラフである。図３１（ａ）及び（ｂ）において、縦軸は、夫々ビデオコードバッファ及びオーディオコードバッファのバッファ占有率を示し、横軸は、夫々メインＴＳ及びオーディオＴＳのシステムタイムクロックＳＴＣを示す。

図３１（ａ）に示すように、スタートアップディレイ（start up delay）は、最初のビデオパケットが入力される時間ｔＶから、Ｉ−ピクチャがエレメンタリーストリームバッファＥＢにバッファリングされるまでの時間（ＤＴＳ：Decoding Time Stamp）を示す。ブラウザブルモードにおいて、ユーザが次のスライドにスキップした際に、上記最初のビデオパケットの入力が開始される。図３１（ａ）及び（ｂ）において、傾きｋＥＢは、ビデオバッファＥＢへの入力レートを示し、傾きｋＢ４は、オーディオバッファＢ４の入力レートを示す。なお、図３１（ａ）において、傾きｋＥＢがゼロでビデオコード占有率が一定値となっている時間は、グラフィックス及び字幕等の副画像情報等が読出されている時間を示す。

メインＴＳのソースパケットストリームをビットレートＲＭＡＸで読み出すことを保障できれば、後段の図２８に示すビデオデコーダＤ１において、静止画像を所定のデコードタイミングに間に合うようにデコードすることができる。また、オーディオＴＳのソースパケットストリームをビットレートＲＡで読み出すことを保障できれば、後段の図２８に示すオーディオデコーダＤ４において、オーディオデータを所定のデコードタイミングに間に合うようにデコードすることができる。

図３２は、ブラウザブルモードのスライドショーでのメインＴＳとオーディオＴＳの同時読み出し方法のモデルを示す模式図である。

メインＴＳとオーディオＴＳのそれぞれは、ディスク上に連続に配置されているとする。このとき、メインＴＳとオーディオＴＳとを次のようにして交互に読み出す。
（１）メインＴＳから所定のデータ量Ｘを読み出す。
（２）オーディオＴＳの所定のデータ位置へジャンプする。
（３）オーディオＴＳから所定のデータ量Ｙを読み出す。
（４）メインＴＳの所定のデータ位置へジャンプする。そして、メインＴＳから所定のデータ量Ｘを読み出す。

上述のメインＴＳから１回のリードアクションで読み出すデータ量Ｘは、メインＴＳ用リードバッファ３３の必要なサイズである。また、上述のオーディオＴＳから１回のリードアクションで読み出すデータ量Ｙは、オーディオＴＳ用リードバッファ３４の必要なサイズである。下記式（１）に、メインＴＳ用リードバッファ３３及びオーディオＴＳ用リードバッファ３４に必要なサイズを計算する式を示す。

例えば、
ドライブからの読み出しレートＲＵＤ＝５４Mbps
ジャンプ時間Ｔｊ＝０．８秒
メインＴＳのソースパケットストリームのビットレートＲＭＡＸ＝２０Mbps
オーディオＴＳのソースパケットストリームのビットレートＲＡ＝６４０kbps
とすると、
メインＴＳ用リードバッファ３３に必要なサイズｘ＝４．０６MBytes
オーディオＴＳ用リードバッファ３４に必要なサイズｙ＝０．１７６MBytes
となる。

（３−３）静止画像データの他の例
また、上述の図２２の説明において、静止画像のデータ形式は、JPEG、PNGとしているが、上述したように、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればよいことはいうまでもない。例えば、MPEG2 I-ピクチャ（フレーム内符号化画像）をトランスポートストリームに多重化する場合の例を図３３に示す。図３３は、静止画像データとしてＩピクチャを使用する場合のPlay Listと、Clip Information fileと、記録媒体に記録されるデータ構造とを示す図である。図２２に示す場合と比べて、静止画像像のデータ形式がＩピクチャ（フレーム内符号化画像）であるところが異なるのみであり、Play List、EP_map、トランスポートストリームの関係は同じである。この場合においても、図２７に示す場合と同様にして、静止画像の再生パスを示すPlay Listに対してオーディオの再生パスを示すSub Play Itemを付加してもよい。

また、同様にして、図２１の説明において、静止画像のデータ形式は、JPEG、PNGとしているが、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればよい。この場合においても、図２４に示す場合と同様にして、トランスポートストリームファイル（静止画像ファイル）にオーディオを多重化してもよい。

図３３のEP_mapが、トランスポートストリームファイル（静止画像ファイル）の中で指し示すソースパケットについて、２通りの方法を説明する。図３４に示すトランスポートストリームファイルでは、各Ｉピクチャがシーケンスヘッダから開始しており、上記特許文献２の説明と同様に、このシーケンスヘッダの第１バイト目を含むパケットが、EP_mapによって指し示される。この場合、静止画像にオーバーレイされる（同期して再生される）グラフィクスや字幕は、EP_mapによって指し示されるビデオパケットよりも位置的に後ろに多重化される。

また、図３５に示すトランスポートストリームファイルでは、シーケンスヘッダの第１バイト目を含むパケットの前にＭＰＥＧ２トランスポートストリームのシステム情報であるPAT及びとPMTが多重化されており、そのPATを含むパケットがEP_mapによって指し示される。

トランスポートストリームファイル（静止画像ファイル）において、Ｉピクチャと、それにオーバーレイされるグラフィックスや字幕とがトランスポートストリームに多重化される場合、Ｉピクチャとして示すデータの構造には、次の二つの構造が挙げられる。即ち、第１の構造としては、１枚のＩピクチャの直後にシーケンスエンドコードが続く構造である。第２の構造は、静止画像をビデオシーケンスとして符号化する場合であり、Play Itemの再生時間に等しい複数枚のピクチャを符号化する。即ち、Ｉピクチャとそれに続く複数のＰピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）からなる構造である。このＰピクチャやＢピクチャは、Ｉピクチャから予測されるピクチャであるが、静止画像をビデオとして符号化するので、ＰピクチャやＢピクチャは予測データを持たず、いわゆるＭＰＥＧ２のスキップドマクロブロックを用いて符号化される。上記第１の構造及び第２の構造は、共にＩピクチャの前にシーケンスヘッダが設けられている。

また、本実施の形態におけるスライドショーのためのPlay Itemと上記特許文献２に説明されている動画像再生のためのPlay Itemとを１つのPlay Listの中に混在してもよい。これにより、ユーザは１つのPlay Listの再生において、動画像の再生と静止画像の再生とをシームレスに楽しむことができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、記録を行う装置と、再生を行う装置とは別々の装置として記録したが、記録再生を行う装置としてもよい。また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

以上詳細に説明したように本発明に係る情報処理装置の実施の形態によれば、１以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段と、上記記録媒体から静止画像を読み出し再生する再生手段と、上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成するので、静止画像群とは別に、画像属性情報及び画像再生指定情報が記録媒体に記録されるため、記録媒体から静止画像を読出し再生する際には、画像属性情報及び画像再生指定情報を先に読出し静止画像群の各静止画像を所定の順序に生成することができ、静止画像の連続再生（いわゆるスライドショー）を容易に実現することができる。

本発明の第１の実施の形態における情報処理装置で用いる記録媒体上の静止画像アプリケーションフォーマットの構造を簡単化して示す図である。 Group of picture filesとそのClip Informationの例を示す図である。 （ａ）は、本発明の第１の実施の形態における各静止画像の再生開始時刻が予め決められたスライドショーにおけるPlay Listの一例を示す図、（ｂ）は、静止画像と再生時間との関係を示す模式図である。 図３（ａ）に示すPlay ListとClipとの関係を示す図である。 本発明の第１の実施の形態における各静止画像の再生開始時刻が予め決められたスライドショーにオーディオを同期して再生する場合のPlay Listの構成例を示す図である。 本発明の第１の実施の形態における（ａ）は、各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの一例を示す図、（ｂ）は、静止画像と再生時間との関係を示す模式図である。 図６（ａ）に示すPlay Listと、Clipの関係の例を示す図である。 本発明の第１の実施の形態における各静止画像の再生順序のみが決められたスライドショーにオーディオを非同期で再生する場合のPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図である。 本発明の第１の実施の形態における情報処理装置を示すブロック図である。 記録媒体に記録するデータのファイルとディレクトリの構成の例を示す図である。 本発明の第１の実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置の例を示す図である。 本発明の第１の実施の形態における情報処理装置の記録動作のうち、Play Listの作成方法を示すフローチャートである。 図９の情報処理装置により記録されたデータを再生する情報処理装置を示すブロック図である。 本発明の第１の実施の形態の情報処理装置における再生動作を示すフローチャートである。 本発明の第１の実施の形態の変形例におけるPlay ListとClipとの関係の例を示す図である。 図１５に示すClip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置の例を示す図である。 本発明の第２の実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置を示す図である。 本発明の第２の実施の形態におけるBrowsable slide showにオーディオを非同期再生する場合のPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図である （ａ）は、本発明の第３の実施の形態における各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの一例を示す図、（ｂ）は、静止画像と再生時間との関係を示す模式図である。 （ａ）は、本発明の第３の実施の形態における各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの他の例を示す図、（ｂ）は、静止画像と再生時間との関係を示す模式図である。 図１９に示すPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置との関係を示す図である。 図２０に示すPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置との関係を示す図である。 本発明の第３の実施の形態における他の例であって、Play Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置との関係を示す図である。 本発明の第３の実施の形態における、オーディオを静止画像の再生に同期させて再生するスライドショーのPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置との関係を示す図である。 トランスポートストリームファイル（静止画ファイル）の中で指し示すソースパケットの例を説明する模式図である。 トランスポートストリームファイル（静止画ファイル）の中で指し示すソースパケットの他の例を説明する模式図である。 本発明の第３の実施の形態における、オーディオと静止画像の再生が非同期であるスライドショーのPlay Listと、そのClip Information fileと、オーディオストリームとの関係を示す図である。 Play Itemが参照する静止画像ファイルと、Sub Play Itemが参照するオーディオストリームファイルとの２つのファイルのデータを記録媒体から読み出すときに、それぞれのファイルを時分割に交互に読み出す場合の再生装置を示すブロック図である （ａ）及び（ｂ）は、夫々BDAV MPEG2 TS Player Model_1及びBDAV MPEG2 TS Player Model_2を示すブロック図である。 ブラウザブルスライドショーのバッファモデルを示すブロック図である。 （ａ）及び（ｂ）は、夫々ブラウザブルモードのスライドショー時のEB buffer（ビデオコードバッファ）のビット占有量及びB4 buffer（オーディオコードバッファ）のビット占有量を示すグラフ図である。 ブラウザブルスライドショーにおけるメインＴＳ及びオーディオＴＳの同時読み出し方法を説明する模式図である。 静止画像データとしてＩピクチャを使用する場合のPlay Listと、Clip Information fileと、それに関連する静止画像ファイルの記録媒体（ディスク）上でのデータ配置との関係を示す図である。 トランスポートストリームファイル（静止画像（Ｉ−ピクチャ）ファイル）の中で指し示すソースパケットの例を説明する模式図である。 トランスポートストリームファイル（静止画像（Ｉ−ピクチャ）ファイル）の中で指し示すソースパケットの他の例を説明する模式図である。 従来のＤＶＤビデオのプログラムストリームの構造を示す模式図である。

符号の説明

１ 情報処理装置、１０，１３，１５ 端子、１１ オーディオエンコーダ、１４ 静止画像エンコーダ、１６，２２ コントローラ、１７ 記録部、２１ 読出部、２３ 静止画像デコーダ、２６ オーディオデコーダ、２４ フレームバッファ、２５ プロセッサ

Claims (8)

1. 符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを再生管理情報に基づいて再生する再生装置において、
   前記メイントランスポートストリームから画像情報と副画像情報と前記第１の音声情報を含む場合には前記第１の音声情報とを分離してそれぞれ復号する前に前記メイントランスポートストリームを保存しておく第１のバッファと、
   前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを復号する前に前記オーディオトランスポートストリームを保存しておく第２のバッファと、
   前記メイントランスポートストリームが前記第１の音声情報を含む場合における前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる前記第１の音声情報と、前記第２のバッファから読み出された前記オーディオトランスポートストリームに含まれる前記第２の音声情報のいずれか一方が入力される第３のバッファとを備え、
   前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる画像情報を復号し、音声情報と同期して再生する場合は、前記第１の音声情報を選択して復号し、非同期に再生する場合は、前記第２の音声情報を選択して復号し、途切れることなく連続して再生し、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報と副画像情報の再生開始点情報と再生終了点情報を含むとともに、
   前記メイントランスポートストリームに含まれる画像情報を、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けることを示す第１の情報、及び表示時間を指定する情報を有する
   再生装置。
2. 前記第２のバッファから読み出された前記オーディオトランスポートストリームに含まれる音声情報を復号し、途切れることなく連続して再生するとともに、前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる画像情報を復号し、前記再生される音声情報とは非同期に再生する場合に、
   前記副画像情報を復号し、前記画像情報に同期して再生される請求項１記載の再生装置。
3. 前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報を、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像をユーザが命令しない限り表示し続けることを示す情報を有する請求項１記載の再生装置。
4. 符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含み、さらに第１の音声情報を含むことができるメイントランスポートストリームを再生管理情報に基づいて再生する再生方法において、
   前記メイントランスポートストリームから画像情報と副画像情報と前記第１の音声情報を含む場合には前記第１の音声情報とを分離してそれぞれ復号する前に前記メイントランスポートストリームを第１のバッファに保存するステップと、
   前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを復号する前に前記オーディオトランスポートストリームを第２のバッファに保存するステップと、
   前記メイントランスポートストリームが前記第１の音声情報を含む場合における前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる前記第１の音声情報と、前記第２のバッファから読み出された前記オーディオトランスポートストリームに含まれる前記第２の音声情報のいずれか一方を第３のバッファに入力するステップと、
   前記第１のバッファから読み出された前記メイントランスポートストリームに含まれる画像情報を復号し、音声情報と同期して再生する場合は、前記第１の音声情報を選択して復号し、非同期に再生する場合は、前記第２の音声情報を選択して復号し、途切れることなく連続して再生するステップとを有し、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報と副画像情報の再生開始点情報と再生終了点情報を含むとともに、
   前記メイントランスポートストリームに含まれる画像情報を、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けることを示す第１の情報、及び表示時間を指定する情報を有する
   再生方法。
5. 再生装置によって使用される符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び第１の音声情報を含むことができるメイントランスポートストリームと前記画像情報の再生管理情報とが記録される記録媒体において、
   前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、
   さらに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームが記録されており、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを再生装置に対して指示する情報を有し、前記再生装置により前記再生管理情報が用いられて前記画像情報及び前記第１または第２の音声情報が再生される記録媒体。
6. 再生装置によって使用される符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び第１の音声情報を含むことができるメイントランスポートストリームを有し、前記再生装置によって再生管理情報に基づいて再生されるデータ構造において、
   前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、
   さらに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを有し、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを再生装置に対して指示する情報を有し、前記再生装置により前記再生管理情報が用いられて前記画像情報及び前記音声情報が再生されるデータ構造。
7. 符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び第１の音声情報を含むことができるメイントランスポートストリームと前記画像情報の再生管理情報とを記録媒体に記録する記録装置において、
   前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、
   前記メイントランスポートストリームを前記記録媒体に記録するとともに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを記録する記録手段を備え、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを指示する情報を有する記録装置。
8. 符号化された画像情報、前記画像情報に重ねて表示することが可能な副画像情報、及び第１の音声情報を含むことができるメイントランスポートストリームと前記画像情報の再生管理情報とを記録媒体に記録する記録方法において、
   前記第１の音声情報は前記画像情報との同期再生のために用いられるとともに、
   前記メイントランスポートストリームを前記記録媒体に記録するとともに、前記画像情報と非同期に、途切れることなく連続して再生されるための、前記メイントランスポートストリームとは別の、第２の音声情報を含むオーディオトランスポートストリームを記録するステップを備え、
   前記再生管理情報は、前記メイントランスポートストリームに含まれる画像情報の再生開始点情報と再生終了点情報、前記再生終了点情報が示す終了点まで再生した後も前記終了点における画像を表示し続けるか否かを示す情報、及び前記オーディオトランスポートストリームに含まれる音声情報を前記画像情報とともに再生することを指示する情報を有する記録方法。

Images