JP4691173B2 - 画像再生装置及び画像再生方法 - Google Patents

Description

本発明は、画像再生装置及び画像再生方法、より詳細には、記録装置に蓄積されたコンテンツデータを再生する装置や方法の技術に関する。

従来、ＶＴＲ装置などに代表されるように、テレビ放送などのコンテンツを記録し、有線で接続されたディスプレイに表示させる装置や、家庭外にあるサーバー装置に蓄積されたコンテンツをインターネット等のネットワークを介してユーザのＰＣなどに配信するサービスが存在する。

これらの技術においては、デジタル技術の進歩によりコンテンツに含まれる画像や音声をＭＰＥＧ−２やＭＰＥＧ−４といった画像符号化技術を用いて記録・伝送・再生を行うものが多い。そのため、それぞれの装置では、視聴環境に応じた符号化方式や符号化のためのパラメータが用いられる。すなわち、視聴環境が有線で接続されたディスプレイなど伝送帯域が広い場合には、より高画質での記録のために符号化効率の低い条件で記録される。また、視聴環境がインターネットなど伝送帯域が限られる環境である場合では、低画質でも符号化効率の高い条件で記録される。

これは高画質で符号化効率の低いコンテンツを伝送帯域が限られる環境で視聴すると、ユーザの期待通りに再生ができない。逆に、符号化効率の高いコンテンツを、テレビや有線接続にて視聴すると、通常のテレビ映像に比べて満足に値しないことが多いためである。

昨今では、インターネットの普及や広帯域化が進んでおり、視聴環境での帯域幅の差がなくなってきている。そのため、インターネットを介しての視聴でも高画質で符号化されたコンテンツの視聴が可能となっている。また、符号化技術の高度化に伴い、低画質の基本レイヤと高画質の上位レイヤとに分けて符号化する階層符号化の技術も提案されている（例えば、特許文献１参照）。この階層符号化の技術は、画質によって分けて符号化を行うことで、伝送の帯域やユーザの視聴機器の性能に応じた符号化データを送信することができる。これらの要因から、広帯域や狭帯域のどちらかの一方の視聴環境だけでなく、複数の視聴環境に対応可能な装置やサービスも可能となっている。

また、これらの装置において、記録されたコンテンツを視聴する際に、ユーザが途中で視聴を止めた場合、その情報を保存しておくことで、次回の視聴の際には停止したところから再開できる技術が知られている（例えば、特許文献２参照）。これは、再生停止した位置を含むユーザ情報を記録装置側（サービスサーバ側）が記憶しておき、自宅に設置した記録装置のコンテンツを視聴している途中で再生を停止して外出したときに、ユーザの外出先において、自宅で再生停止させた位置から同じコンテンツを視聴できるようにしたものである。

特開２００１−１８６４９５号公報 特開２００３−１７４６３６号公報

しかしながら、ユーザが外出先でパーソナルコンピュータなどの機器を用いて視聴する場合、高画質（低い符号化率）で記録されたコンテンツを自宅で視聴していたときと同じ条件で視聴するには、ネットワークの環境や機器の性能などから条件が厳しいことが多い。また、上記特許文献１に記載の階層符号化技術は、その技術自体が複雑であり、民生機器での普及は例をみない。

また、上記特許文献２に記載の発明では、記録装置に蓄積された個々のコンテンツ毎に再生停止の情報が管理されている。従って、符号化前のコンテンツから高画質用と低画質用の２つの符号化されたコンテンツが記録装置に蓄積される場合、それぞれの再生停止の情報は個々に管理されることになる。すなわち、ユーザは自宅等の広帯域な視聴環境では高画質用のコンテンツを復号してテレビ等で再生し、再生停止後、その続きを外出先等の狭帯域な視聴環境（例えばネットワーク経由など）において低画質用のコンテンツを復号してＰＣ等で再生する場合、外出先では上記再生停止後の続きを再生できないため、低画質用の符号化データを最初から新たに再生する必要があり不便であった。

本発明は、上述のごとき実情に鑑みてなされたものであり、テレビ放送番組等を記録して蓄積したコンテンツを、テレビ等で視聴するだけでなく、インターネット等のネットワークを介してストリーミング再生などを行う際に、ユーザの視聴環境にあった快適な再生方法を提供すること、をその目的とする。
より具体的には、１つのコンテンツに対して、広帯域での視聴向けに高画質で符号化して記録するとともに、インターネットなどの狭帯域経由での視聴向けに符号化して記録し、視聴環境に応じた再生を行う際に、いずれの視聴環境においても前回視聴時に再生停止した位置からコンテンツの続きを視聴できるようにすること、を目的としてなされたものである。

上記課題を解決するための第１の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出する符号化データ抽出手段とを備え、該符号化データ抽出手段は、前記再生停止位置の時刻情報から前記符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、前記符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、前記判定の結果に基づいて、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように該パケットを再構成することを特徴としたものである。

第２の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出する符号化データ抽出ステップとを備え、該符号化データ抽出ステップは、前記再生停止位置の時刻情報から前記符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、前記符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、前記判定の結果に基づいて、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように該パケットを再構成することを特徴としたものである。

本発明によれば、テレビ放送などを記録・蓄積したコンテンツを、家庭内のテレビで視聴するか、インターネットやＬＡＮなどの通信回線を介するストリーミング再生によって視聴するかなど、それぞれの視聴環境に応じて快適な再生方法を実現することができる。
具体的には、符号化されたコンテンツの記録再生において、コンテンツを複数の符号化方式で記録することで、ユーザは視聴環境に応じた符号化コンテンツを選択可能となり、快適な視聴を容易に実現することができる。
また、再生を停止した位置（再生停止位置）の情報を符号化前の元のコンテンツ毎に管理することで、１つのコンテンツに対して記録された複数の符号化コンテンツ間で再生停止位置の情報を共有することができ、これにより、任意の符号化方式で符号化されたコンテンツを視聴中に再生を停止した後、視聴環境を変えて再生する際に、その視聴環境に応じた別の符号化方式で符号化された前記コンテンツを再生停止した続きから視聴することができる。

本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。 画像処理装置におけるコンテンツ関連情報の構成例を示す図である。 画像処理装置におけるコンテンツ関連情報の他の構成例を示す図である。 コンテンツの記録処理の一例を説明するためのフロー図である。 本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。 ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。 画像処理装置により記録された多重化ストリームデータの構成例を示す図である。 画像処理装置により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。 多重化ストリームの再構成処理の一例を説明するためのフロー図である。 画像処理装置により符号化されたコンテンツデータの構成例を示す図である。 画像処理装置により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。 キーフレームを含むパケットのキーフレーム情報の一例を示す図である。 本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。 本発明の他の実施形態に係る画像処理装置において、サーバー／クライアント型の構成例を示すブロック図である。 本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。 本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。 本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。 画像処理装置におけるコンテンツ関連情報にＵｓｅｒＩＤを追加した構成例を示す図である。

図１は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、１０は画像処理装置で、該画像処理装置１０は、画像記録部１と画像再生部２からなり、画像記録部１は、受信したコンテンツデータの記録制御を行う記録制御部１１、コンテンツデータを符号化する符号化部１２、符号化されたコンテンツデータを蓄積するコンテンツ蓄積部１３、受信したコンテンツデータからその関連情報を生成するコンテンツ関連情報生成部１４、生成されたコンテンツ関連情報を記録する関連情報記録部１５、コンテンツ関連情報を蓄積するコンテンツ関連情報データベース（以下、コンテンツ関連情報ＤＢ）１６を備え、画像再生部２は、ユーザの入力などを受けて再生のための制御を行う再生制御部１７、再生制御部１７から指示されたコンテンツデータの関連情報をコンテンツ関連情報ＤＢ１６から読み出す関連情報読み出し部１８、コンテンツ蓄積部１３に蓄積されたコンテンツデータを読み出すコンテンツデータ読み出し部１９、符号化されたコンテンツデータを復号する復号部２０、前回視聴時の再生停止位置からの再生データを生成する符号化データ抽出部２１、ユーザの視聴環境に応じて出力先を決定し、各出力先に再生データを出力する出力部２２を備える。

また、画像処理装置１０は、インターネットやＬＡＮ等のネットワークに接続するためのネットワーク接続機能を備えており、他の画像再生装置等とネットワークを介して接続することができる。
また、本発明の実施形態として、画像処理装置１０を代表例として説明するが、これに限定されるものではなく、画像記録部１からなる画像記録装置、あるいは画像再生部２からなる画像再生装置としての形態としてもよい。この画像再生装置とした場合、画像再生装置側にコンテンツ関連情報ＤＢ１６を備える構成としてもよい。
なお、以下の説明において、複数の記録モードとして、ＭＰＥＧ−２やＭＰＥＧ−４などの圧縮技術を用いて説明するが、本発明に適用可能な記録方式としてはこれに限定するものではない。

図１において、記録制御部１１は、ユーザにより設定された記録モードに従って受信したコンテンツデータの記録方法を決定する。ユーザは、画像処理装置１０に対して、記録するコンテンツの記録モード（すなわち、符号化方式や、符号化率等のパラメータを含む符号化条件）をあらかじめ設定して記録しておく。すなわち、有線接続された表示装置による視聴を目的とした記録であるのか、あるいは、インターネット等のネットワークを介した表示装置による視聴を目的とした記録であるか、または両方を目的とした記録であるのかなどを記録モード別に設定しておく。これらの設定により、記録制御部１１は、符号化部１２に対して、符号化のための動作条件やパラメータを送出する。また、記録制御部１１は、これらの符号化のための動作条件やパラメータ、および番組名などを含むコンテンツに関する情報を、コンテンツ関連情報生成部１４に対して出力する。

符号化部１２は、記録制御部１１で設定されたパラメータに従いコンテンツの符号化を行い、画像データおよび音声データを符号化したデータを生成する。画像信号の符号化方式は、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格あるいはＭＰＥＧ−４規格などの符号化方式があり、音声符号化方式には、Ｇ．７２６やＡＭＲといった方式がある。本発明では、これらの符号化方式を特に制限するものではなく、復号部２０が復号できる符号化方式であればよい。また、符号化部１２は、これらの符号化方式の１つに対応してもよいし、例えば、ＭＰＥＧ−２規格の符号化方式とＭＰＥＧ−４規格の符号化方式といった、複数の符号化方式に対応していてもよい。符号化が行われたコンテンツはコンテンツ蓄積部１３に蓄積される。コンテンツ蓄積部１３は、例えば磁気方式記憶装置や光学式記憶装置などにより構成される。

本発明において、複数の視聴目的（テレビ等の有線接続、ネットワーク経由など）のために、同一コンテンツを複数の記録モードで記録する際には、符号化部１２を複数備えて並列に符号化処理を行ってもよいし、記録制御部１１が記録モード毎に、順次、符号化部１２に処理を指示してもよい。

ユーザの視聴の形態により、快適に視聴できるコンテンツの条件は変化する。例えば、ホームサーバーのようにテレビなどの表示装置で視聴する場合は、ＭＰＥＧ−２符号化方式などの高画質（低い符号化率）のコンテンツが視聴可能であり、ＰＤＡや携帯電話でネットワークを利用した視聴形態であれば、ＭＰＥＧ−４符号化方式といった低画質（高い符号化率）で視聴したほうが快適に視聴できる。ＬＡＮを介したネットワークのように、通信速度が速ければ高画質のコンテンツの視聴が可能であるが、ＰＨＳ網などを利用した場合は、低画質のコンテンツのほうがストレスなく視聴できる。このように視聴形態にあわせた記録モードを用意し、コンテンツ記録時には、その記録モードに従い記録する。また、コンテンツの記録時に複数の記録モード（符号化処理）を行うことで、家では高画質のコンテンツを視聴し、外出先で続きを低画質の記録モードで視聴するといった利便性が生じる。

この記録モードは、機器にあらかじめ設定しておいてもよいし、ユーザが任意に設定できるようにしておいてもよい。ここで、あるコンテンツをＭＰＥＧ−２規格の記録モードとＭＰＥＧ−４規格の記録モードで記録する際に、符号化部１２がＭＰＥＧ−２規格およびＭＰＥＧ−４規格に対応しているのであれば、記録制御部１１は、符号化部１２に両方のモードでの符号化処理を同時に指示してもよいし、ＭＰＥＧ−２規格での符号化処理の後にＭＰＥＧ−４規格での符号化処理を指示しても良い。また、符号化部１２が単一の符号化方式のみに対応しているのであれば、ＭＰＥＧ−２規格に対応する符号化部とＭＰＥＧ−４規格に対応する符号化部を用意し、記録制御部１１がそれぞれに符号化処理を指示してもよい。本発明の実施の形態では、符号化部１２は、複数の符号化方式に対応した符号化部として記載する。

コンテンツ関連情報生成部１４は、記録制御部１１から出力されたコンテンツの符号化パラメータやコンテンツの情報をコンテンツ関連情報として生成する。生成されたコンテンツ関連情報は、関連情報記録部１５を介してコンテンツ関連情報ＤＢ１６に蓄積される。

図２は、画像処理装置１０におけるコンテンツ関連情報の構成例を示す図である。
コンテンツ関連情報生成部１４で生成されたコンテンツ関連情報は、コンテンツ名やコンテンツの再生時間長、再生停止された位置（時間）、コンテンツの符号化された記録モードや、各記録モードにおける符号化ファイル名、符号化パラメータなどを含む。同一のコンテンツデータから複数の記録モードで符号化データを生成する際には、それぞれの記録モードに対応する符号化されたデータ（ファイル）が生成されるが、それらが同一コンテンツの符号化データであることを示すため、符号化前の元のコンテンツ名を含むファイル名で管理される。例えば、コンテンツ名「ｃｏｎｔｅｎｔｓ＿０１」に対し、記録モード１のファイルには「ｃｏｎｔｅｎｔｓ＿０１＿ｍｏｄｅ１」、記録モード２のファイルには「ｃｏｎｔｅｎｔｓ＿０１＿ｍｏｄｅ２」というファイル名が付けられている。

これらの２つのファイルは、符号化前のコンテンツ名で管理されるため、図２に示すように再生時間長や再生停止された位置（時間）の情報は両者の間で共有される。すなわち、ユーザが「ｃｏｎｔｅｎｔｓ＿０１」を記録モード１のファイル「ｃｏｎｔｅｎｔｓ＿０１＿ｍｏｄｅ１」で視聴しており、視聴途中で再生を停止した場合、その再生停止の情報は、「ｃｏｎｔｅｎｔｓ＿０１」の情報として記録される。ユーザがコンテンツ「ｃｏｎｔｅｎｔｓ＿０１＿ｍｏｄｅ２」のファイルで視聴を再開した際には、再生停止情報は「ｃｏｎｔｅｎｔｓ＿０１＿ｍｏｄｅ１」と共通に管理されているため、再生停止位置から続きを視聴できる。

上記のようにして記録されたコンテンツを再生する際には、再生制御部１７は、表示装置に、コンテンツ蓄積部１３に蓄積されている符号化前の元のコンテンツの一覧を、サムネイル表示やリスト表示などで提示する。その一覧よりユーザは再生するコンテンツの選択を行う。

再生制御部１７は、ユーザにより再生指定されたコンテンツの関連情報を取得するように関連情報読み出し部１８に指示し、コンテンツ関連情報ＤＢ１６からコンテンツ関連情報を取得する。次に、再生制御部１７は、取得したコンテンツ関連情報を解析し、指定されたコンテンツに複数の記録モードで記録されたデータがあるのか、再生停止位置の情報があるのかといった情報を取得する。

ここで、再生停止位置とは、コンテンツの符号化データを復号してコンテンツを再生した後に、再生装置の制御によってこれを停止した位置（コンテンツ内の位置）を示す情報のことである。ここで、再生装置の制御によって再生を停止する場合とは、例えば、ユーザから再生停止の指示があった場合、タイマによる指定時刻での自動停止が行われた場合、電源断やバッテリ切れによる再生装置の停止が行われた場合などである。この再生停止位置は、コンテンツ先頭からの再生時間で示しても良いし、符号化データの先頭からのビット数（もしくはバイト数）で表現してもよい。再生時間は、時分又は秒によって表現されるが、その他の表現（例えば再生装置のクロック数や、所定時間を単位とするカウント数など）を用いても良い。

図３は、画像処理装置１０におけるコンテンツ関連情報の他の構成例を示す図である。
複数の記録モードで記録されたコンテンツの場合、図２で示すように、再生停止位置を時間で管理するのであれば、各記録モードのデータでの再生停止位置の情報は各データで共通として扱えるが、データ先頭からのビット数（もしくはバイト数）の場合は、図３に示すように、その値は符号化方式や符号化時のパラメータによって異なる。

再生制御部１７は、取得された情報を表示装置に提示する。これにより、ユーザは再生対象のコンテンツのパラメータや動作を視聴環境に合わせて選択することができる。特に、パラメータの選択については、該当コンテンツの記録モードを提示することで、ユーザは自分の視聴環境に適したパラメータを選択することができる。また、再生停止位置の情報は、既に視聴した箇所をスキップして途中から再生する場合に利用することができる。

再生制御部１７は、ユーザの選択した記録モードに対応する符号化されたコンテンツデータ（符号化データ）をコンテンツ蓄積部１３から読み出す。読み出された符号化データは、再生停止位置からの再生なのかどうか、インターネットを介した再生なのかどうかなどの情報に従い、コンテンツデータとその関連情報を、復号部２０あるいは符号化データ抽出部２１に出力する。なお、再生停止位置からの再生なのかどうかはユーザによる再生コンテンツ選択の際に取得され、インターネットを介した再生かどうかなどの情報は、ユーザがどのような手段を用いて画像処理装置１０にアクセスしたかということから取得される。すなわち、ユーザがインターネットを介した再生を行うのであれば、必然的にユーザの画像処理装置１０へのアクセスはインターネット経由となる。

復号部２０では、符号化されたコンテンツデータの復号を行い、出力部２２を経て図示しない表示装置に出力する。符号化データ抽出部２１では、指定時間からの再生データを生成する。本実施形態では、コンテンツ関連情報に記録されている再生停止位置の情報を元に再生停止位置からの再生データを生成する。通常、コンテンツの符号化データは、ＭＰＥＧ−２ビデオや、ＭＰＥＧ−２オーディオ等の生のビットストリームデータ（エレメンタリーストリームとも呼ばれる）として記録されるのではなく、画像データと音声データを単一のプログラムとして扱うために、多重化したストリームとして記録される。この多重化されたストリームには、画像データと音声データの他に、符号化方式にかかわる情報や、画像サイズ、再生時間情報などが付加されている。多重化ストリームを生成するための多重化方式には、ＭＰＥＧ−２であればＭＰＥＧ−２システム、ＭＰＥＧ−４であればＭＰＥＧ−４システム、マイクロソフト社が提案しているＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｙｓｔｅｍ Ｆｏｒｍａｔ）などがある。

本実施形態においては、記録されたコンテンツの符号化データから指定時間以降のビットストリームを抽出する際に、ＭＰＥＧ−２ビデオや、ＭＰＥＧ−２オーディオ等の復号処理を行わず、多重化ストリームに含まれる情報を用いて行う。符号化データ抽出部２１にて、指定時間に相当するデータ位置の特定と、再生用のデータの生成とを行う。生成された再生用のデータは、ユーザがテレビなどの表示装置で視聴を行っているのであれば、データを復号するために復号部２０へ出力する。インターネットなどのネットワークを介しての視聴であれば、データは復号せずに出力を行うので、出力部２２に出力される。

図４は、コンテンツの記録処理の一例を説明するためのフロー図である。本例では、図１に示した画像処理装置１０に基づいて説明するものとする。
まず、記録制御部１１が記録するコンテンツを取得する（ステップＳ１）。このコンテンツ取得方法は、例えば、アナログテレビ放送やＢＳ／ＣＳ／地上波デジタル放送、ケーブルテレビなどの放送網を経由した受信の他に、他のビデオデッキやＤＶＤ機器などの映像再生機を接続して入力としてもよい。次に、符号化部１２は、受信したコンテンツをあらかじめ設定された記録モードに従って符号化し（ステップＳ２）、ハードディスクに代表される磁気記録装置やＤＶＤ−Ｒなどの光ディスク記録装置、コンパクトフラッシュ（登録商標）などのフラッシュメモリ記録装置などに記録する。

次に、記録制御部１１は、符号化したコンテンツを管理するために、コンテンツ名を取得あるいは生成する（ステップＳ３）。コンテンツ名は、符号化を行った日付やテレビ放送のチャンネルなどから生成してもよいし、テレビ放送を予約する場合であれば予約録画時にユーザが任意に設定してもよい。また、タイトルなどの付加情報が、受信したコンテンツに含まれているのであれば、それを取得してコンテンツ名として利用するようにしてもよい。

次に、コンテンツ関連情報生成部１４は、記録したコンテンツの関連情報として必要な関連情報データを生成する（ステップＳ４）。この関連情報データは、図２に示したように、上記ステップＳ３で取得あるいは生成されたコンテンツ名、再生時間、符号化されたコンテンツを記録する際のファイル名およびその符号化のパラメータを含んでいる。また、再生停止位置の情報もこの関連情報データに含めて記録される。このようにして生成された関連情報データは、関連情報記録部１５によりコンテンツ関連情報ＤＢ１６に登録される（ステップＳ５）。

図５は、本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。本例は、図１に示した画像処理装置１０に基づいて説明するものとする。
まず、ユーザは画像処理装置１０に対してアクセスする。このとき、再生制御部１７は、ユーザのアクセス手段を判別し、少なくともインターネット等のネットワークを介してのアクセスであるかどうかを識別する（ステップＳ１１）。再生制御部１７は、表示装置に、再生可能なコンテンツを提示してユーザに選択させる（ステップＳ１２）。

次に、再生制御部１７は、上記ステップＳ１２にて選択されたコンテンツのコンテンツ関連情報を関連情報読み出し部１８を介してコンテンツ関連情報ＤＢ１６から取得し、取得されたコンテンツの記録モードの数や再生停止位置の情報の有無等を判別する（ステップＳ１３）。

再生制御部１７は、上記ステップＳ１３で判別された情報のうち、再生対象コンテンツに対応する記録モードが複数存在するかどうかを判別し（ステップＳ１４）、複数の記録モードが存在する場合（ＹＥＳの場合）、再生を行うコンテンツの記録モード（パラメータ）の選択をユーザに提示する（ステップＳ１５）。また、上記ステップＳ１４で複数の記録モードが存在しない場合（ＮＯの場合）、記録モードは１つなので再生を行うコンテンツは決定され、ステップＳ１６に移行する。

上記ステップＳ１４又はステップＳ１５において再生を行うコンテンツが決定すると、再生制御部１７は、コンテンツ蓄積部１３にコンテンツデータ読み出し部１９を介してアクセスして符号化されたコンテンツを取得する（ステップＳ１６）。
次に、再生制御部１７は、上記ステップＳ１３にて解析されたコンテンツ関連情報から再生停止位置の情報が存在するかどうか判定し（ステップＳ１７）、再生停止位置の情報が存在した場合（ＹＥＳの場合）、その再生停止位置からの再生を行うかどうかユーザに問い合わせる（ステップＳ１８）。

次に、再生制御部１７は、上記ステップＳ１８におけるユーザからのフィードバックが、再生停止位置からの再生を行うかどうか判断し（ステップＳ１９）、再生停止位置からの再生を行う場合（ＹＥＳの場合）、再生停止位置情報および符号化コンテンツデータを符号化データ抽出部２１に出力する。符号化データ抽出部２１は、再生停止位置情報に基づいて再生停止位置からのデータを生成する（ステップＳ２０）。

ここで、音声メディアと画像メディアが多重化されている符号化コンテンツにおいて、多重化方式によってはそれぞれのメディアの再生停止位置のデータが、必ずしもデータ内で連続状態であるとは限らない。また、多重化ストリームデータがパケット化されている符号化コンテンツでは同一パケット内に存在するとは限らない。このような場合、どちらかのメディアを基準とした再生では、基準でないメディアが再生されない区間が生じたり、同期ずれが発生し快適な視聴を妨げることがある。そのため、それぞれのメディアの再生に齟齬が生じないように多重化ストリームデータ（および多重化ストリームの制御情報）を再構成する。また、上記ステップＳ１９において、再生停止位置からの再生でない、すなわち、コンテンツの先頭などからの再生の場合（ＮＯの場合）、コンテンツデータは出力部２２に出力される。

次に、再生制御部１７は、上記ステップＳ２０で生成された再生停止位置からのコンテンツデータあるいは上記ステップＳ１６で取得したコンテンツデータを上記ステップＳ１１で識別したユーザの視聴環境に合わせて、データの出力先を決定する（ステップＳ２１）。すなわち、視聴環境が有線接続された表示装置による視聴であれば（ＮＯの場合）、コンテンツデータを復号する（ステップＳ２２）。また、上記ステップＳ２１において、視聴環境がネットワーク経由であれば（ＹＥＳの場合）、出力すべきデータをユーザの視聴環境に合わせて出力する（ステップＳ２３）。この場合、符号化データを出力してユーザ側の再生装置で復号を行う構成としている。

本発明の実施形態では、既に述べたように、ユーザがコンテンツを選択後（ステップＳ１２）、選択されたコンテンツに再生停止位置の情報が存在するかどうかを判定し（ステップＳ１７）、ユーザに再生停止位置からの再生を行うかどうかを問い合わせ（ステップＳ１８）、そのフィードバックに従って再生を行う（ステップＳ１９）手順例を示したが、これに限定されるものではない。例えば、図５において、コンテンツの再生停止位置情報の存在を判定する手順（ステップＳ１７）とユーザからのフィードバックに従って再生を行う手順（ステップＳ１９）を逆にしてもよい。すなわち、ユーザが視聴するコンテンツの選択の際に、再生停止位置からの再生を優先するといった視聴方法をユーザが選択し、再生制御部１７に通知する。再生制御部１７は、通知された視聴方法に従って、選択されたコンテンツの再生停止情報の存在の判定を行う。再生停止位置情報が存在した場合は再生停止位置からの再生を行うが、存在しない場合は、コンテンツの先頭からの再生を行うとしてもよい。

また、コンテンツ視聴の毎に、再生停止位置からの再生かどうかをユーザに問い合わせしなくてもよい。すなわち、再生制御部１７に、あらかじめ視聴方法を設定しておくようにしてもよい。再生制御部１７は、ステップＳ１８にてユーザに問い合わせるのではなく、設定された視聴方法を参照することで判定するとしてもよい。

図６は、ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。本例は、図１に示した画像処理装置１０に基づいて説明するものとする。
まず、ユーザが視聴中に再生を停止すると、再生制御部１７は、その再生停止情報を直接あるいは、インターネット等のネットワークを介して受信する（ステップＳ３１）。再生停止の指示を受信した再生制御部１７では、コンテンツの出力を止めるとともに（ステップＳ３２）、再生停止した時刻情報などを取得する（ステップＳ３３）。これらの情報のうち、再生再開に必要な情報（再生停止した時刻など）の情報は、コンテンツ関連情報生成部１４にて、既存の該当コンテンツの関連情報が更新される（ステップＳ３４）。更新されたコンテンツ関連情報は、関連情報記録部１５に出力され、コンテンツ関連情報ＤＢ１６に更新登録される（ステップＳ３５）。

以下、図７乃至図１０に基づいて、図１に示した符号化データ抽出部２１におけるコンテンツデータの再構成処理の一例について説明する。
図７は、画像処理装置１０により記録された多重化ストリームデータの構成例を示す図である。符号化データ抽出部２１では、再生停止位置からの再生を行うために多重化ストリームの情報に基づいて符号化コンテンツデータを再構成する。多重化ストリームを生成するための多重化方式には、先に述べたように、例えば、ＭＰＥＧ−２システム、ＭＰＥＧ−４システム、マイクロソフト社のＡＳＦなどがある。通常、これらの多重化ストリームデータは、図７（Ａ）に示すように、コンテンツ全体の制御情報を格納する部分（図中、制御情報）と、実際のデータを格納する部分（図中、コンテンツデータ）からなる。インターネットを介した再生が意図されるコンテンツの場合、「コンテンツデータ」には音声メディアと画像メディアが多重化されて格納されている。

図７（Ｂ）に示すコンテンツデータにおいて、Ａは音声メディアのデータ（音声データ）、Ｖは画像メディアのデータ（画像データ）を示している。このように構成することにより、受信側は、全てのデータの受信完了を待つことなく、同時刻に再生されるべき音声メディアと画像メディアがそろい次第再生が可能となる。この多重化データは、通常、図７（Ｃ）に示すように、制御情報（図中の「制御」で、一般にコンテンツ全体の制御情報とは異なる。）と、実際のデータ（音声データＡ及び画像データＶ）とを含むパケットと呼ばれるまとまりで構成される。このパケット単位で送信することで、通信経路等の占有の回避や送信経路の柔軟さなどの利点が生じる。

図８は、画像処理装置１０により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。
多重化ストリームデータのパケットへの分割方法は各多重化方式によって異なるが、スムーズな再生を試みるために、同時刻に再生される音声メディアのデータ（音声データＡ）と、画像メディアのデータ（画像データＶ）はあまり離れたパケットに配置されないなどの工夫が行われる。例えば、図８（Ａ）に示すように、同一番号を付与した音声データＡと画像データＶが同時に再生されるデータであること、すなわち、Ａ１とＶ１，Ａ２とＶ２，…が同時刻に再生されるデータであることを示す。

符号化されたコンテンツデータを途中から再生しようとする場合、図７（Ｃ）に示したパケット自体の制御情報に含まれる符号化コンテンツデータの再生時刻情報などを利用して再生データの位置を特定することができる。しかしながら、一般に、図８（Ｂ）に示すように、再生開始時刻に対応する音声データと画像データが同一パケットに含まれていない場合がある。このため、パケット単位で送信する場合、再生には不必要なデータ（指定された再生時刻以前又は以後のデータ）などが含まれたり、音声データと同一時刻に再生すべき画像データの受信までに時間がかかったりといった現象が発生する。このような現象を回避するために、以下のように多重化ストリームの再構成を行う。

図９は、多重化ストリームの再構成処理の一例を説明するためのフロー図である。図１０は、画像処理装置により符号化されたコンテンツデータの構成例を示す図である。
図１０（Ａ）に示すように、多重化ストリームデータは、コンテンツ全体の制御情報と、音声データ、画像データおよびパケット自体の制御情報を含む複数のパケットと、画像データのキーフレームが存在するパケットのキーフレーム情報からなる。キーフレームとは、通常、フレーム内符号化され、他のフレームから予測復号する必要の無いフレームであって、画像データのランダムアクセス再生の再生開始フレームとして使用されるフレームのことである。図１０（Ａ）において、ＶｔおよびＡｔは指定された再生開始時刻（指定時刻）ｔに対応する音声データと画像データを示す。

図９において、まず、符号化データ抽出部２１は、指定時刻ｔ付近のデータが含まれるパケットを特定する（ステップＳ４１）。ここでは、図１０（Ａ）に示すパケット３１が特定される。次に、特定されたパケット内に含まれている音声データと画像データの再生時刻情報を抽出する（ステップＳ４２）。本例では、図１０（Ａ）に示す画像データ３２，３５に対応する再生時刻Ｖ２，Ｖ３、および音声データ３３，３４に対応する再生時刻Ａ４，Ａ５が抽出される。

次に、抽出された画像データの再生時刻情報から時刻ｔに最も近い画像データを特定し、これに対応する再生時刻Ｖｔを得る（ステップＳ４３）。図１０（Ａ）に示す画像データ３５に応じた再生時刻Ｖ３がＶｔである。そして、パケット内に時刻Ｖｔに対応する音声データが存在するかどうかを調べ（ステップＳ４４）、音声データが存在した場合（ＹＥＳの場合）、ステップＳ４７に移行し、再生を開始するパケットおよび画像データ、音声データの特定を終了し、再構成処理を行う。また、上記ステップＳ４４において、音声データが存在しない場合（ＮＯの場合）、パケット内の最も早い時刻の音声データの再生時刻Ａｔ０（すなわち、図１０（Ａ）に示す再生時刻Ａ４）と最も遅い時刻の音声データの再生時刻Ａｔ１（すなわち、図１０（Ａ）に示す再生時刻Ａ５）を、上記再生時刻Ｖｔと比較し、再生時刻ＶｔがＡｔ０（再生時刻Ａ４）より早い時刻であれば、現在よりも前のパケットを取得し、上記再生時刻ＶｔがＡｔ１（再生時刻Ａ５）より遅ければ後ろのパケットを取得する（ステップＳ４５）。

上記ステップＳ４５において再度取得したパケットに対して、そのパケット内に時刻Ｖｔに対応する音声データがあるかどうかを調べ（ステップＳ４６）、時刻Ｖｔに対応する音声データが存在する場合（ＹＥＳの場合）、ステップＳ４７に移行し、また、上記ステップＳ４６において、時刻Ｖｔに対応する音声データが存在しない場合（ＮＯの場合）、時刻Ｖｔに対応する音声データが特定できるまでステップＳ４５及びステップＳ４６を繰り返す。

ここで、図１０（Ａ）に示す時刻Ｖｔに対応する音声データとして音声データ３６が特定された場合、ステップＳ４７において、特定された画像データ３５（再生時刻Ｖ３）と音声データ３６（再生時刻Ａ３）をもとにパケットが再構成される。

ここで、図１０（Ａ）に示す画像データ３２（再生時刻Ｖ２），３７（再生時刻Ｖ１）は必ずしもキーフレームであるとは限らないため、その画像データを復号すると正しく復号できない可能性がある。このような場合、図１０（Ｂ）に示すように、それらの画像データを無効データに置き換える。無効データとは、復号装置において読み捨てることが定められているデータをいい、図１０（Ｂ）では「Ｄ」を付している。

図１０（Ｂ）に示す例では、画像データ３２，３７を無効データ３２′，３７′に置き換え、他のデータとの位置を置き換えることで、無効データが各パケットの最後に位置するようにしている。これは、多重化方式のなかには、各パケットの制御情報に、そのパケットに含まれる音声データ、画像データのサイズを記載しているものも存在するためである。音声データ、画像データをパケット化する場合、１パケットのデータサイズが固定であると、必ずしも１パケットのデータサイズとパケット内に含まれる音声データ、画像データのサイズが一致するとは限らない。そのため、パケットの制御情報にパケット内の有効なデータサイズを記載することで、特別な情報を必要とせず無効なデータを識別することが可能である。このような場合、新たに無効データを生成した場合、その無効データは各パケットの最後に移動させ、パケットの制御情報を修正する必要がある。

さらに、正しく復号できないデータを、同じビット数の無効なデータに置き換えてパケットを再構成すれば、パケットの長さを変更する必要がなく、他のパケットへの影響がない。同様に、図１０（Ａ）に示す音声データ３８（再生時刻Ａ２），音声データ３９（再生時刻Ａ１）は、上記時刻Ａｔより以前の時刻情報を持つ音声データであって、時刻ｔからの再生に不要なデータであるため、図１０（Ｃ）に示すように、無効データ（無効データ３８′，３９′）とする。

以上のことを下記に示す図１１を用いて説明する。
図１１は、画像処理装置１０により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。図１１（Ａ）はオリジナルの符号化されたコンテンツデータを示す。そのコンテンツデータは、図１０（Ａ）に示したように、ファイル全体を示す制御情報と画像データと音声データからなるパケット４０（パケット４１，４２，４３，４４も同様）で構成されている。それぞれのパケットの構成は図１１（Ｂ）に示すように多重化されている。

ここで再生停止位置の時刻情報が５分３０秒であり、この位置から再生を再開する際の再構成は次のようになる。再生停止位置の時刻情報５分３０秒に該当する画像データは、図１１（Ｂ）に示す画像データ４８である。画像データ４８と同一パケット内の音声データ４９は５分３３秒であり、画像データ４８より再生時刻が遅い。そのため、画像データ４８と同時刻の音声データがないか、パケット４４より前のパケットの各データの時刻情報を探索する。パケット４２、パケット４１の順で探索を行い、パケット４１にて、音声データ４５の再生時刻が５分３０秒であることを発見する。これによりパケット４１から再構成の対象となる。再構成の際の多重化ルールは、特に限定するものではないが、基準となる画像データから再生時刻の早いデータ順とする。

各パケットは、パケット長が決まっているため、その長さでパケット化を行う。
パケット４３では、音声データ４６の再生時刻は５分３０秒以降のため、再構築の対象となるが、画像データ４７の再生時刻は、５分２９秒のため再構築の対象データとはならず、破棄される。

上記の結果、それぞれのパケットは、図１１（Ｂ）に示す矢印５０〜５８のように再構築される。パケット４４以降のパケットには、再構築で無効となるデータがないため、無効データは生じず、また、パケット内のデータも全て５分３０秒以降のため再構築も行われない。従って、図１１（Ｃ）に示す動画データが再構成される。

図９において、再構成の処理が終わった後、再生対象のパケットの制御情報に含まれる再生時刻情報を更新する（ステップＳ４８）。これは、通常、再生時刻情報は、再生開始から絶対時間で表現されるので、再構成だけを行った状態では、データを受信したものの、ユーザにより指定された時刻まで再生が行われないということが発生する可能性があるためである。但し、再生時刻情報が相対時間（例えば、前のパケットや前のデータの再生時刻との差分情報）で表現される場合は、このような更新処理は不要である。

最後に、図１０（Ａ）に示す多重化ストリームの制御情報を、再構成後のコンテンツデータに適するように更新する（ステップＳ４９）。多重化方式によっては、制御情報に、多重化ストリームに含まれているパケット数や再生時間、データ部のサイズなどの情報などが記載されている。これらは再構成された多重化ストリームでは変更になるためである。以上のようにして、再生時において指定時刻の位置からコンテンツを作成する。

次に、図９に示したステップＳ４１における、指定された時刻ｔに対応する画像データを含むパケットの特定方法について詳細に説明する。
図１２は、キーフレームを含むパケットのキーフレーム情報の一例を示す図である。図１０（Ａ）に示したキーフレーム情報にはキーフレームの位置が特定できる情報が記載されている。本例では、マイクロソフト社のＡＳＦにおける情報（インデックスオブジェクトと呼ぶ）を代表例として説明する。但し、本例ではインデックスオブジェクトの概略を示しており、主要要素のみを示している。

上記インデックスオブジェクトは、画像データに対して時間に基づいたエントリを含んでいる。各エントリは、それぞれのエントリが指し示す時間の画像データが含まれるパケットのパケット番号を示す。エントリが指し示す時間は、エントリの時間間隔６１によって計算される。本例ではエントリ間の時間間隔を１秒としている。ここでは、エントリが示す時間に対して直前のキーフレームが存在するパケットのパケット番号が示されている。すなわち、エントリ番号１は１秒より前のキーフレームがパケット０にあり、エントリ番号２は２秒より前のキーフレームは、やはりパケット０にあり、エントリ番号４は４秒より前のキーフレームがパケット１３にあることを表す。

上記のように指定された時刻ｔに対応するエントリを特定するには、まず、エントリの時間間隔の値とエントリ番号から各エントリが示す時間を算出する。そして、算出された時間が時刻ｔに最も近いエントリを選択する。ここで、指定された時刻ｔが例えば１０．５秒であった場合は、エントリ番号１０とエントリ番号１１のいずれかのパケットを選択する。例えば、常にエントリ番号１０を選択するようにしてもよい。このようにしてパケットが指定された時刻ｔに対応する画像データが含まれるパケットが特定される。

また、上記例では、再生停止された位置からのコンテンツデータの生成について説明したが、ストリーミング再生を行う場合は、送信するコンテンツデータを全て作成せずとも、途中まで作成した時点でデータを送信することができる。これについて下記のフロー図に基づいて説明する。
図１３は、本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。
まず、指定された時刻ｔに対する画像データが含まれるパケットを図９に示したステップＳ４１と同様の方法で特定し（ステップＳ５１）、特定された画像データに対応する音声データを含むパケットを特定する（ステップＳ５２）。パケットの特定方法は図９に示したステップＳ４４〜ステップＳ４６と同じ方法を用いる。

次に、上記ステップＳ５２で特定されたパケットに対して、図９に示したステップＳ４７と同様の処理により再構成を行う（ステップＳ５３）。パケットが特定されたことにより、コンテンツの総再生時間や総パケット数、総データ数などが算出可能であるため、図９に示したステップＳ４９と同様の処理を行い、多重化ストリームの制御情報を更新する（ステップＳ５４）。通常、多重化ストリームの制御情報は、多重化ストリームに含まれる画像データや音声データを復号して再生するのに必要なデータであるため、図１に示した出力部２２へ出力を行う（ステップＳ５５）。

次に、上記ステップＳ５５で制御情報を出力した後に、パケットを順次出力する。出力されるパケットに含まれる画像／音声データの再生時刻は、上記ステップＳ５１及びステップＳ５２で特定された画像／音声データの再生時刻を基準とした時刻に修正する必要がある。ここで、各パケットの制御情報うち、画像や音声データの再生時刻などは、上記ステップＳ５１及びステップＳ５２で特定された画像／音声データの再生時刻が０になるように修正する必要がある。そこで、パケットの出力処理に際し、ユーザによる再生停止指示を検出したかどうかを判断し（ステップＳ５６）、再生停止指示を検出した場合（ＹＥＳの場合）、そのまま終了し、また、上記ステップＳ５６において、再生停止指示を検出していない場合（ＮＯの場合）、出力パケットが存在するかどうか判断し（ステップＳ５７）、パケットが存在しない場合（ＮＯの場合）、終了し、パケットが存在する場合（ＹＥＳの場合）、出力前にパケットの制御情報を更新し（ステップＳ５８）、制御情報が更新されたパケットを出力する（ステップＳ５９）。

パケットの出力処理は、上記ステップＳ５６においてユーザによる再生停止指示が検出されず、且つ、上記ステップＳ５７において多重化ストリームデータ（パケット）が存在する限り継続される。そして、ユーザによる再生停止指示が検出された場合、あるいは出力するパケットが無くなった時点でストリーミング再生のためのデータ送信の処理を終了する。このような処理を行うことで、再生停止位置からの多重化ストリームデータを生成し終えずとも、ユーザは視聴を開始することができるため、再生開始の指示から実際に再生を開始するまでの時間を短縮することができる。

本発明は、図１で示した構成に制限するものではなく、下記の図１４に示すような構成を取っても実現できる。なお、図１４中での各部の番号は図１と同様の働きを行うものには、同一の番号を付している。

図１４は、本発明の他の実施形態に係る画像処理装置において、サーバー／クライアント型の構成例を示すブロック図である。本実施形態の画像処理装置は、画像記録部６３と画像再生部６４から構成され、コンテンツ関連情報データベース１６を画像再生部６４のみが管理する。例えば、サーバー／クライアント型の装置においては、画像再生部を有するクライアント側の端末に保存されるなどが考えられる。

サーバー／クライアント型の装置を考えた場合、画像記録部６３と画像再生部６４は、有線又は無線のネットワークで接続され、データがやり取りされる（Ｌ１、Ｌ２）。ユーザがコンテンツの途中からの再生を望む場合、すでに述べたようにコンテンツデータ受信後にパケットの再構成を行っても、再生開始位置のデータを取得するまで、ユーザは視聴を待たねばならない。そのため、再生制御部１７は、コンテンツデータ読み出し部１９にコンテンツデータを要求する際に、再生開始位置の情報を合わせて伝達する（Ｌ１）。コンテンツデータ読み出し部１９は、要求のあったコンテンツデータをコンテンツ蓄積部１３から取得するが、その際に符号化データ抽出部２１により、既に述べた再構成の方法により、コンテンツデータは再生開始位置からのコンテンツに再構成される。再構成されたコンテンツデータが再生制御部１７に伝達され（Ｌ１）、復号される。

図１４での本発明の動作を説明する。コンテンツを受けた記録制御部１１は、例えば、複数の記録モードで記録するなどの符号化条件に従って、符号化部１２に符号化を指示する。符号化されたデータは、コンテンツ蓄積部１３に蓄積される。なお、この時、コンテンツ蓄積部１３には、蓄積されたコンテンツ管理のために、コンテンツリストが生成される。このコンテンツリストは、蓄積されたコンテンツが、どのようなコンテンツが記録されているか、複数の記録モードで記録されているかなどが分かればよいので、図２に示したコンテンツの情報のうち、少なくともコンテンツ名と実際のデータファイル名が記録されていればよい。ユーザが視聴を行う時は、再生制御部１７からコンテンツリスト読み出し部６２にコンテンツ蓄積部１３に蓄積されているコンテンツの問い合わせを行う（Ｌ２）。コンテンツリスト読み出し部６２はコンテンツ蓄積部１３からリストを取得し、その情報を再生制御部１７に返す（Ｌ２）。再生制御部１７は、取得したリストをコンテンツ関連情報生成部１４でコンテンツ関連情報データベースの形式に変換し、関連情報記録部１５を経てコンテンツ関連情報データベース１６に記録する。既にコンテンツ関連情報データベース１６にコンテンツ関連情報が存在した場合には、関連情報記録部１５は、取得し生成した関連情報とデータベース中の関連情報をマージするように記録してもよいし、単純に上書きでもよい。

コンテンツ関連情報データベース１６に蓄積された情報は、関連情報読み出し部１８により読み出され、再生制御部１７によってユーザに示される。ユーザは示されたコンテンツの関連情報（コンテンツ名や記録モードや再生時間や、再生停止位置情報など）から視聴するコンテンツを選択する。再生制御部１７は選択されたコンテンツをコンテンツデータ読み出し部１９に要求し、取得したデータの再生を行う。

ユーザが再生を停止した場合、再生制御部１７は再生停止位置をコンテンツ関連情報データベース１６に登録する。コンテンツ関連情報データベース１６のユーザが視聴したコンテンツの関連情報のうち、コンテンツ関連情報生成部１４で再生停止位置の情報を更新して登録を行う。

また、サーバー／クライアント型の構成において、コンテンツ関連情報データベースは、サーバー側が管理してもよい。図１５にその構成例を示す。
図１５は、本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。本実施形態の画像処理装置は、コンテンツを記録蓄積する画像記録部６５と画像再生部６６からなる。クライアント側である画像再生部６６の再生制御部１７は、関連情報読み出し部１８に、サーバー側に蓄積されているコンテンツ情報を要求する（Ｌ２）。獲得したコンテンツ名や時間情報などの情報をユーザに提示し、ユーザが視聴するコンテンツを決定する。選択されたコンテンツのデータの取得をコンテンツデータ読み出し部１９に要求する（Ｌ１）。

この時、ユーザが選択したコンテンツに再生停止位置の情報があり、ユーザがその再生停止位置からの再生を望んだ場合、再生停止位置からの再生であることもコンテンツデータ読み出し部１９に通知する（再生停止位置からの再開のフラグでもよいし、再生開始を行う位置の時間情報でもよい）。コンテンツデータ読み出し部１９は、コンテンツ蓄積部１３からデータを読み出し、ユーザによって指定された再生開始位置からデータを再構成するために符号化データ抽出部２１で処理を行う。再構成されたデータを再生制御部１７に伝達することで、ユーザはコンテンツの視聴が可能になる。

画像再生部６６を有する機器で視聴を行い、途中で再生停止を行った場合、その再生停止位置情報は画像記録部６５に伝達される（Ｌ３）。再生停止位置情報を受信した記録制御部１１は、これまでに述べた方法と同様に、コンテンツ関連情報データベース１６のコンテンツ関連情報を更新する。

図１６は、本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。前述した図１４、図１５では、出力の際に、復号部２０でコンテンツデータの復号を行い、出力部２２にて表示装置へコンテンツの出力を行っていたが、図１６に示すように、出力先がネットワークなどの場合、復号をせず出力してもよい。

図１７は、本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。サーバー／クライアント型の構成にて蓄積されたコンテンツを視聴する方法として、コンテンツデータをクライアントである再生側の機器にコピー（あるいは移動）して視聴する方法がある。この構成について図１７に基づいて説明する。

図１７に示すように、記録側の機器は画像記録部６７を有し、再生側の機器は画像再生部６８を有する。画像再生部６８は、コンテンツ関連情報生成部１４と同様の処理を行うコンテンツ関連情報生成部１４´、関連情報記録部１５と同様の処理を行う関連情報記録部１５´、関連情報読み出し部１８と同様の処理を行う関連情報読み出し部１８´および、コンテンツデータ読み出し部１９と同様の処理を行うコンテンツデータ読み出し部１９´を有する。また、コンテンツ関連情報を格納するコンテンツ関連情報データベース１６´とコンテンツを蓄積するコンテンツ蓄積部１３´を有する。

ユーザが蓄積側にあるコンテンツを選択し、再生側の機器にコンテンツを格納する際は、無線又は有線で両者を接続しコンテンツの情報およびデータを取得する。コンテンツデータはコンテンツデータ読み出し部１９より、コンテンツデータ記録部６９を経由し、コンテンツ蓄積部１３´に格納される。コンテンツ関連情報は、関連情報読み出し部１８から関連情報記録部１５´を経由し、コンテンツ関連情報データベース１６′に格納される。ここで格納時の状態は問わない。すなわち、単純にコピーを行ってもよいし、移動の状態でもよい。

このように、コンテンツを画像再生部６８を有する機器に格納する際に、格納したコンテンツの関連情報も合わせて格納するので、再生停止位置の情報が含まれていた場合、この機器で視聴する際には途中から再生が可能となる。

格納対象のコンテンツが複数の記録モードで記録されていた場合、ユーザにどの記録モードのデータを格納するのか選択させてもよいし、全ての記録モードのデータを格納してもよい。また、再生側の機器が、どのようなスペックのデータが再生可能かといった再生能力の情報が設定してあった場合は、その能力に見合ったデータを取得してもよい。

再生側の機器で視聴し、再生停止を行った場合、コンテンツの再生停止位置情報は、再生側の機器のコンテンツ関連情報に記録／更新される。再生側の機器で記録／更新されたコンテンツ関連情報は、次回に記録側の機器と再生側の機器が接続された時に、再生側から記録側の機器に転送され、蓄積側の機器のコンテンツ関連情報が更新される。すなわち、コンテンツ関連情報データベース１６´より関連情報読み出し部１８´によってコンテンツ関連情報が読み出され、再生制御部１７を経て、記録側の機器のコンテンツ関連情報生成部１４に出力される。コンテンツ関連情報生成部１４は、受け取った情報を関連情報記録部１５に出力し、コンテンツ関連情報データベース１６が更新される。この更新に際しては、それぞれの機器を接続した時に自動的に更新してもよいし、更新するかどうかをユーザに提示し選択してもよい。

図１８は、画像処理装置におけるコンテンツ関連情報にＵｓｅｒＩＤを追加した構成例を示す図である。図２に示した関連情報データは、視聴するユーザ毎の区別が出来ないため、再生停止したユーザＡと次に視聴したユーザＢが異なると、ユーザＡが再生停止した情報が失われてしまうことがある。そこで、関連情報データにユーザ識別の情報を付与してもよい。図１８の例では、図２に示した関連情報データにＵｓｅｒＩＤのフィールドを追加し、それぞれに再生停止位置を記録できるようにしたものを示す。この時、実際の視聴するユーザとＵｓｅｒＩＤの組み合わせ設定については方法を問わない。例えば、パーソナルコンピュータに代表されるように、視聴の際にはログイン操作を行い識別するようにしてもよいし、再生停止位置にユーザ名などをユーザに問い合わせても良い。また、ユーザ毎に操作するための機器（例えば、ユーザ毎の専用リモコンなど）が異なれば、その機器を識別し、ＵｓｅｒＩＤとして利用してもよい。また、サーバー／クライアント型の構成における再生側の機器（ＰＤＡでの視聴や携帯電話の視聴）が異なる場合、再生機器を識別してＵｓｅｒＩＤとして利用してもよい。

本発明のどの構成（図１、図１４、図１５、図１６、図１７）においても、再生停止位置情報の記録タイミングはどのようなタイミングで記録してもよい。すなわち、再生を停止した際に自動的に記録してもよいし、停止時に再生停止位置を記録あるいは更新するかどうかのウィンドウなどを表示しユーザに選択させてもよい。その際に、ユーザが記録（更新）を選択した場合には、再生停止位置情報を書き換えるが、更新しない場合には、再生停止位置情報は記録されない。

また、画像記録部あるいは画像再生部が複数のユーザを識別することができ、各コンテンツのコンテンツ関連情報に再生停止情報が一つしか格納できない場合は、それぞれのユーザに再生停止位置情報のユーザ間の優先度を設定してもよい。すなわち、優先度の高いユーザＡが視聴を行い、再生停止位置情報を更新した場合は、自動的にコンテンツ関連情報が更新され、優先度が低いユーザが視聴を行い、再生停止位置情報を更新しようとした場合は、優先度が低いためコンテンツ関連情報は更新されない。同様に、サーバー／クライアント型の構成において、クライアントの再生側の機器が複数あった場合、再生機器毎に優先度を付与することで、優先度が高い機器Ａで視聴した場合には再生停止位置情報を含むコンテンツ関連情報が更新され、優先度が低い機器Ｂで視聴した場合は、視聴中に再生停止を行っても再生停止位置情報を更新しないことになる。

尚、本発明に係る各実施形態において、再生停止位置の情報に従ってコンテンツの途中からの再生を行う方法について説明したが、これに限らず、ジャンプ再生など、再生停止位置の情報がなく、ユーザの操作によりコンテンツの任意の場所からの再生処理においても、同様の手法が適用できる。

以上、本発明の画像再生装置における各機能を中心に各実施形態を説明してきたが、本発明は、画像再生装置における各ステップを実行する方法としても説明したように画像再生方法としての形態もとることができる。また、この各機能を有する装置と同様に、コンピュータに画像再生装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記憶した記録媒体としての形態も可能である。

例えば、画像記録のためのプログラムの場合、当該プログラムは、コンテンツを符号化する符号化モジュールと、符号化したコンテンツの符号化データを蓄積する符号化データ蓄積モジュールと、コンテンツの複数の符号化データに共通の再生停止位置を示す情報を含む符号化データの関連情報を生成する関連情報生成モジュールと、生成した関連情報をコンテンツ毎に蓄積する関連情報蓄積モジュールとを備える。符号化モジュールは、コンテンツを複数の符号化条件で符号化し、その複数の符号化データを符号化データ蓄積モジュールを用いて蓄積する。さらに、関連情報生成モジュールは、蓄積された複数の符号化データのいずれかが再生停止されたときに、その再生停止位置を示す情報を生成して関連情報蓄積モジュールを用いて蓄積する。

本発明による画像再生の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ（−Ｒ／−ＲＷ）、光磁気ディスク、ＨＤ、ＤＶＤ−ＲＯＭ（−Ｒ／−ＲＷ／−ＲＡＭ）、ＦＤ、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の画像再生装置としての機能をコンピュータに実行させ、画像再生の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像再生の機能を実行することができる。

１，６３，６５，６７…画像記録部、２，６４，６６，６８…画像再生部、１０…画像処理装置、１１…記録制御部、１２…符号化部、１３，１３′…コンテンツ蓄積部、１４，１４′…コンテンツ関連情報生成部、１５，１５′…関連情報記録部、１６，１６′…コンテンツ関連情報ＤＢ、１７…再生制御部、１８，１８′…関連情報読み出し部、１９，１９′…コンテンツデータ読み出し部、２０…復号部、２１…符号化データ抽出部、２２…出力部、３１，４０〜４４…パケット、３２，３５，３７，４７，４８…画像データ、３３，３４，３６，３８，３９，４５，４６，４９…音声データ、３２′，３７′，３８′，３９′…無効データ、５１〜５８…矢印、６１…エントリの時間間隔、６２…コンテンツリスト読み出し部、６９…コンテンツデータ記録部。

Claims (2)

1. コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出する符号化データ抽出手段とを備え、
   該符号化データ抽出手段は、前記再生停止位置の時刻情報から前記符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、前記符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、
   前記判定の結果に基づいて、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように該パケットを再構成することを特徴とする画像再生装置。
2. コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出する符号化データ抽出ステップとを備え、
   該符号化データ抽出ステップは、前記再生停止位置の時刻情報から前記符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、前記符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、
   前記判定の結果に基づいて、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように該パケットを再構成することを特徴とする画像再生方法。

Images