JP2008109434A - ストリームデータ再生システム、ストリームデータ再生システム用送信装置、ストリームデータ再生システム用受信装置及びストリームデータ再生システム用プログラム - Google Patents

Abstract

【課題】伝送路を用いてストリーム配信するシステムにおいて、高品質のストリームデータを伝送及び表示する場合に、遅延なくストリームデータを再生する。
【解決手段】階層情報を蓄積する第一蓄積手段１０１と、この第一蓄積手段から階層情報を読出す第一読出し手段１０２と、階層情報を伝送路１０４へ伝送する送信手段１０３と、伝送路１０４から階層情報を受信する受信手段１０５と、受信した階層情報を蓄積する第二蓄積手段１０６と、第二蓄積手段から階層化情報を読み出す第二読出し手段１０７と、階層情報を合成する合成手段１０８と、合成された情報を表示する表示手段１１０と、伝送路の使用可能な伝送帯域及び第二蓄積手段に蓄積された階層情報に基づいてストリーム再生のタイミングに合うように伝送可能な階層情報を決定して第一読出し手段１０２に要求する配信制御手段１０９とを備える。
【選択図】図１

Description

この発明は、送信装置から受信装置へ逐次時系列情報を伝送し、この時系列情報を再生するシステムに関する。特に、限られた伝送帯域の伝送路を介し、高品質の時系列データを伝送して再生する技術である。

従来のストリームデータ再生システムにおいては、階層構造化されたストリームデータを蓄積する第一蓄積手段、要求された品質を満たす階層データを第一蓄積手段から読み出すデータ特定手段、及び読み出した階層データを伝送する送信手段を備える送信装置と、伝送された階層データを受信する受信手段、受信した階層データを蓄積する第二の蓄積手段、受信した階層データに対応する第二の蓄積手段に蓄積された階層データを読み出す第二の読出し手段、受信した階層データと読み出した階層データを合成する合成手段、合成されたストリームデータを表示する表示手段、及び所望の品質の再生を要求する再生要求手段を備える受信装置とから構成されている。

この構成により、受信側で蓄積及び再生されたストリームデータを再度再生する際には、まだ受信装置側に蓄積されていない差分の階層データのみを伝送することにより、高品質のストリームデータを限られた伝送帯域で効率よく伝送及び再生できる（例えば、特許文献１）。

特開２００５−２９３１５８号公報（実施の形態４、段落番号〔０１２４〕〜〔０１５０〕）

従来のストリームデータ再生システムでは、要求された品質を満たす階層データを伝送するため、通信状態、伝送量の変化等の外的要因によって伝送路の利用可能な伝送帯域が狭くなった場合には、直ぐに再生を開始できない、又は再生中に再生が遅くなるという問題があった。

この発明は、上記のような問題点を解決するためになされたもので、遅延無くストリームデータを再生するストリームデータ再生システムを得るものである。

この発明に係るストリームデータ再生システムにおいては、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段、前記伝送路から前記階層情報を受信する受信手段、前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、前記第二蓄積手段に蓄積された階層情報を合成する合成手段、前記合成した情報を表示する表示手段、及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して前記第一読出し手段に要求する配信制御手段を備えたものである。

また、この発明に係るストリームデータ再生システム用送信装置においては、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、及び前記階層情報を第二蓄積手段に蓄積して前記階層情報を合成した情報を表示する受信装置へ伝送路を介して前記第一読出し手段によって読み出された前記階層情報を送信する送信手段を備え、前記第一読出し手段は、最初にストリーム再生する第一再生後に再生する第二再生の際に前記第二蓄積手段に蓄積されていない前記階層情報の中から選択された前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を要求に応じて読み出すものである。

また、この発明に係るストリームデータ再生システム用受信装置は、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段と、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段と、及び前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段とを備えた送信装置から前記階層情報を受信する受信手段、前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、前記第二蓄積手段に蓄積された階層情報を合成する合成手段、前記合成した情報を表示する表示手段、及び最初にストリーム再生する第一再生後に再生する第二再生の際に前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段を備えたものである。

また、この発明に係るストリームデータ再生システム用プログラムは、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段、前記伝送路から前記階層情報を受信する受信手段、前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、
前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、前記第二蓄積手段に蓄積された階層情報を合成する合成手段、前記合成した情報を表示する表示手段、及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段としてコンピュータを機能させるものである。

また、この発明に係るストリームデータ再生システム用プログラムは、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、及び前記階層情報を第二蓄積手段に蓄積して前記階層情報を合成した情報を表示する受信装置へ伝送路を介して前記第一読出し手段によって読み出された前記階層情報を送信する送信手段を備え、前記第一読出し手段は、最初にストリーム再生する第一再生後に再生する第二再生の際に前記第二蓄積手段に蓄積されていない前記階層情報の中から選択された前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を要求に応じて読み出すようにコンピュータを機能させるものである。

また、この発明に係るストリームデータ再生システム用プログラムは、時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段と、前記第一蓄積手段から前記階層情報を読み出す第一読出し手段と、及び前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段とを備えた送信装置から前記階層情報を受信する受信手段、前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、前記第二蓄積手段に蓄積された階層情報を合成する合成手段、前記合成した情報を表示する表示手段、及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段としてコンピュータを機能させるものである。

この発明は、階層情報を伝送する直前の伝送帯域から伝送する階層情報を決めるので、伝送路の利用可能な帯域が変化した場合にも、再生予定時刻までに階層情報を伝送するので、直ぐに再生を開始でき、又は再生中に再生が遅くなることを防止できる。

実施の形態１．
図１は、本実施の形態のストリームデータ再生システムを実現するためのブロック構成を示す概念図である。図１において、時系列のストリームデータ情報を情報の詳細度で階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段１０１、この第一蓄積手段１０１から階層情報を読み出す第一読出し手段１０２、第一読出し手段１０２によって読み出された階層情報を伝送路１０４へ送信する送信手段１０３、伝送路１０４から階層情報を受信する受信手段１０５、受信手段１０５で受信した階層情報を蓄積する第二蓄積手段１０６、第二蓄積手段１０６から階層情報を読み出す第二読出し手段１０７、第二蓄積手段１０６に蓄積された階層情報を合成する合成手段１０８、前記合成した情報を表示する表示手段１１０、及び最初にストリーム再生する第一再生後に再生する第二再生の際に、第二蓄積手段１０６に蓄積されていない階層情報の中から伝送路１０４の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ階層情報を選択して第一読出し手段１０２に要求する配信制御手段１０９を備える。

以下、用語について説明する。一般に、ストリーム又はストリーム処理方式とは、全てのデータを計算機の記憶装置に読み込んだ後に処理するのではなく、データの冒頭部分を読み込むと同時にデータ処理を開始し、データを処理しながら残りのデータを読み込んで流れるようにデータを再生する処理方式である。また、ストリームデータとは、上記ストリーム処理方式で伝送されるデータある。

さらに、スケーラビリティとは、ストリームデータの空間解像度又は時間方向の解像度などを可変する機能であり、階層符号化とは、スケーラビリティを実現する手法である。階層符号化されたストリームデータとは、上記階層符号化手法で解像度などを可変するように階層化されたストリームデータである。また、階層情報とは、階層符号化されたストリームデータの各階層の情報単位を呼ぶ。従って、空間解像度を可変する場合には、低い階層の階層情報だけでは、低い解像度の再生しかできず、高い階層の階層情報まで含めることで高い解像度の再生を実現できる。

また、ストリーム再生とは、上記ストリーム処理方式でストリームデータを再生（プレイバック）することをいい、ここでは第一再生とも呼ぶ。

また、記録時刻とは、ストリームデータとして記録された時刻であり、記録時刻はストリームデータに保持される。具体的にはカメラでの撮影時刻や送信装置での記録時刻、映画等の編集したコンテンツであれば先頭を時刻０とする相対時刻に相当する。ストリーム再生時には、記録時刻から所定時間遅れた再生時刻に再生される。再生時刻とは、ストリームデータが表示手段１１０に再生される時刻をいう。さらに、再生予定時刻とは、再生が開始されると必然的に決まる再生時刻のことをいう。

また、一度ストリームデータを受信後又はストリーム再生後に、再生することを以下、第二再生と呼ぶ。従って、第一再生は、低い階層の階層情報が伝送される。その後に行われる第二再生では、既に伝送され蓄積された階層情報と、新たにストリーム処理方式で伝送された他の階層情報とを合成して再生する。

次に、上記構成での作用効果について説明する。従来のシステムでは、明示的に利用者が品質指定をして再生しても、直ぐに再生できない又は再生途中で止まるなどの問題があった。この問題に対して、本実施の形態は、上記構成を採ることによって、繰り返し再生されるストリームデータの部分は、重要部分又は利用者が見たい部分として、繰り返し再生する部分の階層情報を優先的に伝送するようにしたものである。具体的には、配信制御手段１０９が、第二再生時に再生対象の記録時刻の階層情報で未だ第二蓄積手段１０６に蓄積されていない階層情報を伝送路１０４の伝送帯域内で伝送するように第一読出し手段１０２に要求する。これによって、第二蓄積手段１０６は、第二再生が繰り返されるストリームデータの部分の階層情報がより解像度の高い情報を有する階層情報まで蓄積する。この高階層の階層情報を合成して表示するので、再生を繰り返すストリームデータの部分について、解像度の高いストリームデータを再生できる。

ここで、配信制御手段１０９は、未だ第二蓄積手段１０６に蓄積されていない階層情報の中で、伝送路１０４の伝送帯域内で伝送する階層情報を決める。この際に、配信制御手段１０９は、再生予定時刻の所定時間前までに伝送できる情報量を持つ階層情報を選択する。ここで、所定時間は、内部処理に要する処理時間である。

また、本実施の形態の所定時間とは、合成手段１０８において階層情報の合成に要する時間と、表示手段１１０が復号化及び表示に要する時間との和とすることができる。このように所定時間を設定することによって、階層情報が伝送後、確実に合成、復号及び表示されるので、本実施の形態の構成は、直ぐに再生できない問題や、再生途中で止まる問題が生じなくなる効果がある。

図２は、本実施の形態のストリームデータ再生システムを実現する装置の構成を示す図である。本実施の形態は、カメラで撮影した動画像の情報を時系列のストリームデータとしてストリームデータ再生システムを実現する例である。図２において、ストリームデータ再生システムは、動画像を撮影するカメラ２０１、このカメラ２０１と有線又は無線で接続され撮影された動画像をストリームデータとして蓄積して配信する配信装置２０２、ストリームデータを有線又は無線で配信する伝送路１０４であるネットワーク２０３、このネットワーク２０３からストリームデータを受信して動画像を再生する受信装置２０４及びこの再生内容を表示する表示装置２１９を備えるものである。なお、図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通することである。また、明細書全文に表れている構成要素の形容は、あくまで例示であってこれらの記載に限定されるものではない。

ここで、送信装置２０２は、上述の第一蓄積手段１０１と第一読出し手段１０２と送信手段１０３とを備え、受信装置２０４は、上述の受信手段１０５と、第二の蓄積手段１０６と、合成手段１０８とを備える。上述の配信制御手段１０９は、送信装置２０２と受信装置２０４とに機能別に備えられ、合わせて配信制御手段１０９を実現している。このように配信制御手段１０９は、複数の装置及び伝送路１０４に分散して実現することもできるし、伝送路１０４を用いて受信装置２０４と送信装置２０２とが通信して第一読出し手段１０２に階層情報を要求するようにして受信装置２０４のみに配信制御手段２２１を構成することもできる。

このようなストリームデータ再生システムは、防災や防犯目的などの映像監視システム等、又はニュースやスポーツなどのテレビ中継等に適用される。

次に、各装置のハードウェアについて説明する。図３は、本実施の形態の送信装置２０２及び受信装置２０４を実現するハードウェアの構成を示す図である。図３において、送信装置２０２及び受信装置２０４を実現するハードウェアは、パソコンなどの計算機、携帯端末などの電子機器である。キーボード、テンキー、カーソルキー、マウス、ジョイスティックなどの入力機器から情報を入力する入力部３０１と、情報を記憶する記憶する記憶部３０２との情報に基づき演算処理を行う中央処理部３０３と、この処理結果を文字、画像など表示情報として液晶ディスプレイ、ＣＲＴなどに表示する表示部３０４と、有線または無線によって外部と通信して情報をやり取りする通信部３０５から構成される。

また、カメラ２０１のハードウェアは、動画を撮影するカメラで、送信装置２０２へ動画を伝送するものである。なお、図２のようにカメラ２０１内で符号化手段を持つ構成に限らず、動画を送信装置２０２へ伝送後、送信装置２０２内で符号化しても送信装置２０２の第一蓄積手段１０１に階層符号化されたストリームデータが蓄積されれば、本実施の形態を実現できる。

次に、各装置の手段がどのハードウェアで実現されるかを説明する。送信装置２０２の第一蓄積手段１０１は、記憶部３０２において実現され、階層情報が記憶部３０２に蓄積される。また、第一読出し手段１０２は、記憶部３０２に蓄積された階層情報を読出し、送信手段１０３は主に通信部３０４において実現される。

また、受信装置２０４の受信手段１０５は、主に通信部３０４において実現され、第二蓄積手段１０６は、記憶部３０２において実現され、階層情報が記憶部３０２に蓄積される。また、第二読出し手段１０７は、記憶部３０２に蓄積された階層情報を読出し、合成手段１０８は、読み出された階層情報を中央処理部３０３で合成する。表示手段１１０は、合成手段１０８で合成された情報を表示部３０４に表示する。再生要求手段２２０は、入力部３０１において実現され、配信制御手段１０９は、記憶部３０２に記憶された階層情報、及び伝送路１０４の伝送帯域の情報を元に送信装置２０２に階層情報を要求する処理を中央処理部３０３において実現される。なお、記憶部３０２には、計算機を各手段として実行させるためのプログラムが記憶され、各手段はこのプログラムを読出し、各手段を中央処理部３０３で実行する。

以下、各装置について説明する。カメラ２０１は、レンズや撮像素子等から構成される撮像手段２０６、撮像された画像データを階層構造化された動画像データに符号化する符号化手段２０７、及び符号化された動画像データを送信するカメラ送信手段２０８を備える。上記階層構造化された動画像データは、階層符号化された（スケーラブルな）ストリームデータであり、図２中の第一蓄積手段１０１に蓄積される階層構造化ストリームデータに相当する。

送信装置２０２は、カメラ２０１からの動画像データを受信するカメラからの情報受信手段２０９、受信した階層化された動画像データを蓄積する第一蓄積手段１０１、要求された動画像データを第一蓄積手段１０１から読み出す第一読出し手段１０２、及び読み出した階層情報をストリーム再生のタイミングに合わせて順次伝送する送信手段１０３を備える。さらに、送信装置２０２は、配信制御手段１０９の一部の機能を有する配信制御手段２１４を備えるように構成できる。例えば、この配信制御手段２１４は、まず、ストリームデータ再生要求に応じて、利用可能な伝送帯域の情報及び第二蓄積手段１０６に蓄積された階層レベルに基づき、受信装置２０４にて遅延無く実時間でストリーム再生するタイミングに合わせ伝送可能な階層情報を決定する。次に、配信制御手段２１４は、その階層データを読み出すよう第一蓄積手段１０１に要求する。

以下、「受信装置２０４にて遅延無く実時間でストリーム再生するタイミングに合わせ伝送可能」を「ストリーム伝送可能」、又は「ストリーム配信可能」と呼ぶ。

カメラ２０１と送信装置２０２とは、高品質な動画像データを配信できるＬＡＮ（Local Area Network）等の広帯域ネットワークや、ＵＳＢ（Universal Serial Bus）等の高速インタフェースで接続される。

受信装置２０４は、伝送された階層情報を受信する受信手段１０５、受信した階層情報を蓄積する第二蓄積手段１０６、受信した階層情報に対応する第二蓄積手段１０６に蓄積された階層情報を読み出す第二読出し手段１０７、第二読出し手段１０７から読出した階層情報を合成する合成手段１０８、合成されたストリームデータを表示する表示手段１１０、及びストリームデータの再生を要求する再生要求手段２２０を備える。さらに、受信装置２０４は、送信装置２０２の配信制御手段２１４と連携して上記配信制御を行う配信制御手段２２１を備える。例えば、配信制御手段２２１は、まず、再生要求手段２２０の情報から再生するストリームデータの記録時刻を求め、この記録時刻のストリームデータに対応する階層情報で第二蓄積手段１０６に蓄積されている階層レベルを求める。次に、配信制御手段２２１は、配信制御手段２１４に、再生するストリームデータの記録時刻と上記蓄積されている階層レベルの情報とを送信する。

また、合成手段１０８は、受信した階層情報と読出した階層情報とを合成するように構成することもできる。受信した階層情報を第二蓄積手段１０６に蓄積する前に、合成手段１０８が、受信した階層情報と第二蓄積手段１０６から読出した階層情報とを合成することによって、合成する直前までに受信した階層情報を合成して再生対象にできる。即ち、第二の蓄積手段への蓄積と第二の蓄積手段からの読み出しの時間が不要となり、より少ない遅延でストリーム生成できる。なお、受信した階層情報を第二蓄積手段１０６に蓄積する前に合成した場合は、合成の後又は合成と並行して、第二蓄積手段１０６が、受信した階層情報を蓄積する。この蓄積によって、合成手段１０８は、次回以降の再生で、当該階層情報を再生する合成対象にできる。

また、受信した階層情報と第二蓄積手段１０６から読み出した階層情報とを合成する場合にも、現実には受信した階層情報をメモリに記憶して、このメモリから階層情報を合成手段１０８が読み出すことになる。上記メモリも第二蓄積手段１０６の一部と考えると、上記第二読出し手段１０７から読出した階層情報を合成するといえる。従って、本明細書では、受信した階層情報と第二蓄積手段１０６から読み出した階層情報とを合成する場合も含めて、第二読出し手段１０７から読出した階層情報を合成すると表現する。

ネットワーク２０３は、受信装置２０４における一回の第二再生で、送信装置２０２に蓄積された高品質な動画像データの全階層データをストリーム配信できる帯域を保有しないものとする。本実施の形態は、例えば、高品質動画像データのビットレートが１０Ｍ〔ｂｐｓ〕（bits per second）で伝送帯域が２Ｍ〔ｂｐｓ〕しかないようなネットワークや，１００Ｍ〔ｂｐｓ〕の帯域を有するネットワークにて１０Ｍ〔ｂｐｓ〕の高品質動画像データを同時に１０ストリーム以上配信するような場合を想定するものである。

図４は、階層構造化されたストリームデータとして動画像データを例にとり、階層構造を示す図である。図４（ａ）は、動画像であるストリームデータの概念説明図である。図４（ａ）において、軸Ｘ，Ｙは、画像の横方向、縦方法をあらわし、軸Ｘ，Ｙの奥行き方向は、時間軸Ｔを表す。動画像の画像フレーム４０１は、時系列順に時間軸に沿って配列され、便宜上、時系列順に画像フレーム番号（１〜８）を右上に表示している。ここで画像フレーム４０１とは、変化する静止画を連続的に表示する動画像の１つの静止画に相当する。

本実施の形態における階層構造化されたストリームデータ（階層符号化されたストリームデータ）とは、階層１の基本データおよび階層２以上の拡張データの複数階層データから構成されものである。階層データは、階層１のみでは低品質の再生、階層２以上を順次加えて合成することでよって、高品質の再生が可能となるものである。ここでは、この各階層を表す情報を階層情報と呼ぶ。図４（ｂ）及び（ｃ）は、画像の空間的解像度を用いた空間的な階層構造化、及び画像フレームの間引き（時間的解像度）を用いた時間的な階層構造化の例を示す。

図４（ｂ）は、空間的階層構造化の例を表す。動画像データを構成する各画像フレーム４０１は、３つの解像度に階層化され、各階層が階層情報に相当する。例えば、階層１の階層情報は、原画像の縦横１／４×１／４の解像度の画像を再生できる。また、階層１の階層情報と階層２の階層情報を合成したもの（「階層１＋２」と表記する。以下同様な表記形式とする。）は、原画像の１／２×１／２の解像度の画像を再生できる。さらに、階層１＋２＋３は、現画像そのものを再生する。図４（ｂ）において、階層１から３に対応する階層情報のデータをボックス４０２で表し、このボックス４０２の中に「（画像フレーム番号）：（階層番号）」を表記している。以下の図では、この表記形式をとる。この表記形式を含むボックスは、画像フレームの階層に対する階層情報のデータ４０２を表す。

図４（ｃ）は、時間的階層構造化の例を表す。この例では、単位時間当たりの画像フレーム数（フレームレート）が、３Ｎ〔ｆｐｓ〕（frame per second）の動画像をＮ〔ｆｐｓ〕の３つの階層に分割している。図４（ｃ）において、階層１の階層情報を画像フレーム１，４，・・・とし、階層２の階層情報を画像フレーム２，５，・・・とし、階層３の階層情報を画像フレーム３，６，・・・としている。ここで、各階層は、複数の画像フレーム４０１から構成され、各画像フレームは四辺形４０１で表され、中央に画像フレーム番号、右肩に「（画像フレーム番号）：（階層番号）」が表記されている。図４（ｃ）の右側の模式図は、横軸に経過時間をとった再生のタイミングを階層ごとに表している。ここで、実線の四辺形４０１は、画像フレームが再生されることを示し、破線の四辺形４０１は、その時刻には再生の表示を変更しないことを示している。上述のように階層を構成すると、階層１の階層情報でＮ〔ｆｐｓ〕、階層１＋２で ２Ｎ〔ｆｐｓ〕、階層１＋２＋３で３Ｎ〔ｆｐｓ〕と、合成する階層数の増加にともない順次動きの滑らかな動画像が再生される。

このような階層構造を有する画像符号化は、スケーラブル画像符号化と呼ばれ、ＭＰＥＧ−２／４（Motion Picture Experts Group）や、ＪＰＥＧ／ＪＰＥＧ２０００（Joint Photographic Experts Group）といった画像符号化方式でも採用されている。図４の例以外に、ＳＮＲ（Signal to Noise Ratio）、色成分、位置（例えば注目領域と背景）による空間的な階層化、動き補償の精度などの時間的な階層化など種々の方法がある。本発明はこれら特定の符号化方式や階層構造化方式に依存するものではなく、階層化構造を有するストリームデータに適応できる。

図５は、第一蓄積手段１０１に蓄積される階層構造化ストリームデータ２１１のデータ構造を示す図である。本実施の形態のストリームデータは、動画像データそのものであるストリーム実体データ５３０と、実体データの属性や所在等の管理情報を記述したストリーム管理データ５３１とから構成される。動画像データは、二次元情報である静止画（画像フレーム）が空間的に階層構造化されており、複数のコンテンツが含まれる。ここで、コンテンツとは、情報の内容であり、動画像データに複数のコンテンツが含まれるとは、内容が異なるコンテンツが動画像データ中に複数あることを意味し、例えば、設置位置の異なるカメラの動画像がある場合、１つのカメラの動画像が１つのコンテンツとなり得る。

ストリーム管理データ５３１は、コンテンツの識別子であるコンテンツＩＤ（識別子）、コンテンツ属性情報、階層構造属性情報、及びストリーム実体データ５３０へのポインタ情報から構成される。コンテンツ属性情報は、コンテンツのタイトル、撮影時刻、時間長、画像の解像度、符号化方式等のコンテンツに関する情報が記述される。

また、階層構造属性情報は、階層構造の種類、全階層数、階層番号、階層毎の平均ビットレート等の階層構造に関する情報が記述される。ストリーム実体データ５３０へのポインタ情報は、各画像フレームおよび画像フレームの各階層情報が記録されるアドレスとデータ長から構成される。

第一蓄積手段１０１は、カメラからの情報受信手段２０９が階層構造化ストリームデータ（動画像データ）２１１を受信すると、その階層構造化ストリームデータ（動画像データ）をストリーム実体データ５３０として、メモリやハードディスク等の記憶部（蓄積装置）３０２に蓄積する。また、対応するストリーム管理データ５３１を作成及び更新し、記憶部（蓄積装置）３０２に蓄積する。また、第一蓄積手段１０１は、配信制御手段２１４（１０９）から与えられるコンテンツＩＤ、画像フレーム、階層番号等の情報に基づき、このストリーム管理データ５３１を参照して、所望の階層情報をストリーム実体データ５３０から読み出す。

配信制御手段１０９は、ストリーム管理データ５３１の階層構造属性情報や実体ポインタ情報に含まれる階層情報のデータ長を参照して、使用可能な伝送帯域で遅延なくストリーム伝送可能な階層情報を決定する。例えば、配信制御手段１０９は、使用可能な伝送帯域がＷ〔ｂｐｓ〕（bits per second）、階層ｎの平均ビットレートがＲｎ〔ｂｐｓ〕、階層ｍ以上の階層情報を配信する（階層ｍ未満の階層情報は既に第二蓄積手段１０６に蓄積済み）場合には、
Ｗ ≧ Ｒm + ・・・ + Ｒm+i の不等式を満足するi個の階層データを配信できる。

図６は、第二蓄積手段１０６に蓄積される階層構造化ストリームデータのデータ構造を示す図である。このデータ構造も、図５の第一蓄積手段１０１に蓄積される階層構造化ストリームデータ２１１のデータ構造と同様であって、蓄積されるストリーム実体データ６３０は、第一蓄積手段１０１に蓄積されたストリーム実体データ５３０の一部である。すなわち、再生で、受信装置２０４が既に受信し第二蓄積手段１０６に蓄積され、まだ消去されていない動画像データが第二蓄積手段１０６に蓄積されている。また、ストリーム管理データ６３１には、第二蓄積手段１０６に蓄積された階層構造化ストリームデータ（動画像データ）２１１のコンテンツＩＤ、コンテンツ属性情報、階層構造属性情報及び記録された階層データへの実体ポインタ情報が記述される。

配信制御手段１０９は、まず、ストリーム管理データ６３１を参照して、再生要求された階層構造化ストリームデータ（動画像データ）２１１が、第二蓄積手段１０６に記録されているか、どの階層情報が蓄積されているかを調べる。次に、配信制御手段１０９は、第一蓄積手段１０１及び第二蓄積手段１０６のストリーム管理データ５３１，６３１を参照することによって、要求された動画像データに対して、利用可能な伝送帯域を越えないように各画像フレームのどの階層情報を伝送すればよいかを決定する。

また、伝送路１０４の利用可能な伝送帯域は、例えば、送信装置２０２及び受信装置２０４における配信制御手段２１４と配信制御手段２２１との間、又はネットワーク接続されたネットワーク管理装置の管理手段の間で、データパケットの到着時刻や廃棄の情報を通知することによって、ネットワークトラフィックを測定し、ストリーム伝送可能な伝送帯域を決定することができる。本実施の形態は、これら特定の方法に依存するものではなく、直前の利用可能な伝送帯域を得ることができれば適用できる。なお、利用可能な伝送帯域の測定方法は、過去のネットワークトラフィックの傾向から、現在から再生予定時刻までの利用可能な平均伝送帯域を予測するものを用いても良い。この場合は、さらに多くの階層情報を確実に伝送できる効果がある。

図７〜図１０は、階層構造化ストリームデータ２１１を繰り返して複数回第二再生する際に、ストリーム伝送及びストリーム再生の方法を説明する図である。以下、ストリームデータとして動画像データを例に説明する。なお、音声データ、動画像と音声データ、その他マルチメディアデータなどのストリームデータも、動画像データと同様のストリーム伝送及びストリーム再生方法である。

図７は、空間解像度によって３階層に構造化された階層構造化ストリームデータ２１１を２回第二再生する例を示す。ここで、利用可能な伝送帯域は、一つの階層のみ遅延なくストリーム配信できるものと仮定する。図７（ａ），（ｃ）及び（ｅ）のグラフは、横軸に経過時間、縦軸に伝送帯域をとり、伝送路１０４の利用可能な伝送帯域ＢＷ１を一点鎖線で表している。また、各階層に対応する階層情報のデータの伝送帯域をボックス４０２で表し、このボックス４０２の中に「（画像フレーム番号）：（階層番号）」を表記している（以下、横軸に時間、縦軸に帯域をとったグラフで同じ）。図７（ａ）及び（ｂ）は、最初の再生、即ちストリーム再生、第一再生の説明図である。第一再生の際には、該当する階層情報が、１階層も記録されていない。階層１の階層情報のデータのみが、受信装置２０４側のストリーム再生のタイミングにあわせて、送信装置２０２から受信装置２０４に対して、第一蓄積手段１０１から読出しストリーム配信される。従って、図７（ａ）のように階層１の階層情報のデータ４０２のみが伝送される。ここで、一点鎖線ＢＷ１は、伝送路１０４の利用可能な伝送帯域を表す（以下の図で同じ。）。受信装置２０４側は、受信した階層１の階層情報を順次第二蓄積手段１０６に蓄積する。さらに、表示手段１１０が階層１の階層情報を復号し、原画像の１／４×１／４解像度の画像フレーム４０１として動画像を表示する（図７（ｂ）参照）。

図７（ｃ）及び（ｄ）は、再度、同じコンテンツの動画像データを再生する際の説明図である。この際には、第二再生となる。図７（ｃ）に示すように、ストリームデータ再生システムは、ネットワーク２０３の利用可能な伝送帯域ＢＷ１を越えないように、差分の階層２の階層情報のみを伝送（ストリーム配信）するように構成する。具体的には、まず、受信装置２０４は、受信手段１０５が受信した階層情報を第二蓄積手段１０６に蓄積する。この蓄積とともに、第二読出し手段１０７が、第一再生で蓄積した階層１の階層情報を第二蓄積手段１０６から読出す。次に、合成手段１０８が、読み出した階層１の階層情報と受信した階層２の階層情報とを合成する。次に、表示手段１１０が、原画像の１／２×１／２解像度の画像フレーム４０１を復号して動画像を表示する（図７（ｄ）参照）。

図７（ｅ）及び（ｆ）は、３回目に同じコンテンツの動画像を再生（２回目の第二再生）する際の説明図である。この際には、２回目の第二再生となる。図７（ｅ）に示すように、ストリームデータ再生システムは、差分の階層３の階層情報のみを伝送（ストリーム配信）するように構成する。具体的には、まず、受信装置２０４は、受信した階層情報を第二蓄積手段１０６に蓄積する。この蓄積とともに、第二読出し手段１０７は、最初と２回目の再生（第一再生と１回目の第二再生）で蓄積した階層１及び２の階層情報を第二蓄積手段１０６から読出す。次に、合成手段１０８は、読み出した階層情報と受信した階層３の階層情報とを合成する。次に、表示手段１１０は、原画像からの解像度縮小のない画像フレーム４０１を復号して動画像を表示する（図７（ｆ）参照）。

また、上記の伝送は、まず、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から、この階層情報の情報量と利用可能な伝送帯域ＢＷ１とを考慮して、画像フレームの再生予定時刻までに伝送可能な階層情報を決める。さらに、上記の伝送は、配信制御手段１０９が、第一読出し手段１０２に決められた階層情報を要求することによって、実現される。なお、配信制御手段が、画像フレームの再生予定時刻の所定時間前までに伝送可能な階層情報を決めることで、再生予定時刻に確実に再生することができる。

図８は、フレーム間引きによる３階層に時間的に構造化された階層構造化ストリームデータ（動画像データ）を、３回再生（第一再生と２回の第二再生）する例を示す。図８（ａ）及び（ｂ）は、最初の再生、ストリーム再生、即ち第一再生の際の説明図である。第一再生の際、図７（ａ）と同様、ネットワーク２０３の利用可能な伝送帯域ＢＷ１を越えないように、階層１の階層情報のみ伝送（ストリーム配信）するように構成する。受信装置２０４は、表示手段１１０が伝送された階層情報を復号して、１／３のフレームレートの動画像を表示する。

図８（ｃ）及び（ｄ）は、２回目の再生、即ち１回目の第二再生の説明図であり、図８（ｅ）及び（ｄ）は３回目の再生、即ち２回目の第二再生の説明図である。図８（ｃ）に示すように、１回目の第二再生では、利用可能な伝送帯域ＢＷ１を越えずに階層２の階層情報のみを伝送（ストリーム配信）する。また、図８（ｅ）に示すように３回目の再生（２回目の第二再生）では、利用可能な伝送帯域ＢＷ１を越えずに階層３のデータのみを伝送（ストリーム配信）する。さらに、合成手段１０８が、受信装置２０４側で既に受信して蓄積した低階層の階層情報と受信した階層情報とを合成する。次に、表示手段１１０が、１回目の第二再生では２／３のフレームレートの動画像データを、２回目の第二再生ではフレーム間引きなしの動画像データを、各々復号して表示する（図８（ｄ）及び（ｆ）参照）。

また、上記の伝送は、まず、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から、この階層情報の情報量と利用可能な伝送帯域ＢＷ１とを考慮して、画像フレームの再生予定時刻までに伝送可能な階層情報を決める。さらに、配信制御手段１０９が、第一読出し手段１０２に要求することによって、上記の伝送が実現される。

このように、各再生において、利用可能な伝送帯域を越えないように伝送（ストリーム配信）するように構成するため、再生毎に解像度やフレームレートを高めて品質を向上する第二再生を遅延なく実現できる。ここでは、このように、再生する毎に空間的解像度や時間的解像度を向上させる再生をプログレッシブ再生と呼ぶ。

図９は、従来システムにおける２回の再生の説明図である。図９（ａ）において、最初の再生で階層１の階層情報のデータ４０２を要求して、図９（ｂ）のように１回目の再生を行う。図９（ｃ）は、１回目の再生の後、２回目の再生で階層２＋３を要求した場合の伝送を示す図である。最初の再生では、使用可能な伝送帯域を越えないため、遅延なくストリーム伝送／再生が可能である（図９（ａ）参照。）。しかし、図９（ｃ）に示すように、２回目の再生で、階層２＋３の階層情報を第一読出し手段１０２に要求すると、ネットワーク２０３の利用可能な伝送帯域ＢＷ１を越えるため遅延が発生する。この遅延を表したのが図９（ｃ）及び（ｄ）であり、再生開始まで、再生待ちの時間が発生していることが分かる。

この場合に、再生途中で遅延しないようにするためには、直ぐに合成及び表示は行わずに、受信した階層情報を第二蓄積手段１０６に蓄積する。動画像データの前半のデータが十分蓄積された後に、第二蓄積手段１０６に蓄積された階層１＋２＋３の階層情報を再生対象コンテンツの先頭から読出して、合成及び表示を行う。仮に、各階層のビットレートが等しく、ネットワークの利用可能な伝送帯域は１階層のみストリーム配信できるとすると、階層２＋３の伝送（配信）を開始してから半分のデータを受信するまで再生を開始できないことになる。例えば、再生時間が１時間のコンテンツであれば再生を開始するまで３０分待機することになる。

図１０は、ネットワーク２０３の利用可能な伝送帯域ＢＷ２が、動画像データの配信途中に変化する場合の伝送を示す図である。図１０（ａ）の上側の模式図は、第一再生の際の説明図である。第一再生の際、ネットワーク２０３の利用可能な伝送帯域ＢＷ２は、伝送開始から時刻Ｔ２までの間は、１階層のみ伝送できる帯域であり、時刻Ｔ２以降は、２階層伝送可能な帯域であるとする。配信制御手段１０９は、ネットワーク２０３の利用可能な伝送帯域ＢＷ２を調べ、それを越えない最大の階層まで階層情報を伝送するよう制御する。従って、時刻Ｔ２までは、階層１（解像度１／４×１／４）の階層情報のデータ４０２を、時刻Ｔ２以降は、階層１＋２（解像度１／２×１／２）の階層情報のデータ４０２を遅延なく伝送し、受信装置２０４で再生する。図１０（ｂ）の左の模式図は、１回目の再生、即ち第一再生の際に、合成手段１０８が合成して表示手段１１０が表示する動画像の説明図である。

図１０（ａ）の真中の模式図は、２回目の再生、即ち第二再生の伝送を説明するものである。この第二再生の際には、先頭から時刻Ｔ１までは２階層、時刻Ｔ１以降は１階層のみ伝送可能な伝送帯域であるとする。配信制御手段１０９は、第二蓄積手段１０６に蓄積されていない階層情報を調べて、その階層情報の情報量とネットワーク２０３の利用可能な伝送帯域ＢＷ２とから、各画像フレームの再生予定時刻までに伝送可能な階層情報を決める。さらに、配信制御手段１０９は、当該階層情報を第一読出し手段１０２に要求する。この場合、先頭から時刻Ｔ１までは、階層２＋３を、時刻Ｔ１からＴ２までは、階層２を、時刻Ｔ２以降は、階層３を伝送（配信）するように制御する。

以上の伝送によって、図１０（ａ）の下の模式図に示すように、２回目の再生、即ち第二再生では、先頭から時刻Ｔ１まで階層１＋２＋３（解像度縮小なし），時刻Ｔ１からＴ２まで階層１＋２（解像度１／２×１／２），時刻Ｔ２以降は、階層１＋２＋３（解像度縮小なし）の階層情報が２回目の合成対象となる。これらの階層の動画像が、ストリームデータ再生システムでは、遅延なく再生される。なお、図１０（ａ）の下の模式図では、横軸に時間をとり、縦軸に階層のレベルをとり、合成される階層を実線Ｌ１で表している。また、階層に対応する階層情報のデータをボックス４０２で表し、このボックス４０２の中に「（画像フレーム番号）：（階層番号）」を表記している（以下、横軸に時間、縦軸に階層をとったグラフで同じ）。

なお、上記では、配信制御手段１０９が、各画像フレームの再生予定時刻までに伝送可能な階層情報を決めるとした。さらに、詳細には、階層情報を伝送後、合成手段１０８が合成し、表示手段１１０が復号して表示するのが再生予定時刻に間に合うように、階層情報を決める必要がある。従って、配信制御手段１０９は、合成、復号及び表示に要する時間の余裕をもって伝送できる階層情報を決めている。ただし、この場合のように、直前に伝送した階層情報を合成する必要がある場合には、上記時間の余裕をみる必要があるが、後述するように次回以降の再生のために伝送する場合には、上記合成、復号及び表示に要する時間の余裕を見る必要がない。

図１１は、表示装置２１９に表示される動画像再生用の操作画面を示す図である。操作画面４０は、再生する動画像コンテンツを選択するコンテンツ選択ボタン４１，動画像を再生表示する再生コンテンツウィンドウ４２，標準再生や特殊再生を行う再生操作ボタン４３，現在の再生品質を表示する品質ボックス４４，現在再生している対象の記録時刻を表示する表示する再生時刻ボックス４５及び全体におけるどの記録時刻を再生しているかを示すタイムバー４６から構成される。コンテンツ選択ボタン４１がクリックされると、表示手段１１０は、送信装置２０２に蓄積された動画像コンテンツの一覧リストを有する選択ボックスを表示装置２１９に表示する。次に、このコンテンツ情報等を参照して、ユーザによって再生する動画像コンテンツが選択され、再生要求手段２２０に入力される。さらに受信装置２０４は、配信制御手段１０９に当該コンテンツの再生要求をする。また、再生品質ボックス４４は、例えば現在再生している階層数やビットレートなどを再生品質として表示する。

図１２は、本実施の形態の処理手順を示す処理フローである。ステップＳ１は、動画再生モードが開始され、図１１の操作画面４０を表示する。ステップＳ２は、ユーザが再生する動画像コンテンツを選択する。ステップＳ３は、配信制御手段１０９が、選択された動画像コンテンツをストリーム配信するための配信接続処理を行い、配信チャネルを確立する。

ステップＳ４は、ユーザが再生操作ボタンを操作した再生要求の内容を判定する。再生要求の内容が、一時停止あるいは再生終了でなければ、ステップＳ７にて再生の方向（順方向又は逆方向）、再生速度（標準又はN倍速など）等の再生パラメータを設定する。ステップＳ８にて、配信制御手段１０９が、設定された再生パラメータに基づいて、次に伝送及び再生すべき画像フレームを決定する。例えば、順方向の標準速度の設定であれば次の画像フレームが、逆方向で４倍速の設定であれば４フレーム前の画像フレームが、伝送及び再生すべき画像フレームとして決定される。

ステップＳ９にて、配信制御手段１０９が、ネットワーク２０３の利用可能な伝送帯域と、第二蓄積手段１０６に蓄積された動画像の階層情報を調べ、伝送すべき階層情報と伝送するタイミングを決定する。さらに、具体的には、配信制御手段１０９は、第二蓄積手段１０６に蓄積されていない階層情報の中から、この階層情報の情報量と利用可能な伝送帯域ＢＷ１とを考慮して、画像フレームの再生予定時刻の所定時間前までに伝送可能な階層情報を決める。上記所定時間前とは、合成、復号及び表示に要する時間だけ余裕をとることを意味する。なお、上記所定時間を合成、復号及び表示に要する時間とするのは、伝送した階層情報を合成して表示する場合であり、合成しない階層情報を伝送する場合には、上記所定時間を０とする。このように所定時間を設定して伝送する階層情報を決めることにより、ストリームデータ再生システムは、伝送した階層情報を表示する場合には、伝送後に確実に再生でき、伝送した階層情報を表示しない場合には、少しでも多くの階層情報を伝送して第二蓄積手段１０６に蓄積できる作用がある。

ステップＳ１０にて、第一読出し手段１０２は、配信制御装置１０９からの指示に従い、第一蓄積手段１０１から該当する階層情報を読出し、送信手段１０３が指示されたタイミングで階層情報を送信する。ステップＳ１１にて、受信手段１０５が、階層情報を受信し、第二蓄積手段１０６が受信した階層情報を蓄積する。

ステップＳ１２にて、第二読出し手段１０７が、受信した階層情報の画像フレームに対応する低い階層情報を第二蓄積手段１０６から読み出す。さらにステップＳ１３にて、合成手段１０８が、受信した階層情報及び読み出した階層情報を合成する。ステップＳ１４にて、表示手段１１０が、合成された画像を復号して表示装置２１９に表示する。

ステップＳ１５にて、再生終端に達していなければ（順方向再生ならば動画像コンテンツの最後の画像フレーム、逆方向再生ならば動画像コンテンツの先頭フレームでなければ）、ステップＳ１６にて、再生要求手段２２０がユーザの新たな再生要求がないかを調べる。この再生要求がなければ、ストリームデータ再生システムは、ステップＳ８からＳ１６の再生処理を継続する。ステップＳ１５にて再生終端に達する、又はステップＳ１６にて、再生要求があれば、ステップＳ４の処理を行う。

ステップＳ４にて一時停止の要求があれば、ステップＳ５にて、配信制御手段１０９が送信装置２０２からの伝送（ストリーム配信）を一時停止し、新たな再生要求を待つ。

また、ステップＳ４にて、再生終了要求があれば、ステップＳ６にて配信制御手段１０９が、配信チャネルをクローズして配信を切断し、ステップＳ１７にて、動画像再生モード終了の判定を行う。終了でなければ、ステップＳ２のユーザからのコンテンツ選択を待ち、終了であれば、ステップＳ１８で動画再生モードを終了する。

本実施の形態の構成によれば、動画像の再生要求に応じて、配信制御手段１０９がネットワーク２０３の利用可能な伝送帯域及び第二蓄積手段１０６に蓄積された階層情報に基づき、ストリーム伝送可能な階層データを決定し、その階層情報のみを限られた伝送帯域で配信するため、第二再生を繰り返す毎に品質を向上するとともに、遅延なくストリームデータを再生できる効果がある。

また、配信制御手段１０９は、ネットワーク２０３の利用可能な伝送帯域を常時調べて伝送する階層情報を決定するため、第一再生又は第二再生中にネットワーク２０３の利用可能な伝送帯域が変化しても、その変化に動的に対応して伝送可能な最大限の階層データを伝送する。これによって、ストリームデータ再生システムは、帯域を無駄なく利用したプログレッシブ再生が可能である。

さらに、本実施の形態の構成によれば、ユーザは、従来例のように明示的に表示品質（表示するデータの階層）を指定する必要はなく、操作画面の再生操作ボタンを操作して所望の部分を再生するだけで、使用可能な伝送帯域の範囲内で高品質の動画像を観察することができ、操作性も向上する効果がある。

実施の形態２．
実施の形態１は、ネットワーク２０３の利用可能な伝送帯域の範囲内で、毎回の再生に用いられる階層データを伝送する構成としたが、本実施の形態は、現在の再生では利用せずに、次回以降の再生で利用される階層データを、現在の再生を妨害せず、かつネットワーク２０３の利用可能な伝送帯域内で伝送するものである。図２のシステム構成図や図１２の処理フローは実施の形態１と同様である。主として、配信制御手段１０９の処理の異なる部分を以下に説明する。

本実施の形態の配信制御手段１０９は、状況によっては、伝送された際の第二再生では合成されずに次回の第二再生以降に再生される階層情報に対して、第一読出し手段１０２への読出し要求を行う。上記の状況の例として、同じ品質で再生するモードにおいて、既に当該品質に対応する階層情報を第二蓄積手段１０６が蓄積している場合がある。以下、上記の状況の例を示す。

本実施の形態の合成手段１０８は、第二再生の対象の記録時刻から所定時間分の記録時刻のストリームデータに対応する第二蓄積手段１０６に蓄積された階層情報の階層に応じて合成する階層レベルを決める。また、配信制御手段１０９は、上記階層レベルの階層情報が第二蓄積手段１０６に蓄積されていない場合には、所定時間を合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間とする。また、上記階層レベルの階層情報を第二蓄積手段１０６に蓄積する場合には、所定時間を０とする。さらに、配送制御手段１０９は、第二蓄積手段１０６に蓄積されていない階層情報の中から伝送路１０４の利用可能な伝送帯域を用いて再生予定時刻の上記所定時間前までに伝送できる情報量を持つ階層情報を選択する。さらに、配信制御手段１０９は、選択した階層情報を第一読出し手段１０２に要求する。なお、所定時間を０とするかわりに、受信した情報をメモリに記憶する時間としても良い。さらに精度が高くなるので好適である。

図１３は、次回以降の再生で利用される階層情報も含めて、ネットワーク２０３の利用可能な伝送帯域ＢＷ２内で伝送する例を示す図である。図１３（ａ）の上２段の模式図は、１回目の伝送時の伝送帯域と伝送される階層情報及び１回目の再生で再生される階層情報の時間推移を示すものである。図１３（ａ）の最上段の模式図に示すように、１回目の第一再生では、伝送開始から時刻Ｔ１まで１階層の配信ができる伝送帯域ＢＷ２であるので、送信装置２０２は、階層１の階層情報のデータ４０２を伝送する。時刻Ｔ１以降は、送信装置２０２は、２階層配信できる伝送帯域ＢＷ２であるので、階層１＋２の階層情報のデータ４０２を伝送する。第一再生中は、受信したデータは全て第二蓄積手段１０６に蓄積する。同じ品質（階層）で表示するモードに設定されている場合には、図１３（ａ）の上から２段目の模式図に示すように、ネットワーク２０３の利用可能な伝送帯域ＢＷ２の変化によらず、受信装置２０４は、階層１の階層情報のデータ４０２のみを再生する（図１３（ｂ）の左側の説明図を参照。）。

図１３（ａ）の下２段の模式図は、２回目の再生、即ち１回目の第二再生の説明図であり、１回目の第二再生の伝送時の伝送帯域と伝送される階層情報及び１回目の第二再生で再生される階層情報の時間推移を示すものである。この場合、図１３（ａ）の下から２段目の模式図に示すように、送信装置２０２は、伝送開始から時刻Ｔ１まで２階層配信できる伝送帯域ＢＷ２で階層２＋３の階層情報のデータ４０２を伝送する。さらに、時刻Ｔ１以降は１階層配信できる伝送帯域ＢＷ２で階層３の階層情報のデータ４０２を伝送する。この場合、受信装置２０４側では、再生対象の記録時刻についての階層１から３のデータが揃うため、図１３（ａ）の最下段の模式図に示すように、第二再生時に、階層１＋２＋３の同じ品質で表示を行うことができる（図１３（ｂ）右側の説明図を参照。）。

この例では、配信制御手段１０９が、第１回目の伝送の際に、時刻Ｔ１以降は、伝送された際の第二再生では合成されずに次回の第二再生以降に合成されて再生される階層情報に対して第一読出し手段１０２への読出し要求を行っている。なお、この際、伝送要求する階層情報の選択基準は、上記階層レベルの階層情報を第二蓄積手段１０６に蓄積する場合には、所定時間を０とする。この所定時間を０とすることによって、伝送帯域で再生予定時刻までに伝送される、より多くの情報量を持つ階層情報が選択対象となり、より高い階層の階層情報が選択対象となり得る。また、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から選択することは実施の形態１と同様である。

また、第１回目の第二再生の時刻Ｔ１以降は、階層レベルの階層情報を第二蓄積手段１０６に蓄積されている場合に相当し、所定時間を０として、階層情報を選択している。また、第２回目の第二再生では、時刻Ｔ１前及びＴ１以降ともに、階層レベルの階層情報が第二蓄積手段１０６に蓄積されていない場合に相当し、配信制御手段は、前記合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間を所定時間として階層情報を選択している。

同じ品質で再生するモードにおいて、１回目の第一再生の伝送開始時に、１階層しか伝送できないため時刻Ｔ１以降も階層１しか伝送しない構成であれば、２回目の再生、即ち第二再生では、階層１＋２の品質でしか表示できない。これに対して、本実施の形態の図１３の例では、２回目の再生（第二再生）において、階層１＋２＋３のより高品質な表示が可能となる（図１３（ｃ）参照。）。

このように、各再生時に、伝送帯域ＢＷ２内で、次回以降に再生する階層情報を伝送することによって、次回以降の再生で、より解像度が高いなどの高品質な再生を行うことができる。

また、別の形態として、同じ品質で再生するモードではなく、常に最高の品質で再生するモードも考えられる。このモードでは、配信制御手段１０９は、まず、所定時間を０として階層情報を選択する。次に、この階層情報の情報量が、合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間を所定時間として伝送できる第一情報量未満である場合には、配信制御手段１０９は、当該階層情報を再生予定時刻に再生可能とする。他方、第一情報量以上で、かつ所定時間を０として伝送できる第二情報量未満である場合には、配信制御手段１０９は、前記階層情報を次回の第二再生以降に再生可能とする。また、合成手段１０８は、再生可能とされた前記階層情報を合成するように構成する。

この構成によれば、図１３（ａ）の１回目の第二再生で、時刻Ｔ１以降で、再生予定時刻の所定時間前までに伝送可能な第一情報量未満の場合は、階層２まで再生することができる。また、配信制御手段１０９が、所定時間を０として（再生予定時刻までに伝送可能な）階層情報を選択し、合成手段１０８が、再生予定時刻の所定時間前に、それまでに伝送が完了した階層情報を合成して、表示手段１１０が表示するように構成することもできる。この構成によれば、制御が単純になる効果がある。

このように、常に最高の品質で再生するモードにおいて、上記の構成とすることで、出来るだけ品質の高い、即ち高い階層の階層情報まで合成した再生が可能となる。

図１４は、次回以降の再生で利用される階層情報を含めて、ネットワーク２０３の利用可能な伝送帯域内で伝送する別の例を示す図である。この例では、ネットワーク２０３の利用可能な伝送帯域は、１．５階層分のデータをストリーム配信できる伝送帯域ＢＷ１であり、また、再生中は、同じ品質で表示するモードであるとする。図１４は、１回目の伝送及び再生の説明図である。図１４（ａ）において、送信装置２０２は、奇数番目の画像フレームの再生時刻までに階層１の階層情報のデータ４０２を、偶数番目の画像フレームの再生時刻までに、階層１＋２の階層情報のデータ４０２を伝送し（図１４上段の図参照。）、受信装置２０４側で全ての受信データを蓄積する（図１４中段の図参照。）。この蓄積するのとともに、受信装置２０４は、階層１の階層情報のデータ４０２のみを再生する（図１４下段の図及び図１６（ａ）参照。）。

図１５は、上述の場合における、２回目の伝送及び再生の説明図である。図１５上段に示すように、伝送装置２０２は、２回目の伝送では、奇数番目の画像フレームは階層２＋３を、偶数番目の画像フレームは階層３伝送する。すると、図１５中段に示すように、受信装置２０４側の第二蓄積手段１０６に階層１から３の階層情報のデータ４０２が揃う。このため、図１５下段に示すように、合成手段１０８が、階層１＋２＋３の階層情報を合成して表示手段１１０が階層１＋２＋３に対応する原画像と同じ解像度で表示することができる（図１６（ｂ）参照。）。

同じ品質で再生するモードにおいて、ネットワーク２０３の利用可能な伝送帯域ＢＷ１が、１．５階層分の伝送帯域しか使用できない場合には、従来手法では、１階層しか伝送せず、２回目の再生、即ち第二再生では、階層１＋２の品質でしか表示できない。これに対して、本実施の形態では、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から、伝送帯域ＢＷ１内で再生予定時刻までに伝送できる階層情報を第一読出し手段１０２に要求する。これによって、結果的に画像フレーム１つおきに２階層の階層情報を伝送し、図１４及び図１５の例では２回目の再生において、階層１＋２＋３のより高品質な表示が可能である。

なお、配信制御手段１０９が、伝送要求する階層情報を決定する際に、再生対象と異なる記録時刻の画像フレームに対応する階層情報を選択するように構成することもできる。この構成では、配信制御手段１０９が、まず、記録時刻を遡った画像フレームを調べ、現在の再生対象の画像フレームに対応する階層より階層が低い階層情報しか第二蓄積手段１０６に蓄積されていない画像フレームを調べる。次に、配信制御手段１０９が、当該遡った画像フレームに対応する階層情報を優先的に伝送要求する制御を取り入れることができる。これによって、第二蓄積手段１０６に蓄積される各画像フレームの階層のレベルが一様に近くなり、同じ品質で再生するモードにおいて、再生できる品質をより高くする効果がある。ただし、処理時間の関係から記録時刻を遡る画像フレーム数は所定フレームに限定する必要がある。

図１７は、次回以降の再生で利用される階層情報も含めて、ネットワーク２０３の利用可能な伝送帯域ＢＷ２内で伝送する別の例を示す図である。配信制御手段１０９は、ネットワーク２０３の利用可能な伝送帯域ＢＷ２全てを使い、再生タイミング毎に対応する画像フレームの差分となる階層情報を伝送するよう制御する。伝送帯域ＢＷ２の変動が激しい場合には、受信装置２０４で受信した全ての階層情報と、第二蓄積手段１０６に蓄積された階層情報とを合成して表示すると、再生品質が頻繁に変化したり、大きく変化したりするなど、再生画像が非常に見づらくなる。そこで、合成手段１０８は、受信した全ての階層データを合成するのではなく、滑らかに再生品質が変化するように階層情報を選択して合成する。

図１７の例では、１回目の伝送で、階層１のみ、階層２まで、階層３まで階層情報のデータ４０２を伝送できた画像フレームが混在し（図１７上段の図参照。）、第二蓄積手段１０６には、蓄積されている階層が異なる階層情報が混在して蓄積されている（図１７中段の図参照。）。この場合には、合成手段１０８が隣接するフレーム間で一階層のみ変化するように、また同じ階層が３フレーム以上連続するように階層情報を選択して合成するので、図１７下段の図のように、階層１及び階層１＋２の階層情報が再生される。この場合には、画像フレーム４から７は、階層３まで第二蓄積手段に蓄積されるが、階層１＋２の階層情報が再生される。

図１８は、図１７の例の２回目の再生を説明する図である。この例では、伝送帯域ＢＷ２が、激しく変化する結果（図１８上段の図参照。）、画像フレーム１から３は、階層３までが第二蓄積手段１０６に蓄積され、画像フレーム７は、階層６まで第二蓄積手段１０６に蓄積されている（図１８中段の図参照。）。この場合に、合成手段１０８の上記制御を行うと、画像フレーム７は、階層６まで蓄積されているが、階層４までが再生される（図１８下段の図参照）。

配信制御手段１０９は、ネットワーク２０３の利用可能な伝送帯域と、第二蓄積手段１０６に蓄積された階層情報に基づき、現在の再生および将来の再生に使用する階層情報を伝送すべき階層情報として決める。ネットワーク２０３の伝送帯域の変動や、伝送遅延のジッタ（分散）が大きい場合は、現在の再生が途中で遅延することなくストリーム再生されるよう確実に配信制御する必要がある。通常、受信装置２０４には、伝送遅延のジッタを吸収するため、多少の遅延を許して、再生データを蓄積する再生バッファを備える。この再生バッファの状態も考慮して、バッファ残量が少ない場合には、現在の再生を優先して伝送する。また、バッファ残量が多いと将来の再生に利用する階層情報を増やす制御を追加することにより、現在のストリーム再生をより確実にした上で、空いている帯域を用いて将来の再生に必要な階層情報を伝送できる。

次に、実施の形態１の図１２の処理フローにおいて、本実施の形態で処理の異なる部分について説明する。ここでは、同じ品質で再生するモードと、最高の品質で再生するモードとで処理が異なるので、別々に説明する。

同じ品質で再生するモードの構成において、ステップＳ９は、合成手段１０８が、第二再生の対象の記録時刻から予め定められた時間分の記録時刻に対応する第二蓄積手段１０６に蓄積された階層情報の階層に応じて合成する階層レベルを決める。ステップＳ９は、合成手段が、第二蓄積手段１０６に蓄積された階層情報の階層に応じて合成する階層レベルを決める。具体的には、まず、第二蓄積手段１０６に蓄積されたストリームデータの中で、次の第二再生の対象の記録時刻から、予め定められた時間分経過した記録時刻までの記録時刻に対応するストリームデータを選択する。次に、この各記録時刻に対応するストリームデータの蓄積されている階層レベルを調べて、最も低い階層レベルに１階層加えた値を合成する階層レベルとすることができる。この際、直近の第二再生で合成した階層レベルを参照して、出来るだけ変化が少なくなるように調整すると、再生品質が頻繁に変化せず、見やすくなる。

また、ステップＳ９は、配信制御手段１０９が、上記階層レベルの前記階層情報が前記第二蓄積手段１０６に蓄積されていない場合には、画像フレームの再生予定時刻の所定時間前までに伝送可能な階層情報を決める。具体的には、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から、この階層情報の情報量と利用可能な伝送帯域ＢＷ１とを考慮して、伝送可能な階層情報を決める。また、上記所定時間は、内部処理に要する時間であり、合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計して求める。他方、階層レベルの前記階層情報を前記第二蓄積手段１０６に蓄積している場合には、配信制御手段１０９が、前記所定時間を０として伝送する階層情報を決める。このように所定時間を設定して伝送する階層情報を決めることによって、伝送した階層情報を表示する場合には、伝送後に確実に再生でき、伝送した階層情報を表示しない場合には、少しでも多くの階層情報を伝送して第二蓄積手段１０６に蓄積できる作用がある。

ステップＳ１３は、合成手段１０８が、ステップＳ９で決めた階層レベルの階層情報までを合成する。これにより再生の品質は同一であるが、第二蓄積手段１０６に、再生された記録時刻に対応する階層情報が、再生される情報の階層以上の階層情報が蓄積されおり、次回以降の再生にて、ステップＳ９でより高い階層レベルを選択するように構成することができる。

次に、最高の品質を再生するモードの処理フローについて、説明する。最高の品質を再生するモードの構成において、ステップＳ８は、実施の形態１と同様である。ステップＳ９は、配信制御手段１０９が、第二蓄積手段１０６に蓄積されていない階層情報の中から、画像フレームの再生予定時刻の所定時間前までに伝送可能な階層情報を決める。この階層情報を決める際、この階層情報の情報量と利用可能な伝送帯域ＢＷ１とを考慮する。具体的には、まず、所定時間を０として、伝送帯域ＢＷ１で伝送できる階層情報を選択する。この階層情報の情報量が、合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間を所定時間として伝送される第一情報量未満である場合には、階層情報を再生予定時刻に「即時再生可能」とする。また、第一情報量以上かつ所定時間を０として伝送される第二情報量未満である場合には、階層情報を次回の第二再生以降に再生可能（「次回以降再生可能」）とする。さらに、第二蓄積手段１０６に蓄積された階層情報に、上記情報量によって定められた「即時再生可能」及び「次回以降再生可能」の２種類の属性を付加する。

ステップＳ１３は、合成手段１０８が、「即時再生可能」の属性が付加された階層情報の中から合成する階層情報を選択する。ここで「次回以降再生可能」の属性が付加された階層情報は、当該階層情報以外の階層情報を合成後、属性を「即時再生可能」に変更される。これにより、合成、復号及び表示して再生予定時刻に表示できる階層情報が合成される。また、再生予定時刻に再生が間に合わない階層情報（「次回以降再生可能」属性付き階層情報）は、再生予定時刻まで伝送され、次回以降の第二再生にて合成して表示される。従って、再生予定時刻に再生できる階層情報は確実に再生する一方、合成、復号及び表示の時間を有効活用してより多くの階層情報を第二蓄積手段１０６に蓄積することができ、次回以降の再生品質の向上をはかる効果がある。

本実施の形態の構成によれば、配信制御手段１０９が、現在の再生に必要な階層情報に加え、次回以降の第二再生に必要な階層情報も含めて、ネットワーク２０３の伝送帯域内で伝送可能な階層情報を決定する。したがって、さらにネットワーク２０３の伝送帯域を有効活用して、再生繰り返し数の少ない段階においても、高品質な表示を可能とする効果がある。

また、同じ品質の再生をするモードにおいて、再生する階層レベルを決めた後に、この階層レベルの階層情報が第二蓄積手段１０６に蓄積されていない場合には、所定時間を前記合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間として、配信制御手段１０９が、再生予定時刻の所定時間前までに伝送できる情報量を持つ階層情報を選択する。他方、上記階層レベルの階層情報が第二蓄積手段１０６に蓄積されている場合には、配信制御手段１０９が、再生予定時刻までに伝送できる情報量を持つ階層情報を選択する。従って、本実施の形態の構成によれば、再生品質は同じでも、再生される階層情報の階層以上に蓄積され、次回以降の第二再生でより、高い階層レベルが選択でき、再生の繰り返し数が少ない段階で、高品質な表示ができる効果がある。

さらに、最高の品質を再生するモードにおいて、配信制御手段１０９が、まず、再生予定時刻までに伝送できる情報量を持つ階層情報を選択する。この階層情報の情報量が、合成手段１０８の合成する時間と表示手段１１０の表示に要する時間とを合計した時間を所定時間として伝送される第一情報量未満である場合には、配信制御手段１０９が当該階層情報を即時再生可能とする。他方、階層情報の情報量が、第一情報量以上の場合には、配信制御手段１０９が当該階層情報を次回以降再生可能とする。従って、本実施の形態の構成によれば、再生予定時刻に再生できる最高の階層レベルの階層情報を確実に再生するとともに、合成、復号及び表示の時間を有効利用してより多くの階層情報を蓄積して、次回以降の再生品質が向上する効果がある。

また、再生品質が大きく変化しないように、受信装置２０４が受信し、第二蓄積手段１０６に蓄積された階層情報の中から、合成する階層情報を選択して合成するので、本実施の形態の構成によれば、伝送帯域が激しく変動しても、視覚的に滑らかな画像を再生できる効果がある。

さらに、受信装置２０４の再生バッファの状態を考慮して、現在の再生と将来の再生に使用する階層情報の決定を調節することによって、伝送遅延のジッタが激しい場合においても、本実施の形態の構成によれば、現在のストリーム再生、及び第二再生を確実に行うことができる効果がある。

実施の形態３．
本実施の形態は、再生中に一時停止の要求が発生した際、一時停止した画像フレームの記録時刻（一時停止記録時刻と呼ぶ）のストリームデータについての残りの階層情報、または一時停止記録時刻前後のストリームデータなど、次回以降のプレイバックに必要な階層情報を伝送するものである。図２のシステム構成は実施形態１と同様であり、配信制御手段１０９の処理において、異なる部分のみを以下に説明する。

図１９は、再生要求手段２２０から、一時停止の再生要求が発生した際、その時点の静止画像の解像度を順次高くする機能（以下、「プログレッシブスティル」と呼ぶ。）を説明する図である。配信制御手段１０９は、時刻Ｔ１にて一時停止の要求を受け取ると、それまで行っていた階層情報の配信を停止する。次に、配信制御手段１０９は、一時停止時点で再生していたストリームデータの記録時刻（一時停止記録時刻）に対応する画像フレームＮの階層２の階層情報を、時刻Ｔ１＋１において伝送するように、第一読出し手段１０２へ要求する（図１９（ａ）上段の図参照。）。受信装置２０４側では、受信した階層情報を第二蓄積手段１０６に蓄積するとともに、合成手段１０８が、階層１の階層情報と合成して、階層１＋２の画像を復号し表示装置２１９に表示する（図１９（ａ）下段の図及び図１９（ｂ）参照。）。さらに、時刻Ｔ１＋２において、画像フレームＮの階層３の階層情報を伝送するように、第一読出し手段１０２へ要求し、受信装置２０４側も同様に受信データを第二蓄積手段１０６に蓄積する。この蓄積するのとともに、合成手段１０８が階層３の階層情報を階層１＋２の階層情報と合成し、表示手段１１０が階層１＋２＋３の画像を復号し表示装置２１９に表示する。

以上の構成によれば、ユーザが操作画面の一時停止ボタンを選択すると、一時停止した低解像度の静止画像が逐次高解像度の画像に更新されて表示される。一般に、動画像表示において人間が知覚できる画質は静止画表示において知覚できる画質より低い。また、動画再生中に発見した重要なシーンは一時停止して詳細に観察する場合が多い。以上のことから、動画表示時の画質より、一時停止時の画像フレームの画質を向上させることは有効である。本実施の形態では、ユーザの特段の操作が無くても、一時停止により空いたネットワーク２０３の伝送帯域を利用して階層情報を伝送して、一時停止時の画像フレームの画質を動画像表示時の画質より自動的に向上させている。

図２０は、一時停止の再生要求が発生した際、次回以降の再生に備えて、一時停止前のフレームの階層情報のデータ４０２を配信蓄積する例を示す図である。配信制御手段１０９は、時刻Ｔ１にて、一時停止の要求を受け取ると、それまで行っていた階層情報の配信を停止する。次に、配信制御手段１０９は、時刻Ｔ１＋１から、一時停止時点の画像フレームＮ（記録時刻Ｎに対応する画像フレーム）、及び一時停止時点以前の画像フレームに対して、残りの階層２のデータを順次伝送するように第一読出し手段１０２へ要求する（図２０（ａ）参照。）。受信装置２０４側では、受信手段１０５が受信した階層情報を第二蓄積手段１０６に蓄積するだけで、次に再生要求があるまでは、合成及び表示の処理は行わない（図２０（ａ）下段の図及び図２０（ｄ）参照。）。

時刻Ｔ１＋Ｍにおいて、一時停止時点より遡った時点の再生要求が再生要求手段２２０から発生したとする。図２０（ｂ）は、時刻Ｔ１＋Ｍ−１における第二蓄積手段１０６に蓄積された階層情報を示すものである。配信制御手段１０９は、画像フレーム（Ｎ−Ｍ）（記録時刻（Ｎ−Ｍ）に対応する画像フレーム）から残りの階層３の階層情報を順次ストリーム配信するように第一読出し手段１０２へ要求する（図２０（ｃ）上段の図参照。）。具体的には、配信制御手段１０９が、記録時刻（Ｎ−Ｍ）以降の記録時刻に対応するストリームデータの階層３の階層情報を記録時刻順に伝送するように第一読出し手段１０２へ要求する。受信装置２０４側では、受信したデータを第二蓄積手段１０６に蓄積する。この蓄積するのとともに、受信装置２０４側では、既に蓄積された階層１＋２の階層情報と読み出した階層３のデータとを合成し、階層１＋２＋３の画像を復号し、表示装置２１９へ表示する（図２０（ｃ）下段の図及び図２０（ｅ）参照。）。

一時停止時に配信を停止するだけであれば、システムは、一時停止時点から過去に遡って階層１＋２の画像しか再生できない。しかしながら、一時停止期間中に一時停止時点から過去に遡った記録時刻に対応する階層２の階層情報を伝送及び蓄積する構成とすることによって、ストリームデータ再生システムは、第二再生時に階層１＋２＋３の画像を再生できる。動画再生中に重要な事象や異常な事象を見つけた場合、一時停止時点から過去に遡った画像を再度見直すことが多いことを利用し、一時停止により空いた伝送帯域を使って、送信装置２０２が次に再生される可能性の高い区間の階層データを先行的に伝送して受信装置２０４が蓄積する。

図２０では、一時停止した画像フレームから過去に遡った画像の階層データを伝送するように構成したが、配信制御手段１０９は、順再生又は逆再生など再生方向に合わせて、それぞれ過去の画像又は未来の画像について階層情報を要求するように構成しても良い。また、動画再生中に気になることがあり一時停止して確認したが、何も異常がなかった場合もある。この場合には、そのまま再生を再開するため、配信制御手段１０９は、予め定められた一時停止前後の区間について階層データを伝送するようにしても良い。さらに、一時停止前後の所定時間の区間にセンサ警報等が発生した場合、配信制御手段１０９は警報前後のストリームデータの階層情報を優先的に伝送する構成にしても良い。

図２１は、本実施の形態の処理の流れを示す処理フローである。再生要求が一時停止以外の場合は、図１２に示す処理フローと同様であるため、ここでは、一時停止時の処理のみについて説明する。

ステップＳ４にて、一時停止要求があると、ステップＳ５にて、配信制御手段１０９は、それまでの配信を停止する。さらに、配信制御手段１０９は、プログレッシブスティル、又は一時停止以前の画像データ転送のモードに応じて、ステップＳ２０にて、伝送すべき画像フレーム（記録時刻）を決定する。ステップＳ２１にて、配信制御手段１０９は、ネットワーク２０３の利用可能な伝送帯域と、第二蓄積手段１０６に蓄積された階層情報に基づき、伝送する階層情報を決定し、第一読出し手段１０２へ読み出しの指示を行う。

ステップＳ２２にて、第一読出し手段１０２が、第一蓄積手段１０１より該当する階層データを読出し、送信手段１０３が、階層情報を伝送する。ステップＳ２３にて、受信手段１０５が、受信した階層情報を第二蓄積手段１０６が蓄積する。

ステップＳ２４にて、モード判定を行い、モードがプログレッシブスティルの場合には、第二読出し手段１０７が、第二蓄積手段１０６に蓄積された対応する画像フレームの階層情報を読出す。さらに、ステップＳ２６にて、合成手段１０８が合成し、ステップＳ２７にて、表示手段１１０が、復号して表示部３０４に表示する。モードがプログレッシブスティルでない場合は、受信装置２０４は、合成及び表示処理は行わない。ステップＳ２８にて、配信制御手段１０９は、伝送すべき階層情報が残っていなければ、新たな再生要求を待つ。伝送すべき階層情報が残っている場合には、ステップＳ２９にて、配信制御手段１０９は、新たな再生要求があるかをチェックし、無ければ、ステップＳ２０〜Ｓ２８の処理を繰り返し、新たな再生要求がある場合には、ステップＳ４の処理を行う。

この構成によれば、配信制御手段１０９が、一時停止の再生要求を受け取った際、現状のストリーム伝送を停止するとともに、一時停止した時点の画像フレームのデータについて残りの階層情報を伝送するように制御して、受信装置２０４側で受信済みの階層情報と合成して表示する。このように構成することによって、一時停止時の画像フレームの表示をプログレッシブに高品質な画像に更新して表示することができる。なお、ストリーム伝送を停止しない構成としても良い。この場合には、一時停止から次に再生開始するまでの期間の記録時刻に対応する基本階層情報を蓄積でき、この期間の再生要求があったときに、高品質での再生が可能となる効果がある。また、一時停止時にストリーム伝送を停止すると、停止した分の伝送帯域が広くなり、他の階層情報を蓄積できるので、その分の階層情報については、次回の第二再生時に再生を待つことなく、高品質な再生が可能となる効果がある。

また、この構成によれば、配信制御手段１０９が、一時停止要求の要求を受け取った際、次に第二再生が要求されるまでの期間に、次回の第二再生以降に合成されて再生される可能性の高い階層情報を第一読出し手段１０２へ要求するので、第二蓄積手段１０６に当該階層情報が蓄積される。したがって、次回の第二再生時に再生を待つことなく、高品質な再生が可能となる効果がある。

さらに、この構成によれば、配信制御手段１０９が、一時停止要求の要求を受け取った際、次に第二再生が要求されるまでの期間に、一時停止した再生対象の記録時刻から近い時刻の階層情報から順に読出し要求を行う。この構成によって、第二蓄積手段１０６に一時停止した記録時刻に近い階層情報が蓄積される。したがって、次回の第二再生時に高い確率で当該期間に蓄積した階層情報を再生することになり、次回の第二再生時に再生を待つことなく、高品質な再生が可能となる効果がある。

また、配信制御手段１０９が、一時停止の再生要求を受け取った際、一時停止までに行っていたストリーム伝送を停止するとともに、次回以降の再生に必要な階層情報を伝送するよう制御し、受信装置２０４側で受信した階層情報を蓄積する。この構成によれば、一時停止から次回の再生開始するまでの期間を活用し、ネットワーク２０３の伝送帯域をさらに有効に利用した効率的なプログレッシブ再生を実現する。

上記実施の形態では、空間解像度とフレーム間引きとによる階層構造化ストリームデータを用いて説明したが、ＳＮＲ（Signal Noise Ratio）や色成分など他の階層構造化ストリームデータを使用しても良く、複数の階層構造化の種類を組み合わせて使用しても良い。また、どのように階層構造化を利用して再生するか、例えば動き優先や画質優先などの再生ポリシーを定義し、再生時にユーザが選択した再生ポリシー、ネットワーク２０３の利用可能な伝送帯域、第二蓄積手段１０６に蓄積された階層情報の状況に基づいて、配信制御手段１０９が、第一読出し手段１０２へ要求する階層情報を決定する構成でも良い。

第一蓄積手段１０１には、階層構造化されたストリームデータが蓄積されるとしたが、第一蓄積手段１０１に階層構造化されていないストリームデータを蓄積し、要求の都度読み出したストリームデータを構造化し、配信制御手段１０９が要求した階層情報を伝送する構成でも良い。

第二蓄積手段１０６は、受信装置２０４側の記憶部の容量に応じて、優先順位の低い階層情報から消去するキャッシュ機能を有してもよい。上記優先度は、例えば階層番号の高い順番から消去する、過去に蓄積した画像フレームから消去する、警報アラーム前後の区間は優先順位を高くするなどが考えられる。

本実施の形態では、カメラ１０１で撮影された動画像データを用いて説明したが、編集された動画像やアニメーション等の人工画像にも適用できる。また、画像ストリームによらず、音声や計測データなど他の時系列のストリームデータでも、階層構造化が可能なストリームデータであれば本実施の形態を適用でき、同様の効果が得られる。

実施の形態１のブロック構成図である。 実施の形態１のシステム構成図である。 実施の形態１の装置のハードウェア構成図である。 階層構造化されたストリームデータの説明図である。 第一蓄積手段に記録されるデータ構造の説明図である。 第二蓄積手段に記録されるデータ構造の説明図である。 実施の形態１における空間的解像度により階層符号化したストリームデータのプログレッシブ再生の説明図である。 実施の形態１における時間的解像度により階層符号化したストリームデータのプログレッシブ再生の説明図である。 従来システムにおいて伝送帯域を考慮せずに差分を伝送する場合の説明図である。 実施の形態１におけるネットワークの利用可能帯域が時間的に変化する場合の動画像のプログレッシブ再生の説明図である。 実施の形態１における操作画面の説明図である。 実施の形態１における処理フローである。 実施の形態２における将来の再生に必要なデータを伝送する場合のストリームデータのプログレッシブ再生の説明図である。 実施の形態２における将来の再生に必要なデータも伝送する動画像のプログレッシブ再生における一回目の再生の説明図である。 実施の形態２における将来の再生に必要なデータも伝送する動画像のプログレッシブ再生における二回目の再生の説明図である。 実施の形態２における将来の再生に必要なデータも伝送する場合の動画像のプログレッシブ再生の説明を説明する概念図である。 実施の形態２における将来の再生に必要なデータも伝送する場合の動画像のプログレッシブ再生の説明図である。 実施の形態２における将来の再生に必要なデータも伝送する場合の動画像のプログレッシブ再生の説明図である。 実施の形態３における一時停止した静止画像の解像度を順次高くするプログレッシブスティルの説明図である。 実施の形態３における一時停止期間中に一時停止前のフレームの階層データを配信蓄積する処理の説明図である。 実施の形態３の処理フローである。

符号の説明

１０１ 第一蓄積手段、１０２ 第一読出し手段、１０３ 送信手段、１０４ 伝送路、１０５ 受信手段、１０６ 第二蓄積手段、１０７ 第二読出し手段、１０８ 合成手段、１０９，２１４，２２１ 配信制御手段、１１０ 表示手段、２０１ カメラ、２０２ 送信装置、２０３ ネットワーク、２０４ 受信装置、２０６ 撮影手段、２０７ 符号化手段、２０８ カメラ送信手段、２０９ カメラからの情報受信手段、２１１ 階層構造化ストリームデータ、２１９ 表示装置、３０１ 入力部、３０２ 記憶部、３０３ 中央処理部、３０４ 表示部、３０５ 通信部、５３０，６３０ ストリーム実体データ、５３１，６３１ ストリーム管理データ。

Claims (15)

1. 時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、
   前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、
   前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段、
   前記伝送路から前記階層情報を受信する受信手段、
   前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、
   前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、
   前記第二蓄積手段に蓄積された階層情報を合成する合成手段、
   前記合成した情報を表示する表示手段、
   及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して前記第一読出し手段に要求する配信制御手段を備えたストリームデータ再生システム。
2. 所定時間は、合成手段が合成する時間と表示手段が表示に要する時間とを合計した時間であることを特徴とする請求項１に記載のストリームデータ再生システム。
3. 配信制御手段の第一読出し手段への読出し要求は、第二再生の際に、次回の第二再生以降に合成されて再生される階層情報であることを特徴とする請求項１に記載のストリームデータ再生システム。
4. 所定時間は、０であることを特徴とする請求項３に記載のストリームデータ再生システム。
5. 配信制御手段の第一読出し手段への読出し要求は、第一再生又は第二再生の一時停止要求があった時から次に第二再生が要求される時までの期間に次回の第二再生以降に合成されて再生される階層情報に対して行われることを特徴とする請求項１または３に記載のストリームデータ再生システム。
6. 配信制御手段の第一読出し手段への読出し要求は、再生一時停止した再生対象の記録時刻から近い時刻の階層情報から順に行うことを特徴とする請求項５に記載のストリームデータ再生システム。
7. 配信制御手段の第一読出し手段への読出し要求は、再生一時停止した再生対象の記録時刻から所定の時間間隔ずらした記録時刻から前記再生一時停止した再生対象の記録時刻までの前記階層情報を第一読出し手段へ順次読み出し要求をすることを特徴とする請求項５に記載のストリームデータ再生システム。
8. 配信制御手段の第一読出し手段への読出し要求は、再生の一時停止時、第二の蓄積手段に蓄積されていない階層情報の中で前記一時停止要求された記録時刻の前記階層情報に対して低階層から順に行われることを特徴とする請求項１または３に記載のストリームデータ再生システム。
9. 配信制御手段は、再生の一時停止時には、第一再生用の階層情報を第一読出し手段へ読み出し要求をするのを停止する請求項５ないし８のいずれか１項に記載のストリームデータ再生システム。
10. 階層符号化は、空間的階層符号化及び時間的階層符号化の少なくともいずれか一方の階層符号化であることを特徴とする請求項１ないし９のいずれか1項に記載のストリームデータ再生システム。
11. 時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、
    前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、
    及び前記階層情報を第二蓄積手段に蓄積して前記階層情報を合成した情報を表示する受信装置へ伝送路を介して前記第一読出し手段によって読み出された前記階層情報を送信する送信手段を備え、
    前記第一読出し手段は、最初にストリーム再生する第一再生後に再生する第二再生の際に前記第二蓄積手段に蓄積されていない前記階層情報の中から選択された前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を要求に応じて読み出すことを特徴とするストリームデータ再生システム用送信装置。
12. 時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段と、
    前記第一蓄積手段から前記階層情報を読み出す第一読出し手段と、
    及び前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段とを備えた送信装置から前記階層情報を受信する受信手段、
    前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、
    前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、
    前記第二蓄積手段に蓄積された階層情報を合成する合成手段、
    前記合成した情報を表示する表示手段、
    及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段を
    備えたストリームデータ再生システム用受信装置。
13. コンピュータを、
    時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、
    前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、
    前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段、
    前記伝送路から前記階層情報を受信する受信手段、
    前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、
    前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、
    前記第二蓄積手段に蓄積された階層情報を合成する合成手段、
    前記合成した情報を表示する表示手段、
    及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段
    として機能させるためのストリームデータ再生システム用プログラム。
14. コンピュータを、
    時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段、
    前記第一蓄積手段から前記階層情報を読み出す第一読出し手段、
    及び前記階層情報を第二蓄積手段に蓄積して前記階層情報を合成した情報を表示する受信装置へ伝送路を介して前記第一読出し手段によって読み出された前記階層情報を送信する送信手段を備え、
    前記第一読出し手段は、最初にストリーム再生する第一再生後に再生する第二再生の際に前記第二蓄積手段に蓄積されていない前記階層情報の中から選択された前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を要求に応じて読み出すように機能させるためのストリームデータ再生システム用プログラム。
15. コンピュータを、
    時系列のストリームデータを階層符号化した各階層の情報である階層情報を蓄積する第一蓄積手段と、
    前記第一蓄積手段から前記階層情報を読み出す第一読出し手段と、
    及び前記第一読出し手段によって読み出された前記階層情報を伝送路へ送信する送信手段とを備えた送信装置から前記階層情報を受信する受信手段、
    前記受信手段で受信した前記階層情報を蓄積する第二蓄積手段、
    前記第二蓄積手段から前記階層情報を読み出す第二読出し手段、
    前記第二蓄積手段に蓄積された階層情報を合成する合成手段、
    前記合成した情報を表示する表示手段、
    及び最初にストリーム再生する第一再生後に再生する第二再生の際に、前記第二蓄積手段に蓄積されていない前記階層情報の中から前記伝送路の利用可能な伝送帯域を用いて再生予定時刻の所定時間前までに伝送できる情報量を持つ前記階層情報を選択して第一読出し手段に要求する配信制御手段
    として機能させるためのストリームデータ再生システム用プログラム。

Images