JPH09186667A

JPH09186667A - ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体

Info

Publication number: JPH09186667A
Application number: JP7341951A
Authority: JP
Inventors: Katsumi Tawara; 勝己田原; Kanta Yasuda; 幹太安田; Yoshiaki Oishi; 義明大石; Shinji Negishi; 慎治根岸
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-27
Filing date: 1995-12-27
Publication date: 1997-07-15
Anticipated expiration: 2015-12-27
Also published as: ES2169214T3; US5894328A; EP0782137A2; DE69619491D1; DE69619491T2; JP3405034B2; CN1156361A; CN1125543C; KR970057695A; EP0782137B1; EP0782137A3

Abstract

(57)【要約】【課題】複数のビットストリームの多重化を、デコー
ド時のバッファの破綻なく簡単に行えるようにする。【解決手段】ステップＳ１で、入力された複数のビッ
トストリームから、それぞれのビットストリームごとに
規定される処理単位としての各アクセスユニットＡＵ
を、対応するデコーダのバッファから引き抜く時刻を算
出する。次のステップＳ２では、上記各アクセスユニッ
トＡＵの引き抜き時刻のデータを用いて時間的に逆方向
から処理を行い、デコーダのバッファからのアクセスユ
ニットの引き抜きをバッファへのアクセスユニットの充
填に読み変えて、各アクセスユニットのバッファへの供
給開始時間等に関する制約時刻を逆算する。次のステッ
プＳ３では、ステップＳ２で求められた制約時刻等を元
にして、アクセスユニットのパケット化のスケジュール
の決定、すなわちスケジューリングを行う。このスケジ
ュールに従って、複数のビットストリームの多重化を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号及び音
響信号等を、例えば光磁気ディスクや磁気テープ等の記
録媒体に記録し、これを再生してディスプレイに表示し
たり、テレビ会議システム、テレビ電話システム、放送
用機器等、動画像信号及び音響信号等を伝送路を介して
送信側から受信側に伝送し、受信側において、これを受
信し、表示する場合等に用いて好適なディジタル信号多
重化方法及び装置、並びに多重化信号記録媒体に関す
る。

【０００２】

【従来の技術】例えば、画像信号や音響信号を、所定の
標準規格の圧縮方式を用いて圧縮して、各々の信号のデ
ィジタルのビットストリームデータを生成した後、これ
らを多重化して多重化ビットストリームを生成し、この
多重化ビットストリームを各々の信号のストリームデー
タに分離することが行われる。

【０００３】ここで、上記標準規格の具体例として、Ｍ
ＰＥＧ（Moving Picture Coding Experts Group ）規格
を挙げることができる。このＭＰＥＧとは、ＩＳＯ／Ｉ
ＥＣＪＴＣ１／ＳＣ29（International Organization f
or Standardization / International Electrotechnica
l Commission, Joint Technical Commitee 1 / SubComm
itee 2 ：国際標準化機構／国際電気標準会議合同技
術委員会１／専門部会２９）の蓄積用動画像符号化の検
討組織の略称であり、ＭＰＥＧ１標準としてISO11172
が、ＭＰＥＧ２標準としてISO13818がある。これらの国
際標準において、マルチメディア多重化の項目でISO111
72-1及びISO13818-1が、映像の項目でISO11172-2及びIS
O13818-2が、また音声の項目でISO11172-3及びISO13818
-3がそれぞれ標準化されている。

【０００４】このような国際標準のISO11172-2又はISO1
3818-2を用いて画像信号を圧縮し、ISO11172-3又はISO1
3818-3を用いて音響信号を圧縮して、各々のディジタル
のストリームデータを生成した後に、これらのデータを
多重化し、メディアを介して得られた多重データを各々
のストリームデータに分離するために用いられる装置の
概略構成を、図８に示している。

【０００５】この図８において、ビデオデータ１００、
オーディオデータ１０１及びその他のデータ１０２等
を、各々の対応する符号化装置、すなわちビデオ符号化
装置１０３、オーディオ符号化装置１０４及びその他の
符号化装置１０５に対してそれぞれ入力し、各々の符号
化されたストリームデータ（これらをエレメンタリース
トリームともいう）１０６、１０７、及び１０８を得
る。多重化装置（ＭＵＸ：マルチプレクサ）１０６は、
これらのエレメンタリーストリームを多重化し、一本化
されたストリームデータ（多重化ストリームともいう）
１１０を生成する。例えば、いわゆるＭＰＥＧ１やＭＰ
ＥＧ２において規定される方法では、この多重化の際
に、画像及び音響信号の時間軸に対する同期情報も同時
にサイド情報として多重化ストリーム内に記録する。こ
の多重化ストリーム１１２は、記録メディア１１１もし
くは伝送媒体を介して、受信側へ送られる。

【０００６】受信側では、送られた多重化ストリーム１
１２は分離装置（ＤＥＭＵＸ：デマルチプレクサ）１１
３へ入力される。この分離装置によって、全てのエレメ
ンタリーストリーム１１４、１１５、１１６はその同期
関係を維持するように分離され、対応した復号装置、す
なわちビデオ復号装置１１７、オーディオ復号装置１１
８、及びその他の復号装置１１９に入力され、例えばモ
ニタやスピーカ等の表示装置によって、ビデオ信号１２
０、オーディオ信号１１８、及びその他の信号１２２等
が得られる。

【０００７】次に、上記ＭＰＥＧ１やＭＰＥＧ２のマル
チメディア多重化の国際標準ISO11172-1や13818-1 にお
いて規定される分離方法について、図９を参照しながら
説明する。この図９に示す分離方法は、理想化されたデ
コーダを用いた方法であり、ＳＴＤ（System Target De
coder ：システムターゲットデコーダ）モデルと呼ばれ
る。

【０００８】この図９に示すモデルの入力端子１３１に
供給される多重化ストリームは、各々の復号装置に対す
るエレメンタリーストリームを時分割多重したものであ
り、上記分離装置に相当する図９中の切換スイッチ１３
２によって時分割多重化されたデータは、ビデオデコー
ダ部１３５、いくつかのオーディオデコーダ部１３６、
１３７、・・・、及びその他のデコーダ部１３８の、そ
れぞれ対応するバッファ、すなわちビデオバッファ１４
１、オーディオバッファ１４２、１４３、・・・、及び
その他のバッファ１４４にそれぞれ送られる。ビデオバ
ッファ１４１から読み出されたデータはビデオデコーダ
１４５に送られ、オーディオバッファ１４２、１４３、
・・・から読み出されたデータはオーディオデコーダ１
４６、１４７、・・・にそれぞれ送られ、その他のバッ
ファ１４４から読み出されたデータはその他のデコーダ
１４８に送られる。ビデオデコーダ１４５からのデータ
は、いわゆるＩピクチャ（フレーム内符号化画像）やＰ
ピクチャ（順方向予測符号化画像）の場合には並べ替え
バッファ１４９を介して切換スイッチ１５０の一方の被
選択端子に送られ、Ｂピクチャ（双方向予測符号化画
像）の場合には他方の被選択端子に送られて、この切換
スイッチ１５０からの出力が端子１５１より取り出され
る。オーディオデコーダ１３６、１３７、・・・からの
各出力は、それぞれ端子１５２、１５３、・・・より取
り出される。

【０００９】分離装置としての切換スイッチ１３２に対
する多重化ストリームの供給レートは、MUX_rateと呼ば
れる。MUX_rateの値は、記録媒体あるいは伝送形式等に
依存し、多重化ストリーム中に記述される。また、時分
割多重されているため、分離装置から各エレメンタリー
ストリームに対応するバッファ１４１〜１４４へのデー
タ供給は、間欠的であり、バースト状になる。このモデ
ルにおいて、各バッファ１４１〜１４１から各デコーダ
１４５〜１４８へのデータ転送は、理想的なデータ単位
で瞬時に行なわれる。つまり、転送による遅延時間はゼ
ロである。また、各復号装置における復号処理も、同様
にこのデータ単位で瞬時に行なわれ、復号による遅延時
間もゼロである。この理想的なデータ単位はアクセスユ
ニットと呼ばれる。例えばビデオでは符号化されたピク
チャ（あるいはフレーム）、同様にオーディオではオー
ディオフレームがこれに当たる。

【００１０】上記国際標準ISO11172-1や13818-1 に規定
される多重化ストリームは、このモデルにおける各バッ
ファ１４１〜１４４を、後述するようにオーバーフロー
及びアンダーフローさせないように、符号化側で多重化
装置を制御し、生成されている。つまり、MUX_rateで示
されるデータ伝送のバンド幅を、複数のストリームで分
け合って時分割に利用していることになる。最終的に、
各バッファを介してデータは対応する各デコーダ１４５
〜１４８に入力され、表示される。

【００１１】また、表示における同期関係を維持するた
めのタイムスタンプと呼ばれるサイド情報が、多重化ス
トリーム中から得られるため、復号側では、このデータ
を用いることによって同期再生を行う。例えば、上記マ
ルチメディア多重化の国際標準ISO11172-1や13818-1 に
おいては、ＳＣＲ（システムクロックリファレンス：Sy
stem Clock Reference）、ＤＴＳ（デコーディングタイ
ムスタンプ：DecodingTimestamp）及びＰＴＳ（プレゼ
ンテーションタイムスタンプ：Presentation Timestam
p）と呼ばれるタイムスタンプを規定している。ＳＣＲ
は後述のパックヘッダ内に、ＤＴＳ及びＰＴＳは同じく
後述のパケットヘッダ内に記述される。ＳＣＲはＳＴＤ
モデルが所有する基準クロックの参照値であり、この値
を操作することにより、復号側における多重化ストリー
ムの読み込みや各バッファへのデータ入力の制御等が行
なわれる。ＤＴＳ及びＰＴＳは、アクセスユニット単位
で記述することが可能であり、各々、ＳＴＤモデルにお
ける各バッファからの対応するアクセスユニットの引き
抜き時刻及び復号時刻を示す。例えば音声信号圧縮の国
際標準ISO13818-3及び11172-3 では、ＰＴＳ及びＤＴＳ
は同時刻となるため、多重化ストリーム上ではＰＴＳの
値のみが記述される。また例えば、映像信号圧縮の国際
標準ISO13818-2及び11172-2 では、復号装置において復
号された後に、（例えば、Ｂピクチャに先行するＩピク
チャ等の）ピクチャの並びによって遅延させる必要があ
るため、ＤＴＳとＰＴＳは異なる場合が生じる。その際
は多重化ストリーム上では両方のタイムスタンプを記述
する。

【００１２】例えば上記国際標準ISO13818-1及び11172-
1 で規定される多重化ストリームの構成を図１０に示
す。多重化ストリームは、複数のエレメンタリーストリ
ームが時分割多重されたものであり、複数のパケットＰ
Ｔから構成される。個々のパケットＰＴは、単一のエレ
メンタリーストリームのデータから構成され、複数のエ
レメンタリーストリームのデータが混在することはな
い。各々のパケットＰＴにはパケットヘッダＨ_PTが付随
し、パケットＰＴの内容を示す情報及び前述のＰＴＳ、
ＤＴＳ等が示される。パケットＰＴのサイズは一般的に
可変長であり、その大きさはパケットヘッダＨ_PT内に記
述される。以後、ビデオデータから成るパケットをビデ
オパケットと呼び、オーディオデータから成るパケット
をオーディオパケットと呼ぶ。

【００１３】パケットＰＴをある程度まとめて、パック
ＰＫと呼ぶ。各々のパックＰＫにはパックヘッダＨ_PKが
付随し、前述のＳＣＲ等の情報が示されている。パック
ＰＫのサイズは、例えば伝送メディアの特性に応じて決
定される。例えばビデオＣＤ等では、１パックは１セク
タに対応し、固定長とされる。

【００１４】以下に図１１、図１２を参照して、多重化
ストリーム中のタイムスタンプを用いた各バッファへの
データの供給及び各バッファからのアクセスユニット単
位のデータの出力（復号装置への入力）の制御方法につ
いて説明する。ただし、この制御方法は理想的な上記Ｓ
ＴＤモデルにおける一例であり、実際の復号装置が同じ
動作をするとは限らない。

【００１５】図１１は、本説明のための多重化ストリー
ムの一例であり、ビデオ及びオーディオのエレメンタリ
ーストリームが各々一本ずつ多重されたものである。そ
の構成は、説明の簡便化のために、個々の１パケットに
対して１パックを形成しているものとする。図中のビデ
オストリームは、例えば上記国際標準ISO13818-2あるい
は11172-2 に準拠したものであり、Ｉピクチャ（フレー
ム内符号化画像），Ｂ（双方向予測符号化画像），Ｂ等
の順序で符号化されている。また、各々をピクチャＶＦ
１、ピクチャＶＦ２、ピクチャＶＦ３等とする。さら
に、各々のピクチャのサイズをＳ１，Ｓ２，Ｓ３等とす
る。図中のオーディオストリームは、例えば上記国際標
準ISO13818-3あるいは11172-3 に準拠したものであり、
複数のオーディオフレーム（オーディオフレームＡＦ
１、オーディオフレームＡＦ２等）から構成される。

【００１６】図中の多重化ストリームは、例えばISO138
18-1あるいは11172-1 で規定される多重化ストリームに
準拠したものである。各パックＰＫのパックヘッダＨ_PK
には、上記ＳＣＲ（SCR1,SCR2,SCR3,SCR4等）が記述さ
れている。ここで、SCR1 < SCR2 < SCR3 < SCR4 であ
る。パケットＰＴ１、パケットＰＴ２及びパケットＰＴ
４は、ビデオパケットであり、パケットＰＴ３はオーデ
ィオパケットである。また、パケットＰＴ１のパケット
ヘッダＨ_PT1にはピクチャＶＦ１（Ｉピクチャ）に対応
する上記ＰＴＳ及び上記ＤＴＳ（PTS1及びDTS1）、パケ
ットＰＴ２のパケットヘッダＨ_PT2にはピクチャＶＦ２
（Ｂピクチャ）に対応するＰＴＳ（PTS2）、パケットＰ
Ｔ４のパケットヘッダＨ_PT4にはピクチャＶＦ３（Ｂピ
クチャ）に対応するＰＴＳ（PTS4）が各々記述されてい
る。パケットＰＴ３のパケットヘッダＨ_PT3には、オー
ディオフレームＡＦ１に対応するＰＴＳ（PTS3）が記述
されている。

【００１７】図１２は、図１１のビデオストリームに対
するＳＴＤモデルにおけるバッファ占有量の、時間軸に
対する変化を示したものであり、その変化量は上記タイ
ムスタンプにより制御される。図１２において、Ｈ１，
Ｈ２，Ｈ３，Ｈ４，Ｗ１，Ｗ２及びＡ１は、ビデオバッ
ファへのデータ供給が停止されている時間幅を示し、そ
れ故、各々の時間幅において占有量の変化はない。以下
に詳細を説明する。また、本説明においては、図１１の
オーディオストリームに対するバッファに関する記述は
省略する。

【００１８】まず、任意の時刻において、復号装置への
多重化ストリームの読み込みがMUX_rateの転送レートで
開始される。Ｈ１は、多重化ストリームにおけるパック
ＰＫ１及びパケットＰＴ１の各ヘッダを読み込んでいる
時間を示し、その間、ビデオバッファへはデータの供給
は停止されている。多重化ストリームからパックＰＫ１
のパックヘッダＨ_PK1に記述される最初のＳＣＲ（SCR
1）が読まれた時、ＳＴＤモデルにおける基準クロック
（ＳＴＣと呼ぶ）がSCR1の値にリセットされる。以後、
ＳＴＣは一定の周期でカウントアップされる。その後、
SCR1以降のパックヘッダＨ_PKにおける残りのデータ及び
後続するパケットヘッダＨ_PTの読み込みを、同じくMUX_
rateの転送レートで行なう。そしてパケットヘッダＨ_PT
が読み込まれた直後から、ビデオバッファへのデータ入
力が同じくMUX_rateの転送レートで開始される。右上が
り直線は、ビデオバッファに対してデータが供給されて
いる状態を表し、この傾きが転送レート（MUX_rate）を
表す。ビデオバッファへのデータの転送は、このパケッ
ト内のビデオデータが全て読み込まれるまで続く。その
後、パックＰＫ２におけるパックヘッダＨ_PK2の読み込
みが開始される。この読み込みは、そのヘッダ内に記述
されたSCR2の値が読み込まれるまで続く。

【００１９】さて、SCR2が読まれた時、カウントアップ
されてきたＳＴＣの値と比較され、ＳＴＣの値がSCR2の
値と等しくなるまで、多重化ストリームの読み込みは停
止される。Ｗ１は、このデータ供給の停止期間を示す。
その後、ＳＴＣがSCR2の値と等しくなった時、Ｈ２の期
間においてSCR2以降の残りのデータ及び続くパケットヘ
ッダの読み込みがMUX_rateの転送レートで行なわれる。
そして、パケットヘッダが読み込まれた直後からビデオ
バッファへのデータ供給がMUX_rateの転送レートで再開
される。以後、同様な制御が行なわれる。

【００２０】以上述べたように、多重化ストリーム上に
記述されたＳＣＲに従って、各々のエレメンタリースト
リームに対するバッファへのデータ供給が制御される。
つまり、基準クロックＳＴＣの値が、現在参照している
ＳＣＲの値と等しくなるまで、いかなるバッファに対し
てもデータ供給が行なわれない。これを多重化装置側か
ら見れば、全てのバッファに対して、データ供給をする
必要がない場合には、パックヘッダを挿入し、ＳＣＲの
値としてデータ供給を再開する時刻を記述すればよいと
言える。

【００２１】図１２の時間幅Ａ１は、パックＰＫ３内の
パケットＰＴ３（オーディオパケット）が読み込まれて
いる期間を示す。その際、オーディオバッファへのデー
タ転送も同じくMUX_rateで行なわれる。そのため、期間
Ａ１にはビデオのバッファへのデータ供給は一切なく、
その占有量における変化はない。ところで、ＳＴＣがDT
S1の値と等しくなった時、ビデオバッファからDTS1に対
応する、サイズＳ１のアクセスユニット（ピクチャＶＦ
１）が瞬時に引き抜かれ、復号装置に転送される。図１
２は、SCR4 < DTS1 の例である。ピクチャＶＦ２、ピク
チャＶＦ３に関しても同様の制御により、各々PTS2、PT
S3の時刻において、瞬時にビデオバッファから引き抜か
れる。以上、ＳＴＤモデルにおけるビデオに対応するバ
ッファの入出力の制御について述べたが、オーディオあ
るいは、多重化された他のストリームデータに対応する
各バッファの制御も同様に行なわれる。

【００２２】上述したように、タイムスタンプは、各バ
ッファにおける入出力の制御に用いられる重要な情報で
ある。そのため、適当な長さで時分割された各々のスト
リームデータに対して、これらタイムスタンプが多重化
ストリーム上で適当な値で記述されていなければ、バッ
ファの管理を正しく行なうことが不可能となる。以下
に、不適当なタイムスタンプによりバッファの管理が破
綻してしまう例について述べる。図１２において、時刻
DTS1は、サイズＳ１のピクチャＶＦ１の引き抜き時刻を
示しているが、多重化ストリーム上で、例えば時刻DTS1
がSCR2の値より小とすると、時刻DTS1までに、引き抜く
ための十分なデータ量（Ｓ１）がビデオバッファに供給
されていないため、時刻DTS1におけるピクチャＶＦ１の
引き抜きが不可能である。これをバッファにおけるアン
ダーフローと呼ぶ。

【００２３】また、例えば時刻DTS1の値がSCR4の値に対
して十分大きな値とされた場合、適当な時刻におけるピ
クチャＶＦ１の引き抜きが行なわれず、しかもその間に
バッファへのデータの供給が行なわれるため、ある時刻
において、バッファの占有量がバッファの許容量（図に
おけるBuffer_Size ）を超えてしまう。これをバッファ
におけるオーバーフローと呼ぶ。

【００２４】多重化装置は、復号装置において上記オー
バーフロー及びアンダーフロー等のバッファにおける破
綻を起こさないよう、各々のエレメンタリーストリーム
を適当な長さで時分割多重し、かつ多重化ストリーム上
に、タイムスタンプとして適当な値を設定する必要があ
る。

【００２５】さて、一般的に、多重化されるビデオ、オ
ーディオ及び、その他のエレメンタリーストリームは、
多重化以前に独立して符号化される。例えば上記国際標
準ISO13818-2や11172-2 等のビデオ符号化においては、
ＳＴＤモデルとは異なるバッファモデルが規定され、こ
のモデルに基づくビデオストリームは、ビデオ復号装置
単体において、適当な時間隔での復号及び表示が可能と
なる。多重化のスケジューリングは、各々のエレメンタ
リーストリームの復号装置における、これらのバッファ
モデルに制約される。つまり、多重化装置は、各々のエ
レメンタリーストリームのバッファモデルと整合性がと
れるように、かつ全てのエレメンタリーストリームの同
期関係を保証しながら多重化を行なう必要がある。

【００２６】以下に図１３を用いて、各々のエレメンタ
リーストリームのバッファモデル及び前述のＳＴＤモデ
ルの関係について述べる。この例では、各一本ずつのビ
デオ及びオーディオストリームの多重化に関して述べ
る。ビデオは例えば上記国際標準ISO13818-2あるいは11
172-2 に従って符号化されているものとし、オーディオ
は例えば上記国際標準ISO13818-3あるいは11172-3 に従
って符号化されているものとする。以下の記述では、混
乱を避けるために、ＳＴＤモデルにおけるバッファをＳ
ＴＤバッファと呼ぶ。また、この例においては、多重化
ストリーム上のパックヘッダ及びパケットヘッダ等のデ
ータの伝送に必要とする時間は考慮せず、図示しないも
のとする。図１３の（Ａ）は、オーディオＳＴＤバッフ
ァモデルを、また（Ｂ）はビデオＳＴＤバッファモデル
の例をそれぞれ示している。

【００２７】まず、図１３の（Ｂ）の鋸歯状の曲線(a)
は、上記国際標準ISO13818-2及び11172-2 に規定される
ＶＢＶ（Video Buffer Verifier ）、すなわち理想的な
ビデオ復号装置単体におけるバッファ（ＶＢＶバッファ
と呼ぶ）の占有量の状態を示している。右上がりの直線
は、ＶＢＶバッファへのデータ供給を示している。ここ
では固定レートの例であり、それ故、変化の傾きは一定
である。以下に、ＶＢＶの動作について説明する。任意
の時刻において、このＶＢＶバッファに対してビデオの
符号化データの供給が開始される。その後、図１３に示
すVBV_delay の期間が経過した時刻に、最初の表示単位
のビデオ符号化データ（ピクチャＩ２）は、瞬時にＶＢ
Ｖバッファから引き抜かれ、復号される。すなわち、ピ
クチャの引き抜き及び復号における遅延はゼロである。
その後、各ピクチャに対するVBV_delay の値に関して以
上の動作が繰り返され、ＶＢＶバッファの占有量は、図
１３の（Ｂ）の曲線(a) に示すような鋸歯状のグラフに
なる。上記国際標準ISO13818-2及びISO11172-2では、VB
V_delay の値は個々のピクチャに対して規定され、符号
化された各ピクチャ内に記述されている。

【００２８】さて、前述したように、各々のエレメンタ
リーストリームに対応するＳＴＤバッファにおいては、
多重化されたデータが時分割多重されているために、デ
ータ供給がバースト状になる。ビデオのＳＴＤバッファ
の軌跡を図１３の（Ｂ）の折れ線あるいは曲線(b) に示
す。ビデオのＳＴＤバッファへのデータ供給は右上がり
の実線で示されており、このレート（傾き）はMUX_rate
である。また、ビデオ以外のエレメンタリーストリーム
に対するＳＴＤバッファにデータ供給が行われた場合、
ビデオのＳＴＤバッファへのデータ供給は停止されるた
め、傾きが平らになる。

【００２９】以上図示したように、ビデオのＳＴＤバッ
ファの占有量の軌跡とＶＢＶバッファのそれとは一致し
なくてもよい。しかし、ＶＢＶモデルにおいて、各ピク
チャの引き抜き及び復号における時間隔が上記VBV_dela
y 等により予め決められているので、ビデオのＳＴＤモ
デルでは、それを満足するようにタイムスタンプを設定
しなければならない。また、ＶＢＶモデルにおいて、引
き抜かれるピクチャのサイズが予め決められているの
で、ビデオのＳＴＤモデルでは、各々のアクセスユニッ
ト（すなわちピクチャ）が引き抜かれるまでに最低限そ
のサイズのデータ量がビデオのＳＴＤバッファに供給さ
れているようにスケジューリングを行なわなければなら
ない。それ故、一般的に、ビデオのＳＴＤバッファの占
有量の軌跡は、ＶＢＶバッファの占有量の軌跡に対して
上を通る。

【００３０】また、上記のビデオへのデータ供給が停止
した時間は、オーディオのＳＴＤバッファに対してデー
タ供給が行われた時間を意味する。オーディオのＳＴＤ
バッファのバッファ占有量を図１３の（Ａ）に示す。

【００３１】例えば上記国際標準ISO11172-3及び11172-
3 のオーディオ符号化方式では、ＶＢＶモデルのような
バッファモデルは特に規定していない。ここでは、オー
ディオストリームは、オーディオ復号装置単体が所有す
るバッファ（Ａバッファと呼ぶ）に一定の転送レートで
供給され、また、一定の時間隔でオーディオフレーム単
位に瞬時に引き抜かれ、瞬時に復号されるものとする。
この場合において、Ａバッファの容量は、少なくとも各
オーディオフレームの長さよりも大きく設定される。図
１３の（Ａ）のグラフ中の下の折れ線あるいは曲線(c)
は、Ａバッファにおける占有量の変化を示したものであ
る。一定時間隔でオーディオフレーム単位の引き抜き及
び復号が行なわれるため、鋸歯状の軌跡を描く。

【００３２】これに対して、オーディオについてのＳＴ
Ｄバッファに対するデータ供給は、図１３の（Ａ）のグ
ラフ中の折れ線あるいは曲線(d) で示される。オーディ
オのＳＴＤバッファへのデータ転送レートはMUX_rateで
あり、またアクセスユニット（オーディオフレーム）は
瞬時の引き抜きによりオーディオのＳＴＤバッファから
除去され、瞬時に復号される。この例では、オーディオ
のアクセスユニットが十分小さいものと仮定して、一定
のレートでアクセスユニットがＳＴＤバッファから除去
されるものとして描いてある。ビデオと同様の理由によ
り、オーディオにおいても、ＳＴＤバッファの占有量の
軌跡と単体の符号化モデル（Ａバッファのモデル）とは
一致しない。

【００３３】ここで、図中の区間(e) がオーディオＳＴ
Ｄバッファへのデータ供給区間を、区間(f) がビデオＳ
ＴＤバッファへのデータ供給区間をそれぞれ示してい
る。また、区間(g) が両方のＳＴＤバッファへのデータ
供給を停止した区間を示している。

【００３４】以上の例では、ビデオ及びオーディオ各一
本ずつの多重化を示したが、実際のアプリケーションで
は、複数のオーディオストリーム等が扱われる可能性も
あり、このような場合、各エレメンタリーストリームの
符号化モデルを考慮した多重化におけるデータ供給のス
ケジューリングは、さらに複雑になる。

【００３５】

【発明が解決しようとする課題】ところで、上述したよ
うに、多重化とは、複数のエレメンタリーストリームを
時分割多重し、一本化されたストリームデータを生成す
ることであるが、そのスケジューリングによっては、前
記ＳＴＤモデルを破綻させてしまう場合が生じる。以下
に図１４を参照して例を示す。

【００３６】図１４は、１本のビデオＶ及び２本のオー
ディオ（第１のオーディオＡ１及び第２のオーディオＡ
２）の多重化を行なった場合であり、各々のグラフは、
各エレメンタリーストリームに対するＳＴＤバッファの
占有量の時間的な変化を表している。すなわち、図１４
の（Ａ）が第１のオーディオＡ１のＳＴＤバッファの占
有量を、（Ｂ）が第２のオーディオＡ２のＳＴＤバッフ
ァの占有量を、また（Ｃ）がビデオＶのＳＴＤバッファ
の占有量をそれぞれ示している。

【００３７】また、図中のＴ_n-2 ，Ｔ_n-1 ，Ｔ_nは、ビ
デオのＳＴＤバッファにおけるｎ−２，ｎ−１，ｎ番目
のアクセスユニット（ピクチャ）Ａ_n-2 ，Ａ_n-1 ，Ａ_n
の引き抜き時刻を示している。本例では、上記のビデオ
の各アクセスユニットの引き抜き時刻間（図中のＷ
_n-1 ，Ｗ_n 等）を、データ供給処理の単位時間としてい
る。つまり、各単位時間ごとに、その間におけるデータ
供給スケジュールを決定する。具体的には、例えば時刻
Ｔ_n-1 において、時刻Ｔ_n-1 から時刻Ｔ_n までに起こる
全てのＳＴＤバッファからのデータ出力状況を考慮し
て、その間（Ｗ_n-1）におけるデータ供給対象のＳＴＤ
バッファ（複数可）を選択し、それらの占有量の調整を
行なう。この単位時間は、ＮＴＳＣにおいては１／29.9
7 秒間、ＰＡＬにおいては１／２５秒間に該当する。図
１４は、上記スケジューリング従った結果、時刻Ｔ_n に
おいて、ビデオのＳＴＤバッファが破綻を起こした場合
を示している。以下に詳細を説明する。

【００３８】図１４の時刻Ｔ_n-1において、次の時刻Ｔ
_nにおけるビデオのアクセスユニットＡ_nの引き抜きを
考慮し、ビデオのＳＴＤバッファに対するデータ供給を
開始する。ところが、図中のポイント(a) 及び(b) にお
いて、２本のオーディオに対するＳＴＤバッファが、ほ
ぼ同時にアンダーフローしそうなため、各オーディオの
ＳＴＤバッファに対するデータ供給に切り替える。その
間、ビデオのＳＴＤバッファに対するデータ供給は停止
される。すなわち、図中の区間(c) にて第１のオーディ
オＡ１についてのデータ供給が行われ、区間(d) にて第
２のオーディオＡ２についてのデータ供給が行われる。
そして、各オーディオに対して十分なデータが供給され
た後、再度ビデオのＳＴＤバッファに対してデータ供給
が行なわれる。しかし、時刻Ｔ_nまでに十分なデータを
供給できないために、次のビデオのアクセスユニットＡ
_nを引き抜いた瞬間に図中のポイント(e) に示すように
バッファアンダーフローを起こしてしまう。また、この
ようにビデオのバッファが破綻しているため、第１、第
２のオーディオＡ１、Ａ２についても、図中の各部分
(f),(g) においてバッファのアンダーフローが生じてい
る。

【００３９】本例では、上述したように、ビデオの各ア
クセスユニットの引き抜き時刻を単位として、各ＳＴＤ
バッファに対するデータ供給処理（スケジューリング）
を行なっている。すなわち、アクセスユニットの先読み
が可能な範囲(h) をビデオの１アクセスユニット分とし
ている。本例では、この単位時間内において各ＳＴＤバ
ッファに対して必要されるデータ供給レートの総和が、
全体のデータ供給レートであるMUX_rateを超えてしまっ
たために破綻を起こしている。これは、スケジューリン
グにおける単位時間が相対的に短いために、その間に多
数のＳＴＤバッファへのデータ供給を要求されても、伝
送バンドの振り分けのやりくりができないからである。

【００４０】次に、上記データ供給におけるスケジュー
リングの単位時間を上記例よりも長期化した例を図１５
に示す。この図１５の例においては、ビデオの２つずつ
のアクセスユニットの引き抜き時刻を単位として、各Ｓ
ＴＤバッファに対するデータ供給処理を行っている。す
なわち、アクセスユニットの先読みが可能な範囲(a)
を、ビデオの２アクセスユニット分としている。具体的
には、例えば時刻Ｔ_n-2において、時刻Ｔ_n-2 から時刻
Ｔ_n までに起こる全てのＳＴＤバッファからのデータ出
力状況を考慮して、その間（Ｗx）におけるデータ供給
の対象のＳＴＤバッファ（複数可）を選択し、それらの
占有量の調整を行なう。それ故、図１４の場合と比較し
て、オーディオＡＤ２のＳＴＤバッファへのデータ供給
のタイミングが、意図的に前倒し、すなわち時間的に前
に設定されており、各ＳＴＤバッファにおける破綻が回
避されている。ここで、図中の区間(b) が第２のオーデ
ィオＡ２へのデータ供給区間を示し、区間(c) が第１の
オーディオＡ１へのデータ供給区間を示している。

【００４１】以上述べたように、多重化のデータ供給の
スケジューリングにおいて、その処理の単位時間を長く
し、現時刻から時間的により後に起こる事象を考慮する
ことにより、ある程度の破綻は回避される。しかし、例
えば上記国際規格ISO13818-1及び11172-1 では、最大３
２本ものオーディオストリームの多重化が規格上許され
ており、この場合、ＳＴＤモデルにおいて絶対に破綻を
起こさない多重化を行うことは非常に困難とされる。つ
まり、前述のような、処理の単位時間が有限である方法
においては、データ供給スケジュールを決定するにあた
って、ＳＴＤモデルを破綻させる可能性が常に存在し、
それ故、安全な多重化を保証することは不可能である。

【００４２】本発明は上述したような実情に鑑みてなさ
れたものであり、複数のエレメンタリーストリームを多
重化する際に、簡単にデータ供給スケジュールの決定が
可能で、バッファの破綻を有効に防止し得るようなディ
ジタル信号多重化方法及び装置、並びにバッファ破綻が
防止された多重化信号が記録されたディジタル信号記録
媒体を提供することを目的とする。

【００４３】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、入力された複数のディジタル信号のス
トリームデータを、所定の方法を用いて多重化し、記録
メディアに記録もしくは伝送回線を用いて伝送し、受信
側でこれらの多重化されたデータを分離し、画像／音声
等の信号を同期再生する多重化／分離方法において、あ
らかじめ入力された複数のストリームデータから、それ
ぞれのストリームデータごとに規定される各アクセスユ
ニットを、対応するデコーダのバッファから瞬時に引き
抜くタイミングを算出し、上記タイミングのデータを用
いて時間的に逆方向から処理を行うことによって、デコ
ーダのバッファからのアクセスユニットの瞬時の引き抜
きを、バッファへのアクセスユニットへの瞬時の充填に
読み変えることによって、各アクセスユニットのバッフ
ァへの供給開始時間を逆算し、アクセスユニットのパケ
ット化のスケジュールを決定することを特徴としてい
る。

【００４４】各エレメンタリーストリームのデコーダバ
ッファに対するデータ供給のスケジューリングを、各ア
クセスユニットの大きさを元に、時間的に逆方向に行う
ことによって、データ供給のスケジューリングの前倒し
が理論上無制限に可能となるので、複数のエレメンタリ
ーストリームを多重化する際にでも、簡単にデータ供給
スケジュールの決定が可能で、常にバッファにおいて破
綻のない安全な多重化を保証することができる。

【００４５】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照しながら説明する。

【００４６】図１は、本発明の実施の形態となるディジ
タル信号多重化方法を説明するためのフローチャートで
あり、入力された複数のディジタル信号のビットストリ
ームを多重化して多重化ビットストリームを生成するデ
ィジタル信号多重化方法を示している。

【００４７】この図１の最初のステップＳ１において
は、入力された複数のビットストリームから、それぞれ
のビットストリームごとに規定される処理単位としての
各アクセスユニットＡＵを、対応するデコーダのバッフ
ァから引き抜く時刻を算出している。このアクセスユニ
ットＡＵとは、バッファからデコーダにデータ転送する
場合の理想的なデータ単位のことであり、ビデオでは符
号化されたピクチャあるいはフレームであり、オーディ
オではオーディオフレームである。

【００４８】次のステップＳ２では、上記各アクセスユ
ニットＡＵの引き抜き時刻のデータを用いて時間的に逆
方向から処理を行い、デコーダのバッファからのアクセ
スユニットの引き抜きをバッファへのアクセスユニット
の充填に読み変えて、各アクセスユニットのバッファへ
の供給開始時間等に関する制約時刻を逆算している。

【００４９】次のステップＳ３では、ステップＳ２で求
められた制約時刻等を元にして、アクセスユニットのパ
ケット化のスケジュールの決定、すなわちスケジューリ
ングを行っている。

【００５０】このように、多重化の処理とスケジューリ
ングを時間的に逆方向に行うことによって、多重化する
ビットストリームが多数になった場合でも、データのス
ケジューリングの自由度が大きいため、より安全でオー
バーヘッドの少ない効率的な多重化を行うことができ
る。

【００５１】次に、本明細書において提案する逆方向へ
の多重化の基本思想あるいは概念に関して説明する。以
下の説明においては、時間（クロック）がさかのぼる方
向に処理をする事を前提としている。

【００５２】多重化において、処理単位となる上記アク
セスユニット、すなわちビデオではピクチャあるいはフ
レーム、オーディオではオーディオフレームを単位とし
た、ＳＴＤバッファへのデータ供給のスケジューリング
は、基本的に各アクセスユニットの表示時刻（アクセス
ユニットのバッファからの引き抜き時刻）を基準として
行われる。極端に言えば、各アクセスユニットのＳＴＤ
バッファへのデータ供給は、最低限、各アクセスユニッ
トの表示時刻までに完了していればかまわない。つま
り、データ供給を前倒しに開始すれば、常に安全な多重
化が保証できる。これは、通常の様に処理を時間的に順
方向に行う場合、多重化に問題が生じると逆戻りして多
重化のスケジュールを変えて処理する等のバックトラッ
ク的な作業が必要になることを意味する。

【００５３】一般に多重化のスケジューリングの自由度
は、バッファに対するデータ供給の前倒しによって実現
される。ここで、順方向に処理を行う場合、バックトラ
ック的な作業の範囲は、上記図１５で説明したようにア
クセスユニットの先読み量によって限定される。

【００５４】ここで述べる逆方向多重化においては、各
アクセスユニットの引き抜き時刻あるいは表示時刻と大
きさをあらかじめ計算しておき、時間を逆方向にたどる
ことによって、バックトラックの必要をなくすことにあ
る。逆方向に処理を行うことによって、データ供給の前
倒しは無制限となり、破綻を起こしにくい非常に安全な
多重化を実現することが可能となる。

【００５５】次に、逆方向多重化の処理のための概略的
な構成について、図２を参照しながら説明する。この図
２は、逆方向多重化の処理の大まかな流れを機能ブロッ
ク的に示すものである。

【００５６】先ず、ビデオ／オーディオ／その他のエレ
メンタリーストリームが書き込まれた各蓄積媒体１１、
１２、１３からそれぞれのエレメンタリーストリームを
読み出して、各前処理部２１、２２、２３にそれぞれ送
って、各アクセスユニットの大きさ、ＰＴＳもしくはＤ
ＴＳを計算し、このデータを作成する。また、この後の
処理は時間的に逆方向に処理するので、各並べ替え部３
１、３２、３３により全てのデータを時間的に逆順序に
並べ替えておく。このデータを元に、パケット化部４１
においてパケット化のスケジュールを決定する。このパ
ケット化のスケジュールは、ＳＴＤバッファのデータ占
有量を監視し、これをオーバーフロー／アンダーフロー
させないような方法で決定する。ここで決定したスケジ
ュールに基づいて、次の後処理部４２により実際の多重
化されたストリームを生成する。この多重化ストリーム
は、例えば光磁気ディスクや磁気テープ等の蓄積媒体あ
るいは記録媒体４３に記録する。

【００５７】次に、逆方向多重化のアルゴリズムについ
て説明する。以下の説明では、アクセスユニットのバッ
ファからの引き抜き時刻を議論するため、基本的に復号
時のタイムスタンプ（ＤＴＳ：Decoding Time Stamp ）
を用い、これが無い場合には表示時のタイムスタンプ
（ＰＴＳ：Presentation TimeStamp ）を用いる。以
後、アクセスユニットの引き抜きをイベントと呼び、引
き抜き時刻をイベント時刻と呼ぶ。

【００５８】以下の規則において、AU(m,n) はアクセス
ユニットを表し、m番目のエレメンタリーストリームに
おける、n番目のアクセスユニットとする。ただし、0
≦ m≦ M、0 ≦ n ≦ N とする。

【００５９】以下に、ＳＴＤバッファを時間的に逆方向
にシミュレートする事によって、デコーダバッファに対
するデータ供給のタイミングを決定するアルゴリズムを
説明する。

【００６０】先ず、前処理として、アクセスユニットの
大きさ、イベント時刻の決定を行う必要がある。

【００６１】各アクセスユニットAU(m,n) 全ての引き抜
き時刻を前もって計算するためには、以下の処理を各エ
レメンタリーストリームに対して行う。すなわち、ビデオ：各アクセスユニットの大きさ各アクセスユニッ
トのＤＴＳ（無い場合はＰＴＳ）に相当するイベント時
刻、オーディオ：各アクセスユニットの大きさ各アクセスユ
ニットのイベント時刻（ＰＴＳ）、その他：各アクセスユニットの大きさ各アクセスユニッ
トのイベント時刻（ＰＴＳ）、の各情報から、全てのイベント時刻を計算する。特に、
AU(m,n) のイベント時刻をT_event_AU(m,n) で表し、以
下のAU(m,n) のパケット化の処理全てのためのトリガー
となる時刻を示す。

【００６２】ここで作成された各アクセスユニットの大
きさ、各アクセスユニットのイベント時刻は、図２に示
される形式で、エレメンタリーストリーム単位に記録さ
れる。また、この後の処理を時間的に逆方向に行うため
に、データをイベント時刻で見て逆順序になるように並
べ替えておく。以後の処理は、全てこのデータを元に行
う。

【００６３】次に、データ供給のスケジューリングを行
うわけであるが、このスケジューリングにおける制約条
件について説明する。

【００６４】先ず、ＳＴＤモデルとＶＢＶモデルの関係
について説明する。これは、ＳＴＤモデル及びＶＢＶモ
デルにおけるバッファ占有量の軌跡の関係である。

【００６５】規定Ｒ０：ＳＴＤモデルにおけるバッファ
占有量の軌跡はＶＢＶモデルのバッファ占有量の軌跡に
対して、常に上に（バッファ占有量が大きく）なければ
ならない。

【００６６】前述したように、ＶＢＶモデルは、ビデオ
復号装置単体におけるバッファ占有量を表すものであ
る。これに対して、ＳＴＤモデルは、他のストリームと
共に多重化された場合のバッファの占有量を示してい
る。つまり、ＳＴＤモデルがＶＢＶモデルの軌跡を下回
る場合には、バースト的なデータ供給に起因するアンダ
ーフローが生じることを意味する。従って、ＳＴＤバッ
ファの占有量の軌跡は、ＶＢＶバッファの占有量の軌跡
に対して、常に上になければならない。つまり、任意の
時刻におけるＳＴＤバッファの占有量は、ＶＢＶバッフ
ァのそれより大きくなければならない。ここでは、ビデ
オに限定して述べたが、他のエレメンタリーストリーム
についても同様に、復号装置におけるバッファモデルの
占有量を下回らない（アンダーフローしない）ように多
重化する必要がある。

【００６７】次に、ＳＴＤバッファへのAU(m,n) の最終
パケットの最終バイトのバッファへの入力時刻として
の、T_last_byte_AU(m,n）の制約条件について説明す
る。

【００６８】規定Ｒ１：あるアクセスユニットAU(m,n)
の最終パケットの最終バイトのバッファへの入力時刻T_
last_byte_AU(m,n) は、AU(m,n) のイベント時刻T_even
t_AU(m,n) 以前に、バッファに入力されていなければな
らない。すなわち、 T_last_byte_AU(m,n) < T_event_AU(m,n) ・・・（１）である。

【００６９】規定Ｒ２：あるアクセスユニットAU(m,n)
の最終パケットの最終バイトのバッファへの入力時刻T_
last_byte_AU(m,n) は、次のアクセスユニットAU(m,n+
1) の最初のパケットのヘッダの第一バイトのバッファ
への入力時刻T_first_byte_AU(m,n+1)よりは前でなけれ
ばならない。AU(m,n) のイベント時刻におけるバッファ
占有量をBuffer_occupancy_AU(m,n)とすると、以下の T_last_byte_AU(m,n) ＜ T_event_AU(m,n) - Buffer_occupancy_AU(m,n)／MUX_rate ・・・（２）の制約条件が必要となる。

【００７０】上記各規定Ｒ１、Ｒ２において示した各式
（１）、（２）の条件を守る限り、アクセスユニットAU
(m,n) の到着の遅れによって生じるバッファのアンダー
フローは生じない。

【００７１】規定Ｒ３：ＭＰＥＧの規定に従って、ある
アクセスユニットAU(m,n) の最終パケットの最終バイト
は、バッファへの入力時刻T_last_byte_AU(m,n) の後、
１秒以内にバッファから除去されなければならない。バ
ッファから除去される時間は、AU(m,n)のイベント時刻
であるから、 T_last_byte_AU(m,n) ＞ T_event_AU(m,n) - １・・・（３）のようになる。

【００７２】上記規定Ｒ３の条件を満たしたT_last_byt
e_AU(m,n)をあらかじめ求めることによって、１秒ルー
ルを守った安全な逆方向多重化が保証される。

【００７３】規定Ｒ４：あるアクセスユニット：AU(m,
n) の最終パケットの最終バイトのバッファへの入力を
前倒ししすぎたことによって、バッファのオーバーフロ
ーを引き起こす可能性がある。このための限界時間Over
flow_limit_last_Byte_AU(m,n)は以下のように計算され
る。 Overflow_limit_last_Byte_AU(m,n) ＝ T_event_AU(m,n) - (Buffer_size-AU(m,n)) / MUX_rate ・・・（４）従って、AU(m,n) の最終パケットの最終バイトのバッフ
ァへの入力時刻への制約として、 T_last_byte_AU(m,n) ＞ Overflow_limit_last_Byte_AU(m,n) ・・・（５）が挙げられる。

【００７４】図３は、上記各規定Ｒ１、Ｒ２、Ｒ３、Ｒ
４を説明するものである。この図３は、上記ＶＢＶ（Vi
deo Buffer Verify ）モデルに従って時間軸の正方向に
発生したビデオのデータに関して、上記ＳＴＤ（System
Target Decoder ）モデルに従って時間軸の逆方向に多
重化を行う際、あるアクセスユニットAU(m,n) のイベン
ト時刻を基準として、その最終パケットにおける最終バ
イトの多重化の時刻、すなわちバッファへの入力時刻T_
last_byte_AU(m,n) に関する上記各規定の条件を説明す
るものである。図３に示されている時刻T_last_byte_AU
(m,n) は、一例を示しているに過ぎず、図中の時間幅Ｘ
内において任意に選択できる。

【００７５】図３において、ＶＢＶモデルにおけるバッ
ファ占有量の変化は図中の折れ線あるいは曲線(a) 、Ｓ
ＴＤモデルにおけるバッファ占有量の変化は図中の折れ
線あるいは曲線(b) で表される。ここで、両モデルにお
ける各々のバッファからの各アクセスユニットの引き抜
き時刻は等しいが、図３では見易くするために、時刻T_
event_AU(m,n+2) での各曲線(a)と(b)のようにずらして
描いている。図中の時刻(c) は、上記規定Ｒ１のT_even
t_AU(m,n) の時刻を示す。T_last_byte_AU(m,n) はこの
時刻より時間軸で前に設定する必要がある。曲線(d)
は、上記規定Ｒ２の条件を説明するためのものであり、
時刻T_event_AU(m,n) におけるバッファ占有量Buffer_O
ccupancy_AU(m,n) からT_first_byte_AU(m,n+1) を求め
る様子を描いたものである。傾きはMUX_rateである。上
記AU(m,n) の最終パケットの最終バイトのバッファへの
入力時刻T_last_byte_AU(m,n) は、T_first_byte_AU(m,
n+1)より時間軸で前に設定する必要がある。時刻(e)
は、上記規定Ｒ３を説明するために、T_event_AU(m,n)
より一秒前の時刻を示す。T_last_byte_AU(m,n) はこの
時刻より時間軸で後に設定する必要がある。曲線(f)
は、規定Ｒ４を表すものであり、AU(m,n) に対するOver
flow_limit_last_byte_AU(m,n)を求める様子を描いたも
のである。傾きはMUX_rateである。T_last_byte_AU(m,
n)は、Overflow_limit_last_byte_AU(m,n) より時間軸
で後に設定する必要がある。時間幅Ｘは、上記規定Ｒ
１、Ｒ２、Ｒ３、Ｒ４により求められた時間的な区間で
あり、上記T_last_byte_AU(m,n) は、この時間幅内なら
ば任意に選択できる。曲線(g) は、時間幅Ｘの制約にお
いてT_last_byte_AU(m,n) を選択した一例である。曲線
(g) における傾きが平らな部分Ａは、例えばオーディオ
等の他のストリームに対するバッファへのデータ供給が
行なわれ、その間、ビデオのバッファへの供給が行なわ
れていないことを示す。

【００７６】この図３において、(h) はアクセスユニッ
トAU(m,n) の最終パケットの最終バイトのバッファへの
供給スケジュールの例を示し、(i) はアクセスユニット
AU(m,n) の最終パケットの最終バイトを示している。ま
た、図３中の(j) はアクセスユニットAU(m,n+1) の最初
のパケットの第一バイトのバッファへの供給スケジュー
ルを示し、(k) はアクセスユニットAU(m,n+1) の最初の
パケットの第一バイトを示している。

【００７７】次に、上記ＳＴＤバッファへのアクセスユ
ニットAU(m,n) の最初のパケットの第一バイトのバッフ
ァへの入力時刻T_first_byte_AU(m,n)の制約条件につい
て説明する。

【００７８】規定Ｒ５：上記ＭＰＥＧの規定に従って、
あるアクセスユニットAU(m,n) の最初のパケットの第一
バイトがバッファへ入力されてから、１秒以内にバッフ
ァから除去されなければならない。従って、上記AU(m,
n) の最初のパケットの第一バイトの入力時刻T_first_b
yte_AU(m,n)は、AU(m,n) のイベント時刻：T_event_AU
(m,n) から１秒以内になければならない。すなわち、 T_first_byte_AU(m,n) ＞ T_event_AU(m,n) − １・・・（６）である。

【００７９】上記規定Ｒ５の条件を満たしたT_first_by
te_AU(m,n)をあらかじめ求めることによって、１秒ルー
ルを守った安全な逆方向多重化が保証される。

【００８０】規定Ｒ６：あるアクセスユニットAU(m,n)
の最初のパケットの第一バイトのバッファへの入力を前
倒ししすぎたことによって、バッファのオーバーフロー
を引き起こす可能性がある。このようなオーバーフロー
を引き起こさないための限界時間Overflow_limit_first
_Byte_AU(m,n) は、 Overflow_limit_first_Byte_AU(m,n) ＝ T_event_AU(m,n) - Buffer_size / MUX_rate ・・・（７）のように計算される。

【００８１】従って、AU(m,n) の最初のパケットの第一
バイトのバッファへの入力時刻への制約として、 T_first_byte_AU(m,n) ＞ Overflow_limit_first_Byte_AU(m,n) ・・・（８）が挙げられる。

【００８２】図４は、上記規定Ｒ５、Ｒ６の各条件を説
明するものである。この図４は、上記ＶＢＶモデルに従
って時間軸の正方向に発生したビデオのデータに関し
て、上記ＳＴＤモデルに従って時間軸の逆方向に多重化
を行う際、あるアクセスユニットAU(m,n) のイベント時
刻を基準として、その最初のパケットにおける第一バイ
トの多重化の時刻、すなわちバッファへの入力時刻T_fi
rst_byte_AU(m,n)に関する上記各規定Ｒ５、Ｒ６の条件
を説明するものである。図４に示されている時刻T_firs
t_byte_AU(m,n)は、一例を示しているに過ぎず、図中の
時刻Ｙ以降ならば任意に選択できる。図中の時間幅Ｂ
は、例えばオーディオ等の他のストリームに関してのバ
ッファへのデータ供給を行っていることを示す例であ
り、この間、ビデオのバッファへの供給は停止される。

【００８３】図４において、上記ＶＢＶモデルにおける
バッファ占有量の変化は折れ線あるいは曲線(a) 、上記
ＳＴＤモデルにおけるバッファ占有量の変化は折れ線あ
るいは曲線(b) で表される。ここで、図３と同様、両モ
デルにおける各々のバッファからの各アクセスユニット
の引き抜き時刻は等しいが、図を見易くするために、時
刻T_event_AU(m,n+2) での各曲線(a)と(b)のようにずら
して描いている。時刻(c) は、上記規定Ｒ５の条件にお
ける上記T_event_AU(m,n) より一秒前の時刻を示す。T_
first_byte_AU(m,n)はこの時刻より時間軸で後に設定す
る必要がある。曲線(d) は、上記規定Ｒ６の条件を説明
するためのものであり、AU(m,n) に対するOverflow_lim
it_first_byte_AU(m,n) を求める様子を描いたものであ
る。傾きはMUX_rateである。T_first_byte_AU(m,n)は、
Overflow_limit_first_byte_AU(m,n) より時間軸で後に
設定する必要がある。時刻Ｙは、上記各規定Ｒ５、Ｒ６
により求められた時刻であり、T_first_byte_AU(m,n)
は、この時刻より時間軸で後ならば任意に選択できる。
曲線(e) は、時刻Ｙの制約においてT_last_byte_AU(m,
n) を選択した一例である。曲線(e) における傾きが平
らな部分Ｂは、例えばオーディオ等の他のストリームに
対するバッファへのデータ供給が行なわれ、その間、ビ
デオのバッファへの供給が行なわれていないことを示
す。

【００８４】この図４において、(e) はアクセスユニッ
トAU(m,n) の最初のパケットの第一バイトのバッファへ
の供給スケジュールの例を示し、(f) はアクセスユニッ
トAU(m,n) の最初のパケットの第一バイトを示してい
る。

【００８５】次に、上述したような制約を考慮したAU
(m,n) のデータ供給のスケジューリングについて説明す
る。

【００８６】図５には、これまで説明した制約のもとで
の、データ供給のスケジューリングの例を示している。
この図５は、上記ＶＢＶモデルに従って時間軸の正方向
に発生したビデオのデータに関して、上記ＳＴＤモデル
に従って時間軸の逆方向に多重化を行う際、あるアクセ
スユニットAU(m,n) のイベント時刻を基準にして、次の
アクセスユニットAU(m,n-a) のイベント時刻までのデー
タ供給のスケジューリングを行った例を示している。こ
の図５の例では、アクセスユニットAU(m,n) は２つのパ
ケットに分割され、バッファに供給される。

【００８７】図５中の時刻T_first_byte_AU(m,n)は、上
記各規定Ｒ５、Ｒ６の条件により、上記図４中の時刻Ｙ
以降で任意に選択されたものであり、また図５中の時刻
T_last_byte_AU(m,n) は、上記各規定Ｒ１〜Ｒ４の条件
により、上記図３中の時間幅Ｘ内において任意に選択さ
れたものである。

【００８８】図５中の時間幅Ｚは、上記時刻Ｙ及び時間
幅Ｘから求められたものであり、アクセスユニットAU
(m,n) の各バイトに関するデータ供給のスケジューリン
グにおける自由度を示す。すなわち、この時間幅Ｚの範
囲内ならば、各バイトに関する供給スケジュールは変更
可能である。

【００８９】この図５では、AU(m,n) が２個のパケット
に分割される場合の例を示している。図において、ＶＢ
Ｖモデルにおけるバッファ占有量の変化は折れ線あるい
は曲線(a) 、ＳＴＤモデルにおけるバッファ占有量の変
化は折れ線あるいは曲線(b)で表される。ここで、図３
と同様、両モデルにおける各々のバッファからのアクセ
スユニットの引き抜き時刻は等しいが、図を見易くする
ために、時刻T_event_AU(m,n+2) での各曲線(a)と(b)の
ようにずらして描いている。全てのパケットのデータ供
給は、上記規定Ｒ１〜Ｒ６の制約から計算されるT_firs
t_byte_AU(m,n)及びT_last_byte_AU(m,n) の間に行われ
なければならない。

【００９０】すなわち、データの供給時間をData_deliv
ary とすると、 T_first_byte_AU(m,n) ＜ Data_delivary ＜ T_last_byte_AU(m,n) ・・・（９）となる。

【００９１】上記式（９）を守る限り、いかなるパケッ
ト化も可能である。図５の例では、２つのパケットの間
に、図中の時間幅Ｃ及びＤのように、このストリームの
データ供給を停止する区間があるが、これは例えばオー
ディオ等の他のストリームのデータ供給を行うためのも
のである。この様に、他のストリームへのデータ供給が
要求された場合、上記式（９）の許す範囲内にて、いか
なるデータ供給スケジュールも可能である。

【００９２】また、上記式（９）で示される制約は、多
重化の自由度としては非常に寛容な規定であり、多数の
ストリームを多重化する場合に、破綻を生じにくい安全
なスケジューリングができる。この方法は、順方向に先
読みを行って処理をした場合には、適用が困難であり、
このため本実施の形態においては時間的に逆方向に処理
を行ってこれを可能としている。

【００９３】なお、図５において、アクセスユニットAU
(m,n) の最初と最終のパケットのデータの供給スケジュ
ールの例として、(c) にアクセスユニットAU(m,n) の最
初のパケットのデータ供給時間幅を、(d) にアクセスユ
ニットAU(m,n) の最終のパケットのデータ供給時間幅を
それぞれ示している。また、図５中の(e) はアクセスユ
ニットAU(m,n) の最初のパケットを、(f) はアクセスユ
ニットAU(m,n) の最終のパケットをそれぞれ示してい
る。

【００９４】以下、図６を参照しながら、逆方向の多重
化の手順を説明する。

【００９５】この図６の例は、ビデオ１本及びオーディ
オ２本についての多重化スケジューリングを行なったも
のである。処理は、全て時間方向に逆に処理を行うた
め、最後のアクセスユニットからバッファに瞬時に入力
され、これが多重化のスケジューリングに従って上記MU
X_rateでバッファから引き抜かれていく。

【００９６】逆多重化処理は、各エレメンタリーストリ
ームの各アクセスユニットが発生するイベント時間を基
準にして行われる。この図では、各アクセスユニットの
イベント時間をｔ₁，ｔ₂，ｔ₃ 等で表している。多重化
のスケジューリングは、この各イベント時間の間の伝送
バンドを、どのエレメンタリーストリームのアクセスユ
ニットに割り当てるかによって決定される。当然、各ア
クセスユニットのデータ供給は、上記各規定の制約から
計算されるT_first_byte_AU(m,n)および T_last_byte_A
U(m,n)の間に行われなければならない。逆多重化の基本
処理は、各イベント単位で伝送バンドを割り当てること
であるが、この各イベント時間間隔における時間を、Ti
meSlice[t₁,t₂]等と表す。バッファがオーバーフローし
そうなストリームが存在する場合、これにバンドを割り
当てる。また、複数オーバーフローしそうな場合は、緊
急度に応じてバンド割り当てを決定する。また、アンダ
ーフローしそう、もしくはＶＢＶの軌跡を下回りそうな
場合は、バンド割り当てを停止する。もし、あるTimeSl
ice において、バンド割り当ての対象となるエレメンタ
リーストリームが存在しなければ、例えば上記国際標準
ISO13818-1及びISO11172-1の多重化ストリームにおいて
は、パックヘッダを付加し、パックの形成を行なうこと
により、伝送バンドの割り当てを停止する。前述したよ
うに、パックヘッダ内にはＳＣＲが記述され、この値を
調整することにより、各ＳＴＤバッファへのデータ供給
時刻が制御可能であるからである。つまり、ある時刻に
おいて、いかなるエレメンタリーストリームに対しても
伝送バンドを割り当てる必要がなければ、パックヘッダ
（ＳＣＲ）を付加し、次のイベント時刻が来るまで、デ
ータ供給を停止する。

【００９７】次に、データ供給スケジュールの具体例に
ついて、図６を参照しながら説明ずる。この図６の
（Ａ）は第１のオーディオA1のＳＴＤバッファモデル
を、（Ｂ）は第２のオーディオA2のＳＴＤバッファモデ
ルを、また（Ｃ）はビデオのＳＴＤバッファモデルをそ
れぞれ示している。

【００９８】まず、図６の時刻ｔ₁は（Ｃ）のビデオＶ
のイベント時刻、時刻ｔ₂は（Ｂ）の第２のオーディオ
A2のイベント時刻である。ここでは、上記ＶＢＶバッフ
ァの占有量を上記ＳＴＤバッファの占有量が下回ってバ
ッファアンダーフローを引き起こす可能性があるので、
時刻ｔ₁〜ｔ₂間のTimeSlice[t₁,t₂]では、まだ伝送バン
ドを割り当てない。このような伝送バンドを割り当てな
い場合を、NOP（No OPeration）と示している。TimeSl
ice[t₂,t₃]も同様にNOPである。TimeSlice[t₃,t₄]で
は、ビデオから引き抜きを行ってもアンダーフローを生
じないため、ビデオに伝送バンドを割り当てる。TimeSl
ice[t₄,t₅]では、オーディオA2の占有量が大きいため、
オーバーフローに最も近いために、これにバンドを割り
当てる。TimeSlice[t₅,t₆]は、オーディオA1の占有量が
大きいため、オーバーフローに最も近いために、これに
バンドを割り当てる。TimeSlice[t₆,t₇]は、どれもバン
ド割り当てによってアンダーフローを生じる可能性があ
り、NOPとする。TimeSlice[t₇,t₈]は、オーディオ[2]の
占有量が大きいため、オーバーフローに最も近いため
に、これにバンドを割り当てる。TimeSlice[t₈,t₉]およ
びTimeSlice[t₉,t₁₀] は、両者とも、オーディオA1の占
有量が大きいため、オーバーフローに最も近いために、
これにバンドを割り当てる。TimeSlice[t₁₀,t₁₁]は、オ
ーディオA2の占有量が大きいため、オーバーフローに最
も近いために、これにバンドを割り当てる。TimeSlice
[t₁₁,t₁₂]は、ビデオの占有量が大きいため、オーバー
フローに最も近いために、これにバンドを割り当てる。
TimeSlice[t₁₂,t₁₃]は、オーディオA1の占有量が大きい
ため、オーバーフローに最も近いために、これにバンド
を割り当てる。TimeSlice[t₁₃,t₁₄]は、ビデオの占有量
が大きいため、オーバーフローに最も近いために、これ
にバンドを割り当てる。TimeSlice[t₁₄,t₁₅]は、オーデ
ィオA2の占有量が大きいため、オーバーフローに最も近
いために、これにバンドを割り当てる。以下同様に、処
理を行う。

【００９９】上記の例は、ビデオ１本、オーディオ２本
の簡単な多重化の例であったが、多重化するストリーム
が増えて合計Ｎ本となった場合でも、同様の手順で多重
化を行うことができる。

【０１００】次に、上述したようなデータ供給スケジュ
ール決定のアルゴリズムの例について、図７を参照しな
がら説明する。

【０１０１】この図７において、前処理ルーチンＳ７０
での前処理によって、全てのアクセスユニットのサイズ
とイベント時間は、時間的に逆順序に得られる。この前
処理ルーチンＳ７０は、全てのエレメンタリーストリー
ムの各アクセスユニットに対して、サイズ及びイベント
時間を求めるステップＳ７１と、これを時間的に逆の順
序に並べるステップＳ７２とを有している。

【０１０２】この前処理が終わって最初のステップＳ７
３においては、処理を行っているアクセスユニットから
時間的に逆順序でたどって直近のイベントAU(m,n) を求
めている。このイベント時間までを上記TimeSlice とし
て、上記伝送バンド割り当ての対象とする。

【０１０３】次のステップＳ７４において、新しく発生
したこの直近のアクセスユニットから、データ供給制限
に関するパラメータ、すなわち上記T_first_byte_AU(m,
n),T_last_byte_AU(m,n) を求めておく。

【０１０４】次のステップＳ７５では、全てのストリー
ムのＳＴＤバッファを調べて、データ供給を行わないと
オーバーフローしそうなものを調べる。これはデータ供
給を要求する緊急度が最も高いためである。これに対応
するものがあれば、ステップＳ７６に進んで、上記デー
タ供給制限に従って、このTimeSlice に対して、データ
供給を行う。

【０１０５】上記ステップＳ７５において、対応するも
の、すなわち上記オーバーフローしそうなものが無い場
合は、ステップＳ７７に進み、今度はデータ供給を行わ
ないとデータ供給制限を守れなくなるもの、例えば上記
１秒ルールなど、に対応するものを探す。これに対応す
るものがあれば、上記ステップＳ７６に進んで、上記デ
ータ供給制限に従って、このTimeSlice に対して、デー
タ供給を行う。

【０１０６】上記ステップＳ７５、Ｓ７７での条件に対
応するものが無い場合、ステップＳ７８に進んで、全て
のストリームのＳＴＤバッファを調べて、データ供給を
行ってもアンダーフローしないものを調べる。これに対
応するものがあれば、ステップＳ７６に進んで、データ
供給制限に従って、このTimeSlice に対して、データ供
給を行う。これについては、多重化における高効率なデ
ータ供給スケジュール方法として、後述する。

【０１０７】上記ステップＳ７５、Ｓ７７、Ｓ７８の各
条件に対応するものが無い場合、ステップＳ７９に進ん
で、このTimeSlice に対してデータ供給を行う必要が無
いため、データ供給を停止する。例えば上記国際標準IS
O13818-1及び11172-1 では、前述したようにＳＣＲの値
を含むパックヘッダを付加し、パックを形成する等の処
理を行なっている。

【０１０８】以上が１つのTimeSlice に対する処理であ
り、次のTimeSlice に対する処理を行うために、上記ス
テップＳ７３に戻る。

【０１０９】ここで、説明した逆方向多重化では、順方
向に処理を行う場合と比べて、データの前倒しのスケジ
ューリングが簡単に実現でき、より安全に効率の良い多
重化を提供することができる。

【０１１０】次に、上記多重化における高効率なデータ
供給スケジュール方法について説明する。

【０１１１】ディスク等の蓄積メディアにおいては、記
録可能な総データ量が予め決められているので、ビデオ
やオーディオ等のエレメンタリーストリームができるだ
け記録されるように、多重化処理の際に付加されるオー
バーヘッドは可能な限り小さい、高効率なスケジューリ
ングが望まれる。多重化によるオーバーヘッドは、各エ
レメンタリーストリームに対する伝送バンドの割り当て
の方法等に依存する。以下では、このオーバーヘッドを
極力小さくする高効率な多重化の実現方法について述べ
る。

【０１１２】前述したように、上記国際標準ISO13818-1
及び11172-1 において規定される多重化ストリームの基
本構造は、パケット及びパックである。高効率な多重化
とは、パケット及びパックを形成する際の総オーバーヘ
ッド量、すなわちパケットヘッダ及びパックヘッダの総
データ量、を極力少なくすることであると言える。例え
ば、ビデオＣＤ等のパック長が固定であるアプリケーシ
ョンにおいては、個々のパケットの長さ、実際には個々
のパケットに含まれるビデオやオーディオのデータ長
さ、を極力長くすれば、それらに付加されるパケットの
個数パケットヘッダの個数が減少するため、総オーバー
ヘッド量は小さくなる。以下では、パック長を固定値に
した場合を例にして、オーバーヘッド量を極力小さくす
る手順について述べる。ただし、以下ではパケット長は
可変長である。

【０１１３】まず、ある時刻Ｔにおいて、直前のパック
が形成されてから、現在までに形成されたパケット群の
総データ量（ps(T)）を求める。もし、直前のパックが
形成されてから現在までに形成されたパケットが皆無な
らば、ps(T) の値はゼロとなる。ここで、バンド割り当
ての候補とされるエレメンタリーストリームｍの現時刻
におけるバッファ占有量（buffer_occupancy(m,T)）に
対して、以下に示す式（１０）が成り立てば、エレメン
タリーストリームｍに対するバンド割り当てを行なう。 buffer_occupancy(m,T) ≧ (PS - ps(T)) - (PH + ph) ・・・（１０）ただし、式（１０）において、PS,PH,phは各々、パッ
ク、パックヘッダ及びパケットヘッダの長さを示す。

【０１１４】すなわち、候補となるエレメンタリースト
リームｍのバッファ内に、十分なデータ量が蓄積されて
いなければ、そのエレメンタリーストリームｍに対する
バンド割り当て、すなわちパケットの形成は行なわな
い。ここで言う十分なデータ量とは、パックの空き容量
である式（１０）の(PS - ps) からパックヘッダ及びパ
ケットヘッダの長さである式（１０）の(PH + ph) を差
し引いた値、すなわち式（１０）の右辺であり、形成さ
れようとするパケット内に挿入可能な最大のデータ長を
指す。ただし、本条件の適用は、エレメンタリーストリ
ームｍに関して、次のイベント時刻におけるバッファの
オーバーフローや一秒ルール等から来る制約が存在しな
い場合に限るものとする。すなわち、上記図７のフロー
チャートのステップＳ７８におけるデータ供給のみに関
するものとする。

【０１１５】上記式（１０）が満足されず、エレメンタ
リーストリームｍに対して、バンド割り当てが行なわれ
ない場合、上述の手順に従って、他のエレメンタリース
トリームに対してバンド割り当てを行なうことを考え
る。ここで、他のエレメンタリーストリームのバッファ
においても式（１０）の条件を満足しない場合には、例
えば、以下に示す(i),(ii)の場合分けによる処理を行な
い、高能率な多重化を実現する。

【０１１６】(i) 上記ps(T)がゼロ、すなわち直前のパ
ックが形成されてから現在までに形成されたパケットが
皆無ならば、新たにパケットは作成せず、次のイベント
時刻が到来し、各バッファ内に十分なデータ量が蓄積さ
れるのを待つことにする。(ii)ps(T)がゼロでない場合
は、例えば、候補とされるエレメンタリーストリーム群
の中から最も大きなパケットを生成可能なものをバンド
割り当ての対象とし、パケットを作成する。以上の手続
きをパックが完成されるまで続ける。ここで、もし、ど
のエレメンタリーストリームのバッファ内にもデータが
蓄積されていなければ、例えば上記国際標準ISO13818-1
及びISO11172-1で規定されるパディングパケット（ダミ
ーデータ）の挿入を行ない、パックを完成させる。

【０１１７】以上説明したように、各エレメンタリース
トリームのデコーダバッファに対するデータ供給のスケ
ジューリングを、各アクセスユニットの大きさを元に、
時間的に逆方向に行うことによって、データ供給のスケ
ジューリングの前倒しが理論上無限に可能になるので、
複数のエレメンタリーストリームを多重化する際にで
も、簡単にデータ供給スケジュールの決定が可能で、常
にバッファ破綻のない安全な多重化を保証することがで
きる。

【０１１８】また、このようにして多重化スケジューリ
ングが行われ、この多重化スケジュールに従って複数の
エレメンタリーストリームの多重化が行われた多重化ス
トリームを、光磁気ディスクや磁気テープ等の記録媒体
に記録することにより、多数のエレメンタリーストリー
ムが多重化されてもデコード時のバッファ破綻のない多
重化ストリームが記録されたディジタル信号記録媒体を
得ることができる。

【０１１９】以上、パック長を固定にした場合の各スト
リームに対する、高効率なバンド割り当て方法について
述べた。上記方法は、パックのサイズを処理の基本単位
とすることで、可能な限りオーバーヘッドを減少させる
ことを実現している。さらに、パック長が固定でなく可
変長の場合でも、上記式（１０）において、例えばPSを
2048バイト、かつPHをゼロと設定することにより、処理
の基本単位を2048バイト単位の処理に読み変えることが
可能であり、同様に高能率な多重化スケジューリングが
可能となる。

【０１２０】なお、上述した例は、時間軸に逆方向の多
重化スケジューリングにのみに限定されず、順方向に処
理を行なう多重化にも適用可能である。

【０１２１】

【発明の効果】本発明によれば、入力された複数のビッ
トストリームから、それぞれのビットストリームごとに
規定される処理単位としての各アクセスユニットを、対
応するデコーダのバッファから引き抜く時刻を算出し、
上記各アクセスユニットの引き抜き時刻のデータを用い
て時間的に逆方向から処理を行い、デコーダのバッファ
からのアクセスユニットの引き抜きをバッファへのアク
セスユニットの充填に読み変えて、各アクセスユニット
のバッファへの供給開始時間を逆算し、求められた上記
各アクセスユニットのバッファへの供給開始時間に基づ
いて上記各アクセスユニットのパケット化のスケジュー
ルを決定しているため、多重化するストリームが多数に
なった場合でも、データのスケジューリングの自由度が
大きく、より安全でオーバーヘッドの少ない効率的な多
重化を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明に係るディジタル信号多重化方法の実施
の形態を説明するためのフローチャートである。

【図２】本発明に係るディジタル信号多重化装置の実施
の形態の概略構成を示すブロック図である。

【図３】任意のアクセスユニットA(m,n) の最終パケッ
トにおける最終バイトのバッファへの入力時刻の制限を
説明するための図である。

【図４】任意のアクセスユニットA(m,n) の最初のパケ
ットの第一バイトの入力時刻の制限を説明するための図
である。

【図５】任意のアクセスユニットA(m,n) の最初と最終
のパケットのデータ供給スケジュールの例を説明するた
めの図である。

【図６】逆方向多重化におけるスケジューリングの例を
説明するための図である。

【図７】データ供給スケジュールの決定アルゴリズムの
例を説明するためのフローチャートである。

【図８】エレメンタリーストリームの多重化を説明する
ための図である。

【図９】ＳＴＤバッファモデルの例を説明するための図
である。

【図１０】多重化ストリームの構成の例を示す図であ
る。

【図１１】タイムスタンプによるバッファのデータ入出
力の制御を説明するための入力多重化ストリームの一例
を示す図である。

【図１２】タイムスタンプによるバッファのデータ入出
力の制御を説明するためのＳＴＤモデルにおけるビデオ
バッファの占有量の変化を示す図である。

【図１３】多重化によるＳＴＤバッファの占有量の変化
の基本的な一例を示す図である。

【図１４】多重化のスケジューリングが悪い場合のＳＴ
Ｄバッファの占有量の変化の具体例を示す図である。

【図１５】多重化のスケジューリングの際の先読み範囲
を増やしてバッファ破綻を防止したときのＳＴＤバッフ
ァの占有量の変化の具体例を示す図である。

【符号の説明】

２１、２２、２３前処理部３１、３２、３３並び替え部４１パケット化部４２後処理部４３記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者根岸慎治東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】入力された複数のディジタル信号のビッ
トストリームを多重化して多重化ビットストリームを生
成するディジタル信号多重化方法において、上記入力された複数のビットストリームから、それぞれ
のビットストリームごとに規定される処理単位としての
各アクセスユニットを、対応するデコーダのバッファか
ら引き抜く時刻を算出し、上記各アクセスユニットの引き抜き時刻のデータを用い
て時間的に逆方向から処理を行い、デコーダのバッファ
からのアクセスユニットの引き抜きをバッファへのアク
セスユニットの充填に読み変えて、各アクセスユニット
のバッファへの供給開始時間を逆算し、求められた上記各アクセスユニットのバッファへの供給
開始時間に基づいて上記各アクセスユニットのパケット
化のスケジュールを決定することを特徴とするディジタ
ル信号多重化方法。
【請求項２】上記アクセスユニットの最終パケットの
最終バイトのバッファへの入力時刻は、当該アクセスユ
ニットの上記引き抜き時刻よりも前であることを特徴と
する請求項１記載のディジタル信号多重化方法。
【請求項３】上記アクセスユニットの最終パケットの
最終バイトのバッファへの入力時刻は、次のアクセスユ
ニットの最初のパケットの第一バイトのバッファへの入
力時刻よりも前であることを特徴とする請求項１記載の
ディジタル信号多重化方法。
【請求項４】上記アクセスユニットの最終パケットの
最終バイトは、バッファへの入力時刻の後、１秒以内に
バッファから除去されることを特徴とする請求項１記載
のディジタル信号多重化方法。
【請求項５】上記アクセスユニットの最終パケットの
最終バイトのバッファへの入力時刻は、バッファのオー
バーフローを引き起こす限界の時刻より後であることを
特徴とする請求項１記載のディジタル信号多重化方法。
【請求項６】上記アクセスユニットの最初のパケット
の第一バイトの入力時刻は、当該アクセスユニットの引
き抜き時刻から１秒以内であることを特徴とする請求項
１記載のディジタル信号多重化方法。
【請求項７】上記アクセスユニットの最初のパケット
の第一バイトのバッファへの入力時刻は、バッファのオ
ーバーフローを引き起こす限界の時刻より後であること
を特徴とする請求項１記載のディジタル信号多重化方
法。
【請求項８】入力された複数のディジタル信号のビッ
トストリームを多重化して多重化ビットストリームを生
成するディジタル信号多重化装置において、上記入力された複数のビットストリームから、それぞれ
のビットストリームごとに規定される処理単位としての
各アクセスユニットを、対応するデコーダのバッファか
ら引き抜く時刻を算出する手段と、上記各アクセスユニットの引き抜き時刻のデータを用い
て時間的に逆方向から処理を行い、デコーダのバッファ
からのアクセスユニットの引き抜きをバッファへのアク
セスユニットの充填に読み変えて、各アクセスユニット
のバッファへの供給開始時間を逆算する手段と、求められた上記各アクセスユニットのバッファへの供給
開始時間に基づいて上記各アクセスユニットのパケット
化のスケジュールを決定する手段とを有することを特徴
とするディジタル信号多重化装置。
【請求項９】入力された複数のビットストリームか
ら、それぞれのビットストリームごとに規定される処理
単位としての各アクセスユニットを、対応するデコーダ
のバッファから引き抜く時刻が算出され、上記各アクセスユニットの引き抜き時刻のデータを用い
て時間的に逆方向から処理を行い、デコーダのバッファ
からのアクセスユニットの引き抜きをバッファへのアク
セスユニットの充填に読み変えて、各アクセスユニット
のバッファへの供給開始時間が逆算され、求められた上記各アクセスユニットのバッファへの供給
開始時間に基づいて上記各アクセスユニットのパケット
化のスケジュールが決定され、この決定されたスケジュールによりパケット化されて上
記複数のビットストリームが多重化された信号が記録さ
れて成ることを特徴とするディジタル信号記録媒体。