JP3438223B2 - 多重化装置および多重化方法、並びに伝送装置および伝送方法 - Google Patents
多重化装置および多重化方法、並びに伝送装置および伝送方法Info
- Publication number
- JP3438223B2 JP3438223B2 JP07728697A JP7728697A JP3438223B2 JP 3438223 B2 JP3438223 B2 JP 3438223B2 JP 07728697 A JP07728697 A JP 07728697A JP 7728697 A JP7728697 A JP 7728697A JP 3438223 B2 JP3438223 B2 JP 3438223B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- multiplexing
- schedule
- schedule information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/218—Write-once discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2525—Magneto-optical [MO] discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2545—CDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、多重化装置および
多重化方法、並びに伝送装置および伝送方法に関する。
特に、例えば、（動）画像信号や音響信号などをディジ
タル信号としたビットストリームを、光磁気ディスクや
磁気テープなどの記録媒体に記録し、これを再生してデ
ィスプレイなどに表示したり、テレビ会議システムや、
テレビ電話システム、放送用機器などのように、ビット
ストリームを伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信して表示する場合など
に用いて好適な多重化装置および多重化方法、並びに伝
送装置および伝送方法に関する。
多重化方法、並びに伝送装置および伝送方法に関する。
特に、例えば、（動）画像信号や音響信号などをディジ
タル信号としたビットストリームを、光磁気ディスクや
磁気テープなどの記録媒体に記録し、これを再生してデ
ィスプレイなどに表示したり、テレビ会議システムや、
テレビ電話システム、放送用機器などのように、ビット
ストリームを伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信して表示する場合など
に用いて好適な多重化装置および多重化方法、並びに伝
送装置および伝送方法に関する。
【０００２】
【従来の技術】図７は、従来の多重化／分離装置の一例
の構成を示している。
の構成を示している。
【０００３】送信側においては、ビデオ符号化器１０１
に、ディジタルの画像信号（ビデオデータ）が供給され
るようになされており、そこでは、ビデオデータのビッ
トストリームが、例えば、ISO13818-2（いわゆるＭＰＥ
Ｇ（Moving Picture ExpertsGroup）２ビデオ規格）やI
SO11172-2（いわゆるＭＰＥＧ１ビデオ規格）などの規
格に準拠して圧縮符号化されて出力される。また、オー
ディオ符号化器１０２には、ディジタルの音響信号（オ
ーディオデータ）が供給されるようになされており、そ
こでは、オーディオデータのビットストリームが、例え
ば、ＩＳＯ１３８１８−３（いわゆるＭＰＥＧ２オーデ
ィオ規格）やＩＳＯ１１１７２−３（いわゆるＭＰＥＧ
１オーディオ規格）などの規格に準拠して圧縮符号化さ
れて出力される。さらに、その他の符号化器１０３に
は、ビデオデータおよびオーディオデータ以外のディジ
タルデータ（その他のデータ）が供給されるようになさ
れており、そこでは、その他のデータが符号化されて出
力される。
に、ディジタルの画像信号（ビデオデータ）が供給され
るようになされており、そこでは、ビデオデータのビッ
トストリームが、例えば、ISO13818-2（いわゆるＭＰＥ
Ｇ（Moving Picture ExpertsGroup）２ビデオ規格）やI
SO11172-2（いわゆるＭＰＥＧ１ビデオ規格）などの規
格に準拠して圧縮符号化されて出力される。また、オー
ディオ符号化器１０２には、ディジタルの音響信号（オ
ーディオデータ）が供給されるようになされており、そ
こでは、オーディオデータのビットストリームが、例え
ば、ＩＳＯ１３８１８−３（いわゆるＭＰＥＧ２オーデ
ィオ規格）やＩＳＯ１１１７２−３（いわゆるＭＰＥＧ
１オーディオ規格）などの規格に準拠して圧縮符号化さ
れて出力される。さらに、その他の符号化器１０３に
は、ビデオデータおよびオーディオデータ以外のディジ
タルデータ（その他のデータ）が供給されるようになさ
れており、そこでは、その他のデータが符号化されて出
力される。
【０００４】ここで、圧縮符号化されて出力されるビッ
トストリームを、以下、適宜、エレメンタリストリーム
という。
トストリームを、以下、適宜、エレメンタリストリーム
という。
【０００５】ビデオ符号化器１０１、オーディオ符号化
器１０２、またはその他の符号化器１０３からそれぞれ
出力されるビデオデータ、オーディオデータ、またはそ
の他のデータのエレメンタリストリームは、多重化器１
０４に供給される。多重化器１０４では、ビデオデー
タ、オーディオデータ、その他のデータのエレメンタリ
ストリーム、さらには、受信側で必要となる付加データ
（付加情報）が時分割多重化される。この多重化の結果
得られるストリーム（以下、適宜、多重化ストリームと
いう）は、所定の記録メディア１０５に記録され、ある
いは、また、所定の伝送媒体１０６を介して伝送され
る。
器１０２、またはその他の符号化器１０３からそれぞれ
出力されるビデオデータ、オーディオデータ、またはそ
の他のデータのエレメンタリストリームは、多重化器１
０４に供給される。多重化器１０４では、ビデオデー
タ、オーディオデータ、その他のデータのエレメンタリ
ストリーム、さらには、受信側で必要となる付加データ
（付加情報）が時分割多重化される。この多重化の結果
得られるストリーム（以下、適宜、多重化ストリームと
いう）は、所定の記録メディア１０５に記録され、ある
いは、また、所定の伝送媒体１０６を介して伝送され
る。
【０００６】一方、受信側では、記録メディア１０５か
ら再生された多重化ストリーム、または伝送媒体１０６
を介して受信された多重化ストリームが、分離器１０７
に供給される。分離器１０７では、多重化ストリームの
中の付加データを参照しながら、多重化ストリームが、
ビデオデータ、オーディオデータ、その他のデータのエ
レメンタリストリーム、付加データに分離される。ビデ
オデータ、オーディオデータ、またはその他のデータの
エレメンタリストリームは、ビデオ復号化器１０８、オ
ーディオ復号化器１０９、またはその他の復号化器１１
０に供給され、ビデオデータ、オーディオデータ、また
はその他のデータにそれぞれ復号化される。
ら再生された多重化ストリーム、または伝送媒体１０６
を介して受信された多重化ストリームが、分離器１０７
に供給される。分離器１０７では、多重化ストリームの
中の付加データを参照しながら、多重化ストリームが、
ビデオデータ、オーディオデータ、その他のデータのエ
レメンタリストリーム、付加データに分離される。ビデ
オデータ、オーディオデータ、またはその他のデータの
エレメンタリストリームは、ビデオ復号化器１０８、オ
ーディオ復号化器１０９、またはその他の復号化器１１
０に供給され、ビデオデータ、オーディオデータ、また
はその他のデータにそれぞれ復号化される。
【０００７】復号化されたビデオデータは、例えば、Ｃ
ＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表
示装置に供給されて表示され、また、復号化されたオー
ディオデータは、例えば、スピーカなどに供給されて出
力される。また、その他のデータは、例えば、所定の記
録媒体に供給されて記録される。
ＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表
示装置に供給されて表示され、また、復号化されたオー
ディオデータは、例えば、スピーカなどに供給されて出
力される。また、その他のデータは、例えば、所定の記
録媒体に供給されて記録される。
【０００８】送信側において、以上のようにエレメンタ
リストリームを多重化する場合には、受信側におけるデ
コーダ（復号化器）として標準的なモデル（システムタ
ーゲットデコーダ（ＳＴＤ））が想定され、このＳＴＤ
において正しくデコード処理（復号化処理）ができるよ
うに時分割多重化が行われる。
リストリームを多重化する場合には、受信側におけるデ
コーダ（復号化器）として標準的なモデル（システムタ
ーゲットデコーダ（ＳＴＤ））が想定され、このＳＴＤ
において正しくデコード処理（復号化処理）ができるよ
うに時分割多重化が行われる。
【０００９】即ち、図８は、例えばISO13818-1（いわゆ
るＭＰＥＧ２システム）およびISO11172-1（いわゆるＭ
ＰＥＧ１システム）で規定されているＳＴＤの構成例を
示している。
るＭＰＥＧ２システム）およびISO11172-1（いわゆるＭ
ＰＥＧ１システム）で規定されているＳＴＤの構成例を
示している。
【００１０】ＳＴＤには、エレメンタリストリームを時
分割多重化した多重化ストリームが入力される。ここ
で、多重化ストリームには、時間情報（クロックリファ
レンス）が付加データとして含まれており、その時間情
報に対応する時刻にＳＴＤに入力される。また、多重化
ストリームには、多重化レート情報ＭＵＸ＿ｒａｔｅも
付加データとして含まれており、この多重化レート情報
に対応するデータレートで、ＳＴＤに入力される。
分割多重化した多重化ストリームが入力される。ここ
で、多重化ストリームには、時間情報（クロックリファ
レンス）が付加データとして含まれており、その時間情
報に対応する時刻にＳＴＤに入力される。また、多重化
ストリームには、多重化レート情報ＭＵＸ＿ｒａｔｅも
付加データとして含まれており、この多重化レート情報
に対応するデータレートで、ＳＴＤに入力される。
【００１１】ＳＴＤに入力された多重化ストリームは、
スイッチ１１１に供給される。スイッチ１１１は、ビデ
オバッファ１１２、オーディオバッファ１１３1乃至１
１３N、またはその他のバッファ１１４への入力端子を
適宜選択し、これにより、ビデオデータ、オーディオデ
ータ（Ｎチャンネルのオーディオデータ）、またはその
他のデータを、対応するバッファ（ビデオバッファ１１
２、オーディオバッファ１１３1乃至１１３N、またはそ
の他のバッファ１１４）に供給して記憶させる。
スイッチ１１１に供給される。スイッチ１１１は、ビデ
オバッファ１１２、オーディオバッファ１１３1乃至１
１３N、またはその他のバッファ１１４への入力端子を
適宜選択し、これにより、ビデオデータ、オーディオデ
ータ（Ｎチャンネルのオーディオデータ）、またはその
他のデータを、対応するバッファ（ビデオバッファ１１
２、オーディオバッファ１１３1乃至１１３N、またはそ
の他のバッファ１１４）に供給して記憶させる。
【００１２】ビデオバッファ１１２、オーディオバッフ
ァ１１３1乃至１１３N、またはその他のバッファ１１４
にそれぞれ記憶されたビデオデータ、オーディオデータ
（Ｎチャンネルのオーディオデータ）、またはその他の
データのエレメンタリストリームは、各エレメンタリス
トリームごとに定められた所定の復号化単位で瞬時に読
み出される。
ァ１１３1乃至１１３N、またはその他のバッファ１１４
にそれぞれ記憶されたビデオデータ、オーディオデータ
（Ｎチャンネルのオーディオデータ）、またはその他の
データのエレメンタリストリームは、各エレメンタリス
トリームごとに定められた所定の復号化単位で瞬時に読
み出される。
【００１３】ここで、このような復号化単位はアクセス
ユニットと呼ばれる。ビデオデータについては、例え
ば、１フレームがアクセスユニットとして規定され、オ
ーディオデータについては、例えば、オーディオの１フ
レームがアクセスユニットとして規定される。なお、オ
ーディオの１フレームの長さは、そのオーディオデータ
をサンプリングしたときに用いたサンプリング周波数に
よって異なる。
ユニットと呼ばれる。ビデオデータについては、例え
ば、１フレームがアクセスユニットとして規定され、オ
ーディオデータについては、例えば、オーディオの１フ
レームがアクセスユニットとして規定される。なお、オ
ーディオの１フレームの長さは、そのオーディオデータ
をサンプリングしたときに用いたサンプリング周波数に
よって異なる。
【００１４】多重化ストリーム中には、各アクセスユニ
ットのデコード時刻も付加データとして含まれており、
ビデオバッファ１１２、オーディオバッファ１１３1乃
至１１３N、またはその他のバッファ１１４にそれぞれ
記憶されたビデオデータ、オーディオデータ、またはそ
の他のデータのアクセスユニットは、対応するデコード
時刻に瞬時に読み出され、デコーダ１１５，１１６1乃
至１１６N、または１１７にそれぞれ供給される。
ットのデコード時刻も付加データとして含まれており、
ビデオバッファ１１２、オーディオバッファ１１３1乃
至１１３N、またはその他のバッファ１１４にそれぞれ
記憶されたビデオデータ、オーディオデータ、またはそ
の他のデータのアクセスユニットは、対応するデコード
時刻に瞬時に読み出され、デコーダ１１５，１１６1乃
至１１６N、または１１７にそれぞれ供給される。
【００１５】ここで、このデコード時刻にしたがってア
クセスユニットが読み出されることで、各エレメンタリ
ストリーム間の同期が保証されるようになされている。
即ち、例えば、画像と、対応する音声との同期が保証さ
れるようになされている。
クセスユニットが読み出されることで、各エレメンタリ
ストリーム間の同期が保証されるようになされている。
即ち、例えば、画像と、対応する音声との同期が保証さ
れるようになされている。
【００１６】いま、ＳＴＤが有するビデオバッファ１１
２、オーディオバッファ１１３1乃至１１３N、およびそ
の他のバッファ１１４をまとめて、ＳＴＤバッファとい
うものとすると、スイッチ１１１によりアクセスユニッ
トごとに分離されるデータは、所定の時刻（上述のデコ
ード時刻）までＳＴＤバッファに蓄積されるので、送信
側では、ＳＴＤバッファがオーバーフロー（ＳＴＤバッ
ファのデータ蓄積量が、その容量を越えてしまうこと）
や、アンダーフロー（アクセスユニットが、そのデコー
ド時刻までにＳＴＤバッファに記憶されないこと）を引
き起こさないように、時分割多重のスケジューリングを
行う必要がある。
２、オーディオバッファ１１３1乃至１１３N、およびそ
の他のバッファ１１４をまとめて、ＳＴＤバッファとい
うものとすると、スイッチ１１１によりアクセスユニッ
トごとに分離されるデータは、所定の時刻（上述のデコ
ード時刻）までＳＴＤバッファに蓄積されるので、送信
側では、ＳＴＤバッファがオーバーフロー（ＳＴＤバッ
ファのデータ蓄積量が、その容量を越えてしまうこと）
や、アンダーフロー（アクセスユニットが、そのデコー
ド時刻までにＳＴＤバッファに記憶されないこと）を引
き起こさないように、時分割多重のスケジューリングを
行う必要がある。
【００１７】図９は、例えば、ISO13818-1で規定されて
いる多重化ストリームのフォーマットを示している。
いる多重化ストリームのフォーマットを示している。
【００１８】多重化ストリームは、１以上のエレメンタ
リストリームを対象に時分割多重化を行って得られるも
のであり、複数のパケットから構成される。即ち、各エ
レメンタリストリームはパケット化され、デコーダに入
力される時刻（クロックリファレンス）や、アクセスユ
ニットがデコード（表示）されるデコード時刻などを加
えて、多重化ストリームとされる。
リストリームを対象に時分割多重化を行って得られるも
のであり、複数のパケットから構成される。即ち、各エ
レメンタリストリームはパケット化され、デコーダに入
力される時刻（クロックリファレンス）や、アクセスユ
ニットがデコード（表示）されるデコード時刻などを加
えて、多重化ストリームとされる。
【００１９】ISO13818-1では、図９に示すように、トラ
ンスポートストリーム（同図（Ａ））とプログラムスト
リーム（同図（Ｂ））が規定されている。ここで、トラ
ンスポートストリームは、ビット誤りやセルロスのよう
な誤りの発生する環境における伝送に使用されるストリ
ームであり、例えば、ＡＴＭ（Asynchronous Transfer
Mode）ネットワークやディジタル放送などの伝送路で用
いられる。また、プログラムストリームは、誤りが発生
し難い環境における蓄積に使用されるストリームであ
り、特にディスクやテープなどの記録媒体で用いられ
る。
ンスポートストリーム（同図（Ａ））とプログラムスト
リーム（同図（Ｂ））が規定されている。ここで、トラ
ンスポートストリームは、ビット誤りやセルロスのよう
な誤りの発生する環境における伝送に使用されるストリ
ームであり、例えば、ＡＴＭ（Asynchronous Transfer
Mode）ネットワークやディジタル放送などの伝送路で用
いられる。また、プログラムストリームは、誤りが発生
し難い環境における蓄積に使用されるストリームであ
り、特にディスクやテープなどの記録媒体で用いられ
る。
【００２０】トランスポートストリームは、図９（Ａ）
に示すように、（ビデオデータ、オーディオデータ、そ
の他のデータの）エレメンタリストリームなどが配置さ
れる固定長のトランスポートストリームパケットから構
成される。また、パケットには、エレメンタリストリー
ムの他、クロックリファレンスなどを含むアダプテーシ
ョンフィールドや、マルチプログラム対応のトランスポ
ートストリームについて、複数のプログラムの中から、
どのプログラムを選び、どのパケットを取り出して、ど
のようにデコードするのかに関するＰＳＩ（Program Sp
ecific Information）などを含む付加情報（狭義の付加
情報）が配置されるものもある。
に示すように、（ビデオデータ、オーディオデータ、そ
の他のデータの）エレメンタリストリームなどが配置さ
れる固定長のトランスポートストリームパケットから構
成される。また、パケットには、エレメンタリストリー
ムの他、クロックリファレンスなどを含むアダプテーシ
ョンフィールドや、マルチプログラム対応のトランスポ
ートストリームについて、複数のプログラムの中から、
どのプログラムを選び、どのパケットを取り出して、ど
のようにデコードするのかに関するＰＳＩ（Program Sp
ecific Information）などを含む付加情報（狭義の付加
情報）が配置されるものもある。
【００２１】各パケットは、トランスポートストリーム
ヘッダを有しており、さらに、エレメンタリストリーム
が配置されるパケットには、パケットヘッダを含むもの
がある。パケットヘッダには、そのデコード時刻や、そ
のパケットの内容を示す情報などが含まれている。
ヘッダを有しており、さらに、エレメンタリストリーム
が配置されるパケットには、パケットヘッダを含むもの
がある。パケットヘッダには、そのデコード時刻や、そ
のパケットの内容を示す情報などが含まれている。
【００２２】一方、プログラムストリームは、図９
（Ｂ）に示すように、可変長のパケットの幾つかを１つ
にまとめたパックから構成される。各パケットには、パ
ケットヘッダが付加されており、エレメンタリストリー
ムが配置されるパケットには、そのパケットヘッダにデ
コード時刻が配置される。
（Ｂ）に示すように、可変長のパケットの幾つかを１つ
にまとめたパックから構成される。各パケットには、パ
ケットヘッダが付加されており、エレメンタリストリー
ムが配置されるパケットには、そのパケットヘッダにデ
コード時刻が配置される。
【００２３】また、パックには、パックヘッダが付加さ
れており、プログラムストリームでは、このパックヘッ
ダにクロックリファレンスが配置される。
れており、プログラムストリームでは、このパックヘッ
ダにクロックリファレンスが配置される。
【００２４】さらに、プログラムストリームには、ＰＳ
Ｄ（Program stream Directory）やＰＳＭ（Program St
ream Map）などの付加的なデータ（狭義の付加情報）が
配置されているパケットも含まれている。
Ｄ（Program stream Directory）やＰＳＭ（Program St
ream Map）などの付加的なデータ（狭義の付加情報）が
配置されているパケットも含まれている。
【００２５】ここで、上述の付加データ（広義の付加情
報）とは、多重化ストリームに含まれるデータのうち、
エレメンタリストリーム以外のものを意味している。
報）とは、多重化ストリームに含まれるデータのうち、
エレメンタリストリーム以外のものを意味している。
【００２６】上述のような多重化ストリームを得るため
の時分割多重化は、次のような２つの処理により行われ
る。
の時分割多重化は、次のような２つの処理により行われ
る。
【００２７】即ち、まず第１の処理として、受信側に想
定されるＳＴＤのＳＴＤバッファのオーバーフローおよ
びアンダーフローを防止し、かつエレメンタリストリー
ムどうしの同期関係を保証するために、適切な付加デー
タを生成するとともに、多重化するデータとそのサイズ
を決定するスケジューリングを行う必要がある（このよ
うな処理を、以下、適宜、多重化スケジューリング処理
という）。
定されるＳＴＤのＳＴＤバッファのオーバーフローおよ
びアンダーフローを防止し、かつエレメンタリストリー
ムどうしの同期関係を保証するために、適切な付加デー
タを生成するとともに、多重化するデータとそのサイズ
を決定するスケジューリングを行う必要がある（このよ
うな処理を、以下、適宜、多重化スケジューリング処理
という）。
【００２８】そして、第２の処理として、多重化スケジ
ューリングで決定されたデータとサイズに関する情報
（以下、適宜、スケジュール情報という）に基づいて、
エレメンタリストリームおよび付加データを多重化する
必要がある（このような処理を、以下、適宜、ビットス
トリーム多重化処理という）。
ューリングで決定されたデータとサイズに関する情報
（以下、適宜、スケジュール情報という）に基づいて、
エレメンタリストリームおよび付加データを多重化する
必要がある（このような処理を、以下、適宜、ビットス
トリーム多重化処理という）。
【００２９】
【発明が解決しようとする課題】図１０は、以上の多重
化スケジューリング処理とビットストリーム多重化処理
とを時分割で行う多重化装置の構成例を示している。
化スケジューリング処理とビットストリーム多重化処理
とを時分割で行う多重化装置の構成例を示している。
【００３０】この多重化装置においては、多重化スケジ
ューリング処理を行うスケジューラと、ビットストリー
ム多重化処理を行うビットストリーム多重化器が明確に
分離されておらず、それらの２つの処理が、スケジュー
ラおよびビットストリーム多重化器１２２において行わ
れるようになされている。
ューリング処理を行うスケジューラと、ビットストリー
ム多重化処理を行うビットストリーム多重化器が明確に
分離されておらず、それらの２つの処理が、スケジュー
ラおよびビットストリーム多重化器１２２において行わ
れるようになされている。
【００３１】即ち、符号化器１２１1乃至１２１Nでは、
ビデオデータやオーディオデータなどが符号化され、エ
レメンタリストリームとして、スケジューラおよびビッ
トストリーム多重化器１２２に供給される。スケジュー
ラおよびビットストリーム多重化器１２２では、そこに
入力されるエレメンタリストリームを用いて、多重化ス
ケジューリング処理とビットストリーム多重化処理と
が、例えば、パケット単位などを１つのスケジュール単
位として交互に行われる。
ビデオデータやオーディオデータなどが符号化され、エ
レメンタリストリームとして、スケジューラおよびビッ
トストリーム多重化器１２２に供給される。スケジュー
ラおよびビットストリーム多重化器１２２では、そこに
入力されるエレメンタリストリームを用いて、多重化ス
ケジューリング処理とビットストリーム多重化処理と
が、例えば、パケット単位などを１つのスケジュール単
位として交互に行われる。
【００３２】以上のように、多重化スケジューリング処
理とビットストリーム多重化処理とが交互に行われる場
合、即ち、時分割で行われる場合においては、一方の処
理が何らかの理由で遅れると、他方の処理も遅れる課題
があった。
理とビットストリーム多重化処理とが交互に行われる場
合、即ち、時分割で行われる場合においては、一方の処
理が何らかの理由で遅れると、他方の処理も遅れる課題
があった。
【００３３】即ち、多重化スケジューリング処理Ｓとビ
ットストリーム多重化処理Ｍとが交互に行われている場
合において、例えば、図１１（Ａ）に示すように、ある
時刻で多重化ストリームの出力が待たされ、第ｎ＋１番
目のパケットについてのビットストリーム多重化処理Ｍ
（ｎ＋１）が遅れたときには、そのビットストリーム多
重化処理Ｍ（ｎ＋１）が終了するまでは、次のｎ＋２番
目のパケットについての多重化スケジューリング処理Ｓ
（ｎ＋２）を行うことができない。従って、ビットスト
リーム多重化処理の遅れは、そのまま、次の多重化スケ
ジューリング処理に影響する。
ットストリーム多重化処理Ｍとが交互に行われている場
合において、例えば、図１１（Ａ）に示すように、ある
時刻で多重化ストリームの出力が待たされ、第ｎ＋１番
目のパケットについてのビットストリーム多重化処理Ｍ
（ｎ＋１）が遅れたときには、そのビットストリーム多
重化処理Ｍ（ｎ＋１）が終了するまでは、次のｎ＋２番
目のパケットについての多重化スケジューリング処理Ｓ
（ｎ＋２）を行うことができない。従って、ビットスト
リーム多重化処理の遅れは、そのまま、次の多重化スケ
ジューリング処理に影響する。
【００３４】一方、例えば、図１１（Ｂ）に示すよう
に、第ｎ＋１番目のパケットについての多重化スケジュ
ーリング処理Ｓ（ｎ＋１）の最中に割り込みがかかり、
これにより、その多重化スケジューリング処理Ｓ（ｎ＋
１）が遅れたときには、やはり、ｎ＋１番目のパケット
についての多重化スケジューリング処理Ｍ（ｎ＋１）を
行うことができない。
に、第ｎ＋１番目のパケットについての多重化スケジュ
ーリング処理Ｓ（ｎ＋１）の最中に割り込みがかかり、
これにより、その多重化スケジューリング処理Ｓ（ｎ＋
１）が遅れたときには、やはり、ｎ＋１番目のパケット
についての多重化スケジューリング処理Ｍ（ｎ＋１）を
行うことができない。
【００３５】以上のように、一方の処理の遅れが、他方
の処理に直接影響するため、処理の遅れの時間は、次々
に蓄積される。従って、この遅延時間がある程度の長さ
になると、例えば、放送などにおいて要求される実時間
での時分割多重化を行うことが困難となる。
の処理に直接影響するため、処理の遅れの時間は、次々
に蓄積される。従って、この遅延時間がある程度の長さ
になると、例えば、放送などにおいて要求される実時間
での時分割多重化を行うことが困難となる。
【００３６】これを回避する方法としては、例えば、多
重化レートを低下させる方法があるが、これでは、高ビ
ットレートを実現することができなくなる。また、多重
化スケジューリング処理とビットストリーム多重化処理
とを高速で行うことができる装置を用いる方法もある
が、これでは、装置全体が高価なものとなる。さらに、
スケジューラおよびビットストリーム多重化器１２２の
後段に、容量の大きなバッファを設け、そのバッファに
多重化ストリームを充分に蓄積してから出力する方法も
あるが、この方法では、装置全体が高コスト化するとと
もに大型化する。
重化レートを低下させる方法があるが、これでは、高ビ
ットレートを実現することができなくなる。また、多重
化スケジューリング処理とビットストリーム多重化処理
とを高速で行うことができる装置を用いる方法もある
が、これでは、装置全体が高価なものとなる。さらに、
スケジューラおよびビットストリーム多重化器１２２の
後段に、容量の大きなバッファを設け、そのバッファに
多重化ストリームを充分に蓄積してから出力する方法も
あるが、この方法では、装置全体が高コスト化するとと
もに大型化する。
【００３７】また、例えば、ビデオカメラで撮影した画
像を、上述の多重化装置で多重化して記録装置で記録す
る場合においては、記録装置による待ち時間が生じる
と、ビットストリーム多重化処理から多重化スケジュー
リング処理に、その待ち時間が処理の遅れとして伝搬す
る。この場合、ビデオカメラから順次出力されてくる画
像を処理することができなくなるので、待ち時間の伝搬
を防止するために、やはり、容量の大きなバッファが必
要となり、装置全体が高コスト化するとともに大型化す
ることになる。
像を、上述の多重化装置で多重化して記録装置で記録す
る場合においては、記録装置による待ち時間が生じる
と、ビットストリーム多重化処理から多重化スケジュー
リング処理に、その待ち時間が処理の遅れとして伝搬す
る。この場合、ビデオカメラから順次出力されてくる画
像を処理することができなくなるので、待ち時間の伝搬
を防止するために、やはり、容量の大きなバッファが必
要となり、装置全体が高コスト化するとともに大型化す
ることになる。
【００３８】そこで、図１２は、多重化スケジューリン
グ処理とビットストリーム多重化処理とを独立に行う多
重化装置の構成例を示している。
グ処理とビットストリーム多重化処理とを独立に行う多
重化装置の構成例を示している。
【００３９】スケジューラ１３１には、符号化器１２１
1乃至１２１Nが出力するエレメンタリストリームを構成
するアクセスユニットのサイズおよびデコード（表示）
時刻が、アクセスユニット情報として供給されるように
なされており、そこでは、アクセス情報に基づいて、次
に多重化すべきデータとそのサイズ、即ち、スケジュー
ル情報が算出されるとともに、必要な付加データが算出
される。
1乃至１２１Nが出力するエレメンタリストリームを構成
するアクセスユニットのサイズおよびデコード（表示）
時刻が、アクセスユニット情報として供給されるように
なされており、そこでは、アクセス情報に基づいて、次
に多重化すべきデータとそのサイズ、即ち、スケジュー
ル情報が算出されるとともに、必要な付加データが算出
される。
【００４０】ここで、図１２では、アクセスユニット情
報が、エレメンタリストリームを出力する符号化器１２
１1乃至１２１Nから得られるようになされているが、符
号化器１２１1乃至１２１Nがアクセスユニット情報を出
力することができない場合には、エレメンタリストリー
ムからアクセスユニット情報を抽出する、いわば多重化
スケジューリング処理の前処理を行うようにすれば良
い。
報が、エレメンタリストリームを出力する符号化器１２
１1乃至１２１Nから得られるようになされているが、符
号化器１２１1乃至１２１Nがアクセスユニット情報を出
力することができない場合には、エレメンタリストリー
ムからアクセスユニット情報を抽出する、いわば多重化
スケジューリング処理の前処理を行うようにすれば良
い。
【００４１】また、符号化器１２１1乃至１２１Nがアク
セスユニット情報として出力する情報は、アクセスユニ
ットのサイズおよびデコード時刻である必要はなく、そ
れらを求めることができるような情報であれば良い。例
えば、ISO13818-2の規格に準拠して符号化された画像デ
ータについては、そのエレメンタリストリームのフレー
ムレートおよびアクセスユニットのrepeat_first_field
/picture_coding_typeが分かれば、デコード時刻の相対
値を求めることができる。
セスユニット情報として出力する情報は、アクセスユニ
ットのサイズおよびデコード時刻である必要はなく、そ
れらを求めることができるような情報であれば良い。例
えば、ISO13818-2の規格に準拠して符号化された画像デ
ータについては、そのエレメンタリストリームのフレー
ムレートおよびアクセスユニットのrepeat_first_field
/picture_coding_typeが分かれば、デコード時刻の相対
値を求めることができる。
【００４２】スケジューラ１３１は、例えば、パケット
単位などを１つのスケジュー単位とし、アクセス情報に
基づいて、スケジュール情報および付加データを算出す
ると、これらを、ビットストリーム多重化器１３２に出
力して、多重化を行うように指令する（多重化命令を出
力する）。
単位などを１つのスケジュー単位とし、アクセス情報に
基づいて、スケジュール情報および付加データを算出す
ると、これらを、ビットストリーム多重化器１３２に出
力して、多重化を行うように指令する（多重化命令を出
力する）。
【００４３】ビットストリーム多重化器１３２には、符
号化器１２１1乃至１２１Nからエレメンタリストリーム
が供給されるようになされており、そこでは、エレメン
タリストリームおよびスケジューラ１３１からの付加デ
ータが、スケジューラ１３１からの多重化命令を待っ
て、同じくスケジューラ１３１からのスケジュール情報
にしたがって時分割多重化される。
号化器１２１1乃至１２１Nからエレメンタリストリーム
が供給されるようになされており、そこでは、エレメン
タリストリームおよびスケジューラ１３１からの付加デ
ータが、スケジューラ１３１からの多重化命令を待っ
て、同じくスケジューラ１３１からのスケジュール情報
にしたがって時分割多重化される。
【００４４】そして、ビットストリーム多重化器１３２
は、ビットストリーム多重化処理の終了後、その旨を知
らせるための多重化終了通知をスケジューラ１３１に出
力し、スケジューラ１３１から次の多重化命令がくるの
を待つ。一方、スケジューラ１３１は、多重化終了通知
を受信すると、次のスケジュール情報および付加データ
の算出が完了していれば、そのスケジュール情報および
付加データとともに多重化命令を出力する。
は、ビットストリーム多重化処理の終了後、その旨を知
らせるための多重化終了通知をスケジューラ１３１に出
力し、スケジューラ１３１から次の多重化命令がくるの
を待つ。一方、スケジューラ１３１は、多重化終了通知
を受信すると、次のスケジュール情報および付加データ
の算出が完了していれば、そのスケジュール情報および
付加データとともに多重化命令を出力する。
【００４５】以下、スケジューラ１３１およびビットス
トリーム多重化器１３２において、同様の処理が繰り返
される。
トリーム多重化器１３２において、同様の処理が繰り返
される。
【００４６】以上のように、多重化スケジューリング処
理をスケジューラ１３１で、ビットストリーム多重化処
理をビットストリーム多重化器１３２で、それぞれ独立
に行う場合には、ビットストリーム多重化器１３２がビ
ットストリーム多重化処理を行っている間に、スケジュ
ーラ１３１では、次の多重化スケジューリング処理を開
始することができるため、スケジューラ１３１は、ビッ
トストリーム多重化処理の遅れの影響を、図１０におけ
る場合に比較して受けにくく、また、全体としての処理
の高速化を図ることができる。
理をスケジューラ１３１で、ビットストリーム多重化処
理をビットストリーム多重化器１３２で、それぞれ独立
に行う場合には、ビットストリーム多重化器１３２がビ
ットストリーム多重化処理を行っている間に、スケジュ
ーラ１３１では、次の多重化スケジューリング処理を開
始することができるため、スケジューラ１３１は、ビッ
トストリーム多重化処理の遅れの影響を、図１０におけ
る場合に比較して受けにくく、また、全体としての処理
の高速化を図ることができる。
【００４７】しかしながら、スケジューラ１３１は、ビ
ットストリーム多重化器１３２から多重化終了通知を受
信しなければ、次のスケジュール情報および付加データ
を、ビットストリーム多重化器１３２に送信することが
できないため、例えば、図１３（Ａ）に示すように、ビ
ットストリーム多重化器１３２による多重化ストリーム
の出力が長く待たされると、その遅れは、スケジューラ
１３１の多重化スケジューリング処理に伝搬する。即
ち、この場合、スケジューラ１３１は、多重化終了通知
を受信するまで、さらに次の多重化スケジューリング処
理を開始することができない。ここで、図１３（Ａ）
は、ｎ＋１番目のパケットについてのビットストリーム
多重化処理Ｍ（ｎ＋１）が遅れ、ｎ＋３番目のパケット
についての多重化スケジューリング処理Ｓ（ｎ＋３）を
行うことができなくなっている状態を示している。
ットストリーム多重化器１３２から多重化終了通知を受
信しなければ、次のスケジュール情報および付加データ
を、ビットストリーム多重化器１３２に送信することが
できないため、例えば、図１３（Ａ）に示すように、ビ
ットストリーム多重化器１３２による多重化ストリーム
の出力が長く待たされると、その遅れは、スケジューラ
１３１の多重化スケジューリング処理に伝搬する。即
ち、この場合、スケジューラ１３１は、多重化終了通知
を受信するまで、さらに次の多重化スケジューリング処
理を開始することができない。ここで、図１３（Ａ）
は、ｎ＋１番目のパケットについてのビットストリーム
多重化処理Ｍ（ｎ＋１）が遅れ、ｎ＋３番目のパケット
についての多重化スケジューリング処理Ｓ（ｎ＋３）を
行うことができなくなっている状態を示している。
【００４８】また、例えば、図１３（Ｂ）に示すよう
に、多重化スケジューリング処理の最中に割り込みがか
かり、これにより、多重化スケジューリング処理の遅れ
が長引いたときには、ビットストリーム多重化処理を行
うことができず、やはり、処理が遅延することになる。
ここで、図１３（Ｂ）は、ｎ＋１番目のパケットについ
ての多重化スケジューリング処理Ｓ（ｎ＋１）が遅れ、
そのｎ＋１番目のパケットについてのビットストリーム
多重化処理Ｍ（ｎ＋１）を行うことができなくなってい
る状態を示している。
に、多重化スケジューリング処理の最中に割り込みがか
かり、これにより、多重化スケジューリング処理の遅れ
が長引いたときには、ビットストリーム多重化処理を行
うことができず、やはり、処理が遅延することになる。
ここで、図１３（Ｂ）は、ｎ＋１番目のパケットについ
ての多重化スケジューリング処理Ｓ（ｎ＋１）が遅れ、
そのｎ＋１番目のパケットについてのビットストリーム
多重化処理Ｍ（ｎ＋１）を行うことができなくなってい
る状態を示している。
【００４９】即ち、図１２の多重化装置においては、多
重化スケジューリング処理が１回分だけ先行して行われ
るため、その１回分の処理に対応する遅れは吸収するこ
とができるが、それ以上の遅れには対処することができ
ず、図１０における場合と同様の問題が生じる。
重化スケジューリング処理が１回分だけ先行して行われ
るため、その１回分の処理に対応する遅れは吸収するこ
とができるが、それ以上の遅れには対処することができ
ず、図１０における場合と同様の問題が生じる。
【００５０】本発明は、このような状況に鑑みてなされ
たものであり、多重化スケジューリング処理またはビッ
トストリーム多重化処理のうちの一方の処理の遅延が、
他方の処理に伝搬することを極力防止することができる
ようにするものである。
たものであり、多重化スケジューリング処理またはビッ
トストリーム多重化処理のうちの一方の処理の遅延が、
他方の処理に伝搬することを極力防止することができる
ようにするものである。
【００５１】
【課題を解決するための手段】本発明の多重化装置は、
ビットストリームごとに規定されるアクセスユニットに
関するアクセスユニット情報に基づいて、時分割多重化
を行うスケジュールに関するスケジュール情報を算出す
るスケジュール情報算出手段と、スケジュール情報算出
手段が出力するスケジュール情報を記憶するスケジュー
ル情報記憶手段と、付加情報を算出する付加情報算出手
段と、付加情報算出手段が出力する付加情報を記憶する
付加情報記憶手段と、スケジュール情報記憶手段に記憶
されたスケジュール情報に基づいて、ビットストリーム
および付加情報を時分割多重化する多重化手段とを備
え、多重化手段は、スケジュール情報記億手段及び付加
情報記億手段の空き状態に応じて処理を行なうことを特
徴とする。スケジュール情報記憶手段および付加情報記
憶手段は、情報を記憶する１の記憶手段で構成されるよ
うにすることができる。
ビットストリームごとに規定されるアクセスユニットに
関するアクセスユニット情報に基づいて、時分割多重化
を行うスケジュールに関するスケジュール情報を算出す
るスケジュール情報算出手段と、スケジュール情報算出
手段が出力するスケジュール情報を記憶するスケジュー
ル情報記憶手段と、付加情報を算出する付加情報算出手
段と、付加情報算出手段が出力する付加情報を記憶する
付加情報記憶手段と、スケジュール情報記憶手段に記憶
されたスケジュール情報に基づいて、ビットストリーム
および付加情報を時分割多重化する多重化手段とを備
え、多重化手段は、スケジュール情報記億手段及び付加
情報記億手段の空き状態に応じて処理を行なうことを特
徴とする。スケジュール情報記憶手段および付加情報記
憶手段は、情報を記憶する１の記憶手段で構成されるよ
うにすることができる。
【００５２】本発明の多重化方法は、ビットストリーム
ごとに規定されるアクセスユニットに関するアクセスユ
ニット情報に基づいて、時分割多重化を行うスケジュー
ルに関するスケジュール情報を算出するとともに、付加
情報を算出し、スケジュール情報および付加情報を記憶
し、スケジュール情報に基づいて、ビットストリームお
よび付加情報を時分割多重化する際、スケジュール情報
及び付加情報を記憶する記億手段の空き状態に応じて処
理を行なうことを特徴とする。
ごとに規定されるアクセスユニットに関するアクセスユ
ニット情報に基づいて、時分割多重化を行うスケジュー
ルに関するスケジュール情報を算出するとともに、付加
情報を算出し、スケジュール情報および付加情報を記憶
し、スケジュール情報に基づいて、ビットストリームお
よび付加情報を時分割多重化する際、スケジュール情報
及び付加情報を記憶する記億手段の空き状態に応じて処
理を行なうことを特徴とする。
【００５３】本発明の伝送装置および伝送方法は、多重
化ストリームが、ビットストリームごとに規定されるア
クセスユニットに関するアクセスユニット情報に基づい
て、時分割多重化を行うスケジュールに関するスケジュ
ール情報を算出するとともに、付加情報を算出し、スケ
ジュール情報および付加情報を記憶し、スケジュール情
報に基づいて、ビットストリームおよび付加情報を時分
割多重化する際、スケジュール情報及び付加情報を記憶
する記億手段の空き状態に応じて処理を行なうことによ
り得られたものであることを特徴とする。
化ストリームが、ビットストリームごとに規定されるア
クセスユニットに関するアクセスユニット情報に基づい
て、時分割多重化を行うスケジュールに関するスケジュ
ール情報を算出するとともに、付加情報を算出し、スケ
ジュール情報および付加情報を記憶し、スケジュール情
報に基づいて、ビットストリームおよび付加情報を時分
割多重化する際、スケジュール情報及び付加情報を記憶
する記億手段の空き状態に応じて処理を行なうことによ
り得られたものであることを特徴とする。
【００５４】本発明の多重化装置および多重化方法、並
びに伝送装置および伝送方法においては、ビットストリ
ームごとに規定されるアクセスユニットに関するアクセ
スユニット情報に基づいて、時分割多重化を行うスケジ
ュールに関するスケジュール情報が算出され、そのスケ
ジュール情報が記憶される。また、付加情報が算出さ
れ、その付加情報が記憶される。そして、記憶されたス
ケジュール情報に基づいて、ビットストリームおよび付
加情報が時分割多重化される。このとき、スケジュール
情報及び付加情報を記憶する記億手段の空き状態に応じ
て処理が行なわれる。
びに伝送装置および伝送方法においては、ビットストリ
ームごとに規定されるアクセスユニットに関するアクセ
スユニット情報に基づいて、時分割多重化を行うスケジ
ュールに関するスケジュール情報が算出され、そのスケ
ジュール情報が記憶される。また、付加情報が算出さ
れ、その付加情報が記憶される。そして、記憶されたス
ケジュール情報に基づいて、ビットストリームおよび付
加情報が時分割多重化される。このとき、スケジュール
情報及び付加情報を記憶する記億手段の空き状態に応じ
て処理が行なわれる。
【００５５】
【００５６】
【００５７】
【発明の実施の形態】図１は、本発明を適用した多重化
装置の一実施の形態の構成例を示している。
装置の一実施の形態の構成例を示している。
【００５８】符号化器１２１1乃至１２１Nには、ビデオ
データやオーディオデータ、その他のデータが入力され
るようになされており、それぞれにおいては、各データ
が、例えば、ISO13818-2やISO11172-2，ISO13818-3，IS
O11172-3などの所定の規格に準拠して圧縮符号化され、
エレメンタリストリームとして出力されるようになされ
ている。また、符号化器１２１1乃至１２１Nは、自身が
出力するエレメンタリストリームを構成するアクセスユ
ニットについてのアクセスユニット情報を求めて出力す
るようにもなされている。
データやオーディオデータ、その他のデータが入力され
るようになされており、それぞれにおいては、各データ
が、例えば、ISO13818-2やISO11172-2，ISO13818-3，IS
O11172-3などの所定の規格に準拠して圧縮符号化され、
エレメンタリストリームとして出力されるようになされ
ている。また、符号化器１２１1乃至１２１Nは、自身が
出力するエレメンタリストリームを構成するアクセスユ
ニットについてのアクセスユニット情報を求めて出力す
るようにもなされている。
【００５９】符号化器１２１1乃至１２１Nが出力するア
クセスユニット情報またはエレメンタリストリームは、
スケジューラ１（スケジュール情報算出手段）（付加情
報算出手段）またはビットストリーム多重化器４（多重
化手段）にそれぞれ供給されるようになされている。
クセスユニット情報またはエレメンタリストリームは、
スケジューラ１（スケジュール情報算出手段）（付加情
報算出手段）またはビットストリーム多重化器４（多重
化手段）にそれぞれ供給されるようになされている。
【００６０】なお、前述したように、符号化器１２１1
乃至１２１Nがアクセスユニット情報を算出することが
できないものである場合には、エレメンタリストリーム
からアクセスユニット情報を抽出する前処理を行い、そ
の前処理結果としてのアクセスユニット情報を、スケジ
ューラ１に入力するようにすれば良い。また、符号化器
１２１1乃至１２１Nがアクセスユニット情報として出力
する情報は、アクセスユニットのサイズおよびデコード
時刻である必要はなく、それらを求めることができるよ
うな情報であれば良い。
乃至１２１Nがアクセスユニット情報を算出することが
できないものである場合には、エレメンタリストリーム
からアクセスユニット情報を抽出する前処理を行い、そ
の前処理結果としてのアクセスユニット情報を、スケジ
ューラ１に入力するようにすれば良い。また、符号化器
１２１1乃至１２１Nがアクセスユニット情報として出力
する情報は、アクセスユニットのサイズおよびデコード
時刻である必要はなく、それらを求めることができるよ
うな情報であれば良い。
【００６１】スケジューラ１は、符号化器１２１1乃至
１２１Nからのアクセスユニット情報に基づいて、スケ
ジュール情報および必要な付加データ（広義の付加情
報）を算出する多重化スケジューリング処理を行うよう
になされている。スケジューラ１で求められたスケジュ
ール情報または付加データは、スケジュール情報中間バ
ッファ２（スケジュール情報記憶手段）または付加デー
タ中間バッファ３（付加情報記憶手段）にそれぞれ供給
されるようになされている。
１２１Nからのアクセスユニット情報に基づいて、スケ
ジュール情報および必要な付加データ（広義の付加情
報）を算出する多重化スケジューリング処理を行うよう
になされている。スケジューラ１で求められたスケジュ
ール情報または付加データは、スケジュール情報中間バ
ッファ２（スケジュール情報記憶手段）または付加デー
タ中間バッファ３（付加情報記憶手段）にそれぞれ供給
されるようになされている。
【００６２】スケジュール情報中間バッファ２は、スケ
ジューラ１から供給されるスケジュール情報を記憶する
ようになされている。付加データ中間バッファ３は、ス
ケジューラ１から供給される付加データを記憶するよう
になされている。
ジューラ１から供給されるスケジュール情報を記憶する
ようになされている。付加データ中間バッファ３は、ス
ケジューラ１から供給される付加データを記憶するよう
になされている。
【００６３】なお、スケジュール情報中間バッファ２ま
たは付加データ中間バッファ３は、スケジューラ１が出
力するスケジュール情報または付加データを、複数回分
記憶することのできる記憶容量を有している。さらに、
ここでは、スケジュール情報中間バッファ２および付加
データ中間バッファ３は、例えば、いわゆるリングバッ
ファとして動作するように構成されており、これによ
り、入力されるデータを順次記憶していき、空き領域が
なくなると、最も古いデータが記憶されていた領域に、
最新のデータを上書きするようになされている。
たは付加データ中間バッファ３は、スケジューラ１が出
力するスケジュール情報または付加データを、複数回分
記憶することのできる記憶容量を有している。さらに、
ここでは、スケジュール情報中間バッファ２および付加
データ中間バッファ３は、例えば、いわゆるリングバッ
ファとして動作するように構成されており、これによ
り、入力されるデータを順次記憶していき、空き領域が
なくなると、最も古いデータが記憶されていた領域に、
最新のデータを上書きするようになされている。
【００６４】ビットストリーム多重化器４は、スケジュ
ール情報中間バッファ２からスケジュール情報を読み出
すとともに、付加データ中間バッファ３から必要な付加
データを読み出し、スケジュール情報にしたがって、符
号化器１２１1乃至１２１Nからのエレメンタリストリー
ム、および必要な付加データを多重化して、即ち、ビッ
トストリーム多重化処理を行い、多重化ストリームにし
て出力するようになされている。
ール情報中間バッファ２からスケジュール情報を読み出
すとともに、付加データ中間バッファ３から必要な付加
データを読み出し、スケジュール情報にしたがって、符
号化器１２１1乃至１２１Nからのエレメンタリストリー
ム、および必要な付加データを多重化して、即ち、ビッ
トストリーム多重化処理を行い、多重化ストリームにし
て出力するようになされている。
【００６５】以上のように構成される多重化装置では、
符号化器１２１1乃至１２１Nにおいて、それぞれに入力
されるビデオデータやオーディオデータ、その他のデー
タが符号化され、エレメンタリストリームとして出力さ
れる。また、符号化器１２１1乃至１２１Nでは、自身が
出力するエレメンタリストリームを構成するアクセスユ
ニットについてのアクセスユニット情報が求められて出
力される。
符号化器１２１1乃至１２１Nにおいて、それぞれに入力
されるビデオデータやオーディオデータ、その他のデー
タが符号化され、エレメンタリストリームとして出力さ
れる。また、符号化器１２１1乃至１２１Nでは、自身が
出力するエレメンタリストリームを構成するアクセスユ
ニットについてのアクセスユニット情報が求められて出
力される。
【００６６】符号化器１２１1乃至１２１Nが出力するア
クセスユニット情報またはエレメンタリストリームは、
スケジューラ１またはビットストリーム多重化器４にそ
れぞれ供給される。
クセスユニット情報またはエレメンタリストリームは、
スケジューラ１またはビットストリーム多重化器４にそ
れぞれ供給される。
【００６７】スケジューラ１は、符号化器１２１1乃至
１２１Nからのアクセスユニット情報を受信すると、そ
のアクセスユニット情報に基づいて、スケジュール情報
を算出し、スケジュール情報中間バッファ２に供給して
記憶させる。さらに、スケジューラ１は、算出したスケ
ジュール情報にしたがってビットストリーム多重化処理
を行う場合に、多重化すべき付加データがあるときに
は、その付加データも算出（生成）し、付加データ中間
バッファ３に供給して記憶させる。
１２１Nからのアクセスユニット情報を受信すると、そ
のアクセスユニット情報に基づいて、スケジュール情報
を算出し、スケジュール情報中間バッファ２に供給して
記憶させる。さらに、スケジューラ１は、算出したスケ
ジュール情報にしたがってビットストリーム多重化処理
を行う場合に、多重化すべき付加データがあるときに
は、その付加データも算出（生成）し、付加データ中間
バッファ３に供給して記憶させる。
【００６８】スケジューラ１においては、アクセスユニ
ット情報を受信するたびに、上述したような多重化スケ
ジューリング処理が行われる。
ット情報を受信するたびに、上述したような多重化スケ
ジューリング処理が行われる。
【００６９】一方、ビットストリーム多重化器４は、ス
ケジュール情報中間バッファ２からスケジュール情報を
読み出し、そのスケジュール情報において指定されてい
るデータを、同じくスケジュール情報において指定され
ているサイズだけ選択し、多重化ストリームとして出力
する。即ち、ビットストリーム多重化器４は、符号化器
１２１1乃至１２１Nからのエレメンタリストリーム、お
よび付加データ中間バッファ３に記憶されている付加デ
ータの中から、スケジュール情報に対応したデータを、
スケジュール情報に対応したサイズだけ選択して、多重
化ストリームとして出力する。
ケジュール情報中間バッファ２からスケジュール情報を
読み出し、そのスケジュール情報において指定されてい
るデータを、同じくスケジュール情報において指定され
ているサイズだけ選択し、多重化ストリームとして出力
する。即ち、ビットストリーム多重化器４は、符号化器
１２１1乃至１２１Nからのエレメンタリストリーム、お
よび付加データ中間バッファ３に記憶されている付加デ
ータの中から、スケジュール情報に対応したデータを、
スケジュール情報に対応したサイズだけ選択して、多重
化ストリームとして出力する。
【００７０】この多重化ストリームは、例えば、インタ
ーネットや、ＣＡＴＶ網、衛星回線、地上回線などでな
る伝送媒体６を介して伝送され、また、例えば、光磁気
ディスクや、磁気テープ、相変化ディスク、光ディスク
などでなる記録媒体７に記録される。
ーネットや、ＣＡＴＶ網、衛星回線、地上回線などでな
る伝送媒体６を介して伝送され、また、例えば、光磁気
ディスクや、磁気テープ、相変化ディスク、光ディスク
などでなる記録媒体７に記録される。
【００７１】その後、ビットストリーム多重化器４は、
スケジュール情報中間バッファ２から、次に記憶された
スケジュール情報を読み出し、以下、同様のビットスト
リーム多重化処理を繰り返す。
スケジュール情報中間バッファ２から、次に記憶された
スケジュール情報を読み出し、以下、同様のビットスト
リーム多重化処理を繰り返す。
【００７２】従って、スケジューラ１は、図２に示すよ
うに、スケジュール情報中間バッファ２および付加デー
タ中間バッファ３（以下、適宜、両方含めて、中間バッ
ファという）が、いわゆるバッファフルの状態（中間バ
ッファに空き領域がなく、かつ最も古いデータが、ま
だ、ビットストリーム多重化器４で使用されていない状
態）とならない限り、ビットストリーム多重化器４にお
けるビットストリーム多重化処理の進行状況に無関係
に、多重化スケジューリング処理を行うことができる。
即ち、スケジューラ１は、中間バッファがバッファフル
とならない限り、ビットストリーム多重化器４による多
重化ストリームの出力が待たされ、ビットストリーム多
重化処理が遅れても、その遅れの影響を受けることな
く、多重化スケジューリング処理を進めていくことがで
きる。
うに、スケジュール情報中間バッファ２および付加デー
タ中間バッファ３（以下、適宜、両方含めて、中間バッ
ファという）が、いわゆるバッファフルの状態（中間バ
ッファに空き領域がなく、かつ最も古いデータが、ま
だ、ビットストリーム多重化器４で使用されていない状
態）とならない限り、ビットストリーム多重化器４にお
けるビットストリーム多重化処理の進行状況に無関係
に、多重化スケジューリング処理を行うことができる。
即ち、スケジューラ１は、中間バッファがバッファフル
とならない限り、ビットストリーム多重化器４による多
重化ストリームの出力が待たされ、ビットストリーム多
重化処理が遅れても、その遅れの影響を受けることな
く、多重化スケジューリング処理を進めていくことがで
きる。
【００７３】また、スケジューラ１では、図１２で説明
したような多重化終了通知を受けてから、次の多重化ス
ケジューリング処理を開始するような制御をせずに済む
とともに、多重化スケジューリング処理を終了するごと
に、図１２で説明したような多重化命令を出力するよう
な制御をせずに済む。従って、スケジューラ１における
処理の簡素化を図ることができる。
したような多重化終了通知を受けてから、次の多重化ス
ケジューリング処理を開始するような制御をせずに済む
とともに、多重化スケジューリング処理を終了するごと
に、図１２で説明したような多重化命令を出力するよう
な制御をせずに済む。従って、スケジューラ１における
処理の簡素化を図ることができる。
【００７４】一方、ビットストリーム多重化器４も、図
２に示すように、中間バッファが、いわゆる空き状態
（中間バッファにデータが記憶されていないか、または
記憶されていても、そのデータが、既に、ビットストリ
ーム多重化処理で使用したものである状態）とならない
限り、スケジューラ１における多重化スケジューリング
処理の進行状況に無関係に、ビットストリーム多重化処
理を行うことができる。即ち、ビットストリーム多重化
器４は、中間バッファが空き状態とならない限り、スケ
ジューラ１に割り込みがかかり、多重化スケジューリン
グ処理が遅れても、その遅れの影響を受けることなく、
ビットストリーム多重化処理を進めていくことができ
る。
２に示すように、中間バッファが、いわゆる空き状態
（中間バッファにデータが記憶されていないか、または
記憶されていても、そのデータが、既に、ビットストリ
ーム多重化処理で使用したものである状態）とならない
限り、スケジューラ１における多重化スケジューリング
処理の進行状況に無関係に、ビットストリーム多重化処
理を行うことができる。即ち、ビットストリーム多重化
器４は、中間バッファが空き状態とならない限り、スケ
ジューラ１に割り込みがかかり、多重化スケジューリン
グ処理が遅れても、その遅れの影響を受けることなく、
ビットストリーム多重化処理を進めていくことができ
る。
【００７５】また、ビットストリーム多重化器４では、
図１２で説明したような多重化命令を受けてから、ビッ
トストリーム多重化処理を開始するような制御をせずに
済むとともに、ビットストリーム多重化処理を終了する
ごとに、図１２で説明したような多重化終了通知を出力
するような制御をせずに済む。従って、ビットストリー
ム多重化器４における処理の簡素化を図ることができ
る。
図１２で説明したような多重化命令を受けてから、ビッ
トストリーム多重化処理を開始するような制御をせずに
済むとともに、ビットストリーム多重化処理を終了する
ごとに、図１２で説明したような多重化終了通知を出力
するような制御をせずに済む。従って、ビットストリー
ム多重化器４における処理の簡素化を図ることができ
る。
【００７６】なお、付加データのうち、例えば、スタッ
フィングビットやスタートコードなどのように固定のデ
ータは、スケジューラ１に生成させるのではなく、例え
ば、図１において点線で示すように、固定データメモリ
５を設け、その固定データメモリ５に記憶させておくよ
うにすることが可能である。この場合、ビットストリー
ム多重化器４には、付加データのうちの固定のデータに
ついては、固定データメモリ５から読み出させるように
すれば良く、スケジューラ１において生成する必要がな
くなる。従って、スケジューラ１の処理の負担を軽減す
ることができる。
フィングビットやスタートコードなどのように固定のデ
ータは、スケジューラ１に生成させるのではなく、例え
ば、図１において点線で示すように、固定データメモリ
５を設け、その固定データメモリ５に記憶させておくよ
うにすることが可能である。この場合、ビットストリー
ム多重化器４には、付加データのうちの固定のデータに
ついては、固定データメモリ５から読み出させるように
すれば良く、スケジューラ１において生成する必要がな
くなる。従って、スケジューラ１の処理の負担を軽減す
ることができる。
【００７７】次に、図３のフローチャートを参照して、
図１のスケジューラ１の処理について、さらに説明す
る。
図１のスケジューラ１の処理について、さらに説明す
る。
【００７８】スケジューラ１では、まず最初に、ステッ
プＳ１において、いま行おうとしている多重化スケジュ
ーリング処理に必要なアクセスユニット情報を、符号化
器１２１1乃至１２１Nから既に受信しているかどうかが
判定され、まだ受信していないと判定された場合、ステ
ップＳ１に戻る。そして、ステップＳ１において、必要
なアクセスユニット情報を受信していると判定された場
合、ステップＳ２に進み、そのアクセスユニット情報に
基づき、いま多重化スケジューリング処理の対象となっ
ている、例えば、パケット単位などのスケジュール単位
について、そのスケジュール情報が算出される。
プＳ１において、いま行おうとしている多重化スケジュ
ーリング処理に必要なアクセスユニット情報を、符号化
器１２１1乃至１２１Nから既に受信しているかどうかが
判定され、まだ受信していないと判定された場合、ステ
ップＳ１に戻る。そして、ステップＳ１において、必要
なアクセスユニット情報を受信していると判定された場
合、ステップＳ２に進み、そのアクセスユニット情報に
基づき、いま多重化スケジューリング処理の対象となっ
ている、例えば、パケット単位などのスケジュール単位
について、そのスケジュール情報が算出される。
【００７９】即ち、例えば、ISO13818-1およびISO11172
-1に規定されている多重化ストリームへの多重化を行う
場合には、受信側において想定されている、各エレメン
タリストリームに対応するＳＴＤバッファがアンダーフ
ローおよびオーバーフローのいずれもしないように、ス
ケジュール情報が求められる。
-1に規定されている多重化ストリームへの多重化を行う
場合には、受信側において想定されている、各エレメン
タリストリームに対応するＳＴＤバッファがアンダーフ
ローおよびオーバーフローのいずれもしないように、ス
ケジュール情報が求められる。
【００８０】スケジュール情報の算出後は、ステップＳ
３に進み、そのスケジュール情報をスケジュール情報中
間バッファ２に出力することができるかどうかが判定さ
れる。ステップＳ３において、スケジュール情報をスケ
ジュール情報中間バッファ２に出力することができない
と判定された場合、即ち、スケジュール情報中間バッフ
ァ２がバッファフルの状態になっている場合、ステップ
Ｓ３に戻る。
３に進み、そのスケジュール情報をスケジュール情報中
間バッファ２に出力することができるかどうかが判定さ
れる。ステップＳ３において、スケジュール情報をスケ
ジュール情報中間バッファ２に出力することができない
と判定された場合、即ち、スケジュール情報中間バッフ
ァ２がバッファフルの状態になっている場合、ステップ
Ｓ３に戻る。
【００８１】一方、ステップＳ３において、スケジュー
ル情報をスケジュール情報中間バッファ２に出力するこ
とができると判定された場合、即ち、スケジュール情報
中間バッファ２がバッファフルの状態でない場合、ステ
ップＳ４に進み、ステップＳ２で求められたスケジュー
ル情報が、スケジュール情報中間バッファ２に出力され
る。これにより、スケジュール情報は、スケジュール情
報中間バッファ２に記憶される。
ル情報をスケジュール情報中間バッファ２に出力するこ
とができると判定された場合、即ち、スケジュール情報
中間バッファ２がバッファフルの状態でない場合、ステ
ップＳ４に進み、ステップＳ２で求められたスケジュー
ル情報が、スケジュール情報中間バッファ２に出力され
る。これにより、スケジュール情報は、スケジュール情
報中間バッファ２に記憶される。
【００８２】従って、スケジュール情報中間バッファ２
がバッファフルの状態になっている場合は、スケジュー
ラ１は、そのバッファフルの状態が解除されるまで、多
重化スケジューリング処理を中断する必要があるが、こ
の場合、スケジュール情報中間バッファ２には、まだ使
用されていないスケジュール情報が記憶されているか
ら、多重化スケジューリング処理の中断は、ビットスト
リーム多重化器４のビットストリーム多重化処理には影
響しない。また、いまの場合、スケジューラ１が、多重
化スケジューリング処理を中断するかどうかは、スケジ
ュール情報中間バッファ２がバッファフルの状態になっ
ているかどうかによるため、スケジューラ１は、従来の
ように、ビットストリーム多重化器４から多重化終了通
知を受ける必要もない。
がバッファフルの状態になっている場合は、スケジュー
ラ１は、そのバッファフルの状態が解除されるまで、多
重化スケジューリング処理を中断する必要があるが、こ
の場合、スケジュール情報中間バッファ２には、まだ使
用されていないスケジュール情報が記憶されているか
ら、多重化スケジューリング処理の中断は、ビットスト
リーム多重化器４のビットストリーム多重化処理には影
響しない。また、いまの場合、スケジューラ１が、多重
化スケジューリング処理を中断するかどうかは、スケジ
ュール情報中間バッファ２がバッファフルの状態になっ
ているかどうかによるため、スケジューラ１は、従来の
ように、ビットストリーム多重化器４から多重化終了通
知を受ける必要もない。
【００８３】スケジュール情報の出力後は、ステップＳ
５に進み、そのスケジュール情報にしたがってビットス
トリーム多重化処理を行うときに、付加データが必要と
なるかどうかが判定される。ステップＳ５において、付
加データが必要とならないと判定された場合、ステップ
Ｓ１に戻り、次の多重化スケジューリング処理が行われ
る。
５に進み、そのスケジュール情報にしたがってビットス
トリーム多重化処理を行うときに、付加データが必要と
なるかどうかが判定される。ステップＳ５において、付
加データが必要とならないと判定された場合、ステップ
Ｓ１に戻り、次の多重化スケジューリング処理が行われ
る。
【００８４】また、ステップＳ５において、付加データ
が必要となると判定された場合、ステップＳ６に進み、
その必要となる付加データが生成される。
が必要となると判定された場合、ステップＳ６に進み、
その必要となる付加データが生成される。
【００８５】即ち、例えば、ISO13818-1およびISO11172
-1に規定されている多重化ストリームへの多重化を行う
場合には、付加データとしての、例えばパックヘッダ
や、パケットヘッダ、その他のエレメンタリストリーム
以外のデータを、多重化ストリームとして出力するべき
ときに、そのような付加データが生成される。
-1に規定されている多重化ストリームへの多重化を行う
場合には、付加データとしての、例えばパックヘッダ
や、パケットヘッダ、その他のエレメンタリストリーム
以外のデータを、多重化ストリームとして出力するべき
ときに、そのような付加データが生成される。
【００８６】なお、上述したように、付加データのう
ち、固定のデータは、固定データメモリ５に記憶させて
おき、必要なときに、そこから読み出すようにすること
ができるが、例えば、クロックリファレンスなどのよう
に、時刻によって変化するデータについては、スケジュ
ーラ１において、随時生成する必要がある。
ち、固定のデータは、固定データメモリ５に記憶させて
おき、必要なときに、そこから読み出すようにすること
ができるが、例えば、クロックリファレンスなどのよう
に、時刻によって変化するデータについては、スケジュ
ーラ１において、随時生成する必要がある。
【００８７】付加データの生成後は、ステップＳ７に進
み、その付加データを付加データ中間バッファ３に出力
することができるかどうかが判定される。ステップＳ７
において、付加データを付加データ中間バッファ３に出
力することができないと判定された場合、即ち、付加デ
ータ中間バッファ３がバッファフルの状態になっている
場合、ステップＳ７に戻る。
み、その付加データを付加データ中間バッファ３に出力
することができるかどうかが判定される。ステップＳ７
において、付加データを付加データ中間バッファ３に出
力することができないと判定された場合、即ち、付加デ
ータ中間バッファ３がバッファフルの状態になっている
場合、ステップＳ７に戻る。
【００８８】一方、ステップＳ７において、付加データ
を付加データ中間バッファ３に出力することができると
判定された場合、即ち、付加データ中間バッファ３がバ
ッファフルの状態でない場合、ステップＳ８に進み、ス
テップＳ６で求められた付加データが、付加データ中間
バッファ３に出力される。これにより、付加データは、
付加データ中間バッファ３に記憶される。
を付加データ中間バッファ３に出力することができると
判定された場合、即ち、付加データ中間バッファ３がバ
ッファフルの状態でない場合、ステップＳ８に進み、ス
テップＳ６で求められた付加データが、付加データ中間
バッファ３に出力される。これにより、付加データは、
付加データ中間バッファ３に記憶される。
【００８９】従って、付加データ中間バッファ３がバッ
ファフルの状態になっている場合は、スケジューラ１
は、そのバッファフルの状態が解除されるまで、多重化
スケジューリング処理を中断する必要があるが、付加デ
ータ中間バッファ３には、まだ使用されていない付加デ
ータが記憶されているから、多重化スケジューリング処
理の中断は、ビットストリーム多重化器４のビットスト
リーム多重化処理には影響しない。また、いまの場合、
スケジューラ１が、多重化スケジューリング処理を中断
するかどうかは、付加データ中間バッファ３がバッファ
フルの状態になっているかどうかによるため、スケジュ
ーラ１は、従来のように、ビットストリーム多重化器４
から多重化終了通知を受ける必要もない。
ファフルの状態になっている場合は、スケジューラ１
は、そのバッファフルの状態が解除されるまで、多重化
スケジューリング処理を中断する必要があるが、付加デ
ータ中間バッファ３には、まだ使用されていない付加デ
ータが記憶されているから、多重化スケジューリング処
理の中断は、ビットストリーム多重化器４のビットスト
リーム多重化処理には影響しない。また、いまの場合、
スケジューラ１が、多重化スケジューリング処理を中断
するかどうかは、付加データ中間バッファ３がバッファ
フルの状態になっているかどうかによるため、スケジュ
ーラ１は、従来のように、ビットストリーム多重化器４
から多重化終了通知を受ける必要もない。
【００９０】付加データが、付加データ中間バッファ３
に出力された後は、ステップＳ１に戻り、次の多重化ス
ケジューリング処理が行われる。
に出力された後は、ステップＳ１に戻り、次の多重化ス
ケジューリング処理が行われる。
【００９１】なお、図３においては、スケジュール情報
を出力した後に、付加データを出力するようにしたが、
スケジュール情報と付加データとの出力順序は、その逆
であっても良いし、同時でも良い。
を出力した後に、付加データを出力するようにしたが、
スケジュール情報と付加データとの出力順序は、その逆
であっても良いし、同時でも良い。
【００９２】次に、図４のフローチャートを参照して、
図１のビットストリーム多重化器４の動作について、さ
らに説明する。
図１のビットストリーム多重化器４の動作について、さ
らに説明する。
【００９３】ビットストリーム多重化器４では、まず最
初に、ステップＳ１１において、スケジュール中間バッ
ファ２に、まだ使用していない（読み出していない）ス
ケジュール情報が記憶されているかどうかが判定され
る。
初に、ステップＳ１１において、スケジュール中間バッ
ファ２に、まだ使用していない（読み出していない）ス
ケジュール情報が記憶されているかどうかが判定され
る。
【００９４】ステップＳ１１において、スケジュール中
間バッファ２に、まだ使用していないスケジュール情報
が記憶されていないと判定された場合、即ち、スケジュ
ール中間バッファ２が空き状態である場合、ステップＳ
１１に戻る。また、ステップＳ１１において、スケジュ
ール中間バッファ２に、まだ使用していないスケジュー
ル情報が記憶されていると判定された場合、ステップＳ
１２に進み、スケジュール中間バッファ２に記憶されて
いる、まだ使用していないスケジュール情報のうち、最
も古いものが読み出される。
間バッファ２に、まだ使用していないスケジュール情報
が記憶されていないと判定された場合、即ち、スケジュ
ール中間バッファ２が空き状態である場合、ステップＳ
１１に戻る。また、ステップＳ１１において、スケジュ
ール中間バッファ２に、まだ使用していないスケジュー
ル情報が記憶されていると判定された場合、ステップＳ
１２に進み、スケジュール中間バッファ２に記憶されて
いる、まだ使用していないスケジュール情報のうち、最
も古いものが読み出される。
【００９５】従って、スケジュール情報中間バッファ２
が空き状態になっている場合は、ビットストリーム多重
化器４は、その空き状態が解除されるまで、ビットスト
リーム多重化処理を中断する必要があるが、スケジュー
ル情報中間バッファ２には、新たなスケジュール情報の
記憶が可能であるから、ビットストリーム多重化処理の
中断は、スケジューラ１の多重化スケジューリング処理
には影響しない。また、いまの場合、ビットストリーム
多重化器４が、多重化スケジューリング処理を中断する
かどうかは、スケジュール情報中間バッファ２が空き状
態になっているかどうかによるため、ビットストリーム
多重化器４は、従来のように、スケジューラ１から多重
化命令を受信するのを待つ必要もない。
が空き状態になっている場合は、ビットストリーム多重
化器４は、その空き状態が解除されるまで、ビットスト
リーム多重化処理を中断する必要があるが、スケジュー
ル情報中間バッファ２には、新たなスケジュール情報の
記憶が可能であるから、ビットストリーム多重化処理の
中断は、スケジューラ１の多重化スケジューリング処理
には影響しない。また、いまの場合、ビットストリーム
多重化器４が、多重化スケジューリング処理を中断する
かどうかは、スケジュール情報中間バッファ２が空き状
態になっているかどうかによるため、ビットストリーム
多重化器４は、従来のように、スケジューラ１から多重
化命令を受信するのを待つ必要もない。
【００９６】スケジュール情報中間バッファ２からスケ
ジュール情報を読み出した後は、ステップＳ１３に進
み、そのスケジュール情報で指定されたデータの選択
（読み出し）が可能かどうかが判定される。ステップＳ
１３において、ステップＳ１２で読み出されたスケジュ
ール情報で指定されたデータの選択が可能でないと判定
された場合、即ち、スケジュール情報で指定されたデー
タがエレメンタリストリームで、そのエレメンタリスト
リームが、ビットストリーム多重化器４に、まだ入力さ
れていない場合や、スケジュール情報で指定されたデー
タが付加データで、その付加データが、付加データ中間
バッファ３に、まだ記憶されていない場合、ステップＳ
１３に戻る。
ジュール情報を読み出した後は、ステップＳ１３に進
み、そのスケジュール情報で指定されたデータの選択
（読み出し）が可能かどうかが判定される。ステップＳ
１３において、ステップＳ１２で読み出されたスケジュ
ール情報で指定されたデータの選択が可能でないと判定
された場合、即ち、スケジュール情報で指定されたデー
タがエレメンタリストリームで、そのエレメンタリスト
リームが、ビットストリーム多重化器４に、まだ入力さ
れていない場合や、スケジュール情報で指定されたデー
タが付加データで、その付加データが、付加データ中間
バッファ３に、まだ記憶されていない場合、ステップＳ
１３に戻る。
【００９７】また、ステップＳ１３において、ステップ
Ｓ１２で読み出されたスケジュール情報で指定されたデ
ータの選択が可能であると判定された場合、ステップＳ
１４に進み、そのデータを選択して、多重化ストリーム
として出力することが可能であるかどうかが判定され
る。
Ｓ１２で読み出されたスケジュール情報で指定されたデ
ータの選択が可能であると判定された場合、ステップＳ
１４に進み、そのデータを選択して、多重化ストリーム
として出力することが可能であるかどうかが判定され
る。
【００９８】ステップＳ１４において、データを、多重
化ストリームとして出力することが可能でないと判定さ
れた場合、即ち、例えば、多重化ストリームを伝送媒体
６を介して伝送する場合において、その伝送レートに対
応させるために、多重化ストリームの出力タイミングを
遅らせる必要があるときや、多重化ストリームを記録媒
体７に記録する場合において、その記録を行う記録装置
（図示せず）が待ち状態にあるとき、ステップＳ１４に
戻る。
化ストリームとして出力することが可能でないと判定さ
れた場合、即ち、例えば、多重化ストリームを伝送媒体
６を介して伝送する場合において、その伝送レートに対
応させるために、多重化ストリームの出力タイミングを
遅らせる必要があるときや、多重化ストリームを記録媒
体７に記録する場合において、その記録を行う記録装置
（図示せず）が待ち状態にあるとき、ステップＳ１４に
戻る。
【００９９】また、ステップＳ１４において、データ
を、多重化ストリームとして出力することが可能である
と判定された場合、ステップＳ１５に進み、そのデータ
が、多重化ストリームとして出力される。即ち、ステッ
プＳ１２で読み出されたスケジュール情報で指定された
データがエレメンタリストリームの場合は、そのエレメ
ンタリストリームが、多重化ストリームとして出力さ
れ、また、スケジュール情報で指定されたデータが付加
データの場合は、その付加データが、付加データ中間バ
ッファ３（または固定データメモリ５）から読み出され
て、多重化ストリームとして出力される。
を、多重化ストリームとして出力することが可能である
と判定された場合、ステップＳ１５に進み、そのデータ
が、多重化ストリームとして出力される。即ち、ステッ
プＳ１２で読み出されたスケジュール情報で指定された
データがエレメンタリストリームの場合は、そのエレメ
ンタリストリームが、多重化ストリームとして出力さ
れ、また、スケジュール情報で指定されたデータが付加
データの場合は、その付加データが、付加データ中間バ
ッファ３（または固定データメモリ５）から読み出され
て、多重化ストリームとして出力される。
【０１００】その後、ステップＳ１６に進み、ステップ
Ｓ１２で読み出されたスケジュール情報で指定されたサ
イズ分だけ、データを出力したかどうかが判定される。
ステップＳ１６において、スケジュール情報で指定され
たサイズ分だけ、まだ、データを出力していないと判定
された場合、ステップＳ１３に戻る。また、ステップＳ
１６において、スケジュール情報で指定されたサイズ分
だけ、データを出力したと判定された場合、ステップＳ
１１に戻り、次のビットストリーム多重化処理が行われ
る。
Ｓ１２で読み出されたスケジュール情報で指定されたサ
イズ分だけ、データを出力したかどうかが判定される。
ステップＳ１６において、スケジュール情報で指定され
たサイズ分だけ、まだ、データを出力していないと判定
された場合、ステップＳ１３に戻る。また、ステップＳ
１６において、スケジュール情報で指定されたサイズ分
だけ、データを出力したと判定された場合、ステップＳ
１１に戻り、次のビットストリーム多重化処理が行われ
る。
【０１０１】次に、図５は、本発明を適用した多重化装
置の他の実施の形態の構成例を示している。なお、図
中、図１における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、この多重化装置は、スケジュール情報中間
バッファ２および付加データ中間バッファ３に代えて、
共通中間バッファ１１（記憶手段）が設けられている他
は、図１の多重化装置と同様に構成されている。
置の他の実施の形態の構成例を示している。なお、図
中、図１における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、この多重化装置は、スケジュール情報中間
バッファ２および付加データ中間バッファ３に代えて、
共通中間バッファ１１（記憶手段）が設けられている他
は、図１の多重化装置と同様に構成されている。
【０１０２】共通中間バッファ１１は、図１のスケジュ
ール情報中間バッファ２や付加データ中間バッファ３と
同様に構成されるもので、スケジューラ１が出力するス
ケジュール情報および付加データの両方を記憶するよう
になされている。即ち、図５の実施の形態においては、
スケジュール情報と付加データとが別々に記憶されるの
ではなく、１つの共通中間バッファ１１に記憶されるよ
うになされている。
ール情報中間バッファ２や付加データ中間バッファ３と
同様に構成されるもので、スケジューラ１が出力するス
ケジュール情報および付加データの両方を記憶するよう
になされている。即ち、図５の実施の形態においては、
スケジュール情報と付加データとが別々に記憶されるの
ではなく、１つの共通中間バッファ１１に記憶されるよ
うになされている。
【０１０３】図５の実施の形態では、スケジューラ１
は、スケジュール情報を出力した後に、必要な付加デー
タがある場合には、その付加データを出力する。従っ
て、共通中間バッファ１１には、スケジュール情報およ
び必要な付加データが、スケジューラ１が出力する順番
で記憶されていく。
は、スケジュール情報を出力した後に、必要な付加デー
タがある場合には、その付加データを出力する。従っ
て、共通中間バッファ１１には、スケジュール情報およ
び必要な付加データが、スケジューラ１が出力する順番
で記憶されていく。
【０１０４】一方、ビットストリーム多重化器４は、ス
ケジュール情報中間バッファ２または付加データ中間バ
ッファ３それぞれからスケジュール情報または必要な付
加データを読み出すのと同様にして、共通中間バッファ
１１からスケジュール情報および必要な付加データを読
み出し、ビットストリーム多重化処理を行っていく。
ケジュール情報中間バッファ２または付加データ中間バ
ッファ３それぞれからスケジュール情報または必要な付
加データを読み出すのと同様にして、共通中間バッファ
１１からスケジュール情報および必要な付加データを読
み出し、ビットストリーム多重化処理を行っていく。
【０１０５】スケジューラ１が出力するスケジュール情
報および必要な付加データは、ビットストリーム多重化
器４において、スケジューラ１が出力する順番で使用さ
れていくので、スケジュール情報と付加データとを別々
に記憶するのではなく、１つの共通中間バッファ１１に
記憶させても問題は生じない。従って、この場合、多重
化装置の構成の簡素化を図ることが可能となる。
報および必要な付加データは、ビットストリーム多重化
器４において、スケジューラ１が出力する順番で使用さ
れていくので、スケジュール情報と付加データとを別々
に記憶するのではなく、１つの共通中間バッファ１１に
記憶させても問題は生じない。従って、この場合、多重
化装置の構成の簡素化を図ることが可能となる。
【０１０６】以上のように、スケジューラ１が出力する
スケジュール情報および付加データを記憶するようにし
たので、スケジューラ１における多重化スケジューリン
グ処理、またはビットストリーム多重化器４におけるビ
ットストリーム多重化処理のうちの一方の処理の遅れ
が、他方の処理に影響することを防止することができ
る。
スケジュール情報および付加データを記憶するようにし
たので、スケジューラ１における多重化スケジューリン
グ処理、またはビットストリーム多重化器４におけるビ
ットストリーム多重化処理のうちの一方の処理の遅れ
が、他方の処理に影響することを防止することができ
る。
【０１０７】その結果、多重化レートを低下させたり、
処理を高速で行うことができる装置を用いる必要がなく
なる。さらに、多重化ストリームを記憶させるための容
量の大きなバッファを設ける必要もない。また、従来の
ように、多重化命令や多重化終了通知の送受信を行う必
要もなくなる。
処理を高速で行うことができる装置を用いる必要がなく
なる。さらに、多重化ストリームを記憶させるための容
量の大きなバッファを設ける必要もない。また、従来の
ように、多重化命令や多重化終了通知の送受信を行う必
要もなくなる。
【０１０８】次に、上述したような多重化装置は、例え
ば、ビデオカメラなどで記録した画像および音声を編集
し、圧縮符号化して記録しておくような、いわばデスク
トップでの編集を行うパーソナルコンピュータ（以下、
適宜、パソコンという）などに適用することができる。
ば、ビデオカメラなどで記録した画像および音声を編集
し、圧縮符号化して記録しておくような、いわばデスク
トップでの編集を行うパーソナルコンピュータ（以下、
適宜、パソコンという）などに適用することができる。
【０１０９】図６は、そのようなパソコンの一実施の形
態の構成例を示している。
態の構成例を示している。
【０１１０】マイクロプロセッサ２１は、そこへの入力
にしたがって、画像や音声の編集処理などの所定の処理
を行う。メインメモリ２２は、マイクロプロセッサ２１
が実行するプログラムや、マイクロプロセッサ２１の動
作上必要なデータを記憶する。フレームメモリ２３は、
例えば、ＤＲＡＭ（Dynamic RAM）などで構成され、１
画面の画像についての編集を行うときなどに、その画像
データを記憶する。バスブリッジ２４は、内部バスとＰ
ＣＩ（Peripheral Component Interconnect）ローカル
バスとの間でのデータのやりとりを制御する。
にしたがって、画像や音声の編集処理などの所定の処理
を行う。メインメモリ２２は、マイクロプロセッサ２１
が実行するプログラムや、マイクロプロセッサ２１の動
作上必要なデータを記憶する。フレームメモリ２３は、
例えば、ＤＲＡＭ（Dynamic RAM）などで構成され、１
画面の画像についての編集を行うときなどに、その画像
データを記憶する。バスブリッジ２４は、内部バスとＰ
ＣＩ（Peripheral Component Interconnect）ローカル
バスとの間でのデータのやりとりを制御する。
【０１１１】以上のマイクロプロセッサ２１、メインメ
モリ２２、フレームメモリ２３、およびバスブリッジ２
４は、相互に、内部バスを介して接続されており、残り
のブロックは、ＰＣＩローカルバスを介して相互に接続
されている。なお、バスブリッジ２４は、内部バスとＰ
ＣＩローカルバスとの両方に接続されている。
モリ２２、フレームメモリ２３、およびバスブリッジ２
４は、相互に、内部バスを介して接続されており、残り
のブロックは、ＰＣＩローカルバスを介して相互に接続
されている。なお、バスブリッジ２４は、内部バスとＰ
ＣＩローカルバスとの両方に接続されている。
【０１１２】モデム２５は、電話回線を介しての通信を
制御する。ここで、モデム２５において、例えば、イン
ターネットなどから受信した画像や音声なども編集の対
象とすることができるし、また、編集した画像や音声な
どを、外部に送信することもできる。
制御する。ここで、モデム２５において、例えば、イン
ターネットなどから受信した画像や音声なども編集の対
象とすることができるし、また、編集した画像や音声な
どを、外部に送信することもできる。
【０１１３】チューナ２６は、例えば、地上波や衛星回
線、ＣＡＴＶ網を利用して放送されているテレビジョン
放送信号を受信する。ここで、チューナ２６において受
信した画像や音声なども編集の対象とすることができ
る。
線、ＣＡＴＶ網を利用して放送されているテレビジョン
放送信号を受信する。ここで、チューナ２６において受
信した画像や音声なども編集の対象とすることができ
る。
【０１１４】Ｉ／Ｏ（Input/Output）インターフェイス
２７は、キーボード２８やマウス２９の操作に対応した
操作信号を出力する。キーボード２８は、所定のデータ
やコマンドを入力するときに、マウス２９は、ディスプ
レイ３６に表示されるカーソルを移動させたり、また、
位置を指示したりするときなどに、それぞれ操作され
る。
２７は、キーボード２８やマウス２９の操作に対応した
操作信号を出力する。キーボード２８は、所定のデータ
やコマンドを入力するときに、マウス２９は、ディスプ
レイ３６に表示されるカーソルを移動させたり、また、
位置を指示したりするときなどに、それぞれ操作され
る。
【０１１５】補助記憶インターフェイス３０は、ＣＤ−
Ｒ（Compact Disc Recodable）３１やＨＤ（Hard Dis
k）３２などに対するデータの読み書きを制御する。Ｃ
Ｄ−Ｒ３１およびＨＤ３２には、編集対象の画像や音
声、さらには、編集後の画像や音声などが記録される。
Ｒ（Compact Disc Recodable）３１やＨＤ（Hard Dis
k）３２などに対するデータの読み書きを制御する。Ｃ
Ｄ−Ｒ３１およびＨＤ３２には、編集対象の画像や音
声、さらには、編集後の画像や音声などが記録される。
【０１１６】外部インターフェイス３３は、ビデオカメ
ラ３４や、ＶＴＲ（Video Tape Recoder）３５、ディス
プレイ３６などに対する画像や音声の入出力を管理する
ようになされている。ビデオカメラ３４では、例えば、
編集対象とする画像などが撮影される。ＶＴＲ３５で
は、既に記録された、編集対象の画像や音声が再生され
たり、また、編集後の画像や音声などが記録される。デ
ィスプレイ３６では、編集対象とする画像や、編集後の
画像などが表示される。
ラ３４や、ＶＴＲ（Video Tape Recoder）３５、ディス
プレイ３６などに対する画像や音声の入出力を管理する
ようになされている。ビデオカメラ３４では、例えば、
編集対象とする画像などが撮影される。ＶＴＲ３５で
は、既に記録された、編集対象の画像や音声が再生され
たり、また、編集後の画像や音声などが記録される。デ
ィスプレイ３６では、編集対象とする画像や、編集後の
画像などが表示される。
【０１１７】デコーダボート３７では、エンコーダ／多
重化ボート４０から得られる多重化ストリームがデマル
チプレクスされ、その結果得られる各エレメンタリスト
リームがデコードされる。
重化ボート４０から得られる多重化ストリームがデマル
チプレクスされ、その結果得られる各エレメンタリスト
リームがデコードされる。
【０１１８】エンコーダ／多重化ボート４０は、モデム
２５や、チューナ２６、ＣＤ−Ｒ３１，ＨＤ３２、ビデ
オカメラ３４、ＶＴＲ３５などからの画像や音声を符号
化し、その結果得られるエレメンタリストリームを多重
化することで、多重化ストリームを形成する。
２５や、チューナ２６、ＣＤ−Ｒ３１，ＨＤ３２、ビデ
オカメラ３４、ＶＴＲ３５などからの画像や音声を符号
化し、その結果得られるエレメンタリストリームを多重
化することで、多重化ストリームを形成する。
【０１１９】即ち、画像についてのデータ（ビデオデー
タ）は、ビデオ符号化器４１に入力される。ビデオ符号
化器４１では、そこに入力されるビデオデータが符号化
され、エレメンタリストリームとして出力される。この
ビデオデータのエレメンタリストリームは、ビデオメモ
リ４２に供給されて記憶される。ビデオメモリ４２に記
憶されたエレメンタリストリームは、必要に応じて、ビ
デオ符号化器４１を介して、ビットストリーム多重化器
４９によって読み出される。
タ）は、ビデオ符号化器４１に入力される。ビデオ符号
化器４１では、そこに入力されるビデオデータが符号化
され、エレメンタリストリームとして出力される。この
ビデオデータのエレメンタリストリームは、ビデオメモ
リ４２に供給されて記憶される。ビデオメモリ４２に記
憶されたエレメンタリストリームは、必要に応じて、ビ
デオ符号化器４１を介して、ビットストリーム多重化器
４９によって読み出される。
【０１２０】また、ビデオ符号化器４１は、自身が出力
したエレメンタリストリームについてのアクセスユニッ
ト情報を、スケジューラ４５に出力する。
したエレメンタリストリームについてのアクセスユニッ
ト情報を、スケジューラ４５に出力する。
【０１２１】音声についてのデータ（オーディオデー
タ）は、オーディオ符号化器４３に入力される。オーデ
ィオ符号化器４３では、そこに入力されるオーディオデ
ータが符号化され、エレメンタリストリームとして、Ｆ
ＩＦＯ（First In First Out）メモリ４４に供給されて
記憶される。ＦＩＦＯメモリ４４に記憶されたエレメン
タリストリームは、必要に応じて、ビットストリーム多
重化器４９によって読み出される。
タ）は、オーディオ符号化器４３に入力される。オーデ
ィオ符号化器４３では、そこに入力されるオーディオデ
ータが符号化され、エレメンタリストリームとして、Ｆ
ＩＦＯ（First In First Out）メモリ４４に供給されて
記憶される。ＦＩＦＯメモリ４４に記憶されたエレメン
タリストリームは、必要に応じて、ビットストリーム多
重化器４９によって読み出される。
【０１２２】また、オーディオ符号化器４３は、自身が
出力したエレメンタリストリームについてのアクセスユ
ニット情報を、スケジューラ４５に出力する。
出力したエレメンタリストリームについてのアクセスユ
ニット情報を、スケジューラ４５に出力する。
【０１２３】スケジューラ４５は、図１および図５のス
ケジューラ１に相当し、この実施の形態では、ＭＰＵ
（マイクロプロセッサ）４６とメモリ４７で構成されて
いる。ＭＰＵ４６では、そこに供給されるアクセスユニ
ット情報に基づき、スケジュール情報および必要な付加
データが算出され、ＦＩＦＯメモリ４８に出力される。
ケジューラ１に相当し、この実施の形態では、ＭＰＵ
（マイクロプロセッサ）４６とメモリ４７で構成されて
いる。ＭＰＵ４６では、そこに供給されるアクセスユニ
ット情報に基づき、スケジュール情報および必要な付加
データが算出され、ＦＩＦＯメモリ４８に出力される。
【０１２４】ＦＩＦＯメモリ４８は、図５の共通中間バ
ッファ１１に相当し、スケジューラ４５（ＭＰＵ４６）
からのスケジュール情報および付加データを記憶する。
ッファ１１に相当し、スケジューラ４５（ＭＰＵ４６）
からのスケジュール情報および付加データを記憶する。
【０１２５】そして、図１および図５のビットストリー
ム多重化器４に相当するビットストリーム多重化器４９
において、ＦＩＦＯメモリ４８からスケジュール情報が
読み出され、そのスケジュール情報に基づいて、多重化
ストリームとして出力すべきデータが選択される。
ム多重化器４に相当するビットストリーム多重化器４９
において、ＦＩＦＯメモリ４８からスケジュール情報が
読み出され、そのスケジュール情報に基づいて、多重化
ストリームとして出力すべきデータが選択される。
【０１２６】即ち、ビデオデータまたはオーディオデー
タのエレメンタリストリームを選択すべきときは、その
エレメンタリストリームが、ビデオメモリ４２またはＦ
ＩＦＯメモリ４４からそれぞれ読み出され、多重化スト
リームとして出力される。また、スケジューラ４５が出
力する付加データを選択すべきときは、その付加データ
が、ＦＩＦＯメモリ４８から読み出され、多重化ストリ
ームとして出力される。さらに、付加データのうち、固
定のデータを選択すべきときは、固定データメモリ５０
から、その固定のデータが読み出される。即ち、固定デ
ータメモリ５０は、図１および図５の固定データメモリ
５に相当するもので、固定のデータを記憶しており、固
定のデータを選択すべきときは、固定データメモリ５０
から、その固定のデータが読み出され、多重化ストリー
ムとして出力される。
タのエレメンタリストリームを選択すべきときは、その
エレメンタリストリームが、ビデオメモリ４２またはＦ
ＩＦＯメモリ４４からそれぞれ読み出され、多重化スト
リームとして出力される。また、スケジューラ４５が出
力する付加データを選択すべきときは、その付加データ
が、ＦＩＦＯメモリ４８から読み出され、多重化ストリ
ームとして出力される。さらに、付加データのうち、固
定のデータを選択すべきときは、固定データメモリ５０
から、その固定のデータが読み出される。即ち、固定デ
ータメモリ５０は、図１および図５の固定データメモリ
５に相当するもので、固定のデータを記憶しており、固
定のデータを選択すべきときは、固定データメモリ５０
から、その固定のデータが読み出され、多重化ストリー
ムとして出力される。
【０１２７】ビットストリーム多重化器４９から出力さ
れた多重化ストリームは、バスＩ／Ｆ（InterFace）回
路５１に供給される。バスＩ／Ｆ回路５１は、受信した
多重化ストリームを、ＰＣＩローカルバスに出力する。
れた多重化ストリームは、バスＩ／Ｆ（InterFace）回
路５１に供給される。バスＩ／Ｆ回路５１は、受信した
多重化ストリームを、ＰＣＩローカルバスに出力する。
【０１２８】ＰＣＩローカルバスに出力された多重化ス
トリームは、例えば、デコーダボート３７に供給され、
そこで、デマルチプレクス、デコードがなされた後、外
部インターフェイス３３を介して、ＶＴＲ３５に供給さ
れて記録され、あるいは、ディスプレイ３６に供給され
て表示される。また、ＰＣＩローカルバスに出力された
多重化ストリームは、例えば、補助記憶インターフェイ
ス３０を介して、ＣＤ−Ｒ３１またはＨＤ３２に供給さ
れて記録され、あるいは、バスブリッジ２４および内部
バスを介して、マイクロプロセッサ２１に供給され、所
定の編集処理が施される。なお、マイクロプロセッサ２
１は、多重化ストリームをデマルチプレクスし、さらに
デコードしたものは勿論、多重化ストリームのままでも
編集（例えば、カット編集など）することができるよう
になされている。
トリームは、例えば、デコーダボート３７に供給され、
そこで、デマルチプレクス、デコードがなされた後、外
部インターフェイス３３を介して、ＶＴＲ３５に供給さ
れて記録され、あるいは、ディスプレイ３６に供給され
て表示される。また、ＰＣＩローカルバスに出力された
多重化ストリームは、例えば、補助記憶インターフェイ
ス３０を介して、ＣＤ−Ｒ３１またはＨＤ３２に供給さ
れて記録され、あるいは、バスブリッジ２４および内部
バスを介して、マイクロプロセッサ２１に供給され、所
定の編集処理が施される。なお、マイクロプロセッサ２
１は、多重化ストリームをデマルチプレクスし、さらに
デコードしたものは勿論、多重化ストリームのままでも
編集（例えば、カット編集など）することができるよう
になされている。
【０１２９】以上のように、スケジューラ４５が出力す
るスケジュール情報および付加情報は、ＦＩＦＯメモリ
４８に記憶されるので、図１および図５における場合と
同様に、スケジューラ４５またはビットストリーム多重
化器４９における処理のうちの一方の処理の遅延は、基
本的に、他方の処理に影響を与えない。
るスケジュール情報および付加情報は、ＦＩＦＯメモリ
４８に記憶されるので、図１および図５における場合と
同様に、スケジューラ４５またはビットストリーム多重
化器４９における処理のうちの一方の処理の遅延は、基
本的に、他方の処理に影響を与えない。
【０１３０】従って、例えば、スケジューラ４５を構成
するＭＰＵ４６に、例えば、マイクロプロセッサ２１と
の通信制御や、ビデオ符号化器４１およびオーディオ符
号化器４３の制御などの、多重化スケジューリング処理
以外の処理を行わせることが可能となる。
するＭＰＵ４６に、例えば、マイクロプロセッサ２１と
の通信制御や、ビデオ符号化器４１およびオーディオ符
号化器４３の制御などの、多重化スケジューリング処理
以外の処理を行わせることが可能となる。
【０１３１】さらに、ＰＣＩローカルバスへの多重化ス
トリームの転送単位などが、例えば、パケット単位のよ
うなスケジュール単位と一致しなくても、ビットストリ
ーム多重化器４９およびバスＩ／Ｆ回路５１との間にバ
ッファを設けることなく、ＰＣＩローカルバスや、多重
化ストリームの転送先などに最適な単位で、多重化スト
リームを転送することが可能となる。
トリームの転送単位などが、例えば、パケット単位のよ
うなスケジュール単位と一致しなくても、ビットストリ
ーム多重化器４９およびバスＩ／Ｆ回路５１との間にバ
ッファを設けることなく、ＰＣＩローカルバスや、多重
化ストリームの転送先などに最適な単位で、多重化スト
リームを転送することが可能となる。
【０１３２】なお、本実施の形態においては、画像や音
声をＭＰＥＧ符号化するようにしたが、符号化方式は、
ＭＰＥＧの規格に準拠したものに限定されるものではな
い。また、本発明は、画像や音声を符号化せずに多重化
する場合にも適用可能である。
声をＭＰＥＧ符号化するようにしたが、符号化方式は、
ＭＰＥＧの規格に準拠したものに限定されるものではな
い。また、本発明は、画像や音声を符号化せずに多重化
する場合にも適用可能である。
【０１３３】さらに、本実施の形態では、複数のエレメ
ンタリストリームを多重化する場合について説明した
が、本発明は、１のエレメンタリストリームを付加デー
タと多重化する場合にも適用可能である。
ンタリストリームを多重化する場合について説明した
が、本発明は、１のエレメンタリストリームを付加デー
タと多重化する場合にも適用可能である。
【０１３４】また、本発明は、ハードウェアまたはソフ
トウェアのいずれによっても実現可能である。
トウェアのいずれによっても実現可能である。
【０１３５】
【発明の効果】本発明の多重化装置および多重化方法に
よれば、スケジュール情報を算出する処理と、ビットス
トリームおよび付加情報を時分割多重化する処理のう
ち、いずれか一方の処理の遅れが、他方の処理に影響を
与えることを、基本的に防止することが可能となる。
よれば、スケジュール情報を算出する処理と、ビットス
トリームおよび付加情報を時分割多重化する処理のう
ち、いずれか一方の処理の遅れが、他方の処理に影響を
与えることを、基本的に防止することが可能となる。
【０１３６】本発明の伝送装置および伝送方法によれ
ば、多重化ストリームを得るにあたり、スケジュール情
報を算出する処理と、ビットストリームおよび付加情報
を時分割多重化する処理のうち、いずれか一方の処理の
遅れが、他方の処理に影響を与えることを、基本的に防
止することが可能となる。
ば、多重化ストリームを得るにあたり、スケジュール情
報を算出する処理と、ビットストリームおよび付加情報
を時分割多重化する処理のうち、いずれか一方の処理の
遅れが、他方の処理に影響を与えることを、基本的に防
止することが可能となる。
【図１】本発明を適用した多重化装置の第１実施の形態
の構成例を示すブロック図である。
の構成例を示すブロック図である。
【図２】図１のスケジューラ１およびビットストリーム
多重化器４の処理タイミングを示すタイミングチャート
である。
多重化器４の処理タイミングを示すタイミングチャート
である。
【図３】図１のスケジューラ１の処理を説明するための
フローチャートである。
フローチャートである。
【図４】図１のビットストリーム多重化器４の処理を説
明するためのフローチャートである。
明するためのフローチャートである。
【図５】本発明を適用した多重化装置の第２実施の形態
の構成例を示すブロック図である。
の構成例を示すブロック図である。
【図６】本発明を適用したパーソナルコンピュータの一
実施の形態の構成例を示すブロック図である。
実施の形態の構成例を示すブロック図である。
【図７】従来の多重化／分離装置の一例の構成を示すブ
ロック図である。
ロック図である。
【図８】ＳＴＤの構成例を示すブロック図である。
【図９】多重化ストリームのフォーマットを示す図であ
る。
る。
【図１０】従来の多重化装置の一例の構成を示すブロッ
ク図である。
ク図である。
【図１１】図１０の多重化装置の処理タイミングを示す
タイミングチャートである。
タイミングチャートである。
【図１２】従来の多重化装置の他の一例の構成を示すブ
ロック図である。
ロック図である。
【図１３】図１２の多重化装置の処理タイミングを示す
タイミングチャートである。
タイミングチャートである。
１ スケジューラ（スケジュール情報算出手段）（付加
情報算出手段）， ２スケジュール情報中間バッファ
（スケジュール情報記憶手段）， ３ 付加データ中間
バッファ（付加データ記憶手段）， ４ ビットストリ
ーム多重化器（多重化手段）， ５ 固定データメモ
リ， １１ 共通中間バッファ（スケジュール情報記憶
手段）（付加データ記憶手段）， ２１ マイクロプロ
セッサ，２２ メインメモリ， ２３ フレームメモ
リ， ２４ バスブリッジ， ２５モデム， ２６ チ
ューナ， ２７ Ｉ／Ｏインターフェイス， ２８ キ
ーボード， ２９ マウス， ３０ 補助記憶インター
フェイス， ３１ ＣＤ−Ｒ， ３２ ＨＤ， ３３
外部インターフェイス， ３４ ビデオカメラ，３５
ＶＴＲ， ３６ ディスプレイ， ３７ デコーダボー
ド， ４０ エンコーダ／多重化ボート， ４１ ビデ
オ符号化器， ４２ ビデオメモリ， ４３ オーディ
オ符号化器， ４４ ＦＩＦＯメモリ， ４５ スケジ
ューラ（スケジュール情報算出手段）（付加情報算出手
段）， ４６ ＭＰＵ， ４７ メモリ， ４８ ＦＩ
ＦＯメモリ（スケジュール情報記憶手段）（付加データ
記憶手段）， ４９ ビットストリーム多重化器（多重
化手段）， ５０ 固定データメモリ， ５１ バスＩ
／Ｆ回路， １２１1乃至１２１N 符号化器
情報算出手段）， ２スケジュール情報中間バッファ
（スケジュール情報記憶手段）， ３ 付加データ中間
バッファ（付加データ記憶手段）， ４ ビットストリ
ーム多重化器（多重化手段）， ５ 固定データメモ
リ， １１ 共通中間バッファ（スケジュール情報記憶
手段）（付加データ記憶手段）， ２１ マイクロプロ
セッサ，２２ メインメモリ， ２３ フレームメモ
リ， ２４ バスブリッジ， ２５モデム， ２６ チ
ューナ， ２７ Ｉ／Ｏインターフェイス， ２８ キ
ーボード， ２９ マウス， ３０ 補助記憶インター
フェイス， ３１ ＣＤ−Ｒ， ３２ ＨＤ， ３３
外部インターフェイス， ３４ ビデオカメラ，３５
ＶＴＲ， ３６ ディスプレイ， ３７ デコーダボー
ド， ４０ エンコーダ／多重化ボート， ４１ ビデ
オ符号化器， ４２ ビデオメモリ， ４３ オーディ
オ符号化器， ４４ ＦＩＦＯメモリ， ４５ スケジ
ューラ（スケジュール情報算出手段）（付加情報算出手
段）， ４６ ＭＰＵ， ４７ メモリ， ４８ ＦＩ
ＦＯメモリ（スケジュール情報記憶手段）（付加データ
記憶手段）， ４９ ビットストリーム多重化器（多重
化手段）， ５０ 固定データメモリ， ５１ バスＩ
／Ｆ回路， １２１1乃至１２１N 符号化器
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平９−275384（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04J 3/16
H04J 3/00
Claims (5)
- 【請求項１】 １以上のディジタル信号のビットストリ
ームと、そのビットストリームに付加すべき付加情報と
を時分割多重化する多重化装置であって、 前記ビットストリームごとに規定されるアクセスユニッ
トに関するアクセスユニット情報に基づいて、時分割多
重化を行うスケジュールに関するスケジュール情報を算
出するスケジュール情報算出手段と、 前記スケジュール情報算出手段が出力する前記スケジュ
ール情報を記憶するスケジュール情報記憶手段と、 前記付加情報を算出する付加情報算出手段と、 前記付加情報算出手段が出力する前記付加情報を記憶す
る付加情報記憶手段と、 前記スケジュール情報記憶手段に記憶された前記スケジ
ュール情報に基づいて、前記ビットストリームおよび付
加情報を時分割多重化する多重化手段とを備え、 前記多重化手段は、前記スケジュール情報記億手段及び
前記付加情報記億手段の空き状態に応じて処理を行なう
ことを特徴とする多重化装置。 - 【請求項２】 前記スケジュール情報記憶手段および付
加情報記憶手段は、情報を記憶する１の記憶手段で構成
されることを特徴とする請求項１に記載の多重化装置。 - 【請求項３】 １以上のディジタル信号のビットストリ
ームと、そのビットストリームに付加すべき付加情報と
を時分割多重化する多重化方法であって、 前記ビットストリームごとに規定されるアクセスユニッ
トに関するアクセスユニット情報に基づいて、時分割多
重化を行うスケジュールに関するスケジュール情報を算
出するとともに、前記付加情報を算出し、 前記スケジュール情報および付加情報を記憶し、 前記スケジュール情報に基づいて、前記ビットストリー
ムおよび付加情報を時分割多重化する際、前記スケジュ
ール情報及び付加情報を記憶する記億手段の空き状態に
応じて処理を行なうことを特徴とする多重化方法。 - 【請求項４】 １以上のディジタル信号のビットストリ
ームと、そのビットストリームに付加すべき付加情報と
を時分割多重化した多重化ストリームを伝送する伝送装
置であって、 前記多重化ストリームは、 前記ビットストリームごとに規定されるアクセスユニッ
トに関するアクセスユニット情報に基づいて、時分割多
重化を行うスケジュールに関するスケジュール情報を算
出するとともに、前記付加情報を算出し、 前記スケジュール情報および付加情報を記憶し、 前記スケジュール情報に基づいて、前記ビットストリー
ムおよび付加情報を時分割多重化する際、前記スケジュ
ール情報及び付加情報を記憶する記億手段の空き状態に
応じて処理を行なうことにより得られたものであること
を特徴とする伝送装置。 - 【請求項５】 １以上のディジタル信号のビットストリ
ームと、そのビットストリームに付加すべき付加情報と
を時分割多重化した多重化ストリームを伝送する伝送方
法であって、 前記多重化ストリームは、 前記ビットストリームごとに規定されるアクセスユニッ
トに関するアクセスユニット情報に基づいて、時分割多
重化を行うスケジュールに関するスケジュール情報を算
出するとともに、前記付加情報を算出し、 前記スケジュール情報および付加情報を記憶し、 前記スケジュール情報に基づいて、前記ビットストリー
ムおよび付加情報を時分割多重化する際、前記スケジュ
ール情報及び付加情報を記憶する記億手段の空き状態に
応じて処理を行なうことにより得られたものであること
を特徴とする伝送方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07728697A JP3438223B2 (ja) | 1997-03-28 | 1997-03-28 | 多重化装置および多重化方法、並びに伝送装置および伝送方法 |
| US09/048,193 US6754239B2 (en) | 1997-03-28 | 1998-03-25 | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium |
| EP98105558A EP0868087A3 (en) | 1997-03-28 | 1998-03-26 | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07728697A JP3438223B2 (ja) | 1997-03-28 | 1997-03-28 | 多重化装置および多重化方法、並びに伝送装置および伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10276164A JPH10276164A (ja) | 1998-10-13 |
| JP3438223B2 true JP3438223B2 (ja) | 2003-08-18 |
Family
ID=13629637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07728697A Expired - Fee Related JP3438223B2 (ja) | 1997-03-28 | 1997-03-28 | 多重化装置および多重化方法、並びに伝送装置および伝送方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6754239B2 (ja) |
| EP (1) | EP0868087A3 (ja) |
| JP (1) | JP3438223B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7100193B2 (en) | 2000-03-29 | 2006-08-29 | Intellocity Usa, Inc. | Rate controlled insertion of asynchronous data into a synchronous stream |
| EP2288169A3 (en) * | 1999-07-14 | 2011-12-14 | Panasonic Corporation | Information provision apparatus, information receiving apparatus, and storage medium |
| JP4250832B2 (ja) * | 1999-10-14 | 2009-04-08 | 三菱電機株式会社 | データ送出装置 |
| KR100590185B1 (ko) * | 1999-11-20 | 2006-06-14 | 삼성전자주식회사 | 부가정보를 포함하는 오디오/비디오데이터의 저장 및검색장치 |
| US6957264B1 (en) * | 2000-06-13 | 2005-10-18 | Intel Corporation | Method and apparatus for selecting internet-based broadcast sources |
| JP3366906B2 (ja) * | 2001-03-01 | 2003-01-14 | 長瀬産業株式会社 | Ｍｐｅｇ変換装置 |
| WO2002102049A2 (en) * | 2001-06-11 | 2002-12-19 | Broadcom Corporation | System and method for multi-channel video and audio encoding on a single chip |
| US7486680B1 (en) * | 2002-03-21 | 2009-02-03 | Ji Zhang | Packet schedule timestamp for a compressed bitstream |
| KR100488804B1 (ko) * | 2002-10-07 | 2005-05-12 | 한국전자통신연구원 | Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법 |
| US7369575B2 (en) * | 2003-07-17 | 2008-05-06 | Sun Microsystems, Inc. | Bandwidth matching device and method for operating the same |
| RU2370833C2 (ru) | 2003-09-04 | 2009-10-20 | Конинклейке Филипс Электроникс Н.В. | Носитель записи, несущий видеосигнал и, по меньшей мере, один дополнительный информационный сигнал |
| US7945141B2 (en) * | 2003-10-06 | 2011-05-17 | Samsung Electronics Co., Ltd. | Information storage medium including event occurrence information, and apparatus and method for reproducing the information storage medium |
| US7535842B1 (en) * | 2004-04-09 | 2009-05-19 | Nortel Networks Limited | Method and system for merging bandwidth in multiplexing flows |
| US20070067472A1 (en) * | 2005-09-20 | 2007-03-22 | Lsi Logic Corporation | Accurate and error resilient time stamping method and/or apparatus for the audio-video interleaved (AVI) format |
| WO2007138385A1 (en) * | 2006-05-29 | 2007-12-06 | Freescale Semiconductor, Inc. | Method for transmitting data from multiple clock domains and a device having data transmission capabilities |
| US8238333B2 (en) | 2006-05-29 | 2012-08-07 | Freescale Semiconductor, Inc. | Method for transmitting data and a device having data transmission capabilities |
| US7657668B2 (en) * | 2006-08-16 | 2010-02-02 | Qnx Software Systems (Wavemakers), Inc. | Clock synchronization of data streams |
| JP5241582B2 (ja) * | 2009-03-27 | 2013-07-17 | 三菱電機株式会社 | マルチメディア送信装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3226945B2 (ja) * | 1991-10-02 | 2001-11-12 | キヤノン株式会社 | マルチメディア通信装置 |
| US5461619A (en) * | 1993-07-06 | 1995-10-24 | Zenith Electronics Corp. | System for multiplexed transmission of compressed video and auxiliary data |
| US5696764A (en) * | 1993-07-21 | 1997-12-09 | Fujitsu Limited | ATM exchange for monitoring congestion and allocating and transmitting bandwidth-guaranteed and non-bandwidth-guaranteed connection calls |
| US5671226A (en) * | 1995-02-09 | 1997-09-23 | Mitsubishi Denki Kabushiki Kaisha | Multimedia information processing system |
| WO1997007606A1 (en) * | 1995-08-16 | 1997-02-27 | Starguide Digital Networks, Inc. | Dynamic allocation of bandwidth for transmission of audio signals and a video signal |
| US5835498A (en) * | 1995-10-05 | 1998-11-10 | Silicon Image, Inc. | System and method for sending multiple data signals over a serial link |
| JP3491431B2 (ja) * | 1996-02-20 | 2004-01-26 | 株式会社日立製作所 | テレビジョン信号受信装置 |
| US6157674A (en) * | 1996-03-21 | 2000-12-05 | Sony Corporation | Audio and video data transmitting apparatus, system, and method thereof |
| US5793425A (en) * | 1996-09-13 | 1998-08-11 | Philips Electronics North America Corporation | Method and apparatus for dynamically controlling encoding parameters of multiple encoders in a multiplexed system |
| JP3622365B2 (ja) * | 1996-09-26 | 2005-02-23 | ヤマハ株式会社 | 音声符号化伝送方式 |
| US6404776B1 (en) * | 1997-03-13 | 2002-06-11 | 8 × 8, Inc. | Data processor having controlled scalable input data source and method thereof |
-
1997
- 1997-03-28 JP JP07728697A patent/JP3438223B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-25 US US09/048,193 patent/US6754239B2/en not_active Expired - Fee Related
- 1998-03-26 EP EP98105558A patent/EP0868087A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US20010040903A1 (en) | 2001-11-15 |
| US6754239B2 (en) | 2004-06-22 |
| EP0868087A2 (en) | 1998-09-30 |
| JPH10276164A (ja) | 1998-10-13 |
| EP0868087A3 (en) | 2004-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3438223B2 (ja) | 多重化装置および多重化方法、並びに伝送装置および伝送方法 | |
| US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
| US6359910B1 (en) | Clock conversion apparatus and method | |
| JPH10507597A (ja) | マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置 | |
| US20060203287A1 (en) | Reproducing apparatus and method, and recording medium | |
| JP3045715B2 (ja) | 伝送システム、送信装置、記録再生装置、および記録装置 | |
| JP3828053B2 (ja) | 受信されたマルチメディアデータを保存するバッファの容量を可変できるマルチメディアデータ復元装置及び方法 | |
| JP3429652B2 (ja) | ディジタル符号化多重化装置 | |
| JPH0730886A (ja) | 画像および音声信号処理方法とその装置 | |
| US6718119B1 (en) | Video/audio decoding apparatus and method | |
| WO2005055230A1 (en) | Method and apparatus for transcoding digital audio/video streams | |
| JP3504216B2 (ja) | デジタルインターフェースを利用した音声ストリーム送受信装置及び方法 | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP3404808B2 (ja) | 復号方法と復号装置 | |
| JPH11205789A (ja) | Ｍｐｅｇ２トランスポートストリーム伝送レート変換装 置 | |
| JPH10276407A (ja) | ビデオ情報提供管理方法およびシステム | |
| JP4850041B2 (ja) | 映像再生システム、映像再生の同期方法および映像再生端末 | |
| JP6464647B2 (ja) | 動画像処理方法、動画像の送信装置、動画像処理システムおよび動画像処理プログラム | |
| JP2000187940A (ja) | 記録再生装置、および記録装置 | |
| WO2017033764A1 (ja) | 記録装置、および記録方法、並びにプログラム | |
| EP1148723B1 (en) | Special reproduction data generating device, medium, and information aggregate | |
| JP2000067513A (ja) | ディジタル信号処理装置と記録装置及び再生装置 | |
| JPH11187361A (ja) | データ多重化方法及びデータ多重化装置 | |
| JP2004158921A (ja) | データ送信装置及びデータ受信装置 | |
| JP2007068103A (ja) | Ｍｐｅｇ符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030512 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080613 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090613 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090613 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100613 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100613 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |