JP2004519908A

JP2004519908A - Ｍｐｅｇ４ビデオデータを符号化する方法及び装置

Info

Publication number: JP2004519908A
Application number: JP2002568839A
Authority: JP
Inventors: フィリッペゲントリク; ベアトリセネゾット; イヴェスラマンズィン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-02-27
Filing date: 2002-02-25
Publication date: 2004-07-02
Also published as: KR100841896B1; EP1384381B1; US6888895B2; KR20030005297A; WO2002069643A1; EP1384381A1; US20020118749A1; CN1457602A; CN1224263C

Abstract

本発明は、ＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する方法及び装置に関する。ビデオエレメントをシステムエレメントにマッピングする際のあらゆる問題を避けるために、特定のアライメント／フラグメンテーションのメカニズムが選択される。このメカニズムによって、ビデオビットストリームが、ビデオデータに含まれるビデオオブジェクトプレーン（ＶＯＰ）のフラグメンテーションに対応するシンタクスモードを用いてビデオパケット（ＶＰ）に符号化されるとともに、ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティション（ＤＰ）に符号化されるとき、ビデオデータパーティションが１つ又は複数のＳＬパケット（ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４，．．．）にマッピングされ、第１のビデオデータパーティション（ＤＰ１）のスタートがＳＬパケットのスタートに常にマッピングされ、第１のデータパーティションをトランスポートする最後のＳＬパケットが、バイトアライメントを得るために、分離マーカと、第２のデータパーティション（ＤＰ２）の７つまでの後続ビットとを含み、次のＳＬパケットが第２のデータパーティションの次のビットにおいてスタートする。

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する方法に関する。本発明は、更に、対応する符号化装置と、このような符号化装置の出力部において得られる少なくとも１つのビデオビットストリームから構成される、符号化されたＭＰＥＧ４信号とに関する。
【０００２】
【従来の技術】
インターネット又はＵＭＴＳ無線チャネルのようなロスが多いネットワークにオーディオビジュアルデータを伝送することには、ビットを効率的に使用し且つ伝送エラーに対してロバストな符号化技法の使用が要求される。こういう状況で設計された、自然源又は人工源のオーディオビジュアルオブジェクト（ＡＶＯ）を表わすために規格化されたやり方を提供するＭＰＥＧ４規格は、自然及び人工ビデオシーケンスに見出される時間及び空間双方の冗長性を利用する。その目的のために、ビデオストリームに存在するビデオオブジェクトプレーン（ＶＯＰ）の３つのタイプ（イントラＶＯＰ又はＩＶＯＰ；予測ＶＯＰ又はＰＶＯＰ；双方向ＶＯＰ又はＢＶＯＰ）に関して、特定の符号化技法が使用される。ビデオ信号の冗長性を取り除くことにより帯域幅の要求仕様を減らすこれら符号化技法は、上記信号がトランスポートレイヤでパケットにパーティション分割されるとき、ビットエラー及びトランスポートレイヤのパケットロスに対してかなりセンシティブになる（例えば、シングルビットエラーが情報の復号を不可能にし、又はトランスポートレイヤのパケットロスによって、次のパケットの予測符号化された動き情報が復号不可能になりうる）。それに加えて、エンコーダの予測特性のために、Ｉ又はＰＶＯＰにおいて起こるエラーは、次に続くＰ及び周りのＢＶＯＰに伝わりがちである。
【０００３】
エラー回復は、上記に既述された欠点を解決するためにＭＰＥＧ４ビデオ規格により提供される数あるオプションのうちの１つである。このエラー回復は、符号化されたデータをそのセンシティビティによって階層的に分類することを可能にするツールのセットを供給する（このエラー回復モードは、とりわけエラーを特定（ローカライズ）するデコーダの能力を改善する機能を含むとともに、動き及びマクロブロックヘッダ情報と、テクスチャ情報とを分離することによって実現されるデータパーティション分割に基づいており、このことによって、テクスチャ情報が失われる場合、以前に復号されたＶＯＰの動き補償を用いて、このようなエラーを表に出さないために動き情報を使用することが可能になる）。この特性を利用するために、トランスポートレイヤは、ビデオレイヤによって与えられる階層情報を考慮に入れなければならない。
【０００４】
ＭＰＥＧ４ビデオビットストリームは、ビデオオブジェクト（ＶＯ），ビデオオブジェクトレイヤ（ＶＯＬ），ビデオオブジェクトプレーン（ＶＯＰ），ＶＯＰのグループ（ＧＯＶ），ビデオパケット（ＶＰ），ビデオデータパーティション（ＶＤＰ）などのような複数のエレメントで典型的に構成される。ＭＰＥＧ４システムは、デコーダ特定情報（ＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏ），ＡｃｃｅｓｓＵｎｉｔ（ＡＵ），ＳＬパケットのようなエンティティを操作する。このために、どのようにしてビデオエレメントをシステムエレメントにマッピングするかということが、適正に機能させるのに重要である。特に、本明細書ではビデオデータパーティションのシステムへのマッピングが説明されている。ビデオデータパーティションは、ビデオパケットの断片化（フラグメント）に当たり、特定のビデオビットストリームシンタクスモードにおいて、これらをエラー回復の目的に対応できるようにする。具体的には、各々のビデオパケットについて２つのビデオデータパーティションが存在する。
【０００５】
【発明が解決しようとする課題】
しかしながら、データパーティションシンタクスの欠点は、バイトアラインされないこと、すなわち、あるビデオパケットの第１のデータパーティションと第２のデータパーティションとの間の境界がバイトアラインされないことであり、上記境界が８の倍数ビットにおいてスタートしないということである。この状態は効率的なマシンの実施にとって最適状態には及ばず、ネットワークプロトコルがバイト（すなわち、８ビットのスライス）をトランスポートすることから、ネットワークトランスポートを考慮するとき問題につながる可能性がある。
【０００６】
したがって、本発明の第１の目的は、この欠点を避ける方法を提供することである。
【０００７】
【課題を解決するための手段】
この目的のために、本発明は、特定のアライメント／フラグメンテーションのメカニズムが選択されるＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する方法に関する。上記メカニズムによって、ビデオビットストリームが、ビデオデータに含まれるビデオオブジェクトプレーン（ＶＯＰ）のフラグメンテーションに対応するシンタクスモードを用いてビデオパケット（ＶＰ）に符号化されるとともに、ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティション（ＤＰ）に符号化されるとき、ビデオデータパーティションが１つ又は複数のＳＬパケットにマッピングされる。大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートは、ＳＬパケットのスタートに常にマッピングされる。第１のデータパーティションをトランスポートする最後のＳＬパケットは、バイトアライメントを得るために、分離マーカ（ＶＯＰタイプに依存する動きマーカ又はＤＣマーカ）と、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが第２のデータパーティションの次のビットにおいてスタートする。
【０００８】
本発明の他の目的は、対応する符号化装置を提供することである。
【０００９】
この目的のために、本発明は、ＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する装置であって、特定のアライメント／フラグメンテーションのメカニズムを有する装置に関する。上記メカニズムによって、ビデオビットストリームが、ビデオデータに含まれるビデオオブジェクトプレーン（ＶＯＰ）のフラグメンテーションに対応するシンタクスモードを用いてビデオパケット（ＶＰ）に符号化されるとともに、ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティション（ＤＰ）に符号化されるとき、ビデオデータパーティションが１つ又は複数の同期レイヤパケット（ＳＬパケット）にマッピングされる。大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートは、ＳＬパケットのスタートに常にマッピングされる。第１のデータパーティションをトランスポートする最後のＳＬパケットは、バイトアライメントを得るために、分離マーカと、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが第２のデータパーティションの次のビットにおいてスタートする。
【００１０】
更に、本発明は、特定のアライメント／フラグメンテーションのメカニズムが選択される符号化装置の出力部において得られる少なくとも１つのビデオビットストリームから構成される、符号化されたＭＰＥＧ４信号に関する。上記メカニズムによって、（１つ又は複数の）ビデオビットストリームが、ビデオデータに含まれるビデオオブジェクトプレーン（ＶＯＰ）のフラグメンテーションに対応するシンタクスモードを用いてビデオパケット（ＶＰ）に符号化されるとともに、ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティション（ＤＰ）に符号化されるとき、ビデオデータパーティションが１つ又は複数の同期レイヤパケット（ＳＬパケット）にマッピングされる。大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートは、ＳＬパケットのスタートに常にマッピングされる。第１のデータパーティションをトランスポートする最後のＳＬパケットは、バイトアライメントを得るために、分離マーカと、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが第２のデータパーティションの次のビットにおいてスタートする。
【００１１】
本発明は、例示によって添付図面を参照して以下に説明されるであろう。
【００１２】
【発明の実施の形態】
上述されたように、ＭＰＥＧ４規格は、自然源又は人工源のＡＶＯを表わし、これらＡＶＯを一緒に構成して、オーディオビジュアルシーン（１つのオーディオビジュアルシーンは、通常、階層的なやり方で編成された複数のＡＶＯから構成される）を形成する合成ＡＶＯを生成し、ＡＶＯに関連するデータを多重化及び同期化し、レシーバ側において生成され又は再構築されたオーディオビジュアルシーンと対話するための規格化されたやり方を提供する。このようなオーディオビジュアルシーンをレンダリングし且つ表示することを可能にするマルチメディアオーディオビジュアル端末の主要な処理段階が図１に図示される。本図において、上記端末は、次の３つのレイヤ、ＴｒａｎｓＭｕｘレイヤ２１と、ＦｌｅｘＭｕｘレイヤ２２と、ＡｃｃｅｓｓＵｎｉｔレイヤ２３とから構成されるマルチレイヤ構造である。
【００１３】
ＴｒａｎｓＭｕｘレイヤ２１は、プロテクションサブレイヤ及び多重化サブレイヤから構成される（ＴｒａｎｓＭｕｘのインスタンスにおいて、これらサブレイヤを別個に識別することが不可能であってもよいが、上記プロテクションサブレイヤは、所与のネットワーク又は記憶媒体に適したエラー保護及びエラー検出ツールを与える特定の利益を有する）。ＭＰＥＧ４のコンテクストで規定されないこのＴｒａｎｓＭｕｘレイヤ２１は、実際にはネットワーク又は記憶媒体へのインタフェースであり、要求されるサービスの品質（ＱｏＳ）にマッチングするトランスポートサービスを提供することを可能にする。その出力部において、ＦｌｅｘＭｕｘストリーム、すなわち、ＦｌｅｘＭｕｘパケットのシーケンス（ヘッダ及びペイロードから構成される小さなデータエンティティ）が利用できる。
【００１４】
ＭＰＥＧ４により完全に規定されたＦｌｅｘＭｕｘレイヤ２２は、データを（１つ又は複数のエレメンタリストリームを１つのＦｌｅｘＭｕｘストリームに）インターリーブするフレキシブルなツールから構成され、多重化されたデータに関して異なるチャネルを識別することを可能にする。前記ＦｌｅｘＭｕｘレイヤ２２の出力部において、ＳＬパケットストリーム、すなわち、１つのエレメンタリストリームをカブセル化するＳＬパケットのシーケンスが利用できる（ＳＬパケット又は同期レイヤパケットは、その次のＡｃｃｅｓｓＵｎｉｔレイヤ２３又は同期レイヤにより管理される最も小さなデータエンティティであり、該エンティティは、完全な又は部分的なＡｃｃｅｓｓＵｎｉｔから構成されるペイロード自身及び設定可能なヘッダを有する）。
【００１５】
上記ＡｃｃｅｓｓＵｎｉｔレイヤ２３又は同期レイヤは、通信用にエレメンタリストリームを適応させるために供給される。エレメンタリストリームは、ＳＬパケットストリームとして伝えられ、このパケット化された表示はさらにタイミング及び同期化情報と同様に、フラグメンテーション及びランダムアクセス情報も与える。このＡｃｃｅｓｓＵｎｉｔレイヤ２３の後にコンプレッションレイヤ２４が続き、該コンプレッションレイヤ２４は、その符号化されたフォーマットからデータを復元し、符号化された信号を復号するとともに、その元の情報を再構築するために必要な動作を実行することを可能にする。この復号された情報は、それから（ディスプレイされるための）画像、又は何らかのユーザとの対話を考慮して、処理（コンポジション及びレンダリング）される。
【００１６】
図２のアライメント／フラグメンテーションのメカニズムにより図示される本発明によれば、以下の解決策が提案されている。ビデオビットストリームが、ＶＯＰのフラグメンテーションに対応するシンタクスモードを用いてビデオパケットに符号化されるとともに、これらビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティション（ＤＰ１，ＤＰ２）に符号化されるとき、ビデオデータパーティションは、バイトアラインされる１つ又は複数のＳＬパケット（ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４など）にマッピングされるべきである（これらＳＬパケットのそれぞれの第１のビットの間、すなわち、ＳＬパケットのバイト境界ＢＢの間には、８ビット又は８ビットの倍数の距離がある）。とりわけ、複数のＳＬパケットにわたって大きなビデオデータパーティションを分割することを可能にはするが、第１のビデオデータパーティションＤＰ１のスタートが、ＳＬパケットのスタートに常にマッピングされなければならない。
【００１７】
その他に、デコーダはマーカＭに第１のデータパーティションＤＰ１のエンドを確実に識別させることが必要であるけれども、第１のデータパーティションが失われる場合、第２のデータパーティションが役に立たないので、以下のアライメントのルールが用いられるべきである。第１のデータパーティションをトランスポートする最後のＳＬパケットは、バイトアライメントを得るために、分離マーカＭ（ＶＯＰタイプに依存する動きマーカ又はＤＣマーカ）と、第２のデータパーティションの７つまでの後続ビットとを含まなければならない。次のＳＬパケットは、第２のデータパーティションの次のビットにおいてスタートする。それによって上述された特定のアライメント／フラグメンテーションは、ビデオエレメントをシステムエレメントにマッピングし、この場合、いかなるファイル情報交換の問題又はいかなるネットワーク問題も避けることを可能にする。
【図面の簡単な説明】
【図１】マルチメディア端末の主要な処理レイヤを示す。
【図２】本発明によるアライメント／フラグメンテーションのメカニズムを図示する。

Claims

ＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する方法において、特定のアライメント／フラグメンテーションのメカニズムが選択され、前記メカニズムによって、前記ビデオビットストリームが、前記ビデオデータに含まれるビデオオブジェクトプレーンのフラグメンテーションに対応するシンタクスモードを用いてビデオパケットに符号化されるとともに、前記ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティションに符号化されるとき、ビデオデータパーティションが１つ又は複数の同期レイヤパケットにマッピングされ、大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートが、前記ＳＬパケットのスタートに常にマッピングされるとともに、前記第１のデータパーティションをトランスポートする最後のＳＬパケットが、バイトアライメントを得るために、分離マーカと、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが前記第２のデータパーティションの次のビットにおいてスタートすることを特徴とする方法。
ＭＰＥＧ４規格による１つ又は複数のビットストリームから構成されるビデオデータを符号化する装置であって、該符号化装置が特定のアライメント／フラグメンテーションのメカニズムを有し、前記メカニズムによって、前記ビデオビットストリームが、前記ビデオデータに含まれるビデオオブジェクトプレーンのフラグメンテーションに対応するシンタクスモードを用いてビデオパケットに符号化されるとともに、前記ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティションに符号化されるとき、ビデオデータパーティションが１つ又は複数の同期レイヤパケットにマッピングされ、大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートが、前記ＳＬパケットのスタートに常にマッピングされるとともに、前記第１のデータパーティションをトランスポートする最後のＳＬパケットが、バイトアライメントを得るために、分離マーカと、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが前記第２のデータパーティションの次のビットにおいてスタートする装置。
符号化装置の出力部において得られる少なくとも１つのビデオビットストリームから構成される、符号化されたＭＰＥＧ４信号であって、特定のアライメント／フラグメンテーションのメカニズムが選択され、前記メカニズムによって、前記１つ又は複数のビデオビットストリームが、前記ビデオデータに含まれるビデオオブジェクトプレーンのフラグメンテーションに対応するシンタクスモードを用いてビデオパケットに符号化されるとともに、前記ビデオパケットのフラグメンテーションに対応するシンタクスモードを用いてデータパーティションに符号化されるとき、ビデオデータパーティションが１つ又は複数の同期レイヤパケットにマッピングされ、大きなビデオデータパーティションが複数のＳＬパケットにわたって分割される場合でさえ、第１のビデオデータパーティションのスタートが、前記ＳＬパケットのスタートに常にマッピングされるとともに、前記第１のデータパーティションをトランスポートする最後のＳＬパケットが、バイトアライメントを得るために、分離マーカと、第２のデータパーティションの７つまでの後続ビットとを含み、次のＳＬパケットが前記第２のデータパーティションの次のビットにおいてスタートする信号。