JP4510465B2 - イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化 - Google Patents

Description

本発明は、ディジタルビデオの符号化のための方法、システム及び装置に関する。より具体的には、本発明は、可変長符号化（ＶＬＣ）を用いるビデオ／イメージ符号器／復号器におけるブロックベースの変換符号化の結果として作られた量子化された変換係数の符号化に関する。

フィルムに記録されている普通の映画のようにディジタルビデオ・シーケンスは静止イメージのシーケンスから成り、動きの錯覚は、通常は毎秒１５から３０フレームの割合に速い速度でイメージを次々に表示することによって作られる。表示速度が割合に速いので、連続するフレーム内のイメージは非常に良く似ていて、従ってかなりの量の冗長情報を含む傾向がある。例えば、典型的なシーンは、背景の景色などの何らかの動かない要素と、何らかの動いている領域とを含み、この動いている領域は、例えばニュースキャスターの顔、往来する人や車などのさまざまな形を取ることができる。或いは、シーンを記録しているカメラ自体が動くことがあり、この場合にはイメージの全ての要素が同じ種類の動きを有する。多くの場合、このことは、１つのビデオフレームと次のビデオフレームとの間の全体としての変化がどちらかといえば小さいことを意味する。

圧縮されていないディジタルビデオ・シーケンスの各フレームはイメージピクセルのアレイから成る。例えば、クオーター・コモン・インターチェンジ・フォーマット（ＱＣＩＦ）として知られている広く使われているディジタルビデオフォーマットでは、フレームは１７６×１４４ピクセルのアレイから成り、この場合には各フレームは２５，３４４ピクセルを有する。各ピクセルは、そのピクセルに対応するイメージの領域の輝度及び／又は純色量に関する情報を担う一定数のビットにより表わされる。一般に、イメージの輝度及び色差内容を表わすためにいわゆるＹＵＶカラー・モデルが使用される。輝度成分即ちＹ成分はイメージの強さ（明るさ）を表わし、イメージの純色量はＵ及びＶと呼ばれる２つの色差成分により表わされる。

イメージ内容の輝度／色差表示に基づくカラー・モデルは、原色（即ち赤、緑及び青、ＲＧＢ）に関係する表示に基づくカラー・モデルと比べて一定の利点を提供する。人の視覚系は色の変化より強度変化に対して敏感であり、ＹＵＶカラー・モデルは、この特性を利用して、色差成分（Ｕ，Ｖ）に関しては輝度成分（Ｙ）に関してよりも低い空間分解能を用いる。この様にして、イメージの色情報を符号化するために必要な情報の量を、許容できる画質低下で減少させることができる。

色差成分の低い空間分解能は、普通は副次サンプリングによって達成される。通常、ビデオシーケンスの各フレームはいわゆる“マクロブロック”に分割され、このマクロブロックは、輝度（Ｙ）情報と、空間的に副次サンプリングされる関連色差（Ｕ，Ｖ）情報とから成る。図３は、マクロブロックを形成する１つの方法を示している。図３ａはＹＵＶカラー・モデルを用いて表わされるビデオシーケンスのフレームを示し、各成分は同じ空間分解能を有する。マクロブロックは、元のイメージ中の１６×１６イメージ・ピクセルの領域（図３ｂ）を輝度情報の４つのブロックとして表わすことにより形成され、各輝度ブロックは輝度（Ｙ）値の８×８アレイと２つの空間的に一致する色差成分（Ｕ及びＶ）とから成り、これらはｘ及びｙ方向に２の割合で副次サンプリングされて８×８色差（Ｕ，Ｖ）値の対応するアレイをもたらす（図３ｃを参照）。国際電気通信連合（ＩＴＵ−Ｔ）勧告Ｈ．２６Ｌ等の一定のビデオ符号化勧告に従って、マクロブロック内で使用される基本ブロック・サイズは８×８以外であっても良くて、例えば４×８又は４×４であっても良い（Ｇ．ビヨンテガールド（Ｇ．Ｂｊｏｎｔｅｇａａｒｄ）の“Ｈ．２６Ｌ試験モデル長期間ナンバー８（ＴＭＬ−８）ドラフト０（Ｈ．２６Ｌ Ｔｅｓｔ Ｍｏｄｅｌ Ｌｏｎｇ Ｔｅｒｍ Ｎｕｍｂｅｒ ８（ＴＭＬ−８） ｄｒａｆｔ０）”、ＶＣＥＧ−Ｎ１０、２００１年６月、セクション２．３を参照）。

ＱＣＩＦイメージは１１×９マクロブロックから成る。輝度ブロックと色差ブロックとが８ビットの分解能（即ち０から２５５の範囲内の数）で表わされるならば、マクロブロックあたりに必要とされるビットの総数は（１６×１６×８）＋２×（８×８×８）＝３０７２ビットである。従ってＱＣＩＦフォーマットのビデオフレームを表わすのに必要とされるビットの数は９９×３０７２＝３０４，１２８ビットである。このことは、ＹＵＶカラー・モデルを用いて表わされたＱＣＩＦフォーマットの圧縮されていないビデオシーケンスを毎秒３０フレームの速度で送信／記録／表示するために必要とされるデータの量が９Ｍｂｐｓ（毎秒９百万ビット）より多いことを意味する。これは極めて高いデータ転送速度であり、ビデオ記録、送信及び表示アプリケーションに用いるには非現実的であり、その理由は非常に大きな記憶容量、送信チャネル容量及びハードウェア性能が必要とされることにある。

ビデオデータがＩＳＤＮ（総合デジタル通信網）又は在来のＰＳＴＮ（公衆交換電話回線網）などの固定回線ネットワークを介してリアルタイムで送信されるときには、利用できるデータ伝送帯域幅は通常は６４ｋｂｉｔｓ／ｓ程度である。送信が少なくとも部分的に無線通信リンクを介して行われる移動テレビ電話では、利用できる帯域幅は２０ｋｂｉｔｓ／ｓの低さである可能性がある。このことは、低帯域幅通信ネットワークを介するディジタルビデオ・シーケンスの送信を可能にするために、ビデオデータを表わすために使われる情報の量を大幅に減少させなければならないことを意味する。そのため、許容可能な画質を保ちながら送信される情報の量を減少させるビデオ圧縮手法が開発されている。

ビデオ圧縮方法は、ビデオシーケンスの冗長部分と知覚に関して重要でない部分とを切りつめることに基づく。ビデオシーケンスにおける冗長性は、空間的冗長性、時間的冗長性及びスペクトル的冗長性に分類することができる。空間的冗長性は、フレーム内の隣り合うピクセル間の相関性（類似性）を記述するために使われる用語である。“時間的冗長性”という用語は、シーケンス中の１フレームに現れる物はその後のフレームにも現れそうであるという事実を表わし、“スペクトル的冗長性”は、同じイメージの異なる色成分間の相関関係を指す。

充分に効率の良い圧縮は、単に与えられたイメージのシーケンス中のいろいろな形の冗長性を減らすだけでは普通は達成できない。従って、現在の殆どのビデオ符号器は、ビデオシーケンスの、主観的に重要性が最も低い部分の質を低下させる。更に、圧縮されているビデオ・ビットストリーム自体の冗長性が、効率の良い無損失符号化によって低減される。一般に、これは、エントロピー符号化と称される手法を用いて達成される。

ディジタルビデオシーケンスの各フレームを構成するピクセル間にかなりの量の空間的冗長性が存在することが良くある。換言すると、シーケンスのフレーム内のどのピクセルの値も、その直ぐ近くにある他のピクセルの値と実質的に同じである。通常、ビデオ符号化システムは、“ブロックベースの変換符号化”と称される手法を用いて空間的冗長性を低減させ、この手法では数学的変換をイメージのピクセルに対してマクロブロック毎に適用する。変換符号化はイメージデータをピクセル値から成る表示から係数値の集合から成る形に変換し、その各係数値は、問題の変換の基底関数についての重み係数（乗数）である。２次元離散余弦変換（ＤＣＴ）等の一定の数学的変換を用いることにより、ディジタルビデオシーケンスのフレーム内の空間的冗長性を顕著に低減し、このことによりイメージデータのよりコンパクトな表示を作ることができる。

シーケンス内の他のどのフレームとも関係なくブロックベース変換符号化を用いて圧縮されたビデオシーケンスのフレームは、イントラ符号化されたフレーム或いはＩ−フレームと称される。更に、可能な場合には、イントラ符号化されているフレームのブロックが同じフレーム内の前に符号化されたブロックから予測される。イントラ予測と称されるこの手法は、イントラ符号化されているフレームを表わすために必要とされるデータの量を更に低減するという効果を有する。

一般に、ビデオ符号化システムは、ビデオシーケンスの個々のフレーム内での空間的冗長性を低減するだけではなくて、“動き補償予測”と称される手法を用いてシーケンス内での時間的冗長性を低減する。動き補償予測を用いて、ディジタルビデオシーケンス内の幾つかの（多数であることが良くある）フレームのイメージ内容が該シーケンス内の“参照”又は“アンカー”フレームと称される１つ以上の他のフレームから“予測”される。イメージ内容の予測は、符号化（圧縮）されるフレームと参照フレームとの間でのイメージの物体又は領域の動きを“動きベクトル”を用いて追跡することによって達成される。一般に、参照フレームは、ビデオシーケンスの中で、符号化されることになるフレームより先行しても良く、その後に続いても良い。イントラ符号化の場合と同じく、ビデオフレームの動き補償予測は、通常はマクロブロック毎に実行される。

動き補償予測を用いて圧縮されたビデオシーケンスのフレームは、一般にインター符号化されたフレーム或いはＰ−フレームと称される。動き補償予測だけでビデオフレームのイメージ内容の充分に精密な表示を提供することは希であり、従って、通常は、各インター符号化されたフレームと共にいわゆる“予測誤差”（ＰＥ）フレームを提供する必要がある。予測誤差フレームは、インター符号化されたフレームの復号されたバージョンと符号化されるフレームのイメージ内容との差を表わす。より具体的には、予測誤差フレームは、符号化されるフレーム内のピクセル値と、問題のフレームの予測されたバージョンに基づいて形成された対応する復元されたピクセル値との差を表わす値からなる。その結果として、予測誤差フレームは静止イメージに類似する特徴を持っており、その空間的冗長性を低減するために、従ってそれを表わすために必要とされるデータの量（ビット数）を低減するために、ブロック・ベース変換符号化を適用することができる。

ビデオ符号化システムの動作を更に詳しく説明するために、図１及び２を参照する。図１はイントラ符号化及びインター符号化の組み合わせを使用して圧縮された（符号化された）ビデオビットストリームを作る一般的ビデオ符号器の略図である。対応する復号器が図２に示されており、本書において後に説明する。

ビデオ符号器１００は、カメラ又は他のビデオソース（図示されていない）からディジタルビデオ信号を受け取るための入力１０１を含む。それは、ブロック・ベースの離散余弦変換（ＤＣＴ）を実行するように構成されている変換ユニット１０４、量子化器１０６、逆量子化器１０８、逆ブロック・ベース離散余弦変換（ＩＤＣＴ）を実行するように構成されている逆変換ユニット１１０、結合器１１２及び１１６、及びフレーム記憶装置１２０も含む。該符号器は、動き推定器１３０、動き場符号器１４０及び動き補償予測器１５０を更に含む。スイッチ１０２及び１１４は、該符号器をビデオ符号化のイントラ・モードとビデオ符号化のインター・モードとの間で切り換えるように制御マネージャー１６０により共調的に操作される。符号器１００はビデオマルチプレックス符号器１７０も含んでおり、これは、遠方の受信端末へ更に伝送するため、或いは例えばコンピュータのハードドライブ（図示されていない）等の大容量記憶媒体に記憶させるために、符号器１００により作られる種々の情報から単一のビットストリームを形成する。

符号器１００は次のように動作する。ビデオソースから入力１０１に提供される圧縮されていないビデオの各フレームは、マクロブロック毎に、好ましくはラスター走査順に、受信され処理される。新しいビデオシーケンスの符号化が始まるとき、符号化される第１フレームはイントラ符号化フレームとして符号化される。その後、該符号器は、次の条件：即ち１）符号化されつつあるフレームの現在のマクロブロックがその予測に用いられる参照フレーム中のピクセル値に似ていないために過剰な予測誤差情報が作られると判定されたこと（この場合には現在のマクロブロックはイントラ符号化フォーマットに符号化される）；２）所定のイントラ・フレーム繰り返し間隔が経過したこと；或いは３）フレームをイントラ符号化フォーマットで提供するように求める要求を示すフィードバックが受信端末から受信されたこと、のうちの１つが満たされるときを除いて、各フレームをインター符号化フォーマットに符号化するようにプログラムされている。

条件１）の発生は、結合器１１６の出力を監視することにより検出される。結合器１１６は、符号化されているフレームの現在のマクロブロックと動き補償予測ブロック１５０で作られたその予測との差を形成する。この差の程度（例えばピクセル値の絶対差の和）が所定閾値を上回ると、結合器１１６は制御ライン１１９を介して制御マネージャー１６０に知らせ、制御マネージャー１６０は制御ライン１１３を介してスイッチ１０２及び１１４を操作して符号器１００をイントラ符号化モードに切り換える。この様にして、他の部分がインター符号化フォーマットで符号化されているフレームがイントラ符号化マクロブロックを含むことがある。条件２）の発生は制御マネージャー１６０において具体化されているタイマー又はフレームカウンターによって監視され、もし該タイマーが満了するか或いは該フレームカウンターがフレームの所定数に達したならば制御マネージャー１６０は制御ライン１１３を介してスイッチ１０２及び１１４を操作して該符号器をイントラ符号化モードに切り換える。条件３）は、受信端末がイントラ・フレーム・リフレッシュを要求していることを示すフィードバック信号を制御マネージャー１６０が例えば受信端末から制御ライン１２１を介して受け取ると、トリガーされる。この様な条件は、例えば、前に送信されたフレームが伝送中の障害によりひどく変形して、受信装置で復号することを不可能にしている場合に、生じる。この場合には、受信している復号器は、次のフレームをイントラ符号化フォーマットで符号化することを求める要求を発し、従って符号化シーケンスを再初期化する。

イントラ符号化モードでの符号器１００の動作を説明する。イントラ符号化モードでは、制御マネージャー１６０は入力ライン１１８からビデオ入力を受け入れるようにスイッチ１０２を操作する。ビデオ信号入力は、マクロブロック毎に入力１０１から入力ライン１１８を介して受信される。受信されると、マクロブロックを構成する輝度値及び色差値のブロックがＤＣＴ変換ブロック１０４に渡され、これは、値の各ブロックに対して２次元離散余弦変換を実行し、各ブロックについてＤＣＴ係数の２次元アレイを作る。ＤＣＴ変換ブロック１０４は各ブロックについて係数値のアレイを作り、その係数値の数は、マクロブロックを構成するブロックの性質に依存する。例えば、マクロブロックで使われる基本的ブロック・サイズが４×４であれば、ＤＣＴ変換ブロック１０４は各ブロックについてＤＣＴ係数の４×４アレイを作る。ブロック・サイズが８×８ならば、ＤＣＴ係数の８×８アレイが作られる。

各ブロックについてのＤＣＴ係数は量子化器１０６に渡され、ここで量子化パラメータＱＰを用いて量子化される。量子化パラメータＱＰの選択は、制御ライン１１５を介して制御マネージャー１６０により制御される。量子化された係数は、ＤＣＴ変換ブロック１０４により始めに作られた係数より低い数値精度を有するので、量子化は情報の損失をもたらす。これは、ビデオシーケンスの各イメージを表わすために必要とされるデータの量を低減させることのできる更なるメカニズムを提供する。しかし、本質的に無損失であるＤＣＴ変換とは異なって、量子化によりもたらされる情報の損失は、画質の不可逆的劣化の原因となる。ＤＣＴ係数に対して適用される量子化の度合いが大きいほど、画質の損失が大きくなる。

図１のライン１２５により示されるように、各ブロックについての量子化されているＤＣＴ係数は量子化器１０６からビデオ・マルチプレックス符号器１７０に渡される。ビデオ・マルチプレックス符号器１７０は、ジグザグ走査手順を用いて各ブロックについての量子化された変換係数を配列する。この操作は、量子化された変換係数の２次元アレイを１次元アレイに変換する。図４に示されている４×４アレイについての順序などの代表的ジグザグ走査順序は、該係数をおおよそ空間周波数の昇順に配列する。このことは、１次元アレイ内で前の方に位置する係数が該アレイ内で後の方に位置する係数より大きな絶対値を持つ可能性が大きくなるように、係数を該係数の値に従って並べる傾向も有する。その理由は、低い空間周波数がイメージ・ブロック内で大きな振幅を有しがちであることにある。その結果として、量子化された変換係数の１次元アレイの終わり近くにある値はゼロである傾向を有する。

通常、ビデオ・マルチプレックス符号器１７０は、１次元アレイ内のゼロでない量子化された各係数を、レベル及びランと称される２つの値で表わす。レベルは量子化された係数の値であり、ランは、問題の係数に先立つゼロの値の連続する係数の個数である。与えられた係数についてのラン及びレベルの値は、レベル値が関連するラン値の先に位置するように配列される。ゼロに等しいレベル値は、ブロック内にそれ以上の非ゼロ係数値が存在しないことを示すために使われる。この０レベル値はＥＯＢ（ｅｎｄ−ｏｆ−ｂｌｏｃｋ（ブロックの終わり））シンボルと称される。

或いは、１次元アレイ内の非ゼロ値を有する量子化された各係数は、３つの値（ラン、レベル、ラスト）により表示可能である。レベル及びランの意味は前の方式と同一であるが、ラストは、１次元アレイ内で現在の係数の後に他の非ゼロ値の係数があるか否かを示す。従って、別のＥＯＢシンボルは不要である。

ラン値及びレベル値（該当する場合にはラストも）は、エントロピー符号化を用いて更に圧縮される。エントロピー符号化は、符号化されるべきデータ集合内のシンボルは一般にいろいろな出現確率を有するという事実を利用する無損失操作である。従って、一定数のビットを用いて各シンボルを表わす代わりに、より出現しやすそうなシンボルがより少数のビットを有するコードワードにより表わされることとなるように可変数のビットを割り当てる。この理由から、エントロピー符号化は良く可変長符号化（ＶＬＣ）と称される。レベル及びランの或る値は他の値より出現しやすいので、ラン及びレベル値を表わすのに要するビットの数を減らすためにエントロピー符号化手法を有効に使用することができる。

ラン値及びレベル値がエントロピー符号化されると、ビデオマルチプレックス符号器１７０は、問題の情報の種類に適する可変長符号化方法を用いてエントロピー符号化されている制御情報と該ラン値及びレベル値とを更に組み合わせて、符号化されたイメージ情報の単一の圧縮されたビットストリーム１３５を形成する。該符号器から送信されるのは、（ラン、レベル）対を表わす可変長コードワードを含むこのビットストリームである。

エントロピー符号化をビデオマルチプレックス符号器１７０により実行される操作との関係で記述したけれども、代わりの実施態様では別のエントロピー符号化ユニットを設けても良いことに留意するべきである。

マクロブロックの局所的に復号されたバージョンも符号器１００で形成される。このことは、量子化器１０６から出力される、各ブロックについての量子化されている変換係数を逆量子化器１０８を通過させ、逆変換ブロック１１０で逆ＤＣＴ変換を適用することによって実行される。この様にして、マクロブロックの各ブロックについてピクセル値の復元されたアレイが作られる。その結果としての復号されたイメージデータは結合器１１２に入力される。イントラ符号化モードでは、スイッチ１１４は、スイッチ１１４を介する結合器１１２への入力がゼロであるようにセットされる。この様にして、結合器１１２により実行される操作は、復号されたイメージデータを元のまま通過させることと同等である。

現在のフレームの後続のマクロブロックが受信され、ブロック１０４，１０６，１０８，１１０及び１１２での前述の符号化及び局所復号のステップを受けるとき、イントラ符号化されたフレームの復号されたバージョンがフレーム記憶装置１２０で作られる。現在のフレームの最後のマクロブロックがイントラ符号化され、その後に復号され終わったとき、フレーム記憶装置１２０は、後に受信されたビデオフレームをインター符号化されたフォーマットに符号化するときに予測参照フレームとして利用できる完全に復号されたフレームを含んでいる。

インター符号化モードでの符号器１００の動作を説明する。インター符号化モードでは、制御マネージャー１６０はスイッチ１０２をライン１１７からの入力を受け取るように操作するが、それは結合器１１６の出力から成る。結合器１１６は、入力１０１からビデオ入力信号をマクロブロック毎に受け取る。結合器１１６は、マクロブロックを構成する輝度値及び色差値のブロックを受け取るとき、予測誤差情報の対応するブロックを形成する。予測誤差情報は、問題のブロックと、動き補償予測ブロック１５０で作られた該ブロックの予測との差を表わす。より具体的には、マクロブロックの各ブロックについての予測誤差情報は、値の２次元アレイからなり、その各々は、符号化される輝度又は色差情報のブロック中のピクセル値と、以下で説明する手順に従って該ブロックについての動き補償予測を形成することによって得られる復号されたピクセル値との差を表わす。各マクロブロックが、例えば、輝度値及び色差値から成る４×４ブロックのアセンブリーから成る場合には、該マクロブロックの各ブロックについての予測誤差情報は、同様に、予測誤差値の４×４アレイから成る。

マクロブロックの各ブロックについての予測誤差情報はＤＣＴ変換ブロック１０４に渡され、これは、予測誤差値の各ブロックに対して２次元離散余弦変換を実行して各ブロックについてＤＣＴ変換係数の２次元アレイを作る。ＤＣＴ変換ブロック１０４は、各予測誤差ブロックについての係数値のアレイを作り、係数値の個数はマクロブロックを構成するブロックの性質に依存する。例えば、マクロブロックに使われる基本ブロックサイズが４×４ならば、ＤＣＴ変換ブロック１０４は、各予測誤差ブロックについてＤＣＴ係数の４×４アレイを作る。ブロック・サイズが８×８ならば、ＤＣＴ係数の８×８アレイが作られる。

各予測誤差ブロックについての変換係数は量子化器１０６に渡され、ここで該係数は、イントラ符号化モードでの該符号器の動作に関して前述した態様と同様の態様で量子化パラメータＱＰを用いて量子化される。量子化パラメータＱＰの選択は、制御ライン１１５を介して制御マネージャー１６０により制御される。

マクロブロックの各ブロックについての予測誤差情報を表わす量子化されたＤＣＴ係数は、図１においてライン１２５により示されているように、量子化器１０６からビデオマルチプレックス符号器１７０に渡される。イントラ符号化モードのときと同じく、ビデオマルチプレックス符号器１７０は、各予測誤差ブロックについての変換係数を前述したジグザグ操作手順（図４を参照）を用いて配列し、各々のゼロでない量子化された係数をレベル値及びラン値として表わす。ビデオマルチプレックス符号器は、イントラ符号化モードと関連して前述した態様と同様の態様で、エントロピー符号化を用いてラン値及びレベル値を更に圧縮する。ビデオマルチプレックス符号器１７０は、更に、ライン１２６を介して動き場符号化ブロック１４０から（次に説明する）動きベクトル情報を受け取り、制御マネージャー１６０から制御情報を受け取る。それは、動きベクトル情報と制御情報とをエントロピー符号化し、そのエントロピー符号化された動きベクトル、予測誤差及び制御情報を含む符号化されたイメージ情報の単一のビットストリーム１３５を形成する。

マクロブロックの各ブロックについての予測誤差情報を表わす量子化されたＤＣＴ係数は、量子化器１０６から逆量子化器１０８にも渡される。ここで、それらは逆量子化され、その結果として逆量子化されたＤＣＴ係数のブロックは逆ＤＣＴ変換ブロック１１０に加えられ、ここでそれらは逆ＤＣＴ変換を受けて予測誤差値の局所復号されたブロックを作る。予測誤差値の局所復号されたブロックは結合器１１２に入力される。インター符号化モードでは、スイッチ１１４は、結合器１１２が動き補償予測ブロック１５０により作られたマクロブロックの各ブロックについての予測されたピクセル値も受け取るようにセットされる。結合器１１２は、予測誤差値の各々の局所復号されたブロックを予測されたピクセル値の対応するブロックと組み合わせて、復元されたイメージブロックを作り、それらをフレーム記憶装置１２０に記憶させる。

ビデオ信号の後続のマクロブロックがビデオソースから受け取られてブロック１０４，１０６，１０８，１１０，１１２で前述したように符号化及び復号のステップを受けるとき、フレームの復号されたバージョンがフレーム記憶装置１２０で構築される。フレームの最後のマクロブロックが処理されたとき、フレーム記憶装置１２０は、後に受け取られたビデオフレームをインター符号化されたフォーマットに符号化するときに予測参照フレームとして利用できる完全に復号されたフレームを含んでいる。

現在のフレームのマクロブロックについての予測の形成を説明する。インター符号化されたフォーマットで符号化されているフレームは、動き補償予測のために参照フレームを必要とする。このことは、必然的に、ビデオシーケンスを符号化するとき、符号化されることになる第１のフレームが、該第１フレームが該シーケンス中の第１フレームであるかそれとも他のフレームであるかを問わずに、イントラ符号化されたフォーマットで符号化されなければならないことを意味する。そして、このことは、ビデオ符号器１００が制御マネージャー１６０によりインター符号化モードに切り換えられるとき、前に符号化されたフレームを局所的に復号することによって形成された完全な参照フレームが該符号器のフレーム記憶装置１２０で既に利用可能になっているということを意味する。一般に、参照フレームは、イントラ符号化されたフレーム又はインター符号化されたフレームを局所的に復号することにより形成される。

現在のフレームのマクロブロックについて予測を形成する第１ステップは動き推定ブロック１３０により実行される。動き推定ブロック１３０は、符号化されるべきフレームの現在のマクロブロックを構成する輝度値及び色差値のブロックをライン１２８を介して受け取る。それは、参照フレーム中の、現在のマクロブロックと実質的に一致する領域を特定するためにブロックマッチング操作を実行する。ブロックマッチング操作を実行するために、動き推定ブロックは、フレーム記憶装置１２０に記憶されている参照フレームデータにライン１２７を介してアクセスする。より具体的には、動き推定ブロック１３０は、調べられるマクロブロックと、フレーム記憶装置１２０に記憶されている参照フレームからのピクセルの候補最良マッチング領域との間のピクセル値の差を表わす差値（例えば、絶対差の合計）を計算することによってブロックマッチングを実行する。参照フレームの所定探索領域内で可能なあらゆるオフセットで候補領域について差値が作られ、動き推定ブロック１３０は最小の計算された差値を決定する。現在のフレーム中のマクロブロックと、最小の差値を生じさせる参照フレーム中のピクセル値の候補ブロックとの間のオフセットが問題のマクロブロックについての動きベクトルを定める。

動き推定ブロック１３０は、マクロブロックについて動きベクトルを作ると、その動きベクトルを動き場符号化ブロック１４０へ出力する。動き場符号化ブロック１４０は、基底関数及び動き係数の集合からなる動きモデルを用いて、動き推定ブロック１３０から受け取られた動きベクトルを近似する。より具体的には、動き場符号化ブロック１４０は、基底関数を乗じたときに動きベクトルの近似値を形成する動き係数値の集合として動きベクトルを表わす。通常、動き係数及び基底関数を２つだけ有する並進動きモデルが使用されるが、もっと複雑な動きモデルも使用可能である。

動き係数は動き場符号化ブロック１４０から動き補償予測ブロック１５０に渡される。動き補償予測ブロック１５０は、更に、動き推定ブロック１３０により特定されたピクセル値の最良マッチング候補領域をフレーム記憶装置１２０から受け取る。動き場符号化ブロック１４０により作られた動きベクトルの近似表示と参照フレームからのピクセルの最良マッチング候補領域のピクセル値とを使って、動き補償予測ブロック１５０はマクロブロックの各ブロックについて予測されるピクセル値のアレイを作る。予測されたピクセル値の各ブロックは結合器１１６に渡され、ここで、予測されたピクセル値は、現在のマクロブロックの対応するブロック中の実際の（入力された）ピクセル値から差し引かれる。この様にして、マクロブロックについて予測誤差ブロックの集合が得られる。

図２に示されているビデオ復号器２００の動作を説明する。復号器２００は、符号器１００から符号化されているビデオビットストリーム１３５を受け取ってそれをその構成部分に多重分離するビデオマルチプレックス復号器２７０、逆量子化器２１０、逆ＤＣＴ変換器２２０、動き補償予測ブロック２４０、フレーム記憶装置２５０、結合器２３０、制御マネージャー２６０、及び出力２８０から成る。

制御マネージャー２６０は、イントラ符号化されているフレームが復号されるのか、それともインター符号化されているフレームが復号されるかにより、復号器２００の動作を制御する。例えば、符号器から受信された各々の圧縮されているビデオフレームのヘッダ部分に与えられている画像タイプ情報から、該復号器を該復号モード間でスイッチングさせるイントラ／インター・トリガー制御信号が得られる。このイントラ／インター・トリガー制御信号は、符号化されているビデオビットストリームからビデオマルチプレックス復号器２７０により抽出されて、制御ライン２１５を介して制御マネージャー２６０に渡される。

イントラ符号化されているフレームの復号はマクロブロック毎に実行され、各マクロブロックは、それに関連する符号化されている情報がビデオビットストリーム１３５で受信されると実質的に直ぐに復号される。ビデオマルチプレックス復号器２７０は、マクロブロックのブロックについての符号化されている情報を問題のマクロブロックに関連するあり得る制御情報から分離する。イントラ符号化されているマクロブロックの各ブロックについての符号化されている情報は、該ブロックのゼロでない量子化されているＤＣＴ係数についてエントロピー符号化されているレベル値及びラン値を表わす可変長コードワードから成る。ビデオマルチプレックス復号器２７０は、符号器１００で使われた符号化方法に対応する可変長復号方法を用いて可変長コードワードを復号し、これによりレベル値及びラン値を回復する。復号器２７０は、マクロブロックの各ブロックについての量子化されている変換係数値のアレイを復元し、これらを逆量子化器２１０に渡す。マクロブロックに関連する制御情報も適切な復号方法を用いてビデオマルチプレックス復号器で復号されて制御マネージャー２６０に渡される。特に、変換係数に対して適用される量子化のレベルに関連する情報は、ビデオマルチプレックス復号器２７０により、符号化されているビットストリームから抽出されて制御ライン２１７を介して制御マネージャー２６０に提供される。制御マネージャーは、この情報を制御ライン２１８を介して逆量子化器２１０に伝える。逆量子化器２１０は、制御情報に従ってマクロブロックの各ブロックについての量子化されているＤＣＴ係数を逆量子化し、その逆量子化されたＤＣＴ係数を逆ＤＣＴ変換器２２０に提供する。

逆ＤＣＴ変換器２２０は、マクロブロックの各ブロックについて逆量子化されたＤＣＴ係数に対して逆ＤＣＴ変換を実行して、復元されたピクセル値から成るイメージ情報の復号されたブロックを形成する。動き補償予測はイントラ符号化されているマクロブロックの符号化／復号には用いられないので、制御マネージャー２６０は、イントラ符号化されているマクロブロックの復号に参照情報が用いられることを妨げるように結合器２３０を制御する。マクロブロックの各ブロックについての復元されたピクセル値は復号器のビデオ出力２８０に渡され、ここで該ピクセル値を例えば表示装置（図示されていない）に提供することができる。マクロブロックの各ブロックについて復元されたピクセル値はフレーム記憶装置２５０に格納される。イントラ符号化されているフレームの後続のマクロブロックが復号されて格納されるとき、復号されたフレームがフレーム記憶装置２５０で漸次組み立てられて、後に受信されるインター符号化されているフレームの復号と関連する動き補償予測のための参照フレームとして利用することができるようになる。

インター符号化されているフレームもマクロブロック毎に復号され、各々のインター符号化されているマクロブロックは、これに関連する符号化されている情報がビットストリーム１３５で受信されると実質的に直ぐに復号される。ビデオマルチプレックス復号器２７０は、インター符号化されているマクロブロックの各ブロックについて符号化されている予測誤差情報を、問題のマクロブロックに関連する符号化されている動きベクトル情報及びあり得る制御情報から分離する。前述したように、マクロブロックの各ブロックについて符号化されている予測誤差情報は、問題の予測誤差ブロックのゼロでない量子化されている変換係数についてのエントロピー符号化されているレベル値及びラン値を表わす可変長コードワードから成る。ビデオマルチプレックス復号器２７０は、符号器１００で使われる符号化方法に対応する可変長復号方法を用いて可変長コードワードを復号し、これによりレベル値及びラン値を回復する。次にそれは各予測誤差ブロックについて量子化されている変換係数値のアレイを復元して、それらを逆量子化器２１０に渡す。インター符号化されているマクロブロックに関連する制御情報も、適切な復号方法を用いてビデオマルチプレックス復号器２７０で復号され、制御マネージャー２６０に渡される。予測誤差ブロックの変換係数に適用される量子化のレベルに関連する情報が符号化されているビットストリームから抽出されて制御ライン２１７を介して制御マネージャー２６０に提供される。制御マネージャーは、この情報を制御ライン２１８を介して逆量子化器２１０に伝える。逆量子化器２１０は、マクロブロックの各ブロックについての予測誤差情報を表わす量子化されているＤＣＴ係数を制御情報に従って逆量子化し、この逆量子化されたＤＣＴ係数を逆ＤＣＴ変換器２２０に提供する。各ブロックについての予測誤差情報を表わす逆量子化されているＤＣＴ係数は、逆ＤＣＴ変換器２２０で逆変換されて、マクロブロックの各ブロックについて復元された予測誤差値のアレイを生じさせる。

マクロブロックに関連する符号化されている動きベクトル情報が、符号化されているビデオビットストリーム１３５からビデオマルチプレックス復号器２７０により抽出されて復号される。この様にして得られた復号された動きベクトル情報は制御ライン２２５を介して動き補償予測ブロック２４０に渡され、これは、符号器１００でインター符号化されているマクロブロックを符号化するために使われるものと同じ動きモデルを用いて該マクロブロックについての動きベクトルを復元する。その復元された動きベクトルは、符号器の動き推定ブロック１３０により始めに決定された動きベクトルを近似する。復号器の動き補償予測ブロック２４０は、復元された動きベクトルを使って、フレーム記憶装置２５０に格納されている予測参照フレーム内の復元されたピクセルの領域の場所を特定する。参照フレームは、例えば、前に復号されたイントラ符号化されているフレーム、又は前に復号されたインター符号化されているフレームであって良い。いずれの場合にも、復元された動きベクトルにより示されるピクセルの領域は、問題のマクロブロックについての予測を形成するために使用される。より具体的には、動き補償予測ブロック２４０は、参照フレームで特定されたピクセルの領域から対応するピクセル値をコピーすることによってマクロブロックの各ブロックについてピクセル値のアレイを形成する。予測、即ち参照フレームから得られたピクセル値のブロック、は動き補償予測ブロック２４０から結合器２３０に渡され、ここでそれらは復号された予測誤差情報と結合される。実際には、各々の予測されたブロックのピクセル値は、逆ＤＣＴ変換器２２０により出力された対応する復元された予測誤差値に加えられる。この様にして、マクロブロックの各ブロックについて復元されたピクセル値のアレイが得られる。復元されたピクセル値は復号器のビデオ出力２８０に渡され、またフレーム記憶装置２５０に格納される。インター符号化されているフレームの後続のマクロブロックが復号されて格納されるとき、復号されたフレームがフレーム記憶装置２５０で漸次組み立てられて、他のインター符号化されているフレームの動き補償予測のための参照フレームとして利用することができるようになる。

可変長符号化（ＶＬＣ）の手法を使用する量子化された変換係数と関連するラン値及びレベル値のエントロピー符号化を詳しく検討する。

通常、ラン−レベル対は単一のシンボルとして符号化される。これは、可能な各ラン−レベル対と定められたコード番号との間のマッピングを定めることにより達成される。コード番号へのラン−レベル対のマッピングの例がルックアップ・テーブルとしてテーブル３に示されている。このルックアップ・テーブルのマッピングを用いて、コード番号がブロックの各（ラン、レベル）対に割り当てられ、その結果としてのコード番号はＶＬＣ符号化によって符号化される。例えば、ジョイントモデル（ＪＭ）２．０“ワーキング・ドラフト・ナンバー２、Ｄｏｃ．ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧ Ｐａｔｔａｙａのジョイントビデオチーム（ＪＶＴ）、第２回ＪＶＴ会議、ジュネーブ、ＣＨ、２００２年１月２９日−２月１日（Ｗｏｒｋｉｎｇ Ｄｒａｆｔ Ｎｕｍｂｅｒ ２、Ｄｏｃ．ＪＶＴ−Ｂ１１８，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ Ｐａｔｔａｙａ，２^nd ＪＶＴ Ｍｅｅｔｉｎｇ， Ｇｅｎｅｖａ，ＣＨ，Ｊａｎ．２９−Ｆｅｂ．１，２００２）”（Ｈ．２６Ｌビデオ符号化規格）において、（ラン、レベル）対をコード番号にマッピングする２つの異なるルックアップ・テーブルが定められている。どちらのテーブルを使うかの選択はＱＰ値とブロックの符号化モードとに基づく。より具体的には、符号化モードがイントラであり、ＱＰが２４より小さければ、他の場合とは異なるテーブルが使用される。

ＪＶＴ Ｈ．２６ＬのジョイントモデルＪＭ２．０は、ＵＶＬＣと称されるいわゆる“ユニバーサル”可変長符号化方式を使用する。Ｈ．２６Ｌ ＪＭ２．０に従って実現されたビデオ符号器は、該符号器からビットストリームで送信される全ての情報（シンタックス・エレメント）をエントロピー符号化するために可変長コードワードの単一の集合を使用する。いろいろなタイプの情報の符号化のために、使用されるコードワードは同じだけれども所定数のいろいろなデータシンボル対コードワード・マッピングが定義される。例えば、輝度情報を含むブロックのために２つのデータシンボル対コードワード・マッピングが提供され、マッピングの選択は、量子化されたＤＣＴ変換係数を配列するために使われるジグザグ走査動作（シンプルスキャン又はダブルスキャン）のタイプに依存する。Ｈ．２６Ｌに従って定義されるシンプル及びダブルスキャン・ジグザグ走査方式の詳細については、ワーキング・ドラフト・ナンバー２、Ｄｏｃ．ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧ Ｐａｔｔａｙａのジョイントビデオチーム（ＪＶＴ）、第２回ＪＶＴ会議、ジュネーブ、ＣＨ、２００２年１月２９日−２月１日、を参照されたい。特にマクロブロック・タイプ（ＭＢ＿Ｔｙｐｅ）情報、動きベクトル・データ（ＭＶＤ）及びイントラ予測モード情報のために異なるマッピングも設けられている（下のテーブル３を参照）。

Ｈ．２６Ｌ ＪＭ２．０で定義されているＵＶＬＣコードワードは以下のテーブル１に示されている圧縮された形で書かれても良く、ここでｘ_n項は値０又は１をとることができる。

テーブル２は、テーブル１に提示されている方式に従って作られた始めの１６個のＵＶＬＣコードワードを提示し、テーブル３は、Ｈ．２６Ｌに従って提供されるいろいろなデータシンボル対コードワード・マッピングのうちの幾つかを示す。該マッピングの完全な記述については、読者は再びワーキング・ドラフト・ナンバー２、Ｄｏｃ．ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧ Ｐａｔｔａｙａのジョイントビデオチーム（ＪＶＴ）、第２回ＪＶＴ会議、ジュネーブ、ＣＨ、２００２年１月２９日−２月１日、を参照するべきである。

Ｈ．２６Ｌで採用されているユニバーサル可変長符号化方式は多くの技術上の利点を提供する。特に、テーブル１に提示されているルールなどの簡単なルールに従って作ることのできる単一のＶＬＣコードワード集合を用いているので、コードワードを１ビットずつ作ってゆくことができる。このことは、符号器及び復号器にコードワードテーブルを格納しておく必要を無くし、従って符号器及び復号器の両方におけるメモリー要件を低減させる。もちろん、代わりの実施態様においてはコードワードテーブルを作って符号器及び復号器に格納しておいても良いことに注意するべきである。いろいろなデータシンボル対コードワード・マッピングは、エントロピー符号化される種々のタイプのイメージ関連データ及び制御情報の種々の統計的特性にＵＶＬＣ符号化方式を少なくとも限定的に適応させることを可能にする。種々のデータシンボル対コードワード・マッピングを符号器及び復号器に格納することができ、従ってマッピング情報をビットストリームで符号器から復号器へ送る必要はない。このことは誤差復元力を維持する上で役立つ。

しかし、ＵＶＬＣエントロピー符号化方式には欠点も幾つかある。特に、コードワードが固定されていて、いろいろなデータシンボル対コードワード・マッピングにより提供される適応性が限られている結果として、必然的にデータ圧縮があまり良くなくなる。その原因は、いろいろな変換係数の発生頻度（即ち、確率）が、従っていろいろな（ラン、レベル）対の確率が、イメージ内容及び符号化されるイメージのタイプに依存して変化するという事実である。従って、可変長コードワードの集合が１つだけ使用され、符号化／復号されるデータシンボルとＶＬＣとのマッピングが１つだけ提供されるならば、一般に、最高の符号化効率を達成することはできない。

この理由から、基本のＵＶＬＣ符号化方式の改変形が提案されている。より具体的には、ＶＬＣコードワードの２つ以上の集合を含めることが提案されている。その様な一提案がガイル・ビヨンテガールドによりＱ．１５／ＳＧ１６“イントラ・ルーマ係数のための２つのＶＬＣ間での適応スイッチングの使用（Ｕｓｅ ｏｆ Ａｄａｐｔｉｖｅ Ｓｗｉｔｃｈｉｎｇ Ｂｅｔｗｅｅｎ Ｔｗｏ ＶＬＣｓ ｆｏｒ ＩＮＴＲＡ Ｌｕｍａ Ｃｏｅｆｆｉｃｉｅｎｔｓ）”、Ｄｏｃ．Ｑ１５−Ｋ−３０、２０００年８月発表である。これは、一定のタイプの情報のエントロピー符号化のためにＶＬＣコードワードの第２の集合を使うことを提案したものである。文書Ｑ１５−Ｋ−３０によると、ＶＬＣ２と称されるＶＬＣコードワードの提案された第２の集合は、以下のテーブル４に示されている方式に従って作られる。それは、特に、Ｈ．２６Ｌに従って定められるダブルスキャン・ジグザグ走査方式を用いて走査される４×４ピクセルのイントラ符号化輝度ブロックの量子化された変換係数と関連するラン値及びレベル値を符号化するために使用される。テーブル５は、明示的な形でＶＬＣ２の始めの１６個のコードワードを示している。

テーブル４及び５をテーブル１及び２とそれぞれ比較すれば分かるように、ＵＶＬＣコードワードの元の集合においては最短のコードワードに単一のビットが割り当てられるのに対して、ＶＬＣ２の最短のコードワードは２ビットを有する。ＶＬＣコードワードは他のコードワードの接頭辞たり得ないという一般的復号可能性要件に起因して、この変化は他のＶＬＣ２コードワードの構造に重要な影響を及ぼす。具体的には、最短のコードワードに２ビットを割り当てているので、より高いインデックスを有するコードワードをより少数のビットで表示することができる。例えば、テーブル２を参照すると、インデックス７のＵＶＬＣコードワードは７ビットを有するが、インデックス７のＶＬＣ２コードワードは６ビットを有するに過ぎないことが分かる。

コードワードの２つ以上の集合間での文脈ベースのスイッチングによりコードワードを選択する前述のＶＬＣ符号化方法は、ＶＬＣコードワードの集合を１つだけ使用する方法と比べてデータ圧縮効率を改善する。しかし、多くのデータ圧縮アプリケーションでは、特にビデオ符号化に関連するアプリケーションでは、データ圧縮効率を向上させたいという希望が引き続き存在する。計算の複雑さ及びメモリ要件を低く抑え、且つ良好な誤差復元力を保ちながら、符号化されるデータシンボルのタイプ及び統計的特性への適応性を改善する新しい可変長符号化方法を開発することが依然として相当な関心事である。本発明の方法が開発されたのはこの文脈においてである。

本発明の要約
本発明の方法は、計算の複雑さを低く抑え、且つ良好な誤差復元力を保ちながら、符号化されるデータシンボルのタイプ及び統計的特性への可変長符号化方法の適応性を改善することに関連する上記問題に対処しようとするものである。

一般的に言えば、本発明は、ビデオ符号器におけるブロック・ベースの変換符号化の結果として作られる量子化された変換係数の可変長符号化に関する。しかし、本発明の可変長符号化及び復号方法を、より一般的に、符号化される他のタイプのデータにも適用し得ることが理解されるべきである。

特に、本発明はＶＬＣ符号化方法に関し、この方法では量子化された変換係数のブロック中の非ゼロ値を有する係数の個数Ｎｃが特定されて、対応する復号器に送られるビットストリームで明示的に伝えられる。前述したように、Ｎｃの明示的信号はＥＯＢシンボルを送る必要を無くし、このことは符号化効率の改善をもたらすことができる。より具体的には、本発明は、ブロック中の非ゼロ値の係数の個数を表わすＮｃ値自体がＶＬＣ符号化されるようになっている方法を提案する。このことは符号化効率のなお大きな改善をもたらす。

本方法はＮｃについての値をＶＬＣ符号化するためにＶＬＣコードワードの少なくとも２つの集合を使用することを含むと共にコードワードの該集合間でのスイッチングのためのルールを定め、それは、そのＮｃ値が符号化されるブロックの隣りのブロック（１つ又は複数）中の非ゼロ値の係数の個数を考慮に入れる。スイッチングのルールは、Ｎｃを表わすＶＬＣコードワードを含んでいて本発明の方法に従って形成されたビットストリームを、コードワードの選択に関連する情報を該ビットストリームに包含させることを必要とせずに復号することができるように設計される。換言すれば、本発明によれば、Ｎｃ値を表わす各コードワードがその中から選択されるところの集合の明示的表示を提供する必要はない。この特性はデータ圧縮効率を高める。

当業者は、本発明の方法を、一般的に、（ラン、レベル）対として表わされるデータシンボルのＶＬＣ符号化に、或いは符号化されるべきデータシンボルの集合の何らかの同等表示に適用できることを理解するであろう。

本発明の第１の局面に従って、第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含むデータシンボルの集合を符号化する方法が提供され、この方法では可変長符号化されるシンボルの集合が前記データシンボルの集合から形成され、可変長符号化されるシンボルの集合に対して可変長符号化が適用される。該方法によると、可変長符号化されるシンボルの集合に適用される可変長符号化の少なくとも１つの特徴が可変長符号化されるシンボルの数に従って改められ、可変長符号化されたシンボルの数の表示が提供される。該表示は、可変長符号化されるシンボルの数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されるシンボルの数を表わす可変長コードワードであるのが有利である。

本発明の第２の局面に従ってデータシンボルの集合を表わす可変長コードワードを復号する方法が提供され、該データシンボルの集合は第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含み、該データシンボルの集合は、データシンボルの前記集合から可変長符号化されるデータシンボルの集合を形成することによって符号化されており、前記可変長コードワードは、可変長符号化されるシンボルの集合に対して可変長符号化を適用することにより形成されている。この方法によると、可変長コードワードに適用される復号化の少なくとも１つの特徴が、可変長符号化されたシンボルの集合中のシンボルの数の表示に応じて改められる。該表示は、可変長符号化されたシンボルの数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの数を表わす可変長コードワードであるのが有利である。

本発明の第３の局面に従って、第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含むデータシンボルの集合を符号化するための符号器が提供され、この符号器では、可変長符号化されるシンボルの集合がデータシンボルの前記集合から形成されるようになっており、該符号器は可変長符号化されるシンボルの前記集合を可変長符号化するための符号化手段を含む。本発明に従って、該符号器は、可変長符号化されるシンボルの集合に適用される可変長符号化の少なくとも１つの特徴を可変長符号化されるシンボルの数に従って改めるようになっていると共に、可変長符号化されたシンボルの数の表示を提供するようになっている。該表示は、可変長符号化されるシンボルの数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されるシンボルの数を表わす可変長コードワードであるのが有利である。

本発明の第４の局面に従って、データシンボルの集合を表わす可変長コードワードを復号するための復号器が提供され、該データシンボルの集合は第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含み、該データシンボルの集合は、可変長符号化されるシンボルの集合を形成することによって符号化されており、前記可変長コードワードは、可変長符号化されるシンボルの前記集合に対して可変長符号化を適用することにより形成されている。本発明に従って、該復号器は、可変長コードワードに適用される復号化の少なくとも１つの特徴が、可変長符号化されたシンボルの集合中のシンボルの数の表示に応じて改められるようになっている。該表示は、可変長符号化されたシンボルの数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの数を表わす可変長コードワードであるのが有利である。

本発明の第５の局面により、本発明の第３局面に従う符号器を含むマルチメディア端末が提供される。

本発明の第６の局面により、本発明の第４局面に従う復号器を含むマルチメディア端末が提供される。

好ましくは、本発明の第５及び／又は第６局面に従うマルチメディア端末は、無線接続によって移動通信ネットワークと通信するようになっている移動マルチメディア端末である。

より精密に述べれば、本発明による符号化方法は、主として、可変長符号化されるシンボルの集合に適用される可変長符号化の少なくとも１つの特徴が可変長符号化されるシンボルの数に従って改められ、可変長符号化されたシンボルの数の表示が提供されることを特徴としており、前記表示は、可変長符号化されるシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されるシンボルの前記数を表わす可変長コードワードである。本発明の復号方法は、主として、可変長コードワードに適用される復号化の少なくとも１つの特徴が、可変長符号化されたシンボルの前記集合中のシンボルの数の表示に応じて改められることを特徴としており、前記表示は、可変長符号化されたシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの前記数を表わす可変長コードワードである。本発明の符号器は、主として、可変長符号化されるシンボルの集合に適用される可変長符号化の少なくとも１つの特徴を可変長符号化されるシンボルの数に従って改めるようになっていると共に、可変長符号化されたシンボルの数の表示を提供するようになっていることを特徴としており、前記表示は、可変長符号化されるシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されるシンボルの前記数を表わす可変長コードワードである。本発明の復号器は、主として、可変長コードワードに適用される復号化の少なくとも１つの特徴が、可変長符号化されたシンボルの前記集合中のシンボルの数の表示に応じて改められるようになっていることを特徴としており、前記表示は、可変長符号化されたシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの前記数を表わす可変長コードワードである。

添付図面を参照して例を挙げて本発明の実施態様を説明する。

本発明の詳細な説明
本発明についての以下の詳細な説明において、本発明の方法の模範的実施態様を提示する。この模範的実施態様は、ビデオ符号器におけるブロック・ベースの変換符号化の結果として作られる非ゼロ値の変換係数を表わす（ラン、レベル）対の可変長符号化と、対応するビデオ復号器において後に行われる前記の対の復号とに関する。

図６はビデオ符号器６００の略ブロック図であり、ここで本発明のこの実施態様に従う方法を適用することができる。図６に示されているビデオ符号器の構造は、図１に示されている従来技術のビデオ符号器のそれと実質的に同一ではあるが、該符号器の可変長符号化操作を実行する部分は適宜改造されている。該ビデオ符号器の、前述した従来技術のビデオ符号器と同一の機能を実行して同一の態様で動作する全ての部分は、同一の参照番号で特定されている。この明細書では、全ての可変長符号化操作がビデオマルチプレックス符号器６７０で実行されるということが仮定される。しかし、本発明の代わりの実施態様では別個の可変長符号化ユニットを設けても良いことが理解されるべきである。ビデオ符号器により作られたデータシンボルの幾つか（例えば、非ゼロ値の変換係数に関連する（ラン、レベル）対）に対して本発明の方法を適用することができ、他のデータシンボルを符号化するために他のＶＬＣ符号化方法を使用できることにも注意するべきである。

ビデオ符号器６００の動作を詳しく検討する。ディジタルビデオのフレームを符号化するとき、符号器６００は、図１に関して前述した態様と同様の態様で動作してイントラ符号化された圧縮されているビデオフレームとインター符号化されている圧縮されているビデオフレームとを作る。本書において前に説明したように、イントラ符号化モードでは、変換係数値の対応する２次元アレイを作るためにイメージデータ（ピクセル値）の各ブロックに離散余弦変換（ＤＣＴ）が適用される。ＤＣＴ操作は変換ブロック１０４で実行され、その様にして作られた係数はその後に量子化器１０６に渡され、ここで量子化される。インター符号化モードでは、ブロック１０４で実行されるＤＣＴ変換は、予測誤差値のブロックに適用される。この操作の結果として作られた変換係数も量子化器１０６に渡され、ここでそれらも量子化される。インター符号化されたフレームは、イントラ符号化されたイメージ・ブロックを含むことができる。場合によって変換符号化は特定のイメージ・ブロックに対しては適用されない。例えば、イントラ符号化モード時にイントラ予測が使用されれば、幾つかのイメージ・ブロックは符号器において前に符号化された１つ以上のイメージ・ブロックから予測される。この場合、符号器は、予測に使われることになる前のブロックの表示を復号器に提供し、変換係数データは出力しない。インター符号化モード時には、一定のブロックについての予測とブロック自体のイメージデータとの差があまりに小さいためにデータ圧縮比の見地から予測誤差情報を全く送らないことが有利である可能性がある。

この実施態様では、本発明の方法は、変換符号化され、その後に変換係数量子化されるイメージ・ブロックに対して適用される。

ビデオマルチプレックス符号器６７０は、量子化されている変換係数のブロック（２次元アレイ）を受け取ると、該アレイ内の非ゼロ値の係数の個数を判定する。本発明によると、Ｎｃと称されるこの数は、可変長符号化されてビットストリーム６３５で復号器へ送られる。Ｎｃ値の可変長符号化のために可変長コードワードの集合が少なくとも２つ設けられる。本発明の１つの実施態様では、該集合は、例えば、本書において前述した、表２及び５においてそれぞれ定められているＶＬＣコードワードである。より具体的には、Ｎｃは、前に符号化されたＮｃシンボルの値に応じて可変長コードワードの少なくとも２つの集合のうちの１つから選択されたコードワードを用いて可変長符号化される。ＶＬＣコードワードを割り当てるために使用される前に符号化されたＮｃシンボルは、符号化されるブロックの近くに存するブロックから選択されるのが有利である。

図５は、ＶＬＣ符号化されることになるイメージブロックと、これに隣接するブロックとを示す。Ｎｃ＿Ｌ、Ｎｃ＿ＴＬ、Ｎｃ＿Ｔ及びＮｃ＿ＴＲは、それぞれ、符合化されることになる現在のイメージブロックの左、上左、上及び上右のブロック内の非ゼロ値の量子化された係数の個数を意味する。

現在のイメージブロックについてのＮｃ値は、直ぐ隣りのブロックの既に符号化されたＮｃ値を考慮することにより選択された、ＶＬＣ符号の利用可能な集合のうちの１つからのコードワードを用いて可変長符号化される。下記の符号は、前に符号化された隣接するイメージブロックのＮｃ値を考慮に入れて可変長符号をＮｃ値に割り当てるための模範的手順を提示している：
ＶＬＣ＿Ｎ ＝ Ｎ_c＿ｍａｐ［ｆｎ（Ｎ_c＿Ｌ， Ｎ_c＿ＴＬ， Ｎ_c＿Ｔ， Ｎ_c＿ＴＲ）］ （１）
式（１）において、ｆｎは関数（その例が下で式（２）において定義される）であり、Ｎｃ＿ｍａｐは整数値を種々の利用可能なＶＬＣ符号にマッピングするアレイであり、ＶＬＣ＿Ｎはその中からコードワードが選択されるところのテーブルの番号を示す。ｆｎの例は“平均値”及び“メジアン”を含む。本発明の１つの実施態様では、Ｎｃ＿Ｌ及びＮｃ＿Ｔの“平均値”が使用される。この模範的実施態様では、式（１）で提示される割り当ては
ＶＬＣ＿Ｎ ＝ Ｎ_c＿ｍａｐ［（Ｎ_c＿Ｌ＋Ｎ_c＿Ｔ）／２］ （２）
となる。次の例は、本発明の方法によるＮｃの符号化を更に説明する。符号化されることになる現在のＮｃ値は３であり、隣接するＮｃ＿Ｌ値及びＮｃ＿Ｔ値はそれぞれ４及び２により与えられ、Ｎｃ＿ｍａｐはＮｃ＿ｍａｐ＝［１１１１１２２２２］で与えられ、ＶＬＣ１及びＶＬＣ２はそれぞれテーブル２及びテーブル５からのコードワードに対応すると仮定する。式（２）を適用するとＶＬＣ＿Ｎは１に等しい。この場合、Ｎｃ＝３は、テーブル２からのＶＬＣコードワードを用いて００１００として符号化される。

ビデオマルチプレックス符号器６７０は、次に、非ゼロ値の係数を（ラン、レベル）対として表わす。このことは、従来技術から知られている態様で行われて良い。より具体的には、量子化された変換係数の２次元アレイは、始めに、例えば図４に示されているような所定走査順序を用いて走査されて、配列された１次元アレイを作る。この配列された１次元アレイ内の各々の非ゼロ係数値は、その後、ラン値及びレベル値により表わされ、このレベル値は係数の値を表わし、ラン値は非ゼロ値の係数の前にある連続するゼロ値の係数の個数を表わす。前述したランレングス符号化の従来技術方法とは異なって、本発明の方法ではＥＯＢシンボルを送信する必要はない。本発明の方法では非ゼロ値の量子化された変換係数の個数が復号器に対して明示的に示されるので、ＥＯＢシンボルを送信しない可能性が生じるのである。従って、与えられたイメージブロックについて（ラン、レベル）対を復号するとき、復号器は復号された対の数を数えることができる。（非ゼロ値の係数の個数に対応する）復号された対の数が復号器に対して示された非ゼロ値の係数の個数に達すると、問題のブロックのための復号を止めることができる。

ビデオマルチプレックス符号器６７０は、単一のＶＬＣコードワードが各（ラン、レベル）対に割り当てられるようにラン値及びレベル値に可変長符号化を適用する。本発明では、ＶＬＣ符号化は、符号器６００に格納されている可変長符号化（ルックアップ）テーブルの集合のうちの１つを選択することによって実行される。該符号化テーブルは、各々、可変長コードワードの集合を定めるとともに、該コードワードとイメージブロックについての量子化された変換係数データに生じる可能性のある（ラン、レベル）対の可能な値との間のマッピングを定める。本発明では、ビデオマルチプレックス符号器６７０は、符号化されるイメージブロックについて量子化された変換係数のアレイの中の非ゼロ値の係数の個数に応じて使用される符号化テーブルを選択する。選択されたルックアップテーブルで定められているマッピングを用いて、ビデオマルチプレックス符号器は、各（ラン、レベル）対にコードワードを割り当て、そのコードワードをビットストリーム６３５で復号器へ送る。

種々のＶＬＣ符号化テーブルの数は、本発明の種々の実施態様において変動しても良い。本発明の一実施態様では、非ゼロ値の量子化された変換係数の各々の可能な数について別々のルックアップテーブルが設けられる。コードワードと、（ラン、レベル）対と１つ１つのテーブルのためのコードワードとの間のマッピングとは、指定された数の非ゼロ値係数を有する量子化された変換係数値のアレイから得られた（ラン、レベル）対の集合に適用されたときに最善のデータ圧縮を提供する様に設計される。非ゼロ値の量子化された変換係数の数に関しての（ラン、レベル）対の統計的特性の変動に関する情報は、例えば数個の試験（トレーニング）イメージ又はビデオシーケンスを前もって符号化することによって経験的に得ることができる。ＶＬＣコードワードとコードワード間のマッピングとを、符号器における１つ以上のルックアップテーブルとして設計して格納することができる。

１つの好ましい実施態様では、４×４イメージブロックから得られた（ラン、レベル）対を符号化するときに使用されるＶＬＣ符号化テーブルが２つだけ設けられ、その１つは非ゼロ値の量子化された変換係数の数が８以下であるときに使用され、１つは非ゼロ値の量子化された変換係数の数が８より大きいときに使用される。テーブル６及び７は、本発明のこの実施態様での（ラン、レベル）対の異なる確率分布を示す。統計は、現行のＩＴＵ−Ｔ勧告Ｈ．２６Ｌのテストモデル８（ＴＭＬ８）に従って実現されたビデオ符号器を用いて集められており、インター符号化されたイメージブロックに関連する。該テーブルにおいては、最も確からしい対に数１が割り当てられ、２番目に確からしい対に数２が割り当てられ、以降同様である。始めの１５個の非常に確からしい対がリストされている。

本発明の一代替実施態様では、送信されるシンボルのタイプを変えることによって符号化効率を改善することができる。量子化された変換係数は、（ラン、レベル）対として表わされる代わりに、（レベル、ラスト）対により表わされ、ＶＬＣコードワードが各々の（レベル、ラスト）対に割り当てられる。（レベル、ラスト）対のレベルは、係数の値を示すけれども、前述した（ラン、レベル）対とは異なって値０をとることができる。パラメータ“ラスト”は、当該ブロック内にもはやそれ以上の非ゼロ値の係数が存在しないことを示すために使われる。例えば、特定の係数のレベル値がゼロであって且つその後の係数値がすべてゼロならばラストが１に等しくセットされるように、ラストをバイナリー・フラグとして使うことができる。この、量子化された変換係数の代替表示方法は、特にイントラ符号化されたブロックについて、そして小さなＱＰ値が使用される場合に、符号化効率（データ圧縮）を改善することができる。

本発明の別の代替実施態様では、ＶＬＣコードワードの固定された集合が使用され、該コードワードと、符号化されることになる（ラン、レベル）対との間のマッピングだけが非ゼロ値の係数の個数に依存して変化する。

本発明の更に別の代替実施態様では、特定のイメージブロックについて選択されたＶＬＣ符号化テーブルは、例えばイメージブロックの変換係数を量子化するために使われる量子化パラメータ（ＱＰ）の値或いはフレーム又はイメージブロックのタイプ（イントラ／インター）などの、他の何らかのパラメータに依存しても良い。この場合、量子化された変換係数の特定のアレイについてのＶＬＣ符号化テーブルの選択は、非ゼロ値の係数の個数と他のパラメータの値との両方に依存する。

本発明のなお別の代替実施態様では、ゼロ値の量子化変換係数値の個数を判定し、その個数を、ＶＬＣコードワードと、該コードワード及びデータシンボル間のマッピングとを設計するとともにＶＣＬルックアップテーブルを選択するための基準となるパラメータとして使用することができる。

本発明の１つの実施態様に従うビデオ復号器７００の動作を図７を参照して説明する。図７に示されているビデオ復号器の構造は、図２に示されている従来技術のビデオ復号器のそれと実質的に同一であるが、該復号器の可変長復号操作を実行する部分は適宜改変されている。該ビデオ復号器の、前述した従来技術のビデオ復号器と同一の機能を実現して動作する部分は全て同一の参照番号で特定されている。以下の記述では、全ての可変長復号操作がビデオマルチプレックス復号器７７０で実行されるということが前提とされている。しかし、本発明の別の実施態様では別個の可変長復号ユニットを設けても良いことが理解されるべきである。

ビデオ復号器の動作を詳しく説明する。ここでは、図７のビデオ復号器は図６との関係で記述された符号器と対応し、従って符号器６００により送信されたビットストリーム６３５を受け取って復号し得るということが仮定されている。該復号器において、ビットストリームがビデオマルチプレックス復号器７７０により受信されてその構成部分に分離される。従来技術についての前の記述に関して説明したように、ビットストリームから抽出された圧縮されているビデオデータはマクロブロック毎に処理される。イントラ符号化されているマクロブロックについての圧縮されているビデオデータは、マクロブロックの各ブロックについてのＶＬＣ符号化されているＮｃ値及び（ラン、レベル）対を表わす可変長コードワードと、符号化されている制御情報（例えば、量子化パラメータＱＰに関する）とを含む。インター符号化されたマクロブロックについての圧縮されているビデオデータは、各ブロックについてのＶＬＣ符号化されている予測誤差情報（ＶＬＣ符号化されているＮｃ値とＶＬＣ符号化されている（ラン、レベル）対とを含む）、該マクロブロックについての動きベクトル情報、及び符号化されている制御情報を含む。

イントラ符号化されているマクロブロックの各ブロックとインター符号化されているマクロブロックに関連する予測誤差データの各ブロックとについてのＶＬＣ符号化されているＮｃ値とＶＬＣ符号化されている（ラン、レベル）対とは、同一の態様で復号される。

より具体的には、イントラ符号化又はインター符号化されているイメージブロックについてＶＬＣ符号化されている（ラン、レベル）対を復号するとき、ビデオマルチプレックス復号器７７０は、始めに、該ブロック中の非ゼロ値の量子化されている変換係数の個数を判定する。前述したように、非ゼロ値の量子化されている変換係数の個数Ｎｃは符号器６００によってビットストリーム６３５に挿入される。復号器７００は、受け取ったビットストリームからこの情報を抽出する。本発明によれば、Ｎｃ値自体がＶＬＣ符号化されるので、ビデオマルチプレックス復号器７７０は、適切な可変長復号操作を実行してＮｃに関する情報を回復する。前述したように、特定のイメージブロックについてＮｃ値を符号化するために使われるＶＬＣ符号化テーブルは、前に符号化されたイメージブロックに関連するＮｃ値に基づいて選択される。このことは、与えられたブロックについてのＮｃ値を表わすコードワードは、一般に、そのコードワードがそれから選び出されたところのＶＬＣ符号化テーブルの明示的指示無しに復号可能である。従って、復号器が知る必要のあるものは、始めの（幾つかの）符号化されているイメージブロックについてのＮｃ値がそこから選択されたところのＶＬＣ符号化テーブルと、該イメージブロックの符号化順序と、その後のＮｃ値を符号化するときに使用されることになるＶＬＣテーブルを決定するために使われたルールとだけである。Ｎｃのための選択されたＶＬＣ符号化テーブルについての明示的知識をそのイメージブロックのために持つことが必要であるところのイメージブロックの正確な個数は、後のＮｃ値のためのＶＬＣ符号化テーブルを選択するために使われるルールの性質とブロック走査順序とに依存する。例えば、後のＮｃ値を符号化するためのＶＬＣテーブルを選択するために左、上左、上及び上右のブロックからのＮｃ値が使用され、ブロック走査（符号化）順序がイメージの上左から１ローずつ走査されるという順序である場合には、イメージの第１ロー内のブロックと第２ローの第１ブロックについてＮｃ値を所定方式に従って符号化するのが有利である。その後の全てのイメージブロックについてのＮｃ値は、上記の式（１）により記述されるルールに従って符号化可能であり、使用されたＶＬＣ符号化テーブルの明示的指示無しに復号器で復号可能である。

今説明したばかりの手順に従ってイメージブロック内の非ゼロ値の量子化された変換係数の個数が判定されると、ビデオマルチプレックス復号器７７０は、可変長復号テーブルを選択して、イメージブロックについてＶＬＣ符号化されている（ラン、レングス）対を復号し始める。本発明に従って、ＶＬＣ復号テーブルがＮｃに依存して選択される。復号テーブルは、符号器で使われるものと同一のルックアップ・テーブルの集合から選択される。復号テーブルは、前もって復号器に格納され、ビットストリーム６３５で受信されるＶＬＣコードワードと、イメージブロックについて量子化された変換係数のデータ中に生じる可能性のある（ラン、レベル）対の可能な値との間のマッピングを定義する。非ゼロ値の量子化された変換係数の個数に応じて該テーブルを選択した後、ビデオマルチプレックス復号器７７０は、選択されたルックアップ・テーブルにおいて定義されているマッピングを使用してラン値及びレベル値を回復する。それは、その後、該ブロックについて量子化された変換係数値を復元し、それらを逆量子化器２１０に渡す。ビデオ復号手順の、各イメージブロックについて復元されたピクセル値を形成する残りの部分は、従来技術のビデオ復号器２００に関して説明したように行われる。

本発明の方法は、前述したＶＬＣ符号化の従来技術方法と比べて重要な利点を提供するということが理解されるべきである。特に、本発明の方法は、比較的に低い計算の複雑さと伝送誤差に対する高い復元力とを維持しながら符号化／復号されるデータシンボルの統計的特性に対して適応性のある可変長符号化及び復号の方法を提供する。この方法の適応性は、いろいろな個数の非ゼロ値の量子化された変換係数を有するイメージブロックについていろいろな可変長コードワード及び／又はマッピングを使用することに由来する。計算の複雑さは、いろいろなコードワード及び／又はマッピングを符号器及び復号器にルックアップ・テーブルとして設けることにより、低く保たれる。これは、与えられたイメージブロックについて使用される特定のルックアップ・テーブルが、該ブロック中の非ゼロ値の変換係数の個数を示す値によって復号器に伝えられるので、データ伝送誤差に対する過敏性を低下させるのにも役立つ。

図８は、本発明に従って動作するように改変されて良い符号化装置及び復号装置を含む端末装置を提示する。より精密には、この図は、ＩＴＵ−Ｔ勧告Ｈ．３２４に従って具体化されたマルチメディア端末８０を示す。この端末は、マルチメディア・トランシーバー装置と見なし得るものである。これは、通信網を介して伝送されるマルチメディア・データストリームを捉え、符号化し、多重化するエレメントと、受信したマルチメディア・コンテンツを受信し、多重分離し、復号して表示するエレメントとを含む。ＩＴＵ−Ｔ勧告Ｈ.３２４は、端末の動作全体を定めるとともに、そのいろいろな構成部分の動作を支配する他の勧告に言及している。この種のマルチメディア端末は、在来のビデオ電話などのリアルタイム・アプリケーション、或いは例えばインターネットにおけるマルチメディア・コンテンツ・サーバーからのビデオクリップの検索及び／又はストリーミングなどの非リアルタイム・アプリケーションに使用することができる。

本発明の文脈において、図８に示されているＨ．３２４端末は本発明の方法を適用するのに適するいろいろなマルチメディア端末の実施態様のうちの１つに過ぎないということが理解されるべきである。該端末装置の場所及び実現に関していろいろな選択肢が存在することにも注意するべきである。図８に示されているように、該マルチメディア端末は、アナログＰＳＴＮ（公衆交換電話回線網）などの固定回線電話網に接続された通信装置に配置されても良い。この場合、該マルチメディア端末は、ＩＴＵ−Ｔ勧告Ｖ．８、Ｖ．３４及び随意にＶ．８ｂｉｓに従うモデム９１を備える。或いは、該マルチメディア端末は外付けのモデムに接続されても良い。該モデムは、該マルチメディア端末により作られた多重化されているディジタルデータ及び制御信号をＰＳＴＮを介して伝送するのに適するアナログ形に変換することを可能にする。それは、更に、該マルチメディア端末がアナログ形のデータ及び制御信号をＰＳＴＮから受け取って、それらを該端末により適宜多重分離され処理され得るディジタルデータストリームに変換することを可能にする。

Ｈ．３２４マルチメディア端末は、ＩＳＤＮ（総合デジタル通信網）などのディジタル固定回線網に直接接続できるようにも実現可能である。この場合、モデム９１はＩＳＤＮユーザ・ネットワーク・インターフェースに取って代わられる。図８において、このＩＳＤＮユーザ・ネットワーク・インターフェースは代わりのブロック９２により表示されている。

Ｈ．３２４マルチメディア端末は、移動通信アプリケーションに用いられるようにも改造可能である。無線通信リンクで使用される場合、図８において代替ブロック９３により表示されているように、モデム９１の代わりに任意の適切な無線インターフェースを使うことができる。例えば、Ｈ．３２４／Ｍマルチメディア端末は、現行の第２世代ＧＳＭ移動電話網に、或いは提案されている第３世代ＵＭＴＳ（ユニバーサル移動電話システム（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｐｈｏｎｅ Ｓｙｓｔｅｍ））への接続を可能にする無線トランシーバーを含むことができる。

２方向通信用に、即ちビデオデータの送信及び受信用に設計されているマルチメディア端末では本発明に従って実現されるビデオ符号器及びビデオ復号器の両方を設けるのが有利である。その様な符号器及び復号器の対は、“コーデック”と称される単一の複合機能ユニットとして実現されることが良くある。

代表的なＨ．３２４マルチメディア端末について、図８を参照して更に詳しく説明する。

マルチメディア端末８０は、“端末装置”と称される種々のエレメントを含んでいる。これは、参照番号８１，８２及び８３によりそれぞれ包括的に示されるビデオ装置、オーディオ装置及びテレマティック装置を含んでいる。ビデオ装置８１は、例えば、ビデオイメージを捉えるためのビデオカメラ、受信されたビデオコンテンツを表示するためのモニター、及び任意のビデオ処理装置を含むことができる。オーディオ装置８２は、通常、例えば口頭伝言を捉えるためのマイクロフォン、及び受信されたオーディオコンテンツを再生するためのスピーカーを含む。オーディオ装置は、付加的なオーディオ処理ユニットも含むことができる。テレマティック装置８３は、データ端末、キーボード、電子ホワイトボード、或いはファックスユニット等の静止画トランシーバーを含むことができる。

ビデオ装置８１はビデオコーデック８５に結合されている。ビデオコーデック８５は、ともに本発明に従って実現されたビデオ符号器と対応するビデオ復号器とを含む。この符号器及び復号器について次に説明する。ビデオコーデック８５は、捉えられたビデオデータを通信リンクを介して更に伝送するために適切な形に符号化するとともに、通信網から受信された圧縮されているビデオコンテンツを復号する役割を担っている。図８に示されている例では、ビデオコーデックは、ＩＴＵ−Ｔ勧告Ｈ．２６Ｌに従って実現され、該ビデオコーデックの符号器及び復号器の両方において本発明に従う適応可変長符号化方法を実施するために適宜改造される。

該端末のオーディオ装置は、図８において参照番号８６により示されているオーディオコーデックに結合される。ビデオコーデックと同様に、このオーディオコーデックは符号器／復号器の対を含む。それは、該端末のオーディオ装置により捉えられたオーディオデータを通信リンクで伝送するために適する形に変換するとともに、ネットワークから受信された符号化されているオーディオデータを例えば該端末のスピーカーで再生するために適する形に変換する。オーディオコーデックの出力は遅延ブロック８７に渡される。これはビデオ符号化プロセスによりもたらされた遅延を補償することによりオーディオコンテンツとビデオコンテンツとの同期を確保する。

マルチメディア端末のシステム制御ブロック８４は、適切な制御プロトコル（シグナリング・ブロック８８）を用いて端末・ネットワーク間シグナリングを制御して送信端末と受信端末との間に共通動作モードを確立する。シグナリング・ブロック８８は、送信端末及び受信端末の符号化能力及び復号能力に関する情報を交換し、ビデオ符号器の種々の符号化モードを可能にするために使用可能である。システム制御ブロック８４は、データ暗号方式の使用も制御する。データ伝送に使われる暗号方式のタイプに関する情報は、暗号ブロック８９からマルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＭＵＸユニット）９０に渡される。

マルチメディア端末からデータ送信が行われているとき、ＭＵＸ／ＤＭＵＸユニット９０は、符号化され且つ同期化されたビデオストリーム及びオーディオストリームをテレマティック装置８３からのデータ入力及び考えられる制御データと結合させて単一のビットストリームを形成する。暗号ブロック８９により提供される、ビットストリームに適用されることになるデータ暗号方式（もしあるならば）のタイプに関する情報は、暗号モードを選択するために使われる。対応的に、多重化され、また場合によっては暗号化されたマルチメディア・ビットストリームが受信されているとき、ＭＵＸ／ＤＭＵＸユニット９０は、そのビットストリームを解読し、それをそのマルチメディア構成コンポーネントに分割し、それらのコンポーネントを復号及び再生のために適切なコーデック及び／又は端末装置に渡す。

本発明に従うマルチメディア端末の機能エレメント、ビデオ符号器、復号器及びビデオコーデックはソフトウェア又は専用ハードウェアとして、或いはこの２つの組み合わせとして、実現可能であることに注意するべきである。

本発明の可変長符号化及び復号の方法は、本発明の機能ステップを実行するための機械読み取り可能な命令から成るコンピュータプログラムの形で実施されるのに特に適している。そういうものとして、本発明の可変長符号器及び復号器は、記憶媒体に格納されてパーソナルデスクトップコンピュータなどのコンピュータで実行されるソフトウェアコードとして実現されても良い。

マルチメディア端末８０が移動端末であれば、即ち無線トランシーバー９３を備えていれば、それが付加的なエレメントを含んでも良いことが当業者に理解されるであろう。一実施態様では、それは、ユーザによるマルチメディア端末８０の操作を可能にするディスプレイ及びキーボードを有するユーザインターフェースと、該マルチメディア端末のいろいろな機能を果たすブロックを制御するマイクロプロセッサ等の中央処理装置と、ランダムアクセスメモリーＲＡＭと、読み出し専用メモリＲＯＭと、ディジタルカメラとを含む。
マイクロプロセッサの動作命令、即ちマルチメディア端末８０の基本機能に対応するプログラムコードは、読み出し専用メモリＲＯＭに格納され、例えばユーザの制御下でマイクロプロセッサにより要求された様に実行可能である。プログラムコードに従って、マイクロプロセッサは、無線トランシーバー９３を使って移動通信ネットワークとの接続を形成し、マルチメディア端末８０が無線経路を介して移動通信ネットワークと情報をやり取りすることを可能にする。

マイクロプロセッサは、ユーザインターフェースの状態を監視し、ディジタルカメラを制御する。ユーザコマンドに応答して、マイクロプロセッサはディジタルイメージをＲＡＭに記録するようにカメラに命令する。イメージが捉えられると、或いはその捉えるプロセス中、マイクロプロセッサは、前述したように圧縮されたイメージシーケンスを作るために、イメージをイメージセグメント（例えばマクロブロック）に分割し、符号器を使って該セグメントの動き補償符号化を実行する。ユーザは、捉えられたイメージを自分のディスプレイで表示するようにマルチメディア端末８０に命令し、或いは圧縮されているイメージシーケンスを無線トランシーバー９３を用いて他のマルチメディア端末、固定回線ネットワーク（ＰＳＴＮ）に接続されているテレビ電話或いは他の何らかの通信装置に送るように命令する。１つの好ましい実施態様では、受信者が対応する復号プロセスを最小限の遅延で開始できるように、イメージデータの送信は第１セグメントが符号化された後に直ちに開始される。

従来技術による一般的ビデオ符号器の略ブロック図である。 従来技術による、図１に示されている符号器に対応する一般的ビデオ復号器の略ブロック図である。 従来技術によるマクロブロックの形成を示す図である。 模範的ジグザグ走査順序を示す図である。 符号化される現在のイメージ・ブロックと、これに隣接する前に符号化されたイメージ・ブロックとを示す図である。 本発明の実施態様によるビデオ符号器の略ブロック図である。 本発明の実施態様による、図６に示されている符号器に対応するビデオ復号器の略ブロック図である。 本発明の方法を実施できるマルチメディア通信端末の略ブロック図である。

Claims (49)

1. 第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含むデータシンボルの集合を符号化する方法において、
   可変長符号化されるシンボルの集合が前記データシンボルの集合から形成され、
   可変長符号化されるシンボルの前記集合に対して可変長符号化が適用され、
   可変長符号化される前記シンボルの集合に適用される前記可変長符号化の少なくとも１つの特性が、可変長符号化されるシンボルの数に従って適合化され、
   可変長符号化されたシンボルの数の指標が提供され、
   該指標は、可変長符号化されるシンボルの前記数を表わす可変長コードワードである方法であって、
   前記指標は、可変長符号化されるシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択されること、
   前記方法は、前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて可変長符号化されるシンボルの前記数を表わす可変長コードワードを選択することを更に含む、ことを特徴とする方法。
2. 前記指標がビットストリームで復号装置に送られることを特徴とする請求項１に記載の方法。
3. 前に符号化されたデータシンボルの集合の２つ以上の中の可変長符号化されたシンボルの数の平均値に基づいて可変長符号化されるシンボルの前記数を表わす可変長コードワードを選択することを含むことを特徴とする請求項１又は２に記載の方法。
4. コードワードへの値の割り当てを定めるマッピング操作を実行することによって可変長符号化されるシンボルの前記数を表わす可変長コードワードを選択することを含むことを特徴とする請求項１から３のうちのいずれか一項に記載の方法。
5. 前記マッピング操作は、マッピングテーブルの集合のうちの１つであるマッピングテーブルによって実行され、
   前記マッピングテーブルは前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて選択されることを特徴とする請求項４に記載の方法。
6. 前記方法は、前記第２数のデータシンボルの各々を、該データシンボルの値を示す第１値と前記データシンボルの前又は後に存在するゼロ値のデータシンボルの数を示す第２値とを含む値の対によって、表わすことを含んでおり、
   このことにより可変長符号化される前記シンボルを表わす第１値及び第２値の対の集合を形成することを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記方法はマッピング操作を実行することを含み、この操作において
   可変長符号化される前記シンボルの各々がコードワードに割り当てられ、
   これにより可変長符号化される前記シンボルを表わす符号化された値の集合を形成し、
   該コードワードはコードワードの集合から選択され、
   前記コードワードの集合は、前記マッピング操作に使用されるときに可変長符号化される前記シンボルを表わすのに必要とされる情報の量を減少させるように設計されていることを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記マッピング操作は前記第２数のデータシンボルに依存することを特徴とする請求項７に記載の方法。
9. 前記マッピング操作は、可変長符号化されるシンボルのコードワードへの割り当てを各々定める選択可能な割り当てテーブルの集合のうちの１つを選択し、前記選択された割り当てテーブルによって定められている割り当てに従って可変長符号化される前記シンボルの各々をコードワードに割り当てることによって実行されることを特徴とする請求項８に記載の方法。
10. 前記の所定の第１数のデータシンボルはゼロ値のデータシンボルであり、
    前記の所定の第２数のデータシンボルは非ゼロ値のデータシンボルであることを特徴とする請求項１から９のいずれか一項に記載の方法。
11. データシンボルの前記集合は、量子化された変換係数値の集合であることを特徴とする請求項１から１０のいずれか一項に記載の方法。
12. データシンボルの集合を表わす可変長コードワードを復号する方法において、
    データシンボルの該集合は、第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含み、
    データシンボルの前記集合は、データシンボルの前記集合から可変長符号化されるデータシンボルの集合を形成することによって符号化されており、
    前記可変長コードワードは、可変長符号化されるシンボルの前記集合に対して可変長符号化を適用することにより形成されており、
    前記可変長コードワードに適用される復号の少なくとも１つの特性が、可変長符号化されたシンボルの前記集合中のシンボルの数の指標にしたがって適合化され、
    該指標は、可変長符号化されたシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの前記数を表わす可変長コードワードであることを特徴とする方法であって、
    前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを復号することを含む方法。
13. 可変長符号化されたシンボルの前記集合中のシンボルの数の前記指標は符号化装置から受け取られることを特徴とする請求項１２に記載の方法。
14. 前に符号化されたデータシンボルの集合の２つ以上の中の可変長符号化されたシンボルの数の平均値に基づいて可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを復号することを含むことを特徴とする請求項１２又は１３に記載の方法。
15. 値へのコードワードの割り当てを定める逆マッピング操作を実行することにより、可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを復号することを含むことを特徴とする請求項１２から１４のいずれか一項に記載の方法。
16. 前記逆マッピング操作はマッピングテーブルの集合の中の１つであるマッピングテーブルによって実行され、前記マッピングテーブルは前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて選択ことを特徴とする請求項１５に記載の方法。
17. 可変長符号化された前記数のシンボルの各々は、データシンボルの値を示す第１値と前記データシンボルの前又は後に存在するゼロ値のデータシンボルの数を示す第２値とから成る値の対によって表わされ、第１値及び第２値の前記対は可変長符号化された前記シンボルを表わすことを特徴とする請求項１２から１６のいずれか一項に記載の方法。
18. 前記方法は逆マッピング操作を実行することを含んでおり、可変長符号化されたシンボルの前記集合のうちの特定の１つを同定するために、各可変長コードワードが使用されることを特徴とする請求項１２から１７のいずれか一項に記載の方法。
19. 前記逆マッピング操作は、可変長符号化されたシンボルの前記集合の中のデータシンボルの該第２数の前記指標に依存することを特徴とする請求項１８に記載の方法。
20. 符号化されるシンボルのコードワードへの割り当てを各々定める選択可能な割り当てテーブルの集合の中の１つを選択し、前記選択された割り当てテーブルにより定められる割り当てに従って可変長符号化された前記シンボルのうちの特定の１つを同定することによって前記逆マッピング操作が実行されることを特徴とする請求項１９に記載の方法。
21. 前記所定の第１数のデータシンボルはゼロ値のデータシンボルであり、前記所定の第２数のデータシンボルは非ゼロ値のデータシンボルであることを特徴とする請求項１２から２０のいずれか一項に記載の方法。
22. 第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含むデータシンボルの集合を符号化するための符号器であって、
    該符号器では、可変長符号化されるシンボルの集合がデータシンボルの前記集合から形成されるようになっており、
    該符号器は可変長符号化されるシンボルの前記集合を可変長符号化するための符号化手段を含み、
    該符号器は、可変長符号化されるシンボルの前記集合に適用される可変長符号化の少なくとも１つの特性を、可変長符号化されるシンボルの数に従って適合化するようになっていると共に、
    可変長符号化されたシンボルの数の指標を提供するようになっており、
    前記指標は、可変長符号化されるシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されるシンボルの前記数を表わす可変長コードワードであり、
    さらに、前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて可変長符号化されるシンボルの前記数を表わす可変長コードワードを選択することを特徴とする符号器。
23. 可変長符号化されるシンボルの数の前記指標を含むビットストリームを形成するようになっていることを特徴とする請求項２２に記載の符号器。
24. 前記ビットストリームを復号装置に送るようになっていることを特徴とする請求項２２又は２３に記載の符号器。
25. 可変長符号化されるシンボルの前記数を表わす可変長コードワードを、前に符号化されたデータシンボルの集合の２つ以上の中の可変長符号化されたシンボルの数の平均値に基づいて選択するようになっていることを特徴とする請求項２２から２４のいずれか一項に記載の符号器。
26. 可変長符号化されるシンボルの前記数を表わす可変長コードワードを、コードワードへの値の割り当てを定めるマッピング操作を実行することによって選択するようになっていることを特徴とする請求項２２から２５のいずれか一項に記載の符号器。
27. マッピングテーブルの集合のうちの１つであるマッピングテーブルによって前記マッピング操作を実行し、前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて前記マッピングテーブルを選択するようになっているようになっていることを特徴とする請求項２６に記載の符号器。
28. データシンボルの値を示す第１値と前記データシンボルの前又は後に存在するゼロ値のデータシンボルの数を示す第２値とを含む値の対によって前記第２数のデータシンボルの各々を表わし、このことにより可変長符号化される前記シンボルを表わす第１値及び第２値の対の集合を形成するようになっていることを特徴とする請求項２２から２７のいずれか一項に記載の符号器。
29. 該符号器はマッピング操作を実行するようになっており、この操作において可変長符号化される前記シンボルの各々がコードワードに割り当てられ、これにより可変長符号化される前記シンボルを表わす符号化された値の集合を形成し、該コードワードはコードワードの集合から選択され、コードワードの前記集合は、前記マッピング操作に使用されるときに可変長符号化される前記シンボルを表わすのに必要とされる情報の量を減少させるように設計されていることを特徴とする請求項２２から２８のいずれか一項に記載の符号器。
30. 前記マッピング操作は前記第２数のデータシンボルに依存するようになっていることを特徴とする請求項２９に記載の符号器。
31. 前記マッピング操作は、可変長符号化されるシンボルのコードワードへの割り当てを各々定める選択可能な割り当てテーブルの集合のうちの１つを選択し、前記選択された割り当てテーブルによって定められている割り当てに従って第２数のデータシンボルの各々をコードワードへ割り当てることによって実行されるようになっていることを特徴とする請求項３０に記載の符号器。
32. 前記所定の第１数のデータシンボルはゼロ値のデータシンボルであり、前記所定の第２数のデータシンボルは非ゼロ値のデータシンボルであることを特徴とする請求項２２から３１のいずれか一項に記載の符号器。
33. ビデオ符号器に設けられた、請求項２２から３２のいずれか一項に記載の符号器。
34. コンピュータ読み出し可能な記憶媒体に格納された機械実行可能なコードとして実現された、請求項２２から３３のいずれか一項に記載の符号器。
35. データシンボルの集合を表わす可変長コードワードを復号するための復号器において、
    データシンボルの前記集合は第１の値を有する所定の第１数のデータシンボルと前記第１の値以外の値を有する所定の第２数のデータシンボルとを含み、
    データシンボルの前記集合は、可変長符号化されるシンボルの集合を形成することによって符号化されており、
    前記可変長コードワードは、可変長符号化されるシンボルの前記集合に対して可変長符号化を適用することにより形成されており、
    該復号器は、前記可変長コードワードに適用される復号の少なくとも１つの特性が、可変長符号化されたシンボルの前記集合中のシンボルの数の指標に応じて適合化されるようになっており、
    前記指標は、可変長符号化されたシンボルの前記数に従って可変長コードワードの少なくとも２つの択一的集合のうちの１つから選択された可変長符号化されたシンボルの前記数を表わす可変長コードワードであることを特徴とする復号器であって、
    前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを、復号するようになっている復号器。
36. 可変長符号化されたシンボルの前記集合中のシンボルの前記数の前記指標は符号化装置から受け取られることを特徴とする請求項３５に記載の復号器。
37. 可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを、前に符号化されたデータシンボルの集合の２つ以上の中の可変長符号化されたシンボルの数の平均値に基づいて復号するようになっていることを特徴とする請求項３５又は３６に記載の復号器。
38. コードワードの値への割り当てを定める逆マッピング操作を実行することにより、可変長符号化されたシンボルの前記数を表わす前記可変長コードワードを復号するようになっていることを特徴とする請求項３５から３７のいずれか一項に記載の復号器。
39. マッピングテーブルの集合のうちの１つであるマッピングテーブルによって前記逆マッピング操作を実行するようになっており、また前に符号化されたデータシンボルの集合の少なくとも１つの中の可変長符号化されたシンボルの数に基づいて前記マッピングテーブルを選択するようになっていることを特徴とする請求項３８に記載の復号器。
40. データシンボルの値を示す第１値と前記データシンボルの前又は後に存在するゼロ値のデータシンボルの数を示す第２値とから成る値の対を含むデータシンボルを表わす可変長コードワードを復号するようになっていることを特徴とする請求項３５から３９のいずれか一項に記載の復号器。
41. 各可変長コードワードを使って可変長符号化されたシンボルの前記集合のうちの特定の１つを同定する逆マッピング操作を実行することによって前記可変長コードワードを復号するようになっていることを特徴とする請求項３５から４０のいずれか一項に記載の復号器。
42. データシンボルの前記集合中のデータシンボルの第２数の前記指標に依存して前記逆マッピング操作を実行するようになっていることを特徴とする請求項４１に記載の復号器。
43. 可変長符号化されたシンボルのコードワードへの割り当てを各々定める選択可能な割り当てテーブルの集合の中の１つを選択し、前記選択された割り当てテーブルにより定められる割り当てに従って可変長符号化された前記シンボルのうちの特定の１つを特定することによって前記逆マッピング操作を実行するようになっていることを特徴とする請求項４２に記載の復号器。
44. 前記所定の第１数のデータシンボルはゼロ値のデータシンボルであり、前記所定の第２数のデータシンボルは非ゼロ値のデータシンボルであることを特徴とする請求項３５から４３のいずれか一項に記載の復号器。
45. ビデオ復号器に設けられた、請求項３５から４４のいずれか一項に記載の復号器。
46. コンピュータ読み出し可能な記憶媒体に格納された機械実行可能なコードとして実現された、請求項３５から４４のいずれか一項に記載の復号器。
47. 請求項２４から３４のいずれか一項に記載の符号器を含むマルチメディア端末。
48. 請求項３５から４６のいずれか一項に記載の復号器を含むマルチメディア端末。
49. 無線接続によって移動通信ネットワークと通信するようになっている移動マルチメディア端末であることを特徴とする、請求項３５から３７のいずれか一項に記載の復号器を含むマルチメディア端末。

Images