JP4593720B2

JP4593720B2 - 剰余数係数の動的表示方法および装置

Info

Publication number: JP4593720B2
Application number: JP2000066803A
Authority: JP
Inventors: スン・リムチョン; ケン・タンティオ
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-03-10
Filing date: 2000-03-10
Publication date: 2010-12-08
Anticipated expiration: 2020-03-10
Also published as: JP2001258029A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ４規格における細粒度ビデオスケーラビリティスキームで利用できる技術に関する。
【０００２】
【従来の技術】
ＭＰＥＧ４規格のビットレートスケーラビリティのために、ビデオ品質の細粒度スケーラビリティを提供できるビデオ符号化技術の必要性が増している。細粒度スケーラビリティ（ＦＧＳ： Fine Granularity Scalability）スキームは、ネットワークビデオ配信用途を目的として開発されたものである（例えばインターネットビデオ伝送）。
【０００３】
ＦＧＳスキームでは、基本的に２つの異なったビットストリームのレイヤがある。１つのレイヤはベースレイヤであり、また他のレイヤは拡張レイヤである。
図１は、ＦＧＳ符号化器のブロック図を示す。
【０００４】
ベースレイヤ符号化については、ビデオ符号化の手順はＭＰＥＧ４バージョン１のシンプルプロフィルと同じである。従来技術は、それぞれブロックサンプリング、離散コサイン変換、量子化、ＤＣとＡＣ予測、ジグザグスキャンおよび可変長符号化モジュール１０１、１０３、１０４、１０５、１０６、１０７から構成される。
【０００５】
ベースレイヤのフレーム内符号化については、ブロックサンプリング後のブロックにはＤＣＴが行われ、次に量子化、ＤＣとＡＣ予測、ジグザグスキャン、最後に可変長符号化またはエントロピ符号化が行われる。これに対し、ベースレイヤにおけるフレーム間符号化については、ブロックサンプリング後に逆量子化、逆ＤＣＴ、動き予測と動き補償がそれぞれモジュール１０８、１０９、１１２で実行される。予測差はモジュール１０２で計算され、またフレーム内符号化におけるのと同一の符号化手順を経る。
【０００６】
拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール１１３で逆量子化され、また剰余数（residue）の値は、モジュール１１４で、再構築されたＤＣＴ値を元のＤＣＴ係数から減算することによって計算される。次に、計算された剰余数はジグザグスキャンとビットプレーン可変長符号化モジュール１１５と１１６それぞれに送られる。
【０００７】
現在の最新技術では、拡張レイヤの剰余数の絶対値は２進数で表され、また２進表示に応じて異なったビットプレーンに符号化される。各剰余数の符号ビットは２進数の最上位ビットと共に符号化される。拡張レイヤの符号化効率を改良するために、剰余数値の表示を変更する試みはこれまで行われていなかった。
【０００８】
ビットプレーンＶＬＣモジュールから出力される拡張レイヤビットストリームは、ＦＧＳサーバに伝送される。ＦＧＳサーバは、クライアントとＦＧＳサーバとの間のチャネルの帯域幅に基づき、チャネル容量に合せるため、拡張レイヤビットストリームのより下位のビットプレーンを切り捨てる。ベースレイヤビットストリームは、ビットストリームの成分を修正することなく、ＦＧＳサーバを通して直接クライアントに伝送される。
【０００９】
図２は、ＦＧＳ復号化器のブロック図を示す。クライアント側では、ベースレイヤ復号化のため、従来技術ではそれぞれＶＬＤ、逆ジグザグスキャン、逆ＤＣ＆ＡＣ予測、逆量子化、逆ＤＣＴおよび動き補償モジュール２０１、２０２、２０３、２０４、２０５、２０７から構成される。フレーム内復号化については、ベースレイヤビットストリームは可変長復号化、逆ジグザグスキャン、逆ＤＣとＡＣ予測、逆量子化、次に逆離散コサイン変換のプロセスを受ける。これに対しフレーム間復号化については、ビットストリームは逆ＤＣＴプロセスの後に動き補償の追加手順を経て、また動き補償プロセスの出力はモジュールで逆ＤＣＴの出力に加算され、映像を再構築する。
【００１０】
拡張レイヤ復号化については、従来技術の復号化器は、ビットプレーンＶＬＤ、逆ジグザグスキャンおよび逆ＤＣＴモジュール２０９、２１０、２１２から構成される。拡張ビットストリームがビットプレーンＶＬＤプロセスを経た後、復号化されたビットプレーンは組み合わされて剰余数値を与える。ＦＧＳサーバによって伝送されないビットプレーンは、最後に受信したビットプレーンの下の第２のビットプレーンを除き復号化器側でゼロであると想定される。前記剰余数の最上位ビットが送られた場合には、このビットプレーンのビットは１に設定される。
【００１１】
再構築された剰余数は逆ジグザグスキャンされる。次に、これらの剰余数値は、ベースレイヤの逆量子化ＤＣＴ係数に加算され、モジュール２１１に示すように拡張されたＤＣＴ係数を与える。拡張されたＤＣＴ係数は逆ＤＣＴプロセスを受け拡張された画素値を与える。ベースレイヤにおけるフレーム間復号化については、拡張レイヤの逆ＤＣＴモードの出力は拡張された予測誤差である。これらの拡張された予測誤差は、モジュール２１３で、ベースレイヤの動き補償の出力値に加算され、拡張された映像値を与える。
【００１２】
【発明が解決しようとする課題】
既存のＦＧＳビデオ符号化技術に基づき、剰余数は２進数で提示される。２進数表示では、数は２の累乗を用いて表される。３３の剰余数値の実例を挙げると、３３の剰余数値は２進（２⁵＋２⁰）の１００００１として表すことができる。この剰余数のすべてのビットを復号化器側で受信できるならば、この種の表現は可逆である。しかし、これは実際のネットワークの条件では可能ではない。ある低いビットレートの場合、ＦＧＳサーバは最上位ビットのみを伝送できるだけであり、またクライアント側で復号化されるビットは１０００００である。
【００１３】
従来技術の剰余数予測技術を用いて、受信したビットよりも２つ下方のビットを１に設定することによって、復号化器は剰余数値を予測する。この結果、２進表示でで１０１０００という予測された剰余数値が得られ、またその数値は４０であり、これによって元の剰余数値に比較して７の予測誤差が与えられる。
【００１４】
全体のＶＯＰの最大剰余数値が３３である場合には、ＶＯＰ内の剰余数の最大ダイナミックレンジは２進数表示を用いて６３に増加され、この結果復号化された剰余数の予測効率は悪くなる。これは、従来技術の剰余数表示と予測技術が、拡張ビットレートが低い場合にとって非常に効率的でないことを示している。
【００１５】
したがって、本開示の目的は従来技術の符号化技術の効率の悪さを解決することである。解決すべき第１の問題は、ビットプレーン符号化の符号化効率を最大にするにはどのように剰余数を表せばよいかである。解決すべき第２の問題は、どのように復号化された剰余数係数に関する予測を行えば、ＶＯＰのＰＳＮＲを最適化できるかである。
【００１６】
【課題を解決するための手段】
ＶＯＰ内の剰余数の確率密度分布は均一に分布していないことが知られている。図３は、ＶＯＰ内の剰余数の大きさの典型的な確率密度分布図を示す。図示されるように、剰余数はダイナミックレンジの低い方で高く分布し、またダイナミックレンジの高い方での分布はより低い。剰余数係数はこの特性をベースレイヤＤＣＴ係数から受け継ぐので、これは正しい。
【００１７】
２進法表示技術の効率の悪さは、実際のダイナミックレンジと比較してより大きなダイナミックレンジが指定されることに起因する。最大ダイナミックレンジ情報を拡張ビットストリームにおいて特定し、またＶＯＰの確率密度分布を利用する動的表示技術を用いることによって、この非効率の問題を解決し、拡張ビットプレーンのビットの役割を規定できる。
【００１８】
同様に、剰余数の確率密度分布の形状から判断すると、復号化された剰余数係数に関する予測は、拡張レイヤのＶＯＰの異なったビットプレーンレベルについて異なった予測割合を指定することによって改良できる。確率密度分布曲線の形状はほとんどの場合直線でないので、これは正しい。
【００１９】
現在の２進法表示技術は、現在のＦＧＳスキームの剰余数係数を表すのに使用される唯一の技術である。本発明で新規なことは、新しい剰余数表示と予測技術が拡張ビットプレーンのビットの役割を固定しないことである。ビットの役割は、ＶＯＰ内の剰余数の確率密度分布と、ビットプレーンの剰余数の最上位ビットの位置とに関係して動的に指定される。
【００２０】
本発明による剰余数係数の動的表示技術によってビデオ符号化効率を改良するための方法は、映像品質の損失を導入するビデオシーケンスのベースレイヤを符号化するステップと、前記符号化したベースレイヤから前記ビデオシーケンスの剰余数を計算するステップと、動的表示技術を用いて剰余数値を表すステップと、ビットプレーンエントロピ符号化方法によって、修正された大きさと剰余数係数の符号値とを符号化するステップと、前記符号化情報を符号化表示で表すステップとからなる方法であって、これにより上記目的が達成される。
【００２１】
ベースレイヤの符号器が、２次元配列の画素を有するブロック内に入力画像をサンプリングするステップと、予めメモリ内に再構築された映像から予測ブロックを構築するステップと、サンプリングした画素の前記ブロックに使用される予測モードについて決定するステップと、前記決定に基づき、サンプリングした画素の前記ブロックから予測ブロックを減算して予測誤差を獲得するステップと、予測誤差の前記ブロックに離散コサイン変換を実行するステップと、ＤＣＴ係数の前記ブロックを量子化するステップと、前記ブロックをジグザグスキャン順序でスキャンするステップと、ハフマン符号化によって前記ブロックを符号化し、また前記符号化情報を符号化表示で表すステップとを含んでいてもよい。
【００２２】
周波数領域の剰余数値を計算するステップが、ベースレイヤ内の符号器からＤＣＴ係数のブロックを獲得するステップと、将来の減算のためにＤＣＴ係数の前記ブロックをブロックメモリに記憶するステップと、ベースレイヤ内の前記符号器から量子化ＤＣＴ係数のブロックを獲得するステップと、量子化ＤＣＴ係数の前記ブロックを逆量子化するステップと、ブロックメモリ内のＤＣＴ係数の前記ブロックから、再構築されたＤＣＴ係数の前記ブロックを減算して剰余数係数を獲得するステップと、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックをフレームメモリに記憶するステップとを含んでいてもよい。
【００２３】
空間領域の剰余数値を計算するステップが、ベースレイヤ内の符号器から量子化ＤＣＴ係数のブロックを獲得するステップと、量子化ＤＣＴ係数の前記ブロックを逆量子化するステップと、逆離散コサイン変換によって前記ブロックを空間領域に変換するステップと、ベースレイヤからの動き補償した予測値のブロックに、再構築された予測差の前記ブロックを加算して復号化映像を再構築するステップと、再構築された映像の画素値をフィルタ処理するステップと、前記フィルタ処理された画素値を元の映像の画素値から減算して剰余数係数を獲得するステップと、２次元配列の画素を有するブロック内に前記剰余数係数をサンプリングするステップと、離散コサイン変換によって剰余数係数の前記ブロックを周波数領域に変換するステップと、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックをフレームメモリに記憶するステップとを含んでいてもよい。
【００２４】
動的剰余数表示が、フレームメモリから剰余数係数を検索するステップと、前記剰余数係数の符号値と大きさとを獲得するステップと、前記大きさの最大値を発見するステップと、前記大きさのカットオフ値を規定するステップと、前記最大値情報と前記カットオフ値情報とを符号化し、また前記情報を符号化表示で表すステップと、剰余数変換に必要なパラメータを計算するステップと、前記最大値と前記カットオフ値と前記計算されたパラメータとに基づき、バイナリ変換を前記大きさに実行するステップとを含んでいてもよい。
【００２５】
周波数領域で計算された剰余数の復号器が、ベースレイヤビットストリームを復号化するステップと、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出するステップと、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得するステップと、剰余数変換に必要なパラメータを計算するステップと、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得するステップと、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築するステップと、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングするステップと、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替えるステップと、ベースレイヤから逆量子化ＤＣＴ係数のブロックを獲得するステップと、逆量子化ＤＣＴ係数の前記ブロックに、再構築された剰余数値の前記ブロックを加算するステップと、拡張されたＤＣＴ係数の前記ブロックに逆離散コサイン変換を行い空間領域における前記係数の値を獲得するステップと、ベースレイヤのために使用された予測モードを決定するステップと、前記予測モードに基づき、動き補償された予測ブロックをベースレイヤから獲得するステップと、拡張された予測誤差の前記ブロックに前記動き補償された予測ブロックを加算して拡張された映像を形成するステップとを含んでいてもよい。
【００２６】
空間領域で計算された剰余数の復号器が、ベースレイヤビットストリームを復号化するステップと、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出するステップと、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得するステップと、剰余数変換に必要なパラメータを計算するステップと、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得するステップと、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築するステップと、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングするステップと、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックに逆離散コサイン変換を行い剰余数ブロックの画素値を獲得するステップと、ベースレイヤからの復号化映像をフィルタ処理してノイズを最小にするステップと、剰余数係数の前記ブロックの値に、ベースレイヤからの前記フィルタ処理された映像の画素値を加算して拡張された映像を形成するステップとを含んでいてもよい。
【００２７】
ベースレイヤビットストリームを復号化するステップが、前記ベースレイヤビットストリームを逆エントロピ符号化して量子化ＤＣＴ係数のブロックを獲得するステップと、ベースレイヤビットストリームからスキャン方法と予測方法とを抽出するステップと、前記スキャン方法によって量子化ＤＣＴ係数の前記ブロックをスキャンするステップと、将来の予測のために係数の前記ブロックをブロックメモリに記憶するステップと、ＤＣＴ係数の前記ブロックを逆量子化するステップと、逆離散コサイン変換によって、再構築されたＤＣＴ係数の前記ブロックを空間領域に変換するステップと、前記予測方法と、ベースレイヤの予め復号化された映像からの情報とに基づき動き補償された予測ブロックを形成するステップと、前記再構築されたブロックを前記予測ブロックに加算して復号化映像の画素値を再構築するステップと、将来の予測のために復号化映像をフレームメモリに記憶するステップとを含んでいてもよい。
【００２８】
カットオフ値を規定するステップが、ＶＯＰ内の剰余数係数の大きさの値について発生数を獲得するステップと、必要な最小拡張ビットレートと、フレームレートと、エントロピ符号化の符号化効率とに基づき発生のしきい値の和を計算するステップと、発生の前記しきい値の和に基づきカットオフ値を決定するステップとを含んでいてもよい。
【００２９】
剰余数変換のパラメータを計算するステップが、第２のビットプレーンの最大ダイナミックレンジを発見するステップと、ビット数を計算して前記最大ダイナミックレンジを表すステップと、前記ビット数に基づきビットプレーンの総数を計算するステップと、前記ビット数に基づき第２のビットプレーンと下方の最大バイナリレンジを決定するステップと、しきい値を計算するステップとを含んでいてもよい。
【００３０】
剰余数再構築と、受信した非ゼロ剰余数係数の修正された大きさに関する予測とを実行するステップが、前記受信した剰余数係数の修正された大きさについて予測を実行するステップと、受信された剰余数の大きさを予測された大きさから再構築するステップとを含んでいてもよい。
【００３１】
発生のしきい値の和が、最小拡張ビットレートを第１のビットプレーンのエントロピ符号化のフレームレートと符号化効率とで除算することによって計算されてもよい。
【００３２】
カットオフ値が、前記カットオフ値よりも大きい剰余数係数の総数が発生のしきい値の和よりも小さいという基準に基づいて決定されてもよい。
【００３３】
前記カットオフ値よりも小さく、また前記しきい値よりも大きな大きさの２進法表示が、前記剰余数係数の大きさに２を乗算し、また前記乗法の前記結果から前記しきい値を減算することによって動的剰余数表示に変換してもよい。
【００３４】
前記カットオフ値よりも大きいかまたは等しい大きさの２進法表示を動的剰余数表示に変換するステップが、前記大きさから前記カットオフ値を減算することによってオフセット値を計算するステップと、前記剰余数係数の前記オフセット値に２を乗算し、また前記オフセット値が前記しきい値よりも大きい場合には、前記乗算の前記結果から前記しきい値を減算するステップと、最大ダイナミックレンジを表すために所定のビット数だけ値を左に移動し、また前記移動した値を前記計算されたオフセット値に加算するステップとを含んでいてもよい。
【００３５】
受信した非ゼロ剰余数係数の修正された大きさについて予測を実行するステップが、受信されたビットプレーンの数を決定するステップと、受信されたビットプレーンの数が１に等しい場合には、最後に受信されたビットプレーンの下の２つのビットプレーンのビットを１に設定するステップと、受信されたビットプレーンの数が１に等しい場合以外の場合には、前記受信されたビットプレーンの数がビットプレーンの総数よりも１を越えて小さければ、前記最後に受信されたビットプレーンの下の次のビットプレーンのビットを１に設定するステップとを含んでいてもよい。
【００３６】
予測された剰余数係数から大きさを再構築するステップが、前記予測された剰余数係数から第１のビット情報を抽出するステップと、前記予測された剰余数係数の第１のビットをゼロに設定するステップと、前記抽出されたビットが１であるかどうかを決定するステップと、前記しきい値を前記予測された剰余数係数に加算し、また予測された値が前記しきい値よりも大きければ前記結果を２で除算するステップと、前記抽出されたビットが１である場合には、前記予測された値と前記カットオフ値とを合計するステップとを含んでいてもよい。
【００３７】
第２のビットプレーンの最大ダイナミックレンジを発見するステップが、前記第２のビットプレーンの上限ダイナミックレンジを計算するステップと、前記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、前記２つのダイナミックレンジから最大値を発見するステップとを含んでいてもよい。
【００３８】
前記ビットプレーンの総数が、最大ダイナミックレンジ＋１を表すビット数であってもよい。
【００３９】
前記しきい値が、最大ダイナミックレンジに２を乗算すると共に前記結果から最大バイナリレンジを減算することによって計算されてもよい。
【００４０】
前記上限ダイナミックレンジが、最大値からカットオフ値を減算することによって計算されてもよい。
【００４１】
前記下限ダイナミックレンジが、カットオフ値から１を減算することによって計算されてもよい。
【００４２】
本発明による剰余数係数の動的表示技術によってビデオ符号化効率を改良するための装置は、映像品質の損失を導入するビデオシーケンスのベースレイヤを符号化する手段と、前記符号化したベースレイヤから前記ビデオシーケンスの剰余数を計算する手段と、動的表示技術を用いて剰余数値を表す手段と、ビットプレーンエントロピ符号化方法によって、修正された大きさと剰余数係数の符号値とを符号化する手段と、前記符号化情報を符号化表示で表す手段とからなり、これにより上記目的が達成される。
【００４３】
ベースレイヤの符号化手段が、２次元配列の画素を有するブロック内に入力画像をサンプリングする手段と、予めメモリ内に再構築された映像から予測ブロックを構築する手段と、サンプリングした画素の前記ブロックに使用される予測モードについて決定する手段と、前記決定に基づき、サンプリングした画素の前記ブロックから予測ブロックを減算して予測誤差を獲得する手段と、予測誤差の前記ブロックに離散コサイン変換を実行する手段と、ＤＣＴ係数の前記ブロックを量子化する手段と、前記ブロックをジグザグスキャン順序でスキャンする手段と、ハフマン符号化によって前記ブロックを符号化し、また前記符号化情報を符号化表示で表す手段とを含んでいてもよい。
【００４４】
周波数領域の剰余数値を計算する手段が、ベースレイヤ内の符号器からＤＣＴ係数のブロックを獲得する手段と、将来の減算のためにＤＣＴ係数の前記ブロックをブロックメモリに記憶する手段と、ベースレイヤ内の前記符号器から量子化ＤＣＴ係数のブロックを獲得する手段と、量子化ＤＣＴ係数の前記ブロックを逆量子化する手段と、ブロックメモリ内のＤＣＴ係数の前記ブロックから、再構築されたＤＣＴ係数の前記ブロックを減算して剰余数係数を獲得する手段と、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックをフレームメモリに記憶する手段とを含んでいてもよい。
【００４５】
空間領域の剰余数値を計算する手段が、ベースレイヤ内の符号器から量子化ＤＣＴ係数のブロックを獲得する手段と、量子化ＤＣＴ係数の前記ブロックを逆量子化する手段と、逆離散コサイン変換によって前記ブロックを空間領域に変換する手段と、ベースレイヤからの動き補償した予測値のブロックに、再構築された予測差の前記ブロックを加算して復号化映像を再構築する手段と、再構築された映像の画素値をフィルタ処理する手段と、前記フィルタ処理された画素値を元の映像の画素値から減算して剰余数係数を獲得する手段と、２次元配列の画素を有するブロック内に前記剰余数係数をサンプリングする手段と、離散コサイン変換によって剰余数係数の前記ブロックを周波数領域に変換する手段と、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックをフレームメモリに記憶する手段とを含んでいてもよい。
【００４６】
動的剰余数表示が、フレームメモリから剰余数係数を検索する手段と、前記剰余数係数の符号値と大きさとを獲得する手段と、前記大きさの最大値を発見する手段と、前記大きさのカットオフ値を規定する手段と、前記最大値情報と前記カットオフ値情報とを符号化し、また符号化情報を復号器に挿入する手段と、剰余数変換に必要なパラメータを計算する手段と、前記最大値と前記カットオフ値と前記計算されたパラメータとに基づき、バイナリ変換を前記大きさに対して実行する手段とを含んでいてもよい。
【００４７】
周波数領域で計算された剰余数の復号化手段が、ベースレイヤビットストリームを復号化する手段と、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出する手段と、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得する手段と、剰余数変換に必要なパラメータを計算する手段と、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得する手段と、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築する手段と、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングする手段と、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替える手段と、ベースレイヤから逆量子化ＤＣＴ係数のブロックを獲得する手段と、逆量子化ＤＣＴ係数の前記ブロックに、再構築された剰余数値の前記ブロックを加算する手段と、拡張されたＤＣＴ係数の前記ブロックに逆離散コサイン変換を行い空間領域における前記係数の値を獲得する手段と、ベースレイヤのために使用された予測モードを決定する手段と、前記予測モードに基づき、動き補償された予測ブロックをベースレイヤから獲得する手段と、拡張された予測誤差の前記ブロックに前記動き補償された予測ブロックを加算して拡張された映像を形成する手段とを含んでいてもよい。
【００４８】
空間領域で計算された剰余数の復号化手段が、ベースレイヤビットストリームを復号化する手段と、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出する手段と、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得する手段と、剰余数変換に必要なパラメータを計算する手段と、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得する手段と、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築する手段と、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングする手段と、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックに逆離散コサイン変換を行い剰余数ブロックの画素領域を獲得する手段と、ベースレイヤからの復号化映像をフィルタ処理してノイズを最小にする手段と、剰余数係数の前記ブロックの値に、ベースレイヤの前記フィルタ処理された映像の画素値を加算して拡張された映像を形成する手段とを含んでいてもよい。
【００４９】
ベースレイヤビットストリームを復号化する手段が、前記ベースレイヤビットストリームを逆エントロピ符号化して量子化ＤＣＴ係数のブロックを獲得する手段と、ベースレイヤビットストリームからスキャン方法と予測方法とを抽出する手段と、前記スキャン方法によって量子化ＤＣＴ係数の前記ブロックをスキャンする手段と、将来の予測のために係数の前記ブロックをブロックメモリに記憶する手段と、ＤＣＴ係数の前記ブロックを逆量子化する手段と、逆離散コサイン変換によって、再構築されたＤＣＴ係数の前記ブロックを空間領域に変換する手段と、前記予測方法と、ベースレイヤの予め復号化された映像からの情報とに基づき動き補償された予測ブロックを形成する手段と、前記再構築されたブロックを前記予測ブロックに加算して復号化映像の画素値を再構築する手段と、将来の予測のために復号化映像をフレームメモリに記憶する手段とを含んでいてもよい。
【００５０】
カットオフ値を規定する手段が、ＶＯＰ内の剰余数係数の大きさの値について発生数を獲得する手段と、必要な最小拡張ビットレートと、フレームレートと、エントロピ符号化の符号化効率とに基づき発生のしきい値の和を計算する手段と、発生の前記しきい値の和に基づきカットオフ値を決定する手段とを含んでいてもよい。
【００５１】
剰余数変換のパラメータを計算する手段が、第２のビットプレーンの最大ダイナミックレンジを発見する手段と、ビット数を計算して前記最大ダイナミックレンジを表す手段と、前記ビット数に基づきビットプレーンの総数を計算する手段と、前記ビット数に基づき第２のビットプレーンと下方の最大バイナリレンジを決定する手段と、しきい値を計算する手段とを含んでいてもよい。
【００５２】
剰余数再構築と、受信した非ゼロ剰余数係数の修正された大きさに関する予測とを実行する手段が、前記受信した剰余数係数の修正された大きさについて予測を実行する手段と、受信された剰余数の大きさを予測された大きさから再構築する手段とを含んでいてもよい。
【００５３】
発生のしきい値の和が、最小拡張ビットレートを第１のビットプレーンのエントロピ符号化のフレームレートと符号化効率とで除算する手段によって計算されてもよい。
【００５４】
前記カットオフ値よりも大きいかまたは等しい大きさの２進法表示を動的剰余数表示に変換する手段が、前記大きさから前記カットオフ値を減算することによってオフセット値を計算する手段と、前記剰余数係数の前記オフセット値に２を乗算し、また前記オフセット値が前記しきい値よりも大きい場合には、前記乗算の前記結果から前記しきい値を減算する手段と、最大ダイナミックレンジを表すためにビット数だけ値を左に移動し、また前記移動した値を前記計算されたオフセット値に加算する手段とを含んでいてもよい。
【００５５】
受信した非ゼロ剰余数係数の修正された大きさについて予測を実行する手段が、受信されたビットプレーンの数を決定する手段と、受信されたビットプレーンの数が１に等しい場合には、最後に受信されたビットプレーンの下の２つのビットプレーンのビットを１に設定する手段と、受信されたビットプレーンの数がビットプレーンの総数よりも１を越えて小さければ、最後に受信されたビットプレーンの下の次のビットプレーンのビットを１に設定する手段とを含んでいてもよい。
【００５６】
予測された剰余数係数から大きさを再構築する手段が、前記予測された剰余数係数から第１のビット情報を抽出する手段と、前記予測された剰余数係数の第１のビットをゼロに設定する手段と、前記抽出されたビットが１であるかどうかを決定する手段と、前記しきい値を前記予測された剰余数係数に加算し、また予測された値が前記しきい値よりも大きければ前記結果を２で除算する手段と、前記抽出されたビットが１である場合には、前記予測された値と前記カットオフ値とを合計する手段とを含んでいてもよい。
【００５７】
第２のビットプレーンの最大ダイナミックレンジを発見する手段が、前記第２のビットプレーンの最大ダイナミックレンジを計算する手段と、前記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、前記２つのダイナミックレンジから最大値を発見する手段とを含んでいてもよい。
【００５８】
前記ビットプレーンの総数が、ビット数を加算して最大ダイナミックレンジを１で表す手段によって計算されてもよい。
【００５９】
前記しきい値が、最大ダイナミックレンジに２を乗算すると共に前記結果から最大バイナリレンジを減算する手段によって計算されてもよい。
【００６０】
前記上限ダイナミックレンジが、最大値からカットオフ値を減算する手段によって計算されてもよい。
【００６１】
前記下限ダイナミックレンジが、カットオフ値から１を減算する手段によって計算されてもよい。
【００６２】
前記カットオフ値よりも小さく、また前記しきい値よりも大きな大きさの２進法表示が、前記剰余数係数の大きさに２を乗算し、また前記乗法の前記結果から前記しきい値を減算することによって動的剰余数表示に変換されてもよい。
【００６３】
本発明を簡潔に説明する。ＭＰＥＧ４規格における細粒度スケーラビリティスキームはストリーミングビデオ用途を対象としている。このスキームでは、ビットプレーン可変長符号化は圧縮のための符号化技術として使用され、また符号化が実行される前に剰余数の大きさが２進数として表される。しかし、このスキームは、クライアント側の復号化器が剰余数のビットの大部分を受信することができない場合、非常に非効率であることが分かる。剰余数の大きさを動的表示するための方法を実施形態に提示している。本発明は、低いビットレートにおける拡張レイヤの符号化効率を改良するのに非常に効率的であり、また符号化器が異なったＶＯＰについて異なったダイナミックレンジを動的に指定するのを可能にする。本発明は、ＭＰＥＧ４規格の細粒度スケーラビリティスキームで利用することが期待される。
【００６４】
【発明の実施の形態】
動的剰余数表示
動的剰余数表示は、ビットプレーン可変長符号化の符号化効率を改良するために、ＦＧＳ拡張レイヤの剰余数係数を表示するための方法を提供する。図４および図５は、本発明の１つのとり得る実施形態を示す。
【００６５】
図４は第１の実施形態の符号化器のブロック図を示す。モジュール４１６は、本発明を形成する既存の従来技術に新しく追加したものである。ベースレイヤ符号化について、その手順は既存の従来技術と同じである。拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール４１３で逆量子化を受け、また剰余数係数はモジュール４１４で計算される。計算された剰余数係数はモジュール４１５でジグザグスキャンを受け、次にモジュール４１６で動的剰余数表示が行われる。次に、動的剰余数表示の結果はモジュール４１７でビットプレーン可変長符号化を受け、また拡張レイヤビットストリームがＦＧＳサーバに伝送される。
【００６６】
ＦＧＳサーバにおける再転送プロセスは既存の従来技術と同じである。ＦＧＳサーバによる切り捨て後の拡張レイヤビットストリームは、復号化器に伝送される。図５は第１の実施形態の復号化器のブロック図を示す。モジュール５１０は、本発明を形成する既存の従来技術に新しく追加したものである。ベースレイヤ復号化の全体プロセスは既存の従来技術と同じである。拡張レイヤ復号化のために、受信した拡張レイヤビットストリームはビットプレーン可変長復号化され、次にモジュール５０９と５１０でそれぞれ剰余数再構築と予測とが行われる。次に、逆ジグザグスキャンがモジュール５１１で予測された剰余数係数に実行される。次に、ベースレイヤからの逆量子化ＤＣＴ係数が、予測された剰余数係数にモジュール５１２で加算され、次に拡張されたＤＣＴ係数がモジュール５１３でＩＤＣＴを受ける。イントラ符号化については、ＩＤＣＴの出力は復号化フレームの拡張された画素値である。これに対し、非イントラ符号化については、ＩＤＣＴモジュールの出力は拡張された予測差であり、またそれらはベースレイヤの動き補償モジュールからの予測値に加えられ、モジュール５１４で出力フレームの拡張された画素値を形成する。
【００６７】
上記の実施形態では、剰余数が計算され、また周波数領域で再構築される。本発明の他のとり得る実施形態は、図６と図７に示したように、剰余数が空間領域で計算かつ再構築される実施形態である。
【００６８】
図６は第２の実施形態の符号化器のブロック図を示す。ベースレイヤ符号化について、その手順は既存の従来技術と同じである。拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール６１３と６１４でそれぞれ逆量子化とＩＤＣＴとを受ける。非イントラ符号化ブロックについては、動き補償モジュールからの予測値はモジュール６１５でＩＤＣＴの出力に加えられ、復号化フレームの画素値を形成する。復号化フレームはモジュール６１６でフィルタ処理を受け、映像のブロッキーノイズとリンギングノイズとを取り除く。剰余数係数は、元の映像の画素値から復号化映像の画素値を減算することによって計算される。次に剰余数係数は、モジュール６１８と６１９でそれぞれＤＣＴとジグザグスキャンを受ける。ジグザグスキャンの出力は、モジュール６２０で表示される。次に、動的剰余数表示の結果はモジュール６２１でビットプレーン可変長符号化を受け、次に拡張レイヤビットストリームがＦＧＳサーバに伝送される。
【００６９】
図７は第２の実施形態の復号化器のブロック図を示す。モジュール７１０は、本発明を形成する既存の従来技術に新しく追加したものである。ベースレイヤ復号化の全体プロセスは既存の従来技術と同じである。拡張レイヤ復号化のために、受信した拡張レイヤビットストリームはビットプレーン可変長復号化を受け、次にモジュール７０９と７１０でそれぞれ剰余数再構築と予測とが行われる。次にモジュール７１１と７１２で、逆ジグザグスキャンと逆ＤＣＴが、予測された剰余数係数に実行される。ベースレイヤからの復号化出力フレームはモジュール７１４でフィルタ処理を受け、またフィルタ処理の結果に拡張レイヤのＩＤＣＴモジュールの出力が加算され、モジュール７１３に示したように拡張された映像の画素値を与える。
【００７０】
本発明では、ＶＯＰ内の剰余数係数の大きさの確率密度分布は、最初に獲得される。この分布を用いて、第１のビットプレーンの最大剰余数値とカットオフ値が計算され、また拡張レイヤビットストリームのＶＯＰヘッダ内に記憶される。剰余数係数はこれらの２つの値に基づき表される。以下の項では本発明の実施形態をさらに詳細に説明している。
【００７１】
ＶＯＰ内の剰余数値の大きさの確率密度分布
剰余数の大きさの取り得る最大値は２０４８である。これは、剰余数係数が、［−２０４８、２０４７］の範囲で飽和した値を有するＤＣＴ係数に基づき計算されるからである。したがって、剰余数係数の絶対値をとり、またＶＯＰ内の［０，２０４８］からの範囲のこれらの剰余数係数の各絶対値の発生数を累積することによって、ＶＯＰの剰余数係数の各絶対値の確率密度分布を決定することができる。発生数は次のように計算される。
ｖ＝｜Ｒ（ｘ，ｙ，ｍ）｜
Ｓ（ｖ）＋＝１
ｘ＝０．．．７．，ｙ＝０．．．７．，ｍ＝０．．．．ｋ
ここで、Ｒ（ｘ，ｙ，ｍ）はＶＯＰ内の剰余数値を表し、Ｓ（ｖ）は発生数を表し、またｋはＶＯＰ内の最大ブロック数を表す。
【００７２】
ＶＯＰ内の第１のビットプレーンの最大値とカットオフ値
最大値は次のようにＶＯＰ内の剰余数値から計算することができる。
最大値＝ｍａｘ（｜Ｒ（ｘ，ｙ，ｍ）｜）
ｘ＝０．．．７．，ｙ＝０．．．７．，ｍ＝０．．．．ｋ
第１のビットプレーンのカットオフ値を決定するためには、しきい値を最初に計算しなければならない。このしきい値は次のように計算される。
Ｔ₁＝ＢＲ_E／（ＦＲ^*ＣＥ）
ここで、ＢＲ_Eが最小目標拡張ビットレートを表し、ＦＲはフレームレートを表し、またＣＥは、シンボル当たりのビットに関するＭＳＢビットプレーン内のビットプレーンＶＬＣの符号化効率を表す。Ｔ₁は、カットオフ値よりも大きな絶対値を有するＶＯＰ内の剰余数係数の最大数を表す。かくして、計算されたしきい値に基づいて、カットオフ値は次のようにＳ（ｖ）から獲得される。
【００７３】
【数１】

カットオフ値＝「Ｃ（ｘ）＜Ｔ ₁ 」を満たす最小のｘ値。
【００７４】
最大値とカットオフ値とを獲得した後に、これらの２つの値は拡張レイヤビットストリームのＶＯＰヘッダ内に記憶され、復号化器で復号化するために使用される。
【００７５】
ビットプレーンの総数
本発明では、第１のビットプレーンについて、「１」ビットは「より大きいか等しい」ことを示し、一方「０」ビットは「より小さい」ことを示している。したがって、第１のビットプレーンのカットオフ値に基づき、カットオフ値よりも大きいか等しい値を有する剰余数係数は、第１のビットプレーンで「１」ビットとして、またカットオフ値よりも小さい値を有するそれらの係数について「０」ビットとして表される。
【００７６】
表１は、第１のビットプレーンの剰余数のビットを示す。
【００７７】
【表１】

ビットプレーンの総数を決定するには、最初に第２のビットプレーンの最大ダイナミックレンジを計算しなければならない。最大ダイナミックレンジは次のように計算される、
・Ｒ_lower＝カットオフ値−１
・Ｒ_upper＝最大値−カットオフ値
・Ｂ_M＝ｍａｘ（Ｒ_lower，Ｒ_upper）
次に、Ｂ_Mを表す２進ビットの数Ｎ_Mが決定される。例えば、上記の実例のＢ_Mは２６であり２進数で１１０１０と表すことができる。かくしてこの場合のＮ_Mは５である。計算されたＮ_Mの値に基づき、ビットプレーンの総数はＮ_M＋１によって決定される。
【００７８】
バイナリ変換
Ｂ_Mの最大バイナリレンジは次の式を用いて決定することができる。
Ｒ_B＝１＜＜Ｎ_M−１
計算したＲ_B値に基づいて、上限と下限両方のしきい値が計算される。
Ｔ_しきい値＝２×Ｂ_M−Ｒ_B
剰余数係数の大きさは次のように符号化される。
【００７９】
【数２】

符号化された値はＮ_M＋１ビットの２進数を用いて表される。
【００８０】
剰余数再構築と予測
剰余数再構築と予測技術は、再構築された映像の全体的な品質を改良すべく、またその予測された剰余数値に基づいて剰余数値を再構築すべく、受信された剰余数係数について予測を実行するための方法を提供する。
【００８１】
復号化器側で、最大値とカットオフ値とを拡張レイヤビットストリームのＶＯＰヘッダから獲得することができる。これらの２つの値に基づき、Ｒ_upper、Ｒ_lower、Ｂ_M、Ｎ_M、Ｔ _しきい値の値を計算できる。
【００８２】
ＦＧＳサーバにおける拡張レイヤビットストリームの切り捨てにより、Ｎ_M＋１のビットプレーンのすべてが復号化器側で受信されるのではない。したがって、再構成の前に、受信した値について予測を行う必要がある。予測値は次のように計算される。
【００８３】
【数３】
Ｎ_Dを復号化器側で受信されるビットプレーンの数であるとする。

【００８４】
【数４】
剰余数値を再構築して戻すために、次のアルゴリズムが使用される。

【００８５】
【発明の効果】
本発明は、剰余数値を表すために使用されるビットの有意性を改良し、かくしてビットプレーン可変長符号化の符号化効率を向上するのに非常に効率的である。
【図面の簡単な説明】
【図１】従来技術の基本的なＦＧＳ符号化器のブロック図である。
【図２】従来技術の基本的なＦＧＳ復号化器のブロック図である。
【図３】ＶＯＰ内の剰余数の大きさの典型的な確率密度分布図である。
【図４】本発明の第１の実施形態の符号化器のブロック図である。
【図５】本発明の第１の実施形態の本発明の復号化器のブロック図である。
【図６】本発明の第２の実施形態の本発明の符号化器のブロック図である。
【図７】本発明の第２の実施形態の本発明の復号化器のブロック図である。
【図８】１２８ｋｂｐｓにおけるベースレイヤビットレートについての本発明と従来技術との間の性能を比較した図である。
【図９】２５６ｋｂｐｓにおけるベースレイヤビットレートについての本発明と従来技術との間の性能を比較した図である。
【符号の説明】
４０１ブロックサンプリング
４０３ＤＣＴ
４０４量子化
４０５ＤＣ＆ＡＣ予測
４０６ジグザグスキャン
４０７ＶＬＣ
４０８逆量子化
４０９逆ＤＣＴ
４１１フレームメモリ
４１２動き推定および動き補償
４１３逆量子化
４１５ジグザグスキャン
４１６動的剰余数表示
４１７ビットプレーンＶＬＣ
４０２、４１０、４１４加算部

Claims

ビデオ符号化方法であって、上記方法は、
符号化するビデオシーケンスに対してサンプリング及び離散コサイン変換を行って２次元配列のブロックの第１の画像データを取得するステップと、
上記第１の画像データを第２の画像データに量子化するステップと、
上記第２の画像データを第３の画像データに逆量子化するステップと、
上記第１及び第３の画像データ間の複数の剰余数係数を計算するステップと、
上記各剰余数係数の正負符号及び絶対値を取得するステップと、
上記絶対値のうちの最大値を決定するステップと、
上記絶対値のカットオフ値を決定するステップと、
上記最大値及び上記カットオフ値に基づいて、上記絶対値を修正するために必要なパラメータを計算するステップと、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記絶対値を修正するステップと、
ビットプレーンエントロピ符号化によって、上記正負符号及び上記修正された絶対値を符号化するステップと、
上記第２の画像データからベースレイヤビットストリームを生成するステップと、
上記最大値、上記カットオフ値、上記符号化された正負符号、及び上記修正されて符号化された絶対値から、拡張レイヤビットストリームを生成するステップとを含み、
上記絶対値のカットオフ値を決定するステップは、
ＶＯＰにおける剰余数係数の絶対値の各値の出現回数を取得するステップと、
最小拡張ビットレートをフレームレートと第１のビットプレーンのビットプレーンエントロピ符号化の符号化効率とで除算することで、上記出現回数の総和のための第１のしきい値を計算するステップと、
上記カットオフ値より大きな絶対値を有する剰余数係数の総数が上記第１のしきい値より小さくなるように、上記カットオフ値を決定するステップとを含み、
上記絶対値を修正するために必要なパラメータを計算するステップは、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算するステップと、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定するステップと、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算するステップと、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定するステップと、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算するステップとを含み、
上記絶対値を修正するステップは、上記カットオフ値以上の絶対値に対して、
上記絶対値から上記カットオフ値を減算することで、第１のオフセット値を計算するステップと、
上記第１のオフセット値が上記第２のしきい値より大きいとき、上記第１のオフセット値に２を乗算し、乗算結果から上記第２のしきい値を減算し、減算結果に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算するステップと、
上記第１のオフセット値が上記第２のしきい値以下であるとき、上記第１のオフセット値に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算するステップとを含むビデオ符号化方法。
請求項１記載のビデオ符号化方法によって生成されたベースレイヤビットストリーム及び拡張レイヤビットストリームを復号化するビデオ復号化方法であって、上記方法は、
上記ベースレイヤビットストリームを第４の画像データに復号化するステップと、
ビットプレーンエントロピ復号化によって、上記拡張レイヤビットストリームから複数の剰余数係数の正負符号及び修正された絶対値を取得するステップと、
上記拡張レイヤビットストリームから上記剰余数係数の絶対値の最大値及びカットオフ値を取得するステップと、
上記最大値及び上記カットオフ値に基づいて、予測された絶対値及び再構築された絶対値を取得するために必要なパラメータを計算するステップと、
上記計算されたパラメータに基づいて、上記拡張レイヤビットストリームから取得された上記修正された絶対値から、予測された絶対値を取得するステップと、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記予測された絶対値から、再構築された絶対値を取得するステップと、
上記正負符号及び上記再構築された絶対値からなる剰余数係数の第５の画像データを取得するステップと、
上記第４の画像データと上記第５の画像データとを合成することで、第６の画像データを取得するステップと、
上記第４の画像データからベースレイヤビデオシーケンスを生成するステップと、
上記第６の画像データから拡張レイヤビデオシーケンスを生成するステップとを含み、
上記予測された絶対値及び上記再構築された絶対値を取得するために必要なパラメータを計算するステップは、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算するステップと、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定するステップと、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算するステップと、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定するステップと、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算するステップとを含み、
上記予測された絶対値を取得するステップは、
受信されたビットプレーンの個数を決定するステップと、
１個のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から２を減算した値だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算するステップと、
上記最大ダイナミックレンジのビット数以下の個数である２つ以上のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から上記受信されたビットプレーンの個数を減算した結果だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算するステップと、
上記最大ダイナミックレンジのビット数より多い２つ以上のビットプレーンが受信されたとき、上記修正された絶対値をそのまま用いるステップとを含み、
上記再構築された絶対値を取得するステップは、上記最大ダイナミックレンジのビット数だけ１を左シフトした値以上である上記予測された絶対値に対して、
上記最大ダイナミックレンジのビット数だけ１を左シフトした値を上記予測された絶対値から減算することで、第２のオフセット値を計算するステップと、
上記第２のオフセット値が上記第２のしきい値より大きいとき、上記第２のオフセット値に上記第２のしきい値を加算し、加算結果を２で除算し、除算結果に上記カットオフ値を加算するステップと、
上記第２のオフセット値が上記第２のしきい値以下であるとき、上記カットオフ値に上記第２のオフセット値を加算するステップとを含むビデオ復号化方法。
上記ベースレイヤビットストリームを第４の画像データに復号化するステップは、逆量子化を含み、
上記第４の画像データからベースレイヤビデオシーケンスを生成するステップは、逆離散コサイン変換を含み、
上記第６の画像データから拡張レイヤビデオシーケンスを生成するステップは、逆離散コサイン変換を含む請求項２記載のビデオ復号化方法。
ビデオ符号化方法であって、上記方法は、
符号化するビデオシーケンスをサンプリングして２次元配列のブロックの第１の画像データを取得するステップと、
画像品質に関して損失ありの符号化を用いて、上記第１の画像データを第２の画像データに符号化するステップと、
上記第２の画像データを第３の画像データに復号化するステップと、
上記第１及び第３の画像データ間の複数の剰余数係数を計算するステップと、
上記各剰余数係数の正負符号及び絶対値を取得するステップと、
上記絶対値のうちの最大値を決定するステップと、
上記絶対値のカットオフ値を決定するステップと、
上記最大値及び上記カットオフ値に基づいて、上記絶対値を修正するために必要なパラメータを計算するステップと、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記絶対値を修正するステップと、
ビットプレーンエントロピ符号化によって、上記正負符号及び上記修正された絶対値を符号化するステップと、
上記第２の画像データからベースレイヤビットストリームを生成するステップと、
上記最大値、上記カットオフ値、上記符号化された正負符号、及び上記修正されて符号化された絶対値から、拡張レイヤビットストリームを生成するステップとを含み、
上記絶対値のカットオフ値を決定するステップは、
ＶＯＰにおける剰余数係数の絶対値の各値の出現回数を取得するステップと、
最小拡張ビットレートをフレームレートと第１のビットプレーンのビットプレーンエントロピ符号化の符号化効率とで除算することで、上記出現回数の総和のための第１のしきい値を計算するステップと、
上記カットオフ値より大きな絶対値を有する剰余数係数の総数が上記第１のしきい値より小さくなるように、上記カットオフ値を決定するステップとを含み、
上記絶対値を修正するために必要なパラメータを計算するステップは、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算するステップと、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定するステップと、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算するステップと、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定するステップと、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算するステップとを含み、
上記絶対値を修正するステップは、上記カットオフ値以上の絶対値に対して、
上記絶対値から上記カットオフ値を減算することで、第１のオフセット値を計算するステップと、
上記第１のオフセット値が上記第２のしきい値より大きいとき、上記第１のオフセット値に２を乗算し、乗算結果から上記第２のしきい値を減算し、減算結果に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算するステップと、
上記第１のオフセット値が上記第２のしきい値以下であるとき、上記第１のオフセット値に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算するステップとを含むビデオ符号化方法。
上記第１の画像データを第２の画像データに符号化するステップは、離散コサイン変換及び量子化を含み、
上記第２の画像データを第３の画像データに復号化するステップは、逆量子化及び逆離散コサイン変換を含み、
上記第１及び第３の画像データ間の複数の剰余数係数を計算するステップは、離散コサイン変換を含む請求項４記載のビデオ符号化方法。
請求項４又は５記載のビデオ符号化方法によって生成されたベースレイヤビットストリーム及び拡張レイヤビットストリームを復号化するビデオ復号化方法であって、上記方法は、
上記ベースレイヤビットストリームに対して逆量子化及び逆離散コサイン変換を含む処理を行って第４の画像データを取得するステップと、
ビットプレーンエントロピ復号化によって、上記拡張レイヤビットストリームから複数の剰余数係数の正負符号及び修正された絶対値を取得するステップと、
上記拡張レイヤビットストリームから上記剰余数係数の絶対値の最大値及びカットオフ値を取得するステップと、
上記最大値及び上記カットオフ値に基づいて、予測された絶対値及び再構築された絶対値を取得するために必要なパラメータを計算するステップと、
上記計算されたパラメータに基づいて、上記拡張レイヤビットストリームから取得された上記修正された絶対値から、予測された絶対値を取得するステップと、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記予測された絶対値から、再構築された絶対値を取得するステップと、
逆離散コサイン変換を含む処理を行って、上記正負符号及び上記再構築された絶対値からなる剰余数係数の第５の画像データを取得するステップと、
上記第４の画像データと上記第５の画像データとを合成することで、第６の画像データを取得するステップと、
上記第４の画像データからベースレイヤビデオシーケンスを生成するステップと、
上記第６の画像データから拡張レイヤビデオシーケンスを生成するステップとを含み、
上記予測された絶対値及び上記再構築された絶対値を取得するために必要なパラメータを計算するステップは、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算するステップと、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定するステップと、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算するステップと、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定するステップと、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算するステップとを含み、
上記予測された絶対値を取得するステップは、
受信されたビットプレーンの個数を決定するステップと、
１個のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から２を減算した値だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算するステップと、
上記最大ダイナミックレンジのビット数以下の個数である２つ以上のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から上記受信されたビットプレーンの個数を減算した結果だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算するステップと、
上記最大ダイナミックレンジのビット数より多い２つ以上のビットプレーンが受信されたとき、上記修正された絶対値をそのまま用いるステップとを含み、
上記再構築された絶対値を取得するステップは、上記最大ダイナミックレンジのビット数だけ１を左シフトした値以上である上記予測された絶対値に対して、
上記最大ダイナミックレンジのビット数だけ１を左シフトした値を上記予測された絶対値から減算することで、第２のオフセット値を計算するステップと、
上記第２のオフセット値が上記第２のしきい値より大きいとき、上記第２のオフセット値に上記第２のしきい値を加算し、加算結果を２で除算し、除算結果に上記カットオフ値を加算するステップと、
上記第２のオフセット値が上記第２のしきい値以下であるとき、上記カットオフ値に上記第２のオフセット値を加算するステップとを含むビデオ復号化方法。
上記絶対値を修正するステップは、上記カットオフ値未満の絶対値に対して、
上記絶対値が上記第２のしきい値より大きいとき、上記絶対値に２を乗算し、乗算結果から上記第２のしきい値を減算するステップと、
上記絶対値が上記第２のしきい値以下であるとき、上記絶対値をそのまま用いるステップとをさらに含む請求項１、４、５のうちのいずれか１つに記載のビデオ符号化方法。
上記再構築された絶対値を取得するステップは、上記最大ダイナミックレンジのビット数だけ１を左シフトした値未満である上記予測された絶対値に対して、
上記予測された絶対値が上記第２のしきい値より大きいとき、上記予測された絶対値に上記第２のしきい値を加算し、加算結果を２で除算するステップと、
上記予測された絶対値が上記第２のしきい値以下であるとき、上記予測された絶対値をそのまま用いるステップとをさらに含む請求項２、３、６のうちのいずれか１つに記載のビデオ復号化方法。
ビデオ符号化装置であって、上記装置は、
符号化するビデオシーケンスに対してサンプリング及び離散コサイン変換を行って２次元配列のブロックの第１の画像データを取得する手段と、
上記第１の画像データを第２の画像データに量子化する手段と、
上記第２の画像データを第３の画像データに逆量子化する手段と、
上記第１及び第３の画像データ間の複数の剰余数係数を計算する手段と、
上記各剰余数係数の正負符号及び絶対値を取得する手段と、
上記絶対値のうちの最大値を決定する手段と、
上記絶対値のカットオフ値を決定する手段と、
上記最大値及び上記カットオフ値に基づいて、上記絶対値を修正するために必要なパラメータを計算する手段と、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記絶対値を修正する手段と、
ビットプレーンエントロピ符号化によって、上記正負符号及び上記修正された絶対値を符号化する手段と、
上記第２の画像データからベースレイヤビットストリームを生成する手段と、
上記最大値、上記カットオフ値、上記符号化された正負符号、及び上記修正されて符号化された絶対値から、拡張レイヤビットストリームを生成する手段とを含み、
上記絶対値のカットオフ値を決定する手段は、
ＶＯＰにおける剰余数係数の絶対値の各値の出現回数を取得する手段と、
最小拡張ビットレートをフレームレートと第１のビットプレーンのビットプレーンエントロピ符号化の符号化効率とで除算することで、上記出現回数の総和のための第１のしきい値を計算する手段と、
上記カットオフ値より大きな絶対値を有する剰余数係数の総数が上記第１のしきい値より小さくなるように、上記カットオフ値を決定する手段とを含み、
上記絶対値を修正するために必要なパラメータを計算する手段は、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算する手段と、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定する手段と、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算する手段と、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定する手段と、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算する手段とを含み、
上記絶対値を修正する手段は、上記カットオフ値以上の絶対値に対して、
上記絶対値から上記カットオフ値を減算することで、第１のオフセット値を計算する手段と、
上記第１のオフセット値が上記第２のしきい値より大きいとき、上記第１のオフセット値に２を乗算し、乗算結果から上記第２のしきい値を減算し、減算結果に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算する手段と、
上記第１のオフセット値が上記第２のしきい値以下であるとき、上記第１のオフセット値に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算する手段とを含むビデオ符号化装置。
請求項９記載のビデオ符号化装置によって生成されたベースレイヤビットストリーム及び拡張レイヤビットストリームを復号化するビデオ復号化装置であって、上記装置は、
上記ベースレイヤビットストリームを第４の画像データに復号化する手段と、
ビットプレーンエントロピ復号化によって、上記拡張レイヤビットストリームから複数の剰余数係数の正負符号及び修正された絶対値を取得する手段と、
上記拡張レイヤビットストリームから上記剰余数係数の絶対値の最大値及びカットオフ値を取得する手段と、
上記最大値及び上記カットオフ値に基づいて、予測された絶対値及び再構築された絶対値を取得するために必要なパラメータを計算する手段と、
上記計算されたパラメータに基づいて、上記拡張レイヤビットストリームから取得された上記修正された絶対値から、予測された絶対値を取得する手段と、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記予測された絶対値から、再構築された絶対値を取得する手段と、
上記正負符号及び上記再構築された絶対値からなる剰余数係数の第５の画像データを取得する手段と、
上記第４の画像データと上記第５の画像データとを合成することで、第６の画像データを取得する手段と、
上記第４の画像データからベースレイヤビデオシーケンスを生成する手段と、
上記第６の画像データから拡張レイヤビデオシーケンスを生成する手段とを含み、
上記予測された絶対値及び上記再構築された絶対値を取得するために必要なパラメータを計算する手段は、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算する手段と、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定する手段と、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算する手段と、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定する手段と、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算する手段とを含み、
上記予測された絶対値を取得する手段は、
受信されたビットプレーンの個数を決定する手段と、
１個のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から２を減算した値だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算する手段と、
上記最大ダイナミックレンジのビット数以下の個数である２つ以上のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から上記受信されたビットプレーンの個数を減算した結果だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算する手段と、
上記最大ダイナミックレンジのビット数より多い２つ以上のビットプレーンが受信されたとき、上記修正された絶対値をそのまま用いる手段とを含み、
上記再構築された絶対値を取得する手段は、上記最大ダイナミックレンジのビット数だけ１を左シフトした値以上である上記予測された絶対値に対して、
上記最大ダイナミックレンジのビット数だけ１を左シフトした値を上記予測された絶対値から減算することで、第２のオフセット値を計算する手段と、
上記第２のオフセット値が上記第２のしきい値より大きいとき、上記第２のオフセット値に上記第２のしきい値を加算し、加算結果を２で除算し、除算結果に上記カットオフ値を加算する手段と、
上記第２のオフセット値が上記第２のしきい値以下であるとき、上記カットオフ値に上記第２のオフセット値を加算する手段とを含むビデオ復号化装置。
上記ベースレイヤビットストリームを第４の画像データに復号化する手段は、逆量子化を実行する手段を含み、
上記第４の画像データからベースレイヤビデオシーケンスを生成する手段は、逆離散コサイン変換を実行する手段を含み、
上記第６の画像データから拡張レイヤビデオシーケンスを生成する手段は、逆離散コサイン変換を実行する手段を含む請求項１０記載のビデオ復号化装置。
ビデオ符号化装置であって、上記装置は、
符号化するビデオシーケンスをサンプリングして２次元配列のブロックの第１の画像データを取得する手段と、
画像品質に関して損失ありの符号化を用いて、上記第１の画像データを第２の画像データに符号化する手段と、
上記第２の画像データを第３の画像データに復号化する手段と、
上記第１及び第３の画像データ間の複数の剰余数係数を計算する手段と、
上記各剰余数係数の正負符号及び絶対値を取得する手段と、
上記絶対値のうちの最大値を決定する手段と、
上記絶対値のカットオフ値を決定する手段と、
上記最大値及び上記カットオフ値に基づいて、上記絶対値を修正するために必要なパラメータを計算する手段と、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記絶対値を修正する手段と、
ビットプレーンエントロピ符号化によって、上記正負符号及び上記修正された絶対値を符号化する手段と、
上記第２の画像データからベースレイヤビットストリームを生成する手段と、
上記最大値、上記カットオフ値、上記符号化された正負符号、及び上記修正されて符号化された絶対値から、拡張レイヤビットストリームを生成する手段とを含み、
上記絶対値のカットオフ値を決定する手段は、
ＶＯＰにおける剰余数係数の絶対値の各値の出現回数を取得する手段と、
最小拡張ビットレートをフレームレートと第１のビットプレーンのビットプレーンエントロピ符号化の符号化効率とで除算することで、上記出現回数の総和のための第１のしきい値を計算する手段と、
上記カットオフ値より大きな絶対値を有する剰余数係数の総数が上記第１のしきい値より小さくなるように、上記カットオフ値を決定する手段とを含み、
上記絶対値を修正するために必要なパラメータを計算する手段は、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算する手段と、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定する手段と、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算する手段と、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定する手段と、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算する手段とを含み、
上記絶対値を修正する手段は、上記カットオフ値以上の絶対値に対して、
上記絶対値から上記カットオフ値を減算することで、第１のオフセット値を計算する手段と、
上記第１のオフセット値が上記第２のしきい値より大きいとき、上記第１のオフセット値に２を乗算し、乗算結果から上記第２のしきい値を減算し、減算結果に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算する手段と、
上記第１のオフセット値が上記第２のしきい値以下であるとき、上記第１のオフセット値に対して、上記最大ダイナミックレンジのビット数だけ１を左シフトした値を加算する手段とを含むビデオ符号化装置。
上記第１の画像データを第２の画像データに符号化する手段は、離散コサイン変換及び量子化を実行する手段を含み、
上記第２の画像データを第３の画像データに復号化する手段は、逆量子化及び逆離散コサイン変換を実行する手段を含み、
上記第１及び第３の画像データ間の複数の剰余数係数を計算する手段は、離散コサイン変換を実行する手段を含む請求項１２記載のビデオ符号化装置。
請求項１２又は１３記載のビデオ符号化装置によって生成されたベースレイヤビットストリーム及び拡張レイヤビットストリームを復号化するビデオ復号化装置であって、上記装置は、
上記ベースレイヤビットストリームに対して逆量子化及び逆離散コサイン変換を含む処理を行って第４の画像データを取得する手段と、
ビットプレーンエントロピ復号化によって、上記拡張レイヤビットストリームから複数の剰余数係数の正負符号及び修正された絶対値を取得する手段と、
上記拡張レイヤビットストリームから上記剰余数係数の絶対値の最大値及びカットオフ値を取得する手段と、
上記最大値及び上記カットオフ値に基づいて、予測された絶対値及び再構築された絶対値を取得するために必要なパラメータを計算する手段と、
上記計算されたパラメータに基づいて、上記拡張レイヤビットストリームから取得された上記修正された絶対値から、予測された絶対値を取得する手段と、
上記最大値、上記カットオフ値及び上記計算されたパラメータに基づいて、上記予測された絶対値から、再構築された絶対値を取得する手段と、
逆離散コサイン変換を含む処理を行って、上記正負符号及び上記再構築された絶対値からなる剰余数係数の第５の画像データを取得する手段と、
上記第４の画像データと上記第５の画像データとを合成することで、第６の画像データを取得する手段と、
上記第４の画像データからベースレイヤビデオシーケンスを生成する手段と、
上記第６の画像データから拡張レイヤビデオシーケンスを生成する手段とを含み、
上記予測された絶対値及び上記再構築された絶対値を取得するために必要なパラメータを計算する手段は、
上記最大値から上記カットオフ値を減算することで、第２のビットプレーンの上限ダイナミックレンジを計算する手段と、
上記カットオフ値から１を減算することで、上記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、
上記上限ダイナミックレンジ及び上記下限ダイナミックレンジのうちの最大値を最大ダイナミックレンジとして決定する手段と、
上記最大ダイナミックレンジのビット数に１を加算することで、ビットプレーンの総数を計算する手段と、
上記最大ダイナミックレンジのビット数だけ１を左シフトし、左シフト結果から１を減算することで、最大バイナリレンジを決定する手段と、
上記最大ダイナミックレンジに２を乗算し、乗算結果から上記最大バイナリレンジを減算することで、第２のしきい値を計算する手段とを含み、
上記予測された絶対値を取得する手段は、
受信されたビットプレーンの個数を決定する手段と、
１個のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から２を減算した値だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算する手段と、
上記最大ダイナミックレンジのビット数以下の個数である２つ以上のビットプレーンが受信されたとき、上記最大ダイナミックレンジのビット数から上記受信されたビットプレーンの個数を減算した結果だけ１を左シフトし、左シフト結果に上記修正された絶対値を加算する手段と、
上記最大ダイナミックレンジのビット数より多い２つ以上のビットプレーンが受信されたとき、上記修正された絶対値をそのまま用いる手段とを含み、
上記再構築された絶対値を取得する手段は、上記最大ダイナミックレンジのビット数だけ１を左シフトした値以上である上記予測された絶対値に対して、
上記最大ダイナミックレンジのビット数だけ１を左シフトした値を上記予測された絶対値から減算することで、第２のオフセット値を計算する手段と、
上記第２のオフセット値が上記第２のしきい値より大きいとき、上記第２のオフセット値に上記第２のしきい値を加算し、加算結果を２で除算し、除算結果に上記カットオフ値を加算する手段と、
上記第２のオフセット値が上記第２のしきい値以下であるとき、上記カットオフ値に上記第２のオフセット値を加算する手段とを含むビデオ復号化装置。
上記絶対値を修正する手段は、上記カットオフ値未満の絶対値に対して、
上記絶対値が上記第２のしきい値より大きいとき、上記絶対値に２を乗算し、乗算結果から上記第２のしきい値を減算する手段と、
上記絶対値が上記第２のしきい値以下であるとき、上記絶対値をそのまま用いる手段とをさらに含む請求項９、１２、１３のうちのいずれか１つに記載のビデオ符号化装置。
上記再構築された絶対値を取得する手段は、上記最大ダイナミックレンジのビット数だけ１を左シフトした値未満である上記予測された絶対値に対して、
上記予測された絶対値が上記第２のしきい値より大きいとき、上記予測された絶対値に上記第２のしきい値を加算し、加算結果を２で除算する手段と、
上記予測された絶対値が上記第２のしきい値以下であるとき、上記予測された絶対値をそのまま用いる手段とをさらに含む請求項１０、１１、１４のうちのいずれか１つに記載のビデオ復号化装置。