JP2012526426A - スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム - Google Patents

Abstract

ビデオシーケンス（１０）を符号化するスケーラブルビデオ符号化方法の結果、ビデオシーケンス（１０）の２つの層表現（２０_１、２Ｏ_２）に分割可能なビットストリーム（２０｝が得られる。第２の層表現（２Ｏ_２）は、第１の層表現（２Ｏ_１）と比較して強化された分解能を有する。方法は、第２の層における既に再構成された画素（１４）を使用して第２の層について予測符号化パラメータを生成すること（ｓｉ）を備える。方法は、第１の層予測信号を生成するために予測符号化パラメータ及び第２の層における既に再構成された画素（１４）を使用して第１の層について予測を実行すること（ｓ２）を更に備える。方法は、元の画像と第１の層予測信号との差に基づいて第１の層残差を生成すること（ｓ３）を更に備える。予測符号化パラメータ及び第１の層残差は、第１の層表現（２Ｏ_１）として符号化される（ｓ４）。符号器（３０）及びコンピュータプログラムが更に提供される。

Description

本発明は、ビデオシーケンスをビットストリームに符号化するスケーラブルビデオ符号化方法に関する。更に本発明は、符号器及び符号器上で実行される場合に符号器に上述の方法を実行させるように構成された命令を含むコンピュータプログラムに関する。

スケーラブルビデオ符号化（ＳＶＣ）により、単一のビットストリーム内で同一のビデオシーケンスのいくつかの表現の符号化及び送信が可能になり、符号化後且つ送信前に必要に応じて又は要望に応じてビットストリームから１つ以上の表現の削除が可能になる。各表現は、ビデオシーケンスの特定の時間分解能、空間分解能又は忠実度分解能に対応する。

デジタルビデオ符号化のコンテキストのスケーラビリティは、使用可能な帯域幅リソースの減少等の送信条件の悪化又は輻輳の発生等のネットワーク状態の変化に応答して分解能を潔く低下させるか、あるいは受信機又は受信機側の復号器の機能（表示分解能、処理能力又はバッテリ電源等）、要求又は基本設定に適応するのに有用である。ビットストリームスケーラビリティとも呼ばれるスケーラビリティにより、必要に応じて又は要望に応じてビットストリームのある特定の部分の破棄が可能になるため、必要なビットレートは、符号化後に、すなわち符号化処理自体の変更を必要とせずに適応される。符号化がコンピュータを多用するタスクである可能性があるため、最も必要な分解能についてビットストリームを符号化し、その後再度符号化する必要なくビットストリームのいくつかの部分を除去できることは有用である。換言すると、ＳＶＣは、表現のうちのいくつかのみを送出することにより、ビットストリームを部分的に送信し且つ復号化できる。ビットストリーム（ＳＶＣビットストリームとも呼ばれる）に符号化された各表現を層と呼ぶ。

最も低い層は基本層と呼ばれ、連続した上位層は強化層又は強化された層と呼ばれる。スケーラビリティは、少なくとも基本層及び強化層の符号化を含む。複数の強化層が提供されてもよい。例えば、基本層は、低空間分解能（例えば、クォータＶＧＡ、すなわちクォータビデオグラフィックスアレイを表し且つ３２０×２４０分解能に対応するＱＶＧＡ）でビデオシーケンスを示してもよく、強化層は、より高い空間分解能（例えば、ビデオグラフィックスアレイを表し且つ通常６４０×４８０分解能に対応するＶＧＡ）でビデオシーケンスを示してもよい。漠然と、元のビデオシーケンスの画像（符号化される場合に「アクセスユニット」と呼ばれる場合もある）毎に、強化層は、基本層により提供される表現と比較して改良された画像の表現を提供する。

ビデオ符号化のスケーラビリティは、サイマルキャスト符号化、すなわち各表現を個別に符号化することとは異なる。一般にＳＶＣは、サイマルキャスト符号化よりも効率的であるべきである。ＳＶＣにおいて、層の符号化（例えば、個別に符号化されてもよい基本層を除く）は、別の層に割り当てられた帯域幅のうちのいくつか又はビットストリームのビットのうちのいくつかを再利用すべきである。

ビデオ符号化は予測符号化技術を含むことが多い。これらの技術は、特に、特定の順序で考慮された画像間又は画素間の差の符号化に基づく。符号化側でビデオシーケンスの画像又は画素が処理される際の順序、すなわち予測される際の順序は、それらが復号化側で再構成される際の順序とほぼ同一である。例えば、アンカ画像と呼ばれてもよいいくつかの画像の復号化は、先に復号化された画像を利用しなくてもよい。これに対して、他の画像又はピクチャを復号化するには、基準ピクチャと呼ばれてもよい少なくとも１つにおける既に復号化されたピクチャを利用する必要がある。ビデオ符号化規格は、通常、符号化に使用される特定の方法を特定しないが、受信機側で使用される復号化方法を特定する。予測符号化技術は、符号化側の以下のステップを示してもよい。

第１に、符号化モード及び動きベクトル等の予測符号化パラメータとも呼ばれてもよい符号化パラメータは、先に再構成された１つ以上の画像、画素又は画素ブロックから符号化される画像を最も効率的に再構成するために選択される。これらの符号化パラメータは、送信するためにビットストリームに符号化される。

第２に、選択された予測符号化パラメータは、符号化側でビデオシーケンスの画像に適用される。このステップの結果は、これらの予測符号化パラメータが画像を復号化するために使用される場合にのみ、いわゆる復号化側で先に再構成された画像、画素又は画素ブロックからの予測、すなわち所定の画像、画素又は画素ブロックが復号化側で予測される方法を構成する。換言すると、予測は、所定の画像又はその一部が復号化側で予測される方法の符号化側の予測である。例えば、パラメータが動きベクトルである場合、予測はいわゆる動き補償予測である。

第３に、残差（すなわち、予測誤差）は、元の画像（実際のピクチャ）と予測符号パラメータ（予測されたピクチャ）に基づく予測の結果との差を計算することにより算出される。残差は、送信するためにビットストリームに更に符号化される（上述したように、予測符号化パラメータと共に）。

復号化側で、ビデオシーケンスの画像、画素又は画素ブロックは、特定の順序で再構成される。予測符号化パラメータは、既に再構成されたビデオシーケンスの画像、画素又は画素ブロックから画像、画素又は画素ブロックを予測するために使用され、残差はこれらの予測を補正するために使用される。

予測符号化技術の種類には、イントラ符号化及びインタ符号化がある。イントラ符号化、すなわちイントラピクチャ符号化は、同一の画像の空間的隣接領域（すなわち、復号化側で最初に再構成される隣接画素又は隣接領域）からの空間予測を使用する。イントラピクチャ符号化は、１つの画像の画素領域間の空間的相関関係を利用する。逆に、インタ符号化、すなわちインタピクチャ符号化は、時間的隣接画像（すなわち、復号化側で最初に再構成される隣接画像）からの時間的予測を使用する。インタピクチャ符号化は、画像間の時間的相関関係を利用する。イントラ符号化及びインタ符号化を組み合わせてもよい。

これらの予測符号化技術に加え、インタ層予測はＳＶＣに適している。インタ層予測において、ビデオシーケンスの下位表現からの可能な限り多くの情報は、ビデオシーケンスの上位表現を符号化するために使用される。換言すると、全体的な符号化効率を向上するために、上位層を予測するために符号化された下位階層からの情報を使用することにより、層間の冗長性を考慮する。

スケーラビリティを提供するビデオ符号化規格の一例は、非特許文献１）である。ａｎｎｅｘ Ｇ「Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ」は、ＳＶＣ技術の例を開示する。この付録上で開示された技術の概要は、非特許文献２で提供される。非特許文献２の第Ｉ章及び第ＩＩ章は、ビデオ符号化のコンテキストで特にスケーラビリティについて説明する。

可能な限り符号器及び復号器を複雑にすることなく、スケーラブルビデオ符号化の効率を向上させるような方法、符号器及びコンピュータプログラムを提供するのが望ましい。

H.264/AVC規格, ITU-T、H.264(11/2007)、シリーズＨ：Audiovisual and Multimedia Systems, Infrastructure of audiovisual services-Coding of moving video, Advanced video coding for generic audiovisual services、（オーディオビジュアル及びマルチメディアシステム、オーディオビジュアルサービスのインフラストラクチャ−動画の符号化、汎用オーディオビジュアルサービスのためのＡＶＣ）ＩＴＵ−Ｔ勧告Ｈ．２６４ Schwarz H., Marpe D. Wiegand T., Overview of the Scalable Video Coding Extension of the H.264/AVC standard, IEEE Trans. Circuits Syst. Video Technol. Vol. 17, no.9, 1103-1120, September, 2007 (シュワルツ H, マープ D、ウィーガンド T. H.264/AVC規格のスケーラブルビデオ符号化拡張の概説、IEEEトランザクション、回路システム、ビデオ技術、１７巻、９号、1103-1120ページ、２００７年９月)

上記目的を達成するかあるいは少なくとも部分的に達成するため、本発明に係るそのような方法、符号器及びコンピュータプログラムは独立請求項に規定される。特定の実施形態は従属請求項に規定される。

一実施形態において、スケーラブルビデオ符号化方法は、ビデオシーケンスをビットストリームに符号化するための方法である。結果として得られるビットストリームは、少なくともビデオシーケンスの第１の層表現及び第２の層表現に分割可能であり、第２の層表現は、第１の層表現と比較して強化された空間分解能又は品質（ＳＮＲ）分解能を有する。方法は、再構成された第２の層表現における既に再構成された画素を使用してビデオシーケンスの画像の少なくとも１つの領域の第２の層表現について予測符号化パラメータを生成するステップを備える。方法は、第１の層予測信号と呼ぶところの予測信号を生成するために予測符号化パラメータ及び再構成された第２の層表現における既に再構成された画素を使用してビデオシーケンスの画像の少なくとも１つの領域の第１の層表現について予測を実行するステップを更に備える。方法は、ビデオシーケンスの画像の少なくとも１つの領域と第１の層予測信号との差に基づいて、第１の層残差と呼ぶところの残差を生成するステップを更に備える。方法は、第１の層表現の少なくとも一部として予測符号化パラメータ及び第１の層残差を符号化するステップを更に備える。

「スケーラブルビデオ符号化」という表現は、背景技術の節で説明された意味の範囲内で本明細書で使用される。すなわち、一般にサイマルキャストよりも効率的であり、要望に応じて符号化後且つ送信前にビットストリームから第２の層表現等の層表現の破棄が可能になるビデオ符号化技術である。更にこれは、背景技術の節で提供された説明に準拠して「分割可能」であることを意味する。ビットストリームを作成した後、それらのいくつかの部分を破棄することによりブットストリームを分割し、ビデオシーケンスの第１の層表現のみを送信することが可能である。

「スケーラブルビデオ符号化」という表現は、多視点符号化又はスケーラブル多視点符号化のコンテキストでの適用可能性を本明細書で更に範囲に含む。多視点符号化において、従来のビデオ符号化でのように単一のカメラビューを符号化するのではなく、多視点は１つのビットストリームに共に符号化される。効率的な多視点符号化のために、予測符号化方法が適用されてもよい。これらは、単一視点映像符号化におけるような同様の動き補償インタ予測方法及び動き補償イントラ予測方法を含んでもよい。また、種々の視点間の予測が適用されてもよく、不一致が補償されてもよい。本明細書において、ピクチャが異なる時点の同一の視点からのものではなく、同一の時点の異なる視点からのものであるという点を除いて、不一致補償はインタ予測に対する動き補償に類似する。多視点映像符号化の一例は、２００９年４月の時点で開発中のＨ．２６４／ＡＶＣ規格に追加された「多視点映像符号化」である。同様の従来のビデオ符号化、多視点映像符号化は、一実施形態において本発明が適用されるスケーラビリティ機能を含んでもよい。

ビットストリームは、無線通信チャネル等の通信チャネルで送信されてもよい。ビットストリームは、後でコンピュータ可読媒体のコンテンツを復号化するためにコンピュータ可読媒体上に更に格納されてもよい。ビットストリームは、１つ以上の符号化されたビデオシーケンスを形成する符号化されたピクチャ及び関連付けられたデータの表現を形成するビットのシーケンスである。

第１の層表現及び第２の層表現は、それぞれ、基本層及び強化層であってもよい。あるいは、第１の層表現及び第２の層表現は、それぞれ、第１の強化層及び第２の強化層であってもよく、第２の強化層は、第１の強化層と比較して強化された空間分解能又は品質（ＳＮＲ）分解能を有する。

生成された予測符号化パラメータは、１つ以上における既に再構成された画像から符号化される画像を効率的に再構成するために使用されたパラメータである。「再構成する」及び「再構成された」という用語は、復号化側の再構成処理をより適切に反映するが、ビットストリームにおいて必要な情報の符号化側の符号化を反映するために本明細書で使用されることにより、復号化側の再構成を可能にする。例えば予測符号化パラメータは、空間的隣接がイントラ符号化で使用されるか（及びその場合に使用されるイントラ符号化モード、すなわち予測符号化パラメータは、この場合イントラ符号化モード判断パラメータである）、時間的隣接がインタ符号化で使用されるか（符号化ベクトルの選択等、すなわち予測符号化パラメータは、この場合モード推定パラメータである）又は双方が使用されるか（予測符号化パラメータは、この場合モード判断パラメータである）を表してもよい。

予測符号化パラメータは、第２の層表現について、すなわち第２の層表現の分解能の画像情報に基づいて生成される。換言すると、予測符号化パラメータは、第２の層上で選択されるかあるいは生成される。

次に、第１の層の予測信号を生成するために、第２の層で生成された予測符号化パラメータに基づいて且つ第２の層（すなわち、換言すると、再構成された第２の層表現と呼ばれてもよいもの）からの既に再構成された画素を使用して予測が実行される。第１の層の予測信号、すなわち第１の層予測信号は、第１の層表現の分解能における画像の少なくとも１つの領域の予測された画素である。

次に第１の層残差は、第１の層の分解能で元の無圧縮画像から第１の層予測信号を減算することにより生成される。次に、予測符号化パラメータ及び第１の層残差（場合によっては最初に量子化された）は、第１の層表現の一部としてビットストリームに、すなわち第１の層表現と関連付けられたビットストリームの部分又は第１の層表現に割り当てられたビットストリームの部分に符号化される。

本発明は、ＳＶＣモードで効率的な符号化、すなわち適切な圧縮効率を提供する。適切な圧縮効率は、本明細書である特定のビットレートに対して達成される低いビデオ雑音レベルを示す。同時に、計算量及びメモリ消費量は殆ど増加しない。

従来技術に対する本発明の技術的効果をより詳細に理解するために、本発明をいわゆるＳＶＣボトムアップ符号化処理と比較するのが有用である。ボトムアップ符号化処理において、最初に基本層について符号化を実行し（後続の強化層符号化を考慮せずに）、次に後続の強化層について符号化を連続して実行する。この結果、基本層と強化層との間で符号化効率損失が不均一に分配される。これにより、強化層について部分最適圧縮効率が更に得られる。

ボトムアップ符号化のこれらの問題に対する解決方法は、Schwarz H.他、R-D optimized multi-layer encoder control for SVC（SVCのためのR-D最適化マルチレイヤエンコーダ制御）、ICIP2007, II-281-284ページに提案される。しかし、この文献に提案された結合ＢＬ−ＥＬ最適化により複雑さが増す可能性がある。本発明は、符号化の複雑さを可能な限り低く維持しつつ強化された層の圧縮効率を向上させる別の解決方法を提案する。

一実施形態において、方法は、第１の層予測信号を生成するために予測を実行するステップが動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行することを備えるような方法である。

これらの３つの予測技術のうちの２つ又は３つの組合せは、いくつかのピクチャの全てあるいはいくつかの領域又はマクロブロックについて使用されてもよい。

一実施形態において、方法は、復号化時に、第１の層表現と関連付けられた予測符号化パラメータが第２の層表現についても使用されるべきことを示す望遠指示と呼ぶところの指示を、第２の層表現の少なくとも一部として符号化するステップを更に備える。

本実施形態により、第２の層表現について予測符号化パラメータを再度符号化する必要はなく、効率的な第２の層表現の符号化が可能になる。

本実施形態のサブ実施形態において、第２の層表現の少なくとも一部として符号化するステップは、復号化時に、ビデオシーケンスの画像の少なくとも１つの領域と第２の層予測信号との差を近似する、第２の層残差と呼ぶところの残差を生成するために第１の層残差を使用すべきことを示すインタ層予測残差指示と呼ぶところの指示を符号化することを更に備える。

本サブ実施形態により、効率的な予測符号化パラメータの符号化及び第２の層表現に対する残差の双方が可能になる。

本実施形態の別のサブ実施形態又は上述のサブ実施形態との組合せにおいて、方法は、第２の層予測信号と呼ぶところの予測信号を生成するために予測符号化パラメータ及び再構成された第２の層表現における既に再構成された画素を使用して、ビデオシーケンスの画像の少なくとも１つの領域の第２の層表現について予測を実行するステップと、ビデオシーケンスの画像の少なくとも１つの領域と第２の層予測信号との差に基づいて第２の層残差と呼ぶところの残差を生成するステップとを更に備え、第２の層表現の少なくとも一部として符号化するステップは、第２の層残差を符号化することを更に備える。

２つの上記のサブ実施形態が組み合わされる一実施形態において、復号化する場合に第１の残差が第２の層残差を生成するために使用されることを示す中間層予測残差指示及び第２の層残差の双方は、ビデオシーケンスの画像の少なくとも１つの領域を再構成するために共に使用される。これにより、中間層の冗長性を最適に使用できるようになる。

一実施形態において、第２の層予測信号を生成するために予測を実行するステップは、動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行することを備える。

これらの３つの予測技術のうちの２つ又は３つの組合せは、第２の層予測信号を生成するために予測を実行する場合、いくつかのピクチャの全てあるいはいくつかの領域又はマクロブロックについて更に使用されてもよい。

一実施形態において、方法は、予測符号化パラメータを生成するステップがインタ符号化技術及びイントラ符号化技術のうちの少なくとも１つを選択することと、選択するステップに従って、インタ符号化技術が選択された場合はインタ符号化パラメータ及びイントラ符号化技術が選択された場合はイントラ符号化パラメータのうちの少なくとも１つを生成することとを備えるような方法である。

一実施形態において、方法は、予測符号化パラメータを生成するステップ及び第１の層残差を生成するステップが第２の層表現に関して最適化されるような方法である。これにより、第２の層表現について効率的な符号化が可能になる。

一実施形態において、方法は、第２の層表現が第１の層表現と比較して強化された空間分解能を有し、且つ第１の層予測信号を生成するために予測を実行するステップが、予測符号化パラメータ及び再構成された第２の層表現における既に再構成された画素をダウンサンプルした後、予測符号化パラメータ及び再構成された第２の層表現における既に再構成された画素を使用して実行されるような方法である。

本実施形態において、空間スケーラビリティは、第２の層表現について生成された予測符号化パラメータ及び第２の層表現における既に再構成された画素をダウンサンプルすることにより達成され、第１の層予測信号を生成するために予測を実行するステップは、第１の層表現の分解能に適応された予測符号化パラメータを使用して実行される。例えばこれは、動きベクトルの分解能を低下させることを含んでもよい。

一実施形態において、方法は、第２の層表現が第１の層表現と比較して強化された品質（ＳＮＲ）分解能を有し、且つ第１の層予測信号を生成するために予測を実行するステップが、予測符号化パラメータを全く変更せずに使用して実行されるような方法である。

本実施形態において、品質（ＳＮＲ）スケーラビリティが達成され、第１の層予測信号は、第２の層表現について生成された予測符号化パラメータを適応することを全く必要としない単純な方法で生成されてもよい。

一実施形態において、方法は、予測符号化パラメータを生成するステップが、少なくともインタ符号化技術を選択することと、ビデオシーケンスの画像の少なくとも１つの領域がＢスライスとして予測的に符号化されるような方法で少なくともインタ符号化パラメータを生成することとを備えるような方法である。Ｂスライスは、各ブロックのサンプル値を予測するために多くて２つの動きベクトル及び基準を使用するイントラ層のイントラ予測又はインタ予測を使用して復号化されてもよいスライスである。

更にボトムアップ符号化は、いくつかのピクチャ領域又はピクチャについて本発明で使用されてもよいが、他のピクチャ領域又はピクチャについては使用されない。

更に本発明は、一実施形態において、ビデオシーケンスをブットストリームに符号化するように構成されたスケーラブルビデオ符号器に関する。結果として得られるビットストリームは、少なくともビデオシーケンスの第１の層表現及び第２の層表現に分割可能である。第２の層表現は、第１の層表現と比較して強化された空間分解能又は品質分解能を有する。符号器は、予測符号化パラメータ生成部と、第１の層予測実行部と、第１の層残差生成部と、第１の層表現符号化部とを備える。予測符号化パラメータ生成部は、再構成された第２の層表現における既に再構成された画素を使用してビデオシーケンスの画像の少なくとも１つの領域の第２の層表現について予測符号化パラメータを生成するように構成される。第１の層予測実行部は、第１の層予測信号と呼ぶところの予測信号を生成するために予測符号化パラメータ及び再構成された第２の層表現における既に再構成された画素を使用して、ビデオシーケンスの画像の少なくとも１つの領域の第１の層表現について予測を実行するように構成される。第１の層残差生成部は、ビデオシーケンスの画像の少なくとも１つの領域と第１の層予測信号との差に基づいて第１の層残差と呼ぶところの残差を生成するように構成される。第１の層表現符号化部は、第１の層表現の少なくとも一部として予測符号化パラメータ及び第１の層残差を符号化するように構成される。

更に本発明は、一実施形態において、符号器上で実行される場合に符号器に上述の方法を実行させるように構成された命令を含むコンピュータプログラムに関する。

次に、添付の図面と共に本発明の実施形態を説明する。
ピクチャの領域がインタピクチャ予測符号化技術を使用して符号化される本発明の一実施形態において方法のステップを示す概略図である。 ピクチャの領域がイントラピクチャ予測符号化技術を用いて符号化される本発明の一実施形態において方法のステップを示す概略図である。 ピクチャの領域が２つの隣接画像を使用するインタピクチャ予測符号化技術を用いて符号化される本発明の一実施形態において方法のステップを示す概略図である。 本発明の一実施形態において方法のステップを示すフローチャートである。 本発明の一実施形態において符号器を概略的に示す図である。 本発明により対処され且つ解決される問題をより理解するためのＳＶＣボトムアップ符号化手法を概略的に示す図である。 ピクチャの領域が２つの隣接画像を使用するインタピクチャ予測符号化技術を使用して符号化される本発明の一実施形態において方法のステップを示す概略図である。 本発明により対処され且つ解決される問題をより理解するために、従来技術での望遠モードフラグの使用を概略的に示す図である。 本発明により対処され且つ解決される問題をより理解するために、図６を参照して説明した手法に類似するボトムアップ符号化手法を更に示す図である。 本発明の一実施形態において符号器で実行される方法のステップを示す概略図である。 本発明の一実施形態の方法で取得された実験データを示す図である。

次に、特定の実施形態と共に本発明を説明する。尚、これらの特定の実施形態は、当業者により適切な理解を提供するためのものであり、添付の請求の範囲により規定される本発明の範囲をなんら限定することを意図しない。

図１は、本発明の一実施形態において方法のステップを示す概略図である。４つの例示的なピクチャ又はフレームを含むビデオシーケンス１０を図１の上部に示す。このビデオシーケンス１０は、本実施形態において方法の入力を構成する。方法の出力は、図１の右下の隅に示されたビットストリーム２０である。ビットストリーム２０は、符号化された第１の層表現２０_１に割り当てられたビット（ビットストリーム２０の白色部分）及び符号化された第２の層表現２０_２に割り当てられたビット（ビットストリーム２０の黒色部分）を含む。第１の層表現２０_１及び第２の層表現２０_２にそれぞれ割り当てられたビットストリーム２０のビット部分のサイズは同一であるのもとして示されるが、必ずしもそうでなくてもよい。

図示されたビデオシーケンス１０の下の点線の下に、第２の層及び第１の層を概略的に示す。第１の層は基本層であってもよく、第２の層は強化された層（ＥＬ）であってもよい。あるいは、第１の層は第１の強化された層であってもよく、第２の層は、第１の強化された層よりも精細な分解能を与える第２の強化された層であってもよい。図１に示された処理は、ビデオシーケンス１０の画像の領域１６の符号化に関する。領域１６の第１の層表現及び第２の層表現の双方は、ビットストリーム２０に符号化される。図１において、領域１６の画素は、インタピクチャ予測符号化技術を使用して符号化される。すなわち、図１に示された例において、先行ピクチャ１４からの画素、すなわち先に再構成された画素１４は、領域１６の予測符号化のために使用される。

ピクチャ１２は、イントラピクチャ予測符号化技術を使用して符号化されるアンカピクチャである。次にピクチャ１４は、ピクチャ１２における既に再構成された画素に基づいてインタピクチャ予測符号化技術を使用して符号化される。ステップｓ１において、第２の層分解能の領域１６に対する予測符号化パラメータは、第２の層における既に再構成された画素１４を使用して生成される。

例えば、ステップｓ１で生成された予測符号化パラメータは、インタ符号化又はイントラ符号化が使用されるか及び／あるいは動きベクトルであるか等を示す符号化モードであってもよい。更に、ビデオシーケンス１０の１つのピクチャが符号化される場合、前記ピクチャ内で、種々の処理は、特にピクチャの場所及び／又はピクチャの内容に依存してピクチャの種々の部分に適用されてもよい。すなわち、種々の符号化技術は、符号化されるピクチャの種々の領域について使用されてもよい。更には、種々の符号化技術は、ビデオシーケンス１０の種々のピクチャについて使用されてもよい。

ステップｓ２において、ステップｓ１で生成された予測符号化パラメータ及び第２の層における既に再構成された画素１４を使用して領域１６の第１の層表現２０_１について予測が実行される。従って、第１の層予測信号と呼ぶところの予測信号が生成される。

一実施形態において、ステップｓ２は、空間スケーラビリティについてダウンサンプルすることを含む。一実施形態において、ダウンサンプルすることはＳＮＲスケーラビリティに対して含まれず、ステップｓ１からの動き情報（予測符号化パラメータの一例である）は、変更せずに適用される。しかし、ＳＮＲスケーラビリティが達成される一実施形態において、例えば強化層（ＥＬ）で使用された規格により支持されるが基本層（ＢＬ）で前記規格により支持されない動き補償ブロックサイズの場合には、ある変換が実行される。一実施形態において、基本層と強化層との間で支持された動き補償ブロックサイズの差がない場合、ＳＮＲスケーラビリティに対して変換は実行されない。

その後、ステップｓ３において、元の無圧縮画像の領域１６と第１の層予測信号との差が算出され、第１の層残差を生成する。

ステップｓ４において、ステップ１で生成された（場合によってはダウンサンプルされ且つ／あるいは変換された）予測符号化パラメータ及び第１の層残差は、少なくとも第１の層表現２０_１の一部として符号化される。更なるパラメータ又は情報は、第１の層表現の２０_１の一部として更に符号化されてもよい。これにより、ビットストリーム２０に符号化された第１の層表現２０_１を形成する。第２の層表現２０_２は、インタ層予測符号化技術（図１には不図示）を使用してビットストリーム２０に更に符号化される。

ステップｓ１において先に再構成された画素１４が符号化される領域１６の画素と同一のピクチャからのものであるという点で、図２の概略図は図１とは異なる。換言すると、領域１６の第２の表現について予測符号化パラメータを生成するステップｓ１は、イントラ符号化パラメータを生成することを含む。これは、図２の上部のピクチャで「ｓ１」とラベル付けされた矢印により示される。

図２に示すように、第２の層の領域１６の画素分解能及び第１の層の領域１６の画素分解能は、同一のものとして示される。しかし、空間スケーラビリティではそうではない。すなわち、第１の層の領域１６の画素分解能は、第２の層の領域１６の画素分解能よりも改良されない。

図３の概略図は、以下の通り図１とは異なる。ビデオシーケンス１０において、ステップｓ１で使用された既に再構成された画素１４は、領域１６の画像に先行する第１の画像１４及び領域１６の画像に後続する第２の画像１４の双方から発生する。再構成（予測）順序は、ビデオシーケンス１０の画像の順序と同一でなくてもよい。

図４は、本発明の一実施形態における方法のフローチャートである。ステップｓ１において、予測符号化パラメータは、再構成された第２の層表現２０_２における既に再構成された画素１４を使用して、ビデオシーケンス１０の画像の少なくとも１つの領域１６の第２の層表現２０_２について生成される。ステップｓ２において、ステップｓ１で生成された予測符号化パラメータ及び再構成された第２の層表現２０_２における既に再構成された画素１４を使用して、ビデオシーケンス１０の画像の少なくとも１つの領域１６の第１の層表現２０_１について予測が実行される。ステップｓ２の出力は第１の層予測信号である。

ステップｓ３において、第１の層残差は、ビデオシーケンス１０の画像の元の無圧縮領域１６とステップｓ２で生成された第１の層予測信号との差から生成される。ステップｓ１で生成された予測符号化パラメータ及びステップｓ３で生成された第１の層残差は、ビットストリーム２０の第１の層表現の少なくとも一部としてステップｓ４で符号化される。

図５は、本発明の一実施形態において符号器３０を概略的に示す。符号器３０は、図４を参照して説明されたようなステップｓ１〜ｓ４を実行するようにそれぞれ構成される予測符号化パラメータ生成部３１と、第１の層予測実行部３２と、第１の層残差生成部３３と、第１の層表現符号化部３４とを備える。

予測符号化パラメータを生成するために、符号化最適化方法の１つの種類は、レート歪み（Ｒ−Ｄ）最適化として当技術分野で示される。Ｒ−Ｄ最適化動き推定及びモード判断において、符号器は、試験的に、いくつか（又は全て）の可能なモード／動き設定を符号化し、それらの各々に対するコスト基準に従ってコスト手段を生成する。種々のモードを検査した後、最もコストの低い手段が選択される。一般にＲ−Ｄ最適化方法は符号器により実行され、その動作を判定する一般的な構成パラメータは、量子化パラメータＱＰ及びラグランジュの乗数法λである。

２つの層、すなわち基本層（ＢＬ）及び強化層（ＥＬ）を含むＳＶＣに対して、場合によってはＢＬ圧縮効率とＥＬ圧縮効率との間に妥協点がある。

（ｉ）ＢＬ符号化が単独で最適化される場合、ＢＬで選択された符号化モードが後続のＥＬ符号化に対して最適でない可能性がある（すなわち、ＢＬで使用されたビットのうちのいくつかがＥＬに対して無用な可能性がある）ため、部分最適ＥＬ圧縮効率が得られる。

（ｉｉ）ＥＬ圧縮効率が向上する場合、ＢＬ圧縮効率の多少の低下は許容可能であってもよい。

上記の例（ｉ）は、最初にＢＬを符号化し且つ次にＥＬを符号化すること（「ボトムアップ符号化」）により実行される。しかし、例（ｉｉ）、すなわちＥＬ品質を最適化することがより望ましい場合が多い。これは、多くのアプリケーションにおいて、ＥＬ品質がＢＬ品質よりも重要である、すなわち価値のある（例えばＥＬ品質の消費者は、自身が加入しているサービスに対してより多くを期待する可能性がある）ためである。しかし、所望の挙動を実現するのは容易ではない。本発明は、例（ｉｉ）の目的により示唆された解決方法を提供する。しかし、本発明の利点を理解するために双方の例を説明するのが有用である。

図６は、ＳＶＣに対するボトムアップ符号化手法を概略的に示す。これは、本発明の一実施形態を形成しないが、本発明により対処され且つ解決される問題を理解するために本明細書で説明される。符号器動作をボトムアップ符号化（Ｉ−Ｂ−Ｉ予測構造）に対して示す。ＢＬピクチャは図の下部にあり、ＥＬピクチャは図の上部にある。縦矢印はインタ層予測を示す。ＢＬ符号化の場合、動き推定（ＭＥ）及びモード判断（ＭＤ）、並びに動き補償予測（ＭＣＰ）は、ＢＬ基準ピクチャ及びＢＬ最適化パラメータλ_ＢＬ、ＱＰ_ＢＬを使用して実行される。ＥＬ符号化の場合、ＭＥ／ＭＤ及びＭＣＰは、ＥＬ基準ピクチャ及びＥＬ最適化パラメータλ_ＥＬ、ＱＰ_ＥＬを使用して実行される。

最初にＢＬピクチャは、その時点でＥＬ態様を介入せずに（本発明とは対照的に）圧縮効率を最適化するように符号化される。次にＥＬピクチャは、ＥＬ圧縮効率を最適化するように、既に符号化されたＢＬピクチャを考慮することにより、すなわちインタ層予測技術を使用することにより符号化される。

ＭＥ処理及びＭＤ処理は、アクセスユニット（ＡＵ）の層ピクチャ毎に実行される。ボトムアップ符号化は、高度映像符号化（ＡＶＣ、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ）（ＡＵ毎に１つのピクチャのみが存在する）よりも複雑である。しかし、ボトムアップ符号化手法はＢＬ圧縮効率を最適化するが、一般にＥＬ圧縮効率の点で最適とは言えない。

図６を更に参照すると、ボトムアップ符号化の特徴は以下のように換言して説明されてもよい。

−ＡＵ毎に、最初にＢＬ符号化が実行され、次にＥＬ符号化が実行される。ＢＬ符号化及びＥＬ符号化の双方について、ＭＥ／ＭＤ処理が実行される。

−ＢＬのＭＥ／ＭＤ及びＭＣＰの場合、符号器は、再構成されたＢＬピクチャをインタ予測基準として使用する。ＢＬ専用の最適化設定（λ_ＢＬ、ＱＰ_ＢＬ）が使用される。

−ＥＬのＭＥ／ＭＤ及びＭＣＰの場合、符号器は、再構成されたＥＬピクチャをインタ予測基準として使用する。ＥＬ専用の最適化設定（λ_ＥＬ、ＱＰ_ＥＬ）が使用される。

図７は、本発明の一実施形態において方法のステップを示す概略図である。ビットストリーム２０の第２の層表現２０_２の少なくとも一部を形成（すなわち、符号化）するためにステップｓ５、ｓ６及びｓ７が使用される点で、図７は図３に示された実施形態とは異なる。

ステップｓ５において、第１の層の領域１６から第２の層の領域１６への縦矢印及び図７の右上の隅のボックス「ｓ５望遠指示・・・を符号化する」により示されるように、望遠指示は、第２の層表現２０_２の少なくとも一部として符号化される。望遠指示は、復号化時に、第１の層表現２０_１と関連付けられた予測符号化パラメータが第２の層表現２０_２についても使用されるべきことを示す。

オプションとして、符号化するステップｓ５は、第２の層表現２０_２の少なくとも一部としてインタ層予測残差指示を符号化することを更に含んでもよい。インタ層予測残差指示は、復号化時に、元の無圧縮画像の少なくとも１つの領域１６と第２の層予測信号との差を近似する第２の層残差を生成するために第１の層残差を使用すべきことを示す。換言すると、第１の層残差は、望遠指示に基づいて再構成された画素に適用される補正（第２の層残差）を生成するために使用される。

インタ層予測残差指示と組み合わせて又はインタ層予測残差指示を使用せずに、以下のステップｓ６及びｓ７が実行されてもよい。

ステップｓ６は、予測符号化パラメータ及び再構成された第２の層表現２０_２における既に再構成された画素１４を使用して、領域１６の第２の層表現２０_２について予測を実行することを含む。ステップｓ６の出力は第２の層予測信号である。

ステップｓ７は、領域１６の元の無圧縮画素とステップｓ６で生成された第２の層予測信号との差を算出することにより、第２の層残差を生成することを含む。

符号化するステップｓ５は、第２の層表現２０_２の少なくとも一部としてステップｓ７で生成された第２の層残差を符号化することを更に含む。従って、第２の層残差を更に符号化するために、ステップｓ５は、この場合はステップｓ６及びｓ７の後で完了する。

一実施形態において、第２の層表現符号化部、第２の層予測実行部及び第２の層残差生成部（不図示）は、図７を参照して説明したステップｓ５、ｓ６及びｓ７をそれぞれ実行するように符号器３０に更に提供される。

図８は、国際出願第ＷＯ２００８／０５１９９５号での望遠モードフラグの使用を示すと考えられる図であり、本発明により対処され且つ解決されるいくつかの従来技術の問題をより理解するために本明細書で説明される。ＥＬで別個のモード情報及び動き情報を送信するのではなく、ＥＬでモード情報及び動き情報がＢＬのモード情報及び動き情報から継承されるかあるいは導出されることを示すフラグが送信される。図８は、望遠モードフラグ（Ｉ−Ｂ−Ｉ予測構造）を用いた符号化動作を示す。ＢＬピクチャは図の下部にあり、ＥＬピクチャは図の上部にある。縦矢印はインタ層予測を示す。ＢＬ符号化の場合、ＭＥ／ＭＤ及びＭＣＰは、ＢＬ基準ピクチャ及びＢＬ最適化パラメータλ_ＢＬ、ＱＰ_ＢＬを使用して実行される。ＥＬ符号化の場合、ＭＥ及びＭＤは実行されない。その代わり、動きパラメータ及びモードパラメータがＢＬから導出される。ＭＣＰは、ＥＬ基準ピクチャを使用して実行される。

符号器がいくつかのＡＵについてこの機構を使用する場合、ＥＬに対するＭＥ／ＭＤ処理がこれらのＡＵについて省かれてもよく、ボトムアップ符号化と比較して符号器の複雑さは減る。一方、ＭＥ／ＭＤ情報がＥＬについて特に最適化されないため、ＥＬ圧縮効率はその影響を受ける。

図８を更に参照して、望遠モードフラグの特徴を以下のように説明してもよい。

−ＡＵ毎に、最初にＢＬ符号化が実行され、次にＥＬ符号化が実行される。ＢＬのみについてＭＥ／ＭＤ処理が実行される。

−ＢＬのＭＥ／ＭＤ及びＭＣＰの場合、符号器は、復号化されたＢＬピクチャをインタ予測基準として使用する。ＢＬ専用の最適化設定（λ_ＢＬ、ＱＰ_ＢＬ）が使用される。

−ＥＬにおいて、動きパラメータ及びモードパラメータは、ＢＬのそれらから導出される。ＥＬのＭＣＰの場合、符号器は、復号化されたＥＬピクチャをインタ予測基準として使用する。

図９は、ＳＶＣに対するボトムアップ符号化手法（図６を参照して示した手法に類似する）を更に示す。図９は、本発明の一実施形態を形成しないが、本発明により対処され且つ解決される問題をより理解するために本明細書で説明される。ボトムアップ符号器の要素の簡単な説明は、以下の通りである。

「ダウンサンプリング」動作は、元のビデオピクチャを入力として使用し、ＢＬ符号化のために場合によってはダウンサンプルされた元のピクチャを生成する。

ＭＥ／ＭＤ動作は、例えばＲ−Ｄ最適化を使用することによりＭＥ／ＭＤを実行し且つモード情報及び動き情報を判定するために、元のピクチャ及び１つ以上の基準ピクチャを使用する。ＭＥ／ＭＤ動作は、ＥＬ圧縮効率（上部）又はＢＬ圧縮効率（下部）のいずれかについて最適化される。

適応的モード／動き予測動作は、ＳＶＣのインタ層予測処理の一部である。適応的モード／動き予測動作は、ＥＬモード／動き情報を予測するためにＢＬモード／動き情報を適応可能に使用する。

基準ピクチャ記憶装置は、予測に使用される既に符号化されたピクチャの再構成を格納する。

ＭＣＰ＋量子化動作は、次に量子化される予測残差信号を生成するために元のビデオピクチャ、モード／動き情報及び基準ピクチャを使用する。量子化は、ＥＬ量子化設定（上部）又はＢＬ量子化設定（下部）のいずれかを使用して実行される。出力は、それぞれの（ＢＬ又はＥＬ）品質で量子化された残差信号及び再構成されたピクチャである。このピクチャは、後続して符号化されたピクチャについて基準ピクチャとして使用される。

適応的残差予測動作は、ＳＶＣのインタ層予測処理の一部である。適応的残差予測動作は、ＥＬ残差信号を予測するためにＢＬ残差情報を適応可能に使用する。ＢＬ及びＥＬの双方について、それぞれ、モード／動き情報及び量子化された残差情報は、圧縮されたビットストリームに符号化される。

これに対して、本発明の一実施形態の方法及び符号器３０を図１０に概略的に示す。

元のビデオピクチャ及びＥＬ基準ピクチャ（「ＥＬ基準ピクチャ記憶装置」とラベル付けされたユニットから発生する）を使用して、ＥＬ最適化を用いてＭＥ／ＭＤが実行される（ｓ１）（「ＥＬ最適化を使用するＭＥ／ＭＤ」とラベル付けされたユニット）。ステップｓ１は、インタ符号化ブロック及びイントラ符号化ブロックの双方（双方はＭＤ処理に含まれる）について同様に適用されてもよい。結果として得られるモード／動き情報は、場合によってはダウンサンプルされ（ｓ１１）（「モード／動きダウンサンプリング」とラベル付けされたユニット）、ＢＬモード／動き情報を構成する。ＥＬ基準ピクチャは、場合によっては更にダウンサンプルされる（ｓ１２）。

ＢＬモード／動き情報、ダウンサンプルされたＥＬ基準ピクチャ及び元のＢＬビデオは、ＢＬ残差を生成するために使用されたＭＣＰ＋量子化段階（ｓ２、ｓ３）に入力される（「ＢＬ設定を使用するＭＣＰ＋量子化」とラベル付けされたユニット）。出力は量子化された残差信号を含む。出力はＢＬ再構成信号を更に含むが、その信号（第１の層予測信号）は、更に必要とされなくてもよい。

ＢＬモード／動き情報は、圧縮されたビットストリーム２０に符号化される（ｓ４）（「ＢＬモード／動き符号化」とラベル付けされたユニット）。

ＢＬモード／動き情報は、望遠モード／動き予測動作に更に供給され（ｓ６１）、場合によってはアップサンプルされ、ＥＬ符号化のためにＭＣＰ＋量子化段階（ｓ６）についてＥＬモード／動き情報を構成する。ＢＬ残差は、ＥＬ符号化のためにＭＣＰ＋量子化段階（ｓ６）の入力として適応可能に更に使用されてもよい（ｓ６２）（「適応的残差予測」とラベル付けされたユニット）。

詳細なＥＬモード／動き情報を符号化するのではなく、望遠モード／動き予測の使用は、ビットストリーム２０で信号伝送される（ｓ５）（「望遠モード／動き予測の信号伝送」とラベル付けされたユニット及び「ＥＬモード／動き符号化」とラベル付けされたユニットに至る矢印）。

ＥＬ符号化のためのＭＣＰ＋量子化段階（ｓ６）は、ボトムアップ符号化手法と同様に動作する。

ＥＬ符号化段階及びＢＬ符号化段階は、ボトムアップ符号化手法と同様に動作する。

一実施形態において、方法は、ビデオシーケンス１０の全てのピクチャに適用されてもよい。別の実施形態において、符号器３０は、上述のボトムアップ符号化と図１０を参照して説明したような符号化との間で切り替わる。例えば、いわゆる「階層Ｂピクチャ予測」構成を用いた実験は、Ｉピクチャ及びＰピクチャを用いて従来の符号化を使用しつつ、圧縮効率の点からＢピクチャを用いて提案された方法を使用するのが有用な場合があることを示している。

図１１は、本発明の一実施形態の方法（本明細書及び図１１で「新しい手法」として示される）で取得された実験データを示す。以下の実験設定、すなわちスケーラブル高プロファイル、１つのＳＮＲ強化層を含むＳＮＲスケーラビリティ、Ｉピクチャとして符号化された第１のピクチャ、Ｐピクチャとして符号化された１６個目毎のピクチャ、階層Ｂピクチャとして符号化された残りのピクチャが使用された。グラフは、ボトムアップ手法（対角×印「ｘ」を含む線）の性能と新しい手法（丸「○」を含む線）とを比較する。示された例において、新しい手法はＢピクチャに対してのみ適用され、Ｉピクチャ及びＰピクチャはボトムアップ手法を使用して符号化された。一定の強化層品質が達成されるように（図１１のタイトルに示されたＰＳＮＲ_ＥＬの値により示された）模擬実験が構成された。

上部の２つのグラフは、強化層と基本層との種々のビットレート比ｒ（ピーク信号対雑音比（ＰＳＮＲ）品質を達成するのに必要なＨ．２６４／ＡＶＣビットレートに関して測定された）に対してグラフ化された非スケーラブルＡＶＣ符号化（同様の符号化構造を含むＨ．２６４／ＡＶＣ高プロファイル）と対照して、それぞれ、基本層及び強化層に対して相対コストＣ_１及びＣ_２を表す。下部のグラフは、ＡＶＣサイマルキャスト符号化と対照して相対ゲインＧ_２を示す。

コストの図は、非スケーラブル符号化と比較してＳＶＣの非効率を表す。最初のグラフから分かるように、基本層が単独で最適化されるため、ボトムアップ符号化の性能は、基本層に対する非スケーラブル符号化にほぼ等しい（コスト約０％）。一方、強化層のコストは約２０％である。新しい手法を使用すると、強化層のコストは約１０％に大幅に減少し、増加した基本層のコスト（約２０％）のコストに到達する。

非常に所望される機能であるより高い強化層符号化効率を提供することに加え、新しい手法では、ボトムアップ手法よりも符号化の複雑さが低減される。

符号器３０を含む本発明に係る物理エンティティは、物理エンティティ上で実行される場合に本発明の実施形態に係るステップ及び手順が実行されるように命令を含むコンピュータプログラムを備えてもよく又は格納してもよい。更に本発明は、本発明に係る方法を実行するそのようなコンピュータプログラム及び本発明に係る方法を実行するコンピュータプログラムを格納するあらゆるコンピュータ可読媒体に関する。

「予測符号化パラメータ生成部」、「第１の層予測実行部」、「第１の層残差生成部」、「第１の層表現符号化部」、「第２の層予測実行部」、「第２の層表現符号化部」及び「第２の層残差生成部」という用語が本明細書で使用される場合、これらの処理部が分散される方法及び統合される方法に関して制限はない。すなわち、処理部の構成要素は、所期の機能を誘発する種々のソフトウェア構成要素又はハードウェア構成要素、あるいはソフトウェアデバイス又はハードウェアデバイスに分散されてもよい。複数の別個の処理部は、所期の機能性を提供するために更に統合されてもよい。同じことが、図１０に示された全ての処理部（すなわち、ラベルを有する全てのボックス）に当てはまる。

サーバの上記の処理部のうちのいずれか１つ又はネットワークノードは、ハードウェア、ソフトウェア、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又はファームウェア等で実現されてもよい。

本発明の更なる実施形態において、上述の及び／又は請求される予測符号化パラメータ生成部、第１の層予測実行部、第１の層残差生成部、第１の層表現符号化部、第２の層予測実行部、第２の層表現符号化部及び第２の層残差生成部のうちのいずれか１つは、予測符号化パラメータ生成部、第１の層予測実行部、第１の層残差生成部、第１の層表現符号化部、第２の層予測実行部、第２の層表現符号化部及び第２の層残差生成部の機能を実行する予測符号化パラメータ生成手段、第１の層予測実行手段、第１の層残差生成手段、第１の層表現符号化手段、第２の層予測実行手段、第２の層表現符号化手段及び第２の層残差生成手段のそれぞれ又は予測符号化パラメータ生成器、第１の層予測実行器、第１の層残差生成器、第１の層表現符号器、第２の層予測実行器、第２の層表現符号器及び第２の層残差生成器のそれぞれにより置換される。

本発明の更なる実施形態において、上述のステップのうちのいずれか１つは、例えばコンピュータが理解できる手順又は方法等、あらゆる種類のコンピュータ言語、及び／あるいはファームウェア上の組込みソフトウェア又は集積回路等の形態のコンピュータ可読命令を使用して実現されてもよい。

詳細な例に基づいて本発明を説明したが、詳細な例は、当業者により適切な理解を提供するためだけのものであり、本発明の範囲を限定することを意図しない。本発明の範囲は、添付の請求の範囲により規定される。

Claims (23)

1. ビデオシーケンス（１０）をビットストリーム（２０）に符号化するスケーラブルビデオ符号化方法であって、結果として得られる前記ビットストリーム（２０）が少なくとも前記ビデオシーケンス（１０）の第１の層表現（２０_１）及び第２の層表現（２０_２）に分割可能であり、前記第２の層表現（２０_２）が前記第１の層表現（２０_１）と比較して強化された空間分解能又は品質分解能を有し、前記方法は、
   再構成された前記第２の層表現（２０_２）における既に再構成された画素（１４）を使用して前記ビデオシーケンス（１０）の画像の少なくとも１つの領域（１６）の前記第２の層表現（２０_２）について予測符号化パラメータを生成するステップ（ｓ１）と、
   第１の層予測信号と呼ぶところの予測信号を生成するために、前記予測符号化パラメータ及び前記再構成された第２の層表現（２０_２）における前記既に再構成された画素（１４）を使用して前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）の前記第１の層表現（２０_１）について予測を実行するステップ（ｓ２）と、
   前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）と前記第１の層予測信号との差に基づいて、第１の層残差と呼ぶところの残差を生成するステップ（ｓ３）と、
   前記第１の層表現（２０_１）の少なくとも一部として前記予測符号化パラメータ及び前記第１の層残差を符号化するステップ（ｓ４）と、
   を備えることを特徴とするスケーラブルビデオ符号化方法。
2. 前記第１の層予測信号を生成するために予測を実行するステップ（ｓ２）は、動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行するステップを含むことを特徴とする請求項１記載の方法。
3. 望遠指示と呼ぶところの指示を前記第２の層表現（２０_２）の少なくとも一部として符号化するステップ（ｓ５）を更に備え、
   前記望遠指示は、復号化時に、前記第１の層表現（２０_１）と関連付けられた前記予測符号化パラメータが前記第２の層表現（２０_２）についても使用されるべきことを示すことを特徴とする請求項１又は２記載の方法。
4. 前記第２の層表現（２０_２）の少なくとも一部として符号化するステップ（ｓ５）は、インタ層予測残差指示と呼ぶところの指示を符号化するステップを含み、
   前記インタ層予測残差指示は、復号化時に、前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）と第２の層予測信号との差を近似する、第２の層残差と呼ぶところの残差を生成するために前記第１の層残差を使用すべきことを示すことを特徴とする請求項３記載の方法。
5. 第２の層予測信号と呼ぶところの予測信号を生成するために、前記予測符号化パラメータ及び前記再構成された第２の層表現（２０_２）における既に再構成された画素（１４）を使用して、前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）の前記第２の層表現（２０_２）について予測を実行するステップ（ｓ６）と、
   前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）と前記第２の層予測信号との差に基づいて第２の層残差と呼ぶところの残差を生成するステップ（ｓ７）とを更に備え、
   前記第２の層表現（２０_２）の少なくとも一部として符号化するステップ（ｓ５）は、前記第２の層残差を符号化するステップを含むことを特徴とする請求項３又は４記載の方法。
6. 前記第２の層予測信号を生成するために予測を実行するステップ（ｓ６）は、動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行するステップを含むことを特徴とする請求項５記載の方法。
7. 予測符号化パラメータを生成するステップ（ｓ１）は、
   インタ符号化技術及びイントラ符号化技術のうちの少なくとも１つを選択するステップと、
   前記選択するステップに応じて、
   インタ符号化技術が選択された場合のインタ符号化パラメータ及びイントラ符号化技術が選択された場合のイントラ符号化パラメータのうちの少なくとも１つを生成するステップと、
   を含むことを特徴とする請求項１から６のいずれか１項に記載の方法。
8. 予測符号化パラメータを生成するステップ（ｓ１）及び前記第１の層残差を生成するステップ（ｓ３）は、前記第２の層表現に関して最適化されることを特徴とする請求項１から７のいずれか１項に記載の方法。
9. 前記第２の層表現（２０_２）は前記第１の層表現（２０_１）と比較して強化された空間分解能を有し、
   前記第１の層予測信号を生成するために予測を実行するステップ（ｓ２）は、前記予測符号化パラメータ及び前記再構成された第２の層表現（２０_２）における既に再構成された画素をダウンサンプルした後、前記予測符号化パラメータ及び前記再構成された第２の層表現（２０_２）の前記既に再構成された画素を使用して実行されることを特徴とする請求項１から８のいずれか１項に記載の方法。
10. 前記第２の層表現（２０_２）は前記第１の層表現（２０_１）と比較して強化された品質分解能を有し、
    前記第１の層予測信号を生成するために予測を実行するステップ（ｓ２）は、前記予測符号化パラメータを全く変更せずに使用して実行されることを特徴とする請求項１から６のいずれか１項に記載の方法。
11. 予測符号化パラメータを生成するステップ（ｓ１）は、
    少なくともインタ符号化技術を選択するステップと、
    前記ビデオシーケンス（１０）の画像の前記少なくとも１つの領域（１６）がＢスライスとして予測的に符号化されるような方法で少なくともインタ符号化パラメータを生成するステップと、
    を含むことを特徴とする請求項１から１０のいずれか１項に記載の方法。
12. ビデオシーケンス（１０）をビットストリーム（２０）に符号化するように構成されたスケーラブルビデオ符号器（３０）であって、結果として得られる前記ビットストリーム（２０）が少なくとも前記ビデオシーケンス（１０）の第１の層表現（２０_１）及び第２の層表現（２０_２）に分割可能であり、前記第２の層表現（２０_２）が前記第１の層表現（２０_１）と比較して強化された空間分解能又は品質分解能を有する符号器（３０）が、
    再構成された第２の層表現における既に再構成された画素を使用して前記ビデオシーケンスの画像の少なくとも１つの領域の前記第２の層表現について予測符号化パラメータを生成するように構成された予測符号化パラメータ生成部（３１）と、
    第１の層予測信号と呼ぶところの予測信号を生成するために、前記予測符号化パラメータ及び前記再構成された第２の層表現における既に再構成された画素を使用して、前記ビデオシーケンスの画像の前記少なくとも１つの領域の前記第１の層表現について予測を実行するように構成された第１の層予測実行部（３２）と、
    前記ビデオシーケンスの画像の前記少なくとも１つの領域と前記第１の層予測信号との差に基づいて第１の層残差と呼ぶところの残差を生成するように構成された第１の層残差生成部（３３）と、
    前記第１の層表現の少なくとも一部として前記予測符号化パラメータ及び前記第１の層残差を符号化するように構成された第１の層表現符号化部（３４）と、
    を備えることを特徴とするスケーラブルビデオ符号器（３０）。
13. 前記第１の層予測信号を生成するために予測を実行するように構成された前記第１の層予測実行部（３２）は、動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行するように構成されることを特徴とする請求項１２記載のスケーラブルビデオ符号器（３０）。
14. 望遠指示と呼ぶところの指示を前記第２の層表現の少なくとも一部として符号化するように構成された第２の層表現符号化部を更に備え、
    前記望遠指示は、復号化時に、前記第１の層表現と関連付けられた前記予測符号化パラメータが前記第２の層表現についても使用されるべきことを示すことを特徴とする請求項１２又は１３記載のスケーラブルビデオ符号器（３０）。
15. 前記第２の層表現符号化部は、インタ層予測残差指示と呼ぶところの指示を符号化するように更に構成され、
    前記インタ層予測残差指示は、復号化時に、前記ビデオシーケンスの画像の前記少なくとも１つの領域と第２の層予測信号との差を近似する、第２の層残差と呼ぶところの残差を生成するために前記第１の層残差を使用すべきことを示すことを特徴とする請求項１４記載のスケーラブルビデオ符号器（３０）。
16. 第２の層予測信号と呼ぶところの予測信号を生成するために前記予測符号化パラメータ及び前記再構成された第２の層表現における既に再構成された画素を使用して、前記ビデオシーケンスの画像の前記少なくとも１つの領域の前記第２の層表現について予測を実行するように構成された第２の層予測実行部と、
    前記ビデオシーケンスの画像の前記少なくとも１つの領域と前記第２の層予測信号との差に基づいて第２の層残差と呼ぶところの残差を生成するように構成された第２の層残差生成部とを更に備え、
    前記第２の層表現符号化部は、前記第２の層残差を符号化するように更に構成されたことを特徴とする請求項１４又は１５記載のスケーラブルビデオ符号器（３０）。
17. 前記第２の層予測実行部は、動き補償予測、イントラ符号化予測及び不一致補償予測のうちの少なくとも１つを実行するように構成された前記第２の層予測信号を生成するために予測を実行するように構成されたことを特徴とする請求項１４から１６のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
18. 前記予測符号化パラメータ生成部（３１）は、
    インタ符号化技術及びイントラ符号化技術のうちの少なくとも１つを選択し、
    前記選択に応じて、
    インタ符号化技術が選択された場合のインタ符号化パラメータ及びイントラ符号化技術が選択された場合のイントラ符号化パラメータのうちの少なくとも１つを生成する
    ように構成されたことを特徴とする請求項１２から１７のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
19. 前記予測符号化パラメータ生成部（３１）及び前記第１の層残差生成部（３３）は、前記第２の層表現に関して最適化されることを特徴とする請求項１２から１８のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
20. 前記第２の層表現は前記第１の層表現と比較して強化された空間分解能を有し、
    前記第１の層予測実行部（３２）は、前記予測符号化パラメータ及び前記再構成された第２の層表現における既に再構成された画素をダウンサンプルした後、前記予測符号化パラメータ及び前記再構成された第２の層表現の前記既に再構成された画素を使用するように構成されたことを特徴とする請求項１２から１９のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
21. 前記第２の層表現は前記第１の層表現と比較して強化された品質分解能を有し、
    前記第１の層予測実行部（３２）は、前記予測符号化パラメータを全く変更せずに使用するように構成されたことを特徴とする請求項１２から１７のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
22. 前記予測符号化パラメータ生成部（３１）は、
    少なくともインタ符号化技術を選択し、
    前記ビデオシーケンスの画像の前記少なくとも１つの領域がＢスライスとして予測的に符号化されるような方法で少なくとも１つのインタ符号化パラメータを生成するように構成されたことを特徴とする請求項１２から２１のいずれか１項に記載のスケーラブルビデオ符号器（３０）。
23. 符号器（３０）上で実行される場合に前記符号器（３０）に請求項１から１１のいずれか１項に記載の方法を実行させるコンピュータプログラム。

Images