JP2024513978A - クロス成分サンプル適応オフセットの符号化拡張 - Google Patents

Abstract

映像データを復号する方法を電子装置が実行する。本方法は、階層構造を持つ映像ビットストリームから、階層構造の第１のレベルに関連する第１のシンタックス要素を受け取ることと、クロス成分サンプル適応オフセット（ＣＣＳＡＯ）フィルタ情報が第１のレベルに存在することを第１のシンタックス要素が示すとの判断にしたがって、共同でＣＣＳＡＯフィルタ情報にしたがって、第１のレベルの下の１つ以上の領域を映像ビットストリームから再構成することと、ＣＣＳＡＯフィルタ情報が第１のレベルに存在しないことを第１のシンタックス要素が示すとの判断にしたがって、階層構造の第２のレベルに存在するＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を映像ビットストリームから再構成することとを含む。

Description

関連出願
本出願は２０２１年４月１４日に出願され、名称が「Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ」である米国仮特許出願第６３／１７４，９２０号の優先権を主張する。本米国仮特許出願の全体が参照により援用される。

本出願は概して映像符号化及び圧縮に関し、より特に、ルマ符号化効率とクロマ符号化効率との両方の改善に関する方法及び装置に関する。

デジタル映像がデジタルデジタルテレビ、ラップトップコンピュータやデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーム機、スマートフォン、テレビ会議デバイス、映像ストリーミングデバイスなどの様々な電子デバイスによってサポートされている。電子デバイスは映像圧縮／解凍規格を実施することによってデジタル映像データの送信、受信、符号化、復号及び／又は記憶を行なう。いくつかの公知の映像符号化規格にはＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ 別称Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ ２）とＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ 別称Ｈ．２６４又はＭＰＥＧ－４ Ｐａｒｔ １０）が含まれ、これらはＩＳＯ／ＩＥＣ ＭＰＥＧとＩＴＵ－Ｔ ＶＣＥＧとによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）がこれの前の規格ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＳ）はデジタル音声及びデジタル映像の圧縮規格を指すものであり、Ａｕｄｉｏ ａｎｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ Ｗｏｒｋｇｒｏｕｐによって開発された別の映像圧縮規格群である。

通常、映像圧縮は、空間的（フレーム内）予測及び／又は時間的（フレーム間）予測を実行して映像データに内在する冗長性を抑えたり解消したりすることを含む。ブロックを用いた映像符号化では、映像フレームは１つ以上のスライスに分割され、各スライスは複数の映像ブロックを有し、これをコーディングツリーユニット（ＣＴＵ）とも称する場合がある。各ＣＴＵは１つのコーディングユニット（ＣＵ）を含んでもよいし、所定の最小ＣＵサイズに達するまでより小さいＣＵに再帰的に分割されてもよい。各ＣＵ（別称：リーフＣＵ）は１つ以上のｔｒａｎｓｆｏｒｍ ｕｎｉｔ（ＴＵ）を含み、また、各ＣＵは１つ以上のｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ（ＰＵ）も含む。各ＣＵをイントラモード、インタモード及びＩＢＣモードのいずれかで符号化することができる。映像フレームのイントラ符号化（Ｉ）されたスライス中の映像ブロックについては、同じ映像フレーム内の近隣のブロック中の参照サンプルに対して空間的予測を用いて符号化する。映像フレームのインタ符号化（Ｐ又はＢ）されたスライス中の映像ブロックについては、同じ映像フレーム内の近隣のブロック中の参照サンプルに対して空間的予測を用いてもよいし、他の以前の参照映像フレーム及び／又は未来の参照映像フレーム中の参照サンプルに対する時間的予測を用いてもよい。

以前に符号化された参照ブロック、たとえば近隣のブロックに基づいて空間的予測又は時間的予測を行なうと、符号化される現在の映像ブロックの予測ブロックが得られる。参照ブロックを探索するプロセスをブロック照合アルゴリズムによって実現する場合がある。符号化される現在のブロックと予測ブロックとの画素の差分を表わす残差データを残差ブロック又は予測誤差と称する。予測ブロックを形成する参照フレーム中の参照ブロックを指し示す動きベクトルと、残差ブロックとにしたがってインタ符号化されたブロックを符号化する。動きベクトルを判定するプロセスは一般的には動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）と称される。イントラ予測モードと残差ブロックとにしたがってイントラ符号化されたブロックを符号化する。さらに圧縮するために、残差ブロックを画素ドメインから変換ドメイン、たとえば周波数ドメインに変換し、この結果、残差変換係数が得られ、その後、これは量子化される場合がある。量子化された変換係数は二次元配列で初期配置されており、これをスキャンして変換係数の一次元ベクトルを生成する場合があり、その後、エントロピ符号化して映像ビットストリームにし、より強力な圧縮を実現する。

その後、符号化された映像ビットストリームを、デジタル映像機能を持つ別の電子デバイスによってアクセスされたり電子デバイスに有線又は無線で直接送信されたりするコンピュータ可読記憶媒体（たとえばフラッシュメモリ）に記憶する。その後、たとえば、符号化された映像ビットストリームをパースしてビットストリームからシンタックス要素を取得し、ビットストリームから取得されるシンタックス要素に少なくとも部分的に基づいて、符号化された映像ビットストリームから、デジタル映像データをその元のフォーマットに再構成することによって電子デバイスで映像解凍（上述の映像圧縮の逆のプロセスである）を実行し、再構成されたデジタル映像データを電子デバイスのディスプレイに描画する。

デジタル映像品質がハイディフィニションから４Ｋ×２Ｋ、さらには８Ｋ×４Ｋになると、符号化／復号される映像データの量が指数関数的に増大する。これは、復号された映像データの画質を維持しつつ、映像データをどのようにしてより効率的に符号化／復号することができるのかという点で常に課される問題である。

本出願では、映像データ符号化及び復号に関する実現例を説明し、特に、ルマ成分とクロマ成分とのクロス成分関係を調べることによる符号化効率の改善を含む、ルマ成分とクロマ成分との両方の符号化効率の改善に関する方法及び装置に関する実現例を説明する。

本出願の第１の態様に係れば、映像データを復号する方法は、階層構造を持つ映像ビットストリームから、階層構造の第１のレベルに関連する第１のシンタックス要素を受け取ることと、クロス成分サンプル適応オフセット（ＣＣＳＡＯ）フィルタ情報が第１のレベルに存在することを第１のシンタックス要素が示すとの判断にしたがって、共同でＣＣＳＡＯフィルタ情報にしたがって、第１のレベルの下の１つ以上の領域を映像ビットストリームから再構成することと、ＣＣＳＡＯフィルタ情報が第１のレベルに存在しないことを第１のシンタックス要素が示すとの判断にしたがって、階層構造の第２のレベルに存在するＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を映像ビットストリームから再構成することとを含む。

いくつかの実施形態では、映像ビットストリームは第１の成分と第２の成分とを備え、ＣＣＳＡＯフィルタ情報にしたがって１つ以上の領域を映像ビットストリームから再構成することは、適用されているＣＣＳＡＯフィルタに応じて、ＣＣＳＡＯフィルタ情報にしたがって、第２の成分のそれぞれのサンプルに関連する第１の成分の１つ以上のサンプルの集合から第２の成分の分類子を判定することと、分類子にしたがって映像ビットストリームの１つ以上の領域のうちの領域内の第２の成分のそれぞれのサンプルの値を修正するか否かを判断することと、分類子にしたがって領域内の第２の成分のそれぞれのサンプルの値を修正するとの判断に応じて、分類子にしたがって第２の成分のそれぞれのサンプルのサンプルオフセットを判定することと、判定されたサンプルオフセットに基づいて第２の成分のそれぞれのサンプルの値を修正することとを含む。

本出願の第２の態様に係れば、電子装置が１つ以上の処理部と、メモリと、メモリに記憶される複数のプログラムとを含む。プログラムは、１つ以上の処理部によって実行されるとき、上述されている、映像信号を符号化する方法を電子装置に実行させる。

本出願の第３の態様に係れば、１つ以上の処理部を有する電子装置によって実行される複数のプログラムを非一時的コンピュータ可読記憶媒体が記憶する。プログラムは、１つ以上の処理部によって実行されるとき、上述されている、映像信号を符号化する方法を電子装置に実行させる。

本出願の第４の態様に係れば、上述されている映像符号化方法によって生成された映像情報を備えるビットストリームをコンピュータ可読記憶媒体が記憶している。

上記の概略的な説明と以下の詳細な説明との両方は例にすぎず、本開示に限定を課すものではないことが分かる。

実現例のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、説明されている実現例を示し、説明とともに基礎となる原理を説明するのに用いられるものである。同様の参照番号は対応する部分を指す。

本開示のいくつかの実現例に係る典型的な映像符号化システム及び映像復号システムを示すブロック図である。

本開示のいくつかの実現例に係る典型的な映像エンコーダを示すブロック図である。

本開示のいくつかの実現例に係る典型的な映像デコーダを示すブロック図である。

本開示のいくつかの実現例に係る、フレームが異なるサイズ及び形状の複数の映像ブロックに再帰的に分割される仕方を示すブロック図である。 本開示のいくつかの実現例に係る、フレームが異なるサイズ及び形状の複数の映像ブロックに再帰的に分割される仕方を示すブロック図である。 本開示のいくつかの実現例に係る、フレームが異なるサイズ及び形状の複数の映像ブロックに再帰的に分割される仕方を示すブロック図である。 本開示のいくつかの実現例に係る、フレームが異なるサイズ及び形状の複数の映像ブロックに再帰的に分割される仕方を示すブロック図である。 本開示のいくつかの実現例に係る、フレームが異なるサイズ及び形状の複数の映像ブロックに再帰的に分割される仕方を示すブロック図である。

本開示のいくつかの実現例に係る画素適応オフセット（ＳＡＯ）で用いられる４つの傾斜パターンを示すブロック図である。

本開示のいくつかの実現例に係る、クロマサンプルに適用され、入力としてＤＢＦ Ｙを用いるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係る、ルマサンプル及びクロマサンプルに適用され、入力としてＤＢＦ Ｙ／Ｃｂ／Ｃｒを用いるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係る、独立して動作ことができるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係る、同じオフセット又は異なるオフセットを用いて再帰的（２回又はＮ回）に適用されることが可能であるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係るＡＶＳ規格の拡張画素適応オフセット（ＥＳＡＯ）とパラレルに適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係る、ＳＡＯの後に適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係れば、ＣＣＳＡＯのシステム及びプロセスがＣＣＡＬＦを用いずに独立して動作することができることを示すブロック図である。

本開示のいくつかの実現例に係るクロス成分適応ループフィルタ（ＣＣＡＬＦ）とパラレルに適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

本開示のいくつかの実現例に係るＣＣＳＡＯを用いるサンプルプロセスを示すブロック図である。

本開示のいくつかの実現例に係る、ＣＣＳＡＯプロセスが垂直及び水平デブロッキングフィルタ（ＤＢＦ）にインターリーブされることを示すブロック図である。

本開示のいくつかの実現例に係る、クロス成分相関を用いて映像信号を復号する典型的なプロセスを示すフローチャートである。

本開示のいくつかの実現例に係る、Ｃ０分類に異なるルマ（又はクロマ）サンプル位置を用いる分類子を示すブロック図である。

本開示のいくつかの実現例に係る、ルマ候補の異なる形状のいくつかの例を示す。

本開示のいくつかの実現例に係る、同一位置にあるルマ／クロマサンプル及び近隣のルマ／クロマサンプルのすべてをＣＣＳＡＯ分類に入れることができることを示すサンプルプロセスのブロック図である。

本開示のいくつかの実現例に係る、同一位置にあるルマサンプル値を同一位置にあるルマサンプル及び近隣のルマサンプルに重み付けすることによって得られる値と置換することを用いる典型的な分類子を示す。

本開示のいくつかの実現例に係る、分類に用いられる同一位置にあるルマ（クロマ）サンプル及び近隣のルマ（クロマ）サンプルのいずれかが現在のピクチャの外側にある場合にＣＣＳＡＯが現在のクロマ（ルマ）サンプルに適用されないことを示すブロック図である。

本開示のいくつかの実現例に係る、分類に用いられる同一位置にあるルマサンプル又はクロマサンプル及び近隣のルマサンプル又はクロマサンプルのいずれかが現在のピクチャの外側にある場合にＣＣＳＡＯが現在のルマサンプル又は現在のクロマサンプルに適用されることを示すブロック図である。

本開示のいくつかの実現例に係れば、分類に用いられる、現在のクロマサンプルに対応する選択された同一位置にあるルマサンプル又は近隣のルマサンプルが仮想境界（ＶＢ）によって定められた仮想空間の外側にある場合、現在のクロマサンプルにＣＣＳＡＯが適用されないことを示すブロック図である。

本開示のいくつかの実現例に係る、仮想境界の外側にあるルマサンプルに反復パディング又はミラーパディングが適用されることを示す。

本開示のいくつかの実現例に係れば、９つの同一位置にあるルマサンプル及び近隣のルマサンプルのすべてが分類に用いられる場合、さらに１つのルマラインバッファが必要であることを示す。

本開示のいくつかの実現例に係れば、９つのルマ候補のＣＣＳＡＯがＶＢを横切ることでさらに２つのルマラインバッファが増える場合があるというＡＶＳの図を示す。

本開示のいくつかの実現例に係る、９つのルマ候補のＣＣＳＡＯがＶＢを横切ることでさらに１つのルマラインバッファが増える場合があるというＶＶＣの図を示す。

本開示のいくつかの実現例に係れば、同一位置にあるクロマサンプル又は近隣のクロマサンプルが現在のルマサンプルを分類するのに用いられる場合、選択されたクロマ候補がＶＢを越えている場合があり、追加のクロマラインバッファが必要である場合があるという図を示す。

本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ＣＣＳＡＯがクロマサンプルに対して無効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ＣＣＳＡＯがクロマサンプルに対して無効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ＣＣＳＡＯがクロマサンプルに対して無効にされることを示す。

本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、反復パディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、反復パディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、反復パディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。

本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ミラーパディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ミラーパディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。 本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ミラーパディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。

本開示のいくつかの実現例に係れば、異なるＣＣＳＡＯサンプル形状に両側対称パディングを用いてＣＣＳＡＯが有効にされることを示す。 本開示のいくつかの実現例に係れば、異なるＣＣＳＡＯサンプル形状に両側対称パディングを用いてＣＣＳＡＯが有効にされることを示す。

本開示のいくつかの実現例に係る限られた個数のルマ候補を分類に用いる限定を示す。

本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域がコーディングツリーブロック（ＣＴＢ）／コーディングツリーユニット（ＣＴＵ）境界と揃わないことを示す。

本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域のフレームの分割を、ＣＣＳＡＯパラメータを用いて変更しないようにすることができることを示す。

本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域をフレーム／スライス／ＣＴＢレベルから二分木（ＢＴ）分割／四分木（ＱＴ）分割／三分木（ＴＴ）分割することができることを示す。

本開示のいくつかの実現例に係れば、ピクチャフレーム内で複数の分類子が用いられ、異なるレベルで変更されることを示すブロック図である。

本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域の分割が動的な分割であり、ピクチャレベルで変更されることが可能であることを示すブロック図である。

、本開示のいくつかの実現例に係れば、ＣＣＳＡＯ分類子について現在の符号化情報又はクロス成分符号化情報を考慮に入れることができることを示す図である。

本開示のいくつかの実現例に係れば、本開示で開示されているＳＡＯ分類方法が予測後フィルタとして用いられることを示すブロック図である。

本開示のいくつかの実現例に係れば、予測後ＳＡＯフィルタについて成分毎に現在のサンプル及び近隣のサンプルを分類に用いることができることを示すブロック図である。

本開示のいくつかの実現例に係るクロス成分相関を用いて映像信号を復号する典型的なプロセスを示すフローチャートである。

本開示のいくつかの実現例に係るユーザインタフェイスに接続されたコンピューティング環境を示す図である。

以下、具体的な実現例について詳細に言及し、その例を添付の図面に示す。以下の詳細な説明では、本出願で示されている保護対象の理解の一助にするべく、限定を課さない多数の具体的な詳細を説明している。ただし、請求項の範囲を逸脱しない限りにおいて様々な変形を用いてもよく、このような具体的な詳細がなくても保護対象を実施することができることは当業者であれば明らかである。たとえば、本出願で示されている保護対象をデジタル映像機能を持つ多くの種類の電子デバイスで実施することができることは当業者であれば明らかである。

第１世代ＡＶＳ規格には中国国家規格「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｐａｒｔ ２：Ｖｉｄｅｏ」（ＡＶＳ１として公知）及び「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｐａｒｔ １６：Ｒａｄｉｏ Ｔｅｌｅｖｉｓｉｏｎ Ｖｉｄｅｏ」（ＡＶＳ＋として公知）が含まれる。この規格によりＭＰＥＧ－２規格と比較して同じ知覚的品質で約５０％のビットレート節減を実現することができる。第２世代ＡＶＳ規格には一連の中国国家規格「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｄｉｎｇ」（ＡＶＳ２として認識）が含まれ、主にｅｘｔｒａ ＨＤテレビ番組の伝送を対象にしている。ＡＶＳ２の符号化効率はＡＶＳ＋の符号化効率の２倍である。その一方で、ＡＶＳ２規格の映像部分が用途の国際規格の１つとしてＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって提示された。ＡＶＳ３規格は最新の国際規格ＨＥＶＣの符号化効率を凌ぐことを目指すＵＨＤ映像用途の新世代映像符号化規格の１つであり、これによりＨＥＶＣ規格を超える約３０％のビットレート節減が実現される。２０１９年３月の第６８回ＡＶＳ会議でＡＶＳ３－Ｐ２ ｂａｓｅｌｉｎｅが完成した。これにより、ＨＥＶＣ規格を超える約３０％のビットレート節減が実現される。現在では、ハイパフォーマンスモデル（ＨＰＭ）と呼ばれる参考ソフトウェアの１つがＡＶＳグループによって管理され、ＡＶＳ３規格の参考実装が示されている。ＨＥＶＣのようにＡＶＳ３規格はブロックを用いた複合映像符号化フレームワーク上に構築される。

図１は本開示のいくつかの実現例に係るパラレルに映像ブロックの符号化及び復号を行なう典型的なシステム１０を示すブロック図である。図１に示されているように、システム１０は、送信先デバイス１４によってその後に復号される映像データを生成して符号化する送信元デバイス１２を含む。送信元デバイス１２及び送信先デバイス１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーム機、映像ストリーミングデバイスなどを含む多種多様な電子デバイスのいずれも備えてもよい。いくつかの実現例では、送信元デバイス１２及び送信先デバイス１４には無線通信機能が装備されている。

いくつかの実現例では、復号されることになる符号化された映像データをリンク１６を介して送信先デバイス１４が受信してもよい。リンク１６が、送信元デバイス１２から送信先デバイス１４に符号化された映像データを移動させることができるあらゆる種類の通信媒体やデバイスを備えてもよい。一例では、リンク１６が、送信元デバイス１２が符号化された映像データを直接送信先デバイス１４にリアルタイムで送信するのを可能にする通信媒体を備えてもよい。符号化された映像データを無線通信プロトコルなどの通信規格にしたがって変調して送信先デバイス１４に送信してもよい。通信媒体は高周波（ＲＦ）スペクトルや１つ以上の物理的な伝送線などのあらゆる無線通信媒体又は有線通信媒体を備えてもよい。通信媒体はローカルエリアネットワーク、ワイドエリアネットワークやインタネットのようなグローバルネットワークなど、パケットを用いたネットワークの一部をなしてもよい。通信媒体はルータ、スイッチ、基地局や、送信元デバイス１２から送信先デバイス１４への通信を容易にするのに有用になり得るその他一切の機器を含んでもよい。

他の実現例では、符号化された映像データを出力インタフェイス２２から記憶デバイス３２に送信してもよい。その後、記憶デバイス３２中の符号化された映像データを入力インタフェイス２８を介して送信先デバイス１４がアクセスしてもよい。記憶デバイス３２はハードドライブ、Ｂｌｕ－ｒａｙ（登録商標） ｄｉｓｃ、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発メモリ又は不揮発メモリや、符号化された映像データを記憶するその他一切の適当なデジタル記憶媒体など、様々な分散型データ記憶媒体やローカルアクセス型データ記憶媒体のいずれも含んでもよい。さらに別の例では、記憶デバイス３２は送信元デバイス１２によって生成された符号化された映像データを保持することができるファイルサーバや別の中間記憶デバイスに対応してもよい。記憶デバイス３２から得られる記憶された映像データにストリーミングやダウンロードを介して送信先デバイス１４がアクセスしてもよい。ファイルサーバは符号化された映像データを記憶し、符号化された映像データを送信先デバイス１４に送信することができるあらゆる種類のコンピュータであってもよい。典型的なファイルサーバには、ウェブサーバ（たとえばウェブサイト用）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイスやローカルディスクドライブが含まれる。符号化された映像データに送信先デバイス１４があらゆる標準的なデータ接続を通じてアクセスしてもよく、このようなデータ接続は無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）や、ファイルサーバに記憶されている符号化された映像データにアクセスするのに適する無線チャンネルと有線接続との双方の組合せを含む。記憶デバイス３２からの符号化された映像データの伝送はストリーミング伝送、ダウンロード伝送や、これらの双方の組合せであってもよい。

図１に示されているように、送信元デバイス１２は映像源１８、映像エンコーダ２０及び出力インタフェイス２２を含む。映像源１８は映像撮像デバイス（たとえば映像カメラ）、以前に撮像された映像を収蔵する映像アーカイブ、映像コンテンツプロバイダから映像を受け取る映像供給インタフェイス及び／又はソース映像としてコンピュータグラフィックデータを生成するコンピュータグラフィックシステムや、このような映像源の組合せなどの映像源を含んでもよい。一例として、映像源１８が警備監視システムの映像カメラである場合、送信元デバイス１２及び送信先デバイス１４はカメラ付き携帯電話器又はテレビ電話器を形成してもよい。一方で、本出願で説明されている実現例はほとんどの映像符号化に適用可能であるといえ、無線用途及び／又は有線用途に適用することができる。

撮像されている映像、予め撮像された映像やコンピュータ生成映像を映像エンコーダ２０によって符号化してもよい。符号化された映像データを送信元デバイス１２の出力インタフェイス２２を介して直接送信先デバイス１４に送信してもよい。符号化された映像データを復号及び／又は再生を目的として送信先デバイス１４や他のデバイスによるその後のアクセスのために記憶デバイス３２に記憶することをさらに行なってもよい（あるいは、これを上記の代わりに行なってもよい）。出力インタフェイス２２はモデム及び／又は送信器をさらに含んでもよい。

送信先デバイス１４は入力インタフェイス２８、映像デコーダ３０及び表示デバイス３４を含む。入力インタフェイス２８は受信器及び／又はモデムを含んでもよく、リンク１６を用いて符号化された映像データを受信してもよい。リンク１６を用いて通信されたり記憶デバイス３２に設けられたりした符号化された映像データは、映像データを復号する際に映像デコーダ３０によって用いられる映像エンコーダ２０によって生成される様々なシンタックス要素を含んでもよい。このようなシンタックス要素を、通信媒体で送信される、記憶媒体に記憶される、又はファイルサーバに記憶される、符号化された映像データ中に含ませてもよい。

いくつかの実現例では、送信先デバイス１４は表示デバイス３４を含んでもよく、表示デバイス３４は一体型の表示デバイスであることが可能であり、また、送信先デバイス１４と通信するように構成される外部表示デバイスであることが可能である。表示デバイス３４は復号された映像データをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイや別の種類の表示デバイスなどの様々な表示デバイスのいずれを備えてもよい。

映像エンコーダ２０及び映像デコーダ３０はＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、ＡＶＳ又はこのような規格を拡張したものなどのプロプラエタリ規格や業界規格にしたがって動作してもよい。本出願が特定の映像符号化／復号規格に限定されず、他の映像符号化／復号規格に適用可能であってもよいことが当然分かる。多くの場合に、送信元デバイス１２の映像エンコーダ２０を映像データを符号化するように構成する際に、このような現行の規格や将来の規格のいずれにしたがって符号化してもよいことが分かる。同様に、多くの場合に、送信先デバイス１４の映像デコーダ３０を映像データを復号するように構成する際に、このような現行の規格や将来の規格のいずれにしたがって符号化してもよいことも分かる。

映像エンコーダ２０及び映像デコーダ３０の各々を１つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェアやこれらの任意の組合せなどの様々な適当なエンコーダ回路のいずれとしても実施してもよい。ソフトウェアで部分的に実施される場合、電子デバイスでは、適当な非一時的コンピュータ可読媒体にソフトウェアに対する指示を記憶し、指示を１つ以上のプロセッサを用いるハードウェアで実行して本開示で開示されている映像符号化／復号動作を実行してもよい。映像エンコーダ２０及び映像デコーダ３０の各々を１つ以上のエンコーダ又はデコーダに含ませてもよく、これらのいずれかを複合型のｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ（ＣＯＤＥＣ）の一部としてそれぞれのデバイスに組み込んでもよい。

図２は本出願で説明されているいくつかの実現例に係る典型的な映像エンコーダ２０を示すブロック図である。映像エンコーダ２０は映像フレーム内の映像ブロックのイントラ予測符号化及びインタ予測符号化を行なってもよい。イントラ予測符号化は空間的予測に依拠し、与えられた映像フレームやピクチャ内の映像データの空間的冗長性を抑えたり解消したりする。インタ予測符号化は時間的予測に依拠し、映像シーケンスの隣接する映像フレームやピクチャ内の映像データの時間的冗長性を抑えたり解消したりする。

図２に示されているように、映像エンコーダ２０は映像データメモリ４０、予測処理部４１、復号ピクチャバッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ：ＤＰＢ）６４、加算器５０、変換処理部５２、量子化部５４及びエントロピ符号化部５６を含む。予測処理部４１は動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実現例では、映像エンコーダ２０は映像ブロック再構成に用いられる逆量子化部５８、逆変換処理部６０及び加算器６２も含む。ブロック境界にフィルタリングを行なって、再構成された映像からブロック状のアーティファクトを除去するために加算器６２とＤＰＢ６４との間にデブロッキングフィルタなどのループ内フィルタ６３を配置してもよい。加算器６２の出力にフィルタリングを行なうためにデブロッキングフィルタに加えて別のループ内フィルタ６３も用いてもよい。再構成されたＣＵが参照ピクチャ記憶箇所に入れられ、今後符号化される映像ブロックを符号化するのに参照として用いられる前に、再構成されたＣＵに、画素適応オフセット（ＳＡＯ）やアダプティブループ内フィルタ（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ：ＡＬＦ）などのさらに別のループ内フィルタ箇所６３を使用してもよい。映像エンコーダ２０はプログラム可能なハードウェア部位や固定のハードウェア部位の形態をとってもよいし、映像エンコーダ２０を図示されているプログラム可能なハードウェア部位や固定のハードウェア部位の１つ以上に分割してもよい。

映像データメモリ４０は映像エンコーダ２０の構成要素によって符号化される映像データを記憶してもよい。映像データメモリ４０の映像データをたとえば映像源１８から取得してもよい。ＤＰＢ６４は映像エンコーダ２０（たとえば、イントラ予測符号化モード又はインタ予測符号化モードのエンコーダ）によって映像データを符号化する際に用いられる参照映像データを記憶するバッファである。映像データメモリ４０及びＤＰＢ６４を様々なメモリデバイスのいずれによっても形成してもよい。様々な例では、映像データメモリ４０は映像エンコーダ２０の他の構成要素をともなうオンチップ型であってもよいし、当該構成要素との関係でオフチップ型であってもよい。

図２に示されているように、予測処理部４１中の分割部４５が映像データを受け取った後、映像データを映像ブロックに分割する。この分割は、映像データに関連する四分木構造などの所定の分割構造にしたがって映像フレームをスライス、タイルやその他より大きいコーディングユニット（ＣＵ）に分割するものも含んでもよい。映像フレームを複数の映像ブロック（又はタイルと称する映像ブロックの集合）に分割してもよい。予測処理部４１は、エラー結果（たとえば、符号レートや歪みのレベル）に基づいて現在の映像ブロックに対して、複数のイントラ予測符号化モードのうちの１つや複数のインタ予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してもよい。予測処理部４１は、得られたイントラ又はインタ予測により符号化されたブロックを加算器５０に提供して残差ブロックを生成し、得られたイントラ又はインタ予測により符号化されたブロックを加算器６２に提供してその後に参照フレームの一部として用いられる符号化されたブロックを再構成してもよい。予測処理部４１は動きベクトル、イントラモードインジケータ、分割情報やその他このようなシンタックス情報などのシンタックス要素をエントロピ符号化部５６に提供することも行なう。

現在の映像ブロックに対して適切なイントラ予測符号化モードを選択するために、予測処理部４１中のイントラ予測処理部４６は、符号化される現在のブロックとしての現在の映像ブロックのイントラ予測符号化を同じフレーム内の１つ以上の近隣のブロックに対して行なって空間的予測を実現してもよい。予測処理部４１中の動き推定部４２及び動き補償部４４は、現在の映像ブロックのインタ予測符号化を１つ以上の参照フレーム内の１つ以上の予測ブロックに対して行なって時間的予測を実現する。映像エンコーダ２０は複数の符号化の仕方を実行してもよく、たとえば、映像データのブロック毎に適切な符号化モードを選択してもよい。

いくつかの実現例では、動き推定部４２は映像フレームのシーケンス中の所定のパターンに応じて動きベクトルを生成することによって現在の映像フレームのインタ予測モードを決定する。動きベクトルは参照映像フレーム内の予測ブロックに対する現在の映像フレーム内の映像ブロックのｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ（ＰＵ）の変位を示す。動き推定部４２によって実行される動き推定は、映像ブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム（又は他の符号化された単位）内で符号化中である現在のブロックに対する参照フレーム（又は他の符号化された単位）内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのＰＵの変位を示してもよい。所定のパターンによってシーケンス中の映像フレームをＰフレーム又はＢフレームに指定してもよい。イントラＢＣ部４８では、インタ予測に用いられる動き推定部４２による動きベクトルの判定と同様の仕方で、イントラＢＣ符号化に用いられるベクトル、たとえばブロックベクトルを判定してもよいし、ブロックベクトルを判定するのに動き推定部４２を利用してもよい。

予測ブロックは、差分絶対値和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）、二乗誤差和（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）やその他差分指数によって判定してよい画素差分の観点から符号化される映像ブロックのＰＵとの合致度が高いと考えられる参照フレームのブロックである。いくつかの実現例では、映像エンコーダ２０ではＤＰＢ６４に記憶されている参照フレームの画素非整数個分の位置（ｓｕｂ－ｉｎｔｅｇｅｒ ｐｉｘｅｌ ｐｏｓｉｔｉｏｎｓ）の値を計算してもよい。たとえば、映像エンコーダ２０は参照フレームの画素１／４個分の位置、画素１／８個分の位置やその他画素１個分以下の位置の値を補間してもよい。したがって、動き推定部４２は画素１個まるまる分の位置と画素１個分以下の位置とに対して動き探索を行なうことができ、画素１個分以下の精度で動きベクトルを出力することができる。

動き推定部４２は、ＰＵの位置と第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置とを比較することによってインタ予測により符号化されたフレーム内の映像ブロックのＰＵの動きベクトルを計算する。リスト０及びリスト１の各々によってＤＰＢ６４に記憶されている１つ以上の参照フレームを特定する。動き推定部４２は計算された動きベクトルを動き補償部４４に送り、その後エントロピ符号化部５６に送る。

動き補償部４４によって行なわれる動き補償は動き推定部４２によって判定された動きベクトルに基づいて予測ブロックを取得したり生成したりすることを要してもよい。動き補償部４４は現在の映像ブロックのＰＵの動きベクトルを受け取ると、参照フレームリストのうちの１つ中で動きベクトルによって指し示される予測ブロックの位置を特定し、ＤＰＢ６４から予測ブロックを取得し、予測ブロックを加算器５０に転送してもよい。その後、加算器５０は符号化中の現在の映像ブロックの画素値から動き補償部４４によって提供された予測ブロックの画素値を差し引くことによって画素差分値の残差映像ブロックを形成する。残差映像ブロックを形成する画素差分値はルマ差分成分を含んでもよいし、クロマ差分成分を含んでもよいし、これらの両方を含んでもよい。動き補償部４４は映像フレームの映像ブロックを復号する際に、映像デコーダ３０によって用いられる、映像フレームの映像ブロックに関連するシンタックス要素を生成することも行なってもよい。シンタックス要素は、たとえば、予測ブロックを特定するのに用いられる動きベクトルを定めるシンタックス要素、予測モードを示す任意のフラグや、本出願で説明されているその他一切のシンタックス情報を含んでもよい。動き推定部４２と動き補償部４４とを一体化して一体化の度合いを高めてもよいことに留意する。なお、動き推定部４２と動き補償部４４とは概念上の目的で別々に図示されている。

いくつかの実現例では、イントラＢＣ部４８はベクトルを生成し、動き推定部４２及び動き補償部４４に関連して上述されているのと同様の仕方で予測ブロックを取得してもよい。ただし、予測ブロックは符号化中の現在のブロックと同じフレーム内にあり、動きベクトルに対して当該ベクトルをブロックベクトルと称する。特に、イントラＢＣ部４８は現在のブロックを符号化するのに用いられるイントラ予測モードを決定してもよい。いくつかの例では、イントラＢＣ部４８は様々なイントラ予測モードを用いて現在のブロックを符号化してもよく、たとえば、別々の符号化の仕方で行なう際に様々なイントラ予測モードを用いてもよく、そのパフォーマンスをレート歪み解析を通じて検証してもよい。次に、イントラＢＣ部４８は検証された様々なイントラ予測モードから、用いるのに適切なイントラ予測モードを選択し、これに応じてイントラモードインジケータを生成してもよい。たとえば、イントラＢＣ部４８は検証された様々なイントラ予測モードにレート歪み解析を用いてレート歪み値を計算し、検証されたモードから最良のレート歪み特性を、用いるのに適切なイントラ予測モードとして持つイントラ予測モードを選択してもよい。多くの場合、レート歪み解析は符号化されたブロックと、符号化されたブロックを生成するために過去に符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、並びに符号化されたブロックを生成するのに用いられるビットレート（すなわち、ビット数）を判定する。イントラＢＣ部４８は様々な符号化されたブロックの歪みとレートとから比率を計算してどのイントラ予測モードがブロックの最良のレート歪み値を示すのかを判定してもよい。

他の例では、イントラＢＣ部４８は動き推定部４２及び動き補償部４４の全体又は一部を用いて本出願で説明されている実現例に係るイントラＢＣ予測の上記のような機能を実行してもよい。いずれの場合でも、イントラブロックコピーでは、予測ブロックは、画素差分の点で符号化されるブロックとの合致度が高いと考えられるブロックであってもよい。これを差分絶対値和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）、二乗誤差和（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）やその他差分指数によって判定してもよい。予測ブロックの特定は画素非整数個分の位置の値の計算を含んでもよい。

予測ブロックがイントラ予測にしたがって同じフレームから得られるのか、インタ予測にしたがって異なるフレームから得られるのかにかかわらず、映像エンコーダ２０は符号化中の現在の映像ブロックの画素値から予測ブロックの画素値を差し引き、画素差分値を形成することによって残差映像ブロックを形成してもよい。残差映像ブロックを形成する画素差分値はルマ成分差分とクロマ成分差分との両方を含んでもよい。

イントラ予測処理部４６は現在の映像ブロックを、動き推定部４２及び動き補償部４４によって行なわれるインタ予測に代わるものとしてイントラ予測してもよいし、上述のようにイントラＢＣ部４８によって行なわれるイントラブロックコピー予測に代わるものとしてイントラ予測してもよい。特に、イントラ予測処理部４６は現在のブロックを符号化するのに用いられるイントラ予測モードを決定してもよい。これを行なうために、イントラ予測処理部４６は様々なイントラ予測モードを用いて現在のブロックを符号化してもよく、たとえば、別々の符号化の仕方で行なう際に様々なイントラ予測モードを用いてもよく、イントラ予測処理部４６（又は、いくつかの例では、モード選択部）は検証されたイントラ予測モードから、用いるのに適切なイントラ予測モードを選択してもよい。イントラ予測処理部４６はブロックに対して選択されたイントラ予測モードを示す情報をエントロピ符号化部５６に提供してもよい。エントロピ符号化部５６はビットストリーム中の選択されたイントラ予測モードを示す情報を符号化してもよい。

予測処理部４１がインタ予測かイントラ予測かのいずれかにより現在の映像ブロックに対する予測ブロックを判定した後、加算器５０が現在の映像ブロックから予測ブロックを差し引くことによって残差映像ブロックを形成する。残差ブロック中の残差映像データを１つ以上のｔｒａｎｓｆｏｒｍ ｕｎｉｔ（ＴＵ）に含ませてもよく、この残差映像データは変換処理部５２に提供される。変換処理部５２は残差映像データを残差変換係数に離散コサイン変換（ＤＣＴ）や概念的に同様の変換などの変換を用いて変換する。

変換処理部５２は得られた変換係数を量子化部５４に送ってもよい。量子化部５４は変換係数を量子化してビットレートをさらに削減する。量子化プロセスは係数の一部又は全部に関連するビット深度も削減してもよい。量子化の程度を量子化パラメータを調節することによって修正してもよい。いくつかの例では、その後、量子化部５４は量子化された変換係数を含む行列のスキャンを行なってもよい。これの代わりに、スキャンをエントロピ符号化部５６が行なってもよい。

量子化に続いて、エントロピ符号化部５６は量子化された変換係数を映像ビットストリームにエントロピ符号化する。たとえば、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ（ＣＡＶＬＣ）、ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＣＡＢＡＣ）、ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ（ＳＢＡＣ）、ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ（ＰＩＰＥ）符号化や、別のエントロピ符号化方法やエントロピ符号化技法を用いてエントロピ符号化する。その後、符号化されたビットストリームは映像デコーダ３０に送信されたり、その後に映像デコーダ３０に送信されたり映像デコーダ３０によって取得されたりするように記憶デバイス３２中でアーカイブ形式にされたりしてもよい。エントロピ符号化部５６は符号化中の現在の映像フレームの動きベクトルや他のシンタックス要素もエントロピ符号化してもよい。

逆量子化部５８及び逆変換処理部６０が逆量子化及び逆変換をそれぞれ行ない、他の映像ブロックの予測に用いられる参照ブロックを生成するために画素ドメインで残差映像ブロックを再構成する。上記されているように、動き補償部４４はＤＰＢ６４に記憶されているフレームの１つ以上の参照ブロックから、動き補償された予測ブロックを生成してもよい。動き補償部４４は１つ以上の補間フィルタを予測ブロックに適用して動き推定に用いられる画素非整数個分の値を計算することも行なってもよい。

動き補償部４４によって生成された動き補償された予測ブロックに再構成された残差ブロックを加算器６２が加算してＤＰＢ６４に記憶される参照ブロックを生成する。その後、参照ブロックを以降の映像フレーム内の別の映像ブロックをインタ予測する予測ブロックとしてイントラＢＣ部４８、動き推定部４２及び動き補償部４４が用いてもよい。

図３は本出願のいくつかの実現例に係る典型的な映像デコーダ３０を示すブロック図である。映像デコーダ３０は映像データメモリ７９、エントロピ復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０及びＤＰＢ９２を含む。さらに、予測処理部８１は動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５を含む。映像デコーダ３０は図２に関連して映像エンコーダ２０に関して上述されている符号化プロセスとほぼ逆の復号プロセスを実行してもよい。たとえば、動き補償部８２がエントロピ復号部８０から受け取った動きベクトルに基づいて予測データを生成してもよい一方で、イントラ予測部８４がエントロピ復号部８０から受け取ったイントラ予測モードインジケータに基づいて予測データを生成してもよい。

いくつかの例では、本出願の実施を実行するように映像デコーダ３０の部位にタスクを割り当ててもよい。また、いくつかの例では、本開示の実施を映像デコーダ３０の部位の１つ以上に振り分けてもよい。たとえば、本出願の実施をイントラＢＣ部８５が単独で実行してもよいし、動き補償部８２、イントラ予測処理部８４やエントロピ復号部８０などの映像デコーダ３０の他の部位と組み合されて実行してもよい。いくつかの例では、映像デコーダ３０がイントラＢＣ部８５を含まなくてもよく、イントラＢＣ部８５の機能を動き補償部８２などの予測処理部８１の他の構成要素によって実行してもよい。

映像データメモリ７９は映像デコーダ３０の他の構成要素によって復号される、符号化された映像ビットストリームなどの映像データを記憶してもよい。映像データメモリ７９に記憶されている映像データを、たとえば、記憶デバイス３２から取得してもよいし、カメラなどの付属の映像源から取得してもよいし、映像データの有線又は無線ネットワーク通信により取得してもよいし、物理的なデータ記憶媒体（たとえば、フラッシュドライブやハードディスク）にアクセスすることによって取得してもよい。映像データメモリ７９は、符号化された映像ビットストリームから得られた符号化された映像データを記憶する符号化ピクチャバッファ（ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ：ＣＰＢ）を含んでもよい。映像デコーダ３０の復号ピクチャバッファ（ＤＰＢ）９２は映像デコーダ３０によって映像データを復号する（たとえば、イントラ予測符号化モードやインタ予測符号化モードで復号する）際に用いられる参照映像データを記憶する。映像データメモリ７９及びＤＰＢ９２をシンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗変化型ＲＡＭ（ＭＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ（登録商標））や他の種類のメモリデバイスなどの様々なメモリデバイスのいずれによっても形成してもよい。図示するために、図３では映像データメモリ７９とＤＰＢ９２とが映像デコーダ３０の別個の２つの構成要素として示されている。しかし、映像データメモリ７９とＤＰＢ９２とを同じメモリデバイスによって実現してもよいし、別々のメモリデバイスによって実現してもよいことは当業者であれば明らかである。いくつかの例では、映像データメモリ７９が映像デコーダ３０の他の構成要素をともなうオンチップ型であってもよいし、当該構成要素との関係でオフチップ型であってもよい。

復号プロセスの際、符号化された映像フレームの映像ブロックと、関連するシンタックス要素とを表わす符号化された映像ビットストリームを映像デコーダ３０が受信する。映像デコーダ３０は映像フレームレベル及び／又は映像ブロックレベルでシンタックス要素を受信してもよい。映像デコーダ３０のエントロピ復号部８０がビットストリームをエントロピ復号して量子化された係数、動きベクトル又はイントラ予測モードインジケータ及び他のシンタックス要素を生成する。その後、エントロピ復号部８０は動きベクトルと他のシンタックス要素とを予測処理部８１に転送する。

映像フレームがイントラ予測符号化（Ｉ）されたフレームとして符号化されたり、他の種類のフレーム内のイントラ符号化された予測ブロックのために符号化されたりする場合、予測処理部８１のイントラ予測処理部８４が信号伝達されたイントラ予測モードと、現在のフレームの以前に復号されたブロックから得られる参照データとに基づいて現在の映像フレームの映像ブロックの予測データを生成してもよい。

映像フレームがインタ予測符号化（すなわち、Ｂ又はＰ）されたフレームとして符号化される場合、予測処理部８１の動き補償部８２がエントロピ復号部８０から受け取った動きベクトル及び他のシンタックス要素に基づいて現在の映像フレームの映像ブロックの、１つ以上の予測ブロックを生成する。予測ブロックの各々を参照フレームリストのうちの１つ中の参照フレームから生成してもよい。映像デコーダ３０はＤＰＢ９２に記憶されている参照フレームに基づいて初期設定の構成技術を用いて参照フレームリスト、すなわち、リスト０及びリスト１を構成してもよい。

いくつかの例では、映像ブロックが本出願で説明されているイントラＢＣモードにしたがって符号化される場合、予測処理部８１のイントラＢＣ部８５がエントロピ復号部８０から受け取ったブロックベクトル及び他のシンタックス要素に基づいて現在の映像ブロックの予測ブロックを生成する。予測ブロックは映像エンコーダ２０によって定められた現在の映像ブロックと同じピクチャの再構成された領域内にあってもよい。

動き補償部８２及び／又はイントラＢＣ部８５が動きベクトル及び他のシンタックス要素をパースすることによって現在の映像フレームの映像ブロックの予測情報を判定し、予測情報を用いて復号中の現在の映像ブロックの予測ブロックを生成する。たとえば、動き補償部８２は受け取ったシンタックス要素のいくつかを用いて、映像フレームの映像ブロックを符号化するのに用いられる予測モード（たとえば、インタ予測かイントラ予測か）、インタ予測フレームの種類（たとえば、ＢかＰか）、フレームに対する参照フレームリストの１つ以上の構成情報、フレームの各インタ予測符号化された映像ブロックの動きベクトル、フレームの各インタ予測符号化された映像ブロックのインタ予測ステータス及び現在の映像フレーム内の映像ブロックを復号するための他の情報を判定する。

同様に、イントラＢＣ部８５は受け取ったシンタックス要素、たとえば、現在の映像ブロックがイントラＢＣモードを用いて予測されたと判断するためのフラグ、どのフレームの映像ブロックが再構成された領域内にあって、ＤＰＢ９２に記憶されるべきであるのかについての構成情報、フレームの各イントラＢＣ予測された映像ブロックのブロックベクトル、フレームの各イントラＢＣ予測された映像ブロックのイントラＢＣ予測ステータス及び現在の映像フレーム内の映像ブロックを復号するための他の情報のうちのいくつかを用いてもよい。

動き補償部８２は映像ブロックを符号化する際に映像エンコーダ２０によって用いられたように補間フィルタを用いて補間も行なって、参照ブロックの画素非整数個分の補間された値を計算してもよい。この場合、動き補償部８２は受け取ったシンタックス要素から映像エンコーダ２０によって用いられた補間フィルタを判定し、補間フィルタを用いて予測ブロックを生成してもよい。

逆量子化部８６は、ビットストリームで提供され、エントロピ復号部８０によってエントロピ復号された量子化された変換係数を、映像フレーム内の映像ブロック毎に映像エンコーダ２０によって計算された量子化パラメータと同じものを用いて逆量子化して、量子化の程度を判定する。逆変換処理部８８は変換係数に逆変換、たとえば、逆ＤＣＴ、逆整数変換（ｉｎｖｅｒｓｅ ｉｎｔｅｇｅｒ ｔｒａｎｓｆｏｒｍ）や概念的に同様の逆変換プロセスを適用して画素領域で残差ブロックを再構成する。

動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在の映像ブロックの予測ブロックを生成した後、加算器９０が逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって現在の映像ブロックの復号された映像ブロックを再構成する。復号された映像ブロックをさらに処理するために加算器９０とＤＰＢ９２との間にループ内フィルタ９１を配置してもよい。再構成されたＣＵが参照ピクチャ記憶箇所に入れられる前に、再構成されたＣＵに、デブロッキングフィルタ、画素適応オフセット（ＳＡＯ）やアダプティブループ内フィルタ（ＡＬＦ）などのループ内フィルタ箇所９１を使用してもよい。その後、与えられたフレーム内の復号された映像ブロックはＤＰＢ９２に記憶され、ＤＰＢ９２は次の映像ブロックの以降の動き補償に用いられる参照フレームを記憶する。ＤＰＢ９２、又はＤＰＢ９２とは別のメモリデバイスが図１の表示デバイス３４などの表示デバイスにその後に表示するために復号された映像も記憶してもよい。

典型的な映像符号化プロセスでは、映像シーケンスがフレーム又はピクチャの順序集合を典型的に含む。各フレームが３つのサンプル配列（表記ＳＬ、ＳＣｂ及びＳＣｒ）を含んでもよい。ＳＬはルマサンプルの二次元配列である。ＳＣｂはＣｂクロマサンプルの二次元配列である。ＳＣｒはＣｒクロマサンプルの二次元配列である。他の例では、フレームはモノクロであってもよく、したがってルマサンプルの二次元配列を１つのみ含む。

ＨＥＶＣのようにＡＶＳ３規格はブロックを用いた複合映像符号化フレームワーク上に構築される。入力映像信号がブロック毎に処理される（コーディングユニット（ＣＵ）と称する）。四分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、ＡＶＳ３では、１つのコーディングツリーユニット（ＣＴＵ）が四分木／二分木／拡張四分木に基づいて様々な局所的な特性に適応するようにＣＵに分割される。これに加えて、ＨＥＶＣの複数の分割単位型式の概念は除かれる。すなわち、ＡＶＳ３にはＣＵとｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ（ＰＵ）とｔｒａｎｓｆｏｒｍ ｕｎｉｔ（ＴＵ）との隔たりは存在しない。代わりに、各ＣＵが予測と変換との両方に基本単位として常に用いられ、さらに分割されない。ＡＶＳ３のツリー分割構造では、まず１つのＣＴＵが四分木構造に基づいて分割される。その後、各四分木リーフノードを二分木構造及び拡張四分木構造に基づいてさらに分割することができる。

図４Ａに示されているように、映像エンコーダ２０（言い換えると、特に分割部４５）がまずフレームをコーディングツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。映像フレームは、左から右に上から下までラスタスキャン順に連続的に整列する整数個のＣＴＵを含んでもよい。各ＣＴＵは論理的な最大のコーディングユニットであり、ＣＴＵの幅及び高さが連続パラメータセット中で映像エンコーダ２０によって信号伝達され、ＣＴＵの幅及び高さは、映像シーケンスのすべてのＣＴＵが同じサイズを持ち、サイズは１２８×１２８、６４×６４、３２×３２及び１６×１６の１つであるようなものである。しかし、本出願が特定のサイズに必ずしも限定されない点に留意するべきである。図４Ｂに示されているように、各ＣＴＵはルマサンプルの１つのコーディングツリーブロック（ＣＴＢ）と、クロマサンプルの対応する２つのコーディングツリーブロックと、コーディングツリーブロックのサンプルを符号化するのに用いられるシンタックス要素とを備えてもよい。シンタックス要素は画素群の符号化されたブロックの異なる種類の単位の特性と、映像シーケンスを映像デコーダ３０でどのように再構成することができるのかとを記述するものであり、インタ予測又はイントラ予測、イントラ予測モード、動きベクトル及び他のパラメータを含む。モノクロピクチャ、又は別々の３つのカラープレーンを持つピクチャでは、ＣＴＵは１つのコーディングツリーブロックと、コーディングツリーブロックのサンプルを符号化するのに用いられるシンタックス要素とを備えてもよい。コーディングツリーブロックはサンプルのＮ×Ｎブロックであってもよい。

優れたパフォーマンスを実現するために、映像エンコーダ２０はＣＴＵのコーディングツリーブロックに対して二分木分割、三分木分割、四分木分割又は双方の組合せなどのツリー分割を再帰的に行なって、ＣＴＵをより小さいコーディングユニット（ＣＵ）に分割してもよい。図４Ｃに示されているように、まず６４×６４ＣＴＵ４００が４つのより小さいＣＵに分割され、各々は３２×３２のブロックサイズを持つ。より小さい４つのＣＵのうち、ＣＵ４１０とＣＵ４２０との各々がブロックサイズが１６×１６の４つのＣＵに分割される。２つの１６×１６ＣＵ４３０及び４４０の各々がブロックサイズが８×８の４つのＣＵにさらに分割される。図４Ｄは図４Ｃに示されているＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を示し、四分木の各リーフノードが３２×３２から８×８にわたるそれぞれのサイズの、１つのＣＵに対応する。図４Ｂに示されているＣＴＵのように、各ＣＵが、ルマサンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームのクロマサンプルの対応する２つの符号化ブロックと、符号化ブロックのサンプルを符号化するのに用いられるシンタックス要素とを備えてもよい。モノクロピクチャ、又は別々の３つのカラープレーンを持つピクチャでは、ＣＵは１つの符号化ブロックと、符号化ブロックのサンプルを符号化するのに用いられるシンタックス構造とを備えてもよい。図４Ｃ及び図４Ｄに示されている四分木分割は図示するためのものにすぎず、１つのＣＴＵを四分木／三分木／二分木分割に基づいて様々な局所的な特性に適応するようにＣＵに分割することができる点に留意するべきである。多種類のツリー構造では、１つのＣＴＵが四分木構造によって分割され、各四分木リーフＣＵを二分木構造及び三分木構造によってさらに分割することができる。図４Ｅに示されているように、ＡＶＳ３には５つの分割型式が存在する。すなわち、四分割、水平二分割、垂直二分分割、水平拡張四分木分割及び垂直拡張四分木分割が存在する。

いくつかの実現例では、ＣＵの符号化ブロックを１つ以上のＭ×Ｎ ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ（ＰＢ）に映像エンコーダ２０がさらに分割してもよい。ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋはサンプルの矩形（正方形又は非正方形）のブロックであり、同じ予測（インタ又はイントラ）が適用される。ＣＵのｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ（ＰＵ）がルマサンプルのｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋと、クロマサンプルの対応する２つのｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋと、ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋを予測するのに用いられるシンタックス要素とを備えてもよい。モノクロピクチャ、又は別々の３つのカラープレーンを持つピクチャでは、ＰＵは１つのｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋと、ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋのサンプルを予測するのに用いられるシンタックス構造とを備えてもよい。ＣＵの各ＰＵのルマ ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、Ｃｂ ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ及びＣｒ ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋに対する予測ルマブロック、予測Ｃｂブロック及び予測Ｃｒブロックを映像エンコーダ２０が生成してもよい。

ＰＵの予測ブロックを生成するのにイントラ予測又はインタ予測を映像エンコーダ２０が用いてもよい。ＰＵの予測ブロックを生成するのにイントラ予測を映像エンコーダ２０が用いる場合、ＰＵに関連するフレームの復号されたサンプルに基づいてＰＵの予測ブロックを映像エンコーダ２０が生成してもよい。ＰＵの予測ブロックを生成するのにインタ予測を映像エンコーダ２０が用いる場合、ＰＵに関連するフレーム以外の１つ以上のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを映像エンコーダ２０が生成してもよい。

映像エンコーダ２０がＣＵの、１つ以上のＰＵの予測ルマブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後、ＣＵのルマ残差ブロック中の各サンプルがＣＵの予測ルマブロックの１つ中のルマサンプルと、ＣＵの元のルマ符号化ブロック中の対応するサンプルとの差分を示すように、ＣＵの予測ルマブロックをその元のルマ符号化ブロックから差し引くことによってＣＵのルマ残差ブロックを映像エンコーダ２０が生成してもよい。同様に、ＣＵのＣｂ残差ブロック中の各サンプルがＣＵの予測Ｃｂブロックの１つ中のＣｂサンプルと、ＣＵの元のＣｂ符号化ブロック中の対応するサンプルとの差分を示し、ＣＵのＣｒ残差ブロック中の各サンプルがＣＵの予測Ｃｒブロックの１つ中のＣｒサンプルと、ＣＵの元のＣｒ符号化ブロック中の対応するサンプルとの差分を示すことができるように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックを映像エンコーダ２０がそれぞれ生成してもよい。

さらに、図４Ｃに示されているように、映像エンコーダ２０が四分木分割を用いてＣＵのルマ残差ブロック、Ｃｂ残差ブロック及びＣｒ残差ブロックを１つ以上のルマ変換ブロック、Ｃｂ変換ブロック及びＣｒ変換ブロックに分解してもよい。変換ブロックは同じ変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵのｔｒａｎｓｆｏｒｍ ｕｎｉｔ（ＴＵ）がルマサンプルの変換ブロックと、クロマサンプルの対応する２つの変換ブロックと、変換ブロックサンプルを変換するのに用いられるシンタックス要素とを備えてもよい。したがって、ＣＵの各ＴＵはルマ変換ブロック、Ｃｂ変換ブロック及びＣｒ変換ブロックに関連してもよい。いくつかの例では、ＴＵに関連するルマ変換ブロックはＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックはＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックはＣＵのＣｒ残差ブロックのサブブロックであってもよい。モノクロピクチャ、又は別々の３つのカラープレーンを持つピクチャでは、ＴＵは１つの変換ブロックと、変換ブロックのサンプルを変換するのに用いられるシンタックス構造とを備えてもよい。

映像エンコーダ２０が１つ以上の変換をＴＵのルマ変換ブロックに適用してＴＵのルマ係数ブロックを生成してもよい。係数ブロックが変換係数の二次元配列であってもよい。変換係数はスカラー量であってもよい。映像エンコーダ２０が１つ以上の変換をＴＵのＣｂ変換ブロックに適用してＴＵのＣｂ係数ブロックを生成してもよい。映像エンコーダ２０が１つ以上の変換をＴＵのＣｒ変換ブロックに適用してＴＵのＣｒ係数ブロックを生成してもよい。

係数ブロック（たとえば、ルマ係数ブロック、Ｃｂ係数ブロックやＣｒ係数ブロック）を生成した後、係数ブロックを映像エンコーダ２０が量子化してもよい。大まかには、量子化は、変換係数を量子化し、場合によっては、変換係数を表現するのに用いられるデータの量を削減してさらなる圧縮を実現するプロセスを指す。映像エンコーダ２０が係数ブロックを量子化した後、映像エンコーダ２０は量子化された変換係数を示すシンタックス要素をエントロピ符号化してもよい。たとえば、量子化された変換係数を示すシンタックス要素にＣｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ（ＣＡＢＡＣ）を映像エンコーダ２０が実行してもよい。最後に、符号化されたフレームの表現と、関連するデータとを形成する一連のビットを含むビットストリームを映像エンコーダ２０が出力してもよく、符号化されたフレームの表現と、関連するデータとは記憶デバイス３２にセーブされたり送信先デバイス１４に送信されたりする。

映像エンコーダ２０によって生成されたビットストリームを受信した後、映像デコーダ３０がビットストリームをパースしてビットストリームからシンタックス要素を取得してもよい。ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて映像データのフレームを映像デコーダ３０が再構成してもよい。映像データを再構成するプロセスは映像エンコーダ２０によって実行される符号化プロセスとほぼ逆である。たとえば、映像デコーダ３０が現在のＣＵのＴＵに関連する係数ブロックに逆変換を行なって現在のＣＵのＴＵに関連する残差ブロックを再構成してもよい。映像デコーダ３０が現在のＣＵのＰＵの予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって現在のＣＵの符号化ブロックを再構成することも行なう。フレームの各ＣＵの符号化ブロックを再構成した後、映像デコーダ３０がフレームを再構成してもよい。

ＳＡＯは、エンコーダによって送信されたルックアップテーブルの値に基づいて、デブロッキングフィルタの適用後に各サンプルにオフセット値を条件付きで加算することによって復号されたサンプルを修正するプロセスである。ＳＡＯフィルタリングはシンタックス要素ｓａｏ－ｔｙｐｅ－ｉｄｘを用いてＣＴＢ毎に選択されるフィルタリング形式に基づいて領域に関して実行される。ｓａｏ－ｔｙｐｅ－ｉｄｘの値として０の値はＳＡＯフィルタがＣＴＢに適用されないことを示し、それぞれ、値１及び２は、バンドオフセットフィルタリング形式及びエッジオフセットフィルタリング形式を用いることを示す。１に等しいｓａｏ－ｔｙｐｅ－ｉｄｘによって指定されるバンドオフセットモードでは、選択されたオフセット値がサンプル振幅（ｓａｍｐｌｅ ａｍｐｌｉｔｕｄｅ）に直接依存する。このモードでは、全サンプル振幅範囲はバンドと呼ばれる３２個のセグメントに均等に分割され、これらのバンドのうち４つ（３２個のバンドのうち連続するもの）に属するサンプル値が、バンドオフセットとして表現される送信された値を加えることによって修正され、この値は正又は負であることが可能である。４つの連続するバンドを使用する主な理由は、バンディングアーティファクトが出現する可能性がある平滑な領域では、ＣＴＢ中のサンプル振幅が少数のバンドのみに集中し易いことである。これに加えて、４つのオフセットを用いるように選択された設計が、やはり４つのオフセット値を用いる動作のエッジオフセットモードと統合される。２に等しいｓａｏ－ｔｙｐｅ－ｉｄｘによって指定されるエッジオフセットモードでは、０から３の値を持つシンタックス要素ｓａｏ－ｅｏ－ｃｌａｓｓは、ＣＴＢのエッジオフセット分類に水平方向か、垂直方向か、２つの斜めの傾斜方向の一方かのいずれが用いられるのかを示す。

図５は本開示のいくつかの実現例に係るＳＡＯで用いられる４つの傾斜パターンを示すブロック図である。４つの傾斜パターン５０２，５０４，５０６及び５０８はエッジオフセットモードのそれぞれのｓａｏ－ｅｏ－ｃｌａｓｓの傾斜パターンである。「ｐ」と表記されているサンプルは中央のサンプルが考慮対象であることを示す。「ｎ０」及び「ｎ１」と表記されている２つのサンプルは（ａ）水平（ｓａｏ－ｅｏ－ｃｌａｓｓ＝０）傾斜パターン、（ｂ）垂直（ｓａｏ－ｅｏ－ｃｌａｓｓ＝１）傾斜パターン、（ｃ）１３５°斜め（ｓａｏ－ｅｏ－ｃｌａｓｓ＝２）傾斜パターン及び（ｄ）４５°（ｓａｏ－ｅｏ－ｃｌａｓｓ＝３）傾斜パターンに沿った２つの近隣のサンプルを示す。ある位置に位置するサンプル値ｐと、図５に示されている近隣の位置に位置する２つのサンプルの値ｎ０及びｎ１とを比較することによってＣＴＢ中の各サンプルが５つのＥｄｇｅＩｄｘカテゴリのうちの１つに分類される。この分類は復号されたサンプル値に基づいてサンプル毎に行なわれるので、ＥｄｇｅＩｄｘ分類に追加の信号伝達は不要である。サンプル位置でのＥｄｇｅＩｄｘカテゴリに応じて、１から４のＥｄｇｅＩｄｘカテゴリについて、サンプル値には送信されたルックアップテーブルから得られるオフセット値が加えられる。オフセット値は常にカテゴリ１及び２に対して正であり、カテゴリ３及び４に対して負である。したがって、フィルタは通常、エッジオフセットモードで平滑化効果を持つ。以下の表１はＳＡＯエッジクラスのサンプルＥｄｇｅＩｄｘカテゴリを示す。

ＳＡＯタイプ１及び２では、合計４つの振幅オフセット値がＣＴＢ毎にデコーダに送信される。タイプ１では、符号も符号化される。オフセット値と、ｓａｏ－ｔｙｐｅ－ｉｄｘやｓａｏ－ｅｏ－ｃｌａｓｓなどの関連するシンタックス要素とがエンコーダによって決定され、典型的にはレート歪みパフォーマンスを最適化する基準を用いて決定される。マージフラグを用いてＳＡＯパラメータが左又は上のＣＴＢから受け継がれることを示して、信号伝達を効率化することができる。まとめると、ＳＡＯは、再構成された信号をさらに洗練させることを可能にする非線形のフィルタリング操作であり、平滑領域とエッジ周囲との両方で信号表現を拡張することができる。

いくつかの実施形態では、符号化効率を改善したり、クロス成分情報を導入することによって画素適応オフセット（ＳＡＯ）の複雑さを軽減したりする方法及びシステムが本出願で開示されている。ＳＡＯはＨＥＶＣ、ＶＶＣ、ＡＶＳ２及びＡＶＳ３規格で用いられる。以下の説明ではＨＥＶＣ、ＶＶＣ、ＡＶＳ２及びＡＶＳ３規格の既存のＳＡＯ設計が基本的なＳＡＯ方法として用いられているが、映像符号化の当業者は本開示で説明されているクロス成分方法を設計精神を同じくする他のループフィルタ設計や他の符号化ツールにも適用することができる。たとえば、ＡＶＳ３規格では、ＳＡＯは拡張画素適応オフセット（ＥＳＡＯ）と呼ばれる符号化ツールに置換される。一方で、本出願で開示されているＣＣＳＡＯをＥＳＡＯとパラレルに適用することもできる。別の例では、ＣＣＳＡＯをＡＶ１規格のＣｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ（ＣＤＥＦ）とパラレルに適用することができる。

ＨＥＶＣ、ＶＶＣ、ＡＶＳ２及びＡＶＳ３規格の既存のＳＡＯ設計では、ルマＹサンプルオフセット値、クロマＣｂサンプルオフセット値及びクロマＣｒサンプルオフセット値が個別に判定される。すなわち、たとえば、同一位置にある（ｃｏｌｌｏｃａｔｅｄ）ルマサンプルや近隣のルマサンプルを考慮することなく、現在のクロマサンプルオフセットが現在のクロマサンプル値及び近隣のクロマサンプル値のみによって判定される。その一方で、ルマサンプルはクロマサンプルよりも多くの元のピクチャの詳細情報を維持し、これにより、現在のクロマサンプルオフセットの判定をより良好に行なうことができる。さらに、通常、クロマサンプルはＲＧＢからＹＣｂＣｒへのカラー変換の後や、量子化及びデブロッキングフィルタの後に高周波詳細部を喪失するので、クロマオフセットを判定するために維持される高周波詳細部を有するルマサンプルを導入することで、クロマサンプルの再構成をより良好に行なうことができる。したがって、たとえばクロス成分サンプル適応オフセット（Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ：ＣＣＳＡＯ）の方法及びシステムを用いてクロス成分相関を調べることによってさらなるゲインを期待することができる。いくつかの実施形態では、本記載の相関はクロス成分サンプル値を含むだけでなく、予測／残差符号化モード、変換形式や、クロス成分から得られる量子化／デブロッキング／ＳＡＯ／ＡＬＦパラメータなどのピクチャ／符号化情報も含む。

別の例はＳＡＯの例であり、ルマサンプルオフセットがルマサンプルのみによって判定される。しかし、たとえば、同じバンドオフセット（ＢＯ）分類を持つルマサンプルをそれと同一位置にあるクロマサンプル及びその近隣のクロマサンプルによってさらに分類することができ、これにより、より効果的な分類を実現することができる。ＳＡＯ分類を、元のピクチャと再構成されたピクチャとのサンプル差分を補償するための近道ととらえることができる。したがって、効果的な分類が望まれる。

図６Ａは本開示のいくつかの実現例に係る、クロマサンプルに適用され、入力としてＤＢＦ Ｙを用いるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。ルマデブロッキングフィルタの後のルマサンプル（ＤＢＦ Ｙ）がＳＡＯ Ｃｂ及びＳＡＯ Ｃｒの後のクロマＣｂ及びクロマＣｒの別のオフセットを判定するのに用いられる。たとえば、まず、現在のクロマサンプル６０２が同一位置にあるルマサンプル６０４及び近隣のルマサンプル６０６（白色）を用いて分類され、対応するクラスの対応するＣＣＳＡＯオフセット値が現在のクロマサンプル値に加えられる。図６Ｂは本開示のいくつかの実現例に係る、ルマサンプル及びクロマサンプルに適用され、入力としてＤＢＦ Ｙ／Ｃｂ／Ｃｒを用いるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。図６Ｃは本開示のいくつかの実現例に係る独立して動作ことができるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。図６Ｄは本開示のいくつかの実現例に係る、同じコーデックステージの同じオフセット又は異なるオフセットを用いて再帰的（２回又はＮ回）に適用されるか、異なるステージで繰り返されることが可能であるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。まとめると、いくつかの実施形態では、現在のルマサンプルを分類するために、現在のルマサンプル及び近隣のルマサンプルの情報と、同一位置にあるクロマサンプル及び近隣のクロマサンプル（Ｃｂ及びＣｒ）の情報とを用いることができる。いくつかの実施形態では、現在のクロマサンプル（Ｃｂ又はＣｒ）を分類するために、同一位置にあるルマサンプル及び近隣のルマサンプルと、同一位置にあるクロスクロマサンプル及び近隣のクロスクロマサンプルと、現在のクロマサンプル及び近隣のクロマサンプルとを用いることができる。いくつかの実施形態では、ＣＣＳＡＯが（１）ＤＢＦ Ｙ／Ｃｂ／Ｃｒの後、（２）ＤＢＦの前の再構成された画像Ｙ／Ｃｂ／Ｃｒの後、又は（３）ＳＡＯ Ｙ／Ｃｂ／Ｃｒの後、又は（４）ＡＬＦ Ｙ／Ｃｂ／Ｃｒの後にカスケード状に分岐することができる。

いくつかの実施形態では、ＣＣＳＡＯを他の符号化ツール、たとえば、ＡＶＳ規格のＥＳＡＯ又はＡＶ１規格のＣＤＥＦとパラレルに適用することもできる。図６Ｅは本開示のいくつかの実現例に係るＡＶＳ規格のＥＳＡＯとパラレルに適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。

図６Ｆは本開示のいくつかの実現例に係るＳＡＯの後に適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。いくつかの実施形態では、図６ＦはＣＣＳＡＯの位置がＳＡＯの後にあることが可能であることを示し、すなわち、ＶＶＣ規格のＣｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ（ＣＣＡＬＦ）の位置を示す。図６Ｇは本開示のいくつかの実現例に係れば、ＣＣＳＡＯのシステム及びプロセスがＣＣＡＬＦを用いずに独立して動作することができることを示すブロック図である。いくつかの実施形態では、ＳＡＯ Ｙ／Ｃｂ／ＣｒをＥＳＡＯ、たとえばＡＶＳ３規格のＥＳＡＯに置換することができる。

図６Ｈは本開示のいくつかの実現例に係るＣＣＡＬＦとパラレルに適用されるＣＣＳＡＯのシステム及びプロセスを示すブロック図である。いくつかの実施形態では、図６ＨはＣＣＳＡＯをＣＣＡＬＦとパラレルに適用することができることを示す。いくつかの実施形態では、図６Ｈにおいて、ＣＣＡＬＦ及びＣＣＳＡＯの位置を変更することができる。いくつかの実施形態では、図６Ａから図６Ｈにおいて、あるいは本開示にわたって、ＳＡＯ Ｙ／Ｃｂ／ＣｒブロックをＥＳＡＯ Ｙ／Ｃｂ／Ｃｒ（ＡＶＳ３のＥＳＡＯ Ｙ／Ｃｂ／Ｃｒ）又はＣＤＥＦ（ＡＶ１のＣＤＥＦ）に置換することができる。Ｙ／Ｃｂ／Ｃｒを映像符号化領域でＹ／Ｕ／Ｖとも表記することができることに留意する。いくつかの実施形態では、映像がＲＧＢフォーマットの映像である場合も、本開示ではＹＵＶ表記をＧＢＲにそれぞれ対応させるだけでＣＣＳＡＯを適用することができる。

いくつかの実施形態では、現在のクロマサンプル分類は同一位置にあるルマサンプルのＳＡＯタイプ（エッジオフセット（ＥＯ）又はＢＯ）、クラス及びカテゴリを再度用いたものである。対応するＣＣＳＡＯオフセットを信号伝達したり、デコーダそのものから導出したりすることができる。たとえば、ｈ＿Ｙが同一位置にあるルマＳＡＯオフセットであるとし、ｈ＿Ｃｂ及びｈ＿ＣｒがそれぞれＣＣＳＡＯ Ｃｂオフセット及びＣＣＳＡＯ Ｃｒオフセットであるとする。ｈ＿Ｃｂ（又はｈ＿Ｃｒ）＝ｗ＊ｈ＿Ｙであり、ｗを限られたテーブルから選択することができる。たとえば、±１／４，±１／２，０，±１，±２，±４…などであり、｜ｗ｜は２の累乗の値のみを含む。

いくつかの実施形態では、同一位置にあるルマサンプル（Ｙ０）と近隣の８つのルマサンプルとの比較スコア［－８，８］が用いられ、これにより合計１７個のクラスが得られる。
Ｉｎｉｔｉａｌ Ｃｌａｓｓ＝０
近隣の８つのルマサンプルにループ処理を適用（Ｙｉ，ｉ＝１～８）
Ｙ０＞Ｙｉの場合 Ｃｌａｓｓ＋＝１
上記の場合以外の場合において、Ｙ０＜Ｙｉの場合 Ｃｌａｓｓ－＝１

いくつかの実施形態では、上述の分類方法を組み合せることができる。たとえば、多様性を高めるためにＳＡＯ ＢＯ（３２個のバンド分類）と組み合せた比較スコアが用いられ、これにより合計１７＊３２個のクラスが得られる。いくつかの実施形態では、ＣｂとＣｒとに同じクラスを用いて複雑さを軽減したりビットを節減させたりすることができる。

図７は本開示のいくつかの実現例に係るＣＣＳＡＯを用いるサンプルプロセスを示すブロック図である。特に、図７はＣＣＳＡＯの入力によって垂直ＤＢＦ及び水平ＤＢＦの入力を導入して、クラスの判定を単純化したり柔軟性を高めたりすることができることを示す。たとえば、Ｙ０＿ＤＢＦ＿Ｖ、Ｙ０＿ＤＢＦ＿Ｈ及びＹ０が、それぞれＤＢＦ＿Ｖ、ＤＢＦ＿Ｈ及びＳＡＯの入力での同一位置にあるルマサンプルであるとする。Ｙｉ＿ＤＢＦ＿Ｖ、Ｙｉ＿ＤＢＦ＿Ｈ及びＹｉがそれぞれＤＢＦ＿Ｖ、ＤＢＦ＿Ｈ及びＳＡＯの入力での近隣の８つのルマサンプルであり、ｉ＝１～８である。
Ｍａｘ Ｙ０＝ｍａｘ（Ｙ０＿ＤＢＦ＿Ｖ，Ｙ０＿ＤＢＦ＿Ｈ，Ｙ０＿ＤＢＦ）
Ｍａｘ Ｙｉ＝ｍａｘ（Ｙｉ＿ＤＢＦ＿Ｖ，Ｙｉ＿ＤＢＦ＿Ｈ，Ｙｉ＿ＤＢＦ）
また、ｍａｘ Ｙ０及びｍａｘ ＹｉをＣＣＳＡＯ分類に与える。

図８は本開示のいくつかの実現例に係る、ＣＣＳＡＯプロセスが垂直ＤＢＦ及び水平ＤＢＦにインターリーブされることを示すブロック図である。いくつかの実施形態では、図６、図７及び図８のＣＣＳＡＯブロックが、適当な選択がなされたものであることが可能である。たとえば、最初のＣＣＳＡＯ＿ＶにＹ０＿ＤＢＦ＿Ｖ及びＹｉ＿ＤＢＦ＿Ｖを用い（図６と同じサンプル処理を適用する）、その一方で、ＣＣＳＡＯ入力としてＤＢＦ＿Ｖ ルマサンプルの入力を用いる。

いくつかの実施形態において、実施されるＣＣＳＡＯシンタックスが以下の表２に示されている。

いくつかの実施形態では、ＣＣＳＡＯ Ｃｂオフセット値及びＣＣＳＡＯ Ｃｒオフセット値の信号伝達について、１つの追加のクロマオフセットが信号伝達される場合、他のクロマ成分オフセットをプラス符号又はマイナス符号や、重み付けを用いて導出してビットのオーバーヘッドを節減することができる。たとえば、ｈ＿Ｃｂ及びｈ＿ＣｒがそれぞれＣＣＳＡＯ Ｃｂ及びＣＣＳＡＯ Ｃｒのオフセットであるとする。ｗを明示的に示した上で、この場合、限られた｜ｗ｜候補が用いられかつｗ＝±｜ｗ｜であるが、ｈ＿Ｃｒを、ｈ＿Ｃｒそのものを明示的に示すことなくｈ＿Ｃｂから導出することができる。
ｈ＿Ｃｒ＝ｗ＊ｈ＿Ｃｂ

図９は本開示のいくつかの実現例に係る、クロス成分相関を用いて映像信号を復号する典型的なプロセス９００を示すフローチャートである。

映像デコーダ３０が第１の成分と第２の成分とを含む映像信号を受信する（９１０）。いくつかの実施形態では、第１の成分は映像信号のルマ成分であり、第２の成分は映像信号のクロマ成分である。

映像デコーダ３０が第２の成分に関連する複数のオフセットも受信する（９２０）。

その後、映像デコーダ３０が第１の成分の特性測定値を利用して第２の成分に関連する分類カテゴリを取得する（９３０）。たとえば、図６では、まず、現在のクロマサンプル６０２が同一位置にあるルマサンプル６０４と近隣のルマサンプル６０６（白色）を用いて分類され、対応するＣＣＳＡＯオフセット値が現在のクロマサンプルに加えられる。

映像デコーダ３０が分類カテゴリにしたがって第２の成分の複数のオフセットから第１のオフセットをさらに選択する（９４０）。

映像デコーダ３０が選択された第１のオフセットに基づいて第２の成分をさらに修正する（９５０）。

いくつかの実施形態では、第１の成分の特性測定値を利用して第２の成分に関連する分類カテゴリを取得すること（９３０）は、第１の成分のそれぞれのサンプルを利用して第２の成分の対応するサンプルの対応する分類カテゴリを取得することであって、第１の成分のそれぞれのサンプルが、第２の成分の対応するサンプルと同一位置にある、第１の成分の対応するサンプルである、ことを含む。たとえば、現在のクロマサンプル分類は同一位置にあるルマサンプルのＳＡＯタイプ（ＥＯ又はＢＯ）、クラス及びカテゴリを再度用いたものである。

いくつかの実施形態では、第１の成分の特性測定値を利用して第２の成分に関連する分類カテゴリを取得すること（９３０）は、第１の成分のそれぞれのサンプルを利用して第２の成分の対応するサンプルの対応する分類カテゴリを取得することであって、第１の成分のそれぞれのサンプルがデブロッキング処理がなされる前に再構成されるか、デブロッキング処理がなされた後に再構成される、ことを含む。いくつかの実施形態では、第１の成分はデブロッキングフィルタ（ＤＢＦ）でデブロッキング処理がなされたものである。いくつかの実施形態では、第１の成分はルマデブロッキングフィルタ（ＤＢＦ Ｙ）でデブロッキング処理がなされたものである。たとえば、図６又は図７の代わりに、ＣＣＳＡＯ入力がＤＢＦ Ｙの前にあることも可能である。

いくつかの実施形態では、特性測定値は、第１の成分のサンプル値の範囲をいくつかのバンドに分割し、第１の成分のサンプルの強度値に基づいてバンドを選択することによって導出される。いくつかの実施形態では、特性測定値はバンドオフセット（ＢＯ）から導出される。

いくつかの実施形態では、特性測定値は第１の成分のサンプルのエッジ情報の方向及び強さに基づいて導出される。いくつかの実施形態では、特性測定値はエッジオフセット（ＥＯ）から導出される。

いくつかの実施形態では、第２の成分を修正すること（９５０）は第２の成分に選択された第１のオフセットを直接加えることを含む。たとえば、対応するＣＣＳＡＯオフセット値が現在のクロマ成分サンプルに加えられる。

いくつかの実施形態では、第２の成分を修正すること（９５０）は選択された第１のオフセットを第２のオフセットに対応させ、対応させられた第２のオフセットを第２の成分に加えることを含む。たとえば、ＣＣＳＡＯ Ｃｂオフセット値及びＣＣＳＡＯ Ｃｒオフセット値の信号伝達について、１つの追加のクロマオフセットが信号伝達される場合、他のクロマ成分オフセットをプラス符号又はマイナス符号や、重み付けを用いて導出してビットのオーバーヘッドを節減することができる。

いくつかの実施形態では、映像信号を受信すること（９１０）はＣＣＳＡＯを用いて映像信号を復号する方法が連続パラメータセット（ＳＰＳ）中の映像信号に対して有効にされるか否かを示すシンタックス要素を受信することを含む。いくつかの実施形態では、ＣＣＳＡＯがシーケンスレベルで有効にされるか否かをｃｃ＿ｓａｏ＿ｅｎａｂｌｅｄ＿ｆｌａｇが示す。

いくつかの実施形態では、映像信号を受信すること（９１０）は、ＣＣＳＡＯを用いて映像信号を復号する方法がスライスレベルでの第２の成分に対して有効にされるか否かを示すシンタックス要素を受信することを含む。いくつかの実施形態では、ＣＣＳＡＯがＣｂ又はＣｒにそれぞれのスライスで有効にされるか否かをｓｌｉｃｅ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇ又はｓｌｉｃｅ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｆｌａｇが示す。

いくつかの実施形態では、第２の成分に関連する複数のオフセットを受信すること（９２０）は異なるコーディングツリーユニット（ＣＴＵ）の異なるオフセットを受信することを含む。いくつかの実施形態では、ＣＴＵについて、オフセットの符号をｃｃ＿ｓａｏ＿ｏｆｆｓｅｔ＿ｓｉｇｎ＿ｆｌａｇが示し、現在のＣＴＵのＣＣＳＡＯ Ｃｂオフセット値及びＣＣＳＡＯ Ｃｒオフセット値をｃｃ＿ｓａｏ＿ｏｆｆｓｅｔ＿ａｂｓが示す。

いくつかの実施形態では、第２の成分に関連する複数のオフセットを受信すること（９２０）は、ＣＴＵの受信したオフセットがＣＴＵの近隣のＣＴＵのうちの１つのオフセットと同じか否かを示すシンタックス要素を受信することであって、近隣のＣＴＵは左の近隣のＣＴＵか上の近隣のＣＴＵかのいずれかである、こと、を含む。たとえば、ＣＣＳＡＯオフセットが左のＣＴＵからマージされるのか上のＣＴＵからマージされるのかをｃｃ＿ｓａｏ＿ｍｅｒｇｅ＿ｕｐ＿ｆｌａｇが示す。

いくつかの実施形態では、映像信号は第３の成分をさらに含み、ＣＣＳＡＯを用いて映像信号を復号する方法は、第３の成分に関連する第２の複数のオフセットを受信することと、第１の成分の特性測定値を利用して第３の成分に関連する第２の分類カテゴリを取得することと、第２の分類カテゴリにしたがって第３の成分の第２の複数のオフセットから第３のオフセットを選択することと、選択された第３のオフセットに基づいて第３の成分を修正することとをさらに含む。

図１１は本開示のいくつかの実現例に係る、同一位置にあるルマ／クロマサンプル及び近隣のルマ／クロマサンプル（白色）のすべてをＣＣＳＡＯ分類に入れることができることを示すサンプルプロセスのブロック図である。図６Ａ、図６Ｂ及び図１１はＣＣＳＡＯ分類の入力を示している。図１１中、現在のクロマサンプルは１１０４であり、クロス成分同一位置クロマサンプルは１１０２であり、同一位置ルマサンプルは１１０６である。

いくつかの実施形態において、分類子の例（Ｃ０）では分類に後述の図１２の同一位置にあるルマ又はクロマサンプル値（Ｙ０）（図６ＢのＹ４／Ｕ４／Ｖ４及び図６Ｃ）を用いる。ｂａｎｄ＿ｎｕｍがルマダイナミックレンジ又はクロマダイナミックレンジの均等分割されたバンドの個数であるとし、ｂｉｔ＿ｄｅｐｔｈがシーケンスのビット深度であるとすると、現在のクロマサンプルのクラスインデックスの例は以下の通りである。
Ｃｌａｓｓ（Ｃ０）＝（Ｙ０＊ｂａｎｄ＿ｎｕｍ）＞＞ｂｉｔ＿ｄｅｐｔｈ

いくつかの実施形態では、分類で丸めを考慮に入れ、たとえば、以下の通りである。
Ｃｌａｓｓ（Ｃ０）＝（（Ｙ０＊ｂａｎｄ＿ｎｕｍ）＋（１＜＜ｂｉｔ＿ｄｅｐｔｈ））＞＞ｂｉｔ＿ｄｅｐｔｈ

ｂａｎｄ＿ｎｕｍ及びｂｉｔ＿ｄｅｐｔｈのいくつかの例が以下に表３において列挙されている。表３はバンドの個数が分類の例毎に異なる場合の３つの分類の例を示す。

いくつかの実施形態では、分類子がＣ０分類に異なるルマサンプル位置を用いる。図１０Ａは本開示のいくつかの実現例に係る、Ｃ０分類に異なるルマ（又はクロマ）サンプル位置を用いる分類子を示すブロック図であり、たとえば、Ｃ０分類にＹ０ではなく近隣のＹ７を用いる。

いくつかの実施形態では、異なる分類子を連続パラメータセット（ＳＰＳ）／適応パラメータセット（ＡＰＳ）／ピクチャパラメータセット（ＰＰＳ）／ピクチャヘッダ（ＰＨ）／スライスヘッダ（ＳＨ）／領域／コーディングツリーユニット（ＣＴＵ）／コーディングユニット（ＣＵ）／サブブロック／サンプルレベルにおいて切り換えることができる。たとえば、図１０では、以下の表４に示されているように、ＰＯＣ０にＹ０を用いる一方で、ＰＯＣ１にＹ７を用いる。

いくつかの実施形態において、図１０Ｂは本開示のいくつかの実現例に係る、ルマ候補の異なる形状のいくつかの例を示す。たとえば、形状には制約を課すことができる。いくつかの例では、図１０Ｂ（ｂ）（ｃ）（ｄ）に示されているように、ルマ候補の総数が２の累乗でなければならない。いくつかの例では、図１０Ｂ（ａ）（ｃ）（ｄ）（ｅ）に示されているように、ルマ候補の個数がクロマサンプル（中央にある）に対して水平対称かつ垂直対称でなければならない。いくつかの実施形態では、２の累乗の制約と対称性の制約をクロマ候補にも適用することできる。図６Ｂ及び図６ＣのＵ／Ｖ部分が対称性の制約の例を示している。いくつかの実施形態では、異なるカラーフォーマットに分類子の異なる「制約」があることが可能である。たとえば、４２０カラーフォーマットでは、図６Ｂ及び図６Ｃに示されているようなルマ／クロマ候補が選択されて用いられる（３×３形状から１つの候補が選択される）一方で、４４４カラーフォーマットでは、選択されたルマ及びクロマ候補に図１０Ｂ（ｆ）が用いられ、４２２カラーフォーマットでは、ルマ候補に図１０Ｂ（ｇ）が用いられ（２つのクロマサンプルが４つのルマ候補を共有する）、クロマ候補に図１０Ｂ（ｆ）が用いられる。

いくつかの実施形態では、Ｃ０位置とＣ０ ｂａｎｄ＿ｎｕｍとをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて組み合せ、切り換えることができる。異なる組合せは以下の表５に示されている異なる分類子であることが可能である。

いくつかの実施形態では、同一位置にあるルマサンプル値（Ｙ０）が、同一位置にあるルマサンプル及び近隣のルマサンプルに重み付けすることによって得られる値（Ｙｐ）に置換される。図１２は本開示のいくつかの実現例に係る、同一位置にあるルマサンプル値を同一位置にあるルマサンプル及び近隣のルマサンプルに重み付けすることによって得られる値と置換することを用いる典型的な分類子を示す。同一位置にあるルマサンプル値（Ｙ０）を、近隣のルマサンプルに重み付けすることによって得られる位相補正値（Ｙｐ）に置換することができる。異なるＹｐが異なる分類子であることが可能である。

いくつかの実施形態では、異なるＹｐが異なるクロマフォーマットに適用される。たとえば、図１２では、（ａ）のＹｐが４２０のクロマフォーマットに用いられ、（ｂ）のＹｐが４２２のクロマフォーマットに用いられ、Ｙ０が４４４のクロマフォーマットに用いられる。

いくつかの実施形態では、別の分類子（Ｃ１）が、同一位置にあるルマサンプル（Ｙ０）と近隣の８つのルマサンプルとの比較スコア［－８，８］であり、これにより、以下に示されているように合計１７個のクラスが得られる。
Ｉｎｉｔｉａｌ Ｃｌａｓｓ（Ｃ１）＝０、近隣の８つのルマサンプルにループ処理を適用（Ｙｉ，ｉ＝１～８）
Ｙ０＞Ｙｉの場合 Ｃｌａｓｓ＋＝１
上記の場合以外の場合において、Ｙ０＜Ｙｉの場合 Ｃｌａｓｓ－＝１

いくつかの実施形態では、Ｃ１の例が、閾値ｔｈが０である場合の以下の関数に等しい。
ＣｌａｓｓＩｄｘ＝Ｉｎｄｅｘ２ＣｌａｓｓＴａｂｌｅ（ｆ（Ｃ，Ｐ１）＋ｆ（Ｃ，Ｐ２）＋…＋ｆ（Ｃ，Ｐ８））
ｘ－ｙ＞ｔｈの場合にはｆ（ｘ，ｙ）＝１、ｘ－ｙ＝ｔｈの場合にはｆ（ｘ，ｙ）＝０、ｘ－ｙ＜ｔｈの場合にはｆ（ｘ，ｙ）＝－１
Ｉｎｄｅｘ２ＣｌａｓｓＴａｂｌｅはルックアップテーブル（ＬＵＴ）であり、Ｃは現在のサンプル又は同一位置にあるサンプルであり、Ｐ１～Ｐ８は近隣のサンプルである。

いくつかの実施形態では、Ｃ４分類子と同様に、１つ以上の閾値を予め規定し（たとえば、ＬＵＴに入れておく）、または、ＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達して差分を分類する（量子化する）のを容易にすることができる。

いくつかの実施形態では、変形例（Ｃ１’）では比較スコア［０，８］をカウントするだけであり、これにより、８つのクラスが得られる。（Ｃ１，Ｃ１’）は分類子グループであり、ＰＨ／ＳＨレベルフラグを信号伝達してＣ１とＣ１’とを切り換えることができる。

Ｉｎｉｔｉａｌ Ｃｌａｓｓ（Ｃ１’）＝０、近隣の８つのルマサンプルにループ処理を適用（Ｙｉ，ｉ＝１～８）
Ｙ０＞Ｙｉの場合 Ｃｌａｓｓ＋＝１

いくつかの実施形態では、変形例（Ｃ１ｓ）は、Ｍ個の近隣のサンプルのうちの近隣のＮを選択的に用いて比較スコアをカウントするものである。ＭビットのビットマスクをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達して、比較スコアをカウントするためにどの近隣のサンプルが選択されるのかを示すことができる。ルマ分類子の例として図６Ｂを用い、すなわち、８つの近隣のルマサンプルが候補であり、８ビットのビットマスク（０１１１１１１０）をＰＨで信号伝達してＹ１～Ｙ６の６つのサンプルが選択されることを通知し、したがって、比較スコアは［－６，６］内にあり、これにより、１３個のオフセットが得られる。分類子Ｃ１ｓに適当な選択がなされることで、オフセット信号伝達のオーバーヘッドと分類粒度とのトレードオフについてより多くの選択がエンコーダにもたらされる。

Ｃ１ｓと同様に、変形例（Ｃ１’）は比較スコア［０，＋Ｎ］のみをカウントするものであり、上記のビットマスク０１１１１１１０の例では［０，６］内にある比較スコアが得られ、これにより、７個のオフセットが得られる。

いくつかの実施形態では、異なる分類子を組み合せて汎用的な分類子を得る。たとえば、以下の表６－１に示されているように異なるピクチャ（異なるＰＯＣ値）に対して異なる分類子が適用される。

いくつかの実施形態において、別の分類子の例（Ｃ３）では表６－２に示されているように分類にビットマスクを用いる。１０ビットのビットマスクをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達して分類子を通知する。たとえば、ビットマスク１１ １１００ ００００は、与えられた１０ビットのルマサンプル値について、最上位ビット（ＭＳＢ）である４ビットのみが分類に用いられることを意味し、このビットマスクによって合計１６個のクラスが得られる。別の例であるビットマスク１０ ０１００ ０００１は、３ビットのみが分類に用いられることを意味し、このビットマスクによって合計８つのクラスが得られる。

いくつかの実施形態では、ビットマスク長（Ｎ）をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて一定にしたり変更したりすることができる。たとえば、１０ビットのシーケンスの場合、４ビットのビットマスク１１１０がピクチャ中のＰＨで信号伝達され、ＭＳＢ ３ビット分であるｂ９，ｂ８，ｂ７が分類に用いられる。別の例としてはＬＳＢ上の４ビットのビットマスク００１１があり、ｂ０，ｂ１が分類に用いられる。ビットマスク分類子がルマ分類又はクロマ分類に適用されることが可能である。ビットマスクＮにＭＳＢを用いるのかＬＳＢを用いるのかをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて不変にしたり可変にしたりすることができる。

いくつかの実施形態では、ルマ位置とＣ３ビットマスクとをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて組み合せたり変更したりすることができる。異なる組合せが異なる分類子であることが可能である。

いくつかの実施形態では、ビットマスク制限である「１の最大個数」を、オフセットの対応する個数を制限するために適用することができる。たとえば、ＳＰＳでビットマスクの「１の最大個数」を４に制限すると、シーケンス中の最大オフセットは１６になる。異なるＰＯＣのビットマスクが異なることが可能であるが、「１の最大個数」が４つを超えることはない（クラス総数が１６個を超えることはない）。「１の最大個数」の値をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達したり変更したりすることができる。

いくつかの実施形態では、図１１に示されているように、他のクロス成分クロマサンプル、たとえばクロマサンプル１１０２やその近隣のサンプルをＣＣＳＡＯ分類に入れることもできる（たとえば現在のクロマサンプル１１０４について行なわれる）。たとえば、ＣｒクロマサンプルをＣＣＳＡＯ Ｃｂ分類に入れることができる。ＣｂクロマサンプルをＣＣＳＡＯ Ｃｒ分類に入れることができる。クロス成分クロマサンプルの分類子がルマクロス成分分類子と同じであることが可能であるし、本開示で説明されているそれ特有の分類子を有することができる。２つの分類子を組み合せて現在のクロマサンプルを分類する協働分類子を形成することができる。たとえば、クロス成分ルマサンプルとクロス成分クロマサンプルとを組み合せた協働分類子によって、以下の表６－３に示されているように合計１６個のクラスが得られる。

上記のすべての分類（Ｃ０，Ｃ１，Ｃ１’，Ｃ２，Ｃ３）を組み合せることができる。たとえば、以下の表６－４を参照する。

いくつかの実施形態において、分類子の例（Ｃ２）では同一位置にあるルマサンプルと近隣のルマサンプルとの差分（Ｙｎ）を用いる。図１２（ｃ）はビット深度が１０である場合の［－１０２４，１０２３］であるダイナミックレンジを持つＹｎの例を示す。Ｃ２ ｂａｎｄ＿ｎｕｍがＹｎダイナミックレンジの均等分割されたバンドの個数であるとすると、
Ｃｌａｓｓ（Ｃ２）＝（Ｙｎ＋（１＜＜ｂｉｔ＿ｄｅｐｔｈ）＊ｂａｎｄ＿ｎｕｍ）＞＞（ｂｉｔ＿ｄｅｐｔｈ＋１）である。

いくつかの実施形態では、Ｃ０とＣ２とを組み合せて汎用的な分類子を得る。たとえば、以下の表７に示されているように異なるピクチャ（異なるＰＯＣ）に対して異なる分類子が適用される。

いくつかの実施形態では、上述のすべての分類子（Ｃ０，Ｃ１，Ｃ１’，Ｃ２）が組み合される。たとえば、以下の表８－１に示されているように異なるピクチャ（異なるＰＯＣ）に対して異なる分類子が適用される。

いくつかの実施形態において、以下の表８－２に示されているように、分類子の例（Ｃ４）では分類にＣＣＳＡＯ入力値と補償されるサンプル値との差分を用いる。たとえば、ＣＣＳＡＯがＡＬＦステージで適用される場合、現在の成分のＡＬＦ前サンプル値とＡＬＦ後サンプル値との差分が分類に用いられる。１つ以上の閾値を予め規定し（たとえば、ルックアップテーブル（ＬＵＴ）に入れておく）、または、ＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達して差分を分類する（量子化する）のを容易にすることができる。Ｃ４分類子をＣ０ Ｙ／Ｕ／Ｖ ｂａｎｄＮｕｍと組み合せて協働分類子を形成することができる（たとえば、表８－２に示されているＰＯＣ１の例）。

いくつかの実施形態において、異なる符号化モードで再構成画像に異なる歪み統計値が導入される場合があるので、分類子の例（Ｃ５）では「符号化情報」を用いてサブブロック分類を容易にする。ＣＣＳＡＯサンプルがそのサンプルの以前の符号化情報を用いて分類され、符号化情報の組合せによって分類子を形成することができ、たとえば、以下の表８－３に示されているように形成することができる。後述されている図３０はＣ５についての符号化情報の異なるステージの別の例を示す。

いくつかの実施形態において、分類子の例（Ｃ６）ではＹＵＶカラー変換値を分類に用いる。たとえば、現在のＹ成分を分類するために、１／１／１の同一位置にあるＹ／Ｕ／Ｖサンプル又は近隣のＹ／Ｕ／Ｖサンプルを、ＲＧＢに変換されたカラーになるように選択し、Ｃ３ ｂａｎｄＮｕｍを用いて、現在のＹ成分分類子になるようにＲ値を量子化する。

いくつかの実施形態では、現在の成分の分類の現在の成分情報のみを用いる他の分類子の例を、クロス成分分類として用いることができる。たとえば、図５及び表１に示されているように、ＥｄｇｅＩｄｘを導出し、現在のクロマサンプルを分類するのにルマサンプル情報及びｅｏ－クラスが用いられる。クロス成分分類子として用いることもできる他の「非クロス成分」分類子はエッジ方向、ピクセル強度、ピクセル変化、ピクセルの不一致、画素のラプラシアンの和（ｐｉｘｅｌ ｓｕｍ－ｏｆ－Ｌａｐｌａｃｉａｎ）、ソーベル演算子、コンパス演算子（ｃｏｍｐａｓｓ ｏｐｅｒａｔｏｒ）、ハイパスフィルタ値、ローパスフィルタ値などを含む。

いくつかの実施形態では、同じＰＯＣで複数の分類子が用いられる。現在のフレームがいくつかの領域分に分割され、各領域で同じ分類子を用いる。たとえば、ＰＯＣ０で異なる３つの分類子が用いられ、以下の表９に示されているようにどの分類子が用いられるのか（０か１か２か）がＣＴＵレベルで信号伝達される。

いくつかの実施形態では、複数の分類子の最大個数（複数の分類子は代替オフセット集合とも呼ばれる場合がある）をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて一定にしたり信号伝達したりすることができる。一例では、複数の分類子の一定（所定）の最大個数が４である。この場合、ＰＯＣ０で異なる４つの分類子が用いられ、どの分類子が用いられるのか（０か１か２か）がＣＴＵレベルで信号伝達される。各ルマＣＴＢ又は各クロマＣＴＢに用いられる分類子を示すのにＴｒｕｎｃａｔｅｄ－ｕｎａｒｙ（ＴＵ）符号を用いることができる。たとえば、以下の表１０に示されているように、ＴＵ符号が０である場合にはＣＣＳＡＯが適用されず、ＴＵ符号が１０である場合には集合０が適用され、ＴＵ符号が１１０である場合には集合１が適用され、ＴＵ符号が１１１０である場合には集合２が適用され、ＴＵ符号が１１１１である場合には集合３が適用される。固定長符号、ＣＴＢの分類子（オフセットセットインデックス）を示すのにゴロム・ライス符号及び指数ゴロム符号を用いることもできる。異なる３つの分類子がＰＯＣ１で用いられる。

１２８０×７２０シーケンスＰＯＣ０の場合のＣｂ ＣＴＢオフセット集合インデックス及びＣｒ ＣＴＢオフセット集合インデックスの例が説明されている（ＣＴＵサイズが１２８×１２８である場合、フレーム中のＣＴＵの個数は１０×６である）。ＰＯＣ０ Ｃｂでは４つのオフセット集合を用い、ＰＯＣ０ Ｃｒでは１つのオフセット集合を用いる。以下の表１１－１に示されているように、オフセット集合インデックスが０である場合にはＣＣＳＡＯが適用されず、オフセット集合インデックスが１である場合には集合０が適用され、オフセット集合インデックスが２である場合には集合１が適用され、オフセット集合インデックスが３である場合には集合２が適用され、オフセット集合インデックスが４である場合には集合３が適用される。タイプは、選択された同一位置にあるルマサンプル（Ｙｉ）の位置を表わす。異なるオフセット集合は異なるタイプ、ｂａｎｄ＿ｎｕｍ及び対応するオフセットを有することができる。

いくつかの実施形態では、同一位置にあるＹ／Ｕ／Ｖサンプル／現在のＹ／Ｕ／Ｖサンプル及び近隣のＹ／Ｕ／Ｖサンプルを分類に一緒に用いる例が以下の表１１－２に記載されている（Ｙ／Ｕ／Ｖ成分毎の３成分協働ｂａｎｄＮｕｍ分類）。ＰＯＣ０では、｛２，４，１｝のオフセット集合が｛Ｙ，Ｕ，Ｖ｝にそれぞれ用いられる。各オフセット集合をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて適応するように変更することができる。異なるオフセット集合が異なる分類子を有することができる。たとえば、図６Ｂ及び図６Ｃで候補位置（ｃａｎｄＰｏｓ）が指示しているように、現在のＹ４ルマサンプルを分類するために、Ｙ集合０が異なるｂａｎｄＮｕｍ｛Ｙ，Ｕ，Ｖ｝＝｛１６，１，２｝を用いて候補として｛現在のＹ４，同一位置にあるＵ４，同一位置にあるＶ４｝をそれぞれ選択する。選択された｛Ｙ，Ｕ，Ｖ｝候補のサンプル値として｛ｃａｎｄＹ，ｃａｎｄＵ，ｃａｎｄＶ｝を用いて、クラス総数は３２であり、クラスインデックスの導出を以下のように示すことができる。
ｂａｎｄＹ＝（ｃａｎｄＹ＊ｂａｎｄＮｕｍＹ）＞＞ＢｉｔＤｅｐｔｈ，
ｂａｎｄＵ＝（ｃａｎｄＵ＊ｂａｎｄＮｕｍＵ）＞＞ＢｉｔＤｅｐｔｈ，
ｂａｎｄＶ＝（ｃａｎｄＶ＊ｂａｎｄＮｕｍＶ）＞＞ＢｉｔＤｅｐｔｈ，
ｃｌａｓｓＩｄｘ＝ｂａｎｄＹ＊ｂａｎｄＮｕｍＵ＊ｂａｎｄＮｕｍＶ
＋ｂａｎｄＵ＊ｂａｎｄＮｕｍＶ
＋ｂａｎｄＶ

いくつかの実施形態では、協働分類子のｃｌａｓｓＩｄｘの導出を「ｏｒ－ｓｈｉｆｔ」形式として表現して導出プロセスを簡略化することができる。たとえば、ｍａｘ ｂａｎｄＮｕｍ＝｛１６，４，４｝
ｃｌａｓｓＩｄｘ＝（ｂａｎｄＹ＜＜４）｜（ｂａｎｄＵ＜＜２）｜ｂａｎｄＶ

別の例はＰＯＣ１成分Ｖ集合１分類内の例である。この例では、ｂａｎｄＮｕｍ＝｛４，１，２｝の場合のｃａｎｄＰｏｓ＝｛近隣のＹ８，近隣のＵ３，近隣のＶ０｝を用い、これにより、８つのクラスが得られる。

いくつかの実施形態では、同一位置にあるＹ／Ｕ／Ｖサンプル及び近隣のＹ／Ｕ／Ｖサンプルを現在のＹ／Ｕ／Ｖサンプル分類に一緒に用いる例がたとえば以下の表１１－３に示されているように記載されている（Ｙ／Ｕ／Ｖ成分毎の３成分協働ｅｄｇｅＮｕｍ（Ｃ１ｓ）及びｂａｎｄＮｕｍ分類）。エッジＣａｎｄＰｏｓはＣ１ｓ分類子に用いられる中央の位置であり、エッジビットマスクはＣ１ｓ近隣サンプルアクティベーションインジケータであり、ｅｄｇｅＮｕｍはＣ１ｓクラスの対応する個数である。この例では、Ｃ１ｓがＹ分類子にのみ適用され（したがって、ｅｄｇｅＮｕｍがｅｄｇｅＮｕｍＹに等しい）、エッジｃａｎｄＰｏｓは常にＹ４である（現在のサンプル位置／同一位置にあるサンプル位置）。一方で、近隣のサンプル位置としてエッジｃａｎｄＰｏｓを用いる場合、Ｃ１ｓをＹ／Ｕ／Ｖ分類子に適用することができる。

Ｙ Ｃ１ｓの比較スコアをｄｉｆｆで表わす場合、ｃｌａｓｓＩｄｘの導出は以下の通りであることが可能である。
ｂａｎｄＹ＝（ｃａｎｄＹ＊ｂａｎｄＮｕｍＹ）＞＞ＢｉｔＤｅｐｔｈ，
ｂａｎｄＵ＝（ｃａｎｄＵ＊ｂａｎｄＮｕｍＵ）＞＞ＢｉｔＤｅｐｔｈ，
ｂａｎｄＶ＝（ｃａｎｄＶ＊ｂａｎｄＮｕｍＶ）＞＞ＢｉｔＤｅｐｔｈ，
ｅｄｇｅＩｄｘ＝ｄｉｆｆ＋（ｅｄｇｅＮｕｍ＞＞１），
ｂａｎｄＩｄｘ＝ｂａｎｄＹ＊ｂａｎｄＮｕｍＵ＊ｂａｎｄＮｕｍＶ
＋ｂａｎｄＵ＊ｂａｎｄＮｕｍＶ
＋ｂａｎｄＶ
ｃｌａｓｓＩｄｘ＝ｂａｎｄＩｄｘ＊ｅｄｇｅＮｕｍ＋ｅｄｇｅＩｄｘ

いくつかの実施形態では、最大ｂａｎｄ＿ｎｕｍ（ｂａｎｄＮｕｍＹ，ｂａｎｄＮｕｍＵ又はｂａｎｄＮｕｍＶ）をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて一定にしたり信号伝達したりすることができる。たとえば、デコーダでフレーム毎に最大ｂａｎｄ＿ｎｕｍ＝１６を一定にすると、フレームでＣ０ ｂａｎｄ＿ｎｕｍを通知するのに４ビットが信号伝達される。他の最大ｂａｎｄ＿ｎｕｍの例が表１２で後述されている。

いくつかの実施形態では、各集合（又は加えられたすべての集合）のクラス又はオフセットの最大個数（複数の分類子を一緒に用いる組合せ、たとえば、Ｃ１ｓ ｅｄｇｅＮｕｍ＊Ｃ１ｂａｎｄＮｕｍＹ＊ｂａｎｄＮｕｍＵ＊ｂａｎｄＮｕｍＶ）をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて一定にしたり信号伝達したりすることができる。たとえば、加えられたすべての集合に対して最大値が一定にされ（ｃｌａｓｓ＿ｎｕｍ＝２５６＊４）、制約を確認するのにエンコーダ適合性確認又はデコーダ基準適合確認を用いることができる。

いくつかの実施形態では、制限、たとえば、ｂａｎｄ＿ｎｕｍ（ｂａｎｄＮｕｍＹ，ｂａｎｄＮｕｍＵ又はｂａｎｄＮｕｍＶ）を２の累乗の値のみになるように制限する制限をＣ０分類に適用することができる。ｂａｎｄ＿ｎｕｍを信号伝達で明示的に示す代わりに、シンタックスｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔを信号伝達する。デコーダではシフト演算を用いて乗算を回避することができる。異なるｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔを異なる成分に用いることができる。
Ｃｌａｓｓ（Ｃ０）＝（Ｙ０＞＞ｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔ）＞＞ｂｉｔ＿ｄｅｐｔｈ

別の演算の例は誤差を減らすために丸めを考慮に入れるものである。
Ｃｌａｓｓ（Ｃ０）＝（（Ｙ０＋（１＜＜（ｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔ－１）））＞＞ｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔ）＞＞ｂｉｔ＿ｄｅｐｔｈ

たとえば、ｂａｎｄ＿ｎｕｍ＿ｍａｘ（Ｙ，Ｕ又はＶ）が１６である場合、表１３に示されているように、可能なｂａｎｄ＿ｎｕｍ＿ｓｈｉｆｔ候補はｂａｎｄ＿ｎｕｍ＝１，２，４，８，１６に対応して０，１，２，３，４である。

いくつかの実施形態では、Ｃｂに適用される分類子とＣｒに適用される分類子とは異なる。すべてのクラスのＣｂオフセットとＣｒオフセットとを個別に信号伝達することができる。たとえば、以下の表１４に示されているように、信号伝達された異なるオフセットが異なるクロマ成分に適用される。

いくつかの実施形態では、最大オフセット値が連続パラメータセット（ＳＰＳ）／適応パラメータセット（ＡＰＳ）／ピクチャパラメータセット（ＰＰＳ）／ピクチャヘッダ（ＰＨ）／スライスヘッダ（ＳＨ）／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて一定にされたり信号伝達されたりする。たとえば、最大オフセットは［－１５，１５］の間にある。異なる成分が異なる最大オフセット値を有することができる。

いくつかの実施形態では、オフセットの信号伝達に差分パルス符号変調（ＤＰＣＭ）を用いることができる。たとえば、オフセット｛３，３，２，１，－１｝を｛３，０，－１，－１，－２｝として信号伝達することができる。

いくつかの実施形態では、オフセットを次のピクチャ／スライスの再度使用のためにＡＰＳ又はメモリバッファに記憶することができる。記憶された以前のフレームオフセットのいずれが現在のピクチャに用いられるのかを示すためにインデックスを信号伝達することができる。

いくつかの実施形態では、Ｃｂの分類子とＣｒの分類子とが同じである。すべてのクラスのＣｂオフセットとＣｒオフセットとを、たとえば以下の表１５に示されているように一緒に信号伝達することができる。

いくつかの実施形態では、Ｃｂの分類子とＣｒの分類子とが同じであることが可能である。異なる符号フラグを用いてすべてのクラスのＣｂオフセットとＣｒオフセットとを、たとえば以下の表１６に示されているように一緒に信号伝達することができる。表１６によると、Ｃｂオフセットが（３，３，２，－１）である場合、導出されたＣｒオフセットは（－３，－３，－２，１）である。

いくつかの実施形態では、符号フラグをクラス毎に、たとえば以下の表１７に示されているように信号伝達することができる。表１７によると、Ｃｂオフセットが（３，３，２，－１）である場合、それぞれの符号を含むフラグにしたがえば導出されたＣｒオフセットは（－３，３，２，１）である。

いくつかの実施形態では、Ｃｂの分類子とＣｒの分類子とが同じであることが可能である。異なる重みを用いてすべてのクラスのＣｂオフセットとＣｒオフセットとを、たとえば以下の表１８に示されているように一緒に信号伝達することができる。重み（ｗ）を限られたテーブル、たとえば、±１／４，±１／２，０，±１，±２，±４…などから選択することができ、｜ｗ｜は２の累乗の値のみを含む。表１８によると、Ｃｂオフセットが（３，３，２，－１）である場合、それぞれの符号を含むフラグにしたがえば導出されたＣｒオフセットは（－６，－６，－４，２）である。

いくつかの実施形態では、重みをクラス毎に、たとえば以下の表１９に示されているように信号伝達することができる。表１９によると、Ｃｂオフセットが（３，３，２，－１）である場合、それぞれの符号を含むフラグにしたがえば導出されるＣｒオフセットは（－６，１２，０，－１）である。

いくつかの実施形態では、複数の分類子が同じＰＯＣで用いられる場合、異なるオフセット集合が個別に信号伝達されたり一緒に信号伝達されたりする。

いくつかの実施形態では、以前に復号されたオフセットを将来のフレームの使用に備えて記憶することができる。以前に復号されたオフセット集合のいずれが現在のフレームに用いられるのかを示すためにインデックスを信号伝達して、オフセットの信号伝達のオーバーヘッドを抑えることができる。たとえば、表２０に示されているようにオフセット集合ｉｄｘ＝０を信号伝達することでＰＯＣ０のオフセットをＰＯＣ２によって再度使用することができる。

いくつかの実施形態では、たとえば以下の表２１で示されているようにＣｂの再度使用オフセットセットｉｄｘとＣｒの再度使用オフセットセットｉｄｘとが異なることが可能である。

いくつかの実施形態では、オフセットの信号伝達に、起点（ｓｔａｒｔ）と長さ（ｌｅｎｇｔｈ）を含む追加のシンタックスを用いて、信号伝達のオーバーヘッドを抑えることができる。たとえば、ｂａｎｄ＿ｎｕｍ＝２５６の場合、ｂａｎｄ＿ｉｄｘ＝３７～４４のオフセットのみが信号伝達される。表２２－１の以下の例では、起点（ｓｔａｒｔ）のシンタックスと長さ（ｌｅｎｇｔｈ）のシンタックスとの両方が８ビットの固定長でコード化され、これは当然ｂａｎｄ＿ｎｕｍビットに合致する。

いくつかの実施形態では、ＣＣＳＡＯがすべてのＹＵＶ ３成分に適用される場合、同一位置にあるＹＵＶサンプルと近隣のＹＵＶサンプルとを分類に一緒に用いることができ、上述されているＣｂ／Ｃｒのオフセット信号伝達方法のすべてをＹ／Ｃｂ／Ｃｒに拡張することができる。いくつかの実施形態では、異なる成分オフセット集合を個別に記憶して用いたり（各成分は独自の記憶された集合を有する）、一緒に記憶して用いたり（各成分は同じ記憶物を共有／再度使用する）することができる。個別の集合の例は以下の表２２－２に示されている。

いくつかの実施形態では、シーケンスビット深度が１０（又は特定のビット深度）を超える場合、信号伝達の前にオフセットを量子化することができる。デコーダ側では、以下の表２３に示されているように、復号されたオフセットを適用する前にこれを逆量子化する。たとえば、１２ビットのシーケンスの場合、復号されたオフセットを２だけ左にシフトする（逆量子化する）。

いくつかの実施形態では、オフセットをＣｃＳａｏＯｆｆｓｅｔＶａｌ＝（１－２＊ｃｃｓａｏ＿ｏｆｆｓｅｔ＿ｓｉｇｎ＿ｆｌａｇ）＊（ｃｃｓａｏ＿ｏｆｆｓｅｔ＿ａｂｓ＜＜（ＢｉｔＤｅｐｔｈ－Ｍｉｎ（１０，ＢｉｔＤｅｐｔｈ）））のように計算することができる。

いくつかの実施形態では、本記載でフィルタの強さの概念をさらに導入する。たとえば、分類子オフセットをサンプルに適用する前に重み付けをさらに行なうことができる。重み（ｗ）を２の累乗の値のテーブルから選択することができる。たとえば、±１／４，±１／２，０，±１，±２，±４…などであり、｜ｗ｜は２の累乗の値のみを含む。重みインデックスをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域（Ｓｅｔ）／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで信号伝達することができる。量子化されたオフセットの信号伝達をこのような重みの適用の部分集合としてとらえることができる。図６Ｄに示されているように再帰的ＣＣＳＡＯが適用される場合、同様の重みインデックスメカニズムを第１のステージと第２のステージとの間に適用することができる。

いくつかの例で、異なる分類子に対する重み付け、すなわち、複数の分類子のオフセットを重みを組み合せて同じサンプルに適用することができる。同様の重みインデックスメカニズムを上記のように信号伝達で示すことができる。たとえば、
ｏｆｆｓｅｔ＿ｆｉｎａｌ＝ｗ＊ｏｆｆｓｅｔ＿１＋（１－ｗ）＊ｏｆｆｓｅｔ＿２又は
ｏｆｆｓｅｔ＿ｆｉｎａｌ＝ｗ１＊ｏｆｆｓｅｔ＿１＋ｗ２＊ｏｆｆｓｅｔ＿２＋…

いくつかの実施形態では、サンプル処理は後述されているものである。Ｒ（ｘ，ｙ）がＣＣＳＡＯ前の入力ルマサンプル値又は入力クロマサンプル値であるとし、Ｒ’（ｘ，ｙ）がＣＣＳＡＯ後の出力ルマサンプル値又は出力クロマサンプル値であるとする。
ｏｆｆｓｅｔ＝ｃｃｓａｏ＿ｏｆｆｓｅｔ［ｃｌａｓｓ＿ｉｎｄｅｘｏｆＲ（ｘ，ｙ）］
Ｒ’（ｘ，ｙ）＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｒ（ｘ，ｙ）＋ｏｆｆｓｅｔ）

上記の式にしたがって、各ルマ又はクロマサンプル値Ｒ（ｘ，ｙ）を現在のピクチャの通知された分類子及び／又は現在のオフセット集合ｉｄｘを用いて分類する。導出されたクラスインデックスの対応するオフセットを各ルマ又はクロマサンプル値Ｒ（ｘ，ｙ）に加える。クリップ関数Ｃｌｉｐ ３を（Ｒ（ｘ，ｙ）＋ｏｆｆｓｅｔ）に適用して、出力ルマ又はクロマサンプル値Ｒ’（ｘ，ｙ）をビット深度ダイナミックレンジ（たとえば、ｒａｎｇｅ ０～（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１）に入れる。

いくつかの実施形態では、境界処理は後述されているものである。分類に用いられる同一位置にあるルマ（クロマ）サンプル及び近隣のルマ（クロマ）サンプルのいずれかが現在のピクチャの外側にある場合には、ＣＣＳＡＯは現在のクロマ（ルマ）サンプルに適用されない。図１３Ａは本開示のいくつかの実現例に係る、分類に用いられる同一位置にあるルマ（クロマ）サンプル及び近隣のルマ（クロマ）サンプルのいずれかが現在のピクチャの外側にある場合にＣＣＳＡＯが現在のクロマ（ルマ）サンプルに適用されないことを示すブロック図である。たとえば、図１３Ａ（ａ）では、分類子が用いられる場合、現在のピクチャの左１列のクロマ成分にＣＣＳＡＯが適用されない。たとえば、Ｃ１’が用いられる場合、図１３Ａ（ｂ）に示されているように、現在のピクチャの左１列と上１行のクロマ成分にＣＣＳＡＯが適用されない。

図１３Ｂは本開示のいくつかの実現例に係る、分類に用いられる同一位置にあるルマサンプル又はクロマサンプル及び近隣のルマサンプル又はクロマサンプルのいずれかが現在のピクチャの外側にある場合にＣＣＳＡＯが現在のルマサンプル又は現在のクロマサンプルに適用されることを示すブロック図である。いくつかの実施形態では、分類に用いられる同一位置にあるルマサンプル又はクロマサンプル及び近隣のルマサンプル又はクロマサンプルのいずれかが現在のピクチャの外側にある場合、図１３Ｂ（ａ）に示されているように処理漏れサンプルを反復して用いたり、図１３Ｂ（ｂ）に示されているように処理漏れサンプルにミラーパディングを行なって分類のためにサンプルを作成したりし、現在のルマサンプル又は現在のクロマサンプルにＣＣＳＡＯを適用することができるというものが変形例である。いくつかの実施形態では、分類に用いられる同一位置にあるルマ（クロマ）サンプル及び近隣のルマ（クロマ）サンプルのいずれかが現在のサブピクチャ／スライス／タイル／パッチ／ＣＴＵ／３６０仮想境界の外側にある場合、本出願で開示されている無効化／反復／ミラーピクチャ境界処理方法をサブピクチャ／スライス／タイル／ＣＴＵ／３６０仮想境界に適用することもできる。

たとえば、ピクチャが１つ以上のタイル行と１つ以上のタイル列に分割される。タイルはピクチャの矩形領域をカバーする一連のＣＴＵである。

スライスは整数個の完全なタイル、又はピクチャのタイル内の連続する整数個の完全なＣＴＵ行からなる。

サブピクチャは、ピクチャの矩形領域をまとまってカバーする１つ以上のスライスを含む。

いくつかの実施形態では、３６０度映像は球体上で撮像され、性質上「境界」がなく、投影ドメインで参照ピクチャの境界外にある参照サンプルを常に球体ドメインで近隣のサンプルから取得することができる。複数の面（ｆａｃｅ）で構成される投影フォーマットでは、いかなる種類のコンパクトなフレームパッキング構成が用いられる場合であっても、フレームパッキングが用いられたピクチャ中の隣接する２つ以上の面の間に不連続箇所が現れる。ＶＶＣでは、ループ内フィルタリング操作が無効にされている垂直及び／又は水平仮想境界が導入され、当該境界の位置がＳＰＳかピクチャヘッダかのいずれかで信号伝達される。連続面の集合毎に１つずつ、２つのタイルを用いるのと比較して、面サイズがＣＴＵサイズの倍数である必要がないので、３６０仮想境界の使用の仕方はより柔軟である。いくつかの実施形態では、垂直３６０仮想境界の最大個数が３であり、水平３６０仮想境界の最大個数も３である。いくつかの実施形態では、２つの仮想境界の距離がＣＴＵサイズ以上であり、仮想境界の粒度が８ルマサンプル（たとえば８×８サンプル格子）である。

図１４は本開示のいくつかの実現例に係れば、分類に用いられる、現在のクロマサンプルに対応する選択された同一位置にあるルマサンプル又は近隣のルマサンプルが仮想境界によって定められた仮想空間の外側にある場合、現在のクロマサンプルにＣＣＳＡＯが適用されないことを示すブロック図である。いくつかの実施形態では、仮想境界（ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ：ＶＢ）はピクチャフレーム内の空間を分離する仮想線である。いくつかの実施形態では、仮想境界（ＶＢ）が現在のフレームに適用される場合、仮想境界によって定められた仮想空間の外側にある選択された対応するルマ位置にあるクロマサンプルにＣＣＳＡＯが適用されない。図１４は９つのルマの位置候補をともなうＣ０分類子に仮想境界が用いられる例を示す。各ＣＴＵについて、対応する選択されたルマ位置が仮想境界によって囲まれる仮想空間の外側にあるクロマサンプルにはＣＣＳＡＯが適用されない。たとえば、図１４（ａ）では、クロマサンプル１４０２に対して選択されたＹ７ルマサンプル位置がフレームの最下部側から画素ライン４本の位置にある水平仮想境界１４０６の別の側にある場合、クロマサンプル１４０２にＣＣＳＡＯが適用されない。たとえば、図１４（ｂ）では、クロマサンプル１４０４に対して選択されたＹ５ルマサンプル位置がフレームの右側から画素ラインｙ本の位置にある垂直仮想境界１４０８の別の側にある場合、クロマサンプル１４０４にＣＣＳＡＯが適用されない。

図１５は本開示のいくつかの実現例に係る、仮想境界の外側にあるルマサンプルに反復パディング又はミラーパディングを適用することができることを示す。図１５（ａ）は反復パディングの例を示す。元のＹ７がＶＢ１５０２の最下部側に位置する分類子になるように選択される場合、元のＹ７ルマサンプル値の代わりにＹ４ルマサンプル値が分類に用いられる（Ｙ７位置にコピーされる）。図１５（ｂ）はミラーパディングの例を示す。Ｙ７がＶＢ１５０４の最下部側に位置する分類子になるように選択される場合、元のＹ７ルマサンプル値の代わりに、Ｙ０ルマサンプルに対してＹ７値と対称になっているＹ１ルマサンプル値が分類に用いられる。パディング方法によってＣＣＳＡＯが適用される可能性がより多くのクロマサンプルに与えられるので、高い符号化ゲインを実現することができる。

いくつかの実施形態では、ＣＣＳＡＯに必要なラインバッファを削減して境界処理状態の確認を単純化するために制限を適用することができる。図１６は本開示のいくつかの実現例に係れば、９つの同一位置にあるルマサンプル及び近隣のルマサンプルのすべてが分類に用いられる場合、さらに１つのルマラインバッファ（すなわち、現在のＶＢ１６０２よりも上のライン－５のラインルマサンプル全部）が必要である場合があることを示す。図１０Ｂ（ａ）は、６つのルマ候補のみを分類に用いる例を示し、この例ではラインバッファが削減され、図１３Ａ及び図１３Ｂのいかなる追加の境界確認も必要ではない。

いくつかの実施形態では、ルマサンプルをＣＣＳＡＯ分類に用いることで、ルマラインバッファが増加し、したがって、デコーダハードウェアの実施コストが増大する場合がある。図１７は本開示のいくつかの実現例に係れば、９つのルマ候補のＣＣＳＡＯがＶＢ１７０２を横切ることでさらに２つのルマラインバッファが増える場合があるというＡＶＳの図を示す。仮想境界（ＶＢ）１７０２よりも上のルマサンプル及びクロマサンプルについては、現在のＣＴＵ行でＤＢＦ／ＳＡＯ／ＡＬＦが処理される。ＶＢ１７０２よりも下のルマサンプル及びクロマサンプルについては、次のＣＴＵ行でＤＢＦ／ＳＡＯ／ＡＬＦが処理される。ＡＶＳのデコーダハードウェア設計では、ルマライン－１～－４のＤＢＦ前サンプル、ライン－５のＳＡＯ前サンプル及びクロマライン－３～－１のＤＢＦ前サンプル、ライン－４のＳＡＯ前サンプルが次のＣＴＵ行のＤＢＦ／ＳＡＯ／ＡＬＦ処理に備えてラインバッファとして記憶される。次のＣＴＵ行を処理する場合、ラインバッファにないルマサンプル及びクロマサンプルは利用できない。しかし、たとえば、クロマライン－３（ｂ）位置で、次のＣＴＵ行でクロマサンプルが処理され、その一方で、ＳＡＯ前ルマサンプルライン－７，－６及び－５がＣＣＳＡＯで分類に必要である。ＳＡＯ前ルマサンプルライン－７，－６はラインバッファにないので、これらは利用できない。また、ＳＡＯ前ルマサンプルライン－７及び－６をラインバッファに加えることで、デコーダハードウェアの実施コストが増大する。いくつかの例では、ルマＶＢ（ライン－４）とクロマＶＢ（ライン－３）とが異なる場合がある（揃わない）。

図１７と同様に、図１８Ａは本開示のいくつかの実現例に係る、９つのルマ候補のＣＣＳＡＯがＶＢ１８０２を横切ることでさらに１つのルマラインバッファが増える場合があるというＶＶＣの図を示す。異なる規格でＶＢが異なる場合がある。ＶＶＣでは、ルマＶＢがライン－４であり、クロマＶＢがライン－２であるので、９つの候補のＣＣＳＡＯによって１つのルマラインバッファが増える場合がある。

いくつかの実施形態では、第１の解決手段では、クロマサンプルのルマ候補のいずれかがＶＢを越えている（現在のクロマサンプルＶＢの外側にある）場合、ＣＣＳＡＯがクロマサンプルに対して無効にされる。図１９Ａ～図１９Ｃは、本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢ１９０２を越えている（現在のクロマサンプルＶＢの外側にある）場合、ＣＣＳＡＯがクロマサンプルに対して無効にされることを示す。図１４は本実現例のいくつかの例も示す。

いくつかの実施形態では、第２の解決手段では、「ＶＢ横断（ｃｒｏｓｓ ＶＢ）」ルマ候補に対して、ＶＢの近傍にありかつＶＢの別の側にあるルマライン、たとえば、ルマライン－４からＣＣＳＡＯに反復パディングが用いられる。いくつかの実施形態では、ＶＢよりも下にある近隣のものに最も近いルマからの反復パディングが「ＶＢ横断」クロマ候補に実施される。図２０Ａ～図２０Ｃは、本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢ２００２を越えている（現在のクロマサンプルＶＢの外側にある）場合、反復パディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。図１４（ａ）は本実現例のいくつかの例も示す。

いくつかの実施形態では、第３の解決手段では、「ＶＢ横断」ルマ候補についてルマＶＢよりも下からＣＣＳＡＯにミラーパディングが用いられる。図２１Ａ～図２１Ｃは、本開示のいくつかの実現例に係れば、ＡＶＳ及びＶＶＣでは、クロマサンプルのルマ候補のいずれかがＶＢ２１０２を越えている（現在のクロマサンプルＶＢの外側にある）場合、ミラーパディングを用いてＣＣＳＡＯがクロマサンプルに対して有効にされることを示す。図１４（ｂ）及び図１３Ｂ（ｂ）は本実現例のいくつかの例も示す。いくつかの実施形態では、第４の解決手段では、ＣＣＳＡＯを適用するのに「両側対称パディング（ｄｏｕｂｌｅ ｓｉｄｅｄ ｓｙｍｍｅｔｒｉｃ ｐａｄｄｉｎｇ）」が用いられる。図２２Ａ～図２２Ｂは、本開示のいくつかの実現例に係れば、異なるＣＣＳＡＯ形状のいくつかの例（たとえば、９つのルマの候補（図２２Ａ）や８つのルマの候補（図２２Ｂ））に両側対称パディングを用いてＣＣＳＡＯが有効にされることを示す。クロマサンプルの同一位置にある中央のルマサンプルを含むルマサンプル集合について、ルマサンプル集合の一方の側がＶＢ２２０２の外側にある場合、ルマサンプル集合の両側に両側対称パディングが適用される。たとえば、図２２Ａでは、ルマサンプルＹ０，Ｙ１及びＹ２がＶＢ２２０２の外側にあるので、Ｙ０，Ｙ１，Ｙ２とＹ６，Ｙ７，Ｙ８との両方にＹ３，Ｙ４，Ｙ５を用いてパディングが行なわれる。たとえば、図２２Ｂでは、ルマサンプルＹ０がＶＢ２２０２の外側にあるので、Ｙ０にＹ２を用いてパディングが行なわれ、Ｙ７にＹ５を用いてパディングが行なわれる。

図１８Ｂは、本開示のいくつかの実現例に係れば、同一位置にあるクロマサンプル又は近隣のクロマサンプルが現在のルマサンプルを分類するのに用いられる場合、選択されたクロマ候補がＶＢを越えている場合があり、追加のクロマラインバッファが必要である場合があるという図を示す。上述の同様の解決手段１～４を、問題を扱うのに用いることができる。

解決手段１は、ルマサンプルのクロマ候補のいずれかがＶＢを越えて別の側にあり得る場合にルマサンプルに対してＣＣＳＡＯを無効にするものである。

解決手段２は、「ＶＢ横断」クロマ候補に対して、ＶＢよりも下にある近隣のものに最も近いクロマから反復パディングを用いるものである。

解決手段３は、「ＶＢ横断」クロマ候補にクロマＶＢよりも下からミラーパディングを用いるものである。

解決手段４は「両側対称パディング」を用いるものである。ＣＣＳＡＯの同一位置にあるクロマサンプルの中央にある候補集合について、候補集合の一方の側がＶＢの外側にある場合、両側に両側対称パディングが適用される。

パディング方法によってＣＣＳＡＯが適用される可能性がより多くのルマサンプル又はクロマサンプルに与えられるので、高い符号化ゲインを実現することができる。

いくつかの実施形態では、最下ピクチャ（又はスライス、タイル、ブリック（ｂｒｉｃｋ））境界のＣＴＵ行で、ＶＢよりも下のサンプルが現在のＣＴＵ行で処理されるので、上記の特別な処理（解決手段１，２，３，４）は最下ピクチャ（又はスライス、タイル、ブリック）境界のＣＴＵ行で適用されない。たとえば、１９２０×１０８０のフレームが１２８×１２８のＣＴＵに分割される。フレームは１５×９ＣＴＵ（切り上げ）を含む。最下ＣＴＵ行は１５番目のＣＴＵ行である。復号プロセスはＣＴＵ行毎のプロセスであり、各ＣＴＵ行についてＣＴＵ毎のプロセスである。現在のＣＴＵ行と次のＣＴＵ行との水平ＣＴＵ境界に沿ってデブロッキングを適用する必要がある。１つのＣＴＵ内の最下の４／２のルマ／クロマラインで、ＤＢＦサンプル（ＶＶＣの場合）が次のＣＴＵ行で処理され、現在のＣＴＵ行でＣＣＳＡＯに利用できないので、ＣＴＢ ＶＢはＣＴＵ行毎に適用される。一方で、ピクチャフレームの最下ＣＴＵ行で、最下の４／２のルマ／クロマラインのＤＢＦサンプルが現在のＣＴＵ行で利用できる。これは、残った次のＣＴＵ行がなく、これらが現在のＣＴＵ行でＤＢＦ処理されるからである。

いくつかの実施形態では、図１３～図２２に示されているＶＢをサブピクチャ／スライス／タイル／パッチ／ＣＴＵ／３６０仮想境界の境界に置換することができる。いくつかの実施形態では、図１３～図２２のクロマサンプル及びルマサンプルの位置を変更することができる。いくつかの実施形態では、図１３～図２２のクロマサンプル及びルマサンプルの位置を第１のクロマサンプル及び第２のクロマサンプルの位置に置換することができる。いくつかの実施形態では、ＣＴＵ内側のＡＬＦ ＶＢは通常は水平であるといえる。いくつかの実施形態では、サブピクチャ／スライス／タイル／パッチ／ＣＴＵ／３６０仮想境界の境界が水平であっても垂直であってもよい。

いくつかの実施形態では、図１６で説明されているようにＣＣＳＡＯに必要なラインバッファを削減して境界処理状態の確認を単純化するために制限を適用することができる。図２３は本開示のいくつかの実現例に係る限られた個数のルマ候補を分類に用いる制限を示す。図２３（ａ）は６つのルマ候補のみを分類に用いる制限を示す。図２３（ｂ）は４つのルマ候補のみを分類に用いる制限を示す。

いくつかの実施形態では、適用された領域が実施される。ＣＣＳＡＯ適用領域の単位はＣＴＢを用いるものであることが可能である。すなわち、オン／オフ制御、ＣＣＳＡＯパラメータ（分類、オフセット集合インデックスに用いられるオフセット、ルマ候補位置、ｂａｎｄ＿ｎｕｍ、ビットマスク…など）が１つのＣＴＢ内と同じである。

いくつかの実施形態では、適用された領域をＣＴＢ境界に揃えることができない。たとえば、適用された領域はクロマＣＴＢ境界と揃わず、ずれている。シンタックス（オン／オフ制御、ＣＣＳＡＯパラメータ）についてもＣＴＢ毎に信号伝達されるが、完璧に適用された領域がＣＴＢ境界と揃わない。図２４は、本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域がＣＴＢ／ＣＴＵ境界２４０６と揃わないことを示す。たとえば、適用された領域がクロマＣＴＢ／ＣＴＵ境界２４０６と揃わないが、左上にずれた（４，４）サンプルはＶＢ２４０８と揃う。同じデブロッキングパラメータが８×８デブロッキングプロセス領域毎に用いられるので、この揃わないＣＴＢ境界設計はデブロッキングプロセスに有用である。

いくつかの実施形態では、表２４に示されているように、ＣＣＳＡＯ適用領域の単位（マスクサイズ）が様々な単位（ＣＴＢサイズよりも大きかったり小さかったりする単位）であることが可能である。異なる成分に対してマスクサイズが異なることが可能である。マスクサイズをＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルにおいて変更することができる。たとえば、一連のマスクオン／オフフラグとオフセット集合インデックスとをＰＨで信号伝達して各ＣＣＳＡＯ領域情報を通知する。

いくつかの実施形態では、ＣＣＳＡＯ適用領域のフレームの分割を変更しないようにすることができる。たとえば、フレームをＮ個の領域に分割する。図２５は本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域のフレームの分割を、ＣＣＳＡＯパラメータを用いて変更しないようにすることができることを示す。

いくつかの実施形態では、領域毎にその領域特有の領域オン／オフ制御フラグ及びＣＣＳＡＯパラメータがあることが可能である。また、領域サイズがＣＴＢサイズよりも大きい場合、ＣＴＢオン／オフ制御フラグと領域オン／オフ制御フラグとがあることが可能である。図２５（ａ）及び（ｂ）はフレームをＮ個の領域に分割するいくつかの例を示す。図２５（ａ）は４つの領域の垂直分割を示す。図２５（ｂ）は４つの領域の正方形分割を示す。いくつかの実施形態では、すべてで制御フラグがオンであるピクチャレベルＣＴＢ（ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ／ｐｈ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ）と同様に、領域オン／オフ制御フラグがオフである場合、ＣＴＢオン／オフフラグをさらに信号伝達することができる。それ以外の場合、ＣＴＢフラグをさらに信号伝達せずに、この領域内のすべてのＣＴＢにＣＣＳＡＯが適用される。

いくつかの実施形態では、ＣＣＳＡＯが適用された異なる領域で同じ領域オン／オフ制御及びＣＣＳＡＯパラメータを共有することができる。たとえば、図２５（ｃ）では、領域０～２で同じパラメータを共有し、領域３～１５で同じパラメータを共有する。図２５（ｃ）は領域のオン／オフ制御フラグ及びＣＣＳＡＯパラメータをヒルベルトスキャン順で信号伝達することができることも示している。

いくつかの実施形態では、ＣＣＳＡＯ適用領域の単位をピクチャ／スライス／ＣＴＢレベルから四分木分割／二分木分割／三分木分割することができる。ＣＴＢ分割と同様に、一連の分割フラグを信号伝達してＣＣＳＡＯ適用領域の分割を通知する。図２６は本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域をフレーム／スライス／ＣＴＢレベルから二分木（ＢＴ）分割／四分木（ＱＴ）分割／三分木（ＴＴ）分割することができることを示す。

図２７は本開示のいくつかの実現例に係れば、ピクチャフレーム内で複数の分類子が用いられ、異なるレベルで変更されることを示すブロック図である。いくつかの実施形態では、複数の分類子が１つのフレームで用いられる場合、分類子集合インデックスを適用する方法の方法をＳＰＳ／ＡＰＳ／ＰＰＳ／ＰＨ／ＳＨ／領域／ＣＴＵ／ＣＵ／サブブロック／サンプルレベルで変更することができる。たとえば、以下の表２５に示されているように、フレームで分類子の４つ集合が用いられ、ＰＨで変更される。図２７（ａ）及び（ｃ）は初期設定の変更のない領域分類子を示す。図２７（ｂ）は分類子集合インデックスがマスク／ＣＴＢレベルで信号伝達されることを示し、０はこのＣＴＢに対してＣＣＳＡＯがオフであることを示し、１～４は集合インデックスを示す。

いくつかの実施形態では、初期設定の領域の場合において、この領域のＣＴＢで初期設定の集合インデックス（たとえば、領域レベルフラグは０である）を用いず、このフレームで他の分類子集合を用いるとき、領域レベルフラグを信号伝達することができる。たとえば、初期設定の集合インデックスが用いられる場合には領域レベルフラグは１である。たとえば、４つの領域の正方形分割では、以下の表２６に示されているように以下の分類子集合が用いられる。

図２８は本開示のいくつかの実現例に係れば、ＣＣＳＡＯ適用領域の分割が動的な分割であり、ピクチャレベルで変更されることが可能であることを示すブロック図である。たとえば、図２８（ａ）は３つのＣＣＳＡＯオフセット集合がこのＰＯＣ（ｓｅｔ＿ｎｕｍ＝３）で用いられることを示すので、ピクチャフレームが３つの領域に垂直分割される。図２８（ｂ）は４つのＣＣＳＡＯオフセット集合がこのＰＯＣ（ｓｅｔ＿ｎｕｍ＝４）で用いられることを示すので、ピクチャフレームが４つの領域に水平分割される。図２８（ｃ）は３つのＣＣＳＡＯオフセット集合がこのＰＯＣ（ｓｅｔ＿ｎｕｍ＝３）で用いられることを示すので、ピクチャフレームが３つの領域にラスタ分割される。領域毎に領域のすべてでオンである、その領域固有のフラグがあり、各ＣＴＢのオン／オフ制御ビットを節減することができる。領域の個数は信号伝達されたピクチャｓｅｔ＿ｎｕｍに依存する。

ＣＣＳＡＯ適用領域はブロックの内側の符号化情報（サンプル位置、サンプル符号化モード、ループフィルタパラメータなど）にしたがう特定の領域であることが可能である。たとえば、１）サンプルがスキップモードで符号化される場合にだけ、ＣＣＳＡＯ適用領域を適用することができる、又は２）ＣＣＳＡＯ適用領域が、ＣＴＵ境界に沿ったＮ個のサンプルのみを含む、又は３）ＣＣＳＡＯ適用領域がフレーム内の８×８格子上のサンプルのみを含む、又は４）ＣＣＳＡＯ適用領域がＤＢＦでフィルタリングされたサンプルのみを含む、又は５）ＣＣＳＡＯ適用領域がＣＵの上のＭ個の行及び左のＮ個の行のみ含む。異なる適用された領域で異なる分類子を用いることができる。異なる適用された領域で異なる分類子を用いることができる。たとえば、ＣＴＵにおいて、スキップモードでＣ１を用い、８×８格子でＣ２を用い、スキップモード及び８×８格子でＣ３を用いる。たとえば、ＣＴＵにおいて、スキップモードで符号化されたサンプルにＣ１を用い、ＣＵ中央にあるサンプルにＣ２を用い、ＣＵ中央においてスキップモードで符号化されるサンプルにＣ３を用いる。図２９は、本開示のいくつかの実現例に係れば、ＣＣＳＡＯ分類子について現在の符号化情報又はクロス成分符号化情報を考慮に入れることができることを示す図である。たとえば、異なる符号化モード／パラメータ／サンプル位置によって異なる分類子を形成することができる。異なる符号化情報を組み合せて協働分類子を形成することができる。異なる領域で異なる分類子を用いることができる。図２９は適用された領域の別の例も示す。

いくつかの実施形態では、実施されるＣＣＳＡＯシンタックスが以下の表２７に示されている。いくつかの例では、各々のシンタックス要素の２値化を変更することができる。ＡＶＳ３では、用語 パッチはスライスに類似しており、ｐａｔｃｈ ｈｅａｄｅｒ はスライスヘッダに類似している。ＦＬＣは固定長符号を表わす。ＴＵはＴｒｕｎｃａｔｅｄ－ｕｎａｒｙ符号を表わす。ＥＧｋはｋ次の指数ゴロム符号（ｅｘｐｏｎｅｎｔｉａｌ－ｇｏｌｏｍｂ ｃｏｄｅ ｗｉｔｈ ｏｒｄｅｒ ｋ）を表わし、ｋを一定にすることができる。ＳＶＬＣは符合付きのＥＧ０を表わす。ＵＶＬＣは符合なしＥＧ０を表わす。

高レベルのフラグがオフである場合、低レベルのフラグをフラグのオフ状態から推測することができ、低レベルのフラグを信号伝達する必要がない。たとえば、このピクチャでｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇがｆａｌｓｅである場合、ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｂａｎｄ＿ｎｕｍ＿ｍｉｎｕｓ１，ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｌｕｍａ＿ｔｙｐｅ，ｃｃ＿ｓａｏ＿ｃｂ＿ｏｆｆｓｅｔ＿ｓｉｇｎ＿ｆｌａｇ，ｃｃ＿ｓａｏ＿ｃｂ＿ｏｆｆｓｅｔ＿ａｂｓ，ｃｔｂ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇ，ｃｃ＿ｓａｏ＿ｃｂ＿ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇ及びｃｃ＿ｓａｏ＿ｃｂ＿ｍｅｒｇｅ＿ｕｐ＿ｆｌａｇが存在せず、これらはｆａｌｓｅであると推測される。

いくつかの実施形態では、表２８に示されているように、ＳＰＳ ｃｃｓａｏ＿ｅｎａｂｌｅｄ＿ｆｌａｇにＳＰＳ ＳＡＯ有効フラグを条件として課す。

いくつかの実施形態では、ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ，ｐｈ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇはＣｂ／Ｃｒ ＣＴＢオン／オフ制御粒度を有効にするか否かを示す。ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ及びｐｈ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｃｔｂ＿ｃｏｎｔｒｏｌ＿ｆｌａｇが有効にされる場合、ｃｔｂ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇ及びｃｔｂ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｆｌａｇをさらに信号伝達することができる。それ以外の場合、現在のピクチャにＣＣＳＡＯが適用されるか否かが、ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇ，ｐｈ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｆｌａｇに依存し、ｃｔｂ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｆｌａｇ及びｃｔｂ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｆｌａｇをＣＴＢレベルでさらに信号伝達することはない。

いくつかの実施形態では、ｐｈ＿ｃｃ＿ｓａｏ＿ｃｂ＿ｔｙｐｅ及びｐｈ＿ｃｃ＿ｓａｏ＿ｃｒ＿ｔｙｐｅについて、中央の同一位置にあるルマ位置がクロマサンプルの分類に用いられるか（図１０のＹ０の位置）否かを識別するためにフラグをさらに信号伝達してビットのオーバーヘッドを抑えることができる。同様に、ｃｃ＿ｓａｏ＿ｃｂ＿ｔｙｐｅ及びｃｃ＿ｓａｏ＿ｃｒ＿ｔｙｐｅがＣＴＢレベルで信号伝達される場合、フラグを同じメカニズムを用いてさらに信号伝達することができる。たとえば、Ｃ０ルマ位置候補の個数が９である場合、以下の表２９に示されているように、中央の同一位置にあるルマ位置が用いられるか否かを識別するためにｃｃ＿ｓａｏ＿ｃｂ＿ｔｙｐｅ０＿ｆｌａｇをさらに信号伝達する。中央の同一位置にあるルマ位置が用いられない場合、残りの８つの近隣のルマ位置のいずれが用いられるのかを示すのにｃｃ＿ｓａｏ＿ｃｂ＿ｔｙｐｅ＿ｉｄｃが用いられる。

以下の表３０は１つの分類子（ｓｅｔ＿ｎｕｍ＝１）又は複数の分類子（ｓｅｔ＿ｎｕｍ＞１）がフレームで用いられるＡＶＳの例を示す。シンタックス表記を上記で用いられている表記に対応させることができる点に留意する。

各領域が独自の集合を有する図２５又は図２７と組み合せる場合、以下の表３１に示されているように、シンタックスの例が領域オン／オフ制御フラグ（ｐｉｃｔｕｒｅ＿ｃｃｓａｏ＿ｌｃｕ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ［ｃｏｍｐＩｄｘ］［ｓｅｔＩｄｘ］）を含むことができる。

いくつかの実施形態では、高レベルのシンタックスについて、ｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇ及びｇｃｉ＿ｎｏ＿ｓａｏ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇを加えることができる。

いくつかの実施形態では、１に等しいｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇが、ＣＣＳＡＯフィルタ情報がＰＨシンタックス構造に存在し得、ＰＨシンタックス構造を含まないＰＰＳを指すスライスヘッダに存在し得ないことを示す。０に等しいｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇが、ＣＣＳＡＯフィルタ情報がＰＨシンタックス構造に存在せず、ＰＰＳを指すスライスヘッダに存在し得ることを示す。存在しない場合、ｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇの値が０に等しいと推測される。

いくつかの実施形態では、１に等しいｇｃｉ＿ｎｏ＿ｃｃｓａｏ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが、ＯｌｓＩｎＳｃｏｐｅ中のすべてのピクチャのｓｐｓ＿ｃｃｓａｏ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことを示す。０に等しいｇｃｉ＿ｎｏ＿ｃｃｓａｏ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇはこのような制約を課さない。いくつかの実施形態では、映像のビットストリームは規則にしたがう１つ以上の出力レイヤ集合（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ：ＯＬＳ）を備える。本記載の例では、ＯｌｓＩｎＳｃｏｐｅはスコープ内にある１つ以上のＯＬＳを指す。いくつかの例では、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造によってレベル情報が提供され、適宜、プロファイル、層、サブプロファイルや、ＯｌｓＩｎＳｃｏｐｅがしたがう汎用的な制約情報が提供される。ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造がＶＰＳに含まれる場合、ＯｌｓＩｎＳｃｏｐｅはＶＰＳによって指定された１つ以上のＯＬＳである。ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造がＳＰＳに含まれる場合、ＯｌｓＩｎＳｃｏｐｅは、ＳＰＳを指す層のうちの最下層である層のみを含むＯＬＳであり、この最下層は独立した層である。

いくつかの実施形態では、イントラ及びインタ予測後ＳＡＯフィルタへの拡張が以下でさらに示されているものである。いくつかの実施形態では、本開示で開示されているＳＡＯ分類方法を予測後フィルタとして用いることができ、予測はイントラブロックコピーなどのイントラ予測ツール、インタ予測ツールやその他予測ツールであることが可能である。図３０は本開示のいくつかの実現例に係れば、本開示で開示されているＳＡＯ分類方法が予測後フィルタとして用いられることを示すブロック図である。

いくつかの実施形態では、Ｙ，Ｕ及びＶの成分毎に、対応する分類子が選択される。さらに、成分予測サンプル毎に、まず分類され、対応するオフセットが加えられる。たとえば、成分毎に現在のサンプル及び近隣のサンプルを分類に用いることができる。以下の表３２に示されているように、Ｙでは現在のＹサンプル及び近隣のＹサンプルを用い、Ｕ／Ｖでは現在のＵ／Ｖサンプルを分類に用いる。図３１は本開示のいくつかの実現例に係れば、予測後ＳＡＯフィルタについて成分毎に現在のサンプル及び近隣のサンプルを分類に用いることができることを示すブロック図である。

いくつかの実施形態では、洗練させられた予測サンプル（Ｙｐｒｅｄ’，Ｕｐｒｅｄ’，Ｖｐｒｅｄ’）が、対応するクラスオフセットを加えることによって更新され、その後のイントラ予測、インタ予測やその他予測に用いられる。

Ｙｐｒｅｄ’＝ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｙｐｒｅｄ＋ｈ＿Ｙ［ｉ］）

Ｕｐｒｅｄ’＝ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｕｐｒｅｄ＋ｈ＿Ｕ［ｉ］）

Ｖｐｒｅｄ’＝ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｖｐｒｅｄ＋ｈ＿Ｖ［ｉ］）

いくつかの実施形態では、クロマＵ成分及びクロマＶ成分について、現在のクロマ成分の他に、さらに別のオフセット分類にクロス成分（Ｙ）を用いることができる。追加のクロス成分オフセット（ｈ’＿Ｕ，ｈ’＿Ｖ）をたとえば以下の表３３に示されているように現在の成分オフセット（ｈ＿Ｕ，ｈ＿Ｖ）に加えることができる。

いくつかの実施形態では、洗練させられた予測サンプル（Ｕｐｒｅｄ’’，Ｖｐｒｅｄ’’）が、対応するクラスオフセットを加えることによって更新され、その後のイントラ予測、インタ予測やその他予測に用いられる。

Ｕｐｒｅｄ’’＝ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｕｐｒｅｄ’＋ｈ’＿Ｕ［ｉ］）

Ｖｐｒｅｄ’’＝ｃｌｉｐ３（０，（１＜＜ｂｉｔ＿ｄｅｐｔｈ）－１，Ｖｐｒｅｄ’＋ｈ’＿Ｖ［ｉ］）

いくつかの実施形態では、イントラ予測及びインタ予測で異なるＳＡＯフィルタオフセットを用いることができる。

図３２は本開示のいくつかの実現例に係るクロス成分相関を用いて映像信号を復号する典型的なプロセス３２００を示すフローチャートである。

映像デコーダ３０（図３に示されているような映像デコーダ）が階層構造の第１のレベルに関連する第１のシンタックス要素を、階層構造を持つ映像ビットストリームから受け取る（３２１０）。

クロス成分サンプル適応オフセット（ＣＣＳＡＯ）フィルタ情報が第１のレベルに存在することを第１のシンタックス要素が示すとの判断にしたがって、映像デコーダ３０が共同でＣＣＳＡＯフィルタ情報にしたがって、第１のレベルの下の１つ以上の領域を映像ビットストリームから再構成する（３２２０）。

ＣＣＳＡＯフィルタ情報が第１のレベルに存在しないことを第１のシンタックス要素が示すとの判断にしたがって、映像デコーダ３０が階層構造の第２のレベルに存在するＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を映像ビットストリームから再構成する（３２３０）。

いくつかの実施形態では、映像ビットストリームが第１の成分と第２の成分とを備える。いくつかの実施形態では、ＣＣＳＡＯフィルタ情報にしたがって１つ以上の領域を映像ビットストリームから再構成することは、適用されているＣＣＳＡＯフィルタに応じて、映像デコーダ３０がＣＣＳＡＯフィルタ情報にしたがって、第２の成分のそれぞれのサンプルに関連する第１の成分の１つ以上のサンプルの集合から第２の成分の分類子を判定することを含み、映像デコーダ３０は分類子にしたがって映像ビットストリームの、１つ以上の領域のうちの領域内の第２の成分のそれぞれのサンプルの値を修正するか否かを判断し、映像デコーダ３０は分類子にしたがって領域内の第２の成分のそれぞれのサンプルの値を修正するとの判断に応じて、分類子にしたがって第２の成分のそれぞれのサンプルのサンプルオフセットを判定し、映像デコーダ３０は判定されたサンプルオフセットに基づいて第２の成分のそれぞれのサンプルの値を修正する。

たとえば、１に等しいｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇが、ＣＣＳＡＯフィルタ情報がＰＨシンタックス構造に存在し得、ＰＨシンタックス構造を含まないＰＰＳを指すスライスヘッダに存在し得ないことを示す。０に等しいｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇが、ＣＣＳＡＯフィルタ情報がＰＨシンタックス構造に存在せず、ＰＰＳを指すスライスヘッダに存在し得ることを示す。

いくつかの実施形態では、階層構造の第２のレベルに存在するＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を映像ビットストリームから再構成すること（３２３０）は、第１のレベルの下の階層構造の第２のレベルに関連する第２のシンタックス要素を映像ビットストリームから受け取ることと、ＣＣＳＡＯフィルタ情報が第２のレベルに存在することを第２のシンタックス要素が示すとの判断にしたがって、１つ以上の領域のそれぞれの領域の階層構造の第２のレベルに存在するそれぞれのＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を映像ビットストリームから再構成することとを含む。たとえば、０に等しいｐｐｓ＿ｃｃｓａｏ＿ｉｎｆｏ＿ｉｎ＿ｐｈ＿ｆｌａｇが、ＣＣＳＡＯフィルタ情報がＰＨシンタックス構造に存在せず、ＰＰＳを指すスライスヘッダに存在し得ることを示す。

いくつかの実施形態では、階層構造の第１のレベルが、ピクチャパラメータセット（ＰＰＳ）を指すピクチャヘッダ（ＰＨ）シンタックス構造である。

いくつかの実施形態では、階層構造の第２のレベルが、ＰＰＳを指すスライスヘッダ（ＳＨ）シンタックス構造である。

いくつかの実施形態では、ＣＣＳＡＯフィルタ情報は、ＣＣＳＡＯが有効にされるか否かを示すシンタックス要素と、以前に復号されたオフセット集合のいずれが用いられるかを示すシンタックス要素と、コーディングツリーブロック（ＣＴＢ）レベルで成分オン／オフ制御を有効にするか否かを示すシンタックス要素と、対応するクラスの成分のバンド数を示すシンタックス要素と、対応するクラスの成分のオフセット集合数を示すシンタックス要素と、対応するクラスの成分のエッジ方向を示すシンタックス要素と、現在の成分で他の成分を分類に用いることができるか否かを示すシンタックス要素と、対応するクラスの成分オフセット値を示すシンタックス要素と、ピクチャ／スライスに用いられる代替集合の個数を示すシンタックス要素と、分類子候補位置を示すシンタックス要素とからなる群から選択される１つ以上を含む。

いくつかの実施形態では、ＣＣＳＡＯフィルタ情報は、対応するクラスの成分オフセット符号値を示すシンタックス要素と、対応するクラスの成分オフセット絶対値を示すシンタックス要素とをさらに含み、対応するクラスの成分オフセット符号値を示すシンタックス要素は、対応するクラスの成分オフセット絶対値を示すシンタックス要素がゼロでないとの判断に応じてビットストリームから復号される。たとえば、ｏｆｆｓｅｔ＿ｓｉｇｎ＿ｆｌａｇが、（ｏｆｆｓｅｔ＿ａｂｓ！＝０）の場合に復号される。

いくつかの実施形態では、映像信号を復号するプロセス３２００では、映像デコーダ３０が第３のシンタックス要素を映像ビットストリームから受け取り、映像ビットストリーム中の所定の出力レイヤ集合（ＯＬＳ）中のピクチャにＣＣＳＡＯフィルタが有効とされないことを制約が含むことを第３のシンタックス要素が示すとの判断にしたがって、映像デコーダ３０が制約付きで映像ビットストリームの、１つ以上の領域を再構成し、制約が適用されないことを第３のシンタックス要素が示すとの判断にしたがって、映像デコーダ３０が制約なしで映像ビットストリームの、１つ以上の領域を再構成する。たとえば、１に等しいｇｃｉ＿ｎｏ＿ｃｃｓａｏ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇが、ＯｌｓＩｎＳｃｏｐｅ内のすべてのピクチャのｓｐｓ＿ｃｃｓａｏ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことを示す。たとえば、０に等しいｇｃｉ＿ｎｏ＿ｃｃｓａｏ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇはこのような制約を課さない。

いくつかの実施形態では、映像ビットストリームが第３の成分をさらに含み、第１の成分、第２の成分及び第３の成分の各々がＹＵＶ成分の１つ又はＧＢＲ成分の１つから選択される。たとえば、映像がＲＧＢフォーマットである場合も、ＹＵＶ表記をＧＢＲにそれぞれ対応させるだけでＣＣＳＡＯを適用することができる。

いくつかの実施形態では、分類子にしたがって第２の成分のそれぞれのサンプルのサンプルオフセットを判定することは、分類子にしたがって第２の成分のそれぞれのサンプルの重み付けがなされたサンプルオフセットを判定することを含む。たとえば、分類子オフセットに対して、サンプルに適用する前に重み付けを行なうことができる。

いくつかの実施形態では、分類子にしたがって第２の成分のそれぞれのサンプルのサンプルオフセットを判定することは、１つ以上の分類子の重み付けがなされたサンプルオフセットにしたがって第２の成分のそれぞれのサンプルのサンプルオフセットを判定することを含む。

図３３はユーザインタフェイス３３５０に接続されたコンピューティング環境３３１０を示す。コンピューティング環境３３１０はデータ処理サーバの一部であることが可能である。コンピューティング環境３３１０はプロセッサ３３２０、メモリ３３３０及び入力／出力（Ｉ／Ｏ）インタフェイス３３４０を含む。

通常、プロセッサ３３２０は表示、データ取得、データ通信や画像処理に関連する動作などのコンピューティング環境３３１０の動作全体を制御する。プロセッサ３３２０は上記の方法のステップの全部又は一部を実行するための指示を実行する１つ以上のプロセッサを含んでもよい。さらに、プロセッサ３３２０はプロセッサ３３２０と他の構成要素とのやり取りを促進する１つ以上のモジュールを含んでもよい。プロセッサは中央処理装置（ＣＰＵ）、マイクロプロセッサ、シングルチップマシン、画像処理装置（ＧＰＵ）などであってもよい。

メモリ３３３０はコンピューティング環境３３１０の動作をサポートするための様々な種類のデータを記憶するように構成されている。メモリ３３３０は所定のソフトウェア３３３２を含んでもよい。このようなデータの例には、コンピューティング環境３３１０で運用されるあらゆるアプリケーションや方法のための指示、映像データセット、画像データなどが含まれる。メモリ３３３０を、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気又は光学ディスクなどのあらゆる種類の揮発又は不揮発メモリデバイスやこれらの組合せを用いて実施してもよい。

Ｉ／Ｏインタフェイス３３４０はプロセッサ３３２０と、キーボード、クリックホイール、ボタンなどの周辺インタフェイスモジュールとの間のインタフェイスを実現する。ボタンはホームボタン、スタートスキャンボタンやストップスキャンボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインタフェイス３３４０をエンコーダ及びデコーダに接続することができる。

一実施形態では、上記の方法を実行するのに用いられ、コンピューティング環境３３１０のプロセッサ３３２０によって実行可能なたとえばメモリ３３３０中の複数のプログラムを備える非一時的コンピュータ可読記憶媒体も提供される。これの代わりに、非一時的コンピュータ可読記憶媒体は、映像データを復号する際にデコーダ（たとえば、図３の映像デコーダ３０）によって用いられるたとえば上述の符号化方法を用いてエンコーダ（たとえば、図２の映像エンコーダ２０）によって生成される符号化された映像情報（たとえば、１つ以上のシンタックス要素を備える映像情報）を備えるビットストリーム又はデータストリームを記憶していてもよい。非一時的コンピュータ可読記憶媒体はたとえば、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶デバイスなどであってもよい。

一実施形態では、１つ以上のプロセッサ（たとえば、プロセッサ３３２０）と、１つ以上のプロセッサによって実行可能な複数のプログラムを記憶している非一時的コンピュータ可読記憶媒体、すなわちメモリ３３３０とを備えるコンピューティングデバイスも提供され、１つ以上のプロセッサは、複数のプログラムの実行の際に上記の方法を実行するように構成されている。

一実施形態では、上記の方法を実行するのに用いられ、コンピューティング環境３３１０のプロセッサ３３２０によって実行可能なたとえばメモリ３３３０中の複数のプログラムを備えるコンピュータプログラムプロダクトも提供される。たとえば、コンピュータプログラムプロダクトは非一時的コンピュータ可読記憶媒体を含んでもよい。

一実施形態では、コンピューティング環境３３１０を上記の方法を実行するために１つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサやその他電子コンポネントを用いて実施してもよい。

さらに別の実施形態は様々な他の実施形態で組み合されたりその他再配置されたりする上記の実施形態の様々な部分集合も含む。

１つ以上の例では、説明されている機能をハードウェア、ソフトウェア、ファームウェアやこれらのあらゆる組合せで実施してもよい。ソフトウェアで実施される場合、機能を１つ以上の指示やコードとしてコンピュータ可読媒体に記憶したりコンピュータ可読媒体を用いて送ったりしてハードウェアベースの処理部によって実行してもよい。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、又はある場所から別の場所にたとえば通信プロトコルにしたがってコンピュータプログラムを移動させるのを促進するあらゆる媒体を含む通信媒体を含んでもよい。このようにして、コンピュータ可読媒体は（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号や搬送波などの通信媒体にほぼ対応することができる。データ記憶媒体は、本出願で説明されている実現例を実施するための指示、コード及び／又はデータ構造を取得するために１つ以上のコンピュータや１つ以上のプロセッサによってアクセス可能であるあらゆる入手可能な媒体であってもよい。コンピュータプログラムプロダクトはコンピュータ可読媒体を含んでもよい。

本明細書中の実現例の説明で用いられている用語は特定の実現例のみを説明するためのものであり、請求項の範囲を限定することを意図するものではない。実現例の説明と添付の請求項とで用いられる場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上明確に別段の記載がない限り、複数形も含むことを意図するものである。本出願で用いられている用語「及び／又は」は、関連する列挙された事物の１つ以上の、あらゆる可能な組合せを指し、含むことも分かる。用語「含む」及び／又は「備える」は、本出願で用いられる場合、記載されている特徴、要素及び／又は構成要素の存在を示す一方で、１つ以上の他の機能、要素、構成要素及び／又はこれらの集団の存在又は付加を排除するものではないことがさらに分かる。

本出願では、第１、第２などの用語を用いて様々な要素を説明している場合があるが、当該要素は当該用語によって当然限定されないことも分かる。当該用語はある要素を別の要素と区別するのに用いられるのにすぎないものである。たとえば、実現例の範囲から逸脱しない範囲で、第１の電極を第２の電極と表記することができ、同様に、第２の電極を第１の電極と表記することもできる。第１の電極と第２の電極とは両方とも電極であるが、これらは同じ電極ではない。

単数形又は複数形で「一例」、「例」、「典型的な例」などと本明細書にわたって記載されているが、これは、例に関連して説明されている１つ以上の特定の特徴、構造や特性が本開示の少なくとも１つの例に含まれることを意味する。したがって、本明細書にわたって様々な箇所で単数形又は複数形で「一例では」や「例では」、「典型的な例では」などの語句が出現する場合、必ずしも出現のすべてが同じ例にあてはまらない。さらに、１つ以上の例における特定の特徴、構造や特性が、任意の適切な仕方で組み合せたものを含んでもよい。

本出願の説明は例示及び説明を目的として記載されており、限定列挙されたり開示されている形態に限定されたりすることを意図しているものではない。上述の説明及び関連する図面で提示されている教示の恩恵を受ける当業者には多くの修正、変形及び別の実現例が明らかである。実施形態は、本発明の原理、実施上の使用を最も良く説明し、他の当業者が様々な実現例の発明を理解することができるようにし、基礎となる原理と、企図される特定の使用に適するように様々な修正を加えた様々な実現例とを最大限に利用するように選択され、説明されたものである。したがって、請求項の範囲は開示されている実現例の特定の例に限定されず、修正例及び他の実現例が添付の請求項の範囲に含まれるように意図されるものであることが分かる。

Claims (15)

1. 階層構造を持つ映像ビットストリームから、前記階層構造の第１のレベルに関連する第１のシンタックス要素を受け取ることと、
   クロス成分サンプル適応オフセット（ＣＣＳＡＯ）フィルタ情報が前記第１のレベルに存在しないことを前記第１のシンタックス要素が示すとの判断にしたがって、前記階層構造の第２のレベルに存在する前記ＣＣＳＡＯフィルタ情報に個別にしたがって１つ以上の領域を前記映像ビットストリームから再構成することと
   を含む、映像データを復号する方法。
2. 前記ＣＣＳＡＯフィルタ情報が前記第１のレベルに存在することを前記第１のシンタックス要素が示すとの判断にしたがって、一緒に前記ＣＣＳＡＯフィルタ情報にしたがって、前記第１のレベルの下の前記１つ以上の領域を前記映像ビットストリームから再構成すること
   をさらに含む、請求項１に記載の方法。
3. 前記映像ビットストリームは第１の成分と第２の成分とを備え、前記ＣＣＳＡＯフィルタ情報にしたがって前記１つ以上の領域を前記映像ビットストリームから再構成することは、
   適用されているＣＣＳＡＯフィルタに応じて、
   前記ＣＣＳＡＯフィルタ情報にしたがって、前記第２の成分のそれぞれのサンプルに関連する前記第１の成分の１つ以上のサンプルの集合から前記第２の成分の分類子を判定することと、
   前記分類子にしたがって前記映像ビットストリームの前記１つ以上の領域のうちの領域内の前記第２の成分の前記それぞれのサンプルの値を修正するか否かを判断することと、
   前記分類子にしたがって前記領域内の前記第２の成分の前記それぞれのサンプルの前記値を修正するとの判断に応じて、前記分類子にしたがって前記第２の成分の前記それぞれのサンプルのサンプルオフセットを判定することと、
   前記判定されたサンプルオフセットに基づいて前記第２の成分の前記それぞれのサンプルの前記値を修正することと
   を含む、請求項２に記載の方法。
4. 前記階層構造の前記第２のレベルに存在する前記ＣＣＳＡＯフィルタ情報に個別にしたがって前記１つ以上の領域を前記映像ビットストリームから再構成することは、
   前記第１のレベルの下の前記階層構造の前記第２のレベルに関連する第２のシンタックス要素を前記映像ビットストリームから受け取ることと、
   前記ＣＣＳＡＯフィルタ情報が前記第２のレベルに存在することを前記第２のシンタックス要素が示すとの判断にしたがって、前記１つ以上の領域のそれぞれの領域の前記階層構造の前記第２のレベルに存在するそれぞれのＣＣＳＡＯフィルタ情報に個別にしたがって前記１つ以上の領域を前記映像ビットストリームから再構成することと
   を含む、請求項１に記載の方法。
5. 前記階層構造の前記第１のレベルは、ピクチャパラメータセット（ＰＰＳ）を指すピクチャヘッダ（ＰＨ）シンタックス構造である、請求項１に記載の方法。
6. 前記階層構造の前記第２のレベルは、ピクチャパラメータセット（ＰＰＳ）を指すスライスヘッダ（ＳＨ）シンタックス構造である、請求項１に記載の方法。
7. 前記ＣＣＳＡＯフィルタ情報は、ＣＣＳＡＯが有効であるか否かを示すシンタックス要素と、以前に復号されたオフセット集合のいずれが用いられるかを示すシンタックス要素と、コーディングツリーブロック（ＣＴＢ）レベルで成分オン／オフ制御を有効にするか否かを示すシンタックス要素と、対応するクラスの成分のバンド数を示すシンタックス要素と、対応するクラスの成分のオフセット集合数を示すシンタックス要素と、対応するクラスの成分のエッジ方向を示すシンタックス要素と、現在の成分で他の成分を分類に用いることができるか否かを示すシンタックス要素と、対応するクラスの成分オフセット値を示すシンタックス要素と、ピクチャ／スライスに用いられる代替集合の個数を示すシンタックス要素と、分類子候補位置を示すシンタックス要素とからなる群から選択される１つ以上を含む、請求項１に記載の方法。
8. 前記ＣＣＳＡＯフィルタ情報は、
   対応するクラスの成分オフセット符号値を示すシンタックス要素と、前記対応するクラスの成分オフセット絶対値を示すシンタックス要素と
   を含み、
   前記対応するクラスの前記成分オフセット符号値を示す前記シンタックス要素は、前記対応するクラスの前記成分オフセット絶対値を示す前記シンタックス要素がゼロでないとの判断に応じて前記ビットストリームから復号される、
   請求項１に記載の方法。
9. 第３のシンタックス要素を前記映像ビットストリームから受け取ることと、
   前記映像ビットストリーム中の所定の出力レイヤ集合（ＯＬＳ）中のピクチャにＣＣＳＡＯフィルタが有効とされないことを制約が含むことを前記第３のシンタックス要素が示すとの判断にしたがって、前記制約付きで前記１つ以上の領域を前記映像ビットストリームから再構成することと、
   前記制約が適用されないことを前記第３のシンタックス要素が示すとの判断にしたがって、前記制約なしで前記１つ以上の領域を前記映像ビットストリームから再構成することと
   をさらに含む、請求項１に記載の方法。
10. 前記映像ビットストリームは第３の成分をさらに含み、前記第１の成分、前記第２の成分及び前記第３の成分の各々がＹＵＶ成分の１つ又はＧＢＲ成分の１つから選択される、請求項３に記載の方法。
11. 前記分類子にしたがって前記第２の成分の前記それぞれのサンプルの前記サンプルオフセットを判定することは、前記分類子にしたがって前記第２の成分の前記それぞれのサンプルの重み付けがなされたサンプルオフセットを判定することを含む、請求項３に記載の方法。
12. 前記分類子にしたがって前記第２の成分の前記それぞれのサンプルの前記サンプルオフセットを判定することは、１つ以上の分類子の重み付けがなされたサンプルオフセットにしたがって前記第２の成分の前記それぞれのサンプルのサンプルオフセットを判定することを含む、請求項３に記載の方法。
13. 電子装置であって、
    １つ以上の処理部と、
    前記１つ以上の処理部に接続されるメモリと、
    前記１つ以上の処理部によって実行されると、請求項１から１２のいずれか１項に記載の方法を前記電子装置に実行させる、前記メモリに記憶される複数のプログラムと
    を備える電子装置。
14. 請求項１から１２のいずれか１項に記載の映像データを復号する方法によって生成された映像情報を備えるビットストリームを記憶しているコンピュータ可読記憶媒体。
15. １つ以上の処理部を有する電子装置によって実行される複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つ以上の処理部によって実行されると、請求項１から１２のいずれか１項に記載の方法を前記電子装置に実行させる、非一時的コンピュータ可読記憶媒体。