JP2015502714A - ブロッキングアーチファクトを除去する方法 - Google Patents

Abstract

８?８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定し、前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定し、前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択し、前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングする。したがって、現在発明によると、標準化が進行中であるＨＥＶＣ標準に比較して境界強度の決定に要求される演算複雑度を５０％以上減らすことができる。また、映像画質の劣化無しで境界強度の決定に要求されるメモリ容量及び帯域幅も５０％以上節減することができる。【選択図】図１

Description

本発明は、復元映像のブロッキングアーチファクトを除去するデブロッキングフィルタリング方法に関し、より詳しくは、変換境界と予測境界の各エッジに対する境界強度を決定する方法に関する。

映像データを符号化するために、複数個の映像標準が開発されてきた。前記映像標準は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ.２６４/ＭＰＥＧ−４ ＡＶＣなどである。Ｈ.２６４/ＭＰＥＧ−４ ＡＶＣの後続標準として、ＩＳＯ/ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ(ＭＰＥＧ)とＩＴＵ−ＴＶｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ(ＶＣＥＧ)によりＨＥＶＣ(Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)が共同開発中である。

ＨＥＶＣによると、一つのピクチャが複数個の最大コーディングユニット(ＬＣＵ)に分割され、イントラ予測又はインター予測を利用して予測ブロックを生成することによって各最大コーディングユニットの一つ以上のコーディングユニットを符号化する。原本ブロックと予測ブロックとの間の残差ブロックが変換されて変換ブロックを生成し、変換ブロックは、量子化パラメータと予め決められた量子化マトリクスを利用して量子化される。量子化ブロックの量子化係数は、スキャンパターンを利用してスキャンされ、エントロピー符号化される。前記量子化係数は、逆量子化及び逆変換されて残差ブロックを生成する。前記残差ブロックは、予測ブロックと結合して復元映像を生成する。復元映像は、ブロッキングアーチファクトを除去するためのデブロッキングフィルタを利用して適応的にフィルタリングされる。

図１は、開発中であるＨＥＶＣによる境界強度(ｂＳ)を決定する過程を説明する概念図である。

図１に示すように、１番目のステップにおいて、全ての４×４ブロックの全てのエッジ毎に境界強度が決定され、その後、８×８ブロックのエッジに対する最後境界強度が決定される。８×８ブロックのエッジは、４×４ブロックの２個の連続的なエッジからなる。８×８ブロックエッジの境界強度は、８×８ブロックエッジを構成する２個のエッジの境界強度のうち最大値に決定される。しかし、現在開発中であるＨＥＶＣに記述されたデブロッキングフィルタ技術は、あまりにも複雑であるため、符号化及び復号化性能を落とす。

したがって、現在開発中であるＨＥＶＣ標準は、デブロッキングフィルタの性能を向上させるだけでなく、デブロッキングフィルタの複雑度を減少させる技術に重点をおいている。ＨＥＶＣは、超高画質映像(ｕｌｔｒａ ｈｉｇｈ−ｄｅｆｉｎｉｔｏｎ ｉｍａｇｅ)に重点をおいているため、デブロッキングフィルタリングの実行に要求される演算複雑度及びメモリ容量を減少させることができる技術が特に要求される。

本発明が達成しようとする目的は、ブロッキングアーチファクトを効果的に除去すると共に、演算複雑度を減らし、メモリに格納されるデータ量を減らす方法を提供することである。

本発明によるブロッキングアーチファクトを除去する方法は、８×８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定し、前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定し、前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択し、前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングすることを特徴とする。

本発明による方法では、８×８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定し、前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定し、前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択し、前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングする。したがって、現在発明によると、標準化が進行中であるＨＥＶＣ標準に比較して境界強度の決定に要求される演算複雑度を５０％以上減らすことができる。また、映像画質の劣化なしで境界強度の決定に要求されるメモリ容量及び帯域幅も５０％以上節減することができる。

標準化が進行中であるＨＥＶＣによる境界強度を決定する過程を説明する概念図である。 本発明による動画符号化装置を説明するブロック図である。 本発明による動画復号化装置を説明するブロック図である。 本発明によるデブロッキングフィルタリング過程を説明するフローチャートである。 本発明による境界強度を決定する方法を説明する概念図である。 本発明による４−サンプルエッジを説明する概念図である。 本発明による予測ユニットの例示的な配置を説明する概念図である。 本発明によるラインバッファに格納される動き情報を説明する例示図である。 本発明によるブロックエッジのフィルタリング可否を決定するのに利用されるサンプルの位置を説明する概念図である。

以下、本発明の多様な実施例を例示図面を参照して詳細に説明する。本発明は、多様な変更を加えることができ、多様な実施例を有することができる。また、本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。各図面の説明において、類似の構成要素に対して類似の参照符号を使用した。

本発明による映像符号化装置及び映像復号化装置は、パソコン、個人携帯端末、移動マルチメディアプレーヤー、スマートフォン又は無線通信端末などのようにユーザ端末である。前記映像符号化装置及び映像復号化装置は、多様な機器と通信する通信ユニットと、映像を符号化又は復号化するために多様なプログラムとデータを格納するためのメモリとを具備する。

図２は、本発明による動画符号化装置１０００を示すブロック図である。

図２を参照すると、前記動画符号化装置１０００は、ピクチャ分割部１０１０、変換部１０２０、量子化部１０３０、スキャニング部１０４０、エントロピー符号化部１０５０、イントラ予測部１０６０、インター予測部１０７０、逆量子化部１０８０、逆変換部１０９０、後処理部１１００、ピクチャ格納部１１１０、減算部１１２０及び加算部１１３０を含む。

ピクチャ分割部１０１０は、ピクチャ又はスライスを複数個のＬＣＵ(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ)に分割し、前記各々のＬＣＵを一つ以上のコーディングユニットに分割する。ＬＣＵのサイズは、３２×３２、６４×６４又は１２８×１２８である。ピクチャ分割部１０１０は、各コーディングユニットの予測モード及び分割モード(ｐａｒｔｉｔｉｏｎｉｎｇｍｏｄｅ)を決定する。

一つのＬＣＵは、１個又は複数個のコーディングユニット(ｃｏｄｉｎｇ ｕｎｉｔ)を含む。前記ＬＣＵは、分割構造を示すために、再帰的クワッドツリー構造(ｒｅｃｕｒｓｉｖｅ ｑｕａｄｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を有する。コーディングユニットの最大サイズ及び最小サイズを示す情報がシーケンスパラメータセット(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)に含まれる。前記分割構造は、１個又は複数個の分割コーディングユニットフラグ(ｓｐｌｉｔ_ｃｕ_ｆｌａｇ)を利用して特定される。コーディングユニットは、２Ｎ×２Ｎのサイズを有する。ＬＣＵのサイズが６４×６４であり、且つ最小コーディングユニット(ＳＣＵ：ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ)が８×８の場合、コーディングユニットのサイズは、６４×６４、３２×３２、１６×１６又は８×８である。

コーディングユニットは、１個又は複数個の予測ユニット(ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ)を含む。イントラ予測において、前記予測ユニットのサイズは、２Ｎ×２Ｎ又はＮ×Ｎである。インター予測において、前記予測ユニットのサイズは、分割モードにより特定される。コーディングユニットが対称に分割されると、分割モードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎのうち一つである。コーディングユニットが非対称に分割されると、分割モードは、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２Ｎのうち一つである。

コーディングユニットは、１個又は複数個の変換ユニット(ｔｒａｎｓｆｏｒｍ ｕｎｉｔ)を含む。変換ユニットは、コーディングユニットの分割構造を示すために、再帰的クワッドツリー構造(ｒｅｃｕｒｓｉｖｅ ｑｕａｄｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を有する。分割構造は、１個又は複数個の分割変換ユニットフラグにより表現される。変換ユニットの最大サイズ及び最小サイズを示すパラメータがシーケンスパラメータセットに含まれる。

変換部１０２０は、残差ブロックを変換して変換ブロックを生成する。残差信号は、変換ユニット単位に変換される。前記残差信号は、イントラ予測部１０６０又はインター予測部１０７０により生成される予測ブロックを原本ブロックから減算して誘導される。

予測モード(イントラ予測モード又はインター予測モード)に応じて変換マトリクスが変わることができる。また、イントラ予測モードでは、変換マトリクスがイントラ予測モードに基づいて適応的に決定されることができる。変換ユニットは、２個の１次元変換マトリクス(水平マトリクス及び垂直マトリクス)を利用して変換される。例えば、水平イントラ予測モードでは、残差信号が垂直方向性を有するため、ＤＣＴベースの整数マトリクスが垂直方向に適用され、ＤＳＴベース又はＫＬＴベースの整数マトリクスが水平方向に適用されることができる。垂直イントラ予測モードでは、ＤＣＴベースの整数マトリクスが水平方向に適用され、ＤＳＴベース又はＫＬＴベースの整数マトリクスが垂直方向に適用されることができる。一方、変換マトリクスの種類が変換ユニットのサイズにより決定されることもできる。

量子化部１０３０は、前記変換ブロックを量子化するための量子化パラメータを決定する。量子化パラメータは、量子化ステップサイズを意味する。量子化パラメータは、量子化ユニット毎に決定される。量子化ユニットは、予め決められたサイズより大きい又は同じコーディングユニットである。前記予め決められたサイズは、量子化ユニットの最小サイズである。前記最小サイズを有する量子化ユニットを最小量子化ユニットという。コーディングユニットのサイズが量子化ユニットの最小サイズより大きい又は同じ場合、前記コーディングユニットは、量子化ユニットになる。複数個のコーディングユニットが最小量子化ユニットに含まれることもできる。前記最小量子化ユニットは、８×８ブロック又は１６×１６ブロックである。前記最小サイズは、ピクチャ毎に決定されることができる。

量子化部１０３０は、量子化パラメータ予測子を生成し、量子化パラメータから量子化パラメータ予測子を減算して差分量子化パラメータを生成する。前記差分量子化パラメータは、符号化される。

前記量子化パラメータ予測子は、下記のように生成される。

[第１の実施例]

左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットの量子化パラメータは、前記順序通りに検索される。前記量子化パラメータ予測子は、１個又は２個の利用可能な量子化パラメータを利用して生成される。例えば、最初利用可能な量子化パラメータが前記量子化パラメータ予測子に設定される。または、最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。

[第２の実施例]

現在ブロックの左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットが存在しない。しかし、符号化の順序上、現在コーディングユニットの以前コーディングユニットは存在することができる。したがって、現在コーディングユニットに隣接した隣接コーディングユニットと以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子の生成に使われることができる。前記量子化パラメータは、次の順序、即ち、１)左側隣接コーディングユニットの量子化パラメータ、２)上側隣接コーディングユニットの量子化パラメータ、３)左上側隣接コーディングユニットの量子化パラメータ、及び、４)以前コーディングユニットの量子化パラメータの順に検索される。

他の例として、量子化パラメータは、次の順序、即ち、１)左側隣接コーディングユニットの量子化パラメータ、２)上側隣接コーディングユニットの量子化パラメータ、及び、３)以前コーディングユニットの量子化パラメータの順に検索される。

少なくとも２個の量子化パラメータが利用可能な場合、前記順序に検索される最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。例えば、前記左側及び上側コーディングユニットの量子化パラメータが利用可能な場合、前記左側及び上側量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータのうち一つのみが利用可能な場合、前記利用可能な量子化パラメータと前記以前コーディングユニットの量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータが両方とも利用可能でない場合、前記以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子に設定される。前記平均値は、四捨五入した値である。

量子化部１０３０は、量子化マトリクス及び量子化パラメータを利用して変換ブロックを量子化して量子化ブロックを生成する。量子化ブロックは、逆量子化部１０８０及びスキャニング部１０４０に提供される。

スキャニング部１０４０は、前記量子化ブロックにスキャンパターンを適用し、量子化係数をスキャンして１次元の量子化係数成分に変換する。

イントラ予測では、イントラ予測モード及び変換ユニットのサイズによって量子化係数の分布が変わる。したがって、スキャンパターンがイントラ予測モード及び変換ユニットのサイズに基づいて決定される。スキャンパターンは、ジグザグスキャン、垂直スキャン及び水平スキャンの中から決定されることができる。ジグザグスキャンは、対角線スキャンに代替されることができる。

例えば、変換ユニットのサイズが８×８より小さい又は同じ場合、垂直モード及び前記垂直モードに隣接した予め決められた個数のイントラ予測モードでは水平スキャンが選択され、水平モード及び前記水平モードに隣接した予め決められた個数のイントラ予測モードでは垂直スキャンが選択され、残りのイントラ予測モードではジグザグスキャン又は対角線スキャンが選択される。変換ユニットの大きさが８×８より大きい場合、全てのイントラ予測モードでジグザグスキャン又は対角線スキャンが選択される。

インター予測では、予め決められたスキャンパターンが使われる。前記予め決められたスキャンパターンは、ジグザグスキャン又は対角線スキャンである。

変換ユニットのサイズが予め決められたサイズより大きい場合、前記量子化ブロックは、複数個のサブセットに分割されてスキャンされる。前記予め決められたサイズは４×４である。サブセットをスキャンするスキャンパターンは、各サブセット内の量子化係数をスキャンするスキャンパターンと同じである。各サブセット内の量子化係数は、逆方向にスキャンされる。サブセットも逆方向にスキャンされる。

０でない最後の係数位置を示すパラメータが符号化されて復号器に送信される。前記０でない最後の係数位置は、変換ユニット内の０でない最後の量子化係数の位置を示す。サブセット内の０でない最後の量子化係数の位置を示すパラメータも復号器に送信されることができる。

逆量子化部１０８０は、前記量子化係数を逆量子化する。逆変換部１０９０は、逆量子化された係数を逆変換して残差信号を生成する。

加算部１１３０は、逆変換部１０９０により生成される残差信号とイントラ予測部１０６０又はインター予測部１０７０により生成される予測信号を加える。減算部１１２０は、原本サンプルから予測サンプルを減算して残差信号を生成する。

後処理部１１００は、デブロッキングフィルタリング(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ)過程、サンプル適応的オフセット(ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ)過程及び適応的ループフィルタリング(ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ)過程を実行する。

デブロッキングフィルタリング過程は、復元ピクチャ内に示すブロッキングアーチファクトを除去するために実行される。

サンプル適応的オフセット過程は、デブロッキングフィルタリング過程後に原本サンプルと復元サンプルとの間の差を減らすために実行される。サンプル適応的オフセット過程を実行するかどうかは、ピクチャ又はスライス毎に決定される。ピクチャ又はスライスは、複数個のオフセット領域に分けられ、各領域に対してオフセットタイプが決定されることができる。４個のエッジオフセットタイプと２個のバンドオフセットタイプが存在する。オフセットタイプがエッジオフセットタイプのうち一つの場合、前記オフセット領域内の各サンプル毎にエッジタイプが決定される。前記エッジタイプは、現在サンプルと２個の隣接したサンプルを比較して決定される。

適応的ループフィルタリング過程は、フィルタ係数を取得するために復元された映像と原本映像を比較して実行される。フィルタ係数は、４×４ブロック又は８×８ブロック内の全てのサンプルに適用される。したがって、ループフィルタのサイズ及び係数は、コーディングユニット単位に変更されることができる。

ピクチャ格納部１１１０は、後処理部１１００から復元ピクチャを受信し、それらをメモリに格納する。ピクチャは、フレームベースのピクチャ又はフィールドベースのピクチャである。

インター予測部１０７０は、ピクチャ格納部１１１０に格納されている一つ以上の参照ピクチャを利用して動き予測を実行し、一つ以上の参照ピクチャを特定する一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを決定する。インター予測部１０７０は、前記一つ以上の参照ピクチャインデックス及び一つ以上の動きベクトルを利用して予測ブロックを生成する。

イントラ予測部１０６０は、現在予測ユニットのイントラ予測モードを決定し、前記イントラ予測モードを利用して予測ブロックを生成する。

エントロピー符号化部１０５０は、スキャニング部１０４０から受信される量子化された係数成分、イントラ予測部１０６０から受信されるイントラ予測情報、インター予測部１０７０から受信される動き情報などをエントロピー符号化する。

図３は、本発明による動画復号化装置２０００を説明するブロック図である。

本発明による動画復号化装置２０００は、エントロピー復号化部２０１０、逆スキャニング部２０２０、逆量子化部２０３０、逆変換部２０４０、イントラ予測部２０５０、インター予測部２０６０、後処理部２０７０、ピクチャ格納部２０８０及び加算部２０９０を含む。

エントロピー復号化部２０１０は、受信されたビットストリームからイントラ予測情報、インター予測情報及び量子化係数成分を抽出してエントロピー復号化する。エントロピー復号化部２０１０は、インター予測情報をインター予測部２０６０に送信し、イントラ予測情報をイントラ予測部２０５０に送信し、量子化係数成分を逆スキャニング部２０２０に送信する。

逆スキャニング部２０２０は、逆スキャンパターンを利用して前記量子化係数成分を２次元の量子化ブロックに変換する。

イントラ予測では、イントラ予測モード及び変換ユニットのサイズに基づいて逆スキャンパターンが選択される。逆スキャンパターンは、ジグザグスキャン、垂直スキャン及び水平スキャンの中から選択されることができる。ジグザグスキャンは、対角線スキャンに代替されることができる。

例えば、変換ユニットのサイズが８×８より小さい又は同じ場合、垂直モード及び前記垂直モードに隣接した予め決められた個数のイントラ予測モードでは水平スキャンが選択され、水平モード及び前記水平モードに隣接した予め決められた個数のイントラ予測モードでは垂直スキャンが選択され、残りのイントラ予測モードではジグザグスキャン又は対角線スキャンが選択される。変換ユニットの大きさが８×８より大きい場合、全てのイントラ予測モードでジグザグスキャン又は対角線スキャンが選択される。

インター予測では、予め決められたスキャンパターンが使われる。前記予め決められたスキャンパターンは、ジグザグスキャン又は対角線スキャンである。

変換ユニットのサイズが予め決められたサイズより大きい場合、前記量子化係数成分は、サブセット単位に逆スキャンされて量子化ブロックを構成する。前記サブセットは、予め決められたサイズを有する。前記予め決められたサイズは、４×４である。変換ユニットのサイズと前記予め決められたサイズが同じ場合、前記量子化係数成分が逆スキャンされて変換ユニットを構成する。前記量子化係数成分がサブセット単位に逆スキャンされる時、同じ逆スキャンパターンが各サブセットの量子化係数成分に適用されることができる。

複数個のサブセットは、逆方向に逆スキャンされる。前記量子化係数成分も逆方向に逆スキャンされる。サブセットを構成するために量子化係数成分に適用される逆スキャンパターンと複数個の生成された逆スキャンサブセットに適用される逆スキャンパターンが同じである。逆スキャニング部２０２０は、変換ユニットの０でない最後の量子化係数の位置を示すパラメータを使用して逆スキャンを実行する。

逆量子化部２０３０は、エントロピー復号化部２０１０から差分量子化パラメータを受信し、量子化パラメータ予測子を生成して現在コーディングユニットの量子化パラメータを生成する。

前記量子化パラメータ予測子は、下記のように生成される。

[第１の実施例]

左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットの量子化パラメータは、前記順序通りに検索される。前記量子化パラメータ予測子は、１個又は２個の利用可能な量子化パラメータを利用して生成される。例えば、最初利用可能な量子化パラメータが前記量子化パラメータ予測子に設定される。または、最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。

[第２の実施例]

現在ブロックの左側コーディングユニット、上側コーディングユニット及び左上側コーディングユニットが存在しない。しかし、符号化の順序上、現在コーディングユニットの以前コーディングユニットは存在することができる。したがって、現在コーディングユニットに隣接した隣接コーディングユニットと以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子の生成に使われることができる。前記量子化パラメータは、次の順序、即ち、１)左側隣接コーディングユニットの量子化パラメータ、２)上側隣接コーディングユニットの量子化パラメータ、３)左上側隣接コーディングユニットの量子化パラメータ、及び、４)以前コーディングユニットの量子化パラメータの順に検索される。

他の例として、量子化パラメータは、次の順序、即ち、１)左側隣接コーディングユニットの量子化パラメータ、２)上側隣接コーディングユニットの量子化パラメータ、及び、３)以前コーディングユニットの量子化パラメータの順に検索される。

少なくとも２個の量子化パラメータが利用可能な場合、前記順序に検索される最初の２個の利用可能な量子化パラメータの平均値を量子化パラメータ予測子に設定し、一つの量子化パラメータのみが利用可能な場合は、前記利用可能な量子化パラメータが量子化パラメータ予測子に設定される。例えば、前記左側及び上側コーディングユニットの量子化パラメータが利用可能な場合、前記左側及び上側量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータのうち一つのみが利用可能な場合、前記利用可能な量子化パラメータと前記以前コーディングユニットの量子化パラメータの平均値が前記量子化パラメータ予測子に設定される。前記左側及び上側コーディングユニットの量子化パラメータが両方とも利用可能でない場合、前記以前コーディングユニットの量子化パラメータが前記量子化パラメータ予測子に設定される。前記平均値は、四捨五入した値である。

逆量子化部２０３０は、前記差分量子化パラメータと前記量子化パラメータ予測子を加えて現在コーディングユニットの量子化パラメータを生成する。現在コーディングユニットの差分量子化パラメータが符号器側から受信されない場合、前記差分量子化パラメータは、０に設定される。前記量子化パラメータは、量子化ユニット毎に生成される。

逆量子化部２０３０は、量子化ブロックを逆量子化する。

逆変換部２０４０は、前記逆量子化されたブロックを逆変換して残差ブロックを生成する。逆変換タイプは、予測モード(イントラ予測モード及びインター予測モード)及び変換ユニットのサイズに基づいて決定される。

加算部２０９０は、前記残差ブロックと予測ブロックを加えて復元サンプルを生成する。

イントラ予測部２０５０は、エントロピー復号化部２０１０から受信されたイントラ予測情報に基づいて現在予測ユニットのイントラ予測モードを復元し、前記復元されたイントラ予測モードに応じて予測ブロックを生成する。

インター予測部２０６０は、エントロピー復号化部２０１０から受信されるインター予測情報に基づいて一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを復元し、前記一つ以上の参照ピクチャインデックスと一つ以上の動きベクトルを利用して予測ブロックを生成する。

後処理部２０７０の動作は、図２の後処理部１１００の動作と同様である。

ピクチャ格納部２０８０は、後処理部２０７０から後処理されたピクチャを格納する。

図４は、本発明によるデブロッキングフィルタリング過程を説明するフローチャートである。

デブロッキングフィルタリング過程は、図２に示す動画符号化装置１０００の後処理部１１００及び図３に示す動画復号化装置２０００の後処理部２０７０により実行される。

デブロッキングフィルタリングがスライスに実行されると決定されると、デブロッキングフィルタリング過程が前記スライスに適用される。前記動画復号化装置は、デブロッキングフィルタリングが実行されるかどうかをスライス毎に決定するために、ビットストリームから受信されたフラグ(ｄｉａｂｌｅ_ｄｅｂｌｏｃｋｉｎｇ_ｆｉｌｔｅｒ_ｆｌａｇ)を利用する。

デブロッキングフィルタリングは、コーディングユニット単位に実行される。まず、コーディングユニットの左側エッジ部から始まって右側方向に垂直エッジがフィルタリングされる。次に、コーディングユニットの上側エッジ部から始まって下側方向に水平エッジらがフィルタリングされる。

デブロッキングフィルタは、予測ユニットエッジと変換ユニットエッジにのみ適用される。予測ユニット又は変換ユニットのサイズの幅又は高さが８−サンプル長さより小さい場合、デブロッキングフィルタは、８×８サンプルグリッドに置かれているエッジに対してのみ適用される。

８×８サンプルグリッドに置かれている４−サンプルエッジに対して境界強度(ｂＳ)が決定される(Ｓ１１０)。

図５は、本発明による境界強度(ｂＳ)を決定するための方法を説明する概念図である。

図５に示すように、コーディングユニット内の各エッジの境界強度(ｂＳ)は、一つのステップを介して決定される。境界強度は、８×８サンプルグリッドに置かれている４−サンプルエッジに対してのみ決定される。本発明では８×８サンプルグリッドの部分でない４×４ブロックのエッジに対しては境界強度を求めない。本発明では８−サンプルエッジに対する境界強度を生成する動作を省略する。その代りに、本発明では４−サンプルエッジに対するデブロッキング決定と整列されるように各々の４−サンプルエッジが各々の境界強度を有する。

したがって、本発明によると、境界強度の決定に要求される演算複雑度は、標準化が進行中であるＨＥＶＣに比べて５０％以上減る。また、境界強度を決定するために要求されるメモリ容量と帯域幅も５０％以上減らすことができる。結果的に、本発明は、映像品質の劣化無しでハードウェア及びソフトウェアの複雑度を減らすようになる。

図６は、本発明による４−サンプルエッジを説明する概念図である。図６に示すように、４−サンプルエッジは、サンプルｐ０を含むＰブロックとサンプルｑ０を含むＱブロックとの間に位置する。サンプルｐ０は、サンプルｐ０_０〜ｐ０_３のうち一つに対応し、サンプルｑ０は、サンプルｑ０_０〜ｑ０_３のうち一つに対応する。ブロックＰとブロックＱは、予測ユニット又は変換ユニットである。

前記境界強度は、下記のように決定される。境界強度は、４−サンプルエッジ毎に決定される。

サンプルｐ０を含む予測ユニット又はサンプルｑ０を含む予測ユニットがイントラ予測符号化された場合は、４−サンプルエッジの境界強度が２に設定される。４−サンプルエッジは、予測ユニットのエッジである。即ち、ブロックＰとブロックＱがインター符号化されると、境界強度は、０又は１に設定される。

下記の条件のうち一つ以上を満たす場合、境界強度は、１に設定される。

１)４−サンプルエッジが変換ユニットエッジであり、サンプルｐ０を含む変換ユニット又はサンプルｑ０を含む変換ユニットが少なくとも一つの０でない変換係数を含む場合。

２)４−サンプルエッジが予測ユニットエッジであり、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが互いに異なる参照ピクチャを有し、又は互いに異なる個数の動きベクトルを有する場合。

３)サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが各々一つの動きベクトルを有し、前記動きベクトルの水平又は垂直成分間の差の絶対値が予め決められた値(例えば、１サンプル)より大きい又は同じ場合。前記エッジは、ＬＣＵの水平境界の一部ではない。

４)サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットがインター予測符号化され、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが各々２個の動きベクトルを有し、サンプルｐ０を含む予測ユニット及びサンプルｑ０を含む予測ユニットが少なくとも一つの同じ参照ピクチャを有し、同じ参照ピクチャに対応する２個の動きベクトルの水平又は垂直成分間の差の絶対値が前記予め決められた値より大きい又は同じ場合。前記エッジは、ＬＣＵの水平境界の一部ではない。

前述したように、４−サンプルエッジが８×８サンプルグリッドに置かれていない場合、境界強度は、０に設定される。

一方、前記エッジがＬＣＵ水平境界であり、サンプルｐ０を含む予測ユニットがＬＣＵ水平境界の上側に位置すると、サンプルｐ０を含む予測ユニットの動き情報は、サンプルｐ０を含む予測ユニットの大きさ及び/又は現在予測ユニットの位置に基づいて、サンプルｐ０を含む予測ユニットの左側又は上側隣接予測ユニットの動き情報に代替されることができる。

図７は、本発明による予測ユニットの例示的な配置を説明する概念図である。

デブロッキングフィルタが８×８サンプルグリッドのエッジに適用される。したがって、符号化装置及び復号化装置は、現在ＬＣＵの上側予測ユニット及び右上側予測ユニットの情報を格納しなければならない。動き情報を正確に復元するためには各予測ユニットの動き情報だけでなく、各予測ユニットの幅も格納されなければならない。しかし、前記格納されるべき情報量を減らすために、格納されるべき幅に対する情報を除去し、動き情報を固定された幅毎に格納することが好ましい。本発明によると、前記固定された幅は、最小の許容可能な予測ユニットの幅の整数倍(例えば、最小許容幅の２倍)になるように設定される。前記固定された幅は、８−サンプル長さに設定されることができる。

図８は、本発明によるラインバッファに格納されるべき動き情報を説明する例示図である。

図８の上側部分は、現在ＬＣＵの上側予測ユニット及び右上側予測ユニットのサイズと動き情報を説明している。図８の下側部分は、ラインバッファに格納されるべき動き情報を説明する。

図８に示すように、予測ユニットの幅が８−サンプル長さの場合、動き情報Ｃがそのまま格納される。予測ユニットの幅が８より大きい場合、同じ動き情報Ｈが８−サンプル長さを有する固定された幅毎に格納される。

しかし、予測ユニットの幅が４−サンプル長さの場合、格納されるべき動き情報は、予測ユニットの位置に基づいて代替されることができる。例えば、動き情報Ａを有する予測ユニットと動き情報Ｂを有する予測ユニットのために動き情報Ａ′が格納される。動き情報Ｄを有する予測ユニットと動き情報Ｅを有する予測ユニットのために動き情報Ｄ′が格納される。動き情報Ｆを有する予測ユニットと動き情報Ｇを有する予測ユニットのために動き情報Ｆ′が格納される。

前記動き情報Ａ′、Ｄ′及びＦ′は、前記２個の予測ユニットのうち、左側予測ユニットの動き情報として設定されることができる。

または、前記動き情報Ａ′、Ｄ′及びＦ′は、前記２個の予測ユニットのうち、１６×１６サンプルグリッドの垂直ラインに接する予測ユニットの動き情報として設定されることができる。即ち、動き情報Ａ′は、動き情報Ａとして設定されることができ、動き情報Ｄ′は、動き情報Ｄとして設定されることができ、動き情報Ｆ′は、動き情報Ｇとして設定されることができる。

次に、４−サンプルエッジにデブロッキングフィルタリングが実行されるかどうかが決定される(Ｓ１２０)。

図９は、本発明によるブロックエッジフィルタリング可否を決定するのに利用されるサンプルの位置を説明する概念図である。図５に示すように、前記決定は、８×８ブロックエッジの４−サンプルエッジ毎に実行される。

各エッジに対して、下記の二つの条件を満たす場合、デブロッキングフィルタリングが実行される。

１)ｂＳ>０

２)ｄ<β

ｂＳは、境界強度を示す。変数βの値は、境界量子化パラメータＱＰ_Ｂに基づいて決定される。

前記変数ｄは、下記のように定義される。

第１の実施例において、領域１では、ｄ＝ｄ_ｐ０＋ｄ_ｑ０＋ｄ_ｐ３＋ｄ_ｑ３であり、領域２では、ｄ＝ｄ_ｐ４＋ｄ_ｑ４＋ｄ_ｐ７＋ｄ_ｑ７であり、ｄ_ｐｋ＝|ｐ２_ｋ−２・ｐ１_ｋ＋ｐ０_ｋ|であり、ｄ_ｑｋ＝|ｑ２_ｋ−２・ｑ１_ｋ＋ｑ０_ｋ|である。

第２の実施例において、領域１では、ｄ＝ｄ_ｐ０＋ｄ_ｑ０＋ｄ_ｐ２＋ｄ_ｑ２であり、領域２では、ｄ＝ｄ_ｐ４＋ｄ_ｑ４＋ｄ_ｐ６＋ｄ_ｑ６である。

第３の実施例において、領域１では、ｄ＝ｄ_ｐ１＋ｄ_ｑ１＋ｄ_ｐ２＋ｄ_ｑ２であり、領域２では、ｄ＝ｄ_ｐ５＋ｄ_ｑ５＋ｄ_ｐ６＋ｄ_ｑ６である。

次に、デブロッキングフィルタリングが４−サンプルエッジに適用されると決定されると、ストロングフィルタ(ｓｔｒｏｎｇ ｆｉｌｔｅｒ)とウィークフィルタ(ｗｅａｋ ｆｉｌｔｅｒ)の中から一つのデブロッキングフィルタが選択される。しかし、デブロッキングフィルタリングが４−サンプルエッジに適用されないと決定されると、前記エッジに対するデブロッキングフィルタリング過程が終了される。図９に示すように、４−サンプルエッジに対して一つのフィルタが選択される。

下記の条件を満たす場合、領域１でストロングフィルタが選択される。

１)ｄ<(β>>２)

２)|ｐ３_ｉ−ｐ０_ｉ|＋|ｑ３_ｉ−ｑ０_ｉ|<(β>>３)ｆｏｒ ｅａｃｈ ｉ、ｉ＝０,３

３)|ｐ０_ｉ−ｑ０_ｉ|<(５＊ｔ_ｃ＋１)>>１ｆｏｒ ｅａｃｈ ｉ、ｉ＝０,３

又は

１)ｄ_ｉ<(β>>１)ｆｏｒ ｅａｃｈ ｉ、ｉ＝０,３

２)|ｐ３_ｉ−ｐ０_ｉ|＋|ｑ３_ｉ−ｑ０_ｉ|<(β>>３)ｆｏｒ ｅａｃｈ ｉ、ｉ＝０,３

３)|ｐ０_ｉ−ｑ０_ｉ|<(５＊ｔ_ｃ＋１)>>１ｆｏｒ ｅａｃｈ ｉ、ｉ＝０,３

そうでない場合、ウィークフィルタが選択される。変数ｔ_ｃは、前記境界量子化パラメータＱＰ_Ｂに基づいて決定される。

下記の条件を満たす場合、領域２でストロングフィルタが選択される。

１)ｄ<(β>>２)

２)|ｐ３_ｉ−ｐ０_ｉ|＋|ｑ３_ｉ−ｑ０_ｉ|<(β>>３)ｆｏｒ ｅａｃｈ ｉ、ｉ＝４,７

３)|ｐ０_ｉ−ｑ０_ｉ|<(５＊ｔ_ｃ＋１)>>１ｆｏｒ ｅａｃｈ ｉ、ｉ＝４,７

又は

１)ｄ_ｉ<(β>>１)ｆｏｒ ｅａｃｈ ｉ、ｉ＝４,７

２)|ｐ３_ｉ−ｐ０_ｉ|＋|ｑ３_ｉ−ｑ０_ｉ|<(β>>３)ｆｏｒ ｅａｃｈ ｉ、ｉ＝４,７

３)|ｐ０_ｉ−ｑ０_ｉ|<(５＊ｔ_ｃ＋１)>>１ｆｏｒ ｅａｃｈ ｉ、ｉ＝４,７

そうでない場合、ウィークフィルタが選択される。

他の実施例では、領域１において、ｉは、０、３の代りに０、２の値に代替され、領域２において、ｉは、４、７の代りに５、７に代替されることができる。

他の実施例では、領域１において、ｉは、０、３の代りに１、２の値に代替され、領域２において、ｉは、４、７の代りに５、６に代替されることができる。

次に、デブロッキングフィルタが選択されると、前記エッジは、前記デブロッキングフィルタを使用してフィルタリングされる(Ｓ１４０)。

ストロングフィルタは、下記の通りである。

ｐ_０′＝(ｐ_２＋２＊ｐ_１＋２＊ｐ_０＋２＊ｑ_０＋ｑ_１＋４)>>３)

ｐ_１′＝(ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０＋２)>>２

ｐ_２′＝(２＊ｐ_３＋３＊ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０＋４)>>３

ｑ_０′＝(ｐ_１＋２＊ｐ_０＋２＊ｑ_０＋２＊ｑ_１＋ｑ_２＋４)>>３

ｑ_１′＝(ｐ_０＋ｑ_０＋ｑ_１＋ｑ_２＋２)>>２

ｑ_２′＝(ｐ_０＋ｑ_０＋ｑ_１＋３＊ｑ_２＋２＊ｑ_３＋４)>>３

ウィークフィルタは、下記の通りである。

△＝Ｃｌｉｐ３(−ｔ_Ｃ,ｔ_Ｃ,△)

ｐ_０′＝Ｃｌｉｐ１(ｐ_０＋△)

ｑ_０′＝Ｃｌｉｐ１(ｑ_０−△)

△ｐ＝Ｃｌｉｐ３(−(ｔ_Ｃ>>１)、ｔ_Ｃ>>１、(((ｐ_２＋ｐ_０＋１)>>１)−ｐ_１＋△)>>１)

ｐ_１′＝Ｃｌｉｐ１(ｐ_１＋△ｐ)

△ｑ＝Ｃｌｉｐ３(−(ｔ_Ｃ>>１)、ｔ_Ｃ>>１、(((ｑ_２＋ｑ_０＋１)>>１)−ｑ_１−△)>>１)

ｑ_１′＝Ｃｌｉｐ１(ｑ_１＋△ｑ)

変数β及びｔ_Ｃは、前記境界量子化パラメータ(ＱＰ_Ｂ)により決定され、前記境界量子化パラメータ(ＱＰ_Ｂ)が増加するほど同じ又は大きくなる。変数βとｔ_Ｃ及び前記境界量子化パラメータ間の関係は、テーブルとして定義される。

前記境界量子化パラメータ(ＱＰ_Ｂ)は、サンプルｐ０を含むＰブロックの量子化パラメータ(ＱＰ_Ｐ)とサンプルｑ０を含むＱブロックの量子化パラメータ(ＱＰ_Ｑ)の平均値である。前記平均値は、四捨五入した値である。ＰブロックとＱブロックのうち少なくとも一つがイントラ符号化されると、前記境界量子化パラメータ(ＱＰ_Ｂ)が１ずつ増加するほど、前記変数ｔ_Ｃは、０、１又は２ずつ増加する。

以上、実施例を参照して説明したが、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

１１００ 後処理部

本発明は、復元映像のブロッキングアーチファクトを除去する方法に関し、より詳しくは、変換境界と予測境界の各エッジに対する境界強度を決定する方法に関する。

本発明によるブロッキングアーチファクトを除去する方法は、８×８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定し、前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定し、前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択し、前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングすることを特徴とする。
例えば、本願発明は以下の項目を提供する。
（項目１）
ブロッキングアーチファクトを除去する方法において、
８×８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定するステップ；
前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定するステップ；
前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択するステップ；及び、
前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングするステップ；を含むことを特徴とする方法。
（項目２）
前記４−サンプルエッジが変換ユニット境界でない、且つ前記４−サンプルエッジが予測ユニット境界でない場合、前記境界強度は、０に設定されることを特徴とする項目１に記載の方法。
（項目３）
前記境界強度は、０、１又は２であることを特徴とする項目１に記載の方法。
（項目４）
垂直４−サンプルエッジがフィルタリングされた後、水平エッジがフィルタリングされることを特徴とする項目１に記載の方法。
（項目５）
サンプルｐ０を含む予測ユニット又はサンプルｑ０を含む予測ユニットがイントラ符号化される場合、前記境界強度は、２に設定されることを特徴とする項目４に記載の方法。
（項目６）
前記サンプルｐ０を含む予測ユニット及び前記サンプルｑ０を含む予測ユニットがインター符号化される場合、前記境界強度は、０又は１に設定されることを特徴とする項目５に記載の方法。

Claims (6)

1. ブロッキングアーチファクトを除去する方法において、
   ８×８サンプルグリッド上の各４−サンプルエッジ毎に境界強度を決定するステップ；
   前記境界強度が０でない場合、前記４−サンプルエッジにデブロッキングフィルタを実行するかどうかを決定するステップ；
   前記４−サンプルエッジにデブロッキングフィルタが実行される場合、デブロッキングフィルタを選択するステップ；及び、
   前記選択されたフィルタを利用して前記４−サンプルエッジをフィルタリングするステップ；を含むことを特徴とする方法。
2. 前記４−サンプルエッジが変換ユニット境界でない、且つ前記４−サンプルエッジが予測ユニット境界でない場合、前記境界強度は、０に設定されることを特徴とする請求項１に記載の方法。
3. 前記境界強度は、０、１又は２であることを特徴とする請求項１に記載の方法。
4. 垂直４−サンプルエッジがフィルタリングされた後、水平エッジがフィルタリングされることを特徴とする請求項１に記載の方法。
5. サンプルｐ０を含む予測ユニット又はサンプルｑ０を含む予測ユニットがイントラ符号化される場合、前記境界強度は、２に設定されることを特徴とする請求項４に記載の方法。
6. 前記サンプルｐ０を含む予測ユニット及び前記サンプルｑ０を含む予測ユニットがインター符号化される場合、前記境界強度は、０又は１に設定されることを特徴とする請求項５に記載の方法。