JP5814191B2 - デブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体 - Google Patents

Description

本発明は、動画像信号符号化及び復号に関し、特にインループフィルタを用いて画像信号及び映像信号を符号化又は復号する技術に関するものである。

動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）に大別される。フレーム間符号化は動画像内の時間方向の相関を利用して、情報圧縮を図るアプローチである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、フレーム内の相関を用いて、情報圧縮を図るアプローチである。ＪＰＥＧ、ＭＰＥＧ−２では、離散コサイン変換（ＤＣＴ）を用いたアプローチがとられている。ＪＰＥＧ２０００では、離散ウェーブレット変換を用いたアプローチがとられている。上述したようにフレーム間及びフレーム内で予測を行った後、その予測残差信号（予測誤差信号とも呼ぶ）は直交変換及び量子化を経て、最終的にエントロピー符号化によって２値信号（ビットストリーム）となる。

Ｈ．２６４／ＡＶＣなどの動画像符号化の国際標準方式では、入力映像信号で与えられる映像を正方形ないしは長方形の複数のブロックに分割し、各ブロック単位において予測、直交変換、量子化を実施するため、復号された映像ではブロック状のノイズが発生することが問題となっている。復号された映像において現れるブロック状のノイズは、ブロックノイズとも呼ばれ、視覚的に大きな劣化を招く。特に映像に割り当てられる符号量が少ない低ビットレートにおいて、ブロックノイズは顕著に視認される。

Ｈ．２６４／ＡＶＣでは、ブロックノイズを低減するためにデブロッキングフィルタと呼ばれるインループフィルタが導入されている。デブロッキングフィルタは、各ブロックが接する境界であるブロック境界に対して垂直方向にフィルタをかけ、ノイズを除去する機能を有する。映像符号化及び映像復号におけるデブロッキングフィルタは、各フレームの復号画像ができた後に施される。デブロッキングフィルタは、視覚的に画質を向上させるだけでなく、画質の向上した復号画像を次のフレームの符号化において参照されるので、符号化効率の改善、すなわち客観性能の改善にも貢献する。

デブロッキングフィルタは、ブロック境界に対して上下ないしは左右４画素ずつを処理する簡易なフィルタであり、計算複雑度に見合う性能向上から、重要な符号化ツールの１つとして次世代高能率映像符号化ＨＥＶＣ（High Efficiency Video Coding）にも採用が見込まれている。

また、Ｈ．２６４／ＡＶＣのデブロッキングフィルタの処理は、１６×１６画素のマクロブロック（以下、ＭＢという。）を１６個のブロック（４×４）に分割し、各ブロック境界に対して施される。また、ＭＢ境界の場合、隣接ＭＢが存在すれば、フィルタに必要な画素が得られるため、処理を同様に施す。図１４及び図１５は、Ｈ．２６４／ＡＶＣのマクロブロック内のデブロッキングフィルタ適用部分を示す概略図である。

図１４には、デブロッキングフィルタの処理が行われる垂直方向のブロック境界が示されている。図１５には、デブロッキングフィルタの処理が行われる水平方向のブロック境界が示されている。なお、処理対象ＭＢが輝度信号の８×８画素のブロックごとに処理される場合、図１４及び図１５において実線で囲まれたブロック境界が処理対象になる。処理対象ＭＢが輝度信号の４×４画素のブロックないしは色差の４×４画素のブロックごとに処理される場合、図１４及び図１５において実線及び点線で囲まれたブロック境界が処理対象になる。

画像の性質によってはブロックノイズが発生しやすい部分と発生しにくい部分とがあるため、デブロッキングフィルタは画像に応じて適応的に施される。具体的には、デブロッキングフィルタは、「境界強度（Ｂｓ値：Boundary Strength）」と「境界間画素の差分の絶対値」とに基づいて、処理が変化する。境界強度の設定を図１６に示す。
図１６は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの境界強度（Ｂｓ値）の設定を示す図である。

図１４や図１５に示すように、デブロッキングフィルタの対象となる２つの４×４画素のブロックのうち、一方のブロックに含まれる画素の画素値をｐ_ｍ（０≦ｍ＜４）とし、他方のブロックに含まれる画素の画素値をｑ_ｎ（０≦ｎ＜４）とする。なお、ブロック境界に近いほどｍとｎとの値は小さいものとする。この場合、次式（１）及び次式（２）を満たすとき、ブロック境界近傍の画素に対してデブロッキングフィルタが適用される。

Ｂｓ＞０ …（１）
｜ｐ_０−ｑ_０｜＜αかつ｜ｐ_１−ｐ_０｜＜βかつ｜ｑ_１―ｑ_０｜＜β …（２）

式（２）において、α及びβは符号化時に定める量子化パラメータ（Quantization Parameter：ＱＰ）に依存して一意に定まる値である。また、スライスヘッダに含まれる２つのパラメータ「slice_alpha_c0_offset_div2」及び「slice_beta_offset_div2」のフラグを利用することによっても調整可能である。

更に、上記の２つのパラメータ以外にも、ピクチャパラメータセット（ヘッダ部分）にも「deblocking_filter_control_present_flag」及び「disable_deblocking_filter_idc」の２パラメータにより、以下の３種類の動作からいずれかが選択される。
１．ブロック境界及びＭＢ境界にデブロッキングフィルタを施す。
２．ＭＢ境界のみでブロッキングフィルタを施す。
３．デブロッキングフィルタを施さない。
また、デブロッキングフィルタをブロック境界に適用する場合においても、フィルタ処理は、境界強度Ｂｓ値に応じて「弱いフィルタリング」と「強いフィルタリング」とに分けられる。

（弱いフィルタリング）
境界強度Ｂｓ値が１以上かつ４未満である（１≦Ｂｓ＜４）場合には、弱いフィルタリングがデブロッキングフィルタ処理として適用される。「弱いフィルタリング」は、ブロック境界を跨ぐ４画素の画素値（ｐ_１，ｐ_０，ｑ_０，ｑ_１）を入力として、画素値ｐ_０の画素、及び画素値ｑ_０の画素における新たな画素値を出力するフィルタ処理である。フィルタ処理後における、画素値ｐ_０の画素における新たな画素値をｐ’_０と、画素値ｑ_０の画素における新たな画素値をｑ’_０とは、次式（３）〜次式（５）で表される４タップのフィルタ処理により算出される。

Δ＝Ｃｌｉｐ３［−ｔ_ｃ，ｔ_ｃ，｛（ｑ_０−ｐ_０）<<２＋（ｐ_１−ｑ_１）＋４｝／８］
…（３）
ｐ’_０＝ｐ_０＋Δ …（４）
ｑ’_０＝ｑ_０＋Δ …（５）

式（３）におけるＣｌｉｐ３（ａ，ｂ，ｃ）は、ｃの値をａ≦ｃ≦ｂとなる値に収めるクリップ処理を行うことを意味する。また、ｔ_ｃは、｜ｐ_２−ｐ_０｜、｜ｑ_２−ｑ_０｜、及びβそれぞれの値に基づいて決定される値である。もしも、｜ｐ_２−ｐ_０｜＜βを満たすならば、式（３）〜式（５）で表される４タップフィルタとは別の４タップのフィルタ処理が適用される。別の４タップのフィルタ処理は、ブロック境界を跨ぐ４画素の画素値（ｐ_２，ｐ_１，ｐ_０，ｑ_０）を入力として、画素値がｐ_１の画素の新たな画素値を出力するフィルタ処理である。画素値がｐ_１の画素の新たな画素値ｐ’_１は、次式（６）で表される４タップのフィルタ処理により算出される。

ｐ’_１＝ｐ_１＋Ｃｌｉｐ３（−ｔ_ｃ０，ｔ_ｃ０，
［ｐ_２＋｛（ｐ_０＋ｑ_０＋１）−（ｐ_１×２）｝／２］） …（６）

式（６）においてｔ_ｃ０は境界強度Ｂｓ値とＱＰ値とから定まる定数である。式（６）で表されるフィルタ処理と同様にして、（ｑ_２，ｑ_１，ｑ_０，ｐ_０）を入力として、画素値がｑ_１の画素の新たな画素値ｑ’_１が算出される。

（強いフィルタリング）
境界強度Ｂｓ値が４である（Ｂｓ＝４）場合には、強いフィルタリングがデブロッキングフィルタ処理として適用される。「強いフィルタリング」は、以下に示す条件に応じて２つの処理のいずれかが適用される。
条件「｜ｐ_２−ｐ_０｜＜βかつ｜ｐ_０−ｑ_０｜＜α／４＋２」が満たされる場合には、ｐ’_０、ｐ’_１、及びｐ’_２は次式（７）〜次式（９）により算出される。なお、次式（７）〜次式（９）における演算子「／／」は、「ａ／／ｂ」においてａをｂで除算し、小数点第１位を四捨五入することで整数化する処理を意味する。

ｐ’_０＝（ｐ_２+２×ｐ_１＋２×ｐ_０＋２×ｑ_０＋ｑ_１）／／８ …（７）
ｐ’_１＝（ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０）／／４ …（８）
ｐ’_２＝（２×ｐ_３＋３×ｐ_２＋ｐ_１＋ｐ_０＋ｑ_０）／／８ …（９）

上記の条件が満たされない場合には、次式（１０）によりｐ’_０が算出される。

ｐ’_０＝（２×ｐ_１＋ｐ_０＋ｑ_０）／／４ …（１０）

式（７）〜式（１０）ではｐ’_０、ｐ’_１、及びｐ’_２を算出するフィルタ処理を記述したが、ブロック境界を挟んだ反対側の画素値ｑ’_０、ｑ’_１及びｑ’_２を算出するフィルタ処理も同様に実施される。すなわち、ｑ’_０、ｑ’_１及びｑ’_２は次式（１１）〜式（１４）により算出されるフィルタ処理になる。

｜ｑ_２−ｑ_０｜＜βかつ｜ｐ_０−ｑ_０｜＜α／４＋２の場合：
ｑ’_０＝（ｑ_２＋２×ｑ_１＋２×ｑ_０＋２×ｐ_０＋ｐ_１）／／８ …（１１）
ｑ’１＝（ｑ_２＋ｑ_１＋ｑ_０＋ｐ_０）／／４ …（１２）
ｑ’_２＝（２×ｑ_３＋３×ｑ_２＋ｑ_１＋ｑ_０＋ｐ_０）／／８ …（１３）

｜ｑ_２−ｑ_０｜≧β又は｜ｐ_０−ｑ_０｜≧α／４＋２の場合：
ｑ’_０＝（２×ｑ_１＋ｑ_０＋ｐ_０）／／４ …（１４）

図１７は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理後に変更が加わる画素の関係を示す図である。図１７には、Ｈ．２６４／ＡＶＣのデブロッキングフィルタ処理における水平ブロック境界を対象にしたときの変更画素の範囲が示されている。図１７における（ａ）及び（ｂ）で示されるように、弱いフィルタリングの場合、ブロック境界に垂直な方向ごとに、最小で２画素（ｐ’_０、ｑ’_１）が修正され、最大で４画素（ｐ’_１、ｐ’_０、ｑ’_０、ｑ’_１）が修正される。また、図１７における（ｃ）及び（ｄ）で示されるように、強いフィルタリングの場合、ブロック境界に垂直な方向ごとに、最大で６画素（ｐ’_２、ｐ’_１、ｐ’_０、ｑ’_０、ｑ’_１、ｑ’_２）が修正され、最小で２画素（ｐ’_０、ｑ’_０）が修正される。図１８は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理条件と処理範囲を示す図である。
ここまでの説明は、非特許文献１及び非特許文献２に詳述されている。

Ｈ．２６４／ＡＶＣの次の規格となるＨＥＶＣの標準化が現在進められており、委員会原案（Committee Draft: ＣＤ）においてもデブロッキングフィルタの記載があり、Ｂｓ値などの定義は異なっているが、強いフィルタと弱いフィルタの分別があり、境界を挟んで最大６画素を修正するフィルタとなっている（非特許文献３）。ＨＥＶＣでは、符号化処理の単位はＭＢ単位ではなく、ＣＵ（Coding Unit）と呼ばれるブロックの単位で符号化が行われ、その最大の単位はＬＣＵ（Largest Coding Unit）と呼ばれており、ＨＥＶＣの参照ソフトウェアであるＨＭ（HEVC test Model）では通常64×64のサイズが設定されている。64×64のＬＣＵは、四分木により最小で8×8のＣＵまで分割される。各ＣＵはＰＵ（Prediction Unit）と呼ばれる予測を実施するブロック、及びＴＵ（Transform Unit）と呼ばれる変換を実施するブロックに分割される。すなわち、Ｈ．２６４／ＡＶＣでは16×16で符号化が行われていたが、そのサイズがＨＥＶＣでは例えば64×64のように、より大きいブロック単位で符号化が行われる特徴がある。ＨＥＶＣのデブロッキングフィルタは、各ＣＵの境界に対してＢｓ値などの条件に従い、適応的に実施される。

大久保榮（監）、角野眞也、菊池義浩、鈴木輝彦（編）、「改訂三番Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、ｐｐ.１４４−１４８、２００９年 ITU-T Study Group 16-Questions 6/16:"Draft new Corrigendum 1 to H.264 Advanced video coding for generic audiovisual services", pp.182-193, 2005 Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 7", JCTVC-I1003_d4.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, pp.149-162, 2012

非特許文献１及び非特許文献２に記載されているデブロッキングフィルタでは、ブロック境界を処理する場合、図１７に示したように、ブロック境界を挟む画素に対して同じフィルタ処理を適用している。ブロック単位の予測、変換、及び量子化の影響により、ブロック境界に隣接する部分ではブロックノイズが一般的に大きく重畳され、ブロックの内部ではブロックノイズが小さくなる傾向がある。更に、予測残差エネルギーに関して言えば、例えばインター予測では、ブロック内部において予測残差エネルギーが減少し、ブロック外縁部においては予測残差エネルギーが増加する傾向がある。イントラ予測の場合、ブロック左上については参照画素の距離も近く利用できる画素数も多いため、予測残差エネルギーが小さくなる傾向があり、逆にブロック右下に移るにつれて、参照画素の距離も大きくなる関係で予測残差エネルギーが大きくなる傾向がある。

すなわち、ブロック内の位置によって予測残差エネルギーの出方が異なるため、ブロック内部で位置によって視覚的な影響に差が生じると考えられる。上記のデブロッキングフィルタでは１つのブロック境界を挟む画素に対して同じフィルタ処理を行っているため、このような特性に応じたフィルタ処理を行うことができないという問題がある。

本発明はかかる事情を鑑みてなされたものであって、その目的は、デブロッキングフィルタの処理においてブロックノイズを低減させることができるデブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体を提供することにある。

上記問題を解決するために、本発明は、ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、
隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分ける第１のステップと、前記ブロックに含まれる各画素に対するフィルタ処理を前記ラインごとに決定する第２のステップと、前記ラインごとに決定したフィルタ処理を実施する第３のステップとを有することを特徴とするデブロッキング処理方法である。

また、本発明は、上記に記載のデブロッキング処理方法において、前記第２のステップでは、前記ラインが前記ブロック境界の中点の近傍に位置するか否かを判定し、前記ラインが前記ブロック境界の中点の近傍に位置する場合、前記フィルタ処理におけるフィルタの強度を弱くする決定をし、前記ラインが前記ブロック境界の中点の近傍に位置しない場合、前記フィルタ処理におけるフィルタの強度を強くする決定をすることを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記第２のステップでは前記ブロック境界の長さに基づいて、前記ブロック境界の中点の近傍に位置するか否かを判定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記第２のステップでは、前記隣接するブロックに対する量子化パラメータに基づいて、前記ブロック境界の中点の近傍であるか否かを判定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記第２のステップでは、前記ラインごとにフィルタ処理が予め対応付けられたテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記テーブルは、ブロック境界の長さごとに複数定められており、前記第２のステップでは、複数の前記テーブルから前記ブロック境界の長さに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記テーブルは、前記隣接するブロックに対する量子化パラメータの値ごとに複数定められており、前記第２のステップでは、複数の前記テーブルから前記隣接するブロックに対する量子化パラメータに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法において、前記映像符号化方式において、前記第２のステップにおいて各画素に対するフィルタ処理を決定した際に用いたテーブルを示す情報を符号化して前記符号化ストリームに含ませる第４のステップと、前記映像復号方式において、前記第４のステップにおいて符号化された前記テーブルを示す情報を復号する第５のステップと、を更に有し、前記映像復号方式における第２のステップでは、前記第５のステップにおいて復号した前記テーブルを示す情報に基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、上記問題を解決するために、本発明は、ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分け、ラインごとに、前記ブロックに含まれる各画素に対するフィルタ処理を決定するフィルタ処理修正部と、前記フィルタ処理修正部が決定したフィルタ処理を実施するフィルタ実施部とを備えることを特徴とするデブロッキング処理装置である。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ処理修正部は、前記ラインが前記ブロック境界の中点の近傍に位置するか否かを判定し、前記ラインが前記ブロック境界の中点の近傍に位置する場合、前記フィルタ処理におけるフィルタの強度を弱くする決定をし、前記ラインが前記ブロック境界の中点の近傍に位置しない場合、前記フィルタ処理におけるフィルタの強度を強くする決定をすることを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ処理修正部は、前記ブロック境界の長さに基づいて、前記ブロック境界の中点の近傍に位置するか否かを判定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ処理修正部は、前記隣接するブロックに対する量子化パラメータに基づいて、前記ブロック境界の中点の近傍であるか否かを判定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記ラインごとにフィルタ処理が予め対応付けられたテーブルを記憶するフィルタ強度定義部を更に備え、前記フィルタ処理修正部は、前記テーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ強度定義部には、ブロック境界の長さごとに定められた複数のテーブルが記憶されており、前記フィルタ処理修正部は、前記ブロック境界の長さに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ強度定義部には、前記隣接するブロックに対する量子化パラメータごとに定められた複数のテーブルが記憶されており、前記フィルタ処理修正部は、前記隣接するブロックに対する量子化パラメータに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理装置において、前記フィルタ処理修正部は、前記映像符号化方式において、前記ブロックに含まれる各画素に対するフィルタ処理を決定した際に用いたテーブルを示す情報を前記符号化ストリームに含ませ、前記映像復号方式において、前記符号化ストリームに含まれる前記テーブルを示す情報を取得し、取得した情報が示すテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定することを特徴とする。

また、本発明は、上記に記載のデブロッキング処理方法をコンピュータに実行させるためのプログラムである。

また、本発明は、上記に記載のデブロッキング処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

この発明によれば、ブロックに含まれる画素をブロック境界に垂直方向のラインに分け、ラインごとにフィルタ処理を決定することができ、ブロック内における画素の位置に応じて異なる特性に対応したフィルタ処理を行うことができる。これにより、ブロックノイズを低減させることができ、主観画質、符号化特性の改善を図ることができる。

第１の実施形態における動画像符号化装置１００の構成例を示す概略ブロック図である。 同実施形態における動画像復号装置２００の構成例を示す概略ブロック図である。 同実施形態におけるデブロッキングフィルタ処理部１１０及びデブロッキングフィルタ処理部２０８の構成例を示す概略ブロック図である。 同実施形態におけるデブロッキングフィルタ処理部１１０が行うデブロッキングフィルタ処理を示すフローチャートである。 同実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。 同実施形態におけるフィルタの強度の修正例を示す概略図である。 同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。 同実施形態におけるデブロッキングフィルタ処理部１１０が行うフィルタ処理の一例を示す図である。 第２の実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。 同実施形態におけるフィルタ強度定義部５０４が記憶するテーブルの例を示す図である。 同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。 動画像符号化装置１００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 動画像復号装置２００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 Ｈ．２６４／ＡＶＣのマクロブロック内のデブロッキングフィルタ適用部分を示す第１の概略図である。 Ｈ．２６４／ＡＶＣのマクロブロック内のデブロッキングフィルタ適用部分を示す第２の概略図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの境界強度（Ｂｓ値）の設定を示す図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理後に変更が加わる画素の関係を示す図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理条件と処理範囲を示す図である。

以下、図面を参照して、本発明に係る一実施形態におけるデブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体を説明する。以下の説明では、本発明に対応するデブロッキングフィルタ処理部を具備する動画像符号化装置及び動画像復号装置の構成例を示し、その後にデブロッキングフィルタ処理部の詳細な説明を行う。デブロッキングフィルタ処理部は、動画像符号化装置及び動画像復号装置において共通する処理を行う。

＜第１の実施形態＞
図１は、第１の実施形態における動画像符号化装置１００の構成例を示す概略ブロック図である。動画像符号化装置１００には、符号化対象の入力映像信号が入力される。動画像符号化装置１００は、入力映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化ストリームとして出力する。

動画像符号化装置１００は、同図に示すように、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、変換処理部１０４、量子化処理部１０５、逆量子化処理部１０６、逆変換処理部１０７、復号信号生成部１０８、フレームメモリ１０９、デブロッキングフィルタ処理部１１０、インター予測情報格納部１１１、イントラ予測情報格納部１１２、及び、エントロピー符号化処理部１１３を具備している。

動画像符号化装置１００においては、デブロッキングフィルタ処理部１１０が本発明のデブロッキングフィルタ処理装置に対応する。他の各機能部は、Ｈ．２６４／ＡＶＣなどのエンコーダとして用いられている一般的な動画像符号化装置が具備する機能部と同様である。なお、策定中のＨＥＶＣにおいては、デブロッキングフィルタの他にもサンプルアダプティブオフセット（Sample Adaptive Offset：ＳＡＯ）やアダプティブループフィルタ（Adaptive Loop Filter：ＡＬＦ）と呼ばれる符号化ノイズを除去するループ内フィルタが適用されているが、デブロッキングフィルタ処理部１１０の前後に、デブロッキングフィルタ以外のループ内フィルタ処理部を挿入しても良い。

イントラ予測処理部１０１は、入力映像信号が入力され、入力映像信号に基づいて予測信号を生成する。また、イントラ予測処理部１０１は、入力映像信号に基づいて、予測モードなどを含むイントラ予測情報を生成し、生成したイントラ予測情報をイントラ予測情報格納部１１２に記憶させて格納する。

インター予測処理部１０２には、入力映像信号と、デブロッキングフィルタ処理部１１０から参照画像とが入力される。インター予測処理部１０２は、入力映像信号と参照画像とに基づいて、予測信号を生成する。また、インター予測処理部１０２は、入力映像信号と参照信号とに基づいて、動きベクトルを含むインター予測情報を生成し、生成したインター予測情報をインター予測情報格納部１１１に記憶させて格納する。

予測残差信号生成部１０３は、入力画像と、イントラ予測処理部１０１あるいはインター予測処理部１０２から出力される予測信号との差分を算出する。予測残差信号生成部１０３は、算出した差分を予測残差信号として変換処理部１０４に出力する。

変換処理部１０４は、予測残差信号生成部１０３から入力される予測残差信号に対して離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交変換を行う。変換処理部１０４は、直交変換により得られた変換係数を量子化処理部１０５に出力する。

量子化処理部１０５は、変換処理部１０４から入力される変換係数を量子化し、その量子化された変換係数を逆量子化処理部１０６とエントロピー符号化処理部１１３とに出力する。

逆量子化処理部１０６は、量子化処理部１０５から入力される変換係数を逆量子化して逆変換処理部１０７に出力する。
逆変換処理部１０７は、逆量子化処理部１０６から入力される変換係数を逆直交変換する。逆変換処理部１０７は、逆直交変換により得られた予測残差復号信号を復号信号生成部１０８に出力する。

復号信号生成部１０８は、逆変換処理部１０７から入力される予測残差復号信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２が出力する予測信号とを加算する。復号信号生成部１０８は、加算結果を符号化した符号化対象ブロックの復号信号としてフレームメモリ１０９に記憶させる。この復号信号は、イントラ予測処理部１０１あるいはインター予測処理部１０２において参照画像として用いられる。

フレームメモリ１０９は、復号信号生成部１０８が生成する復号信号を記憶する。
デブロッキングフィルタ処理部１１０は、フレームメモリ１０９に記憶されている復号信号を読み出し、読み出した復号信号に対してデブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部１１０は、デブロッキングフィルタ処理後の画像を参照画像としてインター予測処理部１０２に出力する。

インター予測情報格納部１１１は、インター予測処理部１０２が生成するインター予測情報を記憶する。
イントラ予測情報格納部１１２は、イントラ予測処理部１０１が生成するイントラ予測情報を記憶する。

エントロピー符号化処理部１１３は、量子化処理部１０５において量子化された変換係数、インター予測情報格納部１１１に格納されているインター予測情報、及び、イントラ予測情報格納部１１２に格納されているイントラ予測情報をエントロピー符号化し、符号化ストリームとして出力する。

動画像符号化装置１００は、上述の各機能部を具備することにより、入力映像信号の各フレームを複数のブロックに分割してブロックベースの予測符号化を行い、入力映像信号を符号化して得られた符号化ストリームを出力する。

図２は、本実施形態における動画像復号装置２００の構成例を示す概略ブロック図である。動画像復号装置２００は、図１に示した動画像符号化装置１００などにより符号化された符号化ストリームが入力され、符号化ストリームを復号することにより復号画像の映像信号を出力する。

動画像復号装置２００は、図２に示すように、エントロピー復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆量子化処理部２０４、逆変換処理部２０５、復号信号生成部２０６、フレームメモリ２０７、デブロッキングフィルタ処理部２０８、インター予測情報格納部２０９、及び、イントラ予測情報格納部２１０を具備している。

動画像復号装置２００においては、デブロッキングフィルタ処理部２０８が本発明のデブロッキングフィルタ処理装置に対応する。他の各機能部は、Ｈ．２６４／ＡＶＣなどのデコーダとして用いられる一般的な動画像復号装置が具備する機能部と同様である。

エントロピー復号処理部２０１は、符号化ストリームが入力され、入力された符号化ストリームから復号対象ブロックの量子化変換係数をエントロピー復号するとともに、イントラ予測に関するイントラ予測情報、及びインター予測に関するインター予測情報をエントロピー復号する。また、エントロピー復号処理部２０１は、量子化変換係数を逆量子化処理部２０４に出力し、インター予測情報をインター予測情報格納部２０９に記憶させて格納し、イントラ予測情報をイントラ予測情報格納部２１０に記憶させて格納する。

イントラ予測処理部２０２は、フレームメモリ２０７に記憶される復号信号を参照画像として読み出す。また、イントラ予測処理部２０２は、イントラ予測情報格納部２１０からイントラ予測情報を読み出す。イントラ予測処理部２０２は、読み出した参照画像と、読み出したイントラ予測情報とに基づいて、予測信号を生成する。

インター予測処理部２０３は、インター予測情報格納部２０９からインター予測情報を読み出す。インター予測処理部２０３は、インター予測情報と、デブロッキングフィルタ処理部２０８から入力される参照画像とに基づいて、予測信号を生成する。

逆量子化処理部２０４は、エントロピー復号処理部２０１から入力される量子化変換係数を逆量子化して復号変換係数を算出する。逆量子化処理部２０４は、算出した復号変換係数を逆変換処理部２０５に出力する。

逆変換処理部２０５は、逆量子化処理部２０４から入力される復号変換係数に逆直交変換を施し、予測残差復号信号を算出する。逆変換処理部２０５は、算出した予測残差復号信号を復号信号生成部２０６に出力する。

復号信号生成部２０６は、逆変換処理部２０５から入力される予測残差復号信号と、イントラ予測処理部２０２あるいはインター予測処理部２０３が出力する予測信号とを加算する。復号信号生成部２０６は、加算結果を復号対象ブロックの復号信号としてフレームメモリ２０７に記憶させて格納する。
フレームメモリ２０７は、復号信号生成部２０６が算出する復号信号を記憶する。

デブロッキングフィルタ処理部２０８は、フレームメモリ２０７から復号信号を読み出し、読み出した復号信号により示される画像に対して符号化歪みを低減するフィルタ処理を行う。デブロッキングフィルタ処理部２０８は、フィルタ処理後の画像を復号映像信号として出力する。また、デブロッキングフィルタ処理部２０８は、フィルタ処理後の画像を参照画像としてインター予測処理部２０３に出力する。なお、動画像符号化装置１００と同様に、サンプルアダプティブオフセットやアダプティブループフィルタなどのループ内フィルタ処理部をデブロッキングフィルタ処理部２０８の前後に挿入しても良い。

インター予測情報格納部２０９は、エントロピー復号処理部２０１が復号したインター予測情報を格納する。
イントラ予測情報格納部２１０は、エントロピー復号処理部２０１が復号したイントラ予測情報を格納する。

動画像復号装置２００は、上述の各機能部を具備することにより、ブロックベースの予測符号化により符号化された映像の符号化ストリームを入力し、入力された符号化ストリームから映像を復号して復号映像信号を出力する。

（デブロッキングフィルタ処理部の構成例）
図３は、本実施形態におけるデブロッキングフィルタ処理部１１０及びデブロッキングフィルタ処理部２０８の構成例を示す概略ブロック図である。以下、デブロッキングフィルタ処理部１１０とデブロッキングフィルタ処理部２０８とは共通する処理を行い、同じ構成を有するので、デブロッキングフィルタ処理部１１０を説明し、デブロッキングフィルタ処理部２０８の説明を省略する。

デブロッキングフィルタ処理部１１０は、図３に示すように、フィルタ使用判定部３０１、フィルタ処理部３０２、及び、最終ブロック判定部３０３を備えている。
フィルタ使用判定部３０１は、デブロッキングフィルタを適用するブロック境界を同定する。また、フィルタ使用判定部３０１は、フィルタ処理の強弱を調整するためのパラメータである境界強度（Ｂｓ値）を決定する。フィルタ使用判定部３０１には、復号画素信号、モード情報、動きベクトル、位置情報、変数係数が入力される。

復号画素信号は、フレームメモリ１０９から読み出す復号信号が示す画像におけるブロックに含まれる各画素の画素値を示す信号である。モード情報は、例えば、イントラ予測が対象ブロックに適用されているか、インター予測が対象ブロックに適用されているかを示す予測モード情報を含む情報である。動きベクトルは、インター予測情報に含まれる情報である。位置情報は、空間座標、すなわち対象ブロックがＭＢの境界に位置するか否かを判定するためのブロックの位置を示す情報である。変換係数は、対象ブロックに含まれる有意係数の数である。これらの他にも、ＨＥＶＣの場合であれば、ＰＵやＴＵの境界情報なども用いられるため、それらの符号化情報、つまり、デブロッキングフィルタの強弱ないしはフィルタなしといった判定に必要な情報は全て入力として入ってもよい。

フィルタ使用判定部３０１は、非特許文献１ないしは非特許文献２に記載されているデブロッキングフィルタ処理と同様に、フィルタ処理を適用するブロック境界線の位置情報、図１６に示されるような境界強度（Ｂｓ値）、Ｂｓ値と復号画素値とから決定されるデブロッキングフィルタとして用いるフィルタ形状、及び、フィルタ処理の対象画素の範囲を決定する。ここで、フィルタ形状は、フィルタタップ長と、フィルタ係数とを示す情報である。

位置情報と境界強度とフィルタ形状のような全てのデブロッキングフィルタに関する情報をフィルタリング情報と定義する。フィルタ使用判定部３０１は、入力される情報に基づいて、フィルタリング情報出力する。

フィルタ処理部３０２には、フィルタ使用判定部３０１が出力するフィルタリング情報と、復号画素信号とが入力される。フィルタ処理部３０２は、フィルタリング情報に基づいて、復号画素信号に対して適切なフィルタ処理を施す。フィルタ処理部３０２は、フィルタ処理後の画素値を示すフィルタ後復号画素信号と、フィルタ処理が施された画素又はブロックの位置を示すフィルタ処理位置情報とを最終ブロック判定部３０３に出力する。

最終ブロック判定部３０３は、フィルタ処理部３０２から入力されるフィルタ後復号画素信号及びフィルタ処理位置情報に基づいて、デブロッキングフィルタの処理が終了したか否かを判定し、フィルタ後復号画素信号を出力する。

デブロッキングフィルタ処理部１１０は、フィルタ使用判定部３０１、フィルタ処理部３０２、及び最終ブロック判定部３０３により、復号信号が示す画像に対してデブロッキングフィルタを適用し、デブロッキングフィルタ後の復号画像を出力する。

（デブロッキングフィルタ処理のフロー）
図４は、本実施形態におけるデブロッキングフィルタ処理部１１０が行うデブロッキングフィルタ処理を示すフローチャートである。
デブロッキングフィルタ処理部１１０において、デブロッキングフィルタ処理が開始されると、フィルタ使用判定部３０１に復号画素信号、モード情報、動きベクトル、位置情報、変数係数が入力される。ＨＥＶＣの場合、ＰＵやＴＵの境界情報も含まれる（ステップＳ１０１）。
フィルタ使用判定部３０１は、非特許文献１ないし非特許文献２に記載されている手順に従い、ステップＳ１０１において入力された情報に基づいて、デブロッキングフィルタを適用するブロック境界を同定し、フィルタ処理の強弱を調整するためのパラメータである境界強度を決定し、フィルタリング情報を出力する。なお、非特許文献３に記載されているように、ＨＥＶＣの参照ソフトウェアＨＭでは、ＣＵ境界は４画素単位のループ処理で境界強度の決定やフィルタ処理が実行されるが、本願発明の場合、フィルタリング情報からフィルタ形状の連続性（強いフィルタや弱いフィルタが何画素連続しているかの情報）を求めて、その同じフィルタ形状が続く画素の長さ、ないしはＣＵ／ＰＵ／ＴＵ境界の長さに基づいて、ｎ（＞４）画素単位でフィルタ処理を行ってもよい。前記フィルタ処理の画素の長さもフィルタリング情報に含めてよい（ステップＳ１０２）。

フィルタ処理部３０２は、ステップＳ１０２において出力されたフィルタリング情報に基づいて、復号画素信号に対して適切なフィルタ処理を施す（ステップＳ１０３）。
最終ブロック判定部３０３は、フィルタ処理部３０２が出力するフィルタ処理位置情報に基づいて、フィルタ処理を施したブロックが最終ブロックであるか否かを判定し（ステップＳ１０４）、最終ブロックでない場合（ステップＳ１０４：Ｎｏ）、処理をステップＳ１０１に戻して、ステップＳ１０１からステップＳ１０４までの各処理を繰り返す。
一方、フィルタ処理を施したブロックが最終ブロックである場合（ステップＳ１０４：Ｙｅｓ）、最終ブロック判定部３０３は、フィルタ後復号画素信号を出力し（ステップＳ１０５）、デブロッキングフィルタ処理を終了する。

図５は、本実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。フィルタ処理部３０２は、同図に示すように、フィルタリング情報記憶部４０１、フィルタ処理修正部４０２、及び、フィルタ実施部４０３を有している。
フィルタリング情報記憶部４０１は、デブロッキングフィルタを適用する際に必要となるフィルタリング情報を全て記憶する。

フィルタ処理修正部４０２は、フィルタリング情報記憶部４０１に記憶されるフィルタリング情報を読み出し、読み出したフィルタリング情報とブロック境界の中点からの距離とに応じて、フィルタの強度を選択する。フィルタの強度は、デブロッキングフィルタがかかる画素の集合を１ラインとしたときに、そのライン内で修正される画素数として定義される。フィルタ処理修正部４０２は、選択したフィルタの強度に応じてフィルタリング情報を修正する。フィルタ処理修正部４０２は、修正したフィルタリング情報を修正後フィルタリング情報としてフィルタ実施部４０３に出力する。

図６は、本実施形態におけるフィルタの強度の修正例を示す概略図である。同図では、Ｂｓ値が４であり、４×４画素のブロックＰ及びＱに挟まれるブロック境界におけるフィルタの強度を示している。この場合、ブロックＰとブロックＱとの境界を示す線分であるブロック境界の長さは４画素となる。

図６（ａ）には、ブロックＰ及びＱ内のブロック境界に垂直方向に延びる各ラインＬ０〜Ｌ３それぞれにおいてブロック境界に接する画素を含む隣接した３画素ずつ（（ｐ’_０、ｐ’_１、ｐ’_２）と（ｑ’_０、ｑ’_１、ｑ’_２））の合計６画素を、フィルタ処理により画素値が修正される画素にする場合が示されている。図６（ａ）に示す場合は、図１７における（ｃ）の場合と同じである。

図６（ｂ）には、ラインＬ０及びＬ３における修正される画素は図６（ａ）の場合と同じであるが、ブロック境界の中点に近いラインＬ１及びＬ２において、ブロック境界を挟んで２画素ずつの合計４画素を修正される画素にする場合が示されている。換言すると、この場合には、ブロック境界と接する画素（ｐ’_０、ｑ’_０）と、当該画素と接する画素（ｐ’_１、ｑ’_１）とを修正される画素にする。

図６（ｃ）には、ラインＬ０及びＬ３における修正される画素は図６（ａ）の場合と同じであるが、ブロック境界の中点に近いラインＬ１及びＬ２において、ブロック境界に接する１画素ずつ（ｐ’_０、ｑ’_０）の合計２画素を修正される画素にする場合が示されている。

図６（ｄ）には、ラインＬ０及びＬ３における修正される画素は図６（ａ）の場合と同じであるが、ブロック境界の中点に近いラインＬ１及びＬ２では画素値の修正を行わない場合が示されている。
図６では、（ａ）に示した場合がフィルタの強度が最も強く、（ｄ）に示した場合がフィルタの強度が最も弱い。すなわち、（ａ）、（ｂ）、（ｃ）、（ｄ）の順にフィルタの強度が弱くなる。

フィルタ実施部４０３には、フィルタ処理修正部４０２が出力する修正後フィルタリング情報と、復号画素信号とが入力される。フィルタ実施部４０３は、修正後フィルタリング情報に基づいて、復号画素信号に対してデブロッキングフィルタを実施する。
本実施形態におけるフィルタ処理部３０２は、フィルタ処理修正部４０２を有している点が特徴である。

図７は、本実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。
フィルタ処理部３０２において、フィルタ処理が開始されると、フィルタ処理修正部４０２は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報を読み出す（ステップＳ２０１）。
フィルタ処理修正部４０２は、対象となるブロック境界を挟むブロックの各画素を、ブロック境界に垂直方向のラインに分ける（ステップＳ２０２）。換言すると、２つのブロックに含まれる画素を、ブロック境界に垂直な複数のラインに対応するグループに分ける。

フィルタ処理修正部４０２は、ステップＳ２０２で分けたラインごとに、ラインがブロック境界の中点の近傍であるか否かを判定する（ステップＳ２０３）。
ラインが中点の近傍である場合（ステップＳ２０３：Ｙｅｓ）、フィルタ処理修正部４０２は、フィルタリング情報に対して当該ラインにおけるフィルタ強度を弱化する修正を行った修正後フィルタリング情報を出力する（ステップＳ２０４）。一方、ラインが中点の近傍でない場合（ステップＳ２０３：Ｎｏ）、フィルタ処理修正部４０２は、当該ラインにおけるフィルタ強度を修正せずにフィルタリング情報を修正後フィルタリング情報として出力する。

ステップＳ２０３及びステップＳ２０４の処理は、ステップＳ２０２で分けた各ラインに対して行われる。
フィルタ実施部４０３は、フィルタ処理修正部４０２が出力した修正フィルタリング情報に基づいて、対象となるブロック境界を挟むブロックの画素に対してデブロッキングフィルタを実施し（ステップＳ２０５）、フィルタ処理を終了する。なお、デブロッキングフィルタの実施、すなわち新たな画素値の算出は、例えば、式（３）〜式（６）や、式（７）〜式（１４）などを用いて行う。

ここで、ステップＳ２０３における判定と、ステップＳ２０４におけるフィルタリング情報の修正とについて詳細に説明する。以下、ブロック境界の長さをｎ（ｎは正の整数）画素とし、ラインの位置をｉ（０≦ｉ＜ｎ、水平ブロック境界の場合は左端のラインをｉ＝０とし、垂直ブロック境界の場合は上端のラインをｉ＝０とする。）で表す。

ステップＳ２０３における判定において、例えば、フィルタ処理修正部４０２は、ｉがｎ／４≦ｉ＜３ｎ／４を満たす場合、ｉで示されるラインを内側すなわちブロック境界の中点の近傍に位置するラインであると判定する。一方、フィルタ処理修正部４０２は、ｉがｎ／４≦ｉ＜３ｎ／４を満たさない場合、ｉで示されるラインを外側すなわちブロック境界の中点の近傍に位置するラインでないと判定する。この場合、ラインがブロック境界の中点の近傍に位置するか否かを判定する基準は、ブロック境界の長さに基づいて定められる。

図６に示したように、ｎ＝４の場合（Ｈ．２６４／ＡＶＣの場合）、フィルタ処理修正部４０２は、ラインＬ１及びＬ２（ｉ＝１，２）を内側であると判定し、ラインＬ０及びＬ３（ｉ＝０，３）を外側であると判定する。
また、ｎ＝８の場合（現在策定中のＨＥＶＣではｎ≧８を取り得る）、フィルタ処理修正部４０２は、ラインＬ２からラインＬ５（ｉ＝２，３，４，５）を内側であると判定し、ラインＬ０、Ｌ１、Ｌ６、及びＬ７（ｉ＝０，１，６，７）を外側であると判定する。
内側であると判定されたラインに対応するフィルタリング情報は修正され、外側であると判定されたラインに対応するフィルタリング情報は修正されない。

ステップＳ２０４におけるフィルタリング情報の修正では、内側であると判定されたラインに対するフィルタの強度を、外側であると判定されたラインに対するフィルタの強度より弱くなる（小さくなる）ように変更する。例えば、図６（ａ）に示されているフィルタの強度を、図６（ｂ）から図６（ｄ）のいずれかに示されているフィルタの強度に変更して、フィルタ強度を弱くする。すなわち、画素値が修正される画素の数を減らす。

以上、説明したように、本実施形態におけるデブロッキングフィルタ処理部１１０では、処理対象となるブロック境界ごとに、ブロック境界を挟むブロックに含まれる画素をブロック境界に対して垂直方向の複数のラインに分け、ブロック境界の中点近傍のラインに対して、フィルタ強度を弱くしてデブロッキングフィルタを施す。このように、ブロック内における画素の位置に応じてフィルタ処理を変更することにより、ブロック内における画素の位置ごとに異なる予測残差エネルギーなどの特性に応じたデブロッキングフィルタを施すことができる。その結果、主観画質、符号化特性を改善したり、ブロックノイズを低減させたりすることができる。また、ブロック境界の中点近傍のラインでは、画素値を修正する画素の数を減らすことになるので、デブロッキングフィルタフィルタの処理における演算量の削減することができ、処理に要する時間を短縮する高速化が可能となる。

図８は、本実施形態におけるデブロッキングフィルタ処理部１１０が行うフィルタ処理の一例を示す図である。デブロッキングフィルタ処理部１１０によれば、図８に示すようにブロック境界の内側では弱めのフィルタ処理をして、外側では強めのフィルタ処理を施すことにより、より効率的にブロックノイズを除去することを可能とする。また、タップ長の短いフィルタを用いれば、従来のデブロッキングフィルタ方法よりも計算回数を削減でき、デブロッキングフィルタの高速化も期待できる。すなわち、１つのブロック境界に対する処理において、フィルタ処理を変更できないことにより生じていた問題を解決することができ、１つのブロック境界に対する処理を柔軟に変更することにより、主観画質改善や符号化効率改善を達成することができる。また、デブロッキングフィルタの処理を高速化させることができる。

なお、本実施形態におけるフィルタ処理（図７）のステップＳ２０３における判定を、ブロック境界の長さに基づいて行う構成について説明した。しかし、これに限ることなく、他の基準を用いて判定するようにしてもよい。例えば、ブロック境界を挟むブロックに対する量子化パラメータの値に基づいて、ブロック境界の中点の近傍にラインが位置するか否かを判定する基準を定めるようにしてもよい。量子化パラメータが小さいとき、すなわち高ビットレートの場合、ブロックノイズが目立ちにくいため、中点の近傍範囲を広げる。また、量子化パラメータが大きいとき、すなわち低ビットレートの場合、ブロックノイズが目立ちやすいため、中点の近傍範囲を狭めるなどと調整してもよい。
また、量子化パラメータとブロック境界の長さとを組み合わせて、ブロック境界の中点の近傍にラインが位置するか否かを判定する基準を定めるようにしてもよい。これにより、映像に対して要求される画質に応じたフィルタ処理を施すことができる。

＜第２の実施形態＞
第２の実施形態では、第１の実施形態において説明したフィルタ処理部３０２（図５）と異なる構成例を説明する。なお、フィルタ処理部３０２以外の構成は、第１の実施形態と同じである。

図９は、第２の実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。本実施形態におけるフィルタ処理部３０２は、同図に示すように、フィルタリング情報記憶部４０１、フィルタ処理修正部５０２、フィルタ実施部４０３、及び、フィルタ強度定義部５０４を有している。フィルタリング情報記憶部４０１とフィルタ実施部４０３とは第１の実施形態と同じであるので、その説明を省略する。

フィルタ強度定義部５０４には、ブロック境界に対して垂直方向のラインごとにラインの位置とフィルタ強度とが対応付けられたテーブルが予め記憶されている。
図１０は、本実施形態におけるフィルタ強度定義部５０４が記憶するテーブルの例を示す図である。例えば、図１０（ａ）に示すテーブルでは、外側と判定されるライン（位置：０、３）に対するフィルタの強度を弱くし、内側と判定されるライン（位置：１、２）に対するフィルタの強度を強くする。例えば、フィルタの強度を「強」にする場合には、画素値を修正する画素の数を、図１７で示したようなＨ．２６４／ＡＶＣにおけるデブロッキングフィルタで定義されている数にする。これに対して、フィルタの強度を「弱」にする場合には、画素値を修正する画素の数を、定義されている数より少ない数にする。

以上、ブロック境界の線分が４画素の場合の例を示したが、例えばＨＥＶＣのように、ＣＵの辺の長さが例えば１６画素や３２画素などのブロック境界にて、フィルタ強度が強ないしは弱となる４画素よりも長いブロック境界が発生し得る。この場合、図１０（ｄ）から（ｆ）に示されるように、取り得る各ブロック境界に対応するテーブルを格納しておけばよい。図１０の事例のようにテーブルによって強度を変更する場合、全てのラインに対して同じ強度、例えば、強のみ、弱のみ、フィルタなし、のように設定してもよい。例えば、特定のブロック境界の長さにおいては、フィルタをしない方が良いとわかっていれば、その長さに対応するテーブルには、全てフィルタなしにすることで余計なフィルタリングを省くことが可能となり、過平滑化（オーバースムージング）による符号化性能の劣化を防ぐことに加え、演算量低減による高速化も期待できる。また、特定のブロック境界の長さで全てのラインで強いフィルタが必要な場合、全てのラインで強と設定してもよい。なお、図１０（ｆ）におけるｎは正の整数である。

フィルタ処理修正部５０２は、フィルタ強度定義部５０４に記憶されているテーブルを読み出し、読み出したテーブルに基づいて、各ラインにおけるフィルタの強度を修正する。フィルタ処理修正部５０２は、フィルタの強度の修正を反映したフィルタリング情報を修正後フィルタリング情報としてフィルタ実施部４０３に出力する。

（デブロッキングフィルタ処理のフロー）
図１１は、本実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。
フィルタ処理部３０２において、フィルタ処理が開始されると、フィルタ処理修正部５０２は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報を読み出す（ステップＳ３０１）。
フィルタ処理修正部５０２は、対象となるブロック境界を挟むブロックの各画素を、ブロック境界に垂直方向のラインに分ける（ステップＳ３０２）。

フィルタ処理修正部５０２は、ステップＳ３０２で分けたラインごとに、ラインの位置に対応するフィルタの強度をフィルタ強度定義部５０４のテーブルから読み出す。フィルタ処理修正部５０２は、ラインに対するフィルタの強度を、読み出したフィルタの強度に修正し、当該修正をフィルタリング情報に反映して修正後フィルタリング情報をフィルタ実施部４０３に出力する（ステップＳ３０３）。
フィルタ実施部４０３は、フィルタ処理修正部５０２が出力した修正フィルタリング情報に基づいて、対象となるブロック境界を挟むブロックの画素に対してデブロッキングフィルタを実施し（ステップＳ３０４）、フィルタ処理を終了する。

以上、説明したように、本実施形態におけるデブロッキングフィルタ処理部１１０では、予め定められたテーブルに基づいて、デブロッキングフィルタにおける処理をラインごとに変更するようにした。このように、ブロック内における画素が含まれるラインに応じてフィルタ処理を変更することにより、ブロック内における画素のラインごとに異なる予測残差エネルギーなどの特性に応じたデブロッキングフィルタを施すことができる。その結果、ブロックノイズを低減させることができ、主観画質、符号化特性を改善することができる。また、フィルタ処理における演算量の削減することができ、フィルタ処理に要する時間を短縮する高速化が可能となる。

なお、本実施形態におけるフィルタ強度定義部５０４に記憶されているテーブルでは、ラインごとにフィルタの強度が対応付けられている構成について説明した。しかし、これに限ることなく、ブロック境界の中点とラインとの距離ごとにフィルタの強度を対応付けたテーブルをフィルタ強度定義部５０４に予め記憶させるようにしてもよい。

また、第１の実施形態におけるフィルタの強度の修正と、第２の実施形態におけるフィルタの強度の修正とを組み合わせて用いるようにしてもよい。例えば、ブロック境界の長さが予め定められた所定の長さ（第１の閾値）未満である場合においては、ブロック境界の中点から各ラインまでの距離に応じて、距離が短いほどフィルタの強度を弱くし、距離が長いほどフィルタの強度を強くする。すなわち、内側のラインに対するフィルタの強度を弱くし、外側のラインに対するフィルタの強度を強くする。ブロック境界の長さが所定の長さ以上である場合においては、ラインの位置ごとにフィルタの強度が定義されたテーブルを用いて、ラインの位置に応じて処理を変更する。これにより、柔軟なフィルタの強度を設定してデブロッキングフィルタを施すこともできる。

また、ブロック境界の長さに応じて異なる複数のテーブルをフィルタ強度定義部５０４に予め記憶させ、フィルタ処理修正部５０２が処理対象のブロック境界の長さに対応するテーブルを選択するようにしてもよい。これにより、ブロック境界の長さに応じた適切なデブロッキングフィルタを実施することができる。
また、量子化パラメータの値に応じて異なる複数のテーブルをフィルタ強度定義部５０４に予め記憶させ、フィルタ処理修正部５０２が処理対象のブロック境界を挟むブロックの量子化パラメータの値に対応するテーブルを選択し、選択したテーブルに基づいて、各ラインにおけるフィルタの強度を修正するようにしてもよい。

また、フィルタ強度定義部５０４に複数のテーブルを予め記憶させ、複数のテーブルからいずれかを選択してデブロッキングフィルタ処理を行う場合、デブロッキングフィルタ処理部１１０は、フィルタ処理修正部５０２が選択したテーブルを示す情報をエントロピー符号化処理部１１３に出力して、選択したテーブルを示す情報が符号化ストリームに含まれるようにしてもよい。この場合、デブロッキングフィルタ処理部２０８は、エントロピー復号処理部２０１が符号化ストリームを復号した情報から、テーブルを示す情報を取得し、当該テーブルに基づいて、各ラインにおけるフィルタの強度を修正するようにしてもよい。なお、テーブルを示す情報は、複数のテーブルにおいて各テーブルを識別するための情報であってもよいし、テーブルにおける各ラインとフィルタの強度との対応関係を示す情報すなわちテーブル自体であってもよい。テーブル自体が符号化ストリームに含まれる場合、デブロッキングフィルタ処理部２０８では、符号化ストリームに含まれるテーブルを取得すると、フィルタ強度定義部５０４に記憶させることになる。

以上、第１及び第２の実施形態において説明したデブロッキングフィルタ処理部１１０、２０８と、デブロッキングフィルタ処理部１１０を具備する動画像符号化装置１００と、デブロッキングフィルタ処理部２０８を具備する動画像復号装置２００は、コンピュータとソフトウエアプログラムとを用いて実現することができる。また、そのソフトウエアプログラムをコンピュータが読み取り可能な記録媒体に記録して提供することが可能である。また、ソフトウエアをネットワークを介して提供することも可能である。

図１２は、デブロッキングフィルタ処理部１１０を具備する動画像符号化装置１００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、及び、符号化ストリーム出力部９０５を備えている。

ＣＰＵ９００はプログラムを実行する。メモリ９０１は、ＣＰＵ９００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。映像信号入力部９０２は、映像信号を生成するカメラなどの機器から符号化対象の入力映像信号を入力する。なお、映像信号入力部９０２は、ハードディスク装置等による入力映像信号を記憶する記憶装置であってもよい。プログラム記憶装置９０３は、上述の各実施形態において説明した符号化処理をＣＰＵ９００に実行させるソフトウエアプログラムである動画像符号化プログラム９０４を格納する。符号化ストリーム出力部９０５は、ＣＰＵ９００がメモリ９０１にロードされた動画像符号化プログラム９０４を実行することにより生成された符号化ストリームを出力する。符号化ストリーム出力部９０５は、ネットワークを介して、符号化ストリームを出力するようにしてもよい。また、符号化ストリーム出力部９０５は、ハードディスク装置等による符号化ストリーム記憶する記憶装置であってもよい。ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、及び、符号化ストリーム出力部９０５は、バスを介して互いに接続されている。

図１３は、デブロッキングフィルタ処理部２０８を具備する動画像復号装置２００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、及び、復号映像出力部１００５を備えている。

ＣＰＵ１０００はプログラムを実行する。メモリ１００１は、ＣＰＵ１０００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。符号化ストリーム入力部１００２は、例えば、動画像符号化装置１００が上述の処理により入力映像信号を符号化した符号化ストリームを入力する。なお、符号化ストリーム入力部１００２は、ハードディスク装置等による符号化ストリームを記憶する記憶装置であってもよい。プログラム記憶装置１００３は、上述の各実施形態において説明した復号処理をＣＰＵ１０００に実行させるソフトウエアプログラムである動画像復号プログラム１００４を格納する。復号映像出力部１００５は、ＣＰＵ１０００がメモリ１００１にロードされた動画像復号プログラム１００４を実行することにより、符号化ストリームを復号して得られた復号映像を再生装置などに出力する。なお、復号映像出力部１００５は、ハードディスク装置等による復号映像信号を記憶する記憶装置であってもよい。ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、及び、復号映像出力部１００５は、バスを介して互いに接続されている。

以上、図面を参照して本発明の実施形態を説明してきたが、上述の各実施形態において説明した構成例は本発明の例示であり、本発明が上述の各実施形態の構成例に限定されるものではないことは明らかである。したがって、本発明の精神及び技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。

なお、本発明におけるデブロッキングフィルタ処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより「デブロッキングフィルタ処理」及び「フィルタ処理」を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１００…動画像符号化装置
１０１…イントラ予測処理部
１０２…インター予測処理部
１０３…予測残差信号生成部
１０４…変換処理部
１０５…量子化処理部
１０６…逆量子化処理部
１０７…逆変換処理部
１０８…復号信号生成部
１０９…フレームメモリ
１１０…デブロッキングフィルタ処理部
１１１…インター予測情報格納部
１１２…イントラ予測情報格納部
１１３…エントロピー符号化処理部
２００…動画像復号装置
２０１…エントロピー復号処理部
２０２…イントラ予測処理部
２０３…インター予測処理部
２０４…逆量子化処理部
２０５…逆変換処理部
２０６…復号信号生成部
２０７…フレームメモリ
２０８…デブロッキングフィルタ処理部
２０９…インター予測情報格納部
２１０…イントラ予測情報格納部
３０１…フィルタ使用判定部
３０２…フィルタ処理部
３０３…最終ブロック判定部
４０１…フィルタリング情報記憶部
４０２、５０２…フィルタ処理修正部
４０３…フィルタ実施部
５０４…フィルタ強度定義部
９００、１０００…ＣＰＵ
９０１、１００１…メモリ
９０２…映像信号入力部
９０３、１００３…プログラム記憶装置
９０４…動画像符号化プログラム
９０５…符号化ストリーム出力部
１００２…符号化ストリーム入力部
１００４…動画像復号プログラム
１００５…復号映像出力部

Claims (16)

1. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、
   隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分ける第１のステップと、
   前記ブロックに含まれる各画素に対するフィルタ処理を前記ラインごとに決定する第２のステップと、
   前記ラインごとに決定したフィルタ処理を実施する第３のステップと、
   を有し、
   前記第２のステップでは、
   前記ラインが前記ブロック境界の中点の近傍に位置するか否かを判定し、
   前記ラインが前記ブロック境界の中点の近傍に位置する場合、前記フィルタ処理におけるフィルタの強度を弱くする決定をし、前記ラインが前記ブロック境界の中点の近傍に位置しない場合、前記フィルタ処理におけるフィルタの強度を強くする決定をする
   ことを特徴とするデブロッキング処理方法。
2. 請求項１に記載のデブロッキング処理方法であって、
   前記第２のステップでは
   前記ブロック境界の長さに基づいて、前記ブロック境界の中点の近傍に位置するか否かを判定する
   ことを特徴とするデブロッキング処理方法。
3. 請求項１に記載のデブロッキング処理方法であって、
   前記第２のステップでは、
   前記隣接するブロックに対する量子化パラメータが予め定められた基準より小さいときには前記ラインが前記ブロック境界の中点の近傍に位置すると判定する範囲を広げ、前記量子化パラメータが前記基準より大きいときには前記ラインが前記ブロック境界の中点の近傍に位置すると判定する範囲を狭める
   ことを特徴とするデブロッキング処理方法。
4. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、
   隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分ける第１のステップと、
   前記ブロックに含まれる各画素に対するフィルタ処理を前記ラインごとに決定する第２のステップと、
   前記ラインごとに決定したフィルタ処理を実施する第３のステップと、
   を有し、
   前記第２のステップでは、
   前記ラインごとにフィルタ処理が予め対応付けられたテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定し、
   前記テーブルには、フィルタ強度の強いフィルタ処理又はフィルタ強度の弱いフィルタ処理のいずれを行うか、あるいはフィルタ処理を行わないことが前記ラインごとに対応付けられている
   ことを特徴とするデブロッキング処理方法。
5. 請求項４に記載のデブロッキング処理方法であって、
   前記テーブルは、ブロック境界の長さごとに複数定められており、
   前記第２のステップでは、
   複数の前記テーブルから前記ブロック境界の長さに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する ことを特徴とするデブロッキング処理方法。
6. 請求項４に記載のデブロッキング処理方法であって、
   前記テーブルは、前記隣接するブロックに対する量子化パラメータの値ごとに複数定められており、
   前記第２のステップでは、
   複数の前記テーブルから前記隣接するブロックに対する量子化パラメータに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する
   ことを特徴とするデブロッキング処理方法。
7. 請求項４から請求項６のいずれか一項に記載のデブロッキング処理方法であって、
   前記映像復号方式において、前記映像符号化方式において各画素に対するフィルタ処理を決定した際に用いられたテーブルを示す情報を受信し復号する第４のステップと、
   を更に有し、
   前記映像復号方式における第２のステップでは、
   前記第４のステップにおいて復号した前記テーブルを示す情報に基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する
   ことを特徴とするデブロッキング処理方法。
8. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、
   隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分け、ラインごとに、前記ブロックに含まれる各画素に対するフィルタ処理を決定するフィルタ処理修正部と、
   前記フィルタ処理修正部が決定したフィルタ処理を実施するフィルタ実施部と、
   を備え、
   前記フィルタ処理修正部は、
   前記ラインが前記ブロック境界の中点の近傍に位置するか否かを判定し、
   前記ラインが前記ブロック境界の中点の近傍に位置する場合、前記フィルタ処理におけるフィルタの強度を弱くする決定をし、前記ラインが前記ブロック境界の中点の近傍に位置しない場合、前記フィルタ処理におけるフィルタの強度を強くする決定をする
   ことを特徴とするデブロッキング処理装置。
9. 請求項８に記載のデブロッキング処理装置であって、
   前記フィルタ処理修正部は、
   前記ブロック境界の長さに基づいて、前記ブロック境界の中点の近傍に位置するか否かを判定する
   ことを特徴とするデブロッキング処理装置。
10. 請求項８に記載のデブロッキング処理装置であって、
    前記フィルタ処理修正部は、
    前記隣接するブロックに対する量子化パラメータが予め定められた基準より小さいときには前記ラインが前記ブロック境界の中点の近傍に位置すると判定する範囲を広げ、前記量子化パラメータが前記基準より大きいときには前記ラインが前記ブロック境界の中点の近傍に位置すると判定する範囲を狭める
    ことを特徴とするデブロッキング処理装置。
11. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、
    隣接するブロックに含まれる画素を、前記隣接するブロックの境界を示すブロック境界に垂直方向の複数のラインに分け、ラインごとに、前記ブロックに含まれる各画素に対するフィルタ処理を決定するフィルタ処理修正部と、
    前記フィルタ処理修正部が決定したフィルタ処理を実施するフィルタ実施部と、
    を備え、
    前記ラインごとにフィルタ処理が予め対応付けられたテーブルを記憶するフィルタ強度定義部を更に備え、
    前記フィルタ処理修正部は、
    前記テーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定し、
    前記テーブルには、フィルタ強度の強いフィルタ処理又はフィルタ強度の弱いフィルタ処理のいずれを行うか、あるいはフィルタ処理を行わないことが前記ラインごとに対応付けられている
    ことを特徴とするデブロッキング処理装置。
12. 請求項１１に記載のデブロッキング処理装置であって、
    前記フィルタ強度定義部には、ブロック境界の長さごとに定められた複数のテーブルが記憶されており、
    前記フィルタ処理修正部は、
    前記ブロック境界の長さに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する
    ことを特徴とするデブロッキング処理装置。
13. 請求項１１に記載のデブロッキング処理装置であって、
    前記フィルタ強度定義部には、前記隣接するブロックに対する量子化パラメータごとに定められた複数のテーブルが記憶されており、
    前記フィルタ処理修正部は、
    前記隣接するブロックに対する量子化パラメータに対応するテーブルを選択し、選択したテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する ことを特徴とするデブロッキング処理装置。
14. 請求項１１から請求項１３のいずれか一項に記載のデブロッキング処理装置であって、
    前記映像復号方式における前記フィルタ処理修正部は、
    前記映像符号化方式において各画素に対するフィルタ処理を決定した際に用いられたテーブルを示す情報を取得し、取得した情報が示すテーブルに基づいて、前記ブロックに含まれる各画素に対するフィルタ処理を決定する
    ことを特徴とするデブロッキング処理装置。
15. 請求項１から請求項７のいずれか一項に記載のデブロッキング処理方法をコンピュータに実行させるためのプログラム。
16. 請求項１から請求項７のいずれか一項に記載のデブロッキング処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images