JP5907367B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

本開示は画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、色差信号に対する符号化効率を向上することができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。

さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。

かかる符号化効率改善の１つとして、動き補償ループ内にFIRフィルタを持つ手法が提案されている（例えば、非特許文献１参照）。符号化装置においては、このFIRフィルタ係数を、入力画像との誤差を最小にするよう、Wiener Filterにより求めることで、参照画像における劣化を最小限に抑え、出力となる画像圧縮情報の符号化効率を向上させることが可能である。

そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。HEVCにおいては、ドラフトとして非特許文献２が発行されている。

このHEVCにおいては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。

CUは、最大のLCU（Largest Coding Unit）から最小のSCU（Smallest Coding Unit）まで階層的に構成される。つまり、概ね、LCUがAVCのマクロブロックに相当し、そのLCUより下の階層のCU（LCUより小さなCU）がAVCのサブマクロブロックに相当すると考えることもできる。

ところで、HEVCにおいては、非特許文献３で提案されている適応オフセットフィルタという方法が採用されている。HEVCにおいて、適応オフセットフィルタは、デブロックフィルタと適応ループフィルタの間に設けられる。

適応オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどの適応オフセットの種類により符号化するかを選択することができる。この方法を用いることで、符号化効率を向上させることができる。

Takeshi Chujoh,Goki Yasuda,Naofumi Wada,Takashi Watanabe,Tomoo Yamakage,"Block-based Adaptive Loop Filter",VCEG-AI18,ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Berlin, Germany, 16-18 July, 2008 Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J. Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding", JCTVc-E603, 2011年3月 "CE8 Subtest 3:Picture Quality Adaptive Offset",JCTVC-D122,2011年１月

しかしながら、非特許文献３において提案されている方法は、輝度信号に対してのみ適用され、色差信号には適用されていない。したがって、色差信号に対しての対応が必要であった。

本開示は、このような状況に鑑みてなされたものであり、色差信号に対する符号化効率を向上することができるものである。

本開示の一側面の画像処理装置は、ビットストリームを復号して復号画像を生成する復号部と、前記復号部により生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行う輝度適応オフセット処理部と、前記復号部により生成された復号画像を対象として、前記輝度適応オフセット処理部により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部とを備える。

前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられるQuad-tree構造に基づいて、前記色差信号に対する前記色差適応オフセット処理を行うことができる。

前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、バンドオフセット、エッジオフセット、およびオフの３種類を用いて、前記色差信号に対する前記色差適応オフセット処理を行うことができる。

バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対するバンド数よりも少ないバンド数を用いることができる。

バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対して決められた一方のグループではない他方のグループを用いることができる。

エッジオフセットを用いる場合、前記色差適応オフセット処理部は、前記輝度適応オフセット処理部による前記輝度信号に対して決められたカテゴリに対応して、前記色差信号のカテゴリを決定することができる。

前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられる輝度オフセット値を用いて、前記色差信号に対する前記色差適応オフセット処理を行うことができる。

前記復号部は、前記Quad-tree構造、輝度オフセットの情報、および、色差オフセットの情報を復号し、前記輝度適応オフセット処理部は、前記Quad-tree構造に基づき、前記輝度オフセットの情報を用いて、前記輝度信号の画素値に対して前記輝度適応オフセット処理を行い、前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、前記色差オフセットの情報を用いて、前記色差信号の画素値に対して前記色差適応オフセット処理を行うことができる。

前記色差オフセットの情報は、相関係数αおよびβ、輝度オフセット値ＯＬ、並びに色差オフセット値ＯＣから算出される色差予測残差であり、前記相関係数αおよびβは、輝度オフセット値ＯＬおよび色差オフセット値ＯＣが用いられて、前記色差予測残差が小さくなるように算出された係数であり、前記色差適応オフセット処理部は、前記色差予測残差、前記輝度オフセットの情報が示す前記輝度オフセット値ＯＬ、相関係数αおよびβを用いて、前記色差オフセット値ＯＣを再構築する再構築部と、前記Quad-tree構造に基づき、前記再構築部により再構築された前記色差オフセット値ＯＣを用いて、前記色差信号の画素値に対してオフセット処理を行う色差オフセット処理部とを備えることができる。

前記色差予測残差は、量子化されている。

前記色差予測残差は、Ｏ_Ｃ − （α＊Ｏ_Ｌ＋β）で表される。

前記復号部は、前記相関係数αおよびβを復号し、取得することができる。

前記相関係数αおよびβは、ＣｂとＣｒについて別々に取得される。

前記相関係数αおよびβは、２種類のバンドオフセットおよび６種類のエッジオフセットについて別々に取得される。

前記相関係数αおよびβは、スライスヘッダから取得される。

前記相関係数αおよびβは、LCU（Largest Coding Unit）から取得される。
前記復号画像に対してデブロックフィルタ処理を行うフィルタ部をさらに備え、前記輝度適応オフセット処理部と前記色差適応オフセット処理部は、前記フィルタ部によりデブロックフィルタ処理が行われた復号画像を対象として、適応オフセット処理を行うことができる。

本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを復号して復号画像を生成し、生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行い、生成された復号画像を対象として、前記輝度適応オフセット処理により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う。

本開示の一側面のプログラムは、コンピュータに、ビットストリームを復号して復号画像を生成する復号部と、前記復号部により生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行う輝度適応オフセット処理部と、前記復号部により生成された復号画像を対象として、前記輝度適応オフセット処理部により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部として、機能させる。

本開示の一側面においては、ビットストリームが復号されて復号画像が生成され、生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理が行われる。そして、生成された復号画像を対象として、前記輝度適応オフセット処理により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理が行われる。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置
または画像復号装置を構成している内部ブロックであってもよい。

本開示の一側面によれば、画像を処理することができる。特に、符号化効率を向上させることができる。

H．264/AVC方式の画像符号化装置の主な構成例を示すブロック図である。 H．264/AVC方式の画像復号装置の主な構成例を示すブロック図である。 適応ループフィルタを適用した画像符号化装置の主な構成例を示すブロック図である。 適応ループフィルタを適用した画像復号装置の主な構成例を示すブロック図である。 デブロックフィルタの動作原理を説明する図である。 Bsの定義の方法を説明する図である。 デブロックフィルタの動作原理を説明する図である。 indexAおよびindexBとαおよびβの値の対応関係の例を示す図である。 BsおよびindexAとtC0との対応関係の例を示す図である。 コーディングユニットの構成例を説明する図である。 HEVC方式における適応オフセット処理を説明する図である。 quad-tree構造を説明する図である。 バンドオフセットを説明する図である。 エッジオフセットを説明する図である。 エッジオフセットの規則一覧表を示す図である。 本開示の画像符号化装置の主な構成例を示すブロック図である。 適応オフセット部および色差適応オフセット部の構成例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 適応オフセット処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 適応オフセット部および色差適応オフセット部の構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 適応オフセット処理の流れの例を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（ハードディスクレコーダ）
７．第７の実施の形態（カメラ）

＜１．第１の実施の形態＞
［H．264/AVC方式の画像符号化装置］
図１は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式により画像を符号化する画像符号化装置の一実施の形態の構成を表している。以下、H．264及びMPEG 符号化方式を、H．264/AVC方式と称する。

図１の例において、画像符号化装置１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、演算部２０を含むように構成されている。また、画像符号化装置１は、デブロックフィルタ２１、フレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７も含むように構成されている。

A/D変換部１１は、入力された画像データをA/D変換し、画面並べ替えバッファ１２に出力し、記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１２は、フレームの順番を並び替えた画像を、演算部１３に供給する。また、画面並べ替えバッファ１２は、フレームの順番を並び替えた画像を、イントラ予測部２４および動き予測・補償部２５にも供給する。

演算部１３は、画面並べ替えバッファ１２から読み出された画像から、予測画像選択部２６を介してイントラ予測部２４若しくは動き予測・補償部２５から供給される予測画像を減算し、その差分情報を直交変換部１４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像から、イントラ予測部２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像から、動き予測・補償部２５から供給される予測画像を減算する。

直交変換部１４は、演算部１３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１５に供給する。

量子化部１５は、直交変換部１４が出力する変換係数を量子化する。量子化部１５は、レート制御部２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。量子化部１５は、量子化された変換係数を可逆符号化部１６に供給する。

可逆符号化部１６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。係数データは、レート制御部２７の制御の下で量子化されているので、この符号量は、レート制御部２７が設定した目標値となる（若しくは目標値に近似する）。

可逆符号化部１６は、イントラ予測を示す情報などをイントラ予測部２４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部２５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部１６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１６は、符号化して得られた符号化データを蓄積バッファ１７に供給して蓄積させる。

例えば、可逆符号化部１６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１７は、可逆符号化部１６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部１５において量子化された変換係数は、逆量子化部１８にも供給される。逆量子化部１８は、その量子化された変換係数を、量子化部１５による量子化に対応する方法で逆量子化する。逆量子化部１８は、得られた変換係数を、逆直交変換部１９に供給する。

逆直交変換部１９は、供給された変換係数を、直交変換部１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部２０に供給される。

演算部２０は、逆直交変換部１９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部２６を介してイントラ予測部２４若しくは動き予測・補償部２５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２０は、その差分情報にイントラ予測部２４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２０は、その差分情報に動き予測・補償部２５から供給される予測画像を加算する。

その加算結果は、デブロックフィルタ２１またはフレームメモリ２２に供給される。

デブロックフィルタ２１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２１は、そのフィルタ処理結果をフレームメモリ２２に供給する。なお、演算部２０から出力される復号画像は、デブロックフィルタ２１を介さずにフレームメモリ２２に供給することができる。すなわち、デブロックフィルタ２１のデブロックフィルタ処理は省略することができる。

フレームメモリ２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部２３を介してイントラ予測部２４または動き予測・補償部２５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ２２は、参照画像を、選択部２３を介してイントラ予測部２４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ２２は、参照画像を、選択部２３を介して動き予測・補償部２５に供給する。

選択部２３は、フレームメモリ２２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部２４に供給する。また、選択部２３は、フレームメモリ２２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部２５に供給する。

イントラ予測部２４は、選択部２３を介してフレームメモリ２２から供給される処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。

H．264/AVC方式において、輝度信号に対しては、イントラ4×4予測モード、イントラ8×8予測モード及びイントラ16×16予測モードが定義されている。また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。イントラ4×4予測モードについては、それぞれの4×4輝度ブロックに対して、イントラ8×8予測モードについては、それぞれの8×8輝度ブロックに対して、１つのイントラ予測モードが定義されることになる。イントラ16×16予測モード、並びに、色差信号に対しては、１つのマクロブロックに対して、それぞれ１つの予測モードが定義されることになる。

イントラ予測部２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部２６を介して演算部１３や演算部２０に供給する。

また、上述したように、イントラ予測部２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１６に供給する。

動き予測・補償部２５は、インター符号化が行われる画像について、画面並べ替えバッファ１２から供給される入力画像と、選択部２３を介してフレームメモリ２２から供給される参照画像とを用いて、動き予測（インター予測）を行う。動き予測・補償部２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部２５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。

動き予測・補償部２５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部２５は、生成された予測画像を、予測画像選択部２６を介して演算部１３や演算部２０に供給する。

また、動き予測・補償部２５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１６に供給する。

予測画像選択部２６は、イントラ符号化を行う画像の場合、イントラ予測部２４の出力を演算部１３や演算部２０に供給し、インター符号化を行う画像の場合、動き予測・補償部２５の出力を演算部１３や演算部２０に供給する。

レート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

［H．264/AVC方式の画像復号装置］
図２は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像復号装置の主な構成例を示すブロック図である。図２に示される画像復号装置３１は、図１の画像符号化装置１に対応する復号装置である。

画像符号化装置１より符号化された符号化データは、例えば伝送路や記録媒体等、任意の経路を介して、この画像符号化装置１に対応する画像復号装置３１に供給され、復号される。

図２に示されるように、画像復号装置３１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、演算部４５、デブロックフィルタ４６、画面並べ替えバッファ４７、およびD/A変換部４８を含むように構成される。また、画像復号装置３１は、フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３を有する。

蓄積バッファ４１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１により符号化されたものである。可逆復号部４２は、蓄積バッファ４１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１６の符号化方式に対応する方式で復号する。

また、当該フレームがイントラ符号化されたものである場合、符号化データのヘッダ部にはイントラ予測モード情報が格納されている。可逆復号部４２は、このイントラ予測モード情報も復号し、その情報をイントラ予測部５１に供給する。これに対して、当該フレームがインター符号化されたものである場合、符号化データのヘッダ部には動きベクトル情報が格納されている。可逆復号部４２は、この動きベクトル情報も復号し、その情報を動き補償部５２に供給する。

逆量子化部４３は、可逆復号部４２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部４３は、図１の逆量子化部１８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部４３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部４４に供給する。逆直交変換部４４は、図１の直交変換部１４の直交変換方式に対応する方式（図１の逆直交変換部１９と同様の方式）で、その直交変換係数を逆直交変換し、画像符号化装置１において直交変換される前の残差データに対応する復号残差データを得る。例えば、４次の逆直交変換が施される。

逆直交変換されて得られた復号残差データは、演算部４５に供給される。また、演算部４５には、画像選択部５３を介して、イントラ予測部５１若しくは動き補償部５２から予測画像が供給される。

演算部４５は、その復号残差データと予測画像とを加算し、画像符号化装置１の演算部１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部４５は、その復号画像データをデブロックフィルタ４６に供給する。

デブロックフィルタ４６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ４７に供給する。

画面並べ替えバッファ４７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部４８は、画面並べ替えバッファ４７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

デブロックフィルタ４６の出力は、さらに、フレームメモリ４９に供給される。

フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３は、画像符号化装置１のフレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、および予測画像選択部２６にそれぞれ対応する。

選択部５０は、インター処理される画像と参照される画像をフレームメモリ４９から読み出し、動き補償部５２に供給する。また、選択部５０は、イントラ予測に用いられる画像をフレームメモリ４９から読み出し、イントラ予測部５１に供給する。

イントラ予測部５１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部４２から適宜供給される。イントラ予測部５１は、この情報に基づいて、フレームメモリ４９から取得した参照画像から予測画像を生成し、生成した予測画像を画像選択部５３に供給する。

動き補償部５２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部４２から取得する。

動き補償部５２は、可逆復号部４２から供給されるそれらの情報に基づいて、フレームメモリ４９から取得した参照画像から予測画像を生成し、生成した予測画像を画像選択部５３に供給する。

画像選択部５３は、動き補償部５２またはイントラ予測部５１により生成された予測画像を選択し、演算部４５に供給する。

［適応ループフィルタの詳細］
次に、特許文献１に提案されている適応ループフィルタ（ALF（Adaptive Loop Filter））について説明する。

図３は、適応ループフィルタを適用した画像符号化装置の構成例を示すブロック図である。なお、図３の例において、説明の便宜上、図１のA/D変換部１１、画面並べ替えバッファ１２、蓄積バッファ１７、選択部２３、イントラ予測部２４、予測画像選択部２６、およびレート制御部２７は省略されている。また、矢印なども適宜省略されている。したがって、図３の例の場合、フレームメモリ２２からの参照画像は、動き予測・補償部２５に直接入力され、動き予測・補償部２５からの予測画像は、演算部１３および２０に直接出力されている。

すなわち、図３の画像符号化装置６１は、デブロックフィルタ２１とフレームメモリ２２の間に適応ループフィルタ７１が追加された点のみが、図１の画像符号化装置１と異なっている。

適応ループフィルタ７１は、画面並べ替えバッファ１２（図示は省略）からの原画像との残差を最小とするよう、適応ループフィルタ係数の算出を行い、この適応ループフィルタ係数を用いて、デブロックフィルタ２１からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

また、適応ループフィルタ７１は、算出した適応ループフィルタ係数を、可逆符号化部１６に送る。可逆符号化部１６においては、この適応ループフィルタ係数を、可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

図４は、図３の画像符号化装置に対応する画像復号装置の構成例を示すブロック図である。なお、図４の例において、説明の便宜上、図２の蓄積バッファ４１、画面並べ替えバッファ４７、D/A変換部４８、選択部５０、イントラ予測部５１、および画像選択部５３は省略されている。また、矢印なども適宜省略されている。したがって、図４の例の場合、フレームメモリ４９からの参照画像は、動き補償部５２に直接入力され、動き補償部５２からの予測画像は、演算部４５に直接出力されている。

すなわち、図４の画像復号装置８１は、デブロックフィルタ４６とフレームメモリ４９の間に適応ループフィルタ９１が追加された点のみが、図２の画像復号装置３１と異なっている。

適応ループフィルタ９１には、可逆復号部４２から復号され、ヘッダから抽出された適応ループフィルタ係数が供給される。適応ループフィルタ９１は供給されたフィルタ係数を用いて、デブロックフィルタ４６からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

これにより、復号画像の画質を向上させ、さらに、参照画像の画質をも向上させることができる。

［デブロックフィルタ］
次に、H．264/AVC方式におけるデブロックフィルタについて説明する。デブロックフィルタ２１は、動き補償ループ内に含まれ、復号画像におけるブロック歪み、すなわち、処理単位の領域の歪みを除去する。これにより、動き補償処理により参照される画像へのブロック歪の伝播が抑制される。

デブロックフィルタの処理としては、符号化データに含まれる、Picture Parameter Set RBSP（Raw Byte Sequence Payload）に含まれるdeblocking_filter_control_present_flag、及び、スライスヘッダ（Slice Header）に含まれるdisable_deblocking_filter_idcという２つのパラメータによって、以下の（ａ）乃至（ｃ）の３通りの方法が選択可能である。

（ａ）ブロック境界、及びマクロブロック境界に施す
（ｂ）マクロブロック境界にのみ施す
（ｃ）施さない

量子化パラメータQPについては、以下の処理を輝度信号に対して適用する場合は、QPYを、色差信号に対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化（CAVLC/CABAC）においては、異なるスライスに属する画素値は"not available"として処理する。しかしながら、デブロックフィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は"available"であるとして処理を行う。

以下においては、図５に示されるように、デブロックフィルタ処理前の画素値をp0〜p3、q0〜q3とし、処理後の画素値をp0'〜p3'、q0'〜q3'とする。

まず、デブロックフィルタ処理に先立ち、図５におけるp及びqに対して、図６に示される表のように、ブロック境界強度データであるBs（Boundary Strength）が定義される。

図６に示すように、Bsは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置する場合に、最もフィルタ強度が高い「４」が割り当てられる。

Bsは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置しない場合に、「４」の次にフィルタ強度が高い「３」が割り当てられる。

Bsは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、「３」の次にフィルタ強度が高い「２」が割り当てられる。

Bsは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を場合に満たし、且つ、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たす場合に、「１」が割り当てられる。

Bsは、画素ｐ，ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合、「０」が割り当てられる。なお。「０」は、フィルタ処理を行わないことを意味する。

図５における(p2,p1,p0,q0,q1,q2)は、以下の式（１）および式（２）により示される条件が成立する場合のみ、デブロックフィルタ処理が施される。

Bs > 0 ・・・（１）
|p0-q0| < α; |p1-p0| < β; |q1-q1| < β ・・・（２）

式（２）のαおよびβは、デフォルトでは以下のようにQPに応じてその値が定められているが、符号化データの、スライスヘッダに含まれる、slice_alpha_c0_offset_div2及びslice_beta_offset_div2という２つのパラメータによって、グラフの矢印のように、ユーザがその強度を調整することが可能である。

なお、図７は、QPと閾値αの関係を示しており、QPにオフセット量を加えると、QPと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。

また、閾値αは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqP_p，qP_qを用いて、次の式（３）および（４）からindexAを算出することで、図８Ａに示すテーブルから求められる。同様に、閾値βは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqP_p，qP_qを用いて、式（３）および（５）からindexBを算出することで、図８Ｂに示すテーブルから求められる。このindexAおよびindexBは、以下の式（３）乃至式（５）のように定義される。

qP_aν＝（qP_p＋qP_q＋１）＞＞１ ・・・（３）
indexA＝Clip3（0,51,qP_aν＋FilterOffsetA） ・・・（４）
indexB＝Clip3（0,51,qP_aν＋FilterOffsetB） ・・・（５）

式（４）および式（５）において、FilterOffsetA及びFilterOffsetBが、ユーザによる調整分に相当する。

デブロックフィルタ処理は、以下に説明するように、Bs<4の場合と、Bs=4の場合とで、互いに異なる方法が定義されている。

まず、Bs<4の場合、デブロックフィルタ処理後の画素値p'0及びq'0が、以下の式（６）乃至式（８）のように求められる。

Δ＝Clip3（−t_c,t_c（（（（q0−p0）＜＜２）＋（p1−q1）＋４）＞＞３））
・・・（６）
p'0＝Clip1（p0＋Δ） ・・・（７）
q'0＝Clip1（q0＋Δ） ・・・（８）

ここで、t_cは、以下の式（９）または式（１０）ように算出される。すなわち、chromaEdgeFlagの値が「０」である場合、t_cは以下の式（９）のように算出される。

t_c＝t_c0＋（（a_p＜β）?1:0）＋（（a_ｑ＜β）?1:0） ・・・（９）

また、chromaEdgeFlagの値が「０」以外である場合、t_cは以下の式（１０）のように算出される。

t_c＝t_c0＋１ ・・・（１０）

t_C0の値は、BsとindexAの値に応じて、図９Ａおよび図９Ｂに示される表のように定義される。

また、式（９）のa_p及びa_qの値は、以下の式（１１）および（１２）のように算出される。
a_p＝|p2−p0| ・・・（１１）
a_q＝|q2−q0| ・・・（１２）

デブロックフィルタ処理後の画素値p'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、a_pの値がβ以下である場合、p'1は、以下の式（１３）のように求められる。

p'1＝p1＋Clip3（−t_c0,t_c0,（p2＋（（p0＋q0＋１）＞＞１）−（p1＜＜１））＞＞１）
・・・（１３）

また、式（１３）が成り立たない場合、p'1は、以下の式（１４）のように求められる。

p'1＝p1 ・・・（１４）

デブロックフィルタ処理後の画素値q'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、a_qの値がβ以下である場合、q'1は、以下の式（１５）のように求められる。

q'1＝q1＋Clip3（−t_c0,t_c0,（q2＋（（p0＋q0＋１）＞＞１）−（q1＜＜１））＞＞１）
・・・（１５）

また、式（１５）が成り立たない場合、q'1は、以下の式（１６）のように求められる。

q'1＝q1 ・・・（１６）

p'2及びq'2の値は、Filtering前の値p2及びq2と変わらない。すなわち、p'2は、以下の式（１７）のように求められ、q'2は、以下の式（１８）のように求められる。

p'2＝p2 ・・・（１７）
q'2＝q2 ・・・（１８）

次に、Bs=4の場合、デブロックフィルタ後の画素値p'i（i＝0..2）は、以下のように求められる。chromaEdgeFlag の値が「０」であり、以下の式（１９）に示される条件が成り立つ場合、p'0、p'1、及びp'2は、以下の式（２０）乃至式（２２）のように求められる。

ap＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（１９）
p'0＝（p2＋２×p1＋２×p0＋２×q0＋q1＋４）＞＞３ ・・・（２０）
p'1＝（p2＋p1＋p0＋q0＋２）＞＞２ ・・・（２１）
p'2＝（２×p3＋３×p2＋p1＋p0＋q0＋４）＞＞３ ・・・（２２）

また、式（１９）に示される条件が成り立たない場合、p'0、p'1、及びp'2は、以下の式（２３）乃至（２５）のように求められる。

p'0＝（２×p1＋p0＋q1＋２）＞＞２ ・・・（２３）
p'1＝p1 ・・・（２４）
p'2＝p2 ・・・（２５）

デブロックフィルタ処理後の画素値q'i（I＝0..2）は、以下のように求められる。すなわち、chromaEdgeFlagの値が「０」であり、以下の式（２６）に示される条件が成り立つ場合、q'0、q'1、及びq'2は、以下の式（２７）乃至（２９）のように求められる。

aq＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（２６）
q'0＝（p1＋２×p0＋２×q0＋２×q1＋q2＋４）＞＞３ ・・・（２７）
q'1＝（p0＋q0＋q1＋q2＋２）＞＞２ ・・・（２８）
q'2＝（２×q3＋３×q2＋q1＋q0＋p4＋４）＞＞３ ・・・（２９）

また、式（２６）に示される条件が成り立たない場合、q'0、q'1、及びq'2は、以下の式（３０）乃至（３２）のように求められる。

q'0＝（２×q1＋q0＋p1＋２）＞＞２ ・・・（３０）
q'1＝q1 ・・・（３１）
q'2＝q2 ・・・（３２）

［コスト関数］
ところで、AVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、http://iphome.hhi.de/suehring/tml/index.htm において公開されている、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエアに実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（３３）のようになる。

Cost（Mode∈Ω）＝D＋λ＊R ・・・（３３）

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モード（Mode）により、一度、仮エンコード処理を行なう必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（３４）のようになる。

Cost（Mode∈Ω）＝D＋QP2Quant(QP)＊HeaderBit ・・・（３４）

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネ
ルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モード（Mode）に関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

［コーディングユニット］
次に、非特許文献２に記載のHEVC (High Efficiency Video Coding)符号化方式（以下、HEVC方式と称する）において定められている、コーディングユニット（Coding Unit）について説明する。

H．264/AVC方式においては、１つのマクロブロックを、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能であった。すなわち、H．264/AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されているが、例えば、HEVC方式においては、図１０に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１０の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、H．264/AVC方式におけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは、図１０に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、H．264/AVC方式のマクロブロックより大きく設定されることが一般的である。

本開示は、H．264/AVC方式におけるマクロブロックを用いる符号化方式だけでなく、HEVC方式のようなCU、PU、およびTU等を用いる符号化方式にも適用することができる。すなわち、ブロックも、ユニットも、処理単位となる領域を示すものであるので、以下、適宜、どちらも含むように、処理単位の領域という文言を用いて説明する。

ただし、以下において、H．264/AVC方式と例として説明する場合には、ブロックを用いて説明するが、そのブロックは、処理単位となる領域を示すものであり、HEVC方式においてはユニットである。逆に、HEVC方式を例として説明する場合には、ユニットを用いて説明するが、そのユニットは、処理単位となる領域を示すものであり、H．264/AVC方式においてはブロックである。

［HEVC方式における適応オフセット処理］
次に、HEVC方式における適応オフセットフィルタについて説明する。HEVC方式においては、非特許文献３に記載のSample Adaptive Offset方式が採用されている。

適応オフセットフィルタ（Picture Quality Adaptive Offset:PQAO）は、図１１に示されるように、デブロックフィルタ（DB）と、適応ループフィルタ(ALF)の間に設けられている。

適応オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどの適応オフセットの種類により符号化するかを選択することができる。

この選択情報が、PQAO Info.として、符号化部（Entropy Coding）により符号化され、ビットストリームが生成され、生成されたビットストリームが復号側に送信される。この方法を用いることで、符号化効率を向上させることができる。

ここで、図１２を参照して、quad-tree構造について説明する。

例えば、符号化側においては、図１２のＡ１に示されるように、領域０が分割されていない状態を示すLevel-０（分割深度０）のコスト関数値Ｊ０が計算される。また、領域０が４つの領域１乃至４に分割された状態を示すLevel-１（分割深度０）のコスト関数値Ｊ１，Ｊ２，Ｊ３，Ｊ４が計算される。

そして、Ａ２に示されるように、コスト関数値が比較され、Ｊ０＞（Ｊ１＋Ｊ２＋Ｊ３＋Ｊ４）により、Level-１の分割領域(Partitions)が選択される。

同様にして、Ａ３に示されるように、領域０が１６つの領域５乃至２０に分割された状態を示すLevel-２（分割深度２）のコスト関数値Ｊ５乃至Ｊ２０が計算される。

そして、Ａ４に示されるように、コスト関数値がそれぞれ比較され、Ｊ１＜（Ｊ５＋Ｊ６＋Ｊ９＋Ｊ１０）により、領域１においては、Level-１の分割領域(Partitions)が選択される。Ｊ２＞（Ｊ７＋Ｊ８＋Ｊ１１＋Ｊ１２）により、領域２においては、Level-２の分割領域(Partitions)が選択される。Ｊ３＞（Ｊ１３＋Ｊ１４＋Ｊ１７＋Ｊ１８）により、領域３においては、Level-２の分割領域(Partitions)が選択される。Ｊ４＞（Ｊ１５＋Ｊ１６＋Ｊ１９＋Ｊ２０）により、領域４においては、Level-１の分割領域(Partitions)が選択される。

その結果、Quad-tree構造におけるＡ４に示される最終的なQuad-tree領域（Partitions）が決定される。そして、Quad-tree構造の決定された領域毎に、２種類のバンドオフセット、６種類のエッジオフセット、およびオフセットなしのすべてについてコスト関数値が算出され、どのオフセットにより符号化されるのかが決定される。

例えば、図１２の例においては、白矢印に示されるように、領域１に対しては、ＥＯ（４）、すなわち、エッジオフセットのうちの４種類目が決定されている。領域７に対しては、ＯＦＦ、すなわち、オフセットなしが決定されており、領域８に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１１および１２に対しては、ＯＦＦ、すなわち、オフセットなしが決定されている。

また、領域１３に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されており、領域１４に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１７に対しては、ＢＯ（２）、すなわち、バンドオフセットのうちの２種類目が決定されており、領域１８に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されている。領域４に対しては、ＥＯ（１）、すなわち、エッジオフセットのうちの１種類目が決定されている。

次に、図１３を参照して、バンドオフセットの詳細について説明する。

バンドオフセットにおいては、図１３の例においては、１つの目盛りが１バンド＝８画素を表しており、輝度画素値が３２バンドに分けられて、それぞれのバンドが独立にオフセット値を有する。

すなわち、図１３の例においては、０乃至２５５画素（３２バンド）のうち、中央の１６バンドが、第１グループに分けられ、両脇の８バンドずつが第２グループに分けられている。

そして、第１グループおよび第２グループのどちらか一方のみのオフセットが符号化され、復号側に送られる。一般的に、１つの領域において、白黒はっきりしているか、微妙な色合いがあるかのどちらかであることが多く、第１グループと第２グループ両方に全てに画素があるのは稀である。このため、一方のみのオフセットしか送らないことで、それぞれのQuad-tree領域において、含まれていない値の画素値が伝送されて符号化量が増えるのが、抑制される。

なお、入力信号が放送によるものである場合、輝度信号は、16,235、色差信号は、16,240の範囲に制限される。このとき、図１３の下段に示されるbroadcast legalが適用され、×印が示されている、両脇の２バンドずつに対するオフセット値は伝送されない。

次に、図１４を参照して、エッジオフセットの詳細について説明する。

エッジオフセットにおいては、当該画素値と、当該画素値に隣接する隣接画素値の比較が行われ、これに対応したカテゴリに対して、オフセット値が伝送されることになる。

エッジオフセットには、図１４のＡ乃至図１４のＤに示される４つの１次元パターンと、図１４のＥおよび図１４のＦに示される２つの２次元パターンが存在し、それぞれ、図１５に示されるカテゴリでオフセットが伝送される。

図１４のＡは、当該画素Ｃに対して、隣接画素が左右の１次元に配置されている、すなわち、図１４のＡのパターンに対して０度をなしている1-D,0-degreeパターンを表している。図１４のＢは、当該画素Ｃに対して、隣接画素が上下の１次元に配置されている、すなわち、図１４のＡのパターンに対して９０度をなしている1-D,90-degreeパターンを表している。

図１４のＣは、当該画素Ｃに対して、隣接画素が左上と右下の１次元に配置されている、すなわち、図１４のＡのパターンに対して１３５度をなしている1-D,135-degreeパターンを表している。図１４のＤは、当該画素Ｃに対して、隣接画素が右上と左下の１次元に配置されている、すなわち、図１４のＡのパターンに対して４５度をなしている1-D,135-degreeパターンを表している。

図１４のＥは、当該画素Ｃに対して、隣接画素が上下左右２次元に配置されている、すなわち、当該画素Ｃに対して交差している2-D,crossパターンを表している。図１４のＦは、当該画素Ｃに対して、隣接画素が右上左下、左上右下の２次元に配置されている、すなわち、当該画素Ｃに対して斜めに交差している2-D,diagonalパターンを表している。

図１５のＡは、１次元パターンの規則一覧表(Classification rule for 1-D patterns)を示している。図１４のＡ乃至図１４のＤのパターンは、図１５のＡに示されるような５種類のカテゴリに分類され、そのカテゴリによりオフセットが算出されて、復号部に送られる。

当該画素Ｃの画素値が２つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より小さくて、他方の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より大きくて、他方の隣接画素の画素値と一致する場合、カテゴリ３に分類される。当該画素Ｃの画素値が２つの隣接画素の画素値より大きい場合、カテゴリ４に分類される。以上のどれでもない場合、カテゴリ０に分類される。

図１５のＢは、２次元パターンの規則一覧表(Classification rule for 2-D patterns)を示している。図１４のＥおよび図１４のＦのパターンは、図１５のＢに示されるような７種類のカテゴリに分類され、そのカテゴリによりオフセットが復号部に送られる。

当該画素Ｃの画素値が４つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値より大きい場合、カテゴリ３に分類される。

当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値より小さい場合、カテゴリ４に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値と一致する場合、カテゴリ５に分類される。当該画素Ｃの画素値が４つの隣接画素の画素値より大きい場合、カテゴリ６に分類される。以上のどれでもない場合、カテゴリ０に分類される。

以上のように、エッジオフセットにおいては、１次元パターンの方が、隣接２画素のみに対する比較を行えばよいので、演算量は低くなる。なお、high efficiency 符号化条件においては、low delay 符号化条件に比して、1bitオフセットの値を高精度にして、復号側へ送られる。

以上の適応オフセット処理は、HEVC方式において、輝度信号に対してのみ行われていた。

しかしながら、色差信号に対して、適応オフセット処理を施すことは、演算量の増大につながる。また、色差信号は、特に、入力が、4:2:0や4:2:2である場合、輝度信号に比して解像度が低く、輝度信号と同じ処理を行うことは冗長である。

以上のことを踏まえて、本実施においては、色差信号に対しても、適応オフセットフィルタを適用させることにより、色差信号における符号化効率を向上させることができるようにする。

［画像符号化装置の構成例］
図１６は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図１６の画像符号化装置１０１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、演算部２０を備える点で、図１の画像符号化装置１と共通している。図１６の画像符号化装置１０１は、デブロックフィルタ２１、フレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７を備える点で、図１の画像符号化装置１と共通している。

また、図１６の画像符号化装置１０１は、上述した図３の適応ループフィルタ７１が追加された点で、図１の画像符号化装置１と異なっている。

さらに、図１６の画像符号化装置１０１は、適応オフセット部１１１および色差適応オフセット部１１２が追加された点で、図１の画像符号化装置１と異なっている。

図１６に示される画像符号化装置１０１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式や、HEVC（High Efficiency Video Coding）方式などが用いられる。

すなわち、適応オフセット部１１１および色差適応オフセット部１１２は、デブロックフィルタ２１の後、適応ループフィルタ７１の前に設けられている。すなわち、適応オフセット部１１１および色差適応オフセット部１１２は、演算部１３、直交変換部１４、量子化部１５、逆量子化部１８、逆直交変換部１９、演算部２０、デブロックフィルタ２１、適応ループフィルタ７１、フレームメモリ２２、選択部２３、イントラ予測部２４または動き予測・補償部２５、および予測画像選択部２６からなる動き補償ループ内に設けられている。すなわち、動き補償ループ内では、画像がループして用いられている。

適応オフセット部１１１は、デブロックフィルタ２１からの復号画像（ローカルデコード後のベースバンド情報）の輝度信号に対するオフセット処理を行う。すなわち、適応オフセット部１１１は、図１２を参照して上述したQuad-tree 構造を決定する。具体的には、適応オフセット部１１１は、輝度信号を用いて、quad-treeによる領域分割を行い、分割された領域毎に、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの中から、オフセットの種類を決定する。また、適応オフセット部１１１は、Quad-tree 構造を参照して、分割された領域毎に、輝度信号に対するオフセット値を算出する。

適応オフセット部１１１は、決定したquad-tree構造と、算出した輝度信号に対するオフセット値（以下、輝度オフセット値と称する）を、可逆符号化部１６および色差適応オフセット部１１２に供給する。

また、適応オフセット部１１１は、決定したquad-tree構造と輝度オフセット値を用いて、デブロックフィルタ２１からの復号画像の輝度信号に対してオフセット処理を行う。そして、適応オフセット部１１１は、オフセット処理後の輝度信号と、色差適応オフセット部１１２によりオフセット処理が施された色差信号とを、適応ループフィルタ７１に供給する。

色差適応オフセット部１１２は、適応オフセット部１１１からのquad-tree構造に基づいて、色差信号に対するオフセット処理を行う。すなわち、色差適応オフセット部１１２は、適応オフセット部１１１からのquad-tree構造を参照して、分割された領域毎に、色差信号に対するオフセット値を算出する。色差適応オフセット部１１２は、決定した色差オフセット値を用いて、デブロックフィルタ２１からの復号画像の色差信号に対してオフセット処理を行う。そして、色差適応オフセット部１１２は、オフセット処理後の色差信号を適応オフセット部１１１に供給する。

さらに、色差適応オフセット部１１２は、決定した色差信号に対するオフセット値（以下、色差オフセット値と称する）と、輝度オフセット値と相関係数を用いて、色差オフセット値の予測残差を算出し、可逆符号化部１６に供給する。

適応ループフィルタ７１は、適応オフセット部１１１によりオフセットされた復号画像に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

［本開示の適応オフセット処理］
図１６の適応オフセット部１１１および色差適応オフセット部１１２により行われる適応オフセット処理について、再度、図１２乃至１５を適宜参照して説明する。

まず、画像符号化装置１０１においては、輝度信号と色差信号には、相関がある事実を使用し、図１２を参照して上述したquad-tree構造の決定を、輝度信号のみで行い、輝度信号を用いて決定されたquad-tree構造の領域分割を、色差信号にも適用する。

これにより、輝度信号と色差信号で独立した領域分割を行わなくて済むので、演算量の増大を抑えることができる。さらに、復号側へ、輝度と色差で異なる領域分割に関する情報を伝える必要がないので、画像圧縮情報の符号量が増大されない。

なお、オフセットの種類については、輝度信号のquad-tree構造に基づいて決定される。もちろん、オフセットの種類についても、輝度信号と色差信号を同じにしてもよい。また、例えば、色差信号に関しては、バンドオフセットとエッジオフセットの、２つだけの種類による分割がなされてもよい。すなわち、この場合、色差信号に関しては、バンドオフセット、エッジオフセット、オフ（オフセットを行わない）の３種類のみのquad-tree構造として処理が行われる。

さらに、色差信号は、輝度信号より解像度が低いことから、バンドオフセットを適用する際には、図１３に示される輝度信号に対する３２バンドよりも少ない、例えば、１６バンドによりオフセットを送る。これにより、符号量の増大を抑えながら、画質を改善することが可能である。

また、輝度信号は、０がその成分がないことを意味するが、色差信号に関しては、８ビットの場合、１２８がその成分がないことを意味する。このため、図１３において、輝度信号においては、第１グループに関する情報が送られるとき、色差信号でにおいては、第２グループに関する情報が送られる。反対に、輝度信号において、第２グループに関する情報が送られるとき、色差信号においては、第１グループに関する情報が送られる。このようにしてもよい。

さらに、エッジオフセット、バンドオフセットともに、色差信号に対するオフセット値Ｏ_Ｃではなく、次の式（３５）に示される予測残差を復号側に送るようにする。

Ｏ_Ｃ−（α＊Ｏ_Ｌ ＋ β） ・・・（３５）

ここで、Ｏ_Ｌは、輝度信号に対するオフセット値であり、α、βは、相関係数である。このα、βは、２種類のバンドオフセット、６種類のエッジオフセット、それぞれ別個の値が算出されて、復号側へ送られてもよい。あるいは、バンドオフセットとエッジオフセットのそれぞれに対して、２種類の相関係数αおよびβが算出されて、送られてもよい。さらに、ＣｂとＣｒについて別々に相関係数αおよびβが算出されて、送られてもよい。

さらに、また、バンドオフセットで、輝度信号に対しては、３２バンドあるが、色差信号に対して、１６バンドしかない場合、Ｏ_Ｌが、Ｏ_Ｌ０とＯ_Ｌ１に対応すると仮定すると、次の式（３６）に示される予測残差を復号側に送るようにしてもよい。

Ｏ_Ｃ−（α＊（Ｏ_Ｌ０ ＋Ｏ_Ｌ１＋１）／２＋ β） ・・・（３６）

なお、上記式（３５）および式（３６）において、α＝１、β＝０の場合、色差オフセット値として、輝度オフセット値と同じ値が用いられることになる。さらに、画像符号化装置１０１においては、色差信号に対するオフセット値（予測残差）を量子化するようにしてもよい。

また、次に後述するように、輝度信号と色差信号で、カテゴリの対応を行うようにしてもよい。すなわち、例えば、4:2:0の場合、４つの輝度画素が、１つの色差画素にも対応することにしたが、４つのうち全部、もしくは３つの輝度画素が同じカテゴリに属する場合には、色差信号にも同一のカテゴリを適用する。

輝度画素が２つずつ同じカテゴリに属する場合には、色差信号に対して、どちらのカテゴリを適用するかに関する情報を表すフラグを送る。これ以外の場合には、上述したように、色差信号に関してもカテゴリ情報を送る。

以上のようにして、色差信号に対しても適応オフセットを適用させることにより、演算量を増大させることなく、色差信号における符号化効率を向上させることができる。

［適応オフセット部および色差信号適応オフセット部の構成例］
次に、画像符号化装置１０１の各部について説明する。図１７は、適応オフセット部１１１および色差信号適応オフセット部１１２の構成例を示すブロック図である。

図１７の例において、適応オフセット部１１１は、Quad-tree構造決定部１３１、輝度オフセット算出部１３２、輝度オフセット部１３３、および画素バッファ１３４を含むように構成されている。

色差適応オフセット部１１２は、色差オフセット算出部１４１、相関係数算出部１４２、色差オフセット予測値算出部１４３、および色差オフセット部１４４を含むように構成されている。

デブロックフィルタ２１からのデブロック後の画素値は、Quad-tree構造決定部１３１、輝度オフセット部１３３、および色差オフセット部１４４に供給される。

Quad-tree構造決定部１３１は、デブロック後の輝度信号の画素値を参照して、図１２を参照して上述したようにQuad-tree構造を決定する。すなわち、Quad-tree構造決定部１３１は、画像をquad-treeに分割し、それぞれの領域に、上述したどの適応オフセットの種類により符号化するかを、コスト関数値を用いて決定する。

Quad-tree構造決定部１３１は、決定したQuad-tree構造を、輝度オフセット算出部１３２、輝度オフセット部１３３、色差オフセット算出部１４１、および色差オフセット部１４４に供給する。

輝度オフセット算出部１３２は、輝度信号に関して、Quad-tree分割された各領域に対する輝度オフセット値の算出を行う。輝度オフセット算出部１３２は、算出した輝度オフセットの情報を、輝度オフセット部１３３、相関係数算出部１４２、および色差オフセット予測値算出部１４３に供給する。また、輝度オフセット算出部１３２は、算出した輝度オフセットの情報を、Quad-tree構造の情報とともに、可逆符号化部１６に供給する。

輝度オフセット部１３３は、デブロック後の輝度信号の画素値に対して、オフセット処理を行う。すなわち、輝度オフセット部１３３は、Quad-tree構造決定部１３１によりQuad-tree分割された各領域の輝度の画素値に対して、輝度オフセット算出部１３２により算出された輝度オフセット値を加算する。輝度オフセット部１３３は、オフセット処理後の画素値を画素バッファ１３４に蓄積する。

画素バッファ１３４は、輝度信号および色差信号のオフセット処理後の画素値の両方が揃うのを待ち、揃ったところで、オフセット処理後の画素値を、適応ループフィルタ７１に供給する。

色差オフセット算出部１４１および色差オフセット部１４４においては、輝度信号のQuad-tree構造に対して、上述したような色差信号の場合の分割数、バンド数、またはカテゴリの対応が予め設定されている。それを踏まえて、色差オフセット算出部１４１は、色差信号に関して、Quad-tree構造決定部１３１からのQuad-tree分割された各領域に対する色差オフセット値を算出する。色差オフセット算出部１４１は、算出した色差オフセットの情報を、相関係数算出部１４２、および色差オフセット部１４４に供給する。

相関係数算出部１４２は、輝度オフセット算出部１３２からの輝度オフセットの情報と、色差オフセット算出部１４１からの色差オフセットの情報とを用いて、相関係数αおよびβを算出する。相関係数算出部１４２は、算出した相関係数αおよびβの値と、色差オフセットの情報を、色差オフセット予測値算出部１４３に供給する。また、相関係数算出部１４２は、算出した相関係数αおよびβの値を可逆符号化部１６に供給する。

色差オフセット予測値算出部１４３は、輝度オフセット算出部１３２からの輝度オフセット値と、相関係数算出部１４２からの相関係数αおよびβの値、並びに色差オフセット値とを用いて、予測残差（以下、色差オフセット残差とも称する）を算出する。このとき、例えば、上述した式（３５）または式（３６）が用いられる。色差オフセット予測値算出部１４３は、算出した色差オフセット残差を、可逆符号化部１６に供給する。

色差オフセット部１４４は、デブロック後の色差信号の画素値に対して、オフセット処理を行う。すなわち、色差オフセット部１４４は、Quad-tree構造決定部１３１によりQuad-tree分割された各領域の色差の画素値に対して、色差オフセット算出部１４１により算出された色差オフセット値を加算する。色差オフセット部１４４は、オフセット処理後の画素値を画素バッファ１３４に蓄積する。

［符号化処理の流れ］
次に、以上のような画像符号化装置１０１により実行される各処理の流れについて説明する。最初に、図１８のフローチャートを参照して、符号化処理の流れの例を説明する。

ステップＳ１０１において、A/D変換部１１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

画面並べ替えバッファ１２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２２から読み出され、選択部２３を介してイントラ予測部２４に供給される。

これらの画像に基づいて、ステップＳ１０３において、イントラ予測部２４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ２１、適応オフセット部１１１、色差適応オフセット部１１２、および適応ループフィルタ７１によりフィルタやオフセットされていない画素が用いられる。

この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。

画面並べ替えバッファ１２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２２から読み出され、選択部２３を介して動き予測・補償部２５に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部２５は、動き予測・補償処理を行う。

この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。

ステップＳ１０５において、予測画像選択部２６は、イントラ予測部２４および動き予測・補償部２５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２６は、決定した最適予測モードの予測画像を選択し、演算部１３，２０に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部２４または動き予測・補償部２５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部２５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。

ステップＳ１０６において、演算部１３は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２５から、イントラ予測する場合はイントラ予測部２４から、それぞれ予測画像選択部２６を介して演算部１３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０７において、直交変換部１４は演算部１３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１０８において、量子化部１５は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１８の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１８は量子化部１５により量子化された変換係数を量子化部１５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１９は逆量子化部１８により逆量子化された変換係数を直交変換部１４の特性に対応する特性で逆直交変換する。

ステップＳ１１１において、演算部２０は、予測画像選択部２６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部１３への入力に対応する画像）を生成する。

ステップＳ１１２においてデブロックフィルタ２１は、演算部２０より出力された画像に対して、デブロックフィルタ処理を行う。これによりブロック歪みが除去される。デブロックフィルタ２１からの復号画像は、適応オフセット部１１１に出力される。

ステップＳ１１３において、適応オフセット部１１１および色差適応オフセット部１１２は、適応オフセット処理を行う。この適応オフセット処理の詳細は、図１９を参照して後述される。この処理により、輝度信号を基に、quad-tree構造が決定され、決定されたquad-tree分割された領域の輝度、色差に対して、オフセット値がそれぞれ算出される。そして、決定されたquad-tree分割された領域の輝度、色差に対して、オフセット処理が施される。オフセット後の画素値は、適応ループフィルタ７１に供給される。

また、輝度オフセット値と色差オフセット値が用いられて、相関係数が求められ、色差オフセット残差が求められる。求められた色差オフセット残差は、quad-tree構造と輝度オフセットの情報とともに、可逆符号化部１６に供給される。また、相関係数も可逆符号化部１６に供給される。

ステップＳ１１４において、適応ループフィルタ７１は、適応フィルタ係数を用いて、オフセット処理後の画素値に対して、適応ループフィルタ処理を行う。適応フィルタ処理後の画素値は、フレームメモリ２２に出力される。

ステップＳ１１５においてフレームメモリ２２は、フィルタリングされた画像を記憶する。なお、フレームメモリ２２には、デブロックフィルタ２１、適応オフセット部１１１、色差適応オフセット部１１２、および適応ループフィルタ７１によりフィルタやオフセットされていない画像も演算部２０から供給され、記憶される。

一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部１６にも供給される。ステップＳ１１６において、可逆符号化部１６は量子化部１５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。

また、このとき、上述したステップＳ１０５において可逆符号化部１６に入力された、イントラ予測部２４からのイントラ予測モード情報、または、動き予測・補償部２５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。さらに、上述したステップＳ１１３において可逆符号化部１６に入力されたquad-tree構造と輝度オフセット、および色差オフセット残差の情報も、符号化され、ヘッダ情報に付加される。なお、相関係数は、スライスヘッダ、またはLCU（Largest Coding Unit）ヘッダに付加される。

例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。

ステップＳ１１７において蓄積バッファ１７は差分画像を圧縮画像として蓄積する。蓄積バッファ１７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ１１８においてレート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

ステップＳ１１８の処理が終了すると、符号化処理が終了される。

［適応オフセット処理の流れ］
次に、図１９のフローチャートを参照して、図１８のステップＳ１１３において実行される適応オフセット処理の流れの例を説明する。

デブロックフィルタ２１からのデブロック後の画素値は、Quad-tree構造決定部１３１、輝度オフセット部１３３、および色差オフセット部１４４に供給される。

ステップＳ１３１において、Quad-tree構造決定部１３１は、デブロック後の輝度信号の画素値を参照して、図１２を参照して上述したように、Quad-tree構造を決定する。すなわち、画像がquad-treeに分割され、それぞれの領域に、上述したどの適応オフセットの種類により符号化するかが、コスト関数値を用いて決定されることにより、Quad-tree構造が決定される。決定されたQuad-tree構造は、輝度オフセット算出部１３２、輝度オフセット部１３３、色差オフセット算出部１４１、および色差オフセット部１４４に供給される。

ステップＳ１３２において、輝度オフセット算出部１３２は、輝度信号に関して、Quad-tree分割された各領域に対する輝度オフセット値の算出を行う。算出した輝度オフセットの情報は、輝度オフセット部１３３、相関係数算出部１４２、および色差オフセット予測値算出部１４３に供給される。

一方、ステップＳ１３３において、色差オフセット算出部１４１は、色差信号に関して、Quad-tree分割された各領域に対する色差オフセット値の算出を行う。算出された色差オフセットの情報は、相関係数算出部１４２、および色差オフセット部１４４に供給される。

ステップＳ１３４において、相関係数算出部１４２は、輝度オフセット算出部１３２からの輝度オフセットの情報と、色差オフセット算出部１４１からの色差オフセットの情報とを用いて、相関係数αおよびβを算出する。算出された相関係数αおよびβの値と、色差オフセットの情報は、色差オフセット予測値算出部１４３に供給される。

ステップＳ１３５において、色差オフセット予測値算出部１４３は、式（３５）または式（３６）により、予測残差として、色差オフセット残差を算出する。この色差オフセット残差の算出には、輝度オフセット算出部１３２からの輝度オフセット、相関係数算出部１４２からの相関係数αおよびβの値、並びに色差オフセットが用いられる。

ステップＳ１３６において、適応オフセット部１１１および色差適応オフセット部１１２は、適応オフセットパラメータである、Quad-tree構造、輝度オフセット値、相関係数αおよびβ、並びに、色差オフセット残差を、可逆符号化部１６に送る。すなわち、輝度オフセット算出部１３２は、算出した輝度オフセットの情報を、Quad-tree構造の情報とともに、可逆符号化部１６に供給する。相関係数算出部１４２は、算出した相関係数αおよびβの値を可逆符号化部１６に供給する。色差オフセット予測値算出部１４３は、算出した色差オフセット残差を、可逆符号化部１６に供給する。なお、色差オフセット残差は、量子化部１５により量子化されるようにしてもよい。

これらの適応オフセットパラメータは、上述した図１８のステップＳ１１６において、可逆符号化部１６により符号化され、ヘッダ情報に付加される。

ステップＳ１３７において、輝度オフセット部１３３および色差オフセット部１４４は、デブロック後の輝度、色差の画素値に対して、オフセット処理をそれぞれ行う。すなわち、輝度オフセット部１３３は、Quad-tree構造決定部１３１によりQuad-tree分割された各領域の輝度の画素値に対して、輝度オフセット算出部１３２により算出されたオフセット値を加算する。色差オフセット部１４４は、Quad-tree構造決定部１３１によりQuad-tree分割された各領域の色差の画素値に対して、色差オフセット算出部１４１により算出されたオフセット値を加算する。

オフセット処理後の画素値は、画素バッファ１３４に蓄積され、輝度、色差が揃ったところで、適応ループフィルタ７１に供給される。

以上のように、色差信号については、輝度信号に基づいて決定されたQuad-tree構造に基づいてオフセット処理が施されるので、演算量の増大を抑えながら、符号化効率を改善することができる。

また、色差信号については、輝度信号のオフセット値と相関係数が用いられて算出された色差オフセットの残差が復号側に送られるので、符号化効率を向上させることができる。

＜２．第２の実施の形態＞
［画像復号装置］
図２０は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図２０に示される画像復号装置２０１は、図１６の画像符号化装置１０１に対応する復号装置である。

画像符号化装置１０１より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１０１に対応する画像復号装置２０１に伝送され、復号されるものとする。

図２０の画像復号装置２０１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、および演算部４５を備える点で、図２の画像復号装置３１と共通している。図２０の画像復号装置２０１は、デブロックフィルタ４６、画面並べ替えバッファ４７、D/A変換部４８、フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３を備える点で、図２の画像復号装置３１と共通している。

また、図２０の画像復号装置２０１は、図４の適応ループフィルタ９１が追加された点で、図２の画像復号装置３１と異なっている。

さらに、図２０の画像復号装置２０１は、適応オフセット部２１１および色差適応オフセット部２１２が追加された点で、図２の画像復号装置３１と異なっている。

すなわち、可逆復号部４２は、図２の可逆復号部４２と同様に、蓄積バッファ４１より供給された、図１６の可逆符号化部１６により符号化された情報を、可逆符号化部１６の符号化方式に対応する方式で復号する。このとき、図２０の例においては、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、適応オフセットパラメータなども復号される。適応オフセットパラメータは、上述したように、図１６の可逆符号化部１６により符号化されたQuad-tree構造、輝度オフセット、相関係数αおよびβ、並びに、色差オフセット残差などで構成される。

なお、相関係数αおよびβは、スライスヘッダまたはLCU（Largest Coding Unit）ヘッダに付加されているので、そこから取得される。また、色差オフセット残差が量子化されている場合には、色差オフセット残差は、逆量子化部４３により逆量子化されてから、色差適応オフセット部２１２に供給される。

適応オフセット部２１１および色差適応オフセット部２１２は、デブロックフィルタ４６の後、適応ループフィルタ９１の前に設けられている。すなわち、適応オフセット部２１１および色差適応オフセット部２１２は、演算部４５、デブロックフィルタ４６、適応ループフィルタ９１、フレームメモリ４９、選択部５０、動き補償部５２、および画像選択部５３からなる動き補償ループ内に設けられている。すなわち、動き補償ループ内では、画像がループして用いられている。

適応オフセット部２１１には、可逆復号部４２からの適応オフセットパラメータのうち、Quad-tree構造、および輝度オフセットが供給される。適応オフセット部２１１は、それらの情報を用いて、デブロックフィルタ４６からの復号画像の輝度信号の画素値に対してオフセット処理を行うとともに、それらの情報を、色差適応オフセット部２１２に供給する。

また、適応オフセット部２１１は、オフセット処理後の輝度信号と、色差適応オフセット部２１２によりオフセット処理が施された色差信号とを、適応ループフィルタ９１に供給する。

色差適応オフセット部２１２には、適応オフセットパラメータのうち、相関係数αおよびβ、並びに、色差オフセット残差が供給される。色差適応オフセット部２１２は、適応オフセット部２１１からのQuad-tree構造に基づいて、デブロックフィルタ４６からの復号画像の色差信号の画素値に対してオフセット処理を行う。すなわち、色差適応オフセット部２１２は、可逆復号部４２からの相関係数α、β、および色差オフセット残差、並びに、適応オフセット部２１１からのQuad-tree構造、および輝度オフセット値を用いて、色差オフセットを再構築する。色差適応オフセット部２１２は、適応オフセット部２１１からのQuad-tree構造、再構築した色差オフセット値を用いて、デブロックフィルタ４６からの復号画像の色差信号の画素値に対してオフセット処理を行う。

適応ループフィルタ９１は、可逆復号部４２から供給された適応フィルタ係数を用いて、デブロックフィルタ４６からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。

［適応オフセット部および色差適応オフセット部の構成例］
次に、画像復号装置２０１の各部について説明する。図２１は、適応オフセット部２１１および色差適応オフセット部２１２の構成例を示すブロック図である。

図２１の例において、適応オフセット部２１１は、Quad-tree構造バッファ２３１、輝度オフセットバッファ２３２、輝度オフセット部２３３、および画素バッファ２３４を含むように構成されている。

色差適応オフセット部２１２は、相関係数バッファ２４１、色差オフセット残差バッファ２４２、色差オフセット再構築部２４３、および色差オフセット部２４４を含むように構成されている。

デブロックフィルタ４６からのデブロック後の画素値は、輝度オフセット部２３３、および色差オフセット部２４４に供給される。

可逆復号部４２からのQuad-tree構造の情報は、Quad-tree構造バッファ２３１に供給される。Quad-tree構造バッファ２３１は、可逆復号部４２からのQuad-tree構造の情報を蓄積し、Quad-tree構造の情報を、輝度オフセット部２３３、色差オフセット再構築部２４３、および色差オフセット部２４４に供給する。

可逆復号部４２からの輝度オフセットの情報は、輝度オフセットバッファ２３２に供給される。輝度オフセットバッファ２３２は、可逆復号部４２からの輝度オフセットの情報を蓄積し、輝度オフセットの情報を、輝度オフセット部２３３、および色差オフセット再構築部２４３に供給する。

輝度オフセット部２３３は、デブロック後の輝度信号の画素値に対して、オフセット処理を行う。すなわち、輝度オフセット部２３３は、Quad-tree構造バッファ２３１によりQuad-tree分割された各領域の輝度の画素値に対して、輝度オフセットバッファ２３２からの輝度オフセット値を加算する。輝度オフセット部２３３は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。

画素バッファ２３４は、輝度信号および色差信号のオフセット処理後の画素値の両方が揃うのを待ち、揃ったところで、オフセット処理後の画素値を、適応ループフィルタ９１に供給する。

可逆復号部４２からの相関係数α、βは、相関係数バッファ２４１に供給される。相関係数バッファ２４１は、可逆復号部４２からの相関係数α、βを蓄積し、蓄積された相関係数α、βを、色差オフセット再構築部２４３に供給する。

可逆復号部４２からの色差オフセット残差は、色差オフセット残差バッファ２４２に供給される。色差オフセット残差バッファ２４２は、可逆復号部４２からの色差オフセット残差を蓄積し、蓄積された色差オフセット残差を、色差オフセット再構築部２４３に供給する。

色差オフセット再構築部２４３には、Quad-tree構造バッファ２３１からのQuad-tree構造、輝度オフセットバッファ２３２からの輝度オフセット、相関係数バッファ２４１からの相関係数、および色差オフセット残差バッファ２４２からの色差オフセット残差が入力される。色差オフセット再構築部２４３は、入力されるそれらの情報を用いて、色差オフセットを再構築し、再構築された色差オフセットの情報を、色差オフセット部２４４に供給する。

色差オフセット部２４４においては、図１７の色差オフセット算出部１４１および色差オフセット部１４４と同様に、輝度信号のQuad-tree構造に対して、上述したような色差信号の場合の分割数、バンド数、またはカテゴリの対応が予め設定されている。それを踏まえて、色差オフセット部２４４は、デブロック後の色差信号の画素値に対して、オフセット処理を行う。すなわち、色差オフセット部２４４は、Quad-tree構造バッファ２３１からのQuad-tree分割された各領域の色差の画素値に対して、色差オフセット再構築部２４３ににより再構築された色差オフセット値を加算する。色差オフセット部２４４は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。

［復号処理の流れ］
次に、以上のような画像復号装置２０１により実行される各処理の流れについて説明する。最初に、図２２のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ４１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部４２は、蓄積バッファ４１から供給される符号化データを復号する。すなわち、図１６の可逆符号化部１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、適応オフセットパラメータの情報も復号される。

予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部５１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き補償部５２に供給される。また、適応オフセットパラメータのうちのQuad-tree構造、および輝度オフセットは、適応オフセット部２１１に供給される。適応オフセットパラメータのうち、相関係数αおよびβ、並びに、色差オフセット残差は、色差適応オフセット部２１２に供給される。

ステップＳ２０３において、イントラ予測部５１または動き補償部５２は、可逆復号部４２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。

すなわち、可逆復号部４２からイントラ予測モード情報が供給された場合、イントラ予測部５１は、Most Probable Modeの生成を行い、並列処理により、イントラ予測モードのイントラ予測画像を生成する。可逆復号部４２からインター予測モード情報が供給された場合、動き補償部５２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。

この処理により、イントラ予測部５１により生成された予測画像（イントラ予測画像）、または動き補償部５２により生成された予測画像（インター予測画像）が画像選択部５３に供給される。

ステップＳ２０４において、画像選択部５３は予測画像を選択する。すなわち、イントラ予測部５１により生成された予測画像、または動き補償部５２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部４５に供給され、後述するステップＳ２０６において逆直交変換部４４の出力と加算される。

上述したステップＳ２０２において、可逆復号部４２により復号された変換係数は、逆量子化部４３にも供給される。ステップＳ２０５において、逆量子化部４３は可逆復号部４２により復号された変換係数を、図１６の量子化部１５の特性に対応する特性で逆量子化する。

ステップＳ２０６において逆直交変換部４４は、逆量子化部４３により逆量子化された変換係数を、図１６の直交変換部１４の特性に対応する特性で逆直交変換する。これにより図１６の直交変換部１４の入力（演算部１３の出力）に対応する差分情報が復号されたことになる。

ステップＳ２０７において、演算部４５は、上述したステップＳ２０４の処理で選択され、画像選択部５３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ２０８においてデブロックフィルタ４６は、演算部４５より出力された画像に対して、デブロックフィルタ処理を行う。これにより、画面全体におけるブロック歪みが除去される。

ステップＳ２０９において、適応オフセット部２１１および色差適応オフセット部２１２は、適応オフセット処理を行う。この適応オフセット処理の詳細は、図２３を参照して後述される。この処理により、可逆復号部４２からのquad-tree構造、および輝度オフセットの情報が用いられて、デブロック後の輝度信号にオフセット処理が施される。

また、可逆復号部４２からのquad-tree構造、輝度オフセット値、相関係数、および色差オフセット残差が用いられて、色差オフセット値が再構築される。そして、quad-tree構造、色差オフセット値が用いられて、デブロック後の色差信号にオフセット処理が施される。オフセット後の画素値は、適応ループフィルタ９１に供給される。

ステップＳ２１０において、適応ループフィルタ９１は、適応フィルタ係数を用いて、オフセット処理後の画素値に対して、適応ループフィルタ処理を行う。適応フィルタ処理後の画素値は、画面並べ替えバッファ４７およびフレームメモリ４９に出力される。

ステップＳ２１１においてフレームメモリ４９は、適応フィルタリングされた画像を記憶する。

ステップＳ２１２において、画面並べ替えバッファ４７は、適応ループフィルタ９１後の画像の並べ替えを行う。すなわち画像符号化装置１０１の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１３において、D/A変換部４８は、画面並べ替えバッファ４７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ２１３の処理が終了すると、復号処理が終了される。

［適応オフセット処理の流れ］
次に、図２３のフローチャートを参照して、図２２のステップＳ２０９において実行される適応オフセット処理の流れの例を説明する。

可逆復号部４２からのQuad-tree構造の情報は、Quad-tree構造バッファ２３１に供給される。ステップＳ２３１において、Quad-tree構造バッファ２３１は、可逆復号部４２からのQuad-tree構造の情報を受信し、蓄積する。その後、Quad-tree構造バッファ２３１は、所定のタイミングで、輝度オフセット部２３３に、Quad-tree構造の情報を供給する。

可逆復号部４２からの輝度オフセットの情報は、輝度オフセットバッファ２３２に供給される。ステップＳ２３２において、輝度オフセットバッファ２３２は、可逆復号部４２からの輝度信号に対するオフセット（輝度オフセット）の情報を受信し、蓄積する。そして、輝度オフセットバッファ２３２は、所定のタイミングで、輝度オフセットの情報を、輝度オフセット部２３３、および色差オフセット再構築部２４３に供給する。

可逆復号部４２からの相関係数α、βは、相関係数バッファ２４１に供給される。ステップＳ２３３において、相関係数バッファ２４１は、可逆復号部４２からの相関係数α、βを受信し、蓄積する。相関係数バッファ２４１は、所定のタイミングで、蓄積された相関係数α、βを、色差オフセット再構築部２４３に供給する。

可逆復号部４２からの色差オフセット残差は、色差オフセット残差バッファ２４２に供給される。色差オフセット残差バッファ２４２は、ステップＳ２３４において、可逆復号部４２からの色差信号に対するオフセット残差（色差オフセット残差）を受信し、蓄積する。そして、色差オフセット残差バッファ２４２は、所定のタイミングで、蓄積された色差オフセット残差を、色差オフセット再構築部２４３に供給する。

色差オフセット再構築部２４３には、Quad-tree構造バッファ２３１からのQuad-tree構造、輝度オフセットバッファ２３２からの輝度オフセット、相関係数バッファ２４１からの相関係数、および色差オフセット残差バッファ２４２からの色差オフセット残差が入力される。ステップＳ２３５において、色差オフセット再構築部２４３は、入力されるそれらの情報を用いて、色差信号に対するオフセット値（色差オフセット値）を再構築し、再構築された色差オフセットの情報を、色差オフセット部２４４に供給する。

ステップＳ２３６において、輝度オフセット部２３３および色差オフセット部２４４は、デブロック後の色差信号の画素値に対して、オフセット処理を行う。すなわち、すなわち、輝度オフセット部２３３は、Quad-tree構造バッファ２３１によりQuad-tree分割された各領域の輝度の画素値に対して、輝度オフセットバッファ２３２からの輝度オフセット値を加算する。輝度オフセット部２３３は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。

また、色差オフセット部２４４は、Quad-tree構造バッファ２３１からのQuad-tree分割された各領域の色差の画素値に対して、色差オフセット再構築部２４３ににより再構築された色差オフセット値を加算する。色差オフセット部１４４は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。

その後、画素バッファ２３４は、輝度信号および色差信号のオフセット処理後の画素値の両方が揃うのを待ち、揃ったところで、オフセット処理後の画素値を、適応ループフィルタ９１に供給し、適応オフセット処理は終了する。

以上のように、色差信号については、輝度信号に基づいて決定されたQuad-tree構造に基づいてオフセット処理が施されるので、演算量の増大を抑えながら、符号化効率を改善することができる。

また、色差信号については、輝度信号のオフセット値と相関係数が用いられて算出されたオフセットの残差が復号側に送られるので、符号化効率を向上させることができる。

以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本開示はこれに限らず、動き予測・補償ループ内に適応フィルタを含む、その他の符号化方式／復号方式を適用することができる。

なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図２４において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜４．第４の実施の形態＞
［第１の応用例：テレビジョン受像機］
図２５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、色差信号に対する符号化効率を向上することができる。

＜５．第５の実施の形態＞
［第２の応用例：携帯電話機］
図２６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、色差信号に対する符号化効率を向上することができる。

＜６．第６の実施の形態＞
［第３の応用例：記録再生装置］
図２７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、色差信号に対する符号化効率を向上することができる。

＜７．第７の実施の形態＞
［第４の応用例：撮像装置］
図２８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、色差信号に対する符号化効率を向上することができる。

なお、本明細書では、差分量子化パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行う輝度適応オフセット処理部と、
前記輝度適応オフセット処理部による前記輝度適応オフセット処理の結果に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部と
を備える画像処理装置。
（２） 前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられるQuad-tree構造に基づいて、前記色差信号に対する前記色差適応オフセット処理を行う
前記（１）に記載の画像処理装置。
（３） 前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、バンドオフセット、エッジオフセット、およびオフの３種類を用いて、前記色差信号に対する前記色差適応オフセット処理を行う
前記（２）に記載の画像処理装置。
（４） バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対するバンド数よりも少ないバンド数を用いる
前記（１）または（２）に記載の画像処理装置。
（５） バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対して決められた一方のグループではない他方のグループを用いる
前記（１）または（２）に記載の画像処理装置。
（６） エッジオフセットを用いる場合、前記色差適応オフセット処理部は、前記輝度適応オフセット処理部による前記輝度信号に対して決められたカテゴリに対応して、前記色差信号のカテゴリを決定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられる輝度オフセット値を用いて、前記色差信号に対する前記色差適応オフセット処理を行う 前記（１）または（２）に記載の画像処理装置。
（８） 前記輝度適応オフセット処理部は、
前記輝度信号の画素値を用いて、前記Quad-tree構造を決定するQuad-tree決定部と、
前記Quad-tree決定部により決定された前記Quad-tree構造に分割された領域に対して、輝度オフセット値を算出する輝度オフセット算出部と、
前記輝度オフセット算出部により算出された前記輝度オフセット値を用いて、前記輝度信号の画素値に対してオフセット処理を行う輝度オフセット処理部と
を備え、
前記色差適応オフセット処理部は、
前記Quad-tree決定部により決定された前記Quad-tree構造に分割された領域に対して、色差オフセット値を算出する色差オフセット算出部と、
前記色差オフセット算出部により算出された前記色差オフセット値を用いて、前記色差信号の画素値に対してオフセット処理を行う色差オフセット処理部と
を備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記色差オフセット値を量子化する量子化部
前記（８）に記載の画像処理装置。
（１０） 前記輝度オフセット算出部により算出された前記輝度オフセット値、および前記色差オフセット算出部により算出された前記色差オフセット値から求められる色差予測残差と、前記輝度オフセット値を符号化する符号化部
をさらに備える
前記（８）または（９）に記載の画像処理装置。
（１１） 前記色差適応オフセット処理部は、
前記色差オフセット算出部により算出された色差オフセット値Ｏ_Ｃと、前記輝度オフセット算出部により算出された輝度オフセット値Ｏ_Ｌとを用いて、相関係数αおよびβを算出する相関係数算出部と、
前記相関係数算出部により算出された前記相関係数αおよびβを用いて、前記色差予測残差を算出する予測残差算出部と
さらに備える
前記（１０）に記載の画像処理装置。
（１２） 前記予測残差算出部は、
Ｏ_Ｃ − （α＊Ｏ_Ｌ＋β）のように、前記色差予測残差を算出する
前記（１１）に記載の画像処理装置。
（１３） 前記予測残差算出部は、前記色差オフセット値Ｏ_Ｃが、Ｏ_Ｌ０とＯ_Ｌ１に対応するとすると、
Ｏ_Ｃ − （α＊（Ｏ_Ｌ０＋Ｏ_Ｌ１＋１）／２＋β）のように、前記色差予測残差を算出する
前記（１１）に記載の画像処理装置。
（１４） 前記相関係数算出部は、ＣｂとＣｒについて別々に前記相関係数αおよびβを算出する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記相関係数算出部は、２種類のバンドオフセットおよび６種類のエッジオフセットについて別々に前記相関係数αおよびβを算出する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記符号化部は、前記相関係数αおよびβを符号化し、スライスヘッダに付加する
前記（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記符号化部は、前記相関係数αおよびβを符号化し、LCU（Largest Coding Unit）ヘッダに付加する
前記（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１８） 前記Quad-tree構造、輝度オフセットの情報、および前記色差オフセットの情報を復号する復号部をさらに備え、
前記輝度適応オフセット処理部は、前記Quad-tree構造に基づき、前記輝度オフセットの情報を用いて、前記輝度信号の画素値に対して前記輝度オフセット処理を行い、
前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、前記色差オフセットの情報を用いて、前記色差信号の画素値に対して前記色差オフセット処理を行う
前記（２）に記載の画像処理装置。
（１９） 前記色差オフセットの情報は、量子化されている
前記（１８）に記載の画像処理装置。
（２０） 前記色差オフセットの情報は、相関係数αおよびβ、輝度オフセット値Ｏ_Ｃ、並びに色差オフセット値Ｏ_Ｌから算出される色差予測残差であり、
前記色差適応オフセット処理部は、
前記色差予測残差、前記輝度オフセットの情報が示す前記輝度オフセット値Ｏ_Ｃ、相関係数αおよびβを用いて、前記色差オフセット値Ｏ_Ｌを再構築する再構築部と、
前記Quad-tree構造に基づき、前記再構築部により再構築された前記色差オフセットを用いて、前記色差信号の画素値に対してオフセット処理を行う色差オフセット処理部と
を備える
前記（１８）または（１９）に記載の画像処理装置。
（２１） 前記色差予測残差は、Ｏ_Ｃ − （α＊Ｏ_Ｌ＋β）で表される
前記（２０）に記載の画像処理装置。
（２２） 前記色差予測残差は、前記色差オフセット値Ｏ_Ｃが、Ｏ_Ｌ０とＯ_Ｌ１に対応するとすると、
Ｏ_Ｃ − （α＊（Ｏ_Ｌ０＋Ｏ_Ｌ１＋１）／２＋β）で表される
前記（２０）に記載の画像処理装置。
（２３） 前記復号部は、前記相関係数αおよびβを復号し、取得する
前記（２０）乃至（２２）のいずれかに記載の画像処理装置。
（２４） 前記相関係数αおよびβは、ＣｂとＣｒについて別々に取得される
前記（２３）に記載の画像処理装置。
（２５） 前記相関係数αおよびβは、２種類のバンドオフセットおよび６種類のエッジオフセットについて別々に取得される
前記（２３）または（２４）に記載の画像処理装置。
（２６） 前記相関係数αおよびβは、スライスヘッダから取得される
前記（２３）乃至（２５）のいずれかに記載の画像処理装置。
（２７） 前記相関係数αおよびβは、LCU（Largest Coding Unit）から取得される
前記（２３）乃至（２５）のいずれかに記載の画像処理装置。
（２８） 画像処理装置が、
輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行い、
前記輝度適応オフセット処理の結果に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う
画像処理方法。
（２９） 画像処理装置に、
輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行輝度適応オフセット処理部と、
前記輝度適応オフセット処理部による前記輝度適応オフセット処理の結果に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部と
して、機能させるプログラム。

１６ 可逆符号化部， ２１ デブロックフィルタ， ４２ 可逆復号部， ４６ デブロックフィルタ， ７１ 適応ループフィルタ， ９１ 適応ループフィルタ， １０１ 画像符号化装置， １１１ 適応オフセット部， １１２ 色差適応オフセット部， １３１ Quad-tree構造決定部， １３２ 輝度オフセット算出部， １３３ 輝度オフセット部， １３４ 画素バッファ， １４１ 色差オフセット算出部， １４２ 相関係数算出部， １４３ 色差オフセット予測値算出部， １４４ 色差オフセット部， ２０１ 画像復号装置， ２１１ 適応オフセット部， ２１２ 色差適応オフセット部， ２３１ Quad-tree構造バッファ， ２３２ 輝度オフセットバッファ， ２３３ 輝度オフセット部， ２３４ 画素バッファ， ２４１ 相関係数バッファ， ２４２ 色差オフセット残差バッファ， ２４３ 色差オフセット再構築部， ２４４ 色差オフセット部

Claims (20)

1. ビットストリームを復号して復号画像を生成する復号部と、
   前記復号部により生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行う輝度適応オフセット処理部と、
   前記復号部により生成された復号画像を対象として、前記輝度適応オフセット処理部により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部と
   を備える画像処理装置．
2. 前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられるQuad-tree構造に基づいて、前記色差信号に対する前記色差適応オフセット処理を行う
   請求項１に記載の画像処理装置。
3. 前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、バンドオフセット、エッジオフセット、およびオフの３種類を用いて、前記色差信号に対する前記色差適応オフセット処理を行う
   請求項２に記載の画像処理装置。
4. バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対するバンド数よりも少ないバンド数を用いる
   請求項１または請求項２に記載の画像処理装置。
5. バンドオフセットを用いる場合、前記色差適応オフセット処理部は、前記色差信号に対しては、前記輝度適応オフセット処理部による前記輝度信号に対して決められた一方のグループではない他方のグループを用いる
   請求項１または請求項２に記載の画像処理装置。
6. エッジオフセットを用いる場合、前記色差適応オフセット処理部は、前記輝度適応オフセット処理部による前記輝度信号に対して決められたカテゴリに対応して、前記色差信号のカテゴリを決定する
   請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記色差適応オフセット処理部は、前記輝度適応オフセット処理部により用いられる輝度オフセット値を用いて、前記色差信号に対する前記色差適応オフセット処理を行う
   請求項１または請求項２に記載の画像処理装置。
8. 前記復号部は、前記Quad-tree構造、輝度オフセットの情報、および、色差オフセットの情報を復号し、
   前記輝度適応オフセット処理部は、前記Quad-tree構造に基づき、前記輝度オフセットの情報を用いて、前記輝度信号の画素値に対して前記輝度適応オフセット処理を行い、
   前記色差適応オフセット処理部は、前記Quad-tree構造に基づき、前記色差オフセットの情報を用いて、前記色差信号の画素値に対して前記色差適応オフセット処理を行う
   請求項２に記載の画像処理装置。
9. 前記色差オフセットの情報は、相関係数αおよびβ、輝度オフセット値ＯＬ、並びに色差オフセット値ＯＣから算出される色差予測残差であり、
   前記相関係数αおよびβは、輝度オフセット値ＯＬおよび色差オフセット値ＯＣが用いられて、前記色差予測残差が小さくなるように算出された係数であり、
   前記色差適応オフセット処理部は、
   前記色差予測残差、前記輝度オフセットの情報が示す前記輝度オフセット値ＯＬ、相関係数αおよびβを用いて、前記色差オフセット値ＯＣを再構築する再構築部と、
   前記Quad-tree構造に基づき、前記再構築部により再構築された前記色差オフセット値ＯＣを用いて、前記色差信号の画素値に対してオフセット処理を行う色差オフセット処理部と
   を備える請求項８に記載の画像処理装置。
10. 前記色差予測残差は、量子化されている
    請求項９に記載の画像処理装置。
11. 前記色差予測残差は、ＯＣ − （α＊ＯＬ＋β）で表される
    請求項９に記載の画像処理装置。
12. 前記復号部は、前記相関係数αおよびβを復号し、取得する
    請求項９に記載の画像処理装置。
13. 前記相関係数αおよびβは、ＣｂとＣｒについて別々に取得される
    請求項１２に記載の画像処理装置。
14. 前記相関係数αおよびβは、２種類のバンドオフセットおよび６種類のエッジオフセットについて別々に取得される
    請求項１２または請求項１３に記載の画像処理装置。
15. 前記相関係数αおよびβは、スライスヘッダから取得される
    請求項１２乃至請求項１４のいずれかに記載の画像処理装置。
16. 前記相関係数αおよびβは、LCU（Largest Coding Unit）から取得される
    請求項１２乃至請求項１４のいずれかに記載の画像処理装置。
17. 前記復号画像に対してデブロックフィルタ処理を行うフィルタ部を
    さらに備え、
    前記輝度適応オフセット処理部と前記色差適応オフセット処理部は、前記フィルタ部によりデブロックフィルタ処理が行われた復号画像を対象として、適応オフセット処理を行う
    請求項１に記載の画像処理装置。
18. 画像処理装置が、
    ビットストリームを復号して復号画像を生成し、
    生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行い、
    生成された復号画像を対象として、前記輝度適応オフセット処理により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う
    画像処理方法。
19. コンピュータに、
    ビットストリームを復号して復号画像を生成する復号部と、
    前記復号部により生成された復号画像を対象として、輝度信号に対する適応オフセット処理である輝度適応オフセット処理を行う輝度適応オフセット処理部と、
    前記復号部により生成された復号画像を対象として、前記輝度適応オフセット処理部により用いられる情報に基づいて、色差信号に対する適応オフセット処理である色差適応オフセット処理を行う色差適応オフセット処理部と
    して、機能させるプログラム。
20. 請求項１９に記載されているプログラムが記録されている記録媒体。

Images