JP5741076B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

映像符号化方式の標準仕様の１つであるＨ．２６４／ＡＶＣでは、High Profile以上のプロファイルにおいて、画像データの量子化の際に、直交変換係数の成分ごとに異なる量子化ステップを用いることができる。直交変換係数の成分ごとの量子化ステップは、直交変換の単位と同等のサイズで定義される量子化行列（スケーリングリストともいう）及び基準のステップ値に基づいて設定され得る。

図１９は、Ｈ．２６４／ＡＶＣにおいて予め定義されている４種類の量子化行列の既定値（デフォルト値）を示している。例えば、イントラ予測モードにおいて変換単位のサイズが４×４である場合には、行列ＳＬ０１が量子化行列の既定値である。インター予測モードにおいて変換単位のサイズが４×４である場合には、行列ＳＬ０２が量子化行列の既定値である。イントラ予測モードにおいて変換単位のサイズが８×８である場合には、行列ＳＬ０３が量子化行列の既定値である。インター予測モードにおいて変換単位のサイズが８×８である場合には、行列ＳＬ０４が量子化行列の既定値である。また、ユーザは、シーケンスパラメータセット又はピクチャパラメータセットにおいて、図１９に示した既定値とは異なる独自の量子化行列を指定することができる。量子化行列が使用されない場合には、量子化の際に使用される量子化ステップは、全ての成分について等しい値となる。

Ｈ．２６４／ＡＶＣに続く次世代の映像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）では、従来のマクロブロックに相当する符号化単位（ＣＵ：Coding Unit）という概念が導入されている（下記非特許文献１参照）。符号化単位のサイズの範囲は、シーケンスパラメータセットにおいて、ＬＣＵ（Largest Coding Unit）及びＳＣＵ（Smallest Coding Unit）という２のべき乗の値の組で指定される。そして、split_flagを用いて、ＬＣＵ及びＳＣＵで指定された範囲内の具体的な符号化単位のサイズが特定される。

ＨＥＶＣでは、１つの符号化単位は、１つ以上の直交変換の単位、即ち１つ以上の変換単位（Transform Unit：ＴＵ）に分割され得る。変換単位のサイズとしては、４×４、８×８、１６×１６及び３２×３２のいずれかが利用可能である。従って、量子化行列もまた、これら変換単位の候補のサイズごとに指定され得る。

ところで、Ｈ．２６４／ＡＶＣでは、１ピクチャ内で１つの変換単位のサイズについて１つの量子化行列のみを指定することが可能であった。これに対し、下記非特許文献２は、１ピクチャ内で１つの変換単位のサイズについて複数の量子化行列の候補を指定し、ＲＤ（Rate-Distortion）の最適化の観点でブロックごとに適応的に量子化行列を選択することを提案している。

JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010 VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23 - 24 October, 2006

しかしながら、選択可能な変換単位のサイズの種類が多くなれば、対応する量子化行列の数も増加し、量子化行列の符号量の増加が符号化効率の低下を招き得る。また、このような符号化効率の低下は、変換単位のサイズごとに指定可能な量子化行列の数が１つから複数になれば、より顕著となる恐れもある。

そこで、本発明は、量子化行列の数が多くなる場合の符号量の増加を抑制することのできる、画像処理装置及び画像処理方法を提供しようとするものである。

本発明のある実施形態によれば、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位を選択する選択部と、第１のサイズの変換単位に対応する第１の量子化行列から、第２のサイズの変換単位に対応する第２の量子化行列を生成する生成部と、上記選択部により上記第２のサイズの変換単位が選択された場合に、上記生成部により生成された上記第２の量子化行列を用いて、上記画像データの変換係数データを逆量子化する逆量子化部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。

また、上記生成部は、上記第１の量子化行列を特定する行列情報、及び上記第１の量子化行列から予測される上記第２のサイズの予測行列と上記第２の量子化行列との差分を表す差分情報を用いて、上記第２の量子化行列を生成してもよい。

また、上記生成部は、シーケンスパラメータセット又はピクチャパラメータセットから上記行列情報及び上記差分情報を取得してもよい。

また、上記生成部は、上記予測行列と上記第２の量子化行列との差分が存在しないことを示す第１のフラグがシーケンスパラメータセット又はピクチャパラメータセットから取得された場合には、上記予測行列を上記第２の量子化行列としてもよい。

また、上記第１のサイズは、上記複数の変換単位のサイズのうち最小のサイズであってもよい。

また、上記第２のサイズは、上記第１のサイズよりも大きく、上記生成部は、上記第１の量子化行列において互いに隣接する第１の要素と第２の要素との間の要素として上記第１の要素又は上記第２の要素を複製することにより、上記予測行列を算出してもよい。

また、上記第２のサイズは、上記第１のサイズよりも大きく、上記生成部は、上記第１の量子化行列において互いに隣接する第１の要素と第２の要素との間の要素を線形補間することにより、上記予測行列を算出してもよい。

また、上記第２のサイズは、一辺において上記第１のサイズの２倍であってもよい。

また、上記第２のサイズは、上記第１のサイズよりも小さく、上記生成部は、上記第１の量子化行列の要素を間引くことにより、上記予測行列を算出してもよい。

また、上記第２のサイズは、上記第１のサイズよりも小さく、上記生成部は、上記第１の量子化行列において互いに隣接する複数の要素の平均を計算することにより、上記予測行列を算出してもよい。

また、上記生成部は、上記第２の量子化行列についてユーザにより定義された行列の使用を指定する第２のフラグがシーケンスパラメータセット又はピクチャパラメータセットから取得された場合に、上記第１の量子化行列から上記第２の量子化行列を生成してもよい。

また、本発明の別の実施形態によれば、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位を選択するステップと、第１のサイズの変換単位に対応する第１の量子化行列から、第２のサイズの変換単位に対応する第２の量子化行列を生成するステップと、上記第２のサイズの変換単位が選択された場合に、上記第１の量子化行列から生成された上記第２の量子化行列を用いて、上記画像データの変換係数データを逆量子化するステップと、を含む画像処理方法が提供される。

また、本発明の別の実施形態によれば、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位を選択する選択部と、上記選択部により選択された変換単位で上記画像データを直交変換することにより生成された変換係数データを、上記選択された変換単位に対応する量子化行列を用いて量子化する量子化部と、第１のサイズの変換単位に対応する第１の量子化行列から第２のサイズの変換単位に対応する第２の量子化行列を生成するための情報を符号化する符号化部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、本発明の別の実施形態によれば、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位を選択するステップと、選択された変換単位で上記画像データを直交変換することにより生成された変換係数データを、上記選択された変換単位に対応する量子化行列を用いて量子化するステップと、第１のサイズの変換単位に対応する第１の量子化行列から第２のサイズの変換単位に対応する第２の量子化行列を生成するための情報を符号化するステップと、を含む画像処理方法が提供される。

以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、量子化行列の数が多くなる場合の符号量の増加を抑制することができる。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 一実施形態に係る直交変換・量子化部の詳細な構成の一例を示すブロック図である。 一実施形態に係る行列処理部のさらに詳細な構成の一例を示すブロック図である。 一実施形態においてシーケンスパラメータセット内に挿入される情報の一例を示す説明図である。 一実施形態においてピクチャパラメータセット内に挿入される情報の一例を示す説明図である。 一実施形態に係る符号化時の処理の流れの第１の例を示すフローチャートの前半部である。 一実施形態に係る符号化時の処理の流れの第１の例を示すフローチャートの後半部である。 一実施形態に係る符号化時の処理の流れの第２の例を示すフローチャートの前半部である。 一実施形態に係る符号化時の処理の流れの第２の例を示すフローチャートの後半部である。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 一実施形態に係る逆量子化・逆直交変換部の詳細な構成の一例を示すブロック図である。 一実施形態に係る行列生成部のさらに詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時の処理の流れの第１の例を示すフローチャートの前半部である。 一実施形態に係る復号時の処理の流れの第１の例を示すフローチャートの後半部である。 一実施形態に係る復号時の処理の流れの第２の例を示すフローチャートの前半部である。 一実施形態に係る復号時の処理の流れの第２の例を示すフローチャートの後半部である。 一変形例に係る符号化時の処理の流れの一例を示すフローチャートの前半部である。 一変形例に係る符号化時の処理の流れの一例を示すフローチャートの後半部である。 一変形例に係る復号時の処理の流れの一例を示すフローチャートの前半部である。 一変形例に係る復号時の処理の流れの一例を示すフローチャートの後半部である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 Ｈ．２６４／ＡＶＣにおいて予め定義されている量子化行列の既定値を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成例
１−２．直交変換・量子化部の構成例
１−３．行列処理部の詳細な構成例
１−４．符号化される情報の例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
３−１．全体的な構成例
３−２．逆量子化・逆直交変換部の構成例
３−３．行列生成部の詳細な構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ

＜１．一実施形態に係る画像符号化装置の構成例＞
本節では、本発明の一実施形態に係る画像符号化装置の構成例について説明する。

［１−１．全体的な構成例］
図１は、本発明の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換・量子化部１４、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。

Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。

並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。

減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換・量子化部１４へ出力する。

直交変換・量子化部１４は、減算部１３から入力される予測誤差データについて直交変換及び量子化を行い、量子化された変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。直交変換・量子化部１４から出力される量子化データのビットレートは、レート制御部１８からのレート制御信号に基づいて制御される。直交変換・量子化部１４の詳細な構成について、後にさらに説明する。

可逆符号化部１６には、直交変換・量子化部１４から入力される量子化データ及び復号側で量子化行列を生成するための情報、並びに、モード選択部５０により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロックごとの動きベクトルの予測のための予測モード情報、差分動きベクトル情報、及び参照画像情報などを含み得る。

可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、後に詳しく説明する量子化行列を生成するための情報を、符号化ストリームのヘッダ（例えばシーケンスパラメータセット及びピクチャパラメータセット）内に多重化する。さらに、可逆符号化部１６は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を直交変換・量子化部１４へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、直交変換・量子化部１４から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。

デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。

イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部５０へ出力する。

動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部４０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部４０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部４０は、選択した最適な予測モードを表す予測モード情報を含むインター予測に関する情報、予測画像データ、及びコスト関数値などのインター予測に関する情報を、モード選択部５０へ出力する。

モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。

［１−２．直交変換・量子化部の構成例］
図２は、図１に示した画像符号化装置１０の直交変換・量子化部１４の詳細な構成の一例を示すブロック図である。図２を参照すると、直交変換・量子化部１４は、選択部１１０、直交変換部１２０、量子化部１３０、量子化行列バッファ１４０及び行列処理部１５０を有する。

（１）選択部
選択部１１０は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位（ＴＵ）を選択する。選択部１１０により選択され得る変換単位のサイズの候補は、例えば、Ｈ．２６４／ＡＶＣでは４×４及び８×８を含み、ＨＥＶＣでは４×４、８×８、１６×１６及び３２×３２を含む。選択部１１０は、例えば、符号化される画像のサイズ若しくは画質、又は装置の性能などに応じていずれかの変換単位を選択してよい。選択部１１０による変換単位の選択は、装置を開発するユーザによってハンドチューニングされてもよい。そして、選択部１１０は、選択した変換単位のサイズを指定する情報を、直交変換部１２０、量子化部１３０、可逆符号化部１６及び逆量子化部２１へ出力する。

（２）直交変換部
直交変換部１２０は、選択部１１０により選択された変換単位で、減算部１３から供給される画像データ（即ち、予測誤差データ）を直交変換する。直交変換部１２０により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。そして、直交変換部１２０は、直交変換処理により取得される変換係数データを量子化部１３０へ出力する。

（３）量子化部
量子化部１３０は、選択部１１０により選択された変換単位に対応する量子化行列を用いて、直交変換部１２０により生成された変換係数データを量子化する。また、量子化部１３０は、レート制御部１８からのレート制御信号に基づいて量子化ステップを切替えることにより、出力される量子化データのビットレートを変化させる。

また、量子化部１３０は、選択部１１０により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを、量子化行列バッファ１４０に記憶させる。例えば、ＨＥＶＣのように４×４、８×８、１６×１６及び３２×３２という４種類のサイズの変換単位の候補が存在する場合には、これら４種類のサイズにそれぞれ対応する４種類の量子化行列のセットが、量子化行列バッファ１４０により記憶され得る。なお、あるサイズについて図１９に例示したような既定の量子化行列が使用される場合には、既定の量子化行列が使用されること（ユーザにより定義された量子化行列を使用しないこと）を示すフラグのみが、当該サイズと関連付けて量子化行列バッファ１４０により記憶されてもよい。

量子化部１３０により使用される可能性のある量子化行列のセットは、典型的には、符号化ストリームのシーケンスごとに設定され得る。また、量子化部１３０は、シーケンスごとに設定した量子化行列のセットを、ピクチャごとに更新してもよい。このような量子化行列のセットの設定及び更新を制御するための情報は、例えば、シーケンスパラメータセット及びピクチャパラメータセットに挿入され得る。

（４）量子化行列バッファ
量子化行列バッファ１４０は、半導体メモリなどの記憶媒体を用いて、選択部１１０により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを一時的に記憶する。量子化行列バッファ１４０により記憶される量子化行列のセットは、次に説明する行列処理部１５０による処理に際して参照される。

（５）行列処理部
行列処理部１５０は、符号化ストリームのシーケンスごとに及びピクチャごとに、量子化行列バッファ１４０に記憶されている量子化行列のセットを参照し、ある１つのサイズの変換単位に対応する量子化行列から他の１つ以上のサイズの変換単位に対応する量子化行列を生成するための情報を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。即ち、ＨＥＶＣのように４×４、８×８、１６×１６及び３２×３２という４種類のサイズの変換単位の候補が存在する場合には、４×４の量子化行列から他のサイズの量子化行列を生成するための情報が生成され得る。行列処理部１５０により生成される情報は、例えば、後に説明する基礎行列情報及び差分行列情報を含み得る。そして、行列処理部１５０により生成された情報は、可逆符号化部１６へ出力され、符号化ストリームのヘッダ内に挿入され得る。

なお、本明細書では、主に最小のサイズの量子化行列からより大きいサイズの量子化行列が生成される例について説明する。しかしながら、かかる例に限定されず、最小ではないサイズの量子化行列から、より小さいサイズの量子化行列及び／又はより大きいサイズの量子化行列が生成されてもよい。

［１−３．行列処理部の詳細な構成例］
図３は、図２に示した直交変換・量子化部１４の行列処理部１５０のさらに詳細な構成の一例を示すブロック図である。図３を参照すると、行列処理部１５０は、予測部１５２及び差分演算部１５４を含む。

（１）予測部
予測部１５２は、量子化行列バッファ１４０に記憶されている量子化行列のセットを取得し、取得したセットに含まれる第１の量子化行列からより大きいサイズの第２の量子化行列を予測する。例えば、４×４の量子化行列ＳＬ１を次のように定義する：

予測部１５２により量子化行列ＳＬ１から予測される８×８の予測行列ＰＳＬ２は、例えば、次の予測式（２）に従って算出され得る：

予測式（２）を参照すると、予測行列ＰＳＬ２は、量子化行列ＳＬ１において互いに隣接する２つの要素の間の要素として、当該２つの要素のいずれかを複製することにより生成された行列である。

その代わりに、予測行列ＰＳＬ２は、次の予測式（３）に従って量子化行列ＳＬ１から算出されてもよい：

予測式（３）を参照すると、予測行列ＰＳＬ２は、量子化行列ＳＬ１において互いに隣接する２つの要素の間の要素を当該２つの要素から線形補間することにより生成された行列である。なお、予測式（３）の予測行列ＰＳＬ２の右端の要素はその１つ左の要素から複製されているが、それら右端の要素は、複製ではなく線型外挿により算出されてもよい。同様に、予測式（３）の予測行列ＰＳＬ２の下端の要素もまた、その１つ上の要素から複製される代わりに、線型外挿により算出されてもよい。例えば、予測行列ＰＳＬ２の８行８列の成分ＰＳＬ２_８，８は、予測式（３）ではａ_３３だが、線型外挿に従って次のようにも算出され得る：

予測式（２）は、予測式（３）と比較して少ない計算コストで予測行列ＰＳＬ２を生成することのできる式である。一方、予測式（３）を利用すれば、より本来使用される量子化行列に近い滑らかな予測行列を得ることが可能である。従って、予測式（３）を利用すれば、後に説明する差分行列の各要素をゼロに近付けて、符号化される情報量を削減することができる。

なお、予測式（２）及び（３）は使用可能な予測式の例に過ぎず、他の任意の予測式もまた使用されてよい。

予測部１５２は、量子化行列ＳＬ１から予測行列ＰＳＬ２を生成すると、生成した予測行列ＰＳＬ２を差分演算部１５４へ出力する。また、予測部１５２は、例えば、量子化行列のセットに含まれる８×８の量子化行列ＳＬ２から１６×１６の予測行列ＰＳＬ３を予測し、予測行列ＰＳＬ３を差分演算部１５４へ出力する。さらに、予測部１５２は、量子化行列のセットに含まれる１６×１６の量子化行列ＳＬ３から３２×３２の予測行列ＰＳＬ４を予測し、予測行列ＰＳＬ４を差分演算部１５４へ出力する。これら予測行列ＰＳＬ３及び予測行列ＰＳＬ４の予測もまた、上述した予測式（２）又は（３）と同等の予測式に従って行われてよい。また、予測部１５２は、上述した予測行列ＰＳＬ２、ＰＳＬ３及びＰＳＬ４の生成の基礎とした４×４の量子化行列ＳＬ１を特定する基礎行列情報を、可逆符号化部１６へ出力する。

（２）差分演算部
差分演算部１５４は、予測部１５２から入力される予測行列ＰＳＬ２、ＰＳＬ３及びＰＳＬ４と対応する量子化行列ＳＬ２、ＳＬ３及びＳＬ４との差分を表す差分行列ＤＳＬ２、ＤＳＬ３及びＤＳＬ４を、式（５）〜（７）に従ってそれぞれ算出する：

そして、差分演算部１５４は、これら差分行列ＤＳＬ２、ＤＳＬ３及びＤＳＬ４を表す差分行列情報を可逆符号化部１６へ出力する。

なお、行列処理部１５０は、あるサイズについて既定の量子化行列が使用される場合には、当該サイズの量子化行列の予測及び差分演算を実行することなく、既定の量子化行列が使用されることを示すフラグのみを、対応するサイズと関連付けて可逆符号化部１６へ出力する。また、差分演算部１５４は、予測行列と量子化行列との差分がゼロである場合には、差分行列情報を出力する代わりに、差分が存在しないことを示すフラグのみを可逆符号化部１６へ出力し得る。また、行列処理部１５０は、ピクチャの切り替わりのタイミングで量子化行列が更新されない場合には、量子化行列が更新されないことを示すフラグのみを可逆符号化部１６へ出力し得る。

［１−４．符号化される情報の例］
（１）シーケンスパラメータセット
図４は、本実施形態においてシーケンスパラメータセット内に挿入される情報の一例を示す説明図である。図４を参照すると、量子化行列のサイズ（変換単位（ＴＵ）のサイズ）ごとに符号化される情報として、「行列種別フラグ」、「差分フラグ」及び「（符号化される）行列情報」という３種類の情報が示されている。

行列種別フラグは、各サイズについて、ユーザにより定義される量子化行列及び既定の量子化行列のいずれが使用されるのかを指定するフラグである。あるサイズについて行列種別フラグが「１」であれば、そのサイズの量子化行列はユーザにより定義される。また、あるサイズについて行列種別フラグが「０」であれば、そのサイズの量子化行列は既定の量子化行列である。行列種別フラグが「０」である場合、行列情報及び差分行列情報並びに次に説明する差分フラグは、いずれも符号化されない。

差分フラグは、各サイズについて、行列種別フラグが「１：ユーザ定義」である場合に予測行列と量子化行列との差分が存在するか否かを示すフラグである。あるサイズについて差分フラグが「１」であれば、そのサイズの予測行列と量子化行列との差分が存在し、差分行列情報が符号化される。あるサイズについて差分フラグが「０」であれば、そのサイズの差分行列情報は符号化されない。なお、予測の基礎となるサイズ（例えば４×４）については、行列種別フラグによらず差分フラグは符号化されない。

（２）ピクチャパラメータセット
図５は、本実施形態においてピクチャパラメータセット内に挿入される情報の一例を示す説明図である。図５を参照すると、量子化行列のサイズ（変換単位（ＴＵ）のサイズ）ごとに符号化される情報として、「更新フラグ」、「行列種別フラグ」、「差分フラグ」及び「（符号化される）行列情報」という４種類の情報が示されている。このうち、行列種別フラグ及び差分フラグの意味は、図４を用いて説明したシーケンスパラメータセットの同じ名称のフラグと同様である。

更新フラグは、各サイズについてピクチャの切り替わりのタイミングで量子化行列を更新すべきか否かを示すフラグである。あるサイズについて更新フラグが「１」であれば、そのサイズの量子化行列は更新される。更新フラグが「０」であれば、そのサイズの量子化行列は更新されず、前のピクチャ又は現在のシーケンスに設定された量子化行列がそのまま使用される。更新フラグが「０」である場合には、そのサイズについて行列種別フラグ、差分フラグ及び差分行列情報（４×４の場合には行列情報）は符号化されない。

＜２．一実施形態に係る符号化時の処理の流れ＞
図６Ａ及び図６Ｂは、本実施形態に係る符号化時の処理の流れの第１の例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのシーケンスごとに行列処理部１５０及び可逆符号化部１６により実行され得る。

図６Ａを参照すると、まず、行列処理部１５０は、当該シーケンスにおいて量子化部１３０により使用される量子化行列のセットを、量子化行列バッファ１４０から取得する（ステップＳ１００）。ここでは、一例として、４×４、８×８、１６×１６及び３２×３２の各サイズに対応する量子化行列が量子化行列のセットに含まれるものとする。

次に、行列処理部１５０は、４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１０２）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、可逆符号化部１６は、行列種別フラグ（＝１）及び４×４の量子化行列を表す基礎行列情報を符号化する（ステップＳ１０６）。一方、４×４の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ１０８）。

次に、行列処理部１５０は、８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１１２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、例えば上述した予測式（２）又は（３）に従って、４×４の量子化行列から８×８の予測行列を算出する（ステップＳ１１４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び８×８の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１１６）。一方、８×８の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ１１８）。

次に、図６Ｂを参照すると、行列処理部１５０は、１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１２２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、８×８の量子化行列から１６×１６の予測行列を算出する（ステップＳ１２４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び１６×１６の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１２６）。一方、１６×１６の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ１２８）。

次に、行列処理部１５０は、３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１３２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、１６×１６の量子化行列から３２×３２の予測行列を算出する（ステップＳ１３４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び３２×３２の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１３６）。一方、３２×３２の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ１３８）。

図７Ａ及び図７Ｂは、本実施形態に係る符号化時の処理の流れの第２の例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのピクチャごとに行列処理部１５０及び可逆符号化部１６により実行され得る。

図７Ａを参照すると、まず、行列処理部１５０は、当該ピクチャにおいて量子化部１３０により使用される量子化行列のセットを、量子化行列バッファ１４０から取得する（ステップＳ１５０）。ここでも、図６Ａ及び図６Ｂの例と同様、４×４、８×８、１６×１６及び３２×３２の各サイズに対応する量子化行列が量子化行列のセットに含まれるものとする。

次に、行列処理部１５０は、４×４の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ１５２）。量子化行列が更新されない場合には、可逆符号化部１６は、更新フラグ（＝０）のみを符号化する（ステップＳ１５８）。一方、量子化行列が更新される場合には、処理はステップＳ１５４へ進む。量子化行列が更新される場合には、行列処理部１５０は、新たな４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１５４）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、可逆符号化部１６は、更新フラグ（＝１）、行列種別フラグ（＝１）及び４×４の量子化行列を表す基礎行列情報を符号化する（ステップＳ１５６）。一方、４×４の量子化行列が既定の行列である場合には、可逆符号化部１６は、更新フラグ（＝１）及び行列種別フラグ（＝０）を符号化する（ステップＳ１５８）。

次に、行列処理部１５０は、８×８の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ１６０）。量子化行列が更新されない場合には、可逆符号化部１６は、更新フラグ（＝０）のみを符号化する（ステップＳ１６８）。一方、量子化行列が更新される場合には、処理はステップＳ１６２へ進む。量子化行列が更新される場合には、行列処理部１５０は、８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１６２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、４×４の量子化行列が更新されたか否かによらず、新たなピクチャの４×４の量子化行列から８×８の予測行列を算出する（ステップＳ１６４）。そして、可逆符号化部１６は、更新フラグ（＝１）、行列種別フラグ（＝１）、差分フラグ、及び８×８の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１６６）。一方、８×８の量子化行列が既定の行列である場合には、可逆符号化部１６は、更新フラグ（＝１）及び行列種別フラグ（＝０）を符号化する（ステップＳ１６８）。

次に、図７Ｂを参照すると、行列処理部１５０は、１６×１６の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ１７０）。量子化行列が更新されない場合には、可逆符号化部１６は、更新フラグ（＝０）のみを符号化する（ステップＳ１７８）。一方、量子化行列が更新される場合には、処理はステップＳ１７２へ進む。量子化行列が更新される場合には、行列処理部１５０は、１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１７２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、８×８の量子化行列が更新されたか否かによらず、新たなピクチャの８×８の量子化行列から１６×１６の予測行列を算出する（ステップＳ１７４）。そして、可逆符号化部１６は、更新フラグ（＝１）、行列種別フラグ（＝１）、差分フラグ、及び１６×１６の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１７６）。一方、１６×１６の量子化行列が既定の行列である場合には、可逆符号化部１６は、更新フラグ（＝１）及び行列種別フラグ（＝０）を符号化する（ステップＳ１７８）。

次に、行列処理部１５０は、３２×３２の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ１８０）。量子化行列が更新されない場合には、可逆符号化部１６は、更新フラグ（＝０）のみを符号化する（ステップＳ１８８）。一方、量子化行列が更新される場合には、処理はステップＳ１８２へ進む。量子化行列が更新される場合には、行列処理部１５０は、３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ１８２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、１６×１６の量子化行列が更新されたか否かによらず、新たなピクチャの１６×１６の量子化行列から３２×３２の予測行列を算出する（ステップＳ１８４）。そして、可逆符号化部１６は、更新フラグ（＝１）、行列種別フラグ（＝１）、差分フラグ、及び３２×３２の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ１８６）。一方、３２×３２の量子化行列が既定の行列である場合には、可逆符号化部１６は、更新フラグ（＝１）及び行列種別フラグ（＝０）を符号化する（ステップＳ１８８）。

このように、いずれか１つの量子化行列に基づいて他の量子化行列を予測する手法を用いることで、符号化側から復号側へ複数の変換単位のサイズに対応する複数の量子化行列を伝送する必要性が解消される。従って、量子化行列の数が多くなる場合にも、符号量の増加が効果的に抑制される。

＜３．一実施形態に係る画像復号装置の構成例＞
本節では、本発明の一実施形態に係る画像復号装置の構成例について説明する。

［３−１．全体的な構成例］
図８は、本発明の一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図８を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化・逆直交変換部６３、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、上述した量子化行列を生成するための基礎行列情報及び差分行列情報、並びにブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部６２は、復号後の量子化データ及び量子化行列を生成するための情報を、逆量子化・逆直交変換部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報を動き補償部９０へ出力する。

逆量子化・逆直交変換部６３は、可逆復号部６２から入力される量子化データについて逆量子化及び逆直交変換を行うことにより、予測誤差データを生成する。そして、逆量子化・逆直交変換部６３は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆量子化・逆直交変換部６３から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。

並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部９０へ出力する。

セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。

動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。

［３−２．逆量子化・逆直交変換部の構成例］
図９は、図８に示した画像復号装置６０の逆量子化・逆直交変換部６３の詳細な構成の一例を示すブロック図である。図９を参照すると、逆量子化・逆直交変換部６３は、行列生成部２１０、選択部２３０、逆量子化部２４０及び逆直交変換部２５０を有する。

（１）行列生成部
行列生成部２１０は、符号化ストリームのシーケンスごとに及びピクチャごとに、ある１つのサイズの変換単位に対応する量子化行列から、他の１つ以上のサイズの変換単位に対応する量子化行列を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。本実施形態では、行列生成部２１０は、最小のサイズである４×４の量子化行列から、より大きいサイズについての差分行列情報を用いて、８×８、１６×１６及び３２×３２の量子化行列を生成する。

（２）選択部
選択部２３０は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位（ＴＵ）を選択する。選択部２３０により選択され得る変換単位のサイズの候補は、例えば、Ｈ．２６４／ＡＶＣでは４×４及び８×８を含み、ＨＥＶＣでは４×４、８×８、１６×１６及び３２×３２を含む。選択部２３０は、例えば、符号化ストリームのヘッダ内に含まれるＬＣＵ、ＳＣＵ及びsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部２３０は、選択した変換単位のサイズを指定する情報を、逆量子化部２４０及び逆直交変換部２５０へ出力する。

（３）逆量子化部
逆量子化部２４０は、選択部２３０により選択された変換単位に対応する量子化行列を用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。ここで逆量子化処理のために用いられる量子化行列は、行列生成部２１０により生成される行列を含む。即ち、例えば選択部２３０により８×８、１６×１６又は３２×３２の変換単位が選択された場合には、選択された変換単位に対応する量子化行列として、行列生成部２１０により４×４の量子化行列から生成された量子化行列が用いられ得る。そして、逆量子化部２４０は、逆量子化した変換係数データを逆直交変換部２５０へ出力する。

（４）逆直交変換部
逆直交変換部２５０は、符号化の際に使用された直交変換方式に従い、逆量子化部２４０により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部２５０は、生成した予測誤差データを加算部６５へ出力する。

［３−３．行列生成部の詳細な構成例］
図１０は、図９に示した逆量子化・逆直交変換部６３の行列生成部２１０のさらに詳細な構成の一例を示すブロック図である。図１０を参照すると、行列生成部２１０は、基礎行列取得部２１２、差分取得部２１４、予測部２１６、再構築部２１８及び量子化行列バッファ２２０を含む。

（１）基礎行列取得部
基礎行列取得部２１２は、可逆復号部６２から入力される基礎行列情報を取得する。本実施形態において、基礎行列情報は、上述したように最小のサイズである４×４の量子化行列ＳＬ１を特定する情報である。そして、基礎行列取得部２１２は、取得した基礎行列情報から特定される４×４の量子化行列ＳＬ１を量子化行列バッファ２２０に記憶させる。なお、基礎行列取得部２１２は、シーケンスごとに又はピクチャごとに取得される行列種別フラグが「０」であれば、基礎行列情報を取得することなく、既定の４×４の量子化行列を量子化行列バッファ２２０に記憶させる。また、基礎行列取得部２１２は、ピクチャごとに取得される更新フラグが「０」であれば、以前の処理によって量子化行列バッファ２２０に記憶させた量子化行列ＳＬ１を更新しない。また、基礎行列取得部２１２は、４×４の量子化行列ＳＬ１を予測部２１６へ出力する。

（２）差分取得部
差分取得部２１４は、可逆復号部６２から入力される差分行列情報を取得する。本実施形態において、差分行列情報は、上述したように、４×４の量子化行列ＳＬ１から予測される予測行列ＰＳＬ２、ＰＳＬ３及びＰＳＬ４と量子化行列ＳＬ２、ＳＬ３及びＳＬ４との差分を表す差分行列ＤＳＬ２、ＤＳＬ３及びＤＳＬ４を特定する情報である。差分取得部２１４は、差分行列情報により特定される差分行列ＤＳＬ２、ＤＳＬ３及びＤＳＬ４を、再構築部２１８へ出力する。なお、差分取得部２１４は、シーケンスごとに又はピクチャごとに取得される行列種別フラグが「０」であり又は差分フラグが「０」であれば、差分行列情報を取得することなく、対応するサイズの差分行列をゼロ行列とする。また、差分取得部２１４は、ピクチャごとに取得される更新フラグが「０」であれば、対応するサイズについて差分行列を出力しない。

（３）予測部
予測部２１６は、基礎行列取得部２１２から入力される基礎行列、即ち本実施形態においては４×４の量子化行列ＳＬ１から、画像の符号化の際に使用された予測式（例えば、上述した予測式（２）又は（３））に従って、より大きいサイズの８×８の予測行列ＰＳＬ２を算出する。また、予測部２１６は、算出された８×８の予測行列ＰＳＬ２を用いて再構築部２１８により再構築される量子化行列ＳＬ２から、１６×１６の予測行列ＰＳＬ３を算出する。さらに、予測部２１６は、算出された１６×１６の予測行列ＰＳＬ３を用いて再構築部２１８により再構築される量子化行列ＳＬ３から、３２×３２の予測行列ＰＳＬ４を算出する。予測部２１６は、予測行列ＰＳＬ２、ＰＳＬ３及びＰＳＬ４をそれぞれ再構築部２１８へ出力する。なお、予測部２１６は、行列種別フラグが「０」であるサイズについては予測行列を生成せず、より大きいサイズの予測行列の算出のために、既定の量子化行列を使用する。また、基礎行列取得部２１２は、更新フラグが「０」であるサイズについても予測行列を生成せず、より大きいサイズの予測行列の算出のために、以前の処理で生成された量子化行列を使用する。

（４）再構築部
再構築部２１８は、予測部２１６から入力される予測行列ＰＳＬ２、ＰＳＬ３及びＰＳＬ４と差分取得部２１４から入力される差分行列ＤＳＬ２、ＤＳＬ３及びＤＳＬ４とを加算することにより、量子化行列ＳＬ２、ＳＬ３及びＳＬ４をそれぞれ再構築する：

そして、再構築部２１８は、再構築した８×８、１６×１６及び３２×３２の量子化行列ＳＬ２、ＳＬ３及びＳＬ４を量子化行列バッファ２２０に記憶させる。なお、再構築部２１８は、シーケンスごとに又はピクチャごとに取得される行列種別フラグが「０」であれば、対応するサイズの量子化行列として既定の量子化行列を量子化行列バッファ２２０に記憶させる。また、基礎行列取得部２１２は、ピクチャごとに取得される更新フラグが「０」であれば、以前の処理によって量子化行列バッファ２２０に記憶させた対応するサイズの量子化行列ＳＬ２、ＳＬ３又はＳＬ４を更新しない。

（５）量子化行列バッファ
量子化行列バッファ２２０は、基礎行列取得部２１２により特定される量子化行列ＳＬ１、並びに再構築部２１８により再構築される量子化行列ＳＬ２、ＳＬ３及びＳＬ４を一時的に記憶する。量子化行列バッファ２２０により記憶されるこれら量子化行列ＳＬ１、ＳＬ２、ＳＬ３及びＳＬ４は、量子化された変換係数データの逆量子化部２４０による逆量子化処理のために用いられる。

なお、本項で説明した画像復号装置６０の逆量子化・逆直交変換部６３の構成は、図１に示した画像符号化装置１０の逆量子化部２１及び逆直交変換部２２にも適用され得る。

＜４．一実施形態に係る復号時の処理の流れ＞
図１１Ａ及び図１１Ｂは、本実施形態に係る復号時の処理の流れの第１の例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのシーケンスごとに行列生成部２１０により実行され得る。

図１１Ａを参照すると、まず、行列生成部２１０は、当該シーケンスのシーケンスパラメータセットに含まれる行列種別フラグに基づいて、４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２０２）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、基礎行列情報を用いて４×４の量子化行列を設定する（即ち、量子化行列バッファ２２０に記憶させる）（ステップＳ２０４）。一方、４×４の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の４×４の量子化行列を設定する（ステップＳ２０６）。

次に、行列生成部２１０は、８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２１２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、例えば上述した予測式（２）又は（３）に従って４×４の量子化行列から８×８の予測行列を算出し、算出した予測行列と８×８の差分行列とを加算する。それにより、８×８の量子化行列が再構築される（ステップＳ２１４）。なお、８×８の差分フラグが「０」であれば、差分行列はゼロ行列であり、８×８の予測行列がそのまま量子化行列として設定され得る。一方、８×８の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の８×８の量子化行列を設定する（ステップＳ２１６）。

次に、図１１Ｂを参照すると、行列生成部２１０は、１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２２２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、８×８の量子化行列から１６×１６の予測行列を算出し、算出した予測行列と１６×１６の差分行列とを加算する。それにより、１６×１６の量子化行列が再構築される（ステップＳ２２４）。なお、１６×１６の差分フラグが「０」であれば、差分行列はゼロ行列であり、１６×１６の予測行列がそのまま量子化行列として設定され得る。一方、１６×１６の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の１６×１６の量子化行列を設定する（ステップＳ２２６）。

次に、行列生成部２１０は、３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２３２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、１６×１６の量子化行列から３２×３２の予測行列を算出し、算出した予測行列と３２×３２の差分行列とを加算する。それにより、３２×３２の量子化行列が再構築される（ステップＳ２３４）。なお、３２×３２の差分フラグが「０」であれば、差分行列はゼロ行列であり、３２×３２の予測行列がそのまま量子化行列として設定され得る。一方、３２×３２の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の３２×３２の量子化行列を設定する（ステップＳ２３６）。

図１２Ａ及び図１２Ｂは、本実施形態に係る復号時の処理の流れの第２の例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのピクチャごとに行列生成部２１０により実行され得る。

図１２Ａを参照すると、まず、行列生成部２１０は、ピクチャパラメータセットに含まれる更新フラグに基づいて、４×４の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ２５０）。ここで、４×４の量子化行列が更新されない場合には、ステップＳ２５２〜Ｓ２５６の処理はスキップされる。４×４の量子化行列が更新される場合には、行列生成部２１０は、行列種別フラグに基づいて、新たな４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２５２）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、基礎行列情報を用いて４×４の量子化行列を設定する（ステップＳ２５４）。一方、４×４の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の４×４の量子化行列を設定する（ステップＳ２５６）。

次に、行列生成部２１０は、更新フラグに基づいて、８×８の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ２６０）。ここで、８×８の量子化行列が更新されない場合には、ステップＳ２６２〜Ｓ２６６の処理はスキップされる。８×８の量子化行列が更新される場合には、行列生成部２１０は、行列種別フラグに基づいて、新たな８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２６２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、４×４の量子化行列が更新されたか否かによらず、新たなピクチャの４×４の量子化行列から８×８の予測行列を算出し、算出した予測行列と８×８の差分行列とを加算する。それにより、８×８の量子化行列が再構築される（ステップＳ２６４）。なお、８×８の差分フラグが「０」であれば、差分行列はゼロ行列であり、８×８の予測行列がそのまま量子化行列として設定され得る。一方、８×８の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の８×８の量子化行列を設定する（ステップＳ２６６）。

次に、図１２Ｂを参照すると、行列生成部２１０は、更新フラグに基づいて、１６×１６の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ２７０）。ここで、１６×１６の量子化行列が更新されない場合には、ステップＳ２７２〜Ｓ２７６の処理はスキップされる。１６×１６の量子化行列が更新される場合には、行列生成部２１０は、行列種別フラグに基づいて、新たな１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２７２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、８×８の量子化行列が更新されたか否かによらず、新たなピクチャの８×８の量子化行列から１６×１６の予測行列を算出し、算出した予測行列と１６×１６の差分行列とを加算する。それにより、１６×１６の量子化行列が再構築される（ステップＳ２７４）。なお、１６×１６の差分フラグが「０」であれば、差分行列はゼロ行列であり、１６×１６の予測行列がそのまま量子化行列として設定され得る。一方、１６×１６の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の１６×１６の量子化行列を設定する（ステップＳ２７６）。

次に、行列生成部２１０は、更新フラグに基づいて、３２×３２の量子化行列が当該ピクチャにおいて更新されるか否かを判定する（ステップＳ２８０）。ここで、３２×３２の量子化行列が更新されない場合には、ステップＳ２８２〜Ｓ２８６の処理はスキップされる。３２×３２の量子化行列が更新される場合には、行列生成部２１０は、行列種別フラグに基づいて、新たな３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ２８２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、１６×１６の量子化行列が更新されたか否かによらず、新たなピクチャの１６×１６の量子化行列から３２×３２の予測行列を算出し、算出した予測行列と３２×３２の差分行列とを加算する。それにより、３２×３２の量子化行列が再構築される（ステップＳ２８４）。なお、３２×３２の差分フラグが「０」であれば、差分行列はゼロ行列であり、３２×３２の予測行列がそのまま量子化行列として設定され得る。一方、３２×３２の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の３２×３２の量子化行列を設定する（ステップＳ２８６）。

このように、いずれか１つの量子化行列に基づいて他の量子化行列を予測する手法を用いることで、予測対象の量子化行列について差分の情報のみが符号化側から復号側へ伝送される場合にも、復号側で適切に量子化行列を再構築することができる。従って、量子化行列の数が多くなる場合にも、符号量の増加が効果的に抑制される。

なお、本明細書では、主に１つの変換単位のサイズについて１種類の量子化行列のみが設定される例を説明した。しかしながら、かかる例に限定されず、１つの変換単位のサイズについて複数種類の量子化行列が設定されてもよい。その場合、シーケンスパラメータセット及びピクチャパラメータセットには、複数種類の量子化行列のうちいずれの量子化行列をより大きいサイズの量子化行列の予測の基礎とすべきかを示す追加的なフラグが含まれ得る。また、１つの変換単位のサイズについて複数種類の量子化行列が設定され、１ピクチャ内でスライスごと又はブロックごとに量子化行列が選択的に切り替えられてもよい。

＜５．変形例＞
なお、上述したように、本明細書で開示した技術は、より大きいサイズの量子化行列からより小さいサイズの量子化行列を予測するやり方で実現されてもよい。例えば、８×８の量子化行列ＳＬ２を次のように定義する：

画像符号化装置１０の直交変換・量子化部１４の予測部１５２は、このような量子化行列ＳＬ２から、例えば、次の予測式（１２）に従って４×４の予測行列ＰＳＬ１を算出し得る：

予測式（１２）を参照すると、予測行列ＰＳＬ１は、量子化行列ＳＬ２の要素を１行おきかつ１列おきに間引くことにより生成された行列である。間引かれる要素の位置は、予測式（１２）の例に限定されず、他の位置であってもよい。また、間引かれる要素の数を増やすことで、一辺のサイズが４分の１以下の予測行列を量子化行列から生成することもできる。

その代わりに、予測行列ＰＳＬ１は、次の予測式（１３）に従って量子化行列ＳＬ２から算出されてもよい：

予測式（１３）を参照すると、予測行列ＰＳＬ１は、量子化行列ＳＬ２において上下左右に互いに隣接する４つの要素の平均を予測行列ＰＳＬ１の１つの要素として計算することにより生成された行列である。また、上下左右に互いに隣接するより多く（例えば１６個）の要素の平均を計算することで、一辺のサイズが４分の１以下の予測行列を量子化行列から生成することもできる。なお、予測式（１３）のような平均値の代わりに、中央値、最小値又は最大値などといった他の種類の代表値が複数の要素から計算されてもよい。

より大きいサイズの量子化行列からより小さいサイズの予測行列が算出される場合にも、差分演算部１５４は、予測部１５２から入力される予測行列と対応する量子化行列との差分を表す差分行列を算出し、算出した差分行列を表す差分行列情報を可逆符号化部１６へ出力する。そして、画像復号装置６０の逆量子化・逆直交変換部６３の行列生成部２１０は、基礎行列情報により特定される量子化行列から、より小さいサイズの量子化行列を、上述したいずれかの予測式及び差分行列情報を用いて生成する。

図１３Ａ及び図１３Ｂは、本変形例に係る符号化時の処理の流れの一例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのシーケンスごとに行列処理部１５０及び可逆符号化部１６により実行され得る。

図１３Ａを参照すると、まず、行列処理部１５０は、当該シーケンスにおいて量子化部１３０により使用される量子化行列のセットを、量子化行列バッファ１４０から取得する（ステップＳ３００）。ここでは、一例として、４×４、８×８、１６×１６及び３２×３２の各サイズに対応する量子化行列が量子化行列のセットに含まれるものとする。

次に、行列処理部１５０は、３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ３０２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、可逆符号化部１６は、行列種別フラグ（＝１）及び３２×３２の量子化行列を表す基礎行列情報を符号化する（ステップＳ３０６）。一方、３２×３２の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ３０８）。

次に、行列処理部１５０は、１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ３１２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、例えば上述した予測式（１２）又は（１３）に従って、３２×３２の量子化行列から１６×１６の予測行列を算出する（ステップＳ３１４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び１６×１６の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ３１６）。一方、１６×１６の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ３１８）。

次に、図１３Ｂを参照すると、行列処理部１５０は、８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ３２２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、１６×１６の量子化行列から８×８の予測行列を算出する（ステップＳ３２４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び８×８の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ３２６）。一方、８×８の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ３２８）。

次に、行列処理部１５０は、４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ３３２）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、行列処理部１５０は、８×８の量子化行列から４×４の予測行列を算出する（ステップＳ３３４）。そして、可逆符号化部１６は、行列種別フラグ（＝１）、差分フラグ、及び４×４の量子化行列と算出された予測行列との差分を表す差分行列情報（差分がある場合のみ）を符号化する（ステップＳ３３６）。一方、４×４の量子化行列が既定の行列である場合には、可逆符号化部１６は、行列種別フラグ（＝０）のみを符号化する（ステップＳ３３８）。

このように、本変形例では、量子化行列をＳＰＳにて定義する際、サイズの大きい量子化行列から順に予測行列の算出及び符号化が行われ得る。量子化行列をＰＰＳにて更新する場合にも、同様に、サイズの大きい量子化行列から順に予測行列の算出及び符号化が行われてよい。

図１４Ａ及び図１４Ｂは、本実施形態に係る復号時の処理の流れの一例を示すフローチャートである。当該フローチャートに示された処理は、主に符号化ストリームのシーケンスごとに行列生成部２１０により実行され得る。

図１４Ａを参照すると、まず、行列生成部２１０は、当該シーケンスのシーケンスパラメータセットに含まれる行列種別フラグに基づいて、３２×３２の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ４０２）。ここで３２×３２の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、基礎行列情報を用いて３２×３２の量子化行列を設定する（即ち、量子化行列バッファ２２０に記憶させる）（ステップＳ４０４）。一方、３２×３２の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の３２×３２の量子化行列を設定する（ステップＳ４０６）。

次に、行列生成部２１０は、１６×１６の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ４１２）。ここで１６×１６の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、例えば上述した予測式（１２）又は（１３）に従って３２×３２の量子化行列から１６×１６の予測行列を算出し、算出した予測行列と１６×１６の差分行列とを加算する。それにより、１６×１６の量子化行列が再構築される（ステップＳ４１４）。なお、１６×１６の差分フラグが「０」であれば、差分行列はゼロ行列であり、１６×１６の予測行列がそのまま量子化行列として設定され得る。一方、１６×１６の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の１６×１６の量子化行列を設定する（ステップＳ４１６）。

次に、図１４Ｂを参照すると、行列生成部２１０は、８×８の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ４２２）。ここで８×８の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、１６×１６の量子化行列から８×８の予測行列を算出し、算出した予測行列と８×８の差分行列とを加算する。それにより、８×８の量子化行列が再構築される（ステップＳ４２４）。なお、８×８の差分フラグが「０」であれば、差分行列はゼロ行列であり、８×８の予測行列がそのまま量子化行列として設定され得る。一方、８×８の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の８×８の量子化行列を設定する（ステップＳ４２６）。

次に、行列生成部２１０は、４×４の量子化行列がユーザにより定義される行列であるか否かを判定する（ステップＳ４３２）。ここで４×４の量子化行列がユーザにより定義される行列である場合には、行列生成部２１０は、８×８の量子化行列から４×４の予測行列を算出し、算出した予測行列と４×４の差分行列とを加算する。それにより、４×４の量子化行列が再構築される（ステップＳ４３４）。なお、４×４の差分フラグが「０」であれば、差分行列はゼロ行列であり、４×４の予測行列がそのまま量子化行列として設定され得る。一方、４×４の量子化行列が既定の行列である場合には、行列生成部２１０は、既定の４×４の量子化行列を設定する（ステップＳ４３６）。

このように、本変形例では、量子化行列をＳＰＳから復号する際、サイズの大きい量子化行列から順に行列が再構築され得る。量子化行列をＰＰＳにて更新する場合にも、同様に、サイズの大きい量子化行列から順に行列が再構築されてよい。

＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［６−１．第１の応用例］
図１５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、量子化行列の数が多くなる場合の符号量の増加を抑制することができる。

［６−２．第２の応用例］
図１６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、量子化行列の数が多くなる場合の符号量の増加を抑制することができる。

［６−３．第３の応用例］
図１７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、量子化行列の数が多くなる場合の符号量の増加を抑制することができる。

［６−４．第４の応用例］
図１８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、量子化行列の数が多くなる場合の符号量の増加を抑制することができる。

＜７．まとめ＞
ここまで、図１〜図１８を用いて、本発明の一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、サイズの異なる複数の変換単位に対応する複数の量子化行列が使用される場合に、第１のサイズの変換単位に対応する第１の量子化行列から第２のサイズの変換単位に対応する第２の量子化行列が予測の手法を用いて生成される。従って、第２の量子化行列の全体を符号化する必要性が解消され、量子化行列の数が多くなる場合にも、符号量の増加を抑制することができる。

また、本実施形態によれば、第２の量子化行列は、第１の量子化行列を特定する行列情報、及び予測行列と第２の量子化行列との差分を表す差分情報（差分行列情報）を用いて生成される。従って、第２の量子化行列について、当該行列と予測行列との差分のみを符号化するだけで、画像の復号側において適切な第２の量子化行列を得ることができる。

また、本実施形態によれば、予測行列と第２の量子化行列との差分が存在しないことを示す第１のフラグがシーケンスパラメータセット又はピクチャパラメータセットから取得された場合には、第２の量子化行列から予測される予測行列が第２の量子化行列とされる。この場合には、第２の量子化行列について差分情報すら符号化されないため、符号量のさらなる削減が可能である。

また、第１の量子化行列のサイズは、複数の変換単位のサイズのうち最小のサイズであってよい。かかる構成によれば、最小のサイズの量子化行列以外の他の量子化行列について行列の全体を符号化しなくてよいため、量子化行列の数が多くなる場合にも、符号量の増加を一層効果的に抑制することができる。

なお、本明細書では、量子化行列を生成するための情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 画像処理装置（画像符号化装置）
１６ 符号化部
１１０ 選択部
１２０ 直交変換部
１３０ 量子化部
６０ 画像処理装置（画像復号装置）
２１０ 行列生成部
２３０ 選択部
２４０ 逆量子化部
２５０ 逆直交変換部

Claims (8)

1. サイズの異なる複数の変換単位から、画像データを直交変換する際に使用される変換単位を選択する選択部と、
   前記選択部により１６×１６の変換単位が選択された場合に、８×８の量子化行列において互いに隣接する第１の要素と第２の要素との間の要素として前記第１の要素又は前記第２の要素を複製することにより、１６×１６の量子化行列を設定する設定部と、
   前記選択部により選択された１６×１６の前記変換単位で前記画像データを直交変換することにより生成された変換係数データを、前記設定部により設定された１６×１６の前記量子化行列を用いて量子化する量子化部と、
   を備える画像処理装置。
2. 
3. 前記選択部により選択された１６×１６の前記変換単位で前記画像データを直交変換して、前記変換係数データを生成する直交変換部、をさらに備える、請求項１又は請求項２に記載の画像処理装置。
4. サイズの異なる複数の変換単位から、画像データを直交変換する際に使用される変換単位を選択するステップと、
   １６×１６の変換単位が選択された場合に、８×８の量子化行列において互いに隣接する第１の要素と第２の要素との間の要素として前記第１の要素又は前記第２の要素を複製することにより、１６×１６の量子化行列を設定するステップと、
   選択された１６×１６の前記変換単位で前記画像データを直交変換することにより生成された変換係数データを、設定された１６×１６の前記量子化行列を用いて量子化するステップと、
   を含む画像処理方法。
5. 
6. 選択された１６×１６の前記変換単位で前記画像データを直交変換して、前記変換係数データを生成するステップ、をさらに含む、請求項４又は請求項５に記載の画像処理方法。
7. 画像処理装置を制御するプロセッサを、
   サイズの異なる複数の変換単位から、画像データを直交変換する際に使用される変換単位を選択する選択部と、
   前記選択部により１６×１６の変換単位が選択された場合に、８×８の量子化行列において互いに隣接する第１の要素と第２の要素との間の要素として前記第１の要素又は前記第２の要素を複製することにより、１６×１６の量子化行列を設定する設定部と、
   前記選択部により選択された１６×１６の前記変換単位で前記画像データを直交変換することにより生成された変換係数データを、前記設定部により設定された１６×１６の前記量子化行列を用いて量子化する量子化部と、
   として機能させるためのプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
   

Images