JP2010035137A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】圧縮効率を向上させる。
【解決手段】４×４画素の輝度ブロックＡ_Ｙに対して、符号化済みの画素からなり、輝度ブロックＡ_Ｙに隣接するテンプレート領域Ｂ_Ｙが利用されて輝度信号に対する動き予測、補償処理が行われ、これにより動きベクトル情報Ｖ_Ｙが得られる。色差イントラＴＰ動き予測・補償部は、動きベクトル情報Ｖ_Ｙをスケーリングした動きベクトル情報Ｖ_Ｙ’を中心とした周辺の範囲Ｅを探索範囲として、色差信号CbおよびCrについて、２×２画素の色差ブロックＡ_ｃに対して、符号化済みの画素からなり、輝度ブロックＡ_ｃに隣接するテンプレート領域Ｂ_ｃを利用して動き予測を行う。本発明は、例えば、Ｈ．２６４／ＡＶＣ方式で符号化する画像符号化装置に適用することができる。
【選択図】図２３

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、圧縮効率の低下を抑制するようにした画像処理装置および方法、並びにプログラムに関する。

近年、ＭＰＥＧ（Moving Picture Experts Group）２やＨ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding）（以下Ｈ．２６４／ＡＶＣと記す）などの方式で画像を圧縮符号化し、パケット化して伝送し、受信側で復号する技術が普及してきた。これによりユーザは高品質の動画像を視聴することができる。

ところで、ＭＰＥＧ２方式においては、線形内挿処理により１／２画素精度の動き予測・補償処理が行われているが、Ｈ．２６４／ＡＶＣ方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。

また、ＭＰＥＧ２方式においては、フレーム動き補償モードの場合には、１６×１６画素を単位として動き予測・補償処理が行われ、フィールド動き補償モードの場合には、第１フィールドと第２フィールドのそれぞれに対し、１６×８画素を単位として動き予測・補償処理が行われている。

これに対して、Ｈ．２６４／ＡＶＣ方式においては、ブロックサイズを可変にして、動き予測・補償を行うことができる。すなわち、Ｈ．２６４／ＡＶＣ方式においては、１６×１６画素で構成される１つのマクロブロックを、１６×１６、１６×８、８×１６、あるいは８×８のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８パーティションに関しては、８×８、８×４、４×８、あるいは４×４のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。

しかしながら、Ｈ．２６４／ＡＶＣ方式においては、上述した１／４画素精度、およびブロック可変の動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成されてしまい、これをこのまま符号化してしまうと、符号化効率の低下を招いていた。

そこで、符号化対象の画像の領域に対して所定の位置関係で隣接すると共に復号画像の一部であるテンプレート領域の復号画像と相関が高い画像の領域を、復号画像から探索して、探索された領域と所定の位置関係とに基づいて予測を行う方法が提案されている（特許文献１参照）。

この方法は、マッチングに復号画像を用いているため、探索範囲を予め定めておくことで、符号化装置と復号装置において同一の処理を行うことが可能である。すなわち、復号装置においても上述したような予測・補償処理を行うことにより、符号化装置からの画像圧縮情報の中に動きベクトル情報を持つ必要がないため、符号化効率の低下を抑えることが可能である。

特開２００７−４３６５１号公報

しかしながら、特許文献１の技術において、輝度成分について求められた動きベクトル情報を、色差成分に対して用いると、色差成分に対する予測性能（残差）が低下してしまい、その結果、動きベクトルを持つ必要がないにも関わらず、符号化効率の低下を招いてしまう恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、圧縮効率の低下を抑制するものである。

本発明の第１の側面の画像処理装置は、フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索する輝度動き予測補償手段と、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する色差動き予測補償手段と、前記輝度ブロックおよび前記色差ブロックの画像を符号化する符号化手段とを備える。

前記色差動き予測補償手段は、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を、入力の画像信号のクロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求めることができる。

前記輝度ブロックと前記色差ブロックが１対１の対応関係にあり、前記輝度ブロックの動きベクトルの情報を（MVTM_h,MVTM_v）として、r_hおよびr_vを、

と定義するとき、前記色差動き予測補償手段は、（MVTM_h/r_h,MVTM_v/r_v）を中心として前記探索範囲を求めることができる。

複数の前記輝度ブロックに対して、単一の前記色差ブロックが対応しているとき、前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報を合成して、前記クロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求めることができる。

前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報の平均値を用いて合成することができる。

前記色差動き予測補償手段は、前記輝度ブロックの参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索することができる。

前記色差動き予測補償手段は、前記輝度ブロックの参照フレームのうち、最小のインデックスを有する参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索することができる。

前記輝度ブロックのサイズと前記色差ブロックのサイズは異なり、前記第１のテンプレートのサイズと前記第２のテンプレートのサイズは異なる。

前記フレームにおいて、動き予測を行う動き予測ブロックが、前記色差ブロックであって、かつマクロブロックではない場合、前記動き予測ブロックの直流成分に対して直交変換を禁止するように制御する直交変換制御手段をさらに備えることができる。

本発明の第１の側面の画像処理方法は、画像処理装置が、フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索し、前記輝度ブロックおよび前記色差ブロックの画像を符号化するステップを含む。

本発明の第１の側面のプログラムは、フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索し、前記輝度ブロックおよび前記色差ブロックの画像を符号化するステップを含む処理をコンピュータに実行させる。

本発明の第２の側面の画像処理装置は、符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号する復号手段と、前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索する輝度動き予測補償手段と、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する色差動き予測補償手段とを備える。

前記色差動き予測補償手段は、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を、入力の画像信号のクロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求めることができる。

前記輝度ブロックと前記色差ブロックが１対１の対応関係にあり、前記輝度ブロックの動きベクトルの情報を（MVTM_h,MVTM_v）として、r_hおよびr_vを、

と定義するとき、前記色差動き予測補償手段は、（MVTM_h/r_h,MVTM_v/r_v）を中心として前記探索範囲を求めることができる。

複数の前記輝度ブロックに対して、単一の前記色差ブロックが対応しているとき、前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報を合成して、前記クロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求めることができる。

前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報の平均値を用いて合成することができる。

前記色差動き予測補償手段は、前記輝度ブロックの参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索することができる。

前記色差動き予測補償手段は、前記輝度ブロックの参照フレームのうち、最小のインデックスを有する参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索することができる。

前記輝度ブロックのサイズと前記色差ブロックのサイズは異なり、前記第１のテンプレートのサイズと前記第２のテンプレートのサイズは異なる。

前記フレームにおいて、動き予測を行う動き予測ブロックが、前記色差ブロックであって、かつマクロブロックではない場合、前記動き予測ブロックの直流成分に対して直交変換を禁止するように制御する直交変換制御手段をさらに備えることができる。

本発明の第２の側面の画像処理方法は、画像処理装置が、符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号し、前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索するステップを含む。

本発明の第２の側面のプログラムは、符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号し、前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索するステップを含む処理をコンピュータに実行させる。

本発明の第１の側面においては、フレームの輝度信号のブロックである輝度ブロックの動きベクトルが、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索され、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲が求められ、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルが、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索される。そして、前記輝度ブロックおよび前記色差ブロックの画像が符号化される。

本発明の第２の側面においては、符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像が復号され、前記輝度ブロックの動きベクトルが、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索される。そして、探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲が求められ、求められた前記探索範囲において、前記色差ブロックの動きベクトルが、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索される。

以上のように、本発明の第１の側面によれば、画像を符号化することができる。また、本発明の一側面によれば、圧縮効率の低下を抑制することができる。

本発明の第２の側面によれば、画像を復号することができる。また、本発明の第２の側面によれば、圧縮効率の低下を抑制することができる。

本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 １／４画素精度の動き予測・補償処理を説明する図である。 図１の画像符号が装置の符号化処理を説明するフローチャートである。 図４のステップＳ２１の予測処理を説明するフローチャートである。 １６×１６画素のイントラ予測モードの場合の処理順序を説明する図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 輝度信号の４×４画素のイントラ予測モードの種類を示す図である。 ４×４画素のイントラ予測の方向を説明する図である。 ４×４画素のイントラ予測を説明する図である。 輝度信号の４×４画素のイントラ予測モードの符号化を説明する図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の８×８画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 輝度信号の１６×１６画素のイントラ予測モードの種類を示す図である。 １６×１６画素のイントラ予測を説明する図である。 色差信号のイントラ予測モードの種類を示す図である。 図５のステップＳ３１のイントラ予測処理を説明するフローチャートである。 図５のステップＳ３２のインター動き予測処理を説明するフローチャートである。 動きベクトル情報の生成方法の例を説明する図である。 図５のステップＳ３３のイントラテンプレート動き予測処理を説明するフローチャートである。 イントラテンプレートマッチング方式について説明する図である。 イントラテンプレート予測モードの色差信号の動き予測・補償処理の例を説明する図である。 イントラテンプレート予測モードの色差信号の動き予測・補償処理の他の例を説明する図である。 図５のステップＳ３５のインターテンプレート動き予測処理を説明するフローチャートである。 インターテンプレートマッチング方式について説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図２８の画像復号装置の復号処理を説明するフローチャートである。 図２９のステップＳ１３８の予測処理を説明するフローチャートである。 本発明を適用した画像符号化装置の他の実施の形態の構成を示すブロック図である。 直交変換制御部の構成例を示すブロック図である。 図３１の画像符号化装置の直交変換制御処理を説明するフローチャートである。 本発明を適用した画像復号装置の他の実施の形態の構成を示すブロック図である。 図３４の画像復号装置の直交変換制御処理を説明するフローチャートである。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、輝度イントラテンプレート動き予測・補償部７５、色差イントラテンプレート動き予測・補償部７６、動き予測・補償部７７、輝度インターテンプレート動き予測・補償部７８、色差インターテンプレート動き予測・補償部７９、予測画像選択部８０、およびレート制御部８１により構成されている。

なお、以下、輝度イントラテンプレート動き予測・補償部７５および色差イントラテンプレート動き予測・補償部７６を、それぞれ、輝度イントラＴＰ動き予測・補償部７５および色差イントラＴＰ動き予測・補償部７６と称する。また、輝度インターテンプレート動き予測・補償部７８および色差インターテンプレート動き予測・補償部７９を、それぞれ、輝度インターＴＰ動き予測・補償部７８および色差インターＴＰ動き予測・補償部７９と称する。

この画像符号化装置５１は、例えば、Ｈ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０ （Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（以下Ｈ．２６４／ＡＶＣと記す）方式で画像を圧縮符号化する。

Ｈ．２６４／ＡＶＣ方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。すなわち、Ｈ．２６４／ＡＶＣ方式においては、１６×１６画素で構成される１つのマクロブロックを、図２に示されるように、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８パーティションに関しては、図２に示されるように、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。

また、Ｈ．２６４／ＡＶＣ方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の動き予測・補償処理が行われている。図３を参照して、Ｈ．２６４／ＡＶＣ方式における小数画素精度の動き予測・補償処理について説明する。

図３の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ１，ｅ２，ｅ３は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（１）のように定義する。

なお、入力画像が８ビット精度である場合、max_pixの値は255となる。

位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（２）のように生成される。

位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（３）のように生成される。

なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。

位置ｅ１乃至ｅ３は、次の式（４）のように線形内挿により生成される。

図１に戻って、Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。

演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部８０により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７７からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。

量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。なお、圧縮画像は、蓄積バッファ６７に蓄積された後、出力される。レート制御部８１は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、量子化部６５の量子化動作を制御する。

また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部８０から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。

スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７７またはイントラ予測部７４に出力する。

この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャ、およびＰピクチャが、インター予測する画像として、動き予測・補償部７７に供給される。

イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

また、イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像を、輝度イントラＴＰ動き予測・補償部７５に供給する。

イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。イントラ予測部７４は、算出したコスト関数値と、輝度イントラＴＰ動き予測・補償部７５により算出されたイントラテンプレート予測モードに対してのコスト関数のうち、最小値を与える予測モードを、最適イントラ予測モードとして決定する。

イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数を、予測画像選択部８０に供給する。イントラ予測部７４は、予測画像選択部８０により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードに関する情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。

輝度イントラＴＰ動き予測・補償部７５は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、フレームメモリ７２から供給される参照画像に基づき、イントラテンプレート予測モードの輝度信号の動き予測と補償処理を行い、輝度信号の予測画像を生成する。輝度イントラＴＰ動き予測・補償部７５は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像、フレームメモリ７２から供給される参照画像、輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差イントラＴＰ動き予測・補償部７６に供給する。

また、輝度イントラＴＰ動き予測・補償部７５は、イントラテンプレート予測モードに対してコスト関数値を算出し、算出したコスト関数値と予測画像（輝度信号および色差信号）を、イントラ予測部７４に供給する。

色差イントラＴＰ動き予測・補償部７６は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、フレームメモリ７２から供給される参照画像に基づき、イントラテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。

この際、色差イントラＴＰ動き予測・補償部７６は、輝度イントラＴＰ動き予測・補償部７５により探索された動きベクトル情報を用いて探索範囲を求め、求められた所定の探索範囲での動き予測を行う。すなわち、色差イントラＴＰ動き予測・補償部７６は、輝度イントラＴＰ動き予測・補償部７５により探索された動きベクトル情報の周辺画素のみを探索する。

色差イントラＴＰ動き予測・補償部７６は、生成した色差信号の予測画像を輝度イントラＴＰ動き予測・補償部７５に供給する。

動き予測・補償部７７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。すなわち、動き予測・補償部７７は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出し、動きベクトルに基づいて参照画像に動き予測と補償処理を施し、予測画像を生成する。

また、動き予測・補償部７７は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像を、輝度インターＴＰ動き予測・補償部７８に供給する。

動き予測・補償部７７は、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７７は、算出したインター予測モードに対してのコスト関数値と、輝度インターＴＰ動き予測・補償部７８により算出されたインターテンプレート予測モードに対してのコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定する。

動き予測・補償部７７は、最適インター予測モードで生成された予測画像とそのコスト関数を、予測画像選択部８０に供給する。動き予測・補償部７７は、予測画像選択部８０により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードに関する情報、およびその最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部６６に出力する。可逆符号化部６６は、動き予測・補償部７７からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。

輝度インターＴＰ動き予測・補償部７８は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、フレームメモリ７２から供給される参照画像に基づいて、インターテンプレート予測モードの輝度信号の動き予測と補償処理を行い、輝度信号の予測画像を生成する。輝度インターＴＰ動き予測・補償部７８は、画面並べ替えバッファ６２から読み出されたインター予測する画像、フレームメモリ７２から供給される参照画像、輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差インターＴＰ動き予測・補償部７９に供給する。

また、輝度インターＴＰ動き予測・補償部７８は、インターテンプレート予測モードに対してコスト関数値を算出し、算出したコスト関数値と予測画像（輝度信号および色差信号）を、動き予測・補償部７７に供給する。

色差インターＴＰ動き予測・補償部７９は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、フレームメモリ７２から供給される参照画像に基づき、インターテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。

この際、色差インターＴＰ動き予測・補償部７９は、輝度インターＴＰ動き予測・補償部７８により探索された動きベクトル情報を用いて探索範囲を求め、求められた所定の探索範囲での動き予測を行う。すなわち、色差インターＴＰ動き予測・補償部７９は、輝度インターＴＰ動き予測・補償部７８により探索された動きベクトル情報の周辺画素のみを探索する。

色差インターＴＰ動き予測・補償部７９は、生成した色差信号の予測画像を輝度インターＴＰ動き予測・補償部７８に供給する。

予測画像選択部８０は、イントラ予測部７４または動き予測・補償部７７より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定し、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部８０は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７７に供給する。

レート制御部８１は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

次に、図４のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。

ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７７から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部８０を介して演算部６３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。

ステップＳ１８において、演算部７０は、予測画像選択部８０を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。

ステップＳ２１において、イントラ予測部７４、輝度イントラＴＰ動き予測・補償部７５、色差イントラＴＰ動き予測・補償部７６、動き予測・補償部７７、輝度インターＴＰ動き予測・補償部７８、および色差インターＴＰ動き予測・補償部７９は、それぞれ画像の予測処理を行う。すなわち、ステップＳ２１において、イントラ予測部７４は、イントラ予測モードのイントラ予測処理を行い、輝度イントラＴＰ動き予測・補償部７５および色差イントラＴＰ動き予測・補償部７６は、イントラテンプレート予測モードの動き予測・補償処理を行う。また、動き予測・補償部７７は、インター予測モードの動き予測・補償処理を行い、輝度インターＴＰ動き予測・補償部７８および色差インターＴＰ動き予測・補償部７９は、インターテンプレート予測モードの動き予測・補償処理を行う。

ステップＳ２１における予測処理の詳細は、図５を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数が予測画像選択部８０に供給される。また、算出されたコスト関数に基づいて、インター予測モードとインターテンプレート予測モードの中から、最適インター予測モードが決定され、最適インター予測モードで生成された予測画像とそのコスト関数が、予測画像選択部８０に供給される。

ステップＳ２２において、予測画像選択部８０は、イントラ予測部７４および動き予測・補償部７７より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定し、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７７に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードに関する情報（すなわち、イントラ予測モード情報またはイントラテンプレート予測モード情報）を、可逆符号化部６６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部７７は、最適インター予測モードに関する情報、およびその最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部６６に出力する。すなわち、最適インター予測モードとして、インター予測モードによる予測画像が選択されているときには、動き予測・補償部７７は、インター予測モード情報、動きベクトル情報、参照フレーム情報を可逆符号化部６６に出力する。一方、最適インター予測モードとして、インターテンプレート予測モードによる予測画像が選択されているときには、動き予測・補償部７７は、インターテンプレート予測モード情報を可逆符号化部６６に出力する。

ステップＳ２３において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２２において可逆符号化部６６に入力された、イントラ予測部７４からの最適イントラ予測モードに関する情報、または、動き予測・補償部７７からの最適インター予測モードに応じた情報（予測モード情報、動きベクトル情報、参照フレーム情報など）なども符号化され、ヘッダ情報に付加される。

ステップＳ２４において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２５においてレート制御部８１は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。

次に、図５のフローチャートを参照して、図４のステップＳ２１における予測処理を説明する。

画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。これらの画像に基づいて、ステップＳ３１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

ステップＳ３１におけるイントラ予測処理の詳細は、図１８を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、最適とされる、１つのイントラ予測モードが選択される。

画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７７に供給される。これらの画像に基づいて、ステップＳ３２において、動き予測・補償部７７はインター動き予測処理を行う。すなわち、動き予測・補償部７７は、フレームメモリ７２から供給される画像を参照して、候補となる全てのインター予測モードの動き予測処理を行う。

ステップＳ３２におけるインター動き予測処理の詳細は、図１９を参照して後述するが、この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。

また、画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、イントラ予測部７４を介して輝度イントラＴＰ動き予測・補償部７５にも供給される。これらの画像に基づいて、ステップＳ３３において、輝度イントラＴＰ動き予測・補償部７５および色差イントラＴＰ動き予測・補償部７６は、イントラテンプレート予測モードで、イントラテンプレート動き予測処理を行う。

ステップＳ３３におけるイントラテンプレート動き予測処理の詳細は、図２１を参照して後述するが、この処理により、イントラテンプレート予測モードで動き予測処理が行われ、イントラテンプレート予測モードに対してコスト関数値が算出される。そして、イントラテンプレート予測モードの動き予測処理により生成された予測画像とそのコスト関数がイントラ予測部７４に供給される。

ステップＳ３４において、イントラ予測部７４は、ステップＳ３１において選択されたイントラ予測モードに対してのコスト関数値と、ステップＳ３３において算出されたイントラテンプレート予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適イントラ予測モードとして決定する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数を、予測画像選択部８０に供給する。

さらに、画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３および動き予測・補償部７７を介して輝度インターＴＰ動き予測・補償部７８にも供給される。これらの画像に基づいて、輝度インターＴＰ動き予測・補償部７８および色差インターＴＰ動き予測・補償部７９は、ステップＳ３５において、インターテンプレート予測モードで、インターテンプレート動き予測処理を行う。

ステップＳ３５におけるインターテンプレート動き予測処理の詳細は、図２５を参照して後述するが、この処理により、インターテンプレート予測モードで動き予測処理が行われ、インターテンプレート予測モードに対してコスト関数値が算出される。そして、インターテンプレート予測モードの動き予測処理により生成された予測画像とそのコスト関数が動き予測・補償部７７に供給される。

ステップＳ３６において、動き予測・補償部７７は、ステップＳ３２において選択された最適なインター予測モードに対してコスト関数値と、ステップＳ３５において算出されたインターテンプレート予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部７７は、最適インター予測モードで生成された予測画像とそのコスト関数を、予測画像選択部８０に供給する。

次に、Ｈ．２６４／ＡＶＣ方式で定められているイントラ予測の各モードについて説明する。

まず、輝度信号に対するイントラ予測モードについて説明する。輝度信号のイントラ予測モードには、９種類の４×４画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがある。図６の例において、各ブロックに付されている数字−１乃至２５は、その各ブロックのビットストリーム順（復号側における処理順）を表している。輝度信号については、マクロブロックが４×４画素に分割されて、４×４画素のＤＣＴが行われる。それに加えて、１６×１６画素のイントラ予測モードの場合、−１のブロックに示されるように、各ブロックの直流成分を集めて、４×４行列が生成され、これに対して、さらに、直交変換が施される。

一方、色差信号については、マクロブロックが４×４画素に分割され、４×４画素のＤＣＴが行われた後に、１６および１７の各ブロックに示されるように、各ブロックの直流成分を集めて、２×２行列が生成され、これに対して、さらに、直交変換が施される。

なお、ハイプロファイルについては、８次のDCTブロックに対して、８×８画素のブロック単位の予測モードが定められているが、この方式については、次に説明する４×４画素のイントラ予測モードの方式に準じる。すなわち、８×８画素のブロック単位の予測モードに関しては、ハイプロファイルまたはそれ以上のプロファイルで、対象マクロブロックに、８×８直交変換が施される場合のみ適用可能である。

図７および図８は、９種類の輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（ＤＣ）予測を示すモード２以外の８種類の各モードは、それぞれ、図９の番号０，１，３乃至８で示される方向に対応している。

９種類のIntra_4x4_pred_modeについて、図１０を参照して説明する。図１０の例において、画素ａ乃至ｐは、イントラ処理される対象ブロックの画素を表し、画素値Ａ乃至Ｍは、隣接ブロックに属する画素の画素値を表している。すなわち、画素ａ乃至ｐは、画面並べ替えバッファ６２から読み出された処理対象の画像であり、画素値Ａ乃至Ｍは、フレームメモリ７２から読み出され、参照される復号済みの画像の画素値である。

図７および図８の各イントラ予測モードの場合、画素ａ乃至ｐの予測画素値は、隣接ブロックに属する画素の画素値Ａ乃至Ｍを用いて、以下のように生成される。なお、画素値が“available”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由がなく、利用可能であることを表し、画素値が“unavailable”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により利用可能ではないことを表す。

モード０はVertical Prediction modeであり、画素値Ａ乃至Ｄが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（５）のように生成される。

画素ａ, ｅ, ｉ, ｍの予測画素値 ＝ Ａ
画素ｂ, ｆ, ｊ, ｎの予測画素値 ＝ Ｂ
画素ｃ, ｇ, ｋ, ｏの予測画素値 ＝ Ｃ
画素ｄ, ｈ, ｌ, ｐの予測画素値 ＝ Ｄ ・・・（５）

モード１はHorizontal Prediction modeであり、画素値Ｉ乃至Ｌが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（６）のように生成される。

画素ａ, ｂ, ｃ, ｄの予測画素値 ＝ Ｉ
画素ｅ, ｆ, ｇ, ｈの予測画素値 ＝ Ｊ
画素ｉ, ｊ, ｋ, ｌの予測画素値 ＝ Ｋ
画素ｍ, ｎ, ｏ, ｐの予測画素値 ＝ Ｌ ・・・（６）

モード２はDC Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て “available” である時、予測画素値は式（７）のように生成される。

（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４） ＞＞ ３ ・・・（７）

また、画素値Ａ,Ｂ,Ｃ,Ｄが全て “unavailable” である時、予測画素値は式（８）のように生成される。

（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２） ＞＞ ２ ・・・（８）

また、画素値Ｉ,Ｊ,Ｋ,Ｌが全て “unavailable” である時、予測画素値は式（９）のように生成される。

（Ａ＋Ｂ＋Ｃ＋Ｄ＋２） ＞＞ ２ ・・・（９）

なお、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て“unavailable” である時、１２８を予測画素値として用いる。

モード３はDiagonal_Down_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１０）のように生成される。

画素ａの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｂ，ｅの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｃ，ｆ，ｉの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｄ，ｇ，ｊ，ｍの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｈ，ｋ，ｎの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
画素ｌ，ｏの予測画素値 ＝ （Ｆ＋２Ｇ＋Ｈ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｇ＋３Ｈ＋２） ＞＞ ２
・・・（１０）

モード４はDiagonal_Down_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが “available” の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１１）のように生成される。

画素ｍの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｉ，ｎの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｅ，ｊ，ｏの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ａ，ｆ，ｋ，ｐの予測画素値 ＝ （Ａ＋２Ｍ＋Ｉ＋２） ＞＞ ２
画素ｂ，ｇ，ｌの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｃ，ｈの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
・・・（１１）

モード５はDiagonal_Vertical_Right Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１２）のように生成される。

画素ａ，ｊの予測画素値 ＝ （Ｍ＋Ａ＋１） ＞＞ １
画素ｂ，ｋの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｃ，ｌの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｄの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｅ，ｎの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｆ，ｏの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｇ，ｐの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｈの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｉの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
・・・（１２）

モード６はHorizontal_Down Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１３）のように生成される。

画素ａ，ｇの予測画素値 ＝ （Ｍ＋Ｉ＋１） ＞＞ １
画素ｂ，ｈの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｃの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｅ，ｋの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｆ，ｌの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｉ，ｏの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｊ，ｐの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｎの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
・・・（１３）

モード７は、Vertical_Left Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１４）のように生成される。

画素ａの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｂ，ｉの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｃ，ｊの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｄ，ｋの予測画素値 ＝ （Ｄ＋Ｅ＋１） ＞＞ １
画素ｌの予測画素値 ＝ （Ｅ＋Ｆ＋１） ＞＞ １
画素ｅの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｆ，ｍの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｇ，ｎの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｈ，ｏの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
・・・（１４）

モード８は、Horizontal_Up Prediction modeであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”の場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１５）のように生成される。

画素ａの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｂの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｃ，ｅの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｄ，ｆの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｇ，ｉの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｈ，ｊの予測画素値 ＝ （Ｋ＋３Ｌ＋２） ＞＞ ２
画素ｋ，ｌ，ｍ，ｎ，ｏ，ｐの予測画素値 ＝ Ｌ
・・・（１５）

次に、図１１を参照して、輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)の符号化方式について説明する。

図１１の例において、４×４画素からなり、符号化対象となる対象ブロックＣが示されており、対象ブロックＣに隣接する４×４画素からなるブロックＡおよびブロックＢが示されている。

この場合、対象ブロックＣにおけるIntra_4x4_pred_modeと、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeとは高い相関があると考えられる。この相関性を用いて、次のように符号化処理を行うことにより、より高い符号化効率を実現することができる。

すなわち、図１１の例において、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeを、それぞれ、Intra_4x4_pred_modeAおよびIntra_4x4_pred_modeBとして、MostProbableModeを次の式（１６）と定義する。

MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
・・・（１６）

すなわち、ブロックＡおよびブロックＢのうち、より小さなmode_numberを割り当てられている方をMostProbableModeとする。

ビットストリーム中には、対象ブロックＣに対するパラメータとして、prev_intra4x4_pred_mode_flag[luma4x4BlkIdx] および rem_intra4x4_pred_mode[luma4x4BlkIdx] という２つの値が定義されており、次の式（１７）に示される擬似コードに基づく処理により、復号処理が行われ、対象ブロックＣに対するIntra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることができる。

if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
else
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
・・・（１７）

次に、８×８画素のイントラ予測モードについて説明する。図１２および図１３は、９種類の輝度信号の８×８画素のイントラ予測モード(Intra_8x8_pred_mode)を示す図である。

対象の８×８ブロックにおける画素値を、p[x,y](0≦x≦7;0≦y≦7)とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…,[p-1,7]のように表すものとする。

８×８画素のイントラ予測モードについては、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理が施される。ここで、ローパスフィルタリング処理前の画素値を、p[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp'[-1,-1],…,p'[-1,15],p'[-1,0],…p'[-1,7]と表すとする。

まず、p'[0,-1]は、p[-1,-1] が “available” である場合には、次の式（１８）のように算出され、“not available” である場合には、次の式（１９）のように算出される。

p'[0,-1] = (p[-1,-1] + 2*p[0,-1] + p[1,-1] + 2) >> 2
・・・（１８）
p'[0,-1] = (3*p[0,-1] + p[1,-1] + 2) >> 2
・・・（１９）

p'[x,-1] (x=0,…,7)は、次の式（２０）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
・・・（２０）

p'[x,-1] (x=8,…,15)は、p[x,-1] (x=8,…,15) が “available” である場合には、次の式（２１）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2
p'[15,-1] = (p[14,-1] + 3*p[15,-1] + 2) >>2
・・・（２１）

p'[-1,-1]は、p[-1,-1]が “available” である場合には、以下のように算出される。すなわち、p'[-1,-1]は、p[0,-1]及びp[-1,0]の双方がavailableである場合には、式（２２）のように算出され、p[-1,0] が “unavailable” である場合には、式（２３）のように算出される。また、p'[-1,-1]は、p[0,-1] が “unavailable” である場合には、式（２４）のように算出される。

p'[-1,-1] = (p[0,-1] + 2*p[-1,-1] + p[-1,0] + 2) >>2
・・・（２２）

p'[-1,-1] = (3*p[-1,-1] + p[0,-1] + 2) >>2
・・・（２３）

p'[-1,-1] = (3*p[-1,-1] + p[-1,0] + 2) >>2
・・・（２４）

p'[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が “available” の時、以下のように算出される。すなわち、まず、p'[-1,0]は、p[-1,-1]が “available” である場合には、次の式（２５）のように算出され、“unavailable” である場合には、式（２６）のように算出される。

p'[-1,0] = (p[-1,-1] + 2*p[-1,0] + p[-1,1] + 2) >>2
・・・（２５）

p'[-1,0] = (3*p[-1,0] + p[-1,1] + 2) >>2
・・・（２６）

また、p'[-1,y] (y=1,…,6)は、次の式（２７）のように算出され、p'[-1,7]は、式（２８）のように算出される。

p[-1,y] = (p[-1,y-1] + 2*p[-1,y] + p[-1,y+1] + 2) >>2
・・・（２７）

p'[-1,7] = (p[-1,6] + 3*p[-1,7] + 2) >>2
・・・（２８）

このように算出されたp'を用いて、図１２および図１３に示される各イントラ予測モードにおける予測値は以下のように生成される。

モード０はVertical Prediction modeであり、p[x,-1] (x=0, … ,7) が “available” である時のみ適用される。予測値pred8x8_L[x,y]は、次の式（２９）のように生成される。

pred8x8_L[x,y] = p'[x,-1] x,y=0,...,7
・・・（２９）

モード１はHorizontal Prediction modeであり、p[-1,y] (y=0, … ,7) が “available” である時のみ適用される。予測値pred8x8_L[x,y]は、次の式（３０）のように生成される。

pred8x8_L[x,y] = p'[-1,y] x,y=0,...,7
・・・（３０）

モード２はDC Prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “available” である場合には、予測値pred8x8_L[x,y]は、次の式（３１）のように生成される。

p[x,-1] (x=0, … ,7) は “available” であるが、 p[-1,y] (y=0, … ,7) が “unavailable” である場合には、予測値pred8x8_L[x,y]は、次の式（３２）のように生成される。

p[x,-1] (x=0, … ,7) は “unavailable” であるが、 p[-1,y] (y=0, … ,7) が “available” である場合には、予測値pred8x8_L[x,y]は、次の式（３３）のように生成される。

p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が “unavailable” である場合には、予測値pred8x8_L[x,y]は、次の式（３４）のように生成される。

pred8x8_L[x,y] = 128
・・・（３４）

ただし、式（３４）は、8ビット入力の場合を表している。

モード３はDiagonal_Down_Left_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、x=7かつy=7である予測画素値は、次の式（３５）のように生成され、その他の予測画素値は、次の式（３６）のように生成される。

pred8x8_L[x,y] = (p'[14,-1] + 3*p[15,-1] + 2) >> 2
・・・（３５）

red8x8_L[x,y] = (p'[x+y,-1] + 2*p'[x+y+1,-1] + p'[x+y+2,-1] + 2) >> 2
・・・（３６）

モード４はDiagonal_Down_Right_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Diagonal_Down_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が “available”の時のみ適用され、x > y である予測画素値は、次の式（３７）のように生成され、x < y である予測画素値は、次の式（３８）のように生成される。また、x = y である予測画素値は、次の式（３９）のように生成される。

pred8x8_L[x,y] = (p'[x-y-2,-1] + 2*p'[x-y-1,-1] + p'[x-y,-1] + 2) >> 2
・・・（３７）

pred8x8_L[x,y] = (p'[-1,y-x-2] + 2*p'[-1,y-x-1] + p'[-1,y-x] + 2) >> 2
・・・（３８）

pred8x8_L[x,y] = (p'[0,-1] + 2*p'[-1,-1] + p'[-1,0] + 2) >> 2
・・・（３９）

モード５はVertical_Right_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Vertical_Right_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを、次の式（４０）のように定義する。

zVR = 2*x - y
・・・（４０）

この時、zVRが、0,2,4,6,8,10,12,14の場合には、画素予測値は、次の式（４１）のように生成され、zVRが1,3,5,7,9,11,13の場合には、画素予測値は、次の式（４２）のように生成される。

pred8x8_L[x,y] = (p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 1) >> 1
・・・（４１）
pred8x8_L[x,y]
= (p'[x-(y>>1)-2,-1] + 2*p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 2) >> 2
・・・（４２）

また、zVRが-1の場合には、画素予測値は、次の式（４３）のように生成され、これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合には、画素予測値は、次の式（４４）のように生成される。

pred8x8_L[x,y] = (p'[-1,0] + 2*p'[-1,-1] + p'[0,-1] + 2) >> 2
・・・（４３）

pred8x8_L[x,y] = (p'[-1,y-2*x-1] + 2*p'[-1,y-2*x-2] + p'[-1,y-2*x-3] + 2) >> 2
・・・（４４）

モード６はHorizontal_Down_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Horizontal_Down_prediction modeは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が “available”の時のみ適用される。今、zVRを次の式（４５）のように定義するものとする。

zHD = 2*y - x
・・・（４５）

この時、zHDが0,2,4,6,8,10,12,14の場合には、予測画素値は、次の式（４６）のように生成され、zHDが1,3,5,7,9,11,13の場合には、予測画素値は、次の式（４７）のように生成される。

pred8x8_L[x,y] = (p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1) + 1] >> 1
・・・（４６）

pred8x8_L[x,y]
= (p'[-1,y-(x>>1)-2] + 2*p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1)] + 2) >> 2
・・・（４７）

また、zHDが-1の場合には、予測画素値は、次の式（４８）のように生成され、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合には、予測画素値は、次の式（４９）のように生成される。

pred8x8_L[x,y] = (p'[-1,0] + 2*p[-1,-1] + p'[0,-1] + 2) >> 2
・・・（４８）

pred8x8_L[x,y] = (p'[x-2*y-1,-1] + 2*p'[x-2*y-2,-1] + p'[x-2*y-3,-1] + 2) >> 2
・・・（４９）

モード７はVertical_Left_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Vertical_Left_prediction modeは、p[x,-1], x=0,…,15が “available” の時のみ適用され、y=0,2,4,6の場合、予測画素値は、次の式（５０）のように生成され、それ以外の場合、すなわち、y=1,3,5,7の場合、予測画素値は、次の式（５１）のように生成される。

pred8x8_L[x,y] = (p'[x+(y>>1),-1] + p'[x+(y>>1)+1,-1] + 1) >> 1
・・・（５０）

pred8x8_L[x,y]
= (p'[x+(y>>1),-1] + 2*p'[x+(y>>1)+1,-1] + p'[x+(y>>1)+2,-1] + 2) >> 2
・・・（５１）

モード８はHorizontal_Up_prediction modeであり、予測値pred8x8_L[x,y]は以下の通り生成される。すなわち、Horizontal_Up_prediction modeは、p[-1,y], y=0,…,7 が “available” の時のみ適用される。以下では、zHUを次の式（５２）のように定義する。

zHU = x + 2*y
・・・（５２）

zHUの値が0,2,4,6,8,10,12の場合、予測画素値は、次の式（５３）のように生成され、zHUの値が1,3,5,7,9,11の場合、予測画素値は、次の式（５４）のように生成される。

pred8x8_L[x,y] = (p'[-1,y+(x>>1)] + p'[-1,y+(x>>1)+1] + 1) >> 1
・・・（５３）

pred8x8_L[x,y] = (p'[-1,y+(x>>1)]
・・・（５４）

また、zHUの値が13の場合、予測画素値は、次の式（５５）のように生成され、それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、次の式（５６）のように生成される。

pred8x8_L[x,y] = (p'[-1,6] + 3*p'[-1,7] + 2) >> 2
・・・（５５）

pred8x8_L[x,y] = p'[-1,7]
・・・（５６）

次に、１６×１６画素のイントラ予測モードについて説明する。図１４および図１５は、４種類の輝度信号の１６×１６画素のイントラ予測モード(Intra_16x16_pred_mode)を示す図である。

４種類のイントラ予測モードについて、図１６を参照して説明する。図１６の例において、イントラ処理される対象マクロブロックＡが示されており、P(x,y);x,y=-1,0,…,15は、対象マクロブロックＡに隣接する画素の画素値を表している。

モード０は、Vertical Prediction modeであり、P(x,-1); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５７）のように生成される。

Pred(x,y) = P(x,-1);x,y=0,…,15
・・・（５７）

モード１はHorizontal Prediction modeであり、P(-1,y); x,y=-1,0,…,15が “available” である時のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５８）のように生成される。

Pred(x,y) = P(-1,y);x,y=0,…,15
・・・（５８）

モード２はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５９）のように生成される。

また、P(x,-1); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６０）のように生成される。

P(-1,y); x,y=-1,0,…,15が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６１）のように生成される。

P(x,-1)およびP(-1,y); x,y=-1,0,…,15が全て “unavailable” である場合には、予測画素値として１２８を用いる。

モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y); x,y=-1,0,…,15が全て “available” の場合のみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６２）のように生成される。

次に、色差信号に対するイントラ予測モードについて説明する。図１７は、４種類の色差信号のイントラ予測モード(Intra_chroma_pred_mode)を示す図である。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。色差信号に対するイントラ予測モードは、上述した輝度信号の１６×１６画素のイントラ予測モードに順ずる。

ただし、輝度信号の１６×１６画素のイントラ予測モードが、１６×１６画素のブロックを対象としているのに対し、色差信号に対するイントラ予測モードは、８×８画素のブロックを対象としている。さらに、上述した図１４と図１７に示されるように、両者においてモード番号は対応していない。

図１６を参照して上述した輝度信号の１６×１６画素のイントラ予測モードの対象マクロブロックＡの画素値および隣接する画素値の定義に準じて、イントラ処理される対象マクロブロックＡ（色差信号の場合は、８×８画素）に隣接する画素の画素値をP(x,y);x,y=-1,0,…,7とする。

モード０はDC Prediction modeであり、P(x,-1)およびP(-1,y); x,y=-1,0,…,7が全て “available” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６３）のように生成される。

また、P(-1,y) ; x,y=-1,0,…,7が “unavailable” である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６４）のように生成される。

また、P(x,-1) ; x,y=-1,0,…,7が “unavailable”である場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６５）のように生成される。

モード１はHorizontal Prediction modeであり、P(-1,y) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６６）のように生成される。

Pred(x,y) = P(-1,y);x,y=0,…,7
・・・（６６）

モード２はVertical Prediction modeであり、P(x,-1) ; x,y=-1,0,…,7が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６７）のように生成される。

Pred(x,y) = P(x,-1);x,y=0,…,7
・・・（６７）

モード３はPlane Prediction modeであり、P(x,-1)及びP(-1,y) ; x,y=-1,0,…,7 が “available” の場合にのみ適用される。この場合、対象マクロブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６８）のように生成される。

以上のように、輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。

なお、予測モードの種類は、上述した図９の番号０，１，３乃至８で示される方向に対応している。予測モード２は平均値予測である。

次に、これらの予測モードに対して行われる処理である、図５のステップＳ３１におけるイントラ予測処理を図１８のフローチャートを参照して説明する。なお、図１８の例においては、輝度信号の場合を例として説明する。

イントラ予測部７４は、ステップＳ４１において、上述した輝度信号の４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。

例えば、４×４画素のイントラ予測モードの場合について、上述した図１０を参照して説明する。画面並べ替えバッファ６２から読み出された処理対象の画像（例えば、画素ａ乃至ｐ）がイントラ処理されるブロックの画像である場合、参照される復号済みの画像（画素値Ａ乃至Ｍが示される画素）がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。

これらの画像に基づいて、イントラ予測部７４は、処理対象のブロックの画素をイントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素（画素値Ａ乃至Ｍが示される画素）としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。

イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値としては、Ｈ．２６４／ＡＶＣ方式における参照ソフトウエアであるＪＭ(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。

すなわち、High Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、仮に符号化処理までを行い、次の式（６９）で表わされるコスト関数を各予測モードに対して算出し、その最小値を与える予測モードを最適予測モードであるとして選択する。

Cost(Mode) = D + λ・R ・・・（６９）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、Low Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（７０）で表わされるコスト関数を各予測モードに対して算出し、その最小値を与える予測モードを最適予測モードであるとして選択する。

Cost(Mode) = D + QPtoQuant(QP)・Header_Bit ・・・（７０）

Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するのみで、符号化処理および復号処理を行う必要がないため、演算量が少なくて済む。

イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、図９を参照して上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。

イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数に基づいて、１つのイントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数が最小値であるイントラ予測モードを選択する。

次に、図１９のフローチャートを参照して、図５のステップＳ３２のインター動き予測処理について説明する。

動き予測・補償部７７は、ステップＳ５１において、図２を参照して上述した１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定される。

動き予測・補償部７７は、ステップＳ５２において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ５１で決定された動きベクトルに基づいて、参照画像に動き予測と補償処理を行う。この動き予測と補償処理により、各インター予測モードでの予測画像が生成される。

動き予測・補償部７７は、ステップＳ５３において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、圧縮画像に付加するための動きベクトル情報を生成する。

ここで、図２０を参照して、Ｈ．２６４／ＡＶＣ方式による動きベクトル情報の生成方法について説明する。図２０の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。

すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図２で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。

例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mv_Xで表す。まず、対象ブロックＥに対する予測動きベクトル情報（動きベクトルの予測値）pmv_Eは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（７１）のように生成される。

pmv_E = med(mv_A,mv_B,mv_C) ・・・（７１）

ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。

対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvd_Eは、pmv_Eを用いて、次の式（７２）のように生成される。

mvd_E = mv_E - pmv_E ・・・（７２）

なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。

このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報を低減することができる。

以上のようにして生成された動きベクトル情報は、次のステップＳ５４におけるコスト関数算出の際にも用いられ、最終的に予測画像選択部８０により対応する予測画像が選択された場合には、モード情報および参照フレーム情報とともに、可逆符号化部６６へ出力される。

図１９に戻って、動き予測・補償部７７は、ステップＳ５４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（６９）または式（７０）で示されるコスト関数値を算出する。ここで算出されたコスト関数値は、上述した図５のステップＳ３６で最適インター予測モードを決定する際に用いられる。

なお、インター予測モードに対するコスト関数の算出には、Ｈ．２６４／ＡＶＣ方式において定められているSkip ModeおよびDirect Modeのコスト関数の評価も含まれる。

次に、図２１のフローチャートを参照して、図５のステップＳ３３のイントラテンプレート動き予測処理について説明する。

ステップＳ６１において、輝度イントラＴＰ動き予測・補償部７５は、イントラテンプレート予測モードの輝度信号の動き予測、補償処理を行う。すなわち、輝度イントラＴＰ動き予測・補償部７５は、イントラテンプレートマッチング方式に基づき、輝度信号に対して動きベクトルを探索し、その動きベクトルに基づいて予測画像を生成する。このとき、探索された輝度信号の動きベクトル情報は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像、フレームメモリ７２から供給される参照画像とともに色差イントラＴＰ動き予測・補償部７６に供給される。

ここで、イントラテンプレートマッチング方式について、図２２を参照して具体的に説明する。

図２２の例においては、図示せぬ符号化対象の対象フレーム上に、４×４画素のブロックＡと、Ｘ×Ｙ（＝縦×横）画素からなる領域のうち、すでに符号化済みの画素だけで構成される所定の探索範囲Ｅが示されている。

ブロックＡには、これから符号化されようとしている対象サブブロックａが示されている。この対象サブブロックａは、ブロックＡを構成する２×２画素のサブブロックのうち、左上に位置するサブブロックである。対象ブロックａには、すでに符号化済みの画素で構成されるテンプレート領域ｂが隣接している。すなわち、テンプレート領域ｂは、符号化処理をラスタスキャン順に行う場合には、図２２に示されるように、対象サブブロックａの左および上側に位置する領域であり、フレームメモリ７２に復号画像が蓄積されている領域である。

輝度イントラＴＰ動き予測・補償部７５は、対象フレーム上の所定の探索範囲Ｅ内において、例えば、SAD(Sum of Absolute Difference) 等をコスト関数としてテンプレートマッチング処理を行い、テンプレート領域ｂの画素値と相関が最も高くなる領域ｂ’を探索する。そして、輝度イントラＴＰ動き予測・補償部７５は、探索された領域ｂ’に対応するブロックａ’を、対象サブブロックａに対する予測画像として、対象ブロックａに対する動きベクトルを探索する。

このように、イントラテンプレートマッチング方式による動きベクトル探索処理は、テンプレートマッチング処理に復号画像を用いているので、所定の探索範囲Ｅを予め定めておくことにより、図１の画像符号化装置５１と後述する図２８の画像復号装置１０１において同一の処理を行うことが可能である。すなわち、画像復号装置１０１においても、輝度イントラＴＰ動き予測・補償部１２２を構成することにより、対象サブブロックに対する動きベクトルの情報を画像復号装置１０１に送る必要がなくなるので、圧縮画像中における動きベクトル情報を低減することができる。説明は省略するが、色差信号の場合も同様である。

なお、図２２において、対象サブブロックが２×２画素の場合を説明したが、これに限らず、任意の大きさのサブブロックに適用が可能であり、イントラテンプレート予測モードにおけるブロックおよびテンプレートのサイズは任意である。すなわち、イントラ予測部７４と同様に、各イントラ予測モードのブロックサイズを候補としてイントラテンプレート予測モードを行うこともできるし、１つの予測モードのブロックサイズに固定して行うこともできる。対象となるブロックサイズに応じて、テンプレートサイズは、可変としてもよいし、固定することもできる。

ステップＳ６２において、色差イントラＴＰ動き予測・補償部７６は、イントラテンプレート予測モードの色差信号の動き予測、補償処理を行う。すなわち、色差イントラＴＰ動き予測・補償部７６は、イントラテンプレートマッチング方式に基づき、色差信号に対して動きベクトルを探索し、その動きベクトルに基づいて予測画像を生成する。この際、色差イントラＴＰ動き予測・補償部７６は、輝度イントラＴＰ動き予測・補償部７５により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

なお、色差信号に対する処理のブロックサイズおよびテンプレートサイズは、輝度信号に対するブロックサイズおよびテンプレートサイズと同じであってもよいし、それぞれ異なっていてもよい。

また、イントラテンプレートマッチング方式においては、図３を参照して上述したように、輝度信号に関して、６タップのFIRを用いた１／４画素精度の動き予測・補償処理が行われるのに対し、色差信号に関しては、線形内挿により、１／８画素精度の動き予測・補償処理が行われる。

しかしながら、１／８画素精度の動き予測処理を、候補となる全ての画素値に対して行うことは、膨大な演算量を要する。そこで、色差イントラＴＰ動き予測・補償部７６においては、まず、整数画素精度の動き予測処理が行われ、これにより求められた最適な動きベクトル情報の周辺について、１／２画素精度の動き予測処理が行われる。また、１／２画素精度の動き予測処理により求められた最適な動きベクトル情報の周辺について、１／４画素精度の動き予測処理が行われ、さらに、これにより求められた最適な動きベクトル情報の周辺について、１／８画素精度の動き予測処理が行われる。

ただし、色差信号に対して独立のイントラテンプレートマッチング方式の動き予測・補償処理を行うことは、図１の画像符号化装置５１および図２８の画像復号装置１０１における演算量の増大を招いてしまう。

そこで、色差イントラＴＰ動き予測・補償部７６は、色差信号に対してイントラテンプレートマッチング方式の動き予測・補償処理を行う際に、輝度イントラＴＰ動き予測・補償部７５により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

具体的に説明すると、まず、輝度イントラＴＰ動き予測・補償部７５において、(2n,2m)画素サイズのブロックに対して、輝度信号に対するイントラテンプレート予測モードの動き予測、補償処理が行われ、これにより動きベクトル情報(MVTM_h,MVTM_v)が得られるとする。

ここで、画像信号のクロマフォーマットに応じて、r_hとr_vを、次の式（７３）のように定義する。

このとき、色差イントラＴＰ動き予測・補償部７６は、(2n/r_h,2m/r_v)画素サイズのブロックを単位として、探索の中心を、(MVTM_h/r_h,MVTM_v/r_v)とし、その周辺数画素を探索して、動き予測を行う。これにより、符号化効率の劣化を最小限に抑えながら、演算量の削減を実現することができる。

なお、除算の端数処理は、丸めにより、探索の中心が、色差信号における整数画素精度になるものとする。また、その際、テンプレートサイズは、輝度信号と色差信号で同じであってもよく、(r_h,r_v)により換算された値であってもよい、さらに、輝度信号と色差信号で、別個に定められたテンプレートサイズを用いたテンプレートマッチング処理を行うこともできる。

また、このイントラテンプレート予測モードの動き予測・補償は、Cb/Crのそれぞれに対して行ってもよいし、Cb及びCrを併せた、残差信号等のコスト関数に基づいたイントラテンプレート予測モードの動き予測・補償を行ってもよい。

図２３は、上述したイントラテンプレート予測モードの色差信号の動き予測・補償処理を説明する図である。なお、入力となる画像信号は、4:2:0フォーマットであるとする。図２３の例においては、左から、それぞれ、輝度信号Y、色差信号Cb、および色差信号Crに対するイントラテンプレート予測モードの動き予測・補償処理が示されている。

例えば、輝度イントラＴＰ動き予測・補償部７５において、４×４画素の輝度ブロックＡ_Ｙに対して、符号化済みの画素からなり、輝度ブロックＡ_Ｙに隣接するテンプレート領域Ｂ_Ｙが利用されて、輝度信号に対するイントラテンプレート予測モードの動き予測、補償処理が行われ、これにより動きベクトル情報Ｖ_Ｙが得られるとする。

このとき、色差イントラＴＰ動き予測・補償部７６は、動きベクトル情報Ｖ_Ｙをスケーリングした動きベクトル情報Ｖ_Ｙ’を求め、それを中心とした周辺画素からなる範囲Ｅを探索範囲とする。そして、色差イントラＴＰ動き予測・補償部７６は、色差信号CbおよびCrについて、２×２画素の色差ブロックＡ_ｃに対して、範囲Ｅから、符号化済みの画素からなり、色差ブロックＡ_ｃに隣接するテンプレート領域Ｂ_ｃを利用して、動き予測を行う。これにより、画質の劣化を最小限に抑えながら、演算量の削減を実現することができる。

図２４は、上述したイントラテンプレート予測モードの動き予測・補償処理のさらに他の例を説明する図である。なお、入力となる画像信号は、4:2:0フォーマットであるとする。図２４の例においては、左から、それぞれ、輝度信号Y、色差信号Cb/ Crに対するイントラテンプレート予測モードの動き予測・補償処理が示されている。

例えば、輝度イントラＴＰ動き予測・補償部７５において、４×４画素の４つの輝度ブロックＡ_Ｙ1，Ａ_Ｙ２，Ａ_Ｙ３，Ａ_Ｙ４に対して、輝度信号に対するイントラテンプレート予測モードの動き予測、補償処理がそれぞれ行われ、これにより動きベクトル情報tmmv₁，tmmv₂，tmmv₃，tmmv₄がそれぞれ得られるとする。

このとき、色差イントラＴＰ動き予測・補償部７６は、動きベクトル情報tmmv₁，tmmv₂，tmmv₃，tmmv₄から、代表値tmmv_cを求め、それを中心とした周辺画素からなる範囲Ｅを探索範囲とする。そして、色差イントラＴＰ動き予測・補償部７６は、色差信号CbおよびCrについて、４×４画素の色差ブロックＡ_ｃに対して、範囲Ｅから、符号化済みの画素からなり、色差ブロックＡ_ｃに隣接するテンプレート領域（図示せぬ）を利用して、動き予測を行う。

なお、代表値tmmv_cは、例えば、次の式（７４）に示されるように平均値などの処理で求められる。

代表値は、平均値に限るものではなく、動きベクトル情報tmmv₁，tmmv₂，tmmv₃，tmmv₄から求められる代表値であれば、メディアンなど他の処理で求められるものでもよい。

図２１に戻って、ステップＳ６２で生成された色差信号の予測画像は、輝度イントラＴＰ動き予測・補償部７５に供給される。そして、輝度および色差イントラテンプレート予測モードの動き予測・補償により生成された予測画像は、イントラ予測部１２１に供給される。

ステップＳ６３において、輝度イントラＴＰ動き予測・補償部７５は、イントラテンプレート予測モードに対して、上述した式（６９）または式（７０）で示されるコスト関数を算出する。ここで算出されたコスト関数値は、上述した図５のステップＳ３４で最適イントラ予測モードを決定する際に用いられる。

次に、図２５のフローチャートを参照して、図５のステップＳ３５のインターテンプレート動き予測処理について説明する。

ステップＳ７１において、輝度インターＴＰ動き予測・補償部７８は、インターテンプレート予測モードの輝度信号の動き予測、補償処理を行う。すなわち、輝度インターＴＰ動き予測・補償部７８は、インターテンプレートマッチング方式に基づき、輝度信号に対して動きベクトルを探索し、その動きベクトルに基づいて予測画像を生成する。このとき、探索された輝度信号の動きベクトル情報は、画面並べ替えバッファ６２から読み出されたインター予測する画像、フレームメモリ７２から供給される参照画像とともに色差インターＴＰ動き予測・補償部７９に供給される。

ここで、インターテンプレートマッチング方式について、図２６を参照して具体的に説明する。

図２６の例においては、符号化対象の対象フレームと、動きベクトルを探索する際に参照される参照フレームが示されている。対象フレームには、これから符号化されようとしている対象ブロックＡと、対象ブロックＡに対して隣接するとともに、すでに符号化済みの画素で構成されるテンプレート領域Ｂが示されている。すなわち、テンプレート領域Ｂは、符号化処理をラスタスキャン順に行う場合には、図２６に示されるように、対象ブロックＡの左および上側に位置する領域であり、フレームメモリ７２に復号画像が蓄積されている領域である。

輝度インターＴＰ動き予測・補償部７８は、参照フレーム上の所定の探索範囲Ｅ内において、例えば、SAD(Sum of Absolute Difference) 等をコスト関数として、輝度信号に対して、テンプレートマッチング処理を行い、テンプレート領域Ｂの画素値と相関が最も高くなる領域Ｂ’を探索する。そして、輝度インターＴＰ動き予測・補償部７８は、探索された領域Ｂ’に対応するブロックＡ’を、対象ブロックＡに対する予測画像として、対象ブロックＡに対する動きベクトルＰを探索する。

このように、インターテンプレートマッチング方式による動きベクトル探索処理は、テンプレートマッチング処理に復号画像を用いているので、所定の探索範囲Ｅを予め定めておくことにより、図１の画像符号化装置５１と後述する図２８の画像復号装置１０１において同一の処理を行うことが可能である。すなわち、画像復号装置１０１においても、輝度インターＴＰ動き予測・補償部１２５を構成することにより、対象ブロックＡに対する動きベクトルＰの情報を画像復号装置１０１に送る必要がなくなるので、圧縮画像中における動きベクトル情報を低減することができる。説明は省略するが、色差信号の場合も同様である。

なお、インターテンプレート予測モードにおけるブロックおよびテンプレートのサイズは任意である。すなわち、動き予測・補償部７７と同様に、図２で上述した１６×１６画素乃至４×４画素からなる８種類のブロックサイズから、１つのブロックサイズを固定して行うこともできるし、すべてのブロックサイズを候補として行うこともできる。ブロックサイズに応じて、テンプレートサイズは、固定されたり、サイズも可変とされる。

ステップＳ７２において、色差インターＴＰ動き予測・補償部７９は、インターテンプレート予測モードの色差信号の動き予測、補償処理を行う。すなわち、色差インターＴＰ動き予測・補償部７９は、インターテンプレートマッチング方式に基づき、色差信号に対して動きベクトルを探索し、その動きベクトルに基づいて予測画像を生成する。

色差インターテンプレート予測モードの動き予測・補償により生成された予測画像は、輝度インターＴＰ動き予測・補償部７８に供給される。そして、輝度および色差インターテンプレート予測モードの動き予測・補償により生成された予測画像は、動き予測・補償部７７に供給される。

なお、ステップＳ７２における動き予測の際、 色差インターＴＰ動き予測・補償部７９は、図２３および図２４を参照して上述したイントラテンプレート予測モードの処理の場合と同様に、輝度インターＴＰ動き予測・補償部７８により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

ただし、インターテンプレートマッチング方式の場合、マルチ参照フレーム(Multi-Reference Frame)への対応を考慮する必要がある。

ここで、Ｈ．２６４／ＡＶＣ方式において定められているマルチ参照フレームの動き予測・補償方式について、図２７を参照して説明する。

図２７の例においては、いまから符号化される対象フレームＦ_ｎと、符号化済みのフレームＦ_ｎ−５,…, Ｆ_ｎ−１が示されている。フレームＦ_ｎ−１は、対象フレームＦ_ｎの１つ前のフレームであり、フレームＦ_ｎ−２は、対象フレームＦ_ｎの２つ前のフレームであり、フレームＦ_ｎ−３は、対象フレームＦ_ｎの３つ前のフレームである。また、フレームＦ_ｎ−４は、対象フレームＦ_ｎの４つ前のフレームであり、フレームＦ_ｎ−５は、対象フレームＦ_ｎの５つ前のフレームである。対象フレームに近いフレームほど、小さいインデックス（参照フレーム番号とも称する）のフレームとなる。すなわち、フレームＦ_ｎ−１,…, Ｆ_ｎ−５の順にインデックスが小さい。

対象フレームＦ_ｎには、ブロックＡ_１とブロックＡ_２が示されており、ブロックＡ_１は、２つ前のフレームＦ_ｎ−２のブロックＡ_１’と相関があるとされて、動きベクトルＶ_１が探索されている。また、ブロックＡ_２は、４つ前のフレームＦ_ｎ−４のブロックＡ_１’と相関があるとされて、動きベクトルＶ_２が探索されている。

すなわち、ＭＰＥＧ２においては、参照が可能であるのは、Ｐピクチャにおいては、直前のフレームＦ_ｎ−１のみであったが、Ｈ．２６４／ＡＶＣ方式においては、複数の参照フレームを持つことが可能であり、ブロックＡ_１がフレームＦ_ｎ−２を参照し、ブロックＡ_２がフレームＦ_ｎ−４を参照しているというように、ブロック毎にそれぞれ独立した参照フレーム情報を持つことが可能である。

しかしながら、輝度信号とは別個に、色差信号について、マルチ参照フレームの候補となる全ての参照フレームに関して、インターテンプレートマッチング方式による動き予測を行うことは、演算量の増大を招いてしまう。

そこで、色差信号に関するインターテンプレートマッチング方式による動き予測処理は、対応する輝度信号ブロックに対するインターテンプレートマッチング方式による動き予測処理により探索された参照フレームのみを探索することとする。

ただし、上述した図２４のように、複数の輝度ブロックに対応して単一の色差ブロックのテンプレートマッチング方式による動き予測を行う場合には、対応する輝度ブロックのうち、最もインデックスの小さいものを、色差ブロックに対する参照フレームとする。

なお、色差信号に対する処理のブロックサイズおよびテンプレートサイズは、輝度信号に対するブロックサイズおよびテンプレートサイズと同じであってもよいし、それぞれ異なっていてもよい。

以上のように、輝度信号とは別に、色差信号についてもテンプレートマッチング方式による動き予測・補償処理を行うようにしたので、符号化効率を向上させることができる。

また、色差信号について、テンプレート予測モードでの動き予測を行う際には、輝度信号のテンプレート予測モードでの動き予測により探索された動きベクトル情報の周辺の所定の探索範囲で、動きベクトルの探索を行うようにしたので、演算量を削減させることができる。

符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。

図２８は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。

画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、輝度イントラテンプレート動き予測・補償部１２２、色差イントラテンプレート動き予測・補償部１２３、動き予測・補償部１２４、輝度インターテンプレート動き予測・補償部１２５、色差インターテンプレート動き予測・補償部１２６、およびスイッチ１２７により構成されている。

なお、以下、輝度イントラテンプレート動き予測・補償部１２２および色差イントラテンプレート動き予測・補償部１２３を、それぞれ、輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３と称する。また、輝度インターテンプレート動き予測・補償部１２５および色差インターテンプレート動き予測・補償部１２６を、それぞれ、輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６と称する。

蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図１の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図１の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図１の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。

逆直交変換された出力は演算部１１５によりスイッチ１２７から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。

画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。

スイッチ１２０は、インター符号化が行われる画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２４に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。

イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードに関する情報が可逆復号部１１２から供給される。イントラ予測モードである情報が供給された場合、イントラ予測部１２１は、この情報に基づいて、予測画像を生成する。イントラテンプレート予測モードである情報が供給された場合、イントラ予測部１２１は、イントラ予測に用いられる画像を輝度イントラＴＰ動き予測・補償部１２２に供給し、イントラテンプレート予測モードでの動き予測・補償処理を行わせる。

イントラ予測部１２１は、生成した予測画像または輝度イントラＴＰ動き予測・補償部１２２により生成された予測画像を、スイッチ１２７に出力する。

輝度イントラＴＰ動き予測・補償部１２２は、図１の輝度イントラＴＰ動き予測・補償部７５と同様のイントラテンプレート予測モードの動き予測と補償処理を行う。すなわち、輝度イントラＴＰ動き予測・補償部１２２は、フレームメモリ１１９から読み出されたイントラ予測する画像に基づき、イントラテンプレート予測モードの輝度信号の動き予測と補償処理を行い、輝度信号の予測画像を生成する。輝度イントラテンプレート予測モードの動き予測・補償により生成された予測画像は、イントラ予測部１２１に供給される。

輝度イントラＴＰ動き予測・補償部１２２は、フレームメモリ１１９から読み出されたイントラ予測する画像、および輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差イントラＴＰ動き予測・補償部１２３に供給する。

色差イントラＴＰ動き予測・補償部１２３は、図１の色差イントラＴＰ動き予測・補償部７６と同様のイントラテンプレート予測モードの輝度信号の動き予測と補償処理を行う。すなわち、色差イントラＴＰ動き予測・補償部１２３は、フレームメモリ１１９から読み出されたイントラ予測する画像に基づき、イントラテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。この際、色差イントラＴＰ動き予測・補償部１２３は、輝度イントラＴＰ動き予測・補償部１２２により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

色差イントラＴＰ動き予測・補償部１２３は、生成した予測画像を輝度イントラＴＰ動き予測・補償部１２２に供給する。

動き予測・補償部１２４には、ヘッダ情報を復号して得られた情報（予測モード、動きベクトル情報や参照フレーム情報）が可逆復号部１１２から供給される。インター予測モードである情報が供給された場合、動き予測・補償部１２４は、動きベクトル情報と参照フレーム情報に基づいて画像に動き予測と補償処理を施し、予測画像を生成する。インターテンプレート予測モードである情報が供給された場合、動き予測・補償部１２４は、フレームメモリ１１９から読み出されたインター符号化が行われる画像と参照される画像を輝度インターＴＰ動き予測・補償部１２５に供給し、インターテンプレート予測モードでの動き予測・補償処理を行わせる。

また、動き予測・補償部１２４は、予測モード情報に応じて、インター予測モードにより生成された予測画像、または、インターテンプレート予測モードにより生成された予測画像のどちらか一方をスイッチ１２７に出力する。

輝度インターＴＰ動き予測・補償部１２５は、図１の輝度インターＴＰ動き予測・補償部７８と同様のインターテンプレート予測モードの輝度信号の動き予測と補償処理を行う。すなわち、輝度インターＴＰ動き予測・補償部１２５は、フレームメモリ１１９から読み出されたインター符号化が行われる画像と参照される画像に基づいて、インターテンプレート予測モードの動き予測と補償処理を行い、輝度信号の予測画像を生成する。インターテンプレート予測モードの動き予測・補償により生成された予測画像は、動き予測・補償部１２４に供給される。

輝度インターＴＰ動き予測・補償部１２５は、フレームメモリ１１９から読み出されたインター予測する画像、輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差インターＴＰ動き予測・補償部１２６に供給する。

色差インターＴＰ動き予測・補償部１２６は、図１の色差インターＴＰ動き予測・補償部７９と同様のインターテンプレート予測モードの色差信号の動き予測と補償処理を行う。すなわち、色差インターＴＰ動き予測・補償部１２６は、フレームメモリ１１９から供給される画像に基づき、インターテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。この際、色差インターＴＰ動き予測・補償部１２６は、輝度インターＴＰ動き予測・補償部１２５により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

色差インターＴＰ動き予測・補償部１２６は、生成した予測画像を輝度インターＴＰ動き予測・補償部１２５に供給する。

スイッチ１２７は、動き予測・補償部１２４またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。

次に、図２９のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。

ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図１の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

このとき、動きベクトル情報や予測モード情報（イントラ予測モード、イントラテンプレート予測モード、インター予測モード、またはインターテンプレート予測モードを表す情報）も復号される。すなわち、予測モード情報がイントラ予測モードまたはイントラテンプレート予測モードである場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モードまたはインターテンプレート予測モードである場合、予測モード情報は、動き予測・補償部１２４に供給される。その際、対応する動きベクトル情報や参照フレーム情報があれば、それも、動き予測・補償部１２４に供給される。

ステップＳ１３３において、逆量子化部１４２は可逆復号部１１２により復号された変換係数を、図１の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１４２により逆量子化された変換係数を、図１の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。

ステップＳ１３５において、演算部１１５は、後述するステップＳ１３９の処理で選択され、スイッチ１２７を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。

ステップＳ１３８において、イントラ予測部１２１、輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３、動き予測・補償部１２４、または、輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。

すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からイントラテンプレート予測モード情報が供給された場合、輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３は、インターテンプレート予測モードの動き予測・補償処理を行う。また、可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２４は、インター予測モードの動き予測・補償処理を行う。可逆復号部１１２からインターテンプレート予測モード情報が供給された場合、輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６は、インターテンプレート予測モードの動き予測・補償処理を行う。

ステップＳ１３８における予測処理の詳細は、図３０を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３により生成された予測画像、動き予測・補償部１２４により生成された予測画像、または輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６により生成された予測画像がスイッチ１２７に供給される。

ステップＳ１３９において、スイッチ１２７は予測画像を選択する。すなわち、スイッチ１２７には、イントラ予測部１２１により生成された予測画像、輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３により生成された予測画像、動き予測・補償部１２４により生成された予測画像、または輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６により生成された予測画像が供給される。その供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３４において逆直交変換部１１４の出力と加算される。

ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち図１の画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

次に、図３０のフローチャートを参照して、図２９のステップＳ１３８の予測処理について説明する。

イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報またはイントラテンプレート予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップ１７１において、対象ブロックがイントラ符号化されていると判定し、ステップＳ１７２において、可逆復号部１１２からの予測モード情報が、イントラ予測モード情報であるか否かを判定する。

イントラ予測部１２１は、ステップＳ１７２において、イントラ予測モード情報であると判定した場合、ステップＳ１７３において、イントラ予測を行う。

すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７３において、イントラ予測部１２１は、可逆復号部１１２から供給されるイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。

ステップＳ１７２において、イントラ予測モード情報ではないと判定された場合、処理は、ステップＳ１７４に進み、イントラテンプレート予測モードの処理が行われる。

処理対象の画像がイントラテンプレート予測処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０およびイントラ予測部１２１を介して輝度イントラＴＰ動き予測・補償部１２２に供給される。ステップＳ１７４において、輝度イントラＴＰ動き予測・補償部１２２は、フレームメモリ１１９から読み出された画像に基づき、イントラテンプレート予測モードで、輝度信号のイントラテンプレート動き予測処理を行う。

すなわち、ステップ１７４において、輝度イントラＴＰ動き予測・補償部１２２は、イントラテンプレートマッチング方式に基づいて、輝度信号のイントラ動きベクトルを探索し、その動きベクトルに基づいて、輝度信号の予測画像を生成する。

輝度イントラＴＰ動き予測・補償部１２２は、フレームメモリ１１９から読み出されたイントラ予測する画像、および輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差イントラＴＰ動き予測・補償部１２３に供給する。

したがって、色差イントラＴＰ動き予測・補償部１２３は、ステップＳ１７５において、フレームメモリ１１９から読み出されたイントラ予測する画像に基づき、イントラテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。この際、色差イントラＴＰ動き予測・補償部１２３は、輝度イントラＴＰ動き予測・補償部１２２により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

色差イントラテンプレート予測モードの動き予測・補償により生成された予測画像は、輝度イントラＴＰ動き予測・補償部１２２に供給される。そして、輝度および色差イントラテンプレート予測モードの動き予測・補償により生成された予測画像は、イントラ予測部１２１に供給される。

なお、このステップＳ１７４およびＳ１７５の処理は、上述した図２１のステップＳ６１およびＳ６２と基本的に同様の処理を行うため、その詳細な説明は省略する。

一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７６に進む。

処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、動きベクトル情報がイントラ予測部１２１に供給される。ステップＳ１７６において、動き予測・補償部１２４は、可逆復号部１１２からの予測モード情報が、インター予測モード情報であるか否かを判定し、インター予測モード情報であると判定した場合、ステップＳ１７７において、インター動き予測を行う。

処理対象の画像がインター予測処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介して動き予測・補償部１２４に供給される。ステップＳ１７４において動き予測・補償部１２４は、可逆復号部１１２から供給される動きベクトルに基づいて、インター予測モードの動き予測をし、予測画像を生成する。

ステップＳ１７６において、インター予測モード情報ではないと判定された場合、すなわち、インターテンプレート予測モード情報であると判定され、処理は、ステップＳ１７８に進み、インターテンプレート予測モードの処理が行われる。

処理対象の画像がインターテンプレート予測処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０および動き予測・補償部１２４を介してインターＴＰ動き予測・補償部１２５に供給される。ステップＳ１７８において、輝度インターＴＰ動き予測・補償部１２５は、フレームメモリ１１９から読み出された画像に基づき、インターテンプレート予測モードで、輝度信号のインターテンプレート動き予測処理を行う。

すなわち、ステップ１７８において、輝度インターＴＰ動き予測・補償部１２５は、インターテンプレートマッチング方式に基づいて、輝度信号のインター動きベクトルを探索し、その動きベクトルに基づいて輝度信号の予測画像を生成する。

輝度インターＴＰ動き予測・補償部１２５は、フレームメモリ１１９から読み出されたインター予測する画像、および輝度信号の動き予測と補償処理で探索した動きベクトル情報を、色差インターＴＰ動き予測・補償部１２６に供給する。

したがって、色差インターＴＰ動き予測・補償部１２６は、ステップＳ１７９において、フレームメモリ１１９から読み出されたインター予測する画像に基づき、インターテンプレート予測モードの色差信号の動き予測と補償処理を行い、色差信号の予測画像を生成する。この際、色差インターＴＰ動き予測・補償部１２６は、輝度インターＴＰ動き予測・補償部１２５により探索された動きベクトル情報を用いて探索の中心を求め、それを探索の中心とした所定の探索範囲での動き予測を行う。

色差インターテンプレート予測モードの動き予測・補償により生成された予測画像は、輝度インターＴＰ動き予測・補償部１２５に供給される。そして、輝度および色差インターテンプレート予測モードの動き予測・補償により生成された予測画像は、動き予測・補償部１２４に供給される。

なお、このステップＳ１７８およびＳ１７９の処理は、上述した図２５のステップＳ７１およびＳ７２と基本的に同様の処理を行うため、その詳細な説明は省略する。

以上のように、画像符号化装置および画像復号装置において、復号画像を用いて動き探索を行うテンプレートマッチングに基づく動き予測を行うようにしたので、動きベクトル情報を送らずに、良質な画質を表示させることができる。

また、その際、色差信号の動き予測を、輝度信号の動き予測とは別に行うようにしたので、圧縮効率を向上させることができる。

さらに、色差信号の動き予測を行う際に、輝度信号の動き予測により探索された動きベクトル情報の周辺を探索するようにしたので、動きベクトル探索に必要な演算量を削減することができる。

また、Ｈ．２６４／ＡＶＣ方式による動き予測・補償処理を行う際に、テンプレートマッチングに基づく予測も行い、コスト関数のよい方を選択して符号化処理を行うようにしたので、符号化効率を向上することができる。

ところで、いま、上述したイントラまたはインターテンプレートマッチングを、色差信号に、４×４画素単位のブロックで適用することを考える。

図６を参照して上述したように、色差信号については、マクロブロックが４×４画素に分割され、４×４画素のＤＣＴが行われる。そして、４×４画素のＤＣＴが行われた後に、１６および１７の各ブロックに示されるように、各ブロックの直流成分を集めて、２×２行列が生成され、これに対して、さらに、直交変換が施される。

すなわち、この１６のブロックに示される直流成分の直交変換により、１９のブロックを処理する際、１８のブロックに対する復号画像の画素値が判明していない。したがって、実際には、４×４画素単位のブロックで色差信号を処理する場合、隣接画素を用いたテンプレートマッチング処理を行うことができない。

これに対応して、図３１に示される画像符号化装置においては、テンプレートマッチングを行う際に、直流成分に対する直交変換を制御するようにした。なお、以下、直流成分を、適宜、ＤＣ成分とも称する。

図３１は、本発明を適用した画像処理装置としての画像符号化装置の他の実施の形態の構成を表している。

図３１の画像符号化装置１５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７７、予測画像選択部８０、レート制御部８１、イントラテンプレート動き予測・補償部１６１、インターテンプレート動き予測・補償部１６２、および直交変換制御部１６３により構成されている。

なお、図示は省略するが、イントラテンプレート動き予測・補償部１６１は、図１の輝度イントラＴＰ動き予測・補償部７５および色差イントラＴＰ動き予測・補償部７６により構成されている。また、インターテンプレート動き予測・補償部１６２は、図１の輝度インターＴＰ動き予測・補償部７８および色差インターＴＰ動き予測・補償部７９で構成されている。

すなわち、図３１の画像符号化装置１５１は、直交変換制御部１６３が追加されている点が、図１の画像符号化装置５１と異なるが、その他の点は、図１の画像符号化装置５１と基本的に同じ構成である。

イントラテンプレート動き予測・補償部１６１は、図１の輝度イントラＴＰ動き予測・補償部７５および色差イントラＴＰ動き予測・補償部７６と同様に、イントラテンプレート予測モードの輝度信号および色差信号の動き予測と補償処理を行う。その際に、イントラテンプレート動き予測・補償部１６１は、テンプレートマッチングを行う対象ブロックの情報を、直交変換制御部１６３に出力する。

インターテンプレート動き予測・補償部１６２は、図１の輝度インターＴＰ動き予測・補償部７８および色差インターＴＰ動き予測・補償部７９と同様に、インターテンプレート予測モードの輝度信号および色差信号の動き予測と補償処理を行う。その際に、インターテンプレート動き予測・補償部１６２は、テンプレートマッチングを行う対象ブロックの情報を、直交変換制御部１６３に出力する。

直交変換制御部１６３には、イントラテンプレート動き予測・補償部１６１またはインターテンプレート動き予測・補償部１６２から、テンプレートマッチングを行う対象ブロックの情報が供給される。

直交変換制御部１６３は、テンプレート予測モードにおける直交変換制御処理を行う。すなわち、直交変換制御部１６３は、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであるか否かの第１の判定を行い、テンプレートマッチングを行う対象ブロックが、マクロブロックであるか否かの第２の判定を行う。そして、直交変換制御部１６３は、第１の判定結果および第２の判定結果に応じて、直行変換部６４および逆直交変換部６９を制御する。

例えば、対象ブロックが色差信号に関するものであり、マクロブロックでない場合、直行変換部６４および逆直交変換部６９は、各ブロックの直流成分に対して直交変換および逆直交変換を禁止するようにそれぞれ制御される。

対象ブロックが色差信号に関するものであり、マクロブロックである場合、直行変換部６４および逆直交変換部６９は、各ブロックの直流成分に対して直交変換および逆直交変換を行うようにそれぞれ制御される。

図３２は、直交変換制御部の構成例を表している。

図３２の例において、直交変換制御部１６３は、輝度／色差判別部１７１、ブロックサイズ判別部１７２、およびＤＣ直交変換制御部１７３により構成されている。

輝度／色差判別部１７１には、イントラテンプレート動き予測・補償部１６１またはインターテンプレート動き予測・補償部１６２から、テンプレートマッチングを行う対象ブロックの情報が供給される。例えば、対象ブロックの情報として、輝度信号または色差信号に関するものであることを示す情報、対象ブロックのブロックサイズ情報、および対象ブロックの直交成分の情報などが供給される。

輝度／色差判別部１７１は、それらの情報に基づいて、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであるか否かを判定する。輝度／色差判別部１７１は、テンプレートマッチングを行う対象ブロックが、色差信号に関するものである場合のみ、ブロックサイズ判別部１７２に、対象ブロックの情報を供給する。

すなわち、テンプレートマッチングを行う対象ブロックが輝度信号に関するものである場合には、ＤＣ直交変換制御部１７３による直交変換制御は行われない。

ブロックサイズ判別部１７２は、テンプレートマッチングを行う対象ブロックが、マクロブロックであるか否かを判定する。ブロックサイズ判別部１７２は、テンプレートマッチングを行う対象ブロックが、マクロブロックである場合、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給する。

これに対応して、ＤＣ直交変換制御部１７３は、対象ブロックの直流（ＤＣ）成分の情報を、直行変換部６４および逆直交変換部６９に送信し、各ブロックの直流成分に対して直交変換および逆直交変換をそれぞれ行わせる。

ブロックサイズ判別部１７２は、テンプレートマッチングを行う対象ブロックが、マクロブロックではない場合、直行変換部６４および逆直交変換部６９の直流成分に対する処理を禁止すべく、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給しない。

したがって、直行変換部６４および逆直交変換部６９においては、各ブロックの直流成分に対しての処理が行われない。

次に、図３３のフローチャートを参照して、テンプレート予測モードにおける直交変換制御処理について説明する。この処理は、図２１のステップＳ６１のイントラテンプレート予測モードの輝度信号の処理およびステップＳ６２の色差信号の処理の際に、直交変換制御部１６３において行われる処理である。また、この処理は、図２５のステップＳ６１のインターテンプレート予測モードの輝度信号の処理およびステップＳ６２の色差信号の処理の際に、直交変換制御部１６３において行われる処理である。

輝度／色差判別部１７１には、イントラテンプレート動き予測・補償部１６１またはインターテンプレート動き予測・補償部１６２から、テンプレートマッチングを行う対象ブロックの情報が供給される。ステップＳ２０１において、輝度／色差判別部１７１は、供給される対象ブロックの情報に基づいて、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであるか否かを判定する。

ステップＳ２０１において、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであると判定された場合、処理は、ステップＳ２０２に進む。このとき、輝度／色差判別部１７１は、ブロックサイズ判別部１７２に、対象ブロックの情報を供給する。

ステップＳ２０２において、ブロックサイズ判別部１７２は、テンプレートマッチングを行う対象ブロックが、マクロブロックであるか否かを判定する。ステップＳ２０２において、テンプレートマッチングを行う対象ブロックが、マクロブロックではないと判定された場合、処理は、ステップＳ２０３に進む。

ブロックサイズ判別部１７２は、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給せず、ステップＳ２０３において、直行変換部６４および逆直交変換部６９に対して、それぞれ、各ブロックの直流成分に対しての直交変換および逆直交変換を禁止させる。

これに対応して、上述した図４のステップＳ１４において、直交変換部６４は、対象ブロックの直流成分に対しての直交変換を行わず、ステップＳ１７において、逆直交変換部６９は、対象ブロックの直流成分に対しての逆直交変換を行わない。

これにより、イントラテンプレート動き予測・補償部１６１またはインターテンプレート動き予測・補償部１６２は、色差信号であって、対象ブロックがマクロブロックではないとしても、隣接画素を用いたテンプレート予測モードの処理を行うことができる。

また、ステップＳ２０２において、テンプレートマッチングを行う対象ブロックが、マクロブロックであると判定された場合、処理は、ステップＳ２０４に進む。このとき、ブロックサイズ判別部１７２は、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給する。ステップＳ２０４において、ＤＣ直交変換制御部１７３は、対象ブロックの直流（ＤＣ）成分の情報を、直行変換部６４および逆直交変換部６９に送信し、各ブロックの直流成分に対して直交変換および逆直交変換をそれぞれ行わせる。

これに対応して、上述した図４のステップＳ１４において、直交変換部６４は、対象ブロックの直流成分に対しての直交変換を行い、ステップＳ１７において、逆直交変換部６９は、対象ブロックの直流成分に対しての逆直交変換を行う。

一方、ステップＳ２０１において、テンプレートマッチングを行う対象ブロックが、輝度信号に関するものであると判定された場合、テンプレート予測モードにおける直交変換制御処理は終了される。すなわち、対象ブロックが輝度信号に関するものである場合も、対象ブロックの直流成分に対しての直交変換および逆直交変換は行われない。

ただし、輝度信号の場合には、この処理とは別に、図６を参照して上述したように、１６×１６画素のイントラ予測モードのときのみ、直行変換部６４および逆直交変換部６９においては、各ブロックの直流成分に対して、直交変換および逆直交変換がそれぞれ行われる。

上述したテンプレート予測モードにおける直交変換制御処理は、図３２に示される画像復号装置においても実行される。

図３２は、本発明を適用した画像処理装置としての画像復号装置の他の実施の形態の構成を表している。

図３２の画像復号装置２０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２４、スイッチ１２７、イントラテンプレート動き予測・補償部２１１、インターテンプレート動き予測・補償部２１２、および直交変換制御部２１３により構成されている。

なお、図示は省略するが、イントラテンプレート動き予測・補償部２１１は、図２８の輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３により構成されている。また、インターテンプレート動き予測・補償部２１２は、図２８の輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６で構成されている。

すなわち、図３４の画像復号装置２０１は、直交変換制御部２１３が追加されている点が、図２８の画像復号装置１０１と異なるが、その他の点は、図２８の画像復号装置１０１と基本的に同じ構成である。

イントラテンプレート動き予測・補償部２１１は、図２８の輝度イントラＴＰ動き予測・補償部１２２および色差イントラＴＰ動き予測・補償部１２３と同様に、イントラテンプレート予測モードの輝度信号および色差信号の動き予測と補償処理を行う。その際に、イントラテンプレート動き予測・補償部２１１は、テンプレートマッチングを行う対象ブロックの情報を、直交変換制御部２１３に出力する。

インターテンプレート動き予測・補償部２１２は、図２８の輝度インターＴＰ動き予測・補償部１２５および色差インターＴＰ動き予測・補償部１２６と同様に、インターテンプレート予測モードの輝度信号および色差信号の動き予測と補償処理を行う。その際に、インターテンプレート動き予測・補償部２１２は、テンプレートマッチングを行う対象ブロックの情報を、直交変換制御部２１３に出力する。

直交変換制御部２１３には、イントラテンプレート動き予測・補償部２１１またはインターテンプレート動き予測・補償部２１２から、テンプレートマッチングを行う対象ブロックの情報が供給される。

直交変換制御部２１３は、図３１の直交変換制御部１６３と同様に、テンプレート予測モードにおける直交変換制御処理を行う。すなわち、直交変換制御部２１３は、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであるか否かの第１の判定を行い、テンプレートマッチングを行う対象ブロックが、マクロブロックであるか否かの第２の判定を行う。そして、直交変換制御部２１３は、第１の判定結果および第２の判定結果に応じて、逆直交変換部１１４を制御する。

例えば、対象ブロックが色差信号に関するものであり、マクロブロックでない場合、逆直交変換部１１４は、各ブロックの直流成分に対して逆直交変換を禁止するように制御される。

対象ブロックが色差信号に関するものであり、マクロブロックである場合、逆直交変換部１１４は、各ブロックの直流成分に対して逆直交変換を行うように制御される。

直交変換制御部２１３は、基本的に、図３１の直交変換制御部１６３と同様に構成されるので、以下、直交変換制御部２１３の説明にも、図３２の直交変換制御部１６３の構成例を用いる。

次に、図３５のフローチャートを参照して、テンプレート予測モードにおける直交変換制御処理について説明する。この処理は、図３０のステップＳ１７４のイントラテンプレート予測モードの輝度信号の処理およびステップＳ１７５の色差信号の処理の際に、直交変換制御部２１３において行われる処理である。また、この処理は、図３０のステップＳ１７８のインターテンプレート予測モードの輝度信号の処理およびステップＳ１７９の色差信号の処理の際に、直交変換制御部２１３において行われる処理である。

直交変換制御部２１３の輝度／色差判別部１７１には、イントラテンプレート動き予測・補償部２１１またはインターテンプレート動き予測・補償部２１２から、テンプレートマッチングを行う対象ブロックの情報が供給される。ステップＳ２２１において、輝度／色差判別部１７１は、供給される対象ブロックの情報に基づいて、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであるか否かを判定する。

ステップＳ２２１において、テンプレートマッチングを行う対象ブロックが、色差信号に関するものであると判定された場合、処理は、ステップＳ２２２に進む。このとき、輝度／色差判別部１７１は、ブロックサイズ判別部１７２に、対象ブロックの情報を供給する。

ステップＳ２２２において、ブロックサイズ判別部１７２は、テンプレートマッチングを行う対象ブロックが、マクロブロックであるか否かを判定する。ステップＳ２２２において、テンプレートマッチングを行う対象ブロックが、マクロブロックではないと判定された場合、処理は、ステップＳ２２３に進む。

ブロックサイズ判別部１７２は、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給せず、ステップＳ２２３において、逆直交変換部１１４に対して、各ブロックの直流成分に対しての逆直交変換を禁止させる。

これに対応して、上述した図２９のステップＳ１３４において、逆直交変換部１１４は、対象ブロックの直流成分に対しての逆直交変換を行わない。

これにより、イントラテンプレート動き予測・補償部２１１またはインターテンプレート動き予測・補償部２１２は、色差信号であって、対象ブロックがマクロブロックではないとしても、隣接画素を用いたテンプレート予測モードの処理を行うことができる。

また、ステップＳ２２２において、テンプレートマッチングを行う対象ブロックが、マクロブロックであると判定された場合、処理は、ステップＳ２２４に進む。このとき、ブロックサイズ判別部１７２は、ＤＣ直交変換制御部１７３に、対象ブロックの情報を供給する。ステップＳ２２４において、ＤＣ直交変換制御部１７３は、対象ブロックの直流（ＤＣ）成分の情報を、逆直交変換部１１４に送信し、各ブロックの直流成分に対して逆直交変換を行わせる。

これに対応して、上述した図２９のステップＳ１３４において、逆直交変換部１１４は、対象ブロックの直流成分に対しての逆直交変換を行う。

一方、ステップＳ２２１において、テンプレートマッチングを行う対象ブロックが、輝度信号に関するものであると判定された場合、テンプレート予測モードにおける直交変換制御処理は終了される。

なお、画像復号装置２０１においても、輝度信号の場合には、この処理とは別に、図６を参照して上述したように、１６×１６画素のイントラ予測モードのときのみ、逆直交変換部１１４においては、各ブロックの直流成分に対して逆直交変換が行われる。

以上のように、色差信号であって、対象ブロックがマクロブロックではない場合に、直流成分に対しての直交変換や逆直交変換を行わないようにしたので、隣接画素を用いたテンプレート予測モードの処理を行うことができる。

なお、上記説明においては、クロマフォーマットが4:2:0の例を説明したが、本発明は、4:2:2または4:4:4の場合にも適用することができる。

以上においては、符号化方式としてＨ．２６４／ＡＶＣ方式を用いるようにしたが、その他の符号化方式／復号方式を用いることもできる。

なお、本発明は、例えば、ＭＰＥＧ、Ｈ.２６ｘ等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

５１ 画像符号化装置， ６６ 可逆符号化部， ７４ イントラ予測部， ７５ 輝度イントラテンプレート動き予測・補償部， ７６ 色差イントラテンプレート動き予測・補償部， ７７ 動き予測・補償部， ７８ 輝度インターテンプレート動き予測・補償部， ７９ 色差インターテンプレート動き予測・補償部， ８０ 予測画像選択部， １０１ 画像復号装置， １１２ 可逆復号部， １２１ イントラ予測部， １２２ 輝度イントラテンプレート動き予測・補償部， １２３ 色差イントラテンプレート動き予測・補償部， １２４ 動き予測・補償部， １２５ 輝度インターテンプレート動き予測・補償部， １２６ 色差インターテンプレート動き予測・補償部， １２７ スイッチ， １５１ 画像符号化装置， １６１ イントラテンプレート動き予測・補償部， １６２ インターテンプレート動き予測・補償部， １６３ 直交変換制御部， ２０１ 画像復号装置， ２１１ イントラテンプレート動き予測・補償部， ２１２ インターテンプレート動き予測・補償部， ２１３ 直交変換制御部，

Claims (22)

1. フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索する輝度動き予測補償手段と、
   前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する色差動き予測補償手段と、
   前記輝度ブロックおよび前記色差ブロックの画像を符号化する符号化手段と
   を備える画像処理装置。
2. 前記色差動き予測補償手段は、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を、入力の画像信号のクロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求める
   請求項１に記載の画像処理装置。
3. 前記輝度ブロックと前記色差ブロックが１対１の対応関係にあり、前記輝度ブロックの動きベクトルの情報を（MVTM_h,MVTM_v）として、r_hおよびr_vを、
   

   

   と定義するとき、
   前記色差動き予測補償手段は、（MVTM_h/r_h,MVTM_v/r_v）を中心として前記探索範囲を求める
   請求項２に記載の画像処理装置。
4. 複数の前記輝度ブロックに対して、単一の前記色差ブロックが対応しているとき、
   前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報を合成して、前記クロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求める
   請求項２に記載の画像処理装置。
5. 前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報の平均値を用いて合成する
   請求項４に記載の画像処理装置。
6. 前記色差動き予測補償手段は、前記輝度ブロックの参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索する
   請求項２に記載の画像処理装置。
7. 前記色差動き予測補償手段は、前記輝度ブロックの参照フレームのうち、最小のインデックスを有する参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索する
   請求項２に記載の画像処理装置。
8. 前記輝度ブロックのサイズと前記色差ブロックのサイズは異なり、
   前記第１のテンプレートのサイズと前記第２のテンプレートのサイズは異なる
   請求項２に記載の画像処理装置。
9. 前記フレームにおいて、動き予測を行う動き予測ブロックが、前記色差ブロックであって、かつマクロブロックではない場合、前記動き予測ブロックの直流成分に対して直交変換を禁止するように制御する直交変換制御手段をさらに備える
   請求項２に記載の画像処理装置。
10. 画像処理装置が、
    フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、
    探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索し、
    前記輝度ブロックおよび前記色差ブロックの画像を符号化する
    ステップを含む画像処理方法。
11. フレームの輝度信号のブロックである輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、
    探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記フレームの色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索し、
    前記輝度ブロックおよび前記色差ブロックの画像を符号化する
    ステップを含む処理をコンピュータに実行させるためのプログラム。
12. 符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号する復号手段と、
    前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索する輝度動き予測補償手段と、
    前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する色差動き予測補償手段と
    を備える画像処理装置。
13. 前記色差動き予測補償手段は、前記輝度動き予測補償手段により探索された前記輝度ブロックの動きベクトルの情報を、入力の画像信号のクロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求める
    請求項１２に記載の画像処理装置。
14. 前記輝度ブロックと前記色差ブロックが１対１の対応関係にあり、前記輝度ブロックの動きベクトルの情報を（MVTM_h,MVTM_v）として、r_hおよびr_vを、
    

    

    と定義するとき、
    前記色差動き予測補償手段は、（MVTM_h/r_h,MVTM_v/r_v）を中心として前記探索範囲を求める
    請求項１３に記載の画像処理装置。
15. 複数の前記輝度ブロックに対して、単一の前記色差ブロックが対応しているとき、
    前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報を合成して、前記クロマフォーマットに応じてスケーリングし、スケーリングされた前記輝度ブロックの動きベクトルの情報を中心として前記探索範囲を求める
    請求項１３に記載の画像処理装置。
16. 前記色差動き予測補償手段は、複数の前記輝度ブロックの動きベクトルの情報の平均値を用いて合成する
    請求項１５に記載の画像処理装置。
17. 前記色差動き予測補償手段は、前記輝度ブロックの参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索する
    請求項１３に記載の画像処理装置。
18. 前記色差動き予測補償手段は、前記輝度ブロックの参照フレームのうち、最小のインデックスを有する参照フレームについてのみ、前記探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記第２のテンプレートを利用して探索する
    請求項１３に記載の画像処理装置。
19. 前記輝度ブロックのサイズと前記色差ブロックのサイズは異なり、
    前記第１のテンプレートのサイズと前記第２のテンプレートのサイズは異なる
    請求項１３に記載の画像処理装置。
20. 前記フレームにおいて、動き予測を行う動き予測ブロックが、前記色差ブロックであって、かつマクロブロックではない場合、前記動き予測ブロックの直流成分に対して直交変換を禁止するように制御する直交変換制御手段をさらに備える
    請求項１３に記載の画像処理装置。
21. 画像処理装置が、
    符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号し、
    前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、
    探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する
    ステップを含む画像処理方法。
22. 符号化されているフレームの輝度信号のブロックである輝度ブロックおよび色差信号のブロックであり、前記輝度ブロックに対応する色差ブロックの画像を復号し、
    前記輝度ブロックの動きベクトルを、前記輝度ブロックに対して所定の位置関係で隣接するとともに復号画像から生成される第１のテンプレートを利用して探索し、
    探索された前記輝度ブロックの動きベクトルの情報を用いて探索範囲を求め、求められた前記探索範囲において、前記色差ブロックの動きベクトルを、前記色差ブロックに対して所定の位置関係で隣接するとともに前記復号画像から生成される第２のテンプレートを利用して探索する
    ステップを含む処理をコンピュータに実行させるためのプログラム。

Images