JPWO2008084817A1 - 画像符号化と復号化の方法及び装置 - Google Patents

Abstract

画像符号化装置は、入力画像信号のフレームを分割した複数の画素ブロック毎に該画素ブロックに対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、符号化済み画素を参照画素に用いて前記画素ブロックを予測するように構成される複数方向予測部；前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び符号化データを生成するために、前記画素ブロックの画像信号と、少なくとも前記第２予測信号との差を表す予測残差信号を符号化するように構成される符号化部；を有する。

Description

本発明は、動画像または静止画像のための符号化と復号化の方法及び装置に関する。

近年、大幅に符号化効率を向上させた画像符号化方法がITU-TとISO/IECとの共同で、ITU-T Rec. H. 264及びISO/IEC 14496-10（以下、H. 264という）として勧告されている。ISO/IEC MPEG-1, 2及び4, ITU-T H. 261及びH. 263といった符号化方式は、直交変換後の周波数領域（ＤＣＴ係数）上でのフレーム内予測を行い、変換係数の符号量削減を図っている。これに対して、H. 264では空間領域（画素領域）での方向予測（Greg Conklin， “New Intra Prediction Modes”, ITU-T Q.6/SG16 VCEG, VCEG-N54, Sep. 2001.（文献1）参照）を取り入れることにより、ISO/IEC MPEG-1, 2及び4におけるフレーム内予測と比較して高い予測効率を実現している。

Ｈ．２６４ハイプロファイルでは、輝度信号に対して３種類のフレーム内予測方式が規定されており、そのうちの１つをマクロブロック（１６ｘ１６画素ブロック）単位に選択できる。３種類のフレーム内予測方式は、４ｘ４画素予測、８ｘ８画素予測及び１６ｘ１６画素予測と呼ばれている。

１６ｘ１６画素予測では、垂直予測、水平予測、ＤＣ予測及び平面予測と呼ばれる４つの予測モードが規定されている。４つの予測モードでは、デブロッキングフィルタが適用される前の局部復号信号のうち符号化対象マクロブロックの周囲のマクロブロックの画素値を参照画素値として用いて予測を行う。

４ｘ４画素予測は、マクロブロックを１６個の４ｘ４画素ブロック（サブブロック）に分割し、それぞれの４ｘ４画素ブロックに対して９つの予測モードのいずれかをブロック毎に選択する。９つの予測モードのうち、利用可能な参照画素の平均画素値で予測するＤＣ予測（モード２）を除く８つのモードは、それぞれ２２．５度間隔でずれた予測方向を持っている。参照画素を用いて予測方向に外挿補間を行うことにより、予測信号を生成する。

８ｘ８画素予測は、マクロブロックを４個の８ｘ８画素ブロック（サブブロック）に分割し、それぞれの８ｘ８画素ブロックに対して上記９つの予測モードのいずれかをブロック毎に選択する。予測モードは、４ｘ４画素予測と同じ枠組みで設計される。但し、符号化済みの参照画素に対して３タップのフィルタリングを行い、予測に用いる参照画素の平坦化を行うことで符号化歪みを平均化する処理が追加される。

Kenneth K. C. Lee et al. “Spatial Domain Contribution to a High Compression Efficiency System” IWAIT2006, Jun.2006（文献２）には、上記９つの予測モード候補から２つの予測モードを選択し、選択した２つの予測モードに従って生成される予測信号に対して画素単位に平均値を求めることにより、予測信号を生成する手法が開示されている。この手法によると、基本的には通常の４ｘ４画素予測や８ｘ８画素予測では想定していないような複雑なテクスチャに対しても、高い予測効率が実現される。

文献２によると、マクロブロック内のサブブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）の予測は、サブブロック内の全ての画素が参照画素からの影響が同一であるとして、一律に２つの予測モードの予測信号を画素単位に平均した値を最終的に用いる予測信号としている。

Ｈ．２６４のフレーム内予測では、複数の予測モード候補から画素ブロック内に１つを選択する。これはブロック内におけるテクスチャの方向性が１つであると仮定しているためであり、複雑なテクスチャ領域においては予測残差が増大し、結果的に符号化効率が低下する。

一方、非特許文献２では常に２つの予測モードを使用する。すなわち、単一の予測モードで十分なときでも２つの予測モードを用いて予測を行う。このため、符号化効率の面で改良の余地がある。また、非特許文献２ではサブブロックの予測は、サブブロック内の全ての画素が参照画素からの影響が同一であるとの仮定により各予測モードに基づく予測信号を画素単位に平均した値を最終的に用いる予測信号としているが、このような仮定は必ずしも成り立たず、予測残差が増大する可能性がある。

本発明の目的は、符号化効率の高い画像符号化と画像復号化の方法及び装置を提供することにある。

本発明の第１の観点によると、入力画像信号のフレームを分割した複数の画素ブロックの各々に対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、符号化済み画素を参照画素に用いて前記画素ブロックを予測するように構成される複数方向予測部；前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び
符号化データを生成するために、前記画素ブロックの画像信号と、少なくとも前記第２予測信号との差を表す予測残差信号を符号化するように構成される符号化部；を具備する画像符号化装置を提供する。

本発明の第２の観点によると、画像信号のフレームを分割した複数の画素ブロックの各々に対応する予測残差信号を生成するために、前記予測残差信号を含む符号化データを復号するように構成される復号部；前記画素ブロックに対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、復号済み画素を参照画素に用いて前記画素ブロックを予測するように構成される複数方向予測部；前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び前記予測残差信号と、少なくとも第２予測信号を用いて復号画像信号を生成するように構成される生成部；を具備する画像復号化装置を提供する。

本発明の第３の観点によると、入力画像信号のフレームを分割した複数の符号化対象画素ブロックの各々をさらに分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択するように構成される第１の選択部；前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択するように構成される第２の選択部；前記符号化対象画素ブロックに対応する複数の予測信号を生成するために、前記第１予測モードに従って前記符号化対象画素ブロックを前記サブブロック単位で予測するように構成される第１の予測部；参照予測モードを生成するために、前記第２予測モードに従って予測される符号化済み画素ブロックに対応する前記第２予測モードを利用して前記第１予測モードを予測するように構成される第２の予測部；前記第１予測信号を前記複数の予測モードの予測方向と、前記符号化対象画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；前記符号化対象画素ブロックに対応する一つの第２予測信号を生成するために、前記重み係数に従って加重平均するように構成される加重平均部；及び前記符号化対象画素ブロックの画像信号と前記第２予測信号との差を表す予測残差信号と、選択された予測順を示す情報、及び前参照予測モードに基づいて生成される、前記第１予測モードを表すモード情報を符号化するように構成される符号化部；を具備する画像符号化装置を提供する。

本発明の第４の観点によると、画像信号のフレームを分割した複数の画素ブロック毎に、予測残差信号、選択された予測順を示す情報、及び第１予測モードを表すモード情報を生成するために前記符号化データを復号するように構成される復号部；復号対象画素ブロックを分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択するように構成される第１の選択部；前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択するように構成される第２の選択部；前記復号対象画素ブロックに対応する複数の予測信号を生成するために、復号されたモード情報によって示される第１予測モードに従って前記復号対象画素ブロックを前記サブブロック単位で予測するように構成される予測部；前記第１予測信号を前記複数の予測モードの予測方向と、前記復号対象画素ブロック中の予測画素と参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；前記復号対象画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び前記第２予測信号及び前記予測残差信号を用いて復号画像信号を生成するように構成される生成部；を具備する画像復号化装置を提供する。

［発明の効果］
本発明によれば、ブロック内におけるテクスチャが複数の方向性を有するような複雑なテクスチャ領域においても予測残差を小さくできる。また、予測方向が単一の単方向予測モードと予測方向が異なる複数方向予測モードを選択することが可能であり、さらに複数方向予測モードにおいては予測モードの予測方向と予測画素と前記参照画素との間の空間的距離とに応じて設定される重み係数に従って各予測モードに基づく予測信号を加重平均するため、予測残差を小さくすることができる。従って予測効率が向上し、結果として高い符号化効率を実現できる。

図１は、一実施形態に従う画像符号化装置を示すブロック図である。 図２Ａは、符号化対象フレームにおける符号化対象ブロック及び符号化済みブロックについて示す図である。 図２Ｂは、マクロブロックのブロックサイズを示す図である。 図３Ａは、８ｘ８画素ブロックを示す図である。 図３Ｂは、４ｘ４画素ブロックを示す図である。 図３Ｃは、８ｘ８／４ｘ４画素ブロックを示す図である。 図４は、図１中の予測部の詳細を示すブロック図である。 図５は、図１中の予測信号生成部の詳細を示すブロック図である。 図６Ａは、８ｘ８画素ブロックとブロックインデックスを示す図である。 図６Ｂは、図６Ａのブロックに対する順次予測による予測順を示す図である。 図７Ａは、４ｘ４画素ブロックとブロックインデックスを示す図である。 図７Ｂは、図７Ａのブロックに対する予測順を示す図である。 図８Ａは、単方向予測部における予測モードについて示す図である。 図８Ｂは、４ｘ４画素予測における予測画素と参照画素との関係を示す図である。 図８Ｃは、モード０における予測信号生成方法を説明する図である。 図８Ｄは、モード４における予測信号生成方法を説明する図である。 図９は、単方向予測部における予測モードの名称とモードインデックスを示す図である。 図１０は、双方向予測部における予測モードの名称とモードインデックスを示す図である。 図１１は、図５中の双方向予測部の詳細を示すブロック図である。 図１２Ａは、４ｘ４画素予測における垂直下／水平右予測（モード０１）の概念図である。 図１２Ｂは、４ｘ４画素予測における垂直下／対角右下予測（モード０４）の概念図である。 図１３は、４ｘ４画素ブロックに対する予測画素の位置を説明する図である。 図１４Ａは、４ｘ４画素ブロックにおける垂直下予測（モード０）の参照画素と予測画素のユークリッド距離の関係を示す図である。 図１４Ｂは、４ｘ４画素ブロックにおける水平右予測（モード１）の参照画素と予測画素のユークリッド距離の関係を示す図である。 図１４Ｃは、４ｘ４画素ブロックにおける対角右下予測（モード４）の参照画素と予測画素のユークリッド距離の関係を示す図である。 図１４Ｄは、４ｘ４画素ブロックにおける水平下予測（モード６）の対する参照画素と予測画素のユークリッド距離の関係を示す図である。 図１５Ａは、４ｘ４画素ブロックにおける垂直下予測（モード０）の予測画素と信頼度の関係を示す図である。 図１５Ｂは、４ｘ４画素ブロックにおける水平右予測（モード１）の予測画素と信頼度の関係を示す図である。 図１５Ｃは、４ｘ４画素ブロックにおける対角右下予測（モード４）の予測画素と信頼度の関係を示す図である。 図１５Ｄは、４ｘ４画素ブロックにおける水平下予測（モード６）の予測画素と信頼度の関係を示す図である。 図１６Ａは、４ｘ４画素ブロックにおける垂直下／水平右予測（モード１０）の際の、予測画素と垂直下予測（モード０）に割り当てられる予測係数の関係を示す図である。 図１６Ｂは、４ｘ４画素ブロックにおける垂直下／水平右予測（モード１０）の際の、予測画素と水平右予測（モード１）に割り当てられる予測係数の関係を示す図である。 図１７Ａは、予測モードの信頼度をモデル化する片側ガウス分布を示す図である。 図１７Ｂは、予測モードの信頼度をモデル化する片側ラプラス分布を示す図である。 図１８は、予測モードの信頼度からユークリッド距離を算出するテーブルを示す図である。 図１９は、予測モードの信頼度をモデル化した市街地距離と重み係数の関係を示す図である。 図２０は、図１９の重み係数の計算に用いるテーブルを示す図である。 図２１は、予測モードの信頼度をモデル化した市街地距離と重み係数の関係を示す図である。 図２２は、図２１の重み係数の計算に用いるテーブルを示す図である。 図２３は、重み係数の計算に用いるテーブルを示す図である。 図２４は、予測モードの信頼度をモデル化したユークリッド距離と重み係数の関係を示す図である。 図２５は、図２４の重み係数の計算に用いるテーブルを示す図である。 図２６は、予測モードの信頼度をモデル化した空間距離を示すインデクスについて示す図である。 図２７は、予測モードの信頼度をモデル化した空間距離と信頼度の関係を示す図である。 図２８は、予測モードの信頼度をモデル化した空間距離と重み係数の関係を示す図である。 図２９は、図２８の重み係数の計算に用いるテーブルを示す図である。 図３０は、一実施形態に従う画像符号化の処理手順を示すフローチャートである。 図３１は、図３１の一部の処理手順を詳細に示すフローチャートである。 図３２は、画像符号化部において用いられるシンタクス構造の一例を示す図である。 図３３は、マクロブロックレイヤシンタクスのデータ構造の一例を示す図である。 図３４は、マクロブロックプレディクションシンタクスのデータ構造の一例を示す図である。 図３５は、４ｘ４画素予測の二つの予測モードについて説明する図である。 図３６は、図３５の二つの予測モードの組み合わせを示す図である。 図３７は、二つの予測モードを表すモードインデックスに対する符号の割り当てを示す図である。 図３８は、複数の予測モードが選択された場合に各予測モードのモードインデックスを符号化する手順を示すフローチャートである。 図３９は、マクロブロックプレディクションシンタクスのデータ構造の一例を示す図である。 図４０は、マクロブロックプレディクションシンタクスのデータ構造の一例を示す図である。 図４１は、予測モードの導出方法について示す図である。 図４２は、予測モードを予測時に参照するブロック位置について示す図である。 図４３は、マクロブロックプレディクションシンタクスのデータ構造の一例を示す図である。 図４４は、シーケンスパラメータセットシンタクスのデータ構造の一例を示す図である。 図４５は、ピクチャパラメータセットシンタクスのデータ構造の一例を示す図である。 図４６は、スライスヘッダシンタクスのデータ構造の一例を示す図である。 図４７は、マクロブロックレイヤシンタクスのデータ構造の一例を示す図である。 図４８は、マクロブロックプレディクションシンタクスのさらに別の例を示す図である。 図４９は、図１中の予測信号生成部の詳細を示すブロック図である。 図５０Ａは、図６Ａのブロックに対する外挿／内挿ブロック予測による予測順の変更例を示す図である。 図５０Ｂは、図６Ａのブロックに対する他の予測順の変更例を示す図である。 図５１Ａは、図７Ａのブロックに対する外挿／内挿ブロック予測による予測順の変更例を示す図である。 図５１Ｂは、図７Ａのブロックに対する他の予測順の変更例を示す図である。 図５２は、予測順切替部において用いられる予測順テーブルを説明する図である。 図５３Ａは、８ｘ８画素ブロックに対する外挿／内挿ブロック予測を説明する図である。 図５３Ｂは、４ｘ４画素ブロックに対する外挿／内挿ブロック予測を説明する図である。 図５４Ａは、外挿ブロック予測における参照画素と予測画素の位置関係を示す図である。 図５４Ｂは、４ｘ４画素予測における内挿ブロック（１）と参照画素との関係を示す図である。 図５４Ｃは、４ｘ４画素予測における内挿ブロック（２）と参照画素との関係を示す図である。 図５４Ｄは、４ｘ４画素予測における内挿ブロック（３）と参照画素との関係を示す図である。 図５５Ａは、外挿ブロック予測において垂直予測（モード０）が選択された場合の予測信号生成方法を説明する図である。 図５５Ｂは、外挿ブロック予測において対角右下予測（モード４）が選択された場合の予測信号生成方法を説明する図である。 図５６は、単方向予測部における内挿ブロック予測の予測モードについて示す図である。 図５７は、単方向予測部における内挿ブロック予測で行われる単方向予測の予測モードについて示す図である。 図５８Ａは、単方向予測部において内挿ブロック（１）について選択可能な予測モードを示す図である。 図５８Ｂは、単方向予測部において内挿ブロック（２）について選択可能な予測モードを示す図である。 図５８Ｃは、単方向予測部において内挿ブロック（３）について選択可能な予測モードを示す図である。 図５８Ｄは、単方向予測部において外挿ブロック（４）について選択可能な予測モードを示す図である。 図５９Ａは、逆方向垂直予測（モード９）における内挿ブロック（１）の予測信号生成方法を説明する図である。 図５９Ｂは、逆方向垂直予測（モード９）における内挿ブロック（２）の予測信号生成方法を説明する図である。 図６０Ａは、逆方向水平予測（モード１０）における内挿ブロック（１）の予測信号生成方法を説明する図である。 図６０Ｂは、逆方向水平予測（モード１０）における内挿ブロック（３）の予測信号生成方法を説明する図である。 図６１Ａは、対角左値予測（モード１２）における内挿ブロック（１）の予測信号生成方法を説明する図である。 図６１Ｂは、対角左値予測（モード１２）における内挿ブロック（１）の予測信号生成方法を説明する図である。 図６１Ｃは、対角左値予測（モード１２）における内挿ブロック（２）の予測信号生成方法を説明する図である。 図６２は、双方向予測部における内挿ブロック予測の予測モードの名称とモードインデックスを示す図である。 図６３は、一実施形態に従う画像符号化の処理手順を示すフローチャートである。 図６４は、マクロブロックプレディクションシンタクスのデータ構造の例を示す図である。 図６５は、予測モードを符号化インデックスに変換する式を説明する図である。 図６６は、復号したインデックスを予測モードに逆変換する式を説明する図である。 図６７は、予測モードを符号化インデックスに変換するテーブルを説明する図である。 図６８は、内挿ブロック（１）、（２）及び（３）と外挿ブロック（４）に対して利用可能な予測モードの名称とモードインデックスを示す図である。 図６９は、マクロブロックレイヤシンタクスのデータ構造の一例を示す図である。 図７０は、シーケンスパラメータセットシンタクスのデータ構造の一例を示す図である。 図７１は、ピクチャパラメータセットシンタクスのデータ構造の一例を示す図である。 図７２は、スライスヘッダシンタクスのデータ構造の一例を示す図である。 図７３は、マクロブロックレイヤシンタクスのデータ構造の一例を示す図である。 図７４は、マクロブロックプレディクションシンタクスのさらに別の例を示す図である。 図７５は、一実施形態に従う画像復号化装置を示すブロック図である。 図７６は、図７５中の予測信号生成部の詳細を示すブロック図である。 図７７は、図７６中の双方向予測部の詳細を示すブロック図である。 図７８は、一実施形態に従う画像復号化装置を示すブロック図である。 図７９は、図７５中の予測信号生成部の詳細を示すブロック図である。 図８０Ａは、外挿／内挿ブロック予測時のサブブロックの名称表記を示す図である。 図８０Ｂは、外挿／内挿ブロック予測時のサブブロックの名称表記を示す図である。 図８１は、順次ブロック予測の予測モードセットを示す図である。 図８２は、外挿／内挿ブロック予測で８ｘ８画素予測の場合、かつ予測順がＤ→Ｂ→Ｃ→Ａとなる場合の予測モードセットを示す図である。 図８３は、外挿／内挿ブロック予測で８ｘ８画素予測の場合、かつ予測順がＤ→Ｃ→Ｂ→Ａとなる場合の予測モードセットを示す図である。 図８４は、画素ブロックの予測順と予測モードセットの対応関係を示す図である。 図８５は、マクロブロックレイヤシンタクスのデータ構造の他の例を示す図である。 図８６Ａは、４ｘ４画素予測の手順を示す図である。 図８６Ｂは、４ｘ４画素予測の手順を示す図である。 図８７は、符号化予測モードと参照予測モードとの差を表す予測残差信号についてのシンタクスのデータ構造の一例を示す図である。 図８８Ａは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図８８Ｂは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図８９Ａは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図８９Ｂは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９０Ａは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９０Ｂは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９０Ｃは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９０Ｄは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９１は、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９２Ａは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９２Ｂは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９２Ｃは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９２Ｄは、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９３は、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合の参照予測モードの導出方法を示す図である。 図９４は、画素ブロックにおける予測及び符号化手順を示すフローチャートである。 図９５は、図９４における予測モードの符号化コストの算出方法を示すフローチャートである。 図９６は、４ｘ４画素ブロック予測の場合のサブブロック及び８ｘ８画素ブロック予測の場合のサブブロック左上端画素位置を示す図である。 図９７Ａは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９７Ｂは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９８Ａは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９８Ｂは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９８Ｃは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９８Ｄは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９９Ａは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図９９Ｂは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図１００Ａは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図１００Ｂは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図１００Ｃは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図１００Ｄは、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の参照画素ブロックの相対位置を導出するためのテーブルを示す図である。 図１０１は、符号化予測モードと参照予測モードとの差を表す予測残差信号についてのシンタクスのデータ構造の一例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。
＜第１の実施形態：画像符号化装置＞
図１に示されるように、本発明の一実施形態に従う画像符号化装置では、動画像または静止画像の入力画像信号１２０が画像符号化部１００に入力される。画像符号化部１００はフレーム分割部１０１、予測部１０２、モード選択部１０３、直交変換／量子化部１０４、逆量子化／逆直交変換部１０５、加算器１０６、参照画像メモリ１０７及びエントロピー符号化部１０８を有する。図１の画像符号化装置は、ＬＳＩチップなどのハードウェアにより実現されるか、あるいはコンピュータにおいて画像符号化プログラムの実行によって実現される。

符号化制御部１１０は、画像符号化部１００の符号化処理全般を制御するために符号化制御情報１４０を画像符号化部１００に与え、また画像符号化部１００からフィードバック情報１５０を適宜受け取る。符号化制御情報１４０には、後述する予測モードインデックス情報、ブロックサイズ切替情報、予測順切替情報、予測モード数切替情報、量子化パラメータ情報及び重み係数情報などが含まれる。量子化パラメータ情報は、量子化幅（量子化ステップサイズ）及び量子化マトリクスなどの情報を含む。フィードバック情報１５０には、量子化パラメータの決定に必要な、画像符号化部１００での発生符号量情報が含まれる。

画像符号化部１００内では、入力動画像信号１２０はフレーム分割部１０１に入力される。フレーム分割部１０１では、入力画像信号１２０の符号化対象フレームが複数の画素ブロックに分割されることによって、ブロック画像信号１２１が生成される。例えば、図２Ａの符号化対象フレームが図２Ｂのような１６ｘ１６画素／ブロックのサイズの複数ブロックに分割される。図２Ｂのブロックはマクロブロックと呼ばれ、これが符号化の基本的な処理単位となる。すなわち、符号化はマクロブロック単位で行われる。

フレーム分割部１０１から出力されるブロック画像信号１２１は、まず予測部１０２によってフレーム予測が施される。フレーム内予測は、既に知られているようにフレーム内で閉じた予測を行う方式である。予測部１０２は、符号化済みの画素を参照画素として用いて符号化対象ブロックを予測することによって予測信号１２２を生成する。

予測部１０２では、フレーム内予測のための複数の予測モードが用意されており、選択可能な全ての予測モードに従って予測を行う。ここで予測モードとは、既に符号化済みの画素から空間内の特定の方向に従って予測を行い、予測信号を生成する方向予測モードを示す。予測部１０２は、Ｈ．２６４のイントラ予測、すなわち図３Ａの８ｘ８画素予測、図３Ｂの４ｘ４画素予測、あるいは図３Ｃの８ｘ８／４ｘ４画素予測（マクロブロック内で８ｘ８画素予測と４ｘ４画素予測が混在する）を行う予測モードを有していてもよい。このようなＨ．２６４のイントラ予測では、マクロブロック内で局部復号画像を作成しないと次の予測を行うことができない。この場合は、予測部１０２の内部で直交変換／量子化、逆量子化／逆直交変換を行ってもよい。

８ｘ８画素予測及び４ｘ４画素予測では、それぞれマクロブロックを８ｘ８画素ブロック及び４ｘ４画素ブロックのサブブロックに分割するが、サブブロックの形状（サイズを含む）は特に限定されない。例えば、サブブロックの形状は１６ｘ８画素、８ｘ１６画素、８ｘ４画素、４ｘ８画素といった形状でもよい。従って、８ｘ４画素予測や２x２画素予測も同様の枠組みで実現が可能である。

サブブロックのブロックサイズを小さくすると、すなわちマクロブロックの分割数が増えると、後述するブロックサイズ切替情報を符号化する際の符号量が増加するが、より予測効率の高いフレーム内予測が可能となるため、予測残差が削減される。従って、後述する変換係数情報の符号量と局所復号信号とのバランスを考慮して、ブロックサイズを選択すればよい。また、領域分割手法で生成した任意形状の画素領域に対して、同様の処理を行ってもよい。

予測部１０２では、予測信号１２２とブロック画像信号１２１から予測信号１２２を差し引いた予測残差信号１２３が生成される。予測残差信号１２３は、直交変換／量子化部１０４とモード選択部１０３に入力される。直交変換／量子化部１０４では、予測残差信号１２３に対して直交変換が施され、更に直交変換によって得られる変換係数が量子化されることによって、量子化変換係数情報１２７が生成される。

直交変換／量子化部１０４における処理単位である変換／量子化ブロックの形状に関しても、８ｘ８画素、４ｘ４画素、１６ｘ８画素、８ｘ１６画素、８ｘ４画素、４ｘ８画素といった形状を選択できる。あるいは変換／量子化ブロックの形状を一つのマクロブロック内で異ならせ、例えば図３Ｃに示されるようにマクロブロック内に８ｘ８画素ブロックと４ｘ４画素ブロックとが混在するようにしてもよい。

モード選択部１０３では、予測残差信号１２３と予測部１０２を経て入力される予測モードインデックス情報、ブロックサイズ切替情報、予測順切替情報及び予測モード数切替情報といった予測モードに関する情報（以後、予測モードインデックス情報、ブロックサイズ切替情報、予測順切替情報及び予測モード数切替情報を予測モード情報と総称する）１２４を基に符号化コストを算出し、それに基づいて最適な予測モードを選択する。

より具体的には、モード選択部１０３は例えば予測モード情報１２４をＯＨ、予測残差信号の絶対和（sum of absolute value）をＳＡＤとすると、次式により算出される符号化コストＫの最小値を与える予測モードを最適モードとして選択する。

ここで、λは定数であり、量子化パラメータの値に基づいて決められる。

モード選択部１０３におけるコスト計算の他の例として、予測モード情報ＯＨのみ、あるいは予測残差信号の絶対和ＳＡＤのみを用いてもよい。予測モード情報あるいは予測残差信号をアダマール変換したり、近似したりした値を利用してもよい。量子化幅、量子化パラメータを利用してコスト関数を作成してもよい。

コスト計算の更に別の例として、仮符号化部を用意し、各予測モードで生成された予測残差信号１２３を実際に符号化した場合の符号量と、符号化データを局部復号して得られる復号画像信号１３０とブロック画像信号１２１との間の二乗誤差を用いてもよい。この場合、次式により算出される符号化コストＪの最小値を与える予測モードを最適モードとして選択する。

ここで、Ｄはブロック画像信号１２１と復号画像信号１３０との間の二乗誤差を表す符号化歪みである。一方、Ｒは仮符号化によって見積もられた符号量を表している。

式（２）の符号化コストＪを用いた場合、予測モード毎に仮符号化と局部復号（逆量子化や逆直交変換）が必要となるため、処理量または回路規模が増大する。しかし、Ｊは正確な符号量と符号化歪みを反映するため、より最適な予測モードを選択することを可能とする。この結果、より高い符号化効率を得ることができる。式（２）では、符号化コストＪの計算に符号化歪Ｄ及び符号量Ｒを用いているが、Ｄ及びＲのいずれか一方のみを用いて符号化コストを算出してもよい。また、Ｄ及びＲを近似した値を用いてコスト関数を作成してもよい。

モード選択部１０３からは、選択した予測モードを表す最適予測モード情報１２５と、選択した予測モードに対応する予測信号１２６が出力される。最適予測モード情報１２５は、予測部１０２からの予測残差信号１２３と共に直交変換／量子化部１０４に入力される。直交変換／量子化部１０４は、最適予測モード情報１２５を参照して予測残差信号１２３に直交変換、例えば離散コサイン変換（ＤＣＴ）を施す。直交変換としては、他にウェーブレット変換や独立成分解析などを用いてもよい。直交変換／量子化部１０４において、直交変換により得られる変換係数は量子化され、量子化変換係数情報１２７が生成される。ここで、直交変換／量子化部１０４において量子化に必要とされる量子化幅などの量子化パラメータは、符号化制御部１１０からの符号化制御情報１４０に含まれる前記量子化パラメータ情報によって指示される。

量子化変換係数情報１２７は、符号化制御情報１４０に含まれる予測モードインデックス情報１４１、ブロックサイズ切替情報１４２、予測順切替情報１４３、予測モード数切替情報１４４及び量子化パラメータなどの予測に関する情報と共にエントロピー符号化部１０８に入力される。エントロピー符号化部１０８は、量子化変換係数情報１２７及び予測に関する情報に対して例えばハフマン符号化、ゴルム符号化あるいは算術符号化のようなエントロピー符号化を施し、符号化データ１４６を生成する。符号化データ１４６は多重化部１１１により多重化され、更に出力バッファ１１２を通して符号化ビットストリーム１４７として出力される。

量子化変換係数情報１２７は、逆量子化／逆直交変換部１０５にも入力される。逆量子化／逆直交変換部１０５は、量子化変換係数情報１２７を符号化制御部１１０からの量子化パラメータ情報に従って逆量子化し、逆量子化によって得られた変換係数に対して例えば逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を施すことによって、予測部１０２から出力される予測残差信号１２３と等価な予測残差信号１２８を生成する。

逆量子化／逆直交変換部１０５により生成された予測残差信号１２８は、加算器１０６においてモード選択部１０３からの予測信号１２６と加算されることにより、局部復号信号１２９が生成される。局部復号信号１２９は、参照画像メモリ１０６に蓄積される。参照画像メモリ１０７に蓄積された局部復号信号は参照画像信号１３０として読み出され、予測部１０２による予測残差信号１２３の生成の際に参照される。

符号化ループ（図１における予測部１０２→直交変換／量子化部１０４→逆量子化／逆直交変換部１０５→参照画像メモリ１３０→予測部１０２）は、符号化対象ブロックで選択可能な全ての予測モードに対する処理が終了すると一巡する。ある符号化対象マクロブロックに対して符号化ループの処理が終了すると、次の符号化対象ブロックのブロック画像信号１２１が予測部１０１に入力され、再び符号化が行われる。

符号化制御部１１０は、発生符号量のフィードバック制御や量子化パラメータ制御によるレート制御、符号化モード制御及び予測部の制御など符号化全体の制御を行う。

（第１の実施形態：予測部１０２について）
次に、図４を用いて予測部１０２について説明する。予測部１０２は、予測信号を生成する予測信号生成部１１３を有し、更にマクロブロックを分割した複数の小画素ブロック（サブブロックという）単位の予測を行うために、内部モード選択部１１４、内部直交変換／量子化部１１５、内部逆量子化／逆直交変換部１１６及び内部参照画像メモリ１１８を有する。

予測部１０２にブロック画像信号１２１が入力されると、予測信号生成部１１３により後述する単方向予測または後述する双方向予測による予測信号１２２が生成される。この際、予測信号生成部１１３には符号化制御部１１０から予測モードインデックス情報１４１、ブロックサイズ切替情報１４２、予測モード数切替情報１４４及び重み係数情報１４５といった予測モード情報が伝達される。予測信号生成部１１３は、各々の予測モードによる予測信号１２２に加えて、予測信号１２２に対応する予測モード情報１６１を生成する。

減算器１１９は、ブロック画像信号１２１から予測信号１１４を差し引いて予測残差信号１２３を生成する。内部モード選択部１１４は、予測信号生成部１１３を経て伝達されてくる予測モード情報１６１（予測モードインデックス情報１４１、ブロックサイズ切替情報１４２及び予測モード数切替情報１４４を含む）と予測残差信号１２３を基に予測モードの選択を行い、選択した予測モードを示す予測モード情報１２４を出力する。

予測残差信号１２３と内部モード選択部１１４から出力される予測モード情報１２４は、内部直交変換／量子化部１１５に入力される。内部直交変換／量子化部１１５では、予測モード情報１２４を参照して予測残差信号１２３に直交変換、例えばＤＣＴを施す。直交変換としては、他にウェーブレット変換や独立成分解析などを用いてもよい。内部直交変換／量子化部１１５において、直交変換により得られる変換係数は量子化され、量子化変換係数情報１６３が生成される。ここで、直交変換／量子化部１１５において量子化に必要とされる量子化幅などの量子化パラメータは、符号化制御部１１０からの符号化制御情報１４０に含まれる前記量子化パラメータ情報によって指示される。

量子化変換係数情報１６３は、内部逆量子化／逆直交変換部１１６に入力される。内部逆量子化／逆直交変換部１１６は、量子化変換係数情報１６３を符号化制御部１１０からの量子化パラメータ情報に従って逆量子化し、逆量子化によって得られた変換係数に対して例えばＩＤＣＴのような逆直交変換を施すことによって、予測残差信号１２３と等価な予測残差信号１６４を生成する。

内部逆量子化／逆直交変換部１１６により生成された予測残差信号１６４は、加算器１１７において内部モード選択部１１４からの予測信号１６２と加算されることにより、内部復号信号１６５が生成される。内部復号信号１６５は、内部参照画像メモリ１１８に蓄積される。

内部参照画像メモリ１１８に蓄積された局部復号信号は内部参照画像信号１６６として読み出され、予測信号生成部１１３による予測残差信号の生成の際に参照される。予測部１０２において全てのサブブロックにおける予測が完了すると、マクロブロックに対応する、予測信号１２２、予測残差信号１２３及び予測モード情報１２４が予測部１０２の外部へ出力される。

（第１の実施形態：予測信号生成部１１３について）
次に、図５を用いて予測信号生成部１１３について説明する。図５は、予測信号生成部１１３のうち予測信号１２２の生成に関わる部分のみを示している。入力されたブロック画像信号は、単方向予測部１７１及び双方向予測部１７２に入力される。

単方向予測部１７１及び双方向予測部１７２は、サブブロックに対応する予測信号を生成するために、それぞれにより選択された予測モードに従って符号化済み画素を参照してサブブロックを予測する。

すなわち、単方向予測部１７１は、予測モードインデックス情報１４１に基づいて、用意された複数の予測モードのうち一つの予測モードを選択する。単方向予測部１７１は、こうして選択した予測モード及びブロックサイズ切替情報１４２に従って、参照画像信号１６６を参照して予測信号を生成する。双方向予測部１７２は、予測モードインデックス情報１４１に基づいて、前記用意された複数の予測モードのうち２つの予測モードを選択する。双方向予測部１７２は、こうして選択した２つの予測モードとブロックサイズ切替情報１４２及び重み係数情報１４５に従って、参照画像信号１６６を参照して予測信号を生成する。単方向予測部１７１及び双方向予測部１７２から出力される予測信号は、予測モード数切替部１７３に入力される。

予測モード数切替部１７３は、予測モード数切替情報１４４に従って制御されることにより、単方向予測部１７１によって生成された予測信号及び双方向予測部１７２によって生成された予測信号のいずれかを選択し、選択した予測信号１２２を出力する。言い換えれば、予測モード数切替部１７３は予め定められた複数の予測モードの中から使用可能な予測モードの数を選択する。

図６Ａ、図６Ｂ、図７Ａ、図７Ｂを用いてサブブロックの符号化順について説明する。図６Ａは、８ｘ８画素予測におけるマクロブロック内のサブブロック（８ｘ８画素ブロック）の基準となるインデックス:blkを示している。同様に図７Ａは、４ｘ４画素予測におけるマクロブロック内のサブブロック（４ｘ４画素ブロック）のインデックス:blkを示している。図６Ｂでは、マクロブロックを４分割した８ｘ８画素ブロックについて順次予測及び符号化処理を行うよう順番付けしている。図７Ｂでは、マクロブロックを４分割した８ｘ８画素ブロックを考え、当該８ｘ８画素ブロック内を更に４分割した４ｘ４画素ブロックについて順次予測及び符号化処理を行うよう順番付けしている。

上述のサブブロックは、単方向予測部１７１または双方向予測部１７２に入力されることによって、各サブブロックに対応する予測信号が生成される。予測モード数切替部１７３は、予測モード数切替情報１４４が予測モード数“１”を示しているときは単方向予測部１７１により得られる予測信号を出力し、予測モード数切替情報１４４が予測モード数“２”を示しているときは双方向予測部１７２により得られる予測信号を出力する。予測モード数切替部１７３から出力される予測信号は、予測信号生成部１１３の出力１２２として取り出される。

次に、単方向予測部１７１及び双方向予測部１７２の処理について説明する。前述したように、単方向予測部１７１及び双方向予測部１７２は、図４中に示した内部参照画像メモリ１１８に保持されている既に復号済みの画素を参照画像信号１６６として用いて符号化対象のサブブロックの予測を行う。

（単方向予測部１７１の処理）
単方向予測部１７１における予測モードとしては、例えばモード０からモード８までの９つが存在する。図８Ａに示されるように、モード２を除く８つのモード（モード０、モード１、モード３〜８）は、入力画像信号１００のなす画像空間内において２２．５度間隔でシフトした予測方向（符号化済み画素を参照する方向）を持ち、方向予測モードと呼ばれる。モード２は、単方向予測部１７１ではＤＣ予測モードである。図９は、単方向予測部１７１における順次ブロック予測の予測モード:モード０〜８の名称を示しており、各名称にモード０〜８を表すモードインデックスが付けられている。

図８Ｂは、４ｘ４画素予測における予測画素と参照画素との関係を示している。図８Ｂにおいて画素Ａ〜Ｍは参照画素であり、画素ａ〜ｐは予測画素である。以下、図８Ａ、図８Ｂ、図８Ｃ及び図８Ｄを用いて具体的な予測方法を説明する。

単方向予測部１７１では、モード２のＤＣ予測が選択された場合、次式により予測画素ａ〜ｐの値が算出されることによって、予測信号が生成される。

ここで、ave (・)は（ ）内に示す参照画素の画素値（輝度値）の平均（平均画素値という）を示す。

（ ）内の参照画素の一部が利用できない場合は、利用できる参照画素のみの平均画素値が算出されることによって予測信号が生成される。利用できる参照画素が１つも存在しない場合は、予測信号生成部１１３では予測信号の最大輝度値の半分の値（８ビットなら１２８）が予測信号とされる。

モード２以外のモードが選択された場合、単方向予測部１７１は図８Ａで示される各予測方向に対して、参照画素を予測画素にコピーする、という予測方法を用いる。具体的に、モード０（垂直予測）が選択された場合の予測信号生成方法を次式に示す。

このモード０は、参照画素Ａ〜Ｄを利用できるときだけ選択することが可能である。モード０では、図８Ｃに示されるように参照画素Ａ〜Ｄが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測信号が生成される。

一方、モード４（対角右下予測）が選択されたときの予測信号生成方法を次式に示す。

モード４は、参照画素Ａ〜Ｄ及びＩ〜Ｍを利用できるときにのみ選択することが可能である。モード４では、図８Ｄに示されるように３タップのフィルタによって生成された値が右下４５度の方向にコピーされることによって、予測信号が生成される。

モード０、２、４以外の予測モードに関しても、同様の枠組みである。すなわち、予測方向に対して利用できる参照画素を予測方向に並ぶ予測画素にコピーするという手法により、予測信号が生成される。

（双方向予測部１７２の処理）
単方向予測は、ブロック内の画像における空間的方向性が一つという前提の下で予測信号を生成する。ブロック内の画像に２つ以上の空間的方向性がある場合には、このような前提が成り立たなくなるので、単方向予測のみでは予測残差信号が増大する傾向になる。そこで、２つ以上の空間的方向性がある場合は、単方向予測部１７１における９つの予測モード（ＤＣ予測も含む）のうち２つのモードを双方向予測部１７２において同時に使用することにより、複数の空間的方向性を考慮した予測を行い、予測残差信号の増大を抑制する。

図１１を用いて双方向予測部１７２について説明する。双方向予測部１７２は、第１単方向予測部１７５と第２単方向予測部１７６及び加重平均部１８０を有する。単方向予測部１７５及び１７６は、図５に示す単方向予測部１７１と同様である。単方向予測部１７５及び１７６は、予測モードインデックス情報１４１に従ってそれぞれ異なる予測モードが設定され、設定された予測モードにより符号化対象ブロックを予測する。すなわち、単方向予測部１７５及び１７６では、予測モード及びブロックサイズ切替情報１４２に従って参照信号１６６を参照して予測信号１８１及び１８２を生成する。

単方向予測部１７５及び１７６によって生成された予測信号１８１及び１８２は、加重平均部１８０に入力される。加重平均部１８０では、例えば符号化制御部１１０から与えられる重み係数情報１４５に従って予測信号１８１及び１８２を画素単位に加重平均することにより、予測信号１２２を生成する。但し、第１単方向予測部１７５については、図５に示す単方向予測部１７１と同一の処理を行うことで省略が可能である。この場合、単方向予測部１７１から出力される予測信号１８１と第２単方向予測部１７６から出力される予測信号１８２が加重平均部１８０に入力される。

図１０は、双方向予測部１７２における予測モードの名称と対応するモードインデックスを示している。図１０では、２つのモードを使用する予測モードが存在している。例えば、垂直下予測（モード０）と水平右予測（モード１）を使用する予測モードの名称及びモードインデックスをそれぞれ「垂直下／水平右予測」及び「モード０１」と表記している。また、例えば垂直下予測（モード０）とＤＣ予測（モード２）を使用する予測モードの名称及びモードインデックスを「垂直下／ＤＣ予測」及び「モード０２」と表記する。

例として、垂直下予測（モード０）と水平右予測（モード１）を使用した垂直下／水平右予測による予測信号生成方法を説明する。図１２Ａは、４ｘ４画素予測における垂直下／水平右予測（モード０１）の概念を示している。４ｘ４画素予測における予測画素と参照画素との関係は図８Ｂと同様である。例えば、予測画素ａでは垂直予測において参照する画素Ａと水平予測において参照する画素Ｉとの加重平均画素値を予測信号とする。予測画素ｂでは、垂直予測における参照画素Ｂと対角右下予測における参照画素Ｉとの加重平均画素値を予測信号とする。他の予測画素についても、同様の方法で予測信号が生成される。

具体的に、垂直下／水平右予測（モード０１）では次式を用いて予測信号を計算する。

ここで、ｎは図８Ｂで示される予測画素ａ〜ｐに対応するインデックス（予測画素位置）を表す。Ｘ(0,n）及びＸ(1,n)は、それぞれ予測画素位置ｎにおいて単方向予測である垂直予測及び水平予測によって生成される予測信号である。ω_０(n)及びω_１(n)は、それぞれモード０及びモード１における予測画素位置ｎに対応する重み係数である。予測信号Ｘ(0,n)及びＸ(1,n)の具体的な生成方法は、式（４）及び式（５）示された手法と同様であるので、説明を省略する。

一方、垂直下／ＤＣ予測（モード０２）では、次式を用いて予測信号Ｘ(02,n)を計算する。

垂直下／対角右下予測（モード０４）では、次式を用いて予測信号Ｘ(04,n)を計算する。

図１２Ｂは、モード０４における予測方法の概念を示している。

モード０１及びモード０２以外の複数方向の予測についても、同様に予測信号を計算することができる。以上述べた複数方向の予測は、以下の一般式で表わされる。

ここで、X(U, n)及びX(V, n)はそれぞれ単方向予測の予測モード“Ｕ”及びモード“Ｖ”であり、X(UV, n)は双方向予測の予測モード“ＵＶ”の予測信号である。ω_U(n)及びω_V(n)は、それぞれ予測モード“Ｕ”及び予測モード“Ｖ”における予測画素位置ｎに対応する重み係数であり、下式の条件を満たす。

次に、加重平均部１８０において加重平均の際に用いる各予測モードにおける重み係数の設定方法を説明する。重み係数は、前述したように例えば符号化制御部１１０から双方向予測部１７２内の加重平均部１８０に重み係数情報１４５が与えられることによって設定される。すなわち、本実施形態では例えば符号化制御部１１０が重み係数を算出して設定する重み係数設定部の機能を有するものとする。なお、重み係数設定部は符号化制御部１１０以外の箇所、例えば図１１の双方向予測部１７２内に設けられていても良い。さらに、重み係数設定部はＲＯＭによるテーブルによって実現されていても良い。

一般に、予測画素の予測精度は予測画素と参照画素との間の空間的距離が大きくなればなるほど低下する。一方、参照画素との間の空間的距離が小さい予測画素は参照画素との相関が高いため、容易に高い予測精度が得られる。従って、参照画素との間の空間的距離が大きい予測画素に対応する予測残差信号は、空間的距離が小さい予測画素に対応する予測残差信号に比べて増大する。そこで、予測モードの予測方向及び参照画素と予測画素との間の空間的距離を考慮して重み係数を画素単位に切り替える。

以下、重み係数の具体的な導出方法を以下に示す。まず、全ての予測モードについて予測画素と参照画素との間の空間的距離を考慮した信頼度、より詳しくは予測画素に対する各予測モードにより得られる予測信号の信頼度を設定する。信頼度は、例えば対応する予測モードが使用する参照画素と予測画素との間のユークリッド距離の逆数で表す。垂直予測（モード０）の場合、式（４）に示すように予測画素a, e, i, mは参照画素Ａの値をコピーするので、信頼度は参照画素Ａと予測画素a, e, i, mとの間のユークリッド距離の逆数として、それぞれ1, 1/2, 1/3, 1/4となる。以下に、垂直予測（モード０）の信頼度を示す。

図１４Ａは、モード０における参照画素と対応するユークリッド距離の関係、図１５Ａはモード０における予測画素と信頼度との関係を示す。ここで、図１５Ａにおける画素位置（i, j）の予測画素ａ〜ｐの関係は図１３に示されている。

水平予測モード（モード１）の信頼度は、以下のように表される。

図１４Ｂは、モード１における参照画素と対応するユークリッド距離の関係、図１５Ｂにモード１における画素位置と信頼度との関係をそれぞれ示している。

対角右下予測（モード４）の信頼度は、以下のように表される。

モード４では式（５）に示されるように３タップのフィルタによって生成された値を予測信号としてコピーしている。従って、参照画素は３画素存在することになる。本実施形態では、図１４Ｃに示すように使用する３画素のうち中央の画素を参照画素の代表として、ユークリッド距離を求める。図１５Ｃは、モード４における画素位置と信頼度との関係を示す。

水平下予測（モード６）の信頼度は以下のように表される。

モード６では、a, e, i, m, c, g, k, oの画素については予測角度に従って仮想的に位置する参照画素から予測画素のユークリッド距離を求める（図１４Ｄ）。例えば、aとgの画素については参照画素ＭとＩの中間位置に仮想的な参照画素を配置する。図１５Ｄは、モード６における画素位置と信頼度との関係を示す。

他の予測モードにおいても、各予測画素の予測信号の信頼度は予測画素と予測に用いる参照画素との間のユークリッド距離の逆数で表され、以下の式で一般化される。

ここで、ρ(n)は予測画素位置ｎにおける信頼度、Δx, Δyは予測画素と参照画素との間の水平方向及び垂直方向の距離である。Ａは定数（Ａ＞０）である。

双方向予測においては、同じ予測画素に対する２つの予測モードの信頼度の和を分母とし、各予測モードの信頼度を分子とした値を加重平均のための重み係数として用いる。例えば、垂直下予測（モード０）と水平右予測（モード１）による双方向予測を行う垂直下／水平右予測（モード０１）の場合、予測画素ａにおける重み係数は下式により表される。

従って、予測画素ａに対する予測信号（予測値）は下式により表される。

一方、予測画素ｂにおける重み係数は下式により表される。

従って、予測画素ａに対する予測信号は下式により表される。

以下、同様にその他の予測画素c 〜 pに対する予測信号は、下式により表される。

図１６Ａ及び図１６Ｂは、それぞれモード０及びモード１における画素位置毎の重み係数を示している。各予測モードに関する重み係数は、下式で一般化される。

ここで、ρ（Ｕ，ｎ）は予測モードＵにおける予測画素位置ｎの予測信号の信頼度、ρ（Ｖ，ｎ）は予測モードＶにおける予測画素位置ｎの予測信号の信頼度を表している。従って、予測画素位置ｎの最終的な予測信号は、式（９）に代わって下式で示される。

別の実施形態として、重み係数を０若しくは正の整数として、且つ重み係数の和を２のべき乗（指数をＮと表す）でしてもよい。このようにすると、丸めによる演算誤差が発生するものの、予測信号を整数演算のみで容易に算出することが可能である。この場合の双方向予測は、以下の一般式で表される。

但し、ω_U(n)、ω_V(n)は整数値、OFFSETはそれぞれ予測信号を計算する際のオフセット値であり、下式で表される。

また重み係数は、下式の条件を満たす。

また、重み係数ω_U(n)、ω_V(n)の整数化には下式を用いる。

例として、Ｎ＝６の場合の垂直下／水平右予測（モード０１）における予測画素a〜ｐの予測信号を、式（１７）、式（１９）及び式（２０）に代わって下式で表す。

本実施形態では、一つの予測画素に対して２つの予測モードを選択して予測信号を生成しているが、別の実施形態として３つ以上の予測モードを選択して予測信号を生成してもよい。この場合、参照画素と予測画素との間の空間的距離の逆数の比を重み係数と設定すれば良い。

ここでは、予測モードが使用する参照画素と予測画素との間のユークリッド距離の逆数をそのまま信頼度としているが、別の例として当該ユークリッド距離を変数とした分布モデルを用いて信頼度を設定しても良い。分布モデルは線形モデルやＭ次関数（Ｍ≧１）、片側ラプラス分布や片側ガウス分布といった非線形関数、ある固定値を参照画素との距離に依らず固定値、のうち少なくとも一つを用いる。片側ガウス分布をモデルとして用いた場合、信頼度は下式で表される。

ここで、ρ(n)は予測画素位置ｎにおける予測信号の信頼度、σ²は分散、Ｂは定数（Ｂ＞０）である。片側ガウス分布を用いた場合の重み係数（Ｂ＝１）の例を図１７Ａに示す。

また、片側ラプラス分布をモデルとして用いた場合、信頼度は下式で表される。

ここで、σは標準偏差、Ｃは定数（Ｃ＞０）である。

片側ラプラス分布を用いた際の重み係数（Ｃ＝１）の例を図１７Ｂに示す。また、自己相関関数をモデル化した等方相関モデル、楕円相関モデル、ラプラス分布やガウス分布を一般化した一般化ガウスモデルを信頼度のモデルとして用いても良い。

他の例として、参照画素と予測画素との間のユークリッド距離と信頼度の関係を予めモデル化したテーブルを保持し、当該テーブルから重み係数を算出することも可能である。テーブル作成に関して図１８は例として説明する。図１８ではユークリッド距離ΔＬと式（１５）、（２８）及び（２９）の各モデルが示す信頼度を整数化したρ’(n, ΔＬ)のテーブルを示している。同テーブルにおいて信頼度は式（１５）、（２８）及び（２９）におけるＡ，Ｂ，Ｃを６４として整数化したものである。具体的には、それぞれ下式により算出される。

図１８に示すように、予測モードによって実際に取り得るユークリッド距離は異なる。４ｘ４画素予測の場合、図８Ａに示すモード０やモード１のように予測角度が９０度の定数倍となる場合、ユークリッド距離は整数値となる。モード３、モード４のように予測角度が（９０度の定数倍＋４５度）となる場合、ユークリッド距離は√２の倍数となる。また、モード５、モード６、モード７、モード８のように予測角度が（９０度の定数倍＋２２．５度）となる場合、ユークリッド距離は√５／２の倍数となる。

図１８に示すテーブルより重み係数を算出する場合、双方向予測に用いる２つの予測モード“Ｕ”及び“Ｖ”のユークリッド距離と対応する信頼度から下式の計算を行う。

ここで、ρ’（ｎ，ΔＬ_U）は予測モード“Ｕ”における予測画素位置ｎの予測画素と参照画素との間のユークリッド距離に対する重み係数、ρ’（ｎ，ΔＬ_V）は予測モード“Ｖ”における予測画素位置ｎの予測画素と参照画素との間のユークリッド距離に対する重み係数である。ω_U(n)及びω_Ｖ(n)を式（２３）に代入すれば、双方向予測による予測信号が生成される。また、Ａ，Ｂ，Ｃ及び式（３１）、式（３２）で示されるσは、他の値を表してもよい。

更に、式（３３）の処理を予めテーブル化して保持しておき、テーブル引きによって重み係数を算出してもよい。図１９に、４ｘ４画素予測の際の信頼度を式（３２）においてラプラス分布でモデル化した際の市街地距離ΔＬ_U,ΔＬ_v（それぞれ２〜８の値をとる）と、式（２３）に示す重み係数ω_U,ω_vとの関係を示す。（但し、Ｃ＝２５６）。この場合、重み係数ω_U,ω_vは、図２０に示すテーブルを用いて下式に従って算出される。

また、式（３２）において標準偏差を１．０として変更した市街地距離ΔＬ_U,ΔＬ_vと式（２３）に示す重み係数ω_U,ω_vとの関係を図２１に示す。この場合、この場合、重み係数ω_U,ω_vは図２２に示すテーブルdist2weightを用いて下式に従って算出される。更に、８ｘ８画素予測の場合においても、４ｘ４画素予測の場合と同様にテーブルを作成する。図２３に、ラプラス分布（標準偏差３．０）でモデル化したテーブルdist2weight8x8を示す。予め重み係数ω_U,ω_vは、図２３に示すテーブルを用いて下式に従って算出される。

また、ΔＬ_U,ΔＬ_vをユークリッド距離で表している場合は図１８に示したように√2及び√5の空間距離を考慮してテーブル(dist2weight’)を作成する。具体的には、式（３２）と同一の条件（ラプラス分布）の場合、市街地距離ΔＬ_U,ΔＬ_vと重み係数ω_U,ω_vとの関係は図２４に示され、図２５に示すようなテーブルdist2weight’から重み係数ω_U,ω_vが以下のように計算される。

但し、idx_u及びidx_vは空間距離のインデクスであり、具体的には図２６に従って変換される。

また、図２０及び図２２に示したテーブルdist2weight及びdist2weight8x8については、空間距離を量子化したり間引いたりすることで、テーブルを保持するメモリの容量を削減してもよい。

本実施形態では、参照画素と予測画素との間の空間的距離をユークリッド距離としていたが、別実施形態として、市街地距離や空間的距離を一般化したミンコフスキー距離を参照画素と予測画素との間の空間的距離として用いても良い。市街地距離を用いた場合の参照画素と予測画素との間の空間的距離を下式に表す。

また、ミンコフスキー距離を用いた場合の参照画素と予測画素との間の空間的距離を下式に表す。

ここで、ΔＬはｋ＝１の場合は市街地距離、ｋ＝２の場合はユークリッド距離とそれぞれ等価となる。

式（２９）に示す信頼度ρ(n)を以下のように置き換えても良い。

ここで、ρ_X(n),ρ_Y(n)はそれぞれ垂直方向に関する信頼度成分、水平方向に関する信頼度成分であり、異なるモデル分布もしくは予め設定された信頼度を記述したテーブルを適用することが可能である。具体的にρ_X(n),ρ_Y(n)は下式により示される。

ここで、σ_X,σ_Yはそれぞれ垂直方向及び水平方向に関する信頼度に用いる標準偏差である。ΔＬ_X,ΔＬ_Yはそれぞれ符号化対象画素と参照画素との間の距離の水平成分（水平距離成分）及び垂直成分（垂直距離成分）である。すなわち、符号化制御部１１０に含まれる重み係数設定部は、空間的距離を分離した水平距離成分ΔＬ_X及び垂直距離成分ΔＬ_Yのそれぞれについて距離成分毎の評価規則に従って距離成分ΔＬ_x,ΔＬ_Y毎の信頼度成分ρX(n),ρY(n)を求め、これらの信頼度成分ρX(n),ρY(n)を例えば式（３９）のように掛け合わせることで、以下のように信頼度ρ(n)を合成する。

ここで、ΔＬ_X,ΔＬ_Yは市街地距離であれば下式が成り立つ。

また、ΔＬ_X,ΔＬ_Yはユークリッド距離であれば下式が成り立つ。

上記モデル化された予測信頼度を一般化すると、下式のようになる。

但し、αは底、ａ,ｂはそれぞれΔＬ_X,ΔＬ_Yに対する重みである。

また、式（３９），（４０−１），（４０−２）及び（４１）によって予測信頼度を算出する際に、予測信頼度が最大となる値が設定されるように（ΔＬ_X,ΔＬ_Y＝０のときに信頼度はＢで最大となる）、以下のようにΔＬ_X,ΔＬ_Yをそれぞれ１減算して再設定し、それに基づき信頼度を算出してもよい。

別の例として、ρ_X(n),ρ_Y(n)に予め設定されたテーブルやラプラス分布、二項分布、ガウス分布、コーシー分布、指数分布といったモデル分布系を用いても良い。ラプラス分布とガウス分布の組合せによっても求まる信頼度は、下式のとおりである。

また、式（３０）〜（３２）と同様に、信頼度を距離の垂直成分及び水平成分と信頼度ΔＬ_X,ΔＬ_Yの関係を予めテーブル化して保持し、当該テーブルから重み係数を算出することも可能である。式（３）において、σ_V＝3.0，σ_H＝1.5，Ｂ＝256とした際のΔＬ_X,ΔＬ_Yと信頼度の関係を図２７に示す。

更に、式（３４）と同様に式（３３）の処理を予めテーブル化して保持しておき、テーブル引きによって重み係数を算出してもよい。図２７と同様の条件における重み係数のテーブルdist2weight_ovalを図２８及び図２９に示す。

双方向予測に使用するモードＵにおける距離ΔＬ_Uの垂直成分及び水平成分をそれぞれΔＬ_U,X，ΔＬ_U,Yとし、モードＶにおける距離ΔＬ_Vの垂直成分及び水平成分をそれぞれΔＬ_V,X，ΔＬ_V,Yとすると、重み係数は下式により算出できる。但し、本例においては、ΔＬ_U,X，ΔＬ_U,Y，ΔＬ_V,X，ΔＬ_V,Yは式（４６）に従ってそれぞれ０〜３の値をとるものとする。

８ｘ８画素予測の際も同様に、テーブル化して保持することで重み係数を算出することが可能である。

本実施形態では、画素ブロック単位に１種類の信頼度を適用しているが、別実施形態として、これらの信頼度候補をシーケンス毎、ピクチャ毎、スライス毎、マクロブロック毎、サブブロック毎といった単位毎に複数用意し、各単位で切り替えても良い。例えば、符号化ブロックに対して、式(１５)、式（２８）、式（２９）を信頼度の候補として、それぞれ適用し、式（１）若しくは式（２）の符号化コストが最小となるものを最終的な信頼度として適用しても良い。

他の実施形態として、双方向予測の一方がイントラ予測であり、もう一方がインター予測であってもよい。この場合、時間的距離を空間的距離に補正するような変換によって、上述と同様の信頼度が決定できる。具体的には、下式により変換される。

ここで、ΔＬ_tは参照画素と予測画素との時間的距離、α，βは定数である。

また、更に別の例として時空間距離を定義して、上述のユークリッド距離や市街地距離と置き換わっても良い。具体的には、下式により定義される。

ここで、ΔＬ_stは時空間距離、ｋは定数である。

本実施形態では、双方向予測を式（９）と表しているが、更に定数項を追加しても良い。この場合、式（９）は以下のように変更される。

Constは定数項であり、参照画素と符号化対象画素ブロックとの平均値の差によって設定される。参照画素と符号化対象ブロックでテクスチャの空間方向性に相関があっても、グラデーションなどで平均値が異なる場合、予測残差の増大を抑制することが可能となる。また、双方向予測の一方がイントラ予測であり、もう一方がインター予測である場合、インター予測において参照する参照ピクチャの平均輝度値と、当該ピクチャの平均輝度値とを補正するためにConstを設定しても良い。

また、上記信頼度から求まる予測モードの組合せ毎の重み係数を予め算出し，ROMによってテーブル化がされていてもよい。また、本実施形態では画素ブロック単位に１種類の重み係数を適用しているが、別実施形態として、これらのテーブル化された重み係数候補をシーケンス毎、ピクチャ毎、スライス毎、マクロブロック毎、サブブロック毎といった単位毎に複数用意し、各単位で切り替えても良い。例えば、符号化ブロックに対して、複数の信頼度の候補をそれぞれ適用し、式（１）若しくは式（２）の符号化コストが最小となるものを最終的な重み係数として適用しても良い。

このように本実施形態によれば、加重平均部１８０を含む予測信号生成部１１３を備えることにより、画素単位で暗黙的に重み係数を設定することが可能となる。従って、オーバヘッド情報を増加させることなく適切な加重平均を行って予測信号を生成することができる。この結果、予測残差は大幅に減少し、符号化効率が向上する。

（第１の実施形態：画像符号化の処理手順）
図３０を参照して画像符号化部１００の処理手順を説明する。画像符号化部１００に１フレーム分の入力画像信号１２０が入力されると（ステップＳ１０１）、フレーム分割部１０１によって入力画像信号１２０の符号化対象フレームが複数の画素ブロック（マクロブロック）に分割され、ブロック画像信号１２１が生成される。ブロック画像信号１２１に対して符号化が開始される（ステップＳ１０２）。ブロック画像信号１２１は、予測部１０２に入力される。

予測部１０２では、予測モード数切替情報１４４によってサブブロックについて単方向予測を行うか否かを判断する（ステップＳ１０３）。ここで単方向予測を行う場合（Ｓ１０３の結果がＹＥＳ）、単方向予測部１７１が予測を行い（ステップＳ１０４）、単方向予測を行わない場合（Ｓ１０３の結果がＮＯ）、双方向予測部１７２が予測を行う（ステップＳ１０５）。

ステップＳ１０４またはＳ１０５の予測が終了すると、マクロブロック内の総コスト（１）または（２）を式（１）及び式（２）から算出する（ステップＳ１０６またはＳ１０７）。ステップＳ１０６またはＳ１０７により算出された各総コストの比較を行い、予測手法を決定する（ステップＳ１０８）。こうして決定された予測手法で直交変換／量子化部１０４及びエントロピー符号化部１０８により符号化を行い、符号化データ１４６を出力する（ステップＳ１０９）。

このとき量子化変換係数情報１２７が逆量子化／逆直交変換部１０５により逆量子化及び逆直交変換が行われることによって、復号された予測残差信号１２８が生成される。復号された予測残差信号１２８とモード選択部１０３から入力される予測信号１２６が加算器１０６により加算されることによって局部復号信号１２９が生成される。局部復号信号１２９は、参照画像メモリ１０６に蓄積される。

入力動画像信号１２０の１フレーム分の予測符号化が終了しているか否かを判定する。（ステップＳ１１０）。予測符号化が終了している場合（Ｓ１１０の結果がＹＥＳ）、次の１フレームの入力画像信号１２０が入力され、再び予測符号化が行われる。一方、１フレームの予測符号化が終了していない場合（Ｓ１１０の結果がＮＯ）、ステップＳ１０２に戻って次のマクロブロック中のブロック画像信号１２１に対して予測符号化が行われる。

次に、図３１を用いて図３０におけるステップＳ１０４及びＳ１０５の予測処理の手順を説明する。
予測部１０２にブロック画像信号１２１が入力されると、まず予測信号生成部１１３にblk=０で示されるサブブロックをセットする（ステップＳ２０１）。更に、モード選択部１０３及び内部モード選択部１１４における予測モード及び符号化コストの初期化を行う（ステップＳ２０２）。例えば、予測モード:indexを０にセットし、最小符号化コスト:min_costを無限大にセットする。

次に、予測信号生成部１１３によってblk=０で示されるサブブロックに対して選択可能な１つのモードにより予測信号１２２を生成する（ステップＳ２０３）。ブロック画像信号１２１と予測信号１２２との差分をとって予測残差信号１２３を生成し、式（１）または式（２）に従って符号化コストを計算する（ステップＳ２０４）。

モード選択部１０３は、計算された符号化コストが最小符号化コスト:min_costより小さいか否かを判別し（ステップＳ２０５）、小さい場合（Ｓ２０５の結果がＹＥＳ）、計算された符号化コストで最小符号化コストを更新するとともに、その際の予測モード情報を最適予測モード情報であることを示すbest_modeインデックスとして保持する（ステップＳ２０６）。計算されたコストが最小符号化コスト:min_costより大きい場合（Ｓ２０５の結果がＮＯ）、モードインデックス:indexをインクリメントし、インクリメント後のindexがモードの最後の番号（MAX）より大きいか否かを判定する（ステップＳ２０７）。

indexがＭＡＸよりも大きい場合（Ｓ２０７の結果がＹＥＳ）、モード選択部１０３から最適予測モード情報１２５及び予測残差信号１２６を直交変換／量子化部１０４へ渡し、直交変換及び量子化を行う。直交変換／量子化部１０４により得られる量子化変換係数情報１２７をエントロピー符号化部１０８によって予測モードインデックス情報１４１と共にエントロピー符号化する（ステップＳ２０８）。一方、indexがＭＡＸよりも小さい場合（Ｓ２０７の結果がＮＯ）、ステップＳ２０３に戻って次のindexで示される予測モードの予測信号１２２を生成する。

best_modeでの符号化を行うと、内部直交変換／量子化部１１５により得られる量子化変換係数情報１６３を内部逆量子化／逆直交変換部１１６に渡し、逆量子化及び逆変換を行う。内部逆量子化／逆直交変換部１１６により生成される、復号された予測残差信号１６４を内部モード選択部１１４から入力されるbest_modeの予測信号１６２と内部加算器１１７により加算する。内部加算器１１７によって生成される内部復号信号１６５を内部参照画像メモリ１１８に保存する（ステップＳ２０８）。

当該ブロック符号化数:blkをインクリメントし、インクリメント後のblkの値がマクロブロック内の小ブロックの総数:BLK_MAX（４ｘ４画素予測であれば１６、８ｘ８画素予測であれば４）よりも大きいか否かを判断する（ステップＳ２０９）。インクリメント後のblkの値がBLK_MAXより大きい場合（Ｓ２０９の結果がＹＥＳ）、当該マクロブロック内での予測処理は終了する。一方、インクリメント後のblkがBLK_MAXよりも小さい場合（Ｓ２０９の結果がＮＯ）、ステップＳ２０２に戻って次のblkで示される小ブロックの予測処理を行う。

（第１の実施形態：シンタクス構造の第１の例）
次に、図３２を参照して画像符号化部１００において用いられるシンタクス構造の概略を説明する。
シンタクスは主にハイレベルシンタクス２０１、スライスレベルシンタクス２０４及びマクロブロックレベルシンタクス２０７という３つのパートからなる。ハイレベルシンタクス２０１では、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス２０４では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス２０７では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。

３つのパートは、更に細かく複数のシンタクスで構成される。すなわち、ハイレベルシンタクス２０１は、シーケンスパラメータセットシンタクス２０２及びピクチャパラメータセットシンタクス２０３という、シーケンスレベル及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス２０４は、スライスヘッダシンタクス２０５及びスライスデータシンタクス２０６を含む。マクロブロックレベルシンタクス２０７は、マクロブロックレイヤシンタクス２０８及びマクロブロックプレディクションシンタクス２０９を含む。

マクロブロックレイヤシンタクス２０８には、図３３に示されるようにマクロブロックタイプmb_typeが記述されている。

マクロブロックプレディクションシンタクス２０９には、図３４に示されるようにマクロブロック内のサブブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）毎の予測モード情報が明記されている。単方向予測については、複数の予測モードの中から使用するモードを示す予測モード情報をintra4x4(8x8)_pred_mode_l0あるいはintra4x4(8x8)_pred_mode_l1で表す。双方向予測については、予測モード情報は２つのシンタクスを備えている。ここでは、複数の予測モードの中から２種類の予測モードを選択する際のモードインデックスが小さい方（リスト０）の予測モードをintra4x4(8x8)_pred_mode_l0で示し、モードインデックスが大きい方（リスト１）の予測モードをintra4x4(8x8)_pred_mode_l1で示す。モードインデックスが大きい方（リスト０）の予測モードをintra4x4(8x8)_pred_mode_l0で示し、モードインデックスが小さい方（リスト１）の予測モードをintra4x4(8x8)_pred_mode_l1で示してもよい。

以下、４ｘ４画素予測が選択された場合のマクロブロックプレディクションシンタクスの構成について図３４を用いて説明する。
図３４中のintra4x4_bi_pred_flagは、当該４ｘ４画素ブロックに対して双方向予測を行うか、行わないかを切り替えるフラグである。すなわち、当該フラグintra4x4_bi_pred_flagのFALSEは当該４ｘ４画素ブロックが単方向予測であることを意味し、TRUEは当該４ｘ４画素ブロックが双方向予測であることを意味する。

以下、各シンタクスの詳細について説明する。
ブロックインデックスluma4x4Blkが示す４ｘ４画素ブロックを予測する場合、intra4x4_pred_mode_l0は用意された単方向予測の９種類の予測モードのうちどのモードを４ｘ４画素ブロックの予測に用いるかを示すデータとなる。intra4x4_pred_mode_l0を符号化する際は、予測モードの総数に応じてエントロピー符号化（ハフマン符号化、ゴルム符号化、あるいは算術符号化など）を行う。

intra4x4_bi_pred_flagがTRUEの場合、更にintra4x4_pred_mode_l1を符号化する。intra4x4_pred_mode_l1の符号化に関しては、intra4x4_pred_mode_l1はintra4x4_pred_mode_l0との間で同一の予測モードはなり得ないことを考慮して、intra4x4_pred_mode_l0の状態数から１を減じた数がintra4x4_pred_mode_l1のとり得るシンボルの状態数とする。この状態数を基に、エントロピー符号化を行う。

ここで、intra4x4_bi_pred_flagについては、これらを符号化してから符号化ストリームに多重化して伝送してもよい。一方、このような多重化及び伝送をせず、符号化済みブロック及び画素から計算されるアクティビティ情報によりintra4x4_bi_pred_flagの情報を示してもよい。この場合、復号側においても符号化側と同様の手法を用いることにより、intra4x4_bi_pred_flagの情報は符号化側と同一の情報が示される。

（複数の予測モードが選択された場合の好ましい例）
更に、intra4x4_pred_mode_l1を符号化する場合、intra4x4_pred_mode_l0に従って適応的にintra4x4_pred_mode_l1が取り得る値の最大値を予測し、この最大値を基にエントロピー符号化を行っても良い。この場合、図３５に示されるintra4x4_pred_mode_l0とintra4x4_pred_mode_l1は図３６の白抜き部分に示すような組合せとなる。図３６において細かいハッチング部分は重複部分であるため、エントロピー符号化のための符号を割り当てる必要は無い。また、図３６の粗いハッチング部分に示すようにintra4x4_pred_mode_l0とintra4x4_pred_mode_l1が等しい場合には、前記intra4x4_bi_pred_flagがFALSEとなり、符号が既に割り当てられているので、改めて符号を割り当てる必要は無い。

ここで、intra4x4_pred_mode_l1＜intra4x4_pred_mode_l0とおくと、intra4x4_pred_mode_l1の取り得る最大値はintra4x4_pred_mode_l0によって異なる。例えば、intra4x4_pred_mode_l0が２の場合、intra4x4_pred_mode_l1は０，１の２つでのみが取り得る値となり，その最大値は１となる。また、intra4x4_pred_mode_l0が８の場合、０〜７の８つが取り得る値となり，その最大値は７である。

以上のように、intra4x4_pred_mode_l0の値によってintra4x4_pred_mode_l1の取り得る最大値を予測し，決定することが可能である。

具体的な符号の割り当て方法を図３７に示す。図３７の数値は、intra4x4_pred_mode_l0とintra4x4_pred_mode_l1の組合せに従って設定されたバイナリ信号（０もしくは１）である。intra4x4_pred_mode_l0が０の場合には、intra4x4_pred_mode_l1が１しか取り得ないため、符号を割り当てる必要は無い。復号側では、intra4x4_pred_mode_l0を予め復号することで図３７に従ってintra4x4_pred_mode_l1を復号することが可能である。

以下、intra4x4_pred_mode_l1を復号するバイナリ信号を復号順序に従ってbinary[i] (i=0,1,2,..)とおいて、intra4x4_pred_mode_l0毎のintra4x4_pred_mode_l1の復号順序を説明する。具体的には、以下の式（５１）〜（５７）に従って復号すればよい。また、intra4x4_pred_mode_l0が１の場合はintra4x4_pred_mode_l1に関して復号の必要は無い。

intra4x4_pred_mode_l0が２の場合、１ビットのみを復号し、下式に従ってintra4x4_pred_mode_l1を復号する。

intra4x4_pred_mode_l0が４の場合、２ビットのみを復号し、下式に従ってintra4x4_pred_mode_l1を復号する。

intra4x4_pred_mode_l0が４の場合、３ビットのみを復号し、下式に従ってintra4x4_pred_mode_l1を復号する。

intra4x4_pred_mode_l0が３の場合には最初の１ビットのみを復号して、その復号値が０であればintra4x4_pred_mode_lを０と割り当てる。その復号値が1の場合、更に１ビットを復号しその値を１インクリメントした値をintra4x4_pred_mode_lとすれば良い。

intra4x4_pred_mode_l0が５の場合には最初の２ビットのみを復号して、その復号値((binary[0]<<1)+ binary[1])が２以下であればintra4x4_pred_mode_lを当該復号値で割り当てる。その復号値が３の場合、更に１ビットを復号し、その復号値を３インクリメントした値をintra4x4_pred_mode_lとすれば良い。

intra4x4_pred_mode_l0が6の場合には、最初の2ビット(binary[0], binary[1])のみを復号して、その復号値((binary[0]<<1)+ binary[1])が１以下であればintra4x4_pred_mode_lを当該シンボル値で割り当てる。その復号値が２以上の場合、更に１ビットbinary[2]を復号し、binary[1]およびbinary[2]）からintra4x4_pred_mode_lを算出する。

intra4x4_pred_mode_l0が7の場合には最初の2ビット(binary[0], binary[1])のみを復号して、その復号値((binary[0]<<1)+ binary[1])が1以下であればintra4x4_pred_mode_lを当該復号値で割り当てる。その復号値が2以上の場合、更に１ビットbinary[2]を復号し、((binary[1]<<1) + binary[2])が2以下の場合、（binary[1]およびbinary[2]）からintra4x4_pred_mode_lを算出する。また、(binary[1]<<1) + binary[2])が3の場合、（更に１ビットbinary[3]を復号しintra4x4_pred_mode_lを算出する。

他の例として、intra4x4_pred_mode_l1＞intra4x4_pred_mode_l0として図３７と同様の符号表を設計しても良い。この場合，intra4x4_pred_mode_l0の値から，intra4x4_pred_mode_l1が取り得る値の最小値を予測，決定する．また、先に述べたようにintra4x4_bi_pred_flagを使用しない場合には、intra4x4_pred_mode_l1とintra4x4_pred_mode_l0が等しい場合にも符号を割り当てればよい。

更に他の例として、設定するバイナリ信号は必ずしも図３７である必要はなく、等長符号、ゴロム符号及び指数ゴロム符号といったエントロピー２値化、もしくは予めテーブルを設定し、テーブル引きすることによってバイナリ信号を生成しても良い。

上記説明では、４ｘ４画素予測において同じ符号化対象ブロックに対してintra4x4_pred_mode_l0及びintra4x4_pred_mode_l1の２つの予測モードが選択された場合において、既に符号化された一方の予測モードから次に符号化する予測モードを予測して、予測モード情報を符号化する例について述べた。

以下では、図３８のフローチャートを用いて３つ以上の予測モードを含む複数の予測モードが選択された場合における予測モード情報（モードインデックス）の符号化手順について述べる。

まず、ステップＳ３０１において複数（Ｎ）の予測モードが選択されると、それらＮ個の予測モードをモードインデックスidxの大きい順にソートする（ステップＳ３０２）。なお、Ｎ個の予測モードをモードインデックスidxの小さい順にソートしてもよい。変数ｉ（ｉ＝１〜Ｎ）にｉ＝１をセットする（ステップＳ３０３）。次に、ｉ＝１かどうかを調べる（ステップＳ３０４）。

ここで、ｉ＝１であれば、そのときのモードインデックスidx[i]をセットする（ステップＳ３０６）。ステップＳ３０２において予測モードがモードインデックスidxの大きい順にソートされているので、ｉ＝１ではidx[i]は最大値を示す。この後、idx[i]の最大値を表現するのに最低限必要なビット数でidx[i]を符号化する（ステップＳ３０８）。

一方、ステップＳ２０５においてｉ＝１でない場合、すなわちｉが２以上の場合には、それ以前に符号化されているモードインデックスidx[i-1]から、idx[i]が取り得る値の最大値を予測する（ステップＳ３０７）。次に、ステップＳ３０８においてステップＳ３０７で予測されたidx[i]の最大値を表現するのに最低限必要なビット数でidx[i]を符号化する。

ステップＳ３０８でモードインデックスの符号化が終了するとｉを１インクリメントし（ステップＳ３０９）、さらにｉ＝Ｎかどうかを調べ（ステップＳ３１０）、ｉ＝ＮとなるまでステップＳ３０４〜Ｓ３０９の処理を繰り返す。ｉ＝Ｎとなれば、モードインデックスの符号化は終了する。

このように複数の予測モードが選択された場合、複数の予測モードを表すモードインデックスを値の大きい順に符号化する。より具体的には、既にモードインデックスの符号化が終了した予測モードから、次にモードインデックスが符号化されるべき予測モードを予測し、予測した予測モードを表すモードインデックスを符号化する。この場合、予測した予測モードを表すモードインデックスの取り得る値の最大値を予測し、この最大値を表現するのに最低限必要なビット数（符号長）で符号化を行う。これによってモードインデックスの符号化に必要な符号量を効果的に削減でき、画像符号化装置の符号化効率向上に寄与する。

なお、このような複数の予測モードを表すモードインデックスの符号化方法は、４ｘ４画素予測以外のフレーム内予測にも適用でき、またフレーム間予測にも適用することが可能である。

８ｘ８画素予測については、図３４に示す通り４ｘ４画素予測の際のシンタクスと同様であるため、説明を省略する。

他の例として、図３９に示す通りintra4x4_bi_pred_flagを使用せずに、予測モード情報を表わしてもよい。この場合、intra4x4_pred_mode_l0とintra4x4_pred_mode_l1が等しい場合には、単方向予測と等価になる。

更に別の例として、intra4x4_pred_mode_l0を隣接ブロックにおけるintra4x4_pred_mode_l0_orgとの相関を利用して符号化してもよい。具体的なシンタクス構造は図４０に示されており、図３４に示すマクロブロックプレディクションシンタクスの構成が図４０に置き換えられる。図４０中のprev_intra4x4_pred_mode_l0_flagは、後述する参照ブロックから計算されるリスト０の予測モードref_pred_modeと当該ブロックのリスト０の予測モードintra4x4_pred_mode_l0とが同一か否かを示すフラグである。

図４１は、prev_intra4x4_pred_mode_l0_flag[order]の導出方法を示している。ここで、図４１中のref_blkA_mode_l0はブロックblkAに対して左に位置する最近傍の符号化済みのブロックblkAのリスト０の予測モードを示し、ref_blkB_mode_l0はブロックblkBに対して上に位置する最近傍の符号化済みのブロックのリスト０の予測モードを示す。ref_blkA_mode_l0及びref_blkB_mode_l0は、block_order_flag毎に位置が異なり、具体的には図４２に示されている。blkA及びblkBは当該ブロックに隣接する左及び上の符号化済みブロックとなる。

prev_intra4x4_pred_mode_l0_flag[order]がTRUEの場合、隣接ブロックとの相関を利用して１ビットでintra4x4_pred_mode_l0の情報を示すことができるため、符号化効率が向上する。

一方、prev_intra4x4_pred_mode_l0_flag[order]がFALSEの場合、prev_intra4x4_pred_mode_l0_flag[order]以外のリスト０の予測モードとして、rem_intra4x4_pred_mode_l0[order]が示される。これは、rem_intra4x4_pred_mode_l0[order]からref_pred_mode_orgを除く予測モードのうちどの予測モードであるかを示すデータである。当該データは、リスト０の予測モードでとり得るシンボルからref_pred_modeを除いた状態数を基にエントロピー符号化される。

８ｘ８画素予測の際のシンタクスについては、図４０に示す通り４ｘ４画素予測の際のシンタクスと同様であるため、説明を省略する。
上述のようなシンタクス構造を備えることにより、予測モードの符号化においても符号化効率が向上する。

（第１の実施形態：シンタクス構造の第２の例）
他の例として、双方向予測の際に用いる各予測モードの信頼度の候補をブロック単位に複数用意し、当該ブロック毎に切り替える場合がある。具体的なシンタクス構成は図４３に示されており、図３４に示すマクロブロックプレディクションシンタクスの構成が図４３に置き換えられる。図４３に示されるintra4x4_bi_pred_weight_modeは当該４ｘ４画素ブロックに対して、どの信頼度の候補を使用しているかを示すデータとなる。例えば、intra4x4_bi_pred_weight_modeが0の場合はガウス分布、1の場合はラプラス分布、2の場合には固定値、が割り当てられる。他の分布の例として、線形モデルやM次関数（M≧1）が代わることが可能である。

図４４、図４５、図４６、図４７及び図４８は、画像符号化部１００で用いられるシンタクスの構造の更に別の例を示している。本例で必要となるシンタクス情報は、図３２中のシーケンスパラメータセットシンタクス２０２、ピクチャパラメータセットシンタクス２０３、スライスヘッダシンタクス２０５及びマクロブロックレイヤシンタクス２０８であり、第１の例のシンタクス構造に対して図４４、図４５、図４６、図４７及び図４８で示されるシンタクスが追加される。以下、各シンタクスについて説明する。

図４４のシーケンスパラメータセットシンタクス内に示されるintra_bi_pred_weight_in_seq_flagは、双方向予測の際に用いる各予測モードの信頼度を当該シーケンス内で設定するか否かを示すフラグである。intra_bi_pred_weight_in_seq_flagがTRUEであるときは、更にintra_bi_pred_weight_in_seq_modeが示され、これは当該シーケンス内でどの信頼度を使用するかを表すデータとなる。従って、ピクチャ以下のレイヤではintra_bi_pred_weight_in_seq_modeが示す信頼度を一律に適用し、信頼度の再設定は行わない。一方、intra_bi_pred_weight_in_seq_flagがFALSEであるときは、ピクチャ以下のレイヤにおいて、各予測モードの信頼度を設定することを示す。

図４５のピクチャパラメータセットシンタクス内に示されるintra_bi_pred_weight_in_pic_flagは、双方向予測の際に用いる各予測モードの信頼度を当該ピクチャ内で設定するか否かを示すフラグである。intra_bi_pred_weight_in_pic_flagがTRUEであるときは、更にintra_bi_pred_weight_in_pic_modeが示され、これは当該ピクチャ内でどの信頼度を使用するかを表すデータとなる。従って、スライス以下のレイヤではintra_bi_pred_weight_in_pic_modeが示す信頼度を一律に適用し、信頼度の再設定は行わない。一方、intra_bi_pred_weight_in_pic_flagがFALSEであるときは、スライス以下のレイヤにおいて、各予測モードの信頼度を設定することを示す。

図４６のスライスヘッダシンタクス内に示されるintra_bi_pred_weight_in_slice_flagは、双方向予測の際に用いる各予測モードの信頼度を当該スライス内で設定するか否かを示すフラグである。intra_bi_pred_weight_in_slice_flagがTRUEであるときは、更にintra_bi_pred_weight_in_slice_modeが示され、これは当該スライス内でどの信頼度を使用するかを表すデータとなる。従って、マクロブロック以下のレイヤではintra_bi_pred_weight_in_slice_modeが示す信頼度を一律に適用し、信頼度の再設定は行わない。一方、intra_bi_pred_weight_in_slice_flagがFALSEであるときは、マクロブロック以下のレイヤにおいて、各予測モードの信頼度を設定することを示す。

図４７のマクロブロックレイヤシンタクス内に示されるintra_bi_pred_weight_in_mb_flagは、双方向予測の際に用いる各予測モードの信頼度を当該マクロブロック内で設定するか否かを示すフラグである。intra_bi_pred_weight_in_mb_flagがTRUEであるときは、更にintra_bi_pred_weight_in_mb_modeが示され、これは当該マクロブロック内でどの信頼度を使用するかを表すデータとなる。従って、サブブロックではintra_bi_pred_weight_in_mb_modeが示す信頼度を一律に適用し、信頼度の再設定は行わない。一方、intra_bi_pred_weight_in_mb_flagがFALSEであるときは、サブブロックにおいて、各予測モードの信頼度を設定することを示す。

図４８のマクロブロックプレディクションシンタクス内に示されるintra4x4(8x8)_bi_pred_weight_mode[luma4x4(8x8)BlkIdx ]は、luma4x4(8x8)BlkIdxが示すサブブロック内でどの信頼度を使用するかを表すデータとなる。intra4x4(8x8)_bi_pred_weight_mode[luma4x4(8x8)BlkIdx ]は、intra_bi_pred_flagがTRUEかつintra_bi_pred_weight_in_mb_flagがTRUEであるときにのみ有効であり、またマクロブロックの予測タイプがフレーム内予測のときのみ利用できる。

なお、上記シンタクスintra_bi_pred_weight_in_seq_flag、intra_bi_pred_weight_in_pic_flag、intra_bi_pred_weight_in_slice_flag、intra_bi_pred_weight_in_mb_flag、の初期値はTRUE、intra_bi_pred_weight_in_seq_mode、intra_bi_pred_weight_in_pic_mode、intra_bi_pred_weight_in_slice_mode、intra_bi_pred_weight_in_mb_mode、intra_bi_pred_weight_modeの初期値は0とする。

また、上記シンタクスが示す情報は夫々符号化しても復号側に伝送しても良いし、符号化済みの隣接ブロックにおける画素の相関関係や分散などのアクティビティ情報に応じて切り替えても良い。

本実施形態において、intra_bi_pred_weight_in_seq_flag、intra_bi_pred_weight_in_pic_flag、intra_bi_pred_weight_in_slice_flag、intra_bi_pred_weight_in_mb_flag、intra_bi_pred_weight_in_seq_mode、intra_bi_pred_weight_in_pic_mode、intra_bi_pred_weight_in_slice_mode、intra_bi_pred_weight_in_mb_mode、intra_bi_pred_weight_modeは各レイヤの信頼度に関する切り替えのフラグ若しくはデータを表しているが、別の実施形態として上記信頼度を重み係数と置き換えても良い。この場合、上記シンタクスは各レイヤにおける上記信頼度の切り替えを表すフラグ若しくはデータとなる。

８ｘ８画素予測については、図４８に示す通り４ｘ４画素予測の際のシンタクスと同様であるため、説明を省略する。

（第２の実施形態：ＭＢ内の符号化するブロックの順序を変更した際の例）
次に、図４９を用いてマクロブロック内のサブブロックの順番を切り替えて符号化を行う際の予測信号生成部１０１３について説明する。本実施形態においては、予測信号生成部１０１３は第１の実施形態における予測信号生成部１１３に置き換わる。予測順切替部１７０は、ブロック画像信号１２１に対して予測順切替情報１４３に基づいてマクロブロック中のサブブロックの予測順を切り替える。すなわち、予測順切替部１７０は画素ブロック（マクロブロック）を分割した複数のサブブロックに対する予測順を予め定められた複数の予測順の中から選択する。予測順切替部１７０によって予測順が切り替えられたブロック画像信号は、単方向予測部１７１及び双方向予測部１７２に入力される。

単方向予測部１７１及び双方向予測部１７２は、マクロブロックブロックに対応する予測信号を生成するために、予測順切替部１７０により切り替えられ選択された予測順と、それぞれにより選択された予測モードに従って符号化済み画素を参照してマクロブロックを予測する。

すなわち、単方向予測部１７１は予測モードインデックス情報１４１に基づいて、用意された複数の予測モードのうち一つの予測モードを選択する。単方向予測部１７１は、こうして選択した予測モード及びブロックサイズ切替情報１４２に従って、参照画像信号１６６を参照して予測信号を生成する。

一方、双方向予測部１７２は予測モードインデックス情報１４１に基づいて、前記用意された複数の予測モードのうち２つの予測モードを選択する。双方向予測部１７２は、こうして選択した２つの予測モード、ブロックサイズ切替情報１４２及び重み係数情報１４５に従って、参照画像信号１６６を参照して予測信号を生成する。単方向予測部１７１及び双方向予測部１７２から出力される予測信号は、予測モード数切替部１７３に入力される。

予測モード数切替部１７３は、予測モード数切替情報１４４に従って制御されることにより、単方向予測部１７１によって生成された予測信号及び双方向予測部１７２によって生成された予測信号のいずれかを選択し、選択した予測信号１２２を出力する。言い換えれば、予測モード数切替部１７３は予め定められた複数の予測モードの中から使用可能な予測モードの数を選択する。

図６Ａ、図６Ｂ、図５０Ａ、図５０Ｂ、図５１Ａ、図５１Ｂ及び図５２を用いて予測順切替部１７０の動作を説明する。図６Ａは、８ｘ８画素予測におけるマクロブロック内のサブブロック（８ｘ８画素ブロック）の基準となるインデックス:blkを示している。同様に図７Ａは、４ｘ４画素予測におけるマクロブロック内のサブブロック（４ｘ４画素ブロック）のインデックス:blkを示している。図６Ａでは、マクロブロックを４分割した８ｘ８画素ブロックについて順次予測及び符号化処理を行うよう順番付けしている。図７Ａでは、マクロブロックを４分割した８ｘ８画素ブロックを考え、当該８ｘ８画素ブロック内を更に４分割した４ｘ４画素ブロックについて順次予測及び符号化処理を行うよう順番付けしている。

予測順切替部１７０は予測順切替情報１４３により制御され、予測順切替情報１４３を表す後述のフラグ:block_order_flagの値によって前記基準となるインデックス:blkを変換することによりサブブロックの予測順を切り替える。サブブロックの順番:idxに対して、実際の符号化時のサブブロックのインデックス:order（予測順を表す）は、次式で与えられる。

図５２は、blkConv[ ][ ]の具体的な変換テーブルの例を示している。フラグ:block_order_flagが０（FALSE）の場合、実際に予測符号化を行う際のサブブロックのインデックス:orderは符号化対象のサブブロックのインデックス:idxそのものであり、ブロックの予測及び予測順を変更しない（以後、このような予測順による予測を順次予測という）。

図６Ｂ及び図７Ｂは、それぞれ図６Ａ及び図７Ａに対する順次予測による予測順を示している。すなわち、図６Ｂでは予測順はインデックス:idxに従った順序（０→１→２→３）に設定される。同様に図７Ｂにおいても、予測順はインデックス:idxに従った順序（０→１→２→・・・→１４→１５）に設定される。

一方、フラグ:block_order_flagが１(TRUE)の場合、実際に予測符号化を行うサブブロックのインデックス:orderは、４つのサブブロックのうち先に対角の１ブロックを外挿により予測し、残りの３ブロックを外挿または内挿により予測する、という予測順を示す。以後、このような予測順による予測を外挿／内挿ブロック予測という。

図５０Ａ及び図５１Ａは、それぞれ図６Ａ及び図７Ａに対する外挿／内挿ブロック予測による予測順変更例を示している。図５０Ａでは、最初にidx＝３のサブブロックを外挿により予測し、次にidx＝１及びidx＝２のサブブロックを予測し、最後にidx＝３のサブブロックに対して対角の位置にあるidx＝０のサブブロックを外挿により予測する。図５１Ａでは、８ｘ８画素ブロック内を４分割した４ｘ４画素の４つのサブブロック毎に、図５０Ａと同様に予測順を設定している。

更に別の例として、サブブロックの予測順をマクロブロック内の画素の相関などの性質に応じて、例えば図５０Ｂ及び図５１Ｂのように任意に設定してもよい。

上述のようにして予測順切替部１７０により予測順が切り替えられたサブブロックは、単方向予測部１７１または双方向予測部１７２に入力されることによって、各サブブロックに対応する予測信号が生成される。予測モード数切替部１７３は、予測モード数切替情報１４４が予測モード数“１”を示しているときは単方向予測部１７１により得られる予測信号を出力し、予測モード数切替情報１４４が予測モード数“２”を示しているときは双方向予測部１７２により得られる予測信号を出力する。予測モード数切替部１７３から出力される予測信号は、予測信号生成部１１３の出力１２２として取り出される。

次に、フラグ:block_order_flagによって設定される予測順に対応する単方向予測部１７１及び双方向予測部１７２の処理について説明する。前述したように、単方向予測部１７１及び双方向予測部１７２は、図４中に示した内部参照画像メモリ１１８に保持されている既に復号済みの画素を参照画像信号１６６として用いて符号化対象のサブブロックの予測を行う。
順次ブロック予測における単方向予測及び双方向予測は第１の実施形態と同様であるので説明を省略する。

（外挿／内挿ブロック予測）
図５０Ａで説明したような外挿／内挿ブロック予測では、マクロブロック内の各サブブロックの順番を順次ブロック予測から式（５９）においてblock_order_flagをTRUEとした予測順に変更する。例えば、８ｘ８画素ブロックについて予測を行う場合、図５３Ａに示すようにまず外角の１ブロックを外挿予測が可能なブロック（以下、外挿ブロックという）として先に予測し、次に他の３ブロックを内挿予測が可能なブロック（以下、内挿ブロックという）として予測する。すなわち、まず外挿ブロック（１）を予測し、次に内挿ブロック（２）（３）及び（４）を予測する。一方、４ｘ４画素ブロックについて予測を行う場合、図５３Ｂに示すように外挿ブロックの予測と内挿ブロックの予測を８ｘ８画素ブロック単位で各４ｘ４画素ブロックについて行うことで予測順を設定する。

以下、４ｘ４画素予測が選択された場合における８ｘ８画素ブロック単位の予測処理を説明する。この予測処理では、８ｘ８画素ブロック単位の予測が終了したら、次の８ｘ８画素ブロックに対して予測を行う、というように８ｘ８画素ブロック単位の予測を計４回繰り返す。

（外挿ブロック予測）
外挿ブロックを予測する場合、参照画素と予測画素との距離が離れるため、参照画素の範囲は図５４Ａに示すようになる。図５４Ａにおいて画素Ａ〜Ｘ及びＺは参照画素であり、画素ａ〜ｐは予測画素である。参照画素の範囲は広がるものの、予測角度に従って参照画素をコピーすることによって予測信号を生成する手法については、先の順次ブロック予測の場合と同様である。

具体的に、外挿ブロックにおいてモード２のＤＣ予測が選択された場合、次式により予測画素ａ〜ｐが計算される。

ここで、ave(・)は（ ）内に示す参照画素の平均画素値を示す。

（ ）内の参照画素の一部が利用できない場合は、利用できる参照画素のみの平均画素値が算出されることによって予測信号が生成される。利用できる参照画素が１つも存在しない場合は、予測信号生成部１１３では予測信号の最大輝度値の半分の値（８ビットなら１２８）が予測信号とされる。

モード２以外のモードが選択された場合、単方向予測部１７１は図８Ａで示される各予測方向に対して、参照画素を予測画素にコピーする、という予測方法を用いる。具体的に、モード０（垂直下予測）が選択された場合の予測信号生成方法を次式に示す。

このモード０は、参照画素Ｅ〜Ｈを利用できるときだけ選択することが可能である。モード０では、図５５Ａに示されるように参照画素Ｅ〜Ｈが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測信号が生成される。

一方、外挿ブロックにおいてモード４（対角右下予測）が選択されたときの予測信号生成方法を次式に示す。

このモード４は、参照画素Ａ〜Ｄ、Ｑ〜Ｔ及びＺを利用できるときにのみ選択することが可能である。モード４では、図５５Ｂに示されるように３タップのフィルタによって生成された値を右下４５度方向に並ぶ予測画素にすることにより、予測信号が生成される。

モード０，２，４以外の予測モードに関しても、ほぼ同様の枠組みである。すなわち、予測方向に対して利用できる参照画素または当該参照画素から生成される補間値を予測方向に並ぶ予測画素にコピーするという手法により、予測信号が生成される。

（内挿ブロック予測）
図５３Ａ及び図５３Ｂにおいて、内挿ブロック（２）を予測する際には、既に外挿ブロック（４）の予測が終了しているため、外挿ブロック（４）の画素を参照する予測が可能である。内挿ブロック（３）を予測する際には、外挿ブロック（４）に加えて内挿ブロック（２）の画素を参照する予測が可能である。外挿ブロック（１）を予測する際には、外挿ブロック（４）及び内挿ブロック(２）に加えて、内挿ブロック（３）の画素を参照する予測が可能である。

図５４Ｂ、図５４Ｃ及び図５４Ｄに、４ｘ４画素予測における内挿ブロック（１）（２）及び（３）と参照画素との関係が示されている。画素ＲＡ〜ＲＩは図５４Ａに対して新たに追加された参照画素であり、画素ａ〜ｐは予測画素である。

（内挿ブロック予測における単方向予測部１７１の処理）
単方向予測部１７１は、図５６に示されるように内挿ブロック予測について外挿ブロックにおける方向予測及び符号化済みマクロブロック内の参照画素を参照する逆方向の外挿予測の合計１７個のモードを持っており、モード２を除く１７個のモードは２２．５度ずつシフトした予測方向を有する。

図５７は、単方向予測部１７１における内挿ブロック予測で行われる単方向予測の予測モード００〜１６の名称を示しており、各名称にモード０〜１６を表すモードインデックス００〜１６が付けられている。図５７では、図９に示した外挿ブロック予測（順次ブロック予測）の予測モードに対して、逆方向の予測モードが追加されている。

すなわち、垂直下予測、水平右予測、ＤＣ予測、対角左下予測、対角右下予測、垂直右予測、水平下予測、垂直左予測及び水平上予測の各モードは、図９と図５７とで共通である。一方、図５７では図９に示すモードに加えて、逆方向の予測モードである垂直上予測（モード９）、水平左予測（モード１０）、対角右上予測（モード１１）、対角左上予測（モード１２）、垂直上左予測（モード１３）、水平左上予測（モード１４）、垂直上右予測（モード１５）及び水平左下予測（モード１６）が追加されている。

予測モードは、図５３Ａ及び図５３Ｂに示されるような、内挿ブロックに対する参照画素の位置関係及び参照画素の有無に応じて選択可能か否かが決定される。例えば、内挿ブロック（１）では、左右上下方向全てに参照画素が配置されているため、図５８Ａに示されるように全てのモード０〜１６を選択することが可能である。内挿ブロック（２）では、右側に参照画素が配置されていないため、図５８Ｂに示されるようにモード１０、モード１４及びモード１６を選択することが不可能である。内挿ブロック（３）では、下側に参照画素が配置されていないため、図５８Ｃに示されるようにモード９、モード１３及びモード１５を選択することは不可能である。

以下、内挿ブロック予測における単方向予測部１７１の予測信号生成方法について説明する。単方向予測部１７１では、モード２のＤＣ予測が選択された場合、上下左右それぞれの最近傍の参照画素の平均画素値を計算することによって、予測信号を生成する。

具体的には、内挿ブロック(１）については、次式に従って予測信号が計算される。

内挿ブロック(２）については、次式に従って予測信号が計算される。

内挿ブロック(３）については、次式に従って予測信号が計算される。

ここで、式（６２）、式（６３）及び式（６４）において、ave(・)は（ ）内に示す参照画素の平均画素値を示す。

（ ）内の参照画素の一部が利用できない場合は、利用できる参照画素のみの平均画素値が算出されることによって予測信号が生成される。

モード２以外のモードが選択された場合、単方向予測部１７１は図５６で示される各予測方向に対して、参照画素を予測画素にコピーする、という予測方法を用いる。モード０〜モード８についての予測画素の算出は、前述した外挿ブロックと同様の予測角度で予測を行うので、説明を省略する。

モード９〜モード１６については、符号化済みの外挿ブロック（４）の画素または予測順により、マクロブロック内に配置される符号化済みブロックを参照する。具体的には、モード９（垂直上予測）が選択された場合は、下方向で最近傍に位置する参照画素から予測信号を生成する。内挿ブロック（１）及び内挿ブロック(２）については、次式に従って予測信号が計算される。

図５９Ａ及び図５９Ｂは、モード９による内挿ブロック（１）及び内挿ブロック（２）に対する予測信号の生成方法を示している。参照画素ＲＡ〜ＲＤが垂直方向に並ぶ予測画素にそのままコピーされることにより、予測信号が生成される。内挿ブロック（３）については、下方向に参照画素が存在しないためモード９を利用することはできない。

一方、モード１０（水平左予測）が選択された場合には、右方向で最近傍に位置する参照画素から予測信号を生成する。内挿ブロック（１）及び内挿ブロック(３）については、次式に従って予測信号が計算される。

図６０Ａ及び図６０Ｂは、モード１０による内挿ブロック（１）及び内挿ブロック（３）に対する予測信号の生成方法を示している。参照画素ＲＥ〜ＲＨが水平方向に並ぶ予測画素にそのままコピーされることにより、予測信号が生成される。内挿ブロック（２）については、右方向に参照画素が存在しないため、モード１０を利用することはできない。

更に、モード１２（対角左上予測）が選択された場合、内挿ブロック（１）に対しては、次式に従って予測信号が計算される。

内挿ブロック（２）については、次式に従って予測信号が計算される。

内挿ブロック（３）については、次式に従って予測信号が計算される。

図６１Ａ、図６１Ｂ及び図６１Ｃは、モード１２による内挿ブロック（１）、内挿ブロック（２）及び内挿ブロック（３）に対する予測信号の生成方法を示している。３タップのフィルタによって生成された値が左上４５度の方向にコピーされることによって、予測信号が生成される。

上述したモード２，９及び１２以外の予測モード（モード１０、１１、１３〜１６）についても、図５８Ａ、図５８Ｂ、図５８Ｃ及び図５８Ｄで示される予測方向に対して、参照可能で且つ最近傍の画素から補間された予測信号をコピーする予測方法を用いる。予測方向に対して参照画素が配置されていない場合は、最近傍の参照画素の値をコピーして参照画素を生成して利用してもよいし、または複数の参照画素の内挿補間から仮想的な参照画素を生成し、当該仮想的な参照画素を予測に利用してもよい。

（内挿ブロック予測における双方向予測部１７２の処理）
双方向予測部１７２は、内挿ブロック予測において単方向予測部１７１で行われる内挿ブロック予測の１７個の予測モード（ＤＣ予測も含む）のうち２つのモードを同時に使用することで、複数の方向性を包含した予測を行う。具体的な予測信号生成法は、第１の実施形態に記述したものと同様である。すなわち、選択した２つのモード（式（１０）及び式（２４）ではモード“Ｕ”及びモード“Ｖ” ）による予測信号を、画素単位の重み係数を用いた加重平均の値を予測画素の予測信号とする。

図６２は、双方向予測部１７２において内挿ブロック予測で行われる予測モードの名称と対応するモードインデックスを示している。図６２においては、２つのモードを使用する予測モードが存在している。例えば、垂直予測（モード０）と逆方向水平予測（モード１０）を使用する場合の予測モードの名称及びモードインデックスを「垂直・逆方向水平予測」及び「モード００１０」と表記している。各予測モードの番号が１桁の場合は先頭に０を加えて２桁で表記する。モード０とモード００は等しい意味を持つ。

例えば、垂直下予測（モード００）と水平左予測（モード１０）による双方向予測を行う場合（垂直下／逆水平予測：モード００１０）、予測画素ａにおける重み係数は下式によって表される。

従って、予測画素ａにおける予測値は下式により表される。

また、予測画素ｂにおける重み係数は下式により表される。

従って、予測画素aにおける予測値は下式により表される。

その他、予測画素c ~ pにおける予測値は下式により表される。

但し、nは４ｘ４画素ブロック内の画素位置を表している。

また、式（２４）と同様に予測信号を整数演算のみで算出しても良い。

このように内挿ブロックの双方向予測は、予測モードの方向が完全に正対する単純な内挿予測のみではなく、当該ブロックの僅かな方向性の変化、または複雑さに対応した内挿予測を行うことが可能となる。加えて、画素単位で暗黙的に重み係数を設定することで、オーバヘッド情報を増加させることなく、適切なフィルタリングを行うことができる。結果、予測残差は大幅に減少する。

（第２の実施形態：画像符号化の処理手順）
図６３を参照して画像符号化部１００の処理手順を説明する。画像符号化部１００に１フレーム分の入力画像信号１２０が入力されると（ステップＳ４０１）、フレーム分割部１０１によって入力画像信号１２０の符号化対象フレームが複数の画素ブロック（マクロブロック）に分割され、ブロック画像信号１２１が生成される。ブロック画像信号１２１に対して符号化が開始される（ステップＳ４０２）。ブロック画像信号１２１は、予測部１０２に入力される。

予測部１０２では、まず予測順切替情報１４３に基づいてサブブロックの予測順を変更するか否かを判断する（ステップＳ４０３）。予測順を変更しない場合（Ｓ４０３の結果がＮＯ）、block_order_flagがFALSEであり、予測順切替部１７０は式（５９）に示すorderに従ってサブブロックを予測符号化する「順次ブロック予測」を選択する。

順次ブロック予測においては、予測モード数切替情報１４４によってサブブロックについて単方向予測を行うか否かを判断する（ステップＳ４０４）。ここで単方向予測を行う場合（Ｓ４０４の結果がＹＥＳ）、単方向予測部１７１が予測を行い（ステップＳ４０６）、単方向予測を行わない場合（Ｓ４０４の結果がＮＯ）、双方向予測部１７２が予測を行う（ステップＳ４０７）。

一方、予測順を変更する場合（Ｓ４０３の結果がＹＥＳ）、block_order_flagがTRUEであり、予測順切替部１７０は式（５９）に示すorderに従ってサブブロックを予測符号化する「外挿／内挿ブロック予測」を選択する。

外挿／内挿ブロック予測においては、予測モード数切替情報１４４によってサブブロックについて単方向予測を行うか否かを判断する（ステップＳ４０５）。ここで、単方向予測を行う場合（Ｓ４０５の結果がＹＥＳ）、単方向予測部１７１が予測を行い（ステップＳ４０８）、単方向予測を行わない場合（Ｓ４０５の結果がＮＯ）、双方向予測部１７２が予測を行う（ステップＳ４０９）。

ステップＳ４０６，Ｓ４０７，Ｓ４０８またはＳ４０９の予測が終了すると、マクロブロック内の総コスト（１）（２）（３）または（４）を式（１）及び式（２）から算出する（ステップＳ４１１，Ｓ４１２，Ｓ４１３またはＳ４１４）。ステップＳ４１１，Ｓ４１２，Ｓ４１３またはＳ４１４により算出された各総コストの比較を行い、予測手法を決定する（ステップＳ４１５）。こうして決定された予測手法で直交変換／量子化部１０４ぉよびエントロピー符号化部１０８により符号化を行い、符号化データ１４６を出力する（ステップＳ４１６）。

このとき量子化変換係数情報１２７が逆量子化／逆直交変換部１０５により逆量子化及び逆直交変換が行われることによって、復号された予測残差信号１２８が生成される。復号された予測残差信号１２８とモード選択部１０３から入力される予測信号１２６が加算器１０６により加算されることによって局部復号信号１２９が生成される。局部復号信号１２９は、参照画像メモリ１０６に蓄積される。

入力動画像信号１２０の１フレーム分の予測符号化が終了しているか否かを判定する。（ステップＳ４１７）。予測符号化が終了している場合（Ｓ４１７の結果がＹＥＳ）、次の１フレームの入力画像信号１２０が入力され、再び予測符号化が行われる。一方、１フレームの予測符号化が終了していない場合（Ｓ４１７の結果がＮＯ）、ステップＳ４０２に戻って次のマクロブロックのブロック画像信号１２１に対して予測符号化が行われる。ステップＳ４０４及びＳ４０５の予測処理の手順については第１の実施形態と同様の処理を行うため、説明を省略する。

（第２の実施形態：シンタクス構造の第１の例）
図６４は、第２の実施形態において画像符号化部１００で用いられるシンタクス構造の他の例を示している。必要となるシンタクス情報は図３２中のマクロブロックレイヤシンタクス２０８であり、ここでは図３３に示したマクロブロックレイヤシンタクスの構成を図６４に置き換える。各シンタクスを以下で説明する。

図６４中のマクロブロックレイヤシンタクス内で示されるblock_order_flagは、予測順の切り替えをマクロブロックで行うか否かを示す。すなわち、フラグ:block_order_flagのFALSEはマクロブロックで予測順の切り替えを行わないことを示し、TRUEはマクロブロックで予測順の切り替えを行うことを示す。

図６４中のマクロブロックプレディクションシンタクスには、マクロブロック内のサブブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）毎の予測モード情報が明記されている。単方向予測については、複数の予測モードの中から使用するモードを示す予測モード情報をintra4x4(8x8)_pred_mode_l0_orgあるいはintra4x4(8x8)_pred_mode_l1_orgで表す。双方向予測については、予測モード情報は２つのシンタクスを備えている。ここでは、複数の予測モードの中から２種類の予測モードを選択する際のモードインデックスが小さい方（リスト０）の予測モードをintra4x4(8x8)_pred_mode_l0_orgで示し、モードインデックスが大きい方（リスト１）の予測モードをintra4x4(8x8)_pred_mode_l1_orgで示す。モードインデックスが大きい方（リスト０）の予測モードをintra4x4(8x8)_pred_mode_l0_orgで示し、モードインデックスが小さい方（リスト１）の予測モードをintra4x4(8x8)_pred_mode_l1_orgで示してもよい。

以下、４ｘ４画素予測が選択された場合のマクロブロックプレディクションシンタクスの構成について図６４を用いて説明する。
図６４中のblkConv[block_order_flag][luma4x4BlkIdx]は、図５２に示されるような予測順の変換を行う変換テーブルを有しており、符号化対象ブロックのインデックスを出力する。

図６４中のintra4x4_pred_mode_l0[ block_order_flag ][order]は、intra4x4_pred_mode_l0_org[block_order_flag][order]を後述するmodeConv[block_order_flag][intra4x4_pred_mode_l0_org]に従って変換したインデックスのデータである。

図６４中のintra4x4_bi_pred_flagは、当該４ｘ４画素ブロックに対して双方向予測を行うか、行わないかを切り替えるフラグである。すなわち、当該フラグintra4x4_bi_pred_flagのFALSEは当該４ｘ４画素ブロックが単方向予測であることを意味し、TRUEは当該４ｘ４画素ブロックが双方向予測であることを意味する。

図６４中のintra4x4_pred_mode_l1は、intra4x4_pred_mode_l1_org[block_order_flag][order]を後述するmodeConv[block_order_flag][intra4x4_pred_mode_l1_org]に従って変換したインデックスのデータである。当該データintra4x4_pred_mode_l1は、intra4x4_bi_pred_flagがTRUEの際に符号化される。

以下、各シンタクスの詳細について説明する。
luma4x4Blkに対して、block_order_flag毎にblkConv[block_order_flag][luma4x4BlkIdx]に示すテーブルに従って変換を施し、符号化対象のサブブロックを示すブロックインデックス:orderを算出する（図５２参照）。

ブロックインデックス:orderが示す４ｘ４画素ブロックを予測する場合、図６５に示すようにintra4x4_pred_mode_l0_org[block_order_flag][order] を intra4x4_pred_mode_l0[order]に変換する。これは、block_order_flag及びマクロブロック内の４ｘ４画素ブロックの位置によって利用可能な予測モードが異なるために行う処理である。具体的には図６７に示すように、block_order_flagが０（FALSE）の場合、intra4x4_pred_mode_l0にintra4x4_pred_mode_l0_orgがそのまま代入される。このとき、intra4x4_pred_mode_l0は用意された単方向予測の９種類の予測モードのうちどのモードを４ｘ４画素ブロックの予測に用いるかを示すデータとなる。

一方、block_order_flagが１（TRUE:外挿／内挿ブロック予測）の場合、符号化対象マクロブロック内の４ｘ４画素ブロックの位置に応じてテーブルが切り替わる。図６８は、符号化対象マクロブロックに対して左、上、右上及び左上に隣接するマクロブロックが参照可能である場合に、図５３Ａ及び図５３Ｂによって示されるサブブロック（内挿ブロック（１）（２）及び（３）、及び外挿ブロック（４））に対応して利用可能な予測モードとその名称を示している。

図６８より、内挿ブロック（１）は１７個の全てのモードが利用可能であるのに対して、内挿ブロック（２）及び（３）は利用不可能なモードが存在することがわかる。そこで、図６７に示したようにmodeConv[ ][ ]によってintra4x4_pred_mode_l0_org[block_order_flag][order] をintra4x4_pred_mode_l0に変換し、利用不可能な予測モードを予め除去することで、後述するエントロピー符号化の効率が向上する。具体的な変換例を示すと、内挿ブロック（２）の予測モードがモード１５（逆方向垂直右予測）である場合、intra4x4_pred_mode_l0には、“１３”が代入される。内挿ブロック（３）の予測モードがモード１４（逆方向水平上予測）である場合、intra4x4_pred_mode_l0には、“１２”が代入される。

intra4x4_pred_mode_l0を符号化する際は、block_order_flag及びブロックの位置毎に利用可能なモードの状態数が異なるため、符号化対象の４ｘ４画素ブロックの位置に応じてエントロピー符号化（ハフマン符号化、ゴルム符号化、あるいは算術符号化など）を行う。具体的なシンボルのとり得る状態数は、図６７に示されている。以上が、intra4x4_pred_mode_l0_orgの符号化に関するシンタクスの説明である。

intra4x4_bi_pred_flagがTRUEの場合、更にintra4x4_pred_mode_l1_orgを符号化する。intra4x4_pred_mode_l1_orgの符号化に関しては、intra4x4_pred_mode_l0_orgのときほぼ同様の処理を行う。

まず、modeConv[ ][ ]に従ってintra4x4_pred_mode_l1_org をintra4x4_pred_mode_l1に変換し、intra4x4_pred_mode_l1をblock_order_flagとorderに応じた可変長符号によりエントロピー符号化を行う。但し、intra4x4_pred_mode_l1はintra4x4_pred_mode_l0との間で同一の予測モードはなり得ないことから、intra4x4_pred_mode_l0の状態数から１を減じた数がintra4x4_pred_mode_l1のとり得るシンボルの状態数となる。この状態数を基に、エントロピー符号化を行う。

他の例として、intra4x4(8x8)_pred_mode_l0_orｇ及びintra4x4(8x8)_pred_mode_l1_orgをmodeConv[ ][ ]に従って変換せずに、そのままエントロピー符号化してもよい。以上が、各シンタクスの詳細である。

（第２の実施形態：シンタクス構造の第２の例）
図６９は、画像符号化部１００で用いられるシンタクス構造の他の例を示している。必要となるシンタクス情報は図３２中のマクロブロックレイヤシンタクス２０８であり、ここでは図３３に示したマクロブロックレイヤシンタクスの構成を図６９に置き換える。各シンタクスを以下で説明する。

図６９のマクロブロックレイヤシンタクス内に示されるblock_order_flagは、予測順の切り替えを当該マクロブロックで行うか否かを示すフラグである。block_order_flagがTRUEであるときは予測順を切り替え、外挿／内挿ブロック予測を行う。一方、block_order_flagがFALSEであるときは予測順を切り替えず、順次ブロック予測を行う。block_order_flagがTRUEのときの予測順の具体的な記述方法は、block_order_in_mb_modeに示される。block_order_in_mb_modeは、以下のようにして予測順を示す。

予測モードがモード０の場合、第１の実施形態に示す外挿／内挿ブロック予測を行う際の予測順を与える。予測モードがモード１の場合、予測順の組み合わせをインデックスに変換し、インデックス情報で予測順を示す。４つのブロックに対して予測順を決定する際は、順列により２４通り（ = ４Ｐ４）から順次ブロック予測を除く２３通りの予測順から、マクロブロック毎に１つを決定する。具体的には、図６９におけるblock_order_idxが前記ブロック組み合わせインデックスを与える。予測モードがモード２の場合、各ブロックに対して順序番号を直接示す。４ｘ４画素ブロックに対しては、１６個のblock_order4x4[BLK]にその順番が示される。また、８ｘ８画素ブロックに対しては、４個のblock_order8x8[BLK]にその順番が示されている。

上述したシンタクス構造は、更に以下のような変形が可能である。
（ａ）block_order_in_mb_modeが１のとき、最初に符号化する１ブロックのみを示してもよい。
（ｂ）４ｘ４画素予測では、予測順のインデックスが膨大となることから、８ｘ８画素ブロック単位で示される４ｘ４画素ブロックの予測順を４回繰り返すことで、インデックスの情報を削減してもよい。
（ｃ）block_order_in_mb_modeが２の場合、block_order4x4[BLK]については外部からのテーブルによって示してもよいし、隣接するblock_order4x4[ ]との差分を可変の符号長で表現してもよい。
（ｄ）最後のblock_order4x4[15]は、残りの一つの予測順であることから、block_order4x4[15]を示す必要は無い。８ｘ８画素ブロックについても同様である。４ｘ４画素予測の場合、８ｘ８画素ブロック単位で示される４ｘ４画素ブロックの予測順を４回繰り返すことで、block_order4x4の情報を削減してもよい。
（ｅ）block_order_in_mb_mode, block_order_idx, block_order4x4, block_order8x8といった情報の値は、シーケンス毎、ピクチャ毎、スライス毎あるいはマクロブロック毎に適応的に設定されてもよい。

（第２の実施形態：シンタクス構造の第３の例）
図７０、図７１、図７２、図７３及び図７４は、画像符号化部１００で用いられるシンタクスの構造の更に別の例を示している。本例で必要となるシンタクス情報は、図３２中のシーケンスパラメータセットシンタクス２０２、ピクチャパラメータセットシンタクス２０３、スライスヘッダシンタクス２０５及びマクロブロックレイヤシンタクス２０８であり、第１の例のシンタクス構造に対して図７０、図７１、図７２、図７３及び図７４で示されるシンタクスが追加される。以下、各シンタクスについて説明する。

図７０のシーケンスパラメータセットシンタクス内に示されるblock_order_in_seq_flagは、予測順の切り替えをシーケンス内で可能とするか否かを示すフラグである。block_order_in_seq_flagがTRUEであるときは、シーケンス内で予測順を切り替えることが可能である。一方、block_order_in_seq_flagがFALSEであるときは、シーケンス内で予測順を切り替えることができない。

図７１のピクチャパラメータセットシンタクス内に示されるblock_order_in_pic_flagは、予測順の切り替えを当該ピクチャ内で可能とするか否かを示すフラグである。block_order_in_pic_flagがTRUEであるときは、ピクチャ内で予測順を切り替えることが可能である。一方、block_order_in_pic_flagがFALSEであるときは、ピクチャ内で予測順を切り替えることができない。

図７２のスライスヘッダシンタクス内に示されるblock_order_in_slice_flagは、予測順の切り替えを当該スライス内で可能とするか否かを示すフラグである。block_order_in_slice_flagがTRUEであるときは、スライス内で予測順を切り替えることが可能である。一方、block_order_in_slice_flagがFALSEであるときは、スライス内で予測順を切り替えることができない。

図７３のマクロブロックレイヤシンタクス内に示されるblock_order_flagは、予測順の切り替えを当該マクロブロックで行うか否かを示すフラグである。block_order_flagがTRUEであるときは予測順を切り替え、外挿／内挿ブロック予測を行う。一方、block_order_flagがFALSEであるときは、予測順を切り替えず、順次ブロック予測を行う。block_order_flagは、block_order_in_slice_flagがTRUEであるときにのみ有効であり、またマクロブロックの予測タイプがフレーム内予測のときのみ利用できる。

図７０のシーケンスパラメータセットシンタクス内に示されるintra_bi_pred_in_seq_flagは、双方向予測が当該シーケンス内で可能とするか否かを示すフラグである。intra_bi_pred_in_seq_flagがTRUEであるときは、シーケンス内で双方向予測を行うことが可能である。一方、intra_bi_pred_in_seq_flagがFALSEであるときは、シーケンス内で双方向予測を行うことができない。

図７１のピクチャパラメータセットシンタクス内に示されるintra_bi_pred_in_pic_flagは、双方向予測が当該ピクチャ内で可能とするか否かを示すフラグである。intra_bi_pred_in_pic_flagがTRUEであるときは、ピクチャ内で双方向予測を行うことが可能である。一方、intra_bi_pred_in_pic_flagがFALSEであるときは、ピクチャ内で双方向予測を行うことができない。

図７２のスライスヘッダシンタクス内に示されるintra_bi_pred_in_slice_flagは、双方向予測がスライス内で可能とするか否かを示すフラグである。intra_bi_pred_in_slice_flagがTRUEであるときは、スライス内で双方向予測を行うことが可能である。一方、intra_bi_pred_in_slice_flagがFALSEであるときは、スライス内で双方向予測を行うことができない。

図７３のマクロブロックレイヤシンタクス内に示されるintra_bi_pred_in_mb_flagは、双方向予測がマクロブロック内で可能とするか否かを示すフラグである。intra_bi_pred_in_mb_flagがTRUEであるときは、マクロブロック内で双方向予測を行うことが可能である。一方、intra_bi_pred_in_mb_flagがFALSEであるときは、マクロブロック内で双方向予測を行うことができない。

図７４のマクロブロックプレディクションシンタクス内に示されるintra4x4_bi_pred_flagは、双方向予測が予測ブロック内で行うか否かを示すフラグである。intra4x4_bi_pred_flagがTRUEであるときは、予測ブロック内で双方向予測を行う。一方、intra4x4_bi_pred_flagがFALSEであるときは、マクロブロック内で双方向予測を行わない。intra4x4_bi_pred_flagは、intra_bi_pred_in_mb_flagがTRUEであるときにのみ有効であり、またマクロブロックの予測タイプがフレーム内予測のときのみ利用できる。なお、上記シンタクスの初期値はFALSEとする。

＜第３の実施形態：画像復号化装置＞
図７５に示される本発明の一実施形態に従う画像復号化装置には、図示しない画像符号化装置（例えば、図１の画像符号化装置）から送出され、伝送系または蓄積系を経て送られてきた符号化ビットストリーム３２０が入力される。符号化ビットストリーム３２０は入力バッファ９０１に一度蓄えられ、更に逆多重化部３０２により１フレーム毎にシンタクスに基づいて分離された後、復号部３０４に入力される。復号部３０４はエントロピー復号部３０５、逆量子化／逆直交変換部３０６、加算器３０７、参照画像メモリ３０８及び予測信号生成部３０９を有する。図６０の画像復号化装置は、ＬＳＩチップなどのハードウェアにより実現されるか、あるいはコンピュータにおいて画像復号プログラムの実行によって実現される。

復号部３０４内では、逆多重化部３０２により分離された符号化ビットストリームがエントロピー復号部３０３に入力される。エントロピー復号部３０３では、図３２に示されるシンタクス構造に従って、符号化ビットストリームのハイレベルシンタクス、スライスレベルシンタクス及びマクロブロックレベルシンタクスのそれぞれに対して、符号列がエントロピー復号される。

これによりエントロピー復号部３０３から、量子化変換係数情報３２１及び量子化パラメータ情報の他、予測モードインデックス情報３３１、ブロックサイズ切替情報３３２、、予測モード数切替情報３３４といった予測モードに関する情報（以後、予測モードインデックス情報、ブロックサイズ切替情報及び予測モード数切替情報を予測モード情報と総称する）が出力される。量子化変換係数情報３２１は、予測残差信号を直交変換及び量子化した情報である。量子化パラメータ情報は、量子化幅（量子化ステップサイズ）及び量子化マトリクスなどの情報を含む。

量子化変換係数情報３２１は、復元された量子化パラメータに従って逆量子化／逆直交変換部３０６により逆量子化され、更にＩＤＣＴのような逆直交変換が施される。ここでは、逆直交変換について説明したが、符号化側でウェーブレット変換などが行われている場合、逆量子化／逆変換部３０６は対応する逆量子化／逆ウェーブレット変換などを行ってもよい。

逆量子化／逆変換部３０６からは予測残差信号３２２が出力され、加算器３０７に入力される。加算器３０７では、予測信号生成部３０９から出力される予測信号３２３と予測残差信号３２２との加算が行われ、復号画像信号３２４が生成される。復号画像信号３２４は、参照画像メモリ３０８に入力されるとともに出力バッファ３１１に渡され、出力バッファ３１１から復号化制御部３１０が管理するタイミングで出力される。

一方、エントロピー復号部３０５により復号された予測モードインデックス情報３３１、ブロックサイズ切替情報３３２及び予測モード数切替情報３３４は予測信号生成部３０９に入力される。予測信号生成部３０９には、更に参照画像メモリ３０８から既に復号されている参照画像信号３２５が入力される。予測信号生成部３０９は、予測モードインデックス情報３３１、ブロックサイズ切替情報３３２及び予測モード数切替情報３３４を基に、参照画像信号３２５を参照して予測信号３２３を生成する。復号制御部３１０は、復号部３０４の復号処理全般の制御、例えば入力バッファ３０１及び出力バッファ３１１の制御や、復号タイミングの制御などを行う。

（予測信号生成部３０９について）
次に、図７６を参照して予測信号生成部３０９について説明する。図７６に示す予測信号生成部３０９は、前述した画像符号化装置内の予測信号生成部１１３と基本的に同様である。図６１において、参照画像メモリ３０８からの参照画像信号３２５に対してマクロブロック中のサブブロックの画像信号は、単方向予測部３７１及び双方向予測部３７２に入力される。

単方向予測部３７１は、予測モードインデックス情報３３１に基づいて、用意された複数の予測モードのうち一つの予測モードを選択し、選択した予測モード及びブロックサイズ切替情報３３２に従って、参照画像信号３２５を参照して予測信号を生成する。双方向予測部３７２は、予測モードインデックス情報３３１に基づいて、前記用意された複数の予測モードのうち２つの予測モードを選択し、選択した予測モード、ブロックサイズ切替情報３３２及び重み係数情報３３５に従って、参照画像信号３２５を参照して予測信号を生成する。単方向予測部３７１及び双方向予測部３７２から出力される予測信号は、予測モード数切替部３７３に入力される。

予測モード数切替部３７３は、予測モード数切替情報３４４に従って制御されることにより、単方向予測部３７１によって生成された予測信号及び双方向予測部３７２によって生成された予測信号のいずれかを選択し、選択した予測信号３２３を出力する。図６Ｂ及び図７Ｂは、それぞれ図６Ａ及び図７Ａに対する予測順を示している。

上述のようにして、モード数切替スイッチ３７３は予測モード数切替情報３３４が予測モード数“１”を示しているときは単方向予測部３７１により得られる予測信号を出力し、予測モード数切替情報３３４が予測モード数“２”を示しているときは双方向予測部３７２により得られる予測信号を出力する。モード数切替スイッチ３７３から出力される予測信号は、予測信号生成部３０９の出力３２３として取り出される。

モード数切替スイッチ３７３は、予測ブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）毎に与えられる予測モード数切替情報３３４に従って制御されることにより、予測信号３２３を出力する。具体的に４ｘ４画素予測の際には、intra4x4_bi_pred_flagが４ｘ４画素ブロック毎に記述されている。

すなわち、モード数切替スイッチ３７３は予測モード数切替情報３３４であるフラグ:intra4x4_bi_pred_flagがFALSEの場合は、単方向予測部３７１により得られる予測信号を選択し、intra4x4_bi_pred_flagがTRUEの場合は双方向予測部１７２により得られる予測信号を選択する。

（双方向予測部３７２について）
次に、図７７を参照して双方向予測部３７２について説明する。双方向予測部３７２は第１単方向予測部３７５と第２単方向予測部３７６及び加重平均部３８０を有する。第１単方向予測部３７５及び第２単方向予測部３７６は、図７６に示す単方向予測部３７１と同様である。第１単方向予測部３７５及び第２単方向予測部３７６にはそれぞれ異なる予測モードが予測モードインデックス情報３３１に従って入力され、符号化対象ブロックを予測する。

第１単方向予測部３７５及び第２単方向予測部３７６では予測モード、ブロックサイズ切替情報３３２及び重み係数情報３３５に従って、参照信号３２５を参照して予測信号３８１、３８２を生成する。２種類の単方向予測部によって生成された予測信号３８１、３８２は加重平均部３８０に入力される。加重平均部３８０では、例えば復号制御部３１０から与えられる重み係数情報３３５に従って予測信号３８１、３８２を画素単位に加重平均することにより、予測信号３２３を出力する。但し、第１単方向予測部３７５は単方向予測部３７１と同一の処理を行うことで省略が可能である。この場合、単方向予測部３７１が出力する予測信号と第２単方向予測部３７６が出力する予測信号３８２が加重平均部３８０に入力される。

単方向予測部３７１及び加重平均部３８０の具体的な処理は、画像符号化装置における単方向予測部１７１及び加重平均部１８０と同様であるため、説明を省略する。また、加重平均部３８０において加重平均の際に用いる各予測モードにおける重み係数の設定方法も加重平均部１８０と同様である。重み係数は、前述したように例えば復号制御部３１０から双方向予測部３７２内の加重平均部３８０に重み係数情報３３５が与えられることによって設定される。すなわち、本実施形態では例えば復号制御部３１０が重み係数を算出して設定する重み係数設定部の機能を有するものとする。なお、重み係数設定部は復号制御部３１０以外の箇所、例えば図７６の双方向予測部３７２内に設けられていても良い。さらに、重み係数設定部はＲＯＭによるテーブルによって実現されていても良い。

シンタクス構造は、基本的に図３２に示した通りであるが、以下では４ｘ４画素予測が選択された場合のマクロブロックプレディクションシンタクスの構成について図３４を用いて説明する。

図３４中のintra4x4_bi_pred_flagは、当該４ｘ４画素ブロックに対して双方向予測を行うか、行わないかを切り替えるフラグである。すなわち、当該フラグintra4x4_bi_pred_flagのFALSEは当該４ｘ４画素ブロックが単方向予測であることを意味し、TRUEは当該４ｘ４画素ブロックが双方向予測であることを意味する。

図３４中のintra4x4_pred_mode_l1は、復号されたインデックスのデータである。当該データintra4x4_pred_mode_l1は、intra4x4_bi_pred_flagがTRUEの際に復号される。

（第３の実施形態：シンタクス構造の第１の例）
以下、各シンタクスの詳細について説明する。
ブロックインデックスorderが示す４ｘ４画素ブロックを復号する場合、intra4x4_pred_mode_l0[luma4x4BlkIdx]はは用意された単方向予測の９種類の予測モードのうちどの予測モードを４ｘ４画素ブロックの復号に用いるかを示すデータとなる。

intra4x4_bi_pred_flagがTRUEの場合、更にintra4x4_pred_mode_l1[Luma4x4BlkIdx]を復号し、intra4x4_pred_mode_l0と共に双方向予測に使用する予測モードを４ｘ４画素ブロックの復号に用いるかを示すデータとなる。他の例においては、intra4x4_bi_pred_flagの情報は符号化ビットストリームから分離されて復号されるが、復号済みのブロック及び画素から計算される前記アクティビティ情報により、intra4x4_bi_pred_flagの情報を示してもよい。この場合、符号化側と同様のロジックを用いることにより、intra4x4_bi_pred_flagの情報は、符号化側と同一のものが示されるため、符号化ビットストリームから分離及び復号の処理は必要とされない。

他の例として、図３９に示す通りintra4x4_bi_pred_flagを使用せずに、予測モード情報を表してもよい。この場合、intra4x4_pred_mode_l0とintra4x4_pred_mode_l1が示す予測モードが等しい場合には、単方向予測と等価となる。

更に別の例として、intra4x4_pred_mode_l0を隣接ブロックにおけるintra4x4_pred_mode_l0との相関を利用して符号化してもよい。具体的なシンタクス構造は図４０に示されており、図３４に示すマクロブロックプレディクションシンタクスの構成が図２５に置き換えられる。図４０中のprev_intra4x4_pred_mode_l0_flag[Luma4x4BlkIdx]は、後述する参照ブロックから計算されるリスト０の予測モードref_pred_modeと、対象ブロックのリスト０の予測モードintra4x4_pred_mode_l0[Luma4x4BlkIdx]とが同一か否かを示すフラグである。

図４１は、prev_intra4x4_pred_mode_l0_flag[luma4x4BlkIdx]の導出方法を示している。ここで、図４１中のref_blkA_mode_l0は、ブロックblkAに対して左に位置する最近傍の符号化済みのブロックblkAのリスト０の予測モードを示す。ref_blkB_mode_l0は、ブロックblkBに対して上に位置する最近傍の符号化済みのブロックのリスト０の予測モードを示す。 ref_blkA_mode_l0及びref_blkB_mode_l0は、具体的には図４２に示されており、blkA及びblkBは対象ブロックに隣接する左及び上の復号済みブロックとなる。

prev_intra4x4_pred_mode_l0_flag[luma4x4BlkIdx]がTRUEの場合、対象ブロックと隣接ブロックとの相関を利用し、１ビットでintra4x4_pred_mode_l0の情報を示す。

一方、prev_intra4x4_pred_mode_l0_flag[luma4x4BlkIdx][order]がFALSEの場合、prev_intra4x4_pred_mode_l0_flag[luma4x4BlkIdx]以外のリスト０の予測モードとして、rem_intra4x4_pred_mode_l0[luma4x4BlkIdx]が示される。rem_intra4x4_pred_mode_l0[luma4x4BlkIdx]からref_pred_modeを除く予測モードのうちどの予測モードであるかを示すデータは、リスト０の予測モードに従ってとり得るシンボルからref_pred_modeを除いた状態数を基に復号される。

８ｘ８画素予測の際のシンタクスについては、図３２に示した、４ｘ４画素予測の際のシンタクスと同様であるため、説明を省略する。

（第３の実施形態：シンタクス構造の第２の例）
図２９、図３０、図３１、図３２、図３３、図３４は画像復号化装置に関するシンタクス構造に関する別の例について示している。各シンタクスの説明は画像符号化装置と同様であるので省略する。また、上記シンタクスはビットリームから分離されて復号されて情報を得るのみではなく、復号済みの隣接ブロックにおける画素の相関関係や分散などのアクティビティ情報に応じて切り替えても良い。この場合、符号化側と同様のロジックを用いることにより、上記シンタクスの情報は、符号化同一のものが示されるため、符号化ビットストリームからの分離及び復号の処理は必要とされない。

本発明の一実施形態によると、使用可能な予測モード数を選択できるため、例えば複数の予測モードによる予測信号を画素単位で計算する双方向予測を選択することで、複雑なテクスチャに対しても高い予測効率が実現される。更に、双方向予測を行う際の２つの予測モードの重みをそれぞれの参照画素との距離に応じて画素単位に設定し、予測に用いることで、予測モードの方向性に応じた予測信号のフィルタリングを行うことができる。

＜第４の実施形態：画像復号化装置＞
図７８に示される本発明の一実施形態に従う画像復号化装置には、図示しない画像符号化装置（例えば、図１の画像符号化装置）から送出され、伝送系または蓄積系を経て送られてきた符号化ビットストリーム３２０が入力される。符号化ビットストリーム３２０は入力バッファ９０１に一度蓄えられ、更に逆多重化部３０２により１フレーム毎にシンタクスに基づいて分離された後、復号部３０４に入力される。復号部３０４はエントロピー復号部３０５、逆量子化／逆直交変換部３０６、加算器３０７、参照画像メモリ３０８及び予測信号生成部３０９を有する。図７８の画像復号化装置は、ＬＳＩチップなどのハードウェアにより実現されるか、あるいはコンピュータにおいて画像符号化プログラムの実行によって実現される。

復号部３０４内では、逆多重化部３０２により分離された符号化ビットストリームがエントロピー復号部３０３に入力される。エントロピー復号部３０３では、図３２に示されるシンタクス構造に従って、符号化ビットストリームのハイレベルシンタクス、スライスレベルシンタクス及びマクロブロックレベルシンタクスのそれぞれに対して、符号列がエントロピー復号される。

これによりエントロピー復号部３０３から、量子化変換係数情報３２１及び量子化パラメータ情報の他、予測モードインデックス情報３３１、ブロックサイズ切替情報３３２、予測順切替情報３３３、予測モード数切替情報３３４といった予測モードに関する情報（以後、予測モードインデックス情報、ブロックサイズ切替情報、予測順切替情報及び予測モード数切替情報を予測モード情報と総称する）が出力される。量子化変換係数情報３２１は、予測残差信号を直交変換及び量子化した情報である。量子化パラメータ情報は、量子化幅（量子化ステップサイズ）及び量子化マトリクスなどの情報を含む。

量子化変換係数情報３２１は、復元された量子化パラメータに従って逆量子化／逆直交変換部３０６により逆量子化され、更にＩＤＣＴのような逆直交変換が施される。ここでは、逆直交変換について説明したが、符号化側でウェーブレット変換などが行われている場合、逆量子化／逆変換部３０６は対応する逆量子化／逆ウェーブレット変換などを行ってもよい。

逆量子化／逆変換部３０６からは予測残差信号３２２が出力され、加算器３０７に入力される。加算器３０７では、予測信号生成部３０９から出力される予測信号３２３と予測残差信号３２２との加算が行われ、復号画像信号３２４が生成される。復号画像信号３２４は、参照画像メモリ３０８に入力されるとともに出力バッファ３１１に渡され、出力バッファ３１１から復号化制御部３１０が管理するタイミングで出力される。

一方、エントロピー復号部３０５により復号された予測モードインデックス情報３３１、ブロックサイズ切替情報３３２、予測順切替情報３３３及び予測モード数切替情報３３４は予測信号生成部３０９に入力される。予測信号生成部３０９には、更に参照画像メモリ３０８から既に復号されている参照画像信号３２５が入力される。予測信号生成部３０９は、予測モードインデックス情報３３１、ブロックサイズ切替情報３３２、予測順切替情報３３３及び予測モード数切替情報３３４を基に、参照画像信号３２５を参照して予測信号３２３を生成する。復号制御部３１０は、復号部３０４の復号処理全般の制御、例えば入力バッファ３０１及び出力バッファ３１１の制御や、復号タイミングの制御などを行う。

（予測信号生成部３０９について）
次に、図７９を参照して予測信号生成部３０９について説明する。図７９中に示す予測信号生成部３０９は、前述した画像符号化装置内の予測信号生成部１０１３と基本的に同様である。図７９において、予測順切替部３７０は参照画像メモリ３０８からの参照画像信号３２５に対して予測順切替情報３３３に基づいてマクロブロック中のサブブロックの予測順を切り替える。予測順切替部３７０によって予測順が切り替えられた画像信号は、単方向予測部３７１及び双方向予測部３７２に入力される。

単方向予測部３７１は、予測モードインデックス情報３３１に基づいて、用意された複数の予測モードのうち一つの予測モードを選択し、選択した予測モード及びブロックサイズ切替情報３３２に従って、参照画像信号３２５を参照して予測信号を生成する。

一方、双方向予測部３７２は予測モードインデックス情報３３１に基づいて、前記用意された複数の予測モードのうち２つの予測モードを選択する。双方向予測部３７２は、こうして選択した予測モード、ブロックサイズ切替情報３３２及び重み係数情報３３５に従って、参照画像信号３２５を参照して予測信号を生成する。単方向予測部３７１及び双方向予測部３７２から出力される予測信号は、予測モード数切替部３７３に入力される。

予測モード数切替部３７３は、予測モード数切替情報３４４に従って制御されることにより、単方向予測部３７１によって生成された予測信号及び双方向予測部３７２によって生成された予測信号のいずれかを選択し、選択した予測信号３２３を出力する。

予測順切替部３７０は予測順切替情報３３３により制御され、予測順切替情報３３３を表す後述のフラグ:block_order_flagの値によって前記基準となるインデックス:blkを変換することによりサブブロックの予測順を切り替える。サブブロックの順番:idxに対して、実際の符号化時のサブブロックのインデックス:order（予測順を表す）は、式（５９）に示した通りである。また、blkConv[ ][ ]の変換のための変換テーブルは、図５２に示した通りである。

フラグ:block_order_flagが０（FALSE）の場合、実際に予測符号化を行う際のサブブロックのインデックス:orderは符号化対象のサブブロックのインデックス:idxそのものであり、ブロックの予測及び予測順を変更しない（以後、このような予測順による予測を順次予測という）。図６Ｂ及び図７Ｂは、それぞれ図６Ａ及び図７Ａに対する順次予測による予測順を示している。

一方、フラグ:block_order_flagが１(TRUE)の場合、実際に予測符号化を行うサブブロックのインデックス:orderは、４つのサブブロックのうち先に対角の１ブロックを外挿により予測し、残りの３ブロックを外挿予測または内挿により予測する、という予測順を示す。以後、このような予測順による予測を外挿／内挿ブロック予測という。図６Ｃ及び図７Ｃは、それぞれ図６Ａ及び図７Ａに対する外挿／内挿ブロック予測による予測順変更例を示している。

上述のようにして予測順切替部３７０により予測順が切り替えられたサブブロックは、単方向予測部３７１または双方向予測部３７２に入力されることによって、各サブブロックに対応する予測信号が生成される。モード数切替スイッチ３７３は、予測モード数切替情報３３４が予測モード数“１”を示しているときは単方向予測部３７１により得られる予測信号を出力し、予測モード数切替情報３３４が予測モード数“２”を示しているときは双方向予測部３７２により得られる予測信号を出力する。モード数切替スイッチ３７３から出力される予測信号は、予測信号生成部３０９の出力３２３として取り出される。

モード数切替スイッチ３７３は、予測ブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）毎に与えられる予測モード数切替情報３３４に従って制御されることにより、予測信号３２３を出力する。具体的に４ｘ４画素予測の際には、intra4x4_bi_pred_flagが４ｘ４画素ブロック毎に記述されている。

すなわち、モード数切替スイッチ３７３は予測モード数切替情報３３４であるフラグ:intra4x4_bi_pred_flagがFALSEの場合は、単方向予測部３７１により得られる予測信号を選択し、intra4x4_bi_pred_flagがTRUEの場合は双方向予測部１７２により得られる予測信号を選択する。

（双方向予測部３７２について）
次に、図７７を参照して双方向予測部３７２について説明する。双方向予測部３７２は第１単方向予測部３７５と第２単方向予測部３７６及び加重平均部３８０を有する。第１単方向予測部３７５及び第２単方向予測部３７６は、図７９に示す単方向予測部３７１と同様である。第１単方向予測部３７５及び第２単方向予測部３７６にはそれぞれ異なる予測モードが予測モードインデックス情報３３１に従って入力され、符号化対象ブロックを予測する。

第１単方向予測部３７５及び第２単方向予測部３７６では、予測モード及びブロックサイズ切替情報３３２に従って、参照信号３２５を参照して予測信号３８１及び３８２を生成する。２種類の単方向予測部によって生成された予測信号３８１及び３８２は加重平均部３８０に入力される。加重平均部３８０では、重み係数情報３３５に従って予測信号３８１及び３８２を画素単位に加重平均し、予測信号３２３を出力する。但し、第１単方向予測部３７５は単方向予測部３７１の処理を行うことで省略が可能である。この場合、単方向予測部３７１が出力する予測信号と第２単方向予測部３７６が出力する予測信号３８２が加重平均部３８０に入力される。

単方向予測部３７１及び加重平均部３８０の具体的な処理は、画像符号化装置における単方向予測部１７１及び加重平均部１８０と同様であるため、説明を省略する。

シンタクス構造は、基本的に図３２に示した通りであるが、以下では４ｘ４画素予測が選択された場合のマクロブロックプレディクションシンタクスの構成について図６４を用いて説明する。
図６４中のblkConv[block_order_flag][luma4x4BlkIdx]は、図５２に示されるような予測順の変換を行う変換テーブルを有しており、復号対象ブロックのインデックスを出力する。intra4x4_pred_mode_l0[ block_order_flag ][order]は、復号されたインデックスのデータである。

図６４中のintra4x4_bi_pred_flagは、当該４ｘ４画素ブロックに対して双方向予測を行うか、行わないかを切り替えるフラグである。すなわち、当該フラグintra4x4_bi_pred_flagのFALSEは当該４ｘ４画素ブロックが単方向予測であることを意味し、TRUEは当該４ｘ４画素ブロックが双方向予測であることを意味する。

図６４中のintra4x4_pred_mode_l1は、復号されたインデックスのデータである。当該データintra4x4_pred_mode_l1は、intra4x4_bi_pred_flagがTRUEの際に復号される。

（第４の実施形態：シンタクス構造の第１の例）
以下、第４の実施形態における各シンタクスの詳細について説明する。
luma4x4Blkに対して、block_order_flag毎にblkConv[block_order_flag][luma4x4BlkIdx]に示すテーブルに従って変換を施し、符号化対象のサブブロックを示すブロックインデックス:orderを算出する（図５２参照）。

ブロックインデックスorderが示す４ｘ４画素ブロックを復号する場合、intra4x4_pred_mode_l0[block_order_flag][order]を復号し、これを図５１に示すようにintra4x4_pred_mode_l0_org[block_order_flag][order]に逆変換する。これは、block_order_flag及びマクロブロック内の当該ブロックの位置に応じて利用可能な予測モードが異なるために行う処理である。具体的には図６７に示すように、block_order_flagが０（FALSE）の場合、intra4x4_pred_mode_l0_orgにintra4x4_pred_mode_l0の値がそのまま代入される。このとき、intra4x4_pred_mode_l0_orgは用意された単方向予測の９種類の予測モードのうちどの予測モードを４ｘ４画素ブロックの復号に用いるかを示すデータとなる。

一方、block_order_flagが１（TRUE:外挿／内挿ブロック予測）の場合、当該４ｘ４画素ブロックがマクロブロック内のどこに位置するかに応じて、テーブルが切り替わる。具体的には、内挿ブロック(２）に対して復号されたintra4x4_pred_mode_l0[1][order]が１３である場合、当該予測モードintra4x4_pred_mode_l0_org[1][order]は１５（逆方向垂直右予測）となる。また、内挿ブロック(３）に対して復号されたintra4x4_pred_mode_l0[1][order]が１２である場合、当該予測モードintra4x4_pred_mode_l0_org[1][order]は１４（逆方向水平上予測）となる。

intra4x4_bi_pred_flagがTRUEの場合、更にintra4x4_pred_mode_l1[block_order_flag][order]を復号する。復号されたintra4x4_pred_mode_l0[block_order_flag][order]は、図６７に示されるようにintra4x4_pred_mode_l0_org[block_order_flag][order]に変換される。

他の例においては、block_order_flag及びintra4x4_bi_pred_flagの情報は符号化ビットストリームから分離されて復号されるが、復号済みのブロック及び画素から計算される前記アクティビティ情報により、block_order_flag及びintra4x4_bi_pred_flagの情報を示してもよい。この場合、符号化側と同様のロジックを用いることにより、block_order_flag及びintra4x4_bi_pred_flagの情報は、符号化側と同一のものが示されるため、符号化ビットストリームから分離及び復号の処理は必要とされない。

＜第５の実施形態：画像符号化装置におけるシンタクス構造＞
次に、他の実施形態に従う画像符号化装置について、今までの説明と異なる部分を中心に説明する。図６９のマクロブロックレイヤシンタクス内に示されるblock_order_flagは、予測順の切り替えをマクロブロックで行うか否かを示すフラグである。block_order_flagがTRUEであるときは、予測順を切り替えて外挿／内挿ブロック予測を行う。一方、block_order_flagがFALSEであるときは、予測順の切り替えを行わず、順次ブロック予測を行う。

block_order_flagがTRUEの際には、予測順の具体的な記述方法がblock_order_in_mb_modeによって示される。block_order_in_mb_modeは以下に従って、予測順を示す。

（ａ）モードが０の場合、外挿／内挿ブロック予測を行う際の予測順を与える。

（ｂ）モードが１の場合、予測順の組み合わせをインデックス情報に変換し、インデックス情報で予測順を示す。４つのブロックに対して予測順を決定する際は、順列により４Ｐ４＝２４通りから順次ブロック予測を除く２３通りの予測順から、マクロブロック毎に１つを決定する。具体的には、図６９中のblock_order_idxが前記ブロック組み合わせインデックスを与える。

（ｃ）モードが２の場合、各ブロックに対して順序番号を直接示す。４ｘ４画素ブロックに対しては、１６個のblock_order4x4[ BLK]にその順番が示される。また、８ｘ８画素ブロックに対しては、４個のblock_order8x8[BLK]にその順番が示されている。

別の例として、block_order_in_mb_modeが１の際に、最初に復号する１ブロックのみを示してもよい。４ｘ４画素予測の際は、予測順のインデックスが膨大となることから、８ｘ８画素ブロック単位で示される４ｘ４画素ブロックの順番を４回繰り返し、インデックスの情報を削減してもよい。

また、block_order_in_mb_modeが２の際に、block_order4x4[ BLK]は外部からのテーブルによって示してもよい。隣接するblock_order4x4[ ]との差分を計算し、可変の符号長で表現してもよい。最後のblock_order4x4[15]は残りの一つの順番となることから、block_order4x4[15]を示す必要は無い。８ｘ８画素ブロックに対しても同様である。４ｘ４画素予測の際は、８ｘ８画素ブロック単位で示される４ｘ４画素ブロックの順番を４回繰り返し、block_order4x4の情報を削減してもよい。

block_order_in_mb_mode，block_order_idx，block_order4x4及びblock_order8x8といった情報はシーケンス毎、ピクチャ毎、スライス毎、マクロブロック毎に適応的に値を設定してもよい。

＜第６の実施形態：画像復号化装置におけるシンタクス構造＞
図７０、図７１、図７２、図７３及び図７４は、画像復号化装置に関するシンタクス構造に関する別の例について示している。各シンタクスの説明は第５の実施形態に係る画像符号化装置と同様であるので省略する。

＜第７の実施形態：画像符号化装置＞
第２の実施形態において、外挿／内挿ブロック予測を適用するブロックと順次ブロック予測を適用するブロックが混在する場合、サブブロックの位置毎に予測モードのセットが異なる場合が発生する。この場合、予測モードの予測を行うための参照予測モードの導出に当たって、第２の実施形態のような参照ブロックの導出方法では、参照ブロックと符号化対象ブロックの予測モードセット（後述）が異なるため、予測モードの予測性能が低下する場合がある。第３の実施形態では、この点について以下のように改善する。

まず、外挿／内挿ブロック予測時のサブブロックの名称を図８０Ａ及び図８０Ｂのように表記する。図８０Ａは８ｘ８画素ブロック予測における８ｘ８画素ブロック位置とその名称（Ａ〜Ｄ）を示し、図８０Ｂは４ｘ４画素ブロック予測における４ｘ４画素ブロック位置とその名称（ＡＡ，ＡＢ，ＡＣ，ＡＤ，ＢＡ，ＢＢ，ＢＣ，ＢＤ，ＣＡ，ＣＢ，ＣＣ，ＣＤ，ＤＡ，ＤＢ，ＤＣ及びＤＤ）を示している。

ここで、ブロックＡＡ，ＡＢ，ＡＣ及びＡＤはマクロブロック内の左上８ｘ８画素ブロックに属し、同様にブロックＢＡ，ＢＢ，ＢＣ，ＢＤはマクロブロック内の右上８ｘ８画素ブロックに、ブロックＣＡ，ＣＢ，ＣＣ及びＣＤはマクロブロック内の左下８ｘ８画素ブロックに、ブロックＤＡ，ＤＢ，ＤＣ及びＤＤはマクロブロック内の右下８ｘ８画素ブロックにそれぞれ属する。

双方向予測部１７２による予測モードは、最大１５３種類（単方向予測モード１７種類＋双方向予測モード１３６種類（＝１７Ｃ２））用意されている。従って画素ブロック単位に予測モード情報を符号化するためには、７ビット／画素ブロック以上の符号量が必要である。符号量を減らすために、外挿／内挿ブロック予測の画素ブロック位置毎に上記１５３種の中から適切な予測モードをＮ種類選択し、それらを符号化対象画素ブロックの予測モード候補としても良い。以降、複数の予測モード候補から１７種類を選択した予測モード群を予測モードセットとする。

図８１、図８２及び図８３は、本実施形態におけるＮ＝１７とした場合の予測モードの名称（予測順及び予測方向）と対応する予測モードインデックスの例、つまり予測モードセットを表している。図８１は、順次ブロック予測の予測モードセットを表している。図８２は、外挿／内挿ブロック予測で８ｘ８画素予測の場合、かつ予測順がＤ→Ｂ→Ｃ→Ａとなる場合の予測モードセットを表している。図８３は、外挿／内挿ブロック予測で８ｘ８画素予測の場合、かつ予測順がＤ→Ｃ→Ｂ→Ａとなる場合の予測モードセットを表している。図８１、図８２及び図８３において、網掛けを施した領域は双方向予測であることを示す。図８４は、画素ブロックの予測順と予測モードセットの対応関係を示している。図８１、図８２及び図８３の予測モードセット中の予測順に、０，1及び２というインデックスがそれぞれ付けられている。

ここで、予測モードは必ずしも図８１、図８２及び図８３に示した予測順である必要は無く、図９、図１０あるいは図６２に示されるような他の予測順の予測モードを使用して予測モードセットを構成しても良い。また、単方向予測のみを使用して予測モードセットを構成しても良いし、双方向予測のみを使用して予測モードセットを構成しても良い。更に、外挿／内挿ブロック予測のように画素ブロックの複数の予測順が存在する場合においても、予測順の異なる別の予測モードによって予測モードセットを構成しても良いし、同一の予測モードセットを構成しても良い。

図８１、図８２及び図８３に示すように、本実施形態の予測モードインデックスインデックスと対応する予測順は、サブブロックの予測が外挿／内挿ブロック予測であるか順次ブロック予測であるかによって、及びマクロブロック内のサブブロックの位置によって異なる。従って、予測モードの予測を行う場合、第２の実施形態で述べた参照ブロックの導出方法では参照ブロックと符号化対象ブロックの予測モードのセットが異なる場合がある。

（シンタクス構造の例：予測モード数Ｎ＝１７の場合）
画像符号化部１００において用いられるシンタクス構造の概略は図３２に示した通りであり、またマクロブロックプレディクションシンタクスには、図３４に示したようにマクロブロック内のサブブロック（４ｘ４画素ブロックまたは８ｘ８画素ブロック）毎の予測モード情報が明記されている。

一方、図３３に示したマクロブロックレイヤシンタクスの構成は、図８５に置き換えられる。図８５のマクロブロックレイヤシンタクス内に示されるblock_order_flagは、予測順の切り替えを当該マクロブロックで行うか否かを示すフラグである。block_order_flagがTRUEであるときは予測順を切り替え、外挿／内挿ブロック予測を行う。block_order_flagがFALSEであるときは予測順を切り替えず、順次ブロック予測を行う。block_order_flagがTRUEのときの予測順の具体的な記述方法は、block_order_in_mb_modeに示される。mb_bipred_intra_flagは、単方向予測か双方向予測かを示す。

次に、図８６Ａ及び図８６Ｂを用いて４ｘ４画素予測について述べる。符号化対象マクロブロックが双方向予測を行うマクロブロック（mb_bipred_intra_flagがTRUE）である場合を考える。用意された複数の予測モードのうちどの予測モードを符号化対象４ｘ４画素ブロックに用いるかを示すデータをIntra4x4PredModeとすると、４ｘ４画素ブロックのインデックスluma4x4BlkIdxの予測モードIntra4x4PredMode[ luma4x4BlkIdx ]は、prev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]及びrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]の２つのシンタクスによって表現される。prev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]は、後述の隣接ブロックから導出された予測モードの予測値である参照予測モードref_pred_modeと符号化対象４ｘ４画素ブロックの予測モードが同一であるか否かを示すフラグである。prev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]がTRUEである場合、参照予測モードref_pred_modeが符号化対象４ｘ４画素ブロックの予測モードIntra4x4PredMode[ luma4x4BlkIdx ]となるため、フラグprev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]のみの１ビットで予測モードの情報を示すことができる。

一方、フラグprev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]がFALSEの場合、更に予測モードの予測値と予測モードとの差を表す予測残差信号であるrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]が示される。フラグprev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]がFALSEの場合、ref_pred_modeは符号化対象４ｘ４画素ブロックの予測モードIntra4x4PredMode[ luma4x4BlkIdx ]ではないことから、図８７に示されるように符号化対象予測モードとしてはIntra4x4PredMode[ luma4x4BlkIdx ]からref_pred_modeを除いた値をrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]とする。具体的には、図８７に示されるように、Intra4x4PredMode[ luma4x4BlkIdx ]がref_pred_mode以上の値である場合、Intra4x4PredMode[ luma4x4BlkIdx ]から１をマイナスした値がrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]にセットされる。

次に、予測モードの予測値ref_pred_modeの導出方法について述べる。ref_pred_modeは、以下のように符号化対象画素ブロックに対して左方向に位置する符号化済み画素ブロックleft_ref_blk、及び上方向に位置する符号化済み画素ブロックupper_ref_blkにおける予測モードleft_ref_pred_mode及びupper_ref_pred_modeの小さい方とする。

但し、min(M、N)とはMとNで小さい値を出力するオペレータである。

left_ref_pred_mode及びupper_ref_pred_modeは、符号化対象マクロブロック及び隣接マクロブロックの予測サイズ（４ｘ４画素予測若しくは８ｘ８画素予測）、及びサブブロックの予測順序（外挿／内挿ブロック予測か順次ブロック予測）、及び符号化対象の８ｘ８画素ブロック若しくは４ｘ４画素ブロックのマクロブロック内での相対位置に応じて、その導出方法が異なる。

（１）符号化対象画素ブロックが順次ブロック予測である場合：
まず、符号化対象画素ブロックが順次ブロック予測(block_order_flag=0(FALSE))の場合について述べる。
左に隣接する画素ブロックが符号化対象画素ブロックと同一マクロブロックに属する場合や、同一マクロブロックではないが左隣接マクロブロックが順次ブロック予測である場合、Ｈ．２６４と同様に左に隣接する画素ブロックの予測モードの値がleft_ref_pred_modeにセットされる。

同様に、上に隣接する画素ブロックが符号化対象画素ブロックと同一マクロブロックに属する場合や、同一マクロブロックではないが上隣接マクロブロックが順次ブロック予測である場合、Ｈ．２６４と同様に上に隣接する画素ブロックの予測モードの値がupper_ref_pred_modeにセットされる。

また、左に隣接する画素ブロックが属する左隣接マクロブロックが順次ブロック予測ではない場合、ＤＣ予測の予測モードインデックス（本例では２）をleft_ref_pred_modeにセットする。

同様に、上に隣接する画素ブロックが属する左隣接マクロブロックが順次ブロック予測ではない場合、ＤＣ予測の予測モードインデックス（本例では２）をupper_ref_pred_modeにセットする。

（２）符号化対象画素ブロックが外挿／内挿ブロック予測である場合：
次に、符号化対象画素ブロックが外挿／内挿ブロック予測(block_order_flag=0(TRUE))の場合について、符号化対象画素ブロックの画素予測サイズ、隣接画素ブロックの画素予測サイズ、及びサブブロックの符号化順序に応じて分類して述べる。

（２−１）隣接ブロックが外挿／内挿ブロック予測ではない場合：
まず、左に隣接画素ブロックが属する左隣接マクロブロックが外挿／内挿ブロック予測ではない場合、DC予測の予測モードインデックス（本例では２）をleft_ref_pred_modeにセットする。

同様に、上に隣接する画素ブロックが属する左隣接マクロブロックが外挿／内挿ブロック予測でない場合、DC予測の予測モードインデックス（本例では２）をupper_ref_pred_modeにセットする。

（２−２）隣接ブロックが外挿／内挿ブロック予測である場合：
左に隣接する画素ブロックが符号化対象画素ブロックと同一マクロブロックに属する場合や、同一マクロブロックではないが左隣接マクロブロックが外挿／内挿ブロック予測である場合と、上に隣接する画素ブロックが符号化対象画素ブロックと同一マクロブロックに属する場合や、同一マクロブロックではないが上隣接マクロブロックが外挿／内挿ブロック予測である場合について以下に述べる。

（８ｘ８画素ブロック予測の場合: left_ref_pred_modeの導出）
以下、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合のleft_ref_pred_modeの導出方法について、図８８Ａ及び図８８Ｂ、図８９Ａ、図８９Ｂ、図９０Ａ、図９０Ｂ、図９０Ｃ及び図９０Ｄ、図９１、図９２Ａ、図９２Ｂ、図９２Ｃ及び図９２Ｄ、及び図９３を用いて説明する。

（１−１）符号化対象マクロブロックの左に隣接するマクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図８８Ａに示すように、符号化対象ブロック５０１内の８ｘ８画素ブロックＡ，Ｂ，Ｃ及びＤは左に隣接するマクロブロック５０２内のブロックＡ，Ｂ，Ｃ及びＤの予測モードをそれぞれ参照する。例えば、ブロックＡは左に隣接するマクロブロック５０２中のブロックＡの予測モードの値をleft_ref_pred_modeにセットする。

（１−２）符号化対象マクロブロックの左に隣接するマクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図８８Ｂに示すように、符号化対象ブロック５０１内の８ｘ８画素ブロックＡ，Ｂ，Ｃ及びＤは矢印で示す４ｘ４画素ブロックの予測モードをそれぞれ参照する。具体的には、ブロックＡは左に隣接するマクロブロック５０３中のブロックＢＡの予測モードの値をleft_ref_pred_modeにセットする。ブロックＢは左に隣接するマクロブロック５０３中のブロックＢＢの予測モードの値を、ブロックＣはマクロブロック５０３中のブロックＤＣの予測モードの値を、ブロックＤはマクロブロック５０３中のブロックＤＤの予測モードの値をそれぞれleft_ref_pred_modeにセットする。

他の例として、符号化対象ブロック５０１内の８ｘ８画素ブロックは左に隣接するマクロブロック５０３のうち、同一予測モードセットを持つサブブロックを参照しても良い。例えば、ブロックＡはマクロブロック５０３中のブロックＢＡではなく、ブロックＡＡ，ＣＡ，ＤＡの予測モードの値をleft_ref_pred_modeにセットしても良い。ブロックＢ，Ｃ及びＤに関しても同様である。

（１−３）その他、画面及びスライスの境界で左に隣接するマクロブロックが存在しない場合：
ＤＣ予測を示す予測モードインデックスの値（本例では２）をleft_ref_pred_modeにセットする。

（８ｘ８画素ブロック予測の場合: upper_ref_pred_modeの導出）
次に、符号化対象マクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合のupper_ref_pred_modeの導出方法について、図８９Ａ及び図８９Ｂを用いて説明する。

（２−１）符号化対象マクロブロックの上に隣接するマクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図８９Ａに示すように、符号化対象ブロック５０１内の８ｘ８画素ブロックＡ，Ｂ，Ｃ及びＤは上に隣接するマクロブロック５０４内のブロックＡ，Ｂ，Ｃ及びＤの予測モードをそれぞれ参照する。例えば、ブロックＡは上に隣接するマクロブロック５０４中のブロックＡの予測モードの値をupper_ref_pred_modeにセットする。

（２−２）符号化対象マクロブロックの上に隣接するマクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図８９Ｂに示すように、符号化対象ブロック５０１内の８ｘ８画素ブロックＡ，Ｂ，Ｃ及びＤは矢印で指し示す４ｘ４画素ブロックの予測モードをそれぞれ参照する。具体的には、ブロックＡは上に隣接するマクロブロック５０５中のブロックＣＡの予測モードの値をupper_ref_pred_modeにセットする。ブロックＢは上に隣接するマクロブロック５０５中のブロックＤＢの予測モードの値を、ブロックＣは上にマクロブロック５０５中のブロックＣＣの予測モードの値を、ブロックＤはマクロブロック５０５中のブロックＤＤの予測モードの値をそれぞれupper_ref_pred_modeにセットする。

他の例として、符号化対象ブロック５０１内の８ｘ８画素ブロックは上に隣接するマクロブロック５０５のうち、同一予測モードセットを持つサブブロックを参照しても良い。例えば、ブロックＡは左に隣接するマクロブロック中のブロックＣＡではなく、ブロックＡＡ，ＢＡ及びＤＡの予測モードの値をupper_ref_pred_modeにセットしても良い。ブロックＢ，Ｃ及びＤに関しても同様である。

（２−３）その他、画面及びスライスの境界で上に隣接するマクロブロックが存在しない場合：
４ｘ４画素ブロック予測及び８ｘ８画素ブロック予測で無い場合、ＤＣ予測を示す予測モードインデックスの値（本例では２）をupper_ref_pred_modeにセットする。

（４ｘ４画素ブロック予測の場合: left_ref_pred_modeの導出）
次に、符号化対象マクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合のleft_ref_pred_modeの導出方法について、図９０Ａ、図９０Ｂ、図９０Ｃ及び図９０Ｄ、及び図９１を用いて説明する。この場合、マクロブロック内の４ｘ４画素ブロック位置に応じて導出方法が異なる。

（３−１）符号化対象マクロブロックの左に隣接するマクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合：
（３−１−１）図９０Ａに示すように、符号化対象マクロブロック５１１の左に隣接するマクロブロック５１２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５１１内のブロック位置が左上８ｘ８画素ブロックに属する４ｘ４画素ブロックＡＡ，ＡＢ，ＡＣ及びＡＤは、図９０Ａ中に示す矢印に従って８ｘ８画素ブロックをそれぞれ参照する。具体的には、ブロックＡＡは左に隣接するマクロブロック５１２内のブロックＡの予測モードをleft_ref_pred_modeにセットする。同様に、ブロックＡＢは左に隣接するマクロブロック５１２内のブロックＢの予測モードを、ブロックＡＣはマクロブロック５１２内のブロックＣの予測モードを、ブロックＡＤはマクロブロック５１１２内のブロックＤの予測モードをそれぞれleft_ref_pred_modeにセットする。

（３−１−２）図９０Ｂに示すように、符号化対象マクロブロック５２１の左に隣接するマクロブロック５２２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５２１内のブロック位置が右上８ｘ８画素ブロックに属する４ｘ４画素ブロックＢＡ，ＢＢ，ＢＣ及びＢＤは、図９０Ｂ中に示す矢印に従って符号化対象マクロブロック５２１内の左に隣接する左上８ｘ８画素ブロックに属する４ｘ４画素ブロックを参照する。具体的には、同じマクロブロック５２１内のブロックＡＡ，ＡＢ，ＡＣ及びＡＤの予測モードをそれぞれleft_ref_pred_modeにセットする。

（３−１−３）図９０Ｃに示すように、符号化対象マクロブロック５３１の左に隣接するマクロブロック５３２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５３１内のブロック位置が左下８ｘ８画素ブロックに属する４ｘ４画素ブロックＣＡ，ＣＢ，ＣＣ及びＣＤは、図９０Ｃ中に示す矢印に従って左に隣接するマクロブロック５３２内の８ｘ８画素ブロックをそれぞれ参照する。具体的には、（１−１）における記述についてＡＡ，ＡＢ，ＡＣ及びＡＤをＣＡ，ＣＢ，ＣＣ及びＣＤにそれぞれ置き換えればよい。

（３−１−４）図９０Ｄに示すように、符号化対象マクロブロック５４１の左に隣接するマクロブロック５４２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、ブロック位置が右下８ｘ８画素ブロックに属する４ｘ４画素ブロックＤＡ，ＤＢ，ＤＣ及びＤＤは、図９０Ｄ中に示す矢印に従って符号化対象マクロブロック５４１内の上に隣接する左下８ｘ８画素ブロック中に属する４ｘ４画素ブロックを参照する。具体的には、同じマクロブロック５４１内のブロックＢＡ，ＢＢ，ＢＣ及びＢＤの予測モードをそれぞれleft_ref_pred_modeにセットする。

（３−２）符号化対象マクロブロックの左に隣接するマクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図９１に示すように、符号化対象マクロブロック５５１の左に隣接するマクロブロック５５２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５５１内のいずれの４ｘ４画素ブロックにおいても、左に隣接する８ｘ８画素ブロック５３２内の対応する位置の４ｘ４画素ブロックを参照する。

（４ｘ４画素ブロック予測の場合: upper_ref_pred_modeの導出）
次に、符号化対象マクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合のupper_ref_pred_modeの導出方法について、図９２Ａ、図９２Ｂ、図９２Ｃ及び図９２Ｄ、及び図９３を用いて説明する。この場合、マクロブロック内の４ｘ４画素ブロック位置に応じて導出方法が異なる。

（４−１）符号化対象マクロブロックの上に隣接するマクロブロックが８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合：
（４−１−１）図９２Ａに示すように、符号化対象マクロブロック５６１の上に隣接するマクロブロック５６２が８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５６１内のブロック位置が左上８ｘ８画素ブロックに属する４ｘ４画素ブロックＡＡ，ＡＢ，ＡＣ及びＡＤは、図９２Ａ中に示す矢印に従って上に隣接するマクロブロック５６２内の８ｘ８画素ブロックをそれぞれ参照する。具体的には、ブロックＡＡは上に隣接するマクロブロック５６２内のブロックＡの予測モードをupper_ref_pred_modeにセットする。同様に、ブロックＡＢは上に隣接するマクロブロック５６２内のブロックＢの予測モードを、ブロックＡＣはマクロブロック５６２内のブロックＣの予測モードを、ブロックＡＤは上にマクロブロック５６２内のブロックＤの予測モードをそれぞれupper_ref_pred_modeにセットする。

（４−１−２）図９２Ｂに示すように、符号化対象マクロブロック５７１の上に隣接するマクロブロック５７２が８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５７１内のブロック位置が右上８ｘ８画素ブロックに属する４ｘ４画素ブロックＢＡ，ＢＢ，ＢＣ及びＢＤは、図９２Ｂ中に示す矢印に従って上に隣接するマクロブロック５７２内の８ｘ８画素ブロックをそれぞれ参照する。具体的には（１−１）における記述についてＡＡ，ＡＢ，ＡＣ及びＡＤをＢＡ，ＢＢ，ＢＣ及びＢＤにそれぞれ置き換えればよい。

（４−１−３）図９２Ｃに示すように、符号化対象マクロブロック５８１の上に隣接するマクロブロック５８２が８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５８１内のブロック位置が左下８ｘ８画素ブロックに属する４ｘ４画素ブロックＣＡ，ＣＢ，ＣＣ及びＣＤは、図９２Ｃ中に示す矢印に従って、符号化対象マクロブロック５８１内の上に隣接する８ｘ８画素ブロック中の４ｘ４画素ブロックを参照する。具体的には、同じマクロブロック５８１内のブロックＡＡ，ＡＢ，ＡＣ及びＡＤの予測モードをそれぞれupper_ref_pred_modeにセットする。

（４−１−４）図９２Ｄに示すように、符号化対象マクロブロック５９１の上に隣接するマクロブロック５９２が８ｘ８画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック５８１内のブロック位置が右下８ｘ８画素ブロックに属する４ｘ４画素ブロックＤＡ，ＤＢ，ＤＣ及びＤＤは、図９２Ｄ中に示す矢印に従って、符号化対象マクロブロック５８１内の上に隣接する８ｘ８画素ブロック中の４ｘ４画素ブロックを参照する。具体的には、同じマクロブロック５８１内のブロックＢＡ，ＢＢ，ＢＣ及びＢＤの予測モードをそれぞれupper_ref_pred_modeにセットする。

（４−２）符号化対象マクロブロックの左に隣接するマクロブロックが４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合：
図９３に示すように、符号化対象マクロブロック６０１の上に隣接するマクロブロック６０２が４ｘ４画素ブロック予測且つ外挿／内挿ブロック予測の場合、符号化対象ブロック６０１内のいずれの４ｘ４画素ブロックにおいても、上に隣接するマクロブロック６０２内の対応する位置の４ｘ４画素ブロックを参照する。

以上のように予測モードの予測値を算出することにより、常に符号化対象ブロックと参照ブロックの予測モードのインデックス及び予測方向と、参照ブロックのインデックス及び予測方向が完全に一致する。つまり予測モードセットが同一のため、予測モード符号化の効率は改善する。

次に、図９４を参照して画素ブロックにおける予測及び符号化手順を説明する。
まず、符号化対象マクロブロックにおける予測順序（外挿／内挿ブロック予測若しくは順次ブロック予測）が決定すると（ステップＳ５００）、図８０Ａ及び図８０Ｂに示される予測順序に対応した予測モードセットが決定される（ステップＳ５０１）。

予測部１０２にブロック画像信号１２１が入力されると、まず予測信号生成部１１３にblk=０で示されるサブブロックをセットする（ステップＳ５０２）。更に、サブブロックの位置に応じて、左及び上に位置する参照ブロックが決定され、式（７５）に従って予測モードの予測値ref_pred_modeが導出される（ステップＳ５０３）。

次に、モード選択部１０３及び内部モード選択部１１４における予測モード及び符号化コストの初期化を行う（ステップＳ５０４）。例えば、予測モード:indexを０にセットし、最小符号化コスト:min_costを無限大にセットする。

次に、予測信号生成部１１３によってblk=０で示されるサブブロックに対して選択可能な１つのモードindexにより予測信号１２２を生成する（ステップＳ５０５）。ブロック画像信号１２１と予測信号１２２との差分をとって予測残差信号１２３を生成し、式（１）または式（２）に従って符号化コストを計算する。また、予測モードは予測モードの予測値ref_pred_modeを用いて予測モードの符号化に必要な符号化コストを前記符号化コストに加える（ステップＳ５０６）。

モード選択部１０３は、計算された符号化コストが最小符号化コスト:min_costより小さいか否かを判別し（ステップＳ５０７）、小さい場合（Ｓ５０７の結果がＹＥＳ）、計算された符号化コストで最小符号化コストを更新するとともに、その際の予測モード情報を最適予測モード情報であることを示すbest_modeインデックスとして保持する（ステップＳ５０８）。

計算されたコストが最小符号化コスト:min_costより大きい場合（Ｓ５０７の結果がＮＯ）、モードインデックス:indexをインクリメントし、インクリメント後のindexがモードの最後の番号（MAX）より大きいか否かを判定する（ステップＳ５０９）。indexがＭＡＸよりも大きい場合（Ｓ５０９の結果がＹＥＳ）、モード選択部１０３から最適予測モード情報１２５及び予測残差信号１２６を直交変換／量子化部１０４へ渡し、直交変換及び量子化を行う。直交変換／量子化部１０４により得られる量子化変換係数情報１２７をエントロピー符号化部１０８によって予測モードの予測を行った予測モードインデックス情報１４１と共にエントロピー符号化する（ステップＳ５１０）。

一方、indexがＭＡＸよりも小さい場合（Ｓ５０９の結果がＮＯ）、ステップＳ３０５に戻って次のindexで示される予測モードの予測信号１２２を生成する。

best_modeでの符号化を行うと、内部直交変換／量子化部１１５により得られる量子化変換係数情報１６３を内部逆量子化／逆直交変換部１１６に渡し、逆量子化及び逆変換を行う。内部逆量子化／逆直交変換部１１６により生成される、復号された予測残差信号１６４を内部モード選択部１１４から入力されるbest_modeの予測信号１６２と内部加算器１１７により加算する。内部加算器１１７によって生成される内部復号信号１６５を内部参照画像メモリ１１８に保存する（ステップＳ５１０）。

当該ブロック符号化数:blkをインクリメントし、インクリメント後のblkの値がマクロブロック内の小ブロックの総数:BLK_MAX（４ｘ４画素予測であれば１６、８ｘ８画素予測であれば４）よりも大きいか否かを判断する（ステップＳ５１１）。インクリメント後のblkの値がBLK_MAXより大きい場合（Ｓ５１１の結果がＹＥＳ）、当該マクロブロック内での予測処理は終了する。一方、インクリメント後のblkがBLK_MAXよりも小さい場合（Ｓ５１１の結果がＮＯ）、ステップＳ５０３に戻って次のblkで示される小ブロックの予測処理を行う。

次に、図９５を用いて図９４のステップＳ５０５及びＳ５１０における予測モードの符号化コストの算出方法を説明する。ステップＳ５０３によって決定された予測モードの予測値ref_pred_modeと符号化対象ブロックの予測モードIntra4x4PredModeが等しいか否かを判定する（ステップＳ５２０）。

予測モードの予測値ref_pred_modeと符号化対象ブロックの予測モードIntra4x4PredModeが等しい場合（Ｓ５２０の結果がＹＥＳ）、図８６Ａ及び図８６Ｂにおけるprev_4x4_bipred_mode_flagに1(TRUE)をセットする（ステップＳ５２１）。予測モードの予測値ref_pred_modeと符号化対象ブロックの予測モードIntra4x4PredModeが等しくない場合（Ｓ５２０の結果がＮＯ）、prev_4x4_bipred_mode_flagに0(FALSE)をセットし（ステップＳ５２２）、rem_intra4x4_bipred_modeに残った予測モードのうち、ref_pred_modeを除く予測モードをセットする（ステップＳ５２３）。

予測モード数Ｎ＝１７の場合、予測モードの予測値と符号化対象画素ブロックの予測モードが等しい場合、１ビット（算術符号化では１ｂｉｎ）で符号化する。また、予測モードの予測値と符号化対象画素ブロックの予測モードが等しくない場合、５ビット（算術符号化では５ｂｉｎ）で符号化する。

ここで、図９６に示すように符号化対象画素ブロック内の左上端画素の位置を符号化対象フレーム中の左上端からの距離(Ox, Oy)で示す。また、符号化対象画素ブロックにおける４ｘ４画素ブロックの位置を符号化対象フレーム中の左上端４ｘ４画素ブロック位置からの距離(O4x, O4y)で示す。図９６は、（ａ）４ｘ４画素ブロック予測の場合のサブブロックＡＡ，ＢＡ，ＣＡ及びＤの左上端画素位置７０１，７０２，７０３及び７０４、及び（ｂ）８ｘ８画素ブロック予測の場合のサブブロックＡ，Ｂ，Ｃ及びＤの左上端画素位置７１１，７１２，７１３及び７１４を示している。図９６中の点線は一例であり、サブブロックＣＡの左上端画素位置７０３が(Ox, Oy)によって示されている。

（画素位置による導出）
別の実施形態として、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の左参照画素ブロックleft_ref_blk及び上参照画素ブロックupper_ref_blkの相対位置（画素単位）を図９７Ａ及び図９７Ｂ、図９８Ａ、図９８Ｂ、図９８Ｃ及び図９８Ｄに示すテーブルから導出しても良い。

以下、図９７Ａ及び図９７Ｂ、図９８Ａ、図９８Ｂ、図９８Ｃ及び図９８Ｄに示すテーブルについて説明する。図９７Ａは、符号化対象ブロックと参照ブロックが同じ予測サイズの場合であり、４ｘ４画素の場合はpredPartWidth及びpredPartHeightに４をセットし、８ｘ８画素の場合はpredPartWidth及びpredPartHeightに８をセットする。図９７Ｂは、符号化対象画素ブロックが８ｘ８画素ブロック予測、かつ参照画素ブロックが４ｘ４画素ブロック予測の場合である。

図９８Ａ、図９８Ｂ、図９８Ｃ及び図９８Ｄは、符号化対象画素ブロックが８ｘ８画素ブロック予測、かつ参照画素ブロックが４ｘ４画素ブロック予測の場合を示している。図９８Ａは符号化対象４ｘ４サブブロックがマクロブロック中の左上８ｘ８画素ブロックに属している場合、図９８Ｂは符号化対象４ｘ４サブブロックがマクロブロック中の右上８ｘ８画素ブロックに属している場合、図９８Ｃは符号化対象４ｘ４サブブロックがマクロブロック中の左下８ｘ８画素ブロックに属している場合、図９８Ｄは符号化対象４ｘ４サブブロックがマクロブロック中の右下８ｘ８画素ブロックに属している場合である。

図９７Ａ及び図９７Ｂ、図９８Ａ、図９８Ｂ、図９８Ｃ及び図９８Ｄに示した各テーブルは、符号化対象ブロックにおける上左端画素の絶対位置（フレームの上左端画素からの位置）(Ox, Oy)から参照するleft_ref_blkの画素位置(left_ref_blk_pos_x, left_ref_blk_pos_y)及びupper_ref_blkの画素位置(upper_ref_blk_pos_x, upper_ref_blk_pos_y)を表す水平及び垂直方向成分を示している。また、各サブブロックの位置に対応したxD, yDは隣接するマクロブロックの予測サイズに応じて値が変わる。upper_ref_blk及びleft_ref_blkは下式に従って導出される。

但し、left_ref_blk内の全ての画素は、符号化対象画素ブロックが保持する予測モードleft_ref_pred_modeを保持するものとする。また、upper_ref_blk内の全ての画素は、符号化対象画素ブロックが保持する予測モードupper_ref_pred_modeを保持するものとする。また、left_ref_blk_pos_x ，left_ref_blk_pos_ｙ， upper_ref_blk_pos_x及びupper_ref_blk_pos_y が示す画素位置はleft_ref_blk及び upper_ref_blk中の画素のうち、符号化対象画素ブロックの左上端画素から最も距離が近い画素の位置を指し示す。

（４ｘ４画素ブロック位置による導出）
さらに別の実施形態として、符号化対象画素ブロック及び参照画素ブロックが属するマクロブロックが共に外挿／内挿ブロック予測の場合の左参照画素ブロックleft_ref_blk及び上参照画素ブロックupper_ref_blkの相対位置（４画素ブロック単位）を図９９Ａ及び図９９Ｂ、図１００Ａ、図１００Ｂ、図１００Ｃ及び図１００Ｄに示すテーブルから導出しても良い。

以下、図９９Ａ及び図９９Ｂ、図１００Ａ、図１００Ｂ、図１００Ｃ及び図１００Ｄに示すテーブルについて説明する。これらのテーブルは、符号化対象画素ブロックが８ｘ８画素ブロック予測、かつ参照画素ブロックが４ｘ４画素ブロック予測の場合である。図９９Ａは、符号化対象ブロックと参照ブロックが同じ予測サイズの場合であり、４ｘ４画素の場合はpredPartWidth4x4及びpredPartHeight4x4に１をセットし、８ｘ８画素の場合はpredPartWidth4x4及びpredPartHeight4x4に２をセットする。図８４Ｂは、符号化対象画素ブロックが８ｘ８画素ブロック予測、かつ参照画素ブロックが４ｘ４画素ブロック予測の場合である。

図１００Ａは、符号化対象４ｘ４サブブロックがマクロブロック中の左上８ｘ８画素ブロックに属している場合、図１００Ｂは符号化対象４ｘ４サブブロックがマクロブロック中の右上８ｘ８画素ブロックに属している場合、図１００Ｃは符号化対象４ｘ４サブブロックがマクロブロック中の左下８ｘ８画素ブロックに属している場合、図１００Ｄは符号化対象４ｘ４サブブロックがマクロブロック中の右下８ｘ８画素ブロックに属している場合をそれぞれ示している。

図９９Ａ及び図９９Ｂ、図１００Ａ、図１００Ｂ、図１００Ｃ及び図１００Ｄに示した各テーブルは、符号化対象ブロックにおける４ｘ４画素ブロック位置フレームの上左端４ｘ４画素ブロックからの位置）(O4x, O4y)から参照すべきleft_ref_blkの４ｘ４画素ブロック位置(left_ref_blk_pos4x4_x， left_ref_blk_pos4x4_y)及びupper_ref_blkの４ｘ４画素ブロック位置(upper_ref_blk_pos4x4_x、 upper_ref_blk_pos4x4_y)を表す水平及び垂直方向成分(４ｘ４画素ブロック単位)である。upper_ref_blk及びleft_ref_blkは下式に従って導出される。

但し、left_ref_blkが８ｘ８画素予測の場合、符号化対象８ｘ８画素ブロック内の全ての４ｘ４画素ブロックが予測モードleft_ref_pred_modeを保持するものとする。また、upper_ref_blkが８ｘ８画素予測の場合、符号化対象８×８ブロック内の全ての４ｘ４画素ブロックが予測モードupper_ref_pred_modeを保持するものとする。left_ref_blk_pos4x4_x , left_ref_blk_pos4x4_y, upper_ref_blk_pos4x4_x及び upper_ref_blk_pos4x4_y が示す４ｘ４画素ブロック位置は、left_ref_blk及び upper_ref_blk中の画素のうち、符号化対象画素ブロックの左上端４ｘ４画素ブロックから最も距離が近い４ｘ４画素ブロックの位置を指し示す。

また、本実施形態では、符号化対象画素ブロックから最も距離の近い、且つ同一の予測モードセットを所持する上方向の画素ブロック及び左方向の画素ブロックを参照しているが、必ずしも最も距離の近い画素ブロックを参照する必要は無く、同一の予測モードを所持する上方向の画素ブロック及び左方向の画素ブロックを参照しても良い。

更に、本実施形態では外挿／内挿ブロック予測を適用する画素ブロックが順次ブロック予測を適用する画素ブロックを参照する場合、及び順次ブロック予測を適用する画素ブロックが外挿／内挿ブロック予測を適用する画素ブロックを参照する場合にはＤＣ予測を表すインデックスをleft_ref_pred_mode若しくはupper_ref_pred_modeとしていたが、別の実施形態として予測処理を行っても良い。例えば、図８１に示した予測モードセットの場合、予測方法に関わらずインデックス０〜４はそれぞれ同一の予測方向である。従って、これらのインデックス０〜４の場合には、前述の通り、参照画素ブロックの予測モードをleft_ref_pred_mode若しくはupper_ref_pred_modeとして設定しても良い。

また、本実施形態ではＮ＝１７として説明を行ったが、必ずしもＮ＝１７である必要は無く、Ｎは他の値を設定しても良い。例えば、Ｎ＝９、Ｎ＝３３またはＮ＝６５といった予測モードの種類数では、上記と同様のシンタクス構造が利用できる。但し、rem_intra4x4_bipred_mode[ luma4x4BlkIdx ]はＮ＝９の場合３ビット、Ｎ＝３３種類の場合５ビット、Ｎ＝６５の場合６ビットが必要である。また、rem_intra4x4_bipred_mode[ luma4x4BlkIdx ]の符号化に可変長符号を使用することでＮが上記に示した以外の値であっても適用可能である。

８ｘ８画素予測の際のシンタクスについては、図８６Ａ及び図８６Ｂに示した通り４ｘ４画素予測の際のシンタクスと同様であるため説明を省略する。

＜第８の実施形態：画像復号化装置＞
次に、第７の実施形態に対応する第８の実施形態に係る画像復号化装置について説明する。ここでは、特に図７５中のエントロピー復号部３０５及び予測モードインデックス情報３３１について述べる。

符号化対象マクロブロックが、双方向予測を行うマクロブロック（mb_bipred_intra_flagがTRUE）である場合を考える。用意された複数の予測モードのうちどの予測モードを符号化対象４ｘ４画素ブロックに用いるかを示すデータをIntra4x4PredModeとすると、４ｘ４画素ブロックのインデックスluma4x4BlkIdxの予測モードIntra4x4PredMode[ luma4x4BlkIdx ]は、prev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]及びrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]の２つのシンタクスによって表現される。

フラグprev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]は、前述の隣接ブロックから導出された予測モードの予測値ref_pred_modeと符号化対象４ｘ４画素ブロックの予測モードが同一であるか否かを示すフラグである。フラグprev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]を復号し、これがTRUEである場合、ref_pred_modeが符号化対象４ｘ４画素ブロックの予測モードとなるため、1ビットで予測モードの情報を復号することができる。

一方、prev_intra4x4_bipred_mode_flag[ luma4x4BlkIdx ]がFALSEの場合、更にrem_intra4x4_bipred_mode[ luma4x4BlkIdx ]が復号される。ref_pred_modeは符号化対象４ｘ４画素ブロックの予測モードではないことから、符号化対象予測モードはref_pred_modeを除いた予測モードから復号される。

具体的には、図１０１に示されるように、rem_intra4x4_bipred_mode[ luma4x4BlkIdx ]がref_pred_mode以上の値である場合、rem_intra4x4_bipred_mode[ luma4x4BlkIdx ]の値を１インクリメントした値が符号化対象４ｘ４画素ブロックに用いる予測モードIntra4x4PredMode[ luma4x4BlkIdx ]となる。

その他、参照予測モードの算出に関しては符号化側と同様であるため、説明を省略する。

上述したように、本発明の実施形態によると予測順を選択可能としたことによって、例えば左や上の画素との相関を利用する外挿予測のみではなく、右や下の画素との相関を効果的に利用した内挿予測を行うことができる。また、
従って、符号化効率の高い画像符号化及び符号化された画像の復号化を実現できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、動画像や静止画像の高能率圧縮符号化／復号技術に利用することが可能である。

Claims (45)

1. 入力画像信号のフレームを分割した複数の画素ブロックの各々に対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、符号化済み画素を参照画素に用いて前記画素ブロックを予測すること；
   前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定すること；
   前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の予測信号を前記重み係数に従って加重平均すること；及び
   符号化データを生成するために、前記画素ブロックの画像信号と前記第２予測信号との差を表す予測残差信号を符号化すること；を具備する画像符号化方法。
2. 入力画像信号のフレームを分割した複数の画素ブロックの各々に対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、符号化済み画素を参照画素に用いて前記画素ブロックを予測するように構成される複数方向予測部；
   前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；
   前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び
   符号化データを生成するために、前記画素ブロックの画像信号と、少なくとも前記第２予測信号との差を表す予測残差信号を符号化するように構成される符号化部；を具備する画像符号化装置。
3. 前記複数の予測モードの少なくとも一つは、フレーム内予測モードである請求項２記載の画像符号化装置。
4. 前記画素ブロックの各々に対応する一つの第３予測信号を生成するために、単一の予測モードに従って、符号化済み画素を参照画素に用いて前記画素ブロックを予測するように構成される単方向予測部；
   前記第２予測信号及び第３予測信号のいずれかを選択するように構成される選択部；及び
   前記第２予測信号が選択された場合は前記画素ブロックの画像信号と前記第２予測信号との差をとって前記予測残差信号を生成し、前記第３予測信号が選択された場合は前記画素ブロックの画像信号と前記第３予測信号との差をとって前記予測残差信号を生成するように構成される減算部
   をさらに具備する請求項２記載の画像符号化装置。
5. 前記選択部は、複数種類の予測モード数から選択された予測モード数に従って前記第２予測信号及び第３予測信号のいずれかを選択するように構成され、
   前記符号化部は、前記符号化データを生成するために、前記選択された予測モード数を示す情報も符号化するように構成される請求項２記載の画像符号化装置。
6. 前記設定部は、つ前記重み係数を前記予測方向及び前記空間的距離に応じて算出することにより設定するように構成される請求項２記載の画像符号化装置。
7. 前記設定部は、前記複数の予測モード毎の前記空間的距離に基づく信頼度の和を分母とし、該信頼度を分子として算出することにより前記重み係数を設定するように構成される請求項２記載の画像符号化装置。
8. 前記信頼度は、前記空間的距離に応じて単調減少するように構成される請求項７記載の画像符号化装置。
9. 前記信頼度は、前記予測方向及び前記空間的距離に応じて（ａ）等方相関モデル・楕円相関モデルを含む自己相関関数モデル、（ｂ）比例・逆比例モデル、（ｃ）Ｎ次関数（Ｎ≧１）モデル、（ｄ）一般化ガウス分布モデル、及び（ｅ）予測モードの数に応じた重み係数を記述したテーブルの少なくとも一つに従うように構成される請求項７記載の画像符号化装置。
10. 前記設定部は、前記空間的距離を分離した複数の距離成分のそれぞれについて前記距離成分毎の評価規則に従って前記距離成分毎の信頼度成分を求め、前記信頼度成分から前記信頼度を求めるように構成される請求項７記載の画像符号化装置。
11. 前記設定部は、前記空間的距離を分離した水平距離成分及び垂直距離成分のそれぞれについて前記距離成分毎の評価規則に従って前記距離成分毎の信頼度成分を求め、前記信頼度成分から前記信頼度を求めるように構成される請求項７記載の画像符号化装置。
12. 前記設定部は、前記重み係数をシーケンス、ピクチャ、スライス、マクロブロック及びサブブロックの少なくとも一つの単位毎に複数セット用意し、
    前記加重平均部は、前記重み係数のセットを選択的に使用するように構成される請求項２記載の画像符号化装置。
13. 前記符号化部は、前記符号化データを生成するために、前記加重平均部により使用される前記重み係数のセットを示す情報も符号化するように構成される請求項１２記載の画像符号化装置。
14. 前記加重平均部は、前記重み係数のセットを符号化済みの隣接ブロックにおける画素の相関関係及び分散の少なくとも一つを含むアクティビティ情報に応じて選択するように構成される請求項１２記載の画像符号化装置。
15. 前記設定部は、前記信頼度をシーケンス、ピクチャ、スライス、マクロブロック及びサブブロックの少なくとも一つの単位毎に複数セット用意し、
    前記加重平均部は、前記信頼度のセットを選択的に使用するように構成される請求項６または７のいずれか１項記載の画像符号化装置。
16. 前記符号化部は、前記符号化データを生成するために、前記加重平均部により使用される前記信頼度のセットを示す情報も符号化するように構成される請求項１５記載の画像符号化装置。
17. 前記加重平均部は、前記信頼度のセットを符号化済みの隣接ブロックにおける画素の相関関係及び分散の少なくとも一つを含むアクティビティ情報に応じて選択するように構成される請求項１５記載の画像符号化装置。
18. 画像信号のフレームを分割した複数の画素ブロックの各々に対応する予測残差信号を生成するために、前記予測残差信号を含む符号化データを復号すること；
    前記画素ブロックに対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って復号済み画素を参照画素に用いて前記画素ブロックを予測すること；
    前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定すること；
    前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均すること；及び
    前記予測残差信号と、少なくとも前記第２予測信号を用いて復号画像信号を生成すること；を具備する画像復号化方法。
19. 画像信号のフレームを分割した複数の画素ブロックの各々に対応する予測残差信号を生成するために、前記予測残差信号を含む符号化データを復号するように構成される復号部；
    前記画素ブロックに対応する複数の第１予測信号を生成するために、予測方向の異なる複数の予測モードに従って、復号済み画素を参照画素に用いて前記画素ブロックを予測するように構成される複数方向予測部；
    前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；
    前記画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び
    前記予測残差信号と、少なくとも第２予測信号を用いて復号画像信号を生成するように構成される生成部；を具備する画像復号化装置。
20. 前記複数の予測モードの少なくとも一つは、フレーム内予測モードである請求項１９記載の画像復号化装置；
21. 前記画素ブロックの各々に対応する一つの第３予測信号を生成するために、単一の予測モードに従って、復号化済み画素を参照画素に用いて前記画素ブロックを予測するように構成される単方向予測部；及び
    前記第２予測信号及び第３予測信号のいずれかを選択する選択部；をさらに具備し、
    前記復号部は、前記第２予測信号が選択された場合は前記予測残差信号と前記第２予測信号を用いて前記復号画像信号を生成し、前記第３予測信号が選択された場合は前記予測残差信号と前記第３予測信号を用いて前記復号画像信号を生成するように構成される請求項１９記載の画像復号化装置。
22. 前記選択部は、複数種類の予測モード数から選択された予測モード数に従って前記第２予測信号及び第３予測信号のいずれかを選択するように構成され、
    前記復号部は、前記選択された予測モード数を示す情報も生成するために、前記符号化データを復号するように構成される請求項２１記載の画像復号化装置。
23. 前記設定部は、前記重み係数を前記予測方向及び前記空間的距離に応じて算出することにより設定するように構成される請求項１９記載の画像復号化装置。
24. 前記設定部は、前記重み係数を前記複数の予測モード毎の前記空間的距離に基づく信頼度の和を分母とし、該信頼度を分子として算出することにより設定するように構成される請求項１９記載の画像復号化装置。
25. 前記信頼度は、前記空間的距離に応じて単調減少するように構成される請求項２４記載の画像復号化装置。
26. 前記信頼度は、前記予測方向及び前記空間的距離に応じて（ａ）等方相関モデル・楕円相関モデルを含む自己相関関数モデル、（ｂ）比例・逆比例モデル、（ｃ）Ｎ次関数（Ｎ≧１）モデル、（ｄ）一般化ガウス分布モデル、及び（ｅ）予測モードの数に応じた重み係数を記述したテーブルの少なくとも一つに従うように構成される請求項２４項記載の画像復号化装置。
27. 前記設定部は、前記重み係数をシーケンス、ピクチャ、スライス、マクロブロック及びサブブロックの少なくとも一つの単位毎に複数セット用意し、
    前記加重平均部は、前記重み係数のセットを前記加重平均部により選択的に使用するように構成される請求項１９記載の画像復号化装置。
28. 前記符号化データは、さらに前記復号画像信号を生成するために前記加重平均部により使用される前記重み係数のセットを示す情報を含み、
    前記復号部は、さらに前記重み係数のセットを示す情報も生成するために、前記符号化データを復号するように構成される請求項２７記載の画像復号化装置。
29. 前記加重平均部は、重み係数のセットを復号化済みの隣接ブロックにおける画素の相関関係及び分散の少なくとも一つを含むアクティビティ情報に応じて選択するように構成される請求項２７記載の画像復号化装置。
30. 入力画像信号のフレームを分割した複数の画素ブロックの各々に対応する予測信号を生成するために、複数の予測モードに従って前記画素ブロックを予測すること；
    前記画素ブロックの画像信号と前記予測信号との差を表す予測残差信号を符号化すること；及び
    前記複数の予測モードを表すモードインデックスを値の大きい順に符号化すること；を具備する画像符号化方法。
31. 入力画像信号のフレームを分割した複数の画素ブロック毎に、該画素ブロックに対応する予測信号を生成するために、複数の予測モードに従って前記画素ブロックを予測する予測部；
    前記画素ブロックの画像信号と前記予測信号との差を表す予測残差信号を符号化し、及び前記複数の予測モードを表すモードインデックスを値の大きい順に符号化する符号化部；を具備する画像符号化装置。
32. 前記符号化部は、前記モードインデックスを符号化する際に、既に符号化された第１モードインデックスを有する第１予測モードから次に符号化すべき第２モードインデックスを有する第２予測モードを予測し、前記第２モードインデックスが取り得る値の最大値を予測し、該最大値を表現するのに最低限必要な符号長で前記第２モードインデックスを符号化するように構成される請求項３１記載の画像符号化装置。
33. 入力画像信号のフレームを分割した複数の画素ブロックの各々をさらに分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択すること；
    前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択すること；
    前記画素ブロックに対応する複数の予測信号を生成するために、前記第１予測モードに従って前記画素ブロックを前記サブブロック単位で予測すること；
    参照予測モードを生成するために、前記第２予測モードに従って予測された符号化済み画素ブロックに対応する前記第２予測モードを利用して前記第１予測モードを予測すること；
    前記第１予測信号を前記複数の予測モードの予測方向と、前記画素ブロック中の予測画素と参照画素との間の空間的距離とに応じて重み係数を設定すること；
    前記画素ブロックに対応する一つの第２予測信号を生成するために、前記第１予測信号を前記重み係数に従って加重平均すること；及び
    前記画素ブロックの画像信号と前記第２予測信号との差を表す予測残差信号と、選択された予測順を示す情報、及び前参照予測モードに基づいて生成される、前記第１予測モードを表すモード情報を符号化すること；を具備する画像符号化方法。
34. 入力画像信号のフレームを分割した複数の符号化対象画素ブロックの各々をさらに分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択するように構成される第１の選択部；
    前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択するように構成される第２の選択部；
    前記符号化対象画素ブロックに対応する複数の予測信号を生成するために、前記第１予測モードに従って前記符号化対象画素ブロックを前記サブブロック単位で予測するように構成される第１の予測部；
    参照予測モードを生成するために、前記第２予測モードに従って予測される符号化済み画素ブロックに対応する前記第２予測モードを利用して前記第１予測モードを予測するように構成される第２の予測部；
    前記第１予測信号を前記複数の予測モードの予測方向と、前記符号化対象画素ブロック中の予測画素と前記参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；
    前記符号化対象画素ブロックに対応する一つの第２予測信号を生成するために、前記重み係数に従って加重平均するように構成される加重平均部；及び
    前記符号化対象画素ブロックの画像信号と前記第２予測信号との差を表す予測残差信号と、選択された予測順を示す情報、及び前参照予測モードに基づいて生成される、前記第１予測モードを表すモード情報を符号化するように構成される符号化部；を具備する画像符号化装置。
35. 前記モード情報は前記第１予測モードと前記参照予測モードが同一か否かを示すフラグを含み、さらに前記第１予測モードと前記参照予測モードが異なる場合には前記第１予測モードと前記参照予測モードとの差を含む請求項第３４記載の画像符号化装置。
36. 前記符号化済み画素ブロックは、前記符号化対象画素ブロックと最も距離が近い左及び上の画素ブロックである請求項３４記載の画像符号化装置。
37. 前記第２の予測部は、前記参照画素ブロックと前記符号化対象画素ブロックで前記予測順が異なる場合には、予め決められた定数を前記参照予測モードとして生成するように構成される請求項３４記載の画像符号化装置。
38. 前記第１の選択部は、矩形状の前記符号化対象画素ブロックを分割した４つのサブブロックの順番の組合せである２４通りの予測順の中から、前記４つのサブブロックに対する予測順を選択するように構成される請求項３４記載の画像符号化装置。
39. 前記予測順選択部は、矩形状の前記符号化対象画素ブロックを分割した４つのサブブロックに対する予測順を（ａ）右下画素ブロック→右上画素ブロック→左下画素ブロック→左上画素ブロックの予測順、（ｂ）右下画素ブロック→左下画素ブロック→右上画素ブロック→左上画素ブロックの予測順、及び（ｃ）左上画素ブロック→右上画素ブロック→左下画素ブロック→右下画素ブロックの予測順の中から選択するように構成される請求項３４記載の画像符号化装置。
40. 画像信号のフレームを分割した複数の画素ブロック毎に、予測残差信号、選択された予測順を示す情報、及び第１予測モードを表すモード情報を生成するために符号化データを復号すること；
    復号対象画素ブロックを分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択すること；
    前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択すること；
    前記復号対象画素ブロックに対応する複数の予測信号を生成するために、復号されたモード情報によって示される第１予測モードに従って前記復号対象画素ブロックを前記サブブロック単位で予測すること；
    前記第１予測信号を前記複数の予測モードの予測方向と、前記復号対象画素ブロック中の予測画素と参照画素との間の空間的距離とに応じて重み係数を設定すること；
    前記復号対象画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第２予測信号を前記重み係数に従って加重平均すること；及び
    前記第２予測信号及び前記予測残差信号を用いて復号画像信号を生成すること；を具備する画像復号化方法。
41. 画像信号のフレームを分割した複数の画素ブロック毎に、予測残差信号、選択された予測順を示す情報、及び第１予測モードを表すモード情報を生成するために前記符号化データを復号するように構成される復号部；
    復号対象画素ブロックを分割した複数のサブブロックに対する予測順を定められた複数の予測順の中から選択するように構成される第１の選択部；
    前記複数の予測順に対応して予め定められた、予測方向の異なる複数の予測モードをそれぞれ含む複数の予測モードセットの中から、選択された予測順に従って、第１予測モード及び第２予測モードを含む一つの予測モードセットを選択するように構成される第２の選択部；
    前記復号対象画素ブロックに対応する複数の予測信号を生成するために、復号されたモード情報によって示される第１予測モードに従って前記復号対象画素ブロックを前記サブブロック単位で予測するように構成される予測部；
    前記第１予測信号を前記複数の予測モードの予測方向と、前記復号対象画素ブロック中の予測画素と参照画素との間の空間的距離とに応じて重み係数を設定するように構成される設定部；
    前記復号対象画素ブロックに対応する一つの第２予測信号を生成するために、前記複数の第１予測信号を前記重み係数に従って加重平均するように構成される加重平均部；及び
    前記第２予測信号及び前記予測残差信号を用いて復号画像信号を生成するように構成される生成部；
    を具備する画像復号化装置。
42. 前記モード情報は、前記第１予測モードと前記参照予測モードが同一か否かを示すフラグを含みし、さらに前記第１予測モードと前記参照予測モードが異なる場合には前記第１予測モードと前記参照予測モードとの差を含む請求項４１記載の画像復号化装置。
43. 前記復号化済み画素ブロックは、前記復号対象画素ブロックと最も距離が近い左及び上の画素ブロックである請求項４１記載の画像復号化装置。
44. 前記第１の選択部は、矩形状の前記復号対象画素ブロックを分割した４つのサブブロックの順番の組合せである２４通りの予測順の中から、前記４つのサブブロックに対する予測順を選択するように構成される請求項４１記載の画像復号化装置。
45. 前記第１の選択部は、矩形状の前記符号化対象画素ブロックを分割した４つのサブブロックに対する予測順を（ａ）右下画素ブロック→右上画素ブロック→左下画素ブロック→左上画素ブロックの予測順、（ｂ）右下画素ブロック→左下画素ブロック→右上画素ブロック→左上画素ブロックの予測順、及び（ｃ）左上画素ブロック→右上画素ブロック→左下画素ブロック→右下画素ブロックの予測順の中から選択する請求項４１記載の画像復号化装置。

Images