JP2010135864A - 画像符号化方法及び装置並びに画像復号化方法及び装置 - Google Patents

Abstract

【課題】演算コストを削減し、符号化効率を向上させた動画像符号化装置を提供する。
【解決手段】選択予測モードに基づいて符号化対象画素ブロックに対する予測画像を生成し、入力画像と予測画像との予測誤差と予測モードの符号量に基づいて最適予測モードを決定し、決定予測モードにより、予測モードの選択頻度を示す予測モード選択頻度順序を並び替え、並び替えた頻度情報テーブルのインデックスを生成し、符号化対象画素ブロックに対して、インデックスから予測モード情報を抽出し、抽出予測モード情報に対応した予測画像信号を生成し、予測モードのコストを計算し、コストから１つの符号化モードを選択し、選択符号化モードに従って予測誤差信号と頻度情報テーブルのテーブル長と、選択符号化モードを示すインデックス番号を符号化する。
【選択図】 図１

Description

本発明は、動画像または静止画像のための予測モード推定、画像符号化、復号化方法及び装置に関する。

従来よりも大幅に符号化効率を向上させた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同で、ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０として勧告されている。（以下、「Ｈ．２６４」という）。ＩＳＯ／ＩＥＣ ＭＰＥＧ−１，２，４、ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６３といった従来の画面内符号化方式は直交変換後の周波数領域（ＤＣＴ係数）上でのフレーム内予測を行い，変換係数の符号量削減を図っているのに対して、Ｈ．２６４では空間領域（画素領域）での方向予測（非特許文献１）を取り入れることにより，従来（ＩＳＯ／ＩＥＣ ＭＰＥＧ−１，２，４）の動画像符号化方式のフレーム内予測と比較して高い予測効率を実現している。

Ｈ．２６４ ハイプロファイルなどでは、輝度信号に対して３種類のフレーム内予測方式が規定されており、そのうちの１つをマクロブロック（１６ｘ１６画素ブロック）単位に選択できる方式となっている。３種類のフレーム内予測方式は夫々４ｘ４画素予測、８ｘ８画素予測、１６ｘ１６画素予測と呼ばれている。

１６ｘ１６画素予測では、４つの符号化モードが規定されており、垂直予測、水平予測、ＤＣ予測、平面予測と呼ばれている。復号処理を終えたデブロッキングフィルタ適用前の周囲のマクロブロックの画素値を参照画素値として用い、予測処理に使用する。１６ｘ１６予測の予測モード情報はマクロブロックタイプに包含されており、他の予測と比較してモードを送信するための符号量が大幅に少なくなっている。

一方、４ｘ４画素／８ｘ８画素予測は、マクロブロック内の輝度信号を夫々１６個／４個の４ｘ４／８ｘ８画素ブロックに分割し、夫々の画素ブロックに対して、９つのモードのいずれかをブロック単位に選択する。９つのモードは、利用可能な参照画素の平均値で予測するＤＣ予測（モード２）を除いて、夫々２２．５度づつの予測方向を持っており、参照画素を用いて予測方向に外挿補間を行って予測値を生成する。４ｘ４／８ｘ８画素予測は１６ｘ１６画素予測と比較して予測処理の単位が小さいために、複雑なテクスチャを持つ画像に対しても比較的効率の高い予測が行えるが、予測方向に対して単純に補間値をコピーするだけの予測であり、参照画素からの距離が離れるほど、予測誤差が増大するという問題点がある。

このように近年の動画像符号化方式では、ハードウェアの高性能化に伴って選択可能な予測モードの数が増える傾向にあり、予測モードのモード情報の符号化による符号量の増加が大きな問題となっている。H．264ハイプロファイルにおいても１６ｘ１６画素予測で４モード、４ｘ４画素／８ｘ８画素予測で各9モードと予測モード数が多く、低ビットレートでの符号化時に小画素ブロックの予測モードは選択されにくい傾向にある。一方、予測モード数の増加は演算コストの増大を招き、携帯機器や省電力機器での符号化時に、当該小画素ブロックの予測モードを利用できないなどの問題もある。

このような問題に対して非特許文献２では、予測モードとして選択率の高くない１６ｘ１６画素予測に変わるダイレクト予測モードを導入している。特に１６ｘ１６画素予測の平面予測は２５６個の全画素に対して予測画素値を生成するため、他の予測モードと比較しても演算コストが増えている。ダイレクト予測モードでは、４ｘ４画素予測の予測をそのまま利用し、予測モード情報を復号化器に送信しない、という予測モードである。そのため、Ｈ．２６４に規定されているモード導出方法を利用して、符号化対象の画素ブロックに隣接する上下の画素ブロックの予測モードから当該予測モードを予測している。４ｘ４画素予測を利用しているため、予測モードの予測が当たれば符号化効率を維持しつつ、予測モード情報を削減することが可能である。しかし、予測モードの予測が外れた場合、符号化効率が低下することが問題となっている。
Greg Conklin, "New Intra Prediction Modes", ITU-T Q.6/SG16 VCEG, VCEG-N54, Sep. 2001. Lu Yu, Feng Yi, "Low complexity intra prediction", ITU-T SG16/Q.6 VCEG-Z14, April 2005

以上説明したように、Ｈ．２６４ ハイプロファイルに規定されている方法で、符号化モードを送信する場合、低ビットレートではモード情報の符号量が無視できないため、予測性能の良い予測モードが選択されにくくなり符号化効率が低下する、また、ダイレクト予測モードでは、モードの予測が外れたときに符号化効率が低下する、という問題があった。

本発明の実施形態によると、予測モードに関する付帯情報の選択頻度を示す頻度情報テーブルを準備するステップと、入力画像を複数の画素ブロックに分割するステップと、前記画素ブロックの符号化対象画素ブロックに応じて予測モードに関する付帯情報を選択するステップと、選択した付帯情報に基づいて参照画像を用いて前記符号化対象画素ブロックに対する予測画像を生成するステップと、入力画像と予測画像との予測誤差と前記予測モードの符号量に基づいて最適予測モードを決定し、決定された予測モードにより前記頻度情報テーブルの予測モードの選択頻度順序を並び替えるステップと、並び替えた前記頻度情報テーブルのインデックスを生成するステップと、前記符号化対象画素ブロックに対して、前記インデックスから１つ以上の付帯情報を抽出するステップと、抽出された前記付帯情報に対応した予測信号を生成するステップと、前記予測モードのコストを計算し、前記コストから１つの符号化モードを選択するステップと、選択された前記符号化モードに従って前記予測誤差信号と前記頻度情報テーブルのテーブル長と、選択された符号化モードを示す、前記頻度情報テーブル中のインデックス番号を符号化するステップと、を具備することを特徴とする画像符号化方法を提供する。

本発明によれば、ハードウェアコストを削減しつつ、符号化効率を向上させた画像符号化・復号化方法及び装置を実現できる。

以下に添付図面を参照して、この発明に係る動画像符号化方法及び動画像符号化装置、動画像復号化方法及び動画像復号化装置の最良な実施形態を詳細に説明する。

図１を参照して、本発明の実施形態に係わる動画像符号化装置の構成を説明する。

動画像符号化装置の構成
（符号化：第１の実施の形態）
図１に示される動画像符号化装置によると、動画像信号は小画素ブロック毎に分割され、符号化部１００に入力される。符号化部１００では、内部予測及びモード判定部１０２が行う予測モードとして、ブロックサイズや予測画像信号の生成方法の異なる複数の予測モードが用意されている。本実施の形態では、図５(ａ)に示されているように左上から右下に向かって符号化処理がなされていくものとする。

符号化部１００に入力される入力画像信号１１０は、画面分割部１０１によって、図５（ｂ）にあるような１６ｘ１６画素のブロックに分割される。入力画像信号１１０の画素ブロックが内部予測／モード判定部１０２へと入力される。内部予測／モード判定部１０２を介した画素ブロックは、後述するモード判定部１０３、変換量子化部１０４を介して、最終的に符号化処理部１０５によって符号化される。符号化された画素ブロックは出力バッファで蓄積された後に、符号化制御部１０８が管理する出力タイミングで符号化データ１１５として出力される。

１６ｘ１６画素ブロックはマクロブロックと呼ばれ、以下の符号化処理の基本的な処理ブロックサイズとなっている。符号化部１００では、このマクロブロック単位に入力画像信号１１０を読み込み、符号化処理を行う。尚、マクロブロックは３２ｘ３２画素ブロック単位であっても８ｘ８画素ブロック単位であっても良い。マクロブロックの一例を図５（ｂ）にて示す。

内部予測／モード判定部１０２は、参照画像メモリ１０７に一時保存された、符号化済みの参照画素を用いて、マクロブロックで選択可能な全ての予測モードで予測画像信号１１１を生成する。即ち、内部予測／モード判定部１０２は、符号化対象画素ブロックで取り得る符号化モードの全ての予測画像信号を生成する。ただし、Ｈ．２６４のフレーム内予測（４ｘ４画素予測（図５（ｃ）参照）又は８ｘ８画素予測（図５（ｄ）参照））のようにマクロブロック内で局所復号画像を作成しないと次の予測が行えないような場合に関しては、内部予測／モード判定部１０２は内部で係数変換及び量子化、逆量子化及び逆変換を行っても良い。

内部予測／モード判定部１０２で生成された予測画像信号１１１は、入力画像信号１１０とともにモード判定部１０３へと入力される。モード判定部１０３は、予測画像信号１１１を逆量子化逆変換部１０６へ入力するとともに、入力画像信号１１０から予測画像信号１１１を差し引くことによって予測誤差信号１１２を生成し、変換量子化部１０４へ入力する。同時にモード判定部１０３は、内部予測／モード判定部１０２で予測されたモード情報と生成された予測誤差信号１１２を基にモード判定を行う。より具体的に説明すると本実施の形態では、モード判定部１０３は次式のようなコストを用いたモード判定を行う。

Ｋ＝ＳＡＤ＋λ×ＯＨ （１）
但し、ＯＨはモード情報、ＳＡＤは予測誤差信号の絶対和とする。また、λは定数で与えられ、量子化幅や量子化パラメータの値に基づいて決められる。このようにして得られたコストを基にモードが決定される。この場合、コストＫがもっとも小さい値を与えるモードが最適モードとして選択される。

本実施の形態では、モード情報と予測誤差信号の絶対和を用いたが、別の実施の形態として、モード情報のみ、予測誤差信号の絶対和のみを用いてモードを判定しても良いし、これらをアダマール変換したり、これらに近似した値を利用したりしても良い。また、入力画像信号のアクテビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用してコスト関数を作成しても良い。

コストを算出するための別の実施の形態として、仮符号化部を用意し、この仮符号化部の符号化モードで生成された予測誤差信号を実際に符号化した場合の符号量と、符号化データを局部復号して得た局部復号画像１１４と入力画像信号１１０との二乗誤差とを用いてモードを判定しても良い。この場合のモード判定式は以下のようになる。

Ｊ＝Ｄ＋λ×Ｒ （２）
ここで、Ｄは、入力画像信号１１０と局部復号画像１１４の二乗誤差を表す符号化歪みである。一方、Ｒは仮符号化によって見積もられた符号量を表している。本コストを用いた場合は、符号化モード毎に仮符号化と局部復号（逆量子化処理や逆変換処理）が必要となるため、回路規模は増大するが、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することが可能である。本コストも、符号量のみ、符号化歪みのみを用いてコストを算出しても良いし、これらに近似した値を用いてコスト関数を作成しても良い。

モード判定部１０３は変換量子化部１０４及び逆量子化逆変換部１０６に接続されており、モード判定部１０３で選択されたモード情報と予測誤差信号１１２は、変換量子化部１０４へと入力される。変換量子化部１０４は、入力された予測誤差信号１１２を変換係数に変換し、変換係数データを生成する。ここでは予測誤差信号１１２は例えば離散コサイン変換などを用いて直交変換される。別の実施の形態として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を作成しても良い。変換係数データは、変換量子化部１０４において量子化され、量子化変換係数１１３が生成される。量子化に必要とされる量子化パラメータは、符号化制御部１０８に設定されている。

量子化変換係数１１３は、モード情報、量子化パラメータなどの予測方法に関する情報とともに符号化処理部１０５へと入力される。符号化処理部１０５は、入力されたモード情報等とともに、量子化変換係数１１３をエントロピー符号化（例えばハフマン符号化や算術符号化など）する。符号化処理部１０５でエントロピー符号化された符号化データ１１５は、符号化部１００外へと出力され、多重化器等（図示せず）により多重化等が行われ、出力バッファ（図示せず）を通して送信される。この場合、符号化シーケンス毎、ピクチャ毎、又は符号化スライス毎に頻度テーブルのインデックス長を送ることができる。また、テーブル長をシーケンス単位、ピクチャ単位又はスライス単位で送り、インデックスをマクロブロック単位又はブロック単位で送ることができる。テーブル長をシーケンス単位又はスライス単位でヘッダデータに含めて送る、及び／又はインデックスをマクロブロック単位でヘッダデータに含めて送ることができる。

逆量子化逆変換部１０６は、変換量子化部１０４によって量子化された変換係数１１３を、符号化制御部１０８に設定されている量子化パラメータ、及び量子化マトリクスなどにしたがって逆量子化する。逆量子化された変換係数は、逆変換（例えば逆離散コサイン変換など）され、予測誤差信号（１１２）に復元される。逆変換により得られた復元予測誤差信号（１１２）は、モード判定部１０３から供給される、予測誤差信号の予測モードに対応する予測モードの予測画像信号１１１と加算される。加算結果信号は局部復号信号１１４となり、参照画像メモリ１０７へと入力される。参照画像メモリ１０７は再構成された画像を蓄積する。このように参照画像メモリ１０７に蓄積された再構成画像が、内部予測／モード判定部１０２による予測画像信号等の生成の際に参照される。

符号化ループ（図１における内部予測／モード判定部１０２→モード判定部１０３→変換量子化部１０４→逆量子化逆変換部１０６→参照画像メモリ１０７といった順序で流れる処理）は、符号化対象マクロブロックで選択可能な全てのモードに対して処理を行った場合に１回のループとなる。このマクロブロックに対して符号化ループが終了すると、次のマクロブロックの入力画像信号１１０が入力され、符号化が行われる。

符号化制御部１０８は発生符号量のフィードバック制御及び量子化特性制御、モード判定制御などを行い、発生符号量の制御を行うレート制御や、内部予測／モード判定部１０２の制御、外部入力パラメータの制御、符号化全体の制御を行う。同時に出力バッファ（図示せず）の制御を行い、適切なタイミングで符号化データを外部に出力する機能を有する。これら各部の機能は、コンピュータに記憶されたプログラムによって実現できる。

以上が本実施の形態にかかる動画像符号化装置の構成である。以下、本発明にかかる動画像符号化方法について、動画像符号化装置が実施する場合を例にあげ、図２、図３、図４を参照しながら説明する。

図２は、図１の符号化部１００中の内部予測／モード判定部１０２の構成を示すブロック図である。図２おいては、図１と共通する構成要素には同一の符号を付けてその説明を省略する。

内部予測／モード判定部１０２は、符号化制御部１０８からインデックス長１１６を受ける予測制御部５０１と入力画像信号１１０及び参照画像メモリ１０７からの局部復号信号（参照画像）１１４を受けるモード制御部５０２を有する。予測制御部５０１とモード制御部５０２は図２に示されるように接続されている。即ち、予測制御部５０１から出力される予測画像信号１１１はモード制御部５０２へと入力されるとともに図1のモード判定部１０３を経て逆量子化逆変換部１０６へ入力される。モード制御部５０２から出力される復号信号５０４は予測制御部５０１へと入力される。更に入力画像信号１１０が減算器５０６へと入力され、予測制御部５０１から出力される予測画像信号１１１を減算されて予測誤差信号１１２が生成される。

予測制御部５０１について図３を参照して詳細を説明する。予測制御部５０１は図２に示される符号化制御部１０８からインデックス長情報を受ける頻度情報テーブル１１６を受ける頻度情報テーブル抽出部２０１及び頻度情報テーブル生成部２０２を有する。頻度情報テーブル生成部２０２は、現在までに符号化された画素ブロックの予測情報２０９の頻度をテーブル化している。画素ブロックを符号化する際、制御部２１０から与えられた予測情報２０９に従って頻度情報テーブル生成部２０２の頻度情報テーブルを更新する。更新した頻度情報テーブルは頻度情報テーブル抽出部２０１へと送られる。

具体的に頻度情報テーブルについて説明する。図７は頻度情報テーブルの更新を示している。図７に示される数字は予測モードの番号を示している。選択された予測モードの番号に従って、１つの画素ブロックのモード判定が完了するごとに、頻度情報テーブルが更新される。先ず、符号化対象画素ブロックの上と左に隣接する画素ブロックの予測モードに対して並び替え（ソーティング）が行われる。例えば図中の右端の画素ブロックについて説明する。この画素ブロックの上の予測モードは１、左の予測モードは７である。このとき、一つ前の頻度情報テーブルの中で、左隣に位置する予測モード７をテーブル中から探し、第１位（テーブルのインデックス０）へと移動する。次に上の予測モードである１をテーブル中から探し、第２位（テーブルのインデックス１）へと移動する。このように各画素ブロックに対して隣接する上左の予測モードを頻度情報テーブルの上位に並び替え（ソーティング）することで、予測モードの頻度情報を得ることが可能となる。

一般的に撮影される画像はカメラ内の光学的特長や変換／量子化の過程によって似た性質を持つことが多く、符号化の際に似た予測方法がまとまった領域に選択され易い傾向がある。この頻度情報テーブルを用いると、符号化対象画素ブロック以前に選択された予測モードがテーブル中の上位に存在することになり、使われていない予測モードはテーブルの下位に存在することとなる。

制御部２１０に設定されているインデックス長は、図７に示されるテーブルインデックスの長さを定義するものである。たとえば、インデックス長が０の場合は、頻度情報テーブルのインデックス０に設定されている予測モードのみを予測し、符号化することを意味する。同様にインデックス長が１の場合はテーブル中の０〜３までの予測モードを予測し、符号化する。同様にインデックス長が２の場合は、テーブル中の０〜７までの予測モードを予測し、符号化する。同様にインデックス長が３の場合はテーブル中の０〜１５までの予測モードを予測し、符号化する。インデックス長がＮの場合、以下の式に従って利用可能なテーブル中の予測モード数が決定される。

L＝１＜＜Ｎ （３）
頻度情報テーブルで、符号化に使用された予測モードの中で、頻度の高い予測モードが、テーブル中の上位に存在するため、より予測モードの予測が当たりやすい予測モードのみの予測画像生成を行う。本方式を用いた予測を以下、フレキシブルモード予測と呼ぶ。

頻度情報テーブル生成部２０２で生成された頻度情報テーブルが、頻度情報テーブル抽出部２０１へと出力される。頻度情報テーブル抽出部２０１は、入力された頻度情報テーブルの中から、インデックス長情報１１６に対応するＬ個の予測モードを抽出する。頻度情報テーブル抽出部２０１は、符号化対象マクロブロックの量子化スケールの値が大きいか、或いは小さいか、に応じて、予測モードを抽出できる。また、頻度情報テーブル抽出部２０１は、入力画像信号の解像度が高いか、又は低いか、に応じて予測モードを抽出できる。抽出された予測モードが予測モード設定部２０３へと出力される。予測モード設定部２０３は、入力された抽出予測モードの中から１つを選択して、選択した予測モードに設定する。この情報はテーブル情報２１１として制御部２１０に設定されるとともに、選択予測モードに応じて予測切替スイッチ２０７を切り替える。切り替えられたスイッチ２０７の終端は対応する予測器（１，２，．．．Ｎ）２０４の１つへと接続される。

予測器（１，２，．．．N）２０４は、複数の予測方法を表している。予測モード設定部２０３で設定された予測モードと、これに対応する予測器２０４の番号１〜Ｎが対応しており、あらかじめ規定された予測方法で予測が行われる。ここでは例としてＨ．２６４で規定されている４ｘ４画素（方向）予測が行われる。

Ｈ．２６４の予測モードは９通りあり、図８(ａ)に示されるように、モード２を除いて夫々２２．５度づつ異なる予測方向を持っている。モード０からモード８までが規定されており、モード２は、ＤＣ予測となっている。４ｘ４画素予測の予測ブロックと参照画素との関係が図８（ｂ）に示されている。大文字ＡからＭまでの画素が参照画素であり、小文字ａからｐまでの画素が対象予測画素である。

予測器２０４に関して、予測方法を説明する。予測器２０４では、モード２のＤＣ予測が選択された場合、次式で予測画素が計算される。

Ｈ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）、Ｖ＝（Ｉ＋Ｊ＋Ｋ＋Ｌ） （４）
ａ〜ｐ＝（Ｈ＋Ｖ＋４）＞＞３
参照画素が利用できない時は、利用できる参照画素の平均値で予測される。利用できる参照画素が１つも存在しない場合は、符号化装置の最大輝度値の半分の値（８ビットなら１２８）で予測値が計算される。その他のモードが選択された場合、予測器２０４は、図８（a）で示される予測方向に対して、参照画素から補間された予測値をコピーする予測方法を用いる。具体的には、モード０（垂直予測）が選択された場合の予測値生成方法を次式で説明する。

ａ，ｅ，ｉ，ｍ＝Ａ
ｂ，ｆ，ｊ，ｎ＝B

ｃ，ｇ，ｋ，ｏ＝Ｃ
ｄ，ｈ，ｌ，ｐ＝Ｄ （５）
このモードは、参照画素ＡからＤまでが利用できるときだけ、選択することが可能である。予測方法の詳細を図８（Ｃ）に示す。参照画素Ａ〜Ｄの輝度値がそのまま垂直方向にコピーされ、予測値として補填される。

予測モード０，２以外の予測方法に関してもほぼ同様の枠組みが用いられており、予測方向に対して利用できる参照画素から補間値を生成し、その値を予測方向に応じてコピーするという予測を行う。画素ブロックと予測モードの対応は図９に示されている。図中のＮ／Ａは対応する予測方法が定義されていないことを示している。

予測器２０４から出力される予測画像信号１１１は内部予測／モード判定部１０２のモード制御部５０２（図２）へと出力されるとともに符号化部１００のモード判定部１０３に入力される。

ここで予測画像信号１１１は図４に示されるモード制御部５０２において局部復号化処理によって生成された予測モードの残差信号３０５と加算され、復号信号３０６となる。復号信号３０６は内部参照画像メモリ２０５へ入力される。内部参照画像メモリ２０５は、入力されてきた復号信号３０６を保存する。ここで保存された復号画像は以降の予測画像生成時に必要に応じて読み出され、予測器２０４へと出力され、参照画像として利用される。

以上が本実施の形態にかかる予測制御部５０１の構成である。次に、図４を参照してモード制御部５０２の構成を説明する。ここでは、図１及び図２と共通する構成要素には同一の符号を付けてその説明を省略する。

モード制御部５０２は、マクロブロックサイズよりも小さいブロックサイズの予測も行う。このモード制御部５０２は、内部モード判定部３０１、内部変換量子化部３０２、仮符号化処理部３０３、内部逆量子化逆変換部３０４、加算器３０５により構成される。

入力画像信号１１０と局部復号信号１１４とともにモード制御部５０１から出力された予測画像信号１１１がモード制御部５０２内の内部モード判定部３０１へと入力される。この内部モード判定部３０１は、予測モードの判定を行う機能を有する。式（１）、式（２）などを用いて予測モードの符号化コストを計算し、最適な予測モードを決定する。内部モード判定部３０１を通過した予測画像信号１１１は、内部変換量子化部３０２へ入力され、直交変換される。ここでは例えば離散コサイン変換などを用いて直交変換される。別の実施の形態として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を作成しても良い。変換係数３０８は、さらに量子化される。量子化に必要とされる量子化パラメータは、符号化制御部１０８に設定されている。変換係数３０８は仮符号化処理部３０３へと出力されるとともに、内部逆量子化逆変換部３０４へと併せて出力される。仮符号化処理部３０３では、得られた変換係数３０８を元に符号量３０９を算出するための一時的な符号化を行う。ここで得られた符号量３０９を内部モード判定部３０１へとフィードバックし、符号化コストを算出してもよい。仮符号化処理部３０３で符号化された変換係数３０８は、符号化部１００の符号化データ１１５に相当する。

一方、内部逆量子化逆変換部３０４では、得られた変換係数３０８を逆量子化する。ここでは変換量子化部３０２で利用された量子化に関するパラメータを用いて処理が行われる。さらに逆量子化された変換係数は逆変換（例えば逆離散コサイン変換など）を行い、量子化された予測残差信号を生成する。この予測残差信号は加算器３０５へと入力され、内部モード判定部３０１から供給される予測画像信号１１１と加算される。予測残差信号と予測画像信号１１１の加算信号は復号信号３０６となる。モード制御部５０２は、復号信号３０６を予測制御部５０１へと出力する。前述した局部復号化処理とは、モード制御部５０２内の内部モード判定部３０１⇒内部変換量子化部３０２⇒内部逆量子化逆変換部３０４⇒加算器３０５に対応する処理のことを指している。

内部予測ループ（図３、図４における予測モード設定部２０３⇒予測切替スイッチ２０７⇒予測器２０４⇒内部モード判定部３０１⇒内部変換量子化部３０２⇒内部逆量子化逆変換部３０４⇒加算器３０５⇒内部参照画像メモリ２０５といった順序で流れる処理）は、そのマクロブロック内の小画素ブロックで選択可能な全ての予測モードに対して処理を行った場合に１回のループとなる。

例えば、４ｘ４画素予測に対して、合計１６回の内部予測ループを行うことになる。この場合、制御部２１０は、頻度情報テーブル抽出部２０１で選択された予測モードに対応する予測モードを予測モード設定部２０３によって設定され、予測切替スイッチ２０７を操作し、１６回の内部予測ループを行い最適なモードの組み合わせを決定する。ここで得られた予測モードは予測画像信号１１１とともにモード制御部５０２の内部モード判定部３０１に順次入力され、符号化対象画素ブロックの最適モードが決定されることになる。

マクロブロックに対して内部予測ループが終了すると、次のマクロブロックの入力画像信号１１０が入力され、符号化が行われる。

以上が本実施の形態における、動画像符号化装置１００の概要である。

本実施の形態においては、予測器２０４の予測方法として、Ｈ．２６４のフレーム内予測を利用する例を示した。しかし、予測方法に依存しないために、異なる予測方法を適用することも可能である。たとえば、フレーム間予測時に頻度情報テーブルを用いて、動き補償ブロックサイズの予測を行っても良いし、動きベクトルの予測を行っても良い。更に片方向予測や双方向予測の予測モードに対して頻度情報テーブルを作成しても良い。

また、本実施の形態においては、予測モードの頻度情報テーブルの更新時に利用画素ブロック位置として、左と上の画素ブロックの予測モードを参照しているが、符号化対象画素ブロックの隣接画素ブロックとして、さらに広い領域でテーブルを更新しても良い。具体的には、時間的に前後する同位置の画素ブロックの予測モードを用いても良いし、利用可能な右上の画素ブロック、左上の画素ブロック、上の画素ブロック更にその上の画素ブロック、左の画素ブロックの更にその左の画素ブロックなどで選択されている予測モードを用いて、頻度情報テーブルを更新しても良い。

また、本実施の形態においては、予測モードの頻度情報テーブルの更新ルールとして、左の画素ブロックの予測モードをインデックス０、上の画素ブロックの予測モードをインデックス１に挿入し、ソーティングを行っていたが、上の画素ブロックの予測モードをインデックス０、左の画素ブロックの予測モードをインデックス１に挿入し、ソーティングを行っても良いし、上述したように隣接画素ブロックを拡張して、頻度情報テーブルのソーティングを行っても良い。また、頻度情報テーブルを予測モード数に併せて複数所持しても良いし、テーブルごとに異なる更新ルールを適用しても良い。いずれにせよ、符号化器と復号化器で同じ頻度情報テーブルを持っている必要がある。

また、本実施の形態においては、処理対象フレームを１６ｘ１６画素サイズなどの短形ブロックに分割し、画面左上のブロックから右下に向かって、順に符号化する場合について説明しているが、処理順は他の順序であっても良い。例えば、右下から左上に処理を行っても良いし、画面中央から渦巻状に処理を行っても良い。右上から左下に行っても良いし、画面の周辺部から中心部に向かって処理を行っても良い。

また、実施の形態においては、変換量子化ブロックサイズを１６ｘ１６画素単位のマクロブロックとして分割し、さらにフレーム内予測の処理単位として、８ｘ８画素ブロックや４ｘ４画素ブロックの場合について説明しているが、処理対象ブロックは均一なブロック形状にする必要は無く、１６ｘ８画素、８ｘ１６画素、８ｘ４画素、４ｘ８画素、などのブロックサイズに関しても適用可能である。例えば、８ｘ４画素ブロックや２x２画素ブロックに対しても、同様の枠組みで実現が可能である。更に、１つのマクロブロック中で、均一なブロックサイズを取る必要はなく、夫々異なるブロックの大きさを選択しても良い。例えば、マクロブロック内で８ｘ８画素ブロックと４ｘ４画素ブロックを混在させても良い。この場合、分割数が増えると、分割情報を符号化するための符号量が増加するが、より精度の高い予測が可能であり、予測誤差を削減することが可能である。よって、変換係数の符号量と局所復号画像とのバランスを考慮して、ブロックサイズを選択すればよい。即ち、符号化モード毎に対応する予測画素ブロックのサイズを特定の画素ブロックサイズ内で切り替えてもよい。

また、実施の形態においては、変換量子化部１０４、逆量子化逆変換部１０６及び内部変換量子化部３０２、内部逆量子化逆変換部３０４が設けられている。しかし、必ずしも全ての予測誤差信号に対して変換量子化及び逆量子化逆変換を行う必要は無く、予測誤差信号をそのまま符号化処理部１０５、仮符号化処理部３０３で符号化してもよいし、量子化及び逆量子化処理を省略しても良い。同様に、変換処理と逆変換処理を行わなくても良い。

以上が本実施の形態にかかる内部予測及びモード判定部１０２の構成である。以下、本発明にかかる動画像符号化方法について、動画像符号化装置が実施する場合を例にあげ、図６を参照しながら説明する。

符号化部１００に1フレーム分の入力画像信号１１０が入力される（ステップＳ１）と画像分割部１０１は、入力画像信号１１０を複数のマクロブロックに分割し、更に複数の小画素ブロックへと分割する（ステップＳ２）。入力画像信号１１０がブロック単位で内部予測及びモード判定部１０２へと入力される。このとき、モード判定部１０３では、モードを示すインデックスやコストの初期化を行う（ステップＳ３）。

入力画像信号１１０を用いて、内部予測及びモード判定部１０２にて、符号化対象ブロックで選択可能な１つの予測モードにおける予測画像信号を生成する（ステップＳ４）。このとき使用された予測モードによって頻度テーブルが仮更新される（ステップＳ５）。

予測画像信号１１１と入力画像信号１１０の差分を取り、予測誤差信号１１２を生成する。予測モードの符号量ＯＨと予測誤差信号１１２の絶対値和ＳＡＤからコストｃｏｓｔを計算する。又は符号化歪Ｄと符号量Ｒから式（２）を用いて符号化ｃｏｓｔを計算する（ステップＳ６）。

モード判定部１０３は、計算されたコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔより小さいか否かを判別し（ステップＳ７）、小さい場合（ＹＥＳ）にはそのコストで最小コストを更新するとともに、その際の符号化モードをｂｅｓｔ＿ｍｏｄｅインデックスとして頻度情報テーブルに保持する（ステップＳ８）。同時に予測画像信号１１１を内部メモリに一時保持する（ステップS９）。計算されたコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔより大きい場合、モード番号を示すｉｎｄｅｘをインクリメントし、インクリメント後のｉｎｄｅｘがモードの最後かどうかを判定する（ステップＳ１０）。

ｉｎｄｅｘがモードの最後の番号であるＭＡＸよりも大きい場合（ＹＥＳ）、決定されたベストモードによって頻度情報テーブルが更新される（ステップＳ１１）。ｂｅｓｔ＿ｍｏｄｅの符号化モード情報及び予測誤差信号１１２が変換量子化部１０４へと渡され、変換及び量子化が行われる（ステップＳ１２）。量子化された変換係数１１３が符号化処理部１０５へと入力され、予測情報１０９が符号化処理部１０５でエントロピー符号化される（ステップＳ１３）。

一方、ｉｎｄｅｘがモードの最後の番号であるＭＡＸよりも小さい場合（ＮＯ）、頻度情報テーブルはリセットされ（ステップＳ１４）され、処理はステップＳ４に戻り、次のｉｎｄｅｘで示される符号化モードの予測画像信号１１１が生成される。

ｂｅｓｔ＿ｍｏｄｅでの符号化が行われると、量子化された変換係数１１３が逆量子化逆変換部１０６へと入力され、逆量子化及び逆変換が行われる（ステップＳ１５）。復号された予測誤差信号１１２とモード判定部１０３から供給されるｂｅｓｔ＿ｍｏｄｅの予測画像信号１１１が加算され、復号画像信号１１４として、参照画像メモリ１０７へと保存される（ステップＳ１６）。

ここで、１フレームの符号化が終了しているかどうかの判定が行なわれる（ステップＳ１７）。処理が完了している場合（ＹＥＳ）、処理はステップＳ１に戻り、次のフレームの入力画像信号が入力され、符号化処理が行われる。一方、１フレームの符号化処理が完了していない場合（ＮＯ）、処理はステップＳ２に戻り、次の小画素ブロックの入力信号が入力され、符号化処理が継続される。

本実施の形態において、フレーム単位のマルチパスで符号化する場合、頻度情報テーブルのインデックス長を変えて、毎回符号化する必要はなく、符号量の増加のみを別途テーブル化して累積しておき、符号化コストを計算し、最適なインデックス長を決定することが可能である。よって再符号化を利用せずとも予測誤差が変わらないため、処理を大幅に削減することが可能である。

以上が本実施の形態における、動画像符号化装置の概要である。次に本予測方式で用いるシンタクスの符号化方法について説明する。
図１０に本実施の形態で用いられるシンタクスの構造の概略を示す。シンタクスは主に３つのパートからなり、ハイレベルシンタクス（４０１）はスライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス（４０２）では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（４０３）では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。

夫々は、さらに詳細なシンタクスで構成されており、ハイレベルシンタクス（４０１）では、シーケンスパラメータセットシンタクス（４０４）とピクチャパラメータセットシンタクス（４０５）などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス（４０２）では、スライスヘッダーシンタクス（４０６）、スライスデータシンタクス（４０７）などから成る。さらに、マクロブロックレベルシンタクス（４０３）は、マクロブロックレイヤーシンタクス（４０８）、マクロブロックプレディクションシンタクス（４０９）などから構成されている。

本実施の形態で、必要となるシンタクス情報はシーケンスパラメータセットシンタクス（４０４）、ピクチャパラメータセットシンタクス（４０５）、スライスヘッダーシンタクス（４０６）、マクロブロックレイヤーシンタクス（４０８）であり、夫々のシンタクスを以下で説明する。

図１１のシーケンスパラメータセットシンタクス内に示されるｓｅｑ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、フレキシブルモード予測の利用可否をシーケンス毎に変更するかどうかを示すフラグであり、当該フラグがＴＲＵＥであるときは、フレキシブルモード予測を利用するかどうかを、シーケンス単位で切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、シーケンス内ではフレキシブルモード予測を用いることが出来ない。

図１２のピクチャーパラメータセットシンタクス内に示されるｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、フレキシブルモード予測の利用可否をピクチャ毎に変更するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、フレキシブルモード予測を利用するかどうかを、ピクチャ単位で切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、ピクチャ内ではフレキシブルモード予測を用いることが出来ない。ｓｅｑ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇがＴＲＵＥの場合は必ず、ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが送信される。この時ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇがＦＡＬＳＥの場合は、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈが送信される。本シンタクスは、フレキシブルモード予測で利用可能な頻度情報テーブルのインデックス長を表している。

図１３のスライスヘッダーシンタクス内に示されるｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、フレキシブルモード予測の利用可否をスライス毎に変更するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、フレキシブルモード予測を利用するかどうかを、スライス単位で切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、スライス内ではフレキシブルモード予測を用いることが出来ない。ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇがＴＲＵＥであるときは、必ずｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが送信される。この時ｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇがＦＡＬＳＥの場合は、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈが送信される。本シンタクスは、フレキシブルモード予測で利用可能な頻度情報テーブルのインデックス長を表している。

図１４のマクロブロックレイヤーシンタクス内に示されるｍｂ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、フレキシブルモード予測の利用可否を符号化対象マクロブロックで利用するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、フレキシブルモード予測を利用する。一方、フラグがＦＡＬＳＥであるときは、フレキシブルモード予測は利用されない。このフラグがＴＲＵＥのときには、必ず、ｍｏｄｅ＿ｉｎｄｅｘが送信される。これは符号化対象マクロブロックの予測モードインデックスを示しており、頻度情報テーブルの何番目の予測モードが選択されているかを示している。シンタクス中のＢｌｋＳｉｚｅは、符号化対象画素ブロックの数を表しており、４ｘ４画素ブロックでは１６、８ｘ８画素ブロックでは４、１６x１６画素ブロックでは１が対応する。ｍｏｄｅ＿ｉｎｄｅｘの符号量は、二値化の過程で、上位シンタクスに記述されるｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈによって変更される。たとえば、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈが４の場合、［数３］式に従って０〜１５までのテーブルインデックスが利用できることになる。ｍｏｄｅ＿ｉｎｄｅｘは、この１６個のテーブルインデックスを表しており、等長符号を与えると４ビットのシンタクスとなる。二値化では、対応するシンタクス要素の頻度情報に従って最も符号量が少なくなるように設計されることが望ましい。二値化の例として図１７を参照しながら説明する。

図１７はインデックス長がＬ＝１６(Ｎ=４)であるときの二値化の例を示している。Ｌ＝１６の時、テーブルインデックスの選択可能な値は０〜１５の１６個である（表の一列目の番号に該当）。これらのテーブルインデックス番号の発生確率が分かっていない場合、等長符号を用いて二値化することがもっとも簡単である（表の二列目）。表中のビット列はｍｏｄｅ＿ｉｎｄｅｘを表している。一方、事前にテーブルインデックス番号の発生確率が分かっている場合、発生確率に応じてハフマン符号を用いて二値化を行うことで、テーブルインデックスを表すｍｏｄｅ＿ｉｎｄｅｘのビット数を削減することが可能である。図１７の表の二列目にハフマン符号の一例を示す。頻度情報テーブルが予め発生頻度に従って更新されているため、テーブルインデックスの上位に表に示されるような短い符号を与えることによって、テーブルインデックスの符号量をより削減することが可能である。表中の四列目がハフマン符号を生成したときの発生確率を示している。

モード判定部１０３及び予測モード設定部２０３で選択された予測モードを表すテーブルインデックスの番号は図１７で表されるような変換テーブルによって二値化され、この二値化ビット列が符号化処理部１０５及び仮符号化部３０３によってエントロピー符号化（たとえば算術符号化など）される。上記符号化以外にエントロピー符号やシャノン符号、算術符号などの方法を用いてインデックスを二値化しても良い。

本実施の別の形態としては、図１４で示されるｍａｃｒｏｂｌｏｃｋ＿ｄａｔａシンタクスを図１５で表されるようなシンタクスに変えても良い。図１４との違いはｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］の値が、予め定められたＥＳＣＡＰＥ＿ＣＯＤＥの場合、更にｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］が送られるという点である。

例えば、図１７において符号列１１１１（もしくはハフマン符号の１１１１１）がＥＳＣＡＰＥ＿ＣＯＤＥの場合、現在のテーブル長ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｈｔで示される頻度情報テーブルの中に、該当する予測モードが含まれていないことを示す。ｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］は、更にｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈで示されるテーブル長より後のインデックス番号を示している。例えば、頻度情報テーブルの長さ（全予測モード数を示す）Ｍ＝１５、インデックス長Ｌ＝８の場合の例を図１８に示す。選択された頻度情報テーブルのインデックスがインデックス長Ｌ＝８内からはみ出した場合、ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］にはＥＳＣＡＰＥ＿ＣＯＤＥがセットされる。更にはみ出したインデックスに対応するｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］が送られる。例えば、図中で選択された頻度情報テーブルのインデックスが１０のとき、ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］にＥＳＣＡＰＥ＿ＣＯＤＥ＝１１１がセットされ、同時にｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］に０１１がセットされる。このようにすることで、全ての予測モードをデコーダに送信することが可能となるため、予測モードの追加や削減などの拡張が容易となる。また、夫々の予測モードに対応するシンタクスの設計等が不要となる。

本実施の別の形態としては、図１６で表されるようなシンタクスを用いても良い。この場合、上位シンタクスに付加されているｓｅｑ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈは必要とされない。この場合、インデックス長が送信されないため、常にテーブルの全ての値が利用できる。頻度情報テーブルの更新によって、常に当該ブロックでは最頻の情報がテーブルの上位に来ているため、前述した図１８の三列目で表現されるような二値化テーブルを用意することにより、少ない符号量でテーブルインデックス番号を送ることが可能である。

以上説明したように本実施の形態では、選択された予測モードの頻度情報テーブルを利用して、符号化対象ブロックに対して、テーブルから与えられる予測モードの中から、テーブルの上位に存在する出現頻度の高い予測モードのみを抽出して予測画像信号生成を行い、抽出した際のテーブルのインデックス長をシンタクスに多重化して復号化器に送信することで、従来の予測画像生成方法よりも高い符号化効率を維持しつつ、ハードウェアの演算コストを削減した予測画像が生成できる。つまり画素ブロックの内容等に応じて好適な符号化をなすことができる。

（符号化：第２の実施の形態）
図１９は、第２の実施形態に係る動画像符号化装置の構成の中で、第１の実施の形態と異なるブロックである予測制御部６００を示すブロック図である。本実施の形態では、第１の実施の形態で説明済みの予測制御部５０１と異なり、予測制御部６００には２つの異なる予測部であるＬ０予測部６０４とＬ１予測部６０８とが設けられる。一方、予測部６０４，６０８にそれぞれ対応するＬ０，Ｌ１頻度情報テーブル抽出部６０１，６０５、Ｌ０、Ｌ１頻度情報生成部６０２、６０６，Ｌ０、Ｌ１予測モード設定部６０３、６０７が設けられている。また、これら異なるＬ０，Ｌ１予測部６０４，６０８から出力された予測画像に対してフィルタ処理を行う適応フィルタ部６０９が設けられている。尚、既に説明した機能と同様の機能を持つものに対しては同じ参照符号を与えて、その説明を省略する。

内部予測及びモード判定部１０２では、図２に示される予測制御部５０１に対応する予測制御部６００とモード制御部５０２が設けられる。予測制御部６００は予測制御部５０１と同様にモード制御部５０２に接続されており、予測制御部６００から出力される予測画像信号１１１がモード制御部５０２へと入力され、モード制御部５０２から出力される復号信号３０６が予測制御部６００へと入力される。入力画像信号１１０は減算器５０６へと入力され、予測制御部６００から出力される予測画像信号１１１を減算されて予測誤差信号１１２を生成する。モード制御部５０２は、マクロブロックサイズよりも小さいブロックサイズの予測も行うために、図４に示されるように内部モード判定部３０１、内部変換量子化部３０２、仮符号化処理部３０３、内部逆量子化逆変換部３０４、加算器３０５を有する。

Ｌ０予測部６０４は、既に符号化された時間的に過去を示す参照画像（局部復号画像）を用いて予測を行う。一方、Ｌ１予測部６０８は、既に符号化された時間的に未来を示す参照画像（局部復号画像）を用いて予測を行う。夫々の予測には対応する参照画像の番号（以下Ｌ０ＲＥＦ、Ｌ１ＲＥＦで表す）と予測するブロックの形状、動きベクトル情報などの予測情報６１２が必要である。

Ｌ０頻度情報テーブル生成部６０２は、現在までに符号化された画素ブロックのＬ０予測に関する予測情報６１２の頻度をテーブル化している。符号化対象画素ブロックを符号化する際、制御部２１０から与えられた後述する予測情報６１２に従ってＬ０頻度情報テーブルを更新する。更新したＬ０頻度情報テーブルはＬ０頻度情報テーブル抽出部６０１へと送られる。Ｌ０頻度情報テーブル生成部６０２で生成されたＬ０頻度情報テーブルが、Ｌ０頻度情報テーブル抽出部６０１へと出力される。Ｌ０頻度情報テーブル抽出部６０１は、入力されたＬ０頻度情報テーブルの中から、制御部２１０に設定されているテーブルインデックス長の分のＬ個のＬ０予測情報を抽出する。抽出されたＬ０予測情報がＬ０予測モード設定部６０３へと出力される。Ｌ０予測モード設定部６０３は、入力された抽出Ｌ０予測情報の中から１つを選択する。この選択ＬＯ予測情報はＬ０テーブル情報６１３として制御部２１０に設定されるとともに、Ｌ０予測に必要な参照画像（Ｌ０ＲＥＦ）を内部参照画像メモリ６１０から呼び出す。呼び出された参照画像（Ｌ０ＲＥＦ）が、Ｌ０予測部６０４へと入力され、この参照画像（Ｌ０ＲＥＦ）を用いてＬ０予測が行われる。Ｌ０予測部６０４で生成されたＬ０予測画像信号６１４が適応フィルタ部６０９へと入力される。

一方、Ｌ１頻度情報テーブル生成部６０６は、現在までに符号化された画素ブロックのＬ１予測に関する予測情報６１２の頻度をテーブル化している。符号化対象画素ブロックを符号化する際、制御部２１０から与えられた後述する予測情報６１２に従ってＬ１頻度情報テーブルを更新する。更新したＬ１頻度情報テーブルはＬ１頻度情報テーブル抽出部６０５へと送られる。Ｌ１頻度情報テーブル生成部６０６で生成されたＬ１頻度情報テーブルが、Ｌ１頻度情報テーブル抽出部６０５へと出力される。Ｌ１頻度情報テーブル抽出部６０５は、入力されたＬ１頻度情報テーブルの中から、制御部２１０に設定されているテーブルインデックス長の分のＬ個のＬ１予測情報を抽出する。抽出されたＬ１予測情報がＬ１予測モード設定部６０７へと出力される。Ｌ１予測モード設定部６０７では、入力された抽出Ｌ１予測情報の中から１つを選択する。この選択Ｌ１予測情報はＬ１テーブル情報６１７として制御部２１０に設定されるとともに、Ｌ１予測に必要な参照画像（Ｌ１ＲＥＦ）を内部参照画像メモリ６１０から呼び出す。呼び出された参照画像（Ｌ１ＲＥＦ）が、Ｌ１予測部６０８へと入力され、Ｌ１予測が行われる。Ｌ１予測部６０８で生成されたＬ１予測画像信号６１５が適応フィルタ部６０９へと入力される。

適応フィルタ部６０９では、入力された２つの信号に対して以下の式を利用してフィルタリングを行う。

Ｐｒｅｄ＝（Ｌ０Ｐｒｅｄ＋Ｌ１Ｐｒｅｄ）＞＞１ （６）
ここで、Ｐｒｅｄはフィルタリング後に得られる予測画像信号を表している。Ｌ０Ｐｒｅｄは同位置の画素に対応するＬ０予測画像信号６１４を表しており、Ｌ１Ｐｒｅｄは同位置の画素に体操するＬ１予測画像信号６１５を表している。ここで式（６）に示されるような平均値フィルタ以外のフィルタを用いても良い。具体的には次式で示されるように、Ｌ０、Ｌ１方向に重み付けするようなフィルタを用いても良い。

Ｐｒｅｄ＝（ＷＬ０×Ｌ０Ｐｒｅｄ＋ＷＬ１×Ｌ１Ｐｒｅｄ）
＞＞（ＢＩＴ＿ＳＨＩＦＴ） （７）
ＷＬ０、ＷＬ１は夫々Ｌ０予測画像信号６１４、Ｌ１予測画像信号６１５に対するフィルタの重み係数を表している。ＢＩＴ＿ＳＨＩＦＴは除算を避けるために導入されるシフト係数である。このとき重み係数とシフト係数には次の関係が成り立つ。
ＷＬ０＋ＷＬ１＝（１＜＜ＢＩＴ＿ＳＨＩＦＴ） （８）
また、次のようなオフセットを用いたフィルタを用いてもよい。
Ｐｒｅｄ＝（ＷＬ０×Ｌ０Ｐｒｅｄ＋ＷＬ１×Ｌ１Ｐｒｅｄ）
＞＞（ＢＩＴ＿ＳＨＩＦＴ）＋ＯＦＦＳＥＴ （９）
ＯＦＦＳＥＴ値の変更によって時間的に連続する輝度値の変化を効果的に予測することが可能となる。
適応フィルタ部６０９で生成された予測画像信号１１１がモード制御部５０２へと出力される。

次に、制御部２１０の予測情報６１２について説明する。インター符号化（フレーム間符号化）を行う際、どの予測方法を用いるかを示す予測モード情報と、どの参照画像を利用するかを指す参照画像インデックスと、予測対象画素ブロックが参照画像中のどの画素ブロックを指しているかを指す動きベクトルに関する情報と、予測対象画素ブロックがどのような形状をしているかを指す画素ブロック形状情報が必要となる。本実施の形態では、この内の予測モード情報と参照画像インデックスに関して頻度情報テーブルが生成される。図２０にＬ０予測モードとＬ１予測モードの予測画素ブロックとモードの対応を示す。図２０では、Ｌ０予測モード０〜３及びＬ１予測モード０〜３に対してそれぞれ１６×１６画素予測、８×８画素予測及び４×４画素予測が示されている。 具体的に頻度情報テーブルについて説明する。図７は頻度情報テーブルの更新を示している。図７に示される数字は予測モードの番号、又は対応する参照画像インデックスの番号を示している。選択された予測モード、又は参照画像インデックスの番号に従って、１つの画素ブロックのモード判定が完了するごとに、頻度情報テーブルが更新される。頻度情報テーブルの更新に関しては第１の実施の形態で既に説明済みなのでここでは説明を省略する。

次に、図２１を用いてＬ０／Ｌ１予測部６０４／６０８について説明する。Ｌ０予測部６０４は、既に符号化された時間的に過去を示す参照画像（局部復号画像）を用いて予測を行う。具体的には予測対象画素ブロックと、参照画像Ｌ０ＲＥＦに対して１／４画素精度の補間画像を作成し、ブロックマッチングを行う。図中Ｌ０予測参照画像で示される領域内に記述されている数字はＬ０ＲＥＦ番号を示している。ここでは主に、マッチングした画素ブロックと予測対象ブロックの位置ずれ量を動きベクトルとして計測する。その後、予測対象画素ブロックにマッチングした参照画像の画素ブロックで、予測対象画素ブロックを補填する。このようにして予測画像生成を行う。同様に、Ｌ１予測部６０７は、既に符号化された時間的に未来を示す参照画像（局部復号画像）を用いて予測を行う。具体的には符号化対象画素ブロックと、参照画像Ｌ１ＲＥＦに対して１／４画素精度の補間画像を作成し、ブロックマッチングを行う。図中Ｌ１予測参照画像の領域内に記述された数字はＬ１ＲＥＦ番号を示している。ここでは主に、マッチングした画素ブロックと予測対象ブロックの位置ずれ量を動きベクトルとして計測する。その後、マッチングした参照画像の画素ブロックで、予測画素ブロックを補填する。補間画像の生成は、１／２画素精度、１／８画素精度であっても良い。
以上が本実施の形態にかかる予測制御部６００の構成である。

本発明の本実施の形態においては、図１９では、Ｌ０予測部６０４、Ｌ１予測部６０８はインデックス長情報６１１の入力によって必ず予測画像が生成されるブロック図となっている。しかし、実際の符号化フレーム構造では、未来の参照画像が利用できない場合が存在する。このとき、制御部２１０から与えられる予測情報６１２では、参照画像のＬ１ＲＥＦ禁止情報が付加されてＬ１頻度情報テーブル生成部６０５へと入力され、利用可能なＬ１予測モードが制限される。これによってＬ１予測モード設定部６０７では、Ｌ１ＲＥＦ禁止情報をＬ１予測部６０８へ伝える。このとき制御部２１０はＬ１ＲＥＦ禁止情報を、適応フィルタ部６０９部へ伝える。適応フィルタ部６０９はＬ１ＲＥＦ禁止情報が入力されると、次式（１０）によって予測画像信号を切り替える。

Ｌ１Ｐｒｅｄ＝Ｌ０Ｐｒｅｄ （１０）
又は、直接Ｌ０Ｐｒｅｄを予測画像信号として出力する。

また、Ｌ０予測部６０４で必要とされるＬ０ＲＥＦ、Ｌ１予測部６０８で必要とされるＬ１ＲＥＦが共に利用可能な場合においても、片側の予測画像信号を出力する場合、前述したＬ１ＲＥＦ禁止情報、又はＬ０ＲＥＦ禁止情報が予測情報６１２に付加されて、各頻度情報テーブル生成部６０２，６０５に入力されることによって、Ｌ０予測画像信号６１４、Ｌ１予測画像信号６１５、フィルタリングした予測画像信号の３つを別々に出力することが可能である。

また、本実施の形態においては、予測モードの頻度情報テーブルの更新時に利用画素ブロック位置として、左と上の画素ブロックの予測モードを参照しているが、予測対象画素ブロックの隣接画素ブロックとして、さらに広い領域でテーブルを更新しても良い。具体的には、時間的に前後する同位置の画素ブロックの予測モードを用いても良いし、利用可能な右上の画素ブロック、左上の画素ブロック、上上の画素ブロック、左左の画素ブロックなどで選択されている予測モードを用いて、頻度情報テーブルを更新しても良い。

また、本実施の形態では、インター予測（フレーム間予測）に関する実施例について詳細に説明したが、イントラ予測（フレーム内予測）に関しても、同様の符号化器構造で実施が可能である。より具体的に説明すると、図８、図９で示されるＨ．２６４で規定されている１つの方向予測モード（例えば４ｘ４画素予測内の垂直予測）をＬ０予測とし、もう１つの方向予測モード（例えば４ｘ４画素予測内の垂直左予測）をＬ１予測とする。このとき、予測制御部６００内で生成された、夫々のＬ０予測画像信号６１４とＬ１予測画像信号６１５が適応フィルタ部６０９へと入力され、新たに２つの予測画像信号をフィルタリングした予測画像信号が生成される。Ｌ０予測モードに対して、Ｌ０頻度情報テーブルが生成され、Ｌ１予測モードに対して、Ｌ１頻度情報テーブルが生成される。このようにして、予測画像信号を生成することで２つの予測画像信号から新たな予測画像信号を生成することが可能になる。

次に本予測方式で用いるシンタクスの符号化方法について説明する。

図１０に本実施の形態で用いられるシンタクスの構造の概略を示す。シンタクスは主に３つのパートからなり、ハイレベルシンタクス（４０１）はスライス以上の上位レイヤのシンタクス情報が詰め込まれている。シーケンスパラメータセットシンタックス、ピクチャーパラメータセットシンタクス及びスライスヘッダーシンタクスの詳細な説明は上記に図１１〜図１３を参照してすでに説明しているので省略する。

図２２のマクロブロックレイヤーシンタクス内に示されるｍｂ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、フレキシブルモード予測の利用可否を予測対象マクロブロックで利用するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、フレキシブルモード予測を利用する。一方、フラグがＦＡＬＳＥであるときは、フレキシブルモード予測は利用されない。このフラグがＴＲＵＥのときには、必ず、ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０が送信される。これはマクロブロックのＬ０予測モードインデックスを示しており、Ｌ０頻度情報テーブルの何番目の予測モードが選択されているかを示している。ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１はＬ１予測モードインデックスを示しており、Ｌ１頻度情報テーブルの何番目の予測モードが選択されているかを示している。

マクロブロックレイヤーシンタクス内のＢｌｋＳｉｚｅは、予測対象画素ブロックの数を表しており、４ｘ４画素ブロックでは１６、８ｘ８画素ブロックでは４、１６ｘ１６画素予測では１が対応する。また、Ｌ１ＰｒｅｄＡｖａｉｌａｂｌｅＦｌａｇは予測対象画素ブロックでＬ１予測が選択できるかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１が送信される。一方、ＦＡＬＳＥであるときは、ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１は送信されない。

ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０及びｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１の符号量は、二値化の過程で、上位シンタクスに記述されるｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈによって変更される。たとえば、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈが４（Ｌ＝１６）の場合、式３に従って０〜１５までのテーブルインデックスが利用できることになる。ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０及びｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１は、この１６個のテーブルインデックスを表しており、等長符号を与えると４ビットのシンタクスとなる。二値化では、対応するシンタクス要素の頻度情報に従って最も符号量が少なくなるように設計されることが望ましい。二値化の例は図１６で前述しているため説明を省略する。

本実施の形態の別の例としては、図２２で示されるｍａｃｒｏｂｌｏｃｋ＿ｄａｔａシンタクスを図２３で表されるようなシンタクスに変えても良い。図２２との違いはｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］の値が、予め定められたＥＳＣＡＰＥ＿ＣＯＤＥの場合、更にｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０［ｉＢｌｋ］、ｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１［ｉＢｌｋ］が送られる点である。

例えば、図１７において符号列１１１１（又はハフマン符号の１１１１１）がＥＳＣＡＰＥ＿ＣＯＤＥの場合、現在のテーブル長ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｈｔで示される頻度情報テーブルの中に、予測対象画素ブロックに該当する予測モードが含まれていないことを示す。ｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０［ｉＢｌｋ］及びｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１［ｉＢｌｋ］は、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈで示されるテーブル長より後のインデックス番号を示している。例えば、頻度情報テーブルの長さ（全予測モード数を示す）Ｍ＝１５、インデックス長Ｌ＝８の場合の例を図１８に示す。選択された頻度情報テーブルのインデックスがインデックス長Ｌ＝８内からはみ出した場合、ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０［ｉＢｌｋ］、又はｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１［ｉＢｌｋ］にはＥＳＣＡＰＥ＿ＣＯＤＥ=１１１がセットされる。更にはみ出したインデックスに対応するｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ０［ｉＢｌｋ］、又はｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１［ｉＢｌｋ］が送られる。このようにすることで、Ｌ０，Ｌ１全ての予測モードをデコーダに送信することが可能となるため、予測モードの追加や削減などの拡張が容易となる。また、夫々の予測モードに対応するシンタクスの設計等が不要となる。

本実施の形態の別の例としては、図２４で表されるようなシンタクスを用いても良い。この場合、上位シンタクスに付加されているｓｅｑ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈは必要とされない。この場合、インデックス長が送信されないため、常にテーブルの全ての値が利用できる。頻度情報テーブルの更新によって、常に予測対象ブロックでは最頻の情報がテーブルの上位に来ているため、前述した図１６の三列目で表現されるような二値化テーブルを用意することにより、少ない符号量でｍｏｂｅ＿ｉｎｄｅｘ＿ｌ０、ｍｏｄｅ＿ｉｎｄｅｘ＿ｌ１に対応するテーブルインデックス番号を送ることが可能である。

このように、各モードすべてについて負担の大きい符号化処理を行う必要がなく、選択されたモードでの符号化のみ行うようにすればよいので、演算負担の増加も抑制することができる。すなわち、本実施の形態では、高速かつ好適なモード選択と、高速で圧縮効率の高い動画像符号化を実現することが可能となる。

なお、上述したように選択されたモードでの符号化の際、復号画像信号の生成は、選択されたモードについてのみ行えばよく、予測モード判定のためのループ内では、必ずしも実行しなくてもよい。

（２）動画像復号化装置の構成
（復号化：第１の実施の形態）
図２５に、本実施形態に係る動画像符号化装置の復号化部４００の構成を示す。符号化部１００から送出され、伝送系又は蓄積系を経て送られてきた符号化データは、入力バッファ４０１に一度蓄えられ、多重化された符号化データが逆多重化部４０２によって逆多重化される。分離された符号化データが符号列復号部４０３に入力されて、１フレーム毎にシンタクスに基づいてパース処理が行われる。即ち、符号列復号部４０３では、図１０に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号化データの各シンタクスの符号列が復号され、量子化された変換係数、量子化マトリクス、量子化パラメータ、予測モード情報、情報テーブルインデックス長などが復元される。ここで予測モード情報の中に、後述するインデックス番号も含まれている。

符号列復号部４０３で復号されたデータのうち、復号された変換係数が逆量子化逆変換部４０４へと入力される。逆量子化逆変換部４０４では、入力された変換係数４１５が逆量子化される。ここで必要な量子化に関するパラメータは符号列復号部４０３から復号化制御部４０９へと設定され、逆量子化の際に読み込まれる。更に逆量子化された変換係数は、逆変換（例えば逆離散コサイン変換など）され、誤差信号４１３として出力される。ここでは、逆直交変換について説明したが、符号化器でウェーブレット変換や独立成分分析などが行われている場合、逆量子化逆変換部４０４は対応する逆ウェーブレット変換や逆独立成分分析などが実行されても良い。

誤差信号４１３は加算器４０５へと入力され、後述する予測部４０７から出力される予測画像信号４１１と加算される。誤差信号４１３と予測画像信号４１１が加算されると復号信号４１４となり、復号信号４１４が参照画像メモリ４０６へと出力される。復号信号４１４は更に参照画像メモリ４０６を介して動画像復号化部４００外へと出力され、出力バッファ４０８等へ蓄積された後、復号化制御部３０９が管理するタイミングで出力される。参照画像メモリ４０６は、復号された信号が参照画像であれば復号信号４１４を出力バッファへ送出するとともに、内部メモリへと保存する。保存された復号信号４１４は参照信号４１２として予測に利用される。一方、復号された信号が非参照画像であれば復号信号４１４を内部メモリへ保存せず、出力バッファへ送出する。信号が参照画像であるかどうかを示す信号は、符号化データに多重化されている。

一方、符号列復号部４０３で復号された予測モード情報４０９、情報テーブルインデックス長４１０などが予測部４０７へと入力される。また、既に復号化されている参照信号４１２が参照画像メモリ４０６から予測部４０７へと供給される。予測部４０７は、入力されたモード情報等を基に、予測画像信号４１１を生成し、それを加算器４０５へ供給する。

復号化制御部４０９は、入力バッファ４０１、出力バッファ４０８に対する出力タイミングの制御や、復号化タイミングの制御などを行う。

以上が本実施の形態における動画像復号化装置の構成である。以下、本発明にかかる動画像復号化方法について、復号化部４００が実施する例を説明する。この動画像復号化においては、予測制御部４０７は図１の符号化部１００において使用される図３の予測制御部５０１と同じ構成であるので図３を参照して説明する。

頻度情報テーブル生成部２０６は、現在までに復号化された画素ブロックの予測モード情報の頻度をテーブル化している。復号化画素ブロックを復号化する際、制御部２１０から与えられた予測情報２０９に従って頻度情報テーブルを更新する。更新した頻度情報テーブルは頻度情報テーブル抽出部２０１へと送られる。

具体的に頻度情報テーブルについて説明する。図７は頻度情報テーブルの更新を示している。図７に示される数字は予測モードの番号を示している。選択された予測モードの番号に従って、１つの画素ブロックのモード判定が完了するごとに、頻度情報テーブルが更新される。先ず、復号化対象画素ブロックの上と左に隣接する画素ブロックの予測モードに対してソーティングが行われる。例えば図中の右端の画素ブロックについて説明する。この画素ブロックの上の予測モードは１、左の予測モードは７である。このとき、一つ前の頻度情報テーブルの中で、左隣に位置する予測モード７をテーブル中から探し、第１位（テーブルのインデックス０）へと移動する。次に上の予測モードである１をテーブル中から探し、第２位（テーブルのインデックス１）へと移動する。このように各画素ブロックに対して隣接する上左の予測モードを頻度情報テーブルの上位にソーティングすることで、予測モードの頻度情報を得ることが可能となる。この頻度情報テーブルを用いると、復号化対象画素ブロック以前に選択された予測モードがテーブル中の上位に存在することになり、使われていない予測モードはテーブルの下位に存在することとなる。

制御部２１０に設定されているインデックス長は、図７に示されるテーブルインデックスの長さを定義するものである。予測モードを復号化する際、テーブルインデックス長分のビットを復号すればよいので、冗長なビットを削減することが可能となる。

本方式を用いた予測を以下、フレキシブルモード予測と呼ぶ。
頻度情報テーブル生成部２０２で生成された頻度情報テーブルが、頻度情報テーブル抽出部２０１へと出力される。頻度情報テーブル抽出部２０１は、入力された頻度情報テーブルの中から、符号列復号部で復号されたインデックス番号に対応する予測モード番号を抽出する。抽出された予測モードが予測モード設定部２０３へと出力される。予測モード設定部２０３では、入力された抽出予測モードを制御部２１０に設定するとともに、予測切替スイッチ２０７を対応する予測モードに切り替える。予測モード設定部２０３で設定された予測モードと、これに対応する予測部の番号が対応しており、あらかじめ規定された予測方法で予測が行われる。ここでは例としてＨ．２６４で規定されている４ｘ４画素（方向）予測が行われる。

Ｈ．２６４の予測モードは９通りあり、図８(ａ)に示されるように、モード２を除いて夫々２２．５度づつ異なる予測方向を持っている。モード０からモード８までが規定されており、モード２は、ＤＣ予測となっている。４ｘ４画素予測の予測ブロックと参照画素との関係が図８（ｂ）に示されている。大文字ＡからＭまでの画素が参照画素であり、小文字ａからｐまでの画素が復号対象予測画素である。

予測器２０４に関して、予測方法を説明する。予測器２０４では、モード２のＤＣ予測が選択された場合、式（３）を用いて予測画素が計算される。

参照画素が利用できない時は、利用できる参照画素の平均値で予測される。もし、利用できる参照画素が１つも存在しない場合は、復号化装置の最大輝度値の半分の値（８ビットなら１２８）で予測値が計算される。

その他のモードが選択された場合、予測器２０４は、図８（a）で示される予測方向に対して、参照画素から補間された予測値をコピーする予測方法を用いる。具体的には、モード０（垂直予測）が選択された場合の予測値生成方法を、式（４）を例にして説明する。

このモードは、参照画素ＡからＤまでが利用できるときだけ、選択することが可能である。予測方法の詳細を図８（ｃ）に示す。参照画素Ａ〜Ｄの輝度値がそのまま垂直方向にコピーされ、予測値として補填される。

予測モード０，２以外の予測方法に関してもほぼ同様の枠組みが用いられており、予測方向に対して利用できる参照画素から補間値を生成し、その値を予測方向に応じてコピーするという予測を行う。本実施の形態にかかわる予測モードと予測画素ブロック形状の対応関係は図９に示されている。

予測器２０４にて出力される予測画像信号４１１は予測制御部４０７外へと出力され、上述した加算器４０５にて、逆量子化逆変換部４０４から出力された誤差信号と加算され、復号信号４１４が生成される。

以上が本発明の本実施の形態における復号化部４００の構成である。以下、本発明にかかる動画像復号化方法について、動画像復号部４００が実施する例を説明する。この動画像復号化に使用するシンタクスの構造及び夫々のシンタクス並びに二値化は動画像符号化に使用した図1０のシンタックス構造及び図１１〜１４のシンタックスと同じであるので説明を省略する。また、二値化の例も図１７を参照して符号化において説明した例と同じであるので説明を省略する。

モード判定部１０３及び内部モード設定部２０３で選択された予測モードを表すテーブルインデックスの番号は図１７で表されるような変換テーブルによって二値化が行われており、二値化ビット列が符号列復号部４０３によってエントロピー復号化（たとえば算術復号化など）される。上記復号化以外にエントロピー符号やシャノン符号、算術符号などの方法を用いて二値化が行われていても良い。いずれにせよ、符号化部と復号化部で同様の二値化の方式が行われる必要がある。

本実施の形態の別の例としては、図１４で示されるｍａｃｒｏｂｌｏｃｋ＿ｄａｔａシンタクスを図１５で表されるようなシンタクスに変えても良い。図１４との違いはｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］の値が、予め定められたＥＳＣＡＰＥ＿ＣＯＤＥの場合、更にｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］が送られる点である。

例えば、図１７において符号列１１１１（もしくはハフマン符号の１１１１１）がＥＳＣＡＰＥ＿ＣＯＤＥの場合、現在のテーブル長ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｈｔで示される頻度情報テーブルの中に、復号対象ブロックに該当する予測モードが含まれていないことを示す。ｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］は、更にｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈで示されるテーブル長より後のインデックス番号を示している。例えば、頻度情報テーブルの長さ（全予測モード数を示す）Ｍ＝１５、インデックス長Ｌ＝８の場合の例を図１８に示す。選択された頻度情報テーブルのインデックスがインデックス長Ｌ＝８内からはみ出した場合、ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］にはＥＳＣＡＰＥ＿ＣＯＤＥがセットされる。更にはみ出したインデックスに対応するｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］がセットされる。例えば、図中で選択された頻度情報テーブルのインデックスが１０のとき、ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］にＥＳＣＡＰＥ＿ＣＯＤＥ＝１１１がセットされ、同時にｅｃｓ＿ｍｏｄｅ＿ｉｎｄｅｘ［ｉＢｌｋ］に０１１がセットされる。このようにすることで、全ての予測モードを受信することが可能となるため、予測モードの追加や削減などの拡張が容易となる。また、夫々の予測モードに対応するシンタクスの設計等が不要となる。

本実施の形態の別の例としては、図１６で表されるようなシンタクスを用いても良い。この場合、上位シンタクスに付加されているｓｅｑ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｐｉｃ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｓｌｉｃｅ_ｆｌｅｘｂｌｅ＿ｍｏｄｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ、ｔａｂｌｅ＿ｉｎｄｅｘ＿ｌｅｎｇｔｈは必要とされない。この場合、インデックス長が受信されないため、常にテーブルの全ての値が利用できる。頻度情報テーブルの更新によって、常に復号対象ブロックでは最頻の情報がテーブルの上位に来ているため、前述した図１６の三列目で表現されるような二値化テーブルを用意することにより、テーブルインデックス番号を受信することが可能である。

（復号化：第２の実施の形態）
本実施の形態では、図２５の復号化装置の復号部４００に設けられ予測制御部４０７が第２の実施の形態の符号化装置に設けられた、図１９に示す予測制御部５０１と同じように構成されている。即ち、第１の実施の形態と異なり、２つの異なる予測部であるＬ０予測器６０４とＬ１予測器６０８が設けられている。更に、Ｌ０予測器６０４とＬ１予測器６０８にそれぞれ対応する頻度情報テーブル抽出部６０１，６０５、Ｌ０頻度情報テーブル生成部６０２、Ｌ０頻度情報テーブル抽出部６０１、Ｌ０予測モード設定部６０３、Ｌ１頻度情報テーブル生成部６０２、Ｌ１頻度情報テーブル抽出部６０５、Ｌ１予測モード情報設定部６０７が設けられている。また、これら異なる予測部６０４，６０８から出力された予測画像に対してフィルタ処理を行う適応フィルタ部６０９が設けられている。この予測制御部４０７の動作は符号化装置の予測制御部５０１の動作と同じであるので詳細な説明は省略する。

適応フィルタ部６０９で生成された予測画像信号が復号化部４００の加算器４０５へと出力される。予測情報６１２及び頻度情報テーブルも符号化装置と構成及び機能が同じであるので説明を省略する。Ｌ０／Ｌ１予測部６０４／６０８も符号化装置と構成及び機能が同じであるので説明を省略する。

本実施の形態では、インター予測（フレーム間予測）に関する実施例について詳細に説明したが、イントラ予測（フレーム内予測）に関しても、同様の復号化器構造で実施が可能である。より具体的に説明すると、図８、図９で示されるＨ．２６４で規定されている１つの方向予測モード（例えば４ｘ４画素予測内の垂直予測）をＬ０予測とし、もう１つの方向予測モード（例えば４ｘ４画素予測内の垂直左予測）をＬ１予測とする。このとき、予測制御部６００内で生成された、夫々のＬ０予測画像信号６１４とＬ１予測画像信号６１５が適応フィルタ部６０９へと入力され、新たにこの２つの予測画像信号をフィルタリングした予測画像信号が生成される。Ｌ０予測モードに対して、Ｌ０頻度情報テーブルが生成され、Ｌ１予測モードに対して、Ｌ１頻度情報テーブルが生成される。このようにして、予測画像信号を生成することで２つの予測画像信号から新たな予測画像信号を生成することが可能になる。

本予測方式で用いるシンタクスの復号化方法は復号化の第1の実施の形態と同じであるので説明は省略する。

このように本方式を用いると、予測を行う場合に使用する予測モードを、シーケンス、スライス毎或いはマクロブロック毎に変更できるため、ブロック毎に精度の高い予測画像生成が可能となる。また、本実施形態においては動画像符号化を例にとり説明したが、静止画像符号化にも本発明を適用することができる。

上述のように本発明によると、選択された予測モードの頻度情報テーブルを利用して、符号化対象ブロックに対して、テーブルから与えられる予測モードの中から、テーブルの上位に存在する出現頻度の高い予測モードのみを抽出して予測画像信号生成を行い、抽出した際のテーブルのインデックス長をシンタクスに多重化して復号化器に送信することで、従来の予測画像生成方法よりも高い符号化効率を維持しつつ、ハードウェアの演算コストを削減した予測画像が生成できる。

本発明の一実施形態に従う動画像符号化装置の構成を示すブロック図。 一実施形態に従う動画像符号化装置の構成の１部である内部予測及びモード判定部を示すブロック図。 一実施形態に従う内部予測及びモード判定部の構成の１部である予測制御部を示すブロック図。 一実施形態に従う内部予測及びモード判定部の構成の１部であるモード制御部を示すブロック図。 一実施形態に係わる符号化順序、ブロックサイズを示す図。 一実施形態に係わる符号化処理の流れを示すフローチャート。 一実施形態に係わる頻度情報テーブルの更新方法を示す図。 一実施形態に係わる方向予測に利用される参照画像の予測方向を示す図。 一実施形態に従う画面内予測方法の名称を表すテーブル。 一実施形態に従うシンタクス構造の概略図。 一実施形態に従うシーケンスパラメータセットシンタクスのデータ構造を示す図。 一実施形態に従うピクチャパラメータセットシンタクスのデータ構造を示す図。 一実施形態に従うスライスヘッダシンタクスのデータ構造を示す図。 一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 一実施形態に従う頻度情報テーブルインデックスの二値化を示すテーブル。 一実施形態に従う頻度情報テーブルインデックスの二値化とエスケープコードの概略を示すテーブル。 本発明の一実施形態に従う内部予測及びモード判定部の構成の１部である予測制御部を示すブロック図。 本発明の一実施形態に従うＬ０予測モードとＬ１予測モードの予測名称を表すテーブル。 本発明の一実施形態に従うＬ０予測モードとＬ１予測モードを用いた予測方法を現す概略図。 本発明の一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 本発明の一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 本発明の一実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を示す図。 本発明の一実施形態に従う動画像復号化装置の構成を示すブロック図。

符号の説明

１００…符号化部、１０１…画面分割部、１０２…内部予測／モード判定部、
１０３…モード判定部、１０４…変換量子化部、１０５…符号化処理部、１０６…逆量子化逆変換部、１０７…参照画像メモリ、１０８…符号化制御部、２０１…頻度情報テーブル抽出部、２０２…頻度情報テーブル生成部、２０３…予測モード設定部、２０４…予測器、２０５…内部参照画像メモリ、２０７…予測切替スイッチ、２１０…制御部、
３０１…内部モード判定部、３０２…内部変換量子化部、３０３…仮符号化処理部、
３０４…内部逆量子化逆変換部、４０１…入力バッファ、４０２…逆多重化部、
４０３…符号列復号部、４０４…逆量子化逆変換部、４０５…加算器、４０６…参照画像メモリ、４０７…予測制御部、４０８…出力バッファ、４０９…復号化制御部、
５０１…予測制御部、５０２…モード制御部、５０６…減算器、６００…予測制御部、
６０１…Ｌ０頻度情報テーブル抽出部、６０２…Ｌ０頻度情報テーブル生成部、
６０３…Ｌ０予測モード設定部、６０４…Ｌ０予測部、６０５…Ｌ１頻度情報テーブル抽出部、６０６…Ｌ１頻度情報テーブル生成部、６０７…Ｌ１予測モード設定部、
６０８…Ｌ１予測部、６０９…適応フィルタ部、６１０…内部参照画像メモリ

Claims (27)

1. 予測モードに関する付帯情報の選択頻度を示す頻度情報テーブルを準備するステップと、
   入力画像を複数の画素ブロックに分割するステップと、
   前記画素ブロックの符号化対象画素ブロックに応じて予測モードに関する付帯情報を選択するステップと、
   選択した付帯情報に基づいて参照画像を用いて前記符号化対象画素ブロックに対する予測画像を生成するステップと、
   入力画像と予測画像との予測誤差と前記予測モードの符号量に基づいて最適予測モードを決定し、決定された予測モードにより前記頻度情報テーブルの予測モードの選択頻度順序を並び替えるステップと、
   並び替えた前記頻度情報テーブルのインデックスを生成するステップと、
   前記符号化対象画素ブロックに対して、前記インデックスから１つ以上の付帯情報を抽出するステップと、
   抽出された前記付帯情報に対応した予測信号を生成するステップと、
   前記予測モードのコストを計算し、前記コストから１つの符号化モードを選択するステップと、
   選択された前記符号化モードに従って前記予測誤差信号と前記頻度情報テーブルのテーブル長と、選択された符号化モードを示す、前記頻度情報テーブル中のインデックス番号を符号化するステップと、
   を具備することを特徴とする画像符号化方法。
2. 複数の予測モードの選択頻度を示す頻度情報テーブルを準備するステップと、
   入力画像を複数の画素ブロックに分割するステップと、
   前記画素ブロックの符号化対象画素ブロックに応じて予測モードを選択するステップと、
   選択した予測モードに基づいて参照画像を用いて前記符号化対象画素ブロックに対する予測画像を生成するステップと、
   入力画像と予測画像との予測誤差と前記予測モードの符号量に基づいて最適予測モードを決定し、決定された予測モードにより前記頻度情報テーブルの予測モードの選択頻度順序を並び替えるステップと、
   並び替えた前記頻度情報テーブルのインデックスを生成するステップと、
   前記符号化対象画素ブロックに対して、前記インデックスに対応する予測モードの中から１つ以上の予測モードを抽出するステップと、
   抽出された前記予測モードに対応して予測信号と予測モード情報とを生成するステップと、
   前記予測モードの符号化コストを計算し、この符号化コストから１つの符号化モードを選択するステップと、
   選択された前記符号化モードで予測誤差信号と、前記頻度情報テーブルのテーブル長と、選択された符号化モードを示す、前記頻度情報テーブル中のインデックス番号を符号化するステップと、
   を具備することを特徴とする画像符号化方法。
3. 入力画像を複数の画素ブロックに分割するステップと、
   前記画素ブロックの符号化対象画素ブロックに応じて予測モードを選択するステップと、
   選択された第一種予測モードに対して予測モードの選択頻度をテーブル化して第１頻度情報テーブルを生成するステップと、
   選択された第二種予測モードに対して予測モードの選択頻度をテーブル化して第２頻度情報テーブルを生成するステップと、
   前記第一種及び第二種頻度情報テーブルのインデックスを生成するステップと、
   前記画素ブロックの符号化対象画素ブロックに対して、前記第1及び第２頻度情報テーブルから与えられる予測モードの中から、夫々１つ以上の予測モードを抽出する予測モード抽出ステップと、
   前記第1及び第２頻度情報テーブルから夫々抽出された前記予測モードに対応して第一種予測信号と第二種予測信号と予測モード情報とを生成するステップと、
   前記第一種予測信号と第二種予測信号に対してフィルタ処理を行って１つの予測信号を生成するステップと、
   前記予測モードの予測誤差信号を計算し、１つの符号化モードを選択するステップと、
   選択された符号化モードで生成された予測誤差信号と、前記第１頻度情報テーブルのテーブル長と、前記第２情報テーブルのテーブル長と、選択された符号化モードを示す、前記第一種及び第二種に対応するインデックス番号を符号化する符号化ステップと、
   を具備することを特徴とする画像符号化方法。
4. 前記符号化ステップは、前記予測誤差信号に変換処理を行うステップと、変換された係数に対して量子化処理を行って、量子化された変換係数を生成するステップとを含む、ことを特徴とする請求項１又は２記載の画像符号化方法。
5. 前記符号化モード毎に対応する予測画素ブロックのサイズを特定の画素ブロックサイズ内で切り替えることを可能とするステップをさらに含む、ことを特徴とする請求項１又は２記載の画像符号化方法。
6. 前記予測モード抽出ステップは、符号化シーケンス毎、ピクチャ毎、又は符号化スライス毎に前記頻度テーブルのインデックス長を送るステップを含むことを特徴とする、請求項１又は２記載の画像符号化方法。
7. 前記予測モード抽出ステップは、符号化対象マクロブロックの量子化スケールの値が大きいか、或いは小さいか、に応じて、前記予測モードの抽出を行うか、行わないかを切り替えるステップを含むことを特徴とする請求項１又は２記載の画像符号化方法。
8. 前記予測モード情報抽出ステップは、前記入力画像信号の解像度が高いか、又は低いか、に応じて前記モード情報の抽出を行うか、行わないかを切り替えることを特徴とする、請求項１又は２記載の画像符号化方法。
9. 前記符号化モード選択ステップは，選択された前記符号化モードで生成された信号を符号化したときの符号量を算出する符号量算出ステップと、
   選択された前記符号化モードで生成された信号を局所復号して局所復号画像を生成するステップと，前記入力画像信号との差を表す符号化歪みを算出する符号化歪み算出ステップと、を具備することを特徴とする請求項１又は２記載の画像符号化方法。
10. 前記テーブル長をシーケンス単位、ピクチャ単位又はスライス単位で送り、前記インデックスをマクロブロック単位又はブロック単位で送るステップを含むことを特徴とする請求項１又は請求項２の画像符号化方法。
11. 前記テーブル長をシーケンス単位又はスライス単位でヘッダデータに含めて送る、及び／又は前記インデックスをマクロブロック単位でヘッダデータに含めて送るステップを含むことを特徴とする請求項1又は請求項２記載の画像符号化方法。
12. 符号化信号の符号化モードに従って前記符号化信号を画素ブロック毎に復号化するステップと、
    復号化画素ブロックの予測モードに関する付加情報の選択頻度をテーブル化するための頻度情報テーブルのテーブル長を復号するステップと、
    前記復号化されたテーブル長を基に、前記頻度情報テーブルを生成するステップと、
    前記頻度情報テーブルのインデックス番号を復号するステップと、
    前記インデックスの中から、復号画素ブロックに対応する付加情報を抽出するステップと、
    抽出された前記付加情報に対応した予測信号と予測モードとを生成するステップと、
    復号信号を基に予測誤差信号を生成するステップと、
    予測信号と予測誤差信号を加算して、復号画像を生成するステップと、
    を具備することを特徴とする画像復号化方法。
13. 符号化信号の符号化モードに従って前記符号化信号を画素ブロック毎に復号化するステップと、
    復号化画素ブロックの予測モードの選択頻度をテーブル化するための頻度情報テーブルのテーブル長を復号するステップと、
    前記復号化されたテーブル長を基に、前記頻度情報テーブルを生成するステップと、
    前記頻度情報テーブルのインデックス番号を復号するステップと、
    前記インデックスに対応する予測モードの中から、１つ以上の予測モードを抽出するステップと、
    抽出された前記予測モードに対応して予測信号を生成するステップと、
    復号化信号を基に予測誤差信号を生成するステップと、
    予測信号と予測誤差信号を加算して、復号画像を生成するステップと、
    を具備することを特徴とする画像復号化方法。
14. 符号化信号の符号化モードに従って前記符号化信号を画素ブロック毎に復号化するステップと、
    復号化画素ブロックの第一種の予測モード及び第二種の予測モードの選択頻度をそれぞれテーブル化するための頻度情報テーブルのテーブル長を復号するステップと、
    第一種の予測モードに対して予測モードの選択頻度をテーブル化して第一種頻度情報テーブルを生成するステップと、
    第二種の予測モードに対して予測モードの選択頻度をテーブル化して第二種頻度情報テーブルを生成するステップと、
    前記第一種及び第二種頻度情報テーブルのインデックス番号をそれぞれ復号するステップと、
    前記インデックスの中から、第一種及び第二種予測モードに夫々対応する予測モードを抽出するステップと、
    抽出された前記第一種及び第二種予測モードに対応して第一種予測信号と第二種予測信号及び予測モード情報とを生成するステップと、
    前記第一種予測信号と前記第二種予測信号に対してフィルタ処理を行って１つの予測信号を生成するステップと、
    復号化信号を基に予測誤差信号を生成するステップと、
    予測信号と予測誤差信号を加算して、復号画像を生成するステップと、
    を具備することを特徴とする画像復号化方法。
15. 前記予測誤差信号生成ステップは、復号化係数を逆量子化するステップと、逆量子化変換係数を逆変換して予測誤差信号を生成するステップを含むことを特徴とする請求項１２又は１３記載の画像復号化方法。
16. 前記符号化モード毎に対応する予測画素ブロックのサイズを特定の画素ブロックサイズ内で切り替えることを可能とするステップをさらに含むことを特徴とする請求項１２又は１３記載の画像復号化方法。
17. 前記予測モード抽出ステップは、前記予測モードの抽出を行う際、シーケンス毎、ピクチャ毎、又はスライス毎に頻度テーブルのインデックス長を送ることを特徴とする請求項１２又は１３記載の画像復号化方法。
18. 前記予測モード抽出ステップは、復号対象マクロブロックの量子化スケールの値が大きいか、又は小さいか、に応じて、前記予測モードの抽出を行うことを特徴とする請求項１２又は１３記載の画像復号化方法。
19. 前記予測モード抽出ステップは、復号化対象入力画像信号の解像度が高いか、又は低いか、に応じて前記モード情報の抽出を行うことを特徴とする、請求項１０又は１１記載の画像復号化方法。
20. 予測モードに関する付帯情報の選択頻度を示す頻度情報テーブルを記憶するメモリと、
    入力画像を複数の画素ブロックに分割する分割部と、
    前記画素ブロックの符号化対象画素ブロックに応じて予測モードに関する付帯情報を選択する選択部と、
    選択した付帯情報に基づいて参照画像を用いて前記符号化対象画素ブロックに対する予測画像を生成する予測部と、
    入力画像と予測画像との予測誤差と前記予測モードの符号量に基づいて最適予測モードを決定し、決定された予測モードにより前記頻度情報テーブルの予測モードの選択頻度順序を並び替えるテーブル更新部と、
    並び替えた前記頻度情報テーブルのインデックスを生成するインデックス生成部と、
    前記符号化対象画素ブロックに対して、前記インデックスから１つ以上の付帯情報を抽出する抽出部と、
    抽出された前記付帯情報に対応した予測信号を生成する予測信号生成部と、
    前記予測モードのコストを計算し、前記コストから１つの符号化モードを選択する選択部と、
    選択された前記符号化モードに従って前記予測誤差信号と前記頻度情報テーブルのテーブル長と、選択された符号化モードを示す、前記頻度情報テーブル中のインデックス番号を符号化する符号化部と、
    を具備することを特徴とする画像符号化装置。
21. 符号化信号の符号化モードに従って前記符号化信号を画素ブロック毎に復号化する復号部と、
    復号化画素ブロックの予測モードに関する付加情報の選択頻度をテーブル化するための頻度情報テーブルのテーブル長を復号するテーブル復号化と、
    前記復号化されたテーブル長を基に、前記頻度情報テーブルを生成する頻度情報テーブル生成部と、
    前記頻度情報テーブルのインデックス番号を復号するインデックス復号部と、
    前記インデックスの中から、復号画素ブロックに対応する付加情報を抽出する付加情報抽出部と、
    抽出された前記付加情報に対応した予測信号と予測モードとを生成する予測信号生成部と、
    復号信号を基に予測誤差信号を生成する予測誤差信号生成部と、
    予測信号と予測誤差信号を加算して、復号画像を生成する復号画像生成部と、
    を具備することを特徴とする画像復号化装置。
22. 予測モードに関する付帯情報の選択頻度を示す頻度情報テーブルを準備する手順と、
    入力画像を複数の画素ブロックに分割する手順と、
    前記画素ブロックの符号化対象画素ブロックに応じて予測モードに関する付帯情報を選択する手順と、
    選択した付帯情報に基づいて参照画像を用いて前記符号化対象画素ブロックに対する予測画像を生成する手順と、
    入力画像と予測画像との予測誤差と前記予測モードの符号量に基づいて最適予測モードを決定し、決定された予測モードにより前記頻度情報テーブルの予測モードの選択頻度順序を並び替える手順と、
    並び替えた前記頻度情報テーブルのインデックスを生成する手順と、
    前記符号化対象画素ブロックに対して、前記インデックスから１つ以上の付帯情報を抽出する手順と、
    抽出された前記付帯情報に対応した予測信号を生成する手順と、
    前記予測モードのコストを計算し、前記コストから１つの符号化モードを選択する手順と、
    選択された前記符号化モードに従って前記予測誤差信号と前記頻度情報テーブルのテーブル長と、選択された符号化モードを示す、前記頻度情報テーブル中のインデックス番号を符号化する手順と、
    をコンピュータに実行させるための画像符号化プログラム。
23. 符号化信号の符号化モードに従って前記符号化信号を画素ブロック毎に復号化する手順と、
    復号化画素ブロックの予測モードに関する付加情報の選択頻度をテーブル化するための頻度情報テーブルのテーブル長を復号化する手順と、
    前記復号化されたテーブル長を基に、前記頻度情報テーブルを生成する手順と、
    前記頻度情報テーブルのインデックス番号を復号する手順と、
    前記インデックスの中から、復号画素ブロックに対応する付加情報を抽出する手順と、
    抽出された前記付加情報に対応した予測信号と予測モードとを生成する手順と、
    復号信号を基に予測誤差信号を生成する手順と、
    予測信号と予測誤差信号を加算して、復号画像を生成する手順と、
    をコンピュータに実行させるための画像復号化プログラム。
24. 入力画像を分割した複数のブロックの各々より前に符号化されたブロックでの予測モードに関する複数の情報の選択履歴に基づいて、予め定めた規則に従って前記各ブロックで選択される可能性の高い順に前記複数の情報を並べたテーブルを生成するテーブル生成ステップと、
    前記複数の情報の中から前記各ブロックの予測に使用する選択情報を選択する選択ステップと、
    前記選択情報に従った予測を行うことにより前記各ブロックの画像信号から前記各ブロックの予測残差信号を生成する予測ステップと、
    前記各ブロックの前記予測残差信号、前記テーブルの長さを示す情報、および、前記選択テーブル内で前記選択情報に対応するインデックス番号を符号化して符号化データを生成する符号化ステップと、
    を有する画像符号化方法。
25. 前記テーブル生成ステップでは、前記複数の情報のうち選択される可能性が高い方から順に抽出された一部を用いて前記テーブルを生成する、ことを特徴とする請求項２４の画像符号化方法。
26. 入力画像を分割した複数のブロックの各々より前に符号化されたブロックでの予測モードに関する複数の情報の選択履歴に基づいて、予め定めた規則に従って前記各ブロックで選択される可能性の高い順に前記複数の情報を並べたテーブルを生成するテーブル生成部と、
    前記複数の情報の中から前記各ブロックの予測に使用する選択情報を選択する選択部と、
    前記選択情報に従った予測を行うことにより前記各ブロックの画像信号から前記各ブロックの予測残差信号を生成する予測部と、
    前記各ブロックの前記予測残差信号、前記テーブルの長さを示す情報、および、前記選択テーブル内で前記選択情報に対応するインデックス番号を符号化して符号化データを生成する符号化部と、
    を有する画像符号化装置。
27. 前記テーブル生成部は、前記複数の情報のうち選択される可能性が高い方から順に抽出された一部を用いて前記テーブルを生成する、ことを特徴とする請求項２６の画像符号化装置。

Images