JP2013098715A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

【課題】 選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
【解決手段】 符号化制御部２により決定されたイントラ予測パラメータが複数の予測値の中の何れの予測値とも一致していない場合、複数の予測値の中から、そのイントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、そのイントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化する。
【選択図】図１

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化ブロック）に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。

例えば、国際標準方式であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１３は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１３では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。

図１３において、モード２は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード１が選択される。
モード３からモード８は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成するものである。

ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Ｐｌａｎｅ予測と呼ばれる４つのイントラ予測モードが規定されている。
Ｐｌａｎｅ予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。

なお、ブロックサイズが４×４画素又は８×８画素の場合の方向性予測モードでは、予め定められている方向（例えば、４５度の方向）で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができる。
ただし、ブロック内のオブジェクトのエッジの方向が、予測モードが示す方向と一致しなければ、予測効率が低下するため、符号量を削減することができない。
また、イントラ予測モードは、その他の符号化すべきパラメータと共に符号化され、ビットストリームに多重化される。その際、符号化対象のイントラ予測モードが周囲の符号化済みブロックから一意に決まる一つの予測値と一致するか否かを判定し、一致する場合は一致することを示すフラグを符号化し、一致しない場合は一致しないことを示すフラグと符号化対象のイントラ予測モードのインデックスを符号化する。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の動画像符号化装置は以上のように構成されているので、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まり、予測効率を高めることができる。しかし、選択可能な方向性予測のモード数を増やせば、イントラ予測モードに係る情報の符号量が増加してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、可変長符号化手段が、イントラ予測パラメータの予測値を複数用意し、符号化制御手段により決定されたイントラ予測パラメータが複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、何れかの予測値と一致している場合、複数の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化して、その予測値インデックス及び判定フラグの符号化データが多重化されたビットストリームを生成し、何れの予測値とも一致していない場合、複数の予測値の中から、そのイントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、そのイントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化して、その予測値インデックス、差分値及び判定フラグの符号化データが多重化されたビットストリームを生成するようにしたものである。

この発明によれば、可変長符号化手段が、イントラ予測パラメータの予測値を複数用意し、符号化制御手段により決定されたイントラ予測パラメータが複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、何れかの予測値と一致している場合、複数の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化して、その予測値インデックス及び判定フラグの符号化データが多重化されているビットストリームを生成し、何れの予測値とも一致していない場合、複数の予測値の中から、そのイントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、そのイントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化して、その予測値インデックス、差分値及び判定フラグの符号化データが多重化されたビットストリームを生成するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置の可変長符号化部１３が内蔵しているイントラ予測パラメータ可変長符号化部１３ａを示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の可変長復号部３１が内蔵しているイントラ予測パラメータ可変長復号部３１ａを示す構成図である。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺予測ブロックの一例を示す説明図である。 イントラ予測モードインデックスと予測角度インデックスの対応を示すテーブルの一例を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部５及び動き補償予測フレームメモリ１２から動き補償予測手段が構成されている。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタ処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
ただし、可変長符号化部１３は、符号化モードがイントラ符号化モードである場合、下記に示す判定フラグやインデックスなどを可変長符号化するイントラ予測パラメータ可変長符号化部１３ａを内蔵している。

イントラ予測パラメータ可変長符号化部１３ａはイントラ予測パラメータの予測値を複数用意し、符号化制御部２により決定されたイントラ予測パラメータが複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、何れかの予測値と一致している場合、複数の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化することで、その予測値インデックス及び判定フラグの符号化データが多重化されているビットストリームを生成する処理を実施する。一方、何れの予測値とも一致していない場合、複数の予測値の中から、そのイントラ予測パラメータの予測角度インデックスとの差分の絶対値が最も小さくなる予測角度インデックスを持つ予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、そのイントラ予測パラメータの予測角度インデックスと、その予測値の予測角度インデックスとの差分値を可変長符号化することで、その予測値インデックス、その差分値及び判定フラグの符号化データが多重化されているビットストリームを生成する処理を実施する。ただし、予測角度インデックスとは、予測方向の角度順にイントラ予測パラメータを並べた時のインデックスを表し、予測方向が近いイントラ予測パラメータ同士の予測角度インデックスは近い値をとる。即ち、イントラ予測パラメータが複数の予測値の何れとも一致しない場合は、最も予測方向の近い予測値との角度差を符号化することで、効率的な符号化を行う。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による動画像符号化装置の可変長符号化部１３が内蔵しているイントラ予測パラメータ可変長符号化部１３ａを示す構成図である。
図３において、イントラ予測パラメータ予測部２１はブロック分割部１から出力された符号化ブロックに隣接している符号化済みブロックのイントラ予測パラメータから、符号化ブロックのイントラ予測パラメータの予測値をＭ個算出する処理を実施する。ただし、Ｍは予め設定された定数（２以上の整数）である。

イントラ予測パラメータ符号化シンボル生成部２２はイントラ予測パラメータ予測部２１により算出されたＭ個の予測値と、符号化制御部２により決定された符号化ブロックのイントラ予測パラメータとを比較して、そのイントラ予測パラメータがＭ個の予測値の中の何れかの予測値と一致しているか否かを判定し、その判定結果を示すフラグ（以下、「イントラ予測判定フラグ」と称する）をイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。
また、イントラ予測パラメータ符号化シンボル生成部２２はイントラ予測パラメータが何れかの予測値と一致している場合、Ｍ個の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択し、その予測値の識別情報であるイントラ予測値インデックスをイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。
一方、イントラ予測パラメータが何れの予測値とも一致していない場合、イントラ予測パラメータ及びＭ個の予測値を予測角度インデックスに変換し、Ｍ個の予測値の中から、そのイントラ予測パラメータの予測角度インデックスとの差分の絶対値が最も小さくなる予測角度インデックスを持つ予測値を選択し、その予測値の識別情報であるイントラ予測値インデックスをイントラ予測パラメータ符号化シンボルとして出力するとともに、そのイントラ予測パラメータの予測角度インデックスと上記予測値の予測角度インデックスとの差分値をイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。

イントラ予測パラメータ二値シンボル生成部２３はイントラ予測パラメータ符号化シンボル生成部２２から出力されたイントラ予測判定フラグが“１（一致する）”である場合、イントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックス（イントラ予測パラメータと一致している予測値の識別情報）を二値に変換して、二値変換後のイントラ予測値インデックスとイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとして出力する処理を実施する。
一方、イントラ予測パラメータ符号化シンボル生成部２２から出力されたイントラ予測判定フラグが“０（一致しない）”である場合、イントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックス（イントラ予測パラメータとの予測角度インデックスと最も近い予測角度インデックスを持つ予測値の識別情報）を二値に変換するとともに、イントラ予測パラメータ符号化シンボルに含まれている差分値を二値に変換し、二値変換後のイントラ予測値インデックス及び差分値とイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとして出力する処理を実施する。

エントロピー符号化部２４はイントラ予測パラメータ二値シンボル生成部２３から出力されたイントラ予測パラメータ二値シンボルを算術符号化などの可変長符号化処理を実施し、その符号化結果であるイントラ予測パラメータ符号語を出力する処理を実施する。その際に、周囲の状態に応じて確率モデルや符号化テーブルを切り替えるコンテキスト適応符号化を実施してもよい。このように周囲の状態に応じて確率モデルや符号化テーブルを切り替えることで、切り替え処理による演算が生じてしまうものの、符号化効率を高めることができる。

なお、イントラ予測判定フラグが“０（一致しない）”の場合、予測値を用いずにイントラ予測パラメータをそのまま符号化するようにイントラ予測パラメータ可変長符号化部１３ａを構成してもよい。
その場合、イントラ予測パラメータ符号化シンボル生成部２２はイントラ予測判定フラグと符号化ブロックのイントラ予測パラメータをイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。さらに、イントラ予測パラメータ二値シンボル生成部２３はイントラ予測パラメータ符号化シンボルに含まれる符号化ブロックのイントラ予測パラメータを二値変換して、二値変換後のイントラ予測値インデックス及びイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとして出力する。

図４はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図４において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。
ただし、可変長復号部３１は符号化モードがイントラ符号化モードである場合、下記に示す判定フラグやインデックスなどを可変長復号するイントラ予測パラメータ可変長復号部３１ａを内蔵している。

イントラ予測パラメータ可変長復号部３１ａはイントラ予測パラメータの予測値を複数用意し、ビットストリームに多重化されている符号化データからイントラ予測判定フラグを可変長復号し、そのイントラ予測判定フラグが何れかの予測値と一致している旨を示している場合、そのビットストリームに多重化されている符号化データからイントラ予測値インデックスを可変長復号し、複数の予測値の中から、そのイントラ予測値インデックスが示す予測値を選択して、その予測値をイントラ予測パラメータとして切換スイッチ３３に出力する。一方、上記イントラ予測判定フラグが何れの予測値とも一致していない旨を示している場合、ビットストリームに多重化されている符号化データからイントラ予測値インデックス及び差分値を可変長復号し、複数の予測値の中から、そのイントラ予測値インデックスが示す予測値を選択して、その予測値の予測方向を示す予測角度インデックスに対して上記差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを切換スイッチ３３に出力する処理を実施する。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は差分画像生成手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）に係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
なお、動き補償部３５及び動き補償予測フレームメモリ３９から動き補償予測手段が構成されている。
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部３６は復号画像生成手段を構成している。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタ処理後の復号画像を格納する記録媒体である。

図４の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

図６はこの発明の実施の形態１による動画像復号装置の可変長復号部３１が内蔵しているイントラ予測パラメータ可変長復号部３１ａを示す構成図である。
図６において、エントロピー復号部４１はビットストリームに多重化されているイントラ予測パラメータ符号語からイントラ予測パラメータ二値シンボルを可変長復号する処理を実施する。

イントラ予測パラメータ符号化シンボル復号部４２はエントロピー復号部４１により可変長復号されたイントラ予測パラメータ二値シンボルに含まれているイントラ予測判定フラグが“１（一致する）”である場合、そのイントラ予測パラメータ二値シンボルに含まれている二値変換後のイントラ予測値インデックスに対する多値変換を実施することで、二値変換前のイントラ予測値インデックスを得て、そのイントラ予測値インデックスとイントラ予測判定フラグをイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。
一方、エントロピー復号部４１により可変長復号されたイントラ予測パラメータ二値シンボルに含まれているイントラ予測判定フラグが“０（一致しない）”である場合、そのイントラ予測パラメータ二値シンボルに含まれている二値変換後のイントラ予測値インデックス及び差分値に対する多値変換を実施することで、二値変換前のイントラ予測値インデックス及び差分値を得て、そのイントラ予測値インデックス及び差分値とイントラ予測判定フラグをイントラ予測パラメータ符号化シンボルとして出力する処理を実施する。
ただし、エントロピー符号化部２４での可変長符号化時に周囲の状態に応じて確率モデルや符号化テーブルを切り替えるコンテキスト適応符号化を実施している場合、エントロピー復号部４１での可変長復号時においても同一の周囲の状態に応じた確率モデルや符号化テーブルの切り替え処理を実施する。

イントラ予測パラメータ予測部４３は図３のイントラ予測パラメータ予測部２１と同様の処理を実施するものであり、復号ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号ブロックのイントラ予測パラメータの予測値をＭ個算出する処理を実施する。ただし、Ｍはイントラ予測パラメータ予測部２１で用いるＭと同一の値の予め設定された定数（２以上の整数）である。

イントラ予測パラメータ算出部４４はイントラ予測パラメータ予測部４３により算出されたＭ個の予測値と、イントラ予測パラメータ符号化シンボル復号部４２から出力されたイントラ予測パラメータ符号化シンボルから、復号ブロックのイントラ予測パラメータを算出する処理を実施する。
即ち、イントラ予測パラメータ算出部４４はイントラ予測パラメータ符号化シンボルに含まれているイントラ予測判定フラグが“１（一致する）”である場合、Ｍ個の予測値の中から、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックスに対応する予測値を選択し、その予測値を復号ブロックのイントラ予測パラメータとして出力する処理を実施する。
一方、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測判定フラグが“０（一致しない）”である場合、Ｍ個の予測値の中から、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックスに対応する予測値を選択して、その予測値を予測角度インデックスに変換し、その予測角度インデックスとイントラ予測パラメータ符号化シンボルに含まれている差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを出力する処理を実施する。

ただし、イントラ予測判定フラグが“０（一致しない）”であり、図１の可変長符号化部１３によりイントラ予測パラメータがそのまま符号化される場合、イントラ予測パラメータ二値シンボルは、イントラ予測判定フラグと二値化処理後のイントラ予測パラメータから構成されており、イントラ予測パラメータ符号化シンボル復号部４２が二値変換後のイントラ予測パラメータの多値変換を行うことで、復号ブロックのイントラ予測パラメータが得られ、イントラ予測パラメータ予測部４３及びイントラ予測パラメータ算出部４４での処理が不要となる。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。

符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。

ブロック分割部１は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図７は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図７において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図７では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図８に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図７はＰ_０ ^０とＰ_１ ^０の例を示している。
符号化ブロックＢ^ｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図８に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図８（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図８（ｂ）は、図８（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図８（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタ処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は２種類以上行ってもよい。
ただし、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように図１の動画像符号化装置を変更する必要がある。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図８（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３の処理内容の詳細は後述する。

次に、イントラ予測部４の処理内容を詳細に説明する。
図９は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、Ｎ_Ｉはイントラ予測モード数を表す。
図９では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図９の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図１０はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１０では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの画素（２×ｌ_ｉ ^ｎ＋１）個と、左の符号化済みの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図１０に示す画素より多くても少なくてもよい。
また、図１０では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値がＮ_Ｉ−１（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰ_ｉ ^ｎ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）とＮ_Ｉ−１（平面予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１０の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
上述の手順で、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。

次に、可変長符号化部１３の処理内容を詳細に説明する。
可変長符号化部１３は、イントラ予測モードのインデックスを示すイントラ予測パラメータを可変長符号化する際、周辺の符号化済み予測ブロックのイントラ予測パラメータに基づいて、符号化対象の予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータの予測値を算出し、その予測値を用いて予測符号化を行う。
まず、可変長符号化部１３の一部を構成しているイントラ予測パラメータ可変長符号化部１３ａのイントラ予測パラメータ予測部２１は、符号化済み周辺の予測ブロックのイントラ予測パラメータに基づき、符号化対象である予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータの予測値をＭ種類算出する。ただし、Ｍは２以上の整数を取り得る予め設定された定数である。
ここで、図１１は予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺予測ブロックの一例を示す説明図である。以降、Ｍ＝２として、予測値の算出処理を説明する。

まず、Ｍ＝２個の予測値に対して、順番に“０”，“１”のインデックスを割り振って、２つの予測値を識別できるようにする。以降、このインデックスを“イントラ予測値インデックス”と称する。
ここでは、予測ブロックＰ_ｉ ^ｎの左（Ａ）のブロックのイントラ予測パラメータのイントラ予測値インデックスを“０”、予測ブロックＰ_ｉ ^ｎの上（Ｂ）のブロックのイントラ予測パラメータのイントラ予測値インデックスを“１”とする。
ただし、ブロックＡ，Ｂが、インター予測を行っている予測ブロックであったり、参照が許されないブロックであったりして、イントラ予測パラメータを用意できない場合は、予め決められた手順に従って代わりの予測値を用意する。
例えば、右上（Ｃ）のブロックのイントラ予測パラメータや、左上（Ｄ）のブロックのイントラ予測パラメータを用いたり、特定の予測モード（例えば、平均値予測や平面予測など）のイントラ予測パラメータを用いたりする。

次に、イントラ予測値インデックス“０”，“１”の予測値が同一か否かを判定し、同一の予測値である場合は、Ｍ＝２種類の異なる予測値が用意できるように予め決められた手順に従って代わりの予測値を用意する。
例えば、イントラ予測値インデックス“１” の予測値をイントラ予測値インデックス“０”の予測値とは異なるイントラ予測モードのイントラ予測パラメータに置き換えるようにする。
下記は、具体例を示している。

（１）イントラ予測値インデックス“０”の予測値に因らず、特定のイントラ予測モード（例えば、平面予測）のイントラ予測パラメータにイントラ予測値インデックス“１” の予測値を置き換える。
ただし、イントラ予測値インデックス“０” の予測値が、その特定のイントラ予測モードのイントラ予測パラメータと同じである場合に限り、それとは異なる特定のイントラ予測モードのイントラ予測パラメータ（例えば、平均値予測）に置き換える。
（２）イントラ予測値インデックス“０”のイントラ予測パラメータによって置き換えるイントラ予測値インデックス“１” の予測値を切り替える。
例えば、イントラ予測値インデックス“０”の予測値の予測方向と直交する方向のイントラ予測モードのイントラ予測パラメータに置き換えるようにする（例えば、イントラ予測値インデックス“０”の予測値が図９のインデックス４である場合、イントラ予測値インデックス“１” の予測値をインデックス３とする）。
このように、イントラ予測値インデックス“０”の取り得る予測値の全てに対して、それぞれ置き換えるイントラ予測値インデックス“１” の予測値を設定しておくようにする。

イントラ予測パラメータ予測部２１は、上記のようにして、Ｍ＝２種類の異なる予測値を算出すると、Ｍ＝２種類の異なる予測値をイントラ予測パラメータ符号化シンボル生成部２２に出力する。

イントラ予測パラメータ符号化シンボル生成部２２は、イントラ予測パラメータ予測部２１からＭ個の予測値を受けると、Ｍ個の予測値と、符号化制御部２により決定された符号化ブロックのイントラ予測パラメータとを比較して、そのイントラ予測パラメータがＭ個の予測値の中の何れかの予測値と一致しているか否かを判定し、その判定結果を示すイントラ予測判定フラグをイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ二値シンボル生成部２３に出力する。
イントラ予測パラメータ符号化シンボル生成部２２は、イントラ予測パラメータが何れかの予測値と一致している場合、Ｍ個の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択し、その予測値の識別情報であるイントラ予測値インデックスをイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ二値シンボル生成部２３に出力する。

一方、イントラ予測パラメータが何れの予測値とも一致していない場合、イントラ予測パラメータのインデックスとＭ個の予測値を予測角度インデックスに変換し、Ｍ個の予測値の中から、そのイントラ予測パラメータの予測角度インデックスと最も近い予測角度インデックスを持つ予測値を選択する。
ここで、予測角度インデックスは、予測方向の角度の順にイントラ予測パラメータを並べ替えるインデックスであり、予測方向が近いイントラ予測パラメータ同士の予測角度インデックスは近い値をとる。

図１２は図７のイントラ予測モードインデックスと予測角度インデックスの対応を示すテーブルの一例を示す説明図である。
例えば、符号化したいイントラ予測パラメータ（イントラ予測モードインデックス）が“１０”、Ｍ＝２種類の予測値がイントラ予測値インデックスが“０”、“１”の順に“１８”と“２０”であった場合、“１０”のイントラ予測モードインデックスは、“１６”の予測角度インデックスに変換され、“１８”のイントラ予測モードインデックスは、“１７”の予測角度インデックスに変換され、それらの予測角度インデックスの差分は小さな値“−１”になる。
しかし、“１８”のイントラ予測モードインデックスよりも、“１０”のイントラ予測モードインデックスとの予測方向が遠い“２０”のイントラ予測モードインデックスは、“１３”の予測角度インデックスに変換され、それらの予測角度インデックスの差分は大きな値“３”になる。
そのため、上記の例では選択される予測値はイントラ予測値インデックスが“０”の予測値“１８”となる。

そして、イントラ予測パラメータ符号化シンボル生成部２２は、符号化制御部２により決定されたイントラ予測パラメータの予測角度インデックスと最も近い予測角度インデックスを持つ予測値の識別情報であるイントラ予測値インデックス（上記の例では、インデックス値＝１０のイントラ予測値インデックス“０”）をイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ二値シンボル生成部２３に出力する。

イントラ予測パラメータ符号化シンボル生成部２２は、符号化制御部２により決定されたイントラ予測パラメータのインデックスとそのイントラ予測パラメータの予測角度インデックスと最も近い予測角度インデックスを持つ予測値との予測角度インデックスの差分値をイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ二値シンボル生成部２３に出力する。
例えば、イントラ予測パラメータのインデックスの予測角度インデックスが“１６”であり、そのイントラ予測パラメータの予測角度インデックスと最も近い予測角度インデックスを持つ予測値の予測角度インデックスが“１７”である場合、それらの差分値として“−１（＝１６−１７）”が出力される。

イントラ予測パラメータ二値シンボル生成部２３は、イントラ予測パラメータ符号化シンボル生成部２２からイントラ予測パラメータ符号化シンボルを受けると、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測判定フラグが“１（一致する）”であれば、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックス（イントラ予測パラメータと一致している予測値の識別情報）の二値変換を実施して、二値変換後のイントラ予測値インデックスとイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとしてエントロピー符号化部２４に出力する。
一方、イントラ予測パラメータ符号化シンボル生成部２２から出力されたイントラ予測判定フラグが“０（一致しない）”であれば、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックス（イントラ予測パラメータの予測角度インデックスと最も近い予測角度インデックスを持つ予測値の識別情報）の二値変換を実施するとともに、そのイントラ予測パラメータ符号化シンボルに含まれている差分値の二値変換を実施し、二値変換後のイントラ予測値インデックス及び差分値とイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとしてエントロピー符号化部２４に出力する。

エントロピー符号化部２４は、イントラ予測パラメータ二値シンボル生成部２３からイントラ予測パラメータ二値シンボルを受けると、そのイントラ予測パラメータ二値シンボルの種類（イントラ予測判定フラグ、イントラ予測値インデックス、予測角度インデックスの差分値）毎に、例えば、予測ブロックＡ，Ｂといった周辺の符号化済み予測ブロックのイントラ予測モードなどに応じて、適応的に確率モデルを切り替えて算術符号化などの可変長符号化を行う。
その符号化結果であるイントラ予測パラメータ符号語は、可変長符号化部１３内で、その他の算術符号化結果と共にビットストリームに多重化される。

ただし、イントラ予測判定フラグが“０（一致しない）”の場合、予測値を用いずにイントラ予測パラメータをそのまま符号化するようにイントラ予測パラメータ可変長符号化部１３ａを構成してもよい。
その場合、イントラ予測パラメータ符号化シンボル生成部２２は、イントラ予測判定フラグと符号化ブロックのイントラ予測パラメータをイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ二値シンボル生成部２３に出力する。
さらに、イントラ予測パラメータ二値シンボル生成部２３は、イントラ予測パラメータ符号化シンボルに含まれる符号化ブロックのイントラ予測パラメータを二値変換して、二値変換後のイントラ予測値インデックス及びイントラ予測判定フラグをイントラ予測パラメータ二値シンボルとしてエントロピー符号化部２４に出力する。

なお、上記の例ではＭ＝２としたが、それ以外の値でも、上記と同様の処理が可能である。例えばＭ＝４とした場合、図１１の予測ブロックＡ，Ｂ，Ｃ，Ｄを参照するようにして、上記と同様の処理を行えばよい。

図１の動画像符号化装置の可変長符号化部１３では、イントラ予測モードを符号化する際に、用意している複数の予測値のいずれかと一致する場合には一致するか否かのフラグ情報と、どの予測値と一致したかの情報を符号化するように構成したため、予測値を一つしか用いない場合より予測値と一致する確率が上がるため、効率的に符号化することができる。
さらに、図１の動画像符号化装置の可変長符号化部１３では、イントラ予測モードを符号化する際に、用意した複数の予測値のいずれかと一致しない場合には一致するか否かのフラグ情報、最も近い予測値の情報、その予測値との差分値を符号化するように構成したため、直接イントラ予測モードを符号化するよりも効率的に符号化することができる。

次に、図４の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図５のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。

可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図８で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。

ただし、イントラ予測モードのインデックスを示すイントラ予測パラメータの復号は、動画像符号化装置側と同じ手順で周辺の復号済み予測ブロックのイントラ予測モードに基づき、復号対象である予測ブロックＰ_ｉ ^ｎのイントラ予測モードの予測値を算出し、その予測値を用いて復号する。
即ち、可変長復号部３１の一部を構成しているイントラ予測パラメータ可変長復号部３１ａ内のエントロピー復号部４１は、ビットストリームに多重化されているイントラ予測パラメータ符号語からイントラ予測パラメータ二値シンボルを可変長復号する。その際、エントロピー符号化部２４で適応的に確率モデルを切り替えて可変長符号化を行っている場合は、エントロピー復号部４１の可変長復号も同一の確率モデル切り替えを実施する。

イントラ予測パラメータ符号化シンボル復号部４２は、エントロピー復号部４１がイントラ予測パラメータ二値シンボルを可変長復号すると、そのイントラ予測パラメータ二値シンボルに含まれているイントラ予測判定フラグが“１（一致する）”であれば、そのイントラ予測パラメータ二値シンボルに含まれている二値変換後のイントラ予測値インデックスに対する多値変換を実施することで、二値変換前のイントラ予測値インデックスを得て、そのイントラ予測値インデックスとイントラ予測判定フラグをイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ算出部４４に出力する。
一方、イントラ予測パラメータ二値シンボルに含まれているイントラ予測判定フラグが“０（一致しない）”であれば、そのイントラ予測パラメータ二値シンボルに含まれている二値変換後のイントラ予測値インデックス及び差分値に対する多値変換を実施することで、二値変換前のイントラ予測値インデックス及び差分値を得て、そのイントラ予測値インデックス及び差分値とイントラ予測判定フラグをイントラ予測パラメータ符号化シンボルとしてイントラ予測パラメータ算出部４４に出力する。

イントラ予測パラメータ予測部４３は、図３のイントラ予測パラメータ予測部２１と同様の処理を実施することで、復号ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号ブロックのイントラ予測パラメータの予測値をＭ個算出する。ただし、Ｍは２以上の整数を取り得る動画像符号化装置側と同一の値に予め設定された定数である。

イントラ予測パラメータ算出部４４は、イントラ予測パラメータ予測部４３により算出されたＭ個の予測値と、イントラ予測パラメータ符号化シンボル復号部４２から出力されたイントラ予測パラメータ符号化シンボルから、復号ブロックのイントラ予測パラメータを算出する。
即ち、イントラ予測パラメータ算出部４４は、イントラ予測パラメータ符号化シンボルに含まれているイントラ予測判定フラグが“１（一致する）”である場合、Ｍ個の予測値の中から、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックスに対応する予測値を選択し、その予測値を復号ブロックのイントラ予測パラメータとして切換スイッチ３３に出力する。

一方、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測判定フラグが“０（一致しない）”である場合、Ｍ個の予測値の中から、そのイントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックスに対応する予測値を選択して、その予測値を予測角度インデックスに変換する。
例えば、Ｍ＝２個の予測値が、イントラ予測値インデックスが“０”、“１”の順に“１８”と“２０”であった場合において、イントラ予測パラメータ符号化シンボルに含まれているイントラ予測値インデックスが“０”であれば、復号対象のイントラ予測モードインデックスの予測値として“１８”を選択する。
復号対象のイントラ予測モードインデックスの予測値“１８”は図１２のテーブルを用いて“１７”の予測角度インデックスに変換される。

イントラ予測パラメータ算出部４４は、予測値を予測角度インデックスに変換すると、その予測角度インデックスとイントラ予測パラメータ符号化シンボルに含まれている差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを復号ブロックのイントラ予測パラメータとして切換スイッチ３３に出力する。
例えば、予測角度インデックスが“１７”であり、イントラ予測パラメータ符号化シンボルに含まれている差分値が“−１”であれば、差分値加算後の予測角度インデックスが“１６”になり、“１６”の予測角度インデックスに対応するイントラ予測モードインデックス“１０”（図１２を参照）が、復号ブロックのイントラ予測パラメータとして切換スイッチ３３に出力される。

ただし、イントラ予測判定フラグが“０（一致しない）”であり、図１の可変長符号化部１３によりイントラ予測パラメータがそのまま符号化される場合、イントラ予測パラメータ二値シンボルは、イントラ予測判定フラグと二値変換後のイントラ予測パラメータから構成されており、イントラ予測パラメータ符号化シンボル復号部４２が二値変換後のイントラ予測パラメータの多値変換を行うことで、復号ブロックのイントラ予測パラメータが得られ、イントラ予測パラメータ予測部４３及びイントラ予測パラメータ算出部４４での処理が不要となる。

さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタ処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は２種類以上行ってもよく、ループフィルタ部１１と同じフィルタ処理を行う。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置の可変長符号化部１３が、イントラ予測パラメータの予測値を複数用意して、符号化制御部２により決定されたイントラ予測パラメータが複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、何れかの予測値と一致している場合、複数の予測値の中から、そのイントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化することで、その予測値インデックス及び上記判定フラグの符号化データが多重化されているビットストリームを生成し、何れの予測値とも一致していない場合、複数の予測値の中から、そのイントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、そのイントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化することで、その予測値インデックス、差分値及び判定フラグの符号化データが多重化されているビットストリームを生成するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置の可変長復号部３１が、イントラ予測パラメータの予測値を複数用意して、ビットストリームに多重化されている符号化データから判定フラグを可変長復号し、その判定フラグが何れかの予測値と一致している旨を示している場合、そのビットストリームに多重化されている符号化データから予測値インデックスを可変長復号し、複数の予測値の中から、その予測値インデックスが示す予測値を選択して、その予測値を切換スイッチ３３に出力し、その判定フラグが何れの予測値とも一致していない旨を示している場合、そのビットストリームに多重化されている符号化データから予測値インデックス及び差分値を可変長復号し、複数の予測値の中から、その予測値インデックスが示す予測値を選択して、その予測値の予測方向を示す予測角度インデックスに対して上記差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを切換スイッチ３３に出力するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果を奏する。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ（イントラ予測手段）、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ（動き補償予測手段）、１３ 可変長符号化部（可変長符号化手段）、１３ａ イントラ予測パラメータ可変長符号化部、２１ イントラ予測パラメータ予測部、２２ イントラ予測パラメータ符号化シンボル生成部、２３ イントラ予測パラメータ二値シンボル生成部、２４ エントロピー符号化部、３１ 可変長復号部（可変長復号手段）、３１ａ イントラ予測パラメータ可変長復号部、３２ 逆量子化・逆変換部（差分画像生成手段）、３３ 切換スイッチ、３４ イントラ予測部（イントラ予測手段）、３５ 動き補償部（動き補償予測手段）、３６ 加算部（復号画像生成手段）、３７ イントラ予測用メモリ（イントラ予測手段）、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ（動き補償予測手段）、４１ エントロピー復号部、４２ イントラ予測パラメータ符号化シンボル復号部、４３ イントラ予測パラメータ予測部、４４ イントラ予測パラメータ算出部。

Claims (18)

1. 符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択し、さらに、上記符号化ブロックの予測処理が実施される際の予測処理単位となる予測ブロック毎に、上記予測処理が実施される際に用いられるイントラ予測パラメータを決定する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりイントラ符号化モードが選択された場合、上記符号化ブロックにおける予測ブロック毎に、上記符号化制御手段により決定されたイントラ予測パラメータを用いて、上記イントラ符号化モードに対応するフレーム内予測処理を実施することで予測画像を生成するイントラ予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記符号化制御手段により決定されたイントラ予測パラメータを可変長符号化して、上記圧縮データ、上記符号化モード及び上記イントラ予測パラメータの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
   上記可変長符号化手段は、イントラ予測パラメータの予測値を複数用意し、上記符号化制御手段により決定されたイントラ予測パラメータが上記複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、
   何れかの予測値と一致している場合、上記複数の予測値の中から、上記イントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化して、上記予測値インデックス及び上記判定フラグの符号化データが多重化されたビットストリームを生成することを特徴とする動画像符号化装置。
2. 可変長符号化手段は、イントラ予測パラメータの予測値を複数用意し、符号化制御手段により決定されたイントラ予測パラメータが上記複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、
   何れの予測値とも一致していない場合、上記複数の予測値の中から、上記イントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、上記イントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化することで、上記予測値インデックス、上記差分値及び上記判定フラグの符号化データが多重化されたビットストリームを生成することを特徴とする請求項１記載の動画像符号化装置。
3. ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
   差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項２記載の動画像符号化装置。
4. 符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
   画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、
   可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されているビットストリームを生成することを特徴とする請求項３記載の動画像符号化装置。
5. 可変長符号化手段は、イントラ予測パラメータの予測値として、予測ブロックの左のブロック及び上のブロックのイントラ予測パラメータを用意していることを特徴とする請求項１から請求項４のうちのいずれか１項記載の動画像符号化装置。
6. 可変長符号化手段は、予測ブロックの左のブロック及び上のブロックが、インター予測モードで予測処理が実施されているブロックである場合、あるいは、予測ブロックの左のブロック及び上のブロックが、参照が許されないブロックである場合、予測ブロックの左のブロック及び上のブロック以外のブロックのイントラ予測パラメータ、あるいは、特定のイントラ符号化モードのイントラ予測パラメータを予測値として用意することを特徴とする請求項５記載の動画像符号化装置。
7. 可変長符号化手段は、イントラ予測パラメータの予測値として、異なる複数の予測値を用意することを特徴とする請求項６記載の動画像符号化装置。
8. ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びイントラ予測パラメータを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記可変長復号手段により可変長復号された符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ予測パラメータを用いて、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
   上記可変長復号手段は、イントラ予測パラメータの予測値を複数用意して、上記ビットストリームに多重化された符号化データから判定フラグを可変長復号し、
   上記判定フラグが何れかの予測値と一致している旨を示している場合、上記ビットストリームに多重化された符号化データから予測値インデックスを可変長復号し、上記複数の予測値の中から、上記予測値インデックスが示す予測値を選択して、その予測値をイントラ予測パラメータとして上記イントラ予測手段に出力することを特徴とする動画像復号装置。
9. 可変長復号手段は、イントラ予測パラメータの予測値を複数用意して、ビットストリームに多重化された符号化データから判定フラグを可変長復号し、
   判定フラグが何れの予測値とも一致していない旨を示している場合、上記ビットストリームに多重化された符号化データから予測値インデックス及び差分値を可変長復号し、上記複数の予測値の中から、上記予測値インデックスが示す予測値を選択して、その予測値の予測方向を示す予測角度インデックスに対して上記差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを上記イントラ予測手段に出力することを特徴とする請求項８記載の動画像復号装置。
10. 可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
    復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項９記載の動画像復号装置。
11. 可変長復号手段は、ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
    差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項１０記載の動画像復号装置。
12. 可変長復号手段は、イントラ予測パラメータの予測値として、予測ブロックの左のブロック及び上のブロックのイントラ予測パラメータを用意していることを特徴とする請求項８から請求項１１のうちのいずれか１項記載の動画復号装置。
13. 可変長復号手段は、予測ブロックの左のブロック及び上のブロックが、インター予測モードで予測処理が実施されているブロックである場合、あるいは、予測ブロックの左のブロック及び上のブロックが、参照が許されないブロックである場合、予測ブロックの左のブロック及び上のブロック以外のブロックのイントラ予測パラメータ、あるいは、特定のイントラ符号化モードのイントラ予測パラメータを予測値として用意することを特徴とする請求項１２記載の動画像復号装置。
14. 可変長復号手段は、イントラ予測パラメータの予測値として、異なる複数の予測値を用意することを特徴とする請求項１３記載の動画像復号装置。
15. 符号化制御手段が、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択し、さらに、上記符号化ブロックの予測処理が実施される際の予測処理単位となる予測ブロック毎に、上記予測処理が実施される際に用いられるイントラ予測パラメータを決定する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、イントラ予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでイントラ符号化モードが選択された場合、上記符号化ブロックにおける予測ブロック毎に、上記符号化制御処理ステップで決定されたイントラ予測パラメータを用いて、上記イントラ符号化モードに対応するフレーム内予測処理を実施することで予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記イントラ予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップによって出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記符号化制御処理ステップで決定されたイントラ予測パラメータを可変長符号化して、上記圧縮データ、上記符号化モード及び上記イントラ予測パラメータの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
    上記可変長符号化処理ステップでは、イントラ予測パラメータの予測値を複数用意し、上記符号化制御処理ステップで決定されたイントラ予測パラメータが上記複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、
    何れかの予測値と一致している場合、上記複数の予測値の中から、上記イントラ予測パラメータと一致している予測値を選択して、その予測値を示す予測値インデックスを可変長符号化して、上記予測値インデックス及び上記判定フラグの符号化データが多重化されたビットストリームを生成することを特徴とする動画像符号化方法。
16. 可変長符号化処理ステップでは、イントラ予測パラメータの予測値を複数用意し、符号化制御処理ステップで決定されたイントラ予測パラメータが上記複数の予測値の中の何れかの予測値と一致しているか否かを示す判定フラグを可変長符号化し、
    何れの予測値とも一致していない場合、上記複数の予測値の中から、上記イントラ予測パラメータと予測方向が最も近い予測値を選択して、その予測値を示す予測値インデックスを可変長符号化するとともに、上記イントラ予測パラメータの予測方向を示す予測角度インデックスと上記予測値の予測方向を示す予測角度インデックスとの差分値を可変長符号化することで、上記予測値インデックス、上記差分値及び上記判定フラグの符号化データが多重化されているビットストリームを生成することを特徴とする請求項１５記載の動画像符号化方法。
17. 可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びイントラ予測パラメータを可変長復号する可変長復号処理ステップと、イントラ予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記可変長復号処理ステップで可変長復号された符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ予測パラメータを用いて、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記イントラ予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
    上記可変長復号処理ステップでは、イントラ予測パラメータの予測値を複数用意して、上記ビットストリームに多重化された符号化データから判定フラグを可変長復号し、
    上記判定フラグが何れかの予測値と一致している旨を示している場合、上記ビットストリームに多重化された符号化データから予測値インデックスを可変長復号し、上記複数の予測値の中から、上記予測値インデックスが示す予測値を選択して、その予測値をイントラ予測パラメータとして上記イントラ予測手段に出力することを特徴とする動画像復号方法。
18. 可変長復号処理ステップでは、イントラ予測パラメータの予測値を複数用意して、ビットストリームに多重化されている符号化データから判定フラグを可変長復号し、
    判定フラグが何れの予測値とも一致していない旨を示している場合、上記ビットストリームに多重化されている符号化データから予測値インデックス及び差分値を可変長復号し、上記複数の予測値の中から、上記予測値インデックスが示す予測値を選択して、その予測値の予測方向を示す予測角度インデックスに対して上記差分値を加算し、差分値加算後の予測角度インデックスに対応するイントラ予測パラメータを上記イントラ予測手段に出力することを特徴とする請求項１７記載の動画像復号方法。

Images