JPWO2011121894A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Abstract

符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＡで生成された予測画像Ａ間の差分画像Ａの符号化効率を評価するとともに、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂの符号化効率を評価し、符号化効率が高い方の差分画像を選択する符号化モード判定部４を設けるように構成する。

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。

動き補償技術は、ビデオフレーム間に存在する高い相関を利用してマクロブロック毎に時間方向の信号の冗長度を削減する技術である。
即ち、動き補償技術では、既に符号化が完了している符号化済みフレームを参照画像としてメモリに蓄積し、そのメモリに蓄積している参照画像内の所定の探索範囲内で、動き補償予測の対象ブロックである現マクロブロックと最も差分電力が小さいブロック領域を探索する。
そして、最も差分電力が小さいブロック領域の空間位置と現マクロブロックの空間位置との変位を動きベクトルとして符号化する技術である。

上記の動きベクトルは、予測の効率のみならず、ビデオフレーム間の各ブロックにおける局所的な動きを表していることも多いため、近年、その動きベクトルの情報を利用して、映像の単位時間当りのコマ数（フレームレート）を増やす目的で、補間画像を生成する技術が開発されている。
最も単純なモデルとしては、例えば、時間的にビデオフレーム間のちょうど真ん中に補間画像を生成する際、動きベクトルの値を半分にした値を補間画像の動きベクトルとして採用し、その動きベクトルを用いて、前後のフレームから動きを補償するという方法がある。
これはビデオフレーム間の動きがリニアであることを仮定した場合のモデルであり、ビデオフレームの間隔が短い程に上記の仮定が成り立ち、また、その動きベクトルが小さい程に上記の仮定が成り立つため、ある程度の補間画像を作成することが可能である。

ただし、動きベクトルは、上述したように、ビデオフレーム間の各ブロックにおける局所的な動きを表していることが多いが、実際は最も差分電力が小さいブロック領域を探索して求められるものであり、局所的な動きを表さないこともある。
そのような場合、補間画像に乱れが発生し、その乱れが非常に目立つことが多いため、「動きを正確に表現できていない動きベクトル」を如何に判定して、それらを除外しつつ本来の動きをどこまで正確に推定できるかが重要である。

例えば、以下の非特許文献１や特許文献１には、汎用の映像符号化方式によって得られたビットストリームから動きパラメータを抽出し、その動きパラメータに依存して、受信側における再生動画像のフレームレートを擬似的に増加させることを目的とするフレーム補間技術が開示されている。

特開２００９−１８８９９６号公報

H. Sasai, S. Kondoh, and S. Kadono, "Frame-rate Up-conversion using Reliable Analysis of Transmitted Motion Information". IEEE International Conference on Acoustic, Speech and Signal Processing （ICASSP） 2004, ITT-L1.5, May 2004.

従来の画像符号化装置は以上のように構成されているので、受信側において、再生動画像のフレームレートを擬似的に増加することで、ある程度は、再生動画像の品質を高めることができる。しかし、符号化処理の過程で十分な符号化品質が得られるように、最適な符号化制御を実施しているものではないため、受信側で得られる再生動画像の品質の向上には限度があり、再生動画像の品質の最適性を保証することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、受信側における再生画像の品質を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、画像符号化装置から送信された符号化データから品質が高い画像を再生することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、ブロックの動きベクトルを検出する動き検出手段と、動き検出手段により検出された動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、動き検出手段により検出された動きベクトルを保持するメモリと、メモリに保持される動きベクトルをもとに符号化対象のブロックの動きベクトルを生成する動きベクトル生成手段と、動きベクトル生成手段により生成された動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像と符号化対象のブロックとの差分画像を符号化するとともに、第１の予測画像の生成に用いた動きベクトルを符号化する符号化手段と、その差分画像の局部復号画像を生成し、その局部復号画像を第１の予測画像と加算することによって局部復号画像を生成する局部復号手段と、第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、局部復号手段によって得られるブロックの第１の局部復号画像か、フィルタリング手段によって得られる画像のいずれかを、１つないし複数のブロックから構成される所定画像領域内の局部復号画像として選択し、その選択結果をビットストリームに多重して符号化伝送するようにしたものである。

この発明によれば、ブロックの動きベクトルを検出する動き検出手段と、動き検出手段により検出された動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、動き検出手段により検出された動きベクトルを保持するメモリと、メモリに保持される動きベクトルをもとに符号化対象のブロックの動きベクトルを生成する動きベクトル生成手段と、動きベクトル生成手段により生成された動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像と符号化対象のブロックとの差分画像を符号化するとともに、第１の予測画像の生成に用いた動きベクトルを符号化する符号化手段と、その差分画像の局部復号画像を生成し、その局部復号画像を第１の予測画像と加算することによって局部復号画像を生成する局部復号手段と、第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、局部復号手段によって得られるブロックの第１の局部復号画像か、フィルタリング手段によって得られる画像のいずれかを、１つないし複数のブロックから構成される所定画像領域内の局部復号画像として選択し、その選択結果をビットストリームに多重して符号化伝送するように構成したので、受信側における再生画像の品質を高めることができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 ピクチャタイプに応じて選択可能な動き予測モードの一例を示す説明図である。 時間ダイレクトモードにおけるダイレクトベクトルの算出方法を示す模式図である。 空間ダイレクトモードによる動きベクトルの推定方法を示す模式図である。 オーバラップ動き補償処理を示す説明図である。 可変長符号化部１１から出力されるビットストリームを示す説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。 動き補償予測部２による予測画像Ｂの生成処理（符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合の生成処理）の一例を示す説明図である。 マクロブロックＸの動きベクトルｄ_ｆ（ｘ，ｔ）の推定内容を示す説明図である。 マクロブロック内の各画素位置に応じて定義される重みパラメータを示す説明図である。 マクロブロック内の各画素位置に応じて定義される重みパラメータを示す説明図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１の画像符号化装置では、入力画像がマクロブロック単位（あるいは、マクロブロックが分割されたサブマクロブロック単位）に分割され、マクロブロック単位（あるいは、サブマクロブロック単位）の入力画像が動き補償予測部２及び減算器３に入力される。符号化処理はマクロブロックごとに実行されるものとし、入力画像を構成するすべてのマクロブロックの符号化処理が終了した時点で、該入力画像の符号化処理が終了するものとする。
以下、この実施の形態１では、説明の便宜上、マクロブロック単位の入力画像が動き補償予測部２及び減算器３に入力されるものとして説明する。動き補償予測部２及び減算器３への入力がサブマクロブロック単位となる場合、「マクロブロック」を「サブマクロブロック」に読み替え、１つのマクロブロックの処理は、その内部のすべてのサブマクロブロックの処理が終了することで終了、とする。
また、図１の画像符号化装置では、「マクロブロックごとに動きパラメータや予測残差情報の符号化を伴う通常のピクチャ符号化を行う」のか、「スキップピクチャ符号化を行う」のか示すピクチャ符号化方法制御情報（制御情報）が動き補償予測部２、符号化モード判定部４、選択スイッチ７、ループフィルタ９及び可変長符号化部１１に入力される。

図１において、動きパラメータメモリ１は例えば符号化済みマクロブロックの予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）などを格納する例えばＲＡＭなどの記録媒体である。
動き補償予測部２はフレームメモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から実際に予測に用いる参照画像を選択し、入力画像を構成しているマクロブロックの単位で、動き補償予測処理を実施することで予測画像を生成する処理を実施する。
動き補償予測部２は予測画像を生成する際の予測画像生成方式として、第１の予測画像生成方式（「動き予測モードＡ」による予測画像生成方式）と、第２の予測画像生成方式（「動き予測モードＢ」による予測画像生成方式）とを備えており、動き予測モードＡと動き予測モードＢによって予測画像をそれぞれ生成する。

動き予測モードＡの場合、１つの動きベクトルは、フレームメモリ１０に格納されている１フレーム以上の参照画像のうちのいずれか１つを選び、該選択した参照画像中で、動き補償予測の対象となるマクロブロックの画面内位置を起点として、平行移動変位した位置のうち、対象マクロブロックの画像パターンをもっともよく表現するブロックを特定することにより、その画面内変位量として求められる。即ち、動きベクトルは、その算出に用いた参照画像と対で規定されるため、フレームメモリ１０に格納されている１フレーム以上の参照画像のうちのいずれの参照画像を用いて算出されたかを参照画像識別番号によって指定する。動き補償予測の対象となるマクロブロックに対して２つ以上の動きベクトルが割り当てられる場合は、それぞれの動きベクトルがそれぞれいずれの参照画像を用いて得られたかを、個別に参照画像識別番号によって指定する。なお、動き補償予測の対象となるマクロブロックに対して２つ以上の動きベクトルが使用される場合に、それぞれが異なる参照画像識別番号を示していてもよいし、そのうちのいくつかが同じ参照画像識別番号であってもかまわない。得られた動きベクトル及び参照画像識別番号を用いて予測画像Ａを生成する（動き補償予測の対象となるマクロブロックの画面内位置から、その動きベクトルの分だけ変移した位置の画像領域を用いて、予測画像Ａを生成する）。
動き予測モードＢの場合、動きパラメータメモリ１に格納されている符号化済みマクロブロックの予測パラメータ符号化対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。

ただし、動き補償予測部２はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、動き予測モードＡと動き予測モードＢによって、予測画像をそれぞれ生成するが、「スキップピクチャ符号化を行う」旨を示していれば、動き予測モードＡを使用せず、動き予測モードＢのみで予測画像を生成する。
なお、動き補償予測部２は予測画像生成手段を構成している。

減算器３は符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＡで生成された予測画像Ａの差分を求めて差分画像Ａを算出するとともに、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＢで生成された予測画像Ｂの差分を求めて差分画像Ｂを算出する処理を実施する。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、予測画像Ａが生成されないので、符号化対象のマクロブロックの画像と動き予測モードＡで生成された予測画像Ａの差分を求めて差分画像Ａを算出する処理は行わない。

符号化モード判定部４は符号化対象のマクロブロックの画像と動き予測モードＡで生成された予測画像Ａ間の差分画像Ａの符号化効率を評価するとともに、符号化対象のマクロブロックと動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂの符号化効率を評価し、最も符号化効率が高い差分画像を選択する処理を実施する。
また、符号化モード判定部４は最も符号化効率が高い差分画像を示す予測差分信号を圧縮部５に出力するとともに、その差分画像に係る予測画像の生成に用いられた予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（またはダイレクトベクトル）、参照画像の識別番号）を動きパラメータメモリ１に格納し、また、その予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（差分画像Ａを選択した場合に限り、動きベクトルを予測パラメータに含め、差分画像Ｂを選択した場合、動きベクトルを予測パラメータに含めない）、参照画像の識別番号）を可変長符号化部１１に出力する処理を実施する。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、予測画像Ａが生成されないので、差分画像Ａの符号化効率を評価する処理は行わない。
なお、減算器３及び符号化モード判定部４から差分画像選択手段が構成されている。

圧縮部５は符号化モード判定部４から出力された予測差分信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化して、量子化後のＤＣＴ係数である圧縮データを局部復号部６及び可変長符号化部１１に出力する処理を実施する。
なお、圧縮部５は量子化手段を構成している。

局部復号部６は圧縮部５から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ（逆離散コサイン変換）処理を実施することで、符号化モード判定部４から出力された予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
選択スイッチ７はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、局部復号部６により算出された局部復号予測差分信号を選択して加算器８に出力し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器８に出力する処理を実施する。

加算器８は選択スイッチ７により選択された局部復号予測差分信号又はオールゼロ値を動き補償予測部２により生成された予測画像（最も符号化効率が高い差分画像に係る予測画像）を示す予測信号に加算することで、局部復号画像を示す局部復号画像信号を生成する処理を実施する。
ループフィルタ９はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器８により生成された局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する。
なお、局部復号部６、選択スイッチ７、加算器８及びループフィルタ９から参照画像生成手段が構成されている。

フレームメモリ１０はループフィルタ９から出力されたループフィルタ画像（フィルタ処理後の局部復号画像）を参照画像として格納するＲＡＭなどの記録媒体である。
可変長符号化部１１は圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ及びピクチャ符号化方法制御情報をエントロピー符号化して、その符号化結果を示すビットストリーム（符号化データ）を生成し、そのビットストリームを出力する処理を実施する。
なお、可変長符号化部１１は可変長符号化手段を構成している。

図１では、画像符号化装置の構成要素である動き補償予測部２、減算器３、符号化モード判定部４、圧縮部５、局部復号部６、選択スイッチ７、加算器８、ループフィルタ９及び可変長符号化部１１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、動き補償予測部２、減算器３、符号化モード判定部４、圧縮部５、局部復号部６、選択スイッチ７、加算器８、ループフィルタ９及び可変長符号化部１１の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。

図７はこの発明の実施の形態１による画像復号装置を示す構成図である。復号処理はマクロブロックごとに実行されるものとし、復号画像を構成するすべてのマクロブロックの復号処理が終了した時点で、該復号画像の復号処理が終了するものとする。さらに、１つのマクロブロックが複数のサブマクロブロックから構成される場合、１つのマクロブロックの復号処理は、その内部のすべてのサブマクロブロックの復号処理が終了することで終了、とする。以下では、説明の便宜上、符号化装置側にあわせて「マクロブロック」を処理単位として説明を行うが、「マクロブロック」を「サブマクロブロック」に読み替えることにより、サブマクロブロックに対する復号処理として説明可能である。
図７において、動きパラメータメモリ２１は例えば復号済みマクロブロック（あるいは、復号済みサブマクロブロック）の予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）などを格納する例えばＲＡＭなどの記録媒体である。

可変長復号部２２は図１の画像符号化装置から出力されたビットストリーム（符号化データ）を入力し、そのビットストリームから圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（図１の符号化モード判定部４により差分画像Ａが選択されている場合、動きベクトルが予測パラメータに含まれているが、差分画像Ｂが選択されている場合、動きベクトルは予測パラメータに含まれていない）、参照画像の識別番号）及びピクチャ符号化方法制御情報をエントロピー復号して、その圧縮データを予測誤差復号部２３に出力し、その予測パラメータを動き補償部２４に出力し、そのピクチャ符号化方法制御情報を動き補償部２４、選択スイッチ２５及びループフィルタ２７に出力する処理を実施する。なお、可変長復号部２２は可変長復号手段を構成している。

予測誤差復号部２３は可変長復号部２２から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号復号値（図１の符号化モード判定部４から出力された予測差分信号に相当する信号）を算出する処理を実施する。なお、予測誤差復号部２３は逆量子化手段を構成している。

動き補償部２４はフレームメモリ２８に格納されている１フレーム以上の参照画像の中から、可変長復号部２２から出力された予測パラメータ内の識別番号が示す参照画像を読み出し、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、可変長復号部２２から出力された予測パラメータ内の動き予測モード及び動きベクトルと上記参照画像を用いる動き補償処理を実施することで、予測画像Ａを生成する処理を実施する。
一方、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、動きパラメータメモリ２１に格納されている復号済みマクロブロックの動きベクトルから復号対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償処理を実施して予測画像Ｂを生成する処理を実施する。
なお、動き補償部２４は予測画像生成手段を構成している。

選択スイッチ２５は可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、予測誤差復号部２３により算出された予測誤差信号復号値を選択して加算器２６に出力し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器２６に出力する処理を実施する。
加算器２６は選択スイッチ２５により選択された局部復号予測差分信号又はオールゼロ値を動き補償部２４により生成された予測画像を示す予測信号に加算することで、復号画像を示す復号画像信号を生成する処理を実施する。

ループフィルタ２７は可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器２６により生成された復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する。
なお、選択スイッチ２５、加算器２６及びループフィルタ２７から復号画像生成手段が構成されている。
フレームメモリ２８はループフィルタ２７から出力された再生画像（フィルタ処理後の復号画像）を参照画像として格納するＲＡＭなどの記録媒体である。

図７では、画像復号装置の構成要素である可変長復号部２２、予測誤差復号部２３、動き補償部２４、選択スイッチ２５、加算器２６及びループフィルタ２７のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部２２、予測誤差復号部２３、動き補償部２４、選択スイッチ２５、加算器２６及びループフィルタ２７の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図９はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
動き補償予測部２は、指定されるピクチャタイプに応じて選択可能な全ての動き予測モード（マクロブロックないしサブブロック内での動きベクトル割り当てパターン）について、それぞれ予測画像を生成する。
図２はピクチャタイプに応じて選択可能な動き予測モードの一例を示す説明図である。
図２において、ｍｃ＿ｍｏｄｅ０はマクロブロック（Ｍ×Ｌ画素ブロック）の全体に対して、１つの動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ１はマクロブロックを水平方向に等分割し、分割した左右のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ２はマクロブロックを垂直方向に等分割し、分割した上下のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ３はマクロブロックを４分割し、分割した４個のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。ｍｃ＿ｍｏｄｅ３におけるマクロブロックを４分割した単位がサブマクロブロックとなり、サブマクロブロックは、さらに、ｍｃ＿ｍｏｄｅ０〜ｍｃ＿ｍｏｄｅ３のような分割を行って動きベクトル割り当てが可能である。マクロブロックの大きさが十分に大きい場合（例えば、３２×３２画素ブロックや６４×６４画素ブロックなど）、サブマクロブロックは１６×１６画素ブロックに対応するので、それを更に細かく分割することによって木構造の階層分割構造をとるように構成してもよい。本実施の形態１の符号化装置・復号装置は、そのようなサブマクロブロック構造に対しても対応可能である。
ただし、この実施の形態１では、動き補償予測部２が、予測画像を生成する際の予測画像生成方式として、マクロブロックにつき１つの動きベクトルが割り当てられる図２のｍｃ＿ｍｏｄｅ０相当のケースに限定して、動き予測モードＡによる予測画像生成方式と、動き予測モードＢとを用いる例について説明する。上記のようなサブマクロブロックの階層分割構造に対応する場合は、動き予測モードＡ、動き予測モードＢとも、個々の動きベクトル割り当て単位ブロックに対して適用すればよい。

動き補償予測部２は、入力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば（図８のステップＳＴ１）、動き予測モードＡによって予測画像Ａを生成するとともに、動き予測モードＢによって予測画像Ｂを生成する（ステップＳＴ２）。
一方、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば（ステップＳＴ１）、動き予測モードＡでは予測画像Ａを生成せずに、動き予測モードＢによって予測画像Ｂを生成する（ステップＳＴ３）。

（１）動き予測モードＡによる予測画像Ａの生成
動き補償予測部２は、フレームメモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択して、符号化対象のマクロブロックと参照画像の間で動きベクトルを探索する（参照画像上の所定の動き探索範囲内で動きベクトルを探索する）。
そして、その動きベクトルを用いる動き補償予測処理を実施して予測画像Ａを生成する（符号化対象のマクロブロックの画面内位置から、その動きベクトルの分だけ変移した位置の画像領域を用いて、予測画像Ａを生成する）。

（２）動き予測モードＢによる予測画像Ｂの生成
動き補償予測部２は、動きパラメータメモリ１により格納されている符号化済みマクロブロックの動きベクトルから符号化対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。
動き予測モードＢとしては、例えば、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）や、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４（以下、「ＡＶＣ」と称する）などの標準符号化方式において採用されるダイレクト予測による予測画像生成方式が利用できる。

ＡＶＣのダイレクト予測による予測画像生成方式は、１つの動きベクトル割り当て可能ブロックにつき最大２つの動きベクトルを用いた予測が可能なＢピクチャで利用でき、時間ダイレクトモードと空間ダイレクトモードの２種類が用意されている。
時間ダイレクトモードは、既に符号化済みの他のピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象ピクチャとの間の時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックで用いる動きベクトル（ダイレクトベクトル）を算出するものである。
一方、空間ダイレクトモードは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照して、符号化対象のマクロブロックで用いる動きベクトル（ダイレクトベクトル）を算出するものである。
ＡＶＣのダイレクト予測では、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方をスライス単位で選択する。

ここで、図３は時間ダイレクトモードにおけるダイレクトベクトルの算出方法を示す模式図である。
図３において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。Ｐピクチャは、１つの動きベクトル割り当て可能ブロックにつき１つの動きベクトルを用いた予測が可能なピクチャである。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われるものとする。

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており（動きベクトルＭＶはピクチャＰ０を参照画像として探索した結果の動きベクトルである）、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。

したがって、時間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを求めるには、符号化済みピクチャの動きベクトルＭＶを１画面分必要とするため、その動きベクトルＭＶを保持する動きパラメータメモリ１が必要となる。
動きパラメータメモリ１に対する動きベクトルの格納は、図３に示すように、Ｐピクチャないし、それ以降の動き補償予測に参照画像として用いるピクチャを符号化したときに、その符号化に用いた動きベクトルを１画面分順次格納する。

図４は空間ダイレクトモードによる動きベクトルの推定方法を示す模式図である。
図４において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを推定することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ） （２）
なお、空間ダイレクトモードの場合も、符号化済みのマクロブロックの動きベクトルＭＶ等を動きパラメータメモリ１に保持しておく必要がある。
以下、この実施の形態１では、動き予測モードＢとして、このＡＶＣのダイレクト予測モードを想定する。

減算器３は、動き補償予測部２から動き予測モードＡ，Ｂで生成された予測画像Ａ，Ｂを受けると、符号化対象のマクロブロックの画像から予測画像Ａを減算し、その減算結果である差分画像Ａを示す予測差分信号を符号化モード判定部４に出力する。また、符号化対象のマクロブロックの画像から予測画像Ｂを減算し、その減算結果である差分画像Ｂを示す予測差分信号を符号化モード判定部４に出力する（ステップＳＴ４）。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、差分画像を算出する処理は行わない。

符号化モード判定部４は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示している場合、減算器３から出力された差分画像Ａ，Ｂを示す予測差分信号を用いて、その差分画像Ａ，Ｂの符号化効率の評価値として、レート歪みコストＪを算出する（ステップＳＴ５）。
Ｊ＝Ｄ＋λＲ （３）
ただし、「λ」は正の定数である。
「Ｄ」は差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号のマクロブロック内絶対値和、あるいは、差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号が圧縮部５に出力されたとき、局部復号部６から出力される局部復号予測差分信号と入力されたマクロブロックの画像との間の二乗歪み和などが用いられる。
「Ｒ」は差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号と、それらの予測差分信号に対応する予測パラメータとが符号化された場合の符号量（または、その推定値）が用いられる。

符号化モード判定部４は、差分画像Ａ，Ｂの符号化効率の評価値として、レート歪みコストＪを算出すると、レート歪みコストＪが小さい方の差分画像を選択し、その差分画像を示す予測差分信号を圧縮部５に出力する（ステップＳＴ６）。
例えば、差分画像Ａのレート歪みコストＪの方が小さい場合、その差分画像Ａを示す予測差分信号を圧縮部５に出力し、動き予測モードＡによる予測画像Ａの生成で用いられた予測パラメータ（動き予測モードＡ、動きベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納するとともに、その予測パラメータを可変長符号化部１１に出力する。
差分画像Ｂのレート歪みコストＪの方が小さい場合、その差分画像Ｂを示す予測差分信号を圧縮部５に出力し、動き予測モードＢによる予測画像Ｂの生成で用いられた予測パラメータ（動き予測モードＢ、ダイレクトベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納するとともに、その予測パラメータ（動き予測モードＢ、参照画像の識別番号）を可変長符号化部１１に出力する。
なお、符号化モード判定部４は、動き予測モードＢで生成された予測画像Ｂから算出された差分画像Ｂを示す予測差分信号の電力がゼロにならない場合、ＤＣＴ処理や量子化処理によって得られる非ゼロ変換係数（圧縮データ）を符号化するため、その予測差分信号を圧縮部５に出力する。

符号化モード判定部４は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、常にゼロ値の予測差分信号を出力する。
即ち、符号化モード判定部４は、減算器３から出力された差分画像Ｂを示す予測差分信号の電力がゼロにならない場合でも、その予測差分信号を強制的にゼロ値に置換し、ゼロ値の予測差分信号を圧縮部５に出力する（ステップＳＴ７）。または、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４は処理をスキップするようにして、圧縮部５及び局部復号部６がオールゼロの予測差分信号を内部的に生成するように構成してもよい。
また、動き予測モードＢによる予測画像Ｂの生成で用いられた予測パラメータ（動き予測モードＢ、ダイレクトベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納する。

ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合の各マクロブロックのレート歪みコストＪは、予測差分信号を強制的にゼロ値化した結果として得られる歪みが算出され、コストＪは、予測差分信号を強制的にゼロ値化した結果として得られる歪みを示す「Ｄ」と概ね等しい値になる。また、「Ｒ」については、上述したように、予測差分信号と予測パラメータが符号化された場合の符号量が用いられるが、動きパラメータメモリ１により格納されている符号化済みマクロブロックの動きベクトルを参照して（画像復号装置では、動きパラメータメモリ２１により格納されている復号済みマクロブロックの動きベクトルを参照する）、ＡＶＣのダイレクト予測の手順でダイレクトベクトルが算出されるため、予測パラメータの符号量はゼロとみなされる。また、予測差分信号の符号量も、その予測差分信号が強制的にゼロ値化されているのでゼロとみなされる。
このため、符号化対象のマクロブロックの符号化に要する符号量はゼロとみなされ、コストＪは「Ｄ」と概ね等しい値になる。

圧縮部５は、符号化モード判定部４から予測差分信号を受けると、その予測差分信号に対するＤＣＴ処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化して、量子化後のＤＣＴ係数である圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）を局部復号部６及び可変長符号化部１１に出力する（ステップＳＴ８）。
ただし、圧縮部５は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４からオールゼロ値の予測差分信号が与えられるため、処理をスキップするように構成してもよい（ステップＳＴ９）。あるいは、ピクチャ符号化方法制御情報を受けて、自身が強制的にゼロ値を出力するようにしてもよい。

局部復号部６は、圧縮部５から圧縮データを受けると、その圧縮データに含まれている量子化パラメータを用いて、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、符号化モード判定部４から出力された予測差分信号に相当する局部復号予測差分信号を算出する（ステップＳＴ８）。
ただし、局部復号部６は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、圧縮部５からオールゼロ値の圧縮データが与えられるので、処理をスキップするように構成してもよい（ステップＳＴ９）。あるいは、ピクチャ符号化方法制御情報を受けて、自身が強制的にゼロ値を出力するようにしてもよい。

選択スイッチ７は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、局部復号部６により算出された局部復号予測差分信号を選択して加算器８に出力する。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器８に出力する（ステップＳＴ９）。
加算器８は、選択スイッチ７により選択された局部復号予測差分信号又はオールゼロ値と、動き補償予測部２により生成された予測画像（最も符号化効率が高い差分画像に係る予測画像）を示す予測信号を加算することで、局部復号画像を示す局部復号画像信号を生成する（ステップＳＴ８，ＳＴ９）。

ループフィルタ９は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器８により生成された局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施する（ステップＳＴ１０）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、加算部８から予測画像がループフィルタ９に直接入力されるため、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する（ステップＳＴ１１）。
フレームメモリ１０には、ループフィルタ９から出力されたループフィルタ画像（フィルタ処理後の局部復号画像）を参照画像として格納される。
この実施の形態１では、ループフィルタ９における動きブロック境界平滑化処理は、マクロブロック境界におけるオーバラップ動き補償処理を用いる。

ここで、図５はオーバラップ動き補償処理を示す説明図である。
図５（ａ）のマクロブロックＸは、現在の処理対象のマクロブロックであり、マクロブロックＡ，Ｂ，Ｃ，ＤはマクロブロックＸを取り囲む位置にあるマクロブロックである。
本実施の形態１の動きブロック境界平滑化処理は、フレームの単位で処理を行うことを前提とし、マクロブロックＸに対する平滑化処理を行う時点では、既にその周囲のマクロブロックＡ，Ｂ，Ｃ，Ｄについても同様に動きベクトルＭＶＬ０，ＭＶＬ１が決定されている状態であるとする。
このことを利用して、図５（ｂ）に示すマクロブロックＸ内のブロック境界領域Ｘ０〜Ｘ３に対して、以下に示すような画像データを再生成する。

ｕ０_i＝ＭＶＬ０_ｉの水平成分、ｖ０＝ＭＶＬ０_ｉの垂直成分（ｉ：Ａ，Ｂ，Ｃ，Ｄのいずれか）
ｕ１_i＝ＭＶＬ１_ｉの水平成分、ｖ１＝ＭＶＬ１_ｉの垂直成分（ｉ：Ａ，Ｂ，Ｃ，Ｄのいずれか）
Ｉ（ｘ，ｙ）：画素位置（ｘ，ｙ）の画素値
Ｉ’（ｘ，ｙ）：オーバラップ動き補償処理による画素位置（ｘ，ｙ）の画素値
ｗ_０〜ｗ₄：重みパラメータ

重みパラメータｗ_０〜ｗ₄は、例えば、図１２及び図１３のようにマクロブロック内の各画素位置に応じて定義される（マクロブロックが１６×１６画素ブロックの場合）。
このような重みで平滑化処理を行うことにより、マクロブロックＸ内の動きブロック境界のみが平滑化処理対象となり、境界位置に応じて適切な周辺マクロブロックの動きベクトルが考慮される。また、同図の重み値はビットシフトで乗除算が可能であり、演算量を抑えた処理で実現できる。入力画像が輝度信号と色差信号（あるいはＲＧＢなど）からなるカラー画像で、マクロブロックにも各色成分のブロックが含まれる場合は、本平滑化処理は各色成分の特性に合わせて定める重みパラメータにより、それぞれの色成分ブロックに対して実行される。
また、Ｘ０〜Ｘ３領域で非ゼロの重みを定義する面積は、マクロブロックのサイズが可変となる場合、マクロブロックの大きさに応じて定めるように構成してもよい。

マクロブロックサイズが大きい場合、マクロブロックＸの中心付近の画素値は、周辺マクロブロックＡ，Ｂ，Ｃ，Ｄの動きベクトルには影響を受け難いため、マクロブロックの全域を対象にして上記のようなオーバラップ動き補償処理を行うことで、画素値を不当に歪めてしまう可能性がある。
そこで、マクロブロックサイズが大きい場合、よりマクロブロック境界に隣接している画素だけをオーバラップ動き補償処理の対象となるようにしてもよい。
あるいは、マクロブロックサイズに応じて、マクロブロックＸの中心付近に対する周辺動きベクトルによる値の重みが小さくなるように、重みパラメータを設計するようにしてもよい。
また、画像符号化装置側で、重みパラメータを最適な値に制御し、可変長符号化部１１が、その重みパラメータを符号化してビットストリームに多重化するようにしてもよい。

例えば、複雑な動きがあまりなく、マクロブロック境界があまり不連続な状態にならない場合には、極力周辺のマクロブロックの影響が小さくなるように、重みパラメータを決める方が望ましいと考えられる。
一方、複雑な動きが多い場合には、マクロブロック境界が不連続な状態になるケースが増加するので、極力周辺のマクロブロックの影響を加味するように、重みパラメータを決める方が望ましいと考えられる。
このような状態は、符号化処理過程で映像信号の性質や符号化ビットレートなどによって変動するので、画像符号化装置側で、重みパラメータを最適な値に制御できれば符号化効率を高めることが可能になる。重みパラメータを符号化する単位は、ピクチャ単位でもよいし、マクロブロックを複数集めたスライス単位でもよい。

以上の処理の結果、符号化装置では、ピクチャ符号化方法制御情報を用いて各部を制御することにより、「通常のピクチャ符号化を行う」場合の局部復号画像及びピクチャ符号量と、「スキップピクチャ符号化を行う」場合の局部復号画像及びピクチャ符号量（ほぼゼロとみなすことができる）をそれぞれ得ることができる。よって、これら両方の処理結果から、それぞれピクチャとしてのレート歪みコストを計算し（ステップＳＴ１２，ＳＴ１３）、算出したコストの小さい方を当該ピクチャの符号化に用いるように構成する（ステップＳＴ１４）。

上記コスト比較の結果「通常のピクチャ符号化を行う」ことが選択された場合、可変長符号化部１１は、圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）及びピクチャ符号化方法制御情報をエントロピー符号化して、その符号化結果を示すビットストリーム（符号化データ）を生成し、そのビットストリームを出力する（ステップＳＴ１０）。
ただし、可変長符号化部１１は、符号化モード判定部４が差分画像Ａを選択している場合、動きベクトルを含んでいる予測パラメータをエントロピー符号化するが、符号化モード判定部４が差分画像Ｂを選択している場合、動きベクトル（ダイレクトベクトル）を含んでいない予測パラメータをエントロピー符号化する。
一方、上記コスト比較の結果「スキップピクチャ符号化を行う」ことが選択された場合は、可変長符号化部１１はピクチャ符号化方法制御情報を符号化するのみで、マクロブロックレベルの一切の符号化データをビットストリームに多重化しない。ただし、重みパラメータを適応的に変化させて符号化する場合は、変化させる単位で重みパラメータ値をビットストリームに多重化する。

なお、本実施の形態１では、以上のように、「通常のピクチャ符号化を行う」場合と「スキップピクチャ符号化を行う」場合のそれぞれをすべて符号化・効率評価した後に、レート歪みコストの小さい方を選択して符号化するように構成したが、符号化手順は、このような２パス符号化に限定されない。例えば、「通常のピクチャ符号化を行う」処理手順の中で、「スキップピクチャ符号化を行う」場合にも用いる動き予測モードＢに相当する予測処理を実行済みであるため、動き予測モードＢを評価した結果として得られる動きパラメータを全マクロブロック分別途保持しておき、ループフィルタ９に到達する時点で「通常のピクチャ符号化を行う」場合と「スキップピクチャ符号化を行う」場合のそれぞれの結果が同時に得られるように構成することができる。また、図示はしていないが、予めピクチャレベルで「スキップピクチャ符号化を行う」ことで十分な符号化性能が実現できるかどうかを判断するためのアクティビティ情報を取得し、それに基づいて、当該ピクチャに対して「スキップピクチャ符号化を行う」処理を評価するか否かを決定するように構成してもよい。例えば、フレームレートが所定の数値よりも高い場合のみ「スキップピクチャ符号化を行う」ことを許容したり、隣接するフレーム間の単純差分が所定の閾値以下である場合（フレーム間での動きが比較的小さい場合）のみ「スキップピクチャ符号化を行う」ことを許容したり、過去のフレーム間予測符号化の結果から動きパラメータや予測差分信号の符号量から隣接するフレーム間において、このように構成することによって、２パスの符号化処理・評価を行うことなく、演算量を抑えた符号化を行うことができる。

ここで、図６は可変長符号化部１１から出力されるビットストリームを示す説明図である。特にピクチャ符号化データ部分を示している。
可変長符号化部１１は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、図６（ａ）に示すように、ピクチャレベルのヘッダデータに加えて、ピクチャ内の複数のマクロブロックの符号化データ（圧縮データの符号化データ、予測パラメータ）を挿入しているビットストリームを生成して出力する。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図６（ｂ）に示すように、ビットストリームには、マクロブロックの符号化データ（圧縮データの符号化データ）が多重されない。ただし、図６（ｂ）では明記していないが、マクロブロックの符号化データ（動き予測モード及び参照画像の識別番号を示す予測パラメータ）はビットストリームに多重される。
なお、ＡＶＣのダイレクト予測では、画像復号装置の動き補償部２４が独自にダイレクトベクトルを生成するので、予測パラメータには、動き補償予測部２により生成されたダイレクトベクトルが含められず、ビットストリームに多重されない。

これは、上述したように、スキップピクチャ符号化を行う場合、全てのマクロブロックに対する動きベクトル（ダイレクトベクトル）を符号化済みマクロブロックの動きベクトルから推定し、その動きベクトルを用いて生成した予測画像から復号画像を生成するようにしているので、画像復号装置では、マクロブロックレベルの符号化データがなくても、画像符号化装置と同様の方法で予測画像を生成して、その予測画像から復号画像を生成することができるからである。
ただし、画像復号装置において、通常ピクチャ符号化が行われているのか、スキップピクチャ符号化が行われているのかを判別することができるようにするために、可変長符号化部１１が、画像符号化装置に入力されているピクチャ符号化方法選択情報をピクチャレベルのヘッダデータに多重している。
また、画像符号化装置がオーバラップ動き補償処理の重みパラメータｗ_０〜ｗ_７を最適な値に制御していれば、可変長符号化部１１が、その重みパラメータｗ_０〜ｗ_７をピクチャレベルのヘッダデータに多重する。

この実施の形態１では、通常ピクチャ符号化又はスキップピクチャ符号化をピクチャのレベルで選択するものについて示したが、画面内の特定部分領域を定義するスライスの単位で選択するようにしてもよい。
この場合、画像符号化装置の処理は、スライス毎に分けて実行するように構成し、ピクチャ符号化方法選択情報は、スライス符号化方法選択情報として、スライスレベルのヘッダデータに多重し、また、重みパラメータｗ_０〜ｗ_４もスライスレベルのヘッダデータに多重するように構成すればよい。
また、この実施の形態１では、スキップピクチャ符号化を行う場合に、通常のピクチャ符号化を行う場合の動き予測モードＢを、同じように適用する例を示したが、スキップピクチャ符号化を行う場合には、当該ピクチャの符号データを一切ビットストリームに多重しないため、ダイレクトベクトルを求めるブロックの単位は必ずしもマクロブロックに限定する必要はない。スキップピクチャでは、動きベクトル割り当て単位のブロックサイズが小さくなっても動きベクトルの符号は発生しないので、この自由度を高めることにより、スキップピクチャの符号化効率を高めることができる。例えば、スキップピクチャ符号化を行う場合のブロックサイズを、入力画像のサイズやマクロブロックのサイズに応じて、符号化装置・復号装置が共通の規則で定めるように構成したり、ピクチャレベルのヘッダに、スキップピクチャ符号化を行う場合のブロックサイズを符号化して、復号装置側へ伝送するように構成してもよい。(この符号化はピクチャに限定されない。スライス単位でもかまわない)。

この実施の形態１では、動き予測モードＢを用いる場合、マクロブロックの単位で動きベクトル（ダイレクトベクトル）を推定して、ループフィルタ９におけるオーバラップ動き補償処理を適用するものを示したが、動き予測モードにおける動きベクトルの推定単位がサブブロック等であっても、ループフィルタ９におけるオーバラップ動き補償処理を適用することが可能であることは言うまでもない。
この他、動きブロック境界平滑化処理としては、動きベクトル割り当てブロック境界について、動きベクトルの大きさ、参照画像の識別番号の違い、境界での画素ずれの大きさなどに応じてアクティビティ値を求めて、それらアクティビティ値の大きさによって境界に隣接する画素の平滑化フィルタリングを行うような処理を導入してもよい。

以上で明らかなように、この実施の形態１によれば、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＡで生成された予測画像Ａ間の差分画像Ａの符号化効率を評価するとともに、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂの符号化効率を評価し、符号化効率が高い方の差分画像を選択する符号化モード判定部４と、符号化モード判定部４により選択された差分画像を示す予測差分信号に対するＤＣＴ処理及び量子化処理を実施して圧縮データ（量子化パラメータを含む）を生成する圧縮部５とを設け、可変長符号化部１１が、圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ及びピクチャ符号化方法制御情報を可変長符号化してビットストリームを生成するように構成したので、符号化処理の過程で十分な符号化品質が得られるようになり、その結果、画像符号化装置と無関係に画像復号装置側で動きベクトルを推定して補間フレームを生成する従来例と比べて、同等の符号量で、画像復号装置における再生画像の品質を高めることができる効果を奏する。

即ち、スキップピクチャの符号化を行う動き予測モードＢで予測画像Ｂが生成された場合、ピクチャ符号化データ（符号化された圧縮データ）をビットストリームに多重する必要がないので、通常ピクチャの符号化を行う動き予測モードＡで予測画像Ａが生成された場合より、符号量を大幅に削減することができる一方、動き予測モードＢで生成された予測画像Ｂでは、十分な品質を確保することができない場合、動き予測モードＡで生成された予測画像Ａを用いることができるので、符号化品質を維持することができる。

スキップピクチャの符号化を行う動き予測モードＢを用いることが可能なケースとしては、ダイレクト予測において、予測画像の動きベクトル割り当て領域に発生するブロック境界の不連続性を緩和するだけで、品質的に十分な画像を再現できるケースであり、例えば、フレームレートが高く、フレーム間の動きが極めて少ない場合などでは、マクロブロック毎に、予測差分信号がゼロであることを示すマクロブロックスキップの制御情報を伝送するよりも、シグナリングのデータ量を小さくできる。特に、映像解像度が高く、ピクチャ内のマクロブロック数が多くなるケースでは、制御情報の符号量削減効果が大きくなる。

また、この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４が、符号化対象のマクロブロックの画像と動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂを示す予測誤差信号を強制的にゼロ値に置き換えるように構成したので、符号化対象のマクロブロックの符号化に要する符号量が略ゼロになり、ビットストリームの符号量を大幅に削減することができる効果を奏する。

この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、圧縮部５が符号化対象のマクロブロックの画像と動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂを示す予測誤差信号（オールゼロ値の信号）に対するＤＣＴ処理や量子化処理を行わず、その予測誤差信号（オールゼロ値の信号）を可変長符号化部１１に出力するように構成したので、画像符号化装置の処理量を軽減することができる効果を奏する。

また、この実施の形態１によれば、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ループフィルタ９が、局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、ループフィルタ９が、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施するように構成したので、動き予測モードＡ，Ｂのいずれであっても、局部復号画像の品質を高めることができる効果を奏する。

この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、局部復号部６が圧縮部５から出力された圧縮データに対する逆量子化処理や逆ＤＣＴ処理を行わず、動き補償予測部２により生成された予測画像Ｂを局部復号画像として取り扱うように構成したので、画像符号化装置の処理量を軽減することができる効果を奏する。

次に、画像復号装置の処理内容を説明する。
可変長復号部２２は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームにおけるピクチャレベルのヘッダデータを解析して、ピクチャ符号化方法選択情報を復号する（図９のステップＳＴ１１）。
可変長復号部２２は、そのピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば（ステップＳＴ１２）、ピクチャレベルのヘッダデータ以降のマクロブロック符号化データに対するエントロピー復号処理を実施して、ピクチャ内の複数のマクロブロックの圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）及び予測パラメータを復号する（ステップＳＴ１３）。
可変長復号部２２により復号された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）は予測誤差復号部２３に出力され、予測パラメータは動き補償部２４に出力される。

可変長復号部２２は、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば（ステップＳＴ１２）、ピクチャレベルのヘッダデータを解析して、ビットストリームに多重化されている場合は重みパラメータｗ_０〜ｗ_４や、動き予測モードＢの処理対象となる動きベクトル割り当てブロックサイズの情報を復号する。
また、ピクチャレベルのヘッダデータ以降のマクロブロック符号化データに対するエントロピー復号処理を実施して、ピクチャ内の複数のマクロブロックの予測パラメータを復号する（ステップＳＴ１４）。
可変長復号部２２により復号された予測パラメータ及び重みパラメータｗ_０〜ｗ_４は動き補償部２４に出力される。
なお、可変長復号部２２により復号されたピクチャ符号化方法選択情報は、動き補償部２４、選択スイッチ２５及びループフィルタ２７に出力される。

予測誤差復号部２３は、可変長復号部２２から圧縮データを受けると、図１の局部復号部６と同様に、その圧縮データに含まれている量子化パラメータを用いて、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号復号値（図１の符号化モード判定部４から出力された予測差分信号に相当する信号）を算出する（ステップＳＴ１５）。

選択スイッチ２５は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、予測誤差復号部２３により算出された予測誤差信号復号値を選択して加算器２６に出力する（ステップＳＴ１６）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器２６に出力する（ステップＳＴ１７）。

動き補償部２４は、可変長復号部２２から予測パラメータを受けると、フレームメモリ２８に格納されている１フレーム以上の参照画像の中から、その予測パラメータ内の識別番号が示す参照画像の読み出しを行う。
動き補償部２４は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示している場合、可変長復号部２２から出力された予測パラメータ内の動き予測モードが動き予測モードＡであれば（ステップＳＴ１８）、図１の動き補償予測部２と同様に、動き予測モードＡで予測画像Ａを生成する（ステップＳＴ１９）。
ただし、動き補償部２４は、図１の動き補償予測部２と異なり、自ら動きベクトルの探索処理を実施せずに、可変長復号部２２から出力された予測パラメータ内の動きベクトルを使用する。
一方、可変長復号部２２から出力された予測パラメータ内の動き予測モードが動き予測モードＢであれば（ステップＳＴ１８）、図１の動き補償予測部２と同様に、動き予測モードＢで予測画像Ｂを生成する（ステップＳＴ２０）

即ち、動き補償部２４は、動きパラメータメモリ２１に格納されている復号済みマクロブロックの動きベクトルから復号対象のマクロブロックのダイレクトベクトルを生成し、そのダイレクトベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。
なお、動き補償部２４は、当該マクロブロックの予測画像を生成すると、次のマクロブロックの予測画像を動き予測モードＢで生成する場合に備えるため、当該マクロブロックの予測画像の生成に用いた動きベクトル（ダイレクトベクトル）や関連情報（動き予測モードＢ、参照画像の識別番号、予測誤差量など）を１画面分だけ動きパラメータメモリ２１に格納する。
動き補償部２４は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図１の動き補償予測部２と同様に、動き予測モードＢで予測画像Ｂを生成する（ステップＳＴ２１）。

加算器２６は、選択スイッチ２５により予測誤差信号復号値が選択された場合、その予測誤差信号復号値と動き補償部２４により生成された予測画像Ａ又は予測画像Ｂを示す予測信号とを加算することで、復号画像を示す復号画像信号を生成する（ステップＳＴ２２）。
一方、選択スイッチ２５によりオールゼロ値が選択された場合、そのオールゼロ値と動き補償部２４により生成された予測画像Ｂを示す予測信号とを加算することで、復号画像を示す復号画像信号を生成する（ステップＳＴ２３）。

ループフィルタ２７は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、図１のループフィルタ９と同様に、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器２６により生成された復号画像に含まれている符号化歪みを補償する歪み補償処理を実施する（ステップＳＴ２４）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図１のループフィルタ９と同様に、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する（ステップＳＴ２５）。
フレームメモリ２８には、ループフィルタ２７から出力された再生画像（フィルタ処理後の復号画像）が参照画像される。

以上で明らかなように、この実施の形態１によれば、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、可変長復号部２２により復号された動きベクトルを用いて、動き予測モードＡで予測画像Ａを生成し、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、動き予測モードＢで予測画像を生成する動き補償部２４と、動き補償部２４により生成された予測画像と予測誤差復号部２３から出力された差分画像を加算して、画像符号化装置の入力画像に相当する復号画像を生成するように構成したので、画像符号化装置より送信されたビットストリームから品質が高い画像を再生することができる効果を奏する。

また、この実施の形態１によれば、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ループフィルタ２７が、復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、ループフィルタ２７が、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施するように構成したので、再生画像の品質を高めることができる効果を奏する。

実施の形態２．
上記実施の形態１では、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、動き予測モードＢがＡＶＣのダイレクト予測モードであるとして、動き補償予測部２が予測画像Ｂを生成するものについて示したが、動き予測モードＢがＡＶＣのダイレクト予測モードであるものに限るものではなく、他のモードとして、動き補償予測部２が予測画像Ｂを生成するようにしてもよい。

以下、動き補償予測部２による予測画像Ｂの生成処理を具体的に説明する。
図１０は動き補償予測部２による予測画像Ｂの生成処理（符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合の生成処理）の一例を示す説明図である。
また、図１１はマクロブロックＸの動きベクトルｄ_ｆ（ｘ，ｔ）の推定内容を示す説明図である。

動き補償予測部２は、動き予測モードＢで予測画像Ｂを生成する準備として、Ｐピクチャないしそれ以降の動き補償予測に参照する画像としてピクチャＦを符号化すると、そのピクチャＦ内の複数のマクロブロックの動き予測モード、動きベクトル、動き予測誤差量を動きパラメータメモリ１に格納するものとする。
動き補償予測部２は、図１０に示すように、符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合、処理対象のマクロブロックに関し、図１０に示す両方向補間を実施する。

この場合の補間式は、下記の式（４）で与えられる。

式（４）において、ｄ_ｆ（ｘ，ｔ）及びｄ_ｂ（ｘ，ｔ）は動きベクトルであり、動きパラメータメモリ１に格納されている符号化済みピクチャＦ_ｔ＋１の動きベクトルから図１１に示す手順で推定して求めるものである。

まず、動き補償予測部２は、符号化済みピクチャＦ_ｔ＋１における領域Ｒを構成している９つのマクロブロック（符号化対象のピクチャＦ_ｔにおける処理対象のマクロブロックＸと空間的に同じ位置にある符号化済みピクチャＦ_ｔ＋１内のマクロブロックと、そのマクロブロックの近傍に位置している８つのマクロブロック）の動きベクトル、動き予測モード及び予測残差量を動きパラメータメモリ１から取得して参照する。
このとき、動きベクトルをｄ（ｘ＋ｖ_ｉ，ｔ＋１），０≦ｉ≦８，（Ｖ_４＝０）とし、予測誤差量をｅ（ｘ＋ｖ_ｉ，ｔ＋１），０≦ｉ≦８，（Ｖ_４＝０）とすると、下記の式（５）の演算を行うことで、補間画像上での処理該当ブロックにおける符号化済みピクチャＦ_ｔ−１に対する参照ベクトルである動きベクトルｄ_ｆ（ｘ，ｔ）の推定が可能になる。

予測誤差量の逆数でベクトルを重み付けすることで、予測誤差量が小さいブロックにおけるベクトルが強い重みを与えられる。
ここでの動きベクトルｄ_ｆ（ｘ，ｔ）の推定手法は、予測誤差量が小さいほど、ベクトル自体の信頼性が高く、予測残差絶対値和が大きいほど、ベクトル自体の信頼性が低いという性質に基づく手法である。
αはピクチャＦ_ｔとピクチャＦ_ｔ＋１との間の時間間隔で定まる重み係数である。ただし、図１１に示すＲ領域を構成している９つのマクロブロックのうち、フレーム内符号化されるブロックは上記演算から除外する。
領域Ｒ内の９つマクロブロックのうち、一定の割合以上がフレーム内符号化のブロックである場合、動きベクトルｄ_ｆ（ｘ，ｔ）が（０，０）であると推定する。

この実施の形態２のように、動きベクトルｄ_ｆ（ｘ，ｔ）の推定を行うことにより、ダイレクト予測のみで動きベクトルを推定する場合よりも、動きベクトルの信頼性を加味した精度の高い動きベクトルの推定が可能になる。このため、スキップピクチャの品質を改善することができるため、符号化処理過程で、より多くのスキップピクチャを利用することができるようになり、全体の符号量削減効果を高めることができる。
なお、スキップピクチャを生成する推定動きベクトルを求めるにあたっては、あらかじめ空間・時間的に近傍に位置する複数の動きベクトルを推定動きベクトル候補として保持しておき、その中から最適な推定動きベクトルを、符号化装置単独ないし符号化装置と復号装置の連携によって選択して、スキップピクチャの復号画像の生成に利用するように構成してもよい。符号化装置で選択する場合は、推定動きベクトルを求める単位ごとに最適な推定動きベクトルのインデックスをビットストリームに多重化するように構成する。一方、符号化装置と復号装置側で同じ判定方法を用いて選択する場合は、復号装置側に推定動きベクトル選択のための追加処理が必要になる一方、推定動きベクトルのインデックスをビットストリームに多重化する必要がないため、符号化効率を高めることができる。このように構成することにより、推定動きベクトルを複数の候補の中から選択できるようになるため、ある特定の推定方法によって一意に得られる推定動きベクトルの精度が十分でない場合にも品質を維持した符号化を行うことができる効果がある。

この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、受信側における再生画像の品質を高めることができるため、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いるのに適している。

１ 動きパラメータメモリ、２ 動き補償予測部（予測画像生成手段、動き検出手段、第１の予測画像生成手段、動きベクトル生成手段、第２の予測画像生成手段）、３ 減算器（差分画像選択手段、符号化手段）、４ 符号化モード判定部（差分画像選択手段、符号化手段）、５ 圧縮部（量子化手段）、６ 局部復号部（参照画像生成手段、局部復号手段）、７ 選択スイッチ（参照画像生成手段、局部復号手段）、８ 加算器（参照画像生成手段、局部復号手段）、９ ループフィルタ（参照画像生成手段、フィルタリング手段）、１０ フレームメモリ、１１ 可変長符号化部（可変長符号化手段、符号化手段）、２１ 動きパラメータメモリ、２２ 可変長復号部（可変長復号手段、第１の予測画像生成手段、復号手段）、２３ 予測誤差復号部（逆量子化手段、復号手段）、２４ 動き補償部（予測画像生成手段、第１の予測画像生成手段、動きベクトル生成手段、第２の予測画像生成手段）、２５ 選択スイッチ（復号画像生成手段）、２６ 加算器（復号画像生成手段、加算手段）、２７ ループフィルタ（復号画像生成手段、フィルタリング手段）、２８ フレームメモリ。

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。

動き補償技術は、ビデオフレーム間に存在する高い相関を利用してマクロブロック毎に時間方向の信号の冗長度を削減する技術である。
即ち、動き補償技術では、既に符号化が完了している符号化済みフレームを参照画像としてメモリに蓄積し、そのメモリに蓄積している参照画像内の所定の探索範囲内で、動き補償予測の対象ブロックである現マクロブロックと最も差分電力が小さいブロック領域を探索する。
そして、最も差分電力が小さいブロック領域の空間位置と現マクロブロックの空間位置との変位を動きベクトルとして符号化する技術である。

上記の動きベクトルは、予測の効率のみならず、ビデオフレーム間の各ブロックにおける局所的な動きを表していることも多いため、近年、その動きベクトルの情報を利用して、映像の単位時間当りのコマ数（フレームレート）を増やす目的で、補間画像を生成する技術が開発されている。
最も単純なモデルとしては、例えば、時間的にビデオフレーム間のちょうど真ん中に補間画像を生成する際、動きベクトルの値を半分にした値を補間画像の動きベクトルとして採用し、その動きベクトルを用いて、前後のフレームから動きを補償するという方法がある。
これはビデオフレーム間の動きがリニアであることを仮定した場合のモデルであり、ビデオフレームの間隔が短い程に上記の仮定が成り立ち、また、その動きベクトルが小さい程に上記の仮定が成り立つため、ある程度の補間画像を作成することが可能である。

ただし、動きベクトルは、上述したように、ビデオフレーム間の各ブロックにおける局所的な動きを表していることが多いが、実際は最も差分電力が小さいブロック領域を探索して求められるものであり、局所的な動きを表さないこともある。
そのような場合、補間画像に乱れが発生し、その乱れが非常に目立つことが多いため、「動きを正確に表現できていない動きベクトル」を如何に判定して、それらを除外しつつ本来の動きをどこまで正確に推定できるかが重要である。

例えば、以下の非特許文献１や特許文献１には、汎用の映像符号化方式によって得られたビットストリームから動きパラメータを抽出し、その動きパラメータに依存して、受信側における再生動画像のフレームレートを擬似的に増加させることを目的とするフレーム補間技術が開示されている。

特開２００９−１８８９９６号公報

H. Sasai, S. Kondoh, and S. Kadono, "Frame-rate Up-conversion using Reliable Analysis of Transmitted Motion Information". IEEE International Conference on Acoustic, Speech and Signal Processing （ICASSP） 2004, ITT-L1.5, May 2004.

従来の画像符号化装置は以上のように構成されているので、受信側において、再生動画像のフレームレートを擬似的に増加することで、ある程度は、再生動画像の品質を高めることができる。しかし、符号化処理の過程で十分な符号化品質が得られるように、最適な符号化制御を実施しているものではないため、受信側で得られる再生動画像の品質の向上には限度があり、再生動画像の品質の最適性を保証することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、受信側における再生画像の品質を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、画像符号化装置から送信された符号化データから品質が高い画像を再生することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、入力画像を所定のブロック毎に動き補償予測を用いて圧縮符号化を行う画像符号化装置において、ブロックの動きベクトルを検出する動き検出手段と、動き検出手段により検出された動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、動き検出手段により検出された動きベクトルを保持するメモリと、メモリに保持される動きベクトルをもとに生成された符号化対象のブロックの動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像と符号化対象のブロックとの差分画像を符号化するとともに、第１の予測画像の生成に用いた動きベクトルを符号化する符号化手段と、差分画像の局部復号画像を生成し、局部復号画像を第１の予測画像と加算することによって局部復号画像を生成する局部復号手段と、第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、局部復号手段によって得られるブロックの第１の局部復号画像か、フィルタリング手段によって得られる画像のいずれかを、１つないし複数のブロックから構成される所定画像領域内の局部復号画像として選択し、その選択結果をビットストリームに多重して符号化伝送するようにしたものである。

この発明によれば、入力画像を所定のブロック毎に動き補償予測を用いて圧縮符号化を行う画像符号化装置において、ブロックの動きベクトルを検出する動き検出手段と、動き検出手段により検出された動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、動き検出手段により検出された動きベクトルを保持するメモリと、メモリに保持される動きベクトルをもとに生成された符号化対象のブロックの動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像と符号化対象のブロックとの差分画像を符号化するとともに、第１の予測画像の生成に用いた動きベクトルを符号化する符号化手段と、差分画像の局部復号画像を生成し、局部復号画像を第１の予測画像と加算することによって局部復号画像を生成する局部復号手段と、第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、局部復号手段によって得られるブロックの第１の局部復号画像か、フィルタリング手段によって得られる画像のいずれかを、１つないし複数のブロックから構成される所定画像領域内の局部復号画像として選択し、その選択結果をビットストリームに多重して符号化伝送するように構成したので、受信側における再生画像の品質を高めることができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 ピクチャタイプに応じて選択可能な動き予測モードの一例を示す説明図である。 時間ダイレクトモードにおけるダイレクトベクトルの算出方法を示す模式図である。 空間ダイレクトモードによる動きベクトルの推定方法を示す模式図である。 オーバラップ動き補償処理を示す説明図である。 可変長符号化部１１から出力されるビットストリームを示す説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。 動き補償予測部２による予測画像Ｂの生成処理（符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合の生成処理）の一例を示す説明図である。 マクロブロックＸの動きベクトルｄ_ｆ（ｘ，ｔ）の推定内容を示す説明図である。 マクロブロック内の各画素位置に応じて定義される重みパラメータを示す説明図である。 マクロブロック内の各画素位置に応じて定義される重みパラメータを示す説明図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１の画像符号化装置では、入力画像がマクロブロック単位（あるいは、マクロブロックが分割されたサブマクロブロック単位）に分割され、マクロブロック単位（あるいは、サブマクロブロック単位）の入力画像が動き補償予測部２及び減算器３に入力される。符号化処理はマクロブロックごとに実行されるものとし、入力画像を構成するすべてのマクロブロックの符号化処理が終了した時点で、該入力画像の符号化処理が終了するものとする。
以下、この実施の形態１では、説明の便宜上、マクロブロック単位の入力画像が動き補償予測部２及び減算器３に入力されるものとして説明する。動き補償予測部２及び減算器３への入力がサブマクロブロック単位となる場合、「マクロブロック」を「サブマクロブロック」に読み替え、１つのマクロブロックの処理は、その内部のすべてのサブマクロブロックの処理が終了することで終了、とする。
また、図１の画像符号化装置では、「マクロブロックごとに動きパラメータや予測残差情報の符号化を伴う通常のピクチャ符号化を行う」のか、「スキップピクチャ符号化を行う」のか示すピクチャ符号化方法制御情報（制御情報）が動き補償予測部２、符号化モード判定部４、選択スイッチ７、ループフィルタ９及び可変長符号化部１１に入力される。

図１において、動きパラメータメモリ１は例えば符号化済みマクロブロックの予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）などを格納する例えばＲＡＭなどの記録媒体である。
動き補償予測部２はフレームメモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から実際に予測に用いる参照画像を選択し、入力画像を構成しているマクロブロックの単位で、動き補償予測処理を実施することで予測画像を生成する処理を実施する。
動き補償予測部２は予測画像を生成する際の予測画像生成方式として、第１の予測画像生成方式（「動き予測モードＡ」による予測画像生成方式）と、第２の予測画像生成方式（「動き予測モードＢ」による予測画像生成方式）とを備えており、動き予測モードＡと動き予測モードＢによって予測画像をそれぞれ生成する。

動き予測モードＡの場合、１つの動きベクトルは、フレームメモリ１０に格納されている１フレーム以上の参照画像のうちのいずれか１つを選び、該選択した参照画像中で、動き補償予測の対象となるマクロブロックの画面内位置を起点として、平行移動変位した位置のうち、対象マクロブロックの画像パターンをもっともよく表現するブロックを特定することにより、その画面内変位量として求められる。即ち、動きベクトルは、その算出に用いた参照画像と対で規定されるため、フレームメモリ１０に格納されている１フレーム以上の参照画像のうちのいずれの参照画像を用いて算出されたかを参照画像識別番号によって指定する。動き補償予測の対象となるマクロブロックに対して２つ以上の動きベクトルが割り当てられる場合は、それぞれの動きベクトルがそれぞれいずれの参照画像を用いて得られたかを、個別に参照画像識別番号によって指定する。なお、動き補償予測の対象となるマクロブロックに対して２つ以上の動きベクトルが使用される場合に、それぞれが異なる参照画像識別番号を示していてもよいし、そのうちのいくつかが同じ参照画像識別番号であってもかまわない。得られた動きベクトル及び参照画像識別番号を用いて予測画像Ａを生成する（動き補償予測の対象となるマクロブロックの画面内位置から、その動きベクトルの分だけ変移した位置の画像領域を用いて、予測画像Ａを生成する）。
動き予測モードＢの場合、動きパラメータメモリ１に格納されている符号化済みマクロブロックの予測パラメータ符号化対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。

ただし、動き補償予測部２はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、動き予測モードＡと動き予測モードＢによって、予測画像をそれぞれ生成するが、「スキップピクチャ符号化を行う」旨を示していれば、動き予測モードＡを使用せず、動き予測モードＢのみで予測画像を生成する。
なお、動き補償予測部２は予測画像生成手段を構成している。

減算器３は符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＡで生成された予測画像Ａの差分を求めて差分画像Ａを算出するとともに、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＢで生成された予測画像Ｂの差分を求めて差分画像Ｂを算出する処理を実施する。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、予測画像Ａが生成されないので、符号化対象のマクロブロックの画像と動き予測モードＡで生成された予測画像Ａの差分を求めて差分画像Ａを算出する処理は行わない。

符号化モード判定部４は符号化対象のマクロブロックの画像と動き予測モードＡで生成された予測画像Ａ間の差分画像Ａの符号化効率を評価するとともに、符号化対象のマクロブロックと動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂの符号化効率を評価し、最も符号化効率が高い差分画像を選択する処理を実施する。
また、符号化モード判定部４は最も符号化効率が高い差分画像を示す予測差分信号を圧縮部５に出力するとともに、その差分画像に係る予測画像の生成に用いられた予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（またはダイレクトベクトル）、参照画像の識別番号）を動きパラメータメモリ１に格納し、また、その予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（差分画像Ａを選択した場合に限り、動きベクトルを予測パラメータに含め、差分画像Ｂを選択した場合、動きベクトルを予測パラメータに含めない）、参照画像の識別番号）を可変長符号化部１１に出力する処理を実施する。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、予測画像Ａが生成されないので、差分画像Ａの符号化効率を評価する処理は行わない。
なお、減算器３及び符号化モード判定部４から差分画像選択手段が構成されている。

圧縮部５は符号化モード判定部４から出力された予測差分信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化して、量子化後のＤＣＴ係数である圧縮データを局部復号部６及び可変長符号化部１１に出力する処理を実施する。
なお、圧縮部５は量子化手段を構成している。

局部復号部６は圧縮部５から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ（逆離散コサイン変換）処理を実施することで、符号化モード判定部４から出力された予測差分信号に相当する局部復号予測差分信号を算出する処理を実施する。
選択スイッチ７はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、局部復号部６により算出された局部復号予測差分信号を選択して加算器８に出力し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器８に出力する処理を実施する。

加算器８は選択スイッチ７により選択された局部復号予測差分信号又はオールゼロ値を動き補償予測部２により生成された予測画像（最も符号化効率が高い差分画像に係る予測画像）を示す予測信号に加算することで、局部復号画像を示す局部復号画像信号を生成する処理を実施する。
ループフィルタ９はピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器８により生成された局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する。
なお、局部復号部６、選択スイッチ７、加算器８及びループフィルタ９から参照画像生成手段が構成されている。

フレームメモリ１０はループフィルタ９から出力されたループフィルタ画像（フィルタ処理後の局部復号画像）を参照画像として格納するＲＡＭなどの記録媒体である。
可変長符号化部１１は圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ及びピクチャ符号化方法制御情報をエントロピー符号化して、その符号化結果を示すビットストリーム（符号化データ）を生成し、そのビットストリームを出力する処理を実施する。
なお、可変長符号化部１１は可変長符号化手段を構成している。

図１では、画像符号化装置の構成要素である動き補償予測部２、減算器３、符号化モード判定部４、圧縮部５、局部復号部６、選択スイッチ７、加算器８、ループフィルタ９及び可変長符号化部１１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、動き補償予測部２、減算器３、符号化モード判定部４、圧縮部５、局部復号部６、選択スイッチ７、加算器８、ループフィルタ９及び可変長符号化部１１の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。

図７はこの発明の実施の形態１による画像復号装置を示す構成図である。復号処理はマクロブロックごとに実行されるものとし、復号画像を構成するすべてのマクロブロックの復号処理が終了した時点で、該復号画像の復号処理が終了するものとする。さらに、１つのマクロブロックが複数のサブマクロブロックから構成される場合、１つのマクロブロックの復号処理は、その内部のすべてのサブマクロブロックの復号処理が終了することで終了、とする。以下では、説明の便宜上、符号化装置側にあわせて「マクロブロック」を処理単位として説明を行うが、「マクロブロック」を「サブマクロブロック」に読み替えることにより、サブマクロブロックに対する復号処理として説明可能である。
図７において、動きパラメータメモリ２１は例えば復号済みマクロブロック（あるいは、復号済みサブマクロブロック）の予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）などを格納する例えばＲＡＭなどの記録媒体である。

可変長復号部２２は図１の画像符号化装置から出力されたビットストリーム（符号化データ）を入力し、そのビットストリームから圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、予測パラメータ（動き予測モード（予測画像識別情報）、動きベクトル（図１の符号化モード判定部４により差分画像Ａが選択されている場合、動きベクトルが予測パラメータに含まれているが、差分画像Ｂが選択されている場合、動きベクトルは予測パラメータに含まれていない）、参照画像の識別番号）及びピクチャ符号化方法制御情報をエントロピー復号して、その圧縮データを予測誤差復号部２３に出力し、その予測パラメータを動き補償部２４に出力し、そのピクチャ符号化方法制御情報を動き補償部２４、選択スイッチ２５及びループフィルタ２７に出力する処理を実施する。なお、可変長復号部２２は可変長復号手段を構成している。

予測誤差復号部２３は可変長復号部２２から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号復号値（図１の符号化モード判定部４から出力された予測差分信号に相当する信号）を算出する処理を実施する。なお、予測誤差復号部２３は逆量子化手段を構成している。

動き補償部２４はフレームメモリ２８に格納されている１フレーム以上の参照画像の中から、可変長復号部２２から出力された予測パラメータ内の識別番号が示す参照画像を読み出し、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、可変長復号部２２から出力された予測パラメータ内の動き予測モード及び動きベクトルと上記参照画像を用いる動き補償処理を実施することで、予測画像Ａを生成する処理を実施する。
一方、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、動きパラメータメモリ２１に格納されている復号済みマクロブロックの動きベクトルから復号対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償処理を実施して予測画像Ｂを生成する処理を実施する。
なお、動き補償部２４は予測画像生成手段を構成している。

選択スイッチ２５は可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、予測誤差復号部２３により算出された予測誤差信号復号値を選択して加算器２６に出力し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器２６に出力する処理を実施する。
加算器２６は選択スイッチ２５により選択された局部復号予測差分信号又はオールゼロ値を動き補償部２４により生成された予測画像を示す予測信号に加算することで、復号画像を示す復号画像信号を生成する処理を実施する。

ループフィルタ２７は可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器２６により生成された復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する。
なお、選択スイッチ２５、加算器２６及びループフィルタ２７から復号画像生成手段が構成されている。
フレームメモリ２８はループフィルタ２７から出力された再生画像（フィルタ処理後の復号画像）を参照画像として格納するＲＡＭなどの記録媒体である。

図７では、画像復号装置の構成要素である可変長復号部２２、予測誤差復号部２３、動き補償部２４、選択スイッチ２５、加算器２６及びループフィルタ２７のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部２２、予測誤差復号部２３、動き補償部２４、選択スイッチ２５、加算器２６及びループフィルタ２７の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図９はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
動き補償予測部２は、指定されるピクチャタイプに応じて選択可能な全ての動き予測モード（マクロブロックないしサブブロック内での動きベクトル割り当てパターン）について、それぞれ予測画像を生成する。
図２はピクチャタイプに応じて選択可能な動き予測モードの一例を示す説明図である。
図２において、ｍｃ＿ｍｏｄｅ０はマクロブロック（Ｍ×Ｌ画素ブロック）の全体に対して、１つの動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ１はマクロブロックを水平方向に等分割し、分割した左右のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ２はマクロブロックを垂直方向に等分割し、分割した上下のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。
ｍｃ＿ｍｏｄｅ３はマクロブロックを４分割し、分割した４個のサブブロックに対して、それぞれ異なる動きベクトルを割り当てるモードである。ｍｃ＿ｍｏｄｅ３におけるマクロブロックを４分割した単位がサブマクロブロックとなり、サブマクロブロックは、さらに、ｍｃ＿ｍｏｄｅ０〜ｍｃ＿ｍｏｄｅ３のような分割を行って動きベクトル割り当てが可能である。マクロブロックの大きさが十分に大きい場合（例えば、３２×３２画素ブロックや６４×６４画素ブロックなど）、サブマクロブロックは１６×１６画素ブロックに対応するので、それを更に細かく分割することによって木構造の階層分割構造をとるように構成してもよい。本実施の形態１の符号化装置・復号装置は、そのようなサブマクロブロック構造に対しても対応可能である。
ただし、この実施の形態１では、動き補償予測部２が、予測画像を生成する際の予測画像生成方式として、マクロブロックにつき１つの動きベクトルが割り当てられる図２のｍｃ＿ｍｏｄｅ０相当のケースに限定して、動き予測モードＡによる予測画像生成方式と、動き予測モードＢとを用いる例について説明する。上記のようなサブマクロブロックの階層分割構造に対応する場合は、動き予測モードＡ、動き予測モードＢとも、個々の動きベクトル割り当て単位ブロックに対して適用すればよい。

動き補償予測部２は、入力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば（図８のステップＳＴ１）、動き予測モードＡによって予測画像Ａを生成するとともに、動き予測モードＢによって予測画像Ｂを生成する（ステップＳＴ２）。
一方、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば（ステップＳＴ１）、動き予測モードＡでは予測画像Ａを生成せずに、動き予測モードＢによって予測画像Ｂを生成する（ステップＳＴ３）。

（１）動き予測モードＡによる予測画像Ａの生成
動き補償予測部２は、フレームメモリ１０に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択して、符号化対象のマクロブロックと参照画像の間で動きベクトルを探索する（参照画像上の所定の動き探索範囲内で動きベクトルを探索する）。
そして、その動きベクトルを用いる動き補償予測処理を実施して予測画像Ａを生成する（符号化対象のマクロブロックの画面内位置から、その動きベクトルの分だけ変移した位置の画像領域を用いて、予測画像Ａを生成する）。

（２）動き予測モードＢによる予測画像Ｂの生成
動き補償予測部２は、動きパラメータメモリ１により格納されている符号化済みマクロブロックの動きベクトルから符号化対象のマクロブロックの推定ベクトルを生成し、その推定ベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。
動き予測モードＢとしては、例えば、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）や、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４（以下、「ＡＶＣ」と称する）などの標準符号化方式において採用されるダイレクト予測による予測画像生成方式が利用できる。

ＡＶＣのダイレクト予測による予測画像生成方式は、１つの動きベクトル割り当て可能ブロックにつき最大２つの動きベクトルを用いた予測が可能なＢピクチャで利用でき、時間ダイレクトモードと空間ダイレクトモードの２種類が用意されている。
時間ダイレクトモードは、既に符号化済みの他のピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象ピクチャとの間の時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックで用いる動きベクトル（ダイレクトベクトル）を算出するものである。
一方、空間ダイレクトモードは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照して、符号化対象のマクロブロックで用いる動きベクトル（ダイレクトベクトル）を算出するものである。
ＡＶＣのダイレクト予測では、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方をスライス単位で選択する。

ここで、図３は時間ダイレクトモードにおけるダイレクトベクトルの算出方法を示す模式図である。
図３において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。Ｐピクチャは、１つの動きベクトル割り当て可能ブロックにつき１つの動きベクトルを用いた予測が可能なピクチャである。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われるものとする。

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており（動きベクトルＭＶはピクチャＰ０を参照画像として探索した結果の動きベクトルである）、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。

したがって、時間ダイレクトモードで、符号化対象のマクロブロックの動きベクトルを求めるには、符号化済みピクチャの動きベクトルＭＶを１画面分必要とするため、その動きベクトルＭＶを保持する動きパラメータメモリ１が必要となる。
動きパラメータメモリ１に対する動きベクトルの格納は、図３に示すように、Ｐピクチャないし、それ以降の動き補償予測に参照画像として用いるピクチャを符号化したときに、その符号化に用いた動きベクトルを１画面分順次格納する。

図４は空間ダイレクトモードによる動きベクトルの推定方法を示す模式図である。
図４において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを推定することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ） （２）
なお、空間ダイレクトモードの場合も、符号化済みのマクロブロックの動きベクトルＭＶ等を動きパラメータメモリ１に保持しておく必要がある。
以下、この実施の形態１では、動き予測モードＢとして、このＡＶＣのダイレクト予測モードを想定する。

減算器３は、動き補償予測部２から動き予測モードＡ，Ｂで生成された予測画像Ａ，Ｂを受けると、符号化対象のマクロブロックの画像から予測画像Ａを減算し、その減算結果である差分画像Ａを示す予測差分信号を符号化モード判定部４に出力する。また、符号化対象のマクロブロックの画像から予測画像Ｂを減算し、その減算結果である差分画像Ｂを示す予測差分信号を符号化モード判定部４に出力する（ステップＳＴ４）。
ただし、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、差分画像を算出する処理は行わない。

符号化モード判定部４は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示している場合、減算器３から出力された差分画像Ａ，Ｂを示す予測差分信号を用いて、その差分画像Ａ，Ｂの符号化効率の評価値として、レート歪みコストＪを算出する（ステップＳＴ５）。
Ｊ＝Ｄ＋λＲ （３）
ただし、「λ」は正の定数である。
「Ｄ」は差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号のマクロブロック内絶対値和、あるいは、差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号が圧縮部５に出力されたとき、局部復号部６から出力される局部復号予測差分信号と入力されたマクロブロックの画像との間の二乗歪み和などが用いられる。
「Ｒ」は差分画像Ａを示す予測差分信号又は差分画像Ｂを示す予測差分信号と、それらの予測差分信号に対応する予測パラメータとが符号化された場合の符号量（または、その推定値）が用いられる。

符号化モード判定部４は、差分画像Ａ，Ｂの符号化効率の評価値として、レート歪みコストＪを算出すると、レート歪みコストＪが小さい方の差分画像を選択し、その差分画像を示す予測差分信号を圧縮部５に出力する（ステップＳＴ６）。
例えば、差分画像Ａのレート歪みコストＪの方が小さい場合、その差分画像Ａを示す予測差分信号を圧縮部５に出力し、動き予測モードＡによる予測画像Ａの生成で用いられた予測パラメータ（動き予測モードＡ、動きベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納するとともに、その予測パラメータを可変長符号化部１１に出力する。
差分画像Ｂのレート歪みコストＪの方が小さい場合、その差分画像Ｂを示す予測差分信号を圧縮部５に出力し、動き予測モードＢによる予測画像Ｂの生成で用いられた予測パラメータ（動き予測モードＢ、ダイレクトベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納するとともに、その予測パラメータ（動き予測モードＢ、参照画像の識別番号）を可変長符号化部１１に出力する。
なお、符号化モード判定部４は、動き予測モードＢで生成された予測画像Ｂから算出された差分画像Ｂを示す予測差分信号の電力がゼロにならない場合、ＤＣＴ処理や量子化処理によって得られる非ゼロ変換係数（圧縮データ）を符号化するため、その予測差分信号を圧縮部５に出力する。

符号化モード判定部４は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、常にゼロ値の予測差分信号を出力する。
即ち、符号化モード判定部４は、減算器３から出力された差分画像Ｂを示す予測差分信号の電力がゼロにならない場合でも、その予測差分信号を強制的にゼロ値に置換し、ゼロ値の予測差分信号を圧縮部５に出力する（ステップＳＴ７）。または、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４は処理をスキップするようにして、圧縮部５及び局部復号部６がオールゼロの予測差分信号を内部的に生成するように構成してもよい。
また、動き予測モードＢによる予測画像Ｂの生成で用いられた予測パラメータ（動き予測モードＢ、ダイレクトベクトル、参照画像の識別番号）を動きパラメータメモリ１に格納する。

ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合の各マクロブロックのレート歪みコストＪは、予測差分信号を強制的にゼロ値化した結果として得られる歪みが算出され、コストＪは、予測差分信号を強制的にゼロ値化した結果として得られる歪みを示す「Ｄ」と概ね等しい値になる。また、「Ｒ」については、上述したように、予測差分信号と予測パラメータが符号化された場合の符号量が用いられるが、動きパラメータメモリ１により格納されている符号化済みマクロブロックの動きベクトルを参照して（画像復号装置では、動きパラメータメモリ２１により格納されている復号済みマクロブロックの動きベクトルを参照する）、ＡＶＣのダイレクト予測の手順でダイレクトベクトルが算出されるため、予測パラメータの符号量はゼロとみなされる。また、予測差分信号の符号量も、その予測差分信号が強制的にゼロ値化されているのでゼロとみなされる。
このため、符号化対象のマクロブロックの符号化に要する符号量はゼロとみなされ、コストＪは「Ｄ」と概ね等しい値になる。

圧縮部５は、符号化モード判定部４から予測差分信号を受けると、その予測差分信号に対するＤＣＴ処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化して、量子化後のＤＣＴ係数である圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）を局部復号部６及び可変長符号化部１１に出力する（ステップＳＴ８）。
ただし、圧縮部５は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４からオールゼロ値の予測差分信号が与えられるため、処理をスキップするように構成してもよい（ステップＳＴ９）。あるいは、ピクチャ符号化方法制御情報を受けて、自身が強制的にゼロ値を出力するようにしてもよい。

局部復号部６は、圧縮部５から圧縮データを受けると、その圧縮データに含まれている量子化パラメータを用いて、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、符号化モード判定部４から出力された予測差分信号に相当する局部復号予測差分信号を算出する（ステップＳＴ８）。
ただし、局部復号部６は、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、圧縮部５からオールゼロ値の圧縮データが与えられるので、処理をスキップするように構成してもよい（ステップＳＴ９）。あるいは、ピクチャ符号化方法制御情報を受けて、自身が強制的にゼロ値を出力するようにしてもよい。

選択スイッチ７は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、局部復号部６により算出された局部復号予測差分信号を選択して加算器８に出力する。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器８に出力する（ステップＳＴ９）。
加算器８は、選択スイッチ７により選択された局部復号予測差分信号又はオールゼロ値と、動き補償予測部２により生成された予測画像（最も符号化効率が高い差分画像に係る予測画像）を示す予測信号を加算することで、局部復号画像を示す局部復号画像信号を生成する（ステップＳＴ８，ＳＴ９）。

ループフィルタ９は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器８により生成された局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施する（ステップＳＴ１０）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、加算部８から予測画像がループフィルタ９に直接入力されるため、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する（ステップＳＴ１１）。
フレームメモリ１０には、ループフィルタ９から出力されたループフィルタ画像（フィルタ処理後の局部復号画像）を参照画像として格納される。
この実施の形態１では、ループフィルタ９における動きブロック境界平滑化処理は、マクロブロック境界におけるオーバラップ動き補償処理を用いる。

ここで、図５はオーバラップ動き補償処理を示す説明図である。
図５（ａ）のマクロブロックＸは、現在の処理対象のマクロブロックであり、マクロブロックＡ，Ｂ，Ｃ，ＤはマクロブロックＸを取り囲む位置にあるマクロブロックである。
本実施の形態１の動きブロック境界平滑化処理は、フレームの単位で処理を行うことを前提とし、マクロブロックＸに対する平滑化処理を行う時点では、既にその周囲のマクロブロックＡ，Ｂ，Ｃ，Ｄについても同様に動きベクトルＭＶＬ０，ＭＶＬ１が決定されている状態であるとする。
このことを利用して、図５（ｂ）に示すマクロブロックＸ内のブロック境界領域Ｘ０〜Ｘ３に対して、以下に示すような画像データを再生成する。

ｕ０_i＝ＭＶＬ０_ｉの水平成分、ｖ０ _ｉ ＝ＭＶＬ０_ｉの垂直成分（ｉ：Ａ，Ｂ，Ｃ，Ｄのいずれか）
ｕ１_i＝ＭＶＬ１_ｉの水平成分、ｖ１ _ｉ ＝ＭＶＬ１_ｉの垂直成分（ｉ：Ａ，Ｂ，Ｃ，Ｄのいずれか）
Ｉ（ｘ，ｙ）：画素位置（ｘ，ｙ）の画素値
Ｉ’（ｘ，ｙ）：オーバラップ動き補償処理による画素位置（ｘ，ｙ）の画素値
ｗ_０〜ｗ₄：重みパラメータ

重みパラメータｗ_０〜ｗ₄は、例えば、図１２及び図１３のようにマクロブロック内の各画素位置に応じて定義される（マクロブロックが１６×１６画素ブロックの場合）。
このような重みで平滑化処理を行うことにより、マクロブロックＸ内の動きブロック境界のみが平滑化処理対象となり、境界位置に応じて適切な周辺マクロブロックの動きベクトルが考慮される。また、同図の重み値はビットシフトで乗除算が可能であり、演算量を抑えた処理で実現できる。入力画像が輝度信号と色差信号（あるいはＲＧＢなど）からなるカラー画像で、マクロブロックにも各色成分のブロックが含まれる場合は、本平滑化処理は各色成分の特性に合わせて定める重みパラメータにより、それぞれの色成分ブロックに対して実行される。
また、Ｘ０〜Ｘ３領域で非ゼロの重みを定義する面積は、マクロブロックのサイズが可変となる場合、マクロブロックの大きさに応じて定めるように構成してもよい。

マクロブロックサイズが大きい場合、マクロブロックＸの中心付近の画素値は、周辺マクロブロックＡ，Ｂ，Ｃ，Ｄの動きベクトルには影響を受け難いため、マクロブロックの全域を対象にして上記のようなオーバラップ動き補償処理を行うことで、画素値を不当に歪めてしまう可能性がある。
そこで、マクロブロックサイズが大きい場合、よりマクロブロック境界に隣接している画素だけをオーバラップ動き補償処理の対象となるようにしてもよい。
あるいは、マクロブロックサイズに応じて、マクロブロックＸの中心付近に対する周辺動きベクトルによる値の重みが小さくなるように、重みパラメータを設計するようにしてもよい。
また、画像符号化装置側で、重みパラメータを最適な値に制御し、可変長符号化部１１が、その重みパラメータを符号化してビットストリームに多重化するようにしてもよい。

例えば、複雑な動きがあまりなく、マクロブロック境界があまり不連続な状態にならない場合には、極力周辺のマクロブロックの影響が小さくなるように、重みパラメータを決める方が望ましいと考えられる。
一方、複雑な動きが多い場合には、マクロブロック境界が不連続な状態になるケースが増加するので、極力周辺のマクロブロックの影響を加味するように、重みパラメータを決める方が望ましいと考えられる。
このような状態は、符号化処理過程で映像信号の性質や符号化ビットレートなどによって変動するので、画像符号化装置側で、重みパラメータを最適な値に制御できれば符号化効率を高めることが可能になる。重みパラメータを符号化する単位は、ピクチャ単位でもよいし、マクロブロックを複数集めたスライス単位でもよい。

以上の処理の結果、符号化装置では、ピクチャ符号化方法制御情報を用いて各部を制御することにより、「通常のピクチャ符号化を行う」場合の局部復号画像及びピクチャ符号量と、「スキップピクチャ符号化を行う」場合の局部復号画像及びピクチャ符号量（ほぼゼロとみなすことができる）をそれぞれ得ることができる。よって、これら両方の処理結果から、それぞれピクチャとしてのレート歪みコストを計算し（ステップＳＴ１２，ＳＴ１３）、算出したコストの小さい方を当該ピクチャの符号化に用いるように構成する（ステップＳＴ１４）。

上記コスト比較の結果「通常のピクチャ符号化を行う」ことが選択された場合、可変長符号化部１１は、圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ（動き予測モード、動きベクトル、参照画像の識別番号）及びピクチャ符号化方法制御情報をエントロピー符号化して、その符号化結果を示すビットストリーム（符号化データ）を生成し、そのビットストリームを出力する（ステップＳＴ１０）。
ただし、可変長符号化部１１は、符号化モード判定部４が差分画像Ａを選択している場合、動きベクトルを含んでいる予測パラメータをエントロピー符号化するが、符号化モード判定部４が差分画像Ｂを選択している場合、動きベクトル（ダイレクトベクトル）を含んでいない予測パラメータをエントロピー符号化する。
一方、上記コスト比較の結果「スキップピクチャ符号化を行う」ことが選択された場合は、可変長符号化部１１はピクチャ符号化方法制御情報を符号化するのみで、マクロブロックレベルの一切の符号化データをビットストリームに多重化しない。ただし、重みパラメータを適応的に変化させて符号化する場合は、変化させる単位で重みパラメータ値をビットストリームに多重化する。

なお、本実施の形態１では、以上のように、「通常のピクチャ符号化を行う」場合と「スキップピクチャ符号化を行う」場合のそれぞれをすべて符号化・効率評価した後に、レート歪みコストの小さい方を選択して符号化するように構成したが、符号化手順は、このような２パス符号化に限定されない。例えば、「通常のピクチャ符号化を行う」処理手順の中で、「スキップピクチャ符号化を行う」場合にも用いる動き予測モードＢに相当する予測処理を実行済みであるため、動き予測モードＢを評価した結果として得られる動きパラメータを全マクロブロック分別途保持しておき、ループフィルタ９に到達する時点で「通常のピクチャ符号化を行う」場合と「スキップピクチャ符号化を行う」場合のそれぞれの結果が同時に得られるように構成することができる。また、図示はしていないが、予めピクチャレベルで「スキップピクチャ符号化を行う」ことで十分な符号化性能が実現できるかどうかを判断するためのアクティビティ情報を取得し、それに基づいて、当該ピクチャに対して「スキップピクチャ符号化を行う」処理を評価するか否かを決定するように構成してもよい。例えば、フレームレートが所定の数値よりも高い場合のみ「スキップピクチャ符号化を行う」ことを許容したり、隣接するフレーム間の単純差分が所定の閾値以下である場合（フレーム間での動きが比較的小さい場合）のみ「スキップピクチャ符号化を行う」ことを許容したり、過去のフレーム間予測符号化の結果から動きパラメータや予測差分信号の符号量から隣接するフレーム間において、このように構成することによって、２パスの符号化処理・評価を行うことなく、演算量を抑えた符号化を行うことができる。

ここで、図６は可変長符号化部１１から出力されるビットストリームを示す説明図である。特にピクチャ符号化データ部分を示している。
可変長符号化部１１は、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、図６（ａ）に示すように、ピクチャレベルのヘッダデータに加えて、ピクチャ内の複数のマクロブロックの符号化データ（圧縮データの符号化データ、予測パラメータ）を挿入しているビットストリームを生成して出力する。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図６（ｂ）に示すように、ビットストリームには、マクロブロックの符号化データ（圧縮データの符号化データ）が多重されない。ただし、図６（ｂ）では明記していないが、マクロブロックの符号化データ（動き予測モード及び参照画像の識別番号を示す予測パラメータ）はビットストリームに多重される。
なお、ＡＶＣのダイレクト予測では、画像復号装置の動き補償部２４が独自にダイレクトベクトルを生成するので、予測パラメータには、動き補償予測部２により生成されたダイレクトベクトルが含められず、ビットストリームに多重されない。

これは、上述したように、スキップピクチャ符号化を行う場合、全てのマクロブロックに対する動きベクトル（ダイレクトベクトル）を符号化済みマクロブロックの動きベクトルから推定し、その動きベクトルを用いて生成した予測画像から復号画像を生成するようにしているので、画像復号装置では、マクロブロックレベルの符号化データがなくても、画像符号化装置と同様の方法で予測画像を生成して、その予測画像から復号画像を生成することができるからである。
ただし、画像復号装置において、通常ピクチャ符号化が行われているのか、スキップピクチャ符号化が行われているのかを判別することができるようにするために、可変長符号化部１１が、画像符号化装置に入力されているピクチャ符号化方法選択情報をピクチャレベルのヘッダデータに多重している。
また、画像符号化装置がオーバラップ動き補償処理の重みパラメータｗ_０〜ｗ_７を最適な値に制御していれば、可変長符号化部１１が、その重みパラメータｗ_０〜ｗ_７をピクチャレベルのヘッダデータに多重する。

この実施の形態１では、通常ピクチャ符号化又はスキップピクチャ符号化をピクチャのレベルで選択するものについて示したが、画面内の特定部分領域を定義するスライスの単位で選択するようにしてもよい。
この場合、画像符号化装置の処理は、スライス毎に分けて実行するように構成し、ピクチャ符号化方法選択情報は、スライス符号化方法選択情報として、スライスレベルのヘッダデータに多重し、また、重みパラメータｗ_０〜ｗ_４もスライスレベルのヘッダデータに多重するように構成すればよい。
また、この実施の形態１では、スキップピクチャ符号化を行う場合に、通常のピクチャ符号化を行う場合の動き予測モードＢを、同じように適用する例を示したが、スキップピクチャ符号化を行う場合には、当該ピクチャの符号データを一切ビットストリームに多重しないため、ダイレクトベクトルを求めるブロックの単位は必ずしもマクロブロックに限定する必要はない。スキップピクチャでは、動きベクトル割り当て単位のブロックサイズが小さくなっても動きベクトルの符号は発生しないので、この自由度を高めることにより、スキップピクチャの符号化効率を高めることができる。例えば、スキップピクチャ符号化を行う場合のブロックサイズを、入力画像のサイズやマクロブロックのサイズに応じて、符号化装置・復号装置が共通の規則で定めるように構成したり、ピクチャレベルのヘッダに、スキップピクチャ符号化を行う場合のブロックサイズを符号化して、復号装置側へ伝送するように構成してもよい。(この符号化はピクチャに限定されない。スライス単位でもかまわない)。

この実施の形態１では、動き予測モードＢを用いる場合、マクロブロックの単位で動きベクトル（ダイレクトベクトル）を推定して、ループフィルタ９におけるオーバラップ動き補償処理を適用するものを示したが、動き予測モードにおける動きベクトルの推定単位がサブブロック等であっても、ループフィルタ９におけるオーバラップ動き補償処理を適用することが可能であることは言うまでもない。
この他、動きブロック境界平滑化処理としては、動きベクトル割り当てブロック境界について、動きベクトルの大きさ、参照画像の識別番号の違い、境界での画素ずれの大きさなどに応じてアクティビティ値を求めて、それらアクティビティ値の大きさによって境界に隣接する画素の平滑化フィルタリングを行うような処理を導入してもよい。

以上で明らかなように、この実施の形態１によれば、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＡで生成された予測画像Ａ間の差分画像Ａの符号化効率を評価するとともに、符号化対象のマクロブロックの画像と動き補償予測部２により動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂの符号化効率を評価し、符号化効率が高い方の差分画像を選択する符号化モード判定部４と、符号化モード判定部４により選択された差分画像を示す予測差分信号に対するＤＣＴ処理及び量子化処理を実施して圧縮データ（量子化パラメータを含む）を生成する圧縮部５とを設け、可変長符号化部１１が、圧縮部５から出力された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）、符号化モード判定部４から出力された予測パラメータ及びピクチャ符号化方法制御情報を可変長符号化してビットストリームを生成するように構成したので、符号化処理の過程で十分な符号化品質が得られるようになり、その結果、画像符号化装置と無関係に画像復号装置側で動きベクトルを推定して補間フレームを生成する従来例と比べて、同等の符号量で、画像復号装置における再生画像の品質を高めることができる効果を奏する。

即ち、スキップピクチャの符号化を行う動き予測モードＢで予測画像Ｂが生成された場合、ピクチャ符号化データ（符号化された圧縮データ）をビットストリームに多重する必要がないので、通常ピクチャの符号化を行う動き予測モードＡで予測画像Ａが生成された場合より、符号量を大幅に削減することができる一方、動き予測モードＢで生成された予測画像Ｂでは、十分な品質を確保することができない場合、動き予測モードＡで生成された予測画像Ａを用いることができるので、符号化品質を維持することができる。

スキップピクチャの符号化を行う動き予測モードＢを用いることが可能なケースとしては、ダイレクト予測において、予測画像の動きベクトル割り当て領域に発生するブロック境界の不連続性を緩和するだけで、品質的に十分な画像を再現できるケースであり、例えば、フレームレートが高く、フレーム間の動きが極めて少ない場合などでは、マクロブロック毎に、予測差分信号がゼロであることを示すマクロブロックスキップの制御情報を伝送するよりも、シグナリングのデータ量を小さくできる。特に、映像解像度が高く、ピクチャ内のマクロブロック数が多くなるケースでは、制御情報の符号量削減効果が大きくなる。

また、この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、符号化モード判定部４が、符号化対象のマクロブロックの画像と動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂを示す予測誤差信号を強制的にゼロ値に置き換えるように構成したので、符号化対象のマクロブロックの符号化に要する符号量が略ゼロになり、ビットストリームの符号量を大幅に削減することができる効果を奏する。

この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、圧縮部５が符号化対象のマクロブロックの画像と動き予測モードＢで生成された予測画像Ｂ間の差分画像Ｂを示す予測誤差信号（オールゼロ値の信号）に対するＤＣＴ処理や量子化処理を行わず、その予測誤差信号（オールゼロ値の信号）を可変長符号化部１１に出力するように構成したので、画像符号化装置の処理量を軽減することができる効果を奏する。

また、この実施の形態１によれば、ピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ループフィルタ９が、局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、ループフィルタ９が、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施するように構成したので、動き予測モードＡ，Ｂのいずれであっても、局部復号画像の品質を高めることができる効果を奏する。

この実施の形態１によれば、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、局部復号部６が圧縮部５から出力された圧縮データに対する逆量子化処理や逆ＤＣＴ処理を行わず、動き補償予測部２により生成された予測画像Ｂを局部復号画像として取り扱うように構成したので、画像符号化装置の処理量を軽減することができる効果を奏する。

次に、画像復号装置の処理内容を説明する。
可変長復号部２２は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームにおけるピクチャレベルのヘッダデータを解析して、ピクチャ符号化方法選択情報を復号する（図９のステップＳＴ１１）。
可変長復号部２２は、そのピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば（ステップＳＴ１２）、ピクチャレベルのヘッダデータ以降のマクロブロック符号化データに対するエントロピー復号処理を実施して、ピクチャ内の複数のマクロブロックの圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）及び予測パラメータを復号する（ステップＳＴ１３）。
可変長復号部２２により復号された圧縮データ（ＤＣＴ係数を量子化する際の量子化パラメータを含む）は予測誤差復号部２３に出力され、予測パラメータは動き補償部２４に出力される。

可変長復号部２２は、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば（ステップＳＴ１２）、ピクチャレベルのヘッダデータを解析して、ビットストリームに多重化されている場合は重みパラメータｗ_０〜ｗ_４や、動き予測モードＢの処理対象となる動きベクトル割り当てブロックサイズの情報を復号する。
また、ピクチャレベルのヘッダデータ以降のマクロブロック符号化データに対するエントロピー復号処理を実施して、ピクチャ内の複数のマクロブロックの予測パラメータを復号する（ステップＳＴ１４）。
可変長復号部２２により復号された予測パラメータ及び重みパラメータｗ_０〜ｗ_４は動き補償部２４に出力される。
なお、可変長復号部２２により復号されたピクチャ符号化方法選択情報は、動き補償部２４、選択スイッチ２５及びループフィルタ２７に出力される。

予測誤差復号部２３は、可変長復号部２２から圧縮データを受けると、図１の局部復号部６と同様に、その圧縮データに含まれている量子化パラメータを用いて、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号復号値（図１の符号化モード判定部４から出力された予測差分信号に相当する信号）を算出する（ステップＳＴ１５）。

選択スイッチ２５は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、予測誤差復号部２３により算出された予測誤差信号復号値を選択して加算器２６に出力する（ステップＳＴ１６）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、オールゼロ値を選択して加算器２６に出力する（ステップＳＴ１７）。

動き補償部２４は、可変長復号部２２から予測パラメータを受けると、フレームメモリ２８に格納されている１フレーム以上の参照画像の中から、その予測パラメータ内の識別番号が示す参照画像の読み出しを行う。
動き補償部２４は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示している場合、可変長復号部２２から出力された予測パラメータ内の動き予測モードが動き予測モードＡであれば（ステップＳＴ１８）、図１の動き補償予測部２と同様に、動き予測モードＡで予測画像Ａを生成する（ステップＳＴ１９）。
ただし、動き補償部２４は、図１の動き補償予測部２と異なり、自ら動きベクトルの探索処理を実施せずに、可変長復号部２２から出力された予測パラメータ内の動きベクトルを使用する。
一方、可変長復号部２２から出力された予測パラメータ内の動き予測モードが動き予測モードＢであれば（ステップＳＴ１８）、図１の動き補償予測部２と同様に、動き予測モードＢで予測画像Ｂを生成する（ステップＳＴ２０）

即ち、動き補償部２４は、動きパラメータメモリ２１に格納されている復号済みマクロブロックの動きベクトルから復号対象のマクロブロックのダイレクトベクトルを生成し、そのダイレクトベクトルを用いる動き補償予測処理を実施して予測画像Ｂを生成する。
なお、動き補償部２４は、当該マクロブロックの予測画像を生成すると、次のマクロブロックの予測画像を動き予測モードＢで生成する場合に備えるため、当該マクロブロックの予測画像の生成に用いた動きベクトル（ダイレクトベクトル）や関連情報（動き予測モードＢ、参照画像の識別番号、予測誤差量など）を１画面分だけ動きパラメータメモリ２１に格納する。
動き補償部２４は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図１の動き補償予測部２と同様に、動き予測モードＢで予測画像Ｂを生成する（ステップＳＴ２１）。

加算器２６は、選択スイッチ２５により予測誤差信号復号値が選択された場合、その予測誤差信号復号値と動き補償部２４により生成された予測画像Ａ又は予測画像Ｂを示す予測信号とを加算することで、復号画像を示す復号画像信号を生成する（ステップＳＴ２２）。
一方、選択スイッチ２５によりオールゼロ値が選択された場合、そのオールゼロ値と動き補償部２４により生成された予測画像Ｂを示す予測信号とを加算することで、復号画像を示す復号画像信号を生成する（ステップＳＴ２３）。

ループフィルタ２７は、可変長復号部２２から出力されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、図１のループフィルタ９と同様に、ＤＣＴブロック境界に対するブロック歪み除去フィルタ（デブロッキングフィルタ）を用いて、加算器２６により生成された復号画像に含まれている符号化歪みを補償する歪み補償処理を実施する（ステップＳＴ２４）。
一方、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、図１のループフィルタ９と同様に、予測画像の動きベクトル割り当て領域に発生するブロック境界（動き予測モードＢでは、マクロブロック境界）の不連続性を緩和する動きブロック境界平滑化処理を実施する（ステップＳＴ２５）。
フレームメモリ２８には、ループフィルタ２７から出力された再生画像（フィルタ処理後の復号画像）が参照画像される。

以上で明らかなように、この実施の形態１によれば、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、可変長復号部２２により復号された動きベクトルを用いて、動き予測モードＡで予測画像Ａを生成し、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示していれば、動き予測モードＢで予測画像を生成する動き補償部２４と、動き補償部２４により生成された予測画像と予測誤差復号部２３から出力された差分画像を加算して、画像符号化装置の入力画像に相当する復号画像を生成するように構成したので、画像符号化装置より送信されたビットストリームから品質が高い画像を再生することができる効果を奏する。

また、この実施の形態１によれば、可変長復号部２２により復号されたピクチャ符号化方法制御情報が「通常のピクチャ符号化を行う」旨を示していれば、ループフィルタ２７が、復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、そのピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、ループフィルタ２７が、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施するように構成したので、再生画像の品質を高めることができる効果を奏する。

実施の形態２．
上記実施の形態１では、ピクチャ符号化方法制御情報が「スキップピクチャ符号化を行う」旨を示している場合、動き予測モードＢがＡＶＣのダイレクト予測モードであるとして、動き補償予測部２が予測画像Ｂを生成するものについて示したが、動き予測モードＢがＡＶＣのダイレクト予測モードであるものに限るものではなく、他のモードとして、動き補償予測部２が予測画像Ｂを生成するようにしてもよい。

以下、動き補償予測部２による予測画像Ｂの生成処理を具体的に説明する。
図１０は動き補償予測部２による予測画像Ｂの生成処理（符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合の生成処理）の一例を示す説明図である。
また、図１１はマクロブロックＸの動きベクトルｄ_ｆ（ｘ，ｔ）の推定内容を示す説明図である。

動き補償予測部２は、動き予測モードＢで予測画像Ｂを生成する準備として、Ｐピクチャないしそれ以降の動き補償予測に参照する画像としてピクチャＦを符号化すると、そのピクチャＦ内の複数のマクロブロックの動き予測モード、動きベクトル、動き予測誤差量を動きパラメータメモリ１に格納するものとする。
動き補償予測部２は、図１０に示すように、符号化済みピクチャＦ_ｔ−１，Ｆ_ｔ＋１に対して、時間的にちょうど真ん中にあるピクチャＦ_ｔをスキップピクチャとして符号化する場合、処理対象のマクロブロックに関し、図１０に示す両方向補間を実施する。

この場合の補間式は、下記の式（４）で与えられる。

式（４）において、ｄ_ｆ（ｘ，ｔ）及びｄ_ｂ（ｘ，ｔ）は動きベクトルであり、動きパラメータメモリ１に格納されている符号化済みピクチャＦ_ｔ＋１の動きベクトルから図１１に示す手順で推定して求めるものである。

まず、動き補償予測部２は、符号化済みピクチャＦ_ｔ＋１における領域Ｒを構成している９つのマクロブロック（符号化対象のピクチャＦ_ｔにおける処理対象のマクロブロックＸと空間的に同じ位置にある符号化済みピクチャＦ_ｔ＋１内のマクロブロックと、そのマクロブロックの近傍に位置している８つのマクロブロック）の動きベクトル、動き予測モード及び予測残差量を動きパラメータメモリ１から取得して参照する。
このとき、動きベクトルをｄ（ｘ＋ｖ_ｉ，ｔ＋１），０≦ｉ≦８，（Ｖ_４＝０）とし、予測誤差量をｅ（ｘ＋ｖ_ｉ，ｔ＋１），０≦ｉ≦８，（Ｖ_４＝０）とすると、下記の式（５）の演算を行うことで、補間画像上での処理該当ブロックにおける符号化済みピクチャＦ_ｔ−１に対する参照ベクトルである動きベクトルｄ_ｆ（ｘ，ｔ）の推定が可能になる。

予測誤差量の逆数でベクトルを重み付けすることで、予測誤差量が小さいブロックにおけるベクトルが強い重みを与えられる。
ここでの動きベクトルｄ_ｆ（ｘ，ｔ）の推定手法は、予測誤差量が小さいほど、ベクトル自体の信頼性が高く、予測残差絶対値和が大きいほど、ベクトル自体の信頼性が低いという性質に基づく手法である。
αはピクチャＦ_ｔとピクチャＦ_ｔ＋１との間の時間間隔で定まる重み係数である。ただし、図１１に示すＲ領域を構成している９つのマクロブロックのうち、フレーム内符号化されるブロックは上記演算から除外する。
領域Ｒ内の９つマクロブロックのうち、一定の割合以上がフレーム内符号化のブロックである場合、動きベクトルｄ_ｆ（ｘ，ｔ）が（０，０）であると推定する。

この実施の形態２のように、動きベクトルｄ_ｆ（ｘ，ｔ）の推定を行うことにより、ダイレクト予測のみで動きベクトルを推定する場合よりも、動きベクトルの信頼性を加味した精度の高い動きベクトルの推定が可能になる。このため、スキップピクチャの品質を改善することができるため、符号化処理過程で、より多くのスキップピクチャを利用することができるようになり、全体の符号量削減効果を高めることができる。
なお、スキップピクチャを生成する推定動きベクトルを求めるにあたっては、あらかじめ空間・時間的に近傍に位置する複数の動きベクトルを推定動きベクトル候補として保持しておき、その中から最適な推定動きベクトルを、符号化装置単独ないし符号化装置と復号装置の連携によって選択して、スキップピクチャの復号画像の生成に利用するように構成してもよい。符号化装置で選択する場合は、推定動きベクトルを求める単位ごとに最適な推定動きベクトルのインデックスをビットストリームに多重化するように構成する。一方、符号化装置と復号装置側で同じ判定方法を用いて選択する場合は、復号装置側に推定動きベクトル選択のための追加処理が必要になる一方、推定動きベクトルのインデックスをビットストリームに多重化する必要がないため、符号化効率を高めることができる。このように構成することにより、推定動きベクトルを複数の候補の中から選択できるようになるため、ある特定の推定方法によって一意に得られる推定動きベクトルの精度が十分でない場合にも品質を維持した符号化を行うことができる効果がある。

この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、受信側における再生画像の品質を高めることができるため、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いるのに適している。

１ 動きパラメータメモリ、２ 動き補償予測部（予測画像生成手段、動き検出手段、第１の予測画像生成手段、動きベクトル生成手段、第２の予測画像生成手段）、３ 減算器（差分画像選択手段、符号化手段）、４ 符号化モード判定部（差分画像選択手段、符号化手段）、５ 圧縮部（量子化手段）、６ 局部復号部（参照画像生成手段、局部復号手段）、７ 選択スイッチ（参照画像生成手段、局部復号手段）、８ 加算器（参照画像生成手段、局部復号手段）、９ ループフィルタ（参照画像生成手段、フィルタリング手段）、１０ フレームメモリ、１１ 可変長符号化部（可変長符号化手段、符号化手段）、２１ 動きパラメータメモリ、２２ 可変長復号部（可変長復号手段、第１の予測画像生成手段、復号手段）、２３ 予測誤差復号部（逆量子化手段、復号手段）、２４ 動き補償部（予測画像生成手段、第１の予測画像生成手段、動きベクトル生成手段、第２の予測画像生成手段）、２５ 選択スイッチ（復号画像生成手段）、２６ 加算器（復号画像生成手段、加算手段）、２７ ループフィルタ（復号画像生成手段、フィルタリング手段）、２８ フレームメモリ。

Claims (13)

1. 入力画像を所定のブロック毎に動き補償予測を用いて圧縮符号化を行う画像符号化装置において、
   上記ブロックの動きベクトルを検出する動き検出手段と、上記動き検出手段により検出された動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、
   上記動き検出手段により検出された動きベクトルを保持するメモリと、
   上記メモリに保持される動きベクトルをもとに符号化対象のブロックの動きベクトルを生成する動きベクトル生成手段と、
   上記動きベクトル生成手段により生成された動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、
   上記第１の予測画像生成手段により生成された第１の予測画像と符号化対象のブロックとの差分画像を符号化するとともに、上記第１の予測画像の生成に用いた動きベクトルを符号化する符号化手段と、
   上記差分画像の局部復号画像を生成し、上記局部復号画像を上記第１の予測画像と加算することによって局部復号画像を生成する局部復号手段と、
   上記第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、
   上記局部復号手段によって得られる上記ブロックの第１の局部復号画像か、上記フィルタリング手段によって得られる画像のいずれかを、１つないし複数の上記ブロックから構成される所定画像領域内の局部復号画像として選択し、その選択結果をビットストリームに多重して符号化伝送することを特徴とする画像符号化装置。
2. 入力画像を構成しているブロック毎に、符号化対象のブロックと参照画像の間で動きベクトルを探索し、上記動きベクトルを用いる動き補償予測処理を実施して予測画像を生成する第１の予測画像生成方式を備えるとともに、符号化済みブロックの動きベクトルから符号化対象のブロックのダイレクトベクトルを生成し、上記ダイレクトベクトルを用いる動き補償予測処理を実施して予測画像を生成する第２の予測画像生成方式を備えている予測画像生成手段と、符号化対象のブロックと上記予測画像生成手段により第１の予測画像生成方式で生成された予測画像間の差分画像の符号化効率を評価するとともに、符号化対象のブロックと上記予測画像生成手段により第２の予測画像生成方式で生成された予測画像間の差分画像の符号化効率を評価し、上記符号化効率が高い方の差分画像を選択する差分画像選択手段と、上記差分画像選択手段により選択された差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数及び上記差分画像選択手段により選択された差分画像に係る予測画像が第１の予測画像生成方式で生成されている予測画像であるのか、第２の予測画像生成方式で生成されている予測画像であるのかを示す予測画像識別情報を可変長符号化するとともに、上記差分画像選択手段により選択された差分画像が第１の予測画像生成方式で生成された予測画像に係る差分画像である場合、上記予測画像生成手段により探索された動きベクトルを可変長符号化して符号化データを生成する可変長符号化手段とを備えた画像符号化装置。
3. 予測画像生成手段は、第１の予測画像生成方式と第２の予測画像生成方式の双方の使用を指示する制御情報が入力された場合、第１の予測画像生成方式で予測画像を生成するとともに、第２の予測画像生成方式で予測画像を生成し、第２の予測画像生成方式のみの使用を指示する制御情報が入力された場合、第１の予測画像生成方式では予測画像を生成せずに、第２の予測画像生成方式でのみ予測画像を生成することを特徴とする請求項２記載の画像符号化装置。
4. 差分画像選択手段は、第２の予測画像生成方式のみの使用を指示する制御情報が入力された場合、符号化対象のブロックと予測画像生成手段により第２の予測画像生成方式で生成された予測画像間の差分画像を示す予測誤差信号をゼロ値に置き換えることを特徴とする請求項３記載の画像符号化装置。
5. 量子化手段は、第２の予測画像生成方式のみの使用を指示する制御情報が入力された場合、差分画像選択手段により選択された差分画像を示す予測誤差信号に対する量子化処理を行わず、ゼロ値の予測誤差信号を可変長符号化手段に出力することを特徴とする請求項４記載の画像符号化装置。
6. 量子化手段から出力された量子化係数を逆量子化し、その逆量子化結果が示す差分画像と予測画像生成手段により生成された予測画像を加算して局部復号画像を生成し、上記局部復号画像を参照画像としてフレームメモリに格納する参照画像生成手段を設け、
   上記参照画像生成手段は、上記予測画像が第１の予測画像生成方式で生成されている場合、上記局部復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、上記予測画像が第２の予測画像生成方式で生成されている場合、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施することを特徴とする請求項２記載の画像符号化装置。
7. 参照画像生成手段は、第２の予測画像生成方式のみの使用を指示する制御情報が入力された場合、量子化手段から出力された量子化係数に対する逆量子化処理を行わず、予測画像生成手段により生成された予測画像を局部復号画像として取り扱うことを特徴とする請求項６記載の画像符号化装置。
8. 画像を所定のブロック毎に動き補償予測を用いて圧縮符号化したビットストリームを入力として、上記ブロック毎に復号伸張処理を行う画像復号装置において、
   上記ブロック毎に動きベクトルをビットストリームから復号し、当該動きベクトルを用いて第１の予測画像を生成する第１の予測画像生成手段と、
   上記ブロック毎に動き補償予測の差分画像の符号化データをビットストリームから復号し、当該符号化データから復号差分画像を生成する復号手段と、
   上記第１の予測画像と上記復号差分画像とを加算して復号画像を得る加算手段と、
   上記ビットストリームから復号された動きベクトルを保持するメモリと、
   上記メモリに保持される動きベクトルをもとに復号対象のブロックの動きベクトルを生成する動きベクトル生成手段と、
   上記動きベクトル生成手段により生成された動きベクトルを用いて第２の予測画像を生成する第２の予測画像生成手段と、
   上記第２の予測画像生成手段により生成された第２の予測画像に対して、ブロック境界に対する平滑化処理を行うフィルタリング手段とを備え、
   １つないし複数の上記ブロックから構成される所定画像領域の単位で、当該画像領域中のすべての上記ブロックが、上記加算手段から出力される復号画像か、上記フィルタリング手段から出力される画像のいずれが最終的な復号画像になるかを示す識別情報をビットストリームから復号して、上記識別情報に基づいて最終復号画像を生成することを特徴とする画像復号装置。
9. 符号化データから量子化係数と、画像符号化装置では予測画像が第１の予測画像生成方式で生成されているのか、第２の予測画像生成方式で生成されているのかを示す予測画像識別情報とを復号するとともに、予測画像が第１の予測画像生成方式で生成されている場合、符号化データから動きベクトルを復号する可変長復号手段と、上記可変長復号手段により復号された量子化係数を逆量子化する逆量子化手段と、上記可変長復号手段により復号された予測画像識別情報が、画像符号化装置では予測画像が第１の予測画像生成方式で生成されている旨を示している場合、上記可変長復号手段により復号された動きベクトルを用いる動き補償予測処理を実施して予測画像を生成し、上記可変長復号手段により復号された予測画像識別情報が、上記画像符号化装置側では予測画像が第２の予測画像生成方式で生成されている旨を示している場合、復号済みブロックの動きベクトルから復号対象のブロックのダイレクトベクトルを生成し、上記ダイレクトベクトルを用いる動き補償予測処理を実施して予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆量子化結果が示す差分画像を加算して、上記画像符号化装置の入力画像に相当する復号画像を生成する復号画像生成手段とを備えた画像復号装置。
10. 復号画像生成手段は、可変長復号手段により復号された予測画像識別情報が、画像符号化装置側では予測画像が第２の予測画像生成方式で生成されている旨を示している場合、予測画像生成手段により生成された予測画像を復号画像として取り扱うことを特徴とする請求項９記載の画像復号装置。
11. 復号画像生成手段は、可変長復号手段により復号された予測画像識別情報が、画像符号化装置側では予測画像が第１の予測画像生成方式で生成されている旨を示している場合、復号画像に含まれている符号化歪みを補償する歪み補償処理を実施し、上記可変長復号手段により復号された予測画像識別情報が、画像符号化装置側では予測画像が第２の予測画像生成方式で生成されている旨を示している場合、ブロックの境界に存在している不連続性を緩和するブロック境界平滑化処理を実施することを特徴とする請求項９記載の画像復号装置。
12. 予測画像生成手段が、入力画像を構成しているブロック毎に、符号化対象のブロックと参照画像の間で動きベクトルを探索し、上記動きベクトルを用いる動き補償予測処理を実施して予測画像を生成する第１の予測画像生成方式を実施する第１の予測画像生成処理ステップと、上記予測画像生成手段が、符号化済みブロックの動きベクトルから符号化対象のブロックのダイレクトベクトルを生成し、上記ダイレクトベクトルを用いる動き補償予測処理を実施して予測画像を生成する第２の予測画像生成方式を実施する第２の予測画像生成処理ステップと、差分画像選択手段が、符号化対象のブロックと上記第１の予測画像生成処理ステップで生成された予測画像間の差分画像の符号化効率を評価するとともに、符号化対象のブロックと上記第２の予測画像生成処理ステップで生成された予測画像間の差分画像の符号化効率を評価し、上記符号化効率が高い方の差分画像を選択する差分画像選択処理ステップと、量子化手段が上記差分画像選択処理ステップで選択された差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が、上記量子化処理ステップで出力された量子化係数及び上記差分画像選択処理ステップで選択された差分画像に係る予測画像が第１の予測画像生成方式で生成されている予測画像であるのか、第２の予測画像生成方式で生成されている予測画像であるのかを示す予測画像識別情報を可変長符号化するとともに、上記差分画像選択手段により選択された差分画像が第１の予測画像生成方式で生成された予測画像に係る差分画像である場合、上記第１の予測画像生成処理ステップで探索された動きベクトルを可変長符号化して符号化データを生成する可変長符号化処理ステップとを備えた画像符号化方法。
13. 可変長復号手段が、符号化データから量子化係数と、画像符号化装置では予測画像が第１の予測画像生成方式で生成されているのか、第２の予測画像生成方式で生成されているのかを示す予測画像識別情報とを復号するとともに、予測画像が第１の予測画像生成方式で生成されている場合、符号化データから動きベクトルを復号する可変長復号処理ステップと、逆量子化手段が上記可変長復号処理ステップで復号された量子化係数を逆量子化する逆量子化処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで復号された予測画像識別情報が、画像符号化装置では予測画像が第１の予測画像生成方式で生成されている旨を示している場合、上記可変長復号処理ステップで復号された動きベクトルを用いる動き補償予測処理を実施して予測画像を生成し、上記可変長復号処理ステップで復号された予測画像識別情報が、上記画像符号化装置では予測画像が第２の予測画像生成方式で生成されている旨を示している場合、復号済みブロックの動きベクトルから復号対象のブロックのダイレクトベクトルを生成し、上記ダイレクトベクトルを用いる動き補償予測処理を実施して予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆量子化結果が示す差分画像を加算して、上記画像符号化装置の入力画像に相当する復号画像を生成する復号画像生成処理ステップとを備えた画像復号方法。

Images