JP2012120243A - 動画像予測装置及び動画像予測方法 - Google Patents

Abstract

【課題】動画像のシーン内容や重要度、動きの性質などに応じて、高い精度の予測が行える符号化方式を得る。
【解決手段】参照する画像データが蓄積される複数のメモリａ、ｂ、ｃと、被予測画像領域の動きを表現する任意の変形パラメータに対応可能で該変形パラメータに基づいて前記複数のメモリａ、ｂ、ｃの任意のデータを用いて予測画像を生成する動き補償部５と、前記複数のメモリａ、ｂ、ｃのうち１つ以上のメモリの内容を任意の時間間隔で更新可能とするメモリ更新部１５とを備える。
【選択図】図１

Description

この発明は、例えば、テレビ電話・テレビ会議などの画像通信用途に用いられる携帯および据置型画像通信機器などで用いられる動画像符号化／復号装置、デジタルVTR、ビデ
オサーバーなどの画像蓄積・記録装置などで用いられる動画像符号化／復号装置、単独ソフトウエアもしくはDSP（Digital Signal Processor）のファームウエアの形で実装され
る動画像符号化／復号プログラムなどに用いられる動画像の予測に関するものである。

従来の動画像の符号化／復号方式における予測符号化／復号の例として、ISO/IEC JTC1/SC29/WG11にて標準化作業がすすめられているMPEG-4(Moving Picture Experts Group Phase-4)のビデオ符号化／復号参照方式(Verification Model、以下ＶＭ)があげられる。VMはMPEG-4の標準化作業の進行に伴って方式の内容が変化しているが、ここではVM Version5.0を想定し、以下単にVMと表現する。

VMは動画像シーケンスを時間／空間的に任意の形状をとる画像オブジェクトの集合体としてとらえ、各画像オブジェクトを単位として符号化／復号を行う方式である。VMにおけるビデオデータ構造を図２９に示す。VMでは時間軸を含めた動画像オブジェクトをVideo Object(VO)と呼び、VOの各時刻の状態を表し符号化の単位となる画像データをVideo Object Plane(VOP)と呼ぶ。VOが時間的／空間的に階層性を持つ場合、特別にVOとVOPの間にVideo Object Layer(VOL)なる単位を設けてVO内の階層構造を表現するようになっている。
各VOPは形状情報とテクスチャ情報とに分離される。ただし、動画像シーケンス中でVOが
１つの場合、各VOPはフレームと同義となる。この場合は形状情報は存在せず、テクスチ
ャ情報だけが符号化／復号される。

VOPは図３０に示すように、形状情報をあらわすアルファデータとテクスチャ情報をあ
らわすテクスチャデータからなる構造を持つ。各データは、それぞれ16x16サンプルから
なるブロック（アルファブロック、マクロブロック）の集合体として定義される。アルファブロック内の各サンプルは8ビットで表現される。マクロブロックは、16x16サンプルの輝度信号に付随してそれに対応する色差信号を含む。動画像シーケンスからVOPデータを
作り出す処理は本符号化装置外で行われるものとする。

図３１はVM符号化／方式によるVOP符号化装置の構成を示したものである。同図におい
て、Ｐ１は入力となる原VOPデータ、Ｐ２はVOPの形状情報をあらわすアルファブロック、Ｐ３ａは入力された原VOPデータの形状情報の有無を伝えるためのスイッチ、Ｐ４はアル
ファブロックを圧縮符号化する形状符号化部、Ｐ５は圧縮アルファブロックデータ、Ｐ６は局所復号アルファブロック、Ｐ７はテクスチャデータ(マクロブロック)、Ｐ８は動き検出部、Ｐ９は動きパラメータ、Ｐ１０は動き補償部、Ｐ１１は予測画像候補、Ｐ１２は予測モード選択部、Ｐ１３は予測モード、Ｐ１４は予測画像、Ｐ１５は予測誤差信号、Ｐ１６はテクスチャ符号化部、Ｐ１７はテクスチャ符号化情報、Ｐ１８は局所復号予測誤差信号、Ｐ１９は局所復号マクロブロック、Ｐ２０はスプライトメモリ更新部、Ｐ２１はVOP
メモリ、Ｐ２２はスプライトメモリ、Ｐ２３は可変長符号化・多重化部、Ｐ２４はバッファ、Ｐ２５は符号化ビットストリームである。

また、図３２にこの符号化装置の動作を要約したフローチャートを示す。

図３１の符号化装置において、原VOPデータＰ１はまずアルファブロックＰ２、マクロ
ブロックＰ７に分離され（ステップＰＳ２、ステップＰＳ３）、アルファブロックＰ２は
形状符号化部Ｐ４へ、マクロブロックＰ７は動き検出部Ｐ８へ送られる。形状符号化部Ｐ４はアルファブロックＰ２のデータ圧縮を行う処理ブロック（ステップＰＳ４）であり、この発明は形状情報の圧縮方法に関わるものではないので、その処理の詳細はここでは省略する。

形状符号化部Ｐ４の出力は圧縮アルファデータＰ５と局所復号アルファブロックＰ６で、前者は可変長符号化・多重化部Ｐ２３に送られ，後者は動き検出部Ｐ８、動き補償部Ｐ１０、予測モード選択部Ｐ１２、テクスチャ符号化部Ｐ１６にそれぞれ送られる。

動き検出部Ｐ８（ステップＰＳ５）は、マクロブロックＰ７を受け取り、VOPメモリＰ
２１に蓄積されている参照画像データと局所復号アルファブロックＰ６を用いて、マクロブロックごとにローカルな動きベクトルを検出する。ここで、動きベクトルは動きパラメータの一例である。VOPメモリＰ２１には、すでに符号化されたVOPの局所復号画像が蓄積される。VOPメモリＰ２１の内容は、マクロブロックの符号化が終わるごとに逐次その局
所復号画像で更新される。さらに動き検出部Ｐ８は、原VOPのテクスチャデータ全体を受
け取り、スプライトメモリＰ２２に蓄積されている参照画像データと局所復号アルファデータを用いてグローバルなワーピングパラメータを検出する機能も併せ持つ。スプライトメモリＰ２２については後で詳しく述べる。

動き補償部Ｐ１０（ステップＰＳ６）は、動き検出部Ｐ８で検出した動きパラメータＰ９と局所復号アルファブロックＰ６を用いて予測画像候補Ｐ１１を生成する。次いで、予測モード選択部Ｐ１２において、予測誤差信号電力と原信号電力とを用いて当該マクロブロックの最終的な予測モードＰ１３および予測画像Ｐ１４を決定する（ステップＰＳ７）。予測モード選択部Ｐ１２ではイントラフレーム符号化／インターフレーム符号化のいずれかの符号化かという判定も行われる。

テクスチャ符号化部Ｐ１６では、予測モードＰ１３に基づいて、予測誤差信号Ｐ１５または原マクロブロックそのものをDCT（Discrete Cosine Transform）、量子化し、得られた量子化DCT係数を予測後、または直接、可変長符号化・多重化部Ｐ２３へ送り符号化す
る（ステップＰＳ８，ステップＰＳ９）。可変長符号化部・多重化部Ｐ２３は、あらかじめ定められたシンタックスと可変長符号化コードとに従い、受け取ったデータをビットストリームに変換して多重化する（ステップＰＳ１０）。量子化DCT係数は、逆量子化、逆DCTを経て局所復号予測誤差信号Ｐ１８にされた後、予測画像Ｐ１４と加算され局所復号マクロブロックＰ１９を得る（ステップＰＳ１１）。局所復号マクロブロックＰ１９はVOP
メモリＰ２１およびスプライトメモリＰ２２に書き込まれ、以降のVOPの予測に用いられ
る（ステップＰＳ１２）。

以下では、予測を行う部分、特に予測方式と動き補償、スプライトメモリＰ２２およびVOPメモリＰ２１の更新制御について詳しく説明する。

（１）VMにおける予測方式
VMでは通常、図３３に示すように４種類のVOPの符号化タイプがあり、それぞれのタイ
プごとに〇で示される予測方式をマクロブロックごとに選択できる。I-VOPでは予測をま
ったく行わず、すべてイントラフレーム符号化する。P-VOPは過去のVOPからの予測を行うことができる。B-VOPは、過去および未来のVOPを予測に使用できる。

以上の予測はすべて動きベクトルによる予測である。一方、Sprite-VOPはスプライトメモリを用いた予測が可能である。スプライトとは、下式
x’=(a x + b y + c)/(g x + h y + 1)
y’=(d x + e y + f)/(g x +h y + 1)
に示すワーピングパラメータセット

をVOP単位に検出し（→はベクトルを示す。以下、同じ）、これに基づいてVOPを順次混合していくことにより生成する画像空間であり、スプライトメモリＰ２２に蓄積される。

ここで、(x，y)は原VOPの２次元座標上での画素位置、(x’，y’)はワーピングパラメ
ータによって(x，y)に対応付けられるスプライトメモリ中の画素位置である。Sprite-VOPの各マクロブロックでは、このワーピングパラメータセットを統一的に用いて、スプライトメモリ中の(x’，y’)を決定して予測画像を生成して予測を行うことができる。厳密には、スプライトには、予測に用いる「ダイナミックスプライト」と、予測に用いるとともに、復号側で近似的にVOPを合成する目的で用いる「スタティックスプライト」の区別が
あるが、以下に述べる図３４〜図３７では、ダイナミックスプライトを「スプライト」の意味で用いる。

動き検出部Ｐ８では、以上の予測に用いる動きベクトルおよびワーピングパラメータを検出する。動きベクトルおよびワーピングパラメータを動きパラメータＰ９という言葉で総称する。

（２）動き補償部
動き補償部Ｐ１０は例えば図３４に示すような内部構成をとる。同図において、Ｐ２６はワーピングパラメータ、Ｐ２７は動きベクトル、Ｐ２８はグローバル動き補償部、Ｐ２９はローカル動き補償部、Ｐ３０はワーピングパラメータによる予測画像候補、Ｐ３１は動きベクトルによる予測画像候補である。予測画像候補Ｐ１１をワーピングパラメータによる予測画像候補Ｐ３０および動きベクトルによる予測画像候補Ｐ３１を総称する言葉とする。

動き補償部Ｐ１０の動作を要約するフローチャートを図３５のステップＰＳ１４からステップＰＳ２１に示す。

動き補償部Ｐ１０では、マクロブロックＰ７ごとに動き検出部Ｐ８で検出されたVOP全
体のワーピングパラメータＰ２６またはマクロブロック単位の動きベクトルＰ２７を用いて予測画像候補Ｐ１１を生成する。グローバル動き補償部Ｐ２８においてワーピングパラメータＰ２６を用いた動き補償を行い、ローカル動き補償部Ｐ２９において動きベクトルＰ２７を用いた動き補償を行う。

I-VOPでは動き補償部Ｐ１０は動作しない（ステップＰＳ１４からステップＰＳ２１へ
行く）。I-VOP以外のとき、ローカル動き補償部Ｐ２９が動作し、動きベクトルＰ２７を
用いてVOPメモリＰ２１内の過去のVOP局所復号画像から予測画像候補(PR1)を取り出す（
ステップＰＳ１５）。P-VOPではこの予測画像候補(PR1)のみを用いることになる。

ステップＰＳ１６でB-VOPであるとされた場合は、さらにローカル動き補償部Ｐ２９に
おいて、動きベクトルＰ２７を用いてVOPメモリＰ２１内の未来のVOP局所復号画像から予測画像候補(PR2)を取り出すとともに（ステップＰＳ１７）、過去および未来のVOP局所復号画像から得た予測画像候補を加算平均して予測画像候補(PR3)を得る（ステップＰＳ１
８）。

また、ダイレクト予測(ITU-T勧告 H.263符号化方式におけるBフレーム相当の予測方式
に基づく予測。組になるP-VOPのベクトルからBフレーム用のベクトルを作る。ここでは詳細の記述は省略する)についても同様に予測画像候補(PR4)を生成する（ステップＰＳ１９）。図３４において、動きベクトルによる予測画像候補Ｐ３１は上記予測画像候補PR1か
らPR4の一部またはすべてを総称するものとする。

I-VOPでもB-VOPでもない場合はSprite-VOPであり、VOPメモリから動きベクトルを用い
て予測画像候補(PR1)を取り出すとともに、ステップＰＳ２０でグローバル動き補償部Ｐ
２８においてワーピングパラメータＰ２６を用いてスプライトメモリＰ２２から予測画像候補Ｐ３０を取り出す。

グローバル動き補償部Ｐ２８はワーピングパラメータＰ２６からスプライトメモリＰ２２中の予測画像候補が存在するアドレスを計算し、これに基づいてスプライトメモリＰ２２から予測画像候補Ｐ３０を取り出して出力する。ローカル動き補償部Ｐ２９は動きベクトルＰ２７からVOPメモリＰ２１中の予測画像が存在するアドレスを計算し、これに基づ
いてVOPメモリＰ２１から予測画像候補Ｐ３１を取り出して出力する。

これらの予測画像候補Ｐ１１は、予測モード選択部Ｐ１２においてテクスチャデータＰ７のイントラフレーム符号化信号を含めて評価され、最も予測誤差信号電力の小さい予測画像候補と予測モードが選択される。

（３）メモリ更新
メモリ更新制御（ステップＰＳ１２）はメモリ更新部Ｐ２０で行われ、VOPメモリＰ２
１およびスプライトメモリＰ２２の更新を行う。これらのメモリ内容の更新は、マクロブロック単位に選択された予測モードＰ１３に関係なく行われる。

メモリ更新部Ｐ２０の内部構成を図３６に、メモリ更新部Ｐ２０の動作を示すフローチャートを図３７のステップＰＳ２２からステップＰＳ２８に示す。

図３６において、Ｐ３２は外部から与えられるVOP符号化タイプ、Ｐ３３はスプライト
メモリを用いた予測をするかしないかを示す、外部から与えられるスプライト予測識別フラグ、Ｐ３４はスプライトメモリを用いた予測に用いられる、外部から与えられるブレンド係数、Ｐ３５はスイッチ、Ｐ３６はスイッチ、Ｐ３７はスプライト合成部、Ｐ３８はスプライト変形処理部、Ｐ３９はVOPメモリ更新信号、Ｐ４０はスプライト更新信号である
。

まず、スプライト予測識別フラグＰ３３により、当該VOまたはVOLでスプライトを使用
すると指定されているかどうかがチェックされ（ステップＰＳ２２）、スプライトを用いない場合、B-VOPかチェックされ（ステップＰＳ２７）、B-VOPならばVOPメモリＰ２１の
更新は全く行わない。I-VOPまたはP-VOPでは、マクロブロックごとに局所復号マクロブロックＰ１９をVOPメモリＰ２１に上書きする（ステップＰＳ２８）。

一方、ステップＰＳ２２のチェックにおいてスプライトを用いるとされた場合は、まず上記と同様のVOPメモリＰ２１の更新が行われた後（ステップＰＳ２３，ステップＰＳ２
４）、以下の手順に従ってスプライトメモリＰ２２の更新が行われる。
ａ）スプライトのワーピング（ステップＰＳ２５）
まず、スプライト変形処理部Ｐ３８において、スプライトメモリ上の領域（当該VOPの
時刻をtとしたときの、スプライトメモリ上の位置を原点とするVOPと同面積の領域）

を、ワーピングパラメータ

によってワーピング（変形）させる。
ｂ）スプライトのブレンド（ステップＰＳ２６）
上記a)の結果得られたワーピング画像を用いて、スプライト合成部Ｐ３７において、下式に従って新しいスプライトメモリ領域

を求める。ここで、
α：ブレンド係数Ｐ３４

である。

ただし、局所復号マクロブロック中でVOPに属さない領域については、

とみなす。ブレンド係数αはVOP単位で与えられるので、局所復号VOPは、VOP領域の内容
の如何に関わらず、αに基づく比重で、一括してスプライトメモリに合成される。

特開平８−１７２６３１号公報 特開平７−１８４２０６号公報 特開平４−１２７６８９号公報 特開平７−３３６４６１号公報 特開平７−２２６９１７号公報

如澤裕尚、"ＭＰＥＧ−４の符号化効率"、１９９６年テレビジョン学会映像メディア部門冬期大会講演予稿集、社団法人テレビジョン学会、１９９６年１２月、ｐ．３９−４４

以上のような従来の符号化方式における予測方式では、動画像オブジェクトの予測に際して、動きベクトルの検出しか行わないメモリとワーピングパラメータの検出しか行わないメモリとを最大１画面ずつだけしか使用できない構成になっているため、予測に用いることのできる参照画像をごく限られた方法でしか使用しておらず、予測効率を十分に向上させることができない。

また、複数の動画像オブジェクトを同時に符号化するようなシステムにおいても、これらのメモリには、予測される動画像オブジェクト自身の履歴を示す参照画像しか含まれないので、参照画像のバリエーションが限定されるとともに、動画像オブジェクト間の相関
を利用して予測を行うことができない。

さらに、メモリの更新に際しても、動画像オブジェクトの内部構造や性質、履歴等に関係なくメモリが書き換えられるため、動画像オブジェクトを予測する上で重要な知識を十分にメモリに蓄積できておらず、予測効率の向上が図れないという問題があった。

この発明は前記問題点を解決するためになされたものであり、画像データを符号化／復号する場合、複数のメモリを設けて、動画像シーケンスの内部構造、性質などを考慮して、複数のメモリに効果的に動画像シーケンスの履歴を蓄積して、予測および符号化／復号の効率を高めるとともに、複数の動画像オブジェクト間で予測が行える構造を設けてより柔軟な予測方式を提供することを目的とする。

この発明に係る動画像予測装置は、
動画像を予測する動画像予測装置において、
予測に使用される複数の参照画像の画像データを各々記憶するための複数の参照画像メモリと、
予測される画像と前記参照画像メモリに記憶された参照画像との間の動きを示す動きパラメータと、予測に使用される参照画像メモリを示す参照メモリ指示信号と、各参照画像メモリを更新するか否かを示す更新情報とを受信するとともに、前記参照メモリ指示信号によって示された参照画像メモリに記憶された参照画像を用いて予測画像を生成する動き補償部、及び参照画像メモリ毎に受信した前記更新情報に基づき前記参照画像メモリに記憶された前記各参照画像データの記憶期間を動的に制御するメモリ更新部を有する予測画像生成部とを備え、
前記参照メモリ指示信号の符号長を決定するパラメータに基づいて前記参照メモリ指示信号の符号長が可変に制御されることを特徴とする。

この発明に係る動画像予測方法は、
動画像予測方法において、
予測画像生成に用いる複数の参照画像をそれぞれ複数の参照画像メモリに記憶する記憶ステップと、
予測される画像と前記参照画像メモリに記憶された参照画像との間の動きを示す動きパラメータと、予測に使用される参照画像メモリを示す参照メモリ指示信号と、各参照画像メモリを更新するか否かを示す更新情報とを受信するステップと、
前記参照メモリ指示信号によって示された参照画像メモリに記憶された参照画像を用いて予測画像を生成する動き補償ステップと、
参照画像メモリ毎に受信した前記更新情報に基づき前記参照画像メモリに記憶された前記各参照画像データの記憶期間を動的に制御するステップとを備え、
前記参照メモリ指示信号の符号長を決定するパラメータに基づいて前記参照メモリ指示信号の符号長が可変に制御されることを特徴とする。

この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態における動画像符号化装置の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。 動き補償部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置のメモリ更新部の構成を示す構成図である。 メモリ更新部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。 図７の動き補償部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。 図９の動き補償部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。 図１２の動き補償部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置のメモリ更新部の構成を示す構成図である。 図１４のメモリ更新部の動作を示すフローチャートである。 この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態における動画像符号化装置を示す構成図である。 この発明の実施の形態１のビットストリーム２１を示す図である。 この発明の実施の形態２のビットストリーム２１を示す図である。 この発明の実施の形態３のビットストリーム２１を示す図である。 この発明の実施の形態６のビットストリーム２１を示す図である。 この発明の実施の形態における動画像復号装置を示す構成図である。 この発明の実施の形態における動画像復号装置の動き補償部の構成を示す構成図である。 動き補償部の動作を示すフローチャートである。 内挿処理を説明する図である。 この発明の実施の形態における動画像復号装置のメモリ更新部の動作を示すフローチャートである。 VM符号化方式におけるビデオデータ構造を示す説明図である。 VOPデータの構成を示す説明図である。 VM符号化装置の構成を示す構成図である。 図３１の符号化装置の動作を示すフローチャートである。 VOP符号化タイプと対応する予測の種類を示す説明図である。 図３１の符号化装置における動き補償部の構成を示す構成図である。 図３４の動き補償部の動作を示すフローチャートである。 図３１の符号化装置におけるメモリ更新部の構成を示す構成図である。 図３６のメモリ更新部の動作を示すフローチャートである。

本発明の実施の形態は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別の変形手法が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと、該メモリに対応づけられた変形手法に基づき予測画像を生成する予測画像生成部とを備え、少なくとも符号化装置および復号装置のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。

上記符号化装置は、上記予測画像の生成に用いた該メモリを示す予測メモリ指示情報信号を生成し、復号側でも該メモリに蓄積された画像データを用いて、該メモリに対応づけられた変更手法に基づき上記予測画像が生成できるように、上記予測メモリ指示情報信号と上記パラメータを復号側へ送信することを特徴とする。

上記復号装置は、上記パラメータと上記予測画像の生成に用いたメモリを示す予測メモリ指示情報を符号化側から受け取り、上記予測画像生成部は、上記パラメータと該メモリに対応づけられた変形手法に基づき、該メモリに蓄積された画像データを用いて上記予測画像を生成することを特徴とする。

また、本発明の実施の形態は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別のパラメータ有効値域が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択し、選択されたメモリに蓄積された画像データを用いて予測画像を生成する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。

また、本発明の実施の形態は、予測に際して参照する画像データを蓄積する複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータに基づいて上記複数のメモリに蓄積された画像データを用いて予測画像を生成する動き補償部と、上記複数のメモリの少なくとも１つのメモリに蓄積される画像データを任意のタイミングで更新するメモリ更新部とを有する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。

上記動画像予測方式は、第１と第２の動画像オブジェクトを有する動画像シーケンス上の動画像を予測し、上記複数のメモリは、上記第１と第２の動画像オブジェクトに対応する第１と第２の個別の複数のメモリを備え、上記予測画像生成部は、上記第１と第２の動画像オブジェクトに対応する第１と第２の個別の生成部を備えており、上記第１の生成部は、上記第１のオブジェクトを予測する場合に、少なくとも上記第１と第２の複数のメモリのいずれかに蓄積されている画像データを用いて上記予測画像を生成するとともに、第
２の複数のメモリを第１のオブジェクトの予測に使用しているか否かを示す情報を予測画像に付加するために生成することを特徴とする。

上記予測画像生成部は、動画像の各時刻における変化に応じて、上記複数のメモリの数とサイズのいずれかを増減することにより予測画像を生成することを特徴とする。

上記予測画像生成部は、動画像の各時刻における変化に応じて、予測に用いるメモリを限定することにより予測画像を生成することを特徴とする。

上記予測画像生成部は、上記複数のメモリに蓄積された上記画像データを用いてそれぞれに生成された複数の予測画像を演算することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、被予測画像領域の重要度を示す特徴量パラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記特徴量パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいずれかについて、複数の選択肢の中から少なくとも１つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、少なくとも、被予測画像領域が利用可能な符号量と、各時刻における該画像領域の変化量と、該画像領域の重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも１つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、動画像を動画像オブジェクト単位で予測し、上記動画像予測方式は、少なくとも、被予測動画像オブジェクトが利用可能な符号量と、各時刻における該動画像オブジェクトの変化量と、該動画像オブジェクトの重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも１つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、動画像の符号化において、予測に係る情報を符号化する予測情報符号化部を備え、上記予測画像生成部は、予測に使用されるメモリの使用頻度数をカウントし、カウントした使用頻度数に基づいて上記複数のメモリのランクを決定し、上記予測情報符号化部は、予測に用いられるメモリのランクに応じて、予測に係わる情報に符号長を割り当てることにより予測に係わる情報を符号化することを特徴とする。

上記複数のメモリは、少なくとも、画像データをフレーム単位で蓄積するフレームメモリと、スプライト画像を蓄積するスプライトメモリとを有することを特徴とする。

上記スプライトメモリは、少なくとも、逐次更新を伴うダイナミックスプライトメモリと逐次更新を伴わないスタティックスプライトメモリのいずれかを有することを特徴とする。

上記複数のメモリは、少なくとも、平行移動、アフィン変換、遠近法変換の内のいずれかの変形手法が変更可能に対応づけられることを特徴とする。

また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積
する工程と、上記複数のメモリにそれぞれ個別の変形手法を対応づける工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと該メモリに対応づけられた変形手法に基づき予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。

上記動画像を予測する方法は、さらに、上記予測画像生成に用いた該メモリを示す予測メモリ指示情報信号を生成する工程と、上記予測メモリ情報信号と上記パラメータを復号側へ送信する工程とを備えたことを特徴とする。

上記動画像を予測する方法は、さらに、予測画像の生成に用いたメモリを示す予測メモリ指示情報信号と被予測画像領域の動きを表現するパラメータを符号化側から受け取る工程を備え、復号に用いられることを特徴とする。

また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、上記複数のメモリにそれぞれ個別のパラメータ有効値域を対応づける工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択する工程と、選択されたメモリに格納された画像データを用いて予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。

また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記パラメータに基づいて、上記複数のメモリに蓄積された画像データを用いて予測画像を生成する工程と、上記複数のメモリの少なくとも１つのメモリに格納される画像データを任意のタイミングで更新する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。

実施の形態１．
図１は実施の形態１及び後述する実施の形態における符号化装置の構成を示すブロック図である。同図において、１は入力動画像信号、２はテクスチャデータ、３は動き検出部、４は動きパラメータ、５は動き補償部、６は予測画像候補、７は予測モード選択部、８は予測モード、９は予測画像、１０は予測誤差画像、１１はテクスチャ符号化部、１２は量子化DCT係数、１３は局所復号された予測誤差画像、１４は局所復号画像、１５はメモ
リ更新部、１６はメモリａ、１７はメモリｂ、１８はメモリｃ、１９は可変長符号化・多重化部、２０は送信バッファ、２１はビットストリーム、８０はシーンチェンジ検出部、８１はタイマーである。このうち動き補償部５およびメモリ更新部１５が予測方式を実現する予測画像生成部１００である。また、メモリａ，ｂ，ｃがメモリ領域２００である。図中この実施の形態で取り上げない部分については後の実施の形態で説明する。図２は、この符号化装置の動作の流れを示すフローチャートである。

この実施の形態では複数、例えば３つのメモリ、を入力動画像の動き量・色度等の画像の特徴に基づく重要度に応じて使い分け、かつ任意の時間間隔で任意のメモリ（領域）、例えばメモリａ、の内容を更新する仕組みを設ける。また、動画像シーケンスはフレーム単位に入力されるものとする。

（１）入力信号
上述のごとく、上記符号化装置は動画像シーケンスの各時刻の画像を表すフレームを単位に入力し、フレームは被予測画像領域の一例である符号化単位となるマクロブロックに
分割される（ステップＳ１）。

（２）メモリの使い分け方
メモリには、過去に復号済みの画像や、またはあらかじめ固定的に与えられた画像が蓄積されるが、この実施の形態では、フレーム中の部分領域の重要度に応じて、３つのメモリを以下のように使い分ける。
メモリａ：重要度小の画像領域（＝動きが静止または均一で、かつテクスチャが均一な背景的画像領域）を蓄積する。
メモリｂ：重要度中の画像領域（＝被写体の動きで、比較的動きの小さい画像領域）を蓄積する。
メモリｃ：重要度大の画像領域（＝被写体の動きで、動きの大きな画像領域）を蓄積する。

メモリａに蓄積される重要度小の画像領域は、テレビ会議のシーンなどに出てくる背景画像領域と考えることができる。また、ある微少な動きを伴う被写体を含み、カメラ操作によって画面全体の均一な動きが含まれるようなシーンにおける背景領域にも相当する。これらの動きはマクロブロックという小さな単位よりもあらかじめフレーム全体の動きを求めて、それをマクロブロックの動きとして代用すると効率的である。すなわち、従来例に述べたスプライトにおけるワーピングパラメータに相当する変形パラメータを求め、フレーム全体の変形パラメータを各マクロブロックの動きパラメータとみなすことにする。動きパラメータは、単なる平行移動パラメータ（＝動きベクトルと同義）でもよいし、変形を含んだアフィン、遠近法動きパラメータなどであってもよい。ここで、動きベクトルは動きパラメータの一例である。

メモリｂに蓄積される重要度中の画像領域は例えばテレビ会議のシーンにおいて発言をせずに体だけが動いているような人物の画像領域で、画面中の注目度が低い被写体領域と考えることができる。メモリｃに蓄積される重要度大の画像領域は例えばテレビ会議のシーン中、発言者などもっとも注目度が高い被写体領域と考えることができる。

メモリｂ、ｃに蓄積される領域は被写体固有の動きを持つため、マクロブロックごとに異なる動きパラメータを持つと考えるのが自然である。この際の動きパラメータは、単なる平行移動パラメータ（＝動きベクトルと同義）でもよいし、変形を含んだアフィン、遠近法動きパラメータなどであってもよい。

（３）動き検出（ステップＳ２）
この実施の形態における動き検出部３は、従来例のような動きベクトルとワーピングパラメータという区別を取り去り、３つのメモリすべてについて任意の変形パラメータをマクロブロック単位に検出できるようにする。また、動き検出部３はメモリａを用いてフレーム全体の変形パラメータを検出するグローバル動きパラメータ検出と、メモリａからｃを用いてマクロブロックごとの変形パラメータを検出するローカル動きパラメータ検出の機能を備える。

（４）動き補償（ステップＳ３）
この実施の形態における動き補償部５の内部構成を図３に示す。同図において、２２は予測画像メモリアドレス算出部、２３は予測画像メモリアドレス、２４はメモリ読み出し部、２５は外部から与えられる参照メモリ指示信号である。ここでは、参照メモリ指示信号２５は、メモリａ，ｂ，ｃを使用することを指示しているものとする。この動き補償部５の動作を記したフローチャートを図４のステップＳ１１からステップＳ１６に示す。

まずI(Intra)-フレームならば、動き補償を行わない（ステップＳ１１）。I-フレーム
でなければ、動き検出部３で検出されたグローバル動きパラメータならびに各メモリに基づくローカル動きパラメータをもとに予測画像候補を生成する（ステップＳ１２からステップＳ１５）。具体的には、予測画像メモリアドレス算出部２２において、参照メモリ指示信号２５で指示されるメモリ中の予測画像候補が存在する予測画像メモリアドレス２３を動きパラメータ４に基づいて計算し、予測画像メモリアドレス２３によってメモリ読み出し部２４が対応するメモリから予測画像候補６を取り出して出力する。

この実施の形態においてはグローバル動きパラメータもローカル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図３の動き補償部５を共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補６を生成する場合（ステップＳ１５）は、常にメモリａが参照メモリとして用いられる。

（５）予測モードの選択（ステップＳ４）
この実施の形態における予測モードは、
（ａ）メモリａを使用するモード、
（ｂ）メモリｂを使用するモード、
（ｃ）メモリｃを使用するモード、
（ｄ）イントラフレーム符号化信号を使用するモード
があるものとする。予測モード選択部７は、例えば従来例に示したように、動き補償部５によって生成されるすべての予測画像候補６とイントラフレーム符号化信号を含めて、最も予測誤差信号の電力（振幅）の小さい予測画像候補６を選択して予測画像９として出力する。また、選択した予測画像９に対応する予測モード８を出力する。この予測モード８の情報の中には、選択した予測画像９を予測したメモリを示すメモリ選択情報も含まれている。予測モード８は可変長符号化・多重化部１９へ送られ、割り当てられた符号長で予測メモリ指示情報８００としてビットストリーム２１の中に符号化される。

（６）メモリの更新
メモリの更新はメモリ更新部１５で制御される。この実施の形態におけるメモリ更新部１５の内部構成を図５に示す。同図において、２６はメモリａの更新に用いるアクティビティ（詳細は後述する）、２７はメモリａ更新判定部、２８は参照メモリ選択部、２９、３０はスイッチ、３１はメモリａを更新する画像データ、３２はメモリｂを更新する画像データ、３３はメモリｃを更新する画像データ、３４はメモリａを更新するグローバル予測画像データである。また、メモリ更新の動作フローを図６に示す。

この実施の形態におけるメモリ更新は以下の手順を踏む。メモリ更新部１５は局所復号画像１４を入力すると、メモリａ更新判定部２７において該局所復号画像１４が属するフレームに対するメモリａ更新の必要性を判定し（ステップＳ１７）、参照メモリ選択部２８において予測モード８に基づき予測に使用したメモリを選択し（ステップＳ１８、Ｓ１９）、選択されたメモリ内の参照画像を該局所復号画像１４のメモリａを更新する画像データ３１、メモリｂを更新する画像データ３２、メモリｃを更新する画像データ３３、メモリａを更新するグローバル予測画像データ３４のいずれかを用いて下記のルールで更新する。なお、該メモリ更新は予測単位（マクロブロック単位）でフレーム毎に行われる。

（１）メモリｂ、ｃの毎フレーム更新（ステップＳ２０、Ｓ２１）
当該画像の予測に用いたメモリｂまたはメモリｃに、局所復号画像１４を書き込む。
（２）メモリａの任意フレーム更新（ステップＳ２２、Ｓ２３）
当該画像の予測に用いたメモリａにステップＳ１７のメモリａ更新判定結果１０００に基づき、任意のフレームについてのみ、または任意の時間間隔で局所復号画像１４を書き込む。

メモリａの内容はいわば背景画像などの時不変画像領域の履歴であり、シーンチェンジや画面全体の大きな動きなどによって領域の内容がおおきく変化することでもない限り、メモリ内容の更新の必要がない。

上述のように被写体などの動領域についてはフレーム単位で逐次更新し、メモリａの内容はより長い時間間隔で更新する仕組みを備えておけば、被写体の動きによって見え隠れする背景画像などの予測に効果的である。

この実施の形態では、以上の観点からメモリａの更新を任意の時間間隔で行う仕組みを設ける。具体的には例えば、
ａ．グローバル動きパラメータの大きさに基づき、動きが大きい場合は画面全体の内容を一斉に更新し、動きが小さい場合は内容を更新しない方法、
ｂ．フレーム間の時間間隔に限定されず、ある一定時間ごとに画面全体の内容を一斉に更新する方法、
ｃ．シーンチェンジを検出した場合、シーンチェンジ直後のフレームで画面全体の内容を一斉に更新する方法
などの任意更新判定基準が考えられる。

この実施の形態では、以上のような任意更新判定基準になるデータをメモリａの更新に用いるアクティビティ２６という言葉で総称する。まず、メモリａ更新判定部２７はアクティビティ２６を用いてメモリａの内容を更新するかどうかを判定する（ステップＳ１７）。上記任意更新判定基準ａの場合は動き検出部３で検出されたグローバル動きパラメータの値がアクティビティとなり、任意更新判定基準ｂの場合はタイマー８１からの当該フレームのタイムスタンプが、任意更新判定基準ｃの場合はシーンチェンジ検出部８０から出力されるシーンチェンジ検出を知らせるフラグがアクティビティ２６に相当する。

メモリａの内容を更新すると判断された場合は、局所復号画像１４の内容がグローバル予測画像データ３４として出力されてメモリａの内容を書きかえる（ステップＳ２３）。メモリａの内容を更新すると判断されなかった場合は、メモリａの更新を行わない。

なお、当該フレームにおけるメモリａ更新判定結果１０００は復号側で同様の任意更新を行うことができるよう、ビットストリーム２１に多重化されて復号側に伝送される。

図２０は、この実施の形態のビットストリーム２１を示す図である。

図２０においては、フレームデータが順に符号化されて転送される様子を概念的に示している。各フレームデータの先頭には、フレーム単位の付加情報としてヘッダ情報が付け加えられている。また、ヘッダ情報には、メモリａ更新判定結果１０００が多重化されて復号側に伝送される。ヘッダ情報の後からは、そのフレームを構成するマクロブロックデータが続いている。マクロブロックデータの内部には、そのマクロブロックデータを予測するために用いられたメモリを示す予測メモリ指示情報８００が含まれている。復号装置においては、各マクロブロックデータの予測メモリ指示情報８００に基づいて、予測画像を予測するメモリを特定して予測画像を生成する。

また、図示していないが、メモリａ更新判定結果１０００とともに、或いは、その代わりに、メモリｂ更新情報、及び／又はメモリｃ更新情報を復号側に転送するようにしても構わない。

以上述べた符号化装置により、動画像シーケンスの内容に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。すなわち、動画像
シーケンスの予測に際して、動画像シーケンスの内容や性質によって複数のメモリを使い分けて任意の変形パラメータに基づいた予測を行うので、複雑な動きまでもカバーして局所的な画像の性質に追随した効率的な動画像予測が行え、予測効率が向上し、符号化画像の品質を保ちつつ符号化データの発生量を低減させる符号化装置を構成することができる。また、この発明の予測方式に基づいて符号化されたビットストリームを復号する復号装置においても同様の予測方式により構成することができる。

この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（VOP）を符号化する装置についても同様の効果が期待できる。

また、この実施の形態では被予測画像領域の一例としてマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態では、メモリａを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル／ローカル予測の判別情報は伝送する必要がない。

また、この実施の形態において、あらかじめ動画像シーケンスの内容に基づいて生成した参照画像データを蓄積して符号化中に更新を行わないメモリを設け、それを予測に用いる構成もとることができる。

また、この実施の形態においては、メモリａ，ｂ，ｃに対してそれぞれ部分領域を蓄積するようにしてメモリ更新部１５によるメモリ更新は、メモリａ，ｂ，ｃのいずれか１つのメモリに対して行う場合を示したが、メモリａ，ｂ，ｃが画像の一部分、或いは、全部を共有して画像を蓄積するような場合には、メモリ更新部１５は、メモリａ，ｂ，ｃのうち２つのメモリ、或いは、全てのメモリを更新する。例えば、メモリａが１フレームの参照画像データを蓄積するフレームメモリであり、メモリｂが逐次更新を伴わないスタティックスプライトメモリであり、メモリｃが逐次更新を伴うダイナミックスプライトメモリである場合には、スタティックスプライトメモリは、予め固定的なデータを参照画像データとして蓄積しているため、メモリｂはメモリ更新部１５によっては更新されないが、メモリａとメモリｃが同一領域の参照画像データを蓄積している場合には、メモリ更新部１５は、メモリａとメモリｃを同時に更新することになる。このように、メモリａ，ｂ，ｃが参照画像データを重複して蓄積している場合には、重複した領域をそれぞれメモリ更新部１５が更新する。

以上のことは、以下に述べる実施の形態においても同様である。

また、この実施の形態では、３つのメモリａ，ｂ，ｃを用いる場合を示したが、いずれか２つのメモリを用いる場合であっても構わない。

また、この実施の形態で述べた動き補償部５、メモリ更新部１５とまったく同一の部材を有する予測画像生成部１００を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は３つの全ての予測画像候補を生成する必要はなく復号された動きパラメータに関わる予測画像だけを生成すればよい。

実施の形態２．
次に、図１に示した構成の符号化装置において、動き補償部５の構成だけ別の構成とし
た符号化装置の実施形態を示し、実施の形態２の動き補償部５ａの構成と動作について述べる。

この実施の形態における動き補償部５ａの内部構成を図７に示す。同図において、３５は参照メモリ決定部である。またこの動き補償部５ａの詳細な動作を記したフローチャートを図８に示す。

まず、I-フレームならば動き補償を行わない（ステップＳ２４）。I-フレームでなければ、参照メモリ決定部３５は動きパラメータ４の値に基づいて参照メモリを決定する（ステップＳ２５）。参照メモリ決定部３５は各メモリａ，ｂ，ｃに割り当てられている有効動きパラメータ値域（詳細は後述する）を保持しており、動きパラメータ４の値と比較することによって、当該動きパラメータ４がどのメモリを指しているかを判断し、メモリａ，ｂ，ｃを識別する参照メモリ指示信号２５ａを出力する。

有効動きパラメータ値域とは、例えば動きベクトルを検出する場合、その探索範囲が±１５画素だとすると、±０から３画素の範囲ではメモリａを、±４から８画素の範囲ではメモリｂを、±９から１５画素の範囲ではメモリｃを予測に用いるようにするというような、各メモリごとの有効探索範囲を意味する。ただし、グローバル動きパラメータで予測画像を生成する場合は参照メモリはメモリａと決まっているので、参照メモリ決定部３５を起動するのはローカル動きパラメータを用いるときのみとする。このように、動きベクトルの値で予測に用いるメモリを特定するのは、背景画像は動きが少なく、注目度が高い画像ほど動きが大きくなるはずであるという前提に基づくものである。このように、動きベクトルの値で予測に用いるメモリを特定する場合は、予測モードを符号化して伝送する必要がない。

次いで、選択された参照メモリ指示信号２５ａにしたがって予測画像候補６が生成される（ステップＳ２６からステップＳ３０）。具体的には、予測画像メモリアドレス算出部２２において、参照メモリ指示信号２５ａで指示されるメモリ中の予測画像候補６が存在する予測画像メモリアドレス２３を動きパラメータ４に基づいて計算し、予測画像メモリアドレス２３によってメモリ読み出し部２４が対応するメモリから予測画像候補６を取り出して出力する。

この実施の形態においてはグローバル動きパラメータもローカル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図７の動き補償部５ａを共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補６を取り出す場合（ステップＳ３１）は、常にメモリａが参照メモリとして用いられる。

有効動きパラメータ値域は、動画像シーケンス毎に一定値域でもよいが、たとえば、各フレーム毎に変更してもよい。各フレーム毎に変更する場合は、当該フレームにおける各メモリの有効動きパラメータ値域は、復号側で同様のメモリ選択を行うことができるよう、ビットストリームに多重化されて復号側に伝送される。

図２１は、この実施の形態のビットストリーム２１を示す図である。

このビットストリームの先頭には、動画像シーケンス単位に付加されたヘッダ情報がある。このヘッダ情報は、各メモリの有効動きパラメータ値域指示情報を有している。このように、動画像シーケンスの先頭に有効動きパラメータ値域指示情報を指定することにより、その動画像シーケンスに対して一定値域の有効動きパラメータ値域を用いた予測方式を復号装置で行うことができる。

フレーム毎に有効動きパラメータ値域を変更する場合は、フレーム単位に付加されたヘッダ情報の中に有効動きパラメータ指示情報を含ませればよい。

以上述べた動き補償部５ａの構成を持つ符号化装置により、フレームの局所的な動きの程度に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。

この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（VOP）を符号化する装置についても同様の効果が期待できる。

また、この実施の形態ではマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態では、メモリａを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル／ローカル予測の判別情報は伝送する必要がない。

また、この実施の形態で述べた動き補償部５とまったく同一の部材有する予測画像生成部１００を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。

実施の形態３．
次に、図１に示した構成の符号化装置において、動き補償部５の構成だけをさらに別の構成とした符号化装置の実施形態を示し、動き補償部５ｂの構成と動作について述べる。この実施の形態における動き検出部３ａは、動きパラメータ４ａとして平行移動量、アフィンパラメータ、遠近法パラメータをそれぞれ出力するものとする。

また、この実施の形態におけるメモリａは参照画像を１フレーム分記憶するフレームメモリであり、メモリｂはスタティックスプライトメモリであり、メモリｃはダイナミックスプライトメモリであるものとする。

この実施の形態における動き補償部５ｂの内部構成を図９に示す。同図において、３６は平行移動量（＝動きベクトル）、３７はアフィンパラメータ、３８は遠近法パラメータ、３９は平行移動量に基づく予測画像メモリアドレス算出部、４０はアフィンパラメータに基づく予測画像メモリアドレス算出部、４１は遠近法パラメータに基づく予測画像メモリアドレス算出部である。またこの動き補償部５ｂの詳細な動作を記したフローチャートを図１０に示す。

まず、I-フレームならば動き補償を行わない（ステップＳ３３）。I-フレームでない場合、予測画像メモリアドレス算出部３９から４１はそれぞれ動きパラメータ４ａの値に基づいて予測画像メモリアドレス２３を計算する（ステップＳ３４）。

各予測画像メモリアドレス算出部は、対応する各メモリに割り当てられている画像変形方式に基づいてアドレス計算を行う。この実施の形態においては、メモリａに平行移動、メモリｂにある程度回転や拡大・縮小などの単純な変形を伴うアフィンパラメータ、メモリｃに3次元的で複雑な動きを伴う遠近法パラメータを用いる。これらの変形方式は以下
のような変換式で表せる。

〔平行移動〕
平行移動量(a,b)：
x’ = x + a
y’ = y + b

〔アフィン変換〕
アフィンパラメータ(a,b,c,θ)：
x’ =a(cosθ)x + a(sinθ)y + b
y’ = a(-sinθ)x + a(cosθ)y + c

〔遠近法変換〕
遠近法パラメータ(a,b,c,d,e,f)：
x’ =(a x + b y + c)/(g x + h y + 1)
y’ =(d x + e y + f)/(g x + h y + 1)

ここで、２次元座標上の(x，y)は原マクロブロックの画素位置、(x’ ,y’ ）は各パラメータによって(x，y)に対応付けられるメモリ中の画素位置である。すなわち、これらのパラメータをもとに（x’ ，y’ ）のメモリ上の位置を計算する。この仕組みをもつことにより、各マクロブロックごとに動きの性質がもっとも適合するメモリから予測を行うことができるようになる。各動きパラメータ３６、３７、３８から計算した予測画像メモリアドレス２３によって、メモリ読み出し部２４が対応するメモリから予測画像候補６を取り出して出力する（ステップＳ３５からステップＳ３９）。

なお、当該フレームにおける各メモリの変形方式のタイプは、復号側で同様の動き補償を行うことができるよう、動き検出手法指示情報としてビットストリーム２１に多重化されて復号側に伝送される。

図２２は、この実施の形態のビットストリーム２１を示す図である。

動画像シーケンスの先頭に付加されるヘッダ情報の中には、動き検出手法指示情報が含まれている。符号化装置では、各メモリで使用する変形方式のタイプが変更可能であり、この対応関係を示す動き検出手法指示情報を動画像シーケンスのヘッダ情報として復号装置に送る。こうして復号装置においては、各メモリで使用する変形方式のタイプを識別することができる。

復号装置においては、この識別された変形方式のタイプが動的に各メモリに対応づけられるようになっている。

以上述べた動き補償部５ｂの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。
この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（VOP）を符号化する装置についても同様の効果が期待できる。

また、この実施の形態ではマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態では、メモリａを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル／ローカル予測の判別情報は伝送する必要がない。

また、この実施の形態では、メモリａ，ｂ，ｃを用いる場合を示したが、メモリａとｂだけを用いる場合、或いは、メモリａとｃを用いる場合、或いは、メモリｂとｃだけを用いる場合であっても構わない。

また、この実施の形態で述べた動き補償部５ｂとまったく同一の部材を有する予測画像生成部１００を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。

実施の形態４．
次に、形状情報を持った複数、例えば２つ、の異なる動画像オブジェクトが混在する動画像シーケンスを対象とし、これらの動画像オブジェクトを一括して符号化する装置の実施形態を説明する。図１１にこの実施の形態における符号化装置の構成を示す。

同図において、４２は入力画像フレーム、４３はオブジェクト分離部、４４ａ、４４ｂはオブジェクトデータ、４５ａ、４５ｂは形状ブロック、４６ａ、４６ｂはスイッチ、４７ａ、４７ｂは形状符号化部、４８ａ、４８ｂは圧縮形状ブロックデータ、４９ａ、４９ｂは局所復号形状ブロック、５０ａ、５０ｂはテクスチャデータ(マクロブロック)、５１ａ、５１ｂは動き検出部、５２ａ、５２ｂは動きパラメータ、５３ａ、５３ｂは動き補償部、５４ａ、５４ｂは予測画像候補、５５ａ、５５ｂは予測モード選択部、５６ａ、５６ｂは予測モード情報、５７ａ、５７ｂは予測画像、５８ａ、５８ｂは予測誤差信号、５９ａ、５９ｂはテクスチャ符号化部、６０ａ、６０ｂは圧縮テクスチャデータ、６１ａ、６１ｂは局所復号予測誤差信号、６２ａ、６２ｂは局所復号マクロブロック、６３はメモリ更新部、６４はメモリａ、６５はメモリｂ、６６はメモリｃ、６７はメモリｄ、６８はメモリｅ、６９はメモリｆ、７０ａ、７０ｂは可変長符号化部、７１は多重化部、７２はバッファ、７３はビットストリーム、９４はメモリ部、８８ａはＡオブジェクトを符号化するＡオブジェクト符号化部、８８ｂはＢオブジェクトを符号化するＢオブジェクト符号化部である。オブジェクト符号化部８８ａ、８８ｂは同一の部材による同一の内部構成を有する。

この符号化装置は画像フレーム４２を入力し、これがオブジェクト分離部４３において符号化単位のオブジェクトに分けられる。オブジェクト分離部４３の処理は任意の方法をとることができるものとする。

オブジェクトの形状情報は形状ブロック４５ａ、４５ｂの形式で形状符号化部４７ａ、４７ｂに送られて符号化され、圧縮形状ブロックデータ４８ａ、４８ｂとして可変長符号化部７０ａ、７０ｂに送られる。

動き検出部５１ａ、５１ｂはVM符号化方式と同様、局所復号形状ブロック４９ａ、４９ｂを考慮して動きパラメータの検出を行う。動きパラメータ検出はマクロブロック単位にメモリａからｆのすべてを用いて行うことができる。

ただし、原則としてＡオブジェクト符号化部８８ａにおいて符号化されるＡオブジェクトについてはメモリａからｃを、Ｂオブジェクト符号化部８８ｂにおいて符号化されるＢオブジェクトについてはメモリｄからｆをそれぞれ用いるものとする。

また、動きの種類としては、動きベクトルとワーピングパラメータという区別を取り去り、メモリ部９４のすべてのメモリについて任意の変形パラメータをマクロブロック単位に検出できるものとする。

動き補償部５３ａ、５３ｂで各動きパラメータ５２ａ、５２ｂに基づいてすべての予測画像候補５４ａ、５４ｂを生成した後、予測モード選択部５５ａ、５５ｂで予測画像５７ａ、５７ｂおよび予測モード情報５６ａ、５６ｂを得る。原信号またはテクスチャデータ５０ａ、５０ｂと予測画像５７ａ、５７ｂとの差分をとって予測誤差信号５８ａ、５８ｂを得、これがテクスチャ符号化部５９ａ、５９ｂで符号化されて可変長符号化部７０ａ、７０ｂに送られる。また、局所復号された予測誤差信号６１ａ、６１ｂが予測画像５７ａ、５７ｂと加算されて局所復号マクロブロック６２ａ、６２ｂとなり、メモリ更新部の指示にしたがってメモリａからｆに書き込まれる。

上記Ａ／Ｂオブジェクト符号化部８８ａ、８８ｂにおいて符号化されたＡ／Ｂオブジェクトデータは多重化部７１で１つのビットストリーム７３に多重化され、バッファ７２を介して伝送される。

以下、この実施の形態における予測について主要な動作を行う動き補償部５３ａ、５３ｂを中心に説明する。

この実施の形態における動き補償部５３ａ、５３ｂは、動き検出部５１ａ、５１ｂで検出した動きパラメータ５２ａ、５２ｂに基づいて予測画像候補を生成する。動き補償部５３ａの内部構成を図１２に示す。また、Ａオブジェクト符号化部８８ａにおける動き補償部５３ａの動作のフローチャートを図１３に示す。なお、動き補償部５３ｂでも同様に構成され同様に動作する。

図１２において、７４ａはＢオブジェクト参照判定部、７５ａはＢオブジェクト参照指示フラグである。

ここで動きパラメータ５２ａは検出に用いたメモリ情報も含むものとする。パラメータの値から実施の形態１と同様に、予測画像メモリアドレス算出部２２ａ、メモリ読み出し部２４ａを用いて予測画像候補を生成する（ステップＳ４４からステップＳ４９）。また、Ｂオブジェクト参照判定部７４ａは動きパラメータ５２ａの中の参照するメモリ情報から、当該マクロブロックの予測にＢオブジェクト用のメモリを使用しているかどうかを判定する（ステップＳ４３）。

Ｂオブジェクト参照判定部７４ａは、判定結果をＢオブジェクト参照指示フラグ７５ａとして出力し、復号側で当該オブジェクトが単独で、自身のメモリａ，ｂ，ｃのみを用いて再生できるかどうかの判定に用いるため、ビットストリーム７３に多重化されて復号側に伝送される。符号化時には、外部から与える信号８５ａにより、常に復号側で当該オブジェクトの単独再生が可能になるように、動きパラメータの検出に際して、自身の予測用のメモリ（ａ，ｂ，ｃ，のみ）しか使用しないように制御することも可能とする。

以上述べた動き補償部５３ａ、５３ｂの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。

また、この実施の形態ではオブジェクトをマクロブロック単位に符号化する装置について述べたが、任意の形状を持つ部分画像または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの単位で符号化する装置についても、同様の
効果が期待できる。

また、この実施の形態で述べた動き補償部５３ａ、５３ｂと同一の部材を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部５３は復号された動きパラメータに関わる予測画像だけを生成すればよい。また、ビットストリームから他オブジェクト参照指示フラグ７５ａ、７５ｂ相当のビットを復号して、復号中のオブジェクトが単独で再生できるかどうかを認識できる構成とすれば、オブジェクトデータを誤りなく復号再生できるようになる。

実施の形態５．
次に、動画像オブジェクトの時間的変化に対応して、メモリの数または容量を自在に変化可能な構成の符号化装置の実施形態を説明する。実施の形態５においては、図１に示した構成の符号化装置におけるメモリ更新部１５の構成を置きかえた符号化装置を考える。

図１４にこの実施の形態におけるメモリ更新部１５ａの内部構成を示す。同図において、７６はメモリ拡張判定部、７７はメモリ拡張指示信号、７８はメモリ縮退判定部、７９はメモリ縮退指示信号である。図１５にメモリ更新部１５ａの動作フロー（ステップＳ５１からステップＳ６３）を示す。

シーンチェンジなどによりメモリに蓄積されていた動画像シーケンスの履歴とは著しく異なる画像が現れた場合、シーンチェンジ後の予測においては、既存メモリに含まれる参照画像だけでは予測効率が劣化することがある。そのような場合、シーンチェンジ検出部８０によりシーンチェンジを検出し、シーンチェンジ直後のフレームはイントラフレーム符号化するなどして、それを新たな参照画像としてメモリに追加蓄積しておくことができれば、それ以降の予測効率を向上できる。

また、追加できるメモリの容量には物理的限界があるため、メモリ上の参照画像のうち、ほとんど予測に使われない部分を逐次縮退できる仕組みも持たせる。メモリａ，ｂ，ｃの各メモリ領域予測に使われる頻度を予測モード８に基づいてメモリ更新部１５ａで計測しておき、メモリ更新部に頻度の小さいメモリ領域を使用領域から開放する仕組みをもたせる。この実施の形態によれば、例えばソフトウエアで符号化装置を構成するような場合、限られたRAM（ランダムアクセスメモリ）資源を有効に活用することができる。

以上の観点から、この実施の形態におけるメモリ更新部１５ａは、動画像シーケンスの時間的変化の状況に応じてメモリ領域を増やしたり、予測にあまり使われない参照画像を含むメモリ領域を縮退したりする機能を備える。

メモリａについては、実施の形態１と同様、メモリａ更新判定部２７において更新の可否が決定され（ステップＳ５０）、更新する場合は局所復号画像１４をメモリａに書き込む（ステップＳ５６、ステップＳ５７）。また、予測モード８にしたがって各メモリへ局所復号画像１４が書き込まれる（ステップＳ５１からステップＳ５５）。

これらメモリ内容更新は、メモリ拡張／縮退の判定をともなって行われる。メモリ拡張判定部７６においては、メモリａの更新に用いるアクティビティ２６をもとにメモリａ（またはメモリｂ，ｃ）の容量を増やすかを判定する（ステップＳ５８からステップＳ６０）。シーンチェンジなどにより容量を増やした方がよいと判定されれば、メモリ拡張指示信号７７によってメモリの拡張が指示される。また、メモリ縮退判定部７８においては、予測モード８をもとに予測に用いられるメモリ領域のカウントをおこなっておき、所定の回数以下しか予測に用いられないメモリ領域については、メモリ縮退指示信号７９によってメモリの縮退が指示される（ステップＳ６１からステップＳ６３）。

以上述べたメモリ更新部１５ａの構成を持つ符号化装置により、動画像シーケンスの時間的変化に追随して効率のよい予測が行えるとともに、予測に必要なメモリ領域をダイナミックに割り当てる仕組みが供給され、予測効率を向上させるとともにメモリ資源の有効活用が可能になる。

この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（VOP）を符号化する装置についても同様の効果が期待できる。

また、この実施の形態ではフレームをマクロブロック単位に符号化する装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロック領域などの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態で述べたメモリ更新部１５ａとまったく同一の部材を用いた復号装置を構成することもできる。

実施の形態６．
上記の各実施の形態においてはマクロブロックで予測に使用するメモリを変更する場合を示したが、フレームもしくは動画像オブジェクトの単位で、予測に使用するメモリを変更して予測を行う構成をとることもできる。これにより、フレームもしくは動画像オブジェクトの単位で符号化すべきメモリ関連の情報、およびマクロブロック単位で符号化すべきメモリ選択情報（予測モード８に含まれる）を符号化する必要がなくなり、効率的な符号化を行うことができる。

例えば実施の形態１における図１の符号化装置においては、マクロブロック単位で予測に使用するメモリを切替えることが可能になっているため、マクロブロック単位でどのメモリを予測に使用したかを示す付加情報を伝送する必要がある。これに対して、本実施の形態ではこの使用メモリの切替の単位をフレームまたは動画像オブジェクトに制限して予測を行うことにより、マクロブロック単位に伝送すべき付加情報を効果的に削減することを可能とする。図２３に、図２０に示した実施の形態１の伝送ビットストリーム２１と本実施の形態の伝送ビットストリーム２１との違いを示す。図２３に示す例は、フレーム単位に予測に使用するメモリを変更する場合を示しており、予測メモリ指示情報８００がフレーム単位のヘッダ情報に含まれている。図２３に示す例は、例えば、動画像シーケンスの映像の性質が定常的に変化せず、マクロブロックレベルの局所的な変化が少ないような場合に有効である。また、以上のようにして符号化されたビットストリームを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。

実施の形態７．
上記の各実施の形態において、複数のメモリのうち、任意の複数、例えば２つ、のメモリ（例えばメモリａとｂ）から取り出された２つの予測画像候補を加算平均した画像を予測画像候補６の１つとする構成または予測画像９として用いる構成にすることができる。また、以上のようにして符号化されたビットストリームを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。

実施の形態８．
上記の各実施の形態に示した符号化装置において、予測を行う単位となる画像領域の空間的な複雑さ、注視度、などを規定する特徴量パラメータをあらかじめ検出しておき、これらを予測モード決定、メモリ更新の際の判定尺度として利用する構成をとることができる。

例えば、複雑な動きを含み、与えられた符号量内で許容品質を達成する符号化を行うことが困難な動画像を想定する。このような場合は、被予測画像領域（マクロブロック、任意形状画像領域、任意形状ブロックなど）ごとに重要度を見極め、重要度の低い領域はある程度品質を落して符号量を減少させ、その分を重要度の高い領域に割り当てて全体の品質を向上させる。本発明のように複数のメモリを任意のタイミングで切り替えて予測を行う装置では、被予測画像領域の重要度を表す特徴量パラメータを検出して、これに基づいて動的にメモリ使用方法を決定することにより、より画像の性質に適応した予測を行うことができる。例えば、図１６に示すように、領域ごとに特徴量パラメータを検出して重要度を決定する領域重要度検出部９５を設ける。領域重要度検出部９５は領域重要度を予測モード選択部７ａへ伝えるとともに領域重要度に基づく量子化パラメータをテクスチャ符号化部１１ａへ伝える。領域重要度検出部９５で重要度が高いと判定された領域は、複数用意された予測モードのうち、もっとも複雑なモードを用いて予測を行う。例えば、各メモリａ，ｂ，ｃからの参照画像を用いてそれぞれ複雑な動きモデルに基づいた動きパラメータと予測画像を求め、これら予測画像の任意の組み合せ（加算平均など）も含めて最も予測効率の高い予測モードを予測モード選択部７ａにおいて選択する。この際、予測に使用したすべてのメモリに対して参照画像を更新する。さらに、テクスチャ符号化部１１ａでは、量子化ステップ幅が細かい量子化パラメータにより符号化を行う。一方、重要度の低い領域では、簡易な予測モード（１つのメモリだけを用いた平行移動量検出）によって予測を行い、得られた予測誤差信号の振幅に関わらず少ない符号量になるように、量子化ステップの粗い量子化パラメータを用いて符号化する。以上の制御を行うことによって、重要度の低い領域はある程度品質を落しても、重要度の高い領域は高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。

実施の形態９．
複数のメモリを用いて動画像シーケンスを予測、符号化する装置において、動画像シーケンスの各時刻において使用可能な符号量、あるいは当該時刻でのシーンの変化量（シーンチェンジ検出など）、実施の形態８で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における画像の予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。例えば、図１７のように、フレーム単位で重要度を決定するフレーム重要度検出部９６を設け、前フレームに対する当該フレームの変化量（シーンチェンジ検出部８０からのシンーンチェンジを検出）、新しいオブジェクトの出現・隠蔽の有無などを検出し、送信バッファ２０から通知される当該フレームで使用できる符号量を考慮して最終的なフレーム重要度を決定する。これに基づいて、重要度の高いフレームでは用意されたすべての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いフレームでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、シーンチェンジ時に予測を行わずにすべてイントラフレーム符号化する装置も考えられる。さらに、実施の形態８で述べた領域重要度検出部９５と併用すれば、よりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いフレームはある程度品質を落しても、重要度の高いフレームは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。

本実施の形態の考え方は、処理プロセスや使用可能なメモリ量が流動的なソフトウエアによる符号化の際に、利用できる資源を最大限に活用して効率よく符号化処理を行わせる場合にも適用可能である。重要度の低いフレームでは処理量を低減でき、全体の処理速度を向上させることができる。

実施の形態１０．
図１１に示したような、複数のメモリを用いて複数の動画像オブジェクトから構成される動画像シーケンスを予測、符号化する装置において、シーケンスとして使用できる総符号量、各動画像オブジェクトの各時刻において使用可能な符号量、あるいは当該時刻での動画像オブジェクトの変化量（オブジェクトの出現、隠蔽など）、各動画像オブジェクトのシーンの中での重要度／注視度のレベル、実施の形態８や９で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における動画像オブジェクトの予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。

例えば、図１８のように、各オブジェクト１〜ｎに対応する重要度検出部９７ａ〜９７ｎを設け、オブジェクトの各時刻における変化量やオブジェクトの出現・隠蔽の有無などを表すパラメータを検出するとともに、すべてのオブジェクトの符号化データが蓄積される全体バッファ７２ｘの占有率、各オブジェクトの仮想バッファ７２ａ〜７２ｎの占有率とを考慮して、各時刻においてオブジェクトの重要度を決定する。例えば、オブジェクト内に他のオブジェクトの一部が重なるなどの結果として新しいタイプの領域が出現した場合、これは以降の予測効率に大きく影響するため、ある程度オブジェクトの仮想バッファに余裕のない場合であっても重要度を高くし、符号化画像をきれいにしておく、などの制御が考えられる。重要度検出部９７ａ〜９７ｎで検出された重要度はオブジェクト１〜Ｎ符号化部９８ａ〜９８ｎに渡され、重要度の高いオブジェクトでは用意されたすべての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いオブジェクトでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、フレームからリアルタイムにオブジェクト分離を行って符号化する装置では、新しいオブジェクトの出現や、既存オブジェクトの隠蔽などによって当該オブジェクトの内容が著しく変化した場合に、予測を行わずにすべてイントラフレーム符号化する装置も考えられる。さらに、オブジェクト１〜Ｎ符号化部９８ａ〜９８ｎにおいて実施の形態８で述べた領域重要度検出部９５も併用すれば、オブジェクト内の各被予測対象領域単位によりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いオブジェクトはある程度品質を落しても、重要度の高いオブジェクトは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。

実施の形態１１．
また、図１９に示すように、予測に関する符号化情報（参照メモリ番号など）の符号割り当て（符号化）を行う予測情報符号化部９１を設ける場合がある。

複数のメモリａ，ｂ，ｃを用いて動画像シーケンスまたは動画像オブジェクトを予測、符号化する装置において、予測に用いられるメモリの使用頻度に応じて複数のメモリのランク付けを行い、かつこのランク付けを符号化中にダイナミックに変更することができるようにして、上記予測情報符号化部９１における予測に関する符号化情報（参照メモリ番号など）の符号割り当てを、予測に用いる複数のメモリのランクに応じて行うようにする構成をとることができる。

例えば、図１９の符号化装置において、メモリ更新部１５ｂに、メモリａ，ｂ，ｃそれぞれの予測に用いられる頻度をカウントするカウンタ９２を設けておき、そのカウント値にしたがってメモリａ，ｂ，ｃをランク付けし、ランク情報９０を出力する。このランク付けは、例えば１フレームもしくは動画像オブジェクトのある時刻における画像（VOP）
を単位に行ってもよいし、より細かい単位である被予測画像領域（マクロブロック、任意形状領域、任意形状ブロックなど）毎に行うこともできる。

これにより、どのメモリがどれだけ頻繁に予測に使われるかを認識できる。頻繁に予測
に用いられるメモリは、予測を行うにあたって重要度の高いメモリであり、参照頻度が高いほどランクを高くする。

このようにして、各被予測画像領域単位に予測に用いたメモリの頻度情報を符号化する場合、頻繁に参照するメモリ（＝ランクが高いメモリ）には短い符号長を割り当てるほうが符号化効率が高まる。

また、各被予測画像領域単位に検出した動きパラメータも、参照したメモリのランクに対応して符号長を割り当てることができれば、頻繁に発生する動きパラメータ値に対して短い符号長を割り当てることができ、効率的な予測情報の符号化が可能になる。これらの仕組みは、可変長符号化・多重化部１９の予測情報符号化部９１がメモリ更新部１５ｂのカウンタ９２から各メモリのランクを受け取るようにしておき、このランク情報９０に基づいて符号長を可変にして予測情報の符号化を行う構成で実現できる。

実施の形態１２．
図２４は、本実施の形態における、圧縮符号化されたディジタル画像を伸長再生する画像復号装置の構成を示したものである。同図において、
２１は符号化されたビットストリーム、１１９は可変長復号部、１２は量子化DCT係数、
１２ａは量子化直交変換係数、１２ｂは量子化ステップ、１１１はテクスチャ復号部、１１１ａは逆量子化部、１１１ｂは逆直交変換部、１９０は復号加算部、１０１は復号画像、１９１は表示制御部、８は予測モード、１００１はメモリｂ更新情報、１００２はメモリｃ更新情報、４は動きベクトル（動きパラメータ）、８００は予測メモリ指示情報、１９５は被予測画像領域の画面内位置、１０５は動き補償部、１１６はメモリａ、１１７はメモリｂ、１１８はメモリｃ、１１５はメモリ更新部、１０６は予測画像である。動き補償部１０５とメモリ更新部１１５により予測画像生成部１００ａを構成している。また、メモリａ，ｂ，ｃによりメモリ領域２００ａを構成している。

この実施の形態では、メモリａは１フレーム分の画像データを蓄積するフレームメモリであり、メモリｂはスタティックスプライトメモリであり、メモリｃはダイナミックスプライトメモリであるものとする。また、この実施の形態の復号装置は、図２２に示したビットストリーム２１を入力するものとする。また、図２２には示していないが、メモリｂ更新情報１００１及びメモリｃ更新情報１００２がビットストリームの中で送られてくるものとする。メモリｂ更新情報１００１には、スタティックスプライトメモリを全面更新するための更新指示と全面更新するための画像データが含まれているものとする。同様に、メモリｃ更新情報１００２には、ダイナミックスプライトメモリを全面更新する更新指示と全面更新するための画像データが含まれているものとする。

以下、上記構成の装置の動作を説明する。まず、可変長復号部１１９においてビットストリーム２１が解析され、個々の符号化データに切り分けられる。量子化直交変換係数１２ａは逆量子化部１１９ａに送られ、量子化ステップ１２ｂを用いて逆量子化される。この結果が逆直交変換部１１１ｂにおいて逆直交変換されテクスチャが復号され、復号加算部１９０に送られる。直交変換はDCT（離散コサイン変換）など、符号化装置側で用いる
ものと同じものを用いる。

動き補償部１０５には、可変長復号部１１９でビットストリーム２１から復号された動きベクトル４、予測メモリ指示情報８００と、被予測画像領域の画面内位置１９５を示す情報が入力される。動き補償部１０５は、これらの３種類の情報にしたがって複数のメモリａ，ｂ，ｃに格納されている参照画像から所望の予測画像を取り出す。被予測画像領域の画面内位置１９５はビットストリームに含まれている情報ではなくマクロブロックの数をカウントすることにより計算できる。予測画像生成の処理については以下の動き補償部
１０５の動作説明の箇所で詳述する。

復号加算部１９０は、予測モード８の情報に基づいて、イントラフレーム符号化されたブロックならば逆直交変換部１１１ｂの出力をそのまま復号画像１０１として出力し、インターフレーム符号化されたブロックなら逆直交変換部１１１ｂの出力に予測画像１０６を加算して復号画像１０１として出力する。復号画像１０１は表示制御部１９１に送られ、表示デバイスに出力されるともに、以降の復号処理において参照画像として用いるためにメモリａ〜ｃに書き込まれる。メモリへの書き込みは予測モード８に基づいて、メモリ更新部１１５で制御される。

次に、予測画像生成部１００ａの動き補償部１０５における予測画像生成処理について説明する。本実施の形態では、画像の予測方式は予測メモリ指示情報８００に基づいて決定される。本実施の形態による復号装置では、予測画像を生成するにあたって、動きベクトル４と予測メモリ指示情報８００とに基づいて、所定の座標変換処理および内挿処理により参照画像から予測画像を生成する。座標変換処理の方法はあらかじめ予測に使用するメモリに対応づけられているものとする。例えば、実施の形態３で述べた画像変形方式と同じ以下のような変形手法の例を考えることができる。

（１）メモリａを予測に用いる場合（＝予測メモリ指示情報８００がメモリａの使用を指示している場合）
動きベクトルによって被予測対象領域の各画素の座標を平行移動させ、メモリａ中の対応する位置の画像データを予測画像として取り出す。
（２）メモリｂを予測に用いる場合（＝予測メモリ指示情報がメモリｂの使用を指示している場合）
動きベクトルに基づいてアフィン変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリｃ中の対応する位置の画像データを予測画像として取り出す。
（３）メモリｃを予測に用いる場合（＝使用メモリ指示情報がメモリｃの使用を指示している場合）
動きベクトルに基づいて遠近法変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリｂ中の対応する位置の画像データを予測画像として取り出す。

動き補償部１０５の内部構成を図２５に示す。同図において、１６１はスイッチ、１６２はメモリａ用対応点決定部、１６３はメモリｂ用対応点決定部、１６４はメモリｃ用対応点決定部、１６５はメモリ読み出しアドレス生成部、１６６はスイッチ、１６７は内挿処理部である。また、図２６はその動作の様子を示すフローチャートである。

以下、図２５および図２６をもとに、本実施形態における動き補償部１０５の動作を説明する。
１）対応点の決定
まず、予測メモリ指示情報８００に基づき、スイッチ１６１によって対応するメモリ用の対応点決定部を選択し、選択された対応点決定部に動きベクトル４を入力する。ここでは、各メモリに対応した予測画像位置の算出を行う。以下、メモリ対応で説明する。

１ー１）予測メモリ指示情報８００がメモリａを指示している場合（ステップＳ１００）
動きベクトルによる平行移動によって、予測画像位置を算出する（ステップＳ１０１）。具体的には、動きベクトル(a,b)によって、被予測画像領域の位置(x,y)の画素に対する予測画像位置(x',y')を下式によって決定する。

x’ = x + a
y’ = y + b
決定された予測画像位置をメモリ読み出しアドレス生成部１６５に出力する。

１ー２）予測メモリ指示情報８００がメモリｂを指示している場合（ステップＳ１０３）
動きベクトル４に基づいてアフィン変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きベクトルを用いて、下式のアフィンパラメータ(a,b,c,θ)を決定する。

x’ = a(cosθ)x + a(sinθ)y + b
y’ = a(-sinθ)x + a(cosθ)y + c

これにより、被予測画像領域の位置(x,y)の画素に対する予測画像位置(x',y')を求め、メモリ読み出しアドレス生成部１６５に出力する（ステップＳ１０４）。

１ー３）予測メモリ指示情報８００がメモリｃを指示している場合（ステップＳ１０６）
動きベクトルに基づいて遠近法変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きベクトルを用いて、下式の遠近法パラメータ(a,b,c,d,e,f)を
決定する。

x’ =(a x + b y + c)/(g x + h y + 1)
y’ =(d x + e y + f)/(g x + h y + 1)

これにより、被予測画像領域の位置(x,y)の画素に対する予測画像位置(x',y')を求め、メモリ読み出しアドレス生成部に出力する（ステップＳ１０７）。

２）予測画像生成用データの読み出し
選択された対応点決定部から出力される予測画像位置(x'y')を基に、メモリ読み出しアドレス生成部１６５がメモリに蓄積されている参照画像中の予測画像生成に必要な画像データの位置を特定するメモリアドレスを生成し、予測画像生成用データを読み出す（ステップＳ１０２、Ｓ１０５、Ｓ１０８）。

３）予測画像の生成
予測画像を構成する画素のうち、整数画素位置の画素ならば、予測画像生成用データがそのまま予測画像構成画素となる。一方、実数精度の画素位置の画素の場合、内挿処理部１６７によって予測画像生成用データの内挿処理によって内挿画素値が生成される（ステップＳ１０９，Ｓ１１０，Ｓ１１１）。内挿画素値の生成は図２６による。図２６において、(i_p,j_p)は整数画素位置を示し、(i',j')は実数精度の画素位置を示し、ｗは重みを示す。

４）メモリ（参照画像）の更新
図２８に、メモリ更新部１１５の制御のフローチャートを示す。メモリ更新部１１５では、予測モード８（又は、予測メモリ指示情報８００）に基づいて予測画像取り出しの単位（例えばマクロブロック単位）で各メモリの更新を制御する。メモリａを用いて予測した場合（ステップＳ１１２）は、復号画像１０１によって逐次、メモリａおよびｃの内容を更新する（ステップＳ１１３）。メモリｂを用いて予測した場合（ステップＳ１１４）は、メモリｂはスタティックスプライトメモリなので、メモリｂの参照画像は予測画像取り出しの単位では更新しない。しかし、復号画像１０１によって逐次、メモリａおよびびｃの内容を更新する（ステップＳ１１５）。一方、メモリｂ更新情報１００１による更新指示を受けた場合、メモリｂ更新情報１００１に含まれる画像データを受け取りメモリｂ
の内容を全面更新する（ステッブＳ１１６）。また、メモリｃを用いて予測した場合（ステップＳ１１７）は、復号画像１０１によって逐次、メモリａおよびｃの内容を更新する（ステップＳ１１８）。また、メモリ更新情報により更新指示を受けた場合に、メモリｃ更新情報１００２に含まれる画像データを受け取りメモリｃの内容を更新する（ステップＳ１１９）。

この実施の形態においては、メモリａ，ｂ，ｃの３つのメモリを用いる場合を示したが、２つのメモリを用いる場合であっても構わない。例えば、メモリａとｂ、即ち、フレームメモリとスタティックスプライトメモリを用いる場合でも構わない。或いは、メモリａとｃ、即ち、フレームメモリとダイナミックスプライトメモリを用いる場合でも構わない。

以上のように、本実施の形態の復号装置によれば、画像の動きに対応して様々な種類の動きパラメータを用いて効率よく予測を行った符号化されたビットストリーム２１を復号できるとともに、符号化側で定められるタイミングで参照画像の内容を任意に更新する仕組みに対応できるので、より画像の性質に適応した復号処理を行うことが可能である。

本実施の形態では、直交変換符号化以外の別の符号化方式によって予測誤差信号を符号化したビットストリームであっても、動き補償部・メモリ更新部以外の、予測誤差信号復号処理のための部材を変更することで同様の効果を得ることができる。

また、本実施の形態は、固定サイズブロックを単位として復号処理を行うような通常のテレビ信号のフレームを単位とする復号装置に適用できるだけでなく、被予測対象領域を固定サイズブロックに限定せずに、任意形状画像オブジェクト（例：ISO/IEC JTC1/SC29/WG11/N1902で開示されるVideo Object Planeなど）を単位とする復号装置にも適用可能である。

以上説明したように、この発明の実施の形態によれば、参照用画像を蓄積するメモリ領域を複数個持つので、動画像シーケンスの性質に応じてメモリに振り分けて蓄積することができ、また、複数のメモリ領域のうち１つ以上のメモリ領域の内容を任意のタイミングで更新可能なので、背景画像などの時不変な画像内容は長時間内容の更新を行わず、局所的に変化する画像領域は頻繁にメモリ内容を更新するなどの制御が可能となり、動画像シーケンスの履歴を生かした効率的な予測が行える。

また、複数のメモリ領域それぞれに、各メモリ領域が有効となる変形パラメータ値域を設定し、被予測画像領域の変形パラメータの値に応じてメモリ領域を切り替えて予測に用いるるので、動画像シーケンスの局所的／大域的な動きの大きさに応じて効率的な予測が行える。同時に、被予測画像領域ごとに符号化すべき動きパラメータは参照メモリ領域の有効動きパラメータ値域の範囲内で効率的に符号化することができる。

また、複数のメモリ領域それぞれに、各メモリで有効となる変形手法を設定し、被予測画像領域の変形パラメータの種類に応じてメモリを切り替えて予測できるので、動画像シーケンスの局所的／大域的な動きの複雑さに応じて効率的な予測が行える。同時に、被予測画像領域の動きの性質にあわせて変形手法を適宜選択できることで、動きパラメータを効率的に符号化することができる。

Claims (2)

1. 動画像を予測する動画像予測装置において、
   予測に使用される複数の参照画像の画像データを各々記憶するための複数の参照画像メモリと、
   予測される画像と前記参照画像メモリに記憶された参照画像との間の動きを示す動きパラメータと、予測に使用される参照画像メモリを示す参照メモリ指示信号と、各参照画像メモリを更新するか否かを示す更新情報とを受信するとともに、前記参照メモリ指示信号によって示された参照画像メモリに記憶された参照画像を用いて予測画像を生成する動き補償部、及び参照画像メモリ毎に受信した前記更新情報に基づき前記参照画像メモリに記憶された前記各参照画像データの記憶期間を動的に制御するメモリ更新部を有する予測画像生成部とを備え、
   前記参照メモリ指示信号の符号長を決定するパラメータに基づいて前記参照メモリ指示信号の符号長が可変に制御されることを特徴とする動画像予測装置。
2. 動画像予測方法において、
   予測画像生成に用いる複数の参照画像をそれぞれ複数の参照画像メモリに記憶する記憶ステップと、
   予測される画像と前記参照画像メモリに記憶された参照画像との間の動きを示す動きパラメータと、予測に使用される参照画像メモリを示す参照メモリ指示信号と、各参照画像メモリを更新するか否かを示す更新情報とを受信するステップと、
   前記参照メモリ指示信号によって示された参照画像メモリに記憶された参照画像を用いて予測画像を生成する動き補償ステップと、
   参照画像メモリ毎に受信した前記更新情報に基づき前記参照画像メモリに記憶された前記各参照画像データの記憶期間を動的に制御するステップとを備え、
   前記参照メモリ指示信号の符号長を決定するパラメータに基づいて前記参照メモリ指示信号の符号長が可変に制御されることを特徴とする動画像予測方法。