CN101026762B - 运动图像预测装置和方法 - Google Patents

Abstract

获得一种根据动态图象的场面内容和重要程度、移动的性质等，进行高精度的预测的动态图象编码方式。备有：存储参照用图象的多个存储区；能与表现被预测图象区的移动的任意的变形参数对应，根据该变形参数，利用上述多个存储区上的任意数据生成预测图象的移动补偿装置；以及能在任意时间间隔内更新上述多个存储区中1个以上的存储区的内容的存储器更新控制装置。

Description

运动图像预测装置和方法

本申请是申请人三菱电机株式会社于1998年1月22日提交的发明名称为“动态图象译码装置和方法”的中国专利申请200310124564.8的分案申请。

技术领域

本发明涉及例如在电视电话、电视会议等中用于图象通信的便携式及固定式图象通信机器等中使用的动态图像编码/译码装置，在数字VTR、视频服务器等图象存储、记录装置等中用的动态图象编码/译码装置，在以单独软件或DSP(Digital Signal Processor)固件形式安装的动态图象编码/译码程序等中用的动态图象的预测。

背景技术

作为现有的动态图象编码/译码方式中的预测编码/译码例可以举出ISO/IEC JTC1/SC29/WG11中进行标准化作业的MPEG-4(Moving Picture Experts Group Phase-4)的视频编码/译码参照方式(Verification Model，以下称VM)。VM伴随MPEG-4的标准化作业的进行，方式的内容发生变化，但这里设想VM Version5.0，以下只表为VM。

VM是将动态图象顺序取作在时间/空间上取任意形状的图象目标的集合体，以各图象目标为单元进行编码/译码的方式。图29中示出了VM中的视频数据结构。在VM中，将包含时间轴的动态图象目标称为Video Objedt(VO)，将表示VO在各时刻的状态、成为编码单元的图象数据称为 Video Objedt Plane(VOP)。当VO在时间/空间上具有层次性时，在VO和VOP之间特别设有称为Video Objedt Layer(VOL)的单元，表现VO内的层次结构。各VOP被分为形状信息和结构信息。但是，在动态图象顺序中当VO为1个时，各VOP便与帧同义。这时，不存在形状信息，只进行结构信息的编码/译码。

如图30所示，VOP具有由表现形状信息的初始数据和表现结构信息的结构数据构成的结构。各数据被分别定义为由16×16个样本构成的块(初始块、宏块)的集合体。初始块内的各样本用8位表现。宏块伴随16×16个样本的辉度信号，包含与其对应的色差信号。根据动态图象顺序制作VOP数据的处理是在本编码装置以外进行的。

图31表示采用VM编码/译码方式的VOP编码装置的结构。该图中，P1是输入的原VOP数据，P2是表现VOP的形状信息的初始块，P3a是传送输入的原VOP数据的形状信息的有无用的开关，P4是对初始块进行压缩编码的形状编码部，P5是压缩的初始块数据，P6是局部译码初始块，P7是结构数据(宏块)，P8是移动检测部，P9是移动参数，P10是移动补偿部，P11是预测图象候选，P12是预测方式选择部，P13是预测方式，P14是预测图象，P15是预测误差信号，P16是结构编码部，P17是结构编码信息，P18是局部译码预测误差信号，P19是局部译码宏块，P20是子画面存储器更新部，P21是VOP存储器，P22是子画面存储器，P23是长度可变编码·多路复用部，P24是缓冲器，P25是编码位流。

另外，图32示出了简要说明该编码装置的工作的流程。

在图31所示的编码装置中，原VOP数据P1首先被分成初始块P2和宏块P7(步PS2、步PS3)，初始块P2被送到形状编码部P4，宏块P7被送到移动检测部P8。形状编码部P4是进行初始块P2的数据压缩的处理块(步PS4)，本发明不是关于形状信息的压缩方法，所以该处理的详细说明从略。。

形状编码部P4的输出是压缩初始块数据P5和局部译码初始块P6，前者被送给长度可变编码·多路复用部P23，后者被分别送给移动检测部P8、移动补偿部P10、预测方式选择部P12和结构编码部P16。

移动检测部P8(步PS5)接收宏块P7，利用VOP存储器P21中存储的参照图象数据和局部译码初始块P6，检测每个宏块局部的移动矢量。这里，移动矢量是移动参数的一个例子。已经编码的VOP的局部译码图象被存入VOP存储器P21。每次宏块的编码结束后，便依次用该局部译码图象更新VOP存储器P21的内容。另外移动检测部P8还同时具有接收全部原VOP的结构数据，利用子画面存储器P22中存储的参照图象数据和局部译码初始数据，检测全局的弯曲参数的功能。后文将详细说明子画面存储器P22。

移动补偿部P10(步PS6)利用由移动检测部P8检测的移动参数P9和局部译码初始块P6，生成预测图象候选P11。其次，在预测方式选择部P 12中，用预测误差信号电力和原信号电力，确定该宏块最后的预测方式P13及预测图象P14(步PS7)。由预测方式选择部P12进行是内部帧编码/中间帧编码两者中的哪一种编码的判断。

在结构编码部P16中，根据预测方式P13，预测DCT(Discrete Cosine Transform)、量子化、得到的量子化DCT系数后，或直接将预测误差信号P15或原宏块本身送给长度可变编码部·多路复用部P23，进行编码(步PS8、步PS9)。长度可变编码·多路复用部P23根据预定的语法和长度可变编码代码，将接收的数据变换成位流，进行多路复用(步PS10)。量子化DCT系数经过逆量子化、逆DCT，变成局部译码预测误差信号P18后，与预测图象P14相加后得到局部译码宏块P19(步PS11)。局部译码宏块P19被写入VOP存储器P21及子画面存储器P22，用于以后的VOP的预测(步PS12)。

以下，详细说明进行预测的部分、特别是预测方式和移动补偿、 子画面存储器P22及VOP存储器P21的更新控制。

(1)VM中的预测方式

如图33所示，在VM中通常有4种VOP编码类型，能对每一宏块选择各类型中用○表示的预测方式。采用I-VOP时完全不进行预测，全部进行内部帧编码。P-VOP能进行从过去的VOP开始的预测。B-VOP在预测中能使用过去及未来的VOP。

以上的预测是全部由移动矢量进行的预测。另一方面，Sprite-VOP是可以使用子画面存储器的预测。所谓子画面是指这样一种图象空间，即在VOP单元中检测下式

x’＝(ax+by+c)/(gx+hy+1)

y’＝(dx+ey+f)/(gx+hy+1)

所示的弯曲参数集

$\stackrel{\→}{\mathrm{\α}}=(a,b,c,d,e,f,g,h)$

(→表示矢量。以下同)

以此为根据，通过依次混合VOP而生成的图象空间，并被存入子画面存储器P22。

这里，(x，y)是原VOP在二维坐标上的象素位置，(x’，y’)是根据弯曲参数而与(x，y)对应的子画面存储器中的象素位置。在Sprite-VOP的各宏块中，统一地使用该弯曲参数集，确定子画面存储器中的(x’，y’)，能生成预测图象进行预测。严格地说，子画面中预测用的″动态子画面″和用于预测的同时在译码侧以近似地合成VOP为目的用的″静态子画面″是有区别的。但在下述的图34～图37中，按″子画面″的意义使用动态子画面。

用移动检测部P8检测以上用于预测的移动矢量及弯曲参数。将它们统称为移动参数P9。

(2)移动补偿部

移动补偿部P10例如取图34所示的内部结构。在该图中，P26是弯曲参数，P27是移动矢量，P28是全局移动补偿部，P29是局部移动补偿部，P30是由弯曲参数决定的预测图象候选，P31是由移动矢量决定的预测图象候选。将由弯曲参数决定的预测图象候选P30及由移动矢量决定的预测图象候选P31总称为预测图象候选P11。

图35中的步PS14至步PS21简要地示出了移动补偿部P10的工作流程。

在移动补偿部P10中，利用由移动检测部P8对每个宏块P7检测的VOP总体的弯曲参数P26或宏块单元的移动矢量P27，生成预测图象候选P11。在全局移动补偿部P28中进行使用弯曲参数P26的移动补偿，在局部移动补偿部P29中进行使用移动矢量P27的移动补偿。

在I-VOP的情况下，移动补偿部P10不工作(步PS14至步PS21)。在I-VOP以外的情况下，局部移动补偿部P29工作，利用移动矢量P27，从VOP存储器P21内的过去的VOP局部译码图象取出预测图象候选(PR1)(步PS15)。在I-VOP的情况下，只使用该预测图象候选(PR1)。

在步PS16中，在B-VOP的情况下，再在局部移动补偿部P29中，利用移动矢量P27从VOP存储器P21内的未来的VOP局部译码图象取出预测图象候选(PR2)(步PS17)，同时将从过去及未来的VOP局部译码图象得到的预测图象候选相加后取平均，获得预测图象候选(PR3)(步PS18)。

另外，即使是直接预测(根据相当于ITU-T劝告H.263编码方式中的B帧的预测方式的预测。根据成为组的P-VOP的矢量作成B帧用的矢量。在此详细说明从略)，也同样生成预测图象候选(PR4)(步PS19)。在图34中，由移动矢量决定的预测图象候选P31也是从上述预测图象候选PR1至PR4的一部分或全部的总称。

当既不是I-VOP，也不是B-VOP，而是Sprite-VOP时，利用移动矢量从VOP存储器取出预测图象候选(PR1)，同时在步PS20中，在全局移动补偿部P28中用弯曲参数P26，从子画面存储器P22取出预测图象候选P30。

全局移动补偿部P28根据弯曲参数P26，计算子画面存储器P22中的预测图象候选存在的地址，根据该地址从子画面存储器P22中取出并输出预测图象候选P30。局部移动补偿部P29根据移动矢量P27，计算VOP存储器P21中的预测图象存在的地址，根据该地址从VOP存储器P21中取出并输出预测图象候选P31。

在预测方式选择部P12中，对这些预测图象候选P11并包括结构数据P7的内部帧编码信号进行评价，选择预测误差信号电力最小的预测图象候选和预测方式。

(3)存储器更新

由存储器更新部P20进行存储器更新控制(步PS12)，进行VOP存储器P21及子画面存储器P22的更新。这些存储器内容的更新与在宏块单元中选择的预测方式P13无关地进行。

存储器更新部P20的内部结构示于图36，表示存储器更新部P20的工作的流程示于图37中的步PS22至步PS28。

在图36中，P32是从外部供给的VOP编码类型，P33表示是否使用子画面进行预测，是从外部供给的子画面预测识别符，P34是使用子画面存储器的预测中用的从外部供给的布莱特系数，P35是开关，P36是开关，P37是子画面合成部，P38是子画面变形处理部，P39是VOP存储器更新信号，P40子画面存储器更新信号。

首先，利用子画面预测识别符P33检查是否指定在该VO或VOL中使 用子画面(步PS22)，不使用子画面时，检查B-VOP(步PS27)，如果是B-VOP，完全不进行VOP存储器P21的更新。在I-VOP或P-VOP的情况下，对每一宏块将局部译码宏块P19写入VOP存储器21(步PS28)。

另一方面，在步PS22的检查中，在使用子画面的情况下，首先进行与上述同样的VOP存储器P21的更新后(步PS23，步PS24)，按照以下的顺序进行子画面存储器P22的更新。

a)子画面的弯曲(步PS25)

首先，在子画面变形处理部P38中，利用弯曲参数

$\stackrel{\→}{\mathrm{\α}}=(a,b,c,d,e,f,g,h)$

使子画面存储器上的区域(该VOP的时刻为t时，与将子画面存储器上的位置作为原点的VOP面积相同的区域)

$M(\stackrel{\→}{R},t-1)$

弯曲(变形)。

b)子画面的布莱特系数(步PS26)

利用上述a)的结果得到的弯曲图象，在子画面合成部P37中，根据下式求出新的子画面存储器区。

$\stackrel{\→}{M}(R,t)=(1-\mathrm{\α})\·\mathrm{Wb}[M(\stackrel{\→}{R},t-1),\stackrel{\→}{\mathrm{\α}}]+\mathrm{\α}\·V0(\stackrel{\→}{r},t)$

式中

α：布莱特系数P34

上述(α)的结果得到的弯曲图象

局部译码VOP的位置 及时刻t时的象素值。

但在局部译码宏块中不属于VOP的区域看作

$V0(\stackrel{\→}{r},t)=0$

布莱特系数α是以VOP单元给出的，所以局部译码VOP不管VOP区的内容如何，根据α且按比重，一并在子画面存储器中合成。

在以上这种现有的编码方式中的预测方式中，进行动态图象目标的预测时，由于最大只能一个画面一个画面地使用只进行动矢量检测的存储器和只进行弯曲参数检测的存储器，所以只能以极其有限的方法使用能用于预测的参照图象，不能充分地提高预测效率。

另外，在同时对多个动态图象目标进行编码的系统中，由于在这些存储器中只包含表示预测的动态图象目标本身的历史的参照图象，所以限定了参照图象的变化，同时不能利用动态图象目标之间的相关关系进行预测。

再者，即使进行存储器的更新时，由于与动态图象目标的内部结构、性质及历史等无关地改写存储器的内容，所以不能将对于预测动态图象目标有用的重要知识充分地存入存储器，存在不能谋求提高预测效率的问题。

本发明就是为了解决上述问题而完成的，其目的在于提供这样一种灵活的预测方式，即在对图象数据进行编码/译码的情况下，设置多个存储器，考虑动态图象顺序的内部结构、性质等，将动态图象顺序的历史有效地存入多个存储器中，提高预测及编码/译码的效率，同时能在多个动态图象目标之间进行预测。

发明的公开

本发明公开了一种预测动态图象的动态图象预测方式，其备有：存储预测时参照的图象数据的多个存储器；输入表示被预测图象区域的移动的参数，根据该参数，利用上述多个存储器中存储的图象数据，生成预测图象的移动补偿部，以及预测图象生成部，它有在任意时刻更新上述多个存储器中的至少一个存储器中存储的图象数据的存储器更新部，用于编码， 根据预测时用的所述存储器的使用频度相关的信息，进行参照存储器编号的码分配。

本发明还公开了一种预测动态图象的方法，其包括以下工序：预测时将参照的图象数据存入多个存储器的工序；输入表示被预测图象区的移动的参数的工序；根据上述参数，利用上述多个存储器中存储的图象数据生成预测图象的工序；以及在任意时刻更新上述多个存储器中的至少一个存储器中存储的图象数据的工序，用于编码，根据预测时用的所述存储器的使用频度相关的信息，进行参照存储器编号的码分配。

附图的简单说明

图1是表示本发明的实施形态中的动态图象编码装置的结构图。

图2是表示本发明的实施形态中的动态图象编码装置的工作流程图。

图3是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。

图4是表示移动补偿部的工作流程图。

图5是表示本发明的实施形态中的动态图象编码装置的存储器更新部的结构图。

图6是表示存储器更新部的工作流程图。

图7是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。

图8是表示图7中的移动补偿部的工作流程图。

图9是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。

图10是表示图9中的移动补偿部的工作流程图。

图11是表示本发明的实施形态中的动态图象编码装置的结构图。

图12是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。

图13是表示图12中的移动补偿部的工作流程图。 

图14是表示本发明的实施形态中的动态图象编码装置的存储器更新部的结构图。

图15是表示图14中的存储器更新部的工作流程图。

图16是表示本发明的实施形态中的动态图象编码装置的结构图。

图17是表示本发明的实施形态中的动态图象编码装置的结构图。

图18是表示本发明的实施形态中的动态图象编码装置的结构图。

图19是表示本发明的实施形态中的动态图象编码装置的结构图。

图20是表示本发明的实施形态1的位流21的示意图。

图21是表示本发明的实施形态2的位流21的示意图。

图22是表示本发明的实施形态3的位流21的示意图。

图23是表示本发明的实施形态6的位流21的示意图。

图24是表示本发明的实施形态中的动态图象译码装置的结构图。

图25是表示本发明的实施形态中的动态图象译码装置的移动补偿部的结构图。

图26是表示移动补偿部的工作流程图。

图27是说明内插处理的说明图。

图28是表示本发明的实施形态中的动态图象译码装置的存储器更新 部的工作流程图。

图29是表示VM编码方式中的视频数据结构的说明图。

图30是表示VOP数据结构的说明图。

图31是表示VM编码装置的结构的结构图。

图32是表示图31中的编码装置的工作流程图。

图33是表示与VOP编码类型对应的预测种类的说明图。

图34是表示图31所示的编码装置中的移动补偿部的结构图。

图35是表示图34中的移动补偿部的工作流程图。 

图36是表示图31所示的编码装置中的存储器更新部的结构图。

图37是表示图36中的存储器更新部的工作流程图。

实施发明用的最佳形态

实施形态1

图1是表示实施形态1的及下述的实施形态中的编码装置的结构框图。该图中，1是输入动态图象信号，2是结构数据，3是移动检测部，4是移动参数，5是移动补偿部，6是预测图象候选，7是预测方式选择部，8是预测方式，9是预测图象，10是预测误差图象，11是结构编码部，12是量子化DCT系数，13是局部译码的预测误差图象，14是局部译码图象，15是存储器更新部，16是存储器a，17是存储器b，18是存储器c，19是长度可变编码·多路复用部，20是发信缓冲器，21是位流。80是场面变换检测部，81是计时器。其中移动补偿部5及存储器更新部15是实现预测方式的预测图象生成部100。另外，存储器a、b、c是存储器区200。图中在本实施形态中未涉及的部分将在以后的实施形态中说明。图2是表示该编码装置的工作流程的流程图。

在该实施形态中，根据以输入动态图象的移动量·色度等图象的特征为依据的重要程度，分别使用多个例如3个存储器，而且设有以任意时间间隔更新任意的存储器(区域)例如存储器a的内容的结构。另外，动态图象顺序是输入帧单元的顺序。

(1)输入信号

如上所述，上述编码装置将动态图象顺序中表示各时刻的图象的帧输入单元中，帧被分割成被预测图象区之一例的成为编码单元的宏块(步S1)。

(2)分别使用存储器的方法

过去译过码的图象或预先固定给出的图象被存入存储器中，但在该实施形态中，根据帧中的部分区的重要程度，如下分别使用3个存储器。

存储器a：存储重要程度小的图象区(＝静止或均匀移动，而且结构均匀的背景的图象区)。

存储器b：存储重要程度中等的图象区(＝被摄物体移动，移动较小的图象区)。

存储器c：存储重要程度大的图象区(＝被摄物体移动，移动大的图象区)。

存储器a中存储的重要程度小的图象区可以考虑电视会议的场面等中出现的背景图象区。另外，包括伴随某种微小移动的被摄物体，也相当于包括通过操作摄象机使画面整体均匀移动的场面中的背景区。如果代替这些移动，预先从称为宏块的小单元求出帧全体的移动，将其作为宏块的移动，则是有效的。这可以这样做，即求出相当于在现有例中说明过的子画面中的弯曲参数的变形参数，将帧全体的变形参数看作宏块的移动参数。移动参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。这里，移动矢量是移动参数之一例。

存储器b中存储的重要程度中等的图象区可以考虑例如在电视会议的场面中不发言、只是身体移动的人物图象区，画面中注意程度低的被摄物体区。存储器c中存储的重要程度大的图象区可以考虑例如电视会议的场面中的发言者等注意程度最高的被摄物体区。

存储器b、c中存储的区由于具有被摄物体本身的动作，所以当然要考虑每个宏块中具有不同的移动参数。这时的移动参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。

(3)移动检测(步S2)

本实施形态中的移动检测部3去掉现有例中的那种移动矢量和弯曲参数的区别，能在宏块单元中检测全部3个存储器的任意的变形参数。另外，移动检测部3备有用存储器a检测帧全体的变形参数的全局移动参数检测功能，以及用存储器a至c检测每个宏块的变形参数的局部移动参数检测功能。

(4)移动补偿(步S3)

本实施形态中的移动补偿部5的内部结构示于图3。在该图中，22是预测图象存储器地址计算部，23是预测图象存储器地址，24是存储器读出部，25是从外部供给的参照存储器指示信号。这里，参照存储器指示信号25用来指示使用存储器a、b、c。记述该移动补偿部5的工作的流程示于图4中的步S11至步S16。

首先，如果是I(内部)-帧，不进行移动补偿(步S11)。如果不是I-帧，则将由移动检测部3检测的全局移动参数和来自各存储器的局部移动参数一起生成预测图象候选(步S12至步S15)。具体地说，预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器指示信号25指示的存储器中的预测图象候选存在的预测图象存储器地址23，根据预测图象存储器地址23，存储器读出部24从对应的存储器取出并输出预测图象候选 6。

在该实施形态中，由于全局移动参数或局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图3中的移动移动补偿部5。另外，用全局移动参数生成预测图象候选6时(步S15)，经常将存储器a作为参照存储器用。

(5)预测方式的选择(步S4)

该实施形态中的预测方式有以下几种：

(a)使用存储器a的方式；

(b)使用存储器b的方式；

(c)使用存储器c的方式；

(d)使用内部帧编码信号的方式。

预测方式选择部7如现有例所示，包括由移动补偿部5生成的全部预测图象候选6和内部帧编码信号，选择预测误差信号的电力(振幅)最小的预测图象候选6作为预测图象9输出。另外，还输出与所选择的预测图象9对应的预测方式8。在该预测方式8的信息中含有表示预测了所选择的预测图象9的存储器的存储器选择信息。预测方式8被送给长度可变编码·多路复用部19，用所分配的码长，在位流21中进行编码，作为预测存储器指示信息800。

(6)存储器的更新

存储器的更新由存储器更新部15进行控制。该实施形态中的存储器更新部15的内部结构示于图5。在该图中，26是存储器a更新时用的活动性(将在后面详细说明)，27是存储器a更新判断部，28是参照存储器选择部，29、30是开关，31是更新存储器a的图象数据，32是更新存储器b的图象数据，33是更新存储器c的图象数据，34是更新存储器a的全局 预测图象数据。另外，将存储器更新的工作流程示于图6。

该实施形态中的存储器更新按以下顺序进行。如果存储器更新部15输入了局部译码图象14，则在存储器a更新判断部27中判断更新存储器a对于该局部译码图象14所属的帧的必要性(步S17)在参照存储器选择部28中根据预测方式8，选择预测中使用的存储器(步S18、S19)，使用更新该局部译码图象14的存储器a的图象数据31、更新存储器b的图象数据32、更新存储器c的图象数据33、更新存储器a的全局预测图象数据34中的一种数据，按照下述的规则更新所选择的存储器内的参照图象。另外，按预测单元(宏块单元)对每一帧进行该存储器更新。

(1)存储器b、c的每一帧更新(步S20、S21)

将局部译码图象14写入该图象的预测中使用的存储器b或存储器c。

(2)存储器a的任意帧更新(步S22、S23)

根据步S17中的存储器a更新判断结果1000，只对任意帧或以任意的时间间隔，将局部译码图象14写入该图象的预测中使用的存储器a。

存储器a的内容可以说是背景图象等的不随时间变化的图象区的历史，除非区域的内容随着场面的变化或画面整体的大的移动等而发生很大的变化，否则存储器的内容就没有必要更新。

如上所述，如果备有对被摄物体等的活动区以帧为单元逐次更新，而存储器a的内容以较长的时间间隔进行更新的结构，则能有效地根据被摄物体的移动，预测影影绰绰的背景图象。

在该实施形态中，根据以上观点，设有以任意的时间间隔进行存储器a的更新的结构。具体地说，例如可以考虑：

a.根据全局移动参数的大小，当移动大时将画面全体内容一起更新，移动小时不更新内容的方法；

b.不受帧之间的时间间隔的限定，每隔某一定的时间一起更新画面全体内容的方法； 

c.检测到场面变化时，对场面变化后的帧将画面全体内容一起更新的方法等任意更新判断基准。

在该实施形态中，将成为以上这样的任意更新判断基准的数据统称为存储器a更新用的活动性26。首先，存储器a更新判断部27用活动性26判断是否更新存储器a的内容(步S22)。在上述任意更新判断基准a的情况下，由移动检测部3检测到的全局移动参数值成为活动性，在任意更新判断基准b的情况下，来自计时器81的该帧的计时标记相当于活动性26，在任意更新判断基准c的情况下，从场面变化检测部80输出的通知场面变化检测的标记相当于活动性26。

在断定了要更新存储器a的内容时，局部译码图象14的内容被作为全局预测图象数据34输出，改写存储器a的内容(步S23)。在未断定更新存储器a的内容时，不进行存储器a的更新。

另外，该帧中的存储器a更新判断结果1000能进行与在译码侧同样的任意更新而被多路化在位流21中，送给译码侧。

图20是表示该实施例的位流21的示意图。

在图20中，示意性地示出了帧数据按顺序编码后被输送的情况。将标题信息作为帧单元的附加信息加在各帧数据的开头。另外，在标题信息中，存储器a更新判断结果1000被多路化，并被传送给译码侧。继标题信息之后的是构成该帧的宏块数据。在宏块数据的内部包含表示预测该宏块数据用的存储器的预测存储器指示信息800。在译码装置中，根据各宏块数据的预测存储器指示信息800，特定预测图象的存储器，生成预测图象。

另外，虽然图中未示出，但也可以将存储器b更新信息及/或存储器 c更新信息与存储器a更新判断结果1000一起或代替该存储器a更新判断结果1000输送到译码侧。

利用上述编码装置，根据动态图象顺序的内容，供给有效地分别使用多个存储器的结构，能提高预测效率。即，进行动态图象顺序的预测时，根据动态图象顺序的内容或性质，分别使用多个存储器，进行以任意的变形参数为依据的预测，所以即使包括复杂的移动，也能进行与局部图象性质相符的有效的动态图象预测，能提高预测效率，能构成既能保证编码图象的品质，又能减少编码数据的发送量的编码装置。另外，在根据本发明的预测方式对编码后的位流进行译码的译码装置中，也能用同样的预测方式构成。

在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，作为被预测图象区的一个例子说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，在该实施形态中，设有预先存储根据动态图象顺序的内容生成的参照图象数据、在编码过程中不进行更新的存储器，将其用于预测。

另外，在该实施形态中，说明了在对存储器a、b、c各自的部分区域进行存储后，由存储器更新部15对存储器a、b、c中的任意一个存储器进 行更新的情况，但在存储器a、b、c共有图象的一部分或全部而存储图象的情况下，存储器更新部15更新存储器a、b、c中的两个存储器或全部存储器。例如，在存储器a是存储1帧的参照图象数据的帧存储器、存储器b是不伴随逐次更新的静态子画面存储器、存储器c是伴随逐次更新的动态子画面存储器的情况下，由于静态子画面存储器将预先固定的数据作为参照图象数据存储，所以存储器b不会被存储器更新部15更新，但在存储器a和存储器c存储同一区域的参照图象数据的情况下，存储器更新部15同时更新存储器a和存储器c。这样，存储器a、b、c在重复存储参照图象数据的情况下，存储器更新部15分别更新重复的区域。

在以下所述的实施形态中也与以上的情况相同。

另外，在该实施形态中，说明了使用3个存储器a、b、c的情况，但即使使用任意两个存储器时也没关系。

另外，还可以用具有与在该实施形态中说明的移动补偿部5、存储器更新部15完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部不需要生成全部3个预测图象候选，只生成与译过码的移动参数有关的预测图象即可。

实施形态2

其次，给出在图1所示构成的编码装置中只使移动补偿部5的结构不同而构成的译码装置的实施形态，并说明实施形态2的移动补偿部5a的结构和工作情况。

将该实施形态的移动补偿部5a的内部结构示于图7。在该图中，35是参照存储器确定部。另外，将记述该移动补偿部5a的详细工作情况的流程示于图8。

首先，如果是I-帧，则不进行移动补偿(步S24)。如果不是I-帧，则参 照存储器确定部35根据移动参数4的值，确定参照存储器(步S25)。参照存储器确定部35保持着分配给各存储器a、b、c的有效移动参数值范围(将在后面详细说明)，通过与移动参数4的值进行比较，判断该移动参数4指的是哪个存储区，输出识别存储器a、b、c的参照存储器指示信号25a。

所谓有效移动参数值范围，是指例如在检测移动矢量时，假定其探索范围为±15个象素，则各存储器的有效探索范围为：在±0至3个象素范围中将存储器a用于预测，在±4至8个象素范围中将存储器b用于预测，在±9至15个象素范围中将存储器c用于预测。但是，在用全局移动参数生成预测图象时，参照存储器认定为存储器a，所以在只使用局部移动参数时，才起动参照存储器确定部35。这样，所谓用移动矢量的值特定用于预测的存储器，是指基于背景图象移动小、而注意程度越高的图象移动越大这样的前提进行特定。这样，在用移动矢量的值特定用于预测的存储器时，不需要对预测方式进行编码传送。

其次，随着所选择的参照存储器指示信号25a，生成预测图象候选6(步S26至步S30)。具体地说，在预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器指示信号25a指示的存储器中的预测图象候选6存在的预测图象存储器地址23，存储器读出部24根据预测图象存储器地址23，从对应的存储器取出并输出预测图象候选6。

在该实施形态中，由于全局移动参数或是局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图7所示的移动补偿部5a。另外，用全局移动参数取出预测图象候选6时(步S31)，经常将存储器a作为参照存储器用。

虽然有效移动参数值区域对每个动态图象顺序来说也可以是一定的数值区域，但例如也可以按各帧进行变更。在按各帧进行变更时，该帧中的各存储器的有效移动参数值区域被多路化在位流中，送给译码侧，能在 译码侧进行同样的存储器选择。

图21是表示该实施形态的位流21的示意图。

在该位流的开头有附加在动态图象顺序单元中的标题信息。该标题信息有各存储器的有效移动参数值区域指示信息。这样，通过在动态图象顺序的开头指定有效移动参数值区域指示信息，能在译码装置中对该动态图象顺序执行采用了一定数值区域的有效移动参数值区域的预测方式。

在对每一帧变更有效移动参数值区域的情况下，在附加在帧单元中的标题信息中也可以包含有效移动参数值区域的指示信息。

利用上述的具有移动补偿部5a的结构的编码装置，根据帧的局部移动程度，供给有效地分别使用多个存储器的结构，能提高预测效率。

在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，还可以用具有与在该实施形态中说明的移动补偿部5a完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部只生成与译过码的移动参数有关的预测图象即可。

实施形态3

其次，给出在图1所示构成的编码装置中只使移动补偿部5的结构不同而构成的译码装置的实施形态，并说明移动补偿部5b的结构和工作情况。该实施形态中的移动检测部3a分别输出平行移动量、仿射参数、远近法参数作为移动参数4a。

另外，假定该实施形态中的存储器a是存储1帧大小的参照图象的帧存储器，存储器b是静态子画面存储器，存储器c是动态子画面存储器。

将该实施形态的移动补偿部5b的内部结构示于图9。在该图中，36是平行移动量(＝移动矢量)，37是仿射参数，38是远近法参数，39是基于平行移动量的预测图象存储器地址计算部，40是基于仿射参数的预测图象存储器地址计算部，41基于远近法参数的预测图象存储器地址计算部。另外，将记述该移动补偿部5b的详细工作情况的流程示于图10。

首先，如果是I-帧，则不进行移动补偿(步S33)。如果不是I-帧时，则预测图象存储器地址计算部39至41根据各移动参数4a的值，计算预测图象存储器地址23(步S34)。

各预测图象存储器地址计算部根据分配给对应的各存储器的图象变形方式进行地址计算。在该实施形态中，将平行移动用于存储器a，将伴随某种程度的旋转或放大、缩小等单纯的变形的仿射参数用于存储器b，将伴随3维复杂的移动的远近法参数用于存储器c。这些变形方式用下列变换式表示。

[平行移动]

平行移动量(a，b)：

x’＝x+a

y’＝y+b

[仿射变换]

仿射参数(a，b，c，θ)：

x’＝a(cosθ)x+a(sinθ)y+b

y’＝a(-sinθ)x+a(cosθ)y+c

[远近法变换]

远近法参数(a，b，c，d，e，f)：

x’＝(ax+by+c)/(gx+hy+1)

y’＝(dx+ey+f)/(gx+hy+1)

式中，二维坐标上的(x，y)是原宏块的象素位置，(x’，y’)是根据各参数而与(x，y)对应的存储器中的象素位置。即，根据这些参数，计算(x’，y’)在存储器上的位置。利用该结构，能从各宏块中移动的性质都适合的存储器进行预测。利用根据各移动参数36、37、38计算的预测图象存储器地址23，存储器读出部24从对应的存储器取出并输出预测图象候选6(步S 35至步S 39)。

另外，该帧中的各存储器的变形方式的类型作为移动检测方法指示信息被多路化在位流21中，送给译码侧，能在译码侧进行同样的移动补偿。

图22是表示该实施形态的位流21的示意图。

在动态图象顺序的开头附加的标题信息中包含移动检测方法指示信息。在编码装置中，各存储器中使用的变形方式的类型是可以变更的，将表示其对应关系的移动检测方法指示信息作为动态图象顺序的标题信息送给译码装置。这样在译码装置中就能识别各存储器中使用的变形方式的类型。

在译码装置中，该识别的变形方式的类型动态地对应于各存储器。

利用上述具有移动补偿部5b的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。

在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动参数检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，在该实施形态中，给出了使用存储器a、b、c的情况，但即使是只使用存储器a和b的情况、或只使用存储器a和c的情况、或只使用存储器b和c的情况也没关系。

另外，还可以用具有与在该实施形态中说明的移动补偿部5b完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部只生成与译过码的移动参数有关的预测图象即可。

实施形态4

其次，说明以具有形状信息的多个、例如2个不同的动态图象目标混合存在的动态图象顺序为对象，对这些动态图象目标一并进行编码的装置的实施形态。图11示出了该实施形态中的编码装置的结构。

该图中，42是输入图象帧，43是目标分离部，44a、44b是目标数 据，45a、45b是形状块，46a、46b是开关，47a、47b是形状编码部，48a、48b是压缩形状块数据，49a、49b是局部译码形状块，50a、50b是结构数据(宏块)，51a、51b是移动检测部，52a、52b是移动参数，53a、53b是移动补偿部，54a、54b是预测图象候选，55a、55b是预测方式选择部，56a、56b是预测方式信息，57a、57b是预测图象，58a、58b是预测误差信号，59a、59b是结构编码部，60a、60b是压缩结构数据，61a、61b是局部译码预测误差信号，62a、62b是局部译码宏块，63是存储器更新部，64是存储器a，65是存储器b，66是存储器c，67是存储器d，68是存储器e，69是存储器f，70a、70b是长度可变编码部，71是多路复用部，72缓冲器，73位流，94是存储部，88a是对A目标编码的A目标编码部，88b是对B目标编码的B目标编码部。目标编码部88a、88b具有由同一种材料构成的同样的内部结构。

该编码装置输入图象帧42，它在目标分离部43中被分成编码单元的目标。目标分离部43的处理可以采用任意的方法。

目标形状信息以形状块45a、45b的形式被送给形状编码部47a、47b进行编码，作为压缩形状块数据48a、48b送给长度可变编码部70a、70b。

移动检测部51a、51b与VM编码方式一样，考虑局部译码形状块49a、49b，进行移动参数的检测。移动参数检测可以用全部存储器a至f，在宏块单元中进行。

但是，作为原则，对于在目标A编码部88a中进行编码的目标A来说，使用存储器a至c，对于在目标B编码部88b中进行编码的目标B来说，使用存储器d至f。

另外，作为移动的种类，去掉移动矢量和弯曲参数的区别，对于存储部94的全部存储器都能在宏块单元中检测任意的变形参数。

在移动补偿部53a、53b中根据各移动参数52a、52b，生成全部 预测图象候选54a、54b后，在预测方式选择部55a、55b获得预测图象57a、57b和预测方式信息56a、56b。取原信号或结构数据50a、50b和预测图象57a、57b的差分，获得预测误差信号58a、58b，它在结构编码部59a、59b中编码后，被送给长度可变编码部70a、70b。另外，进行过局部译码的预测误差信号61a、61b与预测图象57a、57b相加，成为局部译码宏块62a、62b，根据存储器更新部的指示，被写入存储器a至f。

在上述A/B目标编码部88a、88b中，被编码的A/B目标数据在多路复用部71中被多路化在1个位流73中，通过缓冲器72进行输送。

以下以进行主要工作的移动补偿部53a、53b为中心，说明该实施形态中的预测。

该实施形态中的移动补偿部53a、53b根据由移动检测部51a、51b检测的移动参数52a、52b，生成预测图象候选。移动补偿部53a的内部结构示于图12。另外，A目标编码部88a中的移动补偿部53a的工作流程示于图13。另外，移动补偿部53b也同样构成、同样工作。

在图12中，74a是B目标参照判断部，75a是B目标参照指示标记。

这里，移动参数52a还包括检测用的存储器信息。与实施形态1一样，根据参数值并利用预测存储器地址计算部22a、存储器读出部24a，生成预测图象候选(步S44至步S49)。另外，B目标参照判断部74a根据移动参数52a中的参照用的存储器信息，判断在该宏块的预测中是否使用目标B用的存储器(步S43)。

B目标参照判断部74a将判断结果作为B目标参照指示标记75a输出，用于判断在译码侧该目标是否能只用本身的存储器a、b、c单独再生，所以被多路化在位流73中，送给译码侧。编码时可以这样控制，即根据从外部供给的信号85a，便能经常在译码侧进行该目标的单独再生，检测移动 参数时，可以这样控制，即只使用本身预测用的存储器(只a、b、c)。

利用具有上述移动补偿部53a、53b的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。

另外，在该实施形态中，说明了在宏块单元中对目标进行编码的装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块等单元进行编码的装置，也能获得同样的效果。

另外，还可以使用与在该实施形态中说明的移动补偿部53a、53b完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部53只生成与译过码的移动参数有关的预测图象即可。另外，如果这样构成，即根据位流，对相当于另一目标参照指示标记75a、75b的位进行译码，并能识别译码中的目标是否能单独再生，这样就能无误地对目标数据进行译码再生。

实施形态5

其次，说明对应于动态图象目标随时间的变化，能使存储器的数量及容量任意地变化的编码装置的实施形态。在实施形态5中，考虑将图1所示结构的编码装置中的存储器更新部15的结构更换后的编码装置。

图14示出了该实施形态中的存储器更新部15a的内部结构。在该图中，76是存储器展开判断部，77是存储器展开指示信号，78是存储器退缩判断部，79是存储器退缩指示信号。图15示出了存储器更新部15a的工作流程(步S51至步S63)。

当由于场面变化等而出现与存储器中存储的动态图象顺序的历史显著不同的图象时，在场面变化后的预测中，只用原有的存储器中含有的参照图象时预测效率往往下降。在这种情况下，如果能由场面的变化检 测部80检测场面的变化，对场面变化后的帧进行内部帧编码等，并将其作为新的参照图象追加存入存储器中，则能提高以后的预测效率。

另外，由于能追加的存储器的容量有物理性的极限，所以具有能使存储器上的参照图象中预测时几乎不使用的部分逐渐退缩的结构。使之具有这样的结构，即根据预测方式8，由存储器更新部15a测量存储器a、b、c的各存储区预测时使用的频度，在存储器更新部中将频度小的存储区域从使用区展开的结构。如果采用该实施形态，例如在用软件构成编码装置时，能有效地利用有限的RAM(随机存取存储器)资源。

根据上述观点，该实施形态中的存储器更新部15a具有根据动态图象顺序随时间变化的状态，或使存储区增加，或使含有预测时不怎么使用的参照图象的存储区退缩的功能。

存储器a与实施形态1相同，在存储器a更新判断部27中确定是否可以更新(步S50)，更新时将局部译码图象14写入存储器a(步S56，步S57)。另外，根据预测方式8，将局部译码图象14写入各存储器(步S51至步S55)。

这些存储器内容的更新是根据存储器展开/退缩的判断进行的。在存储器展开判断部76中，根据存储器a更新时使用的活动性26，判断是否增加存储器a(或存储器b、c)的容量(步S58至步S60)。如果由于场面变化等而断定可以增加，便用存储器展开指示信号77指示存储器展开。另外，在存储器退缩判断部78中，根据预测方式8进行预测中用的存储区的计数，只对规定次数以下的预测中用的存储区，用存储器退缩指示信号79指示存储器的退缩(步S61至步S63)。

利用具有上述存储器更新部15a的结构的编码装置，能随着动态图象顺序随时间变化而有效地进行预测，同时供给将预测时所必要的存储区按时间分配的结构，能提高预测效率，同时能有效地利用存储器资源。

另外，在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施形态中，说明了在宏块单元中对帧进行编码的装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块区等图象单元进行编码的装置，也能获得同样的效果。

另外，还可以使用与在该实施形态中说明的存储器更新部15a完全相同的构件构成译码装置。

实施形态6

在上述各实施形态中，说明了变更宏块单位预测中使用的存储器的情况，但也可以采用变更帧或动态图象目标单元预测中使用的存储器，进行预测的结构。因此，不需要对应按帧或动态图象目标单元编码的存储器相关的信息及应按宏块单元编码的存储器选择信息(包括预测方式8)进行编码，能有效地进行编码。

例如在实施形态1的图1所示的编码装置中，由于能切换宏块单元预测中使用的存储器，所以必须传送表示预测中使用了宏块单元的哪个存储器的附加信息。与此不同，在本实施形态中，通过将该使用的存储器的切换单元限制在帧或动态图象目标内进行预测，所以能有效地减少应传送给宏块单元的附加信息。图23示出了图20所示的实施形态1的传送位流21和本实施形态的传送位流21的不同。图23所示的例表示变更帧单元预测中使用的存储器的情况，预测存储器指示信息800包含在帧单元的标题信息中。图23所示的例在例如动态图象顺序的图象性质经常不变、宏块电平的局部变化小的情况下有效。另外，能构成对如上编码后的位流进行译码，使帧或动态图象目标再生的译码装置。

实施形态7

在上述各实施形态中，还能这样构成，即将从多个存储器中的任意的2个存储器(例如存储器a和b)取出的2个预测图象候选相加，并将平均后的图象作为预测图象候选6中的一个或作为预测图象9用。另外，能构成对如上编码后的位流进行译码，使帧或动态图象目标再生的译码装置。

实施形态8

在上述各实施形态所示的编码装置中，还能这样构成，即预先检测规定成为进行预测单元的图象区的空间的复杂性、注视程度等的特征量参数，将它们作为确定预测方式、更新存储器时的判断尺度利用。

例如，想像一种包括复杂的移动、在给定的编码量内进行达到允许品质的编码有困难的动态图象。在这种情况下，确定每个被预测图象区(宏块、任意形状图象区、任意形状块等)的重要程度，对于重要程度低的区可在一定程度上降低品质，减少编码量，将这部分编码量分配给重要程度高的区，能提高总体品质。象本发明这样在任意的时刻切换多个存储器进行预测的装置中，通过检测表示被预测图象区的重要程度的特征量参数，根据该参数动态地确定存储器的使用方法，能进行更适合于图象性质的预测。例如，如图16所示，设置区重要程度检测部95，用来检测每个区的特征量参数，确定重要程度。区重要程度检测部95将区重要程度传送给预测方式选择部7a，同时根据区重要程度，将量化参数传送给结构编码部11a。被重要程度检测部95判断为重要程度高的区，用所准备的多个预测方式中最复杂的方式进行预测。例如，利用来自各存储器a、b、c的参照图象，根据各种复杂的移动模型，求出移动参数和预测图象，在预测方式选择部7a中，包括这些预测图象的任意组合(相加后平均等)在内选择预测效率最高的预测方式。这时，相对在预测中使用的全部存储器更新参照 图象。进而在结构编码部11a中，利用量化级差小的量化参数进行编码。另一方面，在重要程度低的区，利用简易的预测方式(只用一个存储器的平行移动量检测)进行预测，利用量化级差大的量化参数进行编码，以便成为与所获得的预测误差信号的振幅无关的小的码量。通过进行以上的控制，重要程度低的区即使在某种程度上降低了品质，但重要程度高的区通过高精度预测，能确保品质，能用给定的码量提高全体品质。

实施形态9

在利用多个存储器，对动态图象顺序进行预测编码的装置中能这样构成，即在动态图象顺序的各时刻，检测可使用的码的数量、或该时刻的场面变化量(场面变化检测等)、实施形态8中所述的被预测图象区的特征量或重要程度等的参数，将这些值用作选择在该时刻的图象预测中能使用的预测方式或参照存储区选择时的判断尺度。例如，如图17所示，可以考虑这样一种装置结构，即设置按帧单元确定重要程度的帧重要程度检测部96，检测该帧相对于前帧的变化量(检测来自场面变化检测部80的场面变化)、新目标的出现·隐蔽的有无等，考虑从发信缓冲器20通知的能在该帧中使用的码量，确定最后的帧重要程度。据此，在重要程度高的帧的情况下，利用所准备的全部预测方式和参照存储区，最大限度地提高预测效率，在重要程度低的帧的情况下，限定使用预测方式或参照存储区，简化编码处理，减少处理量。另外，还可以考虑在场面变化时不进行预测，而全部进行内部帧编码的装置。再者，如果与实施形态8中说明过的区重要程度检测部95一并使用，则能进行相当细的品质控制。通过进行以上的控制，重要程度低的帧即使在某种程度上降低了品质，但重要程度高的帧却由于高精度预测而确保了品质，能用所供给的码量提高全体的品质。

本实施形态的想法也能适用于下述情况：处理程序或可以使用的存储器的数量在由流动式的软件进行编码时，最大限度地应用所能利用的资源， 有效地进行编码处理。能减少重要程度低的帧的处理量，能提高总体的处理速度。

实施形态10

可以采用如图11所示的结构，在用多个存储器对由多个动态图象目标构成的动态图象顺序进行预测、编码的装置中，检测能作为顺序使用的总码数量、能在各动态图象目标的各个时刻使用的码的数量、或在该时刻的动态图象目标的变化量(目标的出现、隐蔽等)、各动态图象目标在场面中的重要程度/注视程度的等级、实施形态8或9所述的被预测图象区的特征量或重要程度等的参数，将这些值用作选择在该时该的动态图象目标的预测中能使用的预测方式或参照存储区时的判断尺度。

例如，如图18所示，可以考虑这样一种装置结构，即设置与各目标1～n对应的重要程度检测部97a～97n，检测表示目标在各个时刻的变化量或目标的出现、隐蔽等有无的参数，同时考虑存储全部目标的编码数据的全部缓冲器72x的占有率、以及各目标的虚拟缓冲器72a～72n的占有率，确定目标在各个时刻的重要程度。例如，在目标内作为其它目标的一部分重叠等的结果而出现新型区的情况下，这对以后的预测效率有很大的影响，所以即使在某种程度上目标的虚拟缓冲器内没有余裕的情况下，也要考虑提高重要程度、使编码图象优异等的控制。由重要程度检测部97a～97n检测的重要程度被送给目标1～N编码部98a～98n，在重要程度高的目标的情况下，利用所准备的全部预测方式和参照存储区，最大限度地提高预测效率，在重要程度低的目标的情况下，限定使用预测方式或参照存储器，简化编码处理，减少处理量。另外，在实时地使目标从帧分离后进行编码的装置中，在由于新的目标的出现或现有目标的隐蔽等使得该目标的内容显著变化的情况下，还可以考虑不进行预测，全部进行内部帧编码的装置。再者，在目标1～N编码部98a～98n中如果与实施形态8中说明过的区重 要程度检测部95一并使用，则能进行比目标内的各被预测对象区单元更细的品质控制。通过进行以上的控制，重要程度低的目标即使在某种程度上降低了品质，但重要程度高的目标却由于高精度预测而确保了品质，能用所供给的码量提高全体的品质。

实施形态11

另外，如图19所示，有时设置进行有关预测的编码信息(参照存储器编号等)的码分配(编码)的预测信息编码部91。

可以采用这样的结构：在用多个存储器a、b、c对动态图象顺序或动态图象目标进行预测、编码的装置中，根据预测时用的存储器的使用频度，给多个存储器加上等级，而且在编码过程中能动态地变更所加的该等级，根据预测时用的多个存储器的等级，进行上述预测信息编码部91中的有关预测的编码信息(参照存储器编号等)的码分配。

例如在图19所示的编码装置中，在存储器更新部15b中设置分别计数存储器a、b、c在预测时被使用的频度的计数器92，根据其计数值，给存储器a、b、c加上等级，输出等级信息90。该等级的施加可以例如以1帧或动态图象目标在某时刻的图象(VOP)为单元进行，也可以在更细的单元即在每一被预测图象区(宏块、任意形状区、任意形状块等)中进行。

因此，能知道哪个存储器在预测中以怎样的频度被使用。预测中频繁使用的存储器是进行预测时重要程度高的存储器，参照频度越高，等级也越高。

这样一来，在各被预测图象区单元中对预测时使用的存储器的频度信息进行编码时，将码的长度短的码分配给频繁参照的存储器(＝等级高的存储器)，这样能提高编码效率。

另外，如果在各被预测图象区单元中检测的移动参数也能与参照的存 储器的等级对应地分配码长，则能将码的长度短的码分配给频繁发生的移动参数值，能有效地进行预测信息的编码。这些结构能这样实现，即长度可变编码·多路复用部19的预测信息编码部91从存储器更新部15b的计数器92接收各存储器的等级，根据其等级信息90，改变码长度，进行预测信息的编码。

实施形态12

图24表示本实施形态中的将压缩编码后的数字图象展开再生的图象译码装置的结构。该图中，21是编过码的位流，119是长度可变译码部，12是量子化DCT系数，12a是量子化正交变换系数，12b是量子化步长，111是结构译码部，111a是逆量子化部，111b是逆正交变换部，190是译码加法部，101是译码图象，191是显示控制部，8是预测方式，1001是存储器b更新信息，1002是存储器c更新信息，4是移动矢量(移动参数)，800是预测存储器指示信息，195是被预测图象区在画面内的位置，105是移动补偿部，116是存储器a，117是存储器b，118是存储器c，115是存储器更新部，106是预测图象。由移动补偿部105和存储器更新部115构成预测图象生成部100a。另外，由存储器a、b、c构成存储区200a。

在该实施形态中，假定存储器a是存储1帧的图象数据的帧存储器，存储器b是静态子画面存储器，存储器c是动态子画面存储器。另外，该实施形态的译码装置假定输入图22所示的位流21。另外，虽然在图22中未示出，但存储器b更新信息1001及存储器c更新信息1002被送到位流中。在存储器b更新信息1001中包含全面更新静态子画面存储器用的更新指示和进行全面更新用的图象数据。同样，在存储器c更新信息1002中包含全面更新动态子画面存储器用的更新指示和进行全面更新用的图象数据。

以下说明如上构成的装置的工作情况。首先，在长度可变译码部119 中分析位流21，将其分成各个编码数据。量子化正交变换系数12a被送给逆量子化部111a，用量子化步长12b进行逆量子化。其结果，在逆正交变换部111b中进行逆正交变换，结构被译码，并送给译码加法部190。正交变换采用DCT(离散余弦变换)等与在编码装置一侧所用的相同。

由长度可变译码部119根据位流进行过译码后的移动矢量4、预测存储器指示信息800、以及表示被预测图象区在画面内的位置195的信息被输入移动补偿部105中。移动补偿部105根据这3种信息，从存储在多个存储器a、b、c中的参照图象取出所希望的预测图象。被预测图象区在画面内的位置195不是包含在位流中的信息，而是通过计数宏块数能计算出来。关于预测图象生成的处理方法，将在以下说明移动补偿部105的工作情况的部分加以详细说明。

译码加法部190根据预测方式8的信息，如果是内部帧编码的块，则将逆正交变换部111b的输出直接作为译码图象101输出，如果是中间帧编码的块，便将预测图象106加在逆正交变换部111b的输出中，作为译码图象101输出。译码图象101被送给显示控制部191，并被输出给显示装置，同时在以后的译码处理中作为参照图象用，所以被写入存储器a～c。根据预测方式8，由存储器更新部115控制向存储器的写入。

其次，说明预测图象生成部100a的移动补偿部105中的预测图象生成处理方法。在本实施形态中，图象的预测方式根据预测存储器指示信息800来确定。在本实施形态的译码装置中生成预测图象时，根据移动矢量4和预测存储器指示信息800，通过规定的坐标变换处理及内插处理，从参照图象生成预测图象。坐标变换处理的方法预先就对应地分配给了预测中使用的存储器。例如，可以考虑与在实施形态3中说明过的图象变形方式相同的如下的变形方法例。

(1)预测中使用存储器a的情况(＝预测存储器指示信息800指示使 用存储器a的情况)

根据移动矢量，使被预测对象区的各象素的坐标平行移动，将存储器a中对应位置的图象数据作为预测图象取出。

(2)预测中使用存储器b的情况(＝预测存储器指示信息指示使用存储器b的情况)

根据移动矢量，求仿射变换式，根据该变换式使被预测对象区的各象素的坐标位移，将存储器b中对应位置的图象数据作为预测图象取出。

(3)预测中使用存储器c的情况(＝预测存储器指示信息指示使用存储器c的情况)

根据移动矢量，求远近法变换式，根据该变换式使被预测对象区的各象素的坐标位移，将存储器c中对应位置的图象数据作为预测图象取出。

将移动补偿部105的内部结构示于图25。在该图中，161是开关，162是存储器a用对应点确定部，163是存储器b用对应点确定部，164是存储器c用对应点确定部，165是存储器读出地址生成部，166是开关，167是内插处理部。另外，图26是表示其工作状况的流程图。

以下，根据图25及图26说明本实施形态的移动补偿部105的工作情况。

1)对应点的确定

首先，根据预测存储器指示信息800，由开关161选择对应的存储器用的对应点确定部，将移动矢量4输入所选择的对应点确定部。在这里进行与各存储器对应的预测图象位置的计算。以下对应于存储器进行说明。

1-1)预测存储器指示信息800指示使用存储器a的情况(步S100)

根据由移动矢量进行的平行移动，算出预测图象位置(步S101)。具体地说，根据移动矢量(a，b)，由下式确定被预测图象区的位置(x，y) 的象素的预测图象位置(x’，y’)。

x’＝x+a

y’＝y+b

将所确定的预测图象位置输出给存储器读出地址生成部165。

1-2)预测存储器指示信息800指示使用存储器b的情况(步S103)

根据移动矢量4确定仿射变换式。具体地说，用包围被预测图象区的矩形区的顶点的移动矢量，确定下式中的仿射参数(a，b，c，θ)。

x’＝a(cosθ)x+a(sinθ)y+b

y’＝a(-sinθ)x+a(cosθ)y+c

据此，求出被预测图象区的位置(x，y)的象素的预测图象位置(x’，y’)，输出给存储器读出地址生成部165(步S104)。

1-3)预测存储器指示信息800指示使用存储器c的情况(步S106)

根据移动矢量确定远近法变换式。具体地说，用包围被预测图象区的矩形区的顶点的移动矢量，确定下式中的远近法参数(a，b，c，d，e，f)。

x’＝(ax+by+c)/(gx+hy+1)

y’＝(dx+ey+f)/(gx+hy+1)

据此，求出被预测图象区的位置(x，y)的象素的预测图象位置(x’，y’)，输出给存储器读出地址生成部(步S107)。

2)预测图象生成用数据的读出

根据从所选择的对应点确定部输出的预测图象位置(x’，y’)，存储器读出地址生成部165生成特定存储器中存储的参照图象中的预测图象生成时所必要的图象数据的位置用的存储器地址，读出预测图象生成用数据(步S102、S105、S108)。

3)预测图象的生成

构成预测图象的象素中如果是整数象素位置的象素，则预测图象生成用数据就直接成为预测图象构成象素。另一方面，在实数精度的象素位置的象素的情况下，通过由内插处理部167进行预测图象生成用数据的内插处理，生成内插象素值(步S109、S110、S111)。内插象素值的生成按照图27进行。在图27中，(ip，jp)表示整数象素位置，(i’，j’)表示实数精度的象素位置，w表示权重。

4)存储器(参照图象)的更新

图28示出了存储器更新部115的控制程度。在存储器更新部115中，根据预测方式8(或预测存储器指示信息800)，按预测图象取出单元(例如宏块单元)控制各存储器的更新。用存储器a进行预测时(步S112)，根据译码图象101逐次更新存储器a及c的内容(步S113)。用存储器b进行预测时(步S114)，由于存储器b是静态子画面存储器，所以存储器b的参照图象不按预测图象取出单元进行更新。可是，根据译码图象101逐次更新存储器a及c的内容(步S115)。另一方面，在收到存储器b更新信息1001的更新指示后，接收存储器b更新信息1001中包含的图象数据，全面更新存储器b的内容(步S116)。另外，在用存储器c进行预测时(步S117)，根据译码图象101逐次更新存储器a及c的内容(步S118)。另外，在由存储器更新信息收到更新指示后，接收存储器c更新信息1002中包含的图象数据，更新存储器c的内容(步S119)。

在该实施形态中，说明了使用3个存储器a、b、c的情况，但即使使用2个存储器也没关系。例如，即使使用存储器a和b、即使用帧存储器和静态子画面存储器时也没关系。或者即使使用存储器a和c、即使用帧存储器和动态子画面存储器时也没关系。

如上所述，如果采用本实施形态的译码装置，则对应于图象的移动， 能使用各种类型的移动参数，对有效地进行过预测的已编码的位流21进行译码，同时由于能与在编码侧规定的时刻任意地更新参照图象的内容的结构相对应，所以能进行更适应于图象性质的译码处理。

在本实施形态中，即使是采用正交变换编码以外的其它编码方式对预测误差信号进行编码的位流，通过变更移动补偿部·存储器更新部以外的预测误差信号译码处理用的构件，能获得同样的效果。

另外，本实施形态不仅能适用于以固定尺寸块为单元进行译码处理的以通常的视频信号的帧为单元的译码装置，而且也能适用于不将被预测对象区限定在固定尺寸块、而以任意形状图象目标(例如：在ISO/IEC JTC1/SC29/WG11/N1902中公开的Video Object Plane等)为单元的译码装置。

工业上利用的可能性

如上所述，如果采用本发明，由于具有多个存储参照用图象的存储区，所以能根据动态图象顺序的性质，分配存入存储器，另外，由于能在任意时刻更新多个存储区中的1个以上的存储区的内容，所以背景图象等不随时间变化的图象内容长时间内不进行内容的更新，从而能进行局部变化的图象区频繁地更新存储器内容等的控制，能进行产生动态图象顺序的历史的有效地预测。

另外，由于对多个存储器分别设定使各存储器成为有效区的变形参数值范围，根据被预测图象区的变形参数值，切换并在预测中使用存储区，所以能根据动态图象顺序的局部的/大范围的移动的大小，进行有效的预测。同时应对每个被预测图象区进行编码的移动参数能在参照存储区的有效移动参数值区的范围内有效地进行编码。

另外，由于对多个存储区分别设定使各存储器成为有效的变形方法，根据被预测图象区的变形参数的种类，能切换并预测存储器，所以能根据 动态图象顺序的局部的/大范围的移动的复杂性，进行有效的预测。同时与被预测图象区的移动性质一致地适当地选择变形方法，能有效地对移动参数进行编码。

Claims (2)

1.一种预测动态图像的动态图像预测装置，其特征在于备有：

存储预测时参照的图像数据的多个存储器；以及

预测图像生成部，它有移动补偿部以及存储器更新部，其中所述移动补偿部输入表示被预测图像区域的移动的参数，根据该参数，利用所述多个存储器中存储的图像数据，生成预测图像，所述存储器更新部在任意时刻更新所述多个存储器中的至少一个存储器中存储的图像数据，

所述动态图像预测装置用于编码，

所述动态图像预测装置根据预测时用的所述存储器的使用频度相关的信息，进行参照存储器编号的码分配。

2.一种预测动态图像的方法，其特征在于包括以下工序：

将预测时参照的图像数据存入多个存储器的工序；

输入表示被预测图像区域的移动的参数的工序；

根据所述参数，利用所述多个存储器中存储的图像数据生成预测图像的工序；以及

在任意时刻更新所述多个存储器中的至少一个存储器中存储的图像数据的工序，

所述预测动态图像的方法用于编码，

所述预测动态图像的方法根据预测时用的所述存储器的使用频度相关的信息，进行参照存储器编号的码分配。