CN1992900A - 动态图象译码装置和方法 - Google Patents

Abstract

获得一种根据动态图象的场面内容和重要程度、移动的性质等，进行高精度的预测的动态图象编码方式。备有：存储参照用图象的多个存储区；能与表现被预测图象区的移动的任意的变形参数对应，根据该变形参数，利用上述多个存储区上的任意数据生成预测图象的移动补偿装置；以及能在任意时间间隔内更新上述多个存储区中1个以上的存储区的内容的存储器更新控制装置。

Description

动态图象译码装置和方法

本申请是申请人三菱电机株式会社于1998年1月22日提交的发明名称为“动态图象译码装置和方法”的中国专利申请200310124564.8的分案申请。

技术领域

本发明涉及例如电视电话、电视会议等中用于图象通信的便携式及固定式图象通信装置、数字VTR、视频服务器等的图象存储、记录装置等中用的动态图象编码/译码装置，以单独软件或DSP固件形式安装的动态图象编码/译码程序等中用的动态图象的预测编码方式。

背景技术

作为现有的动态图象编码方式中的预测编码例可以举出ISO/IECJTC1/SC29/WG11中进行标准化作业的MPEG-4(Moving PictureExperts Group Phase-4)的视频编码参照方式(Verification Model，以下称VM)。VM伴随MPEG-4的标准化作业的进行，方式的内容发生变化，但这里设想VM Version5.0，以下只表为VM。

VM是将动态图象顺序取作在时间/空间上取任意形状的图象目标的集合体，以各图象目标为单元进行编码的方式。图16中示出了VM中的视频数据结构。在VM中，将包含时间轴的动态图象目标称为VideoObjedt(VO)，将表示VO在各时刻的状态、成为编码单元的图象数据称为Video Objedt Plane(VOP)。当VO在时间/空间上具有层次性时，在VO和VOP之间特别设有称为Video Objedt Layer(VOL)的单元，表现VO内的层次结构。各VOP被分离为形状信息和结构信息。但是，在动态图象顺序中当VO为1个时，各VOP便与帧同义。这时，不存在形状信息，只进行结构信息的编码。

如图17所示，VOP具有表现形状信息的由初始数据和结构数据构成的结构。各数据被分别定义为由16×16个样本构成的块(初始块、宏块)的集合体。初始块内的各样本用8位表现。宏块伴随16×16个样本的辉度信号，包含与其对应的色差信号。根据动态图象顺序制作VOP数据的处理是在本编码装置以外进行的。

图18表示采用VM编码方式的VOP编码装置的结构。该图中，P1是输入的原VOP数据，P2是表现VOP的形状信息的初始块，P3是传送输入的VOP的形状信息的有无所用的开关，P4是对初始平面进行压缩编码的形状编码部，P5是压缩的初始块数据，P6是局部译码初始块，P7是结构数据(宏块)，P8是移动检测部，P9是变形参数，P10是移动补偿部，P11是预测图象候选，P12是预测方式选择部，P13是预测方式信息，P14是最后预测图象，P15是预测误差信号，P16是结构编码部，P17是结构编码信息，P18是局部译码预测误差信号，P19是局部译码宏块，P20是子画面存储器更新部，P21是VOP存储器，P22是子画面存储器，P23是长度可变编码·多路复用部，P24是缓冲器，P25是编码位流。

另外，图19示出了简要说明该编码装置的工作的流程。

在图18所示的编码装置中，首先，原VOP输入P1被分成初始块P2和宏块P7(步PS2、步PS3)，初始块P2被送到形状编码部P4，宏块P7被送到移动检测部8。形状编码部P4是进行初始块P2的数据压缩的处理块(步PS4)，本发明不是关于形状信息的压缩方法，所以该处理的详细说明从略。

形状编码部P4的输出是压缩初始数据P5和局部译码初始块P6，前者被送给长度可变编码·多路复用部P23，后者被分别送给移动检测部8、移动补偿部P10、预测方式选择部P12和结构编码部P16。

移动检测部P8(步PS5)接收宏块P7，利用VOP存储器P21中存储的参照图象数据和局部译码初始块P6，检测每个宏块局部的移动矢量。已经编码的VOP的局部译码图象被存入VOP存储器P21。每次宏块的编码结束后，便依次用该局部译码图象更新VOP存储器P21的内容。移动检测部P8同时还具有接收全部原VOP的结构数据，利用子画面存储器P22中存储的参照图象数据和局部译码初始平面，检测全局的弯曲参数的功能。后文将详细说明子画面存储器P22。

移动补偿部P10(步PS6)利用由移动检测部P8检测的移动参数P9和局部译码初始块P6，生成预测图象候选P11。其次，在预测方式选择部P12中，用预测误差信号电力和原信号电力，确定该宏块最后的预测方式P13及预测图象P14(步PS7)。这里还包括内部/在内判断。

在结构编码部P16中，根据预测方式P13，预测DCT、量子化、得到的量子化DCT系数后，或直接将预测误差或原宏块本身送给长度可变编码·多路复用部P23，进行编码(步PS8、步PS9)。长度可变编码·多路复用部P23根据预定的语法和长度可变编码代码，将接收的数据变换成位流，进行多路复用(步PS10)。量子化DCT系数经过逆量子化、逆DCT，变成局部译码预测误差信号P18后，得到与预测图象P14相加后的局部译码图象P19(步PS11)。局部译码图象P19被写入VOP存储器P21及子画面存储器P22，用于以后的VOP的预测(步PS12)。

以下，详细说明进行预测的部分、特别是预测方式和移动补偿部、子画面存储器P22及VOP存储器P21的更新控制。

(1)VM中的预测方式

如图20所示，在VM中通常有4种VOP编码类型，能对每一宏块选择各类型中用○表示的预测方式。用I-VOP时完全不进行预测，全部进行内部编码。P-VOP能进行从过去的VOP开始的预测。B-VOP在预测中能使用过去及未来的VOP。

以上的预测是全部由移动矢量进行的预测。另一方面，Sprite-VOP是可以使用内部存储器的预测。所谓内部是指在VOP单元中检测下式所示的弯曲参数集

[式1]

$\stackrel{\→}{\mathrm{\α}}=(a,b,c,d,e,f,g,h)$

以此为根据，通过依次混合VOP而生成的图象空间，并被存入子画面存储器P22。

x’＝(ax+by+c)/(gx+hy+1)

y’＝(dx+ey+f)/(gx+hy+1)

这里，(x，y)是原VOP的象素位置，(x’，y’)是根据弯曲参数而与(x，y)对应的子画面存储器中的象素位置。在Sprite-VOP的各宏块中，统一地使用该弯曲参数集，确定子画面存储器中的(x’，y’)，能生成预测图象进行预测。严格地说，子画面中预测用的″动态子画面″和不用预测而在译码侧以近似地合成VOP为目的用的″静态子画面″是有区别的。但以下根据用于预测的目的，按″子画面″的意义使用动态子画面。

用移动检测部P8检测以上用于预测的移动矢量及弯曲参数。将它们统称为移动信息P9。

(2)移动补偿部

移动补偿部P10例如取图21所示的内部结构。在该图中，P26是弯曲参数，P27是移动矢量，P28是全局移动补偿部，P29是局部移动补偿部，P30是由弯曲参数决定的预测图象候选，P31是由移动矢量决定的预测图象候选。预测图象P11是P30及P31的总称。

图22中简要地示出了移动补偿部P10的工作情况(步PS14至步PS21)的流程。

在移动补偿部P10中，利用由移动检测部P8对每个宏块P7检测的VOP总体的弯曲参数P26或宏块单元的移动矢量P27，生成预测图象P11。在全局移动补偿部P28中进行使用弯曲参数P26的移动补偿，在局部移动补偿部P29中进行使用移动矢量P27的移动补偿。

在I-VOP的情况下，移动补偿部P10不工作(步PS14至步PS21)。其次，局部移动补偿部P29工作，利用移动矢量P27，从VOP存储器P21内的过去的VOP局部译码图象只取出预测图象(PR1)(步PS15)。在I-VOP的情况下，只使用该预测图象(PR1)。

在步PS16中，在B-VOP的情况下，再在局部移动补偿部P29中，利用移动矢量P27从VOP存储器P21内的未来的VOP局部译码图象取出预测图象的候选(PR2)(步PS17)，同时将从过去及未来的VOP局部译码图象得到的预测图象相加后取平均(PR3)(步PS18)。

另外，即使是直接预测(根据相当于ITU-T劝告H.263编码方式中的B帧的预测方式的预测。根据成为组的P-VOP的矢量作成B帧用的矢量。在此详述说明从略)，也同样生成预测图象(PR4)(步PS19)。在图21中，由移动矢量决定的预测图象候选P31也是从上述PR1至PR4的一部分或全部的总称。

当既不是I-VOP，也不是B-VOP，而是Sprite-VOP时，与P-VOP相同，利用移动矢量从VOP存储器取出预测图象(PR1)，同时在步PS20中，在全局移动补偿部P28中用弯曲参数P26，从子画面存储器P22取出预测图象P30。

全局移动补偿部P28根据弯曲参数P26，计算子画面存储器P22中的预测图象存在的地址，根据该地址从子画面存储器P22中取出并输出预测图象P30。局部移动补偿部P29根据移动矢量P27，计算VOP存储器P21中的预测图象存在的地址，根据该地址从VOP存储器P21中取出并输出预测图象P31。

在预测方式选择部P12中，对这些预测图象候选P11并包括内部信号P7进行评价，选择预测误差信号电力最小的预测图象候选P11。

(3)存储器更新

由存储器更新部P20进行存储器更新控制(步PS12)，进行VOP存储器P21及子画面存储器P22的更新。这些存储器内容的更新与在宏块单元中选择的预测方式P13无关地进行。

存储器更新部P20的内部结构示于图23，表示存储器更新部P20的工作(步PS22至步PS28)的流程示于图24。

在图23中，P32是VOP编码类型，P33是子画面预测识别符，P34是子画面布莱特(brend)系数，P35是开关，P36是开关，P37是子画面合成部，P38是子画面变形处理部，P39是VOP存储器更新信号，P40子画面更新信号。

首先，利用子画面预测识别符检查是否指定在该VO或VOL中使用子画面(步PS22)，不使用子画面时，检查B-VOP(步PS27)，如果是B-VOP，完全不进行存储器的更新。在I-VOP或P-VOP的情况下，对每一宏块将局部译码图象P14写入VOP存储器21(步PS28)。

另一方面，在步PS22的检查中，当使用子画面时，首先进行与上述同样的VOP存储器的更新后(步PS23，步PS24)，按照以下的顺序进行子画面存储器P22的更新。

a)子画面的弯曲(步PS25)

首先，在子画面变形处理部P38中，利用[式3]所示的弯曲参数，使子画面存储器的由[式2]所示的区域(该VOP的时刻为t时，与将子画面存储器上的位置作为原点的VOP面积相同的区域)变形。

[式2]

$M(\stackrel{\→}{R},t-1)$

[式3]

$\stackrel{\→}{\mathrm{\α}}=(a,b,c,d,e,f,g,h)$

b)子画面的布莱特系数(步PS26)

利用上述a)的结果得到的弯曲图象，在子画面合成部P37中，根据下式求出新的子画面存储区。

[式4]

$M=(\stackrel{\→}{R},t)(1-\mathrm{\α})\·W_b[M(\stackrel{\→}{R},t-1),\stackrel{\→}{\mathrm{\α}}]+\mathrm{\α}\·V0(\stackrel{\→}{r},t)$

式中各量的意义如下式所示。

[式5]

α：布莱特系数P34

上述(1)的结果得到的弯曲图象

局部译码VOP的位置

及时刻t时的象素值

但在局部译码宏块中不属于VOP的区域看作是

[式6]

VO(ρ，t)＝0

布莱特系数α是以VOP单元给出的，所以局部译码VOP不管VOP区的内容如何，根据α且按比重，一并在子画面存储器中合成。

在以上这种现有的编码方式中的预测方式中，进行动态图象目标的预测时，由于最大只能一面一面地使用只进行动矢量检测的存储器和只进行弯曲参数检测的存储器，所以只能将能用于预测的参照图象作为极其有限的方法使用，不能获得满意的预测效率。

另外，在同时对多个动态图象目标进行编码的系统中，由于在这些存储器中只包含表示预测的动态图象目标本身的历史的参照图象，所以限定了参照图象的变化，同时不能利用动态图象目标之间的相关关系进行预测。

再者，即使进行存储器的更新时，由于与动态图象目标的内部结构、性质及历史等无关地改写存储器的内容，所以不能将对于预测动态图象目标有用的重要知识充分地存入存储器，存在不能谋求提高预测效率的问题。

发明内容

本发明就是为了解决上述问题而完成的，其目的在于提供这样一种灵活的预测方式，即设置多个存储器，考虑动态图象顺序的内部结构、性质等，将动态图象顺序的历史有效地存入多个存储器中，提高预测及编码效率，同时能在多个动态图象目标之间进行预测。

本发明的动态图象预测方式备有：移动补偿装置，它使用多个存储动态图象顺序的编码及译码时参照的图象的存储区，根据表现被预测图象区的移动的参数，利用上述多个存储区上的任意数据生成预测图象；以及存储器更新控制装置，它能在任意时刻更新上述多个存储区中1个以上的存储区的内容。

另外，本发明的动态图象预测方式是：个别的参数有效值范围分别对应于上述多个存储区，特定包含表现被预测图象区的移动的参数值的上述参数有效值范围所对应的存储区作为预测图象生成元的存储区，利用该特定的存储区上的数据生成预测图象。

另外，本发明的动态图象预测方式是：个别的变形方法分别对应于上述多个存储区，对应于指定表现被预测图象区的移动的参数值的存储区，根据与上述存储区对应的变形方法，利用该存储区上的数据生成预测图象。

另外，本发明的动态图象预测方式是：上述多个存储区使用在对应的特定动态图象目标预测中用的存储区进行预测时，识别被预测动态图象目标能单独译码再生，使用在对应的特定动态图象目标预测中用的存储区以外的存储区进行预测时，识别被预测动态图象目标不能单独译码再生，以便确定参照的存储区。

另外，本发明的动态图象预测方式备有：根据表现上述被预测图象区的移动的参数，利用上述多个存储区上的任意数据生成预测图象的移动补偿装置；以及根据动态图象顺序或动态图象顺序在各时刻的变化状态，一边增减上述多个存储区的数量或容量，一边更新内容的存储器更新控制装置。

另外，本发明的动态图象预测方式是：限定预测各上述动态图象目标或该动态图象目标在各时刻的图象时使用的存储区，进行预测。

另外，本发明的动态图象预测方式是：上述移动补偿装置通过计算从多个存储区得到的多个预测图象，生成最后的预测图象。

另外，本发明的动态图象预测方式是：检测每个被预测图象区中设定的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测。

另外，本发明的动态图象预测方式是：预先根据动态图象顺序，预先检测表示可利用的码的数量、顺序变化量、被预测图象区的特征量和重要程度等的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测。

另外，本发明的动态图象预测方式是：在进行由多个动态图象目标构成的动态图象顺序的编码时，利用存储了参照用的图象的多个存储区进行预测时，预先根据动态图象顺序或各动态图象目标检测表示所给出的码的数量、各动态图象目标的变化量、被预测动态图象目标的特征量和重要程度等的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测。

另外，本发明的动态图象预测方式是：备有利用多个存储区中存储的参照图象，生成预测图象的移动补偿装置；根据动态图象顺序或动态图象目标的内容，在任意时刻更新上述多个存储区内容的存储器更新装置；以及对预测的信息进行编码的预测信息编码装置，上述存储器更新装置在进行动态图象顺序或动态图象目标的编码时，根据预测时使用的频度，确定各存储区的等级，上述预测信息编码装置根据预测时使用的存储区的等级，进行与预测有关的信息的码分配。

附图说明

图1是表示本发明的实施例中的动态图象编码装置的结构图。

图2是表示本发明的实施例中的动态图象编码装置的工作流程图。

图3是表示本发明的实施例中的动态图象编码装置的移动补偿部的结构图。

图4是表示移动补偿部的工作流程图。

图5是表示本发明的实施例中的动态图象编码装置的存储器更新部的结构图。

图6是表示存储器更新部的工作流程图。

图7是表示本发明的实施例中的动态图象编码装置的移动补偿部的结构图。

图8是表示图7中的移动补偿部的工作流程图。

图9是表示本发明的实施例中的动态图象编码装置的移动补偿部的结构图。

图10是表示图9中的移动补偿部的工作流程图。

图11是表示本发明的实施例中的动态图象编码装置的结构图。

图12是表示本发明的实施例中的动态图象编码装置的移动补偿部的结构图。

图13是表示图12中的移动补偿部的工作流程图。

图14是表示本发明的实施例中的动态图象编码装置的存储器更新部的结构图。

图15是表示图14中的存储器更新部的工作流程图。

图16是表示VM编码方式中的视频数据结构的说明图。

图17是表示VOP数据结构的说明图。

图18是VM编码装置的结构图。

图19是表示图18中的编码装置的工作流程图。

图20是表示与VOP类型对应的预测种类的说明图。

图21是表示图18所示的编码装置中的移动补偿部的结构图。

图22是表示图21中的移动补偿部的工作流程图。

图23是表示图18所示的编码装置中的存储器更新部的结构图。

图24是表示图23中的存储器更新部的工作流程图。

具体实施方式

实施例1

图1是表示实施例1的动态图象编码装置的结构框图。该图中，1是输入动态图象信号，2是结构数据，3是移动检测部，4是移动参数，5是移动补偿部，6是预测图象候选，7是预测方式选择部，8是预测方式，9是预测图象，10是预测误差图象，11是结构编码部，12是量子化DCT系数，13是局部译码的预测误差图象，14是局部译码图象，15是存储器更新部，16是存储器a，17是存储器b，18是存储器c，19是长度可变编码·多路复用部，20是发信缓冲器，21是位流。这样的移动补偿部5、存储器更新部15用来实现预测方式。图2是表示该编码装置的工作流程的流程图。

在该实施例中，根据输入动态图象的重要程度，分别使用3个存储器，而且设有以任意时间间隔更新存储器a的内容的结构。另外，动态图象顺序是输入帧单元的顺序。

(1)输入信号

如上所述，将动态图象顺序中的表示各时刻的图象的帧输入单元中，帧被分割成成为编码单元的宏块(步S1)。

(2)分别使用存储器的方法

过去译过码的图象或预先固定给出的图象被存入存储器中，但在该实施例中，根据帧中的部分区的重要程度，如下分别使用3个存储器。

存储器a：存储重要程度小的区(＝静止或均匀移动，而且结构均匀的背景区)。

存储器b：存储重要程度中等的区(＝被摄物体移动，移动较小的区)。

存储器c：存储重要程度大的区(＝被摄物体移动，移动大的区)。

存储器a中存储的可以考虑电视会议的场面等中出现的背景区。另外，包括伴随某种微小移动的被摄物体，也相当于包括通过操作摄象机使画面整体均匀移动的场面中的背景区。如果代替这些移动，预先从称为宏块的小单元求出帧全体的移动，将其作为宏块的移动，则是有效的。这可以这样做，即通过求出相当于在现有例中说明过的子画面中的弯曲参数的变形参数，将其看作宏块的移动参数。变形参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。

存储器b中存储的可以考虑例如电视会议的场面中不发言、只是身体移动的人物区，画面中注意程度低的被摄物体区。存储器c中存储的可以考虑例如电视会议的场面中的发言者等注意程度最高的被摄物体区。

存储器b、c中存储的区由于具有被摄物体本身的动作，所以当然要考虑每个宏块中具有不同的移动参数。这时的移动参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。

(3)移动检测(步S2)

本实施例中的移动检测部3去掉现有例中的那种移动矢量和弯曲参数的区别，能在宏块单元中检测全部3个存储器的任意的变形参数。另外，备有用存储器a检测帧全体的变形参数的全局移动参数检测功能，以及用存储器a至c检测每个宏块的变形参数的局部移动参数检测功能。

(4)移动补偿(步S3)

本实施例中的移动补偿部5的内部结构示于图3。在该图中，22是预测图象存储器地址计算部，23是预测图象存储器地址，24是存储器读出部，25是参照存储器指示信号。记述其移动补偿工作(步S11至步S16)的流程示于图4。

首先，如果是I(内部)-帧，不进行移动补偿(步S11)。如果不是I-帧，则将由移动检测部3检测的全局移动参数和来自各存储器的局部移动参数一起生成预测图象(步S12至步S15)。具体地说，预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器指示信号25指示的存储器中的预测图象存在的地址23，根据地址23，从存储器读出部24对应的存储区取出并输出预测图象6。

在该实施例中，由于全局移动参数或是局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图3所示的结构。另外，用全局移动参数取出时(步S15)，经常将存储器α作为参照存储器用。

(5)预测方式的选择(步S4)

该实施例中的预测方式选择部7可以这样构成，如现有例所示，包括由移动补偿部5生成的全部预测图象6和内部信号2，选择预测误差信号电力最小的预测图象。

(6)存储器的更新

存储器的更新由存储器更新部15进行控制。该实施例中的存储器更新部15的内部结构示于图5。在该图中，26是存储器a更新时用的活动性，27是存储器a更新判断部，28是更新存储器选择部，29、30是开关，31是更新存储器a的图象数据，32是更新存储器b的图象数据，33是更新存储器c的图象数据，34是更新存储器a的全局预测图象数据。另外，将存储器更新的工作流程示于图6。

该实施例中的存储器更新程序按以下顺序进行。

(1)帧单元的逐次更新(步S17至步S21)

首先，根据预测方式信息8，将局部译码图象14写入预测用存储器。

(2)存储器a的更新(步S22、步S23)

存储器a的内容可以说是背景图象等的不随时间变化的图象区的历史，除非区域的内容随着场面的变化或画面全体大的移动等而发生很大的变化，否则存储器的内容就没有必要更新。当然，如果备有使被摄物体等的活动区以帧为单元逐次更新，而存储器a的内容以更长的时间间隔进行更新的结构，则能有效地根据被摄物体的移动，预测影影绰绰的背景图象。

在该实施例中，根据以上观点，设有以任意的时间间隔进行存储器a的更新的结构。具体地说，例如如下考虑：

a.根据全局移动参数的大小，当移动大时将内容一起更新，移动小时在该时刻不更新内容的方法

b.不受帧之间的时间间隔的限定，按某一定的时间间隔一起更新内容的方法

c.检测场面的变化，以场面变化后的帧一起更新的方法等。

在该实施例中，将成为以上这样的更新判断基准的数据统称为存储器a更新用的活动性26。首先，存储器a更新判断部27用活动性26判断是否更新存储器a的内容(步S22)。在上述a的情况下，全局移动参数值变成活动性，在上述b的情况下，该帧的计时标记相当于活动性，在上述c的情况下，通知场面变化检测的标记相当于活动性。

在断定了要更新存储器a的内容时，局部译码图象14的内容被作为全局预测图象数据34输出，改写存储器a的内容(步S23)。在未断定更新存储器a的内容时，不进行存储器a的更新。

另外，该帧中的存储器a更新判断结果被多路化在位流中，送给译码侧，能在译码侧进行同样的更新。

利用上述编码装置，根据动态图象顺序的内容，供给有效地分别使用多个存储器的结构，能提高预测效率。

即，进行动态图象顺序的预测时，根据动态图象顺序的内容或性质，分别使用多个存储区，进行以任意的变形参数为依据的预测，所以即使包括复杂的移动，也能进行与局部图象性质相符的有效的预测，能提高预测效率，能构成既能保持编码图象的品质，又能减少编码数据的发送量的编码装置。另外，在根据本发明的预测方式对编码后的位流进行译码的译码装置中，也能用同样的预测方式构成。

在该实施例中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施例中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块区等单元进行编码的装置，也能获得同样的效果。

另外，在该实施例中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，在该实施例中，还可以这样构成，即设置在对预先根据动态图象顺序的内容生成的参照图象数据进行存储、编码过程中不进行更新的存储器，将其用于预测。

另外，还可以使用与在该实施例中说明的移动补偿部5、与存储器更新部15完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部5只生成与译码过的移动参数有关的预测图象即可。

实施例2

其次，示出在图1所示构成的编码装置中，只使移动补偿部5的结构不同而构成译码装置的实施例，并说明移动补偿部5的结构和工作情况。

将该实施例的移动补偿部5的内部结构示于图7。在该图中，35是参照存储器选择部。另外，将记述其移动补偿的详细工作情况的流程示于图8。

首先，如果是I-帧，则不进行移动补偿(步S24)。如果不是I-帧，则根据移动参数4的值，确定参照存储器(步S25)。该处理是在参照存储器确定部35中进行的。参照存储器确定部35保持着分配给各存储器的有效移动参数值范围，通过与移动参数4进行比较，判断该移动参数4指的是哪个存储区，输出参照存储器编号25。

所谓有效移动参数值范围，例如在检测移动矢量时，其探索范围为±15个象素，意味着各存储器的有效探索范围为：±0至3个象素范围用于存储器a的预测，±4至8个象素范围用于存储器b的预测，±9至15个象素范围用于存储器c的预测。但是，在用全局移动参数生成预测图象时，参照存储器认定为存储器a，所以在只使用局部移动参数时，才起动存储器确定部35。

其次，随着所选择的参照存储器编号25，生成预测图象(步S26至步S30)。具体地说，在预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器编号25指示的存储器中的预测图象存在的地址23，根据地址23，存储器读出部24从对应的存储区取出并输出预测图象6。

在该实施例中，由于全局移动参数或是局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图7所示的结构。另外，用全局移动参数取出时(步S31)，经常将存储器a作为参照存储器用。

另外，该帧中的各存储器的有效移动参数值范围被多路化在位流中，送给译码侧，能在译码侧进行同样的存储器选择。

利用上述的具有移动补偿部5的结构的编码装置，根据帧的局部移动程度，供给有效地分别使用多个存储器的结构，能提高预测效率。

在该实施例中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施例中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块区等单元进行编码的装置，也能获得同样的效果。

另外，在该实施例中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，还可以使用与在该实施例中说明的移动补偿部5完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部5只生成与译码过的移动参数有关的预测图象即可。

实施例3

其次，示出在图1所示结构的编码装置中，只使移动补偿部5的结构不同而构成编码装置的实施例，并说明移动补偿部5的结构和工作情况。

将该实施例的移动补偿部5的内部结构示于图9。在该图中，36是平行移动量(＝移动矢量)，37是仿射参数，38是远近法参数，39是基于平行移动量的预测图象存储器地址计算部，40是基于仿射参数的预测图象存储器地址计算部，41基于远近法参数的预测图象存储器地址计算部。另外，将记述其移动补偿的详细工作情况的流程示于图10。

首先，如果是I-帧，则不进行移动补偿(步S33)。如果不是I-帧，则根据移动参数4的值和参照存储器编号25，计算预测图象地址(步S34)。该处理是在预测图象存储器地址计算部39至41中进行的。

各存储器地址计算部根据分配给对应的各存储器的图象变形方式进行地址计算。在该实施例中，将平行移动用于存储器a，将伴随某种程度的旋转或放大、缩小等单纯的变形的仿射参数用于存储器b，将伴随3维复杂的移动的远近法参数用于存储器c。这些变形方式用下列变换式表示。

[平行移动]

平行移动量(a，b)：

x’＝x+a

y’＝y+b

[仿射变换]

仿射参数(a，b，c，θ)：

x’＝a(cosθ)x+a(sinθ)y+b

y’＝a(-sinθ)x+a(cosθ)y+c

[远近法变换]

远近法参数(a，b，c，d，e，f)：

x’＝(ax+by+c)/(gx+hy+1)

y’＝(dx+ey+f)/(gx+hy+1)

式中，(x，y)是原宏块的象素位置，(x’，y’)是根据各参数而与(x，y)对应的存储器中的象素位置。即，根据这些参数，计算(x’，y’)在存储器上的位置。利用该结构，能根据各宏块中移动的性质都能适合的存储器，进行预测。利用根据各移动参数36至38计算的存储器地址23，存储器读出部24从对应的存储区取出并输出预测图象6(步35至步39)。

另外，该帧中的各存储器的变形方式的类型被在位流中多路化，并送给译码侧，能在译码侧进行同样的移动补偿。

利用上述的具有移动补偿部5的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。

在该实施例中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施例中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块区等单元进行编码的装置，也能获得同样的效果。

另外，在该实施例中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。

另外，还可以使用与在该实施例中说明的移动补偿部5完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部5只生成与译码过的移动参数有关的预测图象即可。

实施例4

其次，说明以具有形状信息的2个不同的动态图象目标混合存在的动态图象顺序为对象，对这些动态图象目标一并进行编码的装置的实施例。图11示出了该实施例中的编码装置的结构。

该图中，42是输入图象帧，43是目标分离部，44a、44b是目标数据，45a、45b是形状块，46a、46b是开关，47a、47b是形状编码部，48a、48b是压缩形状块数据，49a、49b是局部译码形状块，50a、50b是结构数据(宏块)，51a、51b是移动检测部，52a、52b是移动参数，53a、53b是移动补偿部，54a、54b是预测图象候选，55a、55b是预测方式选择部，56a、56b是预测方式信息，57a、57b是最后预测图象，58a、58b是预测误差信号，59a、59b是结构编码部，60a、60b是压缩结构数据，61a、61b是局部译码预测误差信号，62a、62b是局部译码宏块，63是存储器更新部，64是存储器a，65是存储器b，66是存储器c，67是存储器d，68是存储器e，69是存储器f，70a、70b是长度可变编码部，71是多路复用部，72缓冲器，73位流。

送给该编码装置的输入42是图象帧，它在目标分离部43中被分成编码单元的目标。目标分离部43的处理可以采用任意的方法。

目标形状信息以形状块45a、45b的形式被送给形状编码部47a、47b进行编码，作为压缩形状块数据48a、48b送给长度可变编码部70a、70b。

移动检测部51a、51b与VM编码方式一样，考虑局部译码形状块49a、49b，进行移动参数检测。移动参数检测可以用全部存储器a至f，在宏块单元中进行。

但是，作为原则，对于在目标分离部43的前级的编码处理部分(图中带符号a的部件)中进行编码的目标来说，使用存储器a至c，对于在后级的编码处理部分(图中带符号b的部件)中进行编码的目标来说，使用存储器d至f。

另外，作为移动的种类，去掉移动矢量和弯曲参数的区别，对于所有的存储器都能在宏块单元中检测任意的变形参数。

在移动补偿部53中根据移动参数52，生成全部预测图象候选54后，在预测方式选择部55中获得最后的预测图象57和预测方式信息56。取原信号50和预测图象57的差分，获得预测误差信号58，它在结构编码部59中编码后，被送给长度可变译码部70。另外，进行过局部译码的预测误差信号61与预测图象57相加，成为局部译码图象62，根据存储器更新部的指示，被写入存储器a至f。

在上述前、后级编码部中，被编码的目标数据在多路复用部中被在1个位流中多路复用化，通过缓冲器72进行输送。

以下以进行主要工作的移动补偿部53为中心，说明预测。

该实施例中的移动补偿部53a、53b根据由移动检测部51a、51b检测的移动参数52a、52b，生成预测图象。移动补偿部53a、53b的内部结构示于图12。另外，工作流程示于图13。(但，工作流程就是前级编码部中的移动补偿部的工作情况)。

在图12中，74是另一目标参照判断部，75是另一目标参照指示标记。

这里，移动参数52还包括检测用的存储器编号。与实施例1一样，根据参数值并利用存储器地址计算部22、存储器读出部24，生成预测图象(步S44至步S49)。另外，根据移动参数52中的参照用的存储器编号，决定是否使用该宏块预测中另一目标用的存储器(步S43)。

该判断由另一目标参照判断部74进行，判断结果被作为另一目标参照指示75输出，用于判断在译码侧该目标是否能单独再生，所以被多路复用化在位流中，送给译码侧。编码时可以进行限制，以便能经常在译码侧单独再生，检测移动参数时，也可以进行限制，以便只使用本身预测用的存储器。

利用具有上述移动补偿部53的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。

另外，在该实施例中，说明了在宏块单元中对目标进行编码的装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块区等单元进行编码的装置，也能获得同样的效果。

另外，还可以使用与在该实施例中说明的移动补偿部53完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部53只生成与译码过的移动参数有关的预测图象即可。另外，如果这样构成，即根据位流，对相当于另一目标参照指示75的位进行译码，并能识别译码中的目标是否能单独再生，这样就能无误地对目标数据进行译码再生。

实施例5

其次，说明采用对应于动态图象目标随时间的变化，能使存储器的数量及容量自动地变化的结构时的实施例。说明工作情况时，考虑将图1所示结构的编码装置中的存储器更新部15的结构更换后的编码装置。

图14示出了该实施例中的存储器更新部15的内部结构。在该图中，76是存储器展开判断部，77是存储器展开指示信号，78是存储器退缩判断部，79是存储器退缩指示信号。工作流程(步S51至步S63)示于图15。

当由于场面变化等而出现与存储器中存储的动态图象顺序的历史显著不同的图象时，在场面变化后的预测中，原有的存储器中含有的参照图象的预测效率往往下降。在这种情况下，如果能检测场面的变化，对场面变化后的帧进行内部编码等，并将其作为心的参照图象追加存入存储器中，则能提高以后的预测效率。

另外，由于能追加的存储器的容量有物理性的极限，所以具有能使存储器上的参照图象中预测时几乎不使用的部分逐渐退缩的结构。根据预测方式信息，由存储器更新部测量预测时使用的频度，使之具有在存储器更新部中将频度小的存储部分从使用区展开的结构。如果采用该实施例，例如在用软件构成编码装置时，能有效地利用有限的RAM资源。

根据上述观点，该实施例中的存储器更新部15具有根据动态图象顺序随时间变化的状态，或使存储区增加，或使含有预测时不大使用的参照图象的存储区退缩的功能。

存储器a与实施例1相同，在存储器a更新判断部27中确定是否可以更新，更新时将局部译码图象14写入存储器a(步S56，步S57)。另外，根据预测方式信息8，将局部译码图象14写入各存储器(步S51至步S55)。

这些存储器内容的更新是根据存储器展开/退缩的判断进行的。在存储器展开判断部76中，根据存储器a更新时使用的活动性26，判断是否增加存储器a(或存储器b、c)的容量(步S58至步S60)。如果由于场面变化等而断定可以增加容量，便用存储器展开指示信号77指示存储器展开。另外，在存储器退缩判断部78中，根据预测方式信息8，进行预测时用的存储区的计数，只对规定次数以下的预测时用的存储区，用存储器退缩指示信号79指示存储器的退缩(步S61至步S63)。

利用具有上述存储器更新部15的结构的编码装置，能随着动态图象顺序随时间变化而有效地进行预测，同时供给将预测时所必要的存储区按时间分配的结构，能提高预测效率，同时能有效地利用存储器资源。

另外，在该实施例中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。

另外，在该实施例中，说明了在宏块单元中对帧进行编码的装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的决区等单元进行编码的装置，也能获得同样的效果。

另外，还可以使用与在该实施例中说明的存储器更新部15完全相同的构件构成译码装置。

实施例6

在上述各实施例中，还能这样构成，即在帧或动态图象目标单元中预先限定预测时使用的存储器，进行预测。因此，不需要对应与以帧或动态图象目标单元编码的存储器相关的信息及应以宏块单元编码的存储器选择信息(包括预测方式信息)进行编码，能有效地进行编码。另外，能构成对如上编码后的位流进行译码，使帧或动态图象目标再生的译码装置。

实施例7

在上述各实施例中，还能这样构成，即将从多个存储器中的任意的2个存储器取出的预测图象相加，并将平均后的图象作为最后的预测图象用。另外，能构成对如上编码后的位流进行译码，使帧或动态图象目标再生的译码装置。

实施例8

在上述各实施例所示的编码装置中，还能这样构成，即对规定成为进行预测的单元的图象区的空间的复杂性、注视程度、移动的复杂性等的特征量参数，预先进行检测，将它们用作存储器更新时的判断尺度。

例如，可以考虑进行这样处理的装置，即，当由图象的性质给出的编码量中对全体进行编码有困难时，利用上述的特征量等，对于注视程度低的区不进行预测及编码，能省去存储器的更新，反之，对于注视程度高的区，根据移动的性质将其写入适当的存储区中，以便在以后的预测中能充分地利用。

实施例9

在利用多个存储器，对动态图象顺序进行预测编码的装置中能这样构成，即在动态图象顺序的各时刻，检测可使用的码的数量、或该时刻的场面变化量(场面变化检测等)、实施例8中所述的被预测图象区的特征量或重要程度等的参数，将这些值用作选择能在该时刻预测图象用的预测方式或参照存储区时的判断尺度。

例如，可以考虑这样的装置，即在通过发信缓冲器等的制约，预先规定能使用的码的数量的情况下，利用全部可能利用的预测方式和参照存储区，最大限度地提高预测效率，或者在不特定能使用的码的数量的情况下，限制预测方式和参照存储区，简化编码处理，减少处理量。

另外，可以考虑在场面变化检测时，不进行预测，全部进行内部编码的装置。另外，还可以考虑预先检测表示被预测图象区的移动性质的参数，根据其性质选择进行恰当的预测的预测方式和参照存储器的装置。

实施例10

在用多个存储器对由多个动态图象目标构成的动态图象顺序进行预测、编码的装置中，可以这样构成，即检测能作为顺序使用的总码数量、能在各动态图象目标的各个时刻使用的码的数量、或在该时刻的动态图象目标的变化量(目标的出现、隐蔽等)、各动态图象目标在场面中的重要程度/注视程度的等级、实施例8或9所述的被预测图象区的特征量或重要程度等的参数，将这些值用作选择能在该时刻预测动态图象目标用的预测方式或参照存储区时的判断尺度。

例如，可以考虑这样的编码装置，即设置与各目标对应的压缩数据缓冲器，在通过发信缓冲器等的制约，预先规定能使用的码的总数的情况下，根据表示各目标的缓冲器的状态和各目标的变化量或重要程度的等级等的参数，选择预测方式和参照存储区，以便进行与各目标的状态和重要程度对应的最佳预测，既保证高的图象质量，又能集中在总体规定的总码量中进行处理。

另外，可以考虑根据反映目标的出现或隐蔽等的状况的参数，在目标本身的变化量非常大的情况下，不进行预测，全部进行内部编码的装置。

另外，还可以考虑预先检测目标中的表示被预测图象区的移动性质的参数，根据其性质选择进行恰当的预测的预测方式和参照存储器的装置。

实施例11

另外，有时设置进行有关预测的编码信息(参照存储器编号等)的码分配(编码)的预测信息编码装置。

在用多个存储器对动态图象顺序或动态图象目标进行预测、编码的装置中，可以这样构成，即根据预测时使用的频度，给存储区加上等级，而且在编码过程中所加的等级能动态地变更，根据预测时用的存储区的等级，进行上述预测信息编码装置中的有关预测的编码信息(参照存储器编号等)的码分配。

例如在图1所示的编码装置中，在存储器更新部15中设置分别计数存储器a~c在预测时被使用的频度的计数器，根据该计数值，给存储器a~c加上等级。该等级的施加可以例如以1帧或动态图象目标在某时刻的图象(VOP)为单元进行，也可以在更细的单元即在每一被预测图象区(宏块、任意形状区、任意形状块等)中进行。

因此，能知道哪个存储器在预测中以怎样的频度被使用。预测中频繁使用的存储区是进行预测时重要程度高的存储区，参照频度越高，等级也越高。

这样一来，在各被预测图象区单元中对预测时使用的存储区编号进行编码时，将短的码分配给频繁参照的存储器(＝等级高的存储器)的编号，这样能提高编码效率。

另外，在被预测图象区单元中检测的移动参数如果也能分配到与参照的存储器的等级对应的码长，则能将短码分配给频繁发生的移动参数值，能有效地进行预测信息的编码。这些结构能这样实现，即长度可变编码·多路复用部从存储器更新部接收各存储器的等级，根据该等级信息改变码长度，进行预测信息的编码。

如上所述，如果采用本发明，由于具有多个存储参照用图象的存储区，所以能根据动态图象顺序的性质，分配存入存储器，另外，由于能在任意时刻更新多个存储区中的1个以上的存储区的内容，所以背景图象等不随时间变化的图象内容长时间内不进行内容的更新，从而能进行局部变化的图象区频繁地更新存储器内容等的控制，能进行有效地利用动态图象顺序的历史的预测。

另外，由于对多个存储区分别设定使各存储区成为有效的变形参数值范围，根据被预测图象区的变形参数值，预测时切换使用存储区，所以能根据动态图象顺序的局部的/大范围的移动的大小，进行有效的预测。同时每个被预测图象区的应编码的移动参数能在参照存储区的有效移动参数值范围内有效地进行编码。

另外，由于对多个存储区分别设定使各存储区成为有效的变形方法，根据被预测图象区的变形参数的种类，能切换并预测存储器，所以能根据动态图象顺序的局部的/大范围的移动的复杂性，有效地进行预测。同时能适当地选择与被预测图象区的移动性质一致的变形方法，能有效地对移动参数进行编码。

另外，由于预测由多个动态图象目标构成的动态图象顺序时，不仅能对被预测动态图象目标使用多个存储区，而且能用本身应使用的存储区以外的存储区进行预测，所以能进行有效的预测。另外，由于断定用本身应使用的存储区以外的存储区进行预测时，该动态图象目标不能单独译码再生，而用本身应使用的存储区进行预测时，该动态图象目标能单独译码再生，所以能对各个动态图象目标进行稳定的译码。

另外，由于根据动态图象顺序在各个时刻的变化状况及参照用的频度等，一边增减预测时使用的多个存储区的数量及容量，一边更新内容，所以能将动态图象顺序的历史瞬间反映在存储内容中，能有效地利用有限的存储器资源进行预测。

另外，由于预测由多个动态图象目标构成的动态图象顺序时，限定预测时能使用的多个存储区中对动态图象目标或动态图象目标在各个时刻的图象预测时用的存储区数量或容量，进行预测，所以既能保持预测效率，又能对与预测有关的信息有效地进行编码。

另外，由于通过计算从多个存储区得到的多个预测图象，生成最后的预测图象，所以能进行更有效的预测。

另外，由于进行动态图象顺序的编码时，检测表示与被预测图象区单元对应的特征量或重要程度的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测，所以能利用与被预测图象区对应的前馈信息，进行有效的预测。

另外，由于进行动态图象顺序的编码时，预先检测表示对应于动态图象顺序在各个时刻的可能利用的码的数量或变化量等的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测，所以能利用较大范围的单元的前馈信息，进行有效的预测。

另外，由于进行由多个动态图象目标构成的动态图象顺序的编码时，预先检测表示对应于全部动态图象顺序或各动态图象目标的可能利用的码的数量、变化量等的参数，根据该参数选择预测方式、参照存储区及存储器更新方法，进行预测，所以能进行考虑了动态图象目标之间的重要程度的差别等的有效的预测。

另外，由于在动态图象顺序或动态图象目标的编码过程中，根据预测时使用的频度，给存储区加上等级，根据等级对与预测有关的信息进行编码，所以能有效地对与预测有关的信息进行编码。

图25是表示本发明的实施形态中的动态图象译码装置的移动补偿部的结构图。

图26是表示移动补偿部的工作流程图。

图27是说明内插处理的说明图。

图28是表示本发明的实施形态中的动态图象译码装置的存储器更新部的工作流程图。

图29是表示VM编码方式中的视频数据结构的说明图。

图30是表示VOP数据结构的说明图。

图31是表示VM编码装置的结构的结构图。

图32是表示图31中的编码装置的工作流程图。

图33是表示与VOP编码类型对应的预测种类的说明图。

图34是表示图31所示的编码装置中的移动补偿部的结构图。

图35是表示图34中的移动补偿部的工作流程图。

图36是表示图31所示的编码装置中的存储器更新部的结构图。

图37是表示图36中的存储器更新部的工作流程图。

Claims (18)

1.一种动态图象译码装置，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

存储器，存储在产生预测图象时参照的图象；

输入部，输入表示变换方法的指示信息和压缩图象；和

预测图象生成部，具有作与多个变换方法对应的变换处理的处理部，并对上述存储器上的参照图象，作与输入部输入的指示信息所示出的变换方法对应的变换处理，生成预测图象。

2.根据权利要求1所述的动态图象译码装置，其特征在于：

上述处理部根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

3.根据权利要求1所述的动态图象译码装置，其特征在于：

上述动态图象译码装置还具有

多个存储器，存储在产生预测图象时参照的图象，并且与上述多种变换方法之中至少一种以上的变换方法对应；

上述处理部参照在与变换方法对应的存储器中存储的图象，生成预测图象。

4.一种动态图象译码装置，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

多个存储器，存储在产生预测图象时参照的图象，并且与上述多种变换方法之中至少一种以上的变换方法对应；

输入部，输入表示上述多个存储器之中应使用的存储器的存储器信息和压缩图象；和

预测图象生成部，从上述多个存储器中，选择输入部所输入的存储器信息表示的存储器，并通过参照在所选择的存储器中存储的图象，生成预测图象。

5.根据权利要求4所述的动态图象译码装置，其特征在于：

上述预测图象生成部具有根据多种变换方法作变换处理的处理部；

上述多个存储器中的各个存储器，与规定的变换方法的对应；

上述处理部根据与所选择的存储器对应的变换方法作变换处理并生成预测图象。

6.根据权利要求5所述的动态图象译码装置，其特征在于：

上述处理部根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

7.一种动态图象译码装置，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

存储器，存储在产生预测图象时参照的图象；和

预测图象生成部，输入指示多种变换方法之中，为生成压缩图象所使用的变换方法的指示信息和压缩图象，并使用上述存储器上的参照图象，根据指示信息表示的变换方法，生成预测图象。

8.根据权利要求7所述的动态图象译码装置，其特征在于：

上述预测图象生成部根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

9.根据权利要求7所述的动态图象译码装置，其特征在于：

上述动态图象译码装置还具有

多个存储器，存储在产生预测图象时参照的图象，并且与上述多种变换方法之中至少一种以上的变换方法对应；

上述预测图象生成部参照在与上述变换方法对应的存储器中存储的图象，生成预测图象。

10.一种动态图象译码方法，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

存储工序，存储在产生预测图象时参照的图象；

输入工序，输入表示变换方法的指示信息和压缩图象；和

预测图象生成工序，具有作与多个变换方法对应的变换处理的处理工序，并对由上述存储工序所存储的参照图象，作与输入工序所输入的指示信息所示出变换方法对应的变换处理，生成预测图象。

11.根据权利要求10所述的动态图象译码方法，其特征在于：

上述处理工序根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

12.根据权利要求10所述的动态图象译码方法，其特征在于：

上述动态图象译码方法还具有

在与上述多种变换方法之中至少一种以上的变换方法对应的多个存储器中，存储在产生预测图象时参照的图象的工序；

上述处理工序参照在与变换方法对应的存储器中存储的图象，生成预测图象。

13.一种动态图象译码方法，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

在与上述多种变换方法之中至少一种以上的变换方法对应的多个存储器中，存储在产生预测图象时参照的图象的工序；

输入工序，输入表示上述多个存储器之中应使用的存储器的存储器信息和压缩图象；和

预测图象生成工序，从上述多个存储器中，选择输入工序所输入的存储器信息表示的存储器，并通过参照在所选择的存储器中存储的图象，生成预测图象。

14.根据权利要求13所述的动态图象译码装置，其特征在于：

上述预测图象生成工序具有根据多种变换方法作变换处理的处理工序；

上述多个存储器中的各个存储器，与规定的变换方法的对应；

上述处理工序根据与所选择的存储器对应的变换方法作变换处理并生成预测图象。

15.根据权利要求14所述的动态图象译码方法，其特征在于：

上述处理工序根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

16.一种动态图象译码方法，输入压缩图象并使用预测图像将图像译码，其特征在于：具有

存储在产生预测图象时参照的图象的工序；和

预测图象生成工序，输入指示多种变换方法之中，为在生成压缩图象使用的变换方法的指示信息和压缩图象，并使用由上述存储工序所存储的参照图象，根据指示信息表示的变换方法，生成预测图象。

17.根据权利要求16所述的动态图象译码方法，其特征在于：

上述预测图象生成工序根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种的变换方法，生成预测图象。

18.根据权利要求16所述的动态图象译码方法，其特征在于：

上述动态图象译码方法还具有

在与上述多种变换方法之中至少一种以上的变换方法对应的多个存储器中，存储在产生预测图象时参照的图象的工序；

上述预测图象生成部参照在与上述变换方法对应的存储器中存储的图象，生成预测图象。

Images