CN100591138C - 图像编码方法及其装置、图像解码方法及其装置 - Google Patents

Abstract

本发明涉及使用了动态矢量的动态补偿方法、使用了该动态补偿的图像编码方法和图像解码方法。图像编码装置(300)具有检测部(302)和动态补偿部(303)，所述检测部(302)根据构成与解码对象宏块相对应的解码完的宏块的块群中，位于上述解码完的宏块的角上的块的动态矢量，选择针对动态补偿对象块的动态矢量的导出方法，将由选择的导出方法导出了动态矢量的动态矢量，作为动态矢量检测的候补，所述动态补偿部(303)基于检测到的动态矢量，生成动态补偿对象块的预测图像。

Description

图像编码方法及其装置、图像解码方法及其装置

技术领域

本发明涉及使用了动态矢量的动态补偿方法、使用了该动态补偿的图像编码方法和图像解码方法。

背景技术

近年来，随着多媒体应用的发展，一般统一处理图像、声音、文本等所有的媒体信息。此时，可通过对所有媒体进行数字化来统一处理媒体。但是，因为数字化的图像具有庞大的数据量，所以为了存储、传送，图像的信息压缩技术是不可缺少的。另一方面，为了相互运用压缩的图像数据，压缩技术的标准化也是重要的。作为图像压缩技术的标准参考，有ITU-T(国际电气通信联盟-电气通信标准化部门)的H.261、H.263、ISO/IEC(国际标准化机构-国际电气标准会议)的MPEG(Moving PictureExperts Group即，动态图像专家组)-1、MPEG-2、MPEG-4等。

一般地，在动态图像的编码中，通过削减时间方向和空间方向的冗余性来压缩信息量。因此，在以时间的冗余性的削减为目的的画面间预测编码中，参照前方或后方的画面(picture)，按块单位进行动态的检测和预测图像的制作，对得到的预测图像与编码对象画面的差分值进行编码。在此，所述画面是表示一幅画面的用语，在顺序图像中意味着帧，在交错图像中意味着帧或场。所述交错图像，是由时刻不同的2个场构成一个帧的图像。在交错图像的编码和解码处理中，可将一帧图像原样地进行处理，或作为2个场进行处理，或将帧内的每个块作为帧结构或场结构进行处理。

将不具有参照图像而进行画面内预测编码的称作I画面。此外，将仅参照一幅画面进行画面间预测编码的称作P画面。此外，将能同时参照2幅画面进行画面间预测编码的称作B画面。B画面可以从显示时间前方或后方的任意组合，参照2幅画面。能够对每个作为编码或解码的基本单位的块选择适当的参照图像(参照画面)，将进行了编码的位流中先记述的参照画面区别为第一参照画面，将后记述的区别为第二参照画面。但是，作为编码或解码这些画面时的条件，需要已经编码或解码所参照的画面。

在P画面或B画面的编码中使用动态补偿画面间预测编码。所述动态补偿画面间预测编码，是在画面间预测编码中适用了动态补偿的编码方式。所述动态补偿，是不单纯地从参照帧的相同坐标位置的象素值进行预测，而是检测画面内的各部的动态量(以下，将其称作“动态矢量”)，通过进行考虑了该动态量的预测，来提高预测精度，同时减少数据量的方式。例如，检测编码对象画面的动态矢量，通过将仅移位了该动态矢量的预测值与编码对象画面的每个象素的象素值的差分即预测残差进行编码，来降低数据量。在该方式的情况下，由于在解码时需要动态矢量的信息，因此，对动态矢量也进行编码并记录或传输。

按规定大小的块单位检测动态矢量，具体地说，对编码对象画面侧的各块，在参照画面侧，使块在搜索范围内移动，找出与编码对象块最相似的参照块的位置，检测动态矢量。

图1是示出现有的图像编码装置100的结构的框图。图像编码装置100具有差分器101、图像编码部102、可变长编码部103、图像解码部104、加法器105、图像存储器106、画面(picture)存储器107、动态补偿部108、动态矢量检测部109和动态矢量存储部110。再有，作为动态补偿的块的尺寸，在现有制定的标准即ITU-T H.26 TML8中，按照宏块单位，从4象素×4象素、4象素×8象素、8象素×4象素、8象素×8象素、8象素×16象素、16象素×8象素、16象素×16象素这7种动态补偿的块尺寸中，选择适当的用于编码和解码。

画面存储器107存储按画面单位按照显示时间顺序输入的表示动态图像的图像数据Img。差分器101运算由画面存储器107读出的图像数据Img与由动态补偿部108输入的预测图像数据Pred的差分，生成预测残差图像数据Res。图像编码部102对所输入的预测残差图像数据Res进行频率变换和量化等的编码处理，生成残差图像编码数据CodedRes。在画面内编码的情况下，不进行画面间的动态补偿，故预测图像数据Pred的值考虑为“0”。

动态矢量检测部109使用存储在图像存储器106中的、作为编码完的解码图像数据的参照图像数据Ref作为参照画面，在该画面内的搜索区域中，检测出表示预测为最佳的位置的动态矢量，并输出表示检测到的动态矢量的动态参数MotionParam。再有，此时，动态矢量检测部109根据编码对象画面是P画面还是B画面，转换参照画面。编码方式Mod示出用什么样的方法(例如，双预测、单向预测、直接方式的某一种)对块进行动态补偿。例如，在直接方式中，动态矢量检测部109使用在其他块中导出的动态矢量，算出该动态补偿对象块的双预测动态矢量。在此，为了导出直接方式的动态矢量，将进行参照的画面称作基准画面，将与对象块相同的坐标位置的基准画面的块称作基准块。该情况下，直接方式的动态矢量的值实际上与成为动态补偿的单位的块尺寸无关，将16象素×16象素的宏块作为单位来计算，算出的动态矢量不被编码。然后，按4象素×4象素单位，转换是使用已算出的动态矢量，或者是使用动态矢量(0、0)。动态补偿部108基于编码对象块的编码方式Mod和由动态矢量检测部109检测到的动态矢量，生成预测图像数据Pred。

另外，在动态补偿部108中，在动态矢量指着1/2象素、1/4象素等小数以下的象素位置的情况下，用低通滤波器等内插生成1/2象素、1/4象素等小数象素位置的象素值。动态矢量存储部110存储从动态矢量检测部109输出的动态参数MotionParam。可变长编码部103对输入的残差图像编码数据CodedRes和从动态矢量检测部109输出的动态参数MotionParam进行可变长编码等，另外，通过附加编码方式Mod，生成编码数据Bitstream。

图像解码部104对输入的残差图像编码数据CodedRes进行逆量化和逆频率变换等的解码处理，生成解码残差图像数据ReconRes。加法器105将由图像解码部104输入的解码残差图像数据ReconRes和由动态补偿部108输入的预测图像数据Pred进行加法运算，生成解码图像数据Recon。图像存储器106存储所生成的解码图像数据Recon。

在被摄体的移动量小于整数象素单位的情况下，有时若用小于整数象素单位的动态进行预测，则预测效果就高。一般地，在伴随小于整数象素单位的单位动态的预测图像的象素值的计算中使用象素内插。通过对参照图像的象素值进行利用线性滤波器(低通滤波器)的滤波，来执行该象素内插。若增加该线性滤波器的抽头数，就容易实现具有良好频率特性的滤波器，预测效果变高，但处理量变大。另一方面，若滤波器的抽头数少，则滤波器的频率特性变差，预测效果变低，但滤波器的运算量变小。

图2是示出进行象素内插的现有图像解码装置200的结构的框图。图像解码装置200具有可变长解码部201、图像解码部202、加法器203、图像存储器204、动态矢量存储部205和动态补偿部206。

可变长解码部201从输入的编码数据Bitstream提取残差图像编码数据CodedRes、动态参数MotionParam和编码时使用的编码方式Mod的信息等各种数据。图像解码部202进行输入的残差图像编码数据CodedRes的解码，生成残差图像数据Res。动态矢量存储部205存储由可变长解码部201提取的动态参数MotionParam。动态补偿部206在内部具备未图示的像素内插部，该像素内插部利用线性滤波器等内插生成1/2像素、1/4像素等小数像素位置的像素值，基于在编码时的编码模式及动态参数MotionParam等，根据图像存储器204内的解码图像数据Recon生成动态补偿图像数据的预测图像数据Pred。动态补偿部206在直接方式的情况下，用与从动态矢量存储部205读取的基准画面的基准块的动态补偿的块尺寸相同的块尺寸，生成动态补偿对象块的预测图像数据Pred。加法器203将从图像解码部202输出的残差图像数据Res、和从动态补偿部206输出的作为动态补偿图像数据的预测图像数据Pred相加，生成解码图像数据Recon。图像存储器204存储生成的解码图像数据Recon。

【非专利文献】

MPEG-4视频规格书(1999年、ISO/IEC14496-2：1999年、ISO/IEC14496-2：1999 Information technology——Coding of audio-visualobjects——Part2：Visual)

但是，为了进行小数精度的动态补偿，不仅要动态补偿对象块，也需要动态补偿其周边的几个象素部分的象素值。即，为了利用内插处理生成小数象素精度的象素值，需要大于实际预测块的区域的象素值。为了在内插处理中生成象素值，一般使用低通滤波器，为了适用低通滤波器，就需要存取(读出)对象象素附近的几个象素(低通滤波器的系数部分的象素)。图3是示出在进行象素内插的情况下，为了生成预测图像，需要读取象素值的动态补偿对象块和其周边象素的一例的图。图3(a)是示出动态补偿对象块小的情况下的动态补偿对象块和其周边象素的图。图3(b)是示出动态补偿对象块大的情况下的动态补偿对象块和其周边象素的图。图3(a)和图3(b)中，中央的矩形部分示出一个动态补偿对象块，其周围的斜线部分示出为了进行象素内插而从参照存储器读出象素值的周边象素。在此，例如，若作为低通滤波器使用9个抽头(象素值需要9个象素部分)的滤波器，则为了在块边界部分的象素中进行低通滤波器处理，就需要至少块以外的4个象素的象素值，必须对中央的动态补偿对象块存取包含其周围4个象素部分的象素值的存储器。例如，在4象素×4象素的块中，需要读出(4+4+4)×(4+4+4)＝144象素的象素值。在8象素×8象素的块中，需要读出(4+8+4)×(4+8+4)＝256象素的象素值。在用8象素×8象素的4个块动态补偿16象素×16象素的宏块的情况下，可以仅读出256象素×4＝1024象素的象素值，但在将4象素×4象素的块作为单位动态补偿16象素×16象素的情况下，必须读出144象素×16＝2304象素的象素值。从而，8×8象素单位的动态补偿相对于4象素×4象素单位的动态补偿4次，就成为约一半的存储器存取量。

从以上例子可知，在对一个动态补偿对象块，仅将其周围的象素值多读出同象素数量部分的情况下，动态补偿对象块的尺寸越小，与从参照存储器读出的象素数量有关而周边块的象素数对于动态补偿对象块的象素数量的比例越大。其结果，在从参照存储器读取动态补偿对象块的象素值时，存在有参照不是动态补偿对象的周边象素而造成存储器和读取访问的负荷变大的问题。特别是，在同时参照2个画面计算编码或解码对象画面的、动态补偿象素值的B画面的双预测动态补偿的情况下，与单向预测动态补偿相比，对参照存储器的存取增多约2倍，因此，在动态补偿对象块的尺寸小的情况下，上述额外消耗问题更显著了。

发明内容

本发明的目的在于提供一种降低对参照存储器的存取的动态补偿方法。

此外，本发明的第二目的在于提供一种使用了上述动态补偿方法的图像编码方法和图像解码方法。

为了解决上述课题，本发明的动态补偿方法是用于对图像信号进行编码或解码，其特征在于，包括：选择步骤，根据构成与编码对象或解码对象宏块相对应的编码完或解码完的宏块的块群中，位于上述编码完或解码完的宏块的角上的块的动态矢量，选择上述编码对象或解码对象宏块内的块的动态矢量的生成方法；动态补偿步骤，基于由选择的方法生成的动态矢量，生成上述编码对象或解码对象宏块内的块的预测图像。这样，即使在由多个块构成的编码完或解码完的块群对应于一个动态补偿对象块的情况下，通过判定位于包含该块群的宏块的角上的块的1个动态，就能够选择动态补偿对象块的动态补偿中使用的动态矢量的生成方法。

此外，根据使用了本发明的动态补偿方法的图像编码装置和图像解码装置，由于将更大尺寸的动态补偿对象块作为单位进行动态补偿，因此，能够降低对例如使用了B画面的双预测动态补偿的编码和解码中的图像存储器的存取所涉及的额外消耗问题。

此外，本发明还可以是一种图像编码方法，用于对图像信号进行编码，其特征在于，包括：选择步骤，根据在构成编码完的宏块的块群中位于上述编码完的宏块的角上的块的动态矢量，选择上述编码对象宏块内的块的动态矢量的生成方法，上述编码完的宏块被包含在与包含编码对象宏块的画面不同的画面，并且位于与上述编码对象宏块相同的位置上；动态补偿步骤，基于由选择的方法生成的动态矢量，生成上述编码对象宏块内的块的预测图像；编码步骤，对上述编码对象宏块内的块图像与上述预测图像的差分进行编码，上述动态矢量的生成方法是将上述编码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述编码对象宏块所属的画面中，参照位于上述编码对象宏块周边的编码完的块的动态矢量的方法。

上述块群的各块的大小是Nx象素×Ny象素，其中，Nx、Ny是自然数；上述编码对象宏块内的块的大小是KxNx象素×KyNy象素，其中，Kx、Ky是自然数。

在上述图像编码方法中，Nx和Ny的某一方是另一方的倍数，KxNx≥8且KyNy≥8。

在上述动态补偿步骤中，通过参照多个编码完的画面，生成上述各编码对象宏块内的块的预测图像。

此外，本发明还可以是一种图像解码方法，用于对流进行解码而得到解码图像，其特征在于，包括：选择步骤，根据在构成解码完的宏块的块群中位于上述解码完的宏块的角上的块的动态矢量，选择上述解码对象宏块内的块的动态矢量的生成方法，上述解码完的宏块被包含在与包含解码对象宏块的画面不同的画面，并且位于与解码对象宏块相同的位置上；动态补偿步骤，基于由选择的方法生成的动态矢量，生成上述解码对象宏块内的块的预测图像；解码步骤，将对上述流进行解码而得到的差分图像和上述预测图像相加，作为解码图像，上述动态矢量的生成方法是将上述解码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述解码对象宏块所属的画面中，参照位于上述解码对象宏块周边的解码完的块的动态矢量的方法。

上述块群的各块的大小是Nx象素×Ny象素，其中，Nx、Ny是自然数；上述解码对象宏块内的块的大小是KxNx象素×KyNy象素，其中，Kx、Ky是自然数。

在上述图像解码方法中，Nx和Ny的某一方是另一方的倍数，KxNx≥8且KyNy≥8。

在上述动态补偿步骤中，通过参照多个解码完的画面，生成上述各解码对象宏块内的块的预测图像。

此外，本发明还可以是一种图像编码装置，用于对图像信号进行编码，其特征在于，具有：根据在构成编码完的宏块的块群中位于上述编码完的宏块的角上的块的动态矢量，选择上述编码对象宏块内的块的动态矢量的生成方法，上述编码完的宏块被包含在与包含编码对象宏块的画面不同的画面，并且位于与上述编码对象宏块相同的位置上；动态补偿装置，基于由选择的方法生成的动态矢量，生成上述编码对象宏块内的块的预测图像，编码装置，对上述编码对象宏块内的块图像与上述预测图像的差分进行编码，上述动态矢量的生成方法是将上述编码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述编码对象宏块所属的画面中，参照位于上述编码对象宏块周边的编码完的块的动态矢量的方法。

此外，本发明还可以是一种图像解码装置，用于对流进行解码而得到解码图像，其特征在于，具有：根据在构成解码完毕的宏块的块群中位于上述解码完毕的宏块的角上的块的动态矢量，选择上述解码对象宏块内的块的动态矢量的生成方法，上述解码完的宏块被包含在与包含解码对象宏块的画面不同的画面，并且位于与解码对象宏块相同的位置上；动态补偿装置，基于由选择的方法生成的动态矢量，生成上述解码对象宏块内的块的预测图像；解码装置，将对上述流进行了解码而得到的差分图像和上述预测图像相加，作为解码图像，上述动态矢量的生成方法是将上述解码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述解码对象宏块所属的画面中，参照位于上述解码对象宏块周边的解码完的块的动态矢量的方法。

再有，本发明不仅能够实现这样的动态补偿方法、图像编码方法和图像解码方法，而且也能够实现将包含在这些方法中的特征的步骤作为手段的图像编码装置和图像解码装置，或者实现使计算机执行这些步骤的程序。然后，该程序当然能够通过CD-ROM等记录媒体和因特网等的传输媒体进行发送。

附图说明

图1是示出现有的图像编码装置的结构的框图。

图2是示出进行象素内插的现有的图像解码装置的结构的框图。

图3是示出在进行象素内插的情况中，为了生成预测图像而需要的动态补偿对象块和其周边象素的一例的图。

图4是示出使用了本发明涉及的图像编码方法的图像编码装置的一实施方式的结构的框图。

图5是示出使用了本发明涉及的图像解码方法的图像解码装置的一实施方式的结构的框图。

图6(a)是示出用与编码或解码对象宏块相同的块尺寸动态补偿周边块的情况下，用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的方法的图。

图6(b)是示出用相同的块尺寸动态补偿编码或解码对象宏块和后方同位置宏块的情况下，动态补偿对象块与位于其后方同位置上的基准块的对应图。

图7是示出用小于编码或解码对象宏块的块尺寸动态补偿周边块的情况下，用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的方法的图。

图8是流程图，示出在用相同的块尺寸动态补偿编码对象宏块或后方位置宏块的情况下，对应于位于动态补偿对象块的后方同位置上的基准块的动态，用不同的动态矢量动态地补偿动态补偿对象块的处理过程。

图9是示出在用不同的块尺寸动态补偿了编码对象宏块或其后方同位置宏块的情况中，动态补偿对象块与位于其后方同位置上的多个块的对应的图。

图10是流程图，示出在用不同的块尺寸动态补偿了编码或解码对象宏块和后方同位置宏块的情况中，对应于位于动态补偿对象块的后方同位置上的块的动态，用不同的动态矢量动态地补偿动态补偿对象块的处理过程。

图11是示出在本实施方式2中，用不同的块尺寸动态补偿了编码或解码对象宏块和其后方同位置宏块的情况下的、动态补偿对象块与位于其后方同位置上的多个块的对应的图。

图12是流程图，示出在实施方式2中，在用不同的块尺寸动态补偿了编码或解码对象宏块和后方同位置宏块的情况下，对应于位于动态补偿对象块的后方同位置上的块的动态，用不同的动态矢量动态地补偿动态补偿对象块的处理过程。

图13(a)示出了作为记录媒体主体的软磁盘的物理格式的例子。

图13(b)示出从软磁盘的正面看的外观、剖面结构和软磁盘。

图13(c)示出用于在软磁盘FD上进行上述程序的记录再现的结构。

图14是示出实现内容通信服务的内容供给系统ex100的全体结构的框图。

图15是示出使用了在上述实施方式中说明了的动态图像编码方法和动态图像解码方法的携带式电话ex115的图。

图16是示出携带式电话的结构的框图。

图17是示出数字广播用系统的一例的图。

具体实施方式

以下，用图4至图17，对本发明的实施方式进行说明。

(实施方式1)

以下，用附图对本发明的第一实施方式进行详细说明。

图4是示出使用了本发明涉及的图像编码方法的图像编码装置300的一实施方式的结构的框图。图像编码装置300是在进行参照2个画面进行编码的B画面的动态补偿时，用大于P画面的动态补偿的块尺寸的块尺寸进行动态补偿的图像编码装置，具有差分器101、图像编码部102、可变长编码部103、图像解码部104、加法器105、图像存储器106、画面存储器107、动态矢量存储部110、动态信息变换部301、动态矢量检测部302和动态补偿部303。

画面存储器107按画面单位存储按显示时间顺序输入的、表示动态图像的图像数据Img。差分器101运算由画面存储器107读取的图像数据Img与由动态补偿部303输入的预测图像数据Pred的差分，生成预测残差图像数据Res。在此，在画面内编码的情况下，不进行画面间的动态补偿，因此，预测图像数据Pred的值考虑为“0”。图像编码部102对所输入的预测残差图像数据Res进行频率变换和量化等的编码处理，生成残差图像编码数据CodedRes。动态信息变换部301在编码对象画面是B画面的情况下，导出动态矢量，使得用规定的块尺寸进行动态补偿，并通知给动态矢量检测部302和动态补偿部303。即，在B画面的情况下，可以设为单向预测、双预测和直接方式，可用大的块尺寸进行双预测和直接方式动态补偿(例如，禁止用不足8象素×8象素的块尺寸检测动态矢量)，在P画面的情况下，也可以用小的块尺寸进行单向预测。这样，特别是在对存储器的存取多的双预测方式中，就不能选择用小的块尺寸参照参照画面的动态矢量。此外，动态信息变换部301向动态矢量检测部302和动态补偿部303指示是将存储在动态矢量存储部110中的参照画面的动态参数变换成规定的块尺寸(例如，8象素×8象素)的动态参数(动态矢量等)，还是进行相当于该变换的动态参数的重读。

动态矢量检测部302使用存储在图像存储器106中的已编码画面的解码图像数据即参照图像数据Ref，作为参照画面，在参照画面内的搜索区域中，检测出表示预测为最佳的块的位置的动态矢量，输出包含检测到的动态矢量的动态参数MotionParam。动态矢量存储部110存储从动态矢量检测部302输出的动态参数MotionParam。

此外，动态矢量检测部302对应于编码对象画面是P画面还是B画面的某一个，对用编码方式Mod进行动态补偿的情况的误差进行评价，将用单向预测和双预测进行了参照画面内的搜索的情况与用直接方式导出的动态矢量的动态补偿误差进行比较。即，在直接方式中，对应于由动态信息变换部301变换后的、位于动态补偿对象块的后方同位置上的动态补偿完毕的块的动态矢量(例如，变换为8象素×8象素以上的块尺寸的动态)，从多个动态矢量中选择动态补偿对象块的动态矢量。再有，所述直接方式，是指使用用其他块导出的动态矢量，计算动态补偿对象块的动态矢量，不对该动态补偿对象块的动态矢量进行编码的双预测方式。根据位于后方同位置上的块的动态矢量的大小，决定是使用导出的动态矢量，还是使用动态矢量(0，0)(不对是选择了哪个的识别信息进行编码)。此外，所述位于后方同位置的块，是指在按显示顺序位于编码对象画面的正后方的画面内(基准画面)，位于与编码对象画面内的块同位置上的块(基准块)。

动态补偿部303基于该编码方式Mod和由动态矢量检测部302检测到的动态矢量，生成预测图像数据Pred。在B画面的直接方式中，动态补偿部303使用由动态矢量检测部302算出的动态矢量，对每个8象素×8象素的动态补偿对象块生成预测图像。再有，在动态补偿部303中，在动态矢量是指1/2象素、1/4象素等的小数以下的象素位置的情况下，使用线性滤波器(低通滤波器)等，内插生成1/2象素、1/4象素等小数象素位置的象素值。该情况下，由于在动态矢量检测部302中，在双预测方式中不选择小的块尺寸的动态矢量，因此，动态补偿部303能够在双预测方式中，用存储器存取不太多的比较大的块尺寸进行动态补偿。此外，在单向预测方式中，进行也能用小的块尺寸进行动态补偿的动态补偿。可变长编码部103对输入的残差图像编码数据CodedRes和从动态矢量检测部302输出的动态参数MotionParam进行可变长编码等，另外，通过附加编码方式Mod，生成编码数据Bitstream。

图像解码部104对输入的残差图像编码数据CodedRes进行逆量化和逆频率变换等的解码处理，生成解码残差图像数据ReconRes。加法器105将由图像解码部104输出的解码残差图像数据ReconRes、和由动态补偿部303输入的预测图像数据Pred相加，生成解码图像数据Recon。图像存储器106存储生成的解码图像数据Recon。

图5是示出使用了本发明涉及的图像解码方法的图像解码装置400的一实施方式的结构框图。图像解码装置400具有可变长解码部201、图像解码部202、加法器203、图像存储器204、动态矢量存储部205、动态信息变换部401和动态补偿部402。

可变长解码部201从输入的编码数据Bitstream提取残差图像编码数据CodedRes、动态参数MotionParam和编码时使用的编码方式Mod的信息等各种数据。图像解码部202进行输入的残差图像编码数据CodedRes的解码，生成残差图像数据Res。动态信息变换部401将从动态矢量存储部205读取的参照画面的动态参数，变换为规定的块尺寸(例如，8象素×8象素)的动态参数(动态矢量等)，或者，对动态补偿部402指示相当于该变换的动态参数的重读。动态补偿部402在内部具有未图示的象素内插部，用线性滤波器等内插生成1/2象素、1/4象素等小数象素位置的象素值，基于编码时的编码方式Mod和动态参数MotionParam，根据图像存储器204内的解码图像数据Recon生成作为动态补偿图像数据的预测图像数据Pred。此时，在用直接方式对解码对象宏块进行了编码的情况下，用于生成预测图像数据Pred的动态矢量没被编码。因此，动态补偿部402使用由动态信息变换部401变换后的动态矢量(例如，变换为8象素×8象素以上的块尺寸的动态)、和从解码对象宏块的周边块中导出的动态矢量，算出动态补偿对象块的动态矢量，并按比P画面的最小块大的尺寸的动态补偿对象块(例如，8象素×8象素)的单位，生成预测图像数据Pred。动态矢量存储部205存储由可变长解码部201提取的动态参数MotionParam。加法器203将从图像解码部202输出的残差图像数据Res、和从动态补偿部402输出的作为动态补偿图像数据的预测图像数据Pred相加，生成解码图像数据Recon。图像存储器204存储生成的解码图像数据Recon。

以下，对如上所述构成的图像编码装置300和图像解码装置400的动作进行说明。

在本实施方式中，在B画面的直接方式中，图像编码装置300中的动态矢量检测部302、和图像解码装置400中的动态补偿部402，对应于位于动态补偿对象块的后方同位置上的动态补偿完毕的块的动态矢量，从多个动态矢量中，选择用于动态补偿对象块的动态补偿的动态矢量。例如，动态矢量检测部302或动态补偿部402，选择在编码或解码对象画面内用已经编码或解码了的周边块的动态矢量算出的编码或解码对象宏块的动态矢量、或者动态矢量(0、0)的某一个，设为动态补偿对象块的动态矢量。所述周边块，是在编码对象画面的同一画面内已经编码或解码了的块，是指编码或解码对象宏块的近旁的块。以下，对使用已经决定的周边块的动态矢量和后方的参照画面的动态参数，来决定动态补偿对象块的动态矢量的方法所涉及的直接方式的动态补偿方法，首先说明图像编码装置300中的处理。

图6(a)是示出用与编码或解码对象宏块相同的16象素×16象素的块尺寸对周边块进行了动态补偿的情况下，用周边块的动态矢量，决定编码或解码对象宏块的动态矢量MV的方法的图。图6(b)是示出用相同的块尺寸对编码或解码对象宏块和后方同位置宏块进行了动态补偿的情况下，动态补偿对象块与位于其后方同位置上的块的对应图。图7是示出用小于编码或解码对象宏块的块尺寸动态补偿周边块的情况下，用周边块的动态矢量，决定编码或解码对象宏块的动态矢量MV的方法的图。图8是流程图，示出在用相同的块尺寸动态补偿编码或解码对象宏块和后方同位置宏块的情况下，对应于位于动态补偿对象块的后方同位置上的块的动态，用不同的方法对动态补偿对象块进行动态补偿的处理过程。

首先，关于编码对象画面B1内的动态补偿对象块、和在后方的P画面P2内位于与该动态补偿对象块同位置上的块的大小相同，并一一对应的情况进行说明。动态信息变换部301判断位于动态补偿对象块的后方同位置上的块的动态补偿的尺寸，是否与动态补偿对象块的尺寸相同，在相同的情况下，按照图8的流程图中示出的过程，指示动态矢量检测部302计算动态补偿对象块的动态矢量。如图8的流程图所示，动态矢量检测部302首先调查编码对象画面B1后方的P画面(基准画面)、即在时间上比对象画面B1后显示的P画面，在接近于编码对象画面B1的画面P2内，位于与动态补偿对象块同位置的块(基准块)是否“动态小”(S401)，在“动态小”的情况下，将动态补偿对象块的动态矢量设为(0、0)(S402)。即，关于该动态补偿对象块，将动态矢量作为(0、0)，进行使用了画面间预测的动态补偿。在此，所述“动态小”是指，该块参照最近的画面作为图像进行编码，其动态矢量的大小(绝对值)在“1”以内。但是，只是在动态矢量的大小是规定值以下的情况下，也可以作为“动态小”，此外，在将特定的画面作为参照画面的情况下，也可以作为“动态小”。

另一方面，在后方的P画面内位于与动态补偿对象块同位置的块不是“动态小”的情况下，即，基准块没有参照最近的画面进行编码，或者，动态矢量的大小超过“1”的情况下，动态矢量检测部302将从编码对象宏块的周边块的动态矢量算出的编码对象宏块的动态矢量MV，设为该动态补偿对象块的动态矢量(S404)。再有，在以下的说明中，为了简单说明，将画面P0、画面P2分别设为与画面B1最近的画面。

为了算出编码对象宏块的动态矢量MV，动态矢量检测部302首先选择3个编码对象宏块附近的编码完的块(周边块)。选择的基准和方法在此不重要，故省略说明。图6(a)示出对编码对象宏块选择了的3个周边块。如该图所示，在位于编码对象宏块的上面的宏块中，已经决定了动态矢量MV2，在位于右上位置的宏块中，决定了动态矢量MV3。此外，关于位于编码对象宏块的左面的宏块，决定了动态矢量MV1。动态矢量检测部302使用这些动态矢量MV1、动态矢量MV2和动态矢量MV3，决定该编码对象宏块的动态矢量MV。例如，在动态矢量MV1、动态矢量MV2和动态矢量MV3中，将参照了时间上最近的画面的动态矢量设为该编码对象宏块的动态矢量MV的候补。在此，所述“时间上距编码对象画面最近的画面”，是指在编码对象宏块中预测参照前方画面的动态矢量的情况下，称作距编码对象画面在前方且最近的画面，在预测参照后方画面的动态矢量的情况下，称作后方且最近的画面。在此，动态矢量检测部302，

(1)在没有参照时间上距编码对象画面最近的画面的动态矢量的情况下，将该编码对象宏块的动态矢量MV设为(0、0)。

(2)在参照最近画面的动态矢量是一个的情况下，将该候补设为该编码对象宏块的动态矢量MV。此外，

(3)在参照最近画面的动态矢量是2个或2个以上的情况下，将没参照最近画面的周边块的动态矢量设为(0、0)，将周边块的3个动态矢量的中央值设为编码对象宏块的动态矢量MV。

以上，用图6(a)关于用与编码对象宏块相同的尺寸，对编码对象宏块的周边块进行了动态补偿的情况进行了说明，但如图7所示，在用与编码对象宏块不同的、小于它的块尺寸动态补偿周边块的情况中，也能够同样地算出编码对象宏块的动态矢量MV。图7示出了对于16象素×16象素的编码对象宏块，在周边块中，将4象素×4象素的块作为单位，检测动态矢量的情况。在这样的情况下，为了算出编码对象宏块的动态矢量MV，动态矢量检测部302首先选择3个周边块(块A、块B、块C)。

块A属于例如位于编码对象宏块的左面的宏块，是与编码对象宏块的左上角相接触的块。此外，块B属于例如位于编码对象宏块的上面的宏块，是与编码对象宏块的左上角相接触的块。另外，块C属于例如位于编码对象宏块的右上的宏块，是与编码对象宏块的右上角相接触的块。

对块A已经决定了动态矢量MV1，对块B已经决定了动态矢量MV2，对块C已经决定了动态矢量MV3。动态矢量检测部302在这些动态矢量MV1、动态矢量MV2和动态矢量MV3，适用上述(1)、(2)和(3)，与用相同大小对编码对象宏块和周边块进行动态补偿的情况同样地，能够决定编码对象宏块的动态矢量MV。关于编码对象宏块内的各动态补偿对象块，如已经说明地，根据位于后方同位置的块是否“动态小”，选择是使用动态矢量(0、0)进行动态补偿，还是使用动态矢量MV进行动态补偿。

若如上所述地决定动态补偿对象块的动态矢量，动态补偿部303就用决定后的动态矢量，根据图像存储器106内的参照图像数据Ref生成预测图像数据Pred(S403)。

以上，关于用与动态补偿对象块相同的块尺寸，动态补偿位于动态补偿对象块的后方同位置上的块的情况进行了说明，下面，关于用与动态补偿对象块不同的块尺寸，动态补偿位于后方同位置的块的情况进行说明。在图像编码装置300中，动态补偿部303和动态矢量检测部302在进行B画面的双预测动态补偿时，将比能成为P画面和B画面的单向预测动态补偿对象块的最小(4象素×4象素)块大的、一定尺寸(例如，8象素×8象素)的块，作为对象进行动态补偿。因此，在以单向预测，对以双预测进行动态补偿的画面后方的参照画面进行动态补偿的情况下，产生了用小于动态补偿对象块的块尺寸对位于动态补偿对象块的后方同位置上的块进行动态补偿的情况。

图9是示出在用不同的块尺寸对编码或解码对象宏块和其后方同位置宏块进行动态补偿的情况中，动态补偿对象块与位于其后方同位置上的多个块的对应的图。在该图的左侧，示出了编码对象B画面内的编码对象宏块。在该图的右侧，示出了编码对象B画面内的最近后方的画面(P画面或B画面)中的编码对象宏块的后方同位置宏块。上述宏块的大小都是例如16象素×16象素。在右侧示出的后方同位置宏块比编码对象画面先进行编码，例如，分别将4象素×4象素的块(图中的最小区划)作为单位，设为已经进行了动态补偿。

图10是流程图，示出在用不同的块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况中，对应于位于动态补偿对象块的后方同位置上的块的动态，用不同的动态矢量对动态补偿对象块进行动态补偿的处理过程。动态信息变换部301首先判断是否用相同块尺寸动态补偿位于动态补偿对象块后方同位置上的块，在还没用相同块尺寸进行动态补偿的情况下，对动态矢量检测部302指示按图10的流程图的过程算出动态补偿对象块的动态矢量。在此，由于动态补偿对象块的大小是8象素×8象素，用4象素×4象素动态补偿位于后方同位置上的块，因此，动态矢量检测部302按照图10中示出的流程图，算出动态补偿对象块的动态矢量。

在图10的流程图中，步骤S501的处理与图8的流程图中示出的步骤S401的处理不同。如图9所示，在本发明的动态补偿方法中，一个编码对象宏块每4个动态补偿对象块进行一次动态补偿。例如，将其设为动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d。对于这些动态补偿对象块，在后方同位置宏块内，块a’、块b’、块c’和块d’分别对应。这些块a’、块b’、块c’和块d’还分别由4象素×4象素的4个动态补偿块构成。动态矢量检测部302首先在后方同位置宏块内，调查与编码对象宏块内的动态补偿对象块a相对应的块a’，调查构成块a’的4个动态补偿块中的2个以上的动态补偿块是否“动态小”(S501)。

判定动态补偿块是否“动态小”的基准，与图8中示出的流程图的步骤S401中的判定基准相同。在2个以上动态补偿块的“动态小”的情况下，动态矢量检测部302将编码对象宏块内的动态补偿对象块a的动态矢量设为(0、0)(S502)，动态补偿部303使用决定后的动态矢量(0、0)进行动态补偿(S503)。在没有2个以上的动态补偿块的“动态小”的情况下，即“动态小”动态补偿块的数量不足2个的情况下，动态矢量检测部302从编码对象宏块的周边块的动态矢量，决定编码对象宏块的动态矢量MV(S504)。从周边块的动态矢量决定编码对象宏块的动态矢量MV的处理，与图8的步骤S404中的处理相同。动态补偿部303使用这样决定的动态矢量MV，生成动态补偿对象块a的动态补偿预测象素值(S503)。

动态补偿部303、动态矢量检测部302和动态信息变换部301，对剩余的动态补偿对象块b、动态补偿对象块c和动态补偿对象块d，反复进行上述步骤S501～步骤S504的处理，并当进行了动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d的全部的动态补偿时，就完成了该编码对象宏块的动态补偿。

另一方面，在图像解码装置400中，对由图像编码装置300编码后的编码数据Bitstream进行解码。在直接方式中，在图像解码装置400中，动态信息变换部401进行与图像编码装置300的动态信息变换部301相对应的处理，动态补偿部402进行与图像编码装置300的动态矢量检测部302和动态补偿部303相对应的处理，与图像编码装置300同样地，能够进行各动态补偿对象块的动态补偿。

在由可变长解码部201从编码数据Bitstream提取的编码方式Mod中，示出了用直接方式对解码对象宏块进行编码的情况下，动态信息变换部401判断位于动态补偿对象块后方同位置上的动态补偿完块的动态补偿尺寸是否与动态补偿对象块的大小相同，在相同的情况下，按照图8的流程图中示出的过程，指示动态补偿部402算出动态补偿对象块的动态矢量。

按照该指示，动态补偿部402首先在图6(b)中示出的解码对象画面B1后方的P画面(后方的参照画面)P2内，调查位于与动态补偿对象块同位置的动态补偿完块是否“动态小”(S401)，在“动态小”的情况下，将动态补偿对象块的动态矢量设为(0、0)(S402)。即，关于该动态补偿对象块，不进行使用了画面间预测的动态补偿。另一方面，在后方的P画面内位于与动态补偿对象块同位置的动态补偿完块不是“动态小”的情况下，动态补偿部402将根据解码对象宏块的周边块的动态矢量算出的解码对象宏块的动态矢量MV，设为该动态补偿对象块的动态矢量(S404)。使用解码完的周边块的动态矢量算出解码对象宏块的动态矢量的方法，与图像编码装置300的情况中说明的方法相同。

在步骤S402或步骤S404中，在决定动态补偿对象块的动态矢量后，动态补偿部402从图像存储器204内的参照图像数据Ref中，读取用决定的动态矢量示出的位置的块，生成预测图像数据Pred(S403)。这样，动态补偿部402在用相同块尺寸动态补偿了动态补偿对象块和位于其后方同位置上的动态补偿完块的情况下，也能够对应于后方同位置的动态补偿完块是否“动态小”，决定每个动态补偿对象块的动态矢量，进行动态补偿。

此外，在提取的编码方式Mod中示出了用直接方式编码了解码对象宏块的情况下，在没有用相同块尺寸对动态补偿对象块和位于其后方同位置上的动态补偿完块进行了动态补偿的情况下，动态信息变换部401指示动态补偿部402按图10的流程图中示出的过程算出动态补偿对象块的动态矢量。动态补偿部402在(解码对象画面内)解码对象宏块(最近后方的P画面内)后方同位置宏块中，调查包含在与8象素×8象素的动态补偿对象块相对应的8象素×8象素的块中的、4个4象素×4象素的动态补偿完块的动态，在4个中有2个或2个以上的动态补偿完块的“动态小”的情况下，将动态补偿对象块的动态矢量设为(0、0)(S502)。在不是这样的情况下，将使用解码对象宏块的周边块的动态矢量算出的、解码对象宏块的动态矢量MV，设为动态补偿对象块的动态矢量(S504)。在步骤S502或步骤S504中，一决定动态补偿对象块的动态矢量，动态补偿部402就读出图像存储器204内的参照图像数据Ref中的、用决定后的动态矢量示出的位置的块，生成预测图像数据Pred(S503)。这样，动态补偿部402即使在没有用相同块尺寸对动态补偿对象块和位于其后方同位置上的动态补偿完块进行动态补偿的情况下，也能够判定后方同位置的动态补偿完块是否“动态小”。从而，动态补偿部402能够按照该判定结果，决定每个动态补偿对象块的动态矢量，进行动态补偿对象块的动态补偿。

根据如上所述使用了本发明的动态补偿方法的图像编码装置300和图像解码装置400，在B画面的动态补偿编码中，能够将大于现有的动态补偿对象块的大小的动态补偿对象块，作为单位进行动态补偿，因此，能够降低B画面的编码和解码中的因向图像存储器存取而产生的负荷。

再有，在上述实施方式1中，将B画面的动态补偿对象块的大小设为8象素×8象素，将P画面的动态补偿完块的大小设为4象素×4象素进行了说明，但本发明不限定于此，也可以设定为与其不同的块尺寸。此外，在最近后方画面中与动态补偿对象块相对应的块中的2个以上的动态补偿完块的“动态小”的情况下，将动态补偿对象块的动态矢量设为(0、0)，但未必是“2个以上”，也可以设为“1个以上”、“3个以上”或“全部”。此外，在将B画面和P画面的动态补偿对象块和动态补偿对象块的块尺寸设定为上述以外的情况下，可以按照它们的块尺寸的比适当设定。以下的实施方式中相同。

另外，在上述实施方式1中，在图8或图10中示出的流程图中，由于基于周边块的动态矢量决定的动态矢量，对于一个编码或解码对象宏块是一个，因此，关于同一编码或解码对象宏块内的动态补偿对象块，在执行步骤S404或步骤S504的处理的情况下，每次就成为进行相同计算处理的结果。但是，本发明不限定于此，例如，每个编码或解码对象宏块预先基于周边块的动态矢量决定动态矢量，即，也可以在步骤S401或步骤S501的判断之前进行步骤S404或步骤S504的处理，在步骤S404或步骤S504中，只设为“将基于周边块的动态矢量预先决定的动态矢量的值，作为该动态补偿对象块的动态矢量来使用”。若这样，在处于动态补偿对象块的后方同位置上的块不是“动态小”的情况下，有进一步减少基于周边块的动态矢量的动态矢量计算次数，能够降低动态矢量检测部302和动态补偿部402的处理负荷的效果。在以下的实施方式中相同。

此外，也可以取代在步骤S401或步骤S501的判断之前进行步骤S404或步骤S504的处理，在进行步骤S404或步骤S504的处理的情况下，将算出的编码或解码对象宏块的动态矢量MV保存在存储器等中。保存动态矢量MV的期间，是处理同一编码或解码对象宏块内的动态补偿对象块的期间。具体地说，动态矢量检测部303或动态补偿部402，在编码或解码对象宏块中，在位于动态补偿对象块后方同位置的块不是“动态小”的情况下，也可以先算出编码或解码对象宏块的动态矢量MV，在进行相同的编码或解码对象宏块内的动态补偿对象块的处理期间，保存编码或解码对象宏块的动态矢量MV。这样，有能够进一步降低动态矢量检测部302和动态补偿部402的动态矢量计算次数，进一步降低动态矢量检测部302和动态补偿部402的处理负荷的效果。

此外，在上述实施方式1中，在图8或图10的流程图的步骤S404或步骤S504中，使用周边块的动态矢量决定编码或解码对象宏块的动态矢量MV，但未必需要用该方法决定编码或解码对象宏块的动态矢量MV。例如，在预先决定了动态矢量的其他画面中，也可以使用位于与编码或解码对象宏块同位置的块的动态矢量，决定编码或解码对象宏块的动态矢量。以下的实施方式中也一样。

再有，在上述实施方式中，说明了动态信息变换部301在将参照画面的动态参数存储在动态矢量存储部110中后，变换为规定块尺寸的动态参数，但也可以在将参照画面的动态参数存储在动态矢量存储部110中之前进行变换。以下的实施方式中也一样。例如，动态信息变换部301在将4象素×4象素的块作为动态补偿的单位，检测参照画面的动态参数的情况下，将16象素×16象素的宏块4分的每个8象素×8象素的块，分别将在包含在该块(8象素×8象素)中的4个4象素×4象素的块中检测到的动态矢量的值，全部重写为在该8象素×8象素的块内位于宏块(16象素×16象素)的4个角的4象素×4象素的动态补偿对象块中检测到的动态矢量的值。这样，将4分割宏块得到的8象素×8象素的块进一步4分割得到的4象素×4象素的块，都对于8象素×8象素的块内位于宏块的角上的块(4象素×4象素)具有检测到的相同的动态矢量。通过将这样变换后的动态参数存储在动态矢量存储部110中，若动态矢量检测部302不读出包含在位于后方同位置上的某一个4象素×4象素的块的动态矢量，则能够用它容易判定位于后方同位置上的块的动态。

此外，动态信息变换部301在例如将4象素×4象素的块作为动态补偿的单位，检测参照画面的动态参数的情况下，也可以在动态矢量存储部110内，与4分割了16象素×16象素的宏块的8象素×8象素的各块相对应，仅存储一个动态矢量。在以下的实施方式中也一样。该动态矢量是对于在8象素×8象素的块内处于宏块的角上的块(4象素×4象素)检测到的动态矢量等。这样，动态矢量检测部302在将4象素×4象素的块作为动态补偿的单位检测了参照画面的动态参数的情况下，也与图6(b)和图8中示出的处理同样地，能够判定位于后方同位置上的块是否“动态小”。

另外，动态信息变换部301在例如将4象素×4象素的块作为动态补偿的单位，检测参照画面的动态参数的情况下，也可以从对于8象素×8象素的块内位于宏块的角上的块(4象素×4象素)检测到的动态矢量，判定该块(4象素×4象素)是否“动态小”，将示出其判定结果的标记，与编码对象宏块内的8象素×8象素的各块相对应，存储在动态矢量存储部110中。以下的实施方式中也一样。这样，动态矢量检测部302在进行B画面的动态补偿时，不需要判定位于后方同位置上的块是否“动态小”，能够降低B画面的动态补偿中的处理负荷的效果。

(实施方式2)

下面说明的本实施方式2与实施方式1的不同点在于，在用不同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况中，在选择将动态补偿对象块的动态矢量设为(0、0)，还是根据周边块的动态矢量来决定的某一方时的判定方法不同。在用相同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况下，利用实施方式1的从图6(a)至图8中说明的方法，进行动态补偿对象块的动态补偿。从而，在结构上，本实施方式2的图像编码装置和图像解码装置与实施方式1中示出的图像编码装置300和图像解码装置400不同的主要部分，是图像编码装置的动态信息变换部和动态矢量检测部、图像解码装置的动态信息变换部和动态补偿部。这样，以下省略重复的结构要素的说明。

图11是示出在本实施方式2中，用不同块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿了的情况下，动态补偿对象块与位于其后方同位置上的多个块的对应的图。在该图的左侧，与图9同样地，示出了编码或解码对象B画面内的编码或解码对象宏块。在该图的右侧，与图9同样地，示出了编码或解码对象宏块的后方同位置宏块。右侧示出的后方同位置宏块是P画面或B画面，例如，分别将4象素×4象素的块(图中的最小区划)作为单位，已经进行了动态补偿的检测和动态补偿。在左侧示出的编码或解码对象宏块中，与图9同样地，将8象素×8象素的块(图中的最小区划)作为单位，进行动态矢量的决定和动态补偿。

如图11所示，一个编码或解码对象宏块由4个动态补偿对象块构成。例如，若将其设为动态补偿对象块a、动态补偿对象块b、动态补偿对象块c和动态补偿对象块d，则在其后方同位置宏块内，分别由4象素×4象素的4个动态补偿完块构成的4个8×8象素的块，与各自的动态补偿对象块相对应。

图12是流程图，示出在实施方式2中，在用不同的块尺寸对编码或解码对象宏块和后方同位置宏块进行动态补偿的情况下，对应于位于动态补偿对象块的后方同位置上的块的动态，用不同的动态矢量对动态补偿对象块进行动态补偿的处理过程。如已经说明的，在本实施方式2的动态补偿方法中，由于仅选择动态补偿对象块的动态矢量时的判定方法不同，因此，在流程图中，仅图12的步骤S701的处理与图10的步骤S501的处理不同。

首先，动态信息变换部判断位于动态补偿对象块后方同位置上的块的动态补偿的尺寸，是否与动态补偿对象块的尺寸相同，在相同的情况下，按照图8的流程图中示出的过程，指示动态矢量检测部或动态补偿部计算动态补偿对象块的动态矢量。反之，在还没有用相同块尺寸进行动态补偿的情况下，指示动态矢量检测部或动态补偿部，按照图12的流程图中示出的过程算出动态补偿对象块的动态矢量。

动态矢量检测部或动态补偿部，关于编码或解码对象宏块内的动态补偿对象块a，调查构成后方同位置宏块内的对应块的4个动态补偿完毕块中的、处于后方同位置宏块的角上的动态补偿完毕块a’是否“动态小”(S701)。

判定动态补偿完毕块a’是否“动态小”的基准，与图8中示出的步骤S401中的判定基准相同。在动态补偿完块a’的“动态小”的情况下，动态矢量检测部或动态补偿部将编码或解码对象宏块内的动态补偿对象块a的动态矢量设为(0、0)(S702)。动态补偿部用所决定的动态矢量(0、0)对动态补偿对象块a进行动态补偿(S703)。

在动态补偿对象块a’不是“动态小”的情况下，动态矢量检测部或动态补偿部，根据编码或解码对象宏块的周边块的动态矢量，决定该编码或解码对象宏块的动态矢量MV(S704)。根据周边块的动态矢量决定编码或解码对象宏块的动态矢量MV的处理，与图8中的步骤S404中的处理相同。动态补偿部使用这样决定的编码或解码对象宏块的动态矢量MV，生成动态补偿对象块a的动态补偿预测象素值(S703)。通过以上处理，完成一个动态补偿对象块a的动态补偿。

所述实施方式2的图像编码装置中的动态矢量检测部、动态补偿部和动态信息变换部、图像解码装置中的动态补偿部和动态信息变换部，通过接着对剩余的动态补偿对象块b、动态补偿对象块c和动态补偿对象块d，反复进行上述步骤S701～步骤S704的处理，完成一个编码或解码对象宏块的动态补偿。

即，对动态补偿对象块b，在位于动态补偿对象块b的后方同位置上的块中，调查位于编码或解码对象宏块的后方同位置宏块的角上的动态补偿完毕块b’是否“动态小”，在动态补偿完块b’“动态小”的情况下，选择动态矢量(0、0)。在动态补偿完毕块b’不是“动态小”的情况下，选择用周边块的动态矢量算出的编码或解码对象宏块的动态矢量MV。动态补偿部用所选择的动态矢量进行动态补偿对象块b的动态补偿。

此外，对于动态补偿对象块c和动态补偿对象块d也同样地，根据动态补偿完块c’和动态补偿完块d’的动态选择动态矢量，用所选择的动态矢量对动态补偿对象块c和动态补偿对象块d进行动态补偿。这样，若进行编码或解码对象宏块内的全部的动态补偿对象块的动态补偿，则完成该编码或解码对象宏块的动态补偿。

如上所述，根据本实施方式2的动态补偿方法，由于仅调查位于后方同位置宏块的角上的一个动态补偿完毕块的动态，就能够选择用于动态补偿对象块的动态补偿的动态矢量，因此，与实施方式1的动态补偿方法相比，有能够降低动态矢量检测部或动态补偿部的处理负荷的效果。

(实施方式3)

另外，通过将用于实现上述各实施方式中示出的图像编码方法和图像解码方法的程序记录到软盘等记录媒体中，能在独立的计算机系统中简单地实施上述各实施方式中示出的处理。

图13是关于用于存储用于由计算机系统实现上述实施方式1至实施方式2的图像编码方法和图像解码方法的程序的记录媒体的说明图。

图13(b)示出从软盘的正面看的外观、剖面结构和软盘，图13(a)示出作为记录媒体主体的软盘的物理格式的例子。软盘FD内置于壳F内，在该磁盘表面，从外周向内周以同心圆状形成多个磁道Tr，各磁道在角度方向上被分割为16个扇区Se。从而，在存储了上述程序的软盘中，在上述磁盘主体FD上分割的区域中，记录作成上述程序的图像编码方法和图像解码方法。

此外，图13(c)示出用于在软盘FD上进行上述程序的记录再现的结构。在软盘FD上记录上述程序的情况下，从计算机系统Cs，通过软盘驱动器，写入作成上述程序的图像编码方法或图像解码方法。此外，在利用软盘内的程序，将上述图像编码方法和图像解码方法构筑到计算机系统中时，利用软盘驱动器从软盘读出程序，传送到计算机系统中。

再有，在上述说明中，使用软盘作为记录媒体进行了说明，但使用光盘也能同样地进行。此外，记录媒体不限于此，CD-ROM、存储卡、盒式ROM等，只要能记录程序的都能同样地实施。

(实施方式4)

另外，在此，对上述实施方式中示出的图像编码方法和图像解码方法的应用例、和使用该应用例的系统进行说明。

图14是示出实现内容传送服务的内容供给系统ex100的整体结构框图。将通信服务的提供区域分割成期望的大小，在各单元内分别设置作为固定无线局的基站ex107～ex110。

该内容供给系统ex100例如通过因特网服务提供商ex102和电话网ex104及基站ex107～ex110，在因特网ex101上连接计算机ex111、PDA(personal digital assistant即，个人数字助理)ex112、摄影机ex113、携带式电话ex114、带摄影机的携带式电话ex115等各设备。

但是，内容供给系统ex100不限定于图14这样的组合，也可以组合任一个进行连接。此外，也可以不通过作为固定无线局的基站ex107～ex110，而在电话网ex104上直接连接各设备。

摄影机ex113是数字录像机等能摄影动画的设备。此外，携带式电话是PDC(Personal Digital Communications即，个人数字通信)方式、CDMA(Code Division Multiple Access即，码分多路访问)方式、W-CDMA(Wideband-Code Division Multiple Access即，宽带码分多路访问)方式、或GSM(Global System for Mobile Communications即，全球移动通信系统)方式的携带式电话机，或者PHS(Personal Handyphone System即，个人手持电话系统)等，哪种都可以。

此外，流服务器ex103从摄影机ex113通过基站ex109或电话网ex104进行连接，能使用摄影机ex113来进行基于用户发送的已编码处理的数据的实时传送等。拍摄到的数据的编码处理可以用摄影机ex113进行，也可以用进行数据的发送处理的服务器等进行。此外，也可以通过计算机ex111向流服务器ex103发送用摄影机ex116拍摄到的动画数据。摄影机ex116是数字摄影机等可摄影静止画面和动画的设备。该情况下，动画数据的编码既可以用摄影机ex116进行，也可以用计算机ex111进行。此外，编码处理在计算机ex111或摄影机ex116所具备的LSIex117中进行处理。再有，也可以将图像编码和解码用的软件装在能用计算机ex111等可读取的记录媒体的任一种存储媒体(CD-ROM、软盘、硬盘等)中。另外，也可以用带摄影机的携带式电话ex115发送动画数据。这时的动画数据是用携带式电话ex115所具有的LSI进行编码处理的数据。

在该内容供给系统ex100中，一方面，与上述实施方式同样地编码处理用户用摄影机ex113和摄影机ex116等拍摄的内容(例如，拍摄了音乐实况的影像等)，并向流服务器ex103发送，另一方面，流服务器ex103对有请求的客户端流传送上述内容数据。作为客户端，有能进行解码上述已编码处理的数据的计算机ex111、PDAex112、摄影机ex113、携带式电话ex114等。通过这样做，内容供给系统ex100能在客户端接收已编码的数据并再现，另外，能在客户端实时接收、解码、再现，因此，该系统也能实现个人广播。

在构成该系统的各设备的编码和解码中，也可以使用在上述各实施方式中示出的图像编码装置或图像解码装置。

作为一例，对携带式电话进行说明。

图15是示出使用了已在上述实施方式中说明的图像编码方法和图像解码方法的携带式电话ex115的图。携带式电话ex115具有下述部分：用于与基站ex110之间收发电波的天线ex201；CCD摄影机等能拍摄影像和静止画面的摄影机部ex203；显示用摄影机部ex203拍摄到的影像和已解码了用天线ex201接收到的影像等的数据的液晶显示器等显示部ex202；由操作键ex204群构成的主体部；用于进行声音输出的扬声器等声音输出部ex208；用于进行声音输入的话筒等声音输入部ex205；记录媒体ex207，用于保存拍摄到的动画、或静止画面数据、接收到的邮件数据、动画数据、或静止画面数据等已编码的数据或已解码的数据；用于能在携带式电话ex115中装入记录媒体ex207的卡槽ex206。记录媒体ex207是SD卡等在塑料容器内，电气地装入能改写和擦除的、作为不易失存储器即EEPROM(Electronically Erasable and Programmable ReadOnly Memory即，电可擦可编程只读存储器)的一种的快闪存储器元件的装置。

另外，用图16对携带式电话ex115进行说明。携带式电话ex115对于主控制部ex311，通过同步总线ex313，与具有显示部ex202和操作键ex204的、对主体部的各部进行总控制的主控制部ex311，相互连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄影机接口部ex303、LCD(Liquid Crystal Display即，液晶显示器)控制部ex302、图像解码部ex309、多重分离部ex308、记录再现部ex307、调制解调电路部ex306和声音处理部ex305。主控制部ex311对包括显示部ex202和操作键ex204的主体部的各部分进行总括地控制。

当由用户操作成结束通话和电源键为开通状态时，电源电路部ex310就从电池组对各部分供给电力，从而启动带摄影机的数字式携带式电话ex115为可工作的状态。

携带式电话ex115基于由CPU、ROM和RAM等构成的主控制部ex311的控制，在声音通话模式时，用声音处理部ex305将由声音输入部ex205集音到的声音信号变换成数字式声音数据，将其用调制解调电路部ex306进行频谱扩散处理，并在由收发电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201发送。此外，携带式电话机ex115在声音通话模式时，放大由天线ex201接收到的接收数据，实施频率变换处理和模拟/数字转换处理，由调制解调电路部ex306进行频谱逆扩散处理，由声音处理部ex305转换成模拟声音数据之后，将其通过声音输出部ex208输出。

另外，在数据通信模式时发送电子邮件的情况下，由主体部的操作键ex204的操作输入的电子邮件的文本数据，通过操作输入控制部ex304发送到主控制部ex311。主控制部ex311用调制解调部ex 306对文本数据进行频谱扩散处理，在由收发电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201，向基站ex110发送。

在数据通信模式时发送图像数据的情况下，通过摄影机接口部ex303，向图像编码部ex312供给用摄影机部ex203拍摄到的图像数据。此外，在不发送图像数据的情况下，也可以通过摄影机接口部ex303和LCD控制部ex302，在显示部ex202上直接显示用摄影机部ex203拍摄到的图像数据。

图像编码部ex312具有已在本申请中说明了的图像编码装置，通过由在上述实施方式中示出的图像编码装置中使用的编码方法，对从摄影机部ex203供给的图像数据进行压缩编码，转换成编码图像数据，将其向多重分离部ex308发送。此外，与此同时，携带式电话机ex115将由摄影机部ex203在摄像中由声音输入部ex205集音到的声音，作为数字声音数据，通过声音处理部ex305，向多重分离部ex308发送。

多重分离部ex308用规定的方式，对从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给的声音数据进行多重化，由调制解调电路部ex306对其结果得到的多重化数据进行频谱扩散处理，在由收发电路部ex301实施了数字/模拟转换处理和频率变换处理之后，通过天线ex201发送。

在数据通信模式时接收链接到首页等的动态图像文件数据的情况下，由调制解调电路部ex306，对通过天线ex201从基站ex110接收到的接收数据进行频谱扩散处理，将其结果得到的多重化数据向多重分离部ex308发送。

此外，在解码通过天线ex201接收到的多重化数据时，多重分离部ex308通过分离多重化数据，来分成图像数据的位流和声音数据的位流，通过同步总线ex313向图像解码部ex309供给该编码图像数据，并向声音处理部ex305供给该声音数据。

接着，图像解码部ex309具有已在本申请中说明了的图像解码装置，用对应于上述实施方式中示出的编码方法的解码方法，对图像数据的位流进行解码，生成再现动态图像数据，将其通过LCD控制部ex302向显示部ex202供给，这样，显示例如链接到首页的动态图像文件中包含的动画数据。与此同时，声音处理部ex305在将声音数据转换成模拟声音数据之后，向声音输出部ex208供给，这样，再现例如链接在首页中的动态图像文件中包含的声音数据。

再有，不限于上述系统的例子，最近，利用卫星和地面波进行数字广播成为热门话题，如图17所示，也可以在数字广播用系统中装入至少一种上述实施方式的图像编码装置或图像解码装置。具体地说，在广播电台ex409中，通过电波向通信或广播卫星ex410传输影像信息的位流。接收到它的广播卫星ex410，发送广播用电波，由具有卫星广播接收设备的家庭的天线ex406接收该电波，由电视机(接收机)ex401或机顶盒设备(STB)ex407等装置解码位流并再现。此外，也可以读取记录在作为记录媒体的CD和DVD等存储媒体ex402上的位流，在进行解码的再现装置ex403上安装上述实施方式中示出的图像解码装置。该情况下，在监视器ex404上显示再现的影像信号。此外，也可以考虑在与有线电视用的电缆ex405或卫星/地面波广播的天线ex406连接的机顶盒设备ex407内安装图像解码装置，由电视机的监视器ex408进行再现的结构。这时，不仅机顶盒设备，而且也可以在电视机内装入图像解码装置。此外，也可以用具有天线ex411的车ex412从卫星ex410或基站ex107等接收信号，在车ex412所具有的汽车驾驶导向系统ex413等显示装置中再现动画。

另外，也可以用上述实施方式中示出的图像编码装置对图像信号进行编码，并记录在记录媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD可录光盘和在硬盘中记录的盘式记录器等记录器ex420。另外，也可以记录在SD卡ex422中。若记录器ex420具有上述实施方式中示出的图像解码装置，则能再现记录在DVD盘ex421和SD卡ex422中的图像信号，可用监视器ex408显示。

再有，汽车驾驶导向系统ex413的结构可以是例如在图16中示出的结构中，除去摄影机部ex203和摄影机接口部ex303、图像编码部ex312的结构，同样也可以考虑计算机ex111和电视机(接收机)ex401等。

此外，上述携带式电话ex114等终端可以是除具有编码器和解码器的双方的收发型的终端之外，还可以是仅有编码器的发送终端和仅有解码器的接收终端的三种安装形式。

如上，能在上述的某一个设备和系统中使用上述实施方式中示出的图像编码方法或图像解码方法，由此，能得到上述实施方式中说明的效果。

此外，本发明不限定于上述实施方式，可以在不脱离本发明的范围内作各种各样的变形或修正。

工业上的可利用性

本发明涉及的图像编码装置，作为在具有通信功能的个人计算机、PDA、数字广播的广播站和携带式电话等中所具备的图像编码装置，十分有用。

本发明涉及的图像解码装置，作为在具有通信功能的个人计算机、PDA、接收数字广播的STB和携带式电话等中所具备的图像解码装置，十分有用。

Claims (10)

1、一种图像编码方法，用于对图像信号进行编码，其特征在于，包括：

选择步骤，根据在构成编码完的宏块的块群中位于上述编码完的宏块的角上的块的动态矢量，选择上述编码对象宏块内的块的动态矢量的生成方法，上述编码完的宏块被包含在与包含编码对象宏块的画面不同的画面，并且位于与上述编码对象宏块相同的位置上；

动态补偿步骤，基于由选择的方法生成的动态矢量，生成上述编码对象宏块内的块的预测图像；

编码步骤，对上述编码对象宏块内的块图像与上述预测图像的差分进行编码，

上述动态矢量的生成方法是将上述编码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述编码对象宏块所属的画面中，参照位于上述编码对象宏块周边的编码完的块的动态矢量的方法。

2、如权利要求1所述的图像编码方法，其特征在于，上述块群的各块的大小是Nx象素×Ny象素，其中，Nx、Ny是自然数；上述编码对象宏块内的块的大小是KxNx象素×KyNy象素，其中，Kx、Ky是自然数。

3、如权利要求2所述的图像编码方法，其特征在于，在上述图像编码方法中，Nx和Ny的某一方是另一方的倍数，KxNx≥8且KyNy≥8。

4、如权利要求1所述的图像编码方法，其特征在于，在上述动态补偿步骤中，通过参照多个编码完的画面，生成上述各编码对象宏块内的块的预测图像。

5、一种图像解码方法，用于对流进行解码而得到解码图像，其特征在于，包括：

选择步骤，根据在构成解码完的宏块的块群中位于上述解码完的宏块的角上的块的动态矢量，选择上述解码对象宏块内的块的动态矢量的生成方法，上述解码完的宏块被包含在与包含解码对象宏块的画面不同的画面，并且位于与解码对象宏块相同的位置上；

动态补偿步骤，基于由选择的方法生成的动态矢量，生成上述解码对象宏块内的块的预测图像；

解码步骤，将对上述流进行解码而得到的差分图像和上述预测图像相加，作为解码图像，

上述动态矢量的生成方法是将上述解码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述解码对象宏块所属的画面中，参照位于上述解码对象宏块周边的解码完的块的动态矢量的方法。

6、如权利要求5所述的图像解码方法，其特征在于，上述块群的各块的大小是Nx象素×Ny象素，其中，Nx、Ny是自然数；上述解码对象宏块内的块的大小是KxNx象素×KyNy象素，其中，Kx、Ky是自然数。

7、如权利要求6所述的图像解码方法，其特征在于，在上述图像解码方法中，Nx和Ny的某一方是另一方的倍数，KxNx≥8且KyNy≥8。

8、如权利要求5所述的图像解码方法，其特征在于，在上述动态补偿步骤中，通过参照多个解码完的画面，生成上述各解码对象宏块内的块的预测图像。

9、一种图像编码装置，用于对图像信号进行编码，其特征在于，具有：

选择装置，根据在构成编码完的宏块的块群中位于上述编码完的宏块的角上的块的动态矢量，选择上述编码对象宏块内的块的动态矢量的生成方法，上述编码完的宏块被包含在与包含编码对象宏块的画面不同的画面，并且位于与上述编码对象宏块相同的位置上；

动态补偿装置，基于由选择的方法生成的动态矢量，生成上述编码对象宏块内的块的预测图像，

编码装置，对上述编码对象宏块内的块图像与上述预测图像的差分进行编码，

上述动态矢量的生成方法是将上述编码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述编码对象宏块所属的画面中，参照位于上述编码对象宏块周边的编码完的块的动态矢量的方法。

10、一种图像解码装置，用于对流进行解码而得到解码图像，其特征在于，具有：

选择装置，根据在构成解码完的宏块的块群中位于上述解码完毕的宏块的角上的块的动态矢量，选择上述解码对象宏块内的块的动态矢量的生成方法，上述解码完的宏块被包含在与包含解码对象宏块的画面不同的画面，并且位于与解码对象宏块相同的位置上；

动态补偿装置，基于由选择的方法生成的动态矢量，生成上述解码对象宏块内的块的预测图像；

解码装置，将对上述流进行了解码而得到的差分图像和上述预测图像相加，作为解码图像，

上述动态矢量的生成方法是将上述解码对象宏块内的块的动态矢量设为“0”的方法，或者是在上述解码对象宏块所属的画面中，参照位于上述解码对象宏块周边的解码完的块的动态矢量的方法。

Images