CN101039425A

CN101039425A - 动态图像编码方法及解码方法

Info

Publication number: CN101039425A
Application number: CNA2007100921317A
Authority: CN
Inventors: 铃木芳典
Original assignee: Hitachi Ltd
Current assignee: Maxell Ltd
Priority date: 2002-07-15
Filing date: 2003-07-11
Publication date: 2007-09-19
Anticipated expiration: 2023-07-11
Also published as: JP6513847B2; US10104383B2; US8340190B2; JP6122931B2; US8837594B2; CN101039424B; CN101043626A; CN101039428A; CN101039427B; CN101043626B; US20110293016A1; US10349062B2; JP2014003662A; AU2003281133A1; US8571108B2; US20110293008A1; JP6336228B1; US8325816B2; US20180048899A1; CN101039427A

Abstract

过去，对于有些块，不能有效地适应direct模式。因此，向解码器提供表示按默认设定的后向的参考帧是否可用于direct模式的信息，另外，提供在collocated block不具有可有效地利用的前向移动向量的场合可适用的代价方式的切换顺序和代价方式。这样，可明确地判断是否可用于direct模式。另外，在帧编号没有时刻信息的场合，可以高效率传送表示参照帧和现帧间的关系的信息。另外，根据本发明的代用模式和其切换顺序，可提高不能适用direct模式的场合的预测性能。

Description

动态图像编码方法及解码方法

本申请是申请号为03805041.2、申请日为2004年9月1日、发明名称为“动态图像编码方法及解码方法”的专利申请的分案申请。

技术领域

本发明涉及一种压缩动态图像数据的编码和解码技术，特别是涉及一种块单位的编码·解码技术。

背景技术

下面说明以块单位进行编码·解码处理的动态图像的编码·解码方法的概要。动态图像的1帧如图3所示那样由1个辉度信号(Y信号：61)和2个色差信号(Cr信号：62，Cb信号：63)构成，色差信号的图像尺寸纵横都为辉度信号的1/2。在一般的视频规格中，将动态图像的各帧分割成图3所示那样的小块，按被称为宏块的块单位进行再生处理。图5示出宏块的构造。宏块由16×16像素的1个Y信号块30、与其在空间上一致的8×8像素的Cr信号块31、及Cb信号块31构成。

视频的编码按上述示出的宏块单位处理。编码方法中大体分成2种，分别称为内部编码(内部模式)、预测编码(相互模式)。内部编码为空间方向的数据压缩方法，在该方法中，相对编码对象的输入宏块图像或相对误差宏块图像实施DCT，对各变换系数实施量化·编码，该误差宏块图像通过对输入宏块图像实施空间预测生成的预测宏块图像与输入宏块图像之间获取差分而获得。该内部编码配置到没有与前帧相似的部分的宏块(也包含第1编码帧)和希望消除DCT带来的累积运算误差的部分等。

预测编码的算法被称为MC-DCT(移动补偿-离散余弦变换)。移动补偿为时间方向的压缩技术，该方法从参考帧检索与对象宏块的内容相似的部分，对其移动量(移动向量)进行编码。通常，将宏块分割成更小的块，对各小块计算出移动向量。例如，在MPEG-4 Part10(Advanced Video Coding)中，如图7那样考虑进行移动补偿时的宏块分割类型(辉度成分)。基本上为类型51～类型54这样4种。在类型54的场合，成为分别对4个8×8块54-0～54-3分别从类型54a、54b、54c、54d和内部编码这样5种选择的构造。作为各小块中的移动向量的检测方法，选择块内的预测误差信号的绝对值和或平方误差和小的部分。在运算速度重要的场合，使用绝对值和，在追求编码效率的场合，使用平方误差和。另外，在追求编码效率的场合，有时也适用将代码量换算成平方误差和的评价值、使用预测误差和代码量两者计算最佳的编码模式和移动量的方法。图4示出1块的移动补偿的处理构造。图4为对用粗线框围住的现帧71的辉度信号块72示出前帧73(参考帧)上的预测块75和移动向量76的图。移动向量76表示从相对现帧的粗线框块与空间上相同位置相当的前帧的块74(虚线)到前帧上的预测块75区域的移动量(色差信号用的移动向量长为辉度信号的一半，不编码)。该移动补偿后，相对在由多个预测块构成的预测宏块图像与输入宏块图像之间获取差分的误差宏块图像实施DCT，对各变换系数进行量化·编码。进一步检测出的宏块内的移动向量也被编码。邻接的块间的移动向量具有接近的值，所以，通常对邻接块的移动向量的差分值进行编码。

作为预测编码的移动补偿方法，除将时间上过去的帧作为参考帧进行MC的前向预测编码外，还具有将时间上过去和未来的帧作为参考帧进行MC的双向预测编码。在上述所示前向预测编码的移动补偿中，仅进行前方预测，但在双向编码的移动补偿中，除前方预测(forward prediction)外，还实施后方预测(backward prediction)、双向预测(bi-directional prediction)、及直接预测(direct)，该双向预测在前方预测块和后方预测块内的各像素实施内插处理，生成内插预测块，该直接预测利用从时间上未来的帧向过去的帧的移动向量进行双向预测。在前方预测、后方预测、及双向预测模式中，分别对与前向的移动向量对应的移动向量、与后向的移动向量对应的移动向量、与前向移动向量和后向的移动向量对应的移动向量进行编码，但在该direct模式中不需要移动向量的编码。图9示出direct模式的预测概念。如图所示那样，先按时间上的帧位置的比例将与现帧120上的预测对象块121处于空间上相同位置的后向的参考帧130上的块(131，collocated-block)的前向移动向量132换算成前向移动向量122和后向移动向量123。然后，使用这些换算移动向量实施与双向预测同样的内插处理。

将相对所有的宏块适用内部编码的帧称为I-picture，将由前向预测编码或内部编码构成的帧称为P-picture，将双向编码或内部编码构成的帧称为B-picture。

在此前，说明了一般的编码·解码方法，但近年的编码·解码方法适用了扩大选择自由度的功能。以下说明新的功能。这些功能在MPEG-4 Part 10(Advanced Video Coding)中也进行了讨论。

1.多参考帧

在上述说明中，用于移动补偿的参考帧的数量为1张P-picture和2张属于B-picture的过去帧(forward reference picture)和未来帧(backward reference picture)。然而，存在这样的方法，即，作为过去方向和未来方向的参考帧，分别准备多张，在按宏块单位和分割宏块获得的小块单位选择不同的参考帧。另外，过去参考帧为I-picture或P-picture，但也可作为reference picture选择B-picture。

2.双向参考帧预测

在多张参考帧的backward reference picture的候补，可包含时间上的过去方向的帧。在该方法中，也允许backward reference picture全部为时间上过去方向的帧。为此，作为总称，可使用Bi-predictive这样的措词代替Bi-directional。在2个参考帧140、150都为时间上过去的帧或都为未来的帧的场合，改变与现帧相距较远的参考帧150的移动向量127的编码方法。如图10所示那样，按时间上的帧位置的比例换算相对接近现帧121的参考帧140的移动向量124获得的移动向量125与移动向量127的差分向量126分别按水平·垂直成分进行编码。

3.编码/解码顺序的变更

过去，各帧的处理顺序按照图11的格式，即，I-picture和P-picture按显示顺序，在时间上位于2个I/P-picture间的连续的B-picture紧接在后者的I/P-picture之后。然而，在新的功能下，如为允许的显示延迟的范围，则不限定该处理顺序。另外，在使用Bi-predictive的概念的场合，B-picture即使在没有用于后方预测的参考帧时也可能发生。上述显示顺序作为视频数据的数据标题信息编码，或对于视频数据的上位概念，由实施视频数据与音频·声音数据的同步处理和数据的分段投送的通信层和文件格式管理，所以，不发生编码·解码处理顺序的变更带来的显示偏差的问题。

4.帧识别

过去，对各帧的表示显示位置的信息进行编码。然而，该显示位置信息有时与包含于实际显示时适用的通信分组和文件格式的时刻信息不一致。为了避免该问题，在视频数据中，还讨论了仅由处理编号管理各帧的方法。

然而，在导入新的功能的动态图像编码·解码方式中，可考虑不存在用于direct模式的后向的参考帧的场合和从多个后向的参考帧按默认设定的后向的参考帧不为未来帧的场合。在这样的帧中，direct模式不能适应。另外，在按解码顺序的编号进行各帧的管理的场合，不能判断是否可利用后向的参考帧。另外，在作为用于direct模式的后向的参考帧选择B-picture的那样的场合，可考虑collocated block没有前向的移动向量的场合。在这样的块中，direct模式不能适应。

发明内容

鉴于以上问题，本发明的目的在于提供一种可以良好效率适用direct模式的编码·解码方法。

向编码器提供表示按默认设定的后向的参考帧是否可用于direct模式的信息。提供在没有collocated block可利用的前向移动向量的场合可适用的向代用模式的切换顺序和代用模式。

另外，说明动态图像的编码和解码方法，该动态图像的编码和解码方法接收与移动向量相关的信息，使用记录的参考图像和与该移动向量相关的信息进行移动补偿，合成预测图像。移动补偿具有包含不伴随移动向量的解码的模式的多个块模式，选择表示预测方向的预测模式，从多个参考帧的候补选择在该预测模式的各预测方向的预测中参考的帧，选择在该预测模式中使用的移动向量的信息。特别是根据是否与当前的块邻接的块具有移动向量进行上述预测模式。另外，参考帧为从按index编号识别的多个参考帧选择1个参考帧而获得，在多个上述邻接块适用上述预测方向的预测的场合，选择任一个上述邻接块使用的参考帧，在仅1个上述邻接块适用上述预测方向的预测的场合，选择该1个邻接块适用的index编号的参考帧，在上述邻接块不采用上述选择的预测模式的场合，选择index编号为第0号的参考帧。另外，在附于多个上述块单位的标题包含用于确定作为块模式选择不伴随上述移动向量的解码的模式的场合的预测顺序的信息。

另外，还公开了适用上述方法的装置等。

按照本申请的上述构成，是否可适用direct模式的判断变得明确。另外，可有效地利用direct模式和其代用模式，预测效率提高，还可减少数据量。

附图说明

图1为示出本发明的图像标题数据语法例的图。

图2为示出本发明的图案标题数据语法的第2例的图。

图3为说明宏块分割的图。

图4为说明移动补偿的原理的图。

图5为示出对包含于宏块的有效DCT系数的有无进行编码时利用的块构成的图。

图6为示出进行DCT处理和编码处理的块单位的宏块构成的图。

图7为示出进行移动补偿的块单位的辉度块的构成的图。

图8为说明预测移动向量的生成手段的图。

图9为示出用于direct模式的双向预测的移动向量生成方法的图。

图10为示出使用2张的前向参考帧的移动向量计算方法的图。

图11为示出解码顺序和显示顺序的比较例的图。

图12为示出本发明的预测方法的切换顺序的例子的图。

图13为示出本发明的预测方法的切换顺序的第2例的图。

图14为示出本发明的代用模式的整体构成的图。

图15为示出本发明的代用模式的预测模式选择处理的图。

图16为示出本发明的代用模式的参考帧选择处理的图。

图17为示出本发明的代用模式的移动向量的选择处理的图。

图18为示出预测帧的数据语法的例子的图。

图19为表示通用编码表的构成例的图。

图20为示出P-picture的宏块类型的代码表和8×8块分割类型的代码表的例子的图。

图21为示出B-picture的宏块类型的代码表和8×8块分割类型的代码表的例子的图。

图22为示出本发明编码处理的框图的例子的图。

图23为示出本发明解码处理的框图的例子的图。

图24为示出本发明的图像标题数据语法的第3例的图。

图25为示出本发明的预测方法的切换顺序的第3例的图。

图26为示出实施本发明的编码方法的编码装置的预测参数计算器的例子的图。

图27为示出实施本发明的解码方法的解码装置的预测参数计算器的例子的图。

图28为示出实施本发明编码方法的软件编码器的例子的图。

图29为示出实施本发明解码方法的软件解码器的例子的图。

图30为示出记录由本发明的编码方法生成的编码位流的光盘的例子的图。

图31为示出使用本发明的编码·解码方法的装置的具体例的图。

具体实施方式

(实施例1)

下面参照附图说明本发明的实施形式。

下面，依次说明从帧标题到宏块数据的处理的流程。

图1示出帧标题信息的例子。另外，以下示出利用C语言进行的图像标题数据的解码处理例。

　　picture_layer()

　　{

　　 picture_structure

　　 frame_number

　　 reference_picture_selection_layer()

　　 if(coding_type()＝B-picture){

　　     direct_mv_scale_bwd_dir[index]

　　     if(direct_mv_scale_bwd_dir[index]){//未来方向

　　            direct_mv_scale_bwd[index]

　　          for(index=0;index＜number of forward reference;index++){

　　                direct_mv_scale_fwd_dir[index]

　　                if(direct_mv_scale_fwd_dir[index])//过去方向

　　                  direct_mv_scale_fwd[index]

　　          }

　　        }

　　     }

　　    }

在picture_structure20中，示出各picture的扫描构造(帧/半帧)。在frame_number 21中，示出该帧的识别编号。该frame_number的标记方法有2种。1种是包含时刻信息的场合。在该场合，对于I，P-picture，与紧接前面的I或P-picture的帧间隔成为frame_number，对于B-picture，与时间上过去的紧接前面的I或P-picture的帧间隔成frame_number(一般为Temporal reference；被称为TR)。第2种为简单地示出解码的顺序的场合。

在reference_picture_selection_layer()，示出可在现帧的移动补偿处理中使用的多个参考帧的frame_number(reference picture set)和其识别编号。例如，在参考帧为5张的场合，对frame number 10的现picture如以下那样向index 0～index 4分配frame_number。

Index 0：9

Index 1：8

Index 2：7

Index 3：6

Index 4：5

而且，在图像类型为P-picture的场合，前向的参考帧(forwardreference picture set)、B-picture的场合，前向和后向的参考帧(forward reference picture set和backward reference picture set)的frame_number被解码。此时，前向和后向的参考帧数可分别设定，所以，也存在不同的场合。在图像类型为I-picture或P-picture的场合，由接在这些reference picture set信息之后的字节排列信息(用于将数据的定界合并于字节单位的信息)结束图像层。以后的图像标题数据在图像类型为B-picture的场合发生。在本实施例中，可考虑记载到包含于上位的网络·通信相关信息的层的内容。direct_mv_scale_bwd_dir28为表示指定为direct模式用的后方参考帧相对现帧处于未来还是处于过去的信息。指定为direct模式用的后方参考帧通常为分配给index 0的backward reference picture。在数据28示出后方参考帧(在这里为分配给index 0的backward referencepicture)相对现帧处于过去的场合，不能使用direct mode，在数据28示出现帧相对后方参考帧处于未来的场合，可使用direct mode。因此，由该数据28可明确判断index 0的backward reference picture是否可用于direct模式。另外，在不能实施direct模式的场合，需要适用后述的代用模式，在用于这一目的存储器配置等的基准面，可促进解码作业的效率化。另外，在frame_number没有时刻信息的场合，可以良好效率传送关于reference picture和current picture间的关系的信息。与direct模式相关的图像位置信息具有在direct mode以外也可使用的信息和不能使用的信息。关于后者，可由direct_mv_scale_bwd_dir避免编码。

具体地说，如图1所示那样，当direct_mv_scale_bwd_dir示出可使用direct模式即相对现帧处于未来方向时，对数据26、27、29进行编码，但当示出不能使用direct模式时，这些数据不被编码。direct_mv_scale_bwd29为表示current picture与index 0的backwardreference picture间的帧间隔的信息(参照图9)。direct_mv_scale_bwd_dir26为表示前方参考帧相对现帧处于未来还是处于过去的信息，direct_mv_scale_fwd 27为表示current picture与forward reference picture间的图像间隔的信息(参照图9)。对于direct_mv_scale_fwd，需要按由reference_picture_selection_layer(22)指定的forward reference picture的数量进行编码。但为了使用direct模式，需要前向的参考帧相对现帧处于过去，所以，关于direct_mv_scale_fwd_dir26示出未来方向的index，省略direct_mv_scale_fwd 27。direct_mv_scale_divider为表示index 0的backward reference picture与forward reference picture间的图像间隔的信息(参照力9)。因此，该信息也需要按forward reference picture的数量编码，但由于可从direct_mv_scale_fwd和direct_mv_scale_bwd计算出，所以，也可省略。该信息对于direct_mv_scale_fwd_dir26示出未来方向的index，可省略direct_mv_scale_fwd_27。

在B-picture的场合，由字节排列信息(用于将数据的定界合并于字节单位的信息)结束图像层。

direct_mv_scale_fwd和direct_mv_scale_bwd也可作为图10所示picture_distance使用，所以，图2示出还将图1扩展到图10的移动向量编码的数据语法。

　　picture_layer()

　　{

　　 picture_structure

　　 frame_number

　　  reference_picture_selection_layer()

　　  if(coding_type()＝B-picture){

　　    for(index=0;index＜number of forward reference;index++){

　　         direct_mv_scale_fwd_dir[index]

　　         direct_mv_scale_fwd[index]

　　    }

　　  for(index=0;index＜number of backward reference;index++){

　　         direct_mv_scale_bwd_dir[index]

　　         direct_mv_scale_bwd[index]

　　  }

　　  }

　　 }

下面说明B-picture的场合。在该场合，关于可在现帧使用的所有的参考帧，对数据26～29进行编码/解码，但这些数据也可作为在图10所示移动向量的编码处理中利用的picture_distance的信息使用。在该图2中，也与图1同样地起到表示direet_mv_scale_bwd_dir[0]是否可使用direct模式的作用，但在图2中，通过数据26与28的组合，表示图10的处理是否可使用。图10的移动向量编码在与2个移动向量对应的2个参考帧相对现帧为相同方向的场合有效。为此，对于与在块中选择的2个reference picture的index编号对应的数据26和28的值为相对现帧位于不同的方向的2个参考帧的组合的场合，不用图10的移动向量编码方法，而是用图8的方法个别对各移动向量进行编码/解码。另一方面，对于与在块中选择的2个reference picture的index编号对应的数据26和28的值为相对现帧位于相同方向的2个参考帧的组合的场合，对从现帧离开的移动向量适用图10的方法。

在此之前，作为index 0说明了用于direct模式的backwardreference picture。然而，也可考虑将从backward reference picture set将index 0以外的编号选择为direct模式的backward referencepicture。例如，通过如图1和图2的direct_reference_idx_bwd24那样用图像层示出用于direct模式的backward reference picture的index编号，从而可按帧单位改变backward reference picture。另外，通过使direct_reference_idx_bwd24为在index编号加1后获得的值，而不是index编号本身，从而可使值“0”具有在backward referencepicture set没有可使用于direct模式的后方参照帧的意义。

下面，使用图18的宏块层语法、图20、21的宏块类型代码表说明宏块数据的构造。作为用于编码的方法，可考虑仅使用1种可变长代码表的Universal VLC(UVLC)、组合固定长编码和可变长编码(准备对各编码要素不同的代码表)的编码方法、及算术编码(Witten etal.，”Arithmetic Coding for Data Compression”，Comm.of the ACM，30(6)，1987，pp.520-541)，但在本实施例中，以UVLC和算术编码为例进行说明。图11的表81示出UVLC的构成，Xn的值成为‘0’或‘1’。在表82中示出实际的可变长编码表的例子。作为算术编码的具体的方法，可考虑将各代码的意义置换成多位的二进制数据、相应于表示分别成为0和1的发生概率的发生概率模式对各位进行编码的方法。该方法被称为CABAC(Context-based Adaptive Binary ArithmeticCoding)。

图18示出B-picture的宏块数据的语法构造。使用该图说明B-picture和P-picture的宏块数据构造。关于I-picture，由于不包含于本申请的特征，所以，省略说明。

在mb_skip_run11中，为对连续的SKIP模式数进行游程长度编码(对连续的0的数进行编码，在1个前的宏块的类型不为SKIP模式的场合，设连续的SKIP模式的数为零)的数据，仅在使用UVLC作为熵编码的方法的场合发生。SKIP模式为不对预测误差信号进行编码、直接将预测块图像作为再生块图像的宏块类型。预测块图像对P-picture采用从index 0的forward reference picture分出与预测位置相当的宏块图像的方法，对于B-picture由direct模式合成。该SKIP模式为用低比例编码选择较多的模式，特别是对于B-picture选择的概率高。因此，direct模式的预测性能直接影响到低比例的编码性能。在使用CABAC的编码方法中，不使用mb_skip_run11，SKIP模式也由mb_type12处理(参照表91、93的code number 0的栏)。对于mb_type12，从表91(P-picture)或表93(B-picture)所示宏块模式对各宏块选择1个模式，进行编码。在表91中，示出由code number6，7表示的Intra M×N的M，N表示进行空间预测时的小块尺寸，M×N表示进行移动补偿时的小块尺寸(图7的模式1～模式4)。其中，示于code number 5的模式在CABAC的场合也不使用。在表93中，进行由code number 23，24表示的Intra M×N的M，N表示进行空间预测时的小块尺寸、M×N表示进行移动补偿时的小块尺寸(与图7的模式1～模式4对应)，direct表示direct模式(direct(CBP＝0)表示CABAC适用时的SKIP模式)。表93的Block1和Block2表示识别图7的模式2或模式3的2个小块、各小块的预测方向为forward(前方预测)、backward(后方预测)、Bi-predictive(双向参考帧预测)中的哪一个。

在这里，对direct模式补充说明。在mb_skip_run11和mb_type12的选择候补中包含direct模式，但在适用多个参考帧功能和2参考帧的功能的方式中，可考虑不能适用direct模式的场合。因此，在本发明中，如图12所示那样，采用根据条件切换预测方法的顺序。最初，由图像标题内的direct_mv_scale_bwd_dir(图1)或direct_mv_scale_bwd_dir[0](图2)检查是否可在current picture中使用direct模式(301)。在由处理301判定不能使用的场合，由不需要collocated block的forward MV的代用模式(详细内容在后面说明)生成预测宏块(304)。在由处理301判定可使用的场合，对每8×8块进行预测方法的选定。在这里，形成8×8块是因为，在图7的块分割方法中，将参考帧和预测方向选择的最小单位形成为8×8块。具体地说，检查在与8×8块对应的collocated block适用具有forward MV的预测模式(302)。然后，在判定适用的场合，用direct模式生成预测块(303)，在判定不适用的场合，由代用模式生成预测块(304)。在处理302中，关于collocated 8×8 block，在预模式为intra模式的场合，预测方向为backward prediction的场合，相对于forwardreference picture的direct_mv_scale_fwd_dir[index]的值表示相对current picture处于后向(未来方向)的场合，或forward referencepicture未包含于current picture的forward reference picture set的场合，判定不可使用direct模式。在图12的处理302中，按8×8块单位实施direct模式的使用是否可使用，但也可按宏块单位对其进行实施。但是，在该场合，仅当宏块内的所有的预测块、图7的块分割方法的4个8×8块全部为direct模式可使用的状态的场合，判定可使用direct模式。图13示出在图像标题的构造追加数据24的场合切换预测方法的顺序。与图12不同的点为处理301改变为处理305这一点，具体地说，为检查的direct_mv_scale_bwd_dir的index编号成为由图13的数据24设定的值这一点。

现在返回图18的说明。在由mb_type12选择8×8(split)的场合，对示于图7的模式4的4个8×8小块54-0～54-3分别发生8×8partition 13。具体地说，在8×8 partition 18中，从表92(P-picture)或表94(B-picture)所示8×8 partition模式对各8×8块选择1个模式进行编码。在表92中，示于code number4的Intral表示空间预测，M×N表示进行移动补偿时的小块尺寸(图7的8×8 partition 1～8×8partition 4)。在表94中，示于code number 13的Intra表示空间预测的适用，M×N表示进行移动补偿时的小块尺寸(图7的8×8 partition1～8×8 partition 4)，direct表示direct模式。表94的prediction表示属于图7的模式4的各小块的预测方向为forward(前方预测)、backward(后方预测)、Bi-predictive(2参考帧预测)中的哪一个。

即使在按8×8 partition选择direct模式的场合，也可适应与图12或图13同样的预测方法切换顺序。然而，8×8 partition内的direct模式的预测性能没有direct模式MB那样重要。因此也可适用更简单的方法。例如，在由处理302判定collocated block没有forward MV的场合，可考虑这样的方法，即，将forward MV设为0向量，将forwardreference picture和backward reference picture的index设为0，并按direct生成预测块，由此代替处理304。此时，在不存在backwardreference picture的场合，仅按forward prediction生成预测块即可。更简单地情况下，在由处理302判定collocated block具有forward MV的场合，在编码侧不选择direct模式。

关于mb_type12和8×8 partition 13的编码方法，在利用UVLC的场合，从表82选择与表91～94的code number对应的代码进行编码。在利用CABAC的场合，使用各位的概率模式对示于表91～表94的Binarization的栏所示的位列进行算术编码。

ref_index_fwd 14表示用于移动补偿的前向的参考帧的index的编号，对该宏块内的各分割块(图7的51～54)必要。index编号从forward reference picture set选择。但是，包含于forward referencepicture set的参考帧仅为1张的场合，块类型或宏块类型为Skip，在direct或intra的块的场合和block prediction为backward的场合，该代码不发生。另外，在由P-picture作为mb_type选择表91的codenumber 5的场合，作为参考帧自动地选择index 0的forward referencepicture，所以，该代码不发生。以forward reference picture set具有index 0～index 4的值的场合为例，可考虑编码方法。在该例中，index0～index 4分别分配给code number 0～4。在利用UVLC的场合，从表82选择与code number 0-4对应的代码进行编码/解码。在利用CABAC的场合，相对code number 0-4分别分配1’，01’，001’，0001’，0001’的二进制数据，使用位列和各位的概率模式进行算术编码。

ref_index_fwd 15表示用于移动补偿的后向的参考帧的index的编号，为该宏块内的各分割块(图7的51～54)所需要。index编号从forward reference picture set选择。但是，对于图像的种类为p-picture的场合，包含于backward reference picture set的参考帧仅为1张的场合，块类型或宏块类型为skip、direct或intra的块的场合，及block prediction为forward的场合，该代码不发生。关于编码方法，与ref_index_fwd_14相同，省略说明。

mvd_fwd_16在示出mb_type12和8×8 partition 13为伴随着由forward(也包含bi-predictive)带来的移动向量的宏块的场合发生，按宏块内的forward MV的数量反复进行。因此，在mb_type12为IntraM×N、SKIP(P-picture)或direct(B-picture)的场合、8×8 partition13为intra或direct(B-picture)的场合，该数据不发生。另外，在block prediction为backward的分割块的场合，在(B-picture)也不发生该数据。同样，mvd_bwd17在示出mb_type12和8×8 partition 13为伴随着由backward(也包含bi-predictive)带来的移动向量的宏块的场合发生，按宏块内的backward MV的数量反复进行。因此，在图像类型为P-picture的场合、mb_type12为Intra M×N、direct的场合、8×8 partition 13为intra或direct(B-picture)的场合，该数据不发生。另外，在block prediction为forward的分割块的场合，该数据也不发生。CBP18为表示关于图6所示24个DCT块是否‘0’以外的量化的DCT系数(有效系数)包含于16个系数的编码数据。Residual()19表示有效量化DCT系数的编码数据。关于在CBP示出没有有效系数的块，省略编码处理。因此，在CBP为0的场合，不发生Residual()。另外，CBP18和Residual()19在mb_type12为direct(CBP＝0)时不发生。

在这里，以图7的分割类型为例，在图8中说明上述预测移动向量mvd_fwd 16和mvd_bwd17的生成方法。关于图7的模式1(51)的块51-0、模式4(54)的小块54a-0、54b-0、54b-1、54c-0、54c-1及54d-0～54d-3，使用相同的预测方法。将对移动向量进行编码的对象的小块为50。在这些小块中，关于移动向量的水平·垂直成分分别以位于邻接位置A、B、C的3块的移动向量作为候补计算其中间值，将中间值的移动向量设为预测移动向量。但是，可考虑位置C的块按编码顺序和宏块位置的关系位于编码前的场合和位于图像外的场合。在该场合，将不是位于位置C而是位于位置D的块的移动向量用作候补移动向量的1个。在位置A与D的块位于图像外的场合，将该移动向量作为‘0’向量进行预测处理，在位置、D和B和C位于图像外的场合，作为位置A的块的移动向量进行预测处理。此时，在3个候补块中的2个不具有移动向量的场合，将余下的1个候补移动向量设为预测移动向量。关于模式(2)(52)的2个小块(52-0，52-1)、模式3(53)的2个小块(53-0，53-1)，设位于图8所示箭头的根部的块的移动向量为预测值。在该方法的移动向量编码中，仅将相同参考帧的移动向量用于预测。因此，在邻接块的移动信息L与由编码块选择的参考帧不同的场合，作为位于图像外的情形处理。关于色差成分用的移动向量，不进行编码，按2分割辉度成分的移动向量使用。

下面，使用图14～17说明不需要collocated block的forward MV的代用模式(4×4bi-predictive)。direct模式和使用direct模式的B-picture的Skip模式为选择率高、对提高编码性能重要的预测方式。然而，如MPEG-4 Part10那样，在参考帧的选择和各帧的编码顺序具有自由度的方式中，如图1、2和图12、13的说明所示那样，发生过去的direct模式不能有效地起作用的帧和块。该代用模式在过去的direct模式不能有效地起作用的场合切换使用，从而具有抑制预测性能的下降或提高预测效率的效果。另外，相对过去的direct模式使用参考帧的移动向量的场合，该代用模式利用现帧的移动向量，所以，不需要为了以后的帧的编码/解码处理而将移动向量存储于存储器的处理，具有削减存储容量的效果。另外，在代用模式中，由于不需要图9所示移动向量的缩放处理，所以，解码处理容易。该代用模式的预测顺序由图14所示4个部分构成。首先，按8×8块单位从bi-predictive、forward、backward选择预测方向(610)。在选择中，使用对象8×8块C81正上块B83和正左块A82实施。然后，实施由处理610选择的预测模式的实施所需要的参考帧的选择(620)。选择时使用对象8×8块C81正上块B83和正左块A82实施。然后，按4×4块单位实施与选择的预测模式和参考帧对应的移动向量的计算处理(630)。最后，按由处理610和620选择的预测模式和参考帧及由处理630计算出的移动向量合成4×4预测块。然后，保存计算出的移动向量和参考帧的index以用于预测移动向量预测(640)。这样，通过从同一帧内的周围块的信息预测在预测处理中所需要的各要素数据，从而可预测与局部特征对应的移动，提高预测效率。另外，由于仅使用帧内的邻接块的数据，所以，可削减为了实施该代用模式而保存的数据量。以后示出处理的详细内容。

图15示出处理610的预测方向选择处理顺序。首先，检查对象8×8块的正上和正左的8×8块的任一个是否具有forward MV(611)。然后，同样检查对象8×8块的正上和正左的8×8块的任一个是否具有backward MV(612)。然后，在正上和正左的8×8块中任一个具有forward MV和backward MV的场合及正上和正左的8×8块的任一个forward MV都没有backward MV的场合，选择bi-prediction(615)。在正上和正左的8×8块仅具有forward MV的场合选择forward MV(616)，在仅具有backward MV的场合选择backward(617)。按照该顺序，优先地选择预测效率最高的bi-predictive预测。另外，在从周围块不能获得为了有效地实施bi-predictive所需要的信息的场合，可根据从周围获得的信息选择推测为最佳的预测方向。另外，在不能从周围获得充分的信息的场合，通过相对其它预测模式成为选择direct模式的效果高的状态地控制，从而提高预测效率。具体地说，通过与以后说明的图16和图17的处理组合，从而成为选择将index 0(与现帧最为相似的帧)的forward reference、backward reference作为参考帧的零向量的bi-predictive预测那样的顺序。

图16示出处理620的参考帧选择处理顺序。该处理对forward和backward分别进行实施。图16示出forward reference picture选择的场合，但对backward reference picture顺序也相同。首先，检查对象8×8块的正上和正左的8×8块是否都利用forward referencepicture(621)。在判断所有8×8块都利用forward reference picture的场合，选择在2个8×8块使用的forward reference picture中的index编号较小一方(623)。在由处理621判定至少任一方的8×8块不利用forward reference picture的场合，检查对象8×8块的正上或正左的8×8块的任一个是否利用forward reference picture(622)。在由处理622判断任一个8×8块利用forward reference picture的场合，选择利用的forward reference picture(625)。在由处理622判断所有8×8块都不利用forward reference picture的场合，选择index0(624)。这样，选择适用于邻接块的编码的index编号中的较小值地控制。这是为了在参考帧候补的设定中向与现帧相关性高的帧提供较小的index编号。在index编号的设定方法中存在自动设定的方法和编码时设定的方法。在前者，可考虑从接近现帧的帧依次提供较小的index编号。后者例如适用于景物搜索时等，将较小的index编号分配给以前编码的过去的相同摄像机角度的帧。通过这样选择较小index编号，从而使选择接近处理对象的帧的图像的可能性增大。

图17说明处理630的移动向量计算处理顺序。该处理按4×4块单位分别对forward、backward实施。首先，检查正上或正左的4×4块的任一个是否位于图像外(631)。在由处理判定任一个4×4块处于图像外的场合，设4×4块的移动向量为零向量(625)。在由处理631判定所有4×4块都位于图像内的场合，接着，检查正上或正左的4×4块的任一个是否具有可利用到由处理620选择的参照帧的移动向量(632)。在由处理632判定所有4×4块都不具有可利用到选择的参考帧的移动向量的场合，设4×4块的移动向量为零向量(625)。在由处理632判定任一个4×4块具有可利用到选择的参考帧的移动向量的场合，检查正上或正左的4×4块具有的任一移动向量是否为朝向选择的参考帧的零向量(633)。在由处理633判定任一4×4块的移动向量为朝参考帧的零向量的场合，设4×4块的移动向量为零向量(625)。在由处理633判定所有4×4块的移动向量都不为朝参考帧的零向量的场合，根据相对4×4块的中间值预测计算出移动向量。这样优先选择零向量是因为direct模式与在背景部分效果特别高这一状态对应。

本发明还包含以下那样的变形。

(1)在本实施例中，如图12所示那样根据collocated block的状况确定代用模式的使用，但也可考虑将direct模式完全切换成代用模式。在该方法中，由处理301按帧单位或片单位(详细内容记载于变形例(4))控制direct模式和代用模式的切换。这样，选择候补增加，对实施特殊效果的景物的适用性提高，所以，预测效率也提高。但是，由于产生用外插处理进行参考帧和现帧图9的移动向量的计算的可能性，所以，在运算处理量存在较强的制约的条件下，如图12、13所示那样实施2方式的切换控制的方法有效。

(2)关于图14～17，如从周围的块生成预测方向、参考帧、移动向量这样的整体处理一致，则细小条件不受限定。例如，由处理631将“正上或正左的4×4块的任一个”这样的记述改变成“正上和正左的4×4块的两者”的方法也包含于本申请中。另外，将在模式选择时利用的块从2个变换为3个(用于预测向量的生成)的方法也包含于本申请中。在将在该模式选择时利用的块从2个改变成3个的方法中，与移动向量推定的相容性良好，有利提高预测效率，所以，在对运算处理量没有强的制约的条件下有效。

(3)在图1、2及图12、13中，如collocated block相对现帧具有前向的forward MV，则示出与相对该forward MV的forwardreference picture的index编号无关地适用direct模式的方法。然而，direct模式在相对forward MV的forward reference picture从现帧离开时存在效果降低的倾向。因此，仅在相对forward MV的forwardreference picture的index编号为0的场合适应direct模式的方法也可考虑有效。在图24和图25中说明该方法。图24示出图像层的数据语法。

　　picture_layer()

　　{

　　 picture_structure

　　    frame_number

　　    reference_picture_selection_layer()

　　    if(coding_type()＝B-picture){

　　    direct_reference_usable

　　      if(direct_reference_usable){

　　        direct_mv_scale_bwd

　　        direct_mv_scale_fwd

　　      }

　　      for(index=0;index＜number of forward reference;index++){

　　        picture_distance_fwd_dir[index]

　　        picture_distance_fwd[index]

　　      }

　　    for(index=0;index＜number of backward reference;index++){

　　        picture_distance_bwd_dir[index]

　　        picture_distance_bwd[index]

　　    }

　　    }

　　   }

下面说明图像类型为B-picture的场合。diret_reference_usable23为表示位于指定为direct模式用的后方参考帧位于现帧的未来而且指定为direct模式用的前方参考帧位于现帧的过去的信息。指定为direct模式用的后方参考帧通常为分配给index 0的backward referencepicture，但由该信息可明确地判断index 0的backward referencepicture是否可用于direct模式。另外，指定为direct模式用的前方参考帧通常为分配给index 0的forward reference picture，但由该信息可明确判断index0的forward reference picture是否可用于direct模式。由于该数据23为0，即关于index 0的backward reference picture相对current picture位于前向(过去方向)或index 0的forwardreference picture相对current picture位于后向(未来方向)的图像不能实施direct模式，所以，direct模式的适用所需要的图像间隔信息不需要编码/解码。因此，在该场合，示出current picture和index 0的forward reference picture的时间间隔的direct_mv_scale_fwd 2427和示出current picture与index 0的backward reference picture的时间间隔的direct_mv_scale_bwd 2429的编码/解码被省略。数据26～29为用于图1所示bi-predictive的移动向量编码的数据。关于利用方法，为了在图2的部分进行说明，在这里省略。diret_reference_usable 23为仅示出指定为direct模式用的后方参考帧是否位于现帧的未来的信息，也可考虑在数据2427之前对示出direct_mv_scale_fwd的位置的信息(direct_mv_scale_fwd_dir)进行编码/解码的方法。在图9中，当forward reference picture处于current picture的后方的状态时，2个移动向量122和121用外插计算进行计算。

在图25的场合下，说明direct模式的处理。如图12、13的说明所示那样，即使在图18的mb_skip_run11和mb_type12的选择候补中选择direct模式的场合，在适用多个参考帧功能和2参考帧的功能的方式下，可能存在不能适用direct模式的场合。因此，在本发明中使用相应于条件切换预测方法的顺序。图25示出该顺序。最初，由图像内的diret_reference_usable23检查是否可在使用current picture使用direct模式(306)。在由处理306判断不能使用即index 0的forwardreference picture相对current picture在时间上是否处于未来或index0的backward reference picture相对current picture在时间上处于过去的场合，由不需要collocated block的forward MV的代用模式生成预测宏块(304)。在由处理306判定可使用的场合，对各8×8块进行预测方法的判定。这里设为8×8块是由于在图7的块分割方法中参考帧和预测方法选择的最小单位形成为8×8块。具体地说，检查是否适用在与8×8块对应的collocated block具有forward MV的预测模式(307)。然后，在判定适用的场合，由direct模式生成预测块(303)，在判定不适用的场合，由代用模式生成预测块(304)。在处理307中，关于collocated 8×8 block，在预测模式为intra模式的场合，预测方向为backward prediction的场合，或forward reference picture不为包含于current picture的forward reference picture set的index 0的reference picture的场合，判定不能使用direct模式。与图12的场合同样，也可按宏块单位实施处理307的direct模式的可否使用判定。但是，在该场合，仅在宏块内的所有的预测块、图7的块分割方法时4个8×8块全部为direct模式可使用状态的场合判定为可使用direct模式。如图24的说明所示那样，也可考虑diret_reference_usable23仅示出index 0的forward reference相对current picture在时间上处于未来的条件的场合。在该场合，存在由图9的direct模式预测实施图24的说明所示的由外插计算进行的移动向量的计算的可能性。另外，也可如上述变形例(1)所示那样，考虑由diret_reference_usable23仅示出direct模式的使用判定条件的场合。在该场合，也指定direct模式的使用，而且在forward reference在时间上处于未来或backwardreference在时间上处于未来的场合，用于图9的direct模式预测的移动向量由外插计算算出。

(4)在图1、2及图24中，限定于图像标题的数据构造进行了说明，但在作为集中多个宏块的组的片层(slice layer)的标题部分记载这些信息的场合，也可适用本发明的数据构造。

在按片单位对压缩数据进行分组化地输送的方式中，由片层的标题部分的信息确定数据的解码顺序。为此，片标题部分需要与解码顺序相关的本发明的信息。表示哪一个宏块属于1个片的信息具有由控制上位的通信·网络相关信息的通信分组标题和文件格式的标题部分所示的场合和示于确定数据整体的构成的顺序标题的场合等。按该片单位切换direct模式和代用模式的方法与用帧单位切换的方法相比，选择的自由度提高，预测效率提高。但是，为了提高预测效率，需要按片单位的选择控制，所以，运算量增大。因此，在需要实时处理的应用中，可以说按照帧构造的帧单位下的切换控制有效。

此前说明的本发明的方式可适用于专用回路·专用芯片的图像编码装置·图像解码装置、使用通用处理器的软件图像编码装置·软件图像解码装置。

在图28中示出作为内部型的软件编码器·解码器的例子使用应用处理器的携带终端的例子。主要由进行无线通信处理的主机部分2820、处理来自摄像机的输入信号的摄像机输入处理部分2830、实施影像编码/解码等的应用处理的应用处理部分2800、处理显示数据的输出器件2840构成。编码时，由摄像机摄影的图像先由摄像机输入处理部分2830变换成图3所示那样的YUV信号，输入到应用处理部分2800。应用处理部分2800将输入图像编码成图1(或图2或图24)和图18所示那样的流式数据。在内部型的场合，由通用处理器2810内的处理部分2811实施编码处理(包含图14～17的流程图所示动作)的软件(汇编代码)预先存储于内部RAM2812或外部RAM2830。另外，示于图14～17的流程图的那样的预测处理的数据(多个参考图像和各宏块的参考图像编号、预测方向、移动向量)也在内部RAM2812或外部RAM2830预先确保存储的区域。汇编代码和各数据的存储区域配置按处理器能力、总线速度、汇编代码和对各数据的推断访问频度和其容量的平衡进行设计。通常内部RAM比外部RAM的访问速度快，外部RAM比内部RAM的搭载容量大。因此，将访问频度高、容量少的数据存储区域和汇编代码配置到内部RAM。此时，也存在将汇编代码分割配置到内部RAM和外部RAM进行配置的场合。编码的位流数据保存在外部RAM2830或主机部分2820内的存储器。保存于哪一个，根据编码位流数据的用途等、面向携带终端的服务而不同。解码时，从主机部分2820或外部RAM2830将编码位流数据供给到应用处理部分2800。应用处理部分2800对输入的编码位流数据进行解码，将YUV再生图像变换成RGB图像后输出到输出器件2840。此时，YUV再生图像也存在一时存储于外部RAM或内部RAM内的帧存储器的场合。与编码处理的场合同样，在解码处理中，由通用处理器2810内的处理部分2811实施解码处理(包含图14～17的流程图的动作)的软件(汇编代码)存储于内部RAM2812或外部RAM2830。另外，用于图14～17的流程图所示那样的预测处理的数据(多个参考图像和各宏块的参考图像编号、预测方向、移动向量)也在内部RAM2812或外部RAM2830确保预先存储的区域。

图29示出在更通用的用途下使用的软件编码器·解码器的例子。在编码时，输入图像存储到帧存储器2950，通用处理器2900从这里读入信息进行编码处理。用于驱动该通用处理器的程序(包含图14～17的流程图所示动作)从由硬盘和软盘等的存储装置2930读出，存储到程序用存储器2920。在通用处理器输出的编码信息一时存储到输入输出缓冲器2940后，作为编码流输出。在处理存储器2910存储图14～17的流程图所示那样的预测处理中利用的数据(多个参考图像和各宏块的参考图像编号、预测方向、移动向量)，按照程序的处理由通用处理器读入。另外，通用处理器根据程序的处理将数据存储到处理存储器。解码时，输入的编码位流一时存储到输入输出缓冲器2940，通用处理器2900从这里读入进行解码。用于驱动该通用处理器的程序(包含图14～17的流程图所示动作)从利用硬盘和软盘等的存储装置2930读出，存储到程序用存储器2920。在解码后的再生图像一时存储到帧存储器2950后，输出到实施输出处理的装置。在处理存储器2910存储图14～17的流程图所示那样的预测处理中利用的数据(多个参考图像和各宏块的参考图像编号、预测方向、移动向量)，按照程序的处理由通用处理器读入。另外，通用处理器根据程序的处理将按照程序的处理生成的数据存储到处理存储器。

图22示出使用专用回路·专用芯片的图像编码装置的构成。关于1个宏块处理的编码处理，说明处理的流程。首先，存储到输入宏块图像201和帧存储器210的编码结束的帧的解码图像(参考帧)间的移动补偿处理对所有宏块类型(8×8 partition类型)与候补参考帧的组合由移动补偿部分211进行，选择最佳的宏块类型和8×8 partition类型。此时，在进行direct模式的移动补偿的场合，需要从MV预测部分215获得预测方向、参考帧编号、移动向量信息。图26示出MV预测器的内部构造。示出direct模式的宏块类型(8×8 partition类型)、宏块位置信息(块位置信息)及direct模式的类型(direct/alternative、由移动补偿器控制、alternative预测为图14～图17所示代用模式)时，通过转换开关2620起动转换开关2630。转换开关2630根据direct模式的类型对开关进行切换。在direct模式的类型为direct预测的场合，起动移动向量计算部分2660。移动向量计算部分2660使用保存于内部存储器2610的信息计算图9所示预测参数。计算出的参数保存于内部存储器，同时通知到移动补偿器。在direct模式的类型为alternative预测的场合，起动alternative预测部分2640。alternative预测部分实施图14所示处理。具体地说，预测模式选择部分2641、参考帧选择部分2642、移动向量选择部分2643使用保存于内部存储器2610的信息分别实施图15、图16、图17的流程图所示处理，计算出预测方向、参考帧编号、及移动向量。这些预测参数保存于内部存储器，并通知到移动补偿器。

下面，返回到移动补偿器的说明。选择最佳的宏块类型后，检测出的移动向量与宏块类型、预测方向信息(forward/backward/bi-predictive)、参考帧编号一起通知到MV预测部分215，更新内部存储器2610的内容(选择direct模式的场合，仅为宏块类型或8×8 partition类型)。关于宏块类型和8×8 partition类型不为direct的块，由移动向量预测部分2650(由转换开关2620起动)实施图8所示预测处理，计算出差分移动向量。计算出的差分移动向量与宏块类型、8×8 partition类型、及参考帧编号一起输出到复用器206(在选择direct模式的场合，差分移动向量和参考帧编号不复用)。在这里，仅关于最佳的宏块类型(8×8 partition类型)进行差分移动向量的计算，但也可考虑将差分移动向量的值和其代码量用作最佳宏块类型(8×8 partition类型)选择时的评价值的场合。在该场合，关于各宏块类型(8×8 partition类型)和参考帧的组合由MV预测器计算出差分移动向量。

从根据移动补偿生成的参考帧抽出的差分预测宏块图像213输入到Intra/Inter判定处理部分214。在Intra/Inter判定部分，确定将内部模式和相互模式中的哪一个确定为最终的宏块类型，将判定信息218通知到复用器206和MV预测部分215。MV预测部分215在判定信息218为内部模式的场合更新内部存储器内的保存数据。复用器根据内部/相互模式判定结果和从MV预测器获得的相互模式的宏块类型、8×8 partition类型、参照帧编号及差分移动向量(在选择了direct模式的场合没有差分移动向量和参考编号)生成图18所示编号，复用为编码位流。在由Intra/Inter判定部分选择的宏块为相互模式的场合，预测宏块图像在现帧的输入宏块图像201之间由差分器202进行差分处理，生成差分宏块图像。此时，同时将预测宏块图像输出到加法器209。在由Intra/Inter判定部分选择的宏块类型为内部模式的场合，预测宏块不输出到差分器202和加法器209。

从差分器202输出的差分宏块图像或输入宏块图像首先进行DCT变换。DCT的块尺寸在过去的编码方式中8×8像素为一般，但在最近，在MPEG-4 Part 10(Advanced Video Coding)等中讨论了按照4×4像素图像的DCT变换，所以，在这里，以4×4DCT为例进行说明。差分宏块图像如图6所示那样分割成24个4×4像素块，由DC变换器203分别变换成16个DCT系数。各DCT系数由量化器204量化，由复用器206编码。在复用器206中，与图1、图2或图24所示那样的标题信息一起对图18所示那样的宏块信息进行复用，生成编码位流。量化DCT系数由局部解码器220的反量化器207和反DCT器208解码成差分宏块图像或宏块图像。在该宏块的预测模式为相互模式的场合，差分宏块图像在加法器209与预测宏块图像相加，然后，合成为帧存储器201。在该宏块为内部模式的场合，还原的宏块图像合成到帧存储器201。

在图22的内部模式中，不实施内部预测，但在实施内部预测的编码方式，本发明也可适用。在该场合，虽然也可在Intra/Inter判定部分实施内部预测，但也可考虑将该处理并入到移动补偿部分的场合。特别是在如MPEG-4 Part 10(Advanced Video Coding)那样准备多个内部预测类型的编码方式中，可与相互预测类型同列地处理内部预测类型，所以，装置构成简易。在该场合，从移动补偿部分211将差分预测宏块图像213供给到差分器202和加法器209。另外，由于在宏块类型信息中包含判定信息218，所以，可删除判定信息218，在由判定信息218的输入带来的MV预测部分215中的内部存储器更新处理也被省略。另外，也可考虑在DCT系数级别实施内部预测的场合。该场合通过在DC变换器203和反DCT器208中包含预测处理而应对。

图23示出使用专用回路·专用芯片的图像解码装置。对1个宏块处理的解码处理说明处理流程。首先，由编码解析器501解析输入的编码数据，将移动向量相关信息和宏块类型信息分配到MV预测器508，将量化DCT系数信息分配到反量化器502。

在宏块的预测模式为相互模式的场合，将块位置信息、宏块类型、8×8 partition类型、预测方向信息、参考帧编号、及差分移动向量输入到MV预测器508(在宏块类型为direct模式的场合，仅输入宏块类型和宏块位置信息。另外，在8×8 partition类型为direct时，关于该8×8块不输入参考帧编号和差分移动向量)。图27示出MV预测器的内部构造。当宏块类型或8×8 partition类型为direct时，与宏块位置信息或块位置信息一起输入由编码解析器501解码的片标题信息内的direct模式的类型(direct/alternative、由移动补偿器控制)。当输入宏块位置信息(块位置信息)和direct模式的类型(direct/alternative、由移动补偿器控制)时，通过转换开关2620起动转换开关2630。转换开关2630按照direct模式的类型切换开关。在direct模式的类型为direct预测的场合，起动移动向量计算部分2660。移动向量计算部分2660使用保存于内部存储器2710的信息计算出图9所示预测参数。计算出的参数保存于内部存储器，并通知到移动补偿器504。在direct模式的类型为alternative预测的场合，起动alternative预测部分2640。alternative预测部分实施图14所示处理。具体地说，预测模式选择部分2641、参考帧选择部分2642、移动向量选择部分2643使用保存于内部存储器2710的信息分别实施图15、图16、图17的流程图所示处理，计算出预测方向、参考帧编号、及移动向量。这些预测参数保存于内部存储器2710，并输出到移动补偿器504。宏块类型(8×8 partition类型)在不为direct时，与宏块类型(8×8 partition类型)一起输入宏块位置信息(块位置信息)、参考编号、及差分移动向量，由转换开关2620起动移动向量预测部分2750。在移动向量预测部分2750中，使用内部存储器2710的内容和输入数据实施图8所示预测处理，恢复移动向量。还原的移动向量与预测方向信息、参考编号一起输出到内部存储器2710和移动补偿器504。在移动补偿器504中，使用输入的数据和帧存储器507内的参考图像生成预测宏块图像。然后，在反量化器502和反DCT器503对各4×4像素块实施与预测误差信号相关的编码数据的反量化·反DCT处理，再生差分宏块图像。然后，由加法器505对预测宏块图像和差分宏块图像进行加法处理，再生宏块图像。再生的宏块图像由合成器506合成为解码帧图像。另外，解码帧图像存储到帧存储器507用于下一帧的预测。

在宏块类型为内部模式的场合，在反量化器502和反DCT器503中，对各4×4像素块进行反量化·反DCT处理，再生宏块图像。此时，图27的内部存储器2710的内容作为相互模式更新。在该图中，不实施内部预测，但即使在如MPEG-4 Part 10(Advanced Video Coding)那样准备多个内部预测类型的编码方式中，本发明也可适用。在该场合，移动补偿器504包含内部预测的功能，从移动补偿部分时常输出预测宏块图像。

图30示出记录图28和图29所示软件编码器(图14～图17)及图22和图26的编码装置生成的编码位流的存储媒体(记录媒体)的例子。在可记录数字信息的记录磁盘(磁盘或光盘)3000将数字信息记录到同心圆上。当取出记录于该盘的数字信息的一部分3001时，记录包含direct模式和代用模式的选择信息(diret_reference_usable)3011的片标题信息3010，SKIP模式信息(mb_skip_run)3021、3031、3041、3051，宏块类型信息(mb_type，8×8 partition)3022、3032、3052，参考帧的编号和移动向量的信息(ref_index_few，ref_index_bwd，mvd_fwd，mvd_bwd)3023、3053，DCT系数及编码块图案信息(CBP，Residual())3024、3054。以下，由片标题关于帧类型为B-picture、direct模式为代用模式的场合说明数据的构成。3021～3024及3051～3054示出宏块类型不为direct的宏块的编码数据。在8×8 partition中包含direct的场合，也成为该数据构成。在该场合，关于8×8 partitiontype成为direct的8×8块的参考帧的编号和移动向量的信息不编码，所以，这些信息不包含于3023和3053，解码时，在软件解码器使用图14～图17，在专用解码装置用图27的处理2640计算出预测方向、参考帧编号、及移动向量。3031、3032、3035的组合示出宏块类型为direct的宏块的编码数据。在该场合，参考帧的编号和移动向量的信息不编码。解码时，在软件解码器使用图14～图17，在专用解码装置用图27的处理2640计算出预测方向、参考帧编号、及移动向量。3041为跳越宏块的例，宏块类型为direct，DCT系数信息不存在。解码时，在软件解码器使用图14～图17，在专用解码装置用图27的处理2640计算出预测方向、参考帧编号、及移动向量。由这些数据合成的预测宏块图像直接成为再生宏块图像。这样，作为宏块类型以良好效率将示出direct模式的符号填入到存储媒体，从而可由较少的信息合成再生宏块图像。

图31示出实现本发明编码方法·解码方法的装置的具体例。读取作为记录媒体的光盘3101(DVD-ROM、DVD-R、BD-ROM：Blu-rayDisc ROM、CD-ROM/CD-R等)的编码位流，在解码的再生装置3102也可安装本发明的解码方法。在该场合，再生的影像信号显示于电视监视器3103。

对从天线3111接收到的地上数字播送或卫星数字播送进行编码，在将编码位流记录到光盘3113(DVD-RAM、DVD-RW、BD-RAM、CD-RW等)的记录/再生装置3112也可安装本发明的编码方法。另外，在记录于光盘3113的编码位流进行解码的记录/再生装置3112也可安装本发明的解码方法。在该场合，再生的影像信号显示于电视监视器3114。

通过将本发明的图像编码方法·解码方法用的软件并入到个人计算机3121，从而可作为图像编码·解码装置利用。该软件记录于作为计算机可读入的记录媒体的某种存储媒体(光盘、软盘、硬盘等)3122，计算机将其读入使用。另外，通过将该个人计算机进一步连接到某一通信线路，从而也可作为影像通信终端利用。

在连接于有线电视用的电缆3131或卫星数字播送或地上数字播送的天线的顶置盒3132内的解码装置也可安装本发明的解码方法，由电视监视器3133再生数字播送的构成也可考虑。也可不为顶置盒，而是在电视监视器内并入包含本发明的解码方法的解码装置。

数字携带终端3141也可安装含本发明的编码方法·解码方法的装置或软件编码器·解码器。作为安装形式，除了具有编码方法·解码方法双方的收发型的终端外，还可考虑仅编码的发送终端、仅解码的接收终端这样3个安装形式。

在动态摄影用的摄像机3151中也可并入本发明的编码装置·解码装置。在该场合，摄影用摄像机具有编码装置和将来自该编码装置的输出记录到记录媒体的记录装置，将从编码装置输出的编码位流记录到记录装置，将从编码装置输出的编码位流记录到记录媒体。记录媒体也存在光盘的场合。在上述携带终端具有摄像机的场合，也可对摄像的结果进行编码，通过天线送出。

在具有摄像机输入的TV会议系统3161中也可并入本发明的编码装置·解码装置。从摄像机输入的影像由编码装置编码成编码位流，投送到网络3162。从网络接收到的编码位流由解码装置解码，显示到监视器。在该场合，实现本发明的编码方法和解码方法的单元也可能不为编码装置·解码装置，而是为软件编码器·解码器。

通过将本发明的编码方法和解码方法并入到这些装置，从而可有效地利用direct模式和其代用模式，提高预测性能。

根据本发明的标题信息，可明确地判断是否可用于direct模式。在帧编号没有时刻信息的场合，可以良好的效率发送表示参考帧与现帧间的关系的信息。另外，根据本发明的代用模式和其切换顺序，可提高不能适用direct模式的场合的预测性能。

本发明可适用于动态的编码·解码。

Claims

1.一种动态图像的编码方法，使用与移动向量相关的信息和与参考图像相关的信息生成预测图像，其特征在于，

具有包含不伴随移动向量的解码的模式的多个预测模式，

具有：从多个参考帧的候补中选择在该预测模式中的各预测方向的预测中参考的帧的步骤，以及

选择在该预测模式中使用的移动向量的信息的步骤，

上述选择移动向量的信息的步骤是根据与当前的块邻接的块是否具有移动向量而进行的，

在上述预测模式中，利用上述选择的参考帧的信息和上述选择的移动向量的信息而生成上述预测图像，进行动态图像的编码。