CN1346574A - 运动图象编码装置以及运动图象译码装置 - Google Patents

Abstract

一种运动图象编码装置,包括:编码单元(101),编码被输入的运动图象;重要信息构成单元(102),从在该编码单元内的编码信息中取出重要信息;同步信号发生单元(103),发生同步信号;比特串再构成单元(104),在用编码单元编码的比特串上加上从同步发生单元输出的同步信号和用重要信息构成单元再构成的重要信息再构成比特串。

Description

运动图象编码装置以及运动图象译码装置

                     技术领域

本发明涉及适用了使用ISDN和因特网等的有线通信网、或者PHS和卫星通信等的无线通信网、传送被编码后的运动图象/静止图象的信息传送方式以及方法的信息传送系统中的编码/译码装置。

                      背景技术

近年来，随着包括图象在内的各种信息的数字化编码技术以及宽带网技术的发展，利用这些技术的应用程序的开发兴旺起来，开发出了利用通信网传送被压缩编码后的图象等的系统。

例如，在电视电话、电视会议系统、数字电视广播中，使用把运动图象和声音分别压缩编码为很少的信息量，多路化这些被压缩后的运动图象编码字符串、声音字符串和其他的数据字符串将其汇总为1个字符串进行传送/储存的技术。

作为运动图象信号的压缩编码技术，开发出了运动补偿、离散余弦变换(DCT)、子带编码、锥形编码、可变长度编码等的技术，和组合它们的方式。另外，作为运动图象编码的国际标准有ISO MPEG-1，MPEG-2 ITU-T、H.261、H.262、H.263，另外作为多路化压缩运动图象、声音音频信号后的字符串和其他的数据的国际标准方式，有ISO MPEG系统、ITU-T H.221，H.223。

在如上述的运动图象编码国际标准方式的以往的运动图象编码方式中，把运动图象信号分割成各帧，进而对把帧分割成细小区域的GOB(Group of Block)和宏块等的各单位进行编码，在该帧、GOB、宏块的每一个上附加表示编码的方式等的标题信息。这些标题信息是在该帧、GOB等全部的译码中必须的信息。

因此，如果标题信息在传送路径径/储存介质中混入错误，由此在运动图象编码装置中不能正确地进行译码时，不能正确地译码该标题信息的某些帧、GOB等全部，运动图象编码装置中的再生运动图象的品质大幅度恶化。

即，在使用通信网传送被压缩编码后的图象的情况下，在接收一侧需要进行从被传送来的“0”/“1”的比特串中，再生有意义的信息的译码处理。

因此，作为指明以哪种规则为基础编码了一定的比特串的组合的信息，上述的标题信息非常重要。所谓该标题信息，例如是当前正在译码的帧的预测类型(帧内编码，或者帧间编码等)，表示显示该帧的定时的信息(定时基准点)，或者进行量化时的步长信息等。

因而，如果这些标题信息丢失，则不能正确地译码此后传送来的信息。

假设，例如上述帧的预测类型虽然本来表示是帧间编码，但由于某种原因在比特串中混入错误，变化为表示帧内编码的位组合格式。这种情况下，即使此后的实际信息被正确地传送，但因为在译码一侧已把该信号判断为帧内编码的结果，所以最终不能正确地译码。

因而，在图象编码装置中的再生运动图象的品质大幅度恶化。

这种错误的混入，尤其容易发生在如无线电视电话和便携信息终端、无线数字电视接收装置等通过无线传送路径传送/存储运动图象的系统中。

以往的图象传送，主要使用有线通信网的系统，即使使用无线通信网的情况下也认为是错误率非常少的卫星通信。因而，对于传送的编码串构造自身的耐错性并未充分考虑，对于标题信息等的重要信息的传送路径错误保护不够充分。

另一方面，在被看作今后移动通信主流之一的PHS(简易型便携电话)中，因为错误率相当于卫星通信的十万倍～百万倍，所以在如以往那样编码的比特串中只实施纠错不可能进行充分的纠正。

另外，和PSH一样在被预想为是今后通信的主流的因特网中，也存在由于不能确切地统计在何时、混入了什么样的错误，因而不能进行适宜的纠错的情况。

但是在以往的构成中，在可以用HEC实施二重化的信息中，未包含有在任意形状的图象编码时所需要的信息，当在以目标单位译码任意形状的图象的情况下因传送错误VOP标丢失的时，存在不能正确地译码的问题。

因此，当传送用任意形状的图象编码编码过的字符串时，存在传送数据的耐错性弱的问题。

采用本发明，即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性。

                      技术内容

第1发明提供具有以下单元的运动图象编码装置：编码单元，编码被输入的运动图象生成比特串；重要信息构成单元，从用该编码单元得到的编码信息中取出作为指明以哪种规则编码了一定比特串组合的信息的重要信息构成；同步信号发生单元，发生同步信号；比特串再构成单元，在用上述编码单元编码后的比特串上加上用从上述同步发生单元输出的同步信号和用上述重要信息构成单元再构成的重要信息再构成比特串。

第2发明提供第1发明中的重要信息构成单元由以下单元构成的图象编码装置：通常图象相关重要信息构成单元，构成作为在从编码信息中以方形区域为单位编码帧的通常的编码方式中的重要信息的通常图象相关信息；任意形状图象相关重要信息构成单元，构成作为在从编码信息中以任意形状图象区域的单位编码帧内的图象的任意形状编码方式中的重要信息的任意形状图象相关重要信息；任意形状编码判定单元，从编码信息中判定已编码的图象是否是任意形状图象；切换单元，在该任意形状编码判定单元判定为是任意形状图象的情况下输出任意形状图象相关重要信息；多路化单元，多路化通常图象相关信息和切换单元的输出。

第3发明提供一种图象译码装置，是在编码运动图象得到包含同步信息的比特串的同时，译码包含把作为指明以哪种规则为基础编码了在该编码中的一定比特串的组合的信息的重要信息作为标题信息附加的比特串的编码数据的译码装置，具备：分离单元，从被输入的比特串中分离图象比特列；译码单元，译码图象比特串；同步信号检测单元，从图象比特串中检测出同步信号后通知译码单元；错误校验单元，判定在译码单元的译码信息中是否有错误；重要信息构成单元，在该错误校验单元判定为没有错误时，由从译码单元发出的标题信息构成重要信息，并通知译码单元。

第4发明提供在上述第3发明中的重要信息构成单元由以下单元构成的图象译码装置：通常图象相关重要信息构成单元，由标题信息构成通常图象相关重要信息；任意形状编码判定单元，判定从标题信息中译码出的图象是否是任意形状图象；任意形状图象相关重要信息构成单元，由标题信息构成任意形状图象相关重要信息；第1切换单元，在任意形状编码判定单元判定为是任意形状图象的情况下，把标题信息输入到任意形状图象相关信息构成单元；第2切换单元，当在任意形状编码判定单元中判定为是任意形状图象的情况下，输出任意形状图象相关重要信息。

第5发明提供具有以下单元的图象译码装置：编码单元，编码被输入的运动图象得到比特串；重要信息构成单元，从用编码单元得到的编码信息中取出作为指明以哪种规则为基础编码一定的比特串组合的信息的重要信息并构成之；比特串分割单元，分割用编码单元编码后的比特串；分组标题制成单元，从用重要信息构成单元再构成的重要信息中制成分组标题；分组构成单元，使用用比特串分割单元分割的比特串和用分组标题生成单元生成的分组标题构成分组。

第6发明提供一种图象译码装置，它使第5发明的重要信息构成单元由以下单元构成：任意形状图象相关重要信息构成单元，由编码信息构成任意形状图象相关重要信息；扩展标题插入判定单元，从编码信息中判定在分组标题中是否附加保持任意形状图象相关重要信息的扩展标题；切换单元，当在扩展标题插入判定单元中判定为插入扩展标题的情况下把标题信息输入任意形状图象相关重要信息。

第7发明提供一种图象译码装置，是在编码运动图象得到比特串的同时，译码具有把作为指明在该编码中以哪种规则为基础编码一定比特串组合的信息的重要信息作为分组标题信息附加的比特串的运动图象编码数据的译码装置，具有：分离单元，从被输入的比特串中分离图象比特串和分组比特串信息；译码单元，译码图象比特串；错误校验单元，从译码单元的译码信息中判定是否存在错误，重要信息构成单元，从分组标题信息中取出作为指明以哪种规则为基础编码一定比特串的组合的信息的重要信息进行重要信息的再构成，当在错误校验单元中判定为有错误在译码中需要重要信息的情况下，把已构成的重要信息通知译码单元。

第8发明提供一种图象译码装置，它使第7发明的重要信息构成单元由以下单元构成：任意形状图象相关重要信息构成单元，根据分组标题信息构成任意形状图象相关重要信息；扩展标题插入判定单元，从分组标题信息中判定是否在分组标题上附加有扩展标题；切换单元，当在扩展标题插入判定单元中判定为扩展标题已被插入的情况下，在任意形状图象相关重要信息中输入分组标题信息。

本发明由于在运动图象编码中在编码后的数据中设置标题，并且除了在标题中进一步设置扩展标题单元，还在标题内存储在通常的图象编码方式中的重要信息，此外还可以在该扩展标题内包含在任意形状图象编码方式中的重要信息，所以，即使标题的一部分被破坏，也可以对具有完整标题的单元译码图象。另外，通过在图象数据中插入同步信号，还可以消除视频分组VP的不同步问题。即，视频分组VP是用同步信号RM开始的分组，即使在此前存在错误，并产生不同步的情况下也可以用该同步信号RM进行再同步。

由此，可以提供在传送时对噪声的耐受性高，另外，即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码等同的耐错性的运动图象编码技术。

                        附图说明

图1是展示本发明的实施方案1的编码单元的基本构成的图。

图2是展示在本发明的实施方案1中的编码单元的重要信息构成单元以及比特串再构成单元的详细的基本构成的图。

图3是展示在本发明的实施方案1中的比特串再构成单元的基本流程的图。

图4是展示在本发明的实施方案1的VP的扩展标题格式的图。

图5是展示本发明的实施方案1的译码单元中的基本构成的图。

图6是展示本发明的实施方案1的译码单元中的重要信息构成单元的详细基本构成的图。

图7是用于说明在本发明中使用的代码字构成的图。

图8是展示说明可变长度编码效果的例子的图。

图9是展示在重要信息中进行可变长度编码的图。

图10是本发明的实施方案2中的编码单元的基本构成图。

图11是本发明的实施方案2中的编码单元的重要信息构成单元的详构成图。

图12是展示在本发明的实施方案2中的扩展分组标题的例子的图。

图13是展示在本发明的实施方案2中的扩展分组标题的例子的图(有标识)。

图14是展示在本发明的实施方案2中的译码单元的基本构成的图。

图15是展示本发明的实施方案2的译码单元的重要信息构成单元的详细构成的图。

图16是说明任意形状图象的编码的图。

图17是说明任意编码图象的译码的图。

图18是展示MPEG-4的VOP构造的图。

图19是展示MPEG-4的VP构造的图。

图20是展示MPEG-4的VP标题格式的图。

图21是展示通常的VP的问题的图。

图22是展示通常的VP的效果的图。

图23是展示使用了HEC情况下的VP效果的图。

图24是展示在任意形状图象的译码时合成图象并再生时的必要信息的图。

图25是展示适用本发明的实施方案3的编码/译码装置的无线运动图象传送系统的例子的图。

图26是展示与实施方案1的编码装置对应的实施方案4的编码装置的图。

图27是展示与实施方案1的译码装置对应的实施方案4的译码装置的图。

图28是展示与实施方案2的编码装置对应的实施方案5的译码装置的图。

图29是展示与实施方案2的译码装置对应的实施方案5的译码装置的图。

图30是展示实施方案3的译码装置的流程图。

                     具体实施方式

以下，参照附图说明本发明的实施方案。

图1展示涉及本发明实施方案1的运动图象编码装置的基本构成。如果采用这种构成，则编码单元101的输出被连接在重要信息构成单元102以及比特串再构成单元104上。重要信息构成单元102的输出和同步信号发生单元103的输出一同被连接在比特串再构成单元104上。比特串再构成单元104的输出被连接在多路化单元105上。多路化单元105的输出被连接在传送路径106上。

编码单元101的构成是，编码被输入的图象信号131后输出到比特串再构成单元104，另外，把编码时的编码信息133输出到重要信息构成单元102。重要信息构成单元102的构成是，接收在用编码单元101编码时的编码信息133只选择并输出译码所需要的重要信息134。

同步信号发生单元103，是以任意间隔发生同步信号135的单元，比特串再构成单元104的构成是，把来自同步信号发生单元103的同步信号135插入比特串132，此后如果需要就以已确定的格式插入并输出从重要信息构成单元102输出的重要信息134。

多路化单元105的构成是，把在比特串再构成单元104中再构成的比特串136，和其他的数据(例如声音数据、编码其他物体的比特串等)一同多路化处理，作为多路化比特串137输出到传送路径径/储存介质106。

在上述那样的构成中，被输入的运动图象的图象信号131在编码单元101中被编码。用该编码单元101编码后输出的比特串132被输入比特串再构成单元104。另外，在编码单元101中编码时的编码信息133被输入重要信息构成单元102，只选择输出译码所需要的重要信息134。

在比特串再构成单元104中，在比特串132中插入以任意间隔从同步信号发生单元103输出的同步信号135，此后，如果需要就用已确定的格式插入从重要信息构成单元102输出的重要信息134。

在比特串再构成单元104中被再构成的比特串136被输入多路化单元105，和其他的数据(例如声音数据、编码其他的物体的比特串等)一同进行多路化处理。把多路化比特串137输出到传送路径径/储存介质106。

这样，在本实施例中，在编码运动图象得到的比特串中，插入以任意间隔从同步信号发生单元103输出的同步信号135，此后，如果需要就根据已确定的格式通过比特串再构成单元104插入从重要信息构成单元102输出的重要信息134。

因此，把在MPEG-4中的任意形状的图象编码·译码所需要的信息，例如，在任意形状的图象编码中图象尺寸的宽度VW信息和高度VH信息以及用于表示显示译码后的图象位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息，以及表示形状信息的编码方式的VOP外形编码型“vop-shape-coding-type(VSCT)”，和作为表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等作为重要信息134生成。如果该重要信息在由已确定的格式通过比特串再构成单元104进行二重化后被插入VP标题，则即使在任意形状图象编码中也可以使其具有和长方形图象的编码相同的耐错性，即使VOP标题和VP有一部分被破坏也可以进行运动图象的译码。

在MPEG-4的情况下，把相当于帧的部分称为视频目标平面“VideoObject Plane”(图18)。进而可以把该视频目标平面分割成多个分组，把它称为视频分组“Video Packet”(图19)。

视频分组“Video Packet”(以下，把它称为VP)是以同步信号开始的分组，即使在此前存在错误，产生不同步的情况下也可以用该同步信号进行再同步。

因而，如果是开头以外的视频分组VP，则即使假设由于错误信息破坏/消失，其后的视频分组VP也可以正确地译码。这是因为视频目标平面VOP的开头的VOP标题被译码出来，在译码中所需要的信息全部得到的缘故(图20)。

在VOP标题信息中如上所述包含视频目标平面VOP的编码型(帧内编码，帧间编码等)、定时基准点、步长等。如果该信息丢失，则全部的视频分组VP的译码不能进行(图21A、21B)。

因此，在MPEG-4中，在视频分组VP的标题中定义标题扩展代码HEC，用该值，可以在其后再次记述VOP标题中的重要信息。

有关该格式，如图21A、21B所示。即，如图21A所示，视频目标平面VOP以如下的格式构成，即，在开头配置VOP标题和接着它来到的数据这一形式的组合格式，接着重复数次视频分组VP的标题和接着它来到的数据这一形式的组合格式。

在VP的标题中定义标题扩展代码HEC，如果用该值在其后再次记述VOP标题中的重要信息，则只要视频目标平面VOP不被破坏，即使视频分组VP的标题和接着它的数据组的1个或者2个被破坏，对于正常的VP标题和数据组，也可以用VOP标题和其数据的信息译码。

在图22A、22B的例子的情况下，展示了视频目标平面VOP标题和其成为一对的数据虽未破坏，但只是第1视频分组VP的标题和与其成对的数据被破坏的状态。这种情况下，如图22B所示，因为视频目标平面VOP和其数据单元未被破坏，所以图象的第1区域被正常译码，接着的第2区域产生错误，译码出有瑕疵的图象，因为接着的第3区域以后被正常译码，所以虽然有局部被破坏，但可以译码几乎被完美再生的图象。

另外，在不设置标题扩展代码HEC的方式的情况下，如图22A所示，如果VOP标题被破坏，则即使其他的VP都未被破坏也完全没有复原的余地，如图22所示，由于错误的影响完全不能得到图象，而即使在这种情况下，在设置标题扩展代码HEC的方式的情况下可以再生。即，取这种形态，在设置标题扩展代码HEC的方式的情况下，当该标题扩展代码HEC是真的情况下，在该HEC之后重要信息被二重化，在HEC是伪的情况下重要信息不被二重化。在利用错误多的传送路径径的情况下，在把HEC设置成真的同时，在其后二重化重要信息并附加HEC。

其结果，如图23所示，即使在VOP的开头存在某种错误，不能译码的情况下，通过使用用HEC保护的信息，即便在开头区域的图象不能正常复原，也可以复原第2区域以后单元的视频分组VP，虽然如图23B所示局部被破坏，也可以作为几乎被完美再生的图象译码。

但是，这只不过可以用长方形的图象区域单位实现。即，通过在VP标题中用HEC二重化VOP标题信息，即使VOP标题丢失的情况下，如果在VP标题中用HEC二重化了VOP标题，通过利用它就可以正确地译码其后的数据，而在可以使用HEC二重化的信息中，不包含在任意形状的图象编码时所需要的信息。因此，如果是以往的长方形的图象则没有问题，但如MPEG-4那样，在可以用目标单位编码任意形状图象的方式的情况下，不能译码。

这在MPEG-4中的使用目标单位的任意形状的图象编码中，因为与长方形图象的编码相比进一步追加了许多标题信息，所以难题是不能把它作为二重化的对象。

另外，从另一观点看。如果因特网和互连网络等的使用普及，则使用这种因特网的通信增多，还可以使用因特网电视电话等。这种情况下，需要实时传送运动图象。但是，如果要用因特网和互连网络等实时传送运动图象，则在一般所使用的TCP和UDP的通信协议中存在许多问题。特别是存在标题不具有时间信息这一问题。

因此，近年来，作为在运动图象/声音数据的传送中使用的通信协议，RTP(Peal-time Transfer Protocol)倍受注目。即，在TCP等的通信协议的情况下，因为没有附属在每组上的时间信息，所以在接收一侧不能知道在何时再生该接收到的数据好。因此，在分组发送数据的情况下，当接收一侧该数据是运动图象数据和声音·音频数据的情况下不能很好地再生。

但是，可以在RTP中对每一分组附加时间信息，在接收一侧以此为基础再生运动图象数据和声音·音频数据。这样，RTP就成为适宜实时数据传送的通信协议。

在该通信协议中，可以为每一应用程序定义扩展标题。

如在以往技术中说明的那样，在MPEG-4中通过在VP标题中使用HEC二重化VOP标题信息，即使在VOP标题丢失的情况下，如果在VP标题中使用HEC二重化VOP标题，则通过利用它就可以正确地译码其后的数据。

但是，在可以使用HEC二重化的信息中，不包含在任意形状的图象编码时所需要的信息。因此，虽然如果是以往的长方形图象没有问题，但在任意形状图象编码中和长方形的图象的编码相比因为追加了标题信息，所以它不能二重化是大问题。

例如，在任意形状的图象编码中因为对每一VOP来说图象尺寸有变化，所以在VOP标题中记述图象尺寸的宽度vop-width(以下，称为VW)和高度vop-height(以下，称为VH)。另外，还记述了用于表示显示已译码的图象的位置的图象位置的x坐标vop-horizontal-mc-spatial-ref(以下，称为VHMSR、Y坐标rop-mc-spatial-ref(以下称为VrMSR))。这些值的关系展示于图24。

在只用没有这些信息的视频分组VP信息译码运动图象的情况下，在任意形状的图象编码中不能正确地译码。即，在任意形状的图象编码中，如果没有图象尺寸的宽度VW的信息和高度VH的信息以及用于表示显示译码后的图象的位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息，则不能正确地译码。

另外，还需要正确译码表示形状信息的编码方式的VOP形状编码型“vop-shape-coding-type(以下，称为VSCT)，和作为表示是否在改变形状信息的大小后编码的标志的change-conv-ratio-disable(以下，称为CCRD)。

采用MPEG-4的HEC的VOP标题的二重化，不保护这些信息。

这样，本系统，即使在任意形状图象编码的情况下也可以使其具有和以往的长方形图象的编码相同的耐错性。参照图2详细说明在上述的构成中作为本发明的重要构成的重要信息构成单元102和比特串再构成单元104。

首先，说明重要信息构成单元102的详细构成。

重要信息构成单元102如图2所示，由通常图象相关重要信息构成单元206、任意形状图象相关重要信息构成单元207、任意形状编码判定单元208、多路化单元210构成。

其中，通常图象相关重要信息构成单元206的构成是，接收来自编码单元101的编码信息133，在用它进行通常的编码时，选择被判断为重要的信息(例如编码方式和定时基准点等)，作为通常图象相关重要信息238输出到多路化单元210。任意形状图象相关重要信息构成单元207的构成是，选择与任意形状图象编码相关的重要信息(例如，图象尺寸、位置、编码方式、缩小变换方式等)，把它作为任意形状图象相关重要信息239输出。

任意形状编码判定单元208，是判定被编码的图象是通常的长方形的图象还是任意形状的图象的单元，把判定结果作为判定信号240输出。

切换单元209，根据来自任意形状编码判定单元208的判定信号240进行是否把来自通常图象相关重要信息构成单元206的任意形状图象相关重要信息239输出到多路化单元210的切换控制。多路化单元210的构成是，多路化来自通常图象相关重要信息构成单元206的通常图象相关重要信息238，和在任意形状图象编码中从任意形状编码判定单元208输出的任意形状图象相关重要信息239，作为重要信息134输出。

在上述那样的构成中，来自编码单元101的编码信息133，被输入作为重要信息构成单元102的构成要素的通常图象相关重要信息构成单元206，在该通常图象相关重要信息构成单元206中，在通常的编码时，通过选择被判断为重要的信息(例如编码方式和定时基准点等)，把该被选择出的信息作为通常图象相关重要信息238输出到多路化单元210。因而，在通常图象相关重要信息238中，集中了在编码方式和定时基准点等的通常的编码时被判断为重要的信息。

以下，在任意形状图象相关重要信息构成单元207中，选择与任意形状图象编码相关的重要信息(例如，图象尺寸，位置，编码方式，缩小变换方式等)，作为任意形状图象相关重要信息238输出到多路化单元210。

另一方面，在任意形状编码判定单元208中，在判定被编码的图象是通常的长方形的图象，或者是任意形状的图象的同时，把其判断结果作为判定信号240输出。用该判定信号240控制切换单元209，进行是否输出来自通常图象相关重要信息构成单元207的任意形状图象相关重要信息239的切换控制。

在多路化单元210中，多路化通常图象相关重要信息238和在任意形状图象编码情况下的任意形状图象相关信息239，作为重要信息134输出。

其结果，在任意形状图象编码的情况下，通常图象相关重要信息238和任意形状图象相关重要信息239作为被多路化后的重要信息134从多路化单元210输出。在通常图象编码的情况下，可以只把通常图象相关重要信息238作为重要信息134输出。

接着说明比特串再构成单元104的详细。比特串再构成单元104如图2的上半部分区域所示，由MB边界判定单元201、计数器202、同步信号插入判定单元203、标题信息插入单元205、加法单元204构成。

其中，MB边界判定单元201，对于在前段的编码单元101中被编码输入的比特串132，判定该比特串的数据是否在宏块MB的边界，另外，编码计数器单元202，对于在前段的编码单元101中被编码输入的比特串132，是用于计数其编码量的单元。

同步信号插入单元203，在MB边界判定单元201对有关比特串132判定为MB边界，而且，对于该比特串132编码量计数单元202的计数值超过某一值的情况下，输出插入许可信号234。

另外，标题信息插入单元205，根据被输入的重要信息134和同步信号135制作标题信息，当在同步信号插入判定单元203中判断为插入许可的情况下，输出到应该对被编码的比特串132附加已制成的该标题信息237的加法单元204。

另外，加法单元204，是将在编码单元101中编码输入的比特串132和标题信息插入单元205的输出相加，把它作为比特串再构成单元104的再构成比特串136输出的单元。

这样构成的比特串再构成单元104，如果被输入在前段的编码单元101中编码的比特串132，则把它输入到作为比特串再构成单元104的构成要素之一的MB边界判定单元201和编码量计数单元202。在该MB边界判定单元201中判定输入比特串132是否是MB的边界。

另外，在编码量计数单元202中，计数比特串132的编码量。在同步信号插入判定单元203中，当在MB边界判定单元201中的判定是MB边界，并且，在计数器202中的编码量的计数值超过某一值的情况下，进行发生插入许可信号234，并输出到标题信息插入单元205的动作。

另一方面，标题信息插入单元205，根据被输入的重要信息134和同步信号135制成标题信息，当在同步信号插入判定单元203中判定为插入许可的情况下，为了在被编码的比特串132中附加已制成的标题信息237而送到加法单元204。由此，加法单元204在被编码后的比特串132中插入标题信息237，输出被再构成的比特串136。该比特串136成为比特串再构成单元104的输出。

其结果，调查在编码单元中被编码输入来的图象数据的比特串132，在成为宏块MB的边界位置的位来到的时刻，当此前的编码量超过规定值的情况下，发生插入许可信号234。可以在上述比特串132上附加在标题信息插入单元205中制成的，以被输入的重要信息134和同步信号135为基础的标题信息。

重要信息构成单元102，选择在作为其构成要素之一的通常图象相关重要信息构成单元206以来自编码单元101的编码信息133为基础进行通常的编码时，被判断为重要的信息(例如，编码方式和定时基准等)，把它作为通常图象相关重要信息238。另外，在重要信息构成单元102中作为构成要素之一的任意形状图象相关重要信息构成单元207，选择与任意形状图象编码相关的重要信息(例如，图象尺寸，位置，编码方式，缩小变换方式等)，把它作为任意形状图象相关重要信息239。在通常图象的情况下只多路化通常图象相关重要信息238，另外，在任意形状图象的编码的情况下多路化通常图象相关重要信息238和任意形状的图象相关重要信息239，因而在插入到比特串中的标题信息中可以包含通常图象信息相关重要信息和任意形状图象相关重要信息，可以在VP标题中包含在MPEG-4的编码数据的图象再生中所需要的信息。

图3是展示与标题信息的制作有关的流程图。

在比特串再构成单元104中，首先作为第1阶段(步骤S502)，对从编码单元101输入来的比特串，进行是否是MB(宏块)的边界位置的判断。

作为第2阶段(步骤S503)，在是MB的情况下，进行是否应该插入同步信号RM的判定。该判定，可以由用户以任意的算法进行。

例如，可以使用如果此前的同步信号超过了一定的位数则插入同步信号RM这种算法，和在此前的同步信号超过了一定MB的情况下，进行是否根据图象中的形状插入同步代码RM的判断等各种各样的方法。

视频分组VP是以同步信号RM开始的分组，即使在此前存在错误，产生不同步的情况下也可以靠同步信号RM实现再同步。

当在步骤S503中判定为插入同步信号RM信号情况下，插入RM，接着RM插入VP标题(图3的步骤S504)。而后，进入步骤S505。

第3阶段(步骤S505)，进行判定作为扩展标题是否作为扩展标题二重化VOP标题的重要信息的判定。

在判定为进行二重化的情况下，把HEC设置为真，其后，从VOP标题中选择在长方形的图象编码中的重要信息后输出(图3的步骤S506)。而后，进入步骤S507。

在最后的第4阶段(步骤S507)中，进行是否是任意形状图象的判定。在任意形状图象的情况下，选择VOL标题内的任意形状图象编码中的重要信息后输出(图3的步骤S508)。

经过以上的4个阶段生成VP标题部分，并插入到比特串中。

图4展示任意形状图象的VP标题的构成例子。对图2所示的以往的VP标题，追加扩展标题Ex-Header，在该扩展标题Ex-Header中，追加在任意形状图象编码中的重要信息，即，图象的宽度(VW)、高度(VH)、粘贴图象的X坐标(VHMSR)、Y坐标(VVMSR)、表示是否缩小变换形状信息并译码的标志(CCRD)、形状信息的编码类型(帧内编码/帧间编码等)的信息(VSCT)。

进而，作为在任意形状图象编码中的重要信息，并不限定于上述信息，根据应用程序的用途，可以进一步增加其它的信息，相反可以减少信息。但是，在发送一侧、接收一侧需要与标题格式有关的共同的识别。

以上，因为，设置成具有在任意形状图象编码中的重要信息的抽出功能和是否使用任意形状图象的判定功能，以及宏块的边界检测功能，在VP标题中设置扩展标题部分，除了在通常的图象编码中的重要信息外，包含同步信号，在任意形状图象编码中还可以包含任意形状图象编码中的重要信息，所以，即使标题的一部分被破坏，也可以对具有完整标题的单元译码图象。另外，因为有同步信号，所以还可以消除视频分组VP的不同步的问题。即，视频分组VP是以同步信号RM开始的分组，即使在此前存在错误，发生不同步的情况下，也可用该同步信号RM实现再同步。

由此，可以提供对传送时的噪声的耐受性高，另外，在任意形状图象编码的情况下也可以使其具有和以往的长方形图象的编码同等的耐错性的运动图象编码技术。

以上，详细说明了在编码一侧的构成和处理，而以下详细说明译码一侧的构成和处理。

现在说明译码单元。如果采用图5所示的实施方案1的译码单元，则输入编码比特串的分离单元302的输出，被连接在译码单元303以及同步检测单元304上。同步检测单元304的输出被连接在译码单元303的另一输入上。译码单元303的输出被连接在错误校验单元305。该错误校验单元305的输出和译码单元303的输出一起被连接在重要信息构成单元306上。重要信息构成单元306的输出被连接在译码单元303上。

分离单元302的设置是为了把从传送路径径/存储介质106接收到的比特串331分离为图象用的比特串332和此外的数据。同步检测单元304从由分离单元302输出的比特串332中检测出同步信号RM。另外，译码单元303，对从分离单元302分离输出的图象用比特串332进行译码处理生成图象数据。这时，译码单元303的构成是，一边与用同步信号检测单元304检测出的同步信号同步，一边实施译码处理。

另外，重要信息构成单元306的构成是，得到译码单元303当前译码处理中的数据，当在该译码单元303中存在当前译码中的VOP(视频目标平面)的VOP标题的情况下，抽出该信息并输出，给予译码单元303。

错误校验单元305，是检验译码单元303输出的译码信息334检测在译码作业中是否有错误产生的单元，其构成是当检测出错误的情况下，错误校验单元305，通知重要信构成单元306在译码处理中有错误，并抑制对重要信息的译码单元303的输出。

译码单元303的构成是在产生错误的情况下，进行与该错误对应的处理。另外，译码单元303，在进行了与该错误对应的处理后，从同步检测单元304检测出的下次同步信号的位置开始进行译码作业。

在这种构成中，从传送路径径/存储介质106接收到的比特串331，用分离单元302分离为图象用的比特串332，和除此以外的数据。其它的数据，被分别发送到各自对应的译码单元。

用分离单元302分离出的图象用比特串332，被输入译码单元303，进行译码。此时，用同步信号检测单元304一边从比特串332中检测出同步信号一边进行译码处理。

在错误校验单元305中从通过在译码单元303中进行译码处理得到的译码信息334中检查在译码作业过程中是否产生错误。在检测出错误的情况下，在译码单元303中进行与错误对应的处理后，从同步检测单元304检测出的下次同步信号的位置开始进行译码作业。

译码单元303判定下次的同步信号种类，在是同步信号RM的情况下当错误信号335是真的情况下，从重要信息构成单元306中取得VOP标题的信息343。

重要信息构成单元306，当译码单元303在当前译码中的VOP(视频目标平面)中存在VOP标题的情况下，输出其信息。另外，当在当前译码中的VOP中没有VOP标题的情况下，如果在VP标题内用HEC插入了重要信息，则输出其。

在译码单元303中的译码处理中，使用在重要信息构成单元306中得到的重要信息。在重要信息构成单元306中得到的重要信息中，当译码单元303在当前译码中的VOP(视频目标平面)中存在VOP的情况下，输出其信息，当在当前译码中的VOP中没有VOP的情况下，如果在VP标题内用HEC插入重要信息，则输出其。因为，在编码处理一侧，作为重要信息除了在通常的图象编码中的重要信息外，在任意形状图象编码中还包含在任意形状图象编码中的重要信息，所以即使标题的一部分被破坏，对于具有完整标题的来说，无论是编码通常的图象的数据，还是编码任意形状的图象的数据，都可以从该数据中译码图象。另外，因为有同步信号所以还可以消除视频分组VP的不同步问题。即，视频分组VP是以同步信号RM开始的分组，即使在此前存在错误，产生不同步的情况下，也可以用该同步信号RM实现再同步。

由此，可以提供在传送时对噪声的耐受性高，另外即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性的运动图象编码技术的译码技术。

除了在通常的图象编码中的重要信息外，在任意形状图象编码中由于还把在其任意形状图象编码中的重要信息也作为标题信息持有并传送，因而是对在传送时的噪声具有耐受性的技术，重要的是在接收一侧中如何抽出该重要信息送到译码单元303，及是否可以用于译码处理。

因而，本实施方案的特征点是重要信息构成单元306。因而，对于重要信息构成单元306用图6详细说明。

重要信息构成单元306如图6所示，由通常图象相关重要信息构成单元307，任意形状编码判定单元308，切换单元309、311，任意形状图象相关重要信息构成单元310构成。

通常图象相关重要信息构成单元307的构成是，当在译码单元303中发现VP标题的情况下，从该VP标题信息中译码编码方式信息、定时基准点等后输出。

任意形状编码判定单元308，是判定译码单元303当前译码处理的图象是任意形状图象，还是来自以往的长方形图象的单元，根据其判定结果，切换控制切换单元309、311。切换控制单元309、311，是2个系统切换开关。

任意形状图象相关重要信息构成单元310是译码与任意形状图象有关的重要信息(例如，图象尺寸，图象位置等)的单元，在任意形状图象的情况下切换单元309、311被切换成与该任意形状图象相关重要信息构成单元310连接，再构成与任意形状图象有关的重要信息，除了采用与通常图象相关重要信息构成单元307的通常图象相关连的重要信息之外，还把与任意形状图象有关的重要信息都给予译码单元303，也可以在译码单元303中进行与任意形状图象有关的译码。

在这样构成的重要信息构成单元306中，当在译码单元303中发现在输入比特串中有VP标题的情况下，首先由通常图象相关重要信息构成单元307译码编码方式、定时基准点等。

另外，任意形状编码判定单元303判定在译码单元303中当前译码处理的图象是任意形状图象还是来自以往的长方形图象，产生根据该判定结果的控制信号。

用来自任意形状编码判定单元308的控制信号控制切换单元309、311。这时，在任意形状图象的情况下任意形状图象相关重要信息构成单元310译码与任意形状图象有关的重要信息(例如，图象尺寸，图象位置等)，制成最终的重要信息343，并作为重要信息构成单元306的输出给予译码单元303。由此，如果在标题中设置扩展标题并在该扩展标题中嵌入与任意形状图象有关的重要信息，则即使在译码一侧也可以抽出它把在任意形状图象的译码所需要的重要信息给予译码单元303。

以上，如果采用本实施方案，则即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码相同的耐错性。

在实施方案1以及据此说明的实施方案2中，在任意形状图象的编码中，需要记述“图象的大小”，“位置信息”。这些信息在MPEG-4的情况下，分别各自以13位表现，因为需要“图象尺寸”，“位置信息”各自纵横的信息，所以需要合计4个信息，该所需要的比特数需要4×13＝52合计52比特。这在以低位速率传送的情况下，可能出现大的冗长。因而，需要尽可能地压缩该数据传送。以下，说明其方法。

视频目标平面VOP的大小等在MPEG-4中以13比特表现，但不使用全部13比特的事例也有很多。因而，考虑把尺寸的表现设置成可变长度来减少编码量的方法。

基本方针是，在此设置成用“代码字长”+“值”的组合表现。如图7所示设置表示代码长的标题部分和接着它的数据部分的组合。即，有标题“header1”和标题“header2”，前者采用1比特构成，后者采用3比特构成。采用从值1至值542的范围，值“1”和值“2”把代码字长设置成5比特构成，从值“3”至值“6”把代码字长设置成6比特构成，从值“7”至“14”把代码字长设置成7比特构成。从值“15”至值“30”把代码字长设置成8比特构成，从值31至94把代码字长设置成9比特构成，从值“95”至“158”把代码字长设置成10比特构成。从值“159”至值“286”把代码字长设置成11比特构成，从值“287”至值“542”代码字长设置成12比特构成。从值“543”至值“8222”把标题“header1”和“header2”设置成前者由1比特构成，后者由2比特构成，从值“543”至值“1054”把代码字长设置成12比特构成，从值“1055”到值“2078”把代码字长设置成13比特构成，从值“2029”到值“4126”把代码字长设置成14比特构成，从值“4127”至值“8222”把代码字长设置成15比特构成。

由此，字长就从13比特固定值通过数值变为从5比特至15比特的可变长。其结果，由于即使包含标题也以最大18比特实现，如果与以往的52比特相比34比特即可，构成比特数少。

因为在小的图象的情况下一般多要求以低速编码，大的图象其编码后的比特串其尺寸也大，所以一般认为比特率富裕的时候多。即便如此，也是在可变长度小的尺寸中安排短的符号特别有效。

例如，在图象层“Presentation Layer”是QCIF(176象素×144象素)的图象的情况下，VW、VH最大，

11[bit]×2＝22[bit]

位置信息(VHMSR，VVMSR)也是最大，

11[bit]×2＝22[bit]

因而，两者合计是44[bit]，可以压缩8[bit]。

其它，在如图8所示的图象构成的情况下，

VW＝128象素＝10[bit]，

VH＝80象素＝9[bit]，

VHMSR＝32象素＝9[bit]，

VVMSR＝20象素＝8[bit]，

合计为：

10+9+8+9＝36[bit]

削减16[bit]。

图9展示本变形例的基本构成图。在图9中，1001是可变长度编码单元，1002是可变长度编码生成单元，可变长度编码单元1002接收大小信息，把它变换为代码字。另外，可变长度编码单元1001从被输入的重要信息1031中读出大小信息，在把该大小信息1032送到可变长度编码生成单元1002的同时，把从可变长度编码生成单元1002得到的代码字1033作为代码字1034输出。

在这种构成中，如果输入重要信息1031，则该重要信息1031被输入可变长度编码单元1001，在可变长度编码单元1001中从该被输入的重要信息1031中读出大小信息，把大小信息1032送到可变长度编码生成单元1002，生成代码字1033。

在可变长度编码单元1001中输出在从可变长度编码生成单元1002得到的代码字1033中变换大小信息构成的代码字1034。

本实施方案叙述了MPEG-4，但即使是MPEG-4以外的任意形状编码的传送也可以通过附加同样的信息，提高耐错性。

以下，作为实施方案2说明另一实施例。

图10是涉及本发明的实施方案2的运动图象编码装置的基本构成图。如果采用图10所示的运动图象编码装置，则编码单元601的输出，被连接在比特串分割单元602以及重要信息构成单元603上。重要信息构成单元603的输出被连接在分组标题生成单元604上。比特串分割单元602以及分组标题生成单元的输出被连接在分组构成单元605上。分组构成单元605的输出被连接在传送路径径106上。

编码单元601的构成是，编码被输入的图象信号131后输出到比特串分割单元602，另外，把编码后的编码信息634输出到重要信息构成单元603。

另外，重要信息构成单元603，是接收在编码单元601中编码后的编码信息634，只选择在译码中所需要的重要信息635输出的单元。特别是，除了通常图象相关重要信息外，把在MPEG-4中的任意形状的图象编码·译码所需要的信息，例如，在任意形状的图象编码中表示图象尺寸的宽度VW的信息和高度VH的信息以及用于显示译码后的图象的位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息，并且表示形状信息的编码方式的VOP形状编码型“vop-shape-coding-type(VSCT)”，和表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等的任意形状图象相关重要信息作为重要信息635取得。这些重要信息635，被给予分组标题生成单元604，对于通常图象相关重要信息在分组标题中反映通常，对于任意形状图象相关重要信息在分组标题中新设置的扩展标题中，用由已确定的格式反映的本发明独自的形式生成分组标题。

这样，分组标题生成单元604的构成是，把重要信息635装入分组标题内作为分组标题636输出到分组构成单元605，比特串分割单元602的构成是，把从编码单元601输出的比特串632分割成分组尺寸输出。

分组构成单元605的构成是，多路从比特串分割单元602输出的分割比特串633和从分组标题生成单元604输出的分组标题636，把得到的多路数据637输出到传送路径径/存储介质106。

在这种构成中，被输入的运动图象的图象信号131在编码单元601中被编码。这时，从编码单元601输出编码后的编码信息634，并被输入到重要信息构成单元603。重要信息构成单元603，从被输入的编码信息634中只选择在译码中所需要的重要信息635输出。重要信息635在分组标题生成单元604中，被装入分组标题内作为分组标题636输出。

另一方面，在比特串分割单元602中，把从编码单元601输出的比特串632分割成分组尺寸输出。在分组构成单元605中，多路从比特串分割单元602输出的分割比特串633和从分组标题生成单元604输出的分组标题636，把多路数据637输出到传送路径径/存储介质106。

这样，在本实施例中，在编码运动图象得到的比特串中，通过分组标题生成单元604以已确定的格式把从重要信息构成单元602输出的重要信息635插入标题，把它附加在运动图象的编码数据中分组化，然后传送。

在分组标题中设置扩展标题，是为了在该扩展标题中存储通常图象相关重要信息以外的重要信息并传送而使用的。

因此，作为通常图象相关重要信息以外的重要信息，把在MPEG-4中得到的在任意形状的图象编码·译码所需要的信息，例如，在任意形状的图象编码中表示图象尺寸的宽度VW的信息和高度VH的信息以及用于表示显示译码后的图象的位置的图象位置的x坐标VJMSR的信息、y坐标VVMSR的信息，并且表示形状信息的编码方式的VOP形状编码型“vop-shape-coding-type(VSCT)”，和作为表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等作为重要信息635，把它用已确定的格式通过分组标题生成单元604作为扩展标题插入到分组标题中。如果译码单元的构成是，使用从该分组的扩展标题中取得的信息进行译码处理，则可以对每个分组再生任意形状的图象，即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性，即使VOP标题和一部分VP被破坏，也可以进行运动图象的译码。

这样，在本系统中，即使在任意形状图象编码的情况下，也可以具有和以往的长方形图象的编码同等的耐错性，而在上述构成中作为本发明的重要构成的重要信息构成单元60参照图11详细说明。

图11是展示重要信息构成单元603的方框图。重要信息构成单元603是本实施方案中的重点，如图11所示，重要信息构成单元603，由切换单元2201，扩展标题插入判定单元2202，任意形状图象相关重要信息构成单元2203构成。

扩展标题插入判定单元2202，是判定是否把扩展标题附加在分组标题上的单元，根据由编码单元601输入的编码信息634判断编码单元601是否正在实施任意形状的图象编码，在正在实施任意形状的图象编码的情况下把扩展标题附加在分组标题上。

切换单元2201，是系统开闭开关，当扩展标题插入判定单元2202判定为把扩展标题附加在分组标题上的情况下，用从该扩展标题插入判定单元2202输出的控制信号，切换单元2201关闭局系统，把来自编码单元601的编码信息634给予任意形状图象相关重要信息构成单元2203。

任意形状图象相关重要信息构成单元2203的构成是，把经由切换单元2201输入的编码信息634作为输入编码信息2233接收，由此选择与任意形状编码相关的VOP标题信息，作为重要信息635输出。

在这种构成中，从编码单元601输入到重要信息构成单元603的编码信息634用扩展标题插入判定单元2202判定是否把扩展标题附加在分组标题中。当判定为附加的情况下，从切换单元2201向任意形状图象相关重要信息构成单元2203输入输入编码信息2233。在任意形状图象相关重要信息构成单元2203中从输入编码信息2233中选择与任意形状编码相关的VOP标题信息，输出重要信息635。

以下，对分组标题装入重要信息的过程详细叙述。

在任意形状图象的编码时，与长方形图象的编码相比，需要图象的宽度(VW)，高度(VH)，配置图象的X坐标(VHMSR)、Y坐标(VVMSR)、表示是否缩小并编码变换形状信息的标志(CCRD)，形状信息的编码方式(VSCT)。此外，还可以包含用于把阿尔法混合时的阿尔法值设定为一定的标志(VCA)以及值(VCAV)，表示用于在编码/译码中把计算精度设定为相同的全部运算的方法的标志(VRT)等的信息，但在此，假设装入前者的VW、VH、VHMSR、VVMSR、CCRD、VSCT。图12展示此时的分组标题扩展单元的格式。在此上面的数字表示位数，用横向1列表示32比特。在MPEG-4的情况下，VW、VH、VHMSR、VVMSR各用13比特表示，剩下的CCED、VSCT各是1比特。

在此，因为作为例子匹配为32比特，所以在最后插入备用“Reserve”的位(RV)。在由于VW、VH等连续而有可能出现和同步信号等的比特串相同的比特串的情况下，例如如图13所示，也可以在各值之间插入标识(M)，使得与同步信号那样的绝对不会出现其他比特串的比特串不一致。另外，标识M的位置，也不是必须在各信息之间，如果在发送一侧/接收一侧是同一标准，则埋在哪里都没关系。

最后，需要在通常的标题信息中嵌入表示有扩展标题的标志。而其中是用1比特的信息在通常标题内嵌入是否存在扩展标题的信息。这些格式是事例，只用这一部分的数据构成标题信息，或者也可以和此外的信息组合使用。

如上所述，在本实施方案中，当编码运动图象并分组的情况下，可以在嵌入通常图象相关重要信息的分组标题中附加扩展标题，当编码并发送任意形状图象的情况下，把该任意形状图象相关重要信息嵌入扩展标题中作为分组标题附加在数据中，并进行分组。因而，可以在每一分组中再生任意形状的图象，另外，即使是任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性，即使VOP标题和局部的VP被破坏也可以进行运动图象的译码。

接着，说明进行这种分组译码的译码单元的例子。

有关译码单元的构成例子在以下说明。如果采用图14所示的译码单元，则接收编码位流的分离单元702的输出，被连接在译码单元703以及重要信息构成单元705上。译码单元703的输出，经由错误校验单元704被连接在重要信息构成单元705上。重要信息构成单元705的输出被连接译码单元703上。分离单元702的作用是，分离处理从传送路径径/存储介质106输入的比特串731，分成图象用的比特串732和分组标题735，及除此以外的数据。

另外，译码单元703，是用来自重要信息构成单元705的重要信息译码处理被分离出的图象用比特串732，得到原本的图象数据的单元，错误校验单元704的作用是，从在译码单元703中得到的译码信息733中校验在译码中是否产生有错误。

另外，重要信息构成单元705的构成是，根据用分离单元702分离处理中的分组标题735的信息中构成重要信息并给予译码单元703。

在这种构成中，从传送路径径/存储介质106输入的比特串731，用分离单元702分离为图象用的比特串732和分组标题735，以及除此以外的数据。其它的数据，被发送到各自对应的译码单元。被分离出的图象用比特串732被输入到译码单元703，进行译码。在译码单元703中的译码处理，对于被分离出的图象用比特串732使用来自重要信息构成单元705的重要信息进行。

错误校验单元704，根据来自译码单元703的译码信息733校验在译码中是否发生错误。校验的结果，当判定为有错误的情况下，重要信息构成单元705构成存在于分组标题735内的重要信息736，译码单元703用重要信息736开始编码比特串的译码。

在本系统中，当编码运动图象并分组的情况下，可以在嵌入通常图象相关重要信息的分组标题中附加扩展标题。另外，当编码并发送任意形状的图象的情况下，把在扩展标题中嵌入了该任意形状图象相关重要信息的分组标题附加在数据上。这样，由于运动图象可以被分组，所以可以用扩展标题取得任意形状图象相关重要信息，可以译码任意形状图象。

参照图15详细说明在本实施方案中作为重要单元的重要信息构成单元705。

如图15所示，重要信息构成单元705，由切换单元2301，扩展标题插入判定单元2302，任意形状图象相关重要信息译码单元2303构成。

扩展标题插入判定单元2302，是进行是否把扩展标题附加在分组标题上的判定的单元，其构成是，从由分离单元702输入的分组标题735的信息中判断图象用比特串732是否已实施任意形状的图象编码，在已实施任意形状的图象编码的情况下判断为把扩展标题附加在分组标题上，输出与该判断对应的控制信号。

切换单元2301，是系统开闭开关，当扩展标题插入判定单元2302判定为把扩展标题附加在分组标题上的情况下，靠从该扩展标题插入判定单元2302输出的控制信号，切换单元2301，关闭系统把来自分离单元702的分组标题735的信息给予任意形状图象相关重要信息译码单元2303。

任意形状图象相关重要信息译码单元2303的构成是，把经由切换单元2301输入的分组标题735的信息作为输入信息2333接收，由此复原为与任意形状编码相关的信息，并作为重要信息636输出。

说明这种构成的重要信息构成单元705的作用。

被输入的分组标题735在扩展标题插入判定单元2302中，通过译码分组标题信息判定在分组标题信息上是否附加有扩展标题。其结果，当判定为有扩展标题的情况下，扩展标题插入判定单元2302通过控制关闭切换单元2301，使分组标题735通过，把它作为分组标题信息2333输入到任意形状图象相关重要信息译码单元2303。

任意形状图象相关重要信息译码单元2303把分组标题信息2333作为基础译码与任意形状的译码有关的重要信息，把它作为重要信息736输出，给予译码单元703。

这样，从设置成如可以嵌入任意形状图象相关的重要信息的扩展标题中的信息中，可以译码任意形状图象相关的重要信息。

以上，通过使用本实施方案2的技术，即使在和实施方案1同样的任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性。进而，通过使用传送路径径的通信协议的扩展标题，不改变与图象编码有关的比特串也可以安装。这在使用现有的标准方式等时有效。

和实施方案1的变形例一样，通过可变长编码VW、VH、VHMSR、VVMSR，就可以削减编码量。

进而，本实施方案对MPEG-4进行了叙述，但即使是MPEG-4以外的任意形状图象编码的传送，通过附加同样的信息，也可以提高耐错性。

以下，作为本发明的应用例子，参照图25说明适用本发明的编码装置/译码装置的运动图象传送系统的实施例。

由被附带在个人计算机3001(未图示)上的摄象机输入的运动图象信号，用被装在个人计算机3001中的编码装置(或者编码软件)进行运动图象编码。从该编码装置输出的运动图象信号，和其它的声音信号和数据信息一同，用无线设备3003以无线方式传送，由另一无线设备3004接收。在该无线设备中例如，可以使用手机，PHS，无线LAN装置等。在无线设备3004中接收到的信号，被分解为运动图象信号以及声音和数据的信息。这其中，运动图象信号由被装入笔记本电脑3005的译码装置(或者译码软件)译码后，被显示在笔记本PC3005的显示器上。

另一方面，由被附带在笔记本电脑3005(未图示)上的摄象机输入的运动图象信号，用被装入笔记本电脑3005的编码装置(或者编码软件)进行和上述同样的译码。被生成的运动图象信号，和其它的声音和数据的信息多路化，用无线设备3004以无线方式发送，用无线设备3003接收。用无线设备3003接收的信号，被分解为运动图象信号以及声音和数据的信息。这其中，运动图象信号用被装入个人计算机3001的译码装置(或者译码软件)进行译码后，被显示在个人计算机3001的显示器上。

在个人计算机3001或者笔记本电脑3005，和便携电视电话3006之间的运动图象通信也可以应用采用本发明的编码/译码装置。由被装入个人计算机3001或者笔记本电脑3005的编码装置生成的，从无线设备3003或者3004中以无线方式发送的运动图象信号，用被装入便携电视电话3006的无线设备接收。用无线设备接收到的信号被分解为运动图象信号以及声音和数据的信息。这其中，运动图象信号用被装入便携电视电话3006的译码装置(或者译码软件)进行译码后，被显示在便携电视电话3006的显示器上。

另一方面，用被装入手机3006的摄象机1007输入的运动图象信号，用被输入便携电视电话3006的编码装置(或者编码软件)进行和上述个人计算机3001以及笔记本电脑3005的例子一样的编码。生成的运动图象信号，被和其它的声音和数据的信息多路化，用被装入便携电视电话3006的无线设备以无线方式发送，用无线设备3003或者3004接收。用无线设备3003或者3004接收的信号，被分解为运动图象信号以及声音和数据的信息。这其中，运动图象信号用被装入个人计算机3001或者笔记本电脑3005的译码装置(或者译码软件)译码后，显示在个人计算机3001或者笔记本电脑3005的显示器上。

图26展示与图1的实施方案1的编码装置对应的实施方案4的编码装置。如果采用本实施方案4，则把从多路化单元105输出的多路化比特串存储在存储介质107中。该存储介质107，按照本发明格式化。即，存储介质107，存储形状信息标题和接着它的多个VOP。形状信息标题是存储有在编码数据内共用的信息的信息组，与VOP标题相比还存储有上位的信息。例如，存储矩形图象的图象尺寸等。各VOP包含有多个宏块，在最初的宏块中由VOP标题和设置在该VOP标题后面的MB标题构成，以后的宏块由VP标题和连接在该VP标题后的MB数据构成。VP标题按照图4格式化。

图27展示与图5的实施方案1的译码装置对应的实施方案4的译码装置。该译码装置，读取用实施方案4的编码装置存储在存储介质107中的多路化比特串后译码。

图28展示与图10的实施方案2的译码装置对应的实施方案5的译码装置。该编码装置，把从分组构成单元605输出的多路化数据按照本发明的格式存储在存储介质107中。即，格式包含形状信息标题和多个VOP，在各VOP的多个宏块的各自中设置VP标题。

图29展示与图14的实施方案2的译码装置对应的实施方案5的译码装置。该译码装置，读取用实施方案5的编码装置存储在存储介质107中的多路比特串后译码。

以下，根据图30说明图27的译码装置303中的处理的内容。

顺序从存储介质107中读入图象字符串，首先检测同步字符(步骤S11)。如果被检测出的同步字符是VOP，start code(步骤S12的是)，则进行把此前被译码的VOP(帧)输出到图象信息输出装置的处理(步骤S13)。而后，进行接着图象字符串中VOP start code的VOP标题(图29中VOP header)的译码(步骤S14)。如果VOP标题可以正确地译码(步骤S15的是)，则把被存储在译码装置中的暂存电路中的信息用已被译码的VOP标题信息(时刻信息，VOP预测方式等)置换(步骤S16)。而后译码接着VOP标题的宏块数据(图29中的MB data)，进行该视频分组的译码(步骤S17)。

如果，被检测出的同步字符是resyncmarker(步骤S18的是)，则进行接着resync marker的视频分组标题(宏块号码(MBA)，视频分组量化方式(SQ)，标题扩展代码HEC))的译码(步骤S19)。如果，是在视频分组标题中的标题扩展代码HEC＝“0”的情况下(步骤S20的否)，则进行该视频分组的译码(步骤S17)。如果，是在标题扩展代码HEC＝“1”的情况下(步骤S20的是)，则进行接着它的二重化信息(图29中的DUPH)的译码(步骤S21)。这时，判定是否是任意形状(步骤S21-1)，如果是是，则译码任意形状图象相关重要信息(步骤S21-2)。如果判定是否，则跳到步骤22。如果可以正确地译码二重化信息(步骤S22的是)，则比较该二重化信息，和被存储在暂存电路中的信息(步骤S23)。如果比较结果是相等(步骤S23的否)，则译码接着视频分组标题的宏块数据(图29中的MBdata)，译码该视频分组(步骤S17)。如果比较结果是不相等(步骤S23的是)，则判定该视频分组和此前被译码的VOP属于不同的VOP，并进行把此前译码的VOP输出到图象信息输出装置的处理(步骤S24)，把存储在暂存装置中的信息用已译码的二重化信息置换(步骤S25)。进而进行该视频分组的译码(步骤S17)。

以上，一边顺序读出被存储在存储介质810中的图象字符串一边重复从图30所示的同步字符检测开始的一连串的处理，再生运动图象信号。

进而，也可以不把图象字符串直接存储在存储介质中，而把和编码了声音信号和音频信号的字符串、数据、控制信息等进行了多路化的字符串存储在存储介质中。这种情况下，在在图象编码装置820中编码已记录在存储介质中的信息前，在反多路化装置中进行把图象字符串和声音·音频字符串、数据、控制信息反多路化的处理，在编码装置820中译码被反多路化的图象编码。

另外，在图29中，展示了把记录在存储介质810中的信息经由信号线80传递到译码装置820的例子，但除了信号线以外，经由有线/无线/红外线等的传送路径传递信息也可以。

如果如上述那样采用本发明，则被记录在存储介质中的字符串，因重要信息被二重化后存储，所以即使在记录在存储介质中的信息中有错误的情况下，和在把记录在存储信息中的信息传送到再生图象的信号线和传送路径径中产生错误的情况下，也可以再生劣化少的再生图象。

如上所述如果采用本发明，则即使在编码任意形状图象的情况下，也可以具有和以往的长方形图象的编码同等的错误耐受力。另外，在通过使用作为被用于运动图象/声音数据传送的通信协议的RTP的扩展标题分组传送数据的情况下，也可以在以遵循MPEG-4等的现存的标准方式的状态编码传送，可以具有和以往的长方形图象的编码同等的错误耐受力。

如上所述如果采用本发明，则即使在任意形状图象编码的情况下因为也可以具有和以往的长方形图象的编码同等的耐错性，所以可以适用于使用ISDN和因特网等的有线通信网，或者PHS和卫星通信等的无线通信网传送被编码后的运动图象/静止图线的信息传送系统。

Claims (22)

1、一种运动图象编码装置，具备：

编码单元，把编码被输入的运动图象的编码信息作为比特串生成；

重要信息再构成单元，从上述编码单元的编码信息中，取出指明以什么样的标准为基础编码了一定的比特串的组合的重要信息进行再构成；

同步信号发生单元，发生同步信号；

比特串再构成单元，在用上述编码单元编码的比特串上加上从上述同步发生单元输出的同步信号和用上述重要信息再构成单元再构成的重要信息，再构成比特串。

2、权利要求1所述的运动图象编码装置，上述重要信息再构成单元具备：

第1重要信息再构成单元，根据上述编码信息再构成在以矩形区域单位编码帧的通常的编码形态中作为重要信息的通常图象相关信息；

第2重要信息再构成单元，根据上述编码信息再构成在以任意形状图象区域单位编码帧内的图象的任意编码形态中作为重要信息的任意形状图象相关信息；

任意形状编码判定单元，它根据上述编码信息判定编码图象是否是任意形状图象；

切换单元，在上述任意形状编码判定单元判定为是任意形状图象的情况下输出上述任意形状图象相关重要信息；

多路化单元，多路化上述通常图象相关信息和切换单元的输出。

3、权利要求2所述的运动图象编码装置，上述任意形状编码判定单元，判定编码图象是长方形图象还是任意形状图象，输出判定信号，根据该判定信号控制上述切换单元。

4、权利要求1所述的运动图象编码装置，上述比特串再构成单元，把上述重要信息二重化为已确定的格式并插入到标题。

5、权利要求1所述的运动图象编码装置，上述比特串再构成单元由以下单元构成：宏块边界判定电路，判定编码比特串是否处于宏块的边界；计数器，计数上述编码比特串的编码量；同步信号插入判定电路，上述宏块边界判定电路对上述比特串判定宏块边界，在该比特串的字符量的计数值超过某一值时，输出插入许可信号；标题信息插入电路，根据上述重要信息和上述同步信号制成扩展标题信息，应答来自上述同步信号插入判定电路的插入许可信号，向上述编码比特串附加上述扩展标题信息。

6、权利要求5所述的运动图象编码装置，上述扩展标题信息被设置在以同步信号开始的视频分组中。

7、一种运动图象译码装置，具备：

比特串接收单元，接收具有包含编码运动图象生成的编码运动图象信息及同步信息，以及在编码上述运动图象时指明以什么样的规则为基础编码一定的比特串的组合的重要信息的标题信息的编码比特串；

分离单元，从上述编码比特串中分离出与上述运动图象信息对应的图象比特串；

译码单元，译码上述图象比特串；

同步信号检测单元，它从上述比特串中检测出同步信号通知上述译码单元；

错误校验单元，从上述译码单元的译码信息中判定是否设有错误存在；

重要信息再构成单元，当上述错误校验单元判定为没有错误时，根据由译码单元输出的上述标题信息再构成重要信息，通知译码单元。

8、权利要求7所述的运动图象译码装置，其中上述重要信息再构成单元具备：

第1重要信息再构成单元，根据上标题信息再构成通常图象相关重要信息；

任意形状图象编码判定单元，判定从上述标题信息中正在译码的图象是否是任意形状图象；

第2重要信息再构成单元，根据上述标题信息再构成任意形状图象相关重要信息；

第1切换单元，当上述任意形状编码判定单元判定为任意形状图象的情况下，把上述标题信息导入到上述第2重要信息再构成单元；

第2切换单元，在上述任意形状形状编码判定单元判定为任意形状图象的情况下，输出上述任意形状图象相关重要信息。

9、权利要求7所述的运动图象译码装置，其中上述重要信息再构成单元，当上述译码单元在译码中的上述比特串中存在VOP(视频目标平面)标题的情况下，输出VOP标题信息，当在译码中的上述比特串中不存在VOP标题的情况下，输出VP标题的上述重要信息。

10、权利要求9所述的运动图象译码装置，其中上述重要信息再构成单元，在上述译码单元中当从上述比特串中发现上述VP标题的情况下，首先译码通常图象相关重要信息。

11、权利要求7所述的运动图象译码装置，在上述错误校验单元检测出错误时，在上述编码单元进行与错误对应的处理后，从上述同步检测单元检测出的下次的同步信号的位置开始进行译码作业。

12、一种运动图象编码装置，包括：

编码单元，把编码被输入的运动图象后的编码信息作为编码比特串生成；

重要信息再构成单元，从在上述编码单元内的编码信息中取出指明以什么样的规则为基础编码一定比特串的组合的重要信息进行再构成；

比特串分割单元，分割用上述编码单元编码后的比特串，生成多个分割比特串；

分组标题制作单元，根据用上述重要信息再构成单元再构成的重要信息制成分组标题；

分组构成单元，用上述分割比特串和上述分组标题构成分组。

13、权利要求12所述的运动图象编码装置，其中上述重要信息再构成单元具备：

任意形状图象相关重要信息再构成单元，根据上述编码信息再构成任意形状图象相关重要信息；

扩展标题插入判定单元，根据上述编码信息判定是否把保持有任意形状图象相关重要信息的扩展标题附加在分组标题上。

切换单元，当上述扩展标题插入判定单元判定为插入上述扩展标题的情况下，把上述标题信息导入上述任意形状图象相关重要信息。

14、权利要求12所述的运动图象编码装置，其中上述分组标题生成单元，把重要信息装入分组标题内作为分组标题输出到上述分组构成单元，上述比特串分割单元，把从上述编码单元输出的比特串分割成分组那样的大小输出。

15、一种运动图象译码装置，包括：

比特串接收单元，接收具有包含编码运动图象生成的编码运动图象信息及同步信息，以及在编码上述运动图象时指明以什么样的规则为基础编码一定比特串的组合的重要信息的标题信息的编码比特串；

分离单元，从上述被输入的比特串中分离出上述运动图象信息的图象比特串和分组标题信息；

译码单元，译码上述图象比特串；

错误校验单元，从上述译码单元的译码信息中判定是否有错误存在；

重要信息再构成单元，从上述分组标题信息中取出上述重要信息再构成重要信息，当在上述错误校验单元中判定为有错误，在译码中需要重要信息的情况下，把该再构成的重要信息通知译码单元。

16、权利要求15所述的运动图象编码装置，其中上述重要信息再构成单元具备：

第1重要信息再构成单元，根据上述分组标题信息再构成任意形状图象相关重要信息；

扩展标题插入判定单元，根据上述分组标题信息判定是否把扩展标题附加到分组标题中；

切换单元，当上述扩展标题插入判定单元判定为已插入扩展标题的情况下，把上述分组标题信息导入上述任意形状图象相关重要信息。

17、一种运动图象传送系统，具备：

服务器计算机，它包含编码运动图象，生成编码比特串的运动图象编码装置；

信息发送机，发送上述服务器计算机的编码比特串；

信息接收装置，接收来自上述服务器计算机的编码比特串；

客户计算机，包含译码来自上述信息接收机的编码比特串的运动图象译码装置，

上述运动图象编码装置由以下单元构成：

编码单元，编码被输入的运动图象把编码信息作为上述比特串生成；

重要信息再构成单元，根据上述编码单元的编码信息，取出作为指明以什么样的规则为基础编码一定的比特串的组合的重要信息进行再构成；

同步信号发生单元，发生同步信号；

比特串再构成单元，在用上述编码单元编码的比特串上加上从上述同步发生单元输出的同步信号和用上述信息再构成单元再构成的重要信息再构成比特串，

上述运动图象译码装置由以下单元构成：

分离单元，从接收到的上述编码比特串中分离出与上述运动图象信息对应的运动图象比特串；

译码单元，译码上述运动图象比特串；

同步信号检测单元，从上述比特串中检测出同步信号通知上述译码单元；

错误校验单元，从上述译码单元的译码信息中判定是否没有存在错误；

重要信息再构成单元，在上述错误校验单元判定为没有错误时，根据从上述译码单元输出的上述标题信息再构成重要信息，通知译码单元。

18、一种运动图象传送系统，具备：

服务器计算机，它包含编码运动图象，生成编码比特串的运动图象编码装置；

信息发送机，发送上述服务器计算机的编码比特串；

信息接收装置，接收来自上述服务器计算机的编码比特串；

客户计算机，包含译码来自上述信息接收机的编码比特串的运动图象译码装置，

上述运动图象编码装置由以下单元构成：

编码单元，把编码被输入的运动图象编码信息作为编码比特串生成；

重要信息再构成单元，根据上述编码单元的编码信息，取出作为指明以什么样的规则为基础编码一定比特串的组合的重要信息进行再构成；

比特串分割单元，分割用上述编码单元编码的比特串，生成多个分割比特串；

分组标题制作单元，根据用上述重要信息再构成单元再构成的重要信息制成分组标题；

分组构成单元，用上述分割比特串和上述分组标题构成分组，

上述运动图象译码装置由以下单元构成：

分离单元，从接收到的上述比特串中分离出上述运动图象信息的图象比特串和分组标题信息；

译码单元，译码上述运动图象比特串；

错误校验单元，从上述译码单元的译码信息中判定是否存在错误；

重要信息再构成单元，从上述分组标题中取出上述重要信息再构成重要信息，在上述错误校验单元判定为有错误，在译码中需要重要信息的情况下，把该再构成的重要信息通知译码单元。

19、一种记录介质，记录有：

形状信息标题，存储应该记录的图象的任意形状信息；

多个VOP，各自包含多个宏块，各宏块用VP标题和设置在该VP标题之后的MB数据构成，上述VP标题包含指明以什么样的规则为基础编码编码比特串的一定比特串组合的重要信息。

20、权利要求19的记录介质，上述VP标题的重要信息包含图象的宽度、图象的高度、粘贴图象的X坐标以及Y坐标、表示是否缩小变换并编码形状信息的标志、形状信息的编码类型信息。

21、一种运动图象译码装置，具备：

分离单元，从被输入的比特串中分离图象串；

译码单元，译码上述图象比特串；

同步信号检测单元，从上述图象比特串中检测同步信号，通知上述译码单元；

重要信息再构成单元，根据从上述译码单元发出的标题信息再构成重要信息，并通知译码单元。

22、权利要求22的运动图象编码装置，具备：

根据上述标题信息再构成通常图象相关重要信息的通常图象相关重要信息再构成单元；

任意形状编码判定单元，判定从上述标题信息中译码的图象是否是任意形状图象；

任意形状图象相关重要信息再构成单元，根据标题信息再构成任意形状图象相关重要信息；

切换单元，当上述任意形状编码判定单元判定为是任意形状的情况下把标题信息输入到任意形状图象相关信息再构成单元；

切换单元，当在上述任意形状编码判定单元中判定为是任意形状图象的情况下输出上述任意形状图象相关重要信息。

Images