CN1058362C - 图像信号的传输和解码 - Google Patents

Abstract

图像序列被编码，以便仅具有一帧存储器和不能双向解码的第一类型解码器能解出编码的比特流，和具有多帧和能够双向解码的第二类型解码器能够解出编码的比特流，以便产生较高质量的解码图像序列。编码的比特流包括三个并行编码图像数据信道。

Description

图像信号的传输和解码

本发明涉及图像信号的编码和解码，更具体地，涉及构成多个压缩数据流的压缩图像信号，该压缩的数据流可由可变性能及存储容量的解码器解码。

例如，在电视会议系统或可视电话系统中，通过取帧内和帧间相关的优点，运动图像信号被压缩和编码，以便它们能经通信信道更有效地传送到远端位置。

通过正交变换，例如离散余弦变换(DCT)，能够利用帧内相关。

通过连续图像之间的预测编码，能够利用帧间相关。正如这里使用的，一个图像一般地称为由一帧表示的图像。当一帧的一场以非隔行方式编码时，即分别地，则每场可称为一个图像。

如像图1A所示，例如，在时间点t₁，t₂和t₃产生帧图像PC₁，PC₂和PC₃。如图1B中阴景所示，得到的帧图像PC₁和PC₂之间的差为差图像数据PC₁₂和得到帧图像PC₂和PC₃之间的差为差值图像数据PC₂₃。因为在瞬间临近帧的信号之间有相当小的变化，利用传输信道仅传输差值图像数据比传输原始图像更有效。即使用差值图像数据作为编码图像信号而降低传输的数据量。

但是，如果仅仅传送差值信号，不能恢复原始图像。有时传送一个没有预测编码的图像作为差值图像数据的参考是有利的，因为有时候比传送一个预测编码图像更有效。

仅利用帧内相关和帧间不相关编码的图像在这里称为内一图像即I-图像。

用相对于一个前面的编码图像的预测编码的图像在这里被称为预测图像即P-图像。前面的编码图像可能是I-图像或P-图像，而可能是暂时在先的P-图像。

用相对至多两个图像(暂时在先和暂时随后的图像)预测编码的图像在这里称为双向预测编码图像即B-图像。这两个图像每个图像可能是一个I-图像或一个P-图像。当使用二者时，得到两个图像的平均值，而用作为编码图像的参考图像。

一系列图像可认为是具有预定数量帧，例如F₁…F₁₇的图像组。前导帧F₁的亮度和色度图像信号被编码为I-图像，第二帧F₂的图像信号被编码为B-图像，而第三帧F₃的图像信号编码为P-图像。第四帧和后面的帧F₄至F₁₇交替地编码为B-图像和P-图像。图2A表示用于编码P-图像的参考图像，而图2B表示用于编码B-图像的参考图像。

如图3A和3B所示，有四种方法用于编码一个图像的宏方块(下面讨论)，当多种方法是适合的时候，将利用给出的最小的编码数据量的方法。图3A中的方块F₁至F₅代表运动图像信号帧的数据，而图3B中的方块F_1x至F_5x代表编码帧的数据。图3A实线箭头表示运动矢量X₁…X₆相关的帧。

所示的SP₁第一种方法是不使用预测编码，即仅使用帧内相关。这对于I-图像，P-图像和B-图像的任何宏方块是适合的。换句话说，如果不用预测编码产生较少编码数据，那么就选择这种方法。

所示的SP₂第二种方法是相对于暂时地继当前图像之后的图像预测编码，称为后向预测编码。所示的SP₃第三种方法是相对于暂时在当前图像之前图像的预测编码，称为前向预测编码。第二种方法仅适合于B-图像的宏方块。第三种方法适合于P-图像和B-图像的宏方块。

所示的SP₄第四种方法是相对于两个图像的平均值的预测编码，一个图像暂时地在当前图像之前而一个图像暂时地在当前图像之后。这种方法仅适合于B-图像的宏方块。

现在编码的顺序。

使用第一种方法编码第一帧F₁，作为I-图像，以便该图像作为编码的数据F_1x直接地经传输信道传送。

第三帧F₃被编码为P-图像。当第三方法使用前向预测编码时，计算与用于参考图像暂时在先的帧F₁的差信号，用虚线箭头SP₃表示，和计算参考图像F₁和当前图像F₃之间的运动矢量X₃，并编码为数据F₃X。另一方面，如果对于编码的P图像的宏方块产生较少数量的编码数据，可使用第一种方法，其中原始帧F₃的数据直接地利用作为传输数据F₃X。

第二帧F₂被编码为B-图像。

当第四种方法用于编码帧F₂时，根据像素基础用像素计算暂时在先帧F₁的平均值与暂时随后帧F₃平均值之间的差值。该差值数据和运动矢量X₁和X₂被编码为数据F₂X。

当使用第一处理方法SP₁编码帧F₂时，原始帧F₂的数据构成编码数据F₂X。

当使用第二或第三方法SP₂，SP₃的之一方法编码帧F₂时，计算暂时随后帧F₃和当前帧F₂之间的差和暂时在先帧F₁和当前帧F₂之间的差之一差值，该差值数据和运动矢量X₁、X₂之一被编码为数据F₁X。

以上述的类似方法处理用于B-图像的帧F₄和用于P-图像的帧F₅，以便产生传送的数据F₄X和F₅X。

图4表示根据上述预测编码方案用于编和解码运动图像信号的安排。如图4所示，一个编码装置1编码输入图像信号并发送编码的信号至记录介质3作了传输信道进行记录。解码装置2再生记录介质3上的记录信号并解码这些信号作为输出信号。

编码设备1包括一个输入端10，一个预处理电路11，A/D变换器12和13，一个帧存储器14，该存储器包括一个亮度信号帧存储器15和色差信号帧存储器16，一个格式变换电路17和一个编码器18。

输入端10适于接收视频信号并把该信号VD加至预处理电路11，该电路的功能是分离视频信号VD为亮度信号和彩色信号，在这里色度或色差信号，并把这些信号分别加到模/数(A/D)变换器12和13。由A/D变换器12和13进行模—数变换的数字视频信号被加到具有存储器15、16的帧存储器14，存储器15、16的功能是分别存储亮度信号和色差信号，并在这里读存储信号到格式变换电路17。

变换器17运行变换在帧存储器部件14中存储的帧格式信号为方块格式信号。如图5A所示，在帧存储器部件14中存储的图像为具有V行每行由H点构成的帧格式数据。变换电路17划分每帧为N部分，每一部分包括多个16行。如图5B所示，该变换器17划分每部分为M个宏方块。如图5C所示，每个宏方块代表相应于16×16像素即点的亮度信号Y和相关的色度Cr，Cb信号。这些亮度信号细分为方块Y₁至Y₄，每个方块由8×8点构成。16×16点亮度信号与8×8点Cb信号和8×8点Cr信号相关。变换器17还运行供给方块格式信号至编码器18，该编码器将在下面结合图6详细描述。

编码器18运行编码方块格式信号并供给该编码的信号作为传输信道上的比特流在记录介质3上记录。

解码设备2包括一个解码器31，一个格式变换电路32，一个包括一个亮度信号帧存储器34和一个色差信号帧存储器35的帧存储器部件33，数/模变换器36和37，一个后处理电路38和一个输出端30。

解码器31的操作是要从记录介质3再生编码数据并解出该编码的数据，(如下面参见图9详细的描述)并把该解码数据信号加至格式变换电路32，该电路运行变换解码的数据信号为帧格式数据信号并提供帧格式数据信号作为亮度信号和色差信号到存储器33。存储器33的存储器34、35的功能是分别存储亮度和色度信号，并把这些信号分别加到D/A变换器36和37。由后处理电路38合成来自变换器37、37的模拟信号，后处理电路的作用是形成输出的图像信号，并输出它们至输出端30，然后输出到一个显示单元，例如CRT(未画出)进行显示。

图6表示了图4所示的编码器18。

一般地，编码器18存储三种图像，即当前的图像和暂时在先的图像和暂时在当前图像之后的图像。根据当前图像在图像组中的顺序位置对每个图像选择图像编码类型(P，I或B)。

如将参见图7所说明的，编码器18还选择基于帧和基于场预测编码之一，和如将参见图8所说明的，进一步选择基于帧和基于场DCT编码之一。对每个图像，得到适当的运动矢量，而且相对于零预测编码该图像，本地已被解码的一个或两个前面的编码图像作为形成差值数据信号的参考图像。该差值数据信号被正交变换为系数数据方块，该数据被量化，可变长度编码并作为编码数据传送。

在编码器18，量化的数据被解除量化，反正交变换并作为参考信号存储。预测编码把从当前图像得到的运动矢量施加到参考图像，以便产生一个预测图像，该预测图像与当前图像相减产生差值数据。

编码器18的元件现将详细说明。

用于编码的图像数据逐个宏方块被施加到输入端49，然后到运动矢量检测电路50，该运动检测电路50的作用是根据如图2A，2B所示的例子以每个图像组的预定顺序处理各个帧，如I-图像，P-图像或B-图像的图像数据。该电路50施加当前帧的图像数据到具有帧存储器51a，51b，51c的帧存储器51，帧存储器51a，51b，51c分别用于存储暂时在先的图，当前的图像和暂时在后的图像。

更具体地，在存储器51a，51b，51c分别存储帧F₁，F₂，F₃。然后在存储器51c中存储的图像被转移到存储器51a。在存储器51b，51c中分别存储帧F₄，F₅。转移存储器51C的科像到存储器51a和在存储器51b，51c中存储其次两个图像的工作被重复进行，以便保持图像组的图像。

在这些图像被读到存储器并暂时地存储之后，它们被读出并施加到一个预测方式转换电路52，该电路适合于处理用于基于帧和基于场预测编码之一的当前图像。在处理图像组中作为I-图像的第一帧图像数据之后和在处理作为B-图像的第二帧图像数据之前，运动矢量检测电路50处理第三帧P-图像。该处理顺序与施加图像的顺序是不同的，因为B-图像可能包括后向预测，可能需要接着解码，即暂时地在B-图像之后的P-图像预先地解码。

运动矢量检测电路50计算对每个宏方块码内的估计值，对每个宏方块帧预测方式预测误差绝对值的和，及对每个宏方块场预测方式预测误差绝对值的和，并施加这些和至预测判决电路54，该电路比较这些和并根据这些值的最小值选择帧预测方式或场预测方式，提供所选择的方式至预测方式转换电路52。

如果选择了帧预测方式，该预测方式转换电路52输出四个亮度方块Y₁至Y₄和两个色度或色差方块Cb，Cr，这些方块是从运动矢量检测电路50接收未处理的每个宏方块的方块。如图7A所示，从运动矢量检测电路50接收的每个亮度和色差方块交替，奇数或第一场的行数据，用实线表示，用偶数或第二场行数据，用虚线表示。在图7A中表示用于补偿的单元。在帧预测方式中，用作为一个单元的四个亮度方块(宏方块)和与该四个亮度方块Y₁至Y₄相关的单个运动矢量执行运动补偿。

如果选择场预测方式，预测方式转换电路52处理从运动矢量检测电路50接收的信号，以便四个亮度方块的每一个方块包括来自单个场的数据，和两个色差方块具有非交替的奇和偶数场数据。具体如图7B所示，亮度方块Y₁和Y₂具有奇数场数据和亮度方块Y₃和Y₄具有偶数场数据，而色差方块Cb，Cr的上半部代表亮度方块Y₁和Y₂的奇数场色差数据，而色差方块Cb，Cr的下半部代表亮度方块Y₃和Y₄的偶数场色差数据。在图7B中b表示用于运动补偿的单元。在场预测方式中，分别对奇数场方块和偶数场方块执行运动补偿，以便一个运动矢量与两个亮度方块Y₁和Y₂相关而另一个运动矢量与两个亮度方块Y₃和Y₄相关。

预测方式转换电路52提供当前的图像，作为对基于帧或基于场的预测编码，到图6的运算单元53。该运算单元53运行执行图像为预测，前向预测，后向预测或双向预测之一。预测判决电路54依赖于当前图像信号有关的预测误差信号适于选择最好类型的预测。

运动矢量检测电路050对当前图像计算在Aij和Aij∑|Aij-(Aij)的平均值|的平均值之间差值的绝对值的和并供给该和作为图像内编码的估计值到预测判决电路54。

相应于前后、后向和双向预测误差信号，运动矢量检测电路50对每个帧预测方式和场预测方式计算当前图像宏方块的信号Aij和预测图像∑|Aij-Bij|宏方块的信号Bij之间差值(Aij-Bij)的绝对值(或平方和)的和。如上所述，当前图像的运动矢量被施加于参考图像产生预测图像。当该参考图像暂时在当前图像之前时，数量∑|Aij-Bij|称为前向预测误差信号，而当参考图像暂时在当前图像之后时，数量∑|Aij-Bij|称为后向预测误差信号。当预测图像是暂时在参考图像之前和之后的平均值时，作为运动补偿，数量∑|Aij-Bij|称为双向预测误差信。该电路50供给在每帧和场预测方式中的前向，后向和双向预测误差信号至预测判决电路54。

预测判决电路54根据在每帧和场预测方式中前向，后向和双向预测误差信号的估计值的最小值选择内编码，前向图像间预测，后向图像间预测或双向图像间预测之一和帧预测方式或场预测方式之一。运算单元53根据由预测判决电路54选择的预测方式预测地编码当前的图像，通过帧或场转换电路52进行处理。

运动矢量检测电路50用于计算并提供与选择的预测方式相关的运动矢量到可变长度编码电路58和运动补偿电路64，下面将说明。

以上面描述的方法，在宏方块基础上的帧间差值(预测误差)的绝对值的和从运动矢量检测电路50施加到预测判决电路54。

运算单元53对当前图像施加预测编码数据，也称为差值数据，到DCT方式转换电路55，该电路适于对基于帧或基于场的正交变换之一处理当前图像。

DCT转换电路55运行比较编码效率，当用奇数场数据替换偶数场数据执行对图像宏方块DCT操作，即如图8A所示用于基于帧的正交变换时的编码效率与当用与偶数场数据分离的奇数场数据执行对图像宏方块DCT操作，如图8B所示用于基于场的正交变换时的效率。电路55的作用是选择具有较高编码效率的方式。

为了评价对基于帧正交变换的编码效率，该DCT方式转换电路55放置亮度宏方块数据为隔行形式，如图8A所示，并计算垂直互相相邻的奇数场行信号和偶数场行信号之间的差值，并求出差值EF14的绝对值的和或该差值平方值的和。 $\mathrm{EFM}=\underset{j=i}{\overset{16}{\mathrm{\Σ}}}\underset{j=i}{\overset{15}{\mathrm{\Σ}}}|o(i,j)-e(i,j)|+\underset{j=i}{\overset{16}{\mathrm{\Σ}}}\underset{j=i}{\overset{15}{\mathrm{\Σ}}}|e(i,j)-o(i+1,j)|$ …(1)

为了评价基于正交变换的编码效率，该DCT方式转换电路55设置亮度宏方块数据为非隔行形式，如图8B所示，并计算垂直相邻奇数场行信号之间的差值和垂直相邻偶数场行信号之间的差值，并求出差值EFD的绝对值的和或该差值平方值的和。 $\mathrm{EFM}=\underset{j=i}{\overset{16}{\mathrm{\Σ}}}\underset{j=i}{\overset{15}{\mathrm{\Σ}}}\left(\right|\mathrm{oi},j)-o(i+1,j)|+|e(i,j)-e(i+1,j)|$ …(2)

该DCT转换电路55把基于帧和基于场绝对值和之间的差值与预定的门限进行比较，如果差值EFM-EFD小于预定门限，选择基于帧的DCT变换。

如果在预测方式转换电路52中选择帧预测方式，则在DCT方式转换电路55中选择帧DCT方式的概率是高的。如果在预测方式转换电路52中选择场预测方式，则在DCT方式转换电路55中选择场DCT方式的概率是高的。然而，因为这是不必要的情况，预测方式转换电路52设置这样一种，方式该方式将给出预测误差绝对值之和的最小值，而DCT方式转换电路55设置这样一种方式，该方式将给出最佳正交变换的编码效率。

如果选择基于帧的正交变换，也称为帧DCT方式，则该DCT方式转换电路55运行保证四个亮度方块Y₁至Y₄和两个色差方块Cb，Cr表示交替的或隔行的奇数和偶数场的行，如图8A所示。

如果选择基于场的正交变换，也称为场DCT方式，则该DCT方式转换电路55运行保证每个亮度方块仅表示一场，而且每个色差方块具有隔开的，或非隔行的奇数和偶数场的行，如图8B所示。

该DCT方式转换电路55运行输出具有与选择的DCT方式有关的结构数据和输出指示选择DCT方式的DCT标记符到可变长度编码电路58和运动补偿电路64。

该DCT方式转换电路55适当地供给配置不同的图像数据到图6所示的DCT电路56，该电路用作于正交变换，它使用离散的余弦变换为DCT系数，并提供DCT系数数据到量化电路57，该电路根据传输缓冲器59中存储的数据量选择量化级，量化该系数数据，并施加量化的数据到可变长度编码电路58。

可变长度编码电路59还施加有来自量化电路57的量化级或量化标度数据，来自预测判决电路54的预测方式数据，该数据指示所使用的图像内预测，前向预测，后向预测或双向预测的那一种，和来自运动矢量检测电路50的运动矢量数据。编码电路58还从预测判决电路54接收预测标记符数据，该标记符数据包括指示使用的是帧预测方式或场预测方式的那一种方式的标记符，和从DCT方式转换电路55接收预测标记符数据，该标记符数据包括指示使用的是帧DCT方式或场DCT方式的那一种方式的标记符。该信息被放置在编码数据流的首部。

可变长度编码电路58用于根据从量化电路47提供的量化级数据，编码量化的数据和使用可变长度码(例如霍夫曼码)的首部信息，并输产生的数据至传输缓冲器59。

量化的数据和量化级还提供给解除量化电路60，该电路用于解除量化使用量化级的量化的数据，并提供恢复的DCT系数数据到反DCT电路61，该电路运行反变换DCT系数数据，产生恢复的差值数据并提供该恢复的差值数据到运算单元62。

该运算单元62把用以前编码恢复的差值数据和作为运动补偿的解码的参考图像相组合，产生用于重建图像的解码数据，该图像将被用于作为参考图像，该图像读入到两个帧存储器63a，63b之一。存储器63a，63b适于读存储在其内的参考图像数据到运动补偿电路64，该电路使用来自运动矢量检测电路50的运动矢量从参考图像中产生预测图像。具体地，该电路50使用运动矢量改变从存储器63a或63b读出的参考图像的地址。

对于一组图像来说，在第一帧I-图像数据和第三帧P-图像数据，被分别存储在前向和后向预测图像存储器或单元63a，63b中，第二帧B-图像数据由运动矢量检测电路50处理。当设定预测方式为帧内预测方式，前向预测方式，后向预测方式和双向预测方式之一，相应于根据宏方块预测误差绝对值的和，预测判决电路54选择帧或场预测方式。

因为不使用重构成B-图像作为其它图像的参考图像，它不被存储在帧存储器63中。

应当明白，帧存储器63有其前向和后向预测图像单元63a，63b存储单元根据需要交换，以便在单元63a或63b之一中存储的图像能被输出作为一个前向预测或后向预测。

运动补偿电路64运行提供作为预测图像的运动补偿数据至运算单元62和运算单元53，该运算单元从当前预测编码P-图像或B-图像减去预测图像。

更具体地，当运动矢量检测电路50从前向原始图像单元51a接收对于I-图像的图像数据，预测判决电路54选择帧内预测方式并设置运算单元53的开关53d到输入接点a。这样使得I-图像数据直接地输入到DCT方式转换电路55。在这种情况下，不希望从运动补偿电路64来预测图像。该I-图像数据还施加到前向预测图像单元63a。

当由预测判决电路54选择前向预测方式时，电路54还设置开关53d到输入接点b，该接点便得运算单元53a从存储器51读出的图像中减去由运动补偿电路64产生的预测图像，对于以逐像素为基础各宏块产生差值数据。在编码和本地解码之后，P-图像被施加到单元63a，63b的其中之一。例如，如图P-图像立即跟随I-图像，那么P-图像被存储在后向预测图像单元63b。

对于前向预测编码来说，预测图像是从帧存储器63的前向预测图像单元63a读出的参考I-图像或P-图像，并根据从运动矢量检测电路50输出的运动矢量由运动补偿电路64进行运动补偿。更具体地，对于每个宏方块，运动补偿电路64以相应于由运动矢量检测电路50当前输出的运动矢量的量值移位前向预测图像单元63a的读出地址。

当由预测判决电路54选择后向预测方式时，该电路54还设置开关53d至输入接点c，该接点使得运算电路53b从存储器51读出的图像中，以逐像素为基础，减去由运动补偿电路64产生的预测图像，以便产生差值数据。

对于后向预测编码来说，预测图像是从帧存储器63的后向预测图像单元63b读出的P-图像和根据从运动矢量检测电路50输出的运动矢量由运动补偿电路64补偿的运动(图像)。更体具地，对于每个宏方块，运动补偿电路64以相应于由运动矢量检测电路50当前输出运动矢量的量值移位后向预测图像单元63b的读出地址。

当由预测判决电路54选择双向预测方式时，电路54设置开关53d至输入接点d，使得运算单元53c从存储器51读出的图像中，以逐像素为基础，减去预测图像，以便产生差值数据。该预测图像是前向预测图像和后向预测图像的平均值。

在双向预测的情况下，在前后预测图像单元63a存储的图像和在后向预测图像单元63b存储的图像被读出并由运动补偿电路64根据从运动矢量检测电路50输出的运动矢量进行运动补偿。更具体地，对于每个宏方块，运动补偿电路64以相应于由运动矢量检测电路50当前输出的运动矢量适当的一个运动矢量的量值，移位前向和后向预测图像单元63a，63b的读出地址。

传输缓冲器59暂时地存储施加到其上的数据，产生一个指示在其上存储数据量的控制数据并提供该控制信号到量化电路57。当在该传输缓冲器内存储的数据量达到预定的上限值时，来自传输缓冲器59的控制数据使得显化电路57的量化标度增加，以便降低量化数据的量值。类似地，当传输缓冲器59中存储的数据量达到预定的低限值时，来自传输缓冲器59的控制数据使得量化电路的量化标度降低，以便增加量化数据的量值。以这种方法，传输缓冲器59防止加到其上的数据上溢或下溢其容量。在传输缓冲器59中存储的数据以预定的时序读出到输出端69，并且然后到作为记录在例如记录介质3上的传输信道。

虽然主要参照亮度方块已进行了前面的描述，而色差方块类似地被处理，并利用运动矢量传送，该运动矢量相应于在垂直和水平方向两个方向平分的亮度方块的运动矢量。

图9表示图4所示的解码器31。

从记录介质3传送的再生编码图像被施加到接收电路(未示出)或到输入端80，该输入端80施加编码的图像数据到接收缓冲器81，该缓冲器用于暂时地存储编码的图像数据，并提供该数据到解码电路90的可变长度解码电路82。

可变长度解码电路82作用于可变长度解码编码的数据，以输出恢复的运动矢量、预测方式数据，预测标记符和DCT，标记符到运动补偿电路87，并输出量化等级数据和可变长度解码图像数据，包括预测方式，运动矢量，预测标记符，DCT标记符的可变长度解码的图像数据和量化图像数据到反量化电路83。

反量化电路83适于根据从可变长度解码电路82提供的量化级数据解除从可变长度解码电路82提供的图像数据，并输出这样的恢复的系数数据到反变换IDCT电路84。

该IDCT电路84适于根据恢复的系数数据执行反变换，产生恢复的差值数据，并提供恢复的差值数据到运算单元85。

如果从IDCT电路84提供的恢复的差值数据代表I-图像，则运算单元85就不处理该数据，并简单地通过输出端91施加到图4所示的格式变换电路32，和帧存储器86的前向预测图像单元86a。

如果从IDCT电路84提供的恢复的差值数据代表前向预测方式产生的P-图像的一个宏方块，存储在帧存储器86的前向预测图像存储器86a中前面帧的参考图像数据被读出并由运动补偿电路87根据来自可变长度解码电路82输出的运动矢量进行运动补偿，产生预测图像。具体地，运动补偿电路87使用运动矢量改变施加到存储器86a的读出地址。运算单元85加预测图像到恢复的差值数据，产生解码的或重构的图像，该图像存储在帧存储器86的后向预测图像存储器86b中。解码的P-图像保持在解码器31中，并且在下一个B-图像被解码并输出之后输出，以便以加到图4编码器18的次序恢复图像。

甚至如果P-图像的宏方块被编码为码内编码方式数据，解码的P-图像也直接地被存储在后向预测图像单元86b，而无需通过运算单元85输出到输出端91。

如果从IDCT电路84提供的恢复的差值数据代表图像内预测方式编码的B-图像的宏方块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，则不产生预测图像。

如果从IDCT电路84提供的恢复的差值数据代表前向预测方式中编码的B-图像的宏方块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，在帧存储器86的前向预测图像单元86a中存储的数据被读出并且由运动补偿电路87使用从可变长度解码电路82提供的运动矢量进行运动补偿，以便形成预测图像。运算单元85把恢复的差值数据与预测图像相加，以便形成恢复的B-图像。

如果从IDCT电路84提供的恢复的差值数据代表后向预测方式中编码的B-图像的宏方块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，在后向预测图像单元86b中存储的数据被读出并且由运动补偿电路87使用从可变长度解码电路82提供的运动矢量进行运动补偿，以便形成预测图像。运算单元85把恢复的差值数据与预测图像相加，以便形成恢复的B-图像。

如果从IDCT电路84提供的恢复的差值数据代表双向预测方式中编码的B-图像的宏方块，根据从可变长度解码电路82的供到运动补偿电路87的预测方式确定，在前向和后向预测图像存储器86a，86b存储的数据被读出并且由运动补偿电路87使用从可变长度编码电82提供的运动矢量分别进行运动补偿，然后平均形成预测图像。运算单元85把恢复的差值数据与预测图像相加，以便形成恢复的B-图像。

经输出端91提供恢复的B-图像到格式变换电路32。但是，因为B-图像不被利用为其它图像产生预测图像，它不被存储在帧存储器86中。

在B-图像输出之后，在后向预测图像单元86b存储的P-图像的图像数据被读出并经运动补偿电路87施加到运算单元85。这时不执行运动补偿。

连接到图6中编码器18中的预测方式转换电路52和DCT转换电路55的计数部分电路在解码器31中没有示出。由这些电路执行处理，即由运动补偿电路87执行处理，处理恢复的配置，在该配置中奇数场行信号和偶数场行信号被互相分离为这样一种配置，在这种配置中奇数和偶数场行信号互相交替。

在前面已经说明了亮度信号的处理。因为本领域的普通技术人员明白，以类似的方法，实现色差信号的处理。然而，在这种情况下利用的运动矢量是用于亮度信号的运动矢量，该信号在垂直和水平方向两个方向被平分。

根据上述的描述，对图像信号的常规的编码和解码方法有可能使用两个参考预测图进行双向预测，但是，要求的存储器容量是相对地大。已经认识到，如果预测被限制到使用单个参考预测图像的前向或后向预测，有可能降低存储器容量，但是，恢复的图像质量也降低了。

常规的编码和解码方法也有缺点，用于使用双向预测产生的比特流的解码器不能解码仅使用前向或后向预测产生的比特流。

因此，本发明的目的是提供一种用于对图像信号的编码和解码方法和设备，避免了现有技术中前述的一些缺点。

本发明的另一个目的是提供编码的比特流，该比特流能被具有单个参考图像存储器容量的解码器解码，和还能被具有两个图像存储器容量的另一种解码器解码，以便产生比由较小存储器容量的解码器产生的较高质量的解码图像。

本发明的进一步的目的是提供一种编码的比特流，该比特流能被不能双向解码的解码器解码，而且还能被能够双向解码的另一种解码器解码，以便产生比用不能双向解码的解码器产生的较高质量的解码图像。

本发明还有另一个目的是有效地提供代表一串图像的编码的比特流。

根据本发明的一个方面，用于发送图像组信号的方法和设备通过参考第一部分中的预测图像信号的前向预测编码，编码该图像组信号的第一部分，产生一个第一比特流，和通过参考第一部分中的图像信号的前向和后向预测编码之一种编码方法，编码在第一部分中不包括的图像组信号的图像信号。以便产生一个第二比特流。第一和第二比特流并行发送。

根据本发明的另一个方面，通过参考第一部分的图像信号的双向预测编码还编码在第一部分中不包括的图像组信号的图像信号，以便产生第三比特流，第三比特流与第一和第二比特流并行发送。

根据本发明的一个方面，第一和第二编码的比特流构成第一和第二编码的图像信号。第一编码的图像信号通过参考来自第一编码图像信号解码的先前的解码图像信号的前向预测解码而被解码，产生第一解码图像信号，和通过参考第一解码的图像信号的前向和后向预测解码解出第二编码的图像信号，产生第二编码图像信号。然后组合第一和第二解码图像信号。

根据本发明的另一个方面，第三编码比特流构成第三编码图像信号，这些信号通过参考所述第二解码图像信号的双向预测解码而被解码，以便产生第三解码图像信号。然后组合第一和第三解码图像信号。

用于第一和第二比特流的第一类型解码器需要仅具有一个图像帧容量的存储器，和它不需要双向预测解码的能力。

用于第一和第三比特流的第二类型解码器需要具有两个图像帧容量的存储器，和必须具有双向预测解码的能力。但是，第二类型解码器产生比第一类型解码器具有较高质量解码图像。

这样，本发明允许根据本发明编码的图像信号解码器具有可互换性，该图像信号能被具有不同存储器容量和复杂性的解码器解码。

通过参见附图对本发明优选实施例的如下详细描述，本发明的上述和其它目的、特征和优点将更明显，在附图中相同标号的相应部分是等同的。

图1A和1B是说明帧间相关的图像；

图2A和2B是说明在预测编码中使用的图像类型的图；

图3是说明图像信号是如何变换为用于传输的编码数据的图；

图4是表示用于编码和解码图像信号常规设备的方框图；

图5是涉及说明图4所示格式变换电路工作的图；

图6是表示图4所示设备的编码器的方框图；

图7是涉及说明图6所示编码器的预测编码工作图表；

图8是涉及说明图6所示编码器的正交变换工作的图表；

图9是表示图4所示设备的解码器的方框图；

图10是涉及说明本发明中前向预测的图表；

图11是涉及说明本发明中双向预测的图表；

图12是涉及说明本发明实施例中产生的三个比特流的图表；

图13是表示根据本发明实施例的编码器的方框图；

图14是表示根据本发明实施例的解码器的方框图；

图15是涉及说明本发明实施例中产生的比特流的图表；

图16是表示优先断点技术应用于图15所示比特流的图表；

图17是涉及说明在本发明的另一个实施例中产生的三个比特流的图表；

图18是表示根据本发明另一个实施的编码器的方框图；

图19是表示根据本发明另一个实施例的解码器的方框图；

图20是涉及说明在本发明的另一个实施例中产生的比特流的图表；和

图21是说明优先断点技术应用于图20所示比特流的图表。

本发明编码一系列图像，以便仅具有一帧存储器容量和不能双向解码和后向预测解码的第一类型解码器能解出编码的比特流，和具有多帧存储器容量和能够双向解码和后向预测解码的第二类型解码器能解码编码的比特流，以便产生较高质量的解码图像系列。

编码的比特流包括三条并行编码图像数据信道。第一信道包括所有其它的图像和对第二和第二信道共有的信息头信息。第二信道包括在第一信道没有代表的和由前向和后向预测编码之一编码的图像。应当注意到，在下面的描述中，由前向或后向预测编码的编码图像可包括用内编码(intra-coding)的宏块。第三信道包括在第一信道没有代表的和由双向预测编码的图像。应当注意到，在下面描述中，由双向预测编码编码的图像可能包括由内编码的前向预测编码或后向预测编码编码的宏方块。第一类型的解码器使用第一和第二信道，而第二类型的解码器使用第一和第三信道。这样，根据本发明的比特流允许解码器具有可互换性。

图10表示一个图像序列，其中仅使用前向预测并且图像间距离等于1。仅需要一个参考图像暂时地在当前图像之前，即该图像顺序仅包括I-图像和P-图像，仅用前向预测获得P-图像。显然，仅需要一个图像存储器编码和解码该序列。

图11表示一个图像的序列，其中使用前向和双向预测，即由I-图像，P-图像和B图像构成该图像顺序。对于双向预测需要两个参考图像。传统地，如图6和9所示，利用前向预测图像存储器和后向预测图像存储器编码和解码这个序列。

现在将描述本发明的实施例，其中编码器编码图像系列，以便它能被第一类型解码器或第二类型解码器解码，第一类型解码器具有单个预测图像存储器和仅能图像内和前向预测解码，第二类型解码器具有两个预测图像存储器和能够图像内、前向、后向和双向预测编码。

图12表示根据本发明的比特流。这里，一组图像包括11帧。

第一帧被指定为图像内编码并称为I₁。在原始序列中奇数标号帧的余部被指定为前向预测编码和称为P₃，P₅，……P₁₁。第一传输信道，信道0，包含编码的比特流部分，比特流A，代表奇数标号的帧I₁，P₃，P₃，……P₁₁。在比特流A中的图像之间的距离是帧数N，N分离比特流中的连续图像，用N＝2。

其余的帧，即原始序列的偶数标号的帧分别代表每个第二和第三传输信道，信道1和2，它们与信道0可互换地组合。

在第二信道，通过参考第一信道中暂时在先帧的前向预测编码得到原始序列的偶数标号的帧，并称为比特流B，包括帧P′，P′₂，P′₄，…P′₄。显然，使用比特流A的图像作为参考图像，预测比特流A的图像和比特流B的图像。

在第三信道，通过参考第一信道中暂时在先的帧和暂时在后的帧的双向预测编码得到原始顺序的偶数标号的帧，并称为比特流c，包括帧B，B₁，B₄…B₁₀。第一帧B是通过从前面图像组中比特流A中的帧和当前图像组比特流A中的帧获得的。显然，除了比特流A的每组的最后图像之外，比特流A的每一个图像被用于预测比特流A的一个图像和比特流c的两个图像的参考图像。

在解码器中需要存储器的数量取决于构成解码的图像序列被组合的比特流的数量。如第一和第二比特流被组合，解码器仅需一帧的存储器容量。

在解码器中需要的预测能力取决于构成解码的图像序列被组合的比特流的能力。具体地，如比特流A和B被解码，解码器仅需要能够图像内编码和前向预测编码，而不需要后向或双向预测编码。因此，解码器可能是比较简单和生产不昂贵。

图13表示根据本发明的编码器的方框图，该编码器用于仅使用前向预测编码一系列图像为图12的比特流A和B。在图13与图6中所示的那些等同的部件用相同标号表示，并省略对其描述。

图13中所示的编码器有单个帧存储器，帧存储器163的前向预测图像单元63a。图13的编码器包括一个具有一个开关53e的运算单元153，而且当选择开关53e的输入接点a时适于执行图像内预测，而当选择开关53e的输入接点b时适于前向预测。

以图12所示的序列P′₁，P′₂，P′₃，P′₄，P′₅…执行编码。经传输信道1发送的比特流B的图像数据不在本地解码，因为这些图像不被用于预测另一个图像。首先，以与图6所示编码器使用相同方法编码图像I₁。量化电路57施加代表图像I₁的量化系数数据到可变长度编码电路58和反量化电路60。反量化电路60和IDCT电路61本地地解码量化系数并提供恢复的数据到帧存储器163。

然后编码图像P′₂，使用与图6所示编码器相同的方法，而本地解码的图像I₁，作为预测图像存储在帧存储器163中。量化电路57提供代表图像P′₂的量化系数数据仅到可变长度编码电路58而不到反量化电路60，以便本地解码图像I₁保持在帧存储器163。

然后以与图6所示编码器相同的方法编码图像P₃，本地解码的图像I₁作为预测图像存储在帧存储器163。量化电路57提供代表图像P₃的量化系数数据到可变长度编码电路58和反量化电路60。反量化电路60，IDCT电路61和运算单元162本地解码P₃的量化系数并把恢复的数据加到帧存储器163。

图像组中其余图像的编码以类似方法实现。这样看到的编码序列中I₁，P′₂，P₃，P′₄，P₅…。

分离电路70分离从传输缓冲器59提供的组合的比特流为经传输信道0传输的比特流A和用于经传输信道1传输的比特流B。

为了编码图像为比特流A和比特流C，该编码器必须具有足够的存储器容量，用于存储两个本地解码的参考图像，如图6所示，即前向预测图像单元63a和后向预测图像单元63b。编码的顺序是I₁，P₃，B₂，P₅，B₄，P₇，但是，在本发明中，图6的编码器被修改为包括一个分离电路，在传输缓冲器59之后，用于分离从传输缓冲器59提供的组合比特流为用于经传输信道0传输的比特流A和用于经传输信道2传输的比特流C并提供合适的时延，以便在解码期间比特流A的参考图像适当地可用于比特流C的图像。如果比特流A、B和C并行传输，分离电路仅发送比特流C到传输信道2。

图14表示根据本发明解码器190的方框图，该解码器用于解码一系列图像，仅使用图像内和前向预测解码解码，该系列图像被编为图12所示的比特流A和B。在图14中，等同于图9所示的那些部件用相同的标号表示，并省略其描述。

解码器190有一个仅存储单个图像容量的帧存储器186，即前向预测图像单元86a。经不同信道发送的比特流A和B施加到复用器79，把它们复接产生组合比特流A+B并提供这个比特流到接收缓冲器81。然后按照图9示解码器所说明的相同的方法执行解码。然而，比特流B的解码图像没有放置在帧存储器186。

为了解码比特流A和C，解码器必须有两个参考图像存储器并且能够双向预测编码，例如，图9所示的解码器。但是，本发明中图9的解码器被修改，在接收缓冲器81之前包括一个复用器，用于经不同信道发送的复用比特流A和C，产生一个组合比特流A+C。

现在更详细地研究比特流，得提供用于改进其效率的技术。

根据所谓的同时广播即并行，在发送中出现的比特流如图15所示。

在传输信道0上的整个图像I，P，P…用比特流A表示。每个图像有一个图像首部PH，一个片(slice)首部SH和一个宏方块首部，MBH，根据等级图像结构编码格式。每个宏块包括运动矢量数据MV，预测方式数据和DCT系数数据DOEF。参照图6的上述描述，根据所施加的其它数据，由VLC电路58产生首部信息。

在比特流A中没有表示出的其余图像以比特流B表示，作为在传输信道l上的图像P′，P′，…。P′图像数据在结构上等同于前面所述比特流A的图像数据，并参考数据流A的图像通过预测产生。

没有表示在比特流A中的其余图像也以比特流C表示，作为传输信道2上的图像B′，B′，…。该B图像数据在结构上等同于上面描述的比特流A或B的图像数据，并且参考比特流A的两个解码图像通过预测产生。两个解码图像暂时地围绕各自的B图像。

通过解码在分离信道上发送的比特流A的B再生图像I，P′，P，P′，P…。解码使用了一种单个图像存储器，因为仅使用了前向预测编码，在图15的比特流A和B的宏方块中用FW表示。

如果比特流B代替比特流C，可再生在不同信道上发送的图像I，B，P，B，P，…。为了解码，需要两具图像存储器，因为使用的是双向预测解码，在图15的比特流C的宏方块中用BI-DIR表示。

现在将解释用于提高同时广播比特流的编码效率的技术，这里称为优先断点(PBP)技术。

图16表示应用PBP技术之后的同时广播比特流。

图16的比特流A包括图15所示的信息，而且还包括用于在比特流A没有表示的图像的公开首部信息CH，即在比特流B和C每一个比特流中表示的图像。具体地，公共首部信息CH包括对于上面就图15所描述的比特流B和C图像的图像和片(slice)首部，该首部对于比特流B和C是公共的。每一个片首部包括指示被发送的信息达到的点的PBP信息。

根据变化的PBP信息，它有可能在信道0内发送，仅首部信息或对于比特流B和C中的每个宏方块发送达到运动矢量。对于比特流B和C来说其余的信息分别在信道1和2发送。在图16所示的举例中，PBP信息指示执行对每个宏方块的传输达到片首部。在本实施例中的编码器包括对同时广播系统上面描述的编码器，进行修改，以便使其分离电路不仅分离编码数据，而且加PBP信息到每个片首部。

在等级编码格式中比在比特流A中未表示的P′图像的宏方块层更低的数据(不包括公共首部)被表示在比特流B，其序列为P′，P′，P′…。

在等级编码格式中比在比特流A中未表示的B图像的宏方块层更低的数据(不包括公共首部)被表示在比特流C，其序列为B，B，B…。

根据解码比特流A和B再生图像I，P′，P，P′，P……。P′图像首部的信息从解码的比特流A中提取，而低于宏方块层的数据从比特流B解码。解码仅需要单个图像存储器，因为仅执行图像内和前向预测解码。

如果比特流C由比特流B代替，通过解码比特流A和C再生图像I，B，P，B，P，…。对于B图像的首部信息从解码的比特流A提取，而宏方块层以下的数据从比特流C解码。解码需要两个图像存储器，因为可能是执行双向预测解码，除了别的之外。

现在将描述本发明的另一个实施例，其中编码器编码图像系列，以便它能被第一类型解码器或第二类型解码器解码，第一类型解码器有一个预测图像存储器并仅能够进行图像内，前向和后向预测解码，第二类型解码器有两个预测图像存储器和能双向预测解码。

图17表示根据本发明的另一个比特流，它类似于图12所示的比特流，但用后向预测编码来自比特流A的图像产生表示在比特流B的图像除外。比特流B和C与比特流A可互换地组合，以便解码图像系列。

图18表示根据本发明的编码器的方块图，该编码器用于编码图像系列为图17的比特流A和B，仅使用图像内，前向和后向预测。在图18中，等同于图6所示的那些部件用相同的标号表示，并且省略了对其描述。

图18中所示的编码器有一个包括预测图像单元63c的单个帧存储器263。图18的编码器18包括一个具有开关53的运算单元253，和当选择开关53的输入接点a时，适于图像内预测，当选择开关53的接点b时，适于前向预测，当选择开关53的接点c时，适于后向预测。

以图17所示的序列I₁，P′，P₃，P′₂，P₅，P′₄…执行编码。经传输信道1发送的对于比特流B的图像数据本地不被解码，因为这些图像不用于预测另外的图像。首先，图像I₁以与图6所示编码器所用相同的方法被编码。量化电路57提供代表图像I₁的量化系数数据到可变长度编码电路58和到反量化电路60。反量化电路60和IDCT电路61本地解码量化系数并提供恢复的数据到帧存储器263。

然后使用与图6所示编码器相同的方法图像P′被编码，本地解码的图像I₁作为预测图像存储在帧存储器263中。量化电路57提供代表图像P′的量化系数数据仅到可变长度编码电路58而不到反量化电路，以便本地解码的图像I₁保存在帧存储器263。

然后使用与图6所示编码器相同的方法对图像P₃编码，而本地解码的图像I₁作为预测图像存储在帧存储器263中。量化电路57提供代表图像P₃的量化系数数据到可变长度编码电路58和到反量化电路60。反量化电路60，IDCT电路61和运算单元162本地解码P₃的量化系数并提供恢复的数据到帧存储器263。

图像组中其余图像的编码以类似的方式实现。

用这种方法，用图18所示的安排，产生比特流，该比特流由仅产生于图像内和前向预测的比特流A和仅产生于后向预测的比特流B组成。

分离电路70分离从传输缓冲器59提供的比特流为经传输信道0传输的比特流A和经传输信道1传输的比特流B。

为了编码图像为比特流A和比特流C，该编码器必须有足够的存储容量，用于存储两个本地解码的预测图像，例如，如图6所示，即前向预测图像单元63a和后向预测图像单元63b。但是，在本发明中，图6的编码器被修改，以便在传输缓冲器59包括一个分离电路，该分离电路用于分离从传输缓冲器59提供的组合比特流为在传输信道0上传输的比特流A和经传输信道2传输的比特流C。如果比特流A、B和C并行传送，分离电路仅发送比特流C到传输信道2。编码的序列是I₁，B，P₃，B₂，P₅，B₄，P₇。

图9表示根据本发明的解码器290的方框图，该解码器用于解码编码的图像系列，仅使用图像内，前向和后向预测解码，解码为图17的比特流A和B。在图19中，等同于图9所示的那些部件用相同标号表示，并省略对其描述。

解码器290有一个只具有单个图像容量的帧存储器286，即预测图像单元86c。经不同信道发送的比特流A和B被施加到适于复接它们产生组合比特流A+B的复用器79，并提供这个比特流到接收缓冲器81。以如图9所示对解码器说明的相同的方法执行解码。但是，比特流B的解码的图像不被放置在帧存储器286。

为了解码比特流A和C，解码器必须有两个参考图像存储器并能够双向预测解码，例如图9的解码器。但是，在本发明中图9的解码器被修改，以便在接收缓冲器之前包括一个复用器，该复用器用于复接在不同信道上发送的比特流A和C，产生一个组合比特流A+C。

根据本发明的比特流按照所谓的同时广播系统发送。图20中的比特流类似于图15所示的那些和上面所讨论的那些，除了比特流B包括由后向预测编码产生的系数数据，用20的比特流B的宏方块内用BW表示系数数据。

只使用单个图像存储器就可解码图20的比特流A和B，因为不使用双向预测解码。为了解码图20的比特流A和C，需要一个具有存储两个图像容量的存储器，因为使用双向预测解码。

图21表示图20的同时广播比特流，在PBP技术应用之后，提高同时广播比特流的编码效率。图21中的比特流类似于图16所示的和上面讨论的那些比特流，除去比特流B包括由后向预测编码产生的系数数据，在图21的比特流B的宏方块中用BW表示。

虽然在这里参照附图详细地描述了本发明的实施例和各种修改，应当明白，本发明不限于这些具体实施例和描述的修改，本领域的普通技术人员可实现各种改变和进一步的修改而不脱离所附权利要求书限定本发明的范围或精神。

Claims (25)

1.一种发送图像信号组的方法，包括步骤：

根据图象信号组的一部分中的在先图象信号，通过正向预测编码方法编码所述图象信号组的所述部分，以便产生一个第一比特流；

根据图象信号组的一部分中的图象信号，通过前向预测和后向预测编码方法之一，编码未包括在所述部分之中的所述图象信号组中的图象信号，以便产生一个第二比特流；和

并行发送所述第一比特流和所述第二比特流。

2.根据权利要求1的方法，进行包括步骤：根据图象信号的一部分中的图像信号，通过双向预测编码，对在所述部分中不包括的所述图像组的图像信号编码，以产生一个第三比特流；和与所述第一和第二比特流并行地发送所述第三比特流。

3.根据权利要求2的方法，进一步包括步骤：为所述第二比特流和所述第三比特流之一产生首部信息；将所述首部信息的第一部分放置到所述第一比特流中；和放置所述首部信息的其余部分到所述第二和第三比特流之一中。

4.根据权利要求1的方法，进一步包括步骤：为所述第二比特流的产生首部信息；放置所述首部信息的一部分到所述第一比特流中；和放置所述首部信息的其余部分到所述第二比特流中。

5.根据权利要求1的方法，其中所述图像信号组的所述部分包括所述图像信号组的每个第N个图象信号，N是整数。

6.一种发送图像信号组的方法，包括步骤：

根据图象信号组一部分中的在先的图像信号，通过前向预测编码，对所述图像信号组的所述部分编码，以产生一个第一比特流；

根据图象信号组一部分中的图像信号，通过双向预测编码，对不包括在所述部分的所述组中的的图像信号编码，以产生一个第二比特流；和

并行发送所述第一比特流和所述第二比特流。

7.根据权利要求6的方法，进一步包括步骤：为所述第二比特流的产生首部信息；放置所述首部信息的一部分到所述第一比特流中；和放置所述首部信息的剩余部分到所述第二比特流中。

8.用于发送图像信号组的设备，包括：

根据图象信号组的一部分中的在先图象信号，通过前向预测编码，对所述图像信号组的所述部分编码，以产生一个第一比特流的装置；

根据图象信号组的一部分中的图像信号，通过前向和后向预测编码之一，对在所述部分不包括的所述图像信号组的图像信号编码，以产生一个第二比特流的装置；和

用于并行发送所述第一比特流和所述第二比特流的装置。

9.根据权利要求8的设备，进一步包括根据在所述图像信号组的一部分中的图象信号，通过双向预测编码，对未包括在所述部分中的，所述图象信号组中的图象信号编码，以便产生一个第三比特流的装置；和用于与所述第一和第二比特流并行发送第三比特流的装置。

10.根据权利要求9的设备，进一步包括：用于为所述第二比特流及所述第三比特流产生首部信息的装置；和用于放置所述首部信息的一部分到所述第一比特流和放置所述首部信息的剩余部分到所述第二和第三比特流之一中的装置。

11.根据权利要求8的设备，进一步包括：用于为所述第二比特流产生首部信息的装置；和用于放置所述首部信息的一部分到所述第一比特流和放置所述首部信息的剩余部分到所述第二比特流的装置。

12.根据权利要求8的设备，其中所述图像信号组的所述部分包括所述图像组得每个第N个信号，N是整数。

13.用于发送图像组信号的设备，包括：

根据图象信号组的一部分中的在先的图像信号，通过前向预测编码，用于对所述图像信号组的一部分编码，以产生一个第一比特流的装置；

根据图象信号组的一部分中的图像信号，通过双向预测编码，用于对不包括在所述部分中的所述图像组的图像信号编码，以产生一个第二比特流的装置；和

用于并行发送所述第一比特流和所述第二比特流的装置。

14.根据权利要求13的设备，进一步包括用于为所述第二比特流产生首部信息的装置；和用于放置所述首部信息的一部分到所述第一比特流和放置所述首部信息的剩部分到所述第二比特流的装置。

15.一种产生代表原始图像信号组的编码图像信号的方法，其步骤为：

根据在原始图象信号组的一部分中的在先图像信号，通过前向预测编码，对所述部分编码，而产生一个第一比特流；

根据在原始图象信号组的一部分中的图象信号，通过前向和后向预测编码方法之一，对在所述部分没有包括的所述原始图像信号组中的图像信号编码，而产生一个第二比特流；和

并行安排所述第一比特流和所述第二比特流，因此产生所述编码图像信号。

16.一种用于解码并行发送的第一和第二编码图像信号的方法，包括步骤：

组合所述第一和第二编码图像信号；

参考根据来自所述第一编码的图像信号解码的在先解码信号，通过前向预测解码，对所述第一编码图像信号解码，以产生第一解码图像信号；和

根据所述第一解码图像信号，通过前向和后向预测解码之一，对所述第二编码的图像信号解码，以产生第二解码的图像信号。

17.根据权利要求16的方法，进一步包括步骤：从所述第一编码的图像信号中为所述第二编码图像信号提取首部信息；和其中所述解码所述第二编码图像信号的步骤使用提取的首部信息；

18.根据权利要求16的方法，其中解码所述第一编码图像信号的步骤把所述第一解码图像信号放到具有一帧容量的存储器中；和解码所述第二编码图像信号的步骤读取放置在所述存储器中的第一解码图像信号，以便解码所述第二编码的图像信号。

19.一种对并行发送的第一和第二编码图像信号解码的方法，其步骤包括：

组合所述第一和第二编码图像信号；

根据从所述第一编码图像信号解码出的在先解码图像信号，通过前向预测解码，解码所述第一编码的图像信号，以产生第一解码图像信号；和

根据所述第一经解码的图像信号，通过双向预测解码，解码所述第二编码的图像信号，以产生第二解码的图像信号。

20.根据权利要求19的方法，进一步包括步骤：从所述第一编码的图像信号中为所述第二编码图像信号提取首部信息；和其中所述解码所述第二编码图像信号的步骤使用该提取的首部信息。

21.一种用于解码并行发送的第一和第二编码图像信号的设备，包括：

用于将所述第一和第二编码图象信号组合的装置；

根据从所述第一编码图像信号解码出的在先解码信号，通过前向预测解码，一编码图像信号解码，以产生第一解码图像信号的装置；和

通过参考所述第一解码图像信号的前向和后向预测解码；用于对所述第二编码图像信号解码，以产生第二解码图像信号的装置。

22.根据权利要求21的设备，进一步包括提取装置，用于从所述第一编码的图像信号中提取对于所述第二编码图像信号的首部信息；和其中所述的用于解出所述第二编码图像信号的装置使用所提取的首部信息，以译出所述第二编码图像信号。

23.根据权利要求21的设备，进一步包括一个具有一帧容量的存储器；和其中所述的用于解出所述第一编码图像信号的装置放置所述第一解码图像信号在所述存储器中；和所述的用于解出所述第二编码图像信号的装置读出放置在所述存储器中的第一解码的图像信号，以便解出所述第二编码的图像信号。

24.一种用于对第一和第二编码图像信号解码的设备，包括：

用于组合所述第一和第二图像信号的装置；

通过参考来自所述第一编码的图像信号解码的先前解码图像信号的前向预测解码，用于对所述第一编码图像信号解码，以产生第一一编码图像信号的装置；和

通过参所述第一解码图像信号的双向预测解码，用于对所述第二编码图像信号解码，以产生第二解码图像信号的装置。

25.根据权利要求24的设备，进一步包括提取装置，用于从所述第一编码图像信号提取用于所述第二编码图像信号的首部信息；和其中所述的用于对所述第二编码图像信号解码的装置使用该提取的首部信息。

Images