CN100380984C

CN100380984C - 基于空间预测的帧内编码

Info

Publication number: CN100380984C
Application number: CNB038134152A
Authority: CN
Inventors: M·卡策维茨
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2002-06-11
Filing date: 2003-06-10
Publication date: 2008-04-09
Anticipated expiration: 2023-06-10
Also published as: KR20050007607A; MY137061A; KR101017094B1; JP4490261B2; EP1512115A4; EP1512115A1; JP2005529527A; DE60345459C5; TWI239207B; TW200407031A; AU2003240172B2; CA2488266A1; MXPA04012133A; CN1659580A; EP1512115B1; AU2003240172A1; WO2003105070A1; CA2488266C

Abstract

一种用于使用模内块预测来编码数字图像的方法(100)和设备(90)，其中用于邻近块(U，L)的每一预测模式组合的预测模式列表被获得。分配给每一预测模式组合的模式可以被分成两组。第一组包括n(n小于可用模式的总数)最大可能的预测模式，并且第二组包括剩余模式。第一组中的模式根据其概率被排序。该排序可以被规定为从最大可能的模式到最小可能的模式进行排序的模式列表。属于第二组的模式可以某一预定方式来排序，这可以根据已可用于译码器(60)的信息来指定。

Description

基于空间预测的帧内编码

技术领域

本发明一般涉及图像编码，并且具体地涉及编码图像帧的块。

背景技术

数字图像诸如视频图像、TV图像、静止图像或利用录像机或计算机产生的图像由水平行和垂直行中排列的像素组成。单个图像中像素的数量通常为数万。每一像素典型地包含亮度和色度信息。在没有压缩的情况下，从图像编码器传送到图像译码器的信息量如此巨大，以致于不能够进行实时图像传输。为了减少传送的信息量，已经研发了许多不同的压缩方法，诸如JPEG、MPEG以及H.263标准。在典型的视频编码器中，将原始视频序列的帧划分为矩形区域或块，以模内(Intra-mode)(I模式)或模间(Inter-mode)(P模式)形式对其进行编码。使用某种类型的变换编码诸如DCT编码来单独地编码这些块。然而，纯粹的基于块的编码只减少了特定块内像素间(inter-pixel)相关性，而没有考虑像素的块间相关性，并且还产生高比特率用于传输。当前的数字图像编码标准也利用某些减少块之间像素值的相关性的方法。

通常，根据一个先前编码和发送的帧来预测以P模式编码的块。块的预测信息利用二维(2D)运动矢量来表示。对于I模式编码的块来说，使用同一帧内已编码的邻近块的空间预测来形成预测块。预测误差即正被编码的块和预测的块之间的差值被表示为某一离散变换的一组加权的基函数。通常基于8×8或4×4块来执行变换。随后量化加权-变换系数。量化导致信息损失，并因此量化的系数具有比原始系数低的精度。

量化的变换系数以及运动矢量和一些控制信息一起形成一个完整的编码序列表示，并且被称为语法元素。在从编码器传输到译码器之前，对所有的语法元素进行熵编码，以便进一步减少其表示所需的比特数。

在译码器中，通过以与编码器中相同的形式首先构造其预测并且将压缩的预测误差添加到该预测，获得当前帧中的块。通过使用量化系数加权变换基函数，建立压缩的预测误差。重构的帧与原始帧之间的差称为重构误差。

压缩率即在I-块和P-块的情况中用于表示原始序列和压缩序列的比特数之比是通过调整用于量化变换系数的量化参数的值来控制的。该压缩率也取决于所采用的熵编码的方法。

如下描述在JVT编码器的Working Draft Number 2(WD2)中使用的空间预测的一个实例。为了执行空间预测，如图1所示，JVT编码器提供用于预测4×4块的9个模式，包括DC预测(模式0)和8个方向模式，标记为1-7。在图2中表示了预测处理。如图2所示，编码从a至p的像素，并且来自于已编码的邻近块的像素A-Q用于预测。例如，如果选择模式1，那么通过将像素a，e，i以及m设置为等于像素A来预测这些像素a，e，i以及m，并且通过将像素b，f，j以及n设置为等于B来预测像素b，f，j以及n，等等。同样，如果选择模式2，那么通过将像素a，b，c和d设置为等于像素I来预测像素a，b，c和d，并且通过将像素e，f，g和h设置为等于像素J来预测像素e，f，g和h，等等。所以，模式1是垂直方向中的预测器；并且模式2是水平方向中的预测器。这些模式描述在2001年9月由ITU-Telecommunication Standardization Sector of Video CodingExpert Group(VCEG)出版的文献VCEG-N54以及在2002年3月由Joint Video TeamofISO/IEC MPEG和ITU-T VCEG出版的文献JVT-B118r2中。

模式0：DC预测

一般利用(A+B+C+D+I+J+K+L+4)＞＞3来预测所有的样本。如果四个样本在图画(picture)之外，那么剩余四个样本的平均值用于预测。如果所有8个样本处于图画之外，那么此块中所有样本的预测是128。因此，在该模式中总是可以预测一个块。

模式1：垂直预测

如果A，B，C，D处于图画之内，那么

-利用A来预测a，e，i，m

-利用B来预测b，f，j，n

-利用C来预测c，g，k，o

-利用D来预测d，h，l，p

模式2：水平预测

如果E，F，G，H处于图画之内，那么

-利用E来预测a，b，c，d

-利用F来预测e，f，g，h

-利用G来预测i，j，k，l

-利用H来预测m，n，o，p

模式3：对角向下/右预测(Diagonal Down/Right prediction)

仅在所有的A，B，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。

-利用(J+2K+L+2)＞＞2来预测m

-利用(I+2J+K+2)＞＞2来预测i，n

-利用(Q+2I+J+2)＞＞2来预测e，j，o

-利用(A+2Q+I+2)＞＞2来预测a，f，k，p

-利用(Q+2A+B+2)＞＞来预测b，g，l

-利用(A+2B+C+2)＞＞2来预测c，h

-利用(B+2C+D+2)＞＞2来预测d

模式4：对角向下/左预测

-利用(A+2B+C+I+2J+K+4)＞＞3来预测a

-利用(B+2C+D+J+2K+L+4)＞＞3来预测b，e

-利用(C+2D+E+K+2L+M+4)＞＞3来预测c，f，i

-利用(D+2E+F+L+2M+N+4)＞＞来预测d，g，j，m

-利用(E+2F+G+M+2N+O+4)＞＞3来预测h，k，n

-利用(F+2G+H+N+2O+P+4)＞＞3来预测l，o

-利用(G+H+O+P+2)＞＞3来预测p

模式5：垂苴-向左预测

-利用(Q+A+1)＞＞1来预测a，j

-利用(A+B+1)＞＞1来预测b，k

-利用(B+C+1)＞＞1来预测c，l

-利用(C+D+1)＞＞1来预测d

-利用(I+2Q+A+2)＞＞2来预测e，n

-利用(Q+2A+B+2)＞＞2来预测f，o

-利用(A+2B+C+2)＞＞2来预侧g，p

-利用(B+2C+D+2)＞＞2来预测h

-利用(Q+2I+J+2)＞＞2来预测i

-利用(I+2J+K+2)＞＞2来预测m

模式6：垂直-向右预测

-利用(2A+2B+J+2K+L+4)＞＞3来预测a

-利用(B+C+1)＞＞1来预测b，i

-利用(C+D+1)＞＞1来预测c，j

-利用(D+E+1)＞＞1来预测d，k

-利用(E+F+1)＞＞1来预测l

-利用(A+2B+C+K+2L+M+4)＞＞3来预测e

-利用(B+2C+D+2)＞＞2来预测f，m

-利用(C+2D+E+2)＞＞2来预测g，n

-利用(D+2E+F+2)＞＞2来预测h，o

-利用(E+2F+G+2)＞＞2来预测p

模式7：水平-向上预测

-利用(B+2C+D+2I+2J+4)＞＞3来预测a

-利用(C+2D+E+I+2J+K+4)＞＞3来预测b

-利用(D+2E F+2J+2K+4)＞＞来预测c，e

-利用(E+2F+G+J+2K+L+4)＞＞3来预测d，f

-利用(F+2G+H+2K+2L+4)＞＞3来预测g，i

-利用(G+3H+K+3L+4)＞＞3来预测h，j

-利用(L+2M+N+2)＞＞3来预测l，n

-利用(G+H+L+M+2)＞＞2来预测k，m

-利用(M+N+1)＞＞1来预测o

-利用(M+2N+O+2)＞＞2来预测p

模式8：水平-向下预测

仅在所有的A，3，C，D，I，J，K，L，Q都处于图画之内时才使用该模式。这是一个“对角”预测。

-利用(Q+I+1)＞＞1来预测a，g

-利用(I+2Q+A+2)＞＞2来预测b，h

-利用(Q+2A+B+2)＞＞2来预测c

-利用(A+2B+C+2)＞＞2来预测d

-利用(I+J+1)＞＞1来预测e，k

-利用(Q+2I+J+2)＞＞2来预测f，l

-利用(J+K+1)＞＞1来预测i，o

-利用(I+2J+K+2)＞＞2来预测j，p

-利用(K+L+1)＞＞1来预测m

-利用(J+2K+L+2)＞＞2来预测n

由于每一块必须具有被分配并被传输到译码器的预测模式，所以在直接编码的情况中将需要相当大量的比特。为了减少传输的信息量，能够使用邻近块的预测模式的相关性。例如，Vahteri等人(WO01/54416A1，“A Method for EncodingImages and An Image Coder”，在下文中称为Vahteri)公开了一种基于块的编码方法，其中块内图像的方向性信息用于对多个空间预测模式进行分类。一个块的空间预测模式是利用至少一个邻近块的方向性信息来确定的。

在JVT编码器中，当已知邻近的已经被编码的块U和L的预测模式时，给出块C的最大可能的预测模式、下一最大可能的预测模式等等的排序(图3)。对于U和L的预测模式的每一种组合，指定模式的排序。该排序能够被规定为从最大可能到最小可能的模式来排序的块C的预测模式列表。以下给出如VCEGN54中所公开的用于JVT编码器的WD2中的排序列表：

L/U outside 0 1 2 3

outside —— 0—— 01—— 10—— ——

0 02—— 021648573 125630487 021876543 021358647

1 —— 102654387 162530487 120657483 102536487

2 20—— 280174365 217683504 287106435 281035764

3 —— 201385476 125368470 208137546 325814670

4 —— 201467835 162045873 204178635 420615837

5 —— 015263847 152638407 201584673 531286407

6 —— 016247583 160245738 206147853 160245837

7 —— 270148635 217608543 278105463 270154863

8 —— 280173456 127834560 287104365 283510764

L/U 4 5 6 7 8

outside —— —— —— —— ——

0 206147583 512368047 162054378 204761853 208134657

1 162045378 156320487 165423078 612047583 120685734

2 287640153 215368740 216748530 278016435 287103654

3 421068357 531268470 216584307 240831765 832510476

4 426015783 162458037 641205783 427061853 204851763

5 125063478 513620847 165230487 210856743 210853647

6 640127538 165204378 614027538 264170583 216084573

7 274601853 271650834 274615083 274086153 278406153

8 287461350 251368407 216847350 287410365 283074165

表格I：为比特流中传送的排序的函数的预测模式

在此，当U和L的预测模式是2时，如在JVT编码器的WD2中所规定的那样，给出块C的预测模式的一个实例。字符串(2，8，7，1，0，6，4，3，5)表示：对于块C来说，模式2也是最大可能的模式。模式8是下一最大可能模式，等等。表明第n个最大可能的模式将用于块C的信息将被传输到译码器。用于块C的模式的排序也能够通过列出每一模式的等级来规定：等级越高，预测方法越不可能。对于上述实例来说，等级列表是(5，4，1，8，7，9，6，3，2)。当模式(0，1，2，3，4，5，6，7，8)与等级列表(5，4，1，8，7，9，6，3，2)相关联时，我们能够知道：模式0具有等级5，模式1具有等级4，等等。

为了更加有效的编码，能够以一个代码字来编码关于两个4×4块的帧内预测(intra prediction)的信息。

上述方法具有一个主要缺陷一需要存储器来保持在给定块U和L的预测模式的情况中用于块C的预测模式的排序。在JVT编码器的WD2中，因为9个模式用于预测，所以对于块U和L来说，存在9×9个可能的模式组合。对于每一组合，不得不规定9个可能模式的排序。这意味着：需要9×9×9个字节(在这里假设一个数字需要一个字节)来规定预测模式的排序。另外，需要更多的存储器来规定特殊的情况—例如，如果块U和L之中的一个或两个都不可利用。

因而，有益的和希望的是提供一种方法和设备，用于编码数字图像，其中存储器需求减少，同时编码效率的损失是最小的。

发明内容

提供用于使用模内块预测来编码数字图像的方法和设备。用于邻近块(U，L)的每一种预测模式组合的预测模式的列表被获得。分配给每一预测模式组合的模式可以分成两组。第一组包括m(m小于可用模式的总数n)个最大可能的预测模式，并且第二组包括剩余模式。第一组中的模式根据其概率被排序。该排序可以被规定为从最大可能的模式到最小可能的模式进行排序的模式列表。属于第二组的模式可以以某一预定方式进行排序，这可以根据已可用于译码器的信息来指定。关于为给定块选择的模式是属于第一组还是属于第二组的信息被发送到译码器。如果属于第一组，那么指示第i个最大可能的模式在给定块U和L的模式组合的情况中应用于块C的信息被发送。如果此模式属于第二组，那么指示应使用该组的第j个模式的信息被发送。

一旦阅读了结合图4a-8进行的描述，本发明将变得清楚。

附图说明

图1是说明用作空间预测模式的8个方向模式的示意性表示。

图2是说明用于当前4×4像素块的预测的像素的示意性表示。

图3是说明用于预测当前块的两个邻近块的示意性表示。

图4a是说明用于预测当前块的两个邻近块的空间预测模式的示意性表示。

图4b是说明与图4a具有镜像关系的两个邻近块的空间预测模式的示意性表示。

图5a是说明另一空间预测模式对的示意性表示。

图5b是说明镜像模式对的示意性表示。

图6是说明空间预测的方法的流程图。

图7是说明用于实施根据本发明实施例的方法的数字图像块传送系统的方框图。

图8是说明实施根据本发明实施例的方法的便携式视频电信设备的方框图。

具体实施方式

本发明的一个实施例利用以下特性：即，有可能获得用于邻近块的预测模式的一个组合的预测模式的排序表，作为另一组合的预测模式的函数。为了说明目的，如图3所示，两个邻近块U和L的预测模式用于推断当前块C的预测。注意，如图4b所示那样，通过对角翻转(flip)预测模式，能够获得图4a中预测模式的组合。因此，当使用图4a中的模式组合时，用于块C的第n个最大可能的预测模式应与图4b中模式组合的“对角翻转的”、第n个最大可能的预测模式相同。因而，如果所述邻近块U和L具有模式“垂直的”和“垂直的”，那么当前块C的预测模式最大可能是“垂直的”(图4b)。因此，当这些块相对于对角线(“下/右”)被翻转或镜像时，根据“水平的”和“水平的”，我们知道对于当前块C应得到“水平的”。类似地，如图5a所示那样，如果这些邻近块U和L具有模式2和3，那么如图5b所示那样，被翻转的块U和L将具有模式3和1。

为了进一步说明该实例，我们如下定义将预测方向i映射到j的函数f，即j＝f(i)。给每一预测模式i分配通过围绕从块的左上角到块的右下角延伸的对角线进行镜像而获得的一个预测模式j。对于图1中的预测模式，在表格II中概括所得到的分配。

i	j
i	j	0	0
1	2	0	0
1	2	2	1
3	3	2	1
3	3	4	4
5	8	4	4
5	8	6	7
7	6	6	7
7	6	8	5

表格II

当如上定义该函数时，基于用于组合(i，j)的排序表，能够确定用于模式组合(k，l)的预测模式的排序表，使得i＝f(l)和j＝f(k)，即，如果预测模式p是组合(i，j)的第n个最大可能的模式，那么组合(k，l)的第n个模式等于f(p)。作为一个实例，让我们考虑给之分配块C的模式排序表(1，6，2，5，3，0，4，8，7)的模式组合(1，1)。根据该排序表，通过使用函数f：(2，7，1，8，3，0，4，6，5)进行映射，能够获得用于组合(2，2)的预测模式的排序表。类似地，用于组合(2，3)的预测模式的排序表是(2，0，8，1，3，7，5，4，6)，并且模式f(2，3)＝(3，1)的排序表是f(，0，8，1，3，7，5，4，6)＝(1，0，5，2，3，6，8，4，7)。应注意：用于(k，l)的预测模式的排序表能够基本上与用于(i，j)的预测模式的排序表对称。因而，映射函数f可以被描述为镜像函数。

本发明的主要目的是减小规定预测模式的表格的大小，作为已编码的邻近块的预测模式的函数(例如，表格I)。该表格是在训练处理期间获得的。对于其邻近块具有模式组合(i，j)的某一大量的块C来说，为了查找模式组合(i，j)的预测模式的排序表，计算根据给定的选择标准(例如，最小预测误差)选择每一预测模式的数量。该数量确定分配给组合(i，j)的预测模式列表中预测模式的等级，越频繁地选择该模式，其在预测模式列表中的等级越高。

当在训练处理期间使用描述的预测模式的映射时，规定预测模式的结果(resulting)表格将更小。如果能够根据组合(i，j)的排序表获得组合(k，l)的排序表，那么只需要存储组合(i，j)的排序表。在训练期间，可以如下引入映射。共同地计数用于组合(k，l)和(i，j)的每一预测模式的出现频率，使得i＝f(l)和j＝f(k)，也就是，如果为组合(k，l)选择了预测模式p，那么也计数为组合(i，j)选择的预测模式f(p)。当为组合(i，j)选择预测模式s时，也计数为组合(k，l)选择预测模式f(s)。

表格III示出了根据本发明的缩减的预测表格。

L/U outside 0 1 2 3

outside —— 0—— 01—— 10—— ——

0 02—— 024167835 150642387 027486135 013245867

1 —— 150643278 021468735 105436287

2 20—— 124086573 283407156

3 —— 385240167

4 ——

5 ——

6 ——

7 ——

8 ——

L/U 4 5 6 7 8

outside —— —— —— —— ——

0 012465738 150346287 160452387 024716835 028413765

1 104562378 156403287 165403278 014652738 014256837

2 240781635 214835076 241086735 207483165 280473156

3 413205876 531480267 146530287 247308516 832045176

4 420671835 145602387 461027538 407261835 248073165

5 513406287 165402387 240158376 082354167

6 614503287 614057328 042617385 024681357

7 427016385 426701835 284703615

8 328514067 248361075 248703651

表格III：缩减的预测表格

在用于一些组合(U，L)的表格III中，没有给出预测模式的排序表。当需要那些“被恢复的”元素用于预测当前块时，通过映射保存在预测表格中的相应元素，能够“恢复”用于那些组合的排序表。因而，通常，只要通过映射能够根据预测表中的另一元素获得或恢复预测表中的一个元素，就能够去除这一个元素。换句话说，在包含第一组元素和第二组元素的预测表中，其中第二组元素中的每一元素利用映射函数而能够根据第一组中的相应元素进行恢复，则第二组元素能够被去除。

图6是说明在使用预测表中对称性时的译码阶段的流程图。如图所示，方法100包括在步骤110上接收多个图像块。当处理当前图像块时，在步骤120，确定在没有映射的情况下是否能够从邻近块的预测模式中获得当前块的预测模式。如果可以的话，则在步骤132，基于邻近块的预测模式来确定当前块的空间预测模式。否则，在步骤130，提供邻近块的互补预测模式，并且在步骤140，基于邻近块的互补预测模式来确定当前块的互补预测模式。在步骤150，将当前块的互补预测模式映射到当前块的预测模式。

作为选择，在使用块U和L的不同预测模式来规定块C的预测模式之前，有可能将相同的标签分配给块U和L的不同预测模式(将它们组合在一起)。例如，在JVT编码器的情况中，模式1，5和6能够被一起分组并且被标记为1，模式2，7和8能够被一起分组并且被标记为2。如从图1中所能够看到的，模式7和8的方向接近于模式2的方向，并且模式5和6的方向接近于模式1的方向。在此分组之后，每个块U和L都能够具有标记为0，1，2，3和4的5种模式之一。因此，代替U和L的预测模式的9×9种可能的组合，仅存在5×5种这样的组合。因此，在给定块U和L的预测模式的情况中指定块C的预测模式的排序所要求的存储器将是5×5×9个字节，而不是9×9×9个字节(假设要求存储器中的一个字节来保存1个数字)。而且，如果映射函数f用于“翻转”排序表，那么能够进一步简化预测表。

在表格IV中给出了在一起使用这些方法时规定预测模式的表格的一个实例，作为在比特流中传送的排序的函数。

L/U outside 0 1 2 3 4

outside —— 0—— 01—— 10—— —— ——

0 02—— 024167835 150642387 024781635 013245867 012465738

1 —— 156043278 021468375 153046827 140652378

2 20—— 214806357 283407156 247081635

3 —— 385240167 413205876

4 —— 420671835

表格IV

而且，也有可能限制在给定块U和L的预测模式时用于块C的预测模式的数量。在JVT编码器的情况中，U和L的预测模式将存在9×9种可能的组合。但是对于这些组合中的每一组合来说，仅分配m个模式，其中m小于9。因此，可能的预测模式的数量减少到(9×9×m)＜(9×9×9)。类似地，如果映射函数f用于“翻转”排序表，那么能够进一步简化预测表。

能够同时或单独使用这些方法。

如图7所示，根据本发明，能够很容易地将基于空间预测的帧内编码(intra-coding)结合到数字图像块传送系统。假设：使用某种形式的帧内预测以帧内格式来编码帧，则如下进行所述帧的编码。将被编码的帧的块被逐个引导到图7所示的视频传送系统的编码器50。在图像传送系统的输入27上接收来自于数字图像源例如照相机或录像机(未示出)的帧的块。在已知的方式中，从数字图像源接收到的块包括图像像素值。所述帧能够暂时存储在帧存储器(未示出)中，或者作为选择，编码器直接逐个块地接收输入数据。

这些块被逐个地引导到预测方法选择块35，该预测方法选择块35确定是否能够基于同一帧或分段内先前帧内编码的块来预测将被编码的当前块的像素值。为此，预测方法选择块35接收来自于编码器33的帧缓冲器的输入，其包含先前编码的和随后编码的以及重构的帧内块的记录。在该方式中，预测方法选择块能够确定是否能够基于先前编码的和重构的块来执行当前块的预测。此外，如果适当译码的块可利用，如果可以选择一个以上这样的方法，那么预测方法选择块35能够选择最合适的方法来预测当前块的像素值。应当理解：在某些情况中，不可能预测当前块，因为帧缓冲器33中没有预测中所使用的合适的块。在一个以上预测方法可用的情况中，关于选择的预测方法的信息被提供给多路复用器13，以便进而传输到译码器。也应注意：在一些预测方法中，执行预测所必需的某些参数被发送到译码器。这当然取决于所采取的精确实施并且决不限制根据本发明的基于预测的帧内编码的应用。

在帧内预测块34中预测当前块的像素值。帧内预测块34接收来自于预测方法选择块35的有关选择预测方法的输入以及来自于帧缓冲器33的有关可用于预测的块的信息。根据该信息，帧内预测块34构建当前块的预测。当前块的预测像素值被发送到微分加法器28，该微分加法器通过取得预测的当前块的像素值与从输入27接收的当前块的实际像素值之间的差值来产生预测误差块。接下来，以传输的有效形式，例如使用离散余弦变换(DCT)，在预测误差编码块中编码预测块的误差信息。编码的预测误差块被发送到多路复用器13，以便进一步传输到译码器。数字图像传输系统的编码器也包括译码功能。当前块的被编码的预测误差在预测误差译码块30中被译码并且随后在加法器31中与当前块的预测像素值进行相加。以该方式，获得当前块的译码版本。然后，将译码的当前块传送到帧缓冲器33。

在此，也假设：接收器逐个接收来自于传输信道的形成数字图像帧的块。

在接收机60中，多路分用器接收从编码器50传送的多路分用的编码的预测误差块和预测信息。取决于所述的预测方法，预测信息可以包括在预测处理中使用的参数。应该理解：在仅使用一种帧内预测方法的情况中，涉及用于编码块的预测方法的信息是不必要的，虽然其对于发送在预测过程中使用的参数可能仍然是必要的。在图7中，虚线用于表示可选择的传输和接收预测方法信息和/或预测参数。假设：可以使用一个以上的帧内预测方法，涉及译码的当前块的预测方法的选择的信息被提供给帧内预测块41。帧内预测块41检查帧缓冲器39的内容，以确定是否存在用于预测当前块的像素值的先前译码的块。如果存在这样的图像块，那么帧内预测块41使用利用接收的预测方法信息所指示的预测方法以及从编码器接收到的可能的预测相关参数来预测当前块的内容。由预测误差译码块36接收与当前块相关的预测误差信息，所述预测误差译码块36使用合适的方法来译码预测误差块。例如，如果使用离散余弦变换来编码预测误差信息，那么预测误差译码块执行逆DCT来检索误差信息。然后，在加法器37中将预测误差信息与当前图像块的预测相加，并且加法器的输出被施加到帧缓冲器39。此外，当译码每一块时，将其传送到译码器40的输出，例如，以便在某一形式的显示装置上进行显示。作为选择，可以仅在帧缓冲器39中已经对整个帧进行译码和累加之后显示图像帧。

应该指出：帧内预测块34基于帧缓冲器33提供的先前编码的和随后译码的以及重构的帧内块来而构建当前块的预测。实际上，当前块的预测是使用如表格III或表格IV(图7中未示出)所示的预测表格根据先前重构的帧内块的空间预测模式来确定的。然而，当预测表格中丢失了先前重构的帧内块的预测模式(i，j)的排序表时，映射块32能够用于将先前重构块的空间预测模式映射到互补的或镜像的空间预测模式(k，l)。在这一点上，帧内预测块34能够确定当前块的互补或镜像的预测模式f(p)。通过映射互补预测模式f(p)，再一次使用映射块32来获得当前块的预测模式p。同样，当需要时，使用映射块38来映射。

用于执行(i，j)到(k，l)的映射以及f(p)到p的映射的映射算法能够在软件程序69中被编码，这包括用于执行根据本发明方法的机器可执行步骤或伪代码。有利地，该软件程序被存储在存储媒体中。例如，如图8所示那样，软件程序被存储在CPU 70中驻留的存储单元，或存储在一个单独的存储单元68。图8给出了预定用作便携式视频电信设备的移动终端90的简化示意图，结合了本发明的预测模式映射方法。移动终端90至少包括：用于显示图像的显示模块76；图像捕获设备72；以及用于从音频输入设备82中捕获音频信息并且在音频产生设备80上再生音频信息的音频模块74。有利地，移动终端90进一步包括：用于输入数据和指令的键盘78；无线频率部件64，用于与移动电信网络通信；和信号/数据处理单元70，用于控制电信设备的操作。优选地，数字图像块传送系统(50，60)在处理器70内进行实施。

根据本发明进一步的实施例，在实现有效编码的同时，能够限制存储需求。

已经观察到：对于块U和L的每一模式组合来说，只有块C的几个模式具有高的出现概率。剩余模式的概率相当小。而且，这些剩余模式的出现概率是相似的，并因此其在模式排序集合中的排序对编码效率没有强的影响。

分配给U和L的预测模式的每一组合的模式可以被分成两组。第一组包括m(其中m小于可用模式的总数n)个最大可能的预测模式，并且第二组包括剩余模式。第一组中的模式根据其概率进行排序。如上所述，该排序可以被规定为从最大可能模式到最小可能模式进行排序的模式列表。属于第二组的模式可以以某预定方式来排序，该预定方式可以根据已可用于译码器的信息进行指定。例如，使用较小数量进行标记的预测模式可以放在使用较大数量进行标记的预测模式之前。

换句话说，预测模式被排列成排序集合S。通过组合两个模式排序集合T＝{t₁，t₂，…，t_k}和V＝{v₁，v₂，…，v₁}，产生被分配给U和L的预测模式组合的模式R的排序集合：

R＝{t₁，t₂，…，t_k，v₁，v₂，…，v₁}

对于邻近块U和L的模式组合来说，第一排序集合T中的模式根据其期望的出现概率进行排序。该模式被期望出现越频繁，则应使用越少的比特来传送它。通过从集合S中去除第一集合T的元素并且保持剩余元素的排序，产生模式V的第二排序集合。例如，如果排序集合S中预测i在预测模式j之前，那么在集合V中预测i应在预测模式j之前。

作为一个范例，让我们考虑JVT编码器中可用的模式并且假设对于块U和L的每一模式组合来说，最大可能的模式被分配给第一组。剩余8个模式按照它们数字的升序来列表。为了进一步说明该范例，让我们考虑被分配模式1的模式组合(1，1)为最大可能的模式。模式1构成第一排序集合T。通过从排序集合S去除模式1来产生第二排序集合V，也就是V＝{0，2，3，4，5，6，7，8}。在此，通过以数字升序的方式列表9个预测模式来产生排序集合S，也就是S＝{0，1，2，3，4，5，6，7，8}。

关于为给定块所选择的模式是属于第一组还是第二组的信息被发送到译码器。如果属于第一组，那么指示第i个最大可能的模式在给定块U和L的模式组合时应用于块C的信息被发送。在我们的范例中，如果译码器接收选择第一组的信息，那么不需要进一步的信息，因为仅有一个模式属于该组。如果该模式属于第二组，那么指示该组的第j个模式应被使用的信息被发送。在我们的范例中，如果接收到第一模式应被选择的信息，那么应选择模式0。

实施选择方案：

1.用于在集合S中排序模式的规则可以不同。

2.规定第一集合T的元素的方式取决于邻近块U和L的预测模式。该集合中的元素例如能够被规定为存储在编码器和译码器的存储器中的表格，或者能够根据模式U和L本身被推断出来。

3.选择哪个模式的信号发送给译码器能够利用许多方式来完成，例如：

-关于排序集合R中预测模式的等级的信息能够被发送。

-有关选择集合T或V的信息的后面跟随着选择集合中模式的等级。

如下描述JVT编码器中规定的预测模式的优选实施方案。

在使用块U和L的预测模式指定块C的预测模式之前，同一标签可以被分配给块U和L的不同预测模式。对角模式3，5和8被一起分组并且被标记为3，并且对角模式4，6和7被一起分组并且被标记为4。在此分组之后，每个块U和L都具有标记为0，1，2，3和4的五种模式之一。因此，代替U和L的9×9种可能的预测模式组合，仅存在5×5种这样的组合。

通过按照其数字的升序形式列表9种预测模式，产生排序集合S，也就是S＝{0，1，2，3，4，5，6，7，8}。对于U和L的预测模式的每一组合来说，仅分配一个最大可能的模式，即用于每一种组合的排序集合T仅包含一个元素。在表格V中给出了此分配情况。

L/U	outside	0	1	2	3	4
L/U	outside	0	1	2	3	4	outside	0	0	1
0	0	0	1	0	0	0	outside	0	0	1
0	0	0	1	0	0	0	1		0	1	0	1	1
2	2	2	1	2	2	2	1		0	1	0	1	1
2	2	2	1	2	2	2	3		0	1	2	3	4
4		0	1	2	4	4	3		0	1	2	3	4

表格V

是否使用最大可能模式的第一信息被发送到译码器。如下表所给出的那样，为两个4×4块共同编码此信息。

码字	块1	块2
码字	块1	块2	0	x	x
10			0	x	x
10			110	x
111		x	110	x

表格VI

x表示应使用最大可能模式。对于不使用最大可能模式m的块来说，指示应使用哪些剩余模式的码数字0-7被发送。因为根据其的数字来排序剩余模式，所以具有较小数字的模式位于具有较高数字的模式之前，当接收到码数字q时，使用的预测模式等于q，如果q＜m，否则，等于q+1。

码数字q作为3比特码字被发送，这是相应码数字的二进制表示。

根据本发明，此方法的存储器的节省在于以下实事：用于块U和L的模式的每一组合的译码器至多必须存储排序集合S和T，而S对于块U和L的模式的所有组合来说是相同的。

总之，本发明提供了方法、设备和系统，用于使用用于模内块预测的多个空间预测模式将包括多个图像块的图像信息编码为比特流和从该比特流中译码图像信息。当前块(C)的空间预测模式能够基于多个导出的预测模式来确定，所述导出的预测模式是从当前块(C)的多个邻近块(U，L)的空间预测模式中导出的。n个导出的预测模式被分组为具有m个第一预测模式的第一组和具有第二预测模式的第二组，其中m＜n。与第二预测模式相比，第一预测模式具有较高的出现概率。虽然第一预测模式根据其出现概率进行排序，但是第二预测模式以译码器已知的预定方式进行排列。因而，排序集合被提供给译码设备，以允许该译码设备基于被提供的排序集合来确定第二预测模式的排序。排序集合与当前块(C)的邻近块(U，L)的空间预测模式的一组或多组相关联。而且，比特流可以包括编码的信息，该编码的信息指示在具有最高出现概率的导出预测模式被选择用于编码当前块(C)时哪个第一预测模式具有最高的出现概率。本发明也提供一种具有伪代码的计算机程序，用于将多个导出的预测模式分组为第一和第二组，并且用于根据第一预测模式之中的出现概率来排序第一预测模式。

虽然结合了其优选实施例描述了发明，但是本领域技术人员将理解，在不脱离本发明的范畴的情况下，可以在其形式和细节上进行上述的以及不同的其他改变、省略和偏离。

Claims

1.一种使用模内块预测的多个空间预测模式将包括多个图像块的图像信息编码为比特流的方法，其中基于多个导出的预测模式组合来确定当前块的空间预测模式，其中多个导出的预测模式组合是基于当前块的多个邻近块的空间预测模式和预测模式组合中模式的排序导出的，所述方法的特征在于：

将导出的预测模式组合分为第一组和第二组，第一组预测模式具有m个预测模式，而第二组预测模式具有(n-m)个预测模式，其中n是可用预测模式的总数，以及m小于n，并且其中第一组预测模式具有比第二组预测模式更高的出现概率，以及

将指示当前块的空间预测模式是属于第一组还是属于第二组的信息编码为比特流。

2.如权利要求1的方法，其特征进一步在于：

根据第一组预测模式之中的出现概率，排序第一组预测模式。

3.如权利要求1的方法，其特征进一步在于：

以译码设备已知的预定方式，排列第二组预测模式。

4.如权利要求1的方法，其特征进一步在于：

将指示被选择用于编码当前块的第一组预测模式中的哪一个具有最高出现概率的信息编码为比特流。

5.如权利要求1的方法，其特征进一步在于：

预测模式的排序集合为译码设备所知，以致于该译码设备基于预测模式的排序集合来确定第二组预测模式的顺序。

6.如权利要求5的方法，其特征进一步在于：

预测模式的排序集合与当前块的多个邻近块的一个以上的空间预测模式组相关联。

7.如权利要求1的方法，其特征进一步在于：

可利用多个不同的整数来表示导出的预测模式组合，并且根据译码设备已知的整数顺序来排序第二组预测模式。

8.如权利要求1的方法，其中可利用多个不同的整数来表示导出的预测模式组合，并且其中以整数的升序来排列这些整数，以提供预测模式的排序集合，所述方法的特征进一步在于：

从预测模式的排序集合中去除对应于第一组预测模式的整数，以提供修改的预测模式的排序集合，从而允许译码设备基于修改的预测模式的排序集合来确定第二组预测模式的顺序。

9.如权利要求1的方法，其中选择导出的预测模式组合之一用于编码当前块，所述方法的特征进一步在于：

如果选择的一个导出的预测模式组合在第二组中，则给译码设备提供指示第二组预测模式之中的一个模式的信息。

10.如权利要求1的方法，其特征进一步在于：

在需要时，映射导出的邻近块的空间预测模式组合，以提供邻近块的互补预测模式组合，

基于邻近块的互补预测模式组合，确定当前块的互补预测模式，以及

将获得的当前块的互补预测模式映射在当前块的空间预测模式上。

11.如权利要求10的方法，其特征在于：

利用镜像函数来执行块的互补预测模式的映射。

12.一种编码设备，用于使用模内块预测的多个空间预测模式来编码包括多个图像块的图像，其中基于多个导出的预测模式组合来确定当前块的空间预测模式，其中多个导出的预测模式组合是基于当前块的多个邻近块的空间预测模式和预测模式组合中模式的排序导出的，所述编码设备的特征在于：

用于将导出的预测模式组合分为第一组和第二组的装置，第一组具有m个预测模式，而第二组具有(n-m)个预测模式，其中n是可用预测模式的总数，以及m小于n，并且其中第一组预测模式具有比第二组预测模式更高的出现概率，而且以译码设备已知的预定方式来排序第二组预测模式，以及

用于将指示当前块的空间预测模式是属于第一组还是属于第二组的信息编码为比特流的装置。

13.如权利要求12的编码设备，其特征进一步在于：

响应于第一组而用于根据第一组预测模式之中的出现概率来排序第一组预测模式以提供预测模式的排序集合的装置。

14.如权利要求12的编码设备，其特征进一步在于：

用于给译码设备提供指示具有最高出现概率的预测模式的排序集合中的预测模式的信息的装置。

15.如权利要求12的编码设备，其特征进一步在于：

能够在需要时基于邻近块的空间预测模式提供邻近块的互补预测模式的装置，以便能够基于邻近块的互补预测模式来确定当前块的互补预测模式，以及

响应于当前模式的互补预测模式而用于基于当前模式的互补预测模式的映射来提供当前块的空间预测模式的装置。

16.一种用于使用模内块预测的多个空间预测模式从比特流中译码包括多个图像块的图像信息的方法，其中基于多个导出的预测模式组合来确定当前块的空间预测模式，其中多个导出的预测模式组合是基于当前块的多个邻近块的空间预测模式和预测模式组合中模式的排序导出的，所述方法的特征在于：

将导出的预测模式组合分为第一组和第二组，第一组具有m个预测模式，而第二组具有(n-m)个预测模式，其中n是可用预测模式的总数，以及m小于n，并且第一组预测模式具有比第二组预测模式更高的出现概率，以及其中将指示当前块的空间预测模式是属于第一组还是属于第二组的信息编码为比特流；和

从比特流中译码指示当前块的空间预测模式是属于第一组还是属于第二组的信息，以允许译码设备基于译码信息来确定当前块的空间预测模式。

17.如权利要求16的方法，其特征进一步在于：

18.如权利要求16的方法，其特征进一步在于：

以译码设备已知的预定方式，排列第二组预测模式。

19.如权利要求16的方法，其特征进一步在于：

译码信息也指示被选择用于编码和译码当前块的第一组预测模式中的哪一个具有最高出现概率。

20.如权利要求16的方法，其特征进一步在于：

将预测模式的排序集合提供给译码设备，以允许该译码设备基于预测模式的排序集合来确定第二组预测模式的顺序。

21.一种译码器，能够使用模内块预测的多个空间预测模式从比特流中译码包括多个图像块的图像信息，其中基于多个导出的预测模式组合来确定当前块的空间预测模式，其中多个导出的预测模式组合是基于当前块的多个邻近块的空间预测模式和预测模式组合中模式的排序导出的，其中：

导出的预测模式组合被分为第一组和第二组，第一组具有m个预测模式，而第二组具有(n-m)个预测模式，其中n是可用预测模式的总数，以及m小于n，并且其中第一组预测模式具有比第二组预测模式更高的出现概率，所述译码器的特征在于：

响应于译码信息而用于确定当前块的空间预测模式是属于第一组还是属于第二组的装置，以及

用于基于所述确定来选择空间预测模式的装置。

22.如权利要求21的译码器，其特征在于：

根据第一组预测模式之中的出现概率，排序第一组预测模式中的预测模式。

23.如权利要求21的译码器，其特征在于：

以该译码器已知的预定方式，排列第二组预测模式，

所述译码器的特征进一步在于：

用于存储指示所述预定方式的信息的装置。

24.如权利要求21的译码器，所述确定装置也能够基于译码信息来确定被选择用于译码当前块的第一组预测模式中的哪一个具有最高出现概率。

25.一种图像编码系统，用于使用模内块预测的多个空间预测模式对包括多个图像块的图像进行编码和译码，其中基于多个导出的预测模式组合来确定当前块的空间预测模式，其中多个导出的预测模式组合是基于当前块的多个邻近块的预测模式和预测模式组合中模式的排序导出的，所述编码系统的特征在于：

用于将导出的预测模式组合分为第一组和第二组的装置，第一组具有m个预测模式，而第二组具有(n-m)个预测模式，其中n是可用预测模式的总数，以及m小于n，并且第一组预测模式具有比第二组预测模式更高的出现概率，

用于将指示当前块的空间预测模式是属于第一组还是属于第二组的组信息编码为比特流的装置，以及

用于从比特流中译码所述组信息以允许译码设备基于所述译码信息来确定当前块的空间预测模式的装置。

26.如权利要求25的图像编码系统，其特征进一步在于：

响应于第一组而用于根据第一组预测模式之中的出现概率来排序第一组预测模式的装置。

27.如权利要求25的图像编码系统，其特征进一步在于：

响应于第二组而用于以译码设备已知的预定方式来排列第二组预测模式的装置。