CN113170114A

CN113170114A - 仿射线性加权帧内预测

Info

Publication number: CN113170114A
Application number: CN201980074244.5A
Authority: CN
Inventors: 乔纳森·普法夫; 海科·施瓦茨; 菲利普·赫勒; 米夏埃尔·沙费尔; 罗曼·里沙克; 托比亚斯·欣茨; 菲利普·默克尔; 比约恩·施塔伦贝格尔; 马丁·温肯; 米沙·斯科曼; 德特勒夫·马尔佩; 托马斯·威甘德
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2018-09-13
Filing date: 2019-09-13
Publication date: 2021-07-23
Anticipated expiration: 2039-09-13
Also published as: EP3850840A1; BR112021004890A2; MX2024008869A; MX2021002931A; US20230276048A1; TWI759629B; TW202019183A; MX2024008864A; US11659169B2; JP2022500916A; JP7543486B2; CN118042126A; US20210218960A1; KR20240007716A; WO2020053394A1; KR20210058885A; TWI801087B; CN113170114B; KR102622452B1; JP7500547B2

Abstract

公开了用于逐块编码和解码的技术。这些技术可以应用于编码器、解码器以及用于编码和/或解码的方法。在一个示例中，公开了一种用于从数据流(12、80)中解码图片(10)的解码器(54)。解码器可以被配置为通过使用线性或仿射线性变换(17M)将与图片(10)的预定块(18)相邻的P个相邻样本(17'c、17'a)的集合映射到用于该预定块(18)的样本的Q个预测值的集合，来预测该预定块(18)。线性或仿射线性变换(17M)可以包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据预定块(18)的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

Description

仿射线性加权帧内预测

技术领域

本文档涉及尤其包括仿射线性加权帧内预测(ALWIP)的技术。

背景技术

将描述不同的发明实施例和方面。这些实施例中的至少一些尤其涉及用于视频编码(例如高效率视频编码(HEVC))的方法和/或装置。

另外，进一步的实施例将由所附权利要求书限定。

应该注意的是，在一些情况下，可选地，可以通过以下各章中描述的任何细节(特征和功能)来补充由权利要求所定义的任何实施例。

另外，在以下各章中描述的实施例可以单独使用，并且还可以由另一章中的任何特征或权利要求中包括的任何特征来补充。

另外，应当注意，本文描述的各个方面可单独或组合使用。因此，可以将细节添加到所述各个方面中的每个方面，而无需将细节添加到所述方面中的另一个方面。

还应当注意，本公开显式或隐式地描述了解码和/或编码系统和/或方法的特征。

此外，本文公开的与方法有关的特征和功能也可以在装置中使用。此外，本文中关于装置公开的任何特征和功能也可以在对应的方法中使用。换言之，本文公开的方法可以由关于装置描述的任何特征和功能来补充。

另外，如将在“实现备选方案”部分中描述的，本文中描述的任何特征和功能可以以硬件或软件来实现，或者可以使用硬件和软件的组合来实现。

此外，在一些示例中，括号(“(…)”或“[…]”)中描述的任何特征可以是可选的。

实现用于对要编码和/或解码的块进行预测的更多执行技术是该技术的恒定目标。例如，优选地，有效地压缩数据流以减少代码的长度。

发明内容

根据一方面，公开了一种用于从数据流中解码图片的解码器，被配置为通过以下步骤来预测图片的预定块：

使用线性或仿射线性变换将与预定块相邻的P个相邻样本的集合映射到用于预定块的样本的Q个预测值的集合，

其中，线性或仿射线性变换包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

该解码器可以使得经由任何常规的映射规则，P*Q个加权因子彼此不相关。

该解码器可以使得以下二者之间的互相关的最大值的均值低于预定阈值：与相应预测值有关的第一系列加权因子，以及与除该相应预测值之外的预测值有关的第二系列加权因子或者第二系列加权因子的反转版本，而无论第二系列加权因子还是第二系列加权因子的反转版本导致较大的最大值。

该解码器可以使得预定阈值是0.3。

该解码器可以使得P个相邻样本沿着一维路径定位，一维路径沿着预定块的边界延伸，并且对于Q个预测值中的每个预测值，与相应预测值有关的一系列P个加权因子以沿着预定方向遍历一维路径的方式排列。

该解码器可以被配置为：

针对预定块，从数据流中导出预测残差，以便针对Q个预测值的集合中的每个预测值获得对应的残差值，以及

通过用对应的残差值校正Q个预测值集合中的每个预测值来重构预定块，以获得对应的重构值，使得对应的重构值严格地线性依赖于P个相邻样本。

该解码器可以使得，其中，

解码器被配置为将图片细分为不同块大小的多个块，多个块包括预定块，

其中，对于块大小集中的每个块大小，解码器支持：

帧内预测模式的第一集合，第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，以及

帧内预测模式的第二集合，其中，对于帧内预测模式的第二集合中的每个帧内预测模式，根据相应的帧内预测模式，通过使用相关联的线性或仿射线性变换将与相应块大小的块相邻的P个相邻样本的集合映射到用于相应块的样本的Q个预测值的集合上来预测相应块大小的块，

其中，对于块大小集中的每个块大小，帧内预测模式的第二集合内用于相应块大小的帧内预测模式的相关联的线性或仿射线性变换相互不同，并且帧内预测模式的第二集合针对块大小集中的块大小的基数一致，但是帧内预测模式的第二集合内用于块大小集内的不同块大小的帧内预测模式的相关联的线性或仿射线性变换不能通过缩放彼此变换。

根据一方面，公开了一种用于从数据流中解码图片的方法，包括：

根据一方面，公开了一种用于根据图片编码数据流的编码器，被配置为：

其中，线性或仿射线性变换包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

该编码器可以使得经由任何常规的映射规则，P*Q个加权因子彼此不相关。

该编码器可以使得以下二者之间的互相关的最大值的均值不低于预定阈值：与相应预测值有关的第一系列加权因子，以及与除该相应预测值之外的预测值有关的第二系列加权因子或者第二系列加权因子的反向版本，而无论第二系列加权因子还是第二系列加权因子的反转版本导致较大的最大值。

该编码器可以被配置为将线性或仿射线性变换用于预定块的亮度分量。

根据一方面，公开了一种编码方法，包括：

根据一方面，公开了一种用于从数据流中解码图片的解码器，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，该解码器被配置为：

通过以下步骤对图片的预定块进行解码：

基于数据流中的第一信号通知，将预定块分配给第一集合或第二集合，

根据用于与预定块相邻的相邻块的帧内预测模式，对所分配的帧内预测模式集进行排序，以获得帧内预测模式的列表，

针对预定块，从数据流中导出帧内预测模式的列表中的索引，

使用索引指向的帧内预测模式来预测预定块，

其中，该解码器被配置为：

如果所分配的集合是帧内预测模式的第二集合，则在对所分配的集合进行排序时，使用第一映射，第一映射将预测模式的第一集合中的每个帧内预测模式映射到帧内预测模式的第二集合中的代表性帧内预测模式，和/或

如果分配的集合是帧内预测模式的第一集合，则在对所分配的集合进行排序时，使用第二映射，第二映射将预测模式的第二集合中的每个帧内预测模式映射到帧内预测模式的第一集合中的代表性帧内预测模式。

根据一方面，公开了一种用于从数据流中解码图片的解码器，对于不同块大小中的每个块大小均支持帧内预测模式集，该解码器被配置为：

通过以下步骤对图片的预定块进行解码：

根据用于与预定块相邻的相邻块的帧内预测模式，对用于预定块的块大小的帧内预测模式集进行排序，以获得帧内预测模式的列表，

使用索引指向的帧内预测模式来预测预定块，

其中，该解码器被配置为：

如果相邻块中的一个相邻块的大小与预定块的大小不同，则在对所分配的集合进行排序时，使用映射，该映射将帧内模式的集合中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式集中用于预定块的块大小的代表性帧内预测模式。

该解码器还可以被配置为，使用可变长度码从数据流中解码索引，使得码长度单调地依赖于帧内预测模式的列表中由索引指向的帧内预测模式的等级。

该解码器可以使得，可变长度码是一元码。

该解码器可以使得，可变长度码是截断二元码。

该解码器可以被配置为，对所分配的帧内预测模式集进行排序，使得所分配的帧内预测模式集内用于相邻块的帧内预测模式或者经由第一映射或第二映射作为用于相邻块的帧内预测模式被置于列表的起始处。

该解码器可以被配置为，对用于预定块的块大小的帧内预测模式集进行排序，使得帧内预测模式集内用于相邻块的帧内预测模式或者经由映射作为用于相邻块的帧内预测模式被置于列表的起始处。

该解码器可以被配置为，使得根据帧内预测模式的第二集合中的每个帧内预测模式，通过使用线性或仿射线性变换将与预定块相邻的P个相邻样本的集合映射到用于预定块的样本的Q个预测值的集合，来预测预定块，

其中，对于帧内预测模式的第二集合中的每个帧内预测模式，线性或仿射线性变换包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

该解码器可以被配置为，使得根据帧内预测模式集中的每个帧内预测模式，通过使用线性或仿射线性变换将与预定块相邻的P个相邻样本的集合映射到用于预定块的样本的Q个预测值的集合，来预测预定块，

其中，对于帧内预测模式集中的每个帧内预测模式，线性或仿射线性变换包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

该解码器可以使得，

解码器被配置为对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，解码器被配置为：

如果相邻块中的一个相邻块与预定块具有所述块大小集内的相同块大小，但是被分配给帧内预测模式的第一集合和第二集合中的不同集合，则在对所分配的集合进行排序时，使用第一映射和第二映射，以及

如果相邻块中的一个相邻块与预定块具有所述块大小集内的不同块大小，则在对所分配的集合进行排序时，使用以下步骤，

如果为预定块分配的集合是用于预定块的块大小的第二集合，而为一个相邻块分配的集合是用于一个相邻块的块大小的第一集合，则使用第三映射，第三映射将预测模式的第一集合中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第二集合中用于预定块的块大小的代表性帧内预测模式，和/或，

如果为预定块分配的集合是用于预定块的块大小的第一集合，而为一个相邻块分配的集合是用于一个相邻块的块大小的第二集合，则使用第四映射，第四映射将预测模式的第二集合中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第一集合中用于预定块的块大小的代表性帧内预测模式，和/或

如果相邻块中的一个相邻块与预定块具有块大小集内的相同块大小，如果为预定块分配的集合是用于预定块的块大小的第二集合并且为一个相邻块分配的集合是用于一个相邻块的块大小的第二集合，

则使用第五映射，第五映射将预测模式的第二集合中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第二集合中用于预定块的块大小的代表性帧内预测模式。

该解码器可以使得，

解码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第一集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，解码器被配置为：

如果预定块是非方形的，则使用索引指向的帧内预测模式，通过以下步骤执行对预定块的预测：

如果预定块以第一方式定向，则对与预定块相邻的一系列相邻样本应用与索引指向的帧内预测模式相关联的线性或仿射线性变换，以及

如果预定块以垂直于所述第一方式的第二方式定向，则对与预定块相邻的一系列相邻样本的反转版本应用与索引指向的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对预测块进行转置。

该解码器可以被配置为使得，

其中，帧内预测模式的第二集合包括帧内预测模式的第一子集和帧内预测模式的第二子集，并且预定块是方形的，

其中，解码器被配置为：

使用索引指向的帧内预测模式，通过以下步骤执行对预定块的预测，

如果索引指向的帧内预测模式包括在第一子集中，则对与预定块相邻的一系列相邻样本应用与索引指向的帧内预测模式相关联的线性或仿射线性变换，以及

如果索引指向的帧内预测模式包括在第二子集中，则对与预定块相邻的一系列相邻样本的反转版本应用与帧内预测模式的第一子集中的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对预测块进行转置。

该解码器可以使得，对于第二集合中的至少一个帧内预测模式，使用一个帧内预测模式进行预测涉及从空间域到变换域或者从变换域到变换域来预测预定块。

该解码器可以被配置为，将第一集合或第二集合中的变换用于亮度分量，将第一集合中的变换用于色度分量。

该解码器可以被配置为，将第二集合中用于亮度分量的模式映射到第一集合中用于色度分量的模式。

该解码器可以使得，第二映射将第二集合中的多个模式映射到第一集合中的单个模式。

该解码器可以使得，第二映射将第二集合中的所有模式映射到第一集合中的单个模式。

该解码器可以使得，第一集合中的单个模式是平面模式。

根据一方面，公开了一种用于从数据流中解码图片的方法，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，该方法包括：

通过以下步骤对图片的预定块进行解码：

根据用于与预定块相邻的相邻块的帧内预测模式，对所分配的预测模式的集合进行排序，以获得帧内预测模式的列表，

使用索引指向的帧内预测模式来预测预定块，

其中，解码基于以下步骤：

如果所分配的集合是帧内预测模式的第一集合，则在对所分配的集合进行排序时，使用第二映射，第二映射将预测模式的第二集合中的每个帧内预测模式映射到帧内预测模式的第一集合中的代表性帧内预测模式。

根据一方面，公开了一种用于将图片编码到数据流中的编码器，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，该编码器被配置为：

通过以下步骤对图片的预定块进行编码：

将预定块分配给第一集合或第二集合，并且将该分配编码为数据流中的第一信号通知，

针对预定块，确定帧内预测模式的列表中的索引，

使用索引指向的帧内预测模式来预测预定块，

其中，编码器被配置为：

根据一方面，公开了一种用于将图片编码到数据流中的编码器，对于不同块大小中的每个块大小均支持帧内预测模式集，该编码器被配置为：

通过以下步骤对图片的预定块进行编码：

针对预定块，在数据流中插入帧内预测模式的列表中的索引，

使用索引指向的帧内预测模式来预测预定块，

其中，编码器被配置为：

如果相邻块中的一个相邻块的大小与预定块的大小不同，则在对所分配的集合进行排序时，使用映射，映射将预测模式集中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式集中用于预定块的块大小的代表性帧内预测模式。

该编码器还可以被配置为，使用可变长度码将索引编码到数据流中，使得码长度单调地依赖于帧内预测模式的列表中由索引指向的帧内预测模式的等级。

该编码器可以使得，可变长度码是一元码。

该编码器可以被配置为，根据与先前将预测模式用于其他块有关的概率和/或历史数据对预测模式进行排序。

该编码器还可以被配置为，将第二信号通知写入数据流中，第二信号通知具有直到第二符号为止的连续重复的第一符号，以便基于符号重复的长度来导出列表中的索引。

该编码器可以被配置为，对所分配的帧内预测模式集进行排序，使得所分配的帧内预测模式集内用于相邻块的帧内预测模式或者经由第一映射或第二映射作为用于相邻块的帧内预测模式被置于列表的起始处。

该编码器可以被配置为，对用于预定块的块大小的帧内预测模式集进行排序，使得帧内预测模式集内用于相邻块的帧内预测模式或者经由映射作为用于相邻块的帧内预测模式被置于列表的起始处。

该编码器可以被配置为，使得根据帧内预测模式的第二集合中的每个帧内预测模式，通过使用线性或仿射线性变换将与预定块相邻的P个相邻样本的集合映射到用于预定块的样本的Q个预测值的集合，来预测预定块，

其中，对于帧内预测模式的第二集合中的每个帧内预测模式：

线性或仿射线性变换包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，

对于Q个预测值中的每个预测值，加权因子包括与相应预测值有关的一系列P个加权因子，其中，该一系列P个加权因子在根据预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

该编码器可以被配置为，使得根据帧内预测模式集中的每个帧内预测模式，通过使用线性或仿射将与预定块相邻的P个相邻样本的集合映射到用于预定块的样本的Q个预测值的集合，来预测预定块，

其中，对于帧内预测模式的第二集合中的每个帧内预测模式，

该编码器可以使得，编码器被配置为将图片细分为不同块大小的多个块，多个块包括预定块，

编码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，解码器被配置为：

如果相邻块中的一个相邻块与预定块具有块大小集内的相同块大小，但是被分配给帧内预测模式的第一集合和第二集合中的不同集合，则在对所分配的集合进行排序时，使用第一映射和第二映射，以及

如果相邻块中的一个相邻块与预定块具有块大小集内的不同块大小(例如它们不相同)，则在对所分配的集合进行排序时，使用以下步骤，

该编码器可以使得，

编码器被配置为图片细分为具有不同块大小的多个块，多个块包括预定块，

编码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第一集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，编码器被配置为：

如果预定块以垂直于第一方式的第二方式定向，则对与预定块相邻的一系列相邻样本的反转版本应用与索引指向的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对预测块进行转置。

该编码器可以使得，

帧内预测模式的第二集合包括帧内预测模式的第一子集和帧内预测模式的第二子集，并且预定块是方形的，

其中，编码器被配置为：

如果索引指向的帧内预测模式包括在第二子集中，则对与预定块相邻的一系列相邻样本的反转版本应用与帧内预测模式的第二子集中的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对预测块进行转置。

该编码器可以使得，对于第二集合中的至少一个帧内预测模式，使用一个帧内预测模式进行预测涉及从空间域到变换域或者从变换域到变换域来预测预定块。

根据一方面，公开了一种用于将图片编码到数据流中的方法，支持帧内预测模式的第一集合和帧内预测模式的第二集合，帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，该方法包括：

将预定块分配给第一集合或所述第二集合，并且将该分配编码为数据流中的第一信号通知，

针对预定块，确定帧内预测模式的列表中的索引，

使用索引指向的帧内预测模式来预测预定块，

编码该数据流，

其中，编码器被配置为：

根据一方面，公开了一种用于从数据流中解码图片的解码器，被配置为，

通过以下步骤来预测图片的预定块：

对在预定块的第一侧边与预定块相邻的相邻样本的第一集合进行变换[例如，FFT、DCT…]，以获得变换系数的第一集合，和/或对在预定块的第二侧边与预定块相邻的相邻样本的第二集合进行变换，以获得变换系数的第二集合，

对变换系数的第一集合和变换系数的第二集合的组合、或者相邻样本的第一集合和变换系数的第二集合的组合、或者相邻样本的第二集合和变换系数的第一集合的组合进行线性或仿射线性变换。

该解码器可以被配置为，

将图片细分为不同大小的多个块，多个块包括预定块，

以与相邻块的大小无关的方式定位相邻样本的第一集合和相邻样本的第二集合，相邻块包括相邻样本的第一集合和相邻样本的第二集合。

[不必采用一整块，而是可以采用一条]

该解码器，被配置为：

将相邻样本的第一集合和相邻样本的第二集合定位为，使得相邻样本的第一集合和相邻样本的第二集合分别沿着第一侧边和第二侧边沿一维路径定位，其中变换系数的第一集合和变换系数的第二集合代表一维变换。

该解码器可以被配置为，通过从变换系数的第一集合中获取变换系数的第一适当子集和/或从变换系数的第二集合中获取变换系数的第二适当子集来形成变换系数的第一集合和变换系数的第二集合的组合，使得该组合分别与变换系数的第一集合和/或变换系数的第二集合中未获取的部分无关。

该解码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生预定块在变换域中的预测子。

该解码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生针对预定块的变换的变换系数的适当子集的预测值[而例如其他被默认设置为零]。

该解码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生预定块在空间域中的预测子。

通过以下步骤来预测图片的预定块：

[例如，将每个部分从空间域变换到变换域，然后才应用(例如线性或仿射)变换]

根据一方面，公开了一种用于将图片编码到数据流中的编码器，被配置为：

通过以下步骤来预测图片的预定块：

该编码器可以被配置为：

将图片细分为不同大小的多个块，多个块包括预定块，

以与相邻块的大小无关的方式定位相邻样本的第一集合和相邻样本的第二集合，相邻块包括所述相邻样本的第一集合和相邻样本的第二集合。

该编码器可以被配置为：

该编码器可以被配置为，通过从变换系数的第一集合中获取变换系数的第一适当子集和/或从变换系数的第二集合中获取变换系数的第二适当子集来形成变换系数的第一集合和变换系数的第二集合的组合，使得该组合分别与变换系数的第一集合和/或变换系数的第二集合中未获取的部分无关。

该编码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生预定块在变换域中的预测子。

该编码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生针对预定块的变换的变换系数的适当子集的预测值。

该编码器可以被配置为，使得对变换系数的第一集合和变换系数的第二集合的组合进行线性或仿射线性变换产生预定块在空间域中的预测子。

根据一方面，公开了一种用于将图片编码到数据流中的方法，包括：

通过以下步骤来预测图片的预定块：

附图说明

图1和图2示出了对图像进行逐块编码的装置。

图3和图4示出了对图像进行逐块解码的装置。

图5示出了要预测的预定块。

图6示出了预测操作。

图7示出了示意传统预测的图。

图8部分地示出了数据流。

图9示出了在示例中要使用的索引。

图10a(细分为图10a'、图10a”和图10a”')以及图10b至图10e示出了用于在不同模式之间进行映射的技术。

图11a和图11b示出了过程的示例。

图11c和图11d示出了映射的示例。

图12(细分为图12'、图12”、图12”'和图12””)和图13示出了过程的示例。

具体实施方式

根据示例的编码器、解码器

在下文中，描述了各种示例，这些示例在使用帧内预测时有助于实现更有效的压缩。一些示例通过花费帧内预测模式集来实现压缩效率的提高。可以将后者添加到启发式设计的其他帧内预测模式中，或者例如可以排他地提供后者。甚至其他示例利用了刚刚讨论的两种特性。

为了容易地理解本申请的以下示例，描述以适于这些示例的可能的编码器和解码器的呈现开始，可以将本申请的随后概述的示例构建到该编码器和解码器中。

图1示出了用于将图片10逐块地编码到数据流12中的装置(在一些示例中也被指示为80，见下文)。该装置使用附图标记14指示，并且可以是静止图片编码器或视频编码器。换言之，当编码器14被配置为将包括图片10在内的视频16编码到数据流12中时，图片10可以是视频16中的当前图片，或者编码器14可以排他地将图片10编码到数据流12中。下面的示例可以利用装置14。

如所提到的，编码器14以逐块方式或基于块执行编码。为此，编码器14将图片10细分为块，编码器14以块为单位将图片10编码到数据流12中。下面将更详细地阐述图片10可能细分为块18的示例。一般地，细分可以例如通过使用分层多树细分，从图片10的整个图片区域或从图片10的预分区到树块阵列开始多树细分，并以恒定大小的块18(例如以行和列布置的块阵列)结束，或者以不同块大小的块18结束，其中不应将这些示例视为排除将图片10细分为块18的其他可能方式。

此外，编码器14是被配置为将图片10以预测方式编码到数据流12中的预测编码器。对于某个块18，这意味着编码器14确定该块18的预测信号并将预测残差(即，预测信号偏离块18内的实际图片内容的预测误差)编码到数据流12中。

编码器14可以支持不同的预测模式，以便导出某个块18的预测信号。在以下示例中很重要的预测模式是帧内预测模式，根据该帧内预测模式，可以根据图片10的相邻已编码样本在空间上预测块18的内部。图片10到数据流12中的编码以及对应的解码过程可以基于在块18之间定义的某个编码顺序20。例如，编码顺序20可以以光栅扫描顺序(例如，从上到下逐行地，从左到右遍历每行)遍历块18。在基于分层多树的细分的情况下，可以在每个分层级别内应用光栅扫描排序，其中可以应用深度优先遍历顺序，即，根据编码顺序20，某个分层级别的块内的叶注释可以在具有相同父块的相同分层级别的块之前。取决于编码顺序20，块18的相邻已编码样本通常可以位于块18的一侧或多侧。在本文呈现的示例的情况下，例如，块18的相邻已编码样本位于块18的顶部和左侧。

帧内预测模式可以不是编码器14唯一支持的模式。在编码器14是视频编码器的情况下，例如，编码器14还可以支持帧内预测模式，根据该帧内预测模式，可以根据视频16的先前编码的图片在时间上预测块18。这种帧内预测模式可以是运动补偿的预测模式，根据该运动补偿的预测模式，针对这种块18以信号传送运动矢量，运动矢量指示从中要导出块18的预测信号作为副本的部分的相对空间偏移。附加地或备选地，其他非帧内预测模式也可以是可用的，例如在编码器14是多视图编码器的情况下的视图间预测模式，或者非预测模式，根据该非预测模式，块18的内部按原样编码，即无需任何预测。

在开始将本申请的描述集中于帧内预测模式之前，针对可能的基于块的编码器(即，针对编码器14的可能的实现)的更具体的示例，如关于图2所描述的，然后分别呈现适于图1和图2的解码器的两个对应示例。

图2示出了图1的编码器14的可能实现方式，即编码器被配置为使用变换编码来对预测残差进行编码的实现方式，然而这仅是示例，并且本申请不限于那种预测残差编码。根据图2，编码器14(可以用于以下示例)可以包括减法器22，减法器22被配置为从入站信号(即图片10，或以块为基础时的当前块18)中减去对应的预测信号24，以便获得预测残差信号26，预测残差信号26随后被预测残差编码器28编码到数据流12中。预测残差编码器28由有损编码级28a和无损编码级28b组成。有损级28a接收预测残差信号26，并且包括量化器30，量化器30对预测残差信号26的样本进行量化。如上所述，本示例使用预测残差信号26的变换编码，并且相应地，有损编码级28a包括连接在减法器22和量化器30之间的变换级32，以便对这种频谱分解的预测残差26进行变换，并通过量化器30在呈现残差信号26的变换系数上进行量化。变换可以是DCT、DST、FFT、Hadamard变换等。然后，由无损编码级28b对经变换和量化的预测残差信号34进行无损编码，该无损编码级28b是将经量化的预测残差信号34熵编码到数据流12中的熵编码器。编码器14还包括连接到量化器30的输出的预测残差信号重构级36，以便以在解码器处也可用的方式(即，考虑量化器30的编码损失)从经变换和量化的预测残差信号34重构预测残差信号。为此，预测残差重构级36包括执行量化器30的量化的逆运算的反量化器38，随后是相对于由变换器32执行的变换执行逆变换(例如频谱分解的逆运算，如上述任何特定变换示例的逆运算)的逆变换器40。编码器14包括加法器42，加法器42将逆变换器40输出的经重构的预测残差信号与预测信号24相加，以便输出重构信号，即重构样本。该输出被馈送到编码器14的预测器44，预测器然后基于该输出确定预测信号24。预测器44支持上面已经关于图1讨论的所有预测模式。图2还示出了在编码器14是视频编码器的情况下，编码器14还可以包括环路滤波器46，环路滤波器46对完全重构的图片进行滤波，完全重构的图片在已经滤波之后形成预测器44关于帧间预测的块的参考图片。

如上所述，编码器14基于块进行操作。对于随后的描述，感兴趣的以块为基础是将图片10细分成块，分别从预测器44或编码器14支持的帧内预测模式集或多个帧内预测模式中为块选择帧内预测模式，并且单独地执行所选择的帧内预测模式。然而，也可以存在将图片10细分为的其他种类的块。例如，上述图片10是帧间编码还是帧内编码的判定可以以偏离块18的粒度或块为单位来进行。例如，帧间/帧内模式判定可以在图片10被细分为的编码块级别上执行，并且每个编码块被细分为预测块。对于已经决定使用帧内预测的编码块，将预测块各自细分到帧内预测模式判定。为此，对于这些预测块中的每一个，判定对于各个预测块应当使用哪种支持的帧内预测模式。这些预测块将形成本文中感兴趣的块18。预测器44对与帧间预测相关联的编码块内的预测块进行不同的处理。通过确定运动矢量并从参考图片中由运动矢量指向的位置复制该块的预测信号，可以根据参考图片对这些预测块进行帧间预测。另一种块细分涉及到变换块的细分，变换器32和逆变换器40以变换块为单位执行变换。变换块可以例如是进一步细分编码块的结果。自然地，本文阐述的示例不应被认为是限制性的，而其他示例也存在。仅出于完整性的目的，应注意的是，到编码块的细分可以例如使用多树细分，并且也可以通过使用多树细分进一步细分编码块来获得预测块和/或变换块。

在图3中描绘了适于图1的编码器14的逐块解码的解码器或装置(例如，在本示例中使用的)。该解码器54执行与编码器14相反的操作，即，解码器以逐块方式从数据流12中解码图片10，为此支持多个帧内预测模式。例如，解码器54可以包括残差提供器156。上面关于图1讨论的所有其他可能性对于解码器54也是有效的。为此，解码器54可以是静止图片解码器或视频解码器，并且解码器54也支持所有的预测模式和预测可能性。编码器14和解码器54之间的区别主要在于，编码器14根据一些优化来选择编码判定，例如，以便最小化可能取决于编码速率和/或编码失真的一些成本函数。这些编码选项或编码参数之一可以涉及在可用的或支持的帧内预测模式之中选择要用于当前块18的帧内预测模式。然后，可以由编码器14在数据流12内以信号传送为当前块18选择的帧内预测模式，解码器54使用数据流12中的该信号通知为块18重新进行选择。类似地，可以在编码器14内对图片10到块18的细分进行优化，并且可以在数据流12内传递对应的细分信息，其中解码器54基于细分信息对图片10到块18的细分进行恢复。综上所述，解码器54可以是在块基础上操作的预测解码器，并且除了帧内预测模式之外，在例如解码器54是视频解码器的情况下，解码器54可以支持其他预测模式，例如帧间预测模式。在解码时，解码器54也可以使用关于图1讨论的编码顺序20，并且由于在编码器14和解码器54二者处都遵守该编码顺序20，因此在编码器14和解码器54二者处，相同的相邻样本可用于当前块18。因此，为了避免不必要的重复，只要涉及将图片10细分成块，对编码器14的操作模式的描述也应适用于解码器54，例如，只要涉及预测以及只要涉及预测残差的编码。差异在于以下事实：编码器14通过优化选择一些编码选项或编码参数，并在数据流12内以信号传送这些编码参数或将这些编码参数插入数据流12中，然后由解码器54从数据流12中导出编码参数，以便重新进行预测、细分等。

图4示出了图3的解码器54的可能的实现方式(例如，在本示例中使用的)，即，适于如图1所示的图1中的编码器14的实现的实现方式。由于图4的编码器54的许多元素与图2的对应编码器中出现的那些元素相同，因此在图4中使用带有撇号的相同附图标记以便指示这些元素。具体地，加法器42′、可选的环路滤波器46′和预测器44′以与它们在图2的编码器中相同的方式连接到预测环路中。由熵解码器56的序列导出应用于加法器42′的经反量化和重新变换的预测残差信号，该熵解码器56的序列对熵编码器28b的熵编码进行逆运算，随后是残差信号重构级36′，残差信号重构级36′由反量化器38′和逆变换器40′组成，就像在编码侧一样。解码器的输出是图片10的重构。图片10的重构可以在加法器42'的输出处直接可用，或者备选地在环路滤波器46'的输出处可用。可以在解码器的输出处布置一些后置滤波器，以便对图片10的重构进行一些后置滤波，以提高图片质量，但是该选项未在图4中描绘。

同样，关于图4，以上关于图2提出的描述对于图4也应当是有效的，除了仅编码器执行关于编码选项的优化任务和相关联的判定。然而，关于块细分、预测、反量化和重新变换的所有描述对于图4的解码器54也是有效的。

示例

在上面和下面的一些示例中，编码器和/或解码器可以通过对应的残差值校正Q个预测值的集合中的每个预测值来获得对应的重构值，以便重构预定块(18)，使得对应的重构值(24')严格线性地(除了可选地，在预测校正之后施加的限幅)依赖于P个相邻样本(模板)。

在一些情况下，可以引用“块大小集”，其包括可以使用的不同大小。例如，如果N≠N₁，则大小M×N是与M×N₁下的M×N不同的大小。一些模式仅针对特定的块大小(块大小集中的一个块大小)。

此外，参考包含传统模式的“传统模式的第一集合121”。还参考包含ALWIP模式(以下提供ALWIP的示例)的“ALWIP模式的第二集合122”。

本文档尤其涉及用于例如在诸如HEVC或HEVC的任何后续版本之类的视频编解码器中可用的逐块的图片编码的改进的帧内预测模式概念。

帧内预测模式广泛用于图片和视频编码中。在视频编码中，帧内预测模式与诸如帧间预测模式之类(例如运动补偿的预测模式)的其他预测模式竞争。在帧内预测模式中，基于相邻样本(即，就编码器侧而言已经被编码并且就解码器侧而言已经被解码的样本)来预测当前块。将相邻样本值外插到当前块中，以便形成当前块的预测信号，其中在数据流中针对当前块发送预测残差。预测信号越好，预测残差就越小，因此，对预测残差进行编码所需的比特数越少。

为了高效，应当考虑几个方面，以便形成用于逐块的图片编码环境中的帧内预测的高效框架工作。例如，编解码器支持的帧内预测模式的数量越多，为了将选择以信号传送给解码器，辅助信息速率消耗就越大。另一方面，所支持的帧内预测模式集应当能够提供良好的预测信号，即导致较低预测残差的预测信号。

本文档旨在尤其提供帧内预测模式概念，如果使用改进的帧内预测模式概念，则允许对逐块的图片编解码器进行更有效率的压缩。

该目标通过本申请的独立权利要求的主题来实现。

公开了用于从数据流(例如12、80)中逐块地解码(或编码)图片(例如10)的装置和方法，该装置和方法支持至少一个帧内预测模式，根据该至少一个帧内预测模式，通过将与当前块相邻的样本的第一模板应用到仿射线性预测子上来确定针对图片的预定大小的块的帧内预测信号，在下文将仿射线性预测子称为仿射线性加权帧内预测子(ALWIP)。

该装置和方法可以具有以下讨论的性质中的至少一种。

与其他预测子互补的预测子示例

在一些示例中，由本装置和方法支持的帧内预测模式可以与编解码器的其他帧内预测模式互补。它们可以与在HEVC编解码器中，相应地在JEM参考软件中定义的DC、平面或角度预测模式互补。这里，后三种类型的帧内预测模式应被称为“传统帧内预测模式”。因此，对于处于帧内模式的给定块，可以由解码器解析标志(例如，编码在随后用“81”指示的字段中)，该标志指示是否要使用该装置或方法支持的帧内预测模式之一。

多于一个所提出的预测模式

该装置和方法可以包含多于一个ALWIP模式，例如，存储在存储单元中(或者在一些情况下，它们可以在运行中获得)。因此，在解码器知道要使用编码器装置支持的ALWIP模式之一的情况下，解码器可以解析附加信息(例如，编码在随后用“82”指示的字段中)，该附加信息可以指示要使用该方法的装置支持的哪个ALWIP模式。

对所支持的模式的信号通知可以具有以下特性：一些ALWIP模式的编码可能需要比其他ALWIP模式少的仓(bin)。这些模式中的哪些需要较少的仓，哪些模式需要更多的仓取决于可以从已解码的比特流12(或80)中提取的信息，或者可以预先固定。

使用下采样/上采样在不同块大小之间共享预测子

这里讨论的一些示例可以具体地通过考虑图13的示例来例示(也参见下面的讨论)。

在一些情况下，编码器或解码器可以在不同块大小的预测子之间执行变换，例如，通过下采样和/或上采样。这可以在针对特定大小(例如M×N)提供ALWIP模式，而要预测的块(例如18或B₁)具有与M×N不同的尺寸M₁×N₁(例如M和N中的至少一个使得M≠M₁和/或N≠N₁)时发生。在下文中，“第二模板1160”可以指代用于执行帧内预测的与块大小相关联的一组已经预测的相邻样本(也由17'a、17'b、17'c指示，见下文)，对于该块大小，没有ALWIP模式可供编码器或解码器处理。“第一模板1161”可以指代具有与块大小相关联的预测所需的尺寸的模板，对于该块大小，ALWIP模式实际上可供编码器或解码器处理。这里讨论的示例允许从第二模板1160“跳”到第一模板1161，以随后使用第一模板1161进行预测，并在预测了块18(B₁)之后最终返回到原始块大小。

参考图13，对于与预定大小(针对该预定大小，向解码器(或编码器)提供ALWIP模式)不同的当前块18(B₁)，装置和方法可以被配置为：

对与当前块(B₁、18)相邻的样本(17'a、17'b、17'c)的第二模板(1160)进行重采样，以便与第一模板(1161)一致，从而获得经重采样的模板(1136)；

将经重采样的模板(1161)应用于ALWIP预测子(1138a)，以便获得初步帧内预测；以及

对初步帧内预测信号进行重采样(1140)，以便与当前块一致，从而获得当前块(18)的帧内预测信号。

该装置可以被配置为通过对第二模板(1160)进行下采样(D)来重采样以获得第一模板(1161)。

该装置可以被配置为通过对初步帧内预测信号进行上采样来对初步帧内预测信号进行重采样。该装置可以被配置为将初步帧内预测信号从空间域变换到变换域；并在变换域中对初步帧内预测信号进行重采样。该装置可以被配置为通过缩放初步帧内预测信号的系数来对变换域初步帧内预测信号进行重采样。

在一些示例中，装置或方法可以被配置为：

通过以下步骤对变换域初步帧内预测信号进行重采样：

增加帧内预测信号的尺寸以与当前块的尺寸一致；以及

对初步帧内预测信号的所添加系数的系数进行零填充，所添加系数与较高频率的仓有关。

该装置可以被配置为将变换域初步帧内预测信号与预测残差信号的反量化版本组合。该装置可以被配置为在空间域中对初步帧内预测信号进行重采样。

该装置可以被配置为通过执行双线性插值来对初步帧内预测信号进行重采样。该装置可以被配置为在数据字段中编码与针对不同尺寸的仿射线性预测子的重采样和/或使用有关的信息。

在一些情况下，可以使用映射将M₁×N₁块18(B₁)所需的模式映射到模式1138a。

已经针对ALWIP模式解释了本示例，但是也可以针对传统模式或其他种类的模式来实现本示例。

到变换域中的预测

如在随后的段落中将显而易见的(也参见图12)，可以在空间域和/或变换域中执行帧内预测。在下文中，根据变换域中的编码器装置和/或解码器装置，存在一些考虑。

还公开了一种用于从数据流中逐块地解码图片的装置，该装置支持至少一个帧内预测模式，根据该至少一个帧内预测模式，通过以下步骤确定针对图片的当前块的帧内预测信号：

将当前块的相邻样本的第一集合应用于ALWIP，以获得对当前块的变换的变换系数集的预测。

装置之一可以被配置为对预测进行逆变换以获得经重构的信号。装置之一可以被配置为使用可变长度码从数据流中解码索引，并且使用索引执行选择。装置之一可以被配置为确定帧内预测模式集的排序；然后，对第二模板进行重采样。

公开了一种方法，包括：

对与当前块相邻的样本的第二模板进行重采样，以便与第一模板一致，从而获得经重采样的模板；

将经采样的重采样模板应用于ALWIP，以便获得初步帧内预测信号，以及

对初步帧内预测信号进行重采样，以便与当前块一致，从而获得当前块的帧内预测信号。

公开了一种用于从数据流中逐块地解码图片的方法，包括：

以上和/或以下方法可以使用包括如上和/或如下的至少一个装置的设备。

如果所提出的预测子对变换系数进行预测，则可以将未预测的变换系数推断为零。要预测哪些变换系数可以仅取决于给定模式，而不取决于输入(例如，不取决于相邻块)。另外，可以预先固定，对于给定变换，预测信号从某点开始的所有高频分量都被推断为零。

在示例中，可以定义将一模式映射到必须对其进行重采样的另一模式的映射。

以上示例主要对ALWIP模式进行了讨论，但是它们可以一般化为传统模式和其他类型的模式。

自变换域的预测

本申请的一些预测模式可以被配置为首先在自然图像上应用具有能量压缩特性的变换(例如，离散余弦变换DCT或小波变换)，并且仅使用一些所得的变换系数作为用于该装置支持的仿射线性预测的输入。要使用的系数可以是预先固定的(例如，仅低频系数)，也可以是从经变换的信号本身导出的(例如，仅具有最大幅度的频率系数)。

如果预先固定了要使用哪些频率系数，则可能仅对输入信号应用部分变换，例如，离散余弦变换仅计算低频系数或与给定小波变换相对应的一级或多级低通滤波。

转置所提出的预测模式

随后将具体参考图11a和图11b详细描述这里讨论的示例。

对于具有N行和M列的给定块18，装置已经针对该块以及具有M行和N列的给定块支持ALWIP模式，该装置可以被配置为通过以下步骤在具有M行和N列的块上支持新的预测模式：首先，将由用于具有N行和M列的块的相邻已重构样本组成的模板映射到用作对具有N行和M列的块进行仿射线性帧内预测的输入的模板。其次，对具有N行和M列的块应用ALWIP模式。第三，对后一预测的结果进行转置，使得它成为对具有M行和N列的块的预测信号。要指出的是，M和N可能相等。

这里，为进一步解释第一步骤，例如，如果由用于具有M行和N列的块的相邻已重构样本组成的模板由该块上方的k行和该块左侧的l列组成，并且如果用作对具有N行和M列的块进行放射线性预测的输入的模板由该块上方的l行和该块左侧的k列组成，则具有M行和N列的块上方的第p行可能映射到具有N行和M列的块左侧的第p列，并且具有M行和N列的块左侧的第q列可能映射到具有N行和M列的块上方的第q行。

存在执行映射操作的可能性，例如从适用于M×N块的模式到适用于N×M块的相关联的模式。

以上示例主要参考ALWIP模式，尽管它们对于传统模式和/或其他模式也可以有效。

模式索引之间的映射

对于作为所提出的装置和方法的一部分的给定的块形状以及用于该块形状的ALWIP帧内预测，可以存在将每个ALWIP模式映射到存在于基础编解码器中的传统帧内预测模式(DC、平面或角度)的映射(在示例中反之亦然)。

该映射可能用于存在于基础编解码器中的传统帧内预测模式的信号通知方案中。即，如果在解码器处生成了列表，该列表在传统帧内预测模式之中进行排序，并且如果该列表用于帧内预测模式的信号通知，以及后一列表的生成是否通过使用周围已重构块的传统帧内预测模式的固定规则来实现，则将该规则扩展到还包括使用基础装置中提出的ALWIP模式之一的周围已重构块，该扩展首先将映射应用于这些模式中的每一个，然后在生成列表时将它们视为传统帧内预测模式。

此外，该映射还可以如下使用：如果使用用于该块形状的ALWIP模式之一生成亮度预测信号，则可以通过使用经由映射与ALWIP相对应的传统帧内预测模式来获得色度预测信号。

对于作为所提出的装置的一部分的给定的块形状和用于该块形状的给定ALWIP模式，可以存在以下映射：将存在于基础编解码器的每个传统帧内预测模式映射到作为所提出的装置的一部分的用于该块形状的ALWIP模式。

对于作为所提出的装置的一部分的给定的第一块形状和用于第一块形状的给定的ALWIP帧内预测模式，以及对于作为所提出的装置的一部分的给定的第二块形状和用于第二块形状的给定的ALWIP帧内预测模式，可以存在将用于第一块形状的每个ALWIP模式映射到用于第二块形状的ALWIP的映射。

该映射可以被实现为首先应用在本节的以上段落中描述的映射，然后将本节的第二段落的映射应用于结果(反之亦然)。刚刚描述的最后两个映射都可以用于使用相邻块的帧内预测模式生成给定块上所有可用ALWIP模式的排序，相邻块的帧内预测模式可能是传统帧内预测模式或ALWIP模式：首先将映射应用于将给出与给定块的形状相对于的ALWIP模式集的每个相邻帧内预测模式。然后，通过预定义的规则，对所有可能的ALWIP模式进行排序；可以对出现在与周围块相对应的集合中的ALWIP模式与其他ALWIP模式不同地进行排序。

通过用于该排序相对应的不同数量的仓来编码ALWIP模式，可能在ALWIP模式的信号通知中使用后一种排序。

与ALWIP变换有关的示例方面的说明

图2示出了用于从数据流12中解码图片的解码器54。解码器54可以被配置为对图片的预定块18进行解码。具体地，预测器44可以被配置用于使用线性或仿射线性变换[例如ALWIP]将与预定块18相邻的P个相邻样本的集合映射到针对预定块的样本的Q个预测值的集合上。

如图5所示，预定块18包括要预测的Q个值(在操作结束时，将是“预测值”)。如果块18具有M行和N列，则要预测的值总计为Q＝M*N个值。块18的Q个值可以在空间域(例如，像素)或在变换域(例如，DCT等)中。可以基于从与块18相邻的相邻块17a-17c获取的P个值来预测块18的Q个值。相邻块17a-17c的P个值可以处于与块18最接近(例如，相邻)的位置。相邻块17a-17c的P个值已被处理和预测。将P个值指示为部分17'a-17'c(形成所谓的“模板”)中的值，以将它们与它们所属的块区分开(在一些示例中，未使用17'b)。

如图6所示，为了执行预测，可以以具有P个条目的第一矢量17P(每个条目是相邻部分17'a-17'c中的具体位置)、具有Q个条目的第二矢量18Q(每个条目是块18中的具体位置)以及映射矩阵17M(每一行与块18中的具体位置相关联，每一列与相邻部分17'a-17'c中的具体位置相关联)进行操作。因此，映射矩阵17M根据预定模式将相邻部分17'a-17'c(模板)的P个值预测为块18的值。因此映射矩阵17M中的条目是加权因子。矩阵17M(可以与传统模式或ALWIP模式相关联)可以被预先定义并存储在解码器和/或编码器的存储单元(例如，寄存器、存储器等)中，或者可以在运行中获得。矩阵17M(以及相关联的模式)一般与特定大小相关联。例如，大小M×N一般与M₁×N₁不同(M≠M₁和/或N≠N₁)，并且与大小M×N相关联的模式一般不同于与大小M₁×N₁相关联的模式，并且用于与大小M×N相关联的模式的矩阵17M一般不同于用于与大小M₁×N₁相关联的模式的矩阵17M。对于与大小M×N相关联的模式，矩阵17M将具有Q行，其中Q＝M*N。对于与大小M₁×N₁相关联的模式，矩阵17M将具有Q₁行，其中Q₁＝M₁*N₁。

在本领域中，已知若干传统模式，例如DC模式、平面模式和65个方向性预测模式。可能已知例如67种模式。有关传统模式的讨论，请参见下文。

然而，已经注意到，还能够利用(除了传统模式之外的)不同模式。这里呈现的不同的附加模式在这里称为线性或仿射线性变换。线性或仿射线性变换(与矩阵17M相关联)包括P*Q个加权因子，P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值的每一个，这些加权因子包括与各个预测值有关的一系列P个加权因子。该一系列加权因子在根据预定块18的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

图7示出了图70的示例，其映射了相邻值17'a-17'c(模板)的P个位置，块17'a-17'c的Q个位置以及矩阵17M的P*Q个加权因子的值。平面72是用于DC变换的该一系列的包络(其是用于DC变换的平面)。包络显然是平面的，因此被线性或仿射线性变换(ALWIP)的定义所排除。平面模式和65个方向性预测模式应当具有不同的包络，然而这些包络应当是全向线性的。相反，线性或仿射变换的包络不是全向线性的。已经理解的是，在一些情况下，这种类型的变换对于执行针对块18的预测可以是最优的。已经注意到，优选的是，加权因子的至少1/4不是零(即，P*Q个加权因子中的至少25％不是0)。根据任何常规的映射规则，加权因子可以彼此不相关。因此，矩阵17M可以使得其条目的值没有明显的可识别的关系。

在示例中，ALWIP变换使得与各个预测值有关的第一系列加权因子和与除各个预测值之外的预测值有关的第二系列加权因子或所述第二系列加权因子的反转版本之间的互相关的最大值的均值可以低于预定阈值(例如，0.2或0.3或0.35或0.1，例如，在0.05到0.035之间的阈值)，而无论第二系列加权因子还是第二系列加权因子的反转版本引起较大的最大值。

块17a-17c的P个相邻样本(17'a-17'c)可以沿着一维路径定位，一维路径沿着预定块18的边界(例如，18c、18a)延伸。对于预定块18的Q个预测值中的每一个，与各个预测值有关的一系列P个加权因子按照沿预定方向(例如，从左到右、从上到下等)遍历该一维路径的方式排列。

在示例中，ALWIP矩阵17M可以是非对角或非块对角的。

用于从4个已经预测的相邻样本中预测4×4块18的ALWIP矩阵17M的示例可以是：

{

{37，59，77，28}，{32，92，85，25}，{31，69，100，24}，{33，36，106，29}，

{24，49，104，48}，{24，21，94，59}，{29，0，80，72}，{35，2，66，84}，

{32，13，35，99}，{39，11，34，103}，{45，21，34，106}，{51，24，40，105}，

{50，28，43，101}，{56，32，49，101}，{61，31，53，102}，{61，32，54，100}

}。

(这里，{37，59，77，28}是矩阵17M的第一行；{32，92，85，25}是矩阵17M的第二行；{61，32，54，100}是矩阵17M的第16行。)矩阵17M的尺寸为16×4，包括64个加权因子(由于16*4＝64)。这是因为矩阵17M具有尺寸Q×P，其中Q＝M*N，这是要预测的块18(块18是4×4块)的样本数量，P是已经预测的样本(例如，17'a-17'c)的样本数量。这里，M＝4，N＝4，Q＝16(由于M*N＝4*4＝16)，P＝4。矩阵是非对角和非块对角的，并且没有通过特定规则进行描述。

可以看出，少于1/4的加权因子为0(在这种情况下，64个加权因子中的一个加权因子为零)。由这些值形成的包络在根据光栅扫描顺序一个接一个地垂直排列时，形成全向非线性的包络。

即使上面的解释针对解码器，也可以在编码器(例如，编码器14)处执行相同的操作。

在一些示例中，对于(块大小集中的)每个块大小，帧内预测模式的第二集合122内针对各个块大小的帧内预测模式的ALWIP变换互不相同。附加地或备选地，帧内预测模式的第二集合122中针对块大小集中的块大小的基数可以是一致的，但是帧内预测模式的第二集合内针对不同块大小的帧内预测模式的相关联的线性或仿射线性变换不可以通过缩放彼此转换。

在一些示例中，ALWIP变换可以被定义为，使得它们与传统变换“没有共享内容”(例如，ALWIP变换与对应的传统变换“没有”共享内容，即使它们已经经由上述映射之一进行了映射)。

在示例中，ALWIP模式用于亮度分量，但可以避免用于色度分量。

在下文中，主要参考：

传统帧内预测模式的第一集合121，包括多个方向性预测模式以及DC模式和平面模式中的至少一个(例如，该集合可以具有67个模式)；以及

帧内预测模式的第二集合122(例如，如上所述的线性或仿射预测模式ALWIP)。

以信号传送、映射

这里解释如何例如使用一元可变长度码或另一可变长度码来减小对要选择的预测模式的信令进行编码的比特流(例如12、80)的大小。

这种选择可以由编码器进行，编码器在比特流中编码类型为“000…1”的可变长度码(可以是一元的)，其中“1”位于“0”序列之后。(更一般地，即使不一定是一元的，也向更频繁的帧内预测模式给出更简洁的码。)因此，最短字段可以是“1”(指示第一预测模式)；第二短的字段可以是“01”(指示第二预测模式)；等等(例如，具有66个“0”并且在第66位置具有一个“1”的串能够指示67个预测模式中的最后一个)。由于可以针对要预测的多个块中的每个块以信号传送该码，因此一般优选地，对于每个块该字段都较短(即，要使用的模式由短串指示，如“1”、“01”、“001”等)，同时避免包含数十个“0”的字段。因此，已经开发了基于模式之间的排序的策略。根据这样的策略，码的长度单调地取决于帧内预测模式在帧内预测模式列表中的排序，以便识别指向列表中的特定预测模式的索引。该列表可以理解为最可能模式的列表，并且可以由编码器和解码器通用的规则来解释，即使编码器没有将该列表直接以信号传送给解码器。

图8示出编码了图像(例如，图1至图4中的10)的数据(视频)流80(例如，12)。数据流80的一部分可以指要解码的预定块18。

数据流80可以包括第一信号通知81，用于将块18分配给帧内预测模式的第一集合121或第二集合122。在一些示例中，信号通知81可以需要一个单个比特。

数据流80中的第二信号通知82(可变长度码)可以包括类型“000…1”的一元可变长度码(如上所述)，或另一可变长度码，其可以向更频繁的帧内预测模式分配更简洁的码(例如，需要较少比特数的码)。

当解码器54读取第一信号通知81时，理解要使用第一集合的帧内预测模式或第二集合的帧内预测模式来预测块18(即，通过标志81，块18被分配给传统模式的第一集合121或者ALWIP模式的第二集合122)。

然后，在一些示例中，解码器54可以根据(例如，先前用于相邻块17a-17c的)帧内预测模式来对(如第一信号通知81所指示的)所分配的预测模式集合进行排序。因此，可以获得帧内预测模式的列表90(“最可能模式的列表”)。列表90可以存储在解码器54和编码器14中的寄存器中。因此，列表90可以提供这里通过第一位置91、第二位置92、第三位置93、第四位置94和第五位置95指示的具体顺序。当然可以提供其他位置，例如，以覆盖所分配的集合的所有模式。然而，在一些示例中，列表90不需要具有与集合中的模式(传统模式或ALWIP模式)数量一样多的位置，而是可以更少。在示例中，列表90可以包括少于10个位置，例如，位置数量在3到7之间，如5个)。在列表90中，这里第一位置91采用预测模式“23”，而第二位置92采用预测模式“15”等(模式的编号可以例如存储在查找表LUT中)。

应当注意，在示例中，在数据流80(12)中没有以信号传送对具体位置的分配，而是可以由解码器基于先前对块17a-17c执行的预测来确定。在一些示例中，先前最常用的帧内预测模式(或者，在任何情况下，统计上更频繁的帧内预测模式)可以在列表90中获得最高位置(最高位置可以被理解为最高排序的位置)。在这种情况下，模式“23”是先前最常用的预测模式，因此被给予第一位置91。还要注意，在编码器处执行相同的排序。编码器会(基于最常用的预测模式上的相同历史数据)获得列表90的副本。因此，即使不需要在数据流80中以信号传送列表，编码器和解码器也共享相同的列表。其他技术也是可能的。

已经理解，通过在数据流80(例如12)中将最短的(简洁的)码(例如，“1”、“01”、“001”…)分配给列表90中的最高位置(91、92、93…)，可以减小数据流80的大小。在考虑到最常用的预测模式(例如“23”、“15”、“18”…)也是当前块18的最可能预测模式的基础上得出该结论是可能的。(备选地，将统计上最可能的模式给予列表90中的最高位置(最高级别))。因此，通过将较短码分配给最可能预测方式，可以获得数据流80的大小的减小。

注意到第二信号通知82不必编码为一元码。例如，可以使用截断二元码。下表提供了截断二元码的示例：

索引	字段82中的码
		91	0
92	1
		93	10
94	11
		95	100
96	101
		97	1100
98	1101
		99	1110
100	1111

索引0与最高索引91相关联(继而与最可能模式相关联)，索引1与第二高的索引相关联(继而与第二最可能模式相关联)，索引10与第三高的索引相关联(继而与第三最可能模式相关联)，依此类推。可以看出，第三可能模式与比第一个第二最可能模式相关联的索引简洁的索引相关联(因为第三最可能模式的索引10需要比特流80中的两个比特，而第一最可能模式的索引0和第二最可能模式的索引1仅需一个比特用于编码)。

因此，第二信号通知82可以包含指向具体位置的经编码的索引。例如，如果第二信号通知82包含“1”，则将指向第一位置91，从而指示要使用模式“23”。如果第二信号通知82(以降低的概率)包含“01”，则将指向第二位置92，从而指示要使用模式“15”，依此类推。

因此，编码器和解码器能够使用索引所指向的帧内预测模式对要使用的预定块18进行预测。

在一些情况下可能会出现一些问题。示例是当要使用传统模式预测预定块18时(即，第一信号通知81指示要使用传统模式)，但是先前已经使用ALWIP模式预测了相邻块17a-17c中的一个。这将暗示列表90的索引91-95中的一个应指示不能使用的ALWIP模式(因为第一信号通知81需要传统模式)。因此，列表90中将出现无用的指示。

然而，已经理解的是，能够将一些ALWIP模式映射到传统模式。因此，如果已经使用了特定的ALWIP模式ALWIP1，则映射将允许导出特定的传统模式CONV1(根据映射来映射ALWIP1)。因此，当ALWIP模式用于先前的块17a、17b或17c时，索引91-95之一随后将指示与先前使用的ALWIP模式相关联的经映射的传统模式。因此，不会浪费列表90的索引91-95来指示不可使用的模式。映射可以是预定义的，并且编码器和解码器都可以知道。

同样可以应用将传统模式映射到ALWIP模式。然而，应注意，在一些示例中，最可能模式的列表90仅用于特定集合(例如，传统模式的第一集合121)，而这样的列表不用于其他集合(或者最可能模式的列表可以预先定义并固定)：在这样的示例中，这使一些映射变得不必要。(例如，在一些情况下，最可能ALWIP模式的列表可以是基于预先假定的概率而预先定义的，并且永远不会在运行中改变：因此，在这些情况下不提供映射)。

映射还可以参考块大小：不同的映射可以用于不同的大小。因此，可以存储用于不同大小的多个映射(即，用于M×N大小的映射可以与用于M₁×N₁大小的映射不同)。

能够定义从第一大小到第二大小的映射。例如，这可以是相邻的先前预测的块17a、17b或17c具有与要预测的块18不同的大小的情况。

还能够映射ALWIP模式，但与不同的大小相关联。

这里提供了关于映射的讨论。

如果所分配的集合是帧内预测模式(ALWIP)的第二集合122，例如，在对所分配的集合进行排序时，可以使用第一映射，第一映射将预测模式的第一集合中的每个帧内预测模式映射到帧内预测模式的第二集合中的代表性的帧内预测模式。如果所分配的集合是帧内预测模式的第二集合，则在对所分配的集合进行排序时，将使用第二映射，第二映射将预测模式的第二集合中的每个帧内预测模式映射到帧内预测模式的第一集合中的代表性帧内预测模式。

在下文中，可以使用以下映射中的至少一个：

第一映射(图10a'中的101a)：传统到ALWIP(相同大小)；

第二映射(图10a'中的102a，图10b中的102b)：ALWIP到传统(相同大小)；

第三映射(图10c中的103)：传统到ALWIP(从通过传统模式预测的相邻块的大小到要通过ALWIP模式预测的块18的不同大小)；

第四映射(图10d中的104)：ALWIP到传统(从通过ALWIP模式预测的相邻块的大小到要通过传统模式预测的块18的不同大小)；

第五映射(图10a”'中的105)：从ALWIP到ALWIP(不同大小)；

一般化的第五映射(图10e中的106)：从一种大小到另一种大小(一般示例)

这里提供了模式的详细讨论。图10a被细分为图10a'、图10a”、图10a”'。

图10a'示出了第一映射101a的示例，其中通过不同的映射将不同的传统模式(CONV1、CONV2、CONV3)映射到不同的ALWIP模式(ALWIP1、ALWIP2、ALWIP3)。在示例中，不同的传统模式和不同的ALWIP模式具有相同的大小。在示例中，对于ALWIP，列表90不会在运行中更新(但是基于预定义的概率来提供索引)，因此不使用该映射。

图10a”示出了第二映射102a的示例，其中将第二集合122中不同的ALWIP模式(ALWIP1、ALWIP2、ALWIP3)映射到第一集合121中不同的传统模式(CONV1、CONV2、CONV3)。在示例中，不同的传统模式和不同的ALWIP模式具有相同的大小。当最可能模式的列表90至少对于传统模式进行运行中更新时，可以使用该第二映射(因此，列表90可以被称为“最可能传统模式的列表90”)。因此，如果已经使用ALWIP2预测了先前块17a、17b或17c，则列表90将以其索引之一指示传统模式CONV1(即，CONV1将是最可能传统模式之一，即使由于已经使用了ALWIP1，并且由于第二映射102a将ALWIP2映射到CONV1，尚未使用CONV1)。

图10c示出了第三映射103的示例，其中将第一集合121中的传统模式(大小152)映射到第二集合122中的ALWIP模式(大小151)。在示例中，对于ALWIP，列表90没有在运行中更新(但是基于预定义的概率来提供索引)，不使用该映射。

图10d示出了第四映射104的示例，其中将第二集合122中的ALWIP模式(大小151)映射到第一集合121中的传统模式(大小152)。在示例中，对于ALWIP模式，列表90没有在运行中更新(但是基于预定义的概率来提供索引)，不使用该第四映射104。

图10a”'示出了第五映射105的示例，其中通过不同的映射(105₁、105_n)将相同大小(大小1或151)的不同ALWIP模式(ALWIP11、ALWIP12、ALWIP13)映射到不同大小的不同ALWIP模式(ALWIP11'、ALWIP12'、ALWIP13')。可以将相同大小(大小为n或15n)的其他ALWIP模式(ALWIPn1、ALWIPn2、ALWIPn3)映射到不同大小的不同ALWIP模式(ALWIPn1'、ALWIPn2'、ALWIPn3')。因此，存在将任何ALWIP模式映射到另一不同的ALWIP模式的可能性。

图10e示出了映射106，映射6是比第五映射105更一般的示例。这里，将用于大小151的不同模式映射到用于不同大小152的模式。该映射不仅将ALWIP模式映射到ALWIP模式，而且还将传统模式映射到传统模式，将传统模式映射到ALWIP模式，以及将ALWIP模式映射到传统模式。

这里参考图10b的第二映射102b讨论第二映射102a的具体情况。在一些示例中，可以将(大小集之中的)相同大小的多个(或全部)ALWIP模式映射到一个单个传统模式。这里，示出了传统模式131的第一集合121。这里，对于传统模式的第一集合121，仅表示一个模式131，这些模式中的每一个与特定大小相关联(例如，CONV11是用于大小1的一个特定传统模式131；CONV21是用于大小2的一个特定传统模式131；CONV1是用于大小n的一个特定传统模式131；以此类推)。第一集合121可以包括这里没有示出的其他传统模式131。然而，这里示出的传统模式131(CONV11、CONV12、CONV13)可以具有例如相同类型(例如，所有平面模式)。还示出了ALWIP模式的第二集合122。对于每个大小(例如，大小1、大小2、…大小n)，第二集合122包括多个模式(大小1：ALWIP11、ALWIP12、ALWIP13；大小2：ALWIP21、ALWIP22、ALWIP23；大小n：ALWIPn1、ALWIPn2、ALWIPn3)。可以定义第二映射102b。例如，可以将相同大小(大小1)的多个(或全部)ALWIP模式(即ALWIP11、ALWIP12、ALWIP13)映射到相同的传统模式CONV11(可以具有与ALWIP11、ALWIP12、ALWIP13相同的大小)。因此，即使在第一集合121中存在具有相同大小(大小1)的其他(未示出)传统模式131，也将多个(或全部)ALWIP模式映射到相同的传统模式conv11。这同样适用于大小为2的ALWIP模式(ALWIP21、ALWIP22、ALWIP23)，它们都映射到相同的传统模式CONV21。这同样适用于大小为n的ALWIP模式(ALWIPn1、ALWIPn2、ALWIPn3)，它们都映射到相同的传统模式convn1。在一些示例中，多个ALWIP模式所映射到的传统映射CONV11、CONV21、CONV2可以都是平面模式。因此，可以将多个不同的ALWIP模式映射到一个单个的传统模式。(在镜面示例中，可以将不同的ALWIP模式映射到多个传统模式。)

在一些示例中，可以实现以下技术中的至少一种：

如果相邻块(17a-17c)之一与预定块(18)具有块大小集内的相同的块大小，但是被分配给帧内预测模式的第一集合和第二集合(121，122)中的不同集合，则使用第一映射和第二映射(101、102a、102b)，以及

如果相邻块(17a-17c)之一与预定块(18)具有块大小集内的不同的块大小，则使用，

如果为预定块(18)分配的集合是用于预定块的块大小的第二集合(122)，而为一个相邻块(17a-17c)分配的集合是用于一个相邻块的块大小的第一集合(121)，则使用第三映射(103)，第三映射将预测模式的第一集合(121)中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第二集合(122)中用于预定块的块大小的代表性的帧内预测模式，和/或，

如果为预定块(18)分配的集合是用于预定块的块大小的第一集合(121)，而为一个相邻块(17a-17c)分配的集合是用于一个相邻块的块大小的第二集合(122)，则使用第四映射(104)，第四映射将预测模式的第二集合(122)中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第一集合(121)中用于预定块的块大小的代表性的帧内预测模式，和/或

如果相邻块(17a-17c)之一与预定块(18)具有块大小集内的不同的块大小，如果为预定块(18)分配的集合是用于预定块的块大小的第二集合(122)且为一个相邻块(17a-17c)分配的集合是用于一个相邻块的块大小的第二集合(122)，则：

使用第五映射(105)，第五映射将预测模式的第二集合(122)中用于一个相邻块的块大小的每个帧内预测模式映射到帧内预测模式的第二集合(122)中用于预定块的块大小的代表性的帧内预测模式。

当ALWIP模式已经用于亮度分量时，可以将从传统到ALWIP(例如102a、102b)的映射用于色度分量。

如上所述，在一些示例中，列表90是静态的。例如，这可以是当标志81要求使用ALWIP模式时，在这些情况下，在一些示例中，不存在运行中更新的列表90，而是具有预定义关系的列表。

在以上示例中，通过参考通过五个索引91-95指向五种模式的列表90，但是可以定义不同(更大或更小)数量的索引。

在示例中，第一信号通知81可以需要一个单个比特(例如，以信号传送在“ALWIP模式”和“传统模式”之间的选择)。在示例中，第二信号通知82可以需要可变长度：例如，更简洁的码(例如，具有更窄的长度)可以与统计上最频繁的模式相关联。在一些情况下，码长度(例如，单调地)取决于索引所指向的帧内预测模式的等级：较高的等级可以与最频繁的索引(以及最频繁的模式)相关联。示例可以是一元码(请参见上文)，尽管也可以使用其他码。

转置

现在参考图11a、图11b和图11c，参考上面讨论的“转置所提出的预测模式”。这里，要根据先前预测的相邻块17a、17b、17c(具体地根据形成模板170的一系列P个相邻样本17'a-17'c)预测大小为M×N(其中M≠N)或N×M(其中M≠N)的预定块18。(这里可以想象不使用图5中所示的块17b，但是可以在一些示例中使用。)

假设解码器56或编码器14具有特定的ALWIP模式(这里指示为ALWIP1)，其适合于大小N×M，但是不适合于大小M×N。换句话说，存储了N×M ALWIP矩阵17M，但是不存在M×NALWIP矩阵17M。(能够想象，原则上优选地，存储针对ALWIP模式的另一M×N矩阵。然而，为了减少存储和/或信令，优选地，可以减少存储在编码器和/或解码器中的ALWIP模式的量。)

在一些情况下，流80(12)中的第一信号通知81可以指示ALWIP模式要用于预定块18。第二信号通知82可以编码了与ALWIP1相关联(或者，在任何情况下指示ALWIP1)的索引。因此，可以根据块18的朝向来执行不同的操作。

如果像在图11a中一样，要预测的预定块18具有大小M×N(与ALWIP1的大小相对应)，则将模式ALWIP1应用于(140)模板170的P个样本，以预测块18的P个样本。

如果像图11b中一样，要预测的预定块18的大小为M×N(与所存储的ALWIP1的大小相对)，则不能够简单地应用ALWIP1，因为ALWIP1的大小N×M与预定块18的大小M×N不同(假设没有存储N×M矩阵17M)。然而，已经理解，可以采用一种技术，根据该技术，编码器14或解码器54执行以下步骤：

1)将一系列模板170(根据方向R170而定向)反转(141)以获得反转模板170(例如，根据方向R170T而定向)；

2)将ALWIP1应用于(142)模板170的反转版本170T，以便获得大小为N×M(与ALWIP1兼容)的经预测的块18T；以及

3)对预测的块18T进行转置(144)，以获得预定块18。

值得注意的是，不必在流12(80)中提供使用M×N ALWIP模式还是N×M ALWIP模式的信令，也不必以信号传送要进行转置。简单地能够使用图10a”'的第五映射105。实际上，为了重构块18：

1)第二信号通知82(直接地或者经由列表90的索引91-95)可以以信号传送特定的ALWIP模式(例如，ALWIP1)要用于M×N块18；

2)然而，在解码器处没有存储针对ALWIP1的M×N矩阵(ALWIP1可以被视为未存储的ALWIP模式子集120N的一部分)；

3)尽管如此，在解码器处存储了N×M ALWIP模式(可以被视为所存储的ALWIP模式子集120S的一部分)。

4)映射105将未存储的M×N ALWIP1映射到所存储的N×M ALWIP模式；

5)可以执行图11b的过程，因此实现了块18的重构。

对于M≠N的矩形块M×N，提出了以上示例。然而，可以针对正方形(方形)块M×M执行类似的过程。实际上，已经注意到，在一些情况下，可能像图11b(但是M＝N)一样，简单地应用模板170的反转版本，使用所存储的变换执行预测并且最终对所获得的块180T进行转置。如图11d所示，模式(ALWIP和/或传统模式)的集合120Q可以包括以下子集：

用于方形块的所存储模式的第一子集120QS(对于这些模式，存储矩阵17M)；以及

用于方形块的未存储模式的第二子集120QN，但是对于方形块可以通过使用图11b(其中M＝N)的方法来执行预测。

因此，如果(情况1)，索引91-95或第二信号通知直接指示所存储模式的第一子集120QS中的模式，则直接调用该模式(并执行图11a的过程，其中M＝N)。

否则，如果(情况2)，索引91-95或第二信号通知直接指示未存储模式的第二子集120QN中的模式，则在已经从子集120QN中的模式映射第一子集120QS中的模式之后，调用该第一子集120QS中的模式。

上面和下面讨论的示例可以在空间域和/或变换域中。

变换域中的示例

图12示出了根据先前预测的相邻块17c和17a对空间域块18(其可以是上述预定块18之一，例如，如图5所示)的预测。这里在变换域中执行预测(例如，在已经应用诸如快速傅立叶变换FFT和/或离散余弦变换DCT、小波等变换之后)。

图12'示出了要预测的预定块18。要根据相邻块17c的第一集合(例如，适当的子集)17'c和相邻块17a的第二集合(例如，适当的子集)17'a(第一集合17'c和第二集合17'a可以表示与要预测的块18的侧边18c和18a相近(例如相邻)的线或条或阵列，并且可以包括已经预测的样本)预测块18的Q个值。可以分别独立于相邻块17c和17a的大小来选择第一集合17'c和第二集合17'a的值：无论相邻块17c和17a的尺寸如何，第一集合17'c和第二集合17'a的尺寸都基于块18的尺寸。可以独立于块17c和17a的大小来选择第一集合17'c和第二集合17'a(模板)的值。在示例中，第一集合17'c和第二集合17'a可以沿着一维路径而分别与第一侧边18c和第二侧边18a并排定位。如上所述，可以例如仅通过采用一些特定的变换系数来执行子采样。

可以将变换160(例如，FFT、DCT、小波等)应用于第一集合17'c和第二集合17'a中的至少一些样本。变换系数的第一集合17'cT和第二集合17'aT(变换域中的模板)可以表示第一集合17'c和第二集合17'a中的样本的一维变换，后者沿一维路径定位。不必进行相邻块17c和17a的整个变换，而仅对低频部分(或者在任何情况下，减小的部分)进行变换。有利地，第一集合17'c和第二集合17'a的大小是否与块18的侧边18c和18a的大小不匹配并不重要：第一集合17'c和第二集合17'a的长度可以比侧边18c和18a的长度长或短。

图12”示出了第一集合17'c和第二集合17'a(由“变换系数”形成)正处于变换域中，因此分别用17'cT、17'aT指示。

将ALWIP帧内预测变换162应用于集合17'cT和17'aT的变换系数。因此，在图12”'中，由此获得了块18在变换域中的预测块18T。ALWIP帧内预测变换162可以根据在信号通知81和/或82中以信号传送的帧内预测模式。值得注意的是，存在块18在变换域中的预测版本18T具有太少的变换系数的可能性，在那种情况下，可以简单地在逆变换164之前执行零填充操作：可以将其余的变换系数(例如，较高频率的仓)设置为0。因此，在逆变换164之后，可以获得块18的值的整个集合。因此，变换域预测块18T可以比空间域预测的块18小。变换域预测块18T也可以比预测的块18大。在那种情况下，可以随后应用低通滤波器。

将逆FFT(IFFT)或逆DCT(IDCT)或另一逆变换164应用于预测块18T，以获得图12”中的空间域中的预测的块18。

在一些示例中，能够在空间域中产生预定块18的预测子。

传统帧内预测模式

以下是关于传统帧内预测模式的讨论，其中至少一些可以包括在传统帧内预测模式(例如，conv1、conv2等)的第一集合121中。

传统帧内预测模式可以通过应用于输入向量并相应应用于输出向量的矩阵向量乘法和滤波操作来表示。然而，指出在矩阵向量积的后一计算中使用的矩阵具有非常特殊的结构，如现在要解释的那样。

为了建立表示法，假设给出了M×N块(M行，N列)，要在该块上通过传统帧内预测模式计算(亮度分量中的)帧内预测信号。用作预测的输入的参考样本由已经重构的样本组成。通常，参考样本可以由块上方的一行N+q个样本(其中块右上方的一些样本可能不是直接可用，而是通过固定填充操作生成的)和块左侧的M+p个样本(其中块左下方的一些样本可能不是直接可用，而是通过固定填充操作生成的)组成。

对于传统帧内预测模式，参考样本被视为大小为M+p+N+q的向量ref。该向量的前M+p个条目由块左侧的参考样本组成，该向量的后N+p个条目由块上方的样本组成。

首先描述传统帧内预测模式是方向性帧内预测模式，也称为角度帧内预测模式的情况。

这里，在第一步骤中，将插值滤波操作应用于参考样本ref。后一操作在固定分辨率下的真实样本位置之间的非整数样本位置生成样本值。因此，对于固定的整数k和每个i∈{1,…,M+p+N+q-1}，生成k个样本值，这些样本值的样本位置位于ref的第i个条目和第(i+1)个条目之间。插值滤波操作可以可选地在平滑滤波操作之前或之后。滤波操作的总体结果可以再次被视为大小为(M+p+N+q)*(k+1)-k的向量，应将其表示为ref_fltr。要指出的是，对于一些方向性模式，例如水平或垂直帧内预测模式，不需要执行插值，即，数字k可以等于零。

在第二步骤中，对于与传统帧内预测模式相对应并且具有M*N行和(M+p+N+q)*(k+1)-k列的固定矩阵A，将预测信号pred计算为矩阵向量积：

pred＝A·ref_fltr，

其中·表示矩阵向量乘法。这里，矩阵A的每一行仅有由1组成的一个非零条目。换言之，每个预测的样本值恰好是ref_fltr的一个值。

在最后的步骤中，可能向作为pred的扩展的信号应用第二滤波操作，以产生总的方向性帧内预测信号，该信号通过块左侧的已经重构的样本及相应的块上方的已经重构的样本得到。

接下来，描述传统帧内预测模式是平面模式的情况。这里，可能对参考样本仅应用平滑而不应用插值操作，以产生向量ref_fltr。如果根据以下矩阵向量积计算(未经滤波的)平面预测信号pred_planar：

pred_planar＝A_planar·ref_fltr，

则矩阵A_planar具有以下属性：A_planar的每行仅由4个非零条目组成。换言之，将每个预测的样本值计算为4个参考样本值的线性组合。A_planar的固定行的4个非零条目的列位置与以下参考样本相对应：块左侧与要预测的样本位于同一行的参考样本、块上方与要预测的样本位于同一列的参考样本、位于块上方的行中且是该行中严格位于块右侧的第一个样本的参考样本、以及位于块左侧的劣种且是该列中严格位于块下方的第一个样本的参考样本。

在最后的步骤中，可能向作为pred_planar的扩展的信号应用第二滤波操作，以产生总的平面帧内预测信号，该信号通过块左侧已经重构的样本及相应的块上方已经重构的样本得到。

最后描述传统帧内预测模式是DC模式的情况。这里，如果通过以下矩阵向量积计算(未经滤波的)DC预测信号pred_DC：

pred_DC＝A_DC·ref_fltr，

则矩阵A_DC具有A_DC的所有行都相等的属性。在最后的步骤中，可能向作为pred_DC的扩展的信号应用第二滤波操作，以产生总的DC帧内预测信号，该信号通过块左侧的已经重构的样本及相应的块上方的已经重构的样本得到。

应当指出，用于本申请的ALWIP帧内预测中的矩阵不被先验地约束到与方向性模式、DC模式、平面模式相对应的矩阵的前述图案之一。相反，它们是离线数据驱动训练方法的结果，该方法考虑了例如将块分割成各种形状的可能性，对典型视频编码器的损耗(速率或率失真)建模的损耗函数，以信号传送模式所需的信号通知成本以及本领域已知的各种其他特征。

下采样/上采样，针对ALWIP的变换域

现在参考图13。如上所述，在一些情况下，编码器或解码器可以例如通过下采样和/或上采样在不同块大小的预测子之间执行变换。

如上所述，(空间域中的)“第二模板1160”可以指用于执行帧内预测的一组Q个相邻样本(以上标识为17'a、17'b、17'c)，但是对于该组Q个相邻样本，编码器或解码器不设置ALWIP模式。基本上，“第二模板1160”由用于ALWIP预测的样本17'a、17'b,、17'c形成。

下面的讨论对ALWIP变换和传统变换均有效，但是这里主要意在ALWIP变换。

图13示出了当前的预定空间域块B₁(大小为M₁×N₁)，其可以是以上示例中的一个块18。要通过ALWIP变换(例如，以上之一)预测块18。然而，在编码器或解码器处，设置了用于不同大小M×N(其中M≠M₁和/或N≠N₁)的ALWIP变换。

注意，第二模板1160(由样本17'a、17'b、17'c形成)已经被重构(预测)。

如果由于块18(B₁)的尺寸而没有存储用于重构块18(B₁)的ALWIP模式，则在针对具有不同尺寸M×N的块(B)设置了ALWIP变换的情况下，可以实现以下过程。值得注意的是，用于大小为M×N的块B的ALWIP变换应需要与已经获得的第二模板1160具有不同大小的模板(这里称为“第一模板1161”)。在下文中讨论了克服该减损的技术。

例如，可以将变换操作(这里表示为D)应用于第二模板1160。变换D可以提供由经变换的(重采样的)第一模板1161和要预测的大小为M×N的块1138(B)形成的元素1136。

例如，M₁×N₁块B₁(18)(具有未知系数)可以在理论上变换为M×N块B(138)(在这一点上，其也具有未知系数)。由于块B(138)的系数未知，因此无需变换到变换域。

类似地，变换D将模板1160(大小M×N)变换为具有不同尺寸的不同模板1161(大小M₁×N₁)。

在一些情况下，变换操作D可以是下采样操作，其中M₁>M且N₁>N(具体地其中M是M₁的倍数并且N是N₁的倍数)。例如，在M₁＝2*M并且N₁＝2*N的情况下，变换操作D可以简单地基于以类棋盘方式隐藏一些仓。

此时，通过上述ALWIP变换以M×N预测块B。ALWIP变换(与大小M×N相关联)包含在编码器或解码器处。在段1138a，装置14或54现在可以使用(例如，在预测器44、44'处)本身针对M×N块定义的ALWIP变换。通过应用上面讨论的段，可以获得对大小为M×N的块B的预测。

针对大小M×N来获得块B(1138)的预测，而要重构的图像应具有大小M₁×N₁。能够简单地执行将块B(1138)从大小M×N变换到大小为M₁×N₁的块18的变换1140(U)。该变换1140(U)可以是例如双线性插值或上采样操作。该变换1140(U)可以通过在M×N块138的系数之外引入M₁×N₁块中的系数来执行。例如，在M₁＝2*M且N₁＝2*N的情况下，能够简单地执行插值(例如，双线性插值)，以便对已被变换D丢弃的系数进行近似(“猜测”)。因此，获得M₁×N₁预测作为元素块18，并且M₁×N₁预测可以用于显示块图像作为图像10的一部分。

在示例中，能够执行从将用于块18(B₁)的模式到模式1138a的映射。

进一步的实施例和示例

通常，示例可以实现为具有程序指令的计算机程序产品，程序指令可操作以在计算机程序产品在计算机上运行时执行方法之一。程序指令可以例如存储在机器可读介质上。

其他示例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，方法示例因此是具有程序指令的计算机程序，该程序指令用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，方法的另一示例是其上记录有计算机程序的数据载体介质(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体介质、数字存储介质或记录介质是有形的和/或非暂时性的，而不是无形的和暂时的信号。

因此，方法的另一示例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如经由数据通信连接(例如，经由互联网)传送。

另一示例包括处理设备，例如，计算机或可编程逻辑器件，所述处理设备执行本文所述的方法之一。

另一示例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

另一示例包括向接收器(例如，以电子方式或以光学方式)传输计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。

在一些示例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些示例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，这些方法可以由任何适当的硬件装置执行。

上述示例对于以上公开的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形将是显而易见的。因此，旨在由所附权利要求的范围来限制而不是由借助对本文示例的描述和解释所给出的具体细节来限制。

在以下描述中，即使出现在不同的附图中，相同或等同的元素或者具有相同或等同功能的元素也通过相同或等同的附图标记来表示。

Claims

1.一种用于从数据流(12、80)中解码图片(10)的解码器(54)，被配置为通过以下步骤来预测所述图片(10)的预定块(18)：

使用线性或仿射线性变换(17M)将与所述预定块(18)相邻的P个相邻样本(17'c、17'a)的集合映射到用于所述预定块(18)的样本的Q个预测值的集合，

其中，所述线性或仿射线性变换(17M)包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块(18)的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

2.根据权利要求1所述的解码器，其中，经由任何常规的映射规则，所述P*Q个加权因子彼此不相关。

3.根据权利要求1或2所述的解码器，其中，以下二者之间的互相关的最大值的均值低于预定阈值：与相应预测值有关的第一系列加权因子，以及与除所述相应预测值之外的预测值有关的第二系列加权因子或者所述第二系列加权因子的反转版本，而无论所述第二系列加权因子还是所述第二系列加权因子的反转版本导致较大的最大值。

4.根据权利要求3所述的解码器，其中，所述预定阈值是0.3。

5.根据权利要求1至4中任一项所述的解码器，其中，所述P个相邻样本(17'c、17'a)沿着一维路径定位，所述一维路径沿着所述预定块(18)的边界(18c、18a)延伸，并且对于Q个预测值中的每个预测值，与相应预测值有关的一系列P个加权因子以沿着预定方向遍历所述一维路径的方式排列。

6.根据权利要求1至5中任一项所述的解码器，被配置为针对所述预定块(18)，从所述数据流(12、80)中导出预测残差(34')，以便针对所述Q个预测值的集合中的每个预测值获得对应的残差值，以及

通过用对应的残差值校正所述Q个预测值的集合中的每个预测值来重构所述预定块(18)，以获得对应的重构值，使得对应的重构值(24')除了在预测和/或校正之后可选地应用的限幅以外严格地线性依赖于所述P个相邻样本(17'c、17'a)。

7.根据权利要求1至6中任一项所述的解码器，其中，所述解码器(54)被配置为将所述图片(10)细分为不同块大小的多个块(17a-17c、18)，所述多个块包括预定块(18)，其中对于块大小集中的每个块大小，所述解码器(54)支持：

帧内预测模式的第一集合(121)，所述第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，以及

帧内预测模式的第二集合(122)，其中，对于所述帧内预测模式的第二集合(122)中的每个帧内预测模式，根据相应的帧内预测模式，通过使用相关联的线性或仿射线性变换将与相应块大小的块(18)相邻的P个相邻样本(17'c、17'a)的集合映射到用于相应块(18)的样本的Q个预测值的集合上来预测所述相应块大小的块(18)，

其中，对于所述块大小集中的每个块大小，所述帧内预测模式的第二集合(122)内用于相应块大小的帧内预测模式的相关联的线性或仿射线性变换相互不同，并且所述帧内预测模式的第二集合针对所述块大小集中的块大小的基数一致，但是所述帧内预测模式的第二集合内用于所述块大小集内的不同块大小的帧内预测模式的相关联的线性或仿射线性变换不能通过缩放彼此变换。

8.根据前述权利要求中任一项所述的解码器，被配置为将线性或仿射线性变换用于亮度分量。

9.一种用于从数据流中解码图片的方法，包括：

使用线性或仿射线性变换将与预定块相邻的P个相邻样本(17'c、17'a)的集合映射到用于所述预定块(18)的样本的Q个预测值的集合，

其中，所述线性或仿射线性变换包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

10.一种用于根据图片编码数据流的编码器，被配置为：

使用线性或仿射线性变换将与预定块相邻的P个相邻样本的集合映射到用于所述预定块的样本的Q个预测值的集合，

11.根据权利要求10所述的编码器，其中，经由任何常规的映射规则，所述P*Q个加权因子彼此不相关。

12.根据权利要求10或11所述的编码器，其中，以下二者之间的互相关的最大值的均值不低于预定阈值：与相应预测值有关的第一系列加权因子，以及与除所述相应预测值之外的预测值有关的第二系列加权因子或者所述第二系列加权因子的反向版本，而无论所述第二系列加权因子还是所述第二系列加权因子的反转版本导致较大的最大值。

13.根据权利要求10至12中任一项所述的编码器，被配置为将线性或仿射线性变换用于所述预定块的亮度分量。

14.一种编码方法，包括：

其中，线性或仿射线性变换包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

15.一种用于从数据流(12、80)中解码图片(10)的解码器(56)，支持帧内预测模式的第一集合(121)和帧内预测模式的第二集合(122)，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，所述解码器被配置为：

通过以下步骤对所述图片(10)的预定块(18)进行解码：

基于数据流(80)中的第一信号通知(81)，将所述预定块(18)分配给所述第一集合(121)或所述第二集合(122)，

根据用于与所述预定块(18)相邻的相邻块(17a-17c)的帧内预测模式，对所分配的帧内预测模式集进行排序，以获得帧内预测模式的列表(90)，

针对所述预定块(18)，从所述数据流(12、80)中导出所述帧内预测模式的列表(90)中的索引(91-95)，

使用所述索引(91-95)指向的帧内预测模式来预测所述预定块(18)，

其中，所述解码器(56)被配置为：

如果所分配的集合是帧内预测模式的第二集合(122)，则在对所分配的集合(122)进行排序时，使用第一映射(101a)，所述第一映射将预测模式的第一集合中的每个帧内预测模式映射到所述帧内预测模式的第二集合中的代表性帧内预测模式，和/或

如果所述分配的集合是帧内预测模式的第一集合(121)，则在对所分配的集合(121)进行排序时，使用第二映射(102a、102b)，所述第二映射将预测模式的第二集合(122)中的每个帧内预测模式映射到所述帧内预测模式的第一集合(121)中的代表性帧内预测模式。

16.一种用于从数据流中解码图片的解码器，对于不同块大小(151、152)中的每个块大小均支持帧内预测模式集，所述解码器被配置为：

通过以下步骤对图片(10)的预定块(18)进行解码：

根据用于与所述预定块(18)相邻的相邻块(17a-17c)的帧内预测模式，对用于所述预定块(18)的块大小的帧内预测模式集进行排序，以获得帧内预测模式的列表(90)，

针对所述预定块(18)，从数据流(12、80)中导出所述帧内预测模式的列表(90)中的索引(91-95)，

其中，所述解码器(56)被配置为：

如果所述相邻块(17a-17c)中的一个相邻块的大小与所述预定块(18)的大小不同，则在对所分配的集合进行排序时，使用映射(106)，所述映射将帧内模式的集合(151)中用于所述一个相邻块的块大小的每个帧内预测模式映射到所述帧内预测模式集中用于所述预定块的块大小的代表性帧内预测模式。

17.根据权利要求15或16所述的解码器，还被配置为使用可变长度码(82)从所述数据流(12、80)中解码所述索引(91-95)，使得码长度单调地依赖于所述帧内预测模式的列表(90)中由所述索引(91-95)指向的帧内预测模式的等级。

18.根据权利要求15至17中任一项所述的解码器，其中，所述可变长度码是一元码。

19.根据权利要求15或16所述的解码器，其中，所述可变长度码是截断二元码。

20.根据权利要求15至19中任一项所述的解码器，被配置为对所分配的帧内预测模式集进行排序，使得所分配的帧内预测模式集内用于相邻块(17a-17c)的帧内预测模式或者经由第一映射或第二映射作为用于所述相邻块(17a-17c)的帧内预测模式被置于所述列表的起始处。

21.根据权利要求16至20中任一项所述的解码器，被配置为对用于所述预定块(18)的块大小的帧内预测模式集进行排序，使得所述帧内预测模式集内用于相邻块(17a-17c)的帧内预测模式或者经由映射作为用于所述相邻块(17a-17c)的帧内预测模式被置于所述列表的起始处。

22.根据权利要求15至21中任一项所述的解码器，被配置为使得根据所述帧内预测模式的第二集合中的每个帧内预测模式，通过使用线性或仿射线性变换将与所述预定块相邻的P个相邻样本的集合映射到用于所述预定块的样本的Q个预测值的集合，来预测所述预定块(18)，

其中，对于所述帧内预测模式的第二集合中的每个帧内预测模式，所述线性或仿射线性变换包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

23.根据权利要求16至22中任一项所述的解码器，被配置为使得根据所述帧内预测模式集中的每个帧内预测模式，通过使用线性或仿射线性变换将与所述预定块(18)相邻的P个相邻样本的集合映射到用于所述预定块的样本的Q个预测值的集合，来预测所述预定块(18)，

其中，对于所述帧内预测模式集中的每个帧内预测模式，所述线性或仿射线性变换包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

24.根据权利要求15至23中任一项所述的解码器，其中，

所述解码器(56)被配置为将所述图片(10)细分为不同块大小(151、152)的多个块，所述多个块包括所述预定块(18)，

所述解码器被配置为：对于块大小(151、152)集中的每个块大小，支持帧内预测模式的第一集合(121)和帧内预测模式的第二集合(122)，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，所述解码器(56)被配置为：

如果相邻块(17a-17c)中的一个相邻块与所述预定块(18)具有所述块大小集内的相同块大小，但是被分配给所述帧内预测模式的第一集合(121)和第二集合(122)中的不同集合，则在对所分配的集合进行排序时，使用第一映射和第二映射(101、102a、102b)，以及

如果相邻块(17a-17c)中的一个相邻块与所述预定块(18)具有所述块大小集内的不同块大小(151、152)，则在对所分配的集合进行排序时，使用以下步骤，

如果为所述预定块(18)分配的集合是用于所述预定块的块大小(151)的第二集合(122)，而为所述一个相邻块(17a-17c)分配的集合是用于所述一个相邻块的块大小(152)的第一集合(121)，则使用第三映射(103)，所述第三映射将预测模式的第一集合(121)中用于所述一个相邻块的块大小(152)的每个帧内预测模式映射到所述帧内预测模式的第二集合(122)中用于所述预定块的块大小(151)的代表性帧内预测模式，和/或，

如果为所述预定块(18)分配的集合是用于所述预定块的块大小(152)的第一集合(121)，而为所述一个相邻块(17a-17c)分配的集合是用于所述一个相邻块的块大小(151)的第二集合(122)，则使用第四映射(104)，所述第四映射将预测模式的第二集合(122)中用于所述一个相邻块的块大小(151)的每个帧内预测模式映射到所述帧内预测模式的第一集合(121)中用于所述预定块的块大小(152)的代表性帧内预测模式，和/或

如果相邻块(17a-17c)中的一个相邻块与所述预定块(18)具有所述块大小集内的相同块大小(151、15n)，如果为所述预定块(18)分配的集合是用于所述预定块的块大小(151、15n)的第二集合(122)并且为所述一个相邻块(17a-17c)分配的集合是用于所述一个相邻块的块大小(151、15n)的第二集合(122)，

则使用第五映射(105)，所述第五映射将预测模式的第二集合(122)中用于所述一个相邻块的块大小(151、15n)的每个帧内预测模式映射到所述帧内预测模式的第二集合(122)中用于所述预定块的块大小(151、15n)的代表性帧内预测模式。

25.根据权利要求15至24中任一项所述的解码器，其中，

所述解码器(56)被配置为将所述图片(10)细分为不同块大小的多个块，所述多个块包括所述预定块(18)，

所述解码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合(121)和帧内预测模式的第一集合(122)，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，所述解码器被配置为：

如果所述预定块(18)是非方形的，则使用索引指向的帧内预测模式，通过以下步骤执行对所述预定块的预测：

如果所述预定块以第一方式定向，则对与所述预定块相邻的一系列相邻样本应用与索引指向的帧内预测模式相关联的线性或仿射线性变换，以及

如果所述预定块以垂直于所述第一方式的第二方式定向，则对与所述预定块(18)相邻的一系列相邻样本的反转版本应用所述与索引指向的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对所述预测块进行转置。

26.根据权利要求15至25中任一项所述的解码器，其中，所述帧内预测模式的第二集合包括帧内预测模式的第一子集和帧内预测模式的第二子集，并且所述预定块(18)是方形的，

其中，所述解码器被配置为：

使用索引(91-95)指向的帧内预测模式，通过以下步骤执行对所述预定块(18)的预测，

如果所述索引(91-95)指向的帧内预测模式包括在第一子集(120S)中，则对与所述预定块(18)相邻的一系列相邻样本应用与索引(91-95)指向的帧内预测模式相关联的线性或仿射线性变换，以及

如果所述索引指向的帧内预测模式包括在第二子集(120N)中，则对与所述预定块(18)相邻的一系列相邻样本(170)的反转版本(170T)应用与帧内预测模式的第一子集(120S)中的帧内预测模式相关联的线性或仿射线性变换，以获得预测块(18T)，并且随后对所述预测块进行转置。

27.根据权利要求15至26中任一项所述的解码器，其中，对于所述第二集合中的至少一个帧内预测模式，使用所述一个帧内预测模式进行预测涉及从空间域到变换域或者从变换域到变换域来预测所述预定块(18)。

28.根据权利要求15至27中任一项所述的解码器，被配置为将所述第一集合(121)或所述第二集合(122)中的帧内预测模式用于亮度分量，将所述第一集合(121)中的帧内预测模式用于色度分量。

29.根据权利要求15至28中任一项所述的解码器，被配置为将所述第二集合(122)中用于亮度分量的至少一个模式映射到所述第一集合(121)中用于色度分量的模式。

30.根据权利要求15至29中任一项所述的解码器，其中，所述第二映射将所述第二集合(122)中的多个模式映射到所述第一集合(122)中的单个模式。

31.根据权利要求30所述的解码器，其中，所述第二映射将所述第二集合(122)中的所有模式映射到所述第一集合(122)中的单个模式。

32.根据权利要求15至31中任一项所述的解码器，其中，所述第二映射将所述第二集合(122)中的所有模式映射到所述第一集合(122)中的单个模式，其中，所述第一集合(122)中的单个模式是平面模式。

33.一种用于从数据流中解码图片的方法，支持帧内预测模式的第一集合和帧内预测模式的第二集合，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，所述方法包括：

通过以下步骤对所述图片的预定块(18)进行解码：

基于所述数据流(80)中的第一信号通知(81)，将所述预定块(18)分配给所述第一集合或所述第二集合，

根据用于与所述预定块相邻的相邻块的帧内预测模式，对所分配的预测模式的集合进行排序，以获得帧内预测模式的列表，

针对所述预定块，从所述数据流中导出所述帧内预测模式的列表中的索引，

使用所述索引指向的帧内预测模式来预测所述预定块，其中，解码基于以下步骤：

如果所分配的集合是帧内预测模式的第二集合，则在对所分配的集合进行排序时，使用第一映射，所述第一映射将预测模式的第一集合中的每个帧内预测模式映射到所述帧内预测模式的第二集合中的代表性帧内预测模式，和/或

如果所分配的集合是帧内预测模式的第一集合，则在对所分配的集合进行排序时，使用第二映射，所述第二映射将预测模式的第二集合中的每个帧内预测模式映射到所述帧内预测模式的第一集合中的代表性帧内预测模式。

34.一种用于将图片编码到数据流中的编码器，支持帧内预测模式的第一集合和帧内预测模式的第二集合，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，所述编码器被配置为：

通过以下步骤对所述图片的预定块(18)进行编码：

将所述预定块(18)分配给所述第一集合或所述第二集合，并且将所述分配编码为所述数据流(80)中的第一信号通知(81)，

针对所述预定块，确定所述帧内预测模式的列表中的索引，

使用所述索引指向的帧内预测模式来预测所述预定块，其中，所述编码器被配置为：

如果所分配的集合是帧内预测模式的第一集合，则在对所分配的集合进行排序时，使用第二映射，所述第二映射将预测模式的第二集合中的每个帧内预测模式映射到帧内预测模式的第一集合中的代表性帧内预测模式。

35.一种用于将图片编码到数据流中的编码器，对于不同块大小中的每个块大小均支持帧内预测模式集，所述编码器被配置为：

通过以下步骤对所述图片的预定块(18)进行编码：

根据用于与所述预定块相邻的相邻块的帧内预测模式，对用于所述预定块的块大小的帧内预测模式集进行排序，以获得帧内预测模式的列表，

针对所述预定块，在数据流中插入所述帧内预测模式的列表中的索引，

如果所述相邻块中的一个相邻块的大小与所述预定块的大小不同，则在对所分配的集合进行排序时，使用映射，所述映射将预测模式集中用于所述一个相邻块的块大小的每个帧内预测模式映射到所述帧内预测模式集中用于所述预定块的块大小的代表性帧内预测模式。

36.根据权利要求34或35所述的编码器，还被配置为使用可变长度码(82)将所述索引编码到所述数据流(80)中，使得码长度单调地依赖于所述帧内预测模式的列表中由所述索引指向的帧内预测模式的等级。

37.根据权利要求36所述的编码器，其中，所述可变长度码(82)是一元码或截断二元码。

38.根据权利要求34至37中任一项所述的编码器，被配置为根据与先前将所述预测模式用于其他块有关的概率和/或历史数据对所述预测模式进行排序。

39.根据权利要求34至38中任一项所述的编码器，被配置为将第二信号通知(82)写入所述数据流(80)中，所述第二信号通知具有直到第二符号为止的连续重复的第一符号，以便基于符号重复的长度来导出所述列表中的索引。

40.根据权利要求34至39中任一项所述的编码器，被配置为对所分配的帧内预测模式集进行排序，使得所分配的帧内预测模式集内用于相邻块的帧内预测模式或者经由第一映射或第二映射作为用于所述相邻块的帧内预测模式被置于所述列表的起始处。

41.根据权利要求34至40中任一项所述的编码器，被配置为对用于所述预定块的块大小的帧内预测模式集进行排序，使得所述帧内预测模式集内用于相邻块的帧内预测模式或者经由映射作为用于所述相邻块的帧内预测模式被置于所述列表的起始处。

42.根据权利要求34至41中任一项所述的编码器，被配置为使得根据所述帧内预测模式的第二集合中的每个帧内预测模式，通过使用线性或仿射线性变换将与所述预定块相邻的P个相邻样本的集合映射到用于所述预定块的样本的Q个预测值的集合，来预测所述预定块，其中，对于所述帧内预测模式的第二集合中的每个帧内预测模式：

所述线性或仿射线性变换包括P*Q个加权因子，所述P*Q个加权因子中的至少1/4个是非零加权值，对于Q个预测值中的每个预测值，所述加权因子包括与相应预测值有关的一系列P个加权因子，其中，所述一系列P个加权因子在根据所述预定块的样本之间的光栅扫描顺序一个接一个地排列时，形成全向非线性的包络。

43.根据权利要求34至42中任一项所述的编码器，被配置为使得根据所述帧内预测模式集中的每个帧内预测模式，通过使用线性或仿射将与所述预定块相邻的P个相邻样本的集合映射到用于所述预定块的样本的Q个预测值的集合，来预测所述预定块，

44.根据权利要求34至43中任一项所述的编码器，其中，

所述编码器被配置为将所述图片细分为不同块大小的多个块，所述多个块包括所述预定块，

所述编码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第二集合，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，所述编码器被配置为：

如果相邻块中的一个相邻块与所述预定块具有所述块大小集内的相同块大小，但是被分配给所述帧内预测模式的第一集合和第二集合中的不同集合，则在对所分配的集合进行排序时，使用第一映射和第二映射，以及

如果相邻块中的一个相邻块与所述预定块具有所述块大小集内的不同块大小，例如它们不相同，则在对所分配的集合进行排序时，使用以下步骤，

如果为所述预定块分配的集合是用于所述预定块的块大小的第二集合，而为所述一个相邻块分配的集合是用于所述一个相邻块的块大小的第一集合，则使用第三映射，所述第三映射将预测模式的第一集合中用于所述一个相邻块的块大小的每个帧内预测模式映射到所述帧内预测模式的第二集合中用于所述预定块的块大小的代表性帧内预测模式，和/或，

如果为所述预定块分配的集合是用于所述预定块的块大小的第一集合，而为所述一个相邻块分配的集合是用于所述一个相邻块的块大小的第二集合，则使用第四映射，所述第四映射将预测模式的第二集合中用于所述一个相邻块的块大小的每个帧内预测模式映射到所述帧内预测模式的第一集合中用于所述预定块的块大小的代表性帧内预测模式，和/或

如果相邻块中的一个相邻块与所述预定块具有所述块大小集内的相同块大小，如果为所述预定块分配的集合是用于所述预定块的块大小的第二集合并且为所述一个相邻块分配的集合是用于所述一个相邻块的块大小的第二集合，

则使用第五映射，所述第五映射将预测模式的第二集合中用于所述一个相邻块的块大小的每个帧内预测模式映射到所述帧内预测模式的第二集合中用于所述预定块的块大小的代表性帧内预测模式。

45.根据权利要求34至44中任一项所述的编码器，其中，

所述编码器被配置为将所述图片细分为具有不同块大小的多个块，所述多个块包括所述预定块，

所述编码器被配置为：对于块大小集中的每个块大小，支持帧内预测模式的第一集合和帧内预测模式的第一集合，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，

其中，所述编码器被配置为：

如果所述预定块以垂直于所述第一方式的第二方式定向，则对与所述预定块相邻的一系列相邻样本的反转版本应用所述与索引指向的帧内预测模式相关联的线性或仿射线性变换，以获得预测块，并且随后对所述预测块进行转置。

46.根据权利要求34至45中任一项所述的编码器，其中，

所述帧内预测模式的第二集合包括帧内预测模式的第一子集和帧内预测模式的第二子集，并且所述预定块(18)是方形的，

其中，所述编码器(14)被配置为：

使用索引(91-95)指向的帧内预测模式，通过以下步骤执行对所述预定块(18)的预测(44)，

如果所述索引(91-95)指向的帧内预测模式包括在第一子集(122)中，则对与所述预定块(18)相邻的一系列相邻样本(17'a-17'c)应用与索引(91-95)指向的帧内预测模式相关联的线性或仿射线性变换，以及

如果所述索引(91-95)指向的帧内预测模式包括在第二子集(122)中，则对与所述预定块相邻的一系列相邻样本的反转版本应用与帧内预测模式的第二子集中的帧内预测模式相关联的线性或仿射线性变换，以获得预测块(18T)，并且随后对所述预测块(18)进行转置(144)。

47.根据权利要求34至46中任一项所述的编码器，其中，对于所述第二集合中的至少一个帧内预测模式，使用所述一个帧内预测模式进行预测涉及从空间域到变换域或者从变换域到变换域来预测所述预定块。

48.根据权利要求34至47中的任一项所述的编码器，被配置为将所述第一集合(121)或所述第二集合(122)中的帧内预测模式用于亮度分量，将所述第一集合(121)中的帧内预测模式用于色度分量。

49.根据权利要求34至48中任一项所述的编码器，被配置为将所述第二集合(122)中用于亮度分量的至少一个模式映射到所述第一集合(121)中用于色度分量的模式。

50.根据权利要求34至49中任一项所述的编码器，其中，所述第二映射将所述第二集合(122)中的多个模式映射到所述第一集合(122)中的单个模式。

51.根据权利要求34至50中任一项所述的编码器，其中，所述第二映射将所述第二集合(122)中的所有模式映射到所述第一集合(122)中的单个模式。

52.根据权利要求34至51中任一项所述的编码器，其中，所述第一集合(122)中的单个模式是平面模式。

53.一种用于将图片编码到数据流中的方法，支持帧内预测模式的第一集合和帧内预测模式的第二集合，所述帧内预测模式的第一集合包括多个方向性预测模式并且包括DC模式和平面模式中的至少一个，所述方法包括：

将预定块(18)分配给所述第一集合或所述第二集合，并且将所述分配编码为所述数据流(80)中的第一信号通知(81)，

针对所述预定块，确定所述帧内预测模式的列表中的索引，

使用所述索引指向的帧内预测模式来预测所述预定块，

编码所述数据流(80)，

其中，所述编码器被配置为：

54.一种用于从数据流中解码图片的解码器，被配置为：

通过以下步骤来预测所述图片的预定块：

对在所述预定块(18)的第一侧边(18c)与所述预定块(18)相邻的相邻样本的第一集合(17'c)进行变换，以获得变换系数的第一集合，和/或对在所述预定块的第二侧边(18a)与所述预定块相邻的相邻样本的第二集合(17'a)进行变换，以获得变换系数的第二集合，

对所述变换系数的第一集合和所述变换系数的第二集合的组合、或者所述相邻样本的第一集合(17'c)和所述变换系数的第二集合的组合、或者所述相邻样本的第二集合(17'a)和所述变换系数的第一集合的组合进行线性或仿射线性变换(17M)。

55.根据权利要求54所述的解码器，被配置为：

将所述图片细分为不同大小的多个块，所述多个块包括预定块，

以与相邻块的大小无关的方式定位所述相邻样本的第一集合和所述相邻样本的第二集合，所述相邻块包括所述相邻样本的第一集合和所述相邻样本的第二集合。

56.根据权利要求54或55所述的解码器，被配置为：

将所述相邻样本的第一集合和所述相邻样本的第二集合定位为，使得所述相邻样本的第一集合和所述相邻样本的第二集合分别沿着所述第一侧边和所述第二侧边沿一维路径定位，其中所述变换系数的第一集合和所述变换系数的第二集合代表一维变换。

57.根据权利要求54至56中任一项所述的解码器，被配置为通过从所述变换系数的第一集合中获取变换系数的第一适当子集和/或从所述变换系数的第二集合中获取变换系数的第二适当子集来形成所述变换系数的第一集合和所述变换系数的第二集合的组合，使得所述组合分别与所述变换系数的第一集合和/或所述变换系数的第二集合中未获取的部分无关。

58.根据权利要求54至57中任一项所述的解码器，被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生所述预定块在变换域中的预测子。

59.根据权利要求54至58中任一项所述的解码器，被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生针对所述预定块的变换的变换系数的适当子集的预测值。

60.根据权利要求54至59中任一项所述的解码器，被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生所述预定块在空间域中的预测子。

61.一种用于从数据流中解码图片的方法，包括：

通过以下步骤来预测所述图片的预定块：

62.一种用于将图片编码到数据流中的编码器，被配置为：

通过以下步骤来预测所述图片的预定块：

63.根据权利要求62所述的编码器，被配置为：

将所述图片细分为不同大小的多个块，所述多个块包括所述预定块，

64.根据权利要求62或63所述的编码器，被配置为：

将所述相邻样本的第一集合和所述相邻样本的第二集合定位为使得所述相邻样本的第一集合和所述相邻样本的第二集合分别沿着所述第一侧边和所述第二侧边沿一维路径定位，其中所述变换系数的第一集合和所述变换系数的第二集合代表一维变换。

65.根据权利要求62至64中任一项所述的编码器，被配置为通过从所述变换系数的第一集合中获取变换系数的第一适当子集和/或从所述变换系数的第二集合中获取变换系数的第二适当子集来形成所述变换系数的第一集合和所述变换系数的第二集合的组合，使得所述组合分别与所述变换系数的第一集合和/或所述变换系数的第二集合中未获取的部分无关。

66.根据权利要求62至65中任一项所述的编码器，被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生所述预定块在变换域中的预测子。

67.根据权利要求62至66中任一项所述的编码器，所述编码器被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生针对所述预定块的变换的变换系数的适当子集的预测值。

68.根据权利要求62至67中任一项所述的编码器，所述编码器被配置为使得对所述变换系数的第一集合和所述变换系数的第二集合的组合进行线性或仿射线性变换产生所述预定块在空间域中的预测子。

69.一种用于将图片编码到数据流中的方法，包括：

通过以下步骤来预测所述图片的预定块：

70.一种系统，包括根据权利要求10至13、34至53、62至68中任一项所述的编码器和/或根据权利要求1至7、15至32、54至60中任一项所述的解码器。

71.一种方法，包括根据权利要求14、53、69中任一项所述的编码方法和/或根据权利要求9、33、61中任一项所述的解码方法。

72.一种非暂时性存储单元，存储有指令，所述指令在由处理器执行时使所述处理器执行根据权利要求14、53、69、9、33、61、71中任一项所述的方法。