CN118524227A - 编码/解码方法、介质和传输比特流的方法 - Google Patents

Abstract

公开了一种编码/解码方法、介质和传输比特流的方法。利用解码装置对视频信号进行解码的方法包括：从视频信号获得指示是否使用受约束帧内预测的语法元素；确定视频信号中的当前块的帧内预测模式；构造当前块的参考样本；以及基于帧内预测模式和所构造的参考样本生成当前块的预测块。

Description

编码/解码方法、介质和传输比特流的方法

本申请是申请日为2019年9月9日、申请号为201980058599.5、发明名称为“图像编码/解码方法和装置”的发明专利申请的分案申请。

技术领域

本公开内容涉及图像编码/解码方法和装置。

背景技术

随着因特网和移动终端的提供以及信息和通信技术的发展，多媒体数据的使用迅速增加。因此，为了通过各种系统中的图像预测来执行各种服务或工作，提高图像处理系统的性能和效率的需求已经显著增加，但是可以响应于这种气氛的研究和开发结果还不够。

这样，在传统技术的图像编码和解码方法和装置中，需要提高图像处理的性能，特别是图像编码或图像解码的性能。

发明内容

技术问题

本公开内容的目的是提供一种用于根据颜色分量得出帧内预测模式的方法和装置。

本公开内容的目的是提供一种用于配置用于帧内预测的参考像素的方法和装置。

本公开内容的目的是提供一种使用任意像素对帧内预测进行修改的图像编码/解码方法和装置。

技术解决方案

根据本公开内容的图像编码/解码方法和装置可以确定目标块的帧内预测模式，基于帧内预测模式生成目标块的预测块，并且修改预测块。

在根据本公开内容的图像编码/解码方法和装置中，可以根据目标块的状态信息将目标块的帧内预测模式确定为预测模式候选组中的模式。

在根据本公开内容的图像编码/解码方法和装置中，当目标块的颜色分量是亮度分量时，可以参考包括定向模式和非定向模式的预测模式候选组，并且当目标块的颜色分量是色度分量时，可以参考其中支持定向模式、非定向模式、颜色模式或颜色复制模式中的至少一个的预测模式候选组。

在根据本公内容的图像编码/解码方法和装置中，通过考虑能够被包括在每个类别中的预测模式的最大数目或优先级，可以将预测模式候选组分类成多个类别。

在根据本公开内容的图像编码/解码方法和装置中，可以将预测模式候选组分类成第一类别和第二类别，第一类别包括非定向模式和定向模式并且第二类别包括颜色复制模式。

在根据本公开内容的图像编码/解码方法和装置中，可以获得第一信息和第二信息，第一信息指定多个类别中的任何一个类别，并且第二信息指定根据第一信息的类别中目标块的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，可以基于第一信息和第二信息从指定的类别中确定目标块的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，当根据第一信息的类别中只包括一个预测模式时，可以不获取第二信息。

在根据本公开内容的图像编码/解码方法和装置中，还可以包括构造用于帧内预测的参考像素，但是参考像素可以属于解码设备中支持的多个参考像素行的全部或部分。

在根据本公开内容的图像编码/解码方法和装置中，还可以包括：对所构造的参考像素执行加权滤波器或内插滤波器中的至少一个。

在根据本公开内容的图像编码/解码方法和装置中，可以基于预定编码信息来选择性地执行对预测块的修改，并且编码信息可以包括以下中的至少一个：图像类型、颜色分量、状态信息、编码模式、帧内预测模式、是否应用以子块为单元的帧内预测、或者参考像素行。

有益效果

根据本公开内容，可以有效地得出帧内预测模式。

根据本公开内容，可以通过选择性地使用参考像素行和预定滤波来提高帧内预测的效率。

根据本公开内容，可以通过修改预测块来提高帧内预测精度和编码性能。

附图说明

图1是根据本公开内容的实施方式的图像编码和解码系统的概念图。

图2是根据本公开内容的实施方式的图像编码装置的部件框图。

图3是根据本公开内容的实施方式的图像解码装置的部件框图。

图4是示出可以在本公开内容的块划分单元中获得的各种划分形状的示例图。

图5是示出根据本公开内容的实施方式的帧内预测中的预测模式的示例图。

图6是根据本公开内容的实施方式的目标块和与其相邻的块的布置图。

图7是示出根据本公开内容的实施方式的帧内预测的修改方法的流程图。

图8是根据本公开内容的实施方式的目标块和相邻块的像素的布置图。

图9的部分(a)和部分(b)是根据本公开内容的实施方式的基于多个参考像素行的修改方法的示例图。

图10是示出根据本公开内容的实施方式的帧内预测的修改方法的流程图。

图11的部分(a)、(b)、(c)、(d)、(e)是根据本公开内容的实施方式的用于对预测像素进行修改的任意像素的示例图。

图12的部分(a)、(b)、(c)、(d)、(e)、(f)是根据本公开内容的实施方式的基于任意像素来执行修改的示例图。

具体实施方式

最佳方式

根据本公开内容的图像编码/解码方法和装置可以确定目标块的帧内预测模式，基于帧内预测模式生成目标块的预测块，并且修改预测块。

在根据本公开内容的图像编码/解码方法和装置中，可以根据目标块的状态信息将目标块的帧内预测模式确定为预测模式候选组中的模式。

在根据本公开内容的图像编码/解码方法和装置中，当目标块的颜色分量是亮度分量时，可以参考包括定向模式和非定向模式的预测模式候选组，并且当目标块的颜色分量是色度分量时，可以参考其中支持定向模式、非定向模式、颜色模式或颜色复制模式中的至少一个的预测模式候选组。

在根据本公内容开的图像编码/解码方法和装置中，通过考虑可以被包括在每个类别中的预测模式的最大数目或优先级，可以将预测模式候选组分类成多个类别。

在根据本公开内容的图像编码/解码方法和装置中，可以将预测模式候选组分类成第一类别和第二类别，第一类别包括非定向模式和定向模式并且第二类别包括颜色复制模式。

在根据本公开内容的图像编码/解码方法和装置中，可以获得第一信息和第二信息，第一信息指定多个类别中的任何一个，并且第二信息指定根据第一信息的类别中目标块的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，可以基于第一信息和第二信息从指定类别确定目标块的帧内预测模式。

在根据本公开内容的图像编码/解码方法和装置中，当根据第一信息的类别中只包括一个预测模式时，可以不获得第二信息。

在根据本公开内容的图像编码/解码方法和装置中，还可以包括构造用于帧内预测的参考像素，但是参考像素可以属于解码设备中支持的多个参考像素行的全部或部分。

在根据本公开内容的图像编码/解码方法和装置中，还可以包括：针对所构造的参考像素，执行加权滤波器或内插滤波器中的至少一个。

在根据本公开内容的图像编码/解码方法和装置中，可以基于预定的编码信息来选择性地执行对预测块的修改，并且编码信息可以包括以下种的至少一个：图像类型、颜色分量、状态信息、编码模式、帧内预测模式、是否应用以子块为单元的帧内预测、或者参考像素行。

本发明的实施方式

本发明可以以各种方式进行改变和修改，并且参考不同的示例性实施方式进行说明，其中将在附图中描述和示出一些示例性实施方式。然而，这些实施方式不旨在限制本发明，而是被理解为包括属于本发明的精神和技术范围内的所有修改、等同方案和替换方案。附图中相同的附图标记始终表示相同的元件。

虽然术语第一、第二等可以用于描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离本发明的教示的情况下，第一元件可以被称为第二元件，并且同样地第二元件可以被称为第一元件。术语“和/或”包括多个关联列出项的任何组合和所有组合。

将要理解的是，当元件被称为“连接至”或“耦接至”另一元件时，该元件可以直接连接或直接耦接至另一元件或也可以存在中间元件。相反，当元件被称为“直接连接至”或“直接耦接至”另一元件时，不存在中间元件。

在本文中使用的专业术语仅用于描述特定实施方式，而不旨在限制本发明。如本文种所使用的，除非上下文另有明确指出，单数形式旨在包括复数形式。还将理解的是，当在本说明书中使用时，术语“包括”和/或“具有”指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或它们的组。

除非另外限定，否则本文中所使用的所有术语，包括技术或科学术语，与本公开内容所属领域的普通技术人员通常理解的含义相同。通常使用的并且在词典中限定的术语应当被解释为与相关技术具有相同的上下文含义，并且除非在本公开内容中明确限定，否则它们不应当被解释为理想的或过于正式的含义。

通常，可以根据图像的颜色格式来配置一个或更多个颜色空间。可以根据颜色格式来配置具有特定尺寸的一个或更多个图片或者具有不同尺寸的一个更或多个图片。在示例中，在YCbCr颜色配置中，可以支持诸如4:4:4、4:2:2、4:2:0、单色(仅使用Y来配置)等的颜色格式。在示例中，对于YCbCr 4:2:0，可以配置1个亮度分量(在该示例中为Y)和2个色度分量(在该示例中为Cb/Cr)，并且在该情况下，色度分量与亮度分量的配置比率可以为1:2的纵横比。在示例中，对于4:4:4，可以具有相同的纵横比。如上述示例中那样，当图像配置有一个或更多个颜色空间时，可以执行将图像划分成每个颜色空间。

由于可以根据图像类型(例如，图片类型、切片类型、图块组类型、图块类型、砖块类型等)将图像分类成I、P、B等，因此图像类型I可以表示不使用参考图片而进行自编码的图像，图像类型P可以表示通过使用参考图片进行编码但仅允许前向预测的图像，并且图像类型B可以表示通过使用参考图片进行编码并且允许前向/后向预测的图像，但是可以根据编码设置来组合(组合P和B)上述类型的一部分，或者可以支持其他配置中的图像类型。

在本公开中生成的各种编码/解码信息可以显示地或隐式地被处理。就此而言，可以理解的是，显式处理以序列、切片、图块组、图块、砖块、块、子块等生成编码/解码信息，以将其存储在比特流中，并且在解码器中与编码器相同单元中解析相关信息，以将相关信息重建为经解码的信息。在该情况下，可以理解的是，隐式处理在编码器和解码器中以相同的处理、规则等处理编码/解码信息。

图1是根据本公开内容的实施方式的图像编码和解码系统的概念图。

参照图1，图像编码装置105和图像解码装置100可以是诸如个人计算机(PC)、笔记本、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式播放站(PSP)、无线通信终端、智能电话或TV等的用户终端或者诸如应用服务器、业务服务器等的服务器终端，并且图像编码装置105和图像解码装置100可以包括配备有通信装置的各种装置，例如，用于与各种仪器或有线和无线通信网络进行通信的通信调制解调器等、用于存储用于对图像进行编码或解码的帧间预测或帧内预测的各种程序和数据的存储器(120、125)或者用于通过运行程序进行程序操作及控制的处理器(110，115)等。

此外，可以通过诸如因特网、无线局域网、无线Lan网络、无线宽带网络或移动无线电通信网络等的有线和无线通信网络等，或者通过诸如电缆或通用串行总线等的各种通信接口，实时地或非实时地将由图像编码装置105编码为比特流的图像发送至图像解码装置100，并且在图像解码装置100中解码。并且该比特流可以被重建成图像并且播放。另外，可以通过计算机可读记录介质将由图像编码装置105编码为比特流的图像从图像编码装置105发送至图像解码装置100。

上述提及的图像编码装置和图像解码装置可以分别是单独的装置，但是根据实施方式它们可以被制成一个图像编码/解码装置。在该情况下，图像编码装置的一些配置可以被实施为包括与作为基本相同的技术元件的图像解码装置的一些配置至少相同的结构或执行至少相同的功能。

因此，在对以下技术要素及其操作原理等的详细说明中，将省略对相应技术要素的重复说明。另外，由于图像解码装置与将在图像编码装置中执行的图像编码方法应用于解码的计算装置对应，因此，下文将主要描述图像编码装置。

计算装置可以包括：存储器，其存储体现图像编码方法和/或图像解码方法的程序或软件模块；以及处理器，其连接存储器以执行程序。在该情况下，分别地，图像编码装置可以被称为编码器，并且图像解码装置可以被称为解码器。

图2是根据本公开内容的实施方式的图像编码装置的部件框图。

参照图2，图像编码装置20可以包括预测单元200、减法单元205、变换单元210、量化单元215、逆量化单元220、逆变换单元225、加法单元230、滤波器单元235、编码图片缓冲器240和熵编码单元245。

预测单元200可以通过使用预测模块、软件模块来实施，并且可以针对将要编码的块以帧内预测方法或帧间预测方法生成预测块。预测单元200可以通过预测图像中当前要被编码的目标块来生成预测块。换言之，预测单元200可以通过根据帧内预测或帧间预测对图像中要被编码的目标块中的每个像素的像素值进行预测来生成每个像素的预测像素值从而生成预测块。另外，预测单元200可以通过将生成预测块所必需的的信息(例如关于诸如帧内预测模式或帧间预测模式的预测模式的信息)发送至编码单元，来使编码单元编码关于预测模式的信息。在该情况下，可以根据编码设置来确定执行预测的处理单元和确定预测方法和具体内容的处理单元。例如，可以在预测单元中确定预测方法、预测模式等，并且可以在变换单元中执行预测。

在帧间预测单元中，基于参考图片可以将帧间预测单元划分成时间预测和空间预测。对于时间预测，其可以是在时间上与当前图片不同的图片中找到运动的预测方法，而对于空间预测，其可以是在当前图片(编码完成区域，时间上与当前图片相同的与目标块相邻的预设置区域)中找到运动的预测方法。这可以通过参考图片列表来集成和管理，或者可以通过划分编码模式来管理。

另外，在帧间预测单元中，根据运动预测方法可以将帧间预测单元划分成平移运动模型和非平移运动模型。对于平移运动模型，可以通过仅考虑平行平移来执行预测，而对于非平移运动模型，可以通过考虑诸如旋转、距离、放大/缩小等运动以及平行平移来执行预测。当假定单向预测时，平移运动模型可能需要一个运动矢量，但非平移运动模型可能需要一个或更多个运动信息(例如，一个运动矢量+旋转角度/缩放因数、多于2个的运动矢量等。下面假设使用多于2个的运动矢量)。对于非平移运动模型，每个运动矢量可以是应用于(诸如目标块的左上顶点、右上顶点、左下顶点等的)目标块的预设置位置的信息，并且可以以像素或子块(大于或等于2的整数，如4×4、8×8)为单元来获取要通过对应运动矢量预测的目标块区域的位置。对于帧间预测单元，根据运动模型，可以共同应用稍后描述的一些处理，并且可以单独应用一些处理。

帧间预测单元可以包括参考图片构造单元、运动预测单元、运动补偿单元、运动信息确定单元和运动信息编码单元。参考图片构造单元可以包括参考图片列表(L0、L1)中的当前图片之前或之后编码的图片。当根据编码设置用参考图片配置当前图像时，可以从参考图片列表中包括的参考图片以及参考图片列表中的至少一个参考图片列表中包括的参考图片获得预测块。

在帧间预测单元中，参考图片构造单元可以包括参考图片内插单元，并且根据内插精度对分数像素执行内插处理。例如，可以将基于DCT的8抽头内插滤波器应用于亮度分量，并且可以将基于DCT的4抽头内插滤波器应用于色度分量。

在帧间预测单元中，运动预测单元是通过参考图片来搜索与目标块具有高相关性的块的处理，并且可以使用各种方法，例如FBMA(基于完全搜索的块匹配算法)、TSS(三步搜索)等，并且运动补偿单元意指通过运动预测处理来进行获得预测块的处理。

在帧间预测模式中，运动信息确定单元可以执行用于选择目标块的最佳运动信息的处理，并且可以通过诸如跳过模式、合并模式、竞争模式等的运动信息编码模式对运动信息进行编码。可以根据运动模型通过组合支持的模式来配置模式，并且跳过模式(平移)、跳过模式(非平移)、合并模式(平移)、合并模式(非平移)、竞争模式(平移)和竞争模式(非平移)可以是其示例。根据编码设置，可以将模式中的一些包括在候选组中。

运动信息编码模式可以在至少一个候选块中获得目标块的运动信息(运动矢量、参考图片、预测方向等)的预测值，并且当支持两个或更多个候选块时，可以生成最佳候选选择信息。在跳过模式(无残差信号)和合并模式(有残差信号)中，预测值可以用作目标块的运动信息，并且在竞争模式中，可以生成目标块的运动信息和与预测值的差值信息。

用于目标块的运动信息预测值的候选组可以是自适应的，并且根据运动信息编码模式具有各种配置。与目标块空间地相邻的块(例如，左块、上块、左上块、右上块、左下块等)的运动信息可以包括在候选组中，与目标块时间上相邻的块(例如，左块、右块、上块、下块、左上块、右上块、左下块、右下块等，包括其他图像中响应于或对应于目标块的块<中心>)的运动信息可以包括在候选组中，并且空间候选与时间候选的混合运动信息(例如，通过空间地相邻的块的运动信息和时间上相邻的块的运动信息，由多于2个的候选的平均值、中心值等而获得的信息。运动信息可以以目标块或者目标块的子块为单位获得，可以包括在候选组中。

可以存在用于配置运动信息预测值候选组的优先级。可以根据优先级来确定预测值候选组配置中包括的顺序，并且可以在根据优先级达到候选组的数目(根据运动信息编码模式确定)时配置候选组。在该情况下，可以按照空间相邻块的运动信息、时间相邻块的运动信息以及空间候选与时间候选的混合运动信息的顺序来确定优先级，但是也可以修改优先级。

例如，在空间相邻的块中，可以按照左-上-右上-左下-左上等的块的顺序包括在候选组中，并且对于时间相邻的块，可以按照右下-中-右-下等的块的顺序包括在候选组中。

减法单元205可以通过从目标块中减去预测块来生成残差块。换言之，减法单元205可以通过对要编码的目标块的每个像素的像素值与预测单元中生成的预测块的每个像素的预测像素值之间的差进行计算来生成残差块(块形残差信号)。另外，减法单元205可以根据除了稍后描述的块划分单元中获得的块单元之外的单元生成残差块。

变换单元210可以将属于空间域的信号变换为属于频域的信号，并且在变换过程中获得的信号被称为变换系数。例如，可以通过对具有从减法单元发送的残差信号的残差块进行变换来获得具有变换系数的变换块，并且根据编码设置来确定输入信号，该输入信号不限于残差信号。

变换单元可以通过使用诸如哈达玛变换(Hadamard Transform)、基于DST的变换(离散正弦变换)、基于DCT的变换(离散余弦变换)等的变换方法来变换残差块，并且可以使用对其改进和修改的各种变换方法，但本发明不限于此。

可以支持变换方法中的至少一种变换方法，并且可以支持每种变换方法中的至少一种详细变换方法。在该情况下，详细变换方法可以是其中在每种变换方法中基本矢量的一部分被不同地配置的变换方法。

例如，对于DCT，可以支持DCT-1至DCT-8之间多于1种的详细变换方法，并且对于DST，可以支持DST-1至DST-8之间多于1种的详细变换方法。可以通过配置详细变换方法的一部分来配置变换方法候选组。在示例中，DCT-2、DCT-8和DST-7可以被配置成变换方法候选组以执行变换。

可以在水平/垂直方向上执行变换。例如，通过执行总的二维变换、利用DCT-2的变换方法在水平方向上进行一维变换和利用DST-7的变换方法在垂直方向上进行一维变换，可以将空间域的像素值变换到频域。

可以通过使用一种固定的变换方法或者通过根据编码设置自适应地选择变换方法来执行变换。在该情况下，对于自适应情况，可以通过使用显式方法或隐式方法来选择变换方法。对于显式情况，可以以块等为单元生成应用于水平和垂直方向的每个变换方法选择信息或变换方法集选择信息。对于隐式情况，可以根据图像类型(I/P/B)、颜色分量、块尺寸/形状/位置、帧内预测模式等来限定编码设置，并且相应地，可以选择预定的变换方法。

另外，根据编码设置可以省略一些变换。换言之，这意味着可以显式地或隐式地省略各个水平/垂直单元中的一个或更多个。

另外，变换单元可以将生成变换块所需的信息发送至编码单元以对信息进行编码并且将编码的信息存储在比特流中以将其发送至解码器，并且解码器的解码单元可以解析该信息以在逆变换过程中使用。

量化单元215可以量化输入信号，并且在该情况下，在量化过程中获得的信号被称为量化系数。例如，可以通过对具有从变换单元发送的残差变换系数的残差块进行量化来获得具有量化系数的量化块，并且根据编码设置来确定输入信号，该输入信号不限于残差变换系数。

量化单元可以通过使用诸如死区统一阈值量化、量化加权矩阵等的量化方法来对变换的残差块进行量化，并且可以使用其改进和修改的各种量化方法，但是本发明不限于此。

根据编码设置可以省略量化处理。例如，可以根据编码设置(例如，量化参数为0，即无损压缩环境)省略量化处理(包括逆处理)。在另一示例中，当根据图像的特性未表现出通过量化的压缩性能时，可以省略量化处理。在该情况下，在量化块(M×N)中省略了量化处理的区域可以是区域(M/2×N/2、M×N/2、M/2×N等)的全部或部分，并且可以隐式或显式地确定量化省略选择信息。

量化单元可以将生成量化块所需的信息发送至编码单元以对对该信息进行编码，并且将编码的信息存储在比特流中以将其发送至解码器，并且解码器的解码单元可以解析该信息，以将解析的信息用于逆量化过程。

在上述示例中，描述了假定通过变换单元和量化单元对残差块进行变换和量化，但是可以通过对残差块的残差信号进行变换来生成具有变换系数的残差块，并且可以不执行量化处理，可以仅执行量化处理而不将残差块的残差信号变换成变换系数，并且可以不执行变换处理和量化处理二者。这可以根据编码设置来确定。

逆量化单元200对由量化单元215量化的残差块进行逆量化。换言之，逆量化单元220通过对量化频率系数列进行逆量化来生成具有频率系数的残差块。

逆变换单元225对由逆量化单元220逆量化的残差块进行逆变换。换言之，逆变换单元225通过对逆量化的残差块的频率系数进行逆变换来生成具有像素值的残差块，即重建的残差块。在该情况下，逆变换单元225可以通过逆使用在变换单元210中使用的变换方法来执行逆变换。

加法单元230通过将在预测单元200中预测的预测块和由逆变换单元225重建的残差块相加来重建目标块。重建的目标块可以存储在编码图片缓冲器240中作为参考图片(或参考块)，并且可以在将来对目标块、其他块或其他图片的下一块进行编码时用作参考图片。

滤波器单元235可以包含一个或更多个后处理滤波器处理，例如去块滤波器、SAO(样本自适应偏移)、ALF(自适应环路滤波器)等。去块滤波器可以移除在重建图片中的块之间的边界上生成的块失真。ALF可以基于通过将块滤波器对块滤波之后的重建图像与原始图像进行比较而获得的值来执行滤波。SAO可以针对应用去块滤波器的残差块以像素为单位重建与原始图像的偏移差。这样的后处理滤波器可以应用于重建的图片或块。

编码图片缓冲器240可以存储在滤波器单元235中重建的块或图片。可以将存储在编码图片缓冲器240中的重建块或图片提供给执行帧内预测或帧间预测的预测单元200。

熵编码单元245根据各种扫描方法来扫描所生成的量化频率系数列，以生成量化系数列，并且通过使用熵编码方法等对量化系数列进行编码并且输出。可以将扫描图案设置为诸如Z字形、对角线、栅格形等的各种图案中的一种。此外，可以生成包括从每个构造单元发送的编码信息的编码数据并且在比特流中将其输出。

图3是根据本公开内容的实施方式的图像解码装置的部件框图。

参照图3，图像解码装置30可以通过包括以下来配置：熵解码单元305、预测单元310、逆量化单元315、逆变换单元320、加法器-减法器325、滤波器330和解码图片缓冲器335。

另外，预测单元310可以通过包括帧内预测模块和帧间预测模块来配置。

首先，当接收到从图像编码装置20发送的图像比特流时，可以将其发送到熵解码单元305。

熵解码单元305可以通过对比特流进行解码而将包括量化系数的解码数据和发送到每个构造单元的解码信息进行解码。

预测单元310可以基于从熵解码单元305发送的数据来生成预测块。在该情况下，基于存储在解码图片缓冲器335中的参考图像，可以配置使用默认配置方法的参考图片列表。

帧间预测单元可以包括参考图片构造单元、运动补偿单元和运动信息解码单元，并且一些可以执行与编码器相同的处理，而一些可以执行逆推导处理。

逆量化单元315可以对在比特流中发送并且在熵解码单元305中解码的量化变换系数进行逆量化。

逆变换单元320可以通过将逆DCT、逆整数变换或与其类似的逆变换方法应用于变换系数来生成残差块。

在该情况下，逆量化单元315和逆变换单元320可以以各种方式实施，同时相反地执行在上述图像编码装置20的变换单元210和量化单元215中执行的处理。例如，可以使用逆变换以及与变换单元210和量化单元215共享的相同处理，并且可以使用与图像编码装置20中的关于变换和量化处理的信息(例如，变换尺寸、变换形状、量化类型等)相反地执行变换和逆量化处理。

可以将逆量化和逆变换处理之后的残差块加到由预测单元310得出的预测块以生成重建图像块。可以由加法器-减法器325来执行这样的加法。

如果必要，滤波器330可以将去块滤波器应用于重建图像块以移除块现象，并且在解码处理之前和之后另外使用其他环路滤波器以改善图像质量。

所构造和滤波的图像块可以被存储在解码图片缓冲器335中。

尽管在图中未示出，但是在图像编码/解码装置中可以附加地包括块划分单元。

通过块划分单元可以划分成具有各种单位和尺寸的块。基本编码单元(或最大编码单元。编码树单元CTU)可以意指图像编码过程中用于预测、变换、量化等的基本(或起始)单元。在该情况下，基本编码单元可以根据颜色格式(在本示例中为YCbCr)被配置成具有一个亮度基本编码块(或，最大编码块。编码树块CTB)和两个基本色度编码块，并且可以根据颜色格式来确定每个块的尺寸。另外，可以根据划分处理获得编码块(CB)。编码块可以被理解为根据固定限制不被划分成更多个编码块的单元，并且可以被设置为用于划分成较低单元的起始单元。在本公开内容中，块可以被理解为包括诸如三角形、圆形等各种形状而不限于方形的宽泛概念。

应当理解，下文提及的内容针对一种颜色分量，但是可以根据颜色格式的比率(例如，对于YCbCr 4:2:0，亮度分量和色度分量的纵横比比为2:1)成比例地改变并且应用于其他颜色分量。此外，应当理解，取决于其他颜色分量的块划分(例如，在取决于来自Cb/Cr中Y的块划分的结果的情况)是可能的，但是独立于每个颜色分量的块划分也是可能的。另外，可以使用一个公共块划分设置(考虑与长度比成比例)，但是也需要考虑和理解根据颜色分量来使用单独的块划分设置。

在块划分单元中，可以将块描述为M×N，并且可以在一定范围内获得每个块的最大值和最小值。例如，当块的最大值被设置为256×256并且块的最小值被设置为4×4时，则可以获得尺寸为2^m×2ⁿ的块(在此示例中，m和n为2到8的整数)，尺寸为2^m×2^m的块(在该示例中，m和n是从2至128的整数)或尺寸为m×n的块(在该示例中，m和n为4至256的整数)。在该情况下，m和n可以相同或不相同，并且可以生成支持最大值、最小值等的块的一个或更多个范围。

例如，可以生成关于块的最大尺寸、最小尺寸等的信息，并且在一些块划分设置中可以生成关于块的最大尺寸、最小尺寸等的信息。在该情况下，前者可以是关于可以在图像中生成的最大尺寸和最小尺寸的范围信息，而后者可以是关于可以根据一些划分设置生成的最大尺寸和最小尺寸的信息。在该情况下，划分设置可以由以下来限定：图像类型(I/P/B)、颜色分量(YCbCr等)、块类型(编码/预测/变换/量化等)、划分类型(索引或类型)、划分方法(树方法中的QT、BT、TT等，索引方法中的SI2、SI3和SI4等)等等。

另外，可以存在关于块可以具有的纵横比(块的形状)的限制，并且可以为此设置边界值条件。在该情况下，可以仅支持小于/等于任意边界值(k)的块，并且可以根据诸如A/B(A是长于或等于宽度或高度的值，B是剩余值)的纵横比来限定k，并且k可以是大于或等于1的实数(例如1.5、2、3、4等)。如在上述示例中，可以支持关于图像中的一个块形状的限制条件，或者可以根据划分设置支持一个或更多个限制条件。

总之，可以通过上述范围和条件、后面提到的划分设置等来确定块划分是否被支持。例如，当满足支持根据块(父块)的划分的候选(子块)的块条件时，可以支持对应的划分，并且否则，可以不支持对应的划分。

块划分单元可以被设置成与用于图像编码装置和图像解码装置的每个构造单元相关，可以通过该处理确定块的尺寸和形状。在该情况下，可以根据构造单元而不同地限定设置块，并且预测单元的预测块、变换单元的变换块、量化单元的量化块等可以与设置块对应。但是，根据其他构造单元的块单元可以被另外限定，而不限于此。本公开内容主要描述在每个构造单元中输入和输出是矩形的情况，但是在一些构造单元中其他形状(例如，直角三角形等)的输入/输出是可能的。

可以由较高的单元来确定块划分单元中的初始(或起始)块的尺寸和形状。可以将初始块划分成较小的块，并且当根据块的划分的最佳尺寸和形状被确定时，可以将该块确定为较低单元中的初始块。在该情况下，较高单元可以是编码块，并且较低单元可以是预测块或变换块，但是它们不限于此，并且可以进行各种修改。如在上述示例中，当确定较低单元中的初始块时，可以如较高单元那样执行用于找到最佳尺寸和形状的划分处理。

总之，块划分单元可以将基本编码块(或最大编码块)划分成至少一个编码块，并且可以将编码块划分成至少一个预测块/变换块/量化块。另外，可将预测块划分成至少一个变换块/量化块，并且可以将变换块划分成至少一个量化块。在该情况下，一些块可能与其他块具有依赖关系(即，由较高单元和较低单元限定)或独立的关系。在示例中，预测块可以是用于变换块的较高单元或者相对于变换块的独立单元，并且根据块类型可以有各种关系设置。

根据编码设置，可以确定较高单元和较低单元是否被组合。在该情况下，单元之间的组合意味着由较高单元(尺寸和形状)中的块执行较低单元(例如，预测单元、变换单元、逆变换单元等)中的编码处理，而没有从较高单元到较低单元的划分。换言之，这可以意味着多个单元中的划分处理是共享的，并且在它们中的一个单元(例如，较高单元)中生成划分信息。

在示例中，(当编码块与预测块和变换块组合时)，可以在编码块中执行预测、变换和逆变换过程。

在示例中，(当编码块与预测块组合时)，可以在编码块中执行预测处理，并且可以在与编码块相同或小于编码块的变换块中执行变换和逆变换处理。

在示例中，(当编码块与变换块组合时)，可以在与编码块相同或小于编码块的预测块中执行预测处理，并且可以在编码块中执行变换和逆变换处理。

在示例中，(当预测块与变换块组合时)，可以在与编码块相同或小于编码块的预测块中执行预测处理，并且可以在预测块中执行变换和逆变换处理。

在示例中，(当在任何块中不执行组合时)，可以在与编码块相同或小于编码块的预测块中执行预测处理，并且可以在与编码块相同或小于编码块的变换块中执行变换和逆变换处理。

上述示例描述了关于编码、预测和变换块的各种情况，但是不限于此。

对于单元之间的组合，可以在图像中支持固定设置，或者可以通过考虑各种编码元素来支持自适应设置。在该情况下，编码元素可以包括图像类型、颜色分量、编码模式(帧内/帧间)、划分设置、块尺寸/形状/位置、纵横比、与预测相关的信息(例如，帧内预测模式、帧间预测模式等)、变换相关信息(例如，变换方法选择信息)、量化相关信息(例如，量化区域选择信息、量化变换系数编码信息等)等等。

如上所述，当找到具有最佳尺寸和形状的块时，可以为该块生成模式信息(例如，划分信息等)。模式信息可以与在块所属的构造单元中生成的信息(例如，预测相关信息、变换相关信息等)一起存储在比特流中，并且发送至解码器，并且可以在解码器中的相同单元中解析并且用于图像解码处理。

在下文中，将描述划分方法，并且为了便于解释，假设初始块具有方形形状，但是，即使当初始块具有矩形形状时，它也可以被同等地或类似地应用，并且本发明不限于此。

块划分单元可以支持各种划分。例如，它可以支持基于树的划分或基于索引的划分，并且可以支持其他方法。基于树的划分可以使用各种信息(例如，是否划分、树类型、划分方向等)来确定划分形状，并且基于索引的划分可以使用预定索引信息来确定划分形状。

图4是示出可以在本公开内容的块划分单元中获得的各种划分形状的示例图。

在本示例中，假设通过执行一个划分(或处理)来获得如图4的划分形状，但是也可以通过多个划分动作来获得，而不限于此。另外，图4中未示出的另外划分形状也是可能的。

(基于树的划分)

在本公开内容的基于树的划分中，可以支持四叉树(QT)、二叉树(BT)、三叉树(TT)等。当支持一种树方法时，可以将其称为单树划分，并且当支持多于两种的树方法时，可以将其称为多树划分。

QT是指块在水平方向和垂直方向上分别被划分成两个(即，四分)的方法(n)，BT是指块在水平方向或垂直方向上被划分成两个的方法(b到g)，并且TT是指块在水平方向或垂直方向上被划分成三个的方法(h到m)。

在该情况下，QT可以通过将划分方向限制为水平方向和垂直方向中的一个方向来支持4划分法(o、p)。此外，BT可以仅支持具有均匀尺寸的方法(b、c)或仅支持具有不均匀尺寸的方法(d至g)，或者可以混合并且支持两种方法。另外，TT可以仅支持具有沿特定方向(从左到右或从上到下的方向上的1:1:2，2:1:1等)倾斜的划分的布置的方法(h、j、k、m)，或者可以仅支持沿中心布置(1:2:1等)的方法(i、l)或者可以混合并且支持两种方法。此外，还可以支持将划分方向在水平方向和垂直方向上分别划分成4个(即，16划分)的方法(q)。

另外，在树方法中，可以仅在水平划分方向上支持z划分方法(b、d、e、h、i、j、o)或者仅在垂直方向上支持z划分方法(c、f、g、k、l、m、p)或者混合并且支持两种方法。在该情况下，z可以是大于等于2的整数，例如2、3和4。

在本公开内容中，在以下假设下进行描述：QT支持n、BT支持b和c以及TT支持i和l。

根据编码设置，可以支持树划分的一种或更多种方法。例如，可以支持QT，可以支持QT/BT或者可以支持QT/BT/TT。

上述示例是以下情况：其中基本树划分是QT，并且根据是否支持其他树将BT和TT包括在附加划分方法中，但是各种修改是可能的。在该情况下，关于是否支持其他树的信息(bt_enabled_flag、tt_enabled_flag和bt_tt_enabled_flag等。其可以具有的值为0或1，并且在为0的情况下则不支持，并且在为1的情况下则支持)可以根据编码设置被隐式地确定，或者可以以序列、图片、切片、切片组、图块或砖块等为单元被显式地确定。

关于是否划分的信息(tree_part_flag或qt_part_flag、bt_part_flag、tt_part_flag、bt_tt_part_flag，其可以具有的值为0或1，并且在为0的情况下则不划分，并且在为1的情况下则划分)可以被包括在划分信息中。另外，根据划分方法(BT和TT)，可以添加关于划分方向的信息(dir_part_flag或bt_dir_part_flag、tt_dir_part_flag、bt_tt_dir_part_flag。其可以具有的值为0或1，并且对于0为<宽度/水平>，并且对于1为<高度/垂直>)，该信息可以在执行划分时生成。

当支持多个树划分时，可以配置各种划分信息。接下来，将在以下假设情况下进行描述：如何在一个深度级别中配置划分信息(即，将支持的划分深度设置为大于或等于1，并且递归划分是可能的，但这是为了便于解释)。

在示例(1)中，确认关于是否划分的信息。在该情况下，当不执行划分时，划分结束。

当执行划分时，确认关于划分类型的选择信息(例如，tree_idx。对于0为QT，对于1为BT并且对于2为TT)。在该情况下，另外根据所选择的划分类型来确认划分方向信息并且继续进行到下一步骤。(如果由于划分深度没有达到最大值，附加划分是可能的，则再次从起始处开始，并且当划分是不可能时，划分结束)。

在示例(2)中，确认关于某个树方法(QT)是否执行划分的信息，并且继续进行到下一步骤。在该情况下，当不执行划分时，确认关于某个树方法(BT)是否执行划分的信息。在该情况下，不执行划分，确认关于某个树方法(TT)是否执行划分的信息。在该情况下，当不执行划分时，划分结束。

当某个树方法(QT)执行划分时，继续进行到下一步骤。另外，当某个树方法(BT)执行划分时，确认划分方向信息并且继续进行到下一步骤。另外，当某个树划分方法(TT)执行划分时，确认划分方向信息并且继续进行到下一步骤。

在示例(3)中，确认关于某个树方法(QT)执行划分的信息。在该情况下，当不执行划分时，确认关于某个些树方法(BT和TT)是否执行划分的信息。在该情况下，当不执行划分时，划分结束。

当某个树方法(QT)执行划分时，继续进行到下一步骤。另外，当某些树方法(BT和TT)执行划分时，确认划分方向信息并且继续进行到下一步骤。

上述示例可以是树划分的优先级存在(示例2和示例3)或不存在(示例1)的情况，但是可以对其进行各种修改。另外，在上述示例中描述了当前步骤中的划分与前一步骤中的划分的结果无关的情况，但是也可以将当前步骤中的划分设置为依赖于前一步骤中的划分的结果。

例如，在示例1至示例3的情况下，当在前一步骤中执行某个树方法(QT)的划分以进行到当前步骤时，在当前步骤中也可以支持同一树方法(QT)的划分。

另一方面，当在前一步骤中未执行某个树方法(QT)的划分并且执行某些树方法(BT或TT)的划分以进行到当前步骤时，除了某个树方法(QT)的划分之外的某些树方法(BT和TT)的划分也可以被设置为：在包括当前步骤的下一步骤中被支持。

上述情况意味着块划分所支持的树配置可以是自适应的，这意味着上述划分信息配置也可以被不同地配置。(假设后面描述的示例是示例3)。换言之，在上述示例中，当在前一步骤中未执行某个树方法(QT)的划分时，在当前步骤中可以在不考虑某个树方法(QT)的情况下执行划分处理。另外，可以移除和配置关于相关树方法的划分信息(例如，关于是否划分的信息、划分方向信息等。在本示例<QT>中为关于是否划分的信息)。

上述示例是关于允许块划分(例如，块尺寸在最大值和最小值之间的范围内，每个树方法的划分深度未达到最大深度<可允许深度>等)的情况的自适应划分信息配置的情况，并且，即使当块划分受到限制时(例如，块尺寸不在最大值与最小值之间的范围内，每个树方法的划分深度达到最大深度等)，自适应划分信息配置也是可能的。

如以上提及的，可以使用递归方法来执行本公开内容中的基于树的划分。例如，当划分深度为k的编码块的划分标志为0时，在划分深度为k的编码块中执行编码块的编码，并且当划分深度为k的编码块的划分标志为1时，根据划分方法在划分深度为k+1的N个子编码块中执行编码块的编码(在该情况下，N是大于或等于2的整数，例如2、3、4)。

可以将子编码块设置为编码块(k+1)并且以上述过程划分成子编码块(k+2)，并且可以根据诸如划分范围、可允许划分深度等划分设置来确定这样的分层划分方法。

在该情况下，可以在一个或更多个扫描方法中选择用于表示划分信息的比特流结构。例如，可以基于划分深度的顺序来配置用于划分信息的比特流，或者可以基于是否划分来配置用于划分信息的比特流。

例如，如果基于划分深度的顺序，则它是一种基于第一块在当前级深度中获得划分信息之后，在下一级深度中获得划分信息的方法，并且如果该方法基于是否划分，则它意味着是一种优先地在基于第一块划分的块中获得附加划分信息的方法，并且可以考虑其他附加扫描方法。

最大块或最小块的尺寸可以具有与树类型(或所有树)无关的公共设置，或者可以根据每个树具有单独的设置，或者可以使多于两个的树具有公共的设置。在该情况下，最大块的尺寸可以被设置为等于最大编码块或小于最大编码块。如果根据预定第一树的最大块的尺寸与最大编码块的尺寸不相同，则使用预定第二树方法隐式地执行划分，直到达到第一树的最大块尺寸。

另外，不管树类型如何都可以支持公共划分深度，或者根据每个树可以支持单独的划分深度，或者可以支持多于两个树的公共划分深度。替选地，对于一些树可以支持划分深度，而对于一些树可以不支持划分深度。

可以支持用于设置信息的显式语法元素，并且可以隐式地确定一些设置信息。

(基于索引的划分)

在本公开内容的基于索引的划分中，可以支持CSI(恒定分割索引)方法、VSI(可变分割索引)方法等。

CSI方法可以是通过在预定方向上划分获得k个子块的方法，并且k可以是大于或等于2的整数，例如2、3、4。详细地，CSI方法可以是用于以下配置的划分方法：其中基于k值来确定子块的尺寸和形状而不管块尺寸和形状如何。在该情况下，对于预定方向，可以组合水平方向、垂直方向和对角线方向(左上->右下方向或左下->右上方向等)中的一个或两个或更多个方向。

本公开内容的基于索引的CSI划分方法可以包括在一个方向(水平或垂直)上被划分成z的候选。在该情况下，z可以是大于或等于2的整数，例如2、3、4，并且每个子块的宽度或高度中的一个可以是相同的并且宽度或高度中的另一个可以是相同的或不同的。子块的纵横比可以为A1:A2:...:AZ，并且A1至AZ可以是大于或等于1的整数，例如1、2、3。

此外，可以包括在水平方向和垂直方向上分别被划分成x和y的候选。在该情况下，x和y可以是大于或等于1的整数，例如1、2、3、4，但是当x和y同时为1时(因为已经存在)，其可能是受限制的。图4示出了每个子块的宽度或高度的比率相同的情况，但是包括不同情况的候选可以被包括。

此外，可以包括在某个对角线方向(左上->右下方向)或某个对角线方向(左下->右上方向)中的一个方向上被划分成w的候选，并且w可以是大于或等于2的整数，例如2、3。

参照图4，可以根据每个子块的长度比将块分类成对称划分形状(b)和非对称划分形状(d、e)，并且可以将块分类成在特定方向上倾斜的划分形状(k、m)和沿中心布置的划分形状(k)。划分形状可以由包括子块的形状等以及子块的长度比的各种编码元素来定义，并且可以根据编码设置来隐式地或显式地确定所支持的划分形状。因此，可以基于所支持的划分形状来确定基于索引的划分方法中的候选组。

另一方面，VSI方法可以是当子块的宽度(w)或高度(h)固定时通过在预定方向上划分获得多于一个子块的方法，并且w和h可以是大于或等于1的整数，例如1、2、4、8等。详细地，VSI方法可以是用于以下配置的划分方法：其中基于块的尺寸和形状以及w或n值来确定子块的数目。

本公开内容的基于索引的VSI划分方法可以包括通过固定子块的宽度或高度中的一个来划分候选。替选地，可以包括通过固定子块的宽度和高度来划分的候选。由于子块的宽度或高度是固定的，因此可以允许水平方向或垂直方向上的均匀划分，但是不限于此。

当划分前的块为M×N，并且子块的宽度固定(w)或高度固定(h)或宽度和高度固定(w、h)时，获得的子块的数目可以分别为(M*N/w)、(M*N/h)、(M*N/w/h)。

根据编码设置，可以仅支持CSI方法，可以仅支持VSI方法，或者可以支持两种方法，并且可以隐式地或显式地来确定关于所支持的方法的信息。

在本公开内容中，在以下假设下进行描述：支持CSI方法。

根据编码设置，可以通过在索引划分中包括两个或更多个候选来配置候选组。

例如，可以配置诸如{a，b，c}、{a，b，c，n}、{a至g，n}的候选组，这可以是以下情况：将被预测为基于一般统计特征显著生成的块形状配置为候选组，例如在水平方向或垂直方向上被划分成两个(2)或者分别在水平方向或垂直方向上被划分成两个(2)的块形状。

替选地，可以配置诸如{a，b}、{a，o}、{a，b，o}或{a，c}、{a，p}、{a，c，p}的候选组，该候选组包括在水平方向和垂直方向上分别被划分成两个(2)和四个(4)的候选。这可以是以下情况：将预测为在特定方向上被显著划分的块形状配置为候选组。

替选地，可以配置诸如{a，o，p}或{a，n，q}的候选组，这可以是以下情况：将预测为以比划分之前的块小的尺寸被显著划分的块形状配置成候选组。

替选地，可以配置诸如{a，r，s}的候选组，这可以是根据以下判定将非方形划分形状配置为候选组的情况：在划分之前的块中可以通过其他方法(树方法)以矩形形状获得的最佳划分结果被获得。

如在上述示例中，各种候选组配置是可能的，并且可以通过考虑各种编码元素支持多于一个的候选组配置。

当完成候选组配置时，各种划分信息配置是可能的。

例如，可以在通过包括未划分的候选(a)和划分的候选(b至s)而配置的候选组中生成索引选择信息。

替选地，可以生成表示是否划分(划分形状是否为a)的信息，并且当执行划分(如果不是a)时，可以在配置有划分的候选(b至s)的候选组中生成索引选择信息。

除了以上描述之外的各种划分信息配置是可能的，并且除了表示是否划分的信息之外，可以通过诸如固定长度二值化、可变长度二值化等各种方法将二进制比特位分配给候选组中的每个候选的索引。当候选组的数目是2时，可以将1比特分配给索引选择信息，并且当候选组的数目大于或等于3时，可以将1比特或更多比特分配给索引选择信息。

与基于树的划分方法相比，基于索引的划分方法可以是选择性地配置被预测为在候选组中显著生成的划分形状的方法。

另外，因为用于示出索引信息的比特量可以根据所支持的候选组的数目而增加，所以基于索引的划分方法可以是适合于单分层划分的方法(例如，划分深度被限制为0)，而不是基于树的分层划分(递归划分)。换言之，该方法可以是支持单个划分操作并且由基于索引的划分获得的子块可以不另外划分的方法。

在该情况下，可能意味着另外划分成相同类型的较小块是不可能的(例如，通过索引划分方法获得的编码块可能不被另外划分成编码块)，但是另外划分成不同类型的块也可能被设置为不可能(例如，不但不可能从编码块划分成编码块，而且划分成预测块也是不可能的)。当然，不限于上述示例，并且其他修改的示例也是可能的。

接下来，将描述基于编码元素中的块类型来确定块划分设置的情况。

首先，可以在划分过程中获得编码块。在该情况下，对于划分过程，可以使用基于树的划分方法，并且可以根据树的类型来得出诸如图4的a(无分割)，n(QT)，b、c(BT)，i、l(TT)等的划分形状的结果，根据编码设置，可以各种方式组合每个树类型，例如QT/QT+BT/QT+BT+TT等。

下述示例示出了基于处理中获得的编码块来最终划分预测块和变换块的处理，并且假设基于每个划分尺寸来执行预测、变换和逆变换处理的情况。

在示例(1)中，可以在将预测块被设置为与编码块的尺寸相同时执行预测处理，并且可以在将变换块被设置为与编码块(或预测块)的尺寸相同时执行变换和逆变换处理。由于基于编码块来设置预测块和变换块，因此不存在单独生成的划分信息。

在示例(2)中，可以在将预测块被设置为与编码块的尺寸相同时执行预测处理。对于变换块，可以在基于编码块(或预测块)的划分处理中获得变换块，并且可以基于所获得的尺寸执行变换和逆变换过程。

在该情况下，基于树的划分方法可以用于划分处理，并且可以根据树的类型得出诸如图4中的a(无分割)，b、c(BT)，i、l(TT)，n(QT)等的划分形状的结果。根据编码设置，可以各种方式组合每个树类型，例如QT/BT/QT+BT/QT+BT+TT等。

在该情况下，基于索引的划分方法可以用于划分处理，并且可以根据索引类型得出诸如图4中的a(无分割)、b、c、d等划分形状的结果。根据编码设置，诸如{a，b，c}、{a，b，c，d}等的多种候选组配置是可能的。

在示例(3)中，对于预测块，可以在基于编码块的划分处理中获得预测块，并且可以基于所获得的尺寸来执行预测处理。可以将变换块设置为与编码块的尺寸相同，以执行变换和逆变换处理。该示例可以与预测块和变换块具有相互独立关系的情况对应。

在该情况下，可以在划分处理中使用基于索引的划分方法，并且可以根据索引类型得出图4中的诸如a(无分割)、b至g、n、r、s等划分形状的结果。根据编码设置，诸如{a，b，c，n}、{a至g、n}、{a，r，s}等的多种候选组配置是可能的。

在示例(4)中，对于预测块，可以在基于编码块的划分处理中获得预测块，并且可以基于所获得的尺寸来执行预测处理。可以将变换块设置为与预测块的尺寸相同，以执行变换和逆变换处理。该示例可以是将变换块设置为与所获得的预测块的尺寸相同或者反之亦然(例如，将预测块设置为与变换块的尺寸相同)的情况。

在该情况下，可以在划分处理中使用基于树的划分方法，并且可以根据树类型来生成诸如图4中的a(无分割)，b、c(BT)，n(QT)等划分形状。根据编码设置，可以各种方式组合每个树类型，例如QT/BT/QT+BT等。

在该情况下，可以在划分处理中使用基于索引的划分方法，并且可以根据索引类型来生成诸如图4中的a(无分割)、b、c、n、o、p等划分形状。根据编码设置，诸如{a，b}、{a，c}、{a，n}、{a，o}、{a，p}、{a，b，c}、{a，o，p}、{a，b，c，n}、{a，b，c，n，p}等的各种候选组配置是可能的。此外，可以通过单独的VSI方法或者通过在基于索引的划分方法中混合VSI方法与CSI方法来配置候选组。

在示例(5)中，对于预测块，可以在基于编码块的划分处理中获得预测块，并且可以基于所获得的尺寸来执行预测处理。另外，对于变换块，可以在划分处理中基于编码块获得预测块，并且可以基于所获得的尺寸来执行变换和逆变换过程。该示例可以是基于编码块分别划分预测块和变换块的情况。

在该情况下，可以在划分处理中使用基于树的划分方法和基于索引的划分方法，并且可以与示例4相同或类似地配置候选组。

虽然上述示例描述了可以根据块的每种类型的划分处理是否可以被共享等而生成的一些情况，但是不限于此，并且各种修改的示例是可能的。另外，可以通过考虑各种编码元素以及块类型来确定块划分设置。

在该情况下，编码元素可以包括图像类型(I/P/B)、颜色分量(YCbCr)、块尺寸/形状/位置、块的纵横比、块类型(编码块、预测块、变换块、量化块等)、划分状态、编码模式(帧内/帧间)、预测相关信息(帧内预测模式、帧间预测模式等)、变换相关信息(变换方法选择信息等)、量化相关信息(量化区域选择信息、量化变换系数编码信息等)等等。

图5是示出根据本公开内容的实施方式的帧内预测中的预测模式的示例图。

参照图5，针对帧内预测可以支持95个预测模式，并且其中，93个预测模式是定向模式，2个预测模式是非定向模式(DC，平面模式)。在这种情况下，可以通过斜率(例如，dy/dx)或角度信息(度)对定向模式进行分类。

非定向模式可以是通过例如对与块相邻的参考像素的平均、内插等方法而执行预测的方法，而定向模式可以是通过例如对与块相邻的参考像素的外推、内插等方法而执行预测的方法。

定向模式可以具有垂直(上->下/下->上)、水平(左->右/右->左)、对角线A(左-上->右-下/右-下->左-上)、对角线B(右-上->左-下/左-下->右-上)方向等。

通常，在通过光栅扫描等执行编码时，可以存在与左、上、左上、右上、左下方向相邻的块，以及可以支持将其作为参考像素或起始点的非定向模式，或者用于垂直(上->下)、水平(左->右)、对角线A(左上->右下)、对角线B-1(右上->左下)、对角线B-2(左下->右上)方向上的预测或预测模式。在支持除光栅扫描之外的其他扫描时，可以不同地限定定向模式。

例如，在左块可用且右块不可用时，水平模式可通过(右-左)方向上的外推来执行预测。替选地，在左块和右块均可用时，可以通过在预定方向(左->右或右->左)上进行外推来执行预测，或者可以通过两个块的内插来执行预测。在本公开内容中，根据光栅或z扫描顺序来执行编码，并且基于以下假设进行描述：参考像素位于左、上、左-上、右-上、左-下方向。

另外，通过使用颜色空间之间的相关性编码的其他颜色空间的重建块可以用于目标块的预测，并且可以包括支持它的预测模式。例如，对于色度分量，可以通过使用与目标块对应的亮度分量的重建块来生成目标块的预测块。换言之，预测块可以通过考虑颜色空间之间的相关性基于重建块来生成，并且可以被包括作为色度分量的帧内预测模式。

色度分量可以具有与亮度分量的预测模式候选组相同的候选组，或者可以在预测模式候选组中包括亮度分量的预测模式候选组中的一些模式和关于色度分量的附加预测模式(颜色复制模式，颜色模式)。在这种情况下，对于颜色复制模式，可以是与从位于其他颜色空间中的区域获得用于生成预测块的数据的方法相关的预测模式，并且对于颜色模式，可以是与从位于其他颜色空间中的区域获得预测模式的方法相关的预测模式。对于颜色复制模式和颜色模式，可以分别支持m模式和n模式(m、n是诸如0、1、2、3或更大的整数)。

在支持1个颜色复制模式时，可以预先限定获得用于生成预测块的预定数据的方法，并且在支持两个或更多个颜色复制模式时，可以对获得用于生成预测块的数据的方法进行分类(例如，为了获得相关性而参考的位置等。<1>左区域、<2>上区域、<3>左+上区域等)和支持。

在支持1个颜色模式时，可以预先限定用于获得预测模式的预定位置，并且在支持两个或更多个颜色模式时，可以支持用于获得预测模式的多个位置(对于相应块，例如，<1>中间、<2>左上、<3>右上、<4>左下<5>右下等)。

以上示例中描述的预测模式的全部或部分可以包含在亮度分量或色度分量的预测模式候选组中，并且其他附加模式可以包含在预测模式候选组中。

预测模式可以意指用于所支持的帧内预测模式的所有候选，并且预测模式候选组可以被配置成具有它们的全部或部分。在这种情况下，可以根据块的大小、形状(纵横比)等来配置预测模式候选组。

例如，可以根据块尺寸来确定预测模式候选组的数目。在这种情况下，可以将块尺寸分类到基于一个或更多个预定阈值大小(A×B、C×D等)划分的多于两个范围中的一个，并且可以被确定为11、35、67等中的一个以及根据分类的范围或者是否支持彩色复印模式、彩色模式等的多个数目的候选组，并且可以确定数目。在这种情况下，阈值大小可以被表示为宽度(W)、高度(H)、W x H等，并且W和H可以是大于2的整数，例如4、8、16、32、64等。

替选地，根据块的形状(或块的纵横比)，可以确定预测模式候选组的配置。在这种情况下，可以将块的纵横比分类为基于一个或更多个预定阈值划分的两个或更多个范围中的一个，并且根据分类的范围，可以确定候选组的配置。在这种情况下，阈值可以被示出为W/H(或H/W)等，并且可以具有大于1的整数值(例如1、2、4、8、16等)，或者0与1之间的分数值(例如1、1/2、1/4、1/8、1/16等)。

本公开内容的帧内预测假设以下情况：对于定向模式和非定向模式可以支持如图5中的95个预测模式并且可以支持颜色模式和颜色复制模式。另外，假设对于亮度分量的预测模式候选组，支持67个定向模式和非定向模式，对于色度分量的预测模式候选组，支持总共8个定向模式和4个非定向模式、1个颜色模式和3个颜色复制模式，但不限于此。可以存在用于选择除假设之外的预测模式候选组中包括的模式的预定配置标准。

下面示出根据块的纵横比配置预测模式候选组的示例。

【表1】

纵横比	预测模式(包括)	预测模式(不包括)
			16	67～80	2～15
8	67～78	2～13
			4	67～76	2～11
2	67～72	2～7
			1	-	-
1/2	-6～-1	61～66
			1/4	-10～-1	57～66
1/8	-12～-1	55～66
			1/16	-14～-1	53～66

在块具有方块形状时，基于在预测模式候选组中包括第0个和第1个的预测模式以及第2个至第66个的预测模式的情况来设置表格。在块具有矩形块形状时，通过将预测模式添加到方形块的预测模式候选组(不包括非定向模式)或从方形块的预测模式候选组中排除预测模式，表中所示的候选配置是可能的，这可以是基于以下假设而设置的示例：就预测精度而言，与较短的块中相比在较长的块中更广泛地配置预测模式是有利的，但相反的配置也是可能的。

可以在参考像素构造单元中配置用于帧内预测的参考像素。在这种情况下，可以在临时存储器(例如，阵列。第一阵列、第二阵列等)中管理参考像素，并且可以在每个帧内预测过程中生成和移除参考像素，并且可以根据参考像素的配置来确定临时存储器的大小。

基于以下假设进行描述：左、上、左上、右上和左下块被用于基于目标块的帧内预测，但不限于此，并且其他配置的块候选组可以被用于帧内预测。

例如，用于参考像素的相邻块的候选组可以是以下情况的示例：遵循光栅扫描或Z扫描并且根据所支持的扫描顺序，可以通过包括其他块候选组(例如，具有右、下、右下块等的附加配置)来配置或移除一些候选组。

另一方面，可以将与目标块相邻的像素分类为至少一个参考像素层，并且可以将其分类为：ref_0，即，目标块最邻近的像素{与目标块的边界像素的像素值差为1的像素。p(-1,-1)～p(2m-1,-1)、p(-1,0)～p(-1,2n-1)}；ref_1，即，下一相邻像素{与目标块的边界像素的像素值差为2。p(-2,-2)～p(2m,-2)、p(-2,-1)～p(-2,2n)}；ref_2，即，下一相邻像素{与目标块的边界像素的像素值差为3。p(-3,-3)～p(2m+1,-3)、p(-3,-2)～p(-3,2n+1)}。换言之，可以根据与目标块的边界像素相邻的像素距离将参考像素分类为多个参考像素层。

本文中支持的参考像素行可以在N之上，并且N可以是例如1、2、3、4或更大的整数。在这种情况下，它们通常从最邻近目标块的参考像素行顺序地包括在参考像素行候选组中，但不限于此。例如，如果N为3，则可以像<ref_0,ref_1,ref_2>这样顺序地配置候选组，或者也可以通过排除像<ref_0,ref_1,ref_3>、<ref_0,ref_2,ref_3>、<ref_1,ref_2,ref_3>这样的非连续的或者最邻近的参考像素行来配置候选组。

可以通过使用候选组中的所有参考像素行或通过使用一些参考像素行(多于一个)来执行预测。

例如，根据编码设置，可以选择多个参考像素行中的一个以通过使用相应的参考像素行来执行帧内预测。替选地，可以选择多个参考像素行中的两个或更多个以通过使用相应的参考像素行(例如，对每个参考像素行数据应用加权平均等)来执行帧内预测。

在这种情况下，可以隐式或显式地确定参考像素行的选择。例如，对于隐式情况，这意味着它是根据由诸如图像类型、颜色分量、块尺寸/形状/位置等元素中的多于一种或两种组合限定的编码设置来确定的。另外，对于显式情况，这意味着可以以块等为单位生成关于参考像素行的选择的信息。

本公开内容主要描述了通过使用最邻近的参考像素行来执行帧内预测的情况。但是，被参考以用于预测的参考像素行可以被认为是本公开内容中的主要编码元素之一。换言之，可以与选择的参考像素行无关地确定帧内预测设置，但是可以因此确定帧内预测设置。

本公开内容中的帧内预测的参考像素构造单元可以包括参考像素生成单元、参考像素内插单元、参考像素滤波器单元等，并且可以通过包括各配置的全部或部分来配置。

在参考像素构造单元中，可以通过确认参考像素的可用性来对可用参考像素和不可用参考像素进行分类。在这种情况下，在满足以下条件中的至少一个时，判定参考像素不可用。

例如，在满足以下情况中的至少一种时，可以判定为不可用：参考像素位于图片边界之外的情况；参考像素与目标块不属于同一划分单元的情况(例如，诸如切片、图块等的未被彼此参考的单元。但是，在甚至诸如切片或图块等的单元尽管不是同一划分单元仍可被彼此参考时，它们仍被排除)；以及编码未完成的情况。换言之，在不满足任何条件时，可以判定为可用。

另外，可以通过编码设置来限制参考像素的使用。例如，尽管根据条件被判断为可用，但根据是否执行受限的帧内预测(例如，constrained_intra_pred_flag)来限制参考像素的使用。可以执行受限的帧内预测以禁止从其他图像参考的重建块用作参考像素，以防止将由包括通信环境等的外部因素引起的错误传播。

在停用受限的帧内预测时(例如，对于I图像类型或P图像类型或B图像类型，constrained_intra_pred_flag＝0)，所有参考像素候选块可以是可用的。

替选地，在激活受限的帧内预测时(例如，对于P图像类型或B图像类型，constrained_intra_pred_flag＝1)，假定根据编码模式(Mode_Intra、Mode_InterD、Mode_InterC)判断是否使用参考像素候选块的条件，但可以根据各种其他编码元素来确定该条件。

在这种情况下，Mode_Intra、Mode_Inter_D、Mode_Inter_C可以分别表示帧内预测、在其他图片中参考的帧间预测(块匹配等)以及在当前图片中参考的帧间预测，并且其中在Mode_Intra的情况下，参考是可能的，而在Mode_Inter的情况下，参考是不可能的设置，可能是一般性的，但不限于此。

由于参考像素包括多于一个的块，因此在检查参考像素的可能性之后，参考像素可以被分类为三种情况，例如<全部可用>、<某些可用>和<全部不可用>。在除了“全部可用”情况之外的其他情况下，可以填充或生成在不可用候选块的位置处的参考像素。

在参考像素候选块可用时，相应位置处的像素可以被包括在目标块的参考像素存储器中。在这种情况下，可以按原样复制像素数据，或者可以在诸如参考像素滤波、参考像素内插等处理中将像素数据包括在参考像素存储器中。另外，在参考像素候选块不可用时，可以将在生成参考像素的过程中获得的像素包括在目标块的参考像素存储器中。

下面示出了其中通过使用各种方法生成在不可用块的位置处的参考像素的示例。

例如，可以通过使用任意像素值来生成参考像素。在这种情况下，任意像素值可以是属于像素值的范围(例如，基于位深度或根据相应图像中的像素分布的像素值的范围)的一个像素值(例如，像素值的范围中的最小值、最大值、中心值等)。详细地，这可以是在所有参考像素候选块不可用时应用的示例。

替选地，可以从对图像进行编码的区域中生成参考像素。详细地，可以从与不可用块相邻的至少一个可用块生成参考像素。在这种情况下，可以使用例如外推、内插、复制等的至少一种方法。

对于以上示例，参考像素可以针对以目标块为中心的相邻区域，并且可以通过包括在一些预测模式(例如，颜色复制模式等)中参考的其他颜色空间中的与目标块对应的区域(获得预测数据的区域或与其相邻的区域)来考虑参考像素。

在完成参考像素配置之后，可以执行参考像素滤波或参考像素内插。例如，可以仅执行参考像素滤波、可以仅执行参考像素内插，或者可以执行参考像素滤波和参考像素内插两者。参考像素滤波可以在参考像素内插之前或之后执行，并且也可以通过结合参考像素内插同时执行。

参考像素滤波可以是被执行以减少参考像素中残留的劣化的过程。参考像素滤波可以是可以通过设置各种滤波器抽头长度和系数(例如[1,2,1]/4，[2、3、6、3、2]/16等)来分类的多个滤波器之一。另外，可以通过改变滤波器类型来执行多个滤波。

可以根据编码设置来显式地确定是否执行参考像素滤波，或者可以隐式确定是否执行参考像素滤波。在这种情况下，可以基于目标块的状态信息(块尺寸、形状、位置等)、图像类型(I/P/B)、颜色分量(Y/Cb/Cr)、参考像素行选择信息、是否应用以子块为单元的帧内预测、帧内预测模式等来限定编码设置。

在仅参考整数单位的像素的预测模式下，可能无法执行参考像素内插，并且可以在参考以分数为单位的像素的预测模式下执行参考像素内插。

可以根据预测模式(例如，用于预测模式的方向。dy/dx等)以及参考像素和预测像素的位置来确定执行内插的像素的位置(即，内插分数单位的像素)。在这种情况下，可以应用一个滤波器而不管分数单位的精度，或者可以通过以分数单位选择来应用多个滤波器中的一个(例如，假设用于确定滤波器系数或滤波器抽头长度的等式被划分的滤波器)。

前者可以是整数单位的像素用作输入以进行以小数为单位的像素的内插的示例，而后者可以是输入像素每步变化(例如，对于1/2单位，使用整数像素，对于1/4单位，使用整数和1/2单位像素等)的示例，但不限于此，并且本公开内容中基于前者进行描述。

针对参考像素内插可以执行固定滤波或自适应滤波，这可以根据编码设置来确定。在这种情况下，可以基于目标块的状态信息、图像类型、颜色分量、参考像素行选择信息、是否应用以子块为单元的帧内预测、帧内预测模式等来限定编码设置。

固定滤波可以通过使用一个滤波器来执行参考像素内插，并且自适应滤波可以通过使用多个滤波器中的一个来执行参考像素内插。

在这种情况下，对于自适应滤波，可以根据编码设置显式地或隐式地确定多个滤波器中的一个。在这种情况下，可以在从4抽头DCT-IF滤波器、4抽头三次滤波器、4抽头高斯滤波器、6抽头维纳滤波器、8抽头卡尔曼滤波器等中选择多于一个之后，配置滤波器类型。也可以根据颜色分量来不同地限定所支持的滤波器候选组(例如，某些滤波器类型相同或不同，并且滤波器抽头的长度为短或长等)。

可以在预测块生成单元中根据至少一个预测模式生成预测块，并且可以基于预测模式使用参考像素。在这种情况下，可以根据预测模式将参考像素用于例如外推等方法，并且可以将参考像素用于例如内插、DC或复制等方法。

在预测模式确定单元中执行用于在多个预测模式候选组中选择最佳模式的处理。通常，就编码开销而言的最佳模式可以通过使用块失真{例如，目标块和重建块的失真。失真。SAD(绝对差之和)、SSD(平方差之和)等}，以及速率失真(其中考虑了根据相应模式的生成位的量)来确定。可以将基于在处理中确定的预测模式而生成的预测块发送至减法单元和加法单元。

可以在预测模式编码单元中对在预测模式确定单元中选择的预测模式进行编码。在预测模式候选组中，可以对与预测模式对应的索引信息进行编码，或者可以对预测模式进行预测以对关于其的信息进行编码。前者可以是应用于亮度分量的方法，而后者可以是应用于色度分量的方法，但不限于此。

在预测模式被预测和编码时，可以将预测模式分类为多个类别(K，K是整数，例如2、3、4或更大)并且对预测模式进行管理。例如，在将预测模式分类为2个类别时，一个类别可以包括预测为与目标块的预测模式相同的预测模式，而另一类别可以包括预测为不太可能与预测模式相同的预测。换言之，另一类别可以包括以下预测模式，该预测模式未被选择作为被预测成与目标块的预测模式相同的模式。

以上示例是将预测模式分类为2个类别的情况并且预测模式可以被分类为更多个类别。在将预测模式分类为3个类别时，第一类别可以包括被预测为很可能与目标块的预测模式相同的预测模式，第二类别可以包括被预测为可能与目标块的预测模式相同的预测模式，第三类别可以包括被预测为不太可能与目标块的预测模式相同的预测模式。换言之，第二类别可以包括不属于第一类别的预测模式中的被预测为与目标块的预测模式相同的预测模式，并且第三类别可以包括不属于第一类别和第二类别的预测模式。

对于分类类别的其他示例，它们可以根据预测方法来分类。例如，它们可以通过根据外推的预测方法、根据内插/平均的预测方法、根据复制的预测方法等来分类。在这种情况下，根据外推的预测方法可以意指定向模式，根据内插/平均的预测方法可以意指非定向模式，根据复制的预测方法可以被分类为颜色复制模式，并且其他各种分类是可能的。当颜色模式在其他颜色空间中得出预测模式时，可以将其与定向模式或非定向模式区分开，但是为了便于说明，假设其被分类为定向模式/非定向模式。

在根据预测方法被分类为两类时，第一类别可以包括定向模式/非定向模式，并且第二类别可以包括颜色复制模式。替选地，第一类别可以包括定向模式，并且第二类别可以包括非定向模式。前者可以应用于色度分量的帧内预测，后者可以应用于亮度分量的帧内预测。在后面描述部分中，假设在包括颜色复制模式时，可以将其应用于色度分量的帧内预测模式，但应当理解，即使不包括颜色复制模式时，也不将其仅应用于亮度分量的帧内预测模式。

在被分类为3个类别时，第一类别可以包括定向模式，第二类别可以包括非定向模式，并且第三类别可以包括颜色复制模式。替选地，第一类别可以包括定向模式中的预定模式(例如，垂直、水平、对角线A模式等)，第二类别可以包括定向模式中的预定模式(例如，对角线B模式等)，并且第三类别可以包括颜色复制模式。在这种情况下，对角线A模式可以包括在预测中仅使用整数像素的对角线模式，而对角线B模式可以包括在预测中使用整数像素和分数像素的对角线模式，但不限于此。

以上描述是用于类别的配置的示例，并且可以根据各种预定标准对其进行分类而不限于此。另外，可将多个预定标准组合并应用于类别的配置。

在预测模式被分类为多个类别时，可以生成与生成目标块的预测模式的类别有关的选择信息以及每个类别中的候选选择信息。在类别中的候选为1时，可以省略候选选择信息。可以配置关于类别选择和类别中的候选选择的各种语法元素。接下来，假设支持3个类别的情况。

*支持关于类别选择的一个语法元素。

在该示例中，类别选择所支持的语法元素的值可以具有0到2的值(高于1的值)。在示例中，对于第一类至第三类，可以对其分配<0>、<10>、<11>位的二值化。换言之，可以支持用于类别选择的一个语法元素，并且可以将其配置成应用每个类别的索引分配和二值化的类型。

*支持关于类别选择的多个语法元素。

在该示例中，类别选择所支持的语法元素的值可以具有0或1的值(也可以是高于1的值)。

在一个示例中，对于一个语法元素(例如，第一语法元素)，可以将<0>分配给第一类别和第二类别，并且可以将<1>分配给第三类别。在这种情况下，在语法元素具有<0>值时，可以支持选择第一类别和第二类别之一的关于子类别选择的另一语法元素(第二语法元素)，并且对于相应的语法元素，可以将<0>、<1>分配给第一类别和第二类别。

在示例中，对于一个语法元素(例如，第一语法元素)，可以将<0>分配给第一类别，并且可以将<1>分配给第二类别和第三类别。在这种情况下，在语法元素具有<1>值时，可以支持选择第二类别和第三类别之一的关于子类别选择的另一语法元素(第二语法元素)，并且对于相应的语法元素，可以将<0>、<1>分配给第二类别和第三类别。

以上示例是关于用于类别选择的语法元素配置的示例，并且各种修改和配置是可能的。

以上每个类别可以包括至少一个预测模式。第一类别至第三类别中的预测模式的数目可以是a、b、c，并且a可以小于或等于b和c，并且b可以小于或等于c。在该示例中，假设a是1～5之间的整数，b是3～8之间的整数，并且c是从预测模式候选组的数目减去a和b的数目的数目。可变长度二值化或固定长度二值化(例如Truncated Rice二值化、TruncatedBinary二值化、k-th Exp-Golomb二值化等)可被应用于属于该类别的预测模式。

在后面提到的示例中，基于以下假设进行描述：类别的配置和设置是固定，但根据各种编码元素(例如，类别的数目、相关标志的配置等)，自适应设置是可能的。在这种情况下，可以基于颜色分量(亮度/色度)、块的状态信息(例如，块尺寸、形状、纵横比、位置等)、图像类型(I/P/B)，是否应用以子块为单元的帧内预测、参考像素行选择信息等)来限定编码元素。在示例中，基于编码信息，类别的数目可以被确定为2或3中的一个。

接下来，将描述基于匹配预测模式的概率将预测模式分类为多个类别(3)并且基于类别选择信息和类别中的候选选择信息对预测模式进行编码的示例。但是，根据预测方法的用于类别分类的标准被组合以用于类别配置的示例是可能的。另外，在排除第一类别和第二类别中的第二类别或者将关于第一类别和第二类别的说明整合时，可以得到使用两个类别配置的说明，因此省略了对其的详细说明。

图6是根据本公开内容的实施方式的目标块和与其相邻的块的布置图。

目标块可以与与其相邻的块具有高相关性，并且不仅可以通过使用相邻参考像素来执行预测，而且可以使用相邻块的预测模式来预测目标块的预测模式。因此，可以选择与目标块相邻的块的预测模式作为在第一类别或第二类别中包括的候选。在这种情况下，可以将目标块的左、上、左上、右上和左下块的全部或部分预测模式视为在(先前)类别中包括的候选。在示例中，可以考虑(左/上)、(左/上/右上)、(左/上/左下)、(左/上/左上/右下/左上)等。

在相邻块的预测模式被视为包括在类别中的候选时，可以在每个方向上从块中选择至少一种预测模式。例如，对于左块，可以在L0至L3中选择一个，对于顶块，可以在U0至U3中选择一个。

通过考虑将预定方向上的相邻块(在该示例中，左块、上块)划分为多个子块的情况，可以限定在特定位置处用于选择预测模式的子块(例如，左块是L3、顶块是U3)。在相应位置处的块的预测模式不可用时(例如，在未对相应块进行编码时、在其处于不可被参考的位置时、在编码模式<帧内/帧间>不同时等)，可能无法在相应方向的块中选择预测模式。

替选地，可以支持用于选择预测模式(子块)的优先级(例如，L3->L0->L1->L2等)，因此，可以将具有先前优先级的可用子块的预测模式选择为相应方向上的预测模式。在所有位置处的子块的预测模式都不可用时，可能无法在相应方向上的块中选择预测模式。

并且，可以支持用于包括从类别中的每个方向上的块获得的预测模式的优先级。例如，诸如左->上->右上->左下->左上，左->上->左下->右上->左上，上->左->左下->右上->左上等的设置是可能的，但不限于此。

预测模式候选组中包括许多预测模式，但是可能存在通常在它们之中生成的许多预测模式。例如，在垂直方向和水平方向上的边缘可以是共同的图像特征，并且可以找到许多如背景的平坦区域。因此，可以将被预测为显著生成的预定预测模式选择作为在第一类别或第二类别中包括的候选。

非定向预测模式平面(编号0)、DC模式(编号1)和水平(编号18)、垂直(编号50)和对角线模式(编号2、编号34、编号66等)可以是被预测为显著生成的预设预测模式的候选的目标。可以支持在类别中包括预测模式的优先级。例如，诸如平面->DC->水平->垂直等的设置是可能的，但不限于此。

在相邻块的全部或部分预测模式不可用时，可以用多于一个的预设预测模式(例如，平面、DC等)代替并且填充该预测模式

在以上描述中，将目标块的相邻块的预测模式和预设预测模式称为考虑用于类别配置的预测模式。但是，存在许多预测模式候选组时，可能难以有效地预测具有以上配置的目标块的预测模式。在示例中，在定向模式(基于图5中的预测模式)下产成1、2的差时，利用上述配置，预测可能失败。

为此，可以考虑基于相邻块的预测模式和预设预测模式得出的预测模式以用于配置类别候选组。在示例中，基于预测模式的k间隔预测模式(在该示例中为定向模式)可以被认为是得出的预测模式，并且可以被选择为在第一类别或第二类别中包括的候选。在这种情况下，k可以是例如1、2、3、4或更大的整数。

在这种情况下，在假设基于相邻块的预测模式或预设预测模式的预测模式为Z时，存在得出的预测模式的优先级，例如Z-1、Z+1、Z-2。在该示例中，假设优先级是按照绝对值的顺序确定的，例如1、2，并且(一个绝对值)<->代码后跟<+>代码，但不限于此。换言之，这意味着用于填充得出的预测模式的距离信息可以不从1开始(例如，诸如4、8、12等的整数)。并且，基于相邻块的预测模式和预设预测模式得出的预测模式的k距离可以相同或不同。

另外，在假设基于相邻块的预测模式或预设预测模式的预测模式为X、Y时，存在得出的预测模式的优先级，例如X–1、X+1、Y–1、Y+1或X–1、Y–1、X+1、Y+1。在该示例中，假设X具有高于Y的优先级，并且<->代码和<+>代码彼此交替，或者先(基于一个绝对值)得出一个代码(在该示例中为负数)之后，然后再得出另一代码(在该示例中为正数)，但不限于此。

另外，可以将多个模式(在本示例中为X、Y)用作得出模式的基本模式，或者将多个模式的预定模式(即X、Y之一)用作基本模式。可以根据预定标准对多个模式进行分类，并且其可以基于以下来确定：获得的块的位置(例如，将左块与上块之间的任何特定块的模式设置为基本模式)；目标块的形状(例如，在水平长矩形形状的情况下左块与上块之间的上块的模式并且在垂直长矩形形状的情况下左块的模式设置为基本模式。或者，反之亦然等)；以及预测模式的斜率信息(例如，基于垂直模式或水平模式将特定方向<左或右、上或下>上更倾斜的模式被设置为基本模式)。

总之，基于预设预测模式、相邻块的预测模式和先前的预测模式得出的预测模式可以被包括在(先前的)类别中。

每个类别可以包括预设预测模式、相邻块的预测模式和得出的预测模式中的至少一个预测模式，并且为了便于说明，每个类别分别被称为Group_A、Group_B和Group_C。

例如，可以在第一类别中配置Group_A，可以在第二类别中配置Group_A、Group_B和Group_C，并且可以在第三类别中配置其他模式(在这种情况下可以是Group_C)。

替选地，可以在第一类别中配置Group_B，可以在第二类别中配置Group_A、Group_B和Group_C，并且可以在第三类别中配置其他模式。

替选地，可以在第一类别中配置Group_A和Group_B，可以在第二类别中配置Group_A、Group_B和Group_C，并且可以在第三类别中配置其他模式。

以上的示例是关于根据类别分类的模式配置的示例，并且对于包括在多个类别中的Group_A和Group_B，可以理解的是，未在先前类别中配置的其他模式被配置在后续类别中。另外，根据各种分类类别的模式配置是可能的，而不限于以上示例。

接下来，假设支持用于类别配置的预测模式的优先级，并且在根据类别的优先级(例如，1–2–3类别顺序)将模式配置成与先前排名的类别(例如，第一类别)一样多时，将剩余的模式配置在从属类别(例如，第二类别、第三类别等)中。

在下面提及的示例中，假设支持优先级，例如平面(假设分配了编号0索引)->L->A->DC-><L-1>-><L+1>-><A-1>-><A+1>-><L-2>-><L+2>-><A-2>-><A+2>->Ver->Hor-><Ver-4>-><Ver+4>-><Hor-4>-><Hor+4>等。

例如，在第一类别中的预测模式的数目为1时，属于Group_A的预测模式可以是平面(第0个索引)，并且随着预测模式的数目增加，Group_A可以配置有从属预测模式。

另外，在第二类别中的预测模式的数目为1时，属于Group_B的预测模式可以来自最终配置在第一类别中的预测模式(编号m索引)的下一个预测模式(编号m+1索引)。并且随着预测模式数目的增加，Group_B可以配置有从属预测模式。

另外，对于第三类别，Group_C可以被配置有来自在第二类别中最终配置的预测模式(编号n索引)的下一预测模式(编号n+1索引)的剩余预测模式。

第一类别至第三类别中的预测模式的数量(在该示例中，当预测模式候选者组为67时)可以被不同地设置，例如(1,5,61)，(2,4,61)，(4,8,55)等，并且可以基于预测模式候选组的数目来确定。

在以上示例中，预设预测模式可以是与编码环境无关地被固定地支持的模式，并且得出的预测模式可以是通过将候选组中已经存在的预测模式作为基本模式而获得的。

另一方面，可能出现这样的情况：难以根据相邻块的状态(例如，划分单元的边界，是否被编码、编码模式等)来获得相邻块的预测模式。在这种情况下，可以将相邻块的状态分类为(1)所有相邻块都不可用的情况、(2)某些相邻块不可用的情况以及(3)所有相邻块均可用的情况，并且可以通过假设所有相邻块均可用的情况来描述优先级的示例。

另外，可以从两个或更多个块获得相邻块的预测模式，并且可以通过假设每个块的预测模式不交叠的情况来描述优先级的示例。

另外，可以通过假设相邻块的预测模式不与预设预测模式交叠的情况来描述优先级的示例。

可以通过考虑以上元素来自适应地设置用于类别配置的优先级。例如，可以从优先级中移除与相邻块的预测模式对应的索引，并且还可以移除通过将相邻块的预测模式作为基本模式而得出的模式的索引。通常可以将二者应用于相邻块的预测模式是定向模式的情况以及相邻块的预测模式是非定向模式的情况。

另外，在相邻块的预测模式交叠时，可以去除与其他交叠的预测模式对应的索引和得出模式的索引。替选地，可以支持考虑元素的多个优先级并且可以相应地配置类别。

在本公开内容的帧内预测中，描述了某些支持的预测模式可以被配置为预测模式候选组。这可能意味着根据目标块的状态信息(例如，块尺寸、形状等)可以支持每个单独的预测模式(例如，定向模式)。

对于预测模式编码，可以在编码之前将其统一为公共预测模式候选组配置。例如，可以在用于预测模式编码的预定范围内将其统一为预测模式候选组配置，并且基于该预测模式候选组配置，可以执行预测模式编码。在这种情况下，预定范围可以配置有与图5中的编号0至编号66对应的预测模式，但不限于此。

在统一中，可以执行预定范围中的映射，并且可以基于预测模式的方向来执行映射。在一个示例中，对于预定范围之外的预测模式，可以通过具有与相应的预测模式类似的特性的预测模式来执行映射(例如，在边缘方向相同的情况下等，换言之，包括预测的起始点和预测方向不同但边缘方向相同的情况)，并且可以支持其他各种方法。

可以将在过程中生成的预测相关信息发送至编码单元并且存储在比特流中。

在以上说明中，执行帧内预测的单元被称为目标块。在这种情况下，可以根据块设置将目标块设置为各种块单元。

在示例中，在编码块是与预测块和变换块相同的单元时(即，在编码块被直接设置为预测块或变换块时)，用于参考像素区域设置、参考像素配置(参考像素滤波/参考像素内插)、预测模式候选组配置、预测性能，预测模式编码等的帧内预测的目标块可被选择作编码块。

在示例中，在编码块是可以与预测块和变换块相同或不同的单元时(即，编码块可以被划分为两个或更多个子块<预测块或者变换块>)，可以将帧内预测的目标块设置为编码块、预测块和变换块中的一个。

例如，可以将编码块设置为用于(预测模式编码、预测模式候选组配置/参考像素配置)等的目标块，并且可以将预测块或变换块设置为用于(参考像素区域设置/预测性能)等的目标块。

替选地，可以将编码块设置为用于(预测模式编码/预测模式候选组配置)等的目标块，并且可以将预测块或变换块设置为用于(参考像素区域设置/参考像素配置/预测性能)等的目标块。

总之，可以将目标块设置为编码块、预测块和变换块中的一个，并且可以根据编码设置来确定详细配置的目标块单元。

在根据本公开内容的实施方式的图像解码方法中，可以如下配置帧内预测。预测单元中的帧内预测可包括对预测模式进行解码、对参考像素进行配置以及生成预测块。另外，图像解码装置可以被配置成包括体现预测模式解码、参考像素配置和预测块生成的预测模式解码单元、参考像素构造单元和预测块生成单元。可以省略以上提及的过程的一部分或者可以添加其他过程，并且可以以其他顺序进行改变而非以上输入的顺序。

由于图像解码装置的参考像素构造单元和预测块生成单元起到与对应于图像编码装置的配置相同的作用，因此省略详细描述，并且可以通过相反地使用在预测模式编码单元中使用的方法来执行预测模式解码单元。

图7是示出根据本公开内容的实施方式的帧内预测的修改方法的流程图。

参照图7，可以确定(S700)目标块的帧内预测模式，并且可以基于帧内预测模式来生成(S710)预测块。可以确定(S720)预测块的修改设置并且可以执行(S730)预测块的修改。

可以在基于目标块的状态信息获得的预测模式候选组中选择目标块的帧内预测，并且可以确定它们中的一个预测模式。

亮度分量可以参考配置有定向模式和非定向模式的预测模式候选组，色度分量可以参考对于定向模式和非定向模式支持颜色模式或颜色复制模式的预测模式候选组。

在这种情况下，可以根据预测方法将其分类为定向模式/非定向模式/颜色复制模式，并且每种方法可以使用外推、内插或平均、复制，但不限于此，并且其他修改是可能的。在示例中，根据参考像素区域设置，可以在定向模式中支持内插(双向预测)以及外推。

总之，根据每种预测方法，可以不同地设置用于帧内预测的参考区域，并且对于外推，可以将目标块的左、上、左上、右上和左下方向上的块中的至少一个设置为参考区域，并且对于内插，除了外推之外，还可以将目标块的右、下和右下方向上的块中的至少一个设置为参考区域。在这种情况下，在相邻区域未被编码时，其可从编码区域中的一个或更多个像素得出并且填充。另外，对于复制，可以将其他颜色空间中的与目标块对应的块设置为参考区域。

基于参考区域中的数据和帧内预测模式，可以生成预测模式。

可以执行修改预测块以减少根据预定预测模式生成的预测块中与相邻块的不连续边界特性。但是，根据图像特性的修改可能导致相反的效果，因此需要通过考虑各种编码元素来执行修改。

对于是否支持对预测块的修改，可以显式地生成或隐式地确定相关信息。并且，即使确定支持诸如序列、图片等在较高单元中的修改，也可以基于图像类型、颜色分量、目标块的状态信息、编码模式、帧内预测模式，是否应用以子块为单元的帧内预测、参考像素行选择信息等来限定目标块的修改设置。另外，可以在较低单元(例如，用于前一信息，块、子块等)或在较高单元(例如，用于后一信息，序列、图片、切片、图块等)中明确地生成与修改相关的设置信息(例如，关于是否在块单元中执行修改的标记、应用于修改的权重信息等)。

可以通过包括是否执行修改，用于修改等的参考像素的数量、位置、权重等来配置修改设置。尽管执行修改，但是可以对目标块中的全部或部分像素执行修改。例如，在目标块是m x n时，可以对1至(m x n)个像素执行修改。

在这种情况下，是否应用修改(以像素为单位)、(在执行修改时)用于修改等的参考像素的数目(1～5)、位置、权重等可以基于块中的像素的位置以及修改设置来设置。

在这种情况下，支持修改的帧内预测模式可以根据其是否属于预定预测模式组来确定。例如，可以在平面、DC、水平、垂直和对角线模式(例如，右上方向模式、右下方向模式、左下方向模式等、图5中的编号2、34、66模式)和颜色复制模式中配置预测模式组。替选地，可以通过附加地包括从预测模式组得出的预测模式(例如，基于定向模式的k间隔模式。在这种情况下，k是绝对值为1、2、3、4或更大的整数)来配置预测模式组。

支持修改的目标块可以小于或等于预定的第一阈值大小。在这种情况下，第一阈值大小可以意味着目标块可以具有的最大大小。

另外，支持修改的块可以大于或等于预定的第二阈值大小。在这种情况下，第二阈值大小可以意味着目标块可以具有的最小大小。

在这种情况下，第一阈值大小和第二阈值大小可以被示出为宽度(W)、高度(H)、Wx H、W*H等，并且W和H可以是例如4、8、16、32或更大的整数，在这种情况下，第一阈值大小可以大于或等于第二阈值大小。

图8是根据本公开内容的实施方式的目标块和相邻块的像素的布置图。

参照图8，它包括目标块中的像素(a～p)，被编码的相邻块中的像素(A～Q)和未被编码的相邻块中的像素(aa～ii)。在这种情况下，可以对目标块中的像素执行修改，并且可以参考相邻块中的像素进行修改。

在这种情况下，相邻块中的参考像素可以是在不执行或执行参考像素预处理过程(例如，参考像素滤波)之后获得的值中的一个。相邻块中的参考像素可以以块为单位或以像素为单位来确定。

以下表示在将修改应用于预测像素之后获得修改的像素的等式。

Z＝(z*w0)+(a*w1)+(b*w2)+(c*w3)

在这种情况下，z和Z分别表示预测像素和修改的像素，a至c表示用于修改的参考像素，而w0至w3表示应用于修改的权重。根据用于修改的参考像素的数目，可以确定参考像素和权重。在这种情况下，可以给加权分配考虑归一化的值，包括0。

根据目标块的预测模式，可以确定参考像素的位置和数量。

例如，在目标块的预测模式是平面、DC、垂直、水平模式时，可以将a、b、c设置为目标块外部的左上参考像素(例如，<-1,-1>)、与目标像素的x分量相应或对应的目标块上部的参考像素(例如，<x,-1>)、与目标像素的y分量相应或对应的目标块左侧的参考像素(例如，<-1,y>)。

在这种情况下，对于平面、DC模式，可以将权重分配给w2和w3，以反映目标块上部和左侧的参考像素梯度。这可以是基于对与目标像素的x和y分量对应的参考像素改变了多少的权重设置的示例(例如，W1为0)。

在这种情况下，对于垂直模式，可以将具有负码的权重分配给w0，并且可以将具有正码(即反码)的权重分配给w3，以反映与预测方向对应的参考像素梯度。这可以是基于与目标像素的y分量对应的参考像素从左上参考像素改变了多少的权重设置的示例(例如，w2为0)。对于水平模式，可以以垂直模式得出相关说明，因此省略详细说明。

替选地，在目标块的预测模式是对角线模式时，可以将a、b、c设置为目标块外部的左上参考像素、与目标块的预测方向上的起始点相应或对应的参考像素(例如，<x+y+1,-1>)以及与目标块的预测方向上的起始点的相对侧相应或对应的参考像素(例如，<-1,x+y+1>)。在这种情况下，在没有以整数为单位获取参考像素时(即，在需要以分数为单位进行内插时)，可以通过以下方法之一来设置参考像素：通过用一个相邻的参考像素代替来获得参考像素的方法或者通过相邻于两侧的参考像素进行内插来获得参考像素的方法。

在这种情况下，对于在右上方向上的对角线模式，可以将权重分配给w3以反映位于预测方向的起始点并且位于相对侧的参考像素的梯度。这可以是基于与目标像素预测方向上的参考像素改变了多少的权重设置的示例(例如，W1和W2为0)。对于左下方向上的对角线模式，可以在该模式下得出相关的说明，因此省略详细说明。

图9的部分(a)和部分(b)是根据本公开内容的实施方式的基于多个参考像素行的修改方法的示例图。

下面提及的示例可以是以下配置，该配置与以上提及的其中在多个参考像素行中选择用于帧内预测的参考像素行的配置分开被支持，并且将基于其进行描述，但是也可以应用于相互组合的配置。

参照图9的部分(a)表示在水平模式或垂直模式下关于修改的一个示例。详细地，可以是使用两个或更多个参考像素行中的参考像素进行修改的情况的示例。

在目标块的预测模式是垂直模式时，可以通过将a*附加地设置为参考像素来提高修改的精确度。替选地，可以通过将权重平均应用于a和a*来获得a**，以将a**应用于以上提及的修改等式。

因为可能不执行块分区以具有准确划分图像特性的边界，这可能是使用与目标块相邻的参考像素作为预测像素相同的原因。

在目标块的预测模式是水平模式时，可以通过将b*附加地设置为b的参考像素来提高修改的精确度，并且可以通过将权重平均应用于b和b*来获得b**，以将b**应用于以上提及的修改等式。

参照图9的部分(b)，表示对角线模式下的修改的示例。详细地，可以是使用两个或更多个参考像素行中的参考像素进行修改的情况的示例。

在目标块的预测模式是左下方向时，可以通过在预测起始点处将a*附加地设置为a的参考像素来提高修改的精确度，或者可以通过将权重平均应用于a和a*来获得a**，以将a**应用于以上提及的修改等式。

另外，可以通过在与预测的起始点相对的位置处将b*附加地设置为b的参考像素来提高修改的精确度，或者可以通过将权重平均应用于b和b*来获得b**，以将b**应用于以上提及的修改等式。

对于对角线模式，基于在预测的起始点处或在与起始点相对的位置处的一个或更多个参考像素来获得参考像素。在这种情况下，可以为预测模式的方向上的像素选择参考像素。

在以上示例中，在多个参考像素行上的参考像素被用于修改时，可以基于图像类型、颜色分量、目标块的状态信息、帧内预测模式、是否应用以子块为单元的帧内预测模式、参考像素行选择信息等来确定是否支持。

图10是示出根据本公开内容的实施方式的帧内预测的修改方法的流程图。

参照图10，可以获得用于目标块的修改的任意像素(S900)，可以基于目标块和帧内预测模式来确定修改设置(S910)，并且可以执行对预测块的修改(S920)。

对于预测块的修改，可以在沿特定方向(例如，在左上方向上)偏斜时配置与目标块相邻的块，所述特定方向是根据光栅扫描或Z扫描方法通过编码顺序生成的。

除了对在特定方向上偏斜的参考像素执行预测和修改之外，还可以通过使用编码未完成的区域中的数据来提高预测的精确度。为此，可以执行获得任意像素的处理。在这种情况下，任意像素的数目可以是例如1、2或更大的整数。

例如，可以在图8中的aa至ii像素中确定用于目标块的修改的任意像素。详细地，在与目标块相邻的块中，属于尚未完成编码的区域的像素可以被设置为任意像素。

替选地，可以在图8中的a至p像素中进行确定。详细地，由于目标块也属于尚未被编码的像素，因此目标块可以被包括在被选择为任意像素的目标中。

图11的部分(a)、(b)、(c)、(d)、(e)是根据本公开内容的实施方式的用于修改预测像素的任意像素的示例图。

参照图11的部分(a)、(b)、(c)、(d)、(e)中，示出了示例图，其中，对于图11的部分(a)将目标块中的右下像素、对于图11的部分(b)将目标块外部的右下像素、对于图11的部分(c)将目标块外部的下方和左侧像素、对于图11的部分(d)将目标块外部的下部像素、以及对于图11的部分(e)将目标块外部的右像素确定为任意像素(X,X1,X2)。

对于是否通过使用任意像素来执行修改，可以显式生成或隐式确定相关信息。并且，即使确定在例如序列、图片等的较高单元中使用任意像素，可以基于图像类型、颜色分量、目标块的状态信息、编码模式、是否应用以子块为单元的帧内预测模式、参考像素行选择信息等来限定任意像素的设置。另外，可以明确地生成与任意像素有关的设置信息(例如关于是否通过使用块单元中的任意像素来执行修改的标记等)。

可以通过包括是否使用任意像素(即，是否使用任意像素进行修改)、任意像素的数目、位置等来配置任意像素的设置。

在这种情况下，可以根据其是否属于预定预测模式组来确定通过使用任意像素执行修改的帧内预测模式。例如，在平面、DC/水平，垂直/对角线模式(例如，右上定向模式、右下定向模式、左下定向模式等、图5中的编号2、34、66模式)和颜色复制模式中，可以配置预测组。替选地，可以通过附加地包括在预测模式组中得出的预测模式(例如，基于定向模式的k间隔模式。在这种情况下，k是绝对值为1、2、3、4或更大的整数)来配置预测组。。

通过使用任意像素执行修改的目标块可以小于或等于预定的第一阈值大小，并且第一阈值大小可以意味着目标块可以具有的最大大小。替选地，目标块可以大于或等于预定的第二阈值大小，并且第二阈值大小可以意味着目标块可以具有的最小大小。在这种情况下，阈值大小可以被示出为宽度(W)、高度(H)，W x H、W*H等，并且W和H可以是例如4、8、16、32或更大的整数，并且第一阈值大小可以大于或等于第二阈值大小。

在以上说明中，可以理解的是，通过先前实施方式提及的修改设置属于较低配置或与较低配置组合，因此省略重叠的说明。在后面提及的示例中，假定将任意像素设置为图11的部分(a)。

由于任意像素的位置是尚未被编码的区域，因此可以通过各种方法获得相应位置处的像素值。

]例如，关于任意像素的位置的数据可以被明确地编码。可以按原样对相应位置处的像素值进行编码(例如，基于比特深度)，或者可以对通过预定划分值(例如，量化。量化值用于修改)获得的值进行编码。

替选地，可以在与目标块相邻的编码区域中获得关于任意像素的位置的两个或更多个数据候选值，并且可以通过为其配置索引信息来对其进行编码。在示例中，在支持总共2个候选时，任意像素的位置处的像素值是67，在与目标块相邻的区域(例如，上部区域)中获得的第一候选值是70，并且在与目标块相邻的区域(例如，左侧区域)中获得的第二候选值是85，可以编码候选值选择信息(例如，选择第一候选值。1位标志)。在这种情况下，可以在后面提及的示例中提及获得候选值。候选值可以被支持多达例如2、3、4或更大的整数。

对于以上示例，可以是这样的情况：关于任意像素位置处的数据的信息被显式编码，并且可以隐式获得任意像素位置处的数据。

例如，任意像素位置处的数据可以从预定位置处的参考像素或与任意像素的位置相应或对应的参考像素获得。作为预定位置的示例，它可以是从目标块外部的左上、上和左位置处的参考像素(图8中的A、E、M)获得，并且基于目标块的宽度和高度(右上、左下)位置处的参考像素(图8中的I、Q)可以在该位置处获得

另外，作为与任意像素的位置对应的参考像素的示例，其可以从与任意像素的x分量或y分量对应的参考像素(例如，<x,-1>、<-1,y>、<x+y+1,-1>、<-1,x+y+1>等)获得。

可以获得该位置处的参考像素中的一个参考像素的数据值作为任意像素的位置处的数据值，或者可以获得基于两个或更多个参考像素得出的值，作为任意像素的位置处的数据值。

例如，可以获得用于任意像素的位置的多个参考像素中的预设位置处的参考像素作为任意像素的位置处的数据值。替选地，可以将多个参考像素之间的预定处理(例如，归一化，最大值，最小值，中心值等)中获得的值获取作为任意像素的位置处的数据值。替选地，可以将在多个参考像素之间的预定处理(例如，加权平均等)中获得的值获取作为任意像素的位置处的数据值。

下面描述基于多个参考像素获得任意像素的位置处的数据值的方法。假设图8中的A、E、M被用作参考像素，并且在后面提及的示例中，它们被称为x、y、z。

【表2】

表中的编号0到2的候选意味着获得预定位置处的参考像素作为任意像素的位置处的数据值的情况。编号3到6的候选意味着通过反映目标块的梯度来获得任意像素位置处的数据的情况。详细地，这可以对应于基于预设位置处的参考像素来获得目标块的梯度的情况。

应当理解，该示例可以是在假设目标块具有方形形状并且可以根据块的纵横比改变和应用的情况下从多个像素得出的等式的示例。另外，可以以各种方式获得任意像素位置处的数据值，而不限于该示例。

图12的部分(a)、(b)、(c)、(d)、(e)、(f)是根据本公开内容的实施方式的基于任意像素执行修改的示例图。

参照图12的部分(a)，图12的部分(a)表示利用与上部块对应的参考像素和任意像素的内插处理，并且表示通过使用从其获得的目标块的左、右、上、左上和右上方向上的参考像素来执行修改的处理。

当目标块的预测模式是垂直模式时，在通过反映在左方向和右方向上参考像素的梯度来执行修改时，可以应用该处理。其可以不同于基于左方向上参考像素的梯度执行修改时的现有情况。

参照图12的部分(c)，图12的部分(c)表示利用与左块对应的参考像素和任意像素的内插处理，并且表示通过使用从其得到的目标块的上、下、左、左上、左下方向的参考像素来执行修改的处理。

当目标块的预测模式是水平模式时，在通过反映在上部和下部方向上参考像素的梯度来执行修改时，可以应用该过程。其可以不同于基于在上部方向上参考像素的梯度执行修改时的现有情况。

参照图12的部分(e)，图12的部分(e)表示利用与左块和上块对应的参考像素和任意像素的内插处理，并且表示通过使用从其得到的目标块的上、下、左、右、左上、右上、左下和右下方向中的参考像素来执行修改的处理。

下面表示通过将修改应用于预测像素来获得修改的像素的等式。在这种情况下，参考像素可以与先前的等式不同地配置，因为包括任意像素或基于任意像素获得的参考像素。

Z＝(z*w0)+(a*w1)+(b*w2)+(c*w3)+(d*w4)+(e*w5)

在这种情况下，z和Z分别表示预测像素和修改的像素，a至e表示用于修改的参考像素，并且w0至w5表示应用于修改的权重。根据用于修改的参考像素的数目，可以确定参考像素和权重。在这种情况下，可以向加权分配考虑行归一化的值，包括0。

根据目标块的预测模式，可以确定参考像素的位置和数目，并且像图12的部分(a)、(b)、(c)、(d)、(e)、(f)的各种情况是可能的。因为关于修改设置的其他说明可以在关于先前等式的部分中得出，所以省略详细的说明。

通过各种实施方式描述了在帧内预测中执行修改的情况。在这种情况下，仅描述了在获得预测块之后执行修改的情况，但是可以在被反映之后在帧内预测处理(即，生成预测块的处理)中执行修改。

另外，在修改处理中的标志信息生成可以在与帧内预测模式分开的配置中进行编码/解码，但是与帧内预测模式组合或依赖于帧内预测模式的配置是可能的。换言之，应当理解，不限于帧内预测处理之后的附加或后续部分。

根据本公开内容的方法可以在以可以由各种计算机装置执行的程序指令的形式实施之后记录在计算机可读介质中。计算机可读介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读介质中的程序指令可以针对本公开内容被特别设计和配置，或者可以在被通知给计算机软件领域的技术人员之后可用。

计算机可读介质的示例可以包括硬件组织，例如ROM、RAM、闪存等，其被特别配置成存储和执行程序指令。除了由编译器生成的机器语言代码之外，程序指令的示例可以包括可以由具有解释器等的计算机运行的高级语言代码。以上提及硬件装置可以被配置成作为执行本公开内容的动作的至少一个软件模块来操作，并且反之亦然。

另外，以上提及的方法或装置可以在其配置或功能的所有或部分被组合之后实施或单独实施。

虽然以上通过参考本公开内容的期望实施方式进行了描述，但是相关技术领域的技术人员可以理解，可以在不超出在所附权利要求中描述的本公开内容的精神和范围的范围内对本公开内容进行各种修改和改变。

工业实用性

本公开内容可用于对视频信号进行编码/解码。

Claims (11)

1.一种利用解码装置对视频信号进行解码的方法，包括：

从所述视频信号获得指示是否使用受约束帧内预测的语法元素；

确定所述视频信号中的当前块的帧内预测模式；

构造所述当前块的参考样本；以及

基于所述帧内预测模式和所构造的参考样本生成所述当前块的预测块，

其中，所构造的参考样本包括左参考样本和右参考样本，

其中，所述左参考样本属于与所述当前块的左侧相邻的重构块并且与所述当前块的左边界相邻，所述右参考样本属于与所述当前块的右侧相邻的重构块并且与所述当前块的右边界相邻，

其中，生成所述当前块的所述预测块包括：当所述帧内预测模式是非定向模式时，使用所构造的参考样本中的特定数量的参考样本来生成所述当前块中的当前样本的预测样本，

其中，所述特定数量被确定为5，

其中，所述特定数量的参考样本包括上参考样本、所述左参考样本中的两个和所述右参考样本中的一个，

其中，所述左参考样本中的所述两个包括所述左参考样本中的最下方参考样本，并且

其中，相对于所述当前块的左上样本，所述最下方参考样本的位置是(-1,H-1)，H是指所述当前块的高度。

2.根据权利要求1所述的方法，其中，构造所述当前块的所述参考样本包括确定所述参考样本的可用性。

3.根据权利要求2所述的方法，其中，当所述参考样本中的至少一个位于图片边界之外、所述参考样本中的至少一个不与所述当前块包含在相同的图块中、或者所述参考样本中的至少一个的解码未完成时，所述参考样本中的所述至少一个被确定为不可用。

4.根据权利要求3所述的方法，其中，当使用受约束帧内预测时，所述左参考样本的所述可用性基于与所述当前块的左侧相邻的参考样本候选块的编码模式来确定，所述右参考样本的所述可用性基于与所述当前块的右侧相邻的参考样本候选块的编码模式来确定。

5.根据权利要求1所述的方法，其中，所述特定数量的参考样本包括基于所述当前块中的所述当前样本的位置确定的第一参考样本和基于所述当前块的宽度或高度确定的第二参考样本。

6.根据权利要求5所述的方法，其中，所述当前样本的所述预测样本使用任意样本和基于所述特定数量的参考样本中的所述当前样本的所述位置确定的所述第一参考样本来生成，并且

其中，所述任意样本是通过所述特定数量的参考样本中的所述第二参考样本的加权和获得的。

7.根据权利要求6所述的方法，其中，所述当前样本的所述预测样本通过分别对所述任意样本和所述第一参考样本应用权重来生成。

8.根据权利要求7所述的方法，所述权重基于所述当前块中的所述当前样本的所述位置来确定。

9.一种利用编码装置对视频信号进行编码的方法，包括：

对指示是否使用受约束帧内预测的语法元素进行编码；

确定所述视频信号中的当前块的帧内预测模式；

构造所述当前块的参考样本；以及

使用预测块生成所述当前块的残差块，所述预测块是基于所述帧内预测模式和所述参考样本生成的，

其中，所构造的参考样本包括左参考样本和右参考样本，

其中，所述左参考样本属于与所述当前块的左侧相邻的重构块并且与所述当前块的左边界相邻，所述右参考样本属于与所述当前块的右侧相邻的重构块并且与所述当前块的右边界相邻，

其中，生成所述当前块的所述预测块包括：当所述帧内预测模式是非定向模式时，使用所构造的参考样本中的特定数量的参考样本来生成所述当前块中的当前样本的预测样本，

其中，所述特定数量被确定为5，

其中，所述特定数量的参考样本包括上参考样本、所述左参考样本中的两个和所述右参考样本中的一个，

其中，所述左参考样本中的所述两个包括所述左参考样本中的最下方参考样本，并且

其中，相对于所述当前块的左上样本，所述最下方参考样本的位置是(-1,H-1)，H是指所述当前块的高度。

10.一种存储通过利用编码装置对视频信号进行编码的方法生成的比特流的非暂时性计算机可读存储介质，所述方法包括：

对指示是否使用受约束帧内预测的语法元素进行编码；

确定所述视频信号中的当前块的帧内预测模式；

构造所述当前块的参考样本；以及

使用预测块生成所述当前块的残差块，所述预测块是基于所述帧内预测模式和所述参考样本生成的，

其中，所构造的参考样本包括左参考样本和右参考样本，

其中，所述左参考样本属于与所述当前块的左侧相邻的重构块并且与所述当前块的左边界相邻，所述右参考样本属于与所述当前块的右侧相邻的重构块并且与所述当前块的右边界相邻，

其中，生成所述当前块的所述预测块包括：当所述帧内预测模式是非定向模式时，使用所构造的参考样本中的特定数量的参考样本来生成所述当前块中的当前样本的预测样本，

其中，所述特定数量被确定为5，

其中，所述特定数量的参考样本包括上参考样本、所述左参考样本中的两个和所述右参考样本中的一个，

其中，所述左参考样本中的所述两个包括所述左参考样本中的最下方参考样本，并且

其中，相对于所述当前块的左上样本，所述最下方参考样本的位置是(-1,H-1)，H是指所述当前块的高度。

11.一种传输通过利用编码装置对视频信号进行编码的方法生成的比特流的方法，所述进行编码的方法包括：

对指示是否使用受约束帧内预测的语法元素进行编码；

确定所述视频信号中的当前块的帧内预测模式；

构造所述当前块的参考样本；以及

使用预测块生成所述当前块的残差块，所述预测块是基于所述帧内预测模式和所述参考样本生成的，

其中，所构造的参考样本包括左参考样本和右参考样本，

其中，所述左参考样本属于与所述当前块的左侧相邻的重构块并且与所述当前块的左边界相邻，所述右参考样本属于与所述当前块的右侧相邻的重构块并且与所述当前块的右边界相邻，

其中，生成所述当前块的所述预测块包括：当所述帧内预测模式是非定向模式时，使用所构造的参考样本中的特定数量的参考样本来生成所述当前块中的当前样本的预测样本，

其中，所述特定数量被确定为5，

其中，所述特定数量的参考样本包括上参考样本、所述左参考样本中的两个和所述右参考样本中的一个，

其中，所述左参考样本中的所述两个包括所述左参考样本中的最下方参考样本，并且

其中，相对于所述当前块的左上样本，所述最下方参考样本的位置是(-1,H-1)，H是指所述当前块的高度。