CN105308963B - 用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备 - Google Patents

Abstract

一种对多层视频进行预测解码的方法，包括：获取指示存储第一层的解码画面缓冲器(DPB)与存储第二层的DPB是否同样地进行操作的信息；基于获取的信息对存储第二层的DPB进行操作。

Description

用于对多层视频进行解码的方法和设备以及用于对多层视频 进行编码的方法和设备

技术领域

本发明构思涉及对多层视频进行编码和解码，更具体地，涉及对存储被解码的画面的解码画面缓冲器进行管理的方法。

背景技术

通常，根据指定的数据压缩标准(例如，运动图像专家组(MPEG)压缩标准)对视频数据进行编码，并将视频数据存储在数据存储介质中或以比特流的形式经由通信信道发送视频数据。

可伸缩视频编码(SVC)是用于与各种类型的通信网络和终端相应地调整数据量并发送数据的视频压缩方法。此外，多视点编码(MVC)是用于压缩诸如三维(3D)画面的多视点视频。

在现有技术中的SVC和MVC中，根据基于指定尺寸的宏块的有限编码方法对视频进行编码。

发明内容

技术问题

本发明构思提供了一种对用于对多层视频中所包括的画面进行解码的解码画面缓冲器有效地进行管理的方法。本发明构思也提供了一种有效地发送与多层视频中所包括的各个画面有关的参考画面信息的方法，以便在多层视频正被解码的同时有效地管理解码画面缓冲器。

技术方案

根据本发明构思的一方面，提供了一种对多层视频进行预测解码的方法，所述方法包括：获取指示存储第一层的解码画面缓冲器(DPB)与存储第二层的DPB是否同样地进行操作的信息；基于获取的信息对存储第二层的DPB 进行操作。

所述方法还包括：如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则参考与第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与DPB有关的信息和与时间子层排序有关的信息。

所述方法还包括：如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则通过使用参考与第一层有关的信息获取的与第二层有关的信息对画面进行预测解码。

对DPB进行操作的步骤包括：如果存储第二层的DPB与存储第一层的 DPB同样地进行操作并且第一层从DPB中被删除，则基于获取的信息从DPB 中删除第二层。

对DPB进行操作的步骤包括：如果存储第二层的DPB与存储第一层的 DPB同样地进行操作并且第一层的画面在DPB中被标记为短期参考画面或长期参考画面，则基于获取的信息与第一层的画面同样地对至少一个画面进行标记。

所述方法还包括：如果存储第二层的DPB不与存储第一层的DPB同样地进行操作，则从与第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二层有关的参考画面集、与DPB有关的信息和与时间子层排序有关的信息；通过使用与第二层有关的信息对画面进行解码。

根据本发明构思的另一方面，提供了一种多层视频预测解码设备，包括：解析单元，获取指示存储第一层的解码画面缓冲器(DPB)与存储第二层的 DPB同样地进行操作的信息；DPB，存储第一层和第二层；DPB控制器，对存储第二层的DPB进行操作；视频解码器，对第一层和第二层进行解码。

如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则解析单元参考与第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与DPB有关的信息和与时间子层排序有关的信息。

如果存储第二层的DPB与存储第一层的DPB同样地进行操作，则视频解码器通过使用参考与第一层有关的信息获取的与第二层有关的信息对画面进行预测解码。

如果存储第二层的DPB与存储第一层的DPB同样地进行操作并且第一层从DPB中被删除，则DPB控制器基于获取的信息从DPB中删除第二层。

如果存储第二层的DPB与存储第一层的DPB同样地进行操作并且第一层的画面在DPB中被标记为短期参考画面或长期参考画面，则DPB控制器基于获取的信息与第一层的画面同样地对至少一个画面进行标记。

如果存储第二层的DPB不与存储第一层的DPB同样地进行操作，则解析单元从与第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二层有关的参考画面集、与DPB有关的信息和与时间子层排序有关的信息；视频解码器通过使用与第二层有关的信息对画面进行解码。

根据本发明构思的另一方面，提供了一种对多层视频进行预测编码的方法，所述方法包括：确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作；基于确定的结果产生指示存储第一层的DPB与存储第二层的 DPB是否同样地进行操作的信息。

所述方法还包括：基于确定的结果对多层视频进行编码。

根据本发明构思的另一方面，提供了一种多层视频预测解码设备，包括：DPB操作信息产生器，确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作并基于确定的结果产生指示存储第一层的DPB与存储第二层的 DPB是否同样地进行操作的信息；视频编码器，基于确定的结果对多层视频进行编码。

附图说明

图1是根据本发明的实施例的视频编码设备的框图；

图2是根据本发明的实施例的视频解码设备的框图；

图3是用于描述根据本发明的实施例的编码单元的构思的示图；

图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；

图5是根据本发明的实施例的基于编码单元的图像解码器的框图；

图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图；

图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；

图8是用于描述根据本发明的实施例与编码深度相应的编码单元的编码信息的示图；

图9是根据本发明的实施例的根据深度的较深层编码单元的示图；

图10到图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；

图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分区、以及变换单元之间的关系的示图；

图14是根据本发明的实施例的多层视频编码设备的框图；

图15是根据本发明的实施例的对多层视频进行解码的方法的流程图；

图16是根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作而对多层视频进行解码的方法的流程图；

图17是示出根据本发明的实施例的多层视频解码设备的框图；

图18是根据本发明的实施例的对多层视频进行解码的方法的流程图；

图19是根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作而对多层视频进行解码的方法的流程图；

图20是根据本发明的实施例的示出对每个层的DPB进行操作的方法的示例的示图；

图21是示出根据本发明的实施例的包括指示是否对各个层的DPB同样地进行操作的信息的vps_extension的示例的示图；

图22a和图22b是示出包括指示是否对各个层的DPB同样地进行操作的信息的SPS的示例的示图；

图23a到图23c是示出根据本发明的实施例的包括基于各个层的DPB是否被同样地操作的RPS信息的条带头的示例的示图。

具体实施方式

在下文中，将通过参照附图解释本发明的优选实施例而详细地描述本发明。在本发明的描述中，当认为对现有技术的特定的详细解释会不必要地模糊本发明的实质时，所述详细解释可被省略。

在下文中参照附图详细地描述本发明的优选实施例。在说明书和权利要求书中使用的术语不应被理解为具有通常含义或词典含义，而应被理解为在发明人能够限定这些术语的概念以按照最佳方法解释本发明的原则下具有与本发明的精神相匹配的含义和概念。因此，在说明书中描述实施例和在附图中示出的配置不超出本发明的最优选的实施例，并且不全面地覆盖本发明的精神。相应地，应被理解的是在本申请被提交时会存在能够替代实施例和配置的各种等同物和修改。

贯穿说明书，在部分“包括”元件时，另一元件还可被包括，而不排除其它元件的存在，除非另有描述。此外，贯穿说明书使用的术语“～单元”或“模块”指示处理至少一个功能或操作的单元并可被实施为硬件软件或硬件与软件的组合。

贯穿说明书使用的术语“画面”可不被用于指示“画面”，而也可被用于共同地指示在本领域中能够被获知的各种类型的视频图像数据(诸如，“帧”、“域”和“条带”)。

在下文中，将参照示出了示例性实施例的附图来更全面地描述本发明。然而，可按照许多不同的形式来实施本发明，并且不应将本发明理解为限于在此阐述的示例性实施例。相反地，提供这些实施例使得本公开将是彻底且完整的，并将全面地向本领域普通技术人员传达本发明的范围。在附图中，为了清楚而省略了与本发明的描述无关的内容，并且在附图中的同样的附图标号始终指示同样的元件。

在下文中，将参照附图描述本发明。

图1是根据本发明的实施例的视频编码设备100的框图。

视频编码设备100包括最大编码单元划分器110、编码单元确定器120 和输出单元130。

最大编码单元划分器110可基于最大编码单元对当前画面进行划分，其中，所述最大编码单元是具有针对图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是具有32×32、 64×64、128×128或256×256等尺寸的数据单元，其中，数据单元的形状是宽和高为2的平方的正方形。宽和高中的每个大于8。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。

根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元开始被空间划分的次数，并且随着深度增加，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度增加而减小，因此与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。

如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为多个最大编码单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此在最大编码单元中所包括的空间域中的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器120对通过根据深度划分最大编码单元的区域而获取的至少一个划分的区域进行编码，并根据所述至少一个划分的区域确定用于输出最终编码的图像数据的深度。换而言之，根据当前画面的最大编码单元，编码单元确定器120通过按照根据深度的较深层编码单元对图像数据进行编码并选择具有最小编码误差的深度，确定编码深度。因此，与确定的编码深度相应的编码单元的编码的图像数据最终被输出。此外，与编码深度相应的编码单元可被理解为编码的编码单元。确定的编码深度和根据确定的编码深度的编码的图像数据被输出到输出单元130。

基于与等于或小于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并基于每个较深层编码单元来比较对图像数据进行编码的结果。可在对较深层编码单元的编码误差进行比较之后选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度被分层划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使编码单元在一个最大编码单元中相应于相同深度，仍通过单独测量每个编码单元的图像数据的编码误差来确定是否将相应于相同深度的每个编码单元划分为更低深度。因此，即使在数据被包括在一个最大编码单元中时，图像数据被划分为根据深度的区域并且编码误差会根据一个最大编码单元中的区域而不同，因此编码深度会根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。

因此，编码单元确定器120可确定在最大编码单元中所包括的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有较深层编码单元之中与被确定为编码深度的深度相应的编码单元。可在最大编码单元的相同区域中根据深度分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，当前区域中的编码深度与另一区域中的编码深度可被独立地确定。

根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级别的总数。例如，在最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。在这种情况下，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、深度1、深度2、深度3、深度4这5个深度级别，因此，第一最大深度可被设置为4，第二最大编码深度可被设置为5。

可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和频率变换。可基于正交变换或整数变换来执行变换。

由于每当最大编码单元根据深度被划分时较深层编码单元的数量就增加，因此对随着深度增加而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为了便于描述，现在将基于最大编码单元之中的当前深度的编码单元来描述预测编码和频率变换。

视频编码设备100可多样地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和熵编码的操作，同时，相同的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。

例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)执行预测编码。在下文中，不再被划分并且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过对预测单元进行划分而获取的分区 (partition)可包括预测单元和通过对预测单元的高度和宽度中的至少一个进行划分而获取的数据单元。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并成为 2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称地划分预测单元的高度或宽度而获取的对称分区(诸如，1:n或n:1)、通过不对称地划分预测单元的高度或宽度而获取的分区、通过几何地划分预测单元而获取的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可独立地对编码单元中的一个预测单元执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100可不仅基于用于对图像数据进行编码的编码单元对编码单元中的图像数据执行频率变换，还可基于与编码单元不同的数据单元对编码单元中的图像数据执行频率变换。

为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据单元执行频率变换。例如，用于频率变换的数据单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。

作为频率变换的基础的数据单元可被称为“变换单元”。与编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域，使得可按照区域的单元独立地确定变换单元。因此，可根据基于变换深度的具有树结构的变换单元来划分编码单元中的残差数据。

还可在变换单元中设置指示通过对编码单元的宽度和高度进行划分以达到变换单元而执行划分的次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。也就是说，还可根据变换深度来设置具有树结构的变换单元。

根据与编码深度相应的编码单元的编码信息不仅需要与编码深度有关的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于频率变换的变换单元的尺寸。

稍后将参照图3到图12详细描述根据本发明的实施例的最大编码单元中的具有树结构的编码单元以及确定分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真(RD)最优化，测量根据深度的较深层编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据和与根据编码深度的编码模式有关的信息，其中，最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。

可通过对图像的残差数据进行编码来获取编码的图像数据。

与根据编码深度的编码模式有关的信息可包括与编码深度、预测单元中的分区类型、预测模式和变换单元的尺寸有关的信息。

可通过使用根据深度的划分信息来定义与编码深度有关的信息，其中，所述与编码深度有关的信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码和输出，并且因此划分信息可被定义为不将当前编码单元划分至更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并且因此划分信息可被定义为对当前编码单元进行划分以获取更低深度的编码单元。

如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低深度的每个编码单元重复执行编码，因此可针对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定与至少一个编码模式有关的信息，所以可针对一个最大编码单元确定与至少一个编码模式有关的信息。另外，由于根据深度分层地划分图像数据，所以最大编码单元的图像数据的编码深度可根据位置而不同，因此可针对图像数据设置与编码深度和编码模式有关的信息。

因此，输出单元130可将与相应的编码深度和编码模式有关的编码信息分配给最大编码单元中所包括的编码单元、预测单元和最小单元中的至少一个。

根据本发明的实施例的最小单元是通过将组成最低深度的最小编码单元划分为4份而获取的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，其中，所述最大矩形数据单元可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中。

例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单元的编码信息以及根据预测单元编码信息。根据较深层编码单元的编码信息可包括与预测模式有关的信息以及与分区的尺寸有关的信息。根据预测单元的编码信息可包括与帧间模式的估计方向有关的信息、与帧间模式的参考图像索引有关的信息、与运动矢量有关的信息、与帧内模式的色度分量有关的信息以及与帧内模式的插值方法有关的信息。另外，与根据画面、条带或画面组(GOP)定义的编码单元的最大尺寸有关的信息以及与最大深度有关的信息可被插入到比特流的头中。

在视频编码设备100中，较深层编码单元可以是通过对更高深度的编码单元的高度和宽度划分为2份而获取的编码单元，其中，更高深度的编码单元是上述的一个层。换而言之，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可包括最大数量的更低深度的4个编码单元。

因此，基于最大编码单元的尺寸和考虑当前画面的特性而确定的最大深度，视频编码设备100可通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和频率变换中的任意一种来对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量会急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息并且数据压缩效率下降。然而，通过使用视频编码设备100，由于通过考虑图像的特性而调整了编码单元，同时在考虑图像的尺寸的情况下增大了编码单元的最大尺寸，所以可提高图像压缩效率。

图2是根据本发明的实施例的视频解码设备200的框图。

视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。以下，用于视频解码设备200的各种操作的术语(诸如编码单元、深度、预测单元、变换单元、与各种编码模式有关的信息)的定义与参照图1和视频编码设备100所描述的术语的定义相同。

接收器210接收并解析编码的视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从与当前画面有关的头提取与当前画面的编码单元的最大尺寸有关的信息。

另外，图像数据和编码信息提取器220从解析的比特流提取与具有根据每个最大编码单元的树结构的编码单元的编码深度和编码模式有关的信息。提取的与编码深度和编码模式有关的信息被输出到图像数据解码器230。换而言之，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器 230针对每个最大编码单元对图像数据进行解码。

可针对与与编码深度相应的至少一个编码单元有关的信息设置与根据最大编码单元的编码深度和编码模式有关的信息，与编码模式有关的信息可包括与编码深度所对应的相应编码单元的分区类型有关的信息、与预测模式有关的信息以及与变换单元的尺寸有关的信息。另外，根据深度的划分信息可被提取作为与编码深度有关的信息。

由图像数据和编码信息提取器220提取的与根据每个最大编码单元的编码深度和编码模式有关的信息是与这样的编码深度和编码模式有关的信息，即：所述编码模式和编码深度被确定为当编码器(诸如视频编码设备100) 根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码模式对图像数据进行解码来重构图像。

由于与编码深度和编码模式有关的编码信息可被分配给相应的编码单元、预测单元和最小单元之中的预定数据单元，所以图像数据和编码信息提取器220可根据所述预定数据单元来提取与编码深度和编码模式有关的信息。如果根据所述预定数据单元记录了与相应的最大编码单元的编码深度和编码模式有关的信息，则分配了相同的与编码深度和编码模式有关的信息的所述预定数据单元可被推断为是在相同的最大编码单元中所包括的数据单元。

图像数据解码器230通过基于与根据最大编码单元的编码深度和编码模式有关的信息对每个最大编码单元中的图像数据进行解码来重构当前画面。换而言之，图像数据解码器230可基于提取的与针对在每个最大编码单元中所包括的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元有关的信息，对编码的图像数据进行解码。解码处理可包括预测和逆变换，其中，所述预测包括帧内预测和运动补偿。可根据用于逆正交变换或逆整数变换的方法而执行逆变换。

基于与根据编码深度的编码单元的预测单元的分区类型和预测模式有关的信息，图像数据解码器230可根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

此外，图像数据解码器230可基于与根据编码深度的编码单元的变换单元的尺寸有关的信息，根据编码单元中的每个变换单元来执行逆变换，以根据最大编码单元来执行逆变换。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果所述划分信息指示在当前深度下不再划分图像数据，则当前深度是编码深度。因此，图像数据解码器230可通过使用与针对与编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元的尺寸有关的信息，对当前最大编码单元中与每个编码深度相应的至少一个编码单元的编码的数据进行解码，并输出当前最大编码单元的图像数据。

换而言之，可通过观察为编码单元、预测单元和最小单元之中的预定数据单元分配的编码信息集，收集包含编码信息(所述编码信息包括相同的划分信息)的数据单元，并且收集的数据单元可被认为是将由图像数据解码器 230以相同编码模式进行解码的一个数据单元。

视频解码设备200可获取与在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元有关的信息，并且视频解码设备200可使用所述信息来对当前画面进行解码。换而言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。另外，考虑图像数据的分辨率和图像数据量来确定编码单元的最大尺寸。

因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式对所述图像数据进行有效地解码和重构，其中，根据图像数据的特性和从编码器接收的与最佳编码模式有关的信息来适应性地确定所述编码单元的尺寸和编码模式。

现在将参照图3至图13描述根据本发明的实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。

图3是用于描述根据本发明的实施例的编码单元的构思的示图。

可以通过宽度×高度来表示编码单元的尺寸，并且编码单元的尺寸可以是 64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、 32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32 或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8 的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

关于视频数据310，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。关于视频数据320，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。关于视频数据330，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图3中示出的最大深度表示从最大编码单元到最小编码单元的总划分次数。

如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大，从而不仅提高编码效率，还精确地反映图像的特性。因此，具有比视频数据330更高的分辨率的视频数据310和视频数据320的编码单元的最大尺寸可以为64。

由于视频数据310的最大深度是2，所以视频数据310的编码单元315 可包括具有64的长轴(long axis)尺寸的最大编码单元，以及由于通过对最大编码单元划分两次使深度增加两层而具有32和16的长轴尺寸的编码单元。同时，由于视频数据330的最大深度是1，所以视频数据330的编码单元335 可包括具有16的长轴尺寸的最大编码单元，以及由于通过将最大编码单元划分一次使深度增加一层而具有8的长轴尺寸的编码单元。

由于视频数据320的最大深度是3，所以视频数据320的编码单元325 可包括具有64的长轴尺寸的最大编码单元，以及由于通过将最大编码单元划分三次使深度增加3层而具有32、16和8的长轴尺寸的编码单元。随着深度增加，详细信息可被更精确地表示。

图4是根据本发明的实施例的基于编码单元的图像编码器400的框图。

图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数据进行编码。换而言之，帧内预测器420基于预测单元对当前帧 405之中的帧内模式的编码单元执行帧内预测，帧间预测器415基于预测单元通过使用当前画面405和从重构画面缓冲器410获取的参考帧而对当前画面405中的帧间模式的编码单元执行帧间预测。当前画面405可被划分为最大编码单元并可被顺序地编码。在这种情况下，可关于编码单元执行编码，其中，将通过对处于树结构的最大编码单元进行划分来形成所述编码单元。

通过从与正被编码的当前画面405中的编码单元有关的数据中减去与由帧内预测器420或帧间预测器415输出的各个模式的编码单元有关的预测数据来产生残差数据，通过变换器425和量化器430将残差数据输出为量化的变换系数。量化的变换系数通过反量化器445和逆变换器450被重构为空间域中的残差数据。空间域中的残差数据通过被加到与由帧内预测器420或帧间预测器415输出的各个模式的编码单元相关的预测数据而被重构为空间域中与当前画面405的编码单元有关的数据。空间域中的被重构数据在通过去块单元455和SAO执行单元460进行后处理之后被输出为重构的画面。重构画面缓冲器410中所存储的重构的画面可作为用于对其它画面进行帧间预测的参考画面。由变换器425和量化器430量化的变换系数可通过熵编码器435 被输出为比特流440。

为了在视频编码设备100中应用图像编码器400，图像编码器400的所有元件(即，帧内预测器415、帧间预测器420、变换器425、量化器430、熵编码器435、反量化器445、逆变换器450、去块单元455和SAO执行单元460)可基于每个最大编码单元的具有树结构的编码单元之中的每个编码单元执行操作。

具体地说，帧内预测器420和帧间估计器415通过考虑当前最大编码单元的最大尺寸和最大深度而确定具有树结构的编码单元中的每个编码单元的分区模式和预测模式，变换器425基于具有树结构的编码单元中的四叉树来确定是否对每个编码单元中的变换单元进行划分。

图5是根据本发明的实施例的基于编码单元的图像解码器500的框图。

熵解码器515从比特流505解析将被解码的编码的图像数据和解码所需的与编码有关的信息。编码的图像数据是量化的变换系数，反量化器520和逆变换器525从量化的变换系数重构残差数据。

帧内预测器540对处于帧内模式的编码单元执行帧内预测。帧间预测器 535通过使用当前画面405和从重构画面缓冲器530获取的参考帧基于预测单元对当前帧405中的处于帧间模式的编码单元执行帧间预测。

空间域中的数据被重构为与由帧内预测器540或帧间预测器535输出的各个模式的编码单元相关的预测数据，被加到残差数据，并且空间域中的重构的数据可在通过去块单元和SAO执行单元550被后处理后被输出为重构的图像560。此外，重构画面缓冲器530中存储的重构的画面可被输出为参考画面。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在熵解码器515的操作被执行之后被执行的操作。

为了在视频解码设备200中使用图像解码器500，图像解码器500的所有元件(即，熵解码器515、反量化器520、逆变换器530、帧内预测器540、帧间预测器535、去块单元545以及SAO执行单元550)可针对每个最大编码单元基于具有树结构的编码单元来执行操作。

具体地说，帧内预测器540和帧间预测器535针对具有树结构的编码单元中的每个编码单元确定分区和预测模式，逆变换器525确定是否基于四叉树对具有树结构的编码单元中每个编码单元中的变换器进行划分。

图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。

视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特性。可根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定的最大尺寸来确定根据深度的较深层编码单元的尺寸。

在编码单元的分层结构600中，根据本发明的实施例，编码单元的最大高度和最大宽度均为64，最大深度是4。在这种情况下，最大深度指示编码单元从最大编码单元被划分到最小编码单元的总次数。由于深度沿分层结构 600的垂直轴而增加，所以较深层编码单元的高度和宽度均朝高度方向和宽度方向被划分。另外，沿分层结构600的水平轴示出了作为用于每个较深层编码单元的预测编码的基础的预测单元和分区。

换而言之，编码单元610是分层结构600中的最大编码单元，其中，深度是0且尺寸(即高度×宽度)是64×64。深度沿垂直轴增加，并且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元 630、尺寸为8×8且深度为3的编码单元640和尺寸为4×4且深度为4的编码单元650。尺寸为4×4且深度为4的编码单元650是最小编码单元。

编码单元的预测单元和分区根据每个深度沿水平轴布置。换而言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则所述预测单元可被划分为在编码单元610中所包括的分区，即：尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区 616。

类似地，尺寸为32×32且深度为1的编码单元620的预测单元可以被划分为在编码单元620中所包括的分区，即：尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。

类似地，尺寸为16×16且深度为2的编码单元630的预测单元可以被划分为在编码单元630中所包括的分区，即：在编码单元630中所包括的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。

类似地，尺寸为8×8且深度为3的编码单元640的预测单元可以被划分为在编码单元640中所包括的分区，即：在编码单元640中所包括的尺寸为 8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4 的分区646。

尺寸为4×4且深度为4的编码单元650是最小编码单元和最低深度的编码单元。编码单元650的相应的预测单元可仅被设置为尺寸为4×4的分区。

为了确定构成最大编码单元610的至少一个编码深度，视频编码设备100 的编码单元确定器120对在最大编码单元610中所包括的与每个深度相应的编码单元执行编码。

随着深度增加，以相同范围和相同尺寸包括数据的根据深度的较深层编码单元的数量增加。例如，需要与深度2相应的4个编码单元以覆盖与深度1相应的一个编码单元中所包括的数据。因此，为了对根据深度的相同数据的编码结果进行比较，与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。

为了针对多个深度中的当前深度执行编码，可通过沿分层结构600的水平轴对与当前深度相应的编码单元中的每个预测单元执行编码来为当前深度选择最小编码误差。可选择地，可通过对根据深度的最小编码误差进行比较并随着深度沿分层结构600的垂直轴增加而针对每个深度执行编码来搜索最小编码误差。编码单元610中具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。

图7是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。

针对每个最大编码单元，视频编码设备100或视频解码设备200根据尺寸小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。

例如，在视频编码设备100或视频解码设备200中，如果编码单元710 的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。

另外，可通过对尺寸为小于64×64的32×32、16×16、8×8和4×4的变换单元中的每一个变换单元执行变换来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。

图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。

视频编码设备100的输出单元130可将与编码深度相应的每个编码单元的与分区类型有关的信息800、与预测模式有关的信息810和与变换单元的尺寸有关的信息820编码为与编码模式有关的信息，并将其发送。

信息800指示与通过对当前编码单元的预测单元进行划分而获取的分区的形状有关的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为 2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的任意一个分区。在这种情况下，与分区类型有关的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806 和尺寸为N×N的分区808中的一个分区。

信息810指示每个分区的预测模式。例如，信息810可指示对由信息800 指示的分区执行的预测编码的模式，即：帧内模式812、帧间模式814或跳过模式816。

信息820指示在对当前编码单元执行变换时作为基础的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元来提取和使用用于解码的信息800、信息810和信息820。

图9是根据本发明的实施例的根据深度的较深层编码单元的示图。

划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918的分区。图9仅示出了通过对称地划分预测单元910而获取的分区类型912至分区类型918，但是分区类型不限于此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0 的两个分区、尺寸为N_0×2N_0的两个分区、尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和 N_0×N_0的分区执行帧内模式下和帧间模式下的预测编码。可仅对尺寸为 2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至分区类型916中一种分区类型中的编码误差最小，则预测单元910可不再被划分为更低深度。

如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则在操作920 中，深度可从0改变为1以对分区类型918进行划分，并可对深度为2且尺寸为N_0×N_0的编码单元930重复执行编码以搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946和尺寸为 N_1×N_1的分区类型948的分区。

如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则在操作950 中，深度可从1改变为2以对分区类型948进行划分，并可对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码以搜索最小编码误差。

在最大深度为d时，根据每个深度的划分操作可被执行直到深度变为 d-1，并且划分信息可被编码直到深度为0至d-2中的一个。换而言之，当在操作970中执行编码直到与深度d-2相应的编码单元被划分之后深度为d-1 时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_ (d-1)的分区类型996以及尺寸为N_(d-1)×N_(d-1)的分区类型998的分区。

可对分区类型992至分区类型998之中的尺寸为2N_(d-1)×2N_(d-1) 的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1) ×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区类型。

即使在尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由于最大深度为d，所以深度为d-1的编码单元CU_(d-1)不再被划分为更低深度，针对构成当前最大编码单元900的编码单元的编码深度可被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_ (d-1)。另外，由于最大深度为d并且最低深度为d-1的最小编码单元980 不再被划分为更低深度，所以不设置针对最小编码单元980的划分信息。

数据单元999可以是针对当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将最小编码单元980划分为4份而获取的矩形数据单元。通过重复地执行编码，视频编码设备100可通过将根据编码单元900的深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码深度，并且可将相应的分区类型和预测模式设置为所述编码深度的编码模式。

这样，在深度0至d的所有深度中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可作为与编码模式有关的信息被编码和发送。另外，由于从深度0至编码深度对编码单元进行划分，所以仅编码深度的划分信息被设置为0，并且除了编码深度以外的深度的划分信息被设置为1。

视频解码设备200的图像数据和编码信息提取器220可提取并使用与编码单元900的编码深度和预测单元有关的信息，以对编码单元912进行解码。视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用与相应深度的编码模式有关的信息，以用于解码。

图10至图12是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。

当在编码单元1010中最大编码单元的深度为0时，编码单元1012和编码单元1054的深度为1，编码单元1014、编码单元1016、编码单元1018、编码单元1028、编码单元1050和编码单元1052的深度为2，编码单元1020、编码单元1022、编码单元1024、编码单元1026、编码单元1030、编码单元1032和编码单元1048的深度为3，编码单元1040、编码单元1042、编码单元1044和编码单元1046的深度为4。

关于预测单元1060，通过对编码单元进行划分获取一些编码单元1014、编码单元1016、编码单元1022、编码单元1032、编码单元1048、编码单元 1050、编码单元1052和编码单元1054。换而言之，编码单元1014、编码单元1022、编码单元1050和编码单元1054中的分区类型的尺寸为2N×N，编码单元1016、编码单元1048和编码单元1052中的分区类型的尺寸为N×2N，编码单元1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。

以小于编码单元1052的数据单元对变换单元1070中的编码单元1052 的图像数据执行变换或逆变换。另外，编码单元1014、编码单元1016、编码单元1022、编码单元1032、编码单元1048、编码单元1050、编码单元1052 和编码单元1054与预测单元1060中的那些编码单元在尺寸或形状上不同。换而言之，视频编码设备100和视频解码设备200可对在相同的编码单元中的数据单元独立地执行帧内预测、运动预测、运动补偿、变换以及逆变换。

因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个编码单元递归地执行编码以确定最佳编码单元，因此可获取具有递归树结构的编码单元。编码信息可包括与编码单元有关的划分信息、与分区类型有关的信息、与预测模式有关的信息以及与变换单元的尺寸有关的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。

[表1]

视频编码设备100的输出单元130可输出与具有树结构的编码单元有关的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取与具有树结构的编码单元有关的编码信息。

划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分为更低深度的深度是编码深度，因此，可针对编码深度定义与变换单元的分区类型、预测模式、尺寸有关的信息。如果还根据划分信息对当前编码单元进行划分，则对更低深度的被划分的四个编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种模式。可在所有分区类型中定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区类型中定义跳过模式。

与分区类型有关的信息可指示通过对称地划分预测单元的高度或宽度而获取的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型以及通过非对称地划分预测单元的高度或宽度而获取的尺寸为2N×nU、2N×nD、nL×2N和 nR×2N的非对称分区类型。可通过以1:3和3:1对预测单元的高度进行划分来分别获取尺寸为2N×nU和2N×nD的非对称分区类型，可通过以1:3和3:1 对预测单元的宽度进行划分来分别获取尺寸为nL×2N和nR×2N的非对称分区类型。

变换单元的尺寸可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。换而言之，如果变换单元的划分信息为0，则变换单元的尺寸可以是2N×2N(2N×2N是当前编码单元的尺寸)。如果变换单元的划分信息为1，则可通过对当前编码单元进行划分来获取变换单元。另外，如果尺寸为2N×2N 的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是 N/2×N/2。

与具有树结构的编码单元有关的编码信息包括与编码深度相应的编码单元、预测单元以及最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的最小单元和预测单元中的至少一个。

因此，通过对邻近数据单元的编码信息进行比较来确定邻近数据单元是否被包括在与编码深度相应的相同编码单元中。另外，可通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，因此可确定最大编码单元中的编码深度的分布。

因此，如果基于邻近数据单元的编码信息来预测当前编码单元，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

可选择地，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且可参考搜索到的邻近编码单元，以用于对当前编码单元进行预测。

图13是用于描述根据表1的编码模式信息的编码单元、预测单元或变换单元之间的关系的示图。

最大编码单元1300包括多个编码深度的编码单元1302、编码单元1304、编码单元1306、编码单元1312、编码单元1314、编码单元1316和编码单元 1318。在这种情况下，由于编码单元1318是编码深度的编码单元，所以划分信息可被设置为0。与尺寸为2N×2N的编码单元1318的分区类型有关的信息可被设置为尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型 1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N 的分区类型1336以及尺寸为nR×2N的分区类型1338中的一个分区类型。

在分区类型被设置为对称(即，分区类型1322、分区类型1324、分区类型1326或分区类型1328)时，如果变换单元的划分信息(TU尺寸标志)为 0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标志为1，则设置尺寸为N×N的变换单元1344。

在分区类型被设置为非对称(即，分区类型1332、分区类型1334、分区类型1336或分区类型1338)时，如果TU尺寸标志为0，则设置尺寸为2N×2N 的变换单元1352，如果TU尺寸标志为1，则设置尺寸为N/2×N/2的变换单元1354。

以上参照图1至图13描述的包括具有树结构的编码单元的最大编码单元可被称为各种名称，诸如编码块树、块树、根块树、编码树或树干。

在下文中，参照图14至图22b ，以下将描述用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备。在下文中，术语“画面”可指示视频静止画面或运动画面(即，视频)。此外，编码序列是编码器对画面进行处理的序列，而解码序列是解码器对画面进行处理的序列，其中，编码序列和解码序列彼此相同。

图14是根据本发明的实施例的多层视频编码设备的框图。

参照图14，多层视频编码设备包括视频编码器1410和DPB操作信息产生器1420。

视频编码器1410接收多层视频并对多层视频进行编码。视频编码器1410 与对输入的视频进行编码的视频编码层相应。

如在上文中参照图1至图13进行的描述，根据示例性实施例的视频编码器1410将多层视频中所包括的每个画面划分为具有最大尺寸的最大编码单元，将划分的最大编码单元划分为编码单元，并基于编码单元对每个画面进行编码。编码单元具有通过分层地划分根据深度的最大编码单元而形成的树结构。视频编码器1410通过使用预测单元关于编码单元进行预测，并通过使用变换单元对包括预测值与原始信号之间的差异的残差数据进行变换。

多层视频可以是多视点视频或可伸缩视频。如果多层视频是多视点视频，则视频编码器1410可将n(n为自然数)个视点的每个画面序列编码编码为单个层。如果多层视频是可伸缩视频，则视频编码器1410可对基本层的画面序列和增强层的画面序列分别进行编码。

多层视频与单层视频相比包括较大的数据量。因此，视频编码器1410 可通过使用多层视频中所包括的各个层的画面之间的相关性来执行预测编码。换而言之，视频编码器1410可基于另一层的一个或更多个画面来对每层的画面进行预测编码。通过参照当前层的画面和另一层的画面进行预测可指示层间预测。

例如，视频编码器1410可通过参考基本视点的画面来执行用于预测附加视点的画面的视点间预测。此外，视频编码器1410可通过参考预定的附加视点的画面来执行用于预测其它额外视点的画面的视点间预测。通过视点间预测，可产生当前画面与参考画面之间的不同，以及作为当前画面与参考画面之间的差异的残差。如上所述，可基于具有树结构的编码单元、预测单元或变换单元来执行层间预测。

视频编码器1410可通过在同一层的画面中执行帧间预测和帧内预测或者使用另一层的画面执行层间预测来确定多层中所包括的画面之间的参考关系。此外，视频编码器1410可通过对帧间预测、帧内预测和层间预测期间产生的预测值与原始信号之间的差异进行变换和量化来执行编码。通过这种在 VCL(视频编码层)下的编码操作，视频编码器1410输出与编码单元有关的残差信息、预测模式信息和与编码单元的预测编码有关的附加信息。附加信息可包括：DPB(解码图像缓冲器)信息、RPS(参考画面集)信息和与时间子层排序有关的信息，其中，DPB信息包括指示用于在解码器处对画面帧进行解码所要求缓冲器的最大尺寸的最大解码帧缓冲(语法为 max_dec_pic_buffering)、指示需要被重新排序的画面帧的数量的重新排序帧数(语法为num_redorder_pics)和用于确定最大延迟帧的最大延迟增量(语法为max_latency_increase)。具体地说，DPB信息和RPS信息可包括用于对每层的DPB进行操作的信息。

在下文中，以下将给出对RPS信息、DPB信息和附加信息所包括的信息中与时间子层排序有关的信息的详细描述。

参考画面集(RPS)指示可被用于对当前画面进行预测解码的一组参考画面并可由序列参数集(SPS)或条带头来定义。SPS是包括与整个序列的编码有关的信息的头信息(诸如，简介和级别)，可包括可通过索引而被识别的多个RPS。条带头可还包括除了由SPS定义的RPS以外的另外定义的RPS。另外定义的RPS可被用于与包括RPS的条带头相应的画面。

可基于当前画面通过POC值来识别RPS中所包括的参考画面。RPS包括短期参考画面集(RPS)和长期参考画面集(RPS)。

DPB信息可包括用于对画面帧进行解码所要求缓冲器的最大尺寸 max_dec_pic_buffering、需要被重新排序的画面帧的数量num_redorder_pics 和延迟帧的最大数量max_latency_increase。

可基于用于对各个画面帧进行解码所涉及的画面的数量来确定用于对画面帧进行解码所要求的缓冲器的最大尺寸max_dec_pic_buffering。可基于用于对包括SPS的各个画面帧进行解码所涉及的画面的最大数量来确定与能够被SPS信号化的缓冲器的最大尺寸有关的信息。

需要被重新排序的画面帧的数量num_redorder_pics指示由于基于编码序列在画面序列的画面帧中的任意画面帧之前被编码并在基于显示序列被前向编码的画面帧之后被显示而需要被重新排序的画面帧的数量。

延迟帧的最大数量max_latency_increase指示在输出序列中的任意帧之前但是在解码序列的任意帧之后的画面帧的最大数量。

与时间子层排序有关的信息可包括指示能够用于对当前画面进行编码或解码的画面的分层时间标识TemporalId。具有特定时间标识的画面可被用作针对具有相同或更大时间标识的画面的参考画面。例如，具有时间标识为1 的画面可被用作针对时间标识为1的画面或时间标识大于1(例如，2、3等) 的画面的参考画面。然而，时间标识为1的画面可不被用作针对时间标识为 0的画面的参考画面。

更小的时间标识可意指更小的显示率。例如，如果视频解码器1610仅对时间标识为0的画面进行解码，则显示速率可以是每秒7.5个画面。同时，如果视频解码器1610对时间标识为0和1的画面进行解码，则显示率可以是每秒15个画面。

此外，与当前画面有关的RPS可不包括时间标识大于当前画面的时间帧的画面，使得可根据时间向上切换来对时间标识等于或小于特定时间标识的画面进行解码。

如果存储各个层的DPB同样地进行操作时，则根据本发明的实施例的 DPB信息、RPS信息和与时间子层排序有关的信息可被包括在同样地进行操作的层中的一个层的SPS或条带头中并被信号化。由于DPB信息和RPS信息是用于对每个层的DPB进行操作的信息，所以在各个层的DPB与第一层的DPB同样地进行操作时，可不关于各个层将DPB信息和RPS信息信号化。可参考与第一层有关的信息获取每个层的与时间子层排序有关的信息，因此可不针对各个层将各个层的与时间子层排序有关的信息信号化。

此外，不仅DPB信息、RPS信息和与时间子层排序有关的信息，而且在各个层被解码时能够被通用地应用到各个层的信息也可被包括在作为针对 DPB操作的索引层的任意层的SPS或条带头中并被信号化。此外，不仅DPB 信息和RPS信息，而且用于对各个层的DPB进行操作的信息也可不被信号化。作为替代，仅用于对作为针对DPB操作的索引层的任意层的DPB进行操作的信息可被包括在SPS或条带头中并被信号化。

换而言之，如果存储各个层的DPB同样地进行操作，则能够被通用地应用到各个层的信息或用于对DPB进行操作的信息可被包括在作为针对DPB 操作的索引层的任意层的SPS或条带头中并被信号化。

在下文中，由于在存储各个层的DPB同样地进行操作时能够被通用地应用到各个层的信息或用于对DPB进行操作的信息可被通用地应用到各个层，所以所述信息可被称为通用信息。通用信息可包括DPB信息、RPS信息和与时间子层排序有关的信息。然而，本发明不限于此，通用信息可包括各种其它类型的信息。

此外，存储第n层的DPB可被称为第n层的DPB。

DPB操作信息产生器1420确定存储第一层的DPB与存储第二层的DPB 是否同样地进行操作，并可基于确定的结果来产生指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的信息。如果DPB操作信息产生器 1420确定多个层与第一层的DPB同样地进行操作，则所述多个层的DPB可与第一层的DPB同样地进行操作。DPB操作信息产生器1420可通过序列确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作。根据本发明的实施例，由于一个SPS可与一个层相应，所以可通过序列确定各个层的 DPB是否同样地进行操作。然而，本发明不限于此，DPB操作信息产生器1420 可通过画面、条带等确定存储第一层的DPB与存储第二层DPB是否同样地进行操作。在下文中，为了解释方便，将基于序列给出描述。

在解码端，如果存储第一层的DPB与存储第二层的DPB同样地进行操作，则存储第一层的DPB与存储第二层的DPB可通过具有相同的POC的画面同样地进行操作。换而言之，具有相同的POC的每层的画面可在DPB中同样地进行操作。例如，在解码端，如果基于RPS信息从DPB中删除或标记了第一层的具有第一POC值的画面，则也可从DPB中删除或标记第二层的具有第一POC值的画面。

如果存储各个层的DPB同样地进行操作，则各个层中常用的信息被包括在作为针对DPB操作的索引层的层的SPS或条带头中，因此将被编码的信息可被减少。此外，如果存储各个层的DPB同样地进行操作，则整个DPB操作变得简单并且不必须针对每个层对用于操作各个层的DPB的信息独立地进行解析。因此，在解码端的负载可变得较小。

然而，如果通过应用能够在一些区段中的层之间被应用的通用信息使画面变得与原始画面不同，则与原始画面不同地对画面进行编码，因此可对失真画面进行解码。此外，如果一些画面被解码并且未被用作参考画面，则可基于通用信息来保持参考状态，因此非必要的数据会被保持在DPB中。

因此，DPB操作信息产生器1420可考虑用于对各个层的DPB同样地进行操作的优点和缺点来确定是否对存储各个层的DPB是否同样地进行操作。例如，DPB操作信息产生器1420可基于在一些区段中应用通用信息的情况下的解码失真或在帧间预测期间各个层之间的参考关系的一致性来确定存储各个层的DPB是否同样地进行操作。

图15是示出根据本发明的实施例的对多层视频进行解码的方法的流程图。

在操作1510中，DPB操作信息产生器1420可确定存储第一层的DPB 与存储第二层的DPB是否同样地进行操作。例如，在各个层的画面的帧间预测或在应用通用信息的情况下对失真进行解码期间，DPB操作信息产生器 1420可基于每层的画面与另一访问单元中的画面之间的参考关系的一致性来确定存储各个层的DPB是否同样地进行操作。

在操作1520中，DPB操作信息产生器1420可基于在操作1510中的确定的结果来产生指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的信息。接下来，视频编码器1410可对在操作1520中产生的信息和多层视频进行编码。

图16是根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作来对多层视频进行解码的方法的流程图。

在操作视频解码器1610中，DPB操作信息产生器1420可确定存储第一层的DPB与存储第二层的DPB是否同样地进行操作。例如，在各个层的画面的帧间预测或在应用通用信息的情况下对失真进行解码期间，DPB操作信息产生器1420可基于每层的画面与另一访问单元中的画面之间的参考关系的一致性来确定存储各个层的DPB是否同样地进行操作。

在操作1620中，DPB操作信息产生器1420可基于操作1610中的确定的结果来产生指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的标记。例如，DPB操作信息产生器1420可基于在操作1610中的确定的结果将指示所有层的DPB是否同样地进行操作的标记插入到视频参数集 (VPS)或另一参数集。例如，如果所有层的DPB未同样地进行操作，则 DPB操作信息产生器1420可确定每个层的DPB是否与基本层的DPB同样地进行操作，可基于针对每个层的确定来产生标记，并将标记插入到VPS或另一参数集。

如果标记值为1，也就是说，如果在操作1630中确定存储第一层的DPB 与存储第二层的DPB同样地进行操作，则视频编码器1410可在操作1640中将通用信息编码到第一层的SPS或条带头。因此，在第二层被编码时，与第二层有关的通用信息不被独立地解析并可从与第一层有关的通用信息中被获取。此外，由于第二层的DPB与第一层的DPB同样地进行操作，用于对第二层的DPB进行操作的信息是非必要的并可不被编码。用于对DPB进行操作的信息可包括DPB信息和用于标记画面的参考状态的RPS信息。

此外，如果在操作1630中确定标记的值为0，也就是说，第一层的DPB 独立于第二层的DPB而运行，则视频编码器1410可在操作1650中将信息独立地编码到第一层的SPS或条带头。能够被独立地编码的信息可包括在操作 1640中能够被编码的信息，作为在标记值为1时的通用信息或用于对DPB 进行操作的信息。

图17是示出根据本发明的实施例的多层视频解码设备的框图。参照图 17，多层视频解码设备1700包括解析单元1705、视频解码器1710、DPB 1720 和DPB控制器1730。

解析单元1705接收被编码的比特流并从比特流中获取视频参数集 (VPS)、序列参数集(SPS)、画面参数集(PPS)、条带和SEI消息。具体地说，解析单元1705可从比特流中获取指示存储第一层的DPB与存储第二层的DPB是否同样地进行操作的信息。

解析单元1705可从VPS中获取指示每个层的DPB是否与第一层的DPB 同样地进行操作的信息。此外，解析单元1705可从SPS、PPS或条带头中获取指示与SPS、PPS或条带头相应的层的DPB是否与第一层的DPB同样地进行操作的信息。第一层可以是基本层或其它层。

此外，解析单元1705可基于指示各个层的DPB是否与第一层的DPB同样地进行操作的信息从第一层的SPS、PPS或条带头中所包括的通用信息中获取与各个层有关的信息。

视频解码器1710可对多层中所包括的画面进行解码。视频解码器1710 可基于从比特流获取的信息来对每个层的画面进行解码。换而言之，可基于每个层的DPB是否与第一层的DPB同样地进行操作，基于与各个层有关的信息来对每个层的画面进行解码。DPB 1720可基于具有树结构的编码单元来对多层视频进行解码。

由视频解码器1710解码的画面被存储在DPB 1720中。可基于存储各个层的DPB是否与第一层的DPB同样地进行操作由DPB控制器1730对存储画面的DPB 1720进行操作，其中，由解析单元1705获取各个层的DPB。例如，如果第二层的DPB与第一层的DPB同样地进行操作，则在第一层的DPB 被删除或被标记时第二层的DPB可被删除或被标记。

DPB控制器1730可控制各个层的DPB，使得DPB 1720基于指示由解析单元1705获取的各个层的DPB是否与第一层的DPB同样地进行操作的信息而进行操作。

图18是示出根据本发明的实施例的对多层视频进行解码的方法的流程图。

参照图18，在操作1810中，解析单元1705可获取指示存储第一层的 DPB与存储第二层的DPB是否同样地进行操作的信息。解析单元1705可基于相应层的参数集(诸如，VPS、SPS和PPS)来获取指示存储第一层的DPB 与存储第二层的DPB是否同样地进行操作的信息。

在操作1820中，DPB控制器1730可基于在操作1810中获取的信息来对存储第二层的DPB进行操作。换而言之，如果存储第一层的DPB与存储第二层的DPB同样地进行操作，则DPB控制器1730可与第一层的DPB同样地对第二层的DPB进行操作。此外，如果存储第一层的DPB与存储第二层的DPB不是同样地进行操作，则DPB控制器1730可与第一层的DPB独立地对第二层的DPB进行操作。在这种情况下，可基于第二层的SPS、PPS 或条带头中的至少一项中所包括的信息来对第二层的DPB进行操作。

图19是示出根据本发明的实施例的基于存储各个层的DPB是否同样地进行操作而对多层视频进行解码的方法的流程图。

参照图19，在操作1910中，解析单元1705可获取指示存储第一层的 DPB与存储第二层的DPB是否同样地进行操作的标记。解析单元1705可基于相应层的参数集(诸如，VPS、SPS或PPS)获取指示存储第一层的DPB 与存储第二层的DPB是否同样地进行操作的标记。

如果标记值为1，也就是说，如果在操作1920中确定存储第一层的DPB 与存储第二层的DPB同样地进行操作，则DPB控制器1730可在操作1930 中对存储第一层的DPB与存储第二层的DPB同样地进行操作。因此，DPB 控制器1730可在不获取用于对第二层的DPB进行操作的信息(例如，DPB 信息或RPS信息)的情况下与第一层的DPB同样地对第二层的DPB进行操作。

如果在操作1920中标记值为0，也就是说，第一层的DPB独立于第二层的DPB而进行操作，则DPB控制器1730可在操作1940中获取用于对第二层的DPB进行操作的信息。用于对第二层的DPB进行操作的信息可包括 DPB信息和RPS信息。

在操作1950中，DPB控制器1730可通过使用在操作1920中获取的用于对第二层的DPB进行操作的信息而对第一层的DPB与第二层的DPB彼此独立地进行操作。

图20是示出根据本发明的实施例的对每个层的DPB进行操作的方法的示例的示图。

参照图20，多层视频包括层0至层3，其中，多个层的序列经由箭头所指示的虚线被彼此区分。

假设在包括具有POC 1和POC 2的各个层的画面的序列中，层0的DPB 与层1至层3的DPB同样地进行操作。关于POC 1，层1至层3的画面2011、画面2021和画面2031的DPB可与层0的画面2001的DPB同样地进行操作。换而言之，层0至层3的画面的DPB可基于与层0的画面2001有关的DPB 信息或RPS信息同样地进行操作。具体地说，可基于与层0有关的DPB信息对层0至层3的DPB进行操作。此外，可基于与层0有关的RPS信息对能够基于POC值识别的层0至层3的画面进行标记。

就此而言，关于POC2，层1至层3的画面2012、画面2022和画面2032 的DPB可与层0的画面2002的DPB同样地进行操作。换而言之，层0至层 3的画面的DPB可基于与层0的画面2002有关的DPB信息或RPS信息而同样地进行操作。具体而言，可基于与层0有关的DPB信息对层0至层3的画面的DPB进行操作。此外，可基于与层0有关的RPS信息来标记能够基于 POC值识别的层0至层3的画面。

假设在包括具有POC 3和POC 4的各个层的画面的序列中，层0与层1 的DPB彼此同样地进行操作而层2与层3的DPB彼此独立地进行操作。

关于POC3，可对层1的画面2013的DPB与层0的画面2003的DPB 同样地进行操作。换而言之，基于与层0的画面2003的DPB信息或RPS信息，可对层1的画面的DPB同样地进行操作。此外，层2和层3的画面2023 和画面2033可基于与层2和层3有关的DPB信息或RPS信息而与层0的画面2003独立地进行操作。因此，为了对层2与层3的画面的DPB独立地进行操作，DPB 1720可获取与层2和层3中的每个层有关的DPB信息或RPS 信息。具体地说，可基于与层0有关的DPB信息对层1的画面的DPB进行操作。此外，基于与层0有关的RPS信息，可标记由与层0有关的RPS信息中所包括的POC标识的层1的画面。同时，可基于与层2和层3中的每个层有关的DPB信息或RPS信息而独立于层1和层2地对层2和层3的DPB进行操作。

就此而言，关于POC4，可对层1的画面2014的DPB与层0的画面2004 的DPB同样地进行操作。换而言之，基于与层0的画面2004有关的DPB信息或RPS信息，可对层1的画面的DPB同样地进行操作。此外，层2和层3 的画面2024和画面2034可基于与层2和层3有关的DPB信息或RPS信息而独立于层0的画面2004进行操作。具体而言，可基于与层0有关的DPB 信息对层1的画面的DPB进行操作。此外，基于与层0有关的RPS信息，可标记由与层0有关的RPS信息中所包括的POC识别的层1的画面。同时，可基于与层2和层3有关的DPB信息或RPS信息对层2和层3的DPB独立于层0和层1进行操作。

图21是示出根据本发明的实施例的包括指示是否对各个层的DPB同样地进行操作的信息的vps_extension的示例的示图。

参照图21，可从vps_extension()中获取指示是否对所有层的DPB与基本层的DPB同样地进行操作的信息dbp_synchronize_all_layers_flag 2110。

此外，可从VPS中获取指示是否对第i层的DPB与基本层的DPB同样地进行操作的信息dbp_synchronize_flag[i]2130。

如果dbp_synchronize_all_layers_flag的值是0(2120)，则解析单元1705 可针对每个层获取dbp_synchronize_flag[i]2130。因此，可对 dbp_synchronize_flag[i]2130的值为1的层的DPB与基本层的DPB同样地进行操作。可基于基本层的SPS或条带头中所包括的通用信息来对 dbp_synchronize_flag[i]2130的值为1的层进行解码。

如果dbp_synchronize_all_layers_flag的值为1(2120)，则可对所有层的 DPB与基本层的DPB同样地进行操作。可基于基本层的SPS或条带头中所包括的通用信息来对所有层进行解码。

图22a和图22b是示出包括指示是否对各个层的DPB同样地进行操作的信息的SPS的示例的示图。

关于除了基本层(nuh_layer_id>0)以外的层(2210)，解析单元1705可获取指示是否对与当前SPS相应的层的DPB与基本层的DPB同样地进行操作的标记sps_dpb_synchronized_flag 2220。

如果sps_dpb_synchronized_flag的值为1(2230)，则对与当前SPS相应的层的DPB与基本层的DPB同样地进行操作，因此不必须获取与当前层有关的DPB信息。然而，如果sps_dpb_synchronized_flag的值为0(2230)，则对与当前SPS相应的层的DPB独立于基本层的DPB进行操作，解析单元1705 可获取包括以下项的DPB信息2240：对用于对当前层的DPB进行操作的画面帧进行解码所要求的缓冲器的最大尺寸max_dec_pic_buffering、需要被重新排序的画面帧的数量num_redorder_pics和延迟帧的最大数量 max_latency_increase。

此外，解析单元1705可获取包括对用于对当前层的DPB进行操作的画面帧进行解码所要求的短期RPS和长期RPS的RPS信息2250，其中，所述短期RPS是当前层的一组短期参考画面，所述长期RPS是当前层的一组长期参考画面。解析单元1705可基于RPS信息来标记DPB中所存储的画面。

图23a至图23c是示出根据本发明的实施例的包括基于是否对各个层的 DPB同样地进行操作的RPS信息的条带头的示例的示图。

参照图23a，如果sps_dpb_synchronized_flag的值为0(2230)，则独立于基本层的DPB对与当前SPS相应的层的DPB进行操作，解析单元1705可获取包括用于对当前层的DPB进行操作的短期RPS信息和长期RPS信息的 DPB信息2240。DPB控制器1720可基于获取的RPS信息2240来标记当前层中所包括的画面。

根据本发明的实施例，可按照对多层视频进行解码的方法容易地对各个层的DPB进行操作。

本发明也能够被实施为计算机可读存储介质上的计算机可读代码(术语计算机包括能够对数据进行处理的所有装置)。计算机可读存储介质是能够存储此后能够被计算机系统读取的数据的任何数据存储装置。计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。

虽然已经参照本发明的示例性实施例具体地示出和描述了本发明构思，但是将理解：在不脱离权利要求的精神和范围的情况下，可在此做出在形式和细节上的各种改变。

Claims (12)

1.一种对多层视频进行预测解码的方法，所述方法包括：

获取指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息；

响应于获取指示存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作的信息，确定不从比特流获取与第二层有关的信息并且从比特流获取与第一层有关的信息；

基于获取的信息对存储第二层的解码画面缓冲器进行操作，

其中，指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息基于在执行帧间预测时的第一层的画面和第二层的画面之间的参考关系的相似性而被产生，

其中，对解码画面缓冲器进行操作的步骤包括：如果第一层的第一画面从存储第一层的解码画面缓冲器被删除，则基于与第一层有关的信息从存储第二层的解码画面缓冲器删除第二层的与第一画面具有相同POC值的第二画面。

2.如权利要求1所述的方法，还包括：如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作，则参考与第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与解码画面缓冲器有关的信息和与时间子层排序有关的信息。

3.如权利要求2所述的方法，还包括：如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作，则通过使用与第一层有关的信息对画面进行预测解码。

4.如权利要求1所述的方法，其中，对解码画面缓冲器进行操作的步骤包括：如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作并且第一层的画面在解码画面缓冲器中被标记为短期参考画面或长期参考画面，则基于获取的信息将具有相同POC值的画面中的至少一个画面标记为第一层中的画面。

5.如权利要求1所述的方法，还包括：

如果存储第二层的解码画面缓冲器不与存储第一层的解码画面缓冲器同样地进行操作，则从与第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二层有关的参考画面集、与解码画面缓冲器有关的信息和与时间子层排序有关的信息；

通过使用与第二层有关的信息对画面进行解码。

6.一种多层视频预测解码设备，包括：

解析单元，被配置为：

获取指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息，

响应于获取指示存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作的信息，确定不从比特流获取与第二层有关的信息并且从比特流获取与第一层有关的信息；

解码画面缓冲器，存储第一层和第二层；

解码画面缓冲器控制器，基于获取的信息对存储第二层的解码画面缓冲器进行操作；

视频解码器，对第一层和第二层进行解码，

其中，指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息基于在执行帧间预测时的第一层的画面和第二层的画面之间的参考关系的相似性而被产生，

其中，解码画面缓冲器控制器被配置为：如果第一层的第一画面从存储第一层的解码画面缓冲器被删除，则基于与第一层有关的信息从存储第二层的解码画面缓冲器删除第二层的与第一画面具有相同POC值的第二画面。

7.如权利要求6所述的多层视频预测解码设备，其中，如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作，则解析单元参考与第一层有关的信息获取以下项中的至少一项：与第二层有关的参考画面集、与解码画面缓冲器有关的信息和与时间子层排序有关的信息。

8.如权利要求7所述的多层视频预测解码设备，其中，如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作，则视频解码器通过使用与第一层有关的信息对画面进行预测解码。

9.如权利要求6所述的多层视频预测解码设备，如果存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作并且第一层的画面在解码画面缓冲器中被标记为短期参考画面或长期参考画面，则解码画面缓冲器控制器基于获取的信息将具有相同POC的画面中的至少一个画面标记为第一层中的画面。

10.如权利要求6所述的多层视频预测解码设备，其中，如果存储第二层的解码画面缓冲器不与存储第一层的解码画面缓冲器同样地进行操作，则解析单元从与第二层有关的序列参数集和条带头中的至少一个获取以下项中的至少一项：与第二层有关的参考画面集、与解码画面缓冲器有关的信息和与时间子层排序有关的信息；

视频解码器通过使用与第二层有关的信息对画面进行解码。

11.一种对多层视频进行预测编码的方法，所述方法包括：

确定存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作；

基于确定的结果产生指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息；

响应于确定存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器同样地进行操作，确定不对与第二层有关的信息进行编码并且对与第一层有关的信息进行编码；

基于确定的结果对多层视频进行编码，

其中，基于在执行帧间预测时的第一层的画面和第二层的画面之间的参考关系的相似性，确定存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作，

其中，对多层视频进行编码的步骤包括：如果存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器同样地进行操作并且第一层的第一画面从存储第一层的解码画面缓冲器被删除，则基于与第一层有关的信息从存储第二层的解码画面缓冲器删除第二层的与第一画面具有相同POC值的第二画面。

12.一种多层视频预测编码设备，包括：

解码画面缓冲器操作信息产生器，确定存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作，并基于确定的结果产生指示存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作的信息；

视频编码器，被配置为：

响应于确定存储第二层的解码画面缓冲器与存储第一层的解码画面缓冲器同样地进行操作，确定不对与第二层有关的信息进行编码并且对与第一层有关的信息进行编码，

基于确定的结果对多层视频进行编码，

其中，解码画面缓冲器操作信息产生器，基于在执行帧间预测时的第一层的画面和第二层的画面之间的参考关系的相似性，确定存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器是否同样地进行操作，

其中，对多层视频进行编码的操作包括：如果存储第一层的解码画面缓冲器与存储第二层的解码画面缓冲器同样地进行操作并且第一层的第一画面从存储第一层的解码画面缓冲器被删除，则基于与第一层有关的信息从存储第二层的解码画面缓冲器删除第二层的与第一画面具有相同POC值的第二画面。