CN105359527A

CN105359527A - 用于视频译码的跨层并行处理与偏移延迟参数

Info

Publication number: CN105359527A
Application number: CN201480039025.0A
Authority: CN
Inventors: 克里希纳坎斯·拉帕卡; 王益魁; 阿达许·克里许纳·瑞玛苏布雷蒙尼安
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-07-15
Filing date: 2014-07-15
Publication date: 2016-02-24
Anticipated expiration: 2034-07-15
Also published as: TW201515443A; JP6301467B2; EP3022924A1; TWI618398B; KR101811968B1; BR112016000858A2; US9578328B2; CA2913813A1; KR101770928B1; EP3022925B1; EP3022925A1; BR112016000850A2; JP6290399B2; CA2913618A1; TW201511530A; CA2913618C; JP2016530773A; JP2016530774A; US20150016520A1; US20150016540A1

Abstract

在一实例中，一种译码视频数据的方法包含：译码多层位流的视频参数集VPS的数据，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据所述VPS的所述数据译码所述多层位流。

Description

用于视频译码的跨层并行处理与偏移延迟参数

本申请案主张2013年7月15日申请的第61/846,570号美国临时申请案的权利，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置，及其类似者。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4部分10高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成数个视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于相同图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为了达成进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。

发明内容

大体上，本发明描述用于视频译码的并行处理的技术。举例来说，本发明描述用于多层视频译码过程中的并行处理的技术，包含高效率视频译码(HEVC)标准的多层扩展。本发明的技术也可适用于其它多层视频译码标准及此些标准的扩展，例如多视图HEVC(MV-HEVC)。在一些实例中，技术包含用于并行地处理多层的发信号信息，例如，视频参数集(VPS)中的偏移延迟信息。技术也可或包含用于并行地处理多层的发信号信息，例如，平铺块对准信息。方面也可关于用于在多层视频译码中确定经并置的块的位置的技术。

在一实例中，一种解码视频数据的方法包含：从多层位流的视频参数集(VPS)解码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据从所述VPS解码的所述数据解码所述多层位流。

在另一实例中，一种编码视频数据的方法包含：在多层位流的视频参数集(VPS)中编码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据在所述VPS中编码的所述数据编码所述多层位流。

在另一实例中，一种执行视频译码的设备包含：存储器，其存储视频数据；及视频译码器，其经配置以译码多层位流的视频参数集(VPS)的数据，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据所述VPS的所述数据译码所述多层位流。

在另一实例中，一种执行视频译码的设备包含：用于译码多层位流的视频参数集(VPS)的数据的装置，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及用于根据所述VPS的所述数据译码所述多层位流的装置。

在另一实例中，一种非暂时性计算机可读媒体在其上存储指令，所述指令在经执行时使得视频译码器译码多层位流的视频参数集(VPS)的数据，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及根据所述VPS的所述数据译码所述多层位流。

在另一实例中，一种解码视频数据的方法包含：基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于所述经并置的参考块解码所述第二层中的视频数据的当前块。

在另一实例中，一种编码视频数据的方法包含：基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于所述经并置的参考块编码所述第二层中的视频数据的当前块。

在另一实例中，一种执行视频译码的设备包含：存储器，其存储视频数据；及视频译码器，其经配置以：基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于所述经并置的参考块译码所述第二层中的视频数据的当前块。

在另一实例中，一种执行视频译码的设备包含：用于基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置的装置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；用于基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置的装置；及用于相对于所述经并置的参考块译码所述第二层中的视频数据的当前块的装置。

在另一实例中，一种非暂时性计算机可读媒体在其上存储指令，所述指令在经执行时使得视频译码器进行以下操作：基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中所述参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示所述第一层与第二不同层之间的比例差异；基于所述参考样本的所述位置确定所述第一层中的视频数据的经并置的参考块的位置；及相对于所述经并置的参考块译码所述第二层中的视频数据的当前块。

在随附图式及以下描述中阐述本发明的一或多个实例的细节。本发明的其它特征、目标及优点将从描述及图式及从权利要求书显而易见。

附图说明

图1为说明可利用用于并行地处理视频数据的技术的实例视频编码及解码系统的框图。

图2为说明可实施用于并行地处理视频数据的技术的视频编码器的实例的框图。

图3为说明可实施用于并行地处理视频数据的技术的视频解码器的实例的框图。

图4为说明用于可伸缩视频译码(SVC)的各种可伸缩的维度的概念图。

图5为说明SVC译码结构的实例的概念图。

图6为说明实例存取单元(AU)的概念图。

图7为说明根据高效率视频译码(HEVC)标准的实例平铺块的概念图。

图8为说明用于波前并行处理(WPP)的波前的概念图。

图9为说明不具有经并置的参考层区的增强层区的概念图。

图10为说明不具有经并置的参考层区的增强层区的另一概念图。

图11A及11B为说明用于在多层视频译码中确定偏移延迟信息的实例过程的流程图。

图12为说明用于在多层视频译码中确定视频数据的经并置的块的实例过程的流程图。

图13为说明用于在多层视频译码中确定平铺块对准信息的实例过程的流程图。

具体实施方式

本发明的方面可关于与视频译码中的跨层并行处理及偏移延迟参数相关联的各种技术。在一些情况下，可与高效率视频译码(HEVC)标准的多层扩展(例如，HEVC的多视图视频译码扩展(MV-HEVC)或HEVC的可伸缩视频译码(SVC)扩展(SHVC))一起执行所述技术。也可与HEVC的其它扩展、其它可伸缩译码标准、其它多视图译码标准(具有或不具有深度分量)及/或其它多层视频编解码器一起使用所述技术。应理解，本发明的技术不限于任何特定视频译码标准。另外，应理解，可独立地或组合地来应用本发明的技术中的任一者。

如下文更详细描述，本发明的方面可包含关于跨层并行处理偏移延迟参数的发信号的改进。“偏移延迟”可大体上指与并行地处理(例如，编码或解码)多个层相关联的延迟。举例来说，视频解码器可并行地解码多层位流的一个以上层(即，视频解码器可同时地或同步地解码多层位流的多个层)。然而，当使用层间预测技术解码当前层时，视频解码器可存取不同于当前层的参考层的参考数据。参考数据必须可供使用(例如，经解码)以便用作用于解码当前层的层间参考。因此，大体上，视频解码器在解码参考多层解码方案中的参考层中的一或多者的层之前结束所有所述参考层的解码。

在一些情况下，可通过实施被称作偏移延迟信息的信息来增加并行度。即，不是等待结束整个参考层(例如，解码)，而是，视频解码器可延迟起始当前层的解码，直到已解码参考层中的至少一些层为止。偏移延迟可大体上指示在视频解码器开始解码当前层之前应解码的参考层的最小量。实施偏移延迟可有助于确保层间参考数据可供用作参考，但仍允许并行地解码参考层的至少一部分及当前层。举例来说，一旦达成指定参考层偏移延迟，并行解码器便可开始解码增强层。虽然上述实例涉及视频解码(如由并行解码器执行)加以描述，但应理解，可由视频编码器在并行编码期间应用类似技术。

在一般意义上，就本发明来说，纹理视图分量、深度视图分量及各种时间、空间及质量层可被视为在某种程度上可互换。举例来说，在一些情况下，视频译码器可执行类似或相同的层间视频译码技术，而不管经译码的多层位流是否包含通常与可伸缩视频译码(例如，时间、空间及/或质量层)相关联的纹理视图分量、深度视图分量或可伸缩的分量。因此，本发明的技术可被视为可适用于一般意义上的“层”，其中所述层可为纹理视图分量、深度视图分量、时间可伸缩的层、空间可伸缩的层或质量可伸缩的层中的任一者。即，应理解，本文中所描述的技术可广泛地适用于一般的“层”，如上文所描述的术语。

一种用于偏移延迟发信号的方案提议于文件“VUI中的层间延迟指示(Inter-LayerDelayIndicationinVUI)”(Skupin等人，JCTVC-M0463，Incheon,KR，2013年4月18到26日(在下文中为JCTVC-M0463))中。所述方案经设计以通过在序列参数集(SPS)视频可用性信息(VUI)中用信号发出偏移延迟语法元素而辅助进行跨层并行解码，所述SPSVUI输送用于每一层的最小的所需解码延迟。在此方案下，一旦解码通过偏移延迟指定的参考层中的区，便可开始特定层的解码。

然而，JCTVC-M0463中所揭示的方案可具有一些缺点。举例来说，SPS可与具有不同识别值(例如，如通过nuh_layer_id语法元素指示)的多个层相关联。语法元素num_ilp_restricted_ref_layers(于JCTVC-M0463中引入)的所提议的语义限制了语法元素的值，使之等于参考SPS的每一层的NumDirectRefLayers参数(其中NumDirectRefLayers参数指示特定直接参考层)。直接参考层是由另一层直接参考以用于达成预测目的。举例来说，在给定当前层A使用层B作为参考的情况下，参考层B可被称作直接参考层。在给定层A使用层C作为参考的情况下，且其中C参考层B，那么层B可被称作间接参考层。

在任一状况下，对于具有NumDirectRefLayers参数的不同值的层(其参考给定SPS)(即，语法元素num_ilp_restricted_ref_layers的相应值彼此不同的层)或可具有稍微不同的偏移值的层，语法元素num_ilp_restricted_ref_layers的所提议的语法结构严重地限制了SPS内的信息在此些层当中的共享。换句话说，可能需要针对拥有NumDirectRefLayers参数的相异值或相对于参考给定SPS的其它层来说可具有稍微不同的偏移值的每一此类层用信号发出单独SPS。因此，在SPS中偏移延迟信息的发信号可能并非理想的。

另外，为了避免视频参数集(VPS)在SPS中的剖析相依性，在SPS中用信号发出num_ilp_restricted_ref_layers(其指示具有层间预测限制的特定参考层)，其中约束为：num_ilp_restricted_ref_layers的值应等于NumDirectRefLayers[nuh_layer_id]，其中nuh_layer_id为参考SPS的任一图片的nuh_layer_id。换句话说，可迫使若干参考层共享包含于SPS中的相同偏移延迟信息，尽管不同层具有可能以其它方式影响偏移延迟的不同特性。

根据本发明的方面，偏移延迟信息可包含于视频参数集(VPS)中，所述VPS可供一个以上层参考。VPS可包含描述经译码视频序列的总特性的数据，包含子层之间的相依性。VPS的一目的可为允许实现特定标准的在于系统层处发信号方面的兼容可扩展性。VPS通常必须包含于多层位流中才能解码所述位流。

通过将偏移延迟信息包含于VPS中，可分别针对每一参考层指定偏移延迟信息。此发信号可增加效率，这是因为具有不同特性的参考层未被迫使共享相同的偏移延迟信息。另外，通过将偏移延迟信息包含于VPS中，可在解码期间推断出(即，由解码器确定，而无需显式发信号)语法元素num_ilp_restricted_ref_layers的值(如下文更详细描述)。因此，可避免具有限制的参考层的数目的发信号(例如，上文提及的num_ilp_restricted_ref_layers语法元素)。

本发明的技术也可适用于在使用扩展的空间可伸缩性多层视频译码时确定视频数据的经并置的块的位置，及确定与经并置的块相关联的偏移延迟。如下文更详细描述，当可以使得所得子流形成可由目标解码器解码的另一有效位流的方式移除流的部分时，视频位流可被称作“可伸缩的”。关于空间可伸缩性，位流的子集表示具有不同图片大小(空间分辨率)的源内容。在每一空间层中，视频译码器可以与针对单层译码的方式相同的方式实施经运动补偿的预测及帧内预测。然而，为了改进译码效率(与同时联播不同空间分辨率相比较)，视频译码器可并有层间预测机制。最灵活类型的空间可伸缩视频译码并不严格地遵守连续层间的二元关系(例如，2:1的分辨率比率)且可被称作扩展的空间可伸缩性(ESS)。下文参看图4到9就H.264/AVC的SVC扩展及HEVC的SVC扩展两者解释关于SVC的某些细节。

在一些情况下，当确定偏移延迟时，扩展的空间可伸缩性可提出挑战。举例来说，当视频译码器使用扩展的空间可伸缩性时，以下情形为有可能的：当前经解码的层的空间片段A(例如，切片、平铺块、译码树单元(CTU)或CTU行)可能不具有存在于参考层中(例如，可供用作参考)的经并置的空间片段B。因为可基于经并置的空间片段确定偏移延迟，所以并不明确如何导出经并置的空间片段不存在的那些空间片段的偏移延迟。

可实施本发明的技术以确定视频数据的经并置的块(例如，CTU)的位置。举例来说，本发明的方面包含基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置。经按比例调整的偏移值可表示基础层与经按比例调整的增强层之间的比例差异(例如，归因于按比例调整产生的位置差异)。在确定参考样本的位置之后，视频译码器(例如，视频编码器或视频解码器)可基于参考样本的位置确定经并置的参考块(例如，并置CTU)的位置。

作为一实例，可将基础层用作用于经按比例增加的增强层(例如，与基础层相比较来说具有相对较高的空间分辨率的层)的参考。因为增强层图片与基础层图片之间的大小差异，所以增强层图片中当前经译码的块可映射到在基础层参考图片的边界外部的经并置的参考块。此经并置的块不可供增强层图片参考。在一些实例中，根据本发明的方面，在确定基础层中的经并置的参考块的位置之前，视频译码器可调整参考样本的位置使其位于基础层中的参考图片(即，基础层参考图片)的边界内。

因此，根据本发明的方面，当对于当前经译码的层中的特定块来说，参考层中的经并置的块(例如，经并置的CTU)并不存在时，可调整经并置的块的地址使其属于对应参考层边界内，以使得经调整的地址对应于存在于参考层中的块。接着在边界CTU作为参考的情况下应用当前层中的CTU的层间预测约束，例如上文所描述的偏移延迟。

本发明的方面也可包含用于指示层间的平铺块的对准的技术。举例来说，平铺块可包含图片的分割区且可用于并行译码。如HEVC标准中所描述，平铺块可被定义为图片中的特定平铺块列及特定平铺块行内的译码树块(CTB，如下文所描述)的矩形区。平铺块列可被定义为具有等于图片的高度的高度及通过图片参数集(PPS)内的语法元素指定的宽度的CTB的矩形区。另外，平铺块行可被定义为具有通过PPS图片参数集中的语法元素指定的高度及等于图片的宽度的宽度的CTB的矩形区。平铺块边界(类似于切片边界)破坏了剖析及预测相依性，使得可独立地处理平铺块，但环路内滤波器(解块及样本自适应偏移(SAO))仍可跨越平铺块边界(即，适用于多个平铺块)。实施基于平铺块的结构可允许实现并行处理，且通过允许改变CTU的解码次序而改进译码效率(与使用切片相比较来说)。

可针对整个序列来定义平铺块的数目及平铺块的边界的位置，或在图片间改变平铺块的数目及平铺块的边界的位置。一种用于指示平铺块边界是否在层间对准(其可影响层间预测)的方案提议于文件“用于SHVC及MV-HEVC的平铺块边界对准及层间预测约束(TileBoundaryAlignmentandInter-LayerPredictionConstraintsforSHVCandMV-HEVC)”(Suhring等人，JCTVC-M0464，Incheon，KR，2013年4月18到26日(下文中为JCTVC-M0464))中。所述方案包含在VUI中针对每一层用信号发出平铺块边界是否对准的指示(例如，通过tile_boundaries_aligned_flag语法元素)。然而，在VUI中用信号发出层的平铺块边界是否对准的操作可为效率低下的，这是因为平铺块边界对准并非层特定的。因此，在VUI中用信号发出此信息可添加不必要的复杂性。

根据本发明的方面，可在VPS中提供平铺块边界是否对准的指示。举例来说，可将指示平铺块是否在多层位流的层间对准的一或多个语法元素包含于VPS中。以此方式，如在VPS中用信号发出的平铺块边界对准信息具有对于多层位流的诸层的跨层范围。

图1为说明可利用用于并行地处理视频数据的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其提供稍后时间将由目的地装置14解码的经编码视频数据。详细地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下，源装置12及目的地装置14可经配备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一实例中，计算机可读媒体16可包括通信媒体，以使得源装置12能够实时将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。

在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。

本发明的技术未必限于无线应用或设定。可将所述技术应用于视频译码而支持多种多媒体应用中的任一者，例如空中电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于并行地处理视频数据的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

图1的所说明系统10仅为一实例。用于并行地处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管大体上通过视频编码装置来执行本发明的技术，但也可通过视频编码器/解码器(通常被称作“CODEC”)来执行所述技术。此外，也可通过视频预处理器来执行本发明的技术。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输，例如，用于视频流式传输、视频播放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如视频相机、含有先前俘获的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源18可产生基于计算机图形的数据，作为源视频或直播视频、经存档视频及计算机产生的视频的组合。在一些状况下，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明所描述的技术大体上可适用于视频译码，且可适用于无线及/或有线应用。在每一状况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。可接着通过输出接口22将经编码视频信息输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体(例如，无线广播或有线网络传输)或存储媒体(即，非暂时性存储媒体)(例如，硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体)。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体制造设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且制造含有经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也供视频解码器30使用，包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可各自实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)。

本发明可大体上关于视频编码器20将某些信息“用信号发出”到例如视频解码器30等另一装置。然而，应理解，视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联来用信号发出信息。即，视频编码器20可通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号发出”数据。在一些状况下，可在由视频解码器30接收及解码之前编码及存储此些语法元素。因此，术语“用信号发出”可大体上指用于解码经压缩的视频数据的语法或其它数据的通信，而不管此通信是实时发生或几乎实时发生还是在一时间跨度内发生，例如，可能在编码时在将语法元素存储到媒体上时发生，接着可在将语法元素存储到此媒体上之后的任何时间由解码装置检索语法元素。

在一些实例中，视频编码器20及视频解码器30根据例如以下各者的视频压缩标准操作：ISO/IECMPEG-4视觉及ITU-TH.264(也称为ISO/IECMPEG-4AVC)，包含其可伸缩视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的三维视频(3DV)扩展。SVC及MVC的联合草案描述于“用于泛用视听服务的高级视频译码(Advancedvideocodingforgenericaudiovisualservices)”(ITU-T推荐H.264，2010年3月)中。

另外，高效率视频译码(HEVC)标准已由ITU-T视频译码专家群(VCEG)及ISO/IEC运动图片专家群(MPEG)的视频译码联合合作小组(JCT-VC)开发。最新的HEVC文字规范草案(为了简单起见，在本文中被称作HEVCWD10)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip得到。对HEVC的多视图扩展(被称作MV-HEVC)正由JCT-3V开发。MV-HEVC的最新工作草案(WD)(下文中的WD4)可从http://phenix.int-evry.fr/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v2.zip得到。同时，用于基于HEVC的更高级3D视频译码(3D-HEVC)及可伸缩视频译码的两种标准系列(track)还在开发中。3D-HEVC的最新测试模型描述可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-D1005-v2.zip得到。SHVC的最新测试模型描述可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-M1007-v3.zip得到。

在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为S_L、S_Cb及S_Cr。S_L为明度样本的二维阵列(即，块)。S_Cb为Cb色度样本的二维阵列。S_Cr为Cr色度样本的二维阵列。色度(Chrominance)样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。

视频编码器20可产生译码树单元(CTU)的集合，其可具有单独的明度及色度分量译码树块(CTB)。举例来说，CTU中的每一者可包括明度样本的CTB、色度样本的两个对应CTB，及用以译码CTB的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一CTB及用以译码CTB的样本的语法结构。CTB可为样本的NxN块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC等其它视频译码标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目个CTU。

本发明可使用术语“视频单元”或“视频块”来指样本的一或多个块，及用以译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含CTU、CTB、CU、PU、变换单元(TU)、宏块、宏块分割区，及图片的其它类似分割区。

为了产生经译码CTU，视频编码器20可对CTU的CTB递归地执行四叉树分割以将CTB划分成数个译码块，因此被命名为“译码树单元”。译码块为样本的NxN块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应译码块，及用以译码所述译码块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用以译码所述译码块的样本的语法结构。

视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块，色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块，及用于对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每一PU的明度预测块、Cb预测块及Cr预测块的预测性明度块、Cb块及Cr块。

视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。

如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本，产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本产生PU的预测性样本块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量，且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。

当使用双向预测编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置，及RefPicList1中的参考图片中的第二参考位置。视频编码器20可接着至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动，及指示PU的预测块与第二参考位置之间的空间位移的第二运动。

在视频编码器20产生CU的一或多个PU的预测性明度块、Cb块及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。

此外，视频编码器20可使用四叉树分割来将CU的明度残余块、Cb残余块及Cr残余块分解成一或多个明度变换块、Cb变换块及Cr变换块。变换块可为被应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块，及用于对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块，及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。

视频编码器20可将一或多个变换应用于TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。

在产生系数块((例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上指将变换系数量化以可能地减少用以表示所述变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可反量化变换系数，并将反变换应用于变换系数，以便重建构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重建构的变换块及CU的PU的预测性块来重建构CU的译码块。通过重建构图片的每一CU的译码块，视频编码器20可重建构图片。视频编码器20可将经重建构的图片存储于经解码图片缓冲器(DPB)中。视频编码器20可将DPB中的经重建构的图片用于进行帧间预测及帧内预测。

在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化的变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。

视频编码器20可输出包含形成经译码图片及相关联数据的表示的一系列位的位流。位流可包括一系列网络抽象层(NAL)单元。NAL单元中的每一者包含NAL单元标头，且封装原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为封装于NAL单元内的含有整数数目个字节的语法结构。在一些情况下，RBSP包含零位。

不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装补充增强信息(SEI)的RBSP，等等。PPS为可含有适用于零或更多个完整经译码图片的语法元素的语法结构。封装视频译码数据的RBSP(而非参数集及SEI消息的RBSP)的NAL单元可被称作视频译码层(VCL)NAL单元。封装经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。经译码切片的RBSP可包含切片标头及切片数据。

在MV-HEVC、3D-HEVC及SHVC中，视频编码器20可产生包括一系列网络抽象层(NAL)单元的位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的视频译码层(VCL)NAL单元及相关联的非VCLNAL单元的集合。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有相同层的具有不同时间实例的所有视图分量。每一视图分量可为属于特定时间实例处的特定视图的视频场景的经译码图片。

视频解码器30可接收位流。另外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分基于从位流解码的语法元素重建构视频数据的图片。重建构视频数据的过程可大体上与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。

另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换，以重建构与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重建构当前CU的译码块。通过重建构图片的每一CU的译码块，视频解码器30可重建构图片。视频解码器30可将经解码图片存储于经解码图片缓冲器中，以用于输出及/或用于解码其它图片。

在3D视频译码中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。类似地，在可伸缩视频译码的上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。此些视频特性通常包含空间分辨率及质量层级(信噪比)。在HEVC及其扩展中，可在一层内通过将具有特定时间层级的图片群组定义为子层来达成时间可伸缩性。

对于位流的每一相应层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。在可伸缩视频译码中，例如，可在不参考增强层中的数据的情况下解码基础层中的数据。NAL单元仅封装单一层的数据。因此，可将封装位流的最高剩余层的数据的NAL单元从位流移除，而不影响位流的剩余层中的数据的可解码性。在多视图译码及3D-HEVC中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据及/或时间增强数据。在MV-HEVC、3D-HEVC及SHVC中，如果视频解码器可在不参考任何其它层的数据的情况下解码视图中的图片，那么视图可被称作“基础层”。基础层可符合HEVC基础规范。

视频编码器20及/或视频解码器30可经配置以实施本发明的技术的任何组合。举例来说，如上文所提及，本发明的方面包含关于跨层并行处理偏移延迟参数的发信号的改进。“偏移延迟”可大体上指与并行地解码多个层相关联的延迟。举例来说，并非等待解码整个参考层，视频解码器30可延迟当前层的解码，直到已解码参考层的至少一些部分为止。偏移延迟可大体上指示在视频解码器开始解码当前层之前应解码的参考层的最小量。

根据本发明的方面，可将指示偏移延迟的数据包含于VPS中。举例来说，视频编码器20可将指示偏移延迟信息的数据(例如，一或多个语法元素)编码于VPS中。同样地，视频解码器30可从经编码位流解码指示偏移延迟信息的数据。偏移延迟信息可供一个以上层参考。举例来说，根据本发明的方面，视频编码器20及/或视频解码器30可根据下文表1用信号发出/解码偏移延迟信息：

表1

在上述表1中，语法元素ilp_restricted_ref_layers_flag等于0指示：针对参考VPS的任何层的直接参考层中的任一者，未用信号发出对层间预测的限制。然而，语法元素ilp_restricted_ref_layers_flag等于1指定：对层间预测的限制可适用于参考VPS的一或多个层的直接参考层中的任一者。

在另一实例中，在上述表1中，语法元素ilp_restricted_ref_layers_flag等于0可指示：对层间预测的限制可适用或可能不适用。然而，在此实例中，语法元素ilp_restricted_ref_layers_flag等于1可指示：针对参考VPS的任何层的直接参考层中的任一者，用信号发出对层间预测的限制。

另外，语法元素min_spatial_segment_offset_plus1、ctu_based_offset_enabled_flag及min_horizontal_ctu_offset_plus1可类似于描述于JCTVC-M0463中的那些语法元素，但可从SPS移动到VPS。举例来说，min_spatial_segment_offset_plus1[i][j]可独自或连同min_horizontal_ctu_offset_plus1[i][j](如下文所指定)一起指示第j直接参考层的每一图片中的未用于具有层索引i且参考VPS的图片的解码的层间预测的空间区域。min_spatial_segment_offset_plus1[i][j]的值应在0到refPicWidthInCtbsY[j]*refPicHeightInCtbsY[j]的范围内(包含0与refPicWidthInCtbsY[j]*refPicHeightInCtbsY[j])。当不存在时，可推断出min_spatial_segment_offset_plus1[i][j]的值等于0。在一些实例中，最小空间片段可与视频数据的多种单元(例如，CTU、切片或平铺块)相关联。

另外，语法元素ctu_based_offset_enabled_flag[i][j]等于1指定：第j直接参考层的每一图片中的未用于具有层索引i且参考VPS的图片的解码的层间预测的空间区域(以CTU为单位)是通过min_spatial_segment_offset_plus1[i][j]及min_horizontal_ctu_offset_plus1[i][j]一起来指示。然而，语法元素ctu_based_offset_enabled_flag[i][j]等于0指定：第j直接参考层的每一图片中的未用于参考SPS的图片的解码的层间预测的空间区域(以切片片段、平铺块或CTU行为单位)仅由min_spatial_segment_offset_plus1[i][j]来指示。当不存在时，推断出ctu_based_offset_enabled_flag[i][j]的值等于0。

另外，当语法元素ctu_based_offset_enabled_flag[i][j]等于1时，语法元素min_horizontal_ctu_offset_plus1[i][j]连同min_spatial_segment_offset_plus1[i][j](如下文所指定)一起指示第j直接参考层的每一图片中的未用于具有层索引i且参考VPS的图片的解码的层间预测的空间区域。min_horizontal_ctu_offset_plus1[i][j]的值应在0到refPicWidthInCtbsY[j]的范围内(包含0及refPicWidthInCtbsY[j])。

因此，在上述实例中，视频编码器20及/或视频解码器30可译码指示多层位流的任何层是否具有层间预测限制的数据，且可将数据包含于VPS中。举例来说，视频编码器20可编码ilp_restricted_ref_layers_flag语法元素以指示当前经编码的层的至少一参考层具有相关联的偏移延迟。同样地，视频解码器30可从VPS解码ilp_restricted_ref_layers_flag语法元素。在此实例中，视频解码器30可确定当前经译码的层的一或多个参考层是否具有相关联的偏移延迟。如果指示此延迟，那么视频解码器30可等待直到已从一或多个参考层解码与偏移延迟信息一致的数据量为止才解码当前层。

在另一实例中，视频编码器20及/或视频解码器30可在补充增强信息(SEI)消息中译码指示偏移延迟参数的数据(例如，一或多个语法元素)。举例来说，根据本发明的方面，视频编码器20及/或视频解码器30可根据下文表2用信号发出/解码偏移延迟信息：

表2

在表2的实例中，语法元素lp_sei_active_vps_id识别含有关于经译码视频序列(CVS)中的层的信息的作用中VPS。语法元素lp_sei_active_vps_id的值应等于用于含有SEI消息的存取单元的VCLNAL单元的作用中VPS的语法元素vps_video_parameter_set_id的值。语法元素ilp_restricted_ref_layers_flag、min_spatial_segment_offset_plus1、ctu_based_offset_enabled_flag、min_horizontal_ctu_offset_plus1的语义可与上文关于表1所描述的语义相同。在再一实例中，可省略语法元素lp_sei_active_vps_id的发信号。

如上文所提及，本发明的技术也关于扩展的空间可伸缩性，例如，在使用扩展的空间可伸缩性时，确定经并置的CTU的位置及相关联的偏移延迟。如上文关于表1及表2所提及，语法元素min_spatial_segment_offset_plus1及min_horizontal_ctu_offset_plus1可指示由相对于对应参考层的译码相依性引入的当前层的解码延迟(依据空间片段)。在接收到特定CTU偏移延迟的指示之后，视频解码器30可寻找经并置的CTU以实施偏移延迟。即，视频解码器30可确定在当前经译码的层中哪些CTU可用于进行层间预测，且将CTU映射到参考层中的经并置的CTU。

根据本发明的方面，视频编码器20及/或视频解码器30可导出经并置的样本(例如，经并置的参考样本)及经并置的CTU。经并置的CTU的位置可基于经并置的样本。

在一实例中，为了说明的目的，假定在第一层(例如，增强层)中当前经译码的样本是相对于第二不同层(例如，基础层)中的参考样本来译码。视频编码器20及/或视频解码器30可基于与基础层相关联的经按比例调整的偏移来寻找基础层中的参考样本。可基于基础层与增强层之间的空间差异来定义经按比例调整的偏移。根据本发明的方面，视频编码器20及/或视频解码器30可基于所寻找到的参考样本来寻找基础层中的经并置的CTU。举例来说，视频编码器20及/或视频解码器30可基于以下等式寻找经并置的CTU：

xColCtb＝xRef>>refCtbLog2SizeY[i]，

yColCtb＝yRef>>refCtbLog2SizeY[i]，

colCtbAddr[i]＝xColCtb[i]+(yColCtb[i]*refPicWidthInCtbsY[i])

其中xColCtb表示CTU的x分量(例如，CTU的明度CTB或色度CTB中的一者)，xRef表示经并置的样本的x坐标，yColCtb表示经并置的CTU的y分量，yRef表示经并置的样本的y坐标，且colCtbAddr[i]表示经并置的CTU的地址。另外，可将变量refCtbLog2SizeY[i][j]、refPicWidthInCtbsY[i][j]及refPicHeightInCtbsY[i][j]设定为分别等于第i层的第j直接参考层的CtbLog2SizeY、PicWidthInCtbsY及PicHeightInCtbsY。

另外，根据本发明的方面，当经并置的CTU不存在于当前层中的特定CTU的参考层的边界内时，视频编码器20及/或视频解码器30可将CTU地址的值调整到对应参考层边界，以使得经调整的地址对应于存在于参考层中的CTU。如果经并置的CTU在参考图片内，那么可能不需要调整。

视频编码器20及/或视频解码器30可在基于以下等式导出经并置的CTU的地址之前，通过将样本xRef及yRef(例如，经并置的样本的x坐标及y坐标)的位置剪辑到对应参考层边界来调整位置：

xRef[i]＝Clip3(leftStart,rightEnd-1,xRef[i])，

yRef[i]＝Clip3(topStart,bottomEnd-1,yRef[i])，

其中xRef[i]表示经并置的样本的x坐标，yRef[i]表示经并置的样本的y坐标，leftStart表示参考层(例如，基础层)相对于当前层(例如，增强层)的左边缘，rightEnd表示参考层相对于当前层的右边缘，topStart表示参考层相对于当前层的顶边缘，且bottomEnd表示参考层相对于当前层的底边缘。如果z<x，那么函数Clip3(x,y,z)可输出x，如果z>y，那么函数Clip3(x,y,z)输出y，且在其它情况下，函数Clip3(x,y,z)输出z。

上述等式将经并置的样本的值限于位于参考层内。举例来说，当参考样本的水平位置位于左参考图片边界的左方时，视频译码器可用左参考图片边界的位置替换水平位置。同样地，当参考样本的水平位置位于右参考图片边界的右方时，视频译码器可用右参考图片边界的位置替换水平位置。当参考样本的垂直位置位于顶部参考图片边界的上方时，视频译码器可用顶部参考图片边界的位置替换垂直位置。当参考样本的垂直位置位于底部参考图片边界的下方时，视频译码器可用底部参考图片边界的位置替换垂直位置。视频编码器20及/或视频解码器30可接着对当前层中的CTU应用层间预测约束(例如，偏移延迟)，其中所确定的边界CTU作为参考。

以此方式，视频编码器20及/或视频解码器30可确定存在于参考层的边界内的经并置的CTU的位置，且适当地应用层间预测限制(例如，偏移延迟)。

本发明的再其它技术涉及CTU偏移被启用(例如，在上述表1及表2中所提及的ctu_based_offset_enabled_flag语法元素)的发信号的改进。举例来说，ctu_based_offset_enabled_flag语法元素可用以指定用信号发出的偏移延迟是以CTU为单位。换句话说，当ctu_based_offset_enabled_flag语法元素的值等于1时，第i直接参考层的每一图片中的不用于进行用于解码参考SPS的图片的层间预测的空间区域(以CTU为单位)是通过语法元素min_spatial_segment_offset_plus1[i]及语法元素min_horizontal_ctu_offset_plus1[i]一起来指示。

用于HEVC扩展的ctu_based_offset_enabled_flag发信号的当前设计(例如，描述于JCTVC-M0463中的设计)可具有某些缺点。举例来说，针对一层用信号发出基于CTU的偏移延迟且针对另一层用信号发出基于切片、基于平铺块或基于CTU行的偏移延迟(例如，无基于CTU的偏移延迟)可为相对复杂的。举例来说，在大多数状况下，用以指示偏移延迟的空间片段可针对所有层相同，从而使得单独发信号不必要地复杂。在此意义上，可能需要具有作为适用于所有层及其直接参考层的全域旗标的ctu_based_offset_enabled_flag语法元素。

另外，在当前层或当前层的直接参考层(当前层直接参考的参考层)中存在一个以上平铺块时，min_horizontal_ctu_offset_plus1语法元素可能并非有用的。举例来说，当平铺块未对准时，min_horizontal_ctu_offset_plus1语法元素的值可指向属于不同平铺块的空间片段。此情形可潜在地引入在译码期间参考不同平铺块的数据的需要，对于并行译码的目的来说，此情形可能并非可接受的。

根据本发明的方面，视频编码器20及/或视频解码器30可实施下文表3中所展示的VPS(其中文字[移除：...]指示从JCTVC-M0463的删除)：

表3

在表3的实例中，语法元素ctu_based_offset_enabled_flag等于1指定：对于所有直接参考层图片[从JCTVC-M0463移除：在第i直接参考层的每一图片中]，不用于进行用于解码参考[从JCTVC-M0463移除:SPS]VPS的图片的层间预测的空间区域(以CTU为单位)是通过语法元素min_spatial_segment_offset_plus1[i]及语法元素min_horizontal_ctu_offset_plus1[i]一起来指示。语法元素ctu_based_offset_enabled_flag等于0指定：对于所有直接参考层图片[从JCTVC-M0463移除：在第i直接参考层的每一图片中]，不用于进行用于解码参考VPS的图片的层间预测的空间区域(以切片片段、平铺块或CTU行为单位)仅通过min_spatial_segment_offset_plus1[i]来指示。当不存在时，推断出ctu_based_offset_enabled_flag[i]的值等于0。根据本发明的方面，以下情形可能为位流符合性的要求：当对于所有层的作用中PPS，语法元素tiles_enabled_flag等于1时，那么语法元素ctu_based_offset_enabled_flag应等于0。

在另一实例中，视频编码器20及/或视频解码器30可实施下文表4中所展示的VPS(其中文字[移除：...]指示从JCTVC-M0463的删除)：

表4

在表4的实例中，语法元素ctu_based_offset_enabled_flag[i]等于1指定：对于所有直接参考层图片[从JCTVC-M0463移除：在第i直接参考层中的每一图片中]，不用于进行用于解码参考VPS[从JCTVC-M0463移除：SPS]的具有层索引i的图片的层间预测的空间区域(以CTU为单位)是通过语法元素min_spatial_segment_offset_plus1[i]及语法元素min_horizontal_ctu_offset_plus1[i]一起来指示。语法元素ctu_based_offset_enabled_flag[i]等于0指定：对于所有直接参考层图片[从JCTVC-M0463移除：在第i直接参考层中的每一图片中]，不用于进行用于解码参考VPS的具有层索引i的图片的层间预测的空间区域(以切片片段、平铺块或CTU行为单位)仅通过min_spatial_segment_offset_plus1[i]来指示。当不存在时，推断出语法元素ctu_based_offset_enabled_flag[i]的值等于0。根据本发明的方面，以下情形可能为位流符合性的要求：当对于用于所有层的作用中PPS，语法元素tiles_enabled_flag等于1时，那么语法元素ctu_based_offset_enabled_flag应等于0。可在SPS、PPS、切片标头或其扩展中用信号发出上述语法元素。也可将上述语法作为SEI消息或作为VUI消息用信号发出。

本发明的再其它技术涉及指示层间的平铺块的对准。举例来说，如上文所提及，平铺块可包含图片的分割区且可用于并行译码。类似于切片边界，平铺块边界破坏了剖析及预测相依性，使得可独立地处理平铺块，但环路内滤波器(解块及样本自适应偏移(SAO))仍可跨越平铺块边界。实施基于平铺块的结构可允许实现并行处理，且通过允许CTU的改变的解码次序而改进译码效率(与使用切片相比较来说)。

举例来说，在不损失一般性的情况下，假定四个平铺块用于参考层及增强层。在此状况下，视频编码器20及/或视频解码器30可通过四个处理器核心执行译码，所述处理器核心中的每一者专用于所述平铺块中的相应平铺块。层间的平铺块的对准可与处理平铺块的方式有密切关系。举例来说，为了确保可并行地处理四个平铺块，视频编码器20及/或视频解码器30可强加某些限制。举例来说，可能不允许层间滤波的增加取样跨越参考层中的平铺块边界。对于增强平铺块，如果参考层样本属于未与此增强平铺块对准的平铺块(即，包含于所述平铺块内)，那么参考层的经并置的样本被视为不可用的。

根据本发明的方面，可在VPS中提供平铺块边界是否对准的指示。举例来说，视频编码器20可在VPS中编码指示多层位流的层是否受约束而对准的一或多个语法元素(且视频解码器30可剖析及解码所述一或多个语法元素)。如在VPS中用信号发出的平铺块边界对准信息可具有适用于位流的所有层的跨层范围。

在一实例中，视频编码器20及/或视频解码器30可实施下文表5中所展示的VPS：

表5

在表5的实例中，语法元素tile_boundaries_aligned_flag等于1指示：当存取单元中的一图片的任何两个样本属于一平铺块时，同一存取单元中的另一图片中的经并置的样本(如果存在的话)属于一平铺块，且当存取单元中的一图片的任何两个样本属于不同平铺块时，同一存取单元中的另一图片中的经并置的样本应属于不同平铺块。语法元素tile_boundaries_aligned_flag等于0指示此限制可能适用或可能不适用。举例来说，语法元素tile_boundaries_aligned_flag等于0可指示平铺块可能对准，但并非严格地受约束而对准。

因此，所述技术可允许视频解码器30通过解码VPS而针对当前经解码的层确定当前层的平铺块边界是否与当前层的任何参考层对准。举例来说，视频解码器30可确定每一直接参考层(例如，通过直接相依性旗标指示)是否具有与当前层的平铺块对准的平铺块边界。

图2为说明可实施用于并行地处理视频数据的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。

如上文所提及，视频编码器20可经调适以执行多视图及/或可伸缩视频译码。举例来说，视频编码器20可经配置以编码符合一或多个视频译码标准扩展(例如，SHVC、MV-HEVC或3D-HEVC)的位流。然而，虽然参考特定译码标准，但应理解，所述技术并非任一译码标准所特定的，且可与未来及/或尚未开发的标准一起实施。

如图2中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含视频数据存储器38、模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了达成视频块重建构，视频编码器20还包含反量化单元58、反变换单元60及求和器62。也可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重建构的视频中移除块效应假影。在需要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，也可使用额外滤波器(环路内或环路后)。为了简洁性起见，未展示此些滤波器，但在需要时，此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。

视频数据存储器38可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器38中的视频数据。参考图片存储器64可被称作经解码图片缓冲器，其存储供视频编码器20(例如)以帧内或帧间译码模式编码视频数据所使用的参考视频数据。视频数据存储器38及参考图片存储器64可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器38及参考图片存储器64可由同一存储器装置或单独存储器装置来提供。在各种实例中，视频数据存储器38可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片分成多个视频块。运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代性地执行所接收视频块相对于与待译码的块在相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。

此外，分割单元48可基于在先前译码遍次中对先前分割方案的评估将视频数据的块分割成数个子块。举例来说，分割单元48最初可将一帧或切片分割成数个LCU，且基于速率-失真分析(例如，速率-失真最佳化)将所述LCU中的每一者分割成数个子CU。模式选择单元40可进一步产生指示将LCU分割成数个子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可(例如)基于误差结果选择译码模式(帧内或帧间)中的一者，且将所得经帧内译码块或经帧间译码块提供到求和器50以产生残余块数据，且将所得经帧内译码块或经帧间译码块提供到求和器62以重建构经编码块以用作参考帧。模式选择单元40也将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此语法信息)提供到熵编码单元56。

运动估计单元42及运动补偿单元44可高度集成，但为了概念目的而分别加以说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块(其相对于所述当前帧(或其它经译码单元)内经译码的当前块)的位移。预测性块为被发现在像素差方面紧密地匹配待译码的块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可从第一参考图片列表(列表0)或第二参考图片列表(列表1)中选择，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再一次，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量时，运动补偿单元44可在参考图片列表中的一者中寻找运动向量所指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。大体上，运动估计单元42执行关于明度分量的运动估计，且运动补偿单元44将基于所述明度分量计算的运动向量用于色度分量与明度分量两者。模式选择单元40也可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代例，帧内预测单元46可对当前块进行帧内预测。详细地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式中选择待使用的适当帧内预测模式。

举例来说，帧内预测单元46可使用对于各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始的、未经编码块(其经编码以产生经编码块)之间的失真(或误差)的量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测单元46可根据各种经编码块的失真及速率来计算比率，以确定哪一帧内预测模式展现所述块的最佳速率-失真值。

在针对一块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所述所选定的帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也被称作码字映射表)；用于各种块的编码上下文的定义；及待用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减少位速率。所述量化过程可减少与所述系数中的一些系数或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或将经编码位流存档以供稍后发射或检索。

反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重建构残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将所述残余块加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可对经重建构的残余块应用一或多个内插滤波器以计算用于在运动估计中使用的子整数像素值。求和器62将所述经重建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重建构的视频块以用于存储于参考图片存储器64中。所述经重建构的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

视频编码器20表示可经配置以独自地或以任何组合执行本发明的技术中的任一者的视频编码器的实例。举例来说，视频编码器20可经配置以在VPS中编码包含以下各者中的至少一者的多层位流：指示所述多层位流的任何层是否具有层间预测限制的数据，及指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；且根据所述VPS的数据编码所述多层位流。额外或替代性地，视频编码器20可基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示第一层与第二不同层之间的比例差异。视频编码器20也可基于参考样本的位置确定第一层中的视频数据的经并置的参考块的位置，且相对于所述经并置的参考块编码第二层中的视频数据的当前块。

图3为说明可实施用于并行地处理视频数据的技术的视频解码器30的实例的框图。如上文所提及，视频解码器30可经调适以执行多视图及/或可伸缩视频译码。举例来说，视频解码器30可经配置以解码符合一或多个视频译码标准扩展(例如，SHVC、MV-HEVC或3D-HEVC)的位流。然而，虽然参考特定译码标准，但应理解，所述技术并非特定针对任一译码标准的，且可与未来及/或尚未开发的标准一起实施。

在图3的实例中，视频解码器30包含视频数据存储器68、熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

视频数据存储器68可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)经由视频数据的有线或无线网络通信从计算机可读媒体16(例如，从本地视频源，例如相机)或通过存取物理数据存储媒体而获得存储于视频数据存储器68中的视频数据。视频数据存储器68可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。参考图片存储器82可被称作经解码图片缓冲器，其存储供视频解码器30(例如)以帧内或帧间译码模式解码视频数据使用的参考视频数据。视频数据存储器68及参考图片存储器82可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器68及参考图片存储器82可由同一存储器装置或单独存储器装置来提供。在各种实例中，视频数据存储器68可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。

当视频切片经译码为帧内译码(I)切片时，帧内预测单元74可基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考图片存储器82中的参考图片使用默认建构技术来建构参考帧列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些所接收语法元素确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72也可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可从所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76反量化(即，解量化)提供于位流中且由熵解码单元70解码的经量化的变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QP_Y来确定应应用的量化的程度及同样确定应应用的反量化的程度。

反变换单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块加总而形成经解码视频块。求和器80表示执行此加总运算的一或多个组件。在需要时，也可应用解块滤波器以对经解码块进行滤波以便移除块效应假影。也可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现于显示装置(例如，图1的显示装置32)上。

视频解码器30可经配置以独自地或以任何组合执行本发明的技术中的任一者或全部。举例来说，视频解码器30可经配置以从多层位流的视频参数集(VPS)解码以下各者中的至少一者：指示多层位流的任何层是否具有层间预测限制的数据，及指示平铺块边界是否在多层位流的所述层中的至少两者之间对准的数据，且根据从所述VPS获得的数据解码所述多层位流。额外或替代性地，视频解码器30可基于一或多个经按比例调整的偏移值确定与视频数据的参考图片相关联的参考样本的位置，其中参考图片包含于多层位流的第一层中且所述一或多个经按比例调整的偏移值指示第一层与第二不同层之间的比例差异。视频解码器30也可基于参考样本的位置确定第一层中的视频数据的经并置的参考块的位置，且相对于所述经并置的参考块解码第二层中的视频数据的当前块。

图4为说明用于可伸缩视频译码(SVC)的各种可伸缩的维度的概念图。图4说明SVC的可伸缩性结构的实例。详细地说，图4中展示在不同维度中的可伸缩性的实例。在此实例中，启用在三个维度上的可伸缩性。在时间维度中，时间可伸缩性(T)可支持7.5Hz、15Hz或30Hz的帧速率。当支持空间可伸缩性(S)时，可允许实现不同分辨率(例如，QCIF、CIF及4CIF)。对于每一特定空间解析率及帧速率，可添加信噪比(SNR)(Q)层以改进图片质量。

一旦已按此可伸缩方式编码视频内容，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求可取决于(例如)客户端或传输信道。在图4中所展示的实例中，每一立方体积(即，立方体)含有具有相同帧速率(时间层级)、空间分辨率及SNR层的图片。可通过在任何维度中添加那些立方体(图片)来达成较好表示。当启用两个、三个或甚至更多个可伸缩性时，可支持组合的可伸缩性。

根据SVC规范，具有最低空间及质量层的图片与H.264/AVC兼容，且最低时间层级处的图片形成时间基础层，所述时间基础层可通过较高时间层级处的图片来增强。除H.264/AVC兼容层之外，也可添加若干空间及/或SNR增强层以提供空间及/或质量可伸缩性。SNR可伸缩性也被称作质量可伸缩性。每一空间或SNR增强层自身可为时间上可伸缩的，具有与H.264/AVC兼容层相同的时间可伸缩性结构。对于一个空间或SNR增强层来说，其所取决于的较低层也被称作所述特定空间或SNR增强层的基础层。

图5为说明SVC译码结构的实例的概念图。在此实例中，具有最低空间及质量层的图片(层0及层1中的图片，具有QCIF分辨率)与H.264/AVC兼容。其中，具有最低时间层级的那些图片形成时间基础层，如图5的层0中所展示。此时间基础层(层0)可通过较高时间层级的图片(层1)来增强。除H.264/AVC兼容层之外，也可添加若干空间及/或SNR增强层以提供空间及/或质量可伸缩性。举例来说，增强层可为具有与层2相同的分辨率的CIF表示。在此实例中，层3为SNR增强层。如此实例中所展示，每一空间或SNR增强层自身可为在时间上可伸缩的，具有与H.264/AVC兼容层相同的时间可伸缩性结构。而且，增强层可增强空间分辨率及帧速率两者。举例来说，层4提供4CIF增强层，其进一步将帧速率从15Hz增加到30Hz。

图6为说明实例存取单元(AU)的概念图。每一AU包含一或多个切片，其封装于网络抽象层(NAL)单元内。在每一层每一存取单元可能存在零个或零个以上NAL单元。一存取单元内的对应于一层的NAL单元的集合可被称作“层组件”。图6的实例描绘对应于图5的层组件的层组件。如图6的实例中所展示，相同时间实例(即，共同AU内)的经译码切片以位流次序连续且在SVC的上下文中形成一存取单元。那些SVC存取单元接着遵循解码次序，所述解码次序可不同于显示次序且(例如)由时间预测关系来决定。

下文描述H.264/AVC的可伸缩扩展(高级视频译码)。SVC的一些功能性是继承自H.264/AVC。下文检阅与先前可伸缩的标准相比较来说的H.264/AVC的SVC扩展的最大优点中的一些优点(即，层间预测及单一环路解码)。

H.264/AVC的SVC扩展支持单一环路解码。为了保持低复杂性解码器，在SVC中，单一环路解码为强制性的。在单一环路解码的情况下，可以单一运动补偿环路来解码每一所支持层。为了达成此目的，仅对于增强层宏块允许使用层间帧内预测，对于所述增强层宏块，经并置的参考层信号经帧内译码。进一步需要：用以对较高层进行层间预测的所有层是使用受约束的帧内预测来译码。

H.264/AVC的SVC扩展也支持层间预测。SVC引入基于纹理、残余及运动进行的用于空间及SNR可伸缩性的层间预测。已将SVC中的空间可伸缩性一般化为两个层之间的任何分辨率比率。可通过粗糙粒度可伸缩性(CGS)或中间粒度可伸缩性(MGS)来实现SNR可伸缩性。在SVC中，两个空间或CGS层属于不同相依性层(通过NAL单元标头中的语法元素dependency_id来指示)，而两个MGS层可在相同相依性层中。一相依性层包含语法元素quality_id的值为0到较高值的质量层，其对应于质量增强层。在SVC中，利用层间预测方法来减少层间冗余。在以下段落中简洁地介绍所述方法。

使用层间帧内预测的译码模式在SVC中被称为“IntraBL”。为了允许实现单一环路解码，仅宏块(MB)(其在按受约束的帧内模式译码的基础层中具有经并置的MB)可使用层间帧内预测模式。受约束的帧内模式MB经帧内译码，而不参考来自相邻的经帧间译码的MB的任何样本。

如果MB被指示为使用残余预测，那么用于进行层间预测的基础层中的经并置的MB必须为帧间MB，且其残余可根据空间分辨率比率来进行增加取样。译码增强层与基础层之间的残余差。即，增强层的当前帧的重建构等于以下各者的总和：增强层的经解量化的系数r_e、来自增强层的时间预测P_e，及基础层的量化经正规化残余系数r_b，如下文所展示：

{\hat{I}}_{e} = r_{e} + P_{e} + r_{b}

可将经并置的基础层运动向量按比例调整以产生增强层中的MB或MB分割区的运动向量的预测子。另外，存在一种MB类型(名为基础模式)，其针对每一MB发送一旗标。如果此旗标为真且对应基础层MB并非帧内，那么运动向量、分割模式及参考索引全部被从基础层导出。

如上文所提及，类似于H.264/AVC，HEVC也将具有可伸缩的视频译码扩展(当前被称为SHVC)，其将至少提供时间可伸缩性、SNR可伸缩性及空间可伸缩性。在SHVC中，为了达成层间纹理预测，当参考层的分辨率低于增强层的分辨率时，首先对参考层经重建构的样本进行增加取样。甚至在SNR可伸缩性的状况下，可在将参考层样本用于进行层间预测之前对参考层样本进行滤波以获得较高译码效率。可针对整个层图片执行增加取样或层间滤波过程，层图片也可被称作层组件或简称为图片。在SHVC中，可使用多环路解码结构且视频解码器(例如，视频解码器30)可并行地处理不同层。

根据本发明的方面，用于多层视频译码的偏移延迟信息可包含于视频参数集(VPS)中。如上文所提及，偏移延迟信息可指示译码(编码或解码)一层相对于译码另一层之间的延迟，以确保参考数据为可用的。根据本发明的方面，视频编码器20可在VPS中编码指示偏移延迟信息的数据。同样地，视频解码器30可从经编码位流解码指示偏移延迟信息的数据。

在一些实例中，视频译码器(例如，视频编码器20及/或视频解码器30)可译码VPS的数据，所述数据指示多层位流的任何层是否具有层间预测限制。举例来说，可在VPS中包含旗标以指示当前经译码的层的至少一参考层具有相关联的偏移延迟。在确定至少一层具有相关联的偏移延迟时，视频译码器可确定哪些参考层具有偏移延迟及与此些层相关联的偏移延迟。即，可仅对具有偏移延迟的参考层提供偏移延迟信息。

图7为说明根据高效率视频译码(HEVC)标准的实例平铺块的概念图。HEVC含有用以使编解码器更具并行友好性(parallel-friendly)的若干提议，包含平铺块及波前并行处理(WPP)。HEVCWD10将平铺块定义为共同出现于一列及一行中的整数数目个CTB，所述CTB在平铺块的CTB光栅扫描中连续地排序。每一图片到平铺块的划分可被称作分割。图片中的平铺块在图片的平铺块光栅扫描中为连续排序的，如图7中所展示。

举例来说，图7说明图片90的实例CTB译码次序，图片90经分割成多个平铺块92A、92B、92C、92D、92E、92F、92G、92H、92I及92J(共同地为“平铺块92”)，其中平铺块边界由粗线指示。图片90中的每一正方形块表示与CTB相关联的像素块。像素块中的数目指示对应CTB(例如，LCU)在图片90的平铺块译码次序中的位置。如图11的实例中所说明，首先译码平铺块92A中的CTB，继之以译码平铺块92B中的CTB，继之以译码平铺块92C中的CTB，继之以译码平铺块92D中的CTB，继之以译码平铺块92E中的CTB，继之以译码平铺块92F中的CTB，继之以译码平铺块92G中的CTB，继之以译码平铺块92H中的CTB，继之以译码平铺块92I中的CTB，继之以译码平铺块92J中的CTB。在平铺块92中的每一者内，根据光栅扫描次序译码CTB。

可针对整个序列来定义平铺块的数目及平铺块的边界的位置，或平铺块的数目及平铺块的边界的位置可在图片间改变。类似于切片边界，平铺块边界破坏了剖析及预测相依性，使得可独立地处理平铺块。然而，在一些情况下，环路内滤波器(例如，解块及样本自适应偏移(SAO)滤波器)仍可跨越平铺块边界。举例来说，HEVC工作草案10提供在PPS中指定的loop_filter_across_tiles_enabled_flag语法元素。当loop_filter_across_tiles_enabled_flag语法元素的值等于1时，可跨越参考PPS的图片中的平铺块边界执行环路内滤波操作。loop_filter_across_tiles_enabled_flag语法元素等于0指定：不跨越参考PPS的图片中的平铺块边界执行环路内滤波操作。

使用平铺块可增强并行性，这是因为在处理器或处理器核心之间不需要用于熵解码及运动补偿重建构的通信(或需要相对较少通信)。另外，当与切片相比较时，平铺块可展现相对较佳译码效率，这是因为平铺块允许实现含有相关性可能高于切片的样本的图片分割区形状。平铺块也可减少切片标头附加项。

当在单层译码中使用平铺块时，可由视频解码器(例如，视频解码器30)使用语法元素min_spatial_segmentation_idc来计算待由一处理线程处理的明度样本的最大数目(假定视频解码器30最大限度地利用并行解码信息)。当不等于0时，min_spatial_segmentation_idc语法元素可有助于对经译码视频序列的图片中的相异的经译码空间片段区的最大的可能大小建立限制。在HEVCWD10中，不同线程之间可能存在一些图片相互相依性，例如，归因于熵译码同步或跨越平铺块或切片边界的解块滤波。

图8为说明用于波前并行处理(WPP)的波前的概念图。HEVC定义WPP技术。当启用WPP时，图片的每一CTU行为单独的分割区。然而，与切片及平铺块相比较，无译码相依性在CTU行边界处被破坏。另外，从前一行的第二CTU传播CABAC机率，以进一步减少译码损失。而且，WPP并不改变常规光栅扫描次序。因为相依性未被破坏，所以与非并行位流相比较，WPP位流的速率失真损失较少。

当启用WPP时，高达CTU行的数目的数目个处理器可并行地起作用以处理CTU行(或线)。然而，波前相依性并不允许所有CTU行在图片的开始处开始解码。因此，CTU行也无法在图片结束时同时完成解码。此情形引入并行性效率低下，其在使用较多数目个处理器时变得更显而易见。图8说明WPP如何并行地处理CTB的行，每一行以在处理上方行的第二CTB之后可获得的CABAC机率开始。

图9为说明从参考层图片104预测的实例增强层图片100的概念图。在此实例中，增强层图片100包含平铺块102A到102D，而参考层图片104包含平铺块106A、106B。如通过图9中的虚线展示，增强层图片100的平铺块102B对应于参考层图片104的平铺块106A，而增强层图片100的平铺块102C对应于参考层图片104的平铺块106B。

在此实例中，增强层图片100具有不同于参考层图片104的纵横比。举例来说，参考层图片104可具有4:3纵横比，而增强层图片100可具有16:9纵横比。因此，增强层图片100的平铺块102A、102D不具有在参考层图片104中的对应平铺块。举例来说，增强层图片100的平铺块102A包含样本108。如通过垂直散列指示，样本108并不具有在参考层图片104中的可用的经并置的参考层(RL)样本。类似地，增强层图片100的平铺块102D的样本114并不具有可用的经并置的RL样本。然而，样本110、112确实具有在参考层图片104中的可用的经并置的参考层样本(如通过交叉影线指示)。详细地说，样本110、112对应于参考层图片104的样本116、118。

图9说明平铺块102B、102C的平铺块边界可被称为与平铺块106A、106B的平铺块边界对准的实例。在一些实例中，当对于位于相同增强层平铺块内的任何两个增强层图片样本，经并置的参考层样本(如果可用)位于对应参考层平铺块内，且对于位于对应参考层平铺块内的任何两个参考层图片样本，经并置的增强层样本(如果可用)位于对应增强层平铺块内时，可将平铺块边界称为对准的。因为平铺块102B内的任何两个样本将对应于平铺块106A内的经并置的样本，且同样地，平铺块106A内的任何两个样本将对应于平铺块102B内的经并置的样本，所以可将平铺块102B的边界称为与平铺块106A的边界对准。类似地，因为平铺块102C内的任何两个样本将对应于平铺块106B内的经并置的样本，且同样地，平铺块106C内的任何两个样本将对应于平铺块102C内的经并置的样本，所以可将平铺块102C的边界称为与平铺块106B的边界对准。

平铺块边界对准可影响视频译码器(例如，视频编码器20或视频解码器30)译码图片(或平铺块)的方式。举例来说，在一些情况下，在平铺块边界不对准的例子中，视频译码器可限制层间预测或某些滤波操作。

根据本发明的方面，可在VPS中提供平铺块边界是否对准的指示。举例来说，可将指示参考VPS的层的平铺块是否与另一平铺块对准的一或多个语法元素包含于VPS中。举例来说，语法元素tile_boundaries_aligned_flag[i][j]等于1可指示：当由VPS指定的第i层的一图片的任何两个样本属于一平铺块时，当两个经并置的样本存在于第i层的第j直接参考层的图片中时，所述两个经并置的样本属于一个平铺块，且当第i层的一图片的任何两个样本属于不同平铺块时，当两个经并置的样本存在于第i层的第j直接参考层的图片中时，所述两个经并置的样本属于不同平铺块。语法元素tile_boundaries_aligned_flag等于0指示此限制可能适用或可能不适用。当不存在时，推断出tile_boundaries_aligned_flag[i][j]的值等于0。

在一些实例中，可以上文表5中所展示的方式提供平铺块边界对准信息。在此些实例中，视频解码器30可确定每一直接参考层(例如，如通过直接相依性旗标指示)是否具有与当前层的平铺块对准的平铺块边界。

以此方式，视频编码器(例如，视频编码器20)可在VPS中编码指示平铺块边界是否在多层位流的层中的至少两者之间对准的数据。同样地，视频解码器(例如，视频解码器30)可从VPS解码指示平铺块边界是否在多层位流的层中的至少两者之间对准的数据。

图10为说明不具有经并置的参考层区的增强层区的概念图。图10的实例包含增强层130及基础层132。可如在层间参考(参考层)中一样使用基础层132用于译码增强层130。在增强层130内通过虚线134说明基础层132的经按比例调整/经增加取样的版本。

如图10的实例中所展示，增强层134还包含未包含于基础层134中的区136。区136大体上包含经按比例调整/经增加取样的基础层134与增强层130的边界之间的区域，如通过经按比例调整的偏移值scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset及scaled_ref_layer_bottom_offset指示。即，语法元素scaled_ref_layer_left_offset的值指示增强层130的左边缘与经按比例调整/经增加取样的基础层134的左边缘之间的位置差异。同样地，scaled_ref_layer_top_offset指示增强层130的顶边缘与经按比例调整/经增加取样的基础层134的顶边缘之间的位置差异，scaled_ref_layer_right_offset指示增强层130的右边缘与经按比例调整/经增加取样的基础层134的右边缘之间的位置差异，且语法元素scaled_ref_layer_bottom_offset的值指示增强层130的底边缘与经按比例调整/经增加取样的基础层134的底边缘之间的位置差异。在一些情况下，经按比例调整/经增加取样的基础层134与增强层130的边界之间的通过偏移指示的区域可包含文字或其它屏幕内容(例如，并非视频数据)。

根据本发明的方面，视频译码器(例如，视频编码器20及/或视频解码器30)可确定经并置的样本(例如，参考样本)的位置。视频译码器也可基于所确定的经并置的样本确定经并置的CTU的位置。经并置的CTU可用于增强层130与基础层132之间的层间预测(例如，在基础层132为参考层的情况下)的目的。

在一实例中，为了说明的目的，视频译码器可根据以下等式确定第i直接参考层的经并置的样本的变量xRef[i]及yRef[i]：

xRef[i]＝((xP-ScaledRefLayerLeftOffset)*ScaleFactorX+(1<<15))>>16

yRef[i]＝((yP-ScaledRefLayerTopOffset)*ScaleFactorY+(1<<15))>>16

其中xRef[i]表示经并置的样本的x坐标，且yRef[i]表示经并置的样本的y坐标。另外，xP及yP可为图片P中相对于图片的左上样本的样本位置，语法元素ScaledRefLayerLeftOffset的值可为增强层130的左边缘与经按比例调整/经增加取样的基础层134的左边缘之间的距离的指示，且语法元素ScaledRefLayerTopOffset的值可为增强层130的右边缘与经按比例调整/经增加取样的基础层134的右边缘之间的距离的指示。另外，ScaleFactorX及ScaleFactorY(基于参考图片及经按比例调整的参考图片的大小的按比例调整因子)可根据上文所提及的SHVC文件(JCTVCM1007)的G.8.1.4章节基于增强层130与基础层132之间的比例差异来确定。

在上述实例中，根据本发明的方面，视频译码器基于偏移值调整经并置的样本xRef、yRef。举例来说，视频译码器可基于指示两层之间的比例差异的经按比例调整的偏移确定参考样本的位置。因此，不是将增强层130的样本直接映射到基础层132中的对应位置，而是视频译码器可考虑到归因于比例差异及偏移产生的相对位置差异。

在确定经并置的样本的位置之后，视频译码器可确定经并置的CTU的位置。在一些情况下，视频译码器可分开确定给定CTU的相应经并置的CTB(明度CTB及色度CTB)的位置。在一实例中，为了说明的目的，根据本发明的方面，视频译码器可基于以下等式确定经并置的CTU的位置：

xColCtb＝xRef>>refCtbLog2SizeY[i]，

yColCtb＝yRef>>refCtbLog2SizeY[i]，

colCtbAddr[i]＝xColCtb[i]+(yColCtb[i]*refPicWidthInCtbsY[i])

其中xColCtb表示CTU的x分量(例如，CTU的明度CTB或色度CTB中的一者)，xRef表示经并置的样本的x坐标，yColCtb表示经并置的CTU的y分量，yRef表示经并置的样本的y坐标，且colCtbAddr[i]表示经并置的CTU的地址。另外，可将变量refCtbLog2SizeY[i][j]、refPicWidthInCtbsY[i][j]及refPicHeightInCtbsY[i][j]设定为分别等于第i层的第j直接参考层的CtbLog2SizeY、PicWidthInCtbsY及PicHeightInCtbsY。因此，变量colCtbAddr[i]表示光栅扫描地址等于ctbAddr的CTU的在第i直接参考层中的图片中的经并置的CTU的光栅扫描地址。

根据本发明的方面，如果经并置的CTU位于满足偏移延迟的区域中，那么可仅使用经并置的CTU。举例来说，如上文所提及，语法元素min_spatial_segment_offset_plus1及min_horizontal_ctu_offset_plus1可用以指示当前层的解码延迟。然而，当使用扩展的空间可伸缩性时，以下情形为有可能的：对于当前层中的空间片段A(切片、平铺块、CTU行或CTU)，经并置的空间片段B可能不存在于直接参考层中。举例来说，如图10的实例中所展示，包含于增强层130中的空间片段的经并置的空间片段可能不包含于基础层132中(例如，空间片段可能包含于在基础层132中并不具有对应区域的区域136中)。在此实例中，可能未准确地确定偏移延迟。

根据本发明的方面，当对于当前层中的特定CTU来说，参考层中的经并置的CTU不存在时，视频译码器(例如，视频编码器20及/或视频解码器30)可将CTU地址(x分量及y分量)的值调整到对应参考层边界，使得经调整的地址对应于存在于参考层中的CTU。在图10的实例中，视频译码器可调整地址，使得经并置的CTU对应于基础层132的边界内的CTU。

在一实例中，为了说明的目的，视频译码器可在确定经并置的CTU之前应用剪辑函数以调整经并置的样本的地址。举例来说，视频译码器可应用下文的等式：

xRef[i]＝Clip3(leftStart_C,rightEnd_C-1,xRef[i])，

yRef[i]＝Clip3(topStart_C,bottomEnd_C-1,yRef[i])

其中xRef[i]表示经并置的样本的x坐标，yRef[i]表示经并置的样本的y坐标。在一些实例中，视频译码器可基于下文的等式确定变量leftStart_C、rightEnd_C、topStart_C及bottomEnd_C(其中下标C表示色度样本)：

leftStartC＝ScaledRefLayerLeftOffset/SubWidthC

rightEndC＝(PicWidthInSamplesL-ScaledRefLayerRightOffset)/SubWidthC

topStartC＝ScaledRefLayerTopOffset/SubHeightC

bottomEndC＝(PicHeightInSamplesL-ScaledRefLayerBottomOffset)/SubHeightC

其中经按比例调整的偏移(例如，ScaledRefLayerOffset)对应于图10的实例中所展示的偏移。虽然上述实例是针对色度样本加以说明，但视频译码器可针对明度CTB应用类似等式。

在上述实例中，当参考样本位于参考图片外部时，视频译码器将偏移调整到参考图片的相对边界；否则，视频译码器并不调整参考样本的位置。举例来说，当参考样本的水平位置位于左参考图片边界的左方时，视频译码器可用左参考图片边界的位置替换水平位置。同样地，当参考样本的水平位置位于右参考图片边界的右方时，视频译码器可用右参考图片边界的位置替换水平位置。当参考样本的垂直位置位于顶部参考图片边界的上方时，视频译码器可用顶部参考图片边界的位置替换垂直位置。当参考样本的垂直位置位于底部参考图片边界的下方时，视频译码器可用底部参考图片边界的位置替换垂直位置。

通过在寻找基础层130中的经并置的CTU之前，基于经按比例调整的偏移值调整经并置的样本的位置，视频译码器可调整经并置的CTU使其位于基础层130的边界内。

以此方式，如果偏移延迟指示不存在于参考层(例如，基础层132)中的空间位置，那么视频译码器仍可确定何时开始译码当前层(例如，增强层130)。即，通过调整经并置的CTU使其位于参考层内，视频译码器也可调整偏移延迟使其位于参考层的有效位置中。

在另一实例中，当具有地址colCtbAddr的CTU不存在于第i直接参考层中时，视频译码器可推断所述空间片段的语法元素min_spatial_segment_offset_plus1[i]的值为零。在此实例中，视频译码器也可应用关于JCTVC-M0464的数个其它改变。举例来说，当ctu_based_offset_enabled[i]语法元素等于0时，视频译码器可应用以下约束：使CTU行A为参考SPS的任何图片picA中的任何CTU行，且ctbAddr为CTU行A中的最后的CTU的光栅扫描地址；使CTU行B为处于与picA属于相同的存取单元的图片picB中且属于第i直接参考层并含有具有光栅扫描地址colCtbAddr[i]的CTU的CTU行；使CTU行C为也在picB中且在解码次序上在CTU行B之后的CTU行，且在CTU行B与所述CTU行之间，在解码次序上存在min_spatial_segment_offset_plus1[i]-1个CTU行；当存在CTU行C时，CTU行A的语法元素受约束，使得CTU行C或相同图片的在C之后的行中无样本或语法元素值被用于CTU行A内的任何样本的解码过程中的层间预测。另外，当CTU行B不存在时，推断出所述空间片段的语法元素min_spatial_segment_offset_plus1[i]的值为零。

视频译码器可对类似切片及平铺块的其它空间片段应用相同约束。举例来说，当切片片段B不存在时，可推断出所述空间片段的语法元素min_spatial_segment_offset_plus1[i]的值为零。作为另一实例，当平铺块B不存在时，可推断出所述空间片段的语法元素min_spatial_segment_offset_plus1[i]的值为零。

图11A为说明用于编码包含视频数据的偏移延迟信息的多层视频数据的实例过程的流程图。为了说明的目的，大体上将图11A的过程描述为由视频编码器20执行，但多种其它处理器也可执行图11A中所展示的过程。

在图11A的实例中，视频编码器20可确定是否存在针对当前经编码的多层位流的任何层间预测限制(150)。举例来说，当编码可并行解码的多个层时，视频编码器20可应用层间预测限制。特定偏移延迟参数可取决于视频编码器20的特定架构(例如，处理核心的数目或其类似者)。

如果存在层间限制(150的“是”分支)，那么视频编码器20可编码偏移延迟指示及每一参考层的偏移延迟(152)。根据本发明的方面，视频编码器20可在VPS中编码此信息。举例来说，视频编码器20可在VPS中编码指示是否存在任何层间预测限制的数据。在一些情况下，所述数据可包含指示至少一参考层是否具有相关联的偏移延迟的一或多个语法元素。视频编码器20也可编码指示具有延迟的每一参考层的偏移延迟(例如，偏移延迟的空间区域)的数据。

视频编码器20可接着根据VPS的数据编码所述层(154)。在一些情况下，视频编码器20可并行地编码所述层。

图11B为说明用于解码包含视频数据的偏移延迟信息的多层视频数据的实例过程的流程图。为了说明的目的，大体上将图11B的过程描述为由视频解码器30执行，但多种其它处理器也可执行图11B中所展示的过程。

在图11B的实例中，视频解码器30可确定是否存在针对当前经编码的多层位流的任何层间预测限制(158)。举例来说，视频解码器30可确定当前层的任何直接参考层(其中直接参考层是供当前层参考以用于达成层间预测的目的)是否具有相关联的偏移延迟。根据本发明的方面，视频解码器30可基于包含于VPS中的数据作出层间预测限制确定。在一些情况下，所述数据可包含指示至少一参考层是否具有相关联的偏移延迟的一或多个语法元素。视频解码器30也可解码指示具有延迟的每一参考层的偏移延迟(例如，偏移延迟的空间区域)的数据。

视频解码器30可接着根据VPS的数据解码所述层(162)。举例来说，在一些情况下，视频解码器30可相对于一层解码另一层。另外，当并行地解码多个层时，视频解码器30可遵守所确定的偏移参数(如上文所描述的VPS中所指定)。即，视频解码器30可等待直到已解码来自参考层的指定量的视频数据(如通过偏移延迟指定)才解码当前层。

图12为说明用于在多层视频译码中确定视频数据的经并置的块的实例过程的流程图。经并置的块可用于层间预测的目的且可在实施偏移延迟时加以确定。图12的方法大体上被描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

在图12的实例中，视频译码器可确定经并置的参考样本的位置(170)。举例来说，在多层视频译码中，视频译码器最初可确定当前经译码的层中的样本的位置。视频译码器可接着将样本的位置映射到参考层中的对应的经并置的位置。

视频译码器可调整参考样本的位置使其位于参考图片内(172)。举例来说，在一些情况下，当前图片中的块(例如，当前CTU)可能不具有参考图片中的对应块(例如，经并置的CTU)，例如，如图9及图10的实例中所展示。如果在参考图片中没有经并置的块可用，那么在一些实例中，视频译码器可能不会适当地应用与参考层相关联的偏移延迟。举例来说，视频译码器可通过寻找当前层中的由延迟指示的空间片段且将空间片段映射到参考层中的经并置的位置来实施偏移延迟。如果没有经并置的空间片段可用，那么视频译码器可能不能够适当地实施偏移延迟。

根据本发明的方面，视频译码器可通过确定在参考图片的区域内的样本的位置来调整参考样本的位置。举例来说，与当前图片相关联的经按比例调整的偏移值(如(例如)图10中所展示)可指示参考图片的边界。视频译码器可调整经并置的样本的位置使其位于此些边界内。在一些实例中，根据本发明的方面，视频译码器可(例如)使用剪辑函数剪辑参考样本的位置，以使得参考样本在参考图片内。如果参考样本已经包含于参考图片的边界中，那么视频译码器可能不执行上文所描述的调整。

视频译码器可接着基于参考样本确定经并置的块的位置(174)。举例来说，视频译码器可确定经并置的块的大小且将所述经适当设定大小的块定位于参考样本的位置处。在一些实例中，视频译码器可在应用用于层间预测的偏移延迟时确定经并置的块。视频译码器可相对于经并置的块译码当前块(176)。

图13为说明用于在多层视频译码中确定平铺块对准信息的实例过程的流程图。图13的方法大体上被描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

在此实例中，视频译码器译码一或多个参考层平铺块(180)。视频译码器接着确定增强层的平铺块边界是否对准(182)。举例来说，视频编码器20可确定是否对准参考层边界，且可编码指示平铺块边界是否对准的语法元素(例如，tile_boundaries_aligned_flag语法元素)的值，而视频解码器30可(例如)基于例如tile_boundaries_aligned_flag的语法元素的值确定参考层边界是否对准。当对于位于相同增强层平铺块内的任何两个增强层图片样本来说，经并置的参考层样本(如果可用)也位于相同参考层平铺块内，且对于位于相同参考层平铺块内的任何两个参考层图片样本来说，经并置的增强层样本(如果可用)也位于相同增强层平铺块内，那么可将增强层图片的平铺块边界称为与参考层图片的平铺块边界对准。

根据本发明的方面，视频编码器20可在VPS中编码指示平铺块边界是否对准的数据。同样地，视频解码器30可从VPS解码指示平铺块边界是否对准的数据。指示平铺块边界是否对准的数据可能并非层特定的，且可提供平铺块边界是否受约束而必须对准的跨层指示。

当增强层图片的平铺块边界不与参考层图片的平铺块边界对准时(182的“否”分支)，视频译码器可相应地译码所述视频数据(184)。举例来说，在一些情况下，视频译码器可对层间预测、滤波或其它操作应用限制。另一方面，当增强层图片的平铺块边界与参考层图片的平铺块边界对准时(182的“是”分支)，视频译码器可相应地译码所述视频数据(186)。举例来说，视频译码器可在平铺块边界对准的情况下使用层间预测、滤波或其它技术。

为了说明的目的，已关于HEVC标准及HEVC标准的扩展描述本发明的某些方面。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。

如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码(在可适用时)。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以一不同序列来执行，可进行增添、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或事件皆为必要的)。此外，在某些实例中，动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时而非顺序地执行。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体予以发射，且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

以实例说明而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。

可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或将功能性并入于组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可以广泛多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(IC)或IC集合(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元予以实现。实情为，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。

已描述各种实例。此些及其它实例属于以下权利要求书的范围内。

Claims

1.一种解码视频数据的方法，所述方法包括：

从多层位流的视频参数集VPS解码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及

根据从所述VPS解码的所述数据解码所述多层位流。

2.根据权利要求1所述的方法，其中解码指示任何层是否具有层间限制的所述数据包括从所述VPS解码指示任何层是否具有层间限制的一或多个语法元素。

3.根据权利要求2所述的方法，其中从所述VPS解码所述一或多个语法元素包括从所述VPS解码ilp_restricted_ref_layers_flag语法元素。

4.根据权利要求1所述的方法，其进一步包括，当至少一层具有层间限制时，递归地确定所述多层位流的每一层是否具有相关联的层间限制。

5.根据权利要求4所述的方法，其进一步包括确定经确定具有层间限制的每一层的偏移延迟，其中所述偏移延迟指示在解码当前层之前应解码的来自参考层的视频数据的最小量。

6.根据权利要求5所述的方法，其中确定所述偏移延迟包括从所述VPS解码指示最小译码树单元CTU偏移延迟、最小切片偏移延迟及最小平铺块偏移延迟中的至少一者的数据。

7.根据权利要求5所述的方法，其中确定所述偏移延迟包括从所述VPS解码指示是否启用基于CTU的偏移的数据。

8.根据权利要求1所述的方法，其中解码指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的所述数据包括解码指示针对所述多层位流的所有层来说平铺块边界是否对准的一或多个语法元素。

9.根据权利要求8所述的方法，其中解码所述一或多个语法元素包括从所述VPS解码tile_boundaries_aligned_flag。

10.一种编码视频数据的方法，所述方法包括：

在多层位流的视频参数集VPS中编码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及

根据在所述VPS中编码的所述数据编码所述多层位流。

11.根据权利要求10所述的方法，其中编码指示任何层是否具有层间限制的所述数据包括在所述VPS中编码指示任何层是否具有层间限制的一或多个语法元素。

12.根据权利要求11所述的方法，其中编码所述VPS的所述一或多个语法元素包括在所述VPS中编码ilp_restricted_ref_layers_flag语法元素。

13.根据权利要求10所述的方法，其进一步包括，当至少一层具有层间限制时，确定所述多层位流的每一层是否具有相关联的层间限制。

14.根据权利要求13所述的方法，其进一步包括确定经确定具有层间限制的每一层的偏移延迟，其中所述偏移延迟指示在解码当前层之前应解码的来自参考层的视频数据的最小量。

15.根据权利要求14所述的方法，其进一步包括在所述VPS中编码指示最小译码树单元CTU偏移延迟、最小切片偏移延迟及最小平铺块偏移延迟中的至少一者的数据以指示所述所确定的偏移延迟。

16.根据权利要求14所述的方法，其进一步包括在所述VPS中编码指示是否启用基于CTU的偏移的数据以指示所述偏移延迟。

17.根据权利要求10所述的方法，其中编码指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的所述数据包括编码指示针对所述多层位流的所有层来说平铺块边界是否对准的一或多个语法元素。

18.根据权利要求17所述的方法，其中编码所述一或多个语法元素包括从所述VPS编码tile_boundaries_aligned_flag。

19.一种执行视频译码的设备，所述设备包括：

存储器，其存储视频数据；及

视频译码器，其经配置以进行以下操作：

译码多层位流的视频参数集VPS的数据，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及

根据所述VPS的所述数据译码所述多层位流。

20.根据权利要求19所述的设备，其中为了译码指示任何层是否具有层间限制的所述数据，所述视频译码器经配置以译码所述VPS的指示任何层是否具有层间限制的一或多个语法元素。

21.根据权利要求20所述的设备，其中为了译码所述VPS的所述一或多个语法元素，所述视频译码器经配置以在所述VPS中译码ilp_restricted_ref_layers_flag语法元素。

22.根据权利要求19所述的设备，其中所述视频译码器经进一步配置以在至少一层具有层间限制时，确定所述多层位流的每一层是否具有相关联的层间限制。

23.根据权利要求22所述的设备，其中所述视频译码器经进一步配置以确定经确定具有层间限制的每一层的偏移延迟，其中所述偏移延迟指示在解码当前层之前应解码的来自参考层的视频数据的最小量。

24.根据权利要求23所述的设备，其中所述视频译码器经进一步配置以译码所述VPS的指示最小译码树单元CTU偏移延迟、最小切片偏移延迟及最小平铺块偏移延迟中的至少一者的数据以指示所述所确定的偏移延迟。

25.根据权利要求23所述的设备，其中所述视频译码器经进一步配置以译码所述VPS的指示是否启用基于CTU的偏移的数据以指示所述偏移延迟。

26.根据权利要求19所述的设备，其中为了译码指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的所述数据，所述视频译码器经配置以译码指示针对所述多层位流的所有层来说平铺块边界是否对准的一或多个语法元素。

27.根据权利要求26所述的设备，其中为了译码所述一或多个语法元素，所述视频译码器经配置以译码所述VPS的tile_boundaries_aligned_flag。

28.根据权利要求19所述的设备，其中为了译码所述视频数据，所述视频译码器经配置以编码所述视频数据，包括：

确定所述多层位流的至少一层的残余视频数据；

变换所述残余数据；及

在所述多层位流中编码表示所述经变换的残余数据的数据。

29.根据权利要求19所述的设备，其中为了译码所述视频数据，所述视频译码器经配置以解码所述视频数据，包括：

从所述多层位流剖析表示所述多层位流的至少一层的残余视频数据的数据；

反变换所述残余数据；及

基于所述经反变换的残余数据重建构视频数据的所述至少一层。

30.根据权利要求19所述的设备，其进一步包括经配置以呈现所述视频数据的显示装置。

31.根据权利要求19所述的设备，其进一步包括经配置以接收所述视频数据的无线调制解调器。

32.一种执行视频译码的设备，所述设备包括：

用于译码多层位流的视频参数集VPS的数据的装置，包含译码以下各者中的至少一者：指示所述多层位流的任何层是否具有层间预测限制的数据，或指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的数据；及

用于根据所述VPS的所述数据译码所述多层位流的装置。

33.根据权利要求32所述的设备，其中用于译码指示任何层是否具有层间限制的所述数据的所述装置包括用于译码所述VPS的指示任何层是否具有层间限制的一或多个语法元素的装置。

34.根据权利要求33所述的设备，其中用于译码所述VPS的所述一或多个语法元素的所述装置包括用于译码所述VPS的ilp_restricted_ref_layers_flag语法元素的装置。

35.根据权利要求32所述的设备，其进一步包括，当至少一层具有层间限制时，用于确定所述多层位流的每一层是否具有相关联的层间限制的装置。

36.根据权利要求35所述的设备，其进一步包括用于确定经确定具有层间限制的每一层的偏移延迟的装置，其中所述偏移延迟指示在解码当前层之前应解码的来自参考层的视频数据的最小量。

37.根据权利要求36所述的设备，其进一步包括用于译码所述VPS的指示最小译码树单元CTU偏移延迟、最小切片偏移延迟及最小平铺块偏移延迟中的至少一者的数据以指示所述所确定的偏移延迟的装置。

38.根据权利要求36所述的设备，其进一步包括用于译码所述VPS的指示是否启用基于CTU的偏移的数据以指示所述偏移延迟的装置。

39.根据权利要求32所述的设备，其中用于译码指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的所述数据的所述装置包括用于译码指示针对所述多层位流的所有层来说平铺块边界是否对准的一或多个语法元素的装置。

40.根据权利要求39所述的设备，其中用于译码所述一或多个语法元素的所述装置包括用于译码所述VPS的tile_boundaries_aligned_flag的装置。

41.一种其上存储指令的非暂时性计算机可读媒体，所述指令在经执行时使得视频译码器进行以下操作：

根据所述VPS的所述数据译码所述多层位流。

42.根据权利要求41所述的非暂时性计算机可读媒体，其中为了译码指示任何层是否具有层间限制的所述数据，所述指令使得所述视频译码器译码所述VPS的指示任何层是否具有层间限制的一或多个语法元素。

43.根据权利要求42所述的非暂时性计算机可读媒体，其中为了译码所述VPS的所述一或多个语法元素，所述指令使得所述视频译码器在所述VPS中译码ilp_restricted_ref_layers_flag语法元素。

44.根据权利要求41所述的非暂时性计算机可读媒体，其中所述指令使得所述视频译码器在至少一层具有层间限制时确定所述多层位流的每一层是否具有相关联的层间限制。

45.根据权利要求44所述的非暂时性计算机可读媒体，其中所述指令使得所述视频译码器确定经确定具有层间限制的每一层的偏移延迟，其中所述偏移延迟指示在解码当前层之前应解码的来自参考层的视频数据的最小量。

46.根据权利要求45所述的非暂时性计算机可读媒体，其中所述指令使得所述视频译码器译码所述VPS的指示最小译码树单元CTU偏移延迟、最小切片偏移延迟及最小平铺块偏移延迟中的至少一者的数据以指示所述所确定的偏移延迟。

47.根据权利要求45所述的非暂时性计算机可读媒体，其中所述指令使得所述视频译码器译码所述VPS的指示是否启用基于CTU的偏移的数据以指示所述偏移延迟。

48.根据权利要求41所述的非暂时性计算机可读媒体，其中为了译码指示平铺块边界是否在所述多层位流的所述层中的至少两者之间对准的所述数据，所述指令使得所述视频译码器译码指示针对所述多层位流的所有层来说平铺块边界是否对准的一或多个语法元素。

49.根据权利要求48所述的非暂时性计算机可读媒体，其中为了译码所述一或多个语法元素，所述指令使得所述视频译码器译码所述VPS的tile_boundaries_aligned_flag。