CN102106146B - 可缩放视频解码中增强层分组丢失错误的隐藏方法 - Google Patents

Abstract

一种隐藏可缩放视频编码(SVC)解码错误的方法。将目标层中丢失图像替换成来自较低层(如，基本层)的上采样图像。在多循环解码应用中，将目标层中的丢失图像替换成来自较低层的相应上采样图像。将相同图像组(GOP)中的后续目标层图像替换成来自较低层的相应上采样图像，或用来自较低层的作为参考图像的上采样图像来对所述后续目标层图像进行解码。对于单循环解码，缓冲每一层的比特流，并检查所述比特流以发现错误。如果在目标层中检测到错误，则对没有错误的最高级别的层的图像进行解码和上采样并将其用作当前GOP的输出图像。

Description

可缩放视频解码中增强层分组丢失错误的隐藏方法

相关专利申请

本申请在35 U.S.C.§119(e)下要求在2008年7月22日提交的美国临时申请No.61/082,521的权益，其全部内容和文件首页并入本申请中作为参考。

技术领域

本发明总体涉及视频数据的通信，具体涉及对可缩放视频编码视频数据中的错误的处理。

背景技术

可缩放视频编码(SVC)相对于经典高级视频编码(AVC)具有许多优点(例如，参见ITU-T推荐H.264修改3：“Advanced video coding for generic audiovisual services：Scalable Video Coding”)。SVC的可缩放性可以应用于时间域、空间域和质量(信噪比)域。SVC流通常包括一个基本层和一个或多个增强层。基本层流可以独立解码，而任何增强层仅可以与基本层和其他从属的增强层一起来解码。

SVC编码的优点是可以在不同的IP流中传输不同的层，因此可以使用不同的方法来防止不同的层发生传输错误。例如，基本层比增强层更重要，因此基本层可以得到更大的保护。另一方面，由于带宽限制，对增强层的保护通常比基本层的保护要低，因此增强层中发生分组丢失的可能性比基本层中发生分组丢失的可能性更高。

在增强层中有分组丢失时，该层中以及增强层到目标层(提供目标分辨率所需的最高级别的层)中的对应图像无法被解码。传统的错误隐藏方法通常通过复制先前帧的图像或者通过内插多个完好的相邻帧来替换丢失的图像。在相邻帧之间的差异较大时，例如，在丢失帧 中的场景变化的情况下，这些方法通常呈现出较差的图像质量。

发明内容

根据本发明的原理，在此描述了在增强层中有分组丢失时隐藏可缩放视频编码(SVC)解码错误的方法。说明性地，描述了用来自下层(如，基本层)的上采样图像代替目标层中的丢失图像的多种方式。描述了针对单循环和多循环解码的示例方法。

根据本发明的原理，在增强层中出现分组丢失时，可以提高已解码图像的观看质量。

鉴于上述内容，阅读详细说明书将显而易见的是，其他实施例和特征也是可能的，并且落入本发明原理的范围之内。

附图说明

现在参考附图，仅以示例的方式来描述根据本发明实施例的设备和/或方法的一些实施例，附图中：

图1示出了根据本发明第一示例方法的对增强层分组丢失的处理；

图2示出了根据本发明第二示例方法的对增强层分组丢失的处理；

图3示出了根据本发明第三示例方法的对增强层分组丢失的处理。

具体实施方式

图中所示的除了本发明构思以外的其他元素是公知的，在此不再对其详细描述。例如，除了本发明构思以外，假定熟悉电视广播、接收机和视频编码，并在此不再对其详细描述。例如，除了本发明构思以外，假定熟悉当前提出的针对电视标准的推荐，如，NTSC(国家电视系统委员会)、PAL(遂行倒相制)、SECAM(顺序传送彩色与记忆制)和ATSC(高级电视系统委员会)(ATSC)、中国数字电视系统(GB)20600-2006和DVB-H。同样，采用除了本发明构思以外，还假 定其他传输构思，如，8级残留边带(8-VSB)、正交幅度调制(QAM)、以及诸如射频(RF)前端(如，低噪模块、调谐器、下变频器等)、解调器、校正器、泄漏积分器和平方器之类的接收机组件。此外，除了本发明构思以外，假定熟悉诸如互联网协议(IP)、实时传输协议(RTP)、RTP控制协议(RTCP)、用户数据报协议(UDP)，并在此不再对其加以描述。类似地，除了本发明构思以外，假定熟悉诸如运动图像专家组(MPEG)-2系统标准(ISO/IEC 13818-1)、H.264高级视频编码(AVC)和可缩放视频编码(SVC)，并在此不再对其加以描述。还应注意，本发明构思可以使用传统的编程技术来实现，在此将不对传统的编程技术进行描述。最后，图中相似的数字表示相似的元素。

在解码SVC视频流时，在任何给定的时刻将多个已解码的参考图像(用于预测其他图像的图像)临时存储在解码图像缓冲器中。在单循环解码中，仅在解码图像缓冲器中保持目标层的已解码参考图像。在多循环解码中，在解码图像缓冲器中保持所有层的已解码参考图像。

在SVC中，将帧或图像分成组，每组称作图像组(GOP)。每个GOP可以包括帧内图像(I图像)、预测图像(P图像)和/或双向图像(B图像)。不参考任何其他图像就可以解码I图像。只有参考其他I图像、P图像或B图像才能正确地解码P图像和B图像。每个GOP以关键帧来开始和结束。关键帧可以是I图像或P图像。参考GOP的关键帧和前一个GOP的关键帧来解码GOP内的P图像和B图像。这样，具体地在有一长串关键帧(是P图像)的情况下，关键帧中的错误可以向前传播从而影响多个GOP。

当增强层分组丢失时，对应GOP中的丢失帧和后续帧通常受到丢失的影响，并且应当优选地隐藏丢失帧和后续帧以使显示给用户的图像的劣化最小。对于多循环解码，现在将描述根据本发明的两个示例方法，这两个方法用于在发生增强层分组丢失时替换GOP中的丢失帧和后续帧。

图1示出了处理增强层分组丢失以对空间上可缩放的SVC视频流进行多循环解码的第一示例方法。在图1的方法中，假定每个GOP以关键帧结束，当目标层中发生分组丢失时，除了关键帧以外，将该GOP 内与丢失的分组相对应的丢失帧以及所有的后续帧替换成没有分组丢失的最高层的上采样帧。因此，在GOP的关键帧之前，始终忽略丢失帧后面的目标层分组的其余部分。

图1示出了针对SVC流的示意情况，在SVC流中有一个增强层、目标层和基本层。将增强层分组的流10和基本层分组的流20提供给SVC解码器。解码器输出如图像30的流所示。

如图1所示，标记为Bi的块表示基本层分组，标记为Ei的块表示增强层分组。每个块Bi、Ei都可以表示网络抽象层(NAL)访问单元，所述NAL访问单元包括一个分组或多个分组。标记为[Bi]和[Ei]的块表示通过分别对基本层分组和增强层分组的对应块进行解码而产生的图像。注意，仅可以与对应的基本层图像相结合来解码增强层图像，所以通过与基本层图像[Bi]相结合对增强层分组块Ei进行解码来产生图像[Ei]。换言之，[Ei]是Ei和对应的基本层图像[Bi]的函数。

标记为[Bi^*]的每个块表示上采样的[Bi]图像。上采样的图像[Bi^*]将与对应的增强层图像[Ei]具有相同分辨率和帧速率。在所示的空间上可缩放SVC实现中，基本层图像和增强层图像的帧速率相同，但是分辨率不同。这样对基本层图像的上采样将会例如通过内插引起基本层图像的分辨率提高到目标增强层的分辨率。可以使用已知的技术来执行上采样。

在图1所示的情况下，在解码器处，流10的块E4和E5中的增强层分组在传输中丢失或被错误地接收。在当前GOP中的这点之前，解码器始终具有用连续接收到的增强层分组来解码的输出图像[E0]-[E3]。然而，如图1所示，当E4和E5中的分组丢失时，解码器将其输出切换至上采样的基本层图像[B4^*]至[B10^*]。这样，在当前GOP的关键帧之前不输出图像[E4]-[E10]，而是解码器输出上采样的基本层图像[B4^*]至[B10^*]。注意，在所示的情况下，不用上采样的基本层图像来替换增强层的关键图像[E11]。如果增强层关键图像[E11]是I图像，除非该关键图像[E11]丢失或被错误地接收，否则该增强层关键图像[E11]将提供比[B11^*]更好的图像。如果增强层关键图像[E11]是P图像，则该增强层关键图像[E11]的精确解码将取决于前一个GOP的关键图像。如果 成功接收到当前关键图像[E11]和前一个GOP的关键图像，则不会有从之前的关键图像向前传播的误差，那么关键图像[E11]将提供比[B11^*]更好的图像并因此而被使用。否则，将取而代之地使用[B11^*]。在下一个GOP的开始，解码器持续产生用增强层分组解码的图像。

如上所述，如果在GOP的关键图像中发生错误，则该关键图像中的错误可以向前传播从而破坏后续GOP中的图像。作为P图像的关键图像取决于前一个关键图像，在这种情况下，关键图像中的错误将向前传播以破坏多个GOP，直到遇到作为I图像的关键图像为止。在示例实施例中，如果在目标层的关键帧中(即，在块E11中)检测到错误，则将没有错误的最高级别的上采样图像用于输出图像流30，直到在目标层中接收到作为关键帧的I图像为止。在这一点上，目标层中任何错误的向前传播都会停止。这样，在目标层中接收到I图像关键帧之前，目标层数据始终被实质上忽略并且可以被丢弃。

在备选实施例中，并不在接收到I图像关键帧之前始终忽略所有目标层数据，而是可以从下一个GOP为开始，以当前GOP的基本层中的上采样关键图像[B11^*]作为参考图像，使用在下一个GOP中接收到的目标层数据(E0，E1，...)来产生目标层图像。

可以以多种合适方法中的任何一种方法来检测分组丢失。在示例实施例中，可以通过检查承载相应SVC流的RTP分组的首部中RTB序列号来检测丢失分组。接收到的分组的RTP序列号的间断表明一个或多个分组的丢失。参见美国专利申请公开No.2009/0016447，其全部公开并入在此作为参考。

注意，尽管图1所示的情况是针对两层实现方式，其中目标层是第一增强层，然而示例方法可以容易地扩展为处理具有三层或更多层的SVC流。根据这样的实现方式，当目标层中发生分组丢失时，用来自没有发生分组丢失的最高层的对应上采样图像来替换当前GOP的关键图像之前的所有丢失图像和后续图像。因此，例如在四层应用中如果第二增强层和第三增强层发生分组丢失，而第一增强层没有发生分组丢失，则用来自第一增强层的对应上采样图像来替换当前GOP的关键图像之前的丢失图像和后续图像。在该示例中，来自第一增强层 的图像被上采样到第三增强层(目标层)的分辨率。

图2示出了处理增强层分组丢失以对空间上可缩放的SVC视频进行多循环解码的第二示例方法。在图2的方法中，每个GOP以关键帧结束，当在目标层中发生分组丢失时，因此而丢失的图像被替换成没有分组丢失的最高层的对应上采样图像。通过在将前述上采样的较低层帧置于目标层的参考图像队列中之后，对后续目标层图像进行解码，来产生当前GOP的关键图像之前的后续图像。

如图2所示，对于两层的情况，使用上采样的基本层帧[B4^*]和[B5^*]来替换丢失的增强层图像[E4]和[E5]。[E6^*]至[E10^*]是基于块E6至E10中的增强层分组和包括[B4^*]和[B5^*]的之前参考图像的解码图像。

如在图1所示的实施例中一样，在图2的情况下不替换增强层的关键图像[E11]。如果增强层关键图像[E11]是I图像，则除非该增强层关键图像[E11]丢失或被错误地接收，否则该增强层关键图像[E11]将基于上采样的基本层参考图像，来提供比基于上采样基本层参考图像的增强层图像[E11^*]更好的图像。如果增强层关键图像[E11]是P图像，则该增强层关键图像[E11]的精确解码将取决于前一个GOP的关键图像。如果成功接收到当前关键图像[E11]和前一个GOP的关键图像，则没有误差从之前的关键图像向前传播，那么关键图像[E11]将提供比[E11^*]更好的图像并因此而被使用。否则，取而代之地使用[E11^*]。在下一个GOP的开始处，解码器持续地产生用增强层分组来解码的图像。

注意，尽管图2所示的情况是针对两层实现方式的，其中目标层是第一增强层，而示例方法可以容易地扩展为处理具有三层或更多层S的VC流。因此，例如在四层应用中，如果第二增强层和第三增强层发生分组丢失，然而第一增强层没有发生分组丢失，则用来自第一增强层的对应上采样图像来替换当前GOP内的丢失图像，并通过在将前述上采样的第一增强层帧置于第三增强层的参考图像队列中之后，对第三增强层图像中的后续图像进行解码，来产生GOP中的后续帧。

对于单循环SVC解码，可以使用另一示例方法。在单循环解码中，仅构造目标层图像。在两层方案中，不构造基本层图像。根据针对两层应用的示例方法，在每个GOP的开始处，缓冲整个GOP的基本层和 增强层的SVC比特流并检查该SVC比特流。

如果对所缓冲的比特流的检查表明没有丢失，则解码器将正常解码。然而，如果在增强层中有分组丢失，则该GOP中的整个增强层都将被忽略。解码器仅对基本层进行解码、对因此而产生的基本层图像进行上采样，并使用上采样的基本层图像来替换增强层图像。实际上基本层变成了目标层。如果按照SVC标准来产生原始SVC流，则其余的流将是符合标准的流，因此任何符合标准的SVC解码器都应该能够解码所述其余的流。

图3示出了针对两层实现方式的前述单循环方法，其中每个GOP以关键帧为结束。在图3所示的情况下，在解码器处，流10的GOP(N)中的块E4和E5中的增强层分组在传输中丢失或被错误地接收。这样，并不针对流30中的GOP(N)产生图像[E0]至[E11]，而是产生基本层图像[B0]至[B11]，并对所述基本层图像[B0]至[B11]进行上采样，以输出流30中针对GOP(N)的图像[B0^*]至[B11^*]。

注意，已解码图像输出流30的改变发生在GOP边界处。可以丢弃不是产生输出图像流30所必须的分组，而对用于产生输出图像流30的分组进行解码。这样，在所示情况下，可以在接收到GOP(N+1)的增强层分组时，用所述GOP(N+1)的增强层分组来重写GOP(N)的如上所述而缓冲的增强层分组(E0-E11)。对GOP(N)的所缓冲的基本层分组(B0-B11)进行解码和上采样，以产生针对输出图像流30的图像[B0^*]至[B11^*]。

尽管以上参考图3描述的示例方法涉及具有基本层和一个增强层的SVC视频流，然而该方法可以容易地扩展用于具有多个增强层的应用。在这样的应用中，如果目标层发生分组丢失，则将该目标层替换成没有发生分组丢失的最高级别的层。对整个GOP的新目标层的图像进行解码并上采样到原始目标层的分辨率和帧速率。因此，例如在具有三个增强层的SVC流中，如果第二增强层和第三增强层发生分组丢失，则将取而代之地输出来自第一增强层的上采样图像。

如上所述，如果在GOP的关键图像中发生错误，则该错误可以向前传播以破坏后续GOP中的图像。作为P图像的关键图像将取决于之 前的关键图像，在这种情况下，关键图像中的错误将向前传播以破坏多个GOP，直到遇到作为I图像的关键图像为止。在示例实施例中，如果在目标层的关键帧中(即，块11中)检测到错误，则没有错误的最高级别的上采样图像用于输出图像流30，直到在目标层中接收到作为关键图像的I图像为止。在这一点上，目标层中任何错误的向前传播都会停止。这样，在目标层中接收到I图像关键帧之前，始终实质上忽略并可以丢弃目标层数据。

有多种方法可以在不对任何帧进行解码的情况下标识GOP边界。一种方法需要对分组首部信息的检查。每个已编码的视频分组典型地包括网络抽象层(NAL)首部，所述网络抽象层(NAL)首部包含指示时间可缩放性等级、空间可缩放性等级和/或质量可缩放性等级的信息。通过对首部的前几个字节进行分析，可以将关键图像标识为针对每个可缩放等级为0的关键图像。如上所述，新的GOP在每个关键图像之后开始或以每个关键图像为结束。

另一种方法需要针对关键帧使用不同的传递路径。由于关键帧的重要性等级的不同，通常使用不同的连接路径(例如，不同的IP地址和/或端口)来发送不同的视频层。如果在与非关键图像分开的路径中发送关键图像，则可以直接发送这些关键图像以标识这些关键图像。

在另一种方法中，如果用解码器先验知道或以其他方式(例如，带外信令)知道的固定GOP图案来编码视频流，则解码器可以使用该信息来标识关键图像。

考虑到上述内容，上述内容仅仅说明了本发明的原理，因此应理解，本领域技术人员能够设计出许多尽管在本文中并没有显式描述但是仍体现了本发明的原理并且在本发明的精神和范围之内的备选方案。例如，本发明构思可以被实现在存储程序控制处理器(例如，数字信号处理)中，所述存储程序控制处理器执行相关软件以实施根据本发明的原理的方法。此外，本发明的原理可以应用于不同类型的通信系统，例如，卫星、无线保真(Wi-Fi)、蜂窝等等。实际上，本发明原理可以应用于固定接收机和移动接收机。因此应理解，可以对说明性实施例作出多种修改，并且可以在不脱离本发明的精神和范围的 前提下设计出其他方案。

Claims (7)

1.一种由解码器对在第一层和第二层中传输的数字视频信号进行解码的方法，其中，所述第二层包括用于将第一层的视频增强的信息，所述数字视频信号包括多个图像组，其中每个图像组以关键帧结束并且包括在先前紧接的图像组的关键帧之后的至少一个帧，所述方法包括：

缓冲第一层和第二层的第一图像组的信息；

在对第一图像组的信息进行解码之前，检测第二层的第一图像组的信息是否具有在第二层的第一图像组中的一个或多个帧中出现的错误；

如果在第二层的第一图像组的信息中没有检测到错误，则通过对第二层的第一图像组的信息进行解码，从解码器输出第一图像组；以及

如果在第二层的第一图像组的信息中检测到错误，则通过对第一层的第一画面组的信息进行解码而不对第二层的第一画面组的信息进行解码并且对第一层的第一图像组的已解码信息进行空间上的上采样，从解码器输出第一画面组，

其中，如果在第二层的第一图像组的关键帧中检测到错误，则对第一层而不是第二层的后续图像组进行解码，直到找到第二层的后续图像组的关键帧中使用的帧内编码帧为止，并且上采样包括：对第一层的已解码后续图像组进行上采样。

2.根据权利要求1所述的方法，其中，上采样包括将所述第一层的第一图像组的已解码信息转换成具有与第二层中的帧相同的分辨率，所述第一层是基本层，所述第二层是增强层。

3.根据权利要求1所述的方法，其中，如果在第二层的第一图像组的关键帧中没有检测到错误，则上采样的步骤包括对包括所述第一层的第一图像组的已解码关键帧在内的所有已解码帧进行上采样。

4.根据权利要求1所述的方法，还包括：通过对第二层中在第一图像组之后的至少一个图像组进行解码，从解码器输出所述至少一个图像组。

5.根据权利要求1所述的方法，包括：标识图像组之间的边界。

6.根据权利要求5所述的方法，其中，标识边界的步骤包括以下操作中的至少一个：分析首部信息，经由分离的路径接收关键帧，以及接收图像组图案信息。

7.根据权利要求1所述的方法，其中，每个关键帧是帧内编码帧和预测帧之一。