CN1848958A - 一种在网络中传输视频流的方法 - Google Patents

Abstract

一种在网络中传输视频流的方法，网络传输时，提供同一视频源片断的至少两路不同码率的压缩视频流，每路视频流至少有一个帧间编码方式编码的视频帧，至少有一个被标识为可丢弃帧；为一对视频流至少编码一个切换帧；网络带宽由高变低时，采取丢帧和切换到低码率视频流；网络带宽由低变高时，直接切换到高码率视频流。本发明可以有效地降低网络带宽变化对重建视频图像质量的影响，允许使用比特数小的切换帧来实现视频流的切换，提高网络带宽的利用率，同时保证视频流的可扩展性和交互性，为客户提供极佳的视觉体验。

Description

一种在网络中传输视频流的方法

技术领域

本发明属于数据通信领域，涉及可扩展视频压缩和流媒体传输领域。

背景技术

一段视频是由一系列连续的静止图像组成的，这些图像在屏幕上高速地显示给人以电影中物体运动的感觉，其中每一幅图像都称为一帧。视频压缩是若干算法的集合，这些算法用来压缩视频使它满足由传输介质所决定的比特数(即带宽)限制。例如，局域网的通信缆线能以8Mbps(兆比特/秒)的固定速率传输视频，但在蜂窝网络中传输速率会大幅度下降。

多媒体编解码通常包括两部分：编码器和解码器。编码器将原始数据压缩到一定大小来传输。通常来说，压缩比越大，重建视频图像质量越差。解码器则将接收到的压缩数据解压缩。

为了节约比特数，大部分视频编码器利用相邻帧之间一般差别很小这一现象来进行压缩编码，也就是说只编码相邻帧之间的差别。解码器利用前面的重建帧和帧差信息来重建当前帧。当一帧图像基于前一帧编码(即参考帧)的时候，参考帧图像可以是基于它的前一帧图像编码的，也可以是采用自包含方式编码的，若某帧采用自包含方式编码，则该帧称为关键帧。在MPEG(活动图像专家组)标准中，以自包含方式编码的帧可称为帧内编码帧，简称I帧。包含帧与帧之间差值的帧称为帧间编码帧或差值帧。在MPEG标准中，如果当前帧只以它前面的帧做参考帧，则称它为前向预测帧，简称P帧。通常情况下，使用帧间编码方式编码会导致重建视频图像质量的下降，为了改善重建视频图像的质量，编码器每隔固定的一段时间编码一次关键帧，例如每隔5秒。一路比特流(简称流)是连续编码帧的集合，它由编码器产生并传输给解码器。

当前的蜂窝网络中，视频流可获得的网络带宽是时变的。事实上，蜂窝网络中带宽变化是快速剧烈的，因此，需要尽可能地探知可获得的网络带宽。

为适应带宽变化的需要，主要有两种视频压缩及传输方法：一种是可扩展视频流，也就是说以多层的方式压缩视频并根据网络带宽的情况传输其中合适的几层。这种编码方式将原始视频数据压缩成一个基本层和若干个增强层。基本层必须保证全部传输，带宽越宽，能传输的增强层数就越多，重建视频图像质量越好。需要指出，增强层依赖于基本层，没有基本层有再多的增强层也没有用。可扩展视频编码方法主要有空域分层、时域分层、SNR(信噪比)分层、FGS(精细可分层)等方法。另一种广泛使用的方法是根据网络带宽的情况在多个压缩级别的同一视频流之间做切换的多级编码方式，每路视频流按照不同的码率进行压缩，根据网络带宽的情况在不同流之间切换，需要指出流与流之间是独立编码的，不存在任何依赖性，如从32Kbps的视频流切换到与它内容相同的64Kbps的视频流。

上述每一种方法都有自身的缺点：可扩展视频要求解码器支持多层解码。这种复杂的解码功能在未来几年的手持终端上是不容易被支持的，而且由于分层导致头信息增加，这种编码方式的图像质量比较差。多级编码方式虽然没有上述分层编码方式的缺点，但是由于视频压缩过程中帧间编码帧利用了帧与帧之间的时域相关性，所以视频切换只能在两路视频流中采用自包含编码方式的关键帧处做切换，缺乏灵活性(如随机访问、快进、快退)，很难在窄带环境下应用。在许多情况下，关键帧之间的时间间隔往往大于带宽变化时间间隔，这就导致在关键帧位置处进行流切换的视频会给人视频画面不连续的感觉。因此Farber和Girod提出将同一视频源压缩成多个不同码率的比特流，其中一路比特流全部采用帧内编码方式进行编码以满足视频流的随机访问特性，其它路比特流全部采用帧间编码方式进行编码，每路视频流之间采用以帧间编码方式编码的切换帧来进行切换。这种方式的缺点是切换帧的使用导致图像质量的严重下降，特别是在蜂窝网络情况下，频繁的切换会导致重建视频图像质量严重下降直到不可用。为了解决这一问题，Farber和Girod指出可以采用小的量化级别来编码切换帧，但是这将导致切换帧非常大，会耗费大量的网络资源，这在窄带网络上是不可取的。在Farber和Girod的基础上，Falik、Yohai等人在美国专利“ 20030123546 Scalablemulti-level video coding”中提出将帧内编码块方式(以帧内编码方式编码帧间编码帧的某些块)引入到视频流中，使得在流切换时重建视频图像的质量要好于Farber和Girod提出的方法，但是这种方法与一路视频流在视频编码时就确定某种丢帧方式并和流切换方法相结合以适应网络带宽变化相比，对网络带宽变换的适应性要差一些。

发明内容

本发明要解决的技术问题是，提出一种在网络中传输视频流的方法，可克服现有技术中诸方法的不足，降低网络带宽变化对重建视频图像质量的影响，提高网络带宽的利用率，同时保证视频流的可扩展性和交互性。

本发明的技术方案为：网络传输时，提供同一视频源片断的至少两路不同码率的压缩视频流，每个视频流至少有一个帧间编码方式编码的视频帧；

在每一路视频流中，至少有一个被标识为可丢弃帧，可丢弃帧是帧间编码帧；所述丢弃帧中不包含任何以帧内编码块模式编码的图像块；采用帧内编码块模式编码的图像块只会有选择地在那些未被标识为可丢弃的帧间编码帧中出现；

为任何一对视频流，至少编码一个切换帧，该切换帧中包含的是当前流中的帧与它切换到另一路流中目标帧之间采用帧间编码方式编码后的结果；

在传输过程中，网络带宽由高变低时，若变化量不大，先丢失可丢弃帧；若仍不满足条件，通过切换帧切换到低码率视频流；若带宽变化量突然很大，直接切换到低码率视频流；网络带宽由低变高时，通过切换帧直接切换到高码率视频流。

在可能从高码率视频流切换到低码率视频流发生在高码率视频流中被标识为可丢弃的帧间编码帧处，和在高码率视频流切换到低码率视频流或低码率视频流切换到高码率视频流发生在切换后的目标帧是帧内编码帧处，不需要引入切换帧。

在对帧间编码帧做运动估计时，至少有一帧所对应的参考帧的像素值进行一定比例的减小(比例为大于或等于0，小于1)，以缩小后的参考帧为参考帧进行运动估计。从而弱化帧与帧之间的相关性，利用这种方式可以很好地保持重建视频图像的质量并维持视频流的可扩展性和交互性。

所述的视频流可以是预先压缩存储在媒质上的视频流或实时编码获得的视频流。

本发明针对网络带宽的时变特性，利用丢帧和切换帧的方式可以有效地降低网络带宽变化对重建视频图像质量的影响，允许使用比特数小的切换帧来实现视频流的切换，提高网络带宽的利用率，同时保证视频流的可扩展性和交互性，为客户提供极佳的视觉体验。

附图说明

图1是本发明从高码率码流到低码率码流的切换过程示意图；

图2是本发明从低码率码流到高码率码流的切换过程示意图；

图3是本发明混合流的生成流程示意图。

具体实施方式

本发明能够用来解决视频流的可扩展性问题，可实现互不依赖的同一视频源的多路编码视频流在任何时刻切换，而不是必须切换到目标流的关键帧。采用这种方式获得的混合流在解码端看来是一个单一的独立的码流。例如，同一视频源以H.264标准的baseline profile编码出两路不同码率的视频流，码率分别为32Kbps、48Kbps，通过本发明提出的方法，能生成一路以H.264标准的baselineprofile编码的码率在32Kbps到48Kbps之间的混合流。需要指出此时对切换帧编码使用的是H.264标准的baseline profile，但对切换帧的编码可以使用完全不同于编码视频流的编码方式，如用小波变换、K-L变换等等方式。如果视频流中的帧间编码帧在进行运动估计时的参考图像的像素大小做了缩小，则可在H.264标准规定的用户信息中传输该参考图像的缩小系数，或以其它方式通知解码端，解码端有能力根据该系数完成视频图像的重建。

下面结合附图对本发明做进一步详细地说明：

图1中，假设服务器正在给客户传输视频流，其中视频流可以是已经编码好的或是实时编码获得的。开始时，网络带宽较宽，服务器传输高码率编码流A给客户，在传输完帧A1时，网络带宽检测方法检测到网络带宽下降，则服务器将流A的标识为可丢弃的帧A2和帧A3丢弃，直接传输帧A4，若传输完帧A4后检测到的网络带宽小于传输完帧A1时检测到的网络带宽且丢帧不足以应对网络带宽变窄对图像质量的严重影响，则传输切换帧A4B5切换到低码率编码流B，然后传输帧B6，这样解码端得到的混合流由帧A1、A4、A4B5、B6组成。若传输完帧A4后检测到的网络带宽大于传输完帧A1时检测到的网络带宽但小于完全传输流A所需要的带宽，则维持传输流A不变，但要丢弃如图1中未切换流A所示被标识为可丢弃的帧A5；若大于完全传输流A所需要的带宽，则不丢弃帧A5。需要指出，采用丢帧或流切换应对网络带宽变化的策略可根据具体情况重新设定或按照某种自适应方式实现。

可以通过运动矢量跟踪法、帧差法、统计法、R-D法、拉格朗日乘数法等通用方法确定帧间编码帧A2、A3、A5是可丢弃的，也就是说帧A1、A2、A5的丢弃对后面帧影响不大。在确定某帧是否是可丢弃的时候，也可以采用一些自适应的方式与运动矢量跟踪法、帧差法、统计法、R-D法、拉格朗日乘数法等通用方法相结合。由于帧A2、A3、A5被标识为可丢弃的，它们中不包含用帧内编码块方式编码的块(以帧内编码方式编码帧间编码帧的某些块)。未被标识为丢弃的帧间编码帧A4、A6则可以根据具体情况选择是否包含用帧内编码块方式编码的块。例如，可对帧间编码帧中的整个块组用帧内编码块方式来编码。

视频流A或B中的帧间编码帧，至少有一帧在做运动估计时其参考帧中的像素做缩小以弱化帧与帧之间的相关性。图中帧A2以帧A1做参考，将帧A1的所有像素值乘以一个系数e所得的图像作为帧A2的参考图像。由于帧A2是可丢弃的，它的丢弃会对图像造成一定程度的影响，因此不妨将e设为0.4，同理其它帧间编码帧也可以具体情况选择合适的e值对其参考图像做处理。如果流A中从帧A2开始每个帧间编码帧都对其参考图像的像素值乘以0.4且不采用帧内编码块方式编码图像块，那么当编码帧A6时，它对A2帧的依赖性(相关性)已弱化到0.4*0.4*0.4＝0.064，此时帧A2的存在与否对A6帧的影响是很小的。若帧A6采用了帧内编码块编码方式编码部分图像块，则它对帧A2的依赖性会更弱。这样就提高的流A的可扩展性和交互性(随机访问、快进、快退等)。一般情况下，对帧间编码帧的参考图像的所有像素值的缩小系数e的大小与该帧是否被丢弃以及其参考帧是否被标识为可丢弃的有关。若一帧被标识为可丢弃的但其参考帧是不可丢弃的，此时系数e取的大一些。若一帧被标识为可丢弃的且其参考帧是可丢弃的，此时系数e取的小一些。若一帧是不可丢弃的且其参考帧也是不可丢弃的，此时系数e取的大一些。若一帧是不可丢弃的但是其参考帧是可以丢弃的，此时系数e取的小一些。需要指出，系数e的取值范围在半闭半开区间[0，1)之间。当然，还可以考虑其它因素来决定系数e的取值大小。

图1中，帧A2、A3、A5被标识为可丢弃的，因此它们不需要与之对应的切换到低码率流B的切换帧。切换帧可以使用不同于流A、B的帧间压缩编码方式。

图2中，假设服务器正在给客户传输视频流，其中视频流可以是已经编码好的或是实时编码获得的。开始时，网络带宽较窄，服务器传输低码率编码流B给客户。当流传输到时刻t1时，网络带宽检测方法检测到网络带宽增加到一定程度，符合实现规定的或按某种自适应算法确定的切换阈值，服务器就传输切换帧B3A4切换到高码率编码流A。在(t1+1)时刻，传输流A的帧A5，被标识为可丢弃的帧A6的传输与否依赖于网络带宽增加的幅度。若增加的幅度使网络带宽大于或等于传输流A所必需的网络带宽，或网络带宽符合按照某种网络带宽适应策略规定不丢帧的阈值，则传输帧A6。此时解码端得到的混合流由帧B1、B2、B3、B3A4、A5、A6组成。若增加的幅度未使网络带宽大于或等于传输流A所必需的网络带宽，则不传输帧A6。如果在传输完帧B5后检测出网络带宽增加但小于传输流A所必须的网络带宽或按照某种网络带宽适应策略得出的阈值，此时不利用切换帧B5A6进行切换，而是继续传输流B。反之若大于传输流A所必须的网络带宽或按照某种网络带宽适应策略得出的阈值，则利用切换帧B5A6进行切换。需要指出，采用丢帧或流切换应对网络带宽变化的策略可根据具体情况重新设定或按照某种自适应方式实现。

视频流A或流B采用帧间编码方式编码的视频帧中至少有一帧需对其参考帧的像素值进行一定比例的缩小再进行运动估计，采用帧内编码块模式编码的图像块只会有选择地在那些未被标识为可丢弃的帧间编码帧中出现。具体实现过程可参考上述对图1中对应的描述。

切换帧可以使用不同于流A、B的帧间压缩编码方式。

图3示出了本发明的混合流实现流程。同一视频源的两路视频流A和B被编码，每一路流中包含若干个帧间编码帧。每一路压缩视频流中的采用帧间编码方式编码的视频帧中至少有一帧被标识为可丢弃的。每一路压缩视频流中采用帧内编码块模式编码的图像块只会有选择地在那些未被标识为可丢弃的帧间编码帧中出现。每一路压缩视频流中的采用帧间编码方式编码的视频帧中至少有一帧对其参考帧的像素值进行一定比例的缩小。流A到流B的切换帧是由流A中的帧与其切换到流B后的目标帧以帧间编码方式得到的，同理流B到流A的切换帧是由流B中的帧与其切换到流A后的目标帧以帧间编码方式得到的，切换帧可以采用不同于流A或流B的帧间编码方式。在生成从高码率视频流到低码率视频流的切换帧过程中，高码率视频流中被标识为可丢弃的帧间编码帧处不需要引入与之对应的切换帧。最后混合帧由流A、流B及流A到流B的切换帧或流B到流A的切换帧组成。上述这些技术(丢帧标识、运动估计、帧内编码块等)的组合可以用较少的比特数编码切换帧，同时在复杂的网络环境下获得高质量的重建视频。几路视频流独立编码，任何两路流之间可以生成切换帧，切换帧可以以离线或实时方式来编码，例如在视频点播中采用离线方式来编码切换帧，在现场直播时采用实时方式来编码切换帧。

Claims (6)

1、一种在网络中传输视频流的方法，网络传输时，提供同一视频源片断的至少两路不同码率的压缩视频流，所述每路视频流至少有一个帧间编码方式编码的视频帧；其特征在于，

1.1在每一路视频流中，至少有一个被标识为可丢弃帧，可丢弃帧是帧间编码帧；所述丢弃帧中不包含任何以帧内编码块模式编码的图像块；采用帧内编码块模式编码的图像块只会有选择地在那些未被标识为可丢弃的帧间编码帧中出现；

1.2为任何一对视频流，至少编码一个切换帧，该切换帧中包含的是当前流中的帧与它切换到另一路流中目标帧之间采用帧间编码方式编码后的结果；

1.3在传输过程中，网络带宽由高变低时，若变化量不大，先丢失可丢弃帧；若仍不满足条件，通过切换帧切换到低码率视频流；若带宽变化量突然很大，直接切换到低码率视频流；网络带宽由低变高时，通过切换帧直接切换到高码率视频流。

2、权利要求1所述的在网络中传输视频流的方法，其特征在于，在编码切时，在可能从高码率视频流切换到低码率视频流发生在高码率视频流中被标识为可丢弃的帧间编码帧处，和在高码率视频流切换到低码率视频流或低码率视频流切换到高码率视频流发生在切换后的目标帧是帧内编码帧处，不需要引入切换帧。

3、权利要求1或2所述的在网络中传输视频流的方法，其特征在于，在对帧间编码帧做运动估计时，至少有一帧所对应的参考帧的像素值进行一定比例的减小，以缩小后的参考帧为参考帧进行运动估计。

4、权利要求3所述的在网络中传输视频流的方法，其特征在于，所述对参考帧的像素进行缩小的比例为大于或等于0，小于1。

5、权利要求1所述在网络中传输视频流的方法，所述的视频流包括预先压缩存储在媒质上的视频流。

6、权利要求1所述的在网络中传输视频流方法，所述的视频流包括实时编码获得的视频流。

Images