CN101511010A - 一种媒体流发送方法及装置 - Google Patents

Abstract

本发明公开了一种媒体流发送方法及装置，用以提高媒体流的实时性和流畅性。本发明提供的一种媒体流发送方法包括：流媒体服务器根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；所述流媒体服务器根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流。

Description

一种媒体流发送方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种媒体流发送方法及装置。

背景技术

在多媒体发布系统中，媒体流会因为数据量过大、网络带宽不稳定等因素导致媒体流传输速率过慢，影响用户观看。

目前现有技术之存在两种媒体流传输方式，以提高媒体流传输速率：

一种方式是加大客户端的缓冲区，客户端接收到的媒体流先存放在缓冲区中，等待缓冲区满之后，再从缓冲区读取媒体流并进行解码播放。其本质是以降低实时性来换取播放的流畅性，实际上在网络阻塞严重时，客户端的缓冲区中的内容被播放完毕后依然会画面停滞等待缓冲区被再次填满之后才能继续进行播放，因此，其实时性和流畅性并不能得到保障。

另一种方式是在媒体流的传输过程中，丢掉双向预测帧(B帧)、前向预测帧(P帧)甚至关键帧(I帧)，其本质是牺牲画面的流畅性来换取画面的实时性，因此使得整个流媒体文件的画面不连续，出现丢帧跳动。

综上所述，现有的媒体流传输技术无法既保证媒体流的实时性又保证其流畅性。

发明内容

本发明实施例提供了一种媒体流发送方法及装置，用以提高媒体流的实时性和流畅性。

本发明实施例提供的一种媒体流发送方法包括：

流媒体服务器根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；

所述流媒体服务器根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；

所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流。

本发明实施例提供的一种流媒体服务器包括：

带宽确定单元，用于根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；

码率确定单元，用于根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；

媒体流发送单元，用于向所述客户端发送采用所述码率编码得到的媒体流。

本发明实施例提供的一种编码器包括：

编码单元，用于针对同一场景内容采用不同码率编码得到多个流媒体文件，或者针对同一场景内容采用不同码率编码得到多个实时媒体流；

发送单元，用于将所述多个流媒体文件发送给所述流媒体服务器，或者将所述多个实时媒体流实时发送给流媒体服务器。

本发明实施例提供的一种解码器包括：

解码单元，用于对接收到的媒体流进行解码；

网络状态监控单元，用于监控所述媒体流的丢包状态，并根据所述丢包状态确定当前的网络状态信息；

网络状态反馈单元，用于向所述流媒体服务器反馈所述网络状态信息。

本发明实施例，通过流媒体服务器根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；所述流媒体服务器根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流，从而提高了媒体流传输过程中的实时性和流畅性，使得客户端可以实时、流畅地播放得到的媒体流，增强了客户体验。

附图说明

图1为本发明实施例提供的一种媒体流传输系统的结构示意图；

图2为本发明实施例提供的一种媒体流发送方法的总体流程示意图；

图3为本发明实施例提供的一种媒体流发送方法的具体流程示意图。

具体实施方式

本发明实施例提供了一种媒体流发送方法、流媒体服务器、编码器以及解码器，用以提高媒体流传输过程中的实时性和流畅性，使得客户端可以实时、流畅地播放得到的媒体流，从而增强了客户体验。

下面结合附图对本发明实施例提供的技术方案进行说明。

参见图1，本发明实施例提供的一种媒体流传输的系统包括：编码器11、流媒体服务器12和解码器13。其中，编码器11可以位于一个独立的服务器上，也可以位于流媒体服务器12上；解码器13可以位于客户端。

较佳地，编码器11包括：

编码单元111，用于针对同一场景内容采用不同码率编码得到多个流媒体文件，这些流媒体文件构成一个合成流媒体文件；或者，编码单元111还可以用于针对同一场景内容采用不同码率编码得到多个实时媒体流，这些实时媒体流构成一个合成码流。

发送单元112，用于将编码单元111针对同一场景内容采用不同码率编码得到合成流媒体文件发送给所述流媒体服务器12，或者将所述编码单元111针对同一场景内容采用不同码率编码得到合成码流实时发送给流媒体服务器12。

编码器11发出多种码率的合成流媒体文件或合成码流，流媒体服务器12动态侦测与客户端之间的带宽，并根据带宽动态调整发往客户端的解码器13的码流码率，从而实现带宽自适应，既保证了媒体流的实时性，又保证了媒体流的流畅性。

较佳地，所述编码单元111若针对同一场景内容采用不同码率编码得到多个流媒体文件，则这些流媒体文件中，不同的流媒体文件在同一时刻所对应的场景内容相同；若针对同一场景内容采用不同码率编码得到多个实时媒体流，则这些不同的实时媒体流在同一时刻所对应的场景内容也相同。

也就是说，流媒体服务器12可以有两种方式转发编码单元111发送的媒体流，一种是从编码单元111得到针对同一场景内容采用不同码率编码得到的多个媒体流组成的合成流，并对合成流进行存储，得到多个流媒体文件，然后再从这些流媒体文件中读取媒体流并发送给客户端的解码器13，采用这种方式发送的媒体流可以简称为存储流；另一种方式是从编码单元111实时得到针对同一场景内容采用不同码率编码得到多个实时媒体流，并实时转发给客户端的解码器13，采用这种方式发送的媒体流可以简称为实时流。其中，所述实时流，可以是预先存储在编码单元111中的，即对于编码单元111而言，该实时流实际上是存储流。

所述流媒体服务器12包括：

带宽确定单元121，用于根据客户端反馈的网络状态信息，确定所述流媒体服务器12与客户端之间的当前带宽。

码率确定单元122，用于根据当前带宽，确定当前需要向客户端发送的媒体流的码率。

媒体流发送单元123，用于向客户端发送采用所述码率确定单元122当前确定的码率编码得到的媒体流。

其中，反馈网络状态信息的操作可以由客户端中的解码器13执行，也可以由其他模块执行。

较佳地，所述码率确定单元122包括：

对应关系单元，用于预先存储带宽与码率的对应关系。

确定单元，用于根据流媒体服务器12与客户端之间的当前带宽，以及所述对应关系单元中存储的带宽与码率的对应关系，确定当前需要向客户端发送的媒体流的码率。

针对发送存储流的方式，所述流媒体服务器12还包括：

存储单元，用于预先存储针对同一场景内容采用不同码率编码得到的多个流媒体文件。

此时，所述媒体流发送单元123包括：

流媒体文件确定单元，用于确定当前需要向客户端发送的场景内容，并确定该场景内容所对应的多个流媒体文件，并根据当前确定的码率，从这些流媒体文件中查找采用该码率编码得到的流媒体文件。

当前帧数据确定单元，用于根据当前时刻，从该流媒体文件确定单元当前确定的流媒体文件中查找到需要向客户端发送的当前帧流媒体数据，并将该帧流媒体数据发送给客户端。

针对发送实时流的方式，所述流媒体服务器12还包括：

实时媒体流获取单元，用于实时获取针对同一场景内容采用不同码率编码得到的多个实时媒体流。

此时，所述媒体流发送单元123，根据当前确定的码率，从多个实时媒体流中查找采用该码率编码得到的媒体流，并将该媒体流发送给客户端。

较佳地，客户端中的解码器13包括：

解码单元131，用于对接收到的媒体流进行解码。

网络状态监控单元132，用于监控媒体流的丢包状态，并根据丢包状态确定当前的网络状态信息。

网络状态反馈单元133，用于向所述流媒体服务器12反馈网络状态信息。例如，可以通过实时传输控制协议(RTCP)报文反馈网络状态信息。

其中，网络状态监控单元132和网络状态反馈单元133也可以独立于解码器13之外设置在客户端中。

例如，本发明实施例中所提供的编码器11，是一种采集编码设备，可以为数字视频服务器(DVS)、数字视频录像机(DVR)、IP摄像机(IPCamera)、PC插编码卡及采集设备(CodecPc)，根据现在常用的码率针对同一场景内容得到若干个不同码率的码流，并将多股码流进行流化索引，具体的说，就是根据时间信息将同一时间标记指针指向同一场景内容对应的码流的起始位置，因此使得流媒体服务器12可以使用同一时间轴在合成码流中索引多股不同码率的码流。

其中，编码器11在进行编码的过程中所采用的编码参数，可以是初始时设置在编码器11中的，也可以在后续根据信令服务器的指令进行更改所得到的。其中，所述的编码参数，例如：视频流参数，一般包括编码格式、制式、帧率、码率、I帧间隔等等；音频流参数，包括编码格式、采样率、比特率、打包时长等等。

另外，本发明实施例中所提供的解码器13，还可以设置有根据网络状态信息估计流媒体服务器12与解码器13所在的客户端之间的动态带宽。也就是说，流媒体服务器12中的带宽确定单元121也可以位于客户端中，具体地，可以位于解码器13中，由客户端来确定流媒体服务器12与客户端之间的当前带宽，并直接将当前带宽的信息反馈给流媒体服务器12，以减轻流媒体服务器12的负担。

流媒体服务器12根据自身与解码器13之间的实时带宽作出实时码率调整，选择最适合的码率的码流，并在关键帧处对码流进行切换，从而实现不同码率的码流的带宽自适应切换。

因此，本发明实施例提供了一种媒体流带宽自适应的传输方案，可以应用在视频监控、视讯会议、IP电视(IPTV)等领域。

流媒体服务器12可以主动向客户端发送媒体流，也可以在接收到客户端的请求后，根据客户端请求向客户端发送媒体流。

参见图2，本发明实施例提供的一种媒体流发送方法总体包括步骤：

S101、流媒体服务器根据客户端反馈的网络状态信息，确定自身与客户端之间的当前带宽。

S102、流媒体服务器根据自身与客户端之间的当前带宽，确定当前需要向客户端发送的媒体流的码率。

S103、流媒体服务器向客户端发送采用该码率编码得到的媒体流。

较佳地，步骤S102包括：

流媒体服务器根据自身与客户端之间的当前带宽，以及预先存储的带宽与码率的对应关系，确定当前需要向客户端发送的媒体流的码率。

较佳地，编码器采用多种码率针对同一场景内容进行编码，并采用同一时间轴对通过不同码率采样得到的媒体流建立索引，将编码好的同一场景内容对应的合成媒体流发送给流媒体服务器。流媒体服务器收到编码器发送的同一场景内容对应的合成媒体流后，将该合成媒体流中进行存储，以便后续根据客户端请求进行媒体流的分发；或者，直接从接收到的合成媒体流中提取出需要发送的某一码率的码流并主动分发给客户端，例如实时转播等。

参见图3，本发明实施例提供的一种媒体流发送方法具体包括步骤：

S201、解码器向流媒体服务器发送请求媒体流的信令，该信令中包含所请求的媒体流的信息，例如媒体流文件标识等，进一步还可以包含解码器与流媒体服务器之间当前的网络状态信息。

S202、流媒体服务器解析解码器发送的信令，并根据该信令预估自身与解码器之间的当前带宽，向解码器发送适合当前带宽的码率的媒体流。

S203、解码器分析来自流媒体服务器的媒体流数据包的状态，如丢包率等等，并根据数据包的状态确定当前的网络状态信息，并将该网络状态信息通过RTCP报文反馈给流媒体服务器。

S204、流媒体服务器接收RTCP报文，并判断解码器请求的媒体流是否发送完毕，如果是，则结束，等待下一次解码器的媒体流请求信令，否则，执行步骤S205。

S205、流媒体服务器根据收到的RTCP报文，确定流媒体服务器与解码器之间的实时带宽。

S206、流媒体服务器判断该实时带宽是否适合当前码率，即是否与当前向解码器发送的媒体流的码率相对应，如果是，则执行步骤S207；否则，执行步骤S208。

S207、流媒体服务器继续按当前码率向编码器发送媒体流。

S208、流媒体服务器根据实时带宽作出动态调整，在需要向编码器发送的多种码率的合成媒体流中选取最合适当前带宽的码流，并由关键帧处对媒体流进行切换，并将切换后的媒体流发送给解码器。从而实现了针对不同带宽接入的解码器的码流自适应，以及解码器与流媒体服务器之间的动态带宽的码流自适应。

综上所述，本发明实施例提供了一种多媒体系统中的媒体流发布方案，解决了实时性与流畅性的兼顾问题，并根据网络带宽实时调整媒体流的码率。具体地，通过流媒体服务器根据客户端反馈的网络状态信息，确定流媒体服务器与客户端之间的当前带宽；流媒体服务器根据当前带宽，确定当前需要向客户端发送的媒体流的码率；流媒体服务器向客户端发送采用该码率编码得到的媒体流，从而提高了媒体流传输过程中的实时性和流畅性，使得客户端可以实时、流畅地播放得到的媒体流，即在动态带宽利用率最高的基础上实现了实时码流的流畅播放，增强了客户体验。

本发明实施例中所述的媒体流可以为视频流、音频流、数据流等等；所述的多媒体系统可以为视频监控系统、IPTV系统、视频会议系统、统一通信系统等等。本发明实施例提供的技术方案，不仅适用于流媒体服务器与解码器之间的动态带宽调整，还仅适用于流媒体服务器与不同带宽接入的解码器接入带宽的自适应，以及存储流的点播过程。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1、一种媒体流发送方法，其特征在于，该方法包括：

流媒体服务器根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；

所述流媒体服务器根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；

所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流。

2、根据权利要求1所述的方法，其特征在于，所述流媒体服务器根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率的步骤包括：

所述流媒体服务器根据自身与所述客户端之间的当前带宽，以及预先存储的带宽与码率的对应关系，确定当前需要向所述客户端发送的媒体流的码率。

3、根据权利要求1或2所述的方法，其特征在于，所述流媒体服务器预先存储有针对同一场景内容采用不同码率编码得到的多个流媒体文件；

所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流的步骤包括：

所述流媒体服务器确定当前需要向所述客户端发送的场景内容，并确定该场景内容所对应的多个流媒体文件；

所述流媒体服务器根据当前确定的码率，从所述多个流媒体文件中查找采用该码率编码得到的流媒体文件；

所述流媒体服务器根据当前时刻，从所述流媒体文件中查找到需要向所述客户端发送的当前帧流媒体数据，并将该帧流媒体数据发送给所述客户端。

4、根据权利要求3所述的方法，其特征在于，在所述多个流媒体文件中，不同的流媒体文件在同一时刻所对应的场景内容相同。

5、根据权利要求1或2所述的方法，其特征在于，所述流媒体服务器向所述客户端发送采用所述码率编码得到的媒体流的步骤包括：

所述流媒体服务器实时获取针对同一场景内容采用不同码率编码得到的多个实时媒体流；

所述流媒体服务器根据当前确定的码率，从所述多个实时媒体流中查找采用该码率编码得到的媒体流，并将该媒体流发送给所述客户端。

6、一种流媒体服务器，其特征在于，该服务器包括：

带宽确定单元，用于根据客户端反馈的网络状态信息，确定所述流媒体服务器与所述客户端之间的当前带宽；

码率确定单元，用于根据所述当前带宽，确定当前需要向所述客户端发送的媒体流的码率；

媒体流发送单元，用于向所述客户端发送采用所述码率编码得到的媒体流。

7、根据权利要求6所述的服务器，其特征在于，所述码率确定单元包括：

对应关系单元，用于存储带宽与码率的对应关系；

确定单元，用于根据所述流媒体服务器与所述客户端之间的当前带宽，以及所述对应关系单元中存储的带宽与码率的对应关系，确定当前需要向所述客户端发送的媒体流的码率。

8、根据权利要求7所述的服务器，其特征在于，所述服务器还包括：

存储单元，用于预先存储针对同一场景内容采用不同码率编码得到的多个流媒体文件；

所述媒体流发送单元包括：

流媒体文件确定单元，用于确定当前需要向所述客户端发送的场景内容，并确定该场景内容所对应的多个流媒体文件，并根据当前确定的码率，从所述多个流媒体文件中查找采用该码率编码得到的流媒体文件；

当前帧数据确定单元，用于根据当前时刻，从所述流媒体文件中查找到需要向所述客户端发送的当前帧流媒体数据，并将该帧流媒体数据发送给所述客户端。

9、根据权利要求7所述的服务器，其特征在于，所述服务器还包括：

实时媒体流获取单元，用于实时获取针对同一场景内容采用不同码率编码得到的多个实时媒体流；

所述媒体流发送单元，根据当前确定的码率，从所述多个实时媒体流中查找采用该码率编码得到的媒体流，并将该媒体流发送给所述客户端。

10、一种编码器，其特征在于，所述编码器包括：

编码单元，用于针对同一场景内容采用不同码率编码得到多个流媒体文件，或者针对同一场景内容采用不同码率编码得到多个实时媒体流；

发送单元，用于将所述多个流媒体文件发送给所述流媒体服务器，或者将所述多个实时媒体流实时发送给流媒体服务器。

11、根据权利要求10所述的编码器，其特征在于，所述编码单元编码得到的所述多个流媒体文件中，不同的流媒体文件在同一时刻所对应的场景内容相同。

12、一种解码器，其特征在于，所述解码器包括：

解码单元，用于对接收到的媒体流进行解码；

网络状态监控单元，用于监控所述媒体流的丢包状态，并根据所述丢包状态确定当前的网络状态信息；

网络状态反馈单元，用于向所述流媒体服务器反馈所述网络状态信息。

Images