CN102045312B

CN102045312B - 自适应转码方法和系统

Info

Publication number: CN102045312B
Application number: CN 200910205250
Authority: CN
Inventors: 俞贵涛; 胡建荣; 李璐
Original assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Current assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Priority date: 2009-10-21
Filing date: 2009-10-21
Publication date: 2013-09-18
Anticipated expiration: 2029-10-21
Also published as: CN102045312A

Abstract

本发明提供一种自适应转码方法和系统。所述自适应转码方法包括：当媒体播放器不支持本地多媒体文件的格式时，触发媒体服务器；媒体服务器确定转码模块是否支持转码，并且当确定转码模块支持转码时，通知媒体播放器上传所述多媒体文件；当媒体播放器将所述多媒体文件上传到媒体服务器时，媒体服务器启动转码模块读取上传的多媒体文件，从而转码模块以预定的转码策略对多媒体文件进行转码；媒体服务器从转码模块接收转码后的数据，并将接收的转码后的数据发送到媒体播放器中以进行播放；媒体服务器探测媒体播放器播放过程中网络性能参数以及播放器本身的性能参数，并根据所述性能参数对转码策略进行实时调整。

Description

自适应转码方法和系统

技术领域

本发明涉及一种自适应转码方法和系统，更具体地讲，涉及一种基于数字家庭网络的媒体播放器端的自动自适应转码方法和系统。

背景技术

数字家庭网络通过家庭网关将公共网络功能和应用延伸到家庭，并以有线网络或无线网络方式连接各种信息终端(如家用电器、PC等)，提供语音、数据、多媒体、控制和管理等功能，达到信息在家庭内部终端之间以及与外部公共网络的充分流通和共享。从1994年数字家庭概念的诞生，到目前数字家庭市场的正式启动，从“维纳斯”计划的推出，到UPnP论坛、DLNA数字家庭组织的成立，已经历经十余年发展，数字化生活已步入真正的发展期。随着数字家庭网络梦想的逐步清晰，标准的问题随之而来。

2003年6月，英特尔、飞利浦、IBM、惠普、微软和富士通等17家消费电子行业巨头成立“数字家庭工作组”(DHWG：Digital Home WorkGroup)，共同研发在开放的行业标准基础上，建立一个具备协同工作能力的平台，以使各厂商开发出能通过有线或无线的互联网络进行内容共享的数字家庭产品。闪联(IGRS)标准于2005年6月29日正式获批成为国家推荐性行业标准，成为中国第一个“3C协同产业技术标准”。总体上看，DLNA的范围仅限于家庭内部，其目的是实现家电、计算机、通信设备的智能连接。IGRS与DLNA的主要区别在于：IGRS标准不仅实现设备间的智能互联，更重要的是实现设备的资源共享和协同服务；从工作范围上来讲，IGRS标准的范围不仅限于家庭，包括企业中的应用以及社会上相关资源的协同应用。

对于以上标准，按层次来分可以分为三块：设备探测与连接、媒体内容的管理以及媒体格式与传输。转码功能属于“媒体格式与传输”这个范畴。IGRS中由网关来实现，DLNA中由MIU(媒体互操作单元)来实现。网关与MIU都可以实现实时转码，且能够根据配置信息自动调整转码方案。然而，无论IGRS还是DLNA，实现的都是媒体流由媒体服务器传输到媒体播放器过程中的转码，默认多媒体文件存放在媒体服务器中。因此，现有转码方案并没有考虑到当多媒体文件存在于媒体播放器端时，媒体播放器需要对多媒体文件进行转码才能播放的问题。此外，现有技术只提供几种固定的转码方案，而没有根据媒体播放器的性能与网络状况实时调整的转码方案。

发明内容

在下面的描述中将部分地阐明本发明另外的方面和/或优点，通过描述，其会变得更加清楚，或者通过实施本发明可以了解。

根据本发明的一方面，提供一种自适应转码方法，包括以下步骤：当媒体播放器不支持本地多媒体文件的格式时，触发媒体服务器；媒体服务器确定转码模块是否支持转码，并且当确定转码模块支持转码时，通知媒体播放器上传所述多媒体文件；当媒体播放器将所述多媒体文件上传到媒体服务器时，媒体服务器启动转码模块读取上传的多媒体文件，从而转码模块以预定的转码策略对多媒体文件进行转码；媒体服务器从转码模块接收转码后的数据，并将接收的转码后的数据发送到媒体播放器中以进行播放；媒体服务器探测媒体播放器播放过程中网络性能参数以及播放器本身的性能参数，并根据所述性能参数对转码策略进行实时调整。

根据本发明另一方面，提供一种自适应转码系统，包括：媒体播放器，当不支持本地多媒体文件的格式时触发媒体服务器，并且根据媒体服务器的通知上传所述多媒体文件；媒体服务器，确定转码模块是否支持转码，并且当确定转码模块支持转码时，通知媒体播放器端上传所述多媒体文件；转码模块，当媒体播放器将所述多媒体文件上传到媒体服务器时，读取上传的多媒体文件，以预定的转码策略对多媒体文件进行转码，并将转码后的数据发送到媒体服务器，其中，媒体播放器从媒体服务器接收转码后的数据以进行播放，媒体服务器探测媒体播放器的播放过程中网络性能参数以及播放器本身的性能参数，并根据所述性能参数对转码策略进行实时调整。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：

图1示出了根据本发明实施例的自适应转码系统的框图；

图2示出了根据本发明实施例的自适应转码方法的流程图。

具体实施方式

现在对本发明实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明。

图1示出了根据本发明实施例的自适应转码系统的框图。参照图1，所述自适应转码系统包括媒体服务器、媒体播放器和转码模块，其中，转码模块可以设置在媒体服务器中，或者与媒体服务器分开设置。在媒体服务器、媒体播放器和转码模块内部又包含有多个功能模块，以协同完成特定功能，比如上传、转码、下载等。

具体地讲，媒体服务器包括：设备探测和连接模块、内容目录服务模块、上传控制模块、流媒体服务模块、XML文本解析模块、转码动态配置模块、网络和播放器性能探测模块、FIFO(先进先出)控制模块。其中，设备探测和连接模块、内容目录服务模块、上传控制模块、流媒体服务模块和XML文本解析模块是数字家庭网络协议中已经定义的。

设备探测和连接模块探测媒体服务器与家庭网络中的装置的连接状态，并实现与家庭网络中的装置的物理连接。内容目录服务模块向媒体播放器提供可以播放的内容(视频、音频、图片等)的目录服务。XML文本解析模块用于解析转码器端以及媒体播放器端的配置文件，并将解析后的配置文件的信息提供给转码动态配置模块。上述三个模块所实现的功能是本领域技术人员公知的，因此在图1中省略了上述三个模块。

上传控制模块控制由媒体播放器上传的多媒体文件数据，用于实现速率的控制以匹配转码模块的转码速度。

FIFO控制模块提供数据流的一种先进先出的机制，从而方便对流媒体数据进行流量控制。FIFO控制模块包括两个FIFO文件，一个用来存储从媒体播放器端接收的原始格式的FIFO输入文件(即，媒体播放器上传的多媒体文件数据)，另一个从转码器读取FIFO输出文件，即，经由转码器转码后的多媒体数据。根据本发明实施例，FIFO控制模块可以设置一个容量限制以便控制流量。例如，当FIFO输入文件达到容量限制时，上传控制模块根据FIFO控制模块发出的错误消息请求媒体播放器停止上传多媒体文件数据。当FIFO输入文件已被转码模块读取之后FIFO输入文件空闲时，上传控制模块根据FIFO控制模块发出的空闲消息请求媒体播放器继续上传多媒体文件数据。

流媒体服务模块从FIFO控制模块接收FIFO输出文件(即，转码后的多媒体数据)，并将转码后的多媒体数据传输到媒体播放器。

网络和播放器性能探测模块实时探测网络性能参数以及播放器本身的性能参数。网络性能参数包括当前带宽、IP包的送达率等。播放器本身的性能参数包括当前CPU占用率、当前帧率等。网络性能参数和播放器本身的性能参数每隔一段时间(例如，每隔5秒)就会更新一次。网络和播放器性能探测模块实时获取网络和播放器本身的性能参数，并将这些性能参数传输到转码动态配置模块。

转码动态配置模块可以获得以下信息：网络和播放器本身的性能参数、转码器功能描述文件以及媒体播放器端配置文件。其中，媒体播放器端配置文件包括播放器硬件功能描述文件和播放器性能描述文件，稍后将结合媒体播放器对此进行描述。转码动态配置模块利用转码器功能描述文件和媒体播放器端配置文件来大致配置转码模块的转码策略，并利用网络和播放器本身的性能参数来实时调整转码策略，以使转码和播放性能达到最佳。

媒体播放器包括上传模块、媒体控制模块、媒体播放模块、播放器硬件功能描述文件和播放器性能描述文件。其中，上传模块、媒体控制模块、媒体播放模块是数字家庭网络协议中已经定义的，而播放器硬件功能描述文件和播放器性能描述文件组成上述的媒体播放器端配置文件。媒体播放器端配置文件可存储在媒体播放器的本地存储器中。此外，图1中示出了置于媒体播放器中的多媒体文件。

媒体播放模块用于播放多媒体文件。具体地讲，媒体播放模块是一个多输入源的多媒体播放器，支持音频、视频、图片的播放。在正常情况下，如果媒体播放器的本地硬件解码器可以对多媒体文件解码时，播放模块直接播放多媒体文件；如果本地硬件解码器不支持对多媒体文件解码并且同时转码模块支持转码，则媒体播放模块将数据源转向媒体服务器端的输入，接收媒体服务器中的流媒体服务模块提供的数据(即，转码后的多媒体文件)，以实现实时流媒体播放。

媒体控制模块控制上传模块和媒体播放模块，并监控播放器性能信息。媒体控制模块监控媒体播放模块播放的多媒体文件的格式，当发现有多媒体文件的格式不被媒体播放模块支持时，触发上传模块。当上传模块由媒体控制模块触发时，将多媒体文件上传到媒体服务器中的上传控制模块。上传模块可以在媒体控制模块的控制下根据HTTP协议上传多媒体文件。此外，媒体控制模块还可将媒体播放器端配置文件发送到媒体服务器中的转码动态配置模块。另一方面，在转码模块进行转码期间，媒体控制模块根据媒体服务器中的网络和播放器性能探测模块的请求，将播放器性能信息实时发送到网络和播放器性能探测模块。

播放器硬件功能描述文件包括两个方面，一方面是硬件解码器的功能描述，另一方面是播放器的硬件描述，比如屏幕大小、分辨率、内存大小、声道数等。播放器性能描述文件包括处理器的能力、硬件解码器的能力以及分配给解码器的显示内存的容量等。

转码模块包括任意第三方提供的转码器以及转码器功能描述文件。最常见的转码器就是ffmpeg。转码器功能描述文件定义了转码器所支持的转码功能，例如，将wmv文件转换为mpeg4文件的转码功能。转码模块在运行过程中可以是一个独立进程，也可以是独立的硬件转码装置。

具体地讲，转码模块可以是第三方的转码软件库，也可以是网络上的硬件设备。如果转码模块是网络上的硬件设备的话，则在转码模块与媒体服务器中间需要设置网络通信模块以实现两者间的数据与控制信息的传输。转码模块本身是动态可配置的，涉及码率的变换、输出分辨率的变换、色彩空间的变换等。

根据本发明实施例，媒体服务器中的转码动态配置模块首先提取转码器功能描述文件，确定可以转码的格式范围，建立转码规则库。然后，转码动态配置模块提取媒体播放器端配置文件，按顺序匹配查询转码模块是否支持将原始格式转换到播放器所支持的格式，并按最近匹配原则选择。由于网络和播放器性能的不稳定性，因此转码动态配置模块可利用网络和播放器性能探测模块所提供的信息实时调整转码动作，以达到在播放器端实现最优播放效果。

以下参照图2来描述由所述自适应转码系统执行的自适应转码方法。

图2示出了根据本发明实施例的自适应转码方法的流程图。假设此时媒体播放器和媒体服务器已建立了连接。

参照图2，在步骤S201中，当媒体播放器中的媒体播放模块在播放本地多媒体文件时，如果媒体控制模块发现该多媒体文件的格式不被媒体播放模块支持，则读取本地存储器中的媒体播放器端配置文件，并将读取的媒体播放器端配置文件发送到媒体服务器端。同时，媒体控制模块可触发媒体服务器中的转码动态配置模块。

媒体播放器端配置文件中的播放器硬件功能描述文件的示例由XML文本描述如下：

<mimetype>audio/x-wav</mimetype>

<mimetype>audio/midi</mimetype>

<mimetype>audio/mp3</mimetype>

<mimetype>video/mp4</mimetype>

<mimetype>video/3gp</mimetype>

<mimetype>video/x-mp4</mimetype>

<mimetype>image/jpeg</mimetype>

<mimetype>image/gif</mimetype>

<mimetype>image/png</mimetype>

</profile>

</profile>

根据如上所示的播放器硬件功能描述文件，可以确定媒体播放器支持的音频、视频、图片格式，以及媒体播放器的硬件信息，比如分辨率、内存大小、声道数。

在步骤S202中，媒体服务器中的转码动态配置模块接收到媒体播放器端配置文件后，调用XML文本解析模块将媒体播放器端配置文件解析成元数据(例如，播放器硬件功能描述文件中定义的audio/x-wav、video/mp4、image/png等)，同时解析转码器功能描述文件，利用解析后的信息确定转码模块是否支持转码。这里，转码动态配置模块首先确定在转码器功能描述文件里定义的所支持的转码类型，然后确定是否可以将当前媒体播放器不支持的格式转换到播放器端配置文件中所列的任意一种文件。如果确定转码模块支持转码，则转码动态配置模块通知媒体播放器端开始上传多媒体文件，同时将媒体播放器端的数据源从本地多媒体文件重定向到媒体服务器的流媒体服务。

转码器功能描述文件文本示例由XML文本描述如下：

</profile>

根据如上所示的转码器功能描述文件，定义了一系列的转码规则以及默认的转码参数。这里，转码规则指的是从一种编码格式转换到另一种编码格式，转码参数指的是将被传送给转码模块的参数，用于调整转码模块的运行状态。具体地讲，转码参数可包括分辨率、帧率、视频比特率、音频比特率等。根据本发明实施例，转码模块支持动态调整其运行参数。

在步骤S203中，媒体播放器中的上传模块将多媒体文件数据传输到媒体服务器。具体地讲，在转码动态配置模块确定转码模块支持转码时，上传控制模块向媒体播放器发送HTTP-Get请求，接收到该请求的媒体播放器通过媒体控制模块控制上传模块将多媒体文件数据传输到媒体服务器，媒体服务器的上传控制模块将接收到的多媒体文件数据传送到FIFO控制模块的FIFO输入文件中。

在步骤S204中，媒体服务器中的转码动态配置模块启动转码模块，从而转码模块读取上传的多媒体文件，并以预定转码策略对多媒体文件数据进行实时解码。这里，转码模块可以以单独进程的模式或者以单独硬件模块的模式，由解析的转码器功能描述文件和媒体播放器端配置文件初始化(即，配置转码模块的转码策略)。

在步骤S205中，在转码模块进行实时转码后，将转码后的数据发送到媒体服务器的FIFO输出文件中。

在步骤S206中，媒体服务器中的流媒体服务模块读取FIFO输出文件中的数据，然后以HTTP协议的形式将读取的数据发送到媒体播放器中，以进行播放。

在步骤S207中，媒体播放器中的播放模块接收流媒体服务模块传输来的数据，调用本地硬件解码器对数据解码，并在显示屏幕上显示解码的数据。

在步骤S208中，媒体服务器中的网络和播放器性能探测模块以固定频率(例如，5秒/次)探测媒体播放器的播放过程中网络以及播放器本身的性能参数，并将探测到的参数传输到转码动态配置模块，从而转码动态配置模块可根据所述性能参数实时地调整转码模块的转码策略。即，转码动态配置模块可根据所述性能参数实时地调整转码参数，以实现动态配置转码模块。

尽管在以上描述中，多媒体文件数据的传输基于HTTP协议，但是本发明不限于此，也可基于FTP协议来传输多媒体文件数据。

根据本发明的自适应转码方法和系统利用数字家庭网络提供的现有功能，具有成本低、灵活性大、可配置等优点。此外，根据本发明的自适应转码方法和系统为的数字家庭网络环境下的数字装置提供了媒体格式无关性的概念，从而只需要在整个数字家庭网络环境下提供一个强大的转码服务器，就可以解决多个数字装置解码能力弱的问题。

虽然已经参照本发明的实施例显示和描述了本发明，但是本领域技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims

1.一种自适应转码方法，包括以下步骤：

当媒体播放器不支持本地多媒体文件的格式时，触发媒体服务器；

媒体服务器确定转码模块是否支持转码，并且当确定转码模块支持转码时，通知媒体播放器上传所述多媒体文件；

当媒体播放器将所述多媒体文件上传到媒体服务器时，媒体服务器启动转码模块读取上传的多媒体文件，从而转码模块以预定的转码策略对多媒体文件进行转码；

媒体服务器从转码模块接收转码后的数据，并将接收的转码后的数据发送到媒体播放器中以进行播放；

媒体服务器探测媒体播放器播放过程中网络性能参数以及播放器本身的性能参数，并根据所述网络性能参数以及播放器本身的性能参数对转码策略进行实时调整。

2.根据权利要求1所述的自适应转码方法，其中，触发媒体服务器步骤包括：

当媒体播放器不支持本地多媒体文件的格式时，读取本地存储器中的媒体播放器端配置文件；

将读取的媒体播放器端配置文件发送到媒体服务器；

触发媒体服务器。

3.根据权利要求2所述的自适应转码方法，其中，媒体服务器对接收的媒体播放器端配置文件以及转码模块提供的转码器功能描述文件进行解析以确定转码模块是否支持转码。

4.根据权利要求2所述的自适应转码方法，其中，媒体服务器根据解析的媒体播放器端配置文件和转码器功能描述文件来确定所述预定的转码策略。

5.根据权利要求1所述的自适应转码方法，其中，媒体服务器以固定频率探测媒体播放器播放过程中网络性能参数以及播放器本身的性能参数。

6.根据权利要求2所述的自适应转码方法，其中，媒体播放器端配置文件包括播放器硬件功能描述文件和播放器性能描述文件，所述播放器硬件功能描述文件包括硬件解码器的功能描述和播放器的硬件描述，所述播放器性能描述文件包括处理器的能力、硬件解码器的能力以及分配给解码器的显示内存的容量。

7.根据权利要求3所述的自适应转码方法，其中，转码器功能描述文件定义转码模块所支持的转码功能。

8.根据权利要求1所述的自适应转码方法，其中，网络性能参数包括当前带宽、IP包的送达率，播放器本身的性能参数包括当前CPU占用率、当前帧率。

9.一种自适应转码系统，包括：

媒体播放器，当不支持本地多媒体文件的格式时触发媒体服务器，并且根据媒体服务器的通知上传所述多媒体文件；

媒体服务器，确定转码模块是否支持转码，并且当确定转码模块支持转码时，通知媒体播放器端上传所述多媒体文件；

转码模块，当媒体播放器将所述多媒体文件上传到媒体服务器时，读取上传的多媒体文件，以预定的转码策略对多媒体文件进行转码，并将转码后的数据发送到媒体服务器，

其中，媒体播放器从媒体服务器接收转码后的数据以进行播放，媒体服务器探测媒体播放器的播放过程中网络性能参数以及播放器本身的性能参数，并根据所述网络性能参数以及播放器本身的性能参数对转码策略进行实时调整。

10.根据权利要求9所述的自适应转码系统，其中，媒体播放器包括上传模块、媒体控制模块、媒体播放模块和媒体播放器端配置文件，

其中，当媒体播放模块不支持本地多媒体文件的格式时，媒体控制模块将媒体播放器端配置文件发送到媒体服务器，并且根据媒体服务器的通知控制上传模块上传所述多媒体文件。

11.根据权利要求9所述的自适应转码系统，其中，媒体服务器包括：

设备探测和连接模块，探测媒体服务器与媒体播放器的连接状态，并实现与媒体播放器的物理连接；

内容目录服务模块，向媒体播放器提供播放的内容的目录服务；

上传控制模块，控制由媒体播放器上传的多媒体文件；

XML文本解析模块，解析媒体服务器提供的媒体播放器端配置文件和转码模块提供的转码器功能描述文件；

转码动态配置模块，根据解析的媒体播放器端配置文件和转码器功能描述文件来确定所述预定的转码策略；

先进先出控制模块，用于存储媒体播放器上传的多媒体文件和经由转码模块转码后的数据；

流媒体服务模块，接收转码后的数据并将其发送到媒体播放器；

网络和播放器性能探测模块，探测媒体播放器的播放过程中网络性能参数以及播放器本身的性能参数，并将所述网络性能参数以及播放器本身的性能参数提供给转码动态配置模块以对转码策略进行实时调整。

12.根据权利要求9所述的自适应转码系统，其中，转码模块包括：转码器，用于执行转码功能；转码器功能描述文件，定义转码器所支持的转码功能。

13.根据权利要求11所述的自适应转码系统，其中，网络和播放器性能探测模块以固定频率探测媒体播放器播放过程中网络性能参数以及播放器本身的性能参数。

14.根据权利要求10或11所述的自适应转码系统，其中，媒体播放器端配置文件包括播放器硬件功能描述文件和播放器性能描述文件，所述播放器硬件功能描述文件包括硬件解码器的功能描述和播放器的硬件描述，所述播放器性能描述文件包括处理器的能力、硬件解码器的能力以及分配给解码器的显示内存的容量。

15.根据权利要求9所述的自适应转码系统，其中，网络性能参数包括当前带宽、IP包的送达率，播放器本身的性能参数包括当前CPU占用率、当前帧率。

16.根据权利要求9所述的自适应转码系统，其中，转码模块设置在媒体服务器中。

17.根据权利要求11所述的自适应转码系统，其中，先进先出控制模块设置有控制流量的容量限制，

其中，当上传的多媒体文件达到容量限制时，上传控制模块根据先进先出控制模块发出的错误消息请求媒体播放器停止上传多媒体文件，当上传的多媒体文件已被转码模块读取之后先进先出控制模块空闲时，上传控制模块根据先进先出控制模块发出的空闲消息请求媒体播放器继续上传多媒体文件。