CN100456830C - 实现流媒体内容审查的用户终端设备及审查方法 - Google Patents

Abstract

本发明涉及流媒体技术，特别涉及一种实现流媒体内容审查的用户终端设备及审查方法，以解决现有技术中如何在用户终端设备上实现视频码流的深度内容审查的问题。本发明技术方案在用户终端设备上利用第一解码模块、延迟模块和第一显示模块，解码重构流媒体业务的原始视频码流图像并延迟显示；利用第二解码模块和第二显示模块，同步解码并显示审查码流图像，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；利用用户指令处理模块接收并处理用户的控制指令，根据该控制指令触发第一显示模块停止显示所述原始视频码流图像。本发明技术方案在用户终端设备侧实现了流媒体内容的深度审查。

Description

实现流媒体内容审查的用户终端设备及审查方法

技术领域

本发明涉及流媒体技术，特别涉及一种实现流媒体内容审查的用户终端设备及审查方法。

背景技术

流媒体(Streaming Media)作为一种基本的多媒体通信形式，派生出了众多的多媒体通信业务形式：会议电视/可视电话，IPTV，VOD，即时通信等等。因此流媒体将成为下一代网络NGN(Next Generation Network)上的基本通信形式。尤其是近几年来国内外IPTV(Internet Protocol Television，IP电视)业务的快速兴起，流媒体在网络上的应用也在急速发展。

流媒体上的一类业务比如IPTV和VOD(Video on Demand，视频点播)，都是以提供视频音频内容为功能的。内容的范围非常广阔，包括影视节目、新闻、体育比赛、演唱会等等。各个国家，尤其是我国，对于内容的安全和监控一直是高度重视的，都有相关的法律。从保护未成年人角度出发，各国也有相关的规定。同时，在运营商/ISP(Internet Service Provider，因特网服务提供商)和内容提供商那里也有这样的需求。国内即将大规模开展IPTV的运营，那么首先一个问题是如何保证有效的内容监控和过滤，把有害的内容屏蔽掉，不解决这个问题，IPTV在国内的运营将无从谈起，国家相关部门也不可能发放牌照。因此，这个问题的解决对于推动IPTV产业的发展有着重要的意义。对于内容安全，通常的理解包括两个方面：

1、对于内容的保护，防止内容被没有权限的用户接收；

比如防止盗看电视节目等。对于这类入侵，有很多成熟技术，比如加密(Encryption)和加扰(Scrambling)、认证鉴权、以及数字版权管理DRM(DigitalRight Management)等。

2、对于有害和非法内容的入侵的防范，保护的对象是内容攻击的对象，通常是受众。

所谓内容过滤，就是对于内容的某些属性进行处理和判断，这些内容属性可以包括：内容提供商的名字、内容的URL(Universal Resource Locator通用资源定位器，网址是一类重要的URL)、内容提供服务器的IP地址等，以及媒体流以数据包封装情况下的数据包的包头(packet header)信息、包中的信息等。可以看出，这种处理和过滤也是按照由浅入深的层次进行的。

现有网络侧实现流媒体内容过滤的技术主要包括以下两种：

其一是依据内容的外部特征，或者叫做浅层特征来进行内容过滤。其中最典型的例子是基于URL的过滤，这种过滤技术存在错杀或错放的问题，并且通常也还需要第三方的评级体系，这样的评级体系是有的，有些收费的评级服务商专门提供评级服务。但是他们的结果也不能完全准确和穷尽网络上所有的内容。并且网络上的内容也是经常变化的，任何一个评级体系也不可能及时跟上这些变化。

对于要求非常高的应用场景，比如面向全国公众的IPTV，如果一旦有有害内容尤其是政治敏感内容入侵成功，造成的危害是巨大的。必须做到万无一失，因此采用浅层次的过滤都是不可靠的。必须采用最深层次的内容过滤，即视频音频数据本身的过滤，比如对于图像的识别，识别其中的有害场景(暴力、色情等)、有害文字信息(字幕)、特定人物的面孔等等。

其二、要达到很高的过滤正确率，必须深入到最深的层次，即内容数据本身。这个方面属于目前研究热点，深度包过滤DPF(Deep Packet Filtering)。现有深度DPF基于人工的深度内容设别，这种情况下，内容过滤设备能够对于媒体流进行解码并将内容播放出来(假设加密不是问题，因为加密的问题可以通过通信设备的合法监听要求解决)，供人工监控者审查。如果发现有问题，监控者立即采取措施，切断有害内容，同时切换到一段无害的内容比如公益广告等。当然在内容过滤设备之后必须有一个相当大容量的延迟设备，来延迟有害内容，给监控人员一定的判断和反应处置时间(比如5秒)。

这种过滤方法缺乏通用性和可扩展性：显然人工的方法无法适应未来网络的需求。通用性差，可扩展性差。并且人工判别，判别标准和人的教育、文化水平和意识形态等很主观的因素有关，无法做到标准一致；无法适用于IPTV的情况：以上人工方法可以适用于电视节目的监控，但是对于IPTV非常不适合。因为IPTV内容数量巨大，网络上的内容源数量更多，因此靠人工几乎无法胜任；并有大的延迟，不能适用于双方实时通信的情况：流媒体在双向的情况下，要求延时不能超过400ms，人工判别不可能做到这么低的延时。但是双向通信中，比如视频聊天却是很容易存在有害内容的地方。

如图1所示，目前在终端上进行内容安全控制的现有方案基本上只有一种，就是家长控制。所谓家长控制，来源于家长对于未成年人收看电视节目的控制。原理如下：

流媒体的内容从流媒体业务系统发送到用户终端之前，首先通过电子节目指导(EPG＝Electronic Program Guide)的方式把节目的分类定性定级属性通过元数据(metadata)的方式发送给用户终端。比如分类定性定级属性如下：

暴力类，xxx级，推荐观众年龄范围：＞＝18岁等；

家长控制机制就是利用节目元数据中的这些属性，通过设定家长锁(Parental lock)来控制未成年人对于有害内容的接收。家长锁本质上是一组过滤规则和条件，比如：

条件1、禁止接收xxx1级yyy1以上级别节目的接收；这里假设有害程度越高，级别越高。

条件2、禁止接收xxx2级yyy2以上级别节目的接收；

......

条件n、禁止推荐观众年龄小于18岁的节目的接收；

这些过滤条件，通过和节目中元数据携带信息的相应部分进行匹配，实现过滤，结果是允许或者禁止接收。通过逻辑运算(与AND，或OR，非NOT)，这些过滤条件可以进行任意的组合。目前市场上的商业流媒体系统，在具体实现家长控制的时候，一般有两种选择：

1、将家长锁数据配置在用户终端中，终端在接收到来自流媒体业务系统的元数据信息时，进行匹配和过滤；

2、家长锁数据被发送给流媒体业务系统，存储在用户数据库中，可以和用户的其它数据都存放在这样的数据库中。在流媒体业务系统中，有这样的用户管理子系统的。那么，一旦收到来自用户终端请求某个内容的业务请求，就从数据库中取出这些过滤规则和被请求节目的元数据进行匹配过滤。

对于有权限设定的家长锁的人，往往是通过口令认证来进行设定的。同样，如果要使自己能够不受限制收看节目，可以解除家长锁，或者在家长锁中增加凭口令收看节目的功能。对于后者，家长锁如果发现被请求内容的元素据和过滤规则发生符合性匹配，就要求用户提供口令，如果用户输入的口令正确，则允许收看，否则禁止收看。

该技术方案有以下缺点：

1、要求节目必须有元数据，一般情况下，元数据是由人工根据节目的内容增配上去的。对于点播类业务可以实现，但是对于直播类节目很难控制，比如在一个脱口秀节目中，嘉宾或者主持人是即兴表演的，实现根本无法知道内容是否有害，因此也无法加上元数据；

2、元数据属性的描述并不见得科学。家长看到的仅仅是元数据描述。无法看到节目视频听到音频的预览进行更加直接的判断；

3、元数据很容易被攻击伪造。如果有害内容的元数据伪装成无害的，则家长控制无法起到作用；

4、粒度比较粗。对于一个节目的定级可能就由其中1％的有害镜头决定了。99％的可能是无害甚至有益的内容，按照这种粗粒度的分级方法将被迫完全丢弃，无法实现精细粒度的内容接收控制。

发明内容

本发明提供一种实现流媒体内容审查的用户终端设备及审查方法，以解决现有技术中如何在用户终端设备上实现视频码流的深度内容审查的问题。

一种实现流媒体内容审查的用户终端设备，包括：

第一解码模块、延迟模块和第一显示模块，其中，所述延迟模块连接在第一解码模块和第一显示模块之间，所述第一解码模块解码重构流媒体业务的原始视频码流图像并经延迟模块延迟输出给第一显示模块进行显示；

第二解码模块和第二显示模块，所述第二解码模块解码所述原始视频码流的审查码流图像，并同步输出给第二显示模块进行显示，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；

用户指令处理模块，接收并处理用户的控制指令，根据该控制指令触发第一显示模块停止显示所述原始视频码流图像。

第一通信模块，分别连接所述第一解码模块和第二解码模块，所述第一解码模块和第二解码模块之间相互连接；所述第一通信模块从网络侧接收采用分层编码方式压缩的原始视频码流，该原始视频码流包括基本层码流和至少一层增强层码流，第一通信模块将其中的增强层码流输出给第一解码模块，将基本层码流作为审查码流输出给第二解码模块，第二解码模块解码基本层码流图像，第一解码模块根据第二解码模块已经完成解码的基本层码流和对应的增强层码流解码重构所述原始视频码流图像。

或者第一通信模块，分别连接所述第一解码模块和第二解码模块；所述第一通信模块从网络侧并行接收所述原始视频码流和基于该原始视频码流产生的低码率审查码流，将所述原始视频码流输出给第一解码模块，将所述审查码流输出给第二解码模块。

显示处理模块，连接在所述延迟模块和所述第一显示模块之间；第二解码模块通过所述显示处理模块和第二显示模块相连；所述显示处理模块对所述原始视频码流图像进行相关处理。

第二通信模块和用户指令输入模块，其中，所述第二通信模块连接在所述用户指令处理模块和用户指令输入模块之间，所述用户指令输入模块接收用户的控制指令并通过第二通信模块传输给用户指令处理模块。

所述第二显示模块独立设置或者与用户指令输入模块合并设置。

所述的用户终端设备还包括：

电子节目指导EPG信息处理模块，通过所述第一通信模块接收并处理网络侧的EPG/元数据系统发送的所述原始视频码流的元数据信息；

家长锁数据库，连接所述第二通信模块，存储用户通过所述用户指令输入模块输入的家长锁数据；

家长锁处理模块，连接在所述EPG信息处理模块和第二通信模块之间，并同时连接所述第一解码模块和所述家长锁数据库，根据所述元数据信息与家长锁数据对流媒体内容进行匹配过滤。

所述的用户终端设备还包括：

URL过滤信息数据库，连接所述第二通信模块，存储用户通过所述用户指令输入模块输入的URL过滤信息；

URL过滤处理模块，连接在URL过滤信息数据库和第一通信模块之间，根据用户输入的URL过滤信息过滤有害内容源。

所述的用户终端设备还包括：信息反馈模块，连接在用户指令处理模块和第一通信模块之间，根据用户通过所述用户指令输入模块输入的反馈指令从审查码流中提取有害内容的视频码流相关信息并通过第一通信模块将相关信息反馈给网络侧。

所述信息反馈模块至少包括如下之一：

第一反馈单元，从EPG信息处理模块接收的原始视频码流的元数据信息中提取该原始视频码流提供商的名称和/或代号、该原始视频码流发送频道的名称和/或编号、以及该原始视频码流的节目名称和/或编号并反馈给网络侧的EPG/元数据系统；

第二反馈单元，从EPG信息处理模块接收的原始视频码流的元数据信息中提取该原始视频码流提供商的名称和/或代号、该原始视频码流发送频道的名称和/或编号、以及该原始视频码流的节目名称和/或编号并反馈给网络侧的视频码流内容审查系统；

第三反馈单元，从第一通信模块中提取该原始视频码流的URL信息并反馈给网络侧第三方URL评级系统。

所述的用户终端设备还包括：主控模块，分别连接其它每一个模块，控制所述用户终端设备的运行其它信息处理模块，连接在所述第一通信模块和主控模块之间，接收来自网络侧的其它信息并输出给主控模块，主控模块再分发给相关模块，该其它信息至少包括网络管理信息或软件版本更新信息。

日志记录模块，分别连接其它每一个模块，记录所述用户终端设备的运行日志并生成日志报告。

替换内容库，连接在所述显示处理模块和主控模块之间，所述主控模块在第一显示模块停止显示所述原始视频码流图像时，通知显示处理模块从替换内容库中提取替换内容并输出给第一显示模块进行显示。

一种在用户终端设备上实现视频内容审查的方法，包括如下步骤：

用户终端设备解码原始视频码流的审查码流图像并同步输出给用户终端设备的第二显示模块，所述第二显示模块显示该审查码流图像，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；

用户终端设备解码重构流媒体内容的原始视频码流图像并在第一显示模块延迟显示该原始视频码流图像，并在接收到用户的控制指令时停止显示所述原始视频码流图像。

其中，所述原始视频码流被内容源分层编码为基本层码流和至少一层增强层码流，其中，所述基本层码流为所述审查码流，用户终端设备根据已经完成解码的基本层码流和对应的增强层码流解码重构所述原始视频码流图像。

或者，所述审查码流为网络侧设备或内容源基于所述原始视频码流生成的低码率专用审查码流，网络侧设备将该低码率专用审查码流和对应的原始视频码流一起并行转发给用户终端设备。

在所述用户终端设备解码原始视频码流后，所述方法还包括：用户终端设备根据从网络侧EPG/元数据系统接收的包含所述原始视频码流分类定级定性属性的元数据信息和用户输入的家长锁数据对流媒体内容进行匹配过滤。

所述方法还同时包括：用户终端设备将用户输入的家长锁数据发送给流媒体业务系统；流媒体业务系统在收到用户的流媒体业务请求时，根据所述家长锁数据和被请求流媒体内容的元数据信息进行匹配过滤。

在所述用户终端设备解码原始视频码流之前，所述方法同时包括：用户终端设备根据用户预先输入的URL过滤信息过滤有害内容源。其中，所述有害内容源的过滤包括：禁止向URL过滤信息中的有害内容源发送流媒体内容请求；或者禁止接收URL过滤信息中的有害内容源推送的流媒体内容。

所述方法还包括：用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，获取如下相关信息：停止显示的原始视频码流提供商的名称和/或代号、该原始视频码流发送频道的名称和/或编号、以及该原始视频码流的节目名称或编号；并在接收到用户输入的反馈指令时，将上述相关信息反馈给网络侧EPG/元数据系统和/或网络侧视频码流内容审查系统。

所述方法还包括：用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，获取停止显示的原始视频码的URL信息；并在接收到用户输入的反馈指令时，将该原始视频码的URL信息反馈给网络侧第三方URL评级系统。还可以同时获取并反馈有害内容出现的时间段信息和/或用户给出的有害内容级别信息。

本方法中，用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，保持显示所述审查码流图像。用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，显示预先保存在替换内容库中的替换内容。

本方法中，所述原始视频码流图像的延迟显示时间根据用户审查所述审查码流图像所需要的时间确定。

本发明的有益效果如下：

本发明技术方案在用户终端侧对原始视频码流的审查码流进行预览审查，实现了用户对原始视频码流的本地审查，可以增加内容审查的可靠性，尤其适合于对未成年人的保护；

本发明技术方案可以和现有家长锁控制、URL过滤技术结合使用，并可以和网络侧内容审查机制配合使用，完善了整个流媒体内容安全审查体系；

本发明技术方案提供了有害内容相关信息的反馈机制，通过用户的举报和反馈，不断完善相关流媒体内容安全的知识库和数据库，不断提高网络侧的流媒体内容审查能力；

本发明技术方案可以利用分层编码机制的码流多层结构和基本层和增强层的关系，来产生审查码流，分层编码因为非常适合在异质网络和网络情况复杂的环境下使用，因此是未来流媒体业务必然要用的，因此本发明符合技术发展趋势和市场需要，没有增加什么额外的要求。

附图说明

图1为现有用户终端设备上实现家长控制的原理示意图；

图2为实施例中所述第一种视频码流审查系统的原理示意图；

图3为实施例中所述第二种视频码流审查系统的原理示意图；

图4为实现本发明技术方案的一种用户终端设备主要结构示意图；

图5为图4中信息反馈模块的一种具体结构示意图。

具体实施方式

首先，本发明在此提供第一种在网络侧实现流媒体内容深度审查的方法，该方法的基本原理如图2所示，将审查中心设置在运营商的核心网络中心，该审查中心与周边的审查码流生成节点通信连接，审查码流生成节点可以单独设置，也可以和其它现有网络实体合并设置，例如：媒体网关或媒体资源服务器等。审查码流生成节点根据原始内容媒体流，产生审查媒体流发送给审查中心。审查媒体流中主要包括视频审查码流，产生视频审查码流方法较为复杂，可以包括以下几种：基于场景分割的视频审查码流产生方法；根据视频码流中的所有I帧生成视频审查码流的方法；基于重新量化DCT系数的视频审查码流产生办法；基于降低图像分辨率的视频审查码流产生办法和基于降低帧率的视频审查码流产生办法。通过上述方法产生的审查码流尽可能保持原始内容码流的主要信息，至少在人工观看的时候，能够判定内容的性质；并且比特率尽可能低，减小的网络传输的负担。

来自各处审查码流生成节点的审查媒体流被汇总到内容审查中心后，审查中心可以对审查码流进行人工识别或自动识别，如果有害，则要采取措施，命令有问题内容所经过的审查码流生成节点进行如下处理：

1、切断有害内容码流；

2、用无害的备用替换内容码流进行替换，这样用户仍然可以看到内容，最常用的方式是插播广告等；

当然，如果运营商的网络很大，审查中心也可以分级设置，一个审查中心负责网络一部分。仍参阅图3所示，存在一个最高的1级审查中心，另外，最高审查中心中的审查专家的权威最高，对于存在疑问的内容，如果下面的2级审查中心无法判定，可以交给最高审查中心利用人工识别进行判定。

本发明还提供第二种基于分层编码技术，在网络侧实现的视频码流审查方法、系统和相关设备。通过基本层来产生审查码流，由审查设备对于审查码流进行审查，审查没有问题时，审查设备再向接收用户接收端转发该基本层码流，增强层码流则不经过审查设备，直接发送给用户接收端，用户终端接收到所有基本层加上增强层后，可以进行解码重构总的视频码流并收看节目，用户终端收不到基本层，就无法解码重构收看节目。

实现该技术方案的审查系统结构示意图如图2所示，主要包括内容源的相关设备、内容数据库、流媒体服务器、内容审查设备和用户接收端设备，其中：

实线部分为直播模式的审查实现流程，直播模式下，内容源直接将审查用的基本码流直接发送给通过流媒体服务器发送给内容审查设备，剩余增强码流延迟发送给用户接收端，审查设备审查基本码流中不包含有害内容时，再将基本码流转发给用户接收端，如果基本码流中包含有害内容，则不将基本码流转发给用户接收端，这样，用户接收端收不到基本码流时，无法解码重构原始视频码流。这一过程中，审查设备可以根据需要的视频质量，通知内容源相应提高/降低基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。如果是后者，相应用于审查的码流中还包括一部分增强码流。

虚线部分为存储内容播放模式的审查实现流程，存储内容播放模式下，内容源先将产生的基本层码流和增强层码流分别存储到对应的基本层码流轨道和增强层轨道；流媒体服务器再播放该视频内容时，从基本层码流轨道中读出基本层码流并转发给审查设备，读出增强层码流并进行延迟处理后发送给用户终端；同样，这一过程中，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，相应用于审查的码流中还包括一部分增强码流。

该技术方案主要基于以下三种主流分层编码技术实现：基于时间分层视频编码方法；基于SNR分层视频编码方法；基于空间分层视频编码方法。

上述两种技术方案给出了在网络侧利用审查码流进行深度内容审查的技术方案，本申请基于上述两种技术方案，提出一种在用户终端设备上实现深度内容审查的技术方案，技术构思主要包括：

用户终端设备解码所述原始视频码流的审查码流图像并同步显示该审查码流图像，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；

用户终端设备解码重构流媒体内容的原始视频码流图像并延迟显示该原始视频码流图像，并在接收到用户的控制指令时停止显示所述原始视频码流图像。

原始视频码流图像的延迟时间取决于预览审查所需要的时间，通常可以设定为5秒钟。

基于前述第一种技术方案，审查码流为基于原始视频码流生成的专用低码率审查码流，该低码率审查码流和原始视频码流被网络侧一起并行转发给用户终端设备，该低码率审查码流和原始视频码流可能同时或近似同时到达用户终端设备，主要取决于网络侧内容审查系统(即审查中心)对原始视频码流相对于审查码流引入的延时。

基于前述第二种技术方案，原始视频码流被内容源分层编码为基本层码流和至少一层增强层码流，用户终端设备将其中的基本层码流作为所述审查码流；并根据已经完成解码的基本层码流和对应的增强层码流解码重构所述原始视频码流图像。如果网络侧审查设备不对基本层码流进行审查，则基本层码流和增强层码流同时达到用户终端设备；反之，如果网络侧审查设备预先对审查码流进行审查，则基本层码流和增强层码流相继到达用户终端设备。

上述两种场景中，用户都可以通过预览审查码流图像实现有害内容的审查，并及时切断包含有害内容的原始视频码流图像的播放，实现有害内容的控制。

该技术方案还可以和现有的家长锁控制方案同时应用，具体为：用户预先在用户终端设备存储家长锁数据，网络侧EPG/元数据系统在用户请求流媒体内容时，先将包含所述原始视频码流分类定级定性属性的元数据信息发送给用户终端设备；用户终端设备根据所述元数据信息和用户输入的家长锁数据对流媒体内容进行匹配过滤；用户终端设备还可以同时将用户输入的家长锁数据发送给流媒体业务系统，流媒体业务系统在收到用户的流媒体业务请求时，根据所述家长锁数据和被请求内容的元数据进行匹配过滤。

该技术方案还可以和现有的URL过滤方案同时应用，具体为：根据用户预先输入的URL过滤信息过滤有害内容源，其中，URL过滤包括两个方面的控制：禁止向URL过滤信息中的有害内容源发送内容请求；或者禁止接收URL过滤信息中的有害内容源推送的流媒体内容。

这样，对于家长不在家里的时间段，家长可以采用如下措施来保证未成年子女避免受到有害内容的侵害：

(1)传统的家长锁设定，封锁某类频道或者节目。

(2)家长订制第三方的URL过滤服务；

(3)订制网络侧的内容审查服务，实现精细粒度的内容接收控制。

如果网络侧限于技术原因或者经济原因，无法提供内容审查服务的情况下，有两种不同的情况：

(1)内容源(比如内容提供商的流媒体服务器)提供审查码流，但是网络侧没有审查系统来对于审查码流进行审查。则只能依靠用户终端接受审查码流，通过预览的方式进行审查。

(2)如果内容源不能提供审查码流，并且网络侧没有审查系统对于审查码流进行审查。那么只能依赖于家长控制或者第三方URL过滤。

对于URL过滤，首先网络侧流媒体业务系统的内容安全系统能够利用第三方提供的URL分类评级信息对于从网络侧发往用户终端的内容媒体流进行控制。用户终端从第三方URL服务系统得到准备请求内容的URL评级，用用户自己的过滤条件来匹配第三方URL评级信息，然后进行接收控制。

在审查出有害内容后，该技术方案还可以进一步向网络侧相关系统反馈有害内容的相关信息，包括以下几个方面的反馈：

1、向网络侧EPG/元数据系统反馈如下信息：所述原始视频码流提供商的名称和/或代号、所述原始视频码流发送频道的名称和/或编号、所述原始视频码流的节目名称或编号；

2、向网络侧视频码流内容审查系统反馈如下信息：所述原始视频码流提供商的名称和/或代号、所述原始视频码流发送频道的名称和/或编号、所述原始视频码流的节目名称或编号；

3、向第三方URL评级系统反馈所述原始视频码的URL信息。

还可以同时反馈有害内容出现的时间段信息和/或用户给出的有害内容级别信息。该反馈机制可以为网络侧提供很好的参考数据，以完善网络的各种过滤、审查机制。例如：网络侧EPG/元数据系统可以根据真实的反馈信息及时修正元数据信息；内容审查系统可以根据真实的反馈信息实现更精细的内容审查；第三方URL评级系统也可以根据其中真实的反馈信息修正评级数据等。

如果使用反馈机制，反馈信息的收集主要有两个渠道：

EPG/元数据系统发送的元数据信息到达用户终端设备后，其中的部分信息都保存在终端设备的相应内存中，终端设备接收到用户停止显示原始视频码流图像的控制指令后，从相应内存中自动提取这些信息以备反馈，需要反馈的相关信息一般包括：

(1)原始视频码流内容提供商名称和代号；

(2)发送原始视频码流频道名称和编号；

(3)原始视频码流的节目名称和编号；

另外，部分需要反馈的信息由用户输入，例如：

(1)有害内容分类；

暴力、色情、反动等。由用户通过遥控器选择反馈。

(2)有害程度级别；

0-N级。0级最高，最严重，N级最低，最不严重，由用户通过遥控器选择反馈，缺省级别为0。

当然需要用户输入的信息都是可选的，如果用户没有输入上述信息，会有一组缺省值供使用。

如果需要反馈有害内容的时间信息，可以有以下两种记录方法：

(1)终端设备在收到用户的停止显示控制指令时，自动提取系统时间进行记录。该时间是以终端的时间系统为基准的相对于节目开始时间的相对偏移时间。这个时间信息反馈给网络侧，网络侧需要进行必要的校正(考虑因为网络传送引起的媒体流在终端上播放的时间非均匀性和网络侧时间和终端时间的非同步性等因素)。

(2)终端设备提示用户输入时间段信息。

用户可以在收看完全部节目后再进行反馈，因此有可能记录多个时间段信息，例如：

记录0：起始时间：hh:mm:ss(第一段有害内容起始时刻)；

结束时间：hh:mm:ss(第一段有害内容结束时刻)；

记录1：起始时间：hh:mm:ss(第二段有害内容起始时刻)；

结束时间：hh:mm:ss(第二段有害内容结束时刻)；

......

记录N-1：起始时间：hh:mm:ss(第N段有害内容起始时刻)；

结束时间：hh:mm:ss(第N段有害内容结束时刻)；

以上时刻为相对时间偏移量，相对于节目开始时间，节目开始时间对应的时刻为00:00:00。

当用户需要反馈时，可以通过特定按键向用户终端设备输入反馈指令，用户终端设备收到反馈指令后，自动将前述信息结合起来，产生反馈消息发送给网络侧。

进一步控制可以实现，向网络侧的不同相关系统反馈相应的信息，例如网络侧内容审查系统(例如审查中心)、EPG/元数据系统或第三方URL评级系统等。

网络侧内容审查系统(例如审查中心)收到反馈的信息后，可能采取如下措施进行处理：

(1)经过检查人员核实记录到数据库；

(2)对于经过核实记录到数据库中内容数据，在该内容下次播放时，可以进行控制。一种策略是对于有害内容，暂停播放，到有害内容结束时才继续播放后续媒体流。通过利用每个有害片断的开始和结束时刻信息可以精确进行控制等。

这样，用户终端设备和网络侧内容审查服务结合提供多种内容安全方法结合的内容安全策略以及实现精细粒度的内容接收控制。

相对于现有技术，本发明能够提供基于用户终端的精细粒度的内容接收控制。不但可以控制是否接收某个频道，频道中的某个影片，还可以深入到影片中，实现不同片断的接收控制。

如果网络侧流媒体业务系统提供了内容审查功能，有两种情况：

(1)强制的：对于所有从网络侧传送到用户终端的内容媒体流都要进行审查。

(2)可选的：用户通过订制服务的方式获得网络侧内容审查的服务。这种服务可能是有偿的。在用户定制了这样的服务后，某些从网络侧发送到用户终端的内容媒体流要被审查。用户可以通过设置过滤条件，来控制对于内容审查的范围。比如对于来自某家IPTV网络电视公司的所有频道进行审查，或者特定几个频道进行审查。就频道来说，可以对于一个频道的某个时间段内的(午夜00:00AM-7:00PM等等)播放的节目进行审查等。用户还可以选择是否要接收审查码流在自己的用户终端上进行预览。如果选择预览，等于用户自己也进行审查，加上网络审查是双重保险。还可以通过反馈机制报告网络审查的漏洞等。

该技术方案中，用户停止显示所述原始视频码流图像的同时，终端设备可以保持显示所述审查码流图像，用户可以在有害内容结束后指示终端设备再继续显示原始视频码流图像。

由此可见，通过和网络侧内容安全机制相结合，通过利用现有的基于用户终端的内容安全技术，本发明可以提供一种综合的，多层次，适合各种应用场景的，并且支持精细粒度的内容安全控制方案。

为实现上述技术方案，本发明提供一种用户终端设备100，主要结构如图4所示，包括：

1、第一解码模块1011、延迟模块1012和第一显示模块1013，其中，延迟模块1012连接在第一解码模块1011和第一显示模块1013之间，第一解码模块1011解码重构流媒体业务的原始视频码流图像并经延迟模块1012延迟输出给第一显示模块1013，第一显示模块1013显示该原始视频码流图像；

其中，第一显示模块1013用显示流媒体节目的原始视频码流图像，为现有用户终端上流媒体业务的显示设备，可以是计算机的显示器，也可以是电视的显示屏。

2、第二解码模块1021和第二显示模块1023，第二解码模块1021解码原始视频码流的审查码流图像，并同步输出给第二显示模块1023，第二显示模块1023同步显示该审查码流图像，用户通过预览审查码流图像来进行有害内容的人工审查，并在该审查码流图像中包含有害内容时发出控制指令；

其中，第二显示模块1023显示预览画面，通常为了实现隔离审查，第二显示模块1023与第一显示模块1013分开设置，可以是单独的辅助显示设备，为方便控制，该辅助显示设备可以设置在遥控器或手持式终端，将审查码流图像显示信号单独通过有线或者无线连接发给遥控器或者其它小型的可以接收具有这样格式标准信号的手持式终端进行显示。目前已经有很多手机、PAD等通过蓝牙等无线接口和其它家电之间交换数据的商业化产品。采用这种方式的好处是预览图像只有持有遥控器/其它手持设备的人(通常是家长)能够看到，别人(未成年人)看不到，完全杜绝了有害内容的侵害。

当然，也可以将第二显示模块1023作为第一显示模块1013中的一个子画面显示。

3、用户指令处理模块1031和用户指令输入模块1032，用户通过第二显示模块1023预览审查码流图像，并在该审查码流图像中包含有害内容时发出控制指令，用户指令输入模块1032接收并处理该控制指令，根据该控制指令触发第一显示模块1013停止显示原始视频码流图像。

用户指令处理模块1031处理来自用户指令输入模块1032的用户控制指令，并和用户进行交互，产生图形用户界面，并且将界面图形数据送到第一显示模块1013上进行显示。对于用户输入的内容安全反馈指令，通知信息反馈模块108收集相关信息并产生反馈消息，反馈消息通过网络侧第一通信模块1041发送给网络侧内容审查系统、EPG/元数据系统或第三方URL服务系统。

第二显示模块1023可以独立设置或者与用户指令输入模块1032合并设置。用户指令输入模块1032包括但不限于：键盘、遥控器、机顶盒的控制面板、基于个人计算机的软件控制界面等。相应的，用户指令输入模块1032至少应该包括控制指令输入单元和反馈指令输入单元。

4、第一通信模块1041和第二通信模块1042，第一通信模块1041分别连接第一解码模块1011和第二解码模块1021；

如果基于分层编码技术，如图10所示，第一解码模块1011和第二解码模块1021之间相互直接连接；第一通信模块1041从网络侧接收采用分层编码方式压缩的原始视频码流，该原始视频码流包括基本层码流和至少一层增强层码流，第一通信模块1041将其中的增强层码流输出给第一解码模块1011，将基本层码流作为审查码流输出给第二解码模块1021，第二解码模块1021解码基本层码流图像，第一解码模块1011根据第二解码模块1021已经完成解码的基本层码流和对应的增强层码流解码重构原始视频码流图像。

如果基于专用审查码流技术，第一解码模块1011和第二解码模块1021之间不直接连接(图10所示为前一种情况)；第一通信模块1041从网络侧并行接收原始视频码流和基于该原始视频码流产生的低码率审查码流，将原始视频码流输出给第一解码模块1011，将审查码流输出给第二解码模块1021。

第二通信模块1042连接在用户指令处理模块1031和用户指令输入模块1032之间，用户指令输入模块1032接收用户的控制指令并通过第二通信模块1042传输给用户指令处理模块1031，用户指令处理模块1031根据该控制指令触发第一显示模块1013停止显示原始视频码流图像。

5、显示处理模块105，第一解码模块1011通过延迟模块1012和显示处理模块105相连；第二解码模块1021通过显示处理模块105和第二显示模块1023相连；显示处理模块105对视频码流图像进行相关处理。

6、家长锁数据库1061，连接第二通信模块1042，存储用户输入的家长锁数据；

家长锁处理模块1062，连接在EPG信息处理模块1063和第二通信模块1042之间，并同时连接第一解码模块1011，根据视频码流的元数据信息与家长锁数据对流媒体内容进行匹配过滤。

电子节目指导EPG信息处理模块1063，连接第一通信模块1041，通过第一通信模块1041接收并处理网络侧的EPG/元数据系统发送的原始视频码流的元数据信息；

7、URL过滤信息数据库1071，连接第二通信模块1042，存储用户输入的URL过滤信息；

URL过滤处理模块1072，连接在URL过滤信息数据库1071和第一通信模块1041之间，根据用户输入的过滤URL信息过滤有害内容源。

8、信息反馈模块108，连接在用户指令处理模块1031和第一通信模块1041之间，根据用户反馈指令提取有害内容的视频码流相关信息，并通过第一通信模块1041将反馈消息发送给网络侧相关系统。

如图5所示，信息反馈模块108至少包括如下之一：

第一反馈单元1081，根据用户的反馈指令从EPG信息处理模块中提取原始视频码流提供商的名称和/或代号、以及原始视频码流发送频道的名称和/或编号、以及原始视频码流的节目名称和/或编号并反馈给网络侧的EPG/元数据系统；

第二反馈单元1082，根据用户的反馈指令从EPG信息处理模块中提取原始视频码流提供商的名称和/或代号、以及原始视频码流发送频道的名称和/或编号、以及原始视频码流的节目名称和/或编号并反馈给网络侧的视频码流内容审查系统；

第三反馈单元1083，根据用户的反馈指令从第一通信模块1041中提取原始视频码流的URL信息并反馈给网络侧第三方URL评级系统。

9、主控模块1091，分别连接其它每一个模块，控制用户终端设备的运行，用户指令处理模块1031将用户的控制指令发送给该主控模块1091，该主控模块1091控制第一显示模块1013停止/继续显示原始视频码流图像；

其它信息处理模块1092，连接在第一通信模块1041和主控模块1091之间，接收来自网络侧的其它信息并输出给主控模块1091，主控模块1091再分发给相关模块，该其它信息至少包括网络管理信息或软件版本更新信息。

日志记录模块1093，分别连接其它每一个模块，记录用户终端设备的运行日志并生成日志报告。

替换内容库1094，连接在显示处理模块和主控模块1091之间，主控模块1091在第一显示模块1013停止显示原始视频码流图像时，通知显示处理模块105从替换内容库中提取替换内容并输出给第一显示模块1013进行显示。

一旦用户发现预览的审查码流图像出现问题，可以马上通过用户指令输入模块1032(例如遥控器)控制用户终端设备停止接收/解码内容媒体流，指令终端播放预先存储的视频和音频片断，比如喜爱的动画片，或者显示屏幕保护。对于采用独立第二显示设备(例如遥控器)显示预览视频的情况下，还可以允许继续接受审查码流，这样可以知道什么时候有害部分播放过去，等有害内容结束后，可以及时控制用户终端设备继续播放原始视频码流图像。

实现上述控制的方法很多，可以通过设置不同的用户指令(例如特定的遥控器按钮)来实现。家长自己根据当前的显示模式来决定采取什么措施并相应操作对应的按钮。在采用遥控器显示预览视频的情况下，家长可以指令终端停止接收增强层码流，而只接收基本层码流。对于非分层情况，家长可以指令终端停止显示内容码流，只显示预览码流。按键可以是多个，处理多种情况，这样比较麻烦，好处是人的自主程度高。也可以是一个，傻瓜式，但是人的自主程度差。比如用户要停止播放有害内容，只要按一个按键，但是终端系统收到这个指令后，自动根据当前是否分层编码，是否采用分离显示模式来智能地采取行动。

利用本发明方案，对主流是健康的内容进行局部有害内容的控制和删除，从而可以起到“萃取精华，排斥糟粕”的作用，为不同国家和历史年代的优秀文化的最大程度吸收和利用提供了技术条件。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (26)

1、一种实现流媒体内容审查的用户终端设备，其特征在于，包括：

第一解码模块、延迟模块和第一显示模块，其中，所述延迟模块连接在第一解码模块和第一显示模块之间，所述第一解码模块解码重构流媒体业务的原始视频码流图像并经延迟模块延迟输出给第一显示模块进行显示；

第二解码模块和第二显示模块，所述第二解码模块解码所述原始视频码流的审查码流图像，并同步输出给第二显示模块进行显示，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；

用户指令处理模块，接收并处理用户的控制指令，根据该控制指令触发第一显示模块停止显示所述原始视频码流图像。

2、如权利要求1所述的用户终端设备，其特征在于，所述的用户终端设备还包括：第一通信模块，分别连接所述第一解码模块和第二解码模块，所述第一解码模块和第二解码模块之间相互直接连接；

所述第一通信模块从网络侧接收采用分层编码方式压缩的原始视频码流，该原始视频码流包括基本层码流和至少一层增强层码流，第一通信模块将其中的增强层码流输出给第一解码模块，将基本层码流作为审查码流输出给第二解码模块，第二解码模块解码基本层码流图像，第一解码模块根据第二解码模块已经完成解码的基本层码流和对应的增强层码流解码重构所述原始视频码流图像。

3、如权利要求1所述的用户终端设备，其特征在于，所述的用户终端设备还包括：第一通信模块，分别连接所述第一解码模块和第二解码模块；

所述第一通信模块从网络侧并行接收所述原始视频码流和基于该原始视频码流产生的低码率审查码流，将所述原始视频码流输出给第一解码模块，将所述审查码流输出给第二解码模块。

4、如权利要1、2或3所述的用户终端设备，其特征在于，所述的用户终端设备还包括：显示处理模块，连接在所述延迟模块和所述第一显示模块之间；第二解码模块通过所述显示处理模块和第二显示模块相连；所述显示处理模块对所述原始视频码流图像进行相关处理。

5、如权利要求4所述的用户终端设备，其特征在于，所述的用户终端设备还包括：第二通信模块和用户指令输入模块，其中，所述第二通信模块连接在所述用户指令处理模块和用户指令输入模块之间，所述用户指令输入模块接收用户的控制指令并通过第二通信模块传输给用户指令处理模块。

6、如权利要求5所述的用户终端设备，其特征在于，所述第二显示模块独立设置或者与用户指令输入模块合并设置。

7、如权利要求5所述的用户终端设备，其特征在于，所述的用户终端设备还包括：

电子节目指导EPG信息处理模块，通过所述第一通信模块接收并处理网络侧的EPG/元数据系统发送的所述原始视频码流的元数据信息；

家长锁数据库，连接所述第二通信模块，存储用户通过所述用户指令输入模块输入的家长锁数据；

家长锁处理模块，连接在所述EPG信息处理模块和第二通信模块之间，并同时连接所述第一解码模块和所述家长锁数据库，根据所述元数据信息与家长锁数据对流媒体内容进行匹配过滤。

8、如权利要求5所述的用户终端设备，其特征在于，所述的用户终端设备还包括：

URL过滤信息数据库，连接所述第二通信模块，存储用户通过所述用户指令输入模块输入的URL过滤信息；

URL过滤处理模块，连接在URL过滤信息数据库和第一通信模块之间，根据用户输入的URL过滤信息过滤有害内容源。

9、如权利要求5所述的用户终端设备，其特征在于，所述的用户终端设备还包括：信息反馈模块，连接在用户指令处理模块和第一通信模块之间，根据用户通过所述用户指令输入模块输入的反馈指令提取有害内容的视频码流相关信息并通过第一通信模块将相关信息反馈给网络侧。

10、如权利要求5所述的用户终端设备，其特征在于，所述用户指令输入模块至少包括：用户反馈指令输入单元。

11、如权利要求9所述的用户终端设备，其特征在于，所述信息反馈模块至少包括如下之一：

第一反馈单元，从电子节目指导EPG信息处理模块接收的原始视频码流的元数据信息中提取该原始视频码流提供商的名称和/或代号、该原始视频码流发送频道的名称和/或编号、以及该原始视频码流的节目名称和/或编号并反馈给网络侧的EPG/元数据系统；

第二反馈单元，从EPG信息处理模块接收的原始视频码流的元数据信息中提取该原始视频码流提供商的名称和/或代号、该原始视频码流发送频道的名称和/或编号、以及该原始视频码流的节目名称和/或编号并反馈给网络侧的视频码流内容审查系统；

第三反馈单元，从第一通信模块中提取该原始视频码流的URL信息并反馈给网络侧第三方URL评级系统。

12、如权利要求6-11任意之一所述的用户终端设备，其特征在于，所述的用户终端设备还包括：主控模块，分别连接其它每一个模块，控制所述用户终端设备的运行。

13、如权利要求12所述的用户终端设备，其特征在于，所述的用户终端设备还包括如下之一或任意组合：

其它信息处理模块，连接在所述第一通信模块和主控模块之间，接收来自网络侧的其它信息并输出给主控模块，主控模块再分发给相关模块，该其它信息至少包括网络管理信息或软件版本更新信息；

日志记录模块，分别连接其它每一个模块，记录所述用户终端设备的运行日志并生成日志报告；

所述的用户终端设备还包括：替换内容库，连接在所述显示处理模块和主控模块之间，所述主控模块在第一显示模块停止显示所述原始视频码流图像时，通知显示处理模块从替换内容库中提取替换内容并输出给第一显示模块进行显示。

14、如权利要求5所述的用户终端设备，其特征在于，所述用户指令输入模块包括但不限于：键盘、遥控器、机顶盒的控制面板、以及基于个人计算机的软件控制界面。

15、如权利要求5或14所述的用户终端设备，其特征在于，所述用户指令输入模块至少包括：用户控制指令输入单元。

16、一种在用户终端设备上实现视频内容审查的方法，其特征在于，包括如下步骤：

用户终端设备解码原始视频码流的审查码流图像并同步输出给用户终端设备的第二显示模块，所述第二显示模块显示该审查码流图像，用户审查所述审查码流图像并在该审查码流图像中包含有害内容时发出控制指令；

用户终端设备解码重构流媒体内容的原始视频码流图像并在第一显示模块延迟显示该原始视频码流图像，在接收到用户的控制指令时停止显示所述原始视频码流图像。

17、如权利要求16所述的方法，其特征在于，所述原始视频码流被内容源分层编码为基本层码流和至少一层增强层码流，其中，所述基本层码流为审查码流，用户终端设备根据已经完成解码的基本层码流和对应的增强层码流解码重构所述原始视频码流图像。

18、如权利要求17所述的方法，其特征在于，所述审查码流为网络侧设备基于所述原始视频码流生成的低码率专用审查码流，网络侧设备将该低码率专用审查码流和对应的原始视频码流一起并行转发给用户终端设备。

19、如权利要求16所述的方法，其特征在于，在所述用户终端设备解码原始视频码流之前，所述方法还包括：用户终端设备根据用户预先输入的URL过滤信息过滤有害内容源。

20、如权利要求19所述的方法，其特征在于，所述有害内容源的过滤包括：

禁止向URL过滤信息中的有害内容源发送流媒体内容请求；或者

禁止接收URL过滤信息中的有害内容源推送的流媒体内容。

21、如权利要求16所述的方法，其特征在于，所述方法还包括：

用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，获取如下相关信息：停止显示的原始视频码流的提供商的名称和/或代号、停止显示的原始视频码流发送频道的名称和/或编号、以及停止显示的原始视频码流的节目名称或编号；并

在接收到用户输入的反馈指令时，将上述相关信息反馈给网络侧EPG/元数据系统和/或网络侧视频码流内容审查系统。

22、如权利要求16所述的方法，其特征在于，所述方法还包括：

用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，获取该原始视频码的URL信息；并

在接收到用户输入的反馈指令时，将停止显示的原始视频码的URL信息反馈给网络侧第三方URL评级系统。

23、如权利要求21或22所述的方法，其特征在于，用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时获取并反馈有害内容出现的时间段信息和/或用户给出的有害内容级别信息。

24、如权利要求16所述的方法，其特征在于，用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，保持显示所述审查码流图像。

25、如权利要求21所述的方法，其特征在于，用户终端设备根据用户的控制指令停止显示所述原始视频码流图像的同时，显示预先保存在替换内容库中的替换内容。

26、如权利要求16所述的方法，其特征在于，所述原始视频码流图像的延迟显示时间根据用户审查所述审查码流图像所需要的时间确定。

Images