CN103945281A - 视频传输处理方法、装置和系统 - Google Patents

Abstract

本发明提供一种视频传输处理方法、装置和系统，其中，该方法包括：根据预设的时间周期获取信道传输质量；若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。实现了在传输带宽资源紧张时，只传输代表视频内容的关键帧，丢弃非关键帧，从而灵活适应无线网络动态变化的应用需求。

Description

视频传输处理方法、装置和系统

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种视频传输处理方法、装置和系统。

背景技术

随着通信网络快速发展，视频流传输交互的网络应用越来越普遍，由于视频传输的数据量和所占传输带宽较大，因此，网络传输质量的稳定性是保证视频传输有效性和可靠性的前提条件。

但是，在实际生活中，有很多因素会影响网络传输质量的稳定性，比如天气等外界因素使传输带宽会发生短时间的波动，或者，某些地方出现短暂性的用户容量高峰，使网络传输出现拥塞，这些情况都会导致视频传输过程中报文丢失。基于视频传输的特点，丢弃一些非关键帧并不影响用户对视频内容的理解，如果丢弃的是大量的关键帧，则使用户无法正常理解视频内容，导致一遍遍进行重传请求，从而进一步地增加网络传输负担，因此，目前的视频传输方式具有一定的局限性，不能灵活适应无线网络动态变化的应用需求。

发明内容

针对现有技术的上述缺陷，本发明实施例提供一种视频传输处理方法、装置和系统。

本发明一方面提供一种视频传输处理方法，包括：

根据预设的时间周期获取信道传输质量；

若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

本发明另一方面提供一种视频传输处理装置，包括：

获取模块，用于根据预设的时间周期获取信道传输质量；

第一处理模块，用于若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

第二处理模块，用于获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

本发明又一方面提供一种视频传输处理系统，包括：

发送端设备、接收端设备，以及上述的视频传输处理装置，其中，所述视频传输处理装置位于所述发送端设备中。

本发明实施例提供的视频传输处理方法、装置和系统，位于发送端设备中的视频传输处理装置根据预设的时间周期获取信道传输质量，若判断获知信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将该原始视频流分割成多个镜头单元，然后获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。实现了在传输带宽资源紧张时，只传输代表视频内容的关键帧，丢弃非关键帧，从而灵活适应无线网络动态变化的应用需求。

附图说明

图1为本发明实施例提供的一个视频传输处理方法的流程图；

图2为本发明实施例提供的另一个视频传输处理方法的流程图；

图3为本发明实施例提供的一个视频传输处理装置的结构示意图；

图4为本发明实施例提供的另一个视频传输处理装置的结构示意图；

图5为本发明实施例提供的一个视频传输处理系统的结构示意图。

具体实施方式

图1为本发明实施例提供的一个视频传输处理方法的流程图，如图1所示，该方法包括：

步骤100，根据预设的时间周期获取信道传输质量；

针对现有技术中，当传输带宽资源紧张时，发送端设备会丢弃视频流中的数据帧，若丢弃的数据帧为大量的关键帧，则大大影响对所接收的视频内容的理解，因此，本实施例提出一种视频传输处理方法用以解决上述问题。

在发送端设备中设置视频传输处理装置，该装置首先根据预设的时间周期获取信道传输质量。需要说明的是，根据实际应用场景获取信道传输质量的方法可以有很多，举例说明如下：方法一，查询发送端设备的缓存区，若判断获知存储至缓存区的待发送的数据帧超过了预设的门限值，则说明目前的信道传输质量较差，数据传输由于网络阻塞受到了限制，可能会发生大量报文丢弃的现象，若判断获知存储至缓存区的待发送的数据帧小于预设的门限值，则说明目前的信道传输质量较好，数据传输通畅，发生大量报文丢弃的机率小；方法二，获取用于表示信道传输质量的信道传输参数，其中，所述信道传输参数包括信噪比、丢包率、误码率和重传次数中的至少一个参数，根据获取的信道传输参数的具体数值与预设的对应的门限值进行比较，来确定当前的信道传输质量。

步骤101，若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

视频传输处理装置根据获取的信道传输质量和预设对应的帧检测启动门限进行比较，若判断获知当前的信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测。

需要说明的是，对待传输的原始视频流进行场景转换检测属于现有技术，本发明对该技术过程不进行深入描述，只为了理解做简单描述，具体如下：现有的视频场景检测方法可以分为基于像素域的检测和基于压缩域的检测两种。与基于像素域的场景检测方法相比，基于压缩域的检测具有处理的数据量少、速度快、实时性高、特征提取方便等优点。比如常用的在H.264/AVC压缩域的视频场景切换检测，利用H.264/AVC压缩码流中帧内预测模式和帧间预测模式等信息作为判决的主要依据来进行场景检测，或者在MPEG压缩域采用DCT系数、运动矢量、宏块编码模式来进行场景检测等。从而本领域技术人员可以根据实际的应用需要采取上述方法对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元，其中，镜头单元是指一段连续的画面，或两个剪接点之间的片段。

步骤102，获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

视频传输处理装置应用场景转换检测技术将待传输的原始视频流分割成多个镜头单元之后，再分别对每个镜头单元进行数据处理获取每个镜头单元中的至少一个关键帧。具体地获取关键帧的方法很多，最简单的就是选择每个镜头单元中的第一帧作为关键帧，但是，这样获取的关键帧并不能非常精准的代表每个镜头单元的视频内容，因此，进一步地，可以从每个镜头单元中获取该镜头单元中的所有帧在第一位置上像素值的平均值,然后将最接近平均值的第一位置所在的帧作为关键帧，或者将每个镜头单元中所有帧的统计直方图取平均,然后选择与该平均直方图最接近的帧作为关键帧。

视频传输处理装置将从每个镜头单元中提取的关键帧发送给接收端设备，丢弃剩余的非关键帧，从而在传输带宽资源紧张的情况下，在发送端主动丢弃待传输视频流中的非关键帧，仅仅传输关键帧，从而主动减少传输数据量，使网络传输畅通，又能够使接收端设备通过关键帧理解视频内容，减少要求重传的次数。

本实施例提供的视频传输处理方法，位于发送端设备中的视频传输处理装置根据预设的时间周期获取信道传输质量，若判断获知信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将该原始视频流分割成多个镜头单元，然后获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。实现了在传输带宽资源紧张时，只传输代表视频内容的关键帧，丢弃非关键帧，从而灵活适应无线网络动态变化的应用需求。

图2为本发明实施例提供的另一个视频传输处理方法的流程图，如图2所示，该方法包括：

步骤200，根据预设的时间周期获取信道传输质量；

发送端设备中的视频传输处理装置首先根据预设的时间周期获取信道传输质量。需要说明的是，根据实际应用场景获取信道传输质量的方法可以有很多，举例说明如下：方法一，查询发送端设备的缓存区，若判断获知存储至缓存区的待发送的数据帧超过了预设的门限值，则说明目前的信道传输质量较差，数据传输由于网络阻塞受到了限制，可能会发生大量报文丢弃的现象，若判断获知存储至缓存区的待发送的数据帧小于预设的门限值，则说明目前的信道传输质量较好，数据传输通畅，发生大量报文丢弃的机率小；方法二，获取用于表示信道传输质量的信道传输参数，其中，所述信道传输参数包括信噪比、丢包率、误码率和重传次数中的至少一个参数，根据获取的信道传输参数的具体数值与预设的对应的门限值进行比较，来确定当前的信道传输质量。

步骤201，若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

视频传输处理装置根据获取的信道传输质量和预设对应的帧检测启动门限进行比较，若判断获知当前的信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测。

需要说明的是，对待传输的原始视频流进行场景转换检测属于现有技术，本发明对该技术过程不进行深入描述，只为了理解做简单描述，具体如下：现有的视频场景检测方法可以分为基于像素域的检测和基于压缩域的检测两种。与基于像素域的场景检测方法相比，基于压缩域的检测具有处理的数据量少、速度快、实时性高、特征提取方便等优点。比如常用的在H.264/AVC压缩域的视频场景切换检测，利用H.264/AVC压缩码流中帧内预测模式和帧间预测模式等信息作为判决的主要依据来进行场景检测，或者在MPEG压缩域采用DCT系数、运动矢量、宏块编码模式来进行场景检测等。从而本领域技术人员可以根据实际的应用需要采取上述方法对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元，其中，镜头单元是指一段连续的画面，或两个剪接点之间的片段。

步骤202，获取每个镜头单元中的至少一个关键帧，建立以关键帧的标识信息为索引的视频内容数据库，并将所述关键帧发送给接收端设备，丢弃非关键帧；

视频传输处理装置应用场景转换检测技术将待传输的原始视频流分割成多个镜头单元之后，再分别对每个镜头单元进行数据处理获取每个镜头单元中的至少一个关键帧。具体地获取关键帧的方法很多，本实施例采用基于视频内容的相关度方法获取关键帧，具体过程如下：方法一，将每个镜头单元中的第一帧作为第一关键帧,并将该第一帧设为第一参考帧，计算各后续帧与该第一参考帧的距离,若判断获知第一后续帧与该第一参考帧的距离大于预设的阈值时,则将该第一后续帧作为第二关键帧，并将该第二关键帧设为第二参考帧，重复上述过程,直到每个镜头单元中的结束帧。进一步地，为了简化计算量，优选地采用方法二获取关键帧，方法二：将每个具有N帧的镜头单元中的第一帧、第N/2帧以及第N帧设为候选关键帧；分别计算两两候选关键帧之间的距离，将所述两两候选关键帧之间的距离与预设的第二阈值进行比较以确定关键帧，具体包括：若判断获知所述两两候选关键帧之间的距离均小于上述第二阈值,则将中间帧即第N/2帧作为关键帧，若判断获知所述两两候选关键帧之间的距离均大于该第二阈值，则将三帧均作为关键帧，其它情况下,取距离最大的两帧作为关键帧。视频传输处理装置获取关键帧之后，建立以关键帧的标识信息为索引的视频内容数据库，即视频内容数据库中存储与关键帧的标识信息对应的镜头单元。

视频传输处理装置将从每个镜头单元中提取的关键帧发送给接收端设备，丢弃剩余的非关键帧，从而在传输带宽资源紧张的情况下，在发送端主动丢弃待传输视频流中的非关键帧，仅仅传输关键帧，从而主动减少传输数据量，使网络传输畅通，又能够使接收端设备通过关键帧理解视频内容，减少要求重传的次数。

步骤203，若判断获知所述信道传输质量满足预设的帧检测关闭门限，对待传输的原始视频流停止场景转换检测，继续传输所述原始视频流；

若视频传输处理装置判断获知所述信道传输质量满足预设的帧检测关闭门限，则说明当前的传输带宽资源不那么紧张，网络传输的不稳定因素消除，不会发生大量的报文丢弃，因此，可以增加传输的数据容量，从而对待传输的原始视频流停止场景转换检测，继续传输所述原始视频流，以使接收端设备接收完整的视频流。

步骤204，向所述接收端设备发送网络信号恢复指示，并根据所述接收端设备所需查询的关键帧的标识信息，从所述视频内容数据库获取对应的镜头单元并发送给所述接收端设备。

在视频传输处理装置判断获知所述信道传输质量满足预设的帧检测关闭门限之后，则说明当前的传输带宽资源不那么紧张，不会发生大量的报文丢弃，因此，可以增加传输的数据容量，从而向所述接收端设备发送网络信号恢复指示，接收端设备根据网络信号恢复指示，可以对之前接收的用关键帧代表视频内容的数据流要求重传。具体为，接收端设备向视频传输处理装置发送包括关键帧标识信息的视频查询请求，视频传输处理装置根据接收端设备所需查询的关键帧的标识信息，从本地预先建立的视频内容数据库获取与所述关键帧的标识信息对应的镜头单元并发送给所述接收端设备。

本实施例提供的视频传输处理方法，位于发送端设备中的视频传输处理装置根据预设的时间周期获取信道传输质量，若判断获知信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将该原始视频流分割成多个镜头单元，然后获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧，并且建立以关键帧的标识信息为索引的视频内容数据库，以便若判断获知信道传输质量满足预设的帧检测关闭门限，则向接收端设备发送网络信号恢复指示，并根据接收端设备所需查询的关键帧的标识信息，从视频内容数据库获取对应的镜头单元并发送给接收端设备。实现了在传输带宽资源紧张时，只传输代表视频内容的关键帧，丢弃非关键帧，在传输带宽资源不紧张时，传输原始视频流，并可以根据接收端设备需求重传与之前传输的关键帧对应的视频内容，从而灵活适应无线网络动态变化的应用需求。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图3为本发明实施例提供的一个视频传输处理装置的结构示意图，如图3所示，该视频传输处理装置包括：获取模块11、第一处理模块12和第二处理模块13，其中，获取模块11用于根据预设的时间周期获取信道传输质量；第一处理模块12用于若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；第二处理模块13用于获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

需要说明的是，获取模块11具体用于：根据实际应用场景获取信道传输质量的方法可以有很多，举例说明如下：方法一，查询发送端设备的缓存区，若判断获知存储至缓存区的待发送的数据帧超过了预设的门限值，则说明目前的信道传输质量较差，数据传输由于网络阻塞受到了限制，可能会发生大量报文丢弃的现象，若判断获知存储至缓存区的待发送的数据帧小于预设的门限值，则说明目前的信道传输质量较好，数据传输通畅，发生大量报文丢弃的机率小；方法二，获取用于表示信道传输质量的信道传输参数，其中，所述信道传输参数包括信噪比、丢包率、误码率和重传次数中的至少一个参数，根据获取的信道传输参数的具体数值与预设的对应的门限值进行比较，来确定当前的信道传输质量。

本实施例提供的视频传输处理装置中各模块的功能和处理流程，可以参见上述图1所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。

图4为本发明实施例提供的另一个视频传输处理装置的结构示意图，如图4所示，基于图3所示实施例，该视频传输处理装置还包括：第三处理模块14，其中，第二处理模块13具体用于：采用基于视频内容的相关度方法获取关键帧，具体过程如下：方法一，将每个镜头单元中的第一帧作为第一关键帧,并将该第一帧设为第一参考帧，计算各后续帧与该第一参考帧的距离,若判断获知第一后续帧与该第一参考帧的距离大于预设的阈值时,则将该第一后续帧作为第二关键帧，并将该第二关键帧设为第二参考帧，重复上述过程,直到每个镜头单元中的结束帧。进一步地，为了简化计算量，优选地采用方法二获取关键帧，方法二：将每个具有N帧的镜头单元中的第一帧、第N/2帧以及第N帧设为候选关键帧；分别计算两两候选关键帧之间的距离，将所述两两候选关键帧之间的距离与预设的第二阈值进行比较以确定关键帧，具体包括：若判断获知所述两两候选关键帧之间的距离均小于上述第二阈值,则将中间帧即第N/2帧作为关键帧，若判断获知所述两两候选关键帧之间的距离均大于该第二阈值，则将三帧均作为关键帧，其它情况下,取距离最大的两帧作为关键帧；第三处理模块14用于建立以关键帧的标识信息为索引的视频内容数据库，以便若判断获知所述信道传输质量满足预设的帧检测关闭门限，则向所述接收端设备发送网络信号恢复指示，并根据所述接收端设备所需查询的关键帧的标识信息，从所述视频内容数据库获取对应的镜头单元并发送给所述接收端设备。

进一步地，在所述若判断获知所述信道传输质量满足预设的帧检测关闭门限之后，所述第一处理模块12还用于：对待传输的原始视频流停止场景转换检测，继续传输所述原始视频流。

本实施例提供的视频传输处理装置中各模块的功能和处理流程，可以参见上述图2所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。

图5为本发明实施例提供的一个视频传输处理系统的结构示意图，如图5所示，该系统包括：发送端设备1、接收端设备2，以及视频传输处理装置3，其中，视频传输处理装置3位于所述发送端设备1中，其中，视频传输处理装置3可以采用本发明上述实施例提供的视频传输处理装置，发送端设备1和接收端设备2可以为本发明上述实施例涉及的发送端设备和接收端设备。

本实施例提供的视频传输处理系统中各模块的功能和处理流程，可以参见上述图1所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种视频传输处理方法，其特征在于，包括：

根据预设的时间周期获取信道传输质量；

若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

2.根据权利要求1所述的视频传输处理方法，其特征在于，所述获取信道传输质量包括：

获取用于表示信道传输质量的信道传输参数，其中，所述信道传输参数包括信噪比、丢包率、误码率和重传次数中的至少一个参数。

3.根据权利要求1所述的视频传输处理方法，其特征在于，所述获取每个镜头单元中的至少一个关键帧包括：

将每个镜头单元中的第一帧作为第一关键帧,并将所述第一帧设为第一参考帧；

计算各后续帧与所述第一参考帧的距离,若判断获知第一后续帧与所述第一参考帧的距离大于预设的第一阈值时,则将所述第一后续帧作为第二关键帧，并将所述第二关键帧设为第二参考帧，重复上述过程,直到所述每个镜头单元中的结束帧。

4.根据权利要求1所述的视频传输处理方法，其特征在于，所述获取每个镜头单元中的至少一个关键帧包括：

将每个具有N帧的镜头单元中的第一帧、第N/2帧以及第N帧设为候选关键帧；

分别计算两两候选关键帧之间的距离，将所述两两候选关键帧之间的距离与预设的第二阈值进行比较以确定关键帧，具体包括：若判断获知所述两两候选关键帧之间的距离均小于所述第二阈值,则将所述第N/2帧作为关键帧，若判断获知所述两两候选关键帧之间的距离均大于所述第二阈值，则将三帧均作为关键帧，其它情况下,取距离最大的两帧作为关键帧。

5.根据权利要求1-4任一所述的视频传输处理方法，其特征在于，在所述获取每个镜头单元中的至少一个关键帧之后，所述方法还包括：

建立以关键帧的标识信息为索引的视频内容数据库，以便若判断获知所述信道传输质量满足预设的帧检测关闭门限，则向所述接收端设备发送网络信号恢复指示，并根据所述接收端设备所需查询的关键帧的标识信息，从所述视频内容数据库获取对应的镜头单元并发送给所述接收端设备。

6.根据权利要求5所述的视频传输处理方法，其特征在于，在所述若判断获知所述信道传输质量满足预设的帧检测关闭门限之后，所述方法还包括：

对待传输的原始视频流停止场景转换检测，继续传输所述原始视频流。

7.一种视频传输处理装置，其特征在于，包括：

获取模块，用于根据预设的时间周期获取信道传输质量；

第一处理模块，用于若判断获知所述信道传输质量满足预设的帧检测启动门限，则对待传输的原始视频流进行场景转换检测，将所述原始视频流分割成多个镜头单元；

第二处理模块，用于获取每个镜头单元中的至少一个关键帧，并将所述关键帧发送给接收端设备，丢弃非关键帧。

8.根据权利要求7所述的视频传输处理装置，其特征在于，

所述获取模块具体用于：获取用于表示信道传输质量的信道传输参数，其中，所述信道传输参数包括信噪比、丢包率、误码率和重传次数中的至少一个参数。

9.根据权利要求7所述的视频传输处理装置，其特征在于，所述第二处理模块具体用于：

将每个镜头单元中的第一帧作为第一关键帧,并将所述第一帧设为第一参考帧；

计算各后续帧与所述第一参考帧的距离,若判断获知第一后续帧与所述第一参考帧的距离大于预设的第一阈值时,则将所述第一后续帧作为第二关键帧，并将所述第二关键帧设为第二参考帧，重复上述过程,直到所述每个镜头单元中的结束帧。

10.根据权利要求7所述的视频传输处理装置，其特征在于，所述第二处理模块具体用于：

将每个具有N帧的镜头单元中的第一帧、第N/2帧以及第N帧设为候选关键帧；

分别计算两两候选关键帧之间的距离，将所述两两候选关键帧之间的距离与预设的第二阈值进行比较以确定关键帧，具体包括：若判断获知所述两两候选关键帧之间的距离均小于所述第二阈值,则将所述第N/2帧作为关键帧，若判断获知所述两两候选关键帧之间的距离均大于所述第二阈值，则将三帧均作为关键帧，其它情况下,取距离最大的两帧作为关键帧。

11.根据权利要求7-10任一所述的视频传输处理装置，其特征在于，所述装置还包括：

第三处理模块，用于建立以关键帧的标识信息为索引的视频内容数据库，以便若判断获知所述信道传输质量满足预设的帧检测关闭门限，则向所述接收端设备发送网络信号恢复指示，并根据所述接收端设备所需查询的关键帧的标识信息，从所述视频内容数据库获取对应的镜头单元并发送给所述接收端设备。

12.根据权利要求11所述的视频传输处理装置，其特征在于，在所述若判断获知所述信道传输质量满足预设的帧检测关闭门限之后，所述第一处理模块还用于：

对待传输的原始视频流停止场景转换检测，继续传输所述原始视频流。

13.一种视频传输处理系统，其特征在于，包括：发送端设备、接收端设备，以及如权利要求7-12任一所述的视频传输处理装置，其中，所述视频传输处理装置位于所述发送端设备中。