CN104284158B - 应用于面向事件的智能监控相机的方法 - Google Patents

Abstract

本发明提供一种面向事件的智能监控相机方法，视频采集后处理得到三种码流，包括低分辨率视频、间隔若干秒的高清图像、高清运动目标图像，该三种码流单独或叠加融合后在显示端显示；该种面向事件的智能监控相机方法，能够提供一个比原视频要短得多的视频，浏览时间大大缩短；依据时间等信息快速查找事件线索，提高了调查取证的效率；充分利用场景中的空间信息，减少视频中的时空冗余，将不同时段发生的事件同时播放，容易理解和把握视频中的活动；不丢失原视频中的活动与事件，即能达到既快速播放又不丢失视频信息的效果；兼顾码流带宽和特殊区域的清晰度，为事后的取证提供有力支撑，在视频安防监控领域有着广泛的应用需求。

Description

应用于面向事件的智能监控相机的方法

技术领域

本发明涉及一种应用于面向事件的智能监控相机的方法。

背景技术

视频监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。尤其在刑侦过程中，监控视频录像作为事件后追查案件的重要依据之一，应当保证监控视频录像的目标清楚性、查看高效性、准确性与便易性。但是，目前视频监控网络存在以下问题：

一、虽然目前摄像机分辨率很高，但为了节省长时间存储容量和摄像机与后台系统之间的远程通信带宽，录像文件分辨率一般不超过720×576。导致视频录像中的人或物是模糊不清的，不能为判定嫌疑人提供有力的支撑，因此需要对这些特殊区域单独处理。

二、监控视频录像通常是事件后追查案件的依据，目前视频侦查遇到的问题是，事后的侦查效率极低，没有系统的分析软件和视频浓缩技术，来帮助阅读者有效的缩短阅读时间，也没有更为有效的视频浏览查看技术，来帮助侦查者快速的从海量的数以万计的视频资料中找到一些有明显特征的人或物，耽误了破案时间。

三、智能视频监控方法的目标就是把事后取证变为主动防御，但目前的监控方法中的移动目标侦测也多停留在运动目标检测的层次，未实现行为分析，因此虚警率高，不能区分行为，应用针对性也不强。

四、目前视频监控网络多数只停留在原始视频的录像阶段。虽然有些方法具有移动侦测报警的功能，但实际监控任务大部分仍是由人工来完成。随着视频监控规模逐渐扩大，依靠人工方式进行实时监控所暴露出来的局限性越发突出，既没有足够多数量的屏幕供观看，也不可能安排足够多的人员24小时盯着屏幕看。有研究表明，操作人员盯着电视墙超过10分钟后将漏掉90％的信息，而使这项工作失去意义。

上述问题是在视频监控过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种面向事件的智能监控相机方法解决现有技术中存在的监控设备所得监控视频录像的图像不清晰，视频浏览查看效率低，虚警率高、针对性不强，人工查看不便等，影响了监控视频录像的目标清楚性、查看高效性、准确性与便易性的问题。

本发明的技术解决方案是：

一种应用于面向事件的智能监控相机的方法，包括：

视频采集后处理得到三种码流，包括低分辨率视频、间隔若干秒的高清图像、高清运动目标图像，该三种码流单独或叠加融合后在显示端显示；其中，三种码流叠加融合的步骤为：

低分辨率视频经过双线性插值后和高清运动目标图像进行羽化叠加融合进行显示；

或，低分辨率视频经过双线性插值后和间隔若干秒的高清图像进行差分，得到差分图像，判断所得差分图像的像素值是否小于给定阈值，如果小于，则将低分辨率视频中该像素用高清图像中的像素代替，并和高清运动目标图像进行羽化叠加融合进行显示；

或，结合低分辨率视频和高清运动目标图像，进行视频浓缩得到浓缩后的视频进行显示。

优选地，所述高清运动目标图像是通过采用基于局部高清的数字视频传输方案得到的，分别传输由高清图像经过抽样得到的低分辨率图像和兴趣区域的高清图像，在后台进行融合得到高清运动目标图像。

优选地，所述基于局部高清的数字视频传输方案具体有如下步骤：

S1、提取高清图像中的兴趣区域，以图像的横向中心线为基准，利用运动目标检测和连通域跟踪的方法，将图像中经过中心线的运动目标标定出来，提取目标的外接矩形为兴趣区域，并记录兴趣区域矩形在图像中的位置信息；

S2、对高清图像进行抽样，得到低分辨率图像；

S3、将经过抽样得到的低分辨率图像与高清兴趣区域图像分别压缩后传输到客户端；

S4、客户端对数据解压缩，对低分辨率图像进行插值运算还原分辨率；

S5、将高清兴趣区域和低分辨率图像进行融合叠加，利用兴趣区域位置信息，分别确定每个兴趣区域在对应插值图像中的位置，将高清兴趣区域与低分辨率图像进行叠加，可对兴趣区域的边缘做羽化处理，使得叠加效果更加自然。

优选地，该三种码流单独或叠加融合后在显示端采用视频索引进行显示，视频索引是通过提取视频中具有运动信息特征的关键帧的时间信息与目标数量，建立树型结构并存储索引文件。

优选地，所述视频索引建立过程具体有以下步骤：

S1、对原始视频运用运动目标检测算法进行检测；

S2、对检测到运动目标的关键帧进行提取，形成视频片段，对片段进行编号，并记录连续关键帧中第一帧的时间和目标个数；

S3、当目标数量改变时从当前帧开始形成新的视频片段，编号并记录当前帧时间和目标数量；

S4、依据上述时间、片段编号和目标数量建立索引数据库。

优选地，所述视频浓缩通过将目标占空比大的视频片段进行帧抽取达到快放的目的，将目标占空比小的视频片段中的目标提取出来，浓缩到一段视频当中，同时在图像上标注这些目标在原视频中出现的时间。

优选地，所述视频浓缩的具体步骤为：

首先划分输入视频流为若干视频片段，针对每段视频片段用运动目标检测算法进行运动目标检测；

在视频片段当中没有运动目标时，进入到下一段视频处理过程；

如果视频片段中有运动目标，则判断该运动目标的占空比是否超过某个阈值，若占空比超过某个阈值，则对该段视频进行等间隔的帧抽取，来得到的浓缩后的视频；若目标占空比小于阈值，则提取运动目标区域并记录时间；若目标区域重叠，则按照时间顺序对轨迹数据进行组合优化，然后和背景进行融合，得到浓缩后的视频文件，从而大幅缩短原始视频文件长度。

本发明与现有技术相比，提供一个比原视频要短得多的视频，浏览时间大大缩短；依据时间等信息快速查找事件线索，提高了调查取证的效率；充分利用场景中的空间信息，减少视频中的时空冗余，将不同时段发生的事件同时播放，容易理解和把握视频中的活动；不丢失原视频中的活动与事件，即能达到既快速播放又不丢失视频信息的效果；兼顾码流带宽和特殊区域的清晰度，为事后的取证提供有力支撑，在视频安防监控领域有着广泛的应用需求。

本发明的有益效果是：

1、能够提供一个比原视频要短得多的视频，浏览时间大大缩短；

2、依据时间等信息快速查找事件线索，提高了调查取证的效率；

3、充分利用场景中的空间信息，减少视频中的时空冗余，将不同时段发生的事件同时播放，容易理解和把握视频中的活动；

4、不丢失原视频中的活动与事件，即能达到既快速播放又不丢失视频信息的效果；

5、兼顾码流带宽和特殊区域的清晰度，为事后的取证提供有力支撑。

附图说明

图1是本发明实施例的系统流程图；

图2是本发明实施例中视频索引流程图；

图3是本发明实施例中视频索引结构图；

图4是本发明实施例中局部高清传输方案流程图

图5是本发明实施例中视频浓缩当目标占空较小时的原理图；

图6是本发明实施例中视频浓缩流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

如图1所示，本实施例提供一种应用于面向刑侦的智能监控相机的方法，包括：

视频采集后处理得到三种码流，包括低分辨率视频、间隔若干秒的高清图像、高清运动目标图像，该三种码流单独或叠加融合后在显示端显示；其中，三种码流叠加融合的步骤为：

低分辨率视频经过双线性插值后和高清运动目标图像进行羽化叠加融合进行显示；

或，低分辨率视频经过双线性插值后和间隔若干秒的高清图像进行差分，得到差分图像，判断所得差分图像的像素值是否小于给定阈值，如果小于，则将低分辨率视频中该像素用高清图像中的像素代替，并和高清运动目标图像进行羽化叠加融合进行显示；

或，结合低分辨率视频和高清运动目标图像，进行视频浓缩得到浓缩后的视频进行显示。

如图4所示，高清运动目标图像是通过采用基于局部高清的数字视频传输方案得到的，分别传输由高清图像经过抽样得到的低分辨率图像和兴趣区域的高清图像，在后台进行融合得到高清运动目标图像。

基于局部高清的数字视频传输方案具体有如下步骤：

S1、提取高清图像中的兴趣区域，以图像的横向中心线为基准，利用运动目标检测和连通域跟踪的方法，将图像中经过中心线的运动目标标定出来，提取目标的外接矩形为兴趣区域，并记录兴趣区域矩形在图像中的位置信息；

S2、对高清图像进行抽样，得到低分辨率图像；

S3、将经过抽样得到的低分辨率图像与高清兴趣区域图像分别压缩后传输到客户端；

S4、客户端对数据解压缩，对低分辨率图像进行插值运算还原分辨率；

S5、将高清兴趣区域和低分辨率图像进行融合叠加，利用兴趣区域位置信息，分别确定每个兴趣区域在对应插值图像中的位置，将高清兴趣区域与低分辨率图像进行叠加，可对兴趣区域的边缘做羽化处理，使得叠加效果更加自然。

如图2和图3所示，该三种码流单独或叠加融合后在显示端采用视频索引进行显示，视频索引是通过提取视频中具有运动信息特征的关键帧的时间信息与目标数量，建立树型结构并存储索引文件。

所述视频索引建立过程具体有以下步骤：

S1、对原始视频运用运动目标检测算法进行检测；

S2、对检测到运动目标的关键帧进行提取，形成视频片段，对片段进行编号，并记录连续关键帧中第一帧的时间和目标个数；

S3、当目标数量改变时从当前帧开始形成新的视频片段，编号并记录当前帧时间和目标数量；

S4、依据上述时间、片段编号和目标数量建立索引数据库。

如图5和图6所示，视频浓缩通过将目标占空比大的视频片段进行帧抽取达到快放的目的，将目标占空比小的视频片段中的目标提取出来，浓缩到一段视频当中，同时在图像上标注这些目标在原视频中出现的时间。

所述视频浓缩的具体步骤为：

首先假定输入视频流已经按照小时划分成视频片段，针对每段视频片段用运动目标检测算法进行运动目标检测；

在视频片段中没有运动目标时，进入到下一段视频处理过程；

如果视频片段中有运动目标，则判断该运动目标的占空比是否超过某个阈值，若占空比超过某个阈值，则对该段视频进行等间隔的帧抽取，得到的浓缩后的视频可以达到快放的目的；若该运动目标占空比小于阈值，则提取运动目标区域并记录时间；若目标区域重叠，则按照时间顺序对轨迹数据进行组合优化，然后和背景进行融合，得到浓缩后的视频文件，从而大幅缩短原始视频文件长度。

本实施例一种面向事件的智能监控相机方法，集成了视频浓缩、视频索引和针对特殊区域处理等多项技术。其中通过视频浓缩摘要，缩短了视频事件的播放时间；通过实现快速事件索引，缩小了查看范围的功能；特殊区域处理采用基于局部高清的数字视频传输方案，在不损失视频图像兴趣区域的基础上，获得了所关心的目标的高清图像，并大幅减少视频传输带宽。这些技术会极大地减轻专业巡控队伍和系统维护人员的工作负荷，并且将大大提高监控效率。

该种面向事件的智能监控相机方法，视频浓缩和视频索引都是基于运动目标检测和跟踪技术；视频浓缩通过将目标占空比大的视频片段进行帧抽取达到快放的目的，将目标占空比小的视频片段中的目标提取出来，浓缩到一段视频当中，从而达到极大的减少观看监控视频的时间，同时在图像上标注这些目标在原视频中出现的时间；视频索引通过提取视频中具有运动信息特征的关键帧的时间信息与目标数量，建立树型结构并存储索引文件；特殊区域处理采用采用一种基于局部高清的数字视频传输方案，在抽样阶段采用将高清每一帧抽样为与低清摄像机同样的分辨率，分别传输经过抽样得到的低分辨率图像和兴趣区域的高清图像，传输到后台后运用彩色图像双线性插值算法回到原图像大小，与已标记时间位置信息的高清兴趣区域融合。

本实施例与现有技术相比，提供一个比原视频要短得多的视频，浏览时间大大缩短；依据时间等信息快速查找事件线索，提高了调查取证的效率；充分利用场景中的空间信息，减少视频中的时空冗余，将不同时段发生的事件同时播放，容易理解和把握视频中的活动；不丢失原视频中的活动与事件，即能达到既快速播放又不丢失视频信息的效果；兼顾码流带宽和特殊区域的清晰度，为事后的取证提供有力支撑，在视频安防监控领域有着广泛的应用需求。

Claims (1)

1.一种应用于面向事件的智能监控相机的方法，其特征在于，包括：

视频采集后处理得到三种码流，包括低分辨率视频、间隔若干秒的高清图像、高清运动目标图像，该三种码流单独或叠加融合后在显示端显示；其中，三种码流叠加融合的步骤为：

低分辨率视频经过双线性插值后和间隔若干秒的高清图像进行差分，得到差分图像，判断所得差分图像的像素值是否小于给定阈值，如果小于，则将低分辨率视频中该像素用高清图像中的像素代替，并和高清运动目标图像进行羽化叠加融合进行显示；

所述高清运动目标图像是通过采用基于局部高清的数字视频传输方案得到的，分别传输由高清图像经过抽样得到的低分辨率图像和兴趣区域的高清图像，在后台进行融合得到高清运动目标图像；

所述基于局部高清的数字视频传输方案具体有如下步骤：

S1、提取高清图像中的兴趣区域，以图像的横向中心线为基准，利用运动目标检测和连通域跟踪的方法，将图像中经过中心线的运动目标标定出来，提取目标的外接矩形为兴趣区域，并记录兴趣区域矩形在图像中的位置信息；

S2、对高清图像进行抽样，得到低分辨率图像；

S3、将经过抽样得到的低分辨率图像与高清兴趣区域图像分别压缩后传输到客户端；

S4、客户端对数据解压缩，对低分辨率图像进行插值运算还原分辨率；

S5、将高清兴趣区域和低分辨率图像进行融合叠加，利用兴趣区域位置信息，分别确定每个兴趣区域在对应插值图像中的位置，将高清兴趣区域与低分辨率图像进行叠加；

该三种码流单独或叠加融合后在显示端采用视频索引进行显示，视频索引是通过提取视频中具有运动信息特征的关键帧的时间信息与目标数量，建立树型结构并存储索引文件；

所述视频索引建立过程具体有以下步骤：

S1、对原始视频运用运动目标检测算法进行检测；

S2、对检测到运动目标的关键帧进行提取，形成视频片段，对片段进行编号，并记录连续关键帧中第一帧的时间和目标个数；

S3、当目标数量改变时从当前帧开始形成新的视频片段，编号并记录当前帧时间和目标数量；

S4、依据上述时间、片段编号和目标数量建立索引数据库。