CN105469425A - 一种视频浓缩方法 - Google Patents

Abstract

本发明公开了一种视频浓缩方法，通过混合高斯背景模型检测运动目标的前景，统计每一帧图像上的像素点，建立背景，并使用统计差分对每个像素点进行分类；对运动物体通过搜索连通区域，将那些被分割开的区域进行连通区域合并；对运动目标进行跟踪，利用Kalman滤波器结合最小空间距离法来预测每个运动目标的坐标位置，并进行更新、跟踪、清除运动消失的运动对象，并记录运动目标的质心坐标、速度并统计；对运动轨迹进行优化，实现将不同时间段出现的运动目标平移到同一时间段，将前景粘贴到背景，并且不出现目标丢失和严重重叠。本发明实现监控视频的快速浏览，提高视频数据的利用率。

Description

一种视频浓缩方法

技术领域

本发明涉及视频处理技术领域，具体是一种视频浓缩方法。

背景技术

随着当今平安城市和智慧城市的大力发展，越来越多的摄像头被安放，随之而来的是海量监控视频。当需要对这些视频进行查看时，采用传统的浏览方式，浪费大量的人力物力。采用快进快退的方式，往往会遗漏大量信息。远远不能满足人们对视频的访问，因此视频浓缩技术产生。

视频浓缩是对视频视频内容的一个简单概括，首先通过前景检测算法对运动目标进行分析，提取运动目标，然后通过跟踪算法，对各个目标的运动轨迹进行分析，将不同的目标重组并拼接到共同的背景场景中，形成视频。因此，在监控系统中，可以通过视频浓缩快速浏览，锁定检索对象，对于生产生活有积极的指导意义。

传统的生成视频浓缩的技术主要有以下几种：第一种是基于视频关键帧的视频浓缩，此方法首先获取视频的关键帧，然后合成形成新的摘要视频。典型的关键帧提取算法包括：基于镜头边界提取关键帧、基于图像信息提取关键帧、基于运动分析提取关键帧和基于视频聚类提取关键帧，还有针对特定视频类型的视频帧提取算法，如基于图像和文字信息提取新闻视频关键帧等等。另一种是通过获得运动目标，通过分析运动物体稠密程度，得到浓缩视频。

这两种方法得到的视频都无法满足用户获取特定目标信息的要求。这两种方法都是由视频片段拼接，仍存在时长较长、运动不紧凑的问题。

发明内容

本发明的目的在于提供一种实现监控视频的快速浏览、提高视频数据的利用率的视频浓缩方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种视频浓缩方法，通过对运动目标进行分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们进行组合；具体包括以下步骤：

1)前景检测模块：通过混合高斯背景模型检测运动目标的前景，统计每一帧图像上的像素点，利用像素点在较长时间内大量样本值的概率密度统计信息建立背景，并使用统计差分对每个像素点进行分类，若像素点的均值偏差小于阈值，认为是背景点，否则为前景点；

2)对运动物体进行检测后，通过搜索连通区域，判断同一运动目标是否被分割为不少于2个区域，将那些被分割开的区域进行连通区域合并，直到目标检测完成；

3)运动目标跟踪模块：对运动目标进行跟踪，利用Kalman滤波器结合最小空间距离法来预测每个运动目标的坐标位置，并进行更新、跟踪、清除运动消失的运动对象，并记录运动目标的质心坐标、速度；

4)基于运动目标检测和目标跟踪，统计步骤3)中目标的数量、目标出现的起始时间、目标中心、前景框宽度和高度；

5)摘要视频浓缩模块：对运动轨迹进行优化，实现将不同时间段出现的运动目标平移到同一时间段，将前景粘贴到背景，并且不出现目标丢失和严重重叠。

作为本发明进一步的方案：步骤1)的具体方法是：在混合高斯背景模型中，认为每一帧图片像素点之间颜色信息互不相关，对每个像素点的处理都是相互独立的；对于视频图像中每个像素点，其值在序列图像中的变化看作是不断产生像素点值的随机过程，即用高斯分布来描述每个像素点的颜色呈现的规律，建立K个多峰高斯分布模型，图像每个像素点按照不同权值的多个高斯分布叠加建模；然后对K个模型，每个像素点和均值差满足阈值，阈值为2.5σ，认为该像素点是背景，否则是前景。

对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现的颜色的状态，各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时，假定图像像素点的三色通道R、G、B相互独立并具有相同的方差。

对于随机变量X的观测数据集{x₁,x₂,...,x_N}而言，x_t＝(r_t,g_t,b_t)为t时刻像素点的样本，则单个样本服从混合高斯背景模型分布概率密度函数为：

$p\left(x_t\right)=\underset{i=1}{\overset{K}{\Σ}}{w}_{i,t}\×\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})---\left(1\right)$

$\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{{\left|{\mathrm{\τ}}_{i,t}\right|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})}---\left(2\right)$

${\mathrm{\τ}}_{i,t}={\mathrm{\δ}}_{i,t}^{2}I---\left(3\right)$

其中，K为模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为其均值，τ_i，t为其协方差矩阵，δ_i，t为方差，I为三维矩阵，w_i，t为第i个高斯分布的权重。

初始化K个高斯分布背景模型，每个像素点包含K个样本的背景模型：

M(x)＝{p₁，p₂，…，p_N}(4)

且每个新像素点同当前K个模型进行比较，直到找到匹配新像素点的背景模型，按照如下公式判断待分类像素点所属的分布模型：

|X_t-μ_i，t-1|≤2.5σ_i，t-1(5)

对新的一帧，每个像素点与K个模型进行比较，直到找到匹配的像素点与模型均值偏差在2.5σ内；如果匹配的模式符合背景要求，该像素点属于背景，否则属于前景；

各模式权值按如下公式更新，其中α是学习速率，对于匹配的模式M_k,t＝1，否则M_k,t＝0。

w_k，t＝(1-α)*w_k，t-1+α*M_k，t(6)

对于模式权重归一化问题：未匹配模式的均值μ与标准差σ不变，匹配模式的参数按照下面公式更新：

ρ＝α*η(X_t|μ_k，σ_k)(7)

μ_t＝(1-ρ)*μ_t-1+ρ*X_t(8)

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ})*{\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}*{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t)---\left(9\right)$

如果没有任何模式匹配，则权重最小的模式被替换，即该模式均值为当前像素点值，标准差为初始较大值，权重为较小值。各模式按照w/α²按降序排列。权重大，标准差小的模式排在前列。选前B个模式作为背景，参数T表示背景所占的比例，来判断新一帧像素点值属于前景还是背景，如下公式所示：

$B=\arg \left(\underset{b}{\min }\right(\underset{k=1}{\overset{b}{\Σ}}{w}_k>T\left)\right)---\left(10\right)$

作为本发明进一步的方案：步骤2)的具体方法是通过混合高斯背景模型对前景检测存在下述情况：经过混合高斯背景模型进行前景分割后，如果同一目标被分割为不少于2个目标块，这些目标块最小外接矩形在相对位置上存在一定位置关系：一是大框包含小框；二是两框有交集，并不完全包含；三是两框成上下关系，且质心之间水平和垂直距离都小于阈值；对上述目标块最小外接矩形关系的处理方法是：对于包含关系，去掉里面的矩形框，保留外面的；对于相交的矩形框，用大的矩形框去套住两个小的矩形框；对于存在上下位置关系的矩形框，用大的矩形框框住两个小的矩形框，并删除里面两个小的矩形框。

作为本发明进一步的方案：所叙述的步骤3)的具体为：对运动目标进行跟踪，也就是跟踪同一目标在图像序列不同帧中的位置的过程，即通过当前帧中的某个目标，搜索下一帧中该目标的位置信息，判断是否跟踪成功。

作为本发明进一步的方案：所叙述的步骤4)的具体方法，包括以下步骤：

第一步：针对已经检测到的所有运动目标，分别对每一个目标i，利用Kalman滤波器来预测该目标在下一帧中坐标位置，此位置记为预测位置；

第二步：针对下一帧中检测到的所有运动物体，对每一个目标j的坐标位置记为待定位置；

第三步：针对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同时针对该目标j的待定位置，与其距离最近的预测位置是i的位置，则说明i与目标j匹配成功，则跟踪成功，然后用目标j的信息来更新i的信息，并同时根据目标j的位置信息来更新Kalman滤波器，以调整其参数，进行鲁棒性的预测；

第四步：对于没有匹配成功的某个目标i的预测位置，说明该目标已经消失，因而将该目标从跟踪列表中清除即可；对于没有匹配成功的目标j的待定位置，说明目标j是新出现的目标，则为其开辟新的存储空间，并初始化其为运动轨迹。

作为本发明进一步的方案：所述的步骤4)中，将已经成功跟踪的所有目标的最小外接矩形保存到前景容器，将每个目标在每一帧的位置及大小信息保存到目标列表中，将经过混合高斯背景模型得到的所有背景保存在背景容器中。

作为本发明进一步的方案：所述的步骤5)中，在生成摘要视频时，目标轨迹描述文件提供轨迹前景矩阵序列的空间信息和时间信息，确保运动目标平移后没有重叠或者严重重叠。

作为本发明进一步的方案：所述的步骤5)中，在生成摘要视频时，运动目标的平移，指的是时间上的平移；对于目标轨迹相互重叠的区域以透明贴图的形式确保每个目标可见；对于每个目标标注时间戳与前景矩形框。

作为本发明进一步的方案：所述的步骤5)中，在生成摘要视频时，针对背景的处理，本发明采用平均背景法，即进行目标检测和跟踪时，将通过混合高斯背景模型得到的每一帧图像保存下来，在进行视频浓缩时取这些背景帧的均值作为背景来和前景进行粘贴。

作为本发明进一步的方案：所述的步骤5)中，在生成摘要视频时，具体方法包括：

(5-1)对每个运动目标前景进行粘贴时，当两个物体出现遮挡时，进行半透明处理，保证两个物体都能看到；

(5-2)对所有运动目标进行粘贴时，将保存的前景和背景缓存去掉，进行新一轮的保存和浓缩操作。

作为本发明进一步的方案：所述的步骤(5-1)中，在生成摘要视频时，当两个运动目标发生遮挡，其中被遮挡的目标都失去了部分信息；对遮挡的区域，实行半透明处理，两部分物体对应像素点各乘以0.5，然后拼接到背景；这样两部分的遮挡区域都能看见。

与现有技术相比，本发明的有益效果是：本发明提出并实现了视频浓缩方法，该方法从海量监控视频中自动提取运动物体并保存到运动列表，将动态生成的背景与这些运动目标进行拼接，这样实现了将不同时间段内出现的物体平移到同一时间段，实现视频浓缩的目的，从而实现监控视频的快速浏览，提高视频数据的利用率。

还包括以下特点：

1.可以人为设定视频浓缩的密度；

2.浓缩密度的大小，也可以由监控环境来进行设定；

3.通过整合前景检测模块中多连通区域融合算法，使运动目标检测结果更准确。

附图说明

图1为本发明的主要流程图；

图2为混合高斯背景模型示意图；

图3为目标检测算法流程图；

图4为视频浓缩基本原理图；

图5为本发明实施例的简要流程图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1-图5，本发明主要分为三大模块：

(一)前景检测模块

该模块主要作用是将前景目标检测出来，就是将每一帧图像的每个像素点进行分类操作：属于前景或者背景。基于视频浓缩系统实时性考虑，采用混合高斯背景模型检测。

基本的混合高斯背景模型，就是用统计差分的方法对每个像素点进行分类，根据每个像素点是否服从高斯分布，来判断是前景还是背景，如图2所示。

由于环境中光线黯淡，摄像机本身质量不高，拍出的视频对比度低等缺点。往往导致使用混合高斯背景模型效果变差。因此本发明先分割得到数个连通区域的空间分布，同时将同一运动目标的不同连同区域进行融合。用改进后的算法进行运动检测，使结果更加准确。

使用混合高斯背景模型将前景进行分割后，如果同一个目标被分割为不同的目标块，这些目标块最小外接矩形在相对位置上会存在着一定的关系，例如包含、相交不包含、不相交、上下位置关系等。

针对矩形框的这几种关系，本发明是这样处理的：对于包含关系，去掉里面的矩形框，保留外面的；对于相交的矩形框，用大的矩形框去套住两个小的矩形框；对于存在上下位置关系的矩形框，用大的矩形框框住两个小的矩形框，并删除里面两个小的矩形框。

运动目标检测是运动目标跟踪的基础，将检测出来的运动目标传送给运动目标跟踪模块，再对该目标进行跟踪，如图3所示。

(二)运动目标跟踪模块

该模块对前期获取的运动对象进行跟踪，确定同一目标在图像序列不同帧的位置。已知视频第n帧中某个目标，去搜寻n+1帧及后续帧中该目标的信息。找到了，跟踪成功；找不到，跟踪失败或目标消失。

本发明在运动目标跟踪模块中提出了基于空间距离最小匹配的跟踪方法。比较前后帧视频图像中目标的欧式距离。为方便处理，将运动物体的最小外接矩形的中心(即质心)代表该目标在图像上的位置。

本发明中运动目标跟踪模块的具体步骤如下：

第一步，针对已经检测到的所有的运动目标，分别对每一个目标i，首先利用Kalman滤波器来预测该目标在下一帧中的坐标位置，此位置为预测位置；

第二步，针对下一帧中检测到的所有运动目标，对每一个目标j的坐标位置记为待定位置；

第三步，对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同时针对目标j的待定位置，与其距离最近的预测位置是i的位置，说明i与目标j匹配成功，即跟踪成功，然后再用目标j的信息来更新旧目标i的信息，并同时根据目标j的位置与运动信息来更新Kalman滤波器，并调整参数，做稳定性分析。

第四步，对于没有匹配成功的目标i的预测位置，认为目标消失，将物体从跟踪列表中清除即可；对于没有匹配成功目标j的待定位置，认为目标j为新出现的目标，开辟空间，初始化为运动轨迹。

将已经跟踪成功的所有目标的最小外接矩形彩色前景保存到前景容器，将每个目标在每一帧的位置及大小保存到目标列表，将混合高斯背景模型得到的所有背景保存到背景容器中。为模块三的视频浓缩作准备。

(三)摘要视频浓缩模块

在前期进行运动目标检测与运动目标跟踪的基础上，并设定一个轨迹长度，统计运动目标跟踪模块保存的目标数量k，当该数值等于设定的阈值K时，将第二个模块中保存的所有前景目标同时拼接到一帧处理好的背景中，实现不同时间出现的运动目标在同一时间呈现。将拼接好的视频帧一帧帧播放，形成动态浓缩视频。

针对背景的处理，采用平均背景法，在运动目标的检测与跟踪中，将通过混合高斯背景模型得到的每一帧背景图像保存下来，在进行视频浓缩时，取这些背景的平均值作为背景来与前景进行拼接。

如图4所示，横轴表示位置信息，纵轴表示时间信息，视频浓缩的目的就是使在不同时间区间出现的目标与发生的事件在同一时间段内同时发生，极大的压缩空间时间段，充分利用时间与空间，提高其利用率。

摘要视频浓缩模块执行步骤如下：

第一步，统计运动目标跟踪模块中保存的目标数量，当轨迹长度k等于设定阈值K时，执行第二步；否则执行第一步。

第二步，计算第一个目标出现到第N个目标出现时，经过高斯混合模型得到的视频背景帧的平均值作为所要拼接的背景帧。

第三步，对平均背景，将先前保存的前景目标的最小外接矩形中所有像素点替换到背景。由此完成将不同时间段出现的运动目标在同一时刻出现，完成一个静态的浓缩。

对于遮挡的操作，遮挡的像素点进行加权操作，两个目标像素点值各乘以0.5，再添加拼接到相应背景中。这样遮挡区域全能看见。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (11)

1.一种视频浓缩方法，通过对运动目标进行分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们进行组合；其特征在于：具体包括以下步骤：

1）前景检测模块：通过混合高斯背景模型检测运动目标的前景，统计每一帧图像上的像素点，利用像素点在长时间内大量样本值的概率密度统计信息建立背景，并使用统计差分对每个像素点进行分类，若像素点的均值偏差小于阈值，认为是背景点，否则为前景点；

2）对运动物体进行检测后，通过搜索连通区域，判断同一运动目标是否被分割为不少于2个区域，将那些被分割开的区域进行连通区域合并，直到目标检测完成；

3）运动目标跟踪模块：对运动目标进行跟踪，利用Kalman滤波器结合最小空间距离法来预测每个运动目标的坐标位置，并进行更新、跟踪、清除运动消失的运动对象，并记录运动目标的质心坐标、速度；

4）基于运动目标检测和目标跟踪，统计步骤3）中目标的数量、目标出现的起始时间、目标中心、前景框宽度和高度；

5）摘要视频浓缩模块：对运动轨迹进行优化，实现将不同时间段出现的运动目标平移到同一时间段，将前景粘贴到背景，并且不出现目标丢失和严重重叠。

2.根据权利要求1所述的视频浓缩方法，其特征在于：步骤1）的具体方法是：在混合高斯背景模型中，认为每一帧图片像素点之间颜色信息互不相关，对每个像素点的处理都是相互独立的；对于视频图像中每个像素点，其值在序列图像中的变化看作是不断产生像素点值的随机过程，即用高斯分布来描述每个像素点的颜色呈现的规律，建立K个多峰高斯分布模型，图像每个像素点按照不同权值的多个高斯分布叠加建模；然后对K个模型，每个像素点和均值差满足阈值，阈值为2.5，认为该像素点是背景，否则是前景。

3.根据权利要求1所述的视频浓缩方法，其特征在于，步骤2）的具体方法是通过混合高斯背景模型对前景检测存在下述情况：经过混合高斯背景模型进行前景分割后，如果同一目标被分割为不少于2个目标块，这些目标块最小外接矩形在相对位置上存在一定位置关系：一是大框包含小框；二是两框有交集，并不完全包含；三是两框成上下关系，且质心之间水平和垂直距离都小于阈值；对上述目标块最小外接矩形关系的处理方法是：对于包含关系，去掉里面的矩形框，保留外面的；对于相交的矩形框，用大的矩形框去套住两个小的矩形框；对于存在上下位置关系的矩形框，用大的矩形框框住两个小的矩形框，并删除里面两个小的矩形框。

4.根据权利要求1所述的视频浓缩方法，其特征在于，所叙述的步骤3）的具体为：对运动目标进行跟踪，也就是跟踪同一目标在图像序列不同帧中的位置的过程，即通过当前帧中的某个目标，搜索下一帧中该目标的位置信息，判断是否跟踪成功。

5.根据权利要求1所述视频浓缩方法，所叙述的步骤4）的具体方法，包括以下步骤：

第一步：针对已经检测到的所有运动目标，分别对每一个目标i，利用Kalman滤波器来预测该目标在下一帧中坐标位置，此位置记为预测位置；

第二步：针对下一帧中检测到的所有运动物体，对每一个目标j的坐标位置记为待定位置；

第三步：针对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同时针对该目标j的待定位置，与其距离最近的预测位置是i的位置，则说明i与目标j匹配成功，则跟踪成功，然后用目标j的信息来更新i的信息，并同时根据目标j的位置信息来更新Kalman滤波器，以调整其参数，进行鲁棒性的预测；

第四步：对于没有匹配成功的某个目标i的预测位置，说明该目标已经消失，因而将该目标从跟踪列表中清除即可；对于没有匹配成功的目标j的待定位置，说明目标j是新出现的目标，则为其开辟新的存储空间，并初始化其为运动轨迹。

6.如权利要求1所述的视频浓缩方法，其特征在于，所述的步骤4）中，将已经成功跟踪的所有目标的最小外接矩形保存到前景容器，将每个目标在每一帧的位置及大小信息保存到目标列表中，将经过混合高斯背景模型得到的所有背景保存在背景容器中。

7.如权利要求1所述的视频浓缩方法，其特征在于，所述的步骤5）中，在生成摘要视频时，目标轨迹描述文件提供轨迹前景矩阵序列的空间信息和时间信息，确保运动目标平移后没有重叠或者严重重叠。

8.如权利要求1所述的视频浓缩方法，其特征在于，所述的步骤5）中，在生成摘要视频时，运动目标的平移，指的是时间上的平移；对于目标轨迹相互重叠的区域以透明贴图的形式确保每个目标可见；对于每个目标标注时间戳与前景矩形框。

9.如权利要求1所述的视频浓缩方法，其特征在于，所述的步骤5）中，在生成摘要视频时，针对背景的处理采用平均背景法，即进行目标检测和跟踪时，将通过混合高斯背景模型得到的每一帧图像保存下来，在进行视频浓缩时取这些背景帧的均值作为背景来和前景进行粘贴。

10.如权利要求1所述的视频浓缩方法，其特征是所述的步骤5）中，在生成摘要视频时，具体方法包括：

（5-1）对每个运动目标前景进行粘贴时，当两个物体出现遮挡时，进行半透明处理，保证两个物体都能看到；

（5-2）对所有运动目标进行粘贴时，将保存的前景和背景缓存去掉，进行新一轮的保存和浓缩操作。

11.如权利要求10所述的视频浓缩方法，其特征在于，所述的步骤（5-1）中，在生成摘要视频时，当两个运动目标发生遮挡，其中被遮挡的目标都失去了部分信息；对遮挡的区域，实行半透明处理，两部分物体对应像素点各乘以0.5，然后拼接到背景；这样两部分的遮挡区域都能看见。