CN104933728A - 一种混合运动目标检测方法 - Google Patents

Abstract

一种混合运动目标检测方法。运动目标检测，通常是针对视频图像中的变化区域，目的是把变化的元素从背景中提取出来。传统的目标检测方法有相邻帧间差分法、背景差分法、光流法等。但由于光照变化、背景扰动等干扰因素，会出现目标检测不准确、边缘检测不完整、孔洞和阴影影等问题。本发明提出了一种由混合高斯模型、Canny边缘检测法与连续帧间差分法相结合的算法。该算法在时间域上利用混合高斯模型进行背景的建模及更新，在空间域上利用Canny边缘检测法、连续帧差分法及混合高斯模型相结合的算法检测出运动目标轮廓，并进行形态学处理。将该方法应用于智能视频监控技术中，能够精确的检测出运动目标，且具有较好的实时性和鲁棒性。

Description

一种混合运动目标检测方法

【技术领域】

本发明属于计算机视觉、图像视频处理和人工智能结合的技术领域。

【背景技术】

智能视频监控的定义为：在无需人为干预的条件下，通过计算机视觉的相关技术对监控系统中的视频序列图像进行处理、分析和理解，实现对所监控区域中目标物体的检测、定位、跟踪与识别，并在此基础上对目标的行为进行分析与判断。智能视频监控系统按需求与功能一般分为四大模块，目标检测、目标跟踪、目标识别以及目标行为分析。

运动目标检测，是指自动化的去除监控视频图像序列中的背景，把人们感兴趣的目标从视频图像序列中提取出来。运动目标检测作为智能视频监控中的关键环节，主要包括相邻帧间差分法、背景差分法、光流法和Canny边缘检测法等，以及对图像利用混合高斯模型进行建模，并对视频图像序列进行更新和处理。

相邻帧间差分法，其基本思想是根据相邻两帧图像之间的差异，来提取场景中的运动目标。具体方法是帧间做差，差值为0的部分可以认定为图像的背景，即目标运动状态没有发生改变；而差值不为零是由于物体的状态发生改变所导致的，由此可提取出运动目标。

背景差分法，其基本思想也是对图像帧进行差分运算，但需要事先设定背景，然后将输入的图像与设定的背景进行差分运算，差值即为运动目标轮廓。对背景的提取与设定是此方法的首要任务，一般来说对背景的提取有两种方式：一种是设定图像的第一帧为背景；另一种是用统计学方法将前k帧图像进行取均值运算，将运算后得到的图像帧设定为背景。

运动目标在被检测过程中出现的不利因素往往都是由光照和噪声等引起的，为了解决这些问题，我们用到图像处理技术。图像处理技术主要包括颜色模型分析、灰度化、消除噪声、二值化、形态学处理。其中颜色模型分析包括RGB颜色模型、YUV颜色模型、HSV颜色模型；灰度化包括灰度图的表示、真彩色位图和灰度图的转换；噪声消除的方法包括频域滤波和时域滤波；二值化就是利用某一阈值将图像划分为前景目标和背景两部分。形态学处理是对所得目标图像消除孤立噪声，填充边缘孔洞等，包括腐蚀和膨胀等处理方式。

颜色模型分析，一般可分为RGB、YUV与HSV等。RGB颜色模型由立方体表示其属性特征，如图1所示，三个坐标参数分别为R、G、B，其中，黑色由(0,0,0)表示，白色由(1,1,1)表示，其它颜色的分布则介于这两种颜色之间，包括224种不同的颜色，具体的配色方程如下：

F(物体的颜色)＝R×(红色的比例)+G×(绿色的比例)+B×(蓝色的比例)

YUV色彩模型主要应用于SECAM和PAL彩色电视制式。其中Y表示亮度信息，U和V用于表示色差特性，在应用中分别对基色分量(红色和蓝色)与亮度分量的差值信号进行传输。从RGB模型转换到YUV模型的公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& 0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

灰度化，灰度图像通常指那些仅包含亮度元素而没有色彩元素的图像，连续性是其图像变化的最显著特征。由此可知，通常灰度图像的表示方法就是通过灰度值的量化来实现，一般被定义为256个不同的级别，对应灰度值的取值范围为0～255，其中两端的端点值分别对应全黑和全白(全黑为0，全白为255)。用灰度值表示BMP格式图像时，把R、G、B所对应的值绑定对待，即三个变量都取相同的值，同256个灰度级相匹配，也就是用(0,0,0)、(1,1,1)到(255,255,255)的值来对每一个像素点进行表示。

将真彩色位图转换成灰度图时，使用YUV模型，Y表示亮度，它包含了灰度图所需的全部特征，因此仅Y分量就可以将一幅灰度图表示出来。利用灰度与颜色的关系计算出每一颜色相应的灰度值：

Y＝0.299R+0.587G+0.114B

消除噪声，在图像获取时会产生许多噪声，这些噪声会影响到目标检测的正确率。从统计学角度来讲，同一图像的绝大部分相邻像素的灰度差异很小、相关性很高，这种特性决定了图像的大部分能量汇聚于低频区域中，与此相对，高频区域则主要集中了图像的细节信息以及在图像转化与传输过程中产生的噪声等。这种特性为我们去除图像噪声提供了思路，即对高频分量进行衰减，对低频分量进行增强，这就是图像的平滑去噪。平滑去噪主要包括频域滤波和时域滤波两种方法。其中，时域滤波处理有如下几种方法：

(1)多图像平均法：基本思想是获取多幅目标图像，取所获图像的加权平均值。该方法的运算复杂度较高，耗时较长，因此对实时性要求较高的场景适应度较低。

(2)中值滤波法：该方法在进行信号处理时为非线性处理，能够比较有效的降低噪声干扰对图像的影响。传统的中值滤波处理需要对所选取的窗口内的像素灰度值进行排序，处理速度难以达到人们的需求水平。针对以上缺点，研究人员对该方法进行了适当的改进，假设选取窗口的尺寸为m×n，执行如下流程：首先从统计学角度出发，利用直方图计算所选窗口内像素灰度值的平均值；其次，在中值滤波由某一个窗口过度到下一窗口的输出过程中，窗口将向右平移一列，而其它的像素则维持原状态。因此，这种方式不仅能够修正原直方图的偏差也能计算出新窗口的中值。

(3)邻域平均法：用某像素点相邻区域内所有点灰度值的加权平均值来取代所选区域的所有点的灰度值。此方法运算复杂度较低，实时性较好，但容易导致图像边缘不清晰。

(4)保持边缘滤波法：在保持去除噪声干扰的同时，还能保证图像高频成分的完整性，但是在运算过程中复杂度较高，实时性较差。

二值化，目的就是把目标物体从图像中提取出来。具体过程可以描述为，针对图像f(x,y)的特性，选取某一阈值T，则将出现两个集合，其中一个为大于或等于T的集合，另一个为小于T的集合。把大于或等于T的集合中的像素灰度值设定为255，即白色，则另一个集合中对应的像素灰度值设定为0，即黑色，此时图像被转换成了黑白图像。具体的阈值化变换公式如下：

$f(x,y)=\left\{\begin{array}{cc}255& x\&GreaterEqual;T\\ 0& x<T\end{array}\right.$

其中T为指定的阈值，x为图像中点的像素灰度值。

形态学处理图像，是为了消除图像中的孤立噪声，填充目标边缘轮廓的孔洞等。其方法包括腐蚀的处理方式，膨胀处理方式等。一般采用腐蚀的处理方式对图像的孤立噪声进行抑制与消除，用膨胀的处理方式对图像进行边界孔洞的填充。

腐蚀的处理方式对图像进行孤立噪声的抑制与消除，定义某二值图像的表达函数为A(x,y)，模板的表达函数为B(x,y)，腐蚀的定义如下：

$E=A\&CircleTimes;B=\{x,y|B_{xy}\&SubsetEqual;D\}$

利用模板B对图像A进行腐蚀处理的过程如下：

(1)对模板的原点(0,0)进行移位处理，移动至目标点(x,y)，得到图像B_xy，其中(x,y)是图像A中的点。

(2)若图像B_xy完全包含于图像A中，则B原点所在位置属于腐蚀处理后E中的点，否则不是。

(3)遍历图像A中所有可能的(x,y)点之后，所得B原点的运动路线就构成了腐蚀的结果。

膨胀的处理方式对图像进行边界孔洞的填充，定义某二值图像的表达函数为A(x,y)，模板的表达函数为B(x,y)，膨胀的定义如下：

$D=A\&CirclePlus;B=\{x,y|B_{xy}\&cap;A\&NotEqual;\mathrm{\&Phi;}\}$

利用模板B对图像A进行膨胀处理的过程如下：

(1)对模板的原点(0,0)进行移位处理，移动至目标点(x,y)，得到图像B_xy，其中(x,y)是图像A中的点。

(2)若图像B_xy与图像A有交集且非空，且B中存在一点与A中相对应点全为1，则B原点所在位置属于膨胀处理后D中的点，否则不是。

(3)遍历图像A中所有可能的(x,y)点之后，所得B原点的运动路线就构成了膨胀的结果。

上述研究所提出的相邻帧间差分法、背景差分法和光流法等，会由于光照变化、背景扰动而出现孤立噪声、目标检测不准确、边缘检测不完整、孔洞、阴影等问题。相邻帧间差分法容易产生孔洞现象，且当运动目标移动缓慢时容易出现误判的情况；背景差分法对复杂背景的处理效率非常低；光流法的算法复杂度高、实时性差、执行效率低、抗干扰性差。

【发明内容】

本发明的目的是解决智能视频监控系统中运动目标检测不准确、边缘检测不完整、孔洞和阴影等问题，提高运动目标检测精度。本发明在了解传统运动目标检测方法的基础上重点研究了混合高斯模型、Canny边缘检测法和连续帧间差分法，提出了一种混合运动目标检测新方法。该方法可以用在不同的智能视频监控中，如社区安防、交通监管、银行、商场等，能够有效解决目标检测不完整等问题并提高运动目标检测精度。

本发明的技术方案

一种混合目标运动检测方法，该方法主要包括如下关键步骤：

第1、用连续帧间差分法与Canny边缘检测法相结合的算法检测出运动目标轮廓；

第2、用Canny边缘检测法与混合高斯模型相结合的算法检测出运动目标轮廓；

第3、将第1步和第2步得到的两个运动目标轮廓进行逻辑“或”运算，得到完整目标轮廓；

第4、对第3步得到的完整目标轮廓进行形态学处理，消除图像中的孤立噪声，填充目标轮廓边缘的孔洞，得到最终目标轮廓。

第1步所述的连续帧间差分法与Canny边缘检测法相结合的算法包括以下关键步骤：

第1.1、在监控视频中随机选取连续的7帧视频图像；

第1.2、对随机选取的连续7帧视频图像分别进行平滑去噪；

第1.3、对经过平滑去噪处理后的图像进行Canny边缘检测；

第1.4、对经过Canny边缘检测后的图像进行帧间差分，并进行逻辑“与”和逻辑“或”运算，得到运动目标轮廓。

第2步所述的Canny边缘检测法与混合高斯模型相结合的算法包括以下关键步骤：

第2.1、用混合高斯模型进行背景的建模；

第2.2、对用混合高斯模型提取出的运动目标轮廓，在RGB颜色空间进行阴影检测与消除；

第2.3、用Canny边缘检测法检测出运动目标轮廓；

第2.4、将第2.2和第2.3得到的两个目标轮廓进行逻辑“与”运算，得到运动目标轮廓。

本发明的优点和积极效果

本发明提出的一种混合运动目标检测新方法可有效解决智能视频监控系统中目标检测不准确、边缘检测不完整，阴影、孔洞、孤立噪声，以及由于物体移动缓慢而导致的漏检等问题。

将该方法应用于智能视频监控系统中，采用混合高斯模型、Canny边缘检测法与连续帧间差分法相结合的算法。在时间域上通过混合高斯模型进行背景的建模与更新，在空间域上利用Canny边缘检测法、连续帧间差分法以及混合高斯模型相结合的算法检测出运动目标，并对目标轮廓进行形态学处理，消除孤立噪声、填充边缘孔洞。该方法能更精确的检测出运动目标轮廓。

本发明提出的一种混合运动目标检测新方法应用于智能视频监控系统中，如社区安防、交通监管、银行、商场等，具有较好的实时性和鲁棒性。

【附图说明】

图1RGB颜色模型。

图2混合运动目标检测算法流程图。

图3连续帧间差分法与Canny边缘检测法相结合算法流程图。

图4Canny边缘检测法与混合高斯模型相结合算法流程图。

图5经过平滑去噪处理后所得图像。

图6进行Canny边缘检测后所得图像。

图7进行帧间差分并执行逻辑“与”和逻辑“或”运算所得图像。

图8利用混合高斯模型进行建模所得图像。

图9在RGB颜色空间进行阴影检测与消除所得图像。

图10执行Canny边缘检测后所得图像。

图11将图9和图10进行逻辑“与”运算所得图像。

图12将步骤一所得图7和步骤二所得图11进行逻辑“或”运算所得图像。

图13对完整目标轮廓(图12)进行形态学处理所得最终目标轮廓图像。

【具体实施方式】

实施例一、

步骤一：用连续帧间差分法与Canny边缘检测法相结合的算法检测出运动目标轮廓，其算法流程图如图3所示，详细步骤如下：

1、在视频中随机选取连续的7帧视频图像f_k-3(x,y)，f_k-2(x,y)，…，f_k+3(_x,y)；

2、用中值滤波法对这7帧连续的图像分别进行平滑去噪；

例如原图像素值为： $\left[\begin{array}{ccccccc}0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 1& 0& 0\\ 0& 0& 1& 6& 1& 0& 0\\ 0& 0& 1& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0\end{array}\right]$

用3×1大小的窗口进行中值滤波处理，则经过平滑去噪后的图像像素值为：

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 1& 1& 1& 0\\ 0& 1& 1& 1& 0\\ 0& 1& 1& 1& 0\\ 0& 0& 0& 0& 0\end{array}\right]$

分别对这7帧图像进行处理，则经过中值滤波处理后的图像结果如图5所示。

3、对经过平滑去噪处理后的图像进行Canny边缘检测；

(1)用高斯算子的一阶微分对图像进行滤波，得到每个图像的梯度和方向；

利用高斯函数的可分性，将▽G的两个滤波卷积模板分解为两个一维的行列滤波器，分别为：

$\frac{\&part;G}{\&part;x}=kx\exp (-\frac{x^2}{2{\mathrm{\&sigma;}}^2})\exp (-\frac{y^2}{2{\mathrm{\&sigma;}}^2})$ 和 $\frac{\&part;G}{\&part;y}=ky\exp (-\frac{y^2}{2{\mathrm{\&sigma;}}^2})\exp (-\frac{x^2}{2{\mathrm{\&sigma;}}^2}),$ 将行列滤波器分别与图像进行卷积，得到输出结果 $E_x=\frac{\&part;G}{\&part;x}\&times;f(x,y)$ 和 $E_y=\frac{\&part;G}{\&part;y}\&times;f(x,y),$ 并令其中A(i,j)反映了图像上(i,j)点处的边缘强度。

例如原图像像素值为 $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 3& 5& 6& 7& 1& 5\\ 6& 2& 1& 4& 3& 3& 6\\ 5& 3& 1& 2& 1& 2& 4\\ 7& 4& 2& 1& 1& 6& 5\\ 9& 6& 4& 1& 4& 5& 7\end{array}\right],$ 行滤波器为：[5 5 5 5 5 5 5]，列滤波器为： $\left[\begin{array}{c}5\\ 5\\ 5\\ 5\\ 5\\ 5\end{array}\right],$ 得到输出结果E_x为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 0& 0& 0& 0& 0& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right],$ E_y为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 0& 0& 0& 0& 0& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right]$

得出A(i,j)为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 0& 0& 0& 0& 0& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right]$

(2)对梯度进行“非极大抑制”；

例如用“非极大值抑制”处理A(i,j)，设阈值为5。则得到结果为： $\left[\begin{array}{ccccccc}1& 1& 1& 1& 1& 1& 1\\ 1& 0& 1& 1& 1& 0& 1\\ 1& 0& 0& 0& 0& 0& 1\\ 1& 0& 0& 0& 0& 0& 0\\ 1& 0& 0& 0& 0& 0& 1\\ 1& 1& 0& 0& 0& 1& 1\end{array}\right]$

则经过Canny边缘检测处理视频图像序列，结果如图6所示。

4、对经过Canny边缘检测后的图像进行帧间差分，并进行逻辑“与”和逻辑“或”运算；

(1)进行帧间差分，即第一帧、第二帧、第三帧、第五帧、第六帧、第七帧分别和第四帧进行差分处理,分别得到D₁₄，D₂₄，D₃₄，D₄₅，D₄₆，D₄₇；

例如两个图像的像素值分别为： $\left[\begin{array}{cccc}1& 1& 1& 2\\ 1& 2& 1& 1\\ 2& 1& 1& 0\end{array}\right]$ 和 $\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 2& 1& 1\\ 0& 1& 0& 0\end{array}\right],$ 则两图像的像素值差分之后的结果为： $\left[\begin{array}{cccc}1& 0& 0& 2\\ 0& 0& 0& 0\\ 2& 0& 1& 0\end{array}\right].$

(2)进行逻辑“与”运算，能克制运动目标图像重影现象，即 $D_2=D_{24}\&CircleTimes;D_{46},D_3=D_{34}\&CircleTimes;D_{45};$

例如两个图像的像素值分别为： $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 0& 1& 1& 1& 1\\ 1& 0& 1& 1& 0\\ 0& 1& 0& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccccc}1& 1& 1& 0& 0\\ 1& 1& 1& 0& 1\\ 1& 0& 0& 1& 1\\ 1& 1& 0& 0& 1\end{array}\right],$ 则两图像的像素值进行逻辑“与”运算之后的结果为： $\left[\begin{array}{ccccc}1& 1& 1& 0& 0\\ 0& 1& 1& 0& 1\\ 1& 0& 0& 1& 0\\ 0& 1& 0& 0& 1\end{array}\right].$

(3)进行逻辑“或”运算，能克制运动目标图像孔洞现象，即

例如两个图像的像素值分别为： $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 0& 1& 1& 1& 1\\ 1& 0& 1& 1& 0\\ 0& 1& 0& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccccc}1& 1& 1& 0& 0\\ 1& 1& 1& 0& 1\\ 1& 0& 0& 1& 1\\ 1& 1& 0& 0& 1\end{array}\right],$ 则两图像的像素值进行逻辑“或”运算之后的结果为： $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 1& 1& 1& 1& 1\\ 1& 0& 1& 1& 1\\ 1& 1& 0& 0& 1\end{array}\right].$

经过帧间差分，并进行逻辑“与”和逻辑“或”运算处理图像，结果如图7所示。

步骤二：用Canny边缘检测法与混合高斯模型相结合的算法检测出运动目标轮廓，其算法流程图如图4所示，详细步骤如下：

1、用混合高斯模型进行背景的建模；

直接利用混合高斯模型算法对视频图像序列进行背景的建模。

例如得到的图像像素值为： $\left[\begin{array}{ccccccc}6& 8& 5& 6& 9& 8& 6\\ 8& 3& 5& 6& 7& 1& 5\\ 6& 2& 1& 4& 3& 9& 6\\ 5& 3& 1& 2& 1& 2& 4\\ 7& 9& 2& 1& 9& 5& 5\\ 9& 6& 4& 1& 4& 5& 7\end{array}\right]$

利用混合高斯模型算法对视频图像序列进行建模，所得结果如图8所示。

2、对经过混合高斯模型所得的图像，在RGB颜色空间进行阴影检测与消除；

例如对1中的图像像素值，在RGB颜色空间进行阴影的检测与消除，

所得像素值为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 7& 7& 6\\ 7& 3& 5& 6& 7& 1& 5\\ 6& 2& 1& 4& 3& 7& 6\\ 5& 3& 1& 2& 1& 2& 4\\ 7& 7& 2& 1& 7& 5& 5\\ 7& 6& 4& 1& 4& 5& 7\end{array}\right]$

对视频图像序列在RGB颜色空间进行阴影检测与消除，结果如图9所示。

3、用Canny边缘检测法检测出运动目标轮廓；

(1)用高斯算子的一阶微分对图像进行滤波，得到每个图像的梯度和方向；

利用高斯函数的可分性，将▽G的两个滤波卷积模板分解为两个以为的行列滤波器，将行列滤波器分别与图像进行卷积，得到输出结果E_x和E_y，并令其中A(i,j)反映了图像上(i,j)点处的边缘强度。

例如原图像像素值为 $\left[\begin{array}{ccccccc}5& 6& 5& 6& 7& 8& 6\\ 8& 3& 5& 6& 7& 1& 5\\ 6& 2& 1& 3& 3& 3& 6\\ 5& 6& 1& 2& 1& 6& 4\\ 8& 4& 2& 2& 1& 7& 5\\ 9& 6& 4& 2& 4& 5& 7\end{array}\right],$ 行滤波器为：[5 5 5 5 5 5 5]，列滤波器为： $\left[\begin{array}{c}5\\ 5\\ 5\\ 5\\ 5\\ 5\end{array}\right],$ 得到输出结果E_x为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 6& 0& 0& 0& 6& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right],$ E_y为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 6& 0& 0& 0& 6& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right]$

得出A(i,j)为： $\left[\begin{array}{ccccccc}6& 7& 5& 6& 9& 8& 6\\ 8& 0& 5& 6& 7& 0& 5\\ 6& 0& 0& 0& 0& 0& 6\\ 5& 6& 0& 0& 0& 6& 0\\ 7& 0& 0& 0& 0& 0& 5\\ 9& 6& 0& 0& 0& 5& 7\end{array}\right]$

(2)对梯度进行“非极大抑制”；

例如用“非极大值抑制”处理A(i,j)，设阈值为5。则得到结果为： $\left[\begin{array}{ccccccc}1& 1& 1& 1& 1& 1& 1\\ 1& 0& 1& 1& 1& 0& 1\\ 1& 0& 0& 0& 0& 0& 1\\ 1& 1& 0& 0& 0& 1& 0\\ 1& 0& 0& 0& 0& 0& 1\\ 1& 1& 0& 0& 0& 1& 1\end{array}\right]$

对视频图像序列进行Canny边缘检测，所得结果如图10所示。

4、把经过RGB颜色模型进行处理后的运动目标轮廓和用Canny边缘检测法得到的运行目标轮廓进行逻辑“与”运算。

例如两个图像的像素值分别为： $\left[\begin{array}{ccccc}1& 1& 0& 1& 0\\ 0& 1& 1& 1& 1\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 0\end{array}\right]$ 和 $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 0& 1& 1& 0& 0\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 1\end{array}\right],$ 则两图像的像素值进行逻辑“与”运算之后的结果为： $\left[\begin{array}{ccccc}1& 1& 0& 1& 0\\ 0& 1& 1& 0& 0\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 0\end{array}\right].$

即将图9和图10进行逻辑“与”运算，所得结果如图11所示。

步骤三：将步骤一和步骤二所得运动目标轮廓进行逻辑“或”运算，得到完整运动目标轮廓；

例如两个图像的像素值分别为： $\left[\begin{array}{ccccc}1& 1& 0& 1& 0\\ 0& 1& 1& 1& 1\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 0\end{array}\right]$ 和 $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 0& 1& 1& 0& 0\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 1\end{array}\right],$ 则两图像的像素值进行逻辑“或”运算之后的结果为： $\left[\begin{array}{ccccc}1& 1& 1& 1& 0\\ 0& 1& 1& 1& 1\\ 1& 0& 1& 1& 0\\ 0& 1& 1& 0& 1\end{array}\right].$

即将图7和图11进行逻辑“或”运算，所得结果如图12所示，得到完整运动目标轮廓，更加清晰完整；

步骤四：对步骤三得到的完整目标轮廓进行形态学处理，消除图像中的孤立噪声，填充目标边缘孔洞；

例如图像的像素值为： $\left[\begin{array}{ccccccc}1& 5& 1& 1& 1& 3& 0\\ 1& 0& 1& 1& 0& 0& 1\\ 1& 0& 0& 0& 1& 0& 1\\ 9& 1& 0& 0& 0& 1& 6\\ 1& 1& 0& 2& 0& 1& 1\\ 0& 1& 0& 0& 0& 1& 1\end{array}\right],$

经过腐蚀消除图像中的孤立噪声，所得图像像素值为： $\left[\begin{array}{ccccccc}1& 5& 1& 1& 1& 3& 0\\ 1& 0& 1& 1& 0& 0& 1\\ 1& 0& 0& 0& 0& 0& 1\\ 9& 1& 0& 0& 0& 1& 6\\ 1& 1& 0& 0& 0& 1& 1\\ 0& 1& 0& 0& 0& 1& 1\end{array}\right]$

经过膨胀进行边缘空洞的填充，所得图像像素值为： $\left[\begin{array}{ccccccc}1& 1& 1& 1& 1& 1& 1\\ 1& 0& 1& 1& 0& 0& 1\\ 1& 0& 0& 0& 0& 0& 1\\ 1& 1& 0& 0& 0& 1& 1\\ 1& 1& 0& 0& 0& 1& 1\\ 1& 1& 0& 0& 0& 1& 1\end{array}\right]$

即利用背景技术中所述的形态学处理方法对本实验所得完整目标轮廓进行处理，即对图12进行形态学处理，所得最终视频图像目标轮廓如图13所示。

Claims (3)

1.一种混合目标运动检测方法，其特征在于该方法主要包括如下关键步骤：

第1、用连续帧间差分法与Canny边缘检测法相结合的算法检测出运动目标轮廓；

第2、用Canny边缘检测法与混合高斯模型相结合的算法检测出运动目标轮廓；

第3、将第1步和第2步得到的两个运动目标轮廓进行逻辑“或”运算，得到完整目标轮廓；

第4、对第3步得到的完整目标轮廓进行形态学处理，消除图像中的孤立噪声，填充目标轮廓边缘的孔洞，得到最终目标轮廓。

2.根据权利要求1所述方法，其特征在于，第1步所述的连续帧间差分法与Canny边缘检测法相结合的算法包括以下关键步骤：

第1.1、在监控视频中随机选取连续的7帧视频图像；

第1.2、对随机选取的连续7帧视频图像分别进行平滑去噪；

第1.3、对经过平滑去噪处理后的图像进行Canny边缘检测；

第1.4、对经过Canny边缘检测后的图像进行帧间差分，并进行逻辑“与”和逻辑“或”运算，得到运动目标轮廓。

3.根据权利要求1所述方法，其特征在于，第2步所述的Canny边缘检测法与混合高斯模型相结合的算法包括以下关键步骤：

第2.1、用混合高斯模型进行背景的建模；

第2.2、对用混合高斯模型提取出的运动目标轮廓，在RGB颜色空间进行阴影检测与消除；

第2.3、用Canny边缘检测法检测出运动目标轮廓；

第2.4、将第2.2和第2.3得到的两个运动目标轮廓进行逻辑“与”运算，得到运动目标轮廓。