运动目标检测方法及系统
技术领域
本发明涉及视频监控技术,特别是涉及一种智能视频监控系统中的运动目标的检测方法及系统。
背景技术
常规的智能视频监控技术都包括一个运动目标检测技术。运动目标检测的目的是将视频场景中的运动目标区域从背景中分割出来。由于光照的变化、背景混乱运动的干扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在,给运动目标的正确检测带来了极大的挑战。而运动目标的检测与分割影响着后期的跟踪和分类,因此成为智能视频监控技术研究中的关键之一。
为了实现运动目标检测,可以使用光流法。光流法检测采用了目标随时间变化的光流特性,可以通过计算位移向量光流场来初始化目标的轮廓,从而使基于轮廓的跟踪算法有效地检测和跟踪目标。这种方法的缺点是大多数光流计算方法相当复杂,且抗噪性能差,如果没有特别的硬件装置,很难应用于场景图像的实时性操作。
为了实现运动目标检测,也可以使用帧间差分法。帧间差分法是检测相邻两帧图像之间变化的最简单方法,是直接比较两帧图像对象像素点像素值的不同,然后通过阈值来提取场景图像中的运动目标区域。这种方法的缺点是一般不能完全提取所有相关的特征像素点,在运动实体内部容易产生空洞现象,对基于区域的运动目标跟踪的鲁棒性不强,而且无法检测出静止的车辆,对于运动目标的速度有所限制。
为了实现运动目标检测,也可以使用背景差分法。背景差分法是利用场景图像中当前帧图像减去背景图像。由于动态背景下光线的变化往往会引起背景的渐变,从而这种方法往往无法适应环境的变化。
综上所述,目前迫切需要提出更为有效的运动目标检测方案。
发明内容
有鉴于此,本发明的目的在于提供一个运动目标检测方法及系统,该方法解决了光照的变化、背景混乱运动的干扰、运动目标的影子、摄像机的抖动以及运动目标的自遮挡和互遮挡现象的存在等带来的问题,实现了复杂场景下的运动目标检测。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种运动目标检测方法,该方法包括如下步骤:
获取视频,获取视频内容以得到场景图像,并建立背景模型;
预处理图像,消除场景图像对背景模型的影响;
标记区域,根据背景模型对场景图像进行前景分割,并标记出连通区域;
维护状态,判定运动目标检测系统当前所处的状态,做出相应处理,并且在必要时做异常检测;
增强区域,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;
分裂与合并区域,使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
根据本发明,所述预处理图像包括:滤波处理和全局运动补偿;其中,所述滤波处理包括:对图像进行噪声过滤处理、图像平滑处理;所述全局运动补偿,是补偿由于相机轻微摆动而引起的图像全局运动,在全局运动补偿中,运动模型包括平移、旋转、变焦。
通过下列公式计算前景所在的矩形区域周围正负5个像素的区域亮度差IDS,得到全局运动补偿中图像平移的距离Δx、Δy,公式如下:
其中,sx表示区域起点x坐标,sy表示区域起点y坐标,I(x,y)(t)表示当前帧图像灰度,I(x,y)(t-1)表示上一帧图像灰度;
同理计算其它四个区域的Δx、Δy,最后求出Δx、Δy的平均值;
将图像按照Δx、Δy的平均值进行平移得到补偿后的图像。
根据本发明,所述标记区域包括如下步骤:
前景分割,基于背景模型对场景图像进行分割,以得到前景的二值图像;
形态学处理,使用数学形态学的方法处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域;以及
连通区域标记,用连通域的方法标记同一场景中的不同区域,以区别不同的目标区域。
根据本发明,所述维护状态包括状态判定和异常检测。
所述状态判定,是判定运动目标检测系统当前所处的状态,做出相应处理;当场景稳定时间超过阈值1,系统由初始化状态进入工作状态;当场景改变时间超过阈值2,系统由工作状态进入初始化状态。
所述异常检测,是在视频信号干扰严重,以及有人为的遮挡相机的情况时执行;根据两次背景的边缘匹配值及背景初始化成功的最短时间判断,若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4,则认为是异常现象。
根据本发明,所述增强区域包括:阴影检测、高亮检测、树滤波。
阴影检测,是针对每个连通区域,分别计算该连通区域内的像素值的均值,并将该均值作为阈值,判定该区域的阴影区域,然后将阴影区域滤除,若像素值小于所述阈值,则判定为阴影;
高亮检测,是用于检测图像是否处于高亮状态,若是,则进行亮度补偿,亮度补偿使得图像的像素值的均值为128;
树滤波,用于检测图像中的摆动树叶和摆动树叶阴影,并将其从前景图像中滤除;其中:
检测摆动树叶是根据以下两个特征之一判定实现的:(1)运动轨迹跟踪,当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时,则认为该目标是摆动树叶;(2)质心运动的振幅,当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时,则认为该目标是摆动树叶。
检测摆动树叶阴影的方法是:分别统计膨胀操作前后该区域内膨胀操作前后像素值为“1”的点的个数,并计算它们的比值,若该比值小于阈值7,则认为该区域是摆动树叶阴影的区域。
根据本发明,所述分裂与合并区域是基于所述增强区域的处理过程,判定相邻两区域是否是同一目标区域;若属于同一目标区域,则将这两个区域合并;否则,将其分裂;其中,相邻两区域是指区域边缘距离小于阈值8的区域。
根据本发明的另一方面,本发明还提供了一种运动目标检测系统,所述运动目标检测系统包括:
获取视频模块,用于获取视频内容以得到场景图像,并建立背景模型;
预处理图像模块,用于消除场景图像对背景模型的影响;
标记区域模块,用于根据背景模型对场景图像进行前景分割,并标记出连通区域;
维护状态模块,用于判定运动目标检测系统当前所处的状态,做出相应处理,并且在必要时做异常检测;
增强区域模块,用于使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;和
分裂与合并区域模块,用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
根据本发明,所述预处理图像模块包括:滤波处理模块,用于对图像做噪声过滤、平滑等常规处理,以去除图像中的噪声点;和全局运动补偿模块,用于补偿由于相机轻微摆动而引起的图像平移、旋转、变焦的全局运动。
根据本发明,所述标记区域模块包括:前景分割模块,用于基于背景模型对场景图像进行分割,以得到前景的二值图像;形态学处理模块,用于使用数学形态学的方法处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域;和连通区域标记模块,用于通过连通区域的方法标记同一场景中的不同区域,以区别不同的目标区域。
根据本发明,所述维护状态模块包括:状态判定模块641,用于判定运动目标检测系统当前所处的状态,并做出相应处理;和异常检测模块642,用于在包括视频信号干扰严重,有人为的遮挡相机情况时执行检测。
根据本发明,所述增强区域模块包括:阴影检测模块,用于检测前景图像中包括人、车阴影的阴影区域,并将检测到的阴影区域滤除;高亮检测模块,用于检测图像是否处于高亮状态,若是则进行亮度补偿;和树滤波模块,用于检测图像中的摆动的树叶及其阴影,并将其从前景图像中滤除。
根据本发明提供的方案,实现了运动目标的检测,解决了图像抖动、亮度变化、阴影、树叶摆动等问题。
附图说明
图1为本发明运动目标检测方法的框架示意图;
图2为本发明运动目标检测方法中预处理图像的框架示意图;
图3为本发明运动目标检测方法中标记区域的流程示意图;
图4为本发明运动目标检测方法中维护状态的框架示意图;
图5为本发明运动目标检测方法中增强区域的框架示意图;
图6为本发明运动目标检测系统的结构示意图;
图7为本发明运动目标检测系统中预处理图像模块的结构示意图;
图8为本发明运动目标检测系统中标记连通区域模块的结构示意图;
图9为本发明运动目标检测系统中维护状态模块的结构示意图;
图10为本发明运动目标检测系统中增强区域模块的结构示意图。
具体实施方式
下面,将参照附图介绍本发明的实施方式。
图1为本发明中运动目标检测方法的框架示意图,如图1所示。运动目标检测方法包括:
步骤1:获取视频,获取视频内容以得到场景图像,并建立背景模型;
步骤2:预处理图像,消除场景图像对背景模型的影响;
步骤3:标记区域,根据背景模型对场景图像进行前景分割,并标记出连通区域;
步骤4:维护状态,判定运动目标检测系统当前所处的状态,做出相应处理,并且在必要时做异常检测;
步骤5:增强区域,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;
步骤6:分裂与合并区域,使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
首先步骤1是获取视频1的内容,即通过视频获取设备实现,该视频获取设备可以是一个可见光谱、近红外或红外摄像机。所述近红外和红外摄像机允许在无额外光线的弱光下应用。所述建立背景模型最初以第一帧场景图像作为背景模型,之后在维护状态4中进行更新。
然后步骤2是预处理图像以消除其对背景模型的影响。图2为本发明中预处理图像2的框架示意图,如图2所示。预处理图像包括:滤波处理和全局运动补偿。
所述滤波处理是指对图像做噪声过滤、平滑等常规处理,以去除图像中的噪声点。滤波处理可以通过下述文献实现,如:“图像去噪混合滤波方法[J].中国图象图形学报,2005,10(3)”,“自适应中心加权的改进均值滤波算法[J].清华大学学报(自然科学版),1999,39(9)”。
全局运动补偿是指补偿由于相机轻微摆动而引起的图像全局运动。在全局运动补偿中,运动模型基本上就是反映摄像机的各种运动,包括平移、旋转、变焦等。全局运动补偿的方法是:基于区域块匹配的运动补偿,在图像中画出四个区域块,区域块的长宽在32-64像素之间,要求区域覆盖相对比较固定的背景,比如楼房,或者固定不动的背景。
常规的全局运动补偿的方法如下:假设前景所在的矩形区域大小为m×n,计算该区域周围正负5个像素的区域亮度差IDS,公式如下:
其中,sx表示区域起点x坐标,sy表示区域起点y坐标,I(x,y)(t)表示当前帧图像灰度,I(x,y)(t-1)表示上一帧图像灰度。
这样可得到最小亮度差所对应区域的位置,计算此区域的位置变化量Δx、Δy。同理计算其它四个区域的Δx、Δy,最后求出Δx、Δy的平均值;将图像按照Δx、Δy的平均值进行平移得到补偿后的图像。
步骤3是标记区域,根据背景模型对场景图像进行前景分割,并标记出连通区域。如图3所示,图3为本发明中标记区域的流程示意图,标记区域具体流程如下:首先进行前景分割31;然后形态学处理32;再进行连通区域标记33。
其中,前景分割31是指基于背景模型对场景图像进行分割,以得到前景的二值图像。具体地,将场景图像与背景模型对应的像素的像素值相减,如果该结果大于设定的阈值,则记为“1”以表示为前景点;如果小于阈值,则记为“0”以表示为背景点,由此得到前景的二值图像。
形态学处理32是指使用数学形态学的方法即通过先腐蚀后膨胀,处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域。其中,腐蚀参数选的是3×3模板,膨胀参数选的是3×3模板。
连通区域标记233通常是指用连通域的方法标记同一场景中的不同区域,以区别不同的目标区域。连通区域标记方法可以通过四连通域方法或八连通域方法实现。四连/八连通域的连通标记的方法是:首先,对形态学处理223获取的图像施行逐行扫描,找到一个未标记区域的第一点,标记该点;检查该点的四连/八连域点并标记满足连通性要求的,且尚未被标记的点,同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中,不断地从记录种子点的数组中取出一个种子,施行上述的操作,如此循环,直到记录种子点的数组为空,一个连通区域标记结束。接着再标记下一个未标记的区域,直到形态学处理223获取的图像的所有连通区域都被标记。
在标记区域的流程中,单个区域与单个目标并不是一一对应的。由于遮挡情况,一个区域包含了多个人或者车;由于前景与背景相似,一个目标可能被过度分割为多个区域;由于光照的影响,区域中可能包含阴影和高亮区域;由于一些非感兴趣的运动,如树叶摆动和水波荡漾等,也会产生虚假的前景区域。这些问题都是背景模型方法所固有的,需要在后续步骤中加以解决。
步骤4是维护状态4,即判定运动目标检测系统当前所处的状态,做出相应处理,并且在必要时做异常检测。图4为本发明中维护状态的框架示意图,如图4所示。维护状态包括:状态判定和异常检测。
状态判定是指判定运动目标检测系统当前所处的状态,并做出相应处理。判定运动目标检测系统当前所处的状态主要是通过场景稳定时间、场景改变时间来判定的。当场景稳定时间超过阈值1,系统由初始化状态进入工作状态;当场景改变时间超过阈值2,系统由工作状态进入初始化状态。
所述阈值1优选为0.5~2秒之间。所述阈值2优选为5~20秒之间。
当处于所述工作状态时,继续执行下一操作,背景模型不变。当处于所述初始化状态时,重新建立背景模型,并在必要时做出异常检测。所述重新建立背景模型期间,可以通过帧间差分法进行区域检测实现。帧间差分法是通过两帧图像进行相减取绝对值实现的。
异常检测,是在必要时包括视频信号干扰严重,有人为的遮挡相机等情况执行。根据两次背景的边缘匹配值及背景初始化成功的最短时间判断。若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4,则认为是异常现象。
所述阈值3优选为30~50之间。所述阈值4优选为6~20秒之间。
步骤5是增强区域,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域。图5为本发明中增强区域的框架示意图,如图5所示。所述增强区域包括:阴影检测、高亮检测、树滤波。
阴影检测用于检测前景图像中的阴影区域,包括人、车的阴影,并将检测到的阴影区域滤除。所述阴影检测是针对每个连通区域,分别计算该连通区域内的像素值的均值,并将该均值作为阈值,判定该区域的阴影区域,然后将阴影区域滤除。阴影判定规则如下:若像素值小于所述阈值,则判定为阴影。
高亮检测用于检测图像是否处于高亮状态(高亮状态即指图像中的像素值普遍过高),若是则进行亮度补偿。亮度补偿通过亮度均衡实现,使得图像的像素值的均值为128。
树滤波用于检测图像中的摆动的树叶及其阴影,并将其从前景图像中滤除。
检测摆动树叶是根据以下两个特征之一判定实现的:(1)运动轨迹跟踪,当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时,则认为该目标是摆动树叶;例如目标有10个轨迹点,这些轨迹点中只有一次对应的区域是运动的,则把此目标视为摆动树叶,将该目标滤除。(2)质心运动的振幅,若某一目标的质心运动的振幅是突变的,则认为该目标是摆动树叶,即当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时,则认为该目标是摆动的树叶,将该目标滤除。
所述阈值5优选为5%~15%之间。所述阈值6优选为1.5~2.5之间。
摆动树叶阴影的检测是通过检测区域内点的密集度来实现的,检测摆动树叶阴影的方法是:分别统计膨胀操作前后区域内的点的个数(即该区域内膨胀操作前后像素值为“1”的点的个数),并计算它们的比值,若该比值小于阈值7,则认为该区域是摆动树叶阴影的区域,并将该区域滤除。
所述阈值7优选为40%~60%之间。
步骤6是分裂与合并区域,即使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。所述分裂与合并区域的方法是基于上述增强区域205处理过程,判定相邻两区域是同一目标区域,还是不同目标区域。若属于同一目标区域,则将这两个区域合并;否则,将其分裂。其中,相邻两区域是指区域边缘距离小于阈值8的区域,同一个区域指标记号一致的区域,不同目标区域指标记号不一致的区域。
所述阈值8优选为3~7个像素之间。
本发明还提供了一种运动目标检测系统6,图6为本发明运动目标检测系统的结构示意图,如图6所示。所述运动目标检测系统包括获取视频模块61、预处理图像模块62、标记区域模块63、维护状态模块64、增强区域模块65和分裂与合并区域模块66。其中,获取视频模块61,用于获取视频内容以得到场景图像,并建立背景模型;预处理图像模块62,用于消除场景图像对背景模型的影响;标记区域模块63,用于根据背景模型对场景图像进行前景分割,并标记出连通区域;维护状态模块64,用于判定运动目标检测系统当前所处的状态,做出相应处理,并且在必要时做异常检测;增强区域模块65,用于使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;和分裂与合并区域模块66,用于使用场景图像提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
图7为本发明运动目标检测系统的预处理图像模块的结构示意图,如图7所示。预处理图像模块62包括滤波处理模块621和全局运动补偿模块622。其中,所述滤波处理模块,用于对图像做噪声过滤、平滑等常规处理,以去除图像中的噪声点;全局运动补偿模块622,用于补偿由于相机轻微摆动而引起的图像平移、旋转、变焦的全局运动。
图8为本发明运动目标检测系统的标记区域模块的结构示意图,如图8所示。标记区域模块63包括前景分割模块631、形态学处理模块632、连通区域标记模块633。其中,前景分割模块631,用于基于背景模型对场景图像进行分割,以得到前景的二值图像;形态学处理模块632,用于使用数学形态学的方法处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域;连通区域标记模块633,用于通过连通区域的方法标记同一场景中的不同区域,以区别不同的目标区域。
图9为本发明运动目标检测系统的维护状态模块的结构示意图,如图9所示。维护状态模块64包括:状态判定模块641和异常检测模块642。其中,状态判定模块641,用于判定运动目标检测系统当前所处的状态,并做出相应处理;异常检测模块642,用于在包括视频信号干扰严重,有人为的遮挡相机情况时执行检测。
图10为本发明运动目标检测系统的增强区域模块65的结构示意图,如图10所示。增强区域模块65包括阴影检测模块651、高亮检测模块652、树滤波模块653。其中,阴影检测模块651,用于检测前景图像中包括人、车阴影的阴影区域,并将检测到的阴影区域滤除;高亮检测模块652,用于检测图像是否处于高亮状态,若是则进行亮度补偿;树滤波模块653,用于检测图像中的摆动的树叶及其阴影,并将其从前景图像中滤除。
运动目标检测系统6可以排除图像抖动、阴影、雨、雪等干扰因素的影响,准确检测场景图像中的运动目标。
本发明的最大优点在于,可以准确检测场景图像中的运动目标,包括人、车,同时可以忽略图像抖动、摆动的树、亮度变化、阴影、雨、雪等干扰因素的影响。
本发明还可以用于智能视频监控系统中,用以实现目标分类识别、运动目标警戒、运动目标跟踪、PTZ跟踪、自动特写拍摄、目标行为检测、流量检测、拥挤检测、遗留物检测、被盗物检测、烟雾检测和火焰检测等功能。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。