CN103971386B - 一种动态背景场景下的前景检测方法 - Google Patents

Abstract

一种动态背景场景下的前景检测方法，采用多帧连续图像初始化背景模型，通过自适应的方式更新匹配阈值，并在更新过程引入空间一致性判断与模糊理论，完成前景检测。本发明以ViBe算法为基础，通过多帧图像初始化、匹配阈值自适应更新、空间一致性原则以及模糊理论大大改善了算法在动态背景下的性能，降低了误检率。

Description

一种动态背景场景下的前景检测方法

技术领域

本发明属于图像处理技术领域，涉及视频图像处理，为一种动态背景场景下基于背景运动信息和模糊理论的前景检测方法。

背景技术

运动目标检测是计算机视觉应用中的关键技术，在智能视频监控、图像压缩等领域有重要研究价值，它的目的是在序列图像中检测出变化的区域并将运动的目标从背景图像中提取出来，为后续的运动目标识别、跟踪以及行为分析提供了支持。

目前常见的运动目标检测算法有：光流法、背景差分法、帧间差分法等，其中背景差分法是常用且实时性好的一种算法，其检测性能的好坏很大程度上依赖于背景模型的准确性。影响背景模型准确性的因素有很多，包括动态背景、光线渐变、相机抖动、阴影等，其中动态背景是最常见且影响最大的因素。

为了建立有效的背景模型以适应动态背景，研究人员提出了不同的背景建模方法。Stauffer等人于2000年在《IEEE Transaction on Pattern Analysis and MachineIntelligence》上发表的《Learning Patterns of Activity Using Real-time Tracking》提出了混合高斯算法(MOG)，用多个高斯模态描述背景模型，克服了单高斯模型的缺点，提高了算法对动态背景的适应能力，但是学习速率的选择无法兼顾动态背景的抑制和正确前景的提取。Maddalena等人于2008年在《IEEE Transactions on Image Processing》上发表的《A Self-Organizing Approach to Background Subtraction for VisualSurveillance Applications》提出了基于人工神经网络的背景模型(SOBS)，通过自组织的方式学习运动信息，能够处理光线变化、遮挡、动态背景等复杂场景，但是有比较大的运算代价。Barnich等人于2011年在《IEEE Transaction on Image Processing》发表的《ViBe:Auniversal background subtraction algorithm for video sequences》提出了基于像素的非参数化随机样本模型(ViBe)，采用像素样本值建立背景模型，将检测帧的像素值与对应的模型匹配，通过固定阈值判断其属于前景还是背景，对于匹配上的像素采用随机更新机制更新该像素及其邻域的背景模型。该方法运算简单，在静态背景场景下有不错的检测效果，但其固定的参数限制了算法对于动态背景(水面波纹、树叶晃动等)的自适应能力，其邻域扩散的更新策略会造成运动较慢的前景目标过快的融入背景，增加了错误检测，其单帧输入图像初始化策略在输入图像含有前景目标的情况下会产生“鬼影”空洞，影响背景模型的准确性。

发明内容

本发明要解决的问题是：现有的前景检测方法中，ViBe算法具有良好的应用前景，但其对动态背景适应性较差，无法有效地区分运动前景和动态背景，会将动态背景误检为运动前景，影响后续的运动分析。

本发明的技术方案为：一种动态背景场景下的前景检测方法，采用背景运动信息和模糊理论进行动态场景下的前景检测，包括以下步骤：

1)多帧图像进行模型初始化：

对于多帧连续图像，根据时间一致性原则，对于当前帧I_t中的任一像素点x，采用所述像素点在前N帧图像中的像素值初始化背景模型M(x)：

M(x)＝{v₁(x),...,v_i(x),...,v_N(x)}＝{I_t-N(x),...,I_t-1(x)}

式中，v_i(x)为背景模型的样本，I_t-1(x)为像素点x在第t-1帧的像素值；

2)通过ViBe算法构建前景二值图：

以步骤1)获得的背景模型M(x)以及当前帧，采用ViBe背景分割算法获得运动目标的前景二值图F(x)，具体为：

对于当前帧I_t中的任意一像素点x，其像素值为v(x)，背景模型为M(x)，在欧式空间中，定义一个以v(x)为中心，R(x)为半径的球体S_R(x)(v(x))，R(x)为模型匹配阈值，S_R(x)(v(x))表示所有与v(x)距离小于R(x)的像素值的集合，用M(x)落在球体S_R(x)(v(x))内的样本个数#{M(x)∩S_R(x)(v(x))}来描述v(x)与背景模型M(x)的相似度，对于给定的阈值#_min，如果#{M(x)∩S_R(x)(v(x))}<#_min，则v(x)为前景，记为“1”；如果#{M(x)∩S_R(x)(v(x))}>#_min，则v(x)为背景，记为“0”，像素点x与背景模型M(x)匹配，前景二值图F(x)表示为：

3)计算背景运动信息，自适应更新模型匹配阈值：

对于步骤2)中当前帧与背景模型M(x)匹配上的像素点，即像素点为背景，计算该像素点与背景模型中样本的平均欧氏距离d_min(x)作为背景运动信息，通过背景运动信息的变化值对模型匹配阈值R(x)进行自适应更新，所述平均欧氏距离d_min(x)的计算为：

对于当前帧的前N帧图像，定义最小距离集合D(x)＝{D₁(x),…,D_k(x),…,D_N(x)}，其中D_k(x)＝min{dist(v_k(x),v_ki(x))}，计算D_k(x)时使用的是像素点x对应在第k帧的像素值v_k(x)，第k帧上像素点x对应的背景模型样本记为v_ki(x)，D_k(x)表示像素点x在第k帧上的像素值v_k(x)与其背景模型样本v_ki(x)的最小欧氏距离，分别记录像素点x在前N帧上对应的D_k(x)，采用N个D_k(x)的平均值d_min(x)描述背景运动信息：

对于静态背景，d_min(x)趋于稳定，对于动态背景，通过d_min(x)实现模型匹配阈值R(x)的自适应更新，如下式：

式中，α_dec、α_inc和ζ是固定的参数，α_inc＝0.05，ζ＝5，α_dec＝0.5；更新后的模型匹配阈值用于下一帧前景二值图的构建；

4)采用空间一致性原则与模糊理论选择更新背景模型：

在步骤2)获得前景二值图F(x)的基础上，通过空间一致性原则与模糊理论判断匹配上的像素点是否用于更新背景模型，

对于当前视频帧I_t中的任意一像素点x(x_m,x_n)，定义其l*l邻域为：

N_x＝{y(y_m,y_n)∈I:|x_m-y_m|≤l,|x_n-y_n|≤l}

y(y_m,y_n)为像素点x(x_m,x_n)邻域内的像素点，

定义集合Ω_x为N_x中与背景模型匹配上的像素点的集合：

Ω_x＝{y∈N_x:#{M(y)∩S_R(x)(I(y))}<#_min}

其中，M(y)表示像素点y的背景模型，I(y)表示像素点y在当前帧的像素值，S_R(x)(I(y))表示在欧式空间中以I(y)为中心半径为R(x)的球体，#{}表示M(y)落在球体S_R(x)(I(y))内的样本个数，满足#{M(y)∩S_R(x)(I(y))}<#_min的像素点y认为与背景模型匹配上；

定义邻域一致性因子为：

式中，|·|表示集合基数，将NCF(x)作为衡量背景模型正确性的参数；

构建模糊系统：设定判别条件：“像素点x与M(x)匹配上”并且“NCF(x)大于等于0.5”，如果像素点x满足判别条件，则以的概率更新背景模型M(x)，所述更新指将像素点x随机替换M(x)中的一个样本，其中二次抽样时间因子，F₁(x)为模糊函数，为初始时间因子，为加入模糊系统后的时间因子，F₁(x)定义为：

如果像素点x不满足判别条件，则为前景像素；

5)根据步骤2)和步骤4)的判别结果，得到当前帧的前景检测结果。

本发明首先采用多帧连续图像初始化背景模型；然后通过自适应的方式更新匹配阈值；最后在更新过程引入空间一致性判断与模糊理论。本发明克服了现有背景分割方法对动态背景适应性差的不足，以ViBe算法为基础，通过多帧图像初始化、匹配阈值自适应更新、空间一致性原则以及模糊理论大大改善了算法在动态背景下的性能，降低了误检率。

本发明的有益效果为：

1)采用多帧连续图像初始化背景模型，降低了单帧图像初始化所产生的“鬼影”对前景检测精度的影响；

2)在当前帧像素点与其对应的背景模型的匹配过程中，引入自适应的模型匹配阈值R(x)，克服了现有技术中单个全局阈值对动态背景适应能力差问题，有效地区分出了真实运动前景和动态运动背景，提高了检测准确率；

3)在背景模型的更新过程中引入空间一致性判断与模糊理论，显著降低了错误检测，提高了算法的鲁棒性。

附图说明

图1为本发明的算法流程图；

图2为本发明算法与MOG算法、SOBS算法、ViBe算法在fall,fountain01,overpass三个测试视频源下的测试结果比较，图中(a)列为测试视频帧，(b)列为真值图，(c)列为MOG算法的检测结果，(d)列为SOBS算法的检测结果，(e)列为ViBe算法的检测结果，(f)列为本发明算法的检测结果。

图3为本发明算法与MOG算法、SOBS算法、ViBe算法在fall视频源下的Precision&Recall直方图对比曲线。

具体实施方式

下面结合具体附图及实施例对本发明进行详细描述。

本实施例中的测试视频源来自change detection网站提供的DynamicBackground视频库，算法流程图如图1所示，包括以下步骤：

1)多帧图像进行模型初始化

对于多帧连续图像，根据时间一致性原则，对于当前帧I_t中的任一像素点x，采用所述像素点在前N帧图像中的像素值初始化背景模型M(x)：

M(x)＝{v₁(x),...,v_i(x),...,v_N(x)}＝{I_t-N(x),...,I_t-1(x)}

式中，v_i(x)为背景模型的样本，I_t-1(x)为像素点x在第t-1帧的像素值。本例中，样本个数N＝20。

2)通过ViBe算法构建前景二值图

对于当前帧I_t中的任意一像素点x，其像素值为v(x)，背景模型为M(x)，在欧式空间中，定义一个以v(x)为中心，R(x)为半径的球体S_R(x)(v(x))，R(x)为模型匹配阈值，S_R(x)(v(x))表示所有与v(x)距离小于R(x)的像素值的集合，用M(x)落在球体S_R(x)(v(x))内的样本个数#{M(x)∩S_R(x)(v(x))}来描述v(x)与背景模型M(x)的相似度，对于给定的阈值#_min，如果#{M(x)∩S_R(x)(v(x))}<#_min，则v(x)为前景，记为“1”；如果#{M(x)∩S_R(x)(v(x))}>#_min，则v(x)为背景，记为“0”，像素点x与背景模型M(x)匹配，前景二值图F(x)表示为：

式中，dist(·)表示欧氏距离，R(x)用来判断当前像素v(x)与背景样本v_i(x)的相似度，随着每一帧的匹配情况自适应更新。本例中，最小匹配个数#_min＝2，初始距离阈值R＝20。

3)计算背景运动信息并自适应更新模型匹配阈值

对于当前帧的前N帧图像，定义最小距离集合D(x)＝{D₁(x),…,D_k(x),…,D_N(x)}，其中D_k(x)＝min{dist(v_k(x),v_ki(x))}，计算D_k(x)时使用的是像素点x对应在第k帧的像素值v_k(x)，第k帧上像素点x对应的背景模型样本记为v_ki(x)，D_k(x)表示像素点x在第k帧上的像素值v_k(x)与其背景模型样本v_ki(x)的最小欧氏距离，分别记录像素点x在前N帧上对应的D_k(x)。

这里的D₁(x),…,D_k(x),…,D_N(x)是通过当前帧之前的N帧计算得到的，k表示这N个值的序号，比如I_t为当前帧，则D_N(x)由I_t-1帧计算得到，D₁(x)由I_t-N帧计算得到。前N帧的每一帧都有自己对应的背景模型，D_k(x)表示像素点x在第k帧上的像素值v_k(x)与其背景模型样本v_ki(x)的最小欧氏距离，使用的是像素点x对应在第k帧的像素值v_k(x)以及第k帧上像素点x对应的背景模型样本v_ki(x)。

采用N个D_k(x)的平均值d_min(x)描述背景运动信息：

通过背景运动信息d_min(x)实现匹配阈值R(x)的自适应更新，如下式：

式中，α_dec、α_inc和ζ是固定的参数。本实施例例中，自增适应参数α_inc＝0.05，尺度因子ζ＝5，自减适应参数α_dec＝0.5。因为R(x)太小了有可能将静态背景也检测为前景，造成误检，这里优选设置模型匹配阈值下限R_bottom＝15，即R(x)>＝R_bottom。更新后的模型匹配阈值R’(x)用于下一帧图像的检测中前景二值图的构建。

4)采用空间一致性原则与模糊理论选择更新背景模型

对于当前视频帧I_t中的任意一像素点x(x_m,x_n)，定义其l*l邻域为：

N_x＝{y(y_m,y_n)∈I:|x_m-y_m|≤l,|x_n-y_n|≤l}

y(y_m,y_n)为像素点x(x_m,x_n)邻域内的像素点，

定义集合Ω_x为N_x中与背景模型匹配上的像素点的集合：

Ω_x＝{y∈N_x:#{M(y)∩S_R(I(y))}<#_min}

其中，M(y)表示像素点y的背景模型，I(y)表示像素点y在当前帧的像素值，S_R(x)(I(y))表示在欧式空间中以I(y)为中心半径为R(x)的球体，#{}表示M(y)落在球体S_R(x)(I(y))内的样本个数，满足#{M(y)∩S_R(x)(I(y))}<#_min的像素点y认为与背景模型匹配上；这里的R(x)与步骤2)中的R(x)一致。

定义邻域一致性因子为：

式中，|·|表示集合基数。将NCF(x)作为衡量背景模型正确性的参数。

定义模糊系统如下：“像素点x与M(x)匹配上”并且“NCF(x)大于等于0.5”，如果像素点x满足判别条件，则以的概率更新背景模型M(x)，所述更新指将像素点x随机替换M(x)中的一个样本，其中二次抽样时间因子，F₁(x)为模糊函数，为初始时间因子，为加入模糊系统后的时间因子，F₁(x)定义为：

本例中，初始时间因子。如果像素点x不满足判别条件，则为前景像素。

5)根据步骤2)和步骤4)的判别结果，得到当前帧的前景检测结果。

通过以上步骤，完成背景模型的初始化、匹配与更新，分割出运动目标的前景二值图，并通过步骤3)、步骤4)在检测中更新背景模型，自动提高算法对动态背景的适应性。

上述的时间一致性原则和空间一致性原则指视频帧的时空一致性，为本领域公知常识，对于视频中的任意帧，该帧中的每一个像素在其空间和时间邻域内具有局部不变性。时间一致性是指对于同一像素点x，在短暂连续时间内具有相似的时间分布，本发明中具体指像素值保持不变，空间一致性指空间相邻的像素具有相似的时空分布特性。

本实施例将本发明的检测结果与MOG算法、SOBS算法以及ViBe算法的运动检测结果进行比较并量化分析。图2为fall,fountain01,overpass三个测试视频源在以上四个算法下的测试结果，(a)列为测试视频帧，(b)列为真值图，(c)列为MOG算法的检测结果，(d)列为SOBS算法的检测结果，(e)列为ViBe算法的检测结果，(f)列为本发明算法的检测结果。

由图2可以发现，相比其他算法，本发明不仅可以完整提取出运动前景，还很好地消除了动态背景引起的错误检测，提升了算法对动态背景的适应性。

为了定量的比较几种算法的性能，采用准确率(Precision)和召回率(Recall)作为量化指标，定义如下：

其中，TP表示正确检测的前景数，FP表示错误检测的前景数，FN表示错误检测的背景数。

图3为fall视频源在四种算法下的Precision&Recall直方图。可以发现，由于本发明大大降低了动态背景引起的错误前景检测(FP)，因此在Precision指标上明显高出其他三种算法，比第二名的MOG算法高出将近20个百分点。在Recall指标上，本发明方法也高于原始的ViBe算法，与SOBS以及MOG基本持平。综合两项指标，本发明在动态背景场景下相对其他算法具有明显优势。

Claims (1)

1.一种动态背景场景下的前景检测方法，其特征是采用背景运动信息和模糊理论进行动态场景下的前景检测，包括以下步骤：

1)多帧图像进行模型初始化：

对于多帧连续图像，根据时间一致性原则，对于当前帧I_t中的任一像素点x，采用所述像素点在前N帧图像中的像素值初始化背景模型M(x)：

M(x)＝{v₁(x),...,v_i(x),...,v_N(x)}＝{I_t-N(x),...,I_t-1(x)}

式中，v_i(x)为背景模型的样本，I_t-1(x)为像素点x在第t-1帧的像素值；

2)通过ViBe算法构建前景二值图：

以步骤1)获得的背景模型M(x)以及当前帧，采用ViBe背景分割算法获得运动目标的前景二值图F(x)，具体为：

对于当前帧I_t中的任意一像素点x，其像素值为v(x)，背景模型为M(x)，在欧式空间中，定义一个以v(x)为中心，R(x)为半径的球体S_R(x)(v(x))，R(x)为模型匹配阈值，S_R(x)(v(x))表示所有与v(x)距离小于R(x)的像素值的集合，用M(x)落在球体S_R(x)(v(x))内的样本个数#{M(x)∩S_R(x)(v(x))}来描述v(x)与背景模型M(x)的相似度，对于给定的阈值#_min，如果#{M(x)∩S_R(x)(v(x))}<#_min，则v(x)为前景，记为“1”；如果#{M(x)∩S_R(x)(v(x))}>#_min，则v(x)为背景，记为“0”，像素点x与背景模型M(x)匹配，前景二值图F(x)表示为：

$F\left(x\right)=\left\{\begin{array}{cc}1& if\#\left\{M\left(x\right)\&cap;S_{R\left(x\right)}\left(v\left(x\right)\right)\right\}<{\#}_{\min }\\ 0& else\end{array}\right.;$

3)计算背景运动信息，自适应更新模型匹配阈值：

对于步骤2)中当前帧与背景模型M(x)匹配上的像素点，即像素点为背景，计算该像素点与背景模型中样本的平均欧氏距离d_min(x)作为背景运动信息，通过背景运动信息的变化值对模型匹配阈值R(x)进行自适应更新，所述平均欧氏距离d_min(x)的计算为：

对于当前帧的前N帧图像，定义最小距离集合D(x)＝{D₁(x),…,D_k(x),…,D_N(x)}，其中D_k(x)＝min{dist(v_k(x),v_ki(x))}，计算D_k(x)时使用的是像素点x对应在第k帧的像素值v_k(x)，第k帧上像素点x对应的背景模型样本记为v_ki(x)，D_k(x)表示像素点x在第k帧上的像素值v_k(x)与其背景模型样本v_ki(x)的最小欧氏距离，分别记录像素点x在前N帧上对应的D_k(x)，采用N个D_k(x)的平均值d_min(x)描述背景运动信息：

$d_{min}\left(x\right)=\frac{1}{N}\underset{k}{\&Sigma;}{D}_k\left(x\right)$

对于静态背景，d_min(x)趋于稳定，对于动态背景，通过d_min(x)实现模型匹配阈值R(x)的自适应更新，如下式：

$R^{,}\left(x\right)=\left\{\begin{array}{ccc}R\left(x\right)\&CenterDot;(1-{\mathrm{\&alpha;}}_{dec})& if& R\left(x\right)>d_{min}\left(x\right)\&CenterDot;\mathrm{\&zeta;}\\ R\left(x\right)\&CenterDot;(1+{\mathrm{\&alpha;}}_{inc})& & else\end{array}\right.$

式中，α_dec、α_inc和ζ是固定的参数，α_inc＝0.05，ζ＝5，α_dec＝0.5；更新后的模型匹配阈值用于下一帧前景二值图的构建；

4)采用空间一致性原则与模糊理论选择更新背景模型：

在步骤2)获得前景二值图F(x)的基础上，通过空间一致性原则与模糊理论判断匹配上的像素点是否用于更新背景模型，

对于当前视频帧I_t中的任意一像素点x(x_m,x_n)，定义其l*l邻域为：

N_x＝{y(y_m,y_n)∈I:|x_m-y_m|≤l,|x_n-y_n|≤l}

y(y_m,y_n)为像素点x(x_m,x_n)邻域内的像素点，

定义集合Ω_x为N_x中与背景模型匹配上的像素点的集合：

Ω_x＝{y∈N_x:#{M(y)∩S_R(x)(I(y))}<#_min}

其中，M(y)表示像素点y的背景模型，I(y)表示像素点y在当前帧的像素值，S_R(x)(I(y))表示在欧式空间中以I(y)为中心半径为R(x)的球体，#{}表示M(y)落在球体S_R(x)(I(y))内的样本个数，满足#{M(y)∩S_R(x)(I(y))}<#_min<#_min的像素点y认为与背景模型匹配上；

定义邻域一致性因子为：

$NCF\left(x\right)=\frac{\left|{\mathrm{\&Omega;}}_x\right|}{\left|N_x\right|}$

式中，|·|表示集合基数，将NCF(x)作为衡量背景模型正确性的参数；

构建模糊系统：设定判别条件：“像素点x与M(x)匹配上”并且“NCF(x)大于等于0.5”，如果像素点x满足判别条件，则以的概率更新背景模型M(x)，所述更新指将像素点x随机替换M(x)中的一个样本，其中二次抽样时间因子F₁(x)为模糊函数，为初始时间因子，为加入模糊系统后的时间因子，F₁(x)定义为：

$F_1\left(x\right)=\left\{\begin{array}{cc}1/(2*NCF(x\left)\right)& NCF\left(x\right)\&GreaterEqual;0.5\\ 0& else\end{array}\right.;$

如果像素点x不满足判别条件，则为前景像素；

5)根据步骤2)和步骤4)的判别结果，得到当前帧的前景检测结果。