CN105139429A - 一种基于火焰显著图和空间金字塔直方图的火灾检测方法 - Google Patents

Abstract

一种基于火焰显著图和空间金字塔直方图的火灾检测方法，包括以下步骤：S1：计算图像中各像素点的强度变化值和前景度，采用连续帧做差法与高斯混合火焰颜色模型获取火焰显著图；S2：根据火焰显著图，采用阈值分割法筛选出候选火焰的像素点，构造含有候选火焰像素点的掩膜图像；S3：根据掩膜图像对原始图像进行分块处理判断每个子块是否含有火焰；S4：逐子块寻找前一帧图像中与之对应的子块，并利用连续帧对应子块的空间金字塔直方图间的距离判断图像是否存在火焰。

Description

一种基于火焰显著图和空间金字塔直方图的火灾检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于火焰显著图和空间金字塔直方图的火灾检测方法。

背景技术

当今社会，火灾每年给人民的生命和财产安全造成重大损失。在我国，每年发生火灾约4万起，造成2千多人死亡，3千余人伤亡，直接财产损失高达10多亿元。及时、准确地发现火灾(特别是初期火灾)，并发出警报，不仅可以让被困人员及财产有充足的时间转移，而且可以让消防人员在火情可控的情况下实施扑救。因此，火灾的监控是火灾防治领域非常重要的课题。

早期的自动火灾检测技术大多应用烟雾或者热能传感器，通过对颗粒，气体，温度或辐射热等的采样，来判定是否存在火灾。这类火灾检测技术虽然基本实现了自动检测，但仍具有很大的局限性。首先，该类技术的有效性局限于密闭空间，一旦应用于大面积空间(特别是室外环境下)时，检测率将会大幅下降；其次，该类技术受环境影响较大，风速、风向、雨雪等环境变化，都会很大程度地影响火灾检测的效果；再次，检测时间较长，因为气体，颗粒等到达传感器需要一定的时间；同时，温度、烟雾等传感器的造价较高，且容易损坏。监控摄像头的普及，为火灾检测提供了新的可能，最初多采用人工进行火灾监控，该方式不但浪费大量的人力资源，而且无法保证监测效果。通常监控人员人数有限，无法做到各处无遗漏监控。同时，由于人类的注意力无法长时间集中，监控效果随着工作时间的增长而下降。上述已有技术的局限性都使得它们无法大范围应用于现实的火灾检测。

基于图像处理的火灾检测技术主要具有以下四项优点：(1)与传统的方法相比，该类技术具有更好的检测结果，即更高的检测率与更低的误检率；(2)当应用于较大空间时，可以准确并且快速的检测到火灾的存在；(3)几乎不受外界环境的影响，检测效果稳定；(4)可以将火灾检测系统加入到现有的监控系统中，成本较低，可以减轻火灾防治系统的财政负担。因此，基于图像处理技术火灾检测技术具有广阔的发展前景。

现有技术中Celi等在文献″Automaticfiredetectioninvideosequences″中利用火焰形状和面积随时间快速变化的特征来进行判断。首先利用自适应背景模型和火焰颜色模型对像素点进行筛选，然后对候选区域进行形态学的腐蚀和膨胀处理，并根据处理后的闭合区域的空间均值和面积随时间变化情况，来判断视频中是否存在火焰。虽然该技术可以较准确的描述火焰的动态特征，具有较高的检测率。但是该方法对噪声的存在较为敏感，当视频质量较差或存在移动干扰物时，该方法具有较高的误检率。

2009年，Habiboglu等在文献″Covariancematrix-basedfireandflamedetectionmethodinvideo″中提出利用协方差矩阵随时间的变化情况作为特征来判断是否存在火焰。该技术首先利用火焰颜色模型对像素点进行筛选，然后将其若干帧图像的协方差矩阵和三个颜色通道的值作为特征，利用手动标定的训练数据训练分类器，对候选像素点进行进一步的分类。该技术应用像素点协方差矩阵随时间变化的情况作为特征进行分类，虽然在一定程度上改善了检测性能，但是在存在类似火焰颜色的移动干扰物的情况下易发生误检，且的计算复杂度较高。

发明内容

根据现有技术存在的问题，本发明公开了一种基于火焰显著图和空间金字塔直方图的火灾检测方法，包括以下步骤：

S1：计算图像中各像素点的强度变化值和前景度，采用连续帧做差法与高斯混合火焰颜色模型获取火焰显著图；

S2：根据火焰显著图，采用阈值分割法筛选出候选火焰的像素点，构造含有候选火焰像素点的掩膜图像；

S3：根据掩膜图像对原始图像进行如下处理：若掩膜图像中像素点的值为1，对应位置的原始图像中的像素点保留原值，否则原始图像中像素点的值置为零；将上述处理过的原始图像分成多个子块，计算图像被划分出来的行块数、列块数以及每个子块内的候选火焰像素的数目从而判断该子块是否含有火焰；

S4：逐子块寻找前一帧图像中与之对应的子块，并利用连续帧对应子块的空间金字塔直方图间的距离判断图像是否存在火焰。

S1中获取火焰显著图具体采用如下方式：

S11：计算图像中各像素点的强度变化值：

$P_{diff}(x,y,t)=\frac{|I(x,y,t)-I(x,y,t-1)|}{255}---\left(1\right)$

其中：P_diff(x,y,t)是t时刻位于(x,y)位置的像素点的强度变化值，I(x,y,t)为t时刻位于(x,y)位置的像素点的强度值；

S12：计算图像中各像素点的前景度，所述前景度为在前景检测阶段像素点属于前景的概率值：

$P_F(x,y,t)=\underset{i=0}{\overset{N-1}{\Σ}}{\mathrm{\ω}}_i{\mathrm{logP}}_{diff}(x,y,t-i)---\left(2\right)$

其中，P_F(x,y,t)代表t时刻位置(x,y)处像素点的前景度，它是对t时刻前N帧的强度变化的加权对数值求和，描述火焰区域强度持续变化的特点；

S13：根据训练好的高斯混合火焰颜色模型，在RGB颜色空间中计算各像素点颜色为火焰颜色的概率：

$P_c\left(q\right(x,y,t\left)\right)=\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_k{\mathrm{\η}}_k\left(q\right(x,y,t\left)\right|{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)---\left(3\right)$

其中，q(x,y,t)是t时刻位置(x,y)处的像素点在RGB颜色空间中的颜色向量，表示形式为

q(x,y,t)＝{R(x,y,t),G(x,y,t),B(x,y,t)}(4)

K是已训练出的高斯混合火焰颜色模型中单峰高斯密度函数分量的数目，μ_k和Σ_k分别是已训练出的高斯混合火焰颜色模型中第k个分量的均值向量和协方差矩阵，α_k是各高斯分量的权重；函数η(·)的表达式为

$\mathrm{\η}\left(q\right|{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)=\frac{1}{{\left(2\mathrm{\π}\right)}^{D/2}|{\mathrm{\Σ}}_k{|}^{1/2}}\exp \[-\frac{1}{2}{(q-{\mathrm{\μ}}_k)}^T{\mathrm{\Σ}}_k^{-1}(q-{\mathrm{\μ}}_k)\]---\left(5\right)$

其中，D为向量的维度，在本发明中，D＝3；

S14：根据前景度和火焰颜色概率构建火焰显著图：

根据式(2)计算的像素前景度和由式(3)计算的火焰颜色概率计算每个像素点的显著度

f_s(x,y,t)＝P_F(x,y,t)+logP_c(q(x,y,t))(6)

其中，f_s(x,y,t)即为t时刻位置(x,y)处像素点的显著度，也是火焰显著图中(x,y)处像素点的像素值。

S2中采用如下方式：

根据上述公式(6)所得的火焰显著性图，通过阈值分割滤除干扰点，得到包含候选火焰像素点的掩膜图像：

其中，f_s为输入视频图像的火焰显著图，τ_f为试验而得的阈值，若M_s(x,y,t)＝1，表示该像素点可能为火焰像素，需进行进一步判定；若M_s(x,y,t)＝0，则表示该点一定不在火焰区域内，无需后续处理。

S3对逐子块进行处理采用如下方式：

S31：按照子块的宽和高分别为W_b和H_b对图像进行分块，若图像的宽和高分别为W_i和H_i，则图像将被分出来的行块数N_r和列块数N_c将为

其中，运算符表示向下取整运算；

S32：采用如下方式对每个子块内的候选火焰像素的数目进行统计，将火焰像素数目少的子块判定为非火焰子块，不进行后续处理：

其中，M_b,i(t)表示t时刻第i个子块包含火焰的可能性，该值为1表示t时刻第i个子块可能含有火焰，将对其进行空间金字塔直方图统计，该值为0表示该子块不含有火焰，不用进行后续处理；B_i(t)表示第i个子块表示的区域，T_b为候选火焰像素点占整个子块像素数目的比例阈值。

S4中计算图像每个子块的空间金字塔直方图，并根据连续的多帧图像中对应块的金字塔直方图间的距离判断该子块是否含有火焰：

S41：选择R通道图像计算空间金字塔直方图，根据含有候选火焰像素点的掩膜图像，将一定不在火焰区域的像素点R通道值置零，候选像素点处保持原值不变，即

S42：对每个可能含有火焰的子块即M_b,i(t)＝1的子块在F(x,y,t)图像上计算其空间金字塔直方图H(B_i(t))，即对子块按照分辨率0～L分别进行再次分块操作，第l级分辨率下将子块宽和高两个维度都均分成2^l段，其中l＝1，2，…L，从而将子块再分成若干小块，统计每个小块在R通道上的颜色直方图，最后将每个小块的直方图向量乘以权重β_l后首尾相连构成该子块的空间金字塔直方图：

${\mathrm{\β}}_l=\frac{1}{2^{L-1}}=2^{l-L}---\left(12\right)$

S43：对当前帧中每个可能包含火焰的子块，在其前一帧图像中找到对应的子块，即在前一帧图像中以本帧当前所处理的子块为中心起始位置，在-R～R的范围内搜索计算所有子块的空间金字塔直方图，计算其与当前帧所处理子块的直方图间的距离，距离最小的子块即为与当前帧所处理子块相对应的子块；

S44：根据S43中确定的对应子块，计算当前处理子块与前一帧中对应子块的空间金字塔直方图之间的距离；将多帧的计算结果进行平均之后作为最终的判决依据，如式(15)所示：

${\mathrm{Dis}}_{mean}\left(B_i\left(t\right)\right)=\frac{1}{N_m}\left(dis\[H\left(B_i\left(t\right)\right),H\left(B_{c,i}\left(t-1\right)\right)\]+\underset{j=t-1}{\overset{t-N_m+1}{\mathrm{\Σ}}}dis\[H\left(B_{c,i}\left(j\right)\right),H\left(B_{c,i}\left(j-1\right)\right)\]\right)---\left(15\right)$

其中B_c,i(t-1)表示t时刻第i个子块在前一帧中的对应子块，N_m表示进行平均的帧数；

S45：根据S44中计算的距离，判断当前处理的子块中是否存在火焰，方法如式(16)所示

当Dis_mean(B_i(t))<T_s

当前处理的子块存在火焰

否则(16)

当前处理的子块不存在火焰

其中，T_s为阈值，若图像中至少有一个子块被判定为存在火焰，则认为该帧图像存在火焰。

由于采用了上述技术方案，本发明提供的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，该方法中火焰显著图的建立过程，融合了基于连续帧作差法的前景检测阶段和基于高斯混合模型的火焰颜色模型的软判决结果，避免了两个阶段分别硬判决带来的检测率的降低。而所提出的空间金子塔直方图可以有效描述火焰的动态特性，有助于减少火焰颜色干扰物造成的误检。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的方法的流程图；

图2为本发明中基于空间金字塔直方图部分实验结果图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，具体包括以下步骤：

S1：计算图像中各像素点的强度变化值和前景度，采用连续帧做差法与高斯混合火焰颜色模型获取火焰显著图；应用火焰模型得到像素具有火焰颜色的概率，在两个阶段分别进行软判决，再将结果进行综合，得到一个火焰显著性图；火焰显著性图与图像大小相同，每个点表示图像中相应位置像素点可能为火焰区域像素点的概率。S1具体采用如下方式：

S11：计算图像中各像素点的强度变化值：

$P_{diff}(x,y,t)=\frac{|I(x,y,t)-I(x,y,t-1)|}{255}---\left(1\right)$

其中：P_diff(x,y,t)是t时刻位于(x,y)位置的像素点的强度变化值，I(x,y,t)为t时刻位于(x,y)位置的像素点的强度值；

S12：计算图像中各像素点的前景度，所述前景度为在前景检测阶段像素点属于前景的概率值：

$P_F(x,y,t)=\underset{i=0}{\overset{N-1}{\&Sigma;}}{\mathrm{\&omega;}}_i{\mathrm{logP}}_{diff}(x,y,t-i)---\left(2\right)$

其中，P_F(x,y,t)代表t时刻位置(x,y)处像素点的前景度，它是对t时刻前N帧的强度变化的加权对数值求和，描述火焰区域强度持续变化的特点；

S13：根据训练好的高斯混合火焰颜色模型，在RGB颜色空间中计算各像素点颜色为火焰颜色的概率：

$P_c\left(q\right(x,y,t\left)\right)=\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&alpha;}}_k{\mathrm{\&eta;}}_k\left(q\right(x,y,t\left)\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)---\left(3\right)$

其中，q(x,y,t)是t时刻位置(x,y)处的像素点在RGB颜色空间中的颜色向量，表示形式为

q(x,y,t)＝{R(x,y,t),G(x,y,t),B(x,y,t)}(4)

K是已训练出的高斯混合火焰颜色模型中单峰高斯密度函数分量的数目，μ_k和Σ_k分别是已训练出的高斯混合火焰颜色模型中第k个分量的均值向量和协方差矩阵，α_k是各高斯分量的权重；函数η(·)的表达式为

$\mathrm{\&eta;}\left(q\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{D/2}|{\mathrm{\&Sigma;}}_k{|}^{1/2}}\exp \&lsqb;-\frac{1}{2}{(q-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(q-{\mathrm{\&mu;}}_k)\&rsqb;---\left(5\right)$

其中，D为向量的维度，在本文中即为3。

S14：根据前景度和火焰颜色概率构建火焰显著图：

根据式(2)计算的像素前景度和由式(3)计算的火焰颜色概率计算每个像素点的显著度

f_s(x,y,t)＝P_F(x,y,t)+logP_c(q(x,y,t))(6)

其中f_s(x,y,t)即为t时刻位置(x,y)处像素点的显著度，也是火焰显著图中(x,y)处像素点的像素值。

上述过程提到的GMM火焰颜色模型指的是，用来描述某一像素点颜色为火焰颜色的概率的高斯混合模型(GMM)。该模型是事先通过大量手动标定的火焰像素点训练得到的，以使其能够描述某一像素点颜色属于火焰颜色的概率，所使用的颜色空间为RGB空间。GMM火焰颜色模型参数初始值由Kmeans算法得到，然后通过EM算法优化得到最优的参数。高斯混合模型(GMM)训练过程如下：

1)采用K个高斯混合分量的高斯混合模型，对n个观测数据Q＝[q₁,q₂,…,q_N]应用k-means算法求得初始参数值

2)E步骤：计算训练数据集中第i个数据在第k个Gaussian分量中的概率

$p(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)})=\frac{{\mathrm{\&alpha;}}_k^{\left(0\right)}\mathrm{\&eta;}\left(q_i\right|{\mathrm{\&mu;}}_k^{\left(0\right)},{\mathrm{\&Sigma;}}_k^{\left(0\right)})}{\underset{j=1}{\overset{K}{\&Sigma;}}{\mathrm{\&alpha;}}_j^{\left(0\right)}\mathrm{\&eta;}\left(q_i\right|{\mathrm{\&mu;}}_j^{\left(0\right)},{\mathrm{\&Sigma;}}_j^{\left(0\right)})}---\left(1.1\right)$

M步骤：根据E步的计算结果，更新各Gaussian分量的各参数值以及权值，具体计算过程为

${\mathrm{\&mu;}}_k^{\left(1\right)}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}p\left(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)}\right)q_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}p\left(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)}\right)}---\left(1.2\right)$

${\mathrm{\&Sigma;}}_k^{\left(1\right)}=\frac{\underset{i=1}{\overset{N}{\&Sigma;}}p(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)})(q_i-{\mathrm{\&mu;}}_k^{\left(1\right)}){(q_i-{\mathrm{\&mu;}}_k^{\left(1\right)})}^T}{\underset{i=1}{\overset{N}{\&Sigma;}}p(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)})}---\left(1.3\right)$

${\mathrm{\&alpha;}}_k^{\left(1\right)}=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}p(k_i=k|q_i,{\mathrm{\&Theta;}}^{\left(0\right)})---\left(1.4\right)$

3)重复步骤(2)，直至似然函数(式(1.5)所示)收敛。

${\log }_{10}p\left(Q\right|\mathrm{\&Theta;})=\underset{i=1}{\overset{N}{\&Sigma;}}{\log }_{10}\&lsqb;\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&alpha;}}_k\mathrm{\&eta;}\left(q_i\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)\&rsqb;---\left(1.5\right)$

S2：根据火焰显著图，采用阈值分割法筛选出候选火焰的像素点，构造含有候选火焰像素点的掩膜图像。具体采用如下方式：

根据上述公式(6)所得的火焰显著性图，通过阈值分割滤除干扰点，得到包含候选火焰像素点的掩膜图像：

其中，f_s为输入视频图像的火焰显著图，τ_f为试验而得的阈值，若M_s(x,y,t)＝1，表示该像素点可能为火焰像素，需进行进一步判定；若M_s(x,y,t)＝0，则表示该点一定不在火焰区域内，无需后续处理。

S3：根据掩膜图像对原始图像进行如下处理：若掩膜图像中像素点的值为1，对应位置的原始图像中的像素点保留原值，否则原始图像中像素点的值置为零；将上述处理过的原始图像分成多个子块，计算图像被划分出来的行块数、列块数以及每个子块内的候选火焰像素的数目从而判断该子块是否含有火焰；

S31：按照子块的宽和高分别为W_b和H_b对图像进行分块，若图像的宽和高分别为W_i和H_i，则图像将被分出来的行块数N_r和列块数N_c将为

其中，运算符表示向下取整运算；

S32：采用如下方式对每个子块内的候选火焰像素的数目进行统计，将火焰像素数目少的子块判定为非火焰子块，不进行后续处理；

其中，M_b,i(t)表示t时刻第i个子块包含火焰的可能性，该值为1表示t时刻第i个子块可能含有火焰，将对其进行空间金字塔直方图统计，该值为0表示该子块不含有火焰，不用进行后续处理；B_i(t)表示第i个子块表示的区域，T_b为候选火焰像素点占整个子块像素数目的比例阈值。

S4：逐子块寻找前一帧图像中与之对应的子块，并利用连续帧对应子块的空间金字塔直方图间的距离判断图像是否存在火焰。

在空间金字塔直方图的计算中，要以不同的分辨率0～L建立一系列网格，即在第l级分辨率上要将宽和高两个维度分别等分为2^l段，总体将图像分为4^l个子区域，对每一个可能包含火焰的候选子区域中统计色彩或灰度直方图。最终将不同分辨率下所有子区域的直方图向量依次首尾相连，组成金字塔直方图向量，则对于一幅图像，它的空间金字塔直方图的维数为

$B_{num}{\mathrm{\&Sigma;}}_{l=0}^L{4}^l=\frac{1}{3}{B}_{num}(4^{L+1}-1)---\left(10\right)$

其中，B_num为直方图的bins的数目。

S4中计算图像每个子块的空间金字塔直方图，并根据连续的多帧图像中对应块的金字塔直方图间的距离判断该子块是否含有火焰：

S41：选择R通道图像计算空间金字塔直方图，根据含有候选火焰像素点的掩膜图像，将一定不在火焰区域的像素点R通道值置零，候选像素点处保持原值不变，即

S42：对每个可能含有火焰的子块即M_b,i(t)＝1的子块在F(x,y,t)图像上计算其空间金字塔直方图H(B_i(t))，即对子块按照分辨率0～L分别进行再次分块操作，第l级分辨率下将子块宽和高两个维度都均分成2^l段，其中l＝1，2，…L，从而将子块再分成若干小块，统计每个小块在R通道上的颜色直方图，最后将每个小块的直方图向量乘以权重β_l后首尾相连构成该子块的空间金字塔直方图：

${\mathrm{\&beta;}}_1=\frac{1}{2^{L-l}}=2^{l-L}---\left(12\right)$

S43：对当前帧中每个可能包含火焰的子块，在其前一帧图像中找到对应的子块，即在前一帧图像中以本帧当前所处理的子块为中心起始位置，在-R～R的范围内搜索计算所有子块的空间金字塔直方图，计算其与当前帧所处理子块的直方图间的距离，距离最小的子块即为与当前帧所处理子块相对应的子块；

若B_i(t)表示的子块为R(x_i1:x_i2,y_i1:y_i2,t)，上述具体过程如式(13)

$B_{c,i}(t-m)=\underset{x,y\&Element;(-R,R)}{min}dis\&lsqb;H\left(B_i\right(t),H\left(R\right(x_{i1}-x:x_{i2}-x,y_{i1}-y:y_{i2}-y,t-m\left)\right)\&rsqb;,m=1,2,...N_m-1---\left(13\right)$

其中，B_c,i(t-m)为前m帧中与当前帧所处理子块相对应的子块，H()表示计算区域的空间金字塔直方图，dis[]表示计算两直方图的距离的函数，可以应用直方图相交函数^[5]计算

$dis(H_x,H_y)=\underset{i=1}{\overset{D_H}{\&Sigma;}}\min \left(H_x\right(i),H_y(i\left)\right)---\left(14\right)$

其中，H_x(i),H_y(i)分别表示两个直方图向量第i维数据，D_H表示向量的维度。

S44：根据S43中确定的对应子块，计算当前处理子块与前一帧中对应子块的空间金字塔直方图之间的距离；将多帧的计算结果进行平均之后作为最终的判决依据，如式(15)所示：

${\mathrm{Dis}}_{mean}\left(B_i\left(t\right)\right)=\frac{1}{N_m}\left(dis\&lsqb;H\left(B_i\left(t\right)\right),H\left(B_{c,i}\left(t-1\right)\right)\&rsqb;+\underset{j=t-1}{\overset{t-N_m+1}{\mathrm{\&Sigma;}}}dis\&lsqb;H\left(B_{c,i}\left(j\right)\right),H\left(B_{c,i}\left(j-1\right)\right)\&rsqb;\right)---\left(15\right)$

其中B_c,i(t-1)表示t时刻第i个子块在前一帧中的对应子块，N_m表示进行平均的帧数；

S45：根据S44中计算的距离，判断当前处理的子块中是否存在火焰，方法如式(16)所示

当Dis_mean(B_i(t))<T_s

当前处理的子块存在火焰

否则(16)

当前处理的子块不存在火焰

其中，T_s为阈值，若图像中至少有一个子块被判定为存在火焰，则认为该帧图像存在火焰。

为了验证本发明的有效性，进行了计算机仿真实验。在实验中，实验参数为CPUIntelRCoreTMi52.4GHz,6G内存，显卡是AMDRadeonHD6470，系统为Window7旗舰版，软件编程环境为Matlab2014a。

本发明实验的视频是普通CCD摄像头拍摄的彩色视频，源自韩国启明大学等进行基于图像处理的火灾检测领域研究的实验室所发布的试验视频，以及为了检测方法性能所专门拍摄的视频。

衡量一种火焰检测算法优劣的标准主要有两个，检测率r_d与误检率(虚警率)f_a，其定义分别如式(20)和式(21)。

$r_d=\frac{n_{tp}}{n_p}---\left(20\right)$

$f_a=\frac{n_{fp}}{n_n}---\left(21\right)$

其中，n_p表示包含火焰的图像帧数，n_n表示不含火焰的图像帧数，n_tp表示算法检测的含有火焰并且图像中确实含有火焰的帧数，即真阳性帧数，n_fp表示当实际图像中不含有火焰但算法所加测处的火焰帧数，即伪阳性帧数。检测率r_d与虚警率f_a均反映了火焰检测算法性能的优劣。其中，检测率表示火焰存在时被检测到的概率，检测率越高，表明该检测系统的可靠性越强。虚警率表示未存在火焰时发出警报的概率，可以一定程度上反映算法的稳定性。虚警率越低，表明该检测系统被其他物体干扰的程度越低，应用于实际的可操作性越强。

本文将本文所改善的方法与文献[1]和文献[2]进行了仿真对比实验，具体的仿真结果，详见下图以及下表所示。其中试验视频来自韩国启明大学火灾检测实验室^[6]。

表1算法性能比较

从表1可以看出，在误检率方面，本文提出的方法文献[1]与文献[2]中的方法相比，无论在检测率与误检率方面均表现优异。图2(a)中为燃烧的树木，周围大量的烟对火焰有一定的遮挡作用，若应用普通的硬分类颜色模型，将会有大量火焰区域像素点被遗漏，但火焰显著图可以减少甚至避免上述情况的发生，得到较好的检测结果。图2图(b)为夜间拍摄视频，环境光照较暗，该场景的成功检测表明在明亮与较暗环境下，上述算法均能取得较好的检测效果。图2图(c)中火焰距离摄像头较远，并且火焰燃烧区域较小，较难被检测到。图2(d)和图2(f)中移动的行人，图2(e)中红色的车辆等，均具有较强的干扰作用，但基于空间金字塔直方图的算法成果将干扰物排除，得到了较低的误检率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

参考文献

[1]CELIKT,DEMIRELH,OZKARAMANLIH.Automaticfiredetectioninvideosequences.FireSafetyJournal,2006,6(3):233–240.

[2]HABIBOGLUYH,GUNAYO,CETINAE.Covariancematrix-basedfireandflamedetectionmethodinvideo.MachVisionAppl,2012,23(6):1103-1113.

[3]TREYINBU.Firedetectionalgorithmsusingmultimodalsignalandimageanalysis；BilkentUniversity,2009.

[4]王舒文.分布式麦克风阵列定位方法研究.大连理工大学,2013.

[5]LAZEBNIKS,SCHMIDC,PONCEJ.Beyondbagsoffeatures:Spatialpyramidmatchingforrecognizingnaturalscenecategories.ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2006.

[6]KOB,CHEONGKH,NAMJY.EarlyfiredetectionalgorithmbasedonirregularpatternsofflamesandhierarchicalBayesianNetworks.FireSafetyJ,2010,45(4):262-70。

Claims (5)

1.一种基于火焰显著图和空间金字塔直方图的火灾检测方法，其特征在于：包括以下步骤：

S1：计算图像中各像素点的强度变化值和前景度，采用连续帧做差法与高斯混合火焰颜色模型获取火焰显著图；

S2：根据火焰显著图，采用阈值分割法筛选出候选火焰的像素点，构造含有候选火焰像素点的掩膜图像；

S3：根据掩膜图像对原始图像进行如下处理：若掩膜图像中像素点的值为1，对应位置的原始图像中的像素点保留原值，否则原始图像中像素点的值置为零；将上述处理过的原始图像分成多个子块，计算图像被划分出来的行块数、列块数以及每个子块内的候选火焰像素的数目从而判断该子块是否含有火焰；

S4：逐子块寻找前一帧图像中与之对应的子块，并利用连续帧对应子块的空间金字塔直方图间的距离判断图像是否存在火焰。

2.根据权利要求1所述的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，其特征还在于：S1中具体采用如下方式：

S11：计算图像中各像素点的强度变化值：

$P_{diff}(x,y,t)=\frac{|I(x,y,t)-I(x,y,t-1)|}{255}---\left(1\right)$

其中：P_diff(x,y,t)是t时刻位于(x,y)位置的像素点的强度变化值，I(x,y,t)为t时刻位于(x,y)位置的像素点的强度值；

S12：计算图像中各像素点的前景度，所述前景度为在前景检测阶段像素点属于前景的概率值：

$P_F(x,y,t)=\underset{i=0}{\overset{N-1}{\&Sigma;}}{\mathrm{\&omega;}}_i{\mathrm{logP}}_{diff}(x,y,t-i)---\left(2\right)$

其中，P_F(x,y,t)代表t时刻位置(x,y)处像素点的前景度，它是对t时刻前N帧的强度变化的加权对数值求和，描述火焰区域强度持续变化的特点；

S13：根据训练好的高斯混合火焰颜色模型，在RGB颜色空间中计算各像素点颜色为火焰颜色的概率：

$P_c\left(q\right(x,y,t\left)\right)=\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&alpha;}}_k{\mathrm{\&eta;}}_k\left(q\right(x,y,t\left)\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)---\left(3\right)$

其中，q(x,y,t)是t时刻位置(x,y)处的像素点在RGB颜色空间中的颜色向量，表示形式为

q(x,y,t)＝{R(x,y,t),G(x,y,t),B(x,y,t)}(4)

K是已训练出的高斯混合火焰颜色模型中单峰高斯密度函数分量的数目，μ_k和Σ_k分别是已训练出的高斯混合火焰颜色模型中第k个分量的均值向量和协方差矩阵，α_k是各高斯分量的权重；函数η(·)的表达式为

$\mathrm{\&eta;}\left(q\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{D/2}|{\mathrm{\&Sigma;}}_k{|}^{1/2}}\exp \&lsqb;-\frac{1}{2}{(q-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(q-{\mathrm{\&mu;}}_k)\&rsqb;---\left(5\right)$

其中，D为向量的维度，其中，D＝3；

S14：根据前景度和火焰颜色概率构建火焰显著图：

根据式(2)计算的像素前景度和由式(3)计算的火焰颜色概率计算每个像素点的显著度

f_s(x,y,t)＝P_F(x,y,t)+logP_c(q(x,y,t))(6)

其中f_s(x,y,t)即为t时刻位置(x,y)处像素点的显著度，也是火焰显著图中(x,y)处像素点的像素值。

3.根据权利要求1所述的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，其特征还在于：S2中采用如下方式：

根据上述公式(6)所得的火焰显著性图，通过阈值分割滤除干扰点，得到包含候选火焰像素点的掩膜图像：

其中，f_s为输入视频图像的火焰显著图，τ_f为试验而得的阈值，若M_s(x,y,t)＝1，表示该像素点可能为火焰像素，需进行进一步判定；若M_s(x,y,t)＝0，则表示该点一定不在火焰区域内，无需后续处理。

4.根据权利要求1所述的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，其特征还在于：S3对逐子块进行处理采用如下方式：

S31：按照子块的宽和高分别为W_b和H_b对图像进行分块，若图像的宽和高分别为W_i和H_i，则图像将被分出来的行块数N_r和列块数N_c将为

其中，运算符表示向下取整运算；

S32：采用如下方式对每个子块内的候选火焰像素的数目进行统计，将火焰像素数目少的子块判定为非火焰子块，不进行后续处理：

其中，M_b,i(t)表示t时刻第i个子块包含火焰的可能性，该值为1表示t时刻第i个子块可能含有火焰，将对其进行空间金字塔直方图统计，该值为0表示该子块不含有火焰，不用进行后续处理；B_i(t)表示第i个子块表示的区域，T_b为候选火焰像素点占整个子块像素数目的比例阈值。

5.根据权利要求1所述的一种基于火焰显著图和空间金字塔直方图的火灾检测方法，其特征还在于：S4中计算图像每个子块的空间金字塔直方图，并根据连续的多帧图像中对应块的金字塔直方图间的距离判断该子块是否含有火焰：

S41：选择R通道图像计算空间金字塔直方图，根据含有候选火焰像素点的掩膜图像，将一定不在火焰区域的像素点R通道值置零，候选像素点处保持原值不变，即

S42：对每个可能含有火焰的子块即M_b,i(t)＝1的子块在F(x,y,t)图像上计算其空间金字塔直方图H(B_i(t))，即对子块按照分辨率0～L分别进行再次分块操作，第l级分辨率下将子块宽和高两个维度都均分成2^l段，其中l＝1，2，…L，从而将子块再分成若干小块，统计每个小块在R通道上的颜色直方图，最后将每个小块的直方图向量乘以权重β_l后首尾相连构成该子块的空间金字塔直方图：

${\mathrm{\&beta;}}_l=\frac{1}{2^{L-1}}=2^{l-L}---\left(12\right)$

S43：对当前帧中每个可能包含火焰的子块，在其前一帧图像中找到对应的子块，即在前一帧图像中以本帧当前所处理的子块为中心起始位置，在-R～R的范围内搜索计算所有子块的空间金字塔直方图，计算其与当前帧所处理子块的直方图间的距离，距离最小的子块即为与当前帧所处理子块相对应的子块；

S44：根据S43中确定的对应子块，计算当前处理子块与前一帧中对应子块的空间金字塔直方图之间的距离；将多帧的计算结果进行平均之后作为最终的判决依据，如式(15)所示：

${\mathrm{Dis}}_{mean}\left(B_i\left(t\right)\right)=\frac{1}{N_m}\left(dis\&lsqb;H\left(B_i\left(t\right)\right),H\left(B_{c,i}\left(t-1\right)\right)\&rsqb;+\underset{j=t-1}{\overset{t-N_m+1}{\mathrm{\&Sigma;}}}dis\&lsqb;H\left(B_{c,i}\left(j\right)\right),H\left(B_{c,i}\left(j-1\right)\right)\&rsqb;\right)---\left(15\right)$

其中B_c,i(t-1)表示t时刻第i个子块在前一帧中的对应子块，N_m表示进行平均的帧数；

S45：根据S44中计算的距离，判断当前处理的子块中是否存在火焰，方法如式(16)所示

当Dis_mean(B_i(t))<T_s

当前处理的子块存在火焰(16)

否则

当前处理的子块不存在火焰

其中，T_s为阈值，若图像中至少有一个子块被判定为存在火焰，则认为该帧图像存在火焰。