CN110648490B - 适用于嵌入式平台的多因子火焰识别方法 - Google Patents

Abstract

本申请揭示一种适用于嵌入式平台的多因子火焰识别方法，包括建立火灾样本库，火灾样本库来自于网络火灾图片及燃烧实验图片；分别获取多处现场视频帧；分别提取每一处现场视频帧中的运动目标，获得一个或多个准火灾区域；根据火灾样本库对一个或多个准火灾区域分别进行火灾确认，判断一个或多个准火灾区域是否存在火灾信息；若是，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号。本申请通过分别处理获取的现场视频帧，实时分析现场监控环境中是否出现有可能发展成为火灾的火灾信息，并再次进行火灾确认，进一步判断是否真存在火灾信息，还会对火灾信息进行火灾等级分析并且并生警报，火灾信息识别更准确。

Description

适用于嵌入式平台的多因子火焰识别方法

技术领域

本申请涉及电子智能消防技术领域，具体地，涉及一种适用于嵌入式平台的多因子火焰识别方法。

背景技术

目前火灾识别主流方法有三种，第一种采用传统的火灾探测传感器进行火灾信息的探测，普遍存在检测时间长准确率低的缺点。第二种是采用图像识别进行火灾信息的检测，即采用传统的数字图像处理手段，人工设定火灾的特征维度进行火灾识别，也即人工通过设计多个具有代表性的特征来表征火灾信息，但由于人工表征火灾的特征有限，因而对不同场景或者不同背景下的火灾信息无法正常表达，普遍存在误判率高，鲁棒性偏低的缺点。第三种则是采用深度学习的方式，自动学习样本图片中的火灾特征，通过自动学习样本图片中的火灾特征代替人工设计火灾的特征维度，提高了鲁棒性以及准确率。如图1所示，其为传统火灾识别系统图，通用型的深度学习方法在进行火灾识别时，多个视频采集端采集到的现场视频统一经交换机传送至后台服务器，由后台服务器进行集中计算，导致计算量巨大。

发明内容

针对现有技术的不足，本申请提供一种适用于嵌入式平台的多因子火焰识别方法。

本申请公开的一种适用于嵌入式平台的多因子火焰识别方法，包括：

建立火灾样本库，火灾样本库来自于网络火灾图片及燃烧实验图片；

分别获取多处现场视频帧；

分别提取每一处现场视频帧中的运动目标，获得一个或多个准火灾区域；

根据火灾样本库对一个或多个准火灾区域进行火灾确认，判断一个或多个准火灾区域是否存在火灾信息；

若是，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号。

根据本申请的一实施方式，根据火灾样本库对一个或多个准火灾区域进行火灾确认，判断一个或多个准火灾区域是否存在火灾信息包括：

分别采用BP神经网络算法、SSD算法及Yolo算法对一个或多个准火灾区域进行检测，其中采用BP神经网络算法对准火灾区域进行检测时，抽取火灾样本库中的网络火灾图片及燃烧实验图片组成BP神经网络训练集；

根据检测分别输出火灾置信度；

根据火灾置信度判断是否存在火灾信息。

根据本申请的一实施方式，其中采用BP神经网络算法对一个或多个准火灾区域进行检测时，抽取火灾样本库中所包含的至少一半量的网络火灾图片及至少一半量的燃烧实验图片组成BP神经网络训练集。

根据本申请的一实施方式，根据火灾置信度判断是否存在火灾信息包括：采用BP神经网络算法检测时，输出BP网络火灾置信度P，P∈[0,1]，根据火灾置信度P判断是否存在火灾信息。

根据本申请的一实施方式，分别采用SSD算法及Yolo算法对火灾信息进行检测，并分别输出SSD火灾置信度P_A及Yolo火灾置信度为P_B，若P>0.8且P_A>0.8，则火灾信息为大火灾信息；若P>0.6且P_B>0.7，则火灾信息为小火灾信息。

根据本申请的一实施方式，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：若判断火灾信息为大火灾信息，则获取连续30帧以上60帧以下的现场视频帧，当连续30帧以上60帧以下的现场视频帧中均产生大火灾信息，则划分火灾信息为一级火灾预警，产生一级报警信号。

根据本申请的一实施方式，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：若判断火灾信息为大火灾信息，则获取连续60帧以上90帧以下的现场视频帧，当连续60帧以上90帧以下的现场视频帧中均出现大火灾信息，则划分火灾信息为二级火灾预警，产生二级报警信号。

根据本申请的一实施方式，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：若判断火灾信息为大火灾信息，则获取连续90帧以上现场视频帧，当连续90帧以上的现场视频帧中均出现大火灾信息，则火灾信息为三级火灾预警，产生三级报警信号。

根据本申请的一实施方式，对火灾信息进行火灾等级划分，并根据划分的火灾等级产生对应的报警信号包括：若判断火灾信息为小火灾信息，则获取连续15帧以上30帧以下的现场视频帧，当连续15帧以上30帧以下的现场视频帧中均出现小火灾信息，则火灾信息为0级火灾预警，产生0级报警信号。

根据本申请的一实施方式，提取视频帧中的运动目标，获得准火灾区域包括：

采用混合高斯模型建模方法对获取的现场视频帧进行背景建模；

更新混合高斯模型中参数，获得背景图像；

将现场视频帧与获得的背景图像相减，提取到现场视频帧中的运动目标，以获得准火灾区域。

本申请的适用于嵌入式平台的多因子火焰识别方法，当获取多处的现场视频帧后，对每一处的现场视频帧分别进行处理，从而分别提取每一处现场视频帧中的运动目标，再分别进行火灾确认，也即采用分散式处理方式，避免集中处理导致计算量巨大。同时通过处理获取的现场视频帧，实时分析现场的监控环境中是否出现有可能发展成为火灾的火灾信息，获得准火灾区域，并对准火灾区域进行火灾确认，并且进一步判断准火灾区域是否存在火灾信息，如果确定存在火灾信息，则会对这些火灾信息进行火灾等级分析并且并生警报。并且，当该方法应用于现有的消防智能报警系统，与消防智能报警系统结合能够解决具有大空间火灾现场的火灾信息的检测问题，增加火灾现场检测的范围，并且相比传统传感器类型的火灾探测器，该方法具有更短的检测时间及更高的准确率，与此同时还可以将获取的现场视频帧进行存储，方便后续火灾现场的调查取证。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为现有火灾识别系统图；

图2为实施例中用于嵌入式平台的多因子火焰识别系统图；

图3为实施例中火灾信息识别流程图；

图4为实施例中标准正太分布的图像；

图5为实施例中采用混合高斯模型从当前现场视频帧中提取运动目标过程示意图；

图6为实施例中火灾等级划分流程图。

具体实施方式

以下将以图式揭露本申请的多个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本申请。也就是说，在本申请的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。

另外，在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的，并非特别指称次序或顺位的意思，亦非用以限定本申请，其仅仅是为了区别以相同技术用语描述的组件或操作而已，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本申请提供一种适用于嵌入式平台的多因子火焰识别方法，包括四个阶段，第一个阶段为火灾样本库建设阶段、第二个阶段为运动目标提取阶段，第三个阶段为火灾区域确认阶段，第四个阶段为火灾等级分级及预警阶段。同时，本申请还具体提供如何使得多因子火焰识别方法移植于嵌入式平台，使得多因子火焰识别方法可以在类似于海思Hi 3519A系列芯片上进行运行。以下将详细阐述本申请适用于嵌入式平台的多因子火焰识别方法。

如图2所示，其为本申请其中一种适用于嵌入式平台的多因子火焰识别系统图，本申请适用于嵌入式平台的多因子火焰识别系统包括多个视频采集端，多个算法盒子、交换机、服务器、显示端以及报警端，每一个视频采集端通讯连接一个算法盒子，多个算法盒子通讯连接交换机，交换机、显示端以及报警端分别通讯连接服务器。其中，多个视频采集端分别安装在多个受监控区域，用于采集各受监控区域的现场视频帧，多个视频采集端分别将采集的现场视频帧传输至对应的每一个算法盒子，每一个对应的算法盒子根据接收的现场视频帧，完成现场视频帧中运动目标区域的提取，获得准火灾区域，每一个算法盒子将准火灾区域传输至服务器，服务器中建立有火灾样本库，服务器根据建立的火灾样本库，对火灾样本库中的图片进行训练和测试，得到算法模型，以便根据训练及测试得到的算法模型，对准火灾区域进行火灾确认，判断是否存在火灾信息，服务器还根据火灾信息进行火灾等级划分，并根据划分的火灾等级控制报警端产生对应的报警信号。以下详细介绍本申请的适用于嵌入式平台的多因子火焰识别方法。

本申请的适用于嵌入式平台的多因子火焰识别方法中，在进行火灾识别之前，先建立火灾样本库，以便BP神经网络算法中对火灾样本库中的图片进行训练和测试，得到BP神经网络算法模型。在进行火灾样本库建设时，为了使得火灾信息的确认更加准确，本例中采用网络虚拟图片及真实生活火灾图片相结合的方式建立火灾样本库，这样使得建立的火灾样本库既有来源于网络的网络火灾图片，同样还有来源于真实生活中通过燃烧实验获得的燃烧实验图片。对于网络火灾图片以及燃烧实验图片，则分别通过网络以及人工模拟两种方式进行采集，火灾样本库中图片的总量至少为10万张。其中，网络火灾图片通过爬虫对百度及谷歌两个搜索引擎进行爬取，以及从国际开源数据库中下载并且筛选1万张，网络火灾图片的获取尽量丰富化，包括不同场景中获得的火灾图片，一共构成5万张的网络图片。在获得燃烧实验图片时，为了使得火灾样本库中图片更全面、丰富及真实，结合不同场景如室内和室外、不同材质燃烧如榉木、塑料、废纸、面料和天然气，不同干扰如阳光、白炽灯、蚊香、香烟及黄色/红色物体，在考虑场景时充分结合现实生活中常见场景，并且通过大量的燃烧实验，收集了5万张的真实场景样本图片，形成燃烧实验图片，以使获得的燃烧实验图片真实化。网络火灾图片以及燃烧实验图片共同组成不少于10万张的火灾样本库。如下表1所示，即为火灾样本库中图片的组成。

表1火灾样本库图片来源

完成火灾样本库的建设及火灾样本库中图片的测试和训练，得到BP神经网络算法模型后，开始进行火灾信息识别。请参考图3，其为火灾信息识别流程图。当多个视频采集端采集现场视频帧，并传输至每一个与之对应通讯连接的算法盒子，每一个算法盒子获取对应的现场视频帧，并进行现场视频帧中运动目标的提取，获得准火灾区域。要对现场视频帧中的火灾信息进行识别，就必需要把发生火灾的区域也即火灾区域提取出来。火灾发生后，由于随着火灾的发展以及环境气流的作用，火灾区域以及背景图像都会不断的运动，因此，要进行火灾信息的识别，获取现场视频帧后首先需要把现场视频帧中的运动目标提取出来，得到的运动目标组成为准火灾区域，又因为准火灾区域中除了发生火灾的区域外同时还存在大量非火灾移动目标，要进行火灾信息的准确确认，还需要将准火灾区域中非火灾移动目标剔除，即可进行火灾确认，进而判断准火灾区域是否存在火灾信息。本例中，之所以先把现场视频帧中的运动目标提取出来，获得准火灾区域后再进行火灾确认主要基于以下两方面的考虑：1、在火灾发展的过程中，火灾区域以及部分背景区域都必然处于运动的状态，假设现场视频帧中提取出来的运动目标组成的准火灾区域为M，准火灾区域必然包括真实的火灾区域为N以及运动的部分背景区域，那么M包含N，即

经过运动目标的提取，可以筛选出准火灾区域，便于对准火灾区域进行二次确认，将运动状态中的部分背景区域剔除以获得真实的火灾区域。2、从现场视频帧中提取准火灾区域后，将该准火灾区域作为研究对象，减少了现场视频帧中对应的图像的像素点，从而减少了需要运算的区域，对提升算法的性能有很大的作用，可以减少运算量。

如何从现场视频帧中提取运动目标，常用的具体方法有两类，其中第一类为差分法，具体为背景差分法及帧间差分法，这两种方法都是对不同的两帧现场视频帧进行相减，把差分后的现场视频帧作为运动目标，不同的是帧间差分法是对相邻现场视频帧进行差分，而背景差分法是把当前现场视频帧与背景图像进行差分，由此可见背景图像的建立直接影响到运动目标的提取。背景图像的建立有总体上分为两大类，第一类是把背景图像固定不变，把当前现场视频帧与背景图像差分得到运动目标，这种方法一般都是把现场视频帧的第一帧作为背景图像。但是实际中背景图像通常都是会变化的，比如运动目标就是本来背景图像里面的物体，如果背景图像一直不变，就会把运动目标作为背景处理了，导致提取出来的运动目标不理想，又比如在现实生活中受自然因素(比如光照亮度，自然风等)的影响，背景会发生缓慢的变化，背景图像自然会跟随变化，如果背景图像一直不变的话，跟实际中的背景图像误差会慢慢的变大，这样对提取出来的运动目标也会造成很大的误差。

第二类建立背景的方法是背景图像可以随着环境的变化而发生缓慢的变化，这样就可以跟实际中的背景环境保持较小的误差。为了得到具有自适应能力的背景图像，通常采用背景建模算法，常用建模算法大致上也可以分为两种，一种是需要存储当前时刻之前的现场视频帧，然后对存储的这些现场视频帧中新出现的数据作为样本，再把这些样本按照一定的规则添加到背景图像当中，比如中值背景建模法和平均值背景建模法，中值背景建模法是对存储的各现场视频帧中相应位置的像素值求中值，把这个中值作为此时背景图像对应位置的像素值，而平均值背景建模法是对各现场视频帧中相应位置的像素值求平均值，并且把这个平均值作为当前现场视频帧的背景，这种方法效果比较理想，但是因为要根据存储一段时间的现场视频帧作为样本，增加了服务器内存的负担，增大了数据的计算量，对硬件要求比较高。平均值背景建模法克服了这些缺点，并不需要对现场视频帧进行存储作为样本，而是通过回归的方式根据当前现场视频帧来改变原来的背景图像，比如卡乐曼滤波器模型，单高斯模型和混合高斯模型。经过实验的反复对比，本例采用了混合高斯模型，以下详细介绍如何采用混合高斯模型方式进行运动目标区域的提取，以获取准火灾区域。

本例中，提取视频帧中的运动目标，获得准火灾区域包括采用混合高斯模型建模方法对获取的现场视频帧进行背景建模；更新混合高斯模型中参数，获得背景图像；将现场视频帧与获得的背景图像相减，提取到现场视频帧中的运动目标，以获得准火灾区域。

高斯分布中若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布，记为N(μ，σ^2)，其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了其分布的幅度。我们通常所说的标准正态分布是μ＝0，σ＝1的正态分布。如图4所示便是一个标准正太分布的图像。

当环境中不存在运动目标的情况，对不同时刻里同一位置的像素值进行统计，可以发现这些值是呈单高斯分布的，但是实际的环境当中通常会受到光照及风吹等外在因素的影响，单一的高斯分布已经满足不了像素值的分布，由此可以用几个高斯分布通过不同的权值组合起来描述一个位置像素值的统计情况，也就是本例中提到的混合高斯模型。高斯模型的个数越多可以描述出来的背景就越复杂，准确性就越高，但是换来的代价就是数据的运算量就越大。为了达到满意的效果而且又考虑到对计算机硬件的要求，一般工程上高斯模型的个数取3到5个为宜。

假设图像中像素i在时刻t的像素值为x_it，则它的概率密度函数为：

其中w_jt表示的是第i个像素在t时刻的第j个高斯模型的权值，W的值越大说明该高斯模型与当前图像的像素值越接近，k表示的是采用的高斯模型的个数，并且有

即用于模拟一个像素的所有高斯模型的权值之和为1。

表示的是用于描述第i个像素点在t时刻的第j个高斯模型，

表示的是单个高斯模型。而u_it表示的是该高斯模型的均值，

表示的是该高斯模型的方差，在混合高斯模型的建模算法中，主要是通过调整均值和方差的值来达到需要的效果，因些在混合高斯模型的建模算法中，高斯模型的均值以及方差这两个参数的更新方法非常的重要，具体的更新方法后续会介绍。利用混合高斯模型进行背景建模的时候需要根据高斯模型与当前像素之间的相似程序对用于描述同一个像素点的k个单高斯模型进行排序，权值W越大就表示该模型与当前像素的相似度比较高，而

越小就表示该组像素点的变化比较小，比较平稳。所以可以根据

的值来描述这种相似度，

的值越大就表示相似度越高，越有可能是属于背景图像的像素点。把各个高斯模型按照

值从大到小排好序，通常来说运动目标与高斯模型的相似程度都比较小，而背景像素点因为变化小，相似程度比较大。因此可以定义一个阈值T，如果前d个高斯模型的权值之和刚好大于或者等于T，则前d个高斯模型用作背景子集，而剩下的k-d个高斯模型作为前景运动子集。T的取值会直接影响到提取运动前景的效果，当T的取值较小时，则d的值就越小，用于描述背景图像的子集也就越单一，所以一般T的值取0.75。

接下来将详细介绍混合高斯模型各参数的更新方法，以便根据更新能够准确识别背景图像。在更新各参数之前必需要判断该像素与哪个高斯模型最相似，一般是如果像素点x_it满足|X_it-u_it|＜λσ_it ²就认为该像素与该模型相匹配(为匹配阈值，一般取2.5)。如果X_it与第i个高斯模型匹配，那么该高斯模型的参数就要被更新，更新的方程如下：

W_i，t+1＝(1-α)w_i，t+αM_it

p_it＝αN(x_it，u_it，σ²)

u_i，t+1＝(1-p_it)u_it与p_itu_it

除了该高斯模型的参数需要被更新以外，其他的高斯模型保持不变。混合高斯模型虽然复杂，计算量也比较大，但是提取出来的运动目标效果比较好，因此被广泛地利用，如图5所示，其为采用混合高斯模型从当前现场视频帧中提取运动目标过程示意图。根据混合高斯背景建模的方法对样本现场视频帧进行背景建模，并且利用当前现场视频帧与当前的背景图像相减，得到运动目标前景。也即将现场视频帧与获得的背景图像相减，即可提取到现场视频帧中的运动目标，获得准火灾区域。获得现场视频帧后，根据混合高斯模型建模，获得背景图像，利用现场视频帧与背景图像相减，即获得当前现场视频帧中运动目标。

请复阅图3，获得准火灾区域后，需要对准火灾区域进行火灾确认，判断准火灾区域中是否存在火灾信息，也即火灾区域确认，针对上述通过运动目标提取算法筛选出来的准火灾区域进行二次确认。本例中该阶段一共采用三种人工智能算法进行共同确认，分别为基于人工特征工程的BP神经网络算法，基于深度卷积神经网络的SSD算法及基于深度学习卷积神经网络的Yolo算法。经过对准火灾区域的确认可以得到当前现场视频帧是否存在火灾信息。也即本例中分别采用BP神经网络算法、SSD算法及Yolo算法对一个或多个准火灾区域进行检测，其中采用BP神经网络算法对准火灾区域进行检测时，抽取火灾样本库中的网络火灾图片及燃烧实验图片组成BP神经网络训练集；根据检测分别输出火灾置信度；根据火灾置信度判断是否存在火灾信息。以下详细说明如何采用BP神经网络算法、SSD算法及Yolo算法进行火灾确认。

A)基于人工特征工程的BP神经网络算法，提取火焰的区域弯曲度、火焰的区域扩散率及火焰的尖角变化率三个特征，并将这三个特征作为BP神经网络算法的输入。如表2所示，BP神经网络的训练集从由网络火灾图片及燃烧实验图片共同组成的火灾样本库中随机抽取至少50％图片，其中，抽取至少50％图片时，至少抽取一半量的网络火灾图片及至少抽取一半量的燃烧实验图片组成BP神经网络训练集。至于BP神经网络算法，设计了一个四层BP神经网络，输入层为3个单元，有两个隐层(每一层都有10个单元)，输出层为一个单元，输出BP网络火灾置信度P，P∈[0,1]，P＝0表示无火灾信息，P＝1表示出现了火灾信息，P越大说明置信度越高，经过大量的工程实验，BP神经网络输出的火灾置信度P存在漏判现象的机率比较小，漏判的概率稳定在0.01％；但是会存在误判的情况，误判的概率稳定在2％。在本申请中BP神经网络算法的判断只是作为其中的一个因子，利用漏判概率极小的优点，作为辅助判断模块。

表2神经网络训练集组成

B)基于SSD算法的大目标检测以及基于Yolo算法的小目标检测，SSD算法和Yolo算法同属于基于深度卷积神经网络的目标检测算法，在本申请中，经过大量的对比实验可知，SSD算法对大火灾目标比较敏感，但容易忽略小火灾目标(阴燃阶段或者刚起火阶段的火焰)；而Yolo算法却刚好相反，对小火灾目标比较敏感，对大火灾目标容易产生漏判。本申请使用SSD算法进行大目标检测，使用Yolo算法进行小目标检测，最后分别将SSD火灾置信度P_A以及Yolo火灾置信度P_B与网络火灾置信度进行整合，当P>0.8且P_A>0.8的情况下，断定产生了大火灾信息，当P>0.6且P_B>0.7的情况下，断定产生小火灾信息也即处于起火阶段。其中P的阈值与P_A、P_B两个变量有关系，当用于大火灾信息判断时P的阈值取0.8，当用于小火灾信息判断时P的阈值取0.6，另外，P_A＝0.8、P_B＝0.7均根据工程实验所得。

完成火灾信息的确认后，对火灾信息进行火灾等级划分，并根据火灾等级产生对用的报警信号。本例中采用BP神经网络算法、SSD算法及Yolo算法进行多因子的整合，共同决策是否存在火灾信息。并且对火灾信息进行区分识别，划分出大火灾目标以及小火灾目标，在本阶段进一步对大火灾目标以及小火灾目标进行等级划分。

如图6所示，其为火灾等级划分流程图，本例中共设计四个火灾等级，其中若判断火灾信息为小火灾信息，获取连续15帧以上30帧以下的现场视频帧，当连续15帧以上30帧以下的现场视频帧中均出现小火灾信息，则产生0级火灾预警，该级别处于火灾起火阶段，暂时还没有造成财产以及人员的损失；当判断火灾信息为大火灾信息，获取连续30帧以上60帧以下的现场视频帧，当连续30帧以上60帧以下的现场视频帧中均产生大火灾信息，则产生一级火灾预警，该级别处于火灾的发展初期。当判断火灾信息为大火灾信息，则获取连续60帧以上90帧以下的现场视频帧，当连续60帧以上90帧以下的现场视频帧中均出现大火灾信息，则产生二级火灾预警，该级别处于火灾的快速发展期；当判断火灾信息为大火灾信息，则获取连续90帧以上现场视频帧，当连续90帧以上的现场视频帧中均出现大火灾信息，产生三级火灾预警，当发展到该级别说明已经造成一定程度的财产损失，需要紧急进行消防救援。

当将本申请的适用于嵌入式平台的多因子火焰识别方法移植入海思Hi3519A系列芯片上进行运行时，移植步骤包括搭建NFS、采用串口方式连接海思开发板、安装海思交叉编译器、opencv3.4.5交叉编译、ncnn交叉编译以及项目工程编译，输出基于arm构架的静态库。其中搭建NFS包括安装NFS服务、编写配置文件及重启NFS服务。以串口方式连接海思开发板包括一般把串口线接上海思开发板后手动或自动安装驱动、以计算机-管理-设备管理器-端口的方式查看端口号、在PC端使用SecureCRT访问串口，码率为115200以及连接海思开发板与虚拟机并共享目录，若海思开发板没有分配IP，可手动配置。安装海思交叉编译器时，宿主机是64位，而交叉编译器是针对32位的开发板，需要补依赖包，而后直接执行安装包下面的安装脚本，随后测试是否安装成功。

本例的适用于嵌入式平台的多因子火焰识别方法相较于传统火灾识别具有如下优势：

1)采用BP神经网络算法进行火灾信息识别时，BP神经网络训练集的火灾样本库中图片数量达到10万张级别，图片既有网络图片，真实场景数据占50％，图片多样且丰富。目前现有方案使用的火灾图片样本库通常只为互联网进行爬取，网络上爬取的火灾图像样本场景比较单一，大部分为严重的火灾现场，缺乏火灾起火阶段或者阴燃阶段的样本数据。并且图片库的数量规模比较小(在1万张以内)，这对算法模型的识别或者火灾特征的研究是不够全面的，造成算法的鲁棒性以及迁移能力比较弱，在测试集中的表现非常好，但是真实场景的识别率偏低。而本申请通过从互联网、国际开源库以及燃烧实验三个渠道进行图片收集，建设一个数量巨大，覆盖生活常见场景的理想训练集，为算法的训练效果提供了重要的保障。

2)结合基于人工设计特征工程的BP神经网络算法以及其实深度卷积神经网络的SSD算法及YOLO算法，形成多因子决策方案，共同判决火灾信息，抗干扰能力强，鲁棒性强。目前主流方案使用传统数字图像处理方案，特征工程过程中人工设定的特征维度难以表征所有火灾的特点，比如火焰的扩散特征在火灾不同的发展阶段扩散率差别都比较大，造成算法抗干扰能力比较弱，容易受强光、弱光、特别是晚上灯光的影响。而本申请的适用于嵌入式平台的多因子火焰识别方法整合传统数字图像处理方案以及基于深度学习的目标检测方案形成多因子火灾识别方案，并且对大火灾目标以及小火灾目标设计不同的算法进行分场景识别，极大的提高了火灾识别的抗干扰能力，准确率也得到了极大的保障，实验证明准确率可稳定在99.5％。

3)本申请算法复杂度低，减少消耗计算资源，适应在终端平台运行。深度学习火灾检测算法的准确率相比传统数字图像处理算法有较大的进步，但这种准确率的提升是牺牲了性能获得的，目前主流的深度学习火灾识别的模型都是使用通用型的目标检测算法进行训练，该算法的神经元数量巨大，通常需要在高性能的CPU服务器或者GPU服务器，在后台进行识别。需要将多路摄像头的视频流接入到同一台算法服务器进行统一处理，这样，一来服务器同时处理多路视频信号，计算压力巨大，硬件成本高。二来服务器处理耗时以及信号传输耗时造成实时性比较差。本申请首先对现场视频帧进行缩小，提取运动目标，获得准火灾区域，从而减少了在火灾检测环节的计算量。另外本申请对算法进行了基于ncnn轻量级框架的转换以及基于arm构架的移植，使得算法的运行平台可以适应arm架构的终端嵌入式平台，提升了算法的应用能力，降低硬件成本。

上所述仅为本申请的实施方式而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本申请的权利要求范围之内。

Claims (7)

1.一种适用于嵌入式平台的多因子火焰识别方法，其特征在于，包括：

建立火灾样本库，所述火灾样本库来自于网络火灾图片及燃烧实验图片；

分别获取多处现场视频帧；

分别提取每一处现场视频帧中的运动目标，获得一个或多个准火灾区域；

根据所述火灾样本库对一个或多个准火灾区域分别进行火灾确认，判断一个或多个准火灾区域是否存在火灾信息，包括：

分别采用BP神经网络算法、SSD算法及Yolo算法对一个或多个准火灾区域进行检测；

其中采用BP神经网络算法对准火灾区域进行检测时，抽取所述火灾样本库中的网络火灾图片及燃烧实验图片组成BP神经网络训练集；

根据检测分别输出火灾置信度P，P∈[0,1]，根据所述火灾置信度P判断是否存在火灾信息；

采用SSD算法及Yolo算法对准火灾区域进行检测，并分别输出SSD火灾置信度P_A及Yolo火灾置信度为P_B，若P>0.8且P_A>0.8，则所述火灾信息为大火灾信息；若P>0.6且P_B>0.7，则所述火灾信息为小火灾信息；

若是，对所述火灾信息进行火灾等级划分，并根据划分的所述火灾等级产生对应的报警信号。

2.根据权利要求1所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，其中采用所述BP神经网络算法对一个或多个准火灾区域进行检测时，抽取火灾样本库中所包含的至少一半量的网络火灾图片及至少一半量的燃烧实验图片组成BP神经网络训练集。

3.根据权利要求1所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，对所述火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：若判断所述火灾信息为大火灾信息，则获取连续30帧以上60帧以下的现场视频帧，当连续30帧以上60帧以下的现场视频帧中均产生大火灾信息，则划分所述火灾信息为一级火灾预警，产生一级报警信号。

4.根据权利要求3所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，所述对火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：所述对火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：若判断所述火灾信息为大火灾信息，则获取连续60帧以上90帧以下的现场视频帧，当连续60帧以上90帧以下的现场视频帧中均出现大火灾信息，则划分所述火灾信息为二级火灾预警，产生二级报警信号。

5.根据权利要求3所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，所述对火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：所述对火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：若判断所述火灾信息为大火灾信息，则获取连续90帧以上现场视频帧，当连续90帧以上的现场视频帧中均出现大火灾信息，则所述火灾信息为三级火灾预警，产生三级报警信号。

6.根据权利要求3所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，所述对火灾信息进行火灾等级划分，并根据所述划分的火灾等级产生对应的报警信号包括：若判断所述火灾信息为小火灾信息，则获取连续15帧以上30帧以下的现场视频帧，当连续15帧以上30帧以下的现场视频帧中均出现小火灾信息，则所述火灾信息为0级火灾预警，产生0级报警信号。

7.根据权利要求1-6任一所述的适用于嵌入式平台的多因子火焰识别方法，其特征在于，所述提取所述视频帧中的运动目标，获得准火灾区域包括：

采用混合高斯模型建模方法对获取的现场视频帧进行背景建模；

更新混合高斯模型中参数，获得背景图像；

将现场视频帧与获得的背景图像相减，提取到现场视频帧中的运动目标，以获得准火灾区域。

Images