CN109543631A - 一种基于机器学习的火灾图像探测报警方法 - Google Patents
一种基于机器学习的火灾图像探测报警方法 Download PDFInfo
- Publication number
- CN109543631A CN109543631A CN201811433940.4A CN201811433940A CN109543631A CN 109543631 A CN109543631 A CN 109543631A CN 201811433940 A CN201811433940 A CN 201811433940A CN 109543631 A CN109543631 A CN 109543631A
- Authority
- CN
- China
- Prior art keywords
- fire
- picture
- stage
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010801 machine learning Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000002485 combustion reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 239000000779 smoke Substances 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 241000270322 Lepidosauria Species 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 235000019504 cigarettes Nutrition 0.000 claims description 2
- 239000003595 mist Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种基于机器学习的火灾图像探测报警方法，属于火灾探测报警技术领域。具体包括以下四个阶段：阶段一：火灾图像探测模型训练阶段；阶段二：火灾图像探测模型分发阶段；阶段三：火灾监测报警阶段；阶段四：继续训练阶段。本方法具有“成长”特性，视频监控服务器上收集的火灾图像数据能够定期上传至火灾图像机器学习云平台，云平台定期进行火灾探测模型的学习更新，更新后将模型分发至视频监控服务器进行更新，依据数据集的增长不断对模型进行调整，保持模型能够具备“成长”特性，不断提升模型对火灾图像的识别准确度。
Description
技术领域
本发明涉及基于图像的早期火灾探测报警领域，特别是涉及一种基于机器学习的早期火灾图像探测报警方法。
背景技术
图像火灾探测与报警技术作为数字图像处理技术的一个重要分支，当前已成为火灾预防及扑救的一个重要的研究方向。市场上有较为成熟的图像火灾探测器、探测系统，其中用到的图像火灾探测方法主要包含：基于红外/紫外火灾图像探测方法、基于可见光火灾图像探测方法和基于可见光烟雾图像探测方法三类。这三种探测方法的基础原理都是利用数字图像处理技术对图像中的图片帧进行滤波变换、颜色检测、噪声消除、时间序列对比、图像增强等，从而有效识别图片中重点关注的火焰或者烟雾特征，实现火灾的早期预警与探测。基于红外/紫外火灾图像探测方法的代表是嵌入式图像型火灾探测系统，由1个或者多个红外/紫外摄像机、微处理器、显示装置和报警控制器四部分构成，国家标准GB 15631-2008《特种火灾探测器》中4.1.1条中规定探测器上需具备报警确认灯，因此需要对普通的摄像机进行修改才能满足标准要求。而基于可见光火灾、烟雾图像探测方法的代表是分布式图像型火灾报警系统，该系统利用已有的视频监控系统，在服务器上安装图像识别软件，实现对火灾、烟雾对象的识别报警，系统投入成本较低。
以上两大类图像火灾探测报警系统在银行、仓储、化工厂区等消防重点单位已有较为成熟的应用，在火灾预防与探测方面起到了重要的作用，避免了重大火灾事故的发生。但是从图像信息处理技术及图像探测应用方面来说，还存在以下不足：
1、基于红外/紫外火灾图像探测方法，需要对图像采集设备进行改进，否则将不能满足我国《特种火灾探测器》和《火灾自动报警系统设计规范》标准的要求，因此安装使用成本高；
2、火灾图像探测方法的关键点在于所采用的图像处理方法是否科学、精准和可靠，但是传统火灾图像特征提取所采用的诸如：滤波变换、颜色检测、噪声消除、时间序列对比、图像增强等方法，所建立的特征提取模型都是基于实验室环境。每一种方法模型都有适用的场景，尚未达到有一种能够满足所有的监测场景，需要综合考虑实际应用现场的灯光、风、背景因素等等众多干扰因素，在实际安装使用时需要根据现场实际环境对方法模型进行选择并进行参数调整，否则探测精度难以达到标准要求。而方法模型的选择特别是参数的微调都需要较高的专业技术基础，普通技术工人在项目实施时难以胜任；
3、社会单位视频监控系统的建设主要目标是通过视频手段监控重点部位、重要设备和进出人员，预防单位内部重点部位遭受外来破坏，预防单位重要设备失窃，预防单位外部人员非法进入本单位。系统一般由各个点位监控摄像机、硬盘录像机和视频管理服务器主机(可称为视频管理服务器，带显示功能)，视频管理服务器需要具备主要功能是对点位摄像机进行动态增加、删除、调取图像操作，因此社会单位配置的视频管理服务器主机的性能都不会太好，CPU、内存等关键器件都是以满足系统需求为主。传统火灾图像特征提取算法需要对连续帧图像进行实时处理，提取出图像中物体的运动轨迹，所需要的运算资源较大，如果点位摄像机过多所需要的CPU、内存资源将会更大，而以目前社会单位视频管理服务器主机的性能来看，难以满足火灾图像特征提取算法的运算资源需求，因此实施难度较大。
也是由于以上3点因素制约了火灾图像探测技术的实际应用，导致当前基于火灾图像探测报警产品在火灾探测报警市场上的份额较少，推广应用的难度较大。
而机器学习技术的出现，特别是机器学习在图像分类、图像识别方面的成熟与进步，为火灾图像的探测与报警指出了新的思路与方法。机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。虽然以目前的理论知识体系还无法得知机器学习是如何实现图像分类和图像识别的具体机理，但机器学习在图像分类、图像识别领域所取得成绩是业内有目共睹的，因此结合社会单位已有的视频监控系统，将机器学习应用于火灾图像探测报警，是当前火灾图像探测报警的一个新兴技术研究方向。
发明内容
为了解决上述存在的技术问题，本发明提供一种基于机器学习的火灾图像探测报警方法，通过与传统视频监控系统融合，将火灾图像探测模型搭载在视频监控服务器上，利用视频监控系统中的普通可见光摄像机进行现场图像采集，传输到视频监控服务器进行火灾特征的运算，从而判断火灾实施报警。
本发明的目的是通过下述技术方案实现的：一种基于机器学习的火灾图像探测报警方法，其特征在于，包括以下四个阶段：阶段一：火灾图像探测模型训练阶段；阶段二：火灾图像探测模型分发阶段；阶段三：火灾监测报警阶段；阶段四：继续训练阶段；
所述的阶段一火灾图像探测模型训练阶段：先进行进行原始火灾数据的收集，所述的原始火灾数据包括各种物质火焰和烟雾的图片；然后将收集到的原始火灾数据加载到火灾图像机器学习云平台上，进行火灾图像探测模型的训练，训练输入分类分为3类：火焰、烟雾和其他，其中火灾、烟雾定义为火灾；
所述的阶段二火灾图像探测模型分发阶段：火灾图像机器学习云平台通过Internet互联网将已经训练好的火灾图像探测模型，传输到位于监控单位的视频监控服务器；
所述的阶段三火灾监测报警阶段：视频监控服务器接收来自于监控单位各个点位的摄像机图像，定时抽取其中1帧图片，加载到火灾图像探测模型上预测输出，根据输出结果判断是否是火灾，如果判定结果是火灾则将信息传输到报警控制器并报警；
阶段四：继续训练阶段：视频监控服务器定期将存储的误报类火灾图片上传到火灾图像机器学习云平台，火灾图像机器学习云平台收到来自多个视频监控服务器上报的数据后，对火灾图像探测模型进行继续训练，然后重复第二、三、四阶段。
所述的火灾图像探测模型，其火灾图像预测的过程如下：
(1)火灾图像预测：
(1.1)，提取视频监控系统中各个点位摄像机采集的图片；
(1.2)，依据最优模型输入尺寸(m，m)对(1.1)的图片信息进行数据预处理；
(1.3)，将预处理后的多个图片输入最优模型，进行图片分类预测；
(1.4)，如果预测后结果集中有1或者2输出，则认为发生火灾，进行报警处理；如果结果集中只有3输出，则认为未发生火灾；
所述的数据预处理过程如下：假定视频监控系统输出图片尺寸为(m，n)，模型输入尺寸为(d，d)，且(m，n)≥d；
(1.2.1)，需要将输入图片转换为方形图，如果m＝n，不进行转换；如果m>n，在原始图片右侧增加m-n列像素，像素值为RGB(255，255，255)，将原始图片转换成(m,m)方形图；如果m<n，在原始图片下方增加n-m列像素，像素值为RGB(255，255，255)，将原始图片转换成(n,n)方形图，经过转化后图片用(h，h)代表；
(1.2.2)，如果h％d＝0，表示输入图片可以切割成整数个(d，d)图片，则不对输入图片(h，h)进行处理；否则在(h,h)图片右、下方，增加d–h％d,行像素和d–h％d,列像素，像素值为RGB(255，255，255)，输入图片尺寸变换为(h+d-h％d，h+d-h％d)，转换后输入图片用(x，x)表示；
(1.2.3)，按照模型输入图片尺寸(d，d)对输入图片(x，x)进行切割，切割后图片数为：(x/d)2。
所述的火灾图像探测模型，其火灾图像探测模型的数据训练的过程如下：
(1)，收集原始火焰、烟雾数据集；
(2)，依据AlexNet、ZFNet、VGG Net、GoogleNet、Inception模型对输入数据的尺寸要求，进行数据预处理；将80％数据作为训练数据，20％做为测试数据；
(3)，修改各个模型输出，即Softmax，使各个模型输出都是3分类，1代表火焰，2代表烟雾，3代表其他；
(4)，将预处理后的数据分别投喂给各个模型进行模型训练，训练结束后保存各个模型；
(5)，将测试数据投喂给各个模型，输出模型测试的准确率，对比准确率选择针对本数据集最优的模型。
所述的原始火灾数据一方面源自火灾燃烧实验室，通过模拟各种物质燃烧初期阶段，提取燃烧的火焰和烟雾的图片；另一方面源自爬虫工具从互联网上进行火焰数据的爬取，爬取后通过人工对图片数据进行甄别分类。
在火灾监测报警阶段，报警处理人员实时核查火警，如果是真实火警则进行后续处理，如为误报则保存火灾图片，并将图片标签为其他；若判定结果为其他，但实际已发生火灾，报警处理人员需手动存储当时火灾图片，依据图片内容将其标记为火焰、烟雾。
本发明的有益效果：本发明基于机器学习的火灾图像探测报警方法，具有“成长”特性，视频监控服务器上收集的火灾图像数据能够定期上传至火灾图像机器学习云平台，云平台定期进行火灾探测模型的学习更新，更新后将模型分发至视频监控服务器进行更新，依据数据集的增长不断对模型进行调整，保持模型能够具备“成长”特性，不断提升模型对火灾图像的识别准确度。与传统基于火灾图像特征提取算法的火灾图像探测方法相比，本发明的具体实施不会增加社会单位经济负担，利用社会单位已有的视频监控系统软硬件设备，将视频监控系统作为信息采集设备和模型搭载平台，在不影响视频监控系统功能的前提下拓展了视频监控系统的功能应用。本发明中通过制定流程定期可对火灾图像分类模型进行重新训练，从而使模型具备“成长”特性，随着监控点位的增加和时间的积累火灾图像分类模型的识别精度也会越来越高。
附图说明
图1是本发明的系统架构图。
图2是本发明的流程图。
图3是本发明中火灾图像模型的数据预处理示意图。
图4是本发明中火灾图像模型的数据训练过程示意图。
图5是本发明中火灾图像模型的火灾图像预测过程示意图。
具体实施方式
本发明一种基于机器学习的火灾图像探测报警方法，其系统架构原理图如图1所示。其系统架构由由监控单位视频监控系统、传输网络和火灾图像机器学习云平台三部分构成。
监控单位视频监控系统安装部署在需要进行视频监控的具体某社会单位，由多个部署在监控点位上的摄像机、安装在社会单位消防控制室的硬盘录像机、具备显示功能的视频监控服务器和报警控制器构成。其中摄像机为普通光学摄像机，用于监控点位图像采集；硬盘录像机用于本地监控点位图像存储；视频监控服务器具备显示功能，除具有监控点位摄像机配置、图像实时预览、图片抓取存储功能等视频监控系统基础功能，还搭载火灾图像探测模型，定时监测存储的监控图片，提取图片中的火焰、烟雾模型特征，判别是否发生火灾事故，并将监测到的火灾发送到报警控制器。视频监控服务器还具备定期将其收集的火灾误报图片上传火灾图像机器学习云平台功能，同时也能够接收火灾图像机器学习云平台发送的重新训练后的火灾图像探测模型，进行模型更新。报警控制器用于接收视频监控服务器发送的火灾报警信息，进行声光警示值班人员某一监控点位发送火灾。Internet互联网用于连接视频监控服务器和火灾图像机器学习云平台之间的信息传输。
火灾图像机器学习云平台与多个视频监控服务器连接，功能是接收来自多个视频监控服务器上传的误报图片，训练火灾图像探测模型，并将训练后的火灾图像探测模型传输到视频监控服务器进行模型更新。
本发明一种基于机器学习的火灾图像探测报警方法，其流程图如图2所示，具体步骤如下：
阶段一：火灾图像探测模型训练阶段
在第一阶段，首先进行原始火灾数据的收集，数据有2个，第一，利用火灾燃烧实验室，模拟各种物质燃烧初期阶段，提取燃烧的火焰和烟雾的图片；第二，利用爬虫工具从互联网上进行火焰数据的爬取，爬取后需要人工对图片数据进行甄别分类。然后，将收集到的数据加载到火灾图像机器学习云平台上，进行火灾图像探测模型的训练，训练输入分类分为3类：火焰、烟雾和其他，其中火灾、烟雾定义为火灾。
阶段二：火灾图像探测模型分发阶段
在第二阶段，火灾图像机器学习云平台通过Internet互联网将已经训练好的火灾图像探测模型，传输到位于监控单位的视频监控服务器。
阶段三：火灾监测报警阶段
在第三阶段，视频监控服务器接收来自于监控单位各个点位的摄像机图像，定时抽取其中1帧图片，加载到火灾图像探测模型上预测输出，根据输出结果判断是否是火灾。如果判定结果是火灾则将信息传输到报警控制器，报警处理人员实时核查火警，如果是真实火警则进行后续处理，如为误报则保存火灾图片，并将图片标签为其他。如果判定结果是其他，但实际已发生火灾，报警处理人员需手动存储当时火灾图片，依据图片内容将其标记为火焰、烟雾。
阶段四：继续训练阶段
在第四阶段，视频监控服务器定期将存储的误报类火灾图片上传到火灾图像机器学习云平台，火灾图像机器学习云平台收到来自多个视频监控服务器上报的数据后，对火灾图像探测模型进行继续训练，然后重复第二、三、四阶段。
该火灾图像探测报警方法基于的火灾图像探测模型，总体设计思路及技术背景如下：
深度学习模型近年来在图像分类领域的能力得到了指数级的提升，一方面得益于机器处理能力的大幅提升(GPU)，另一方面也得益于海量的数据和先进的算法技术。机器学习领域图像分类和图像识别的模型较多，如：AlexNet、ZFNet、VGG Net、GoogleNet、Inception等，这些模型在国际图像分类竞赛上取得了优异的成绩，那么有没有一个模型能够应对所有的图片数据集合进行图片分类和识别呢？答案是否定的。导致这个否定答案主要原因在于机器学习属于一个“黑盒”处理过程，现有的知识体系、算法理论无法知道机器是如何进行数据训练的，也无法得知模型是如何工作的，用于衡量模型是否有效的一个关键指标是拟合度，只有拟合度合适，才能证明模型是针对当前数据集是合适且有效的。一个经过训练的模型如果应用于其他数据集必须进行重新训练，重新考量模型的拟合度是否符合当前数据集的识别精度要求，如果模型拟合度合适，那么证明模型是有效的，否则模型就是无效的。
那么如何在现有的、表现优异的图像分类模型中选取一个合适的模型，作为火灾图像探测报警系统的图像分类模型，并进行持续性训练，提升模型的分类精度是系统要解决的一个关键性问题。
鉴于此，本发明中火灾图像模型的数据训练的过程如下：
1)数据预处理：为了提升模型的训练时间，目前现有的模型输入尺寸都较小，例如：VGGNet输入为224×224，Inception输入为299×299。而当前视频监控系统的输出图片尺寸都较大，GB50395-2007《视频安防监控系统工程设计规范》要求每路图像的单幅图像的像素均不低于352×288，而近些年随着技术的进步视频监控系统每路图像的单幅图像的像素都远大于标准要求。为了保证图片中的要素在处理过程不会丢失，影响火灾的判断，我们需要对初始图片进行切割预处理。
本发明中火灾图像模型的数据预处理过程如图3所示：
假定视频监控系统输出图片尺寸为(m，n)，模型输入尺寸为(d，d)，且(m，n)≥d；
第一步，需要将输入图片转换为方形图，如果m＝n，不进行转换；如果m>n，在原始图片右侧增加m-n列像素，像素值为RGB(255，255，255)，将原始图片转换成(m,m)方形图；如果m<n，在原始图片下方增加n-m列像素，像素值为RGB(255，255，255)，将原始图片转换成(n,n)方形图。经过转化后图片用(h，h)代表；
第二步，如果h％d＝0，表示输入图片可以切割成整数个(d，d)图片，则不对输入图片(h，h)进行处理；否则在(h,h)图片右、下方，增加d–h％d,行像素和d–h％d,列像素，像素值为RGB(255，255，255)，输入图片尺寸变换为(h+d-h％d，h+d-h％d)，转换后输入图片用(x，x)表示；
第三步，按照模型输入图片尺寸(d，d)对输入图片(x，x)进行切割，切割后图片数为：(x/d)2。
数据预处理有3个方面的作用：
第一，原始训练数据主要来自于互联网和实验室试验数据，火焰、烟雾图片的尺寸不统一，可以应用该方法对数据进行预处理，根据模型的图片输入尺寸要求，统一成一致的输入；
第二，在火灾图像探测报警过程中，各个点位摄像机拍摄的图片也需要进行预处理，满足模型输入的需求；
第三，这种图片预处理方式，不会对原始图片内容造成损失，100％保留原始图像内容。
本发明火灾图像模型的数据训练过程如图4所示，通过数据验证精度，选取最优图片分类模型。具体过程如下：
第一步，收集原始火焰、烟雾数据集；
第二步，依据AlexNet、ZFNet、VGG Net、GoogleNet、Inception模型对输入数据的尺寸要求，进行数据预处理；将80％数据作为训练数据，20％做为测试数据；
第三步，修改各个模型输出，即Softmax，使各个模型输出都是3分类，1代表火焰，2代表烟雾，3代表其他；
第四步，将预处理后的数据分别投喂给各个模型进行模型训练，训练结束后保存各个模型；
第五步，将测试数据投喂给各个模型，输出模型测试的准确率，对比准确率选择针对本数据集最优的模型。
本发明中火灾图像模型的火灾图像预测过程如图5所示：
第一步，提取视频监控系统中各个点位摄像机采集的图片；
第二步，依据最优模型输入尺寸(m，m)对第一步中数据进行预处理；
第三步，将预处理后的多个图片输入最优模型，进行图片分类预测；
第四步，如果预测后结果集中有1或者2输出，则认为发生火灾，进行报警处理；如果结果集中只有3输出，则认为未发生火灾。
Claims (5)
1.一种基于机器学习的火灾图像探测报警方法，其特征在于，包括以下四个阶段：阶段一：火灾图像探测模型训练阶段；阶段二：火灾图像探测模型分发阶段；阶段三：火灾监测报警阶段；阶段四：继续训练阶段；
所述的阶段一火灾图像探测模型训练阶段：先进行进行原始火灾数据的收集，所述的原始火灾数据包括各种物质火焰和烟雾的图片；然后将收集到的原始火灾数据加载到火灾图像机器学习云平台上，进行火灾图像探测模型的训练，训练输入分类分为3类：火焰、烟雾和其他，其中火灾、烟雾定义为火灾；
所述的阶段二火灾图像探测模型分发阶段：火灾图像机器学习云平台通过Internet互联网将已经训练好的火灾图像探测模型，传输到位于监控单位的视频监控服务器；
所述的阶段三火灾监测报警阶段：视频监控服务器接收来自于监控单位各个点位的摄像机图像，定时抽取其中1帧图片，加载到火灾图像探测模型上预测输出，根据输出结果判断是否是火灾，如果判定结果是火灾则将信息传输到报警控制器并报警;
阶段四：继续训练阶段：视频监控服务器定期将存储的误报类火灾图片上传到火灾图像机器学习云平台，火灾图像机器学习云平台收到来自多个视频监控服务器上报的数据后，对火灾图像探测模型进行继续训练，然后重复第二、三、四阶段。
2.根据权利要求1所述的一种基于机器学习的火灾图像探测报警方法，其特征在于，所述的火灾图像探测模型，其火灾图像预测的过程如下：
（1）火灾图像预测：
（1.1），提取视频监控系统中各个点位摄像机采集的图片；
（1.2），依据最优模型输入尺寸（m，m）对（1.1）的图片信息进行数据预处理；
（1.3），将预处理后的多个图片输入最优模型，进行图片分类预测；
（1.4），如果预测后结果集中有1或者2输出，则认为发生火灾，进行报警处理；如果结果集中只有3输出，则认为未发生火灾；
所述的数据预处理过程如下：假定视频监控系统输出图片尺寸为）（m，n），模型输入尺寸为（d，d），且（m，n）≥d；
（1.2.1），需要将输入图片转换为方形图，如果m=n，不进行转换；如果m>n，在原始图片右侧增加m-n列像素，像素值为RGB（255，255，255），将原始图片转换成（m,m）方形图；如果m<n，在原始图片下方增加n-m列像素，像素值为RGB（255，255，255），将原始图片转换成（n,n）方形图，经过转化后图片用（h，h）代表；
（1.2.2），如果h%d= 0，表示输入图片可以切割成整数个（d，d）图片，则不对输入图片（h，h）进行处理；否则在（h,h）图片右、下方，增加d – h%d,行像素和d – h%d,列像素，像素值为RGB（255，255，255），输入图片尺寸变换为（h+d- h%d，h+d- h%d），转换后输入图片用（x，x）表示；
（1.2.3），按照模型输入图片尺寸（d，d）对输入图片（x，x）进行切割，切割后图片数为：。
3.根据权利要求1或2所述的一种基于机器学习的火灾图像探测报警方法，其特征在于，所述的火灾图像探测模型，其火灾图像探测模型的数据训练的过程如下：
（1），收集原始火焰、烟雾数据集；
（2），依据AlexNet、ZFNet、VGG Net、GoogleNet、Inception模型对输入数据的尺寸要求，进行数据预处理；将80%数据作为训练数据，20%做为测试数据；
（3），修改各个模型输出，即Softmax，使各个模型输出都是3分类，1代表火焰，2代表烟雾，3代表其他；
（4），将预处理后的数据分别投喂给各个模型进行模型训练，训练结束后保存各个模型；
（5），将测试数据投喂给各个模型，输出模型测试的准确率，对比准确率选择针对本数据集最优的模型。
4.根据权利要求1所述的一种基于机器学习的火灾图像探测报警方法，其特征在于，所述的原始火灾数据一方面源自火灾燃烧实验室，通过模拟各种物质燃烧初期阶段，提取燃烧的火焰和烟雾的图片；另一方面源自爬虫工具从互联网上进行火焰数据的爬取，爬取后通过人工对图片数据进行甄别分类。
5.根据权利要求1所述的一种基于机器学习的火灾图像探测报警方法，其特征在于，在火灾监测报警阶段，报警处理人员实时核查火警，如果是真实火警则进行后续处理，如为误报则保存火灾图片，并将图片标签为其他；若判定结果为其他，但实际已发生火灾，报警处理人员需手动存储当时火灾图片，依据图片内容将其标记为火焰、烟雾。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433940.4A CN109543631A (zh) | 2018-11-28 | 2018-11-28 | 一种基于机器学习的火灾图像探测报警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433940.4A CN109543631A (zh) | 2018-11-28 | 2018-11-28 | 一种基于机器学习的火灾图像探测报警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109543631A true CN109543631A (zh) | 2019-03-29 |
Family
ID=65850703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811433940.4A Pending CN109543631A (zh) | 2018-11-28 | 2018-11-28 | 一种基于机器学习的火灾图像探测报警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543631A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110075449A (zh) * | 2019-04-09 | 2019-08-02 | 上海海事大学 | 一种用于无人驾驶船舶的智能监控灭火方法 |
| CN110598655A (zh) * | 2019-09-18 | 2019-12-20 | 东莞德福得精密五金制品有限公司 | 人工智能云计算多光谱烟雾高温火花火灾监控方法 |
| CN111062350A (zh) * | 2019-12-23 | 2020-04-24 | 合肥众兴智讯科技有限公司 | 基于人工智能烟火识别算法 |
| CN111080027A (zh) * | 2019-12-26 | 2020-04-28 | 华中科技大学 | 一种动态逃生指引方法及系统 |
| CN111665177A (zh) * | 2020-06-11 | 2020-09-15 | 太原理工大学 | 一种基于物体识别、毒气和热源检测的实验室保护系统 |
| CN112493605A (zh) * | 2020-11-18 | 2021-03-16 | 西安理工大学 | 一种规划路径的智能消防头盔 |
| WO2021048667A1 (en) * | 2019-09-12 | 2021-03-18 | Carrier Corporation | A method and system to determine a false alarm based on an analysis of video/s |
| CN115471966A (zh) * | 2022-08-02 | 2022-12-13 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 基于振动光纤探测的自学习入侵报警方法、系统、介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217668A1 (en) * | 2015-01-27 | 2016-07-28 | Honeywell International Inc. | Alarm Routing In Integrated Security System Based On Security Guards Real-Time Location Information In The Premises For Faster Alarm Response |
| CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
| CN108256496A (zh) * | 2018-02-01 | 2018-07-06 | 江南大学 | 一种基于视频的堆场烟雾检测方法 |
| CN108389359A (zh) * | 2018-04-10 | 2018-08-10 | 中国矿业大学 | 一种基于深度学习的城市火灾报警方法 |
-
2018
- 2018-11-28 CN CN201811433940.4A patent/CN109543631A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217668A1 (en) * | 2015-01-27 | 2016-07-28 | Honeywell International Inc. | Alarm Routing In Integrated Security System Based On Security Guards Real-Time Location Information In The Premises For Faster Alarm Response |
| CN106097346A (zh) * | 2016-06-13 | 2016-11-09 | 中国科学技术大学 | 一种自学习的视频火灾探测方法 |
| CN108256496A (zh) * | 2018-02-01 | 2018-07-06 | 江南大学 | 一种基于视频的堆场烟雾检测方法 |
| CN108389359A (zh) * | 2018-04-10 | 2018-08-10 | 中国矿业大学 | 一种基于深度学习的城市火灾报警方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110075449A (zh) * | 2019-04-09 | 2019-08-02 | 上海海事大学 | 一种用于无人驾驶船舶的智能监控灭火方法 |
| WO2021048667A1 (en) * | 2019-09-12 | 2021-03-18 | Carrier Corporation | A method and system to determine a false alarm based on an analysis of video/s |
| US11830348B2 (en) | 2019-09-12 | 2023-11-28 | Carrier Corporation | Method and system to determine a false alarm based on an analysis of video/s |
| CN110598655A (zh) * | 2019-09-18 | 2019-12-20 | 东莞德福得精密五金制品有限公司 | 人工智能云计算多光谱烟雾高温火花火灾监控方法 |
| CN110598655B (zh) * | 2019-09-18 | 2023-12-19 | 东莞德福得精密五金制品有限公司 | 人工智能云计算多光谱烟雾高温火花火灾监控方法 |
| CN111062350A (zh) * | 2019-12-23 | 2020-04-24 | 合肥众兴智讯科技有限公司 | 基于人工智能烟火识别算法 |
| CN111062350B (zh) * | 2019-12-23 | 2023-08-18 | 合肥众兴智讯科技有限公司 | 基于人工智能烟火识别算法 |
| CN111080027A (zh) * | 2019-12-26 | 2020-04-28 | 华中科技大学 | 一种动态逃生指引方法及系统 |
| CN111665177A (zh) * | 2020-06-11 | 2020-09-15 | 太原理工大学 | 一种基于物体识别、毒气和热源检测的实验室保护系统 |
| CN112493605A (zh) * | 2020-11-18 | 2021-03-16 | 西安理工大学 | 一种规划路径的智能消防头盔 |
| CN115471966A (zh) * | 2022-08-02 | 2022-12-13 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 基于振动光纤探测的自学习入侵报警方法、系统、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543631A (zh) | 一种基于机器学习的火灾图像探测报警方法 | |
| CN109858365B (zh) | 一种特殊人群聚集行为分析方法、装置及电子设备 | |
| CN108174165A (zh) | 电力安全作业及运维智能监管系统及方法 | |
| CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| CN110428522A (zh) | 一种智慧新城的智能安防系统 | |
| CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
| CN106097346A (zh) | 一种自学习的视频火灾探测方法 | |
| CN107194396A (zh) | 国土资源视频监控系统中基于特定违章建筑识别预警方法 | |
| CN111899452A (zh) | 基于边缘计算的森林防火预警系统 | |
| CN108009479A (zh) | 分布式机器学习系统及其方法 | |
| CN112434828B (zh) | 一种5t运维中安全防护智能识别方法 | |
| KR20200052418A (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
| CN108256447A (zh) | 一种基于深度神经网络的无人机航拍视频分析方法 | |
| CN109377713A (zh) | 一种火灾预警方法及系统 | |
| CN109145796A (zh) | 一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法 | |
| CN116246424B (zh) | 一种老年人行为安全监控系统 | |
| CN110853287A (zh) | 一种基于物联网分布式架构的火焰实时监控系统及方法 | |
| CN113096337A (zh) | 用于复杂背景的移动目标识别处理方法及智能安防系统 | |
| CN109766743A (zh) | 一种智能仿生警察系统 | |
| Qiao et al. | FireFormer: an efficient Transformer to identify forest fire from surveillance cameras | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN111553264A (zh) | 一种适用于中小学生的校园非安全行为检测及预警方法 | |
| CN201796450U (zh) | 一种具有越界识别功能的智能监控系统 | |
| Praneash et al. | Forest fire detection using computer vision | |
| KR102521725B1 (ko) | 인공지능 기반의 화재 감지 시스템, 화재 감지 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 110031 No. 218-20 Wenda Road, Huanggu District, Shenyang City, Liaoning Province Applicant after: SHENYANG FIRE Research Institute OF MEM Address before: 110031 No. 218-20 Wenda Road, Huanggu District, Shenyang City, Liaoning Province Applicant before: Shenyang Fire Research Institute of the Ministry of Public Security |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190329 |