CN117197658A - 基于多情境生成图像的建筑火灾多目标检测方法与系统 - Google Patents
基于多情境生成图像的建筑火灾多目标检测方法与系统 Download PDFInfo
- Publication number
- CN117197658A CN117197658A CN202310994682.1A CN202310994682A CN117197658A CN 117197658 A CN117197658 A CN 117197658A CN 202310994682 A CN202310994682 A CN 202310994682A CN 117197658 A CN117197658 A CN 117197658A
- Authority
- CN
- China
- Prior art keywords
- fire
- target detection
- image
- model
- smoke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000000779 smoke Substances 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000007480 spreading Effects 0.000 claims description 7
- 238000003892 spreading Methods 0.000 claims description 7
- 244000290333 Vanilla fragrans Species 0.000 claims description 6
- 235000009499 Vanilla fragrans Nutrition 0.000 claims description 6
- 235000012036 Vanilla tahitensis Nutrition 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 206010000369 Accident Diseases 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种基于多情境生成图像的火灾多目标检测方法与系统，该方法包括：基于多情境智能生成批量的不同火灾场景下的火灾图像；利用生成火灾图像与真实火灾图像构建目标检测数据集；利用所述目标检测数据集对目标检测模型进行训练；利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。本发明提供的火灾多目标检测方法及系统，有效地解决了由于火灾事故的特殊性造成某些场景的火灾图像很难获得，进而导致火灾目标检测模型的泛化能力较差的问题，提高了火灾检测的目标多样性。
Description
技术领域
本发明属于计算机视觉技术领域，特别涉及一种基于多情境生成图像的建筑火灾多目标检测方法与系统。
背景技术
人们对火的使用贯穿了整个社会的发展，但是火在促进社会发展和提高生产力的同时也带来了事故和风险，谨慎以及不规范的用火以及天然的原因都有可能带来火灾，从而导致经济损失和人员伤亡，进而对人类的生命、财产造成巨大的威胁和伤害，火灾的不确定性和强破坏性成为日常生活中潜在的安全隐患。随着城镇化程度的不断提高，超高层建筑和高火险行业的快速发展，起火因素也逐渐增多，因此及时的检测火灾的发生至关重要。
目前，火灾检测方法主要分为两种。一种是利用不同种类的传感器对火灾特征进行检测，然而这很难检测到位于超大空间建筑中的火灾以及室外火灾，检测范围有限，因此不适合全种类火灾发生的检测；另一种方法是基于计算机视觉的目标检测算法，通过图像处理技术与监控视频相融合进行火灾检测，通过分析火灾图像中的静态和动态的火焰以及烟雾特征从而来实现火灾检测，在判断待测图像中是否存在火灾区域的同时还能具体的给出火灾的位置信息。
而目标检测算法要求模型使用大量的图像进行训练，因为检测性能高度依赖于图像的数量。与其他检测对象不同的是，由于火灾事故的特殊性和危险性，真实的火灾事故的图像资料很难留存下来，例如室内火灾等情境保留的图像就很少，与此同时进行实验等方式创建真实的火灾图像也被多种因素共同限制无法实施，所以火灾是一个没有足够数据集的例子，火灾数据集多样性以及数量的缺乏导致目标检测模型的检测性能较差，难以进行模型的训练和扩展。火灾是一个复杂的发展过程，目前的火灾检测研究大多数针对于火焰和烟雾检测精度的提升，并没有识别火灾参数等能揭示火灾严重程度的目标。因此需要一种能够生成批量多情境的火灾图像的方法，解决火灾数据集多样性以及数量缺乏的问题，同时提出一种火灾多目标检测的方法，从而来提高火灾检测能力。
发明内容
本发明提供了一种基于多情境生成图像的建筑火灾多目标检测方法与系统，以解决现有技术由于火灾数据集的缺乏导致火灾目标检测模型的检测性能较差，难以进行火灾目标检测模型的训练和扩展的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种基于多情境生成图像的建筑火灾多目标检测方法，所述基于多情境生成图像的建筑火灾多目标检测方法包括：
基于多情境智能生成多个不同火灾场景下的火灾图像；
利用生成的火灾图像与真实火灾图像构建目标检测数据集；
利用所述目标检测数据集对目标检测模型进行训练；
利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
进一步地，所述基于多情境智能生成多个不同火灾场景下的火灾图像，包括：
确定用于表示火灾情景的火灾图像中的火灾要素；其中，所述火灾要素包括：火灾背景及周围环境的类型，以及火焰和烟雾的大小与蔓延程度；
将不同的火灾要素进行随机组合，得到多个不同的火灾情景；其中，每一火灾情景均由一组火灾要素组成，不同火灾情景间，至少有一个火灾要素不同；
针对每一火灾情景分别形成一段用于表示火灾发生情况的描述性文本，并从所述描述性文本中提取出关键词，以得到每一火灾情景对应的关键词；
将所有火灾情景对应的关键词组成一个关键词群组；
在所述关键词群组中，以火灾背景及周围环境的类型作为第一变量，以火焰和烟雾的大小与蔓延程度作为第二变量，利用属于所述第一变量的关键词组成第一变量集合，利用属于所述第二变量的关键词组成第二变量集合；
在所述第一变量集合和所述第二变量集合中分别任取一个元素，将取得的元素一起输入Midjounery中，利用Midjounery生成相应火灾情景下的火灾图像。
进一步地，利用所述目标检测数据集对目标检测模型进行训练，包括：
对所述目标检测数据集中的图像进行标注，标注出图像中的火焰和烟雾；
利用标注后的目标检测数据集对目标检测模型进行训练。
进一步地，所述目标检测模型的构建过程包括：
对YOLOv8模型进行改进，并将改进后的YOLOv8模型作为目标检测模型；其中，对YOLOv8模型进行改进包括：将YOLOv8模型的主干网络替换成VanillaNet轻量级网络结构；以渐近特征金字塔网络AFPN替换YOLOv8模型原有的PANet模块；将YOLOv8模型的损失函数改为VariFocal Loss损失函数。
进一步地，所述利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测，包括：
利用训练好的目标检测模型对待检测图像进行处理，识别出其中的火焰和烟雾；同时利用OpenCV，根据预设参照物的尺寸对图像中的烟气层高度进行识别，实现同时识别烟雾、火焰以及烟气层高度三个目标。
另一方面，本发明还提供了一种基于多情境生成图像的建筑火灾多目标检测系统，所述基于多情境生成图像的建筑火灾多目标检测系统包括：
图像生成模块，用于基于多情境智能生成多个不同火灾场景下的火灾图像；
模型训练模块，用于：
利用生成的火灾图像与真实火灾图像构建目标检测数据集；
利用所述目标检测数据集对目标检测模型进行训练；
火灾多目标检测模块，用于利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
进一步地，所述图像生成模块具体用于：
确定用于表示火灾情景的火灾图像中的火灾要素；其中，所述火灾要素包括：火灾背景及周围环境的类型，以及火焰和烟雾的大小与蔓延程度；
将不同的火灾要素进行随机组合，得到多个不同的火灾情景；其中，每一火灾情景均由一组火灾要素组成，不同火灾情景间，至少有一个火灾要素不同；
针对每一火灾情景分别形成一段用于表示火灾发生情况的描述性文本，并从所述描述性文本中提取出关键词，以得到每一火灾情景对应的关键词；
将所有火灾情景对应的关键词组成一个关键词群组；
在所述关键词群组中，以火灾背景及周围环境的类型作为第一变量，以火焰和烟雾的大小与蔓延程度作为第二变量，利用属于所述第一变量的关键词组成第一变量集合，利用属于所述第二变量的关键词组成第二变量集合；
在所述第一变量集合和所述第二变量集合中分别任取一个元素，将取得的元素一起输入Midjounery中，利用Midjounery生成相应火灾情景下的火灾图像。
进一步地，所述模型训练模块具体用于：
对所述目标检测数据集中的图像进行标注，标注出图像中的火焰和烟雾；
利用标注后的目标检测数据集对目标检测模型进行训练。
进一步地，所述目标检测模型的构建过程包括：
对YOLOv8模型进行改进，并将改进后的YOLOv8模型作为目标检测模型；其中，对YOLOv8模型进行改进包括：将YOLOv8模型的主干网络替换成VanillaNet轻量级网络结构；以渐近特征金字塔网络AFPN替换YOLOv8模型原有的PANet模块；将YOLOv8模型的损失函数改为VariFocal Loss损失函数。
进一步地，所述火灾多目标检测模块具体用于：
利用训练好的目标检测模型对待检测图像进行处理，识别出其中的火焰和烟雾；同时利用OpenCV，根据预设参照物的尺寸对图像中的烟气层高度进行识别，实现同时识别烟雾、火焰以及烟气层高度三个目标。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、与现有的文本生成图像的方法相比，本发明基于多情境智能生成批量的火灾图像，能够根据所需的场景来生成图像，从而来扩充由于火灾危险性无法获得的室内以及其他特殊情境的火灾图像，得到场景多样，涵盖内容广的大规模数据集，有利于深度学习模型的训练。
2、本发明基于自建的多情境火灾数据集，在识别建筑火灾的火焰、烟雾的同时还能识别出烟气层高度，为人员紧急疏散的时间和火灾严重程度作参考指标；同时本发明可以直接对建筑外部和建筑内部的监控视频进行检测和识别，并可以在视频中显示识别结果，供消防人员救火和疏散人员提供指导性的建议。
3、本发明基于计算机视觉识别火灾的烟气层高度，解决了获得烟气层高度都要进行判定和计算，通过温度、CO体积分数、二氧化碳体积分数中的一种作为分层表征参数来进行计算，但是由传感器易被火灾毁坏而计算结果不准确的问题，直接通过视频图像直接进行检测获得烟气层高度，极大的提高了检测速度和准确度。
4、本发明为计算机视觉目标检测的数据集开发与应用提供了新的思路。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多情境生成图像的建筑火灾多目标检测方法的执行流程示意图；
图2是本发明实施例提供的基于Midjounery生成图像的流程图；
图3是本发明实施例提供的基于目标检测算法的火灾检测流程图；
图4是本发明实施例提供的基于多情境生成图像的建筑火灾多目标检测系统的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种基于多情境生成图像的建筑火灾多目标检测方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。
具体地，该方法的执行流程如图1所示，包括以下步骤：
S1，基于多情境智能生成批量的不同火灾场景下的火灾图像；
具体地，在本实施例中，上述S1的实现过程包括：
S11，确定用于表示火灾情景的火灾图像中的火灾要素；其中，所述火灾要素包括：火灾背景及周围环境的类型，以及火焰和烟雾的大小与蔓延程度；
S12，将不同的火灾要素进行随机组合，得到多个不同的火灾情景；其中，每一火灾情景均由一组火灾要素组成，不同情景间，至少有一个火灾要素不同；
S13，针对每一火灾情景分别形成一段用于表示火灾发生情况的描述性文本，并从所述描述性文本中提取出关键词，以得到每一火灾情景对应的关键词；
S14，将所有火灾情景对应的关键词组成一个关键词群组；
具体地，如图2所示，本实施例根据需要生成的图像的类型，确定好研究对象主体为火焰和烟雾，图像的背景和周围环境根据需要选择了火灾高发场景地：商业场所、群租房、宾馆酒店、高层建筑、养老院、施工场地等，根据研究对象烟雾和火焰的大小以及蔓延程度的不同以及背景和周围环境的不同，形成多段不同的关于火灾特征的描述性文本，在每一段描述性文本中都凝练出此文本简短精炼的关键词，并转述为英文关键词，形成一个关键词组，以此类推，将多段描述性文本都形成各自的一个关键词组，最后组成一个关键词组集。
在关键词组集中，将选定的研究背景作为变量一，将研究主体火焰和烟雾的大小和蔓延程度作为变量二，变量一和变量二随意组合可以形成不同的设定，然后针对不同的设定再形成一系列不同的描述性文本，针对每一段描述性文本，均从中凝练出一组简短精炼的关键词，再将提炼出的关键词翻译为英文，最后将所有设定情况下凝练出的关键词形成一个关键词组集。
S15，在所述关键词群组中，以火灾背景及周围环境的类型作为变量一，以火焰和烟雾的大小与蔓延程度作为变量二，利用属于所述变量一的关键词组成第一变量集合，利用属于所述变量二的关键词组成第二变量集合；
S16，在第一变量集合和第二变量集合中分别任取一个元素，将取得的元素一起输入生成式AI软件Midjounery中，利用Midjounery生成相应火灾情景下的大规模火灾图像，从而得到目前留存较少的多情境下批量的火灾图像。
具体地，利用Midjounery生成相应火灾情景下的火灾图像的方式为：首先进入Midjounery公共社区添加个人服务器，邀请Midjounery Bot进入个人服务器后就可以进行文本生成图像。在Midjounery中打开与Midjounery Bot的对话，点击底部对话框中输入指令“/imagine”点击回车确认，进入“Prompt”的文本框内，将第一变量集合和第二变量集合中的变量任选其一进行随机组合输入指令中，变量之间用逗号进行分隔。其次在关键词的后面输入后缀实现批量生成图像。输入“--repeat n”来表示一次生成n组2*2张照片，Midjounery默认收到以此命令后生成2*2＝4张图像，输入“--repeat n”后可以共生成2*2*n张图像，n可以取自然数，按照设备GPU的性能选择合适的参数，之后再添加后缀“--v 5”，表示选择生成Midjounery第五版的图像。输入提示词后点击回车后Midjounery会询问是否生成n组图像，选择“是”后等待出图。在生成的图像选择对应的V1/V2/V3/V4(变化)可以在选择的图像再次进行变化，以此生成更多适配要求的图像，以此实现两个变量集合中各取其一随机组合生成的批量火灾图像，重复操作，将两个变量集合中的其他变量也都按照随机组合的方式输入Midjounery中，从而可以实现生成多场景多样化的批量火灾图像。
S2，利用生成的火灾图像与真实火灾图像构建目标检测数据集；
S3，利用所述目标检测数据集对目标检测模型进行训练；
具体地，在本实施例中，上述S2～S3的实现过程包括：
确定多情境下的火灾数据集，将基于多情境智能生成火灾图像与真实火灾图像按照不同的比例构建数据集。以10％真实图像+90％生成图像、20％真实图像+80％生成图像、30％真实图像+70％生成图像的比例构成目标检测数据集。按照上述生成情况构建不同建筑、室内室外等多种情境下的之前尚未公开的、完善、优质、场景丰富、数量庞大的火情数据集供科研和实际应用。数据集将确定火焰和烟雾两类检测目标，采用开源软件labelImg作为训练集样本标注工具对数据集进行标注，打开labelme界面并采用多个矩形框标注火焰和烟气，完成火灾自建数据集的标注，并保存为.json格式文件，然后转换为目标检测模型能够识别的.txt的格式，其中，需要说明的是，本实施例自建的数据集的目标数量远大于真实数据集，而且有着更加广阔的情景构成和尺寸覆盖，这能够从根本上丰富火灾数据集的数量，实现了场景多样化，构建了不同建筑、室内室外等多种情境下的之前尚未公开的、完善、优质、场景丰富、数量庞大的火情数据集供科研和实际应用，解决由于火灾数据集数量及场景太少导致的泛化能力太差的问题，拓展目标检测模型的应用范围。
将S2构建的数据集输入到目标检测模型中，首先，先修改data目录下的yaml文件，构建fire.yaml文件，表示是对火焰烟雾的识别，打开fire.yaml文件中修改数据集路径、种类的数量和种类的名称三个变量。另外在model目录下生成一份yolo_fire.yaml文件，并修改其中的种类的数量变量，最后再train.py文件中修改“--weights”、“--cfg”、“--data”三个参数的路径以及“--epochs”的轮数，修改完成后开始训练train.py文件。
进一步地，本实施例采用的目标检测模型为改进的YOLOv8目标检测模型。首先将YOLOv8模型原有的主干网络backbone替换成VanillaNet轻量级网络结构，实现浅层网络在没有复杂链接以及注意力机制的情况下，尽可能的提升精度，VanillaNet以极简注意的设计为理念，网络仅仅包含最简单的卷积计算，去掉了残差和注意力模块，由5个卷积层，5个池化层，一个全连接层和5个激活函数组成。其次，将渐近特征金字塔网络AFPN替换YOLOv8模型原有的PANet模块，利用AFPN渐进特征金字塔网络来支持非相邻层的直接交互，AFPN是通过融合两个相邻的金字塔底部Low-Level特征来启动的，并渐进的将金字塔顶部High-Level特征纳入融合过程，避免非相邻层次之间存在较大的语义差距。最后将YOLOv8模型原有的损失函数改为VariFocal Loss损失函数，从而减少小目标漏检问题，高效的提升模型检测的召回率，VariFocal Loss是一种优化目标函数的方法，相比传统的交叉熵损失函数，VariFocal Loss引入了一个可调参数，用于平衡难易样本的权重，从而提高识别样本的准确率以及降低小目标样本的漏检率。
S4，利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
具体地，如图3所示，本实施例的目标检测模型通过分析火灾图像中的静态和动态的火焰以及烟雾特征，在判断待测图像中是否存在火灾区域的同时还能对火焰和烟雾进行标记，给出火灾具体位置信息。在准确的识别火焰和烟雾存在的基础上，利用OpenCV来对图像中的烟气层高度进行识别，图像中的目标检测对象通过像素每公制比率来测量，为了确定目标对象的实际大小需要设置一个参考物体，本实施例中以火灾图像中的窗户或门的尺寸作为参考，使用像素每公制比率pixels-per-metric来计算，pixels-per-metric＝物体像素尺寸/物体真实尺寸，通过参考物的真实尺寸和参考物所占的像素尺寸，得到pixels-per-metric比率即图像中每米的近似像素是多少后，就可以计算图像中目标物体的真实尺寸，本实施例就可以得到火灾图像中烟气层高度，是判断火灾严重性和紧急疏散的重要参数，因此，可以同时识别烟雾、火灾以及烟气层告诉三个目标，实现一感多识。
综上，本实施例的方法基于多情境智能生成图像实现数据增强，生成文本图像丰富数据集，并用于火灾多目标智能检测，能够快速、大规模的生成多情景的火灾图像，扩充了火灾数据集的数量和多样性，从而可以利用生成的图像提升火灾检测模型的性能，解决了现存的数据集的数量过少，从而导致计算机视觉领域中图像处理如图像分类、目标检测以及目标分割训练效果不佳，泛化能力较差的问题，降低了计算机视觉模型的漏检率，为后续计算机视觉的数据集开发与应用提供了新的思路。同时基于自建的多情境火灾数据集，在识别建筑火灾的火焰、烟雾的同时还能识别出烟气层高度，为人员紧急疏散和火灾严重程度作为参考指标，实时的对建筑监控视频检测显示识别结果，也为消防人员救火和疏散提供指导性的建议，在城镇化飞速发展的现在，这对于火灾的防止和保护人民生命财产具有重要的意义。
第二实施例
本实施例提供了一种基于多情境生成图像的建筑火灾多目标检测系统，如图4所示，该基于多情境生成图像的建筑火灾多目标检测系统包括以下模块：
图像生成模块，用于利用多情境智能生成批量的不同火灾情景下的火灾图像；
模型训练模块，用于：
利用所述生成火灾图像与真实火灾图像构建目标检测数据集；
构建目标检测模型；
利用所述目标检测数据集对目标检测模型进行训练；
火灾多目标检测模块，用于利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
本实施例的基于多情境生成图像的建筑火灾多目标检测系统与上述第一实施例的基于多情境生成图像的建筑火灾多目标检测方法相对应；其中，本实施例的基于多情境生成图像的建筑火灾多目标检测系统中的各功能模块所实现的功能与上述第一实施例的基于多情境生成图像的建筑火灾多目标检测方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (10)
1.一种基于多情境生成图像的建筑火灾多目标检测方法，其特征在于，所述基于多情境生成图像的建筑火灾多目标检测方法包括：
基于多情境智能生成多个不同火灾场景下的火灾图像；
利用生成的火灾图像与真实火灾图像构建目标检测数据集；
利用所述目标检测数据集对目标检测模型进行训练；
利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
2.如权利要求1所述的基于多情境生成图像的建筑火灾多目标检测方法，其特征在于，所述基于多情境智能生成多个不同火灾场景下的火灾图像，包括：
确定用于表示火灾情景的火灾图像中的火灾要素；其中，所述火灾要素包括：火灾背景及周围环境的类型，以及火焰和烟雾的大小与蔓延程度；
将不同的火灾要素进行随机组合，得到多个不同的火灾情景；其中，每一火灾情景均由一组火灾要素组成，不同火灾情景间，至少有一个火灾要素不同；
针对每一火灾情景分别形成一段用于表示火灾发生情况的描述性文本，并从所述描述性文本中提取出关键词，以得到每一火灾情景对应的关键词；
将所有火灾情景对应的关键词组成一个关键词群组；
在所述关键词群组中，以火灾背景及周围环境的类型作为第一变量，以火焰和烟雾的大小与蔓延程度作为第二变量，利用属于所述第一变量的关键词组成第一变量集合，利用属于所述第二变量的关键词组成第二变量集合；
在所述第一变量集合和所述第二变量集合中分别任取一个元素，将取得的元素一起输入Midjounery中，利用Midjounery生成相应火灾情景下的火灾图像。
3.如权利要求1所述的基于多情境生成图像的建筑火灾多目标检测方法，其特征在于，利用所述目标检测数据集对目标检测模型进行训练，包括：
对所述目标检测数据集中的图像进行标注，标注出图像中的火焰和烟雾；
利用标注后的目标检测数据集对目标检测模型进行训练。
4.如权利要求1所述的基于多情境生成图像的建筑火灾多目标检测方法，其特征在于，所述目标检测模型的构建过程包括：
对YOLOv8模型进行改进，并将改进后的YOLOv8模型作为目标检测模型；其中，对YOLOv8模型进行改进包括：将YOLOv8模型的主干网络替换成VanillaNet轻量级网络结构；以渐近特征金字塔网络AFPN替换YOLOv8模型原有的PANet模块；将YOLOv8模型的损失函数改为VariFocal Loss损失函数。
5.如权利要求1所述的基于多情境生成图像的建筑火灾多目标检测方法，其特征在于，所述利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测，包括：
利用训练好的目标检测模型对待检测图像进行处理，识别出其中的火焰和烟雾；同时利用OpenCV，根据预设参照物的尺寸对图像中的烟气层高度进行识别，实现同时识别烟雾、火焰以及烟气层高度三个目标。
6.一种基于多情境生成图像的建筑火灾多目标检测系统，其特征在于，所述基于多情境生成图像的建筑火灾多目标检测系统包括：
图像生成模块，用于基于多情境智能生成多个不同火灾场景下的火灾图像；
模型训练模块，用于：
利用生成的火灾图像与真实火灾图像构建目标检测数据集；
利用所述目标检测数据集对目标检测模型进行训练；
火灾多目标检测模块，用于利用训练好的目标检测模型对待检测图像进行处理，实现火灾多目标检测。
7.如权利要求6所述的基于多情境生成图像的建筑火灾多目标检测系统，其特征在于，所述图像生成模块具体用于：
确定用于表示火灾情景的火灾图像中的火灾要素；其中，所述火灾要素包括：火灾背景及周围环境的类型，以及火焰和烟雾的大小与蔓延程度；
将不同的火灾要素进行随机组合，得到多个不同的火灾情景；其中，每一火灾情景均由一组火灾要素组成，不同火灾情景间，至少有一个火灾要素不同；
针对每一火灾情景分别形成一段用于表示火灾发生情况的描述性文本，并从所述描述性文本中提取出关键词，以得到每一火灾情景对应的关键词；
将所有火灾情景对应的关键词组成一个关键词群组；
在所述关键词群组中，以火灾背景及周围环境的类型作为第一变量，以火焰和烟雾的大小与蔓延程度作为第二变量，利用属于所述第一变量的关键词组成第一变量集合，利用属于所述第二变量的关键词组成第二变量集合；
在所述第一变量集合和所述第二变量集合中分别任取一个元素，将取得的元素一起输入Midjounery中，利用Midjounery生成相应火灾情景下的火灾图像。
8.如权利要求6所述的基于多情境生成图像的建筑火灾多目标检测系统，其特征在于，所述模型训练模块具体用于：
对所述目标检测数据集中的图像进行标注，标注出图像中的火焰和烟雾；
利用标注后的目标检测数据集对目标检测模型进行训练。
9.如权利要求6所述的基于多情境生成图像的建筑火灾多目标检测系统，其特征在于，所述目标检测模型的构建过程包括：
对YOLOv8模型进行改进，并将改进后的YOLOv8模型作为目标检测模型；其中，对YOLOv8模型进行改进包括：将YOLOv8模型的主干网络替换成VanillaNet轻量级网络结构；以渐近特征金字塔网络AFPN替换YOLOv8模型原有的PANet模块；将YOLOv8模型的损失函数改为VariFocal Loss损失函数。
10.如权利要求1所述的基于多情境生成图像的建筑火灾多目标检测系统，其特征在于，所述火灾多目标检测模块具体用于：
利用训练好的目标检测模型对待检测图像进行处理，识别出其中的火焰和烟雾；同时利用OpenCV，根据预设参照物的尺寸对图像中的烟气层高度进行识别，实现同时识别烟雾、火焰以及烟气层高度三个目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994682.1A CN117197658B (zh) | 2023-08-08 | 2023-08-08 | 基于多情境生成图像的建筑火灾多目标检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310994682.1A CN117197658B (zh) | 2023-08-08 | 2023-08-08 | 基于多情境生成图像的建筑火灾多目标检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197658A true CN117197658A (zh) | 2023-12-08 |
| CN117197658B CN117197658B (zh) | 2024-07-16 |
Family
ID=88987806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310994682.1A Active CN117197658B (zh) | 2023-08-08 | 2023-08-08 | 基于多情境生成图像的建筑火灾多目标检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197658B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876800A (zh) * | 2024-03-11 | 2024-04-12 | 成都千嘉科技股份有限公司 | 一种燃气热水器烟道安全隐患识别的方法 |
| CN118196700A (zh) * | 2024-02-29 | 2024-06-14 | 北京科技大学 | 一种室内烟雾遮挡下的疏散人员识别方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309407B1 (ko) * | 2012-11-20 | 2013-09-17 | 신현기 | 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법 |
| CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
| CN113674374A (zh) * | 2021-07-20 | 2021-11-19 | 广东技术师范大学 | 基于生成式对抗网络的中文文本生成图像方法及装置 |
| WO2022067668A1 (zh) * | 2020-09-30 | 2022-04-07 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
| CN114998783A (zh) * | 2022-05-19 | 2022-09-02 | 安徽合为智能科技有限公司 | 一种用于烟火及人员行为视频分析的前端设备 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN115761627A (zh) * | 2022-11-14 | 2023-03-07 | 无锡学院 | 一种火灾烟雾火焰图像识别方法 |
| CN116343077A (zh) * | 2023-01-03 | 2023-06-27 | 西安电子科技大学 | 一种基于注意力机制与多尺度特征的火灾检测预警方法 |
| CN116403161A (zh) * | 2023-04-10 | 2023-07-07 | 山东奥深智能工程有限公司 | 基于图像识别的智能火灾监控系统 |
-
2023
- 2023-08-08 CN CN202310994682.1A patent/CN117197658B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101309407B1 (ko) * | 2012-11-20 | 2013-09-17 | 신현기 | 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법 |
| WO2022067668A1 (zh) * | 2020-09-30 | 2022-04-07 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
| CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
| CN113674374A (zh) * | 2021-07-20 | 2021-11-19 | 广东技术师范大学 | 基于生成式对抗网络的中文文本生成图像方法及装置 |
| CN114998783A (zh) * | 2022-05-19 | 2022-09-02 | 安徽合为智能科技有限公司 | 一种用于烟火及人员行为视频分析的前端设备 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
| CN115761627A (zh) * | 2022-11-14 | 2023-03-07 | 无锡学院 | 一种火灾烟雾火焰图像识别方法 |
| CN116343077A (zh) * | 2023-01-03 | 2023-06-27 | 西安电子科技大学 | 一种基于注意力机制与多尺度特征的火灾检测预警方法 |
| CN116403161A (zh) * | 2023-04-10 | 2023-07-07 | 山东奥深智能工程有限公司 | 基于图像识别的智能火灾监控系统 |
Non-Patent Citations (3)
| Title |
|---|
| 任嘉锋;熊卫华;吴之昊;姜明;: "基于改进YOLOv3的火灾检测与识别", 计算机系统应用, no. 12, 15 December 2019 (2019-12-15) * |
| 张为;魏晶晶;: "嵌入DenseNet结构和空洞卷积模块的改进YOLO v3火灾检测算法", 天津大学学报(自然科学与工程技术版), no. 09, 29 June 2020 (2020-06-29) * |
| 颜洵;吴正平;雷帮军;: "基于深度学习的视频火焰烟雾检测方法", 信息通信, no. 09, 15 September 2020 (2020-09-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196700A (zh) * | 2024-02-29 | 2024-06-14 | 北京科技大学 | 一种室内烟雾遮挡下的疏散人员识别方法及装置 |
| CN117876800A (zh) * | 2024-03-11 | 2024-04-12 | 成都千嘉科技股份有限公司 | 一种燃气热水器烟道安全隐患识别的方法 |
| CN117876800B (zh) * | 2024-03-11 | 2024-05-17 | 成都千嘉科技股份有限公司 | 一种燃气热水器烟道安全隐患识别的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197658B (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117197658B (zh) | 基于多情境生成图像的建筑火灾多目标检测方法与系统 | |
| Su et al. | Smart performance-based design for building fire safety: Prediction of smoke motion via AI | |
| CN112862153B (zh) | 基于bim的火灾救援方法、设备、存储介质及装置 | |
| CN111274930B (zh) | 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法 | |
| CN108694223A (zh) | 一种用户画像库的构建方法及装置 | |
| KR102379472B1 (ko) | 시공간 피해특성을 고려한 다종 데이터 융합 분석방법 | |
| CN110009738B (zh) | 一种面向火灾应急疏散的室内三维表达模型 | |
| CN115294520A (zh) | 一种基于卷积神经网络的烟火检测方法 | |
| CN108470061A (zh) | 一种针对视角级文本的情感分类系统 | |
| KR102427026B1 (ko) | 재난 대응 관련 정보의 시각화 방법 및 서버 | |
| CN117274881A (zh) | 基于一致性正则化和分布对齐的半监督视频火灾检测方法 | |
| Shukla et al. | A survey on image mining, its techniques and application | |
| Cheng et al. | An efficient fire detection algorithm based on multi‐scale convolutional neural network | |
| Yang et al. | Lightweight forest smoke and fire detection algorithm based on improved YOLOv5 | |
| CN116624226A (zh) | 一种煤矿灾害数据采集、分析及可视化展现系统 | |
| CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 | |
| KR102495864B1 (ko) | 디지털 트윈 모델을 도출하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN118171920B (zh) | 基于llm模型的园区安全应急响应方法、设备及介质 | |
| Wang et al. | Improving YOLOX network for multi-scale fire detection | |
| CN113191274A (zh) | 基于神经网络的油田视频智能安全事件检测方法及系统 | |
| Khan et al. | Assessment of indoor risk through deep learning-based object recognition in disaster situations | |
| US20190370421A1 (en) | Systems and methods for graphically simulating and visualizing a networked fire alarm system | |
| Divya et al. | Fire and Smoke Detection Using Deep Learning | |
| KR20230089255A (ko) | 디지털 트윈 모델에 대한 시각화 정보를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| Zhang et al. | Improved lightweight flame smoke detection algorithm for YOLOv8n |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |