CN115170894B

CN115170894B - 一种烟火检测的方法及装置

Info

Publication number: CN115170894B
Application number: CN202211076462.2A
Authority: CN
Inventors: 张瑞楠; 范晓; 杨作兴; 艾国
Original assignee: Shenzhen MicroBT Electronics Technology Co Ltd
Current assignee: Shenzhen MicroBT Electronics Technology Co Ltd
Priority date: 2022-09-05
Filing date: 2022-09-05
Publication date: 2023-07-25
Anticipated expiration: 2042-09-05
Also published as: CN115170894A

Abstract

本发明提供了一种烟火检测的方法及装置，方法包括：烟火检测模型获取待检测烟火图像；所述烟火检测模型确定所述烟火图像的特征图中各个特征点对应的目标框和目标分类得分；由所述烟火检测模型确定所述烟火图像的全图的类别得分，并根据所述全图的类别得分对所述目标分类得分进行校正，获得烟火检测分类结果，所述类别包括烟雾和火焰。本申请实现了将烟火同其他物体区分开来并且提升烟火检测正确率的技术效果。

Description

一种烟火检测的方法及装置

技术领域

本申请属于视频图像深度学习技术领域，具体地讲，涉及一种烟火检测的方法及装置。

背景技术

当前，监控摄像机已经广泛应用于家庭、楼宇、城市道路和工厂等生活环境中。基于监控摄像机的深度学习预警方案也成为保护人们人身安全和财产安全的重要技术。其中火焰和烟雾的预警尤其重要，准确快速的预警能够帮助人们快速进行火灾救援或及时撤离到安全场地，有效保护人们的财产安全。

由于火焰和烟雾特殊的颜色和多变的形状，现有的基于局部特征的深度学习检测方案很难将火焰与明亮物体（例如夕阳、城市夜晚的红色灯光等）区分开来，同时烟雾与白云等物体也很难区分开来，从而造成了较高的误检率。现有的解决方案主要有两种：

一种是基于视频的方案，通过获取图像在时间维度的特征从而减少误检，但该方案需要较多的计算资源，并不适合终端监控设备。

另一种是结合深度学习图像检测技术和传统的图像处理技术，但传统的图像处理技术需要进行多种特征的提取和组合并且泛化性能不好，其减少火焰和烟雾误检率的能力有限。

发明内容

本申请提供了一种烟火检测的方法及装置，以至少解决当前基于局部特征的深度学习检测技术很难将火焰与明亮物体、烟雾与白云区分开来，从而导致较高的烟火误检率的问题。

根据本申请的第一个方面，提供了一种烟火检测方法，包括：

烟火检测模型获取待检测烟火图像；

烟火检测模型确定烟火图像的特征图中各个特征点对应的目标框和目标分类得分；

由烟火检测模型确定烟火图像的全图的类别得分，并根据全图的类别得分对目标分类得分进行校正，获得烟火检测分类结果，类别包括烟雾和火焰。

根据本申请的另一个方面，还提供了一种烟火检测的装置，包括：

实时图像采集单元，用于获取待检测烟火图像；

烟火检测单元，用于确定烟火图像的特征图中各个特征点对应的目标框和目标分类得分；确定烟火图像的全图的类别得分，并根据全图的类别得分对目标分类得分进行校正，获得烟火检测分类结果，类别包括烟雾和火焰。

本申请通过在原有的烟火检测模型上增加了全图分类分支和分数更新模块，全图分类分支用于对获取的图像数据进行全图分类，弥补了检测处理烟火检测技术难以将烟火同其他物体区分开来的缺陷，同时，分数更新模块能够通过调整置信度得分对误检结果进行有效抑制。进一步，为了使模型的检测效果达到最佳，使用了添加负样本进行训练的方法。本申请实现了将烟火同其他物体区分开来并且提升烟火检测正确率的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种改进后的烟火检测模型。

图2A为本申请的烟火检测模型中全图分类模型结构图。

图2B为本申请实施例中编码器应用于分类的VIT网络结构图。

图2C为本申请实施例中全图分类模型内部的计算过程图。

图3为本申请提供的一种烟火检测方法流程图。

图4为本申请实施例中利用正负样本进行模型训练的方法流程图。

图5为本申请实施例中根据全图的类别得分对目标分类得分进行校正的方法流程图。

图6为本申请实施例中确定是否要对该结果进行补偿的方法流程图。

图7为本申请具体实施例中对置信度得分进行校正更新的流程图。

图8为本申请具体实施例中利用正负样本进行模型训练的示意图。

图9为本申请提供的一种烟火检测装置结构框图。

图10为本申请实施例中烟火检测单元的结构框图。

图11为本申请实施例中训练烟火检测模型的装置的结构框图。

图12为本申请实施例中一种电子设备的具体实施方式。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于火焰和烟雾所具有的特殊的颜色和多变的形状，现有的基于局部特征的深度学习检测方案很难将火焰与明亮物体（例如夕阳、城市夜晚的红色灯光等）区分开来，同时烟雾与白云等物体也很难区分开来，从而造成了较高的误检率。因此，本申请提供了一种改进后的烟火检测模型，在现有的烟火检测模型（例如，一阶段检测算法Yolox）中新增了全图分类模块（full image classifier）以及分数更新模块。具体地，烟火检测模型包括：一图像特征提取器，一特征处理器，一全图分类模型，一目标检测模型以及一分数更新模块；

在一具体实施例中，如图1所示，烟火检测模型的五个结构分别如下：

图像特征提取器（backbone），用于提取烟火图像的图像特征，backbone可以使用常见的resnet50、mobilenetv2等模型；

特征处理器（neck），针对backbone提取的图像特征进行处理，并获取多尺度图像特征，neck可以使用如FPN、PAN等结构。

目标检测模型（detector head）根据所述特征处理器输出的各个图像特征点确定所述烟火图像的特征图中各个特征点对应的目标框和目标分类得分。通常情况下，目标检测模型处理的对象为原图大小的1/8、1/16、1/32的特征，当然，本领域技术人员应该可以理解，这里的图像大小只是用于举例说明。也因此获得对应的三个检测分支，由于有多个检测分支，因此可能有多个目标被检测出，后续需要去重处理，例如，通过NMS（Non MaximumSuppression，非极大值抑制）根据得分及目标框的重合度进行去重。各个特征点对应的目标框一般为矩形的目标框，检测结果的综合表达形式为（x,y,w,h,score)，其中，(x,y)为矩形目标检测框左上角在原图中的坐标。w,h分别代表矩形的宽和高，score为一维向量，其长度同检测模型支持的分类数相同，对于火焰和烟雾检测其维度为2，如（score1, score2）,目标框对应的物体的最终分类结果为该score向量中最大值对应的类别。detector head的分类针对的是图像特征上的某一点或某一区域进行操作，故其本质为检测处理。

全图分类模型（full image classifier）用于根据所述特征处理器输出的全图的图像特征确定所述烟火图像的全图的类别得分。针对从特征处理器接收的多尺度特征进行处理，获得不同类别的得分W，W为一维向量，对于火焰和烟雾检测结果即为（w1,w2）。

分数更新模块，用于根据所述全图的类别得分对所述目标分类得分进行校正，获得烟火检测分类结果，所述类别包括烟雾和火焰。根据全图分类模型得到的结果（w1,w2），按照一定的策略对目标检测模型中检测分支的多个结果的置信度得分S进行处理，S与W结构一致，即（score1, score2）。检测分支指上文中提到的目标检测模型获得的1/8、1/16、1/32这三个分支，每一个分支中都会在特征的空间位置上检测出烟雾目标和火焰目标，因此，三个分支会检测出多个烟雾和火焰目标。由于S代表的是目标检测模型的检测结果的置信度得分，如果直接使用目标检测模型的检测结果置信度S来判断烟火，容易造成误检，所以根据目标框的大小对S进行校正调整；而全图分类模型是对原图进行一个整体检测，获得一个检测结果及其置信度得分W，通过全图分类检测能够弥补目标检测的缺陷，并且对S、W相乘后可使误检结果的得分变得更低，从而达到降低误检目的。

在一实施例中，如图2A所示，全图分类模型包括：一特征提取器，一自适应平均池化模块，一卷积模块，一编码器以及一分类器；

特征提取器，用于获取所述特征处理器输出的全图大小1/2ⁿ的图像特征；

其中，为实现高效计算，在特征提取器中采用大小为原图1/16的特征进行处理，1/8的特征语义特征少而细节特征多，1/32的特征细节特征少但语义特征多，而1/16的特征则中和了前两者的特点，既保留图像局部特征又实现对全局特征的提取。在深度学习目标检测框架中neck主要用于提取多尺度特征，一般指特征大小为原图的1/8、1/16、1/32，此处1/16特征即特征大小为经过neck处理后的原图的1/16。

自适应平均池化模块，用于将1/2ⁿ尺寸大小的图像特征通过自适应平均池化，得到具有2ⁿ个区域的特征图，分别对每一个区域求均值，n为正整数；

在一具体实施例中，自适应平均池化模块的作用如下：第一步，将1/16特征通过自适应池化为4*4的大小，此处采用自适应平均池化模型，其可以根据特征图的大小自动选择池化核的大小和池化的步长，将特征图分为16个区域，并对每一个区域求均值；

卷积模块，用于对自适应平均池化输出的特征，进行卷积处理；

通过卷积模块进一步加深模型的非线性能力，从而使得模型能够表达更复杂的语义特征；

编码器，用于对卷积模块输出的特征，在特征维度展开，联合类标记进行处理；

例如，将特征维度由B*C*H*W转化为B*H*W*C，然后转化为B*HW*C，计算过程如图2C所示，如图2B所示，经过编码器结构后，编码器添加class token（类标记）并加上位置编码后，作为编码器（Transformer）的结构的输入，送入MLPHead（全连接分类）进行分类，此处的操作是Transformer结构的标准操作。

分类器，用于对编码器输出的类标记，通过全连接层进行分类，得到全图的类别得分。

分类器采用全连接层+sigmoid激活函数，对编码器（例如，Transformer）输出的class token进行多分类。全连接层对输入的class token 如（1*1280）进行处理得到1*类别数量的特征，烟火则为1*2，sigmoid将特征的值映射到0-1之间。其中class token为类标记，其为一维向量，向量长度与上述卷积模块输出的特征的长度相同。class token通过随机初始化获得，并随着网络的训练不断更新，它能够编码整个数据集的类别统计特性。

图1所示的改进后的烟火检测模型相对于现有的烟火检测学习模型而言，使用了全图分类模型和分数更新模块对误检结果进行抑制，全图分类模型弥补了检测处理烟火检测技术难以将烟火同其他物体区分开来的缺陷，使得模型针对烟雾和火焰的分类结果更加精准。

针对图1所示的改进后的烟火检测模型，本申请还提供了一种训练该烟火检测模型的方法，如图4所示包括：

S1：将烟火图像的正样本和负样本输入预建立的烟火检测模型进行训练。

S2：分别提取正样本和负样本的多尺度图像特征。

S3：根据多尺度图像特征确定烟火图像的正样本和负样本的全图的类别得分，以及烟火图像正样本和负样本的特征图中各个特征点对应的目标框和分类得分；

S4：通过分类损失函数和位置回归损失函数计算总体损失。

全图分类分支是类别得分；检测分支是目标位置和分类得分，其中目标位置只针对正样本。负样本没有目标位置。

S5：根据满足预设条件的总体损失确定烟火检测模型的各个参数，完成对烟火检测模型的训练。

在一具体实施例中，如图8所示，为负样本训练流程图。由于添加了全图分类分支，因此需要添加负样本进行训练，以优化全图分类分支的分类效果。对于模型的检测分支，正负样本主要作用于前景和背景的区分，添加负样本进行训练可以使模型提取更鲁棒的前景特征，提高模型对前景和背景的分类能力从而提升模型的泛化能力，因此，添加负样本进行训练，也能够在一定程度上减少检测分支的误检。具体地，数据由正样本和负样本混合而成，正样本和负样本需要按照适当的比例，一般为1：1即可；二是，在loss（损失）的计算部分，检测分支的分类loss可同时计算正负例，其loss函数为交叉熵损失函数，位置回归loss针对正例进行计算，可选用IoU loss、L1 loss等损失函数，全图分类分支为二元交叉熵损失函数进行多标签分类。具体地，在本申请中，计算正负例为，其中，/>为正样本对loss的作用，为负样本对loss的作用，t代表标签，在申请中，只区分前景、背景，则前景对应的标签为1,背景对应的标签为0。当样本为正的时候，第一部分起作用，第二部分为0；当样本为负的时候，第一部分为0，第二部分起作用。因此增加负样本能够提高模型泛化能力。

Y表示网络的预测结果，就是分类的置信度结果。一个训练批次中有多个样本，i表示某一个训练样本id号。

基于图1所示的烟火检测模型，本申请还提供了一种烟火检测方法，其揭示了烟火检测模型的烟火检测过程，如图3所示，包括：

S301：获取待检测烟火图像。

S302：确定烟火图像的特征图中各个特征点对应的目标框和目标分类得分。

S303：确定烟火图像的全图的类别得分，并根据全图的类别得分对目标分类得分进行校正，获得烟火检测分类结果，类别包括烟雾和火焰。

在一具体实施例中，在一具体实施例中，backbone从待识别的烟火图像中提取图像特征，neck针对backbone提取的特征进行处理，并获取多尺度特征。Backbone可选用常见的resnet50、mobilenetv2等模型，neck可以选用FPN、PAN等结构，本申请不以此为限。

在检测处理环节（目标检测模型），分别确定火焰目标和/或烟雾目标的目标框大小，具体地，可能有多个目标被检测出，其中位置一般为矩形框，矩形框（检测结果）的综合表达形式为（x,y,w,h,score)，其中(x,y)为矩形框左上角在原图中的坐标，w,h分别代表矩形的宽和高，score为一维向量，其长度同检测模块支持的分类数相同，对于火焰和烟雾检测其维度为2，如（score1, score2）,矩形框对应的物体的最终分类结果为该score向量中最大值对应的类别。目标检测的分类针对的是图像特征上的某一点或某一区域进行操作，故其本质为局部分类。

在全局分类环节，针对neck输出的多尺度特征进行处理，为实现高效计算，此处采用大小为原图1/16的特征进行处理，为了既保留图像局部特征又实现对全局特征的提取，模型采用transformer结构进行全图多分类，获得不同类别的得分W，W为一维向量，对于火焰和烟雾检测结果即为（w1,w2）；score更新模块，主要使用全图分类分支得到的结果（w1,w2），按照一定的策略对检测分支的多个结果的置信度得分S进行处理，S与W结构一致，即（score1, score2）。对S、W处理后可使误检结果的得分较低，从而达到降低误检目的。

图3所示方法的执行主体可以为PC、服务器等，通过在原有的烟火检测模型上增加了全图分类模块和分数更新模块，全图分类模块有利于依赖全局特征进行目标检测物的判断，同时其可以增强网络的特征提取能力，在实际测试中发现添加全图分类分支后在一定程度上提高了物体检测的准确度；同时，分数更新模块能够通过调整置信度得分对误检结果进行有效抑制，实现了将烟火同其他物体区分开来并且提升烟火检测正确率的技术效果。

在一实施例中，如图5所示，根据全图的类别得分对目标分类得分进行校正包括：

S501：将各个特征点对应的目标分类得分与全图的类别得分相乘获得校正后的检测分类结果。

在一实施例中，在获得检测分类结果之后，还包括确定是否要对该结果进行补偿的步骤，如图6所示，其中：

S601：计算目标框的像素面积与图像全图像素面积的比例；

S602：当计算得到的比例大于等于预设阈值时，认为检测准确；

S603：否则，根据预设的补偿系数、校正后的检测分类结果以及限定值确定烟火检测分类结果。

针对图6中记载的步骤，在一具体实施例中，如图7所示，具体包括：

S701：将检测分支的每个结果的置信度得分S与全图分类分支的置信度得分W相乘获得检测分类处理结果。例如，new_score = W * S。

S702：通过预设的补偿公式，对小于阈值的目标检测框进行补偿。

S703：通过预设的系数以及补偿后的目标检测框大小更新检测分类结果。

其中，对于步骤S702，具体为：

针对目标检测框的大小，对小目标进行一定程度的补偿，保证小目标的检测效果：

其中area_ratio为目标检测分支得到目标的矩形框的像素面积与图像全图像素面积的比例，针对每一个目标框分别计算面积比，并根据以上公式计算最终的置信度。该置信度将作为矩形框是否检测正确的判断依据，当其大于等于给定的阈值时，即认为其检测准确。对于小目标而言，全图分类的得分较低，因此需要对其进行一定程度的补偿，本发明根据目标框的像素面积与图像全图像素面积的比值，针对面积比小于0.5，以及面积比小于0.05的检测框进行补偿，但其最终结果不大于1。这里所说的0.5只是用于举例说明。本领域技术人员可以设置其他的阈值，这不应作为对本发明的限制。

利用本申请提供的方法，通过对一阶段检测算法Yolox添加全图分类分支算法进行烟火检测，验证了本发明的有效性。具体的数据如下：

表1. 对比结果

模型	误检率
		Yolox	4.78%
Yolox+全图分类分支+负样本训练	1.20%

通过表1的数据可以看出，使用Yolox+全图分类分支+负样本训练显著降低了误检率。

基于同一发明构思，本申请实施例还提供了一种烟火检测的装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该烟火检测的装置解决问题的原理与烟火检测的方法相似，因此烟火检测的装置的实施可以参见烟火检测的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本申请的另一个方面，还提供了一种烟火检测的装置，如图9所示，包括：

实时图像采集单元901，用于获取待检测烟火图像；

烟火检测单元902，用于确定烟火图像的特征图中各个特征点对应的目标框和目标分类得分；确定烟火图像的全图的类别得分，并根据全图的类别得分对目标分类得分进行校正，获得烟火检测分类结果，类别包括烟雾和火焰。

在一实施例中，如图10所示，烟火检测单元902包括：

多尺度特征提取单元，用于从获取的待识别烟火图像中提取多尺度特征；

检测处理单元，用于根据多尺度特征从待识别烟火图像中分别确定火焰目标和烟雾目标的目标检测框大小以及目标检测分支的每个结果的置信度得分S；

全图分类单元，用于根据多尺度特征进行全图分类，获得全图分类分支的置信度得分W；

分数更新单元，用于根据置信度得分W、置信度得分S和目标检测框大小对检测分类处理结果进行校正，并根据校正后的检测分类结果进行烟火判定，获得烟火检测结果。

具体地，检测分类结果的校正过程包括：

计算目标框的像素面积与图像全图像素面积的比例，当计算得到的比例大于等于预设阈值时，认为检测准确，否则，根据预设的补偿系数、校正后的检测分类结果以及限定值确定烟火检测分类结果。

在一具体实施例中，烟火检测的装置中还包括一训练烟火检测模型的装置，如图11所示，其中包括：

正负样本输入单元1101，用于将烟火图像的正样本和负样本作为输入预建立的烟火检测模型进行训练；

多尺度特征提取单元1102，用于分别提取正样本和负样本的多尺度图像特征；

得分获取单元1103，用于根据多尺度图像特征确定烟火图像的正样本和负样本的全图的类别得分，以及烟火图像正样本和负样本的特征图中各个特征点对应的目标框和分类得分；

损失计算单元1104，用于通过分类损失函数和位置回归损失函数计算总体损失；

参数确定单元1105，用于根据满足预设条件的总体损失确定烟火检测模型的各个参数，完成对烟火检测模型的训练。

在得分获取单元中还包括一乘积模块，用于将各个特征点对应的目标分类得分与所述全图的类别得分相乘获得检测分类处理结果。

本申请提供的方法及装置在原有的烟火检测模型上增加了全图分类分支和分数更新模块，全图分类分支有利于依赖全局特征进行目标检测物的判断，同时其可以增强网络的特征提取能力，在实际测试中发现添加全图分类分支后在一定程度上提高了物体检测的准确度；同时，分数更新模块能够通过调整置信度得分对误检结果进行有效抑制，大幅提升了烟火检测的准确度。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图12，所述电子设备具体包括如下内容：

处理器(processor)1501、内存1502、通信接口(Communications Interface)1503、总线1504和非易失性存储器1505；

其中，所述处理器1501、内存1502、通信接口1503通过所述总线1504完成相互间的通信；

所述处理器1501用于调用所述内存1502和非易失性存储器1505中的指令，所述处理器执行所述指令时实现上述实施例中的方法中的全部步骤，例如，所述处理器执行所述指令时实现下述步骤：

S301：获取待检测烟火图像。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述实施例中的方法的全部步骤，例如，所述处理器执行所述指令时实现下述步骤：

S301：获取待检测烟火图像。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims

1.一种烟火检测的方法，其特征在于，包括：

烟火检测模型获取待检测烟火图像；

所述烟火检测模型确定所述烟火图像的特征图中各个特征点对应的目标框和目标分类得分；

由所述烟火检测模型确定所述烟火图像的全图的类别得分，并根据所述目标框和所述全图的类别得分对所述目标分类得分进行校正，获得烟火检测分类结果，所述类别包括烟雾和火焰；其中，烟火检测模型包括并联的全图分类模型和目标检测模型；

在获得检测分类结果之后，还包括确定是否要对该结果进行补偿的步骤，其中：

计算目标框的像素面积与图像全图像素面积的比例，当计算得到的比例大于等于预设阈值时，认为检测准确，否则，根据预设的补偿系数、校正后的检测分类结果以及限定值确定烟火检测分类结果；

具体是，将检测分支的每个结果的置信度得分S与全图分类分支的置信度得分W相乘获得检测分类结果；new_score =；

通过预设的补偿公式，对小于阈值的目标检测框进行补偿；

通过预设的补偿系数以及补偿后的目标检测框大小更新检测分类结果；

其中，针对目标检测框的大小，对小目标进行一定程度的补偿，保证小目标的检测效果：

其中area_ratio为目标检测分支得到目标的矩形框的像素面积与图像全图像素面积的比例，针对每一个目标框分别计算面积比，并根据以上公式计算最终的置信度。

2.根据权利要求1所述的烟火检测的方法，其特征在于，根据所述全图的类别得分对所述目标分类得分进行校正，包括：

将所述各个特征点对应的目标分类得分与所述全图的类别得分相乘获得校正后的检测分类结果。

3.根据权利要求1所述的烟火检测的方法，其特征在于，所述烟火检测模型包括：一图像特征提取器，一特征处理器，一全图分类模型，一目标检测模型以及一分数更新模块；

图像特征提取器，用于提取所述烟火图像的图像特征；

特征处理器，用于对所述图像特征提取器提取的所述烟火图像的图像特征进行处理，并获取多尺度图像特征；

目标检测模型，用于根据所述特征处理器输出的各个图像特征点确定所述烟火图像的特征图中各个特征点对应的目标框和目标分类得分；

全图分类模型，用于根据所述特征处理器输出的全图的图像特征确定所述烟火图像的全图的类别得分；

分数更新模块，用于根据所述全图的类别得分对所述目标分类得分进行校正，获得烟火检测分类结果，所述类别包括烟雾和火焰。

4.根据权利要求3所述的烟火检测的方法，其特征在于，所述全图分类模型包括：一特征提取器，一自适应平均池化模块，卷积模块，一编码器以及一分类器；

5.根据权利要求1所述的烟火检测的方法，其特征在于，还包括：训练烟火检测模型的步骤，其中：

将烟火图像的正样本和负样本输入预建立的烟火检测模型进行训练；

分别提取正样本和负样本的多尺度图像特征；

根据多尺度图像特征确定烟火图像的正样本和负样本的全图的类别得分，以及所述烟火图像正样本和负样本的特征图中各个特征点对应的目标框和分类得分；

通过分类损失函数和位置回归损失函数计算总体损失；

根据满足预设条件的总体损失确定烟火检测模型的各个参数，完成对烟火检测模型的训练。

6.一种烟火检测的装置，其特征在于，包括：

实时图像采集单元，用于获取待检测烟火图像；

烟火检测单元，用于确定所述烟火图像的特征图中各个特征点对应的目标框和目标分类得分；确定所述烟火图像的全图的类别得分，并根据所述目标框和所述全图的类别得分对所述目标分类得分进行校正，获得烟火检测分类结果，所述类别包括烟雾和火焰；其中，烟火检测模型包括并联的全图分类模型和目标检测模型；

通过预设的补偿公式，对小于阈值的目标检测框进行补偿；

7.根据权利要求6所述的烟火检测的装置，其特征在于，在所述烟火检测单元中包括一分数更新模块：

所述分数更新模块用于将所述各个特征点对应的目标分类得分与所述全图的类别得分相乘获得校正后的检测分类结果。

8.根据权利要求6所述的烟火检测的装置，其特征在于，还包括：训练烟火检测模型的装置，其中包括：

正负样本输入单元，用于将烟火图像的正样本和负样本输入预建立的烟火检测模型进行训练；

多尺度特征提取单元，用于分别提取正样本和负样本的多尺度图像特征；

得分获取单元，用于根据多尺度图像特征确定烟火图像的正样本和负样本的全图的类别得分，以及所述烟火图像正样本和负样本的特征图中各个特征点对应的目标框和分类得分；

损失计算单元，用于通过分类损失函数和位置回归损失函数计算总体损失；

参数确定单元，用于根据满足预设条件的总体损失确定烟火检测模型的各个参数，完成对烟火检测模型的训练。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的指令，其特征在于，所述处理器执行所述指令时实现权利要求1至5任一项所述的烟火检测的方法的步骤。

10.一种计算机可读存储介质，其上存储有指令，其特征在于，该指令被处理器执行时实现权利要求1至5任一项所述的烟火检测的方法的步骤。