CN115937659A - 基于Mask-RCNN的室内复杂环境下多目标检测方法 - Google Patents

Abstract

本发明提供的一种基于Mask‑RCNN的室内复杂环境下多目标检测方法，包括以下步骤：S1.获取室内环境中需要识别的目标物体的图像信息，并将目标物体的图像信息采用Labelme工具进行标注，得到每张图像对应的json格式文件，然后转换成COCO数据集格式；S2.构建Mask RCNN网络，并将CBAM注意力模块加入Mask RCNN网络的主干网络的残差网络中，得到改进型Mask RCNN网络；S3.将转换成COCO数据集格式的图像信息划分为训练集和测试集，并将训练集输入至改进型Mask RCNN网络中进行训练；S4.将测试集输入训练完成后的改进型Mask RCNN网络中进行测试，并判断改进型Mask RCNN网络的识别准确性，当达到准确性指标时，进入步骤S5；S5.实时采集待测室内环境中的目标物体的图像信息，并输入至改进型Mask RCNN网络中进行多目标检测。

Description

基于Mask-RCNN的室内复杂环境下多目标检测方法

技术领域

本发明涉及一种图像检测方法，尤其涉及一种基于Mask-RCNN的室内复杂环境下多目标检测方法。

背景技术

目标检测作为服务机器人的重要功能之一，通过采集目标环境中的图像信息，从而对目标环境中的待检测目标进行识别，现有技术中，对于检测目标的识别方法中基于深度学习的目标检测算法主要分为One stage和Two stage两大类，其中One Stage主要基于目标回归检测算法，直接从网络中提取特征并预测目标物体分类和位置，通常检测速度较快，但精度有待提高，如YOLOv4、EfficientDet、YOLOX等；Two stage主要采用区域建议算法(Region Proposal)，先生成候选区域(即可能包含待检物体的预选框)，再进行样本分类和边界框回归，通常检测精度较高，但速度较慢，如R-FCN、Faster RCNN、Cascade RCNN。

基于Mask RCNN的算法模型不仅能对目标物体检测和分类，还能够在此基础上进行实例分割，实现了精确到像素级的检测任务；但是，考虑到室内环境的多样性，目前MaskRCNN对于小目标检测、抗干扰检测等应用场景依然受到较大的限制，比如遮挡、光照不均以及背景干扰等，因此，现有的Mask RCNN的算法并不能对室内复杂环境中的目标进行准确识别检测。

因此，为了解决上述技术问题，亟需提出一种新的技术手段。

发明内容

有鉴于此，本发明的目的是提供基于Mask-RCNN的室内复杂环境下多目标检测方法，能够对室内复杂环境下对多个待检测目标进行准确识别，具有良好的干扰能力和较高的准确率，并且相对于传统算法效率更高，适应能力强。

本发明提供的一种基于Mask-RCNN的室内复杂环境下多目标检测方法，包括以下步骤：

S1.获取室内环境中需要识别的目标物体的图像信息，并将目标物体的图像信息采用Labelme工具进行标注，得到每张图像对应的json格式文件，然后转换成COCO数据集格式；

S2.构建Mask RCNN网络，并将CBAM注意力模块加入Mask RCNN网络的主干网络的残差网络中，得到改进型Mask RCNN网络；

S3.将转换成COCO数据集格式的图像信息划分为训练集和测试集，并将训练集输入至改进型Mask RCNN网络中进行训练；

S4.将测试集输入训练完成后的改进型Mask RCNN网络中进行测试，并判断改进型Mask RCNN网络的识别准确性，当达到准确性指标时，进入步骤S5；

S5.实时采集待测室内环境中的目标物体的图像信息，并输入至改进型Mask RCNN网络中进行多目标检测。

进一步，所述CBAM注意力模块包括通道注意模块和空间注意模块，其中：

通道注意模块处理输入的特征图F具体为：

其中：F′为通道注意模块输出特征，AP表示全局平均池化，MP表示全局最大池化，MLP表示多层感知机操作，

表示矩阵对应元素相加，

表示矩阵对应元素相乘，σ表示sigmoid函数，定义为：

空间注意模块对通道注意模块输出的特征F′处理的具体为：

其中：F″为空间注意模块输出特征，Conv_7×7表示7x7的卷积操作。

进一步，所述Mask RCNN网络包括主干网络、区域建议网络、Mask预测分支网络以及全连接层网络；其中，主干网络包括残差网络和特征金字塔网络；

输入的COCO数据集格式的图像信息在残差网络中进行下采样处理后得到不同尺度的特征图，然后传输至特征金字塔网络中进行上采样和多尺度融合处理，得到包括高层语义信息和底层轮廓信息的特征图；

将特征图输入至区域建议网络中进行处理，在特征图中对识别目标生成候选区域，形成多个目标候选框；

将区域建议网络输出的已生成候选区域的特征图输入至ROI Align中进行处理，并将处理后的结果输入至全连接层网络中进行分类识别处理，全连接层网络输出识别结果。

进一步，所述残差网络包括n个尺度不同的卷积模块组成；

其中，将n-1个卷积模块的输入输出顺次连接，顺次连接收的n-1个卷积模块对输入的COCO数据集格式的图像信息进行卷积处理并输出至CBAM注意力模块中进行处理；第n个卷积模块将输入的COCO数据集格式的图像信息处理后输出的特征图与CBAM注意力模块输出的特征图进行相加融合形成整个残差网络输出的特征图。

进一步，所述Mask RCNN网络的损失函数为：

N_cls表示预测框的数量；N_reg表示特征图的像素点个数；

其中：分类损失函数

i表示每个目标候选框的索引，p_i表示第i个目标候选框被预测为目标的概率，

表示p_i的真实类别标签；

回归损失函数

为：

t_j＝{t_x,t_y,t_w,t_h}表示第j个目标候选框相对于预测框的偏移量，

表示第j个目标候选框相对于真实框的偏移量；其中：

x,y,w,h分别表示预测框的中心的横坐标、预测框的中心的横坐标、预测框的宽度和预测框的高度，x_a,y_a,w_a,h_a分别表示目标候选框的中心的横坐标、目标候选框的中心的横坐标、目标候选框的宽度和目标候选框的高度，x^*,y^*,w^*,h^*分别表示待测目标真实的中心的横坐标、待测目标真实的中心的横坐标、待测目标真实的宽度和待测目标真实的高度；

对于每个预测框，Mask预测分支网络对每个大小为p*p的特征进行编码，生成分辨率为p*p的二值掩膜，掩码损失函数

为

其中：y_mn表示目标候选框的中心坐标点(m，n)的预测结果；

表示(m，n)的Ground Truth。

进一步，步骤S1中：

获取室内环境中需要识别的目标物体的图像信息时，在不同的背景、不同角度和不同距离进行采集，而且采集后的图像信息通过裁剪、旋转以及翻转处理。

本发明的有益效果：通过本发明，能够对室内复杂环境下对多个待检测目标进行准确识别，具有良好的干扰能力和较高的准确率，并且相对于传统算法效率更高，适应能力强。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

图2为本发明中Mask-RCNN模型示意图。

图3为本发明的CBAM注意力模块示意图。

图4为本发明的具体实例的残差网络载入CBAM注意力模块后的示意图。

图5为本发明的主干网络结构示意图。

具体实施方式

以下进一步对本发明进行详细说明：

本发明提供的一种基于Mask-RCNN的室内复杂环境下多目标检测方法，包括以下步骤：

S1.获取室内环境中需要识别的目标物体的图像信息，并将目标物体的图像信息采用Labelme工具进行标注，得到每张图像对应的json格式文件，然后转换成COCO数据集格式；

S2.构建Mask RCNN网络，并将CBAM注意力模块加入Mask RCNN网络的主干网络的残差网络中，得到改进型Mask RCNN网络；

S3.将转换成COCO数据集格式的图像信息划分为训练集和测试集，并将训练集输入至改进型Mask RCNN网络中进行训练；

S4.将测试集输入训练完成后的改进型Mask RCNN网络中进行测试，并判断改进型Mask RCNN网络的识别准确性，当达到准确性指标时，进入步骤S5；

S5.实时采集待测室内环境中的目标物体的图像信息，并输入至改进型Mask RCNN网络中进行多目标检测；通过上述方法，在不同的背景、不同角度和不同距离进行采集，而且采集后的图像信息通过裁剪、旋转以及翻转处理。

通过本发明，能够对室内复杂环境下对多个待检测目标进行准确识别，具有良好的干扰能力和较高的准确率，并且相对于传统算法效率更高，适应能力强。

本实施例中，所述CBAM注意力模块包括通道注意模块和空间注意模块，其结构示意图如图3所示，其中：

通道注意模块处理输入的特征图F具体为：

其中：F′为通道注意模块输出特征，AP表示全局平均池化，MP表示全局最大池化，MLP表示多层感知机操作，

表示矩阵对应元素相加，

表示矩阵对应元素相乘，σ表示sigmoid函数，定义为：

空间注意模块对通道注意模块输出的特征F′处理的具体为：

其中：F″为空间注意模块输出特征，Conv_7×7表示7x7的卷积操作，通过加入CBAM注意力模块后，能够提升整个网络模型的准确性。

本实施例中，所述Mask RCNN网络包括主干网络、区域建议网络、Mask预测分支网络以及全连接层网络；其中，主干网络包括残差网络和特征金字塔网络；

输入的COCO数据集格式的图像信息在残差网络中进行下采样处理后得到不同尺度的特征图，然后传输至特征金字塔网络中进行上采样和多尺度融合处理，得到包括高层语义信息和底层轮廓信息的特征图；

将特征图输入至区域建议网络中进行处理，在特征图中对识别目标生成候选区域，形成多个目标候选框；

将区域建议网络输出的已生成候选区域的特征图输入至ROI Align中进行处理，并将处理后的结果输入至全连接层网络中进行分类识别处理，全连接层网络输出识别结果。

主干网络结构如图5所示，下采样选用Resnet50；它有5层网络，第一层用于处理输入图片，2-5层由基本的残差网络组成，每一层残差网络中均载入CBAM注意力模块，其中，下采样网络中。第一层用于处理输入图片，2-5层由现有的基本的残差网络组成，不同层的残差网络数量依次为3、4、6、3。

经过Resnet50对输入图片进行下采样后，提取采样后的特征图{C2、C3、C4、C5}传递到特征金字塔网络进行上采样与多尺度融合，得到既包含高层的语义信息，也包括底层的轮廓信息的特征图{P2、P3、P4、P5}；该过程的计算公式为：

P₅＝Conv_1×1(C₅)；

C_i表示第i层提取的特征图，P_i表示C_i经过特征金字塔网络融合后得到的特征图，Conv_1×1表示1x1卷积，f_up表示上采样，

表示对应元素加法操作；

将{P2、P3、P4、P5}输入区域建议网络，一个分支用于判断前景与背景，并连接softmax函数，通过设定阈值进行二分类，保留阈值高于0.5的候选框；另一分支用于实现边界框回归，针对不同大小的特征图，生成多尺寸，不同长宽比的目标候选框；本实施例中，设置了15个锚点，选用的长宽比为1:1，1:2，2:1，大小为32²，64²，128²，256²，512²，单位为像素值，且分别对应不同大小的特征层，然后对预测边界框的坐标参数进行修正，以接近真实边界框的参数值。

本实施例中，所述残差网络包括n个尺度不同的卷积模块组成；

其中，将n-1个卷积模块的输入输出顺次连接，顺次连接收的n-1个卷积模块对输入的COCO数据集格式的图像信息进行卷积处理并输出至CBAM注意力模块中进行处理；第n个卷积模块将输入的COCO数据集格式的图像信息处理后输出的特征图与CBAM注意力模块输出的特征图进行相加融合形成整个残差网络输出的特征图。

如图4所示：以Resnet50中的第二层的第一个残差网络为例：包括具有不同尺度的卷积模块Ⅰ1、卷积模块Ⅱ2、卷积模块Ⅲ3和卷积模块Ⅳ4；

所述卷积模块Ⅰ1对输入的COCO数据集格式的图像信息进行处理后输入至卷积模块Ⅱ2中进行处理，卷积模块Ⅱ2输出的特征图输入至卷积模块Ⅲ3中进行处理，卷积模块Ⅲ3输出的特征图输入至CBAM注意力模块中进行处理，卷积模块Ⅳ4对输入的COCO数据集格式的图像信息进行处理后，输出的特征图和CBAM注意力模块输出的特征图相加融合形成整个残差网络输出的特征图。

本实施例中，所述Mask RCNN网络的损失函数为：

N_cls表示预测框的数量；N_reg表示特征图的像素点个数；

其中：分类损失函数

i表示每个目标候选框的索引，p_i表示第i个目标候选框被预测为目标的概率，

表示p_i的真实类别标签；

回归损失函数

为：

t_j＝{t_x,t_y,t_w,t_h}表示第j个目标候选框相对于预测框的偏移量，

表示第j个目标候选框相对于真实框的偏移量；其中：

x,y,w,h分别表示预测框的中心的横坐标、预测框的中心的横坐标、预测框的宽度和预测框的高度，x_a,y_a,w_a,h_a分别表示目标候选框的中心的横坐标、目标候选框的中心的横坐标、目标候选框的宽度和目标候选框的高度，x^*,y^*,w^*,h^*分别表示待测目标真实的中心的横坐标、待测目标真实的中心的横坐标、待测目标真实的宽度和待测目标真实的高度；

对于每个预测框，Mask预测分支网络对每个大小为p*p的特征进行编码，生成分辨率为p*p的二值掩膜，掩码损失函数

为

其中：y_mn表示目标候选框的中心坐标点(m，n)的预测结果；

表示(m，n)的GroundTruth。

在对本发明的改进型的Mask RCNN网络进行训练更新损失函数时，动量因子设为0.9，学习率设为0.002，权重衰减系数设为0.0001，训练轮次设为26(当然，可以设置更多训练轮次)。

本实施例中，步骤S1中：

获取室内环境中需要识别的目标物体的图像信息时，在不同的背景、不同角度和不同距离进行采集，而且采集后的图像信息通过裁剪、旋转以及翻转处理，通过上述处理，能够保证训练数据具有多样性，并且提高Mask RCNN网络模型的泛化能力，提升识别的准确性。

本实施例中，判断改进型Mask RCNN网络的识别准确性采用现有的方式，评价指标比如：交并比(Intersection over Union，IoU)、精度(precision)、召回率(recall)、平均精度均值(Mean Average Precision，mAP)等；

IoU表示预测框与真实框的交并比，可以衡量预测的准确度，定义为：

通常，根据真实类别与预测类别的关系，将检测的结果分为四种，分别是：

True Positive(TP)：预测类别为正样本，真实类别也为正样本；

False Positive(FP)：预测类别为正样本，但真实类别为负样本；

True Negative(TN)：预测类别为负样本，真实类别也为负样本；

False Negative(FN)：预测类别为负样本，但真实类别为正样本。

精度P是指预测为正样本的数据中，真正的正样本所占的比例，定义如下：

召回率R是指在总的正样本中，模型预测出了多少个正样本，定义如下：

由于精度与召回率是两种不同的评价指标，而有些模型存在精度高、召回率低，或是召回率高、精度低的情况。而以精度为纵坐标，召回率为横坐标的P-R曲线可以综合两者，用P-R曲线下方的面积AP(average precision)来衡量模型对所有类别的检测效果，是最常用的评价指标，其值在0-1之间，且越接近1模型越好，对每一类的AP值求和取平均得到mAP值作为模型最终的评价标准，其计算公式如下：

其中，N表示检测的类别数。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：包括以下步骤：

S1.获取室内环境中需要识别的目标物体的图像信息，并将目标物体的图像信息采用Labelme工具进行标注，得到每张图像对应的json格式文件，然后转换成COCO数据集格式；

S2.构建Mask RCNN网络，并将CBAM注意力模块加入Mask RCNN网络的主干网络的残差网络中，得到改进型Mask RCNN网络；

S3.将转换成COCO数据集格式的图像信息划分为训练集和测试集，并将训练集输入至改进型Mask RCNN网络中进行训练；

S4.将测试集输入训练完成后的改进型Mask RCNN网络中进行测试，并判断改进型MaskRCNN网络的识别准确性，当达到准确性指标时，进入步骤S5；

S5.实时采集待测室内环境中的目标物体的图像信息，并输入至改进型Mask RCNN网络中进行多目标检测。

2.根据权利要求1所述基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：所述CBAM注意力模块包括通道注意模块和空间注意模块，其中：

通道注意模块处理输入的特征图F具体为：

其中：F′为通道注意模块输出特征，AP表示全局平均池化，MP表示全局最大池化，MLP表示多层感知机操作，

表示矩阵对应元素相加，

表示矩阵对应元素相乘，σ表示sigmoid函数，定义为：

空间注意模块对通道注意模块输出的特征F′处理的具体为：

其中：F″为空间注意模块输出特征，Conv_7×7表示7x7的卷积操作。

3.根据权利要求1所述基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：所述Mask RCNN网络包括主干网络、区域建议网络、Mask预测分支网络以及全连接层网络；其中，主干网络包括残差网络和特征金字塔网络；

输入的COCO数据集格式的图像信息在残差网络中进行下采样处理后得到不同尺度的特征图，然后传输至特征金字塔网络中进行上采样和多尺度融合处理，得到包括高层语义信息和底层轮廓信息的特征图；

将特征图输入至区域建议网络中进行处理，在特征图中对识别目标生成候选区域，形成多个目标候选框；

将区域建议网络输出的已生成候选区域的特征图输入至ROI Align中进行处理，并将处理后的结果输入至全连接层网络中进行分类识别处理，全连接层网络输出识别结果。

4.根据权利要求3所述基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：所述残差网络包括n个尺度不同的卷积模块组成；

其中，将n-1个卷积模块的输入输出顺次连接，顺次连接收的n-1个卷积模块对输入的COCO数据集格式的图像信息进行卷积处理并输出至CBAM注意力模块中进行处理；第n个卷积模块将输入的COCO数据集格式的图像信息处理后输出的特征图与CBAM注意力模块输出的特征图进行相加融合形成整个残差网络输出的特征图。

5.根据权利要求3所述基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：所述Mask RCNN网络的损失函数为：

N_cls表示预测框的数量；N_reg表示特征图的像素点个数；

其中：分类损失函数

i表示每个目标候选框的索引，p_i表示第i个目标候选框被预测为目标的概率，

表示p_i的真实类别标签；

回归损失函数

为：

t_j＝{t_x,t_y,t_w,t_h}表示第j个目标候选框相对于预测框的偏移量，

表示第j个目标候选框相对于真实框的偏移量；其中：

x,y,w,h分别表示预测框的中心的横坐标、预测框的中心的横坐标、预测框的宽度和预测框的高度，x_a,y_a,w_a,h_a分别表示目标候选框的中心的横坐标、目标候选框的中心的横坐标、目标候选框的宽度和目标候选框的高度，x^*,y^*,w^*,h^*分别表示待测目标真实的中心的横坐标、待测目标真实的中心的横坐标、待测目标真实的宽度和待测目标真实的高度；

对于每个预测框，Mask预测分支网络对每个大小为p*p的特征进行编码，生成分辨率为p*p的二值掩膜，掩码损失函数

为

其中：y_mn表示目标候选框的中心坐标点(m，n)的预测结果；

表示(m，n)的GroundTruth。

6.根据权利要求1所述基于Mask-RCNN的室内复杂环境下多目标检测方法，其特征在于：步骤S1中：

获取室内环境中需要识别的目标物体的图像信息时，在不同背景、不同角度和不同距离进行采集，而且采集后的图像信息通过裁剪、旋转以及翻转处理。

Images