[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113221731A - 一种多尺度遥感图像目标检测方法及系统 - Google Patents

一种多尺度遥感图像目标检测方法及系统 Download PDF

Info

Publication number
CN113221731A
CN113221731A CN202110507602.6A CN202110507602A CN113221731A CN 113221731 A CN113221731 A CN 113221731A CN 202110507602 A CN202110507602 A CN 202110507602A CN 113221731 A CN113221731 A CN 113221731A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
module
target detection
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110507602.6A
Other languages
English (en)
Other versions
CN113221731B (zh
Inventor
马文萍
李娜
朱浩
李腾武
焦李成
侯彪
武越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110507602.6A priority Critical patent/CN113221731B/zh
Publication of CN113221731A publication Critical patent/CN113221731A/zh
Application granted granted Critical
Publication of CN113221731B publication Critical patent/CN113221731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度遥感图像目标检测方法及系统，从遥感图像数据集中读取遥感图像，对图像进行预处理，构建训练数据集和测试数据集。构造基于冗余信息消除有效信息传递的多尺度遥感图形目标检测模型，用训练数据集对检测模型进行训练，利用训练好的目标检测模型对测试数据集进行分类；本发明引入浅层特征图中冗余信息消除策略、有效细节信息向深层特征图传递策略以及前景背景分离策略，提高了目标检测模型对小目标，密集分布目标的检测精度。可用于遥感图像目标检测任务。

Description

一种多尺度遥感图像目标检测方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种多尺度遥感图像目标检测方法及系统。
背景技术
如今，图像识别技术作为时代的衍生物，已经与人类生活息息相关。深入研究图像识别技术，将对社会的进步和经济的发展产生重要意义。
遥感是在模拟人类视觉系统基础上发展起来的一种高科技观测技术。通过检测和度量地物目标电磁辖射量所得到的客观记录，把人眼看得到的和看不到的景物转化为人眼所能看到的图像，重现地物目标电磁辖射特性的空间分布状况。
目前，基于深度学习的目标检测算法主要分为两大类，分别为基于区域推荐的目标检测算法和基于回归的目标检测算法。其中，基于区域推荐的目标检测算法主要包括RCNN、Fast-RCNN、Faster-RCNN以及SPPNet等双阶段目标检测器，RCNN利用选择性搜索算法从输入图像中提取感兴趣区域，再使用以及现行回归实现区域分类和边界框校正。SPPNet和Fast-RCNN通过从特征图中提取感兴趣区域来改进RCNN。Faster-RNCN引入区域建议网络RPN产生感兴趣区域，再实现候选区域的目标分类以及位置回归。这些方法都依赖于缓慢的低级区域提议方法。而基于回归的目标检测算法，会直接实现从输入图片到边界框的回归以及类别信息的预测过程，YOLO使用较少的先验框(将图片分为S*S网格)进行分类和回归。SSD在输入图像上密集铺设先验框，并利用不同卷积层的特征实现回归和分类。双阶段目标检测算法精度高但效率低，单阶段目标检测器虽实现了计算效率上的提升，但精度不高。
遥感图像与自然图像相比，具有小目标居多，目标尺度多样，目标密集分布等特点。因而，基于深度学习的目标检测算法在遥感图像领域的应用更具有挑战性。泛化性能不理想，算法效率与精度不高等问题在针对遥感图像的目标检测算法中更是普遍存在。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种多尺度遥感图像目标检测方法及系统，针对遥感图像目标检测中的小目标漏检，大目标重复检测以及目标密集分布等问题，对通过特征提取网络得到的不同尺度特征图，首先采用消除冗余信息策略使其更加关注特定尺寸范围内的目标，其次通过有效信息传递策略增强深层特征的细节信息表征能力，最后引入前景背景分离策略实现有效特征增强，生成待检测特征图后用于最终的目标分类和位置回归，可应用于军事目标识别，交通管理，资源勘探，环境监测，灾害预测和海事渔业等遥感图像目标检测相关领域中。
本发明采用以下技术方案：
一种多尺度遥感图像目标检测方法，包括以下步骤：
S1、从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
S2、设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure BDA0003059046970000021
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
S3、定义步骤S2设置的先验框与Ground Truth的匹配原则；
S4、构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，多尺度遥感图像目标检测模型包括基线网络VGG16、冗余信息消除策略模块、有效信息传递策略模块以及前景背景分离策略模块，得到用于检测的特征图
Figure BDA0003059046970000031
Figure BDA0003059046970000032
以及
Figure BDA0003059046970000033
S5、采用卷积对步骤S4生成的特征图
Figure BDA0003059046970000034
以及
Figure BDA0003059046970000035
进行特征检测，在训练过程中，根据步骤S3定义的匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
S6、根据步骤S5得到的检测结果与Ground Truth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
S7、利用步骤S1得到的训练数据集以及步骤S6设置的损失函数，对步骤S4构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对步骤S1得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
具体的，步骤S2中，先验框的尺寸设置规则如下；
Figure BDA0003059046970000036
其中，k∈[1,m]，m为特征图个数，Sk为先验框尺寸与原始图片的比值，Smax和Smin分别表示比值的最大和最小值。
具体的，步骤S3中，匹配原则为：
训练图片中任意一个Ground Truth与对应Ground Truth的交并比最大的先验框优先匹配，将先验框作为正样本；若一个先验框没有与之对应的Ground Truth，则作为负样本；对未匹配的先验框，若先验框与图片中某一个Ground Truth的交并比大于指定阈值，将未匹配的先验框与对应的Ground Truth进行匹配；采用Hard Negative Mining减少负样本数量，使正样本和负样本数量平衡。
具体的，步骤S4具体为：
S401、将原始输入图片经过基线网络VGG16提取目标特征，得到不同尺度特征图，提取Conv4_3层卷积输出特征图记为p1，再将Conv7,Conv8_2卷积层输出特征经过残差模块进行下采样，得到特征图p2和p3；
S402、将步骤S401得到的特征图p1和p2，特征图p2和p3分别输入冗余信息消除策略模块，处理得到消除冗余信息之后的特征图p′1和p′2；
S403、将特征图p′2和p1,p1、p2和p3分别输入有效信息传递策略模块得到特征图p″2和p′3，实现浅层特征图中有效细节信息向深层特征图的传递；
S404、将特征图p′1p1′、p″2以及p′3分别经过多个残差模块处理，提高特征图语义信息表征能力后，再分别输入前景背景分离策略模块进行处理，得到最终用于检测的特征图
Figure BDA0003059046970000041
以及
Figure BDA0003059046970000042
具体的，步骤S5中，设先验框位置表示为d＝(dcx，dcy，dw，dh)，先验框对应的预测边界框位置表示为b＝(bcx，bxy，bw，h)，边界框的真实预测值l是预测边界框相对于先验框的偏移值，对预测值l进行解码得到边界框的真实位置b，尺寸为m*n的特征图共有m*n个像素单元，每个单元设置k个先验框，每个单元产生k×(C+4)个预测值，所有单元共计生成m×n×k×(C+4)个预测值，对应k×(C+4)个卷积核。
具体的，步骤S6中，损失函数为：
Figure BDA0003059046970000051
其中，x表示特征图中任意一点处的像素值，N为正样本先验框数量，
Figure BDA0003059046970000052
为引导参数，当
Figure BDA0003059046970000053
时，表示第i个先验框与第j个Ground Truth匹配，且Ground Truth的类别为p，c为类别置信度预测值，l表示边界框的位置预测值，g为Ground Truth的位置参数，O为预测偏移值，A为计算偏移值，α、β为权重系数。
进一步的，位置误差Lloc(c，l，g)定义如下：
Figure BDA0003059046970000054
Figure BDA0003059046970000055
Figure BDA0003059046970000056
Figure BDA0003059046970000057
Figure BDA0003059046970000058
Figure BDA0003059046970000059
其中，xij表示第i个先验框与第j个Ground Truth的匹配结果，smoothL1表示Smooth L1损失函数，l表示边界框的位置预测值，g＝(gcx，gcy，gw，gh)表示Ground Truth的位置参数，
Figure BDA00030590469700000510
表示真实框相对于先验框的偏移值，d＝(dcx，dcy，dw，dh)表示先验框的位置参数。
进一步的，置信度误差lconf(x，c)具体为：
Figure BDA0003059046970000061
其中，
Figure BDA0003059046970000062
为指示参数，当
Figure BDA0003059046970000063
时，表示第i个先验框与第j个GroundTruth匹配，且Ground Truth的类别为p，c为类别置信度预测值，Pos为正样本集合，Neg为负样本集合，,
Figure BDA0003059046970000064
表示第i个先验框被预测为类别c的置信度分数，
Figure BDA0003059046970000065
表示经过Softmax loss处理后第i个先验框被预测为背景类的概率，
Figure BDA0003059046970000066
Figure BDA0003059046970000067
表示经过Softmax loss处理后第i个先验框被预测为类别c的概率，
Figure BDA0003059046970000068
进一步的，对于偏移误差Loff(O，A，g)，特征图p′1,p″2以及p′3分别通过卷积预测一个偏移值
Figure BDA00030590469700000614
最终的偏移预测值
Figure BDA0003059046970000069
另一条支路，特征图p′1,p″2以及p′3分别通过通道级MaxPooling操作以及
Figure BDA00030590469700000610
进行归一化处理，得到1通道特征图hi，max以及min分别表示特征图中最大像素点值和最小像素点值；若hi中某一点(ai，bi)处的值大于其八领域的值，则保存该点处的位置信息(ai，bi)，最终得到目标点集合[A，B],其中
Figure BDA00030590469700000611
n表示预测中心点的总个数。
本发明的另一技术方案是，一种多尺度遥感图像目标检测系统，包括：
预处理模块，从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
先验框模块，设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure BDA00030590469700000612
Figure BDA00030590469700000613
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
匹配模块，定义先验框模块设置的先验框与Ground Truth的匹配原则；
特征图模块，构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，并设置多尺度遥感图像目标检测模型中包含的模块参数，得到用于检测的特征图
Figure BDA0003059046970000071
以及
Figure BDA0003059046970000072
训练模块，采用卷积对特征图模块生成的特征图
Figure BDA0003059046970000073
以及
Figure BDA0003059046970000074
进行特征检测，在训练过程中，根据匹配模块定义的匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
函数模块，根据训练模块得到的检测结果与Ground Truth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
检测模块，利用预处理模块得到的训练数据集以及函数模块设置的损失函数，对特征图模块构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对预处理模块得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种多尺度遥感图像目标检测方法，是一种基于冗余信息消除有效信息传递的目标检测方法，将目标根据尺寸分布在较小的区间再进行检测。具体来说，擦除浅层特征图上的大目标特征，只在浅层保留小目标特征，使得网络能够更好地捕获小目标特征，提高模型检测小目标的能力，同时也抑制了浅层中的大目标显著特征，减少假阳性问题。其次，将浅层中被擦除的大目标的显著几何细节信息传递给深层的特征图，弥补深层特征图细节信息不充分的缺陷，增强大目标细节特征，提高整体检测性能。对于小而密集分布目标，通过前景背景分离模块，依据建立的隶属度函数，求得每个点属于前景的隶属程度，从而针对性的增强目标特征，抑制背景噪声，防止因噪声信息以及边界模糊问题导致的误检及漏检问题，提高遥感图像目标检测模型的整体检测性能。
进一步的，步骤S2中的先验框尺寸规则是根据遥感数据集中的目标分布特性设置的，这使得特征图中每个单元分布尺度以及纵横比不同的先验框，预测边界框以这些先验框为基准，在一定程度上降低了模型的训练难度。
进一步的，在模型训练阶段，步骤S3中的先验框匹配原则，引导步骤S2中设置的先验框与训练图片中的Ground Truth进行匹配，使得每个Ground Truth一定有与之匹配的先验框，其次，采用Hard Negative Mining方法，确保了模型中正负样本的平衡，使得模型在训练过程中更好的收敛。
进一步的，步骤S4中，对于输入图片，首先经过特征提取器提取图像特征，再分别通过冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)，消除浅层特征图上的显著大目标特征信息，增强深层特征图的细节信息表征能力，提出了Offset_Loss损失函数，用于修正冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)中多层特征图间目标位置信息分布不一致问题，最后通过前景背景分离模块(FBSM)实现前景背景分离，增强目标信息，抑制背景信息。
进一步的，步骤S5中直接利用卷积对不同尺寸特征图进行特征检测得到最终检测结果，本发明中，对于步骤S4中得到的待检测特征图
Figure BDA0003059046970000081
以及
Figure BDA0003059046970000082
分别用两个卷积层进行卷积操作，其中一个卷积层输出目标类别的置信度分数，另一个卷积层输出预测边界框的位置信息。与传统方法中直接采用全连接层进行分类和回归相比，减少了模型参数量，提高了模型的检测效率。
进一步的，步骤S6中损失函数L(x,c,l,g)由位置误差，置信度误差以及偏移误差三部分的加权和组成。设置损失函数的目的在于，在模型训练阶段，损失函数可以监督模型更好的学习遥感图像特征，提高模型优化速度以及训练结果的稳定性。
进一步的，位置误差Lloc(x,l,g)定义为预测边界框与Ground Truth之间的SmoothL1损失，在模型训练阶段，利用Ground Truth的位置信息作为标签，引导模型更好的进行目标位置回归，提高预测边界框的位置回归精度。
进一步的，置信度误差Lconf定义为多类别置信度上的Softmax损失，在模型训练阶段，利用Ground Truth所属类别标签监督模型对目标的分类预测，提高模型的目标分类准确度。
进一步的，偏移误差Offset_Loss损失函数，用于修正冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)中多层特征图间目标位置信息分布不一致问题，实现有监督的冗余特征消除和有效信息传递，避免模型在冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)中，消除有利目标特征信息或者引入干扰噪声信息的问题。
综上所述，本发明与现有技术相比具有以下优点：
1.对于小目标，本发明在目标检测模型中设计了冗余信息消除模块(UIEM)用于消除浅层特征图上的显著大目标特征以避免特征混淆，设计了有效信息传递模块(DITM)用于增强深层特征图的细节信息表征能力以增强特征聚合。
2.本发明在目标检测模型中设计了Offset_Loss损失函数，用于修正冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)中多层特征图间目标位置信息分布不一致问题，实现有监督的冗余特征消除和有效信息传递。
3.对于小而密集目标，本发明在目标检测模型中设计了前景背景分离模块(FBSM)，该模块结合了模糊推理相关知识，增强目标信息，抑制背景信息，避免了因噪声信息以及边界模糊问题导致的误检及漏检问题。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明提出的基于冗余信息消除有效信息传递的多尺度遥感图像目标检测方法总体结构图；
图2为本发明的UIEM冗余信息消除策略模块图；
图3为本发明的DITM有效信息传递策略模块图；
图4为本发明FBSM前景背景分离策略模块图；
图5为本发明的Offset_Loss偏移损失函数设计图；
图6为本发明的Resnet Bottleneck残差模块细节图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种多尺度遥感图像目标检测方法，解决了现有技术中小目标以及密集分布目标检测精度低的问题。其方案是：从遥感图像数据集中读取遥感图像，对图像进行预处理，构建训练数据集和测试数据集。构造基于冗余信息消除有效信息传递的多尺度遥感图形目标检测模型，用训练数据集对检测模型进行训练，利用训练好的目标检测模型对测试数据集进行分类。本发明引入浅层特征图中冗余信息消除策略、有效细节信息向深层特征图传递策略以及前景背景分离策略，提高了目标检测模型对小目标，密集分布目标的检测精度。可用于遥感图像目标检测任务。
请参阅图1，本发明一种多尺度遥感图像目标检测方法，从数据集中读入遥感图像，得到图像矩阵后，对样本进行预处理，选取训练数据集和测试数据集，构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，用训练数据集对检测模型进行训练，利用训练好的模型对测试数据集进行检测，Backbone表示特征提取基线网络，RB表示残差模块，UIEM表示冗余信息消除策略，DITM表示有效信息传递策略，FBSM表示前景背景分离策略，DH表示检测头，包括以下步骤：
S1、从数据集中读取遥感图像，并对图像进行预处理，包括缩放至固定尺寸，随机旋转，及镜像翻转等操作，选取遥感图像数据集中70％数据作为训练数据集，30％数据作为测试数据集；
S2、先验框设置；
目标检测模型中提取的不同尺寸的特征图对应不同数目的先验框。本实验中，遥感图像输入尺寸为400×400，用于检测的特征图尺寸为50，25，13，先验框的设置，包含尺度和纵横比两部分。
S201、先验框的尺寸设置规则；
Figure BDA0003059046970000121
其中，k∈[1,m]，m指特征图个数，Sk为先验框尺寸与原始图片的比值，Smax和Smin分别表示比值的最大和最小值，为0.9和0.2
S202、针对纵横比ar，选取
Figure BDA0003059046970000122
对于特定的纵横比，按如下公式计算先验框的宽度与高度(Sm代表先验框实际尺寸)：
Figure BDA0003059046970000123
Figure BDA0003059046970000124
通常，每个特征图在设置一个ar＝1且尺度为Sm的先验框的前提下，还会设置一个尺度为
Figure BDA0003059046970000125
且ar＝1的先验框。因此，每个特征图具有6个先验框。
S203、每个单元的先验框的中心点分布在特征图各个单元的中心，即
Figure BDA0003059046970000131
其中，|fk|为特征图的大小。
S3、先验框匹配；
在训练过程中，与训练图片Ground Truth(真实框)相匹配的先验框负责预测目标。匹配原则有两点，第一，为保证每个Ground Truth一定有与之对应的先验框，训练图片中任意一个Ground Truth和与此Ground Truth交并比最大的先验框优先匹配，此先验框称为正样本。若一个先验框没有与之对应的Ground Truth，则称之为负样本。一般情况下，图片中Ground Truth数量极少，若仅遵循第一个原则匹配，将导致正负样本不平衡现象。第二，如果仅根据第一原则未匹配的先验框，与某个Ground Truth的交并比(IOU)大于指定阈值(IOU>0.7)，则它与此Ground Truth进行匹配。
依据上述两个原则进行先验框匹配后，依旧无法保证正负样本数量平衡。针对以上问题，实验中采用Hard Negative Mining(难例挖掘)减少负样本数量，从而保证正负样本比例接近1:3。
S4、构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，多尺度遥感图像目标检测模型包括基线网络VGG16、冗余信息消除策略模块、有效信息传递策略模块以及前景背景分离策略模块；
S401、原始输入图片经过基线网络VGG16提取目标特征，得到不同尺度特征图，提取Conv4_3层卷积输出特征图记为p1，再将Conv7,Conv8_2卷积层输出特征经过残差模块(Resnet Bottleneck)进行下采样，得到特征图p2和p3，如图6所示，残差模块由残差和恒等映射两条支路组成。残差支路依次由1×1、3×3、1×1，3个卷积层构成，1×1卷积，能够对特征通道数起到升维或者降维的作用，从而使特征图以相对较低的维度输入3×3卷积进行运算，提高计算效率；
S402、特征图p1和p2，p2和p3分别输入冗余信息消除策略模块(UIEM)，经过处理，得到消除冗余信息之后的特征图p′1和p′2；
请参阅图2，对于冗余信息消除策略模块(UIEM)，AvgPooling以及MaxPooling分别表示通道级平均池化和通道级最大池化，首先将ps+1上采样到ps特征图尺寸，记为pu，对pu进行通道级AvgPooling和通道级MaxPooling操作，将得到的两个1通道特征图点乘，再通过Sigmoid函数进行非线性处理，将得到的特征向量与相同尺寸全1特征向量作差求得掩膜masks+1,将masks+1与ps做Hadamard Product运算后，再与ps做Element-wise sum运算，得到ps′。
S403、将特征图p′2和p1,p1、p2和p3分别输入有效信息传递策略模块(DITM)得到特征图p″2和p′3，实现浅层特征图中有效细节信息向深层特征图的传递；
请参阅图3，对于有效信息传递策略模块(DITM)，以生成特征图p′3为例，将特征图p3降采样得到与特征图p2和p1尺寸一致的两个特征图，分别记为特征图p32和p31，分别对特征图p32以及特征图p31进行通道级AvgPooling和通道级MaxPooling操作，将得到的两个1通道特征图点乘后通过Sigmoid函数进行非线性处理，得到掩膜mask13和mask23，将掩膜mask13与特征图p1做Hadamard Product运算得到掩膜p1_mask，经过残差模块(Resnet Bottleneck)下采样至与特征图p2相同尺寸，记为p1_mask_d，掩膜p1_mask_d与mask23和p2做Hadamard Product运算得到的特征向量做Concat操作，输出结果与经过1*1卷积的特征图p3做Element-wisesum运算，得到特征图p′3。
S404、将特征图p′1、p″2以及p′3分别经过多个残差模块处理，提高特征图语义信息表征能力后，再分别输入前景背景分离策略模块(FBSM)进行处理，得到最终用于检测的特征图
Figure BDA0003059046970000151
以及
Figure BDA0003059046970000152
如图4所示；
多尺度遥感图像目标检测模型中各个模块参数设置
残差模块Backbone(VGG16)参数设置：
第一层：3*3卷积层，步长为1，输入通道数3，输出通道数64；
第二层：3*3卷积层，步长为1；输入通道数64，输出通道数64；
第三层：2*2最大池化层，步长为2；
第四层：3*3卷积层，步长为1，输入通道数64，输出通道数128；
第五层：3*3卷积层，步长为1，输入通道数128，输出通道数128；
第六层：2*2最大池化层，步长为2；
第七层：3*3卷积层，步长为1，输入通道数128，输出通道数256；
第八层：3*3卷积层，步长为1，输入通道数128，输出通道数256；
第九层：3*3卷积层，步长为1，输入通道数128，输出通道数256；
第十层：2*2最大池化层，步长为2；
第十一层：3*3卷积层，步长为1，输入通道数256，输出通道数512；
第十二层：3*3卷积层，步长为1，输入通道数512，输出通道数512；
第十三层：3*3卷积层，步长为1，输入通道数512，输出通道数512；
第十四层：2*2最大池化层，步长为2；
第十五层：3*3卷积层，步长为1，输入通道数512，输出通道数512；
第十六层：3*3卷积层，步长为1，输入通道数512，输出通道数512；
第十七层：3*3卷积层，步长为1，输入通道数512，输出通道数512；
第十八层：3*3最大池化层，步长为1
第十九层：3*3卷积层，扩张率为6，步长为1，输入通道数512，通道数1024；
第二十层：3*3卷积层，步长为1，输入通道数1024，输出通道数1024。
冗余信息消除策略模块(UIEM)参数设置(以特征图p1,p2为例)：
p2掩膜生成支路(mask12)：
上采样层，采样方式为双线性差值；
50*50通道级AvgPooling层；
50*50通道级MaxPooling层；
1*1卷积层，步长为1，输入通道数为1，输出通道数为1；
Sigmoid层，对1通道特征图mask12进行非线性处理，输入通道数为1，输出通道数为1；
p1冗余信息消除支路：
1*1卷积层，步长为1，输入通道数为512，输出通道数为512；
有效信息传递策略模块(DITM)参数设置(以特征图p1,p2,p3为例)：
p3掩膜生成支路1(mask23)：
上采样层，采样方式为双线性差值；
25*25通道级AvgPooling层；
25*25通道级MaxPooling层；
1*1卷积层，步长为1，输入通道数为1，输出通道数为1；
Sigmoid层，对1通道特征图mask23进行非线性处理，输入通道数为1，输出通道数为1；
p3掩膜生成支路2(mask13)：
上采样层，采样方式为双线性差值；
50*50通道级AvgPooling层；
50*50通道级MaxPooling层；
1*1卷积层，步长为1，输入通道数为1，输出通道数为1；
Sigmoid层，对1通道特征图mask13进行非线性处理，输入通道数为1，输出通道数为1；
下采样支路：
1*1卷积层，步长为1，输入通道数为512，输出通道数为256；
3*3卷积层，步长为2，输入通道数为256，输出通道数为256；
1*1卷积层，步长为1，输入通道数为256，输出通道数为512；
融合支路：
1*1卷积层，步长为1，输入通道数为512，输出通道数为1024。
S5、采用卷积对S4生成的特征图
Figure BDA0003059046970000171
进行特征检测，首先根据类别目标分数确定预测边界框类别(置信度最大的类别表示预测边界框类别)及其置信度值，再根据置信度阈值(>0.5)过滤掉部分预测边界框，将保留的预测边界框进行解码，得到真正的坐标信息，之后根据置信度值(降序排列)保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，最后剩余的预测边界框为最终检测结果；
对于S5中用于特征检测的卷积结构，每一个先验框对应一组检测值，检测值包括两部分，第一部分是每个类别的置信度(包括背景)，其中置信度最高的类别为预测边界框所属类别。第二部分为预测边界框的位置信息，包含四个值(Cx,Cy,W,H)，依次表示预测边界框的中心坐标以及宽高。
在真实预测值中，预测边界框的位置信息是相对于先验框的偏移值。
假设先验框位置表示为d＝(dcx,dcy,dw,dh)，预测边界框位置表示为b＝(bcx,bxy,bw,bh)，则预测边界框的真实预测值l可表示为：
Figure BDA0003059046970000181
Figure BDA0003059046970000182
Figure BDA0003059046970000183
Figure BDA0003059046970000184
上述操作过程称为预测边界框的编码(Encode)。
预测时，需要将此过程进行逆向操作，即解码(Decode)，从预测值l到预测边界框的真实位置b，需要经过以下操作：
bcx＝dwlcx+dcx
bcy＝dylcy+dcy
bw＝dwexp(lw)
by＝dhexp(lh)
对于尺寸为m×n的特征图，共有m×n个像素单元。每个单元设置k个先验框，则每个单元产生k×(C+4)个预测值。所有的单元共计生成m×n×k×(C+4)个预测值。因此需要k×(C+4)个卷积核完成特征图检测任务。
S6、损失函数由三个部分组成，如图5所示，定义为位置误差(Location Loss)、置信度误差(Confidence Loss)以及偏移误差(Offset Loss)的加权和：
Figure BDA0003059046970000185
其中，N为正样本先验框数量，
Figure BDA0003059046970000186
为引导参数，当
Figure BDA0003059046970000187
时，表示第i个先验框与第j个Ground Truth匹配，且Ground Truth的类别为p，c为类别置信度预测值，l表示边界框的位置预测值，g为Ground Truth的位置参数，O为预测偏移值，A为计算偏移值，α，β为权重系数，其中α＝0.999，β＝0.001。
对于位置误差，采用Smooth L1 Loss，定义如下：
Figure BDA0003059046970000191
Figure BDA0003059046970000192
Figure BDA00030590469700001911
Figure BDA0003059046970000193
Figure BDA0003059046970000194
Figure BDA0003059046970000195
由于
Figure BDA0003059046970000196
的存在，位置误差仅针对正样本进行计算。
其中，xij表示第i个先验框与第j个Ground Truth的匹配结果，smoothL1表示Smooth L1损失函数，l表示边界框的位置预测值，g＝(gcx，gcy，gw，gh)表示Ground Truth的位置参数，
Figure BDA0003059046970000197
表示真实框相对于先验框的偏移值。d＝(dcx，dcy，dw，dh)表示先验框的位置参数。
对于置信度误差，采用Softmax Loss:
Figure BDA0003059046970000198
其中，
Figure BDA0003059046970000199
为指示参数，当
Figure BDA00030590469700001910
时，表示第i个先验框与第j个GroundTruth匹配，且Ground Truth的类别为p，c为类别置信度预测值，Pos为正样本集合，Neg为负样本集合，,
Figure BDA0003059046970000201
表示第i个先验框被预测为类别c的置信度分数,
Figure BDA0003059046970000202
表示经过Softmax loss处理后第i个先验框被预测为背景类的概率，
Figure BDA0003059046970000203
Figure BDA0003059046970000204
表示经过Softmax loss处理后第i个先验框被预测为类别c的概率，
Figure BDA0003059046970000205
对于偏移误差，特征图p′1,p″2以及p′3分别通过卷积预测一个偏移值
Figure BDA00030590469700002011
最终的偏移预测值
Figure BDA0003059046970000206
另一条支路，特征图p′1,p″2以及p′3分别通过通道级MaxPooling操作以及
Figure BDA0003059046970000207
进行归一化处理，得到1通道特征图hi，其中x表示特征图中任意一点处的像素值，max以及min分别表示特征图中最大像素点值和最小像素点值。若hi中某一点(ai，bi)处的值大于其八领域的值，则保存该点处的位置信息(ai，bi)，最终得到目标点集合[A，B],其中
Figure BDA00030590469700002012
n表示预测中心点的总个数。
Ground Truth中真实目标中心点位置信息记为[X,Y]，则偏移误差Loff表示为：
Figure BDA0003059046970000209
Figure BDA00030590469700002010
S7、用训练数据集对模型进行训练，得到训练好的检测模型；利用训练好的模型对测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
本发明再一个实施例中，提供一种多尺度遥感图像目标检测系统，该系统能够用于实现上述多尺度遥感图像目标检测方法，具体的，该多尺度遥感图像目标检测系统包括预处理模块、先验框模块、匹配模块、特征图模块、训练模块、函数模块以及检测模块。
其中，预处理模块，从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
先验框模块，设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure BDA0003059046970000211
Figure BDA0003059046970000212
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
匹配模块，定义先验框模块设置的先验框与Ground Truth的匹配原则；
特征图模块，构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，并设置多尺度遥感图像目标检测模型中包含的模块参数，得到用于检测的特征图
Figure BDA0003059046970000213
以及
Figure BDA0003059046970000214
训练模块，采用卷积对特征图模块生成的特征图
Figure BDA0003059046970000215
以及
Figure BDA0003059046970000216
进行特征检测，在训练过程中，根据匹配模块定义的匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
函数模块，根据训练模块得到的检测结果与Ground Truth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
检测模块，利用预处理模块得到的训练数据集以及函数模块设置的损失函数，对特征图模块构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对预处理模块得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于多尺度遥感图像目标检测方法的操作，包括：
从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure BDA0003059046970000221
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；定义先验框与Ground Truth的匹配原则；构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，并设置多尺度遥感图像目标检测模型中包含的模块参数，得到用于检测的特征图
Figure BDA0003059046970000222
以及
Figure BDA0003059046970000223
采用卷积对特征图
Figure BDA0003059046970000224
以及
Figure BDA0003059046970000225
进行特征检测，在训练过程中，根据匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；根据检测结果与GroundTruth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；利用训练数据集以及损失函数，对构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关多尺度遥感图像目标检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure BDA0003059046970000231
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；定义先验框与Ground Truth的匹配原则；构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，并设置多尺度遥感图像目标检测模型中包含的模块参数，得到用于检测的特征图
Figure BDA0003059046970000232
以及
Figure BDA0003059046970000235
采用卷积对特征图
Figure BDA0003059046970000233
以及
Figure BDA0003059046970000234
进行特征检测，在训练过程中，根据匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；根据检测结果与GroundTruth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；利用训练数据集以及损失函数，对构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
1.仿真条件：
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU,64GB RAM。
软件平台为：Python，PyTorch深度学习框架。
2.仿真内容与结果：
本发明仿真实验采用NWPU VHR-10遥感图像数据集。总共包含800张高分辨率遥感图像。其中带标签图像总计650张，包含飞机，油罐，港口，操场，轿车，棒球场，网球场，篮球场，轮船以及桥梁共计10个类别。利用训练好的检测模型对遥感图像测试数据集进行检测，并与传统目标检测模型进行比较。表1是检测结果精度对比。
表1.本发明与传统方法性能比较
方法 本发明(AP) 传统方法(AP)
飞机 90.73 90.16
油罐 75.71 66.50
港口 76.53 76.40
操场 99.03 99.10
轿车 42.80 31.10
桥梁 60.98 77.26
棒球场 96.78 90.15
网球场 70.03 53.83
篮球场 82.68 63.64
轮船 73.70 73.58
mAP 76.00 72.17
从表1中可以看出，本发明方法相比于传统方法，在检测精度上有了较大的提高，小目标检测效果以及密集分布目标检测效果得到了提升。
综上所述，本发明一种多尺度遥感图像目标检测方法，具有以下优点：
1.对于小目标，本发明在目标检测模型中设计了冗余信息消除模块(UIEM)用于消除浅层特征图上的显著大目标特征以避免特征混淆，设计了有效信息传递模块(DITM)用于增强深层特征图的细节信息表征能力以增强特征聚合。
2.本发明在目标检测模型中设计了Offset_Loss损失函数，用于修正冗余信息消除模块(UIEM)以及有效信息传递模块(DITM)中多层特征图间目标位置信息分布不一致问题，实现有监督的冗余特征消除和有效信息传递。
3.对于小而密集目标，本发明在目标检测模型中设计了前景背景分离模块(FBSM)，该模块结合了模糊推理相关知识，增强目标信息，抑制背景信息，避免了因噪声信息以及边界模糊问题导致的误检及漏检问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种多尺度遥感图像目标检测方法，其特征在于，包括以下步骤：
S1、从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
S2、设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure FDA0003059046960000011
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
S3、定义步骤S2设置的先验框与Ground Truth的匹配原则；
S4、构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，多尺度遥感图像目标检测模型包括基线网络VGG16、冗余信息消除策略模块、有效信息传递策略模块以及前景背景分离策略模块，得到用于检测的特征图
Figure FDA0003059046960000012
Figure FDA0003059046960000013
以及
Figure FDA0003059046960000014
S5、采用卷积对步骤S4生成的特征图
Figure FDA0003059046960000015
以及
Figure FDA0003059046960000016
进行特征检测，在训练过程中，根据步骤S3定义的匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
S6、根据步骤S5得到的检测结果与Ground Truth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
S7、利用步骤S1得到的训练数据集以及步骤S6设置的损失函数，对步骤S4构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对步骤S1得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
2.根据权利要求1所述的方法，其特征在于，步骤S2中，先验框的尺寸设置规则如下；
Figure FDA0003059046960000021
其中，k∈[1,m]，m为特征图个数，Sk为先验框尺寸与原始图片的比值，Smax和Smin分别表示比值的最大和最小值。
3.根据权利要求1所述的方法，其特征在于，步骤S3中，匹配原则为：
训练图片中任意一个Ground Truth与对应Ground Truth的交并比最大的先验框优先匹配，将先验框作为正样本；若一个先验框没有与之对应的Ground Truth，则作为负样本；对未匹配的先验框，若先验框与图片中某一个Ground Truth的交并比大于指定阈值，将未匹配的先验框与对应的Ground Truth进行匹配；采用Hard Negative Mining减少负样本数量，使正样本和负样本数量平衡。
4.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、将原始输入图片经过基线网络VGG16提取目标特征，得到不同尺度特征图，提取Conv4_3层卷积输出特征图记为p1，再将Conv7,Conv8_2卷积层输出特征经过残差模块进行下采样，得到特征图p2和p3；
S402、将步骤S401得到的特征图p1和p2，特征图p2和p3分别输入冗余信息消除策略模块，处理得到消除冗余信息之后的特征图p′1和p′2；
S403、将特征图p′2和p1,p1、p2和p3分别输入有效信息传递策略模块得到特征图p″2和p′3，实现浅层特征图中有效细节信息向深层特征图的传递；
S404、将特征图p′1p′1、p″2以及p′3分别经过多个残差模块处理，提高特征图语义信息表征能力后，再分别输入前景背景分离策略模块进行处理，得到最终用于检测的特征图
Figure FDA0003059046960000031
以及
Figure FDA0003059046960000032
5.根据权利要求1所述的方法，其特征在于，步骤S5中，设先验框位置表示为d＝(dcx,dcy,dw,dh)，先验框对应的预测边界框位置表示为b＝(bcx,bxy,bw,bh)，边界框的真实预测值l是预测边界框相对于先验框的偏移值，对预测值l进行解码得到边界框的真实位置b，尺寸为m*n的特征图共有m*n个像素单元，每个单元设置k个先验框，每个单元产生k×(C+4)个预测值，所有单元共计生成m×n×k×(C+4)个预测值，对应k×(C+4)个卷积核。
6.根据权利要求1所述的方法，其特征在于，步骤S6中，损失函数为：
Figure FDA0003059046960000033
其中，x表示特征图中任意一点处的像素值，N为正样本先验框数量，
Figure FDA0003059046960000034
为引导参数，当
Figure FDA0003059046960000035
时，表示第i个先验框与第j个Ground Truth匹配，且Ground Truth的类别为p，c为类别置信度预测值，l表示边界框的位置预测值，g为Ground Truth的位置参数，O为预测偏移值，A为计算偏移值，α、β为权重系数。
7.根据权利要求6所述的方法，其特征在于，位置误差Lloc(x,l,g)定义如下：
Figure FDA0003059046960000036
Figure FDA0003059046960000037
Figure FDA0003059046960000038
Figure FDA0003059046960000039
Figure FDA0003059046960000041
Figure FDA0003059046960000042
其中，xij表示第i个先验框与第j个Ground Truth的匹配结果，smoothL1表示Smooth L1损失函数，l表示边界框的位置预测值，g＝(gcx,gcy,gw,gh)表示Ground Truth的位置参数，
Figure FDA0003059046960000043
表示真实框相对于先验框的偏移值，d＝(dcx,dcy,dw，dh)表示先验框的位置参数。
8.根据权利要求6所述的方法，其特征在于，置信度误差Lconf(x，c)具体为：
Figure FDA0003059046960000044
其中，
Figure FDA0003059046960000045
为指示参数，当
Figure FDA0003059046960000046
时，表示第i个先验框与第j个GroundTruth匹配，且Ground Truth的类别为p，c为类别置信度预测值，Pos为正样本集合，Neg为负样本集合，,
Figure FDA0003059046960000047
表示第i个先验框被预测为类别c的置信度分数，
Figure FDA0003059046960000048
表示经过Softmax loss处理后第i个先验框被预测为背景类的概率，
Figure FDA0003059046960000049
Figure FDA00030590469600000410
表示经过Softmax loss处理后第i个先验框被预测为类别c的概率，
Figure FDA00030590469600000411
9.根据权利要求6所述的方法，其特征在于，对于偏移误差Loff(O，A，g)，特征图p′1,p″2以及p′3分别通过卷积预测一个偏移值
Figure FDA00030590469600000412
最终的偏移预测值
Figure FDA00030590469600000413
另一条支路，特征图p′1,p″2以及p′3分别通过通道级MaxPooling操作以及
Figure FDA00030590469600000414
进行归一化处理，得到1通道特征图hi，max以及min分别表示特征图中最大像素点值和最小像素点值；若hi中某一点(ai，bi)处的值大于其八领域的值，则保存该点处的位置信息(ai，bi)，最终得到目标点集合[A，B],其中
Figure FDA00030590469600000415
n表示预测中心点的总个数。
10.一种多尺度遥感图像目标检测系统，其特征在于，包括：
预处理模块，从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
先验框模块，设置先验框的尺寸以及先验框的纵横比ar，纵横比
Figure FDA0003059046960000051
Figure FDA0003059046960000052
先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
匹配模块，定义先验框模块设置的先验框与Ground Truth的匹配原则；
特征图模块，构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，并设置多尺度遥感图像目标检测模型中包含的模块参数，得到用于检测的特征图
Figure FDA0003059046960000053
以及
Figure FDA0003059046960000054
训练模块，采用卷积对特征图模块生成的特征图
Figure FDA0003059046960000055
以及
Figure FDA0003059046960000056
进行特征检测，在训练过程中，根据匹配模块定义的匹配原则，与Ground Truth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
函数模块，根据训练模块得到的检测结果与Ground Truth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
检测模块，利用预处理模块得到的训练数据集以及函数模块设置的损失函数，对特征图模块构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对预处理模块得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。
CN202110507602.6A 2021-05-10 2021-05-10 一种多尺度遥感图像目标检测方法及系统 Active CN113221731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507602.6A CN113221731B (zh) 2021-05-10 2021-05-10 一种多尺度遥感图像目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507602.6A CN113221731B (zh) 2021-05-10 2021-05-10 一种多尺度遥感图像目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN113221731A true CN113221731A (zh) 2021-08-06
CN113221731B CN113221731B (zh) 2023-10-27

Family

ID=77094392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507602.6A Active CN113221731B (zh) 2021-05-10 2021-05-10 一种多尺度遥感图像目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113221731B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689399A (zh) * 2021-08-23 2021-11-23 长安大学 一种用于电网识别遥感图像处理方法及系统
CN114882501A (zh) * 2022-05-12 2022-08-09 上海大学 一种基于可解释深度学习算法的循环肿瘤细胞检测系统
CN114998438A (zh) * 2022-08-02 2022-09-02 深圳比特微电子科技有限公司 一种目标检测方法、装置和机器可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140014A1 (en) * 2017-01-25 2018-08-02 Athelas, Inc. Classifying biological samples using automated image analysis
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140014A1 (en) * 2017-01-25 2018-08-02 Athelas, Inc. Classifying biological samples using automated image analysis
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI ZHAO ET AL.: "Multi-scale image block-level f-cnn for remote sensing images object detection", 《IEEE ACCESS》 *
李山坤等: "基于实例分割的双目特征点匹配目标识别和定位研究", 《无线电工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689399A (zh) * 2021-08-23 2021-11-23 长安大学 一种用于电网识别遥感图像处理方法及系统
CN113689399B (zh) * 2021-08-23 2024-05-31 国网宁夏电力有限公司石嘴山供电公司 一种用于电网识别遥感图像处理方法及系统
CN114882501A (zh) * 2022-05-12 2022-08-09 上海大学 一种基于可解释深度学习算法的循环肿瘤细胞检测系统
CN114998438A (zh) * 2022-08-02 2022-09-02 深圳比特微电子科技有限公司 一种目标检测方法、装置和机器可读存储介质
CN114998438B (zh) * 2022-08-02 2022-11-01 深圳比特微电子科技有限公司 一种目标检测方法、装置和机器可读存储介质

Also Published As

Publication number Publication date
CN113221731B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
Kang et al. ASF-YOLO: A novel YOLO model with attentional scale sequence fusion for cell instance segmentation
Li et al. Insulator defect recognition based on global detection and local segmentation
Wang et al. FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection
Xu et al. Scale-aware feature pyramid architecture for marine object detection
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN108875595A (zh) 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN107644426A (zh) 基于金字塔池化编解码结构的图像语义分割方法
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN110334709B (zh) 基于端到端多任务深度学习的车牌检测方法
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
CN114821069A (zh) 融合富尺度特征的双分支网络遥感图像建筑语义分割方法
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN115345859A (zh) 隧道渗漏水图像的智能检测方法、装置、设备及存储介质
CN114926622A (zh) 一种少样本目标检测方法、电子设备及计算机介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115223017A (zh) 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN116503726A (zh) 一种多尺度轻量化的烟雾图像分割方法及装置
Liu et al. Progressive context-dependent inference for object detection in remote sensing imagery
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN114898290A (zh) 一种海上船舶实时检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant