CN116844055A - 轻量级sar舰船检测方法及系统 - Google Patents
轻量级sar舰船检测方法及系统 Download PDFInfo
- Publication number
- CN116844055A CN116844055A CN202310894407.2A CN202310894407A CN116844055A CN 116844055 A CN116844055 A CN 116844055A CN 202310894407 A CN202310894407 A CN 202310894407A CN 116844055 A CN116844055 A CN 116844055A
- Authority
- CN
- China
- Prior art keywords
- feature
- ship
- branch
- ship detection
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000011176 pooling Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000007499 fusion processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 61
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 4
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及雷达舰船检测技术领域，特别涉及一种轻量级SAR舰船检测方法及系统，通过获取合成孔径雷达图像舰船检测样本数据并构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；设计模型训练用目标损失函数，对舰船检测网络模型参数进行训练调优，利用训练调优后的舰船检测网络模型来输出待测SAR舰船图像中舰船位置及舰船类别。本发明利用高效轻量级网络降低计算成本，便于实际应用场景中的部署实施。
Description
技术领域
本发明涉及雷达舰船检测技术领域，特别涉及一种轻量级SAR舰船检测方法及系统。
背景技术
合成孔径雷达(SAR)是一种有源微波成像雷达，可以实现对地面的全天候全天时观测，因此被广泛应用于目标重建、目标检测、灾害和环境监测等领域。在这些应用领域中，SAR图像中的自动舰船检测在国防安全、渔船监测、海上运输监管和救援等军事和民用领域都发挥着重要作用，具有重要的研究意义。然而，与光学图像相比，从卫星和机载平台获取的SAR图像通常分辨率较低，容易受到背景杂波和噪声的影响。并且不同尺寸的舰船在SAR图像中显示为具有不同像素的物体，具有多尺度性。因此对具有多尺度特征的SAR舰船进行准确检测仍然是一个重大的挑战。
传统的SAR舰船检测方法通常依靠经验来手动选择特征，如灰度、纹理、对比度、直方图统计和散射特性。通常它们只适用于背景简单的SAR舰船检测。在传统SAR舰船检测方法中，恒虚警率检测方法应用广泛，它根据目标与海杂波背景的对比度设置阈值，在高对比度场景中可以获得很好的检测性能。然而当周围环境复杂时，很难用统计数据来描述舰船目标的散射机制，检测性能会下降。
发明内容
针对在飞机或卫星平台上部署舰船检测任务时受硬件配置及软件资源限制的情形，本发明提供一种轻量级SAR舰船检测方法及系统，利用高效且轻量级的网络模型来保证检测精度的同时，降低计算成本，便于实际应用场景中的部署实施。
按照本发明所提供的设计方案，提供一种轻量级SAR舰船检测方法，包含：
获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集；
构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；
基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优；
将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
作为本发明轻量级SAR舰船检测方法，进一步地，获取合成孔径雷达图像舰船检测样本数据，包含：
首先，通过网络获取原始合成孔径雷达图像舰船检测数据集，且在该数据集中包含图像图片数据和对应的图像标注数据；
然后，对图像标注数据进行预处理，以获取模型所需格式文本数据。
作为本发明轻量级SAR舰船检测方法，进一步地，利用轻量级骨干网络进行特征提取并输出多个分支特征图，包含：
首先，利用一个轻量化特征提取网络提取输入图像的特征图C1，将特征图C1作为输入并利用两个堆叠的轻量化特征提取网络获取特征图C2；接着，将特征图C2作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C3；然后，将特征图C3作为输入并利用六个堆叠的轻量化特征提取网络获取特征图C4；最后，将特征图C4作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C5，将特征图C3、特征图C4和特征图C5作为各分支特征图。
作为本发明轻量级SAR舰船检测方法，进一步地，利用轻量级骨干网络进行特征提取并输出多个分支特征图，还包含：
在提取各分支特征图时，首先，将特征信息分别沿垂直和水平方向进行分解，以获取两个平行的一维特征编码；在两个分解方向上对分解后的特征编码信息上进行最大池化和平均池化操作，利用多层感知器来获取两个方向上的特征输出，对两个方向上的特征输出进行拼接处理，并对拼接处理后的特征信息依次进行卷积、归一化和激活处理，以获取含有两个方向空间位置信息的中间特征图；然后，将中间特征图分裂为垂直张量和水平张量，并分别利用1×1卷积变换对垂直张量和水平张量的通道数量进行调整，通过激活函数获取对应通道权重；最后，将通道权重与特征信息相乘，以对各分支特征图中对应通道和位置特征进行增强处理。
作为本发明轻量级SAR舰船检测方法，进一步地，利用增强空间金字塔对深层分支特征图进行处理，包含：
首先，对深层分支特征图进行卷积和归一化激活处理，并利用三个并行的不同尺度池化核进行最大池化操作，以获取不同大小特征信息；然后，将不同大小特征信息通过级联和卷积处理来完成特征提取和下采样，以获取要输出的特征，并在输出特征层中利用残差分支将输入特征连接到要输出的特征中。
作为本发明轻量级SAR舰船检测方法，进一步地，利用多尺度特征融合网络对各分支特征图自上而下进行融合处理，包含：
首先，将各分支特征图划分为浅层分支特征图、中层分支特征图和深层分支特征图，并将各分支特征图自上而下进行融合处理；
接着，对深层分支特征图经过增强空间金字塔后得到的深层特征图进行上采样，将其与中层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取中层特征图；将中层特征图与浅层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取浅层特征图，其中，在获取中层和浅层特征图中均通过全连接层来适应特征通道之间的相关性；
然后，将浅层特征图通过卷积操作来得到融合后的浅层输出特征图；对浅层输出特征图进行下采样，将下采样后的浅层输出特征图与中层特征图和中层分支特征图进行融合，以获取中层输出特征图；对中层输出特征图进行下采样，将下采样后的中层输出特征图与深层特征图相融合，以获取深层输出特征图。
作为本发明轻量级SAR舰船检测方法，进一步地，模型训练用目标损失函数表示为：Loss＝Losscls+Lossobj+LossCIoU，其中，Losscls为分类损失，Lossobj为置信度损失，LossCIoU为回归损失，且
K表示网格大小，M表示每个网格中的锚点数量，为表示网格锚点坐标(i,j)处的边界框中是否有目标，/>和p为真实框和预测框的类别概率，class为标注标签集合，c为分类标签，α和p为控制正负样本权重以及样本分类难度的权重系数，γ为调制参数，/>和/>分别为真实目标和预测目标的置信度，wgt和hgt表示真实框的宽度和高度，CIoU为交并比损失函数。
进一步地，本发明还提供一种轻量级SAR舰船检测系统，包含：数据获取模块、模型构建模块、模型训练模块和目标识别模块，其中，
数据获取模块，用于获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集；
模型构建模块，用于构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；
模型训练模块，用于基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优；
目标识别模块，用于将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
本发明的有益效果：
本发明利用轻量级骨干网络来进行特征提取，能够降低计算成本，可将通道和位置增强注意力机制集成到骨干网络架构中，以通过捕捉位置信息来更准确地定位SAR舰船目标位置；为了增强特征的表达能力并解决SAR图像中小型舰船在高层特征中的位置信息丢失问题，利用增强空间金字塔池EnSPP，以更充分地聚合输出特征；并为了克服SAR舰船目标的多尺度特征，利用有效的多尺度特性融合网络MFFNet来获得具有更多位置和语义信息的特征图；考虑到正负样本之间的不平衡，引入控制正负样本权重以及样本分类难度的权重系数来设置置信度损失函数，提升模型训练质量和性能，以提高SAR舰船检测精度。
附图说明：
图1为实施例中轻量级SAR舰船检测流程示意；
图2为实施例中舰船检测网络模型工作原理示意；
图3为实施例中轻量级骨干网络结构示意；
图4为实施例中轻量化特征提取网络结构示意；
图5为实施例中增强空间金字塔结构示意；
图6为实施例中多尺度特征融合网络结构示意；
图7为实施例中SSDD数据集上SAR舰船检测结果示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
近年来，深度学习方法被广泛应用于目标检测与识别、目标定位和图像分割等领域。深度学习方法具有自学习、自我完善和权重共享等优点，因此利用深度学习方法可以实现SAR图像中舰船的自动检测和识别。为了提高神经网络的准确性，注意力机制被广泛应用于目标检测和识别中。现有深度学习方法在SAR舰船探测任务中都取得了良好的效果。然而，目前基于深度学习的SAR舰船检测方法主要关注检测精度的提高，忽略了模型的复杂性和计算量，随着网络的深入而增加，不便于在软硬件资源受限环境中的部署实施。为此，本发明实施例中，提供一种轻量级SAR舰船检测方法，包含：
S101、获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集。
具体地，获取合成孔径雷达图像舰船检测样本数据，可设计为包含如下内容：
首先，通过网络获取原始合成孔径雷达图像舰船检测数据集，且在该数据集中包含图像图片数据和对应的图像标注数据；
然后，对图像标注数据进行预处理，以获取模型所需格式文本数据。
可通过网络获取原始合成孔径雷达图像舰船检测数据集。数据集包括格式为jpg的图像和格式为xml的图像标注文件。对图像标注文件进行预处理，获得模型所需的txt文本，再将数据集按照8:2的比例划分为训练集和测试集。
需要注意说明的是，本案实施例中划分训练集和测试集的预设比例可根据实际应用情况进行调整，8:2仅为举例示意。
S102、构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头。
其中，利用轻量级骨干网络进行特征提取并输出多个分支特征图，可设计为包含如下内容：
首先，利用一个轻量化特征提取网络提取输入图像的特征图C1，将特征图C1作为输入并利用两个堆叠的轻量化特征提取网络获取特征图C2；接着，将特征图C2作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C3；然后，将特征图C3作为输入并利用六个堆叠的轻量化特征提取网络获取特征图C4；最后，将特征图C4作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C5，将特征图C3、特征图C4和特征图C5作为各分支特征图。
参见图2和图3所示，本案实施例中轻量级骨干网络采用LFEBNet，其所用的卷积为深度可分离卷积，其基本架构是利用轻量型特征萃取模块LFEM堆叠而成。当图像输入到模型后，首先通过1个LFEM模块获得特征图C1，之后通过2个堆叠的LFEM模块获得特征图C2，之后通过3个堆叠的LFEM模块获得特征图C3，之后通过6个堆叠的LFEM模块获得特征图C4，最后通过3个堆叠的LFEM模块获得特征图C5。
在提取各分支特征图时，首先，将特征信息分别沿垂直和水平方向进行分解，以获取两个平行的一维特征编码；在两个分解方向上对分解后的特征编码信息上进行最大池化和平均池化操作，利用多层感知器来获取两个方向上的特征输出，对两个方向上的特征输出进行拼接处理，并对拼接处理后的特征信息依次进行卷积、归一化和激活处理，以获取含有两个方向空间位置信息的中间特征图；然后，将中间特征图分裂为垂直张量和水平张量，并分别利用1×1卷积变换对垂直张量和水平张量的通道数量进行调整，通过激活函数获取对应通道权重；最后，将通道权重与特征信息相乘，以对各分支特征图中对应通道和位置特征进行增强处理。
本案实施例中，将通道和位置增强注意力模块CPEA集成到LFEBNet架构中，以对提取的特征进行增强处理。具体过程，如图4所示，将输入的特征信息X分别沿垂直和水平方向进行分解，得到两个平行的一维特征编码。同时在两个方向上对分解后的特征进行最大池化和平均池化操作。在池化操作完成之后，应用多层感知器获得两个方向的特征输出Xh和Xw。之后将特征Xh和Xw进行连接，经过1×1的卷积核，BatchNoorm和Hard-swish激活函数，得到含有两个方向空间位置信息的中间特征图为：
XI＝Hs[Conv(Concat(Xh,Xw))] (1)
其中，Concat(·,·)表示连接操作，Conv(·)是卷积变换。Hs(·)表示Hard-swish激活函数
然后将中间特征图XI分裂为垂直和水平张量XIh和XIw。分别使用1×1卷积变换对其通道数量进行调整，之后通过Hard-swish激活函数得到相应的权重。最后将权重与输入的特征信息X相乘，获得CPEA的输出。
具体地，利用增强空间金字塔对深层分支特征图进行处理，可设计为包含如下内容：
首先，对深层分支特征图进行卷积和归一化激活处理，并利用三个并行的不同尺度池化核进行最大池化操作，以获取不同大小特征信息；然后，将不同大小特征信息通过级联和卷积处理来完成特征提取和下采样，以获取要输出的特征，并在输出特征层中利用残差分支将输入特征连接到要输出的特征中。
参见图5所示，为了增强特征的表达能力以及解决SAR图像中小型舰船在高层特征中的位置信息损失，本发明构建了增强空间金字塔池化模块EnSPP。EnSPP首先对输入特征图进行卷积和归一化激活，然后进行三个并行的最大池化操作，池化核为5、7和9。此处选用较小的池化核以便更准确地获得SAR图像中小型船只的位置信息，并且多尺度池化操作可以有效地提高SAR舰船检测网络的精度。此外并行的最大池化操作可以提高目标特征提取的速度。然后获得的不同大小的特征被级联和卷积两次以实现特征提取和下采样。此外，本案实施例中，在输出特征层中引入残差分支，将输入的原始特征直接连接到要输出的特征中从而更充分地聚合输出特征。
进一步地，本案实施例中，利用多尺度特征融合网络对各分支特征图自上而下进行融合处理，具体可设计为包含如下内容：
首先，将各分支特征图划分为浅层分支特征图、中层分支特征图和深层分支特征图，并将各分支特征图自上而下进行融合处理；
接着，对深层分支特征图经过增强空间金字塔后得到的深层特征图进行上采样，将其与中层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取中层特征图；将中层特征图与浅层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取浅层特征图，其中，在获取中层和浅层特征图中均通过全连接层来适应特征通道之间的相关性；
然后，将浅层特征图通过卷积操作来得到融合后的浅层输出特征图；对浅层输出特征图进行下采样，将下采样后的浅层输出特征图与中层特征图和中层分支特征图进行融合，以获取中层输出特征图；对中层输出特征图进行下采样，将下采样后的中层输出特征图与深层特征图相融合，以获取深层输出特征图。
参见图6所示，多尺度特征融合网络MFFNet由两条特征融合通路组成。
首先将从骨干网络LFEBNet提取的3个特征图C3、C4和C5进行自上而下的融合。将骨干网络提取到的最后一个特征图C5经过增强空间金字塔池化模块后获得深层特征图P5，对深层特征图P5进行上采样后将其与特征图C4相融合，再利用全局平均池化操作沿空间维对融合后的特征进行压缩。之后连接两个全连接层以适应通道之间的相关性，每个特征通道的权重可通过网络学习自动获得。之后对特征图P4进行同样的操作获得特征图P3。
在自上而下的融合通路之后增加一个自下而上的分支聚合模块，将浅层特征的信息传输到深层特征中。在自下而上的特征融合过程中，由特征图P3卷积得到特征图N3。对特征图N3进行下采样后与特征图P4和C4相融合获得特征图N4，在特征融合时引入由网络自主学习获得的权重系数来区分不同输入特征的重要性。获得特征图N4以后，对特征图N4进行下采样后与特征图P5相融合获得特征图N5，在特征融合时同样引入由网络自主学习获得的权重系数来区分输入特征图P5和N5的重要性。
S103、基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优。
将融合后的特征图N3，N4和N5送到检测头经过最终的目标分类和边界框预测，来识别和定位舰船目标。本案实施例中的目标损失函数设计为包括分类损失、置信度损失和回归损失三部分。其中，
分类损失用二元交叉熵损失来计算，具体可表示为：
其中，K表示网格大小，M表示每个网格中的锚点数量，是示性函数，表示(i,j)处的边界框中是否有目标。p和p为真实框和预测框的类别概率。
计算置信度损失时，在二元交叉熵损失中引入权重系数α和p来控制正负样本权重以及样本分类难度，当样本为正样本时，将交叉熵与权重α(1-p)γ相乘。当样本为负样本时，选择权重(1-α)pγ与交叉熵相乘。置信度损失可表示为：
其中γ为调制参数。
选择CIoU来计算回归损失。回归损失可表示为
其中wgt和hgt表示真实框的宽度和高度。
因此，模型训练的总体目标损失可表示为
Loss＝Losscls+Lossobj+LossCIoU (6)
S104、将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
进一步地，基于上述的方法，本发明实施例还提供一种轻量级SAR舰船检测系统，包含：数据获取模块、模型构建模块、模型训练模块和目标识别模块，其中，
数据获取模块，用于获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集；
模型构建模块，用于构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；
模型训练模块，用于基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优；
目标识别模块，用于将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
为验证本案方案有效性，下面结合试验数据做进一步解释说明：
实验平台为Windows 10操作系统，CPU为Intel(R)Core(TM)i5-12600KF，GPU为NVIDIA GeForce RTX 2060 12g，实验环境为Python3.6,CUDA10。实验所用的数据为：SSDD舰船数据集。利用精度、平均精度和召回率指标对舰船目标检测精度进行评估；利用模型总参数Parameters和每秒传输帧数FPS对模型的检测效率进行评估。
将本案方案的检测模型与YOLOv5l目标检测网络结果进行对比，具体的对比结果如表1所示。从表1可以看出，与YOLOv5l相比，本案所提模型的精度提高了2.67％(从93.61％提高到96.28％)，平均精度提高了2.31％(从92.05％提高到94.36％)，召回率提高了1.49％(从89.18％提高到90.67％)。模型参数的数量从47.1M减少到7.64M，FPS从62.9提高到103.5。上述结果表明，本案方案不仅提高了船舶检测精度，而且提高了检测速度。
附表1：与YOLOv5l在SSDD数据集上的性能比较
图7中，(a)真实结果，(b)YOLOv5l的检测结果，(c)本案方案的检测结果，通过在SSDD数据集上的热图可视化结果显示，可以看出，YOLOv5l很难在近岸场景中正确检测到船只，并且存在许多漏检。与YOLOv5l相比，本案方案对小型和密集重叠舰艇具有更强的捕获能力。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种轻量级SAR舰船检测方法，其特征在于，包含：
获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集；
构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；
基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优；
将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
2.根据权利要求1所述的轻量级SAR舰船检测方法，其特征在于，获取合成孔径雷达图像舰船检测样本数据，包含：
首先，通过网络获取原始合成孔径雷达图像舰船检测数据集，且在该数据集中包含图像图片数据和对应的图像标注数据；
然后，对图像标注数据进行预处理，以获取模型所需格式文本数据。
3.根据权利要求1所述的轻量级SAR舰船检测方法，其特征在于，利用轻量级骨干网络进行特征提取并输出多个分支特征图，包含：
首先，利用一个轻量化特征提取网络提取输入图像的特征图C1，将特征图C1作为输入并利用两个堆叠的轻量化特征提取网络获取特征图C2；接着，将特征图C2作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C3；然后，将特征图C3作为输入并利用六个堆叠的轻量化特征提取网络获取特征图C4；最后，将特征图C4作为输入并利用三个堆叠的轻量化特征提取网络获取特征图C5，将特征图C3、特征图C4和特征图C5作为各分支特征图。
4.根据权利要求3所述的轻量级SAR舰船检测方法，其特征在于，利用轻量级骨干网络进行特征提取并输出多个分支特征图，还包含：
在提取各分支特征图时，首先，将特征信息分别沿垂直和水平方向进行分解，以获取两个平行的一维特征编码；在两个分解方向上对分解后的特征编码信息上进行最大池化和平均池化操作，利用多层感知器来获取两个方向上的特征输出，对两个方向上的特征输出进行拼接处理，并对拼接处理后的特征信息依次进行卷积、归一化和激活处理，以获取含有两个方向空间位置信息的中间特征图；然后，将中间特征图分裂为垂直张量和水平张量，并分别利用1×1卷积变换对垂直张量和水平张量的通道数量进行调整，通过激活函数获取对应通道权重；最后，将通道权重与特征信息相乘，以对各分支特征图中对应通道和位置特征进行增强处理。
5.根据权利要求1所述的轻量级SAR舰船检测方法，其特征在于，利用增强空间金字塔对深层分支特征图进行处理，包含：
首先，对深层分支特征图进行卷积和归一化激活处理，并利用三个并行的不同尺度池化核进行最大池化操作，以获取不同大小特征信息；然后，将不同大小特征信息通过级联和卷积处理来完成特征提取和下采样，以获取要输出的特征，并在输出特征层中利用残差分支将输入特征连接到要输出的特征中。
6.根据权利要求1所述的轻量级SAR舰船检测方法，其特征在于，利用多尺度特征融合网络对各分支特征图自上而下进行融合处理，包含：
首先，将各分支特征图划分为浅层分支特征图、中层分支特征图和深层分支特征图，并将各分支特征图自上而下进行融合处理；
接着，对深层分支特征图经过增强空间金字塔后得到的深层特征图进行上采样，将其与中层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取中层特征图；将中层特征图与浅层分支特征图进行融合，利用全局平均池化操作沿空间维对融合后的特征进行压缩，以获取浅层特征图，其中，在获取中层和浅层特征图中均通过全连接层来适应特征通道之间的相关性；
然后，将浅层特征图通过卷积操作来得到融合后的浅层输出特征图；对浅层输出特征图进行下采样，将下采样后的浅层输出特征图与中层特征图和中层分支特征图进行融合，以获取中层输出特征图；对中层输出特征图进行下采样，将下采样后的中层输出特征图与深层特征图相融合，以获取深层输出特征图。
7.根据权利要求1所述的轻量级SAR舰船检测方法，其特征在于，模型训练用目标损失函数表示为：Loss＝Losscls+Lossobj+LossCIoU，其中，Losscls为分类损失，Lossobj为置信度损失，LossCIoU为回归损失，且 K表示网格大小，M表示每个网格中的锚点数量，/>为表示网格锚点坐标(i,j)处的边界框中是否有目标，/>和p为真实框和预测框的类别概率，class为标注标签集合，c为分类标签，α和p为控制正负样本权重以及样本分类难度的权重系数，γ为调制参数，/>和/>分别为真实目标和预测目标的置信度，wgt和hgt表示真实框的宽度和高度，CIoU为交并比损失函数。
8.一种轻量级SAR舰船检测系统，其特征在于，包含：数据获取模块、模型构建模块、模型训练模块和目标识别模块，其中，
数据获取模块，用于获取合成孔径雷达图像舰船检测样本数据，并按预设比例将样本数据划分为训练集和测试集；
模型构建模块，用于构建舰船检测网络模型，所述舰船检测网络模型包含：利用深度可分离卷积进行特征提取并输出多个分支特征图的轻量级骨干网络、利用多尺度池化操作对深层分支特征图进行处理的增强空间金字塔、对各分支特征图自上而下进行融合处理的多尺度特征融合网络和对融合处理后的特征图进行分类识别的检测头；
模型训练模块，用于基于分类损失、置信度损失和回归损失来设计模型训练用目标损失函数，利用训练集并基于模型训练用目标损失函数对舰船检测网络模型进行训练，并利用测试集和验证集对训练后的舰船检测网络模型参数进行调优；
目标识别模块，用于将待测SAR舰船图像输入至训练调优后的舰船检测网络模型中，利用训练调优后的舰船检测网络模型来获取待测SAR舰船图像中舰船位置及舰船类别。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的方法。
10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310894407.2A CN116844055A (zh) | 2023-07-20 | 2023-07-20 | 轻量级sar舰船检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310894407.2A CN116844055A (zh) | 2023-07-20 | 2023-07-20 | 轻量级sar舰船检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116844055A true CN116844055A (zh) | 2023-10-03 |
Family
ID=88170670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310894407.2A Pending CN116844055A (zh) | 2023-07-20 | 2023-07-20 | 轻量级sar舰船检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844055A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546555A (zh) * | 2022-10-18 | 2022-12-30 | 安徽大学 | 一种基于混合表征学习增强的轻量化sar目标检测方法 |
| CN117876884A (zh) * | 2024-01-09 | 2024-04-12 | 中国科学院自动化研究所 | 显著性信息引导的高分辨率可见光舰船检测方法及系统 |
-
2023
- 2023-07-20 CN CN202310894407.2A patent/CN116844055A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546555A (zh) * | 2022-10-18 | 2022-12-30 | 安徽大学 | 一种基于混合表征学习增强的轻量化sar目标检测方法 |
| CN117876884A (zh) * | 2024-01-09 | 2024-04-12 | 中国科学院自动化研究所 | 显著性信息引导的高分辨率可见光舰船检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| US20230351573A1 (en) | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges | |
| US10885381B2 (en) | Ship detection method and system based on multidimensional scene features | |
| Wang et al. | A deep-learning-based sea search and rescue algorithm by UAV remote sensing | |
| CN114202696A (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
| CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CN116844055A (zh) | 轻量级sar舰船检测方法及系统 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN112766221B (zh) | 基于船舶方向和位置多任务的sar图像船舶目标检测方法 | |
| CN112149591B (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及系统 | |
| CN115995041A (zh) | 基于注意力机制的sar图像多尺度舰船目标检测方法和装置 | |
| CN113569720B (zh) | 一种舰船检测方法、系统及装置 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| CN116206223A (zh) | 一种基于无人机边缘计算的火灾检测方法及系统 | |
| Voinov et al. | Towards automated vessel detection and type recognition from VHR optical satellite images | |
| CN115661649A (zh) | 一种基于bp神经网络的船载微波雷达图像溢油探测方法及系统 | |
| CN114565824B (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN110321867B (zh) | 基于部件约束网络的遮挡目标检测方法 | |
| CN115527098A (zh) | 基于全局均值对比度空间注意力的红外小目标检测方法 | |
| CN115294467A (zh) | 茶叶病害的检测方法及相关装置 | |
| CN117765482B (zh) | 基于深度学习的海岸带垃圾富集区的垃圾识别方法及系统 | |
| Sharma et al. | MASSNet: Multiscale Attention for Single-Stage Ship Instance Segmentation | |
| Yang et al. | AIGDet: Altitude-Information Guided Vehicle Target Detection in UAV-Based Images | |
| CN118781478B (zh) | 一种基于图像分析的无人艇障碍识别方法及其模型构建方法 | |
| Rahman | A Novel Study on Identifying Vessel from SAR Satellite Imagery with Attention Mechanisms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |