CN115471729B - 一种基于改进YOLOv5的舰船目标识别方法及系统 - Google Patents

Abstract

本发明提供了一种基于改进YOLOv5的舰船目标识别方法及系统，属于机器视觉和目标识别技术领域。该方法包括骤：获取待检测图像，分为训练集和测试集；改进YOLOv5模型：以YOLOv5模型为基本架构，使用CSPOSA模块作为特征提取模块、使用BiFPN结构作为特征融合结构、设置Alpha‑IoU损失函数；利用训练集对改进的YOLOv5模型进行训练；利用训练好的YOLOv5模型对测试集进行检测，输出船舰目标检测结果。利用本发明所提供的识别模型能够准备识别舰船目标，且能够在恶劣天气条件下准确识别，提高了检测精度。

Description

一种基于改进YOLOv5的舰船目标识别方法及系统

技术领域

本发明属于机器视觉和目标识别技术领域，具体涉及一种基于改进YOLOv5的舰船目标识别方法及系统。

背景技术

随着全球经济活动的快速发展，海上交通管理面临着前所未有的挑战。准确检测船位、识别船型对保障海上航行安全、海域监管和海洋权益保护具有重要意义。由于岸基监控摄像机接收到的视觉数据具有更多有意义的信息，岸基监控摄像机在港口安全监测中受到了广泛关注。近年来，目标检测技术不断发展，但大多数都是针对陆地目标的。海上目标探测容易受到光反射强弱、目标大小、天气异变等的影响。因此，近海港口船舶目标识别一直是研究难点。

近年来，深度学习算法的不断突破提高了海上船舶目标检测的精度和速度。深度学习目标检测算法根据设计思想的不同可以分成两大类，分别是一阶段方法和二阶段方法。二阶段方法在检测精度上具有优势，但由于网络本身具有庞大的计算量，在实际的推理中容易耗费大量的时间，不利于部署在实时应用上。一阶段方法中性能比较突出的是YOLOv5算法，YOLOv5保证了检测精度与速度之间的平衡，更适合部署在海岸船舶目标检测系统之中。同时，YOLOv5也存在缺点，缺点在于检测小目标物体时会出现漏检误检的问题，并不完全适用于小目标检测。

发明内容

本发明的目的是提供一种基于改进YOLOv5的舰船目标识别的方法及系统，以弥补现有技术的不足。

为达到上述目的，本发明采取的具体技术方案为：

一种基于改进YOLOv5的舰船目标识别方法，该方法包括以下步骤：

S1：获取待检测图像，分为训练集和测试集；

S2：改进YOLOv5模型：以YOLOv5模型为基本架构，使用CSPOSA模块作为特征提取模块、使用BiFPN结构作为特征融合结构、设置Alpha-IoU损失函数；

S3：利用训练集对改进的YOLOv5模型进行训练；

S4：利用训练好的YOLOv5模型对测试集进行检测，输出船舰目标检测结果。

进一步的，所述S2中，对 BiFPN结构进行改进：在原有BiFPN结构的基础上，去除只有一条输入边的节点；在分辨率较小的特征图上增加输入特征图数量，以便融合更多的特征信息；在上采样过程中采用拼接操作，在下采样过程中采用叠加操作。

目标检测算法的分类函数一般由分类损失函数和回归损失函数两部分构成。针对回归损失函数部分，YOLOv5算法一般采用CIoU_Loss。

进一步的，所述Alpha-IoU损失函数设置如下：

（1）在DIoU的基础上，CIoU_Loss添加一个影响因子，并且考虑测框和目标框二者的长宽比：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(, )是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数，v是度量框的长宽比的相似性可表示为：

其中，w^gt、h^gt分别是预测框的宽和高，w、h是目标框的宽和高。

（2）为提高网络精度，为小数据集和嘈杂的边界框提供更强的鲁棒性，最终得到的损失函数如下：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(, )是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数。

更进一步的，上述损失函数中，通过设置α次幂使得在高IoU状态下，预测框更好的回归真实框；针对改进的损失函数，当α为3时，模型性能达到最优。

另外，海上视频监控容易受到恶劣天气条件的影响，如降雨、雾霾和低照度；在这些情况下，通常很难使用当前的学习技术来可靠、准确地检测移动的船舶。传统方法首先对退化图像进行恢复，然后直接使用基于学习的舰船检测方法。在实际应用中，图像恢复方法由于细节特征的丢失不可避免地会产生退化图像，因此不可能完全恢复退化图像。

鉴于此，所述S1中，获取的图像中还包括退化图像，即雨、雾和弱光图像；退化图像的模拟仅在训练集中进行；对待操作的图像进行随机选择，确定图像的模拟退化操作，操作分别为合成雾天图像、合成弱光图像和合成雨天图像；最终训练集中原始、雾天、雨天、弱光图像占比为3:1:1:1。

基于上述方法的改进YOLOv5的舰船目标识别的系统，包括：数据采集模块，用于采集舰船图像；舰船识别模块，训练改进YOLOv5模型、将舰船图像输入训练好的识别模型中，并输出识别结果。与现有技术相比，本发明的优点和有益效果：

本发明利用改进的特征提取模块有利于加强网络的特征复用，提高网络的特征复用和计算效率；特征提取层-CSPOSA模块通过密集连接前后特征，对特征图进行复用，强化了网络的特征提取能力；同时，使改进的特征提取模块输入与输出通道数相同，有利于网络进行高效计算，提高网络的计算效率。利用改进的BiFPN结构强化不同尺度的特征融合，提高模型检测精度；使用改进的损失函数，更利于预测框回归真实框，提高网络的检测精度。BiFPN也是一个高重复性的网络，能够不断重复特征融合这一过程，进一步提升网络性能。改进后的BiFPN没有进行重复特征融合过程，在下采样过程中为了融合更多的特征图对特征图进行叠加操作。另外，本发明通过设置Alpha-IoU损失函数，提高模型的检测精度。

经实际验证，利用本发明所提供的识别模型能够准备识别舰船目标，且能够在恶劣天气条件下准确识别，提高了检测精度。

附图说明

图1是本发明的网络结构框架流程图；

图2是Backbone网络中改进的特征提取模块的结构示意图；

图3是Neck网络中改进的特征提取模块的结构示意图；

图4是部分综合退化图像；

图5是真实天气下的舰船检测结果。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1，本实施例提供了一种船舰目标检测方法。

一种基于改进YOLOv5的舰船目标识别方法，该方法包括以下步骤：

S1：获取待检测图像，分为训练集和测试集；所述待检测图像可以通过岸基可见光摄像头获取，当然不限于此获取方式；

S2：改进YOLOv5模型；

S3：利用训练集对改进的YOLOv5模型进行训练；

S4：利用训练好的YOLOv5模型对测试集进行检测，输出船舰目标检测结果。

其中，所述改进YOLOv5模型：与原特征提取模块C3相比，通过使用CSPOSA模块，可以提高网络的特征复用和计算效率；与原特征融合结构PAFPN相比，通过使用改进的BiFPN结构强化不同尺度的特征融合，提高模型检测精度；通过设置Alpha-IoU损失函数，提高模型的检测精度。

如图1所示，所述改进的YOLOv5网络模型，具体包括：

（1）输入层，将获取到的图像归一化为640×640×3大小的图像；

（2）卷积层Conv。Conv 模块是一个基本的卷积模块。一个 Conv 模块由 Conv2d、BatchNormal、SiLU三部分组成；

（3）特征提取层CSPOSA_1，如图2所示的CSPOSA模块应用在backbone网络中，主要包含F₁、F₃和Concat操作。F₁是指卷积核大小为1×1的卷积。F1的主要作用是减少输入特征图的通道数，有利于降低计算量。F₃是指卷积核大小为3×3的卷积。在输入输出通道数相同的基础上，使用F₃可以充分利用GPU计算能力，提高计算效率。在Concat之后，对得到的特征图使用1×1卷积降维，压缩参数，减少计算量。然后与浅层特征特征融合，丰富特征数据；

（4）Backbone网络将三种不同分辨率大小的特征图像输入到Neck网络中，如图1所示，三种特征图自上而下分别为80×80×256、40×40×384和20×20×512；

（5）特征提取层SPPF，将特征提取层CSPOSA_1输出的特征图作为输入，使用金字塔池化结构进行特征提取，在一定程度上，能够降低模型的计算量，提高推理速度，得到最终输出的特征图大小为20×20×512；

（6）Neck网络，将特征提取层SPPF输出的特征图作为输入，对输入做两次上采样分别得到40×40×256和80×80×128大小的特征图。然后对上采样得到的80×80×128做下采样处理分别得到40×40×128和20×20×256大小的特征图；

特征提取层CSPOSA_2，如图3所示的CSPOSA模块应用在Neck网络中，主要是为了强化Neck网络中的特征提取能力，为之后的特征融合提供较好的特征图；

（7）特征融合层Concat，将上采样得到的特征图和Backbone网络输出的特征图进行融合。经过Concat_1得到的特征图大小为40×40×640，经过Concat_2得到的特征图大小为80×80×384；

（8）特征融合层ADD，将下采样得到的特征图和Backbone网络输出的特征图以及上采样得到的特征图进行融合。经过ADD_1得到的特征图大小为40×40×128，经过ADD_2得到的特征图大小为20×20×256；

（9）输出层Head，将Neck网络的三种不同尺度的特征作为输入，如图1所示，特征大小自上而下分别为80×80×128、40×40×128和20×20×128。将这三种特征进行处理，得到不同尺度下的目标检测结果，其中，m=3*(5+n_cls)，n_cls为目标类别数，m为输出维度。

（10）目标检测算法的分类函数一般由分类损失函数和回归损失函数两部分构成。针对回归损失函数部分，YOLOv5算法采用CIoU_Loss。在DIoU的基础上，CIoU_Loss添加一个影响因子，并且考虑预测框和目标框二者的长宽比：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框（即为目标框）中心点坐标，ρ(, )是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数，v是度量框的长宽比的相似性可表示为：

其中，w^gt、h^gt分别是预测框的宽和高，w、h是目标框的宽和高。

为提高网络精度，为小数据集和嘈杂的边界框提供更强的鲁棒性，将损失函数改为Alpha-IoU。通过调节α的值可以更多地关注目标来获得满意的回归精度。在最终的模型中不会引入额外的参数，不会增加推理时间。所述改进的损失函数如下：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(, )是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数。

通过设置α次幂使得在高IoU状态下，预测框更好的回归真实框；且针对改进的损失函数，当α为3时，模型性能达到最优。

实施例2：

基于实施例1所述的述改进的YOLOv5网络模型的实际训练识别过程，包括：

（1）构建训练集，训练集采用SeaShips数据集，SeaShips数据集是由武汉大学邵振峰教授进行收集并整理。整个数据集包括31455张图像，分为6个类别，包括矿船、散货船、普通货船、集装箱船、渔船和客船。

（2）将训练集输入到改进的YOLOv5网络模型中，对改进的YOLOv5网络模型进行训练，得到训练好的改进的YOLOv5网络模型；

将数据集输入至构建好的YOLOv5网络模型中进行训练，数据输入为3×640×640大小的图像，训练轮次为300轮，初始学习率为 0.01，训练批大小为 8，动量为0.937，权重衰减为0.0005；最后对训练出来的模型进行测试，根据测试结果不断的调整训练参数，优化YOLOv5网络模型，最终使YOLOv5网络模型满足需求。

由于海上视频监控容易受到恶劣天气条件的影响，如降雨、雾霾和低照度。在这些情况下，通常很难使用当前的学习技术来可靠、准确地检测移动的船舶。传统方法首先对退化图像进行恢复，然后直接使用基于学习的舰船检测方法。在实际应用中，图像恢复方法由于细节特征的丢失不可避免地会产生退化图像，因此不可能完全恢复退化图像。

因此，本实施例全面模拟退化图像，如雨、雾和弱光图像。退化图像的模拟仅在训练集中进行。

退化图像训练集的制作方法，包括：

对待操作的图像进行随机选择，确定图像的模拟退化操作，操作分别为合成雾天图像、合成弱光图像和合成雨天图像；

合成雾天图像：

在海上港口区域，由于水上比陆地湿气重，图像质量多为雾天图像。雾天图像不利于海上港口船舶的监测。根据大气散射模型对雾天图像的形成做出解释：

其中，I(x)就是所需要的雾天图像，R(x)是原始图像，A是全球大气光成分，t(x)为透射率。t(x)随着传播距离呈指数衰减，可表示为：

其中，λ是散射系数，通常表示为雾气浓度，d(x)为图像中物体到摄像机的距离。其中，全球大气光成分将在{0.4,0.5,0.6,0.7}中选择，散射系数将在{0.40,0.45,0.50,0.55,0.60,0.65,0.70}中选择。通过调整全球大气光成分和散射系数生成雾天图像。图4中的 (0)为原始图像、(1)、(2)是全球大气光成分为0.4时不同时间下的雾天图像，(3)是全球大气光成分为0.7时的雾天图像。

合成弱光图像：

在实际环境中，视频监测图像有一部分属于低光照图像。根据Retinex理论对低光照图像的形成做出解释：

其中，S(x)是低光照图像，L(x)是亮度图像，R(x)是原始图像。首先，将原始图像从RGB空间转换到HSV空间。然后将图像的V层乘上衰减系数。最后再将图像转回RGB空间，得到低光照图像。在本文中，衰减系数在0.1到0.7随机选择。图4中的(4)、(5)和(6)是不同光照条件下的低光照图像。

合成雨天图像：

利用随机噪声、滤波器等方法为原始图像叠加成雨天图像。合成雨天图像可表示为：

其中，R(x)是原始图像，K(x)是由随机噪声生成的雨滴模糊噪声图像，Y(x)是最终生成的雨天图像；

通过调整雨滴数量、长度、旋转角度得到图像K(x)。其中雨滴数量将在100到800随机选择整数。雨滴长度将在30到50随机选择整数。旋转角度将在-40到40随机选择。通过以上参数，可以得到不同天气条件下的雨滴模糊噪声图像。最终通过图像加权的方式得到雨天图像。图4中的(7)、(8)是雨滴数量为400时不同光照条件下的雨天图像，(9)是雨滴数量为600时的雨天图像。

本实施例中，最终训练集中原始、雾天、雨天、弱光图像占比为3:1:1:1；当然不限于该比例形式。

（3）进行舰船测试，识别结果如图5所示，在不同背景、不同天气以及不同大小舰船下，均能够有效检测到舰船目标。

实施例3：基于实施例1所述方法的识别系统。

基于实施例1所述的基于改进YOLOv5的舰船目标识别的方法，本实施例提供一种基于改进YOLOv5的舰船目标识别的系统，包括：数据采集模块，用于采集舰船图像；舰船识别模块，用于将舰船图像输入训练好的舰船目标识别模型，输出识别结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于改进YOLOv5的舰船目标识别方法，其特征在于，该方法包括以下步骤：

S1：获取待检测图像，分为训练集和测试集；

S2：改进YOLOv5模型：以YOLOv5模型为基本架构，使用CSPOSA模块作为特征提取模块、使用BiFPN结构作为特征融合结构、设置Alpha-IoU损失函数，对BiFPN结构进行改进：去除只有一条输入边的节点，在分辨率较小的特征图上融合更多的特征信息；所述改进YOLOv5模型包括：(1)输入层；(2)卷积层Conv；(3)特征提取层CSPOSA_1应用在backbone网络中，包含F₁、F₃和Concat操作，F1是指卷积核大小为1×1的卷积；F3是指卷积核大小为3×3的卷积；在Concat之后，对得到的特征图使用1×1卷积降维，压缩参数，减少计算量；然后与浅层特征特征融合，丰富特征数据；Backbone网络将三种不同分辨率大小的特征图像输入到Neck网络中；(4)特征提取层SPPF，将特征提取层CSPOSA_1输出的特征图作为输入，使用金字塔池化结构进行特征提取；(5)Neck网络，将特征提取层SPPF输出的特征图作为输入；(6)特征提取层CSPOSA_2应用在Neck网络中；(7)特征融合层Concat，将上采样得到的特征图和Backbone网络输出的特征图进行融合；(8)特征融合层ADD，将下采样得到的特征图和Backbone网络输出的特征图以及上采样得到的特征图进行融合；(9)输出层Head，将Neck网络的三种不同尺度的特征作为输入；

S3：利用训练集对改进的YOLOv5模型进行训练；

S4：利用训练好的YOLOv5模型对测试集进行检测，输出船舰目标检测结果。

2.如权利要求1所述的舰船目标识别方法，其特征在于，所述Alpha-IoU损失函数设置如下：

(1)在DIoU的基础上，CIoU_Loss添加一个影响因子，并且考虑测框和目标框二者的长宽比：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(，)是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数，v是度量框的长宽比的相似性可表示为：

其中，w^gt、h^gt分别是预测框的宽和高，w、h是目标框的宽和高；

(2)为提高网络精度，为小数据集和嘈杂的边界框提供更强的鲁棒性，最终得到的损失函数如下：

其中，β是权重函数，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(，)是欧式距离计算；c为预测框、真实框最小包围框的对角线长度，IoU为交并比损失函数。

3.如权利要求2所述的舰船目标识别方法，其特征在于，上述损失函数中，通过设置α次幂使得在高IoU状态下，预测框更好的回归真实框；当α为3时，模型性能达到最优。

4.如权利要求1所述的舰船目标识别方法，其特征在于，所述S1中，获取的图像中还包括退化图像，即雨、雾和弱光图像。

5.如权利要求4所述的舰船目标识别方法，其特征在于，退化图像的模拟仅在训练集中进行；对待操作的图像进行随机选择，确定图像的模拟退化操作，操作分别为合成雾天图像、合成弱光图像和合成雨天图像；最终训练集中原始、雾天、雨天、弱光图像占比为3:1:1:1。

6.一种基于权利要求1所述方法的舰船目标识别的系统，其特征在于，包括：数据采集模块，用于采集舰船图像；舰船识别模块，训练改进YOLOv5模型、将舰船图像输入训练好的识别模型中，并输出识别结果。