CN110705623A - 基于全卷积神经网络的海天线在线检测方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的海天线在线检测方法，用于完成无人艇在水面环境下对海天线的检测任务，即根据水面无人艇所携带的光视觉传感器传回的图像信息和水面无人艇的艇体姿态信息对当前传感器视角下的海天线进行预测，基于分类拟合原理，针对复杂的水面环境，依据水面图像的大体类别信息，设计全卷积神经网络和全连接网络模型，解决复杂水面环境下传感器的稳像问题以及艇体位姿的修正问题，同时也可以缩小搜索区域，加快搜索速度，为水面无人艇环境感知和运动规划及控制提供准确的传感器信息等。

Description

基于全卷积神经网络的海天线在线检测方法

技术领域

本发明涉及一种海天线检测方法，特指一种基于全卷积神经网络的水面无人艇用海天线在线检测方法，属于图像识别领域。

背景技术

海天线是区分海面区域和天空区域的分割线或者分割区域，可以用直线来近似表达，也可以用一个区域来拟合。海天线检测在传统的海面信息获取流程中是很重要的一环，不仅因为海天线可以用来对图像进行分割，在得到的海面区域内搜索目标，大大加快了检测速度，还可以用来监控无人艇的传感器姿态，辅助进行避障导航和工作状态判断，最主要也是用处最多的一点是海天线可以矫正摄像机姿态即稳像，来获取高质量的数据源。

2005年，哈尔滨工程大学的赵凝霞等首先将图像的直方图分解为不同层次的小波系数，然后依据给定的分割准则和小波系数选择阈值，再利用阈值标出图像分割的区域。在阈值分割的结果上，利用边缘是灰度级不连续点具有奇异性的性质，采用离散小波变换法对图像进行小波变换并检测海天线。

2009年，海军航空工程学院的赵峰民等利用边缘检测来得到边缘点，然后在这些边缘点抽取代表分界线的边缘点来构造海天线以完成分割。利用分界线和水纹在大尺度小波变换下的差异以及是否属于垂直方向上的边缘稠密集来去除水纹的影响。但是方法只假定了海天线基本处于水平状态下的水纹修正，对于倾斜姿态或者连续摇晃下的效果仍需验证。

2014年，特贝萨大学的Hin等使用随机抽样一致性算法(Randomsampleconsensus)来检测海天线，解决了阳光反射、遮挡、光线不好以及边界地区存在交错等因素给海天线检测带来的困难。但该方法局限在于对于有较大噪声的场景，例如具有较多建筑物和数目的海岸图像，此方法效果不好。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种基于全卷积神经网络的海天线在线检测方法，用于无人艇实时检测海天线，为无人艇姿态矫正和目标搜索提供重要参考。

为解决上述技术问题，本发明的一种基于全卷积神经网络的海天线在线检测方法，包括以下步骤：

S1:收集实艇传感器图像数据，挑选出不同无人艇视角下的图像，并筛选出包含海天线的图像；

S2：设计全卷积神经网络结构，根据像素点预测分类结果的均方误差构造损失函数，并在海天线检测数据集上进行训练至模型收敛,如果不收敛则在损失函数中加入L2正则化项或采用批量正则化训练方法以使模型达到收敛效果；

S3：对收敛的全卷积模型采用平均像素精度指标对模型准确度进行评价，当平均像素精度指标大于设定值时，执行S4；当平均像素精度指标不满足大于设定值时，返回S2；

S4：使用全卷积神经网络模型对测试图像像素点进行分类，并组合像素点的类别信息和其在图像坐标系下的位置信息，得到每个点的信息元组，包括：类别，x坐标，y坐标；

S5：设计像素坐标系下的海天线方程y＝ax+b以及浅层全连接神经网络，利用图像像素点的信息元组拟合并修正海天线方程参数，得到最终的海天线。

本发明还包括：

对S1中筛选出包含海天线的图像使用图像评价指标均方根误差来判别图像是否符合机器阅读习惯，表达式为：

其中X为平均数，N为样本个数，若RMSE<60％则舍去图像，重新对训练集数据进行筛选；若RMSE>＝60％则证明该图像可以进一步得到制作数据集。

本发明有益效果：本发明中基于分类拟合原理，针对复杂的水面环境，依据水面图像的大体类别信息，设计全卷积神经网络和全连接网络模型，对无人艇图像信息有良好的非线性拟合能力和自适应能力，解决了由于艇体不可预测的运动以及复杂水面环境对纹理特征的干扰导致的海天线漏检、错检问题，改善了传统检测方法的局限性，为无人艇环境感知和运动控制提供优质信息来源。与传统海天线检测方法相比，水面无人艇用海天线检测方法提出了一种新的检测思路，通过图像分割获得像素点的类别信息，再结合其在像素坐标系下的坐标进行海天线拟合，这种检测方式在保持较好的检测效果的同时，可以有效避免因为岸端、波浪等纹理干扰而导致的错检现象。

附图说明

图1是本发明基于全卷积神经网络的无人艇用海天线检测方法流程图；

图2是本发明中全卷积结构设计；

图3是本发明中全连接网络结构设计；

图4是本发明中检测主体结构。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明公开一种基于全卷积神经网络的无人艇用海天线检测方法，用于完成无人艇在水面环境下对海天线的检测任务。即根据水面无人艇所携带的光视觉传感器传回的图像信息和水面无人艇的艇体姿态信息对当前传感器视角下的海天线进行预测，目的是解决复杂水面环境下传感器的稳像问题以及艇体位姿的修正问题，同时也可以缩小搜索区域，加快搜索速度，为水面无人艇环境感知和运动规划及控制提供准确的传感器信息等。主要步骤如下：

(1)首先收集无人艇实艇航行时的水面图像数据，无人艇携带有高清摄像机以一定帧率收集到无人艇正前方开角约80度的水面图像，通过人工判别是否含有海天线在内进行初步筛选，得到约1000张含有海天线的不同姿态、角度下的水面图像。

(2)接着使用图像评价指标均方根误差(Root mean squared error,RMSE)来判别图像是否符合机器阅读习惯，表达式为：

其中X为平均数，N为样本个数。若RMSE<60％则舍去图像，重新对训练集数据进行筛选；若RMSE>＝60％则证明该图像可以进一步得到制作数据集，收集约1000张水面图像。这些图像都是在离线处理下完成筛选的，接着使用标准Pascal-Voc格式处理图像，得到Annotations、Images、Info三个主要文件，即海天线检测数据集。

(3)设计全卷积神经网络结构，并根据像素点预测分类结果的均方误差构造损失函数，并在海天线检测数据集上进行训练至模型收敛；如果不收敛则在损失函数中加入L2正则化项(L2-Regularization)或采用批量正则化训练方法以使模型达到收敛效果。

设计第一部分全卷积神经网络的结构，采用“7+2”式结构，如图2所示，前6层可以看做骨干网络用于对特征进行提取，而第7层开始卷积得到热度图，低层热度图限于精度问题不能很好地还原图像当中的特征，因此还要向前迭代，引入跳跃结构来进一步提升分类精度。

跳跃结构即为图中得到热度图2、热度图3的过程，其中上采样层之间的连接输出采用为输入两层的加权和。将后层的结果进行上采样至前层结果的维度大小，然后对应位置相加，对于加权参数的选择，从0.5到2.0每间隔0.1进行采样，对这15个模型分别进行训练和评价，取其中平均像素精确度MPA最高的的参数作为跳跃结构的权值。

(4)确定好结构和加权参数，在得到使用海天线检测数据集训练的模型后，使用平均像素准确率约束模型，由于无人艇所处水面环境较为复杂多变，每一次执行任务后无人艇环境感知系统会积累很多图像素材，将原图像和原始模型预测结果加入到海天线检测数据集中进行更新，并训练得到新的海天线检测模型，并要求平均像素准确率大于0.6模型才可以参与预测。

(5)使用全卷积模型预测到图像像素点的类别信息后，结合其在像素坐标系下的坐标，构建单张图像拟合海天线的数据集合。每一组数据形式为(X,Y,K)，其中X，Y为像素点的坐标，K为像素点对应的类别，主要为(1)--水面，(0)--背景，(-1)--天空。取出这些数据中类别为天空和水面的像素点，并考虑到计算量，对每一类别随机取50％的点作为最终的数据集合。

(6)构建用于分类和海天线拟合的全连接神经网络，建立一个含有2层隐藏层的可训练的全连接神经网络，每一层隐藏层的节点个数为输入节点数的1.5倍，输出节点数为海天线方程的参数a、b，这样既综合了非线性拟合能力也一定程度上减少了部分计算量。每一张图像取约400组数据组合经过约2000次迭代训练，全连接神经网络达到稳定收敛状态，此时预测海天线方程参数a、b的值即可得到海天线在像素坐标系下的位置，如图3所示。

其中，全连接神经网络的总损失可以表达为：

需要计算每个期望误差的和。

将预测的海天线方程与实际数据相对比，使用两条海天线的夹角作为偏差表达指标，得到不同水面环境下模型的准确程度，并将这些实时检测的图像并入海天线检测数据集进行离线修正，整个检测流程如图4所示。

本发明具体实施方式还包括：

本发明所设计的基于全卷积神经网络的海天线在线检测方法，包括如下步骤：

(1)收集实艇传感器图像数据，挑选出不同无人艇视角下的图像，并筛选出包含海天线的图像。本发明采用约1000张筛选后的水面图像进行标注并制作为海天线检测数据集；(2)设计全卷积神经网络结构，并根据像素点预测分类结果的均方误差构造损失函数，并在海天线检测数据集上进行训练至模型收敛；如果不收敛则在损失函数中加入L2正则化项(L2-Regularization)或采用批量正则化训练方法以使模型达到收敛效果。(3)对收敛的全卷积模型采用平均像素精度指标(Mean Pixel Accuracy,MPA)对模型准确度进行评价；如果指标大于设定阈值就进行下一步，没有超过阈值则返回(2)中重新进行训练，直至满足要求。(4)确定全卷积神经网络模型，然后使用此模型对测试图像像素点进行分类，并组合像素点的类别信息和其在图像坐标系下的位置信息，得到每个点的信息元组(类别，x坐标，y坐标)；(5)设计像素坐标系下的海天线方程y＝ax+b以及浅层全连接神经网络，利用图像像素点的信息元组拟合并修正海天线方程参数，得到最终的海天线。

本发明中，还包括这样一些特征：

1.采用全卷积神经网络对图像进行分割，全卷积神经网络通过缩减人工预处理和后续处理将图像分割问题转换为端对端的图像处理问题，使模型有更多参数调节的空间，增加模型的整体契合度。全卷积神经网络广泛应用于图像分割领域，可以接受任意大小的输入图像，并且避免了使用像素块而带来的重复存储和卷积计算量的问题，无论是精度还是速度上都符合无人艇海天线检测的实际需求。

2.考虑到分类结果存在部分误分类的干扰点，在拟合阶段使用具有一定非线性拟合能力的全连接神经网络，有效抑制了干扰点对拟合精度的影响。全连接神经网络实现了从输入的类别和位置信息到输出的海天线方程参数的映射过程，可以以较高的精度逼近非线性连续函数，具有较强的非线性映射能力，适用于具有干扰像素点的海天线拟合。

Claims (2)

1.一种基于全卷积神经网络的海天线在线检测方法，其特征在于，包括以下步骤：

S1:收集实艇传感器图像数据，挑选出不同无人艇视角下的图像，并筛选出包含海天线的图像；

S2：设计全卷积神经网络结构，根据像素点预测分类结果的均方误差构造损失函数，并在海天线检测数据集上进行训练至模型收敛,如果不收敛则在损失函数中加入L2正则化项或采用批量正则化训练方法以使模型达到收敛效果；

S3：对收敛的全卷积模型采用平均像素精度指标对模型准确度进行评价，当平均像素精度指标大于设定值时，执行S4；当平均像素精度指标不满足大于设定值时，返回S2；

S4：使用全卷积神经网络模型对测试图像像素点进行分类，并组合像素点的类别信息和其在图像坐标系下的位置信息，得到每个点的信息元组，包括：类别，x坐标，y坐标；

S5：设计像素坐标系下的海天线方程y＝ax+b以及浅层全连接神经网络，利用图像像素点的信息元组拟合并修正海天线方程参数，得到最终的海天线。

2.根据权利要求1所述的一种基于全卷积神经网络的海天线在线检测方法，其特征在于：对S1中筛选出包含海天线的图像使用图像评价指标均方根误差来判别图像是否符合机器阅读习惯，表达式为：

其中X为平均数，N为样本个数，若RMSE<60％则舍去图像，重新对训练集数据进行筛选；若RMSE>＝60％则证明该图像可以进一步得到制作数据集。

Images