CN111767827A - 一种基于深度学习的中尺度涡旋识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的中尺度涡旋识别方法，包括以下步骤：数据获取与准备；数据变换与数据增强；建立基于注意力机制的金字塔场景解析网络模型；对所述的网络模型进行训练；利用训练好的网络模型进行中尺度涡旋识别。本发明利用改进的PSPNet(金字塔场景解析网络)对海面高度数据为内容的二维图像进行分析和识别，从而实现对海洋中尺度涡旋的识别，采用空洞卷积(Dilated Convolution)的ResNet网络作为特征提取网络，同时采用逐点的空间注意力机制神经网络模块，提升金字塔场景解析网络模型的中尺度涡旋的识别性能。

Description

一种基于深度学习的中尺度涡旋识别方法

技术领域

本发明属于海洋气象数据分析技术领域，具体涉及一种基于深度学习的中尺度涡旋识别方法。

背景技术

中尺度涡是世界各大洋中无处不在的一种海洋现象，其直径范围从十公里到百公里量级，边缘旋转速度能达到0.5-0.7m/s，并且占据着全球海洋环流中大部分动能。涡旋的垂向深度会影响到几十米到几百米，甚至上千米，从而将海洋深层的冷水和营养盐带到表面，或将海表暖水压入到较深的海洋中，从而影响海洋上混合层，密度跃层甚至更深的海洋。涡旋的高旋转速度和伴随着的强剪切，使其具有很强的非线性，从而具有保存自身特征的记忆性和保守性，使其在全球海洋物质，能量，热量和淡水等的输送和分配中起着不可忽视的作用。因此，海洋涡旋的研究具有非常重要的科学意义和应用价值。海洋中尺度和次中尺度涡旋的研究改变着人们对海洋的传统认识。近25年，高分辨率海洋数值模式和海洋卫星遥感技术(特别是卫星高度计资料)，极大地促进了人类对未知广袤海洋的认知。而最近几年人工智能领域的进步给海洋研究者们带来了新的研究思路。目前，深度学习方法已在遥感资料处理中得到了初步应用，并且取得了良好的效果。因此，研究基于深度学习算法的涡旋识别方法对于涡旋识别，甚至其它海洋现象识别的智能化有重要意义。

语义分割是人工智能领域深度学习的最新趋势之一。深度学习方法通过多层神经网络拟合训练样本(用于建立模型的数据)的分布，提取不同层次的图像特征，解决了传统图像分割问题中细粒度多类别分割等难题。将海面高度(SSH)数据作为二维图像处理，可以将深度学习应用到海洋涡旋检测中。根据涡旋检测的需要，利用海面高度信息和语义分割技术对海洋涡旋进行识别。

金字塔场景解析网络(Pyramid Scene Parsing Network,PSPNet)是CVPR2017上关于场景解析的文章，拿到了2016年ImageNet比赛中场景解析任务的冠军，参考文献：Zhao,H.,et al.,Pyramid Scene Parsing Network.2016。这个模型技术出发点是在语义分割算法中引入更多的上下文信息，这样能够避免许多误分割，PSPNet在FCN算法的基础上引入更多上下文信息是通过全局均值池化操作(global average pooling)和特征融合实现的，因此特征呈金字塔结构PSPNet算法是目前应用比较广泛的语义分割算法之一，该算法在PASCAL VOC2012测试集上的平均交并比(mIOU)是82.6％。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的中尺度涡旋识别方法，所述方法利用深度学习中的语义分割技术，具体是利用改进的金字塔场景解析网络模型，通过对海面高度数据为内容的二维图像进行处理，从而实现对海洋中尺度涡旋的识别。

基于上述目的，一种基于深度学习的中尺度涡旋识别方法，包括以下步骤：

步骤1，数据获取与准备；

步骤2，数据变换与数据增强；

步骤3，建立基于注意力机制的金字塔场景解析网络模型；

步骤4，对所述的网络模型进行训练；

步骤5，利用训练好的网络模型进行中尺度涡旋识别。

步骤1中所述的数据包括海面高度数据图像和对应的标注；步骤2中对所述的图像数据进行随机水平翻转，随机旋转，随机缩放操作，获得数据增强的效果。

进一步地，在所述的金字塔场景解析网络模型包括特征提取网络、金字塔池化模块和卷积分割模块，所述的特征提取网络为加宽卷积的ResNet网络，加宽卷积的作用是在有限的网络深度上增大高层特征所代表的输入图像尺寸，提取到的特征作为金字塔池化模块的输入。

进一步地，在所述的金字塔池化模块中构建层数为4的特征金字塔，不同层次的特征是基于输入特征通过不同尺度的池化操作得到的，然后通过一个1×1卷积层将特征维度缩减为原来的1/4，最后将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做合并，也就是连接操作得到最终输出的特征图。

进一步地，在所述的金字塔池化模块中通过不同尺度的池化操作后得到的池化后特征尺寸分别是1×1、2×2、3×3和6×6。

进一步地，在所述的金字塔场景解析网络模型引入逐点的空间注意力机制神经网络模块(Point-wise Spatial Attention Network)，用于获取图片中大范围的上下文信息。

进一步地，所述的金字塔场景解析网络模型中的损失函数为考虑权重的多分类交叉熵，其公式为：

其中，x表示图像像素，x[class]表示该像素点预测为正确类别的概率，x[j]表示该像素点预测为j类的概率，class表示图像像素的类别，weight[class]表示class类别的权重，所有类别的权重加和等于1，∑_classweight[class]＝1，类别的权重与该类别的像素多少成反比，weight[class]·pixel[class]＝常数。

进一步地，所述的金字塔场景解析网络模型在训练过程中的学习率表示为：

初始学习率lr_base＝0.01，衰减指数power＝0.9，iter为迭代次数，maxiter为最大迭代次数。

本发明利用改进的PSPNet(金字塔场景解析网络)对海面高度数据为内容的二维图像进行分析和识别，从而实现对海洋中尺度涡旋的识别。在具体的改进过程中，采用加宽卷积的ResNet网络作为特征提取网络，在有限的网络深度上增大高层特征所代表的输入图像尺寸，同时采用逐点的空间注意力机制神经网络模块，预测两个点之间的上下文依赖，且该预测会同时考虑到两个点原本的语义信息以及两个点之间的位置关系，最终预测出的点与点之间的上下文依赖关系，实现上下文信息的充分融合，提升金字塔场景解析网络模型的中尺度涡旋模型的识别性能。

附图说明

图1为本发明方法的整体流程示意图；

图2为本发明金字塔场景解析网络的结构示意图；

图3为本发明实施例的训练集中一个(SSH map,label)示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习的中尺度涡旋识别方法，包括以下步骤：

步骤1，数据获取与准备；

步骤2，数据变换与数据增强；

步骤3，建立基于注意力机制的金字塔场景解析网络模型；

步骤4，对所述的网络模型进行训练；

步骤5，利用训练好的网络模型进行中尺度涡旋识别。

步骤1中所述的数据包括海面高度数据图像和对应的标注；步骤2中对所述的图像数据进行随机水平翻转，随机旋转，随机缩放操作，获得数据增强的效果。

进一步地，如图2所示，在所述的金字塔场景解析网络模型包括特征提取网络、金字塔池化模块和卷积分割模块，所述的特征提取网络为加宽卷积的ResNet网络，加宽卷积的作用是在有限的网络深度上增大高层特征所代表的输入图像尺寸，提取到的特征作为金字塔池化模块的输入。CNN表示卷积神经网络，POOL表示池化操作，CONV表示卷积操作，CONCAT表示连接操作,UPSAMPLE表示上采样操作。

进一步地，在所述的金字塔池化模块中构建层数为4的特征金字塔，不同层次的特征是基于输入特征通过不同尺度的池化操作得到的，然后通过一个1×1卷积层将特征维度缩减为原来的1/4，最后将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做合并，也就是连接操作得到最终输出的特征图。

进一步地，在所述的金字塔池化模块中通过不同尺度的池化操作后得到的池化后特征尺寸分别是1×1、2×2、3×3和6×6。

进一步地，在所述的金字塔场景解析网络模型引入逐点的空间注意力机制神经网络模块(Point-wise Spatial Attention Network)，用于获取图片中大范围的上下文信息。

逐点的空间注意力机制神经网络模块(Point-wise Spatial AttentionNetwork)，可以有效获取图片中大范围的上下文信息，显著改善神经网络的场景解析性能。针对视觉特征图中的每一点对，该模块会预测两个点之间的上下文依赖，且该预测会同时考虑到两个点原本的语义信息以及两个点之间的位置关系，最终预测出的点与点之间的上下文依赖关系，可以用逐点的注意力机制进行表示。

进一步地，所述的金字塔场景解析网络模型中的损失函数为考虑权重的多分类交叉熵，其公式为：

其中，x表示图像像素，x[class]表示该像素点预测为正确类别的概率，x[j]表示该像素点预测为j类的概率，class表示图像像素的类别，weight[class]表示class类别的权重，所有类别的权重加和等于1，∑_classweight[class]＝1，类别的权重与该类别的像素多少成反比，weight[class]·pixel[class]＝常数。

进一步地，所述的金字塔场景解析网络模型在训练过程中的学习率表示为：

初始学习率lr_base＝0.01，衰减指数power＝0.9，iter为迭代次数，maxiter为最大迭代次数。

实验中，训练模型的数据集由SSH map(海面高度地图)和其对应的label标注组成，标注信息由py-eddy-tracker算法(PET)生成。一共利用9149天(1993/01/01-2018/01/18)南海区域[0-30N,100-130E]由PET计算得到的涡旋标注和SSH map来进行训练。其中SSHmap由哥白尼海洋环境检测服务中心(CMEMS)提供的AVISO数据集里提取。SSHmap的分辨率为0.25°。我们用前8000天来训练，后1149天用来测试。对于SSHmap中的大陆和没有数据的格点用0代替。对于图像分割任务，需要对每一个像素点都打上标签，根据PET算出来的边界，每个闭合曲线内部的点都被打上气涡旋或反气涡旋的标识，我们用‘0’表示背景场，‘1’表示反气涡旋，‘2’表示气涡旋。图3是训练集中一个(SSH map,label)示例。

一般而言，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有那么多，尤其是对于海洋观测数据更是有限。数据增强技术是一种扩充训练样本集，提高模型泛化性能的很有效的办法。有很多的可用的图像数据增强方法：平移、旋转、扭曲、缩放、颜色空间转换、裁剪等。这些方法的目标均是通过生成更多的样本来构建更大的数据集，防止过拟合以及对模型进行正则化，还可以对该数据集的各个类的大小进行平衡，甚至手工地产生对当前任务或应用场景更加具有代表性的新样本。

在我们的数据集中，将随机水平翻转，随机旋转，随机缩放同步应用到(SSH map,label)样本对，使得数据扩充到原来的4倍。

在经过参数调优之后，利用最优的参数来对南海数据集进行训练。理论上来说批训练时Batchsize越大越好，但是受限于硬件，只能设置成64。同时，在不清楚网络在训练到什么程度能够收敛的情况下，Epoch统一设置为100。为了防止过拟合，设置dropout为0.1，训练时采用数据增强。

在实验过程中，给损失函数加上了权重，使得各个类别不平衡的样本在损失函数中占有相当的比重。实验结果表明，在使用多分类交叉熵作为损失函数时，对各个类别的损失加权求平均比直接求平均最后得到的总交并比更优。考虑到将IoU作为评价指标，尝试将IoU作为训练时的损失函数，发现训练过程很不稳定，难以训练。并且发现加大网络层数可以提高网络性能。在南海涡旋数据集上本发明方法对反气涡旋的识别率达到了95％，对气涡旋的识别率达到了93％。

由发明内容和实施例可知，本发明一种基于深度学习的中尺度涡旋识别方法，利用改进的PSPNet(金字塔场景解析网络)对海面高度数据为内容的二维图像进行分析和识别，从而实现对海洋中尺度涡旋的识别。在具体的改进过程中，采用加宽卷积的ResNet网络作为特征提取网络，在有限的网络深度上增大高层特征所代表的输入图像尺寸，同时采用逐点的空间注意力机制神经网络模块，预测两个点之间的上下文依赖，且该预测会同时考虑到两个点原本的语义信息以及两个点之间的位置关系，最终预测出的点与点之间的上下文依赖关系，实现上下文信息的充分融合，提升金字塔场景解析网络模型的中尺度涡旋模型的识别性能。

Claims (7)

1.一种基于深度学习的中尺度涡旋识别方法，其特征在于，包括以下步骤：

步骤1，数据获取与准备；

步骤2，数据变换与数据增强；

步骤3，建立基于注意力机制的金字塔场景解析网络模型；

步骤4，对所述的网络模型进行训练；

步骤5，利用训练好的网络模型进行中尺度涡旋识别；

步骤1中所述的数据包括海面高度数据图像和对应的标注；步骤2中对所述的图像数据进行随机水平翻转，随机旋转，随机缩放操作，获得数据增强的效果。

2.根据权利要求1所述的中尺度涡旋识别方法，其特征在于，在所述的金字塔场景解析网络模型包括特征提取网络、金字塔池化模块和卷积分割模块，所述的特征提取网络为加宽卷积的ResNet网络，加宽卷积的作用是在有限的网络深度上增大高层特征所代表的输入图像尺寸，提取到的特征作为金字塔池化模块的输入。

3.根据权利要求2所述的中尺度涡旋识别方法，其特征在于，在所述的金字塔池化模块中构建层数为4的特征金字塔，不同层次的特征是基于输入特征通过不同尺度的池化操作得到的，然后通过一个1×1卷积层将特征维度缩减为原来的1/4，最后将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做合并，也就是连接操作得到最终输出的特征图。

4.根据权利要求3所述的中尺度涡旋识别方法，其特征在于，在所述的金字塔池化模块中通过不同尺度的池化操作后得到的池化后特征尺寸分别是1×1、2×2、3×3和6×6。

5.根据权利要求4所述的中尺度涡旋识别方法，其特征在于，在所述的金字塔场景解析网络模型引入逐点的空间注意力机制神经网络模块，用于获取图片中大范围的上下文信息。

6.根据权利要求1所述的中尺度涡旋识别方法，其特征在于，所述的金字塔场景解析网络模型中的损失函数为考虑权重的多分类交叉熵，其公式为：

其中，x表示图像像素，class表示图像像素的类别，x[class]表示该像素点预测为正确类别的概率，x[j]表示该像素点预测为j类的概率，weight[class]表示class类别的权重，所有类别的权重加和等于1，∑_classweight[class]＝1，类别的权重与该类别的像素多少成反比，weight[class]·pixel[class]＝常数。

7.根据权利要求6所述的中尺度涡旋识别方法，其特征在于，所述的金字塔场景解析网络模型在训练过程中的学习率表示为：

初始学习率lr_base＝0.01，衰减指数power＝0.9，iter为迭代次数，maxiter为最大迭代次数。

Images