[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113592786B - 一种基于深度学习的海洋中尺度涡检测方法 - Google Patents

一种基于深度学习的海洋中尺度涡检测方法 Download PDF

Info

Publication number
CN113592786B
CN113592786B CN202110783889.5A CN202110783889A CN113592786B CN 113592786 B CN113592786 B CN 113592786B CN 202110783889 A CN202110783889 A CN 202110783889A CN 113592786 B CN113592786 B CN 113592786B
Authority
CN
China
Prior art keywords
ocean
convolution
mesoscale vortex
automatic detection
mesoscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110783889.5A
Other languages
English (en)
Other versions
CN113592786A (zh
Inventor
杜震洪
董子意
吴森森
汪愿愿
张丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110783889.5A priority Critical patent/CN113592786B/zh
Publication of CN113592786A publication Critical patent/CN113592786A/zh
Application granted granted Critical
Publication of CN113592786B publication Critical patent/CN113592786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的海洋中尺度涡自动检测方法。本发明基于深度学习的思想，构建了适用于检测海洋中尺度涡的自动检测网络模型，逐级抽象海洋中尺度涡的高层本质特征，着重解决弱特征海洋遥感影像信息提取的关键科学问题，实现无人工干涉的海洋中尺度涡自动精准检测，节省检测海洋中尺度涡所需要耗费的人力和时间，为海洋学家利用海洋遥感影像探测海洋中尺度涡提供可靠的技术支撑。

Description

一种基于深度学习的海洋中尺度涡检测方法
技术领域
本发明涉及深度学习中的目标提取领域，具体涉及一种基于深度学习的海洋中尺度涡检测方法。
背景技术
海洋中尺度涡是以封闭环流为特征的一种重要海洋现象，在全球海洋中广泛存在，在海洋中呈现非规则螺旋状结构，空间尺度可达10千米到100千米，垂直方向影响深度高达1千米。海洋中尺度涡携带着巨大的能量，能够显著改变营养物质和温跃层的垂直分布，对浮游生物的分布、能量和盐的输送具有非常重要的作用。全球气候和生态系统深受海洋物质与能量变化的影响，因此，实现海洋中尺度涡的自动监测不仅有助于研究海洋气候变化，还对有效开发并管理海洋资源、确保海洋环境的安全具有重要作用。
海洋中尺度涡的自动检测是监测、分析中尺度涡时空变化特征的重要方法。海洋遥感卫星在观测海洋现象时具有全天候、大面积、远距离、非接触、快速高效等特点，这种观测方法为研究海洋中尺度涡提供了丰富的数据资源。传统检测海洋中尺度涡的方法存在不足之处。传统基于物理特征的海洋中尺度涡检测方法，如Okubo-Weiss(OW)算法，在人工设计中尺度涡的涡度、振幅、速度等物理特征的过程中，由于引入大量的人为主观因素，导致海洋中尺度涡检测精度较低；传统基于流场几何特征的海洋中尺度涡检测方法，如Winding-Angle(WA)算法，选择闭合的流线并将它们聚类而达到探测涡旋的目的，但该方法计算过程复杂、计算量大，并且缺乏泛化能力。
海洋的反射信号与陆地遥感信号相比十分微弱，海洋现象的光谱特征差异也远小于陆地表面物体间的光谱特征差异，这使得海洋现象在海洋遥感影像上的特征性和可区分性较弱。另外，影响海洋遥感影像的因素很多，如同一海洋现象在不同海面条件、不同水体浑浊度下具有显著的时空异质性，这直接导致海洋现象在海洋遥感影像上呈现的特征具有不一致性。海洋遥感影像的弱特征性加剧了传统识别方法的局限性。
发明内容
本发明的目的是克服现有技术存在的问题，提供一种基于深度学习的海洋中尺度涡检测模型。本发明通过逐级抽象海洋中尺度涡的高层本质特征，着重解决弱特征海洋遥感影像信息提取的关键科学问题，实现无人工干涉的海洋中尺度涡自动精准检测。
本发明的目的是通过以下技术方案来实现的：
一种基于深度学习的海洋中尺度涡自动检测方法，其包括如下步骤：
S1：获取带有海洋中尺度涡标签的海平面异常图像数据集；
S2：基于改进的U-Net网络构建海洋中尺度涡自动检测模型；所述改进的U-Net网络包括左侧的编码器部分和右侧的解码器部分；
所述编码器部分由4个编码块连接而成；第一个编码块以海平面异常图像为输入；每个编码块中将编码块输入依次通过3个3×3卷积层后，再利用步长为2的最大池化操作进行下采样，下采样结果输出至下一个编码块中作为输入，同时下采样结果与第二个3×3卷积层的输出计算残差以实现残差学习；最后一个编码块输出的特征图作为所述编码器部分的输出；
所述解码器部分由4个解码块连接而成，每个解码块中将解码块输入依次通过3个3×3卷积层后，再利用1个2×2的转置卷积运算进行上采样使特征通道的数量减半，同时对后两个3×3卷积层的输出计算残差以实现残差学习；
第一个解码块以所述编码器部分的输出直接作为输入；对于除第一个解码块之外的其余每个解码块，则分别通过增加一个卷积注意力模块和跳跃连接结构，从编码器部分中获取对应层级编码块下采样之前的特征图且该特征图的尺寸与上一个解码块输出的上采样结果的尺寸相同，并输入卷积注意力模块中进行通道和空间两个维度的注意力增强，将注意力增强结果与上一个解码块输出的上采样结果通过跳跃连接结构进行拼接，拼接结果作为当前层级解码块的输入；最后一个解码块的上采样结果作为所述解码器部分的输出，经过1个3×3卷积层和1个1×1卷积层后，输出与输入的海平面异常图像尺寸相同的海洋中尺度涡提取结果图；
S3：利用所述海平面异常图像数据集对构建的海洋中尺度涡自动检测模型进行训练，将训练后的海洋中尺度涡自动检测模型用于从海平面异常图像中检测海洋中尺度涡。
作为优选，每个所述3×3卷积层中的激活函数均为ReLU激活函数。
作为优选，所述海平面异常图像数据集分批作为训练数据，输入海洋中尺度涡自动检测模型中进行训练。
作为优选，所述海洋中尺度涡自动检测模型训练时以最小化损失函数为目标，采用Adam优化器对模型参数进行优化。
进一步的，所述损失函数为交叉熵损失。
作为优选，所述卷积注意力模块由通道注意力模块和空间注意力模块构成。
进一步的，所述卷积注意力模块中，通道注意力模块的通道数为32，卷积核大小为3×3；空间注意力模块中的卷积核大小为7×7。
作为优选，所述海洋中尺度涡自动检测模型中，输入的每张海平面异常图像尺寸为256像素×256像素。
本发明与现有技术相比具有有益效果：
本发明针对传统的海洋中尺度涡检测方法缺乏通用能力且海平面异常影像特征性较弱的问题，基于深度学习思想，规避了人工设计特征和阈值的问题，构建了适用于海洋中尺度涡检测的模型，逐级抽象与表达海洋中尺度涡的高层本质，在模型中引入了卷积注意力模块这种深度特征选择方法，增强相关区域特征、抑制不相关区域的特征，提升网络模型对海洋中尺度涡目标的检测能力，实现了海洋中尺度涡的自动精准检测。由此，通过本发明提供的方法，可以节省检测海洋中尺度涡所需要耗费的人力和时间，为海洋学家利用海洋遥感影像探测海洋中尺度涡提供可靠的技术支撑。
附图说明
图1为基于深度学习的海洋中尺度涡自动检测方法的步骤流程图；
图2为本发明的基于深度学习的海洋中尺度涡自动检测模型结构示意图；
图3为图2的编码器部分的结构图；
图4为图2的解码器部分的结构图；
图5为卷积注意力模块结构图；
图6为通道注意力模块的操作过程；
图7为空间注意力模块的操作过程；
图8为残差学习机制示意图；
图9本发明的基于深度学习的海洋中尺度涡自动检测模型在数据集上的分割结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明的核心在于构建了一种适用于海洋中尺度涡的自动检测模型，该模型能够基于深度学习思想逐级抽象与表达海洋中尺度涡的高层本质特征，实现其自动精准检测。下面本发明对技术方案进行具体描述。
如图1所示，在本发明的较佳实现方式中，提供了一种基于深度学习的海洋中尺度涡自动检测方法，该方法包括以下S1～S3所示步骤：
S1：获取带有海洋中尺度涡标签的海平面异常图像数据集。该数据集中，含有大量的海平面异常图像样本，每个图像样本均预先通过人工标注，形成相应的海洋中尺度涡标注信息。每个图像样本的尺寸均调整为与后续的模型输入相匹配。海平面异常图像可采用MSLA(Maps Sea Level Anomaly Merged)图像经过预处理获得，当然亦可采用其他的图像数据代替。
S2：基于改进的U-Net网络构建海洋中尺度涡自动检测模型。
如图2所示，改进的U-Net网络的整体形式与传统的U-Net网络基本相似，呈U形网络结构，网络的左侧为编码器部分，右侧为解码器部分，编码器部分和解码器部分之间存在跳跃连接结构。
其中，如图3所示，编码器部分由4个编码块连接而成。各编码块的结构基本类似，每个编码块中将当前编码块输入依次通过3个3×3卷积层后，再利用步长为2的最大池化操作进行下采样，下采样结果输出至下一个编码块中作为输入，同时每一个编码块中的下采样结果与第二个3×3卷积层的输出需要计算残差，以实现残差学习。但是4个编码块的输入存在差异，第一个编码块以整个改进的U-Net网络的输入层传递的海平面异常图像直接作为输入，而其余的3个编码块则以上一个编码块输出的下采样结果作为自身的输入。最后一个编码块后续不再存在编码块，因此其输出的特征图即下采样结果作为整个编码器部分的输出，后续输入解码器部分中。
编码器部分中，设置4个编码块且每个编码块中3×3卷积层的组数设置为3是经过实验验证后，为了避免网络过深降低检测精准度。卷积层用来提取图像特征，下采样层用来过滤一些不重要的高频信息，减少通道数，增大感受野。重复的卷积和池化操作可以充分提取图像的高层特征，每经过一个编码块，特征图尺寸缩小一半而通道数加倍。
同样的，如图4所示，解码器部分也由4个解码块连接而成，4个解码块的基本结构类似，每个解码块中将当前解码块输入依次通过3个3×3卷积层后，再利用1个2×2的转置卷积运算进行上采样使特征通道的数量减半，同时每一个解码块中后两个3×3卷积层的输出需要计算残差，以实现残差学习。但是4个解码块的输入也存在差异，第一个解码块以前述编码器部分的输出直接作为输入。而对于除第一个解码块之外的其余每个解码块，则分别通过增加一个卷积注意力模块和跳跃连接结构，从编码器部分中获取对应层级编码块下采样之前的特征图(记为特征图T)，从编码器部分中获取的特征图T输入卷积注意力模块中进行通道和空间两个维度的注意力增强，将注意力增强结果与上一个解码块输出的上采样结果(此时两者的图像尺寸和通道数均相同)通过跳跃连接结构进行通道拼接，拼接结果作为当前层级解码块的输入。需注意的是，对于每一个解码块而言，其对应的卷积注意力模块具体获取特征图T的编码块层级需要根据编码块中下采样之前的特征图(即第3个3×3卷积层的输出结果)的尺寸确定，获取的特征图应当与当前解码块的上一个解码块输出的上采样结果具有相同的尺寸，以便于后续可以进行拼接。
由于最后一个解码块之后不再具有解码块，因此其上采样结果作为整个解码器部分的输出。最终，解码器部分输出的特征图依次经过1个3×3卷积层和1个1×1卷积层后，重新还原图像的尺寸，输出一个与模型输入的海平面异常图像尺寸相同的海洋中尺度涡提取结果图。
由于本发明中，海洋中尺度涡的识别是一个二分类过程，因此最终输出的海洋中尺度涡提取结果图也是一个2通道的特征图，根据该特征图即可判断图像中每一个像素点是否属于海洋中尺度涡。
需注意的是，本发明在除第一层以外的编码器和解码器之间都增加了卷积注意力模块，从通道向和空间向这两个维度自适应地选择和增强海洋中尺度涡目标的显著内容和位置特征，增强相关区域特征、抑制不相关区域的特征，提升网络模型对目标的检测和识别能力。除第一个解码块之外，其余每个解码块与编码块都通过了卷积注意力模块和跳跃连接结构从编码器部分中对应层级编码块中获取了特征图作为后续卷积层的输入，用浅层网络保存较好的细节位置信息来辅助分割，以降低下采样时因降低分辨率带来的空间信息损失。之所以取消了第一层解码块的跳跃连接结构和卷积注意力模块，是因为经过实验对比分析可知，第一层上采样不代表高维空间中的输入数据，因此在第一层解码块加入跳跃连接结构并不会带来明显的效果，反而会降低模型的性能。
由此可见，在特征提取模块中核心是卷积注意力模块。下面对其具体的结构进行详细描述。
(1)卷积注意力模块
卷积注意力模块是一个轻量通用的注意力模块，可以简单有效地集成到大部分的卷积神经网络模型中，在提高网络特征提取能力的同时也不会显著增加网络的参数量和计算复杂度，较好地改善了模型的性能。卷积注意力模块由通道注意力模块和空间注意力模块构成，具体操作过程如图5所示。给定一个输入特征图F∈RC×H×W，通道数为C，每个通道特征图的宽度和高度分别为W和H。CBAM首先将输入特征图F计算得到一维的通道注意力图AC∈RC×1×1，再将F与AC经过像素级相乘后得到通道向的显著特征图FC∈R1×H×W，计算过程如式(1.1)所示；然后FC计算得到二维的空间注意力图AS∈RC×1×1。最后FC与AS像素级相乘后输出最终的显著特征图FR∈RC×H×W，计算过程如式(1.2)所示，代表像素级相乘的操作。
CBAM从输入特征图的通道向和空间向这两个维度自适应地选择和增强目标的显著内容和位置特征。然后将输入特征图与注意力图相乘，得到经过特征选择后的显著特征图，增强重要特征、抑制无用特征，使得网络模型能更关注目标的内容信息和位置信息，提升对目标的检测能力。
CBAM中的通道注意力模块关注的是输入特征图中有意义的内容信息，其中每个通道上的特征图都可看作一个特征探测器，其操作过程如图6所示。
通道注意力模块首先对输入特征图F分别使用最大池化和平均池化生成两个不同空间内容的特征图：和/>最大池化操作用于聚合不同目标独有的特征；平均池化操作用于聚合空间信息，反馈全局信息，两者互为补充。然后，将这两种特征图同时送入一个包含了多层感知机(Multi-layer Perceptron，MLP)的共享网络中，经过计算得到通道注意力图AC。最后，将共享网络的输出向量以点像素逐位相加的方式融合，具体的计算过程如式(1.3)所示。通道注意力模块采用并行连接的方式有效减少信息丢失，并且通过共享多层感知机模型减少参数量，降低网络模型的计算负担。
其中，σ为sigmoid函数，MLP代表多层感知机，AvgPool和MaxPool分别为平均池化和最大池化操作。W0∈RC/r×C和W1∈RC×C/r表示多层感知机模型中的参数。
CBAM中的空间注意力模块主要关注目标的位置信息，使得网络能够自适应地选择输入特征图中表征目标内容信息及其位置信息的特征。空间注意力模块的操作过程如图7所示。
空间注意力模块首先在特征图FC∈RC×H×W的通道维度上分别使用最大池化和平均池化生成两个不同空间内容的特征图和/>然后拼接这两个特征图以便突出目标区域；最后，利用卷积操作将拼接后的特征图转变为空间注意力图AS∈R1 ×H×W，进而反馈需要突出或抑制的区域。具体的计算过程如式(1.4)所示，其中，Conv7×7代表7×7的卷积操作。
(2)残差学习机制
深度学习领域中，增加卷积神经网络的深度往往可以提高网络的特征提取能力。但是，逐渐加深的网络会越来越难以训练，甚至导致网络性能出现退化的现象。改进后的U-Net网络模型也存在网络过深导致模型难以训练的问题。为了解决这一问题，现有技术中创新性地提出了残差学习(residual learning)的思想，在ResNet中引入残差学习模块后，深层网络能够提取到复杂特征的同时也防止了梯度消失，提升了整体性能。因此，本发明在改进后的U-Net网络中也引入了残差学习模块，解决了网络过深产生退化的问题，防止网络梯度消失。
残差学习模块由残差路径和恒等连接路径共同组成，是构成ResNet的基本单元之一，如图8所示。其中，残差路径包括两组卷积层和ReLU(Rectified Linear Units)激活函数。残差学习模块的输出结果由残差路径和恒等连接路径的输出结果相加后共同得到。当残差F(x)为0时，残差学习模块的输出为x，此时可以保证模型不会退化；事实上，残差F(x)在大多数情况下不会为0，也就是说，在不损失原有特性的前提下残差学习模块也能学习到新的特征。残差学习模块中的跳跃连接(Skip Connection)结构不仅没有增加参数量和计算复杂度，还使得深层梯度在反向传播时可以直接通过跳跃连接结构传递到浅层，防止网络梯度消失，优化网络的训练过程。
S3：上述构建的海洋中尺度涡自动检测模型需要利用海平面异常图像数据集进行训练。本发明训练前，需定义上述模型训练过程中的损失函数，然后以最小化损失函数为目标，采用优化器对模型参数进行优化。训练后的海洋中尺度涡自动检测模型精度达到要求后，即可用于从海平面异常图像中检测海洋中尺度涡。
交叉熵损失函数(Cross-entropy loss或Softmax loss)是分类模型中最常用的损失函数。本发明选取交叉熵函数作为改进U-Net网络模型的损失函数，该函数的计算公式如式(1.5)所示。交叉熵损失函数使得网络模型中最后一层的权重梯度不再跟激活函数的导数相关，而是与输出值和真实值的差值成正比，从而可以加快网络模型的收敛速度，同时也可以加快更新整个权重矩阵。
Llogistic(y′,y)＝-ylogy′-(1-y)log(1-y′) (1.5)
其中，y′和y分别是实际结果和预测结果。
下面基于上述步骤S1～S3所示方法，将其应用至具体的实例中对其效果进行展示。具体的过程如前所述，不再赘述，下面主要展示其具体参数设置和实现效果。
实施例1
本实施例中，以部分海域作为研究区域，对其进行海洋中尺度涡的检测。下面主要对各步骤的一些具体实现细节和效果进行展示。
1、数据集制作
海平面异常图像数据集的空间分辨率为0.25°，选取的数据的时间周期从1993年1月1日开始到2012年12月31日截止，共计20年，时间分辨率为7天，共计1043张MSLA图像样本。该数据集将1993年至2010年这18年的数据(即939张MSLA图像)作为训练集，将2011年、2012年共104张MSLA图像作为验证集。数据集中样本的每张单通道图像大小为256像素×256像素，每一张图像都作为一条样本数据存在。数据集包括图片集和标签集,其中图片集作为模型的输入来源，是包含了海洋中尺度涡特征的MSLA图片；标签集为每张图片所包含的海洋中尺度涡位置信息和类别信息。
2、实验环境
本实施例按照目前主流的深度学习环境配置搭建了实验环境，基础系统平台配置如表1所示。另外，本发明的重要软件配置如表2所示。
表1基础系统平台配置
表2重要软件配置
3、参数设置
通过随机搜索策略，综合考虑模型计算效率、结果精度以及硬件3个方面，本实验将训练网络的权重初始化策略设置为随机初始化，选择交叉熵函数作为损失函数，采用Adam优化器对损失函数进行优化，初始的学习率设置为1e-3。神经网络训练时的批量大小设置为16，迭代次数设置为500。其中卷积注意力模块中的通道注意力模块的通道数为32，卷积核大小为3×3；空间注意力模块中的卷积核大小为7×7。经过迭代训练，网络最终收敛。
4、评价指标
将基于MSLA遥感影像检测出来的海洋中尺度涡图像与海洋中尺度涡数据集标签图像中的像素点依次进行对比，如果网络分割结果对比分割标准结果一致，则为真阳性(True Positive，TP)，如果网络结果对比分割标准错误，则为假阳性(False Positive，FP)。而对于图像中的非中尺度涡像素而言，如果网络分割结果对比正确，则为真阴性(TrueNegative，TN)，分割结果对比错误则为假阴性(False Negative，FN)。
表3混淆矩阵
为准确有效地对实验结果进行评价，本发明采用了基于像素级别的四种分割领域常用指标对实验结果进行评估，包括准确率(Accuracy)，查准率(Precision)，查全率(Recall)和F1-Score(Dice系数)，这四种评价指标的具体定义如下：
(1)准确率(Accuracy)：代表分类器对整个样本判断正确的比重，即正确判断的像素数量与像素总数的比值。
(2)查准率(Precision)：指被分类器判定正例中的正样本的比重。
(3)查全率(Recall)：指的是被预测为正例的占总的正例的比重。
(4)F1-Score：
5、实验结果分析
为了证明本发明提出的模型在提取海洋中尺度涡方面具有先进性以及鲁棒性，我们比较了本发明模型(Our Method)与Lguensat等提出的EddyNet模型、Ronneberger等提出的U-Net模型以及本发明提出的模型的不同结构对海洋中尺度涡的提取效果，分别从准确率(Accuracy)、查准率(Precision)、查全率(Recall)、F1-Score和训练耗时、分割耗时等方面对上述网络的分割性能做出了全面的对比和分析。从分割效果对比下表4中可以看到：本发明算法在准确率，查准率，查全率和F1-Score上均比EddyNet算法取得了更好的结果。另外，在与经典U-Net+残差模块、经典U-Net+CBAM注意力模块分别对比可知，本发明所加的这两个模块均不同程度地提高了模型的识别性能，这说明了注意力机制和残差学习对提升海洋中尺度涡提取精度的有效性。经过迭代训练，本发明模型在训练集上取得了96.33％的分类精度，在验证集中取得了93.88％的分类精度。改进的U-Net模型由于引入了CBAM注意力机制和残差学习模块，促使网络能够提取更加复杂的高层本质特征，同时也避免了模型的退化，防止梯度消失，提高了检测精度。
表4五种网络在数据集上的分割效果对比
另外，图9(a)、(b)两组实验结果分别对应验证集中第18周和第27周的中尺度涡提取情况。其中，第1列图片是海平面高度异常图，第2、3、4列图片分别对应涡旋提取参考真值、EddyNet方法、本发明方法获得的中尺度涡检测结果图。观察图9(a)、(b)两组实验结果中黑色方框框出的区域，与该区域的海平面高度异常等值线图相比，本发明的方法得到了与海平面高度异常等值线图较为一致的涡旋提取结果，而EddyNet方法检测到了许多虚假的涡旋，这是由于EddyNet方法网络结构过于简单造成的，而本发明的方法可以更加谨慎地利用更多的上下文信息来捕获涡旋细节。因此，本发明方法有不错的中尺度涡检测效果，在检测中尺度涡时更有潜力。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种基于深度学习的海洋中尺度涡自动检测方法，其特征在于，包括如下步骤：
S1：获取带有海洋中尺度涡标签的海平面异常图像数据集；
S2：基于改进的U-Net网络构建海洋中尺度涡自动检测模型；所述改进的U-Net网络包括左侧的编码器部分和右侧的解码器部分；
所述编码器部分由4个编码块连接而成；第一个编码块以海平面异常图像为输入；每个编码块中将编码块输入依次通过3个3×3卷积层后，再利用步长为2的最大池化操作进行下采样，下采样结果输出至下一个编码块中作为输入，同时下采样结果与第二个3×3卷积层的输出计算残差以实现残差学习；最后一个编码块输出的特征图作为所述编码器部分的输出；
所述解码器部分由4个解码块连接而成，每个解码块中将解码块输入依次通过3个3×3卷积层后，再利用1个2×2的转置卷积运算进行上采样使特征通道的数量减半，同时对后两个3×3卷积层的输出计算残差以实现残差学习；
第一个解码块以所述编码器部分的输出直接作为输入；对于除第一个解码块之外的其余每个解码块，则分别通过增加一个卷积注意力模块和跳跃连接结构，从编码器部分中获取对应层级编码块下采样之前的特征图且该特征图的尺寸与上一个解码块输出的上采样结果的尺寸相同，并输入卷积注意力模块中进行通道和空间两个维度的注意力增强，将注意力增强结果与上一个解码块输出的上采样结果通过跳跃连接结构进行拼接，拼接结果作为当前层级解码块的输入；最后一个解码块的上采样结果作为所述解码器部分的输出，经过1个3×3卷积层和1个1×1卷积层后，输出与输入的海平面异常图像尺寸相同的海洋中尺度涡提取结果图；
S3：利用所述海平面异常图像数据集对构建的海洋中尺度涡自动检测模型进行训练，将训练后的海洋中尺度涡自动检测模型用于从海平面异常图像中检测海洋中尺度涡。
2.如权利要求1所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，每个所述3×3卷积层中的激活函数均为ReLU激活函数。
3.如权利要求1所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述海平面异常图像数据集分批作为训练数据，输入海洋中尺度涡自动检测模型中进行训练。
4.如权利要求1所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述海洋中尺度涡自动检测模型训练时以最小化损失函数为目标，采用Adam优化器对模型参数进行优化。
5.如权利要求4所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述损失函数为交叉熵损失。
6.如权利要求1所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述卷积注意力模块由通道注意力模块和空间注意力模块构成。
7.如权利要求6所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述卷积注意力模块中，通道注意力模块的通道数为32，卷积核大小为3×3；空间注意力模块中的卷积核大小为7×7。
8.如权利要求1所述的基于深度学习的海洋中尺度涡自动检测方法，其特征在于，所述海洋中尺度涡自动检测模型中，输入的每张海平面异常图像尺寸为256像素×256像素。
CN202110783889.5A 2021-07-12 2021-07-12 一种基于深度学习的海洋中尺度涡检测方法 Active CN113592786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110783889.5A CN113592786B (zh) 2021-07-12 2021-07-12 一种基于深度学习的海洋中尺度涡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110783889.5A CN113592786B (zh) 2021-07-12 2021-07-12 一种基于深度学习的海洋中尺度涡检测方法

Publications (2)

Publication Number Publication Date
CN113592786A CN113592786A (zh) 2021-11-02
CN113592786B true CN113592786B (zh) 2023-12-05

Family

ID=78246784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110783889.5A Active CN113592786B (zh) 2021-07-12 2021-07-12 一种基于深度学习的海洋中尺度涡检测方法

Country Status (1)

Country Link
CN (1) CN113592786B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299377B (zh) * 2021-12-31 2024-03-22 中山大学 一种基于宽度学习的涡旋识别方法及装置
CN114022774A (zh) * 2022-01-10 2022-02-08 航天宏图信息技术股份有限公司 一种基于雷达影像的海洋中尺度涡监测方法和装置
CN115953394B (zh) * 2023-03-10 2023-06-23 中国石油大学(华东) 基于目标分割的海洋中尺度涡检测方法及系统
CN117422711B (zh) * 2023-12-14 2024-03-26 武汉理工大学三亚科教创新园 一种海洋涡旋高光谱变化检测方法、装置、设备及介质
CN117935023B (zh) * 2024-03-22 2024-05-28 青岛哈尔滨工程大学创新发展中心 基于注意力机制的中尺度涡识别和特征分析方法及系统
CN118378665B (zh) * 2024-06-24 2024-10-25 南京信息工程大学 基于注意力的多尺度残差U-Net的海洋中尺度涡旋检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767827A (zh) * 2020-06-28 2020-10-13 中国人民解放军国防科技大学 一种基于深度学习的中尺度涡旋识别方法
CN112102325A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 基于深度学习和多源遥感数据的海洋异常中尺度涡识别方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
WO2021119366A1 (en) * 2019-12-12 2021-06-17 FLIR Belgium BVBA Deep learning-based marine object classification using 360-degree images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021119366A1 (en) * 2019-12-12 2021-06-17 FLIR Belgium BVBA Deep learning-based marine object classification using 360-degree images
CN111767827A (zh) * 2020-06-28 2020-10-13 中国人民解放军国防科技大学 一种基于深度学习的中尺度涡旋识别方法
CN112102325A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 基于深度学习和多源遥感数据的海洋异常中尺度涡识别方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
遥感图像中尺度海洋锋及涡旋提取方法研究进展;黎安舟;周为峰;范秀梅;中国图象图形学报;第22卷(第6期);全文 *

Also Published As

Publication number Publication date
CN113592786A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113592786B (zh) 一种基于深度学习的海洋中尺度涡检测方法
CN111738124A (zh) 基于Gabor变换和注意力的遥感图像云检测方法
US11308714B1 (en) Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN114926511B (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN112132012B (zh) 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN115375604B (zh) 一种基于量子化自编码器的无监督缺陷检测方法
CN111738295B (zh) 图像的分割方法及存储介质
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN116311214B (zh) 车牌识别方法和装置
CN115131313A (zh) 基于Transformer的高光谱图像变化检测方法及装置
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN116580243A (zh) 一种掩码图像建模引导域适应的跨域遥感场景分类方法
Wang et al. An unsupervised heterogeneous change detection method based on image translation network and post-processing algorithm
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法
Zhan et al. [Retracted] The System Research and Implementation for Autorecognition of the Ship Draft via the UAV
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
CN107292268A (zh) 快速脊波反卷积结构学习模型的sar图像语义分割方法
CN113313668B (zh) 一种地铁隧道表面病害特征提取方法
CN114863209A (zh) 类别比例引导的无监督领域适应建模方法、系统、设备及介质
CN106897683B (zh) 一种遥感图像的地物检测方法及系统
CN118644771A (zh) 一种基于改进ViT网络模型的水下锈迹识别方法及系统
CN117496154A (zh) 基于概率图表征边缘的高分辨率遥感影像语义分割方法
CN114937154B (zh) 一种基于递归解码器的显著性检测方法
CN115953577A (zh) 一种基于有监督长程相关的遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant