CN117351360A - 一种基于注意力机制改进的遥感图像道路提取方法 - Google Patents
一种基于注意力机制改进的遥感图像道路提取方法 Download PDFInfo
- Publication number
- CN117351360A CN117351360A CN202311407525.2A CN202311407525A CN117351360A CN 117351360 A CN117351360 A CN 117351360A CN 202311407525 A CN202311407525 A CN 202311407525A CN 117351360 A CN117351360 A CN 117351360A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- feature map
- road extraction
- attention module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 93
- 230000007246 mechanism Effects 0.000 title claims abstract description 18
- 230000006872 improvement Effects 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000020411 cell activation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制改进的遥感图像道路提取方法，包括以下步骤：制备数据集；搭建遥感图像道路提取网络；训练遥感图像道路提取网络。本发明采用预训练的DenseNet‑121作为遥感图像道路提取网络的编码器，充分利用了在大规模图像数据集上预训练的权重，从而使道路提取网络能够更好地理解和捕捉道路图像中的关键特征，大大提高了道路提取网络在道路提取任务中的性能和准确性，为相关领域的研究和应用提供了可靠的技术基础。本发明在道路提取网络中引入了循环交叉注意力模块和卷积注意力模块，能够更好地理解道路的整体结构和特征，从而提高了道路提取的准确性和鲁棒性，显著提高了网络的表达能力和对图像局部信息的关注度。
Description
技术领域
本发明涉及到遥感图像分割与深度学习技术领域，具体是一种基于注意力机制改进的高分辨率遥感图像道路提取方法。
背景技术
随着遥感技术的不断发展，越来越多的高分辨率遥感图像可以被获取。遥感图像已经被广泛应用于环境监测、自然资源管理、城市规划、地理信息系统等诸多领域。其中，从高分辨率遥感图像中提取道路信息对于地理信息系统的制图和更新至关重要。尽管道路提取在遥感图像处理领域引起了相当多的关注，但由于高分辨率遥感图像中道路的各种复杂性，至今还没有令人满意的自动化解决方案，道路提取仍然是一项非常具有挑战性的任务。
高分辨率遥感图像中的道路特征主要包括几何特征、光谱特征、拓扑特征以及纹理特征。根据这些特征，目前已有许多道路提取方法被提出，这些方法可分为传统道路提取方法和基于深度学习的道路提取方法两大类。传统的道路提取方法是基于经验的提取方法，主要利用了图像的浅层特征，如灰度、边缘、纹理和几何形状等。基于深度学习的方法主要采用深度卷积神经网络从原始图像中隐式地提取深层抽象特征，并利用这些特征自动地提取道路信息。
目前，基于深度学习的方法大多使用深度残差网络作为骨干网进行特征提取，同时空洞卷积多被用于增大神经网络的感受野并增强神经网络获得多尺度上下文信息的能力。此外，上采样操作往往与跳跃连接相结合，以帮助网络捕获更多低层次和高层次的特征信息。虽然这些方法在道路提取任务中表现较好，但仍然存在以下不足：(1)在对原始图像进行下采样的过程中容易丢失道路特征。(2)目前的神经网络模型在遥感图像中往往无法捕获远程依赖关系，导致提取精度在很大程度上受限。(3)跳跃连接操作将来自解码器的深层次语义特征与来自编码器的浅层语义特征融合起来，虽然加强了对浅层信息的利用，但这种直接复制的方式忽视了蕴含的道路信息在空间和通道维度上的分布情况，限制了模型的分割能力。
发明内容
为了解决现有的遥感图像道路提取方法存在的问题，本发明要提出一种基于注意力机制改进的遥感图像道路提取方法，实现对道路信息更加准确的定位和提取。
为了达到上述发明目的，本发明采用如下技术方案：一种基于注意力机制改进的遥感图像道路提取方法，包括以下步骤：
A、制备数据集
收集遥感卫星拍摄的遥感图像数据，并按照以下步骤制备遥感图像道路提取数据集：
A1、对图像进行标注和裁剪
从遥感图像数据集官网下载原始遥感图像数据集，所述原始遥感图像数据集为RGB三波段彩色遥感图像数据集，并使用数据集标注软件进行标注。然后，将原始遥感图像和人工标注的标签图以相同的方式统一裁剪为1024×1024像素大小的小图片，获得不少于6000张带标签的1024×1024像素大小的遥感图像数据集，简称带标签遥感图像数据集。
A2、图像增强
经过标注和裁剪后得到的带标签遥感图像在被输入到遥感图像道路提取网络之前，采用水平翻转、垂直翻转、对角翻转、颜色抖动和平移操作进行图像增强，并将增强后的带标签遥感图像数据集简称为增强遥感图像数据集。
B、搭建遥感图像道路提取网络
所述遥感图像道路提取网络是由注意力机制改进的遥感图像道路提取网络，整体架构采用编码器-解码器架构，所述编码器包括5个编码块、依次为编码块1到编码块5，所述解码器包括4个解码块、依次为解码块1到解码块4；增强遥感图像经过编码块1和编码块2后分别输入编码块3和卷积注意力模块1，编码块3输出的特征图分别输入编码块4和卷积注意力模块2，编码块4输出的特征图分别输入编码块5和卷积注意力模块3，编码块5输出的特征图输入到循环交叉注意力模块；经过循环交叉注意力模块输出的特征图与来自卷积注意力模块3输出的特征图进行特征融合后输入到解码块4，解码块4输出的特征图与来自卷积注意力模块2输出的特征图进行特征融合后输入到解码块3，解码块3输出的特征图与来自卷积注意力模块1输出的特征图进行特征融合后输入到解码块2，解码块2输出的特征图输入解码块1，解码块1通过上采样将特征图整合为与输入遥感图像相同大小的预测图。
所述遥感图像道路提取网络搭建方法包括以下步骤：
B1、使用DenseNet-121构建编码器
使用在ImageNet数据集上预训练的DenseNet-121作为编码器，编码器由五个编码块组成，每个编码块由多个卷积层组成。在每个编码块内部，每个卷积层的输入是前面所有层的特征图的连接。每个编码块的实现方式用公式描述为：
Xl＝Hl([X0,X1,...,Xl-1]) (1)
其中Xl表示l层的特征图。[X0,X1,...,Xl-1]表示被连接到l层的特征图，Hl(·)是一个包括批量归一化、修正线性单元激活函数和卷积操作的复合函数。
B2、在遥感图像道路提取网络的中心部分引入循环交叉注意力模块
所述循环交叉注意力模块由两个交叉注意力模块串联堆叠而成，在循环交叉注意力模块中，输入特征图F；首先通过三个并行的1×1卷积操作，分别得到特征图Q、K和V。在特征图Q的空间维度上每一个特征点u的位置上，都得到一个特征向量Qu。同时提取在特征图K中对应特征点u所处位置的水平和垂直方向的所有通道的H+W-1个像素点的特征向量，得到集合Ωu。然后，通过一个关联操作生成特征图D。再对特征图D进行软最大化操作，将其转换为相同大小的特征图A。
关联操作的计算公式如下：
其中，是集合Ωu中的第i个元素对应的特征向量的转置，di,u∈D是特征向量Qu和Ωi,u之间的相关程度。
根据集合Ωu的生成方式，在特征图V上生成集合Φu。然后，对特征图A和V进行聚合操作，生成具有垂直和水平方向空间上下文信息的特征图F′。
聚合操作的计算公式如下：
其中，F′u是特征图F′在位置u处的特征向量，Ai,u是特征图A在位置u处对应的特征向量中的第i个值，Φi,u是集合Φu中第i个特征向量。
B3、在遥感图像道路提取网络的跳跃连接部分引入卷积注意力模块
卷积注意力模块由通道注意力模块和空间注意力模块两个子模块组成。通道注意力模块通过计算通道之间的内部关系并对其重要性进行排名为每个通道分配特定权重。首先，在特征图F上使用平均池化和最大池化获得特征图和/>然后，特征图/>和被输入到由多层感知机创建的权值共享网络中，以生成通道注意力特征图MC。整个过程的计算公式为：
其中，σ表示Sigmoid函数，MLP表示多层感知机，AvgPool和MaxPool分别表示平均池化和最大池化，F表示输入的特征图，W0和W1分别表示多层感知机中的两组权重矩阵。
空间注意力模块在空间级别上探索特征图的内部关系。首先，沿着通道维度对输入特征图进行平均池化和最大池化，获得特征图和/>然后，通过标准的卷积操作将特征图/>和/>连接起来。最后，得到通过空间注意力机制更新的特征图MS。整个过程的计算公式为：
在上式中，f7×7表示卷积核大小为7×7卷积操作。
整个卷积注意力模块的计算公式为：
其中F′表示经过通道注意力操作后的输入特征图，F″是最终经过细化处理的输出特征图，表示逐像素相乘。
C、训练遥感图像道路提取网络
将通过步骤A制备好的增强遥感图像数据集输入到遥感图像道路提取网络中进行训练。训练时，使用二值交叉熵损失和骰子损失组成的复合损失函数作为最终的损失函数。初始学习率设置为2e-4，同时采用适应性矩估计优化算法自适应地调整学习率，当学习率小于5e-7时，停止训练。选择在训练集上损失值最小的道路提取网络参数，在测试集上测试遥感图像道路提取网络的道路提取性能。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用了预训练的DenseNet-121作为遥感图像道路提取网络的编码器，不仅具有密集连接和特征重用的优势，还充分利用了在大规模图像数据集上预训练的权重，从而使道路提取网络能够更好地理解和捕捉道路图像中的关键特征。这一选择大大提高了道路提取网络在道路提取任务中的性能和准确性，为相关领域的研究和应用提供了可靠的技术基础。
2、本发明在道路提取网络中引入了循环交叉注意力模块和卷积注意力模块。循环交叉注意力模块的引入赋予了神经网络在处理道路图像时更强的能力，特别是在捕获长程依赖关系和更有效地利用上下文信息方面。这意味着神经网络能够更好地理解道路的整体结构和特征，从而提高了道路提取的准确性和鲁棒性。卷积注意力模块在不增加过多模型参数和计算复杂度的情况下，显著提高了网络的表达能力和对图像局部信息的关注度。这一模块有助于道路提取网络更精确地关注图像中道路的关键特征，进一步提升道路提取性能。这种结合循环交叉注意力模块和卷积注意力模块的设计策略有效地将全局和局部信息融合在一起，使得道路提取网络能够更全面地理解遥感图像，更准确地识别和提取道路信息。
3、本发明在结构更简单和计算成本更少的情况下，实现了对道路区域的高精度提取，在保证能够完成道路图像分割的同时，对其细节部分进行优化，使其在工作过程中能够更多的保留道路图片的特征，避免了特征损失难以解码的问题。本发明实现了高精度和高鲁棒性的道路信息提取。
4、综上所述，本发明基于注意力机制改进的遥感图像道路提取方法具有广阔的应用前景。
附图说明
图1是本发明的架构图。
图2是一个五层的密集块结构图。
图3是交叉注意力模块结构图。
图4是卷积注意力模块的结构图。
图5是本发明与其他道路分割网络的道路提取效果对比图。
具体实施方式
下面结合附图对本发明进行进一步说明。如图1所示，一种基于注意力机制改进的遥感图像道路提取方法，具体步骤如下：
Step1:收集遥感卫星拍摄的遥感图像数据。从遥感图像数据集官网下载原始遥感图像数据集，所述原始遥感图像数据集为RGB三波段彩色遥感图像数据集。
Step2:遥感图像数据集标注。使用遥感图像标注工具对采集自遥感卫星的RGB三通道彩色遥感图像中的道路区域进行标注，得到与原图大小相同的标签图。标签图为黑白二值图，其中道路标记为黑色，背景为白色。
Step3:图像裁剪。将原始的RGB彩色遥感图像和其对应的标签图采用相同的方式裁剪为1024×1024像素大小的小图，得到6226张带标签的1024×1024像素大小的遥感图像数据集。
Step4:图像增强。采用水平翻转、垂直翻转、对角翻转、颜色抖动和平移等操作对裁剪后得到的6226张1024×1024像素大小的遥感图像进行图像增强。
Step5:数据集划分。将经过图像增强后的6226张带标签的遥感图像按4:1的比例随机划分为训练集和测试集，得到4981张训练图像和1245张测试图像。
Step6:搭建遥感图像道路提取网络。遥感图像道路提取网络整体架构采用编码器-解码器架构，所述编码器包括5个编码块、依次为编码块1到编码块5，所述解码器包括4个解码块、依次为解码块1到解码块4；经图像增强后的1024×1024像素大小的遥感图像经过编码块1和编码块2后分别输入编码块3和卷积注意力模块1，编码块3输出的特征图分别输入编码块4和卷积注意力模块2，编码块4输出的特征图分别输入编码块5和卷积注意力模块3，编码块5输出的特征图输入到循环交叉注意力模块；经过循环交叉注意力模块输出的特征图与来自卷积注意力模块3输出的特征图进行特征融合后输入到解码块4，解码块4输出的特征图与来自卷积注意力模块2输出的特征图进行特征融合后输入到解码块3，解码块3输出的特征图与来自卷积注意力模块1输出的特征图进行特征融合后输入到解码块2，解码块2输出的特征图输入解码块1，解码块1通过上采样将特征图整合为与输入遥感图像相同大小的预测图。
Step7:训练遥感图像道路提取网络。将经过Step5划分后得到的4981张训练图像输入到遥感图像道路提取网络中，在两台NVIDIA GeForce RTX 3090显卡上同时进行训练，每次训练处理的图片数量设置为8张。训练时，使用二值交叉熵损失和骰子损失组成的复合损失函数最为最终的损失函数。初始学习率设置为2e-4，同时同时采用适应性矩估计优化算法自适应地调整学习率，当学习率小于5e-7时，停止训练。选择在训练集上损失值最小的道路提取网络参数，在测试集上测试遥感图像道路提取网络的道路提取性能。
Step8:对遥感图像道路提取网络进行性能测试。将经过Step5划分后得到的1245张测试图像输入到训练好的遥感图像道路提取网络，输出对应的1245张预测图。
Step9:基于遥感图像道路提取网络预测结果评估。采用F1分数和交并比等评估指标对预测结果进行评估，同时结合预测结果的视觉对比图进行综合评估。如图5所示，一些主流的道路提取网络在已经表现出较好的道路提取效果，即使是结构相对简单的U-Net网络也能提取较为完整的道路信息。然而，这些主流的方法对于小尺寸道路和一些复杂场景下的道路并没有表现出较好的检测性能，其主要原因是没有对图像的全局信息和局部信息进行有效融合且缺乏对图像上下文信息的理解。图5中第1、2行展示了不同的道路提取网络在小尺寸道路和背景信息比较复杂的道路上的道路提取效果，可以明显看出，相比于其他方法，遥感图像道路提取网络能够有效提取被遮挡的小尺寸道路。图5第3、4行展示了不同的道路提取网络在背景较为复杂的城市场景下对道路的检测效果，很明显本发明的遥感图像道路提取网络表现出更高的道路检测率以及更低的误判率。图5第5行展示了不同的道路提取网络在农村场景下的道路检测效果，可以看到，一些经典的道路提取网络无法对农田之间的土路和主要道路做出较好的区分，而遥感图像道路提取网络对于土路也具有很好的抗干扰能力。此外，对于图5第6行展示的形状复杂和轮廓不规则的道路，基于注意力机制改进的道路提取网络同样提供了更加完整的道路提取结果。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。
Claims (5)
1.一种基于注意力机制改进的遥感图像道路提取方法，其特征在于：包括以下步骤：
A、制备数据集
收集遥感卫星拍摄的遥感图像数据，并制备遥感图像道路提取数据集：
B、搭建遥感图像道路提取网络
所述遥感图像道路提取网络是由注意力机制改进的遥感图像道路提取网络，整体架构采用编码器-解码器架构；
C、训练遥感图像道路提取网络
将通过步骤A制备好的增强遥感图像数据集输入到遥感图像道路提取网络中进行训练；选择在训练集上损失值最小的道路提取网络参数，在测试集上测试遥感图像道路提取网络的道路提取性能。
2.根据权利要求1所述一种基于注意力机制改进的遥感图像道路提取方法，其特征在于：步骤A所述制备数据集的方法包括以下步骤：
A1、对图像进行标注和裁剪
从遥感图像数据集官网下载原始遥感图像数据集，所述原始遥感图像数据集为RGB三波段彩色遥感图像数据集，并使用数据集标注软件进行标注；然后，将原始遥感图像和人工标注的标签图以相同的方式统一裁剪为1024×1024像素大小的小图片，获得不少于6000张带标签的1024×1024像素大小的遥感图像数据集，简称带标签遥感图像数据集；
A2、图像增强
经过标注和裁剪后得到的带标签遥感图像在被输入到遥感图像道路提取网络之前，采用水平翻转、垂直翻转、对角翻转、颜色抖动和平移操作进行图像增强，并将增强后的带标签遥感图像数据集简称为增强遥感图像数据集。
3.根据权利要求1所述一种基于注意力机制改进的遥感图像道路提取方法，其特征在于：步骤B所述编码器包括5个编码块、依次为编码块1到编码块5，所述解码器包括4个解码块、依次为解码块1到解码块4；增强遥感图像经过编码块1和编码块2后分别输入编码块3和卷积注意力模块1，编码块3输出的特征图分别输入编码块4和卷积注意力模块2，编码块4输出的特征图分别输入编码块5和卷积注意力模块3，编码块5输出的特征图输入到循环交叉注意力模块；经过循环交叉注意力模块输出的特征图与来自卷积注意力模块3输出的特征图进行特征融合后输入到解码块4，解码块4输出的特征图与来自卷积注意力模块2输出的特征图进行特征融合后输入到解码块3，解码块3输出的特征图与来自卷积注意力模块1输出的特征图进行特征融合后输入到解码块2，解码块2输出的特征图输入解码块1，解码块1通过上采样将特征图整合为与输入遥感图像相同大小的预测图。
4.根据权利要求1所述一种基于注意力机制改进的遥感图像道路提取方法，其特征在于：步骤B所述遥感图像道路提取网络搭建方法包括以下步骤：
B1、使用DenseNet-121构建编码器
使用在ImageNet数据集上预训练的DenseNet-121作为编码器，编码器由五个编码块组成，每个编码块由多个卷积层组成；在每个编码块内部，每个卷积层的输入是前面所有层的特征图的连接；每个编码块的实现方式用公式描述为：
Xl＝Hl([X0,X1,...,Xl-1]) (1)
其中Xl表示l层的特征图；[X0,X1,...,Xl-1]表示被连接到l层的特征图，Hl(·)是一个包括批量归一化、修正线性单元激活函数和卷积操作的复合函数；
B2、在遥感图像道路提取网络的中心部分引入循环交叉注意力模块
所述循环交叉注意力模块由两个交叉注意力模块串联堆叠而成，在循环交叉注意力模块中，输入特征图F；首先通过三个并行的1×1卷积操作，分别得到特征图Q、K和V；在特征图Q的空间维度上每一个特征点u的位置上，都得到一个特征向量Qu；同时提取在特征图K中对应特征点u所处位置的水平和垂直方向的所有通道的H+W-1个像素点的特征向量，得到集合Ωu；然后，通过一个关联操作生成特征图D；再对特征图D进行软最大化操作，将其转换为相同大小的特征图A；
关联操作的计算公式如下：
其中，是集合Ωu中的第i个元素对应的特征向量的转置，di,u∈D是特征向量Qu和Ωi,u之间的相关程度；
根据集合Ωu的生成方式，在特征图V上生成集合Φu；然后，对特征图A和V进行聚合操作，生成具有垂直和水平方向空间上下文信息的特征图F′；
聚合操作的计算公式如下：
其中，F′u是特征图F′在位置u处的特征向量，Ai,u是特征图A在位置u处对应的特征向量中的第i个值，Φi,u是集合Φu中第i个特征向量；
B3、在遥感图像道路提取网络的跳跃连接部分引入卷积注意力模块
卷积注意力模块由通道注意力模块和空间注意力模块两个子模块组成；通道注意力模块通过计算通道之间的内部关系并对其重要性进行排名为每个通道分配特定权重；首先，在特征图F上使用平均池化和最大池化获得特征图和/>然后，特征图/>和/>被输入到由多层感知机创建的权值共享网络中，以生成通道注意力特征图MC；整个过程的计算公式为：
其中，σ表示Sigmoid函数，MLP表示多层感知机，AvgPool和MaxPool分别表示平均池化和最大池化，F表示输入的特征图，W0和W1分别表示多层感知机中的两组权重矩阵；
空间注意力模块在空间级别上探索特征图的内部关系；首先，沿着通道维度对输入特征图进行平均池化和最大池化，获得特征图和/>然后，通过标准的卷积操作将特征图/>和/>连接起来；最后，得到通过空间注意力机制更新的特征图MS；整个过程的计算公式为：
在上式中，f7×7表示卷积核大小为7×7卷积操作；
整个卷积注意力模块的计算公式为：
其中F′表示经过通道注意力操作后的输入特征图，F″是最终经过细化处理的输出特征图，表示逐像素相乘。
5.根据权利要求1所述一种基于注意力机制改进的遥感图像道路提取方法，其特征在于：步骤C所述训练遥感图像道路提取网络的方法，使用二值交叉熵损失和骰子损失组成的复合损失函数作为最终的损失函数；初始学习率设置为2e-4，同时采用适应性矩估计优化算法自适应地调整学习率，当学习率小于5e-7时，停止训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311407525.2A CN117351360A (zh) | 2023-10-27 | 2023-10-27 | 一种基于注意力机制改进的遥感图像道路提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311407525.2A CN117351360A (zh) | 2023-10-27 | 2023-10-27 | 一种基于注意力机制改进的遥感图像道路提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117351360A true CN117351360A (zh) | 2024-01-05 |
Family
ID=89364790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311407525.2A Pending CN117351360A (zh) | 2023-10-27 | 2023-10-27 | 一种基于注意力机制改进的遥感图像道路提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351360A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118332278A (zh) * | 2024-04-10 | 2024-07-12 | 浙江工业大学 | 一种基于物理约束和关联建模的台风多任务估计方法 |
| CN118429827A (zh) * | 2024-07-05 | 2024-08-02 | 广东海洋大学 | 基于改进DLinkNet的道路提取方法及系统 |
-
2023
- 2023-10-27 CN CN202311407525.2A patent/CN117351360A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118332278A (zh) * | 2024-04-10 | 2024-07-12 | 浙江工业大学 | 一种基于物理约束和关联建模的台风多任务估计方法 |
| CN118429827A (zh) * | 2024-07-05 | 2024-08-02 | 广东海洋大学 | 基于改进DLinkNet的道路提取方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598174B (zh) | 基于半监督对抗学习的模型训练方法及图像变化分析方法 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN114187450B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN111191654B (zh) | 道路数据生成方法、装置、电子设备及存储介质 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN113887472B (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN114187520B (zh) | 一种建筑物提取模型的构建及应用方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN116363526B (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
| CN115527113A (zh) | 一种遥感图像裸土地分类方法及装置 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| CN115424059A (zh) | 一种基于像素级对比学习的遥感土地利用分类方法 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| Fan et al. | River segmentation of remote sensing images based on composite attention network | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN117351360A (zh) | 一种基于注意力机制改进的遥感图像道路提取方法 | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |