[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117011711A - 一种海绵城市绿色基础设施多类别识别与分类方法 - Google Patents

一种海绵城市绿色基础设施多类别识别与分类方法 Download PDF

Info

Publication number
CN117011711A
CN117011711A CN202310984988.9A CN202310984988A CN117011711A CN 117011711 A CN117011711 A CN 117011711A CN 202310984988 A CN202310984988 A CN 202310984988A CN 117011711 A CN117011711 A CN 117011711A
Authority
CN
China
Prior art keywords
module
image
attention
sponge city
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310984988.9A
Other languages
English (en)
Inventor
杨利伟
张哲�
刘思杰
路鹏
赵传靓
刘家华
屈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202310984988.9A priority Critical patent/CN117011711A/zh
Publication of CN117011711A publication Critical patent/CN117011711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种海绵城市绿色基础设施多类别识别与分类方法，属于海绵城市建设中海绵设施和景观格局分布形态研究与优化领域，由基于注意力机制的语义分割神经网络实现；语义分割神经网络包括依次设置的初始化模块、主干网络模块、注意力编码模块、注意力解码模块以及掩模预测模块。本发明采用上述的一种海绵城市绿色基础设施多类别识别与分类方法，该方法通过对遥感卫星图像及无人机航拍图像进行语义分割，自动划分不同类别，作为统计与规划的辅助手段。

Description

一种海绵城市绿色基础设施多类别识别与分类方法
技术领域
本发明涉及海绵城市建设中海绵设施和景观格局分布形态研究与优化技术领域，尤其是涉及一种海绵城市绿色基础设施多类别识别与分类方法。
背景技术
海绵城市建设中的绿色基础设施是以自然生命系统为支撑，将城市内部及其周边具有生态系统功能的自然、半自然绿色开放性空间相互连接而构成的绿色空间网络。由生态源地、生态廊道和生态节点组成，在其提供的生态系统服务中，水质净化、洪水防控、蓄水等生态系统服务占据了非常重要的一部分。
海绵城市建设作为一种新的城市建设理念，将城市绿地拓展为城市绿色基础设施，纳入雨洪管理体系，是目前城市排水管理、园林规划、防洪排涝等市政工程建设的指导方针。基于绿色基础设施理论，发挥其生态性、系统性与景观性功能，配合城市灰色基础设施，实现径流控制、水质净化与雨水资源利用。依托绿色基础设施构建海绵城市，可以实现城市雨洪管理方式变革，从宏观控制和微观手段两方面，确保城市绿色基础设施体系的协调作用与各生态调蓄单元的高效运行。一般常用的海绵城市绿色基础设施主要包括生物滞留带、雨水花园、湿塘、湿地、下凹式绿地、生物滞留池、绿色屋顶、植草沟、蓄水沟、调节塘、旱溪等。
绿色基础设施既是一种可持续战略理念指导，也是可落实的海绵城市生态空间建设手段。由于海绵城市绿色基础设施中的景观类型和景观结构的变化都会对生态系统服务功能的发挥产生影响，因此科学、准确、快速地进行绿色基础设施识别分类及景观格局评价成为现有海绵城市绿色基础设施规划建设的首要问题。目前，海绵城市绿色基础设施的识别及分类工作依赖于对遥感图像进行人工操作，借助ENVI等软件识别地块类型，再利用Fragststs等软件进行景观格局评价，存在过程繁琐，工作量大等缺点。
遥感技术在生态环境的研究中，通过对绿地信息进行提取，将宏观的绿色基础设施转化成微观的数字符号，提供了科学的数据获取方式。对绿地结构进行管理和评价，可以为海绵城市绿色基础设施规划提供依据，从而为海绵城市的建设提供有力的基础数据和决策支持，有着十分重要的理论与现实意义。
但是海绵城市绿色基础设施遥感图像数据，存在设施用地边界不明晰，与自然背景对比不突出，边界模糊等问题，与常见城市或海洋遥感图像相比更加突出，像素涵盖区间也远超一般遥感图像语言分割网络验证数据区间。导致在针对海绵城市绿色基础设施遥感图像识别任务中，现有人工智能算法识别精度低，难以达到实际工程所需的标注精度。
因此，本专利结合人工智能算法，采用一种人工智能图像识别技术，提供一种基于遥感图像的海绵城市绿色基础设施与景观格局识别及分类方法，提高海绵城市绿色基础设施的识别及分类精度，同时实现绿色基础设施评价过程的自动化执行。
发明内容
本发明的目的是提供一种海绵城市绿色基础设施多类别识别与分类方法，通过结合基于特征融合方法与编解码方法，提供一种全新的语义分割神经网络结构，用来针对设施用地像边界特点、像素上下文特点进行特征提取与融合，基于实用角度，采用较大的编码器与较小的解码器结构，保证分割准度的情况下，减少模型参数量，为实际应用环节减小计算压力。
为实现上述目的，本发明提供了一种海绵城市绿色基础设施多类别识别与分类方法，包括以下步骤：
S1、对遥感图像和标签图像进行不同类别的归纳，并完成对应像素的分割，获得分割后对应的两组图像；
S2、对分割后的遥感图像进行图像特征工程模块处理，获得若干个处理后的遥感图像，同时将分割后的标签图像转化为灰度图；
S3、利用S2中增强后的遥感图像和转化为灰度图的标签图像构建数据集；通过图像处理统一数据集格式，从数据集中随机分配训练集及测试集；
S4、设计语义分割神经网络，包括依次设置的初始化模块、主干网络模块、注意力编码模块、注意力解码模块以及掩模预测模块；
S5、使用S3中分配的训练集对语义分割神经网络进行训练，在训练完成后，使用S3中的测试集对网络效果进行测试，当测试结果满足要求后保存网络模型，否则继续训练直到网络模型测试结果满足需求；
S6、对海绵城市绿色基础设施遥感图像进行均匀裁剪，保持图片大小与训练集图片大小一致，通过S4训练的语义分割网络模型获得若干个包含不同类别的城市绿色基础设施语义图；
S7、对若干个语义图进行降噪处理，随后采用CRF模型将降噪处理后的多个图像拼接为整张图片，在拼接过程中，若图像之间有重叠，则对图像边缘进行噪声抑制处理，否则，执行下一步；
S8、将S6处理后的整张全景标注图像与原始遥感图像匹配坐标，获取各类基础设施对应的位置及区域信息，完成遥感图像中多类海绵城市绿色基础设施定位与识别。
优选的，所述初始化模块由第一卷积单元和第二卷积单元构成；所述第一卷积单元为多通道卷积层，所述第二卷积单元为最大池化层。
优选的，上述主干网络模块采用ResNet50网络模块的第0阶段、第1阶段、第2阶段、第3阶段、第4阶段五个阶段，删除ResNet50网络模块后面的全局平均池化层和全连接层，增添一层额外的卷积层提取特征，最终提取的结果分块后作为注意力编码模块的输入。
优选的，所述注意力编码模块由多个编码器层构成，每个编码器层的标准架构均由一个多头自注意力模块和一个前馈网络组成，分块后的特征图首先通过1×1大小的卷积降维，随后将降维后的特征图空间维度折叠为1，产生图像序列后经过编码器层后用固定位置编码进行补充，其中，固定位置编码被添加到每个注意力层的输入中。
优选的，所述注意力解码模块由与所述注意力编码模块对应的解码器层构成，将多个对象查询转换为输出嵌入，通过多头自注意力模块和编解码器注意力机制在多个解码器层并行转换嵌入对象并进行解码操作。
优选的，所述掩模预测模块通过在解码器的输出顶部添加掩码头实现，预测每个预测框的二进制掩码，使用注意力解码模块的输出计算嵌入的多头注意力得分并生成注意力热图，并判断不同位置之间相互作用的强弱程度，最终通过对象查询驱动的方式将得到的二进制掩码融合到非重叠预测中，获得城市绿色基础设施语义图。
优选的，步骤S1中，分割后的遥感图像和标签图像的大小均为320×320像素，归纳的图像区域类别包括但不限于生物滞留带区域、蓄水沟区域、绿色屋顶区域和背景区域。
优选的，步骤S2中，图像特征工程模块处理包括图像增强和图像降噪，具体为：对多个遥感图像旋转、翻转、缩放、平移、检验噪声。
优选的，步骤S3中，随机分配80％的数据集图像作为训练集。
优选的，步骤S7中，使用ARCGIS软件匹配全景标注图像与原始遥感图像坐标。
因此，本发明采用上述的一种海绵城市绿色基础设施多类别识别与分类方法，具有以下有益效果：
(1)本发明针对海绵城市绿色基础设施的特征，设计专用语义分割神经网络，利用语义分割神经网络，对遥感图像进行绿色基础设施分类定位，实现了单分类结果识别准确率90％以上的识别与分类，减少了绿色基础设施实地调查所需人力物力，降低了海绵城市绿色基础设施管理的难度；
(2)本发明基于实用角度，采用基于注意力机制的编解码网络结构，保证语义分割准度的情况下，减少模型参数量，为实际应用环节减小计算压力，能够更准确地实现对绿色基础设施智能评价；
(3)本发明在网络结构中添加了注意力机制架构，极大地简化了绿色基础设施目标检测的框架，同时，提取到的特征向量具有更丰富的全局上下文信息，从而进一步提高了从海绵城市遥感图像识别绿色基础设施的准确率，增强了各类基础设施区域检测的竞争力；
(4)本发明使用掩码预测模块自动生成检测区域并在区域中进行绿色基础设施掩模预测，去除了手工制作检测框的过程，简化了检测过程，同时，通过对象查询驱动的方式，可以将分类和识别两个任务统一嵌入到基于注意力机制编解码结构的语义分割神经网络中，极大的降低了人工工作量，提高了工作效率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明基于遥感图像的海绵城市绿色基础设施识别与分类方法流程图；
图2为本发明语义分割神经网络模型示意图；
图3为本发明主干网络模块示意图；
图4为主干网络模块残差层1结构示意图；
图5为主干网络模块残差层2结构示意图；
图6为现有遥感图像实例图；
图7为本发明测试图像的全局示意图。
具体实施方式
实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1，本发明公开了一种海绵城市绿色基础设施多类别识别与分类方法，该方法是一种基于深度学习图像语义分割，提取遥感图像中基础设施各类区域经纬坐标及面积，快速准确进行基础设施区域信息提取的方法，具体包括如下步骤：
步骤一、对遥感图像和标签图像进行不同类别的归纳，并完成对应像素的分割，获得分割后对应的两组图像；
归纳的图像区域类别包括蓄水池区域、绿化带区域和背景区域。
遥感图像的分割具体为：将遥感图像进行统一切割，得到的图像大小均为320×320像素；
标签图像的分割具体为：对实地调查结果的图片标注得到包含各类分割区域信息的全景掩模图片，将标签图片进行统一切割，得到的图像大小均为320×320像素。
步骤二、对分割后的遥感图像进行图像特征工程模块处理，获得多个处理后的遥感图像，同时将分割后的标签图像转化为灰度图；
图像特征工程模块处理包括图像增强和图像降噪，具体为：对多个遥感图像旋转、翻转、缩放、平移、检验噪声等。
针对遥感图像训练网络需要大量数据的特点，图像增强算法可以有效丰富数据集，增强网络的训练效果；针对遥感图像中常见的树木遮挡、云层遮盖、阳光阴影等现象，以及遥感图像获取环节常出现的周期性条纹、亮线以及斑点等噪声，图像降噪模块可以有效滤除噪声，提高网络的稳定性。
步骤三、利用步骤二中增强后的遥感图像和转化为灰度图的标签图像构建数据集；通过图像处理统一数据集格式，从数据集中随机分配一定比重的训练集及测试集；
其中，随机分配80％的数据集图像作为训练集，20％的数据集图像作为测试集。
步骤四、设计语义分割神经网络；
设计的语义分割神经网络模型示意图如图2所示，包括依次设置的初始化模块、主干网络模块、注意力编码模块、注意力解码模块以及掩模预测模块；
初始化模块由第一卷积单元和第二卷积单元构成；第一卷积单元为多通道卷积层，第二卷积单元为最大池化层；
主干网络模块示意图如图3所示。该模块采用ResNet50网络模块的第0阶段、第1阶段、第2阶段、第3阶段、第4阶段五个阶段，并删除掉网络模块后面的全局平均池化层和全连接层，增添一层额外的卷积层提取特征，最终提取的结果分块后作为注意力编码模块的输入；主干网络模块中的残差网络单元1及残差网络单元2构造如图4、图5所示。
对特征图进行分块后结合位置编码后输入注意力编码模块。
其中，位置编码环节通过使用零填充，卷积核尺寸为3×3的卷积核对简单的前馈神经网络卷积获得位置信息，并将其用作注意力编解码模块位置输入；为了体现图像在x和y两个维度上的信息，分别计算两个维度的位置编码并连接起来；
注意力编码模块由多个编码器层构成。每个编码器层的标准架构均由一个多头自注意力模块和一个前馈网络组成。分块后的特征图首先通过1×1大小的卷积降维，随后将降维后的特征图空间维度折叠为1，产生图像序列后经过编码器层后用固定位置编码进行补充，其中，固定位置编码被添加到每个注意力层的输入中。
注意力解码模块由与注意力编码模块对应的解码器层构成，将多个对象查询转换为输出嵌入。通过多头自注意力模块和编解码器注意力机制在多个解码器层并行转换嵌入对象并进行解码操作。
掩模预测模块通过在解码器的输出顶部添加掩码头实现，用于预测每个预测框的二进制掩码。使用注意力解码模块的输出计算嵌入的多头注意力得分并生成注意力热图，并判断不同位置之间相互作用的强弱程度。最终，通过对象查询驱动的方式将得到的二进制掩码融合到非重叠预测中，获得城市绿色基础设施语义图。
初始化模块的作用是将输入数据进行初始化变换，增强整体基础特征，在特征保留的基础上极大的减小网络初始参数量，对于加速网络计算起到正向作用，显著减小存储空间。
主干网络模块的主要作用是通过卷积神经网络提取图像特征，同时缩减图像尺寸，减小注意力编码模块的计算难度。
注意力编码模块的主要作用是使模型能够自动地学习输入中不同位置的关联性，并根据特征的关系动态生成注意权重，从而重新分配训练权重，增强模型的表达能力。
注意力解码模块的主要作用是将背景向量解码生成输出序列，通过多个查询头进行区域嵌入，通过多个解码器层并行转换嵌入对象。
掩模预测模块的主要作用是评判各个类别的注意力得分并通过对象查询的方式获得城市绿色基础设施语义图，省去了人工染色的过程，提升了方法的智能程度。
步骤五、将步骤三中的训练集样本输入到步骤四中的语义分割神经网络中进行训练，在训练完成后，使用步骤三中的测试集对网络效果进行测试，当测试结果满足要求后保存网络模型，否则继续训练直到网络模型测试结果满足需求；
该步骤中，训练过程中batch size为32，学习率为1×10-6；最终，单分类情况度量值(-measures)稳定在0.94左右，迭代至30000～50000次停止。
步骤六、对海绵城市绿色基础设施遥感图像进行均匀裁剪，切割的大小均为320×320像素。将切割后的多个图像输入至训练好的网络模型中，获得多个包含不同类别的城市绿色基础设施语义图；
步骤七、对多个语义图进行降噪处理，随后拼接为整张图片，在拼接过程中，若图像之间有重叠，则对图像边缘进行噪声抑制处理，否则，执行下一步；
该步骤中，使用CRF模型将噪声抑制处理后的多个图像拼接成为整张图像.拼接时，结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到优化的分割边界，可以对预测结果有一定范围的提升。
步骤八、将步骤七处理后的整张全景标注图像与原始遥感图像匹配坐标，获取各类基础设施对应的位置及区域信息，完成遥感图像中多类海绵城市绿色基础设施定位与识别。图6为现有遥感图像示例图。
图7为本发明测试图像的全局示意图，测试结果显示，本发明准确地对海绵城市绿色基础设施遥感图像进行了语义分割，能够准确地识别出蓄水池区域、绿化带区域和背景区域并进行全景注释。对识别结果进行测评，本发明识别单分类结果识别准确率达到90％以上，大大提高了识别与分类准确率。
因此，本发明采用上述的一种海绵城市绿色基础设施多类别识别与分类方法，通过结合基于特征融合方法与编解码方法，提供一种全新的语义分割神经网络结构，用来针对设施用地像边界特点、像素上下文特点进行特征提取与融合，基于实用角度，采用较大的编码器与较小的解码器结构，保证分割准度的情况下，减少模型参数量，为实际应用环节减小计算压力。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (10)

1.一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于，包括以下步骤：
S1、对遥感图像和标签图像进行不同类别的归纳，并完成对应像素的分割，获得分割后对应的两组图像；
S2、对分割后的遥感图像进行图像特征工程模块处理，获得若干个处理后的遥感图像，同时将分割后的标签图像转化为灰度图；
S3、利用S2中增强后的遥感图像和转化为灰度图的标签图像构建数据集；通过图像处理统一数据集格式，从数据集中随机分配训练集及测试集；
S4、设计语义分割神经网络，包括依次设置的初始化模块、主干网络模块、注意力编码模块、注意力解码模块以及掩模预测模块；
S5、使用S3中分配的训练集对语义分割神经网络进行训练，在训练完成后，使用S3中的测试集对网络效果进行测试，当测试结果满足要求后保存网络模型，否则继续训练直到网络模型测试结果满足需求；
S6、对海绵城市绿色基础设施遥感图像进行均匀裁剪，保持图片大小与训练集图片大小一致，通过S4训练的语义分割网络模型获得若干个包含不同类别的城市绿色基础设施语义图；
S7、对语义图进行降噪处理，随后采用CRF模型将降噪处理后的若干个图像拼接为整张图片，在拼接过程中，若图像之间有重叠，则对图像边缘进行噪声抑制处理，否则，执行下一步；
S8、将S6处理后的整张全景标注图像与原始遥感图像匹配坐标，获取各类基础设施对应的位置及区域信息，完成遥感图像中多类海绵城市绿色基础设施定位与识别。
2.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：所述初始化模块由第一卷积单元和第二卷积单元构成；所述第一卷积单元为多通道卷积层，所述第二卷积单元为最大池化层。
3.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：所述主干网络模块采用ResNet50网络模块的第0阶段、第1阶段、第2阶段、第3阶段、第4阶段五个阶段，删除ResNet50网络模块后面的全局平均池化层和全连接层，增添一层额外的卷积层提取特征，最终提取的结果分块后作为注意力编码模块的输入。
4.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：所述注意力编码模块由若干个编码器层构成，每个编码器层的标准架构均由一个多头自注意力模块和一个前馈网络组成，分块后的特征图首先通过1×1大小的卷积降维，随后将降维后的特征图空间维度折叠为1，产生图像序列后经过编码器层后用固定位置编码进行补充，其中，固定位置编码被添加到每个注意力层的输入中。
5.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：所述注意力解码模块由与所述注意力编码模块对应的解码器层构成，将多个对象查询转换为输出嵌入，通过多头自注意力模块和编解码器注意力机制在多个解码器层并行转换嵌入对象并进行解码操作。
6.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：所述掩模预测模块通过在解码器的输出顶部添加掩码头实现，预测每个预测框的二进制掩码，使用注意力解码模块的输出计算嵌入的多头注意力得分并生成注意力热图，并判断不同位置之间相互作用的强弱程度，最终通过对象查询驱动的方式将得到的二进制掩码融合到非重叠预测中，获得城市绿色基础设施语义图。
7.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：步骤S1中，分割后的遥感图像和标签图像的大小均为320×320像素，归纳的图像区域类别包括但不限于生物滞留带区域、蓄水沟区域、绿色屋顶区域和背景区域。
8.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于，步骤S2中，图像特征工程模块处理包括图像增强和图像降噪，图像特征工程模块处理具体为：对若干个遥感图像旋转、翻转、缩放、平移、检验噪声。
9.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：步骤S3中，随机分配80％的数据集图像作为训练集。
10.根据权利要求1所述的一种海绵城市绿色基础设施多类别识别与分类方法，其特征在于：步骤S7中，使用ARCGIS软件匹配全景标注图像与原始遥感图像坐标。
CN202310984988.9A 2023-08-07 2023-08-07 一种海绵城市绿色基础设施多类别识别与分类方法 Pending CN117011711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310984988.9A CN117011711A (zh) 2023-08-07 2023-08-07 一种海绵城市绿色基础设施多类别识别与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310984988.9A CN117011711A (zh) 2023-08-07 2023-08-07 一种海绵城市绿色基础设施多类别识别与分类方法

Publications (1)

Publication Number Publication Date
CN117011711A true CN117011711A (zh) 2023-11-07

Family

ID=88561531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310984988.9A Pending CN117011711A (zh) 2023-08-07 2023-08-07 一种海绵城市绿色基础设施多类别识别与分类方法

Country Status (1)

Country Link
CN (1) CN117011711A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276402A (zh) * 2019-06-25 2019-09-24 北京工业大学 一种基于深度学习语义边界增强的盐体识别方法
CN110866494A (zh) * 2019-11-14 2020-03-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN113139470A (zh) * 2021-04-25 2021-07-20 安徽工业大学 一种基于Transformer的玻璃识别方法
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN114494910A (zh) * 2022-04-18 2022-05-13 陕西自然资源勘测规划设计院有限公司 一种基于遥感图像的设施农用地多类别识别与分类方法
CN115170934A (zh) * 2022-09-05 2022-10-11 粤港澳大湾区数字经济研究院(福田) 一种图像分割方法、系统、设备及存储介质
CN116485649A (zh) * 2023-04-20 2023-07-25 河南大学 一种端到端的图像拼接定位方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276402A (zh) * 2019-06-25 2019-09-24 北京工业大学 一种基于深度学习语义边界增强的盐体识别方法
CN110866494A (zh) * 2019-11-14 2020-03-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN113139470A (zh) * 2021-04-25 2021-07-20 安徽工业大学 一种基于Transformer的玻璃识别方法
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN114494910A (zh) * 2022-04-18 2022-05-13 陕西自然资源勘测规划设计院有限公司 一种基于遥感图像的设施农用地多类别识别与分类方法
CN115170934A (zh) * 2022-09-05 2022-10-11 粤港澳大湾区数字经济研究院(福田) 一种图像分割方法、系统、设备及存储介质
CN116485649A (zh) * 2023-04-20 2023-07-25 河南大学 一种端到端的图像拼接定位方法和系统

Similar Documents

Publication Publication Date Title
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Zhang et al. Efficient inductive vision transformer for oriented object detection in remote sensing imagery
CN114359130B (zh) 一种基于无人机影像的道路裂缝检测方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN114596500B (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN113505842B (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统
CN111611949A (zh) 基于cim与区块链的智慧城市水域垃圾密度检测方法
CN113989681A (zh) 遥感影像变化检测方法、装置、电子设备及存储介质
CN115424059A (zh) 一种基于像素级对比学习的遥感土地利用分类方法
CN111008979A (zh) 一种鲁棒的夜晚图像语义分割方法
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN115359029A (zh) 一种基于异构交叉伪监督网络的半监督医学图像分割方法
CN114693966A (zh) 一种基于深度学习的目标检测方法
CN114463340A (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN117011711A (zh) 一种海绵城市绿色基础设施多类别识别与分类方法
CN117649048A (zh) 一种河湖生态空间重点监管对象的监测方法及装置
CN115424131B (zh) 一种云检测最优阈值选取方法、云检测方法及系统
CN117333841A (zh) 一种基于多层次跨通道结构的交通信号灯检测
CN116992880A (zh) 建筑物名称的识别方法、装置、电子设备和存储介质
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN116797821A (zh) 一种基于融合视觉信息的广义零样本图像分类方法
Zhu et al. Semantics and Contour Based Interactive Learning Network For Building Footprint Extraction
CN114398999A (zh) 一种基于全局语义特征融合的低对比度图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination