CN114299394A - 一种遥感影像智能解译方法 - Google Patents

Abstract

本发明属于计算机视觉领域，具体的说是涉及一种智能遥感影像解译方法。本发明通过使用语义分割技术、矢量化技术、矢量简化平滑技术，最终实现了对遥感影像的智能解译。使用本发明可以实现输入任意尺寸遥感影像，直接输出其对应的矢量结果。并且可以将一个面积约为400平方千米，遥感分辨率为0.8米的中等大小区县遥感影像解译时间控制在1个小时左右，而人工解译需要2周时间，极大的提升了解译效率，削减了人工解译的成本，实现了解译的自动化。并且，目前市场上并无同类自动解译产品出现，填补了遥感影像智能解译的市场空白。

Description

一种遥感影像智能解译方法

技术领域

本发明属于计算机视觉领域，具体的说是涉及一种智能遥感影像解译方法。

背景技术

从遥感影像中识别提取不同类别地物要素信息是遥感影像处理领域的一大课题。在遥感领域，从影像中提取地物类别信息称之为遥感影像解译。提取的信息包括地物的类别，形状，面积等。相关统计部门每年都需要统计同一区域的地物信息，并且与历年的信息进行比对，以了解和跟踪区域内地物要素发展变化情况，为政府、企业等相关部门提供数据支撑，辅助决策等。传统的做法是使用专业的遥感影像解译软件ArcGis/QGIS/Grass等，由经过培训的专业解译人员，通过对比遥感影像，在软件中沿着地物轮廓以画点连线的方式手工绘制封闭矢量多边形(Polygon)，通常解译的区域以行政区划分，比如以县为单位，对于面积约400平方千米，遥感分辨率为0.8米的1个中等大小的县行政区，1个专业人员绘制大约需要花费2周时间，非常耗时费力。同时，绘制精度由于个体差异，疲劳等主观性因素影响，会出现前后分类标准不一致，导致解译错误的现象，解译效果不佳。

由于人工智能深度学习技术特别是卷积神经网络技术在计算机视觉图像处理识别领域取得的巨大进步和成功，吸引了众多的研究者将人工智能神经网络技术应用于遥感影像处理中。在技术路线上，遥感影像分割任务归属于计算机视觉中的语义分割任务，即将遥感图像中的不同目标像素划分为不同的类别，在生成的遥感分割结果图像中，同一地物类别用相同的像素值表示，不同像素值代表不同类别。在深度学习语义分割技术中，XiaLi,Zhisheng Zhong,Jianlong Wu,Yibo Yang,Zhouchen Lin,Hong Liu.Expectation-Maximization Attention Networks for Semantic Segmentation将期望最大化注意力机制引入卷积神经网络，提出了EMANet实现了语义分割操作。考虑到空间金字塔池化模块可以捕获多尺度信息，encoder-decoder架构可以更好的捕捉尖锐物体的边缘，Liang-ChiehChen,Yukun Zhu,George Papandreou,Florian Schroff,and Hartwig Adam.Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation在DeepLabv3的基础上通过添加Decoder模块并且将深度可分离卷积应用到ASPP和Decoder模块中，提出了基于Encoder-Decoder网络架构的DeepLabv3+。Yuhui Yuan,Xilin Chen,andJingdong Wang.Object-Contextual Representations for Semantic Segmentation采用HRNetV2+OCR模块在CityScape数据集上取的了SOTA的性能。

由于卷积神经网络的训练通常需要大量的具有标注的训练数据，而遥感影像数据通常比较敏感，涉及国家地理信息安全，仅有少数具有权限的政府部门或者涉密企业，高校，研究机构有这些数据，一般很少有公开的具有良好标注的数据集，这也为技术研究的提升带来了诸多困难和壁垒。近年来，也有政府部门及企业举办一些比赛，会提供一些脱敏、脱密的数据集，吸引更多的深度学习方向的研究者们参与进来，以推动这一领域的技术进步。目前，这一领域核心技术的难点仍然是在像素级别的分类结果的性能上。由于遥感影像存在许多同谱异物(即像素值相同但所属类别不同)，同物异谱(即同一目标因拍摄设备，高度，光照，天气，日期等情况导致像素值不同)，这就为遥感影像分割技术的性能提升带来了极大的挑战，也是目前遥感影像领域亟待攻克的一大难关。

现在遥感影像分割方法，多集中在遥感影像分割技术，即像素级别的分类性能提升上面，仍未有成熟的商业产品出现。

发明内容

本发明基于深度学习语义分割技术，利用自有遥感影像数据集，实现了遥感影像的智能解译。输入遥感影像，即可得到面矢量(Polygon)的解译结果。图1为本发明的整体网络结构及处理流程图，图2本发明输出的矢量结果与输入的遥感影像的叠加展示。

为实现上述目的，本发明的技术方案为：

一种智能遥感影像解译方法，获取到遥感影像后，解译方法包括以下步骤：

S1、对原始遥感图像按需进行分割，分割后获得多个目标图像；其中在分割的时候，使获得的相邻目标图像具有重叠部分；

S2、采用深度学习的方法对获得的所有目标图像进行逐像素的分类，生成预测分类结果灰度图；具体为：

将目标图像分别送入三个不同的语义分割深度学习模型，分别为DeepLabv3、HRNetW48+OCR、EMANet网络，然后利用集成学习方法，对任一像素点是否属于某一类别的判定由三个网络各自输出的结果投票决定，获得多数票数的判定结果即为最终该像素点的类别结果；同时语义分割深度学习模型还输出一个各像素属于某一类别的概率图，即置信度；

S3、将所有目标图像的预测分类结果按照其在原始图像的位置进行拼接，获得原始遥感图像的预测结果灰度图；同理对概率图进行拼接；

S4、对预测结果灰度图中的狭长的条带状断裂要素进行连接处理；

S5、对预测结果灰度图中小图斑进行滤除，具体为将像素数量小于类别指定阈值的独立图斑用其周围像素类别进行填充；

S6、将经过步骤S5得到的预测结果灰度图转为矢量shp文件，同时计算每个图斑的置信度及面积作为图斑的属性；

S7、利用开源软件GrassGis中的Douglas-Peucker算法对矢量shp文件区域边界进行简化和平滑，消除地物边缘锯齿效应，从而获得遥感影像的解译结果。

本发明的有益效果为：本发明可实现遥感影像的智能解译，输入栅格(像素)遥感影像，可直接输出矢量解译结果，极大的减少了人工解译的难度及工作量，极大的提升了解译速度，实现了解译自动化。

本发明的方法，将遥感影像分割，栅格矢量化，矢量简化平滑三个环节打通，实现了自动化的遥感智能解译系统，输出矢量表示的地物信息，极大的提升了解译效率和解译自动化。输入任意尺寸的遥感影像，通过本发明的智能解译方法，可以直接输出其对应的矢量解译结果。

附图说明

图1为本发明遥感影像智能解译方法的处理流程步骤及核心处理模块。

图2为系统解译的矢量结果与输入的遥感影像的叠加展示。

图3为栅格转换为矢量之后的结果示意图。

图4为矢量简化平滑之后的结果的局部结果放大对比图。

具体实施方式

下面结合附图对本发明进行详细说明，并对流程过程中的某些处理进行展示。

本发明可以处理八分类及二十五分类类别的遥感影像自动解译。分类划分标准及对应数值代码见表1(数字1-8代表八分类标准，其他为25分类的分类标准)：

表1类划分标准及对应数值代码

图1为本发明遥感影像智能解译方法的整体框架及处理流程。总体分为四个阶段，第一阶段为遥感影像分割预测阶段。这一阶段完成遥感影像的裁剪，独立预测，生成预测结果图和概率图，以及子图结果拼接融合。第二阶段，分割灰度结果后处理阶段。包括两个模块，一个连接断裂要素模块，另一个是滤除类别指定阈值下小图斑的模块。第三阶段，为矢量化阶段。完成栅格转矢量，同时为每个矢量图斑添加置信度和面积属性。第四阶段，矢量简化平滑模块。利用GrassGis中对Douglas-Peucker简化算法的实现对矢量的简化平滑，消除边缘锯齿，同时保证拓扑结构正确。具体为：

第一阶段，遥感影像语义分割阶段。这一阶段主要利用深度学习算法，将遥感影像逐像素的分类，生成分类结果灰度图，像素值即为类别代码。在遥感影像处理领域，此像素分类结果灰度图也称为栅格结果图。通常遥感影像都是以行政单位划分的，比如某个县域的遥感影像，通常尺寸较大，比如影像宽高为20000x20000像素尺寸的。由于计算机内存及显卡内存等计算条件限制，无法一次性容纳原始大尺寸的图像，因此，将大尺寸图像裁剪成512x512的小尺度图像(具体尺寸可根据计算机内存及显卡内存的限制进行调整)，分别送进网络进行预测，然后再对各个小尺度图像的预测结果进行拼接。本发明提出根据计算机硬件的配置，灵活设置计算机可以处理的小尺寸图像，这样就赋予的系统以处理大尺寸遥感影像的能力。本发明输入图像的格式是遥感影像原始图像，比如带地理坐标及空间参考信息的后缀为tif或img格式的遥感影像。

裁剪时相邻小尺寸图像需要存在重叠部分，这是因为如果完全不重叠，由于各个小尺寸图像是单独通过网络进行预测的，会在图像边缘产生预测效果不一致的情况。比如一栋建筑恰好被分到了两张图像中，那么在拼接时就产生明显的拼接痕迹。本发明的解决方案是，裁剪时，相邻图像有重叠，比如两张相邻的小图像重叠200个像素，然后在预测的输出结果上对重叠区域取平均值，这样得到的预测结果就可以很大程度上减轻拼接痕迹。

在分割核心技术上，为了提升模型性能，本发明使用了3个模型进行集成，即每一张小尺寸遥感影像经过三个不同的模型，分别是DeepLabv3、EMANet以及HRNetW48+OCR。然后由这三个模型分别进行预测，然后，对同一个像素位置处是否属于某一类别进行投票，即当有两个及以上模型预测该像素点属于某一类别时，才确认这一位置为此类别，否则不是此类别。集成学习是机器学习中提升模型性能的常见技术。

同时，为了方便后续人工介入对模型预测的矢量结果进行纠错，分割模型还会输出一个各像素属于某一类别的概率图，也称置信度。矢量化之后，每个矢量图斑的置信度为图斑下各个像素概率的平均值。人为介入修改时就可以重点关注置信度低的矢量图斑，进行人工修改。

另外，由于遥感影像中，各个类别分布不均，比如八大类划分中耕地类别占比接近40％，而园地和水域占比仅约3-4％，从而导致模型训练过程中，对占比较少的类别预测效果不好。为了解决这一问题，本发明采用了Tsung-Yi Lin，Priya Goyal，Ross Girshick，Kaiming He，Piotr Dollar等人在Focal Loss for Dense Object Detection中提出的FocalLoss损失函数，同时引入由Jie Hu,Li Shen,Samuel Albanie,Gang Sun,Enhua Wu等人在Squeeze-and-Excitation Networks中提出的通道Attention机制以及Sanghyun Woo,Jongchan Park,Joon-Young Lee,and In So Kweon等人在CBAM:Convolutional BlockAttention Module中提出的将空间Attention机制和通道Attention机制一起使用的思想，进一步减轻类别不均对模型性能的影响。

最后，需要将这一阶段各个小图的预测结果拼接成与原始输入遥感影像相同宽高的预测结果灰度图。

第二阶段，分割结果后处理阶段。由于模型需要对遥感影像输出的结果进行两个方面的处理。第一方面，发现预测的结果中，对于道路和河流等狭长条带状要素有很多断裂的情况，需要对其进行连接。第二方面，预测的结果中有一些零星散落的独立要素，在一定面积(像素数量)以下的滤除掉。本发明采用的方案是用小图斑周围的其他像素进行填充。各个类别滤除标准本发明中指定见表2，表3：

表2:八分类对应滤除阈值

表3:二十五分类对应滤除阈值

完成断裂要素的连接和滤除小图斑之后，进入下一阶段处理。

第三阶段，栅格矢量化阶段。即将第二阶段后处理的栅格分类结果转化为用矢量多边形面(Polygon)表示的阶段。对于连通的具有相同像素值的区域使用该区域轮廓多边形表示。即栅格矢量化为面要素的表示形式。由于第二阶段的输出仅是图像格式，不包含影像的空间参考及地理坐标等信息，矢量化之前需要为第二阶段的结果添加原始遥感影像的空间参考及地理坐标信息。本发明使用开源库Gdal实现矢量化。矢量化技术通常都是沿着像素边缘生成矢量多边形。这种方式会给矢量化的结果带来大量的锯齿边缘。但优点是没有拓扑错误。即不存在面矢量多边形之间的重叠和缝隙等情况，也是主流的比较成功的商业化矢量手段。在矢量化的过程中，为每个图斑添加置信度属性，置信度的计算来源于遥感影像分割输出的概率图，为图斑下对应像素概率的均值。同时，计算各个矢量图斑的面积，作为图斑的面积属性。

第四阶段，矢量简化平滑阶段。在第三阶段矢量化之后，结果中存在锯齿，需要尽可能的去除不必要的锯齿边缘，比如将有阶梯形锯齿表示的直线边缘就用直线的两个顶点表示，去除中间不必要的锯齿点。由一个个紧邻的锯齿表示的弧线，使用比较光滑的弧线来表示。这里的技术通常涉及两种，一种是简化技术，一种是平滑技术。对于简化技术，即通过算法，尽可能的删除点，用较少的点来表示边缘，从而达到锯齿边直线的效果。另一种技术是平滑技术，这种技术的出发点是使用平滑的曲线来代替锯齿状的边缘线。这两种技术中最常见的问题是在简化或者平滑过程中，会导致拓扑结构错误，即相邻的面矢量间出现缝隙或者重叠的现象。有拓扑错误的结果会导致统计错误，不能使用。经过大量调研，本发明采用开源软件GrassGis中v.generalize模块中提供的Douglas-Peucker简化算法实现，可以做到消除锯齿同时保持拓扑结构的正确性。图3和图4展示了该算法对锯齿边缘简化平滑的效果。

本发明基于核心的人工智能算法，将遥感影像分割，分割结果后处理，栅格矢量化，矢量简化平滑等四个阶段打通，实现了对大尺寸遥感影像的智能解译，后期仅需人工介入对低置信度的预测结果进行修正，极大的降低了人工解译的强度，提高了解译的效率。实验验证发现，人工解译一个普通中等大小的区县需要2周左右的时间，而使用本发明的方法，可以做到2个小时即出结果，极大的提升了解译效率。据了解，市面上还未有成功的遥感影像自动解译的产品，本发明遥感智能解译系统填补了市场空白。

Claims (1)

1.一种智能遥感影像解译方法，获取到遥感影像后，其特征在于，解译方法包括以下步骤：

S1、对原始遥感图像按需进行分割，分割后获得多个目标图像；其中在分割的时候，使获得的相邻目标图像具有重叠部分；

S2、采用深度学习的方法对获得的所有目标图像进行逐像素的分类，生成预测分类结果灰度图；具体为：

将目标图像分别送入三个不同的语义分割深度学习模型，分别为DeepLabv3、HRNetW48+OCR、EMANet网络，然后利用集成学习方法，对任一像素点是否属于某一类别的判定由三个网络各自输出的结果投票决定，获得多数票数的判定结果即为最终该像素点的类别结果；同时语义分割深度学习模型还输出一个各像素属于某一类别的概率图，即置信度；

S3、将所有目标图像的预测分类结果按照其在原始图像的位置进行拼接，获得原始遥感图像的预测结果灰度图；同理对概率图进行拼接；

S4、对预测结果灰度图中的狭长的条带状断裂要素进行连接处理；

S5、对预测结果灰度图中小图斑进行滤除，具体为将像素数量小于类别指定阈值的独立图斑用其周围像素类别进行填充；

S6、将经过步骤S5得到的预测结果灰度图转为矢量shp文件，同时计算每个图斑的置信度及面积作为图斑的属性；

S7、利用开源软件GrassGis中的Douglas-Peucker算法对矢量shp文件区域边界进行简化和平滑，消除地物边缘锯齿效应，从而获得遥感影像的解译结果。

Images