CN116246172A - 一种基于道路分割和交叉口检测的道路提取方法和系统 - Google Patents

Abstract

本发明公开了一种基于道路分割和交叉口检测的道路提取方法和系统；包括道路分割模型构建模块、交叉口检测模型构建模块；本发明在道路识别时采用了双解码器的结构，其中一个解码器对全局上下文信息进行建模，使网络有更强的全局上下文信息的提取能力，另一个解码器进行局部特征提取，使整个网络能够在建模全局上下文信息的同时，兼顾空间细节信息的提取，提高了整体分割精度；本发明在对交叉口检测模型进行测试时，将道路分割模型输出的每张遥感图像的分割掩码图与交叉口检测测试集的原始遥感图像进行点乘，能够有效的屏蔽无用的背景信息，减少背景信息对交叉口检测的干扰，提高交叉口检测模型的精度。

Description

一种基于道路分割和交叉口检测的道路提取方法和系统

技术领域

本发明属于计算机视觉识别技术领域，具体涉及一种基于道路分割和交叉口检测的道路提取方法和系统。

背景技术

现如今，航空遥感技术快速发展，为许多领域带来了诸多数据量巨大、分辨率超高的遥感图像。例如，相关工作者能够基于超高分辨率的遥感图像来自动识别和提取其中的各种道路，将其信息用于自动驾驶，电子地图的构建等任务，从而服务于社会群众，方便人们的生活。

然而，随着社会不断发展，普通公路、高速公路和乡村公路等各种道路不断建设，路网日渐复杂，对车辆导航、自动驾驶等领域带来巨大压力。超高分辨率遥感图像中道路信息复杂，如果采用人工方法进行提取，不仅效率低，而且精度也会比较低。因此，设计一种高效、高精度、端到端的自动化超高分辨率遥感图像道路提取方法极为重要。

目前，大多数技术都关注于道路像素级的分割，近年来有诸多基于CNN以及基于Transformer的方法被提出。然而，由于道路和背景之间的复杂性，以及道路的呈现为细长的空间特性，现有方法存在如下问题：

(1)道路分割现有技术缺乏图像中全局上下文信息的提取能力

现有方法大多采用基于卷积神经网络的骨干网络进行特征提取，卷积神经网络通常使用大小为3×3的卷积核来建立特征点与特征点之间的关系。这种方式会因为其卷积核的大小而感受野受限，虽然能够较好的提取局部信息，但是图像中用于表示图中像素点与像素点之间关系的全局上下文信息却无法很好的提取；然而，遥感图像中存在很高的类间相似性和类内相异性，例如水泥道路与建筑物屋顶无论是在颜色、纹理还是材质上都十分相似；而属于同一类别的水泥道路、泥土道路和柏油路却在颜色、纹理和材质上有着很大差别。因此只依靠颜色、纹理和材质等光谱信息无法高精度的对遥感图像中的道路进行分割，需要更深层次的上下文信息来对图片中像素与像素之间的关系进行建模。

另外，遥感图像一般分辨率极高，一个类别在遥感图像中会使用更多的像素点来表示，因此不同类别之间的像素点通常距离较远，所以遥感图像道路分割任务对模型全局上下文信息的提取能力有很高要求，而现有基于卷积神经网络的技术无法满足其要求，从而导致光谱特征相似的物体分类错误，比如说将水泥屋顶判断为水泥道路。

(2)道路分割现有技术无法均衡空间细节信息和上下文信息的提取

现有方法无法均衡空间细节信息和上下文信息的提取。如基于卷积神经网络的方法为了提取到深层次的上下文信息，需要对特征图进行下采样，将多个像素点聚合成一个，而下采样的过程中会丢失掉大量空间细节信息，包括小目标、分割边界等。基于Transformer的架构会在进行注意力之前将图片补丁转换为向量，会丢失掉补丁内部的空间结构，从而丢失大量空间细节信息。然而，空间细节信息的提取对道路分割的连续性差、边界锯齿等问题影响巨大，过分关注于“上下文信息”提取，会导致“空间细节信息”的丢失，虽然分类正确率高了，但是分割边界、小目标分割等会受到较大影响，导致道路提取连续性差，道路边界提取出现锯齿状等问题，最终影响分割精度。

另外，除了基于语义分割的像素级道路分割，交叉口的识别和定位对于更精细的道路拓扑构建和连通性信息判别有着重要意义，也是道路提取中的重要环节之一。然而，现阶段技术很少有聚焦于遥感图像道路提取的交叉口检测，专用于提取道路交叉口，对交叉口进行定位和分类的方法十分欠缺。

发明内容

为了提高道路检测的精度和针对遥感图像中的交叉口进行检测，本文提出了一种基于道路分割和交叉口检测的道路提取方法和系统。

实现本发明目的之一的基于道路分割和交叉口检测的道路提取方法，包括如下步骤：

S1、根据包括遥感图像的数据集构建用于对遥感图像进行道路提取的道路提取模型；所述道路提取模型包括基于双解码器的用于识别道路的道路分割模型和基于分割掩码处理的用于识别道路交叉口的交叉口检测模型；所述双解码器包括一个用于提取全局上下文信息的第一解码器和一个用于提取局部空间细节信息的第二解码器；

所述基于分割掩码处理包括利用道路分割模型生成的分割掩码图中的分割掩码遮盖住原始遥感图像中的非道路部分，从而有效屏蔽无用的背景信息，减少背景信息对交叉口检测的干扰；所述分割掩码图即将每张遥感图像中每个像素分配给其所属语义类别后得到的二值化图像，其中二值化图像中每个像素的值为0或1，以区分该像素所属的语义类别，比如为1则表示该像素点所属语义类别为道路，为0则表示该像素点所属语义类别为背景。

S2、利用所述包括遥感图像的数据集对所述道路提取模型进行训练，得到训练完成的道路提取模型；

S3、将遥感图像输入训练完成的道路提取模型，得到所述遥感图像对应的道路分割图和交叉口检测图。

进一步地，所述步骤S2中还包括对数据集进行预处理；所述预处理包括：对数据集中的遥感图像标注像素级分割的标签和/或交叉口检测的标签；所述像素级分割的标签将遥感图像中属于背景类别的像素点与属于道路类别的像素点分别标注为不同的颜色；所述交叉口检测的标签则采用标准COCO数据集的格式，使用JSON文件存储交叉口的像素坐标位置和交叉口的类别。

进一步地，所述步骤S1中，还包括构建基于双解码器的道路分割模型，其构建方法包括：

S101、提取数据集中原始遥感图像中的局部特征；所述局部特征包括遥感图像中的空间结构信息以及局部区域内的上下文信息；所述上下文信息包括图像中一个像素点与其他所有像素点之间的关联信息；

S102、构建用于提取数据集中原始遥感图像中的全局上下文信息的第一解码器；所述全局上下文信息包括的第一解码器输出的特征图中每个像素点与其他所有像素点之间的关联信息；

S103、构建用于提取空间结构细节信息的第二解码器；

S104、将第一解码器输出的包括全局上下文信息的特征图和第二解码器输出的包括空间结构细节信息的特征图进行加权求和，得到包括道路分割结果的道路分割图。

更进一步地，所述步骤S2中，还包括对基于双解码器的道路分割模型进行推理，其推理方法包括，采用膨胀预测的方法对数据集中的测试集进行推理，得到数据集中的测试集中每张原始遥感图像对应的分割掩码图。

更进一步地，所述步骤S2中，还包括对基于分割掩码处理的交叉口检测模型进行推理，其方法包括：将数据集中的测试集中每张遥感图像对应的分割掩码图和测试集中原始遥感图像进行点乘得到经过点乘处理后的图像，所述经过点乘处理后的图像用于对交叉口检测模型进行推理，以提高交叉口检测模型的精度。

更进一步地，所述第一解码器为基于U-Net的解码器；所述第一解码器与编码器之间的连接使用由空间注意力和通道注意力组成的混合注意力提取全局上下文信息。

更进一步地，所述第二解码器为基于U-Net的解码器，用于对编码器的前层残差模块的输出的局部特征的特征图进行局部特征提取。

实现本发明目的之二的一种基于道路分割和交叉口检测的道路提取系统，包括道路分割模型构建模块、交叉口检测模型构建模块；

所述道路分割模型构建模块用于构建基于双解码器的用于识别道路的道路分割模型；

所述交叉口检测模型构建模块用于构建基于分割掩码处理的用于识别道路交叉口的交叉口检测模型。

进一步地，所述道路分割模型构建模块还包括第一解码器模块和第二解码器模块，所述第一解码器模块用于提取数据集中原始遥感图像中的全局上下文信息；所述第二解码器模块用于提取空间结构细节信息。

进一步地，还包括交叉口检测模型数据预处理模块，用于将数据集中的测试集中每张原始遥感图像对应的分割掩码图和测试集中原始遥感图像进行点乘得到经过点乘处理后的图像，所述经过点乘处理后的遥感图像用于对交叉口检测模型进行推理，以提高交叉口检测模型的精度。

有益效果：

1、本发明在道路分割方法上采用了双解码器的结构，其中一个解码器与编码器之间的连接使用混合注意力对全局上下文信息进行建模，使网络有更强的全局上下文信息的提取能力，而另一个解码器则在浅层次的特征图上进行特征提取，使整个网络能够在建模全局上下文信息的同时，兼顾空间细节信息的提取，提高了整体分割精度；

2、本发明在对交叉口检测模型进行测试时，将道路分割模型输出的每张原始遥感图像对应的分割掩码图与交叉口检测测试集的原始遥感图像进行点乘，能够有效的屏蔽无用的背景信息，减少背景信息对交叉口检测的干扰，提高交叉口检测模型的精度。

附图说明

图1为本发明所述方法的流程图；

图2为所述道路分割模型的结构图；

图3为交叉口检测模型的结构图；

图4为遥感图像的原始图；

图5为对遥感图像的原始图进行了道路分割后的效果图；

图6为对遥感图像的原始图与道路分割模型输出的二值图进行掩码处理之后的图；

图7为对遥感图像的原始图进行了交叉口检测的效果图；

图8为图7所示的交叉口检测效果图的局部放大图。

具体实施方式

下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。

下面结合图1～图8讲述本发明所述方法的实施例。

S1、根据包括遥感图像的数据集构建用于对遥感图像进行道路提取的道路提取模型；所述道路提取模型包括基于双解码器的用于识别道路的道路分割模型和基于分割掩码处理的用于识别道路交叉口的交叉口检测模型；

(1)数据集及其预处理

将数据集按7:3的比例划分为训练集和测试集，本实施例中的数据集来源于2022“航天宏图杯”遥感影像智能处理算法大赛。分别对数据集中的遥感图像标注像素级分割的标签和交叉口检测的标签，其中像素级分割的标签将图像中属于道路的像素点的像素值设置为255，属于背景的像素点的像素值设置为0，而交叉口检测的标签则采用标准的COCO数据集的格式，使用JSON文件存储交叉口的像素坐标位置和交叉口的类别，所述类别包括：属于非立体交通的丁字路口或十字路口和属于立体交通的多层高架桥之间的交叉；接着对训练集进行旋转、翻转、裁剪、颜色抖动等数据增强，以扩充训练集，使模型的训练效果更好且泛用性更强。

(2)构建道路分割模型

构建基于对称编解码结构架和混合注意力机制的基于U-Net的双解码器的道路分割模型，其结构如图2所示，其输入为如图4所示的原始遥感图像，输出为如图5所示的道路分割图；其用于根据提取的局部特征、全局上下文信息、空间结构细节信息，融合空间结构细节信息和全局上下文信息，最终得到如图5所示的道路分割图，具体方法如下：

S101、提取图像中的局部特征；

利用基于ResNet-34的编码器进行遥感图像中用于表示空间结构信息的局部特征的提取，以及局部区域内的用于表示一个像素点与其他所有像素点之间的关联信息的上下文信息；本实施例中所利用的ResNet-34是一个34层的卷积神经网络，包括四个残差模块，每个残差模块具体由多个卷积、归一化函数和激活函数及跳跃连接组成。

S102、构建用于提取数据集中原始遥感图像中的全局上下文信息的第一解码器；

第一解码器采用一个标准的U-Net解码器结构，将其中的跳跃连接替换为由空间注意力和通道注意力组成的混合注意力，利用自注意力在空间和通道上同时进行全局上下文信息的建模，对全局上下文信息进行提取。

S103、构建用于提取空间结构细节信息的第二解码器；

所述空间结构细节信息即物体的形状，物体与物体之间的边界等；

道路分割模型的第二解码器只对ResNet-34的前层残差模块的输出进行处理。首先，对第一层，也就是分辨率最高的一层，采用多个卷积层进行特征提取，从高分辨率的特征图中提取更加细节的特征信息，例如表示道路和背景的过渡处边界信息、面积较小的目标信息等。对第三层，也就是分辨率最低的深层次特征图，采用多分支的不同膨胀率的空洞卷积在多种尺度上获取特征，更好的聚合多尺度特征信息。另外，在网络结尾，采用BCELoss和DiceLoss两个损失函数，提高网络道路边界的分割能力。

S104、根据第一解码器输出的包括全局上下文信息的特征图和第二解码器输出的包括空间结构细节信息的特征图进行加权求和得到每张图片对应的分割掩码图，所述分割掩码图为像素值为0或1的二值化图；为了可视化，将该分割掩码图的每个像素值乘以255，得到如图5所示的道路分割结果的道路分割图；

本步骤不仅能够获取全局上下文信息，增加分类精度，同时也能兼顾空间结构细节信息，增加道路分割的精度；

(3)构建交叉口检测模型

构建用于交叉口检测的交叉口检测模型，其输入变量为原始遥感图片，输出变量为包含了检测到的所有交叉口的类别和位置信息的JSON格式的文件；其输入为如图4所示的原始图像，输出为如图7所示的交叉口检测图，从图8的局部放大图中可看出，所有道路交叉口都用矩阵框标识；本实施例中交叉口检测模型基于Cascade R-CNN网络，其结构示意图如图3所示，Cascade R-CNN算法构建于Faster R-CNN模型的基础之上，包括骨干网络(ResNet-50)、Region Proposal Networks、RoI pooling、Classification。Cascade R-CNN网络通过设计级联的R-CNN网络，每个级联的R-CNN设置不同的IoU阈值，这样每个网络输出的准确度提升一点，并作为下一个更高精度的网络的输入，逐步提升了网络输出的准确度。

S2、利用所述包括遥感图像的数据集对所述道路提取模型进行训练，得到训练完成的道路提取模型；

(1)训练道路分割模型

在训练道路分割模型时，将大尺寸的遥感图像切分成512×512，并分配出一部分作为验证集。我们采用带有Softmax函数和one-hot编码的交叉熵损失函数作为训练的损失函数，优化器采用SGD，学习率初始设置为0.001，并按照10个epoch为周期，最小值为0.00001进行余弦周期循环。在每训练一轮之后，都会使用验证集进行验证，保存效果最好的模型，并在验证集精度连续10个epoch没有增长时停止训练，这样既能得到训练效果好的模型，也能防止模型过拟合。

(2)道路分割测试集推理

使用训练完成的道路分割模型对测试集进行推理以提高道路分割模型的精度，推理过程中采用膨胀预测的方式，得到如图6所示的最终的超高分辨率的道路分割图，所述膨胀预测的方法如下：

1、确定滑动窗口大小

创建一个N*N大小的滑动窗口；本实施例中设置一个滑动步长为512，窗口大小为1024×1024的滑动窗口；

2、像素填充：在原始遥感图像的右侧和下侧填充0值像素点，使整个图片的长和宽能够被滑动窗口的长和宽整除；

3、边缘膨胀：在图像的四周填充N/2的0像素；

4、滑动窗口在经过像素填充和边缘膨胀之后的原始遥感图像的左上角开始，按照N/2的步长，往右及往下滑动，每次将滑动窗口内部的像素点作为一张图片送入道路分割网络；

5、取网络输出的每个滑动窗口N*N的结果图正中心的N/2*N/2部分，得到最终的超高分辨率的道路分割图。

采用上述膨胀预测的方法对窗口内部的图像内容进行测试，且只取测试结果中心的512×512大小的区域作为结果以尽量得到更好的分割效果，弱化窗口边界锯齿。

(3)训练交叉口检测模型

交叉口检测的关键在于提取交叉口的特征，所以采用一个较高的训练图片尺度会更容易的学习到交叉口的特征，因此将训练的图片尺度设为3200×3200来更好的学习交叉口的特征。

(4)交叉口检测推理

为了提高交叉口检测模型的测试效果，本实施例中利用前述的分割掩码图对测试集中的原始遥感图像进行处理，所述分割掩码图为二值图像，像素值为0或者1，0代表背景，1代表道路；将道路分割模型中第一解码器和第二解码器进行加权求和后输出的测试集的分割掩码图与测试集中的原始遥感图像进行点乘，使用经过点乘处理后的图片结果对交叉口检测模型进行推理，能够有效的屏蔽无用的背景信息，减少背景信息对交叉口检测的干扰。

S3、将遥感图像输入训练完成的道路提取模型，得到所述遥感图像对应的道路分割图和交叉口检测图；本实施例中将图4所示的遥感图像输入道路提取模型，最终得到图5所示的道路分割图和图7所示的交叉口检测图。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例还提供一种基于双解码器分割模型和分割掩码处理检测模型的道路提取系统，包括道路分割模型构建模块、交叉口检测模型构建模块；

所述道路分割模型构建模块用于构建基于双解码器的用于识别道路的道路分割模型；

所述交叉口检测模型构建模块用于构建基于分割掩码处理的用于识别道路交叉口的交叉口检测模型。

在另一个实施例中，所述道路分割模型构建模块还包括第一解码器模块和第二解码器模块，所述第一解码器模块用于提取数据集中原始遥感图像中的全局上下文信息；所述第二解码器模块用于提取空间结构细节信息。

在另一个实施例中，还包括交叉口检测模型数据预处理模块，用于将数据集中的测试集中每张图片对应的分割掩码图和测试集中原始遥感图像进行点乘得到经过点乘处理后的图像，所述经过点乘处理后的图像用于对交叉口检测模型进行推理，以提高交叉口检测模型的精度。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于道路分割和交叉口检测的道路提取方法，其特征在于，包括如下步骤：

S1、根据包括遥感图像的数据集构建用于对遥感图像进行道路提取的道路提取模型；所述道路提取模型包括基于双解码器的用于识别道路的道路分割模型和基于分割掩码处理的用于识别道路交叉口的交叉口检测模型；

S2、利用所述包括遥感图像的数据集对所述道路提取模型进行训练，得到训练完成的道路提取模型；

S3、将遥感图像输入训练完成的道路提取模型，得到所述遥感图像的道路分割图和交叉口检测图。

2.如权利要求1所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述步骤S2中还包括对数据集进行预处理，所述预处理包括：对数据集中的遥感图像标注像素级分割的标签和/或交叉口检测的标签；所述像素级分割的标签将遥感图像中属于背景类别的像素点与属于道路类别的像素点分别标注为不同的颜色；所述交叉口检测的标签采用标准COCO数据集的格式，使用JSON文件存储交叉口的像素坐标位置和交叉口的类别。

3.如权利要求1或2所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述步骤S1中，还包括构建基于双解码器的道路分割模型，其构建方法包括：

S101、提取原始遥感图像中的局部特征；所述局部特征包括遥感图像中的空间结构信息以及局部区域内的上下文信息；所述上下文信息包括图像中一个像素点与其他所有像素点之间的关联信息；

S102、构建用于提取数据集中原始遥感图像中的全局上下文信息的第一解码器；所述全局上下文信息包括第一解码器输出的特征图中每个像素点与其他所有像素点之间的关联信息；

S103、构建用于提取空间结构细节信息的第二解码器；

S104、将第一解码器输出的包括全局上下文信息的特征图和第二解码器输出的包括空间结构细节信息的特征图进行加权求和，得到每张原始遥感图像对应的分割掩码图；根据所述分割掩码图得到包括道路分割结果的道路分割图_。

4.如权利要求3所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述步骤S104后，还包括对基于双解码器的道路分割模型进行推理，其推理方法包括：采用膨胀预测的方法对数据集中的测试集进行推理，以提高道路分割图的分辨率_。

5.如权利要求3所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述步骤S2中，还包括对基于分割掩码处理的交叉口检测模型进行推理，其方法包括：将数据集中的测试集中每张原始遥感图像的分割掩码图和测试集中原始遥感图像进行点乘得到经过点乘处理后的图像，所述经过点乘处理后的图像用于对交叉口检测模型进行推理，以提高交叉口检测模型的精度。

6.如权利要求3所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述第一解码器为基于U-Net的解码器；所述第一解码器与编码器之间的连接使用由空间注意力和通道注意力组成的混合注意力提取全局上下文信息。

7.如权利要求5所述的基于道路分割和交叉口检测的道路提取方法，其特征在于，所述第二解码器为基于U-Net的解码器，用于对编码器的前层残差模块的输出的局部特征的特征图进行局部特征提取。

8.一种如权利要求1所述方法的基于道路分割和交叉口检测的道路提取系统，其特征在于，包括道路分割模型构建模块、交叉口检测模型构建模块；

所述道路分割模型构建模块用于构建基于双解码器的用于识别道路的道路分割模型；

所述交叉口检测模型构建模块用于构建基于分割掩码处理的用于识别道路交叉口的交叉口检测模型。

9.如权利要求8所述的基于道路分割和交叉口检测的道路提取系统，其特征在于，所述道路分割模型构建模块还包括第一解码器模块和第二解码器模块，所述第一解码器模块用于提取数据集中原始遥感图像中的全局上下文信息；所述第二解码器模块用于提取空间结构细节信息；所述第一解码器输出的包括全局上下文信息的特征图和第二解码器输出的包括空间结构细节信息的特征图进行加权求和得到每张遥感图像的分割掩码图。

10.如权利要求9所述的基于道路分割和交叉口检测的道路提取系统，其特征在于，还包括交叉口检测模型数据预处理模块，用于将数据集中的测试集中每张遥感图像对应的分割掩码图和测试集中原始遥感图像进行点乘得到经过点乘处理后的图像，所述经过点乘处理后的图像用于对交叉口检测模型进行推理，以提高交叉口检测模型的精度。

Images