CN112819762A - 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，包括：步骤S1、获取数据集；步骤S2、对所述训练集中的图片进行预处理；步骤S3、构建伪孪生残差网络；步骤S4、设计伪孪生残差网络的损失函数，训练所述伪孪生残差网络直到所述损失函数收敛，保存模型；步骤S5、使用所述步骤S4中得到的模型检测所述测试中图片的裂缝。本发明通过改进传统的Encoder‑Decoder模型，使得可以有效的检测混合背景下即混合数据集下的检测结果；并且对损失函数进行优化，使其更适用于路面裂缝背景。

Description

一种基于伪孪生密集连接注意力机制的路面裂缝检测方法

技术领域

本发明涉及图像分割领域，特别是涉及一种基于伪孪生密集连接注意力机制的路面裂缝检测方法。

背景技术

随着路面面积逐年增长，对路面进行检测和维护投入的人力和精力也逐年增长，人为检测路面裂缝不仅存在一定的误差而且在路面上进行检测也会增加检测人员的危险，因此设计一个自动化的路面裂缝检测器很有必要。自动化路面裂缝检测的目的就是通过输入一张路面图片或者视频序列就可以输出检测结果，传统方法虽然也可以实现自动化检测，但是传统方法的效率和检测精度一直存在缺陷，所以目前大部分的研究工作都集中关注基于深度学习方法的路面裂缝检测算法，深度学习模型通过大量数据集的训练可以获得对裂缝分布区域的分割或者预测。在大部分情况下，路面裂缝存在分布不平衡的情况，比如有的裂缝分布比较细，有的裂缝则比较粗，有的裂缝纹理分布复杂，有的则很简单，所以需要设计的检测器可以适应大部分路面裂缝的分布。

在路面维护中，使用以深度学习为背景的自动化的检测装置是很有必要的，不仅可以提高检测效率而且可以提高检测的精度。但是深度学习模型的检测能力需要大量数据集来训练，来自开源代码项目托管平台GitHub现在有大量开源的且种类不同的路面裂缝数据集。目前对于针对混合裂缝的检测模型的研究相对较少。

发明内容

有鉴于此，本发明的目的在于提供一种基于伪孪生密集连接注意力机制的路面裂缝检测方法。本方法改进了传统的Encoder-Decoder模型，使得可以有效的检测混合背景下即混合数据集下的检测结果，并且对损失函数也进行了优化，使其更适用于路面裂缝背景。

为了达到上述目的，本发明提供如下技术方案：

一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，包括如下步骤：

步骤S1、获取数据集，将所述数据集划分为训练集和测试集；

步骤S2、对所述训练集中的图片进行预处理；

步骤S3、构建伪孪生残差网络；

步骤S4、设计伪孪生残差网络的损失函数，所述损失函数由焦点损失函数和L1正则损失的加权得到，训练所述伪孪生残差网络直到所述损失函数收敛，保存模型；

步骤S5、使用所述步骤S4中得到的模型检测所述测试中图片的裂缝。

进一步的，所述数据集包括：Crack500、Crack200、CFD、AEL和GAPs384。

进一步的，在所述步骤S1中，所述获取数据集，具体包括：

在GitHub平台上搜索开源的数据库，搜索关键词为：pavement、crack和detection；数据库的项目语言为Python和C++；排序标记为most star。

进一步的，所述步骤S2包括：根据图片中裂缝的分布尺寸，将图片划分为粗裂缝，细裂缝和均匀裂缝三类，并且将图片处理为480*320分辨率。

进一步的，所述步骤S3包括：所述伪孪生残差网络以SegNet作为基础框架，具体为：采用对称的编码器网络-解码器网络结构，所述编码器网络和所述解码器网络具有相同的结构，所述编码器网络的结构为依次连接的五层卷积层，第一卷积层的尺寸为3*3*64，步长为2，第二卷积层的尺寸为3*3*128，步长为2，第三卷积层的尺寸为3*3*256，步长为2，第四卷积层的尺寸为3*3*512，步长为2，第五卷积层的尺寸为3*3*512，步长为2；所述五层卷积层的Padding方式均为Valid。

进一步的，在所述基础框架的基础上，加入注意力机制网络，所述注意力机制网络采用五层卷积层，所述注意力机制网络与所述编码器网络采用伪孪生输入，构成伪孪生网络；

所述注意力机制网络用以生成注意力参数，所述编码器网络用以提取裂缝特征；

所述注意力机制网络与所述编码器网络进行密集连接，所述注意力机制网络中每一层生成一个注意力参数，所述注意力参数通过密集连接的方式对所述编码器网络中每一层均进行加权；

在所述基础框架的基础上，在所述解码器中加入残差块，第l层残差块表达式为：

公式(1)中，Res^l表示为第l层的残差块，

表示为编码器中l+1层的特征，

表示为解码器中l+1层的特征。

进一步的，所述注意力参数的表达式为：

α＝P(σ₂(F^l)) (2)

公式(2)中，σ₂表示为sigmoid激活函数，P表示重采样操作，F^l的表达式如公式(3)所示：

公式(3)中，

表示为l层的输入，

表示为进行1*1*1卷积运算的超参数，

表示注意力参数特征方程，表达式如公式(4)所示：

公式(4)中，W_i ^T和

分别表示为l层的权重和偏差，BN_γ,β表示批归一化处理，σ₁表示Relu激活函数。

进一步的，所述损失函数的表达式为：

loss(T,P)＝α*Tversky(T,P)+(1-α)L1(T,P) (5)

公式(5)中，T表示为真实分割图，P表示为预测分割图，α＝0.7，L1表示L1正则损失，Tversky表示Tversky损失函数。

本发明的有益效果是：

本发明通过改进传统的Encoder-Decoder模型，使得可以有效的检测混合背景下即混合数据集下的检测结果；并且对损失函数进行优化，使其更适用于路面裂缝背景。

附图说明

图1为实施例1中提供的路面裂缝检测方法的流程图。

图2为实施例1中提供的伪孪生残差网络的结构示意图。

图3为实施例1中注意力参数生成的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1-图3，本实施例提供一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，包括如下步骤：

步骤S1、获取数据集，将数据集划分为训练集和测试集；

具体的说，在本实施中，首先在GitHub上搜索开源的数据库。

搜索关键字设定为“vement crack detection”，对于项目的选择，本实施例选择了2种语言标记的项目(Python，C++)作为关键字，排序标记为“most star”。

最终收集到五个公开的数据集，分别是：Crack500，Crack200，CFD，AEL和GAPs384。

步骤S2、对训练集中的图片进行预处理；

具体的说，由于每个数据集数据都有各自的特征，因此使用之前需要做数据集预处理。其中Crack500和Crack200属于粗裂缝数据集，GAPs384属于细裂缝数据集，而CFD和AEL属于均匀数据集。除此之外，每个数据集的图片尺寸也各不相同，本实施例通过Python里的PIL库对所有图片进行resize操作，全部设置为480*320像素。

最后本实施例剔除了一些标记不准确的数据并且整合到一起用数字经行升序排序。对于训练集和测试集，本实施例将训练和测试数据的比例设置为9：1。

步骤S3、构建伪孪生残差网络；

具体的说，伪孪生残差网络以SegNet作为基础框架，具体为：对称的编码器-解码器模型结构，编码器和解码器均有相同的结构，二者呈对称连接，编码器采用卷积和池化操作，解码器采用反卷积和反池化操作，逐层还原编码器特征且解码器最后一层输出通道数为1的二值分割图，也就是裂缝预测结果图。

编码器的结构为依次连接的五层卷积层，第一卷积层的尺寸为3*3*64，步长为2，第二卷积层的尺寸为3*3*128，步长为2，第三卷积层的尺寸为3*3*256，步长为2，第四卷积层的尺寸为3*3*512，步长为2，第五卷积层的尺寸为3*3*512，步长为2；五层卷积层的Padding方式均为Valid。

本实施例在在基础框架的基础上，加入注意力机制网络，具体包括：

本实施例采用伪孪生网络的策略，孪生网络需要所有的方向都共享权重，而本实施例设计的网络结构不需要共享网络权重。本实施例提供的伪孪生残差网络有两端输入，输入为同一幅RGB裂缝图片，其中编码器网络为主网络，用于裂缝特征的提取，注意力生成网络是辅助网络，主要用于注意力参数的生成，而且每一层的注意力参数不仅作用于辅助当前层，还用作辅助下面所有层的特征提取。

随着卷积和池化操作，特征图的尺寸不断减小，通道数不断增加，与此同时，特征图的细节信息也逐层发生丢失现象，本实施例设计的伪孪生残差网络可以在每一层之间对上一层的特征增强，即通过注意力参数来增强特征信息。

其中注意力参数α通过以下公式得到：

α＝P(σ₂(F^l)) (3)

公式(1)-公式(3)中，

是对l层的输入，W_i ^T和

是l层的权重和偏差，σ2指的是sigmoid激活函数，P为重采样，使当前注意力参数的尺寸符合当前编码层特征的特征尺寸，否则无法进行加权运算，

为进行1*1*1卷积运算的超参数。

如果特征的数量级过大，则在通过激活函数时会提前进入其饱和区域，因此采用批归一化BN_γ,β，σ1是Relu激活函数，

是注意参数特征方程。F^l是变换后注意参数的特征。

最后通过Softmax和max-pooling得到注意参数，其中Sigmoid激活函数定义如下：

本实施例引入的注意力机制网络，再每一层生成的参数并非只是在当前层使用，而是在之后所有层都得到了复用，然后编码器的输入特征图F∈R^H*W*C，其中H*W为特征图的尺寸，即初始设定的480*320，C为特征图的通道数，初始为RGB三通道；每经过一层之后特征图F'

所以复用每一层的注意力参数，还需要对特征矩阵经行卷积和池化使其符合当前层特征的大小。最后编码器部分就形成了一个伪孪生密集注意力机制的结构。

通过双输入，辅助通道指导主通道特征的生成，而且复用注意力参数，可以减少裂缝特征卷积和池化过程中细节信息的丢失，即生成的裂缝检测图片中，裂缝的边缘信息会显得很平滑，缺少纹理细节。

除此以外，本实施例在在解码器中引入了残差块，第l层残差值的生成过程如下：

公式(5)中，Res^l表示为第l层的残差块，

表示为encoder(编码器)中l+1层的特征，

表示为decoder(解码器)中l+1层的特征。

由于网络自身的非对称性，所以需要根据decoder层的特征对encoder层特征进行卷积和反池化处理，最终第l层解码器特征由第l+1层的解码器特征和残差块共同生成。

更具体的说，在本实施例中，之所以选择SegNet作为基础框架，是通过实验决定的，具体如下：

在本实施例中，对于要构建的伪孪生残差网络，预先选择了三个基础框架，分别为FusionNet、Unet和SegNet；通过设计实验，获得数据，通过数据比对，最终选定了SegNet作为基础框架；具体如下：

因为基础框架的选择并不涉及设计的内容，因此只是在CFD数据集上设计了三组对比试验，实验结果如表1所示：

表1：FusionNet、UNet和SegNet在CFD数据集上的Dice指标

从表中可以看出，SegNet作为基础框架更适合路面裂缝背景。同时，在此次实验中发现表中检测器的检测精度一般，而且对于裂缝的细节信息丢失严重，甚至出现裂缝间断裂的情况，所以本实施例的目的也在于检测精度提高的同时把握裂缝的细节信息。

然后是使用SegNet网络在三种类型数据集上进行测试，测试指标为MIoU指标，实验结果如表2所示：

表2：SegNet在三种类型数据集上的测试

步骤S4、设计伪孪生残差网络的损失函数，损失函数由焦点损失函数和L1正则损失的加权得到，训练伪孪生残差网络直到损失函数收敛，保存模型；

具体的说，损失函数的选择对网络的学习也起到了一定的决定性作用。传统路面裂缝检测网络一般选用交叉熵损失函数，但是交叉熵损失函数在数据分布不均衡的数据集上有很大的局限性，具体体现在路面裂缝数据的背景一般较为嘈杂，因此采用交叉熵损失函数可能会将背景也检测为裂缝。即网络训练时，背景特征，比如低对比度的阴影部分在卷积层中特征被不断放大，最后导致检测器将背景也作为裂缝特征进行分割。

因此，在本实施例中除了采用Tversky损失函数取代交叉熵损失函数，还采用了L1正则损失来加强网络的鲁棒性。Tversky损失定义为Dice系数和Jaccard系数的广义系数：

公式(6)中，当α＝β＝0.5时，Tversky损失即为Dice系数，当α＝β＝1时，Tversky损失即为Jaccard系数。我们设置α＝1-β＝0.7。整体损失函数为Tversky损失和L1正则损失的加权，定义为：

loss(T,P)＝α*Tversky(T,P)+(1-α)L1(T,P) (7)

公式(7)中，T为真实分割图，P为预测分割图，损失系数设置为α＝0.7。

步骤S5、使用步骤S4中得到的模型检测测试中图片的裂缝。

在本实施例中，为了验证本方法的性能，还进行了对比实验，实验结果如表3所示。

表3：对比算法实验结果

通过以上实验可以看出，本实施例提出的方法在精度，召回率和F1-measure都要优于其他检测器，表明了伪孪生残差网络的优越性。

本发明的优点是减少了当前裂缝检测器检测结果存在的裂缝细节信息丢失，裂缝断裂的问题，从而提高了检测的精度。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，包括如下步骤：步骤S1、获取数据集，将所述数据集划分为训练集和测试集；

步骤S2、对所述训练集中的图片进行预处理；

步骤S3、构建伪孪生残差网络；

步骤S4、设计伪孪生残差网络的损失函数，所述损失函数由焦点损失函数和L1正则损失的加权得到，训练所述伪孪生残差网络直到所述损失函数收敛，保存模型；

步骤S5、使用所述步骤S4中得到的模型检测所述测试中图片的裂缝。

2.根据权利要求1所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，所述数据集包括：Crack500、Crack200、CFD、AEL和GAPs384。

3.根据权利要求1所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，在所述步骤S1中，所述获取数据集，具体包括：

在GitHub平台上搜索开源的数据库，搜索关键词为：pavement、crack和detection；数据库的项目语言为Python和C++；排序标记为most star。

4.根据权利要求1-3任一权利要求所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，所述步骤S2包括：根据图片中裂缝的分布尺寸，将图片划分为粗裂缝，细裂缝和均匀裂缝三类，并且将图片处理为480*320分辨率。

5.根据权利要求4所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，所述步骤S3包括：所述伪孪生残差网络以SegNet作为基础框架，具体为：采用对称的编码器网络-解码器网络结构，所述编码器网络和所述解码器网络具有相同的结构，所述编码器网络的结构为依次连接的五层卷积层，第一卷积层的尺寸为3*3*64，步长为2，第二卷积层的尺寸为3*3*128，步长为2，第三卷积层的尺寸为3*3*256，步长为2，第四卷积层的尺寸为3*3*512，步长为2，第五卷积层的尺寸为3*3*512，步长为2；所述五层卷积层的Padding方式均为Valid。

6.根据权利要求5所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，在所述基础框架的基础上，加入注意力机制网络，所述注意力机制网络采用五层卷积层，所述注意力机制网络与所述编码器网络采用伪孪生输入，构成伪孪生网络；

所述注意力机制网络用以生成注意力参数，所述编码器网络用以提取裂缝特征；

所述注意力机制网络与所述编码器网络进行密集连接，所述注意力机制网络中每一层生成一个注意力参数，所述注意力参数通过密集连接的方式对所述编码器网络中每一层均进行加权；

在所述基础框架的基础上，在所述解码器中加入残差块，第l层残差块表达式为：

公式(1)中，Res^l表示为第l层的残差块，

表示为编码器中l+1层的特征，

表示为解码器中l+1层的特征。

7.根据权利要求6所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，所述注意力参数的表达式为：

α＝P(σ₂(F^l)) (2)

公式(2)中，σ₂表示为sigmoid激活函数，P表示重采样操作，F^l的表达式如公式(3)所示：

公式(3)中，

表示为l层的输入，

表示为进行1*1*1卷积运算的超参数，

表示注意力参数特征方程，表达式如公式(4)所示：

公式(4)中，W_i ^T和

分别表示为l层的权重和偏差，BN_γ,β表示批归一化处理，σ₁表示Relu激活函数。

8.根据权利要求7所述的一种基于伪孪生密集连接注意力机制的路面裂缝检测方法，其特征在于，所述损失函数的表达式为：

loss(T,P)＝α*Tversky(T,P)+(1-α)L1(T,P) (5)

公式(5)中，T表示为真实分割图，P表示为预测分割图，α＝0.7，L1表示L1正则损失，Tversky表示Tversky损失函数。

Images