CN115112669B - 一种基于小样本的路面无损检测识别方法 - Google Patents

Abstract

本发明涉及一种基于小样本的路面无损检测识别方法，包括：构建原始数据集，将所述原始数据集分割成若干补丁块，对所述补丁块进行采样，获得补丁块样本；将所述补丁块样本输入到Transformer模型中进行特征提取与目标重建，得到训练好的Transformer模型；基于所述训练好的Transformer模型，对输入的路面样本图像进行检测。本发明方法可以帮助快速识别受损部分，并轻松修复精度下降。去除类似的斑块并不影响识别结果。

Description

一种基于小样本的路面无损检测识别方法

技术领域

本发明涉及交通路面检测技术领域，特别是涉及一种基于小样本的路面无损检测识别方法。

背景技术

为普及检测并掌握各级道路技术状况，国内外行业研究者试图将低成本相机、地图街景、智能手机等非专业图像传感类设备应用于路面自动化检测并研究其数据处理分析方法，取得了较高的准确率。多样化检测设备的应用有助于提高数据采集频率，却给数据的存储和分析处理带来了巨大的压力。目前，路面病害的处理往往需要在收集大量图像的基础上进行内业识别，花费双倍及以上的时间完成。针对数据重复性高、数据体量巨大的问题，亟须在采集端进行一定的有损病害数据筛选，去除无损图像。

发明内容

本发明的目的是提供一种基于小样本的路面无损检测识别方法，以解决路面病害检测和识别工作繁重，数据处理耗时的问题。异常路面判别可以帮助减少数据存储、传输和处理的压力，特别是对于低成本、高频率的检测数据。

为实现上述目的，本发明提供了如下方案：

一种基于小样本的路面无损检测识别方法，包括：

构建原始数据集，将所述原始数据集分割成若干补丁块，对所述补丁块进行采样，获得补丁块样本；

将所述补丁块样本输入到Transformer模型中进行特征提取与目标重建，得到训练好的Transformer模型；

基于所述训练好的Transformer模型，对输入的路面样本图像进行检测。

优选地，基于网格分割的方法将所述原始数据集分割成若干补丁块，用于降低分辨率，并减少图片背景的像素。

优选地，将所述补丁块作为输入序列，输入到所述Transformer模型中进行训练，用于降低分辨率并减少图像背景的像素。

优选地，基于所述Transformer模型中的编码器进行特征提取，包括，首先通过平分输入获取所述补丁块，然后基于线性投影的方法获得图像标记，标记生成后，添加位置嵌入以解决位置信息丢失的问题，然后将标记后的图像输入Transformer中的编码器进行分类；所述分类中将只使用类标记；在所述线形投影的过程中，输出不同权重组合，所述不同权重组合所获得的信息为多头信息。

优选地，所述编码器为Vit编码器，所述图像标记为类标记。

优选地，基于多头注意力机制对所述多头信息进行特征提取，其中所述多头注意力特征的表达式为：

其中，n表示嵌入的数量，

是第h个头的输出，d_k表示K的维度，嵌入E和可学习权重W可以得到问题Q、钥匙K和值V。

优选地，所述目标重建包括：

基于MAE对所述补丁块中的屏蔽图像进行像素级重建，将图像分割成补丁块后，随机对所述补丁块中的部位进行遮蔽，然后将没有遮蔽的补丁块按顺序排列，送入Transformer Encoder中，获得特征向量；之后将遮蔽的补丁块按原始图像中的位置插入特征向量中，再放入Decoder中，由Decoder重构像素信息，生成原始图片；其中，所述遮蔽的补丁块中仅包含位置信息。

优选地，基于均方损失MSE验证所述Transformer模型的可信度，包括：通过测试TRIPLET和BCE损失，调整所述模型参数；其中，测试所述TRIPLET和BCE损失的方法为：

BCE＝ylogx+(1-y)log(1-x)

MSE＝(y-x)²

TRIPLET_a,p,n＝max(0,S[d(a,p)]d(a,p)-S[d(a,n)]d(a,n)+margin))

其中y和x分别为目标和预测，d(·)为距离函数，a、n、p分别为锚点样本、正样本和负样本，S是softmax函数。

本发明的有益效果为：

本发明方法可以帮助快速识别受损部分，并轻松修复精度下降。去除类似的斑块并不影响识别结果。此外，低开销的异常路面识别方法直接应用于边缘检测，可以进一步提高效率；

本发明旨在实现道路异常的快速检测，以减少路面破损识别、数据存储和标记的工作量，可以有效解决数据标记不足的问题；模型内构建了一个类似人脸识别的框架，通过在库中添加新的补丁，无需训练即可提高性能，即具备不同工程环境标记在线更新的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的图像划分补丁块方法示意图；

图3为本发明实施例的画廊示意图；

图4为本发明实施例的基础学习率曲线图；

图5位本发明实施例的可移除斑块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

路面病害检测和识别工作繁重，数据处理也非常耗时。异常路面判别可以帮助减少数据存储、传输和处理的压力，特别是对于低成本、高频率的检测数据。发明了一种基于小样本的路面无损检测识别方法，协助定位受损路段。

如图1所示，本实施例提供一种基于小样本的路面无损检测识别方法，包括两个主要部分，画廊和编码器。

首先，图像将被分成几个补丁，典型的补丁将被添加到画廊中。这将降低分辨率并减少背景的像素。模型训练完成后，编码器部分将被提取出来。所有的斑块都可以被编码为特征向量。一旦向量被编码，我们会计算它们的相似度，得到一个相似度向量(一行)。最后，我们将找到最相似的补丁，其类别是预测的。

用来降低输入分辨率的方法是网格分割。另一种简单的方法是直接向下采样图像。图2为原图分割示意图。

Vit是Transformer在CV中的第一个成功应用，它只是将图像分为补丁作为输入序列，以便Transformer能够处理它。Vit添加了一个[class]标记来融合分类中使用的信息。如图2所示，Vit首先通过平分输入来获取图像补丁，然后进行线性投影来获得图像标记。一旦标记生成，将添加一个位置嵌入以解决位置信息丢失的问题。然后，它们将被送入变换器编码器。最后，只有[类]标记将被用于分类。

多头关注机制可以描述为公式(1)。

其中，n表示嵌入的数量，

是第h个头的输出，d_k表示K的维度。嵌入E和可学习权重W可以得到问题Q、钥匙K和值V。

最终的输出是可学习权重和Z(叠加

))的点生产。不同头的权重是独立的，以确保从不同的表示子空间提取特征。

多头信息求解过程可以粗略地描述为方程(2)-(5)。

其中Z₀表示输入向量,Y是用于分类的图像表示。

是Z的位置0的标记(又称[类]标记)，LN是层规范化。

MAE是一种基于部分屏蔽图像的像素级重建任务的方法。编码器只对可见斑块进行编码。一旦编码完成，[掩码]标记将被添加到相应的位置上。解码器将把所有标记作为输入进行重建。

MAE解决小样本标记数据缺失问题，Vit是变形器特征学习的编码器。

一般来说，编码器仅对可见面片进行编码。编码完成后，将在相应位置添加[掩码]标记。解码器将把所有令牌作为输入进行重构。模型只能看到输入的可见部分，并尝试重建输入。在这种困难的情况下，本模型使用输入的所有部分来重建它，而不仅仅是遮罩位置周围的像素。

将图像分割成一个个小块后，随机对其中的一些小块进行遮蔽，然后将没有遮蔽的像素块按顺序排列，送入Transformer Encoder中，获得特征向量；之后将遮蔽的像素块(只包含位置信息)按原来的位置插入特征向量中，再放入Decoder中，由Decoder重构像素信息，生成原始图片。

MAE的关键方面可以列在四个部分：掩码策略、编码器、解码器和重建目标，迫使模型学会不依赖局部信息。本实施例中选择一个虚无的ViT作为编码器，因为它不会导入那么多的修改，导致对特定领域的过度拟合，而重建目标是均方差损失。

区域之间的重大差异将使模型的精度下降。所以需要对模型进行重新训练。提取最佳ViT-S的编码器作为帧中的编码器。第11、12、13、10、9、8和6行的斑块被选作输入。使用一个分类框架，简单地对输入进行分类。如果sigmoid的输出低于一个阈值，则该类是异常的(0类)。一旦预测为异常，整个输入图像就是异常的。

分类框架：使用图像块作为输入，输出为正常或异常，这是一项二元分类任务；输出值是从0到1的sigmoid输入分数，值越接近0，输入越可能是异常(0级)。相反，输入越可能正常(1级)。在训练期间，预测值(x)真值(y)之间的差距越大，BCE损失越。当模型用于推理时，将设置阈值(通常为0.5)，低于阈值时，输入为异常，反之亦然。

画廊如图3所示。

模型训练过程中设置的基本参数如表1所示，Vit-s的基本参数如表2所示，自监督学习参数如表3所示。

表1

表2

表3

数据增强(DAs)：用于提高准MAE自监督学习的准确率。参照原始的MAE，在本实施例中使用随机调整大小的裁剪、随机水平翻转和归一化作为标准的DAs。裁剪大小从0.2到1不等，大小调整为224x224px。这意味着在一个随机的可能位置随机裁剪20％-100％的图像区域。正常化使用0.2253作为平均值，0.0934作为标准偏差。它们是由所有图片计算出来的。水平翻转的概率为0.5。图4为基础学习率的曲线图。

在监督学习中，将使用二元交叉熵(BCE)损失，如式(6)所示。如前所述，自监督学习使用均方损失(MSE)损失如式(7)。微调阶段将测试Triplet如式(8)和BCE损失。

BCE＝ylogx+(1-y)log(1-x) (6)

MSE＝(y-x)² (7)

TRIPLET_a,p,n＝max(0,S[d(a,p)]d(a,p)-S[d(a,n)]d(a,n)+margin)) (8)

其中y和x分别为目标和预测，d(·)为距离函数，a、n、p分别为锚点样本、正样本和负样本，S是softmax函数。

为了进一步说明本发明的效果，下面通过具体实验进行验证：

236张高分辨率灰色图像(213张异常图像，23张正常图像)被分割成33984个图像斑块(224x224px)来构建原始数据，以模拟缺乏标记的数据，确保正常和异常斑块的平衡。如表5所示，4428个斑块被标记。此外，还收集了另外100张灰色图像，包括50张正常图像和50张异常图像作为测试集。

表5

针对额外的数据集，通过在线更新将准确率从盲猜的0.5提高到接近原始水平(0.88)，如下表6所示。在画廊中增加50个被错误分类的正常斑块会大大改善结果，这表明我们的方法可以通过在线更新来提高准确性。此外，类似的斑块可以被移除(图5)而不影响识别结果。

表6

本发明方法可以帮助快速识别受损部分，并轻松修复精度下降。去除类似的斑块并不影响识别结果。此外，低开销的异常路面识别方法直接应用于边缘检测，可以进一步提高效率；

本发明旨在实现道路异常的快速检测，以减少路面破损识别、数据存储和标记的工作量，可以有效解决数据标记不足的问题；模型内构建了一个类似人脸识别的框架，通过在库中添加新的补丁，无需训练即可提高性能，即具备不同工程环境标记在线更新的功能。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于小样本的路面无损检测识别方法，其特征在于，包括：

构建原始数据集，将所述原始数据集分割成若干补丁块，对所述补丁块进行采样，获得补丁块样本；

将所述补丁块样本输入到Transformer模型中进行特征提取与目标重建，得到训练好的Transformer模型；

基于所述训练好的Transformer模型，对输入的路面样本图像进行检测；

将所述补丁块作为输入序列，输入到所述Transformer模型中进行训练，用于降低分辨率并减少图像背景的像素；

基于所述Transformer模型中的编码器进行特征提取，包括，首先通过平分输入获取所述补丁块，然后基于线性投影的方法获得图像标记，标记生成后，添加位置嵌入以解决位置信息丢失的问题，然后将标记后的图像输入Transformer中的编码器进行分类；所述分类中将只使用类标记；在所述线性投影的过程中，输出不同权重组合，所述不同权重组合所获得的信息为多头信息；基于多头注意力机制对所述多头信息进行特征提取

所述目标重建包括：

基于MAE对所述补丁块中的屏蔽图像进行像素级重建，将图像分割成补丁块后，随机对所述补丁块中的部位进行遮蔽，然后将没有遮蔽的补丁块按顺序排列，送入TransformerEncoder中，获得特征向量；之后将遮蔽的补丁块按原始图像中的位置插入特征向量中，再放入Decoder中，由Decoder重构像素信息，生成原始图片；其中，所述遮蔽的补丁块中仅包含位置信息。

2.根据权利要求1所述的基于小样本的路面无损检测识别方法，其特征在于，基于网格分割的方法将所述原始数据集分割成若干补丁块，用于降低分辨率，并减少图片背景的像素。

3.根据权利要求1所述的基于小样本的路面无损检测识别方法，其特征在于，所述编码器为Vit编码器，所述图像标记为类标记。

4.根据权利要求1所述的基于小样本的路面无损检测识别方法，其特征在于，其中多头注意力特征的表达式为：

其中，n表示嵌入的数量，Z^h是第h个头的输出，d_k表示K的维度，嵌入E和可学习权重W可以得到问题Q、钥匙K和值V。

5.根据权利要求1所述的基于小样本的路面无损检测识别方法，其特征在于，基于均方损失MSE验证所述Transformer模型的可信度，包括：通过测试TRIPLET和BCE损失，调整所述模型参数；其中，测试所述TRIPLET和BCE损失的方法为：

BCE＝ylogx+(1-y)log(1-x)

MSE＝(y-x)²

TRIPLET_a，p，n＝max(0，S[d(a，p)]d(a，p)-S[d(a，n)]d(a，n)+margin))

其中y和x分别为目标和预测，d(·)为距离函数，a、n、p分别为锚点样本、正样本和负样本，S是softmax函数。

Images