CN115294377A - 一种道路裂缝的识别系统及方法 - Google Patents

Abstract

本发明公开了一种道路裂缝的识别系统及方法，其中道路裂缝的识别方法，包括：图像预处理，检测裂缝，提取裂缝。本发明能够有效地克服亮度不均和拓扑结构复杂对裂缝目标检测的影响，提高路面裂缝检测的准确率，优于同类算法。

Description

一种道路裂缝的识别系统及方法

技术领域

本发明涉及面裂缝检测技术，具体涉及一种道路裂缝的识别系统及方法。

背景技术

目前，裂缝作为路面上最为常见且危害较大的病害之一，其数量、长度、宽窄是评价路面状况的重要参考指标，裂缝的存在会导致路面材料不连续，降低整个路面结构的载荷传递能力，严重影响道路系统的正常运行，危害行车安全。传统的基于视觉的裂纹检测不可避免地导致时间和人力的浪费，准确性和效率低，容易出错。随着计算机和数字图形处理技术的快速发展，设计出实用、行之有效的路面裂缝自动检测方法引起很多研究者的讨论。

路面裂缝检测，很多都是基于图像分割、基于图像边缘检测、图像增强等传统的裂缝检测方法。这些算法的原理都是基于裂缝纹与背景的差异值，计算整个图像或图像块的阈值以对裂纹像素进行分类。这些算法在裂纹图像对比度强的情况下，能较准确地检测出裂缝，但是在受到油污、阴影等噪声的影响时，会将噪声信息误判成裂缝信息，存在较大程度的误判和漏检问题。

很多研究者也致力于路面噪声去除算法。路面阴影等噪声去除方法可以大致分为自动化的阴影去除方法和交互式的阴影去除方法两种，两者的根本区别在于如何对阴影进行初始检测，各有利弊。有根据阴影的边缘特征（强度、纹理和颜色比率的变化）来检测路面阴影。有使用形态重建来去除阴影。最近的一些方法采用了卷积神经网络（

）从单个图像中检测路面阴影。使用大规模的数据集进行训练基于

的方法可提供快速和准确的阴影检测结果。但是卷积神经网络背后的原理仍然无法解释。有应用了曲线拟合模型，通过智能采样方案来提高用于照明估计的强度采样的质量，假定光照变化的约束曲线或曲面函数受到高度限制，同时也限制了它们可移动阴影的范围。有应用贝叶斯公式来去除常见的路面阴影，此方法含有大量的未知参数，计算复杂度非常高，因此计算时间长，并且无法处理复杂场景下的阴影。以上这些的算法在一定程度上的确改善了对噪声的误判，但对于复杂拓扑中的噪声，性能影响较弱。

最近几年里，随着计算机的快速发展，关于机器学习和深度学习的路面裂缝自动监测方法兴起。深度学习路面裂缝自动识别方法很多，多尺度卷积神经网络（msCNN）、全卷积网络（FCN）、快速区域神经网络（Fast-CNN）、神经网络（CNN）、基于CAE预训练的深度聚类算法(DCEC)等都已应用于路面裂缝检测，并且实现了检测结果良好，误判和漏检问题也得到了很大的改善。但是深度学习算法模型含有大量的参数，需要大量的数据训练集，数据的人工标注成本太高，使得深度学习算法也很难实现。

结构化学习也是道路裂缝检测的重要方法，全称是结构化输出学习算法，属于有监督学习的一种。有提出结构化学习方法并介绍了计算机视觉中流行的结构化模型。有提出一种简单有效的随机森林结构信息整合方法，用结构化的标签信息来扩充随机森林并应用于语义图像标记问题。有提出了一种适用于边缘检测的广义结构化学习方法，通过将结构化的标签映射到离散空间，在离散空间上计算信息增益，从而降低算法的时间复杂度。在此基础上，有提出了一种基于随机结构化森林的道路裂缝检测方法（称为CrackForest）。CrackForest模型使用两个统计直方图来表征裂缝，采用支持向量机（SVM）、K均值聚类(K-Means)等算法对裂缝和噪声进行分类，从而得到裂缝的初步检测结果。CrackForest模型主要存在两点不足：由于油污、阴影等干扰信息具有明显的梯度变化，CrackForest模型对存在油污、阴影的路面裂缝图像检测性能欠佳。其次，由于CrackForest模型本质上是一个边缘检测模型，模型得到的初步检测结果仅仅包含裂缝的边缘信息，为了检测出完整的裂缝需要对初步检测结果进行腐蚀、膨胀等形态学操作，这会导致裂缝检测结果的边缘与真实裂缝边缘不一致，从而降低裂缝检测结果的准确性。

针对CrackForest模型的两点不足，本发明在CrackForest模型上进行了改进，提出了一种基于随机结构森林的密度聚类路面裂缝检测方法。利用基于纹理均衡的阴影消除方法，在保持裂缝细节信息的同时有效去除路面阴影，消除路面油污阴影的干扰信息。在随机结构森林模型的基础上将裂缝的分割掩码作为真实参考值来生成裂缝检测器，通过对裂缝检测结果进行密度聚类并利用几何特征筛选出裂缝，从而直接得到完整的裂缝信息。此方法不仅抑制噪声、油污等干扰因素对检测结果的影响，也提高了裂缝检测的准确性。

发明内容

本发明的主要目的在于提供一种道路裂缝的识别系统及方法，能够有效地克服亮度不均和拓扑结构复杂对裂缝目标检测的影响，提高路面裂缝检测的准确率，优于同类算法。

根据本发明的一个方面，提供了一种道路裂缝的识别系统，包括：

图像预处理模块，用于采用亮度划分的阴影消除方法，并且进行图像亮度补偿和增强处理；

裂缝检测模块，用于提取包含裂缝像素的图像块和对应的裂缝分割掩码，将裂缝分割掩码作为图像块的结构化标签，采用随机结构森林算法学习图像块的积分通道特征与结构化标签的映射关系训练裂缝检测模型，得到完整的裂缝信息；

裂缝提取模块，用于根据裂缝检测模型生成的裂缝概率图给出了对应像素为裂缝像素的概率，对裂缝概率图进行二值化操作提取裂缝候选点，对裂缝候选点进行密度聚类并根据聚类簇的几何特征筛选出裂缝。

根据本发明的又一个方面，提供了一种道路裂缝的识别方法，包括：

图像预处理，采用亮度划分的阴影消除方法，并且进行图像亮度补偿和增强处理；

检测裂缝，提取包含裂缝像素的图像块和对应的裂缝分割掩码，将裂缝分割掩码作为图像块的结构化标签，采用随机结构森林算法学习图像块的积分通道特征与结构化标签的映射关系训练裂缝检测模型，得到完整的裂缝信息；

提取裂缝，根据裂缝检测模型生成的裂缝概率图给出了对应像素为裂缝像素的概率，对裂缝概率图进行二值化操作提取裂缝候选点，对裂缝候选点进行密度聚类并根据聚类簇的几何特征筛选出裂缝。

进一步地，所述图像预处理包括：

根据亮度的不同将路面裂缝图像划分为不同的区域，统计各个区域像素亮度的平均值和方差，在对阴影区和半阴影区进行亮度补偿时引入区域的方差；

根据公式（1）对各个区域进行亮度补偿；

(1)

其中

，

，

和

分别表示阴影区和非阴影区亮度的方差；

阴影去除和亮度补偿主要包含形态闭运算、高斯滤波、阴影区域等价划分、各个区域分别亮度补偿和颗粒噪声去除这五个步骤。

更进一步地，所述检测裂缝包括：

获取路面裂缝图像和对应的裂缝分割掩码；使用去除阴影后的路面裂缝图像和对应的裂缝分割掩码来构造裂缝检测器；采用图像处理软件

对路面裂缝图像中的裂缝进行人工标注从而得到路面裂缝图像的裂缝分割掩码，其中裂缝像素对应的数值为0，非裂缝像素对应的数值为1；

提取路面裂缝图像的通道特征；将路面裂缝图像转换到

颜色空间得到三个颜色通道特征，分别对裂缝图像进行高斯差分滤波和

滤波得到两个通道特征，从水平和垂直两个方向上计算裂缝图像的梯度大小生成两个通道特征，在八个方向上分别计算裂缝图像的梯度直方图得到八个通道特征，通过对裂缝图像进行线性和非线性变换总共提取出15个通道特征；

采用滑动窗口法提取裂缝图像块、对应的通道特征和裂缝分割掩码；使用大小为

的滑动窗口分别从15个通道图像和裂缝分割掩码中提取图像块对应的通道特征

和结构化标签

，其中

是大小为

的特征矩阵，

是大小为

的二值化图像；当结构化标签

的中心像素是裂缝时被视为正样本，反之则视为负样本；对提取的图像块的通道特征

进行特征向量化，将大小为

的特征矩阵转化成大小为

的特征向量；采用滑动窗口法从图像中提取的裂缝图像块和裂缝图像块对应的结构化标签；

为每棵决策树抽样产生训练子集，每棵决策树使用不同的样本集合进行训练；利用

抽样方法从原始训练集中产生多个训练子集，每个训练子集的大小约为原始训练集的三分之二，这样使得训练子集中的样本存在一定的重复；

利用图像块的通道特征和结构化标签构造随机结构森林；构造决策树从根节点开始，首先对根节点进行初始化，每个节点

对应一个二进制拆分函数

，如果

样本

到达该节点的左子树

，反之，到达该节点的右子树

；

在进行节点分裂时根据树的最大深度、节点的最小样本数以及样本的信息增益决定决策树的节点是否分裂；如果节点不再分裂，该节点将作为叶节点，其中将节点上最有代表性的结构化标签作为该叶节点的预测结果；

如果节点继续分裂，将随机特征子集每个属性的所有划分按照信息增益进行排序，然后选择信息增益最大的属性作为分裂属性将节点上的样本划分为左子树的样本和右子树的样本，根据其划分实现决策树的分支生长，直到节点不再满足节点分裂的规则；每个分支的最后一个节点被视为叶节点，对于每个叶子节点，挑选出一个与其他结构化标签距离最小的结构化

标签作为该叶节点的决策结果；

训练好随机结构森林后，所有具有代表性的结构化都聚集到决策树的叶节点上；在测试阶段，采用大小为

的滑动窗口提取测试图像各个像素点对应的图像块，输入的图像块根据决策树各个节点的分裂函数从树的根结点开始，从上到下路由并最终指向一个叶节点，然后将该叶节点上最有代表性的结构化标签作为该决策树对图像块的预测结果。

更进一步地，所述提取裂缝包括：

在裂缝检测过程中，利用密度聚类对不规则簇的良好适应性，对随机结构森林模型得到的初步检测结果进行聚类并利用簇的几何特征筛选出初步检测结果中存在的噪声，从而识别出真正的路面裂缝；

首先考察裂缝候选点集合里的某个核心点，在核心点的

邻域中的所有点与该核心点属于同一个簇，这些点将作为下一轮考察的对象；不断考察种子点的Eps邻域并拓展他们所在的簇，直至算法寻找到一个完整的裂缝簇；依此方法寻找到其它裂缝簇；没有被划分到任一裂缝簇的裂缝候选点即为噪声点；

算法利用裂缝候选点的密度差异识别出裂缝点并自动过滤掉噪声点；

查询各个裂缝簇的8个方向的极值点的坐标，从而计算出各个簇最短距离和最长距离的比例，利用路面裂缝具有线性特征的特点，将最短距离和最长距离之比大于指定阈值的簇判定为噪声，从而筛选出真正的裂缝。

本发明的优点：

本发明的方法，利用基于纹理均衡的阴影消除方法，在保持裂缝细节信息的同时有效去除路面阴影，消除路面油污阴影的干扰信息。在随机结构森林模型的基础上将裂缝的分割掩码作为真实参考值来生成裂缝检测器，通过对裂缝检测结果进行密度聚类并利用几何特征筛选出裂缝，从而直接得到完整的裂缝信息。此方法不仅抑制噪声、油污等干扰因素对检测结果的影响，也提高了裂缝检测的准确性。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的系统框架图；

图2是本发明的图像预处理的原图；

图3是本发明的图像预处理的闭运算图；

图4是本发明的图像预处理的高斯滤波图；

图5是本发明的图像预处理的阴影区亮度等级划分图；

图6是本发明的图像预处理的亮度补偿后的图像；

图7是本发明的图像预处理的去噪声和增强对比度的图像；

图8是本发明的裂缝检测模型的流程图；

图9是本发明的裂缝图像块在

颜色空间上的通道特征图；

图10是本发明的决策树节点分裂图；

图11是本发明的随机结构森林的过程图；

图12是本发明的随机结构森林的预测图；

图13是本发明试验的参数MaxDepth对裂缝检测模型性能的影响图；

图14是本发明试验的参数MinChild对裂缝检测模型性能的影响图；

图15是本发明试验的参数Threshold对裂缝检测模型性能的影响图；

图16是本发明试验的

对裂缝提取结果的影响图；

图17是本发明试验的参数

对裂缝提取结果的影响图；

图18是本发明试验的两个路面裂缝数据集中6张具有代表性的路面裂缝图片的原图；

图19是本发明试验的两个路面裂缝数据集中6张具有代表性的路面裂缝图片的CrackForest模型得到的检测结果图；

图20是本发明试验的两个路面裂缝数据集中6张具有代表性的路面裂缝图片的裂缝检测方法得到的检测结果图；

图21是本发明试验的两个路面裂缝数据集中6张具有代表性的路面裂缝图片的人工标注的裂缝图；

图22是本发明试验的两种方法对存在油污的裂缝图片的检测结果图；

图23是本发明试验的两种方法对阴影裂缝图片的检测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明针对图片亮度不均和拓扑结构复杂的路面裂缝检测问题，提出了一种基于随机结构森林的密度聚类的裂缝自动检测新方法。

首先，为了有效地消除路面阴影和油污等噪声，并且最大限度地保持阴影区域的裂缝纹理细节信息，本发明采用了亮度划分的阴影消除方法，并且做了亮度补偿和增强处理。

其次，提取包含裂缝像素的图像块和对应的裂缝分割掩码，将裂缝分割掩码作为图像块的结构化标签，采用随机结构森林算法学习图像块的积分通道特征与结构化标签的映射关系训练裂缝检测模型，得到了完整的裂缝信息，克服了随机结构森林算法仅仅检测出裂缝边缘信息和准确率低的缺点。

最后，根据裂缝检测模型生成的裂缝概率图给出了对应像素为裂缝像素的概率，对裂缝概率图进行二值化操作提取裂缝候选点，对裂缝候选点进行密度聚类并根据聚类簇的几何特征筛选出裂缝，从而准确地检测出裂缝。

在不同的数据集上进行试验，发现路面裂缝监测的准确率达到87.4%，召回率能达到83.9%，F-1值（精确率和召回率的调和均值）达到85.6%。与最新的随机结构森林（CreakForest）相比，准确率最高提高了56.6%，召回率提高了15.2%，F-1值提高了33.1%。

在不同的数据集上进行试验，发现路面裂缝监测的准确率达到87.4%，召回率能达到83.9%，F-1值（精确率和召回率的调和均值）达到85.6%。与最新的随机结构森林（CreakForest）相比，准确率最高提高了56.6%，召回率提高了15.2%，F-1值提高了33.1%。

结果表明本发明提出的算法能够有效地克服亮度不均和拓扑结构复杂对裂缝目标检测的影响，提高路面裂缝检测的准确率，优于同类算法。

本发明的框架

本发明的研究框架如图1所示，主要包含三个部分，对图像预处理，检测出裂缝和提取裂缝。

图像预处理

受人工标签、油污、阴影、路面颗粒纹理等因素的影响，采集的路面图像存在噪声干扰严重、亮度分布不均等问题，对路面图像进行预处理对提高后续裂缝提取算法的性能至关重要。有提出了一种利用全局增强与局部增强相结合的方法。有使用Retinex模型规避裂纹图像的预处理，以减少不同光照条件下的差异。图形预处理的目标是对存在阴影的路面图像进行阴影消除和亮度补偿。

亮度划分阴影去除算法

阴影去除一般采用亮度补偿来实现，传统的加性亮度补偿方法只能均衡阴影区和非阴影区的平均亮度，但阴影区的低对比度并没有得到改善，还会造成阴影区裂缝的亮度被过度补偿。通常区域像素的对比度和区域内像素的方差密切相关，像素的方差越大意味着区域内的对比度越大图像的纹理越清晰。针对阴影区纹理特征弱、阴影区裂缝的对比度低的问题，本发明采用了一种新的亮度补偿方法，根据亮度的不同将路面裂缝图像划分为不同的区域，统计各个区域像素亮度的平均值和方差，在对阴影区和半阴影区进行亮度补偿时引入区域的方差，使阴影区和非阴影区的方差与非阴影的方差一致，从而保证对阴影区进行亮度补偿后能够很好的保持阴影区的纹理信息，尤其是阴影区裂缝的信息。根据公式（1）对各个区域进行亮度补偿。

(1)

其中

，

，

和

分别表示阴影区和非阴影区亮度的方差。在亮度补偿时通过引入阴影区和非阴影区像素的方差可以有效增强阴影区的纹理信息提升阴影区裂缝的对比度。

本发明的阴影去除和亮度补偿主要包含形态闭运算、高斯滤波、阴影区域等价划分、各个区域分别亮度补偿和颗粒噪声去除等五个步骤。对原始图像进行形态学闭运算，去掉路面裂缝。裂缝的亮度较低，为了避免将裂缝错误划分为阴影区而被执行亮度补偿，需要在对阴影区进行等级划分前，滤除路面图像中的裂缝。闭运算后的图像如3所示。对图像进行二维高斯滤波，消除噪声和路面纹理对阴影区域划分的影响，如图4所示。为了保持各个阴影区域内的像素点个数大致均衡，要求各个阴影区域的面积不小于原始图像面积的2%，根据亮度将阴影区划分为N个等级，将其中

个较低的亮度区域视为阴影区，其余视为非阴影区，如图5所示。对各个阴影区对应的原始图像的像素点使用公式（1）进行亮度补偿，得到去除阴影后的路面图像，如图6所示。选择采用窗口大小为

的中值滤波器对消除阴影后路面图像进行滤波，去除图像中的颗粒噪声，增强裂缝和背景的对比度，如图7所示。

从原图2和预处理后的图像7对比可以看出，基于亮度划分的路面阴影去除算法效果理想。图像的阴影区和非阴影区过度非常自然，阴影区的纹理信息也得到了很好的保留，且阴影区裂缝与背景的对比度得到了很好的增强，为后续的路面裂缝检测提供方便。

构建随机结构森林

有于2013年提出了结构化学习框架，即随机结构森林，该框架将结构化标签映射到离散空间，通过挖掘图像块的结构化信息进行快速的边缘检测。

本发明在随机结构森林算法的基础上将裂缝的分割掩码作为标签块来构造裂缝检测器，从而直接得到完整的裂缝信息，克服了随机结构森林算法仅仅检测出裂缝边缘的缺点。通过线性和非线性变换提取到了包含图像块结构化信息的通道特征，根据图像块的通道特征对图像块进行聚类并预测给定图像块的裂缝分割掩码，从而得到初步的裂缝检测结果。构造裂缝检测器的流程图如图8所示。

构造基于随机结构森林的裂缝检测器主要包含以下五个步骤：

（1）获取路面裂缝图像和对应的裂缝分割掩码。为了克服路面阴影对裂缝检测器性能的影响，使用去除阴影后的路面裂缝图像和对应的裂缝分割掩码来构造裂缝检测器。采用图像处理软件

对路面裂缝图像中的裂缝进行人工标注从而得到路面裂缝图像的裂缝分割掩码，其中裂缝像素对应的数值为0，非裂缝像素对应的数值为1。

（2）提取路面裂缝图像的通道特征。特征提取是影响裂缝检测器性能的重要因素，通过对路面裂缝图像进行线性变换和非线性变换得到多个图像通道，在各个通道上进行特征提取。本发明将路面裂缝图像转换到

颜色空间得到三个颜色通道特征，分别对裂缝图像进行高斯差分滤波和

滤波得到两个通道特征，从水平和垂直两个方向上计算裂缝图像的梯度大小生成两个通道特征，在八个方向上分别计算裂缝图像的梯度直方图得到八个通道特征，通过对裂缝图像进行线性和非线性变换总共提取出15个通道特征。图9（b）显示了裂缝图像块在

颜色空间上的通道特征。

（3）采用滑动窗口法提取裂缝图像块、对应的通道特征和裂缝分割掩码。本发明使用大小为

的滑动窗口分别从15个通道图像和裂缝分割掩码中提取图像块对应的通道特征

和结构化标签

，其中

是大小为

的特征矩阵，

是大小为

的二值化图像。当结构化标签

的中心像素是裂缝时被视为正样本，反之则视为负样本。为了便于对样本的信息增益进行计算，需要对提取的图像块的通道特征

进行特征向量化，将大小为

的特征矩阵转化成大小为

的特征向量。采用滑动窗口法可以从图像中提取的裂缝图像块和裂缝图像块对应的结构化标签如图9（a）和图9（c）所示。

（4）为每棵决策树抽样产生训练子集，每棵决策树使用不同的样本集合进行训练。利用

抽样方法从原始训练集中产生多个训练子集，每个训练子集的大小约为原始训练集的三分之二，这样使得训练子集中的样本存在一定的重复。

（5）利用图像块的通道特征和结构化标签构造随机结构森林。决策树的训练涉及构建决策树节点(图10中的圆圈表示)和叶节点(图10中的矩形表示)的预测结果。构造决策树从根节点开始，首先对根节点进行初始化。节点分裂是构造决策树的核心步骤，通过节点分裂才能产生一棵完整的决策树。每个节点

对应一个二进制拆分函数

，如果

样本

到达该节点的左子树

，反之，到达该节点的右子树

，决策树节点的分裂如图10所示。在进行节点分裂时根据树的最大深度、节点的最小样本数以及样本的信息增益决定决策树的节点是否分裂。如果节点不再分裂，该节点将作为叶节点，其中将节点上最有代表性的结构化标签作为该叶节点的预测结果。如果节点继续分裂，将随机特征子集每个属性的所有划分按照信息增益进行排序，然后选择信息增益最大的属性作为分裂属性将节点上的样本划分为左子树的样本和右子树的样本，根据其划分实现决策树的分支生长，直到节点不再满足节点分裂的规则。每个分支的最后一个节点被视为叶节点。对于每个叶子节点，挑选出一个与其他结构化标签距离最小的结构化标签作为该叶节点的决策结果。构造随机结构森林的过程如图11所示。

训练好随机结构森林后，所有具有代表性的结构化都聚集到决策树的叶节点上。在测试阶段，采用大小为

的滑动窗口提取测试图像各个像素点对应的图像块，输入的图像块根据决策树各个节点的分裂函数从树的根结点开始，从上到下路由并最终指向一个叶节点，然后将该叶节点上最有代表性的结构化标签作为该决策树对图像块的预测结果，如图12所示。由于相邻像素的图像块和对应的结构化标签存在大量重复的像素点，通过对每个像素点重复的预测结果取平均来计算该像素是裂缝像素的概率。因此，基于随机结构森林的裂缝检测器的输出端对应着一个裂缝概率图，图中每个像素点的数值表示原始路面裂缝图像中对应像素是裂缝的概率。通过对裂缝概率图进行阈值分割我们可以得到初步的裂缝检测结果。

基于密度聚类的路面裂缝识别方法

基于密度的噪声应用空间聚类（DBSCAN）算法的核心思想是聚类中的每个对象必须在其邻域内具有一定数量的其他对象，与其他聚类方法（如,k-means,谱聚类和Rank-Order）其他聚类算法相比，该方法可以检测任意形状的聚类，无需预先指定中心点，且不需要对簇的数量进行初始设置,对异常值等具有鲁棒性，是一种高效，有效，且性能良好的聚类算法。

基于密度聚类的路面裂缝识别方法的基本思想是将裂缝候选点聚类到任意拓扑结构的簇中，然后根据裂缝的几何特征筛选出裂缝。路面裂缝具有拓扑结构复杂、连续性差，且存在检测结果易受噪声干扰等问题，针对这些问题，本发明采用了一种结合密度聚类的裂缝识别方法。在裂缝检测过程中，利用密度聚类对不规则簇的良好适应性，对随机结构森林模型得到的初步检测结果进行聚类并利用簇的几何特征筛选出初步检测结果中存在的噪声，从而识别出真正的路面裂缝。

DBSCAN首先考察裂缝候选点集合里的某个核心点，在核心点的Eps邻域中的所有点与该核心点属于同一个簇，这些点将作为下一轮考察的对象（称为种子点）。不断考察种子点的Eps邻域并拓展他们所在的簇，直至算法寻找到一个完整的裂缝簇。依此方法寻找到其它裂缝簇。没有被划分到任一裂缝簇的裂缝候选点即为噪声点。通常，噪声点的密度要比裂缝点密度小，因此DBSCAN算法可以利用裂缝候选点的密度差异识别出裂缝点并自动过滤掉噪声点。

虽然DBSCAN算法能自动过滤掉较分散的裂缝候选点，但一些较集中的呈块状分布的裂缝候选点仍有可能被错误聚类为裂缝簇。首先查询各个裂缝簇的8个方向的极值点的坐标，从而能够计算出各个簇最短距离和最长距离的比例，利用路面裂缝具有线性特征的特点，将最短距离和最长距离之比大于指定阈值的簇判定为噪声，从而筛选出真正的裂缝，提高识别的准确率。

试验结果

在两个公开的路面裂缝数据集（分别是CFD数据集和cracktree200数据集）上的进行实验，通过手动标记图片中的裂缝像素作为真实参考值，从真实参考值中提取裂缝的分割掩码并通过裂缝的分割掩码训练裂缝检测模型，在测试阶段根据真实参考值对裂缝检测模型的检测效果进行评估。

为了对裂缝提取效果进行量化分析和评价，本发明采用精确率(Precision)、召回率(Recall)和F-1值作为实验结果的评价指标。它们的定义分别见公式（2）、公式（3）和公式（4）。

其中TP是模型正确预测为裂缝的像素点数量，FP是模型将非裂缝点错误地预测为裂缝的像素点数量，FN是模型将裂缝点错误预测为非裂缝点的像素点数量。准确率与召回率有时会出现矛盾，F-1值是精确率和召回率的调和均值，为了平衡精确率和召回率，用F-1值来综合评估模型的整体性能。

关键参数的影响

在消除阴影时，执行形态学闭运算的目的是避免将路面裂缝错误划分为阴影区，需要根据裂缝的宽度选择适当半径的结构元素，经过多次试验后，实验中结构元素的半径设置为27个像素，这样执行闭运算后便能去掉图像中所有的裂缝。在对阴影区进行亮度等级划分时，每个亮度等级区域的面积太大会造成执行亮度补偿后的图像过度不自然，太小可能造成单个亮度等级区域内的纹理方差计算不准确,在实验中要求各个阴影区域的面积不小于原始图像面积的2%。在进行随机结构森林模型训练时，对三个主要参数进行了调整：决策树的最大深度MaxDepth、叶子节点最小样本数MinChild和二值化裂缝概率图的阈值Threshold。由于随机结构森林算法没有一个基于最优化理论生成的最优参数，需要通过一系列实验来分析这些参数对裂缝检测模型整体性能的影响。我们将F-1值作为评价模型整体性能的综合指标，因此将F-1值作为选择最优参数的主要指标。

首先分析决策树的最大深度MaxDepth对裂缝检测模型性能的影响。由于随机结构森林算法在生成决策树时没有剪枝过程，决策树的规模主要由决策树的最大深度决定。参数MaxDepth设置过小会导致生成的决策树过于简单，模型的学习不够充分，降低裂缝检测的准确性。参数MaxDepth设置过大可能会出现过拟合现象，降低模型的泛化能力。我们将参数MaxDepth从4到24递增变化，变化的步长为4。不同MaxDepth对应的Precision，Recall和F-1值的曲线图如图13所示。当MaxDepth从4增大到16时，Recall和F-1值都在迅速增大，而Precision开始增大，从12开始，略有下降减小。当MaxDepth>16时Precision值稍有下降，但变化不大，Recall稍有上升，变化也不大，而F-1值基本保持0.74左右不动。因此，我们将MaxDepth设置为16，此时F-1值取

得最大，同时模型可以保持较低的错误率，避免出现过拟合现象。

由于没有剪枝过程，决策树中叶子节点的最小样本数和决策树的最大深度共同决定了决策树中节点的分裂过程。叶子节点的最小样本数过小，一方面可能会导致深度较浅的节点出现过拟合现象，另一方面导致深度较深的节点分裂不够充分，降低检测结果的准确性。叶子节点的最小样本数过大将导致生成的决策树过于简单，叶子节点上的样本缺乏代表性。首先设置参数MaxDepth=16，将参数MinChild的变化范围设置为[2，20]。参数MinChild对裂缝监测模型性能影响如图14所示，当MinChild从2增大到8时，Precision和F-1值都在迅速增大，并且MinChild=8时，此时F-1值取得最大值为0.74。同时也可以看到，当

时，F-1值都保持在0.72以上，说明当参数MinChild>8时，决策树中的节点分裂较充分，模型得到了很好的训练。综合看，裂缝检测模型在MinChild=8的时候取得最好的裂缝检测结果，取MinChild=8。

最后，设定MaxDepth=16，MinChild=8，我们分析参数Threshold对模型性能的影响。图15显示了只改变Threshold的值时，裂缝检测模型性能的变化。可以看到F-1值和Recall总体上是随着参数Threshold增大而上升的，但当Threshold>0.7之后Precision会随着Threshold的增大而下降。这是因为，裂缝概率图二值化的阈值Threshold越大，根据裂缝概率图筛选出来的裂缝候选点越有可能是真正的裂缝点，降低假反例的数量，从而得到更高的Recall。从图18中我们可以看到，当参数Threshold=0.9时，模型的F-1值和Recall都取得最大值，因此我们将模型的参数Threshold设置为0.9。

采用

算法对裂缝候选点进行聚类时需要调整的关键参数有邻域半径

和聚类的最少样本数量

。

算法需要由用户手动设置这两个参数，而这两个参数的设置直接影响了密度聚类的结果。如果要得到良好的聚类结果就必须选择合适的参数，而这需要经过多次实验才能获得。通过对一幅典型的路面图像的裂缝概率图进行实验来直观的显示参数

和

对裂缝候选点聚类结果的影响，如图16，17所示。

图16和图17第一行分别是从裂缝概率图中提取的裂缝候选点以及不同参数

和

所得到的密度聚类结果，在图中不同的对象簇被标记为不同的颜色。图16和图17第二行分别是人工标注的路面裂缝以及根据不同的聚类结果提取出的路面裂缝。从图中可以看到密度聚类不仅能过滤掉分散的噪声数据，同时能将属于同一条裂缝的各个裂缝片段识别为同一条裂缝从而提高裂缝检测结果的连续性。虽然对裂缝候选点进行密度聚集无法滤除面积较大的噪声，但利用对象簇的几何特征能够准确识别裂缝和噪声，从而准确提取出路面裂缝。从图16和图17中可以看到当参数

设置为10个像素、参数

设置为40时取得了最好的裂缝检测结果，检测出了所有的路面裂缝同时最大限度的抑制了噪声对裂缝检测结果的干扰。

测试集的试验结果

为了验证本发明提出的裂缝检测方法的性能，在公开的CFD路面裂缝数据集和cracktree200裂缝数据集上进行实验。实验中，代码用Matlab进行编写，测试平台为Windows7操作系统，CPU2.5GHz。CFD数据集包含155张大小为

的图片，所有路面裂缝图片都不含有阴影，我们将其中110张图片作为训练集，将其中的45张图片作为测试集。cracktree200数据集包含206张大小为

的裂缝图像，其中有36张路面裂缝图片含有阴影。我们将其中146张图片作为训练集，其余60张图片作为测试集，并保持训练集和测试集中有大致均衡的含阴影的裂缝图片。因为裂缝具有一定的宽度，我们在判断是否为裂缝像素的时候设定了一个的容忍宽度值2个像素。当检测结果距离手工标注的裂缝的欧氏距离为2个像素时，我们认定它为裂缝像素。表1列出了本发明提出的方法和CrackForest模型在CFD数据集上进行裂缝检测的精确率Precision、召回率Recall以及F-1值。与CrackForest模型相比，本发明的方法准确率Precision提高了56.6%，召回率Recall提高了10.1%，F-1值提高了33.1%。

表1 两种方法在CFD数据集上的Precision、Recall和F-1值

Table 1 Precision, Recall and F-1 values of the two methods on theCFD dataset

用CFD数据集中的训练集训练完裂缝检测模型后，我们在测试集上验证模型的性能，并通过调整二值化裂缝概率图的阈值Threshold得到模型的Precision-Recall曲线，可以看到，在CFD数据上上本发明提出的方法的最优F-1值为0.856，要远高于CrackForest模型得到的0. 643。

表2列出了本发明提出的方法和CrackForest模型在cracktree200数据集上进行裂缝检测的精确率Precision、召回率Recall以及F-1值。与CrackForest模型相比，本发明的方法准确率Precision提高了33.2%，召回率Recall提高了15.2%，F-1值提高了24%。

表2两种方法在cracktree200数据集上的Precision、Recall和F-1值

Table 2 Precision, Recall and F-1 values of the two methods on thecracktree200 dataset

用Cracktree200数据集中的训练集训练完裂缝检测模型后，我们通过调整二值化裂缝概率图的阈值Threshold可以得到两种裂缝检测方法在Cracktree200数据集上的Precision-Recall曲线，

图18，图19，图20，图21显示了两个路面裂缝数据集中6张具有代表性的路面裂缝图片的处理结果，图18是原始图像，图19是CrackForest模型得到的检测结果，图20是本发明提出的裂缝检测方法得到的检测结果，图21是人工标注的裂缝。可以看到，本发明提出的方法所得结果与真实裂缝具有较好的一致性，检测结果不易受到路面阴影、油污等干扰因素的影响，模型具有较好的抗干扰能力，裂缝检测效果不但好于CrackForest模型，而且准确率、召回率和F-1超过了大多数目前先进的路面裂缝检测方法。

图22显示了本发明提出的方法在存在油污的裂缝图像上的结果，并与CrackForest模型的结果进行了对比。CrackForest模型将裂缝图像中的油污错误识别为了裂缝，而本发明提出的方法对油污进行了亮度补偿，因此克服了油污对裂缝检测结果的影响。

图23显示了对一张包含阴影的裂缝图片的检测结果。CrackForest模型虽然能够检测出较为明显的裂缝，但是没能检测出细小的裂缝，且检测结果存在大量假阳性错误。本发明提出的方法成功检测出了所有的裂缝，准确识别出了噪声和裂缝并筛选出真正的裂缝。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种道路裂缝的识别系统，其特征在于，包括：

图像预处理模块，用于采用亮度划分的阴影消除方法，并且进行图像亮度补偿和增强处理；

裂缝检测模块，用于提取包含裂缝像素的图像块和对应的裂缝分割掩码，将裂缝分割掩码作为图像块的结构化标签，采用随机结构森林算法学习图像块的积分通道特征与结构化标签的映射关系训练裂缝检测模型，得到完整的裂缝信息；

裂缝提取模块，用于根据裂缝检测模型生成的裂缝概率图给出了对应像素为裂缝像素的概率，对裂缝概率图进行二值化操作提取裂缝候选点，对裂缝候选点进行密度聚类并根据聚类簇的几何特征筛选出裂缝。

2.一种道路裂缝的识别方法，其特征在于，包括：

图像预处理，采用亮度划分的阴影消除方法，并且进行图像亮度补偿和增强处理；

检测裂缝，提取包含裂缝像素的图像块和对应的裂缝分割掩码，将裂缝分割掩码作为图像块的结构化标签，采用随机结构森林算法学习图像块的积分通道特征与结构化标签的映射关系训练裂缝检测模型，得到完整的裂缝信息；

提取裂缝，根据裂缝检测模型生成的裂缝概率图给出了对应像素为裂缝像素的概率，对裂缝概率图进行二值化操作提取裂缝候选点，对裂缝候选点进行密度聚类并根据聚类簇的几何特征筛选出裂缝。

3.根据权利要求2所述的道路裂缝的识别方法，其特征在于，所述图像预处理包括：

根据亮度的不同将路面裂缝图像划分为不同的区域，统计各个区域像素亮度的平均值和方差，在对阴影区和半阴影区进行亮度补偿时引入区域的方差；

根据公式（1）对各个区域进行亮度补偿；

(1)

其中

分别表示阴影区和非阴影区亮度的方差；

阴影去除和亮度补偿主要包含形态闭运算、高斯滤波、阴影区域等价划分、各个区域分别亮度补偿和颗粒噪声去除这五个步骤。

4.根据权利要求2所述的道路裂缝的识别方法，其特征在于，所述检测裂缝包括：

获取路面裂缝图像和对应的裂缝分割掩码；使用去除阴影后的路面裂缝图像和对应的裂缝分割掩码来构造裂缝检测器；采用图像处理软件

对路面裂缝图像中的裂缝进行人工标注从而得到路面裂缝图像的裂缝分割掩码，其中裂缝像素对应的数值为0，非裂缝像素对应的数值为1；

提取路面裂缝图像的通道特征；将路面裂缝图像转换到

颜色空间得到三个颜色通道特征，分别对裂缝图像进行高斯差分滤波和

滤波得到两个通道特征，从水平和垂直两个方向上计算裂缝图像的梯度大小生成两个通道特征，在八个方向上分别计算裂缝图像的梯度直方图得到八个通道特征，通过对裂缝图像进行线性和非线性变换总共提取出15个通道特征；

采用滑动窗口法提取裂缝图像块、对应的通道特征和裂缝分割掩码；使用大小为

的滑动窗口分别从15个通道图像和裂缝分割掩码中提取图像块对应的通道特征

和结构化标签

，其中

是大小为

的特征矩阵，

是大小为

的二值化图像；当结构化标签

的中心像素是裂缝时被视为正样本，反之则视为负样本；对提取的图像块的通道特征

进行特征向量化，将大小为

的特征矩阵转化成大小为

的特征向量；采用滑动窗口法从图像中提取的裂缝图像块和裂缝图像块对应的结构化标签；

为每棵决策树抽样产生训练子集，每棵决策树使用不同的样本集合进行训练；利用

抽样方法从原始训练集中产生多个训练子集，每个训练子集的大小约为原始训练集的三分之二，这样使得训练子集中的样本存在一定的重复；

利用图像块的通道特征和结构化标签构造随机结构森林；构造决策树从根节点开始，首先对根节点进行初始化，每个节点

对应一个二进制拆分函数

，如果

样本

到达该节点的左子树

，反之，到达该节点的右子树

；

在进行节点分裂时根据树的最大深度、节点的最小样本数以及样本的信息增益决定决策树的节点是否分裂；如果节点不再分裂，该节点将作为叶节点，其中将节点上最有代表性的结构化标签作为该叶节点的预测结果；

如果节点继续分裂，将随机特征子集每个属性的所有划分按照信息增益进行排序，然后选择信息增益最大的属性作为分裂属性将节点上的样本划分为左子树的样本和右子树的样本，根据其划分实现决策树的分支生长，直到节点不再满足节点分裂的规则；每个分支的最后一个节点被视为叶节点，对于每个叶子节点，挑选出一个与其他结构化标签距离最小的结构化

标签作为该叶节点的决策结果；

训练好随机结构森林后，所有具有代表性的结构化都聚集到决策树的叶节点上；在测试阶段，采用大小为

的滑动窗口提取测试图像各个像素点对应的图像块，输入的图像块根据决策树各个节点的分裂函数从树的根结点开始，从上到下路由并最终指向一个叶节点，然后将该叶节点上最有代表性的结构化标签作为该决策树对图像块的预测结果。

5.根据权利要求2所述的道路裂缝的识别方法，其特征在于，所述提取裂缝包括：

在裂缝检测过程中，利用密度聚类对不规则簇的良好适应性，对随机结构森林模型得到的初步检测结果进行聚类并利用簇的几何特征筛选出初步检测结果中存在的噪声，从而识别出真正的路面裂缝；

DBSCAN首先考察裂缝候选点集合里的某个核心点，在核心点的Eps邻域中的所有点与该核心点属于同一个簇，这些点将作为下一轮考察的对象；不断考察种子点的Eps邻域并拓展他们所在的簇，直至算法寻找到一个完整的裂缝簇；依此方法寻找到其它裂缝簇；没有被划分到任一裂缝簇的裂缝候选点即为噪声点；DBSCAN算法利用裂缝候选点的密度差异识别出裂缝点并自动过滤掉噪声点；

查询各个裂缝簇的8个方向的极值点的坐标，从而计算出各个簇最短距离和最长距离的比例，利用路面裂缝具有线性特征的特点，将最短距离和最长距离之比大于指定阈值的簇判定为噪声，从而筛选出真正的裂缝。

Images