CN110084844A - 一种基于深度相机的机场道面裂缝检测方法 - Google Patents

Abstract

一种基于深度相机的机场道面裂缝检测方法。其包括利用深度相机采集机场道面的深度图像，然后划分成多个网格；对网格进行扩充；对扩充后的网格进行道面曲面模型的构建；连接各网格的道面曲面模型获得深度图像中道面的整体曲面模型；计算深度图像与整体曲面模型之间的差值以获得候选裂缝像素点；对候选裂缝像素点进行筛选而获得真实裂缝区域等步骤。本发明方法优点：应用于机场道面裂缝检测，通过高性能自动化的机场道面检测方法来代替人工操作，可提高检测精度和工作效率，进而提高了机场道面的安全性能。不受光照变化影响，对环境噪声的鲁棒性也更强。对道面结构的建模更加准确，因而使基于道面模型重建的裂缝检测准确性更高。

Description

一种基于深度相机的机场道面裂缝检测方法

技术领域

本发明属于无损检测技术领域，特别是涉及一种基于深度相机的机场道面裂缝检测方法。

背景技术

机场跑道是飞机飞行最重要的基础设施，由于航班频次的增加和自然环境的破坏，许多机场跑道道面出现了不同程度的破损现象，造成重大安全隐患，而裂缝是机场跑道道面的主要缺陷。因此，机场跑道的裂缝检测技术日益受到重视。

目前，机场跑道裂缝检测工作主要依靠人工观察并手动记录的人工巡检方式。然而，人工巡检存在精度差、易漏检、主观性强、效率低等诸多问题，亟待开发高性能自动化的机场跑道缺陷检测方法来代替人工操作，提高工作效率与安全性能。随着视觉传感器技术和模式识别等相关技术的迅速发展，一些学者开始关注基于计算机视觉的裂缝检测技术。针对与之有一定相似性的公路及桥梁道面裂缝检测，目前相关研究大多是基于可见光传感器的，并已经取得了一些成果，而复杂环境中的鲁棒性问题是现有研究面临的最大难点。基于可见光相机的道面裂缝检测方法可分为四类：基于灰度阈值的方法、基于边缘检测的方法、机器学习的方法以及形态学方法。基于灰度阈值的方法对噪声敏感，特别是当光照条件较差时裂缝检测效果非常不可靠。基于边缘检测的方法的主要缺点是由于未考虑裂缝的连通性，边缘检测只能提取不连续的裂缝特征，而且该方法在低对比度和强噪声干扰的场景中常常失败。机器学习的方法无法保证提取整个图像的全局裂缝信息，此外，学习过程需要大量的准确标记过的样本，而这一要求在光照和场景变化明显的应用中难以实现。基于形态学的裂缝检测效果受参数选择的影响非常大，在实际应用中存在困难。已有的绝大多数研究，如上面所提及的工作，均是针对公路或桥梁开展的。虽然也有文献称其公路道面裂缝检测方法也可用于机场跑道，但却未见到实际的实验验证。与公路及桥梁路面相比，机场跑道由于飞机频繁起降等原因产生了明显的油污、橡胶残留痕迹等，且因跑道材质原因致使裂缝与背景间对比度很低，加之只能在夜间在人造光源条件下进行道面检测，而且裂缝特征通常比较细小，这些因素均使得机场跑道道面裂缝视觉检测非常困难。近年来，开始有人用深度传感器检测道面缺陷，但主要针对公路上的坑洞检测，且常常将道面模型近似看作平面，导致检测效果不够理想。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于深度相机的机场道面裂缝检测方法。

为了达到上述目的，本发明提供的基于深度相机的机场道面裂缝检测方法包括按顺序进行的下列步骤：

步骤1)利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成多个网格；

步骤2)对上述每一个网格进行扩充；

步骤3)对扩充后的网格进行道面曲面模型的构建；

步骤4)连接上述各网格的道面曲面模型以获得深度图像中道面的整体曲面模型；

步骤5)计算上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型之间的差值以获得候选裂缝像素点；

步骤6)对上述候选裂缝像素点进行筛选而获得真实裂缝区域。

在步骤1)中，所述的利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成多个网格的方法是：

首先利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成大小均为k*k个像素点的n个网格Y_i，将网格区域定义为Y_i,i＝1,2,…,n。

在步骤2)中，所述的对上述每一个网格进行扩充的方法是：

将每一个网格的尺寸分别向四周增加k/2个像素点范围，使每一个扩充后的网格的大小为2k*2k个像素点，将扩充后的网格区域定义为i＝1,2,…,n。

在步骤3)中，所述的对扩充后的网格进行道面曲面模型的构建的方法是：

对于扩充后的网格区域i＝1,2,…,n，定义P(x,y,z)为位于扩充后的网格的道面曲面上的点坐标，其中x是深度图像中像素点的横坐标，y是深度图像中像素点的纵坐标，z是道面曲面模型在坐标(x,y)处的深度值；

以三次曲面方程对机场道面曲面建立道面曲面模型，

令A＝[a₀,a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈,a₉]^T，H＝[1,x,y,x²,xy,y²,x³,x²y,xy²,y³]，则：

z＝H·A

其中A是待求解的道面曲面模型参数向量，H是由扩充后的网格Y_i ^*中像素点的横纵坐标组成的自变量向量；本发明采用RANSAC算法框架和最小二乘法来估计道面曲面模型，具体方法为：在RANSAC算法框架下，每次随机选择9个像素点来估计道面曲面模型，令Z_c＝[z₁,z₂,z₃,...,z_c]^T表示c个像素点的深度值向量，令表示由c个像素点的坐标组成的自变量矩阵；则关于未知道面曲面模型参数向量的线性方程组为：

Z_c＝X_c·A

然后采用最小二乘法上述求解线性方程组即可得到该道面曲面模型参数向量：

之后利用道面曲面模型参数向量求得扩充后的网格内所有坐标的深度值：

其中表示由扩充后的网格内所有像素点的坐标组成的自变量矩阵；令Z₀表示原始深度值，则可计算出道面曲面模型与原始深度值之间的最短距离：

如果某一个像素点到道面曲面的距离小于距离阈值T_i，则将该像素点判定为内点，反之则为外点；最后，选择获得内点数目最多的道面曲面模型作为真实模型，并利用该由这些内点构成的内点集使用最小二乘法重新优化估计扩充后的网格的道面曲面模型参数向量

在步骤4)中，所述的连接上述各网格的道面曲面模型以获得深度图像中道面的整体曲面模型的方法是：

取出步骤3)中获得的扩充后的网格的道面曲面拟合模型中的原网格，作为原网格的道面曲面模型；按照原网格的位置，将各自的道面曲面模型拼接在一起，形成深度图像中道面的整体曲面模型，具体方法为：重复步骤3)直到扩充后的网格区域i＝1,2,…,n全部计算完毕，得到每个网格的道面曲面模型i＝1,2,...,n，根据每个网格的道面曲面模型和深度图像像素点坐标组成自变量向量:

其中i表示第i个网格，j表示第i个网格中的第j个像素点，计算出深度图像中每个坐标的道面曲面的深度值：

在步骤5)中，所述的计算上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型之间的差值以获得候选裂缝像素点的方法是：

将上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型按像素点对应位置做差并取绝对值，令d(x,y)为像素点(x,y)处上述差值的绝对值；如果绝对值d(x,y)大于某一设定的阈值T_d，则认为像素点(x,y)为候选裂缝像素点，否则，该像素点为非裂缝像素。

在步骤6)中，所述的对上述候选裂缝像素点进行筛选而获得真实裂缝区域的方法是：

根据连通性将得到的候选裂缝像素点分为若干个连通区域，通过计算每个连通区域的面积、长度以及长宽比来筛选出真实的裂缝区域，具体方法为：首先提取每个连通区域的骨架，将骨架像素点的个数定义为连通区域的长度，记为l，然后计算骨架上每个像素点沿其法线方向到所在连通区域边缘的距离，将所有距离的平均值作为该连通区域的宽度，记为w；将连通区域的像素点总数记为m；如果同时满足以下条件：m>T_m且l>T_l且则标记该连通区域为真实裂缝区域，否则标记该连通区域为非裂缝区域并删除，其中T_m、T_l和T_r为设定的阈值。

在步骤5)中，所述的阈值T_d表示可检测的裂缝最小深度，根据机场道面的检测要求，该值设为5毫米。

在步骤7)中，所述的阈值T_m为经验值，取值范围为30～60；阈值T_l为经验值，取值范围为20～30；阈值T_r为经验值，取值范围为不小于7。

与现有技术相比，本发明提供的基于深度相机的机场道面裂缝检测方法具有以下优点：①本发明方法应用于机场道面裂缝检测，通过高性能自动化的机场道面检测方法来代替人工操作，可提高检测精度和工作效率，进而提高了机场道面的安全性能。②本发明不受光照变化影响，对环境噪声的鲁棒性也更强。③本发明方法对道面结构的建模更加准确，因而使基于道面模型重建的裂缝检测准确性更高。

附图说明

图1本发明提供的基于深度相机的机场道面裂缝检测方法的流程图；

图2是本发明主要步骤示意图；

图3是机场道面裂缝检测结果。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于深度相机的机场道面裂缝检测方法进行详细说明。

深度相机通过对目标场景发射连续的近红外脉冲，然后用传感器接收由物体反射回的光脉冲。通过比较发射光脉冲与经过物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到物体相对于发射器的距离，最终得到一幅深度图像。深度图像中每个像素点的灰度值可用于表征目标场景中某一点距离深度相机的远近。机场道面上的裂缝区域在深度图像中表现为灰度值大于机场道面灰度值。然而，为了增大摩擦性，机场跑道在设计中会增加跑道表面的粗糙度，致使采集的深度图像中部分机场道面区域灰度值与裂缝区域深灰度值近似甚至更低，导致难以从深度图像中直接提取裂缝。本发明方法解决的问题是使用深度相机的机场道面裂缝检测问题。

如图1所示，本发明提供的基于深度相机的机场道面裂缝检测方法包括按顺序进行的下列步骤：

步骤1)利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成多个网格；

首先利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成大小均为k*k个像素点的n个网格Y_i，如图2(a)所示。如果k的取值过大，会导致网格内部的深度图像灰度值模型一致性变差，不利于后续的曲面拟合以及裂缝检测；如果k的取值过小，可能会引起裂缝像素点占据了大部分网格区域，因此无法进行后续的道面曲面拟合。根据多次实验测试，本发明实验中取k＝100。将网格区域定义为Y_i,i＝1,2,…,n。

步骤2)对上述每一个网格进行扩充；

由于网格之间相互独立，因此每个网格建立的道面曲面模型之间没有联系，导致相邻网格的道面曲面模型在边缘位置不连续，精度降低，因此需要对每一个网格进行扩充，以加强相邻网格之间的联系，提高道面曲面模型在网格边缘区域的精度。对上述每一个网格进行扩充的具体方法是：将每一个网格的尺寸分别向四周增加k/2个像素点范围，使每一个扩充后的网格的大小为2k*2k个像素点，如图2(b)所示。扩充后的网格区域定义为i＝1,2,…,n。

步骤3)对扩充后的网格进行道面曲面模型的构建；

对于扩充后的网格区域i＝1,2,…,n，定义P(x,y,z)为位于扩充后的网格的道面曲面上的点坐标，其中x是深度图像中像素点的横坐标，y是深度图像中像素点的纵坐标，z是道面曲面模型在坐标(x,y)处的深度值。

如图2(c)所示，以三次曲面方程对机场道面曲面建立道面曲面模型，

令A＝[a₀,a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈,a₉]^T，H＝[1,x,y,x²,xy,y²,x³,x²y,xy²,y³]，则：

z＝H·A

其中A是待求解的道面曲面模型参数向量，H是由扩充后的网格中像素点的横纵坐标组成的自变量向量。由于扩充后的网格中不仅仅包含道面坐标，还可能含有裂缝区域的坐标，因此，本发明采用RANSAC算法框架和最小二乘法来估计道面曲面模型，具体方法为：在RANSAC算法框架下，每次随机选择9个像素点来估计道面曲面模型，令Z_c＝[z₁,z₂,z₃,...,z_c]^T表示c个像素点的深度值向量，令表示由c个像素点的坐标组成的自变量矩阵。则关于未知道面曲面模型参数向量的线性方程组为：

Z_c＝X_c·A

然后采用最小二乘法上述求解线性方程组即可得到该道面曲面模型参数向量：

然后利用道面曲面模型参数向量求得扩充后的网格内所有坐标的深度值：

其中表示由扩充后的网格内所有像素点的坐标组成的自变量矩阵。令Z₀表示原始深度值，则可计算出道面曲面模型与原始深度值之间的最短距离：

如果某一个像素点到道面曲面的距离小于距离阈值T_i，则将该像素点判定为内点，反之则为外点；最后，选择获得内点数目最多的道面曲面模型作为真实模型，并利用该由这些内点构成的内点集使用最小二乘法重新优化估计扩充后的网格的道面曲面模型参数向量距离阈值T_i的选取需综合考虑裂缝实际深度以及道面设计的粗糙纹理的深度差异，此处取值为5毫米。

步骤4)连接上述各网格的道面曲面模型以获得深度图像中道面的整体曲面模型；

取出步骤3)中获得的扩充后的网格的道面曲面拟合模型中的原网格，作为原网格的道面曲面模型；按照原网格的位置，将各自的道面曲面模型拼接在一起，形成深度图像中道面的整体曲面模型，如图2(d)所示。具体方法为：重复步骤3)直到扩充后的网格区域i＝1,2,…,n全部计算完毕，得到每个网格的道面曲面模型i＝1,2,...,n，根据每个网格的道面曲面模型和深度图像像素点坐标组成自变量向量:

其中i表示第i个网格，j表示第i个网格中的第j个像素点，计算出深度图像中每个坐标的道面曲面的深度值：

步骤5)计算上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型之间的差值以获得候选裂缝像素点；

由于实际数据中道面区域点到道面曲面模型的距离与裂缝区域点到道面曲面模型的距离间具有显著的差距，所以将上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型按像素点对应位置做差并取绝对值，令d(x,y)为像素点(x,y)处上述差值的绝对值。如果绝对值d(x,y)大于某一设定的阈值T_d，则认为像素点(x,y)为候选裂缝像素点，否则，该像素点为非裂缝像素。阈值T_d表示可检测的裂缝最小深度，根据机场道面的检测要求，该值设为5毫米。如图2(e)所示。

步骤6)对上述候选裂缝像素点进行筛选而获得真实裂缝区域；

根据连通性将得到的候选裂缝像素点分为若干个连通区域，通过计算每个连通区域的面积、长度以及长宽比来筛选出真实的裂缝区域，如图2(f)所示。具体方法为：首先提取每个连通区域的骨架，将骨架像素点的个数定义为连通区域的长度，记为l，然后计算骨架上每个像素点沿其法线方向到所在连通区域边缘的距离，将所有距离的平均值作为该连通区域的宽度，记为w；将连通区域的像素点总数记为m。如果同时满足以下条件：m>T_m且l>T_l且则标记该连通区域为真实裂缝区域，否则标记该连通区域为非裂缝区域并删除，其中T_m、T_l和T_r为设定的阈值。阈值T_m为经验值，取值范围为30～60；阈值T_l为经验值，取值范围为20～30；阈值T_r为经验值，取值范围为不小于7。

本发明提供的基于深度相机的机场道面裂缝检测方法的效果可以通过以下实验结果进一步说明。本发明人共采集了42张机场道面的深度图像而对本发明方法进行验证，实验结果如图3所示，其中同一行的左侧图像为机场道面的深度图像，右侧图像为裂缝区域提取结果。

Claims (9)

1.一种基于深度相机的机场道面裂缝检测方法，其特征在于：所述的基于深度相机的机场道面裂缝检测方法包括按顺序进行的下列步骤：

步骤1)利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成多个网格；

步骤2)对上述每一个网格进行扩充；

步骤3)对扩充后的网格进行道面曲面模型的构建；

步骤4)连接上述各网格的道面曲面模型以获得深度图像中道面的整体曲面模型；

步骤5)计算上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型之间的差值以获得候选裂缝像素点；

步骤6)对上述候选裂缝像素点进行筛选而获得真实裂缝区域。

2.根据权利要求1所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤1)中，所述的利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成多个网格的方法是：

首先利用深度相机采集机场道面的深度图像，然后将采集到的深度图像划分成大小均为k*k个像素点的n个网格Y_i，将网格区域定义为Y_i，i＝1，2，...，n。

3.根据权利要求1所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤2)中，所述的对上述每一个网格进行扩充的方法是：

将每一个网格的尺寸分别向四周增加k/2个像素点范围，使每一个扩充后的网格Y_i ^*的大小为2k*2k个像素点，将扩充后的网格区域定义为Y_i ^*，i＝1，2，...，n。

4.根据权利要求2所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤3)中，所述的对扩充后的网格进行道面曲面模型的构建的方法是：

对于扩充后的网格区域Y_i ^*，i＝1，2，...，n，定义P(x，y，z)为位于扩充后的网格Y_i ^*的道面曲面上的点坐标，其中x是深度图像中像素点的横坐标，y是深度图像中像素点的纵坐标，z是道面曲面模型在坐标(x，y)处的深度值；

以三次曲面方程对机场道面曲面建立道面曲面模型，

令A＝[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈，a₉]^T，H＝[1，x，y，x²，xy，y²，x³，x²y，xy²，y³]，则：

z＝H·A

其中A是待求解的道面曲面模型参数向量，H是由扩充后的网格Y_i ^*中像素点的横纵坐标组成的自变量向量；本发明采用RANSAC算法框架和最小二乘法来估计道面曲面模型，具体方法为：在RANSAC算法框架下，每次随机选择9个像素点来估计道面曲面模型，令Z_c＝[z₁，z₂，z₃，...，z_c]^T表示c个像素点的深度值向量，令表示由c个像素点的坐标组成的自变量矩阵；则关于未知道面曲面模型参数向量的线性方程组为：

Z_c＝X_c·A

然后采用最小二乘法上述求解线性方程组即可得到该道面曲面模型参数向量：

之后利用道面曲面模型参数向量求得扩充后的网格Y_i ^*内所有坐标的深度值：

其中表示由扩充后的网格Y_i ^*内所有像素点的坐标组成的自变量矩阵；令Z₀表示原始深度值，则可计算出道面曲面模型与原始深度值之间的最短距离：

如果某一个像素点到道面曲面的距离小于距离阈值T_i，则将该像素点判定为内点，反之则为外点；最后，选择获得内点数目最多的道面曲面模型作为真实模型，并利用该由这些内点构成的内点集使用最小二乘法重新优化估计扩充后的网格Y_i ^*的道面曲面模型参数向量

5.根据权利要求2所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤4)中，所述的连接上述各网格的道面曲面模型以获得深度图像中道面的整体曲面模型的方法是：

取出步骤3)中获得的扩充后的网格的道面曲面拟合模型中的原网格，作为原网格的道面曲面模型；按照原网格的位置，将各自的道面曲面模型拼接在一起，形成深度图像中道面的整体曲面模型，具体方法为：重复步骤3)直到扩充后的网格区域Y_i ^*，i＝1，2，...，n全部计算完毕，得到每个网格的道面曲面模型根据每个网格的道面曲面模型和深度图像像素点坐标组成自变量向量：

其中i表示第i个网格，j表示第i个网格中的第j个像素点，计算出深度图像中每个坐标的道面曲面的深度值：

6.根据权利要求2所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤5)中，所述的计算上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型之间的差值以获得候选裂缝像素点的方法是：

将上述步骤1)获得的深度图像与步骤4)获得的整体曲面模型按像素点对应位置做差并取绝对值，令d(x，y)为像素点(x，y)处上述差值的绝对值；如果绝对值d(x，y)大于某一设定的阈值T_d，则认为像素点(x，y)为候选裂缝像素点，否则，该像素点为非裂缝像素。

7.根据权利要求2所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤6)中，所述的对上述候选裂缝像素点进行筛选而获得真实裂缝区域的方法是：

根据连通性将得到的候选裂缝像素点分为若干个连通区域，通过计算每个连通区域的面积、长度以及长宽比来筛选出真实的裂缝区域，具体方法为：首先提取每个连通区域的骨架，将骨架像素点的个数定义为连通区域的长度，记为l，然后计算骨架上每个像素点沿其法线方向到所在连通区域边缘的距离，将所有距离的平均值作为该连通区域的宽度，记为w；将连通区域的像素点总数记为m；如果同时满足以下条件：m＞T_m且l＞T_l且则标记该连通区域为真实裂缝区域，否则标记该连通区域为非裂缝区域并删除，其中T_m、T_l和T_r为设定的阈值。

8.根据权利要求6所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤5)中，所述的阈值T_d表示可检测的裂缝最小深度，根据机场道面的检测要求，该值设为5毫米。

9.根据权利要求7所述的基于深度相机的机场道面裂缝检测方法，其特征在于：在步骤7)中，所述的阈值T_m为经验值，取值范围为30～60；阈值T_l为经验值，取值范围为20～30；阈值T_r为经验值，取值范围为不小于7。