CN115482195B - 一种基于三维点云的列车部件变形检测方法 - Google Patents

Abstract

本发明公开了一种基于三维点云的列车部件变形检测方法，首先小车导航到指定检修位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云。结合PP‑PicoDet检测模型定位箱体位置，将二维图像中的目标区域映射到点云中，基于MLESAC的区域方法分割获取箱体表面点云。再采用SAC‑IA和NonLinearICP算法完成模板点云和目标点云的配准；最后通过两点云的匹配点数及其RMSE指标完成箱体变形故障判断。本发明结合二维图像和三维点云的特性以及特点，借助两种数据的处理算法的适应场景，实现地铁车底复杂环境下的多种箱体的定位、分割、配准和变形检测功能。通过计算在同一参考系下目标点云和模板点云的匹配点数和RMSE可以实现变形检测，以及在三维点云空间和图像像素空间中的定位。

Description

一种基于三维点云的列车部件变形检测方法

技术领域

本发明涉及列车部件变形故障检测技术领域，具体涉及一种基于三维点云的列车部件变形检测方法。

背景技术

随着物联网、信息技术、5G技术、人工智能和大数据技术在城市轨道交通行业的应用，极大提高了我国城市轨道交通的智能化水平。“智慧地铁”的身影在进出站随处可见，乘客可以轻松享受“数字交通”。然而，在乘客无法感知的另一面，地铁巡检的方式还是以人工作业为主，即检修工人到地铁停运点通过眼睛来检查，由于地铁列车底部结构复杂，检测部件数目和种类繁多，工人检修易受外部环境和心理因素的影响，导致列车检修速度慢，漏检率较高、检修准确度不高以及检修成本高，最终影响列车的运营安全。因此，很有必要通过结合当下的前沿技术，如计算机视觉、人工智能和异常检测开展列车智能化检修。

目前基于机器视觉的大量应用在民生和工业领域落地，在民生领域有交通违规拍摄、重点区域刷脸门禁、医学辅助诊断以及电影特效制作等项目，为人民安居乐业提供安全保障以及人们便利、丰富的生活方式。在工业领域，机器视觉可以说是工业自动化系统的灵魂之窗，从物件/条码辨识、产品检测、外观尺寸量测到机械手臂/传动设备定位，都是机器视觉技术可以发挥的舞台。而机器视觉对于轨道交通的故障检测，现在也被提上日程，成为了研究的热点。而基于机器视觉的故障检测处于发展阶段，大部分的故障检测算法都是基于2D图像进行检测的，这类检测方法对硬件的要求较低，算法扩展性强，能够针对大部分部件完成检测，并且图像采集简单快速，易于传输与处理。但是2D图像无法获取待检测部件的空间信息，容易受到环境光照、表面污渍影响。在地铁列车中，部分部件的异常难以单纯使用2D信息进行判定，需要根据空间信息才能够完成判断，比如消耗型部件的磨损量，部件尺寸的检测等。因此，基于3D的异常检测也成为目前研究的一个热点。

目前投入使用的地铁外观检测系统大多数是在检修点的固定线扫相机采集地铁列车部件图像，当列车通过检修点与相机发生相对位移，利用线扫描成像原理逐像素线采集图像。这种方式的采集系统只能拍到列车底部的表面部件，一些侧面和遮挡的部件无法捕获到，此外也不能进行许多精细化测量任务，因此这种方式的地铁外观检测系统不能完全替代人工检测，只能在一定程度减少了检修人员的工作量。地铁列车底部有大量箱体需要检修，如辅助制动箱、PA箱(PA箱就是整合辅助逆变器(DC/AC)的牵引箱，装在C车，箱内一半是辅逆，一半是VVVF牵引逆变器。)、PH箱(PH箱就是整合高压器的牵引箱，装在B车，箱内一半是HSCB高速开关及高压传感器,一半是VVVF牵引逆变器。)、AB箱等，通常这些箱体内部装有各种精密设备，箱体的异常变形很可能会导致内部设备的损坏，这将会对列车运行安全产生巨大的危害。

物体表面变形测量的方法还是以网格法和数字散斑相关法为主。网格法在使用时须在物体表面预制规定的网格，绘制网格的质量要求较高，且其测量变形精度有限，因此网格法的应用在一定程度上受到了限制。数字散斑相关法是一种匹配物体表面随机分布的散斑场的特征来直接计算全场变形信息的光测方法，变形位移数据的稠密程度可以根据需要在计算过程中方便的设置，但是该方法对变形体表面的灰度特征有一定要求，且计算过程复杂，计算量大。目前基于机器视觉的变形检测方法目前还没有在地铁列车底部箱体变形检测方面应用，对于列车底部箱体变形检测的方案还是以人工巡检方式为主。究其原因，大概有以下三点：一是物体表面检测技术需要对待测部件进行预制网格或需要在表面生成散斑场，而实际的列车待测部件不允许这些操作；二是列车底部环境因素，待测部件易受到光照变化和污渍遮挡等影响，这会直接改变采集到的图像特征；三是列车底部待测部件的负样本很难获得，目前采集得到的数据中，箱体变形的样本(负样本)非常少。而三维点云可以直接得到待测部件的空间分布信息，对于变形测量这种有明显空间分布改变的检测问题来说无疑非常合适的。但是当前在机器视觉应用研究中很少使用三维点云，其原因为：一是对于三维点云处理算法相比二维图像来说不够成熟，大量的机器视觉算法不适合或很难对三维点云进行分析；二是高精度的三维点云捕获设备成本昂贵，通常来说3D相机比起线扫相机昂贵许多；三是对点云的处理的计算量大，依赖高性能计算机器，点云数据一般包括点的空间坐标、颜色分量甚至法向量，庞大的数据量造成数据处理过程中的海量计算。

从上诉背景中可以清晰地得到利用2D+3D视觉进行地铁列车底部箱体变形检测必须要解决的四个关键点是：(1)算法模型必须能够有效抑制环境因素的干扰，如光照变化、污渍等，具有强鲁棒性。(2)算法模型需要在少样本情况下，依然可以进行变形检测。(2)算法模型需要发挥三维点云特点，完成精细化检测。(3)算法模型必须具备高精度、高稳定性以及泛化性的特点，能够检测不同车次车厢的待测部件，这样才能替代人工检修的方式，并且保证列车运行安全。(4)高效率，列车检修的时间只能是运营空期，在这个空期内需要完成对整个列车的检查与维修，因此需检测效率有极高要求，需要算法模型在短时间内准确完成项点的检测，亟需一种能解决上述问题的新的列车部件变形检测方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于三维点云的列车部件变形检测方法，实现在整个地铁车底复杂的环境下稳定实现箱体的定位、分割、配准和变形检测功能，通过计算客观的真实数据来判断箱体是否变形，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于三维点云的列车部件变形检测方法，所述检测方法包括如下步骤：

S1、数据采集：列车巡检小车自动定位到指定位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云；

S2、采用PP-PicoDet检测模型结合二维图像与三维点云映射关系，定位三维点云空间中的箱体点云；

S3、基于深度信息和MLESAC(最大似然估计算法的随机抽样一致性)区域分割算法分割箱体点云获取箱体平面的目标点云P_o；

S4、基于SAC-IA(采样一致性初始配准算法)和NonLinearICP(迭代最近点)算法将获得的箱体的目标点云P_o和数据库中预先保存的模板点云P_t进行配准；

S5、箱体变形判断；

S6、箱体变形定位。

优选的，所述步骤S2具体包括如下步骤：

S21：加载已经训练好的PP-PicoDet目标检测模型，在二维图像中对箱体进行目标检测，获得箱体边界框的二维坐标；

S22：将检测到的二维坐标映射到三维点云中，获取箱体目标点云P_o。

优选的，所述所述步骤S3具体包括如下步骤：

S31：利用点云深度信息过滤掉除箱体之外的大量环境点云。

S32：采用基于法线的点云双边滤波方法来对点云数据预处理，进一步去除环境点云。

S33：使用MLESAC算法检测点云集合中的全局最优平面模型，同时进一步剔除环境点云等外点，输出符合所求平面模型的内点。

优选的，所述步骤S4具体包括如下步骤：

S41：设置三维体素栅格尺寸Δl，完成对模板点云P_t下采样，减少检测过程的计算量。

S42：利用SAC-IA算法对目标点云和模板点云的粗配准，得到初始旋转矩阵和平移向量。

S43：输入初始旋转矩阵以及平移向量，采用NonLinearICP算法对两点云进行精配准，获取最终的旋转矩阵和平移向量，以及两点云之间的匹配点对数N_p，其中将目标点云经过空间变换得到的点云记为配准点云P_r。

优选的，所述步骤S5具体包括如下步骤：

S51：获取得到的目标点云P_o和模板点云P_t的匹配点对数N_p，以及根据目标点P_o云的数量设定匹配点对数阈值T_match，T_match＝N/λ，N是目标点云P_o中点的个数，λ是一个实现程序设定的比例常数；

S52：计算箱体模板点云与目标点云匹配点之间的均方根RMSE，通过T_match和RMSE两个评价参数完成箱体变形的逻辑判断，当匹配点数N_p小于阈值T_match表示箱体相似程度低，箱体发生形变；当匹配点数N_p大于阈值T_match时，会使用RMSE参数进行进一步的判断，将RMSE与历史数据和标准数据记录的变形阈值T_R作比较，判断箱体变形状态；RMSE高于阈值T_R时表示两点云相似程度低，箱体发生变形，低于阈值T_R时表示两点云相似程度高，箱体表面正常；

其中，N_p为目标点云和模板点云的匹配点对数。

优选的，所述步骤S6具体包括如下步骤：

S61：根据前一步的变形判断决定是否定位，如果发生变形，则进行步骤S62，否则结束当前检测任务；

S62：对保存的模板点云P_o和配准点云Pr进行差分处理，获取到包含变形点云的差分点云P_d；

S63：采用alpha shape算法和提取配准点云P_r的边界点云，设定alpha shape算法参数滚动半径r＝2·Δl，检测出完整的边界点云P_b；

S64：计算边界点云P_b的质心p_bc，构建p_bc到边界点云的任意点p_bk和p_bc距p_bk最邻近的差分点云p_dk的两个矢量

和/>

其中，

分别表示对应点的x，y，z坐标；

判断差分点云内的点是否都在边界点云中，根据矢量

和/>

的大小为条件，判断关系如下：

滤除界外点，得到变形点云。

优选的，所述步骤S64中得到变形点云后计算变形点云的质心，得到变形点云的三维位置Pd_{e_c}，计算公式如下：

其中，P_de表示变形点云，n表示差分点云P_de中点的个数，x_i，y_i，z_i分别表示变形点云P_de的x，y，z坐标；

根据二维图像与三维点云映射关系，从三维空间位置得到图像的二维坐标位置，完成箱体变形定位，具体如下式所示：

其中，p(u，v)表示图像像素坐标系中横坐标为u纵坐标为v的像素点，f为相机的焦距为已知值，dx和dy表示每一个像素的实际宽度和长度，而P(x_c，y_c，z_c)表示相机坐标系中的坐标为x_c，y_c，z_c的三维空间点。

本发明的有益效果是：

1)本发明采用PP-PicoDet轻量化模型实现列车车底底部的箱体定位，解决了在易受到亮度变化和污渍遮挡的车底环境下定位箱体的问题。此外，由于获取的数据包含了二维图像与三维点云数据，可以利用现有的三维点云数据对二维图像目标定位算法进行数据增强，解决了训练过程中的少样本问题；

2)本发明设计一种基于二维图像目标定位三维空间中目标的方法，通过在二维图像中目标定位获取目标的二维边界框坐标，利用点在图像像素坐标系和相机坐标系的投影关系，然后将二维边界框映射到三维空间中，筛选出目标的三维点云，再利用深度信息二次过滤点云，从而有效过滤大量无关点云南，加速算法处理速度。利用基于深度学习的目标定位可以有效提高算法模型的鲁棒性，减少因拍摄角度、环境亮度、污渍影响带来的目标定位不准问题；

3)本发明设计了一种结合了基于法线的点云双边滤波和MLESAC的区域分割算法，解决了在复杂环境下点云分割的难题，并得到不错的分割效果。基于法线的点云双边滤波结合点云的空间坐标和法线来进行消噪。MLESAC算法是对RANSAC(随机抽样一致)的改进，解决了RANSAC算法的不确定性和误差函数的阈值选择问题。MLESAC检测点云中的平面和剔除噪声以及外点，使得算法具有很高的鲁棒性；

4)本发明提出了一种目标点云和模板点云配准方法，通过使用SAC-IA的粗配准和NonLinearICP精配准方法，将目标点云变换到模板点云的空间参考系，进一步计算目标点云与模板点云的匹配点数和RMSE，判断箱体是否变形。针对每一种箱体建立历史数据和标准数据的数据库，使得检测结果更加可靠；

5)本发明设计了一种结合点云差分和alpha shape的点云的分割方法。首先对模板点云与配准点云进行差分计算获取差分点云，同时运用alpha shape平面点云边界提取算法获取配准点云的点云边界，最后利用点云边界来提取变形点云，最后可以获得边界点云的三维空间坐标和图像像素坐标。通过获取变形点云位置，实现了变形的定位问题，完善了箱体变形检测的整体处理流程。

附图说明

图1为本发明方法的流程示意图；

图2为二维边界框映射到三维空间筛选三维点云示意图；

图3为提取边界点云算法示意图；

图4为筛选变形点云及点云定位示意图；

图5为不同类型箱体形变测量结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图5，本发明提供一种技术方案：一种基于三维点云的列车部件变形检测方法，流程如图1所示，包括如下步骤：

步骤1：采集检修地铁列车箱体部件2D和3D数据

智能巡检机器人自主定位到地铁列车指定位置，通过机器人上机械臂携带的三维工业相机进行箱体部件的数据采集，由于平行于地面的箱体下表面经常最可能受到外部作用发生形变，且相机更容易拍摄箱体下表面，所以数据采集时，相机镜头平面应平行于箱体下表面拍摄箱体图像和三维点云，之后将数据传送到算法服务器进行实时故障检测。

步骤2：采用PP-PicoDet目标检测模型定位二维图像中箱体的位置

三维工业相机采集得到的点云数量高达100万多个，对点云直接进行分割和配准将会耗费极大的时间和算力。因此首先在二维图像中目标检测，完成箱体在图像中的定位，获得箱体边界框的二维坐标。再利用图像像素坐标系和相机坐标系之间的转换关系，将箱体边界框二维坐标映射到三维点云空间中，如图2所示，获取三维空间中的箱体点云。目标检测采用了基于卷积神经网络的PP-PicoDet模型，PP-PicoDet模型采用anchor-free策略，并采用了Enhanced ShuffleNet作为主干网络和设计一种轻量型Neck和Head结构，可以在不错的检测精度和时延下加强模型的特征提取能力，此网络还对标签分配策略与损失函数进行了改进以促进更稳定、更高效的训练。这位后续三维空间中提取目标点云块提供了保证。

步骤3：基于深度信息和MLESAC的区域分割算法获取箱体平面的目标点云

由于3D相机在同一时刻同一位置捕获了二维图像与三维点云，即意味着拍摄二维图像与三维点云共同使用一个相机坐标系，所以可以将二维图像空间的点映射到三维点云空间的一条线段上(因为点云数量有限，点云深度有限)。所以已知图像像素坐标系的点p(u，v)，则可以得到相机坐标系中的点坐标P(x_c，y_c，z_c)，两个坐标转换关系为：

其中，z_c为三维点云的深度，dx，dy分别是一个像素的物理宽度和物理高度，该参数直接可以获取，而f为相机的焦距为已知值。所以通过将边界框的坐标boudingbox＝(u_min，v_min，u_max，v_max)映射到三维点云空间中，获取三维空间中由x，y坐标限制的目标点云，由于待测目标点云块的深度在设定范围内，所以根据深度进一步筛选得到精确的目标点云块。

首先，利用点云深度信息过滤掉除箱体之外的大量环境点云，再采用基于法线的点云双边滤波方法来对点云数据预处理，进一步去除环境点云。解决了在复杂环境下点云分割的难题，并得到不错的分割效果。基于法线的点云双边滤波结合点云的空间坐标和法线来进行消噪。

MLESAC算法是对随机抽样一致(RANdom SAmple Consensus，RANSAC)算法的改进，解决了RANSAC算法的不确定性和误差函数的阈值选择问题。MLESAC算法可以对一组包含正常值和异常值的数据，一般称正常值为内点，异常值为外点，通过迭代计算的方式最后计算出全局的最优数学平面模型。通过获得的最优模型来分割箱体平面和环境点云，同时进一步剔除环境点云等外点，输出符合所求平面模型的内点，从而得到箱体平面的目标点云P_o。MLESAC检测点云中的平面和剔除噪声以及外点，使得算法具有很高的鲁棒性。

步骤4：利用SAC-IA(采样一致性初始配准算法)和NonLinearICP(迭代最近点)算法将获得的箱体的目标点云P_o和数据库中预先保存的模板点云P_t进行配准

判断箱体是否变形的问题可以通过计算目标点云和模板点云的相似度来进行判断，所以首要问题就是将目标点云和模板点云放置在同一参考系下。经过前面步骤得到的点云尺寸仍然很大，所以进行构造三维体素栅格Δl对目标点云P_t进行降采样(下采样)，其中三维体素栅格的尺寸为0.5mm。为了点云配准的精确性以及模板点云自身的完整性，模板点云的点云分辨率要求比目标点云要高，降采样的三维体素栅格的尺寸为0.2mm。

因为所采用的UR5e协作式机械臂重复定位精度为+0.03mm，该精度下可以忽略机械臂重复定位带来的误差，因而在进行坐标系换算时可以忽略旋转变换算子，而只用考虑小车定位误差带来的平移误差。

利用SAC-IA对模板点云P_t和目标点云P_o进行粗配准，得到两点云之间的初等的变换矩阵(旋转矩阵)。然后利用NonLinearICP算法来进行精配准，但是在两点云相差较大的情况下，NonLinearICP算法容易陷入局部最优解，从而无法得到较好的匹配效果，所以才采用SAC-IA获得一个初始变换矩阵来解决此问题，最后通过NonLinearICP算法可以获得精度较高的变换矩阵，将目标点云和模板点云放置在同一参考系。

SAC-IA算法对模板点云P_t和目标点云P_o进行粗配准，得到初始的旋转矩阵R₀和平移向量T₀；通过初始变换矩阵和平移向量对目标点云变换得到变换(粗配准)点云P_ro，将P_t和P_ro中的点进行阈值判断，即判断两个点云中的两点

欧式空间距离：

然后距离l_ij与阈值比较，筛选获取P_t和P_ro的对应点

N_p为对应匹配点的对数。

NonLinearICP算法构建目标函数：

通过迭代计算f(R，T)，R，T以及寻找对应点，NonLinearICP算法就可以不断优化R，T，获取最终的旋转矩阵和平移向量，以及两点云之间的匹配点对数N_p，其中将目标点云经过空间变换得到的点云记为配准点云P_r。

步骤5：箱体变形判断

前一步中可以获得点云配准的变换矩阵和匹配点对数N_p，首先利用匹配点数进行第一次变形判断。设置合适的匹配点数的阈值T_match，T_match＝N/λ，N是目标点云中点的个数，λ是一个实现程序设定的比例常数。低于阈值就是T_match表示箱体变形程度严重，高于阈值就是配准过程中匹配得到对应点数量较多，配准过程没有问题。

在匹配点数高于T_match阈值后，进行下一步的判断，计算模板点云和目标点云对应点的RMSE(均方根)，通过T_match和RMSE两个评价参数完成箱体变形的逻辑判断，当匹配点数N_p小于阈值T_match表示箱体相似程度低，箱体发生形变；当匹配点数N_p大于阈值T_match时，会使用RMSE参数进行进一步的判断，用RMSE与历史数据和标准数据记录的变形阈值T_R作比较，RMSE高于阈值T_R时表示两点云相似程度低，箱体发生变形，低于阈值T_R时表示两点云相似程度高，箱体表面正常。

其中，N_p为目标点云和模板点云匹配的对应点数。

步骤6：变形位置定位。

上一步的任务是判断箱体是否发生形变，而不会定位箱体变形位置，所以本步骤通过模板点云P_o和配准点云P_r。首先对前面的两个点云差分处理，获取两个点云的不同的点云区域。

为了使得配准过程中目标点云在模板点云中可以找到对应点，所以要求模板点云是一个箱体平面完整的点云。所以正常情况下，模板点云会包含配准点云，所以在对模板点云和配准点云P_r进行差分运算，便可以得到缺陷点云与冗余点云(模板点云比配准点云多的部分)，统称为差分点云P_d。点云差分运算过程为：对于模板点云中的每一个点云

利用KdTree数据结构来搜寻配准点云最邻近的点/>

如果/>

和/>

的空间距离/>

大于设定阈值，那么该点不是/>

的邻近点，所以/>

就是多余点云或变形点云中的点。

得到的点云包含了冗余点云和变形点云两部分点云，所以要过滤掉冗余点云。本发明借助alpha shape算法提取配准点云Pr的边界进而通过空间关系判断滤除冗余点云。由于涉及到的点云呈平面状，所以利用alpha shape平面点云提取边界方法来进行边界提取。

设定一个滚球半径为r，r＝2·Δl，在点云中随机选取一点p₀，以p₀为中心绘制一个半径2r的圆c，圆c内的剩余点记为p_{2r_cir}；然后在圆内任选一点p₁，求取p₀，p₁所在半径为r的两个圆c₁，c₂，在圆c₁，c₂内除去p₀，p₁的剩余点记为p_{1r_cir}。然后计算两个圆内的点与两个圆心的距离，分别这些点到c₁，c₂的距离向量d₁，d₂。如果下式成立，则可判断p₁为边界点，则开始下一轮循环，即将p₀：＝p₁，重新开始以上算法步骤。

min(d₁)＜r or min(d₂)＜r

否则，在p_{1r_cir}内选取新的p₁，重复上式的运算。

通过alpha shape算法便可以得到配准点云Pr的边界点云，如图3所示，3D相机每次捕获箱体三维点云时都是面对箱体平面拍摄的。所以捕获到的箱体点云的深度(z轴坐标)大致相同，即意味着边界点云P_b和差分点云P_d的深度大致相同，如图4所示，所以利用边界点云的x，y坐标来筛选差分点云，检测出完整的边界点云P_b。

计算边界点云P_b的质心p_bc，依次遍历边界点云p_bk，搜寻p_bk在差分点云P_d中的最邻近的点p_dk，计算矢量

知/>

其中，

分别表示对应点的x，y，z坐标。

判断差分点云内的点是否都在边界点云中，可以根据矢量

和/>

的大小为条件，判断关系如下：

通过过滤差分点云P_d得到了变形点云P_de。计算变形点云的质心来表示变形点云的三维位置，即：

其中，P_de表示变形点云，n表示差分点云P_de中点的个数，x_i，y_i，z_i分别表示变形点云P_de的x，y，z坐标。

借助图像像素坐标系和相机坐标系的转换关系，便可以从三维空间位置得到图像的二维坐标位置，转换关系为：

其中，p(u，v)表示图像像素坐标系中横坐标为u纵坐标为v的像素点，f为相机的焦距为已知值，dx和dy表示每一个像素的实际宽度和长度，而P(x_c，y_c，z_c)表示相机坐标系中的坐标为x_c，y_c，z_c的三维空间点。

至此，箱体变形区域已完成定位。

通过以上步骤便可以对箱体状态完成检测，如果发生形变则发出警报和故障位置点，以待检修人员维修。

本发明针对地铁列车底部箱体是否变形提出了一种新颖完整的检测流程，列车巡检机器人自主导航到检测点，通过机械臂上携带的3D工业相机调整的高度和角度采集待测部件的二维图像与三维点云数据，极大的提高了采集数据的自由度以及获取数据的丰富度，为后续算法实现、测试和调整提供了强大的数据支持。

本发明引入了深度卷积模型，提高了算法模型的泛化性和鲁棒性。PP-PicoDet检测模型可以检测多种车底箱体，包括辅助制动箱、AB箱、PA箱和PH箱等，具有不错的泛化性。PP-PicoDet检测模型在检测目标受到污渍沾染、亮度变化等影响时可以准确检测待测目标。相比传统的模板匹配算法来说，鲁棒性显著提高。此外，PP-PicoDet检测模型采用了anchor-free策略，改进了Head和Neck部分，极大减少了训练和推理时间。经过实际测试，在2080Ti 8G的硬件平台下对一张1944×1200像素图像进行检测，只需要0.02s左右，可以达到实时检测的效果，目标检测的准确率达到97％。

本发明设计的MLESAC分割算法，利用MLESAC算法检测箱体平面，获取点云块中具有一致性的点云。MLESAC可以检测出全局最优的平面模型参数，剔除噪声点和局外点，抑制了相机采集角度带来的影响，提高了平面分割的鲁棒性。

本发明借助点云配准中SAC-IA和NonLinearICP算法实现了目标点云与模板点云放置在同一参考系，对目标点云降采样，获取目标点云的与模板点云的匹配点进行相似度计算。相比常用的物体表面变形检测算法网格法和数字散斑相关法，减去了在物体表面预制网格或生成散斑等步骤，具有快捷性、泛化性。

在三维点云的变形检测过程中，对采集到的大量京港列车底部车底箱体实际数据进行测试。实际测试中要对实际的变形箱体点云进行检测，所有的样本都可以判定正确。为了验证算法的准确性，需要进行下一步的误差计算，但考虑对变形箱体的变形点云数据不能直接获取，所以本文采用逐点云计算变形量的方式，逐个获取变形区域真实的点云坐标，进而利用点云平面模型，得到深度方向(z坐标方向)上的形变量。然后利用提出的变形检测模型来测试实验数据。图5是不同变形箱体变形点云变形量的真实计算平均值和模型测量平均值的示意图，根据实验结果得到提出的变形检测模型计算误差在3.5mm之内，能够满足实际的列车箱体变形检测标准的要求。

快速准确的列车底部箱体变形检测可以及时发现箱体故障和方便后续维修，既保障了地铁列车安全运行，又促进了列车故障诊断技术智能化的发展

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于三维点云的列车部件变形检测方法，其特征在于，所述检测方法包括如下步骤：

S1、数据采集：列车巡检小车自动定位到指定位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云；

S2、采用PP-PicoDet检测模型结合二维图像与三维点云映射关系，定位三维点云空间中的箱体点云；

S3、基于深度信息和MLESAC区域分割算法分割箱体点云得到箱体平面的目标点云P_o；具体包括如下步骤：

S31：利用点云深度信息过滤掉除箱体之外的大量环境点云；

S32：采用基于法线的点云双边滤波方法来对点云数据预处理，进一步去除环境点云；

S33：使用MLESAC算法检测点云集合中的全局最优平面模型，同时进一步剔除环境点云外点，输出符合所求平面模型的内点；

S4、基于SAC-IA和NonLinearICP算法将获得的箱体的目标点云P_o和数据库中预先保存的模板点云P_t进行配准，具体包括：利用SAC-IA对模板点云P_t和目标点云P_o进行粗配准，得到两点云之间的初等的变换矩阵，然后利用NonLinearICP算法来进行精配准；

S5、箱体变形判断；具体包括如下步骤：

S51：获取得到的目标点云P_o和模板点云P_t的匹配点对数N_p，以及根据目标点P_o云的数量设定匹配点对数阈值T_match，T_match＝N/λ，N是目标点云P_o中点的个数；

S52：计算箱体模板点云与目标点云匹配点之间的均方根RMSE，通过T_match和RMSE两个评价参数完成箱体变形的逻辑判断；当匹配点数N_p小于阈值T_match表示箱体相似程度低，箱体发生形变；当匹配点数N_p大于阈值T_match时，会使用RMSE参数进行进一步的判断，RMSE与历史数据和标准数据记录的变形阈值T_R作比较，判断箱体变形状态；RMSE高于阈值T_R时表示两点云相似程度低，箱体发生变形，低于阈值T_R时表示两点云相似程度高，箱体表面正常；

其中，N_p为目标点云和模板点云的匹配点对数；

S6、箱体变形定位；具体包括如下步骤：

S61：根据前一步的变形判断决定是否定位，如果发生变形，则进行步骤S62，否则结束当前检测任务；

S62：对保存的模板点云P_o和配准点云P_r进行差分处理，获取到包含变形点云的差分点云P_d；

S63：采用alpha shape算法提取配准点云P_r的边界点云，设定alpha shape算法参数滚动半径r＝2·Δl，检测出完整的边界点云P_b；

S64：计算边界点云P_b的质心p_bc，构建p_bc到边界点云的任意点p_bk和p_bc距p_bk最邻近的差分点云p_dk的两个矢量

和/>

其中，

分别表示对应点的x，y，z坐标；

判断差分点云内的点是否都在边界点云中，根据矢量

和/>

的大小为条件，判断关系如下：

滤除界外点，得到变形点云；

所述步骤S64中得到变形点云后计算变形点云的质心，得到变形点云的三维位置P_{de_c}，计算公式如下：

其中，P_de表示变形点云，n表示差分点云P_de中点的个数，x_i,y_i,z_i分别表示变形点云P_de的x，y，z坐标；

根据二维图像与三维点云映射关系，从三维空间位置得到图像的二维坐标位置，完成箱体变形定位，具体如下式所示：

其中，p(u,v)表示图像像素坐标系中横坐标为u纵坐标为v的像素点，f为相机的焦距为已知值，dx和dy表示每一个像素的实际宽度和长度，而P(x_c,y_c,z_c)表示相机坐标系中的坐标为x_c,y_c，z_c的三维空间点。

2.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述步骤S2具体包括如下步骤：

S21：加载已经训练好的PP-PicoDet目标检测模型，在二维图像中对箱体进行目标检测，获得箱体边界框的二维坐标；

S22：将检测到的二维坐标映射到三维点云中，获取箱体目标点云P_o。

3.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述步骤S4具体包括如下步骤：

S41：设置三维体素栅格尺寸Δl，完成对模板点云P_t下采样,减少检测过程的计算量；

S42：利用SAC-IA算法对目标点云和模板点云的粗配准，得到初始旋转矩阵和平移向量；

S43：输入初始旋转矩阵以及平移向量，采用NonLinearICP算法对两点云进行精配准，获取最终的旋转矩阵和平移向量，以及两点云之间的匹配点对数N_p，其中将目标点云经过空间变换得到的点云记为配准点云P_r。

Images