CN115797587B - 一种融合线扫描车底图像特征的巡检机器人定位建图方法 - Google Patents
一种融合线扫描车底图像特征的巡检机器人定位建图方法 Download PDFInfo
- Publication number
- CN115797587B CN115797587B CN202310080519.4A CN202310080519A CN115797587B CN 115797587 B CN115797587 B CN 115797587B CN 202310080519 A CN202310080519 A CN 202310080519A CN 115797587 B CN115797587 B CN 115797587B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- frame
- map
- vehicle bottom
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000007689 inspection Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims description 15
- 238000012423 maintenance Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种融合线扫描车底图像特征的巡检机器人定位建图方法，包括机器人运动中连续执行位姿估计，构造车底点云帧序列、特征点云帧序列、线扫描图像帧序列与位姿图；机器人停车后拼接感兴趣区域ROI内线扫描车底图像形成转向架区域全图，并在转向架区域全图中识别匹配转向架模式特征；根据转向架模式特征位姿构造轨迹优化约束；通过轨迹优化约束对位姿图进行优化；获取列车精确停车位置，计算巡检机器人停车点位姿，开始巡检作业，并最终返回巡检原点。本发明使得列车车底巡检机器人无需搭载专用于定位的，成本高昂的高速高精度飞行时间激光点测距传感器，具有降低机器人定位建图硬件成本、提升机器人定位建图精度与鲁棒性的有益效果。
Description
技术领域
本发明涉及一种融合线扫描车底图像特征的巡检机器人定位建图方法，属于巡检机器人自主定位建图技术领域。
背景技术
随着机器人技术与人工智能故障检测技术的不断成熟，以移动机器人为核心执行器的列车车底智能巡检系统近年来获得了行业内越来越多的关注，这一系统的运用可代替列车机务段或车辆段中的人工巡检作业，大大降低检修工人工作强度。通过运行在地下检修沟道中的装备激光雷达、线扫描相机、协作机械臂与 3D 相机的自主移动机器人，系统可以对列车车底图像、车底关键部件的图像信息与三维点云信息进行精密采样，并通过算法服务器阵列进行分析，给出列车的维护建议。为了提升巡检效果、保障运行安全，机器人需要拥有较强的自主定位建图性能，包含：1.机器人应拥有在地下检修沟道内长达数百米的运行中对自身位姿的精确估计能力与精确车底三维点云地图构建能力；2.由于列车每次入库后的停车位置有所不同，因此以列车转向架位置为基准的巡检导航点位姿需要根据列车真实停车位置确定，机器人应拥有对该次巡检作业中列车的真实停车位置的精确检测能力。
目前业内对机器人在地下检修沟道中的自主定位建图主要使用同时定位与建图（SLAM）方法，在 SLAM 具体方案的选择上，主要有基于先验地图的二维激光雷达方案与不基于先验地图的三维激光雷达里程计方案这两种。
对于基于先验地图的二维激光雷达方案一般而言具有较高的定位精度，但其缺点在于无法通过三维点云建图，对列车车底实现特征重建，同时由于二维激光雷达扫描信息量的制约，在特征单一重复的极端工况下，容易出现定位算法的退化失效；对于不基于先验地图的三维激光雷达里程计方案，其缺点在于没有根据先验信息在定位建图中执行回环检测与全局轨迹优化，难以克服长距离行驶累积误差对定位精度与车底三维点云地图构建精度的影响。
目前业内对机器人在地下检修沟道中对列车停车位置的检测主要有基于点激光测距传感器的车轮/车轴中心检测与车底地图点云配准方法这两种。前者通过车轮与车轴圆面在激光点测距传感器下的特征计算车轮与车轴的圆心坐标，从而对列车停车位置进行检测；后者通过在该次巡检构造的车底全点云地图中使用转向架模板点云进行配准，获取列车转向架真实位置，从而对列车停车位置进行检测。
对于使用激光点测距传感器的方案，为保证车轮车轴查找效果，需要激光点测距传感器具有极高的测距精度与数据更新频率，使得巡检机器人需要装备价格高昂的进口高速高精度的飞行时间激光点测距传感器，这一成本往往高达数万元；对于使用转向架点云配准的方案，由于算法需要对三维结构数据进行计算，其时间复杂度与空间复杂度高，存储空间要求大，计算时间长。同时在复杂的点云结构下，这一方案存在错配与局部收敛导致检测失效的风险。
发明内容
针对现有技术方案在机器人位姿估计与建图上三维重建与精确定位不可兼得、在列车停车位置检测上低成本与高效率高鲁棒性不可兼得的问题，提供一种高精度、高鲁棒性的融合线扫描车底图像特征的巡检机器人定位建图方法。
本发明解决上述技术问题所提供的技术方案是：一种融合线扫描车底图像特征的巡检机器人定位建图方法，包括以下步骤：
步骤S1、巡检机器人在地下检修沟道内沿与列车平行的直线轨迹匀速行驶，由巡检原点行驶至地下检修沟道末端，将先验的列车转向架大概位置区间设为线扫描车底图像的感兴趣区域ROI；
步骤S2、利用直接配准方法或特征提取及位姿残差优化方法获取位姿估计；
步骤S3、根据位姿估计构造线扫描车底图像帧序列、点云车底地图帧序列或点云特征地图帧序列，并同时形成位姿估计序列，使用位姿估计序列构造位姿图；
步骤S4、拼接感兴趣区域ROI内线扫描车底图像形成转向架区域全图，并在转向架区域全图中识别匹配转向架模式特征；
步骤S5、根据两个感兴趣区域ROI中转向架特征组件在地图坐标系下的位姿差与列车先验真实转向架之间的距离的差异构造轨迹优化约束；
步骤S6、通过轨迹优化约束对位姿图进行优化，调整各个帧序列中各帧位姿，完成点云车底地图优化、点云特征地图优化与线扫描车底图像帧序列优化；
步骤S7、在优化位姿估计后的转向架全图中重新识别匹配转向架模式特征，获取列车精确停车位置；
步骤S8、根据列车精确停车位置，计算巡检机器人停车点位姿，开始巡检作业，并最终返回巡检原点。
进一步的技术方案是，所述步骤S1中巡检机器人为匀速运动。
进一步的技术方案是，所述步骤S2中直接配准方法的具体过程为：
步骤S21、设当前三维激光雷达扫描为第k帧扫描；
步骤S22、计算当前帧在雷达坐标系中的扫描点云与上一帧扫描点云的粗变换关系；
步骤S23、以该粗变换关系作为初始估计，将当前帧扫描点云在已存在的点云车底地图帧序列中点云部分形成的当前全局点云车底地图中进行配准，得到位姿估计。
进一步的技术方案是，所述步骤S2中特征提取及位姿残差优化方法的具体过程为：
步骤S201、设当前三维激光雷达扫描为第k帧扫描；
步骤S202、提取扫描点云中的面线特征，生成雷达坐标系中的特征点集；
步骤S203、对于特征点集中的每个点，从已存在的特征点云地图帧序列中特征点云部分形成的当前全局点云特征地图中靠近上一帧位姿附近的子地图中寻找最近的若干个特征点，构造并优化面-面残差与线-线残差，得到位姿估计。
进一步的技术方案是，所述步骤S3的具体过程为：
步骤S31、将扫描点云变换至地图坐标系中并与位姿估计绑定生成第k帧点云车底地图帧，或将特征点集变换至地图坐标系中并与位姿估计绑定生成第k帧点云特征地图帧；
步骤S32、将第k帧线扫描车底图像与位姿估计绑定，生成第k帧线扫描车底图像帧；
步骤S33、由第k帧线扫描车底图像帧构成扫描车底图像帧序列，由第k帧点云车底地图帧构成点云车底地图帧序列，由第k帧点云特征地图帧构成点云特征地图帧序列，从而形成位姿估计序列；
步骤S34、使用位姿估计序列构造位姿图。
进一步的技术方案是，所述步骤S4的具体过程为：对于每个感兴趣区域ROI内的线扫描车底图像帧子序列，拼接其各帧线扫描车底图像，形成列车每个转向架区域的完整图像，在各个转向架完整图像上使用模式识别匹配算法，查找特定的转向架模式特征。
进一步的技术方案是，所述步骤S4中对第i个转向架完整图像，计算其识别结果选框中心在转向架区域完整图像中对应的线扫描线数，进而可通过帧序列构造过程中记录的每一线对应的位姿估计，获得识别结果选框中心对应的在地图坐标系上的估计平移。
进一步的技术方案是，所述步骤S6的具体过程为：
步骤S61、使用轨迹优化约束对位姿图中的全局轨迹进行优化，得到优化后位姿估计序列；
步骤S62、根据优化后位姿估计序列，在记录原始位姿估计的前提下，调整帧序列中各类型各帧中对应的位姿估计，同时将各类型各帧中所包含的点云数据每个点的坐标变换到新的位姿估计上；
步骤S63、根据优化后的点云车底地图帧序列得到更为精确的全局车底点云地图或根据优化后的特征点云地图帧序列得到更为精确的全局点云特征地图，实现了精确的三维车底点云地图构建与特征点云地图构建。
进一步的技术方案是，所述步骤S7的具体过程为：在优化位姿后的线扫描车底图像帧序列中获取列车每一个转向架图像上模式特征识别结果选框中心对应的地图坐标系中的位姿估计，即获得了列车的精确停车位置。
本发明具有以下有益效果：本发明使得列车车底巡检机器人无需搭载专用于定位的，成本高昂的高速高精度飞行时间激光点测距传感器，具有降低机器人定位建图硬件成本、提升机器人定位建图精度与鲁棒性的有益效果。
附图说明
图1为巡检机器人的安装示意图；
图2为本发明的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的机器人安装三维激光雷达与垂直于列车车底的线扫描相机。其中三维激光雷达以恒定频率连续输出三维点云扫描数据；线扫描相机由与机器人速度匹配的频率的脉冲驱动，持续输出固定线数的列车车底图像数据。
其算法特征在于分为两个阶段，包括：
车底数据采集阶段：巡检机器人在地下检修沟道内沿与列车平行的直线轨迹匀速行驶，由巡检原点行驶至地下检修沟道末端。将先验的列车转向架大概位置区间设为线扫描图像的感兴趣区域ROI。使用常用雷达里程计算法的直接配准方法或特征提取及位姿残差优化方法提供的位姿估计，连续构造与位姿估计绑定的点云特征地图帧（仅当使用特征法雷达里程计算法时）、点云车底地图帧以及感兴趣区域ROI内的线扫描车底图像帧，形成线扫描图像。由于每张线扫描图像仅有最后一线与位姿估计绑定，使用匀速运动模型插补其它线所对应的位姿估计。
离线优化计算阶段：机器人行驶至地下检修沟道末端停车后开始离线计算。将每个感兴趣区域ROI内的线扫描图像拼合，从拼合后的图像中通过模式识别神经网络或传统模板匹配，识别匹配转向架特征组件，计算其在图像中的像素位置，解算出其在地图坐标系下的位姿。两个感兴趣区域ROI中转向架特征组件在地图坐标系下的位姿差与列车先验真实转向架之间的距离的差异，即为雷达里程计位姿估计与真实距离的差异，根据这一差异约束，使用包括但不限于位姿图优化等方法可对 SLAM 全局轨迹进行优化，进而调整各个帧序列中每一帧的位姿估计，优化特征点云地图（仅当使用特征法雷达里程计算法时）、点云车底地图以及线扫描车底图像的精度，并可通过再次在优化后的线扫描图像中解算出列车转向架特征组件在地图坐标系下的位姿，实现对列车真实停车位置的检测。
如图2所示，具体包括以下步骤：
步骤S1、巡检机器人以0.5m/s的线速度在地下检修沟道内沿与列车平行的直线轨迹匀速行驶，由巡检原点行驶至地下检修沟道末端，将先验的列车转向架大概位置区间设为线扫描车底图像的感兴趣区域ROI；
步骤S2、利用直接配准方法或特征提取及位姿残差优化方法获取位姿估计；
其中直接配准方法的具体过程为：
步骤S21、设当前三维激光雷达扫描为第k帧扫描；
步骤S22、计算当前帧在雷达坐标系中的扫描点云与上一帧扫描点云的粗变换关系；
步骤S23、以该粗变换关系作为初始估计，将当前帧扫描点云在已存在的点云车底地图帧序列中点云部分形成的当前全局点云车底地图中进行配准，得到位姿估计。
特征提取及位姿残差优化方法的具体过程为：
步骤S201、设当前三维激光雷达扫描为第k帧扫描；
步骤S202、提取扫描点云中的面线特征，生成雷达坐标系中的特征点集；
步骤S203、对于特征点集中的每个点，从已存在的特征点云地图帧序列中特征点云部分形成的当前全局点云特征地图中靠近上一帧位姿附近的子地图中寻找最近的若干个特征点，构造并优化面-面残差与线-线残差，得到位姿估计。
步骤S3、根据位姿估计构造线扫描车底图像帧序列、点云车底地图帧序列或点云特征地图帧序列，并同时形成位姿估计序列，使用位姿估计序列构造位姿图；
步骤S31、将扫描点云变换至地图坐标系中，有
并将p k map与位姿估计绑定生成第k帧点云车底地图帧，有
或将特征点集变换至地图坐标系中，有
并将f k map与位姿估计绑定生成第k帧点云特征地图帧；
步骤S32、将先验的列车转向架大概位置区间设为线扫描图像的感兴趣区域（ROI），如果当前位姿估计在ROI内，即将第k帧线扫描车底图像sk与位姿估计绑定，生成第k帧线扫描车底图像帧，有；
由于sk中包含了n线的图像，当前位姿估计仅可表示第n线的图像采集时的位姿估计，同时考虑到机器人匀速行驶，因此对于第k帧线扫描车底图像sk内1～n-1线中的第i线图像si k对应的位姿估计，使用匀速运动模型补偿；即ROI内每一线线扫描图像的位姿估计均可被记录；
步骤S33、由第k帧线扫描车底图像帧构成扫描车底图像帧序列，由第k帧点云车底地图帧构成点云车底地图帧序列，由第k帧点云特征地图帧构成点云特征地图帧序列，从而形成位姿估计序列；
步骤S34、使用位姿估计序列构造位姿图；
步骤S4、拼接感兴趣区域ROI内线扫描车底图像形成转向架区域全图，并在转向架区域全图中识别匹配转向架模式特征；
即是对于每个感兴趣区域ROI内的线扫描车底图像帧子序列，拼接其各帧线扫描车底图像，形成列车每个转向架区域的完整图像，在各个转向架完整图像上使用模式识别匹配算法，查找特定的转向架模式特征；对第i个转向架完整图像，计算其识别结果选框中心在转向架区域完整图像中对应的线扫描线数，进而可通过帧序列构造过程中记录的每一线对应的位姿估计，获得识别结果选框中心对应的在地图坐标系上的估计平移；
步骤S5、根据两个感兴趣区域ROI中转向架特征组件在地图坐标系下的位姿差与列车先验真实转向架之间的距离的差异构造轨迹优化约束；
其中对于同种型号的列车而言，其单节车厢转向架之间的精确距离是先验已知的，定义为tb，则第i个转向架完整图像的估计平移与第i-1个转向架完整图像的估计平移的距离与tb的关系（包括但不限于差值、差值绝对值、比值、比值绝对值等关系），即可作为轨迹优化的约束；
步骤S6、通过轨迹优化约束对位姿图进行优化，调整各个帧序列中各帧位姿，完成点云车底地图优化、点云特征地图优化与线扫描车底图像帧序列优化；
步骤S61、使用轨迹优化约束对位姿图中的全局轨迹进行优化，得到优化后位姿估计序列；
步骤S62、根据优化后位姿估计序列，在记录原始位姿估计的前提下，调整帧序列中各类型各帧中对应的位姿估计，同时将各类型各帧中所包含的点云数据每个点的坐标变换到新的位姿估计上；
其中对于第k帧点云车底地图帧的点云部分，有：
如果位姿估计基于特征方法，则对于第k帧点云特征地图帧的特征点云部分，有：
步骤S63、根据优化后的点云车底地图帧序列得到更为精确的全局车底点云地图或根据优化后的特征点云地图帧序列得到更为精确的全局点云特征地图，实现了精确的三维车底点云地图构建与特征点云地图构建；
步骤S7、在优化位姿估计后的转向架全图中重新识别匹配转向架模式特征，获取列车精确停车位置；
在优化位姿后的线扫描车底图像帧序列中获取列车每一个转向架图像上模式特征识别结果选框中心对应的地图坐标系中的位姿估计，即获得了列车的精确停车位置；
步骤S8、根据列车精确停车位置，计算巡检机器人停车点位姿，开始巡检作业，并最终返回巡检原点。
实施例
如图1所示，一种在地下检修沟道1内沿与列车平行的直线轨迹行驶的轮式差速驱动列车巡检机器人2，安装有扫描正方向平行于车身XY平面，对于车身Y轴对称的LivoxMID-70型固态三维激光雷达3、4与扫描正方形垂直于车身XY平面的线扫描相机装置5；结合图2说明，其定位建图方法步骤如下：
步骤1、车底数据采集阶段：
计算位姿估计：巡检机器人在地下检修沟道内沿与列车平行的直线轨迹匀速行驶，由巡检原点行驶至地下检修沟道末端。使用 Loam livox算法的特征提取及位姿残差优化方法进行计算。设当前三维激光雷达扫描为第k帧扫描，提取扫描点云中的面线特征，生成雷达坐标系中的特征点集，对于特征点集中的每个点，从已存在的特征点云地图帧序列中特征点云部分形成的当前全局点云特征地图中靠近上一位姿附近的子地图中寻找最近的若干个特征点，构造并优化面-面残差与线-线残差，得到位姿估计。
构造帧序列：在获得当前位姿估计后，将扫描点云变换至地图坐标系中，将p k map与当前位姿估计绑定，生成第k帧点云车底地图帧；
将先验的列车转向架大概位置区间设为线扫描图像的感兴趣区域ROI，如果当前位姿估计在ROI内，即将第k帧线扫描车底图像与当前位姿估计绑定，生成第k帧线扫描车底图像帧；
将特征点集变换至地图坐标系中，将f k map与当前位姿估计绑定，生成第k帧点云特征地图帧；
在机器人匀速运行至地下检修沟道末端过程中的帧的集合构成帧序列，即由并使用位姿估计序列构造位姿图。
步骤2、离线优化计算阶段：
拼合线扫描图像、进行转向架特征识别匹配：对于每个ROI内的线扫描车底图像帧子序列，拼接其各帧线扫描车底图像，形成列车每个转向架区域的完整图像，在各个转向架完整图像上使用Yolov5算法，查找特定的转向架模式特征。对第i个转向架完整图像，计算其识别结果选框中心在转向架区域完整图像中对应的线扫描线数，进而可通过帧序列构造过程中记录的每一线对应的位姿估计，获得识别结果选框中心对应的在地图坐标系上的估计平移。
构造轨迹优化约束：对于同种型号的列车而言，其单节车厢转向架之间的精确距离是先验已知的，定义为tb，则第i个转向架完整图像的估计平移与第i-1个转向架完整图像的估计平移的距离与tb的差异，即可作为轨迹优化的约束；
优化全局轨迹、进行各帧位姿调整：使用轨迹优化的约束，使用位姿图优化方法，对全局轨迹进行优化，得到更为精确、更为贴近真值的优化后位姿估计序列。根据优化后位姿估计序列，在记录原始位姿估计的前提下，调整帧序列中各类型各帧中对应的位姿估计，同时将各类型各帧中所包含的点云数据每个点的坐标变换到新的位姿估计上；
根据优化后的点云车底地图帧序列可得到更为精确的全局车底点云地图；根据优化后的特征点云地图帧序列可得到更为精确的全局点云特征地图，实现了精确的三维车底点云地图构建与特征点云地图构建。同时当机器人返程时，由于其位姿估计方法与前面的方法一致，更为精确的特征点云地图可显著提升位姿估计质量，提升返程定位精度。
检测列车真实停车位置：在优化位姿后的线扫描车底图像帧序列中执行与 步骤1同样的操作，即可获取列车每一个转向架图像上模式特征识别结果选框中心对应的地图坐标系中的位姿估计，由于转向架模式特征与列车本身的变换关系先验可知，即等价于获得了列车的精确停车位置。
步骤3、根据列车精确停车位置，计算巡检机器人停车点位姿，开始巡检作业，并最终返回巡检原点。
以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，包括以下步骤：
步骤S1、巡检机器人在地下检修沟道内沿与列车平行的直线轨迹匀速行驶，由巡检原点行驶至地下检修沟道末端，将先验的列车转向架大概位置区间设为线扫描车底图像的感兴趣区域ROI；
步骤S2、利用直接配准方法或特征提取及位姿残差优化方法获取位姿估计；
步骤S3、根据位姿估计构造线扫描车底图像帧序列、点云车底地图帧序列或点云特征地图帧序列，并同时形成位姿估计序列，使用位姿估计序列构造位姿图；
步骤S4、拼接感兴趣区域ROI内线扫描车底图像形成转向架区域全图，并在转向架区域全图中识别匹配转向架模式特征；
步骤S5、根据两个感兴趣区域ROI中转向架特征组件在地图坐标系下的位姿差与列车先验真实转向架之间的距离的差异构造轨迹优化约束；
步骤S6、通过轨迹优化约束对位姿图进行优化，调整各个帧序列中各帧位姿，完成点云车底地图优化、点云特征地图优化与线扫描车底图像帧序列优化；
步骤S7、在优化位姿估计后的转向架全图中重新识别匹配转向架模式特征，获取列车精确停车位置；
步骤S8、根据列车精确停车位置，计算巡检机器人停车点位姿，开始巡检作业，并最终返回巡检原点。
2.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S1中巡检机器人为匀速运动。
3.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S2中直接配准方法的具体过程为：
步骤S21、设当前三维激光雷达扫描为第k帧扫描；
步骤S22、计算当前帧在雷达坐标系中的扫描点云与上一帧扫描点云的粗变换关系；
步骤S23、以该粗变换关系作为初始估计，将当前帧扫描点云在已存在的点云车底地图帧序列中点云部分形成的当前全局点云车底地图中进行配准，得到位姿估计。
4.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S2中特征提取及位姿残差优化方法的具体过程为：
步骤S201、设当前三维激光雷达扫描为第k帧扫描；
步骤S202、提取扫描点云中的面线特征，生成雷达坐标系中的特征点集；
步骤S203、对于特征点集中的每个点，从已存在的特征点云地图帧序列中特征点云部分形成的当前全局点云特征地图中靠近上一帧位姿附近的子地图中寻找最近的若干个特征点，构造并优化面-面残差与线-线残差，得到位姿估计。
5.根据权利要求3或4所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S3的具体过程为：
步骤S31、将扫描点云变换至地图坐标系中并与位姿估计绑定生成第k帧点云车底地图帧，或将特征点集变换至地图坐标系中并与位姿估计绑定生成第k帧点云特征地图帧；
步骤S32、将第k帧线扫描车底图像与位姿估计绑定，生成第k帧线扫描车底图像帧；
步骤S33、由第k帧线扫描车底图像帧构成扫描车底图像帧序列，由第k帧点云车底地图帧构成点云车底地图帧序列，由第k帧点云特征地图帧构成点云特征地图帧序列，从而形成位姿估计序列；
步骤S34、使用位姿估计序列构造位姿图。
6.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S4的具体过程为：对于每个感兴趣区域ROI内的线扫描车底图像帧子序列，拼接其各帧线扫描车底图像，形成列车每个转向架区域的完整图像，在各个转向架完整图像上使用模式识别匹配算法，查找特定的转向架模式特征。
7.根据权利要求6所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S4中对第i个转向架完整图像，计算其识别结果选框中心在转向架区域完整图像中对应的线扫描线数，进而可通过帧序列构造过程中记录的每一线对应的位姿估计，获得识别结果选框中心对应的在地图坐标系上的估计平移。
8.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S6的具体过程为：
步骤S61、使用轨迹优化约束对位姿图中的全局轨迹进行优化，得到优化后位姿估计序列；
步骤S62、根据优化后位姿估计序列，在记录原始位姿估计的前提下，调整帧序列中各类型各帧中对应的位姿估计，同时将各类型各帧中所包含的点云数据每个点的坐标变换到新的位姿估计上；
步骤S63、根据优化后的点云车底地图帧序列得到更为精确的全局车底点云地图或根据优化后的特征点云地图帧序列得到更为精确的全局点云特征地图，实现了精确的三维车底点云地图构建与特征点云地图构建。
9.根据权利要求1所述的一种融合线扫描车底图像特征的巡检机器人定位建图方法，其特征在于，所述步骤S7的具体过程为：在优化位姿后的线扫描车底图像帧序列中获取列车每一个转向架图像上模式特征识别结果选框中心对应的地图坐标系中的位姿估计，即获得了列车的精确停车位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310080519.4A CN115797587B (zh) | 2023-02-08 | 2023-02-08 | 一种融合线扫描车底图像特征的巡检机器人定位建图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310080519.4A CN115797587B (zh) | 2023-02-08 | 2023-02-08 | 一种融合线扫描车底图像特征的巡检机器人定位建图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797587A CN115797587A (zh) | 2023-03-14 |
| CN115797587B true CN115797587B (zh) | 2023-04-07 |
Family
ID=85430438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310080519.4A Active CN115797587B (zh) | 2023-02-08 | 2023-02-08 | 一种融合线扫描车底图像特征的巡检机器人定位建图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797587B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109738213A (zh) * | 2019-02-03 | 2019-05-10 | 北京新联铁集团股份有限公司 | 轨道交通机车车辆巡检位姿检测系统及其方法 |
| CN113448333A (zh) * | 2021-06-25 | 2021-09-28 | 北京铁道工程机电技术研究所股份有限公司 | 基于传感器组合的底部巡检定位方法、装置及电子设备 |
| CN114379607A (zh) * | 2022-01-26 | 2022-04-22 | 株洲时代电子技术有限公司 | 一种铁路综合巡检方法 |
| CN114862944A (zh) * | 2022-05-07 | 2022-08-05 | 杭州海康机器人技术有限公司 | 一种车辆位姿检测方法、装置及电子设备 |
| CN115446834A (zh) * | 2022-09-01 | 2022-12-09 | 西南交通大学 | 一种基于占据栅格配准的车底巡检机器人单轴重定位方法 |
| CN115511958A (zh) * | 2022-08-25 | 2022-12-23 | 成都唐源电气股份有限公司 | 一种车底巡检机器人辅助定位方法 |
-
2023
- 2023-02-08 CN CN202310080519.4A patent/CN115797587B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109738213A (zh) * | 2019-02-03 | 2019-05-10 | 北京新联铁集团股份有限公司 | 轨道交通机车车辆巡检位姿检测系统及其方法 |
| CN113448333A (zh) * | 2021-06-25 | 2021-09-28 | 北京铁道工程机电技术研究所股份有限公司 | 基于传感器组合的底部巡检定位方法、装置及电子设备 |
| CN114379607A (zh) * | 2022-01-26 | 2022-04-22 | 株洲时代电子技术有限公司 | 一种铁路综合巡检方法 |
| CN114862944A (zh) * | 2022-05-07 | 2022-08-05 | 杭州海康机器人技术有限公司 | 一种车辆位姿检测方法、装置及电子设备 |
| CN115511958A (zh) * | 2022-08-25 | 2022-12-23 | 成都唐源电气股份有限公司 | 一种车底巡检机器人辅助定位方法 |
| CN115446834A (zh) * | 2022-09-01 | 2022-12-09 | 西南交通大学 | 一种基于占据栅格配准的车底巡检机器人单轴重定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李林锋.地铁车辆车底巡检机器人的功能及其应用分析.《城市轨道交通研究》.2022,第2022年卷(第S01期),1-5. * |
| 王健.铁路机辆车底智能巡检机器人的设计研究.《工程技术研究》.2018,第2018年卷(第8期),210-211. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797587A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429498B (zh) | 一种基于点云和影像融合技术的铁路营业线三维中线制作方法 | |
| CN107065887B (zh) | 全向移动机器人通道内倒行导航方法 | |
| CN106584451B (zh) | 一种基于视觉导航的变电站自动构图机器人及方法 | |
| CN110986878A (zh) | 基于移动测量系统自动化提取铁轨断面的方法 | |
| CN106568456B (zh) | 基于gps/北斗定位和云计算平台的不停车收费方法 | |
| CN113674399A (zh) | 一种移动机器人室内三维点云地图构建方法及系统 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
| CN109059930A (zh) | 一种基于视觉里程计的移动机器人定位方法 | |
| CN114018248A (zh) | 一种融合码盘和激光雷达的里程计方法与建图方法 | |
| CN116127405A (zh) | 一种融合点云地图、运动模型和局部特征的位置识别方法 | |
| CN114137953A (zh) | 基于三维激光雷达的电力巡检机器人系统及建图方法 | |
| CN115797587B (zh) | 一种融合线扫描车底图像特征的巡检机器人定位建图方法 | |
| CN108152829B (zh) | 一种加装直线导轨的二维激光雷达建图装置及其建图方法 | |
| CN111123953A (zh) | 人工智能大数据下粒子化移动机器人组及其控制方法 | |
| Sujiwo et al. | Localization based on multiple visual-metric maps | |
| CN113034584B (zh) | 一种基于物体语义路标的移动机器人视觉定位方法 | |
| CN117970928A (zh) | 基于ros系统多移动机器人协同的路径规划方法 | |
| CN117130370A (zh) | 一种基于视觉激光的垃圾清扫无人车的主动垃圾清扫方法 | |
| CN114281081B (zh) | 地铁车辆巡检机器人的导航系统和导航方法、机器人 | |
| CN112305558B (zh) | 一种利用激光点云数据的移动机器人轨迹确定方法及装置 | |
| Yang et al. | Improved Cartographer Algorithm Based on Map-to-Map Loopback Detection | |
| CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 | |
| CN115205397A (zh) | 一种基于计算机视觉和位姿估计的车辆时空信息识别方法 | |
| Xu et al. | End-to-end autonomous driving based on image plane waypoint prediction | |
| CN113532472B (zh) | 一种检测激光建图里程计与组合导航定位偏差的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |