CN115145272B - 焦炉车辆环境感知系统及方法 - Google Patents

Abstract

本发明提供了焦炉车辆环境感知系统及方法，涉及大型移动装备无人驾驶技术领域，通过激光雷达与相机数据融合手段，采用最优的点云数据与图像融合算法，对运行轨迹周围环境进行感知识别，完成目标定位及跟踪、目标及障碍物识别、车辆定位、规避控制策略等核心功能的实现，在设备上无驾驶员操作车辆情况下，可以最大限度辅助车辆无人驾驶中央控制系统的决策，避免无人驾驶车辆与周围目标物发生碰撞，从而最大限度的帮忙改善车辆的主动安全性，达成安全、可靠、有序之生产目的，能够有利保障焦炉设备在生产过程的顺稳运行。

Description

焦炉车辆环境感知系统及方法

技术领域

本发明涉及大型移动装备无人驾驶技术领域，特别是涉及焦炉车辆环境感知系统及方法。

背景技术

炼焦生产，具有全天候、生产环境人机协同复杂及多样的行业特点，特别是对于炼焦四大车驾驶员来说，连续驾驶车辆工作强度相对比较高。为此炼焦生产行业，发展有轨电驱车辆全自动无人运行是必然趋势，能够提升协作效率，减少人员控制和管理的过程，消除因为人员误操作所可能带来的生产安全隐患，降低不必要的停工停产和生产作业中可能出现的安全问题，保障生产的正常进行。

焦炉车辆无人驾驶运行过程中，如何避免与周围目标物发生重大人机碰撞事故，改善车辆的主动安全性，保障焦炉生产过程的顺稳运行，是实现焦炉车辆无人驾驶中亟待解决的问题。

目前，为了实现焦炉车辆的防碰撞，主要是在焦炉车辆上安装测距传感器，利用雷达、激光等测距技术，通过实时监测车辆相互间的间距达到防碰撞的目的。但目前测距传感器普遍存在抗干扰能力差的缺点，对焦化厂的工作环境诸如粉尘多、车辆晃动大、轨道面局部高地不平等不利因素适应能力低，因此常常出现失灵或误判的情况。

发明内容

有鉴于此，本发明提供了焦炉车辆环境感知系统及方法，采用激光雷达与相机数据融合手段，采用最优的点云数据与图像融合算法，完成目标物识别、定位、跟踪，对运行轨迹周围环境进行感知识别，达到目标跟踪、目标定位、障碍物识别等性能要求，防止焦炉车辆在生产运行过程中，与周围目标物发生重大人机碰撞事故，从而最大限度的帮忙改善车辆的主动安全性，保障焦炉生产过程的顺稳运行目的。

为此，本发明采用如下技术方案：

一方面，本发明提供了一种焦炉车辆环境感知系统，包括：设置在焦炉车辆本体端部的激光雷达和摄像头以及设置在电气控制室的车辆PLC控制器、环境感知控制器、协议网关和车辆速度驱动器；

所述环境感知控制器分别与所述激光雷达和所述相机通讯连接；

所述环境感知控制器与所述协议网关通讯连接；

所述协议网关与所述PLC控制器通讯连接；

所述PLC控制器与所述车辆速度驱动器通讯连接。

进一步地，所述焦炉车辆的控制信息包括运动速度、减速和停车。

进一步地，所述系统还包括：用于焦炉车辆移动至轨道端部时进行端部防护的极限保护开关。

进一步地，极限保护开关包括：在焦炉车辆上设置的若干个不同高度的永磁开关触点以及地面上目标位置设置的对应的若干个永磁铁。

又一方面，本发明还提供了一种焦炉车辆环境感知的控制方法，应用于上述焦炉车辆环境感知系统，所述方法包括：

车辆PLC控制器在接收到运动指令之后，输出包括运动速度的驱动指令；

车辆速度驱动器执行车辆PLC控制器下发的驱动指令，驱动焦炉车辆按照指定的速度运动；

在焦炉车辆无人驾驶过程中，激光雷达实时扫描周围环境，形成点云数据，并将数据实时发送到环境感知控制器；

在焦炉车辆无人驾驶过程中，摄像头实时照摄周围环境，形成图像数据，并将图像实时发送到环境感知控制器；

环境感知控制器对接收到的点云数据和图像数据进行融合处理，对识别对象进行自动跟踪及定位；

环境感知控制器根据对识别对象进行自动跟踪及定位的结果计算出距离正前方最近对象的距离值，完成设备速度匹配输出，通过协议网关传输给车辆PLC控制器，车辆PLC控制器通过车辆速度驱动器下发至焦炉车辆。

进一步地，环境感知控制器对接收到的点云数据和图像数据进行融合处理，并利用融合处理后得到的数据对识别对象进行自动跟踪及定位，包括：

将激光雷达点云数据与摄像头图像数据标定到同一坐标内；

根据接收到的激光雷达的点云数据，对三维成像中的点云进行剪裁；

利用图像数据进行对象识别与对象分类，提取图像中各个对象的边界框数据；

根据边界框提取数据与前期剪裁好的点云数据，形成边界框和点云融合数据；

识别图像数据中的关键点，并提取关键点描述符，实现特征值匹配；

经过边界框、点云和特征匹配数据的三方融合，最终对识别对象自动跟踪及定位。

进一步地，待识别的对象包括运行轨道上的人、障碍物和对面车辆。

本发明的优点和积极效果：

1、本系统将相机的识别精确性与激光雷达的定位高精度优势有效的结合在了一起，相比仅利用激光雷达等测距传感器进行焦炉车辆防碰撞，本系统能够在无人驾驶车辆情况下，避免无人驾驶车辆与周围目标物发生碰撞，从而最大限度的帮忙改善车辆的主动安全性。

2、本方法中基于激光扫描与摄像头图像识别融合算法，精准的识别障碍物，在无人驾驶车辆情况下，可以最大限度辅助车辆无人驾驶中央控制系统决策，避免无人驾驶车辆与周围目标物发生碰撞。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中环境感知系统架构；

图2为本发明实施例中环境感知系统安装位置图；

图3为本发明实施例中4级永磁铁轨道端部安装位置图；

图4为本发明实施例中感知系统控制流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供了焦炉车辆环境感知系统及方法，通过激光雷达与相机数据融合手段，采用最优的点云数据与图像融合算法，对运行轨迹周围环境进行感知识别，完成目标定位及跟踪、目标及障碍物识别、车辆定位、规避控制策略等核心功能的实现，在设备上无驾驶员操作车辆情况下，可以最大限度辅助车辆无人驾驶中央控制系统的决策，避免无人驾驶车辆与周围目标物发生碰撞，从而最大限度的帮忙改善车辆的主动安全性，达成安全、可靠、有序之生产目的，能够有利保障焦炉设备在生产过程的顺稳运行。

如图1所示，本发明实施例中的焦炉车辆环境感知系统包括：车辆PLC控制器1、环境感知控制器2、激光雷达3、摄像头4、协议网关5、车辆速度驱动器6和极限保护开关7。其中：

焦炉车辆包括炼焦四大车，分别为推焦车、装煤车、拦焦车和电机车。

激光雷达3和相机4安装在运动的焦炉车辆本体前、后进端部，用于跟随运动的焦炉车辆采集环境信息。其中，激光雷达3实时扫描周围环境，形成点云数据，基于点云数据可以实时识别运行区域内的物体形状；在具体实施中，为了提高识别精度和广度，可以在焦炉车辆本体不同位置设置多个激光雷达。相机4实时拍摄周围环境，形成图像数据，基于图像数据通过图像识别功能可以甄别出人员与物体障碍物，在具体实施中，为了提高识别精度和广度，可以在焦炉车辆本体不同位置设置多个相机。

环境感知控制器2设置在电气控制室内，分别与激光雷达3和相机4进行通讯连接，以进行信息交互，获取激光雷达3和相机4采集到的实时环境信息，并通过激光雷达与相机数据融合手段，采用点云数据与图像融合算法，对运行轨迹周围环境进行感知识别，根据识别出的环境信息确定焦炉车辆的控制信息，包括运动速度、减速、停车等信息。其中，环境感知控制器2与激光雷达3和相机4之间的通讯连接可以是以太网通讯连接，5G通讯连接，还可以是CAN总线通讯连接。在具体实施中，环境感知控制器可以利用单片机来实现。

协议网关5是电气控制室内的控制器与焦炉车辆进行数据通信的桥梁，能够将环境感知控制器2的焦炉车辆控制信息下发至焦炉车辆。

车辆PLC控制器1设置在电气控制室内，用于接收人工下发的运动指令，并与车辆速度驱动器6进行通信，确定焦炉车辆的运动速度，并通过车辆速度驱动器6驱动焦炉车辆按照相应的运动速度进行运动。同时，环境感知控制器2通过协议网关5向焦炉车辆下发的控制信息反馈回车辆PLC控制器1，以便车辆PLC控制器1基于环境感知信息对车辆运行过程进行实时控制，防范移动中的设备与其它车辆间或人员的防碰事故发生。环境感知控制器2、协议网关5以及车辆PLC控制器1之间的通讯连接可以是有线通讯连接，也可以是无线通讯连接，如CAN总线通讯连接。

车辆速度驱动器6用于在车辆PLC控制器1的控制下驱动焦炉车辆以设定的速度行驶。同时车辆速度驱动器6也要受运行轨道上的人、障碍物、对面车辆等因素制约的环境感知控制器2的策略输出的指令限制，在本车无人驾驶轨迹内，对设备运行速度进行实时控制，防范移动中的设备与其它车辆间或人员的防碰事故发生。速度驱动器6与车辆PLC控制器之间的通讯连接可以是有线通讯连接，也可以是无线通讯连接，如CAN总线通讯连接。

极限保护开关7用于车辆移动至轨道端部时对车辆进行防护。当单车焦炉车辆，移动至轨道端部位置，运动方向不存在人员与物体障碍物，环境感知系统无法感知环境来下达车辆减速、停止等指令，而按照焦炉车辆的运行安全要求，进入轨道运行端部，必须进入减速模式，到达终端要进行停车换向，确保车辆设备不能过限、掉轨等问题存在。根据上述要求，本发明实施例中设置了四级极限防护，具体在车辆设备上设置了4个不同高度的永磁开关触点作为极限保护开关，地面上设置了如图3所示对应的4个永磁铁，一旦车辆PLC控制器感应到对应的信号，即可根据地面上设置的永磁铁的不同高度信号组合，经车辆PLC控制器内部的运动模型及速度限制算法，将速度值发送至车辆速度驱动器6，触发轨道端部1级减速、2级减速、3级减速、停机等运动极限保护功能。

本发明实施例中的系统将相机的识别精确性与激光雷达的定位高精度优势有效的结合在了一起，相比仅利用激光雷达等测距传感器进行焦炉车辆防碰撞，本系统能够在无人驾驶车辆情况下，避免无人驾驶车辆与周围目标物发生碰撞，从而最大限度的帮忙改善车辆的主动安全性。

基于上述实施例中的焦炉车辆环境感知系统，本发明实施例中还提供了焦炉车辆环境感知的控制方法，如图4所示，控制方法的具体流程包括：

S1、车辆PLC控制器1在接收到运动指令之后，利用其内部的运动控制策略算法输出包括运动速度的驱动指令。

S2、车辆速度驱动器6执行车辆PLC控制器1下发的驱动指令，驱动焦炉车辆按照制定的速度运动。

S3、在焦炉车辆无人驾驶过程中，激光雷达3实时扫描周围环境，形成点云数据，并将数据实时发送到环境感知控制器2。

其中，激光雷达会获取周围物体表面每个采样点的空间坐标，得到点的集合，即点云，此处的点云，是激光雷达坐标系的点云数据，可以称为原始点云数据，点云数据包括每个点的三维坐标、激光反射强度和颜色信息。

S4、在焦炉车辆无人驾驶过程中，摄像头4实时照摄周围环境，形成图像数据，并将图像实时发送到环境感知控制器2。

其中，步骤S3和步骤S4的执行顺序此处不做限定，可以是先执行S3，再执行S4，也可以是先执行S4，再执行S3，优选地，同步执行S3和S4。

S5、环境感知控制器2对接收到的点云数据和图像数据进行融合处理，并利用融合处理后得到的数据对识别对象进行自动跟踪及定位；

其中，环境感知控制器2对接收到的点云数据和图像数据进行融合处理可以按照以下方式执行：

S51、将激光雷达点云数据与摄像头图像数据标定到同一坐标内；

因激光雷达与摄像头安装于不同位置及数据坐标类型差异等原因，首先需要将激光雷达点云数据与摄像头图像数据标定到同一坐标内，便于后期数据融合及边界框特征值提取。具体地，可以根据激光雷达和摄像头在车辆坐标系的位置，将点云数据和图像数据均转换为车辆坐标系下，其中，车辆坐标系可以是以车辆的质心作为原点，自车面向前方时，指向车辆右侧作为x轴，将自车面向前方时，在行驶的方向上为y轴。

S52、根据接收到的激光雷达的点云数据，对三维成像中的点云进行剪裁。

激光雷达获取的原始激光点云数据中，存在噪声数据，还存在自车车体遮挡的激光点云数据，为了减少数据量并提高数据处理精度，这些点云数据可以通过剪裁操作剔除。

S53、利用图像数据进行对象识别与对象分类，提取图像中各个对象的边界框数据。

其中，对象识别与对象分类可以通过深度学习的目标检测算法(如YOLO算法)，对图像数据进行处理，即经过分类、定位、检测和分割，从而得到由边界框标识的待识别的对象，待识别的对象包括运行轨道上的人、障碍物、对面车辆等。

S54、根据边界框提取数据与前期剪裁好的点云数据，形成边界框+点云融合数据。

具体的，将前期裁剪好的点云数据映射至图像坐标系中，标定参数可以是车辆坐标系与相机坐标系的关系以及相机坐标系与图像坐标系的关系。车辆坐标系与相机坐标系的关系，包括3个平移量与3个旋转角度，可以称为外参。

在一个示例中，假设该6个外参是从车辆坐标系到相机坐标系，且先平移后旋转，旋转矩阵为R，平移向量为T，车辆坐标系的坐标为XYZ_P，相机坐标系的坐标为XYZ_C，则计算点云在相机坐标系的坐标的方法为：XYZ_C＝R*(XYZ_P+T)。

假设图像坐标系的坐标为(u，v)，内参矩阵提供的焦距分别为FX，FY，中心偏移分别为OX，OY，则从相机坐标系到图像坐标系的转换为：u＝XYZ_C[0]*FX+OX，v＝XYZ_C[1]*FY+OY，其中，XYZ_C[0]和XYZ_C[1]分别为相机坐标的x和y值，这个三维计算二维，不需要用到z。由此，通过上述两步变换，就可以计算出点云在图像坐标系中的位置。

之后可以对图像坐标系下的点云和边界框标识的图像障碍物信息进行融合，比如某个目标同时被图像和点云检测到，将点云的优势与视觉检测的优势结合，从而得到图像坐标系下的障碍物坐标信息。

S55、识别图像数据中的关键点，并提取关键点描述符，实现特征值匹配；

其中，关键点可以是图像中某一指定位置所包含的像素点，如车辆前方容易出现障碍物的特定位置等，在具体实施中，可以采用SIFT进行关键点提取。

S56、经过边界框+点云+特征匹配数据的三方融合，最终对识别对象自动跟踪及定位。

经过边界框+点云+特征匹配数据的三方融合，比如某个目标同时被边界框、点云和特征覆盖检测到，则该目标一定为障碍物。

S6、环境感知控制器2根据对识别对象进行自动跟踪及定位的结果计算出距离正前方最近对象的距离值，完成设备速度匹配输出，通过协议网关5传输给车辆PLC控制器1，车辆PLC控制器1再通过车辆速度驱动器6下发至焦炉车辆。

本发明实施例中的方法基于激光扫描与摄像头图像识别融合算法，精准的识别障碍物，在无人驾驶车辆情况下，可以最大限度辅助车辆无人驾驶中央控制系统决策，避免无人驾驶车辆与周围目标物发生碰撞。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种焦炉车辆环境感知系统，其特征在于，包括：设置在焦炉车辆本体端部的激光雷达(3)和摄像头(4)以及设置在电气控制室的车辆PLC控制器(1)、环境感知控制器(2)、协议网关(5)和车辆速度驱动器(6)；

所述环境感知控制器(2)分别与所述激光雷达(3)和所述摄像头(4)通讯连接；

所述环境感知控制器(2)与所述协议网关(5)通讯连接；

所述协议网关(5)与所述PLC控制器(1)通讯连接；

所述PLC控制器(1)与所述车辆速度驱动器(6)通讯连接；

车辆PLC控制器(1)在接收到运动指令之后，输出包括运动速度的驱动指令；

车辆速度驱动器(6)执行车辆PLC控制器(1)下发的驱动指令，驱动焦炉车辆按照指定的速度运动；

在焦炉车辆无人驾驶过程中，激光雷达(3)实时扫描周围环境，形成点云数据，并将数据实时发送到环境感知控制器(2)；

在焦炉车辆无人驾驶过程中，摄像头(4)实时照摄周围环境，形成图像数据，并将图像实时发送到环境感知控制器(2)；

环境感知控制器(2)对接收到的点云数据和图像数据进行融合处理，对识别对象进行自动跟踪及定位；

环境感知控制器(2)根据对识别对象进行自动跟踪及定位的结果计算出距离正前方最近对象的距离值，完成设备速度匹配输出，通过协议网关(5)传输给车辆PLC控制器(1)，车辆PLC控制器(1)通过车辆速度驱动器(6)下发至焦炉车辆；

其中，环境感知控制器(2)对接收到的点云数据和图像数据进行融合处理，并利用融合处理后得到的数据对识别对象进行自动跟踪及定位，包括：

将激光雷达点云数据与摄像头图像数据标定到同一坐标内；

根据接收到的激光雷达的点云数据，对三维成像中的点云进行剪裁；

利用图像数据进行对象识别与对象分类，提取图像中各个对象的边界框数据；

根据边界框提取数据与前期剪裁好的点云数据，形成边界框和点云融合数据；

识别图像数据中的关键点，并提取关键点描述符，实现特征值匹配；

经过边界框、点云和特征匹配数据的三方融合，最终对识别对象自动跟踪及定位。

2.根据权利要求1所述的一种焦炉车辆环境感知系统，其特征在于，所述焦炉车辆的控制信息包括运动速度、减速和停车。

3.根据权利要求1所述的一种焦炉车辆环境感知系统，其特征在于，所述系统还包括：用于焦炉车辆移动至轨道端部时进行端部防护的极限保护开关(7)。

4.根据权利要求3所述的一种焦炉车辆环境感知系统，其特征在于，极限保护开关(7)包括：在焦炉车辆上设置的若干个不同高度的永磁开关触点以及地面上目标位置设置的对应的若干个永磁铁。

5.根据权利要求1所述的一种焦炉车辆环境感知系统，其特征在于，待识别的对象包括运行轨道上的人、障碍物和对面车辆。