CN112987699B - 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 - Google Patents

Abstract

本发明公开了一种基于叠加式抬头显示的矿用卡车远程应急接管系统，矿用卡车通过环境感知系统得到行驶状态信息、环境障碍物信息，并传输至车载控制器，进行多线程安全预警；通过车载5G无线数据传输设备将信息传输至云端服务器，对矿用卡车环境进行虚拟信息叠加融合处理后下载至远端遥控驾驶室，显示在远端驾驶室的显示器；远端驾驶室的驾驶员操控模拟驾驶设备，将采集到的遥控驾驶数据通过5G无线设备传输至矿用卡车车载控制器，再由车载控制器控制矿用卡车控制执行器，实现了基于叠加式抬头显示的矿用卡车远程应急接管。本发明能够实现对矿区卡车的远程遥控驾驶，提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请难的问题。

Description

一种基于叠加式抬头显示的矿用卡车远程应急接管系统

技术领域

本发明属于矿用卡车遥控驾驶技术领域，尤其涉及一种基于叠加式抬头显示的矿用卡车远程应急接管系统。

背景技术

近年来，随着增强现实、5G通信、人工智能等技术的快速发展，对车辆的遥控驾驶成为了新的研究热点。道路环境相对封闭、行驶路线较为固定且作业车辆速度较慢的矿区环境是车辆遥控驾驶最佳落地场景之一，矿区高寒、多风、粉尘及有毒有害化学物质严重摧残着矿用卡车司机的身体健康，从而带来环境、安全、效率等问题严重制约采矿业的持续快速发展。因此，国家也出台了一系列针对建设智慧矿山的相关规划，其中，无人驾驶系统可以提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请的问题。在无人驾驶系统出现异常停车或在装卸载区域作业时不能完整的完成作业任务时，为了提高异常处理的效率，保证作业连续性，就需要远程遥控驾驶配合无人驾驶系统使用，做异常处理及应急接管。

增强现实（Augmented Reality，简称 AR）通过图像、视频、三维模型构建等技术将虚拟世界融合在现实世界中，给用户提供浸入式的感知体验。目前，已将增强现实技术应用在车辆辅助驾驶、安全预警等领域中：现有技术公开了一种辅助驾驶员的车道级导航增强现实装置，通过使用基于抬头显示器(Head Up Display,简称HUD)的增强显示技术，可以避免驾驶员使用传统导航装置时不断抬头与低头，从而使眼睛不断调整焦距所产生延迟与不适。还有研究公开了一种远程车辆空间感知通知系统，通过增强现实技术将音频和视觉警报联系在一起，当感知到车辆周围出现危险，可以为驾驶提供安全预警。

上述增强现实技术虽提高了车辆安全、智能等性能，但驾驶员仍需在车辆驾驶舱之中，这并没完全解决矿区恶劣环境对驾驶员造成严重身心健康危害的问题。

发明内容

为了解决上述已有技术存在的不足，本发明根据增强现实原理，提出一种基于叠加式抬头显示的矿用卡车远程应急接管系统，能够实现对矿区卡车的远程遥控驾驶，提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请难的问题。本发明的具体技术方案如下：

一种基于叠加式抬头显示的矿用卡车远程应急接管系统，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，

所述环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，所述智能摄像头用于感知矿用卡车周围的环境信息，所述毫米波雷达用于探测障碍物的信息以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给所述车载控制器；

所述安全预警系统通过所述环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；

所述车载控制器多线程运行所述安全预警系统，通过以太网将所述环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至所述矿用卡车执行系统；

所述5G通信系统包括车载5G通信模块和远端驾驶室5G通信模块，所述车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至所述车载控制器；所述远端驾驶室5G通信模块用于从云服务器系统下载经所述叠加式抬头显示系统处理后的矿用卡车数据；

所述叠加式抬头显示系统包括叠加式抬头显示系统软件以及叠加式抬头显示硬件设备；所述叠加式抬头显示硬件设备设置于所述远端驾驶室系统中；

所述云服务器系统中运行所述叠加式抬头显示系统软件，所述云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；

所述远端驾驶室系统还包括模拟驾驶器，通过显示设备显示基于所述叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，附加行车相关信息，使所述远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为并通过所述远端驾驶室5G通信模块上传至云服务器系统。

基于矿用卡车远程应急接管系统的驾驶方法，所述驾驶方法包括以下步骤：

S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；

S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；

S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；

S4：云服务器处理环境感知系统、安全预警系统上传的车辆周边信息；

S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型，云服务器处理计算环境感知系统上传的道路边界信息，行成虚拟车道边界模型，叠加至矿区道路模型上；同时，在矿区环境模型叠加导航路径、行驶方向引导和停靠位示意图像，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据矿用卡车所在位置和前方视野对影像实时刷新，下载至远端驾驶室进行显示；

S6：远端驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态信息；

S7：通过显示设备显示经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；

S8：当远端驾驶室系统接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；

S9：远端驾驶室系统采集驾驶员驾驶行为并通过远端驾驶室5G通信模块上传至云服务器系统；

S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。

本发明的有益效果在于：

1.本发明的遥控驾驶系统及驾驶方法相比于传统驾驶舱驾驶，能够使驾驶员远离矿区恶劣的生产生活环境，保护驾驶员身心健康，提高工作效率，降低安全事故的发生。

2.本发明利用的叠加式抬头显示技术相比于传统图像、视频技术，能够将更真实客观的三维环境呈现给驾驶员，使得驾驶员有身历其境的遥控驾驶体验，从而安全高效的完成运输作业任务。

3.相比于单一功能的远程驾驶，本发明增加了安全预警系统。矿用卡车配备有摄像头、毫米波雷达等外部环境感知传感器，能够实现对矿用卡车危险状况的预警，再通过叠加式抬头显示中的音频和视觉信息向远端的遥控驾驶员提供风险预警，从而大幅提高了遥控矿用卡车的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是本发明的基于叠加式抬头显示的矿用卡车遥控驾驶系统框图；

图2是本发明的构建基于叠加式抬头显示的矿用卡车遥控驾驶系统流程图；

图3是本发明的叠加式抬头显示图像示例。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本发明以云服务器系统为桥梁，通过5G无线数据传输方式将远端遥控驾驶室与矿区中矿用卡车连接，为使得远端遥控驾驶员具有沉浸式的驾驶体验，本发明使用叠加式抬头显示技术取代传统的图片、视频方法。具体来说：首先，矿用卡车通过环境感知系统得到矿用卡车行驶状态信息、周围的环境信息及障碍物的信息，并将这些信息传输至车载控制器，进行多线程安全预警；接下来，通过车载5G通信模块将上述信息传输至云服务器系统，在云服务器系统对矿用卡车环境进行虚拟信息叠加融合处理后下载至远端遥控驾驶室，显示在远端遥控驾驶室的叠加式抬头显示设备上，并叠加行车提示信息；远端遥控驾驶室的驾驶员操控模拟驾驶设备，将采集到的遥控驾驶数据如转向、油门、制动等信息通过远端遥控驾驶室5G通信模块传输至车载控制器，再由车载控制器控制矿用卡车执行系统，从而实现基于叠加式抬头显示的矿用卡车远程应急接管。

具体地，一种基于叠加式抬头显示的矿用卡车远程应急接管系统，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，

环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，智能摄像头用于感知矿用卡车周围的环境信息，毫米波雷达用于探测障碍物的信息（障碍物的信息包括距离、速度以及角度等），以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给车载控制器；

安全预警系统通过环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；安全预警系统，包括前方碰撞预警，车道偏离预警等；前方碰撞预警系统通过环境感知系统采集的前方矿用卡车的车速、距离等信息，判断出与本车发生碰撞的风险；车道偏离预警预警系统通过智能摄像头采集的矿山图片及综合地图信息，判断出矿山的山体边界，以确定出可行驶区域，防止矿用卡车跌落悬崖。

车载控制器多线程运行安全预警系统，通过以太网将环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至矿用卡车执行系统；

5G通信系统包括车载5G通信模块和远端遥控驾驶室5G通信模块，车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至车载控制器；远端遥控驾驶室5G通信模块用于从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车数据；

叠加式抬头显示系统包括抬头显示系统软件以及抬头显示硬件设备；抬头显示硬件设备设置于远端驾驶室系统中；

云服务器系统中运行叠加式抬头显示系统软件，云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；相比于本地服务器系统，云服务器系统具有更高的算力，更低的价格，而矿区环境相对较大，且细节信息也较为详尽才能保证远程遥控驾驶的安全性，因此选择本发明使用云服务器系统。

远端遥控驾驶室系统还包括模拟驾驶器，通过显示设备显示基于叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，叠加行车提示信息，提示信息包括虚拟车道线，道路边界，导航路径，在路口提示左/右转，倒车时显示虚拟的装/卸载点及挡墙预警等，使远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为，主要包括转向，油门，制动等信号，并通过远端驾驶室5G通信模块上传至云服务器系统。

构建基于叠加式抬头显示的矿用卡车遥控驾驶系统，包括以下步骤：

Step1：构建叠加式抬头显示系统、矿用卡车及矿区环境模型；

Step2：配置云服务器系统；

Step3：搭建矿用卡车的环境感知系统及车载控制器；

Step4：调试车载5G通信模块，完成云服务器系统与车载控制器之间的信息传输；

Step5：建立远端驾驶室，包括叠加式抬头显示设备与模拟驾驶器；

Step6：调试远端驾驶室5G通信模块，完成云服务器系统与远端驾驶室之间的信息传输。

本发明通过叠加式抬头显示技术实时、准确构建作业矿用卡车的真实环境，再通过云端信息传输至安全、舒适的远端驾驶中心，以实现远程应急接管；能解决恶劣矿区环境对驾驶员身心健康产生巨大危害，从而影响矿区整体运输效率、加剧生产事故、拉升人力成本的问题。

基于前述矿用卡车远程应急接管系统的接管方法，接管方法包括以下步骤：

S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；

S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；

S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；

S4：云服务器对环境感知系统、安全预警系统上传的车辆周边信息进行处理；

S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型。云服务器对环境感知系统上传的道路边界信息进行处理计算，行成虚拟车道边界模型，叠加至矿区道路模型上。同时在矿区环境模型叠加导航路径、行驶方向引导、停靠位示意图像等驾驶辅助信息，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据卡车所在位置和前方视野对影像进行实时刷新，下载至远端驾驶室进行显示；

S6：远端遥控驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态等作业相关信息；

S7：通过显示设备显示基于经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端遥控驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；

S8：当远端驾驶室接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；

S9：远端遥控驾驶室系统采集驾驶员遥控驾驶行为并通过远端遥控驾驶室5G通信模块上传至云服务器系统；

S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶遥控行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于叠加式抬头显示的矿用卡车远程应急接管系统，其特征在于，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，

所述环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，所述智能摄像头用于感知矿用卡车周围的环境信息，所述毫米波雷达用于探测障碍物的信息以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给所述车载控制器；

所述安全预警系统通过所述环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；

所述车载控制器多线程运行所述安全预警系统，通过以太网将所述环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至所述矿用卡车执行系统；

所述5G通信系统包括车载5G通信模块和远端驾驶室5G通信模块，所述车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至所述车载控制器；所述远端驾驶室5G通信模块用于从云服务器系统下载经所述叠加式抬头显示系统处理后的矿用卡车数据；

所述叠加式抬头显示系统包括叠加式抬头显示系统软件以及叠加式抬头显示硬件设备；所述叠加式抬头显示硬件设备设置于所述远端驾驶室系统中；

所述云服务器系统中运行所述叠加式抬头显示系统软件，所述云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；

所述远端驾驶室系统还包括模拟驾驶器，通过显示设备显示基于所述叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，附加行车相关信息，使所述远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为并通过所述远端驾驶室5G通信模块上传至云服务器系统；

构建基于叠加式抬头显示的矿用卡车远程应急接管系统，包括以下步骤：

Step1：构建叠加式抬头显示系统、矿用卡车及矿区环境模型；

Step2：配置云服务器系统；

Step3：搭建矿用卡车的环境感知系统及车载控制器；

Step4：调试车载5G通信模块，完成云服务器系统与车载控制器之间的信息传输；

Step5：建立远端驾驶室，包括叠加式抬头显示设备与模拟驾驶器；

Step6：调试远端驾驶室5G通信模块，完成云服务器系统与远端驾驶室之间的信息传输。

2.基于权利要求1所述的矿用卡车远程应急接管系统的驾驶方法，其特征在于，所述驾驶方法包括以下步骤：

S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；

S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；

S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；

S4：云服务器处理环境感知系统、安全预警系统上传的车辆周边信息；

S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型，云服务器处理计算环境感知系统上传的道路边界信息，行成虚拟车道边界模型，叠加至矿区道路模型上；同时，在矿区环境模型叠加导航路径、行驶方向引导和停靠位示意图像，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据矿用卡车所在位置和前方视野对影像实时刷新，下载至远端驾驶室进行显示；

S6：远端驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态信息；

S7：通过显示设备显示经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；

S8：当远端驾驶室系统接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；

S9：远端驾驶室系统采集驾驶员驾驶行为并通过远端驾驶室5G通信模块上传至云服务器系统；

S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。

Images