[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109839922A - 用于控制无人驾驶车辆的方法及装置 - Google Patents

用于控制无人驾驶车辆的方法及装置 Download PDF

Info

Publication number
CN109839922A
CN109839922A CN201711215649.5A CN201711215649A CN109839922A CN 109839922 A CN109839922 A CN 109839922A CN 201711215649 A CN201711215649 A CN 201711215649A CN 109839922 A CN109839922 A CN 109839922A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
virtual
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711215649.5A
Other languages
English (en)
Other versions
CN109839922B (zh
Inventor
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711215649.5A priority Critical patent/CN109839922B/zh
Publication of CN109839922A publication Critical patent/CN109839922A/zh
Application granted granted Critical
Publication of CN109839922B publication Critical patent/CN109839922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了用于控制无人驾驶车辆的方法及装置。该方法的一具体实施方式包括:实时接收无人驾驶车辆发来的点云数据,上述点云数据用于通过三维坐标点描述空间物体;通过上述点云数据构建虚拟三维空间;确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线;基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据实时发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据生成控制指令,并通过上述控制指令控制上述无人驾驶车辆的行驶。该实施方式提高了无人驾驶车辆的行驶安全性。

Description

用于控制无人驾驶车辆的方法及装置
技术领域
本申请实施例涉及数据处理技术领域,具体涉及无人车技术领域,尤其涉及用于控制无人驾驶车辆的方法及装置。
背景技术
汽车拓展了人们出行的范围,给人们的工作和生活带来了便利,提高了人们的生活质量。随着科技的发展和进步,无人驾驶车辆可以通过多种传感器等设备感知周期的空间信息,根据空间信息对无人驾驶车辆所处的行驶环境做出判断,进而发出对应的控制指令来实现无人驾驶。为了实现无人驾驶,无人驾驶车辆需要采集大量的行驶状态数据,通过对行驶状态数据的训练来得到应对各种路况的控制指令。
发明内容
本申请实施例的目的在于提出了用于控制无人驾驶车辆的方法及装置。
第一方面,本申请实施例提供了一种用于控制无人驾驶车辆的方法,该方法包括:实时接收无人驾驶车辆发来的点云数据,上述点云数据用于通过三维坐标点描述空间物体;通过上述点云数据构建虚拟三维空间;确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线;基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据实时发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据生成控制指令,并通过所述控制指令控制上述无人驾驶车辆的行驶。
在一些实施例中,上述通过上述点云数据构建虚拟三维空间包括:从上述点云数据中筛选出静止的空间物体对应的基准点云数据;从上述基准点云数据中识别出道路信息对应的道路点云数据,上述道路信息包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息;通过上述道路点云数据构建虚拟三维空间。
在一些实施例中,上述点云数据包括多个点云数据帧构成的点云数据帧序列,以及,从上述点云数据中筛选出静止的空间物体对应的基准点云数据包括:从点云数据帧中提取形态数据,上述形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括对应物体的面的面点云数据和/或对应物体的线的线点云数据;建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系;根据空间位置关系确定对应静止的空间物体的基准点云数据。
在一些实施例中,上述确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线包括:根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定上述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列;基于上述行驶位置信息序列和行驶方向信息序列拟合得到上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线。
在一些实施例中,上述基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据包括:基于上述无人驾驶车辆的行驶路线,设置虚拟障碍物在上述虚拟三维空间中出现的时间和位置;确定上述无人驾驶车辆在上述行驶路线上对应的当前位置,并从上述当前位置获取上述虚拟障碍物的虚拟点云数据。
第二方面,本申请实施例提供了一种用于控制无人驾驶车辆的方法,该方法包括:将实时获取的点云数据发送给服务器,上述点云数据用于通过三维坐标点描述空间物体,上述服务器用于通过上述点云数据生成用于表征虚拟障碍物的虚拟点云数据;实时接收上述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据,上述行驶状态数据包括速度数据和方向数据;将上述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应上述虚拟点云数据的控制指令,上述控制指令输出模型用于根据上述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制上述无人驾驶车辆,以避免上述无人驾驶车辆与虚拟点云数据对应的虚拟障碍物发生碰撞。
在一些实施例中,上述方法还包括构建控制指令输出模型的步骤,上述构建控制指令输出模型的步骤包括:分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据,上述车辆数据包括无人驾驶车辆的重量;通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合,其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据;根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置;基于车辆瞬时状态数据和虚拟点云数据生成控制指令;利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
第三方面,本申请实施例提供了一种用于控制无人驾驶车辆的装置,该装置包括:点云数据接收单元,用于实时接收无人驾驶车辆发来的点云数据,上述点云数据用于通过三维坐标点描述空间物体;虚拟三维空间构建单元,用于通过上述点云数据构建虚拟三维空间;行驶路线确定单元,用于确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线;虚拟点云数据发送单元,用于基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据实时发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据生成控制指令,并通过所述控制指令控制上述无人驾驶车辆的行驶。
在一些实施例中,上述虚拟三维空间构建单元包括:基准点云数据筛选子单元,用于从上述点云数据中筛选出静止的空间物体对应的基准点云数据;道路点云数据识别子单元,用于从上述基准点云数据中识别出道路信息对应的道路点云数据,上述道路信息包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息;虚拟三维空间构建子单元,用于通过上述道路点云数据构建虚拟三维空间。
在一些实施例中,上述点云数据包括多个点云数据帧构成的点云数据帧序列,以及,基准点云数据筛选子单元包括:形态数据提取模块,用于从点云数据帧中提取形态数据,上述形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括对应物体的面的面点云数据和/或对应物体的线的线点云数据;空间位置关系建立模块,用于建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系;基准点云数据确定模块,用于根据空间位置关系确定对应静止的空间物体的基准点云数据。
在一些实施例中,上述行驶路线确定单元包括:信息序列确定子单元,用于根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定上述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列;行驶路线确定子单元,用于基于上述行驶位置信息序列和行驶方向信息序列拟合得到上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线。
在一些实施例中,上述虚拟点云数据发送单元包括:设置子单元,用于基于上述无人驾驶车辆的行驶路线,设置虚拟障碍物在上述虚拟三维空间中出现的时间和位置;虚拟点云数据获取子单元,用于确定上述无人驾驶车辆在上述行驶路线上对应的当前位置,并从上述当前位置获取上述虚拟障碍物的虚拟点云数据。
第四方面,本申请实施例提供了一种用于控制无人驾驶车辆的装置,该装置包括:点云数据发送单元,用于将实时获取的点云数据发送给服务器,上述点云数据用于通过三维坐标点描述空间物体,上述服务器用于通过上述点云数据生成用于表征虚拟障碍物的虚拟点云数据;虚拟点云数据接收单元,用于实时接收上述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据,上述行驶状态数据包括速度数据和方向数据;控制指令输出单元,用于将上述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应上述虚拟点云数据的控制指令,上述控制指令输出模型用于根据上述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制上述无人驾驶车辆,以避免上述无人驾驶车辆与虚拟点云数据对应的虚拟障碍物发生碰撞。
在一些实施例中,上述装置还包括控制指令输出模型构建单元,用于构建控制指令输出模型,上述控制指令输出模型构建单元包括:数据提取子单元,用于分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据,上述车辆数据包括无人驾驶车辆的重量;车辆瞬时状态数据构建子单元,用于通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合,其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据;信息设置子单元,用于根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置;控制指令生成子单元,用于基于车辆瞬时状态数据和虚拟点云数据生成控制指令;控制指令输出模型训练子单元,用于利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
第五方面,本申请实施例提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述第一方面的用于控制无人驾驶车辆的方法或第二方面的用于控制无人驾驶车辆的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述第一方面的用于控制无人驾驶车辆的方法或第二方面的用于控制无人驾驶车辆的方法。
本申请实施例提供的用于控制无人驾驶车辆的方法及装置,通过接收无人驾驶车辆发来的点云数据构建虚拟三维空间;然后确定无人驾驶车辆在虚拟三维空间中的行驶路线;最后基于行驶路线生成表征虚拟障碍物的虚拟点云数据,本申请可以通过虚拟点云数据模拟多种虚拟障碍物,提高了无人驾驶车辆的行驶安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于控制无人驾驶车辆的方法的一个实施例的流程图;
图3是根据本申请的用于控制无人驾驶车辆的方法的又一个实施例的流程图;
图4是根据本申请的用于控制无人驾驶车辆的方法的一个应用场景的示意图;
图5是根据本申请的用于控制无人驾驶车辆的装置的一个实施例的结构示意图;
图6是根据本申请的用于控制无人驾驶车辆的装置的又一个实施例的结构示意图;
图7是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于控制无人驾驶车辆的方法或用于控制无人驾驶车辆的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括点无人驾驶车辆101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
无人驾驶车辆101、102、103通过网络104与服务器105交互,以接收或发送点云数据等。无人驾驶车辆101、102、103上可以安装有各种数据处理设备,例如、点云数据采集装置、图像处理装置、速度传感器、GPS(Global Positioning System,全球定位系统)等。
无人驾驶车辆101、102、103可以是具有多个点云数据采集单元和点云数据处理单元的各种车辆,包括但不限于电动汽车、油电混合汽车和内燃机汽车等等。
服务器105可以是提供各种服务的服务器,例如对无人驾驶车辆101、102、103发来的点云数据进行处理的服务器。服务器可以对接收到的点云数据进行分析等处理,通过接收到的点云数据生成用于表征虚拟障碍物的虚拟点云数据,并将虚拟点云数据发送给无人驾驶车辆101、102、103;无人驾驶车辆101、102、103接收到虚拟点云数据后,根据上述虚拟点云数据生成控制指令,并通过控制指令控制无人驾驶车辆101、102、103的行驶。
需要说明的是,本申请实施例所提供的用于控制无人驾驶车辆的方法一般由服务器105执行,相应地,用于控制无人驾驶车辆的装置一般设置于服务器105中。服务器105可以设置在云端,还可以设置在无人驾驶车辆101、102、103上,具体视实际需要而定。
应该理解,图1中的无人驾驶车辆、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的无人驾驶车辆、网络和服务器。
继续参考图2,示出了根据本申请的用于控制无人驾驶车辆的方法的一个实施例的流程200。该用于控制无人驾驶车辆的方法包括以下步骤:
步骤201,实时接收无人驾驶车辆发来的点云数据。
在本实施例中,用于控制无人驾驶车辆的方法运行于其上的电子设备(例如图1所示的服务器105)可以通过有线连接方式或者无线连接方式从无人驾驶车辆101、102、103实时获取到无人驾驶车辆101、102、103发来的点云数据。其中,上述点云数据用于通过三维坐标描述空间物体。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
无人驾驶车辆101、102、103上安装有点云数据采集装置(通常设置在车顶等位置),点云数据采集装置可以实时采集无人驾驶车辆101、102、103在静止或行驶状态下的点云数据。之后,无人驾驶车辆101、102、103可以控制点云数据采集装置将采集的点云数据发送给服务器105。
步骤202,通过上述点云数据构建虚拟三维空间。
点云数据可以包含三维坐标,用于通过三维坐标来描述空间物体。因此,通过点云数据包含的三维坐标能够构建与实际的空间物体对应的虚拟物体,并由虚拟物体构建虚拟三维空间。其中,上述虚拟三维空间包含对应上述空间物体的虚拟物体。
在本实施例的一些可选的实现方式中,上述通过上述点云数据构建虚拟三维空间可以包括以下步骤:
第一步,从上述点云数据中筛选出静止的空间物体对应的基准点云数据。
无人驾驶车辆101、102、103在采集点云数据时,会采集无人驾驶车辆101、102、103在静止或行驶过程中遇到的静止的物体(例如建筑物)和运动的物体(例如移动中的行人或车辆)的点云数据。但是,在构建虚拟三维空间时,运动的物体往往影响虚拟三维空间的构建。因此,可以从点云数据中筛选出静止的空间物体对应的点云数据,将这些点云数据作为基准点云数据来构建虚拟三维空间。
第二步,从上述基准点云数据中识别出道路信息对应的道路点云数据。
本申请的点云数据和虚拟点云数据需要反映无人驾驶车辆101、102、103的行驶状态。因此,需要识别出与道路信息相对应的道路点云数据。其中,上述道路信息用于描述无人驾驶车辆101、102、103的行驶道路上的信息,可以包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息,还可以是立交桥或隧道等道路信息,此处不再一一赘述。
第三步,通过上述道路点云数据构建虚拟三维空间。
获得道路点云数据后,通过道路点云数据可以得到虚拟的道路、路口、红绿灯和人行横道。基准点云数据可以得到静止的空间物体对应的虚拟物体。通过虚拟物体(虚拟的道路、路口、红绿灯和人行横道、建筑物等)可以构建虚拟三维空间。
在本实施例的一些可选的实现方式中,上述点云数据可以包括多个点云数据帧构成的点云数据帧序列,以及,从上述点云数据中筛选出静止的空间物体对应的基准点云数据可以包括以下步骤:
第一步,从点云数据帧中提取形态数据。
点云数据采集装置通常以设定的周期采集无人驾驶车辆101、102、103周期的点云数据。一个周期的点云数据为一个点云数据帧,将点云数据帧按采集的先后顺序排列可以得到点云数据帧序列。
在本实施例中,形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括点云数据中对应物体的面的面点云数据和/或对应物体的线的线点云数据。例如,点云数据包括无人驾驶车辆101、102、103采集到的附近的一个红绿灯到点云数据。这个红绿灯包括一个用于显示红灯信号或绿灯信号的圆形显示牌和一根支柱,支柱固定在地面。在点云数据中,圆形显示牌相当于面,支柱相当于线,则这个红绿灯在点云数据里就表现为对应圆形显示牌的面点云数据和对应支柱的线点云数据。类似的,可以将每个物品的外表面都通过对应“面”的面点云数据和对应“线”的线点云数据进行描述。
第二步,建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系。
每个点云数据帧能获取到无人驾驶车辆101、102、103周期物体在某一时刻的点云数据。当无人驾驶车辆101、102、103处于运动状态时,相邻的两个点云数据帧中,同一物体对应的形态数据会发生变化。因此,建立相邻两点云数据帧中同一个物体的形态数据之间的对应关系,就能得到物体的形态数据之间的空间位置关系。该空间位置关系也可以反映无人驾驶车辆101、102、103当前的运动状态,例如,可以反映当前无人驾驶车辆101、102、103的行驶速度和行驶方向。
第三步,根据空间位置关系确定对应静止的空间物体的基准点云数据。
实际中,无人驾驶车辆101、102、103在行驶过程中,点云数据采集装置可以监测到移动物体(例如,其他与当前无人驾驶车辆101、102、103不同速度和/或不同方向的车辆、行人、飞鸟等)的点云数据,也可以监测到静止的空间物体(路边的建筑物、红绿灯、树木等)的点云数据。而通过点云数据构建虚拟三维空间时,只能通过静止的空间物体对应的点云数据来构建,否则,得到的虚拟三维空间就会不准确。因此,可以根据上述的空间位置关系确定出哪些形态数据对应的是运动的空间物体,哪些物体对应的是静止的空间物体。之后,以点云数据帧中与静止的空间物体对应的点云数据作为基准点云数据。
步骤203,确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线。
由上述描述可知,虚拟三维空间中的空间位置关系可以反映无人驾驶车辆101、102、103当前的运动状态,例如无人驾驶车辆101、102、103的行驶速度和行驶方向。由此,可以确定无人驾驶车辆101、102、103在每个时刻(对应点云数据帧的获取时刻)的运动状态。对无人驾驶车辆101、102、103的多个时刻的运动状态中的位置信息对应的点进行拟合等操作,可以确定无人驾驶车辆101、102、103在上述虚拟三维空间中对应的行驶路线。
在本实施例的一些可选的实现方式中,上述确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线可以包括以下步骤:
第一步,根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定上述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列。
通常情况下,对于同一个点云数据采集装置来说,两个相邻的点云数据帧之间的时间间隔是固定的。因此,在通过点云数据确定了虚拟三维空间中的物体之间的空间位置关系后,可以通过虚拟三维空间中的物体对应的点云数据的取值来确定无人驾驶车辆101、102、103在某一点云数据帧的获取时刻对应的行驶速度和行驶方向,进而得到对应点云数据帧序列的行驶位置信息序列和行驶方向信息序列。此外,还可以进一步得到对应的行驶速度信息序列等。
第二步,基于上述行驶位置信息序列和行驶方向信息序列拟合得到上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线。
得到行驶位置信息序列和行驶方向信息序列后,可以通过行驶位置信息序列确定虚拟三维空间内的对应每个点云数据帧采集时刻的位置点,并通过行驶方向信息序列确定无人驾驶车辆101、102、103在位置点处的行驶方向。然后,对多个位置点进行拟合等操作,可以得到无人驾驶车辆101、102、103在虚拟三维空间中的行驶路线。
步骤204,基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据生成控制指令,并通过上述控制指令控制上述无人驾驶车辆的行驶。
为了提高无人驾驶车辆101、102、103自动驾驶的安全性,需要训练无人驾驶车辆101、102、103在出现多种障碍物或突发情况下的控制指令,以通过控制指令控制无人驾驶车辆101、102、103避免发生碰撞等事故,保障车内人员的人身安全和无人驾驶车辆101、102、103的行驶安全。
现有技术中,训练无人驾驶车辆101、102、103避免与障碍物发生碰撞时,通常需要驾驶员来驾驶无人驾驶车辆101、102、103,然后通过车载的传感器等设备记录驾驶员的驾驶操作,进而得到对应驾驶员的驾驶行为的控制指令,以通过该控制指令避免无人驾驶车辆101、102、103与障碍物发生碰撞。但实际中,现有方法无法模拟无人驾驶车辆101、102、103行驶过程中遇到的全部障碍物或突发情况,只能模拟较为有限的、典型的障碍物。因此,通过现有技术,无人驾驶车辆101、102、103也只能学习到有限的、避免与障碍物发生碰撞的控制指令,得到的控制指令无法应对各种障碍物或突发事件,导致无人驾驶车辆101、102、103在通过现有技术得到的控制指令进行无人驾驶时的安全性不高。
为此,本申请在确定了无人驾驶车辆101、102、103在虚拟三维空间中的行驶路线后,可以在行驶路线上设置虚拟三维空间下的对应虚拟障碍物的虚拟点云数据。通过虚拟点云数据可以模拟各种实际中的障碍物或突发情况,能够使得无人驾驶车辆101、102、103学习到各种实际的障碍物或突发情况下的控制指令,以使上述无人驾驶车辆通过上述控制指令控制上述无人驾驶车辆的行驶,以保证无人驾驶车辆101、102、103的行驶安全。
在本实施例的一些可选的实现方式中,上述基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据可以包括以下步骤:
第一步,基于上述无人驾驶车辆的行驶路线,设置虚拟障碍物在上述虚拟三维空间中出现的时间和位置。
得到无人驾驶车辆101、102、103行驶路线后,可以根据行驶路线设置虚拟障碍物在虚拟三维空间出现的时间和位置。例如,无人驾驶车辆101、102、103在行驶路线上不同的位置具有不同的行驶速度和行驶角度。因此,可以针对不同的行驶位置、行驶速度和行驶角度设置虚拟障碍物出现的时间和位置。
第二步,确定上述无人驾驶车辆在上述行驶路线上对应的当前位置,并从上述当前位置获取上述虚拟障碍物的虚拟点云数据。
通过点云数据可以得到无人驾驶车辆101、102、103的行驶路线。当无人驾驶车辆101、102、103实时发来点云数据时,通过点云数据可以得到无人驾驶车辆101、102、103在行驶路线上对应的当前位置。而虚拟障碍物对应的点云数据是在虚拟三维空间中构造的,并不是在真实环境下从无人驾驶车辆101、102、103的角度获取的点云数据。因此,为了使得虚拟障碍物的点云数据能够在无人驾驶车辆101、102、103端与无人驾驶车辆101、102、103采集的点云数据进行融合,需要从无人驾驶车辆101、102、103在虚拟三维空间对应的当前位置处对虚拟障碍物对应的点云数据进行采集得到虚拟点云数据。例如,在上述的当前位置设置观测窗口,观测窗口可以用于模拟点云数据采集装置。然后将从观测窗口的角度获取虚拟障碍物的点云数据作为虚拟障碍物的虚拟点云数据。虚拟点云数据的获取方法还可以是其他方式,此处不再一一赘述。
进一步参考图3,其示出了用于控制无人驾驶车辆的方法的又一个实施例的流程300。该用于控制无人驾驶车辆的方法的流程400,包括以下步骤:
步骤301,将实时获取的点云数据发送给服务器。
其中,上述点云数据用于通过三维坐标点描述空间物体,上述服务器105用于通过上述点云数据生成用于表征虚拟障碍物的虚拟点云数据,服务器105得到虚拟点云数据的流程如上述的图2所示。
无人驾驶车辆101、102、103上安装有点云数据采集装置,点云数据采集装置可以实时采集无人驾驶车辆101、102、103在静止或行驶状态下的点云数据。无人驾驶车辆101、102、103可以控制点云数据采集装置,使得点云数据采集装置将实时采集的点云数据发送给服务器105。
步骤302,实时接收上述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据。
服务器105在得到点云数据后,通过点云数据构建虚拟三维空间;并确定无人驾驶车辆101、102、103在虚拟三维空间中的行驶路线;最后生成用于表征虚拟障碍物的虚拟点云数据,并实时发送给无人驾驶车辆101、102、103。无人驾驶车辆101、102、103接收到虚拟点云后,还可以通过多种传感器实时获取无人驾驶车辆101、102、103当前的行驶状态数据,其中,上述行驶状态数据可以包括速度数据和方向数据。
步骤303,将上述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应上述虚拟点云数据的控制指令。
无人驾驶车辆101、102、103上的车载终端可以存储有控制指令输出模型。控制指令输出模型用于根据上述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制无人驾驶车辆101、102、103,以避免无人驾驶车辆101、102、103与虚拟点云数据对应的虚拟障碍物发生碰撞(需要说明的是,此处的碰撞是指无人驾驶车辆101、102、103在虚拟三维空间中与虚拟障碍物发生的碰撞)。控制指令输出模型可以预先通过大量的样本点云数据、样本行驶状态数据和样本控制指令训练得到。当控制指令可以避免无人驾驶车辆101、102、103在虚拟三维空间中与虚拟障碍物发生的碰撞时,说明该控制指令可以在实际的行驶过程中控制无人驾驶车辆101、102、103,以避免无人驾驶车辆101、102、103与该虚拟障碍物对应的实际障碍物发生碰撞。本实施例方法简化了获取控制指令的过程,并可以通过控制指令提高无人驾驶车辆101、102、103的行驶安全性。
在本实施例的一些可选的实现方式中,上述方法还包括构建控制指令输出模型的步骤,上述构建控制指令输出模型的步骤可以包括以下步骤:
第一步,分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据。
为了训练控制指令,可以分别从现有的速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据。其中,上述车辆数据可以包括无人驾驶车辆101、102、103的重量,还可以包括无人驾驶车辆101、102、103的刹车数据等数据。
第二步,通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合。
实际中,传感器可以采集到无人驾驶车辆101、102、103在行驶过程中会出现的各种速度数据和方向数据,并且无人驾驶车辆101、102、103可以是各种轿车、货车或跑车。而不同的车在遇到相同的障碍物或突发情况时,需要不同的控制指令才可以避免与障碍物发生碰撞。因此,为了尽量获取准确有效的控制指令,还需要考虑无人驾驶车辆101、102、103自身的车辆数据,并通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据。然后,通过至少一个车辆瞬时状态数据构建车辆瞬时状态数据集合。其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据,即车辆瞬时状态数据为速度数据、方向数据和车辆数据之间的各种组合,通过车辆瞬时状态数据可以模拟各种无人驾驶车辆101、102、103在各种行驶速度和行驶方向下的行驶状态。
第三步,根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置。
在无人驾驶车辆101、102、103的实际行驶过程中,障碍物可能出现在任何的时间和位置。为了模拟各种可能出现的障碍物,可以设置虚拟点云数据对应的虚拟障碍物,并根据车辆瞬时状态数据设置虚拟障碍物出现的时间和位置。
第四步,基于车辆瞬时状态数据和虚拟点云数据生成控制指令。
通过无人驾驶车辆101、102、103的车辆瞬时状态数据、无人驾驶车辆101、102、103与虚拟障碍物之间的位置关系、虚拟障碍物出现的时间等条件,可以生成对应的控制指令,以便无人驾驶车辆101、102、103通过该指控指令避免与虚拟障碍物对应的实际障碍物发生碰撞。
第五步,利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
控制指令输出模型可以用于表征车辆瞬时状态数据、虚拟点云数据和控制指令之间的对应关系。作为示例,控制指令输出模型可以是技术人员基于对大量的速度数据、方向数据、虚拟点云数据和车辆数据的统计而预先制定的、存在有车辆瞬时状态数据、虚拟点云数据和控制指令之间的对应关系的计算公式和/或对应关系表。
继续参见图4,图4是根据本实施例的用于控制无人驾驶车辆的方法的应用场景的一个示意图。在图4的应用场景中,无人驾驶车辆103上的点云数据采集装置将采集到的点云数据发送给服务器105;服务器105通过点云数据构建虚拟三维空间;然后确定无人驾驶车辆103在虚拟三维空间中对应的行驶路线;最后生成用于表征虚拟障碍物的虚拟点云数据,并将虚拟点云数据发送给无人驾驶车辆103。无人驾驶车辆103接收到虚拟点云数据后,会认为点云数据采集装置采集到了对应虚拟点云数据的障碍物401的点云数据,进而输出对应的控制指令来控制无人驾驶车辆103的自动驾驶,避免无人驾驶车辆103与对应虚拟点云数据的障碍物401发送碰撞。
本申请的上述实施例提供的方法通过接收无人驾驶车辆发来的点云数据构建虚拟三维空间;然后确定无人驾驶车辆在虚拟三维空间中对应的行驶路线;最后基于行驶路线生成表征虚拟障碍物的虚拟点云数据,本申请可以通过虚拟点云数据模拟多种虚拟障碍物,提高了无人驾驶车辆的行驶安全性。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于控制无人驾驶车辆的装置的一个实施例,该装置实施例与图3所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于控制无人驾驶车辆的装置500可以包括:点云数据接收单元501、虚拟三维空间构建单元502、行驶路线确定单元503和虚拟点云数据发送单元504。其中,点云数据接收单元501用于实时接收无人驾驶车辆发来的点云数据,上述点云数据用于通过三维坐标点描述空间物体;虚拟三维空间构建单元502用于通过上述点云数据构建虚拟三维空间;行驶路线确定单元503用于确定上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线;虚拟点云数据发送单元504用于基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据实时发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据生成控制指令,并通过上述控制指令控制上述无人驾驶车辆的行驶。
在本实施例的一些可选的实现方式中,上述虚拟三维空间构建单元502可以包括:基准点云数据筛选子单元(图中未示出)、道路点云数据识别子单元(图中未示出)和虚拟三维空间构建子单元(图中未示出)。其中,基准点云数据筛选子单元用于从上述点云数据中筛选出静止的空间物体对应的基准点云数据;道路点云数据识别子单元用于从上述基准点云数据中识别出道路信息对应的道路点云数据,上述道路信息包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息;虚拟三维空间构建子单元用于通过上述道路点云数据构建虚拟三维空间。
在本实施例的一些可选的实现方式中,上述点云数据包括多个点云数据帧构成的点云数据帧序列,以及基准点云数据筛选子单元可以包括:形态数据提取模块(图中未示出)、空间位置关系建立模块(图中未示出)和基准点云数据确定模块(图中未示出)。其中,形态数据提取模块用于从点云数据帧中提取形态数据,上述形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括对应物体的面的面点云数据和/或对应物体的线的线点云数据;空间位置关系建立模块用于建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系;基准点云数据确定模块用于根据空间位置关系确定对应静止的空间物体的基准点云数据。
在本实施例的一些可选的实现方式中,上述行驶路线确定单元503可以包括:信息序列确定子单元(图中未示出)和行驶路线确定子单元(图中未示出)。其中,信息序列确定子单元用于根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定上述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列;行驶路线确定子单元用于基于上述行驶位置信息序列和行驶方向信息序列拟合得到上述无人驾驶车辆在上述虚拟三维空间中对应的行驶路线。
在本实施例的一些可选的实现方式中,上述虚拟点云数据发送单元504可以包括:设置子单元(图中未示出)和虚拟点云数据获取子单元(图中未示出)。其中,设置子单元用于基于上述无人驾驶车辆的行驶路线,设置虚拟障碍物在上述虚拟三维空间中出现的时间和位置;虚拟点云数据获取子单元用于确定上述无人驾驶车辆在上述行驶路线上对应的当前位置,并从上述当前位置获取上述虚拟障碍物的虚拟点云数据。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种用于控制无人驾驶车辆的装置的一个实施例,该装置实施例与图3所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的用于控制无人驾驶车辆的装置600可以包括:点云数据发送单元601、虚拟点云数据接收单元602和控制指令输出单元603。其中,点云数据发送单元601用于将实时获取的点云数据发送给服务器,上述点云数据用于通过三维坐标点描述空间物体,上述服务器用于通过上述点云数据生成用于表征虚拟障碍物的虚拟点云数据;虚拟点云数据接收单元602用于实时接收上述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据,上述行驶状态数据包括速度数据和方向数据;控制指令输出单元603用于将上述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应上述虚拟点云数据的控制指令,上述控制指令输出模型用于根据上述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制上述无人驾驶车辆,以避免上述无人驾驶车辆与虚拟点云数据对应的虚拟障碍物发生碰撞。
在本实施例的一些可选的实现方式中,用于控制无人驾驶车辆的装置600还可以包括控制指令输出模型构建单元(图中未示出),用于构建控制指令输出模型,上述控制指令输出模型构建单元可以包括:数据提取子单元(图中未示出)、车辆瞬时状态数据构建子单元(图中未示出)、信息设置子单元(图中未示出)、控制指令生成子单元(图中未示出)和控制指令输出模型训练子单元(图中未示出)。其中,数据提取子单元用于分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据,上述车辆数据包括无人驾驶车辆的重量;车辆瞬时状态数据构建子单元用于通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合,其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据;信息设置子单元用于根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置;控制指令生成子单元用于基于车辆瞬时状态数据和虚拟点云数据生成控制指令;控制指令输出模型训练子单元用于利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
本实施例还提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述的用于控制无人驾驶车辆的方法。
本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的用于控制无人驾驶车辆的方法。
下面参考图7,其示出了适于用来实现本申请实施例的服务器的计算机系统700的结构示意图。图7示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括点云数据接收单元、虚拟三维空间构建单元、行驶路线确定单元和虚拟点云数据发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,虚拟点云数据发送单元还可以被描述为“用于发送虚拟点云数据的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:实时接收无人驾驶车辆发来的点云数据,上述点云数据用于通过三维坐标点描述空间物体;通过上述点云数据构建虚拟三维空间;确定上述无人驾驶车辆在上述虚拟三维空间中的行驶路线;基于上述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将上述虚拟点云数据实时发送给上述无人驾驶车辆,以使上述无人驾驶车辆通过上述虚拟点云数据控制上述无人驾驶车辆的行驶。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于控制无人驾驶车辆的方法,其特征在于,所述方法包括:
实时接收无人驾驶车辆发来的点云数据,所述点云数据用于通过三维坐标点描述空间物体;
通过所述点云数据构建虚拟三维空间;
确定所述无人驾驶车辆在所述虚拟三维空间中对应的行驶路线;
基于所述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将所述虚拟点云数据实时发送给所述无人驾驶车辆,以使所述无人驾驶车辆通过所述虚拟点云数据生成控制指令,并通过所述控制指令控制所述无人驾驶车辆的行驶。
2.根据权利要求1所述的方法,其特征在于,所述通过所述点云数据构建虚拟三维空间包括:
从所述点云数据中筛选出静止的空间物体对应的基准点云数据;
从所述基准点云数据中识别出道路信息对应的道路点云数据,所述道路信息包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息;
通过所述道路点云数据构建虚拟三维空间。
3.根据权利要求2所述的方法,其特征在于,所述点云数据包括多个点云数据帧构成的点云数据帧序列,以及
从所述点云数据中筛选出静止的空间物体对应的基准点云数据包括:
从点云数据帧中提取形态数据,所述形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括对应物体的面的面点云数据和/或对应物体的线的线点云数据;
建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系;
根据空间位置关系确定对应静止的空间物体的基准点云数据。
4.根据权利要求2所述的方法,其特征在于,所述确定所述无人驾驶车辆在所述虚拟三维空间中对应的行驶路线包括:
根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定所述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列;
基于所述行驶位置信息序列和行驶方向信息序列拟合得到所述无人驾驶车辆在所述虚拟三维空间中对应的行驶路线。
5.根据权利要求4所述的方法,其特征在于,所述基于所述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据包括:
基于所述无人驾驶车辆的行驶路线,设置虚拟障碍物在所述虚拟三维空间中出现的时间和位置;
确定所述无人驾驶车辆在所述行驶路线上对应的当前位置,并从所述当前位置获取所述虚拟障碍物的虚拟点云数据。
6.一种用于控制无人驾驶车辆的方法,其特征在于,所述方法包括:
将实时获取的点云数据发送给服务器,所述点云数据用于通过三维坐标点描述空间物体,所述服务器用于通过所述点云数据生成用于表征虚拟障碍物的虚拟点云数据;
实时接收所述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据,所述行驶状态数据包括速度数据和方向数据;
将所述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应所述虚拟点云数据的控制指令,所述控制指令输出模型用于根据所述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制所述无人驾驶车辆,以避免所述无人驾驶车辆与虚拟点云数据对应的虚拟障碍物发生碰撞。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括构建控制指令输出模型的步骤,所述构建控制指令输出模型的步骤包括:
分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据,所述车辆数据包括无人驾驶车辆的重量;
通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合,其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据;
根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置;
基于车辆瞬时状态数据和虚拟点云数据生成控制指令;
利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
8.一种用于控制无人驾驶车辆的装置,其特征在于,所述装置包括:
点云数据接收单元,用于实时接收无人驾驶车辆发来的点云数据,所述点云数据用于通过三维坐标点描述空间物体;
虚拟三维空间构建单元,用于通过所述点云数据构建虚拟三维空间;
行驶路线确定单元,用于确定所述无人驾驶车辆在所述虚拟三维空间中对应的行驶路线;
虚拟点云数据发送单元,用于基于所述行驶路线上生成用于表征虚拟障碍物的虚拟点云数据,并将所述虚拟点云数据实时发送给所述无人驾驶车辆,以使所述无人驾驶车辆通过所述虚拟点云数据生成控制指令,并通过所述控制指令控制所述无人驾驶车辆的行驶。
9.根据权利要求8所述的装置,其特征在于,所述虚拟三维空间构建单元包括:
基准点云数据筛选子单元,用于从所述点云数据中筛选出静止的空间物体对应的基准点云数据;
道路点云数据识别子单元,用于从所述基准点云数据中识别出道路信息对应的道路点云数据,所述道路信息包括以下至少一项:道路位置信息、路口位置信息、红绿灯位置信息和人行横道位置信息;
虚拟三维空间构建子单元,用于通过所述道路点云数据构建虚拟三维空间。
10.根据权利要求9所述的装置,其特征在于,所述点云数据包括多个点云数据帧构成的点云数据帧序列,以及
基准点云数据筛选子单元包括:
形态数据提取模块,用于从点云数据帧中提取形态数据,所述形态数据用于表征物体的面的形态特征和物体的线的形态特征,包括对应物体的面的面点云数据和/或对应物体的线的线点云数据;
空间位置关系建立模块,用于建立点云数据帧序列中相邻两个点云数据帧中形态数据之间的空间位置关系;
基准点云数据确定模块,用于根据空间位置关系确定对应静止的空间物体的基准点云数据。
11.根据权利要求9所述的装置,其特征在于,所述行驶路线确定单元包括:
信息序列确定子单元,用于根据点云数据帧序列中相邻两个点云数据帧之间的间隔时间和点云数据确定所述无人驾驶车辆在虚拟三维空间中的行驶位置信息序列和行驶方向信息序列;
行驶路线确定子单元,用于基于所述行驶位置信息序列和行驶方向信息序列拟合得到所述无人驾驶车辆在所述虚拟三维空间中对应的行驶路线。
12.根据权利要求11所述的装置,其特征在于,所述虚拟点云数据发送单元包括:
设置子单元,用于基于所述无人驾驶车辆的行驶路线,设置虚拟障碍物在所述虚拟三维空间中出现的时间和位置;
虚拟点云数据获取子单元,用于确定所述无人驾驶车辆在所述行驶路线上对应的当前位置,并从所述当前位置获取所述虚拟障碍物的虚拟点云数据。
13.一种用于控制无人驾驶车辆的装置,其特征在于,所述装置包括:
点云数据发送单元,用于将实时获取的点云数据发送给服务器,所述点云数据用于通过三维坐标点描述空间物体,所述服务器用于通过所述点云数据生成用于表征虚拟障碍物的虚拟点云数据;
虚拟点云数据接收单元,用于实时接收所述服务器发来的虚拟点云数据,并实时获取无人驾驶车辆的行驶状态数据,所述行驶状态数据包括速度数据和方向数据;
控制指令输出单元,用于将所述虚拟点云数据和行驶状态数据导入预先训练的控制指令输出模型,输出对应所述虚拟点云数据的控制指令,所述控制指令输出模型用于根据所述虚拟点云数据和行驶状态数据输出控制指令,控制指令用于控制所述无人驾驶车辆,以避免所述无人驾驶车辆与虚拟点云数据对应的虚拟障碍物发生碰撞。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括控制指令输出模型构建单元,用于构建控制指令输出模型,所述控制指令输出模型构建单元包括:
数据提取子单元,用于分别从速度数据集合、方向数据集合、虚拟点云数据集合和车辆数据集合中提取速度数据、方向数据、虚拟点云数据和车辆数据,所述车辆数据包括无人驾驶车辆的重量;
车辆瞬时状态数据构建子单元,用于通过速度数据、方向数据和车辆数据构建无人驾驶车辆的车辆瞬时状态数据集合,其中,车辆瞬时状态数据集合中的每个车辆瞬时状态数据包括一个速度数据、一个方向数据和一个车辆数据;
信息设置子单元,用于根据车辆瞬时状态数据设置与虚拟点云数据对应的虚拟障碍物出现的时间和位置;
控制指令生成子单元,用于基于车辆瞬时状态数据和虚拟点云数据生成控制指令;
控制指令输出模型训练子单元,用于利用机器学习方法,将车辆瞬时状态数据和虚拟点云数据作为输入,将控制指令作为输出,训练得到控制指令输出模型。
15.一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至5中任一所述的方法或权利要求6至7中任一所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一所述的方法或权利要求6至7中任一所述的方法。
CN201711215649.5A 2017-11-28 2017-11-28 用于控制无人驾驶车辆的方法及装置 Active CN109839922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711215649.5A CN109839922B (zh) 2017-11-28 2017-11-28 用于控制无人驾驶车辆的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711215649.5A CN109839922B (zh) 2017-11-28 2017-11-28 用于控制无人驾驶车辆的方法及装置

Publications (2)

Publication Number Publication Date
CN109839922A true CN109839922A (zh) 2019-06-04
CN109839922B CN109839922B (zh) 2020-11-10

Family

ID=66881034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711215649.5A Active CN109839922B (zh) 2017-11-28 2017-11-28 用于控制无人驾驶车辆的方法及装置

Country Status (1)

Country Link
CN (1) CN109839922B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110789533A (zh) * 2019-09-25 2020-02-14 华为技术有限公司 一种数据呈现的方法及终端设备
CN110908385A (zh) * 2019-12-05 2020-03-24 深圳市大富科技股份有限公司 行驶路线确定方法及相关设备
CN112419719A (zh) * 2020-11-18 2021-02-26 济南北方交通工程咨询监理有限公司 高速公路交通运营安全评价方法及系统
CN112445215A (zh) * 2019-08-29 2021-03-05 阿里巴巴集团控股有限公司 自动导引车行驶控制方法、装置及计算机系统
CN113110459A (zh) * 2021-04-20 2021-07-13 上海交通大学 一种多足机器人运动规划方法
WO2021170015A1 (zh) * 2020-02-25 2021-09-02 华为技术有限公司 获取点云数据的方法及相关设备
CN114291084A (zh) * 2019-10-09 2022-04-08 北京百度网讯科技有限公司 用于控制车辆的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
CN105260988A (zh) * 2015-09-09 2016-01-20 百度在线网络技术(北京)有限公司 一种高精地图数据的处理方法和装置
WO2016057181A1 (en) * 2014-10-10 2016-04-14 Irobot Corporation Mobile robot area cleaning
CN105702152A (zh) * 2016-04-28 2016-06-22 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN105761306A (zh) * 2016-01-29 2016-07-13 珠海汇迪科技有限公司 一种基于景深图像或者点云的路面模型及其建立方法
CN106154834A (zh) * 2016-07-20 2016-11-23 百度在线网络技术(北京)有限公司 用于控制无人驾驶车辆的方法和装置
US9554508B2 (en) * 2014-03-31 2017-01-31 Irobot Corporation Autonomous mobile robot
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN107063711A (zh) * 2017-04-21 2017-08-18 百度在线网络技术(北京)有限公司 用于测试无人车的方法和装置
CN107218941A (zh) * 2017-05-25 2017-09-29 百度在线网络技术(北京)有限公司 应用于无人驾驶汽车的测试方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
US9554508B2 (en) * 2014-03-31 2017-01-31 Irobot Corporation Autonomous mobile robot
WO2016057181A1 (en) * 2014-10-10 2016-04-14 Irobot Corporation Mobile robot area cleaning
CN105260988A (zh) * 2015-09-09 2016-01-20 百度在线网络技术(北京)有限公司 一种高精地图数据的处理方法和装置
CN105761306A (zh) * 2016-01-29 2016-07-13 珠海汇迪科技有限公司 一种基于景深图像或者点云的路面模型及其建立方法
CN105702152A (zh) * 2016-04-28 2016-06-22 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN106154834A (zh) * 2016-07-20 2016-11-23 百度在线网络技术(北京)有限公司 用于控制无人驾驶车辆的方法和装置
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN107063711A (zh) * 2017-04-21 2017-08-18 百度在线网络技术(北京)有限公司 用于测试无人车的方法和装置
CN107218941A (zh) * 2017-05-25 2017-09-29 百度在线网络技术(北京)有限公司 应用于无人驾驶汽车的测试方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445215A (zh) * 2019-08-29 2021-03-05 阿里巴巴集团控股有限公司 自动导引车行驶控制方法、装置及计算机系统
CN110789533A (zh) * 2019-09-25 2020-02-14 华为技术有限公司 一种数据呈现的方法及终端设备
WO2021057344A1 (zh) * 2019-09-25 2021-04-01 华为技术有限公司 一种数据呈现的方法及终端设备
CN114291084A (zh) * 2019-10-09 2022-04-08 北京百度网讯科技有限公司 用于控制车辆的方法和装置
CN110908385A (zh) * 2019-12-05 2020-03-24 深圳市大富科技股份有限公司 行驶路线确定方法及相关设备
WO2021170015A1 (zh) * 2020-02-25 2021-09-02 华为技术有限公司 获取点云数据的方法及相关设备
CN112419719A (zh) * 2020-11-18 2021-02-26 济南北方交通工程咨询监理有限公司 高速公路交通运营安全评价方法及系统
CN112419719B (zh) * 2020-11-18 2022-06-07 济南北方交通工程咨询监理有限公司 高速公路交通运营安全评价方法及系统
CN113110459A (zh) * 2021-04-20 2021-07-13 上海交通大学 一种多足机器人运动规划方法

Also Published As

Publication number Publication date
CN109839922B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN109839922A (zh) 用于控制无人驾驶车辆的方法及装置
CN112789619B (zh) 一种仿真场景的构建方法、仿真方法以及设备
CN107571864B (zh) 无人驾驶车辆的数据采集方法和装置
CN106153352B (zh) 一种无人驾驶车辆测试验证平台及其测试方法
CN106991041B (zh) 用于测试用于自主车辆的软件的方法和装置
CN107063711A (zh) 用于测试无人车的方法和装置
JP6811335B2 (ja) 自動運転シミュレータ及び自動運転シミュレータ用地図生成方法
CN110160804A (zh) 一种自动驾驶车辆的测试方法、装置及系统
CN108694367A (zh) 一种驾驶行为模型的建立方法、装置和系统
CN201417516Y (zh) 机动车驾驶员科目三自动化考试系统
CN107807542A (zh) 自动驾驶仿真系统
CN109520744A (zh) 自动驾驶车辆的驾驶性能测试方法和装置
CN109583384A (zh) 用于无人驾驶车的避障方法和装置
CN108414232B (zh) 一种无人驾驶车辆测试系统
CN109901546A (zh) 辅助驾驶车辆硬件在环仿真测试方法和系统
CN107272683A (zh) 基于acp方法的平行智能车控制系统
CN105938052A (zh) 一种用于智能车车辆测试的交互方法及系统
CN107063713A (zh) 应用于无人驾驶汽车的测试方法和装置
CN107063710A (zh) 用于测试无人车的方法和装置
CN105096688A (zh) 基于bim仿真环境的驾驶模拟控制系统
CN105654808A (zh) 一种基于实际机动车的机动车驾驶人智能化训练系统
CN105739534A (zh) 基于车联网的无人驾驶车多车协同驾驶方法及装置
CN106781493A (zh) 一种车辆排队长度模拟系统、方法和装置
CN109637137A (zh) 基于车路协同的交通管理系统
CN108422949B (zh) 用于无人驾驶车辆的信息共享方法、装置、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant