CN112212874B - 车辆轨迹预测方法、装置、电子设备及计算机可读介质 - Google Patents
车辆轨迹预测方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN112212874B CN112212874B CN202011241090.5A CN202011241090A CN112212874B CN 112212874 B CN112212874 B CN 112212874B CN 202011241090 A CN202011241090 A CN 202011241090A CN 112212874 B CN112212874 B CN 112212874B
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- sidewalk
- lane
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质。该方法包括:基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。本发明涉及的基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质,能够让自动驾驶的智能车辆得到更加合理的驾驶策略,规划出更加安全的行驶路线。
Description
技术领域
本发明涉及智能汽车路径规划领域,具体而言,涉及一种基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质。
背景技术
车辆行为预测解决的是自动驾驶车辆和其他运动车辆的协同交互问题。现有的预测方法一般包括以下几种:1、基于物理规律的预测。假定运动物体的运动方式满足一定的规则。比如车辆满足运动学约束等;2、基于运动行为的预测。假定运动物体如车辆的行为是巡航,左转,右转,跟车,超车,停车等基本行为的组合;3、基于高精地图的行为预测。高精地图提供丰富的交通信息(如车道,人行道,红绿灯等)。运动物体在道路运动时跟所处的位置有一定的关系,比如车辆在左转车道,靠近人行道时它的未来运动轨迹就和这个非常相关。
其中,方法1和2适用于简单的场景,在一些复杂的场景,如车辆在路口时这些方法通常就不能给到一个好的运动轨迹,并且需要一些复杂的后处理。方法3经常是将高精地图的转换成图像的形式,把物体投影到图像,利用卷积神经网络得到物体的运动轨迹。这种做法是将高精地图的信息转化成语义图像,让神经网络去学习其中的语义,非常依赖生成语义图像的方式,同时需要对每个运动物体生成一个图像,当运动物体的个数较多时,性能受到很大的影响。
因此,需要一种新的基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本发明提供一种基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质,能够让自动驾驶的智能车辆得到更加合理的驾驶策略,规划出更加安全的行驶路线。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明的一方面,提出一种基于高精度地图的车辆轨迹预测方法,可应用于智能汽车,该方法包括:基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。
在本发明的一种示例性实施例中,还包括:基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图。
在本发明的一种示例性实施例中,基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图,包括:基于智能汽车上的感知模块获取所述智能汽车周围的环境信息;基于智能汽车上的定位模块获取所述智能汽车的本车信息;基于所述环境信息和所述本车信息生成所述高精度地图。
在本发明的一种示例性实施例中,基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,包括:基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息确定所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息;基于所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息生成所述相邻关系图。
在本发明的一种示例性实施例中,基于所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息生成所述相邻关系图,包括:所述智能汽车、所述其他车辆、所述车道、所述人行道的任意两者之间距离小于阈值时,确定其为相邻。
在本发明的一种示例性实施例中,提取所述相邻关系图中每个节点的局部特征,包括:确定所述相邻关系图中每个节点的特征;基于局部卷积网络提取所述相邻关系图中每个节点的局部特征。
在本发明的一种示例性实施例中,基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测,包括:将所述局部特征、所述相邻关系图中的相邻关系输入所述全局卷积网络中;所述全局卷积网络经过计算输出所述相邻关系图中所有节点的预测轨迹;由所述所有节点的预测轨迹中提取所述其他车辆的预测轨迹。
在本发明的一种示例性实施例中,还包括:基于历史数据对所述全局卷积网络和/或所述局部卷积网络进行训练。
在本发明的一种示例性实施例中,基于历史数据对所述全局卷积网络和/或所述局部卷积网络进行训练,包括:基于历史数据生成历史相邻关系图;将所述历史相邻关系图输入局部卷积网络,生成历史局部特征;所述历史局部特征、所述历史相邻关系图中的相邻关系输入全局卷积网络中生成所有节点的预测轨迹;将所述所有节点的预测轨迹和真实轨迹进行比较,以对所述全局卷积网络和/或所述局部卷积网络进行训练。
在本发明的一种示例性实施例中,将所述所有节点的预测轨迹和真实轨迹进行比较,包括:通过欧式距离损失函数进行比较。
根据本发明的一方面,提出一种基于高精度地图的车辆轨迹预测装置,该装置包括:信息模块,用于基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;相邻关系图模块,用于基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;局部特征模块,用于提取所述相邻关系图中每个节点的局部特征;轨迹预测模块,用于基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。
在本发明的一种示例性实施例中,还包括:高精度地图模块,用于基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图。
根据本发明的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本发明的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本发明的基于高精度地图的车辆轨迹预测方法、装置、电子设备及计算机可读介质,基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测的方式,能够让自动驾驶的智能车辆得到更加合理的驾驶策略,规划出更加安全的行驶路线。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例,本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。
图2是根据一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的示意图。
图3是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的示意图。
图4是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。
图5是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。
图6是根据一示例性实施例示出的一种基于高精度地图的车辆轨迹预测装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本发明概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的,因此不能用于限制本发明的保护范围。
图1是根据一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。基于高精度地图的车辆轨迹预测方法10至少包括步骤S102至S108。
如图1所示,在S102中,基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息。其中,高精度地图是和现在已经普及的普通导航电子地图做比较来说的。高精度,一方面是说高精度电子地图的绝对坐标精度更高。绝对坐标精度指的是地图上某个目标和真实的外部世界的事物之间的精度。另一方面,高精度地图所含有的道路交通信息元素更丰富和细致。高精度地图不仅有高精度的坐标,同时还有准确的道路形状,并且每个车道的坡度、曲率、航向、高程,侧倾的数据也都含有。普通的导航电子地图会描绘出道路,而高精度地图不仅会描绘道路,更会描绘出一条道路上有多少条车道,会真实地反映出道路的实际样式。
在S104中,基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点。
在一个实施例中,可例如基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息确定所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息;基于所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息生成所述相邻关系图。
其中,在所述智能汽车、所述其他车辆、所述车道、所述人行道的任意两者之间距离小于阈值时,确定其为相邻。
在一个具体的实施例中,可对高精度地图上的每个车(包含自动驾驶车辆),得到其所在高精地图的位置信息(如所处车道),得到相邻关系图(在同一个车道,相邻车道判断为相邻,其余情况不相邻)。在相邻关系图中,对于每个车(包含自动驾驶车辆),分析其和高精度地图中的车道,人行道的关系,更具体的,可利用距离决定其关系(可例如,两个节点在高精度地图中的距离小于50米为相邻,其余情况不相邻)。
图2,图3是根据一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的示意图。如图2所示,整体框架示意图左边为一个场景(包括最上面的人行道,两个车道,包含4个历史位置和1个当前位置的一辆车)。图2所示的场景示意图生成的相邻关系图如图3所示。
在S106中,提取所述相邻关系图中每个节点的局部特征。包括:确定所述相邻关系图中每个节点的特征;基于局部卷积网络提取所述相邻关系图中每个节点的局部特征。其中,局部卷积网络输出为一个128维的特征,用来表示该物体的局部特征。
在一个具体的实施例中,计算每个车,车道,人行道的特征,每个障碍物的历史信息作为节点。其中,车道,人行道则利用高精地图的标注点作为特征,每个节点都是相邻节点。更具体的,特征包括车辆的位置信息(相对于本车),历史位置的相对位置信息;特征的具体类型,可具体设定节点的类型,可例如车节点的类型为0,车道节点的类型为1,人行道节点的类型为2,等等。
在S108中,基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。
在一个实施例中,可例如,将所述局部特征、所述相邻关系图中的相邻关系输入所述全局卷积网络中;所述全局卷积网络经过计算输出所述相邻关系图中所有节点的预测轨迹;由所述所有节点的预测轨迹中提取所述其他车辆的预测轨迹。
更进一步的,全局图神经网络的输入为上述的所有局部图神经网络得到的特征),每个局部神经网络作为一个单独的节点,通过图神经网络与其他节点进行相互作用,每个节点输出长度为120维的结果,用来表示未来6秒内的预测结果(可例如,每0.1秒一个结果,含x,y的位置)。
如图3所示,虚线框内为局部图卷积网络,实线框内为全局图卷积网络。全局图卷积网络的每个节点会输出一条轨迹,可只保留车的轨迹。
根据本发明的基于高精度地图的车辆轨迹预测方法,基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测的方式,能够让自动驾驶的智能车辆得到更加合理的驾驶策略,规划出更加安全的行驶路线。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施例。
图4是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。图4所示的流程40是对“生成高精度地图”的详细描述。
如图4所示,在S402中,基于智能汽车上的感知模块获取所述智能汽车周围的环境信息。可通过感知模块中的一些传感器来获取所述智能汽车周围的环境信息,感知模型中的传感器可包括:lidar、摄像头、gnss、imu等等。
其中,lidar用于采集点云数据,因为激光雷达可以精确的反应出位置信息,所以激光雷达可以知道路面的宽度,红绿灯的高度,以及一些其他的信息。
其中,摄像头用于采集一些路面的标志,车道线等,因为图像的像素信息更多,而位置信息不太精确,所以采用摄像头来识别车道线,路面的一些标志等。
在S404中,基于智能汽车上的定位模块获取所述智能汽车的本车信息。定位模块用于获取定位信息。定位模块可通过传感器获取本车信息,其中,gnss可用于记录车辆的位置信息,记录了当前采集点的坐标。其中,imu可用来捕获车辆的角度和加速度信息,用来校正车辆的位置和角度。
在S406中,基于所述环境信息和所述本车信息生成所述高精度地图。可基于以上信息生成一张原始的地图,在原始地图的道路上标出路沿,车道线,红绿灯,路口,一些交通标识等。这其中的大部分的工作都可以用深度学习结合图像的方法去解决,查找出上面的一些信息并且标识出来,进而生成了一张高精度地图。
图5是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测方法的流程图。图5所示的流程50是对“全局卷积网络和/或所述局部卷积网络训练”的详细描述。
如图5所示,在S502中,基于历史数据生成历史相邻关系图。可在标准的实验场地中,对所述智能汽车的行驶信息和其行驶中的环境信息进行记录,以生成历史的高精度地图。基于历史的高精度地图提取历史上其他车辆信息、道路信息等,以生成历史相邻关系图。
在S504中,将所述历史相邻关系图输入局部卷积网络,生成历史局部特征。具体的计算方式可参考图1中的具体步骤,本发明在此不再赘述。
在S506中,所述历史局部特征、所述历史相邻关系图中的相邻关系输入全局卷积网络中生成所有节点的预测轨迹。
在S508中,将所述所有节点的预测轨迹和真实轨迹进行比较,以对所述全局卷积网络和/或所述局部卷积网络进行训练。可例如通过欧式距离损失函数进行比较。
在标准试验场地中,可对智能汽车行驶中的其他车辆的行驶轨迹进行记录,以此作为考核指标,来对全局卷积网络和/或所述局部卷积网络进行训练。在训练完毕后,可将全局卷积网络和局部卷积网络在智能汽车中进行部署,以在智能汽车的行驶过程中,实时的对其他车辆的轨迹进行预测。
在本发明中,将地图以及障碍物向量化,利用两个图模型得到其他车辆的预测轨迹。第一个图模型对各个元素(车道线,人行道,障碍物等)进行编码,图的每个节点的特征用两个向量来表示,所有的点表示一个元素,利用图卷积网络得到局部特征表示。在全局图模型中,每个节点代表着一个元素,用之前得到的局部特征表示节点的特征,再用一个图卷积网络表达各节点的相互作用,最后输出最终的预测轨迹。
在实际的应用过程中,本发明直接同时预测所有运动障碍物的轨迹信息,大大减少了计算量。本发明还利用高精地图提供的丰富信息,提取各个元素间的关系,得到更加精确的图模型,提高预测的精确性。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图6是根据另一示例性实施例示出的一种基于高精度地图的车辆轨迹预测装置的框图。如图6所示,基于高精度地图的车辆轨迹预测装置60包括:基于高精度地图的车辆轨迹预测装置60还可包括:信息模块602,相邻关系图模块604,局部特征模块606,轨迹预测模块608,高精度地图模块610。
信息模块602用于基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;
相邻关系图模块604用于基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;
局部特征模块606用于提取所述相邻关系图中每个节点的局部特征;
轨迹预测模块608用于基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。
高精度地图模块610用于基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图。
根据本发明的基于高精度地图的车辆轨迹预测装置,基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测的方式,能够让自动驾驶的智能车辆得到更加合理的驾驶策略,规划出更加安全的行驶路线。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元710可以执行如图1,图4,图5中所示的步骤。
所述存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信,使得用户能与该电子设备700交互的设备通信,和/或该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图8所示,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;提取所述相邻关系图中每个节点的局部特征;基于全局卷积网络、所述局部特征、所述相邻关系图对所述其他车辆的轨迹进行预测。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (13)
1.一种基于高精度地图的车辆轨迹预测方法,可应用于智能汽车,其特征在于,包括:
基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;
基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;
提取所述相邻关系图中每个节点的局部特征;
将所述局部特征、所述相邻关系图中的相邻关系输入全局卷积网络中;
所述全局卷积网络经过计算输出所述相邻关系图中所有节点的预测轨迹;
由所述所有节点的预测轨迹中提取所述其他车辆的预测轨迹。
2.根据权利要求1所述的方法,其特征在于,还包括:
基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图。
3.根据权利要求2所述的方法,其特征在于,基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图,包括:
基于智能汽车上的感知模块获取所述智能汽车周围的环境信息;
基于智能汽车上的定位模块获取所述智能汽车的本车信息;
基于所述环境信息和所述本车信息生成所述高精度地图。
4.根据权利要求1所述的方法,其特征在于,基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,包括:
基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息确定所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息;
基于所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息生成所述相邻关系图。
5.根据权利要求4所述的方法,其特征在于,基于所述智能汽车、所述其他车辆、所述车道、所述人行道的位置信息生成所述相邻关系图,包括:
所述智能汽车、所述其他车辆、所述车道、所述人行道的任意两者之间距离小于阈值时,确定其为相邻。
6.根据权利要求1所述的方法,其特征在于,提取所述相邻关系图中每个节点的局部特征,包括:
确定所述相邻关系图中每个节点的特征;
基于局部卷积网络提取所述相邻关系图中每个节点的局部特征。
7.根据权利要求1所述的方法,其特征在于,还包括:
基于历史数据对所述全局卷积网络和/或局部卷积网络进行训练。
8.根据权利要求7所述的方法,其特征在于,基于历史数据对所述全局卷积网络和/或所述局部卷积网络进行训练,包括:
基于历史数据生成历史相邻关系图;
将所述历史相邻关系图输入局部卷积网络,生成历史局部特征;
所述历史局部特征、所述历史相邻关系图中的相邻关系输入全局卷积网络中生成所有节点的预测轨迹;
将所述所有节点的预测轨迹和真实轨迹进行比较,以对所述全局卷积网络和/或所述局部卷积网络进行训练。
9.根据权利要求8所述的方法,其特征在于,将所述所有节点的预测轨迹和真实轨迹进行比较,包括:
通过欧式距离损失函数进行比较。
10.一种基于高精度地图的车辆轨迹预测装置,可应用于智能汽车,其特征在于,包括:
信息模块,用于基于高精度地图获取智能汽车周围的其他车辆信息、车道信息和人行道信息;
相邻关系图模块,用于基于所述智能汽车的本车信息、所述其他车辆信息、所述车道信息和所述人行道信息生成相邻关系图,其中,所述智能汽车、其他车辆、车道、人行道均为所述相邻关系图的节点;
局部特征模块,用于提取所述相邻关系图中每个节点的局部特征;
轨迹预测模块,用于将所述局部特征、所述相邻关系图中的相邻关系输入全局卷积网络中;所述全局卷积网络经过计算输出所述相邻关系图中所有节点的预测轨迹;由所述所有节点的预测轨迹中提取所述其他车辆的预测轨迹。
11.根据权利要求10所述的装置,其特征在于,还包括:
高精度地图模块,用于基于智能汽车上的感知模块和定位信息生成所述智能汽车周围的高精度地图。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241090.5A CN112212874B (zh) | 2020-11-09 | 2020-11-09 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011241090.5A CN112212874B (zh) | 2020-11-09 | 2020-11-09 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112212874A CN112212874A (zh) | 2021-01-12 |
CN112212874B true CN112212874B (zh) | 2022-09-16 |
Family
ID=74058441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011241090.5A Active CN112212874B (zh) | 2020-11-09 | 2020-11-09 | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112212874B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112689237B (zh) * | 2021-03-15 | 2021-05-25 | 四川北控聚慧物联网科技有限公司 | 一种基于WiFi的室内定位方法 |
CN113283647B (zh) * | 2021-05-19 | 2023-04-07 | 广州文远知行科技有限公司 | 一种障碍物轨迹预测的方法、装置及自动驾驶车辆 |
CN113516871A (zh) * | 2021-05-29 | 2021-10-19 | 上海追势科技有限公司 | 一种车机地下停车场导航方法 |
CN113362491B (zh) * | 2021-05-31 | 2022-05-17 | 湖南大学 | 一种车辆轨迹预测及驾驶行为分析方法 |
CN113537602B (zh) * | 2021-07-20 | 2022-12-02 | 中国第一汽车股份有限公司 | 车辆行为预测方法、装置、设备及介质 |
CN113788015B (zh) * | 2021-08-04 | 2023-04-18 | 杭州飞步科技有限公司 | 车辆轨迹的确定方法、装置、设备以及存储介质 |
CN114537432A (zh) * | 2021-11-19 | 2022-05-27 | 北京小米移动软件有限公司 | 轨迹预测方法、轨迹预测装置及存储介质 |
CN114637770A (zh) * | 2022-02-23 | 2022-06-17 | 中国第一汽车股份有限公司 | 车辆轨迹的预测方法、装置 |
CN114547223B (zh) * | 2022-02-24 | 2024-09-10 | 北京百度网讯科技有限公司 | 轨迹预测方法、轨迹预测模型的训练方法及装置 |
DE102022210504B4 (de) * | 2022-10-05 | 2024-10-10 | Continental Automotive Technologies GmbH | System und Verfahren zur Prädiktion einer zukünftigen Position eines Verkehrsteilnehmers |
WO2024138288A1 (zh) * | 2022-12-26 | 2024-07-04 | 采埃孚商用车系统(青岛)有限公司 | 用于车辆的预测性巡航控制的方法、装置和电子设备以及车辆和计算机可读介质 |
CN115931009B (zh) * | 2023-03-13 | 2023-04-28 | 北京航空航天大学 | 一种基于陀螺仪和激光测距的惯性器件离心测量方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111152783A (zh) * | 2018-11-08 | 2020-05-15 | 上海汽车集团股份有限公司 | 一种车辆智能驾驶方法、系统和智能驾驶车辆 |
CN111829545A (zh) * | 2020-09-16 | 2020-10-27 | 深圳裹动智驾科技有限公司 | 自动驾驶车辆及其运动轨迹的动态规划方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106441319B (zh) * | 2016-09-23 | 2019-07-16 | 中国科学院合肥物质科学研究院 | 一种无人驾驶车辆车道级导航地图的生成系统及方法 |
CN109937343B (zh) * | 2017-06-22 | 2023-06-13 | 百度时代网络技术(北京)有限公司 | 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 |
US11260855B2 (en) * | 2018-07-17 | 2022-03-01 | Baidu Usa Llc | Methods and systems to predict object movement for autonomous driving vehicles |
CN109849908B (zh) * | 2019-02-27 | 2020-06-26 | 江苏大学 | 基于相邻车道风险预测的车道保持辅助系统及控制方法 |
CN111523643B (zh) * | 2020-04-10 | 2024-01-05 | 商汤集团有限公司 | 轨迹预测方法、装置、设备及存储介质 |
CN111857160B (zh) * | 2020-08-17 | 2023-06-02 | 武汉中海庭数据技术有限公司 | 一种无人车路径规划方法和装置 |
-
2020
- 2020-11-09 CN CN202011241090.5A patent/CN112212874B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111152783A (zh) * | 2018-11-08 | 2020-05-15 | 上海汽车集团股份有限公司 | 一种车辆智能驾驶方法、系统和智能驾驶车辆 |
CN111829545A (zh) * | 2020-09-16 | 2020-10-27 | 深圳裹动智驾科技有限公司 | 自动驾驶车辆及其运动轨迹的动态规划方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112212874A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112212874B (zh) | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 | |
EP3674662B1 (en) | Automatic detection and positioning of pole-like objects in 3d | |
JP6637088B2 (ja) | ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め | |
US11243532B1 (en) | Evaluating varying-sized action spaces using reinforcement learning | |
US20240094398A1 (en) | Ground intensity lidar localizer | |
JP6644742B2 (ja) | 頑健で効率的な車両測位用のアルゴリズム及びインフラ | |
CN110345955A (zh) | 用于自动驾驶的感知与规划协作框架 | |
WO2018068653A1 (zh) | 点云数据处理方法、装置及存储介质 | |
CN110388931A (zh) | 将对象的二维边界框转换成自动驾驶车辆的三维位置的方法 | |
CN111656135A (zh) | 基于高清地图的定位优化 | |
CN109491375A (zh) | 用于自动驾驶车辆的基于驾驶场景的路径规划 | |
CN109947090A (zh) | 用于自动驾驶车辆规划的非阻塞边界 | |
CN108981730A (zh) | 用于为操作自动驾驶车辆生成参考路径的方法和系统 | |
CN111771207A (zh) | 增强的车辆跟踪 | |
CN110096053A (zh) | 用于自动驾驶车辆的驾驶轨迹生成方法、系统和机器可读介质 | |
CN111771135A (zh) | 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位 | |
CN110576847A (zh) | 基于焦点的对传感器数据的标记 | |
CN109491378A (zh) | 自动驾驶车辆的基于道路分段的路线引导系统 | |
CN110390240A (zh) | 自动驾驶车辆中的车道后处理 | |
WO2022021982A1 (zh) | 可行驶区域判定的方法、智能驾驶系统和智能汽车 | |
Christensen et al. | Autonomous vehicles for micro-mobility | |
CN115205391A (zh) | 一种三维激光雷达和视觉融合的目标预测方法 | |
Vu et al. | Feature mapping and state estimation for highly automated vehicles | |
de la Peña et al. | AD PerDevKit: An autonomous driving perception development kit using CARLA simulator and ROS | |
Qian et al. | A self-driving solution for resource-constrained autonomous vehicles in parked areas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |