CN115147790A - 一种基于图神经网络的车辆未来轨迹预测方法 - Google Patents

Abstract

本发明公开了一种基于图神经网络的车辆未来轨迹预测方法，包括如下步骤：步骤1：数据采集：步骤2：制作训练数据：步骤3：神经网络搭建：步骤4：进行模型训练：步骤5：将测试集输入训练完成的图神经网络模型，得到轨迹预测的结果。本发明所述方法是基于图神经网络(GNN)的多模态轨迹预测算法，道路图和待预测车辆的时间序列会输入深度学习模型，输出预测轨迹；模型输出的是多条轨迹及其对应的置信概率，从而避免模型为了降低损失函数值而输出多条轨迹的均值的行为(模式崩塌)；当神经网络训练好之后，在模型见到训练数据中没有存在过的实时路况和交通参与者的状态时，模型会基于已有经验对新数据作出预测。

Description

一种基于图神经网络的车辆未来轨迹预测方法

技术领域

本发明涉及智能驾驶技术领域，具体涉及一种基于图神经网络的车辆未来轨迹预测方法。

背景技术

自动驾驶车辆在行驶过程中需要与两种环境信息进行频繁的交互，这两种环境信息是静态信息和动态信息，其中，静态信息主要是道路约束信息，如车道边界、道路限速、道路航向、静态障碍物等；而动态信息主要是自动驾驶车辆周边的其它交通参与者，包括车辆和行人，以及红绿灯状态。提供自动驾驶的安全性就需要对自车规划出安全的未来行驶轨迹，而保证这种规划的安全就需要对周边交通参与者未来趋势或轨迹的准确预测。同时周边交通参与者的未来轨迹也是与其所处的静态和动态环境交互得出的。因此，轨迹预测算法的研究对于自动驾驶车辆的决策规划和运动控制的安全性和准确性有着至关重要的作用，也对自动驾驶车辆理解环境信息发挥着重要作用。

目前，车辆未来轨迹的预测方法主要分为两大类：1)基于运动学模型和曲线拟合的轨迹预测方法：该方法基于物理定律考虑了车辆的惯性、转向和施加的力，通过模拟车辆进行满足特定运动学模型的运动、或者曲线拟合车辆过去一定时间段内的轨迹得到车辆未来短时间内的运动轨迹，比如将车辆在瞬时的转向看作匀速圆周运动来求解。该方法在无交互的空旷路况中取得了令人满意的性能结果。然而完全基于物理自车和目标车辆的物理规律，而无视道路环境和与周边车辆的交互是该方法的致命缺陷，这导致了基于运动学模型的方法无法适应有复杂交互的真实路况，在复杂场景下的性能和安全性急剧下降。2) 基于深度学习的轨迹预测方法：随着数据量和计算机算力的不断增长，使得基于深度学习的轨迹预测方法变得可行。深度学习方法以数据为驱动，同时考虑车辆周边地图感知信息和周报车辆历史轨迹的特征信息，使得模型能够较好的适应复杂路况，且克服了传统机器学习手工特征工程鲁棒性差的缺点，使得该类方法逐渐成为行业主流。

现有基于卷积神经网络(CNN)的深度学习轨迹预测算法，大多是基于BEV栅格图，同时编码周边交通参与者(以下简称agent)历史轨迹信息和静态地图信息，将agent的历史轨迹也编码为了图像信息，使用卷积神经网络隐式学习轨迹序列和目标跟踪id，然而，擅长编码局部信息的卷积神经网络并不一定可以对编码在栅格图中的时间序列进行良好的特征提取。同时，要对大范围的环境信息进行学习要求卷积神经网络有足够大的感受野，而这可能会丢失对细粒度特征(如局部交互)的理解。所以，现有技术在自动驾驶场景中对行人和车辆未来轨迹进行预测时，难以充分考虑交通参与者之间的交互、以及交通参与者与道路环境之间的交互，并且，无法对场景语义信息更加显式地进行建模。

发明内容

针对现有技术存在的上述不足，本发明的目的在于提供一种基于图神经网络的车辆未来轨迹预测方法，以解决现有技术中难以充分考虑交通参与者之间的交互、以及交通参与者与道路环境之间的交互、且无法对场景语义信息更加显式地进行建模的问题。

为了解决上述技术问题，本发明采用如下技术方案：

本发明提供一种基于图神经网络的车辆未来轨迹预测方法，包括如下步骤：

步骤1：数据采集：获取交通参与者、周边交通参与者的视觉感知信息、传感定位信息以及高精地图信息，并对获取的信息进行处理；

步骤2：制作训练数据：根据传感定位信息和高精地图构建道路图，然后构建周边交通参与者和自车轨迹的时间序列，生成真值未来轨迹和多模态轨迹；

步骤3：神经网络搭建：基于自车、周边交通参与者的时间序列，以及道路图中包含的每个节点中的空间序列，使用循环神经网络LSTM进行编码，并用LSTM中的隐向量来表征整个序列特征；

步骤4：进行模型训练：构建关于多模态分类和元素偏移量准确性的负对数似然损失函数：

；

式中，M表示模态数量、H表示预测的时间步数，N表示二维高斯分布、s表示真实轨迹点、a表示静态轨迹anchor、μ表示高斯分布均值、Σ表示二维高斯分布的协方差矩阵、x表示输入样本、θ表示网络参数。神经网络模型通过梯度反向传播优化模型参数，使损失函数逐步下降、性能指标逐步提升。

步骤5：将测试集输入训练完成的图神经网络模型，得到轨迹预测的结果。

与现有技术相比，本发明具有如下有益效果：

1、本发明所述方法是基于图神经网络(GNN)的多模态轨迹预测算法，道路图和待预测车辆的时间序列会输入深度学习模型，输出预测轨迹；模型输出的是多条轨迹及其对应的置信概率，从而避免模型为了降低损失函数值而输出多条轨迹的均值的行为(模式崩塌)；当神经网络训练好之后，在模型见到训练数据中没有存在过的实时路况和交通参与者的状态时，模型会基于已有经验对新数据做出预测。

2、本发明所述方法和基于规则与运动学的方法不同，本发明通过采集大量人类驾驶员在现实场景中的实际驾驶数据进行训练学习，本发明所述方法能够捕捉待预测交通参与者周边道路信息、待预测交通参与者周边交通参与者当前位置和历史运动状态、以及交通参与者与交通参与者、交通参与者与道路信息之间的复杂交互，让深度学习模型学习人类驾驶员的实际判断，进而实现在复杂场景下的车辆轨迹准确预测。

具体实施方式

为了使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于图神经网络的车辆未来轨迹预测方法，基于图神经网络(GNN)的多模态轨迹预测算法。道路图和待预测车辆的时间序列会输入深度学习模型，输出预测轨迹。模型输出的是多条轨迹及其对应的置信概率，从而避免模型为了降低损失函数值而输出多条轨迹的均值的行为(模式崩塌)。当神经网络训练好之后，在模型见到训练数据中没有存在过的实时路况和交通参与者状态时，模型会基于已有经验对新数据作出预测。和基于规则与运动学的方法不同，本发明通过采集大量人类驾驶员在现实场景中的实际驾驶数据进行训练学习，最终让深度学习模型学习人类驾驶员的实际判断；和卷积神经网络隐式编码交通参与者历史序列不同，本发明使用循环神经网络(RNN)编码时间序列。

具体包括如下步骤：

步骤1：数据采集：获取交通参与者、周边交通参与者的视觉感知信息、传感定位信息以及高精地图信息，并对获取的信息进行处理。其中，信息处理包括如下步骤：

首先，通过视觉传感器采集周边交通参与者的实时信息，并将实时信息分割成序列信息；其次，根据自车在全局坐标系下的定位和航向，以及周边交通参与者在自车坐标系下的定位，将周边交通参与者的坐标映射至全局坐标系；最后，生成交通参与者以帧为单位的数据片段。

在具体实施时，首先，将无人驾驶车辆搭载的视觉传感器采集到的周边agent实时信息(位置、航向、加速度、宽高、转向率等)分割为以(帧,agent_id)对为单位的序列信息，每一帧对应多个agent_id，采样频率为1Hz，即相邻两帧之间在时间上的间隔为0.1s。然后，根据定位端给出的自车在全局坐标系下的定位和航向以及视觉感知给出的周边agent在自车坐标系下的定位，将周边agent的坐标映射到全局坐标系。最后，生成agent的以帧为单位的数据片段。

步骤2：制作训练数据：根据传感定位信息和高精地图构建道路图，然后构建周边交通参与者和自车轨迹的时间序列，生成真值未来轨迹和多模态轨迹。其中，所述道路图由节点和边组成，节点通过离散化的车道中心线和车道边界线每隔一定距离采样获得，边由节点之间的空间拓扑关系获得。每个节点包含一定距离的离散化点空间序列，每个离散化点包括该点的标志位信息。所述边包括前驱边，后继边，左换道边，右换道边。

构建周边交通参与者和自车轨迹的时间序列包括如下步骤：

在过去设定时间内，对采集到的数据帧进行滑窗采样，生成间隔时间为设定值的历史轨迹点序列；所述轨迹点包括该交通参与者的位置、航向、速度、加速度、转向率、是否静止标志位；其中，所述位置和航向都位于待预测交通参与者的自车坐标系下。

所述真值未来轨迹通过如下步骤生成：

在未来设定时间内，对采集到的数据帧进行滑窗采样，生成间隔时间为设定值的未来轨迹点序列；所述轨迹点包括该交通参与者的位置、航向、速度、加速度、转向率、是否静止标志位；其中，所述位置和航向都位于待预测交通参与者的自车坐标系下。

所述多模态轨迹通过如下方法获得：

对一定数量的真实轨迹进行聚类、剪枝，获得真实多模态轨迹。

该步骤在具体实施时，首先，根据定位和高精地图信息构建道路Graph。道路Graph由节点和边组成，节点由离散化的车道中心线和车道边界线每隔一定距离采样得到，即每个节点包含了一定距离的离散化点空间序列，每个离散化点包括该点处的位置、航向、是否位于停止线等标志位组成。道路Graph的边由节点间的空间拓扑关系得到，一共包含4种边：{前驱边，后继边，左换道边，右换道边}。构造好的Graph会用于后续图神经网络的学习。然后，构建周边agent和自车轨迹时间序列。通过对采集数据帧滑窗采样过去2s时间，生成间隔为0.1s的历史轨迹点序列，每个轨迹点包括该agent的位置、航向、速度、加速度、转向率、是否静止标志位构成。其中位置和航向都位于待预测agent的自车坐标系下。然后，真值未来轨迹生成。通过对采集数据帧滑窗采样未来5s时间，生成间隔为0.1s的未来轨迹点序列，每个轨迹点包括该agent的位置坐标。其中位置和航向都位于待预测agent的自车坐标系下。最后，轨迹anchor生成。从大量真实轨迹中聚类、剪枝得到真实轨迹anchor，用于后续训练。轨迹预测本身是一个多模态问题(如，路口出可以选择多个方向行驶)，本发明认为，在选定anchor的条件下，轨迹预测可以近似为一个单模态问题。

步骤3：神经网络搭建：基于自车、周边交通参与者的时间序列，以及道路图中包含的每个节点中的空间序列，使用循环神经网络LSTM进行编码，并用LSTM中的隐向量来表征整个序列特征。其中，将经过LSTM编码后的交通参与者特征向量和道路图节点的特征向量一起输入多头注意力层；经过多头注意力层处理后，道路图同时包含道路信息和交通参与者信息，采用图神经网络对道路图进行特征提取；通过两个全连接层输出预测向量。两个全连接层输出维度为M*(5*H+1)的预测向量，其中M表示考虑输出M个候选多模态，每条轨迹对应未来的H个预测点，+1表示对M个候选多模态的分类概率，5表示对多模态里每个轨迹点网络学习获得的元素偏移量的参数(均值、协方差、相关系数)。

步骤4：进行模型训练：

负对数似然损失：使用分类得到的anchor和网络学习出来的offset相加得到。其中offset由网络在每个未来轨迹点处学习的二维高斯分布得到。期望与真实轨迹最接近的anchor的置信概率为1，其余预测anchor的概率为0，同时真实轨迹点在高斯分布中的似然越大越好(即预测轨迹和真实轨迹越接近越好)。

由此，构建关于多模态分类和元素偏移量准确性的负对数似然损失函数：

；

式中，M表示模态数量、H表示预测的时间步数，N表示二维高斯分布、s表示真实轨迹点、a表示静态轨迹anchor、μ表示二维高斯分布均值、Σ表示二维高斯分布的协方差矩阵、x表示输入样本、θ表示网络参数。

神经网络模型通过梯度反向传播优化模型参数，使损失函数逐步下降、性能指标逐步提升，从而从数据中获得所需信息。

步骤5：将测试集输入训练完成的图神经网络模型，得到轨迹预测的结果，即对应于模型输出置信概率最大的那条anchor加上offset进行调整，可以使用ADE、FDE、missrate、off-road rate等指标综合评价模型性能。

本发明所述方法和基于规则与运动学的方法不同，本发明通过采集大量人类驾驶员在现实场景中的实际驾驶数据进行训练学习，本发明所述方法能够捕捉待预测交通参与者周边道路信息、待预测交通参与者周边交通参与者当前位置和历史运动状态、以及交通参与者与交通参与者、交通参与者与道路信息之间的复杂交互，让深度学习模型学习人类驾驶员的实际判断，进而实现在复杂场景下的车辆轨迹准确预测。

如上所述，本发明的提醒系统不限于所述配置，其他可以实现本发明的实施例的系统均可落入本发明所保护的范围内。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于图神经网络的车辆未来轨迹预测方法，其特征在于，包括如下步骤：

步骤1：数据采集：获取交通参与者、周边交通参与者的视觉感知信息、传感定位信息以及高精地图信息，并对获取的信息进行处理；

步骤2：制作训练数据：根据传感定位信息和高精地图构建道路图，然后构建周边交通参与者和自车轨迹的时间序列，生成真值未来轨迹和多模态轨迹；

步骤3：神经网络搭建：基于自车、周边交通参与者的时间序列，以及道路图中包含的每个节点中的空间序列，使用循环神经网络LSTM进行编码，并用LSTM中的隐向量来表征整个序列特征；

步骤4：进行模型训练：构建关于多模态分类和元素偏移量准确性的负对数似然损失函数：

；

式中，M表示模态数量、H表示预测的时间步数，N表示二维高斯分布、s表示真实轨迹点、a表示静态轨迹anchor、μ表示高斯分布均值、Σ表示二维高斯分布的协方差矩阵、x表示输入样本、θ表示网络参数；神经网络模型通过梯度反向传播优化模型参数，使损失函数逐步下降、性能指标逐步提升；

步骤5：将测试集输入训练完成的图神经网络模型，得到轨迹预测的结果。

2.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤1中，信息处理包括如下步骤：

首先，通过视觉传感器采集周边交通参与者的实时信息，并将实时信息分割成序列信息；其次，根据自车在全局坐标系下的定位和航向，以及周边交通参与者在自车坐标系下的定位，将周边交通参与者的坐标映射至全局坐标系；最后，生成交通参与者以帧为单位的数据片段。

3.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤2中，所述道路图由节点和边组成，节点通过离散化的车道中心线和车道边界线每隔一定距离采样获得，边由节点之间的空间拓扑关系获得。

4.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，每个节点包含一定距离的离散化点空间序列，每个离散化点包括该点的标志位信息。

5.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，所述边包括前驱边，后继边，左换道边，右换道边。

6.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤2中，构建周边交通参与者和自车轨迹的时间序列包括如下步骤：

在过去设定时间内，对采集到的数据帧进行滑窗采样，生成间隔时间为设定值的历史轨迹点序列；所述轨迹点包括该交通参与者的位置、航向、速度、加速度、转向率、是否静止标志位；其中，所述位置和航向都位于待预测交通参与者的自车坐标系下。

7.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤2中，所述真值未来轨迹通过如下步骤生成：

在未来设定时间内，对采集到的数据帧进行滑窗采样，生成间隔时间为设定值的未来轨迹点序列；所述轨迹点包括该交通参与者的位置、航向、速度、加速度、转向率、是否静止标志位；其中，所述位置和航向都位于待预测交通参与者的自车坐标系下。

8.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤2中，所述多模态轨迹通过如下方法获得：

对一定数量的真实轨迹进行聚类、剪枝，获得真实多模态轨迹。

9.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，在步骤3中，将经过LSTM编码后的交通参与者特征向量和道路图节点的特征向量一起输入多头注意力层；经过多头注意力层处理后，道路图同时包含道路信息和交通参与者信息，采用图神经网络对道路图进行特征提取；通过两个全连接层输出预测向量。

10.根据权利要求9所述基于图神经网络的车辆未来轨迹预测方法，其特征在于，两个全连接层输出维度为M*(5*H+1)的预测向量，其中M表示考虑输出M个候选多模态，每条轨迹对应未来的H个预测点，+1表示对M个候选多模态的分类概率，5表示对多模态里每个轨迹点网络学习获得的元素偏移量的参数。