CN111898211B - 基于深度强化学习的智能车速度决策方法及其仿真方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习方法的智能车速度决策方法，构造智能车通过路口的马尔可夫决策模型的状态空间S，动作空间A，即时奖赏空间R；初始化神经网络，构建经验池；采用ε‑greedy算法进行动作的选择，并将此次经验填加进所述步骤二构建的经验池；从经验池随机选出一部分经验，采用随机梯度下降法训练神经网络；根据最新神经网络完成当前时刻智能车的速度决策，并将此次经验填加至经验池，随机选取一部分经验再进行新一轮神经网络的训练。本发明同时公开了一种基于深度强化学习的智能车速度决策方法的仿真方法，基于matlab自动驾驶工具箱搭建的深度强化学习仿真系统进行仿真实验。

Description

基于深度强化学习的智能车速度决策方法及其仿真方法

技术领域

本发明涉及深度强化学习技术领域及自动驾驶技术领域，尤其涉及基于深度强化学习与Matlab的智能车速度决策方法。

背景技术

随着社会的发展和科学技术水平的不断提升，人们对汽车提出了新的要求。许多汽车厂商和科研机构对汽车的研究重心正在由“传统汽车”转向“人、车、路一体化的智能汽车”，各个国家也相应出台了法规与政策推动智能车的发展。

自动驾驶技术现已成为智能车未来发展的核心技术与研究热点，决策控制作为自动驾驶技术的四大分支之一，占有重要地位。现有的智能车决策方法或多或少都存在一些缺陷，如基于规则的方法多适用于简单场景下，很难胜任具有丰富结构化特征的城区道路环境；基于轮询机制的决策树方法需要针对每个驾驶场景离线定义决策网络；基于信息/本体论的决策推理方法依赖于车-车(V2V)通信，需要完全知晓他车的信息(包括驾驶意图)。

同时，以上方法还存在忽略环境的动态性和不确定性的共性问题，然而现实的交通环境常常存在很强的不确定性，车与车，车与路关系错综复杂，实时都在变化，这样很难实现安全高效的决策，影响车辆的智能驾驶，甚至引发交通事故。

发明内容

本发明的目的在于针对现有决策方法存在的问题，提出一种基于深度强化学习方法的智能车速度决策方法及其仿真方法，将深度强化学习与matlab自动驾驶工具箱结合构成自动驾驶决策仿真系统，利用系统训练模型后，能够在无需知晓他车行驶意图的情况下，考虑环境的动态性和不确定性，实现车辆沿着既定路径行驶时安全有效的速度决策。

为实现上述目的，本发明采用技术方案如下：

作为本发明的一方面，提供一种基于深度强化学习的智能车速度决策方法，包括以下步骤：

步骤一、构造智能车通过路口的马尔可夫决策模型：构造马尔可夫决策模型中的状态空间S，动作空间A，即时奖赏空间R；

步骤二、初始化神经网络，构建经验池；

步骤三、采用ε-greedy算法进行动作的选择，并将此次经验填加进所述步骤二构建的经验池；

步骤四、从经验池随机选出一部分经验，采用随机梯度下降法训练神经网络；

步骤五、根据所述步骤四得到的最新神经网络完成当前时刻智能车的速度决策，并将此次经验填加至经验池，随机选取一部分经验再进行新一轮神经网络的训练。

进一步地，所述步骤一构造的状态空间S，动作空间A，即时奖赏空间R分别为：

状态空间的构成包括本车状态与他车状态，构建状态空间S如下：

S＝[s_ego,s₁,s₂,…,s_n]

其中，s_ego表示本车状态，s₁-s_n表示当前交通场景中其他车辆的状态，n表示其他车辆的数量；

动作空间A的构成包括本车在通过路口过程中能够控制车速的操作，包括：剧烈地减速DECH，柔和地减速DECS，保持匀速KS，柔和地增速ACCS，剧烈地增速ACCH，如下所示：

A＝[DECH,DECS,KS,ACCS,ACCH]

即时奖赏R表示智能车完成某个动作后得到的回报，包括：到达目的地附近的奖赏值R_des,智能车与他车发生碰撞的奖赏值R_coll,衡量舒适性的奖赏值R_com，衡量跟车距离潜在安全性的奖赏值R_dis,行车效率奖赏值R_effi，即时奖赏函数构成如下：

R＝R_des+R_coll+R_com+R_dis+R_effi。

进一步地，所述步骤二包括以下步骤：

神经网络包含1个输入层、1个输出层，2个隐藏层；

在输入层，设置神经节点的个数等于状态空间S向量的维度；

在输出层，设置神经节点的个数等于动作空间A的维度；

初始化经验池Replaybuffer以存取每次执行动作的状态转移；

使用经验回放法，将数据加载到缓存区。

进一步地，所述步骤三包括以下步骤：

对于每一次动作的选择，在当前环境状态S₀，采用ε-greedy贪婪策略进行动作a₀的选择，即以ε的概率选择Q值最大的动作，以1-ε的概率随机选择动作，其中ε∈(0,1)，如下所示：

随即执行动作a₀，获得立即奖赏值R₀，环境状态由S₀转变为S₁，如果本车与其他车辆发生碰撞，则将失败标志over置为1，否则over＝0；

将experience＝[S₀,a₀,R₀,S₁,over]作为一次经验，填加到经验池。

进一步地，所述步骤四包括以下步骤：

从经验池中随机选择若干以往的经验作为一个sample，对于sample中的每一个经验experience，首先通过神经网络获取experience中状态S的Q值Q(S,a；θ)，此值作为估计值Q-估计，其中θ为神经网络当前的参数；

对于experience中的over标志位，若over＝0表示没有失败，则令targetQ＝R₀+γmax_a′Q(S′,a′；θ)；若over＝1表示尝试失败，则令targetQ＝R₀；

其中targetQ表示神经网络想要拟合的目标值Q-目标；γ∈(0,1)表示衰减率；θ是神经网络的参数；max_a′Q(S′,a′；θ)表示智能体处在状态S′时，执行动作a′的最大Q-估计；

基于Q-目标与Q-估计得到误差损失函数表达式，L(θ)＝E(targetQ-Q(S,a；θ))²，采用梯度下降算法，在迭代的每一步，以负梯度方向更新神经网络的参数；

重复上述步骤，直到神经网络收敛或者训练迭代次数达到了预先设定的最大值，则得到训练好的神经网络。

作为本发明的另一方面，提出一种基于深度强化学习的智能车速度决策方法的仿真实验方法，基于matlab自动驾驶工具箱搭建的深度强化学习仿真系统进行仿真实验，包括以下步骤：

S1.通过matlab自动驾驶工具箱中的Driving Scenario Designer搭建自动驾驶决策的道路环境：

S11.在场景中填加两条垂直相交的道路作为驾驶环境中的道路对象，其中每条道路都是双向双车道；

S1.添加车辆对象，包括本车与他车，本车的起始位置和目标位置固定，包含直行通过路口工况和左转弯通过路口工况；其他车辆的位置、速度、方向都是随机产生的；再在智能车顶部安装探测雷达，以获得其他车辆的位置和速度；

S2.将步骤S1搭建的道路环境与所述的基于深度强化学习的智能车速度决策方法结合，验证神经网络针对当前环境做出决策以及决策动作作用于环境产生的变化：

S21.智能车自身的位置和速度构成本车状态：

s_ego＝[x_ego,y_ego,v_x,ego,v_y,ego]，

车载雷达获取其他车辆的位置与速度信息：

s_i＝[x_i,y_i,v_x,i,v_y,i],i＝1,2,…n

本车与他车状态构成状态空间，输入至神经网络中，神经网络拟合出Q值函数，根据最大Q值决策出智能车将要执行的动作；

S22.神经网络决策出的动作是车辆的加速度，将决策出的加速度乘以采样时间加上当前速度就实现了动作的执行；并不断更新本车的期望轨迹，以实现对本车期望路径的持续跟踪；

重复步骤S21和步骤S22，实现了车辆行驶过程中基于深度强化学习算法的持续决策和搭建的道路环境的持续向前推进。

与现有技术相比，本发明的有益效果是：

1.在错综复杂的交通环境下，能够充分考虑环境的动态性和不确定性，实现有效的决策，无论是直线工况和弯道工况都能保证速度决策的安全高效地进行。

2.可以通过但不依赖于车与车之间的数据互联来实现，仅仅通过智能车上安装的探测雷达，即可探测出决策算法所需要的全部数据，成本低且易于实现。

3.与其他大多数的场景软件相比，采用Driving Scenario Designer可以非常快速地构建交通场景，便于验证算法的可行性和正确性，且DQN深度强化学习模型的构造和交通环境的搭建均通过matlab完成，无需考虑神经网络和场景的接口调试问题。

附图说明

下面结合附图对本发明的具体实施方式作进一步的说明，接下来的这些说明将更具体而清晰的介绍本发明。其中：

图1是基于深度强化学习方法的智能车速度决策流程图；

图2是深度Q网络的训练原理示意图；

图3是跟车距离示意图；

图4是深度Q网络工作原理示意图；

图5是直线目标路径工况下的交通环境示意图；

图6是直线目标路径工况下的决策出的加速度值；

图7是转弯目标路径工况下的交通环境示意图；

图8是转弯目标路径工况下的决策出的加速度值；

图9是基于训练集的成功率曲线图；

图10是基于测试集的成功率曲线图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例1

如图1所示，一种基于深度强化学习的智能车速度决策方法，包括以下步骤：

步骤一.构建状态空间S，动作空间A，即时奖赏空间R

马尔可夫决策模型，它可以用一个四元数组表示<S,A,T,R>，分别为状态空间，动作空间，状态转移函数，即时奖赏。在本方法中不涉及状态转移函数，故只需构建状态空间S，动作空间A，即时奖赏空间R。

状态空间的构成包括智能车(本车)状态与他车状态，构建状态空间如下：

S＝[s_ego,s₁,s₂,…,s_n]

其中s_ego表示本车状态，s₁-s_n表示当前交通场景中其他车辆的状态，n表示其他车辆的数量。

不论是本车还是他车，每辆车的状态包括四个组成部分，在大地坐标系下的横坐标x、纵坐标y，车辆沿x轴正方向的速度v_x、沿y轴正方向的速度v_y。

本车状态s_ego如下所示：

s_ego＝[x_ego,y_ego,v_x,ego,v_y,ego]

其他车辆的状态如下：

s_i＝[x_i,y_i,v_x,i,v_y,i],i＝1,2,…n

动作空间A的构成包括智能车在通过路口过程中能够控制车速的操作，包括剧烈地减速，柔和地减速，保持匀速，柔和地增速，剧烈地增速，如下所示：

A＝[DECH,DECS,KS,ACCS,ACCH]

即时奖赏R表示智能车完成某个动作后得到的回报，可正可负，本方法中主要考虑：到达目的地附近的奖赏值R_des,智能车与他车发生碰撞的奖赏值R_coll,衡量舒适性的奖赏值R_com，衡量跟车距离潜在安全性的奖赏值R_dis,行车效率奖赏值R_effi，则即时奖赏函数构成如下：

R＝R_des+R_coll+R_com+R_dis+R_effi

每一部分的具体表达式如下：

到达目的地的奖赏值：

智能车与他车发生碰撞的奖赏值：

R_coll＝-200

乘坐舒适性的奖赏值：

因为动作空间中包含5个动作，为了避免动作的跨越过大导致乘客的乘坐舒适度降低，需要限制动作的切换。具体如下所示：

其中，subaction表示这一时刻决策的加速度与上一时刻加速度的差的绝对值，当差值大于等于8时，意味着动作的切换跨越了至少1个动作，舒适度会降低，因此给一个负的奖赏值。

衡量跟车距离潜在安全性的奖赏值：

如图3所示，当本车与前车的距离差x₂-x₁除以本车与前车的速度差v₂-v₁的结果表示潜在追尾时间t_back，当这个时间小于1.5秒时，危险性增加，因此衡量跟车距离潜在安全性的奖赏值如下所示：

行车效率奖赏值:

其中v_ego表示本车速度，V_max表示当前道路限速，在保证遵守交通规则的前提下，行车效率越高越好。

步骤二.初始化神经网络，构建经验池Replaybuffer

首先初始化神经网络，本发明中的神经网络包含1个输入层、1个输出层，2个隐藏层。在输入层，设置神经节点的个数等于状态空间S向量的维度(4*(n+1),n为除本车外的交通环境中的其他车辆的个数)。在输出层，设置神经节点的个数等于动作空间A的维度，这里因为动作空间中共有5个可选择动作，故设置输出节点数为5。适当选择隐藏层层数和每个隐藏层的神经节点数，这里设置两个隐藏层的节点数均为10。

初始化容量为20000的经验池Replaybuffer以存取每次执行动作的状态转移。使用经验回放技巧，即将数据加载到缓存区，便于下一步抽取小批量进行训练，使得历史数据得到有效利用。

步骤三.采用ε-greedy算法进行动作的选择，并将此次经验填加进经验池

深度Q网络的工作原理如图4所示。对于每一次动作的选择，在当前环境状态S₀，采用ε-greedy贪婪策略进行动作a₀的选择，即以ε的概率选择5个动作对应的5个Q值中Q值最大的动作，以1-ε的概率随机选择动作，其中ε∈(0,1)，如下所示：

随即执行动作a₀，获得立即奖赏值R₀，环境状态由S₀转变为S₁，如果智能车与其他车辆发生碰撞，则将失败标志over置为1，否则over＝0。

将初始环境状态S₀，采取的动作a₀，获得的立即奖赏值R₀，转移状态S₁，以及失败标志ove共同组成一个元胞数组：

experience＝[S₀,a₀,R₀,S₁,over]

将其作为一次经验，填加到经验池Replaybuffer。

步骤四.从经验池随机选出一部分经验，采用随机梯度下降法训练神经网络

如图2深度Q网络训练原理示意图所示，深度Q网络中存在两个网络，目标网络和估计网络，真正训练到的只有估计网络，估计网络通过反向传播算法训练，神经网络训练的目的就是使得估计值和目标值的误差越小越好。

从经验池中随机选择一些以往的经验作为一个sample，对于sample中的每一个经验experience，首先通过估计网络获取experience中状态S的Q值Q(S,a；θ),此值作为估计值Q-估计，其中θ为神经网络当前的参数。对于experience中的over标志位，若over＝0表示没有失败，则令targetQ＝R₀+γmax_a′Q(S′,a′；θ)；若over＝1表示尝试失败，则令targetQ＝R₀。其中targetQ表示目标网络想要拟合的目标值Q-目标；γ∈(0,1)表示衰减率，γ越接近于1，智能体越有远见，远处的价值看得越清楚，γ越接近于0，智能体越在乎眼前的利益；θ是神经网络的参数；max_a′Q(S′,a′；θ)表示智能体处在状态S′时，执行动作a′的最大Q-估计。

基于Q-目标与Q-估计得到误差损失函数表达式，L(θ)＝E(targetQ-Q(S,a；θ))²。采用梯度下降算法，在迭代的每一步，以负梯度方向更新神经网络的参数。

重复步骤上述步骤直到神经网络收敛或者训练迭代次数达到了预先设定的最大值，则得到训练好的神经网络。

实施例2

一种基于深度强化学习的智能车速度决策方法的仿真方法，其基于matlab自动驾驶工具箱搭建的DQN(Deep-Q-Learning)仿真系统进行仿真实验，包括以下步骤：

首先搭建自动驾驶决策的道路环境，通过matlab自动驾驶工具箱中的DrivingScenario Designer实现，本发明提出的智能车速度决策主要针对无信号灯的交通路口，因此第一步，在场景中填加两条垂直相交的长度为100米的道路作为驾驶环境中的道路对象，其中每条道路都是双向双车道，每条车道的宽度为4.4米。第二步添加车辆对象，包括本车(智能车)与他车，本车的起始位置和目标位置固定，主要包含两种工况，直行通过路口和左转弯通过路口。其他车辆的位置、速度、方向都是符合一般驾驶习惯且随机产生的。再在智能车顶部安装探测雷达，雷达有效探测距离设置为100米，以获得其他车辆的位置和速度。

以下结合仿真实验结果说明本发明的技术效果：

图5是直线目标路径工况下的交通环境示意图，最下方车辆为本车(智能车)，随机产生3辆车，他们的初始位置、行驶方向、速度均随机产生且符合交通法规。执行图1中的训练流程，即可得到训练好的神经网络，再执行测试过程，即再随机产生一定数量的如图5所示的交通环境，测试训练好的神经网络是否成功，能否应用于实际。图6是测试过程中直线目标路径工况下的决策出的加速度值，可以将决策出的加速度值再作用于车上，重新运行仿真环境，可以验证决策出的加速度值满足高效、安全的要求，能够使智能车安全快速地沿着目标路径通过路口。

图7是转弯目标路径工况下的交通环境示意图，同样地，最下方车辆为本车(智能车)，随机产生2辆车，他们的初始位置、行驶方向、速度均随机产生且符合交通法规。执行图1中的训练流程，即可得到训练好的神经网络，再执行测试过程，即再随机产生一定数量的如图7所示的交通环境，测试训练好的神经网络是否成功，能否应用于实际。图8是测试过程中直线目标路径工况下的决策出的加速度值，同样地，可以将决策出的加速度值再作用于车上，重新运行仿真环境，可以验证决策出的加速度值满足高效、安全的要求，能够使智能车安全快速地沿着目标路径通过路口。

图9和图10分别是基于训练集的成功率曲线图和基于测试集的成功率曲线图。从图9可以看出，随着深度Q网络的训练次数增加，训练的成功率也呈上升趋势，这是因为每次迭代训练都能使深度Q网络的参数更加合理，趋利避害，以促进成功率的提升。从图10可以看出，基于测试集的成功率曲线保持在成功率很高的范围内且较为平稳，这是因为测试的时候，令ε＝0，根据ε-greedy贪婪算法的性质，每次都执行Q值最大的动作，成功率较高。

本发明提出一种基于深度强化学习的智能车速度决策方法，并将深度强化学习与matlab自动驾驶工具箱结合构成自动驾驶决策仿真系统，利用系统训练模型后，能够在无需知晓他车行驶意图的情况下，考虑环境的动态性和不确定性，实现车辆沿着既定路径行驶时安全有效的速度决策。

Claims (5)

1.一种基于深度强化学习的智能车速度决策方法，其特征在于，包括以下步骤：

步骤一、构造智能车通过路口的马尔可夫决策模型：构造马尔可夫决策模型中的状态空间S，动作空间A，即时奖赏空间R；

状态空间的构成包括本车状态与他车状态，构建状态空间S如下：

S＝[s_ego,s₁,s₂,…,s_n]

其中，s_ego表示本车状态，s₁-s_n表示当前交通场景中其他车辆的状态，n表示其他车辆的数量；

动作空间A的构成包括本车在通过路口过程中能够控制车速的操作，包括：剧烈地减速DECH，柔和地减速DECS，保持匀速KS，柔和地增速ACCS，剧烈地增速ACCH，如下所示：

A＝[DECH,DECS,KS,ACCS,ACCH]

即时奖赏R表示智能车完成某个动作后得到的回报，包括：到达目的地附近的奖赏值R_des,智能车与他车发生碰撞的奖赏值R_coll,衡量舒适性的奖赏值R_com，衡量跟车距离潜在安全性的奖赏值R_dis,行车效率奖赏值R_effi，即时奖赏函数构成如下：

R＝R_des+R_coll+R_com+R_dis+R_effi

步骤二、初始化神经网络，构建经验池；

步骤三、采用ε-greedy算法进行动作的选择，并将此次经验填加进所述步骤二构建的经验池；

步骤四、从经验池随机选出一部分经验，采用随机梯度下降法训练神经网络；

步骤五、根据所述步骤四得到的最新神经网络完成当前时刻智能车的速度决策，并将此次经验填加至经验池，随机选取一部分经验再进行新一轮神经网络的训练。

2.如权利要求1所述的一种基于深度强化学习的智能车速度决策方法，其特征在于，所述步骤二包括以下步骤：

神经网络包含1个输入层、1个输出层，2个隐藏层；

在输入层，设置神经节点的个数等于状态空间S向量的维度；

在输出层，设置神经节点的个数等于动作空间A的维度；

初始化经验池Replaybuffer以存取每次执行动作的状态转移；

使用经验回放法，将数据加载到缓存区。

3.如权利要求1所述的一种基于深度强化学习的智能车速度决策方法，其特征在于，所述步骤三包括以下步骤：

对于每一次动作的选择，在当前环境状态S₀，采用ε-greedy贪婪策略进行动作a₀的选择，即以ε的概率选择Q值最大的动作，以1-ε的概率随机选择动作，其中ε∈(0,1)，如下所示：

随即执行动作a₀，获得立即奖赏值R₀，环境状态由S₀转变为S₁，如果本车与其他车辆发生碰撞，则将失败标志over置为1，否则over＝0；

将experience＝[S₀,a₀,R₀,S₁,over]作为一次经验，填加到经验池。

4.如权利要求3所述的一种基于深度强化学习的智能车速度决策方法，其特征在于，所述步骤四包括以下步骤：

从经验池中随机选择若干以往的经验作为一个sample，对于sample中的每一个经验experience，首先通过神经网络获取experience中状态S的Q值Q(S,a；θ)，此值作为估计值Q-估计，其中θ为神经网络当前的参数；

对于experience中的over标志位，若over＝0表示没有失败，则令targetQ＝R₀+γmax_a′Q(S′,a′；θ)；若over＝1表示尝试失败，则令targetQ＝R₀；

其中targetQ表示神经网络想要拟合的目标值Q-目标；γ∈(0,1)表示衰减率；θ是神经网络的参数；max_a′Q(S′,a′；θ)表示智能体处在状态S′时，执行动作a′的最大Q-估计；

基于Q-目标与Q-估计得到误差损失函数表达式，L(θ)＝E(targetQ-Q(S,a；θ))²，采用梯度下降算法，在迭代的每一步，以负梯度方向更新神经网络的参数；

重复上述步骤，直到神经网络收敛或者训练迭代次数达到了预先设定的最大值，则得到训练好的神经网络。

5.如权利要求1所述的一种基于深度强化学习的智能车速度决策方法的仿真实验方法，其特征在于，基于matlab自动驾驶工具箱搭建的深度强化学习仿真系统进行仿真实验，包括以下步骤：

S1.通过matlab自动驾驶工具箱中的Driving Scenario Designer搭建自动驾驶决策的道路环境：

S11.在场景中填加两条垂直相交的道路作为驾驶环境中的道路对象，其中每条道路都是双向双车道；

S1.添加车辆对象，包括本车与他车，本车的起始位置和目标位置固定，包含直行通过路口工况和左转弯通过路口工况；其他车辆的位置、速度、方向都是随机产生的；再在智能车顶部安装探测雷达，以获得其他车辆的位置和速度；

S2.将步骤S1搭建的道路环境与所述的基于深度强化学习的智能车速度决策方法结合，验证神经网络针对当前环境做出决策以及决策动作作用于环境产生的变化：

S21.智能车自身的位置和速度构成本车状态：

s_ego＝θx_ego,y_ego,v_x,ego,v_y,ego]，

车载雷达获取其他车辆的位置与速度信息：

s_i＝[x_i,y_i,v_x,i,v_y,i],i＝1,2,…n

本车与他车状态构成状态空间，输入至神经网络中，神经网络拟合出Q值函数，根据最大Q值决策出智能车将要执行的动作；

S22.神经网络决策出的动作是车辆的加速度，将决策出的加速度乘以采样时间加上当前速度就实现了动作的执行；并不断更新本车的期望轨迹，以实现对本车期望路径的持续跟踪；

重复步骤S21和步骤S22，实现了车辆行驶过程中基于深度强化学习算法的持续决策和搭建的道路环境的持续向前推进。

Images