CN115050177A - 一种基于时空多头注意力机制的高速公路拥堵预测方法 - Google Patents

Abstract

本发明公开了一种基于时空多头注意力机制的高速公路拥堵预测方法。首先，针对特征信息编码问题，采用正弦余弦编码方式将批量的公路历史拥堵信息编码为时序信息和空间信息用于网络的训练；其次，针对同时对空间信息和时间信息进行建模的问题，设计了高效的时空注意力机制来提升算法对道路拥堵持续变化过程的识别和理解能力，且多头注意力机制能实现高效的信息并行处理，以提高算法运行效率；然后，利用卡尔曼滤波器对交通拥堵状态测量值和算法模型检测值进行动态比较修正，避免模型在突发情况下的误判，以获得最佳估计值，降低交通参数动态变化对预测效果的干扰。本发明提高了交通拥堵预测的准确率的同时提高了算法的运行效率。

Description

一种基于时空多头注意力机制的高速公路拥堵预测方法

技术领域

本发明涉及的是智慧交通领域，具体涉及一种基于时空多头注意力机制的高速公路拥堵预测方法。

背景技术

随着交通的高速发展，日常出行中交通拥堵问题变得日益严重。尤其是节假日，高速公路趋于饱和，道路网交通压力巨大，不仅影响了出行效率，浪费人们出行的时间，同时增加油耗及汽车尾气的排放，污染环境。若要从供需方面解决高速公路交通拥堵问题，一般通过改扩建的方式扩大道路本身的交通容量，或者新建道路网，分散交通流。对于已有高速公路来说，此举需要巨额的人力、物力及财力，并且涉及到复杂的政策问题。此外，高速公路拥堵情况也严重影响高速公路交通安全，2019年中国交通发生数量为24.8万起，其中交通事故死亡人数为62763人，事故受伤人数为256101人，交通事故直接财产损失为13.46亿元。交通事故引发的严重后果已经不容忽视。

综上，智能交通系统有效集成了先进的信息技术、通讯技术、传感技术、控制技术以及计算机技术等，是一种可适用于大范围的、全面的、实时、准确、高效的综合运输和管理控制系统。智能交通系统一方面着重于交通信息的应用及信息的服务，给用户提供全面、便捷、实时的交通出行信息，另一方面提高道路的运行效率，为道路管理者提供运营管理所需的交通状态信息及应急救援方案，使得交通管理朝着有效缓解交通拥堵、高效率运行、低环境污染、有效保障出行安全的方向发展。

高速公路交通拥堵状况形成的根本原因有两种：1)日常交通流量超过道路通行最大容量而造成的拥堵；2)发生交通事故堵塞道路而造成的拥堵。前者是缓慢形成的，若要避免则需提前预知交通状态的变化趋势，若预测得知道路趋于阻塞，交通流开始缓行，则采取相应的交通量控制措施，即可有效避免交通拥堵。而后者属于突发小概率事件，拥堵的形成不可避免，对于此种情况，高效率的应急救援极为重要。这些都需要道路管理者能够实时、直观地掌握高速公路的拥堵状况，从而科学制定高速公路管理方法。

随着交通智能化需求的增长，高速公路管理中心采用传统的人力监管来管理日常通行事务，明显效率低下。若拥堵的形成或事故的发生没有引起监管人员的注意，则会因为应急处置、应急救援的不及时，增加交通拥堵的严重程度，甚至引起二次事故，造成社会资源的巨大浪费。在交通拥堵形成后，决策者不能掌握拥堵的发展趋势，只能凭借自身的经验选择应急处置预案，若没有科学应对，很容易造成应急处置的不及时。因此，摒弃传统的人力监管，通过智能化的手段预测交通运行状态，将拥堵发生的可能性及事故影响下拥堵的影响范围和程度保持在可控范围，化被动处理为主动预防，是现今高速公路管理和决策的趋势所向。当前，我国的高速公路已经基本实现了视频监控设备全覆盖，并且利用先进、智能的设备进行交通数据采集，为基于交通大数据的各项研究提供了数据支撑。本发明在此前提下旨在解决高速公路交通拥堵状况预的问题，使得高速公路管理者能够实时掌握交通运行状态及发展态势，预知交通拥堵发生的时间、地点，从而做好交通诱导、交通流管控等措施，预防拥堵的发生，保证了高速公路日常平稳、高效地运行。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于时空多头注意力机制的高速公路拥堵预测方法,使得高速公路管理者能够实时掌握交通运行状态及发展态势，预知交通拥堵发生的时间、地点，从而做好交通诱导、交通流管控等措施，预防拥堵的发生，保证了高速公路日常平稳、高效地运行。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于时空多头注意力机制的高速公路拥堵预测方法，包括以下步骤：

1、获取采集的视频文件，将其转换成序列图像，并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络，得到每一帧图像中车辆和车道的检测结果；

2、得到上一步的检测结果后，考虑到不同大小车辆在摄像头可视区域内占比不同，并且存在摄像头视角差异、车辆相互遮挡等因素，如果直接采用车辆数来判别道路拥堵状态会造成较大的误差，并且算法的泛化性能很差。因此，本发明用车道空间占有率S对道路通行状态进行判断，计算如下：

其中，s_i为第i车道的空间占有率；Area_Road_i为第i车道的道路交通状态检测区域面积；假设i车道共计q辆车在检测区域内，则

表示为车辆识别框面积总和。

3、计算出车道空间占有率S后，可以进一步得到交通参数特征向量

根据车道号、车道空间占有率等信息构建，定义如下：

其中，s_i为步骤2中计算的第i车道的空间占有率，t为时间序列t＝{t|t＝1，2，3，…|，T}，i表示当前监控摄像头画面第i车道，d_t表示时间间隔。最终得到本发明中模型输入的交通参数特征向量为

其中，k为交通参数特征向量

在数据集

中的位置。

4、经过数据预处理后获得交通特征向量

同时隐含了车道占有率的时序信息和空间信息，为了同时捕获向量集中的时空信息，本发明设计了高效且新颖的时空多头注意力机制。在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化，例如若发生拥堵或是堵塞，车辆会出现减速、变道等情况导致的车道拥堵。在学习到预测状态变化的能力后，通过大量的训练，在此基础上记忆和理解车辆运动状态，并分析车道内车辆状态，并进行预测。首先将交通特征向量集按照时间-车道信息进行划分，同一时序t中的特征向量划分为同一行，同一车道i的特征向量划分为同一列。假设经过划分后获得特征张量Y∈R^H×W×D，其中H是输入时序信息的长度，W为某一公路的车道数，D为特征向量的维度。对于输入的的特征张量Y∈R^H×W×D，先被划分为空间信息特征Z_s∈R^H×W×D和时间信息特征Z_T∈R^{H ×W×D}，然后分别转换为

和

然后分别根据多头注意力机制MHSA获得空间关联特征

和时间关联特征

和最终输出

其中，

为三个全连接层以帮助模型获得查询、键、值三个特征，Concat(A，B)表示将A和B按照通道进行合并，MHSA(·)为一般的多头注意力。多头注意力机制把h个不同的自注意力模块集成，可以在参数总量不变的情况下将(Q，K，V)映射到高维空间的不同子空间进行Self-Attention(SA)计算，有效防止过拟合。同时，由于Attention分布在不同子空间，可以获得h组权重矩阵

然后采用Concat将不同的Attention结果按通道拼接在一起：

MHSA(Q，K，V)＝Concat(Attention₁，Attention₂，...，Attention_h)

其中，

计算输入的特征向量

的目标向量Q(qusery)∈R^L×D和键值K∈R^L×D的相似度，通过激活函数Softmax进行归一化处理，最后点乘V∈R^L×D进行加权求和，实现对输入样本的关注度分配。具体实现如下：

其中，d_K＝D，为目标向量的维度。

5、编码过程。为了防止梯度消失并加快收敛，在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层，残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配，每个子层(SubLayer)的输出：

其中，LN表示归一化处理：

其中，L表示网络层数，μ^L表示输入X^L的均值，σ^L表示X^L的方差，ε表示一个很小的小数防止除数为0，β表示偏移量：

其中，M表示一层中的隐藏节点的数量。

经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN，前馈神经网络由两个全连接层和一个ReLU激励函数

φ(x)组成：

通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为：

FFN(M)＝max(0_r，MW₁+b₁)W₂+b₂

其中，M为多头注意力层的输出(MHSA)，W₁和W₂为权重矩阵，b₁和b₂为偏置。

6、解码过程。解码器包含两个时空多头注意力层，第一个时空多头注意力层将初始的特征编码全局信息后输出基于

的目标向量集

结合根据编码器处理后得到的

键值向量集经过第二个时空多头注意力层以及求和与归一化计算后，输出到前馈神经网络然后经过Softmax函数进行标准化处理，产生解码器的输出结果。

7、卡尔曼滤波修正过程：卡尔曼滤波是一种线性最优滤波算法，可以从一组测量值中获得所需的信息，过滤数值中的噪声和偏差等问题。模型状态方程与系统测量方程分别为：

φ(t)＝Aφ(t-1)+W(t-1)

Z(t)＝HX(t)+V(t)

其中，φ(t)为t时刻状态值，Z(t)为t时刻测量值，A为状态转移矩阵，H为测量矩阵，W(t)和V(t)为过程噪声和测量噪声，且均为相互独立均值为0的高斯白噪声。

根据定义的交通参数特征向量以及解码器的输出，根据t-1时刻检测得出t时刻状态

修正过程方程为：

根据状态转移矩阵A和过程激励噪声协方差矩阵Q，可以得到t时刻车道空间占有率状态估计协方差P：

P(t|t-1)＝AP(t-1|t-1)A^T+Q

根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg：

根据增益Kg、预测状态

和测量矩阵H，可以得到t时刻最优状态估值

所述步骤2中：输入数据的时序信息一定程度决定了模型预测的鲁棒性，Transformer没有使用LSTM结构，而是直接关联全局特征的亲密度关系，这就需要额外设计一种标记方式为每一项输入

编码时序信息。在本文方法中，位置编码器通过使用不同频率的正弦和余弦函数编码每一项输入数据:

所述的步骤(4)中：定义

为交通参数特征向量时间序列数据集。其中k为数据集中特征向量数据集

中的位置，t＝{t|t＝1，2，3，...，T)为时间序列。令：

为训练数据集，

为验证数据集。模型训练过程通过

相似度匹配结果对特征权重进行分配和调整并更新模型参数，再经过卡尔曼滤波器动态修正拥堵状态预测结果，直到训练结束。

拥堵状态预测过程，根据t时刻的第i车道的道路交通参数特征向量集

构建查询向量

以及(t-1)时刻的第i车道的道路交通参数特征向量

构建键值对

经过训练好的权重文件计算，并通过卡尔曼滤波器增益修正，输出道路拥堵状态结果为

由于高速公路道路通行状态体现的是基于时序的变化趋势，即在非拥堵和拥堵状态间的转变过程，但当道路高密度拥堵时即车道空间占有率

超过检测阈值

时，道路拥堵状态无法通过车道空间占有率的线性变化进行描述，需通过车辆行驶速度进行辅助判断；因此对于t时刻车道i的拥堵状态

定义如下：

(3)当

时，采用TSTF-KF模型对拥堵状态进行判断

其中，Con^T为拥堵状态判定阈值。

(4)当

时，根据车道车辆速度对拥堵状态进行辅助判断

其中，

为t时刻车道i内车辆平均车速，

为拥堵状态判定车速阈值。

本发明具有以下技术效果：本发明在基于交通大数据丰富的基础上，对其进行综合有效的利用和分析，联合时空多头注意力机制与卡尔曼滤波进行高速公路交通拥堵状况进行预测，使得高速公路管理者能够实时掌握交通运行状态及发展态势，预知交通拥堵发生的时间、地点，从而做好交通诱导、交通流管控等措施，预防拥堵的发生，保证了高速公路日常平稳、高效地运行。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明的整体框架图；

图2为本发明的时空多头注意力逻辑框图；

图3为本发明的步骤流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1-3，本具体实施方式采用以下技术方案：一种基于时空多头注意力机制的高速公路拥堵预测方法包括以下步骤：

1、获取采集的视频文件，将其转换成序列图像，并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络，得到每一帧图像中车辆和车道的检测结果。用于分析的交通数据来源于杭州绕城高速公路的32个监控摄像机，每个摄像机检测区域不超过250m。同时，由于日常23:00-5:30时间段内，绕城高速公路多用于进行路面清扫和养护维修等工作，道路通行的随机性较大不利于进行预测，因此去除该时间段的相关数据。经过预处理从3000小时的监控视频中筛选出24000条时间序列数据制作本次实验数据集(命名JT001)；其中16000条用于历史交通数据进行模型训练，4000条用于对训练好的模型进行验证，剩余4000条作为测试数据用于与预测值进行比较分析。

2、得到上一步的检测结果后，考虑到不同大小车辆在摄像头可视区域内占比不同，并且存在摄像头视角差异、车辆相互遮挡等因素，如果直接采用车辆数来判别道路拥堵状态会造成较大的误差，并且算法的泛化性能很差。因此，本发明用车道空间占有率S对道路通行状态进行判断，计算如下：

其中，s_i为第i车道的空间占有率；Area_Roadi为第i车道的道路交通状态检测区域面积；假设i车道共计q辆车在检测区域内，则

表示为车辆识别框面积总和。

3、计算出车道空间占有率S后，可以进一步得到交通参数特征向量

根据车道号、车道空间占有率等信息构建，定义如下：

其中，s_i为步骤2中计算的第i车道的空间占有率，t为时间序列t＝{t|t＝1，2，3，…，T}，i表示当前监控摄像头画面第i车道，d_t表示时间间隔。最终得到本发明中模型输入的交通参数特征向量为

其中，k为交通参数特征向量

在数据集

中的位置。

4、如图2所示，经过数据预处理后获得交通特征向量

同时隐含了车道占有率的时序信息和空间信息，为了同时捕获向量集中的时空信息，本发明设计了高效且新颖的时空多头注意力机制。在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化，例如若发生拥堵或是堵塞，车辆会出现减速、变道等情况导致的车道拥堵。在学习到预测状态变化的能力后，通过大量的训练，在此基础上记忆和理解车辆运动状态，并分析车道内车辆状态，并进行预测。首先将交通特征向量集按照时间-车道信息进行划分，同一时序t中的特征向量划分为同一行，同一车道i的特征向量划分为同一列。假设经过划分后获得特征张量Y∈R^H×W×D，其中H是输入时序信息的长度，W为某一公路的车道数，D为特征向量的维度。对于输入的的特征张量Y∈R^H×W×D，先被划分为空间信息特征Z_s∈R^H×W×D和时间信息特征Z_T∈R^{H ×W×D}，然后分别转换为

和

然后分别根据多头注意力机制MHSA获得空间关联特征

和时间关联特征

和最终输出

其中，

为三个全连接层以帮助模型获得查询、键、值三个特征，Concat(A，B)表示将A和B按照通道进行合并，MHSA(·)为一般的多头注意力。多头注意力机制把h个(编解码器个数N＝6，时空多头注意力机制中自注意力个数h＝8，隐藏节点数量M＝512，batch_size为500；梯度因子d_model为64。)不同的自注意力模块集成，可以在参数总量不变的情况下将(Q，K，V)映射到高维空间的不同子空间进行Self-Attention(SA)计算，有效防止过拟合。同时，由于Attention分布在不同子空间，可以获得h组权重矩阵

然后采用Concat将不同的Attention结果按通道拼接在一起：

MHSA(Q，K，V)＝Concat(Attention₁，Attention₂，...，A (7)其中，

计算输入的特征向量

的目标向量Q(qusery)∈R^L×D和键值K∈R^L×D的相似度，通过激活函数Softmax进行归一化处理，最后点乘V∈R^L×D进行加权求和，实现对输入样本的关注度分配。具体实现如下：

其中，d_K＝D，为目标向量的维度。

本发明使用Adam为模型训练优化器，其中β₁＝0.9，β₂＝0.98，∈＝1e-9，设置学习率(LR)如下：

其中,warmup_steps＝4000。

5、编码过程。为了防止梯度消失并加快收敛，在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层，残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配^[28][29]，每个子层(SubLayer)的输出：

其中，LN表示归一化处理：

其中，L表示网络层数，μ^L表示输入X^L的均值，σ^L表示X^L的方差，ε表示一个很小的小数防止除数为0，β表示偏移量：

其中，M表示一层中的隐藏节点的数量。

经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN，前馈神经网络由两个全连接层和一个ReLU激励函数φ(x)组成：

通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为：

FFN(M)＝max(0，MW₁+b₁)W₂+b₂

其中，M为多头注意力层的输出(MHSA)，W₁和W₂为权重矩阵，b₁和b₂为偏置。

6、解码过程。解码器包含两个时空多头注意力层，第一个时空多头注意力层将初始的特征编码全局信息后输出基于

的目标向量集

结合根据编码器处理后得到的

键值向量集经过第二个时空多头注意力层以及求和与归一化计算后，输出到前馈神经网络然后经过Softmax函数进行标准化处理，产生解码器的输出结果。

7、卡尔曼滤波修正过程。卡尔曼滤波器参数设置：测量噪声协方差矩阵R＝[10，0；0，10]，过程激励噪声协方差矩阵Q＝[10，0，0，0；0，10，0，0；0，0，10，0；0，0，0，10]。卡尔曼滤波是一种线性最优滤波算法，可以从一组测量值中获得所需的信息，过滤数值中的噪声和偏差等问题。模型状态方程与系统测量方程分别为：

φ(t)＝Aφ(t-1)+W(t-1)

Z(t)＝HX(t)+V(t)

其中，φ(t)为t时刻状态值，Z(t)为t时刻测量值，A为状态转移矩阵，H为测量矩阵，W(t)和V(t)为过程噪声和测量噪声，且均为相互独立均值为0的高斯白噪声。

根据定义的交通参数特征向量以及解码器的输出，根据t-1时刻检测得出t时刻状态

修正过程方程为：

根据状态转移矩阵A和过程激励噪声协方差矩阵Q，可以得到t时刻车道空间占有率状态估计协方差P：

P(t|t-1)＝AP(t-1|t-1)A^T+Q

根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg：

根据增益Kg、预测状态

和测量矩阵H，可以得到t时刻最优状态估值

在系统运行阶段，通过训练好的系统模型对高速摄像头对采集的图像进行计算输出当前高速公路路段交通拥堵参数，进而实现高速公路智能拥堵预测。

本具体实施方式借鉴transformer中的多头注意力机制将图像中各点特征交互的思想，提出了一种基于时空多头注意力机制的交通状态预测算法。首先，针对特征信息编码问题，采用正弦余弦编码方式将批量的公路历史拥堵信息(连续时间的车道空间占有率)编码为时序信息和空间信息用于网络的训练；其次，针对同时对空间信息(不同车道的占有率)和时间信息(不同时间的拥堵情况)进行建模的问题，设计了高效的时空注意力机制来提升算法对道路拥堵持续变化过程的识别和理解能力，且多头注意力机制能实现高效的信息并行处理，以提高算法运行效率；然后，利用卡尔曼滤波器对交通拥堵状态测量值和算法模型检测值进行动态比较修正，避免模型在突发情况下的误判，以获得最佳估计值，降低交通参数动态变化对预测效果的干扰。本发明的优点在于利用时空多头注意力机制可以有效的融合当前和历史帧的信息，结合卡尔曼滤波进行修正，提高交通拥堵预测的准确率的同时提高了算法的运行效率。此外，本发明适用于隧道、立交、互通等复杂场景且计算帧率达到20FPS。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于时空多头注意力机制的高速公路拥堵预测方法，其特征在于，包括以下步骤：

(1)、获取采集的视频文件，将其转换成序列图像，并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络，得到每一帧图像中车辆和车道的检测结果；

(2)、得到上一步的检测结果后，考虑到不同大小车辆在摄像头可视区域内占比不同，并且存在摄像头视角差异、车辆相互遮挡等因素，如果直接采用车辆数来判别道路拥堵状态会造成较大的误差，并且算法的泛化性能很差；因此，本发明用车道空间占有率S对道路通行状态进行判断，计算如下：

其中，s_i为第i车道的空间占有率；Area_Road_i为第i车道的道路交通状态检测区域面积；假设i车道共计q辆车在检测区域内，则

表示为车辆识别框面积总和；

(3)、计算出车道空间占有率S后，可以进一步得到交通参数特征向量

根据车道号、车道空间占有率等信息构建，定义如下：

其中，S_i为步骤(2)中计算的第i车道的空间占有率，t为时间序列t＝{t|t＝1，2，3，…|，T}，i表示当前监控摄像头画面第i车道，d_t表示时间间隔；最终得到本发明中模型输入的交通参数特征向量为

其中，k为交通参数特征向量

在数据集

中的位置；

(4)、经过数据预处理后获得交通特征向量

同时隐含了车道占有率的时序信息和空间信息，为了同时捕获向量集中的时空信息，本发明设计了高效且新颖的时空多头注意力机制；在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化，例如若发生拥堵或是堵塞，车辆会出现减速、变道等情况导致的车道拥堵；在学习到预测状态变化的能力后，通过大量的训练，在此基础上记忆和理解车辆运动状态，并分析车道内车辆状态，并进行预测；首先将交通特征向量集按照时间-车道信息进行划分，同一时序t中的特征向量划分为同一行，同一车道i的特征向量划分为同一列；假设经过划分后获得特征张量Y∈R^H×W×D，其中H是输入时序信息的长度，W为某一公路的车道数，D为特征向量的维度；对于输入的的特征张量Y∈R^H×W×D，先被划分为空间信息特征Z_s∈R^H×W×D和时间信息特征Z_T∈R^H×W×D，然后分别转换为

和Z_T∈RH^×(^W*D)；然后分别根据多头注意力机制MHSA获得空间关联特征

和时间关联特征

和最终输出

其中，

为三个全连接层以帮助模型获得查询、键、值三个特征，Concat(A，B)表示将A和B按照通道进行合并，MHSA(·)为一般的多头注意力；多头注意力机制把h个不同的自注意力模块集成，可以在参数总量不变的情况下将(Q，K，V)映射到高维空间的不同子空间进行Self-Attention(SA)计算，有效防止过拟合；同时，由于Attention分布在不同子空间，可以获得h组权重矩阵

然后采用Concat将不同的Attention结果按通道拼接在一起：

MHSA(Q，K，V)＝Concat(Attention₁，Attention₂，...，Attention_h)

其中，

计算输入的特征向量

的目标向量Q(qusery)∈R^L×D和键值K∈R^L×D的相似度，通过激活函数Softmax进行归一化处理，最后点乘V∈R^L×D进行加权求和，实现对输入样本的关注度分配；具体实现如下：

其中，d_K＝D，为目标向量的维度；

(5)、编码过程；为了防止梯度消失并加快收敛，在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层，残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配，每个子层(SubLayer)的输出：

其中，LN表示归一化处理：

其中，L表示网络层数，μ^L表示输入X^L的均值，σ^L表示X^L的方差，ε表示一个很小的小数防止除数为0，β表示偏移量：

其中，M表示一层中的隐藏节点的数量；

经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN，前馈神经网络由两个全连接层和一个ReLU激励函数φ(x)组成：

通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为：

FFN(M)＝max(0，MW₁+b₁)W₂+b₂

其中，M为多头注意力层的输出(MHSA)，W₁和W₂为权重矩阵，b₁和b₂为偏置；

(6)、解码过程；解码器包含两个时空多头注意力层，第一个时空多头注意力层将初始的特征编码全局信息后输出基于

的目标向量集

结合根据编码器处理后得到的

键值向量集经过第二个时空多头注意力层以及求和与归一化计算后，输出到前馈神经网络然后经过Softmax函数进行标准化处理，产生解码器的输出结果；

(7)、卡尔曼滤波修正过程：卡尔曼滤波是一种线性最优滤波算法，可以从一组测量值中获得所需的信息，过滤数值中的噪声和偏差等问题；模型状态方程与系统测量方程分别为：

φ(t)＝Aφ(t-1)+W(t-1)

Z(t)＝HX(t)+V(t)

其中，φ(t)为t时刻状态值，Z(t)为t时刻测量值，A为状态转移矩阵，H为测量矩阵，W(t)和V(t)为过程噪声和测量噪声，且均为相互独立均值为0的高斯白噪声；

根据定义的交通参数特征向量以及解码器的输出，根据t-1时刻检测得出t时刻状态

修正过程方程为：

根据状态转移矩阵A和过程激励噪声协方差矩阵Q，可以得到t时刻车道空间占有率状态估计协方差P：

P(t|t-1)＝AP(t-1|t-1)A^T+Q

根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg：

根据增益Kg、预测状态

和测量矩阵H，可以得到t时刻最优状态估值

2.根据权利要求1所述的一种基于时空多头注意力机制的高速公路拥堵预测方法，其特征在于，所述步骤(2)中：输入数据的时序信息一定程度决定了模型预测的鲁棒性，Transformer没有使用LSTM结构，而是直接关联全局特征的亲密度关系，这就需要额外设计一种标记方式为每一项输入

编码时序信息；在本文方法中，位置编码器通过使用不同频率的正弦和余弦函数编码每一项输入数据：

3.根据权利要求1所述的一种基于时空多头注意力机制的高速公路拥堵预测方法，其特征在于，所述步骤4中：定义

为交通参数特征向量时间序列数据集；其中k为数据集中特征向量数据集

中的位置，

t＝{t|t＝1，2，3，...，T}为时间序列；令：

为训练数据集，

为验证数据集；模型训练过程通过

相似度匹配结果对特征权重进行分配和调整并更新模型参数，再经过卡尔曼滤波器动态修正拥堵状态预测结果，直到训练结束；

拥堵状态预测过程，根据t时刻的第i车道的道路交通参数特征向量集

构建查询向量

以及(t-1)时刻的第i车道的道路交通参数特征向量

构建键值对

经过训练好的权重文件计算，并通过卡尔曼滤波器增益修正，输出道路拥堵状态结果为

由于高速公路道路通行状态体现的是基于时序的变化趋势，即在非拥堵和拥堵状态间的转变过程，但当道路高密度拥堵时即车道空间占有率

超过检测阈值

时，道路拥堵状态无法通过车道空间占有率的线性变化进行描述，需通过车辆行驶速度进行辅助判断；因此对于t时刻车道i的拥堵状态

定义如下：

(1)当

时，采用TSTF-KF模型对拥堵状态进行判断

其中，Con^T为拥堵状态判定阈值；

(2)当

时，根据车道车辆速度对拥堵状态进行辅助判断

其中，

为t时刻车道i内车辆平均车速，

为拥堵状态判定车速阈值。

Images