CN112052802B - 一种基于机器视觉的前方车辆行为识别方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的前方车辆行为识别方法，首先采用改进的tiny‑YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM，对前方车辆进行行为识别；改进的tiny‑YOLOv3算法是指将tiny‑YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个。本发明的一种基于机器视觉的前方车辆行为识别方法，应用在智能车辆上，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。

Description

一种基于机器视觉的前方车辆行为识别方法

技术领域

本发明属于机器视觉技术领域，涉及一种基于机器视觉的前方车辆行为识别方法，应用在智能车辆上，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。

背景技术

随着智能技术的发展与人们对出行方式越来越高的要求，智能车辆成为当前的研究热点之一。智能车辆对前方车辆的检测、跟踪与行为识别可以给智能车辆提供实时的道路环境信息，并识别目标车辆的驾驶意图，让智能车辆的决策控制层可以针对当前道路环境做出合适的规划和避障动作，减少交通事故的发生，具有重要意义。

前方车辆检测是车辆跟踪和意图识别的首要环节。在车辆检测方面，传统的方法包括根据外观特征的检测方法和背景差分法等，但仅适用于摄像机固定视角或静态视频检测，检测环境受限。近年来，该领域大多利用梯度方向直方图(Histogram of OrientedGradient，HOG)和haar-like等特征基于神经网络或机器学习的方法进行检测，但此类方法计算复杂，难以兼顾实时性和准确性。

目标车辆跟踪方面，常用的有Kalman滤波器和mean-shift等传统跟踪算法、深度学习方法以及基于相关滤波的方法来承接车辆检测结果，实现目标跟踪，并连接车辆行为识别模块。传统跟踪方法的跟踪准确率会受视频图像中遮挡、背景干扰和光照变化等因素影响，从而出现目标丢失、跟踪失败等情况，稳定性较差。基于深度学习如SiamFC算法、循环神经网络(RNN)、卷积神经网络(CNN)等对目标信息建模，具有较高的跟踪准确率，但实时性还有待提升。基于相关滤波的方法如基于核相关滤波算法和TLD跟踪算法等，实时性较好，但未能解决目标遮挡与尺度改变等问题。

车辆行为识别部分，常用如BP神经网络、隐马尔科夫模型(HMM)、支持向量机(SVM)、随机森林决策法、贝叶斯网络等方法对智能车周围车辆的驾驶意图以及驾驶行为进行判断和识别。上述方法各有优势，但对车辆长期行为识别的准确率均较差。随着相关技术发展，基于深度学习的行为识别方法具有更好的识别效果。其中，长短期记忆网络(LSTM)是一种基于时间循环的神经网络，用递归方式处理序列数据并提取时序特征，更适用于车辆的行为识别。

发明内容

本发明的目的是解决现有技术中存在的上述问题，提供一种基于机器视觉的前方车辆行为识别方法。为了增加车辆行为识别的准确率，本发明在车辆检测步骤改进tiny-YOLOv3算法，把原有算法的特征提取网络改进为基于Inception模块，拓展网络宽度并改进提取特征的能力，同时搭建特征金字塔网络，利用上采样方法融合高层特征与低层特征，把改进检测网络的尺度增加到3个，给较小检测目标分配更适合的检测尺度；为解决前方车辆被遮挡时跟踪效果不好的问题，在车辆跟踪步骤基于KCF算法(核相关滤波算法)，若出现遮挡时，利用Kalman滤波算法预测被挡车辆位置，并用匈牙利匹配算法实现复杂环境下的多个车辆目标长期跟踪。为了在提高识别准确率的同时兼顾实时性，构建LSTM(长短时记忆网络)对目标车辆进行行为识别。

为达到上述目的，本发明采用的技术方案如下：

一种基于机器视觉的前方车辆行为识别方法，首先采用改进的tiny-YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法(Kernerlized CorrelationFilter，核相关滤波算法)、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM(Long Short-Term Memory，长短时记忆网络)，对前方车辆进行行为识别；

改进的tiny-YOLOv3算法是指将tiny-YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个。

作为优选的技术方案：

如上所述的一种基于机器视觉的前方车辆行为识别方法，所述采用改进的tiny-YOLOv3算法进行前方车辆检测具体包括如下步骤：

(1)将tiny-YOLOv3算法的特征提取网络改进为Inception模块，拓展网络宽度改进提取特征的能力；

(2)搭建特征金字塔网络，可使网络结构更简单，实时性更好，更适合嵌入式端的工程应用，利用上采样方法使卷积网络中高层特征与低层特征融合(卷积网络为改进tiny-YOLOv3中的部分网络结构，如图3所示，某一尺寸的特征经过卷积网络的卷积操作后会生成新的特征尺寸，同时把改进tiny-YOLOv3算法的检测尺度增加到3个，可以为较小检测目标分配更适合的检测尺度；

(3)车辆检测算法分为离线训练与实时检测两个部分，经离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：

b_x＝σ(t_x)+c_x；

b_y＝σ(t_y)+c_y；

式中b_x、b_y、b_w和b_h分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；c_x和c_y分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；p_w和p_h分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；t_x和t_y为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与c_x和c_y相加后得到检测框中心点的位置；t_w和t_h为预测的边框的宽和高，分别与p_w和p_h作用后得到检测框的宽和高。

如上所述的一种基于机器视觉的前方车辆行为识别方法，所述合适的模型指训练检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练，并保存网络权重得到的模型。

如上所述的一种基于机器视觉的前方车辆行为识别方法，KCF算法采用循环偏移采样的方式构建训练样本。

循环偏移采样的方式如下：

设车辆目标区域表达式为：

x＝[x₁,x₂,...,x_n-1,x_n]^T；

将车辆目标区域偏移n次获取n维循环偏移向量，并采用傅里叶空间对角化进行简化：

式中X为目标训练样本集，C(x)为样本集循环矩阵。利用KCF跟踪算法，在车辆检测的基础上进行车辆跟踪。

如上所述的一种基于机器视觉的前方车辆行为识别方法，首先采用基于KCF响应值的遮挡检测方法(KCF是一种车辆跟踪算法，KCF响应值是其中具体的检测方法)对被遮挡的候选区域的响应值进行分析，判别目标车辆是否被遮挡；若被遮挡，KCF跟踪算法会受到干扰，用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪(若未被遮挡，则继续利用KCF跟踪算法对目标车辆进行跟踪)；然后利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果，“检测结果”指当前帧检测的车辆ID(当视频帧中检测到前方有多个车辆时，给每个车辆打上“编号”，能确保当前帧中的车辆匹配到前一帧中的同一车辆)、位置信息，得到检测结果之后与前一帧中的车辆跟踪与预测结果进行匹配，依次迭代即可实现目标车辆的长期跟踪；最后对于Kalman滤波算法的预测结果，若无法与下一次检测的结果匹配，则认为超出预测极限，目标消失；若匹配到车辆目标，则对预测结果进行更新(即Kalman滤波算法的更新阶段，更新阶段中的具体工作有计算修正矩阵、更新观测值、更新协方差误差)。

如上所述的一种基于机器视觉的前方车辆行为识别方法，通过计算车辆检测结果与跟踪结果的质心距离，可知相对质心距离最小的结果相互匹配，建立匹配关系式：

式中，d为车辆跟踪结果与检测结果之间的质心距离，i为配对数量，m表示最大匹配数，D_i和T_i为第i对的跟踪与检测结果，Min为取最小值函数。

如上所述的一种基于机器视觉的前方车辆行为识别方法，将前方车辆检测与跟踪结果作为LSTM的输入，构建车辆行为识别网络模型，处理并分析时序信息，进行行为分类识别。

如上所述的一种基于机器视觉的前方车辆行为识别方法，所识别的前方车辆行为包含直行、左变道、右变道、左切入、右切入、左转弯和右转弯。

有益效果：

通过本发明的基于机器视觉的前方车辆行为识别方法可以较好地实现目标车辆的驾驶行为识别，通过改进tiny-YOLOv3算法，增加检测尺度与网络宽度，解决了较小车辆目标检测准确率低的问题，提高检测实时性；同时基于KCF算法(核相关滤波算法)，结合Kalman滤波与匈牙利匹配算法解决目标车辆被遮挡引起的跟踪失败问题，实现复杂环境下的多个车辆目标长期跟踪；构建长短时记忆网络(LSTM)对前方车辆进行行为识别，识别准确率较高且实时性好。

附图说明

图1为本发明前方车辆行为识别的流程示意图；

图2为Inception模块的网络结构图；

图3为本发明前方车辆检测方法的网络结构图；

图4为本发明的前方车辆行为识别模型图。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

一种基于机器视觉的前方车辆行为识别方法，如图1所示，包括以下步骤：

步骤1、改进tiny-YOLOv3算法，构建车辆检测网络模型，如图3所示。

把tiny-YOLOv3算法的特征提取网络改进为基于Inception模块，如图2所示，把n×n的卷积进行分解。分为四个通道：一通道约束通道数，降低运算成本；二通道经池化提取目标特征同时控制通道输出的降维和升维；三通道减小网络参数；四通道可获取不同尺度的特征。之后把四个通道的输出结果进行聚合获取多种特征结果。

为了对小目标检测具有更好的效果，搭建特征金字塔网络，利用上采样方法使低层特征与高层特征融合，同时增加检测尺度，把改进tiny-YOLOv3算法从2个检测尺度增加到3个检测尺度，给较小检测目标分配更适合的候选框。

步骤2、数据采集阶段，首先建立真实道路环境的前方车辆样本集，进行标注。对样本集数据进行处理，之后进行车辆检测网络模型训练(车辆检测网络模型是上述步骤1中搭建好的，训练的设备配置为Windows 10操作系统，搭配Darknet深度学习框架，以及OpenCV3扩展库)。每次将一批样本送入网络进行训练，构建损失函数计算损失，反向传播更新模型参数。损失函数如下：

E＝E_coord+E_IOU+E_class (1)

式中E_coord为坐标损失，E_IOU为置信度损失，E_class为类别损失；其中，坐标损失利用预测检测框的宽高损失和中心损失二者相加得到；

式中，x_i，y_i，w_i，h_i为车辆检测模型预测的车辆检测框；x’_i，y’_i，w’_i，h’_i为人工标记的真实边界框；S²为特征集内某一个输出特征图的网格单元数量；B为候选框的数目；为第i个网格中的第j个候选框里是否包含检测车辆目标，当在一个单元格中有检测车辆目标时，其值等于1，否则取值为0；λ_coord为尺度因子，用于给检测目标的类别概率和检测边框的位置尺寸误差赋予一定的权值。

计算置信度损失按下式：

式中，c’_i和c_i分别表示置信度真实值和预测值。I_ij表示第i个网格中的第j个候选框里包含检测车辆目标，表示第i个网格中的第j个候选框里不包含检测车辆目标。

计算类别损失按下式：

式中，p’_i(c)和p_i(c)分别表示真实类别概率与预测的检测框的类别概率，c∈class为分类类别。

训练检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练(最大迭代次数和阈值可针对不同模型和需求人为设置，本发明中设置为经过45000次迭代终止训练)，并保存网络权重。

经离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：

b_x＝σ(t_x)+c_x (5)

b_y＝σ(t_y)+c_y (6)

式中b_x、b_y、b_w和b_h分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；c_x和c_y分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；p_w和p_h分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；t_x和t_y为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与c_x和c_y相加后得到检测框中心点的位置；t_w和t_h为预测的边框的宽和高，分别与p_w和p_h作用后得到检测框的宽和高。

步骤3、运用KCF算法进行车辆目标跟踪。首先输入视频数据，以图像序列第一帧中给定的车辆目标区域为正样本进行循环偏移采样产生大量的负样本，得到样本集的循环矩阵，车辆目标区域表达式为：

x＝[x₁,x₂,...,x_n-1,x_n]^T (9)

将车辆目标区域偏移n次得到n维循环偏移向量，并采用傅里叶空间对角化进行简化：

式中X为构造的目标训练样本集，C(x)为样本集循环矩阵。利用KCF跟踪算法，在车辆检测的基础上进行车辆跟踪。之后利用该循环矩阵训练分类器。

步骤4、检测下一帧中车辆的位置并更新分类器；采用如下更新函数：

式中，β表示模型更新因子，x_x’为当前帧检测到的模型参数，x_t为当前帧的目标模板，x_t-1为前一帧的目标模板；α_x’为当前帧训练的分类器参数，α_t为当前帧模型参数，α_t-1为前一帧的模型参数。最后在后续图像序列帧中重复上述步骤及操作，直至跟踪结束。

步骤5、针对车辆跟踪时，目标车辆被遮挡产生干扰的问题，采用基于KCF响应值的遮挡检测方法，对被遮挡的候选区域的响应值进行分析，判别车辆是否受到遮挡。判断过程如下：

根据视频帧中的前方车辆计算KCF跟踪分类器的最大响应值max及其中心坐标pos，并获取车辆的宽w和高h，之后计算最大响应值周围大于λ₁*max的其他候选区域中心坐标pos_i，其中λ₁为遮挡阈值；得到候选区域中心区域坐标后，计算最大响应中心坐标pos到所有pos_i点的欧式距离response_i，并求和最后计算阈值λ₂×w×h，判断是否存在被遮挡情况，其中λ₂为面积因子。若/>高于阈值则表示车辆被遮挡。

当判断车辆确实受到遮挡时，采用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪；Kalman滤波预测阶段，Kalman滤波初始化起始量P，基于k-1时刻状态的最优估计值/>预测当前k时刻状态估计值/>

式中，A为状态转移矩阵，A^T为A的转置矩阵，B为控制矩阵，U_k为k时刻对系统的控制量。并基于k-1时刻误差协方差P_k-1/k-1计算当前k时刻误差协方差P_k|k-1：

P_k|k-1＝AP_k-1|k-1A^T+Q (13)

式中，Q为系统噪声。更新阶段，通过计算Kalman修正矩阵K_k，并与观测值Z_k修正系统状态的预估计值计算最优估计X_k|k：

式中，H表示观测系统矩阵，H^T为H的转置矩阵，R为测量噪声协方差(滤波器实际实现时，测量噪声协方差R一般可以观测得到，是滤波器的已知条件)。最后更新当前k时刻协方差P_k|k：

P_k|k＝P_k|k-1-K_kHP_k|k-1 (16)

步骤6、针对实际道路场景，车辆数目多变环境更为复杂的情况，需要实现长期跟踪。用匈牙利算法匹配检测与跟踪结果的策略，并采用间隔固定帧数再检测车辆，计算车辆检测结果与跟踪结果的质心距离，相对质心距离最小的结果相互匹配。其匹配关系如下：

式中，d表示车辆检测结果与跟踪结果之间的质心距离，i表示配对数量，m为最大匹配数，i最大取m，Di和Ti分别表示第i对的检测与跟踪结果。利用匈牙利匹配算法输出的最佳匹配关系，可以认为相互匹配的车辆检测与跟踪结果是同一个目标。在修正跟踪结果后继续进行跟踪，从而实现对目标车辆的长期跟踪。

步骤7、如图4所示，利用车辆检测和跟踪的结果，得到准确的车辆运动轨迹与车辆目标检测框的尺寸特征。对特征提取量化，剔除错误数据，并输入LSTM网络建立时间序列模型，将前方车辆的行为分为直行、左变道、右变道、左切入、右切入、左转弯和右转弯。对该模型进行离线训练。经过训练，达到1500次迭代时停止训练，并保存网络权重。最后用本发明提出的前方车辆的行为识别方法对前方目标车辆进行识别，取300个样本进行实验，平均准确率达到91.7％。与传统的识别算法(如[1]、[2]等)相比，行为类别中各类的准确率几乎都有提升(见下表)。本发明还考虑了传统方法未考虑的左变道、右变道、左切入和右切入的行为类别，更适用于复杂环境，具有较好的准确率。另外，因为网络结构的特点，LSTM网络能更好的处理时序信息，相比其他方法实时性更好。

表.本发明与传统方法的比较(％)

参考文献：

[1]黄鑫，肖世德，宋波.监控视频中的车辆异常行为检测[J].计算机系统应用，2018，27(2):125－131.(HUANG X，XIAO S D，SONG B.Detection of vehicle＇s abnormalbehaviors in surveillance video[J].Computer Systems and Applications，2018，27(2):125－131.).

[2]黄慧玲，杨明，王春香，等.基于前方车辆行为识别的碰撞预警系统[J].华中科技大学学报(自然科学版)，2015，43(s1):117－121.(HUANG H L，YANG M，WANG C X，etal.Collision warning system based on forward vehicle behavior recognition[J].Journal of Huazhong University of Science and Technology(Natural ScienceEdition)，2015，43(s1):117－121.).

综上，与现有方法相比，本发明的基于机器视觉的前方车辆行为识别方法，通过改进tiny-YOLOv3算法，增加检测尺度与网络宽度，能检测道路环境中前方较远的车辆，解决了小目标检测准确率低的问题，实现复杂环境下的实时车辆检测；基于KCF算法(核相关滤波算法)，结合Kalman滤波与匈牙利匹配算法解决目标车辆被遮挡引起的跟踪失败问题，对复杂环境下的车辆目标长期跟踪；构建LSTM网络(长短时记忆网络)对前方车辆进行行为识别，更适用于复杂道路环境，能识别前方目标车辆的多种驾驶行为且具有良好的实时性和准确性。

Claims (7)

1.一种基于机器视觉的前方车辆行为识别方法，其特征在于：首先采用改进的tiny-YOLOv3算法进行前方车辆检测，当检测到目标车辆后，再基于KCF算法、Kalman滤波算法与匈牙利匹配算法对目标车辆进行跟踪，最后根据前方车辆检测与跟踪结果构建LSTM，对前方车辆进行行为识别；

改进的tiny-YOLOv3算法是指将tiny-YOLOv3算法的特征提取网络改进为Inception模块，构建特征金字塔网络，并将检测尺度增加到3个；

所述采用改进的tiny-YOLOv3算法进行前方车辆检测具体包括如下步骤：

(1)将tiny-YOLOv3算法的特征提取网络改进为Inception模块；

(2)搭建特征金字塔网络，利用上采样方法使卷积网络中高层特征与低层特征融合，同时把改进tiny-YOLOv3算法的检测尺度增加到3个，得到车辆检测网络；

(3)对车辆检测网络进行离线训练得到合适的模型后，在实时检测阶段，把多个候选框分配给划分好的单元格，采用候选框预测目标检测框，则有：

b_x＝σ(t_x)+c_x；

b_y＝σ(t_y)+c_y；

式中b_x、b_y、b_w和b_h分别为检测框中心的横坐标和纵坐标以及检测框的宽和高；c_x和c_y分别为待检测目标中心所在单元格相对图像左上角的横向与纵向偏移；p_w和p_h分别为候选框的宽和高；e为自然指数；σ为sigmoid激活函数；t_x和t_y为预测的边框的中心点坐标，即经过sigmoid激活函数输出0到1之间的偏移量，分别与c_x和c_y相加后得到检测框中心点的位置；t_w和t_h为预测的边框的宽和高，分别与p_w和p_h作用后得到检测框的宽和高；

车辆检测网络的实现过程为：首先，输入一张416×416的道路图片，经过两组卷积层和步长为2的池化层后，获得尺寸为104×104×32的特征图；接下来采用Inception模块对104×104×32的特征图进行处理，分别得到52×52×128和26×26×256两个尺度不同的特征图，然后再利用Inception模块处理26×26×256的特征图后得到13×13×1024的特征图；在检测部分，将13×13×1024的特征图经过卷积处理后得到13×13×256的特征图，对其进行上采样后和之前得到的26×26×256的特征图组合得到26×26×384的特征图，再对得到的26×26×384的特征图进行上采样得到52×52×128的特征图，该特征图与之前得到的52×52×128的特征图组合得到52×52×256的特征图；最后，对检测部分得到的13×13×256的特征图进行卷积操作得到13×13×27的预测输出，对26×26×384的特征图连续进行两次卷积操作得到26×26×27的预测输出，对52×52×256的特征图连续进行两次卷积操作得到52×52×27的预测输出。

2.根据权利要求1所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，所述合适的模型指训练车辆检测网络直到满足训练设置的最大迭代次数或损失函数值低于阈值时终止训练，并保存网络权重得到的模型。

3.根据权利要求2所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，KCF算法采用循环偏移采样的方式构建训练样本。

4.根据权利要求3所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，首先采用基于KCF响应值的遮挡检测方法对被遮挡的候选区域的响应值进行分析，判别目标车辆是否被遮挡；若被遮挡，用Kalman滤波算法预测被遮挡车辆位置，实现对被遮挡车辆的跟踪；然后利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果；最后对于Kalman滤波算法的预测结果，若无法与下一次检测的结果匹配，则认为超出预测极限，目标消失；若匹配到车辆目标，则对预测结果进行更新。

5.根据权利要求4所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，利用匈牙利匹配算法匹配当前帧的车辆检测结果与前一帧的车辆跟踪与预测结果，匹配关系式为：

式中，d为车辆跟踪结果与检测结果之间的质心距离，i为配对数量，m表示最大匹配数，D_i和T_i为第i对的跟踪与检测结果，Min为取最小值函数。

6.根据权利要求4所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，将前方车辆检测与跟踪结果作为LSTM的输入，构建车辆行为识别网络模型，处理并分析时序信息，进行行为分类识别。

7.根据权利要求6所述的一种基于机器视觉的前方车辆行为识别方法，其特征在于，所识别的前方车辆行为包含直行、左变道、右变道、左切入、右切入、左转弯和右转弯。