CN106023650A - 基于交通路口视频及计算机并行处理的实时行人预警方法 - Google Patents

Abstract

本发明公开了基于交通路口视频及计算机并行处理的实时行人预警方法，包括路口运动前景的提取，行人目标的分类提取，对行人目标的实时跟踪以及对行人进入路口的报警。在预警过程中，通过使用Vibe算法提取监控视频中的前景运动目标，使用离线训练的行人线性SVM分类模型对前景运动物体的行人与非行人的分类，最后使用JPDA(Joint Probabilistic Data Association，联合概率数据关联)跟踪算法对行人目标进行跟踪，获取行人的运动数据，从而进行预警。本发明主要针对交通路口视频中检测并跟踪行人目标进行实时处理提出改进方法。本发明中，采用多线程并行处理，动态缓冲队列共享数据，最大程度地保证在前景检测和跟踪算法计算量较大的情况下能够实时处理监控视频。

Description

基于交通路口视频及计算机并行处理的实时行人预警方法

技术领域

本发明属于视频图像处理技术在道路车辆的交通控制系统的运用，是针对交通路口视频行人目标实时跟踪预警的解决方案。主要用于解决前景提取算法，跟踪算法计算量大的情况下难以实现实时跟踪预警的问题。

背景技术

随着经济社会的发展，私家车的普及，道路上行驶的车辆越来越多，对高危路段，路口交通事故的预警也越来越受到关注。在交通路口事故中，车辆与行人，骑车人与行人之间最容易发生碰撞意外，保护行人的生命安全一直是交通安全中的重要课题，所以对来往于路口的车辆提供针对路口行人的实时预警是具有一定的实用价值的。实时地进行准确预警，是此类场景应用的重要前提。

专利申请号为CN201110205121.6，名称为“一种交叉路口行人安全辅助系统”的专利公开了一种行人预警的方法，采用单片机控制，激光栅栏，在红灯亮起出根据激光栅栏光路是否被中断，来检测行人，对过往车辆进行预警。此方法十分简易，但有如下缺点，需要在路口添置额外的器件，对于光路中断情况只判断为行人，对行人的运动方向未能做判断。专利申请号为CN200810175852.9，名称为“道路交通安全自动警示方法及装置”的专利采用的方案是在交通路口中对采集到的摄像头视频数据进行背景建模，然后根据前景目标的位置、大小、运动速度来区分行人与车辆。方法比较简单，计算量小，便于实时计算，但准确性会受到影响。而且在区分行人与车辆的时候，由于受到目标大小的影响，需要大量的经验数据，在不同的路口，势必需要大量的调试。

对于前景目标的提取，国内外研究人员提出了很多基于视频的前景检测方法。在众多的前景检测算法中，vibe前景检测是常用的方法之一，vibe算法对于光照的变化和相机的抖动等效果都十分稳定，比较适合户外交通路口这样的场景。

对于目标跟踪，在论文《Tracking-Learning-Detection》，IEEE Pattern

Analysis and Machine Intelligence,2011,Z.Kalal等人公开的目标长时间跟踪算法TLD，该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相组合来解决跟踪目标在被跟踪过程中发生的形变，部分遮挡等问题，是一种实时性和效果平衡比较好的方法。但在公开的方法中，只适用于单目标的跟踪，无法适应多目标跟踪场景。联合概率数据关联(Joint Probabilistic Data Association,JPDA)是Bar-Shalom教授提出的一种适用于多目标情形的数据关联算法，他的优点在于多目标跟踪，计算量较小，解决了目标交叉的量测和航迹匹配问题，而且适用领域广，在视频处理的跟踪中同样适用。

发明内容

本发明用于解决传统前景提取算法、跟踪算法在计算量大的情况下难以实现实时跟踪预警的问题。

为此，本发明提出的技术方案为基于交通路口视频及计算机并行计算的实时预警方法，包含以下步骤：

A1、预处理

对真实场景的交通路口视频划定有效监控区域，根据路口的方向划定进入路口的方向，并且保存记录；

A2、运动前景的提取

启动一个处理线程，使用视频前景检测算法提取视频中的所有的运动目标，并将其保存至动态队列中；

A3、行人目标的分类

启动一个分类线程，使用离线训练的SVM行人分类模型，从上述动态队列中依次取出运动目标筛选出行人目标，保存至动态队列中；

A4、行人目标的跟踪

启动一个跟踪线程，从动态队列中依次取出行人目标，使用JPDA跟踪算法对目标进行跟踪，并分析各个目标路径的运动数据；

A5、对各个上述目标路径的运动数据计算得出各个目标在有效监控区域的运动方向，将该方向与预处理中设定的进入路口的方向进行比较，若分析得出有行人进入路口，则进行预警。

进一步，步骤A2中所述视频前景检测算法为Vibe。

进一步，步骤A2中使用视频前景检测算法提取视频中的所有的运动目标具体包括：

步骤3-1：背景模型初始化，利用单帧视频序列初始化背景模型，对于一个像素点，

结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的领域点像素值作为他的模型样本值；

步骤3-2：对下一帧视频，计算新像素点和样本集中每个样本值的距离，若距离小于阈值，则近似样本点数目增加，如果近似样本点数目大于阈值，则认为新的像素点为背景；

步骤3-3：背景模型进行更新，每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素点样本集的一个样本值；

步骤3-4：每一帧将获得的前景目标保存至一个动态队列中，等待行人目标分类线程的使用，当该队列为空时，会通知后续线程挂起，等待队列容量达到一定数量。

进一步，步骤A3中行人目标的分类包括：

步骤4-1：启动一个线程，对动态队列中前景目标数据做行人的二分类；

步骤4-2：对前景目标图片获取hog特征，根据线性SVM的线性函数的取值判断类别为行人或非行人；

步骤4-3：将SVM分类器得到的行人目标保存至一个动态队列中，等待后续跟踪线程的使用，当收到前景提取线程激活通知时，则线程激活，当存放行人目标的动态队列为空时，会通知后续线程挂起，等待队列容量达到一定数量后再次激活后续线程。

进一步，步骤A4行人目标的跟踪包括：

步骤5-1：启动一个线程，当有行人目标时，初始化JPDA跟踪算法；

步骤5-2：JPDA进行模型条件滤波，得出每一个目标的路径信息；

步骤5-3：根据目标的路径信息，根据其水平方向的速度v_x，垂直方向v_y，计算器速度方向，与预处理中划定的路口进出方向进行比较得出目标是否进入路口，若是进入，则进行预警来往车辆注意路口有行人；

步骤5-4：当连续5帧数据中都没有行人目标出现时，则将JPDA跟踪重置，航迹清除，当获得新的行人目标后重新初始化；

步骤5-5：当获得行人目标分类线程挂起通知，则将线程挂起，等待重新获得激活信号。

有益效果：本发明主要用于解决前景提取算法，跟踪算法计算量大的情况下难以实现实时跟踪预警问题的解决方案。使用多线程并行处理多个计算量大的算法，利用动态队列技术进行线程间技术共享，使复杂的路口行人预警算法能够实时运行。在酷睿i5-4590处理器，8g内存的计算机上运行，未采用并行处理的算法每秒处理13帧，采用并行处理后，算法每秒处理25帧，达到了实时要求。

附图说明

图1为本发明的流程示意图。

图2为本发明的多线程并发工作反馈示意图。

具体实施方式

现结合附图对本发明的具体实施方式做进一步详细的说明。本发明使用多线程并行处理多个计算量大的算法，利用动态队列技术进行线程间技术共享，使复杂的路口行人预警算法能够实时运行。主要包含以下步骤：

A1、预处理：

对真实场景的交通路口视频划定有效监控区域，根据路口的方向划定进入路口的方向，并且保存记录

A2、运动前景的提取：

启动一个处理线程，使用Vibe算法提取视频中的所有的运动目标，如图1的左边方框部分所示，并将其保存至动态队列中，如图2的左半部分所示。

A3、行人目标的检测：

启动一个分类线程，使用离线训练的SVM行人分类模型，从动态队列中依次取出运动目标筛选出行人目标，如图1的中间方框部分所示，保存至动态队列中，如图2的右半部分所示。

A4、行人目标的跟踪：

启动一个跟踪线程，从动态队列中依次取出行人目标，使用JPDA跟踪算法对目标进行跟踪，并分析各个目标路径的运动数据，如图1的右边方框部分所示。

A5、对各个目标的运动数据计算得出各个目标的在有效视频区域的运动方向，将该方向与预处理中设定的路口进入方向进行比较，若分析得出有行人进入路口，则进行预警。

为进一步对本发明的技术方案进行说明，现从以下方面作出说明。

一、体系结构

图1给出了基于交通路口视频，计算机并行处理的行人实时预警流程图。这里有三个模块并行运行，将算法中前景提取，行人目标分类，行人目标跟踪分开，若同步运行，使用单线程工作方式，计算量太大导致不能实时分析预警。使用并行运算的方式，有效利用计算机的多核处理性能，使整体满足实时的要求。

Visual Background extractor(Vibe)前景检测算法：相较于其他交通路口预警方法，对于背景建模，前景提取，采用Vibe检测算法。该算法的主要思想是具体的思想就是为每个像素点存储了一个样本集，样本集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。该模型主要包括三个方面：模型的工作原理；模型的初始化方法；模型的更新策略。

支持向量机SVM分类算法：是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。SVM算法在小样本的情况下，具有较好的鲁棒性。

JPDA多目标跟踪算法：JPDA算法在PDA算法和最近邻算法的基础上，不仅仅利用更新目标值，而是利用残差更新概率并进行联合滤波。实现多目标跟踪，对机动性较强的目标也能较好的进行跟踪。

二、方法流程

1、预处理阶段

针对特定的交通路口视频，选取路口入口处以及出口处的两个像素点(X₁,Y₁)，(X₂,Y₂)，根据斜率计算公式得到路口进出方向的斜率。并且利用离线得到的路口行人截图与非路口行人截图，使用线性SVM二分类分类器，选取图片的hog特征，训练得到SVM分类器模型。

2、前景提取过程

启动一个线程，先对得到的视频进行解码，获取视频帧序列，并进行前景提取。步骤2-1：背景模型初始化，利用单帧视频序列初始化背景模型，对于一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的领域点像素值作为他的模型样本值。

步骤2-2：对下一帧视频，计算新像素点和样本集中每个样本值的距离，若距离小于阈值，则近似样本点数目增加。如果近似样本点数目大于阈值，则认为新的像素点为背景。检测过程中主要由三个参数决定：样本集数目N，阈值min和距离相近判定的阈值R，此处，参数设置为N＝20，min＝2，R＝20。

X点处的像素值：V(X)

X处的背景样本集，样本集大小为N：M(x)＝{v₁,v₂,…,v_N}以X为中心R为半径的区域：S_R(v(x))

判断新的像素点是否为背景：

{S_R(v(x))∩{v₁,v₂,…,v_N}}≥min

步骤2-3：背景模型进行更新，每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素点样本集的一个样本值。

步骤2-4：每一帧将获得的前景目标保存至一个动态队列中，等待行人目标分类线程的使用。当该队列为空时，会通知后续线程挂起，等待队列容量达到一定数量M₁，此处M₁＝20，再次激活后续线程。

3、行人目标的分类

启动一个线程，对动态队列中前景目标数据做行人的二分类。

步骤3-1：对前景目标图片获取hog特征，根据线性SVM的线性函数：g(x)＝wx+b，其中w，b为SVM分类器模型的参数，x为前景图片的hog特征数据。g(x)＞0，判断为类别为行人，反之为非行人。

步骤3-2：将SVM分类器得到的行人目标保存至一个动态队列中，等待后续跟踪线程的使用。当收到前景提取线程激活通知时，则线程激活。当存放行人目标的动态队列为空时，会通知后续线程挂起，等待队列容量达到一定数量M₂，此处M₂＝30，再次激活后续线程。

4、JPDA行人目标跟踪

启动一个线程，对动态队列中行人目标进行跟踪。

步骤5-1：当有行人目标时，初始化JPDA跟踪算法。

步骤5-2：JPDA进行模型条件滤波，得出每一个目标的路径信息。

步骤5-3：根据目标的路径信息，根据其水平方向的速度v_x，垂直方向v_y，计算器速度方向，与预处理中划定的路口进出方向进行比较得出目标是否进入路口，若是进入，则进行预警来往车辆注意路口有行人。

步骤5-4：当连续5帧数据中都没有行人目标出现时，则将JPDA跟踪重置，航迹清除，当获得新的行人目标后重新初始化。

步骤5-5：当获得行人目标分类线程挂起通知，则将线程挂起，等待重新获得激活信号。

Claims (5)

1.基于交通路口视频及计算机并行计算的实时预警方法，其特征在于包含以下步骤：

A1、预处理；

对真实场景的交通路口视频划定有效监控区域，根据路口的方向划定进入路口的方向，并且保存记录；

A2、运动前景的提取；

启动一个处理线程，使用视频前景检测算法提取视频中的所有的运动目标，并将其保存至动态队列中；

A3、行人目标的分类；

启动一个分类线程，使用离线训练的SVM行人分类模型，从上述动态队列中依次取出运动目标筛选出行人目标，保存至动态队列中；

A4、行人目标的跟踪；

启动一个跟踪线程，从动态队列中依次取出行人目标，使用JPDA跟踪算法对目标进行跟踪，并分析各个目标路径的运动数据；

A5、对各个上述目标路径的运动数据计算得出各个目标在有效监控区域的运动方向，将该方向与预处理中设定的进入路口的方向进行比较，若分析得出有行人进入路口，则进行预警。

2.根据权利要求1所述的基于交通路口视频及计算机并行计算的实时预警方法，其特征在于步骤A2中所述视频前景检测算法为Vibe。

3.根据权利要求1所述的基于交通路口视频及计算机并行计算的实时预警方法，其特征在于步骤A2中使用视频前景检测算法提取视频中的所有的运动目标具体包括：

步骤3-1：背景模型初始化，利用单帧视频序列初始化背景模型，对于一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的领域点像素值作为他的模型样本值；

步骤3-2：对下一帧视频，计算新像素点和样本集中每个样本值的距离，若距离小于阈值，则近似样本点数目增加，如果近似样本点数目大于阈值，则认为新的像素点为背景；

步骤3-3：背景模型进行更新，每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素点样本集的一个样本值；

步骤3-4：每一帧将获得的前景目标保存至一个动态队列中，等待行人目标分类线程的使用，当该队列为空时，会通知后续线程挂起，等待队列容量达到一定数量。

4.根据权利要求1所述的基于交通路口视频及计算机并行计算的实时预警方法，其特征在于步骤A3中行人目标的分类包括：

步骤4-1：启动一个线程，对动态队列中前景目标数据做行人的二分类；

步骤4-2：对前景目标图片获取hog特征，根据线性SVM的线性函数的取值判断类别为行人或非行人；

步骤4-3：将SVM分类器得到的行人目标保存至一个动态队列中，等待后续跟踪线程的使用，当收到前景提取线程激活通知时，则线程激活，当存放行人目标的动态队列为空时，会通知后续线程挂起，等待队列容量达到一定数量后再次激活后续线程。

5.根据权利要求1所述的基于交通路口视频及计算机并行计算的实时预警方法，其特征在于步骤A4行人目标的跟踪包括：

步骤5-1：启动一个线程，当有行人目标时，初始化JPDA跟踪算法；

步骤5-2：JPDA进行模型条件滤波，得出每一个目标的路径信息；

步骤5-3：根据目标的路径信息，根据其水平方向的速度v_x，垂直方向v_y，计算器速度方向，与预处理中划定的路口进出方向进行比较得出目标是否进入路口，若是进入，则进行预警来往车辆注意路口有行人；

步骤5-4：当连续5帧数据中都没有行人目标出现时，则将JPDA跟踪重置，航迹清除，当获得新的行人目标后重新初始化；

步骤5-5：当获得行人目标分类线程挂起通知，则将线程挂起，等待重新获得激活信号。