CN104978570A - 基于增量学习的行车视频中交通标志的检测和识别方法 - Google Patents

Abstract

本发明公开了一种基于增量学习的行车视频中交通标志的检测和识别方法，用于解决现有交通标志的检测和识别方法鲁棒性差的技术问题。技术方案是采用聚合通道特征训练Adaboost分类器，并对检测器进行改进，然后将该检测器的检测结果作为卡尔曼滤波器的观测值进行基于运动模型的跟踪，在跟踪过程中，在线训练新的增量SVM检测器，当原Adaboost检测器由于标志的表观变化导致检测失败时，由该在线增量检测器进行检测，并将检测结果作为卡尔曼滤波器的观测值输入，对未能连续检测到的目标进行过滤。最后对同一个物理交通标志的跟踪结果进行基于尺度的高斯权重的加权投票，得到最终的识别结果，提高了检测和识别的鲁棒性。

Description

基于增量学习的行车视频中交通标志的检测和识别方法

技术领域

本发明涉及一种交通标志的检测和识别方法，特别是涉及一种基于增量学习的行车视频中交通标志的检测和识别方法。

背景技术

文献“AndreasDongran Liu,Mohan M.Trivedi,Traffic Sign Detectionfor U.S.Roads:Remaining Challenges and a case for Tracking.IEEE IntelligentTransportation Systems Conference,pp.1394-1399.2014.”中采用级联分类器Adaboost方法进行检测。该文选择积分通道特征对输入训练数据进行特征提取，然后训练一个3层的Adaboost级联分类器，并用滑动窗口的方法对输入视频数据进行检测。这种交通标志检测方法过于依赖训练数据和特征提取方式，对于未在训练数据中出现过的情况容易出现误检，或者由于目标光照、遮挡等变化造成漏检。而且该检测方法并未利用行车视频的交通标志出现位置的先验信息对检测器进行改进。该文献对检测到的交通标志采用卡尔曼滤波方法进行基于运动模型的跟踪，即将检测结果作为卡尔曼滤波器的观测值，从而对交通标志的下一帧位置进行估计。而这种跟踪算法仅利用运动模型信息，一旦运动模型突然变化就会导致跟踪漂移。而且无法处理交通标志的光照、遮挡等变化导致的跟踪失败问题。对于交通标志的识别，现有方法未考虑跟踪过程中交通标志的不同尺度大小的识别结果对最终结果的投票的权重问题，不能提高交通标志识别的鲁棒性。

发明内容

为了克服现有交通标志的检测和识别方法鲁棒性差的不足，本发明提供一种基于增量学习的行车视频中交通标志的检测和识别方法。该方法采用聚合通道特征训练Adaboost分类器，并通过行车视频的交通标志的空间先验分布对检测器进行改进，然后将该检测器的检测结果作为卡尔曼滤波器的观测值进行基于运动模型的跟踪，同时，在跟踪过程中，在线地训练新的增量SVM检测器，当原Adaboost检测器由于标志的表观变化导致检测失败时，由该在线增量检测器进行检测，并将检测结果作为卡尔曼滤波器的观测值输入，达到同时利用运动模型和表观模型进行跟踪的效果。在跟踪过程中，对未能连续检测到的目标进行过滤，提高跟踪结果的可靠性。最后对同一个物理交通标志的跟踪结果进行基于尺度的高斯权重的加权投票，得到最终的识别结果为系统的最终输出。对于在交通标志跟踪过程中由于目标的表观状态变化，或运动模型的突变等问题，本发明方法采用基于增量学习的在线检测器，当目标的状态变化时，在检测器模型上进行动态调整，并以此检测结果对原运动模型进行更新，最终提高检测和识别的鲁棒性。

本发明解决其技术问题所采用的技术方案是：一种基于增量学习的行车视频中交通标志的检测和识别方法，其特点是采用以下步骤：

步骤一、对训练数据集归一化，并采样图像块，计算通道特征池，使用Adaboost算法训练检测器模型，该检测器由4层强检测器级联得到，此4层强检测器分别包括32，128，512，2048个弱分类器。通过全部4层强分类器的检测目标为候选目标，并且最后一层的强分类器模型为：

其中，α_t为训练得到的每个弱分类器的权重，h_t为弱分类器，T为弱分类器的个数。

步骤二、使用训练数据对在线增量SVM检测器进行离线训练，完成初始化过程。

步骤三、对训练数据的正样本位置进行高斯核的Parzen窗密度估计，得到概率密度函数为：

其中，x为向量(x,y)，即交通标志出现的位置坐标。n为训练数据正样本个数，V_n为窗函数的窗口大小，h_n为窗口的边长。函数为高斯函数。即：

步骤四、对步骤一中的强分类器模型采用下面公式处理：

通过训练集上的交叉验证实验确定参数λ。

步骤五、利用步骤二确定的检测器模型对输入视频进行检测，将检测结果位置作为观测值输入卡尔曼滤波器，通过卡尔曼滤波的更新和预测阶段实现对交通标志的跟踪。

步骤六、对步骤五的跟踪结果进行正样本可能性测试，测试函数如下：

L_positive(f_k)＝symm(f_k)·p_ph(f_kmean,f_k)·p_pos(f_k-1,f_k)  (5)

正样本可能性高的作为跟踪结果输出，并以该结果更新卡尔曼滤波的参数以及增量更新在线检测器。其中L_positive(f_k)为第k帧成为正样本可能性大小的倒数，即对称性越高，其值越小。symm(f_k)为第k帧的目标的对称性大小幅值，p_ph(f_kmean,f_k)为第k帧目标的感知哈希与前k帧的平均值的欧氏距离。p_pos(f_k-1,f_k)为第k帧目标与k-1帧目标的坐标的欧氏距离。对于正样本可能性低的视频帧则利用在线检测器在该位置邻域进行在线检测，将结果作为输出结果，同时用于更新卡尔曼滤波参数。

本发明的有益效果是：该方法采用聚合通道特征训练Adaboost分类器，并通过行车视频的交通标志的空间先验分布对检测器进行改进，然后将该检测器的检测结果作为卡尔曼滤波器的观测值进行基于运动模型的跟踪，同时，在跟踪过程中，在线地训练新的增量SVM检测器，当原Adaboost检测器由于标志的表观变化导致检测失败时，由该在线增量检测器进行检测，并将检测结果作为卡尔曼滤波器的观测值输入，达到同时利用运动模型和表观模型进行跟踪的效果。在跟踪过程中，对未能连续检测到的目标进行过滤，提高跟踪结果的可靠性。最后对同一个物理交通标志的跟踪结果进行基于尺度的高斯权重的加权投票，得到最终的识别结果为系统的最终输出。对于在交通标志跟踪过程中由于目标的表观状态变化，或运动模型的突变等问题，本发明方法采用基于增量学习的在线检测器，当目标的状态变化时，在检测器模型上进行动态调整，并以此检测结果对原运动模型进行更新，最终提高了检测和识别的鲁棒性。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于增量学习的行车视频中交通标志的检测和识别方法的流程图。

图2是本发明方法中空间先验概率分布曲线。

图3是本发明方法得到的交通标志识别正确率曲线。

图4是本发明方法处理遮挡和光照变化的实拍照片。

具体实施方式

参照图1-4。本发明基于增量学习的行车视频中交通标志的检测和识别方法具体步骤如下：

步骤1，首先，对训练数据集归一化，并采样图像块，计算通道特征池，使用Adaboost算法训练检测器模型，该检测器由4层强检测器级联得到，此4层强检测器分别包括32，128，512，2048个弱分类器。通过全部4层强分类器的检测目标为候选目标，并且最后一层的强分类器模型为：

其中，α_t为训练得到的每个弱分类器的权重，h_t为弱分类器，T为弱分类器的个数。

步骤2，使用训练数据对在线增量SVM检测器进行离线训练，完成初始化过程。

步骤3，对训练数据的正样本位置进行高斯核的Parzen窗密度估计，得到概率密度函数为：

其中，x为向量(x,y)，即交通标志出现的位置坐标。n为训练数据正样本个数，V_n为窗函数的窗口大小，h_n为窗口的边长。函数为高斯函数。即：

步骤4，对步骤1中的模型采用下面公式处理：

通过训练集上的交叉验证实验确定参数λ。

步骤5，利用步骤2确定的检测器模型对输入视频进行检测，将检测结果位置作为观测值输入卡尔曼滤波器，通过卡尔曼滤波的更新和预测阶段实现对交通标志的跟踪。

步骤6，对步骤5的跟踪结果进行正样本可能性测试，测试函数如下：

L_positive(f_k)＝symm(f_k)·p_ph(f_kmean,f_k)·p_pos(f_k-1,f_k)  (10)

正样本可能性高的作为跟踪结果输出，并以该结果更新卡尔曼滤波的参数以及增量更新在线检测器。其中L_positive(f_k)为第k帧成为正样本可能性大小的倒数，即对称性越高，其值越小。symm(f_k)为第k帧的目标的对称性大小幅值，p_ph(f_kmean,f_k)为第k帧目标的感知哈希与前k帧的平均值的欧氏距离。p_pos(f_k-1,f_k)为第k帧目标与k-1帧目标的坐标的欧氏距离。对于正样本可能性低的视频帧则利用在线检测器在该位置邻域进行在线检测，将结果作为输出结果，同时用于更新卡尔曼滤波参数。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件。

本发明方法是在中央处理器为i5-3470 3.2GHz CPU、内存4G、WINDOWS7操作系统上，运用MATLAB软件进行的仿真。

仿真中使用的数据为公开数据集以及自行采集的数据集。

2.仿真内容。

首先，实验验证空间先验概率分布对于交通标志检测的提高，通过图2展示实验结果。

其次，得到的交通标志识别正确率曲线结果如图3所示。

最后，图4证明本发明的方法对于处理遮挡和光照变化的有效性。

从图2可见，随着参数改变，检测准确率显著增加，而同时召回率基本不受影响，因此可以证明本发明中的空间先验概率分布可以有效地减少误检，提高检测性能。

从图3曲线中可以看到，本发明方法中的基于尺度的高斯权重加权方法能有效地提高识别准确率。

从图4可以看到本发明方法对于交通标志光照变化以及一定程度遮挡的有效性。

Claims (1)

1.一种基于增量学习的行车视频中交通标志的检测和识别方法，其特征在于包括以下步骤：

步骤一、对训练数据集归一化，并采样图像块，计算通道特征池，使用Adaboost算法训练检测器模型，该检测器由4层强检测器级联得到，此4层强检测器分别包括32，128，512，2048个弱分类器；通过全部4层强分类器的检测目标为候选目标，并且最后一层的强分类器模型为：

$H\left(x\right)=sign\left(\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\right(x))---\left(1\right)$

其中，α_t为训练得到的每个弱分类器的权重，h_t为弱分类器，T为弱分类器的个数；

步骤二、使用训练数据对在线增量SVM检测器进行离线训练，完成初始化过程；

步骤三、对训练数据的正样本位置进行高斯核的Parzen窗密度估计，得到概率密度函数为：

其中，x为向量(x,y)，即交通标志出现的位置坐标；n为训练数据正样本个数，V_n为窗函数的窗口大小，h_n为窗口的边长；函数为高斯函数；即：

步骤四、对步骤一中的强分类器模型采用下面公式处理：

$H\left(x\right)=sign\left(\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{h}_t\right(x)+\left(P_{spatial}\right(x,y)-\frac{1}{2})\·\mathrm{\λ})---\left(4\right)$

通过训练集上的交叉验证实验确定参数λ；

步骤五、利用步骤二确定的检测器模型对输入视频进行检测，将检测结果位置作为观测值输入卡尔曼滤波器，通过卡尔曼滤波的更新和预测阶段实现对交通标志的跟踪；

步骤六、对步骤五的跟踪结果进行正样本可能性测试，测试函数如下：

L_positive(f_k)＝symm(f_k)·p_ph(f_kmean,f_k)·p_pos(f_k-1,f_k)        (5)

正样本可能性高的作为跟踪结果输出，并以该结果更新卡尔曼滤波的参数以及增量更新在线检测器；其中L_positive(f_k)为第k帧成为正样本可能性大小的倒数，即对称性越高，其值越小；symm(f_k)为第k帧的目标的对称性大小幅值，p_ph(f_kmean,f_k)为第k帧目标的感知哈希与前k帧的平均值的欧氏距离；p_pos(f_k-1,f_k)为第k帧目标与k-1帧目标的坐标的欧氏距离；对于正样本可能性低的视频帧则利用在线检测器在该位置邻域进行在线检测，将结果作为输出结果，同时用于更新卡尔曼滤波参数。