CN107506753B - 一种面向动态视频监控的多车辆跟踪方法 - Google Patents

Abstract

本发明公开一种面向动态视频监控多车辆跟踪方法，对于车辆的跟踪基于检测结果，并同时对检测出的多个目标车辆进行跟踪。包括：加载一段视频的图像序列；根据图像序列的第一张图像进行车辆识别；根据识别结果，保存所有目标在图像中的位置信息；根据保存的目标位置信息，对所有目标在视频中进行跟踪；接着通过识别对在跟踪过程中对跟踪结果进行调整。本发明的方法不仅在正常环境下可以实现理想的跟踪结果，在视频信息模糊，光照不足等恶劣的环境下，例如夜间拍环境下摄出的视频像素低，图像模糊、不清晰的情况，依然可以得到理想的跟踪结果。主要解决了目前车辆跟踪领域速度与准确率无法同时达到的问题。

Description

一种面向动态视频监控的多车辆跟踪方法

技术领域：

本发明属于车辆识别与跟踪领域，尤其涉及一种面向动态视频监控的多个车辆跟踪方法。

背景技术：

近年来随着计算机视觉和图像处理技术的飞速发展，并在智能交通、无人驾驶、侦察巡检、搜索营救、战场目标识别与拦截、…等民用、警用、军用领域发挥着重要作用，为人类的生活带来了巨大的改变。车辆识别与跟踪技术，对车辆识别、车辆行驶监控、车辆行驶路线监控与预测、车辆行驶速度监控等方面，有着重大的实用价值与意义。尤其是在发生交通事故后，监视影像是还原现场的一个重要的工具。

但就目前车辆跟踪系统来说，一方面大多数的跟踪方法是由人工在第一帧确定跟踪目标进行标记，采用一定的跟踪模型进行滤波计算，从而对该目标进行跟踪，并且一次只能对一个目标进行跟踪。另一方面，以检测为基础的跟踪由于检测算法的速度很难提升，导致跟踪无法做到实时处理，而不以检测为基础的跟踪只能根据对第一帧画面的目标标记来进行跟踪，对跟踪过程中的目标处理不够灵活。并且目前的大多跟踪方法在复杂环境下的检测与跟踪并不是十分理想，但在这些场景中，由于视点变化、场景变化、旧的目标不断离开视野新的目标进入视野，动态监控系统面临诸多挑战。由于视频采集平台稳定性不确定采集设备晃动造成的图像模糊、目标姿态多样、严重的遮挡、不同的光线条件目标表征差异、很小的类内类差、严重的形变、图像噪声严重等等，现有的目标检测与跟踪算法在动态视频监控多目标实时检测与跟踪方面，仅能做到目标稀少、目标相隔一定距离时较稳定的检测与跟踪。而在上述复杂环境中，往往会导致视频画面不清晰，在这种模糊的情况下对目标的跟踪来说比较困难，会导致跟踪结果出现错误。

发明内容：

本发明的目的在于提供一种面向动态视频监控的多个车辆跟踪方法，其旨在解决目前多车辆跟踪方面存在的准确率，灵活性与实时跟踪无法共同实现的问题，并同时解决了夜间模糊环境下跟踪结果不准确的问题。

本发明的特征在于对于车辆的跟踪基于检测结果，并同时对检测出的多个车辆进行跟踪。

本发明意在实现根据检测结果进行跟踪，而不是手动从视频第一帧的图像中选取需要跟踪的目标，将视频第一帧图像进行车辆识别，对识别出的所有目标车辆进行下一步跟踪操作。跟踪的方法不仅在正常环境下可以实现理想的跟踪结果，在视频信息模糊，光照不足等恶劣的环境下，例如夜间拍环境下摄出的视频像素低，图像模糊、不清晰的情况，依然可以得到理想的跟踪结果。

为了达到上述目的，本发明采用的技术方案如下：

一种面向动态视频监控的多个车辆跟踪方法的多个车辆的跟踪方法，分为两个部分，其中第一部分包括以下步骤：

步骤(1)加载一段视频的图像序列；

步骤(2)根据图像序列的第一张图像进行车辆识别检测；

本发明的车辆识别方法采用深度神经网络。使用神经网络训练出来对车辆识别的正确率高，并可应用与多种复杂环境，解决了夜间模糊等状态下对车辆的识别问题。由于神经网络的检测速度慢，为了解决该问题并将其应用到实时跟踪中，本发明提出了一种面向动态视频监控的多个车辆跟踪方法。

运用深度神经网络用于车辆检测，类比多种检测方法，最后选定使用tiny-YOLO作为检测算法，其优点在于提高了检测速度的同时，检测准确率相比更耗时的算法没有太大的差距。在训练数据上，我们选择符合应用场景的图片进行训练，以提高检测准确率。即不同路上行驶中的车辆的图片。选取训练样本的20％的数据作为测试样本，以测试网络的准确性。检测网络训练结束既可应用于跟踪中。

步骤(3)对检测结果进行筛选：

由于视频场景中可能存在目标很小、大部分车体不在视野范围等情况，本发明在车辆识别算法中增加了对初步检测结果进行筛选。面积过小、距离过远的目标认为该目标可忽略，不对其做跟踪操作。

步骤(4)根据检测结果，保存所有检测出的目标在图像中的位置信息(x,y,w,h)；

x为该目标的标记框左上角的坐标x值；y为该目标编辑框左上角的坐标y值；w为该目标标记框的宽度值；h为该目标标记框的高度值。

根据这四个值可以唯一的确定一个矩形，即为检测结果的标记框位置信息。

步骤(5)根据保存的目标位置信息，进行目标跟踪；

本发明的车辆跟踪方法采用基于相关滤波的物体跟踪算法，其优点在于速度快，可用于实时跟踪。

第二部分包括以下步骤：

步骤(1)重复第一部分中的步骤(2)对图像序列的第i张进行车辆识别检测；

步骤(2)重复第一部分中的步骤(3)对当前帧图像的检测结果进行筛选；

步骤(3)对比当前帧筛选后的目标位置信息与当前帧跟踪结果的目标位置信息，更新跟踪目标与样本集：

只根据第一帧图像进行跟踪，一方面由于跟踪过程中会有新的目标出现在视野范围内，将会忽略出现在视野范围内的新的车辆目标。另一方面，随着视频图像序列的推进，由于各种原因，跟踪结果可能会出现预料外的误差。为了解决上述问题，本发明在跟踪的过程中间断的插入车辆识别。实时将跟踪结果与检测结果进行对比，加入新的跟踪目标、并对跟踪结果进行矫正。

步骤(4)重复步骤(1)--步骤(3)直到对视频图像序列分析结束。

本发明提供的一种基于检测的适用于夜间模糊情况下车辆跟踪的方法，通过加载视频图像序列；对第一帧图像进行车辆识别并筛选识别结果；根据识别结果对多个车辆目标进行跟踪；对第i帧图像进行识别并筛选结果；根据识别结果加入新的跟踪目标，并纠正跟踪结果，比现有技术中的跟踪方法速度更快，跟踪结果更准确，在夜间模糊状态下也可以得到很好的跟踪结果，适用于更多复杂的环境。

附图说明：

图1为基于检测的车辆跟踪方法的流程图；

图2为对比检测结果与跟踪结果流程图；

图3为跟踪结果示意图。

具体实施方式：

如图1所示，本发明提供一种基于检测的车辆跟踪方法，具体为加载视频图像序列；对第一帧图像进行车辆识别并筛选识别结果；根据识别结果对多个车辆目标进行跟踪；对第i帧图像进行识别并筛选结果；根据识别结果加入新的跟踪目标，并纠正跟踪结果，直到视频序列分析完毕。

对于识别结果的筛选：由于视频环境的多样性，背景环境中可能存在与目标为同类，但不是跟踪目标的物体，例如：对路上行驶的车辆进行跟踪时，视频可见范围内，远处可能存在正在行驶但不是跟踪范围的车辆。为了解决这种问题，本发明在对图像检测得到初步目标结果后，对检测结果进行筛选，将目标标记框大小小于图像大小1％的目标，视为可忽略的目标，认为该目标距离摄像设备过远，不对其做跟踪处理。该筛选锁设定的阈值可根据不同的应用情况而设定不同的值。如图3所示，图像边缘有停靠在路边的静止车辆，可以看出有体积过于小的车辆在检测的时候被忽视。

检测结果得到的目标信息为(x,y,w,h)，分别为该目标标记框的左上角坐标x，y值以及标记框的宽度和高度。根据这四个信息可以唯一的确定一个矩形，即为该目标的标记框位置信息。该位置信息用于跟踪与误差判断。

由于基于检测算法的跟踪，需要大量的模型用来将相邻的两帧图像中相同的目标关联，这是目前基于检测的跟踪算法在速度性能上无法达到实时跟踪要求的原因所在。因此在本发明中为了满足实时跟踪的要求，在跟踪的部分使用的是相关滤波。在当前帧，用检测算法得出的识别结果与跟踪算法得出的结果做对比，大大减少了为了解决上述问题所花费的时间。以此类推，直到视频序列分析完毕。

对比检测结果与跟踪结果的流程图如图2所示。

对于在跟踪过程中新出现的目标来说，我们认为，目标无法凭空出现在图像中间，当出现新的目标，该目标一定是从图像的四周边缘开始逐渐进入画面，因此，在对比跟踪结果与检测结果时，根据目标标记框进行对比，将检测结果中的标记框与当前跟踪结果中的所有标记框的位置信息做对比，当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，认为这两个标记框为同一个物体，即不是新进入视野的目标。反之，当该数值在误差范围外，并且x,y的值靠近画面边缘部分，认为该目标为应加入跟踪的新目标。如图3所示，ID为005的车辆在图中没有显示出来，是因为该车辆已经行驶出监控范围，无法继续跟踪，而新加入的目标的ID号则将继续累加。

上述x,y的值靠近画面边缘部分是指：若图像大小为M*N，该标记框信息x,y的值满足：x≤0.25M或x≥0.75M，且y≤0.25N或y≥0.75N。

在对比检测结果与跟踪结果时，如上诉所描述的，当认为检测结果中的目标标记框A与跟踪结果中的目标标记框B为同一个物体时，即当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，并且当x,y的误差大于±5，标记框面积误差大于±50时，认为跟踪结果存在误差，并对跟踪结果进行纠正，更新当前目标的位置信息，更新跟踪样本。该过程意在减少跟踪误差，提前对跟踪结果进行检验及修正。

Claims (1)

1.一种面向动态视频监控的多个车辆跟踪方法的多个车辆的跟踪方法，其特征在于，包括以下步骤：

步骤(1)加载一段视频的图像序列；

步骤(2)根据图像序列的第一张图像进行车辆识别检测；

步骤(3)中对检测结果进行筛选具体为：在对图像检测得到初步目标结果后，对检测结果进行筛选，将目标标记框大小小于图像大小1％的目标，视为可忽略的目标，认为该目标距离摄像设备过远，不对其做跟踪处理；

步骤(4)根据检测结果，保存所有检测出的目标在图像中的位置信息(x,y,w,h)，其中，x为该目标的标记框左上角的坐标x值；y为该目标编辑框左上角的坐标y值；w为该目标标记框的宽度值；h为该目标标记框的高度值；

步骤(5)根据保存的目标位置信息，进行目标跟踪；

步骤(5)具体为：当对第1帧图像检测结束后，根据检测结果对视频序列进行跟踪，同时，对第2帧图像进行目标检测；接着对比第2帧图像的检测结果与跟踪结果，对跟踪进行调整；以此类推，直到视频序列分析完毕；

步骤(6)对比当前帧筛选后的目标位置信息与当前帧跟踪结果的目标位置信息，更新跟踪目标与样本集；其中，步骤(6)具体为：将检测结果中的标记框与当前跟踪结果中的所有标记框的位置信息做对比，当x,y的数值与跟踪结果中某个目标的位置信息x,y误差在±10内，且这两个目标的标记框面积误差在±100内，认为这两个标记框为同一个物体，即不是新进入视野的目标；反之，当该数值在误差范围外，并且x,y的值靠近画面边缘部分，认为该目标为应加入跟踪的新目标。

Images