CN105488484A - 一种基于无人机航拍图像的车辆轨迹提取方法 - Google Patents

Abstract

本发明公开了一种基于无人机航拍图像的车辆轨迹提取方法，包括步骤1：基于Haar分类器检测车辆；步骤2：基于位置预测筛选疑似候选车辆；步骤3：基于4通道颜色直方图相似性确定目标车辆；步骤4：车辆轨迹提取；本发明创新性的联合多颜色直方图相似性进行目标车辆筛选，对相同车辆与其他车辆具有很高的区分度；所述的车辆轨迹提取方法在车辆跟踪中断的情况下，能够自动恢复跟踪。

Description

一种基于无人机航拍图像的车辆轨迹提取方法

技术领域

本发明属于图像处理技术领域，涉及一种基于无人机低空航拍图像的车辆轨迹提取方法，适用于交通监控领域。

背景技术

无人机在交通监控领域具有非常大应用前景，比如应用无人机进行突发事件下的快速交通态势感知。现有交通监控方式主要是依靠安装于固定点(如电线杆)的摄像头、微波雷达等断面检测方式，无法获取宏观的交通状态数据，且未安装监控设备的地点无法获取交通状态。无人机本身是一个移动的数据采集平台，相对于固定式交通监控方式，具有机动性强、视野广、飞行不受地面限制的优势，因此可实现宏观交通状态数据提取，对于未安装固定交通监控设备的路段也可以实现交通监控。

发明内容

本发明的目的是为了解决上述问题，提出了一种基于无人机航拍图像的车辆轨迹提取方法，首先基于Haar特征级联分类器进行车辆检测，然后基于位置预测与多通道颜色直方图相似性实现车辆跟踪，实现车辆轨迹提取。

本发明以全新的研究着入点，针对无人机低空航拍图像提出一种基于无人机航拍图像的车辆轨迹提取方法，通过下述步骤实现：

步骤1：基于Haar分类器检测车辆；

对于无人机低空航拍图像序列，采用基于Haar分类器进行车辆检测，Haar分类器需要基于样本库进行训练，样本库是一个包含正负样本的图像数据集，需要手工从包括正负样本的图像中进行选取。基于训练的Haar分类器进行车辆检测，获取车辆在航拍图像中的像素坐标、大小(长、宽)和帧号，然后获取该车RGB彩色空间的R通道、G通道、B通道和灰度图4个通道的颜色直方图，用于后续步骤中进行不同帧间的车辆关联。

步骤2：基于位置预测筛选疑似候选车辆；

取前一帧中某辆被检测到的车为待跟踪的目标车辆，并以该车的位置为中心划定一个矩形预测区域(默认尺寸为目标车辆的两倍)，当前帧中被检测到的车辆其中心落入该矩形预测区域的都作为目标车辆的疑似目标车辆；

步骤3：基于4通道颜色直方图相似性确定目标车辆；

上步中筛选到的疑似候选车辆一般会有1～2辆，为确认目标车辆，通过4通道颜色直方图相似性进行筛选。依次计算目标车辆与疑似候选车辆的颜色直方图相似性值，并根据大小进行排序，选定其中最大的相似性值，若该值大于某设定的阈值，则认为与该相似性值对应的疑似候选车辆与目标车辆为同一辆车，将疑似候选车辆当前帧中的帧号、坐标、尺寸大小、颜色直方图信息传递给目标车辆，完成目标车辆信息更新，，即实现了车辆的跟踪。若最大的相似性值小于某设定的阈值，则认为在该帧图像中未找到目标车辆，即目标车辆跟踪失败。当前帧中跟踪失败的车辆将在下一帧中重新进行搜索，其区别在于，为了搜索到跟踪失败的车辆，以该车在前帧中的位置为中心的矩形预测区域尺寸会进行放大(默认尺寸为目标车辆的四倍)，以增大搜索到跟踪失败车辆的概率。当跟踪失败的车辆在后续连续3帧图像中都无法被跟踪到时，算法会对该车做抛弃处理，不再跟踪，这样做的好处是可以屏蔽一些被误判断为车辆的非车辆物体。

步骤4：车辆轨迹提取；

当被跟踪的车辆从图像中消失，即结束跟踪，并将车辆在不同帧中的位置、帧号输出保存，即完成了车辆轨迹提取。

本发明的优点在于：

(1)无人机航拍图像具有视野广、机动性强、飞行不受地形的影响，相对于基于固定摄像头的车辆轨迹提取方法，基于无人机航拍图像的车辆轨迹提取方法具有车辆不会被遮挡，不存在透视变形的优势。本发明所采用的位置预测方法，可大幅缩小目标疑似车辆的搜索区域，大大减少了目标疑似车辆的数量，降低了目标车辆与疑似车辆的区分难度，提高了车辆跟踪精度；

(2)本发明创新性的联合多颜色直方图相似性进行目标车辆筛选，对相同车辆与其他车辆具有很高的区分度；所述的车辆轨迹提取方法在车辆跟踪中断的情况下，能够自动恢复跟踪；

(3)本发明所述的车辆轨迹提取算法可同时跟踪并检测几十到上百辆的车辆轨迹，具有突破性的创新。

附图说明

图1为本发明中用于车辆检测的HAAR特征；

图2为基于HAAR特征进行车辆检测；

图3为用于训练Haar分类器的样本图像；

图4为位置预测图；

图5为车辆4通道颜色直方图；

图6为本发明的方法流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供一种基于无人机航拍图像的车辆轨迹提取方法，所述方法首先基于Haar分类器对图像序列进行处理检测车辆，然后基于位置预测与多通道颜色直方图相似性实现车辆跟踪，然后实现车辆轨迹提取。这里以一辆车的车辆轨迹提取来介绍基于航拍图像的高速路车辆轨迹提取算法，单辆车的轨迹提取流程如图6所示，具体处理步骤如下：

步骤1：基于Haar分类器检测车辆；

对于无人机低空航拍图像序列，采用基于Haar分类器进行车辆检测，所用的Haar特征为图1所示的，基于Haar分类器的车辆检测效果如图2所示。所述的Haar分类器在检测车辆前首先需要基于正负样本进行训练，所用的训练方法为adaboost算法，其中正样本如图3左图所示，负样本如图3右图所示。采用Haar分类器检测车辆，这里选取其中的任一目标车辆O_i，得到O_i在该帧图像中的像素坐标P_i(x_i,y_i),宽高(w_i,h_i)，并计算该车四个通道的颜色直方图。

步骤2：基于位置预测筛选疑似候选车辆；

如图4的位置预测图所示，为提取目标车辆O_i的轨迹，需对其进行跟踪。基于Haar分类器检测下一帧图像，基于P_i(x_i,y_i),宽高(w_i,h_i)设置矩形预测区域R(如图4)，其中在第t+1帧中R的定义为：

R:{(x_t+1,y_t+1)|x_t+1∈[x_i±αw_i]∩[1,ImgW],y_t+1∈[y_i±αh_i]∩[1,ImgH]}(1)

其中：其中(x_t+1,y_t+1)为矩形预测区域R内的任意一点，该点满足公式(1)中定义的条件。ImgW和ImgH为无人机航拍图像的宽和高，α是一个比例因子，默认值为1。

对第t+1帧检测到的车辆，其车辆中心落入该矩形预测区域R的所有车辆都作为疑似目标车辆，图4中展示在第t+1帧有2辆疑似目标车辆。

步骤3：基于4个通道的颜色直方图相似性确定目标车辆O_i；

对步骤2中的两辆疑似目标车辆，需要判断这两辆车中哪辆车是目标车辆O_i，或者两辆车都不是目标车辆O_i。这里基于颜色直方图匹配方法计算疑似目标车辆与目标车辆的相似性。某单通道图像P中强度值为i的像素出现的相对频率h_i(P)的计算方法如下式所示：

$h_i\left(P\right)=\frac{s_i\left(P\right)}{{\Σ}_{i=1}^n{s}_i\left(P\right)}---\left(2\right)$

其中：s_i(P)为单通道图像P中强度值为i的像素点的个数，n为像素值的灰度总阶数。基于图像P每种强度值出现的相对频率h₁(P)～h_n(P)，可得到单通道图像P的直方图H(P)＝[h₁(P),h₂(P),…,h_n(P)]。与单通道图像P的直方图H(P)的计算方法相同，依次计算得到彩色图像R、G、B、灰度Gray四个通道的直方图H(R)、H(G)、H(B)、H(Gray)。

其中不同车辆的4个通道的颜色直方图如图5所示。两辆车对应的单通道图像i的颜色直方图的相似性值C_i(P,P′)的计算方法如下式所示：

$C_i(P,P^{\′})=\frac{{\Σ}_{j=1}^n\left(\right(h_i^j\left(P\right)-{\stackrel{\‾}{h}}_i\left(P\right)\left)\right(h_i^j\left(P^{\′}\right)-{\stackrel{\‾}{h}}_i\left(P^{\′}\right)\left)\right)}{\sqrt{{\Σ}_{j=1}^n-{(h_i^j\left(P\right)-{\stackrel{\‾}{h}}_i\left(P\right))}^2{(h_i^j\left(P^{\′}\right)-{\stackrel{\‾}{h}}_i\left(P^{\′}\right))}^2}}---\left(3\right)$

其中：n为像素值的灰度总阶数；i∈{R,G,B,Gray},代表R、G、B、灰度Gray四个单通道图像中的一种；P′和P分别表示两辆车(彩色图像)的通道i所对应的单通道图像；为图像P中颜色强度值为j的像素点的个数，为图像P中所有强度值对应的像素点的平均个数，其中其中，C_i(P,P′)的值介于0和1之间，0代表两个单通道图像直方图完全不相似，1代表完全相同。

根据式(3)依次计算得到两辆车(彩色图像)四个通道R、G、B、灰度Gray所对应的颜色直方图相似值C_R(P,P′)、C_G(P,P′)、C_B(P,P′)和C_Gray(P,P′)，则两辆车的4通道的复合颜色直方图相似值S(P,P′)即可得到，如下式所示：

S(P,P′)＝∏_{i∈{R,G,B,Gray}}C_i(P,P′)(4)

步骤2中基于位置预测筛选出的数辆疑似候选车辆，通过式(4)分别计算与目标车辆O_i的复合颜色直方图相似值S(P,P′)，这里会得到多个相似值，选取其中最大的值，若该值大于一个预设的阈值，则认为该值所对应的疑似候选车辆与目标车辆O_i是同一辆车，然后算法会如图4所示记录和更新目标车辆在当前帧中的位置、宽高、时间序列(帧号)和4个通道的颜色直方图。目标车辆在当前帧的跟踪即完成，然后继续重复步骤1～步骤3，实现对车辆的连续跟踪。若得到的多个复合颜色直方图相似值中的最大值小于预设的阈值，则认为在该帧图像中没有找到目标车辆O_i，此时判断该辆车的最后时刻的坐标位置是否在图像的边缘，若处于图像的边缘，即认为该车已离开图像视野，即跟踪完成，此时进入步骤4进行轨迹提取。若该辆车的最后时刻的坐标位置不在图像的边缘，即认为目标车辆O_i在该帧中跟踪失败，此时进入下一帧继续进行车辆检测，然后继续通过位置预测筛选疑似候选车辆，对于跟踪失败的车辆其矩形预测区域尺寸会进行放大(默认尺寸为目标车辆的四倍)，以增大搜索到跟踪失败车辆的概率。当跟踪失败的车辆重新被找到时，矩形预测区域会恢复为默认尺寸。当跟踪失败的车辆在后续连续3帧图像中都无法被跟踪到时，算法会对该车做抛弃处理，不再跟踪，这样做的好处是可以屏蔽一些被误判断为车辆的非车辆物体。

步骤4：车辆轨迹提取；

当一辆被跟踪的车在某帧图像中丢失，此时判断该辆车的最后时刻的坐标位置是否在图像的边缘，若处于图像的边缘，即认为该车已离开图像视野，即跟踪完成，此时结束跟踪，所述算法能够将所记录的车辆的坐标、时间序列信息输出，即实现了车辆轨迹提取。

Claims (3)

1.一种基于无人机航拍图像的车辆轨迹提取方法，包括以下几个步骤：

步骤1：基于Haar分类器检测车辆；

针对无人机航拍图像序列，基于训练好的Haar分类器进行车辆检测，获取车辆在航拍图像中的像素坐标、大小和帧号，然后获取该车RGB彩色空间的R通道、G通道、B通道和灰度图4个通道的颜色直方图；

步骤2：基于位置预测筛选疑似候选车辆；

取前一帧中某辆被检测到的车为待跟踪的目标车辆，并以该车的位置为中心划定一个矩形预测区域，当前帧中被检测到的车辆其中心落入该矩形预测区域的都作为目标车辆的疑似目标车辆；

步骤3：基于4通道颜色直方图相似性确定目标车辆；

对于当前帧，通过4通道颜色直方图对疑似目标车辆进行筛选，依次计算目标车辆与疑似候选车辆的颜色直方图相似性值，并根据大小进行排序，选定其中最大的相似性值，若该值大于设定的阈值，则认为与该相似性值对应的疑似候选车辆与目标车辆为同一辆车，将疑似候选车辆在当前帧中的帧号、坐标、尺寸大小、颜色直方图信息传递给目标车辆，进行目标车辆信息更新，此时认为目标车辆在该帧中跟踪成功，接来下进入下一帧，继续进行目标车辆跟踪；

若最大的相似性值小于设定的阈值，则认为在该帧图像中未找到目标车辆，判断目标车辆的最后时刻的坐标位置是否在图像的边缘，若处于图像的边缘，即认为目标车辆已离开图像视野，即跟踪完成，进入步骤4进行轨迹提取；若目标车辆的最后时刻的坐标位置不在图像的边缘，即认为目标车辆在该帧中跟踪失败；当前帧中跟踪失败的车辆将在下一帧中重新进行搜索，进行搜索时，下一帧中以该车在前帧中的位置为中心的矩形预测区域尺寸进行放大，如果目标车辆重新被找到时，矩形预测区域恢复为放大前尺寸，进入下一帧进行目标车辆跟踪；如果目标车辆跟踪失败，矩形预测区域尺寸不变，在下一帧中重新进行搜索，当跟踪失败的车辆在后续连续3帧图像中都无法被跟踪到时，对该车做抛弃处理，不再跟踪；

当图像序列中每一帧都搜索完毕，结束跟踪，进入步骤4；

步骤4：车辆轨迹提取；

根据得到的车辆在不同帧中的位置、帧号，完成车辆轨迹提取。

2.根据权利要求1所述的一种基于无人机航拍图像的车辆轨迹提取方法，所述的步骤2中，矩形预测区域尺寸为目标车辆尺寸的两倍。

3.根据权利要求1所述的一种基于无人机航拍图像的车辆轨迹提取方法，所述的步骤3中，放大的矩形预测区域尺寸为目标车辆尺寸的四倍。