CN110555423A - 基于多维运动摄像机的航拍视频的交通参数提取方法 - Google Patents

Abstract

本发明公开一种基于多维运动摄像机的航拍视频的交通参数提取方法。该方法框架包括四个步骤，首先采用时间上强大的全局运动补偿方法来补偿无人机摄相机移动并获得视频中稳定的背景。然后，应用核化相关滤波器快速准确地跟踪车辆。之后，我们使用霍夫线检测来找出视频中的参考标记，并将检测到的参考标记的实际长度映射到无人机视频中的图像长度。最后，使用先前步骤的输出估计交通流中的个体车辆速度，车头时距和车头间距等微观交通参数。将此方法应用于三个不同的航拍视频进行实验。实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果。

Description

基于多维运动摄像机的航拍视频的交通参数提取方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于多维摄像机运动的航拍视频微观交通参数提取的方法。

背景技术

获取高速公路上的交通参数对于交通状况监测，交通流量分析以及实时交通控制和管理非常重要。获取交通数据资源包括环路检测器，交通监控视频，雷达和浮动车法。上述数据收集设备通常部署在固定位置。浮动车的方法也非常耗费人力和时间。

随着无人机的日益普及，无人机提供了一种以更具成本效益的方式提取交通信息的新方法。然而，从无人机视频中提取交通参数的主要挑战在于无人机摄像机可能处于多维度的移动状态，摄像机运动导致图像中相对坐标的改变，这使得难以估计精确的车辆位移。以前的研究采用了不同的方法从无人机视频中提取交通参数，但仅限于无人机做简单的横纵向水平移动和无人机从上到下或以固定的拍摄角度在鸟瞰图中拍摄的情况下适用。当无人机摄像机随着拍摄角度的变化而在其他维度上移动时，先前提出的方法可能无法正常使用。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种基于多维运动摄像机的航拍视频的交通参数提取方法，以实现对具有多维摄像机运动的航拍视频微观交通参数的准确估计。

技术方案：本发明所述基于多维运动摄像机的航拍视频的交通参数提取方法，包括如下步骤：

步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；

a1、关键帧的对齐

给定一组M个无人机视频关键帧，记为i∈K＝{k₁，...k_M}，基于关键点的关键帧凝固方法，被表述为以下优化问题：

其中：

p_i是将第i帧的坐标转换为全局运动补偿坐标的变换参数；e_i(p_i)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；Θ⁽ⁱ⁾为权矩阵；

在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式估算Δp：

其中：

Δp^TΨΔp是正则化项；正常数β为设置权衡；

使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：

使用链式法则，有凝固结果具有两个分量，即W＝(W_x，W_y)，其中W_x表示链路起点和终点的变形x坐标，W_y表示链路起点和终点的变形y坐标；已知e_i的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：

其中(或)是M_i维向量，且所有元素都是1或0；对于单应性转换如方程式(6)：

在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；

a2、非关键帧的对齐

对于关键帧k_i和k_i+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点即只有帧j的p_i被更新，而关键帧保持不变，关键帧k_i和k_i+1之间的每个非关键帧是独立对齐的；

对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即为每个关键帧i创建一个可靠性图，表示为Rⁱ，将具有和σ_k＝cs_k的高斯函数叠加在Rⁱ上：

其中：

且是一个小的常数；参数n和m分别是无人机视频中的帧和关键帧的编号；

对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；

步骤二：使用核化相关滤波器的方法进行车辆跟踪；

b1、给定来自无人机视频的一组训练车辆模式和标签(x_i，y_i),…,(x_m，y_m)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为V(x)＝<t，x>+b，符号<·，·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式所示：

其中：L(y，V(x))为损失函数；λ为控制正则化的数量；

b2、使用函数φ(x)将输入车辆模式映射到特征空间，函数φ(x)由核g(x，x′)＝<φ(x)，φ(x′)>定义，方程式(8)的解是输入t＝∑_iα_iφ(x_i)的线性组合，封闭形式的解如下所示：

α＝(G+λI)^-1y (9)

其中：G为具有元素G_ij＝g(x_i，x_j)的核矩阵，参数I为单位矩阵，y为y_i的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为α_i；

b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式如下所示：

C(p′)q＝F^-1(F*(p′)⊙F(q)) (10)

其中：符号⊙是元素乘积运算；F和F^-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；

b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为x_i，如下式表示：

其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本x_i为单个无人机视频帧x中的所有可能的转化形式；

为得到方程(9)的最优解，定义带元素的向量g，表达式如下所示：

其中：用g_i简易的表示核矩阵G＝C(g)；

b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式为C(p′)的矩阵实现运算，得到方程式(9)的最优解，如下式所示：

其中，除法运算以元素方式实现；

b6、根据等式(12)和(13)的解，核化相关滤波器算法在每个无人机视频帧中找到目标车辆，确定对分类算子V(x)具有最大响应的图像区域，其作为当前无人机视频帧中的车辆跟踪结果；

步骤三：将图像长度映射成实际长度；

从上述步骤，获得连续帧之间车辆运动的图像长度，使用霍夫变换来检测无人机视频中的车道分离器，作为参考标记，由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，由此建立图像长度和实际长度之间的关系，从每个无人机帧中检测两个车道的边界，记为CC′段和EE'段，以及车道分离器，记为DD'段，由于倾斜的摄像机角度，在无人机视频帧中的两车道边界于某个点处相交，该交点记为点T，从点T处，获得两条线段TC'和TE'，作为新标记的车道边界，再分别在线段TC'和TE'中标记点U和V；

c1、在线段UV中找到DD'投影，记为D'D”，已知了线段DD'的图像长度和实际长度，通过以下方程得到线段D'D”的实际长度：

其中：

len_phy(DD′)是线段DD′的实际长度，从道路设计手册中得到；

len_img(DD′)是线段DD′的图像长度；

len_phy(D′D″)是线段D′D″的实际长度；

len_img(D′D″)是线段D′D″的图像长度；

c2、根据线段D'D”的实际长度和像素距离，通过以下方程式得到线段UV的实际长度：

其中：

len_phy(UV)是线段UV的实际长度；

len_img(UV)是线段UV的图像长度；

c3、对于任意给定的车辆位置P，找到等腰三角形ΔTU'V'，通过以下方程式获得车辆在P处的像素的实际长度：

其中：

len_phy(U′V′)是线段U'V'的实际长度，等于len_phy(UV)；

len_phy(P)是车辆在点P处的像素的实际长度；

步骤四：交通流参数估计；

d1、对于车速的估算，用P_t和P_s分别表示在第t帧和第s帧的车辆位置，车辆移动距离，即图像长度，可以通过方程式(17)计算：

其中：

P_t(x)和P_t(y)分别表示第t帧时车辆的x坐标和y坐标；

P_s(x)和P_s(y)分别表示第s帧时车辆的x坐标和y坐标；

d2、获得点P_t和P_s处的实际长度，分别记为l_t和l_s，车辆移动距离，即实际长度和车速可以通过以下方程式计算：

其中：

T_f为第t帧和第s帧的时间间隔；

d3、再估计无人机视频中的车头间距时，用和表示两相邻车辆的位置，通过方程式(19)，可以计算出两相邻车辆之间的距离计算和的实际长度，分别记为l₁和l₂，通过以下方程式估算两相邻车辆的车头间距：

d4、通过方程式(19)(20)，获得车辆速度V_f和车头间距H_space，再通过以下方程式估算两相邻车辆的车头时距：

本发明进一步优选地技术方案为，步骤二中，计算输入无人机视频帧z的分类算子响应的通用公式为：

y′＝∑_iα_ig(x_i，z) (22)

在所有位置具有响应的向量由下式给出：

其中：

为含有元素的向量；向量的最大值是当前无人机帧中的跟踪车辆区域。

作为优选地，步骤三中，在线段TC'和TE'上标记点U和V时，点U和V满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D'落入线段UV上。

作为优选地，步骤三中对于任意给定的车辆位置P，找到的等腰三角形ΔTU'V'，满足以下两个条件：(1)给定的线段U'V'与UV平行；(2)车辆位置P落在U'V'段。

有益效果：本发明提出了一种基于多维摄像机运动的航拍视频微观交通参数提取的方法，该方法包括四个步骤，涉及背景稳定，车辆跟踪，参考标记长度计算和交通参数估算。首先采用时间上强大的全局运动补偿(temporally robust global motioncompensation,TRGMC)方法来补偿无人机摄相机移动并获得视频中稳定的背景，然后，应用核化相关滤波器(kernelized correlation filter，KCF)快速准确地跟踪车辆，之后，使用霍夫(Hough)线检测来找出视频中的参考标记，并将检测到的参考标记的实际长度映射到无人机视频中的图像长度。最后，使用先前步骤的输出估计交通流中的个体车辆速度，车头时距和车头间距等微观交通参数。将此方法应用于三个不同的航拍视频进行实验，实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果，实现对具有多维摄像机运动的航拍视频微观交通参数的准确估计，解决现有技术中当无人机摄像机随着拍摄角度的变化而在其他维度上移动时无法正常获取交通参数的缺陷。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：一种基于多维运动摄像机的航拍视频的交通参数提取方法，包括以下几个步骤：

步骤一：使用时间上强大的全局运动补偿(temporally robust global motioncompensation,TRGMC)方法获得视频中的稳定背景。具体步骤为：

a1、关键帧的对齐

给定一组M个无人机视频关键帧，记为i∈K＝{k₁，...k_M}，基于关键点的关键帧凝固方法，被表述为以下优化问题：

其中：

p_i是将第i帧的坐标转换为全局运动补偿坐标的变换参数；

e_i(p_i)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；

Θ⁽ⁱ⁾为权矩阵；

方程式(1)是一个难以最小化的非线性优化问题。通过在p周围采用一阶泰勒展开来线性化该等式。给定初始p，目标是通过以下方程式估算Δp：

其中：

Δp^TΨΔp是正则化项；

正常数β为设置权衡；

使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解。

使用链式法则，有考虑到凝固结果具有两个分量，即W＝(W_x，W_y)，其中W_x表示链路起点和终点的变形x坐标。W_y与W_x类似。已知e_i的前半部分只包含x元素，其余只包含y元素，可以得到方程式(5)如下所示：

其中(或)是M_i维向量，且所有元素都是1(或0)。对于单应性转换如下所示：

在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点。同样，关键帧i上所有链接的终点也会更新。

a2、非关键帧的对齐

上述步骤的输出提供一组时间上一致的无人机视频运动补偿帧，是对齐非关键帧的基础。分别用上标i和j来指代无人机视频关键帧和非关键帧。对于关键帧k_i和k_i+1之间的非关键帧j，其对齐是方程式(1)的特殊情况。记K＝{j}，并且链路的终点即只有帧j的p_i被更新，而关键帧保持不变。关键帧k_i和k_i+1之间的每个非关键帧是独立对齐的。

对于无人机视频中的每个关键帧，可以量化了从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐。如果对齐误差很小，即则链路k更可能在第i帧的背景上，因此，对非

关键帧对齐更可靠。为每个关键帧i创建一个可靠性图，表示为Rⁱ。对于具有的每个链路k，将具有和σ_k＝cs_k的高斯函数叠加在Rⁱ上。定义为：

其中：

η＞0，且是一个小的常数；

和

参数n和m分别是无人机视频中的帧和关键帧的编号；

对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠。

步骤二：使用核化相关滤波器(kernelized correlation filter，KCF)方法进行车辆跟踪。具体步骤为：

b1、给定来自无人机视频的一组训练车辆模式和标签(x_i，y_i),…,(x_m，y_m)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)。车辆跟踪算子的形式为V(x)＝(t，x)+b，符号<·，·>为点积算子。用于训练车辆跟踪算子的最小化问题，如下式所示：

其中：

L(y，V(x))为损失函数；

λ为控制正则化的数量；

b2、使用函数φ(x)将输入车辆模式映射到特征空间，函数φ(x)由核g(x，x′)＝<φ(x)，φ(x′)>定义。方程式(8)的解是输入t＝∑_iα_iφ(x_i)的线性组合。封闭形式的解如下所示：

α＝(G+λI)^-1y (9)

其中：

G为具有元素G_ij＝g(x_i，x_j)的核矩阵，

参数I为单位矩阵，

y为y_i的组合；

用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为α_i。

b3、为了实现有效的车辆跟踪，通过连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)。由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算。计算式如下所示：

C(p′)q＝F^-1(F*(p′)⊙F(q)) (10)

其中：

符号⊙是元素乘积运算；

F和F^-1分别表示傅里叶变换和傅里叶逆变换；

符号*为复共轭运算；

b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为x_i，如下式表示：

其中：

P是置换矩阵，每次将向量循环移位一个元素；

密集车辆样本x_i为单个无人机视频帧x中的所有可能的转化形式；

为得到方程(9)的最优解，还定义了带元素的向量g，表达式如下所示：

其中：

用g_i简易的表示核矩阵G＝C(g)；

b5、在所有运算被转换为傅里叶域的前提下，可以在向量p′上以元素方式对形式为C(p′)的矩阵实现运算(例如乘法和反演)。可以得到方程式(9)的最优解，如下式所示：

其中，除法运算以元素方式实现。

b6、根据等式(12)和(13)的解，核化相关滤波器算法可以容易地在每个无人机视频帧中找到目标车辆。具体而言，核化相关滤波器方法能有效且快速地确定对分类算子V(x)具有最大响应的图像区域，其被认为是当前无人机视频帧中的车辆跟踪结果。

步骤三：将图像长度映射成实际长度

从上述步骤，可以获得连续帧之间车辆运动的图像长度。然后，使用霍夫(Hough)变换来检测无人机视频中的车道分离器，即是参考标记。由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，因此可以建立图像长度和实际长度之间的关系。从每个无人机帧中检测两个车道的边界(即CC′段和EE'段)和车道分离器(即DD'段)。尽管在现实中车道边界相互平行，但是由于倾斜的摄像机角度，它们在无人机视频帧中的某个点处相交。将交点记为点T，从点T处，可以获得两条线段TC'和TE'，它们是新标记的车道边界。根据几何知识，可以分别在线段TC'和TE'中找到点U和V。在线段TC'和TE'中找到的点U和V。它们满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D'落入线段UV上。

c1、在线段UV中找到DD'投影，记为D'D”。已知了线段DD'的图像长度和实际长度，通过以下方程得到线段D'D”的实际长度。

其中：

len_phy(DD′)是线段DD′的实际长度，可以从道路设计手册中得到；

len_img(DD′)是线段DD′的图像长度；

len_phy(D′D″)是线段D′D″的实际长度；

len_img(D′D″)是线段D′D″的图像长度；

c2、根据线段'”的实际长度和像素距离，可以通过以下方程式得到线段UV的实际长度。

其中：

len_phy(UV)是线段UV的实际长度；

len_img(UV)是线段UV的图像长度；

c3、对于任意给定的车辆位置P，可以找到等腰三角形ΔTU'V'，找到的等腰三角形ΔTU'V'，满足以下两个条件：(1)给定的线段U'V'与UV平行；(2)车辆位置P落在U'V'段。

可以通过以下方程式获得车辆在P处的像素的实际长度。

其中：

len_phy(U′V′)是线段U'V'的实际长度，等于len_phy(UV)；

len_phy(P)是车辆在点P处的像素的实际长度；

步骤四：交通流参数估计

车速，车头时距和车头间距是重要的微观交通参数，通过以下方式进行估算。

d1、对于车速的估算，用P_t和P_s分别表示在第t帧和第s帧的车辆位置。车辆移动距离，即图像长度，可以通过以下方程式计算。

其中：

P_t(x)和P_t(y)分别表示第t帧时车辆的x坐标和y坐标；

P_s(x)和P_s(y)分别表示第s帧时车辆的x坐标和y坐标；

d2、通过上述内容，获得点P_t和P_s处的实际长度，分别记为l_t和l_s。因此，车辆移动距离，即实际长度和车速可以通过以下方程式计算。

其中：

T_f为第t帧和第s帧的时间间隔；

d3、为了估计无人机视频中的车头间距，用和表示两相邻车辆的位置。通过方程式(19)，可以计算出两相邻车辆之间的距离 和的实际长度可由上述方法计算，分别记为l₁和l₂。因此，可以通过以下方程式估算两相邻车辆的车头间距。

d4、通过方程式(19)(20)，获得车辆速度V_f和车头间距H_space。因此能通过以下方程式估算两相邻车辆的车头时距。

进一步的，在本发明中，步骤二中计算输入无人机视频帧z的分类算子响应的通用公式为：

y′＝∑_iα_ig(x_i，z) (22)

通常在滑动窗口方式中在所有子窗口处评估该公式。但是，可以利用循环结构同时有效地计算所有响应。使用前面讨论的性质，在所有位置具有响应的向量由下式给出：

其中：

为含有元素的向量

向量的最大值是当前无人机帧中的跟踪车辆区域。

本发明所提出的方法其框架是在MATLAB 2013平台上开发的。实验测试在具有Intel i5-2310 CPU@2.9GHz处理器和6G内存的计算机上运行。

在本发明中，无人机摄像机运动由三个平移和三个旋转运动描述，描述如下：(1)在平行于道路的X轴上向前或向后移动，定义为激增；(2)在垂直于道路的Y轴上向左或向右移动，定义为摇摆；(3)在Z轴上上下移动，定义为起伏；(4)在X轴上左右转动，定义为滚动；(5)在Y轴上向前和向后转动，定义为投掷；(6)在Z轴上左右转动，定义为偏航；

对于实验数据采集，在天气和能见度良好的条件下，在南宁和南京的两条城市高速公路路段上方驾驶无人机进行视频拍摄。收集的视频数据信息如表1所示。

表1无人机航拍视频数据信息

为了取得良好的精度，对涉及的参数进行了设定。在背景稳定过程中，在TRGMC方法中测试了各种参数设置，发现其性能非常稳健。在本发明中，使用如下参数设置：帧差Δ_f＝10，关键点数量T₁＝300，关键帧对齐误差τ₁＝5×10^-4，非关键帧和关键帧之间的对齐误差τ₂＝10^-4。

在车辆跟踪模块中的参数设置较为复杂。经过初步分析，发现填充因子P_f，内插因子l_f和空间带宽S_bwth这三个参数对车辆跟踪模型有显著影响。考虑到精度和计算速度之间的权衡，最终使用以下参数设置：P_f＝1，l_f＝2×10^-3，S_bwth＝5×10^-3。

使用上述部分中提出的方法从无人机视频中提取交通参数。为了验证所提出方法的性能，从无人机视频中手动提取地面真实交通数据。在每个视频帧中手动标记每个车辆实际中心的位置。图像距离由上述方程式计算，并转变为实际距离。利用估算的交通参数和地面实况数据，通过以下方程式计算交通参数估算的精度：

精度＝1-ε (25)

其中：

ε为误差；

y_估算为估算值；

y_实际为实际值；

根据本发明提出的方法框架，通过视频1采集的数据进行每个步骤的结果输出。

首先是获得无人机视频稳定背景。本发明提出的方法成功地补偿了无人机摄像机的运动，并且每帧中的背景像素保持几乎相同。

基于每帧中的跟踪车辆位置和参考标记信息，能从无人机视频中估算交通参数。对视频1中的所有帧执行上述步骤，并以0.5秒的时间间隔估算交通参数。交通参数的估算结果如表2所示。

表2视频1交通参数估算结果

同理，如上述步骤所示，以0.5秒的时间间隔估算视频2和视频3的交通参数。交通参数估算结果如表3，表4所示。

表3视频2交通参数估算结果

表4视频3交通参数估算结果

实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (4)

1.一种基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，包括如下步骤：

步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；

a1、关键帧的对齐

给定一组M个无人机视频关键帧，记为i∈K＝{k₁，...k_M}，基于关键点的关键帧凝固方法，被表述为以下优化问题：

其中：

p_i是将第i帧的坐标转换为全局运动补偿坐标的变换参数；e_i(p_i)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；Θ⁽ⁱ⁾为权矩阵；

在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式估算Δp：

其中：

Δp^TΨΔp是正则化项；正常数β为设置权衡；

使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：

使用链式法则，有凝固结果具有两个分量，即W＝(W_x，W_y)，其中W_x表示链路起点和终点的变形x坐标，W_y表示链路起点和终点的变形y坐标；已知e_i的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：

其中(或)是M_i维向量，且所有元素都是1或0；对于单应性转换如方程式(6)：

在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；

a2、非关键帧的对齐

对于关键帧k_i和k_i+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点即只有帧j的p_i被更新，而关键帧保持不变，关键帧k_i和k_i+1之间的每个非关键帧是独立对齐的；

对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即为每个关键帧i创建一个可靠性图，表示为Rⁱ，将具有和σ_k＝cs_k的高斯函数叠加在Rⁱ上：

其中：

η＞0，且是一个小的常数；参数n和m分别是无人机视频中的帧和关键帧的编号；

对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；

步骤二：使用核化相关滤波器的方法进行车辆跟踪；

b1、给定来自无人机视频的一组训练车辆模式和标签(x_i，y_i),…,(x_m，y_m)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为v(x)＝<t，x>+b，符号<·，·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式所示：

其中：L(y，V(x))为损失函数；λ为控制正则化的数量；

b2、使用函数φ(x)将输入车辆模式映射到特征空间，函数φ(x)由核g(x，x′)＝<φ(x)，φ(x′)>定义，方程式(8)的解是输入t＝∑_iα_iφ(x_i)的线性组合，封闭形式的解如下所示：

α＝(G+λI)^-1y (9)

其中：G为具有元素G_ij＝g(x_i，x_j)的核矩阵，参数I为单位矩阵，y为y_i的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为α_i；

b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式如下所示：

C(p^r)q＝F^-1(F^*(p^r)⊙F(q)) (10)

其中：符号⊙是元素乘积运算；F和F^-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；

b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为x_i，如下式表示：

其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本x_i为单个无人机视频帧x中的所有可能的转化形式；

为得到方程(9)的最优解，定义带元素的向量g，表达式如下所示：

其中：用g_i简易的表示核矩阵G＝C(g)；

b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式为C(p′)的矩阵实现运算，得到方程式(9)的最优解，如下式所示：

其中，除法运算以元素方式实现；

b6、根据等式(12)和(13)的解，核化相关滤波器算法在每个无人机视频帧中找到目标车辆，确定对分类算子V(x)具有最大响应的图像区域，其作为当前无人机视频帧中的车辆跟踪结果；

步骤三：将图像长度映射成实际长度；

从上述步骤，获得连续帧之间车辆运动的图像长度，使用霍夫变换来检测无人机视频中的车道分离器，作为参考标记，由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，由此建立图像长度和实际长度之间的关系，从每个无人机帧中检测两个车道的边界，记为CC′段和EE'段，以及车道分离器，记为DD'段，由于倾斜的摄像机角度，在无人机视频帧中的两车道边界于某个点处相交，该交点记为点T，从点T处，获得两条线段TC′和TE'，作为新标记的车道边界，再分别在线段TC'和TE'中标记点U和V；

c1、在线段UV中找到DD'投影，记为D'D”，已知了线段DD'的图像长度和实际长度，通过以下方程得到线段D'D”的实际长度：

其中：

len_phy(DD′)是线段DD′的实际长度，从道路设计手册中得到；

len_img(DD′)是线段DD′的图像长度；

lenphy(D′D″)是线段D′D″的实际长度；

len_img(D′D″)是线段D′D″的图像长度；

c2、根据线段D'D”的实际长度和像素距离，通过以下方程式得到线段UV的实际长度：

其中：

len_phy(UV)是线段UV的实际长度；

len_img(UV)是线段UV的图像长度；

c3、对于任意给定的车辆位置P，找到等腰三角形ΔTU'V'，通过以下方程式获得车辆在P处的像素的实际长度：

其中：

len_phy(U′V′)是线段U′V′的实际长度，等于len_phy(UV)；

len_phy(P)是车辆在点P处的像素的实际长度；

步骤四：交通流参数估计；

d1、对于车速的估算，用P_t和P_s分别表示在第t帧和第s帧的车辆位置，车辆移动距离，即图像长度，可以通过方程式(17)计算：

其中：

P_t(x)和P_t(y)分别表示第t帧时车辆的x坐标和y坐标；

P_s(x)和P_s(y)分别表示第s帧时车辆的x坐标和y坐标；

d2、获得点P_t和P_s处的实际长度，分别记为l_t和l_s，车辆移动距离，即实际长度和车速可以通过以下方程式计算：

其中：

T_f为第t帧和第s帧的时间间隔；

d3、再估计无人机视频中的车头间距时，用和表示两相邻车辆的位置，通过方程式(19)，可以计算出两相邻车辆之间的距离计算和的实际长度，分别记为l₁和l₂，通过以下方程式估算两相邻车辆的车头间距：

d4、通过方程式(19)(20)，获得车辆速度V_f和车头间距H_space，再通过以下方程式估算两相邻车辆的车头时距：

2.根据权利要求1所述基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，步骤二中，计算输入无人机视频帧z的分类算子响应的通用公式为：

y′＝∑_iα_ig(x_i，z) (22)

在所有位置具有响应的向量由下式给出：

其中：

为含有元素的向量；向量的最大值是当前无人机帧中的跟踪车辆区域。

3.根据权利要求1所述基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，步骤三中，在线段TC'和TE'上标记点U和V时，点U和V满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D'落入线段UV上。

4.根据权利要求3所述基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，步骤三中对于任意给定的车辆位置P，找到的等腰三角形ΔTU'V'，满足以下两个条件：(1)给定的线段U'V'与UV平行；(2)车辆位置P落在U'V'段。