CN113114850B - 一种基于监控视频和pdr在线融合定位方法 - Google Patents

Abstract

本发明公开了一种基于监控视频和PDR在线融合定位方法。该方法包括采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；根据匹配结果确定用户当前位置及追踪轨迹。本发明为了解决现有定位技术中系统部署成本和定位精度之间难以平衡、系统成本高和实际应用可行性低等问题，综合运用视频行人追踪技术和PDR技术，充分利用了室内环境已广泛部署的监控摄像头设备以及用户随身携带的智能手机，不需要额外部署定位设备，降低了定位系统的成本，同时还相互弥补了两种技术各自的缺点，提高了定位精度。

Description

一种基于监控视频和PDR在线融合定位方法

技术领域

本发明涉及一种定位方法，尤其涉及一种基于监控视频和PDR在线融合定位方法。

背景技术

现有的室内定位技术主要分为两大类，第一类是利用Wi-Fi、PDR、地磁、蓝牙、UWB以及射频等无线信号进行定位，该类定位技术主要问题是系统部署成本和定位精度之间难以平衡，如果采用Wi-Fi、PDR、地磁等定位技术可以利用现有的硬件设备，降低定位成本，但是信号不稳定，容易受到环境的干扰，定位精度低；如果采用蓝牙、UWB、射频等定位技术可以得到很好的定位精度，但是需要额外部署硬件设备，系统构建成本高，不利于实际的推广应用。第二类是利用多种定位技术进行融合定位，定位精度比单一定位技术要高，但目前依然存在系统成本高或实际应用可行性低等问题。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于监控视频和PDR在线融合定位方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于监控视频和PDR在线融合定位方法，包括以下步骤：

S1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；

S2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；

S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；

S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。

本发明具有以下有益效果：融合了监控视频和手机PDR信息来进行定位，基于视频行人追踪技术存在遮挡问题及无法识别用户身份问题，难以单独为用户提供自主定位服务，基于PDR技术需要确定用户的起始位置点，且存在累积误差问题，也不适用于单独定位。本发明采用两种技术融合，既互相弥补了各自的缺点，提高了定位精度，还避免了额外硬件设备的部署，同时采用了双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配，不仅提高了匹配速度，确保了定位系统的响应时间，还提高了两种轨迹的匹配精度。

优选地，步骤S1包括以下分步骤：

S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据，采用滤波算法对传感器数据进行处理，再利用坐标系转换算法，将手机载体坐标系数据转换到平面坐标系上；

S12、基于步骤S11采集的手机传感器数据，采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角，并根据起始位置点通过PDR算法得到用户的PDR轨迹。

该优选方案具有以下有益效果：利用了用户随身携带的智能手机传感器信息进行了数据采集，进而计算出了用户的PDR轨迹，数据采集过程和计算过程方便快捷。

优选地，步骤S2包括以下分步骤：

S21、采集实时监控摄像头视频流数据；

S22、将步骤S21得到的视频流按帧处理成图像，并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果，将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹；

S23、对步骤S22得到的每帧视频行人检测结果提取特征，利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度，并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新，得到新的视频行人轨迹；

S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。

该优选方案具有以下有益效果：利用了室内环境已广泛部署的监控摄像头设备来得到视频行人轨迹，不需要额外部署定位设备，降低了定位系统的成本。

优选地，步骤S3包括以下分步骤：

S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配；

S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。

该优选方案具有以下有益效果：采用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配，不仅提高了匹配速度，确保了定位系统的响应时间，还提高了两种轨迹的匹配精度。

优选地，步骤S31包括以下分步骤：

S311、根据用户单步步长、航向和手机系统时间，通过处理服务器进行时间同步得到单步对应的视频行人轨迹；

S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合，得到该段视频行人轨迹的拟合轨迹；

S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征，基于步骤S12计算的用户步长和航向角得到PDR轨迹特征；

S314、基于步骤S313提取的视频行人轨迹特征，采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M；

S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，具体内容为：

首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C，计算公式为：

C＝I-M

再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R，若R中的元素r_i,j＝1，则认为第i条PDR轨迹段和第j条视频轨迹段匹配。

该优选方案具有以下有益效果：单步匹配算法计算数据量少，运算速度快适用于实时在线匹配定位，可以快速确定用户当前所在位置。

优选地，步骤S312具体包括：

基于视频行人轨迹段W_AB中的L个数据样本，其中视频行人轨迹段W_AB为起始点为A，结束点为B的单步视频行人轨迹段，采用如下拟合函数h_θ(x)对数据进行拟合：

h_θ(x)＝θ₀x+θ₁

其中θ₁和θ₀为拟合参数，将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标，得到起始点A坐标(x_A,y_A)和结束点B坐标(x_B,y_B)。

该优选方案具有以下有益效果：行人检测算法得到的行人检测框会存在抖动，且从像素坐标转换到平面坐标系也会引入一定的噪声，单步PDR轨迹对应的视频行人轨迹较短，直接提取视频轨迹特征的效果不太好，在视频轨迹段AB之间采用最小二乘法进行数据拟合得到该段视频轨迹的拟合轨迹，后续对拟合的轨迹进行特征提取，可以减少噪声影响，得到更加精确的视频行人轨迹。

优选地，步骤S313具体包括：

计算视频行人轨迹段W_AB的长度L_A,B，计算公式为：

再采用反正切函数计算视频行人轨迹段W_AB的运动方向

计算公式为：

将步骤S12得到的单步的步长作为单步PDR轨迹段R_ab的长度L_a,b，单步的航向角作为PDR轨迹段R_ab的运动方向

该优选方案具有以下有益效果：行人行走的轨迹长度和运动方向两种特征是判断行人运动状态相对有效的特征，且计算方式简单，可提高轨迹匹配算法的精确度和算法运行速度。

优选地，步骤S314具体包括：

计算单步PDR轨迹段R_ab的长度L_a,b和视频行人轨迹段W_AB的长度L_A,B的比值χ，并归一化到[0,1]范围，计算公式为：

再计算单步PDR轨迹段R_ab的运动方向

和视频行人轨迹段W_AB的运动方向

的余弦相似度φ，并归一化到[0,1]范围，计算公式为：

再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，计算公式为：

其中ω₁+ω₂＝1，τ_χ为预设阈值，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M。

该优选方案具有以下有益效果：利用特征加权算法计算相似度具有算法简单，实时性好等优点，此外，根据行人行走的轨迹长度可有效辨别静态和动态的行人。

优选地，步骤S32包括以下分步骤：

S321、根据用户多步步长和航向角数据，采用时间同步方式得到多步视频行人轨迹；

S322、将所述步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点，根据步数、步长和航向角数据得到PDR轨迹；

S323、提取PDR轨迹和视频行人轨迹的特征，包括采样点距离、运动方向余弦值和采样点时间差，具体过程为：

设PDR轨迹采样点b坐标为(x_b,y_b)，视频行人轨迹采样点B坐标为(x_B,y_B)，则采样点距离d_b,B计算公式为：

采用航向角估计算法得到PDR采样点的运动方向，根据前后连续两采样点的坐标，采用所述步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向，计算运动方向余弦值φ_b,B，计算公式为：

其中

为PDR轨迹采样点b的运动方向，

为视频行人轨迹采样点B的运动方向；

计算采样点时间差Δt_b,B，计算公式为：

Δt_b,B＝|t_b-t_B|

其中t_b为PDR轨迹采样点b的采样时间，t_B为视频行人轨迹采样点B的采样时间；

对提取的三种特征进行归一化，再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度

计算公式为：

其中α+β+γ＝1；

S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度，具体过程为：

设PDR轨迹为U＝{u₁,u₂,u₃,…,u_n}，其中n为PDR轨迹采样点个数，视频行人轨迹为V＝{v₁,v₂,v₃,…,v_m}，其中m为视频行人轨迹采样点个数，构建n×m大小的矩阵网络Θ，其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度，采用动态规划算法得到矩阵网络Θ中的最优路径H＝{h₁,h₂,h₃,…,h_g}，其中max(n,m)≤g<(n+m-1)，最优路径中第k个点的累计相似度计算如下：

Ω_k(r_k,c_k)＝Θ(r_k,c_k)+min{Ω_k-1(r_k-1,c_k),Ω_k-1(r_k,c_k-1),Ω_k-1(r_k-1,c_k-1)}

其中，Ω₁(r₁,c₁)＝Θ(0,0)，k表示最优路径中的第k个位置，r_k和c_k分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ω_g(r_g,c_g)累积了前面所有位置点{h₁,h₂,h₃,…,h_g-1}的相似度，PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下：

S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度，采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配。

该优选方案具有以下有益效果：单步匹配算法没有充分利用历史数据，影响了PDR轨迹和视频行人轨迹的匹配精度，因此除了单步匹配外，用户行走一段时间还要利用历史数据进行一次全局匹配，进一步提高PDR轨迹和视频行人轨迹的匹配精度。

优选地，步骤S4包括以下分步骤：

S41、根据步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹W_c；

S42、判断PDR轨迹和视频行人轨迹W_c的相似度是否超过阈值

若是，执行步骤S43，否则执行步骤S49；

S43、判断当前匹配是否为PDR轨迹的第一次匹配，若是，执行步骤S48，否则执行步骤S44；

S44、判断视频行人轨迹W_c的编号是否与上一次匹配的视频行人轨迹W_p编号相同，若是，执行步骤S48，否则执行步骤S45；

S45、判断PDR轨迹与视频行人轨迹W_p在当前时刻的相似度和距离是否都在阈值内，若是，执行步骤S410，否则执行步骤S46；

S46、判断PDR轨迹和视频行人轨迹W_c的相似度或者距离是否在阈值内，若是，执行步骤S47，否则执行步骤S49；

S47、判断PDR轨迹和视频行人轨迹W_p是否连续匹配了预设次数N次，若是，执行步骤S49，否则执行步骤S48；

S48、根据当前视频行人轨迹W_c确定用户当前位置，返回步骤S41；

S49、根据上一次匹配时的视频行人轨迹W_p确定用户当前位置，返回步骤S41；

S410、根据PDR轨迹确定用户当前位置，返回步骤S41。

该优选方案具有以下有益效果：在一般的定位场景下，同一个行人的视频轨迹在短时间内的连续性相对较好，采用阈值约束既可以提高轨迹匹配的精度，也避免了轨迹匹配过程中的同一条PDR轨迹频繁与不同的视频行人轨迹进行匹配。此外，在没有视频行人轨迹可以匹配的情况下，采用PDR轨迹确定用户当前位置可以确保用户定位轨迹的连续性，实现用户受到遮挡时仍可持续定位的效果，从而扩大有效定位范围。

附图说明

图1是本发明一种基于监控视频和PDR在线融合定位方法的流程图；

图2是本发明实施例中的具体定位方法流程图；

图3是本发明实施例中单步匹配时PDR轨迹和视频行人轨迹对应关系示意图；

图4是本发明实施例中多步匹配时根据视频行人轨迹推导出PDR轨迹示意图；

图5是本发明实施例中确定用户当前位置的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参照图1和图2，本发明提供了一种基于监控视频和PDR在线融合定位方法，包括以下步骤：

S1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；

本发明实施例中，步骤S1包括以下分步骤：

S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据，采用滤波算法对传感器数据进行处理，再利用坐标系转换算法，将手机载体坐标系数据转换到平面坐标系上，手机采集的运动传感器数据是相对手机载体坐标系的，需要将其转换到平面坐标系才能进行位置导航。；

S12、基于步骤S11采集的手机传感器数据，采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角等信息，在起始位置点可以确定的情况下，根据起始位置点通过PDR算法得到用户的PDR轨迹。

S2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；

本发明实施例中，步骤S2包括以下分步骤：

S21、在待定位区域安装监控摄像头，利用有线或者无线网络传输的方法，将监控视频流数据通过网络传输实时上传至处理服务器；

S22、将视频流按帧处理成图像，并将图像输入到YOLOv3行人检测框架进行处理得到每帧图像中所有行人检测结果，得到的行人检测结果包括行人检测框位置信息(x,y,w,h)和检测框的置信度分数，其中(x,y)是检测框的左上角顶点的像素坐标，w是检测框的宽度，h是检测框的高度，为了便于后续与PDR轨迹进行匹配，一般采用检测框底部坐标作为视频行人轨迹点，将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹；

S23、对步骤S22得到的每帧视频行人检测结果提取特征，包括运动特征和外观特征等可以衡量不同图像帧检测框相似度的特征信息，利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度，并根据匈牙利算法或者马尔科夫模型将当前视频图像帧行人检测结果关联到前面的初始视频行人轨迹中，得到最新的视频行人轨迹；

S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系，通过步骤S23得到的视频行人轨迹是相对于像素坐标系，而PDR轨迹是相对于平面坐标系，因此，需要进行像素坐标系和平面坐标系的转换才能进行后续两种轨迹的匹配，首先在待定位区域设置一些地图标定点，记录这些地图标定点在平面坐标系中的坐标和像素坐标系中的坐标，通过DLT算法求解出坐标变换的模型参数Γ。假设有n个标定点，其平面位置坐标为(x_i,y_i),i＝1,2,...,n，对应的图像像素坐标为(u_i,v_i)，根据DLT算法，平面坐标和图像像素坐标的转换关系可以构建成如下方程组：

将上述方程组表示为矩阵的形式：

CΓ＝P

其中Γ是图像像素坐标转换到平面坐标的转换系数，

根据最小二乘法可以计算Γ出中的8个参数，计算公式为：

Γ＝(C^TC)^-1C^TP

S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配，前面的步骤S1和步骤S2是同时进行的，得到行人的PDR轨迹和视频行人轨迹之后，采用双重轨迹匹配算法对PDR轨迹和视频行人轨迹进行匹配。双重轨迹匹配算法是指分别采用局部快速匹配算法(又称为单步快速匹配算法)和全局优化匹配算法进行PDR轨迹和视频行人轨迹的匹配；

本发明实施例中，步骤S3包括以下分步骤：

S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配，即用户每行走一步，进行一次PDR轨迹和视频行人轨迹匹配；

本发明实施例中，步骤S31包括以下分步骤：

S311、根据用户单步步长、航向和手机系统时间，通过处理服务器进行时间同步找到单步所对应的视频行人轨迹，单步PDR轨迹和视频行人轨迹对应关系示意图如图3所示，其中第step1步的起始位置点a和结束位置点b分别对应视频行人轨迹的位置点A和位置点B，这是通过时间同步关系进行确定的。视频流帧率会比手机传感器采样频率快，因此视频轨迹数据会比PDR轨迹要多；

S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合，行人检测算法得到的行人检测框会存在抖动，且从像素坐标转换到平面坐标系也会引入一定的噪声，单步PDR轨迹对应的视频行人轨迹较短，直接提取视频轨迹特征的效果不太好，为了减少噪声影响，得到更加精确的视频行人轨迹，在视频轨迹段AB之间采用最小二乘法进行数据拟合，得到该段视频轨迹的拟合轨迹，后续对拟合的轨迹进行特征提取；

本发明实施例中，步骤S312具体包括：

基于视频行人轨迹段W_AB中的L个数据样本{(x⁽⁰⁾,y⁽⁰⁾),(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),...,(x^(L-1),y^(L-1))}，其中视频行人轨迹段W_AB为起始点为A，结束点为B的单步视频行人轨迹段，采用如下拟合函数h_θ(x)对数据进行拟合：

h_θ(x)＝θ₀x+θ₁

其中θ₁和θ₀为拟合参数，采用大量的视频行人轨迹数据对该公式进行训练，回归求解出θ₀和θ₁的最优参数值，将起始点A和结束点B的横坐标输入到训练后的拟合函数h_θ(x)中求出两点对应的纵坐标，得到起始点A坐标(x_A,y_A)和结束点B坐标(x_B,y_B)。

S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征，基于步骤S12计算的用户步长和航向角得到PDR轨迹特征；

本发明实施例中，步骤S313具体包括：

计算视频行人轨迹段W_AB的长度L_A,B，长度采用欧式距离进行度量，计算公式为：

再采用反正切函数计算视频行人轨迹段W_AB的运动方向

计算公式为：

再将步骤S12得到的单步的步长作为单步PDR轨迹段R_ab的长度L_a,b，单步的航向角作为PDR轨迹段R_ab的运动方向

步长和航向角均由手机运动传感器数据经过步长估计和航向角估计算法得到。

S314、基于步骤S313提取的视频行人轨迹特征，采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M；

本发明实施例中，步骤S314具体包括：

计算单步PDR轨迹段R_ab的长度L_a,b和视频行人轨迹段W_AB的长度L_A,B的比值χ，并归一化到[0,1]范围，计算公式为：

再计算单步PDR轨迹段R_ab的运动方向

和视频行人轨迹段W_AB的运动方向

的余弦相似度φ，并归一化到[0,1]范围，计算公式为：

再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，计算公式为：

其中ω₁+ω₂＝1，τ_χ为预设阈值，如果两种轨迹长度的比值小于阈值τ_χ，或者夹角余弦值大于阈值τ_φ，则第i条PDR轨迹段和第j条视频轨迹段的总相似度为0，即总相似度越大则两条轨迹匹配的概率越大，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M。

S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，具体内容为：

首先基于步骤S315的相似度矩阵M计算匈牙利算法的代价矩阵C，计算公式为：

C＝I-M

即c_i,j越小则第i条PDR轨迹段和第j条视频轨迹段匹配的概率越大，匈牙利算法是一种整体最优分配算法，主要用于多对多任务的分配，可适用于PDR轨迹集和视频行人轨迹集的匹配，根据代价矩阵进行匈牙利算法匹配得到结果矩阵R，R中的每一行或者每一列元素只有一个元素为1，其余均为0，若R中的元素r_i,j＝1，则认为第i条PDR轨迹段和第j条视频轨迹段匹配。

S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配，即用户每行走k步，进行一次PDR轨迹和视频行人轨迹匹配，并通过历史数据提高匹配精度，单步匹配算法计算数据量少，运算速度快可适用于实时在线匹配定位，但是没有充分利用历史数据，影响PDR轨迹和视频行人轨迹的匹配精度。为了提高PDR轨迹和视频行人轨迹的匹配精度，用户行走一段时间则利用历史数据进行一次全局匹配。

本发明实施例中，步骤S32包括以下分步骤：

S321、用户每走预设次数k步获取最近k步行走的步长和航向角数据和视频行人轨迹，通过时间同步方式得到k步时间段内的视频行人轨迹；

S322、将步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点，根据步数、步长和航向角数据得到PDR轨迹，当k＝3时，利用视频行人轨迹推导PDR轨迹的示意图如图4所示；

S323、提取步骤S321和步骤S322得到的PDR轨迹和视频行人轨迹的特征，提取的特征包括PDR轨迹采样点和视频行人轨迹采样点的距离、运动方向余弦值和采样点时间差，具体过程为：

距离大小采用欧式距离进行度量，设PDR轨迹采样点b坐标为(x_b,y_b)，视频行人轨迹采样点B坐标为(x_B,y_B)，则采样点距离d_b,B计算公式为：

d_b,B越小表示b点和B点越相似度越大。采用航向角估计算法得到PDR采样点的运动方向，根据前后连续两采样点的坐标，采用步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向，计算运动方向余弦值φ_b,B，计算公式为：

其中

为PDR轨迹采样点b的运动方向，

为视频行人轨迹采样点B的运动方向，φ越小表示b点和B点越相似度越大；

计算采样点时间差Δt_b,B，计算公式为：

Δt_b,B＝|t_b-t_B|

其中t_b为PDR轨迹采样点b的采样时间，t_B为视频行人轨迹采样点B的采样时间，Δt_b,B越小表示b点和B点越相似度越大；

对提取的三种特征进行归一化，再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度

计算公式为：

其中α+β+γ＝1；

S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度，具体过程为：

在多步全局优化匹配中，PDR轨迹和视频行人轨迹均包含多个采样点，但两种轨迹的采样点个数不同，单个采样点之间的相似度计算如步骤S315所示。整段轨迹的相似度采用DTW算法进行计算，设PDR轨迹为U＝{u₁,u₂,u₃,…,u_n}，其中n为PDR轨迹采样点个数，视频行人轨迹为V＝{v₁,v₂,v₃,…,v_m}，其中m为视频行人轨迹采样点个数，构建n×m大小的矩阵网络Θ，其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度，采用动态规划算法得到矩阵网络Θ中的最优路径H＝{h₁,h₂,h₃,…,h_g}，其中max(n,m)≤g<(n+m-1)，将最优路径对应的累积平均相似度作为PDR轨迹和视频行人轨迹的相似度。

最优路径需要满足三个约束：

1)边界性：即最优路径的起始点必须是Θ(1,1)，结束点必须是Θ(n,m)；

2)连续性：最优路径中的点在网格矩阵Θ中必须是相邻的；

3)单调性：对于路径中的点h_g-1(i,j)，其下一个点h_g(i',j')需要满足i'-i≥0且j'-j≥0。

最优路径中第k个点的累计相似度计算如下：

Ω_k(r_k,c_k)＝Θ(r_k,c_k)+min{Ω_k-1(r_k-1,c_k),Ω_k-1(r_k,c_k-1),Ω_k-1(r_k-1,c_k-1)}

其中，Ω₁(r₁,c₁)＝Θ(0,0)，k表示最优路径中的第k个位置，r_k和c_k分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ω_g(r_g,c_g)累积了前面所有位置点{h₁,h₂,h₃,…,h_g-1}的相似度，PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下：

S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度，采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，计算方法与步骤S315相似，只是在求代价矩阵时是根据步骤S324得到的相似度矩阵进行求解的。

在不超过相似度阈值的情况下，将步骤S325中匈牙利分配的视频轨迹作为当前时刻行人匹配的轨迹，以历史数据纠正步骤S315单步匹配结果可能出现的匹配误差，提高系统的匹配精度。

S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。

请参照图5，本发明实施例中，步骤S4包括以下分步骤：

S41、根据步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹W_c；

S42、判断PDR轨迹和视频行人轨迹W_c的相似度是否超过阈值

若是，执行步骤S43，否则认为该PDR轨迹当前没有与之匹配的视频轨迹，执行步骤S49；

S43、判断当前匹配是否为PDR轨迹的第一次匹配，若是，执行步骤S48，否则执行步骤S44；

S44、判断视频行人轨迹W_c的编号是否与上一次匹配的视频行人轨迹W_p编号相同，若是，执行步骤S48，否则执行步骤S45；

S45、判断PDR轨迹与视频行人轨迹W_p在当前时刻的相似度和距离是否都在阈值内，若是，执行步骤S410，否则执行步骤S46；

S46、判断PDR轨迹和视频行人轨迹W_c的相似度或者距离是否在阈值内，若是，执行步骤S47，否则认为该PDR轨迹当前没有与之匹配的视频轨迹，执行步骤S49；

S47、判断PDR轨迹和视频行人轨迹W_p是否连续匹配了预设次数N次(比如设置为5)，若是，认为该PDR轨迹当前没有与之匹配的视频轨迹，执行步骤S49，否则执行步骤S48；

S48、根据当前视频行人轨迹W_c确定用户当前位置，返回步骤S41；

S49、根据上一次匹配时的视频行人轨迹W_p确定用户当前位置，返回步骤S41；

S410、根据PDR轨迹确定用户当前位置，返回步骤S41。

本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于监控视频和PDR在线融合定位方法，其特征在于，包括以下步骤：

S1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；

S2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；

S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配，包括以下分步骤：

S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配，包括以下分步骤：

S311、根据用户单步步长、航向和手机系统时间，通过处理服务器进行时间同步得到单步对应的视频行人轨迹；

S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合，得到该段视频行人轨迹的拟合轨迹；

S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征，基于步骤S12计算的用户步长和航向角得到PDR轨迹特征；

S314、基于步骤S313提取的视频行人轨迹特征，采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M；

S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，具体内容为：

首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C，计算公式为：

C＝I-M

再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R，若R中的元素r_i,j＝1，则认为第i条PDR轨迹段和第j条视频轨迹段匹配；

S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配；

S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。

2.如权利要求1所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S1包括以下分步骤：

S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据，采用滤波算法对传感器数据进行处理，再利用坐标系转换算法，将手机载体坐标系数据转换到平面坐标系上；

S12、基于步骤S11采集的手机传感器数据，采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角，并根据起始位置点通过PDR算法得到用户的PDR轨迹。

3.如权利要求2所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S2包括以下分步骤：

S21、采集实时监控摄像头视频流数据；

S22、将步骤S21得到的视频流按帧处理成图像，并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果，将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹；

S23、对步骤S22得到的每帧视频行人检测结果提取特征，利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度，并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新，得到新的视频行人轨迹；

S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。

4.如权利要求1所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S312具体包括：

基于视频行人轨迹段W_AB中的L个数据样本，其中视频行人轨迹段W_AB为起始点为A，结束点为B的单步视频行人轨迹段，采用如下拟合函数h_θ(x)对数据进行拟合：

h_θ(x)＝θ₀x+θ₁

其中θ₁和θ₀为拟合参数，将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标，得到起始点A坐标(x_A,y_A)和结束点B坐标(x_B,y_B)。

5.如权利要求4所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S313具体包括：

计算视频行人轨迹段W_AB的长度L_A,B，计算公式为：

再采用反正切函数计算视频行人轨迹段W_AB的运动方向

计算公式为：

再将所述步骤S12得到的单步的步长作为单步PDR轨迹段R_ab的长度L_a,b，单步的航向角作为PDR轨迹段R_ab的运动方向

6.如权利要求5所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S314具体包括：

计算单步PDR轨迹段R_ab的长度L_a,b和视频行人轨迹段W_AB的长度L_A,B的比值χ，并归一化到[0,1]范围，计算公式为：

再计算单步PDR轨迹段R_ab的运动方向

和视频行人轨迹段W_AB的运动方向

的余弦相似度φ，并归一化到[0,1]范围，计算公式为：

再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度M_i,j，计算公式为：

其中ω₁+ω₂＝1，τ_χ为预设阈值，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M。

7.如权利要求6所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S32包括以下分步骤：

S321、根据用户多步步长和航向角数据，采用时间同步方式得到多步视频行人轨迹；

S322、将所述步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点，根据步数、步长和航向角数据得到PDR轨迹；

S323、提取PDR轨迹和视频行人轨迹的特征，包括采样点距离、运动方向余弦值和采样点时间差，具体过程为：

设PDR轨迹采样点b坐标为(x_b,y_b)，视频行人轨迹采样点B坐标为(x_B,y_B)，则采样点距离d_b,B计算公式为：

采用航向角估计算法得到PDR采样点的运动方向，根据前后连续两采样点的坐标，采用所述步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向，计算运动方向余弦值φ_b,B，计算公式为：

其中

为PDR轨迹采样点b的运动方向，

为视频行人轨迹采样点B的运动方向；

计算采样点时间差Δt_b,B，计算公式为：

Δt_b,B＝|t_b-t_B|

其中t_b为PDR轨迹采样点b的采样时间，t_B为视频行人轨迹采样点B的采样时间；

对提取的三种特征进行归一化，再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度

计算公式为：

其中α+β+γ＝1；

S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度，具体过程为：

设PDR轨迹为U＝{u₁,u₂,u₃,…,u_n}，其中n为PDR轨迹采样点个数，视频行人轨迹为V＝{v₁,v₂,v₃,…,v_m}，其中m为视频行人轨迹采样点个数，构建n×m大小的矩阵网络Θ，其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度，采用动态规划算法得到矩阵网络Θ中的最优路径H＝{h₁,h₂,h₃,…,h_g}，其中max(n,m)≤g＜(n+m-1)，最优路径中第k个点的累计相似度计算如下：

Ω_k(r_k,c_k)＝Θ(r_k,c_k)+min{Ω_k-1(r_k-1,c_k),Ω_k-1(r_k,c_k-1),Ω_k-1(r_k-1,c_k-1)}

其中，Ω₁(r₁,c₁)＝Θ(0,0)，k表示最优路径中的第k个位置，r_k和c_k分别表示最优路径的第k个位置在矩阵网络的行序号和列序号，最优路径的最后一个位置点的g相似度Ω_g(r_g,c_g)累积了前面所有位置点{h₁,h₂,h₃,…,h_g-1}的相似度，PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下：

S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度，采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配。

8.如权利要求7所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S4包括以下分步骤：

S41、根据所述步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹W_c；

S42、判断PDR轨迹和视频行人轨迹W_c的相似度是否超过阈值

若是，执行步骤S43，否则执行步骤S49；

S43、判断当前匹配是否为PDR轨迹的第一次匹配，若是，执行步骤S48，否则执行步骤S44；

S44、判断视频行人轨迹W_c的编号是否与上一次匹配的视频行人轨迹W_p编号相同，若是，执行步骤S48，否则执行步骤S45；

S45、判断PDR轨迹与视频行人轨迹W_p在当前时刻的相似度和距离是否都在阈值内，若是，执行步骤S410，否则执行步骤S46；

S46、判断PDR轨迹和视频行人轨迹W_c的相似度或者距离是否在阈值内，若是，执行步骤S47，否则执行步骤S49；

S47、判断PDR轨迹和视频行人轨迹W_p是否连续匹配了预设次数N次，若是，执行步骤S49，否则执行步骤S48；

S48、根据当前视频行人轨迹W_c确定用户当前位置，返回步骤S41；

S49、根据上一次匹配时的视频行人轨迹W_p确定用户当前位置，返回步骤S41；

S410、根据PDR轨迹确定用户当前位置，返回步骤S41。

Images