[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113114850A - 一种基于监控视频和pdr在线融合定位方法 - Google Patents

一种基于监控视频和pdr在线融合定位方法 Download PDF

Info

Publication number
CN113114850A
CN113114850A CN202110290805.4A CN202110290805A CN113114850A CN 113114850 A CN113114850 A CN 113114850A CN 202110290805 A CN202110290805 A CN 202110290805A CN 113114850 A CN113114850 A CN 113114850A
Authority
CN
China
Prior art keywords
track
pdr
video
pedestrian
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110290805.4A
Other languages
English (en)
Other versions
CN113114850B (zh
Inventor
杨帆
黄翠彦
苟柳燕
胡丁文
胡凯翔
霍永青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110290805.4A priority Critical patent/CN113114850B/zh
Publication of CN113114850A publication Critical patent/CN113114850A/zh
Application granted granted Critical
Publication of CN113114850B publication Critical patent/CN113114850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于监控视频和PDR在线融合定位方法。该方法包括采集用户手机运动传感器数据,根据PDR算法得到用户的PDR轨迹;采集实时监控摄像头视频流数据,采用深度学习行人检测框架和特征加权算法获得视频行人轨迹;利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配;根据匹配结果确定用户当前位置及追踪轨迹。本发明为了解决现有定位技术中系统部署成本和定位精度之间难以平衡、系统成本高和实际应用可行性低等问题,综合运用视频行人追踪技术和PDR技术,充分利用了室内环境已广泛部署的监控摄像头设备以及用户随身携带的智能手机,不需要额外部署定位设备,降低了定位系统的成本,同时还相互弥补了两种技术各自的缺点,提高了定位精度。

Description

一种基于监控视频和PDR在线融合定位方法
技术领域
本发明涉及一种定位方法,尤其涉及一种基于监控视频和PDR在线融合定位方法。
背景技术
现有的室内定位技术主要分为两大类,第一类是利用Wi-Fi、PDR、地磁、蓝牙、UWB以及射频等无线信号进行定位,该类定位技术主要问题是系统部署成本和定位精度之间难以平衡,如果采用Wi-Fi、PDR、地磁等定位技术可以利用现有的硬件设备,降低定位成本,但是信号不稳定,容易受到环境的干扰,定位精度低;如果采用蓝牙、UWB、射频等定位技术可以得到很好的定位精度,但是需要额外部署硬件设备,系统构建成本高,不利于实际的推广应用。第二类是利用多种定位技术进行融合定位,定位精度比单一定位技术要高,但目前依然存在系统成本高或实际应用可行性低等问题。
发明内容
针对现有技术中的上述不足,本发明提供了一种基于监控视频和PDR在线融合定位方法。
为了达到上述发明目的,本发明采用的技术方案为:
一种基于监控视频和PDR在线融合定位方法,包括以下步骤:
S1、采集用户手机运动传感器数据,根据PDR算法得到用户的PDR轨迹;
S2、采集实时监控摄像头视频流数据,采用深度学习行人检测框架和特征加权算法获得视频行人轨迹;
S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配;
S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。
本发明具有以下有益效果:融合了监控视频和手机PDR信息来进行定位,基于视频行人追踪技术存在遮挡问题及无法识别用户身份问题,难以单独为用户提供自主定位服务,基于PDR技术需要确定用户的起始位置点,且存在累积误差问题,也不适用于单独定位。本发明采用两种技术融合,既互相弥补了各自的缺点,提高了定位精度,还避免了额外硬件设备的部署,同时采用了双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配,不仅提高了匹配速度,确保了定位系统的响应时间,还提高了两种轨迹的匹配精度。
优选地,步骤S1包括以下分步骤:
S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据,采用滤波算法对传感器数据进行处理,再利用坐标系转换算法,将手机载体坐标系数据转换到平面坐标系上;
S12、基于步骤S11采集的手机传感器数据,采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角,并根据起始位置点通过PDR算法得到用户的PDR轨迹。
该优选方案具有以下有益效果:利用了用户随身携带的智能手机传感器信息进行了数据采集,进而计算出了用户的PDR轨迹,数据采集过程和计算过程方便快捷。
优选地,步骤S2包括以下分步骤:
S21、采集实时监控摄像头视频流数据;
S22、将步骤S21得到的视频流按帧处理成图像,并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果,将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹;
S23、对步骤S22得到的每帧视频行人检测结果提取特征,利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度,并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新,得到新的视频行人轨迹;
S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。
该优选方案具有以下有益效果:利用了室内环境已广泛部署的监控摄像头设备来得到视频行人轨迹,不需要额外部署定位设备,降低了定位系统的成本。
优选地,步骤S3包括以下分步骤:
S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配;
S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。
该优选方案具有以下有益效果:采用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配,不仅提高了匹配速度,确保了定位系统的响应时间,还提高了两种轨迹的匹配精度。
优选地,步骤S31包括以下分步骤:
S311、根据用户单步步长、航向和手机系统时间,通过处理服务器进行时间同步得到单步对应的视频行人轨迹;
S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合,得到该段视频行人轨迹的拟合轨迹;
S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征,基于步骤S12计算的用户步长和航向角得到PDR轨迹特征;
S314、基于步骤S313提取的视频行人轨迹特征,采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M;
S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配,具体内容为:
首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C,计算公式为:
C=I-M
再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R,若R中的元素ri,j=1,则认为第i条PDR轨迹段和第j条视频轨迹段匹配。
该优选方案具有以下有益效果:单步匹配算法计算数据量少,运算速度快适用于实时在线匹配定位,可以快速确定用户当前所在位置。
优选地,步骤S312具体包括:
基于视频行人轨迹段WAB中的L个数据样本,其中视频行人轨迹段WAB为起始点为A,结束点为B的单步视频行人轨迹段,采用如下拟合函数hθ(x)对数据进行拟合:
hθ(x)=θ0x+θ1
其中θ1和θ0为拟合参数,将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标,得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。
该优选方案具有以下有益效果:行人检测算法得到的行人检测框会存在抖动,且从像素坐标转换到平面坐标系也会引入一定的噪声,单步PDR轨迹对应的视频行人轨迹较短,直接提取视频轨迹特征的效果不太好,在视频轨迹段AB之间采用最小二乘法进行数据拟合得到该段视频轨迹的拟合轨迹,后续对拟合的轨迹进行特征提取,可以减少噪声影响,得到更加精确的视频行人轨迹。
优选地,步骤S313具体包括:
计算视频行人轨迹段WAB的长度LA,B,计算公式为:
Figure BDA0002982547830000041
再采用反正切函数计算视频行人轨迹段WAB的运动方向
Figure BDA0002982547830000054
计算公式为:
Figure BDA0002982547830000051
将步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b,单步的航向角作为PDR轨迹段Rab的运动方向
Figure BDA0002982547830000055
该优选方案具有以下有益效果:行人行走的轨迹长度和运动方向两种特征是判断行人运动状态相对有效的特征,且计算方式简单,可提高轨迹匹配算法的精确度和算法运行速度。
优选地,步骤S314具体包括:
计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ,并归一化到[0,1]范围,计算公式为:
Figure BDA0002982547830000052
再计算单步PDR轨迹段Rab的运动方向
Figure BDA0002982547830000056
和视频行人轨迹段WAB的运动方向
Figure BDA0002982547830000057
的余弦相似度φ,并归一化到[0,1]范围,计算公式为:
Figure BDA0002982547830000058
再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,计算公式为:
Figure BDA0002982547830000053
其中ω12=1,τχ为预设阈值,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M。
该优选方案具有以下有益效果:利用特征加权算法计算相似度具有算法简单,实时性好等优点,此外,根据行人行走的轨迹长度可有效辨别静态和动态的行人。
优选地,步骤S32包括以下分步骤:
S321、根据用户多步步长和航向角数据,采用时间同步方式得到多步视频行人轨迹;
S322、将所述步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点,根据步数、步长和航向角数据得到PDR轨迹;
S323、提取PDR轨迹和视频行人轨迹的特征,包括采样点距离、运动方向余弦值和采样点时间差,具体过程为:
设PDR轨迹采样点b坐标为(xb,yb),视频行人轨迹采样点B坐标为(xB,yB),则采样点距离db,B计算公式为:
Figure BDA0002982547830000061
采用航向角估计算法得到PDR采样点的运动方向,根据前后连续两采样点的坐标,采用所述步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向,计算运动方向余弦值φb,B,计算公式为:
Figure BDA0002982547830000063
其中
Figure BDA0002982547830000064
为PDR轨迹采样点b的运动方向,
Figure BDA0002982547830000065
为视频行人轨迹采样点B的运动方向;
计算采样点时间差Δtb,B,计算公式为:
Δtb,B=|tb-tB|
其中tb为PDR轨迹采样点b的采样时间,tB为视频行人轨迹采样点B的采样时间;
对提取的三种特征进行归一化,再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度
Figure BDA0002982547830000062
计算公式为:
Figure BDA0002982547830000071
其中α+β+γ=1;
S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度,具体过程为:
设PDR轨迹为U={u1,u2,u3,…,un},其中n为PDR轨迹采样点个数,视频行人轨迹为V={v1,v2,v3,…,vm},其中m为视频行人轨迹采样点个数,构建n×m大小的矩阵网络Θ,其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度,采用动态规划算法得到矩阵网络Θ中的最优路径H={h1,h2,h3,…,hg},其中max(n,m)≤g<(n+m-1),最优路径中第k个点的累计相似度计算如下:
Ωk(rk,ck)=Θ(rk,ck)+min{Ωk-1(rk-1,ck),Ωk-1(rk,ck-1),Ωk-1(rk-1,ck-1)}
其中,Ω1(r1,c1)=Θ(0,0),k表示最优路径中的第k个位置,rk和ck分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ωg(rg,cg)累积了前面所有位置点{h1,h2,h3,…,hg-1}的相似度,PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下:
Figure BDA0002982547830000072
S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度,采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配。
该优选方案具有以下有益效果:单步匹配算法没有充分利用历史数据,影响了PDR轨迹和视频行人轨迹的匹配精度,因此除了单步匹配外,用户行走一段时间还要利用历史数据进行一次全局匹配,进一步提高PDR轨迹和视频行人轨迹的匹配精度。
优选地,步骤S4包括以下分步骤:
S41、根据步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹Wc
S42、判断PDR轨迹和视频行人轨迹Wc的相似度是否超过阈值
Figure BDA0002982547830000081
若是,执行步骤S43,否则执行步骤S49;
S43、判断当前匹配是否为PDR轨迹的第一次匹配,若是,执行步骤S48,否则执行步骤S44;
S44、判断视频行人轨迹Wc的编号是否与上一次匹配的视频行人轨迹Wp编号相同,若是,执行步骤S48,否则执行步骤S45;
S45、判断PDR轨迹与视频行人轨迹Wp在当前时刻的相似度和距离是否都在阈值内,若是,执行步骤S410,否则执行步骤S46;
S46、判断PDR轨迹和视频行人轨迹Wc的相似度或者距离是否在阈值内,若是,执行步骤S47,否则执行步骤S49;
S47、判断PDR轨迹和视频行人轨迹Wp是否连续匹配了预设次数N次,若是,执行步骤S49,否则执行步骤S48;
S48、根据当前视频行人轨迹Wc确定用户当前位置,返回步骤S41;
S49、根据上一次匹配时的视频行人轨迹Wp确定用户当前位置,返回步骤S41;
S410、根据PDR轨迹确定用户当前位置,返回步骤S41。
该优选方案具有以下有益效果:在一般的定位场景下,同一个行人的视频轨迹在短时间内的连续性相对较好,采用阈值约束既可以提高轨迹匹配的精度,也避免了轨迹匹配过程中的同一条PDR轨迹频繁与不同的视频行人轨迹进行匹配。此外,在没有视频行人轨迹可以匹配的情况下,采用PDR轨迹确定用户当前位置可以确保用户定位轨迹的连续性,实现用户受到遮挡时仍可持续定位的效果,从而扩大有效定位范围。
附图说明
图1是本发明一种基于监控视频和PDR在线融合定位方法的流程图;
图2是本发明实施例中的具体定位方法流程图;
图3是本发明实施例中单步匹配时PDR轨迹和视频行人轨迹对应关系示意图;
图4是本发明实施例中多步匹配时根据视频行人轨迹推导出PDR轨迹示意图;
图5是本发明实施例中确定用户当前位置的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参照图1和图2,本发明提供了一种基于监控视频和PDR在线融合定位方法,包括以下步骤:
S1、采集用户手机运动传感器数据,根据PDR算法得到用户的PDR轨迹;
本发明实施例中,步骤S1包括以下分步骤:
S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据,采用滤波算法对传感器数据进行处理,再利用坐标系转换算法,将手机载体坐标系数据转换到平面坐标系上,手机采集的运动传感器数据是相对手机载体坐标系的,需要将其转换到平面坐标系才能进行位置导航。;
S12、基于步骤S11采集的手机传感器数据,采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角等信息,在起始位置点可以确定的情况下,根据起始位置点通过PDR算法得到用户的PDR轨迹。
S2、采集实时监控摄像头视频流数据,采用深度学习行人检测框架和特征加权算法获得视频行人轨迹;
本发明实施例中,步骤S2包括以下分步骤:
S21、在待定位区域安装监控摄像头,利用有线或者无线网络传输的方法,将监控视频流数据通过网络传输实时上传至处理服务器;
S22、将视频流按帧处理成图像,并将图像输入到YOLOv3行人检测框架进行处理得到每帧图像中所有行人检测结果,得到的行人检测结果包括行人检测框位置信息(x,y,w,h)和检测框的置信度分数,其中(x,y)是检测框的左上角顶点的像素坐标,w是检测框的宽度,h是检测框的高度,为了便于后续与PDR轨迹进行匹配,一般采用检测框底部坐标作为视频行人轨迹点,将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹;
S23、对步骤S22得到的每帧视频行人检测结果提取特征,包括运动特征和外观特征等可以衡量不同图像帧检测框相似度的特征信息,利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度,并根据匈牙利算法或者马尔科夫模型将当前视频图像帧行人检测结果关联到前面的初始视频行人轨迹中,得到最新的视频行人轨迹;
S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系,通过步骤S23得到的视频行人轨迹是相对于像素坐标系,而PDR轨迹是相对于平面坐标系,因此,需要进行像素坐标系和平面坐标系的转换才能进行后续两种轨迹的匹配,首先在待定位区域设置一些地图标定点,记录这些地图标定点在平面坐标系中的坐标和像素坐标系中的坐标,通过DLT算法求解出坐标变换的模型参数Γ。假设有n个标定点,其平面位置坐标为(xi,yi),i=1,2,...,n,对应的图像像素坐标为(ui,vi),根据DLT算法,平面坐标和图像像素坐标的转换关系可以构建成如下方程组:
Figure BDA0002982547830000111
将上述方程组表示为矩阵的形式:
CΓ=P
其中Γ是图像像素坐标转换到平面坐标的转换系数,
Figure BDA0002982547830000112
根据最小二乘法可以计算Γ出中的8个参数,计算公式为:
Γ=(CTC)-1CTP
S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配,前面的步骤S1和步骤S2是同时进行的,得到行人的PDR轨迹和视频行人轨迹之后,采用双重轨迹匹配算法对PDR轨迹和视频行人轨迹进行匹配。双重轨迹匹配算法是指分别采用局部快速匹配算法(又称为单步快速匹配算法)和全局优化匹配算法进行PDR轨迹和视频行人轨迹的匹配;
本发明实施例中,步骤S3包括以下分步骤:
S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配,即用户每行走一步,进行一次PDR轨迹和视频行人轨迹匹配;
本发明实施例中,步骤S31包括以下分步骤:
S311、根据用户单步步长、航向和手机系统时间,通过处理服务器进行时间同步找到单步所对应的视频行人轨迹,单步PDR轨迹和视频行人轨迹对应关系示意图如图3所示,其中第step1步的起始位置点a和结束位置点b分别对应视频行人轨迹的位置点A和位置点B,这是通过时间同步关系进行确定的。视频流帧率会比手机传感器采样频率快,因此视频轨迹数据会比PDR轨迹要多;
S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合,行人检测算法得到的行人检测框会存在抖动,且从像素坐标转换到平面坐标系也会引入一定的噪声,单步PDR轨迹对应的视频行人轨迹较短,直接提取视频轨迹特征的效果不太好,为了减少噪声影响,得到更加精确的视频行人轨迹,在视频轨迹段AB之间采用最小二乘法进行数据拟合,得到该段视频轨迹的拟合轨迹,后续对拟合的轨迹进行特征提取;
本发明实施例中,步骤S312具体包括:
基于视频行人轨迹段WAB中的L个数据样本{(x(0),y(0)),(x(1),y(1)),(x(2),y(2)),...,(x(L-1),y(L-1))},其中视频行人轨迹段WAB为起始点为A,结束点为B的单步视频行人轨迹段,采用如下拟合函数hθ(x)对数据进行拟合:
hθ(x)=θ0x+θ1
其中θ1和θ0为拟合参数,采用大量的视频行人轨迹数据对该公式进行训练,回归求解出θ0和θ1的最优参数值,将起始点A和结束点B的横坐标输入到训练后的拟合函数hθ(x)中求出两点对应的纵坐标,得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。
S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征,基于步骤S12计算的用户步长和航向角得到PDR轨迹特征;
本发明实施例中,步骤S313具体包括:
计算视频行人轨迹段WAB的长度LA,B,长度采用欧式距离进行度量,计算公式为:
Figure BDA0002982547830000131
再采用反正切函数计算视频行人轨迹段WAB的运动方向
Figure BDA0002982547830000134
计算公式为:
Figure BDA0002982547830000132
再将步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b,单步的航向角作为PDR轨迹段Rab的运动方向
Figure BDA0002982547830000137
步长和航向角均由手机运动传感器数据经过步长估计和航向角估计算法得到。
S314、基于步骤S313提取的视频行人轨迹特征,采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M;
本发明实施例中,步骤S314具体包括:
计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ,并归一化到[0,1]范围,计算公式为:
Figure BDA0002982547830000133
再计算单步PDR轨迹段Rab的运动方向
Figure BDA0002982547830000135
和视频行人轨迹段WAB的运动方向
Figure BDA0002982547830000136
的余弦相似度φ,并归一化到[0,1]范围,计算公式为:
Figure BDA0002982547830000142
再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,计算公式为:
Figure BDA0002982547830000141
其中ω12=1,τχ为预设阈值,如果两种轨迹长度的比值小于阈值τχ,或者夹角余弦值大于阈值τφ,则第i条PDR轨迹段和第j条视频轨迹段的总相似度为0,即总相似度越大则两条轨迹匹配的概率越大,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M。
S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配,具体内容为:
首先基于步骤S315的相似度矩阵M计算匈牙利算法的代价矩阵C,计算公式为:
C=I-M
即ci,j越小则第i条PDR轨迹段和第j条视频轨迹段匹配的概率越大,匈牙利算法是一种整体最优分配算法,主要用于多对多任务的分配,可适用于PDR轨迹集和视频行人轨迹集的匹配,根据代价矩阵进行匈牙利算法匹配得到结果矩阵R,R中的每一行或者每一列元素只有一个元素为1,其余均为0,若R中的元素ri,j=1,则认为第i条PDR轨迹段和第j条视频轨迹段匹配。
S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配,即用户每行走k步,进行一次PDR轨迹和视频行人轨迹匹配,并通过历史数据提高匹配精度,单步匹配算法计算数据量少,运算速度快可适用于实时在线匹配定位,但是没有充分利用历史数据,影响PDR轨迹和视频行人轨迹的匹配精度。为了提高PDR轨迹和视频行人轨迹的匹配精度,用户行走一段时间则利用历史数据进行一次全局匹配。
本发明实施例中,步骤S32包括以下分步骤:
S321、用户每走预设次数k步获取最近k步行走的步长和航向角数据和视频行人轨迹,通过时间同步方式得到k步时间段内的视频行人轨迹;
S322、将步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点,根据步数、步长和航向角数据得到PDR轨迹,当k=3时,利用视频行人轨迹推导PDR轨迹的示意图如图4所示;
S323、提取步骤S321和步骤S322得到的PDR轨迹和视频行人轨迹的特征,提取的特征包括PDR轨迹采样点和视频行人轨迹采样点的距离、运动方向余弦值和采样点时间差,具体过程为:
距离大小采用欧式距离进行度量,设PDR轨迹采样点b坐标为(xb,yb),视频行人轨迹采样点B坐标为(xB,yB),则采样点距离db,B计算公式为:
Figure BDA0002982547830000151
db,B越小表示b点和B点越相似度越大。采用航向角估计算法得到PDR采样点的运动方向,根据前后连续两采样点的坐标,采用步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向,计算运动方向余弦值φb,B,计算公式为:
Figure BDA0002982547830000152
其中
Figure BDA0002982547830000153
为PDR轨迹采样点b的运动方向,
Figure BDA0002982547830000154
为视频行人轨迹采样点B的运动方向,φ越小表示b点和B点越相似度越大;
计算采样点时间差Δtb,B,计算公式为:
Δtb,B=|tb-tB|
其中tb为PDR轨迹采样点b的采样时间,tB为视频行人轨迹采样点B的采样时间,Δtb,B越小表示b点和B点越相似度越大;
对提取的三种特征进行归一化,再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度
Figure BDA0002982547830000161
计算公式为:
Figure BDA0002982547830000162
其中α+β+γ=1;
S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度,具体过程为:
在多步全局优化匹配中,PDR轨迹和视频行人轨迹均包含多个采样点,但两种轨迹的采样点个数不同,单个采样点之间的相似度计算如步骤S315所示。整段轨迹的相似度采用DTW算法进行计算,设PDR轨迹为U={u1,u2,u3,…,un},其中n为PDR轨迹采样点个数,视频行人轨迹为V={v1,v2,v3,…,vm},其中m为视频行人轨迹采样点个数,构建n×m大小的矩阵网络Θ,其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度,采用动态规划算法得到矩阵网络Θ中的最优路径H={h1,h2,h3,…,hg},其中max(n,m)≤g<(n+m-1),将最优路径对应的累积平均相似度作为PDR轨迹和视频行人轨迹的相似度。
最优路径需要满足三个约束:
1)边界性:即最优路径的起始点必须是Θ(1,1),结束点必须是Θ(n,m);
2)连续性:最优路径中的点在网格矩阵Θ中必须是相邻的;
3)单调性:对于路径中的点hg-1(i,j),其下一个点hg(i',j')需要满足i'-i≥0且j'-j≥0。
最优路径中第k个点的累计相似度计算如下:
Ωk(rk,ck)=Θ(rk,ck)+min{Ωk-1(rk-1,ck),Ωk-1(rk,ck-1),Ωk-1(rk-1,ck-1)}
其中,Ω1(r1,c1)=Θ(0,0),k表示最优路径中的第k个位置,rk和ck分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ωg(rg,cg)累积了前面所有位置点{h1,h2,h3,…,hg-1}的相似度,PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下:
Figure BDA0002982547830000171
S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度,采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配,计算方法与步骤S315相似,只是在求代价矩阵时是根据步骤S324得到的相似度矩阵进行求解的。
在不超过相似度阈值的情况下,将步骤S325中匈牙利分配的视频轨迹作为当前时刻行人匹配的轨迹,以历史数据纠正步骤S315单步匹配结果可能出现的匹配误差,提高系统的匹配精度。
S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。
请参照图5,本发明实施例中,步骤S4包括以下分步骤:
S41、根据步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹Wc
S42、判断PDR轨迹和视频行人轨迹Wc的相似度是否超过阈值
Figure BDA0002982547830000172
若是,执行步骤S43,否则认为该PDR轨迹当前没有与之匹配的视频轨迹,执行步骤S49;
S43、判断当前匹配是否为PDR轨迹的第一次匹配,若是,执行步骤S48,否则执行步骤S44;
S44、判断视频行人轨迹Wc的编号是否与上一次匹配的视频行人轨迹Wp编号相同,若是,执行步骤S48,否则执行步骤S45;
S45、判断PDR轨迹与视频行人轨迹Wp在当前时刻的相似度和距离是否都在阈值内,若是,执行步骤S410,否则执行步骤S46;
S46、判断PDR轨迹和视频行人轨迹Wc的相似度或者距离是否在阈值内,若是,执行步骤S47,否则认为该PDR轨迹当前没有与之匹配的视频轨迹,执行步骤S49;
S47、判断PDR轨迹和视频行人轨迹Wp是否连续匹配了预设次数N次(比如设置为5),若是,认为该PDR轨迹当前没有与之匹配的视频轨迹,执行步骤S49,否则执行步骤S48;
S48、根据当前视频行人轨迹Wc确定用户当前位置,返回步骤S41;
S49、根据上一次匹配时的视频行人轨迹Wp确定用户当前位置,返回步骤S41;
S410、根据PDR轨迹确定用户当前位置,返回步骤S41。
本领域的普通技术人员将会意识到,这里所描述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于监控视频和PDR在线融合定位方法,其特征在于,包括以下步骤:
S1、采集用户手机运动传感器数据,根据PDR算法得到用户的PDR轨迹;
S2、采集实时监控摄像头视频流数据,采用深度学习行人检测框架和特征加权算法获得视频行人轨迹;
S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配;
S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。
2.如权利要求1所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S1包括以下分步骤:
S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据,采用滤波算法对传感器数据进行处理,再利用坐标系转换算法,将手机载体坐标系数据转换到平面坐标系上;
S12、基于步骤S11采集的手机传感器数据,采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角,并根据起始位置点通过PDR算法得到用户的PDR轨迹。
3.如权利要求2所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S2包括以下分步骤:
S21、采集实时监控摄像头视频流数据;
S22、将步骤S21得到的视频流按帧处理成图像,并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果,将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹;
S23、对步骤S22得到的每帧视频行人检测结果提取特征,利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度,并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新,得到新的视频行人轨迹;
S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。
4.如权利要求3所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S3包括以下分步骤:
S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配;
S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。
5.如权利要求4所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S31包括以下分步骤:
S311、根据用户单步步长、航向和手机系统时间,通过处理服务器进行时间同步得到单步对应的视频行人轨迹;
S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合,得到该段视频行人轨迹的拟合轨迹;
S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征,基于步骤S12计算的用户步长和航向角得到PDR轨迹特征;
S314、基于步骤S313提取的视频行人轨迹特征,采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M;
S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配,具体内容为:
首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C,计算公式为:
C=I-M
再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R,若R中的元素ri,j=1,则认为第i条PDR轨迹段和第j条视频轨迹段匹配。
6.如权利要求5所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S312具体包括:
基于视频行人轨迹段WAB中的L个数据样本,其中视频行人轨迹段WAB为起始点为A,结束点为B的单步视频行人轨迹段,采用如下拟合函数hθ(x)对数据进行拟合:
hθ(x)=θ0x+θ1
其中θ1和θ0为拟合参数,将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标,得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。
7.如权利要求6所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S313具体包括:
计算视频行人轨迹段WAB的长度LA,B,计算公式为:
Figure FDA0002982547820000031
再采用反正切函数计算视频行人轨迹段WAB的运动方向
Figure FDA0002982547820000033
计算公式为:
Figure FDA0002982547820000032
再将所述步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b,单步的航向角作为PDR轨迹段Rab的运动方向
Figure FDA0002982547820000034
8.如权利要求7所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S314具体包括:
计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ,并归一化到[0,1]范围,计算公式为:
Figure FDA0002982547820000041
再计算单步PDR轨迹段Rab的运动方向
Figure FDA0002982547820000044
和视频行人轨迹段WAB的运动方向
Figure FDA0002982547820000045
的余弦相似度φ,并归一化到[0,1]范围,计算公式为:
Figure FDA0002982547820000046
再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j,计算公式为:
Figure FDA0002982547820000042
其中ω12=1,τχ为预设阈值,依次计算每条PDR轨迹段和所有视频轨迹段的总相似度,确定相似度矩阵M。
9.如权利要求8所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S32包括以下分步骤:
S321、根据用户多步步长和航向角数据,采用时间同步方式得到多步视频行人轨迹;
S322、将所述步骤S321中得到的视频行人轨迹的起始点作为PDR轨迹的起始位置点,根据步数、步长和航向角数据得到PDR轨迹;
S323、提取PDR轨迹和视频行人轨迹的特征,包括采样点距离、运动方向余弦值和采样点时间差,具体过程为:
设PDR轨迹采样点b坐标为(xb,yb),视频行人轨迹采样点B坐标为(xB,yB),则采样点距离db,B计算公式为:
Figure FDA0002982547820000043
采用航向角估计算法得到PDR采样点的运动方向,根据前后连续两采样点的坐标,采用所述步骤S314中的反正切函数计算视频行人轨迹每个采样点的运动方向,计算运动方向余弦值φb,B,计算公式为:
Figure FDA0002982547820000053
其中
Figure FDA0002982547820000054
为PDR轨迹采样点b的运动方向,
Figure FDA0002982547820000055
为视频行人轨迹采样点B的运动方向;
计算采样点时间差Δtb,B,计算公式为:
Δtb,B=|tb-tB|
其中tb为PDR轨迹采样点b的采样时间,tB为视频行人轨迹采样点B的采样时间;
对提取的三种特征进行归一化,再通过特征加权计算PDR单个采样点与视频行人轨迹单个采样点的相似度
Figure FDA0002982547820000051
计算公式为:
Figure FDA0002982547820000052
其中α+β+γ=1;
S324、采用DTW算法计算PDR轨迹和视频行人轨迹的相似度,具体过程为:
设PDR轨迹为U={u1,u2,u3,…,un},其中n为PDR轨迹采样点个数,视频行人轨迹为V={v1,v2,v3,…,vm},其中m为视频行人轨迹采样点个数,构建n×m大小的矩阵网络Θ,其中网格元素Θ(i,j)为步骤S23得到的PDR轨迹第r个采样点和视频行人轨迹第c个采样点的相似度,采用动态规划算法得到矩阵网络Θ中的最优路径H={h1,h2,h3,…,hg},其中max(n,m)≤g<(n+m-1),最优路径中第k个点的累计相似度计算如下:
Ωk(rk,ck)=Θ(rk,ck)+min{Ωk-1(rk-1,ck),Ωk-1(rk,ck-1),Ωk-1(rk-1,ck-1)}
其中,Ω1(r1,c1)=Θ(0,0),k表示最优路径中的第k个位置,rk和ck分别表示最优路径的第k个位置在矩阵网络的行序号和列序号。最优路径的最后一个位置点的g相似度Ωg(rg,cg)累积了前面所有位置点{h1,h2,h3,…,hg-1}的相似度,PDR轨迹U和视频行人轨迹V的相似度Φ(U,V)计算如下:
Figure FDA0002982547820000061
S325、根据步骤S324得到的PDR轨迹U和视频行人轨迹V的相似度,采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配。
10.如权利要求9所述的一种基于监控视频和PDR在线融合定位方法,其特征在于,所述步骤S4包括以下分步骤:
S41、根据所述步骤S315和S325的PDR轨迹和视频行人轨迹匹配结果确定与每条PDR轨迹匹配的视频行人轨迹Wc
S42、判断PDR轨迹和视频行人轨迹Wc的相似度是否超过阈值
Figure FDA0002982547820000062
若是,执行步骤S43,否则执行步骤S49;
S43、判断当前匹配是否为PDR轨迹的第一次匹配,若是,执行步骤S48,否则执行步骤S44;
S44、判断视频行人轨迹Wc的编号是否与上一次匹配的视频行人轨迹Wp编号相同,若是,执行步骤S48,否则执行步骤S45;
S45、判断PDR轨迹与视频行人轨迹Wp在当前时刻的相似度和距离是否都在阈值内,若是,执行步骤S410,否则执行步骤S46;
S46、判断PDR轨迹和视频行人轨迹Wc的相似度或者距离是否在阈值内,若是,执行步骤S47,否则执行步骤S49;
S47、判断PDR轨迹和视频行人轨迹Wp是否连续匹配了预设次数N次,若是,执行步骤S49,否则执行步骤S48;
S48、根据当前视频行人轨迹Wc确定用户当前位置,返回步骤S41;
S49、根据上一次匹配时的视频行人轨迹Wp确定用户当前位置,返回步骤S41;
S410、根据PDR轨迹确定用户当前位置,返回步骤S41。
CN202110290805.4A 2021-03-18 2021-03-18 一种基于监控视频和pdr在线融合定位方法 Active CN113114850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110290805.4A CN113114850B (zh) 2021-03-18 2021-03-18 一种基于监控视频和pdr在线融合定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110290805.4A CN113114850B (zh) 2021-03-18 2021-03-18 一种基于监控视频和pdr在线融合定位方法

Publications (2)

Publication Number Publication Date
CN113114850A true CN113114850A (zh) 2021-07-13
CN113114850B CN113114850B (zh) 2021-09-21

Family

ID=76711851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110290805.4A Active CN113114850B (zh) 2021-03-18 2021-03-18 一种基于监控视频和pdr在线融合定位方法

Country Status (1)

Country Link
CN (1) CN113114850B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902022A (zh) * 2021-10-14 2022-01-07 安徽江淮汽车集团股份有限公司 自动驾驶场景数据样本相似度获取方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362248A1 (en) * 2012-01-17 2014-12-11 Sharp Kabushiki Kaisha Image-capturing apparatus, captured image processing system, and recording medium
US20150198447A1 (en) * 2014-01-10 2015-07-16 Alcatel-Lucent Usa Inc. Method and apparatus for indoor position tagging
CN106023253A (zh) * 2016-05-18 2016-10-12 杭州智诚惠通科技有限公司 一种城市目标轨迹追踪的方法
KR101794967B1 (ko) * 2016-11-11 2017-11-07 광운대학교 산학협력단 실내 이동체의 복합적 위치 추적 시스템 및 방법
US20170345181A1 (en) * 2016-05-27 2017-11-30 Beijing Kuangshi Technology Co., Ltd. Video monitoring method and video monitoring system
CN108444473A (zh) * 2018-03-20 2018-08-24 南京华苏科技有限公司 一种行人室内轨迹定位方法
WO2019061949A1 (zh) * 2017-09-27 2019-04-04 深圳大学 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN109743680A (zh) * 2019-02-28 2019-05-10 电子科技大学 一种基于pdr结合隐马尔可夫模型的室内在线定位方法
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109977823A (zh) * 2019-03-15 2019-07-05 百度在线网络技术(北京)有限公司 行人识别跟踪方法、装置、计算机设备和存储介质
CN110487273A (zh) * 2019-07-15 2019-11-22 电子科技大学 一种水平仪辅助的室内行人轨迹推算方法
US20200082416A1 (en) * 2017-01-23 2020-03-12 Sony Corporation Information processing apparatus, information processing method, and computer program
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN111784746A (zh) * 2020-08-10 2020-10-16 上海高重信息科技有限公司 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统
CN111862145A (zh) * 2019-04-24 2020-10-30 四川大学 一种基于多尺度行人检测的目标跟踪方法
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362248A1 (en) * 2012-01-17 2014-12-11 Sharp Kabushiki Kaisha Image-capturing apparatus, captured image processing system, and recording medium
US20150198447A1 (en) * 2014-01-10 2015-07-16 Alcatel-Lucent Usa Inc. Method and apparatus for indoor position tagging
CN106023253A (zh) * 2016-05-18 2016-10-12 杭州智诚惠通科技有限公司 一种城市目标轨迹追踪的方法
US20170345181A1 (en) * 2016-05-27 2017-11-30 Beijing Kuangshi Technology Co., Ltd. Video monitoring method and video monitoring system
KR101794967B1 (ko) * 2016-11-11 2017-11-07 광운대학교 산학협력단 실내 이동체의 복합적 위치 추적 시스템 및 방법
US20200082416A1 (en) * 2017-01-23 2020-03-12 Sony Corporation Information processing apparatus, information processing method, and computer program
WO2019061949A1 (zh) * 2017-09-27 2019-04-04 深圳大学 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN108444473A (zh) * 2018-03-20 2018-08-24 南京华苏科技有限公司 一种行人室内轨迹定位方法
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109743680A (zh) * 2019-02-28 2019-05-10 电子科技大学 一种基于pdr结合隐马尔可夫模型的室内在线定位方法
CN109977823A (zh) * 2019-03-15 2019-07-05 百度在线网络技术(北京)有限公司 行人识别跟踪方法、装置、计算机设备和存储介质
CN111862145A (zh) * 2019-04-24 2020-10-30 四川大学 一种基于多尺度行人检测的目标跟踪方法
CN110487273A (zh) * 2019-07-15 2019-11-22 电子科技大学 一种水平仪辅助的室内行人轨迹推算方法
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN112037245A (zh) * 2020-07-22 2020-12-04 杭州海康威视数字技术股份有限公司 一种确定追踪目标相似度的方法和系统
CN111784746A (zh) * 2020-08-10 2020-10-16 上海高重信息科技有限公司 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H.GUO,M.URADZINSKI: "MTIIMU传感器数据在PDR室内定位中的可用性", 《ICINS》 *
刘雯; 李晶; 邓中亮; 付潇; 王翰华; 姚喆: "基于EKF/PF的蓝牙/PDR/地图的融合定位算法研究", 《第九届中国卫星导航学术年会》 *
王政: "基于惯性传感器和WiFi的室内定位算法研究", 《CNKI》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902022A (zh) * 2021-10-14 2022-01-07 安徽江淮汽车集团股份有限公司 自动驾驶场景数据样本相似度获取方法

Also Published As

Publication number Publication date
CN113114850B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
CN112567201B (zh) 距离测量方法以及设备
CN110856112B (zh) 一种群智感知的多源信息融合室内定位方法及系统
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN109934127B (zh) 基于视频图像与无线信号的行人识别与跟踪方法
CN112014857A (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
CN107339992B (zh) 一种基于行为的室内定位和地标语义标识的方法
CN104869536B (zh) 无线室内定位指纹地图的自动更新方法及装置
CN109298389A (zh) 基于多粒子群优化的室内行人组合位姿估计方法
CN104180805A (zh) 基于智能手机的室内行人定位与跟踪方法
CN109141395B (zh) 一种基于视觉回环校准陀螺仪的扫地机定位方法及装置
CN110553648A (zh) 一种用于室内导航的方法和系统
WO2019047637A1 (zh) 定位方法、装置和移动终端、计算机存储介质
CN106412839A (zh) 基于二级分区与指纹梯度匹配的室内定位与跟踪方法
CN104023228A (zh) 一种基于全局运动估计的自适应室内视觉定位方法
CN111595344B (zh) 一种基于地图信息辅助的多姿态下行人行位推算方法
CN112037257B (zh) 一种目标跟踪方法、终端及其计算机可读存储介质
CN108446710A (zh) 室内平面图快速重建方法及重建系统
CN108629295A (zh) 转角地标识别模型训练方法、转角地标识别方法及装置
CN118033622A (zh) 目标跟踪方法、装置、设备及计算机可读存储介质
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
CN113114850B (zh) 一种基于监控视频和pdr在线融合定位方法
CN113627497B (zh) 一种基于时空约束的跨摄像头行人轨迹匹配方法
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant