CN113916221B - 一种融合视觉里程计和bp网络的自适应行人航迹推算方法 - Google Patents
一种融合视觉里程计和bp网络的自适应行人航迹推算方法 Download PDFInfo
- Publication number
- CN113916221B CN113916221B CN202111057042.5A CN202111057042A CN113916221B CN 113916221 B CN113916221 B CN 113916221B CN 202111057042 A CN202111057042 A CN 202111057042A CN 113916221 B CN113916221 B CN 113916221B
- Authority
- CN
- China
- Prior art keywords
- module
- unit
- data
- pedestrian
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000002864 sequence alignment Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种融合视觉里程计和BP网络的自适应行人航迹推算方法，属于机器视觉以及行人导航技术领域。包括：提出了一种融合视觉里程计和BP网络的自适应行人航迹推算方法，该方法将在线学习反向传播神经网络的卡尔曼滤波相结合，以RGB‑D相机的VO测量数据和IMU数据作为样本集训练BP神经网络，在VO失效时充当其替身实现多源数据融合，从而使得VPO提高了不同使用者和使用环境下航迹追踪的鲁棒性和精度。所述方法提高了步伐检测的成功率和补偿估计；在视觉失效时，能较为精确的计算步长；具有成本低、能耗低且实时性好的优势；有效提升了行人导航系统的鲁棒性和对不同装备者的自适应性。
Description
技术领域
本发明涉及一种融合视觉里程计和BP网络的自适应行人航迹推算方法，属于机器视觉以及行人导航技术领域。
背景技术
现有行人导航技术主要分为基于惯性导航传感器追踪定位，基于全球定位系统(GNSS)定位，基于无线射频信号，基于红外探测定位，基于超声波探测定位，基于激光雷达探测定位，基于WiFi组网定位，基于UWB组网定位，以及基于机器视觉追踪定位。其中，基于GNSS定位在室外能够有效提高定位精度，但对于室内场景，该技术路线则无法有效应用。基于WiFi、UWB定位技术，则需要提前布局定位基站，无法满足紧急响应的定位要求；基于红外、激光雷达、射频、超声波的定位技术，功耗较高，且要求环境相对简单，降低在其探测时所产生的干扰。而基于惯性测量单元(Inertial Measurement Unit，IMU)因其连续自主检测，不易受外界环境信息干扰的特性更为广泛的被应用于行人导航领域，但同时因为其误差累计问题，对长时间的轨迹追踪提出了挑战。基于机器视觉的定位技术，符合人类自然观察环境的逻辑，但机器视觉容易受到环境光、烟雾雨雪、图像信息丰富程度、动态场景等影响，造成追踪精度降低。
视觉里程计VO一般通过视觉单元或移动机器人的运动所引起的图像的变化，以逐步估计视觉单元的三维运动。但是，一般要求环境照明充足，有足够的纹理来提取明显的特征点，且连续帧之间有足够共视点。视觉惯性里程计VIO融合视觉单元和IMU数据实现SLAM的方法，充分利用了传感器数据，可以实现更好的效果。但是在实际应用中，同样视觉和惯性在长时间未闭环的情况下会产生累计误差。
在基于IMU的行人导航技术中，目前主要有基于步长估计的行人航迹推算(Pedestrian Dead Reckoning，PDR)和基于零速修正的行人导航方法(ZUPT)。行人航迹推算利用惯性测量单元实时采集加速度和角速度数据，并通过步伐检测修正步间数据，然后通过积分方法推算行人位置的一种方法，优势在于其不需要外部设施的辅助就可以完成自身的定位，这在很多场景下能够得到广泛的应用。缺点在于主要依靠IMU自身对步伐检测，进零速时机做判断，通常会因系统噪声造成误判；同时在步长估计的预测中，同样有仅靠IMU自积分无法补偿噪声所带来的累计误差。所以本发明提出一种融合视觉里程计(VisualOdometry，VO)、反向传播神经网络(Back Propagation Neural Network，BP NN)和行人航迹推算即联合视觉的行人航迹推算里程计(Visual PDR Odometry，VPO)，并基于此进行扩展卡尔曼滤波(Extended Kalman Filter,EKF)的一种融合视觉里程信息的PDR方法。在胸口装备惯性传感器和RGB-D深度相机采集行进数据，输入VO和PDR模块得出各自的运动位姿。将有效的步长、航向角、加速度幅值、角速度平均值及步频作为BP神经网络的训练数据集进行网络训练。当VO失效时，BP预测结果可作为备选观测值，与PDR数据导入扩展卡尔曼滤波器中进行数据融合，从而提高行人导航的轨迹追踪精度，以及导航鲁棒性。
发明内容
本发明的目的在于克服纯IMU行人导航系统自身误差累计问题，提高行人导航的轨迹追踪精度以及导航鲁棒性，提出了一种融合视觉里程计和BP网络的自适应行人航迹推算方法，该方法将在线学习反向传播神经网络的卡尔曼滤波相结合，以RGB-D相机的VO测量数据和IMU数据作为样本集训练BP神经网络，在VO失效时充当其替身实现多源数据融合，从而使得VPO提高了不同使用者和使用环境下航迹追踪的鲁棒性和精度。
为了达到上述目的，本发明采取如下技术方案：
所述融合视觉里程计和BP网络的自适应行人航迹推算方法依托的行人导航系统包括IMU模块、VO模块、PDR模块、BP神经网络、序列对齐单元及扩展卡尔曼滤波器；
其中，IMU模块包含加速度传感器、角速度传感器，VO模块包含视觉单元和视觉里程计单元，PDR模块包括数据处理单元、步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元；视觉单元，包括但不限于RGB-D相机、单目相机以及双目视觉；
所述行人导航系统中各组成部件的连接关系如下：
IMU模块中的加速度传感器、温度、角速度传感器和PDR模块相连；PDR模块中数据处理单元与步伐检测单元、航向角预测单元相连，步伐检测单元与航向角预测单元、步长预测单元相连；PDR模块中航向角预测单元、步长预测单元、轨迹更新单元和序列对齐单元相连；VO模块中视觉单元和视觉里程计单元相连；序列对齐单元和BP神经网络相连；BP神经网络和VO模块相连后与扩展卡尔曼滤波器相连；
所述融合视觉里程计的行人导航系统中各组成部件的功能如下：
IMU模块获得三轴加速度值和方向角感知行人在行进过程中的加速度和方向角，即获取步频相关数据；VO模块负责采集图像信息供前端进行特征匹配处理，视觉单元在不同时刻获取图像，并对其进行图像预处理后，提取其特征；再对两帧图像的特征点进行匹配筛选，利用共视关系计算得出采集设备的位姿转换关系，从而得到了基于观察的步长和航向角；PDR模块利用IMU模块获取的步频相关数据对行走路线进行相对定位，从而达到对行人进行定位跟踪的目的；BP神经网络接收来自PDR模块处理后的加速度、角速度和步频相关数据，同时接收相对应VO模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；序列对齐单元将IMU模块和视觉单元的输出数据进行时刻对齐，并将对齐的数据输入BP神经网络；扩展卡尔曼滤波器耦合来自VO、PDR的步长、航向角数据和BP神经网络的数据，基本思想则是将PDR所得到的步长和航向角作为估测量，将VO模块所得的步长和航向角为观测量，通过协方差矩阵调整两者的权重值从而获得新的输出值；另一方面，通过计算估测值和观测值之间的差值，推算IMU模块自身存在的噪声和偏置，作为系统补偿，以供视觉失效时更精准的估计步长；
所述融合视觉里程计和BP网络的自适应行人航迹推算方法，包括如下步骤：
步骤1：VO模块的视觉单元采集图像，然后计算图像中每个关键帧所对应的行人位姿，得到最小化重投影误差值；同时，PDR模块对IMU模块采集的加速度和角速度数据进行处理，通过步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元计算每一步的更新位置信息；
其中，VO模块采集图像并计算行人位姿，具体包括如下子步骤：
步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值，具体如下：
步骤1.1.1、根据ORB特征点及深度数据找出对应的三维空间点，并根据ORB特征点像素坐标和空间点三维坐标获得位姿信息；
步骤1.1.2、VO模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值；
步骤1.2：VO模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；
且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；
其中，PDR模块对IMU模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：PDR模块检测到行人移动后，进行如下子步骤：
步骤1A:PDR模块中的数据预处理单元处理IMU模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；
步骤1B：PDR模块对步骤1A输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：
其中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频；
步骤2、将PDR模块输出的步伐数据序列和VO模块输出的位姿数据序列对齐；
其中，步伐数据序列由步骤1B输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻估计的步长组成；
步骤3、将经步骤2对齐后的步伐数据序列和位姿数据序列作为BP神经网络的训练集进行训练；其中，训练数据包括PDR模块处理后的加速度、角速度和步频相关数据，和相对应的VO模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；
同时，利用评价函数来判断网络质量，当该网络质量符合要求后，则PDR模块输出的步频、角速度、角速度来预测步长和航向角；
步骤4、比较VO和BP神经网络输出数据的可信度，选择更可靠的数据作为测量值，而PDR模块输出的位置信息、步长、航向角则作为预测值，将两组数据放入EKF中进行数据融合后得到最终的位置信息、步长、航向角估计值；
步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节。
有益效果
本发明提出的一种融合视觉里程计和BP网络的自适应行人航迹推算方法，与现有技术相比，具有如下有益效果：
1.所述行人导航依托的行人导航系统中利用滤波器的输出偏置值作为反馈值提供PDR模块的步伐检测单元做自适应阈值调整，能提高步伐检测的成功率和补偿估计；
2.所述方法利用步长周期估计单元记忆步长和偏置的关系，从而在视觉失效时，能较为精确的计算步长；
3.所述方法采用松耦合融合，状态向量为二维向量，降低了卡尔曼滤波计算量，降低了可穿戴设备算力负担，具有成本低、能耗低且实时性好的优势；
4.所述方法引入BP神经网络，提升行人导航系统的鲁棒性和对不同装备者的自适应性。
附图说明
图1是本发明一种融合视觉里程计和BP网络的自适应行人航迹推算方法依托的行人导航系统的组成及连接示意图；
图2是本发明一种融合视觉里程计和BP网络的自适应行人航迹推算方法的测试集步长误差对比图；
图3是本发明一种融合视觉里程计和BP网络的自适应行人航迹推算方法的测试集航向角误差对比图；
图4本发明一种融合视觉里程计和BP网络的自适应行人航迹推算方法的VPO追踪精度实验轨迹图。
具体实施方式
下面结合附图和实施例对本发明一种融合视觉里程计和BP网络的自适应行人航迹推算方法做进一步说明和详细描述。
实施例1
所述融合视觉里程计和BP网络的自适应行人航迹推算方法依托的行人导航系统包括VO模块、PDR模块、BP神经网络及扩展卡尔曼滤波器；具体连接如图1所示；所述融合视觉里程计和BP网络的自适应行人航迹推算方法，包括如下步骤：
步骤1：VO模块的视觉单元采集图像，VO模块基于RGB-D图像信息计算每个关键帧所对应行人位姿Tk，得到最小化重投影误差值；同时，PDR模块对IMU模块高频采集的加速度ai和角速度gi数据进行处理，通过步伐检测、步长估计、航向角/>估计计算每一步的更新位置信息/>；此步骤对应有益效果1和2中，PDR模块和VO模块相结合在视觉失效时，能较为精确的计算步长和航向；
其中，VO模块采集图像并计算行人位姿，具体包括如下子步骤：
步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值，具体如下：
步骤1.1.1、根据ORB特征点及深度数据找出对应的三维空间点，并根据ORB特征点像素坐标和空间点三维坐标获得位姿信息；
步骤1.1.2、VO模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值；
步骤1.2：VO模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；
且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；
其中，PDR模块对IMU模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：PDR模块检测到行人移动后，进行如下子步骤：
步骤1A:PDR模块中的数据预处理单元处理IMU模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；
步骤1B：PDR模块对步骤1A输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：
其中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频；
步骤2、将PDR模块的步伐数据序列和VO模块输出的位姿数据序列对齐，再计算步间VO模块的行进距离和航向角/>；
其中，步伐数据序列由步骤1B输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻图1估计的步长组成；
步骤3、将VO模块数据质量Qv评估后的步长、航向角以及对应的PDR模块输出步间加速度幅值at、角速度幅值gt、步频ft作为BP神经网络的训练集；其中，训练数据包括PDR模块处理后的加速度、角速度和步频相关数据，和相对应的VO模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新；
利用评价函数来判断网络质量Qbp，当该网络质量符合要求后，则根据PDR模块所输出的ft，at，gt来预测步长和航向角/>神经网络品质用Qbp表示，采用平均绝对误差(MeanAbsolute Error,MAE)来评价拟合程度：
其中，为网络输出预测值，y为真实值。
步骤4、通过比较VO模块和BP神经网络测试输出数据的可信度，选择更可靠的数据作为测量值而PDR模块输出的位置信息则作为预测值/>将两组数据放入扩展卡尔曼滤波器中进行数据融合后得到最终的估计值/>
图2为BP神经网络测试集步长误差对比图，图3为BP神经网络测试集航向角误差对比图，对应有益效果3和有益效果4，引入BP神经网络提升行人导航系统的鲁棒性和对不同装备者的自适应性。
步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节；图4为VPO追踪精度实验轨迹图，从图4可以看出相较其他方法，所提出VPO方法比较接近真实的运行轨迹。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (5)
1.一种融合视觉里程计和BP网络的自适应行人航迹推算方法，其特征在于：依托的行人导航系统包括IMU模块、VO模块、PDR模块、BP神经网络、序列对齐单元及扩展卡尔曼滤波器；
其中，IMU模块包含加速度传感器、角速度传感器，VO模块包含视觉单元和视觉里程计单元，PDR模块包括数据处理单元、步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元；视觉单元，包括但不限于RGB-D相机、单目相机以及双目视觉；
所述行人导航系统中各组成部件的连接关系如下：
IMU模块中的加速度传感器、温度、角速度传感器和PDR模块相连；PDR模块中数据处理单元与步伐检测单元、航向角预测单元相连，步伐检测单元与航向角预测单元、步长预测单元相连；PDR模块中航向角预测单元、步长预测单元、轨迹更新单元和序列对齐单元相连；VO模块中视觉单元和视觉里程计单元相连；序列对齐单元和BP神经网络相连；BP神经网络和VO模块相连后与扩展卡尔曼滤波器相连；
所述自适应行人航迹推算方法，包括如下步骤：
步骤1：VO模块的视觉单元采集图像，然后计算图像中每个关键帧所对应的行人位姿，得到最小化重投影误差值；同时，PDR模块对IMU模块采集的加速度和角速度数据进行处理，通过步伐检测单元、航向角预测单元、步长预测单元以及轨迹更新单元计算每一步的更新位置信息；
步骤1中，VO模块采集图像并计算行人位姿，具体包括如下子步骤：
步骤1.1、视觉单元采集行人所经场所的连续图像，并记录图像中每个关键帧的采集时间点，并提取特征得到位姿信息并进行优化，得到最小化重投影误差值；
步骤1.2：VO模块的视觉里程计单元将最小化重投影误差值进行比较判断，使视觉单元的当前位置更加精确，输出误差值最小的视觉单元位姿作为当前帧图像的输出航向及同时刻估计的步长；
且连续多帧图像的输出航向及同时刻估计的步长组成了位姿数据序列；
步骤1.2中，PDR模块对IMU模块采集的加速度和角速度数据进行处理，计算每一步的更新位置信息，具体为：PDR模块检测到行人移动后，进行如下子步骤：
步骤1A:PDR模块中的数据预处理单元处理IMU模块输出每个采集时间点对应的传感器测量值，进行滤波和平滑处理，输出步长及航向预处理后数据，且连续时刻的行人步长和航向组成了步伐数据序列；
步骤1B：PDR模块对步骤1A输出的步长及航向预处理后数据分别进行积分得到行人行走的动态步长及航向，再将动态步长及航向代入航位推算公式得到该步的更新位置信息，即该时刻的行人步伐和航向：
步骤2、将PDR模块输出的步伐数据序列和VO模块输出的位姿数据序列对齐；
步骤3、将经步骤2对齐后的步伐数据序列和位姿数据序列作为BP神经网络的训练集进行训练；同时，利用评价函数来判断网络质量，当该网络质量符合要求后，则PDR模块输出的步频、角速度、加速度来预测步长和航向角；
步骤4、比较VO和BP神经网络输出数据的可信度，选择更可靠的数据作为测量值，而PDR模块输出的位置信息、步长、航向角则作为预测值，将两组数据放入EKF中进行数据融合后得到最终的位置信息、步长、航向角估计值；
步骤5、步骤4计算得到的最终的步长和航向估计值作为反馈值用于步长估计的校准系数和步伐检测阈值的自适应调节。
2.根据权利要求1所述的一种融合视觉里程计和BP网络的自适应行人航迹推算方法，其特征在于：步骤1.1，具体如下：
步骤1.1.1、根据ORB特征点及深度数据找出对应的三维空间点，并根据ORB特征点像素坐标和空间点三维坐标获得位姿信息；
步骤1.1.2、VO模块的视觉里程计单元通过构建最小二乘问题，优化视觉单元的位姿信息，使其误差最小，并记录该最小误差为最小化重投影误差值。
3.根据权利要求2所述的一种融合视觉里程计和BP网络的自适应行人航迹推算方法，其特征在于：步骤1B中，行人步伐，包括步长、步间加速度幅值、角速度幅值以及步频。
4.根据权利要求3所述的一种融合视觉里程计和BP网络的自适应行人航迹推算方法，其特征在于：步骤2中，步伐数据序列由步骤1B输出的连续时刻的行人步伐和航向组成；位姿数据序列由步骤1.2输出的连续帧图像的航向及同时刻估计的步长组成。
5.根据权利要求4所述的一种融合视觉里程计和BP网络的自适应行人航迹推算方法，其特征在于：步骤3中，训练集包括PDR模块处理后的加速度、角速度和步频相关数据，和相对应的VO模块处理后质量合格的测量数据，利用这些数据作为训练集不断对模型进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057042.5A CN113916221B (zh) | 2021-09-09 | 2021-09-09 | 一种融合视觉里程计和bp网络的自适应行人航迹推算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111057042.5A CN113916221B (zh) | 2021-09-09 | 2021-09-09 | 一种融合视觉里程计和bp网络的自适应行人航迹推算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113916221A CN113916221A (zh) | 2022-01-11 |
| CN113916221B true CN113916221B (zh) | 2024-01-09 |
Family
ID=79234229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111057042.5A Active CN113916221B (zh) | 2021-09-09 | 2021-09-09 | 一种融合视觉里程计和bp网络的自适应行人航迹推算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113916221B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723964A (zh) * | 2022-04-26 | 2022-07-08 | 东南大学 | 一种基于fcn和bp神经网络的视觉特征点提取与匹配优化方法 |
| GB2626733A (en) * | 2023-01-30 | 2024-08-07 | Arwain Systems Ltd | Localisation system |
| CN116047567B (zh) * | 2023-04-03 | 2023-06-23 | 长沙金维信息技术有限公司 | 基于深度学习辅助的卫惯组合定位方法及导航方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576384A (zh) * | 2009-06-18 | 2009-11-11 | 北京航空航天大学 | 一种基于视觉信息校正的室内移动机器人实时导航方法 |
| CN109579853A (zh) * | 2019-01-24 | 2019-04-05 | 燕山大学 | 基于bp神经网络的惯性导航室内定位方法 |
| CN111708042A (zh) * | 2020-05-09 | 2020-09-25 | 汕头大学 | 一种行人轨迹预测和跟随的机器人方法及系统 |
| CN112539747A (zh) * | 2020-11-23 | 2021-03-23 | 华中科技大学 | 一种基于惯性传感器和雷达的行人航位推算方法和系统 |
-
2021
- 2021-09-09 CN CN202111057042.5A patent/CN113916221B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576384A (zh) * | 2009-06-18 | 2009-11-11 | 北京航空航天大学 | 一种基于视觉信息校正的室内移动机器人实时导航方法 |
| CN109579853A (zh) * | 2019-01-24 | 2019-04-05 | 燕山大学 | 基于bp神经网络的惯性导航室内定位方法 |
| CN111708042A (zh) * | 2020-05-09 | 2020-09-25 | 汕头大学 | 一种行人轨迹预测和跟随的机器人方法及系统 |
| CN112539747A (zh) * | 2020-11-23 | 2021-03-23 | 华中科技大学 | 一种基于惯性传感器和雷达的行人航位推算方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113916221A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113916221B (zh) | 一种融合视觉里程计和bp网络的自适应行人航迹推算方法 | |
| CN110125928B (zh) | 一种基于前后帧进行特征匹配的双目惯导slam系统 | |
| Wellhausen et al. | Where should i walk? predicting terrain properties from images via self-supervised learning | |
| Alcantarilla et al. | On combining visual SLAM and dense scene flow to increase the robustness of localization and mapping in dynamic environments | |
| CN111174781B (zh) | 一种基于可穿戴设备联合目标检测的惯导定位方法 | |
| CN111932674B (zh) | 一种线激光视觉惯性系统的优化方法 | |
| CN106168805A (zh) | 基于云计算的机器人自主行走的方法 | |
| CN103926933A (zh) | 一种无人飞行器室内同时定位与环境建模方法 | |
| CN103983263A (zh) | 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法 | |
| CN102538781A (zh) | 基于机器视觉和惯导融合的移动机器人运动姿态估计方法 | |
| CN110553648A (zh) | 一种用于室内导航的方法和系统 | |
| CN112529962A (zh) | 一种基于视觉算法的室内空间关键定位技术方法 | |
| CN109470238A (zh) | 一种定位方法、装置和移动终端 | |
| CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
| CN113639743B (zh) | 一种基于行人步长信息辅助的视觉惯性slam定位方法 | |
| Zheng et al. | Mobile robot integrated navigation algorithm based on template matching VO/IMU/UWB | |
| Wang et al. | Pedestrian motion tracking by using inertial sensors on the smartphone | |
| CN111157008B (zh) | 基于多维环境信息感知的局部自主导航系统及方法 | |
| CN112945233B (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
| CN115049910A (zh) | 一种基于双目视觉里程计的足式机器人建图与导航方法 | |
| CN113358117A (zh) | 一种利用地图的视觉惯性室内定位方法 | |
| CN114638858B (zh) | 一种基于车载双相机系统的运动目标位置与速度估计方法 | |
| CN111696155A (zh) | 一种基于单目视觉的多传感融合机器人定位方法 | |
| CN109961476A (zh) | 基于视觉的地下停车场的定位方法 | |
| CN114690230A (zh) | 一种基于视觉惯性slam的自动驾驶车辆导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |