CN110553648A - 一种用于室内导航的方法和系统 - Google Patents

Abstract

本申请提供了一种用于室内导航的方法和系统。其中，所述方法主要包括以下步骤：获取导航目标点位置信息；获取视觉图像；将所述视觉图像与数据库中预先采集的图像进行图像匹配；基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；基于目的地信息，在所述室内三维空间中确定目标点位置；以及确定从用户的实时位置到目标点的导航路径。本申请提供的方法能够满足用户在室内快速精确地定位和导航的需求。

Description

一种用于室内导航的方法和系统

技术领域

本申请主要涉及导航领域，尤其涉及一种用于室内导航的方法和系统。

背景技术

随着科学技术的发展，室外导航技术已经非常成熟并被广泛地应用于人们的日常生活当中。在复杂的室内环境中，如大型购物中心或美食城中，人们不易快速地找到目的地。室内导航技术可以帮助人们根据详细的路线提示，顺利找到想要去的商铺或餐厅等目的地。GPS定位技术用于室外导航时非常精准，但在室内使用GPS定位系统时，由于室内地理信息的复杂性和GPS信号衰减，就难以达到较好的定位和导航效果。

现有技术中，视觉惯性里程计(Visual-Inertial Odometry，VIO)是使用结合相机与惯性测量单元(Inertial measurement unit，IMU)的方案来实现即时定位与地图创建(Simultaneous Localization and Mapping，SLAM)的一种方法，其难点在于闭环检测部分，若没有较好的闭环检测，则位置估计误差将持续增大。步行者航位推算(PedestrianDead Reckoning，PDR)是一种基于相对位置的惯性导航方法，对于给定初始点，根据行走的位移推算出下一步的位置，属于局部位置追踪方法。但使用PDR方法追踪用户位置时，容易随着行走路程累积误差。视觉定位方法是根据给定重建的室内空间模型，通过图像识别匹配来定位，但存在纹理模糊与图像相似性判断不够准确导致定位精度低的问题。

发明内容

本申请旨在提供一种快速的、高精度的实时室内定位和导航的方法。

本申请的一方面公开了一种用于室内导航的方法，所述方法包括：获取导航目标点位置信息；获取视觉图像；将所述视觉图像与数据库中预先采集的图像进行图像匹配；基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；基于目的地信息，在所述室内三维空间中确定目标点位置；以及确定从用户的实时位置到目标点的导航路径。

进一步地，所述基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪包括以下步骤：根据所述传感器检测到的数据，基于惯性测量方法计算用户的步行方向和距离；根据所述传感器检测到的数据，基于步行者航位推算方法计算用户的步行方向和距离；对于所述图像匹配结果、基于所述惯性测量方法的计算结果和基于所述步行者航位推算方法的计算结果，进行数据融合，确定相邻的所述视觉图像的位姿，从而确定用户的位置信息。

进一步地，进行所述数据融合后，所述室内导航方法还包括基于融合后的数据，进行闭环检测，并根据检测到的所述闭环，通过闭环校正对结果进行优化，确定所述相邻的视觉图像的位姿。

进一步地，所述闭环检测包括计算当前所述视觉图像与预先采集的图像的相似度，从而判断当前视觉图像是否为已知位置对应的视觉图像，如果所述相似度高于阈值，则构成闭环。

进一步地，所述在室内三维空间中对用户进行位置追踪包括在三维空间坐标系中确定用户的坐标，所述在所述室内三维空间中确定目标点位置包括在所述三维空间坐标系中确定目标点的坐标，并且所述三维空间坐标系的建立是基于视觉全局定位方法。

进一步地，所述室内导航方法还包括基于所述从用户的实时位置到目标点的导航路径，绘制用于指引方向的箭头，并在导航界面中显示所述箭头。

进一步地，所述导航界面为增强现实(AR)实时导航界面，所述箭头与所述从用户的实时位置到目标点的导航路径融合，并显示在所述AR实时导航界面中。

本申请的另一方面提供了一种用于室内导航的系统，所述系统包括图像获取模块、图像匹配模块、位姿确定模块、导航模块，其中所述图像获取模块用于获取视觉图像；所述匹配模块用于将所述视觉图像与数据库中预先采集的图像进行图像匹配；所述位姿确定模块用于基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；所述导航模块用于基于目的地信息，在所述室内三维空间中确定目标点位置，并确定从用户的实时位置到目标点的导航路径。

本申请的另一方面提供了一种计算机可读存储介质，所述存储介质存储计算机指令，所述指令可使系统执行室内导航方法，所述方法包括：获取视觉图像；将所述视觉图像与数据库中预先采集的图像进行图像匹配；基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；基于目的地信息，在所述室内三维空间中确定目标点位置；确定从用户的实时位置到目标点的导航路径。

本申请的另一方面提供了一种室内导航装置，其特征在于，所述装置包括导航程序，所述导航程序的执行过程如下：获取视觉图像；将所述视觉图像与数据库中预先采集的图像进行图像匹配；基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；基于目的地信息，在所述室内三维空间中确定目标点位置；确定从用户的实时位置到目标点的导航路径。

因为采用了以上的技术方案，本申请具备以下的技术效果：通过结合视觉全局定位、VIO及PDR进行位置追踪，可提高定位精度，减小误差；同时，在导航过程中结合AR技术，可以为用户提供更安全便捷的导航服务。

附图说明

图1是根据本申请一些实施例的一种用于室内导航的移动终端的结构示意图；

图2是根据本申请一些实施例的一种用于室内导航的系统的示例性模块图；

图3是根据本申请一些实施例的一种用于室内导航的方法的示例性流程图；以及

图4是根据本申请一些实施例的一种在室内三维空间中对用户进行位置追踪的示例性流程图。

具体实施方式

下面结合附图和具体实施例对本申请作进一步说明，以便本领域的技术人员可以更好地理解本申请并能予以实施，但所举实施例不对本申请构成限定。应当理解的是，对于本领域的技术人员来说，在了解本申请的原理后，可以在不背离该原理的情况下，进行各种形式和细节上的改变以实施本申请。

图1是根据本申请一些实施例的移动终端100的硬件和/软件结构示意图。通过移动终端100，可以实现本申请中用于室内导航的技术方案。如图1所示，移动终端100可以包括通讯平台110、显示器120、图像处理单元130、中央处理单元140、输入/输出150、内存160和存储器190。其中内存160还包括操作系统170和应用180。在一些实施例中，其他任何合适的结构，包括但不限于系统总线或控制器(未示出)也可以包括在移动终端100中。在一些实施例中，所述操作系统170(例如，iOS、Android、Windows Phone等)和一个或多个应用180可以从存储器190加载到内存160中，并由中央处理单元140执行。图像处理单元130可对图像数据进行处理。应用180可以包括浏览器和/或任何其他合适的移动应用程序，用于接收及处理图像信息和/或传感器检测到的数据，并执行与位置追踪和导航等操作相关的程序指令。用户与信息流的交互可以经由显示器120与输入/输出150实现，并可通过通讯平台110提供给云端服务器和/或其他设备。

图2是根据本申请一些实施例的一种用于室内导航的系统200的示意图。系统200可以包括图像获取模块210、图像匹配模块220、位姿确定模块230和导航模块240。图像获取模块210、图像匹配模块220、位姿确定模块230和导航模块240可以彼此连通以进行数据传送。

图像获取模块210可以用于获取图像。在一些实施例中，可以通过移动终端100的视觉传感器(例如，手机摄像头)来采集图像，从而获取用户的视觉图像信息。所述移动终端100可以包括但不限于智能手机、智能手表、平板电脑、智能相机、增强现实设备等中的一种或多种的组合。例如，在用户拿着手机，看着手机屏幕进行导航时，图像获取模块210可以通过手机自带的后置摄像头采集图像，所采集的图像可以作为用户的视觉图像。在一些实施例中，为了获取用户的实时视觉图像信息，图像获取模块210可以每隔一定时间段采集一帧图像，所述时间段可以是0.05秒、0.1秒、0.15秒等。

图像匹配模块220可以对图像进行匹配。例如，所述图像匹配模块220可以将由所述图像获取模块210获取的所述视觉图像与数据库中预先采集的图像进行图像匹配。图像匹配的方法包括基于图像灰度和基于图像特征的方法等。基于图像灰度的方法的计算量一般较大，若计算量较大，移动终端100的响应速度将会降低，可能降低用户体验。因此可以优先采用基于图像特征的方法用于室内导航。以基于图像特征的方法为例，可以先提取所采集的视觉图像的特征，即先通过检测关键点和提取的描述向量构造出局部特征描述子，再进行特征匹配。图像特征匹配算法可以包括尺度不变换特征变换(Scale-InvariantFeature Transform，SIFT)算法、加速稳健特征(Speeded-Up Robust Features，SURF)算法、二进制鲁棒不变可扩展关键点(Binary Robust Invariant Scalable Keypoints，BRISK)算法、ORB(Oriented Fast and Rotated BRIEF)算法或Harris算法等。

位姿确定模块230可以用于对用户进行位置追踪。在一些实施例中，结合图像匹配结果、传感器所检测到的数据及计算结果，可以确定相邻视觉图像的位姿信息，从而确定用户的实时位置。例如，当用户通过移动终端100使用室内导航服务时，移动终端100的摄像头可以每隔一定时间段采集图像，对获取的第一帧图像可以使用特征匹配算法提取特征点并计算描述子，与数据库中预先采集的图像进行特征匹配。然后，位姿确定模块230可以接收图像匹配模块220的匹配结果，并据此确定所述第一帧图像对应的位姿，即为绝对位姿。所述绝对位姿可以表示行人的初始位置。对于获取的第二帧图像，可以通过同样的特征匹配方法，提取特征点并计算描述子，然后与第一帧图像进行特征匹配，并结合图像匹配结果、加速度传感器与方向传感器所测量到的数据，确定视觉传感器在获取第二帧时相对于获取第一帧时的位姿，即为相对位姿。对获取的所有相邻视觉图像，可以采取上述方法不断计算相对位姿，从而不断更新用户的实时位置。

导航模块240可以实现导航功能。在一些实施例中，所述导航模块140可以基于目的地信息，在所述室内三维空间中确定目标点位置，并确定从用户的实时位置到目标点的导航路径。所述导航路径的确定可以基于由视觉全局定位方法所建立的三维空间坐标系。示例性地，视觉全局定位方法的基本步骤如下：在室内每隔一定时间或一定距离采集一帧图像；对图像进行特征提取；对第二帧及以后的所有图像，与前一帧图像进行特征匹配，通过矩阵变换计算除第一帧外的所有图像相对于前一帧的相对位姿；以第一帧图像对应的位姿作为绝对位姿，则可以推算每一帧图像对应的实际位姿；根据匹配成功的特征点及位姿变换关系，进行三维重构，得到三维空间坐标系并生成环境地图。

应当理解的是，上述关于系统200的描述仅为示例性的，而不将本申请限制在所举实施例范围之内。例如，系统200还可以包括其他模块，如存储模块，用于存储来自图像获取模块210、图像匹配模块220、位姿确定模块230和/或导航模块140的数据。

图3是根据本申请一些实施例的一种用于室内导航的方法的示例性流程图。流程300的具体实施方式如下：

在步骤310中，可以获取导航目标点位置信息。在一些实施例中，可以预先基于视觉全局定位方法来重建室内空间模型，确定全局坐标并建立全局的三维空间坐标系和/或环境地图。通过预采集图像，可以通过特征匹配算法计算并提取多张图像的显著图像特征，通过矩阵变换计算出所有特征点在室内三维空间中的坐标，从而建立环境的电子地图，便于进行定位和导航。预采集图像可以通过以下方式完成：预设每隔一定行进距离或时间间隔采集一帧室内图像，覆盖整个室内导航范围。在一些实施例中，可以对预先采集的图像进行特征提取操作，并将采集的图像、提取的特征、采集的位置或时间、图像对应的地理标识(如商铺名、餐厅名、电梯口等)等信息存储在数据库中。在一些实施例中，可以将上述采集的图像通过如图1所示的移动终端100的通讯平台110传送至服务器中进行相关计算和重建过程。用户在移动终端100上使用本申请中的导航服务时，系统200可以通过网络从服务器中获取所述三维空间坐标系和/或环境地图，也可以将所述三维空间坐标系和环境地图作为离线数据存储在存储介质中并按需调用。所述网络可以是有线网络、无线网络或两者的结合。例如，所述网络可以包括电缆网络、光纤网络、远程通信网络、内联网、因特网、内部网络、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共电话交换网(PSTN)、蓝牙，ZigBee网络、近场通信网络(NFC)等中的一种或多种的组合。根据用户输入或选择的目的地信息，所述三维空间坐标系和/或环境地图可以确定目标点的位置坐标。

在步骤320中，可以获取视觉图像。在一些实施例中，可以通过移动终端的视觉传感器来采集所述视觉图像，从而获取用户的视觉图像信息。所述移动终端可以包括智能手机、智能手表、智能相机、平板电脑、增强现实设备等中的一种或多种的组合。在一些实施例中，由于用户的走动，视觉传感器会随之发生抖动，可能导致获取的图像出现模糊和/或重影问题。因此，在获取视觉图像时或获取图像后，可以采用防抖技术降低用户运动对图像质量的影响。例如，在获取图像时，可以通过陀螺传感器来检测抖动，然后计算需要补偿的位移量，通过镜片组根据镜头的抖动方向及位移量加以补偿，以降低抖动对获取图像过程的影响。又例如，可以在成像后根据动态向量来掌握视觉传感器的摆动方向及摆动量，以此为参考，对图像进行校正，以降低抖动对图像质量的影响。

在步骤330中，可以将所述视觉图像与数据库中预先采集的图像进行图像匹配。通过所述图像匹配，可以确定对应于所述视觉图像的位置信息。在一些实施例中，可以采用基于图像特征的方法进行图像匹配。选择的视觉图像特征应具有显著性、基线稳定性和可描述性。可以直接从相邻的连续两帧的图像中提取视觉特征，计算特征点并进行匹配。在一些实施例中，当室内环境复杂且提取的特征数量较多时，可能会导致计算量大与匹配不稳定的问题，故可以先确定将要从中提取特征的感兴趣区域，再从感兴趣区域提取特征，以提高系统的响应速度。例如，所述感兴趣区域可以是每一幅图像中的多个固定区域，例如左上方、左下方、右上方、右下方等位置上一定大小的固定区域。

在步骤340中，可以基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪。视觉图像容易受到光线等因素的影响，可能存在纹理模糊与图像相似性判断不够准确的问题，从而可能导致基于图像匹配结果的定位精度不够高。如果能有效地结合视觉传感器和其他传感器，例如加速度传感器和方向传感器，就能达到性能互补的效果，取得更加准确、可靠的定位结果。因此本申请结合图像匹配结果、基于VIO的方法和基于PDR的方法，通过数据融合来确定相邻两帧视觉图像的位姿，从而确定用户的位置信息。更详细的描述请参见图4及其相关描述。

在步骤350中，可以确定从用户的实时位置到所述导航目标点的导航路径。在一些实施例中，基于用户实时位置坐标和导航目标点坐标，可以通过路网拓扑计算进行路径规划，确定合适的导航路径。另外，可以基于所述导航路径，绘制用于为用户指引方向的箭头，并在导航界面中显示所述箭头。在现实生活中，当用户根据移动终端100上的导航界面前行时，可能有时未注意到路上的障碍物或其他行人、车辆等，引起一些不便甚至安全隐患。因此，在本申请的一些实施例中，还可以结合AR技术，在AR实时导航界面中显示与所述导航路径融合的箭头，使得用户在查看导航路径的同时亦能关注路况，从而以更安全便捷的方式提供室内导航服务。例如，当用户使用移动终端100进行室内导航时，显示器120可以显示视觉传感器所获取的实时图像，所述实时图像能为用户提供实时路况；基于步骤330所确定的用户的实时位置，结合确定的导航路径，可以判断用户当前应当往哪个方向前行，例如左转、右转、直行、调头等；基于确定的方向，可以绘制或调用相应形状的箭头；将所述箭头的图像信息叠加显示在视觉传感器所获取的实时视觉图像中，例如将所述箭头显示在所述实时视觉图像的下方中央位置(该位置一般对应于地面)，为用户指引方向。

图4是根据本申请一些实施例的一种在室内三维空间中对用户进行位置追踪的示例性流程图。本申请中结合图像匹配结果、基于VIO的方法和基于PDR的方法来确定相邻两帧视觉图像的位姿，从而确定用户的位置信息。

在步骤410中，可以根据所述传感器检测到的数据，基于惯性测量方法计算用户的步行方向和距离。IMU是测量物体三轴姿态角(或角速率)以及加速度的装置，能够实时检测移动终端中的视觉传感器在三维空间中的角速度和加速度。基于检测到的加速度和角速度，可以进行积分计算，用于推算相邻两帧图像的位姿；

在步骤420中，可以根据所述传感器检测到的数据，基于步行者航位推算方法计算用户的步行方向和距离。在一些实施例中，可以根据推测的步数、步长及传感器检测到的角度值和加速度进行计算。用户正常行走时加速度会随时间出现规律性变化，加速度传感器可以采集到用户行走时的加速度随时间变化的波形。在一些实施例中，对加速度波形进行滤波、限幅等处理后，加速度波形大致展现出周期性，利用过零检测法即可计算出人的行走步数。可以基于加速度的最大值、最小值、用户的身高体重等变量，利用不同的计算公式来推算步长。根据行走的步数、步长和方向，即可推算用户的相对位置。例如，t时刻用户在三维空间中的位置可以用(x_t,y_t,z_t)来表示，下一时刻用户的位置可以用(x_t+1,y_t+1,z_t+1)来表示，不考虑上下楼的行为，则下一时刻z_t+1等于z_t，而x_t+1与y_t+1可以分别用以下的公式(1)和公式(2)来描述：

x_t+1＝x_t+L_t×sinθ_t 公式(1)

以及

y_t+1＝y_t+L_t×sinθ_t 公式(2)

其中L_t为推算的步长，θ_t为t时刻方向传感器检测到的前进方向。

在步骤430中，可以结合图像匹配结果、基于VIO的积分计算结果和基于PDR的计算结果，进行数据融合，确定相邻的所述视觉图像的位姿，从而确定用户的位置信息。数据融合的方法包括卡尔曼滤波法、粒子滤波法、基于神经网络的方法等。其中卡尔曼滤波法还有一些变型，如扩展卡尔曼滤波法、相关信息滤波法和扩展信息滤波法等。在一些实施例中，可以采用扩展卡尔曼滤波法，假设所有变量为高斯随机变量，使用状态向量表示用户位姿和环境中的特征，采用滤波方法估计最小均方误差。该方法的递推特性使系统处理不需要进行大量的数据存储和计算。

对于PDR，通过加速度估计步长会存在误差，而随着行走距离的增加，PDR的累积误差将越来越大。对于VIO，由于角速度的检测可能受地磁影响，并且存在一些测量噪声，可能也会产生一些累积误差。因此，可以融合图像匹配结果、基于VIO的积分计算结果和基于PDR的计算结果的数据，进行闭环检测。闭环检测是SLAM的关键环节，其主要作用是消除大部分的传感器累积误差，避免引入冗余变量和重复结构。在一些实施例中，闭环检测可以通过图像匹配实现，包括计算当前所述视觉图像与预先采集的图像的相似度，从而判断当前视觉图像是否为数据库中已知位置对应的视觉图像，如果相似度高于阈值，则构成闭环。所述相似度的计算是基于特征点的查找配对，当两幅图像之间特征点的匹配率高于所述阈值，则可以认为两幅图像对应室内环境地图中同一个位置。根据所检测到的闭环，可以对当前帧视觉图像的位姿进行校正，也可进一步对当前帧之前的视觉图像的位姿进行校正，从而减小VIO与PDR的累积误差，提高位置追踪的精度。

本领域的技术人员应当理解，以上实施例仅为说明本申请，而不对本申请构成限制。凡在本申请的精神和原则内所作的任何修改、等同替换和变动等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种室内导航方法，其特征在于，所述方法包括：

获取导航目标点位置信息；

获取视觉图像；

将所述视觉图像与数据库中预先采集的图像进行图像匹配；

基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；以及

确定从用户的实时位置到所述导航目标点的导航路径。

2.如权利要求1所述的室内导航方法，其特征在于，所述基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪包括：

根据所述传感器检测到的数据，基于惯性测量方法计算用户的步行方向和距离；

根据所述传感器检测到的数据，基于步行者航位推算方法计算用户的步行方向和距离；以及

对于所述图像匹配结果、基于所述惯性测量方法的计算结果和基于所述步行者航位推算方法的计算结果，进行数据融合，确定相邻的所述视觉图像的位姿，从而确定用户的位置信息。

3.如权利要求2所述的室内导航方法，其特征在于，进行所述数据融合后，所述方法还包括基于融合后的数据，进行闭环检测，并根据检测到的所述闭环，通过闭环校正对结果进行优化，确定所述相邻的视觉图像的位姿。

4.如权利要求3所述的室内导航方法，其特征在于，所述闭环检测包括计算当前所述视觉图像与预先采集的图像的相似度，从而判断当前视觉图像是否为已知位置对应的视觉图像，如果所述相似度高于阈值，则构成闭环。

5.如权利要求1所述的室内导航方法，其特征在于，所述在室内三维空间中对用户进行位置追踪包括在三维空间坐标系中确定用户的坐标，所述在所述室内三维空间中确定目标点位置包括在所述三维空间坐标系中确定目标点的坐标，并且所述三维空间坐标系的建立是基于视觉全局定位方法。

6.如权利要求1所述的室内导航方法，其特征在于，所述方法还包括基于所述从用户的实时位置到目标点的导航路径，绘制用于指引方向的箭头，并在导航界面中显示所述箭头。

7.如权利要求6所述的室内导航方法，其特征在于，所述导航界面为基于增强现实技术的实时导航界面，所述箭头与所述从用户的实时位置到目标点的导航路径融合，并显示在所述基于增强现实技术的实时导航界面中。

8.一种室内导航系统，其特征在于，所述系统包括图像获取模块、图像匹配模块、位姿确定模块和导航模块：

所述图像获取模块用于获取视觉图像；

所述图像匹配模块用于将所述视觉图像与数据库中预先采集的图像进行图像匹配；

所述位姿确定模块用于基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；以及

所述导航模块用于基于导航目标点位置信息，确定从用户的实时位置到所述导航目标点的导航路径。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，所述指令可使系统执行室内导航方法，所述方法包括：

获取导航目标点位置信息，

获取视觉图像；

将所述视觉图像与数据库中预先采集的图像进行图像匹配；

基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；以及

确定从用户的实时位置到所述导航目标点的导航路径。

10.一种室内导航装置，其特征在于，所述装置包括导航程序，所述导航程序的执行过程如下：

获取导航目标点位置信息；

获取视觉图像；

将所述视觉图像与数据库中预先采集的图像进行图像匹配；

基于图像匹配结果和传感器检测到的数据，在室内三维空间中对用户进行位置追踪；以及

确定从用户的实时位置到所述导航目标点的导航路径。