CN110388926A - 一种基于手机地磁和场景图像的室内定位方法 - Google Patents

Abstract

本发明公开了一种基于手机地磁和场景图像的室内定位方法。本发明包括如下步骤：步骤1、离线采集地图室内地图指纹信息；步骤2、步长推测模型：对用户的步长和行走方向进行推测；步骤3、测量模型：利用卷积神经网络对场景地图提取出深层信息；步骤4、利用适应的粒子滤波算法来追踪位置轨迹；本发明不需要搭建基础设施，只需要现在人人都使用的智能手机。关于地磁和场景图片都可以用智能手机自带的传感器测量。本发明利用了地磁和场景图片各自的优点，为室内定位带来更好的准确性。

Description

一种基于手机地磁和场景图像的室内定位方法

技术领域

本发明属于室内定位领域，具体涉及一种利用地磁和场景图像搭建地图，并用卷积神经网络提取出位置特征，以粒子滤波算法进行动态定位的方法。

背景技术

室内定位技术在现在的提高我们的日常生活便利中起着非常重大的作用，并在许许多多方面都有很大用处，例如指引机器人在建筑中自动的行驶，当人在不熟悉的建筑环境中找到他所要到达的目的地，指引车辆在地下车库中找到位置等。

精准的室内定位在现在仍然是一个重大的挑战。地磁无处不在，是一种不用基础设施，能用于室内定位的重要信号。视觉图像也是一样，两者都可以方便地通过手机传感器来捕捉它们。在室内定位中，地磁和视觉图像往往能构成一个互补的整体，视觉图像能有效识别出室内场景的位置，地磁能够对位置更为精确的定位。

发明内容

本发明主要提出一种与地磁和场景图像来搭建地图，并用卷积神经网络提取出深层位置特征，然后利用适应的粒子滤波算法来进行室内定位的方法。

本发明提出了一种新型的室内定位系统，并且这种方法不需要任何基础设施来进行事先搭建，所需要地磁和场景图像均可由手机传感器给出。这个新型室内定位系统主要可以分为离线采集地图信息和在线室内定位两个阶段。离线采集地图信息阶段主要来采集室内地图信息。在线室内定位主要分成三个方面，主要为步长推测模型，测量模型和适应的粒子滤波追踪模型。步长推测模型用来估算用户时时刻刻的步长和行走方向，记录用户的行走轨迹。测量模型通过卷积神经网络把测量的场景图像转换为深层特征，并计算与记录的地图信息比较相似性，推算最有可能的场景位置。适应的粒子滤波追踪模型按照步骤来跟踪用户，在每个用户步骤之后，通过概率分布来估算用户的潜在位置。具体按照以下步骤实施：

步骤1、离线采集地图室内地图指纹信息，具体步骤如下：

1-1.把室内地图划分为60cm*60cm的网格，并做好位置标签。

1-2.对对应的网格沿主要道路方向采集地磁和场景图像信息。

1-3.收集好对应建筑的做好标签的测量信息并存储。

步骤2、步长推测模型：对用户的步长和行走方向进行推测，具体步骤如下：

2-1.在手机传感器的数据下，算出用户的行走方向和步态；

2-2.在初始条件下设定步长为60cm,并记录下对用户的追踪的行走轨迹。

步骤3、测量模型：利用卷积神经网络对场景地图提取出深层信息，具体步骤如下：

3-1.对场景图像根据场景和位置利用卷积神经网络来进行训练，以softmax层前一层作为场景图片深层位置信息。

3-2.利用在线采集的场景图像通过训练好的卷积神经网络来提取出深层信息，并与事先做好存储的地图信息做相似度对比。

步骤4、利用适应的粒子滤波算法来追踪位置轨迹。

这个适应的粒子滤波算法主要用来追踪用户的行走轨迹，在用户行走一次之后，该算法更新用户的估计位置。另外该算法不是直接估计用户的真实位置的，而是以一个概率分布的形式估计出用户的潜在位置。适应的粒子滤波算法其核心思想还是以一群粒子及其相关权重来表示后验概率分布，并以蒙特卡洛的方法实现递归的贝叶斯滤波器。不过权重更新部分做了一些调整，使之更为适应地磁和场景图像。其具体步骤如下：

4-1.在初始时刻利用地磁和场景图像来进行粒子初始化。

4-2.利用步长推测模型来进行粒子传播；

4-3.对粒子传播后的位置的权值进行更新，并归一化。

4-4.按权值进行排序对传播后的粒子取前40％，根据权值平均估计出跟新后最有可能所在的位置。

4-5.对粒子进行重采样。

4-6不断更新粒子传播的这一过程。

本发明方法具有的优点及有益结果为：

1、本发明不需要搭建基础设施，只需要现在人人都使用的智能手机。关于地磁和场景图片都可以用智能手机自带的传感器测量。

2、本发明提出了一种地磁和场景图像融合的室内定位方法，利用了地磁和场景图片各自的优点，为室内定位带来更好的准确性。地磁的值具有低分辨率对于不同位置会存在非常相似的现象，不具备很好的可分辨性。场景图片对具体的场景识别具有好高的分辨性，但识别场景后，对具体位置的准确识别不足。所以可以场景图像可以识别出场景和大致位置，把地图区域规定在一定范围内，为地磁排除这个范围之外对位置识别的影响。地磁也可以在场景位置大致识别后，提高进一步的位置的准确性。

3、该进行的粒子滤波算法更好地适应在地磁和场景图像的条件对室内定位的准确性。

附图说明

图1是本发明提供的一个整体关于室内定位的一个框架，包括步长推测模型，测量模型，适应的粒子滤波模型以及它们对应所设计的东西。

图2是本发明提供的一个关于测量模型中卷积神经网络提取深层场景位置特征的网络结构。

图3是本发明的关于适应的粒子滤波模型的一系列的流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明提出一种基于地磁和场景图像的室内定位的方法，大致框架如图1所示。具体按照以下步骤实施。

步骤1、离线采集地图室内地图指纹信息

一个指纹信息对应四个测量值和其对应位置，为了收集指纹信息，把室内地图划分为60cm*60cm的网格。每一个网格被设定为一个独一无二的位置并分配一个位置标签。通常室内地图中存在许多道路，对于每个道路把它分为两个方向，即道路的主要两个方向，来分别采集地磁和场景图像信息。其中测量的地磁值是一个四维向量(m_x，m_y，m_z，M)，其中(m_x，m_y，m_z)为手机测量地磁的三个坐标系下的测试值，M代表地磁强度为(m_x，m_y，m_z)的二阶范数。而对于每个对于位置网格，适用手机在主要对应随机收集10次数据，而这些就被当作该网格位置的测量信息与位置标签放入离线指纹中。

步骤2、步长推测模型：对用户的步长和行走方向进行推测；

2-1.利用智能手机加速度，角速度等传感器对行人的行走方向和步态进行检测，并设定用户初始条件下步长为60cm。对于用户的定位坐标为(E_k，N_k)，用户的步长为L_k，方向角为θ_k，下一时刻定位坐标为(E_k+1，N_k+1)，行人定位的计算公式如下：

其中，L_k为k时刻的行走步长，θ_k为k时刻的方向角。

2-2.用户行走轨迹记录，设(P_t-k，P_t-k+1，...，P_t-1)为最新的用户行走轨迹记录，其中P_i表示第i时刻估计的最优用户位置。另外||P_i-P_i-1||表示P_i和P_i-1之间的欧式距离。并且定义如果在t-k+1≤i≤t-1的情况下，||P_i-P_i-1||≤δ，则用户轨迹连续，其中δ表示用户的最大行走步长，这里设置为2m。

2-3.对于下一时刻的用户步长估计和方向估计，如果用户轨迹连续，步长γ的定义为P_i和P_i-1之间的权重分布，公式定义为：

其中，其中关于权重w_i表示最新的步长||P_i-P_i-1||的权重，步长越新权重越高。

步骤3、测量模型：利用卷积神经网络对场景地图提取出深层信息，并定义它们之间发相似度。

3-1.对于测量的场景图像的深层信息，采用卷积神经网络来进行提取，关于卷积网络的结构如图2所示。利用采集好的场景图像数据集并对其做好位置标签，加入一些无关的场景图像数据集进行训练。如图所示，场景图像经过一系列的卷积层和池化层后，其输出要接着通过3个全连接层，最后通过softmax层来进行位置估计。对于softmax层的前一全连接层，把这个向量称之为深层场景图像位置信息，并把这个向量定义为V。

3-2.介绍了如何提出场景图像的深层信息后，接下来定义的是场景图像的深层位置信息提取后的相似度比较。假设A，B分别为某一位置的场景图像，a，b分别为对应的提取出深层位置向量，则A，B之间的相识度定义为：

其中σ来调整两个深层位置向量之间距离的影响。

步骤4、利用改进的粒子滤波算法来追踪位置轨迹，关于适应的粒子滤波框架如图3所示。

4-1.粒子初始化：在0时刻的场景图像和地磁的观测值分别设定为Z_s，0，Z_g，0。所以初始时刻的粒子初始化根据Z_s，0，Z_g，0来推算所有在初始时刻用户可能所在位置的概率分布，用表示。然而是未知不确定所以不能被采样，所以在初始时刻的采样是根据测量值的概率分布即在假设初始时刻位置的条件下对0时刻的观测值的概率分布，用 表示。对于的计算，粒子滤波算法会根据测量值的概率分布来进行粒子初始化。对于初始时刻位置如果拥有一个高的测量概率，那这个位置将分配较高的权重。回到离线采集地磁和场景图像数据的阶段，我们把室内的地图分成一个个网格，每个网格都被认为是一个独一无二的位置，并记录下了地磁和场景地图的信息。为了计算测量概率首先会根据初始时刻的场景图像利用训练好的卷积神经网络推算出所在的场景，在根据这个场景内分配初始粒子并根据所在网格的离线测量值计算与Z_s，0，Z_g，0之间的相似度， 就是平均测量相似度。

4-2.利用步长推测模型来进行粒子传播：在用户每行走一步后，粒子滤波算法会跟新每个粒子的所在位置及对应权重来预测新的用户潜在位置的概率分布，这个就称为粒子传播。粒子传播也可以表示为每个旧的粒子到新的粒子的过程。对于最新的预测位置以进行预测，其中||u||表示步长，表示步长方向。||u||以步骤二公式(2)进行计算。预测好后的每一个粒子位置即会加入一个二维高斯分布，i.e.，在搭建地图我们设置坐标系x为用户行走的主要方向，所以V是一个对角矩阵V＝diag(δ₁ ²δ₂ ²)。δ₁控制在主要行走方向上的位置变化，并设定δ₁为60cm。δ₂控制在主要行走方向的垂直方向上的位置变化，并设定δ₁为30cm。

4-3.粒子权重更新：在粒子传播以后，每个粒子对应的权重需要跟新。权重跟新的公式如下：或其中在概率分布表示在t时刻位置所对应网格的离线地磁测量值和之间的相似度。相似度算法参考步骤3的公式(3)。对于概率分布行人在行走过程中不可能步步采集场景图像，所以在没有采集场景图像时只计算在地磁下的权重更新，如果有采集图像则先计算即表示在t时刻位置所对应网格的离线场景测量值和之间的相似度。并设定：

重新回到粒子初始化阶段，这里设定最后对于近似为也还是表示在t时刻位置所对应网格的离线地磁测量值和之间的相似度。

4-4.位置估计：在所有粒子权重更新后，再对所有粒子的权重进行归一化。按照权重的大小取前40％的粒子进行权重平均。平均后的位置即最优估计位置。

4-5.粒子重采样：在重采样的过程中权重高的粒子有较高的概率被继续采样，重采样的目的也是将错误的粒子排除，即将一些权重接近为0的粒子排除。重采样后每个粒子的权重被设定为1/n。n为粒子的数量。

Claims (6)

1.一种基于手机地磁和场景图像的室内定位方法，其特征在于包括如下步骤：

步骤1、离线采集地图室内地图指纹信息；

步骤2、步长推测模型：对用户的步长和行走方向进行推测；

步骤3、测量模型：利用卷积神经网络对场景地图提取出深层信息；

步骤4、利用适应的粒子滤波算法来追踪位置轨迹。

2.根据权利要求1所述的一种基于手机地磁和场景图像的室内定位方法，其特征在于步骤1具体实现如下：

1-1.把室内地图划分为60cm*60cm的网格，每个网格被设定为一个唯一位置并分配一个位置标签；

1-2.对应的网格沿主要道路方向采集地磁和场景图像信息；

1-3.收集好对应建筑的做好标签的测量信息并存储。

3.根据权利要求2所述的一种基于手机地磁和场景图像的室内定位方法，其特征在于步骤1-2具体如下：

将每个道路分为两个方向，分别采集地磁和场景图像信息；其中测量的地磁值是一个四维向量(m_x，m_y，m_z，M)，其中(m_x，m_y，m_z)为手机测量地磁的三个坐标系下的测试值，M代表地磁强度为(m_x，m_y，m_z)的二阶范数；而对于每个位置网格，手机在主要对应网格位置随机收集10次数据，而这些数据就被当作该网格位置的测量信息与位置标签放入离线指纹中。

4.根据权利要求2或3所述的一种基于手机地磁和场景图像的室内定位方法，其特征在于步骤2具体实现如下：

2-1.利用智能手机传感器对行人的行走方向和步态进行检测，并设定用户初始条件下步长为60cm；对于用户的定位坐标为(E_k，N_k)，用户的步长为L_k，方向角为θ_k，下一时刻定位坐标为(E_k+1，N_k+1)，行人定位的计算公式如下：

其中，L_k为k时刻的行走步长，θ_k为k时刻的方向角；

2-2.用户行走轨迹记录：设(P_t-k，P_t-k+1，...，P_t-1)为最新的用户行走轨迹记录，其中P_i表示第i时刻估计的最优用户位置；另外||P_i-P_i-1||表示P_i和P_i-1之间的欧式距离；并且定义如果在t-k+1≤i≤t-1的情况下，||P_i-P_i-1||≤δ，则用户轨迹连续，其中δ表示用户的最大行走步长，这里设置为2m；

2-3.对于下一时刻的用户步长估计和方向估计：如果用户轨迹连续，步长γ的定义为P_i和P_i-1之间的权重分布，公式定义为：

其中，其中关于权重w_i表示最新的步长||P_i-P_i-1||的权重，步长越新权重越高。

5.根据权利要求4所述的一种基于手机地磁和场景图像的室内定位方法，其特征在于步骤3具体步骤如下：

3-1.对场景图像根据场景和位置利用卷积神经网络来进行训练，以softmax层前一层作为场景图片深层位置信息；

3-2.利用在线采集的场景图像通过训练好的卷积神经网络来提取出深层信息，并与事先做好存储的地图信息做相似度对比；

3-1.对于测量的场景图像的深层位置向量，采用卷积神经网络来进行提取，具体：利用采集好的场景图像数据集并对其标定位置标签，然后加入一些无关的场景图像数据集进行训练；场景图像经过一系列的卷积层和池化层后，其输出要连续通过3个全连接层，最后通过softmax层来进行位置估计；对于softmax层的前一全连接层，把这个向量称之为深层位置向量，并把这个向量定义为V；

3-2.定义场景图像的深层位置向量提取后的相似度比较；假设A、B分别为某一位置的场景图像，a、b分别为对应的提取出的深层位置向量，则A、B之间的相识度定义为：

其中，参数σ用来调整两个深层位置向量之间距离的影响。

6.根据权利要求5所述的一种基于手机地磁和场景图像的室内定位方法，其特征在于步骤4具体实现如下：

4-1.在初始时刻利用地磁和场景图像来进行粒子初始化：

在0时刻的场景图像和地磁的观测值分别设定为Z_s，0，Z_g，0；所以初始时刻的粒子初始化根据Z_s，0，Z_g，0来推算所有在初始时刻用户可能所在位置的概率分布，用表示；在初始时刻的采样是根据测量值的概率分布即在假设初始时刻位置的条件下对0时刻的观测值的概率分布，用 表示；对于的计算：首先会根据初始时刻的场景图像利用训练好的卷积神经网络推算出所在的场景；再根据这个场景内分配初始粒子并根据

所在网格的离线测量值计算与Z_s，0，Z_g，0之间的相似度， 就是平均测量相似度；

4-2.利用步长推测模型来进行粒子传播：在用户每行走一步后，粒子滤波算法会跟新每个粒子的所在位置及对应权重来预测新的用户潜在位置的概率分布，这个就称为粒子传播；粒子传播也可以表示为每个旧的粒子到新的粒子的过程；对于最新的预测位置以进行预测，其中||u||表示步长，表示步长方向；||u||以步骤二公式(2)进行计算；预测好后的每一个粒子位置即会加入一个二维高斯分布，i.e.，在搭建地图我们设置坐标系x为用户行走的主要方向，所以V是一个对角矩阵V＝diag(δ₁ ²，δ₂ ²)；δ₁控制在主要行走方向上的位置变化，并设定δ₁为60cm；δ₂控制在主要行走方向的垂直方向上的位置变化，并设定δ₁为30cm；

4-3.粒子权重更新：在粒子传播以后，每个粒子对应的权重需要跟新；权重跟新的公式如下：

其中在概率分布表示在t时刻位置所对应网格的离线地磁测量值和之间的相似度；对于概率分布行人在行走过程中不可能步步采集场景图像，所以在没有采集场景图像时只计算在地磁下的权重更新，如果有采集图像则先计算即表示在t时刻位置所对应网格的离线场景测量值和之间的相似度；并设定：

重新回到粒子初始化阶段，这里设定最后对于近似为也还是表示在t时刻位置所对应网格的离线地磁测量值和之间的相似度；

4-4.位置估计：在所有粒子权重更新后，再对所有粒子的权重进行归一化；按照权重的大小取前40％的粒子进行权重平均；平均后的位置即最优估计位置；

4-5.粒子重采样：在重采样的过程中权重高的粒子有较高的概率被继续采样，重采样的目的也是将错误的粒子排除，即将一些权重接近为0的粒子排除；重采样后每个粒子的权重被设定为1/n；n为粒子的数量。