CN116249872A - 具备多个运动估计器的室内定位 - Google Patents
具备多个运动估计器的室内定位 Download PDFInfo
- Publication number
- CN116249872A CN116249872A CN202180060946.5A CN202180060946A CN116249872A CN 116249872 A CN116249872 A CN 116249872A CN 202180060946 A CN202180060946 A CN 202180060946A CN 116249872 A CN116249872 A CN 116249872A
- Authority
- CN
- China
- Prior art keywords
- motion estimator
- estimate
- motion
- mobile device
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 603
- 238000000034 method Methods 0.000 claims abstract description 164
- 238000006243 chemical reaction Methods 0.000 claims abstract description 141
- 230000007704 transition Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 49
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 238000005259 measurement Methods 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 49
- 239000013598 vector Substances 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3826—Terrain data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
方法和系统采用至少两个运动估计器以形成一移动设备随时间的多个相应的定位的估计。所述随时间的多个定位的估计是基于在所述移动设备处生成的传感器数据。每个运动估计器与一相应的参考帧相关联,并且每个相应的定位的估计包括一个或多个估计分量。从与一第二运动估计器相关联的所述参考帧到与一第一运动估计器相关联的所述参考帧的转换被确定。所述转换至少部分基于由所述第一运动估计器和所述第二运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量被确定。
Description
相关申请的交叉引用
本申请要求2020年7月16日提交的美国临时专利申请第63/052,471号的优先权,其公开内容通过引用全部并入本文。
技术领域
本发明涉及室内定位系统,尤其涉及室内定位系统的运动估计。
背景技术
移动设备为用户提供各种服务。其中一项服务是导航。室外环境中的导航可以利用各种输入和传感器,例如全球定位系统(GPS)相关的输入和传感器。在无法使用GPS或GPS不准确的区域中导航需要新的方法和系统来导航、跟踪和定位移动设备,例如室内、地下、高楼密集的城市街道、天然峡谷和类似环境。
一典型的现代室内定位系统(IPS)依赖于一映射过程(a mapping process),将在一位置中的传感器测量(位置指纹)与一室内地图的坐标相关联。一IPS可以使用各种移动设备的传感器测量,诸如来自收发器信标(譬如无线LAN模块)的接收信号强度指示(RSSI)或磁测量,以进行所述映射过程。这些类型的传感器测量是感测一移动设备经过的诸多位置中的环境的环境测量,并且被创建的地图可以被称为指纹图(fingerprint map)并且被用于通过将新的设备传感器测量匹配到所述指纹图。一些IPS还会在称为同时局部化和地图绘制(SLAM)的过程中定位时更新所述指纹图。在某些IPS中,所述地图不是指纹图,而是一些特征地图,这些特征地图要么直接从传感器测量中导出,要么通过对所述指纹图执行一些额外的操作。一组略有不同的定位系统不使用环境感测来感测一移动设备经过的位置的环境,但取而代之的是使用与所述移动设备的相机看到的位置而非所述移动设备经过的位置相关联的视觉特征(从所述移动设备的相机捕获的诸多图像中提取)。这种定位系统被称为视觉定位系统(VPS)。在VPS中,所述特征地图是根据从一相机的输入中提取的视觉特征构建的。
许多定位系统中的一个关键要素是运动估计。运动估计是从一移动设备的可用传感器了解一移动设备的运动动态的过程。假设有一些初始设备的参考帧(initial devicereference frame),运动估计提供所述移动设备的位置、速度和有时为定向(在所述参考帧中的姿势)的估计。虽然所述估计可以提供某个参考帧中的一移动设备轨迹或路径估计,但是所述估计不提供所述移动设备在地图全球坐标系(即地图参考帧)中的位置和定向。此外,即使所述移动设备的初始位置和定向在所述地图参考帧中是已知的,估计误差随着时间推移的累积最终将导致所述移动设备在所述地图参考帧中被估计的定位的大误差。因此,运动估计本身不足以被视为一定位系统。然而,运动估计在被用作所述定位系统的一部分时可以提供有用的信息。
在实践中,运动估计的实现并非易事。传统上,惯性传感器(譬如加速度计和陀螺仪)被用于理解设备运动。然而,直接的重力抵消和线性加速度积分会在一非常短的时间内产生较大的位置误差,因此仅基于惯性传感器的渲染方法不合适。其他运动估计方法包括用于运动估计的行人航位推算以及使用深度学习(DL)方法的轨迹估计。然而,这些方法仍然存在各种类型的错误,并且一运动估计技术的性能可能会取决于运动类型和传感器质量以及用于形成所述估计的传感器测量而发生显着变化。
发明内容
本发明被导向运动估计方法和系统。
本公开的实施例被导向一种方法,包括:基于在一移动设备处生成的传感器数据,采用至少两个运动估计器以形成所述移动设备随时间的多个相应的定位的估计,所述运动估计器与多个相应的参考帧相关联,并且每个相应的定位的估计包括一个或多个估计分量;和至少部分基于由一第一运动估计器和一第二运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述至少两个运动估计器中的所述第二运动估计器相关联的所述参考帧到与所述至少两个运动估计器中的所述第一运动估计器相关联的所述参考帧的转换。
可选地,所述一个或多个估计分量包括以下的至少一者:一位置估计、一定向估计或一速度估计。
可选地,所述转换包括一个或多个转换操作。
可选地,所述一个或多个转换操作包括以下的至少一者:一旋转转换操作、一平移转换操作或一标度转换操作。
可选地,所述一个或多个转换操作包括一时移操作,所述时移操作将与从所述第二运动估计器形成的所述定位的估计的一估计分量相关联的多个时间实例相对于与从所述第一运动估计器形成的所述定位的估计的一对应估计分量相关联的多个时间实例进行挪移。
可选地,所述第一运动估计器应用一第一运动估计技术,以及所述第二运动估计器应用一第二运动估计技术,所述第二运动估计技术不同于所述第一运动估计技术。
可选地,由所述第一运动估计器形成的所述定位的估计是基于与所述第二运动估计器使用的传感器数据不同的传感器数据。
可选地,所述方法还包括:由与所述移动设备相关联的一室内定位系统接收至少部分从所述第一运动估计器形成的所述定位的估计和从所述第二运动估计器形成的所述定位的估计中的每一者形成的一定位估计;由所述室内定位系统至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
可选地,所述方法还包括:响应于至少一个切换条件从所述第一运动估计器切换到所述第二运动估计器。
可选地,所述切换包括:应用所述转换以将由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第二个运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
可选地,所述至少两个运动估计器至少包括一第三运动估计器,所述方法还包括:至少部分基于由所述第一运动估计器和所述第三运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述第三运动估计器相关联的所述参考帧到与所述第一运动估计器相关联的所述参考帧的第二转换;和响应于至少一个切换条件从所述第二运动估计器切换到所述第三运动估计器,通过应用所述第二转换以将由所述第三运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第三运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
可选地,所述至少一个切换条件基于以下的至少一者:i)所述第一运动估计器的可用性;ii)所述第二运动估计器的可用性;iii)与所述第一运动估计器相关联的估计不确定性;或iv)与所述第二运动估计器相关联的估计不确定性。
可选地,所述方法还包括:组合由所述第一运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一估计分量和由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)与由所述第一运动估计器形成的所述估计分量相关联的一第一组权重和与由所述第二运动估计器形成的所述估计分量相关联的一第二组权重。
可选地,所述第一组权重中的所述多个权重是与由所述第一运动估计器形成的所述估计分量相关联的估计不确定性的一函数,以及所述第二组权重中的所述多个权重是与由所述第二运动估计器形成的所述估计分量相关联的估计不确定性的一函数。
可选地,所述第一组权重中的所述多个权重与由所述第一运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比,以及所述第二组权重中的所述多个权重与由所述第二运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比。
可选地,所述第一组权重中的所述多个权重和所述第二组权重中的所述多个权重彼此之间具有多个固定比率。
本公开的实施例被导向一种系统,包括:与一移动设备相关联的一个或多个传感器,用于从在所述移动设备处被收集的多个传感器测量生成传感器数据;和与所述移动设备相关联的一处理单元,包括至少一个处理器,所述至少一个处理器与一存储器通信。所述处理单元被配置为:从一个或多个传感器接收传感器数据;基于在所述移动设备处被生成的传感器数据采用至少两个运动估计器以形成一移动设备随时间的多个相应的定位的估计,所述多个运动估计器与多个相应的参考帧相关联,并且每个相应的定位的估计包括一个或多个估计分量;和至少部分基于由所述第一运动估计器和所述第二运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述至少两个运动估计器中的一第二运动估计器相关联的所述参考帧到与所述至少两个运动估计器中的一第一运动估计器相关联的所述参考帧的转换。
可选地,所述系统还包括:与所述移动设备相关联的一室内定位系统,被配置为:接收至少部分从所述第一运动估计器形成的所述定位的估计和所述第二运动估计器形成的所述定位的估计中的每一者形成的一定位估计,并且至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
可选地,所述处理单元还被配置为:响应于至少一个切换条件从所述第一运动估计器切换到所述第二运动估计器。
可选地,所述处理单元还被配置为:应用所述转换为使由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第二个运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
可选地,所述至少一个切换条件基于以下的至少一者:i)所述第一运动估计器的可用性;ii)所述第二运动估计器的可用性;iii)与所述第一运动估计器相关联的估计不确定性;或iv)与所述第二运动估计器相关联的估计不确定性。
可选地,所述处理单元还被配置为:组合由所述第一运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一估计分量及由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)与由所述第一运动估计器形成的所述估计分量相关联的一第一组权重和与由所述第二运动估计器形成的所述估计分量相关联的一第二组权重。
可选地,所述第一组权重中的所述多个权重是与由所述第一运动估计器形成的所述估计分量相关联的估计不确定性的一函数,以及所述第二组权重中的所述多个权重是与由所述第二运动估计器形成的所述估计分量相关联的估计不确定性的一函数。
可选地,所述第一组权重中的所述多个权重与由所述第一运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比,以及所述第二组权重中的所述多个权重与由所述第二运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比。
可选地,所述第一组权重中的所述多个权重和所述第二组权重中的所述多个权重彼此之间具有多个固定比率。
可选地,所述处理单元由所述移动设备携带。
可选地,所述处理单元的一个或多个构件远离所述移动设备并且与所述移动设备进行网络通信。
本公开的实施例被导向一种方法,包括:基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计,所述第一定位的估计包括一个或多个估计分量;基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计,所述第二定位的估计包括一个或多个估计分量;确定从所述第一参考帧到所述第二参考帧的转换,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的对应的至少一个估计分量;和响应于至少一个切换条件从所述第二运动估计器切换到所述第一运动估计器,以及所述切换包括应用所述转换为使所述第一定位的估计的一个或多个估计分量中的至少一个估计分量从所述第一参考帧转换到所述第二参考帧。
本公开的实施例被导向一种方法,包括:基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计,所述第一定位的估计包括一个或多个估计分量;基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计,所述第二定位的估计包括一个或多个估计分量;确定从所述第一参考帧到所述第二参考帧的转换,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的对应的至少一个估计分量;和组合所述第一定位的估计的所述一个或多个估计分量中的一估计分量及所述第二定位的估计的所述一个或多个分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)一第一组权重与所述第一定位的估计的所述估计分量相关联,及一第二组权重与所述第二定位的估计的所述估计分量相关联。
本公开的实施例被导向一种方法,包括:基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计;基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计;计算在所述第一运动估计器与所述第二运动估计器之间的对准,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的相应的至少一个估计分量;及响应于至少一个切换条件从所述第一运动估计器或所述第二运动估计器切换到所述第二运动估计器或所述第一运动估计器,并且基于所述被计算的对准,所述切换包括:将所述第二定位的估计的所述一个或多个估计分量中的至少一个估计分量从所述第一参考帧转换到所述第二参考帧,或将所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量从所述第二参考帧转换到所述第一参考帧。
本公开的实施例被导向一种方法,包括:基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计;基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计;计算在所述第一运动估计器与所述第二运动估计器之间的对准,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的对应的至少一个估计分量;组合所述第一定位的估计的所述一个或多个估计分量的一估计分量及所述第二定位的估计的所述一个或多个分量的一相应的估计分量,所述组合基于:i)所述转换;及ii)一第一组权重与所述第一定位的估计的所述估计分量相关联,及一第二组权重与所述第二定位的估计的所述估计分量相关联。
本公开的实施例被导向一种方法,包括:基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计;基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计;计算在所述第一运动估计器与所述第二运动估计器之间的对准,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的相应的至少一个估计分量;及进行以下的一者:响应于至少一个切换条件从所述第一运动估计器或所述第二运动估计器切换到所述第二运动估计器或所述第一运动估计器,及基于所述被计算的对准,所述切换包括:将所述第二定位的估计的所述一个或多个估计分量中的至少一个估计分量从所述第一参考帧转换到所述第二参考帧;或者将所述第一定位的估计的所述一个或多个估计分量的至少一个估计分量从所述第二参考帧转换到所述第一参考帧;或者组合所述第一定位的估计的所述一个或多个估计分量的一估计分量及所述第二定位的估计的所述一个或多个分量的一对应的估计分量,所述组合基于:i)所述转换;及ii)一第一组权重与所述第一定位的估计的所述估计分量相关联,及一第二组权重与所述第二定位的估计的所述估计分量相关联。
本公开的实施例被导向一种方法,包括:从与一移动设备相关联的一个或多个传感器接收传感器数据,所述一个或多个传感器包括至少一个图像传感器;根据一视觉里程计技术基于所述被接收的传感器数据估计所述移动设备随时间的定位;在与所述移动设备相关联的一环境室内定位系统处接收所述被估计的定位;和由所述环境室内定位系统至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
可选地,所述一个或多个传感器还包括至少一个惯性传感器,并且其中所述估计所述移动设备随时间的所述定位是根据一视觉惯性里程计技术,所述视觉惯性里程计技术利用来自所述至少一个图像传感器的图像数据和来自所述至少一个惯性传感器的惯性数据。
本公开的实施例被导向一种系统,包括:与一移动设备相关联的一个或多个传感器,所述一个或多个传感器包括至少一个图像传感器;与所述移动设备相关联的一处理单元,包括与一存储器通信的至少一个处理器,被配置为:从所述一个或多个传感器接收传感器数据,及根据一视觉里程计技术基于所述被接收的传感器数据估计所述移动设备随时间的定位;和与所述移动设备相关联的一环境室内定位系统,被配置为:接收所述被估计的定位;及至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
可选地,所述一个或多个传感器还包括至少一个惯性传感器,并且其中所述处理单元被配置为根据一视觉惯性里程计技术估计所述移动设备随时间的所述定位,所述视觉惯性里程计技术利用来自所述至少一个图像传感器的图像数据和来自所述至少一个惯性传感器的惯性数据。
可选地,所述处理单元还被配置为执行所述环境室内定位系统的功能。
除非本文另有定义,本文使用的所有技术和/或科学术语具有如本发明所属领域的普通技术人员普遍理解的相同含义。尽管与本文描述的那些相似或等同的方法和材料可用于实践或测试本发明的实施例,但示例性方法和/或材料在下文描述。在发生冲突的情况下,将以包括定义的专利说明书为准。此外,材料、方法和实施例仅是说明性的,并不一定是限制性的。
附图说明
在此仅通过示例并参考附图来描述本发明的一些实施例。详细地具体参考附图,强调所示的细节是通过示例的方式并且出于对本发明的实施例的说明性讨论的目的。为此,结合附图的描述使本领域技术人员可以明了本发明的实施例可以如何实施。
现在将注意力转向附图,其中相同的附图标记或字符表示对应的或类似的构件。在附图中:
图1是体现本公开的一示例性系统的一架构图,包括:一移动设备,具有多个传感器;多个运动估计器,基于由所述多个传感器生成的传感器数据估计所述移动设备随时间的定位;转换模块,将多个估计从一个运动估计器的参考帧转换到另一个运动估计器的参考帧;及一IPS模块;
图2A是一第一运动估计器的所述参考帧中的一第一轨迹估计和一第二运动的所述参考帧中的一第二轨迹估计的一示意表示方式;
图2B是图2A的所述第二轨迹估计在空间上对准所述第一运动估计器的所述参考帧的一示意表示方式;
图3是图解说明由根据本公开的实施例的所述系统进行的一过程的一流程图,包括用于将由一第一运动估计器形成的多个估计从所述第一运动估计器的所述参考帧转换到一第二运动估计器的所述参考帧的步骤;
图4是图解说明由根据本公开的实施例的所述系统进行的一过程的一流程图,包括用于进行在多个运动估计器参考帧之间的对准(alignment)以及从一第一运动估计器切换到一第二运动估计器的步骤;
图5是图解说明由根据本公开的实施例的所述系统进行的一过程的一流程图,包括用于进行在多个运动估计器参考帧之间的对准以及组合来自两个运动估计器的多个估计的步骤;和
图6是体现本公开的一示例性系统的一架构图,通常类似于图1的所述系统,但其中所述多个运动估计器中的一者是一视觉里程计运动估计器,其中所述IPS是一环境IPS。
具体实施方式
本发明被导向运动估计方法和系统。
在详细解释本发明的至少一个实施例之前,应当理解本发明的应用不一定限于以下描述和/或在附图和/或示例中说明。本发明能够具有其他实施例或者能够以各种方式实践或执行。
现在参考附图,图1以图解说明根据本公开的某些方面的非限制性实施例的一移动设备10。一般而言,所述移动设备10可以是任何类型的通信设备,包括一个或多个传感器,并且经常在经由一通信网络诸如一蜂窝网络或一无线局域网交换数据时从一个位置移动或可以移动到另一个位置。这样的通信设备的诸多示例包括但不限于诸多智能手机、诸多平板电脑、诸多膝上型电脑等。最典型地,所述移动设备10被实现为一智能手机(诸如来自加利福尼亚州库比蒂诺的苹果公司的一iPhone)或平板电脑(譬如同样来自加利福尼亚州库比蒂诺的苹果公司的一iPad)。
所述移动设备10包括一个或多个传感器12和一处理单元14。所述多个传感器12优选地包括多个传感器,包括但不限于一个或多个惯性传感器13a,诸如一个或多个加速度计13a-1和/或一个或多个陀螺仪13a-2、一个或多个磁力计13b、一个或多个气压计13c、一个或多个无线电传感器13d、一个或多个图像传感器13e(其为所述移动设备10的一相机(即成像设备)的一部分,其可以是一深度相机)、一个或多个近程传感器13f,或可提供可被本公开的实施例使用的传感器数据的任何其他类型的传感器(被指定为其他传感器13X)。
一个或多个传感器12响应于在所述移动设备10处收集和进行的各种传感器测量以生成传感器数据。所述传感器数据被提供给收集所述传感器数据的所述处理单元14。在某些非限制性实施方式中,所述传感器12经由一通信或数据链路诸如一数据总线将所述传感器数据提供给所述处理单元14。所述处理单元14处理所述被收集的传感器数据以除其他事项外进行所述移动设备12的运动估计并且确定和/或估计所述移动设备12的定位。
所述处理单元14包括一中央处理单元(CPU)16、一存储/存储器18、一操作系统(OS)20、一收发单元21、一估计器模块22、一转换模块26和一室内定位系统(IPS)模块28。尽管所述CPU 16和所述存储/存储器18各自被示为出于代表性目的的单个构件,但是所述CPU和所述存储/存储器中的任一个或两者可以是多个构件。
所述CPU 16由一个或多个计算机化处理器组成,包括微处理器,用于进行所述移动设备10的功能,包括执行所述估计器模块22的功能和操作,所述估计器模块22的功能和操作包括经由多个运动估计器24-1、24-2、24-3进行运动估计、执行所述转换模块26的功能和操作,所述转换模块26的功能和操作包括计算在所述多个运动估计器24-1、24-2、24-3的多个参考帧之间的转换,在所述多个运动估计器24-1、24-2、24-3之间切换,及组合由所述运动估计器24-1、24-2、24-3中的一些或全部形成的多个估计,如将在本文中详细描述的,包括在图3至图5的流程图中示出和描述的过程,以及执行所述OS 20的功能和操作。所述处理器例如是常规处理器,诸如在服务器、计算机和其他计算机化设备中被使用的处理器。例如,所述处理器可以包括来自超微(AMD)和英特尔(Intel)的x86处理器、来自Intel的至强和奔腾处理器,以及它们的任何组合。
所述存储/存储器18是任何传统的计算机存储介质。所述存储/存储器18存储机器可执行指令,以供所述CPU 16执行,以进行所呈现的实施例的过程。所述存储/存储器18还包括与所述移动设备10的构件包括所述多个传感器12的操作相关联的多个机器可执行指令,以及用于执行图3至图5的过程的所有指令,将在本文中详细说明。
所述OS 20包括任何传统的计算机操作系统,诸如可从华盛顿雷德蒙德的微软(Microsoft)获得的操作系统,作为视窗OS在市场上销售,诸如10、7、加州库比蒂诺的苹果,作为MAC OS或iOS在市场上销售,基于开源软件的操作系统,诸如Android等。
所述估计器模块22和所述转换模块26中的每一者可以被实现为一硬件模块或一软件模块,并且包括软件、软件例程、代码、代码段等,体现在例如计算机构件、模块等,被安装在所述移动设备10上。所述估计器模块22和所述转换模块26中的每一者在所述CPU 16发出指令时执行动作。
所述收发器单元21可以是任何收发器,包括一调制解调器,用于向一网络30发送数据和从所述网络30接收数据,所述网络30可以由一个或多个网络形成,包括例如蜂窝网络、因特网、广域网络、公共网络和本地网络。所述收发器单元21通常可以被实现为一蜂窝网络收发器,用于与一蜂窝网络通信,例如3G、4G、4G LTE或5G蜂窝网络。这样的蜂窝网络通过一个或多个网络连接或通信集线器通信链接到其他类型的网络,包括因特网,从而允许所述移动设备10与各种类型的网络通信,包括如上所述的那些网络。
所述移动设备10的所有构件直接或间接地彼此(电子和/或数据)连接或链接。
一个或多个服务器在图1中示例性图解说明作为一地图服务器32和一服务器处理系统34(即,远程处理系统)可以通信地耦合到所述网络30,从而允许所述移动设备10通过所述网络30与所述地图服务器32和/或所述服务器处理系统34交换数据和信息(譬如经由所述收发器21)。与所述地图服务器32交换的数据和信息可以包括地图数据,所述地图数据描述一室内环境,包括一指纹图(a fingerprint map)或一特征地图(a feature map)。与所述服务器处理系统34交换的数据和信息可以包括例如由所述传感器12生成的传感器数据、由所述运动估计器24-1、24-2和24-3生成的多个定位估计(position estimates)等。所述地图服务器32和所述服务器处理系统34可以在单个服务器或多个服务器中被实现。每个这样的服务器通常包括一个或多个计算机化处理器、一个或多个存储/存储器(计算机存储介质)和一操作系统。
所述多个传感器12、所述估计器模块22和所述转换模块26一起形成一系统,所述系统可以是一IPS的一部分、与一IPS协作,或包括一IPS。在某些实施例中,所述系统还包括一IPS,示例性地由所述IPS模块28表示。在某些实施例中,诸如图1中的移动装置10的非限制性示例性图例,所述估计器模块22和所述转换模块26是所述处理单元14的元件,使得所述多个传感器12和处理单元14的这些元件一起形成一系统。在这样的实施例中,所述系统的所有构件或大部分构件对于所述移动设备10来说是本地的。在其他实施例中,所述估计器模块22和/或所述转换模块26和/或所述IPS模块28在多个独立的处理系统中被实现。在一组示例实施例中,所述估计器模块22和/或所述转换模块26和/或所述IPS模块28被实现为所述服务器处理系统34的多个构件或元件,使得所述系统包括所述多个传感器12和所述服务器处理器34的某些构件或元件。在根据此类实施例的一组非限制性实施方式中,仅所述多个传感器12对于所述移动设备10而言是本地的,并且所述系统的所有其余构件包括所述估计器模块22、所述转换模块26和所述IPS模块28皆远离所述移动设备10,并且被实现为所述服务器处理系统34或一个或多个这样的服务器处理系统的构件或元件。
所述估计器模块22包括多个运动估计器24-1、24-2和24-3。尽管图1中以图解说明三个运动估计器,本公开的实施例可以使用至少两个运动估计器被实现,并且在某些情况下多于5个运动估计器,并且在其他情况下为10个或更多运动估计器。在某些情况下,使用几十个甚至数百个运动估计器可能是方便的。
应被注意的是,尽管出于代表性目的将所述估计器模块22示为单个模块,但所述估计器模块22可以是多个模块。例如,每个运动估计器可以是它自身的相应的估计器模块的一部分,或者,一组运动估计器可以是一个估计器模块的一部分,且另一组运动估计器可以是另一个估计器模块的一部分,诸如此类。然而,为了说明的清楚起见,将所有运动估计器表示为单个估计器模块22的一部分是方便的。
所述多个运动估计器24-1、24-2和24-3中的每一者都被配置为进行一运动估计技术以基于收集的传感器数据(即,由所述传感器12生成的传感器数据)估计所述移动设备10在某个参考帧中随时间的定位。所述多个运动估计器24-1、24-2和24-3中的每一者具有一关联的参考帧(参考坐标系),其可以与其他运动估计器的所述参考帧相同或不同。结果,由一给定的运动估计器形成(即产生、生成)的所述被估计的定位是在所述运动估计器的所述参考帧中。所述多个运动估计器24-1、24-2和24-3中被给定的一者的所述参考帧可以是所述移动设备10的所述参考帧,或者可以是某个其他参考帧,例如由被用作对所述运动估计器输入的传感器类型确定或提供的一参考帧。此外,所述多个运动估计器中的每一者可以使用不同类型的传感器数据作为输入以生成多个定位估计。例如,所述多个运动估计器中的一者可以使用图像传感器数据和惯性传感器数据,而所述多个运动估计器中的另一者可以仅使用惯性传感器数据。
通常,所述多个运动估计器24-1、24-2和24-3的集合被配置为使用各种运动估计技术来进行运动估计,使得所述多个运动估计器24-1、24-2和24-3的集合使用至少两种估计技术。在某些实施例中,每个运动估计器被配置为使用不同的运动估计技术来进行运动估计,使得没有两个运动估计器使用相同的技术。
一般而言,由每个运动估计器24-1、24-2、24-3形成的所述随时间的定位的估计包括一个或多个估计分量并且优选地包括多个估计分量。所述多个估计分量最典型地包括所述移动设备10随时间的所述位置的一估计、所述移动设备10随时间的所述定向(也被称为“姿态(pose)”)的估计以及所述移动设备10随时间的所述速度的一估计。所述随时间的定位的估计可以包括其他估计分量,包括例如所述移动设备10随时间的加速度的估计,以及所述移动设备10随时间的航向(或方位)的一估计。由于每个运动估计器形成一随时间的定位的估计,因此每个定位的估计的每个估计分量是多个给定时间实例的多个估计的一时间序列代表。
附带说明地,在本公开的上下文中,术语“定位的估计(estimate of position)”将与术语“定位估计(position estimate)”可互换地使用。类似地,术语“位置的估计(estimate of location)”将与术语“位置估计(location estimate)”可互换地使用,术语“定向的估计(estimate of orientation)”将与术语“定向估计(orientation estimate)”可互换地使用,术语“速度的估计(estimate of velocity)”与术语“速度估计(velocityestimate)”可互换地使用。
对于任意一个运动估计器i(其可以表示运动估计器24-1、24-2、24-3中的任意一个),由所述运动估计器形成的所述多个位置估计的时间序列在此被表示为其中n表示一时间索引,所述时间索引可以采用{0...N}或{1...N-1}中的多个整数值,使得为在N个时间实例的一系列位置。所述n的值可以对应于多个时间戳,所述多个时间戳与所述估计从中被形成的(即所述估计所基于的)所述传感器数据的多个时间戳相关联。对于一给定的n的值,在所述n值的位置估计可被认为是在所述n值的瞬时定位的估计。将表示为关于时间n的多个向量的一集合(a collection of vectors)是方便的,例如使用一笛卡尔坐标系(x,y,z)、一球坐标系(r,θ,)或可以表示的一物体在三维空间中的位置的任何其他系统。请记住,所述坐标系位于所述运动估计器的所述参考帧中。为了方便起见,本文档的其余部分将依赖于所述移动设备10的位置表示方式使用笛卡尔坐标系来表示作为多个向量的一集合,然而可以设想其他表示方式。因此,可以方便地表示为其中为通过所述运动估计器沿x轴在索引为n的多个时间所估计的所述移动设备10的所述多个位置估计,为通过所述运动估计器沿y轴在索引为n的多个时间所估计的所述移动设备10的所述多个位置估计,及为通过所述运动估计器沿z轴在索引为n的多个时间所估计的所述移动设备10的所述多个位置估计。
类似地,由所述运动估计器形成的所述多个定向估计的时间序列在此被表示为其中n再次表示一时间索引,所述时间索引可以采用{0...N}或{1...N-1}中的多个整数值。跨时间的的条目可以用多种方式表示。一种方便的表示方式是一矢量表示方式,例如使用传统的偏航、俯仰、滚动。其他表示方式包括旋转矩阵和四元数。本文档后续部分中的某些示例性情况将依赖于使用偏航、俯仰、滚动矢量表示方式来表示所述移动设备10的所述定向。因此,可以被表示为其中为通过所述运动估计器在索引为n的多个时间所估计的所述移动设备10的多个偏航估计,为通过所述运动估计器在索引为n的多个时间所估计的移动设备10的多个俯仰估计,及为通过所述运动估计器在索引为n的多个时间所估计的所述移动设备10的多个滚动估计。然而,本文档后续部分中的其他示例性情况将依赖于所述移动设备10的定向表示方式使用一矩阵表示方式或四元数表示方式。附带说明地,所述多个定向估计的时间序列可以在使用四元数时被表示为及在使用旋转矩阵时被表示为
类似地,由所述运动估计器形成的所述多个速度估计的时间序列在此被表示为由于所述移动设备10可具有沿三个主要笛卡尔轴中的每一者的速度分量,所以速度也最方便地表示为一矢量。因此,可以被表示为其中为通过所述运动估计器沿x轴在索引为n的多个时间所估计的所述移动设备10的多个速度估计,为通过所述运动估计器沿y轴在索引为n的多个时间所估计的所述移动设备10的多个速度估计,及为通过所述运动估计器沿z轴在索引为n的多个时间所估计的所述移动设备10的多个速度估计。
因此,由每个运动估计器输出的所述多个被估计的位置、定向和速度中的每一者是多个向量中的一向量或多个矩阵中的一向量。
由所述多个运动估计器24-1、24-2、24-3中的每一者输出的定位估计是所述移动设备10在所述运动估计器的所述参考帧中的一轨迹估计(也被称为一路径估计)。优选地,由两个不同的运动估计器形成的所述多个定位估计在时间上具有某种对应性,优选地对应于在一公共时间间隔内有些重叠的多个时间实例。换言之,与来自两个运动估计器的多个估计的所述时间索引值(譬如n个值)相关联的所述多个时间戳优选地在一公共时间间隔内并且彼此重叠。
图2A示意性图解说明一轨迹估计T1是所述多个运动估计器24-1、24-2、24-3中的一第一个运动估计器生成的随时间的所述定位估计,以及一轨迹估计T2是所述多个运动估计器24-1、24-2、24-3中的一第二个运动估计器生成的随时间的所述定位估计。所述多个轨迹T1和T2的每个刻度线表示具有一关联的位置估计(通常还有一定向估计和一速度估计)的一时间实例。可以看出,所述多个轨迹T1和T2是不同的。这是由于所述两个运动估计器的所述多个参考帧不同(这通常是使用多个独立运动估计器时的情况)。
因此,为了在多个运动估计器之间切换和/或组合由不同运动估计器24-1、24-2、24-3形成的所述多个定位估计,需要在所述多个运动估计器的所述多个参考帧之间的转换。在某些实施例中,所述转换包括一种或多种转换操作,包括一种或多种旋转转换操作,和/或一种或多种平移转换操作,和/或一种或多种标度转换操作,和/或一种或多种时移转换操作。一种或多种所述转换操作的应用使得能够进行在多个运动估计器之间的空间对准和/或旋转/定向对准和/或时间对准(即,同步)。进行空间对准是为了提供一致的、连续的或接近连续的轨迹和定向估计,并且可以包括通过应用上述诸多转换操作中的一者或多者,包括一旋转转换操作和/或一平移转换操作和/或一标度转换操作,将由一第一运动估计器估计的所述轨迹旋转和/或平移和/或缩放成一第二运动估计器的所述参考帧。进行定向对准是为了提高定向估计的一致性,包括通过进行一旋转转换操作而沿所述被估计的轨迹在各个点处旋转所述移动设备10的所述定向。通常需要诸多估计器之间的同步(时间对准),以确保稳健的轨迹估计,以及稳健的空间对准和/或定向对准。
图2B示意性图解说明一空间对准的轨迹估计TA2,其是在与所述第一运动估计器的所述参考帧进行空间对准后由所述第二运动估计器生成的所述轨迹估计T2。作为参考,所述空间对准的轨迹估计TA2与所述轨迹估计T1一起被示出,所述轨迹估计T1是所述第一运动估计器24-1随时间生成的所述定位估计。
两个运动估计器的所述多个参考帧之间的转换由所述转换模块26至少部分基于由所述多个运动估计器形成的所述多个定位估计的至少一个估计分量(譬如位置估计、定向估计、速度估计)而被确定。
作为一个非限制性示例,为了从所述多个运动估计器24-1、24-2、24-3中的一第一个运动估计器适当地切换到所述多个运动估计器24-1、24-2、24-3中的一第二个运动估计器,由所述第二运动估计器形成的所述位置估计需要被转换成所述第一运动估计器的所述参考帧。类似地,为了从所述第二运动估计器切换到所述多个运动估计器中的另一者,由所述多个运动估计器中的另一者形成的所述位置估计需要被转换成所述第二运动估计器的有效参考帧(其现在可能是所述第一运动估计器的所述参考帧)。类似地,当组合从两个运动估计器形成的所述多个定位估计时,需要从所述多个运动估计器中的一者的所述参考帧到所述多个运动估计器中的其他者的所述参考帧的转换。
此外,通常需要两个运动估计器形成/生成的所述多个定位估计之间的时间同步,因为输出所述多个定位估计所需的处理时间可能因运动估计器而异,和/或输入所述多个传感器测量/传感器数据可能因运动估计器而异,和/或所述处理技术本身可能导致不同的输出时间延迟。例如,所述运动估计器24-1可能需要由所述多个传感器12的一第一子集生成的一组传感器数据(譬如加速度计和/或陀螺仪数据)作为输入,而所述运动估计器24-2可能需要由不同于所述第一子集的所述多个传感器12的一第二子集生成的另一组传感器数据(譬如相机数据)作为输入。由所述多个传感器的不同子集生成的所述传感器数据可能固有地具有不同的时间戳,因此需要两个运动估计器之间的时间同步。
在某些实施例中,时间同步由所述转换模块26使用多个全局可用时间戳来进行,所述多个全局可用时间戳与由所述多个传感器12的各个子集生成的所述传感器数据相关联。若这样的全局时间戳是可用的,并且为了输出所述多个定位估计所需的处理时间在所述多个运动估计器中是固定的(即不因运动估计器而异)并且是已知的,则一简单的延迟线或缓冲器可以被使用以补偿多个传感器测量之间的时间差。
然而,注意这样的已知和固定的处理时间的情况是非典型的,因此可能优选采用其他技术来代替所述延迟/缓冲器,或除了所述延迟/缓冲器以外,以补偿时间差。在一组特别优选但非限制性的实施例中,在一个运动估计器形成的所述定位估计的一估计分量譬如位置估计、定向估计、速度估计(或其一函数)与另一个运动估计器形成的一对应的估计分量(或其一函数)之间的互相关由所述转换模块26相对于时间来计算,以便估计两个运动估计器之间的时间偏移(time offset)。在一特别优选但非限制性的实施方式中,所述转换模块26通过将不同运动估计器输出的多个定向估计变化互相关并采用所述相关的一最大时移论据(a maximum time shift argument)来计算所述时间偏移,以便识别一最佳或接近最佳的时间偏移。例如,在由两个运动估计器产生的多个定向估计之间的所述时间偏移的一估计可以被计算如下:
应被注意的是,贯穿本说明书的其余部分的大部分,在一下标或上标中具有一索引为1的变量和表达式指示与一第一运动估计器的关联,并且在一下标或上标中具有一索引为2的变量和表达式指示与一第二运动估计器的关联。此非旨在限制,而仅旨在更清楚地说明所公开主题的实施例。
所述转换模块26通过获取由两个运动估计器中的每一者输出的所述轨迹(定位估计)的(随时间的)所述多个位置估计并且估计所述两个运动估计器之间的旋转和/或平移和/或标度的差异来进行所述两个运动估计器及它们的多个关联参考帧之间的空间对准。在数学上,这个估计问题是一最小化问题,所述最小化问题通常类似于瓦巴的问题(Wahba’s problem),其从一组加权向量观察中找到在两个坐标系(即多个参考帧)之间的一旋转矩阵,但增加平移(并且可能为标度)。注意的是,本文所使用的平移一般是指几何转换上下文中的平移,即一图形或一空间的每个点在一给定方向上移动相同的距离。
在一个示例性情况下,所述空间对准产生一旋转转换操作和一平移转换操作其中下标指示的所述运动估计器为所述参考帧从其被转换者,上标指示的所述运动估计器为所述参考帧被转换到其者。在这种情况下,所述最小化问题采用以下形式:
其中,R是描述一旋转估计的一3乘3(3-by-3)矩阵,t是描述一平移估计的一向量。
在通过融合惯性传感器数据(譬如来自所述加速度计13a-1或陀螺仪13a-2的数据)从而使重力在两个运动估计器的所述多个参考帧上保持一恒定方向的情况下,所述旋转估计可以减少自由度,使得只需要估计在两个参考帧之间的水平旋转,从而将所述矩阵R降减为一2乘2(2-by-2)矩阵。在所述两个运动估计器使用相同的传感器来形成定向估计的情况下,不需要旋转估计/转换。在所述多个运动估计器输出不同定向估计的情况下,所述旋转转换操作可以从所述定向估计时间序列及被导出,例如使用以下表达式:
注意的是,在所述多个运动估计器不输出多个定向估计的情况下,即,当所述多个定位估计不包括多个定向估计作为多个分量时,不能使用如上所述的互相关来确定所述时间偏移n0。在这种情况下,可以扩展前面讨论的最小化问题来确定所述时间偏移n0。此外,还可以扩展所述最小化问题以确定在两个运动估计器之间的一标度比例估计(a scaleratio estimate)。因此,所述最小化问题一般可以被表示为:
最终,一个或多个转换操作可被用于将一第二运动估计器输出的某些估计分量从所述第二运动估计器的所述参考帧转换到一第一运动估计器的所述参考帧。在某些情况下,所述多个转换操作可被组合用于将所述第二运动估计器形成的多个位置估计从所述第二运动估计器的所述参考帧转换到一第一运动估计器的所述参考帧。以下公式表示这种情况:
从上面的公式可以理解,为了从所述第二运动估计器形成的所述多个位置估计的时间序列生成从所述第二运动估计器形成的所述多个位置估计的时间序列是:1)通过所述被估计的时间偏移n0被挪移(因此在所述两个估计器之间进行一时移/同步操作),2)通过所述被估计的旋转矩阵被旋转(因此进行一旋转转换操作),3)通过所述被估计的标度函数被缩放(因此进行一标度转换操作),以及4)通过所述被估计的平移(从而进行一平移转换操作)。所述时移操作被进行于1)将与从所述第二运动估计器形成的所述多个位置估计相关联的所述多个时间实例相对于与从所述第一运动估计器形成的所述多个位置估计相关联的多个时间实例有效地挪移所述被估计的时间偏移量n0。
在某些实施例中,由所述第二运动估计器形成的所述多个速度估计可以通过微分而从所述第二运动估计器的所述参考帧被转换到一第一运动估计器的所述参考帧(因为速度是位置相对于时间的一阶导数)。因此,类似地,在所述多个运动估计器形成多个加速度估计的情况下,由所述第二运动估计器形成的所述多个加速度估计可以通过微分或二次微分而从所述第二运动估计器的所述参考帧被转换到一第一运动估计器的所述参考帧(因为加速度是速度相对于时间的一阶导数,即位置相对于时间的二阶导数)。因此,
如前所述,需要从一个运动估计器的所述参考帧到另一个运动估计器的所述参考帧的转换,以便在多个运动估计器之间切换和/或组合从不同运动估计器形成的所述多个定位估计。在某些实施例中,所述转换模块26另外进行在多个运动估计器之间的切换,例如响应于一个或多个切换条件(即,一个或多个切换准则),从一第一运动估计器到一第二运动估计器。
附带说明地,首先要被注意的是,每个运动估计器可以提供它的可用性的一指示,以提供所述定位估计的每个分量的输出,和/或与所述多个定位估计的所述多个分量相关联的一质量和/或不确定性(这可以是所述多个定位估计本身的一部分)。还被注意的是,通常质量和不确定性具有一反比关系,由此对于一定位估计的一给定分量,具有低质量的一估计具有一高度不确定性,而具有高质量的一估计具有一低度不确定性。
在多个运动估计器之间切换的条件可以基于各种因素,包括例如由多个运动估计器提供的可用性指示符,和/或与由所述运动估计器形成的所述多个定位估计相关联的质量和/或不确定性,和/或与所述多个运动估计器相关联的功耗(因为由所述多个运动估计器中的一者进行的运动估计技术可能比由所述多个运动估计器中的另一者进行的运动估计技术在计算上更复杂),和/或由一个或多个传感器12提供的指示所述移动设备10使用情况的旁侧信息(side information)。例如,所述近程传感器13f可以提供所述移动设备10在一用户的口袋中(譬如,当所述移动设备10未被所述用户主动使用时)或靠近一用户的耳朵(譬如,当所述移动设备10正被所述用户主动用作一电话时)的一指示,这可以指示从一个运动估计器切换到另一个运动估计器可能是适当的。
在某些非限制性实施方式中,所述转换模块26可以分析从所述多个传感器12接收的传感器数据和/或与所述多个运动估计器和/或所述移动设备10相关联的数据或信息(和/或由运动估计器输出的估计),以便评估多个切换条件。这样的分析可以包括,例如,分析由多个运动估计器提供的可用性指示符,和/或与由所述多个运动估计器提供的所述多个估计相关联的所述质量和/或不确定性,和/或功耗数据,和/或近程传感器数据,和/或可以提供是否触发从一个运动估计器切换到另一个运动估计器的一指示的任何其他度量。在某些非限制性实施方式中,所述分析是针对一定位估计的每个分量进行,并且所述多个分量的分析结果被汇总。在其他非限制性实施方式中,所述分析是针对一定位估计全局进行。
在某些实施例中,所述转换模块26可以用多个运动估计器的一优先加权来编程,使得所述转换模块26可能优选使用一个或一些运动估计器的多个定位估计胜于另一个或其他运动估计器的多个定位估计,前提是所述优选的运动估计器是可用和/或具有与较不优选的运动估计器相比是更高质量和/或更低不确定度。
基于所述转换模块26进行的分析,所述转换模块26可以在一切换点处从一个运动估计器切换到另一个运动估计器,所述切换点是发生所述切换的一时间实例。所述切换可以包括应用本文讨论的所述多个转换操作中的一个或多个,以便执行空间对准和/或定向对准和/或时间对准。
例如,所述转换模块26可以分析由一第一(当前的)运动估计器提供的可用性指示符和由一第二运动估计器提供的可用性指示符,并且在所述当前运动估计器变为无法提供估计输出时从所述当前运动估计器切换到所述第二运动估计器。作为另一个示例,所述转换模块26可以分析与由一第一(当前的)运动估计器提供的多个定位估计相关联的多个不确定性测量,并且当所述多个不确定性测量高于一不确定性阈值时从所述当前运动估计器切换到所述第二运动估计器。注意的是,在这种基于不确定性的切换情况下,所述转换模块26优选地还分析与由所述第二(被切换到的)运动估计器提供的多个定位估计相关联的多个不确定性测量以确保与由所述第二运动估计器提供的所述多个定位估计相关联的所述多个不确定性测量低于所述不确定性阈值。所述切换可以基于分析与由所述多个运动估计器提供的多个定位估计相关联的多个质量测量被类似地进行。
在某些实施例中,所述转换模块26提供一估计输出,所述估计输出包括在所述切换点之前的多个时间实例来自一个运动估计器形成的多个估计,以及在从所述切换点向前的多个时间实例来自另一运动估计器形成的多个估计。例如,继续如上的示例,其中由一第二运动估计器形成的所述多个估计被从所述第二运动估计器的所述参考帧转换到一第一运动估计器的所述参考帧,由所述转换模块26输出的所述位置估计的时间序列可以如下:
其中,ns表示所述切换点(即,所述转换模块26从所述第一运动估计器切换到所述第二运动估计器的所述时间实例。
显然,如上所述的切换可以被扩展到在多于一个切换点处的多个运动估计器之间的切换和/或在各种切换点处的多于两个运动估计器之间的切换。例如,所述转换模块26可以在一第一切换点从一第一运动估计器切换到一第二运动估计器,在一第二切换点从所述第二运动估计器切换回所述第一运动估计器,依此类推。作为另一示例,所述转换模块26可以在一第一切换点从一第一运动估计器切换到一第二运动估计器,在一第二切换点从所述第二运动估计器切换到一第三估计器,在一第三个切换点从所述第三运动估计器切换到一第四运动估计器,依此类推。此外,在任何一个切换点,所述转换模块26可以切换回所述多个先前使用的运动估计器中的一者。
应当更为显见的是,为了进行这种扩展切换,从一个参考帧到另一个参考帧的附加转换对于确保一致的轨迹估计是至关重要的。例如,考虑所述转换模块26在一第一切换点从一第一运动估计器切换到一第二运动估计器,然后在一第二切换点从所述第二运动估计器切换到一第三运动估计器的情况。如上所述,对于所述第一切换点,所述转换模块26确定转换以将由所述第二运动估计器形成的所述多个定位估计从所述第二运动估计器的所述参考帧转换到所述第一运动估计器的所述参考帧。因此,在所述第一切换点,由所述第二运动估计器输出的所述多个定位估计被转换到所述第一运动估计器的所述参考帧。然后,当(在所述第二切换点)从所述第二运动估计器切换到所述第三运动估计器时,所述转换模块26确定转换以将由所述第三运动估计器形成的所述多个定位估计从所述第三运动估计器的所述参考帧转换为所述第二运动估计器的有效参考帧,这在本例中是所述第一运动估计器的所述参考帧。因此,在所述第二切换点,由所述第三运动估计器输出的所述多个定位估计被转换到所述第一运动估计器的所述参考帧。
在某些实施例中,所述转换模块26采用一估计组合方案(an estimate combiningscheme)代替一切换方案来组合来自两个(或更多个)运动估计器的多个定位估计的相似分量以提供每个分量的单个估计输出。在这样的实施例中,所述转换模块26使用指定给所述多个运动估计器的多组权重对来自两个不同估计器的相似分量进行比率组合。在组合所述多个估计之前,所述转换模块26将由所述多个运动估计器中的一者形成的所述估计从那个运动估计器的所述参考帧转换到另一个运动估计器的所述参考帧。因此,所述转换模块26基于所述多个被指定的权重和所述转换进行所述组合。
在某些优选但非限制性的实施方式中,所述多个权重被指定给每个估计分量,并且可以由所述转换模块26指定。
继续如上的示例,其中由一第二运动估计器形成的所述多个估计从所述第二运动估计器的所述参考帧被转换到一第一运动估计器的所述参考帧,由所述转换模块26输出的所述位置估计的时间序列可以如下:
所述多个权重可以用各种方式被指定。在一个非限制性示例中,所述转换模块26采用一固定比率,使得对于所述权重的时间序列的每个时间实例,一组的权重与另一组的权重之间的比率不随时间变化。在另一个有时更优选的非限制性实施方式中,每组权重中的所述多个权重是所述多个估计的一个或多个统计属性或特征的多个函数。例如,对于一给定的运动估计器,与由那个运动估计器形成的所述定位估计的一估计分量相关联的所述多个权重可以被指定作为所述估计的所述不确定性和/或质量的一函数。在另一示例中,对于一给定的运动估计器,与由那个运动估计器形成的所述定位估计的一估计分量相关联的所述多个权重可以被指定作为所述多个估计的协方差、方差或标准偏差的一函数(譬如其中σn代表随时间的标准偏差)。
在某些情况下,在对两个运动估计器生成的轨迹进行一初始空间对准(以将所述多个运动估计器中的一者的所述参考帧转换为另一个运动估计器的所述参考帧)后,由所述两个运动估计器输出的所述多个估计可能继续发散。因此,所述转换模块26可以间歇性地(即不时地)进行空间重新对准,以确保由来自两个运动估计器形成的所述多个定位估计不会过度发散。在某些非限制性实施方式中,所述空间重新对准不是间歇性地进行,而是仅在满足特定估计发散条件时进行(譬如,如果两个估计之间的发散高于一阈值)。在其他非限制性实施方式中,所述转换模块26可以采用正在进行的对准方案,其中在组合来自不同运动估计器的所述多个定位估计的每个实例后(如上所述),不同运动估计器与所述组合输出对准。
对于在多于一个切换点处的多个运动估计器之间的切换和/或在各种切换点处的多于两个运动估计器之间的切换,如上所述的组合可以被扩展到多于两个运动估计器之间的组合。
到目前为止,所述转换模块26所采用的所述切换和组合方案已经在对应于位置估计的时间序列的空间对准的多个转换的上下文中通过示例的方式进行描述(譬如,)。然而,如前所述,定向估计也可能需要定向对准的转换,特别是在所述多个运动估计器输出多个定向估计的情况下(即,当一运动估计器形成的所述定位估计包括一定向估计作为一分量时)。在某些非限制性实施方式中,基于来自第一运动估计器和第二运动估计器的一切换点(ns)处的多个定向估计的转换操作被使用于将由所述第二运动估计器形成的多个定向估计从所述第二运动估计器的所述参考帧转换到所述第一运动估计器的所述参考帧。这种转换操作是一种旋转型的转换操作,在一个代表性的示例中可以表述如下:
类似于上文关于在多个运动估计器之间切换以输出多个位置估计的描述,所述转换模块26可以在来自不同运动估计器的多个定向估计之间切换,以提供一定向估计的时间序列,如下所示:
当所述转换模块26采用一估计组合方案代替一切换方案时,来自不同运动估计器的所述多个定向估计可以使用如上讨论的针对位置估计组合的相同或相似的理由被组合(譬如,使用多个被固定的比率权重、多个权重是协方差、方差或标准差的多个函数,等等)。然而,注意的是,组合多个定向估计的精确方法可能取决于所述定向的表示方式(譬如,偏航/俯仰/滚动矢量表示方式、四元数表示方式、旋转矩阵表示方式,等等)。作为一个非限制性示例,如果由两个运动估计器形成的所述多个定向估计被表示为多个旋转矩阵和(而不是所述和定向的偏航、俯仰、滚动矢量表示方式),使得从所述第二运动估计器的所述参考帧到所述第一运动估计器的所述参考帧的所述定向估计转换也被表示为一矩阵所述转换模块26使用一简单的加权几何平均来进行所述组合以生成矩阵的时间序列Qn,例如如下:
显然,多个定向估计的切换和组合方案可以很容易地扩展到涉及两个以上运动估计器的情况,类似于上面关于多个位置估计的描述。
注意的是,如上的所述转换和切换示例是在从一第一运动估计器切换到一第二运动估计器的上下文中被提供的(通过将所述第二运动估计器的所述参考帧转换到所述第一运动估计器的所述参考帧)。然而,经由将所述第一运动估计器的所述参考帧转换到所述第二运动估计器的所述参考帧的转换从所述第二运动估计器切换到所述第一运动估计器对于本领域的技术人员来说应是显而易见的。此外,在整个本公开中使用“第一(first)”、“第二(second)”、“第三(third)”等来指定诸多运动估计器及其诸多参考帧仅是为了区分所述诸多运动估计器(和诸多参考帧)。
在某些实施例中,由所述转换模块26输出的所述多个定位估计(被组合的或被转换的)可以由一IPS使用,示例性地由所述IPS模块28表示,以增强所述IPS的性能,优选地通过基于所述多个定位估计来修改描述一室内环境的地图数据(并且可以从所述地图服务器32接收)。所述IPS模块28可以用各种方式将所述多个定位估计连同地图数据一起使用,包括例如推进以所述地图数据为特征的一先前已知位置、将与所述地图数据相关联的由所述移动设备10进行的楼层转换或特定运动分类、更新以所述地图数据为特征的一指纹图,以及更多。在某些实施例中,当所述转换模块26输出所述移动设备10的所述参考帧中的所述多个定位估计时,所述IPS模块28可以处理所述多个定位估计,以将所述多个定位估计转换为一全球室内地图参考帧(aglobal indoor map reference frame)。在这样的实施例中,所述IPS模块28可以将从所述转换模块26接收的多个定位估计连同所述地图数据以及从一个或多个传感器12接收的传感器数据一起处理。
现在注意图3,其示出根据所公开主题的实施例详述一过程300的一流程图。所述过程包括用于计算从所述多个运动估计器24-1、24-2、24-3中的一者的所述参考帧到所述多个运动估计器24-1、24-2、24-3中的另一者的转换的一算法。还参考图1的诸多元件。图3的流程及子流程包括由系统进行的计算机化(即,计算机实现的)过程,包括例如所述CPU16(或所述服务器处理系统34)和相关构件,包括所述估计器模块22、所述转换模块26和所述IPS模块28。上述过程和子过程例如是自动进行的,但也可以例如是手动进行的,例如是实时进行的。
所述过程300开始于步骤302,其中一个或多个传感器12在所述移动设备10处收集多个传感器测量并生成传感器数据(响应于所述多个传感器测量)。在步骤304,所述传感器数据被提供给所述估计器模块22,所述估计器模块22采用至少两个运动估计器,每个运动估计器具有一关联参考帧(an associated reference frame)。例如,一第一组传感器数据(譬如由一组传感器12生成)被提供作为输入给具有一关联参考帧的所述多个运动估计器中的一第一个运动估计器(譬如24-1),并且一第二组传感器数据(譬如由另一组传感器12生成)被提供作为输入给具有一关联参考帧的所述多个运动估计器中的一第二个运动估计器(譬如24-2)。为了说明的清楚起见,所述过程300的剩余步骤将在使用两个运动估计器的上下文中进行描述,但是对于本领域技术人员来说应该显而易见的是,所述过程300可以容易地扩展到使用多于两个运动估计器的运动估计。
在步骤306,所述第一运动估计器基于所述第一组传感器数据估计所述移动设备10随时间的定位。在步骤308,所述第二运动估计器基于所述第二组传感器数据估计所述移动设备10随时间的定位。所述第一和第二运动估计器通过采用相应的运动估计技术形成多个相应的定位的估计(即,多个定位估计)。如上所述,由每个运动估计器随时间形成的所述定位估计可以包括一个或多个估计分量,并且通常但不一定包括多个估计分量以位置估计、定向/姿势估计和速度估计为形式,其在所述运动估计器的所述参考帧中形成一轨迹/路径估计。
如所讨论的,为了从一个运动估计器切换到另一个运动估计器,或者为了组合来自两个(或更多)运动估计器的定位估计输出,转换是需要的。为了确定/计算所述转换,所述转换模块26可以首先(从所述估计器模块22)接收由所述多个运动估计器形成的所述多个定位估计(在步骤310)。
在步骤312,所述转换模块26处理所述多个被接收的定位估计以确定从所述多个运动估计器中的一者(譬如,运动估计器24-1或运动估计器24-2)的所述参考帧到所述多个运动估计器中的另一者(譬如,运动估计器24-2或运动估计器24-1)的所述参考帧的所述转换。为了表示方便,在步骤312被确定的转换是从所述多个运动估计器中的一第二个运动估计器(譬如24-2)的所述参考帧到所述多个运动估计器中的一第一个运动估计器(譬如24-1)的所述参考帧的所述转换,但如上所述反过来也是可能的。所述转换至少部分基于由所述多个运动估计器形成的所述多个定位估计的一个或多个估计分量被确定(在步骤306和308处)。如上所述,所述转换包括一个或多个转换操作,包括一个或多个旋转转换操作,和/或一个或多个平移转换操作,和/或一个或多个标度转换操作,和/或一个或多个时移转换操作。上述转换操作的应用使得所述转换模块26能够进行所述多个运动估计器之间的空间对准和/或旋转/定向对准和/或时间对准(即,同步)。
在某些实施例中,所述过程300从步骤312移到步骤314a,其中所述转换模块26从所述第一运动估计器(譬如24-1)切换到所述第二运动估计器(譬如24-2)以响应满足一个或多个切换条件以形成单一定位估计。所述切换包括由所述转换模块26应用在步骤312确定的转换以将所述运动估计器24-2形成的所述定位估计的所述多个估计分量从所述运动估计器24-2的所述参考帧转换到所述运动估计器24-1的所述参考帧。注意的是,如果需要从所述第二运动估计器切换到所述第一估计器,则在步骤312确定的转换应该是将所述第一运动估计器(譬如24-1)的所述参考帧转换到所述第二运动估计器的所述参考帧的转换(譬如24-2)。
在其他实施例中,所述过程300从步骤312移到步骤314b,其中所述转换模块26组合来自两个或更多个运动估计器的多个定位估计的所述多个相应的估计分量以形成单个定位估计。为了合并多个定位估计的多个对应分量,通过应用在步骤312确定的转换,所述转换模块26首先将所述多个估计分量对准到一公共参考帧中,所述公共参考帧可以是任何运动估计器的所述参考帧,例如,所述运动估计器24-1的所述参考帧。例如,假设所述公共参考帧是所述运动估计器24-1的所述参考帧,所述转换模块26应用在步骤312被确定的所述转换来将由所述运动估计器24-2形成的所述定位估计的多个估计分量从所述运动估计器24-2的所述参考帧转换到所述运动估计器24-1的所述参考帧。如上所述,使用一加权组合来组合所述多个相应的估计分量。
在步骤316,所述IPS模块28从所述转换模块26接收所述定位估计,其是一被组合的定位估计(如在步骤314b中)或在两个或更多运动估计器之间被切换的一定位估计(如在步骤314a中)。在步骤318,所述IPS模块28处理在步骤316被接收的所述定位估计,优选地连同与所述移动设备10被部署/位于的所述室内环境相关联的地图数据,以修改所述地图数据,例如更新一指纹图或一特征地图。如所讨论的,例如可以通过所述网络30从所述地图服务器32接收所述地图数据,并且至少部分基于所述被接收的定位估计来修改所述地图数据。步骤318的处理可以进一步包括处理所述地图数据和所述定位估计连同从一个或多个传感器12被接收的传感器数据,以更新一指纹图或一特征地图。
在某些优选实施例中,并发或同时(concurrently or simultaneously)进行步骤306和308,使得所述估计器模块22采用两个或更多个运动估计器来形成一公共时间间隔(时间段)内的多个定位估计。在所述转换模块26进一步被配置为采用一切换方案的实施例中,可能优选的是在进行所述切换的同时或紧接在进行所述切换之后终止由被切换的所述运动估计器进行的估计。在一个非限制性实施方式中,所述估计器模块22接收一终止命令(譬如由所述转换模块26提供)以终止由被切换自其的所述运动估计器进行的估计。所述终止命令可以在所述切换动作时并发或同时被提供(即,在切换点(nS)同时或并发提供),或者紧接在进行所述切换动作之后立即被提供。例如,如果在步骤314a所述转换模块26在时间从所述第一运动估计器(譬如24-1)切换到所述第二运动估计器(譬如24-2),则所述估计器模块22优选地在(或紧接在ns之后,例如在ns之后的几个时钟周期)接收到所述终止命令并且终止所述第一运动估计器的定位估计。采用运动估计器终止可以提供某些优点,例如减少由所述CPU 16(或服务器处理系统34)进行的诸多计算的数量,从而减少功耗。
运动估计器终止可以被扩展以包括由不是在所述切换点被切换的所述运动估计器的任何运动估计器来终止定位估计。
图4示出详细说明根据所公开主题的实施例的一过程400的一流程图,其通常类似于图3的过程,但包括一种算法,用于计算所述多个运动估计器24-1、24-2、24-3中的一者与所述多个运动估计器24-1、24-2、24-3中的另一个之间的对准,然后根据一个或多个切换条件在所述多个运动估计器之间切换。类似于图3的过程,为了清楚说明,图4将在使用两个运动估计器的上下文中被描述,但是可以容易地扩展到使用多于两个运动估计器的情况。图4的流程及子流程图包括由系统进行的计算机化(即,计算机实现的)过程,包括例如所述CPU16(或服务器处理系统34)和相关构件,包括所述估计器模块22、所述转换模块26和所述IPS模块28。上述过程和子过程例如是自动进行的,但也可以例如是手动进行的,例如是实时进行的。
步骤402至410与步骤302至310相同,因此步骤402至410的细节不再赘述。在步骤412,所述转换模块26计算一第一运动估计器(譬如24-1)与一第二运动估计器(譬如24-2)之间的对准。所述对准通过确定转换(类似于图3的步骤312)被计算,包括一个或多个转换操作,将与所述第一运动估计器24-1相关联的所述参考帧转换为所述第二运动估计器24-2相关联的所述参考帧,反之亦然。如所讨论的,被计算出的对准可以包括一空间对准和/或一定向对准和/或一时间对准(同步)。
从步骤412,所述过程400移到步骤414,其与步骤314a大体上相似并且应该通过类推被理解。从步骤414,所述流程400移到步骤416至418,其与步骤316至318相同,因此步骤416至418的细节在此不再赘述。
类似于参考图3如上所述,所述过程400还可以采用一运动估计器终止方案,由此在步骤414之后,由被切换的所述运动估计器进行的定位估计可以在所述切换点处或紧接在所述切换点之后终止。当采用多于两个运动估计器时,所述运动估计器终止可包括由不是在所述切换点被切换的运动估计器的任何运动估计器来终止定位估计。
图5示出详细说明根据所公开主题的实施例的一过程500的一流程图,其通常类似于图3和图4的过程,并且包括一种算法,用于计算在所述多个运动估计器24-1、24-2、24-3中的一者与所述多个运动估计器24-1、24-2、24-3中的另一个之间的对准,然后组合由所述多个运动估计器形成的多个估计。类似于图3及图4的过程,为了清楚说明,图5将在使用两个运动估计器的上下文中被描述,但是可以容易地扩展到使用多于两个运动估计器的情况。图5的流程及子流程包括由系统进行的计算机化(即,计算机实现的)过程,包括例如所述CPU 16(或服务器处理系统34)和相关构件,包括所述估计器模块22、所述转换模块26和所述IPS模块28。上述过程和子过程例如是自动进行的,但也可以例如是手动进行的,例如是实时进行的。
步骤502至510与步骤302至310和步骤402至410相同,因此步骤502至510的细节不再赘述。在步骤512,类似于步骤412,所述转换模块26计算在一第一运动估计器(譬如24-1)与一第二运动估计器(譬如24-2)之间的对准。所述对准通过确定包括一个或多个转换操作的转换被计算,将与所述第一运动估计器24-1相关联的所述参考帧转换为与所述第二运动估计器24-2相关联的所述参考帧,反之亦然。如所讨论的,所述被计算的对准可以包括一空间对准和/或一定向对准和/或一时间对准(同步)。
从步骤512,所述过程500移到步骤514,其通常类似于步骤314b并且应该通过类推被理解。从步骤514,所述流程500移到步骤516至518,其与步骤316至318及步骤416至418相同,因此步骤516至518的细节不再赘述。
以下段落描述可被用于形成所述移动设备10随时间的多个定位估计的各种运动估计技术。此处提供的运动估计技术仅作为示例,不应被视为排他性的或详尽无遗的。
一种运动估计技术被称为行人航位推算(PDR),它使用人类步态周期的知识以及对惯性传感器生成的信号的影响来估计一轨迹。在一简单的实施方式中,所述加速度计13a-1可被用作一计步器,而所述磁力计13b可被用于提供罗盘航向。所述移动设备10的所述用户采取的每一步骤(由所述加速度计13a-1测量)导致定位于所述罗盘(磁力计13b)测量的方向上向前移动一固定距离。然而,PDR的轨迹精度可能受限于所述多个传感器13a-1和13b的精度、结构内部的磁干扰以及其他未知变量,诸如携带所述移动设备10的定位和用户步幅。另一个挑战是区分步行和跑步,以及识别爬楼梯或乘坐一电梯等动作。因此,从采用PDR的一运动估计器切换到另一个运动估计器(采用不同的运动估计技术),例如当所述PDR估计质量低于一阈值时,可能是有利的。
一种相对较新的运动估计方法依赖于机器学习,特别是深度学习技术来训练诸多模型,所述诸多模型从携带来自诸多惯性传感器(譬如所述加速度计13a-1和/或陀螺仪13a-2,和/或定向估计)的传感器数据的诸多可用传感器信号输出诸多轨迹估计。
在被称为视觉惯性里程计(VIO)的过程中,通过融合来自所述移动设备10的诸多惯性传感器(譬如所述加速度计13a-1和/或陀螺仪13a-2)和所述移动设备10的一相机(譬如图像传感器13e),进行可以提供准确轨迹的另一种形式的运动估计。由所述相机获得的诸多图像(即图像传感器数据)与惯性测量(惯性传感器数据)一起被处理,以估计位置和定向。虽然VIO运动估计可以提供准确的轨迹,但所述技术可能会受限于照明条件和相机的视场(FOV)中的视觉特征数量。因此,VIO运动估计并不总是可用的(譬如在低光或低特征条件下),因此在这种情况下切换到另一个运动估计器(采用不同的运动估计技术)是有利的。
VIO运动估计通常用作一视觉定位系统(VPS)的一部分,正如本文档的背景部分所讨论的那样,不使用所述移动设备经过的环境感测,而是使用从所述移动设备的相机捕获的诸多图像中提取的视觉特征(即,图像传感器生成的图像数据),这些与所述相机的FOV内的诸多位置相关联。所述VPS从这些被提取的视觉特征构建一特征地图。
虽然本公开的一第一方面涉及在多个运动估计器参考帧之间的转换(在多个运动估计器之间的对准),但是本公开的一第二方面涉及采用VIO运动估计连同依赖于环境感测的一IPS(被称为作为环境IPS),使用例如无线电传感器13d或磁力计13b。已经发现的是,VIO运动估计与环境IPS的组合可以提供几个优点,包括对所述移动设备10的运动的鲁棒性和合理的计算复杂度。在本公开的上下文中,VIO运动估计属于视觉里程计运动估计技术的范畴,还可以包括视觉里程计(VO),其中仅使用图像数据(即,惯性传感器数据与图像传感器数据未融合)。因此,根据本公开的各方面,视觉里程计运动估计技术与一环境IPS组合使用(或作为所述环境IPS的一部分),其中在某些实施例中,所述视觉里程计运动估计技术被实现为VO,并且在其他实施例中,所述里程计运动估计技术被实现为VIO。
图6图解说明根据本公开的这个方面的一个非限制性实施例的一移动设备10’的架构。所述移动装置10’大体上类似于图1的所述移动装置10,其中相似的构件在图6中与它们在图1中的编号相似。所述移动设备10’不同于所述移动设备10的一个特征是所述估计器模块22具体包括一视觉里程计运动估计器(被定名为24-X),其采用一种视觉里程计(VO)运动估计技术(或者传统的VO(即,无惯性传感器数据)或VIO(即,具有惯性传感器数据))。此外,所述移动设备10’的所述IPS模块被定名为环境IPS模块28’,因为所述环境IPS模块28’采用环境感测技术。应被注意的是,本文所呈现的公开的两个方面具有独立效用。然而,当期望从所述视觉里程计运动估计器24-X(进行视觉里程计运动估计)切换到另一个运动估计器时,或者当期望组合所述视觉里程计运动估计器24-X输出的所述定位估计与来自其他运动估计器的输出时,所公开主题的第二方面可能特别适合与附加运动估计器一起使用。因此,所述移动装置10'也可以选择性地包括所述转换模块26和多个运动估计器24-1、24-2、24-3。
在某些实施例中,所述环境IPS是基于磁性,因此依赖于所述磁力计13b生成的传感器数据。在其他实施例中,所述环境IPS是基于无线电信号的,因此依赖于无线电传感器13d生成的传感器数据。在此类基于无线电的实施例中,所述无线电传感器13d可以被实现为一射频(RF)传感器,其测量被接收的无线电信号中存在的功率,诸如超宽带(UWB)信号、蜂窝信号(譬如,CDMA信号、GSM信号等)、蓝牙信号、无线局域网(LAN)信号(通俗地称为“Wi-Fi信号”)。在一种非限制性实施方式中,无线电传感器13d被实施为一无线LAN RF传感器,其被配置为基于被接收的无线LAN信号进行接收信号强度指示(RSSI)测量。
虽然没有在图6中说明,所述移动设备10’可以通过一通信网络,诸如网络(图1)通信连接或链接到一个或多个服务器。这样的服务器可以包括例如所述地图服务器32和所述服务器处理系统34(图1)。因此,类似于图1的所述移动设备,所述移动设备10’可以通过所述网络30与所述地图服务器32和/或所述服务器处理系统34交换数据和信息(例如经由所述收发器21)。
在某些实施例中,由所述视觉里程计运动估计器24-X输出的所述多个定位估计可以由所述环境IPS(示例性地由环境IPS模块28’表示)使用,以增强所述环境IPS的性能,优选地通过基于所述多个定位估计来修改描述一室内环境的地图数据(并且可以从所述地图服务器32接收)。所述多个定位估计可以由所述环境IPS模块28’以各种方式连同地图数据一起使用,包括例如推进以所述地图数据为特征的一先前已知位置、将与所述地图数据相关联的由所述移动设备10’进行的楼层转换或特定运动分类、更新以所述地图数据为特征的一指纹图,以及更多。在某些实施例中,所述环境IPS模块28’可以处理从所述视觉里程计运动估计器24-X被接收的所述多个定位估计,以将所述多个定位估计转换成一全球室内地图参考帧。在这样的实施例中,所述环境IPS模块28’可以处理从所述视觉里程计运动估计器24-X接收的多个定位估计连同所述地图数据以及从一个或多个传感器12被接收的传感器数据。
本发明实施例的方法和/或系统的实施可以涉及手动、自动或其一组合进行或完成选定的任务。此外,根据本发明的方法和/或系统的实施例的实际仪器和设备,几个选定的任务可以通过硬件、软件或固件或其一组合使用一操作系统被实现。
例如,根据本发明实施例的用于进行选定任务的硬件可以被实现为一芯片或一电路。作为软件,根据本发明的实施例的选定任务可以被实现为由使用任何合适的操作系统的一计算机执行的多个软件指令。在本发明的示例性实施例中,根据在此描述的方法和/或系统的示例性实施例的一个或多个任务由一数据处理器进行,诸如用于执行多个指令的一计算平台。可选的,所述数据处理器包括用于存储指令和/或数据的一易失性存储器和/或用于存储指令和/或数据的一非易失性存储器,例如非暂态存储介质诸如一磁硬盘和/或可移动介质。可选地,还提供一网络连接。还可选地提供一显示器和/或一用户输入设备诸如一键盘或鼠标。
例如,根据本发明如上列示的实施例,可以使用一个或多个非暂时性计算机可读(存储)介质的任何组合。所述非暂时性计算机可读(存储)介质可以是一计算机可读信号介质或一计算机可读存储介质。一计算机可读存储介质可以是例如但不限于一电学、磁性、光学、电磁的、红外的或半导体系统、装置或设备,或前述的任何合适的组合。所述计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容:具有一个或多个线材的一电连接、一便携式计算机软盘、一硬盘、一随机存取存储器(RAM)、一可读存储器只读存储器(ROM)、一可擦除可编程只读存储器(EPROM或闪存)、一光纤、一便携式光盘只读存储器(CD-ROM)、一光存储设备、一磁存储设备或任何上述的适当组合。在本文的上下文中,一计算机可读存储介质可以是可包含或存储供一指令执行系统、装置或设备使用或与其结合使用的一程序的任何有形介质。
一计算机可读信号介质可以包括一传播的数据信号,其中具备计算机可读程序代码,例如,在基带中或作为一载波的一部分。这种传播的信号可以采用多种形式中的任何一种,包括但不限于电磁的、光的或其任何合适的组合。一计算机可读信号介质可以是非为一计算机可读存储介质的任何计算机可读介质,并且可以通信、传播或传输一程序以供一指令执行系统、装置或设备使用或与其结合使用。
参考上面提供的段落和参考附图将理解,本文提供诸多计算机实现方法的各种实施例,其中一些可以由本文描述的诸多装置和诸多系统的各种实施例执行,并且其中一些可以进行根据被存储在本文描述的非暂时性计算机可读存储介质中的诸多指令。尽管如此,本文提供的计算机实现方法的一些实施例可以由其他装置或系统进行,并且可以根据被存储在计算机可读存储介质中的指令而不是本文描述的指令来执行,这对本领域技术人员来说参考本文描述的实施例将变得显而易见。为了说明目的提供关于以下计算机实现方法的对系统和计算机可读存储介质的任何参考,并非旨在限制任何此类系统和任何此类非暂时性计算机可读存储介质关于上述计算机实现方法的实施例。同样,为了解释的目的提供关于系统和计算机可读存储介质的以下计算机实施方法的任何参考,并非旨在限制本文公开的任何此类计算机实施方法。
在图中的流程图和框图以图解说明根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就此而言,所述流程图或框图中的每个块可以表示一模块、区段或代码的一部分,其包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。还应注意的是,在一些替代实施方式中,在所述方框内被标注的功能可能以图中标注的顺序出现。例如,连续显示的两个块实际上可以基本上并发执行,或者这些块有时可以用相反的顺序执行,这取决于所涉及的功能。还将注意的是,框图和/或流程图图例的每个块,以及框图和/或流程图图例中的多个块的多个组合,可以由进行特定功能或动作的基于专用硬件的系统,或专用硬件和计算机指令的组合被实现。
本发明的各种实施例的描述是为了说明的目的而给出的,但是并非旨在穷举或限制所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,许多修改和变化对于本领域的普通技术人员来说将是显而易见的。本文使用的术语被选择以为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进,或者使本领域的其他普通技术人员能够理解本文公开的实施例。
如本文所用,单数形式“一(a)”、“一(an)”和“所述(the)”包括复数指代,除非上下文另有明确规定。
此处使用的“示例性(exemplary)”一词是指“用作一示例、实例或说明”。被描述为“示例性”的任何实施例不一定被解释为优于或优于其他实施例和/或排除并入来自其他实施例的特征。
应当理解的是,为了清楚起见,在单独实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反,为了简洁起见,在单个实施例的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供,或在本发明的任何其他描述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不应被认为是那些实施例的基本特征,除非所述实施例在没有这些元件的情况下不起作用。
上述过程包括其部分可以由软件、硬件及其组合来进行。这些过程及其部分可以由计算机、计算机类型的设备、工作站、处理器、微处理器、其他电子搜索工具和存储器以及与其关联的其他非暂时性存储类型的设备来进行。所述过程及其部分也可以被体现在可编程的非暂时性存储介质中,譬如,可由一机器等读取的光盘(CD)或其他包括磁、光等的盘,或其他计算机可用存储介质,包括磁性、光学或半导体存储,或其他电子信号源。
本文的过程(方法)和系统,包括其构件,已经参照特定硬件和软件进行示例性描述。所述过程(方法)已被描述为示例性的,由此特定步骤和它们的顺序可以被本领域普通技术人员省略和/或改变以减少这些实施例以在没有过度实验的情况下实践。所述过程(方法)和系统已经以足以使本领域普通技术人员能够容易地调整可能需要的其他硬件和软件的方式进行描述,以减少实施例中的任何实施例而无需过度实验和使用常规技术。
就所附权利要求的起草没有多重引用关系而言,这样做只是为了适应不允许此类多重引用关系的司法管辖区的形式要求。应被注意的是,所有可能的特征组合都将通过使权利要求多重从属来隐含,这些组合是明确设想的,并且应该被认为是本发明的一部分。
尽管已经结合其特定实施例描述本发明,但是显然许多替代、修改和变化对于本领域技术人员来说将是显而易见的。因此,旨在涵盖落入所附权利要求的精神和广泛范围内的所有此类替代、修改和变化。
Claims (34)
1.一种方法,其特征在于:包括:
基于在一移动设备处生成的传感器数据,采用至少两个运动估计器以形成所述移动设备随时间的多个相应的定位的估计,所述运动估计器与多个相应的参考帧相关联,并且每个相应的定位的估计包括一个或多个估计分量;和
至少部分基于由一第一运动估计器和一第二运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述至少两个运动估计器中的所述第二运动估计器相关联的所述参考帧到与所述至少两个运动估计器中的所述第一运动估计器相关联的所述参考帧的转换。
2.如权利要求1所述的方法,其特征在于:所述一个或多个估计分量包括以下的至少一者:一位置估计、一定向估计或一速度估计。
3.如权利要求1所述的方法,其特征在于:所述转换包括一个或多个转换操作。
4.如权利要求3所述的方法,其特征在于:所述一个或多个转换操作包括以下的至少一者:一旋转转换操作、一平移转换操作或一标度转换操作。
5.如权利要求1所述的方法,其特征在于:所述一个或多个转换操作包括一时移操作,所述时移操作将与从所述第二运动估计器形成的所述定位的估计的一估计分量相关联的多个时间实例相对于与从所述第一运动估计器形成的所述定位的估计的一对应估计分量相关联的多个时间实例进行挪移。
6.如权利要求1所述的方法,其特征在于:所述第一运动估计器应用一第一运动估计技术,并且其中所述第二运动估计器应用一第二运动估计技术,所述第二运动估计技术不同于所述第一运动估计技术。
7.如权利要求1所述的方法,其特征在于:由所述第一运动估计器形成的所述定位的估计是基于与所述第二运动估计器使用的传感器数据不同的传感器数据。
8.如权利要求1所述的方法,其特征在于:还包括:由与所述移动设备相关联的一室内定位系统接收至少部分从所述第一运动估计器形成的所述定位的估计和从所述第二运动估计器形成的所述定位的估计中的每一者形成的一定位估计;由所述室内定位系统至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
9.如权利要求1所述的方法,其特征在于:还包括:响应于至少一个切换条件从所述第一运动估计器切换到所述第二运动估计器。
10.如权利要求9所述的方法,其特征在于:所述切换包括:应用所述转换以将由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第二个运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
11.如权利要求10所述的方法,其特征在于:所述至少两个运动估计器至少包括一第三运动估计器,所述方法还包括:
至少部分基于由所述第一运动估计器和所述第三运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述第三运动估计器相关联的所述参考帧到与所述第一运动估计器相关联的所述参考帧的第二转换;和
响应于至少一个切换条件从所述第二运动估计器切换到所述第三运动估计器,通过应用所述第二转换以将由所述第三运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第三运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
12.如权利要求9所述的方法,其特征在于:所述至少一个切换条件基于以下的至少一者:i)所述第一运动估计器的可用性;ii)所述第二运动估计器的可用性;iii)与所述第一运动估计器相关联的估计不确定性;或iv)与所述第二运动估计器相关联的估计不确定性。
13.如权利要求1所述的方法,其特征在于:还包括:组合由所述第一运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一估计分量及由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)与由所述第一运动估计器形成的所述估计分量相关联的一第一组权重和与由所述第二运动估计器形成的所述估计分量相关联的一第二组权重。
14.如权利要求13所述的方法,其特征在于:所述第一组权重中的所述多个权重是与由所述第一运动估计器形成的所述估计分量相关联的估计不确定性的一函数,以及所述第二组权重中的所述多个权重是与由所述第二运动估计器形成的所述估计分量相关联的估计不确定性的一函数。
15.如权利要求13所述的方法,其特征在于:所述第一组权重中的所述多个权重与由所述第一运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比,以及所述第二组权重中的所述多个权重与由所述第二运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比。
16.如权利要求13所述的方法,其特征在于:所述第一组权重中的所述多个权重和所述第二组权重中的所述多个权重彼此之间具有多个固定比率。
17.一种系统,其特征在于:包括:
与一移动设备相关联的一个或多个传感器,用于从在所述移动设备处被收集的多个传感器测量生成传感器数据;和
与所述移动设备相关联的一处理单元,包括至少一个处理器,所述至少一个处理器与一存储器通信,所述处理单元被配置为:
从一个或多个传感器接收传感器数据;
基于在所述移动设备处被生成的传感器数据采用至少两个运动估计器以形成一移动设备随时间的多个相应的定位的估计,所述多个运动估计器与多个相应的参考帧相关联,并且每个相应的定位的估计包括一个或多个估计分量;和
至少部分基于由所述第一运动估计器和所述第二运动估计器中的每一者形成的所述多个定位的估计的所述一个或多个估计分量中的至少一个估计分量,确定从与所述至少两个运动估计器中的一第二运动估计器相关联的所述参考帧到与所述至少两个运动估计器中的一第一运动估计器相关联的所述参考帧的转换。
18.如权利要求17所述的系统,其特征在于:还包括:与所述移动设备相关联的一室内定位系统,被配置为:接收至少部分从所述第一运动估计器形成的所述定位的估计和所述第二运动估计器形成的所述定位的估计中的每一者形成的一定位估计,并且至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
19.如权利要求17所述的系统,其特征在于:所述处理单元还被配置为:响应于至少一个切换条件从所述第一运动估计器切换到所述第二运动估计器。
20.如权利要求19所述的系统,其特征在于:所述处理单元还被配置为:应用所述转换为使由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的至少一个估计分量从与所述第二个运动估计器相关联的所述参考帧转换到与所述第一运动估计器相关联的所述参考帧。
21.如权利要求19所述的系统,其特征在于:所述至少一个切换条件基于以下的至少一者:i)所述第一运动估计器的可用性;ii)所述第二运动估计器的可用性;iii)与所述第一运动估计器相关联的估计不确定性;或iv)与所述第二运动估计器相关联的估计不确定性。
22.如权利要求17所述的系统,其特征在于:所述处理单元还被配置为:组合由所述第一运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一估计分量及由所述第二运动估计器形成的所述定位的估计的所述一个或多个估计分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)与由所述第一运动估计器形成的所述估计分量相关联的一第一组权重和与由所述第二运动估计器形成的所述估计分量相关联的一第二组权重。
23.如权利要求22所述的系统,其特征在于:所述第一组权重中的所述多个权重是与由所述第一运动估计器形成的所述估计分量相关联的估计不确定性的一函数,以及所述第二组权重中的所述多个权重是与由所述第二运动估计器形成的所述估计分量相关联的估计不确定性的一函数。
24.如权利要求22所述的系统,其特征在于:所述第一组权重中的所述多个权重与由所述第一运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比,以及所述第二组权重中的所述多个权重与由所述第二运动估计器形成的所述估计分量的协方差、方差或标准偏差成反比。
25.如权利要求22所述的系统,其特征在于:所述第一组权重中的所述多个权重和所述第二组权重中的所述多个权重彼此之间具有多个固定比率。
26.如权利要求17所述的系统,其特征在于:所述处理单元由所述移动设备携带。
27.如权利要求17所述的系统,其特征在于:所述处理单元的一个或多个构件远离所述移动设备并且与所述移动设备进行网络通信。
28.一种方法,其特征在于:包括:
基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计,所述第一定位的估计包括一个或多个估计分量;
基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计,所述第二定位的估计包括一个或多个估计分量;
确定从所述第一参考帧到所述第二参考帧的转换,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的对应的至少一个估计分量;和
响应于至少一个切换条件从所述第二运动估计器切换到所述第一运动估计器,其中所述切换包括应用所述转换为使所述第一定位的估计的一个或多个估计分量中的至少一个估计分量从所述第一参考帧转换到所述第二参考帧。
29.一种方法,其特征在于:包括:
基于在一移动设备处被生成的传感器数据,使用一第一运动估计技术,采用一第一运动估计器,所述第一运动估计器具有一关联的第一参考帧,以形成一移动设备随时间的一第一定位的估计,所述第一定位的估计包括一个或多个估计分量;
基于在所述移动设备处被生成的传感器数据,使用一第二运动估计技术,采用一第二运动估计器,所述第二运动估计器具有一关联的第二参考帧,以形成所述移动设备随时间的一第二定位的估计,所述第二定位的估计包括一个或多个估计分量;
确定从所述第一参考帧到所述第二参考帧的转换,至少部分基于:所述第一定位的估计的所述一个或多个估计分量中的至少一个估计分量,及所述第二定位的估计的所述一个或多个估计分量中的对应的至少一个估计分量;和
组合所述第一定位的估计的所述一个或多个估计分量中的一估计分量及所述第二定位的估计的所述一个或多个分量中的一相应的估计分量,所述组合基于:i)所述转换;及ii)一第一组权重与所述第一定位的估计的所述估计分量相关联,及一第二组权重与所述第二定位的估计的所述估计分量相关联。
30.一种方法,其特征在于:包括:
从与一移动设备相关联的一个或多个传感器接收传感器数据,所述一个或多个传感器包括至少一个图像传感器;
根据一视觉里程计技术基于所述被接收的传感器数据估计所述移动设备随时间的定位;
在与所述移动设备相关联的一环境室内定位系统处接收所述被估计的定位;和
由所述环境室内定位系统至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
31.如权利要求31所述的方法,其特征在于:所述一个或多个传感器还包括至少一个惯性传感器,并且其中所述估计所述移动设备随时间的所述定位是根据一视觉惯性里程计技术,所述视觉惯性里程计技术利用来自所述至少一个图像传感器的图像数据和来自所述至少一个惯性传感器的惯性数据。
32.一种系统,其特征在于:包括:
与一移动设备相关联的一个或多个传感器,所述一个或多个传感器包括至少一个图像传感器;
与所述移动设备相关联的一处理单元,包括与一存储器通信的至少一个处理器,被配置为:
从所述一个或多个传感器接收传感器数据;及
根据一视觉里程计技术基于所述被接收的传感器数据估计所述移动设备随时间的定位;和
与所述移动设备相关联的一环境室内定位系统,被配置为:
接收所述被估计的定位;及
至少部分基于所述被接收的定位估计来修改与所述移动设备所在的一室内环境相关联的地图数据。
33.如权利要求33所述的系统,其特征在于:所述一个或多个传感器还包括至少一个惯性传感器,并且其中所述处理单元被配置为根据一视觉惯性里程计技术估计所述移动设备随时间的所述定位,所述视觉惯性里程计技术利用来自所述至少一个图像传感器的图像数据和来自所述至少一个惯性传感器的惯性数据。
34.如权利要求33所述的系统,其特征在于:所述处理单元还被配置为执行所述环境室内定位系统的功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063052471P | 2020-07-16 | 2020-07-16 | |
US63/052,471 | 2020-07-16 | ||
PCT/IB2021/056085 WO2022013683A1 (en) | 2020-07-16 | 2021-07-07 | Indoor positioning with plurality of motion estimators |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116249872A true CN116249872A (zh) | 2023-06-09 |
Family
ID=79555100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180060946.5A Pending CN116249872A (zh) | 2020-07-16 | 2021-07-07 | 具备多个运动估计器的室内定位 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230258453A1 (zh) |
EP (1) | EP4182632A4 (zh) |
KR (1) | KR20230038483A (zh) |
CN (1) | CN116249872A (zh) |
IL (1) | IL298889A (zh) |
WO (1) | WO2022013683A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220236072A1 (en) * | 2021-01-22 | 2022-07-28 | POS8 Limited | Indoor positioning and tracking using spatial features |
US20220358365A1 (en) * | 2021-04-26 | 2022-11-10 | Honeywell International Inc. | Tightly coupled end-to-end multi-sensor fusion with integrated compensation |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697748B2 (en) * | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
US8855929B2 (en) * | 2010-01-18 | 2014-10-07 | Qualcomm Incorporated | Using object to align and calibrate inertial navigation system |
US9953243B2 (en) * | 2014-04-25 | 2018-04-24 | Google Llc | Electronic device localization based on imagery |
US10012509B2 (en) * | 2015-11-12 | 2018-07-03 | Blackberry Limited | Utilizing camera to assist with indoor pedestrian navigation |
US11466990B2 (en) * | 2016-07-22 | 2022-10-11 | Regents Of The University Of Minnesota | Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system |
WO2019172874A1 (en) * | 2018-03-05 | 2019-09-12 | Reavire, Inc. | Maintaining localization and orientation of an electronic headset after loss of slam tracking |
GB201816655D0 (en) * | 2018-10-12 | 2018-11-28 | Focal Point Positioning Ltd | A method of estimating a metric of interest related to the motion of a body |
-
2021
- 2021-07-07 CN CN202180060946.5A patent/CN116249872A/zh active Pending
- 2021-07-07 KR KR1020237001727A patent/KR20230038483A/ko active Search and Examination
- 2021-07-07 IL IL298889A patent/IL298889A/en unknown
- 2021-07-07 WO PCT/IB2021/056085 patent/WO2022013683A1/en unknown
- 2021-07-07 US US18/014,351 patent/US20230258453A1/en active Pending
- 2021-07-07 EP EP21841244.3A patent/EP4182632A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230038483A (ko) | 2023-03-20 |
WO2022013683A1 (en) | 2022-01-20 |
IL298889A (en) | 2023-02-01 |
US20230258453A1 (en) | 2023-08-17 |
EP4182632A1 (en) | 2023-05-24 |
EP4182632A4 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3077992B1 (en) | Process and system for determining the location of an object by fusing motion features and iamges of the object | |
JP2015531053A (ja) | 無線マップを動的に作成するためのシステム、方法、及びコンピュータプログラム | |
TW201440013A (zh) | 基於虛擬地標之定位及地圖繪製技術 | |
US11162791B2 (en) | Method and system for point of sale ordering | |
CN110501010A (zh) | 确定移动设备在地理区域中的位置 | |
JP7077598B2 (ja) | 位置決定及び追跡のための方法、プログラム、及びシステム | |
CN116249872A (zh) | 具备多个运动估计器的室内定位 | |
US20220155402A1 (en) | Transition Detection | |
Kao et al. | Indoor navigation with smartphone-based visual SLAM and Bluetooth-connected wheel-robot | |
JP2019530865A (ja) | モバイルデバイスにおける改善された歩行者モーションモデリングのためのユーザ固有の学習 | |
CN104457741A (zh) | 一种基于蚁群算法误差修正的人体手臂运动跟踪方法 | |
Qian et al. | RPNOS: Reliable pedestrian navigation on a smartphone | |
AU2016202042A1 (en) | Backtracking indoor trajectories using mobile sensors | |
CN111678513A (zh) | 一种超宽带/惯导紧耦合的室内定位装置与系统 | |
Chen et al. | Hybrid ToA and IMU indoor localization system by various algorithms | |
CN101923155B (zh) | 基于设备移动性分类的位置过滤 | |
US9400181B2 (en) | Systems and methods for detection of magnetic and motion-based landmarks | |
Lin et al. | A Cnn-Speed-Based Gnss/Pdr Integrated System For Smartwatch | |
Shoushtari et al. | L5in+: From an analytical platform to optimization of deep inertial odometry | |
Woyano et al. | A survey of pedestrian dead reckoning technology using multi-sensor fusion for indoor positioning systems | |
Raitoharju et al. | A linear state model for PDR+ WLAN positioning | |
US20230410351A1 (en) | Terminal device for indoor positioning based on object recognition, service server, and method therefor | |
Shi et al. | Simple and efficient step detection algorithm for foot-mounted IMU | |
Yhaya et al. | Indoor Pedestrian Navigation Using PDR/Wi-Fi Integration | |
Hamadi et al. | An accurate smartphone-based indoor pedestrian localization system using ORB-SLAM camera and PDR inertial sensors fusion approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |