CN110268354A - 更新地图的方法及移动机器人 - Google Patents
更新地图的方法及移动机器人 Download PDFInfo
- Publication number
- CN110268354A CN110268354A CN201980000681.2A CN201980000681A CN110268354A CN 110268354 A CN110268354 A CN 110268354A CN 201980000681 A CN201980000681 A CN 201980000681A CN 110268354 A CN110268354 A CN 110268354A
- Authority
- CN
- China
- Prior art keywords
- map
- location
- data set
- mobile device
- location identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013480 data collection Methods 0.000 claims abstract description 122
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000003860 storage Methods 0.000 claims description 67
- 238000005259 measurement Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 33
- 239000012141 concentrate Substances 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 abstract description 11
- 238000005286 illumination Methods 0.000 abstract description 9
- 238000009825 accumulation Methods 0.000 abstract description 5
- 230000004888 barrier function Effects 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 125000006850 spacer group Chemical group 0.000 description 6
- 238000010408 sweeping Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003281 allosteric effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Navigation (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
Abstract
本申请提供一种更新地图的方法及移动机器人,其涉及导航控制技术领域。首先,获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集;其中,所述第一移动设备是利用预先存储的对应所述物理空间的基准地图及其基准定位数据集进行导航移动的;再将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理;最后将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。本申请提供了一种地图持久化的方案,且本申请中的地图随着时间的积累,会涵盖不同的场景,由此在不同的时段和光照条件下,地图都可以为移动设备提供定位信息。
Description
技术领域
本申请涉及导航控制技术领域,特别是涉及一种更新地图的方法、服务端及移动机器人。
背景技术
以机器人为代表的自主移动设备是依据地图进行导航移动的。其中,在没有可供导航的地图的情况下,自主移动设备需更新地图。目前,自主移动设备在导航移动期间所构建的地图无法持久保存,是因为历次自主移动设备的初始位置、初始姿态、执行导航移动的物理空间无法保证完全一致。
然而,对于如扫地机器人、巡逻机器人等自主移动设备来说,由于无法保证历次自主移动设备的导航移动行为处于相同的移动环境,如处于相同的光线环境、处于障碍物摆放位置不变的物理空间等移动环境,故而对于这类自主移动设备来说,利用上一次构建的地图执行当前次导航操作将出现极大误差。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种更新地图的方法及移动机器人,用于解决现有技术中地图非持久性的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种更新地图的方法,包括:获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集;其中,所述第一移动设备是利用预先存储的对应所述物理空间的基准地图及其基准定位数据集进行导航移动的;将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理;将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。
在所述第一方面的某些实施方式中,所述基准地图及其基准定位数据集是基于所述第一移动设备和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的。
在所述第一方面的某些实施方式中,所述将基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理的步骤包括:确定所述基准定位数据集中的第一定位特征信息及其第一定位坐标信息、和所述当前定位数据集中的第二定位特征信息及其第二定位坐标信息相匹配;基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。
在所述第一方面的某些实施方式中,所述确定基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:匹配所述基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息;基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
在所述第一方面的某些实施方式中,所述基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:基于相匹配的第一定位特征信息和第二定位特征信息,将各自对应的第一定位坐标信息和第二定位坐标信息进行匹配,以得到相匹配的第一定位坐标信息和第二定位坐标信息。
在所述第一方面的某些实施方式中,所述第一定位特征信息包含基于基准地图中的空间特征而确定的第一测量定位特征信息,以及所述第二定位特征信息包含基于当前地图中的空间特征而确定的第二测量定位特征信息;和/或所述第一定位特征信息包含从基准定位数据集中的第一关键帧图像中提取的第一视觉定位特征信息;所述第二定位特征信息包含从当前定位数据集中的第二关键帧图像中提取的第二视觉定位特征信息。
在所述第一方面的某些实施方式中,所述第一测量定位特征信息包括以下至少一种:基于基准地图中空间特征的坐标信息组合而确定的测量数据,根据用于描述基准地图中空间特征的深度信息组合而确定的测量数据;以及所述第二测量定位特征信息包括以下至少一种:基于当前地图中对应空间特征的坐标信息组合而确定的测量数据,根据用于描述当前地图中空间特征的深度信息组合而确定的测量数据。
在所述第一方面的某些实施方式中,所述匹配基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息的步骤包括:将所述当前定位数据集中各第二关键帧图像中的第二定位特征信息与基准定位数据集中各第一关键帧图像中的第一定位特征信息进行匹配处理,以确定所述第一关键帧图像与第二关键帧图像中相匹配的第一定位特征信息和第二定位特征信息。
在所述第一方面的某些实施方式中,所述方法还包括:分析所述基准定位数据集中的第一关键帧图像,确定所述第一关键帧图像所对应的第一图像坐标信息相对于所述物理空间主方向的第一相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置;和/或分析所述当前定位数据集中的第二关键帧图像,确定所述第二关键帧图像所对应的第二图像坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置;以便匹配调整后的第二关键帧图像中的第二定位特征信息与调整后的第一关键帧图像中的第一定位特征信息。
在所述第一方面的某些实施方式中,所述方法还包括:调整所述基准地图或当前地图直至调整后两幅地图符合预设的重叠条件的步骤;以便基于调整后的两地图确定所述基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
在所述第一方面的某些实施方式中,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括:基于相匹配的第一定位坐标信息和第二定位坐标信息之间的坐标偏差信息修正基准地图和/或当前地图中的坐标误差;基于修正后的至少一个地图执行合并操作,以得到新的基准地图;以及将基准定位数据集和当前定位数据集中至少相匹配的第一定位特征信息和第二定位特征信息标记在新的基准地图上,以得到新的定位坐标信息。
在所述第一方面的某些实施方式中,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括以下至少一个步骤,以得到新的基准定位数据集:基于相匹配的第一定位特征信息和第二定位特征信息之间的定位特征偏差信息调整基准定位数据集或当前定位数据集;将当前定位数据集中未匹配的各第二定位特征信添加至基准定位数据集中,或者,将基准定位数据集中未匹配的各第一定位特征信息添加至当前定位数据集中。
在所述第一方面的某些实施方式中,还包括以下步骤:检测所述当前地图的完整程度,和/或检测所述当前定位数据集的信息量;基于所得到的检测结果执行所述数据融合处理的操作。
在所述第一方面的某些实施方式中,还包括将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第一移动设备的步骤。
在所述第一方面的某些实施方式中,还包括将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述基准地图上的步骤。
本申请第二方面提供一种服务端,包括:接口装置,用于与位于一物理空间中的第一移动设备进行数据通信;存储装置,用于存储用于提供给所述第一移动设备的基准地图及其基准定位数据集,存储来自所述第一移动设备在所述物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如第一方面中任一所述的方法。
本申请第三方面提供一种移动机器人,包括:存储装置,用于存储一基准地图及其基准定位数据集,当前地图和当前定位数据集,以及至少一个程序;其中,所述当前地图和当前定位数据集为所述移动机器人执行一次导航移动操作所构建的;所述基准地图及其基准定位数据集为所述移动机器人执行所述导航移动操作所使用的;移动装置,用于基于所述基准地图而确定的导航路线执行移动操作;定位感应装置,用于在执行导航移动操作期间收集第二定位特征信息,以构成当前定位数据集;处理装置,与所述存储装置、摄像装置和移动装置相连,用于调用并执行所述至少一个程序,以协调所述存储装置、摄像装置和移动装置执行第一方面中所述的更新地图的方法。
在所述第三方面的某些实施方式中,所存储的基准地图及其基准定位数据集是基于所述移动机器人自身和/或至少一个第二移动设备在同一物理空间内分别执行至少一次导航移动操作而构建的。
在所述第三方面的某些实施方式中,还包括接口装置,用于与至少一个第二移动设备进行数据通信;所述处理装置还执行获取所述第二移动设备所提供的第三地图和第三定位数据集的操作,以便将所述基准地图及其基准定位数据集、所述第二地图及其第二定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。
本申请第四方面提供一种移动机器人,包括:接口装置,用于与一服务端进行数据通信;存储装置,用于存储用于在一物理空间内导航移动操作期间提供导航服务的基准地图及其基准定位数据集,存储在执行所述导航移动操作期间所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如下方法:将所述当前地图及其当前定位数据集发送至所述服务端;以及获取所述服务端返回的新的基准地图及其基准定位数据集,并更新所存储的基准地图及其基准定位数据集;其中,所获取的新的基准地图及其基准定位数据集是所述服务端将更新前的基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合后得到的。
在所述第四方面的某些实施方式中,所述新的基准地图及其基准定位数据集还融合有至少一个第二移动设备所提供的第三地图及其第三定位数据集。
如上所述,本申请的更新地图的方法及移动机器人,具有以下有益效果:本申请提供了一种地图持久化的方案,即当移动设备重新开机后,其地图与上一次工作的地图在同一坐标系中。用户可在终端设备上对地图进行标注,从而设置需要移动设备工作和工作方式的区域。同时,本申请中的地图随着时间的积累,会涵盖不同的场景,由此在不同的时段和光照条件下,地图都可以为移动设备提供定位信息。
附图说明
图1显示为本申请更新地图方法在一种实施方式中的流程示意图。
图2显示为本申请中将基准地图及其基准定位数据集与当前地图及其当前定位数据集融合的步骤流程图。
图3显示本申请服务端的一实施例结构示意图。
图4显示为本申请中一种移动机器人的模块结构实施例示意图。
图5显示为本申请中移动机器人在一工作中的流程实施例示意图。
图6显示为本申请中移动机器人的另一实施例示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一移动设备可以被称作第二移动设备,并且类似地,第二移动设备可以被称作第一移动设备,而不脱离各种所描述的实施例的范围。第一移动设备和移动设备均是在描述一个设备,但是除非上下文以其他方式明确指出,否则它们不是同一个移动设备。相似的情况还包括第一定位特征信息与第二定位特征信息、第一关键帧图像与第二关键帧图像、第一定位特征信息与第二定位特征信息。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
基于背景技术中所提及的自主移动设备推广至其他需依据地图而执行导航操作的可移动设备,如汽车、配置在汽车上的车载终端等,当无法利用卫星定位技术(或其他定位技术)在地图数据中进行定位时,需要利用其它定位信息进行定位时,移动设备(如移动机器人)在相应物理空间中将无法获得相应的定位信息和地图。
因此,本申请提供一种更新地图的方法及移动机器人,以便向移动设备提供可供其在一物理空间内导航移动的可持久化使用的基准地图及其基准定位数据集。其中,所述物理空间表示为移动设备进行导航移动而提供的物理上的空间,所述物理空间包括但不限于以下任一种:室内/室外空间、道路空间、飞行空间等。在一些实施例中,所述移动设备为无人机,则所述物理空间对应为飞行空间;在另一些实施例中,所述移动设备为具有自动驾驶功能的车辆,则所述物理空间对应为无法获得定位的隧道道路或网络信号弱但需要导航的道路空间;在再一些实施例中,所述移动设备为扫地机器人,则所述物理空间对应为室内或室外的空间。
在此,所述基准地图及其基准定位数据集是基于所述第一移动设备和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的。即所述基准地图及其基准定位数据集融合于至少一个移动设备在同一物理空间中进行多次导航移动而各自构建的地图及其定位数据集。所述基准地图及其基准定位数据集构成前述地图数据。其中,所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括第一移动设备和/或至少一个第二移动设备,其中,所述第一移动设备和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,第一移动设备和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,第一移动设备为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,第一移动设备和第二移动设备均为车载终端。所述第一移动设备或第二移动设备还可以是巡逻机器人等。
其中,本申请所提供的更新地图的方法及移动机器人用以将每一次工作中构建的地图和定位数据集存储在一存储介质中,与存储介质中的基准地图及其基准定位数据集融合,从而对基准地图及其基准定位数据集进行不断优化,由此可使基准地图和基准定位数据集涵盖更多的场景。同时,利用基准地图及其基准定位数据集可使第一移动设备自主移动,使第一移动设备在不同的时段和光照条件下都可以准确定位其所处的环境位置。另外,使用本申请所更新后的地图数据,第一移动设备每一次的导航移动时均被定位在同一个坐标系中,为地图持久化的应用提供了基础。
其中,任一次第一移动设备导航移动所构建的地图可为以下任一种类型:栅格地图、或拓扑地图等。例如,在第一移动设备进行导航移动的过程中在路径规划时构建栅格地图。又如,将物理空间表示为带结点和相关连接线的拓扑结构图,其中结点表示环境中的重要位置点(拐角、门、电梯、楼梯等),边表示结点间的连接关系,如走廊等。在此基础上各类地图上均可标记有语义标签以供用户与第一移动设备进行基于语义的导航控制,所述语义标签可以为所述物理空间内物体的名称,例如办公桌、笔记本等。在某些情况下,用户向第一移动设备发出语音指令如卧室在前方6米处右转的位置,由此所述地图又被称为语义地图。所述导航移动操作是指第一移动设备利用导航数据进行移动并更新地图数据的过程,在另一些情况下,所述第一移动设备在导航移动期间借助已构建完成的地图数据来实现后续导航。数据的导航下去指定的地点完成工作。又如,巡航状态下的车辆在隧道等无法获得定位的道路上依据地图数据来实现导航等。在又一些情况下,所述第一移动设备在导航移动期间构建工作环境的地图并存储到存储介质上,例如扫地机器人或车辆在工作的同时构建其工作环境的地图,并将其构建的地图传输到存储介质中。所述存储介质可以脱离于所述第一移动设备侧,如配置在服务端的存储装置、或与第一移动设备数据通信的智能终端的存储装置。例如配置在智能终端的SD卡、flash等存储介质。又如,配置在服务端的固态硬盘等存储介质。所述存储介质也可以是第一移动设备自身配置的存储装置例如配置在第一移动设备中的SD卡、flash等存储介质。
在此,本申请以第一移动设备进行一次导航操作所构建的当前地图数据,即包含当前地图和当前定位数据集的当前地图数据为例,描述更新用以提供持久化的基准地图及其基准定位数据集的执行过程。
其中,所述第一移动设备在执行当前次导航移动期间根据基准地图及其基准定位数据集自主移动,同时构建对应当前次导航移动的当前地图及其当前定位数据集。例如,在无法获得定位的隧道道路或网络信号弱但需要导航的路面上,具有巡航功能的车辆可根据基准地图及其基准定位数据集基于VSLAM(Visual Simultaneous Localization andMapping,基于视觉的即时定位与地图构建)或SLAM(Simultaneous Localization andMapping,即时定位与地图构建)进行自主驾驶,同时根据所行使过的路径构建该次所经过的路面所在物理空间的当前地图及其当前视觉数据集。又如,扫地机器人在执行清洁任务时,可根据基准地图及其基准定位数据集基于VSLAM或SLAM进行自主移动并清洁,同时根据所清洁过的路径构建该次所经过的路径所在物理空间的当前地图及其当前视觉数据集;再如,酒店中的导航机器人可根据基准地图及其基准定位数据集基于VSLAM或SLAM在收到顾客的语义指令后为顾客进行导航服务,同时根据所经过的路径构建该次所经过路径所在物理空间的当前地图及其当前视觉数据集等。
其中,为便于融合操作,当前地图和基准地图为同种类型。例如同为栅格地图、或同为拓扑地图等。或者,当前地图和基准地图可转换成同种类型。例如,藉由预设分辨率的像素数据,将栅格地图转换成拓扑地图等。其中,当前地图描绘了第一移动设备沿一次导航移动的路线而检测到的物理空间的地理信息;换言之,当前地图是基于第一移动设备在移动期间的位置和姿态而确定的。所述当前地图包含有:所述第一移动设备的起始位置所对应的坐标信息,以及在移动期间所感测到的障碍物所对应的各坐标信息等地理信息。基准地图描绘了融合有第一移动设备和/或至少一个第二移动设备在同一物理空间中经多次导航移动的路线而检测到的所述物理空间的地理信息。所述基准地图包含有:所述第一移动设备基于定位匹配而确定的起始位置所对应的坐标信息,以及经定位匹配后确定的所述物理空间中的障碍物所对应的各坐标信息等地理信息。
其中,当前定位数据集中包含基于当前导航移动而收集的各第二定位特征信息及其在当前地图中的第二定位坐标信息。其中,根据第一移动设备所能提供的感测装置,在一些实施例中,所述第二定位特征信息包含基于描绘当前地图的空间特征而确定的第二测量定位特征信息。在一些示例中,所述第一移动设备包含激光测距传感器、红外测距传感器等测量感测装置,以及包含设置在第一移动设备的移动控制系统(如驱动电机、滚轮等)上的角度传感器、位移传感器、计数器等测量感应装置;基于相应测量感测装置对障碍物相对位置关系的测量,并结合移动控制系统的测量感应装置对第一移动设备移动距离和偏角的测量,第一移动设备根据障碍物对应于当前地图中的地理信息而形成的空间特征,提取第二测量定位特征信息。其中,所述空间特征包括:当前地图中所描绘的障碍物轮廓、特征点、特征线中的至少一种。所述第二测量定位特征包括以下至少一种描述方式:基于当前地图中对应空间特征的坐标信息组合而确定的测量数据,根据用于描述当前地图中空间特征的深度信息组合而确定的测量数据。例如,以当前地图中障碍物的轮廓中一测量点的坐标信息为起点构建该障碍物轮廓的位置偏移矢量,以得到所述第二测量定位特征至少包括首位相连的位置偏移矢量。又如,基于第一移动设备测量当前地图中障碍物的轮廓上一测量点的深度信息,以及第一移动设备所测得的该轮廓上的其他深度信息,得到所述第二测量定位特征至少包括:用于描述所述障碍物轮廓的深度偏移矢量。再如,第二测量定位特征还可以包含描述同一障碍物轮廓的深度偏移矢量和位置偏移矢量等。还如,基于当前地图中一拐点的坐标信息及其周围测量点的坐标信息的组合,得到所述第二测量定位特征信息。
在另一些实施例中,所述第二定位特征信息包含从当前定位数据集中的第二关键帧图像中提取的第二视觉定位特征信息。其中,所述第二关键帧图像为第一移动设备在导航移动期间所摄取的关键帧图像。所述第二视觉定位特征信息是利用图像特征提取及匹配方式从多个第二关键帧图像中得到的。其中,所述第二视觉定位特征信息包括但不限于:第二关键帧图像中的特征点、特征线等。所述第二视觉定位特征信息举例由描述子来描述。例如,基于SIFT算法(Scale-invariant feature transform尺度不变特征变换),从多个第二关键帧图像中提取定位特征信息,并基于该多个第二关键帧图像中包含视觉定位特征信息的图像块得到用于描述该视觉定位特征信息的灰度值序列,并将该灰度值序列即为描述子。又如,所述描述子用以通过编码视觉定位特征信息的周围亮度信息来描述所述第二视觉定位特征信息,以所述第二视觉定位特征信息为中心在其周围一圈采样若干个点,其中采样点的数量为但不限于256或512个,将这些采样点两两比较,得到这些采样点之间的亮度关系并将亮度关系转换成二进制字符串或其他编码格式。
与当前定位数据集中的第二测量定位特征信息和第二视觉定位特征信息类似,基准定位数据集包含第一移动设备和/或至少一个第二移动设备在历次导航移动期间基于各次移动所收集并融合得到的第一定位特征信息的集合。其中,根据第一移动设备和/或至少一个第二移动设备所能提供的感测装置,在一些实施例中,第一定位特征信息包括基于基准地图中的空间特征而确定的第一测量定位特征信息。其中,所述第一测量定位特征信息包括以下至少一种:基于基准地图中空间特征的坐标信息组合而确定的测量数据,根据用于描述基准地图中空间特征的深度信息组合而确定的测量数据。在此所述第一测量定位特征信息描述空间特征的方式与第二测量定位特征信息相同或相似,在此不再详述。在又一些实施例中,所述第一定位特征信息包括从基准定位数据集中的第一关键帧图像中提取的第一视觉定位特征信息。其中,所述第一关键帧图像的获得方式与前述第二关键帧图像的获得方式相同或相似,在此不再详述;以及第一视觉定位特征信息描述图像中定位特征的方式与第二视觉定位特征信息相同或相似,在此不再详述。
应当理解,帧是指动画中最小单位的单幅影像画面,在动画软件的时间轴上帧表现为一格或一个标记。关键帧相当于二维动画中的原画,指物体运动或变化中的关键动作所处的那一帧。视觉传感器在移动设备运动的过程中会不断拍摄周围图像,其中相邻帧的图像具有较高的相似度。因此,如果对比相邻帧,则可能无法显而易见地判断移动设备的运动过程,故通过关键帧之间的对比则可更显著地判断移动设备的运动过程。由此,第一移动设备在导航移动期间所获取的各第一关键帧图像都对应第一移动设备在物理空间中的不同位置和姿态。利用第一移动设备在不同位置和姿态下所摄取的不同第一关键帧图像可确定图像中相匹配的定位特征,并将其作为第一定位特征信息,同时还确定第一定位特征信息在当前地图中的坐标信息。在此,利用前后至少两幅关键帧图像匹配定位特征信息,以及确定第一移动设备拍摄各关键帧图像的位置及姿态的方式可参见公开号为CN107907131A的专利申请,且该专利申请全文引用于此。
在第一移动设备执行一次导航移动期间,第一移动设备藉由基准地图及其基准定位数据集确定自身当前的位置以及为了沿导航路线而对姿态、移动方向、速度等进行控制。与此同时,第一移动设备还基于该次导航移动的起始位置构建当前地图及其当前定位数据集。在一些示例中,在第一移动设备完成该次导航移动后,保存当前地图及其当前定位数据集,并在合适的时机启动本申请的更新地图的方法中的步骤S110。例如,在充电时,或在第一移动设备的系统资源充沛时,执行本申请的更新地图的方法。在另一些示例中,在第一移动设备执行该次导航移动期间,基于已构建的当前地图及其当前定位数据集执行本申请的更新地图的方法。
请参阅图1,其显示为更新地图的方法在一实施方式中的流程图。其中,在一些示例中,所述方法主要由服务端和第一移动设备配合执行。例如,第一移动设备在充电或系统资源占用率较低的时候将所保存的当前地图及其当前定位数据集提供给服务端,服务端执行步骤S110以启动对基准地图及其基准定位数据集的构建。在另一些示例中,所述方法由第一移动设备本身执行。例如,第一移动设备在充电或系统资源占用率较低的时候从存储介质中读取当前地图及其当前定位数据集以执行步骤S110,并启动对基准地图及其基准定位数据集的构建。
其中,所述步骤S110为服务端获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集。或者第一移动设备获取自身所构建的当前地图及其当前定位数据集。
下述以服务端为例,描述所述方法的后续步骤。需要说明的是,第一移动设备也可以执行后续各步骤。
在步骤S120中,将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理。
应当理解,所述融合指将不同次构建的当前地图和当前定位数据集进行整合。其中,对地图的整合包括以下任一种:将不同次构建的当前地图中的各坐标信息整合成统一的基准地图中的各坐标信息;或者将当前地图中的各坐标信息整合到基准地图中。在一些更具体示例中,差分处理当前地图与基准地图,得到当前地图中的差分坐标信息,并基于差分坐标信息修正基准地图中各坐标信息。对地图的整合还包括将基准地图中近期未包含的地理位置予以去除,例如去除被判定为曾经临时放置的障碍物的地理位置的坐标信息等。
对定位数据集的整合包括以下任一种:将不同次构建的当前定位数据集中的第二定位特征信息整合成统一对应到基准地图中的基准定位数据集;或者将当前定位数据集中的第二定位特征信息整合到已保存的基准定位数据集中。在一些更具体示例中,差分处理当前定位数据集和基准定位数据集中相匹配的定位特征信息,并基于差分定位特征信息更新基准定位数据集中的相应第一定位信息。对定位数据集的整合还包括:将基准定位数据集中近期未包含的第一定位特征信息等予以去除,例如去除被判定为反映曾经临时放置的障碍物的第一定位特征信息等;和/或将当前定位数据集中的第二定位特征信息添加到基准定位数据集中。从而使融合后的地图和定位数据集一共集成了第一移动设备和/或第二移动设备在历史上进行导航移动操作时所采集到的所有地图数据。
例如,第一移动设备在白天自然光光照下进行了第一次导航移动操作Do1,第一移动设备所构建的当前地图P1和当前定位特征数据集D1均为自然光光照下呈现的状态并将其作为基准地图及其基准定位数据集;而在晚上时,在室内灯光的照射下,光照亮度和光照角度都发生了改变,第一移动设备基于第二次导航移动操作Do2所构建的当前地图P2和当前定位特征数据集D2的状态发生了改变。在此,将第一移动设备在晚上构建的当前地图P2及其当前定位数据集D2与白天构建的基准地图P1及其基准定位数据集D1进行融合,由此融合后的基准地图及其基准定位数据集就同时包含了该物理空间白天和晚上的场景下所构建的地图和定位数据集。
又如,所述第一移动设备和/或至少一个第二移动设备已在一物理空间内进行了多次导航移动操作,其基准地图及其基准定位数据集已融合了多次导航移动操作中构建的地图和定位数据集。在第一移动设备和/或至少一个第二移动设备新的一次导航移动操作后,将其构建的当前地图及其当前定位数据集与历史构建的基准地图及其基准定位数据集融合,由此通过不断迭代而构建所述当前地图及其当前定位数据集。
在此,由于每次第一移动设备和/或第二设备的导航移动所收集的各第二定位特征信息与基准定位数据集中的各第一定位特征信息并非完全一致,在进行融合期间需对定位特征信息进行匹配,请参阅图2,其显示为本申请中将基准地图及其基准定位数据集与当前地图及其当前定位数据集融合的步骤流程图。
所述将基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理的步骤包括:步骤S121,确定所述基准定位数据集中的第一定位特征信息及其第一定位坐标信息、和所述当前定位数据集中的第二定位特征信息及其第二定位坐标信息相匹配。
其中,所述基准定位数据集中包含第一定位特征信息及其在基准地图中的第一定位坐标信息,以及所述当前定位数据集中包含第二定位特征信息及其在当前地图中的第二定位坐标信息。服务端确认包含第一定位特征信息及其第一定位坐标信息的信息组合与包含第二定位特征信息及其第二定位坐标信息的信息组合相匹配。
在一些实施方式中,所述步骤S121包括步骤S1211:匹配所述基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息;以及基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
其中,所述匹配定位特征信息的方式举例包括:匹配两数据集中测量定位特征信息所描述的坐标矢量偏差值、或深度矢量偏差值中的至少一种是否在预设测量匹配误差范围内;或者匹配两数据集中视觉定位特征信息所描述的灰度值、灰度分布、颜色值、颜色分布、色差、或灰度阶跃中的至少一种是否在预设图像匹配误差范围内。
在一些示例中,所述服务端遍历地匹配第一定位特征信息和第二定位特征信息,当符合以下至少一种匹配条件时,所述服务端基于相匹配的第一定位特征信息和第二定位特征信息,确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配。其中,所述匹配条件包括:相匹配的第一定位特征信息占第一定位特征信息总和的比例大于一比例阈值,相匹配的第二定位特征信息占第二定位特征信息总和的比例大于一比例阈值,或相匹配的第一定位特征信息的总和大于一总和阈值等,所述匹配条件包括:基于预设权重对上述多种匹配条件进行评价所得到的评价结果满足一评价阈值区间等。
在另一些示例中,为防止第一移动设备在包含相似定位特征信息的不同物理空间内移动,在融合期间出现的融合误差,服务端还匹配各定位特征信息所对应的定位坐标信息。例如,单台或不同移动机器人在统一装修不同户型的房间内清洁期间,所获取的第二定位特征信息可能与其基准定位数据集中的第一定位特征信息具有较高匹配度,但相应的定位坐标信息差异较大。
为此,当第一定位特征信息和第二定位特征信息符合上示例中至少一种匹配条件时,所述步骤S1211还包括:基于相匹配的第一定位特征信息和第二定位特征信息,将各自对应的第一定位坐标信息和第二定位坐标信息进行匹配,以得到相匹配的第一定位坐标信息和第二定位坐标信息。
在此,基于相匹配的第一定位特征信息和第二定位特征信息,统计各自对应的第一定位坐标信息和第二定位坐标信息之间的位置关系误差是否满足预设的位置关系误差条件,若是,则确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配;反之,则确定所匹配的所有第一定位特征信息和第二定位特征信息不匹配。其中,上述位置关系误差条件举例包括以下至少一种及组合:相匹配的定位特征信息在各自地图中的定位坐标信息之间的位移误差小于预设位移误差阈值,相匹配的定位特征信息在各自地图中的定位坐标信息之间的偏角误差小于预设偏角误差阈值,符合预设位移误差阈值的定位坐标信息的数量占相匹配的定位特征信息的数量的比例超出预设比例阈值,符合预设位移误差阈值的定位坐标信息的数量超出预设总量阈值。
为减少计算量,服务端在匹配定位特征信息期间,还根据已匹配的定位特征信息在各自地图中的位置分布,来确定已匹配的定位特征信息各自所对应的定位坐标信息之间的位置关系误差是否满足预设的位置关系误差条件,若是,则确定相应第一定位特征信息所对应的第一定位坐标信息和相应第二定位特征信息所对应的第二定位坐标信息相匹配;反之,则确定所匹配的所有第一定位特征信息和第二定位特征信息不匹配。其中,所述位置分布包括但不限于以下至少一种:1)将相匹配的定位特征信息进行位置聚类;对应地,服务端根据两地图中聚类后的位置分布之间的位置关系误差,从已匹配的定位特征信息中筛选出第一定位特征信息及其第一定位坐标信息,以及第二定位特征信息及其第二定位坐标信息均匹配。2)以相匹配的定位特征信息各自对应的定位坐标信息在各自地图中所描绘的形状作为所述位置分布;对应地,服务端根据两地图中的形状之间的位置关系误差,从已匹配的定位特征信息中筛选出第一定位特征信息及其第一定位坐标信息,以及第二定位特征信息及其第二定位坐标信息均匹配。在再一些实施方式中,服务端利用关键帧图像中所包含的定位特征进行定位特征匹配,为此,在一些实施例中,所述步骤S121包括步骤S1212:将所述当前定位数据集中各第二关键帧图像中的第二定位特征信息与基准定位数据集中各第一关键帧图像中的第一定位特征信息进行匹配处理,以确定所述第二关键帧图像与第一关键帧图像中相匹配的第一定位特征信息和第二定位特征信息;以及基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。其中,各关键帧图像中包含视觉定位特征信息。
在此,以关键帧图像所包含的描述定位特征信息的描述子为匹配索引,来提取两个数据库中各自关键帧图像中待匹配的定位特征信息,再基于对待匹配的两幅关键帧图像所包含的多个定位特征信息在各自关键帧图像中的像素位置关系来确定第二关键帧图像与第一关键帧图像中相匹配的第一定位特征信息和第二定位特征信息。例如,服务端以两个数据库中对应同一关键帧图像的多个定位特征信息的描述子(或描述子的摘要)进行粗略的第一次匹配,并利用预设的第一次匹配条件筛选出待进一步匹配的第二关键帧图像及其第二定位特征信息,以及第一关键帧图像及其第一定位特征信息,其中,所述第一次匹配条件包括但不限于:两个描述子中相符的比例在预设比例值以上,或两幅关键帧图像中符合相符条件的描述子的数量在预设数量值以上等。又如,服务端利用频率直方图的相似性条件,对两个数据库中关键帧图像进行粗略的第一次匹配,以筛选出待进一步匹配的第二关键帧图像及其第二定位特征信息,以及各自对应的第一关键帧图像及其第一定位特征信息。
服务端基于图像匹配技术将待进一步匹配的第二关键帧图像及其第二定位特征信息,以及第一关键帧图像及其第一定位特征信息进行逐一匹配,其中,所述图像匹配技术包括但不限于匹配第一关键帧图像P1中多个第一定位特征信息所构成的形状与第二关键帧图像P2中多个第二定位特征信息所构成的形状之间的图像特征误差,若所述图像特征误差符合预设的图像特征误差条件,则确定相应两定位特征信息相匹配,反之,则不匹配。其中,所述图像特征误差条件包括但不限于以下至少一种:两个形状的边、角是否符合图像的平移、旋转和尺度不变性等匹配条件;第一定位特征信息的描述子和第二定位特征信息的描述子之间的误差小于预设误差阈值等。
在一些更具体示例中,服务端将所匹配的第一定位特征信息和第二定位特征信息各自所对应的第一定位坐标信息与第二定位坐标信息相匹配。在另一些更具体示例中,服务端利用前述各示例中所提及的坐标匹配方式对相匹配的定位特征信息各自所对应的定位坐标信息进行匹配操作,筛选出相匹配的第一定位特征信息及其第一定位坐标信息和第二定位特征信息及其第二定位坐标信息。
在又一些实施例中,当前地图描绘了第一移动设备沿一次导航移动的路线而检测到的物理空间的地理信息;换言之,当前地图是基于第一移动设备在移动期间的位置和姿态而确定的。由此可见,基于第一移动设备的导航移动而构建的当前地图与物理空间的主方向之间具有基于第一移动设备的姿态而产生的偏角差异。
为了在减少计算量的同时提供与物理空间的主方向基本一致的基准地图及其基准定位数据集,所述步骤S121还包括步骤S1213,基于物理空间的主方向而对任一或全部定位数据集进行调整,使得融合后的基准地图及其基准定位数据集与物理空间的主方向基本一致,由此便于多设备与用户交互时,便于用户辨识各设备在物理空间中的位置。
在此,第一移动设备所在物理空间通常具有一个或两个主方向。在一些示例中,所述主方向用于描述构成所述物理空间的分隔体的摆放方向,其中,所述分隔体举例包括墙、窗、屏风等。例如,所述第一移动设备在家居室内中导航移动,所述物理空间的主方向包含沿房间的墙体而确定的两个相交方向。在另一些示例中,所述主方向用于描述物理空间内藉由所摆放的分隔体而构建的可供移动的道路方向,其中,所述分隔体举例为沿路设置的标志线、路肩石、货架等。例如,所述第一移动设备在隧道中导航移动,所述物理空间的主方向为沿着基于隧道墙体所构建的道路而确定的单一方向。又如,所述第一移动设备在仓库中导航移动,所述物理空间的主方向为基于仓库货架所构建的沿相交道路而确定的两个方向。
为此,在一些示例中,所述步骤S1213包括:分析所述当前定位数据集中第二定位特征信息中的第二关键帧图像,确定所述第二关键帧图像所对应的第二坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置;以便通过执行步骤S1212来匹配调整后的第二关键帧图像中的第二定位特征信息与调整后的第一关键帧图像中的第一定位特征信息,以及确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
在此,第一移动设备在不同次导航移动期间,历次构建的地图均与物理空间的主方向之间具有各自的偏角差异。为便于将具有不同偏角差异的两幅地图融合在一起,在一种示例中,所述基准地图及其基准视觉数据集是基于所述物理空间主方向而构建的。为此,基于当前定位数据集中第二关键帧图像及其对应的第二坐标信息之间的对应关系,来确定该第二坐标信息相对于物理空间主方向的第二相对方位关系,进而基于所确定的第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置,再利用调整后的第二定位特征信息和所匹配的第一定位特征信息,执行前述融合操作。如此,可有效减少因所述偏角差异而带来的定位特征错误匹配,以及减少融合计算量。
在一些具体示例中,从所述第二关键帧图像的第二定位特征信息中选取直线线段,根据所识别出的特征线段确定在物理空间中第一移动设备与分隔体之间的第二相对方位关系。在此,公开号为CN109074084A的专利申请中提供一种根据所识别出的特征线段确定在物理空间中第一移动设备与分隔体之间的第二相对方位关系的技术方案,在此全文引用。其中,所述第二关键帧图像对应于所援引文件中机器人移动期间所摄取的图像,所述第一移动设备对应于所援引文件中的机器人,以及所述第二相对方位关系对应于所援引文件中的相对的方位关系,在此不再详述。
在确定所述第二相对方位关系后,基于所确定的第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。在一些更具体示例中,第二关键帧图像中的像素坐标与当前地图所构建的地图坐标之间的对应关系可以是默认的。例如,摄像装置的主光轴与第一移动设备的移动平面基本垂直,可构建与地图坐标系中具有一致角度关系的像素坐标系,由此基于所述第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。在另一些更具体示例中,第二关键帧图像中的像素坐标与当前地图所构建的地图坐标之间的对应关系是基于摄像装置在第一移动设备上所安装的倾斜角度、和相机参数而设置的,所述对应关系可与所述当前定位数据集一并获取,由此基于所述第二相对方位关系调整所述第二关键帧图像中的第二定位特征信息的像素位置。
在又一些具体示例中,基于所述第一关键帧图像的第一定位特征信息提取直线线段,例如,利用图像的膨胀算法将多个第一定位特征信息进行连线处理,并基于预设的直度和/或长度特征提取其中的直线线段,再利用前述具体示例确定第一相对方位关系,以及调整所述第一关键帧中的第一定位特征信息的像素位置。
根据实际调整情况,调整后的第二关键帧中的第二定位特征信息与相匹配的第一关键帧中的第一定位特征信息具有重叠、相差180°或相差±90°。与直接匹配的方式相比,上述预处理过程有利于优化可匹配的定位特征信息的算法,减少匹配过程中的多步计算。
在另一些示例中,与前述分析第二关键帧图像并调整第二定位特征信息相似,在一些情况中,所获取的当前地图及其当前视觉定位数据库已在第一移动设备侧被调整,故而本步骤还可以分析所述基准定位数据集中第一定位特征信息中的第一关键帧图像,确定所述第一关键帧图像所对应的第一坐标信息相对于所述物理空间主方向的第一相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置。
其中,所述确定第一相对方位关系的方式可与确定第二相对方位关系的方式相同或相似,在此不再详述。所述调整在第一关键帧图像中的第一定位特征信息的像素位置的方式可与调整第二定位特征信息的像素位置的方式相同或相似,在此不再详述。
在又一些示例中,本步骤还可以结合前述两示例:分析所述第一定位特征信息中的第一关键帧图像,确定所述第一关键帧图像所对应的第一坐标信息相对于所述物理空间主方向的第一相对方位关系,以及分析所述当前定位数据集中第二定位特征信息中的第二关键帧图像,确定所述第二关键帧图像所对应的第二坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置,以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置。由此得到均基于物理空间主方向而确定的各定位特征在各关键帧图像中的像素位置。
基于调整后的第一定位特征信息和/或第二定位特征信息执行前述步骤S1212,以得到相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
基于上述各示例而得到的匹配结果,所述服务端执行步骤S122。
在步骤S122中,基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。其中,藉由相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,服务端得到当前地图和基准地图中的位移、角度偏差,以及得到当前定位数据集和基准定位数据集中至少相匹配的定位特征信息的特征偏差;并利用所得到的各偏差信息融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。
在一些示例中,所述步骤S122包括步骤S1221,基于相匹配的第一定位坐标信息和第二定位坐标信息之间的坐标偏差信息修正基准地图和/或当前地图中的坐标误差。
在此,服务端统计各相匹配的第一定位坐标信息和第二定位坐标信息之间的位移偏差信息和角度偏差信息,以得到平均位移偏差信息和平均角度偏差信息,并根据所得到的平均位移偏差信息和平均角度偏差信息,修正基准地图和/或当前地图中的各坐标信息。
所述步骤S122还包括步骤S1222,基于修正后的至少一个地图执行合并操作,以得到新的基准地图。
在一些具体示例中,服务端将修正后的地图作为新的基准地图。在另一些具体示例中,服务端确定修正后的基准地图与修正前(或后)的当前地图之间的重叠区域,并基于重叠区域更新基准地图,以得到新的基准地图。例如,服务端重叠修正后的基准地图和修正后的当前地图,以确定两地图之间的重叠区域,并根据修正后的当前地图更新修正后的基准地图中未重叠的区域,以得到新的基准地图。
所述步骤S122还包括步骤S1223,将基准定位数据集和当前定位数据集中至少相匹配的第一定位特征信息和第二定位特征信息标记在新的基准地图上,以得到新的定位坐标信息。
在此,服务端根据对地图中各坐标信息的修正操作,将定位特征信息所对应的定位坐标信息修正后标记在新的基准地图中。例如,根据前述提及的平均位移偏差信息和平均角度偏差信息,修正基准定位数据集和/或当前定位数据集中所有定位特征信息所对应的定位坐标,以得到新的定位坐标信息。又如,根据相匹配的第一定位坐标信息和第二定位坐标信息之间的位移偏差信息和角度偏差信息,修正其中的第一定位坐标信息或第二定位坐标信息,以标记在新的基准地图中。
所述步骤S122还包括融合两个定位数据集以得到新的基准定位数据集的步骤,该步骤至少包括以下步骤S1224和/或步骤S1225。
在步骤S1224中,基于相匹配的第一定位特征信息和第二定位特征信息之间的定位特征偏差信息调整基准定位数据集或当前定位数据集。
在一些具体示例中,相匹配的第一定位特征信息和第二定位特征信息为测量定位特征信息,服务端根据相匹配的第一定位特征信息和第二定位特征信息之间的矢量偏差信息,调整基准定位数据集或当前定位数据集中对应的第一定位特征信息或第二定位特征信息,以得到新的基准定位数据集中的新的第一特征信息。例如,相匹配的第一定位特征信息和第二定位特征信息均为测量定位特征信息,并由多个首位相连的位置偏移矢量描述,利用该第一定位特征信息和第二定位特征信息之间的矢量偏差信息(包含位移偏差信息和角度偏差信息),调整对应的第一定位特征信息或第二定位特征信息。
在一些具体示例中,相匹配的第一定位特征信息和第二定位特征信息为视觉定位特征信息,服务端根据相匹配的第一定位特征信息和第二定位特征信息之间的特征偏差信息,调整基准定位数据集或当前定位数据集中对应的第一定位特征信息或第二定位特征信息,以得到新的基准定位数据集中的新的第一特征信息。例如,相匹配的第一定位特征信息和第二定位特征信息均为视觉定位特征信息,并由描述子描述,利用该第一定位特征信息和第二定位特征信息之间的特征偏差信息(包含灰度偏差信息和/或亮度偏差信息),调整对应的第一定位特征信息或第二定位特征信息。
在步骤S1225中,将当前定位数据集中未匹配的各第二定位特征信添加至基准定位数据集中,或者,将基准定位数据集中未匹配的各第一定位特征信息添加至当前定位数据集中。
在此,服务端通过执行任一种添加操作,将两个定位数据集中未匹配的定位特征信息予以补充,以使新的基准数据集能够提供更丰富的定位特征信息。
基于上述融合操作,第一移动设备可根据新的基准地图和新的基准定位数据集执行下一次的导航操作。
在又一些实施方式中,所述第一移动设备所提供的当前地图和当前定位数据集并未基于其使用的基准地图及基准定位数据集进行构建,为此,所述更新地图的方法还包括:
调整所述基准地图或当前地图直至调整后两幅地图符合预设的重叠条件的步骤;以便基于调整后的两地图确定所述基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
其中,所述重叠条件包括但不限于:调整后的基准地图和当前地图中表示障碍物位置的坐标信息之间的整体或边缘坐标的误差小于预设的坐标误差值,或调整后的基准地图和当前地图所形成的两地图图像数据之间的整体或边缘像素的误差小于预设像素误差值。
在此,所述调整基准地图或当前地图的方式可基于预设的单位角度和单位位移逐步调整,和/或基于统计两地图中相匹配的测量定位特征信息之间的位移和角度差异进行对应的平移和旋转操作。在符合重叠条件后,确定所调整的位移和角度,并对应调整基准定位数据集中的各第一定位坐标信息、关键帧图像的图像坐标信息等,在此基础上,执行前述匹配和融合操作。在此不再详述。在又一些实施方式中,不同的物理空间内可能有部分的定位特征信息相同,为避免第一移动设备将两个具有部分相同定位特征信息的不同物理空间识别为同一物理空间,在一些示例中,服务端可通过匹配地图的边界信息来确定是否为同一物理空间。
在又一些示例中,所述更新地图的方法还包括检测所述当前地图的完整程度,和/或检测所述当前定位数据集的信息量;基于所得到的检测结果执行所述数据融合处理的操作的步骤。
其中,所述检测当前地图的完整程度的方式包括:基于预设的时长条件,检测绘制当前地图所花费的时长从而确定当前地图的完整度;基于预设的轮廓条件,检测当前地图中轮廓数据从而确定当前地图的完整度;基于当前地图与基准地图的重叠条件,检测当前地图的完整度。
其中,所述检测当前定位数据集的信息量的方式包括:基于预设的总数量条件,检测定位数据集中不同第二定位特征信息的总数量;和/或基于预设的差分总数量条件,检测当前定位数据集和基准定位数据集中未匹配的第二定位特征信息的数量等。
在此,上述各检测方式并非择一而设,可根据实际情况选择其中一个或多个检测方式进行检测,由此减少不必要的融合操作。
在一些具体示例中,所述第一移动设备并非每一次都在所述物理空间内进行了完整的导航移动操作,例如在家庭环境中,扫地机器人工作的过程中用户需要外出,需要扫地机器人停止当前操作。在这种情况下,需要通过检测当前地图的完整程度,或检测当前定位数据集的信息量,或同时对当前地图的完整程度和当前定位数据集的信息量进行检测,从而确定是否需要将当前地图及其当前定位数据集与基准地图及其基准定位数据集进行融合。
在又一些具体示例中,可以获取第一移动设备执行当前导航移动操作任务所花费的时间,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作所花费的时间进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务所花费的时间与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务所花费的时间的比值等。
在另一些具体示例中,可以通过获取第一移动设备执行当前导航移动操作任务时电机的运行数据,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作时的电机数据进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务时电机数据与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务时电机数据的比值等。
在再一些具体示例中,可以获取第一移动设备执行当前导航移动操作任务所移动的距离,并将其与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作所移动的距离进行比较,从而基于预设的条件确定是否需要进行融合,所述预设的条件可以是第一移动设备执行当前导航移动操作任务所移动的距离与所述第一移动设备在历史上在执行所述物理空间内的导航移动操作任务所移动的距离的比值等。
在利用上述任一示例完成融合操作后,将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。在此,融合后的地图及其定位数据集被保存在存储介质中。所述基准地图及其基准定位数据集可以是主动推送至所述第一移动设备,也可以是基于第一移动设备的请求而下载。
在一些示例中,服务端执行所述融合操作后,将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第一移动设备,以便在下一次导航移动操作时第一移动设备使用新的基准地图及其基准定位数据集。
在又一些示例中,服务端还执行将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述基准地图上的步骤。
在此,在所述物理空间内除了可进行导航移动操作的第一移动设备外,还包括布局在所述物理空间内的配置有摄像装置的第二设备。所述第二设备包括前述提及的第二移动设备,和/或固定安装在所述物理空间内并配置有摄像装置的电子设备,例如安防摄像头等。服务端还获取第二设备所摄取的第三关键帧图像,并通过匹配第三关键帧图像中第三定位特征信息与基准定位数据集中的第一关键帧图像中第一定位特征信息,确定第二设备在基准地图中的坐标位置,并将第二设备的位置标记在所述基准地图中,并将标记有第二设备位置的基准地图及其基准定位数据集发送至第一移动设备。
如此,在一些具体示例中,用户可藉由智能终端与标记有基准地图的第一移动设备和/或各第二设备进行交互。例如,用户在终端设备上向配置有摄像装置的第二设备发出指令后,所述第二设备可基于基准地图及其基准定位数据集执行用户的指令。第一移动设备基于所使用基准地图与相应的第二设备进行交互。例如,用户直向第一移动设备的摄像头作出手势指令,所述第一移动设备与第二设备进行通讯,使第二设备基于手势指令与基准地图及其基准定位数据集执行用户的指令等。
综上所述,本申请中所构建的地图为持久化地图,即移动设备在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的地图构建方式可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的更新地图方法可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。
本申请还提供一种服务端。请参阅图3,其显示为本申请服务端的一实施例结构示意图,如图所示,所述第一移动设备在导航移动操作过程中构建的基准地图及其基准定位数据集及当前地图及其当前定位数据集被储存在服务端中。所述服务端包括但不限于单台服务器、服务器集群、分布式服务器群、云服务端等。在此,根据实际设计,所述服务端由云提供商所提供的云服务端提供。其中,所述云服务端包括公共云(Public Cloud)服务端与私有云(Private Cloud)服务端,其中,所述公共或私有云服务端包括Software-as-a-Service(软件即服务,SaaS)、Platform-as-a-Service(平台即服务,PaaS)及Infrastructure-as-a-Service(基础设施即服务,IaaS)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等等。
所述服务端与位于一物理空间中的第一移动设备通信连接。其中,所述物理空间表示为移动设备进行导航移动而提供的物理上的空间,所述物理空间包括但不限于以下任一种:室内/室外空间、道路空间、飞行空间等。例如在一些实施例中,所述移动设备为无人机,则所述物理空间对应为飞行空间;在另一些实施例中,所述移动设备为具有自动驾驶功能的车辆,则所述物理空间对应为无法获得定位的隧道道路或网络信号弱但需要导航的道路空间;在再一些实施例中,所述移动设备为扫地机器人,则所述物理空间对应为室内或室外的空间。所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括第一移动设备和/或至少一个第二移动设备,其中,所述第一移动设备和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,第一移动设备和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,第一移动设备为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,第一移动设备和第二移动设备均为车载终端。所述第一移动设备或第二移动设备还可以是巡逻机器人等。
请继续参阅图3,所述服务端包括接口装置11、存储装置12、以及处理装置13。其中,存储装置12包含非易失性存储器、存储服务器等。其中,所述非易失性存储器举例为固态硬盘或U盘等。所述存储服务器用于存储所获取的各种用电相关信息和供电相关信息。接口装置11包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232等。所述接口装置与所述控制系统、第三方系统、互联网等数据连接。处理装置13连接接口装置11和存储装置12,其包含:CPU或集成有CPU的芯片、可编程逻辑器件(FPGA)和多核处理器中的至少一种。处理装置13还包括内存、寄存器等用于临时存储数据的存储器。
所述接口装置11用于与位于一物理空间中的第一移动设备进行数据通信。在此,所述接口装置11举例为以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙等)的网络接口装置等,由此与第一移动设备通信连接。
所述存储装置12用以存储用于提供给所述第一移动设备的基准地图及其基准定位数据集,存储来自所述第一移动设备在所述物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集,以及存储至少一个程序。在此,所述存储装置12举例包括设置在服务端的硬盘并储存有所述至少一种程序。服务端将基准地图及其基准定位数据集存储在该存储装置12中,当需要调用基准地图及其基准定位数据集时,所述存储装置12将基准地图及其基准定位数据集提供给接口装置11,同时,所述存储装置12存储来自接口装置11的当前地图及其当前定位数据集。当需要融合基准地图及其基准定位数据集与当前地图及其当前定位数据集时,所述存储装置12将基准地图及其基准定位数据集与当前地图及其当前定位数据集提供给处理装置13。
所述处理装置13用于调用所述至少一个程序以协调所述接口装置和存储装置执行前述任一示例所提及的更新地图的方法。其中,所述更新地图的方法如图1及所对应的描述所示,在此不再重述。
在一些情况下,更新地图的步骤也可以由移动机器人完成。在此,提供一种移动机器人,请参阅图4,其显示为一种移动机器人的模块结构实施例示意图。如图所示,所述移动机器人2包括存储装置24、移动装置23、定位感应装置21和处理装置22。
所述存储装置用于存储描述物理空间的基准地图及其基准定位数据集,在所述物理空间内执行导航移动操作所构建的当前地图和当前定位数据集,以及至少一个程序;所述移动装置用于基于所述基准地图而确定的导航路线执行移动操作;所述定位感应装置用于在执行导航移动操作期间收集第二定位特征信息,以构成当前定位数据集;所述处理装置与所述存储装置、摄像装置和移动装置相连,用于调用并执行所述至少一个程序,以协调所述存储装置、摄像装置和移动装置。其中,所述定位感应装置包括但不限于以下至少一种:摄像装置、红外测距装置、激光测距装置、角度传感器、位移传感器、计数器等。其中,激光测距传感器、红外测距传感器等测量感测装置配置在移动机器人体侧。角度传感器、位移传感器、计数器等测量感应装置设置在移动机器人的移动控制系统(如驱动电机、滚轮等)上。2D摄像装置、3D摄像装置等视觉感应装置设置在移动机器人的体侧或顶部。
例如,移动机器人在一物理空间导航移动操作时,所述处理装置22基于基准地图及其基准定位数据集为移动装置23进行导航,并通过所述定位感应装置21中的摄像装置摄取关键帧图像并提供给所述处理装置22,所述处理装置22基于所述摄像装置提供的关键帧图像构建当前地图和当前定位数据集并提供给存储装置24存储。移动机器人在充电或系统资源占用率较低的时候,处理装置22从存储装置24中读取当前地图及其当前定位数据集,并启动对基准地图及其基准定位数据集的构建。
在此,所存储的基准地图及其基准定位数据集是基于所述移动机器人自身和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的,即所述基准地图及其基准定位数据集是至少一个移动设备在同一物理空间中进行多次导航移动而各自构建的地图及其定位数据集融合后得到的。所述基准地图及其基准定位数据集构成前述地图数据。其中,所述移动设备配置有摄像装置、移动传感装置等为自主移动提供导航数据的感测装置;其包括移动机器人和/或至少一个第二移动设备,其中,所述移动机器人和第二移动设备可以为同类设备或不同类设备。例如,在仓储空间中,移动机器人和第二移动设备均为具有自主导航能力的搬运车。又如,在室内空间中,移动机器人为清洁机器人,第二移动设备为家庭陪伴机器人。再如,在隧道空间中,移动机器人和第二移动设备均为车载终端。所述移动机器人或第二移动设备还可以是巡逻机器人等。
在一个示例性的实施例中,所述移动机器人还包括接口装置,用于与至少一个第二移动设备进行数据通信;在一些实施例中,所述处理装置还执行获取所述第二移动设备所提供的第三地图和第三定位数据集的操作,以便将所述基准地图及其基准定位数据集、所述第二地图及其第二定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。例如,在一物理空间中包括移动机器人和一第二移动设备,所述移动机器人在导航移动操作过程中构建了当前地图及其当前定位数据集,所述第二移动设备在导航移动操作过程中构建了第三地图及其第三定位数据集,所述移动机器人通过接口装置接收来自所述第二移动设备的数据,并将基准地图及其基准定位数据集、所述当前地图及其当前定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。在一些情况下,物理空间中除所述移动机器人外还包含多个第二移动设备,因此在多个第二移动设备进行导航移动操作的过程中会构建多个第三地图及其第三定位数据集,所述移动机器人通过接口装置接收所述多个第三地图及其第三定位数据集,并将多个第三地图及其第三定位数据集与基准地图及其基准定位数据集和第二地图及其第二定位数据集进行数据融合处理。
在一个示例性的实施例中,请参阅图5,其显示为本申请中移动机器人在一工作中的流程实施例示意图。如图所示,在步骤S210中,所述机器人将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理。
应当理解,所述融合指将不同次构建的地图和定位数据集进行整合。其中,对地图的整合包括以下任一种:将不同次构建的当前地图中的各坐标信息整合成统一的基准地图中的各坐标信息;或者将当前地图中的各坐标信息整合到基准地图中。在一些更具体示例中,差分处理第二地图与基准地图,得到当前地图中的差分坐标信息,并将其整合到基准地图中。对地图的整合还包括将基准地图中近期未包含的地理位置予以去除,例如去除被判定为曾经临时放置的障碍物的地理位置的坐标信息等。
对定位数据集的整合包括以下任一种:将不同次构建的当前定位数据集中的第二定位特征信息整合成统一的基准地图中的各第一定位特征信息;或者将第二定位数据集中的第二定位特征信息整合到基准定位数据集中。在一些更具体示例中,差分处理当前定位数据集和基准定位数据集得到差分定位特征信息,并基于差分定位特征信息整合两个定位数据集。对定位数据集的整合还包括将基准定位数据集中近期未包含的第一定位特征信息等予以去除,例如去除被判定为反映曾经临时放置的障碍物的第一定位特征信息等。从而使融合后的地图和定位数据集一共集成了移动机器人和/或第二移动设备在历史上进行导航移动操作时所采集到的所有地图数据。
例如,移动机器人在白天自然光光照下进行了第一次导航移动操作Do1,移动机器人所构建的当前地图P1和当前定位特征数据集D1均为自然光光照下呈现的状态并将其作为基准地图及其基准定位数据集;而在晚上时,在室内灯光的照射下,光照亮度和光照角度都发生了改变,移动机器人基于第二次导航移动操作Do2所构建的当前地图P2和当前定位特征数据集D2的状态发生了改变。在此,将移动机器人在晚上构建的当前地图P2及其当前定位数据集D2与白天构建的基准地图P1及其基准定位数据集D1进行融合,由此融合后的基准地图及其基准定位数据集就同时包含了该物理空间白天和晚上的场景下所构建的地图和定位数据集。
又如,所述移动机器人和/或至少一个第二移动设备已在一物理空间内进行了多次导航移动操作,其基准地图及其基准定位数据集已融合了多次导航移动操作中构建的地图和定位数据集。在移动机器人和/或至少一个第二移动设备新的一次导航移动操作后,将其构建的当前地图及其当前定位数据集与历史构建的基准地图及其基准定位数据集融合,由此通过不断迭代而构建所述当前地图及其当前定位数据集。
在此,所述移动机器人执行步骤S210的过程与前述示例中第一设备执行步骤S120的过程相同或相似,在此不再详述。
在利用上述任一示例完成融合操作后,所述移动机器人执行步骤S220,将数据融合后的地图及其定位数据集作为所述移动机器人中新的基准地图及其基准定位数据集,并予以存储。
在一些示例中,移动机器人执行所述将数据融合后的地图及其定位数据集作为所述移动机器人中新的基准地图及其基准定位数据集并存储在所述存储装置中的步骤后,还将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第二移动设备。在此,移动机器人的处理装置在融合了基准地图及其基准定位数据集与第二地图及其第二定位数据集后,将融合后的新的基准地图及其基准定位数据集发送到第二移动设备中,以便在下一次导航移动操作时使用新的基准地图及其基准定位数据集。
在又一些示例中,处理装置还执行将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述地图上的步骤。
在此,在所述物理空间内除了可进行导航移动操作的移动机器人外,还包括布局在所述物理空间内的配置有摄像装置的第二设备。所述第二设备包括前述提及的第二移动设备,和/或固定安装在所述物理空间内并配置有摄像装置的电子设备,例如安防摄像头等。移动机器人还获取第二设备所摄取的第三关键帧图像,并通过匹配第三关键帧图像中第三定位特征信息与基准定位数据集中的第一关键帧图像中第一定位特征信息,确定第二设备在基准地图中的坐标位置,并将第二设备的位置标记在所述基准地图中,并将标记有第二设备位置的基准地图及其基准定位数据集发送至移动机器人的存储装置。
如此,在一些具体示例中,用户可藉由智能终端与标记有基准地图的移动机器人和/或各第二设备进行交互。例如,用户在终端设备上向配置有摄像装置的第二设备发出指令后,所述第二设备可基于基准地图及其基准定位数据集执行用户的指令。移动机器人基于所使用基准地图与相应的第二设备进行交互。例如,用户直向移动机器人的摄像头作出手势指令,所述移动机器人与第二设备进行通讯,使第二设备基于手势指令与基准地图及其基准定位数据集执行用户的指令等。
综上所述,本申请中移动机器人所构建的地图为持久化地图,即移动机器人在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请中的移动机器人不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的移动机器人可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请中移动机器人的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的移动机器人可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。
依据本申请所提及的技术方案,本申请还提供一种移动机器人,请参阅图6,其显示为本申请中移动机器人的另一实施例示意图。如图所示,所述移动机器人3包括:接口装置35,用于与一服务端进行数据通信;存储装置34,用于存储用于在一物理空间内导航移动操作期间提供导航服务的基准地图及其基准定位数据集,存储在执行所述导航移动操作期间所构建的当前地图及其当前定位数据集,以及存储至少一个程序;处理装置32,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如下方法:将所述当前地图及其当前定位数据集发送至所述服务端;以及获取所述服务端返回的新的基准地图及其基准定位数据集,并更新所存储的基准地图及其基准定位数据集;其中,所获取的新的基准地图及其基准定位数据集是所述服务端将更新前的基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合后得到的。在此,所述移动机器人3通过调用其存储装置34中的基准地图及其基准定位数据集完成导航移动操作,并在该导航移动操作过程中构建当前地图及其当前定位数据集。所述移动机器人将其在导航移动操作过程中构建的当前地图及其当前定位数据集存储在所述存储装置34中。所述移动机器人3的处理装置32调用所述存储装置中的当前地图及其当前定位数据集,通过接口装置35将所述当前地图及其当前定位数据集发送给服务端。在服务端侧完成基准地图及其基准定位数据集与所述当前地图及其当前定位数据集的融合步骤后,形成新的基准地图及其基准定位数据集。所述服务端将新的基准地图及其基准定位数据集发送给所述移动机器人3的接口装置35,并通过处理装置32将所述新的基准地图及其基准定位数据集存储在存储装置34中。
其中,所述服务端藉由数据融合更新基准地图及其基准定位数据集的方式与前述更新地图的方法示例相同或相似,在此不再详述。
在一个示例性的实施例中,物理空间中包括移动机器人和至少一个第二移动设备,所述至少一个第二移动设备在所述物理空间的导航移动操作过程中构建第三地图及其第三定位数据集。在此,所述新的基准地图及其基准定位数据集还融合有至少一个第二移动设备所提供的第三地图及其第三定位数据集。
本申请中公开的移动机器人可配合服务端共同构建持久化地图,该持久化地图可使移动机器人在重新开机后的地图与上一次工作的地图在同一坐标系中。如此,用户可在终端设备上对地图进行标注处理,以设置移动设备的工作区域和工作方式。例如,用户在终端设备上在地图中标注需要每天工作多次的区域或禁止进入的区域或指定某一区域工作。同时,由于同样的物理空间在不同的时间段的视觉信息会有较大差异。因此,本申请中的移动机器人不只获取一次的工作记录,还持续不断地收集信息并将其进行融合,以丰富定位特征,并随着时间的积累,在多次工作后,可使地图在不同的时段和光照条件下为移动设备提供定位。另外,本申请公开的移动机器人可得到一种更稳定的地图,为用户和设备之间的交互提供便利,同时也节省了计算资源,解决了现有技术中边定位变构图造成的计算资源紧张。本申请中移动机器人的持久化地图在定位成功后可直接使用,如果原先每秒需要创建许多个定位特征,则采用本申请的移动机器人可仅创建基准地图及其基准定位数据集未涵盖的定位特征即可。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (21)
1.一种更新地图的方法,其特征在于,包括:
获取第一移动设备在一物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集;其中,所述第一移动设备是利用预先存储的对应所述物理空间的基准地图及其基准定位数据集进行导航移动的;
将所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理;
将数据融合后的地图及其定位数据集作为所述第一移动设备中新的基准地图及其基准定位数据集。
2.根据权利要求1所述的更新地图的方法,其特征在于,所述基准地图及其基准定位数据集是基于所述第一移动设备和/或至少一个第二移动设备在所述物理空间内分别执行至少一次导航移动操作而构建的。
3.根据权利要求1所述的更新地图的方法,其特征在于,所述将基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合处理的步骤包括:
确定所述基准定位数据集中的第一定位特征信息及其第一定位坐标信息、和所述当前定位数据集中的第二定位特征信息及其第二定位坐标信息相匹配;
基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集。
4.根据权利要求3所述的更新地图的方法,其特征在于,所述确定基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:
匹配所述基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息;
基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
5.根据权利要求4所述的更新地图的方法,其特征在于,所述基于所得到的匹配结果确定相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息的步骤包括:
基于相匹配的第一定位特征信息和第二定位特征信息,将各自对应的第一定位坐标信息和第二定位坐标信息进行匹配,以得到相匹配的第一定位坐标信息和第二定位坐标信息。
6.根据权利要求4所述的更新地图的方法,其特征在于,所述第一定位特征信息包含基于基准地图中的空间特征而确定的第一测量定位特征信息,以及所述第二定位特征信息包含基于当前地图中的空间特征而确定的第二测量定位特征信息;和/或
所述第一定位特征信息包含从基准定位数据集中的第一关键帧图像中提取的第一视觉定位特征信息;所述第二定位特征信息包含从当前定位数据集中的第二关键帧图像中提取的第二视觉定位特征信息。
7.根据权利要求6所述的更新地图的方法,其特征在于,所述第一测量定位特征信息包括以下至少一种:基于基准地图中空间特征的坐标信息组合而确定的测量数据,根据用于描述基准地图中空间特征的深度信息组合而确定的测量数据;以及
所述第二测量定位特征信息包括以下至少一种:基于当前地图中对应空间特征的坐标信息组合而确定的测量数据,根据用于描述当前地图中空间特征的深度信息组合而确定的测量数据。
8.根据权利要求4所述的更新地图的方法,其特征在于,所述匹配基准定位数据集中的各第一定位特征信息和所述当前定位数据集中的各第二定位特征信息的步骤包括:
将所述当前定位数据集中各第二关键帧图像中的第二定位特征信息与基准定位数据集中各第一关键帧图像中的第一定位特征信息进行匹配处理,以确定所述第一关键帧图像与第二关键帧图像中相匹配的第一定位特征信息和第二定位特征信息。
9.根据权利要求8所述的更新地图的方法,其特征在于,还包括:
分析所述基准定位数据集中的第一关键帧图像,确定所述第一关键帧图像所对应的第一图像坐标信息相对于所述物理空间主方向的第一相对方位关系;以及基于所述第一相对方位关系调整在所述第一关键帧图像中的第一定位特征信息的像素位置;和/或
分析所述当前定位数据集中的第二关键帧图像,确定所述第二关键帧图像所对应的第二图像坐标信息相对于所述物理空间主方向的第二相对方位关系;以及基于所述第二相对方位关系调整在所述第二关键帧图像中的第二定位特征信息的像素位置;
以便匹配调整后的第二关键帧图像中的第二定位特征信息与调整后的第一关键帧图像中的第一定位特征信息。
10.根据权利要求3所述的更新地图的方法,其特征在于,还包括:调整所述基准地图或当前地图直至调整后两幅地图符合预设的重叠条件的步骤;以便基于调整后的两地图确定所述基准定位数据集和所述当前定位数据集中相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息。
11.根据权利要求3所述的更新地图的方法,其特征在于,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括:
基于相匹配的第一定位坐标信息和第二定位坐标信息之间的坐标偏差信息修正基准地图和/或当前地图中的坐标误差;
基于修正后的至少一个地图执行合并操作,以得到新的基准地图;以及
将基准定位数据集和当前定位数据集中至少相匹配的第一定位特征信息和第二定位特征信息标记在新的基准地图上,以得到新的定位坐标信息。
12.根据权利要求3或11所述的更新地图的方法,其特征在于,所述基于相匹配的第一定位特征信息及其第一定位坐标信息、和第二定位特征信息及其第二定位坐标信息,融合所述基准地图及其基准定位数据集和所述当前地图及其当前定位数据集的步骤包括以下至少一个步骤,以得到新的基准定位数据集:
基于相匹配的第一定位特征信息和第二定位特征信息之间的定位特征偏差信息调整基准定位数据集或当前定位数据集;
将当前定位数据集中未匹配的各第二定位特征信添加至基准定位数据集中,或者,将基准定位数据集中未匹配的各第一定位特征信息添加至当前定位数据集中。
13.根据权利要求1所述的更新地图的方法,其特征在于,还包括以下步骤:
检测所述当前地图的完整程度,和/或检测所述当前定位数据集的信息量;
基于所得到的检测结果执行所述数据融合处理的操作。
14.根据权利要求1所述的更新地图的方法,其特征在于,还包括将新的基准地图及其基准定位数据集发送至位于所述物理空间中的第一移动设备的步骤。
15.根据权利要求1所述的更新地图的方法,其特征在于,还包括将位于所述物理空间内的至少一个配置有摄像装置的第二设备的位置标记在所述基准地图上的步骤。
16.一种服务端,其特征在于,包括:
接口装置,用于与位于一物理空间中的第一移动设备进行数据通信;
存储装置,用于存储用于提供给所述第一移动设备的基准地图及其基准定位数据集,存储来自所述第一移动设备在所述物理空间内执行导航移动操作所构建的当前地图及其当前定位数据集,以及存储至少一个程序;
处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如权利要求1-15中任一所述的方法。
17.一种移动机器人,其特征在于,包括:
存储装置,用于存储一基准地图及其基准定位数据集,当前地图和当前定位数据集,以及至少一个程序;其中,所述当前地图和当前定位数据集为所述移动机器人执行一次导航移动操作所构建的;所述基准地图及其基准定位数据集为所述移动机器人执行所述导航移动操作所使用的;
移动装置,用于基于所述基准地图而确定的导航路线执行移动操作;
定位感应装置,用于在执行导航移动操作期间收集第二定位特征信息,以构成当前定位数据集;
处理装置,与所述存储装置、摄像装置和移动装置相连,用于调用并执行所述至少一个程序,以协调所述存储装置、摄像装置和移动装置执行如权利要求1、或3-15中任一所述的更新地图的方法。
18.根据权利要求17所述的移动机器人,其特征在于,所存储的基准地图及其基准定位数据集是基于所述移动机器人自身和/或至少一个第二移动设备在同一物理空间内分别执行至少一次导航移动操作而构建的。
19.根据权利要求18所述的移动机器人,其特征在于,还包括接口装置,用于与至少一个第二移动设备进行数据通信;所述处理装置还执行获取所述第二移动设备所提供的第三地图和第三定位数据集的操作,以便将所述基准地图及其基准定位数据集、所述第二地图及其第二定位数据集、和所述第三地图及其第三定位数据集进行数据融合处理。
20.一种移动机器人,其特征在于,包括:
接口装置,用于与一服务端进行数据通信;
存储装置,用于存储用于在一物理空间内导航移动操作期间提供导航服务的基准地图及其基准定位数据集,存储在执行所述导航移动操作期间所构建的当前地图及其当前定位数据集,以及存储至少一个程序;
处理装置,与所述存储装置和接口装置连接,用于调用并执行所述至少一个程序,以协调所述存储装置和接口装置执行如下步骤:
将所述当前地图及其当前定位数据集发送至所述服务端;以及
获取所述服务端返回的新的基准地图及其基准定位数据集,并更新所存储的基准地图及其基准定位数据集;其中,所获取的新的基准地图及其基准定位数据集是所述服务端将更新前的基准地图及其基准定位数据集和所述当前地图及其当前定位数据集进行数据融合后得到的。
21.根据权利要20所述的移动机器人,其特征在于,所述新的基准地图及其基准定位数据集还融合有至少一个第二移动设备所提供的第三地图及其第三定位数据集。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/086281 WO2020223974A1 (zh) | 2019-05-09 | 2019-05-09 | 更新地图的方法及移动机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110268354A true CN110268354A (zh) | 2019-09-20 |
Family
ID=67912944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980000681.2A Pending CN110268354A (zh) | 2019-05-09 | 2019-05-09 | 更新地图的方法及移动机器人 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11204247B2 (zh) |
CN (1) | CN110268354A (zh) |
WO (1) | WO2020223974A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024100A (zh) * | 2019-12-20 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 一种导航地图更新方法、装置、可读存储介质及机器人 |
CN111145634A (zh) * | 2019-12-31 | 2020-05-12 | 深圳市优必选科技股份有限公司 | 一种校正地图的方法及装置 |
CN111220148A (zh) * | 2020-01-21 | 2020-06-02 | 珊口(深圳)智能科技有限公司 | 移动机器人的定位方法、系统、装置及移动机器人 |
CN112068552A (zh) * | 2020-08-18 | 2020-12-11 | 广州赛特智能科技有限公司 | 一种基于cad图纸的移动机器人自主建图方法 |
CN112101177A (zh) * | 2020-09-09 | 2020-12-18 | 东软睿驰汽车技术(沈阳)有限公司 | 地图构建方法、装置及运载工具 |
CN112190185A (zh) * | 2020-09-28 | 2021-01-08 | 深圳市杉川机器人有限公司 | 扫地机器人及其三维场景的构建方法、系统及可读存储介质 |
CN112284402A (zh) * | 2020-10-15 | 2021-01-29 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法和装置 |
CN112927256A (zh) * | 2021-03-16 | 2021-06-08 | 杭州萤石软件有限公司 | 一种分割区域的边界融合方法、装置、移动机器人 |
WO2021233441A1 (zh) * | 2020-05-22 | 2021-11-25 | 杭州海康机器人技术有限公司 | 一种地图更新的触发方法和系统 |
CN114111758A (zh) * | 2021-11-01 | 2022-03-01 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据的处理方法和装置 |
WO2022089173A1 (zh) * | 2020-10-26 | 2022-05-05 | 华为技术有限公司 | 一种地图更新方法、相关装置、可读存储介质和系统 |
CN114579679A (zh) * | 2020-12-01 | 2022-06-03 | 中移(成都)信息通信科技有限公司 | 空间定位数据融合方法、系统、设备及计算机存储介质 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215887B (zh) * | 2019-07-09 | 2023-09-08 | 深圳市优必选科技股份有限公司 | 一种位姿确定方法、装置、存储介质及移动机器人 |
DE102019128253B4 (de) * | 2019-10-18 | 2024-06-06 | StreetScooter GmbH | Verfahren zum Navigieren eines Flurförderzeugs |
DE102019132363A1 (de) * | 2019-11-28 | 2021-06-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben einer Umgebungserfassungsvorrichtung mit einer gridbasierten Auswertung und mit einer Fusionierung, sowie Umgebungserfassungsvorrichtung |
CN112826373B (zh) * | 2021-01-21 | 2022-05-06 | 深圳乐动机器人有限公司 | 清洁机器人的清洁方法、装置、设备和存储介质 |
CN113093731A (zh) * | 2021-03-12 | 2021-07-09 | 广东来个碗网络科技有限公司 | 智能回收箱的移动控制方法及装置 |
CN115177178B (zh) * | 2021-04-06 | 2024-10-15 | 美智纵横科技有限责任公司 | 一种清扫方法、装置和计算机存储介质 |
CN113112847A (zh) * | 2021-04-12 | 2021-07-13 | 蔚来汽车科技(安徽)有限公司 | 用于固定泊车场景的车辆定位方法及其系统 |
CN113183153A (zh) * | 2021-04-27 | 2021-07-30 | 北京猎户星空科技有限公司 | 一种地图创建方法、装置、设备及介质 |
CN113590728B (zh) * | 2021-07-09 | 2024-10-29 | 北京小米移动软件有限公司 | 地图切换方法和装置、清扫设备、存储介质 |
CN114019953B (zh) * | 2021-10-08 | 2024-03-19 | 中移(杭州)信息技术有限公司 | 地图构建方法、装置、设备及存储介质 |
CN114237217B (zh) * | 2021-11-04 | 2024-08-02 | 深圳拓邦股份有限公司 | 一种工作场地切换方法、装置及机器人 |
CN114543808B (zh) * | 2022-02-11 | 2024-09-27 | 杭州萤石软件有限公司 | 室内重定位方法、装置、设备及存储介质 |
CN114674308B (zh) * | 2022-05-26 | 2022-09-16 | 之江实验室 | 基于安全出口指示牌视觉辅助激光长廊定位方法及装置 |
CN115930971B (zh) * | 2023-02-01 | 2023-09-19 | 七腾机器人有限公司 | 一种机器人定位与建图的数据融合处理方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101953172A (zh) * | 2008-02-13 | 2011-01-19 | 塞格瑞德公司 | 分布式多机器人系统 |
CN103674011A (zh) * | 2012-09-19 | 2014-03-26 | 联想(北京)有限公司 | 即时定位与地图构建设备、系统与方法 |
CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
CN105373610A (zh) * | 2015-11-17 | 2016-03-02 | 广东欧珀移动通信有限公司 | 一种室内地图的更新方法以及服务器 |
US20170083005A1 (en) * | 2011-05-06 | 2017-03-23 | X Development Llc | Methods and Systems for Multirobotic Management |
CN106885578A (zh) * | 2015-12-16 | 2017-06-23 | 北京奇虎科技有限公司 | 地图更新方法和装置 |
CN107145578A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 地图构建方法、装置、设备和系统 |
CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
CN107449431A (zh) * | 2016-03-04 | 2017-12-08 | 通用汽车环球科技运作有限责任公司 | 移动导航单元中的渐进式地图维护 |
CN107515006A (zh) * | 2016-06-15 | 2017-12-26 | 华为终端(东莞)有限公司 | 一种地图更新方法和车载终端 |
CN107544515A (zh) * | 2017-10-10 | 2018-01-05 | 苏州中德睿博智能科技有限公司 | 基于云服务器的多机器人建图导航系统与建图导航方法 |
CN108896050A (zh) * | 2018-06-26 | 2018-11-27 | 上海交通大学 | 一种基于激光传感器的移动机器人长期定位系统及方法 |
CN109074638A (zh) * | 2018-07-23 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 融合建图方法、相关装置及计算机可读存储介质 |
CN109074757A (zh) * | 2018-07-03 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 一种建立地图的方法、终端和计算机可读存储介质 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2222897A (en) * | 1988-04-08 | 1990-03-21 | Eliahu Igal Zeevi | Vehicle navigation system |
JPH0814930A (ja) * | 1994-07-04 | 1996-01-19 | Japan Radio Co Ltd | ナビゲーション装置 |
JP2674521B2 (ja) * | 1994-09-21 | 1997-11-12 | 日本電気株式会社 | 移動体誘導装置 |
JP3564547B2 (ja) * | 1995-04-17 | 2004-09-15 | 本田技研工業株式会社 | 自動走行誘導装置 |
JP3893647B2 (ja) * | 1996-09-30 | 2007-03-14 | マツダ株式会社 | ナビゲーション装置 |
JP3546680B2 (ja) * | 1998-01-26 | 2004-07-28 | トヨタ自動車株式会社 | ナビゲーション装置 |
JP4024450B2 (ja) * | 2000-03-03 | 2007-12-19 | パイオニア株式会社 | ナビゲーションシステム |
DE10127399A1 (de) * | 2001-05-31 | 2002-12-12 | Univ Dresden Tech | Verfahren und Vorrichtung zur autonomen Navigation von Satelliten |
JP4600357B2 (ja) * | 2006-06-21 | 2010-12-15 | トヨタ自動車株式会社 | 測位装置 |
JP4257661B2 (ja) * | 2006-06-30 | 2009-04-22 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置 |
US9733091B2 (en) * | 2007-05-31 | 2017-08-15 | Trx Systems, Inc. | Collaborative creation of indoor maps |
AU2008283845A1 (en) * | 2007-08-06 | 2009-02-12 | Trx Systems, Inc. | Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors |
DE102009008959A1 (de) * | 2008-02-15 | 2009-09-03 | Continental Teves Ag & Co. Ohg | Fahrzeugsystem zur Navigation und/oder Fahrerassistenz |
US9103917B2 (en) * | 2010-02-12 | 2015-08-11 | Broadcom Corporation | Method and system for determining location within a building based on historical location information |
US20120143495A1 (en) * | 2010-10-14 | 2012-06-07 | The University Of North Texas | Methods and systems for indoor navigation |
US10027952B2 (en) * | 2011-08-04 | 2018-07-17 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
FI124665B (en) * | 2012-01-11 | 2014-11-28 | Indooratlas Oy | Creating a magnetic field map for indoor positioning |
US9418478B2 (en) * | 2012-06-05 | 2016-08-16 | Apple Inc. | Methods and apparatus for building a three-dimensional model from multiple data sets |
US9644985B2 (en) * | 2012-10-10 | 2017-05-09 | Mitsubishi Electric Corporation | Navigation device that evaluates points of interest based on user utterance |
KR101288953B1 (ko) * | 2013-03-14 | 2013-07-23 | 주식회사 엠시스템즈 | 레저 선박용 블랙박스 시스템 |
US11156464B2 (en) * | 2013-03-14 | 2021-10-26 | Trx Systems, Inc. | Crowd sourced mapping with robust structural features |
US9749801B2 (en) * | 2013-03-15 | 2017-08-29 | Honeywell International Inc. | User assisted location devices |
US9723251B2 (en) * | 2013-04-23 | 2017-08-01 | Jaacob I. SLOTKY | Technique for image acquisition and management |
DE112013007521T5 (de) * | 2013-10-22 | 2016-07-21 | Mitsubishi Electric Corporation | Server zur Navigation, Navigationssystem und Navigationsverfahren |
DE102014002150B3 (de) * | 2014-02-15 | 2015-07-23 | Audi Ag | Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit |
CN107110651B (zh) * | 2014-09-08 | 2021-04-30 | 应美盛股份有限公司 | 用于使用地图信息辅助的增强型便携式导航的方法和装置 |
DE102016211805A1 (de) * | 2015-10-09 | 2017-04-13 | Volkswagen Aktiengesellschaft | Fusion von Positionsdaten mittels Posen-Graph |
JP2017161501A (ja) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | 走行位置検出装置、走行位置検出方法 |
JP6804865B2 (ja) * | 2016-04-21 | 2020-12-23 | クラリオン株式会社 | 情報提供システム、情報提供装置および情報提供方法 |
GB201613105D0 (en) * | 2016-07-29 | 2016-09-14 | Tomtom Navigation Bv | Methods and systems for map matching |
CN108732584B (zh) * | 2017-04-17 | 2020-06-30 | 百度在线网络技术(北京)有限公司 | 用于更新地图的方法和装置 |
US9838850B2 (en) * | 2017-05-12 | 2017-12-05 | Mapsted Corp. | Systems and methods for determining indoor location and floor of a mobile device |
CN107504971A (zh) * | 2017-07-05 | 2017-12-22 | 桂林电子科技大学 | 一种基于pdr和地磁的室内定位方法及系统 |
CN109388093B (zh) | 2017-08-02 | 2020-09-15 | 苏州珊口智能科技有限公司 | 基于线特征识别的机器人姿态控制方法、系统及机器人 |
JP7035448B2 (ja) * | 2017-10-26 | 2022-03-15 | 株式会社アイシン | 移動体 |
CN107907131B (zh) | 2017-11-10 | 2019-12-13 | 珊口(上海)智能科技有限公司 | 定位系统、方法及所适用的机器人 |
US11257268B2 (en) * | 2018-05-01 | 2022-02-22 | Magic Leap, Inc. | Avatar animation using Markov decision process policies |
-
2019
- 2019-05-09 CN CN201980000681.2A patent/CN110268354A/zh active Pending
- 2019-05-09 WO PCT/CN2019/086281 patent/WO2020223974A1/zh active Application Filing
- 2019-10-24 US US16/663,293 patent/US11204247B2/en active Active
-
2021
- 2021-11-05 US US17/520,224 patent/US20220057212A1/en not_active Abandoned
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101953172A (zh) * | 2008-02-13 | 2011-01-19 | 塞格瑞德公司 | 分布式多机器人系统 |
US20170083005A1 (en) * | 2011-05-06 | 2017-03-23 | X Development Llc | Methods and Systems for Multirobotic Management |
CN103674011A (zh) * | 2012-09-19 | 2014-03-26 | 联想(北京)有限公司 | 即时定位与地图构建设备、系统与方法 |
CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
CN105373610A (zh) * | 2015-11-17 | 2016-03-02 | 广东欧珀移动通信有限公司 | 一种室内地图的更新方法以及服务器 |
CN106885578A (zh) * | 2015-12-16 | 2017-06-23 | 北京奇虎科技有限公司 | 地图更新方法和装置 |
CN107449431A (zh) * | 2016-03-04 | 2017-12-08 | 通用汽车环球科技运作有限责任公司 | 移动导航单元中的渐进式地图维护 |
CN107515006A (zh) * | 2016-06-15 | 2017-12-26 | 华为终端(东莞)有限公司 | 一种地图更新方法和车载终端 |
CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
CN107145578A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 地图构建方法、装置、设备和系统 |
CN107544515A (zh) * | 2017-10-10 | 2018-01-05 | 苏州中德睿博智能科技有限公司 | 基于云服务器的多机器人建图导航系统与建图导航方法 |
CN108896050A (zh) * | 2018-06-26 | 2018-11-27 | 上海交通大学 | 一种基于激光传感器的移动机器人长期定位系统及方法 |
CN109074757A (zh) * | 2018-07-03 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 一种建立地图的方法、终端和计算机可读存储介质 |
CN109074638A (zh) * | 2018-07-23 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 融合建图方法、相关装置及计算机可读存储介质 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024100A (zh) * | 2019-12-20 | 2020-04-17 | 深圳市优必选科技股份有限公司 | 一种导航地图更新方法、装置、可读存储介质及机器人 |
US11629964B2 (en) | 2019-12-20 | 2023-04-18 | Ubtech Robotics Corp Ltd | Navigation map updating method and apparatus and robot using the same |
CN111145634A (zh) * | 2019-12-31 | 2020-05-12 | 深圳市优必选科技股份有限公司 | 一种校正地图的方法及装置 |
CN111220148A (zh) * | 2020-01-21 | 2020-06-02 | 珊口(深圳)智能科技有限公司 | 移动机器人的定位方法、系统、装置及移动机器人 |
WO2021233441A1 (zh) * | 2020-05-22 | 2021-11-25 | 杭州海康机器人技术有限公司 | 一种地图更新的触发方法和系统 |
CN113701767B (zh) * | 2020-05-22 | 2023-11-17 | 杭州海康机器人股份有限公司 | 一种地图更新的触发方法和系统 |
CN113701767A (zh) * | 2020-05-22 | 2021-11-26 | 杭州海康机器人技术有限公司 | 一种地图更新的触发方法和系统 |
CN112068552A (zh) * | 2020-08-18 | 2020-12-11 | 广州赛特智能科技有限公司 | 一种基于cad图纸的移动机器人自主建图方法 |
CN112101177A (zh) * | 2020-09-09 | 2020-12-18 | 东软睿驰汽车技术(沈阳)有限公司 | 地图构建方法、装置及运载工具 |
CN112101177B (zh) * | 2020-09-09 | 2024-10-15 | 东软睿驰汽车技术(沈阳)有限公司 | 地图构建方法、装置及运载工具 |
CN112190185A (zh) * | 2020-09-28 | 2021-01-08 | 深圳市杉川机器人有限公司 | 扫地机器人及其三维场景的构建方法、系统及可读存储介质 |
CN112284402A (zh) * | 2020-10-15 | 2021-01-29 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法和装置 |
WO2022089173A1 (zh) * | 2020-10-26 | 2022-05-05 | 华为技术有限公司 | 一种地图更新方法、相关装置、可读存储介质和系统 |
CN114490675A (zh) * | 2020-10-26 | 2022-05-13 | 华为技术有限公司 | 一种地图更新方法、相关装置、可读存储介质和系统 |
CN114579679A (zh) * | 2020-12-01 | 2022-06-03 | 中移(成都)信息通信科技有限公司 | 空间定位数据融合方法、系统、设备及计算机存储介质 |
CN112927256A (zh) * | 2021-03-16 | 2021-06-08 | 杭州萤石软件有限公司 | 一种分割区域的边界融合方法、装置、移动机器人 |
CN114111758A (zh) * | 2021-11-01 | 2022-03-01 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据的处理方法和装置 |
WO2023071029A1 (zh) * | 2021-11-01 | 2023-05-04 | 广州小鹏自动驾驶科技有限公司 | 地图数据的处理方法、装置、电子设备及存储介质 |
CN114111758B (zh) * | 2021-11-01 | 2024-06-04 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据的处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200356582A1 (en) | 2020-11-12 |
WO2020223974A1 (zh) | 2020-11-12 |
US20220057212A1 (en) | 2022-02-24 |
US11204247B2 (en) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110268354A (zh) | 更新地图的方法及移动机器人 | |
CN104536445B (zh) | 移动导航方法和系统 | |
CN111274974B (zh) | 定位元素检测方法、装置、设备和介质 | |
US20200159246A1 (en) | Methods and systems for mapping, localization, navigation and control and mobile robot | |
CN106647742B (zh) | 移动路径规划方法及装置 | |
CN110017841A (zh) | 视觉定位方法及其导航方法 | |
CN106840148A (zh) | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 | |
CN109541535A (zh) | 一种基于uwb和视觉slam的agv室内定位及导航的方法 | |
CN107967457A (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及系统 | |
CN115388902B (zh) | 室内定位方法和系统、ar室内定位导航方法和系统 | |
CN100461058C (zh) | 在复杂环境下智能机器人自主定位的方法 | |
CN103712617A (zh) | 一种基于视觉内容的多层语义地图的创建方法 | |
CN106647738A (zh) | 一种无人搬运车的对接路径确定方法及系统及无人搬运车 | |
Nothegger et al. | Computation of the salience of features | |
CN108830171A (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
CN114047750A (zh) | 一种基于移动机器人的快递入库方法 | |
Ishihara et al. | Beacon-guided structure from motion for smartphone-based navigation | |
Thorpe et al. | The new generation system for the CMU Navlab | |
Krajník et al. | Monocular navigation for long-term autonomy | |
Haala et al. | Fusion of 2D-GIS and image data for 3D building reconstruction | |
Liedtke et al. | Use of explicit knowledge for the reconstruction of 3-D object geometry | |
Chiu et al. | Sub-meter vehicle navigation using efficient pre-mapped visual landmarks | |
Alliez et al. | Indoor localization and mapping: Towards tracking resilience through a multi-slam approach | |
Irmisch et al. | Robust visual-inertial odometry in dynamic environments using semantic segmentation for feature selection | |
CN115454055B (zh) | 一种面向室内自主导航与作业的多层融合地图表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190920 |
|
WD01 | Invention patent application deemed withdrawn after publication |