CN114385934A - 一种对多个ar地图进行联合查询的系统 - Google Patents
一种对多个ar地图进行联合查询的系统 Download PDFInfo
- Publication number
- CN114385934A CN114385934A CN202210284839.7A CN202210284839A CN114385934A CN 114385934 A CN114385934 A CN 114385934A CN 202210284839 A CN202210284839 A CN 202210284839A CN 114385934 A CN114385934 A CN 114385934A
- Authority
- CN
- China
- Prior art keywords
- map
- positioning
- user
- scene
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请属于增强现实技术领域,具体涉及一种对多个AR地图进行联合查询的系统,所述系统包括:建图平台,所述建图平台用于根据采集的数据建立稀疏地图和稠密地图;定位平台,所述定位平台,用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;内容管理平台,所述内容管理平台用于创建场景并将地图场景分发至用户终端APP;用户终端APP,所述用户终端APP用于通过内容管理平台访问对应地图场景的场景内容。本发明提供的技术方案在用户进入场景之后,不需要手动选择AR地图即可开始AR内容的体验,提升了用户的体验。
Description
技术领域
本申请属于增强现实技术领域,具体涉及一种对多个AR地图进行联合查询的系统。
背景技术
空间AR技术是将虚拟信息叠加在现实空间中的技术,用户通过AR设备(例如带有AR功能的手机、平板和AR眼镜等),可以在现实世界的空间中的特定位置看到对应的信息。例如,在博物馆,在具体的展品上显示和展品相关的信息;在景区,通过AR设备可以看到具体景点相关的介绍信息;在工业环境下,通过AR设备可以查看设备相关的读数信息,直观地了解设备内部的运行状态;在建筑行业,结合BIM信息和传感器大数据,通过AR设备可以看到建筑内部的结构信息。
用户观看AR内容需要使用设备。常见的AR设备包括移动设备(手机和平板,带有SLAM跟踪能力),和AR头显(带有透视显示系统和SLAM跟踪能力)等。
开发者在创作内容的时候,可以根据网格模型地图作为参照,在网格模型的坐标系中布置摆放虚拟信息的内容,并按照和普通3D应用开发一样的流程进行3D空间交互开发。由于网格模型和稀疏点云地图的空间坐标系是一致的,所以用户终端在完成了定位之后,将用于渲染的虚拟摄像机的位姿设置为定位获得的稀疏点云地图坐标系中的位姿,并且利用追踪系统实时刷新。同时在3D场景中放置开发者事先放置的虚拟信息。用户终端的渲染系统就可以将这些虚拟信息渲染出来,并且渲染的位置和开发者参照的网格模型放置信息的位置是一致的。
现有技术中,解决了用户AR设备在单个稀疏点云地图中定位的问题。当用户在单个稀疏点云地图中定位的时候,呈现的AR内容只能是和这个地图相关联的内容。每一个稀疏点云地图都有自己的覆盖区域。但是,如果两个稀疏点云地图之间没有任何视觉关联,例如一栋楼的两个不同的楼层,或是一个景区中的不同区域,这两个稀疏点云地图就不能合并为一个地图。依照稀疏点云地图布置的空间虚拟内容和地图相关,因此属于不同地图的内容应该依照不同的地图进行配置。而不同地图的内容从逻辑上可能属于同一类内容,例如一个商场或其他建筑物不同楼层的内容都归属于这一个建筑物。终端用户在体验的时候,可能出现在空间中的任何位置,例如一栋楼中的不同楼层,根据上述局限性,用户必须首先选择相应的楼层的地图,并通过所选的地图进行定位,才能获得用户当前所在楼层的空间虚拟内容。降低了用户的体验。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供一种对多个AR地图进行联合查询的系统,能够提高用户的体验。
为实现以上目的,本申请采用如下技术方案:
一种对多个AR地图进行联合查询的系统,所述系统包括:
建图平台,所述建图平台用于根据采集的数据建立稀疏地图和稠密地图;
定位平台,所述定位平台,用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;
内容管理平台,所述内容管理平台用于创建场景并将地图场景分发至用户终端APP;
用户终端APP,所述用户终端APP用于通过内容管理平台访问对应地图场景的场景内容。
进一步地,所述建图平台包括:
地图数据管理模块,所述地图数据管理模块用于管理重建一个地图所需要采集的数据;
地图重建模块,所述地图重建模块用于对所述采集的数据进行地图重建,得到稀疏地图和稠密地图;
地图数据分发模块,所述地图数据分发模块用于将地图数据通过云服务分发给所述定位平台和所述内容管理平台。
进一步地,所述定位平台包括定位服务器,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查。
进一步地,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查,包括:
离线处理模块,所述离线处理模块通过可视化工具,将稀疏点云和真实的地理地图进行对齐,获得稀疏点云地图代表的真实场景的经纬度范围。
进一步地,还包括在线处理模块,所述在线处理模块的处理过程包括:
获取用户上传的图像;
根据所述用户上传的图像,得到当前用户所在位置的GPS坐标以及所述用户上传的图像所对应的本地追踪坐标系的坐标;
根据用户所在位置的GPS坐标以及预设的范围,得到与所述预设范围有重叠的稀疏点云地图,构成候选地图清单;
将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果;
若所述定位结果为产生一个,则定位成功;
接收用户的连续指定数量的定位请求;
判断所述定位结果序列的轨迹在形状上和所述定位请求对应的设备本地追踪坐标系中的坐标的轨迹接近度,若所述接近度超过预设阈值,则将所述定位结果和地图id下发给用户终端APP。
进一步地,将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果后,还包括:
若所述定位结果为多个定位结果,则接收用户的连续指定数量的定位请求;
根据所述定位请求,得到满足所述定位请求的地图;
若所述满足定位请求的地图为一个,则定位成功;
若所述满足定位请求的地图为多个,则将所述多个地图的结果发送给用户,以便用户自行选择。
进一步地,所述内容管理平台包括:
内容编辑模块,用于内容创作者根据地图创建场景,并在所述创建场景中依照地图的几何形态设置虚拟内容和制作交互;
场景内容数据分发模块,用于将场景的内容数据分发给用户终端APP。
进一步地,所述用户终端APP包括:
内容数据访问模块用于通过内容管理平台访问定位场景的场景内容,并拉取场景内容数据;
现场体验模块,用于用户在场景中进行交互体验。
进一步地,所述现场体验模块包括:
3D场景单元,所述3D场景单元用于根据所述场景内容数据创建3D场景,并发送至3D渲染引擎;
3D渲染引擎,所述3D渲染引擎用于接收所述3D场景,进行实时渲染。
进一步地,所述用户终端APP还包括:
互动模块,用于同一坐标系的用户基于坐标位置的互动。
发送模块,所述发送模块用于向定位服务器发送带有图像的定位请求。
本申请采用以上技术方案,至少具备以下有益效果:
一种对多个AR地图进行联合查询的系统,所述系统包括:建图平台,所述建图平台用于根据采集的数据建立稀疏地图和稠密地图;定位平台,所述定位平台,用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;内容管理平台,所述内容管理平台用于创建场景并将地图场景分发至用户终端APP;用户终端APP,所述用户终端APP用于通过内容管理平台访问对应地图场景的场景内容。本发明提供的技术方案在用户进入场景之后,不需要手动选择AR地图即可开始AR内容的体验,提升了用户的体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种对多个AR地图进行联合查询的系统的结构图。
图2是根据一示例性实施例示出的在线处理模块多图联查的工作流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将对本申请的技术方案进行详细的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
请参阅图1,图1是根据一示例性实施例示出的一种对多个AR地图进行联合查询的系统的结构示意图,如图1所示,该对多个AR地图进行联合查询的系统包括:
建图平台101,所述建图平台用于根据采集的数据建立稀疏地图和稠密地图;
通过采集视频信息(视觉信息),对真实空间场景进行三维重建,得到稀疏视觉地图稠密的网格模型地图。建图的过程是离线进行的。
具体建图的过程包括:
提取全景图像的局部特征和全局特征
通过全局特征对全景图像进行匹配
对全景图像进行增量式structure from motion三维重建(稀疏重建)
在稀疏重建的基础上进行稠密重建,得到稠密点云
对稠密点云进行网格化重建,得到网格
通过原始图像和重建得到的相机位姿对网格进行贴图,得到带贴图的网格模型。
建图得到两个产物:稀疏点云地图和带贴图的网格模型。稀疏点云地图是用于定位的地图,其中包含了描述空间的3D点、关键帧、关键帧的特征点等数据,视觉定位算法可以利用稀疏点云地图进行6自由度定位。带贴图的网格模型是用于给开发者参照对应现实空间位置的模型。两个地图的坐标系是统一的。因此,内容创作者对照网格模型放置的虚拟信息获得的坐标信息也可以对应在真实世界的空间中。
定位平台102,所述定位平台,用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;
在现有技术中,当用户在已经建图的实际场景中,通过用户终端APP进行体验。用户终端APP会利用稀疏点云地图进行6自由度定位。6自由度、定位得到的结果是用户终端APP发出请求的时候设备在地图中的位置和姿态。稀疏点云地图用于定位的过程如下:
用户终端APP运行一个本地坐标系的追踪系统;
用户终端APP采集图像,将图像以及图像代表的本地追踪系统的6自由度位姿传入定位算法,定位算法在稀疏点云地图中找到和上述图像相似的参考图像,并根据这些参考图像和3D地图点的对应关系,找出候选的3D地图点;
定位算法提取上述图像的局部特征点,将这些特征点和候选3D地图点进行匹配,找到对应的3D地图点;
定位算法根据找出的3D地图点在空间中的坐标,以及对应在上述图像中的2D坐标,通过PnP算法求解出上述图像代表的在稀疏点云地图中的位姿;
定位算法根据上述图像在稀疏点云地图中的位姿求得用户终端APP本地坐标系和稀疏点云地图坐标系之间的变换;
用户终端APP根据上述变换,以及本地追踪系统的坐标刷新,可以获得用户终端APP在稀疏点云地图中的实时位姿;
以上基于稀疏点云地图的视觉定位流程是一个标准的基于特征的定位,可以认为是一个已经存在的方法,因此不阐述更多细节。
开发者在创作内容的时候,可以根据网格模型地图作为参照,在网格模型的坐标系中布置摆放虚拟信息的内容,并按照和普通3D应用开发一样的流程进行3D空间交互开发。由于网格模型和稀疏点云地图的空间坐标系是一致的,所以用户终端APP在完成了定位之后,将用于渲染的虚拟摄像机的位姿设置为定位获得的稀疏点云地图坐标系中的位姿,并且利用追踪系统实时刷新。同时在3D场景中放置开发者事先放置的虚拟信息。用户终端APP的渲染系统就可以将这些虚拟信息渲染出来,并且渲染的位置和开发者参照的网格模型放置信息的位置是一致的。
总结,上述方法实现的功能是:开发者在3D开发工具(例如Unity)中,依照和真实世界空间对应的网格模型,布置场景中的空间内容并制作相应的交互。最终用户在实际场景中体验的时候,可以通过AR设备看到开发者放置的内容,并体验开发者制作的交互,和虚拟信息产生交互。视觉建图和定位技术是实现空间AR内容的必要技术之一。
上述背景技术,解决的问题是用户AR设备在单个稀疏点云地图中定位的问题。当用户在单个稀疏点云地图中定位的时候,呈现的AR内容只能是和这个地图相关联的内容。
每一个稀疏点云地图都有自己的覆盖区域。如果两个稀疏点云地图之间没有任何视觉关联,例如一栋楼的两个不同的楼层,或是一个景区中的不同区域,这两个稀疏点云地图就不能合并为一个地图。依照稀疏点云地图布置的空间虚拟内容和地图相关,因此属于不同地图的内容应该依照不同的地图进行配置。而不同地图的内容从逻辑上可能属于同一类内容,例如一个商场或其他建筑物不同楼层的内容都归属于这一个建筑物。终端用户在体验的时候,可能出现在空间中的任何位置,例如一栋楼中的不同楼层,根据上述局限性,用户必须首先选择相应的楼层的地图,并通过所选的地图进行定位,才能获得用户当前所在楼层的空间虚拟内容。降低了用户的体验感受。
对于AR设备在单个稀疏点云地图中定位的问题,其具体内容可以参阅相关技术内容,本申请在此不做赘述,本申请在此需要说明的是,通过本发明的技术方案,在用户进入场景之后,不需要手动选择AR地图即可开始AR内容的体验,提升了用户的体验。
内容管理平台103,所述内容管理平台用于创建场景并将地图场景分发至用户终端APP;
用户终端APP104,所述用户终端APP用于通过内容管理平台访问对应地图场景的场景内容。
在本申请中,用户终端APP向服务器发送带有图像的定位请求,服务器根据地图数据对设备的位姿进行解算,并将定位结果下发。用户终端APP收到成功的定位结果后,构造要渲染的3D场景,并根据定位结果调整渲染相机的位姿和相应参数(即渲染相机的内参数和外参数),并通过设备追踪实时更新渲染相机的位姿。用户终端APP在整个追踪过程中,会持续向定位服务器发送定位请求,以修正设备在追踪过程中产生的误差和漂移。开始渲染构造好的3D场景后,用户可以在场景中开始交互体验。场景中支持的交互体验类别和远程用户的体验是一致的。
可以理解为,本申请提供的一种对多个AR地图进行联合查询的系统,通过建图平台用于根据采集的数据建立稀疏地图和稠密地图;通过定位平台处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;通过内容管理平台用于创建场景并将地图场景分发至用户终端APP;用户终端APP通过内容管理平台访问对应地图场景的场景内容。本发明提供的技术方案在用户进入场景之后,不需要手动选择AR地图即可开始AR内容的体验,提升了用户的体验。
作为上述实施例的进一步改进,一些实施例中,所述建图平台包括:
地图数据管理模块,所述地图数据管理模块用于管理重建一个地图所需要采集的数据;
地图重建模块,用于对所述采集的数据进行地图重建,得到稀疏地图和稠密地图;
地图数据分发模块用于将地图数据通过云服务分发给所述定位平台和所述内容管理平台。
一些实施例中,所述定位平台包括定位服务器,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查。让用户不需要显示地根据自己所在的位置选择对应的地图。
请参阅图2,图2是在线处理模块多图联查的工作流程图,如图2所示:
步骤S201、获取用户上传的图像;
步骤S202、根据所述用户上传的图像,得到当前用户所在位置的GPS坐标以及所述用户上传的图像所对应的本地追踪坐标系的坐标;
步骤S203、根据用户所在位置的GPS坐标以及预设的范围,得到与所述预设范围有重叠的稀疏点云地图,构成候选地图清单;
步骤S204、将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果;
每一个地图的定位结果是一个6DoF向量或是定位不成功。有可能在多个地图中都产生定位结果,也有可能在一个地图中产生定位结果,也有可能都没有定位结果。如果没有定位结果,说明这一帧定位失败。
步骤S205、若所述定位结果为产生一个,则定位成功;
步骤S206、接收用户的连续指定数量的定位请求;
步骤S207、判断所述定位结果序列的轨迹在形状上和所述定位请求对应的设备本地追踪坐标系中的坐标的轨迹接近度,若所述接近度超过预设阈值,则将所述定位结果和地图id下发给用户终端APP。用户终端APP后续向所述地图id发送定位请求。
作为上述方法的进一步改进,一些实施例中,将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果后,还包括:
若所述定位结果为多个定位结果,则接收用户的连续指定数量的定位请求;
根据所述定位请求,得到满足所述定位请求的地图;
若所述满足定位请求的地图为一个,则定位成功;
若所述满足定位请求的地图为多个,则将所述多个地图的结果发送给用户,以便用户自行选择。
可以理解为,如果在候选地图中不存在满足上述条件的地图,返回定位失败的结果。
如果在候选地图中有多个满足上述条件的地图,继续接受后续请求,选出最终满足条件的唯一地图。如果接受了预设的最大请求数后依然有多个满足的地图,返回多个地图的结果给用户,让用户自行选择。
本申请对于预设阈值不做具体限制,本领域技术人员可以根据实际情况进行设置。
一些实施例中,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查,包括:
离线处理模块,所述离线处理模块通过可视化工具,将稀疏点云和真实的地理地图进行对齐,获得稀疏点云地图代表的真实场景的经纬度范围。
作为上述实施例的进一步改进,所述内容管理平台包括:
内容编辑模块,用于内容创作者根据地图创建场景,并在所述创建场景中依照地图的几何形态设置虚拟内容和制作交互;
场景内容数据分发模块,用于将场景的内容数据分发给用户终端APP。
一些实施例中,所述用户终端APP包括:
内容数据访问模块,用于通过内容管理平台访问定位场景的场景内容,并拉取场景内容数据;
现场体验模块,用于用户在场景中进行交互体验。
具体地,所述现场体验模块包括:
3D场景单元,所述3D场景单元用于根据所述场景内容数据创建3D场景,并发送至3D渲染引擎;
3D渲染引擎,所述3D渲染引擎用于接收所述3D场景,进行实时渲染。
用户通过现场体验模块,在已经建图的真实空间的现场体验内容。现场体验模块通过调用定位平台获得设备的6自由度定位并且通过本地的跟踪模块实时刷新设备位姿。现场体验模块根据场景的内容数据创建3D渲染引擎使用的3D场景,并送给3D渲染引擎进行实时渲染。3D渲染引擎使用的虚拟摄像机位姿来自于设备追踪得到的设备实时位姿。3D渲染引擎场景正常渲染的时候,用户可以通过第一人称视角或第三人称视角控制角色在场景中的漫游,并且通过屏幕点击、触控手势、MR头显的手柄射线和手势识别等方式和空间虚拟内容进行交互。
一些实施例中,所述用户终端APP还包括:互动模块,用于同一坐标系的用户基于坐标位置的互动。
由于在地图中使用了统一的坐标系,场景中的多个用户共享同一个坐标系,用户之间可以产生基于位置的互动。
一些实施例中,用户终端APP还包括发送模块,所述发送模块用于向定位服务器发送带有图像的定位请求。
本发明基本工作流程如下:
运营人员采集场景的视频数据,经过必要的处理之后上传建图平台;
建图平台对场景视频数据进行处理,生成地图;
地图上线地图分发平台;
内容创作者在内容管理平台上拉取地图,并对照地图进行内容创作和交互开发;
内容创作者开发完成内容后,将内容发布到内容管理平台上,由内容管理模块进行内容分发;
用户进入已经采图的真实物理空间,打开用户终端APP,用户终端APP会打开摄像头采集场景的图像并开始追踪设备位姿。用户终端APP向服务器发送带有图像的定位请求,服务器根据地图数据对设备的位姿进行解算,并将定位结果下发。用户终端APP收到成功的定位结果后,构造要渲染的3D场景,并根据定位结果调整渲染相机的位姿和相应参数(即渲染相机的内参数和外参数),并通过设备追踪实时更新渲染相机的位姿。用户终端APP在整个追踪过程中,会持续向定位服务器发送定位请求,以修正设备在追踪过程中产生的误差和漂移。开始渲染构造好的3D场景后,用户可以在场景中开始交互体验。场景中支持的交互体验类别和远程用户的体验是一致的。通过本发明的技术方案,用户进入场景之后,不需要手动选择AR地图即可开始AR内容的体验,提升了用户的体验。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”、“多”的含义是指至少两个。
应该理解,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者可能同时存在居中元件;当一个元件被称为“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件,此外,这里使用的“连接”可以包括无线连接;使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为:表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种对多个AR地图进行联合查询的系统,其特征在于,所述系统包括:
建图平台,所述建图平台用于根据采集的数据建立稀疏地图和稠密地图;
定位平台,所述定位平台,用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查;
内容管理平台,所述内容管理平台用于创建场景并将地图场景分发至用户终端APP;
用户终端APP,所述用户终端APP用于通过内容管理平台访问对应地图场景的场景内容。
2.根据权利要求1所述的系统,其特征在于,所述建图平台包括:
地图数据管理模块,所述地图数据管理模块用于管理重建一个地图所需要采集的数据;
地图重建模块,所述地图重建模块用于对所述采集的数据进行地图重建,得到稀疏地图和稠密地图;
地图数据分发模块,所述地图数据分发模块用于将地图数据通过云服务分发给所述定位平台和所述内容管理平台。
3.根据权利要求1所述的系统,其特征在于,所述定位平台包括定位服务器,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查。
4.根据权利要求3所述的系统,其特征在于,所述定位服务器用于处理用户终端APP的定位请求,计算用户终端AR设备在已经建图的空间中的6自由度位姿并执行多图联查,包括:
离线处理模块,所述离线处理模块通过可视化工具,将稀疏点云和真实的地理地图进行对齐,获得稀疏点云地图代表的真实场景的经纬度范围。
5.根据权利要求4所述的系统,其特征在于,还包括在线处理模块,所述在线处理模块的处理过程包括:
获取用户上传的图像;
根据所述用户上传的图像,得到当前用户所在位置的GPS坐标以及所述用户上传的图像所对应的本地追踪坐标系的坐标;
根据用户所在位置的GPS坐标以及预设的范围,得到与所述预设范围有重叠的稀疏点云地图,构成候选地图清单;
将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果;
若所述定位结果为产生一个,则定位成功;
接收用户的连续指定数量的定位请求;
判断所述定位结果序列的轨迹在形状上和所述定位请求对应的设备本地追踪坐标系中的坐标的轨迹接近度,若所述接近度超过预设阈值,则将所述定位结果和地图id下发给用户终端APP。
6.根据权利要求5所述的系统,其特征在于,将用户上传的图像在这个地图清单中的地图依次进行定位计算,得到定位结果后,还包括:
若所述定位结果为多个定位结果,则接收用户的连续指定数量的定位请求;
根据所述定位请求,得到满足所述定位请求的地图;
若所述满足定位请求的地图为一个,则定位成功;
若所述满足定位请求的地图为多个,则将所述多个地图的结果发送给用户,以便用户自行选择。
7.根据权利要求1所述的系统,其特征在于,所述内容管理平台包括:
内容编辑模块,用于内容创作者根据地图创建场景,并在所述创建场景中依照地图的几何形态设置虚拟内容和制作交互;
场景内容数据分发模块,用于将场景的内容数据分发给用户终端APP。
8.根据权利要求1所述的系统,其特征在于,所述用户终端APP包括:
内容数据访问模块用于通过内容管理平台访问定位场景的场景内容,并拉取场景内容数据;
现场体验模块,用于用户在场景中进行交互体验。
9.根据权利要求8所述的系统,其特征在于,所述现场体验模块包括:
3D场景单元,所述3D场景单元用于根据所述场景内容数据创建3D场景,并发送至3D渲染引擎;
3D渲染引擎,所述3D渲染引擎用于接收所述3D场景,进行实时渲染。
10.根据权利要求5所述的系统,其特征在于,所述用户终端APP还包括:
互动模块,用于同一坐标系的用户基于坐标位置的互动;
发送模块,所述发送模块用于向定位服务器发送带有图像的定位请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284839.7A CN114385934A (zh) | 2022-03-23 | 2022-03-23 | 一种对多个ar地图进行联合查询的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284839.7A CN114385934A (zh) | 2022-03-23 | 2022-03-23 | 一种对多个ar地图进行联合查询的系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114385934A true CN114385934A (zh) | 2022-04-22 |
Family
ID=81205677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210284839.7A Pending CN114385934A (zh) | 2022-03-23 | 2022-03-23 | 一种对多个ar地图进行联合查询的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114385934A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117893717A (zh) * | 2024-01-16 | 2024-04-16 | 北京悉见科技有限公司 | 增强现实地图的尺度参数确定方法及装置 |
CN117911655A (zh) * | 2024-03-19 | 2024-04-19 | 山东省国土测绘院 | 基于在实景三维地图上增强现实的方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108692720A (zh) * | 2018-04-09 | 2018-10-23 | 京东方科技集团股份有限公司 | 定位方法、定位服务器及定位系统 |
CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
US20200364509A1 (en) * | 2019-05-16 | 2020-11-19 | Naver Corporation | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression |
CN112304322A (zh) * | 2019-07-26 | 2021-02-02 | 北京初速度科技有限公司 | 一种视觉定位失效后的重启方法及车载终端 |
CN112307363A (zh) * | 2020-11-05 | 2021-02-02 | 深圳市慧鲤科技有限公司 | 虚实融合展示方法及装置、电子设备和存储介质 |
CN114047824A (zh) * | 2022-01-13 | 2022-02-15 | 北京悉见科技有限公司 | 多终端用户在虚拟空间交互的方法 |
-
2022
- 2022-03-23 CN CN202210284839.7A patent/CN114385934A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108692720A (zh) * | 2018-04-09 | 2018-10-23 | 京东方科技集团股份有限公司 | 定位方法、定位服务器及定位系统 |
US20200364509A1 (en) * | 2019-05-16 | 2020-11-19 | Naver Corporation | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression |
CN112304322A (zh) * | 2019-07-26 | 2021-02-02 | 北京初速度科技有限公司 | 一种视觉定位失效后的重启方法及车载终端 |
CN111126304A (zh) * | 2019-12-25 | 2020-05-08 | 鲁东大学 | 一种基于室内自然场景图像深度学习的增强现实导航方法 |
CN112307363A (zh) * | 2020-11-05 | 2021-02-02 | 深圳市慧鲤科技有限公司 | 虚实融合展示方法及装置、电子设备和存储介质 |
CN114047824A (zh) * | 2022-01-13 | 2022-02-15 | 北京悉见科技有限公司 | 多终端用户在虚拟空间交互的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117893717A (zh) * | 2024-01-16 | 2024-04-16 | 北京悉见科技有限公司 | 增强现实地图的尺度参数确定方法及装置 |
CN117893717B (zh) * | 2024-01-16 | 2024-07-12 | 北京悉见科技有限公司 | 增强现实地图的尺度参数确定方法及装置 |
CN117911655A (zh) * | 2024-03-19 | 2024-04-19 | 山东省国土测绘院 | 基于在实景三维地图上增强现实的方法及系统 |
CN117911655B (zh) * | 2024-03-19 | 2024-05-28 | 山东省国土测绘院 | 基于在实景三维地图上增强现实的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11729245B2 (en) | Platform for constructing and consuming realm and object feature clouds | |
AU2022268310B2 (en) | Cloud enabled augmented reality | |
US10380410B2 (en) | Apparatus and method for image-based positioning, orientation and situational awareness | |
JP6798094B2 (ja) | 仮想三次元家屋モデルにおいて空間サイズをマーク及び表示するための方法及び装置 | |
US9558559B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
TW202113759A (zh) | 三維場景工程類比與實景融合系統及方法 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN113741698A (zh) | 一种确定和呈现目标标记信息的方法与设备 | |
TW201346640A (zh) | 影像處理裝置及電腦程式產品 | |
CN109155082A (zh) | 信息处理设备、信息处理方法和存储介质 | |
US10733777B2 (en) | Annotation generation for an image network | |
CN114385934A (zh) | 一种对多个ar地图进行联合查询的系统 | |
CN114047824A (zh) | 多终端用户在虚拟空间交互的方法 | |
Narciso et al. | Mixar mobile prototype: Visualizing virtually reconstructed ancient structures in situ | |
CN108846899B (zh) | 提高用户对房源中每个功能间的面积感知的方法及系统 | |
CN105183154A (zh) | 一种虚拟对象和实景影像的互动展示方法 | |
CN116503474A (zh) | 位姿获取方法、装置、电子设备、存储介质及程序产品 | |
CN110047035B (zh) | 全景视频热点交互系统及交互设备 | |
CN114900743A (zh) | 基于视频推流的场景渲染过渡方法以及系统 | |
JP2016177834A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114422644B (zh) | 设备控制方法、装置、用户设备和计算机可读存储介质 | |
CN117494283A (zh) | 一种基于bim的智慧城市建筑数字化系统 | |
CN115965742A (zh) | 空间展示方法、装置、设备和存储介质 | |
CN113449027A (zh) | 一种城市路口动态信息三维可视化展示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220422 |
|
RJ01 | Rejection of invention patent application after publication |