CN111143489B - 基于图像的定位方法及装置、计算机设备和可读存储介质 - Google Patents
基于图像的定位方法及装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111143489B CN111143489B CN201811314653.1A CN201811314653A CN111143489B CN 111143489 B CN111143489 B CN 111143489B CN 201811314653 A CN201811314653 A CN 201811314653A CN 111143489 B CN111143489 B CN 111143489B
- Authority
- CN
- China
- Prior art keywords
- positioning
- feature
- image
- features
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims 4
- 239000013598 vector Substances 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提出了一种基于图像的定位方法及装置、计算机设备及可读存储介质，所述定位方法包括：接收终端设备获取的待处理图像和所述终端设备的初始定位信息；在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；基于深度学习算法提取所述待处理图像中的多源混合特征；将所述多源混合特征与所述候选特征地图块中包含的候选定位特征向量进行匹配，以确定与所述多源混合特征对应的多个目标定位特征向量；根据所述多个目标定位特征向量确定所述终端设备的最终定位信息。本公开实施例提供的定位方案，定位精度高，鲁棒性能良好，能够提供准确、可靠的定位结果，有效地提升了用户体验。
Description
技术领域
本公开实施例涉及定位技术领域，具体而言，涉及基于图像的定位方法、基于图像的定位装置、计算机设备和计算机可读存储介质。
背景技术
精确的定位是基于位置的应用的基础。当前的定位方式一般借助于GPS(GlobalPositioning System，全球定位系统)实现数米到数十米的定位结果。然而，一方面GPS信号在城市环境下容易受高楼、树木等遮蔽造成定位失败；另一方面，数米到数十米的定位结果在很多场景下并不能提供很好的定位体验，例如在打车场景下，基于传统地图的定位在最后约定的接驾点上经常很难准确地找到司机或者乘客，进而需要进行频繁的电话沟通。造成上述结果的原因就是现有的基于GPS信号的定位结果精度不高，不能提供准确、可靠的定位结果。
发明内容
本公开实施例正是基于上述问题，提出了一种新的技术方案，基于图像的多源特征融合的方式实现高精度定位，具有较好的鲁棒性，能够提供准确、可靠的定位结果，有效地提升了用户体验。
有鉴于此，根据本公开实施例的第一方面，提出了一种基于图像的定位方法，包括：接收终端设备获取的待处理图像和所述终端设备的初始定位信息；在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；基于深度学习算法提取所述待处理图像中的多源混合特征；将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，以确定与所述多源混合特征对应的多个目标定位特征；根据所述多个目标定位特征确定所述终端设备的最终定位信息。
在该技术方案中，实时定位过程中，接收终端设备获取到的待处理图像时，一同接收终端设备获取该待处理图像时所处的初始定位信息，以用于在预先建立好的定位特征数据库中筛选出与该初始定位信息匹配的候选特征地图块，以将定位特征的搜索范围限定在一个较小的范围，则在提取出待处理图像中包含的多源混合特征后，有助于提高基于该多源混合特征在上述候选特征地图块中锁定用于确定终端设备的最终定位信息的多个目标定位特征的效率，如此，通过待处理图像的多源混合特征与准确的定位范围中的指定特征的匹配可以确定终端设备获取待处理图像时的绝对位置，实现高精度定位，具有较好的鲁棒性，且能够提供准确、可靠的定位结果，有效地提升了用户体验。
在上述技术方案中，优选地，在所述将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配前，还包括：获取所述终端设备的姿态信息；根据所述姿态信息生成反透视投影图像。
在该技术方案中，为了使得待处理图像与候选定位特征更加匹配，可以在该终端设备的位置对应的初始定位信息中包含该设备的姿态信息时，首先基于该姿态信息生成相应的反透视投影图像，以用于进一步缩小锁定定位特征数据库中的定位特征的搜索范围，提高定位的准确性。
在上述任一技术方案中，优选地，所述将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，包括：基于所述反透视投影图像将所述多源混合特征与所述候选定位特征进行匹配。
在该技术方案中，该反透视投影图像便于待处理图像对应的多源混合特征与特征数据库中的定为特征的匹配，有助于提高终端设备定位的效率和准确性。
在上述任一技术方案中，优选地，建立所述定位特征数据库包括：通过移动测量设备采集点云数据和图像数据，以及通过定位系统实时采集所述移动测量设备的位姿信息；将所述点云数据、所述图像数据和所述位姿信息进行融合，得到目标定位数据；基于深度学习算法在去除所述目标定位数据中包含的动态目标后提取其中包含的所述多源混合特征，以作为所述定位特征数据库中的定位特征，每个所述定位特征包括三维空间坐标信息。
在该技术方案中，建立定为特征数据库的过程优选地离线完成，具体地，首先将通过相应的特征数据采集装配分别获取到的点云数据、图像数据和位姿信息进行融合，以通过移动测量设备与组成定位系统的设备之间精确的相对位置关系将点云数据准确地映射到图像空间，确保点云数据的纹理特征或像素灰度特征，以生成彩色点云数据，并在基于深度学习算法去除相应的动态目标完成语义分割后，继续进行多源混合特征的提取，以提高鲁棒性，以及结合点云数据和图像间的映射关系则可以为提取出的每个定位特征建立三维空间坐标信息，则基于该定位特征数据库进行特征匹配后，可以确保得到终端设备获取相应的待处理图像时的最终定位信息。
在上述任一技术方案中，优选地，建立所述定位特征数据库，还包括：将所述定位特征数据库中的所有定位特征建立空间索引，以供基于所述定位信息检索所述候选特征地图块。
在该技术方案中，通过离线建立定位特征数据库的过程中，建立基于采集的所有定位特征的空间索引，以提高依据终端设备的初始定位信息检索候选特征地图块的效率。
在上述任一技术方案中，优选地，所述基于图像的定位方法还包括：获取所述多源混合特征和所述多个目标定位特征间的多个预设相似度；根据所述多个预设相似度对所述待处理图像进行姿态估计。
在该技术方案中，通过基于不同的特征间的相似度计算待处理图像的位姿信息，实现姿态估计，以准确地向用户反映当前基于图像的定位方案的可靠性。
在上述任一技术方案中，优选地，所述多源混合特征包括：像素灰度特征、梯度特征、点云强度特征、深度学习特征和语义特征；以及所述多个预设相似度包括：图像整体相似度、深度学习特征相似度、语义特征相似度。
在上述任一技术方案中，优选地，所述根据所述多个预设相似度对所述待处理图像进行姿态估计，包括：将所述图像整体相似度、所述深度学习特征相似度和所述语义特征相似度输入预设姿态估计计算公式得到所述待处理图像的位姿信息。
在该技术方案中，基于不同的特征间的相似度和预设姿态估计计算公式对待处理图像进行姿态估计，可以确保得到待处理图像的位姿信息的准确性和高效性。
根据本公开实施例的第二方面，提出了一种基于图像的定位装置，包括：接收模块，用于接收终端设备获取的待处理图像和所述终端设备的初始定位信息；定位模块，用于在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；提取模块，用于基于深度学习算法提取所述待处理图像中的多源混合特征；匹配模块，用于将所述多源混合特征与所述候选特征地图块中包含的候选定位特征向量进行匹配，以确定与所述多源混合特征对应的多个目标定位特征向量；确定模块，用于根据所述多个目标定位特征向量确定所述终端设备的最终定位信息。
在该技术方案中，实时定位过程中，接收终端设备获取到的待处理图像时，一同接收终端设备获取该待处理图像时所处的初始定位信息，以用于在预先建立好的定位特征数据库中筛选出与该初始定位信息匹配的候选特征地图块，以将定位特征的搜索范围限定在一个较小的范围，则在提取出待处理图像中包含的多源混合特征后，有助于提高基于该多源混合特征在上述候选特征地图块中锁定用于确定终端设备的最终定位信息的多个目标定位特征的效率，如此，通过待处理图像的多源混合特征与准确的定位范围中的指定特征的匹配可以确终端设备获取待处理图像时的绝对位置，实现高精度定位，具有较好的鲁棒性，且能够提供准确、可靠的定位结果，有效地提升了用户体验。
根据本公开实施例的第三方面，提出了一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述第一方面的技术方案中任一项所述的基于图像的定位方法的步骤。
根据本公开实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面的技术方案中任一项所述的基于图像的定位方法的步骤。
本公开实施例的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本公开实施例的基于图像的定位方法的流程示意图；
图2示出了本公开实施例的建立定位特征数据库的方法流程示意图；
图3示出了本公开实施例的基于图像的定位系统的工作流程示意图；
图4示出了本公开实施例的对最终定位信息进行姿态估计的方法流程示意图；
图5示出了本公开实施例的基于图像的定位装置的示意框图；
图6示出了本公开实施例的计算机设备的示意框图。
具体实施方式
为了可以更清楚地理解本公开实施例的上述目的、特征和优点，下面结合附图和具体实施方式对本公开实施例进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开实施例，但是，本公开实施例还可以采用其他不同于在此描述的其他方式来实施，因此，本公开实施例的保护范围并不受下面公开的具体实施例的限制。
考虑到目前大部分移动终端(比如智能手机、平板电脑等)都配置有拍照设备，因此图像是很容易获得的一种数据源。而现有的已经被广泛研究的基于图像的定位方法，一般受限于拍摄的光照、角度、季节等因素的影响在鲁棒性上还比较差，并且只依靠图像的定位由于缺乏尺度信息等还很难获得绝对的定位位置。比如以下三种现有的基于图像的定位方法：
(1)基于图像整体匹配的方法。该类方法输入的是整张图像，和数据库中存储的图像或者带纹理的三维模型进行配置，以计算图像的位置和姿态。但是基于数据库中存储的图像或者三维模型的纹理采集的尺度、时间、光照条件和输入图像很难一致，造成该类方法鲁棒性较差。
(2)基于图像特征的方法。该类方法分为特征数据库建立和实时定位两个部分。在建立特征数据库时，一般使用SFM(Structure From Motion)算法(一种基于各种收集到的无序图片进行三维重建的离线算法)重建出稀疏的三维点，同时保存每一个三维点的特征(比如SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded UpRobust Features，加速稳健特征)等)。在实时匹配过程中在图像中提取相应的特征，然后和数据库中的特征进行匹配获得3D-2D对应关系，然后计算待处理图像的位置和姿态。该方案对图像的尺度、旋转比较鲁棒，但是对于不同光照和时间拍摄的图像仍然会比较困难。
(3)基于深度学习的方法。现有的基于深度学习的方法实现定位的研究，其基本思路是通过深度学习的方法提取对尺度、旋转、视角变化、光照鲁棒的特征，然后仍然使用基于特征的匹配方法来匹配图像。但是该方案一般是用来实现图像检索，即寻找最相似的图像，但是无法准确的通过图像与图像之间的配准关系来计算待处理图像的绝对位置和姿态。
因此，需要一种能够定位待处理图像的最终定位信息的定位方案，下面结合图1至图4对本发明实施例的基于图像的定位方法进行详细说明。
如图1所示，根据本公开实施例的基于图像的定位方法，具体包括以下流程步骤：
步骤S102，接收终端设备获取的待处理图像和所述终端设备的初始定位信息。
具体地，该终端设备包括智能手机、平板电脑等移动终端设备，且配置有拍照摄像单元，使得待处理图像成为容易获得的数据源，以能够用于实现本发明实施例的定位。
步骤S104，在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块。
步骤S106，基于深度学习算法提取所述待处理图像中的多源混合特征。
步骤S108，将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，以确定与所述多源混合特征对应的多个目标定位特征。
由此可见，预先建立的定位特征数据库中包含多个特征地图块，每个特征地图块中含有至少一个能够与待处理图像中包含的多源混合特征匹配的定位特征，从而能够基于获取待处理图像的终端设备的初始定位信息和该待处理图像中包含的多源混合特征依次逐层在定位特征数据库中搜索出用于实现精准定位的特征。
步骤S110，根据所述多个目标定位特征确定所述终端设备的最终定位信息。
在该实施例中，实时定位过程中，接收终端设备获取到的待处理图像时，一同接收终端设备获取该待处理图像时所处的初始定位信息，以用于在预先建立好的定位特征数据库中筛选出与该初始定位信息匹配的候选特征地图块，以将定位特征的搜索范围限定在一个较小的范围，则在提取出待处理图像中包含的多源混合特征后，有助于提高基于该多源混合特征在上述候选特征地图块中锁定用于确定终端设备的最终定位信息的多个目标定位特征的效率，如此，通过待处理图像的多源混合特征与准确的定位范围中的指定特征的匹配可以确定终端设备获取待处理图像时的绝对位置，实现高精度定位，具有较好的鲁棒性，且能够提供准确、可靠的定位结果，有效地提升了用户体验。
进一步地，在上述实施例中的步骤S108之前，所述基于特征的定位方法还包括：获取所述终端设备的姿态信息；根据所述姿态信息生成反透视投影图像。
可以理解的是，为了使得待处理图像与候选定位特征更加匹配，可以在该终端设备的位置对应的初始定位信息中包含该设备的姿态信息时，首先基于该姿态信息生成相应的反透视投影图像，以用于进一步缩小锁定定位特征数据库中的定位特征的搜索范围，提高定位的准确性。
进一步地，在上述实施例中的步骤S108中将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配的方案，可以具体执行为：基于所述反透视投影图像将所述多源混合特征与所述候选定位特征进行匹配。
在该实施例中，该反透视投影图像便于待处理图像对应的多源混合特征与特征数据库中的定为特征的匹配，有助于提高终端设备定位的效率和准确性。
进一步地，在上述实施例中，所述基于图像的定位方法还包括建立所述定位特征数据库的过程，该过程优选地是在离线的情况完成的，具体可以在所述步骤S102之前，实现后端定位特征数据库的离线建立，包括如图2所示的流程步骤：
步骤S202，通过移动测量设备采集点云数据和图像数据，以及通过定位系统实时采集所述移动测量设备的位姿信息。
具体地，可以通过包括移动测量设备和定位系统的移动测量系统采集定位数据，其中，移动测量设备激光扫描仪用来获取点云数据、移动测量设备全景相机用来获取图像数据，以及使用高精度的GPS/IMU(Inertial Measurement Unit)定位系统(即全球定位/惯性导航系统)获取移动测量设备的位姿信息，即实时位置和姿态，过程如图3所示。
步骤S204，将所述点云数据、所述图像数据和所述位姿信息进行融合，得到目标定位数据。
具体地，不仅能够精确地依据点云数据中的三维信息和位姿信息恢复真实世界的几何信息，还能够依据点云数据中的强度信息反应真实世界的材料特征，进一步地在具体数据融合过程中，可以通过事先自动或手动标定的参数(比如平移、旋转等参数)实现点云数据、位姿信息和图像数据的融合映射，以确定移动测量设备和定位系统间精确的相对位置关系，以将点云数据中的每一个点都映射到图像空间，进而可以获得点云数据的纹理信息，生成彩色点云数据，以用于定位特征数据库的进一步建立。
进一步地，为提高彩色点云数据的质量，采用全景图像数据与点云数据进行融合，则基于图像数据与点云数据的映射关系，可以结合差值算法准确地获得图像的每个像素的深度信息，以为定位提供绝对尺度信息。
步骤S206，基于深度学习算法在去除所述目标定位数据中包含的动态目标后提取其中包含的所述多源混合特征，以作为所述定位特征数据库中的定位特征，每个所述定位特征包括三维空间坐标信息。
具体将上述数据融合的结果作为深度学习算法的输入进行多源混合特征的提取，以作为定位数据库中的定位特征；首先基于深度学习算法去除目标定位数据中包含的行人、车辆、树木等动态目标以提取静态目标，完成语义分割，过程如图3所示。
进一步地，通过深度学习算法提取特征除了能够提取到像素灰度特征、梯度特征、点云强度特征等多源混合特征外，还可以提取到深度学习特征，并能够达到语义分割的目的得到语义特征，如此，可以通过梯度特征提高对像素灰度特征因对光照、季节、天气变化等敏感的鲁棒性，并通过点云强度特征反应真实世界的材料特征，以及通过对尺度、旋转、光照等更加鲁棒的深度学习特征进一步有助于提高本发明实施例的基于图像的定位方案的鲁棒性，而为了解决重复性问题区域或纹理高度相似区域仍会存在无匹配的可能性，引入语义特征进行克服，具体地，一方面可以使用诸如道路线、路标、路牌、标志牌、杆状物来提高匹配的正确率，另一方面可以将语义特征间的相对位置关系，比如路牌在道路线的上方，杆状物在路牌的右边等语义关系作为定位特征存储在特征数据库中，作为多源混合特征(也即定位特征)的一部分；进而可以结合图像数据、点云数据、位姿信息之间的映射关系，使得每个定位特征都可以获取其三维空间位置信息，实现精确的三维特征数据库的建立，以用于实现准确的图像绝对定位，进一步在基于待处理图像中包含的多源混合特征在定位数据库中获取目标定位特征时可以实现鲁棒的特征匹配。
进一步地，上述实施例中步骤S106中提取所述待处理图像中包含的多源混合特征的过程同上述建立定位特征数据中的相关特征提取过程，即在实时定位过程中，一方面基于深度学习算法实现对智能终端获取的待处理图像的语义分割及特征提取得到多源混合特征，继而将提取到的特征与基于GPS定位信息在特征数据库中请求匹配到的特征进行匹配，以实现待处理图像的位置/姿态估计，过程如图3所示。
可见，建立定为特征数据库的过程优选地离线完成，具体地，首先将通过相应的特征数据采集装配分别获取到的点云数据、图像数据和位姿信息进行融合，以通过移动测量设备与组成定位系统的设备之间精确的相对位置关系将点云数据准确地映射到图像空间，确保点云数据的纹理特征或像素灰度特征，以生成彩色点云数据，并在基于深度学习算法去除相应的动态目标完成语义分割后，继续进行多源混合特征的提取，以提高鲁棒性，以及结合点云数据和图像间的映射关系则可以为提取出的每个定位特征建立三维空间坐标信息，则基于该定位特征数据库进行特征匹配后，可以确保得到终端设备获取相应的待处理图像时的最终定位信息。
进一步地，在上述实施例中，所述基于图像的定位方法所包括的建立所述定位特征数据库的过程还包括：将所述定位特征数据库中的所有定位特征建立空间索引，以供基于所述定位信息检索所述候选特征地图块。
在该实施例中，通过离线建立定位特征数据库的过程中，建立基于采集的所有定位特征的空间索引，以提高依据终端设备的初始定位信息检索候选特征地图块的效率。
进一步地，上述实施例所述的基于图像的定位方法还包括如图4所示的对最终定位信息进行姿态估计的方法流程，具体包括以下步骤：
步骤S402，获取所述多源混合特征和所述多个目标定位特征间的多个预设相似度。
步骤S404，根据所述多个预设相似度对所述待处理图像进行姿态估计。
在该实施例中，通过基于不同的特征间的相似度计算待处理图像的位姿信息，实现姿态估计，以准确地向用户反映当前基于图像的定位方案的可靠性。
具体地，在所述多个预设相似度包括图像整体相似度、深度学习特征相似度和语义特征相似度的情况下，上述实施例中的所述步骤S304可以执行为：
基于公式arg maxP(E1(If,Mapf)+λ1E2(IDL,MapDL)+λ2E3(Is,Maps))对所述待处理图像进行姿态估计。
其中，函数argmax()用于寻找使得括号内的相似度之和取得最大值所对应的变量值，P表示所述待处理图像的位置和姿态，I表示待处理图像，Map表示定位特征数据库中的特征地图块，以及：
E1表示所述图像整体相似度，具体可以使用互信息(MI，Mutual Information)来计算待处理图像与点云数据和图像数据融合得到的特征数据间的相似度，该相似度可以有效地实现不同源特征的配准，MI的值越大表示相似度越高。
E2表示深度学习特征相似度，即从待处理图像中提取的深度学习特征和定位特征数据库中存储的深度学习特征的相似度，具体通过计算对应特征的归一化互相关(NCC，Normalized Cross Correlation)系数的方式计算，NCC系数越大表示相似度越高。
E3表示语义特征相似度，将对待处理图像基于深度学习语义分割得到的语义特征，与定位特征数据库中的语义特征进行匹配，考虑到经过深度学习算法的语义分割，去除动态物体后，待处理图像的剩余部分主要是静态目标，比如包括标志、标牌、标记、杆状物、道路线等具有良好几何特征的静态目标，则在进行语义特征的匹配时可以通过形状匹配的方式计算该语义特征相似度。
另外，λ1，λ2为尺度因子，用来表示相似度计算中各部分的贡献，可以通过实践调试获得。
进一步地，在上述实施例中，所述基于图像的定位方法还包括：对所述待处理图像的位姿信息进行置信度估计。
可以理解的是，上述多个预设相似度可以反应定位的可靠性，但同时需要考虑到定位特征数据库中存储的特征数据间的误差，当通过上述线性化公式建立了其未知参数P(即位姿信息)和定位特征数据库中的已知测量值的近似线性关系后，可以通过误差传播规律，计算参数P的不确定性，实现置信度估计，以用来衡量定位的精度估计。
图5示出了本公开实施例的远程调用通信装置的示意框图。
如图5所示，根据本公开实施基于图像的定位装置50，包括：接收模块502、定位模块504、提取模块506、匹配模块508和确定模块510。
其中，所述接收模块502用于接收终端设备获取的待处理图像和所述终端设备的初始定位信息；所述定位模块504用于在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；所述提取模块506用于基于深度学习算法提取所述待处理图像中的多源混合特征；所述匹配模块508用于将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，以确定与所述多源混合特征对应的多个目标定位特征；所述确定模块510用于根据所述多个目标定位特征确定所述终端设备的最终定位信息。
在该实施例中，实时定位过程中，接收终端设备获取到的待处理图像时，一同接收终端设备获取该待处理图像时所处的初始定位信息，以用于在预先建立好的定位特征数据库中筛选出与该初始定位信息匹配的候选特征地图块，以将定位特征的搜索范围限定在一个较小的范围，则在提取出待处理图像中包含的多源混合特征后，有助于提高基于该多源混合特征在上述候选特征地图块中锁定用于确定终端设备的最终定位信息的多个目标定位特征的效率，如此，通过待处理图像的多源混合特征与准确的定位范围中的指定特征的匹配可以确定终端设备获取待处理图像时的绝对位置，实现高精度定位，具有较好的鲁棒性，且能够提供准确、可靠的定位结果，有效地提升了用户体验。
进一步地，在上述实施例中，所述基于图像的定位装置50还包括：第一获取模块和第一处理模块。
其中，所述第一获取模块用于获取所述终端设备的姿态信息；所述第一处理模块用于根据所述姿态信息生成反透视投影图像。
进一步地，在上述实施例中，所述匹配模块508具体用于：基于所述反透视投影图像将所述多源混合特征与所述候选定位特征进行匹配。
进一步地，所述基于图像的定位装置50还包括建立所述定位特征数据库的创建模块，用于：通过移动测量设备采集点云数据和图像数据，以及通过定位系统实时采集所述移动测量设备的位姿信息；将所述点云数据、所述图像数据和所述位姿信息进行融合，得到目标定位数据；基于深度学习算法在去除所述目标定位数据中包含的动态目标后提取其中包含的所述多源混合特征，以作为所述定位特征数据库中的定位特征，每个所述定位特征包括三维空间坐标信息。
进一步地，在上述实施例中，所述创建模块还用于：将定位特征数据库中的所有定位特征建立空间索引，以供基于所述定位信息检索所述候选特征地图块。
进一步地，在上述实施例中，所述基于图像的定位装置50还包括：第二获取模块和第二处理模块。
其中，所述第二获取模块用于获取所述多源混合特征和所述多个目标定位特征间的多个预设相似度；所述第二处理模块用于根据所述多个预设相似度对所述待处理图像进行姿态估计。
进一步地，在上述实施例中，所述多源混合特征包括：像素灰度特征、梯度特征、点云强度特征、深度学习特征和语义特征；以及所述多个预设相似度包括：图像整体相似度、深度学习特征相似度、语义特征相似度。
进一步地，在上述实施例中，所述第二处理模块具体用于：将所述图像整体相似度、所述深度学习特征相似度和所述语义特征相似度输入预设姿态估计计算公式得到所述待处理图像的位姿信息。
进一步地，在上述实施例中，所述第二处理模块具体还用于：对所述待处理图像的位姿信息进行置信度估计。
图6示出了本公开实施例的计算机设备的示意框图。
如图6所示，根据本公开实施例的计算机设备60，包括存储器602、处理器604及存储在所述存储器602上并可在所述处理器604上运行的计算机程序，其中存储器602和处理器604之间可以通过总线连接，所述处理器604用于执行存储器602中存储的计算机程序时实现如上实施例中所述基于图像的定位方法的步骤。
优选地，所述计算机设备60为服务器。
本公开实施例的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本公开实施例的基于图像的定位装置和计算机设备中的单元可以根据实际需要进行合并、划分和删减。
根据本公开实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上实施例中服务器侧的所述基于图像的定位方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、设备(系统)或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一以及第二等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于图像的定位方法，其特征在于，包括：
接收终端设备获取的待处理图像和所述终端设备的初始定位信息；
在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；
基于深度学习算法提取所述待处理图像中的多源混合特征，所述多源混合特征包括像素灰度特征、梯度特征、点云强度特征、深度学习特征和语义特征；
将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，以确定与所述多源混合特征对应的多个目标定位特征；
根据所述多个目标定位特征确定所述终端设备的最终定位信息；
其中，每个候选特征地图块中含有至少一个能够与待处理图像中包含的多源混合特征匹配的定位特征；
所述方法还包括：
获取所述多源混合特征和所述多个目标定位特征间的多个预设相似度，所述多个预设相似度包括图像整体相似度、深度学习特征相似度、语义特征相似度；
根据所述多个预设相似度对所述待处理图像进行姿态估计，以确定最终定位信息的可靠性；
建立所述定位特征数据库，包括：
通过移动测量设备采集点云数据和图像数据，以及通过定位系统实时采集所述移动测量设备的位姿信息；
将所述点云数据、所述图像数据和所述位姿信息进行融合，得到目标定位数据；
基于深度学习算法在去除所述目标定位数据中包含的动态目标后提取其中包含的所述多源混合特征，以作为所述定位特征数据库中的定位特征，每个所述定位特征包括三维空间坐标信息。
2.根据权利要求1所述的定位方法，其特征在于，在所述将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配前，还包括：
获取所述终端设备的姿态信息；
根据所述姿态信息生成反透视投影图像。
3.根据权利要求2所述的定位方法，其特征在于，所述将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，包括：
基于所述反透视投影图像将所述多源混合特征与所述候选定位特征进行匹配。
4.根据权利要求1所述的定位方法，其特征在于，建立所述定位特征数据库，还包括：
将定位特征数据库中的所有定位特征建立空间索引，以供基于所述定位信息检索所述候选特征地图块。
5.根据权利要求1所述的定位方法，其特征在于，所述根据所述多个预设相似度对所述待处理图像进行姿态估计，包括：
将所述图像整体相似度、所述深度学习特征相似度和所述语义特征相似度输入预设姿态估计计算公式得到所述待处理图像的位姿信息。
6.一种基于图像的定位装置，其特征在于，包括：
接收模块，用于接收终端设备获取的待处理图像和所述终端设备的初始定位信息；
定位模块，用于在预先建立的定位特征数据库中筛选出与所述初始定位信息对应的候选特征地图块；
提取模块，用于基于深度学习算法提取所述待处理图像中的多源混合特征，所述多源混合特征包括像素灰度特征、梯度特征、点云强度特征、深度学习特征和语义特征；
匹配模块，用于将所述多源混合特征与所述候选特征地图块中包含的候选定位特征进行匹配，以确定与所述多源混合特征对应的多个目标定位特征；
确定模块，用于根据所述多个目标定位特征确定所述终端设备的最终定位信息；
其中，每个候选特征地图块中含有至少一个能够与待处理图像中包含的多源混合特征匹配的定位特征；
所述定位装置还用于执行获取所述多源混合特征和所述多个目标定位特征间的多个预设相似度，所述多个预设相似度包括图像整体相似度、深度学习特征相似度、语义特征相似度，根据所述多个预设相似度对所述待处理图像进行姿态估计，以确定最终定位信息的可靠性；
所述基于图像的定位装置还包括建立所述定位特征数据库的创建模块，用于通过移动测量设备采集点云数据和图像数据，以及通过定位系统实时采集所述移动测量设备的位姿信息；
将所述点云数据、所述图像数据和所述位姿信息进行融合，得到目标定位数据；
基于深度学习算法在去除所述目标定位数据中包含的动态目标后提取其中包含的所述多源混合特征，以作为所述定位特征数据库中的定位特征，每个所述定位特征包括三维空间坐标信息。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811314653.1A CN111143489B (zh) | 2018-11-06 | 2018-11-06 | 基于图像的定位方法及装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811314653.1A CN111143489B (zh) | 2018-11-06 | 2018-11-06 | 基于图像的定位方法及装置、计算机设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111143489A CN111143489A (zh) | 2020-05-12 |
| CN111143489B true CN111143489B (zh) | 2024-01-09 |
Family
ID=70515256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811314653.1A Active CN111143489B (zh) | 2018-11-06 | 2018-11-06 | 基于图像的定位方法及装置、计算机设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111143489B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085034A (zh) * | 2020-09-11 | 2020-12-15 | 北京埃福瑞科技有限公司 | 一种基于机器视觉的轨道交通列车定位方法及系统 |
| CN112565800B (zh) * | 2020-11-30 | 2023-02-28 | 北京达佳互联信息技术有限公司 | 一种视频定位方法、装置、设备、系统及存储介质 |
| CN112699263B (zh) * | 2021-01-08 | 2023-05-23 | 郑州科技学院 | 基于ai的二维美术图像动态展示方法及装置 |
| CN114942021A (zh) * | 2021-02-08 | 2022-08-26 | 北京嘀嘀无限科技发展有限公司 | 终端定位方法、装置、终端、介质和计算机程序产品 |
| CN113177561B (zh) * | 2021-04-27 | 2022-06-24 | 深圳市慧鲤科技有限公司 | 多用户集合方法及装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及系统 |
| WO2013162140A1 (ko) * | 2012-04-26 | 2013-10-31 | 서울시립대학교 산학협력단 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
| CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
| CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
| CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
| CN108629843A (zh) * | 2017-03-24 | 2018-10-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
-
2018
- 2018-11-06 CN CN201811314653.1A patent/CN111143489B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107690840B (zh) * | 2009-06-24 | 2013-07-31 | 中国科学院自动化研究所 | 无人机视觉辅助导航方法及系统 |
| WO2013162140A1 (ko) * | 2012-04-26 | 2013-10-31 | 서울시립대학교 산학협력단 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
| CN105676253A (zh) * | 2016-01-15 | 2016-06-15 | 武汉光庭科技有限公司 | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 |
| CN108629843A (zh) * | 2017-03-24 | 2018-10-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
| CN107144285A (zh) * | 2017-05-08 | 2017-09-08 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
| CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111143489A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111143489B (zh) | 基于图像的定位方法及装置、计算机设备和可读存储介质 | |
| CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| KR102145109B1 (ko) | 지도 생성 및 운동 객체 위치 결정 방법 및 장치 | |
| Fan et al. | Pothole detection based on disparity transformation and road surface modeling | |
| JP7190842B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| US9324003B2 (en) | Location of image capture device and object features in a captured image | |
| Li et al. | A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges | |
| EP2833293B1 (en) | Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data | |
| US9799139B2 (en) | Accurate image alignment to a 3D model | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| CN111652934A (zh) | 定位方法及地图构建方法、装置、设备、存储介质 | |
| CN107833250B (zh) | 语义空间地图构建方法及装置 | |
| CN111190199B (zh) | 定位方法及定位装置、计算机设备和可读存储介质 | |
| CN103761539A (zh) | 一种基于环境特征物体的室内定位方法 | |
| CN116843754A (zh) | 一种基于多特征融合的视觉定位方法及系统 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN113822996B (zh) | 机器人的位姿估计方法及装置、电子设备、存储介质 | |
| Ding et al. | Stereo vision SLAM-based 3D reconstruction on UAV development platforms | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| Arth et al. | Full 6dof pose estimation from geo-located images | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| Zhang et al. | Integrating smartphone images and airborne lidar data for complete urban building modelling | |
| CN113487741B (zh) | 稠密三维地图更新方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |