[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111563934B - 单目视觉里程计尺度确定方法和装置 - Google Patents

单目视觉里程计尺度确定方法和装置 Download PDF

Info

Publication number
CN111563934B
CN111563934B CN202010521368.8A CN202010521368A CN111563934B CN 111563934 B CN111563934 B CN 111563934B CN 202010521368 A CN202010521368 A CN 202010521368A CN 111563934 B CN111563934 B CN 111563934B
Authority
CN
China
Prior art keywords
point cloud
cloud data
preset
scale
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010521368.8A
Other languages
English (en)
Other versions
CN111563934A (zh
Inventor
韩松杉
刘星
王世汉
刘方圆
张弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sineva Intelligent Technology Co ltd
Original Assignee
Zhejiang Sineva Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sineva Intelligent Technology Co ltd filed Critical Zhejiang Sineva Intelligent Technology Co ltd
Priority to CN202010521368.8A priority Critical patent/CN111563934B/zh
Publication of CN111563934A publication Critical patent/CN111563934A/zh
Application granted granted Critical
Publication of CN111563934B publication Critical patent/CN111563934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种单目视觉里程计尺度确定方法和装置，涉及计算机视觉技术领域，包括：基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；目标对象为携带有单目相机的设备；初始位姿是基于UWB确定的；连续多帧图像是单目相机在预设地图对应的空间环境中采集的；利用ICP算法将第一点云数据与第二点云数据进行匹配，确定匹配度；第二点云数据为预设地图的点云数据；基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，将调整后的预设尺度作为目标尺度。通过该方式确定单目视觉里程计的尺度，操作便捷，准确度高。

Description

单目视觉里程计尺度确定方法和装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种单目视觉里程计尺度确定方法和装置。
背景技术
同步定位与建图（simultaneous localization and mapping，SLAM）在移动机器人、无人飞行器、自主驾驶、虚拟现实、增强现实等领域有着广泛的应用。由于单目相机具有低成本、轻量化和易于安装的特点，利用单目SLAM对机器人姿态进行定位的方法受到了广泛的关注。但是，通过单目相机采集的图像数据不能提供这些物体真实的三维大小信息,因此无法确定单目视觉里程计的尺度。
相关技术中，通常是借助传感器如：激光雷达、惯性测量单元（Inertialmeasurement unit，IMU）等，确定单目视觉里程计的尺度，但是该方式需要借助硬件设备，因此成本的消耗比较大。此外，还有通过深度学习的方法来确定单目视觉里程计的尺度，但是该方案计算复杂，且对设备的性能要求较高。
基于此，亟需一种单目视觉里程计尺度确定方法来解决上述的问题。
发明内容
本申请提供了一种单目视觉里程计尺度确定方法和装置，用以简化单目视觉里程计尺度的确定方案。
第一方面，本申请实施例提供一种单目视觉里程计尺度确定方法，所述方法包括：
基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，所述目标对象为携带有单目相机的设备；初始位姿是基于超宽带（Ultra Wide Band，UWB）确定的；连续多帧图像是单目相机在预设地图对应的空间环境中采集的；利用迭代就近点( Iterative Closest Point，ICP)算法将第一点云数据与第二点云数据进行匹配，确定匹配度；其中，第二点云数据为预设地图的点云数据；基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，将调整后的预设尺度作为单目视觉里程计的目标尺度。
本方案通过UWB技术确定目标对象的初始位姿，并基于该初始位姿以及预设的尺度，以及单目相机在预设地图对应的空间环境中采集的连续多帧图像，构建成第一点云数据，之后利用ICP算法将第一点云数据与预设地图的点云数据也即第二点云数据进行匹配，确定匹配度，基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，则将调整后的预设尺度作为单目视觉里程计的目标尺度。该方式相对于相关技术中借助传感器确定单目视觉里程计的尺度，节约了设备的成本，相对于基于深度学习的方法确定单目视觉里程计的尺度，计算简便，降低了对设备的性能要求。此外，该方式是基于连续多帧的图像构建点云数据，并基于连续多帧的图像进行点云数据的匹配，匹配效率和精度高，有助于更快更准确地确定单目视觉里程计的目标尺度。
在一个可选的实施例中，初始位姿是通过如下方式确定的：
基于所述目标对象的多个定位标签发送携带各所述定位标签身份标识号码ID的UWB信号至所述预设地图对应的空间环境中的多个UWB基站；
基于各所述UWB基站的反馈的信号接收时间，以及各所述UWB基站在所述预设地图对应的空间环境的位置，确定所述目标对象的初始位姿。
传统的视觉里程计要依赖基于特征点的闭环检测或粒子滤波器等算法，确定全局位姿，耗时长、成功率低、且容易出现闭环误检测或局部收敛导致的全局定位失败的状况。该方式中，基于UWB确定目标对象的初始全局位姿，确定的初始位姿的速度更快、更可靠，且便于更加准确地计算出单目视觉里程计的目标尺度。
在一个可选的实施例中，第一点云数据是通过单目视觉里程计构建的。
该方式中，通过单目视觉里程计构建点云数据更加便捷。
在一个可选的实施例中，通过ICP算法计算第一点云数据与第二点云数据间的距离值；根据距离值，确定第一点云数据与第二点云数据的匹配度。
通过计算第一点云数据和第二点云数据之间的距离值来计算匹配度，更加准确可靠。
第二方面，本申请实施例提供一种单目视觉里程计尺度确定装置，该装置包括：
构建模块，用于基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，目标对象为携带有单目相机的设备；初始位姿是基于超宽带UWB确定的；连续多帧图像是单目相机在预设地图对应的空间环境中采集的；匹配模块，用于利用迭代就近点ICP算法将第一点云数据与第二点云数据进行匹配，确定匹配度；其中，第二点云数据为预设地图的点云数据；调整模块，用于基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，将调整后的预设尺度作为单目视觉里程计的目标尺度。
在一个可选的实施例中，该装置还包括：初始位姿确定模块，用于基于所述目标对象的多个定位标签发送携带各所述定位标签ID的UWB信号至所述预设地图对应的空间环境中的多个UWB基站；基于各所述UWB基站的反馈的信号接收时间，以及各所述UWB基站在所述预设地图对应的空间环境的位置，确定所述目标对象的初始位姿。
在一个可选的实施例中，第一点云数据是通过单目视觉里程计构建的。
在一个可选的实施例中，匹配模块，具体用于：通过ICP算法计算第一点云数据与第二点云数据间的距离值；根据距离值，确定第一点云数据与第二点云数据的匹配度。
针对单目视觉里程计尺度确定装置的有益效果可参照第一方面中单目视觉里程计尺度确定方法的描述，在此不在赘述。
第三方面，本申请实施例还提供一种计算设备，包括：
存储器以及处理器；
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令第一方面任一项所述的单目视觉里程计尺度确定方法。
第四方面，本申请实施例还提供一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中第一方面任一单目视觉里程计尺度确定方法。
本申请的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种单目视觉里程计尺度确定方法的流程示意图；
图2为本申请实施提供的UWB定位方法的示意图；
图3为本申请实施例提供的一种单目视觉里程计尺度确定装置的结构示意图；
图4为本申请实施例提供的计算设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
如背景技术所述，单目视觉里程计的尺度借助激光雷达、IMU等传感器来确定，额外增加了设备自身成本，且融合传感器采集的信息较为复杂。另外，通过深度学习的方法确定的单目视觉里程计的尺度，计算复杂，且对设备的性能要求较高，基于此，本申请提供一种单目视觉里程计尺度确定方法来简化单目视觉里程计尺度的确定方案。
需要说明的是，本申请的单目视觉里程计可搭载在移动机器人、无人飞行器、手机等设备上，在确定单目视觉里程计的尺度时，携带有单目相机的设备（也即目标对象）的处理器可参阅图1所示的单目视觉里程计尺度确定方法来执行步骤101，基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，初始位姿是基于超宽带UWB确定的；连续多帧图像是单目相机在预设地图对应的空间环境中采集的。
目标对象的初始位姿也即在预设地图对应的空间环境中相对于预设地图所在的空间环境中的位姿，该初始位姿是基于UWB通过如下方式确定的：
目标对象的处理器基于目标对象的多个定位标签发送携带各定位标签ID的UWB信号至预设地图对应的空间环境中的多个UWB基站；基于各UWB基站的反馈的信号接收时间，以及各UWB基站在预设地图对应的空间环境的位置，确定目标对象的初始位姿。
其中，UWB基站时可根据预设地图对应的空间环境进行区域划分，如：每隔30-100米设置一个UWB基站，实际应用时可根据需求进行设置，在此不做具体限定，如图2所示，假定目标对象为移动机器人，可通过移动机器人的多个定位标签向3个UWB基站分别发送携带定位标签ID的UWB信号如：移动机器人包括2个定位标签，分别为定位标签1以及定位标签2，其中，定位标签1的ID为地址1，定位标签2的ID为地址2，定位标签1在发UWB信号时会携带其ID地址1，定位标签2在发UWB信号时会携带其ID地址2。此外，3个UWB基站在空间环境中的位置是确定的，基于各UWB基站反馈的信号接收时间以及UWB基站的位置，确定单目视觉里程计的初始位姿。
UWB技术是利用事先布置好的已知在空间环境中位置的基站，与空间环境中的定位标签进行通讯，并利用三角定位来确定位置。
需要说明的是，在UWB技术中广泛应用的是飞行时间测距法（Time of flight，TOF）和到达时间差法（Time Difference of Arrival，TDOA）。从定位方式来讲，均属于多点定位，即：基于定位标签与多个已知坐标点的相对位置关系来确定定位标签的位置。其中，室内定位系统包括UWB基站和UWB定位标签。定位时，由UWB基站的接收器接收多个定位标签发射的UWB信号，通过过滤电磁波传输过程中夹杂的各种噪声干扰，得到含有效信息的信号，再通过中央处理单元进行测距定位计算分析，得到多个定位标签的位置，并基于该多个定位标签的位置确定目标对象的初始位姿，该方式中由于UWB信号穿透力强、抗多径效果好、安全性高的特点，故而能提供精确定位精度。
其中，基于UWB技术的确定初始位姿主要是通过如下流程来实现的：
（1）多个定位标签以UWB脉冲不间断地向空间环境中发送UWB信号；
（2）多个UWB基站接收多个定位标签发送的UWB信号；
（3）每个UWB基站利用高敏度的短脉冲侦测器测量各定位标签发送UWB信号到达其接收器天线的时间；
（4）各UWB基站通过无线保真（Wireless Fidelity，WIFI）或者以太网实现与后台服务器（或定位标签）通信；
（5）确定UWB信号到达不同UWB基站之间的时间差，并利用TDOA算法来计算各定位标签位置；
（6）基于各定位标签的位置确定单目视觉里程计的初始位姿。
通过多个定位标签，就可以更准确、更鲁棒的确定目标对象的初始位姿。通过UWB计算的初始位姿，相对于传统的视觉里程计要依赖基于特征点的闭环检测或粒子滤波器等算法，确定的目标对象的初始位姿的速度更快、更可靠，且便于更加准确地计算出单目视觉里程计的目标尺度。
另外，第一点云数据可通过对单目相机采集的连续多帧图像进行数据处理后，叠加上目标对象的初始位姿进行确定，也可直接通过单目视觉里程计进行确定。本申请中第一点云数据是视觉里程计基于目标对象的初始位姿以及单目相机采集的连续多帧图像构建的。本申请中基于连续多帧图像构建第一点云数据，相对于基于单帧图像构建的点云数据的方式，本申请的点云数据构建方式涵盖的周围空间环境的信息更加全面，且对于有利于后续的点云数据匹配时，计算效率的提高。
通过单目视觉里程计构建第一点云数据更加简便便捷。本申请并不限制单目视觉里程计的具体实现方式，可以采用ORB SLAM（基于ORB特征点的实时定位和建图系统）、DSO（直接稀疏视觉里程计）、RGBD SLAM（深度视觉里程计）、FAST RGBD SLAM（快速深度视觉里程计）、VINS（视觉惯性导航系统）等视觉里程计基于目标对象的初始位姿将连续多帧图像构建成第一点云数据。
步骤102，利用迭代就近点ICP算法将第一点云数据与第二点云数据进行匹配，确定匹配度；其中，第二点云数据为预设地图的点云数据。
需要说明的是，第二点云数据是通过深度传感器如：RGB-D（Red Green BlueDepth Map）传感器、激光扫描仪等扫描待定位空间的环境后构建的。本申请在执行第一点云数据和第二点云数据的匹配时，可通过ICP算法进行匹配。通过采用ICP算法进行匹配，匹配效率高。
步骤103，基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，将调整后的预设尺度作为单目视觉里程计的目标尺度。
另外，通过ICP算法计算第一点云数据与第二点云数据间的距离值；并根据距离值，确定第一点云数据与第二点云数据的匹配度，其中，距离值与匹配度负相关。
需要说明的是，第一点云数据与第二点云数据间的距离值（也即距差值）越大，也即匹配度越低；距离值越小，也即匹配度越高。在通过ICP算法进行点云数据匹配时，需要对第一点云数据进行位置变换，以便更快地确定匹配度，其中，不携带尺度的位置变换矩阵如公式1所示：
Figure 285473DEST_PATH_IMAGE001
公式1
其中，
Figure 260383DEST_PATH_IMAGE002
为旋转矩阵；
Figure 476600DEST_PATH_IMAGE003
为平移向量，包括单目视觉里程计在X轴的平移向量、单目 视觉里程计在Y轴的平移向量以及单目视觉里程计在Z轴的平移向量；
Figure 72622DEST_PATH_IMAGE004
为特殊欧式群； 由于单目视觉里程计缺少尺度，
Figure 690685DEST_PATH_IMAGE005
的值并不准确，需要携带尺度
Figure 836496DEST_PATH_IMAGE006
，进行位置变换，故而得 到公式2：
Figure 540009DEST_PATH_IMAGE007
公式2
其中，
Figure 163889DEST_PATH_IMAGE006
为单目视觉里程计的预设尺度；
Figure 902038DEST_PATH_IMAGE008
为相似性变换。
另外，第一点云数据通过公式2进行位置变换后可与第二点云数据通过公式3来进行匹配计算：
Figure 218749DEST_PATH_IMAGE009
公式3
其中，
Figure 612822DEST_PATH_IMAGE010
表示尺度为
Figure 102709DEST_PATH_IMAGE006
时第一点云数据和第二点云数据之间的距离值，
Figure 367468DEST_PATH_IMAGE011
表示 匹配点数；
Figure 917398DEST_PATH_IMAGE012
表示在单目视觉里程计所在的坐标系下，第一点云数据中的点的坐标；
Figure 533187DEST_PATH_IMAGE013
表 示在空间环境所在的坐标系下第二点云数据中的点的坐标；
Figure 826765DEST_PATH_IMAGE014
表示当前单目视觉里程计的 带尺度的位姿。
需要说明的是，若根据的值确定的匹配度大于预设的匹配阈值，则确定预设 尺度不满足需求，则需要调整预设尺度，如：预设尺度为3，通过计算确定以预设尺度3，构建 的第一点云数据与第二点云数据的通过ICP算法进行迭代匹配计算，获取迭代更新后的目 标对象的位姿1以及单目视觉里程计的尺度1，若该匹配误差未满足预设的匹配阈值，则单 目相机继续采集图像，基于单目视觉里程计、位姿1以及尺度1继续构建第一点云数据，并将 第一点云数据与第二点云数据通过ICP算法再次进行匹配计算，获取目标对象的位姿2以及 单目视觉里程计的尺度2，若匹配误差满足预设的匹配阈值，则将尺度2作为单目视觉里程 计的目标尺度。若匹配误差未满足预设的匹配阈值，则单目视相机继续采集图像，基于单目 视觉里程计、位姿2以及尺度2继续构建第一点云数据与第二点云数据通过ICP算法再次进 行匹配计算。
本申请实施例，通过UWB技术确定目标对象的初始位姿，并基于该初始位姿以及预设的尺度，以及单目相机在预设地图对应的空间环境中采集的连续多帧图像，构建成第一点云数据，之后利用ICP算法将第一点云数据与预设地图的点云数据也即第二点云数据进行匹配，确定匹配度，基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，则将调整后的预设尺度作为单目视觉里程计的目标尺度。该方式相对于相关技术中借助传感器确定单目视觉里程计的尺度，节约了设备的成本，相对于基于深度学习的方法确定单目视觉里程计的尺度，计算简便，降低了对设备的性能要求。此外，该方式是基于连续多帧的图像构建点云数据，并基于连续多帧的图像进行点云数据的匹配，匹配效率和精度高，有助于更快更准确地确定单目视觉里程计的目标尺度。
接下来介绍本申请实施例提供的单目视觉里程计尺度确定装置如图3所示，该装置包括：构建模块31、匹配模块32以及调整模块33。
其中，构建模块31，用于基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，目标对象为携带有单目相机的设备；初始位姿是基于超宽带UWB确定的；连续多帧图像是单目相机在预设地图对应的空间环境中采集的；匹配模块32，用于利用迭代就近点ICP算法将第一点云数据与第二点云数据进行匹配，确定匹配度；其中，第二点云数据为预设地图的点云数据；调整模块33，用于基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，将调整后的预设尺度作为单目视觉里程计的目标尺度。
本方案通过UWB技术确定目标对象的初始位姿，并基于该初始位姿以及预设的尺度，以及单目相机在预设地图对应的空间环境中采集的连续多帧图像，构建成第一点云数据，之后利用ICP算法将第一点云数据与预设地图的点云数据也即第二点云数据进行匹配，确定匹配度，基于匹配度调整预设尺度，直到基于调整后的预设尺度构建的第一点云数据与第二点云数据的匹配度满足预设匹配阈值时，则将调整后的预设尺度作为单目视觉里程计的目标尺度。该方式相对于相关技术中借助传感器确定单目视觉里程计的尺度，节约了设备的成本，相对于基于深度学习的方法确定单目视觉里程计的尺度，计算简便，降低了对设备的性能要求。此外，该方式是基于连续多帧的图像构建点云数据，并基于连续多帧的图像进行点云数据的匹配，匹配效率和精度高，有助于更快更准确地确定单目视觉里程计的目标尺度。
在一个可选的实施例中，该装置还包括：初始位姿确定模块，用于基于所述目标对象的多个定位标签发送携带各所述定位标签身份标识号码ID的UWB信号至所述预设地图对应的空间环境中的多个UWB基站；基于各所述UWB基站的反馈的信号接收时间，以及各所述UWB基站在所述预设地图对应的空间环境的位置，确定所述目标对象的初始位姿。
该装置，基于UWB确定目标对象的初始位姿，确定的初始位姿的速度更快、更可靠，且便于更加准确地计算出单目视觉里程计的目标尺度。
在一个可选的实施例中，第一点云数据是通过视觉里程计构建的。
通过视觉里程计构建点云数据更加便捷。
在一个可选的实施例中，匹配模块32，具体用于：通过ICP算法分别计算第一点云数据与第二点云数据间的距离值；根据距离值，确定第一点云数据与第二点云数据的匹配度。
通过计算第一点云数据也第二点云数据之间的距离值来计算匹配度，更加准确可靠。
在介绍了本申请示例性实施方式中的单目视觉里程计尺度确定方法、装置之后，接下来，介绍本申请的另一示例性实施方式的计算设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的单目视觉里程计尺度确定方法中的步骤。例如，处理器可以执行如图1中所示的步骤101-步骤103。
下面参照图4来描述根据本申请的这种实施方式的计算设备130。图4显示的计算设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图4所示，计算设备130以通用智能终端的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件（包括存储器132和处理器131）的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器（RAM）1321和/或高速缓存存储器1322，还可以进一步包括只读存储器（ROM）1323。存储器132还可以包括具有一组（至少一个）程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备130也可以与一个或多个外部设备134（例如键盘、指向设备等）通信，和/或与使得该计算设备130能与一个或多个其它智能终端进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图4所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图4中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的单目视觉里程计尺度确定方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的单目视觉里程计尺度确定方法中的步骤。例如，处理器可以执行如图1中所示的步骤101-步骤103。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于三维视觉重定位的程序产品可采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可在智能终端上运行。但本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种单目视觉里程计尺度确定方法，其特征在于，所述方法包括：
基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，所述目标对象为携带有单目相机的设备；所述初始位姿是基于超宽带UWB确定的；所述连续多帧图像是所述单目相机在预设地图对应的空间环境中采集的；
利用迭代就近点ICP算法将所述第一点云数据与第二点云数据进行匹配，确定匹配度；其中，所述第二点云数据为所述预设地图的点云数据；
基于所述匹配度调整所述预设尺度，直到基于所述调整后的预设尺度构建的第一点云数据与所述第二点云数据的匹配度满足预设匹配阈值时，将所述调整后的预设尺度作为单目视觉里程计的目标尺度；
若所述匹配度未满足所述预设匹配阈值，则基于所述单目相机继续采集图像，并基于所述单目视觉里程计、目标对象的位姿以及所述预设尺度继续构建第一点云数据，并将所述第一点云数据与所述第二点云数据通过ICP算法再次进行匹配计算。
2.根据权利要求1所述的方法，其特征在于，所述初始位姿是通过如下方式确定的：
基于所述目标对象的多个定位标签发送携带各所述定位标签身份标识号码ID的UWB信号至所述预设地图对应的空间环境中的多个UWB基站；
基于各所述UWB基站的反馈的信号接收时间，以及各所述UWB基站在所述预设地图对应的空间环境的位置，确定所述目标对象的初始位姿。
3.根据权利要求1或2所述的方法，其特征在于，所述第一点云数据是通过单目视觉里程计构建的。
4.根据权利要求3所述的方法，其特征在于，所述利用迭代就近点ICP算法将所述第一点云数据与第二点云数据进行匹配，确定匹配度，包括：
通过ICP算法计算所述第一点云数据与所述第二点云数据间的距离值；
根据所述距离值，确定所述第一点云数据与所述第二点云数据的匹配度。
5.一种单目视觉里程计尺度确定装置，其特征在于，所述装置包括：
构建模块，用于基于目标对象的初始位姿以及单目视觉里程计的预设尺度，将连续多帧图像构建成第一点云数据；其中，所述目标对象为携带有单目相机的设备；所述初始位姿是基于超宽带UWB确定的；所述连续多帧图像是所述单目相机在预设地图对应的空间环境中采集的；
匹配模块，用于利用迭代就近点ICP算法将所述第一点云数据与第二点云数据进行匹配，确定匹配度；其中，所述第二点云数据为所述预设地图的点云数据；
调整模块，用于基于所述匹配度调整所述预设尺度，直到基于所述调整后的预设尺度构建的第一点云数据与所述第二点云数据的匹配度满足预设匹配阈值时，将所述调整后的预设尺度作为单目视觉里程计的目标尺度；若所述匹配度未满足所述预设匹配阈值，则基于所述单目相机继续采集图像，并基于所述单目视觉里程计、目标对象的位姿以及所述预设尺度继续构建第一点云数据，并将所述第一点云数据与所述第二点云数据通过ICP算法再次进行匹配计算。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
初始位姿确定模块，用于基于所述目标对象的多个定位标签发送携带各所述定位标签身份标识号码ID的UWB信号至所述预设地图对应的空间环境中的多个UWB基站；基于各所述UWB基站的反馈的信号接收时间，以及各所述UWB基站在所述预设地图对应的空间环境的位置，确定所述目标对象的初始位姿。
7.根据权利要求5或6所述的装置，其特征在于，所述第一点云数据是通过单目视觉里程计构建的。
8.根据权利要求7所述的装置，其特征在于，所述匹配模块，具体用于：
通过ICP算法计算所述第一点云数据与所述第二点云数据间的距离值；
根据所述距离值，确定所述第一点云数据与所述第二点云数据的匹配度。
9.一种计算设备，其特征在于，包括：存储器以及处理器；
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-4任一项所述的方法。
10.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-4中任一权利要求所述的方法。
CN202010521368.8A 2020-06-10 2020-06-10 单目视觉里程计尺度确定方法和装置 Active CN111563934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521368.8A CN111563934B (zh) 2020-06-10 2020-06-10 单目视觉里程计尺度确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521368.8A CN111563934B (zh) 2020-06-10 2020-06-10 单目视觉里程计尺度确定方法和装置

Publications (2)

Publication Number Publication Date
CN111563934A CN111563934A (zh) 2020-08-21
CN111563934B true CN111563934B (zh) 2020-12-22

Family

ID=72075248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521368.8A Active CN111563934B (zh) 2020-06-10 2020-06-10 单目视觉里程计尺度确定方法和装置

Country Status (1)

Country Link
CN (1) CN111563934B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541971A (zh) * 2020-12-25 2021-03-23 深圳市慧鲤科技有限公司 点云地图构建方法及装置、电子设备和存储介质
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2020019175A1 (zh) * 2018-07-24 2020-01-30 深圳市大疆创新科技有限公司 图像处理方法和设备、摄像装置以及无人机
CN111209978A (zh) * 2020-04-20 2020-05-29 浙江欣奕华智能科技有限公司 三维视觉重定位方法、装置及计算设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2020019175A1 (zh) * 2018-07-24 2020-01-30 深圳市大疆创新科技有限公司 图像处理方法和设备、摄像装置以及无人机
CN111209978A (zh) * 2020-04-20 2020-05-29 浙江欣奕华智能科技有限公司 三维视觉重定位方法、装置及计算设备、存储介质

Also Published As

Publication number Publication date
CN111563934A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
US11747477B2 (en) Data collecting method and system
CN111209978B (zh) 三维视觉重定位方法、装置及计算设备、存储介质
CN109490825B (zh) 定位导航方法、装置、设备、系统及存储介质
KR20180063263A (ko) 3차원 공간 검출 시스템, 측위 방법 및 시스템
CN108362294B (zh) 一种应用于自动驾驶的多车协同建图方法
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN106291517A (zh) 基于位置与视觉信息优化的室内云机器人角度定位方法
CN102932739B (zh) 超宽带无线定位的非视距传播状态鉴别及数据重构方法
CN111563934B (zh) 单目视觉里程计尺度确定方法和装置
US20200018814A1 (en) Locating radio transmission source by scene reconstruction
WO2022036332A1 (en) Method and system for radar-based odometry
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN113177980B (zh) 用于自动驾驶的目标对象速度确定方法、装置及电子设备
CN115164936A (zh) 高精地图制作中用于点云拼接的全局位姿修正方法及设备
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
Strecker et al. MR Object Identification and Interaction: Fusing Object Situation Information from Heterogeneous Sources
CN110853098A (zh) 机器人定位方法、装置、设备及存储介质
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质
CN115861953A (zh) 场景编码模型的训练方法、轨迹规划方法及装置
Gosda et al. Target tracking in wireless sensor networks by data fusion with video-based object detection
Zhang et al. Integrated iBeacon/PDR Indoor Positioning System Using Extended Kalman Filter
CN115205375A (zh) 检测目标的方法、跟踪目标的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant