[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112379390A - 基于异源数据的位姿测量方法、装置、系统及电子设备 - Google Patents

基于异源数据的位姿测量方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN112379390A
CN112379390A CN202011296352.8A CN202011296352A CN112379390A CN 112379390 A CN112379390 A CN 112379390A CN 202011296352 A CN202011296352 A CN 202011296352A CN 112379390 A CN112379390 A CN 112379390A
Authority
CN
China
Prior art keywords
pose
target object
image acquisition
acquisition device
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011296352.8A
Other languages
English (en)
Other versions
CN112379390B (zh
Inventor
谭志国
罗军
唐浩
曾维林
龙学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN202011296352.8A priority Critical patent/CN112379390B/zh
Publication of CN112379390A publication Critical patent/CN112379390A/zh
Application granted granted Critical
Publication of CN112379390B publication Critical patent/CN112379390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供的一种基于异源数据的位姿测量方法、装置、系统及电子设备中。该电子设备通过获取激光雷达获取目标对象的第一位姿以及空间位置信息，或者当目标对象移动到图像采集装置的图像采集范围时，基于激光雷达探测到空间位置信息，从图像采集装置采集的图像中获取目标对象的第二位姿。因此，兼顾了激光雷达的探测范围以及图像采集装置对位姿的探测精度的同时，利用利用激光雷达探测到的空间位置信息降低对图像采集装置所采集图像的计算量。

Description

基于异源数据的位姿测量方法、装置、系统及电子设备
技术领域
本申请涉及数据处理领域，具体而言，涉及一种基于异源数据的位姿测量方法、装置、系统及电子设备。
背景技术
飞行器飞行试验中，该飞行器在空中的位置与姿态一定程度上反映了飞行器设计的科学性、合理性以及飞行控制的精确性。因此，通过非接触传感系统捕捉飞行器在空中的位姿信息，能够有效验证飞行器本身性能，以及发现飞行器设计中存在的不足。
目前的非接触传感系统主要包括激光雷达以及视觉测量系统，其中，激光雷达能够对较大的范围进行探测，但对位姿的探测精度存在一定的上限。视觉测量系统能够捕捉较高精度的位姿，但受限于检测原理，其探测范围较小。
因此，激光雷达以及视觉测量系统均存在其自身的局限性。
发明内容
第一方面，本申请实施例提供一种基于异源数据的位姿测量方法，应用于电子设备，所述电子设备与图像采集装置以及激光雷达通信连接，所述方法包括：
通过所述激光雷达获取目标对象的第一位姿以及空间位置信息；
根据所述空间位置信息，判断所述目标对象是否运动到所述图像采集装置的图像采集范围内；
若所述目标对象运动到所述图像采集装置的图像采集范围内，则根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
在一种可能的实施方式中，所述第一位姿位于第一基坐标系，所述第二位姿位于第二基坐标系；所述方法还包括：
获取第一转换矩阵以及第二转换矩阵，其中，所述第一转换矩阵表征所述第一基坐标系与第三基坐标系之间位姿转换关系，所述第二转换矩阵表征所述第二基坐标系与所述第三基坐标系之间位姿转换关系；
获取所述第一位姿或者所述第二位姿；
根据第一转换矩阵对所述第一位姿进行处理，获得所述目标对象在第三基坐标系中的第一转换位姿，或者根据第二转换矩阵对所述第二位姿进行处理，获得所述目标对象在所述第三基坐标系中的第二转换位姿。
在一种可能的实施方式中，所述获取第一转换矩阵以及第二转换矩阵的步骤，包括：
获取同一立体标定物在所述第一基坐标系中的第一测试位姿，在所述第二基坐标系中的第二测试位姿，以及在所述第三基坐标系中第三测试位姿；
根据所述第一测试位姿与所述第三测试位姿获得所述第一转换矩阵；
根据所述第二测试位姿与所述第三测试位姿获得所述第二转换矩阵。
在一种可能的实施方式中，所述图像采集装置为双目视觉系统。
在一种可能的实施方式中，所述目标对象的表面设置有标记点，所述根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿的步骤，包括：
根据所述空间位置信息，从所述图像采集装置采集的图像中确定出所述目标对象；
对所述目标对象进行识别，获得所述标记点在预设坐标系中的坐标，其中，所述预设坐标系基于所述标记点建立；
通过光速平差算法对所述标记点在预设坐标系中的坐标进行处理，获得所述第二位姿。
在一种可能的实施方式中，所述通过所述激光雷达获取目标对象的第一位姿以及空间位置信息之前，所述方法还包括：
通过所述激光雷达获取点云数据；
通过栅格地图法处理所述点云数据，获得所述点云数据的栅格地图平面图像；
根据所述目标对象的形状以及尺寸遍历所述栅格地图平面图像，判断是否探测到所述目标对象。
第二方面，一种基于异源数的基于异源数据的位姿测量装置，所述基于异源数的基于异源数据的位姿测量装置包括：
数据获取模块，用于通过所述激光雷达获取目标对象的第一位姿以及空间位置信息；
数据处理模块，用于根据所述空间位置信息，判断所述目标对象是否运动到所述图像采集装置的图像采集范围内；
所述数据获取模块，还用于若所述目标对象运动到所述图像采集装置的图像采集范围内，则根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
第三方面，本申请实施例提供一种基于异源数据的位姿测量系统，所述基于异源数据的位姿测量系统包括电子设备、图像采集装置以及激光雷；
所述激光雷达将采集的点云数据发送给电子设备；
所述电子设备根据所述点云数据，获取目标对象的第一位姿以及空间位置信息；根据所述空间位置信息，判断所述目标对象是否运动到所述图像采集装置的图像采集范围内；
若所述目标对象运动到所述图像采集装置的图像采集范围内，所述图像采集装置则将采集的图像发送给所述电子设备；
所述电子设备根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
第四方面，本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令被所述处理器执行时，实现所述的基于异源数据的位姿测量方法。
第五方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理执行时，实现所述的基于异源数据的位姿测量方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例提供的一种基于异源数据的位姿测量方法、装置、系统及电子设备中。该电子设备通过获取激光雷达获取目标对象的第一位姿以及空间位置信息，或者当目标对象移动到图像采集装置的图像采集范围时，基于激光雷达探测到空间位置信息，从图像采集装置采集的图像中获取目标对象的第二位姿。因此，兼顾了激光雷达的探测范围以及图像采集装置对位姿的探测精度的同时，利用利用激光雷达探测到的空间位置信息降低对图像采集装置所采集图像的计算量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备结构示意图；
图2为本申请实施例提供的基于异源数据的位姿测量方法的步骤流程图；
图3为本申请实施例提供的获取转换矩阵的场景示意图；
图4为本申请实施例提供的捕捉飞行器位姿的场景示意图；
图5-图7为本申请实施例提供的栅格地图平面图像的示意图；
图8为本申请实施例提供的标记点示意图；
图9为本申请实施例提供的基于异源数的位姿测量装置的结构示意图。
图标：110-基于异源数据的位姿测量装置；120-存储器；130-处理器；500-激光雷达；600-图像采集装置；700-立体标定物；7001-平板；2000-激光雷达的探测范围；3000-图像采集装置的图像采集范围；900-飞行器；4000-栅格地图平面图像；5000-标记点；1101-数据获取模块；1102-数据处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
相关技术中，目前的非接触传感系统主要包括激光雷达以及视觉测量系统，其中，激光雷达能够对较大的范围进行探测，但捕捉的位姿精度较低。视觉测量系统能够捕捉较高精度的位姿，但受限于检测原理，其探测范围较小。因此，激光雷达以及视觉测量系统均存在其自身的局限性。
鉴于此，本申请实施例提供一种基于异源数据的位姿测量方法，应用于电子设备，其中，该电子设备与图像采集装置以及激光雷达通信连接。该图像采集装置用于捕捉目标对象在第二基坐标系中的第二位姿，该激光雷达用于捕捉目标对象在第一基坐标系中的第一位姿。
值得说明的是，虽然传统雷达的探测范围能以及对目标对象的位置探测精度能够满足要求，但考虑到传统雷达造价高昂、对目标对象的材质有一定限制(即部分材料能够吸收雷达的电磁波)以及对目标对象的位姿探测精度较差，因此，本申请实施例中使用激光雷达。该激光雷达虽然能够满足对目标对象的位姿进行一定精度范围内地探测，但位姿探测精度存在一定的上限，因此，本申请示例中，将图像采集装置与激光雷达相互结合，以兼顾激光雷达的探测范围以及图像采集装置对位姿的探测精度。
应理解的是，针对该电子设备，请参照图1，该电子设备还包括基于异源数据的基于异源数据的位姿测量装置110、存储器120以及处理器130。
其中，存储器120、处理器130以及其他各元件相互之间直接或间接地通信连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。基于异源数据的位姿测量装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中或固化在电子设备的操作系统(operating system，OS)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块，例如基于异源数的基于异源数据的位姿测量装置110所包括的软件功能模块及计算机程序等。其中，该基于异源数的位姿测量装置对应的计算机可执行指令被处理器执行时，实现上述基于异源数据的位姿测量方法。
该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行程序。
该处理器130可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
针对上述基于异源数据的位姿测量方法，请参见图2，为本申请实施例提供的目标对象位姿捕捉方法的步骤流程图，以下将对该方法包括各个步骤进行详细阐述。
步骤S103，通过激光雷达获取目标对象的第一位姿以及空间位置信息。
其中，激光雷达作为常见的目标探测装置，能够用于探测目标对象的位姿信息以及空间位置信息。
步骤S104，根据空间位置信息，判断目标对象是否运动到图像采集装置的图像采集范围内。
本申请实施例中，考虑到图像采集装置的探测范围受图像采集装置本身的图像采集范围、天气以及环境等因素的影响，因此，图像采集装置的探测范围与激光雷达的探测范围存在一定的差距。因此，当目标对象距离较远时，电子设备将激光雷达所探测的位姿作为目标对象的第一位姿。
并且，基于图像采集装置的图像采集范围，电子设备根据目标对象的空间位置信息，检测到目标对象进入到图像采集装置的图像采集范围内时，则切换至通过图像采集装置获取目标对象的第二位姿。
步骤S105，若目标对象运动到图像采集装置的图像采集范围内，则根据激光雷达获取目标对象的空间位置信息以及图像采集装置采集的图像，获得目标对象的第二位姿。
本申请实施例中，结合了图像采集装置以及激光雷达，并且在通过图像采集装置获取目标对象的第二位姿时，先通过激光雷达所探测的空间位置信息，确定目标对象在图像中的位置，因此，电子设备不需要单独对图像装置所采集的图像，进行诸如图像识别一类的操作，即可准确确定出目标对象，继而能够减少通过图像采集装置获取目标对象第二位姿时的计算量。
因此，通过上述基于异源数据的位姿测量方法，该电子设备通过获取激光雷达获取目标对象的第一位姿以及空间位置信息，或者当目标对象移动到图像采集装置的图像采集范围时，基于激光雷达探测到空间位置信息，从图像采集装置采集的图像中获取目标对象的第二位姿。因此，兼顾了激光雷达的探测范围以及图像采集装置对位姿的探测精度的同时，利用利用激光雷达探测到的空间位置信息降低对图像采集装置所采集图像的计算量。
在一种可能的实施方式中，值得说明的是，通过对图像装置所采集的图像，进行诸如图像识别一类的操作时，需要消耗大量的计算资源。考虑到通过该电子设备进行野外作业时，减少计算量即意味着能够减少电子设备的功耗，因此，通过图像采集装置获取目标对象的第二位姿时，先通过激光雷达所探测的空间位置信息，确定目标对象在图像中的位置，还能搞提升电子设备在野外作业时的续航时长。
本申请实施例为了兼顾激光雷达探测范围较大的优点以及图像采集装置位姿探测精度较高的优点，将电子设备与激光雷达以及图像采集装置通信连接。其中，为了保持系统的稳定，将激光雷达与图像采集装置固定在同一承载件上，使两者之间的相对位置保持固定。
其中，由于激光雷达与图像采集装置设置在电子设备的不同位置，因此，激光雷达所探测目标对象的第一位姿与图像采集装置所探测飞行的第二位姿分别位于不同的基坐标系。为了便于后续的分析处理，需要将第一位姿与第二位姿统一到相同的基坐标系，即第三基坐标系。
针对该第三基坐标系，可以选取激光雷达所使用的基坐标系，还可以选取图像采集装置所使用的基坐标系。当然还可以选取其他基坐标系，本申请实施例不做过多的限定。
步骤S106，获取第一转换矩阵以及第二转换矩阵，其中，第一转换矩阵表征第一基坐标系与第三基坐标系之间位姿转换关系，第二转换矩阵表征第二基坐标系与第三基坐标系之间位姿转换关系。
步骤S107，获取第一位姿或者第二位姿。
步骤S108，根据第一转换矩阵对第一位姿进行处理，获得目标对象在第三基坐标系中的第一转换位姿，或者根据第二转换矩阵对第二位姿进行处理，获得目标对象在第三基坐标系中的第二转换位姿。
因此，通过该基于异源数据的位姿测量方法的上述步骤，通过获取激光雷达所捕捉该目标对象的第一位姿或者图像采集装置所捕捉的该目标对象的第二位姿，兼顾了激光雷达的探测范围以及图像采集装置对位姿的探测精度。并通过转换矩阵将第一位姿或者第二位姿转换到相同的基坐标系中，以便于后续的数据分析处理。
鉴于激光雷达与图像采集装置设置于同一承载件的不同位置，为了便于后续对目标对象位姿数据的分析(即姿态一定程度上反映了目标对象设计的科学性、合理性以及飞行控制的精确性)，因此，需要获得第一转换矩阵以及第二转换矩阵。
作为一种可能的实现方式，该电子设备获取同一立体标定物在第一基坐标系中的第一测试位姿，在第二基坐标系中的第二测试位姿，以及在第三基坐标系中第三测试位姿；根据第一测试位姿与第三测试位姿获得第一转换矩阵；根据第二测试位姿与第三测试位姿获得第二转换矩阵。
请参照图3，为本申请实施例提供的位姿转换关系的示意图。其中，选取激光雷达所在的第一基坐标系作为第三基坐标系，即第一基坐标系与第三基坐标系为同一基坐标系。因此，通过激光雷达500所获取的第一位姿即为第三基坐标系中的第一转换位姿。
如图3所示，立体标定物700放置在激光雷达500以及图像采集装置600共同的视场中(即共同的探测区域中)。其中，由于选取激光雷达所在的第一基坐标系作为第三基坐标系，即第一基坐标系与第三基坐标系为同一基坐标系，因此，该电子设备通过激光雷达500所探测的该立体标定物700在第一基坐标系中的位姿，即为立体标定物700的第三测试位姿，可以表示为T1。该电子设备通过图像采集装置600所探测的该立体标定物700在第二基坐标系中的第二测试位姿，表示为T2，则表征第二基坐标系与第三基坐标系之间位姿转换关系的第二转换矩阵T3可以表示为：
Figure BDA0002785532930000081
值得说明的是，为使得图像采集装置600所探测的第二测试位姿与激光雷达500所探测的第一测试位姿为立体标定物700同一时刻的位姿信息。还需要对图像采集装置600与激光雷达500进行同步设置，使得图像采集装置600与激光雷达500同时对立体标定物700的位姿进行探测。
关于该立体标定物700，请再次参照图3，作为一种可能的实施方式，该立体标定物700包括三个大小不一，且相互垂直的平板7001，各平板7001的表面间隔设置有不通过颜色的方格。其中，各平板7001的尺寸不一有利于进行识别时，对各个平板7001进行区分。各平板7001中间隔设置的不同颜色的方格有利于进行立体视觉识别。
另外，考虑到图像采集装置600需要在特定的图像采集范围内，才能够达到较高的位姿探测精度。
因此，作为上述目标对象的一种可能的示例，请参照图4，该电子设备通过激光雷达500在激光雷达的探测范围2000内对飞行器900进行探测，判断该飞行器900是否进入到图像采集装置的图像采集范围3000内。若飞行器900进入到图像采集装置的图像采集范围3000内，则电子设备则通过图像采集装置600获取该飞行器900在第二基坐标系中的第二位姿。
本申请实施例中，电子设备在获取目标对象的第一位姿以及空间位置信息之前，需要先确定出空间中的目标对象。因此，在步骤S100之前，该基于异源数据的位姿测量方法还包括：
步骤S100，通过激光雷达获取点云数据。
步骤S101，通过栅格地图法处理点云数据，获得点云数据的栅格地图平面图像。
步骤S102，根据目标对象的形状以及尺寸遍历栅格地图平面图像，判断是否探测到目标对象。
同样以飞行器900为例，下面结合图5、图6以及图7所示的栅格地图平面图像，对上述步骤进行示例性说明。该电子设备通过激光雷达500对飞行器900进行探测时，获得飞行器900的点云数据，通过栅格地图法进行处理，获得点云数据的栅格地图平面图像4000。
由于不同外观的飞行器900在栅格地图平面图像4000中呈现不同的形状。因此，基于该原理，该电子设备根据需要探测的飞行器900的形状以及尺寸遍历栅格地图平面图像4000中的像素单元，判断是否探测到飞行器900。
另外，该栅格地图平面图像4000中还可能存在其他目标所形成的图案，该电子设备还可以根据栅格地图平面图像4000图案的分布情况以及灰度值对其中其他目标所形成的图案进行过滤。
应理解的是，该电子设备通过激光雷达500所获得的点云数据，往往数据量极为庞大，普通的设备难以承受如此多数据的计算量；因此，需要对所获得的点云数据做进一步地数据简化。常见的点云数据简化方法可以是，但不限于栅格地图法、特征地图法以及拓扑地图法。
本申请实施例中，目标对象进入到图像采集装置的图像采集范围内，电子设备需要通过图像采集装置所采集的图像，获得该目标对象的第二位姿。值得说明的是，单目摄像机所采集的平面图像并不能用于探测飞行器900的位姿。因此，本申请实施例中，该图像采集装置600为双目视觉系统。
同样以飞行器900为例，请参照图6，该飞行器900的表面设置有标记点5000，因此，该电子设备通过双目视觉系统对飞行器900进行识别，获得标记点5000在预设坐标系中的坐标。其中，该预设坐标系基于标记点5000建立。
作为本申请实施例的一种可能示例，电子设备通过亚像素标记点提取方法，对飞行器表面的标记点进行识别。具体包括标记点ROI提取、各向异性扩散性滤波、边缘提取、Zernike矩亚像素定位。
其中，标记点ROI提取具体用于，采用二值化手段对图像进行有效分割，得到较强亮度的标记点候选区域，然后通过标记点模板与候选区域进行比对，得到最终标记点的ROI区域。为获取精确的亚像素标记点定位，需要对标记点ROI区域进行进一步的滤波以及边缘提取等操作。
各向异性扩散性滤波具体用于，对有噪声图像进行平滑滤波。一般情况下，可以选择不同的滤波器，比如高斯滤波、均值滤波、中值滤波等等。本申请示例中，采用扩散滤波器，将图像视为物质场，图像中的每个像素的灰度值等同于物质的浓度，图像的平滑等同于物质间的扩散。通过选择合适的扩散系数，可以达到增加区域内平滑或者减少区域间平滑的效果，从而去除图像噪声的同时减少对边缘的模糊。
边缘提取具体用于，在ROI图像中先提取出像素级的边缘点，之后在这些粗定位点附近找亚像素的边缘点。像素级的边缘检测算法大都利用图像的梯度信息进行查找，本申请实施例中，采用Sobel边缘算子提取相应的标记点边缘。
Zernike矩亚像素定位具体用于，基于Zernike矩法具有定位精度高的特点由于Zernike矩是一种积分算子，同时具有较好的抗噪性能，检测效果具有明显的优势。假定目标图像的边缘为阶跃模型根据旋转前后矩的关系式列方程，求解边缘参数利用矩的旋转不变特性，从而实现亚像素定位。
进一步地，该电子设备通过光速平差算法对标记点5000在预设坐标系中的坐标进行处理，获得该飞行器900在第一基坐标系中的第一位姿。
为了获得标记点5000在预设坐标系中的坐标，请再次参照图8，该电子设备通过双目视觉系统、全站仪或者电子测距仪获得飞行器900表面各标记点5000的三维坐标(P1，P2，P3，…P4)，并选取其中的三个标记点(Pi，Pj，Po)(或者选取所有标记点的点集重心，以及额外的两个标记点)，构成一平面；选取标记点Po与Pi构成的直线作为x轴，将该平面中过Po点的法向量作为y轴，以x和y所在平面的法向量作为z轴，建立该预设坐标系。进一步地，该电子设备根据各标记点5000之间的相对位置关系获得各标记点5000在该预设坐标系下的坐标。
本申请实施例还提供一种基于异源数据的基于异源数据的位姿测量装置110。基于异源数据的基于异源数据的位姿测量装置110包括至少一个可以软件形式存储于存储器120中的功能模块。请参照图9，从功能上划分，基于异源数据的基于异源数据的位姿测量装置110可以包括：
数据获取模块1101，用于通过激光雷达获取目标对象的第一位姿以及空间位置信息。
本申请实施例中，该数据获取模块1101对应的计算机可执行指令被处理器执行时，实现图2中的步骤S103，关于数据获取模块1101的详细描述，可以参考步骤S103的详细描述。
数据处理模块1102，用于根据空间位置信息，判断目标对象是否运动到图像采集装置的图像采集范围内。
数据获取模块1101，还用于若目标对象运动到图像采集范围内，则根据空间位置信息以及图像采集装置采集的图像，获得目标对象的第二位姿。
本申请实施例中，该数据处理模块1102对应的计算机可执行指令被处理器执行时，实现图2中的步骤S104、步骤S105，关于数据处理模块1102的详细描述，可以参考步骤S104、步骤S105的详细描述。
本申请实施例还提供一种基于异源数据的位姿测量系统，基于异源数据的位姿测量方法包括电子设备、图像采集装置以及激光雷；
激光雷达将采集的点云数据发送给电子设备。
电子设备根据点云数据，获取目标对象的第一位姿以及空间位置信息；根据空间位置信息，判断目标对象是否运动到图像采集装置的图像采集范围内。
若目标对象运动到图像采集范围内，图像采集装置则将采集的图像发送给电子设备。
电子设备根据空间位置信息以及图像采集装置采集的图像，获得目标对象的第二位姿。
本申请实施例还提供一种电子设备，该电子设备包括存储器120以及处理器130，存储器120存储有能够被处理器130执行的机器可执行指令，机器可执行指令被处理器130执行时，实现的基于异源数据的位姿测量方法。
本申请实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理执行时，实现的基于异源数据的位姿测量方法。
综上所述，本申请实施例提供的一种基于异源数据的位姿测量方法、装置、系统及电子设备中。该电子设备通过获取激光雷达获取目标对象的第一位姿以及空间位置信息，或者当目标对象移动到图像采集装置的图像采集范围时，基于激光雷达探测到空间位置信息，从图像采集装置采集的图像中获取目标对象的第二位姿。因此，兼顾了激光雷达的探测范围以及图像采集装置对位姿的探测精度的同时，利用利用激光雷达探测到的空间位置信息降低对图像采集装置所采集图像的计算量。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于异源数据的位姿测量方法，其特征在于，应用于电子设备，所述电子设备与图像采集装置以及激光雷达通信连接，所述方法包括：
通过所述激光雷达获取目标对象的第一位姿以及空间位置信息；
根据所述空间位置信息，判断所述目标对象是否运动到所述图像采集装置的图像采集范围内；
若所述目标对象运动到所述图像采集装置的图像采集范围内，则根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
2.根据权利要求1所述的基于异源数据的位姿测量方法，其特征在于，所述第一位姿位于第一基坐标系，所述第二位姿位于第二基坐标系；所述方法还包括：
获取第一转换矩阵以及第二转换矩阵，其中，所述第一转换矩阵表征所述第一基坐标系与第三基坐标系之间位姿转换关系，所述第二转换矩阵表征所述第二基坐标系与所述第三基坐标系之间位姿转换关系；
获取所述第一位姿或者所述第二位姿；
根据第一转换矩阵对所述第一位姿进行处理，获得所述目标对象在第三基坐标系中的第一转换位姿，或者根据第二转换矩阵对所述第二位姿进行处理，获得所述目标对象在所述第三基坐标系中的第二转换位姿。
3.根据权利要求2所述的基于异源数据的位姿测量方法，其特征在于，所述获取第一转换矩阵以及第二转换矩阵的步骤，包括：
获取同一立体标定物在所述第一基坐标系中的第一测试位姿，在所述第二基坐标系中的第二测试位姿，以及在所述第三基坐标系中第三测试位姿；
根据所述第一测试位姿与所述第三测试位姿获得所述第一转换矩阵；
根据所述第二测试位姿与所述第三测试位姿获得所述第二转换矩阵。
4.根据权利要求1所述的基于异源数据的位姿测量方法，其特征在于，所述图像采集装置为双目视觉系统。
5.根据权利要求1所述的基于异源数据的位姿测量方法，其特征在于，所述目标对象的表面设置有标记点，所述根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿的步骤，包括：
根据所述空间位置信息，从所述图像采集装置采集的图像中确定出所述目标对象；
对所述目标对象进行识别，获得所述标记点在预设坐标系中的坐标，其中，所述预设坐标系基于所述标记点建立；
通过光速平差算法对所述标记点在预设坐标系中的坐标进行处理，获得所述第二位姿。
6.根据权利要求1所述的基于异源数据的位姿测量方法，其特征在于，所述通过所述激光雷达获取目标对象的第一位姿以及空间位置信息之前，所述方法还包括：
通过所述激光雷达获取点云数据；
通过栅格地图法处理所述点云数据，获得所述点云数据的栅格地图平面图像；
根据所述目标对象的形状以及尺寸遍历所述栅格地图平面图像，判断是否探测到所述目标对象。
7.一种基于异源数据的位姿测量装置，其特征在于，所述基于异源数的基于异源数据的位姿测量装置包括：
数据获取模块，用于通过激光雷达获取目标对象的第一位姿以及空间位置信息；
数据处理模块，用于根据所述空间位置信息，判断所述目标对象是否运动到图像采集装置的图像采集范围内；
所述数据获取模块，还用于若所述目标对象运动到所述图像采集装置的图像采集范围内，则根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
8.一种基于异源数据的位姿测量系统，其特征在于，所述基于异源数据的位姿测量方法包括电子设备、图像采集装置以及激光雷达；
所述激光雷达将采集的点云数据发送给电子设备；
所述电子设备根据所述点云数据，获取目标对象的第一位姿以及空间位置信息；根据所述空间位置信息，判断所述目标对象是否运动到所述图像采集装置的图像采集范围内；
若所述目标对象运动到所述图像采集装置的图像采集范围内，所述图像采集装置则将采集的图像发送给所述电子设备；
所述电子设备根据所述激光雷达获取目标对象的空间位置信息以及所述图像采集装置采集的图像，获得所述目标对象的第二位姿。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令被所述处理器执行时，实现如权利要求1-6任意一项所述的基于异源数据的位姿测量方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理执行时，实现如权利要求1-6任意一项所述的基于异源数据的位姿测量方法。
CN202011296352.8A 2020-11-18 2020-11-18 基于异源数据的位姿测量方法、装置、系统及电子设备 Active CN112379390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011296352.8A CN112379390B (zh) 2020-11-18 2020-11-18 基于异源数据的位姿测量方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011296352.8A CN112379390B (zh) 2020-11-18 2020-11-18 基于异源数据的位姿测量方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112379390A true CN112379390A (zh) 2021-02-19
CN112379390B CN112379390B (zh) 2024-09-27

Family

ID=74585813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011296352.8A Active CN112379390B (zh) 2020-11-18 2020-11-18 基于异源数据的位姿测量方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112379390B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070036405A (ko) * 2005-09-29 2007-04-03 에프엠전자(주) 주행하는 궤도차량에서의 선로 상의 사람 및 장애물 감지시스템
CN1940711A (zh) * 2005-09-27 2007-04-04 欧姆龙株式会社 前方摄影装置
US20130305805A1 (en) * 2011-01-31 2013-11-21 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
CN107443377A (zh) * 2017-08-10 2017-12-08 埃夫特智能装备股份有限公司 传感器‑机器人坐标系转换方法及机器人手眼标定方法
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN208350997U (zh) * 2018-07-04 2019-01-08 北京国泰星云科技有限公司 一种目标物运动监测系统
US20190086548A1 (en) * 2017-09-19 2019-03-21 Topcon Corporation Data processing device, data processing method, and data processing program
CN110583014A (zh) * 2016-10-11 2019-12-17 深圳市前海腾际创新科技有限公司 利用激光探测与测距设备探测及定位入侵者的方法和系统
CN110929669A (zh) * 2019-11-29 2020-03-27 北京百度网讯科技有限公司 数据标注方法及装置
CN210225575U (zh) * 2019-10-17 2020-03-31 济南和普威视光电技术有限公司 一种雷达联动监控摄像装置
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940711A (zh) * 2005-09-27 2007-04-04 欧姆龙株式会社 前方摄影装置
KR20070036405A (ko) * 2005-09-29 2007-04-03 에프엠전자(주) 주행하는 궤도차량에서의 선로 상의 사람 및 장애물 감지시스템
US20130305805A1 (en) * 2011-01-31 2013-11-21 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
CN110583014A (zh) * 2016-10-11 2019-12-17 深圳市前海腾际创新科技有限公司 利用激光探测与测距设备探测及定位入侵者的方法和系统
CN107443377A (zh) * 2017-08-10 2017-12-08 埃夫特智能装备股份有限公司 传感器‑机器人坐标系转换方法及机器人手眼标定方法
US20190086548A1 (en) * 2017-09-19 2019-03-21 Topcon Corporation Data processing device, data processing method, and data processing program
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN208350997U (zh) * 2018-07-04 2019-01-08 北京国泰星云科技有限公司 一种目标物运动监测系统
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN210225575U (zh) * 2019-10-17 2020-03-31 济南和普威视光电技术有限公司 一种雷达联动监控摄像装置
CN110929669A (zh) * 2019-11-29 2020-03-27 北京百度网讯科技有限公司 数据标注方法及装置
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
叶泽田: "《地表空间数字模拟理论方法及应用》", 30 April 2010, 北京：测绘出版社, pages: 134 - 135 *
张慧智: "基于激光视觉技术的运动目标位姿测量与误差分析", 《激光杂志》, vol. 41, no. 4, 30 April 2020 (2020-04-30), pages 81 - 85 *
李涛;吴云;: "一种非合作卫星目标立体视觉测量技术", 空间控制技术与应用, no. 04, 15 August 2017 (2017-08-15) *
贾子永;任国全;李冬伟;程子阳;: "视觉与激光雷达信息融合的目标领航车识别方法", 火力与指挥控制, no. 06, 15 June 2018 (2018-06-15) *

Also Published As

Publication number Publication date
CN112379390B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN109544599B (zh) 一种基于相机位姿估计的三维点云配准方法
JP6649796B2 (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
CN111627075B (zh) 基于aruco码的摄像头外参标定方法、系统、终端及介质
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
JP2016166853A (ja) 位置推定装置および位置推定方法
CN109815822B (zh) 基于广义Hough变换的巡检图零部件目标识别方法
JP6844235B2 (ja) 距離測定装置および距離測定方法
Yuan et al. Combining maps and street level images for building height and facade estimation
CN113256729A (zh) 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113223135A (zh) 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
US20220148153A1 (en) System and method for extracting and measuring shapes of objects having curved surfaces with a vision system
CN113945937A (zh) 精度检测方法、装置及存储介质
CN117496467A (zh) 基于单目相机和3d lidar融合的异形车道线检测方法
JP5928010B2 (ja) 道路標示検出装置及びプログラム
CN101782386A (zh) 非视觉几何的摄像机阵列视频定位方法及系统
CN114485433A (zh) 基于伪随机散斑的三维测量系统、方法及装置
CN112379390A (zh) 基于异源数据的位姿测量方法、装置、系统及电子设备
Hebel et al. Automatic registration of laser point clouds of urban areas
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant