CN116429162A - 一种多传感器的标定方法、装置和计算机设备 - Google Patents
一种多传感器的标定方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN116429162A CN116429162A CN202310231737.3A CN202310231737A CN116429162A CN 116429162 A CN116429162 A CN 116429162A CN 202310231737 A CN202310231737 A CN 202310231737A CN 116429162 A CN116429162 A CN 116429162A
- Authority
- CN
- China
- Prior art keywords
- target
- sensor
- point set
- coordinate system
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 235000020061 kirsch Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种多传感器的标定方法、装置和计算机设备。所述方法包括：分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；传感器数据中包括靶标的数据；针对至少三个传感器中的每个传感器，基于传感器采集到的靶标的数据的先验特征，从传感器采集的靶标的数据中提取靶标的特征点集；根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系；将至少三个传感器的坐标系和靶标的坐标系之间的位姿关系进行对齐。采用本方法能够有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
Description
技术领域
本申请涉及传感器的标定技术领域，特别是涉及一种多传感器的标定方法、装置和计算机设备。
背景技术
随着人工智能时代的到来，传感器技术取得了长足的进步，各类传感器的成本降低而性能和便利性却得到了一定的提升。同时，伴随着智能机器人、自动驾驶等领域的高速发展，多源异构传感器被广泛地应用和集成到各种智能感知系统中，以提高系统的自主感知能力和智能感知水平。
多传感器标定技术是多传感器系统数据融合的前置工作，而多源异构传感器的联合标定作为多源异构信息融合的重要基础，更是实现智能感知系统功能的关键路径。然而，现有的多源异构传感器标定方法大多通过传感器两两之间的标定组成多传感器坐标系间的关系树作为联合标定结果。该类方法忽视了多传感器间两两标定的回环误差的问题。同时该类方法需要使用多种不同的标定装置，过程较为繁琐，在实际操作和应用中存在一定的不便。
针对现有的多传感器标定方法中存在回环误差的问题，目前还没有提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种多传感器的标定方法、装置和计算机设备。
第一方面，本申请提供了一种多传感器的标定方法。所述方法包括：
分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；所述传感器数据中包括靶标的数据；
针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集；根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐。
在其中一个实施例中，所述针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集，包括：
针对所述至少三个传感器中的每个传感器，从所述传感器采集到的所述靶标的数据中提取所述靶标的数据子集；
基于所述传感器采集到的所述靶标的数据的先验特征，从所述靶标的数据子集中提取所述靶标的特征点集。
在其中一个实施例中，所述根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系，包括：
在所述传感器提取得到的所述靶标的特征点集为二维特征点集的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器提取得到的所述靶标的特征点集为三维特征点集的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验三维特征点集；对提取得到的所述靶标的三维特征点集以及所述靶标的先验三维特征点集进行点云配准计算，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系。
在其中一个实施例中，所述将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐，包括：
对所述至少三个传感器的坐标系和所对应的所述靶标的坐标系，进行旋转和平移操作，直至将所述至少三个传感器对应的所述靶标的坐标系统一于同一坐标系。
在其中一个实施例中，在对所述至少三个传感器的坐标系和所对应的所述靶标的坐标系，进行旋转和平移操作，直至将所述至少三个传感器对应的所述靶标的坐标系统一于同一坐标系之后，所述方法还包括：
获取所述至少三个传感器中的各个传感器的坐标系之间的坐标变换参数。
在其中一个实施例中，所述至少三个传感器包括相机、激光雷达和热成像仪中的一种或多种的传感器；从所述传感器采集的所述靶标的数据中提取所述靶标的数据子集，包括：
在所述传感器为所述相机的情况下，获取所述相机拍摄的图像，得到所述相机拍摄的所述靶标的图像；对所述靶标的图像进行边缘检测，提取所述靶标的图像区域；其中，所述靶标的图像区域为所述靶标的图像子集；
在所述传感器为所述激光雷达的情况下，获取所述激光雷达采集的点云，得到所述激光雷达采集的所述靶标的点云；对所述靶标的点云进行距离阈值滤波并采用相应的算法提取所述靶标的点云子集，得到所述靶标的点云子集；
在所述传感器为所述热成像仪的情况下，获取所述热成像仪采集的图像，得到所述热成像仪获取的靶标的图像；对所述靶标的图像进行温度阈值过滤，提取所述靶标的图像区域；其中，所述靶标的图像区域为所述靶标的图像子集。
在其中一个实施例中，基于所述传感器采集到的所述靶标的数据的先验特征，从所述靶标的数据子集中提取所述靶标的特征点集，包括：
在所述传感器为所述相机的情况下，根据所述相机采集到的所述靶标的数据的先验特征，对所述靶标的图像子集进行特征提取，获取所述靶标在所述相机拍摄的图像中的二维特征点集；
在所述传感器为所述激光雷达的情况下，根据所述激光雷达采集到的所述靶标的数据的先验特征，对所述点云子集进行平面投影和特征提取，得到所述靶标在所述激光雷达的点云中的三维特征点集；
在所述传感器为所述热成像仪的情况下，根据所述热成像仪采集到的所述靶标的数据的先验特征，对所述靶标的图像子集进行边缘提取，并对提取到的边缘进行特征拟合，获取所述靶标在所述热成像仪拍摄的图像中的二维特征点集。
在其中一个实施例中，所述根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系，包括：
在所述传感器为所述相机的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标在所述相机拍摄的图像中的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述相机的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器为所述激光雷达的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验三维特征点集；对提取得到的所述靶标在所述激光雷达的点云中的三维特征点集以及所述靶标的先验三维特征点集进行点云配准计算，确定所述激光雷达的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器为所述热成像仪的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标在所述热成像仪拍摄的图像中的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述热成像仪的坐标系和所述靶标的坐标系之间的位姿关系。
第二方面，本申请还提供了一种多传感器的标定装置。所述装置包括：
数据获取模块，用于分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；所述传感器数据中包括靶标的数据；
位姿计算模块，用于针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集；根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
以及对齐模块，用于将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的多传感器的标定方法。
与相关技术相比，本申请提供的多传感器标定的方法、装置和计算机设备，通过至少三个的传感器采集到的数据，以及靶标数据的先验特征，实现对各个传感器采集到的数据的靶标的特征点集的获取，并根据数据中靶标的特征点集的先验分布以及靶标的特征点集之间的位置关系，获取各个传感器的坐标系与靶标的坐标系之间的位姿关系，并将与至少三个传感器的坐标系对应的靶标的坐标系的位姿关系进行对齐，来实现对至少三个传感器的位置的联合标定，通过建立至少三个的传感器与靶标之间的位置关系，并将多个传感器与靶标的位置关系统一于同一坐标系，能够有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为申请一实施例提供的多传感器的标定方法的终端的硬件结构框图；
图2为本申请一实施例提供的多传感器的标定方法的流程图；
图3为本申请一优选实施例提供的多传感器的标定方法的流程图；
图4为本申请一实施例提供的多传感器的标定装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的多传感器的标定的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的多传感器的标定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种多传感器的标定方法，图2是本实施例的多传感器的标定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；传感器数据中包括靶标的数据。
其中，至少三个传感器，可以包括相机、激光雷达和热成像仪中的一种或多种的传感器。上述靶标通常指的是二维靶标，也可以是三维靶标，是用于完成传感器的标定的标定靶物。例如，上述靶标可以是易于获取、操作方便的棋盘格靶标。在本实施例中，利用靶标对传感器进行标定时，可以将靶标提前设置于待标定的至少三个传感器的视场内，从而保证多个传感器采集到的传感器数据中均包括预设的靶标的数据。进而利用多个传感器采集到的靶标的数据，建立传感器坐标系与靶标坐标系之间的位姿关系，实现多个传感器的标定。获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据，其中，上述静置状态，是为了保证多个传感器所采集的数据足够准确。具体地，在静置状态采集数据，可以保证多个传感器采集的图像或点云足够清晰。上述同一时刻采集数据，其目的是保证多个传感器所采集的是同一状态的靶标的数据，进一步保障基于同一状态的靶标的数据实现的多个传感器的标定的准确性。本步骤通过引入靶标，进而通过多个传感器采集到的靶标的数据，实现各个传感器坐标系与靶标坐标系之间的位置标定，根据各个传感器坐标系与靶标坐标系之间的位置标定，来确定各个传感器之间的位置关系，有效避免了只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
步骤S220，针对至少三个传感器中的每个传感器，基于传感器采集到的靶标的数据的先验特征，从传感器采集的靶标的数据中提取靶标的特征点集；根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系。
在本步骤中，上述靶标的数据的先验特征，可以是靶标的先验物理特征，具体可以是靶标的先验个数、靶标的先验分布以及靶标的先验形状等。上述从传感器采集的靶标的数据中提取靶标的特征点集，可以是首先从传感器采集到的靶标的数据中提取靶标的数据子集，然后，根据靶标的数据的先验特征从上述靶标的数据子集中进行特征提取，获得靶标的特征点集。上述确定传感器的坐标系和靶标的坐标系之间的位姿关系，可以是，首先根据靶标的特征点集的先验分布，得到靶标的先验特征点集，然后根据传感器采集的数据中的靶标的特征点集与靶标的先验特征点集之间的位置关系，得到传感器的坐标系和靶标的坐标系之间的位姿关系。在本步骤中，通过从传感器采集的靶标的数据中提取靶标的特征点集，并获取靶标的先验特征点集，并根据传感器采集的数据中的靶标的特征点集和靶标的先验特征点集两个特征点集之间的位置关系，获取传感器的坐标系和靶标的坐标系之间的位姿关系。通过建立传感器的坐标系与靶标的坐标系之间的位姿关系，避免了只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
步骤S230，将至少三个传感器的坐标系和靶标的坐标系之间的位姿关系进行对齐。
在本步骤中，至少三个传感器中的每个传感器的坐标系与靶标的坐标系之间存在一个位姿关系。在确定了每个传感器的坐标系与靶标的坐标系之间位姿关系的情况下，通过旋转和平移使各个靶标的坐标系重叠，使得至少三个传感器对应的靶标的坐标系统一于同一坐标系，实现至少三个传感器之间的位置关系的标定。
上述步骤S210至步骤S230，通过获取至少三个传感器在静置状态下且同一时刻包括靶标的数据的传感器数据，进而从靶标的数据中提取靶标的特征点集，然后获取靶标的先验特征点集，并根据靶标的数据中提取的靶标的特征点集与靶标的先验特征点集之间的位置关系，得到至少三个传感器中每个传感器的坐标系和靶标的坐标系之间的位姿关系，最后将与至少三个传感器的坐标系对应的靶标的坐标系的位姿关系进行对齐，来实现对至少三个传感器的位置的联合标定。通过建立至少三个的传感器与靶标之间的位置关系，并将多个传感器与靶标的位置关系统一于同一坐标系，能够有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
在一个实施例中，基于上述步骤S220，针对至少三个传感器中的每个传感器，基于传感器采集到的靶标的数据的先验特征，从传感器采集的靶标的数据中提取靶标的特征点集，具体可以包括以下步骤：
步骤S222，针对至少三个传感器中的每个传感器，从传感器采集到的靶标的数据中提取靶标的数据子集。
其中，上述传感器采集到的靶标的数据，可以是相机拍摄的包含靶标的图像，可以是激光雷达采集的包含靶标的点云，也可以是热成像仪所获取的包含靶标的远红外图像等。上述靶标的数据子集，可以是从相机拍摄的图像中提取的包含靶标的图像区域，也即靶标的图像子集；可以是从激光雷达采集的点云中提取的包含靶标的点云子集；还可以是从热成像仪获取的包含靶标的远红外图像的图像区域，也即靶标的图像子集。
步骤S224，基于传感器采集到的靶标的数据的先验特征，从靶标的数据子集中提取靶标的特征点集。
在本步骤中，上述靶标的特征点集，可以是二维特征点集，也可以是三维特征点集。上述从靶标的数据子集中提取靶标的特征点集，可以是对相机拍摄的图像的靶标的图像区域进行特征提取，得到靶标在相机拍摄的图像中的二维特征点集；可以是对激光雷达采集的点云的靶标的点云子集进行特征提取，得到靶标在激光雷达采集的点云中的三维特征点集；还可以是对热成像仪获取的红外图像的靶标的图像区域进行特征提取，得到靶标在热成像仪获取的图像中的二维特征点集。
上述步骤S222至步骤S224，通过提取传感器采集的靶标的数据中的靶标的数据子集，进而从靶标的数据子集中提取靶标的特征点集。通过对靶标的特征点集的提取，便于后续通过靶标的特征点集建立传感器的坐标系与靶标的坐标系之间的位姿关系。
进一步地，在另一个实施例中，基于上述步骤S220，根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系，具体可以包括以下步骤：
步骤S2262，在传感器提取得到的靶标的特征点集为二维特征点集的情况下，根据靶标的特征点集的先验分布，获取靶标的先验二维特征点集；计算提取得到的靶标的二维特征点集以及靶标的先验二维特征点集的光束平差，确定传感器的坐标系和靶标的坐标系之间的位姿关系。
在本步骤中，当传感器为相机或者热成像仪的时候，传感器提取得到的靶标的特征点集为二维特征点集。进而，上述确定传感器的坐标系和靶标的坐标系之间的位姿关系，可以是得到靶标的二维特征点集和靶标的先验二维特征点集的基础上，将两组二维特征点集的位置关系，生成光束平差问题，通过计算提取得到的靶标的二维特征点集以及靶标的先验二维特征点集的光束平差问题，来确定传感器的坐标系和靶标的坐标系之间的位姿关系。例如，可以将相机采集的图像的靶标的二维特征点集和靶标的先验二维特征点集构成光束平差问题，进而通过Perspective-n-Point算法求解得到相机的坐标系和靶标的坐标系之间的位姿关系。
步骤S2264，在传感器提取得到的靶标的特征点集为三维特征点集的情况下，根据靶标的特征点集的先验分布，获取靶标的先验三维特征点集；对提取得到的靶标的三维特征点集以及靶标的先验三维特征点集进行点云配准计算，确定传感器的坐标系和靶标的坐标系之间的位姿关系。
在本步骤中，当传感器为激光雷达时，传感器提取得到的靶标的特征点集为三维特征点集。进而，上述确定传感器的坐标系和靶标的坐标系之间的位姿关系，可以是在得到靶标的三维特征点集以及靶标的先验三维特征点集的基础上，将两组三维特征点集的位置关系，生成点云配准问题，通过对靶标的三维特征点集以及靶标的先验三维特征点集进行点云配准计算，来确定传感器的坐标系和靶标的坐标系之间的位姿关系。例如：可以将激光雷达采集的点云的靶标的三维特征点集以及靶标的先验三维特征点集构成点云配准问题，进而通过Iterative Closest Point算法求解得到激光雷达的坐标系和靶标的坐标系之间的位姿关系。
上述步骤S2262至步骤S2264，通过区分传感器提取得到的靶标的特征点集为二维特征点集或三维特征点集的不同情况，根据特征点集的不同情况，采用不同的方式，获取各个传感器的坐标系和靶标的坐标系之间的位姿关系。进而通过建立多个传感器的坐标系与靶标的坐标系之间的位姿关系，避免了只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
在另一个实施例中，至少三个传感器包括相机、激光雷达和热成像仪中的一种或多种的传感器；从传感器采集的靶标的数据中提取靶标的数据子集，具体可以包括以下步骤：
在传感器为相机的情况下，获取相机拍摄的图像，得到相机拍摄的靶标的图像；对靶标的图像进行边缘检测，提取靶标的图像区域；其中，靶标的图像区域为靶标的图像子集；在传感器为激光雷达的情况下，获取激光雷达采集的点云，得到激光雷达采集的靶标的点云；对靶标的点云进行距离阈值滤波并采用相应的算法提取靶标的点云子集，得到靶标的点云子集；在传感器为热成像仪的情况下，获取热成像仪采集的图像，得到热成像仪获取的靶标的图像；对靶标的图像进行温度阈值过滤，提取靶标的图像区域；其中，靶标的图像区域为靶标的图像子集。
在本步骤中，可以根据传感器的不同，采用不同的方式从传感器采集的靶标数据中提取相应的靶标的数据子集。
当传感器为相机时，相机所采集的图像的靶标的图像子集为靶标的图像区域。上述提取靶标的图像区域，可以通过对相机拍摄的靶标的图像进行边缘检测来提取靶标的图像区域。其中，上述对靶标的图像进行边缘检测，可以通过边缘检测算子来实现对靶标的图像进行边缘检测，常用的边缘检测算子包括Roberts、Sobel、Prewitt、Laplacian、Log/Marr、Canny、Kirsch和Nevitia等。具体地，可以根据不同的情景选取不同的边缘检测算子。
当传感器为激光雷达时，可以通过对靶标的点云进行距离阈值滤波来去除噪声数据。本申请所采用的距离阈值滤波为条件滤波。优选地，对激光雷达所采集到的点云进行滤波，还可以包括体素网格滤波、直通滤波、半径滤波、统计滤波、双边滤波、卷积滤波、高斯滤波和其他条件滤波等。具体地，应用情景不同，采用的滤波方式也不同。本步骤中通过对靶标的点云进行距离阈值滤波来去除噪声数据，便于后续靶标的点云子集的提取。上述采用相应的算法提取靶标的点云子集，可以是通过RANSAC(Random Sample Consensus)点云分割算法来提取靶标的点云子集，也可以是采用基于临近信息的欧几里得算法提取靶标的点云子集，还可以是其他方法提取靶标的点云子集。
当传感器为热成像仪时，热成像仪采集的图像的靶标的图像子集为靶标的图像区域。上述提取靶标的图像区域，可以通过靶标的远红外图像进行温度阈值过滤来提取靶标的图像区域。
在另一个实施例中，基于传感器采集到的靶标的数据的先验特征，从靶标的数据子集中提取靶标的特征点集，具体可以包括以下步骤：
在传感器为相机的情况下，根据相机采集到的靶标的数据的先验特征，对靶标的图像子集进行特征提取，获取靶标在相机拍摄的图像中的二维特征点集；在传感器为激光雷达的情况下，根据激光雷达采集到的靶标的数据的先验特征，对点云子集进行平面投影和特征提取，得到靶标在激光雷达的点云中的三维特征点集；在传感器为热成像仪的情况下，根据热成像仪采集到的靶标的数据的先验特征，对靶标的图像子集进行边缘提取，并对提取到的边缘进行特征拟合，获取靶标在热成像仪拍摄的图像中的二维特征点集。
在本步骤中，可以根据不同的传感器采集到的靶标的先验特征，采用不同的方式从传感器采集的靶标数据中提取相应的靶标的特征点集。
当传感器为相机时，可以根据相机采集到的靶标的数据的先验特征，对靶标的图像区域进行特征提取，获取靶标在相机拍摄的图像中的二维特征点集。其中，上述对靶标的图像区域进行特征提取，可以是根据靶标的先验特征得到靶标的具体特征，进而通过相应的特征提取算子对靶标的图像区域进行特征提取。例如，当通过靶标的先验特征可知靶标的形状为椭圆时，可以通过适用于椭圆特征提取的特征提取算法来实现靶标的图像区域的特征提取。本步骤通过相应的特征提取算子对靶标的图像区域进行特征提取，来获取靶标在相机拍摄的图像中的二维特征点集，便于后续通过图像中的二维特征点集，获取相机的坐标系与靶标的坐标系之间的位姿关系。
当传感器为激光雷达时，可以根据激光雷达采集的点云的先验特征，对靶标的点云子集进行平面投影和特征提取，获取靶标在激光雷达采集的点云中的三维特征点集。其中，上述对点云子集进行平面投影，可以是通过对点云子集在三个不同平面上进行投影，得到三个平面的点云子集的投影视图。上述特征提取，可以是根据靶标的先验特征，得到靶标的具体特征，进而通过相应的特征提取算子对靶标的三个平面的点云子集的投影视图进行特征提取。例如，当通过靶标的先验特征可以知道靶标的形状为圆形时，可以通过适用于圆形特征提取的特征提取算法来实现靶标的三个平面的点云子集的投影视图的特征提取。上述得到靶标在激光雷达的点云中的三维特征点集，可以是根据三个平面的点云子集的投影视图的特征提取结果以及三个平面的点云子集的投影视图，实现根据三个平面的投影数据向三维立体的转换，得到靶标在激光雷达的点云中的三维特征点集。本步骤通对点云子集在三个平面上进行投影，得到三个平面的点云子集的投影视图，进而通过相应的特征提取算子对靶标的三个平面的点云子集的投影视图进行特征提取，最终将三个平面的信息转换为三维立体信息，实现靶标在激光雷达的点云中的三维特征点集的获取。三维特征点集的获取，便于后续通过点云中的三维特征点集，获取激光雷达的坐标系与靶标的坐标系之间的位姿关系。
当传感器为热成像仪时，可以是对靶标的图像区域进行边缘提取，并基于靶标的先验特征对提取到的边缘进行特征拟合，获取靶标在热成像仪拍摄的远红外图像中的二维特征点集。其中，上述对靶标的图像区域进行边缘提取，可以是采用边缘检测算子，对对靶标的图像区域进行边缘检测。其中，上述对提取到的边缘进行特征拟合，可以是根据靶标的先验特征得到靶标的具体特征，进而通过相应的特征提取算子对靶标的图像区域的边缘进行特征拟合。例如，当通过靶标的先验特征确定靶标的形状为圆形时，可以通过适用于圆形特征提取的特征提取算法来实现靶标的图像区域的边缘进行特征拟合。本步骤通过相应的特征提取算子对靶标的图像区域的边缘进行特征拟合，来获取靶标在热成像仪拍摄的远红外图像中的二维特征点集，便于后续通过远红外图像中的二维特征点集，获取热成像仪的坐标系与靶标的坐标系之间的位姿关系。
进一步地，在一个实施例中，根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系，具体可以包括以下步骤：
在传感器为相机的情况下，根据靶标的特征点集的先验分布，获取靶标的先验二维特征点集；计算提取得到的靶标在相机拍摄的图像中的二维特征点集以及靶标的先验二维特征点集的光束平差，确定相机的坐标系和靶标的坐标系之间的位姿关系；在传感器为激光雷达的情况下，根据靶标的特征点集的先验分布，获取靶标的先验三维特征点集；对提取得到的靶标在激光雷达的点云中的三维特征点集以及靶标的先验三维特征点集进行点云配准计算，确定激光雷达的坐标系和靶标的坐标系之间的位姿关系；在传感器为热成像仪的情况下，根据靶标的特征点集的先验分布，获取靶标的先验二维特征点集；计算提取得到的靶标在热成像仪拍摄的图像中的二维特征点集以及靶标的先验二维特征点集的光束平差，确定热成像仪的坐标系和靶标的坐标系之间的位姿关系。
在本步骤中，可以根据不同的传感器，获取靶标的先验特征点集和传感器采集的数据中靶标的特征点集，来确定传感器的坐标系和靶标的坐标系之间的位姿关系。
当传感器为相机时，上述确定相机的坐标系和靶标的坐标系之间的位姿关系，可以是得到靶标的二维特征点集和靶标的先验二维特征点集的基础上，将两组二维特征点集的位置关系，生成光束平差问题，通过计算提取得到的靶标的二维特征点集以及靶标的先验二维特征点集的光束平差问题，来确定相机的坐标系和靶标的坐标系之间的位姿关系。例如，可以将相机采集的图像的靶标的二维特征点集和靶标的先验二维特征点集构成光束平差问题，进而通过Perspective-n-Point算法求解得到相机的坐标系和靶标的坐标系之间的位姿关系。
当传感器为激光雷达时，上述确定激光雷达的坐标系和靶标的坐标系之间的位姿关系，可以是在得到靶标的三维特征点集以及靶标的先验三维特征点集的基础上，将两组三维特征点集的位置关系，生成点云配准问题，通过对靶标的三维特征点集以及靶标的先验三维特征点集进行点云配准计算，来确定激光雷达的坐标系和靶标的坐标系之间的位姿关系。例如：可以将激光雷达采集的点云的靶标的三维特征点集以及靶标的先验三维特征点集构成点云配准问题，进而通过Iterative Closest Point算法求解得到激光雷达的坐标系和靶标的坐标系之间的位姿关系。
当传感器为热成像仪时，上述确定热成像仪的坐标系和靶标的坐标系之间的位姿关系，可以是得到靶标的二维特征点集和靶标的先验二维特征点集的基础上，将两组二维特征点集的位置关系，生成光束平差问题，通过计算提取得到的靶标的二维特征点集以及靶标的先验二维特征点集的光束平差问题，来确定热成像仪的坐标系和靶标的坐标系之间的位姿关系。例如，可以将热成像仪采集的远红外图像的靶标的二维特征点集和靶标的先验二维特征点集构成光束平差问题，进而通过Perspective-n-Point算法求解得到热成像仪的坐标系和靶标的坐标系之间的位姿关系。
在另一个实施例中，基于上述步骤S230，将至少三个传感器的坐标系和靶标的坐标系之间的位姿关系进行对齐，具体可以包括以下步骤：
步骤S232，对至少三个传感器的坐标系和所对应的靶标的坐标系，进行旋转和平移操作，直至将至少三个传感器对应的靶标的坐标系统一于同一坐标系。
在本步骤中，各个传感器的坐标系与对应的靶标的坐标系之间有一个确定的位姿关系，在保持各个传感器的坐标系与对应的靶标的坐标系之间的位姿关系不变的情况下，对各个传感器的坐标系与对应的靶标的坐标系进行旋转和平移操作，当各个传感器的坐标系所对应的靶标的坐标系重叠，也即，各个传感器的坐标系所对应的靶标的坐标系统一于同一坐标系时，停止旋转与平移。本步骤通过将多个传感器与靶标的位置关系统一于同一坐标系，便于后续对至少三个传感器的位置标定，进而有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
在一个实施例中，在步骤S232之后，具体还可以包括以下步骤：
步骤S234，获取至少三个传感器中的各个传感器的坐标系之间的坐标变换参数。
具体地，当通过旋转与平移实现各个传感器的坐标系所对应的靶标的坐标系统一于同一坐标系时，各个传感器的坐标系之间存在一定的坐标变换参数，通过获取至少三个传感器中的各个传感器的坐标系之间的坐标变换参数，确定至少三个传感器中的各个传感器的坐标系之间的位置关系，完成各个传感器的位置标定。采用这种通过将多个传感器与靶标的位置关系统一于同一坐标系，实现至少三个传感器的位置标定，能够有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
图3是本申请优选实施例提供的多传感器的标定方法的流程图。如图3所示，该多传感器的标定方法包括如下步骤：
步骤S310，分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；传感器数据中包括靶标的数据；
步骤S320，针对至少三个传感器中的每个传感器，从传感器采集到的靶标的数据中提取靶标的数据子集；
步骤S330，基于传感器采集到的靶标的数据的先验特征，从靶标的数据子集中提取靶标的特征点集；
步骤S340，根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系；
步骤S350，对至少三个传感器的坐标系和所对应的靶标的坐标系，进行旋转和平移操作，直至将至少三个传感器对应的靶标的坐标系统一于同一坐标系；
步骤S360，获取至少三个传感器中的各个传感器的坐标系之间的坐标变换参数。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种用于实现上述多传感器的标定方法的一种多传感器的标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，如图4所示，提供了一种多传感器的标定装置40，包括：
数据获取模块42，用于分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；传感器数据中包括靶标的数据；
位姿计算模块44，用于针对至少三个传感器中的每个传感器，基于传感器采集到的靶标的数据的先验特征，从传感器采集的靶标的数据中提取靶标的特征点集；根据靶标的特征点集的先验分布，以及提取得到的靶标的特征点集，确定传感器的坐标系和靶标的坐标系之间的位姿关系；
以及对齐模块46，用于将至少三个传感器的坐标系和靶标的坐标系之间的位姿关系进行对齐。
上述多传感器的标定装置40，通过获取至少三个传感器处于静置状态且同一时刻采集的传感器数据，并针对至少三个传感器中的每个传感器，根据每个传感器采集到的靶标数据的先验特征，得到数据中的靶标的特征点集。进而，根据数据中靶标的特征点集的先验分布以及靶标的特征点集，获取传感器的坐标系与靶标的坐标系位姿关系，最后，将每个传感器的坐标系与靶标的坐标系之间的位姿关系进行对齐。其通过建立至少三个的传感器与靶标之间的位置关系，并将多个传感器与靶标的位置关系统一于同一坐标系，能够有效避免只考虑多个传感器之间的位置关系而导致多个传感器之间存在回旋误差的问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种多传感器的标定方法，其特征在于，所述方法包括：
分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；所述传感器数据中包括靶标的数据；
针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集；根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐。
2.根据权利要求1所述的多传感器的标定方法，其特征在于，所述针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集，包括：
针对所述至少三个传感器中的每个传感器，从所述传感器采集到的所述靶标的数据中提取所述靶标的数据子集；
基于所述传感器采集到的所述靶标的数据的先验特征，从所述靶标的数据子集中提取所述靶标的特征点集。
3.根据权利要求2所述的多传感器的标定方法，其特征在于，根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系，包括：
在所述传感器提取得到的所述靶标的特征点集为二维特征点集的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器提取得到的所述靶标的特征点集为三维特征点集的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验三维特征点集；对提取得到的所述靶标的三维特征点集以及所述靶标的先验三维特征点集进行点云配准计算，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系。
4.根据权利要求1所述的多传感器的标定方法，其特征在于，所述将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐，包括：
对所述至少三个传感器的坐标系和所对应的所述靶标的坐标系，进行旋转和平移操作，直至将所述至少三个传感器对应的所述靶标的坐标系统一于同一坐标系。
5.根据权利要求4所述的多传感器的标定方法，其特征在于，在对所述至少三个传感器的坐标系和所对应的所述靶标的坐标系，进行旋转和平移操作，直至将所述至少三个传感器对应的所述靶标的坐标系统一于同一坐标系之后，所述方法还包括：
获取所述至少三个传感器中的各个传感器的坐标系之间的坐标变换参数。
6.根据权利要求1所述的多传感器的标定方法，其特征在于，所述至少三个传感器包括相机、激光雷达和热成像仪中的一种或多种的传感器；从所述传感器采集的所述靶标的数据中提取所述靶标的数据子集，包括：
在所述传感器为所述相机的情况下，获取所述相机拍摄的图像，得到所述相机拍摄的所述靶标的图像；对所述靶标的图像进行边缘检测，提取所述靶标的图像区域；其中，所述靶标的图像区域为所述靶标的图像子集；
在所述传感器为所述激光雷达的情况下，获取所述激光雷达采集的点云，得到所述激光雷达采集的所述靶标的点云；对所述靶标的点云进行距离阈值滤波并采用相应的算法提取所述靶标的点云子集，得到所述靶标的点云子集；
在所述传感器为所述热成像仪的情况下，获取所述热成像仪采集的图像，得到所述热成像仪获取的靶标的图像；对所述靶标的图像进行温度阈值过滤，提取所述靶标的图像区域；其中，所述靶标的图像区域为所述靶标的图像子集。
7.根据权利要求6所述的多传感器的标定方法，其特征在于，基于所述传感器采集到的所述靶标的数据的先验特征，从所述靶标的数据子集中提取所述靶标的特征点集，包括：
在所述传感器为所述相机的情况下，根据所述相机采集到的所述靶标的数据的先验特征，对所述靶标的图像子集进行特征提取，获取所述靶标在所述相机拍摄的图像中的二维特征点集；
在所述传感器为所述激光雷达的情况下，根据所述激光雷达采集到的所述靶标的数据的先验特征，对所述点云子集进行平面投影和特征提取，得到所述靶标在所述激光雷达的点云中的三维特征点集；
在所述传感器为所述热成像仪的情况下，根据所述热成像仪采集到的所述靶标的数据的先验特征，对所述靶标的图像子集进行边缘提取，并对提取到的边缘进行特征拟合，获取所述靶标在所述热成像仪拍摄的图像中的二维特征点集。
8.根据权利要求7所述的多传感器的标定方法，其特征在于，根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系，包括：
在所述传感器为所述相机的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标在所述相机拍摄的图像中的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述相机的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器为所述激光雷达的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验三维特征点集；对提取得到的所述靶标在所述激光雷达的点云中的三维特征点集以及所述靶标的先验三维特征点集进行点云配准计算，确定所述激光雷达的坐标系和所述靶标的坐标系之间的位姿关系；
在所述传感器为所述热成像仪的情况下，根据所述靶标的特征点集的先验分布，获取所述靶标的先验二维特征点集；计算提取得到的所述靶标在所述热成像仪拍摄的图像中的二维特征点集以及所述靶标的先验二维特征点集的光束平差，确定所述热成像仪的坐标系和所述靶标的坐标系之间的位姿关系。
9.一种多传感器的标定装置，其特征在于，所述装置包括：
数据获取模块，用于分别获取至少三个传感器在静置状态下且同一时刻采集到的传感器数据；所述传感器数据中包括靶标的数据；
位姿计算模块，用于针对所述至少三个传感器中的每个传感器，基于所述传感器采集到的所述靶标的数据的先验特征，从所述传感器采集的所述靶标的数据中提取所述靶标的特征点集；根据所述靶标的特征点集的先验分布，以及提取得到的所述靶标的特征点集，确定所述传感器的坐标系和所述靶标的坐标系之间的位姿关系；
以及对齐模块，用于将所述至少三个传感器的坐标系和所述靶标的坐标系之间的位姿关系进行对齐。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310231737.3A CN116429162A (zh) | 2023-03-07 | 2023-03-07 | 一种多传感器的标定方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310231737.3A CN116429162A (zh) | 2023-03-07 | 2023-03-07 | 一种多传感器的标定方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116429162A true CN116429162A (zh) | 2023-07-14 |
Family
ID=87089826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310231737.3A Pending CN116429162A (zh) | 2023-03-07 | 2023-03-07 | 一种多传感器的标定方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116429162A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036511A (zh) * | 2023-10-08 | 2023-11-10 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117893610A (zh) * | 2024-03-14 | 2024-04-16 | 四川大学 | 基于变焦单目视觉的航空装配机器人姿态测量系统 |
-
2023
- 2023-03-07 CN CN202310231737.3A patent/CN116429162A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036511A (zh) * | 2023-10-08 | 2023-11-10 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117036511B (zh) * | 2023-10-08 | 2024-03-26 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117893610A (zh) * | 2024-03-14 | 2024-04-16 | 四川大学 | 基于变焦单目视觉的航空装配机器人姿态测量系统 |
| CN117893610B (zh) * | 2024-03-14 | 2024-05-28 | 四川大学 | 基于变焦单目视觉的航空装配机器人姿态测量系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Reference pose generation for long-term visual localization via learned features and view synthesis | |
| Jin et al. | Image matching across wide baselines: From paper to practice | |
| Sarlin et al. | Lamar: Benchmarking localization and mapping for augmented reality | |
| Urban et al. | Multicol-slam-a modular real-time multi-camera slam system | |
| CN110766716B (zh) | 一种空间未知运动目标的信息获取方法及系统 | |
| Fathi et al. | Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features | |
| Moulon et al. | Adaptive structure from motion with a contrario model estimation | |
| Micusik et al. | Structure from motion with wide circular field of view cameras | |
| CN116429162A (zh) | 一种多传感器的标定方法、装置和计算机设备 | |
| Chen et al. | Align to locate: Registering photogrammetric point clouds to BIM for robust indoor localization | |
| Stamatopoulos et al. | Automated target-free network orienation and camera calibration | |
| Lin et al. | Cylindrical panoramic image stitching method based on multi-cameras | |
| Moussa et al. | An automatic procedure for combining digital images and laser scanner data | |
| Sedaghat et al. | Very high resolution image matching based on local features and k‐means clustering | |
| Chu et al. | You are here: Mimicking the human thinking process in reading floor-plans | |
| Mikhelson et al. | Automatic, fast, online calibration between depth and color cameras | |
| Castillo-Carrión et al. | SIFT optimization and automation for matching images from multiple temporal sources | |
| Zheng et al. | A multi-frame graph matching algorithm for low-bandwidth RGB-D SLAM | |
| Moreno et al. | A constant-time SLAM back-end in the continuum between global mapping and submapping: application to visual stereo SLAM | |
| Zhang et al. | L 2 V 2 T 2 Calib: Automatic and Unified Extrinsic Calibration Toolbox for Different 3D LiDAR, Visual Camera and Thermal Camera | |
| Morelli et al. | Photogrammetry now and then–from hand-crafted to deep-learning tie points– | |
| Pan et al. | Global structure-from-motion revisited | |
| He et al. | Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems | |
| CN110163914B (zh) | 基于视觉的定位 | |
| CN112215887A (zh) | 一种位姿确定方法、装置、存储介质及移动机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |