CN114494644A - 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 - Google Patents
一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 Download PDFInfo
- Publication number
- CN114494644A CN114494644A CN202210066808.4A CN202210066808A CN114494644A CN 114494644 A CN114494644 A CN 114494644A CN 202210066808 A CN202210066808 A CN 202210066808A CN 114494644 A CN114494644 A CN 114494644A
- Authority
- CN
- China
- Prior art keywords
- cooperative target
- binocular
- point cloud
- stereo matching
- spatial non
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及其系统,所述方法包括以下步骤:S1、采集获取空间非合作目标双目图像、并进行校正;S2、基于双目立体匹配深度神经网络模型的无监督深度学习,利用空间非合作目标双目图像计算得到空间非合作目标视差图;S3、计算空间非合作目标点云数据;S4、计算得到空间非合作目标待配准点云,并初始化空间非合作目标参考点云;S5、利用ICP算法进行配准,解算出旋转角和平移量;S6、将当前双目图像中新的点云数据加入到参考点云,作为后续配准时新的参考点云;S7、在计算位姿的同时加入新的点云数据,完成三维重建。有益效果是准确进行空间非合作目标位姿估计与三维重建。
Description
【技术领域】
本发明涉及空间图像处理技术领域,具体涉及一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统。
【背景技术】
迭代就近点法ICP(Iterative Closest Point),以点集对点集(PSTPS)配准方法为基础,即基于四元数的点集到点集配准方法,从测量点集中确定其对应的就近点点集后,运用Faugera和Hebert提出的方法计算新的就近点点集;进行迭代计算,直到残差平方和所构成的目标函数值不变,结束迭代过程。ICP算法主要用于解决基于自由形态曲面的配准问题。双目立体匹配是双目视觉研究热点,双目相机拍摄同一场景的左、右两幅视点图像,运用立体匹配算法获取视差图,进而获取深度图。双目立体匹配一般可划分为四个步骤:匹配代价计算、代价聚合、视差计算和视差优化。
深度学习(DL,Deep Learning)是机器学习(ML,Machine Learning)领域中一个研究方向,引入机器学习使其更接近于最初的目标-人工智能(AI,ArtificialIntelligence)。深度神经网络(Deep Neural Networks,简称DNN)是深度学习的基础,DNN有时也叫做多层感知机(Multi-Layer perceptron,MLP),从DNN按不同层的位置划分,DNN内部的神经网络层可以分为三类,输入层,隐藏层和输出层。有监督学习是从标签化训练数据集中推断出函数的机器学习任务。无监督学习是根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题。
近年来,卫星自主在轨服务受到各国的关注度越来越高,已逐渐成为研究的热点。目前,面向合作航天器的在轨服务技术已比较成熟,然而在轨服务对象中,有相当一部分属于非合作目标,如空间碎片、故障卫星、火箭上面级及非合作航天器等。受目标非合作性、复杂性及现有技术限制,目前仍未有完全自主实现非合作航天器在轨服务的先例,研究空间非合作目标的自主在轨服务技术具有十分重要的意义和应用价值。
经过检索分析,现有技术相关专利及其缺陷如下:发明公布文献CN105976353A,发明名称《基于模型和点云全局匹配的空间非合作目标位姿估计方法》使用了ICP算法进行位姿估计,但缺陷是需要使用深度相机、需要已知目标模型点云,而这在非合作目标的情况下往往是不可能的,且不包含对非合作目标进行三维重建的功能;发明公布文献CN106679634A,发明名称《一种基于立体视觉的空间非合作目标位姿测量方法》使用了立体视觉进行位姿估计,但缺陷是需要提取边缘信息,过程繁琐,三维重构可用点少,重构模型不精确;发明公布文献CN113313821A,发明名称《一种快速三维重建系统和方法》对目标进行了三维重建,但缺陷是需要使用深度相机,且需要使用多个相机。
本发明针对上述现有技术的缺陷,对空间非合作目标位姿估计与三维重建作了技术改进。
【发明内容】
本发明的目的是,提供一种准确进行空间非合作目标位姿估计与三维重建的方法。
为实现上述目的,本发明采取的技术方案是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,包括以下步骤:
S1、在双目相机对非合作目标进行绕飞的过程中,利用双目相机、即左相机和右相机采集获取空间非合作目标双目图像、即空间非合作目标左图像和右图像,并使用双目相机的标定数据对空间非合作目标双目图像进行校正;
S2、基于双目立体匹配深度神经网络模型的无监督深度学习,利用步骤S1获取的空间非合作目标双目图像计算得到空间非合作目标视差图;
S3、利用双目相机的标定参数和步骤S2中得到的空间非合作目标视差图,计算空间非合作目标点云数据;
S4、基于步骤S3空间非合作目标点云数据,计算得到空间非合作目标待配准点云,并初始化空间非合作目标参考点云;
S5、利用ICP算法对步骤S4获得的空间非合作目标待配准点云和空间非合作目标参考点云进行配准,获取当前空间非合作目标双目图像位姿,并从当前空间非合作目标双目图像位姿变换矩阵中解算出空间非合作目标旋转角和平移量;
S6、根据步骤S5中解算出的空间非合作目标旋转角和平移量,将步骤S4中当前空间非合作目标双目图像中新的点云数据加入到空间非合作目标参考点云,作为后续步骤S5配准时新的空间非合作目标参考点云;
S7、重复S4至步骤S6,在计算空间非合作目标位姿的同时向空间非合作目标参考点云中加入新的点云数据,完成空间非合作目标三维重建。
优选地,上述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,还包括双目立体匹配深度神经网络模型预训练步骤:
S01、创建输入为双目图像、输出为视差图的双目立体匹配深度神经网络模型;
S02、使用空间非合作目标公开数据集进行有监督深度学习对双目立体匹配深度神经网络模型预训练。
优选地,上述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,还包括双目立体匹配深度神经网络模型预训练步骤:
S03、在使用过程中对双目立体匹配深度神经网络模型训练,使得双目立体匹配深度神经网络模型适应空间环境、输出的视差图更精确。
优选地,上述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,如果没有空间非合作目标参考点云:步骤S4初始化计算得到的空间非合作目标待配准点云为空间非合作目标参考点云。
优选地,上述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,步骤S3计算空间非合作目标的点云数据具体方法如下:设双目相机标定参数为像素焦距(简单说明含义)fx、fy和偏移量(简单说明含义)cx、cy,双目相机的基线(简单说明含义)为b,双目图像中左图像和/或右图像中的点(u,v)对应的视差(简单说明含义)为disu,v,则点(u,v)在空间中坐标(x,y,z)的计算公式分别为:
本发明的再一目的是,提供一种准确进行空间非合作目标位姿估计与三维重建的系统。
为实现上述再一目的,本发明采取的技术方案是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统,包括双目相机、计算资源和空间非合作目标,所述双目相机包括左相机和右相机;所述双目相机和计算资源由航天器运载并在空间轨道运行;用于执行上述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法。
优选地,上述左相机和右相机参数完全相同、与所述计算资源相连、位于所述计算资源左右两边。
优选地,上述左相机和右相机采用Super 16mm镜头,焦距为50mm,采集图像分辨率设置为1366*768;所述左相机和右相机之间相距0.5m,朝向完全一致、且与所述左相机和右相机连线垂直。
优选地,上述双目相机与空间非合作目标之间相距10-100m。
本发明一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统有如下有益效果:有以下优点,1、只需要使用一对双目相机,不需要使用深度相机即可获得非合作目标的稠密深度信息;2、系统工作流程简单清晰;3、无需已知非合作目标模型点云,而是使用逐渐融合参考点云的方式对非合作目标进行三维重建;有以下创新点,1、在空间中无监督深度学习的进行视差图的获取,使神经网络适应空间环境,得到准确的视差图;2、不需要已知非合作目标模型点云;3、在进行非合作目标位姿估计的同时,以逐渐融合参考点云的方式对非合作目标进行三维重建。
【附图说明】
图1是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统结构示意图。
图2是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法流程图。
【具体实施方式】
下面结合实施例并参照附图对本发明作进一步描述。
实施例1
本实施例实现一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统。
图1是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统结构示意图。如附图1所示,本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统由双目相机(左相机和右相机)与计算资源共同组成。
左相机和右相机参数完全相同,与计算资源相连,分别位于左右两边。在仿真环境下,双目相机相机采用Super 16mm镜头,焦距为50mm,图像分辨率设置为1366*768,左右相机之间相距0.5m,朝向完全一致,且与左右相机连线垂直。
在使用过程中,本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统与非合作目标之间相距10-100m;保持相机拍摄非合作目标,并对非合作目标进行绕飞,在对非合作目标的绕飞中完成位姿解算和三维重建。
本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统通常由航天器运载并在轨道运行,双目相机对相机视野中的故障卫星等非合作目标图像分别进行拍摄得到左图像和右图像,并利用计算资源进行双目立体匹配、进而完成非合作目标位姿解算和三维重建。
实施例2
本实施例实现一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,基于实施例1一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统。
图2是一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法流程图。如附图2所示,本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法包括以下步骤:
步骤1,利用双目相机获取空间非合作目标的双目图像,并使用双目相机的标定数据对双目图像进行校正;
步骤2,使用基于深度学习的无监督双目立体匹配算法,利用步骤1获取的双目图像计算得到视差图;具体过程为:
步骤2-1,创建深度神经网络模型,输入为双目图像,输出为视差图;
步骤2-2,设计有监督损失函数,使用公开数据集对步骤2-1中创建的深度神经网络进行预训练;
步骤2-3,设计无监督损失函数,在空间环境中使用步骤2-2中预训练好的深度神经网络,在使用过程中使其适应空间环境,使输出的视差图更精确;
步骤3,利用双目相机的标定参数和步骤2中得到的视差图,计算得到空间非合作目标的点云数据,作为后续步骤中的参考点云;空间非合作目标的点云数据计算方法具体如下:
假设相机标定参数为像素焦距fx、fy和偏移量cx、cy,双目相机的基线为b,双目图像中左图像(或者右图像)中的点(u,v)对应的视差为disu,v,则点(u,v)在空间中坐标(x,y,z)的计算公式分别为:
步骤4,使用步骤1至步骤3的方法,在双目相机随卫星对非合作目标进行绕飞的同时继续采集双目图像并计算待配准点云;
步骤5,利用ICP算法对步骤4中的待配准点云和步骤3中的参考点云进行配准,获取当前帧的位姿,并从位姿变换矩阵中解算出旋转角和平移量;
步骤6,根据步骤5中解算出的旋转角和平移量,将步骤4中当前帧的点云加入到参考点云,作为后续点云匹配的参考点云;
步骤7,重复步骤4至步骤6,在计算空间非合作目标的位姿的同时向参考点云中加入新点,完成三维重建。
本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法的优点:只需要使用一对双目相机,不需要使用深度相机即可获得非合作目标的稠密深度信息;系统工作流程简单清晰;无需已知非合作目标模型点云,而是使用逐渐融合参考点云的方式对非合作目标进行三维重建。
本实施例一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法的创新点:在空间中无监督深度学习的进行视差图的获取,使神经网络适应空间环境,得到准确的视差图;不需要已知非合作目标模型点云;在进行非合作目标位姿估计的同时,以逐渐融合参考点云的方式对非合作目标进行三维重建。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AcessMemory,RAM)等。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和补充,这些改进和补充也应视为本发明的保护范围。
Claims (9)
1.一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,其特征在于包括以下步骤:
S1、在双目相机对非合作目标进行绕飞的过程中,利用双目相机、即左相机和右相机采集获取空间非合作目标双目图像、即空间非合作目标左图像和右图像,并使用双目相机的标定数据对空间非合作目标双目图像进行校正;
S2、基于双目立体匹配深度神经网络模型的无监督深度学习,利用步骤S1获取的空间非合作目标双目图像计算得到空间非合作目标视差图;
S3、利用双目相机的标定参数和步骤S2中得到的空间非合作目标视差图,计算空间非合作目标点云数据;
S4、基于步骤S3空间非合作目标点云数据,计算得到空间非合作目标待配准点云,并初始化空间非合作目标参考点云;
S5、利用ICP算法对步骤S4获得的空间非合作目标待配准点云和空间非合作目标参考点云进行配准,获取当前空间非合作目标双目图像位姿,并从当前空间非合作目标双目图像位姿变换矩阵中解算出空间非合作目标旋转角和平移量;
S6、根据步骤S5中解算出的空间非合作目标旋转角和平移量,将步骤S4中当前空间非合作目标双目图像中新的点云数据加入到空间非合作目标参考点云,作为后续步骤S5配准时新的空间非合作目标参考点云;
S7、重复S4至步骤S6,在计算空间非合作目标位姿的同时向空间非合作目标参考点云中加入新的点云数据,完成空间非合作目标三维重建。
2.根据权利要求1所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,其特征在于还包括双目立体匹配深度神经网络模型预训练步骤:
S01、创建输入为双目图像、输出为视差图的双目立体匹配深度神经网络模型;
S02、使用空间非合作目标公开数据集进行有监督深度学习对双目立体匹配深度神经网络模型预训练。
3.根据权利要求2所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,其特征在于还包括双目立体匹配深度神经网络模型预训练步骤:
S03、在使用过程中对双目立体匹配深度神经网络模型训练,使得双目立体匹配深度神经网络模型适应空间环境、输出的视差图更精确。
4.根据权利要求1所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法,其特征在于如果没有空间非合作目标参考点云:步骤S4初始化计算得到的空间非合作目标待配准点云为空间非合作目标参考点云。
6.一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统,其特征在于:包括双目相机、计算资源和空间非合作目标,所述双目相机包括左相机和右相机;所述双目相机和计算资源由航天器运载并在空间轨道运行;用于执行权利要求1至权利要求5任一权利要求所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法。
7.根据权利要求6所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统,其特征在于:所述左相机和右相机参数完全相同、与所述计算资源相连、位于所述计算资源左右两边。
8.根据权利要求7所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统,其特征在于:所述左相机和右相机采用Super 16mm镜头,焦距为50mm,采集图像分辨率设置为1366*768;所述左相机和右相机之间相距0.5m,朝向完全一致、且与所述左相机和右相机连线垂直。
9.根据权利要求8所述的一种基于双目立体匹配的空间非合作目标位姿估计与三维重建系统,其特征在于:所述双目相机与空间非合作目标之间相距10-100m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210066808.4A CN114494644A (zh) | 2022-01-20 | 2022-01-20 | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210066808.4A CN114494644A (zh) | 2022-01-20 | 2022-01-20 | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494644A true CN114494644A (zh) | 2022-05-13 |
Family
ID=81472197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210066808.4A Pending CN114494644A (zh) | 2022-01-20 | 2022-01-20 | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494644A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363205A (zh) * | 2023-03-30 | 2023-06-30 | 中国科学院西安光学精密机械研究所 | 基于深度学习的空间目标位姿解算方法及计算机程序产品 |
CN117115228A (zh) * | 2023-10-23 | 2023-11-24 | 广东工业大学 | Sop芯片管脚共面度检测方法及装置 |
-
2022
- 2022-01-20 CN CN202210066808.4A patent/CN114494644A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363205A (zh) * | 2023-03-30 | 2023-06-30 | 中国科学院西安光学精密机械研究所 | 基于深度学习的空间目标位姿解算方法及计算机程序产品 |
CN117115228A (zh) * | 2023-10-23 | 2023-11-24 | 广东工业大学 | Sop芯片管脚共面度检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
CN111563415B (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
CN108537837A (zh) | 一种深度信息确定的方法及相关装置 | |
JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
CN106934827A (zh) | 三维场景的重建方法和装置 | |
CN110223377A (zh) | 一种基于立体视觉系统高精度的三维重建方法 | |
Zhu et al. | Latitude: Robotic global localization with truncated dynamic low-pass filter in city-scale nerf | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN113838191A (zh) | 一种基于注意力机制和单目多视角的三维重建方法 | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
CN114494644A (zh) | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 | |
CN114170290A (zh) | 图像的处理方法及相关设备 | |
CN113313740B (zh) | 一种基于平面连续性的视差图和表面法向量联合学习方法 | |
Alcantarilla et al. | Large-scale dense 3D reconstruction from stereo imagery | |
CN116051766A (zh) | 一种基于神经辐射场地外行星表面环境重建方法 | |
CN117523100A (zh) | 基于神经网络与多视图一致性的三维场景重建方法和装置 | |
Li et al. | MODE: Multi-view omnidirectional depth estimation with 360∘ cameras | |
KR20220014678A (ko) | 영상의 깊이를 추정하는 방법 및 장치 | |
Mharolkar et al. | RGBDTCalibNet: End-to-end online extrinsic calibration between a 3D LiDAR, an RGB camera and a thermal camera | |
CN114494395A (zh) | 基于平面先验的深度图生成方法、装置、设备及存储介质 | |
Bojanić et al. | A review of rigid 3D registration methods | |
CN113850293B (zh) | 基于多源数据和方向先验联合优化的定位方法 | |
Castilla-Arquillo et al. | Hardware-accelerated mars sample localization via deep transfer learning from photorealistic simulations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |