CN113706591A - 一种基于点云的表面弱纹理卫星三维重建方法 - Google Patents
一种基于点云的表面弱纹理卫星三维重建方法 Download PDFInfo
- Publication number
- CN113706591A CN113706591A CN202110874322.9A CN202110874322A CN113706591A CN 113706591 A CN113706591 A CN 113706591A CN 202110874322 A CN202110874322 A CN 202110874322A CN 113706591 A CN113706591 A CN 113706591A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pose
- satellite
- point
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000009616 inductively coupled plasma Methods 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于点云的表面弱纹理卫星三维重建方法。该基于点云的表面弱纹理卫星三维重建方法包括点云获取与预处理步骤、帧间点云配准与关键帧选取步骤、回环检测与后端位姿优化步骤以及模型表面重建步骤。本发明通过利用处理后的点云进行位姿估计，依据位姿结果筛选出关键帧点云，并进行位姿优化，最后配准融合点云并完成模型表面重建，能够实现在卫星表面弱纹理以及光照条件较差的情况下的卫星三维重建，为卫星的部件识别与抓捕提供了良好的基础。
Description
技术领域
本发明涉及三维重建技术领域，尤其涉及一种基于点云的表面弱纹理卫星三维重建方法。
背景技术
在空间中，对卫星进行部件识别与抓捕之前，需要对卫星进行三维重建。然而由于在空间中光照条件差、卫星表面纹理弱等因素影响，无法使用基于图像的视觉三维重建方案对卫星进行重建。
发明内容
发明的目的在于，提供一种基于点云的表面弱纹理卫星三维重建方法，用于解决目前无法使用基于图像的视觉三维重建方案对卫星进行重建的技术问题。
为了实现上述目的，本发明其中一实施例中提供一种基于点云的表面弱纹理卫星三维重建方法，包括以下步骤：
点云获取与预处理步骤，获取卫星的单帧点云，并对点云预处理；
帧间点云配准与关键帧选取步骤，对点云进行FPFH特征粗配准与ICP精配准获取卫星的精确位姿，然后筛选关键帧；所述FPFH特征粗配准为将点云特征以统一的方式放入到直方图中，得到粗配准位姿；所述ICP精配准为以所述粗配准位姿作为初始位姿，迭代获得精配准位姿；
回环检测与后端位姿优化步骤，基于选取的关键帧进行位姿图更新与回环检测，所述回环检测是在历史关键帧中寻找出与当前关键帧位置上不相邻但相近的帧；判断是否出现回环，当出现回环时对位姿图优化，当位姿图优化结束后以及在未出现回环时，判断帧间点云配准是否结束；当帧间点云配准未结束时，返回所述点云获取与预处理步骤获取下一帧点云；当帧间点云配准结束时，进行位姿图优化；以及
模型表面重建步骤，当位姿图优化结束后，进行FPFH表面重建，完成卫星三维建模。
进一步地，所述点云获取与预处理步骤中的对点云预处理步骤包括：对于每帧点云，首先根据卫星所在的空间位置，利用空间三维坐标值筛选来将背景去除，得到只有卫星的点云；然后对卫星的点云依次进行离群点去除、体素滤波降采样，并计算对应的法向量，完成点云的预处理。
进一步地，所述帧间点云配准与关键帧选取步骤包括：
点云数据处理步骤，定义一个固定的局部坐标系，先获取的单帧点云为目标点云，后获取的点云为源点云；
FPFH特征粗配准步骤，在所述局部坐标系中提取源点云和目标点云的FPFH特征，将源点云的FPFH特征进行匹配和位姿调整，并结合至目标点云的FPFH特征形成对应特征点对，所述对应特征点对迭代更新后将所述对应特征点对的位置重合，形成卫星的点快速特征直方图作为粗配准最终位姿；
ICP精配准步骤，在所述局部坐标系中，以所述粗配准最终位姿作为初始位姿，通过识别所述初始位姿中的卫星边缘帧作为历史关键帧，以历史关键帧所在平面为基准面对所述源点云进行坐标变换，通过迭代计算预设迭代次数或者使得所述源点云的点与所述基准面的距离小于距离阈值后，形成卫星的精确位姿作为精配准位姿；以及
筛选关键帧步骤，基于所述卫星的精确位姿筛选卫星边缘帧作为当前关键帧。
进一步地，所述FPFH特征粗配准步骤中包括FPFH特征提取步骤，所述FPFH特征描述了点的局部几何特性，使用一个33维度的特征向量来描述；计算FPFH特征分为两步：
a)定义一个固定的局部坐标系，然后利用以下公式计算云点中每个查询点p和它的邻域点之间的一系列α,φ,θ特征值，将这些特征值以统一的方式放入到直方图中，得到简化的点特征直方图；
α＝v·nt
φ＝(u·(pt-ps))/||pt-ps||
θ＝arctan(w·nt·u·nt)；
其中，ps为点云中的一个点；
pt为ps的一个邻域点；
ns、nt分别为相对应点的法线；
u、v、w分别为以ps为原点构建的局部坐标系的三个方向轴；
α为nt与v轴的夹角；
φ为ns与(pt-ps)的夹角；
θ为nt在平面uptv上的投影与u轴的夹角；以及
b)重新确定点云中每个点的k邻域，利用以下公式使用邻近的SPFH值来计算查询点pq的FPFH值；
其中，K邻域为距离一个点最近的K个点组成的集合；
p为点云中的一个点；
ωk为权重，表示查询点p和其邻近点pk之间的距离。
进一步地，在所述FPFH特征提取步骤之后还包括特征配准步骤，为基于随机采样一致性的特征配准，具体包括：
a)首先对目标点云的FPFH特征进行随机采样，并在源点云中查询与采样点对应的特征点；
b)然后基于查询到的特征点采用最小二乘方法解算帧间点云的位姿并进行坐标变换；
c)接着在变换后的帧间点云中，通过查询源点云的33维FPFH特征空间，找到目标点云的所有特征匹配点，并基于对应点欧式距离、两特征间连线段长度和特征点法向量实现特征误匹配剔除；以及
d)统计误匹配剔除后的特征对应点的数量即内点数，并判断迭代次数是否达到终止条件，若迭代未终止，则更新对应特征点对，重复a、c两步；若迭代终止，则选出内点数最多时对应的位姿为最终位姿结果。
进一步地，所述ICP精配准步骤包括：
a)用初始位姿对源点云进行坐标变换，然后寻找变换后的帧间点云的最近邻对应点，目标点云p与源点云q变换后点云Tq的对应点组成的匹配集合记为κ＝{(p,q)}；
b)通过最小化匹配集合κ中定义的点到面距离为目标函数E(T)来解算位姿矩阵T，
其中E(T)为ICP配准的目标函数，表示为点到面的距离；T为ICP配准需要计算的位姿矩阵，该位姿矩阵包括旋转矩阵和平移矩阵；np是点p的法向量；
c)判断迭代次数或距离阈值是否达到迭代终止条件，若迭代未终止，则用解算的位姿更新初始位姿，重复以上步骤；若迭代终止，即可得到精确位姿。
进一步地，在所述筛选关键帧时，以匹配度、内点均方根误差和位姿变化幅度为依据；所述匹配度为用来表征两帧点云重合区域的大小，具体为目标点云P中与源点云匹配内点的数量；所述内点均方根误差为所有匹配内点的均方根误差；所述位姿变化幅度为表征获取点云的传感器的运动幅度，用位姿矩阵Tl,c的旋转向量与平移向量共同取模并相加来衡量。
进一步地，所述回环检测与后端位姿优化步骤中，所述回环检测的步骤如下：
a)每检测到一个关键帧时，在位姿图中添加一个顶点，记录该帧的位姿矩阵；添加一个边联接当前顶点与上一顶点，记录相邻关键帧值之前的变换位姿矩阵；以该帧位姿矩阵中的平移矩阵为坐标并记录；
b)当关键帧总数大于10时，用k-dimensional树寻找与当前关键帧坐标距离最近的5个关键帧；
c)若寻找到的关键帧与当前关键帧的差异数量大于10时，则认为发生了回环；反之则认为没有回环，重复以上步骤；
d)检测到发生回环后，将该回环帧点云与当前帧点云进行帧间配准，并用一条边联接两个对应的顶点，记录两帧之间的位姿误差，更新位姿图并优化，重复以上步骤。
进一步地，所述回环检测与后端位姿优化步骤中，所述位姿优化通过对位姿图使用最小二乘优化法减少点云配准的累计误差，将残差平均到所有关键帧上；在位姿图优化中，图顶点是非线性最小而成问题的优化变量，表示为被优化的关键帧位姿矩阵；联接顶点的边是优化变量之间的误差项，表示为帧间位姿估计误差；i、j为关键帧所对应的顶点，Ti与Tj分别为两个顶点i、j所对应的位姿矩阵，顶点i到j之间的变换矩阵为Tij，对应连接顶点的边误差eij表示为
其中，右上角标“-1”表示矩阵求逆；右上角标“∨”表示求出反对称矩阵唯一对应的向量的运算；使用G2O优化工具完成位姿图优化，最小化邻边与回环边误差，得到优化后的每个关键帧位姿矩阵。
进一步地，所述模型表面重建步骤中，当位姿图优化结束后，结合深度图、点云以及优化后的位姿图，利用TSDF特征对卫星点云进行表面重建，具体步骤如下：
a)按照一定大小把整个建模空间等分为若干小方块，在每个方块内存有TSDF值，表示该位置与物体表面的距离；
b)整合深度图与点云的关键帧数据至TSDF体积空间，更新计算TSDF值，并叠加权重计算得到TSDF值；
c)每个方块内的TSDF值大于0表示位于物体的外部，小于0表示位于物体的内部，等于0表示在物体表面上，所以通过立方体匹配算法提取出重建物体的表面；
d)利用光线追踪渲染出卫星的最终模型。
本发明的有益效果在于，提供一种基于点云的表面弱纹理卫星三维重建方法，通过利用处理后的点云进行位姿估计，依据位姿结果筛选出关键帧点云，并进行位姿优化，最后配准融合点云并完成模型表面重建，能够实现在卫星表面弱纹理以及光照条件较差的情况下的卫星三维重建，为卫星的部件识别与抓捕提供了良好的基础。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，呈现本申请的技术方案及其它有益效果。
图1为本申请实施例提供的一种基于点云的表面弱纹理卫星三维重建方法的流程图。
图2为本申请实施例提供的一种基于点云的表面弱纹理卫星三维重建方法的原理图。
图3为本申请实施例提供的所述帧间点云配准与关键帧选取步骤的原理图。
图4为本申请实施例提供的所述帧间点云配准与关键帧选取步骤的流程图。
图5为本申请所示固定的局部坐标系。
图6为本申请以点pq为中心的k邻域影响范围图。
图7为本申请的位姿图示意图。
图8为本申请位姿图优化前以及优化后的关键帧轨迹变化示意图。
图9为本申请TSDF体素模型示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
具体的，请参阅图1、图2，本申请实施例提供一种基于点云的表面弱纹理卫星三维重建方法，包括以下步骤S1-S4。
S1、点云获取与预处理步骤，获取卫星的单帧点云，并对点云预处理；
S2、帧间点云配准与关键帧选取步骤，对点云进行FPFH特征粗配准与ICP精配准获取卫星的精确位姿，然后筛选关键帧；所述FPFH特征粗配准为将点云特征以统一的方式放入到直方图中，得到粗配准位姿；所述ICP精配准为以所述粗配准位姿作为初始位姿，迭代获得精配准位姿；
S3、回环检测与后端位姿优化步骤，基于选取的关键帧进行位姿图更新与回环检测，所述回环检测是在历史关键帧中寻找出与当前关键帧位置上不相邻但相近的帧；判断是否出现回环，当出现回环时对位姿图优化，当位姿图优化结束后以及在未出现回环时，判断帧间点云配准是否结束；当帧间点云配准未结束时，返回所述点云获取与预处理步骤获取下一帧点云；当帧间点云配准结束时，进行位姿图优化；以及
S4、模型表面重建步骤，当位姿图优化结束后，进行FPFH表面重建，完成卫星三维建模。
1.点云获取与预处理
本发明专利方案使用Kinect等测距相机作为三维信息获取的传感器，来获得待重建卫星的彩色图与深度图。为避免遮挡与视觉盲区，采集数据时手持传感器先水平绕卫星一圈，再提升高度绕卫星一圈，获得卫星全方位的三维信息。然后，根据相机模型，利用采集到的彩色图、深度图以及相机内参计算得到三维的点云数据，完成点云获取。
对于每帧点云，首先根据卫星所在的空间位置，利用空间三维坐标值筛选来将背景去除，得到只有卫星的点云；然后对卫星的点云依次进行离群点去除、体素滤波降采样，并计算对应的法向量，完成点云的预处理。
2.帧间点云配准与关键帧选取
本发明专利利用帧间配准结果从采集的数据中选取出关键帧，然后利用关键帧进行后续的位姿优化与变换融合，实现卫星三维重建。所述帧间点云配准与关键帧选取步骤的原理图如图3所示。
配准结果为：将上一关键帧点云与当前帧点云进行帧间配准获得的变换位姿。具体配准方法为：将FPFH特征粗配准与点到面的ICP精配准相结合，即将粗配准计算获得的位姿变换矩阵作为ICP算法的输入进行精配准，以获得最终的帧间变换位姿。Pl：上一关键帧点云；Pc：当前关键帧点云；T(l,c)：两帧点云(l，c)间的变换矩阵(旋转+平移矩阵)；FPFH：点快速特征直方图(Fast Point Feature Histogram,FPFH)，通俗的讲就是表示三维点的一种特征；ICP：迭代最近点(Iterative Closest Point,ICP)，是一种配准算法；Tr：粗配准计算得到的位姿变换矩阵(旋转+平移矩阵)。
具体的，请参阅图4，所述帧间点云配准与关键帧选取步骤S2包括：
S21、点云数据处理步骤，定义一个固定的局部坐标系，先获取的单帧点云为目标点云，后获取的点云为源点云；
S22、FPFH特征粗配准步骤，在所述局部坐标系中提取源点云和目标点云的FPFH特征，将源点云的FPFH特征进行匹配和位姿调整，并结合至目标点云的FPFH特征形成对应特征点对，所述对应特征点对迭代更新后将所述对应特征点对的位置重合，形成卫星的点快速特征直方图作为粗配准最终位姿；
S23、ICP精配准步骤，在所述局部坐标系中，以所述粗配准最终位姿作为初始位姿，通过识别所述初始位姿中的卫星边缘帧作为历史关键帧，以历史关键帧所在平面为基准面对所述源点云进行坐标变换，通过迭代计算预设迭代次数或者使得所述源点云的点与所述基准面的距离小于距离阈值后，形成卫星的精确位姿作为精配准位姿；以及
S24、筛选关键帧步骤，基于所述卫星的精确位姿筛选卫星边缘帧作为当前关键帧。
2.1FPFH特征粗配准
所述FPFH特征粗配准步骤S22中包括FPFH特征提取步骤以及特征配准步骤。
1)FPFH特征的提取
所述FPFH特征描述了点的局部几何特性，使用一个33维度的特征向量来描述。计算FPFH特征分为两步：
a)定义一个固定的局部坐标系，如图5所示，然后利用以下公式计算云点中每个查询点p和它的邻域点之间的一系列α,φ,θ特征值，将这些特征值以统一的方式放入到直方图中，得到简化的点特征直方图；
α＝v·nt
φ＝(u·(pt-ps))/||pt-ps||
θ＝arctan(w·nt·u·nt)；
其中，ps为点云中的一个点；
pt为ps的一个邻域点；
ns、nt分别为相对应点的法线；
u、v、w分别为以ps为原点构建的局部坐标系的三个方向轴；
α为nt与v轴的夹角；
φ为ns与(pt-ps)的夹角；
θ为nt在平面uptv上的投影与u轴的夹角；以及
b)重新确定点云中每个点的k邻域，利用以下公式使用邻近的SPFH值来计算查询点pq的FPFH值；
其中，K邻域为距离一个点最近的K个点组成的集合；
p为点云中的一个点；
ωk为权重，表示查询点p和其邻近点pk之间的距离。
如图6所示可以帮助理解这个权重方式的重要性，它表示的是以点为中心的k邻域影响范围。具体计算时候，FPFH的实现使用了11个统计子区间，即每个特征值的参数区间都被分割为11个子区间，特征直方图(Feature Histgram)被分别计算然后合并得出了元素为浮点值的一个33维度的特征向量，该向量即为得到的FPFH特征。
2)基于随机采样一致性(RANSAC)的特征配准
所述特征配准步骤为基于随机采样一致性的特征配准，具体包括：
a)首先对目标点云的FPFH特征进行随机采样，并在源点云中查询与采样点对应的特征点；
b)然后基于查询到的特征点采用最小二乘方法解算帧间点云的位姿并进行坐标变换；
c)接着在变换后的帧间点云中，通过查询源点云的33维FPFH特征空间，找到目标点云的所有特征匹配点，并基于对应点欧式距离、两特征间连线段长度和特征点法向量实现特征误匹配剔除；以及
d)统计误匹配剔除后的特征对应点的数量即内点数，并判断迭代次数是否达到终止条件，若迭代未终止，则更新对应特征点对，重复a、c两步；若迭代终止，则选出内点数最多时对应的位姿为最终位姿结果。
2.2点到面的ICP精配准
所述ICP精配准步骤S23为点到面的ICP精配准。点到面的ICP配置算法以粗配准获得位姿作为初始位姿，迭代获得精配准位姿，迭代分为以下步骤进行：
a)用初始位姿对源点云进行坐标变换，然后寻找变换后的帧间点云的最近邻对应点，目标点云p(图6中的pq)与源点云q变换后点云Tq的对应点组成的匹配集合记为κ＝{(p,q)}；
b)通过最小化匹配集合κ中定义的点到面距离为目标函数E(T)来解算位姿矩阵T，
其中E(T)为ICP配准的目标函数，表示为点到面的距离；T为ICP配准需要计算的位姿矩阵，该位姿矩阵包括旋转矩阵和平移矩阵；np是点p的法向量；
c)判断迭代次数或距离阈值是否达到迭代终止条件，若迭代未终止，则用解算的位姿更新初始位姿，重复以上步骤；若迭代终止，即可得到精确位姿。
2.3筛选关键帧
筛选关键帧步骤S24中，在所述筛选关键帧时，以匹配度、内点均方根误差和位姿变化幅度为依据。
匹配度为：精配准算法中用来表征两帧点云重合区域的大小，具体为目标点云P中匹配内点的数量，匹配度越高表示点云配准的效果越好。
内点均方根误差为：表征所有匹配内点的均方根误差，内点均方根误差越小表示点云配准效果越好。
位姿变化幅度为：表征帧间传感器的运动幅度，用位姿矩阵Tl,c的旋转向量与平移向量共同取模并相加来衡量，该值越大表示运动幅度越大。
Norm(T)＝|min(||Trot||,2π-||Trot||)|+||Ttrans||
其中，Trot：变换矩阵(4X4)中的旋转矩阵(3X3)；Ttrans：变换矩阵(4X4)中的平移矩阵(3X1)；||Trot||：表示旋转矩阵的二范数；||Ttrans||：表示平移矩阵的二范数；矩阵的范数可简单理解为矩阵的一种度量；min：取小函数；||：取绝对值。
若匹配度大于阈值、内点均方根误差低于阈值且位姿变化幅度适中，则将该帧加入关键帧，用于后续的三维重建。
3.回环检测与后端位姿优化
在连续进行多帧配准计算位姿过程中，下一次的计算会依赖上一次配准的结果，不可避免的会产生累计误差，随着帧的关键帧数量的增加，较大的累计误差会使得三维重建模型精度降低。本发明使用回环检测和位姿图优化降低重建时累计误差影响。
3.1回环检测与位姿图构建
回环检测是：在历史关键帧中寻找出与当前关键帧位置上不相邻但相近的帧。位姿图是：利用图论中的图模型表示非线性最小二乘问题，由若干个顶点与连接着顶点的边共同组成。如图7所示，为位姿图示意图。在重建时不断更新构建位姿图并进行回环检测，所述回环检测的步骤如下：
a)每检测到一个关键帧时，在位姿图中添加一个顶点，记录该帧的位姿矩阵；添加一个边联接当前顶点与上一顶点，记录相邻关键帧值之前的变换位姿矩阵；以该帧位姿矩阵中的平移矩阵为坐标并记录；
b)当关键帧总数大于10时，用k-dimensional树(KD-Tree)寻找与当前关键帧坐标距离最近的5个关键帧；KD-Tree为k-dimensional树的简称，是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。
c)若寻找到的关键帧与当前关键帧的差异数量大于10时，则认为发生了回环；反之则认为没有回环，重复以上步骤；
d)检测到发生回环后，将该回环帧点云与当前帧点云进行帧间配准，并用一条边联接两个对应的顶点，记录两帧之间的位姿误差，更新位姿图并优化，重复以上步骤。
3.2.位姿图优化
所述回环检测与后端位姿优化步骤S3中，所述位姿优化通过对位姿图使用最小二乘优化法减少点云配准的累计误差，将残差平均到所有关键帧上；在位姿图优化中，图顶点是非线性最小而成问题的优化变量，表示为被优化的关键帧位姿矩阵；联接顶点的边是优化变量之间的误差项，表示为帧间位姿估计误差；i、j为关键帧所对应的顶点，Ti与Tj分别为两个顶点i、j所对应的位姿矩阵，顶点i到j之间的变换矩阵为Tij，对应连接顶点的边误差eij表示为
其中，右上角标“-1”表示矩阵求逆；右上角标“∨”表示求出反对称矩阵唯一对应的向量的运算。
使用G2O优化工具完成位姿图优化，最小化邻边与回环边误差，得到优化后的每个关键帧位姿矩阵。
为保证不在配准过程中因累计误差产生较大变形，每次检测到回环后对位姿图进行一次优化，并且在全部帧间配准结束后也将进行一次位姿图优化，并将优化后的位姿结果更新到所有关键帧上，位姿图优化前以及优化后的关键帧轨迹变化如图8所示。
4模型表面重建
TSDF(truncated signed distance function)是一种利用结构化点云数据并以参数表达表面的表面重建算法。核心是将点云数据映射到一个预先定义的三维立体空间中，并用截断符号距离函数表示真实场景表面附近的区域，建立表面模型。如图9，为TSDF体素模型示意图。
所述模型表面重建步骤S4中，当位姿图优化结束后，结合深度图、点云以及优化后的位姿图，利用TSDF特征对卫星点云进行表面重建，具体步骤如下：
a)按照一定大小把整个建模空间等分为若干小方块，在每个方块内存有TSDF值，表示该位置与物体表面的距离；
b)整合深度图与点云的关键帧数据至TSDF体积空间，更新计算TSDF值，并叠加权重计算得到TSDF值；
c)每个方块内的TSDF值大于0表示位于物体的外部，小于0表示位于物体的内部，等于0表示在物体表面上，所以通过立方体匹配算法提取出重建物体的表面；
d)利用光线追踪渲染出卫星的最终模型。
本发明的有益效果在于，提供一种基于点云的表面弱纹理卫星三维重建方法，通过利用处理后的点云进行位姿估计，依据位姿结果筛选出关键帧点云，并进行位姿优化，最后配准融合点云并完成模型表面重建，能够实现在卫星表面弱纹理以及光照条件较差的情况下的卫星三维重建，为卫星的部件识别与抓捕提供了良好的基础。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种电子装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (10)
1.一种基于点云的表面弱纹理卫星三维重建方法，其特征在于，包括步骤：
点云获取与预处理步骤，获取卫星的单帧点云，并对点云预处理；
帧间点云配准与关键帧选取步骤，对点云进行FPFH特征粗配准与ICP精配准获取卫星的精确位姿，然后筛选关键帧；所述FPFH特征粗配准为将点云特征以统一的方式放入到直方图中，得到粗配准位姿；所述ICP精配准为以所述粗配准位姿作为初始位姿，迭代获得精配准位姿；
回环检测与后端位姿优化步骤，基于选取的关键帧进行位姿图更新与回环检测，所述回环检测是在历史关键帧中寻找出与当前关键帧位置上不相邻但相近的帧；判断是否出现回环，当出现回环时对位姿图优化，当位姿图优化结束后以及在未出现回环时，判断帧间点云配准是否结束；当帧间点云配准未结束时，返回所述点云获取与预处理步骤获取下一帧点云；当帧间点云配准结束时，进行位姿图优化；以及
模型表面重建步骤，当位姿图优化结束后，进行FPFH表面重建，完成卫星三维建模。
2.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述点云获取与预处理步骤中的对点云预处理步骤包括：
对于每帧点云，首先根据卫星所在的空间位置，利用空间三维坐标值筛选来将背景去除，得到只有卫星的点云；然后对卫星的点云依次进行离群点去除、体素滤波降采样，并计算对应的法向量，完成点云的预处理。
3.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述帧间点云配准与关键帧选取步骤包括：
点云数据处理步骤，定义一个固定的局部坐标系，先获取的单帧点云为目标点云，后获取的点云为源点云；
FPFH特征粗配准步骤，在所述局部坐标系中提取源点云和目标点云的FPFH特征，将源点云的FPFH特征进行匹配和位姿调整，并结合至目标点云的FPFH特征形成对应特征点对，所述对应特征点对迭代更新后将所述对应特征点对的位置重合，形成卫星的点快速特征直方图作为粗配准最终位姿；
ICP精配准步骤，在所述局部坐标系中，以所述粗配准最终位姿作为初始位姿，通过识别所述初始位姿中的卫星边缘帧作为历史关键帧，以历史关键帧所在平面为基准面对所述源点云进行坐标变换，通过迭代计算预设迭代次数或者使得所述源点云的点与所述基准面的距离小于距离阈值后，形成卫星的精确位姿作为精配准位姿；以及
筛选关键帧步骤，基于所述卫星的精确位姿筛选卫星边缘帧作为当前关键帧。
4.根据权利要求3所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述FPFH特征粗配准步骤中包括FPFH特征提取步骤，所述FPFH特征描述了点的局部几何特性，使用一个33维度的特征向量来描述；计算FPFH特征分为两步：
a)定义一个固定的局部坐标系，然后利用以下公式计算云点中每个查询点p和它的邻域点之间的一系列α,φ,θ特征值，将这些特征值以统一的方式放入到直方图中，得到简化的点特征直方图；
α＝v·nt
φ＝(u·(pt-ps))/||pt-ps||
θ＝arctan(w·nt·u·nt)；
其中，ps为点云中的一个点；
pt为ps的一个邻域点；
ns、nt分别为相对应点的法线；
u、v、w分别为以ps为原点构建的局部坐标系的三个方向轴；
α为nt与v轴的夹角；
φ为ns与(pt-ps)的夹角；
θ为nt在平面uptv上的投影与u轴的夹角；以及
b)重新确定点云中每个点的k邻域，利用以下公式使用邻近的SPFH值来计算查询点pq的FPFH值；
其中，K邻域为距离一个点最近的K个点组成的集合；
p为点云中的一个点；
ωk为权重，表示查询点p和其邻近点pk之间的距离。
5.根据权利要求4所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，在所述FPFH特征提取步骤之后还包括特征配准步骤，为基于随机采样一致性的特征配准，具体包括：
a)首先对目标点云的FPFH特征进行随机采样，并在源点云中查询与采样点对应的特征点；
b)然后基于查询到的特征点采用最小二乘方法解算帧间点云的位姿并进行坐标变换；
c)接着在变换后的帧间点云中，通过查询源点云的33维FPFH特征空间，找到目标点云的所有特征匹配点，并基于对应点欧式距离、两特征间连线段长度和特征点法向量实现特征误匹配剔除；以及
d)统计误匹配剔除后的特征对应点的数量即内点数，并判断迭代次数是否达到终止条件，若迭代未终止，则更新对应特征点对，重复a、c两步；若迭代终止，则选出内点数最多时对应的位姿为最终位姿结果。
6.根据权利要求3所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述ICP精配准步骤包括：
a)用初始位姿对源点云进行坐标变换，然后寻找变换后的帧间点云的最近邻对应点，目标点云p与源点云q变换后点云Tq的对应点组成的匹配集合记为κ＝{(p,q)}；
b)通过最小化匹配集合κ中定义的点到面距离为目标函数E(T)来解算位姿矩阵T，
其中E(T)为ICP配准的目标函数，表示为点到面的距离；T为ICP配准需要计算的位姿矩阵，该位姿矩阵包括旋转矩阵和平移矩阵；np是点p的法向量；
c)判断迭代次数或距离阈值是否达到迭代终止条件，若迭代未终止，则用解算的位姿更新初始位姿，重复以上步骤；若迭代终止，即可得到精确位姿。
7.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，在所述筛选关键帧时，以匹配度、内点均方根误差和位姿变化幅度为依据；
所述匹配度为用来表征两帧点云重合区域的大小，具体为目标点云P中与源点云匹配内点的数量；
所述内点均方根误差为所有匹配内点的均方根误差；
所述位姿变化幅度为表征获取点云的传感器的运动幅度，用位姿矩阵Tl,c的旋转向量与平移向量共同取模并相加来衡量。
8.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述回环检测与后端位姿优化步骤中，所述回环检测的步骤如下：
a)每检测到一个关键帧时，在位姿图中添加一个顶点，记录该帧的位姿矩阵；添加一个边联接当前顶点与上一顶点，记录相邻关键帧值之前的变换位姿矩阵；以该帧位姿矩阵中的平移矩阵为坐标并记录；
b)当关键帧总数大于10时，用k-dimensional树寻找与当前关键帧坐标距离最近的5个关键帧；
c)若寻找到的关键帧与当前关键帧的差异数量大于10时，则认为发生了回环；反之则认为没有回环，重复以上步骤；
d)检测到发生回环后，将该回环帧点云与当前帧点云进行帧间配准，并用一条边联接两个对应的顶点，记录两帧之间的位姿误差，更新位姿图并优化，重复以上步骤。
9.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述回环检测与后端位姿优化步骤中，所述位姿优化通过对位姿图使用最小二乘优化法减少点云配准的累计误差，将残差平均到所有关键帧上；在位姿图优化中，图顶点是非线性最小而成问题的优化变量，表示为被优化的关键帧位姿矩阵；联接顶点的边是优化变量之间的误差项，表示为帧间位姿估计误差；i、j为关键帧所对应的顶点，Ti与Tj分别为两个顶点i、j所对应的位姿矩阵，顶点i到j之间的变换矩阵为Tij，对应连接顶点的边误差eij表示为
其中，右上角标“-1”表示矩阵求逆；右上角标“∨”表示求出反对称矩阵唯一对应的向量的运算；使用G2O优化工具完成位姿图优化，最小化邻边与回环边误差，得到优化后的每个关键帧位姿矩阵。
10.根据权利要求1所述的基于点云的表面弱纹理卫星三维重建方法，其特征在于，所述模型表面重建步骤中，当位姿图优化结束后，结合深度图、点云以及优化后的位姿图，利用TSDF特征对卫星点云进行表面重建，具体步骤如下：
a)按照一定大小把整个建模空间等分为若干小方块，在每个方块内存有TSDF值，表示该位置与物体表面的距离；
b)整合深度图与点云的关键帧数据至TSDF体积空间，更新计算TSDF值，并叠加权重计算得到TSDF值；
c)每个方块内的TSDF值大于0表示位于物体的外部，小于0表示位于物体的内部，等于0表示在物体表面上，所以通过立方体匹配算法提取出重建物体的表面；
d)利用光线追踪渲染出卫星的最终模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874322.9A CN113706591B (zh) | 2021-07-30 | 2021-07-30 | 一种基于点云的表面弱纹理卫星三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874322.9A CN113706591B (zh) | 2021-07-30 | 2021-07-30 | 一种基于点云的表面弱纹理卫星三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706591A true CN113706591A (zh) | 2021-11-26 |
| CN113706591B CN113706591B (zh) | 2024-03-19 |
Family
ID=78651042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110874322.9A Active CN113706591B (zh) | 2021-07-30 | 2021-07-30 | 一种基于点云的表面弱纹理卫星三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706591B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880690A (zh) * | 2022-11-23 | 2023-03-31 | 郑州大学 | 一种在三维重建辅助下进行点云中物体快速标注的方法 |
| CN115951589A (zh) * | 2023-03-15 | 2023-04-11 | 中科院南京天文仪器有限公司 | 基于最大化Kozachenko-Leonenko熵的恒星均匀选取方法 |
| CN117829381A (zh) * | 2024-03-05 | 2024-04-05 | 成都农业科技职业学院 | 基于物联网的农业大棚数据优化采集系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930495A (zh) * | 2019-11-22 | 2020-03-27 | 哈尔滨工业大学（深圳） | 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN112907491A (zh) * | 2021-03-18 | 2021-06-04 | 中煤科工集团上海有限公司 | 一种适用于井下巷道的激光点云回环检测方法及系统 |
-
2021
- 2021-07-30 CN CN202110874322.9A patent/CN113706591B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN110930495A (zh) * | 2019-11-22 | 2020-03-27 | 哈尔滨工业大学（深圳） | 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质 |
| CN112907491A (zh) * | 2021-03-18 | 2021-06-04 | 中煤科工集团上海有限公司 | 一种适用于井下巷道的激光点云回环检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张健;李新乐;宋莹;王仁;朱凡;赵晓燕;: "基于噪声点云的三维场景重建方法", 计算机工程与设计, no. 04 * |
| 李宜鹏;解永春;: "基于点云位姿平均的非合作目标三维重构", 空间控制技术与应用, no. 01 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880690A (zh) * | 2022-11-23 | 2023-03-31 | 郑州大学 | 一种在三维重建辅助下进行点云中物体快速标注的方法 |
| CN115880690B (zh) * | 2022-11-23 | 2023-08-11 | 郑州大学 | 一种在三维重建辅助下进行点云中物体快速标注的方法 |
| CN115951589A (zh) * | 2023-03-15 | 2023-04-11 | 中科院南京天文仪器有限公司 | 基于最大化Kozachenko-Leonenko熵的恒星均匀选取方法 |
| CN117829381A (zh) * | 2024-03-05 | 2024-04-05 | 成都农业科技职业学院 | 基于物联网的农业大棚数据优化采集系统 |
| CN117829381B (zh) * | 2024-03-05 | 2024-05-14 | 成都农业科技职业学院 | 基于物联网的农业大棚数据优化采集系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706591B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103426182B (zh) | 基于视觉注意机制的电子稳像方法 | |
| EP3695384B1 (en) | Point cloud meshing method, apparatus, device and computer storage media | |
| EP2677464B1 (en) | Feature detection in numeric data | |
| CN113706591A (zh) | 一种基于点云的表面弱纹理卫星三维重建方法 | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN109544456A (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN112686935A (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN109559273B (zh) | 一种面向车底图像的快速拼接方法 | |
| CN113838191A (zh) | 一种基于注意力机制和单目多视角的三维重建方法 | |
| CN102521816A (zh) | 一种云数据中心机房实时宽场景监控合成方法 | |
| CN108550166B (zh) | 一种空间目标图像匹配方法 | |
| CN113674400A (zh) | 基于重定位技术的光谱三维重建方法、系统及存储介质 | |
| Hu et al. | Texture-aware dense image matching using ternary census transform | |
| CN105701770B (zh) | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 | |
| CN116664892A (zh) | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 | |
| CN111783834B (zh) | 一种基于联合图频谱特征分析的异源图像匹配方法 | |
| CN113111741A (zh) | 一种基于三维特征点的装配状态识别方法 | |
| CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| CN114581331A (zh) | 一种适用于多种场景的点云降噪方法及装置 | |
| CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN117541537B (zh) | 基于全景点云融合技术的时空差异检测方法及其系统 | |
| CN117671159A (zh) | 三维模型的生成方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |