[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113538474A - 基于边缘特征融合的3d点云分割目标检测系统 - Google Patents

基于边缘特征融合的3d点云分割目标检测系统 Download PDF

Info

Publication number
CN113538474A
CN113538474A CN202110786257.4A CN202110786257A CN113538474A CN 113538474 A CN113538474 A CN 113538474A CN 202110786257 A CN202110786257 A CN 202110786257A CN 113538474 A CN113538474 A CN 113538474A
Authority
CN
China
Prior art keywords
point cloud
feature
edge
extraction
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110786257.4A
Other languages
English (en)
Other versions
CN113538474B (zh
Inventor
毛琳
向姝芬
杨大伟
张汝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202110786257.4A priority Critical patent/CN113538474B/zh
Publication of CN113538474A publication Critical patent/CN113538474A/zh
Application granted granted Critical
Publication of CN113538474B publication Critical patent/CN113538474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于边缘特征融合的3D点云分割目标检测系统，涉及深度学习3D点云分割技术领域；其采用多层感知机提取边缘特征，将点云保持特征与点云提取特征相融合，生成点云边缘融合特征，增强边缘特征的提取能力，将得到的边缘特征应用于目标检测任务，提升点云分割模型的精度，获得准确的点云目标检测结果，可以很好地应用于无人驾驶、机械手感知等领域。

Description

基于边缘特征融合的3D点云分割目标检测系统
技术领域
本发明涉及深度学习3D点云分割技术领域，具体涉及一种基于边缘特征融合的3D点云分割目标检测系统。
背景技术
近年来，随着三维激光扫描技术的发展，三维点云数据的采取也变得快速且便捷。在无人驾驶、机器人、室内场景检测和识别等领域都有非常广泛的应用，三维点云在计算机视觉领域已然成为研究热点。目前对场景获取主要依靠传统点云，但计算机自动审查技术不够成熟，现有算法不能实现对点云目标充分认识与理解。深度学习在计算机视觉领域快速发展，并且在二维图像的识别、分类上取得了显著的成就。同时，三维点云分类的研究受此影响也越来越多的开始使用深度学习的方法。
现有的3D点云目标检测算法大多以关键点作为3D检测目标，通过关键点之间的连接关系确定辅助训练模块，实现对3D目标框的精准定位。名称为一种基于关键点的3D目标检测方法，公开号为CN112766100A的发明专利申请，利用3D目标的关键点，通过回归同一个3D目标的点与点之间的连接关系实现框的定位。但是该方法忽略了局部与全局之间的关系导致3D目标检测精度不高。名称为一种基于局部边缘特征增强的点云分类方法及系统，公开号为CN112052884A的发明专利申请，通过获取点云体素化数据、点云体素化数据对应的点云在预设邻域内的边缘特征，以及点云体素化数据对应点云对应的体素位置，基于图卷积网络结构和通道注意力机制构建出点云分类模型对特征填充后的点云进行分类，并输出点云分类结果，增加了特征通道之间的相互依赖关系，加强了点云的全局特征表达能力，从而提高了点云分类的效率和预测准确度。但由于要进行点云边缘填充，该方法会加大对小样本模型的识别误差，不利于小样本点云模型目标分类。
发明内容
针对现有技术存在上述问题，本发明提出了一种基于边缘特征融合的3D点云分割目标检测系统，其能获得更准确的边缘信息，提高点云目标检测结果的准确性。
为实现上述目的，本申请的技术方案为：基于边缘特征融合的3D点云分割目标检测系统，包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块，每个模块均包括多个边缘特征提取单元，所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路，所述点云特征采样层改变从三维图像中获取的点云特征尺寸，所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，所述点云特征提取支路通过提取型多层感知机获得边缘特征，再与一致性的点云特征相融合，使点云边缘融合保持特征内容更具多样性，充分准确表示点云目标特征信息。
进一步的，在所述边缘特征提取单元中为获取点云边缘融合特征，其实施步骤如下：
第1步：将三维图像中原始点云特征向量
Figure BDA0003158913370000031
作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量
Figure BDA0003158913370000032
的具体形式为
Figure BDA0003158913370000033
第2步：将所述原始点云特征
Figure BDA0003158913370000034
通过点云特征采样层进行处理，得到尺寸改变后的转换型点云特征
Figure BDA0003158913370000035
其表达式如下：
Figure BDA0003158913370000036
第3步：在点云特征保持支路中，以所述转换型点云特征
Figure BDA0003158913370000037
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure BDA0003158913370000038
如下所示：
Figure BDA0003158913370000039
其中，
Figure BDA00031589133700000310
是点云特征保持支路中的特征向量输入表达特式，vσi是点云保持支路中的向量表征表达式，一维卷积操作的具体表达为
Figure BDA00031589133700000311
i表示点云特征维度，卷积处理的卷积核大小为1×1，s表示卷积操作的步长，s＝1；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure BDA00031589133700000312
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure BDA00031589133700000313
如下式所示：
Figure BDA00031589133700000314
其中
Figure BDA00031589133700000315
表示提取型多层感知机中的一维卷积操作，卷积核大小为1×1，s代表卷积操作的步长，且s＝1，λ表示每层感知机的偏移量；
第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合特征
Figure BDA0003158913370000041
具体如下：
Figure BDA0003158913370000042
经过对三维图像中原始点云特征
Figure BDA0003158913370000043
进行上述操作，最终输出点云边缘融合特征
Figure BDA0003158913370000044
如下；
Figure BDA0003158913370000045
由于在每一模块中卷积处理中，一维卷积的卷积核大小和步长为1，最终输出点云边缘融合特征
Figure BDA0003158913370000046
的特征尺寸由点云特征采样层决定，且代表每个单元的的点云特征尺寸，保证了点云特征处理前后的一致性并得到了有效增强，提高了三维图像中点云特征的丰富性。
进一步的，所述扩张提取特征模块包括a个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层
Figure BDA0003158913370000047
以采用5个单元为例，即a∈{1,2,3,4,5}复合而成，为获取点云边缘融合扩张特征，其实施步骤如下：
第1步：将三维图像中原始点云特征向量
Figure BDA0003158913370000048
作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量
Figure BDA0003158913370000049
的具体形式为
Figure BDA00031589133700000410
第2步：将所述原始点云特征
Figure BDA00031589133700000411
通过点云特征扩张采样层进行处理，得到尺寸改变后的转换型点云特征
Figure BDA0003158913370000051
表达式如下：
Figure BDA0003158913370000052
第3步：在点云特征保持支路中，以所述转换型点云特征
Figure BDA0003158913370000053
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure BDA0003158913370000054
如下所示：
Figure BDA0003158913370000055
其中，
Figure BDA0003158913370000056
是点云特征保持支路中的特征向量输入表达式；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure BDA0003158913370000057
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure BDA0003158913370000058
如下式所示：
Figure BDA0003158913370000059
第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合扩张特征
Figure BDA00031589133700000510
具体如下：
Figure BDA00031589133700000511
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到a个点云边缘融合扩张特征。以5个单元为例，
经过上述步骤同理可得：
a＝2时，输出结果为
Figure BDA00031589133700000512
a＝3时，输出结果为
Figure BDA00031589133700000513
a＝4时，输出结果为
Figure BDA00031589133700000514
a＝5时，输出结果为
Figure BDA0003158913370000061
进一步的，所述保持提取特征模块，包括b个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层
Figure BDA0003158913370000062
以采用3个单元为例，即b∈{1,2,3}复合而成，为获取点云边缘融合保持特征，其实施步骤如下：
第1步：将扩张提取特征模块输出的点云边缘融合扩张特征
Figure BDA0003158913370000063
作为输入，读取该特征向量，使用点云特征保持采样层进行特征尺寸保持，得到转换型点云特征
Figure BDA0003158913370000064
具体形式为
Figure BDA0003158913370000065
第2步：在点云特征保持支路中，以转换型点云特征
Figure BDA0003158913370000066
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure BDA0003158913370000067
如下所示：
Figure BDA0003158913370000068
其中，
Figure BDA0003158913370000069
是点云特征保持支路中的特征向量输入表达式。
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure BDA00031589133700000610
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure BDA00031589133700000611
如下式所示：
Figure BDA00031589133700000612
第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合保持特征
Figure BDA00031589133700000613
具体如下：
Figure BDA0003158913370000071
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到b个点云边缘融合保持特征。以3个单元为例，
经过上述步骤同理可得：
b＝2时，输出结果为
Figure BDA0003158913370000072
b＝3时，输出结果为
Figure BDA0003158913370000073
进一步的，所述还原提取特征模块包括c个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层
Figure BDA0003158913370000074
以采用4个单元为例，即c∈{1,2,3,4}复合而成，为获取点云边缘融合还原特征，其实施步骤如下：
第1步：将保持提取特征模块输出的点云边缘融合保持特征
Figure BDA0003158913370000075
作为输入，读取该特征向量，使用还原点云特征采样层进行特征尺寸保持，得到转换型点云特征
Figure BDA0003158913370000076
具体形式为
Figure BDA0003158913370000077
第2步：在点云特征保持支路中，以转换型点云特征
Figure BDA0003158913370000078
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure BDA0003158913370000079
如下所示：
Figure BDA00031589133700000710
其中，
Figure BDA00031589133700000711
是点云特征保持支路中的特征向量输入表达式；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure BDA00031589133700000712
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure BDA0003158913370000081
如下式所示：
Figure BDA0003158913370000082
第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合还原特征
Figure BDA0003158913370000083
具体如下：
Figure BDA0003158913370000084
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到c个点云边缘融合还原特征。以4个单元为例，
经过上述步骤同理可得：
c＝2时，输出结果为
Figure BDA0003158913370000085
c＝3时，输出结果为
Figure BDA0003158913370000086
c＝4时，输出结果为
Figure BDA0003158913370000087
本发明由于采用以上技术方案，能够取得如下的技术效果：
(1)适用于通过边缘特征获取点云特征情况
本发明中的三维图像以原始点云特征为输入，在采用多层感知机结构提取点云特征的过程中融合边缘特征信息，得到的点云特征具备原始点云特征和边缘特征的双重表达，增强点云特征的表达能力，适用于通过边缘特征获取点云特征的情况。
(2)适用于点云分割任务
本发明中的三维图像通过边缘特征提取复合结构获取表达能力更强的点云边缘融合保持特征，可以将三维图像中目标的点云特征和点云保持特征相融合，级联后作为目标特征输入，获取准确的点云分割结果。
(3)适用于目标检测任务
本发明可以有效提升三维图像中点云分割模型性能，具有相对简单的目标、动作、属性等因素，可以更好的应用于目标检测任务。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是边缘特征提取单元示意图；
图2是边缘特征提取单元组成的扩张提取特征模块示意图；
图3是边缘特征提取单元组成的保持提取特征模块示意图；
图4是边缘特征提取单元组成的还原提取特征模块示意图：
图5是本系统(边缘特征提取复合结构)整体框架示意图；
图6是实施实例1中自动驾驶识别周围环境情况示意图；
图7是实施实例2中铁路场景检测场景情况示意图；
图8是实施实例3中机械手抓取物体情况示意图。
具体实施方式
本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
本实施例提供一种基于边缘特征融合的3D点云分割目标检测系统，将三维图像原始点云特征经过边缘特征提取复合结构处理，得到含有表达能力较强的边缘特征信息的点云边缘融合还原特征。该复合结构包括三个模块，分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块，其基本结构为边缘特征提取单元，其包括点云特征采样层、点云特征保持支路和点云特征提取支路。点云特征采样层改变输入点云特征尺寸，点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，点云特征提取支路通过提取型多层感知机提取边缘特征，再与一致性的点云特征相融合，使点云边缘融合特征内容更具多样性，充分准确表示点云目标特征信息。
所述边缘特征提取单元在提取型多层感知机的处理过程中获取隐藏层特征，之后融合点云特征，丰富特征内容的多样性，复用边缘特征提取单元得到扩张提取特征模块、保持提取特征模块和还原提取特征模块，获取具备点云特征和边缘特征相融合表达的特征，增强点云特征的表达能力。将点云特征保持支路得到的点云保持特征和点云特征提取支路得到的点云提取特征相融合后，作为下一单元的输入。在扩张提取特征模块中边缘特征提取单元的采样层为点云特征扩张采样层，保持提取特征模块中边缘特征提取单元的采样层为点云特征保持采样层，还原提取特征模块中边缘特征提取单元的采样层为点云特征还原采样层，分别在各单元中对输入点云特征进行特征尺寸变换。
边缘特征提取复合结构包括上述三个模块，作为点云多层提取特征主要结构，随后输入到最大池化层提取整个结构中最占优势特征，该方法得到的点云特征可以提升点云分割的准确度。
所述边缘特征提取单元，将三维图像的原始点云坐标作为输入，先经过例如KNN等聚类方式预处理的原始点云特征
Figure BDA0003158913370000111
经过点云特征采样层改变或保持点云特征尺寸，输出转换型点云特征RF，作为点云特征保持支路和点云特征提取支路的输入。点云特征保持支路中输出点云特征保持RB，点云特征提取支路中经过提取型多层感知机处理后，输出为点云提取特征RT，将点云保持特征RB与点云提取特征RT融合，最终输出为点云边缘融合特征R，具体为：
(1)输入三维图像的原始点云特征
Figure BDA0003158913370000112
即将输入到边缘特征提取单元的特征向量。
(2)三维图像经过处理后输出点云保持特征RB，具体为：三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征RF，该转换型点云特征RF经过尺寸为1的卷积核进行1维卷积处理得到的特征向量。
(3)三维图像经过处理后输出点云提取特征RT，具体为：三维图像输入的原始点云特征经过点云特征采样层改变尺寸后得到转换型点云特征RF，该转换型点云特征RF经过多层感知机提取特征，输出点云提取特征RT。
(4)点云特征融合，具体操作是：将点云保持特征RB与点云提取特征RT相加融合，得到点云边缘融合保持特征R。
在点云特征保持支路，对原始点云特征进一步处理，在特征尺寸改变、点云特征表示检测目标属性不变的情况下，提升边缘特征的表达能力，同时为点云特征提取支路提供点云原始特征。在点云特征提取支路中，将点云提取特征与点云保持特征相加，丰富特征内容，得到具备较强表达能力的点云特征。
边缘特征提取复合结构包括串联使用的三个模块，分别是扩张提取特征模块、保持提取特征模块和还原提取特征模块，输入为原始点云特征
Figure BDA0003158913370000121
输出为点云边缘融合特征
Figure BDA0003158913370000122
具体为：
(1)输入三维图像中的原始点云特征
Figure BDA0003158913370000123
即将输入到边缘特征提取复合结构的特征向量。
(2)扩张提取特征模块中有a个边缘特征提取单元，其中点云特征采样层为点云特征扩张采样层，对输入原始点云特征进行尺寸放大，点云特征扩张采样层的输出是
Figure BDA0003158913370000124
保持提取特征模块中有b个边缘特征提取单元，点云特征采样层为点云特征保持采样层，保持输入点云特征尺寸不变，点云特征保持采样层的输出是
Figure BDA0003158913370000125
还原提取特征模块中有c个边缘特征提取单元，点云特征采样层为点云特征还原采样层，对输入原始点云特征进行尺寸还原，点云特征还原采样层的输出是
Figure BDA0003158913370000126
(3)所述三维图像中的点云保持特征RB，是点云特征保持支路中，转换型点云特征RF经过1个尺寸为1的卷积核进行1维卷积处理得到的特征向量。具体为扩张提取特征模块中的点云特征保持表示为
Figure BDA0003158913370000127
保持提取特征模块中的点云特征保持表示为
Figure BDA0003158913370000128
还原提取特征模块中的点云特征保持表示为
Figure BDA0003158913370000129
(4)所述三维图像中的点云提取特征RT，是转换型点云特征通过多层感知机提取其中的特征，等待在点云特征提取支路中进行融合处理，扩张提取特征模块中的点云特征提取表示为
Figure BDA0003158913370000131
保持提取特征模块中的点云特征提取表示为
Figure BDA0003158913370000132
还原提取特征模块中的点云特征提取表示为
Figure BDA0003158913370000133
(5)所述三维图像中的点云特征融合，具体操作是：在点云特征提取支路中，将点云保持特征RB与点云提取特征RT相加融合，扩张提取特征模块中的点云特征融合表示为
Figure BDA0003158913370000134
保持提取特征模块中的点云特征融合表示为
Figure BDA0003158913370000135
还原提取特征模块中的点云特征融合表示为
Figure BDA0003158913370000136
边缘特征提取复合结构，对输入点云特征进行尺寸放大、保持、还原变换得到转换型点云特征。在点云特征保持支路，对转换型点云特征进一步处理，不改变点云特征尺寸地情况下提取点云特征。在点云特征提取支路，将点云提取特征与点云保持特征相加，使生成的点云边缘融合特征内容更具多样性，充分准确表示三维图像中点云目标特征信息。
在扩张提取特征模块中：
(1)当a＝1时，输出点云边缘融合扩张特征尺寸为[n×64]。
(2)当a＝2时，输出点云边缘融合扩张特征尺寸为[n×128]。
(3)当a＝3时，输出点云边缘融合扩张特征尺寸为[n×256]。
(4)当a＝4时，输出点云边缘融合扩张特征尺寸为[n×512]。
(5)当a＝5时，输出点云边缘融合扩张特征尺寸为[n×1024]。
在保持提取特征模块中：
(1)当b＝1时，输出点云边缘融合保持特征尺寸为[n×1024]。
(2)当b＝2时，输出点云边缘融合保持特征尺寸为[n×1024]。
(3)当b＝3时，输出点云边缘融合保持特征尺寸为[n×1024]。
在还原提取特征模块中：
(1)当c＝1时，输出点云边缘融合还原特征尺寸为[n×512]。
(2)当c＝2时，输出点云边缘融合还原特征尺寸为[n×256]。
(3)当c＝3时，输出点云边缘融合还原特征尺寸为[n×128]。
(4)当c＝4时，输出点云边缘融合还原特征尺寸为[n×64]。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (5)

1.基于边缘特征融合的3D点云分割目标检测系统，其特征在于，包括串联使用的扩张提取特征模块、保持提取特征模块和还原提取特征模块，每个模块均包括多个边缘特征提取单元，所述边缘特征提取单元包括点云特征采样层、点云特征保持支路和点云特征提取支路，所述点云特征采样层改变从三维图像中获取的点云特征尺寸，所述点云特征保持支路采用1维卷积对改变尺寸后的点云特征进一步处理，保证卷积处理前后的点云特征一致性，所述点云特征提取支路通过提取型多层感知机获得边缘特征，再与一致性的点云特征相融合。
2.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测系统，其特征在于，在所述边缘特征提取单元中为获取点云边缘融合特征，其实施步骤如下：
第1步：将三维图像中原始点云特征向量
Figure FDA0003158913360000011
作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量
Figure FDA0003158913360000012
的具体形式为
Figure FDA0003158913360000013
第2步：将所述原始点云特征
Figure FDA0003158913360000014
通过点云特征采样层进行处理，得到尺寸改变后的转换型点云特征
Figure FDA0003158913360000015
其表达式如下：
Figure FDA0003158913360000016
第3步：在点云特征保持支路中，以所述转换型点云特征
Figure FDA0003158913360000017
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure FDA0003158913360000018
如下所示：
Figure FDA0003158913360000021
其中，
Figure FDA0003158913360000022
是点云特征保持支路中的特征向量输入表达特式，vσi是点云保持支路中的向量表征表达式，一维卷积操作的具体表达为
Figure FDA0003158913360000023
i表示点云特征维度，卷积处理的卷积核大小为1×1，s表示卷积操作的步长，s＝1；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure FDA0003158913360000024
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure FDA0003158913360000025
如下式所示：
Figure FDA0003158913360000026
其中
Figure FDA0003158913360000027
表示提取型多层感知机中的一维卷积操作，卷积核大小为1×1，s代表卷积操作的步长，且s＝1，λ表示每层感知机的偏移量；
第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合特征
Figure FDA0003158913360000028
具体如下：
Figure FDA0003158913360000029
经过对三维图像中原始点云特征
Figure FDA00031589133600000210
进行上述操作，最终输出点云边缘融合特征
Figure FDA00031589133600000211
如下；
Figure FDA00031589133600000212
3.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测系统，其特征在于，所述扩张提取特征模块包括a个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征扩张采样层
Figure FDA0003158913360000031
为获取点云边缘融合扩张特征，其实施步骤如下：
第1步：将三维图像中原始点云特征向量
Figure FDA0003158913360000032
作为输入，读取该特征向量，尺寸为n×3，n表示点云数量，每个点用(x,y,z)的3维坐标表示，输入三维图像中原始点云特征向量
Figure FDA0003158913360000033
的具体形式为
Figure FDA0003158913360000034
第2步：将所述原始点云特征
Figure FDA0003158913360000035
通过点云特征扩张采样层进行处理，得到尺寸改变后的转换型点云特征
Figure FDA0003158913360000036
表达式如下：
Figure FDA0003158913360000037
第3步：在点云特征保持支路中，以所述转换型点云特征
Figure FDA0003158913360000038
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure FDA0003158913360000039
如下所示：
Figure FDA00031589133600000310
其中，
Figure FDA00031589133600000311
是点云特征保持支路中的特征向量输入表达式；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure FDA00031589133600000312
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure FDA00031589133600000313
如下式所示：
Figure FDA00031589133600000314
第4步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合扩张特征
Figure FDA00031589133600000315
具体如下：
Figure FDA0003158913360000041
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到a个点云边缘融合扩张特征。
4.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测系统，其特征在于，所述保持提取特征模块，包括b个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征保持采样层
Figure FDA0003158913360000042
为获取点云边缘融合保持特征，其实施步骤如下：
第1步：将扩张提取特征模块输出的点云边缘融合扩张特征作为输入，读取该特征向量，使用点云特征保持采样层进行特征尺寸保持，得到转换型点云特征
Figure FDA0003158913360000043
第2步：在点云特征保持支路中，以转换型点云特征
Figure FDA0003158913360000044
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure FDA0003158913360000045
如下所示：
Figure FDA0003158913360000046
其中，
Figure FDA0003158913360000047
是点云特征保持支路中的特征向量输入表达式；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure FDA0003158913360000048
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure FDA0003158913360000049
如下式所示：
Figure FDA00031589133600000410
第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合保持特征
Figure FDA0003158913360000051
具体如下：
Figure FDA0003158913360000052
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到b个点云边缘融合保持特征。
5.根据权利要求1所述基于边缘特征融合的3D点云分割目标检测系统，其特征在于，所述还原提取特征模块包括c个边缘特征提取单元，每个边缘特征提取单元中的点云特征采样层均为点云特征还原采样层
Figure FDA0003158913360000053
为获取点云边缘融合还原特征，其实施步骤如下：
第1步：将保持提取特征模块输出的点云边缘融合保持特征作为输入，读取该特征向量，使用还原点云特征采样层进行特征尺寸保持，得到转换型点云特征
Figure FDA0003158913360000054
第2步：在点云特征保持支路中，以转换型点云特征
Figure FDA0003158913360000055
作为特征向量输入，采用1个尺寸为1的卷积核做1维卷积操作，输出的点云保持特征
Figure FDA0003158913360000056
如下所示：
Figure FDA0003158913360000057
其中，
Figure FDA0003158913360000058
是点云特征保持支路中的特征向量输入表达式；
同时，在点云特征提取支路中，也以所述转换型点云特征
Figure FDA0003158913360000059
作为特征向量输入，经过提取型多层感知机提取特征，得到点云提取特征
Figure FDA00031589133600000510
如下式所示：
Figure FDA0003158913360000061
第3步：将点云保持特征和点云提取特征进行融合，得到点云边缘融合还原特征
Figure FDA0003158913360000062
具体如下：
Figure FDA0003158913360000063
第1边缘特征提取单元的输出作为第2边缘特征提取单元的输入，以此类推，得到c个点云边缘融合还原特征。
CN202110786257.4A 2021-07-12 2021-07-12 基于边缘特征融合的3d点云分割目标检测系统 Active CN113538474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110786257.4A CN113538474B (zh) 2021-07-12 2021-07-12 基于边缘特征融合的3d点云分割目标检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110786257.4A CN113538474B (zh) 2021-07-12 2021-07-12 基于边缘特征融合的3d点云分割目标检测系统

Publications (2)

Publication Number Publication Date
CN113538474A true CN113538474A (zh) 2021-10-22
CN113538474B CN113538474B (zh) 2023-08-22

Family

ID=78098712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110786257.4A Active CN113538474B (zh) 2021-07-12 2021-07-12 基于边缘特征融合的3d点云分割目标检测系统

Country Status (1)

Country Link
CN (1) CN113538474B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299243A (zh) * 2021-12-14 2022-04-08 中科视语(北京)科技有限公司 基于多尺度融合的点云特征增强方法和装置
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN112785611A (zh) * 2021-01-29 2021-05-11 昆明理工大学 一种3d点云弱监督语义分割方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112270249A (zh) * 2020-10-26 2021-01-26 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112785611A (zh) * 2021-01-29 2021-05-11 昆明理工大学 一种3d点云弱监督语义分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊丽;刘晋浩;黄青青;: "基于特征融合的林下环境点云分割", 北京林业大学学报, no. 05 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299243A (zh) * 2021-12-14 2022-04-08 中科视语(北京)科技有限公司 基于多尺度融合的点云特征增强方法和装置
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法
CN114998890B (zh) * 2022-05-27 2023-03-10 长春大学 一种基于图神经网络的三维点云目标检测算法

Also Published As

Publication number Publication date
CN113538474B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN114170410B (zh) 基于PointNet的图卷积与KNN搜索的点云零件级分割方法
CN113538474A (zh) 基于边缘特征融合的3d点云分割目标检测系统
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN116129289A (zh) 一种注意力边缘交互的光学遥感图像显著性目标检测方法
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
Wang et al. CoT-YOLOv8: Improved YOLOv8 for Aerial images Small Target Detection
CN114937153B (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN117218643A (zh) 一种基于轻量化神经网络的水果识别方法
CN115050010B (zh) 一种针对三维物体检测器的迁移学习方法
CN116912673A (zh) 一种基于水下光学图像的目标检测方法
CN116468679A (zh) 一种基于改进yolox模型的压铸制品缺陷检测方法
CN113065547A (zh) 基于字符监督信息的弱监督文本检测方法
Abdulameer et al. Bird Image Dataset Classification using Deep Convolutional Neural Network Algorithm
CN116486203B (zh) 一种基于孪生网络和在线模板更新的单目标跟踪方法
CN118470576B (zh) 一种无人机图像的小目标检测方法及系统
Liu et al. LRFE-YOLO: Low-Rank Feature Enhancement for YOLO in Few-Shot Industrial Meter Fine Needle Detection
Wang et al. Steel Coil Recognition Neural Networks for Intelligent Cranes
江苏科技大学 et al. 6D Pose Estimation of Weakly Textured Object Driven by Decoupling Analysis and Algorithm Fusion Strategy
Guo et al. Research on crop remote sensing image segmentation method integrating CNN and transformer
Cao et al. MFDF-YOLOv7: YOLOv7-Based Multiscale Feature Dynamic Fusion Small Object Detection Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant