CN116503602A - 基于多层级边缘增强的非结构化环境三维点云语义分割方法 - Google Patents
基于多层级边缘增强的非结构化环境三维点云语义分割方法 Download PDFInfo
- Publication number
- CN116503602A CN116503602A CN202310528767.0A CN202310528767A CN116503602A CN 116503602 A CN116503602 A CN 116503602A CN 202310528767 A CN202310528767 A CN 202310528767A CN 116503602 A CN116503602 A CN 116503602A
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- expansion rate
- edge
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 40
- 238000013461 design Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 20
- 238000007792 addition Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层级边缘增强的非结构化环境三维点云语义分割方法，首先构建一个高效的基于球面投影的语义‑边缘双编码结构，其次设计边缘注意力融合模块对双编码器的中间特征进行深度和自动融合，再次设计解码器将特征图恢复到原始输入尺寸，接着提出一种边缘判别器，在输出端进一步提高识别边缘的能力，然后设计损失函数，最后利用样本集对网络进行训练，获得网络参数，从而实现非结构化环境三维点云语义的高效与可靠分割，本发明方法结合传统方法和深度学习算法的优点，提升对于边缘的感知能力，以实现非结构化环境的高效、高精三维语义分割。
Description
技术领域
本发明属于智能车辆环境感知技术领域，主要涉及了一种基于多层级边缘增强的非结构化环境三维点云语义分割方法。
背景技术
高效可靠的环境感知与理解对于智能交通系统中的自动驾驶汽车和机器人至关重要，并且是定位、决策、导航的必要前提。语义分割作为实现精细环境理解的重要手段，已成为近年来的研究热点，受到了广泛关注。激光雷达作为常见的环境感知传感器，几乎不受光线和天气变化的影响，且能提供精确的距离和几何结构信息，被广泛应用于各种场景，基于激光雷达的语义分割算法也在不断发展。
现有的基于激光雷达的方法大多局限于室内小尺度场景或典型的城市交通场景，针对复杂多变的非结构化环境(如越野环境和应急救援场景)的研究较少，技术尚不成熟，且存在种种问题。基于传统特征提取(径向特征和横向特征)的方法针对障碍物和可通行区域分割取得了较好的检测结果，但是这些方法依赖于小尺度点云特征提取算法，在大尺度的非结构化环境下算法效率低下。同时，他们只针对特定的非结构化道路场景设计(如特定的越野场景或乡村道路场景)，当应用于复杂多变的非结构化场景时，使用有限的几何特征描述会造成上述方法难以取得理想的分割效果。随着有监督和半监督学习的发展，一些研究使用丰富的城市交通场景数据集和少量标记的非结构化样本对越野场景进行场景理解。然而，非结构化场景中没有车道、路面、护栏等结构特征，可行驶区域边界模糊、纹理多样；同时，受到地形、灌木等植被影响，障碍物特征复杂多变且存在遮挡、缺失情况，这些稀疏、复杂的环境特征导致了现有算法对于障碍物、可通行区域、背景之间的边缘区分不准确，难以直接应用于复杂多变的非结构环境。
发明内容
本发明正是针对在复杂多变的非结构化场景中，现有技术的方法难以清晰、准确地获取障碍物、可通行区域、背景之间的边缘，无法取得实时准确的分割结果的问题，提供一种基于多层级边缘增强的非结构化环境三维点云语义分割方法，包括基于球面投影的语义-边缘双编码结构设计、边缘注意力融合模块设计、解码器设计、边缘判别器设计、损失函数设计及网络模型训练与点云语义分割六个步骤，首先构建一个高效的基于球面投影的语义-边缘双编码结构，其次设计边缘注意力融合模块对双编码器的中间特征进行深度和自动融合，再次设计解码器将特征图恢复到原始输入尺寸，接着提出一种边缘判别器，在输出端进一步提高识别边缘的能力，然后设计损失函数，最后利用样本集对网络进行训练，获得网络参数，从而实现非结构化环境三维点云语义的高效与可靠分割，本发明方法结合传统方法和深度学习算法的优点，提升对于边缘的感知能力，以实现非结构化环境的高效、高精三维语义分割。
为了实现上述目的，本发明采取的技术方案是：基于多层级边缘增强的非结构化环境三维点云语义分割方法，包括如下步骤：
S1，基于球面投影的语义-边缘双编码结构设计：采用球面投影对雷达点云进行预处理，生成渲染图像，并建立基于残差扩张卷积的语义-边缘双编码结构，同时提取不同尺度的语义与边缘特征；所述语义编码器和边缘编码器采用相同的结构设计，所包括的卷积层均为扩张卷积层，采用最大池化操作对特征图进行下采样，并仅在编码器中心层插入dropout层；
S2，边缘注意力融合模块设计：通过边缘注意力融合模块将不同尺度的语义与边缘特征进行深度融合；所述边缘注意力融合模块为：
其中，Fout为融合后的特征；Fin_main、Fin_boundary分别代表主干语义编码器、边缘编码器的中间特征；表示逐元素相加；/>表示逐元素相乘；
S3，解码器设计：设计参数可学习的反卷积层对特征图中深度压缩的特征进行逐层分级解耦，所述反卷积层的卷积核大小为3×3，步长为2，使得经过上采样后的特征图与输入分辨率相同，所述反卷积层的数量等于池化层的数量；
S4，边缘判别器设计：所述边缘判别器将马尔可夫判别器与全局判别器相结合，约束边缘输出；
S5，损失函数设计：所述损失函数为加权交叉熵损失、Lovasz-Softmax以及步骤S4中边缘判别器损失的组合，具体为：
其中，vi是各类的点数，和P3D(i)分别为真值和对应的预测概率，J表示IoU的Lovasz扩展，e(ck)是类ck的误差向量；
S6，网络模型训练与点云语义分割：采用SGD优化器对网络参数进行迭代训练，得到网络权重，并根据网络权重，对采集到的雷达点云进行在线测试，得到非结构化环境三维点云语义分割结果。
作为本发明的一种改进，所述步骤S1雷达点云的预处理具体为：将点云中的每一个点在欧式坐标系中的点投影到球面坐标系中，得到一个二维的直角坐标系；以雷达中心为原点，载体前进方向为OX轴，按右手定则建立，每一个点的方位角和顶角θ的计算公式如下：
其中，(x，y，z)为点云中每一个点在欧式坐标系下的坐标；对其角度进行微分化从而得到一个二维的直角坐标系：
其中，xi、xj为二维直角坐标系的横、纵坐标，Δθ分别对应/>θ的分辨率。
作为本发明的一种改进，所述步骤S1中的基于残差扩张卷积的语义-边缘双编码结构中，卷积层层数的取值范围为6～12；池化层层数的取值范围为2～4；卷积核数量的范围为24～210；扩张率的取值范围为20～24。
作为本发明的一种改进，所述步骤S1中最优网络架构的结构为：
Block1：用32个1×1、扩张率为1的卷积核与512×64×3的输入样本做卷积，得到子特征图1，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图1做逐像素相加，得到维度为512×64×32的特征图；
池化层1：Block2输出的特征图用2×2的最大池化层做下采样，步长为2，得到维度为256×32×32的特征图；
Block2：参照Block1，用64个1×1、扩张率为1的卷积核与池化层1输出的特征图做卷积，得到子特征图2，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图2做逐像素相加，得到维度为256×32×64的特征图；
池化层2：Block2输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为128×16×64的特征图；
Block3：参照Block1，用128个1×1、扩张率为1的卷积核与池化层2输出的特征图做卷积，得到子特征图3，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图3做逐像素相加，得到维度为128×16×128的特征图；
池化层3：Block3输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为64×8×128的特征图；
Block4：参照Block1，用256个1×1、扩张率为1的卷积核与池化层3输出的特征图做卷积，得到子特征图4，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图4做逐像素相加，得到维度为64×8×256的特征图；
所述最优网络架构中的每一个卷积操作都经过ReLU函数激活。
作为本发明的一种改进，所述步骤S2中的多尺度通道注意力模块具体为：
其中，σ表示Sigmoid激活函数；G(F)和L(F)分别表示全局通道上下文信息和局部通道上下文信息。
作为本发明的另一种改进，所述步骤S3中解码器的结构为：
反卷积层1：用128个3×3的卷积核与Block4后融合输出的特征图做卷积并做批标准化处理，步长为2，经dropout后与Block3输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后经过dropout得到维度为128×16×128的特征图；
反卷积层2：参照反卷积层1，用64个3×3的卷积核与反卷积层1输出的特征图做卷积并做批标准化处理，步长为2，经dropout后与Block2输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后经过dropout得到维度为256×32×64的特征图；
反卷积层3：参照反卷积层1，用32个3×3的卷积核与反卷积层2输出的特征图做卷积并做批标准化处理，步长为2，与Block1输出的特征图逐像素相加，再分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后得到维度为512×64×32的特征图；
标准卷积层：用3个1×1的卷积核与反卷积层3输出的特征图做卷积，得到维度为512×64×3的特征图，3个通道对应语义类的总数；
Soft-max层：对标准卷积层输出的特征图做像素级分类，得到各类的概率。
作为本发明的另一种改进，所述步骤S4的边缘判别器利用网络预测所得的语义标签和真值语义标签提取的边缘特征图(分别表示为Bpred和BGT)作为输出，并区分语义标签和真值语义标签；前三层是特征共享层，每一层都由4×4的卷积核、批标准化处理与LeakyReLU串联组成，用于学习常见的底层特征；之后分成两个支路：第一个支路结束于一个全连接层与Sigmoid激活，得到一个二分类的输出，考虑到整个图像的全局信息，以判断它是真还是假；第二个支路使用与CycleGAN相同的马尔可夫判别器，其输出为一个二维矩阵，矩阵的每一个值表示对输入局部区域的判断，以增强对局部纹理细节的关注；损失LDB由两个支路计算：
其中，分别为全局判别器、马尔可夫判别器损失。
作为本发明的更进一步改进，所述步骤S6网络模型训练中，对原始点云做水平翻转、加入随机噪声以及绕z轴随机旋转[-5°，5°]处理。
与现有技术相比，本发明具有的有益效果：
(1)本发明使用的球面投影方法，在降低索引和计算时间的同时，更有利于点云特征的提取。
(2)本发明使用扩张卷积与残差结构，不仅降低了网络结构的复杂度，还可以从网络不同深度的融合特征中挖掘出更多有效信息，从而保证该网络同时兼顾准确性和实时性。
(3)本发明添加的边缘编码器，不仅弥补了主干网络缺失的边缘结构信息，实现输入端的边缘增强，还为后续的特征级边缘增强提供了丰富的中间特征。
(4)本发明使用的边缘注意力融合模块，通过监督学习自动分配多任务学习权重，使得语义编码器和边缘编码器间的特征信息深度融合，实现特征级的边缘增强。
(5)本发明使用的边缘判别器，在无需额外精确边缘标签的情况下利用端到端的方法实现输出级的边缘增强，进一步提升了算法对于边缘的感知能力以及对复杂多变场景的鲁棒性。
附图说明
图1是本发明方法的步骤流程图；
图2是本发明步骤S1基于残差扩张卷积的语义-边缘双编码结构中基于多层级边缘增强的点云分割网络示意图；
图3是本发明方法步骤S1基于球面投影的语义-边缘双编码结构设计中球面投影的示意图；
图4是本发明方法步骤S1基于球面投影的语义-边缘双编码结构设计中Block示意图；
图5是本发明方法步骤S2边缘注意力融合模块的结构示意图；
图6是本发明方法步骤S2多尺度通道注意力模块示意图；
图7是本发明方法步骤S3中反卷积层的结构示意图；
图8是本发明方法步骤S4中边缘判别器的结构示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1
基于多层级边缘增强的非结构化环境三维点云语义分割方法，如图1所示，具体包括如下步骤：
步骤S1：基于球面投影的语义-边缘双编码结构设计
子步骤1：雷达点云预处理
激光雷达点云数据量庞大，且由于环境采样的不均匀，点云的密度变化很大，使得密集的点搜索和索引操作相对耗时。常见的解决方法是将点云投影到二维图像空间中，或是采用栅格化方法将每一帧激光雷达数据转换成一幅伪图像，以生成标准卷积操作所需的结构化矩阵形式，此类方法提高了数据处理的效率，但是损失了大量原始点云及其几何特征，不利于后续网络的特征提取。
为保证非结构化环境语义分割的实时性和有效性，本发明采用球面投影对雷达点云做预处理，以生成更为紧凑密集的渲染图像。具体如图3所示。
激光雷达的数据点坐标系OXYZ是以雷达中心为原点，载体前进方向为OX轴，按右手定则建立。方位角和顶角θ的计算公式如下：
其中，(x，y，z)为点云中每一个点在欧式坐标系下的坐标。对于点云中的每一个点都可以通过其(x，y，z)计算其即将欧式坐标系中的点投影到球面坐标系中。此球面坐标系实则是一个二维坐标系，为了便于理解，对其角度进行微分化从而得到一个二维的直角坐标系：
其中，xi、xj为二维直角坐标系的横、纵坐标，Δθ分别对应/>θ的分辨率。
通过此球面投影变换，可将欧式空间中得任意一点(x，y，z)投影到二维坐标系下的点(xi，xj)。本发明提取点云中每一个点的4个特征：欧式坐标(x，y，z，r)，其中从而得到一个尺寸为(H，W，C)的张量，其中，H为球面投影变换后所得渲染图像的宽，W为该图的长，C＝4。以KITTI数据集为例，该数据集使用的是64线激光雷达，因此H＝64；水平方向上，受后续判别器使用的限制，使用正前方90°的雷达点云数据，并将其划分为512个网格(即水平采样512个点)，因此W＝512。
接着，对生成的(H，W，C)的点云张量利用canny算子提取边缘，得到(H，W，C)的边缘张量。
子步骤2：基于残差扩张卷积的语义-边缘双编码结构设计
现有的快速分割网络(例如SalsaNext等)为实现结构化场景的高精度多重语义分割而设计了较深层的复杂结构，未针对非结构化环境设计，且忽视了边缘信息对分割效果的重要影响，在算法结构和原理上存在缺陷，难以直接应用于非结构环境。为此，本发明针对非结构化环境语义分割任务，设计了一种基于残差扩张卷积的语义-边缘双编码网络，以同时提取不同尺度的语义与边缘特征，实现输入级的边缘增强，具体如图2中所示。由于双编码器使用相同的结构设计，下面以语义编码器为例。
首先，确定卷积层类型、卷积核大小和卷积步长。
一般而言，网络的特征表达能力随着标准卷积层数量的增加而增强，但堆叠较多的卷积层加大了计算量，实时性降低，网络出现过拟合的风险更大，而卷积层数量少则难以提取到表达能力强的特征。因此，在设计网络的过程中，引入了扩张卷积层。扩张卷积能够极大的扩大网络的感受野而不引入额外的参数，合理设计扩张卷积的扩张率并组合使用，能够使网络学习到完整的道路与障碍物信息。
为了避免因卷积核过大而引入大量的参数，设计扩张卷积层卷积核大小为1×1和3×3，步长均设为1。
其次，确定池化层类型、采样尺寸和步长。
为了减少网络的计算量并进一步增加网络的感受野，使其能够感受到更大的目标(例如可行驶区域)，本发明引入池化层。最大池化能够保留采样窗口范围内最显著的特征(例如边缘特征)，因此采用最大池化操作来对特征图进行下采样，并将采样尺寸设为2×2，步长设为2。
接着，确定dropout层分布。
较低的网络层提取的基本特征为数据分布上一致的边缘和角等特征，而相对于结构化场景，非结构化场景下区分可行驶区域、障碍物与背景的特征较为稀疏，因此仅在编码器中心层插入dropout，有利于网络在较深层中形成较好的高级特征。
最后，将上述涉及的不同类型的网络层组合，确定各层的层数、卷积核数量以及扩张卷积的扩张率。
一直以来，神经网络的结构设计都是研究者根据自己的应用场景和需求，参考当前公认性能出色的模型，设计出符合特定需求的网络架构。考虑到非结构化环境语义分割的任务是将可行驶区域、障碍物与背景分割(即三分类)，相较于当前大多数面向自动驾驶的多分类语义分割网络而言，其架构应该更加简洁，从而无需堆叠大量的卷积层，以满足准确性和实时性要求。本发明初步确定卷积层层数的取值范围为6～12。
池化层在降低网络计算量的同时也损失了部分空间位置信息，因此其数量需要控制在一定的范围内，使得网络能够在尽可能减少计算量和尽可能保留更多空间位置信息的两者间保持平衡，初步确定池化层层数的取值范围为2～4。
参考现有的优秀语义分割模型，卷积核的数量大多设为2的整数次幂。卷积核数量越少，网络能够提取到的特征越少，而较大的卷积核数量会引入较多参数，增加了优化难度。为了保持两者平衡，初步确定卷积核数量的范围为24～210。
扩张卷积核的扩张率一般取值为2的整数次幂，扩张率越大，感受野越大，但引入的噪声亦越大，甚至会产生“网格效应”(造成分割不连续甚至漏分割)。因此，本发明初步确定扩张率的取值范围为20～24。
确定扩张率的取值范围后，利用交叉验证法进行模型选择，得到网络性能最佳时所对应的模型架构。在网络设计过程中，不仅综合考虑了卷积层、池化层的类型以及各自层数对边缘特征提取的影响，还引入了扩张卷积并对扩张率进行了设计，使其在获得较大感受野的同时，避免了“网格效应”。此外，参考ResNet(He,Kaiming,et al."Deep residuallearning for image recognition."Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016.)、UNet(Ronneberger,Olaf,PhilippFischer,and Thomas Brox."U-net:Convolutional networks for biomedical imagesegmentation."International Conference on Medical image computing andcomputer-assisted intervention.Springer,Cham,2015.)设计了残差结构进行跨层连接，以便让网络从不同深度的融合特征中挖掘出更多有效信息，从而使得网络能够在保证实时性的前提下学习到有意义的、完整的语义特征。由模型选择得到的最优网络架构如下(其中每一个卷积操作都经过ReLU函数激活)：
Block1：用32个1×1、扩张率为1的卷积核与512×64×4的输入样本做卷积，得到子特征图1，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理(BN，Batch Normalization)，将特征图拼接(concatenation)后与1×1、扩张率为1的卷积核做卷积并做BN，再与子特征图1做逐像素相加(element-wise addition)，得到维度为512×64×32的特征图，具体如图4所示；
池化层1：Block2输出的特征图用2×2的最大池化层做下采样，步长为2，得到维度为256×32×32的特征图；
Block2：参照Block1，用64个1×1、扩张率为1的卷积核与池化层1输出的特征图做卷积，得到子特征图2，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，再与子特征图2做逐像素相加，得到维度为256×32×64的特征图；
池化层2：Block2输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为128×16×64的特征图；
Block3：参照Block1，用128个1×1、扩张率为1的卷积核与池化层2输出的特征图做卷积，得到子特征图3，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，再与子特征图3做逐像素相加，得到维度为128×16×128的特征图；
池化层3：Block3输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为64×8×128的特征图；
Block4：参照Block1，用256个1×1、扩张率为1的卷积核与池化层3输出的特征图做卷积，得到子特征图4，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，再与子特征图4做逐像素相加，得到维度为64×8×256的特征图。
步骤S2：边缘注意力融合模块设计
通过步骤S1的双编码器结构，可以分别获得低级和高级的语义与边缘信息。考虑到现有的特征融合方法大多通过直接拼接或逐点相加，难以平衡两个独立分支的纹理信息和边缘信息。因此，为了更好地将这两个分支的特征以一种可控的、智能的方式进行深度融合，本发明提出了一种边缘注意力融合模块，实现特征级的边缘增强，具体如图5所示。
边缘注意力融合模块可以表示为：
其中，Fout为融合后的特征；Fin_main、Fin_boundary分别代表主干语义编码器、边缘编码器的中间特征；表示逐元素相加；/>表示逐元素相乘；M为多尺度通道注意力模块，具体如图6所示，可以表示为：
其中，σ表示Sigmoid激活函数；G(F)和L(F)分别表示全局通道上下文信息和局部通道上下文信息。
考虑到网络的参数量和复杂度，本实施例仅对池化层2和Block4后的语义分支、边缘分支的中间特征进行融合。
步骤S3：解码器设计
为了使特征图恢复到原始图片大小，同时避免引入大量噪声，设计参数可学习的反卷积层对特征图中深度压缩的特征进行逐层分级解耦。为了避免因卷积核过大而引入大量的参数，反卷积层的卷积核大小为3×3，步长为2，使得经过上采样后的特征图与输入分辨率相同。因为反卷积层的目的是将缩小了的特征图(由池化层下采样引起)恢复到输入图像大小，所以反卷积层的数量等于池化层的数量。具体设计如下：
反卷积层1：用128个3×3的卷积核与Block4后融合输出的特征图做卷积并做BN，步长为2，经dropout后与Block3输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，最后经过dropout得到维度为128×16×128的特征图，具体如图7所示；
反卷积层2：参照反卷积层1，用64个3×3的卷积核与反卷积层1输出的特征图做卷积并做BN，步长为2，经dropout后与Block2输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，最后经过dropout得到维度为256×32×64的特征图；
反卷积层3：参照反卷积层1，用32个3×3的卷积核与反卷积层2输出的特征图做卷积并做BN，步长为2，与Block1输出的特征图逐像素相加，再分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做BN，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做BN，最后得到维度为512×64×32的特征图；
标准卷积层：用3个1×1的卷积核与反卷积层3输出的特征图做卷积，得到维度为512×64×3的特征图，3个通道对应语义类的总数；
Soft-max层：对标准卷积层输出的特征图做像素级分类，得到各类的概率。
步骤S4：边缘判别器设计
由于尚无开源、精确的点云边缘标签数据集，无法使用传统的多任务监督学习算法对边缘信息进行进一步的约束和学习。本发明受图像风格迁移算法GAN(I.Goodfellow,et al.,“Generative adversarial nets,”in NIPS,Montreal,Quebec,Canada,2014.)、CycleGAN(J.Zhu,et al.,“Unpaired image-to-image translation using cycle-consistent adversarial networks,”in ICCV,Venice,Italy,2017,pp.2223-2232.)的启发，设计了一种边缘判别器，以进一步约束边缘输出，从而提高边缘感知能力，实现输出级的边缘增强。
针对现有判别器中全局或局部信息的不足，本发明将马尔可夫判别器与全局判别器相结合，具体如图8所示，既考虑了局部纹理信息，又保证了全局一致性。该判别器利用网络预测所得的语义标签和真值语义标签提取的边缘特征图(分别表示为Bpred和BGT)作为输出，并旨在区分它们。前三层是特征共享层，每一层都由4×4的卷积核、BN与LeakyReLU串联组成，用于学习常见的底层特征；之后分成两个支路：第一个支路结束于一个全连接层与Sigmoid激活，得到一个二分类的输出，考虑到整个图像的全局信息，以判断它是真还是假；第二个支路使用与CycleGAN相同的马尔可夫判别器，其输出为一个二维矩阵，矩阵的每一个值表示对输入局部区域的判断，以增强对局部纹理细节的关注。损失LDB由两个支路计算：
其中，分别为全局判别器、马尔可夫判别器损失。
步骤S5：损失函数设计
在大多数公开可用的数据集中，类之间存在着极端的不平衡。例如，在自动驾驶场景中，属于行人的点云要比道路或车辆的点云少得多。这种不平衡使得网络对训练集中样本点较多的类更加敏感，从而导致较差的分割效果。因此，本发明将传统的交叉熵损失用类频次的平方根对其加权，以增强数据集中较少出现的类对损失函数的作用。
此外，由于loU(intersection-over-union)是一个离散的、不可微分的度量，无法将其直接作为网络的损失。Lovasz-softmax损失(Berman，M.；Triki，A.R.；Blaschko，M.B.The lovász-softmax loss：A tractable surrogate for the optimization of theintersection-over-union measure in neural networks.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，Salt Lake City，UT，USA，18-23June2018；pp.4413-4421)作为loU损失的Lovasz平滑扩展，在以loU作为评价指标的情况下，更适合于多分类的分割任务，且已被证明在小目标上优于传统的交叉熵损失方法。
因此，本发明将加权交叉熵损失、Lovasz-Softmax以及上述步骤S4的边缘判别器损失组合作为最终的损失函数，使各类的IoU得分最大化，具体如下式：
其中，vi是各类的点数，和P3D(i)分别为真值和对应的预测概率，J表示loU的Lovasz扩展，e(ck)是类ck的误差向量。
步骤S6：网络模型训练与点云语义分割
子步骤1：点云训练
本发明采用SGD优化器对网络参数进行迭代训练。优化器初始学习率设为0.01，衰减率设为0.1/20K次迭代，dropout率设为0.5，batchsize设为8，训练epoch设为150。
由于缺少非结构化环境公开数据集，需利用结构化环境数据集(例如KITTI)做预训练，得到预训练权重，再利用非结构化环境数据数据集(例如RELLIS-3D)做进一步训练，得到网络权重。为了增加训练数据的数量，本发明对原始点云做水平翻转、加入随机噪声以及绕z轴随机旋转[-5°，5°]处理。
子步骤2：点云语义分割
利用子步骤1所得网络权重，对采集到的雷达点云进行在线测试，得到非结构化环境三维点云语义分割结果。
综上，本发明提出的方法使用球面投影，在降低索引和计算时间的同时，相比其他投影方法(例如鸟瞰图投影)可以生成更为紧凑密集的数据，有利于深度神经网络对于点云特征的提取；边缘编码器的加入，不仅弥补了主干网络缺失的边缘结构信息，实现输入端的边缘增强，还为后续的特征级边缘增强提供了丰富的中间特征；边缘注意力融合模块的加入，通过监督学习自动分配多任务学习权重，使得语义编码器和边缘编码器间的特征信息深度融合；边缘判别器的使用，在无需额外精确边缘标签的情况下利用端到端的方法实现输出级的边缘增强，提高了边缘感知能力与分割算法的鲁棒性。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (8)
1.基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于，包括如下步骤：
S1，基于球面投影的语义-边缘双编码结构设计：采用球面投影对雷达点云进行预处理，生成渲染图像，并建立基于残差扩张卷积的语义-边缘双编码结构，同时提取不同尺度的语义与边缘特征；所述语义编码器和边缘编码器采用相同的结构设计，所包括的卷积层均为扩张卷积层，采用最大池化操作对特征图进行下采样，并仅在编码器中心层插入dropout层；
S2，边缘注意力融合模块设计：通过边缘注意力融合模块将不同尺度的语义与边缘特征进行深度融合；所述边缘注意力融合模块为：
其中，Fout为融合后的特征；Fin_main、Fin_boundary分别代表主干语义编码器、边缘编码器的中间特征；表示逐元素相加；/>表示逐元素相乘；
S3，解码器设计：设计参数可学习的反卷积层对特征图中深度压缩的特征进行逐层分级解耦，所述反卷积层的卷积核大小为3×3，步长为2，使得经过上采样后的特征图与输入分辨率相同，所述反卷积层的数量等于池化层的数量；
S4，边缘判别器设计：所述边缘判别器将马尔可夫判别器与全局判别器相结合，约束边缘输出；
S5，损失函数设计：所述损失函数为加权交叉熵损失、Lovasz-Softmax以及步骤S4中边缘判别器损失的组合，具体为：
其中，vi是各类的点数，和P3D(i)分别为真值和对应的预测概率，J表示IoU的Lovasz扩展，e(ck)是类ck的误差向量；
S6，网络模型训练与点云语义分割：采用SGD优化器对网络参数进行迭代训练，得到网络权重，并根据网络权重，对采集到的雷达点云进行在线测试，得到非结构化环境三维点云语义分割结果。
2.如权利要求1所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S1雷达点云的预处理具体为：将点云中的每一个点在欧式坐标系中的点投影到球面坐标系中，得到一个二维的直角坐标系；以雷达中心为原点，载体前进方向为OX轴，按右手定则建立，每一个点的方位角和顶角θ的计算公式如下：
其中，(x,y,z)为点云中每一个点在欧式坐标系下的坐标；对其角度进行微分化从而得到一个二维的直角坐标系：
其中，xi、xj为二维直角坐标系的横、纵坐标，Δθ分别对应/>θ的分辨率。
3.如权利要求2所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S1中的基于残差扩张卷积的语义-边缘双编码结构中，卷积层层数的取值范围为6～12；池化层层数的取值范围为2～4；卷积核数量的范围为24～210；扩张率的取值范围为20～24。
4.如权利要求2或3所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S1中最优网络架构的结构为：
Block1：用32个1×1、扩张率为1的卷积核与512×64×3的输入样本做卷积，得到子特征图1，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图1做逐像素相加，得到维度为512×64×32的特征图；
池化层1：Block2输出的特征图用2×2的最大池化层做下采样，步长为2，得到维度为256×32×32的特征图；
Block2：参照Block1，用64个1×1、扩张率为1的卷积核与池化层1输出的特征图做卷积，得到子特征图2，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图2做逐像素相加，得到维度为256×32×64的特征图；
池化层2：Block2输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为128×16×64的特征图；
Block3：参照Block1，用128个1×1、扩张率为1的卷积核与池化层2输出的特征图做卷积，得到子特征图3，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图3做逐像素相加，得到维度为128×16×128的特征图；
池化层3：Block3输出的特征图经过dropout后，用2×2的最大池化层做下采样，步长为2，得到维度为64×8×128的特征图；
Block4：参照Block1，用256个1×1、扩张率为1的卷积核与池化层3输出的特征图做卷积，得到子特征图4，之后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，再与子特征图4做逐像素相加，得到维度为64×8×256的特征图；
所述最优网络架构中的每一个卷积操作都经过ReLU函数激活。
5.如权利要求4所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S2中的多尺度通道注意力模块具体为：
其中，σ表示Sigmoid激活函数；G(F)和L(F)分别表示全局通道上下文信息和局部通道上下文信息。
6.如权利要求5所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S3中解码器的结构为：
反卷积层1：用128个3×3的卷积核与Block4后融合输出的特征图做卷积并做批标准化处理，步长为2，经dropout后与Block3输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后经过dropout得到维度为128×16×128的特征图；
反卷积层2：参照反卷积层1，用64个3×3的卷积核与反卷积层1输出的特征图做卷积并做批标准化处理，步长为2，经dropout后与Block2输出的特征图逐像素相加，再经过dropout后分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后经过dropout得到维度为256×32×64的特征图；
反卷积层3：参照反卷积层1，用32个3×3的卷积核与反卷积层2输出的特征图做卷积并做批标准化处理，步长为2，与Block1输出的特征图逐像素相加，再分别与3×3、扩张率为1以及3×3、扩张率为2的卷积核做卷积并做批标准化处理，将特征图拼接后与1×1、扩张率为1的卷积核做卷积并做批标准化处理，最后得到维度为512×64×32的特征图；
标准卷积层：用3个1×1的卷积核与反卷积层3输出的特征图做卷积，得到维度为512×64×3的特征图，3个通道对应语义类的总数；
Soft-max层：对标准卷积层输出的特征图做像素级分类，得到各类的概率。
7.如权利要求6所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S4的边缘判别器利用网络预测所得的语义标签和真值语义标签提取的边缘特征图(分别表示为Bpred和BGT)作为输出，并区分语义标签和真值语义标签；前三层是特征共享层，每一层都由4×4的卷积核、批标准化处理与LeakyReLU串联组成，用于学习常见的底层特征；之后分成两个支路：第一个支路结束于一个全连接层与Sigmoid激活，得到一个二分类的输出，考虑到整个图像的全局信息，以判断它是真还是假；第二个支路使用与CycleGAN相同的马尔可夫判别器，其输出为一个二维矩阵，矩阵的每一个值表示对输入局部区域的判断，以增强对局部纹理细节的关注；损失LDB由两个支路计算：
其中，分别为全局判别器、马尔可夫判别器损失。
8.如权利要求7所述的基于多层级边缘增强的非结构化环境三维点云语义分割方法，其特征在于：所述步骤S6网络模型训练中，对原始点云做水平翻转、加入随机噪声以及绕z轴随机旋转[-5°,5°]处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310528767.0A CN116503602A (zh) | 2023-05-11 | 2023-05-11 | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310528767.0A CN116503602A (zh) | 2023-05-11 | 2023-05-11 | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116503602A true CN116503602A (zh) | 2023-07-28 |
Family
ID=87322868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310528767.0A Pending CN116503602A (zh) | 2023-05-11 | 2023-05-11 | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503602A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351212A (zh) * | 2023-11-30 | 2024-01-05 | 湘潭大学 | 一种基于双向多尺度注意力的水利环境下的点云分割方法 |
| CN118469839A (zh) * | 2024-07-15 | 2024-08-09 | 湖南大学 | 一种基于边缘增强采样的机器人手术多源影像融合方法 |
-
2023
- 2023-05-11 CN CN202310528767.0A patent/CN116503602A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351212A (zh) * | 2023-11-30 | 2024-01-05 | 湘潭大学 | 一种基于双向多尺度注意力的水利环境下的点云分割方法 |
| CN117351212B (zh) * | 2023-11-30 | 2024-03-01 | 湘潭大学 | 一种基于双向多尺度注意力的水利环境下的点云分割方法 |
| CN118469839A (zh) * | 2024-07-15 | 2024-08-09 | 湖南大学 | 一种基于边缘增强采样的机器人手术多源影像融合方法 |
| CN118469839B (zh) * | 2024-07-15 | 2024-09-27 | 湖南大学 | 一种基于边缘增强采样的机器人手术多源影像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Garcia-Garcia et al. | A survey on deep learning techniques for image and video semantic segmentation | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| Geng et al. | Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles | |
| Li et al. | ComNet: Combinational neural network for object detection in UAV-borne thermal images | |
| EP3690744B1 (en) | Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same | |
| CN113706480A (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
| Wang et al. | An overview of 3d object detection | |
| Du et al. | ResDLPS-Net: Joint residual-dense optimization for large-scale point cloud semantic segmentation | |
| Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
| Nguyen et al. | Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern | |
| CN114549537A (zh) | 基于跨模态语义增强的非结构化环境点云语义分割方法 | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| Ni et al. | Scene-adaptive 3D semantic segmentation based on multi-level boundary-semantic-enhancement for intelligent vehicles | |
| Li et al. | An aerial image segmentation approach based on enhanced multi-scale convolutional neural network | |
| Liu et al. | A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| Zhang et al. | Outdoor scene understanding of mobile robot via multi-sensor information fusion | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN112749662B (zh) | 一种基于激光雷达的非结构化环境可行驶区域提取方法 | |
| Liu et al. | VL-MFL: UAV Visual Localization Based on Multi-Source Image Feature Learning | |
| Yin et al. | M2F2-RCNN: Multi-functional faster RCNN based on multi-scale feature fusion for region search in remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |