[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110503140B - 基于深度迁移学习与邻域降噪的分类方法 - Google Patents

基于深度迁移学习与邻域降噪的分类方法 Download PDF

Info

Publication number
CN110503140B
CN110503140B CN201910735414.1A CN201910735414A CN110503140B CN 110503140 B CN110503140 B CN 110503140B CN 201910735414 A CN201910735414 A CN 201910735414A CN 110503140 B CN110503140 B CN 110503140B
Authority
CN
China
Prior art keywords
data set
network
target data
training
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910735414.1A
Other languages
English (en)
Other versions
CN110503140A (zh
Inventor
林连雷
杨京礼
陈采璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910735414.1A priority Critical patent/CN110503140B/zh
Publication of CN110503140A publication Critical patent/CN110503140A/zh
Application granted granted Critical
Publication of CN110503140B publication Critical patent/CN110503140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度迁移学习与邻域降噪的分类方法，将在源数据集上预训练的CNN浅层网络权值参数迁移至目标数据集，通过网络微调，随机初始化目标数据集网络训练的CNN深层网络权值参数，并在目标数据集上重新训练，完成基于迁移学习的高光谱图像分类，然后，再对通过迁移学习输出的高光谱图像分类的图像标记结果进行基于八邻域点众数标签的最优邻域点降噪，最终输出降噪后的图像分类结果。

Description

基于深度迁移学习与邻域降噪的分类方法
技术领域
本发明涉及高光谱图像处理技术领域，更具体的说是涉及一种基于深度迁移学习与邻域降噪的分类方法。
背景技术
目前，深度学习特别是深度卷积神经网络在高光谱图像分类领域的应用越来越广泛，取得了越来越好的分类性能，但是随着高光谱图像空间分辨率和光谱分辨率的不断提高，在分类时还存在着计算复杂度高、椒盐噪声难以去除等问题，并且基于深度学习的分类方法总需要一个大规模标注的数据集来支持训练，样本数量不足将影响分类准确率。
因此，如何提供一种在小样本量下进行图像分类训练，减小计算复杂度和降低噪声对分类准确度的影响是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种深度迁移学习与邻域降噪的分类方法，将在源数据集上预训练的CNN浅层网络权值参数迁移至目标数据集，通过网络微调，随机初始化目标数据集网络训练的CNN深层网络权值参数，并在目标数据集上重新训练，完成基于迁移学习的高光谱图像分类，然后，再对通过迁移学习输出的高光谱图像分类的图像标记结果即目标数据集类别标签，进行基于八邻域点众数标签的最优邻域点降噪，最终输出降噪后的图像标记结果。
为了实现上述目的，本发明采用如下技术方案：
基于深度迁移学习与邻域降噪的分类方法，包括如下步骤：
步骤一，采集由高光谱图像组成的源数据集并进行CNN网络预训练，获得预训练网络的CNN浅层网络权值参数；
步骤二，采集由所述高光谱图像组成的目标数据集并进行CNN网络训练，将所述CNN浅层网络权值参数迁移至所述CNN网络，对所述CNN网络进行网络微调，随机初始化所述目标数据集网络训练的CNN深层网络权值参数，并进行训练获得目标训练网络，完成迁移学习输出所述目标数据集分类后的所述目标数据集类别标签；
步骤三，根据所述目标数据集类别标签获得所述目标数据集的所述高光谱图像的像元标签，进行基于八邻域点众数标签的最优邻域点降噪，输出去噪后的所述目标数据集类别标签。
优选的，所述步骤二具体包括：
将所述CNN浅层网络权值参数作为初始参数应用到所述目标数据集的所述CNN网络训练上；
去掉所述预训练网络的最后一个全连接层，并新增符合所述目标数据集地物类别数量的新全连接层，形成所述CNN网络，随机初始化所述新全连接层的网络权值参数；
当所述目标数据集样本数量小于或等于所述源数据集时，根据所述目标数据集训练所述新全连接层，获得所述目标训练网络；否则，根据所述目标数据集训练整个所述CNN网络，获得所述目标训练网络；
根据所述目标训练网络输出分类后的所述目标数据集的所述像元类别标签。
优选的，对所述CNN网络进行网络微调，随机初始化所述目标数据集网络训练的CNN深层网络的一层或多层网络权值参数
优选的，所述步骤三具体包括：
设定初始众数阈值；
遍历所述高管狗图像中所有需要分类的所述像元标签，将所述像元标签作为中心像元标签，并将所述中心像元标签与八邻域像元标签组成的3×3矩阵变成1×9的一维向量；
计算所述中心像元标签与所述八邻域像元标签的众数M和众数标签数量m；
当所述中心像元标签不等于所述众数M，所述众数M不等于0，并且所述众数标签数量m大于或等于所述初始众数阈值，确定所述中心像元标签对应的中心像元为噪点；
将所述中心像元标签赋值为当前所述众数M；
遍历结束，所述目标数据集分类后的所述高光谱图像的所述像元标签去噪完成，得到去噪后的所述目标数据集类别标签。
优选的，所述初始众数阈值取值范围为[0,9]。
优选的，如果所述中心像元标签等于所述众数标签M，则所述中心像元标签对应的所述中心像元不是所述噪点；如果所述中心像元标签不等于所述众数标签M，且所述众数标签M等于0，则所述中心像元可能是某个类别块的边缘；如果所述中心像元标签不等于所述众数标签M，所述众数标签M不等于0，且所述众数标签数量m小于所述初始众数阈值，则所述中心像元不是噪点。
优选的，所述源数据集和所述目标数据集为相似数据集。
优选的，所述源数据集和所述目标数据集是由同一类型的传感器采集统一场景的高光谱图像构成的数据集，所述数据集的分类任务相近。
优选的，在所述步骤二中对所述目标数据集进行网络训练并对构成所述目标数据集的所述高光谱图像进行分类，即对所述高光谱图像的每个像素进行分类，每个所述像素的分类结果是一个对应的分类标签，得到所述目标数据集分类标签，将所有所述像素的所述分类标签组合构成标签图像，所述步骤三对所述标签图像进行去噪处理。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种深度迁移学习与邻域降噪的分类方法能在很大程度上解决训练样本不足导致的分类准确率不高问题，在样本量较大的目标数据集上能获得更加稳定且准确的分类结果，而在训练样本数目更小的数据集上对分类性能提升有更大的优势。能减小计算复杂度，此外通过邻域去噪能进一步提高分类性能，在较大的目标数据集上几乎完全正确分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于深度迁移学习与最优邻域点降噪的CNN分类方法流程示意图；
图2附图为本发明提供的基于深度迁移学习的高光谱图像分类流程示意图；
图3附图为本发明提供的基于模型参数的深度迁移学习分类框架示意图；
图4附图为本发明提供的基于深度迁移学习的高光谱图像分类原理示意图；
图5附图为本发明提供的基于深度迁移学习的高光谱图像分类模型示意图；
图6附图为本发明提供的高光谱图像中一个中心像元类别标签与其八邻域像元类别标签示意图；
图7附图为本发明提供的高光谱图像分类最优邻域点降噪流程示意图；
图8附图为本发明提供的实施例中Indian Pines数据集分类结果示意图；
图9附图为本发明提供的实施例中Pavia University数据集分类结果示意图；
图10附图为本发明提供的实施例中Indian Pines数据集分类结果示意图；
图11附图为本发明提供的实施例中Pavia University数据集分类结果示意图；
图12附图为本发明提供的实施例中Indian pines数据集上按不等比例样本训练的分类结果示意图；
图13附图为本发明提供的实施例中Pavia University数据集上按5％样本训练的分类结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于深度迁移学习与邻域降噪的分类方法，将在源数据集上预训练的CNN浅层网络权值参数迁移至目标数据集，通过网络微调，只随机初始化目标数据集训练CNN的深层网络权值参数，并在目标数据集上重新训练，完成基于迁移学习的高光谱图像分类。随后，再对迁移学习方法输出的目标数据集的高光谱图像标记结果进行基于八邻域点众数标签的最优邻域点降噪，输出降噪后的分类结果。
S1，利用高光谱图像构成的源数据集进行CNN网络预训练，获得训练网络和CNN浅层网络权值参数。
S2，对高光谱图像构成的目标数据集进行CNN网络训练，将CNN浅层网络权值参数迁移至CNN网络，对CNN网络进行网络微调，随机初始化目标数据集网络训练的CNN深层网络权值参数，并根据目标数据集进行训练获得目标训练网络，完成迁移学习输出目标数据集分类后的目标数据集类别标签，基于深度迁移学习的高光谱图像分类流程如图2所示。
首先，将在源任务数据集上训练的CNN浅层网络权值作为初始参数应用到目标任务数据集上，并作为通用特征提取器。其次，由于目标数据集与源数据集虽然相似但不同，即使目标数据集与源数据集相同但目标任务与源任务也不同(比如在同一个数据集内，由大比例样本对网络训练变为只用少量样本对网络训练)，故还需要进行网络参数微调。迁移学习的效果很大程度上受目标数据集与源数据集的相似度影响，这决定了目标数据集和源数据集共享多少CNN网络的权值参数。
如图3基于模型参数的深度迁移学习分类框架所示，在基于CNN的高光谱图像分类模型中，浅层CNN网络特征更具有泛性，即包含了更多边缘信息等通用特征，在目标数据集和源数据集中一般可作为共性特征共享；深层CNN网络特征不具有泛性，即包含了更多特定目标场景的深层特征，在目标数据集和源数据集上可能存在差异，不能作为共性特征共享，故不适合对这类网络层参数进行迁移，目标数据集深层CNN网络的初始权值应由确定均值和标准差的正态分布进行随机初始化，作为特殊特征提取器，利用目标数据集少量的训练样本进行训练，实现良好的迁移学习分类效果。
基于深度迁移学习的高光谱图像分类方法流程如图4所示，若源任务A和目标任务B是非常相似的高光谱数据集，且目标高光谱数据集B的数据量相对于源高光谱数据集A较小，则仅利用源高光谱数据集A预训练模型的浅层权值参数提取通用特征，而不是在目标高光谱数据集B上再次随机初始化更新模型的权值。
因为源高光谱数据集与目标数据集非常相似，所以某些浅层特征如边缘特征等可以通用；而目标高光谱数据集的训练样本往往较少，利用源高光谱数据集A预训练模型的浅层权值参数可以直接学习到浅层通用特征，而获得深层特殊特征则需要使用目标高光谱数据集B对CNN深层网络随机初始化权值参数。将在源高光谱数据集A上预训练CNN网络过程中提取的浅层通用特征，与在目标高光谱数据集B上通过随机初始化提取的深层特殊特征一起，组成新的特征提取器，实现目标高光谱数据集B上相对较少训练样本情况下的高分类准确率。
具体的分类模型如图5所示。分类模型建立过程，首先，基于深度迁移学习的高光谱图像分类模型的CNN输入是多通道的，假设高光谱图像数据大小为I1×I2×I3，通道数与光谱维数相等为I3，每个光谱带上选择m×m大小的二维patch，组合成m×m×I3大小的空谱信息，作为CNN卷积滤波器的多通道(I3个通道)输入。值得注意的，对于I3个通道的空谱信息，其对应的每种卷积滤波器通道数也为I3，具体的，将每个单通道与对应的一种滤波器进行卷积运算，然后再将I3个通道的卷积结果相加，即I3个通道输出图片的对应位置像元相加，最后将每种滤波器的I3个通道卷积和结果组合输出，作为全连接层的输入。
其次，在源数据集上进行训练，获得网络模型及参数，其浅层网络结构和参数直接迁移至目标数据集，深层网络参数则随机初始化。以图5的CNN网络结构(含两个卷积与池化层、两个全连接层)为例，若源高光谱数据集与目标高光谱数据集相似度非常高，则应当仅随机初始化最后一个全连接层(Full-connected2)。若源高光谱数据集与目标高光谱数据集相似度不那么高，第一个全连接层(Full-connected1)和提取深层特征的卷积池化层(Conv2&Pooling2)也可能需要重新随机初始化权值参数。具体的，本章提出的基于深度迁移学习的高光谱图像分类流程，主要考虑以下两种情况：
第一，目标数据集样本数量小，且与源数据集相似。在这种情况下，先去掉预训练网络层的最后一个全连接层，并新增符合目标数据集地物类别数量的全连接层，保持其他预训练层的权值参数不变，只随机初始化新增层的权值。当目标数据集样本数量小时，可能会导致过度拟合，因此使用目标数据集仅训练新的全连接层。
第二，目标数据集样本数量大，但相对源数据集样本数量少，且与源数据集相似。在这种情况下，先去掉预训练网络层的最后一个全连接层，并新增符合目标数据集地物类别数量的全连接层，保持其他预训练层的权值参数不变，只随机初始化新增层的权值，并使用目标数据集来训练新的全连接层。由于目标数据集数据量大，不容易发生过拟合，所以可以重新训练整个网络，原卷积层提取到的特征都可以用于目标数据集，加快训练速度。
S3，根据目标数据集类别标签获得目标数据集的高光谱图像的像元标签，并进行基于八邻域点众数标签的最优邻域点降噪，输出去噪后的目标数据集类别标签。
基于八邻域点降噪法改进提出基于八邻域点众数标签的最优邻域点降噪方法，将高光谱图像的类别标签数据作为输入，并将中心像元标签与其八邻域像元标签进行比较。
以L(i，j)表示高光谱图像一个中心像元p(i，j)的分类结果标签，则中心像元p(i，j)与其八邻域像元的类别标签如图6所示。
基于最优邻域点降噪的高光谱图像降噪流程如图7所示。设定一个阈值N(0≤N≤9)，设高光谱图像不需要分类的像元标签为0。遍历高光谱图像的所有像元标签，将图6所示的一个中心像元p(i，j)的类别标签L(i，j)与其八邻域像元标签值组合成一个3×3矩阵，并将其变形成一个1×9的一维向量。计算这9个像元标签的众数M以及众数标签的数目m。当中心像元的类别标签L(i，j)与这9个像元标签的众数不相等时，若众数标签不为0且众数标签的数量m≥N，则此中心像元为噪点。因为0是不需要分类的像元标签，排除众数标签为0的情况，有效避免了去噪过程中的边缘误判段。如果确认中心像元p(i，j)是噪点，用它与其八邻域像元标签的众数进行替换，对高光谱图像进行去噪。阈值N一般取初始值为5，则当中心像元类别标签L(i，j)与这9个像元标签的众数不相等，以及众数标签不为0且众数标签的数量m≥5时，此中心像元为噪点。阈值N可以根据实际情况修改。若设的阈值太大，则去噪效果可能不明显；若设的阈值太小，则可能造成将非噪点信息误判为噪点。
下面，给出了应用本发明所述方法的具体算例，采用以下算例验证本发明的有益效果：
(1)选取数据集
采用四组高光谱图像数据集，Indian Pines数据集与Salinas数据集、PaviaUniversity数据集与Pavia Center数据集，它们两两之间存在某些关联：Indian Pines数据集与Salinas数据集都是由AVIRIS传感器采集的，二者修正后的光谱维数十分接近，分别为200和204，且二者的真实地物(植物等)都被划分为16类。而Pavia University数据集与Pavia Center数据集都是由ROSIS传感器采集的，二者修正后的光谱维数分别为103和102，且二者的真实地物(城市地物)都被划分为9类。
由于Indian Pines数据集与Salinas数据集、Pavia University数据集与PaviaCenter数据集分别具有相似性，且前者的地面空间尺寸、样本量分别小于后者，故将Salinas数据集与Pavia Center数据集分别作为迁移学习方法中的源数据集，将IndianPines数据集与Pavia University数据集分别作为与之对应的目标数据集。将在Salinas数据集和Pavia Center数据集上得到验证的网络结构和浅层网络参数，迁移至样本数量相对较少的Indian Pines数据集和Pavia University数据集，并对网络结构和参数进行微调。
(2)选取方法评价指标
选择评价指标(总体分类准确率(OA)、平均分类准确率(AA)和Kappa系数)对分类效果进行评价。
(3)进行网络参数配置
首先，配置在源目标数据集上预训练CNN过程中的相关参数。在Salinas数据集和Pavia Center数据集的每个光谱带的对应位置分别选择大小为27×27和21×21的空间信息patch，选择的光谱维数即通道数分别为200和102，分别组合成27×27×200和21×21×102大小的空谱信息，作为CNN网络的多通道输入。
对两个高光谱图像数据集建立两个2D-CNN网络。在两个网络中，都选择ReLU激活函数和最大池化方式；采用随机失活(Dropout)防止或减轻过拟合，keep_prob＝0.5表示神经元被选中的概率，其中有50％的数据被丢弃；两个网络的初始权值均由确定均值和标准差的正态分布进行随机初始化，初始化完成后，将训练样本输入到网络并更新网络权值；CNN模型的卷积层、池化层以及全连接层都按照如下表1CNN网络参数设置进行设置。在下表中，128@5×5表示在该层中共有128个5×5大小的卷积核，Strides＝2表示步长为2。
表1 CNN网络参数设置
Figure BDA0002162013280000091
由于Salinas数据集尺寸相对较小，将Salinas数据集对应CNN网络的批尺寸(batch_size)设置为50，地物类别数目为16，故将网络输出层单元数目设置为16。将PaviaCenter数据集所对应CNN网络的批尺寸设置为128，地物类别数目为9，故将网络输出单元数目设置为9。将Salinas数据集训练次数设定为260次，Pavia Center数据集训练次数设定为100次。网络训练好以后，便可以将待分类目标输入到对应的CNN分类模型中，对目标类别做出预测。接下来，选择网络微调过程中的网络参数，确定两组迁移中需要随机初始化目标数据集的网络权值的网络层参数，并在目标数据集上重新训练。
由于Indian pines数据集样本量很小，用于训练CNN的样本量不足，因此，将预训练CNN的权值共享参数由Salinas数据集迁移到Indian pines数据集的过程，属于目标数据集训练样本量小但与源数据集相似这类情况，从目标数据集训练的最后一层全连接层开始进行网络微调。假设Indian pines数据集有10％的样本可用于训练，迁移不同网络层对Indian pines数据集上高光谱图像分类准确率(OA)的影响如下表2所示。表2中“迁移网络层数”若对应“无迁移学习”则代表目标数据集上所有网络权值参数均通过随机初始化获得，其他“迁移网络层数”代表随机初始化该层及该层之后的网络参数，在此之前网络层的权值参数全都由源数据集共享。比如，“迁移网络层数”对应“全连接层Fc2”代表只随机初始化最后一个全连接层Fc2，前三个网络层(两个卷积层与第一个全连接层)的权值参数都直接由源数据集预训练的CNN网络迁移得到。
表2迁移不同网络层对Indian pines数据集上总体分类准确率(OA)的影响(％)
Figure BDA0002162013280000101
从表2可以看出，基于迁移学习的Indian pines高光谱图像的OA优于无迁移学习方法，最后一个全连接层的输入被视作网络从输入数据提取到的特征，仅随机初始化训练CNN最后一个全连接层的网络权值并在目标数据集上训练，总体分类准确率最高，可达96.66％，说明通过迁移在源数据集中训练的浅层网络参数，能避免目标数据集上样本数量过少导致的过拟合，提高分类准确率。
因此，Salinas和Indian pines数据集共享的是在Salinas数据集上预训练的CNN的所有卷积层权值参数和第一个全连接层权值参数，选择仅对CNN的最后一个全连接层随机初始化网络权值，将CNN前面几层的学习率调为0，并在Indian pines数据集(即目标数据集)上只训练最后一个全连接层。
而对于Pavia University数据集而言，它的数据量依然足够，虽然与PaviaCenter数据集相比较少，但不像Indian pines数据集的样本太少训练过程容易导致过拟合。因此，将预训练CNN的权值参数由Pavia Center数据集迁移到Pavia University数据集的过程，属于目标数据集训练样本量大且与源数据集相似这类情况，从最后一层全连接层开始进行网络微调。假设Pavia University数据集有9％的样本可用于训练，迁移不同网络层对Pavia University数据集上高光谱图像分类准确率(OA)的影响如下表3所示。
表3迁移不同网络层对Pavia University数据集上总体分类准确率(OA)的影响(％)
Figure BDA0002162013280000111
从表3可以看出，基于迁移学习的Pavia University高光谱图像总体分类准确率优于无迁移学习方法，最后一个全连接层的输入被视作网络从输入数据提取到的特征，仅随机初始化CNN最后一个全连接层的网络权值，总体分类准确率最高，可以达到98.48％。因为数据量大，不容易发生过拟合，故将CNN前面网络层的学习率设置为0.001，训练整个网络。
(4)性能对比总结
分成两组进行迁移学习分类与邻域降噪：第一组，将Salinas作为源数据集预训练CNN，迁移权值参数至目标数据集Indian Pines并进行网络微调和最优邻域点降噪；第二组，将Pavia Center作为源数据集预训练CNN，迁移权值参数至目标数据集PaviaUniversity并进行网络微调和最优邻域点降噪。Indian Pines、Salinas、PaviaUniversity与Pavia Center数据集分别用于类比样本数量不足、正常、一般和充足的情况。随机选择源数据集Salinas样本的5％和Pavia Center数据集样本的9％分别预训练CNN，同时选择目标数据集Indian Pines样本的10％和Pavia University数据集样本的9％重新训练经过权值共享与网络微调的CNN或其中某一层，剩下的全部作为测试样本。
将基于迁移学习的CNN分类方法(MIG)和提出的基于迁移学习与邻域降噪的CNN分类方法(MIG_DN)，与无降维的无迁移学习分类方法(NoDimension Reduction，简称NDR)结合，与SPE、PCA1、PCA1_SPE、PCA3和NDR分类方法对比，得到在Indian pines数据集上的分类性能如下表4所示，该分类结果为各算法运行10次求得的平均数据。
表4 Indian pines分类结果(％)
Figure BDA0002162013280000112
Figure BDA0002162013280000121
由表4可以看出，在Indian Pines数据集上，NDR_MIG和NDR_MIG_DN方法在分类评价指标(OA、AA、Kappa系数)上的表现最为优异，尤其是NDR_MIG_DN方法与SPE、PCA1、PCA1_SPE、PCA3和NDR这些无迁移学习分类方法的OA相比分别提高了12.31％、5.23％、4.56％、1.83％和2.73％，在很大程度上解决了训练样本不足、噪声严重导致分类准确率不高的问题。
如图8所示，(a)～(g)分别为SPE、PCA1、PCA1_SPE、PCA3、NDR、NDR_MIG和NDR_MIG_DN方法在Indian Pines数据集上的分类结果图，(h)为Indian Pines真实地物标记示意图。
通过图8可以更加直观地看出NDR_MIG和NDR_MIG_DN方法在小样本数据集IndianPines上的整体分类效果明显优于无迁移学习分类方法(SPE、PCA1、PCA1_SPE、PCA3和NDR)。尤其是提出的NDR_MIG_DN方法在适应小样本分类和去除高光谱图像噪声方面有突出效果，在所有方法中表现出最优秀且最稳定的分类性能。
SPE、PCA1、PCA1_SPE、PCA3、NDR、NDR_MIG和NDR_MIG_DN分类方法在PaviaUniversity数据集上的分类性能如表5所示，该分类结果为各算法运行10次求得的平均数据。
表5 Pavia University分类结果(％)
Figure BDA0002162013280000131
由表5可以看出，在Pavia University数据集上，NDR_MIG和NDR_MIG_DN方法在分类评价指标(OA、AA、Kappa系数)上的表现最为优异，OA和AA均达到99％以上，特别是提出的NDR_MIG_DN方法与无降维无迁移学习分类方法(NDR)相比总体分类准确率提高了3.32％，说明该方法在样本量较大数据集上的分类与去噪效果更加突出，Kappa系数达到98.93％，从一致性检测来看，几乎完全正确分类。
如图9所示，(a)～(g)分别为SPE、PCA1、PCA1_SPE、PCA3、NDR、NDR_MIG和NDR_MIG_DN方法在Pavia University数据集上的分类结果图，(h)为Pavia University真实地物标记示意图。
由图9可以更加直观地看出NDR_MIG和NDR_MIG_DN方法在PaviaUniversity数据集上有突出的分类表现，分类性能明显优于SPE、PCA1、PCA1_SPE、PCA3和NDR方法，几乎完全正确分类且无噪点。
为了进一步验证方法的有效性，将基于迁移学习的CNN分类方法(MIG)和提出的基于迁移学习与邻域降噪的CNN分类方法(MIG_DN)，与基于信息测度的方法(IM和IM_SPE)结合，与IM和IM_SPE方法对比，得到在Indian pines数据集上的分类性能如表6所示，该分类结果为各算法运行10次求得的平均数据。
表6 Indian pines分类结果(％)
Figure BDA0002162013280000141
由表6可以看出，在Indian Pines数据集上，从每一类别的分类准确率来看，基于信息测度的迁移学习与无迁移学习方法各有优势。但结合了迁移学习的分类方法(IM_MIG和IM_SPE_MIG)在三个分类评价指标(OA、AA、Kappa系数)上的表现均优于无迁移学习分类方法(IM和IM_SPE)。而结合了迁移学习分类与最优邻域降噪处理的方法(IM_MIG_DN和IM_SPE_MIG_DN)在所有分类方法中的OA、AA、Kappa系数最优，特别是IM_SPE_MIG_DN方法OA达到98％以上，比IM_SPE方法的总体分类准确率提高了1.12％。
如图10所示，(a)～(f)分别为IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法在Indian Pines数据集上的分类结果图。
通过图10可以看出基于信息测度的深度迁移学习与邻域降噪方法分类效果显著，且几乎不存在噪声。
在Pavia University数据集上得到IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法的分类结果如表7所示，该分类结果为各算法运行10次求得的平均数据。
表7 Pavia University分类结果(％)
Figure BDA0002162013280000151
由表7可以得到，结合迁移学习的分类方法(IM_MIG和IM_SPE_MIG)以及结合迁移学习与邻域降噪的分类方法(IM_MIG_DN和IM_SPE_MIG_DN)的OA与AA都在99％以上，特别是IM_MIG_DN和IM_SPE_MIG_DN方法，相对于基于信息测度的无迁移学习方法(IM和IM_SPE)分别提高了3.16％和2.67％。
如图11所示，(a)～(f)分别为IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法在Pavia University数据集上的分类结果图。
由图11可以更加直观地看出深度迁移学习分类方法与最优邻域点降噪处理方法在Pavia University数据集上有突出的性能表现，分类性能明显优于无迁移学习方法(IM和IM_SPE)。尤其是结合了最优邻域降噪的深度迁移学习分类方法(IM_MIG_DN和IM_SPE_MIG_DN)处理的高光谱图像，几乎完全无噪点且正确分类。
为了进一步验证基于深度迁移学习与邻域降噪的分类方法在训练样本数目更小的数据集上的分类性能，选择Indian Pines数据集中小于10％的不等比例样本作为训练样本。具体的，若总样本数的10％≥80个，则只随机选择80个训练样本；若总样本数的10％＜80个，则仍选择总样本数的10％作为训练样本。实际样本分配如表8所示。
表8 Indian Pines不等比例样本分配
Figure BDA0002162013280000161
Figure BDA0002162013280000171
在Indian pines数据集上按表8所示不等比例训练样本训练得到的IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法的分类结果如表9所示，该分类结果为各算法运行10次求得的平均数据。
表9 Indian pines分类结果(％)
Figure BDA0002162013280000172
由表9可以看出，在Indian Pines数据集上按不等比例训练更小数目的样本，结合了迁移学习的分类方法(IM_MIG和IM_SPE_MIG)在三个分类评价指标(OA、AA、Kappa系数)上的表现均优于无迁移学习分类方法(IM和IM_SPE)。而结合了迁移学习分类与最优邻域降噪处理的方法(IM_MIG_DN和IM_SPE_MIG_DN)在所有分类方法中的OA、AA、Kappa系数最优，特别是IM_SPE_MIG_DN方法OA比IM_SPE方法的总体分类准确率提高了3.26％，相比于利用10％样本训练的情况提高了更多(利用10％样本训练时IM_SPE_MIG_DN方法的总体分类准确率比IM_SPE方法提高了1.12％)，进一步说明提出的基于深度迁移学习与邻域降噪的分类方法在训练样本数目更小的数据集上有更大的优势。
如图12所示，(a)～(f)依次为在Indian pines数据集上按表8所示不等比例训练样本训练得到的IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法的分类结果图。
通过图12可以看出，即使在Indian pines数据集上选择更小数目的样本进行训练，提出的基于深度迁移学习与邻域降噪的分类方法仍然能获得优秀的分类效果，大部分地物信息分类正确，且噪声信息极少。
同样的，为了验证提出的方法在更小数目的训练样本下对分类性能有更好地提升，选择Pavia University数据集的5％作为训练样本，样本分配如表10所示。
表10 Pavia University样本分配
Figure BDA0002162013280000181
Figure BDA0002162013280000191
在Pavia University数据集上按5％训练样本训练得到的IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法的分类结果如表11所示，该分类结果为各算法运行10次求得的平均数据。
表11 Pavia University分类结果(％)
Figure BDA0002162013280000192
如表11所示，IM_MIG_DN和IM_SPE_MIG_DN方法在Pavia University数据集上按5％训练样本训练的总体分类准确率相比于IM和IM_SPE方法分别提高了3.38％和3.55％，相比于利用9％样本训练的情况提高了更多(利用9％样本训练时，IM_MIG_DN和IM_SPE_MIG_DN方法相对于IM和IM_SPE方法分别提高了3.16％和2.67％)，进一步说明提出的基于深度迁移学习与邻域降噪的分类方法在训练样本数目更小的数据集上对分类性能提升有更大的优势。
如图13所示，(a)～(f)依次为为Pavia University数据集上按表4-10所示利用5％训练样本训练得到的IM、IM_SPE、IM_MIG、IM_SPE_MIG、IM_MIG_DN和IM_SPE_MIG_DN方法的分类结果图。
通过图13可以看出，在Pavia University数据集上选择更小数目的样本进行训练，提出的方法仍能准确分类且无噪点。
通过以上两组迁移学习分类与邻域降噪实验可以看出，基于深度迁移学习与邻域降噪的分类方法，对解决训练样本不足情况下分类准确率不高的问题有显著优势，能避免小样本训练CNN时易发生的过拟合现象，而通过在两个相似的较大数据集之间迁移，能减小计算复杂度，获得更准确且稳定的分类结果。同时，通过最优邻域点去噪，最终分类结果几乎完全无噪点。说明提出的方法对高光谱分类性能的提高有突出效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.基于深度迁移学习与邻域降噪的分类方法，其特征在于，包括如下步骤：
步骤一，采集由高光谱图像组成的源数据集并进行CNN网络预训练，获得预训练网络和CNN浅层网络权值参数；
步骤二，采集由所述高光谱图像组成的目标数据集并进行CNN网络训练，将所述CNN浅层网络权值参数迁移至所述CNN网络，对所述CNN网络进行网络微调，随机初始化所述目标数据集网络训练的CNN深层网络权值参数，并进行训练获得目标训练网络，完成迁移学习输出所述目标数据集分类后的目标数据集类别标签；
步骤三，根据所述目标数据集类别标签获得所述目标数据集的所述高光谱图像的像元标签，进行基于八邻域点众数标签的最优邻域点降噪，输出去噪后的所述目标数据集类别标签；
设定初始众数阈值；
遍历所述高光谱图像中所有需要分类的所述像元标签，将所述像元标签作为中心像元标签，并将所述中心像元标签与八邻域像元标签组成的3×3矩阵变成1×9的一维向量；
计算所述中心像元标签与所述八邻域像元标签的众数M和众数标签数量m；
当所述中心像元标签不等于所述众数M，所述众数M不等于0，并且所述众数标签数量m大于或等于所述初始众数阈值，确定所述中心像元标签对应的中心像元为噪点；
将所述中心像元标签赋值为当前所述众数M；
遍历结束，所述目标数据集分类后的所述高光谱图像的所述像元标签去噪完成，得到去噪后的所述目标数据集类别标签。
2.根据权利要求1所述的基于深度迁移学习与邻域降噪的分类方法，其特征在于，所述步骤二具体包括：
将所述CNN浅层网络权值参数作为初始参数应用到所述目标数据集的所述CNN网络训练上；
去掉所述预训练网络的最后一个全连接层，并新增符合所述目标数据集地物类别数量的新全连接层，形成所述CNN网络，随机初始化所述新全连接层的网络权值参数；
当所述目标数据集样本数量小于或等于所述源数据集时，根据所述目标数据集训练所述新全连接层，获得所述目标训练网络；否则，根据所述目标数据集训练整个所述CNN网络，获得所述目标训练网络；
根据所述目标训练网络输出分类后的所述目标数据集类别标签。
3.根据权利要求1所述的基于深度迁移学习与邻域降噪的分类方法，其特征在于，所述源数据集和所述目标数据集为相似数据集。
CN201910735414.1A 2019-08-09 2019-08-09 基于深度迁移学习与邻域降噪的分类方法 Active CN110503140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910735414.1A CN110503140B (zh) 2019-08-09 2019-08-09 基于深度迁移学习与邻域降噪的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910735414.1A CN110503140B (zh) 2019-08-09 2019-08-09 基于深度迁移学习与邻域降噪的分类方法

Publications (2)

Publication Number Publication Date
CN110503140A CN110503140A (zh) 2019-11-26
CN110503140B true CN110503140B (zh) 2022-04-01

Family

ID=68587140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910735414.1A Active CN110503140B (zh) 2019-08-09 2019-08-09 基于深度迁移学习与邻域降噪的分类方法

Country Status (1)

Country Link
CN (1) CN110503140B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033258B (zh) * 2019-12-24 2024-05-28 百度国际科技（深圳）有限公司 一种图像特征提取方法、装置、设备和存储介质
CN111488972B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 数据迁移方法、装置、电子设备和存储介质
CN111832417B (zh) * 2020-06-16 2023-09-15 杭州电子科技大学 基于cnn-lstm模型和迁移学习的信号调制样式识别方法
CN112053291B (zh) * 2020-07-20 2023-04-18 清华大学 基于深度学习的弱光视频降噪方法及装置
CN112446438A (zh) * 2020-12-16 2021-03-05 常州微亿智造科技有限公司 一种工业物联网下的模型智能训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097252A (zh) * 2016-06-23 2016-11-09 哈尔滨工业大学 基于图Graph模型的高光谱图像超像素分割方法
CN108830236A (zh) * 2018-06-21 2018-11-16 电子科技大学 一种基于深度特征的行人重识别方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109711466A (zh) * 2018-12-26 2019-05-03 陕西师范大学 一种基于边缘保留滤波的cnn高光谱图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097252A (zh) * 2016-06-23 2016-11-09 哈尔滨工业大学 基于图Graph模型的高光谱图像超像素分割方法
CN108830236A (zh) * 2018-06-21 2018-11-16 电子科技大学 一种基于深度特征的行人重识别方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109711466A (zh) * 2018-12-26 2019-05-03 陕西师范大学 一种基于边缘保留滤波的cnn高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Transfer HSI Classification Method Based on Information Measure and Optimal Neighborhood Noise Reduction;Lianlei Lin et.al;《electronics》;20191002;第1-23页 *
Pretraining for Hyperspectral Convolutional Neural Network Classification;Lloyd Windrim et.al;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20180531;第56卷(第5期);第2800-2803页 *
高斯线性过程和多邻域优化的高光谱图像分类;覃阳 等;《激光与光电子学进展》;20190717;第2-3页 *

Also Published As

Publication number Publication date
CN110503140A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110503140B (zh) 基于深度迁移学习与邻域降噪的分类方法
CN110084803B (zh) 基于人类视觉系统的眼底图像质量评估方法
WO2024021413A1 (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
Kang et al. Spectral–spatial hyperspectral image classification with edge-preserving filtering
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN104966085B (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
Bhagat et al. Eff-UNet++: A novel architecture for plant leaf segmentation and counting
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN109949255A (zh) 图像重建方法及设备
CN107516103B (zh) 一种影像分类方法和系统
CN109740721B (zh) 麦穗计数方法及装置
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN113239938B (zh) 一种基于图结构的高光谱分类方法及系统
CN112733614B (zh) 一种带有相似尺寸强化识别的害虫图像检测方法
CN111598001A (zh) 一种基于图像处理的苹果树病虫害的识别方法
CN111667019B (zh) 基于可变形分离卷积的高光谱图像分类方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN112862792A (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN109344898A (zh) 基于稀疏编码预训练的卷积神经网络图像分类方法
CN112580661B (zh) 一种深度监督下的多尺度边缘检测方法
CN111709901A (zh) 基于FCM聚类匹配+Wallis滤波的无重多/高光谱遥感图像匀色方法
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN111275732B (zh) 一种基于深度卷积神经网络的前景对象图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant