CN112101271B - 一种高光谱遥感影像分类方法及装置 - Google Patents
一种高光谱遥感影像分类方法及装置 Download PDFInfo
- Publication number
- CN112101271B CN112101271B CN202011009872.6A CN202011009872A CN112101271B CN 112101271 B CN112101271 B CN 112101271B CN 202011009872 A CN202011009872 A CN 202011009872A CN 112101271 B CN112101271 B CN 112101271B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- feature extraction
- convolution
- classification
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000003595 spectral effect Effects 0.000 claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000007635 classification algorithm Methods 0.000 description 23
- 238000002474 experimental method Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 240000007472 Leucaena leucocephala Species 0.000 description 3
- 235000010643 Leucaena leucocephala Nutrition 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 3
- 235000011613 Pinus brutia Nutrition 0.000 description 3
- 241000018646 Pinus brutia Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 244000075850 Avena orientalis Species 0.000 description 2
- 235000007319 Avena orientalis Nutrition 0.000 description 2
- 241000350000 Colophospermum mopane Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- MHKKFFHWMKEBDW-UHFFFAOYSA-N dimethyl 2,5-dioxocyclohexane-1,4-dicarboxylate Chemical compound COC(=O)C1CC(=O)C(C(=O)OC)CC1=O MHKKFFHWMKEBDW-UHFFFAOYSA-N 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000025048 Action myoclonus-renal failure syndrome Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 240000001327 Echinochloa stagnina Species 0.000 description 1
- 235000001418 Echinochloa stagnina Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 244000273256 Phragmites communis Species 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 241001466077 Salina Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- QVZZPLDJERFENQ-NKTUOASPSA-N bassianolide Chemical compound CC(C)C[C@@H]1N(C)C(=O)[C@@H](C(C)C)OC(=O)[C@H](CC(C)C)N(C)C(=O)[C@@H](C(C)C)OC(=O)[C@H](CC(C)C)N(C)C(=O)[C@@H](C(C)C)OC(=O)[C@H](CC(C)C)N(C)C(=O)[C@@H](C(C)C)OC1=O QVZZPLDJERFENQ-NKTUOASPSA-N 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 208000027025 progressive myoclonus epilepsy 4 Diseases 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- OVSQVDMCBVZWGM-QSOFNFLRSA-N quercetin 3-O-beta-D-glucopyranoside Chemical compound O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1OC1=C(C=2C=C(O)C(O)=CC=2)OC2=CC(O)=CC(O)=C2C1=O OVSQVDMCBVZWGM-QSOFNFLRSA-N 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种高光谱遥感影像分类方法及装置，属于遥感影像处理技术领域。为了解决现有的基于CNN的高光谱遥感影像分类方法需要大量训练样本的问题，以及容易受到干扰因素的影响的问题。本发明所述先利用基础特征提取模块提取特征，然后分别送入光谱特征提取模块和空间特征提取模块提取光谱特征和空间特征，然后将特征融合模块嵌入多尺度网络中，通过共享不同尺度间的特征信息，增强网络的信息流，有利于空谱特征的提取，改善分类精度。而且本发明提出了分段区间非对称平方误差损失函数，综合考虑了训练数据中每个样本的数量及其类内的损失值，从而获得上更细致、更精确的损失值。主要用于高光谱遥感影像的分类。
Description
技术领域
本发明涉及一种高光谱遥感影像分类方法及装置。属于遥感影像处理技术领域。
背景技术
高光谱遥感影像分类是指对未标记的像素进行标号的过程，是一种重要的信息获取手段。传统的基于光谱特征匹配的分类方法利用测试样本和光谱库中已知的样本进行匹配，并达到分类的目的，显然，该方法严重依赖于光谱数据库。近年来，随着统计学习理论、模式识别和机器学习等理论的广泛研究，许多基于统计学习的高光谱遥感影像分类算法被提出。现有的高光谱遥感图像分类方法主要来源于统计学习算法，可以将分类算法分为三种：基于光谱信息的高光谱遥感影像分类算法、基于空谱信息的高光谱遥感影像分类算法和基于深度学习的高光谱遥感影像分类算法。
基于光谱信息的高光谱遥感影像分类算法是指：根据不同物体对入射光的反射率不同的性质，利用光谱特征曲线来描述遥感影像中每个像素的光谱信息，从而对高光谱遥感影像进行分类的方法。高斯最大似然分类法是一种经典的基于光谱信息的高光谱遥感图像分类方法，它利用遥感数据的统计特性，假设每个像素服从多维高斯分布，根据最大似然准则建立非线性判别函数，计算样本内属于各类别的概率。由于高光谱遥感影像光谱维数较高，高斯最大似然分类法速度慢。为此，X.Jia和J.Richards提出分块高斯最大似然分类算法，分块高斯最大似然分类法的分类速度明显加快。由于高光谱遥感图像的覆盖面积大，图像校准困难，只能获得少量有标签的训练样本，在小样本情况下，最大似然分类法的精度依然很低。为解决此问题，Vapnik等人提出的支持向量机(Support Vector Machines，SVM)能很好的适应小样本的情况，所以在高光谱遥感图像分类中得到了广泛的应用。SVM以结构风险最小化为准则，对于有限的训练样本信息，在模型复杂度和方法能力之间寻求最佳的折衷。SVM在于寻找最佳的分类面，优化目标为找到分类面使得离它最近的训练样本的距离达到最大，因此，SVM获得的分类超平面鲁棒性强。由于高光谱遥感影像像素是非线性可分的，所以基于线性空间的SVM分类算法会限制高光谱遥感影像的分类精度。为此，G.Camps-valls和L.Bruzzone等人把核方法和SVM结合，得到核SVM，并应用到高光谱遥感影像分类中，使分类效果得到了较大的提升。然而，对于多光谱甚至高光谱遥感影像而言，光谱特征维数高达几十到几百维，在给定少量标注样本的情况下，很容易导致过拟合现象。
基于空谱信息的高光谱遥感影像分类算法是指：根据高光谱遥感图像既包含光谱信息，又包含空间信息的特点，综合利用光谱信息和空间信息对高光谱遥感影像就行分类的方法。在分类过程中引入空间信息是由于高光谱遥感图像普遍存在“同谱异物””和“同物异谱”现象，而且缺乏训练样本，这使得单纯的基于光谱信息的高光谱遥感影像分类算法结果图中往往含有很多离散的孤立点，与实际地表覆盖的连续性分布不相符。另外，随着高光谱遥感影像空间分辨率的增高，图像内的类内散度增大，类间散度减小，最终导致谱信息的可分性降低。为了缓解这一问题，许多学者开始挖掘高光谱遥感影像的空间信息，大量研究表明结合空间信息能有效地提高高光谱遥感影像的分类精度，空间信息的引入不仅能弥补高光谱样本标记信息的不足，还能有效克服“同谱异物”和“同物异谱”现象，能够获得空间连续性较好且精度较高的分类结果图，但空间信息能提供有效判别信息的前提是高光谱遥感影像存在均质区域，即存在空间平滑性。基于空谱信息的分类算法中最具有代表性的是基于组合核(Composite Kernel，CK)分类算法。V Menon和s.Prasad等人提出了一种基于最近邻域驱动的组合核高光谱遥感影像分类算法，和原始CK算法不同，该算法利用基于欧氏距离的最近邻域法提取像素的空间信息，再用均值滤波器对该像素集求均值，然后用组合核融合该空间信息和光谱信息，最后用SVM进行分类，这种改进缓解了原始CK算法在高光谱遥感影像边界上容易错分的问题。基于空谱信息的分类算法中另一组具有代表性的算法是基于后处理正则化(Post Processing Regularization，PPR)的高光谱遥感影像分类算法。Y.Tarabalka和M.Fauvel等人提出了基于马尔科夫随机场(Markov random field，MRF)与SVM的高光谱遥感影像分类算法。该算法首先利用概率SVM处理原始高光谱遥感影像，并获得像素属于每个类别的概率属性，再用MRF表达图像的空间信息，并用最大后验概率准则(Maximum a Posteriori，MAP)对高光谱遥感影像的标签进行调整，达到增加空间连续性的目的。此外，Y Tarabalka于2014年进一步提出了一种新的PPR算法，称为基于SVM和图割(Graph cut，GC)的高光谱遥感影像分类算法。该算法把高光谱遥感影像的分类问题表示为求能量最小化问题，目标函数中包含光谱能量项和空间能量项，并用GC算法来进行求解。基于MRF和基于GC的高光谱遥感影像分类算法都基于空间相关性假设，即高光谱遥感图像存在大量的均质区域，利用PPR算法调整标签的位置，达到增强空间连续性的目的。然而，对于均质区域，该算法具有较高的分类精度，但对于边缘区域的像素和孤立像素则很容易被错分。
近年来，由于深度学习能提取可分性较强的特征，所以它被广泛的应用到高光谱遥感影像分类中。在众多的基于深度学习的算法中堆栈降噪自动编码机(Stack DenoisingAuto.encoder，SDAE)和深度卷积网络(Convolutional Neural Network，CNN)是最具代表性的基于深度学习的高光谱遥感影像分类方法。Y.S.Chen和Z.H.Lin等人首先把SAE应用到高光谱遥感影像特征提取中，该方法首先利用PCA对原始高光谱遥感影像进行降维，然后提取每个像素的邻域信息，并转化成一维向量，再与光谱向量串联，最后用SAE进行特征提取，并用LR作为分类器进行分类。X.R.Ma和H.Y.Wang等人提出了一种改进的基于SAE的高光谱遥感影像分类算法，该算法加入了一个描述光谱相似性的正则项来提高高光谱遥感影像的分类精度。而A.Mughees和L.Tao提出的基于SAE的高光谱遥感影像分类算法中首先用SAE提取高光谱遥感影像的光谱信息，再用基于边缘调整的分割算法提取图像的空间信息，最后用投票法获取最终的分类结果。除了SAE，CNN由于能很好地提取二维图像的空间信息，也被广泛的应用于高光谱遥感图像分类中。J.Yue和W.Z.Zhao等人首先把一维光谱向量转换为二维光谱特征图，再用PCA对原始高光谱遥感影像进行降维处理得到空间特征图，并用矩形窗提取每个像素的邻域信息作为训练样本，最后分别用两种特征图对CNN进行训练，得到其深度特征，最后用LR进行分类。W.Z.Zhao和S.H.Du提出了一种基于降维和深度学习的高光谱遥感影像分类算法，该算法一方面用平衡局部判别嵌入(Balanced local discriminantembedding，BLDE)对高光谱遥感影像的光谱信息进行降维处理，再用CNN提取高光谱遥感影像的空间结构信息，最后用SVM对融合后的特征进行分类。A.Santara和K.Mani等人提出了一种新的用于高光谱遥感影像分类的CNN框架(Band-Adaptive Spectral.Spatialfeature learning neural network，BASS)，该算法分为三步，首先对原始高光谱遥感影像进行光谱特征选择和波段分割，选出少数几个波段；其次用CNN对每个波段进行训练，最后把每个CNN的输出结果进行串联，并用softmax分类器对其进行分类。但是现有的基于CNN的高光谱遥感影像分类算法，需要大量训练样本，所以在训练样本集数量较少的时候，现有的基于CNN的高光谱遥感影像分类往往不能取得良好的分类效果。
同时，虽然卷积神经网络在高光谱遥感影像分类方面取得了不错的效果，但是会出现分类正确率随网络深度的加深反而下降的问题。基于深度残差学习框架，通过在每层之间建立连接和传播特征值能够解决这一问题，残差网络可以看作是带有跳跃连接的卷积神经网络的一种扩展，它可以促进梯度的传播，并且结构非常深，性能很好。但是由于受地物杂散光、大气湍流、大气散射与吸收、探测器噪声等因素的影响，在高光谱遥感影像中经常会出现“同谱异物”和“同物异谱”的现象。
发明内容
本发明是为了解决现有的基于CNN的高光谱遥感影像分类方法需要大量训练样本的问题，以及容易受到干扰因素的影响的问题。
一种高光谱遥感影像分类方法，包括以下步骤：
获取高光谱遥感影像，并送入训练好的3D多尺度空谱特征融合的密集残差网络进行分类；
所述3D多尺度空谱特征融合的密集残差网络，包括基础特征提取模块、光谱特征提取模块、空间特征提取模块，以及融合分类模块；
所述基础特征提取模块为卷积核是1×1×m的卷积层；基础特征提取模块将提取到的3D特征图On-1分别送入光谱特征提取模块和空间特征提取模块；
所述光谱特征提取模块，首先使用K个尺寸为1×1×p和1×1×q卷积核提取光谱域的多尺度特征；提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K个特征图和原始输入On-1得到On；然后再使用K个尺寸为1×1×p和1×1×q的光谱卷积核，对On进行多尺度卷积运算，在光谱特征提取之后，融合每个尺度下学习的K个特征图以及On和原始输入On-1得到光谱特征图On+1；
所述空间特征提取模块，首先使用K'个尺寸为p'×p'×1和q'×q'×1卷积核学习光谱域的多尺度特征；提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K'个特征图和原始输入O'n-1得到O'n；然后再使用K'个p'×p'×1和q'×q'×1的光谱卷积核，对O'n进行多尺度卷积运算，在光谱特征提取之后，融合每个尺度下学习的K'个特征图以及O'n和原始输入O'n-1得到空间特征O'n+1；
所述融合分类模块，将所提取的光谱特征和空间结构特征做连接运算，然后输入到BN，RELU和CONV层；在末尾插入全局平均池化层+BN层+RELU层；然后连接FC层，在FC层之后，使用softmax层得到最终的分类结果。
进一步地，所述3D多尺度空谱特征融合的密集残差网络在训练过程中确定损失函数的过程包括以下步骤：
Step1：计算类别权重系数
式中，αi为第i个类别的权重系数，1≤i≤K3，ni为第i个类别的样本数，N为所有样本的总数，K3为样本类别总数；
Step2：计算各类别损失函数值li(θi,θ'i)＝αi(θi-θ'i)2；
式中，li(θi,θ'i)为第i个类别的损失值，θi为第i个类别的真实值，θ'i为第i个类别的预测值；
Step3：计算总体的损失函数
进一步地，所述基础特征提取模块使用步长为2的24个1×1×7的卷积核对原图像进行卷积运算。
进一步地，所述光谱特征提取模块的1×1×p和1×1×q卷积分别为1×1×7和1×1×5。
进一步地，所述光谱特征提取模块中的卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层。
进一步地，所述空间特征提取模块的p'×p'×1和q'×q'×1卷积核分别为5×5×1和3×3×1。
进一步地，所述空间特征提取模块中的卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层。
进一步地，所述光谱特征提取模块中的K为24；所述空间特征提取模块中的K'为24。
一种高光谱遥感影像分类装置，所述装置用于存储和/或运行一种高光谱遥感影像分类方法。
有益效果：
本发明提出的一种高光谱遥感影像分类方法，主要解决了以下几个方面的问题：(1)利用密集神经网络对光谱特征、空间结构特征和空谱特征进行特征映射，有效的提取出原始高光谱影像的高层次特征，同时有效的降低了过拟合现象的发生。而且本发明不易受到干扰因素的影响，即使存在干扰也能够取得良好的效果。(2)3D多尺度密集神经网络能够有效的提取出原始高光谱影像的特征，极大的提升了分类正确率。(3)以密集残差单元为基础，建立了不同层之间的连接关系，充分利用了feature，进一步减轻了梯度消失问题，减少了计算量，改进了训练效果。而且本发明因为特征选择的作用，能够缓解需要大量训练样本的问题。
附图说明
图1为3DMSS总体结构示意图；
图2为光谱特征提取模块结构示意图；
图3为空间特征提取模块结构示意图；
图4为融合分类模块结构示意图；
图5为训练及优化过程示意图；
图6为Indian Pines数据集中的高光谱数据的灰度图像；
图7是Indian Pines数据集中的地面真实图像；
图8为KSC数据集中的高光谱数据的灰度图像；
图9为KSC数据集中的地面真值图像；
图10为Salinas scene数据集中的高光谱数据的灰度图像；
图11为Salinas scene数据集中的地面真值图像；
图12为积核数量对分类结果的影响的实验结果；
图13(a)、图13(b)和图13(c)分别为3个数据集在不同百分比的训练集下的精度；
图14(a)至图14(h)地面真实值标签的颜色及不同方法(Ground truth、SVM、GABOR、FRF、3D-CNN、MS3FE、本发明)在数据集的实验结果对比图；
图15(a)至图15(h)地面真实值标签的颜色及不同方法(Ground truth、SVM、GABOR、FRF、3D-CNN、MS3FE、本发明)在SA数据集上的实验结果对比图；
图16(a)至图16(h)地面真实值标签的颜色及不同方法(Ground truth、SVM、GABOR、FRF、3D-CNN、MS3FE、本发明)在SA数据集上的实验结果对比图。
具体实施方式
具体实施方式一：
本实施方式为一种高光谱遥感影像分类方法，高光谱遥感影像HSI不是普通的二维图像，而是三维数据，包括一维的光谱数据和二维的空间数据。尽管HSI含有丰富的光谱信息，但是波段较多，相邻波段间相关性较高，存在特征冗余。由于光谱信息和空间信息对HSI的分类都有重要作用，在特征提取时，应考虑光谱维和空间维的特征。目前可以通过使用3D卷积核来提取HSI特征，虽然能够提高分类精度，但未充分提取有鉴别性的光谱特征或空间特征，使得高光谱遥感影像的处理效果有待于进一步提高。
本实施方式所述的一种高光谱遥感影像分类方法，包括以下步骤：
S1、建立3D多尺度空谱特征融合的密集残差网络(3D-Multiscale Spatial-spectral DenseNet，3DMSS)，如图1所示。
为了更好地预测地物的类别，在整个网络中，通过连续地提取光谱特征和空间特征，可有效利用更多有鉴别性的光谱——空间特征。多尺度网络的应用(即增加网络宽度)可缓解训练样本有限的问题。此外，本发明将特征融合模块嵌入多尺度网络中，通过共享不同尺度间的特征信息，增强网络的信息流，有利于空谱特征的提取，改善分类精度。本发明通过设计尺寸为1×1×p和1×1×q的卷积核来提取光谱特征，p'×p'×1和q'×q'×1的卷积核来提取空间特征。本发明优选为通过设计尺寸为1×1×5和1×1×7的卷积核来提取光谱特征，3×3×1和5×5×1的卷积核来提取空间特征。
3D多尺度空谱特征融合的密集残差网络，包括基础特征提取模块、光谱特征提取模块、空间特征提取模块，以及融合分类模块；
所述基础特征提取模块为卷积核是1×1×m的卷积层；基础特征提取模块将提取到的3D特征图On-1分别送入光谱特征提取模块和空间特征提取模块；优选地使用步长为2的24个1×1×7的卷积核对原图像进行卷积运算，经过研究和实验发现步长为2的24个1×1×7的卷积核进行处理，不仅非常适合处理高光谱遥感影像的数据结构，而且非常有利于光谱特征提取模块和空间特征提取模块的处理，即长为2的24个1×1×7的卷积核能够有效达到降维目的，可以极大地降低后期光谱特征提取模块和空间特征提取模块的计算量，同时能够有效地提升光谱特征提取模块和空间特征提取模块的特征提取能力。
所述光谱特征提取模块(Block 1)如图2所示，
在光谱特征提取时，首先使用K个(为了方便表示，图2中仅画出了一个，实际使用中是K个)尺寸为1×1×p和1×1×q卷积核提取光谱域的多尺度特征，如式(8)，式(9)所示：
其中，为卷积运算，w为卷积核的权值，b为卷积核的偏置，w和b的上标为卷积层数，下标为卷积核尺寸，σ(·)为修正线性单元(Rectified Linear Unit，ReLU)激活函数。
提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K个特征图(共2×K个特征图)和原始输入On-1，得到On，如式(10)所示：
On＝On-1+M1+N1 (3)
1×1×p和1×1×q卷积核优选为1×1×7和1×1×5，更加适合高光谱遥感影像的数据结果，尤其是更加适合卷积核1×1×7的基础特征提取模块得到的特征图，也就是说卷积核优选为1×1×7和1×1×5与卷积核1×1×7的基础特征提取模块以及后续的处理，能够保证整体具有较高的分类精度，即使对于边缘区域的像素和孤立像素也很容易正确分类，从而使得整体分类准确率达到96.78％以上(多数都在99.88％以上以上，甚至达到100％)，这个分类结果是学者和研究人员们惊讶的效果，这是现有技术不可能达到的，经过本发明的发明人研究发现，这主要是现有的提取网络在提取光谱特征和空间特征时的特征提取能力有限，且容易受到噪声等因素影响。本发明结合其他模块的处理能够很好的解决该问题。
然后再使用K个(为了方便表示，图2中仅画出了一个，实际使用中是K个)尺寸为1×1×p和1×1×q的光谱卷积核，对On进行多尺度卷积运算，如式(11)，式(12)所示：
其中，各变量的含义同式(8)和式(9)。
在光谱特征提取之后，将学习到的有判别性的光谱特征图On+1，如式(13)所示：
On+1＝On+On-1+M2+N2 (6)
实际处理过程中，所述卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层；
1×1×p和1×1×q卷积核优选为1×1×7和1×1×5，更加适合于处理前面的网络结构提取到的特征图，并能够很好的配合后续的处理，从而能够保证整体具有较高的分类精度，即使对于边缘区域的像素和孤立像素也很容易正确分类，从而使得整体分类准确率达到96.78％以上(多数都在99.88％以上以上，甚至达到100％)。
所述空间特征提取模块(Block 3)如图3所示。在空域特征提取时，首先使用K'个(为了方便表示，图3中仅画出了一个，实际使用中是K'个)尺寸为p'×p'×1和q'×q'×1卷积核学习光谱域的多尺度特征，如式(14)，式(15)所示：
其中，为卷积运算，w为卷积核的权值，b为卷积核的偏置，w和b中上指标为卷积层数，下指标为卷积核尺寸，σ(·)为修正线性单元(Rectified Linear Unit，ReLU)激活函数。
提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K'个特征图(共2×K'个特征图)和原始输入O'n-1，得到O'n，如式(16)所示：
O'n＝O'n-1+M'1+N'1 (9)
p'×p'×1和q'×q'×1卷积核优选为5×5×1和3×3×1，更加适合高光谱遥感影像的数据结果，尤其是更加适合卷积核1×1×7的基础特征提取模块得到的特征图，也就是说卷积核优选为5×5×1和3×3×1与卷积核1×1×7的基础特征提取模块以及后续的处理，能够保证整体具有较高的分类精度，即使对于边缘区域的像素和孤立像素也很容易正确分类，从而使得整体分类准确率达到96.78％以上(多数都在99.88％以上以上，甚至达到100％)，这是现有技术不可能达到的，经过本发明的发明人研究发现，这主要是现有的提取网络在提取光谱特征和空间特征时的特征提取能力有限，且容易受到噪声等因素影响。本发明结合其他模块的处理能够很好的解决该问题。
然后再使用K'个p'×p'×1和q'×q'×1的光谱卷积核，对O'n进行多尺度卷积运算，如式(17)，式(18)所示：
其中，各变量的含义同式(8)和式(9)。
在光谱特征提取之后，将学习到的有判别性的光谱特征图O'n+1，如式(19)所示：
O'n+1＝O'n+O'n-1+M'2+N'2 (12)
实际处理过程中，所述卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层；
p'×p'×1和q'×q'×1卷积核为5×5×1和3×3×1，更加适合于处理前面的网络结构提取到的特征图，并能够很好的配合后续的处理，从而能够保证整体具有较高的分类精度，即使对于边缘区域的像素和孤立像素也很容易正确分类，从而使得整体分类准确率达到96.78％以上(多数都在99.88％以上以上，甚至达到100％)。这里需要强调的是，这里并没有像光谱特征提取模块一样使用K+K个卷积核处理，这里使用的是K'+K'个卷积处理，这种光谱卷积核的处理方式非常适合对空间特征进行特征提取，不仅能够保证提取到的特征在后续处理的准确性，而且也不会导致参数的过分增加，能够在保证分类准确率的基础上有效地保证网络的运行效率和处理速度。
所述融合分类模块(Block 3)如图4所示。将所提取的光谱特征和空间结构特征做连接运算，然后输入到BN，RELU和CONV层；在末尾插入全局平均池化层+BN层+RELU层。；然后连接FC层，在FC层之后，使用softmax层得到最终的分类结果。
O”n+1＝On+1+O'n+1 (13)
本发明提出的融合分类模块结构能够有效的对光谱特征和空间结构特征进行融合，尤其是CONV层优选为64个1×1×5，能够保证连接的光谱特征和空间结构特征的处理，从而实现整体对光谱特征分类的精度，得整体分类准确率达到96.78％以上(多数都在99.88％以上以上，甚至达到100％)。
S2、设计损失函数：
在深度神经网络的训练过程中，损失函数是连接统计推断和分类问题所在领域的桥梁，而高光谱遥感影像数据具有上述独特的特征，因此传统的损失函数在高光谱遥感影像分类中往往难以取得理想的效果。所以本发明针对高光谱遥感影像的特点，设计具有问题针对性的、适合高光谱遥感影像训练的损失函数。
基于以上问题分析，本发明提出了一种分段区间非对称平方误差损失函数，其计算过程如下所示：
Step1：计算类别权重系数αi，αi的计算方式如下：
式中，αi为第i个类别的权重系数，ni为第i个类别的样本数，N为所有样本的总数，K3为样本类别总数。
Step2：计算各类别损失函数值li(θi,θ'i)，li(θi,θ'i)的计算方式如下：
li(θi,θ'i)＝αi(θi-θ'i)2 1≤i≤K3
式中，li(θi,θ'i)为第i个类别的损失值，θi为第i个类别的真实值，θ'i为第i个类别的预测值，
Step3：计算总体的损失函数如下：
本发明所提出的分段区间非对称平方误差损失函数，不同于传统的损失函数之处在于，传统的损失函数是利用全部样本来计算损失值，并未考虑某一类的损失值；本发明根据样本数量的多少设置不同的权重系数值，分段计算每类样本的统计损失函数值，最后对各类别样本的损失函数值求和得到整体的损失函数值，该方法综合考虑了训练数据中每个样本的数量，及其类内的损失值，从而获得上更细致、更精确的损失值。而且本发明计算各类别的损失函数的具体值，在解决高光谱遥感影像多分类问题的同时，有效的缓解了训练样本不均衡的问题，提高了整个网络的训练效率。同时传统的多目标损失函数中的系数是通过多次重复实验来确定的，无理论依据。而本发明中的分段权重系数αi是通过特定的公式来计算的，具有坚实的理论基础，有利于推广应用。
还要强调的是，现有的传统的图像分类分类方法还存在以下问题：
传统影像一副图像一般仅为一个分类目标；但是在处理高光谱遥感影像时，在一副高光谱遥感影像中通常包含十几甚至几十个分类目标(例如Indian pines、KSC和Salinas scene高光谱数据分别含有16、13、16个分类目标)，所以现有的神经网络及损失函数不能取得很好的分类效果。但是本发明的提出的网络结构和损失函数可以很好的解决上述问题。
同时，由于高光谱遥感影像数据集每个类别的样本数是不均衡的，例如在Indianpines数据集中最少的Oats类别仅含有20个样本数，而最多的Soybean-mintill含有2468个样本数，现有的神经网络在这种情况往往不能取得较好的训练效果，但是本发明仍然可以取得非常良好的效果。
具体实施方式二：
本实施方式为一种高光谱遥感影像分类装置，所述装置用于存储和/或运行一种高光谱遥感影像分类方法。
实施例
利用具体实施方式一的方案进行实验，以验证本发明的有效性。在实验过程中利用如下的训练及优化方式进行验证：
为了得到分类效果优、泛化能力最佳的3DMSS模型，将实验数据集(Original set)分别划分成三组：训练集(Training set)、验证集(Validation set)和测试集(Test set)。训练集Z1及其相应的标签Y1用于更新网络的参数，验证集Z2及其相应的标签Y2用于监测在训练阶段生成的中间模型，测试集Z3用于评估最优训练网络HSI分类的总流程图如图5所示：
在图5中，60％的训练集样本输入网络中得到初始模型，通过20％验证集更新中间模型，多次更新迭代后，保留最优模型。最后将剩余20％的测试集通过最优模型预测样本的类标签。在迭代更新过程中，真实的类标签Y3＝{y1,y2,…,yL}与预测的类标签间的差异使用交叉熵损失函数估计，如式(21)所示：：
其中，L为每个数据集总的类标签数，yi为样本真实类标签，为样本预测类标签。整个网络按照图5的流程迭代更新得到最终的预测结果。
利用三个公开的数据集(the Indian Pines(IN)dataset，Kennedy Space Center(KSC)dataset and Salinas(SA)dataset)来评估本发明的效果。首先，测试了基于Multi-CNN的HSI模型的主要组成部分，包括多尺度的卷积核、卷积核的大小以及激活函数对分类精度的影响。然后，将所提出的分类模型与主流方法进行总体精度、平均精度和kappa系数的比较。实验中使用的硬件和软件环境如表1所示。
表1
采用整体精度(OA)、平均精度(AA)和kappa系数(K)对分类结果进行定性评价。
总体分类精度(Overall Accuracy)：是指对每一个随机样本，所分类的结果与检验数据类型相一致的概率，总体分类精度等于被正确分类的像元总和除以总像元数，其计算方法如公式22所示：
平均准确率:指各类别分类准确率的平均值。计算方法如公式23所示:
Kappa系数：是另外一种计算分类精度的方法。Kappa系数是一种比例，代表着分类与完全随机的分类产生错误减少的比例。1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标，实践证明，它是一个描述诊断的一致性的较为理想的指标，因此在实际工程中得到广泛的应用。Kappa系数计算结果为-1～1，但通常Kappa系数是落在0～1间，kappa＝1表示两次判断完全一致；Kappa>＝0.75表示比较满意的一致程度；Kappa<0.4表示不够理想，其计算公式如公式24所示：
本实施例中利用三个公开的数据集(the Indian Pines(IN)dataset，KennedySpace Center(KSC)dataset and Salinas(SA)dataset)来评估本发明的效果。
Indian Pines数据集：Indian Pines数据集是AVRIS在1992年6月12日收集的。高光谱图像的拍摄区域位于印第安纳州西北部的普渡大学的一个农场。之所以选择这个数据集，是因为它是一个标准的高光谱参考数据集，而且它具有覆盖真值的准确性。这有利于重复实验和算法重现。该数据集广泛应用于高光谱图像分类研究。数据波段覆盖范围为400-2500纳米。原始数据包含220个光谱通道。空间分辨率为20米。
图6为高光谱数据的灰度图像。图7是Indian Pines数据集的地面真实图像。数据集有16个土地覆被类别，样本大小如表2所示。
表2
KSC数据集：1996年3月23日，美国航空航天局的AVIRIS(机载可见/红外成像光谱仪)仪器在佛罗里达州肯尼迪航天中心上空采集得到Kennedy Space Center(KSC)数据集。该数据集的中心波长为400-2500nm的10nm，共包含224个波段，去除吸水波段和低信噪比波段后，使用176个波段进行分析。KSC数据拍摄高度大约为20公里，空间分辨率为18米。训练数据是通过使用肯尼迪航天中心提供的彩色红外照片和陆地卫星专题制图仪(TM)图像获得的土地覆盖图来选择的。KSC人员制定了植被分类方案，定义在Landsat和AVIRIS数据的空间分辨率下可识别的功能类型。由于某些植被类型的光谱特征相似，因此很难对该环境的土地覆被进行区分。为了进行分类，为该场地定义了13个类别，代表在该环境中出现的各种土地覆盖类型。
图8为高光谱数据的灰度图像。图9为KSC的地面真值图像。数据集有13个土地覆被类别，样本数量分布如表3所示。
表3
Salinas scene数据集：该场景由位于加利福尼亚州萨利纳斯谷上空的AVIRIS传感器采集，包含224个波段，具有高空间分辨率(3.7米像素)的特点。该数据集保护包括蔬菜、裸地和葡萄园等真实地物共16个类别。
图10为高光谱数据的灰度图像。图11为Salinas scene的地面真值图像。数据集有16个土地覆盖类别，样本数量分布如表4所示。
表4
为了设置更好的网络结构，通过实验对比，确定更优的光谱空间多尺度特征融合残差块数目、空间输入尺寸及输入训练集的百分比。
本实验分析卷积核数量对分类结果的影响。在实验过程中，将Block1和Block2中各残差单元的卷积核数量K和K’分别设置为6、12、24、48、64，然后分别记录不同卷积核数量下的分类正确率，以此来评估卷积核数量对分类结果的影响。
图12为实验结果，从实验结果可以看出，在一定条件下，增加卷积核的数量确实可以提升分类的正确率；但是分类的正确率并不是随着卷积核的增加而线性提升；在本数据集中随着卷积核数量的增加，分类的正确率出现先升后趋于平缓的现象；实验证明卷积核数量为24时，分类正确率最高。从本实验还可以看出，随着卷积核数量的增多，模型的计算复杂度随之变大，分类所用的时间也逐渐增多。因此本发明综合分类正确率和时间复杂度，将卷积层的卷积核数量设置为24。
表5为不同光谱卷积核深度下精度对比。由表可知，随着卷积核深度的增加，OA、AA和Kappa系数也随之增大，当尺寸增加到9×9时，精度增加缓慢或停止增加。尽管空间尺寸为11×11时，IN、UP数据集的OA和AA达到最大，但是当空间尺寸为9×9时，OA、AA和Kappa系数近似于空间尺寸为11×11时的精度。综合考虑，选择空间尺寸为9×9的输入尺寸训练网络。
表5
表6为不同空间尺寸下的精度对比。由表可知，随着补丁块尺寸的增加，OA、AA和Kappa系数也随之增大，当尺寸增加到9×9时，精度增加缓慢或停止增加。尽管空间尺寸为11×11时，IN、UP数据集的OA和AA达到最大，但是当空间尺寸为9×9时，OA、AA和Kappa系数近似于空间尺寸为11×11时的精度。综合考虑，选择空间尺寸为9×9的输入尺寸训练网络。
表6
图13为3个数据集在不同百分比的训练集下的精度，图13(a)至图13(c)分别对应Indian pines、KSC、SA数据集。由图13(a)、图13(b)可清晰看出，当训练集在5％～15％之间时，精度明显上升，当百分比达到20％后精度增加缓慢，所以对于IN、KSC数据集，选择20％训练样本训练网络。由图13(c)可知，训练集在5％～7.5％之间时，精度上升明显。当训练集达到10％后精度变化缓慢，基本保持不变，所以对于SA数据集，选择10％的训练样本训练网络。
为了验证本发明所提出的3DMSS的分类效果，我们从OA，AA和Kappa系数三个方面，将3DMSS同其他五种典型的高光谱遥感影像分类方法进行了对比。这五种方法包括：支持向量机分类方法(Support Vector Machine，SVM)、GABOR纹理特征分类法、Image Fusion andRecursive Filtering(IFRF)，3D-CNN[27]，MS3FE。表7～表9为各方法在3个数据集上的测试精度对比。
表7
表8
表9
由表7——表9可知，本发明方法可达到最优精度，3个数据集的OA分别为99.36％、99.86％和99.99％。
图14——图16分别为不同方法在3个数据集上的视觉图。图16(a)为Colorofgroundtruthlabels，图16(b)为Groundtruth，图16(c)为SVM(89.57％)，图16(d)为GABOR(91.53％)，图16(e)为IFRF(97.36％)，图16(f)为3D-CNN(90.15％)，图16(g)为MS3FE(97.39％)，图16(h)为本发明3DMSS(99.99％)。
由图可清晰看到，SVM、GABOR和3D-CNN视觉效果图噪声明显，分类模糊；RF和MS3FE对地物分类相对清晰，但仍有些许噪声；3DMSS的分类可视化图最清晰，对地物分类的结果最接近真实地物标签。
分析上述试验结果，我们可以得出以下结论：
1空间分辨率越大，在越大的空间卷积核通道上取得的分类效果越好。IN的空间分辨率为145X145，KSC的空间分辨率为512X614，SA的空间分辨率为512X217。由于IN的分辨率最小，因此IN在3x3的卷积核取得最好的分类正确率；KSC和SA的空间分辨率要大于IN，所以其在5x5稍大的卷积核取得最好的分类正确率。
2光谱分辨率越大，在越大的卷积核通道上取得的分类效果越好。IN，KSC和SA的光谱波段数分别为：200，176和184。IN的光谱波段数最大，因此IN在1x1x7的一维卷积核取得最高的分类正确率。KSC和SA的光谱波段数小于IN，因此KSC和SA在1x1x5的卷积核取得最高的分类正确率。
3深度学习方法优于统计学方法。在全部六种对比方法中，SVM，Gabor and RF是传统的基于统计学的分类方法。3D-CNN，MS3FE和本发明所提出的3DMSS方法属于基于深度学习的方法，并且这三种方法都用到了卷积神经网络技术。从实验结果可以看出基于深度学习方法的分类效果要明细好于基于统计学方法的分类效果。
4空谱特征有助于提高分类正确率。在全部六种对比方法中，本发明所提出的3DMSS和MS3FE优于综合考虑了原始高光谱遥感影像的光谱特征和空间结构特征，首先分别提取光谱特征和空间结构特征，然后将两种特征进行融合，最后进行分类。这种基于空谱特征提取的方法所取得的分类结果要好于其他方法。
5残差网络的分类效果优于其他网络模型。对比MS3FE方法，本发明所提出的3DMSS方法。能够从不同尺度分别提取原始高光谱遥感影像的空谱特征，使不同支路的特征共享，增强信息流，从而探测不同尺度下更丰富的图像特征；同时，为了更好地训练网络，进一步提高分类性能，在多尺度特征融合块中引入残差连接。因此本发明所提出的3DMSS方法取得了最优的分类结果。
6本发明所提出的3DMSS方法在三个数据集上面都取得了最好的分类结果。在SA和KSC这两个数据集中，没个类别的分类正确率都达到了99以上。在IN数据集中没个类别的分类精度都达到了98％以上，虽然在IN的Class9上面没有取得最高的分类正确率，但是classification map的分类界线明细优于其他方法。
为了改善高光谱遥感影像的分类性能，本发明提出端对端的3D多尺度特征融合残差网络，采用自适应方法连续提取原始高光谱遥感影像的光谱特征和空间特征。考虑到高光谱遥感影像波段较多、数据间存在冗余及训练样本有限等特征，在不加深网络的情况下通过使用多尺度的方法提取更丰富的特征。融合不同尺度下的特征，使不同支路的特征共享，增强信息流，从而探测不同尺度下更丰富的图像特征，为了更好地收敛网络，进一步提高分类性能，在多尺度特征融合块中引入残差连接。实验表明，本发明方法在高光谱遥感影像分类上性能良好，在视觉效果上也表现出一定优势。今后会根据HSI的特点尝试结合多尺度网络及数据增强、通道-空间关注等方法，构造更优的网络结构。
实施例1：Indian Pine是农林混合区域森林覆盖率调查
该数据集中所包含的样本可以分为农作物、森林、多年生植物和其他三个大的类别。其中，农作物包括：Corn-notill[1428]、Corn-min[685]、Corn[221]、Oats[20]、Soybean-notill[924]、Soybean-mintill[2350]、Soybean-clean[561]、Wheat[205]；森林包括：Trees[730]、Woods[1265]、Gldg-tree[265]；多年生植物包括：Alfafa[46]、Pasture[423]、Pasture-mowed[28]、Hay-windrowed[478]；其他：Towers[93]。从数据集中各样本的所属类别来看，农作物占全部样本的65.77％，林地占全部样本的23.25％，多年生植物占全部样本的10.03％，其他类别占全部样本的0.96％。因此该数据集为典型的农林混合高光谱遥感影像。应用本数据集的目的是研究分析该区域的林地分布情况，即从农林混合地物中识别出林地，实现林地与非林地的统计识别，在实际应用中可为退耕还林政策提供数据支撑，同时也有利于当地的生态环境保护。
本实验通过混淆矩阵、总体分类精度、平均分类精度和Kappa系数四个方面，对本发明所提出的his高光谱遥感影像分类模型进行评价(评价所用数据为第二组数据)。表10为Indian Pines农林混合高光谱遥感影像分类结果混淆矩阵。
总体分类精度：
平均分类精度：
Kappa系数：
表10 Indian Pines农林混合高光谱遥感影像分类结果混淆矩阵
为了验证本模型的分类效果，针对Indian Pines数据集将本发明所提出的方法同目前其他典型的算法进行了比较实验分析，实验结果如表11所示：
由表11以看出，在总体分类精度这一指标来看，SVM分类算法所取得的分类正确率最低；RBF-SVM分类算法对SVM算法进行了一些优化，分类正确率有所提升，但效果不明显；NRS-AMRF算法的分类效果要好于SVM及其优化算法，总体分类精度达到了90.55％；本发明发明分类正确率明显优于其他各分类算法，总体分类精度最高，达到了96.78％，符合生产实践要求。
表11 Indian Pines各种算法分类对比情况
从实验分类结果来看在16个地物类别中，共包含10249个待分类样本，其中第6类别、第14类别和第15类别为林地。第6类别的样本数为730，被正确分类的样本数为729；第14类别的样本数为1265，被正确分类的样本数为1230；第15类别的样本数为386，被正确分类的样本数为386。该地区真实的森林覆盖率为(730+1265+386)/10249＝23.23％，实验所得的森林覆盖率为(729+1230+386)/10249＝22.88％。实验所得值与真实值仅相差0.35％。说明该地区非林用地占大部分，林地所占比例较少，可以重点实施退耕还林政策。
实施例2：Botswana森林生态系统资源保护情况调查
本数据集所采集区域为博茨瓦纳共和国北部的奥卡万戈三角洲(OkavangoDelta，Botswana)，又被称作奧卡万戈沼择，面积约15000平方公里，是世界上最大的内陆三角洲，为国际重点保护湿地生态系统，并于2014年被列入世界遗产名录。然而，一方面，随着当地人口的増加，人类活动加剧，导致该地区的林地植被覆盖变化剧烈，时刻威胁着三角洲内的动植物生存；另一方面，该地区不可避免的受到全球气候变暖趋势的影响，气候的变化会影响该地区的水循环时空变化，最终导致林地植被覆盖情况的变化。因此，为了保护当地的林业生态环境，进行常规的地表森林资源保护情况调查至关重要。
该数据集中所包含的样本可以分为草地、林地和其他三个大的类别。其中，草地包括：Hippo grass[101]、Floodplain grass1[251]、Floodplain grass2[215]、Reeds[269]、Acacia grassland[305]；林地包括：Acacia woodland[314]、Acacia shurbland[248]、Shord mopane[172]、mixed mopane[268]；其他：Water[270]、Riparian[269]、Firescar[259]、Island interor[203]、Exposed soils[95]。从数据集中各样本的所属类别来看，草地占全部样本的35.23％，林地占全部样本的30.94％，其他类别占全部样本的33.84％。应用本数据集的目的是研究调查该地区的森林保护情况，即从草地、林地和其他识别出林地，实现林地与草地、水体等其他地物类别的统计识别，在实际应用中可为森林资源调查提供数据支撑，同时也有利于当地的生态环境保护。
通过混淆矩阵、总体分类精度、平均分类精度和Kappa系数四个方面，对本发明进行评价(评价所用数据为第二组数据)。表12为Botswana湿地生态系统植被覆盖高光谱遥感影像分类结果混淆矩阵：
总体分类精度：
平均分类精度：
Kappa系数：
表12 Botswana湿地生态系统植被覆盖高光谱遥感影像分类结果混淆矩阵
为了验证本发明所提出的分类模型的分类效果，针对Botswana数据集将本发明所提出的方法同目前其他典型的算法进行了比较实验分析，实验结果如表13所示：
表13 Bostwana各种算法分类对比情况
由表13可以看出，在总体分类精度这一指标来看，LORSAL、MPM-LBP、CDL-MLR、CRC-SR和本发明所提出的分类模型，均取得了较好的总体分类精度，总体分类精度都达到了90％以上，其中LORSAL算法的总体分类精度最低为91.71％，其他各种分类算法的差距不大，都达到了97％以上的总体分类精度，本发明总体分类精度最高，达到了99.88％。
从实验分类结果来看在14个地物类别中，共包含3239个待分类样本，其中第9类别、第10类别、第12类别和第13类别为林地。第9类别的样本数为314，被正确分类的样本数为312；第10类别的样本数为248，被正确分类的样本数为248；第12类别的样本数为172，被正确分类的样本数为172；第13类别的样本数为268，被正确分类的样本数为268。该地区真实的森林覆盖率为(314+248+172+268)/3239＝30.94％，实验所得的森林覆盖率为(312+248+172+268)/3239＝30.87％。实验所得值与真实值仅相差0.07％，说明该数据可以为保护当地的林业生态环境提供数据支撑。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种高光谱遥感影像分类方法，其特征在于，包括以下步骤：
获取高光谱遥感影像，并送入训练好的3D多尺度空谱特征融合的密集残差网络进行分类；
所述3D多尺度空谱特征融合的密集残差网络，包括基础特征提取模块、光谱特征提取模块、空间特征提取模块，以及融合分类模块；
所述基础特征提取模块为卷积核是1×1×m的卷积层；基础特征提取模块将提取到的3D特征图On-1分别送入光谱特征提取模块和空间特征提取模块；
所述光谱特征提取模块，首先使用K个尺寸为1×1×p和1×1×q卷积核提取光谱域的多尺度特征：
其中，为卷积运算，w为卷积核的权值，b为卷积核的偏置，w和b的上标为卷积层数，下标为卷积核尺寸，σ(·)为修正线性单元激活函数；
提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K个特征图和作为原始输入的3D特征图On-1得到On：
On＝On-1+M1+N1
然后再使用K个尺寸为1×1×p和1×1×q的光谱卷积核，对On进行多尺度卷积运算，分别得到M2和N2，在光谱特征提取之后，融合每个尺度下学习的K个特征图以及On和作为原始输入的3D特征图On-1得到光谱特征图On+1：
On+1＝On+On-1+M2+N2
所述空间特征提取模块，首先使用K'个尺寸为p'×p'×1和q'×q'×1卷积核学习光谱域的多尺度特征：
其中，为卷积运算，w为卷积核的权值，b为卷积核的偏置，w和b中上指标为卷积层数，下指标为卷积核尺寸，σ(·)为修正线性单元激活函数；
提取两个尺度下的浅层光谱特征，融合每个尺度下学习的K'个特征图和作为原始输入的3D特征图On-1得到O'n：
O'n＝On-1+M1'+N1'
然后再使用K'个p'×p'×1和q'×q'×1的光谱卷积核，对O'n进行多尺度卷积运算，分别得到M'2和N'2，在光谱特征提取之后，融合每个尺度下学习的K'个特征图以及O'n和作为原始输入的3D特征图On-1得到空间特征O'n+1：
O'n+1＝O'n+On-1+M'2+N'2
所述融合分类模块，将所提取的光谱特征和空间结构特征做连接运算，然后输入到BN，RELU和CONV层；在末尾插入全局平均池化层+BN层+RELU层；然后连接FC层，在FC层之后，使用softmax层得到最终的分类结果；
所述3D多尺度空谱特征融合的密集残差网络在训练过程中确定损失函数的过程包括以下步骤：
Step1：计算类别权重系数
式中，αi为第i个类别的权重系数，1≤i≤K3，ni为第i个类别的样本数，N为所有样本的总数，K3为样本类别总数；
Step2：计算各类别损失函数值li(θi,θi')＝αi(θi-θi')2；
式中，li(θi,θi')为第i个类别的损失值，θi为第i个类别的真实值，θi'为第i个类别的预测值；
Step3：计算总体的损失函数
2.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，所述基础特征提取模块使用步长为2的24个1×1×7的卷积核对原图像进行卷积运算。
3.根据权利要求1或2所述的一种高光谱遥感影像分类方法，其特征在于，所述光谱特征提取模块的1×1×p和1×1×q卷积分别为1×1×7和1×1×5。
4.根据权利要求3所述的一种高光谱遥感影像分类方法，其特征在于，所述光谱特征提取模块中的卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层。
5.根据权利要求4所述的一种高光谱遥感影像分类方法，其特征在于，所述空间特征提取模块的p'×p'×1和q'×q'×1卷积核分别为5×5×1和3×3×1。
6.根据权利要求5所述的一种高光谱遥感影像分类方法，其特征在于，所述空间特征提取模块中的卷积核对应的处理单元为BN层+RELU层+卷积层+DROPOUT操作层。
7.根据权利要求6所述的一种高光谱遥感影像分类方法，其特征在于，所述光谱特征提取模块中的K为24。
8.根据权利要求7所述的一种高光谱遥感影像分类方法，其特征在于，所述空间特征提取模块中的K'为24。
9.一种高光谱遥感影像分类装置，其特征在于，所述装置用于存储和/或运行权利要求1至8之一所述的一种高光谱遥感影像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011009872.6A CN112101271B (zh) | 2020-09-23 | 2020-09-23 | 一种高光谱遥感影像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011009872.6A CN112101271B (zh) | 2020-09-23 | 2020-09-23 | 一种高光谱遥感影像分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101271A CN112101271A (zh) | 2020-12-18 |
| CN112101271B true CN112101271B (zh) | 2024-08-06 |
Family
ID=73755121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011009872.6A Active CN112101271B (zh) | 2020-09-23 | 2020-09-23 | 一种高光谱遥感影像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101271B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580547A (zh) * | 2020-12-24 | 2021-03-30 | 武汉欧铭达科技有限公司 | 一种航空影像特征点自动识别方法和系统 |
| CN112633401B (zh) * | 2020-12-29 | 2022-11-08 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱遥感图像分类方法、装置、设备及存储介质 |
| CN112733659B (zh) * | 2020-12-30 | 2022-09-20 | 华东师范大学 | 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 |
| CN114373120B (zh) * | 2021-03-25 | 2023-05-23 | 河北地质大学 | 一种多尺度空间融合高光谱土壤重金属污染识别评价方法 |
| CN113191261B (zh) * | 2021-04-29 | 2022-12-06 | 北京百度网讯科技有限公司 | 图像类别的识别方法、装置和电子设备 |
| CN113361355B (zh) * | 2021-05-28 | 2022-11-18 | 同济大学 | 联合多时相特征的遥感影像地表要素识别方法及存储介质 |
| CN113392748B (zh) * | 2021-06-07 | 2023-06-30 | 中国煤炭地质总局勘查研究总院 | 一种基于卷积神经网络的遥感影像耕地信息提取方法 |
| CN113313185B (zh) * | 2021-06-09 | 2024-01-12 | 西北工业大学 | 一种基于自适应空谱特征提取的高光谱图像分类方法 |
| CN113723464B (zh) * | 2021-08-02 | 2023-10-03 | 北京大学 | 一种遥感影像分类方法及装置 |
| CN113705718B (zh) * | 2021-09-06 | 2024-04-02 | 齐齐哈尔大学 | 基于多层次特征密集融合的遥感场景图像分类方法 |
| CN114120033B (zh) * | 2021-11-12 | 2024-10-25 | 武汉大学 | 高光谱图像分类方法、装置、设备及存储介质 |
| CN116416441A (zh) * | 2021-12-28 | 2023-07-11 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
| CN114758203B (zh) * | 2022-03-31 | 2023-01-10 | 长江三峡技术经济发展有限公司 | 用于高光谱图像分类的残差密集视觉转换方法和系统 |
| CN117809193B (zh) * | 2024-03-01 | 2024-05-17 | 江西省林业科学院 | 一种无人机高光谱影像与地物高光谱数据融合方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469316B (zh) * | 2016-09-07 | 2020-02-21 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及系统 |
| CN110321963B (zh) * | 2019-07-09 | 2022-03-04 | 西安电子科技大学 | 基于融合多尺度多维空谱特征的高光谱图像分类方法 |
| CN111191736B (zh) * | 2020-01-05 | 2022-03-04 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
-
2020
- 2020-09-23 CN CN202011009872.6A patent/CN112101271B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210313A (zh) * | 2019-05-06 | 2019-09-06 | 河海大学 | 基于多尺度pca-3d-cnn空谱联合的高光谱遥感影像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Multi-CNN空间特征提取的高光谱遥感影像分类;宋海峰 等;《测绘工程》;第28卷(第6期);第11-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112101271A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101271B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| Chouhan et al. | Applications of computer vision in plant pathology: a survey | |
| Zhang et al. | Three-dimensional convolutional neural network model for tree species classification using airborne hyperspectral images | |
| Farmonov et al. | Crop type classification by DESIS hyperspectral imagery and machine learning algorithms | |
| Xie et al. | Multiscale densely-connected fusion networks for hyperspectral images classification | |
| Kaur et al. | An approach for characterization of infected area in tomato leaf disease based on deep learning and object detection technique | |
| Kumari et al. | Hybridized approach of image segmentation in classification of fruit mango using BPNN and discriminant analyzer | |
| Gautam et al. | ESDNN: A novel ensembled stack deep neural network for mango leaf disease classification and detection | |
| Ganesh Babu et al. | Different stages of disease detection in squash plant based on machine learning | |
| Khan et al. | Machine learning-based detection and classification of walnut fungi diseases | |
| Aggarwal et al. | Segmentation of crop images for crop yield prediction | |
| CN110516648B (zh) | 基于无人机遥感和模式识别的苎麻株数识别方法 | |
| Lone et al. | Object detection in hyperspectral images | |
| Gandhimathi Alias Usha et al. | Improved segmentation and change detection of multi-spectral satellite imagery using graph cut based clustering and multiclass SVM | |
| Gómez-Chova et al. | Cloud detection machine learning algorithms for PROBA-V | |
| CN113673556A (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
| Nuradili et al. | UAV Remote-Sensing Image Semantic Segmentation Strategy Based on Thermal Infrared and Multispectral Image Features | |
| Hnatushenko et al. | Processing technology of thematic identification and classification of objects in the multispectral remote sensing imagery | |
| CN118230166A (zh) | 基于改进Mask2YOLO网络的玉米冠层器官识别方法及冠层表型检测方法 | |
| Sahu et al. | Self‐adaptive‐deer hunting optimization‐based optimal weighted features and hybrid classifier for automated disease detection in plant leaves | |
| Shen et al. | Hyperspectral image classification based on combining texture and multiscale guided filter feature of principal component | |
| Liu et al. | Harnessing UAVs and deep learning for accurate grass weed detection in wheat fields: a study on biomass and yield implications | |
| CN112966781A (zh) | 基于三元组损失和卷积神经网络的高光谱图像分类方法 | |
| Babu et al. | Inherent feature extraction and soft margin decision boundary optimization technique for hyperspectral crop classification | |
| Carneiro et al. | Deep Learning for Automatic Grapevine Varieties Identification: A Brief Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |