CN107239751B - 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 - Google Patents

Abstract

一种基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，包括输入待分类的高分辨SAR图像，对图像中的各像素点进行多层非下采样轮廓波变换，获取各像素点的低频系数和高频系数；将低频系数和高频系数选择并融合，构成基于像素点的特征矩阵F；将特征矩阵F中的元素值归一化，得到归一化特征矩阵F1；将归一化特征矩阵F1切块，得到特征块矩阵F2并作为样本数据；构造训练数据集特征矩阵W1和测试数据集特征矩阵W2；构造基于全卷积神经网络的分类模型；训练分类模型；利用训练好的模型对测试数据集T分类，得到测试数据集T中每个像素点的类别，将得到的每个像素点类别与类标图对比，计算出分类准确率，提高了分类精度和速度。

Description

基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法

技术领域

本发明属于图像处理领域，具体涉及一种基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，能够应用于高分辨SAR图像，有效提高目标的识别精度。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是近年来得到广泛研究和应用的一种遥感传感器，与光学、红外等其它传感器相比，SAR成像不受天气、光照等条件的限制，能够对感兴趣的目标进行全天候、全天时的侦查。而且SAR还具有一定的穿透能力，能够在有云层干扰、树丛遮挡或是目标浅埋地表等不利条件下实现对目标的探测。此外，由于SAR特殊的成像机理，使得高分辨SAR图像包含与其他传感器不同的内容，给目标探测提供了更丰富全面的信息。由于SAR具备众多显著的优点，具有极大的应用潜力。近年来对SAR技术的研究引起了广泛关注，不少研究成果已被成功应用于环境监测、地形测量、目标探测等方面。

高分辨SAR图像分类的关键是对高分辨SAR图像的目标特征提取，现有的SAR图像分类技术有基于统计的分类方法、基于图像纹理的分类方法以及基于深度学习的分类方法。

基于统计的分类方法是根据不同性质图像区域的统计特性差异进行分类，但是该方法忽略了图像的空间分布特性，因此分类结果往往不理想。近年来也出现了一些基于纹理特征的分类方法，如基于灰度共生矩阵(GLCM)的方法、基于Markov随机场(MRF)的方法、Gabor小波方法等，但是由于SAR图像相干成像的机理，导致SAR图像中的纹理不明显且不稳健，此外计算机纹理特征需要对图像进行逐点扫描，计算量巨大且不能满足实时性要求。

以上传统的SAR图像分类方法只能依靠人工提取一些代表目标特性的浅层特征，这些浅层特征仅仅通过将原始输入信号转换到特定问题空间得出，并不能完全的表征出目标像素点之间的邻域相关性。2006年，Hinton等人提出了无监督的逐层贪婪训练方法，解决了深度增加所带来的“梯度耗散”问题。随后，许多学者根据不同的应用背景提出了多种DL模型，如深度置信网(Deep Belief Network，DBN)、栈式降噪自编码机(Stacked DenoisingAutoencoders，SDA)和卷积神经网络(Convolutional Neural Network，CNN)等。但是，上述特征提取方法均没有考虑到高分辨SAR图像的多尺度、多方向、多分辨特性，因此，对于背景复杂的高分辨SAR图像难以得到较高的分类精度。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，结合高分辨SAR图像多尺度、多方向、多分辨的特性，提高其图像分类的准确率以及分类速度，进而有效提高目标的识别精度。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

1)输入待分类的高分辨SAR图像，对图像中的各像素点进行多层非下采样轮廓波变换，获取各像素点的低频系数和高频系数；

2)将低频系数和高频系数进行选择并融合，构成基于像素点的特征矩阵F；

3)将特征矩阵F中的元素值归一化到[0，1]之间，得到归一化特征矩阵F1；

4)将归一化特征矩阵F1进行切块，得到特征块矩阵F2并作为样本数据；

5)通过训练数据集D构造训练数据集特征矩阵W1，通过测试数据集T构造测试数据集特征矩阵W2；

6)构造基于全卷积神经网络的分类模型；

7)将分类模型通过训练数据集D进行训练，得到训练好的模型；

8)利用训练好的模型对测试数据集T进行分类，得到测试数据集T中每个像素点的类别，将得到的每个像素点类别与类标图进行对比，计算出分类准确率。

所述的步骤1)对图像中的各像素点进行三层非下采样轮廓波变换；非下采样轮廓波变换包括非下采样金字塔分解和非下采样方向滤波器分解，所述的非下采样金字塔分解通过非下采样滤波器组将时频平面分解为一个低频子代和多个环形高频子代，非下采样金字塔分解形成的带通图像再通过非下采样方向滤波器分解得到带通子图像的系数。

所述的步骤2)将高频系数按照从大到小进行排序，选取其中前50％的高频系数，与第三层变换后的低频系数融合，定义基于像素点的特征矩阵F大小为M1×M2×1，M1为待分类SAR图像的长，M2为待分类SAR图像的宽，将融合结果赋值给基于像素点的特征矩阵F。

步骤3)所述的归一化通过特征线性缩放法、特征标准化法或特征白化法实现；特征线性缩放法先求出基于像素点的特征矩阵F的最大值max(F)；再将基于像素点的特征矩阵F中的每个元素均除以最大值max(F)，得到归一化特征矩阵F1。

所述的步骤4)将归一化特征矩阵F1按照大小为128×128、间隔为50进行切块。

所述步骤5)的具体操作如下：

5a)将SAR图像地物分为3类，记录每个类别对应的像素点在待分类图像中的位置，生成三种分别代表三类地物像素点在待分类图像中的位置A1、A2、A3；

5b)从所述A1、A2、A3中随机选取5％的元素，生成三种对应不同类地物、被选作训练数据集的像素点位置B1、B2、B3，其中B1为对应第1类地物中被选作训练数据集的像素点在待分类图像中的位置，B2为对应第2类地物中被选作训练数据集的像素点在待分类图像中的位置，B3为对应第3类地物中被选作训练数据集的像素点在待分类图像中的位置，并将B1、B2、B3中的元素合并组成训练数据集的所有像素点在待分类图像中的位置L1；

5c)用所述A1、A2、A3中其余95％的元素生成3种对应不同类地物被选作测试数据集的像素点位置C1、C2、C3，其中C1为对应第1类地物中被选作测试数据集的像素点在待分类图像中的位置，C2为对应第2类地物中被选作测试数据集的像素点在待分类图像中的位置，C3为对应第3类地物中被选作测试数据集的像素点在待分类图像中的位置，并将C1、C2、C3中的元素合并组成测试数据集的所有像素点在待分类图像中的位置L2；

5d)定义训练数据集D的训练数据集特征矩阵W1，在特征块矩阵F2中依据L1取对应位置上的值，并赋值给训练数据集D的训练数据集特征矩阵W1；

5e)定义测试数据集T的测试数据集特征矩阵W2，在特征块矩阵F2中依据L2取对应位置上的值，并赋值给测试数据集T的测试数据集特征矩阵W2。

所述步骤6)构造基于全卷积神经网络的分类模型包括以下步骤：

6a)选择一个依次由输入层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、Dropout层、卷积层、Dropout层、卷积层、反卷积上采样层、Crop裁剪层、softmax分类器所组成的17层深度神经网络，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层反卷积上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Softmax分类器，设置特征映射图数目为2；

6b)将第二层卷积层的卷积核大小设置为5×5，减小感受野。

所述的步骤7)将训练数据集特征矩阵W1作为分类模型的输入，将训练数据集D中每个像素点的类别作为分类模型的输出，求解上述类别与人工标记的正确类别之间的误差，并对误差进行反向传播，优化分类模型的网络参数，得到训练好的分类模型。

所述的步骤8)将测试数据集特征矩阵W2作为训练好的分类模型输入，训练好的分类模型输出结果即为测试数据集T中每个像素点进行分类得到的分类类别。

与现有技术相比，本发明具有如下的有益效果：通过将图像块特征扩展成像素级特征，避免了由于使用像素块而带来的重复存储和计算卷积，提高了分类的速度和效率。由于在全卷积神经网络前引入多层非下采样轮廓波变换，得到了低频系数和高频系数，低频系数体现对目标的粗略逼近，即目标所在区域等基本信息，高频系数能够比较精确地获取目标的细节信息，因此低频系数比高频系数更具有分类判别能力。本发明将低频系数和高频系数进行选择并融合，提高了分类准确性，由于将卷积神经网络中的全连接层替换为反卷积层，能够接受任意大小的输入图像，而不要求所有的训练图像和测试图像都具有同样的尺寸。综上所述，本发明高分辨SAR图像分类方法，不仅能提高分类准确率，还能够提高分类速度。

附图说明

图1本发明分类方法的流程图；

图2本发明对待分类图像的人工标记图；

图3本发明对待分类图像的分类结果图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图1，本发明的图像分类方法的实现步骤如下：

步骤1、输入待分类的高分辨SAR图像，对各像素点进行3层非下采样轮廓波变换，获取其高、低频系数；待分类的高分辨SAR图像为德国宇航局(DLR)F-SAR航空系统于2007年获取的X波段水平极化图，分辨率为1m，图像大小为6187*4278。

1a)对各像素点的分类特征进行变换得到变换系数，其变换方法有小波变换、非下采样平稳小波变换、曲波变换、非下采样轮廓波变换等方法；

1b)本实例采用非下采样轮廓波变换对各像素点进行3层变换，非下采样轮廓波变换包括非下采样金字塔(NSP)分解和非下采样方向滤波器(NSDFB)；

1c)非下采样金字塔(NSP)变换利用非下采样滤波器组(NSFs)将时频平面分解为一个低频子代和许多环形高频子代；

1d)非下采样方向滤波器(NSDFB)为二通道非下采样滤波器组；

本实例中图像经过3级NSP滤波，得到1个低通图像和3个带通图像的系数；

本实例的图像经过NSP的多尺度分解后，其带通图像再由NSDFB进一步完成图像的0、1、3级多方向分解，从而分别得到1、2、8个带通子图像的系数。

步骤2，选择并融合高、低频系数，构成基于像素点的特征矩阵F。本实例将分解得到高频系数按照从大到小进行排序，选取其中的前50％，与第3层变换后的低频系数融合作为变换域分类特征。定义一个大小为M1×M2×1的矩阵，并将融合结果赋给矩阵，得到基于像素点的特征F，其中M1为待分类SAR图像的长，M2为待分类SAR图像的宽。

步骤3，对基于像素点的特征矩阵F进行归一化。

常用的归一化方法有：特征线性缩放法、特征标准化和特征白化。

本实例采用特征线性缩放法，即先求出基于像素点的特征矩阵F的最大值max(F)；再将基于像素点的特征矩阵F中的每个元素均除以最大值max(F)，得到归一化特征矩阵F1。

步骤4，将归一化特征矩阵F1按照大小为128×128、间隔为50进行切块处理，构成小的特征块矩阵F2，作为样本数据。

步骤5，通过训练数据集D构造训练数据集特征矩阵W1，通过测试数据集T构造测试数据集特征矩阵W2；具体包括如下步骤：

5a)将SAR图像地物分为3类，记录每个类别对应的像素点在待分类图像中的位置，生成3种对应不同类地物像素点的位置A1、A2、A3；

其中，A1对应第1类地物像素点在待分类图像中的位置，A2对应第2类地物像素点在待分类图像中的位置，A3对应第3类地物像素点在待分类图像中的位置；

5b)从所述不同类地物像素点位置A1、A2、A3中随机选取5％的元素，生成3种对应不同类地物被选作训练数据集的像素点的位置B1、B2、B3；

其中，B1为对应第1类地物中被选作训练数据集的像素点在待分类图像中的位置，B2为对应第2类地物中被选作训练数据集的像素点在待分类图像中的位置，B3为对应第3类地物中被选作训练数据集的像素点在待分类图像中的位置，并将B1、B2、B3中的元素合并组成训练数据集的所有像素点在待分类图像中的位置L1；

5c)用所述A1、A2、A3中其余95％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C1、C2、C3，其中C1为对应第1类地物中被选作测试数据集的像素点在待分类图像中的位置，C2为对应第2类地物中被选作测试数据集的像素点在待分类图像中的位置，C3为对应第3类地物中被选作测试数据集的像素点在待分类图像中的位置，并将C1、C2、C3中的元素合并组成测试数据集的所有像素点在待分类图像中的位置L2；

5d)定义训练数据集D的训练数据集特征矩阵W1，在基于图像块的特征矩阵F2中依据L1取对应位置上的值，并赋值给训练数据集特征矩阵W1；

5e)定义测试数据集T的测试数据集特征矩阵W2，在特征块矩阵F2中依据L2取对应位置上的值，并赋值给测试数据集特征矩阵W2。

步骤6，构造基于全卷积神经网络的分类模型。

6a)选择一个由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→Dropout层→卷积层→Dropout层→卷积层→上采样层(反卷积)→Crop层(裁剪)→softmax分类器组成的17层深度神经网络，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Softmax分类器，设置特征映射图数目为2。

6b)将第二层卷积层的卷积核大小设置为5×5，减小感受野；

步骤7，用训练数据集对分类模型进行训练，得到训练好的分类模型。

将训练数据集特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，优化分类模型的网络参数，得到训练好的分类模型，人工标记的正确类标如图2所示。

步骤8，利用训练好的分类模型对测试数据集进行分类。

将测试数据集T的测试数据集特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。

本发明的效果通过以下仿真实验进一步说明：

1、仿真条件：

硬件平台为：HPZ840。

软件平台为：Caffe。

2、仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，即分别从SAR数据中随机选取5％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图3的分类结果。

从图3可以看出：分类结果的区域一致性较好，农田、森林和城镇这三类的边缘也较清晰，且保持了细节信息。

再依次减少训练样本，使训练样本占样本总数的4％、3％、2％，将本发明与全卷积神经网络的测试数据集分类精度进行对比，结果如表1所示：

表1

训练样本所占比例	FCN-8	本发明
			5％	94.0039％	94.3360％
4％	93.3933％	94.1524％
			3％	92.6727％	93.3117％
2％	91.4413％	92.4162％

从表1可见，训练样本占样本总数的5％、4％、3％、2％时，本发明的测试数据集分类精度均高于单纯的全卷积神经网络。综上，本发明通过在全卷积神经网络中引入非下采样轮廓波变换，考虑了高分辨SAR图像的方向信息和空间信息，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度。

Claims (8)

1.一种基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于，包括：

1)输入待分类的高分辨SAR图像，对图像中的各像素点进行多层非下采样轮廓波变换，获取各像素点的低频系数和高频系数；

2)将低频系数和高频系数进行选择并融合，构成基于像素点的特征矩阵F；

3)将特征矩阵F中的元素值归一化到[0，1]之间，得到归一化特征矩阵F1；

4)将归一化特征矩阵F1进行切块，得到特征块矩阵F2并作为样本数据；

5)通过训练数据集D构造训练数据集特征矩阵W1，通过测试数据集T构造测试数据集特征矩阵W2；具体操作如下：

5a)将高分辨SAR图像地物分为3类，记录每个类别对应的像素点在待分类图像中的位置，生成三种分别代表三类地物像素点在待分类图像中的位置A1、A2、A3；

5b)从所述A1、A2、A3中随机选取5％的元素，生成三种对应不同类地物、被选作训练数据集的像素点位置B1、B2、B3，其中B1为对应第1类地物中被选作训练数据集的像素点在待分类图像中的位置，B2为对应第2类地物中被选作训练数据集的像素点在待分类图像中的位置，B3为对应第3类地物中被选作训练数据集的像素点在待分类图像中的位置，并将B1、B2、B3中的元素合并组成训练数据集的所有像素点在待分类图像中的位置L1；

5c)用所述A1、A2、A3中其余95％的元素生成3种对应不同类地物被选作测试数据集的像素点位置C1、C2、C3，其中C1为对应第1类地物中被选作测试数据集的像素点在待分类图像中的位置，C2为对应第2类地物中被选作测试数据集的像素点在待分类图像中的位置，C3为对应第3类地物中被选作测试数据集的像素点在待分类图像中的位置，并将C1、C2、C3中的元素合并组成测试数据集的所有像素点在待分类图像中的位置L2；

5d)定义训练数据集D的训练数据集特征矩阵W1，在特征块矩阵F2中依据L1取对应位置上的值，并赋值给训练数据集D的训练数据集特征矩阵W1；

5e)定义测试数据集T的测试数据集特征矩阵W2，在特征块矩阵F2中依据L2取对应位置上的值，并赋值给测试数据集T的测试数据集特征矩阵W2；

6)构造基于全卷积神经网络的分类模型；

7)将分类模型通过训练数据集D进行训练，得到训练好的模型；

8)利用训练好的模型对测试数据集T进行分类，得到测试数据集T中每个像素点的类别，将得到的每个像素点类别与类标图进行对比，计算出分类准确率。

2.根据权利要求1所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于：步骤1)对图像中的各像素点进行三层非下采样轮廓波变换；非下采样轮廓波变换包括非下采样金字塔分解和非下采样方向滤波器分解，所述的非下采样金字塔分解通过非下采样滤波器组将时频平面分解为一个低频子代和多个环形高频子代，非下采样金字塔分解形成的带通图像再通过非下采样方向滤波器分解得到带通子图像的系数。

3.根据权利要求2所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于：步骤2)将高频系数按照从大到小进行排序，选取其中前50％的高频系数，与第三层变换后的低频系数融合，定义基于像素点的特征矩阵F大小为M1×M2×1，M1为待分类SAR图像的长，M2为待分类SAR图像的宽，将融合结果赋值给基于像素点的特征矩阵F。

4.根据权利要求1所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于：步骤3)所述的归一化通过特征线性缩放法、特征标准化法或特征白化法实现；特征线性缩放法先求出基于像素点的特征矩阵F的最大值max(F)；再将基于像素点的特征矩阵F中的每个元素均除以最大值max(F)，得到归一化特征矩阵F1。

5.根据权利要求1所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于：步骤4)将归一化特征矩阵F1按照大小为128×128、间隔为50进行切块。

6.根据权利要求1所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于，步骤6)构造基于全卷积神经网络的分类模型包括以下步骤：

6a)选择一个依次由输入层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、Dropout层、卷积层、Dropout层、卷积层、反卷积上采样层、Crop裁剪层、softmax分类器所组成的17层深度神经网络，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层反卷积上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Softmax分类器，设置特征映射图数目为2；

6b)将第二层卷积层的卷积核大小设置为5×5，减小感受野。

7.根据权利要求1所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于，所述的步骤7)将训练数据集特征矩阵W1作为分类模型的输入，将训练数据集D中每个像素点的类别作为分类模型的输出，求解上述类别与人工标记的正确类别之间的误差，并对误差进行反向传播，优化分类模型的网络参数，得到训练好的分类模型。

8.根据权利要求7所述的基于非下采样轮廓波全卷积网络的高分辨SAR图像分类方法，其特征在于，所述的步骤8)将测试数据集特征矩阵W2作为训练好的分类模型输入，训练好的分类模型输出结果即为测试数据集T中每个像素点进行分类得到的分类类别。

Images