CN110008899A - 一种可见光遥感图像候选目标提取与分类方法 - Google Patents

Abstract

本发明涉及一种可见光遥感图像候选目标提取与分类方法，属于遥感图像处理和分析技术领域，解决了现有方法提取候选目标数量太多及分类精度低的问题。包括以下步骤：通过第一滑窗在遥感图像中提取大尺度区域，并输入到训练好的候选区域识别模型中，得到包含感兴趣目标的候选区域；通过第二滑窗在上述候选区域中提取候选目标；利用训练好的候选目标分类模型对上述提取的候选目标进行两步分类，确定候选目标的类别。本发明实现了在相同的召回率下，提取的候选目标数量远少于现有方法，同时，在使用相同的特征和相同的分类器的条件下，通过两步分类，大大提高了候选目标分类精度。

Description

一种可见光遥感图像候选目标提取与分类方法

技术领域

本发明涉及遥感图像处理和分析技术领域，尤其涉及一种可见光遥感图像候选目标提取与分类方法。

背景技术

候选目标提取是可见光遥感图像目标检测识别的重要基础，是检测识别流程中的关键环节。候选目标提取是指通过特定的方法在图像中进行搜索，去除图像中的非目标，保留疑似目标作为候选目标，提供给后续的目标检测识别环节，减少目标精确检测识别阶段的数据处理量，提高检测识别速度和精度。

现有的可见光遥感图像候选目标提取方法可以分为两类：基于阈值分割的方法和基于视觉显著性的方法。其中，基于阈值分割的方法利用目标和背景在灰度值、颜色、纹理等方面的差异，寻找合适的阈值将目标和背景区分开。这类方法存在的主要问题是分割能力有限，一般只能用于背景相对简单的场合，例如舰船检测等。基于视觉显著性的方法模拟了人类的目标搜索过程，利用的信息包括颜色、方向和梯度等。这类方法存在的主要问题是针对的是通用目标，所有的有明显几何轮廓的目标都被当作候选目标，因此提取出的候选目标数量较多。

另外，当完成候选目标提取后，还需要对候选目标进一步地分类判断，识别目标的具体类型，例如识别某架飞机是战斗机还是民航客机等。然而，现有的可见光遥感图像候选目标分类方法专注于目标特征的提取或学习，通过提取或学习不同的特征来提高分类精度，但是这种方式的分类精度仍旧有待提高。

发明内容

鉴于上述的分析，本发明旨在提供一种可见光遥感图像候选目标提取与分类方法，用以解决现有方法提取候选目标数量太多及分类精度低的问题。

本发明的目的主要是通过以下技术方案实现的：

提供了一种可见光遥感图像候选目标提取与分类方法，包括以下步骤：

通过第一滑窗在遥感图像中提取大尺度区域，并输入到训练好的候选区域识别模型中，得到包含感兴趣目标的候选区域；

通过第二滑窗在上述候选区域中提取候选目标；

利用候选目标分类模型对上述提取的候选目标进行两步分类，确定候选目标的类别。

本发明有益效果如下：本发明针对可见光遥感图像目标的聚集性特点进行候选目标提取，并通过两步分类精确识别候选目标的类别；在相同的召回率下，提取的候选目标数量远少于现有方法，同时，在使用相同的特征和相同的分类器的条件下，通过两步分类，大大提高了候选目标分类精度。另外，本发明应用场景广泛，适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达候选目标提取与分类，可以满足各种环境场合。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述候选目标分类模型包括：第二卷积神经网络和若干第二分类器，每个第二分类器分别与候选目标的两个可能类别相对应；

所述第二卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；分别从全连接层和输出层中提取候选目标的特征，所述输出层提取的特征用于确定候选目标的前M个可能类别；

所述第二分类器均为LIBSVM分类器，通过上述全连接层提取的候选目标的特征，在上述前M个可能类别中确定候选目标的最终类别。

进一步，所述利用候选目标分类模型对上述提取的候选目标进行两步分类，包括：

将提取的候选目标输入到训练好的第二卷积神经网络；

通过所述第二卷积神经网络的输出层提取候选目标的特征，并利用所述提取的特征计算类概率值；

对上述计算的类概率值进行排序，当所述类概率值中的最大值大于设定的阈值时，则将最大值对应的类别作为候选目标的类别；否则，进行第二步分类；

所述进行第二步分类，包括：将从所述第二卷积神经网络的第一个全连接层提取的候选目标特征输入到相应的第二分类器中，从上述排序前M的概率值对应的M个可能类别中选择候选目标所属的类别。

进一步，所述候选区域识别模型包括：第一卷积神经网络和第一分类器；

所述第一卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；从第一个全连接层中提取大尺度区域的特征；

所述第一分类器为LIBSVM分类器，通过上述提取的大尺度区域特征对大尺度区域进行分类。

进一步，所述通过第二滑窗在上述候选区域中进行候选目标提取，

包括：

利用第二滑窗在上述候选区域中提取出若干小尺度区域作为候选目标，所述第二滑窗的尺寸小于第一滑窗，相邻的小尺度区域间的重叠度为25％。

进一步，所述计算类概率值为：

对所述提取的特征进行归一化处理，得到候选目标的类概率值。

进一步，在对所述第二卷积神经网络进行训练时，训练参数设置为：总循环次数为10000，动量为0.9，权重衰减为0.0005，初始学习速率为0.0001，每循环4000次学习率变为原来的1/10，数据块的大小为64。

进一步，所述第二分类器的数量为N×(N-1)/2，其中，N是候选目标可能类别的总数。

进一步，还包括采用非极大值抑制对得到的候选区域进行筛选：

当出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值的候选区域舍弃，得到一组筛选后的候选区域；依次对所有候选区域进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

进一步，所述第一滑窗的大小为图像中最大目标大小的4倍，第二滑窗的大小为图像中最大目标大小的1倍。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中可见光遥感图像候选目标提取与分类方法流程图；

图2为本发明实施例中候选目标提取流程图；

图3为本发明实施例中大尺度区域提取示意图；

图4为本发明实施例中候选目标提取示意图；

图5为本发明实施例中对候选目标进行两步分类流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种可见光遥感图像候选目标提取与分类方法。如图1所示，包括以下步骤：

步骤S1、通过第一滑窗在遥感图像中提取大尺度区域，并输入到训练好的候选区域识别模型中，得到包含感兴趣目标的候选区域；

步骤S2、通过第二滑窗在上述候选区域中提取候选目标；

步骤S3、利用训练好的候选目标分类模型对上述提取的候选目标进行两步分类，确定候选目标的类别。

与现有技术相比，本实施例提供的可见光遥感图像候选目标提取与分类方法，针对可见光遥感图像目标的聚集性特点进行候选目标提取，并通过两步分类精确识别候选目标类别；在相同的召回率下，提取的候选目标数量远少于现有方法，同时，在使用相同的特征和相同的分类器的条件下，通过两步分类，大大提高了候选目标分类精度。另外，本发明应用场景广泛，适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达候选目标提取与分类，可以满足各种环境场合；有效解决了现有基于阈值分割的候选目标提取方法分割能力有限，应用场景受限及基于视觉显著性的候选目标提取方法提取的候选目标数量太多，及候选目标分类精度低的问题。

具体来说，本实施例中对获得的可见光遥感图像进行处理，包括候选目标提取及候选目标分类两个阶段，其中，进行候选目标提取，如图2所示(步骤S1-步骤S2)。

在步骤S1中，通过第一滑窗在遥感图像中提取大尺度区域，并输入到训练好的候选区域识别模型中，得到包含感兴趣目标的候选区域；具体包括以下步骤：

步骤S101，通过第一滑窗在图像中提取大尺度区域，其中，第一滑窗的尺寸根据目标大小确定；

如图3所示，利用滑窗的方法，从输入图像的一端开始，顺次裁剪大尺度区域，直到遍布整个图像区域，完成大尺度区域提取。示例性地，从输入图像的左上角开始，按照从左到右、从上到下的顺序裁剪大尺度区域。

大尺度区域的大小根据图像中目标的大小确定，本发明方法适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达等候选目标。在本实施例中，仅以飞机目标为例进行说明，提取出所有的飞机作为候选目标，需要说明的是，由于遥感图像中包含多种类型飞机(本实施例中为10类)，且不同类型飞机的大小不同，需以图像中最大的飞机尺寸大小确定第一滑窗，示例性地，最大目标在图像中的大小约为64×64像素，第一滑窗(即大尺度区域)的长和宽大致为最大目标的4倍，由此确定大尺度区域的大小为256×256像素。

需要说明的是，为了避免遗漏目标或者出现目标被分割在不同的大尺度区域，给后续进一步的目标检测识别带来干扰或者无法识别到感兴趣的目标。本实施例中，将第一滑窗的滑动步长设置为小于滑窗的长宽尺寸，以便分割得到的相邻的大尺度区域之间保留一定的重叠度，优选的，相邻区域间的重叠度为25％。

步骤S102，将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的一个或多个候选区域。

其中，候选区域识别模型由第一卷积神经网络和第一分类器构成。

第一卷积神经网络用于提取大尺度区域的特征，并将提取的特征传递到第一分类器进行分类，将符合的大尺度区域作为候选区域；第一卷积神经网络可以采用多种卷积神经网络或者网络中的不同特征提取层进行特征提取、还可以使用现有非卷积神经网络类的特征提取方法提取特征，均能达到本实施例中的效果；优选地，本实例中使用VGGNet-16作为第一卷积神经网络，并从VGGNet-16的第一个全连接层提取特征；该网络包含13个卷积层、2个全连接层和1个输出层；

第一分类器可以采用多种现有分类器实现分类功能，本实施例中采用SVM(support vector machine，支持向量机)，优选的，采用LIBSVM进行分类。

在利用上述构建的候选区域识别模型进行识别分类之前，需要建立大规模的图像分类数据集进行训练，以便模型具有强大的特征提取能力，提高分类的准确率。

具体地，在构建大规模图像分类数据集时，可以通过网上公开数据库或者自作的方式获取，优选的，采用谷歌地图遥感图像数据作为候选区域识别模型的训练集，同时，还可以将数据集中数据进行干扰加强(数据水平翻转、加噪声、随机裁剪)，以便提高模型的训练效果。

需要说明的是，为了进一步提高模型候选区域识别的准确性，在选取的训练图像中，一部分图像需包含完整的目标。

采集到数据集后，分割成用于训练的大尺度区域，并对各区域进行标注，将含有感兴趣目标的大尺度区域和不含有感兴趣目标的大尺度区域归为不同的类：一类是包含感兴趣目标的大尺度区域，类标签设置为1；另一类是不包含感兴趣目标的大尺度区域，类标签设置为0。

在完成数据集后，设置好初始化方法、学习率、优化器和损失函数，利用两类大尺度区域的图像和对应的类标签对第一卷积神经网络进行训练；从训练好的第一卷积神经网络的第一个全连接层提取两类大尺度区域的特征，利用两类大尺度区域的特征和对应的类标签对第一分类器进行训练；经过训练后，获得识别效果理想的候选区域识别模型。

将上述步骤S101中提取的各大尺度区域依次输入到上述训练好的候选区域识别模型进行识别分类，得到包含感兴趣目标的大尺度区域作为候选区域。具体地，提取第一卷积神经网络的全连接层特征作为大尺度区域的特征；将提取的待分类的大尺度区域的特征输入到第一分类器中进行分类，如果第一分类器给出的类标签为1，则认为该大尺度区域为候选区域，即包含感兴趣目标的区域；如果第一分类器给出的类标签为0，则舍弃该大尺度区域。

为了进一步减少多余候选区域的数量，降低目标检测识别工作量，提高后续检测识别的速度和精度；本实施例采用非极大值抑制解决候选区域冗余的问题，具体地，当经过候选区域识别模型分类得到的候选区域集合中出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；然后，从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值(优选的，设置为0.7)的候选区域舍弃，得到一组筛选后的候选区域集合，然后依次进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

在步骤S2中，通过第二滑窗在上述候选区域中提取候选目标，得到候选目标。

如图4所示，在得到的候选区域中，利用滑窗的方法，从图像左上角开始，按照从左到右、从上到下的顺序裁剪小尺度区域，将包含部分或全部目标的小尺度区域作为候选目标。为避免遗漏目标，相邻的区域间需要保留一定的重叠度，优选的，相邻小尺度区域间的重叠度为25％。

第二滑窗的大小(小尺度区域的大小)根据图像中目标的大小确定，同时第二滑窗的尺寸小于上述第一滑窗。在本实施例中，依旧以飞机目标为例，最大飞机目标在图像中的大小约为64×64像素，由此确定小尺度区域的大小为64×64像素。

在步骤S3中，利用训练好的候选目标分类模型对上述提取的候选目标进行两步分类，确定候选目标的类别。如图5所示，具体包括以下步骤：

步骤S301，将在步骤S2中提取的候选目标输入到训练好的候选目标分类模型；

候选目标分类模型由第二卷积神经网络和多个第二分类器构成。第二卷积神经网络用于提取候选目标的特征(进行两步特征提取)，其中，第一步提取的特征用于计算类概率值(见步骤S302)，确定候选目标的前M个可能类别；第二步提取的特征用于传递到相应第二分类器进行分类，确定候选目标的最终类别；优选地，依旧使用VGGNet-16作为第二卷积神经网络，并分别从VGGNet-16的输出层和第一个全连接层提取特征；该网络包含13个卷积层、2个全连接层和1个输出层；第二分类器依旧采用LIBSVM进行分类，其中，第二分类器的数量由候选目标的类别总数确定(如：本实施例中飞机的类型总和)，每个第二分类器与候选目标的两个可能类别相对应，即每个第二分类器均用于从两个类别中进一步确认可能类别，且不同的第二分类器用于区分的两个类别不完全相同；具体地，可表示为：N×(N-1)/2个线性一对一SVM，其中N是类别的总数。

在进行实际分类之前，仍旧需要通过数据集对候选目标分类模型进行训练，即利用候选目标图像和对应的类标签对第二卷积神经网络进行训练；并从训练好的卷积神经网络提取候选目标的全连接层特征，利用候选目标的全连接层特征和对应的类标签对相应的第二分类器进行训练。在完成数据集搜集后(优选的，采用谷歌地图遥感图像数据)，设置好初始化方法、学习率、优化器和损失函数，对第二卷积神经网络和第二分类器进行训练，获得分类效果理想的候选目标分类模型。

本实施例中，第二卷积神经网络训练时使用的参数设置为：总循环次数为10000，动量为0.9，权重衰减为0.0005，初始学习速率为0.0001，每循环4000次，学习率变为原来的1/10，数据块的大小为64。

需要说明的是，在进行实际分类之前，还需要根据分类任务，将第二卷积神经网络的输出层中的神经元的数量由1000修改为候选目标的类别数。示例性地，本实例针对10类飞机目标进行分类，因此N为10；输出层的路数由1000改为10。

得到训练好的候选目标分类模型后，将提取的候选目标输入到训练好的第二卷积神经网络；并通过网络的输出层提取候选目标的特征，并利用所述提取的特征计算类概率值；具体地，对于目标图像o_i，需要从N个类别中确定该图像所属的类c_i,将候选目标图像输入到训练好的第二卷积神经网络，从网络的最后一层，即输出层中提取目标的特征f_i：

f_i＝{f_i，1，f_i，2，...，f_i，N}

式中，f_i是一个N维的向量，本实施例中，N取10。

对以上特征进行归一化处理，得到目标图像o_i的类概率p_i＝{p_i，1，p_i，2，...，p_i，N}，p_i是一个N维的向量，其中的第l个元素代表目标属于第l类的概率，且N个元素之和为1。

步骤S302，对步骤S301中计算的类概率值按照由大到小的顺序排序，并对排序后的类概率值进行判断；

当类概率值中的最大值大于设定的阈值时，则执行第一步分类，将最大类概率值对应的类别赋给候选目标，完成候选目标分类；否则进行步骤S303。

其中，按照从大到小的顺序对上步获得的类概率值进行排序，得到p′_i：

p′_i＝{p′_i，1，p′_i，2，...，p′_i，N}

式中，p′_i是一个N维的向量，其中的第l个元素代表候选目标属于第l类的概率，且p′_i，1≥p′_i，2≥…≥p′_i，N。

如果最大的概率值p′_i，1大于设定的阈值T(优选的，设为0.9)，则将该概率值对应的类别赋给候选目标；否则，认为候选目标的类别是{p′_i，1，p′_i，2，...，p′_i，M}对应的M个类别中的某一类，其中M＜N。M的大小可根据实际情况确定，优选的，M设置为3，即从排序前三的类别中确定候选目标所属类别。

步骤S303，从训练好的第二卷积神经网络的第一个全连接层提取候选目标的特征，并输入到相应的第二分类器中，进行第二步分类；从排序前M的类概率值对应的M个类中选择候选目标所属的类别。

具体地，在本实施例中，提取的特征是4096维的向量，将提取的全连接层特征输入到训练好的对应的第二分类器，从排序前M的概率值对应的M个类中确定目标所属的类c_i。

为了验证本实施例中可见光遥感图像候选目标提取与分类方法的效果，以遥感影像中飞机、舰船等分别作为候选目标，与现有的基于视觉显著性和基于阈值分割的候选目标提取方法进行了比对，结果表明：在相同的召回率下，本发明提取的候选目标数量远少于现有方法。具体地，对于飞机候选目标提取，相比基于视觉显著性的方法，本发明提取的候选目标数量减少约40％；对于舰船候选目标提取，相比基于阈值分割的方法，本发明提取的候选目标数量减少约30％。

另外，在使用相同的特征和相同的分类器的条件下，本发明的两步分类方法可将分类精度提高2至3个百分点。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种可见光遥感图像候选目标提取与分类方法，其特征在于，包括以下步骤：

通过第一滑窗在遥感图像中提取大尺度区域，并输入到训练好的候选区域识别模型中，得到包含感兴趣目标的候选区域；

通过第二滑窗在上述候选区域中提取候选目标；

利用训练好的候选目标分类模型对上述提取的候选目标进行两步分类，确定候选目标的类别。

2.根据权利要求1所述的方法，其特征在于，所述候选目标分类模型包括：第二卷积神经网络和若干第二分类器，每个第二分类器分别与候选目标的两个可能类别相对应；

所述第二卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；分别从全连接层和输出层中提取候选目标的特征，所述输出层提取的特征用于确定候选目标的前M个可能类别；

所述第二分类器均为LIBSVM分类器，通过上述全连接层提取的候选目标的特征，在上述前M个可能类别中确定候选目标的最终类别。

3.根据权利要求2所述的方法，其特征在于，所述利用候选目标分类模型对上述提取的候选目标进行两步分类，包括：

将提取的候选目标输入到训练好的第二卷积神经网络；

通过所述第二卷积神经网络的输出层提取候选目标的特征，并利用所述提取的特征计算类概率值；

对上述计算的类概率值进行排序，当所述类概率值中的最大值大于设定的阈值时，则将最大值对应的类别作为候选目标的类别；否则，进行第二步分类；

所述进行第二步分类，包括：将从所述第二卷积神经网络的第一个全连接层提取的候选目标特征输入到相应的第二分类器中，从上述排序前M的概率值对应的M个可能类别中选择候选目标所属的类别。

4.根据权利要求1-3之一所述的方法，其特征在于，所述候选区域识别模型包括：第一卷积神经网络和第一分类器；

所述第一卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；从第一个全连接层中提取大尺度区域的特征；

所述第一分类器为LIBSVM分类器，通过上述提取的大尺度区域特征对大尺度区域进行分类。

5.根据权利要求4所述的方法，其特征在于，所述通过第二滑窗在上述候选区域中进行候选目标提取，包括：

利用第二滑窗在上述候选区域中提取出若干小尺度区域作为候选目标，所述第二滑窗的尺寸小于第一滑窗，相邻的小尺度区域间的重叠度为25％。

6.根据权利要求3所述的方法，其特征在于，所述计算类概率值为：对所述提取的特征进行归一化处理，得到候选目标的类概率值。

7.根据权利要求6所述的方法，其特征在于，在对所述第二卷积神经网络进行训练时，训练参数设置为：总循环次数为10000，动量为0.9，权重衰减为0.0005，初始学习速率为0.0001，每循环4000次学习率变为原来的1/10，数据块的大小为64。

8.根据权利要求7所述的方法，其特征在于，所述第二分类器的数量为N×(N-1)/2，其中，N是候选目标可能类别的总数。

9.根据权利要求1或8所述的方法，其特征在于，还包括采用非极大值抑制对得到的候选区域进行筛选：

当出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值的候选区域舍弃，得到一组筛选后的候选区域；依次对所有候选区域进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

10.根据权利要求9所述的方法，其特征在于，所述第一滑窗的大小为图像中最大目标大小的4倍，第二滑窗的大小为图像中最大目标大小的1倍。