一种基于特征金字塔的遥感影像时敏目标识别系统及方法
技术领域
本发明属于遥感图像处理领域,更具体地,涉及一种基于特征金字塔的遥感影像时敏目标识别系统及方法。
背景技术
大幅面遥感图像移动目标检测是遥感图像分析领域的一个重要组成并且因其具有多尺度、幅面广、视角特殊等特性而极具挑战性,其基本任务就是对于给定的一幅航空或者卫星图像中确定其中是否包含一个或者多个类别目标对象以及每个类别对象目标的精确位置。大幅面遥感图像时敏目标检测作为计算机视觉领域以及遥感图像分析领域的重要组成部分,具有很高的研究意义。随着当代遥感技术、传感器技术和互联网技术的迅速发展,人们可以利用遥感技术实现大幅面的地面区域或者海洋区域探测,从而使得遥感获得的数据综合性越来越多,其中也包括地理、人文等诸多方面的信息。遥感技术在地面飞机目标以及海上舰船目标寻找与救助、非法移民、守卫领土、环境监控、军事情报搜集、地面资源调查等众多方面都具有广泛的应用。
目标检测有两个基本的任务,一是确定图像中是否存在目标,二是确定目标的位置。自然场景中的目标检测作为视觉与数字图像处理的核心研究领域,近几年来一直是学术界研究以及工业界应用的热点方向。自2012年以来,卷积神经网络在图像分类领域取得重大突破,深度学习强大的特征提取能力同样也为高精度目标检测带来可能,把目标检测问题转化为图片分类问题,将深度学习应用于目标检测,推动了目标检测技术领域的飞速发展,基于深度学习的目标检测方法也日新月异。
现有深度学习目标检测模型通常只利用上一层单尺度特征,虽然上一层特征语义信息很强,但位置信息很弱,对多尺度目标检测效果较差,同时,现有网络规模大参数多,对计算资源需求高。
发明内容
本发明针对大幅面遥感图像多尺度目标检测难题,提出一种基于特征金字塔的遥感影像时敏目标识别系统及方法。将基于通道加权的特征金字塔网络SEM-FPN应用于遥感图像时敏目标检测,并根据网络模型实际应用中存在的问题进行改进,算法实现多尺度目标的检测,同时具有轻量化特点。
作为本发明的一方面,本发明提供一种基于特征金字塔的遥感影像时敏目标识别系统,包括:
目标特征提取子网络,设有多个层次输出端,用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出;
特征层子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同目标特征提取子网络的一个层次输出端连接,用于将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层;
候选区域生成子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同特征层子网络的一个层次输出端连接,用于从不同层级融合特征层提取出候选区域;
分类回归子网络,设有多个层次输入端和RPN输入端,一个层次输入端同特征层子网络一个层次输出端连接,RPN输入端同候选区域生成子网络的输出端连接,用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
优选地,特征层子网络包括多个特征层子模块,记为第一个特征层子模块、第二个特征层子模块、……、第i个特征层子模块、……、第N个特征层子模块;1≤i≤N-1;
第i个特征层子模块的一个输入端作为该特征层子网络的一个层次输入端,第i个特征层子模块的另一个输入端同第i+1个特征层子模块的输出端连接,第N个特征层子模块的输入端作为该特征层子网络的一个层次输入端;
前N-1个特征层子模块用于对上一层特征层和当前特征层叠加处理得到当前融合特征层;第N个特征层子模块用于将当前特征层作为当前融合特征层输出,其中,上一层特征层为通过对当前特征层进行卷积后获得。
优选地,前N-1个特征层子模块中任意一个特征层子模块包括:
上一层处理子单元、当前处理子单元及叠加单元,上一层处理子单元的输出端同叠加单元的第一输入端连接,当前处理子单元的输出端同叠加单元的第二输入端连接;
上一层处理子单元用于对上一层特征层进行上采样处理输出处理后上一层特征层,当前处理子单元用于对当前特征层进行卷积处理输出处理后当前特征层,叠加单元用于对处理后上一层特征层和处理后当前特征层进行叠加处理,输出当前融合特征层。
优选地,特征层子模块还包括混叠效应处理单元,其输入端同叠加单元的输出端连接,混叠效应处理单元用于对当前融合特征层进行卷积处理,输出最终当前融合特征层。
优选地,特征层子网络还包括第N+1个特征层子模块,候选区域生成子网络设有附加层次输入端;第N+1个特征层子模块输入端同第N个特征层子模块的输出端连接,第N+1个特征层子模块输出端同候选区域生成子网络的附加层次输入端连接;
第N+1个特征层子模块用于对第N个特征层子模块输出的融合特征层进行上采样输出第N+1个特征层,候选区域生成子网络同时从第N+1个特征层提取候选区域。
优选地,分类回归子网络包括依次连接的映射子模块、融合子模块及目标判定子模块,映射子模块用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,融合子模块用于对映射处理后的多个层级融合特征层进行融合处理获得目标判定特征层,目标判定子模块用于对目标判定特征层进行目标判定输出结果。
作为本发明的另一方面,本发明提供一种基于遥感影像时敏目标识别系统的识别方法,包括如下步骤:
S110对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为金字塔特征层中该层级特征层;
S120将金字塔特征层中第i个层级特征层和第i+1个层级特征层叠加处理得到第i个层级融合特征层;并将i遍历金字塔特征层中前N-1个层级获得N-1个层级融合特征层;将金字塔特征层中第N个层级特征层作为第N个层级融合特征层;
S130从N个层级融合特征层提取出候选区域;
S140将候选区域映射至N个层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
优选地,在步骤S110和步骤S120之间还包括如下步骤:
对第i层级特征层进行卷积处理使得第i层级特征层通道同对第i+1层级特征层通道相同;对第i+1层级特征层进行上采样处理使得第i层级特征层尺寸同对第i+1层级特征层尺寸相同;1≤i≤N-1。
优选地,步骤S140包括如下子步骤:
步骤S141:将候选区域映射至N个层级融合特征层获得映射处理后的N个层级融合特征层;
步骤S142:并对映射处理后的N个层级融合特征层进行融合处理获得目标判定特征层;
步骤S143:目标判定特征层进行目标判定输出结果。
总体来说,本发明与现有遥感图像多尺度目标检测技术相比,具有以下优势:
1、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,将特征金字塔结构思想引入遥感图像目标检测中,利用卷积神经网络的特征金字塔层次结构,并将各层级之间的信息进行融合运用,采用自上而下的侧边连接,将高层的语义信息向下传递,使得所有尺度的特征都具有丰富的语义信息,该方法取得优异的检测效果,且网络具有良好的适应能力;
2、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,提出多层次候选区域(RoI)池化特征图融合方法,将多层次RoI池化特征融合,该方法将网络参数量大幅降低,实现网络轻量化,提高训练与测试速度。
3、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,将SE结构融入目标检测网络结构单元之中,显式地建模通道之间的相互依赖关系,自适应地重新校准通道的特征响应,提升特征提取能力。
附图说明
图1为本发明提供的基于特征金字塔的遥感影像多尺度目标识别系统的结构示意图;
图2为本发明提供的基于特征金字塔的遥感影像多尺度目标识别方法的流程图;
图3为本发明提供的遥感影像多尺度目标识别系统中SE结构示意图;
图4为本发明提供的遥感影像多尺度目标识别系统中多尺度特征信息融合示意图;
图5为本发明提供的遥感影像多尺度目标识别系统中分类回归子网络构建特征金字塔结构示意图;
图6为本发明提供的遥感影像多尺度目标识别系统中层次区域池化特征融合示意图;
图7为本发明数据集分析目标尺度分布示意图;
图8为本发明实施案例中遥感图像时敏目标检测结果;
图9(a1)为在识别场景一下采用Fast RCNN检测结果,图9(a2)为在识别场景一下采用R-FCN检测结果,图9(a3)为在识别场景一下采用FPN检测结果,图9(b1)为在识别场景二下采用Fast RCNN检测结果,图9(b2)为在识别场景二下采用R-FCN检测结果,图9(b3)为在识别场景二下采用FPN检测结果,图9(c1)为在识别场景三下采用Fast RCNN检测结果,图9(c2)为在识别场景三下采用R-FCN检测结果,图9(c3)为在识别场景三下采用FPN检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例案,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
本发明提供的一种基于特征金字塔的遥感影像时敏目标识别系统,该图像识别系统包括目标特征提取子网络、特征层子网络、候选区域生成子网络及分类回归子网络。其中,目标特征提取子网络设有多个层次输出端,分类回归子网络设有多个层次输入端和RPN输入端,特征层子网络和候选区域生成子网络均设有多个层次输入端和多个层次输出端,目标特征提取子网络的一个层次输出端同特征层子网络的一个层次输入端连接,特征层子网络的一个层次输出端同候选区域生成子网络的一个层次输入端连接,特征层子网络一个层次输出端同分类回归子网络一个层次输入端连接,候选区域生成子网络的输出端同分类回归子网络的RPN输入端连接。
目标特征提取子网络用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出。特征层子网络将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层。候选区域生成子网络用于从不同层级融合特征层提取出候选区域,分类回归子网络将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
实施例二
在实施例一的基础之上,特征层子网络包括多个特征层子模块,记为第一个特征层子模块、第二个特征层子模块、……、第i个特征层子模块、……、第N个特征层子模块。其中,第i个特征层子模块的一个输入端作为该特征层子网络的一个层次输入端,第i个特征层子模块的另一个输入端同第i+1个特征层子模块的输出端连接,第N个特征层子模块的输入端作为该特征层子网络的一个层次输入端,1≤i≤N-1,前N-1个特征层子模块用于对上一层特征层和当前特征层叠加处理得到当前融合特征层;第N个特征层子模块用于将当前特征层作为当前融合特征层输出,上一层特征层为通过对当前特征层进行卷积后获得。
实施例三
如图2所示,在实施例二的基础之上,前N-1个特征层子模块中任意一个特征层子模块包括上一层处理子单元、当前处理子单元及叠加单元,上一层处理子单元的输出端同叠加单元的第一输入端连接,当前处理子单元的输出端同叠加单元的第二输入端连接,上一层处理子单元用于对上一层特征层进行上采样处理输出处理后上一层特征层T2,当前处理子单元用于对当前特征层进行1×1卷积处理输出处理后当前特征层S2,叠加单元用于对处理后上一层特征层和当前特征层进行叠加处理,输出当前融合特征层。
本发明实施例提供的特征层子模块,通过将上一层特征层进行上采样处理,使上一层特征层尺寸增大一倍,对当前特征层进行卷积处理,使得当前特征层的通道数量同上一层特征层的通道数量相同,通过叠加处理,获得的当前融合特征层,当前融合特征层同时拥有上一层特征层的特征信息强的特点,同时有当前特征层的位置信息强的特点。
实施例四
在实施例三基础之上,特征层子模块还包括混叠效应处理单元,其输入端同叠加单元的输出端连接,混叠效应处理单元用于对当前融合特征层进行卷积处理,输出最终当前融合特征层,实现去除上采样的混叠效应。
实施例五
在实施例二至实施例五任意一项的基础之上,特征层子网络还包括第N+1个特征层子模块,候选区域生成子网络设有附加层次输入端,其输入端同第N个特征层子模块的输出端连接,其输出端用于同候选区域生成子网络的附加层次输入端连接,用于对第N个特征层子模块输出的融合特征层进行上采样输出第N+1个特征层,候选区域生成子网络同时从第N+1个特征层提取候选区域。
实施例六
在实施例一至实施例五任意一项的基础之上,分类回归子网络包括依次连接的映射子模块、融合子模块及目标判定子模块,映射子模块用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,融合子模块用于对映射处理后的多个层级融合特征层进行融合处理获得目标判定特征层,目标判定子模块用于对目标判定特征层进行目标判定输出结果。
实施例七
如图3所示,一种基于特征金字塔的遥感影像时敏目标识别方法,包括如下步骤:
S110对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为金字塔特征层中该层级特征层;
S120将金字塔特征层中第i个层级特征层和第i+1个层级特征层叠加处理得到第i个层级融合特征层;并将i遍历金字塔特征层中前N-1个层级获得N-1个层级融合特征层;将金字塔特征层中第N个层级特征层作为第N个层级融合特征层;
S130从N个层级融合特征层提取出候选区域;
S140将候选区域映射至N个层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
实施例八
在实施例六基础之上,在步骤S110和步骤S120之间还包括如下步骤:
对第i层级特征层进行卷积处理使得第i层级特征层通道同对第i+1层级特征层通道相同;对第i+1层级特征层进行上采样处理使得第i层级特征层尺寸同对第i+1层级特征层尺寸相同;1≤i≤N-1。
实施例九
在实施例六或实施例七基础之上,步骤S140包括如下子步骤:
步骤S141:将候选区域映射至N个层级融合特征层获得映射处理后的N个层级融合特征层;
步骤S142:并对映射处理后的N个层级融合特征层进行融合处理获得目标判定特征层;
步骤S143:目标判定特征层进行目标判定输出结果。
本发明首次提出的一种基于特征金字塔网络的遥感影像时敏目标识别方法,设计一种基于通道加权的特征金字塔目标检测网络模型,从空间及通道两个维度提升目标特征的立体化表达能力及尺度适应性,将分类回归网络中的多层次区域池化特征融合,使得网络模型规模大幅缩减,实现网络轻量化。
本发明提供的基于特征金字塔网络的遥感影像时敏目标识别方法实施例,该方法具体过程为:
步骤S110:提取图像中目标特征
如图4所示,以SE-MobileNet为特征提取网络,通过在MobileNet网络结构单元中添加SE结构实现对图像中目标特征提取。
步骤S111:Squeeze挤压操作
通过全局平均池化将输入的U个原始特征图缩成1*1*C的实数数列,U表示通道的全局空间特征表示,实数数列表示通道描述符,即特征在通道维度的表达,具体公式如下:
其中,W、H分别为特征图的长、宽,uc表示输入的特征图。
步骤S112:Excitation激励操作
挤压之后的实数数列经过Excitation操作的公式表示如下所示:
s=Fex(z,W)=σ(g(z,W))=δ(W2σ(W1z))
其中,δ指ReLU激活函数,g指sigmoid激活函数,
引入两个全连接(FC)层,即降维层参数为W1,降维比例为r,之后经过一个ReLU,然后是一个参数为W2的升维层。最后,将1*1*C的实数数列结合特征图U通过下列公式进行Scale操作得到最终的输出。
其中,X=[x1,x2,...,xc]和Fscale(uc,sc)指的是特征映射uc∈RW×H和标量sc之间对应通道乘积。
步骤S120:获得不同层级融合特征层
步骤S121:自下而上的路径
特征金字塔的构建是根据层级来进行划分,定义尺度相同的特征图为一个金字塔级别,并将每个层级的最后一张特征图作为该层金字塔的最终输出。使用每个层级的卷积层的最后一个特征图作为输出,以特征图尺度为基准定义金字塔结构的输出为{C2,C3,C4,C5},分别来自于卷积层conv2、conv3、conv4和conv5,并且这些特征层相对于输入图像具有{4,8,16,32}像素的步长。
步骤S122:自上而下的金字塔网络路径和横向连接
自上而下的金字塔网络路径通过连接构建信息流动通道,将高层特征与当前的特征融合。具体操作为将卷积网络的上一层特征进行上采样,然后通过横向连接与前一层的特征进行融合,低层次的语义信息也得到加强,横向连接的两个特征图之间的尺寸大小需要是相同的,才能更好的利用当前特征图的定位细节信息。
上一层的特征T1,首先把T1进行2倍上采样,得到特征图T2,然后将S1层特征经过一个1×1的卷积操作来调整通道数目,保持和T2特征的通道数目一致,最后将T2与调整通道数目后的S2层特征进行融合,融合方式是直接进行像素相加。
步骤S130:RPN网络构建特征金字塔结构,提取候选区域
在Faster RCNN中输入进RPN网络的特征图为固定的16×16这一个尺寸,为了实现多尺度的效果,需要多个尺度的特征图作为输入。为了将特征金字塔结构与RPN网络结合,我们将融合特征层{P2,P3,P4,P5}都作为RPN的输入,实现了多尺度的输入,并且为了让尺度信息更加丰富,对P5进行最大池化下采样,产生P6,所以RPN网络的输入为{P2,P3,P4,P5,P6}。RPN网络在Faster RCNN中有9种不同尺度的候选窗口(Anchors),分为三种尺度和三种长宽比,然而对于RPN网络的多尺度的输入来说,多尺度的意义不大,所以就保留了三种长宽比例。{P2,P3,P4,P5,P6}对应的尺度为{32×32,64×64,128×128,256×256,512×512},再加上三种长宽比例,所以基于FPN的RPN网络总共有15中不同的Anchors。
步骤S140:对多个层级融合特征层进行目标判定输出结果。
S141:根据RPN产生的候选框大小,把它们分别映射到各个尺度的特征图上。假设候选框的大小为w×h,可以通过下列计算它应该映射到Pk特征图上,其中,k从2取到5,具体流程如图5所示。
网络模型预训练时224×224为预训练的图像大小,所以基准候选框的大小设置为224,记为k0,由于在Faster RCNN中,将C4作为RoI池化的输入,所以k0=4。假设候选框的w×h分别为112×112,那么k=k0-1=3,候选框应该映射到P3这个特征图上,然后再做RoI池化。具体实现时只用P2-P5特征层,不包含P6特征层。
S142:在分类回归子网络中,将多层次特征RoI池化之后的结果进行融合,再输入分类回归预测网络,具体结构如图6所示,将减少网络参数,提升网络训练与测试速度,融合计算过程如下公式所示。
Op=K×N×C×H×W
其中,Op为融合后的输出,输入特征图为X={x1,x2,x3…,xK},xk=N×C×H×W,K为融合特征层的数量,本实施例中取值为4,H、W分别为特征图的长、宽,C为特征图通道数,N为特征图个数。
步骤S143:目标判定特征层进行目标判定输出结果。
本发明提供的实施例中,采用如下步骤对遥感影像时敏目标识别系统进行训练:
步骤S210:数据集制作与分析
通过Google Earth卫星遥感图像软件下载世界各地飞机场0.6m分辨率下遥感图像1000张,图像大小2000×2000以上。并通过LabelImg图像标注工具对数据集中样本进行标注,仿照PASCAL VOC数据集格式。
数据集总共包含1000张2000×2000以上大小的遥感影像数据集,其中训练样本340张,测试样本330张,验证样本330张,飞机目标超过14000架。
通过对所有标注目标的尺寸大小进行分析,如图7所示。横坐标为K,纵坐标为目标个数。统计的计算公式为:
图7中Kr为1,2,3时表示的尺度大小分别为16×16,32×32,64×64。
步骤S220:根据步骤S210中数据集目标尺度分布统计设计系统的尺度超参数,并针对系统训练设计其他合理的超参数,将训练数据集输入遥感影像时敏目标识别系统中进行训练。
步骤S230:将测试数据集输入遥感影像时敏目标识别系统中进行前向计算,测试遥感影像时敏目标识别系统检测性能与泛化能力。
为了验证提出的特征金字塔网络对于遥感图像飞机目标检测的有效性,与现有主流目标检测框架Faster RCNN和R-FCN进行对比分析,检测三种场景,检测图像尺寸大于1000×1000,本发明的飞机目标检测结果以及与其他方法的检测效果对比图如图8、图9(a1)至图9(a3)、图9(b1)至图9(b3)及图9(c1)至图9(c3)所示,上述方法使用的数据集与本发明一致,结果如表1所示。
采用平均准确率作为模型评价指标,其值越大表示检测性能越好,检测时间是大幅面遥感图像测试统计得来。
表1
本发明首先设计一种基于通道加权的特征金字塔目标检测网络模型SEM-FPN,包括基于通道加权的目标特征提取子网络SE-MobileNet、特征层子网络、候选区域生成子网络RPN及分类回归子网络四个子网络,分别在子网络RPN与分类回归子网络上构建特征金字塔结构,分类回归子网络中的采用多层次区域池化特征融合,减少网络参数;然后制作遥感影像数据集,并对数据集中目标尺度分布进行分析;在网络的训练层级,设置合适的训练超参数,将训练样本输入SEM-FPN中进行端到端的训练,得到时敏目标检测模型;在图像测试层级,将数据集中的测试样本输入时敏目标检测模型,进行前向预测计算。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。