CN113139544A - 一种基于多尺度特征动态融合的显著性目标检测方法 - Google Patents

Abstract

本发明属于计算机视觉领域，提供了一种基于多尺度特征动态融合的显著性目标检测方法，包括以下步骤：1)利用VGG‑16主干框架对RGB图像进行多尺度特征提取并进行编码；2)利用多尺度特征动态融合模块优化多尺度特征，生成初始显著性图；3)利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图；4)初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生成高性能最终显著性图。与现有的技术相比，本发明基于多尺度动态特征融合的显著性检测算法融合了多尺度特征和边缘预测网络，可以有效提升显著性图的质量。

Description

一种基于多尺度特征动态融合的显著性目标检测方法

技术领域：

本发明涉及图像处理领域，具体来说，涉及了一种基于多尺度特征动态融合的显著性目标检测方法。

背景技术：

本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。

随着多媒体数据技术、网络技术、摄像设备以及数字存储技术的快速发展，人们获取的数字图像数据容量不断增加，面对这些海量的数据，仅凭人力根本无法对其进行实时处理，也就意味着也对图像信息处理有了更高的需求。受到人类视觉系统能快速、准确地识别出图像中的显著性目标所启发，假设计算机能具有类似人类的自动识别图像的能力，那么就可以帮助人类快速地完成很多图像处理任务。因此，显著性目标检测应运而生，它的研究内容是如何检测图像中显著性目标并完整地从背景中分割出来。这个研究内容在图像分割、视觉追踪、场景分类、图像和视频压缩、目标识别等多个领域都具有重要的意义。

根据特征选择时是否基于人的先验知识，显著性目标检测大致可以分为两类，一类是基于刺激驱动的传统显著性目标检测，另一类是基于数据驱动的深度学习显著性目标检测。传统显著性目标检测基于刺激驱动，主要是利用一些低级的视觉先验信息(如颜色、对比度、纹理等)进行显著性目标检测。虽然，传统的显著性检测方法可以利用各类视觉先验信息，理解图像中的内容，区分出显著性目标。但是因为它只能利用低级视觉先验信息，无法利用高层次的语义信息，使得很难从复杂的背景的图像中区分出显著性目标。随着，硬件的不断发展，电脑计算速度的不断提升，基于数据驱动的深度学习方法开始广泛流行，基于深度学习的显著性目标检测方法也开始了蓬勃的发展。由于它可以利用深层次的神经网络提取到图像中的高层次语义信息，进而可以充分的利用高层次语义信息来更好的定位显著性目标。

虽然，基于深度学习的显著性目标检测方法，相较于传统的显著性目标检测有了很大的提升。针对不同场景下显著性目标尺寸复杂多变且类别不固定，使得多尺度特征在显著性目标检测中起到非常重要的作用。现有的很多方法提出了大量的多尺度特征融合策略，来利用多尺度特征。然而，都是静态特征融合策略，无法判断特征融合后的优劣情况，而特征的优劣将直接导致显著性图性能的好坏。同时，现有方法虽然可以较准确定位显著性目标，但分割出的显著性目标边缘信息仍然不够丰富。而边缘信息是判断显著性图性能的重要指标。

发明内容:

为了解决上述问题，本发明提出了一种多尺度特征动态融合的显著性目标检测方法及系统，设计多尺度特征动态融合模块，通过对多尺度动态匹配最优融合策略，进一步提升主干VGG-16框架生成特征的质量，生成初始显著性图；设计边缘预测模块，生成高质量边缘信息图；初始显著性图与边缘预测图进行融合生成高质量显著性图。使得网络可以从复杂背景中准确地定位显著性目标并完整地将其分割出来。

本发明的技术方案是提供了一种基于多尺度特征动态融合的显著性目标检测方法，该方法包括以下步骤：

1.收集RGB图像数据集，利用VGG-16主干框架提取图像多尺度特征并进行编码；

1.1)收集显著性目标检测领域常用的RGB图像数据集,MSRA-10K数据集、ECSSD数据集、PASCA-S数据集、SOD数据集、THUS数据集。

1.2)将MSRA-10K数据集作为训练数据集，将SOD数据集、ECSSD数据集、PASCA-S数据集、THUS数据集作为测试数据集。

1.3)将预训练好的VGG-16作为主干框架从输入RGB图像数据集提取多尺度特征，然后对多尺度特征进行编码(Conv_1、Conv_2、Conv_3、Conv_4、Conv_5)

2.利用多尺度特征动态融合模块优化多尺度特征，生成初始显著性图；

2.1)将多尺度特征输入多尺度特征动态融合模块进行特征融合，通过卷积操作与sigmoid(x)函数生成显著性图利用平均绝对误差(MAE)进行判断，保留最优融合特征。多尺度特征进行动态最优融合生成高质量特征(P1、P2、P3、P4、P5)

其中x，y是像素坐标点的位置，S是生成显著性图，G是真值标签，W,H是显著性图S的长度和宽度。

Pi＝θ(ρ(concat(Conv_i，Conv))，w)(i＝1，2，3，4，5) (2)

其中θ(x)是卷积核大小是1×1，参数为w的卷积操作，ρ(x)是平均绝对误差判断机制，concat(x)是特征融合操作，Conv除了Conv_i本身的所有多尺度特征。

2.2)步骤3.2中生成的高质量特征P2、P3、P4、P5进行上采样到与P1尺寸相同，然后进行特征融合通过卷积核大小为1×1的卷积操作和sigmoid(x)函数预测初始的显著性图S1；

S1＝s(θ(concat(P1，up(P2)，up(P3)，up(P4)，up(P5))，w)) (3)

其中s(x)是sigmoid(x)函数，up(x)是上采样操作，θ(x)是卷积操作，w是卷积操作参数，S1是预测的初始显著性图。

3.利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图；

3.1)将VGG-16主干框架中高层次语义特征(Conv_5)与低层次边缘特征(Conv_1、Conv_2)进行特征相乘，生成特征T1、T2，用作更好地定位显著性目标。

Ti＝multi(Conv-i，Conv-5)(i＝1，2) (4)

其中multi(x)是特征相称操作。

3.2)将生成的特征T1、T2输入边缘预测模块，然后利用空洞卷积扩张率为(0,2,4)和残差结构提升特征的性能，T2特征通过上采样与T1特征进行融合，通过一个1×1的卷积核和Sigmoid函数生成边缘预测图E。

E＝s(θ(concat(τ(T1)，up(τ(T2)))，w)) (5)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作，τ(x)是边缘预测模块。

4.初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生成高性能最终显著性图；

4.1)对步骤3.3)和步骤4.2)生成的初始显著性图S1和边缘预测图E进行融合，得到显著性图S2。

S2＝s(θ(concat(S1，E)，w)) (6)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作。

4.2)对于生成的显著性图S2进行自迭代操作，生成最终的显著性图S3。

S3＝concat(S2，up(θ1(S2))，up(θ2(S2))) (7)

其中concat(x)为特征聚合操作，θ1(x)卷积核为3×3的卷积操作，θ2卷积核为5×5的卷积操作，up(x)为上采样操作。

基于上述，多尺度特征动态融合模块分为多尺度特征动态融合，优化特征融合两部分组成，多尺度特征动态融合是将Conv_1、Conv_2、Conv_3、Conv_4、和Conv_5这五个尺度特征通过最优匹配策略，在空间维度上进行融合，提升初始多尺度特征性能。优化特征融合是将多尺度特征动态融合后生成的高质量特征(P1、P2、P3、P4、P5)，所有的特征进行上采用，通过步长为1，卷积核大小为1×1卷积层利用sigmoid(x)函数生成初始显著性图S1。

基于上述边缘预测模块，主要由空洞卷积操作和特征融合两部分组成，使用填充率分别为(0,2,4)空洞卷积和两个残差连接进行进一步提取边缘细节特征，然后在特征融合模块，通过步长为1，卷积核大小为1×1的卷积层中进行融合，利用sigmoid函数生成边缘预测图E。

基于上述的初始显著性图和边缘预测图通过步长为1，卷积核大小为1×1的卷积层进行融合生成显著性图S2，然后通过自迭代方法生成的最终显著性图S3。

本发明的优势：本发明充分利用了从VGG-16中提取的多尺度特征，利用多尺度特征动态融合策略大大缓解静态融合策略融合后特征情况无法判断优劣情况，更进一步的提升特征质量，用于生成初始显著性图S1；同时边缘预测模块的加入，将大大缓解因下采样或池化操作造成边缘信息模糊问题，增加显著性目标的边缘信息。与现有的显著性目标检测方法相比具有良好的性能。

附图说明

图1网络流程图

图2网络训练模式图

图3多尺度特征动态融合模块

图4边缘预测模块

图5初始显著性图与边缘预测图融合模块

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有的实施例。基于本发明中的实施例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

本发明的流程图框架如图1所示，本发明一种基于多尺度特征动态融合的显著性目标检测方法，其具体操作说明如下：

1.收集RGB图像数据集，利用VGG-16主干框架提取图像多尺度特征并进行编码

收集公开RGB图像数据集，设置训练数据和测试数据，为了增强网络的鲁棒性，对训练数据进行随机缩放、剪裁、填充边界、反转等数据增强处理，利用VGG-16作为主干框架，提出初始的多尺度特征信息并对多尺度特征进行编码。

具体步骤如下：

1.1收集显著性目标检测领域常用的RGB图像数据集,MSRA-10K数据集、ECSSD数据集、PASCA-S数据集、SOD数据集、THUS数据集。

1.2将MSRA-10K数据集作为训练数据集，将SOD数据集、ECSSD数据集、PASCA-S数据集、THUS数据集作为测试数据集，对训练数据进行随机缩放、剪裁、填充边界、反转等数据增强处理。

1.3将预训练好的VGG-16作为主干框架从输入RGB图像数据集提取多尺度特征，然后对多尺度特征进行编码(Conv_1、Conv_2、Conv_3、Conv_4、Conv_5)。

2.利用多尺度特征动态融合模块优化多尺度特征，生成初始显著性图

由于不同场景下，显著性目标往往尺度变化大而且类别也不固定，这导致准确而完整地从复杂场景中分割出显著性目标是一件非常困难的事情。现有很多方法利用多尺度特征融合策略优化多尺度特征，来缓解上述问题。但这些方法大都基于静态特征融合策略，无法判断特征融合后的优劣情况，而特征的优劣将直接影响最终显著性图性能的好坏。本发明设计了多尺度特征动态融合模块，通过融合多个不同的多尺度特征能够达到互补的功能，从而提高定位显著性目标的准确率。

具体步骤如下：

2.1将多尺度特征输入多尺度特征动态融合模块进行特征融合，通过卷积操作与sigmoid(x)函数生成显著性图利用平均绝对误差(MAE)进行判断，保留最优融合特征。多尺度特征进行动态最优融合生成高质量特征(P1、P2、P3、P4、P5)

其中x，y是像素坐标点的位置，S是生成显著性图，G是真值标签，W,H是显著性图S的长度和宽度。

Pi＝θ(ρ(concat(Conv_i，Conv))，w)(i＝1，2，3，4，5) (2)

其中θ是卷积核大小是1×1，参数为w的卷积操作，ρ是平均绝对误差判断机制，concat(x)是特征融合操作，Conv除了Conv_i本身的所有多尺度特征。

2.3步骤3.2中生成的高质量特征P2、P3、P4、P5进行上采样到与P1尺寸相同，然后进行特征融合通过卷积核大小为1×1的卷积操作和sigmoid(x)函数预测初始的显著性图S1；

S1＝s(θ(concat(P1，up(P2)，up(P3)，up(P4)，up(P5))，w)) (3)

其中s(x)是sigmoid(x)函数，up(x)是上采样操作，θ(x)是卷积操作，w是卷积操作参数，S1是预测的初始显著性图。

3.利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图

基于深度学习的显著性目标检测方法，虽然有利提升成显著性图的性能。但是由于卷积神经网络中的卷积操作和池化操作会使得显著性目标的边缘信息丢失严重，而边缘信息丰富的显著性目标却是判断显著性图优劣情况的一个重要指标。本发明设计了边缘预测模块增强显著性目标的边缘信息，提升显著性图的性能。

具体步骤如下：

3.1将VGG-16主干框架中高层次语义特征(Conv_5)与低层次边缘特征(Conv_1、Conv_2)进行特征相乘，生成特征T1、T2，用作更好地定位显著性目标。

Ti＝multi(Conv-i，Conv-5)(i＝1，2) (4)

其中multi(x)是特征相称操作。

3.2将生成的特征T1、T2输入边缘预测模块，然后利用空洞卷积扩张率为(0,2,4)和残差结构提升特征的性能，T2特征通过上采样与T1特征进行融合，通过一个1×1的卷积核和sigmoid函数生成边缘预测图E。

E＝s(θ(concat(τ(T1)，up(τ(T2)))，w)) (5)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作，τ(x)是边缘预测模块。

4.初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生成高性能最终显著性图。

基于多尺度特征动态融合模块生成的初始显著性图S1可以准确的定位显著性目标而基于边缘预测模块生成边缘预测图E内含丰富的显著性目标的边缘信息，因此二者融合能够进一步提升显著性图性能，同时对生成的显著性图进行自迭代进一步细化显著性图，生成最终显著性图。

具体步骤如下：

4.1对步骤3.3和步骤4.2生成的初始显著性图S1和边缘预测图E进行融合，得到显著性图S2。

S2＝s(θ(concat(S1，E)，w)) (6)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作。

4.2对于生成的显著性图S2进行自迭代操作，生成最终的显著性图S3。

S3＝concat(S2，up(θ1(S2))，up(θ2(S2))) (7)

其中concat(x)为特征聚合操作，θ1(x)卷积核为3×3的卷积操作，θ2(x)卷积核为5×5的卷积操作，up(x)为上采样操作。

以上所述为本申请优选实施而以，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围内。

Claims (5)

1.一种基于多尺度特征动态融合的显著性目标检测方法，其特征在于，该方法包括一下步骤：

1)收集RGB图像数据集，利用VGG-16主干框架提取图像多尺度特征并进行编码；

2)利用多尺度特征动态融合模块优化多尺度特征，生成初始显著性图；

3)利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图；

4)初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生成高性能最终显著性图。

2.根据权利要求1所述的基于多尺度特征动态融合的显著性目标检测方法，其特征在于：所述步骤1)具体方法是：

2.1)收集显著性目标检测领域常用的RGB图像数据集,MSRA-10K数据集、ECSSD数据集、PASCA-S数据集、SOD数据集、THUS数据集。

2.2)将MSRA-10K数据集作为训练数据集，将SOD数据集、ECSSD数据集、PASCA-S数据集、THUS数据集作为测试数据集。

2.3)将预训练好的VGG-16作为主干框架从输入RGB图像数据集提取多尺度特征，然后对多尺度特征进行编码(Conv_1、Conv_2、Conv_3、Conv_4、Conv_5)

3.根据权利要求1所述的基于多尺度特征动态融合的显著性目标检测方法，其特征在于：所述步骤2)具体方法是：

3.1)将多尺度特征输入多尺度特征动态融合模块进行特征融合，通过卷积操作与sigmoid(x)函数生成显著性图利用平均绝对误差(MAE)进行判断，保留最优融合特征。多尺度特征进行动态最优融合生成高质量特征(P1、P2、P3、P4、P5)

其中x，y是像素坐标点的位置，S是生成显著性图，G是真值标签，W，H是显著性图S的长度和宽度。

Pi＝θ(ρ(concat(Conv_i，Conv))，w)(i＝1，2，3，4，5) (2)

其中θ(x)是卷积核大小是1×1，参数为w的卷积操作，ρ(x)是平均绝对误差判断机制，concat(x)是特征融合操作，Conv除了Conv_i本身的所有多尺度特征。

3.2)步骤3.1中生成的高质量特征P2、P3、P4、P5进行上采样到与P1尺寸相同，然后进行特征融合通过卷积核大小为1×1的卷积操作和sigmoid(x)函数预测初始的显著性图S1；

S1＝s(θ(concat(P1，up(P2)，up(P3)，up(P4)，up(P5))，w)) (3)

其中s(x)是sigmoid(x)函数，up(x)是上采样操作，θ(x)是卷积操作，w是卷积操作参数，S1是预测的初始显著性图。

4.根据权利要求1所述的基于多尺度特征动态融合的显著性目标检测方法，其特征在于：所述步骤3)具体方法是：

4.1)将VGG-16主干框架中高层次语义特征(Conv_5)与低层次边缘特征(Conv_1、Conv_2)进行特征相乘，生成特征T1、T2，用作更好地定位显著性目标。

Ti＝multi(Conv_i，Conv_5)(i＝1，2) (4)

其中multi(x)是特征相称操作。

4.2)将生成的特征T1、T2输入边缘预测模块，然后利用空洞卷积扩张率为(0，2，4)和残差结构提升特征的性能，T2特征通过上采样与T1特征进行融合，通过一个1×1的卷积核和Sigmoid函数生成边缘预测图E。

E＝s(θ(concat(τ(T1)，up(τ(T2)))，w)) (5)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作，τ(x)是边缘预测模块。

5.根据权利要求1所述的基于多尺度特征动态融合的显著性目标检测方法，其特征在于：所述步骤4)具体方法是：

5.1)对步骤3.3)和步骤4.2)生成的初始显著性图S1和边缘预测图E进行融合，得到显著性图S2。

S2＝s(θ(concat(S1，E)，w)) (6)

其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1×1，参数为w的卷积操作，concat(x)是特征聚合操作。

5.2)对于生成的显著性图S2进行自迭代操作，生成最终的显著性图S3。

S3＝concat(S2，up(θ1(S2))，up(θ2(S2))) (7)

其中concat(x)为特征聚合操作，θ1(x)卷积核为3×3的卷积操作，θ2(x)卷积核为5×5的卷积操作，up(x)为上采样操作。

Images