CN117893561B - 一种基于局部对比度计算方法的红外细小目标检测算法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，涉及一种基于局部对比度计算方法的红外细小目标检测算法。本发明对现有的局部对比度方法进行改进，提出了一种新型计算局部对比度方法并设计一种高效、可在边缘平台部署的红外小目标检测方法，通过研究局部对比度特性，本发明提出可变形注意力模块来分离显著特征和代表特征，并降低计算的复杂性。此外，为了聚合全局和局部相关性，本发明提出将全局处理模块和卷积模块与目标边缘的监督相结合的交叉聚合。本发明可高效快速实现红外细小目标检测功能，是一种结合传统局部对比度方法和深度学习特征处理二者优点的高效、快速的红外细小目标检测算法。

Description

一种基于局部对比度计算方法的红外细小目标检测算法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于局部对比度计算方法的红外细小目标检测算法。

背景技术

随着计算机视觉技术的不断进步，大量的视觉信息被积极获取、传输和分析。当前的研究焦点之一是如何使计算机有效处理这些视频数据。在上个世纪，红外成像系统在军事领域得到广泛应用。与雷达系统相比，红外成像系统采用被动探测方式，既能探测目标又能保持自身的隐蔽性。相较于可见光系统，红外探测技术具备穿透能力强、长成像距离和出色抗干扰性等特点，在预警、探测等方面发挥着重要作用。随着时代的发展，红外系统还在医学成像、交通管理、海洋搜救等非军事领域得到广泛应用。在红外成像系统中，目标检测与跟踪的准确性一直是系统评估的关键因素。红外细小目标检测作为该领域的关键技术之一，能够在早期检测异常小目标，有助于及早预警潜在危险并采取相应对策。因此，精确检测红外图像中的细小目标成为当前计算机视觉和图像处理领域亟待解决的热门难题。

相较于通用目标检测模型应对的待测目标，红外细小目标具有一系列特点：红外图像中背景噪声和杂波较多，导致低对比度和低信噪比，使目标容易淹没在复杂背景中，通用目标检测模型难以有效检测；由于红外成像系统与目标的较远距离，红外目标通常只占据十几个像素，有时甚至只有一到两个像素，通用目标检测模型难以从中获取形状、纹理和空间结构等信息进行辅助检测；不同目标类型、形状和大小在不同场景和情况下变化巨大，使用通用目标检测模型容易导致较高的误报率，降低模型检测性能；由于红外成像系统应用场景通常要求实时检测，因此红外细小目标检测模型的推理速度要求较高。然而，目前的红外细小目标检测模型主要追求高准确率，而忽视了实时性。

因此，根据以上分析，红外细小目标检测面临多项挑战。一方面，基于卷积神经网络与深度学习的通用目标检测模型的思路难以适用于红外细小目标检测；另一方面，现有的红外细小目标模型在目标准确性和推理实时性方面仍存在多个缺陷。因此，研究一种实时、高效、可在边缘平台部署的红外小目标检测方法具有重要的价值和挑战性。

发明内容

本发明提供一种局部对比度计算方法的红外细小目标检测算法，通过在边缘计算平台上部署模型，边缘计算平台利用红外成像设备或远程上传图像获取单帧或批量红外图像，通过模型对红外图像进行检测，获取红外细小目标检测图，并对检测图进行后处理，最终输出到相应的显示设备或返回到远程平台。

本发明的技术方案为：

一种局部对比度计算方法的红外细小目标检测算法，包括步骤如下：

1)边缘计算平台利用红外成像设备或远程上传图像获取单帧或批量红外图像，并对红外图像进行预处理。

2)首先模型对红外图像求出边缘特征图，接着将红外图像与边缘特征图分别放入模型主分支与边缘分支中。在主分支中，红外图像特征依次经过编码器部分与解码器部分获取图像主分支特征图。

对于编码器部分，包括基础下采样处理模块、多个基于局部对比度计算方法的卷积处理模块以及下采样的全局信息处理模块，红外图像首先经过基础下采样处理模块生成红外图像表示特征，然后红外图像表示特征通过多个卷积处理模块处理，其中第一层卷积处理模块对红外图像表示特征通过多个基于局部对比度计算方法的卷积处理模块对图像特征进行下采样与增强处理，得到下一层低级特征，第二层以上卷积处理模块对上一层低级特征处理，得到下一层低级特征，同时对红外图像表示特征进行下采样，并通过全局信息处理模块处理，与卷积处理模块部分的图像特征相结合获取全局图像特征。

对于解码器部分，包括多个解码模块与特征融合模块，其中第一层解码模块对全局特征使用反卷积模块进行上采样得到高级特征，第二层以上解码模块对上一层高级特征处理，得到下一层高级特征，接着通过对编码模块中同层的卷积处理模块的低级特征与当前高级特征经过特征融合模块进行融合，得到精炼的高级特征。最终通过上述一系列解码模块获取图像主分支特征图。

3)在边缘分支中，图像边缘特征通过嵌入表示处理模块与多个边缘处理模块获取图像边缘分支特征图。具体过程为：边缘特征图首先通过嵌入表示处理模块获取边缘表示特征，接着边缘表示特征通过边缘处理模块处理，其中每一层对边缘表示特征或上一层的细化边缘特征经过卷积层处理，并与主分支中同层高级特征相结合，通过门控模块获取细化边缘特征。最终，经过细化的边缘特征输出图像边缘分支特征图。

4)模型最终通过主分支与边缘分支输出的特征图进行结合，通过检测模块生成最终的红外细小目标检测图，并对检测图进行后处理，将处理后的单张或批量检测图输出到相应的显示设备或返回到远程平台。

本发明的有益效果：本发明提供一种基于局部对比度计算方法的红外小目标检测方法，设计了一种局部对比度的计算方法，通过根据当前图像空间特征信息确定背景区域，对背景与目标进行更精确的分离，从而使模型克服红外小目标昏暗，信噪比低的难点，以增强对局部对比度效果，提高模型性能。同时保证计算量较小，实现了在模型计算量与性能之间的平衡。并将模型部署到边缘平台，实现了在真实边缘场景下的红外小目标检测。

附图说明

图1为在边缘平台上部署红外细小目标检测算法基本流程图。

图2为本发明的详细流程图。

图3为局部对比度坐标图。

图4为局部对比度计算说明图。

图5在ISRSTD-1k数据集上检测的效果图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

本发明提供一种基于局部对比度计算方法的红外小目标检测方法，基本流程如图1所示，具体如下：

1)模型的总体流程：首先模型对红外图像x₁使用Sobel算子求出图像边缘特征x₁₄，接着将红外图像x₁与图像边缘特征x₁₄分别放入主分支与边缘分支中，获取主分支与边缘分支输出的特征图，通过对两部分特征图生成最终的红外细小目标检测图，详细流程如图2所示。

2)编码器主要过程：红外图像特征x₁首先经过基础下采样处理模块、多个基于局部对比度计算方法的卷积处理模块与下采样的全局信息处理模块获取全局图像特征。具体如下：

2-1)对于基础下采样处理模块由三个卷积层与一个最大池化层，对图像进行下采样。输出特征x₂定义为：

x₂＝F_max(Conv_stem(x₁))

其中Conv_stem(·)和F_max(·)分别表示三个卷积层和最大池化层。然后，输出特征x₂通过基于局部对比度计算模块进行目标特征增强与非线性变换，得到噪声和杂波较少的特征x₃、x₄与x₅。

2-2)对于基于局部对比度计算方法的卷积处理，其具体流程为：对于图像特征其中C为特征的通道数，H与W为特征的长度与宽度，通过两次两层卷积处理模块，卷积处理模块包括卷积层、批量归一化层、RELU层以及残差处理，在后一层卷积处理模块中还具有一层通道注意力层与一层基于局部对比度计算方法的空间注意力层，其定义如下：

y＝RELU(BN(Conv(x)))+x

z＝LC(CA(RELU(BN(Conv(y)))))+y

其中Conv(·)、BN(·)和RELU(·)分别表示卷积层、批量归一化层和RELU层，CA(·)和LC(·)分别为通道注意力层与基于局部对比度计算方法的空间注意力层,MLP(·)为非线性处理，σ(·)为Sigmoid函数，为对元素范围的乘法，P_max(·)与P_avg(·)为最大池化层与平均池化层，y为通过前两次两层卷积处理模块处理的中间特征。关于LC(·)，其具体方法如下：其通过一个已经预定好卷积核参数且卷积核大小为3×3的可变形卷积模块进行局部对比度计算，产生局部对比度注意力映射/>再经过两层卷积层后进行非线性处理，最终通过Sigmoid函数对特征F添加局部对比度以增强目标特征，即：

D＝LC_DCN(F)

其中LC_DCN(·)是上述经过预定好卷积核参数的可变形卷积模块，经过可变形卷积模块后得到中间结果为D中的每个通道中的特征。min(·)为求各个空间位置中的最小值。经过上述处理最终得到经过局部对比度增强的特征/>设定卷积核参数以计算局部对比度，主要流程如图4所示，其计算过程如下：首先，模块通过原特征F得到分数特征/>具体做法为在通道方向上对输入特征F的分别进行平均值与最大值计算，接着进行一次加权计算，其加权系数为学习参数，接着使用特定的可变形卷积模块处理，其具体计算方法如下：

其中DCN_LC(·)为特定的可变形卷积模块，具体设置为：输出通道为4，卷积核大小为3×3，并且设定4个输出通道中分别各设置一个方向，且该方向上对角权重分别为1，其余区域权重为0。以保证在3×3的二维空间中对4个对角方向Ω＝{((+,0),(-,0)),((+,+),(-,-)),((0,+),(0,-)),((-,+),(+,-))}与中心位置计算局部对比度，具体如图3所示。同时为了DCN_LC(S)与DCN_LC(S²)都在相同位置进行卷积操作，因此可学习偏移和调制量本模型只通过对原特征F进行计算后得到。

2-3)关于全局信息处理模块，首先将特征x₂经过下采样处理，获得特征x₆，再经过全局信息处理模块，获得全局特征x₇，全局信息处理模块由多头自注意力模块与多层感知机模块构成，其主要过程如下：假设当前模型一共由L层模块搭建而成，对于当前第l层模块，l＝1…L，则第l层的向量序列z_l为：

z′_l＝MSA(LN(z_l-1))+z_l-1

z_l＝MLP(LN(z′_l))+z′_l

其中z′_l为中间计算结果，z_l-1为第l-1层的向量序列，LN(·)为层归一化模块，MSA(·)为多头注意力模块，MLP(·)为多层感知机模块。对多头注意力模块，其详细计算方法如下：

Y＝[Y₁,…,Y_H]A

其中为输入特征，/>为多头注意力模块的输出特征，H为注意力头数目，/>分别为特征转换矩阵，Y_h为第h个注意力头输出特征，d_h为特征转换后的维度长度。/>为H个注意力头输出连接的特征，/>为输出转换矩阵。对于多层感知机模块，其计算方法如下：

Y＝(GELU(XW_in))W_out

其中W_in为隐藏层的转换矩阵，W_out为输出层的转换矩阵，GELU(·)为高斯误差线性单元。

2-4)最后编码器将最终的卷积处理模块中的特征x₅与全局信息处理模块的特征x₇相连接并经过一个卷积线性变换模块，得到最终的全局特征x₉，即：

x₉＝Conv_1×1(Cat(x₅,x₇))

其中Cat(·)为特征连接操作，Conv_1×1(·)为一个卷积线性变换模块，具体为两个卷积层与ReLU层结合的模块。

3)对于解码器部分，模型首先对全局特征x₉进行反卷积层处理，使得特征大小增大一倍，得到高级特征x₁₀。特征融合模块将高级特征x₁₀和具有相同大小的低级特征x₄进行特征融合，最后通过一次卷积模块处理，得到精炼特征x₁₁。其具体流程如下：

y＝Fuse(DConv(x_high),x_low)

z＝RELU(BN(Conv(y)))+y

其中DConv(·)为反卷积层，Fuse(·)为特征融合模块，x_high与x_low分别为高级特征与低级特征。关于特征融合模块，其过程描述如下：

x_row＝σ(F_r(F_b(x_low)))F_b(x_high)+F_b(x_high)

x_column＝σ(F_c(F_b(x_low)))F_b(x_high)+F_b(x_high)

y＝x_row+x_column

其中F_b(·)代表瓶颈模块，由两个卷积核为1×1的卷积模块构成，用来过滤高频噪声。x_row与x_column为横向与竖向特征，F_r(·)与F_c(·)分别代表横向与竖向的注意力计算，主要方式为分别使用一个卷积核为1×3与3×1的可变形卷积模块进行计算，从而实现横向与竖向注意力计算。类似地，对低级特征x₃和高级特征x₁₂进行特征融合模块处理，得到特征x₁₃，其中特征x₁₃为主分支特征图。

4)图像边缘特征x₁₄首先通过嵌入表示处理模块处理，接着其与来自主分支编码器中的高级特征x₉一起经过边缘处理模块以提取边缘特征x₁₅。同样的，边缘特征x₁₅与高级特征x₁₁通过边缘处理模块提取边缘特征x₁₆，边缘特征x₁₆与主分支特征图x₁₃通过边缘处理模块提取边缘分支特征图x₁₇；其中嵌入表示处理模块为一层大小为3×3的卷积层。

边缘处理模块主要由两个空间注意力层与通道注意力层的卷积处理模块构成，同时通过基于泰勒有限差分的计算方式计算最终结果，其具体计算方法为：

b＝u_gate+a-3(a′-a)

a′＝SA(CA(RELU(BN(Conv(a)))))+a

u_gate＝Conv_gate(x_high)

其中SA(·)为具有空间注意力层，Conv_s(·)为空间注意力中的卷积操作，Conv_gate(·)为门控卷积操作，a为输入特征，a′为第一个卷积处理模块处理的中间特征，b为输出特征。

5)关于最终的检测模块，首先模型将主分支特征图x₁₃与边缘分支特征图x₁₇计算出经过边缘特征细化的输出特征x₁₈，其具体计算方式如下：

输出特征x₁₈最后通过一个分割头模块，最终输出目标预测图。同时，模型也对边缘分支特征图x₁₇进行检测目标轮廓，以增强模型性能。模型对IRSTD-1k数据集的检测结果如图5所示，可以看到红外小目标被精确地检测到。

Claims (4)

1.一种局部对比度计算方法的红外细小目标检测算法，其特征在于，包括步骤如下：

1)边缘计算平台利用红外成像设备或远程上传图像获取单帧或批量红外图像，并对红外图像进行预处理；

2)首先模型对红外图像求出边缘特征图，接着将红外图像与边缘特征图分别放入模型主分支与边缘分支中；在主分支中，红外图像特征依次经过编码器部分与解码器部分获取图像主分支特征图；

对于编码器部分，包括下采样处理模块、多个基于局部对比度计算方法的卷积处理模块以及下采样的全局信息处理模块，红外图像首先经过下采样处理模块生成红外图像表示特征，然后红外图像表示特征通过多个卷积处理模块处理，其中第一层卷积处理模块对红外图像表示特征通过多个基于局部对比度计算方法的卷积处理模块对图像特征进行下采样与增强处理，得到下一层低级特征，第二层以上卷积处理模块对上一层低级特征处理，得到下一层低级特征，同时对红外图像表示特征进行下采样，并通过全局信息处理模块处理，与卷积处理模块部分的图像特征相结合获取全局图像特征；

对于解码器部分，包括多个解码模块与特征融合模块，其中第一层解码模块对全局特征使用反卷积模块进行上采样得到高级特征，第二层以上解码模块对上一层高级特征处理，得到下一层高级特征，接着通过对编码模块中同层的卷积处理模块的低级特征与当前高级特征经过特征融合模块进行融合，得到精炼的高级特征；最终通过一系列解码模块获取图像主分支特征图；

3)在边缘分支中，图像边缘特征通过嵌入表示处理模块与多个边缘处理模块获取图像边缘分支特征图，具体过程为：边缘特征图首先通过嵌入表示处理模块获取边缘表示特征，接着边缘表示特征通过边缘处理模块处理，其中每一层对边缘表示特征或上一层的细化边缘特征经过卷积层处理，并与主分支中同层高级特征相结合，通过门控模块获取细化边缘特征；最终，经过细化的边缘特征输出图像边缘分支特征图；

4)模型最终通过主分支与边缘分支输出的特征图进行结合，通过检测模块生成最终的红外细小目标检测图，并对检测图进行后处理，将处理后的单张或批量检测图输出到相应的显示设备或返回到远程平台；

所述的步骤2)中，编码器主要过程：图像特征x₁首先经过下采样处理模块、多个基于局部对比度计算方法的卷积处理模块与下采样的全局信息处理模块获取全局图像特征；具体如下：

2-1)对于下采样处理模块由三个卷积层与一个最大池化层，对图像进行下采样；输出特征x₂定义为：

x₂＝F_max(Conv_stem(x₁))

其中Conv_stem(·)和F_max(·)分别表示三个卷积层和最大池化层；然后，输出特征x₂通过基于局部对比度计算模块进行目标特征增强与非线性变换，得到噪声和杂波少的特征x₃、x₄与x₅；

2-2)对于基于局部对比度计算方法的卷积处理，具体流程为：对于图像特征其中C为特征的通道数，H与W为特征的长度与宽度，通过两次两层卷积处理模块，卷积处理模块包括卷积层、批量归一化层、RELU层以及残差处理，在后一层卷积处理模块中还具有一层通道注意力层与一层基于局部对比度计算方法的空间注意力层，定义如下：

y＝RELU(BN(Conv(x)))+x

z＝LC(CA(RELU(BN(Conv(y)))))+y

其中Conv(·)、BN(·)和RELU(·)分别表示卷积层、批量归一化层和RELU层，CA(·)和LC(·)分别为通道注意力层与基于局部对比度计算方法的空间注意力层,MLP(·)为非线性处理，σ(·)为Sigmoid函数，为对元素范围的乘法，P_max(·)与P_avg(·)为最大池化层与平均池化层，y为通过前两次两层卷积处理模块处理的中间特征；关于LC(·)，具体方法如下：通过一个已经预定好卷积核参数且卷积核大小为3×3的可变形卷积模块进行局部对比度计算，产生局部对比度注意力映射/>再经过两层卷积层后进行非线性处理，最终通过Sigmoid函数对特征F添加局部对比度以增强目标特征，即：

D＝LC_DCN(F)

其中LC_DCN(·)是上述经过预定好卷积核参数的可变形卷积模块，经过可变形卷积模块后得到中间结果为D中的每个通道中的特征；min(·)为求各个空间位置中的最小值；经过上述处理最终得到经过局部对比度增强的特征/>设定卷积核参数以计算局部对比度，计算过程如下：首先，通过原特征F得到分数特征/>具体做法为在通道方向上对输入特征F的分别进行平均值与最大值计算，接着进行一次加权计算，加权系数为学习参数，接着使用可变形卷积模块处理，具体计算方法如下：

其中DCN_LC(·)为可变形卷积模块，具体设置为：输出通道为4，卷积核大小为3×3，并且设定4个输出通道中分别各设置一个方向，且该方向上对角权重分别为1，其余区域权重为0；以保证在3×3的二维空间中对4个对角方向Ω＝{((+,0),(-,0)),((+,+),(-,-)),((0,+),(0,-)),((-,+),(+,-))}与中心位置计算局部对比度；同时为了DCN_LC(S)与DCN_LC(S²)都在相同位置进行卷积操作，因此可学习偏移和调制量只通过对原特征F进行计算后得到；

2-3)关于全局信息处理模块，首先将特征x₂经过下采样处理，获得特征x₆，再经过全局信息处理模块，获得全局特征x₇，全局信息处理模块由多头自注意力模块与多层感知机模块构成，主要过程如下：假设当前模型一共由L层搭建而成，对于当前第l层模块，l＝1…L，则第l层的向量序列z_l为：

z′_l＝MSA(LN(z_l-1))+z_l-1

z_l＝MLP(LN(z′_l))+z′_l

其中z′_l为中间计算结果，z_l-1为第l-1层的向量序列，LN(·)为层归一化模块，MSA(·)为多头注意力模块，MLP(·)为多层感知机模块；对多头注意力模块，计算方法如下：

Y＝[Y₁,…,Y_H]A

其中为输入特征，/>为多头注意力模块的输出特征，H为注意力头数目，分别为特征转换矩阵，Y_h为第h个注意力头输出特征，d_h为特征转换后的维度长度；/>为H个注意力头输出连接的特征，/>为输出转换矩阵；对于多层感知机模块，其计算方法如下：

Y＝(GELU(XW_in))W_out

其中W_in为隐藏层的转换矩阵，W_out为输出层的转换矩阵，GELU(·)为高斯误差线性单元；

2-4)最后编码器将最终的卷积处理模块中的特征x₅与全局信息处理模块的特征x₇相连接并经过一个卷积线性变换模块，得到最终的全局特征x₉，即：

x₉＝Conv_1×1(Cat(x₅,x₇))

其中Cat(·)为特征连接操作；Conv_1×1(·)为一个卷积线性变换模块，为两个卷积层与ReLU层结合的模块。

2.根据权利要求1所述的一种局部对比度计算方法的红外细小目标检测算法，其特征在于，所述的步骤2)中，对于解码器部分，模型首先对全局特征x₉通过反卷积层处理，使得特征大小增大一倍，得到高级特征x₁₀；特征融合模块将高级特征x₁₀和具有相同大小的低级特征x₄进行特征融合，最后通过一次卷积模块处理，得到精炼的高级特征x₁₁；具体流程如下：

y＝Fuse(DConv(x_high),x_low)

z＝RELU(BN(Conv(y)))+y

其中DConv(·)为反卷积层，Fuse(·)为特征融合模块，x_high与x_low分别为高级特征与低级特征；关于特征融合模块，过程描述如下：

x_row＝σ(F_r(F_b(x_low)))F_b(x_high)+F_b(x_high)

x_column＝σ(F_c(F_b(x_low)))F_b(x_high)+F_b(x_high)

y＝x_row+x_column

其中F_b(·)代表瓶颈模块，由两个卷积核为1×1的卷积模块构成，用来过滤高频噪声；x_row与x_column为横向与竖向特征，F_r(·)与F_c(·)分别代表横向与竖向的注意力计算，主要方式为分别使用一个卷积核为1×3与3×1的可变形卷积模块进行计算，从而实现横向与竖向注意力计算；同样对低级特征x₃和高级特征x₁₂通过特征融合模块处理，得到特征x₁₃，其中特征x₁₃为主分支特征图。

3.根据权利要求1所述的一种局部对比度计算方法的红外细小目标检测算法，其特征在于，所述的步骤3)中，图像边缘特征x₁₄首先通过嵌入表示处理模块处理，接着与来自主分支编码器中的高级特征x₉一起经过边缘处理模块以提取边缘特征x₁₅；同样的，边缘特征x₁₅与高级特征x₁₁通过边缘处理模块提取边缘特征x₁₆，边缘特征x₁₆与主分支特征图x₁₃通过边缘处理模块提取边缘分支特征图x₁₇；其中嵌入表示处理模块为一层大小为3×3的卷积层；

边缘处理模块主要由两个空间注意力层与通道注意力层的卷积处理模块构成，同时通过基于泰勒有限差分的计算方式计算最终结果，具体计算方法为：

b＝u_gate+a-3(a′-a)

a′＝SA(CA(RELU(BN(Conv(a))))))+a

u_gate＝Conv_gate(x_high)

其中SA(·)为具有空间注意力层，Conv_s(·)为空间注意力中的卷积操作，Conv_gate(·)为门控卷积操作，a为输入特征，a′为第一个卷积处理模块处理的中间特征，b为输出特征。

4.根据权利要求1所述的一种局部对比度计算方法的红外细小目标检测算法，其特征在于，所述的步骤4)中，关于检测模块，首先模型将主分支特征图x₁₃与边缘分支特征图x₁₇计算出经过边缘特征细化的输出特征x₁₈，具体计算方式如下：

输出特征x₁₈最后通过一个分割头模块，最终输出目标预测图；同时，模型也对边缘分支特征图x₁₇进行检测目标轮廓，以增强模型性能。