CN113449658A - 基于空域、频域、时域的夜间视频序列显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于空域、频域、时域的夜间视频序列显著性检测方法，包括如下步骤：针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵；针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换；针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标；将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。本发明通过多模态融合策略使空间域、频率域和时间域可以互相补充和约束，最大程度地提高了显著物体检测的效率，能够高效的获得更加准确的显著图，同时对于夜间视频帧，能够很好的提取出显著性目标。

Description

基于空域、频域、时域的夜间视频序列显著性检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于空域、频域、时域的夜间视频序列显著性检测方法。

背景技术

在过去的几十年中，显著性检测的研究呈指数增长。由于人类视觉系统具有注意力机制，因此人们可以从复杂的环境中快速挑选出最有趣的区域。通过模拟这种机制，显著目标检测在各种应用中具有巨大潜力，包括自动目标检测、图像分割、目标识别等。

显著性检测作为图像处理中的一项至关重要的技术，可以从混乱的环境中高效地提取最有用的信息，因此在计算机视觉领域越来越受到关注。现有的显著性模型可以在环境良好控制的标准图像数据集或视频数据集中获得理想的检测结果。但是，这些传统的显著性计算模型面临亮度低、信噪比低、几乎没有色彩信息属性的夜间图像/视频的巨大挑战，由于缺乏明确的特征而难以解释显著性信息。在这种情况下，很难提取有效的视觉特征来描述重要信息。因此，夜间视频中的显著性检测仍然是一项艰巨的任务。由于在夜间条件下，前景与背景之间几乎没有差异，因此传统的显著性模型无法获得令人满意的结果。

发明内容

本发明为了克服以上技术的不足，提供了一种基于空域、频域、时域的夜间视频序列显著性检测方法，该方法在夜间视频序列中有效，能够为夜间安防、军事夜间侦察、夜间智能农业技术、无人驾驶汽车、复杂环境目标定位等热点问题提供解决方案。

通常，空间域方法主要着眼于局部信息，并且可以检测到显著物体的内部细节，而它们却很难突出物体的轮廓，并且对复杂的背景敏感。相反，频域方法旨在利用全局信息，它们可以准确地定位显著目标并定义边缘信息。由于运动目标比静态目标更出色，因此可以通过时域方法有效地抑制无关的背景信息。多模态融合策略使这些方法可以互相补充和完善，最大程度地提高显著物体检测的效率。本发明提出的基于空域、频域、时域的夜间视频序列显著性检测方法，可以通过多模态融合策略学习夜间视频序列中的显著特征来估计视频序列的显著性。

本发明克服其技术问题所采用的技术方案是：

一种基于空域、频域、时域的夜间视频序列显著性检测方法，包括如下步骤：

针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵；

针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换；

针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标；

将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。

进一步地，空域显著性检测的步骤包括：

S11、将输入的视频帧分割成超像素并定义图模型；

S12、建立基于图模型的流形排序模型；

S13、计算低级特征的协方差矩阵，用以估计每个超像素的局部和全局显著性；

S14、通过实施扩散过程优化超像素级显著性图。

进一步地，步骤S11具体包括：

利用简单的线性迭代聚类算法将给定的视频帧简化为超像素：

S_pixel(i),i＝1,···,N

上式中，N为超像素总数；

将图像分割成超像素之后，构建具有N个节点的图G＝(V,E)来表示输入图像帧，其中，V表示节点，每个节点对应一个超像素，E是设置的边缘，并由亲和力矩阵A_matrix＝[w_ij]_N×N加权，其中，

表示节点v_i和v_j之间的权重，常数σ是控制字符；

给定图G和显著性种子

扩散过程基于最佳亲和力矩阵通过图G传播显著性种子s；反映所有节点的显著性值的显著性扩散S^*＝[S^* ₁,S^* ₂,···,S^* _N]^T通过以下方式计算：

S^*＝Diff_matrix·s (1)

上式中，Diff_matrix表示扩散矩阵。

进一步地，步骤S12具体包括：

给定图G，每个节点的排名值S_i通过排名函数分配给查询向量，即显著性种子s，最佳排名通过以下方式计算：

上式中，μ用来平衡光滑度和拟合约束，d_ii＝Σ_jw_ij是次数矩阵Deg_matrix＝diag{d₁₁,···,d_NN}的元素；

排名函数，即显著性扩散S^*也可以定义为：

S^*＝(I_matrix-b·L_matrix)^-1 s (3)

上式中，I_matrix是图G的单位矩阵，参数b＝1/(1+μ)控制流形排序中一元和成对电势的平衡，并且L_matrix＝Deg_matrix ^-1/2·A_matrix·Deg_matrix ^-1/2是归一化的拉普拉斯矩阵。

进一步地，步骤13具体包括：

提取几个简单视觉特征：亮度、方向、清晰度和频谱，基于这些特征，将输入视频帧转换为五维特征向量：

上式中，Ligh(x,y)表示LAB颜色空间中的亮度分量，

和

表示强度图的一阶导数范数，该范数可以表示边缘方向信息，且对于对比度的变化不敏感，清晰度特征Shar(x,y)通过灰度图和在垂直与水平方向上的高斯一阶导数的卷积计算得出，频谱特征Spec(x,y)通过对数频谱和幅度之间的差异来测量；

对于F内部的每个超像素区域SP(i)，通过以下方式将其表示为5×5协方差矩阵：

上式中，

表示SP(i)内部的5维特征点，h＝1,2，…，Num，其中Num是总数，并且μ^*是这些点的平均值；

两个协方差矩阵之间的相异性通过以下方式来度量：

上式中，{λ_k(C_i,C_j)}表示C_i和C_j的广义特征值，k＝1，…，5，它们通过以下方式获得：

λ_kC_ix_k-C_jx_k＝0(7)

上式中，{x_k}表示C_i和C_j的广义特征向量，k＝1，…，5；

对于每个S_pixel(i),i＝1,···,N，其超像素区域的显著性值R_i由R_i与其周围区域之间的协方差差异的加权平均值定义，R_i的周围区域表示为R_j,j＝1,···,η_i；

对于局部显著性估计，R_i的周围区域根据其亲和力矩阵找到，R_i的局部显著性计算为：

上式中，η_i是R_i相邻超像素区域的数量，d(R_i,R_j)表示R_i与R_j之间的差异，由下式给出：

上式中，C_i和C_j分别表示R_i和R_j的协方差矩阵，c^*(i)和c^*(j)分别表示R_i和R_j的图像中心；

为了进行全局显著性估计，将整个图像区域R_I视为R_i的周围区域，并且通过以下公式获得R_i与R_I之间的差异d′(R_i,R_I)：

上式中，C_I是R_I的协方差矩阵，c^*(I)是R_I的图像中心。

进一步地，步骤14具体包括：

在计算所有超像素区域的显著性之后，获得显著性种子s，显著性种子s中包含每个图节点的显著性值s₁,s₂,···,s_N；然后，使用扩散过程通过等式(1)优化超像素之间的显著性值；

最后，通过局部和全局方法获得两个不同的显著性图，分别表示为S^* _local和S^* _global，两者彼此互补；这两个显著性图通过加权几何平均值进行结合得到空域显著图，计算如下：

S_Salmap＝S^* _local ^θ×S^* _global ^1-θ (11)

上式中，0≤θ≤1。

进一步地，频域显著性检测是基于频域的显著目标检测对于输入视频帧，通过限制幅度谱中的峰值来突出显著区域，具体包括如下：

首先，图像通过快速傅立叶变换经以下方式转换为频谱：

上式中，I(x,y)和F_spectrum(u,v)分别表示空间域和频率域中的图像像素，width和height表示图像的宽度和高度；

振幅谱表示为A_spectrum(u,v)，相位谱表示为P_spectrum(u,v)，分别通过下式获得：

A_spectrum(u,v)＝abs(F_spectrum(u,v)) (13)

P_spectrum(u,v)＝angle(F_spectrum(u,v)) (14)

上式中，abs(·)和angle(·)分别表示幅度谱函数和相位谱函数；

通过使用中值滤波器，消除幅度频谱的峰值：

A_spectrum′(u,v)＝medfilt2(A_spectrum(u,v)) (15)

上式中，medfilt2(·)代表中值滤波函数；

然后，新的频域图通过下式得到：

F_spectrum′(u,v)＝|A_spectrum′(u,v)|e^{-jPspectrum(u,v)} (16)

上式中，|·|表示绝对值；

最后，将原始相位频谱和滤波后的幅度频谱组合起来以形成新频谱，通过执行快速傅里叶逆变换获得频域显著图：

进一步地，时域显著性检测具体包括如下步骤：

给定矩阵

表示视频序列，n代表视频序列中有n帧，m表示每帧图像的大小，M表示n帧的视频中的一帧，将其分解为低秩矩阵

和稀疏矩阵

背景建模问题定义为：

上式中，||L_Rmatrix||_*表示L_Rmatrix的核范数，||S_matrix||₁表示S_matrix的l¹范数，参数λ^*设置为

将约束M更改为惩罚后，背景建模问题转换为：

将上式通过以下方式交替最小化来解决：

等式(20)的问题通过计算带有r个分量的M-S_matrix(j)的稀奇异值分解来解决；

等式(21)的解是：

shrink(M-L_Rmatrix(j+1),λ^*) (22)

式中，

shrink(x,ε)＝sign(x)max{0,|x|-ε} (23)。

式中，ε表示收缩率，S_matrix表示运动物体，即可作为时域显著图，因此通过求解S_matrix可以得到视频帧M的时域显著图T_Salmap。

进一步地，将空域显著图、频域显著图和时域显著图进行动态权重融合，具体包括如下：

在间隔[0，1]中对所得的空域显著图S_Salmap、频域显著图F_Salmap和时域显著图T_Salmap进行归一化，归一化特征图的计算如下：

基于运动对比度和图像对比度将空域、频域和时域显著图进行整合，令α表示运动对比度，如果在序列中α较高，则时间模型比空间模型和频率模型更占优势；β代表图像对比度，如果在序列中β较高，则空间模型和频率模型对最终结果的贡献更大，故时间模型的融合权重降低；基于这两个动态权重，融合的显著图将更准确，可以通过以下方式获得：

α＝max(S_m(:))-median(S_m(:)) (26)

上式中，

表示输入帧的对比度，δ(i,j)＝|i-j|是相邻像素之间的灰度差异，H_δ(i,j)是像素的概率分布，δ表示相邻像素之间的灰度差异；

融合空域、频域和时域的显著图即为整个图像的显著图。

本发明的有益效果是：

本发明通过多模态融合策略使空间域、频率域和时间域可以互相补充和约束，最大程度地提高了显著物体检测的效率，能够高效的获得更加准确的显著图，同时对于夜间视频帧，能够很好的提取出显著性目标。

附图说明

图1为本发明所述的基于空域、频域、时域的夜间视频序列显著性检测方法的流程示意图。

图2为本发明实施例所述的空域、频域和时域的显著图，其中，(a)列表示输入的视频帧，(b)列表示空域显著图，(c)列表示频域显著图，(d)列表示时域显著图，(e)列表示本发明融合后的显著图，(f)列表示标注的对应图像中潜在显著目标区域。

图3为采用现有的六种视频显著性检测方法和本发明的方法分别在NTT数据集、MCL数据集和NV数据集上测试所得到的显著图的主观性能对比图，其中，(a)列表示输入视频帧，(b)列表示输入视频帧对应的基准显著图，(c)-(i)列分别表示采用基于时空线索的STC方法、基于显著性优化的SO方法、基于引导学习的BL方法、基于通用推广的GP方法、基于时空色背景线索的SCC方法、基于随机行走的RWR方法和本发明方法所得到的显著图。

图4为采用现有的六种视频显著性检测方法和本发明的方法分别在NTT数据集、MCL数据集和NV数据集上测试所得到结果的真阳性率-假阳性率曲线性能对比图。

图5为采用现有的六种视频显著性检测方法和本发明的方法分别在NTT数据集、MCL数据集和NV数据集上测试所得的精度、召回率和F值性能对比图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本实施例公开了一种基于空域、频域、时域的夜间视频序列显著性检测方法，包括如下步骤：

步骤一、针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵。

本实施例中，空域显著性检测的步骤包括：

S11、将输入的视频帧分割成超像素并定义图模型。

具体地，利用简单的线性迭代聚类算法(simple linear iterative clustering,SLIC)将给定的视频帧简化为超像素：

S_pixel(i),i＝1,···,N

上式中，N为超像素总数；由于SLIC算法的时间消耗随着超像素数的增加而增加并且当超像素数大于200时，边界召回率将降低，因此，在本实施例中，最佳超像素个数设置为N＝200。

将图像分割成超像素之后，构建具有N个节点的图G＝(V,E)来表示输入图像帧，其中，V表示节点，每个节点对应一个超像素，E是设置的边缘，并由亲和力矩阵A_matrix＝[w_ij]_N×N加权，其中，

表示节点v_i和v_j之间的权重，常数σ是控制字符；

给定图G和显著性种子s＝[s₁,s₂,···,s_N]^T，扩散过程基于最佳亲和力矩阵通过图G传播显著性种子s；反映所有节点的显著性值的显著性扩散S^*＝[S^* ₁,S^* ₂,···,S^* _N]^T通过以下方式计算：

S^*＝Diff_matrix·s (1)

上式中，Diff_matrix表示扩散矩阵。

S12、建立基于图模型的流形排序模型。

流形排序的目的是为图中的每个节点计算一个排名，利用图G的流形排序，可以更准确地描述超像素之间的相似性。

给定图G，每个节点的排名值S_i通过排名函数分配给查询向量，即显著性种子s，最佳排名通过以下方式计算：

上式中，μ用来平衡光滑度和拟合约束，d_ii＝Σ_jw_ij是次数矩阵Deg_matrix＝diag{d₁₁,···,d_NN}的元素；

排名函数，即显著性扩散S^*也可以定义为：

S^*＝(I_matrix-b·L_matrix)^-1 s (3)

上式中，I_matrix是图G的单位矩阵，参数b＝1/(1+μ)控制流形排序中一元和成对电势的平衡，并且L_matrix＝Deg_matrix ^-1/2·A_matrix·Deg_matrix ^-1/2是归一化的拉普拉斯矩阵。

S13、计算低级特征的协方差矩阵，用以估计每个超像素的局部和全局显著性。

将图像超像素的协方差矩阵视为显著性估计的元特征。通过非线性方式将多维图像特征集成到协方差矩阵中，可以有效地对输入图像进行聚类，并且可以在很大程度上保留有效特征信息。

提取几个简单视觉特征：亮度、方向、清晰度和频谱，基于这些特征，将输入视频帧转换为五维特征向量：

上式中，Ligh(x,y)表示LAB颜色空间中的亮度分量，亮度反映了视觉系统对发光量的感知，这是衡量夜间视频帧显著性的重要指标；

和

表示强度图的一阶导数范数，该范数可以表示边缘方向信息，且对于对比度的变化不敏感；清晰度特征Shar(x,y)通过灰度图和在垂直与水平方向上的高斯一阶导数的卷积计算得出，可以通过清晰度功能区分灰度等级和前景的详细信息；频谱特征Spec(x,y)通过对数频谱和幅度之间的差异来测量，视频序列信号可以由幅度谱(主要包含对比度信息)和相位谱(通常包含信号特征)的加权和表示，因此可以保留显著目标的结构信息。

对于F内部的每个超像素区域SP(i)，通过以下方式将其表示为5×5协方差矩阵：

上式中，

表示SP(i)内部的5维特征点，h＝1,2，…，Num，其中Num是总数，并且μ^*是这些点的平均值；

可能相关的多个特征可以通过协方差矩阵自然融合，两个协方差矩阵之间的相异性通过以下方式来度量：

上式中，{λ_k(C_i,C_j)}表示C_i和C_j的广义特征值，k＝1，…，5，它们通过以下方式获得：

λ_kC_ix_k-C_jx_k＝0 (7)

上式中，{x_k}表示C_i和C_j的广义特征向量，k＝1，…，5；

对于每个S_pixel(i),i＝1,···,N，其超像素区域的显著性值R_i由R_i与其周围区域之间的协方差差异的加权平均值定义，R_i的周围区域表示为R_j,j＝1,···,η_i；

对于局部显著性估计，R_i的周围区域根据其亲和力矩阵找到，R_i的局部显著性计算为：

上式中，η_i是R_i相邻超像素区域的数量，d(R_i,R_j)表示R_i与R_j之间的差异，由下式给出：

上式中，C_i和C_j分别表示R_i和R_j的协方差矩阵，c^*(i)和c^*(j)分别表示R_i和R_j的图像中心；

为了进行全局显著性估计，将整个图像区域R_I视为R_i的周围区域，并且通过以下公式获得R_i与R_I之间的差异d′(R_i,R_I)：

上式中，C_I是R_I的协方差矩阵，c^*(I)是R_I的图像中心。

S14、通过实施扩散过程优化超像素级显著性图。

具体地，在计算所有超像素区域的显著性之后，获得显著性种子s，显著性种子s中包含每个图节点的显著性值s₁,s₂,···,s_N；然后，使用扩散过程通过等式(1)优化超像素之间的显著性值；

最后，通过局部和全局方法获得两个不同的显著性图，分别表示为S^* _local和S^* _global，两者彼此互补；这两个显著性图通过加权几何平均值进行结合得到空域显著图，计算如下：

S_Salmap＝S^* _local ^θ×S^* _global ^1-θ (11)

上式中，0≤θ≤1，当θ＝0.5时，可以提供良好的性能，从而可以保证较高的相关系数和较低的均方根误差。

步骤二、针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换。

频域显著性检测是基于频域的显著目标检测对于输入视频帧，通过限制幅度谱中的峰值来突出显著区域，具体包括如下：

首先，图像通过快速傅立叶变换经以下方式转换为频谱：

上式中，I(x,y)和F_spectrum(u,v)分别表示空间域和频率域中的图像像素，width和height表示图像的宽度和高度；

振幅谱表示为A_spectrum(u,v)，相位谱表示为P_spectrum(u,v)，分别通过下式获得：

A_spectrum(u,v)＝abs(F_spectrum(u,v)) (13)

P_spectrum(u,v)＝angle(F_spectrum(u,v)) (14)

上式中，abs(·)和angle(·)分别表示幅度谱函数和相位谱函数；

通过使用中值滤波器，消除幅度频谱的峰值：

A_spectrum′(u,v)＝medfilt2(A_spectrum(u,v)) (15)

上式中，medfilt2(·)代表中值滤波函数；

然后，新的频域图通过下式得到：

F_spectrum′(u,v)＝|A_spectrum′(u,v)|e^{-jPspectrum(u,v)} (16)

上式中，|·|表示绝对值；

最后，将原始相位频谱和滤波后的幅度频谱组合起来以形成新频谱，通过执行快速傅里叶逆变换获得频域显著图：

步骤三、针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标。

具体地，本实施例所述的时域方法主要通过从当前帧中减去增量更新的背景模型来执行显著目标检测。给定矩阵

表示视频序列，n代表视频序列中有n帧，m表示每帧图像的大小，M表示n帧的视频中的一帧，将其分解为低秩矩阵

和稀疏矩阵

背景建模问题定义为：

上式中，||L_Rmatrix||_*表示L_Rmatrix的核范数，||S_matrix||₁表示S_matrix的l¹范数，参数λ^*设置为

将约束M更改为惩罚后，背景建模问题转换为：

将上式通过以下方式交替最小化来解决：

等式(20)的问题通过计算带有r个分量的M-S_matrix(j)的稀奇异值分解来解决；

等式(21)的解是：

shrink(M-L_Rmatrix(j+1),λ^*) (22)

式中，

shrink(x,ε)＝sign(x)max{0,|x|-ε} (23)。

式中，ε表示收缩率，S_matrix表示运动物体，即可作为时域显著图，因此通过求解S_matrix可以得到视频帧M的时域显著图T_Salmap。

步骤四、将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。

具体地，在间隔[0，1]中对所得的空域显著图S_Salmap、频域显著图F_Salmap和时域显著图T_Salmap进行归一化，归一化特征图的计算如下：

由于移动对象(稀疏矩阵S_matrix)比静态对象更出色，因此在融合阶段更加关注时间显著性。基于运动对比度和图像对比度将空域、频域和时域显著图进行整合，令α表示运动对比度，如果在序列中α较高，则时间模型比空间模型和频率模型更占优势；β代表图像对比度，如果在序列中β较高，则空间模型和频率模型对最终结果的贡献更大，故时间模型的融合权重降低；基于这两个动态权重，融合的显著图将更准确，可以通过以下方式获得：

α＝max(S_m(:))-median(S_m(:)) (26)

上式中，

表示输入帧的对比度，δ(i,j)＝|i-j|是相邻像素之间的灰度差异，H_δ(i,j)是像素的概率分布，δ表示相邻像素之间的灰度差异；

融合空域、频域和时域的显著图即为整个图像的显著图。

本发明的方法与现有的视频显著性检测方法分别在NTT数据集、MCL数据集和NV数据集上测试所得到的显著图的检测效果对比如图3所示，其中图3(c)为Zhai等人提出的基于时空线索的STC方法的检测结果，图3(d)为Zhu等人所提出的基于显著性优化的SO方法的检测结果，图3(e)为Tong等人所提出的基于引导学习的BL方法的检测结果，图3(f)为Jiang等人所提出的基于通用推广的GP方法的检测结果，图3(g)为Zhang等人所提出的基于时空色背景线索的SCC方法的检测结果，图3(h)为Kim等人所提出的基于随机行走的RWR方法的检测结果，图3(i)为本发明方法所提出的方法所得到的显著图。从图中也能明显看出，大部分方法针对可见光视频帧可以得到良好的显著图，而针对夜间低对比度视频帧产生显著图的性能大幅度下降，但本发明的方法依然可以在可见光不足的视频帧中获得优越的检测效果。

如图4所示，各曲线分别表示STC方法、SO方法、BL方法、GP方法、SCC方法、RWR方法以及本发明方法的真阳性率-假阳性率(TPR-FPR)曲线。其中，图4(a)为NTT数据集上的曲线性能对比，图4(b)为MCL数据集上的曲线性能对比，图4(c)为NV数据集上的曲线性能对比。从图中可以看出，本发明方法在三个数据集上获得比现有的其他6种显著性方法具有更好的性能。

AUC值(area under the curve)能很好反映出显著性检测中命中率与误报率之间的关系，曲线下的面积越大，则可以反应出检测的准确性越高，各方法在不同数据集下的AUC性能如表1所示，表中最佳的两个结果分别用粗体和斜体显示，可以看出本发明的结果要优于其他6种方法的结果。

表1.本发明与现有6种显著性检测方法在三个数据集上的AUC性能对比

如图5所示，各柱状图分别表示STC方法、SO方法、BL方法、GP方法、SCC方法、RWR方法以及本发明的方法的准确率、召回率以及F值三个指标的性能对比。其中，图5(a)为NTT数据集上的性能对比，图5(b)为MCL数据集上的性能对比，图5(c)为NV数据集上的性能对比。从图中可以看出，本发明在不同数据集上都有着优越的性能。

MAE(mean absolute error)表明实验结果图和基准显著图之间的相似度。各方法在不同数据集下的MAE性能如表2所示，可以看出本专利的结果获得了较好的性能。

表2.本发明与现有6种显著性检测方法在三个数据集上的MAE性能对比

本实施例模型由MATLAB在G2020CPU和12GB内存的电脑上完成测试。表3显示了本发明与现有其他6种对比方法的执行时间性能对比。相对来说，本发明是比较高效的。

表3.本发明与现有6种显著性检测方法在三个数据集上的运行时间(单位：秒)性能对比

	STC	SO	BL	GP	SCC	RWR	本发明
								NTT	1.821	0.8580	17.416	7.651	55.834	21.325	2.254
MCL	2.232	1.1804	45.899	7.349	52.417	22.543	3.141
								NV	2.619	12.225	567.67	79.503	58.110	17.373	16.642

综上所述，本发明通过多模态融合策略使空间域、频率域和时间域可以互相补充和约束，最大程度地提高了显著物体检测的效率，能够高效的获得更加准确的显著图，同时对于夜间视频帧，能够很好的提取出显著性目标。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (9)

1.一种基于空域、频域、时域的夜间视频序列显著性检测方法，其特征在于，包括如下步骤：

针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵；

针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换；

针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标；

将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。

2.根据权利要求1所述的方法，其特征在于，空域显著性检测的步骤包括：

S11、将输入的视频帧分割成超像素并定义图模型；

S12、建立基于图模型的流形排序模型；

S13、计算低级特征的协方差矩阵，用以估计每个超像素的局部和全局显著性；

S14、通过实施扩散过程优化超像素级显著性图。

3.根据权利要求2所述的方法，其特征在于，步骤S11具体包括：

利用简单的线性迭代聚类算法将给定的视频帧简化为超像素：

S_pixel(i),i＝1,···,N

上式中，N为超像素总数；

将图像分割成超像素之后，构建具有N个节点的图G＝(V,E)来表示输入图像帧，其中，V表示节点，每个节点对应一个超像素，E是设置的边缘，并由亲和力矩阵A_matrix＝[w_ij]_N×N加权，其中，

表示节点v_i和v_j之间的权重，常数σ是控制字符；

给定图G和显著性种子s＝[s₁,s₂,···,s_N]^T，扩散过程基于最佳亲和力矩阵通过图G传播显著性种子s；反映所有节点的显著性值的显著性扩散S^*＝[S^* ₁,S^* ₂,···,S^* _N]^T通过以下方式计算：

S^*＝Diff_matrix·s (1)

上式中，Diff_matrix表示扩散矩阵。

4.根据权利要求3所述的方法，其特征在于，步骤S12具体包括：

给定图G，每个节点的排名值S_i通过排名函数分配给查询向量，即显著性种子s，最佳排名通过以下方式计算：

上式中，μ用来平衡光滑度和拟合约束，d_ii＝Σ_jw_ij是次数矩阵Deg_matrix＝diag{d₁₁,···,d_NN}的元素；

排名函数，即显著性扩散S^*也可以定义为：

S^*＝(I_matrix-b·L_matrix)^-1s (3)

上式中，I_matrix是图G的单位矩阵，参数b＝1/(1+μ)控制流形排序中一元和成对电势的平衡，并且L_matrix＝Deg_matrix ^-1/2·A_matrix·Deg_matrix ^-1/2是归一化的拉普拉斯矩阵。

5.根据权利要求4所述的方法，其特征在于，步骤13具体包括：

提取几个简单视觉特征：亮度、方向、清晰度和频谱，基于这些特征，将输入视频帧转换为五维特征向量：

上式中，Ligh(x,y)表示LAB颜色空间中的亮度分量，

和

表示强度图的一阶导数范数，该范数可以表示边缘方向信息，且对于对比度的变化不敏感，清晰度特征Shar(x,y)通过灰度图和在垂直与水平方向上的高斯一阶导数的卷积计算得出，频谱特征Spec(x,y)通过对数频谱和幅度之间的差异来测量；

对于F内部的每个超像素区域SP(i)，通过以下方式将其表示为5×5协方差矩阵：

上式中，{f_h ⁱ}表示SP(i)内部的5维特征点，h＝1,2，…，Num，其中Num是总数，并且μ^*是这些点的平均值；

两个协方差矩阵之间的相异性通过以下方式来度量：

上式中，{λ_k(C_i,C_j)}表示C_i和C_j的广义特征值，k＝1，…，5，它们通过以下方式获得：

λ_kC_ix_k-C_jx_k＝0 (7)

上式中，{x_k}表示C_i和C_j的广义特征向量，k＝1，…，5；

对于每个S_pixel(i),i＝1,···,N，其超像素区域的显著性值R_i由R_i与其周围区域之间的协方差差异的加权平均值定义，R_i的周围区域表示为R_j,j＝1,···,η_i；

对于局部显著性估计，R_i的周围区域根据其亲和力矩阵找到，R_i的局部显著性计算为：

上式中，η_i是R_i相邻超像素区域的数量，d(R_i,R_j)表示R_i与R_j之间的差异，由下式给出：

上式中，C_i和C_j分别表示R_i和R_j的协方差矩阵，c^*(i)和c^*(j)分别表示R_i和R_j的图像中心；

为了进行全局显著性估计，将整个图像区域R_I视为R_i的周围区域，并且通过以下公式获得R_i与R_I之间的差异d′(R_i,R_I)：

上式中，C_I是R_I的协方差矩阵，c^*(I)是R_I的图像中心。

6.根据权利要求5所述的方法，其特征在于，步骤14具体包括：

在计算所有超像素区域的显著性之后，获得显著性种子s，显著性种子s中包含每个图节点的显著性值s₁,s₂,···,s_N；然后，使用扩散过程通过等式(1)优化超像素之间的显著性值；

最后，通过局部和全局方法获得两个不同的显著性图，分别表示为S^* _local和S^* _global，两者彼此互补；这两个显著性图通过加权几何平均值进行结合得到空域显著图，计算如下：

S_Salmap＝S^* _local ^θ×S^* _global ^1-θ (11)

上式中，0≤θ≤1。

7.根据权利要求6所述的方法，其特征在于，频域显著性检测是基于频域的显著目标检测对于输入视频帧，通过限制幅度谱中的峰值来突出显著区域，具体包括如下：

首先，图像通过快速傅立叶变换经以下方式转换为频谱：

上式中，I(x,y)和F_spectrum(u,v)分别表示空间域和频率域中的图像像素，width和height表示图像的宽度和高度；

振幅谱表示为A_spectrum(u,v)，相位谱表示为P_spectrum(u,v)，分别通过下式获得：

A_spectrum(u,v)＝abs(F_spectrum(u,v)) (13)

P_spectrum(u,v)＝angle(F_spectrum(u,v)) (14)

上式中，abs(·)和angle(·)分别表示幅度谱函数和相位谱函数；

通过使用中值滤波器，消除幅度频谱的峰值：

A_spectrum′(u,v)＝medfilt2(A_spectrum(u,v)) (15)

上式中，medfilt2(·)代表中值滤波函数；

然后，新的频域图通过下式得到：

F_spectrum′(u,v)＝|A_spectrum′(u,v)|e^{-jPspectrum(u,v)} (16)

上式中，|·|表示绝对值；

最后，将原始相位频谱和滤波后的幅度频谱组合起来以形成新频谱，通过执行快速傅里叶逆变换获得频域显著图：

8.根据权利要求7所述的方法，其特征在于，时域显著性检测具体包括如下步骤：

给定矩阵

表示视频序列，n代表视频序列中有n帧，m表示每帧图像的大小，M表示n帧的视频中的一帧，将其分解为低秩矩阵

和稀疏矩阵

背景建模问题定义为：

上式中，||L_Rmatrix||_*表示L_Rmatrix的核范数，||S_matrix||₁表示S_matrix的l¹范数，参数λ^*设置为

将约束M更改为惩罚后，背景建模问题转换为：

将上式通过以下方式交替最小化来解决：

等式(20)的问题通过计算带有r个分量的M-S_matrix(j)的稀奇异值分解来解决；

等式(21)的解是：

shrink(M-L_Rmatrix(j+1),λ^*) (22)

式中，

shrink(x,ε)＝sign(x)max{0,|x|-ε} (23)。

式中，ε表示收缩率，S_matrix表示运动物体，即可作为时域显著图，因此通过求解S_matrix可以得到视频帧M的时域显著图T_Salmap。

9.根据权利要求8所述的方法，其特征在于，将空域显著图、频域显著图和时域显著图进行动态权重融合，具体包括如下：

在间隔[0，1]中对所得的空域显著图S_Salmap、频域显著图F_Salmap和时域显著图T_Salmap进行归一化，归一化特征图的计算如下：

基于运动对比度和图像对比度将空域、频域和时域显著图进行整合，令α表示运动对比度，如果在序列中α较高，则时间模型比空间模型和频率模型更占优势；β代表图像对比度，如果在序列中β较高，则空间模型和频率模型对最终结果的贡献更大，故时间模型的融合权重降低；基于这两个动态权重，融合的显著图将更准确，可以通过以下方式获得：

α＝max(S_m(:))-median(S_m(:)) (26)

上式中，

表示输入帧的对比度，δ(i,j)＝|i-j|是相邻像素之间的灰度差异，H_δ(i,j)是像素的概率分布，δ表示相邻像素之间的灰度差异；

融合空域、频域和时域的显著图即为整个图像的显著图。

Images