CN103020985B - 一种基于场量分析的视频图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于场量分析的视频图像显著性检测方法，包括以下步骤：S1获得视频图像的静态显著性图；S2根据连续的视频帧提取场景的光流向量场；S3通过聚类方法对光流向量场进行初步分类并找出最大分类区块；S4通过每个分类区块与最大分类区块之间的对比生成差异性能量；S5规范化差异性能量，获得运动显著性值并生成运动显著性图；S6将该运动显著性图与所述静态显著性图线性加权相加得到最终显著性图，即可实现对视频图像的显著性检测。本发明的方法综合利用视频场景的静态特征和动态特征来得到显著性映射结果，特别是使用光流场量分析来进行目标运动特征的分析，可以较好识别出场景中运动特征明确的重要目标。

Description

一种基于场量分析的视频图像显著性检测方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种视频图像显著性检测方法。

背景技术

从复杂的场景中识别出重要的目标是人类视觉神经系统的一项基础功能。例如，在驾车时交通信号灯能引起人眼注意，蓝天上飞过的飞机能引起人眼的注意，夜间海平面上的灯塔能引起人眼的注意。依赖这项功能我们可以将注意力集中于关键部位以达到更好的分析效果。

显著性检测是使计算机系统能模仿人眼的注意力机制，通过相应的计算过程，将视频图像中的重要部分凸显出来，是一个“发现”的过程。利用显著性检测的结果，可以优先分配各种紧缺资源，例如在较小的手机显示屏幕上显示较大的图片，可以优先显示其重要的部分；在计算资源不足时，可优先对显著部分进行识别、跟踪等计算。显著性检测的最终结果是生成显著性映射图像（Saliencymap），也称显著性图。显著性图是一种概率分布的描述图，图中越亮的部分概率值越大，也即该像素的显著性越大。显著性图可以应用于计算机视觉的各个领域，如自适应压缩，图像分割，图像检索，目标识别等，也可以用于交通管理，安防监控，机器人环境感知等实时场景。

Itti等西方学者于1998年提出了基于视觉注意机制的快速场景分析模型,首次将显著性的概念纳入了机器视觉领域。此后，针对静止图像的静态显著性检测方法蓬勃发展起来。静态显著性由颜色、边缘、梯度、形状等图像属性综合作用而成，具有独特性、不可预测性及奇异性，其感知机理与视觉神经紧密联系。Achanta等人于2009年提出频域调整显著性区域分析方法，该方法从频域分析角度出发，使用颜色和光照信息来获得中心周围对比度，进而得到显著性映射结果。Cheng等于2011年提出了基于全局对比度的显著性区域检测方法，该方法利用输入图像的颜色统计特征进行直方图对比从而得到显著性目标，此方法还可进一步按空间距离进行加权得到区域对比度检测方法。

静态显著性检测方法目前已经比较成熟，对于视频图像的静态显著性检测，其静态显著性图可以通过各种成熟的检测方法获得。中国专利文献201010623832.0公开了一种基于显著性特征的目标识别方法，该方法通过分析目标的几何特征来得到显著性值；中国专利文献201110335538.4公开了一种显著性物体快速检测方法，该方法通过小波变换和中心-周边直方图算法来获得显著性信息。

上述静态显著性检测方法仅依赖图像的颜色或对比度特征等信息进行分析，能较好地处理前、背景颜色对比分明的静态单幅图像，但对于拥有复杂的运动场景的连续视频图像，特别是前景运动目标与背景颜色较为相似的视频图像，常常无法得到正确的结果。此外，人眼对于运动的物体具有更高的关注度，而只考虑颜色等静态特征的分析方法在处理视频时往往不能得到客观公正的结果。因此，通过对视频中目标进行运动特征的分析，可以大大提高视频显著性分析的正确性。出于这样的考虑，出现了针对视频的动态显著性检测方法。

Wixson等人于2000年提出方向恒定流检测方法，但其假定目标沿直线运动的约束，难以适应于大多数应用场景。Mahadevan等人于2010年提出中心环绕时空显著性检测方法，它的结果强烈依赖于检测窗口的大小，并且对较大的前景物体容易产生检测失效。Gopalakrishnan于2012年提出线性动态轮廓的运动显著性检测方法，该方法仅能感知目标的大体位置，不能生成完整的轮廓，精确度较差。

发明内容

本发明的目的在于提供一种基于光流向量区块对比的视频图像显著性检测方法，其能克服相机抖动带来的干扰使得视频场景中的重要运动物体被有效地凸显出来，从而得到显著性映射图，为进一步的跟踪监控或是视频压缩提供基础。

为解决上述技术问题，本发明提供了一种基于场量分析的视频图像显著性检测方法，其包括以下步骤：

S1:根据静态显著性检测方法获得静态显著性图；

S2:根据连续的视频帧提取场景的光流向量场；

S3:通过聚类方法对光流向量场进行初步分类并找出最大分类区块；

S4:通过每个分类区块与最大分类区块之间的对比生成差异性能量；

S5:规范化差异性能量得到运动显著性值并生成运动显著性图；

S6:将该运动显著性图与静态显著性图线性加权相加得到最终显著性图。

其中，所述步骤S4中，所述向量场初步分类区块之间的差异性能量计算，可选用以下两种方法实现：（1）几何对比法；(2)场向量学习对比法。

（1）几何对比法

几何对比法利用向量的长度和夹角来计算向量场差异。对比中以步骤S3中找出的最大分类区块C_max为参照，其他分类区块依次与其进行对比。令C₁为待对比的向量场初步分类区块，则C₁相对于C_max的差异性能量计算公式为：

$E_1=\frac{{\∑}_{v\∈C_1}(\mathrm{norm}\left(v\right)-\mathrm{norm}\left(m\right))\sin \mathrm{\α}}{n}$

其中，v为C₁中的任一向量，m为C_max中向量的均值，α为v与m的夹角，n为C₁中向量的总数，norm()为取向量的范数，即向量的长度。

（2）场向量学习对比法

场向量学习对比法是通过定义在再生希伯纳特空间H上的核函数K来对最大分类区块C_max中的向量进行最小范数拟合从而得到一个拟合映射关系。再根据核函数学习的相关定理，用该拟合映射关系计算其他分类区块自变量的映射值，根据实际值与映射值之间的差异来表示差异性能量。

设(x_i,y_i)为最大分类区块C_max中的任一向量，则最小范数拟合即求所有f(x_i)的值使下式的值在H空间上最小：

其中n是C_max中向量的总个数，λ为调整参数，控制拟合的近似程度，为求函数f在再生希伯纳特空间H上的二次范数。

该问题的求解需通过求解以下矩阵方程，得到系数矩阵c来实现：

(K+λnI)c＝y

其中λ为调整参数，控制拟合的近似程度，为正数，实验中可优先取λ＝3；K为核函数值矩阵，可取任意满足Mercer条件的对称函数为核函数来生成该矩阵，可优先取高斯核函数，即K中元素I为单位对角矩阵；n为C_max中向量的总个数；y为C_max中所有向量的因变量y组成的列矩阵。

求得的系数矩阵c描述了再生希伯纳特空间H上的映射f,这种映射并没有显示的表达式，但是根据核函数的定义，可通过任一向量的自变量x_j与相应核函数值的乘积直接得到其因变量y_j:

$y_j=f\left(x_j\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}K(x_j,x_l)c_l,$

其中n为C_max中向量的总个数，x_l为C_max中向量的自变量，c_l为解矩阵方程得到的系数。

设(x₁′,y₁′)为待对比向量场C₁中的一个向量,则根据C_max中向量的自变量x_l和解矩阵方程得到的系数c_l可得：

$y_1^{\′\′}=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}K(x_1^{\′},x_l)c_l$

则y₁″代表了该向量的自变量元素x₁′在最大分类区块C_max的向量场映射规则下得到的因变量。由于(x₁′,y₁′)在事实上并不属于C_max，而属于C₁，它按照C₁向量场的映射规则拥有事实上的因变量y₁′。因此利用y₁′与y₁″之间的差异可以描述待对比分类区块C₁相对于最大分类区块C_max的差异性能量，该能量计算公式为：

其中m为C₁中向量的个数。

所述步骤S5中，规范化差异性能量的过程为：

在得到所有分类区块的差异性能量以后，需要将它们规范化到[0,1]范围内生成运动显著性值以对应概率生成运动显著性图，规范化公式如下：

${\mathrm{EN}}_r=\frac{E_r-E_{\min }}{E_{\max }-E_{\min }}$

其中，EN_r为规范化后得到的运动显著性值，E_r为待规范化的区块差异性能量，E_min为差异性能量中的最小值，E_max为差异性能量中的最大值。

得到运动显著性值后还需要对其进行阈值化，滤去运动显著性小的部分，以排除摄像机晃动或背景运动的干扰，阈值化的公式如下：

${\mathrm{EN}}_r=\left\{\begin{array}{c}0,{\mathrm{EN}}_r<\mathrm{\&gamma;}\\ {\mathrm{EN}}_r,{\mathrm{EN}}_r\&GreaterEqual;\mathrm{\&gamma;}\end{array}\right.$

其中γ为阈值，运动显著性值小于γ的区块，其运动显著性值将被直接设为0。γ需根据具体的应用取值，可优先设为0.5。

阈值化后即可用运动显著性值对应概率的大小直接生成运动显著性图。

本发明所提出的用于计算视频图像中视觉显著性值的方法综合利用视频场景的静态特征和动态特征来得到显著性映射结果，特别是使用光流场量分析来进行目标运动特征的分析，可以较好识别出场景中运动特征明确的重要目标。本方法在现有的运动视频测试集上均能取得优于传统方法的结果，并可以被进一步实施到机器视觉的许多相关应用中去。

附图说明

图1为本发明实施例的基于场量分析的视频图像显著性检测方法流程图；

图2为本发明实施例从连续视频帧中获得光流向量场并进行初始分类的示例图；

图3为本发明实施例依照场量对比分析得到运动显著性图的示例图；

图4为本发明实施例运动显著性图与静态显著性图加权相加的示例图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方法作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，为本发明一种基于场量分析的视频图像显著性检测方法的一个实施例的处理流程图。该方法包括：

步骤S1，根据静态显著性检测方法获得静态显著性图。

本实施例中可使用现有任一成熟的静态显著性检测方法来获得静态显著性图S_S。本实施例中优选采用基于全局对比度的显著性区域检测方法。

步骤S2，根据视频中的任意连续两个视频帧提取出场景的光流向量场。

向量场的提取可使用现有任一稠密光流场提取方法，如Lucas-Kanade方法，Horn-Schunck方法等。本实施例中采用Lucas-Kanade光流提取方法，提取出的光流场可以表示像素在连续两帧之间的位移关系。

步骤S3，根据聚类方法对光流向量场进行初步分类，得到光流场的分类区块并找出最大分类区块。

本实施例中优选采用k-means聚类方法，也可以采用其他类型的聚类方法。k-means是以欧氏距离作为相似性测度，以误差平方和准则函数作为聚类准则函数，利用函数求极值的方法进行迭代运算的调整规则。其输入聚类的个数k，得到满足方差最小标准的k个分类，k的个数越多则分类越精细，但计算时间也越长。本实施例中这个参数通常优选为5~8之间，可以得到较好的效果。查找最大分类区块即查找向量个数最多的分类区块，这只需要对每个分类区块中的向量进行计数即可实现。

图2为实施步骤S2、S3的示例效果图，图2(a)是连续的两个视频帧，图2(b)是通过光流场计算方法提取出的场景运动光流向量场。对图2(b)的向量场采用参数为5的k-means聚类算法进行初步分类，可得图2(c)的结果。每种颜色表示一个向量场分类区块，黑、红、蓝、绿、黄共有5个初步分类区块。

步骤S4,根据每个分类区块与最大分类区块之间的对比生成差异性能量。

该步骤可以通过几何对比法和场向量学习对比法两种方法实现。几何对比法计算简单，速度快，但计算的精确度不及场向量学习对比法。

（1）几何对比法

几何对比法利用向量的长度和夹角来计算向量场差异。对比中以步骤S3找出的最大分类区块C_max为参照，其他分类区块依次与其进行对比。令C₁为待对比的向量场初步分类区块，则C₁相对于C_max的差异性能量计算公式为：

其中，v为C₁中的任一向量，m为C_max中向量的均值，α为v与m的夹角，n为C₁中向量的总数，norm()为取向量的范数，即向量的长度。

计算流程如下：

1）对C_max中的所有向量，求其向量均值m；

2）对任一待对比区域C_s，求其相对于C_max的差异性能量，s为待对比区域的序号：

$E_s=\frac{{\&Sum;}_{v\&Element;C_s}(\mathrm{norm}\left(v\right)-\mathrm{norm}\left(m\right))\sin \mathrm{\&alpha;}}{n},$ n为C_s中向量的个数；

3）令s+1，重复上述步骤2），不断循环直到所有分类区块的计算都结束。

（2）场向量学习对比法

场向量学习对比法是通过定义在再生希伯纳特空间H上的核函数K来对最大分类区块C_max中的向量进行最小范数拟合从而得到一个拟合映射关系。再根据核函数学习的相关定理，用该拟合映射关系计算其他分类区块自变量的映射值，根据实际值与映射值之间的差异来表示差异性能量。

设(x_i,y_i)为最大分类区块C_max中的任一向量，其中x_i为向量的第一元素也可视为自变量，y_i为向量的第二元素也可视为因变量，则最小范数拟合即求所有f(x_i)的值使下式的值在H空间上最小：

其中n是C_max中向量的总个数，λ为调整参数，控制拟合的近似程度，为求函数f在再生希伯纳特空间H上的二次范数。

该问题的求解需通过求解以下矩阵方程，得到系数矩阵c来实现:

(K+λnI)c＝y

其中λ为调整参数，控制拟合的近似程度，为正数，本实施例中优选取λ＝3；

K为核函数值矩阵，可取任意满足Mercer条件的对称函数为核函数来生成该矩阵，本实施例中优选取高斯核函数，即K中元素

I为单位对角矩阵；n为C_max中向量的总个数；y为C_max中所有向量的因变量y组成的列矩阵。

求得的系数矩阵c描述了再生希伯纳特空间H上的映射f,这种映射并没有显示的表达式，但是根据核函数的定义，可通过任一向量的自变量x_j与相应核函数值的乘积直接得到其因变量y_j：

其中n为C_max中向量的总个数，x_l为C_max中向量的自变量，c_l为解矩阵方程得到的系数。

设(x₁′,y₁′)为待对比向量场C₁中的一个向量,则根据C_max中向量的自变量x_l和解矩阵方程得到的系数c_l可得：

$y_1^{\&prime;\&prime;}=\underset{l=1}{\overset{n}{\mathrm{\&Sigma;}}}K(x_1^{\&prime;},x_l)c_l$

则y₁″代表了该向量的自变量元素x₁′在最大分类区块C_max的向量场映射规则下得到的因变量。由于(x₁′,y₁′)在事实上并不属于C_max，而属于C₁，它按照C₁向量场的映射规则拥有事实上的因变量y₁′。因此利用y₁′与y₁″之间的差异可以描述待对比分类区块C₁相对于最大分类区块C_max的差异性能量，该能量计算公式为：

其中m为C₁中向量的个数

计算流程如下：

1）对C_max中的所有向量，解矩阵方程(K+λnI)c＝y，得到系数矩阵c；

2)对待对比区域C_s，利用核函数K和系数矩阵c求其所有自变量x′在C_max映射下的值y″；

3）用y″和事实因变量y′计算差异性能量

4）另s+1，重复上述步骤，直到所有分类区块的计算都结束。

步骤S5,规范化差异性能量得到运动显著性值并生成运动显著性图。

在得到所有分类区块的差异性能量以后，需要将它们规范化到[0,1]范围内生成运动显著性值以对应概率生成运动显著性图，规范化公式如下：

${\mathrm{EN}}_r=\frac{E_r-E_{\min }}{E_{\max }-E_{\min }}$

其中，EN_r为规范化后得到的运动显著性值，E_r为待规范化的区块差异性能量，E_min为差异性能量中的最小值，E_max为差异性能量中的最大值。

得到运动显著性值后还需要对其进行阈值化，滤去运动显著性小的部分，以排除摄像机晃动或背景运动的干扰，阈值化的公式如下：

${\mathrm{EN}}_r=\left\{\begin{array}{c}0,{\mathrm{EN}}_r<\mathrm{\&gamma;}\\ {\mathrm{EN}}_r,{\mathrm{EN}}_r\&GreaterEqual;\mathrm{\&gamma;}\end{array}\right.$

其中γ为阈值，运动显著性值小于γ的区块，其运动显著性值将被直接设为0。γ需根据具体的应用取值，本实施例中优选设为0.5。

阈值化后即可用运动显著性值对应概率的大小直接生成运动显著性图S_M。图3为实施步骤S4、S5的示例效果图，场向量在初始分类后——图3(a),通过几何对比法或场向量学习对比法计算出差异性能量，并规范化阈值化后生成运动显著性图——图3(b)，运动显著性图是一种概率大小的描述图，图中越亮的部分概率越大，即运动显著性越明显。

步骤S6,运动显著性图与静态显著性图线性加权相加得到最终显著性图。

相加公式如下所示：

S_R＝α·S_M+(1-α)S_S

其中S_R为最终显著性图，S_M为运动显著性图，S_S为静态显著性图，α为相应的加权系数。加权系数α控制了运动特征与静态特征在最终结果中所占的权重，α越大则运动特征所占的比重越大。α的值可由决策算法选定，也可以按经验值与应用环境来设定，在本实施例中该值优选为0.5。

图4为本实施例步骤S6的示例效果图，最终显著性图——图4(c)由静态显著性图——图4(a)和运动显著性图——图4(b)线性加权相加得到，图中加权系数为0.5。

本发明公开的视频图像显著性检测方法，通过对光流向量场的分析提取出图像中的运动特征并结合静态显著性特征生成最终显著性映射结果。光流向量场的分析可以通过几何对比法或场向量学习对比法来进行，都可以取得较好的效果。其中场向量学习对比法精确度更高但也更耗费时间，实施时可根据系统的实时性和精确性要求综合判断进行选择。本发明在国际上现有的通用测试集上取得了明显优于传统方法的结果。本发明能够自动分析图像中的视觉显著性区域，分析结果可应用于重要目标分割、物体识别、自适应视频压缩、内容敏感的视频缩放、图像检索以及安防监控、军事守卫等应用领域。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种基于场量分析的视频图像显著性检测方法，包括以下步骤：

S1:获取视频图像的静态显著性图；

S2:利用视频图像中连续的视频帧提取场景的光流向量场；

S3:通过聚类方法对光流向量场进行分类并找出最大分类区块；

S4:通过每个分类区块与最大分类区块之间的对比生成差异性能量；

S5:规范化所述差异性能量，获得运动显著性值并生成运动显著性图；

S6:将所述运动显著性图与所述静态显著性图线性加权相加得到最终显著性图，即可实现对视频图像的显著性检测；

其中，所述步骤S4中差异性能量通过如下公式计算得到：

$E_s=\frac{{\mathrm{\&Sigma;}}_{v\&Element;C_S}\left(norm\right(v)-norm(m\left)\right)sin\mathrm{\&alpha;}}{n}$

式中，C_s为待对比的任一分类区块，C_max为最大分类区块，E_s为C_s与C_max对比生成的差异性能量，s为自然数，表示分类区块的序号，v为C_s中的任一向量，m为C_max中向量的均值，α为v与m的夹角，n为C_s中向量的总数，norm()为取向量的范数，即向量的长度。

2.一种基于场量分析的视频图像显著性检测方法，包括以下步骤：

S1:获取视频图像的静态显著性图；

S2:利用视频图像中连续的视频帧提取场景的光流向量场；

S3:通过聚类方法对光流向量场进行分类并找出最大分类区块；

S4:通过每个分类区块与最大分类区块之间的对比生成差异性能量；

S5:规范化所述差异性能量，获得运动显著性值并生成运动显著性图；

S6:将所述运动显著性图与所述静态显著性图线性加权相加得到最终显著性图，即可实现对视频图像的显著性检测；

其中，所述步骤S4中差异性能量通过如下公式计算得到：

$E_s=\underset{i=1}{\overset{m}{\&Sigma;}}\left|\right|y_i^{\&prime;\&prime;}-y_i^{\&prime;}|{|}^2+\mathrm{\&lambda;}|\left|f\right|{|}^2$

其中，y″_i为对待对比分类区块C_s中的任一个自变量x′_i在最大分类区块C_max映射下的值，y′_i为该自变量x′_i的事实因变量，f为再生核希尔伯特空间H上的映射，λ为调整参数，E_s为C_s与C_max对比生成的差异性能量，s为自然数，表示分类区块的序号，m为C_s中向量的个数。

3.根据权利要求2所述的一种基于场量分析的视频图像显著性检测方法，其特征在于，所述映射下的值y″_i通过核函数矩阵K和系数矩阵c计算得到，即：

$y_i^{\&prime;\&prime;}=\underset{l=1}{\overset{n}{\&Sigma;}}K(x_i^{\&prime;},x_l)c_l$

其中，x_l为最大分类区块C_max中的向量即自变量，c_l为自变量x_l对应的系数，x′_i为对待对比分类区块C_s中的任一自变量，K为核函数矩阵，n为C_max中向量的总数。

4.根据权利要求3所述的一种基于场量分析的视频图像显著性检测方法，其特征在于，所述系数矩阵c通过如下矩阵方程计算得到：

(K+λnI)c＝y

其中λ为调整参数，K为核函数矩阵，I为单位对角矩阵；n为最大分类区块C_max中向量的总个数；y为C_max中所有向量依次在核函数矩阵映射下的因变量组成的列矩阵。

5.根据权利要求1-4之一所述的一种基于场量分析的视频图像显著性检测方法，其特征在于，上述步骤S5中规范化差异性能量的规范化公式如下：

${\mathrm{EN}}_r=\frac{E_r-E_{min}}{E_{\max }-E_{min}}$

其中，EN_r为规范化后得到的运动显著性值，E_r为待规范化的分类区块的差异性能量，E_min为差异性能量中的最小值，E_max为差异性能量中的最大值。

6.根据权利要求1-4之一所述的一种基于场量分析的视频图像显著性检测方法，其特征在于，所述步骤S5得到运动显著性值后还可对其进行阈值化，滤去运动显著性小的部分，其中阈值化的公式如下：

${\mathrm{EN}}_r=\left\{\begin{array}{cc}0,& {\mathrm{EN}}_r<\mathrm{\&gamma;}\\ {\mathrm{EN}}_r,& {\mathrm{EN}}_r\&GreaterEqual;\mathrm{\&gamma;}\end{array}\right.$

其中，EN_r为规范化后得到的运动显著性值，γ为阈值。

7.根据权利要求1-4之一所述的一种基于场量分析的视频图像显著性检测方法，其特征在于，所述步骤S6中所述运动显著性图与静态显著性图线性加权的相加公式如下：

S_R＝α·S_M+(1-α)S_S

其中S_R为最终显著性图，S_M为运动显著性图，S_S为静态显著性图，α为加权系数。