CN105023008B - 基于视觉显著性及多特征的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于视觉显著性及多特征的行人再识别方法。该方法包括：快速检测视频中行人目标；利用显著性检测算法分割出行人区域，提取目标区域的空间直方图；利用SCA方法将人体分割成头、躯干和腿三部分，分别提取躯干和腿部的颜色、位置、形状及纹理特征；采用改进的JSD相似度度量准则计算空间直方图的相似度，进行目标初识别；利用高斯函数计算区域特征集的相似性，得到最终的识别结果。本发明提供的方法可以在不同的背景环境以及摄像头设置下实现在多摄像头网络中对特定行人的长期跟踪与监控。实现对监控视频智能化处理，对视频中异常状况及时做出反应，同时可以节省大量人力物力。

Description

基于视觉显著性及多特征的行人再识别方法

技术领域

本发明属于图像处理技术领域，涉及计算机视觉及模式识别方法，具体是实现行人再识别的方法。

背景技术

随着物联网时代的到来，国家大力倡导智慧城市的建设，智能安防、智能交通等基于视频分析的课题不断提出，对获取的监控视频进行智能分析得到越来越多的重视。对于大部分的监控系统来说，监控视频中出现的人都是其重要关注对象，因此智能监控系统需要拥有对其进行检测，识别，跟踪的能力，以便进一步对行人目标的行为进行分析，行人再识别技术就是其核心步骤之一。所谓行人再识别就是将不同摄像头中出现的同一个行人再次识别出来，它主要是在大区域的多摄像头视频监控网络中，实现对行人目标行为的长期远距离跟踪分析。通过对特定人群的行踪以及其它行为的分析，可以发现他们之间的行为方式以及相互关系，这对于特定事件的分析非常有帮助。因此，行人再识别技术是计算机视觉领域内的一个研究热点，同时在现实中具有十分重要的应用价值。

视觉注意模型是由视觉心理学发展而来的一个研究领域，能够快速搜索到人类感兴趣的目标，该目标被称为显著性目标，该模型则被称为显著性模型。近年来，显著性模型在计算机视觉领域得到了越来越普及的应用，常常用在预处理阶段来降低计算复杂度。基于视觉显著性的图像分割方法利用人类的视觉注意机制，对生成的显著图直接进行简单的阈值分割，即可准确地分离出图像中的前景目标。

颜色特征是在图像检索中应用最为广泛的视觉特征，往往和图像中所包含的物体或场景相关。与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。但同时忽略了更多的有用信息(如空间、位置、形状以及纹理特征等)，因此需要结合其他特征才能对目标进行描述。

相似度计算用于衡量对象之间的相似程度，在数据挖掘、自然语言处理中是一个基础性计算。针对不同的应用场景，受限于数据规模、时空开销等的限制，相似度计算方法的选择会有所区别和不同。Jensen-Shannon Divergence(JSD)距离是一种基于KL距离(KLdivergence，KLD)的距离度量，解决了KL距离的不对称性问题，比KL距离更平滑，也更有效。理论和实验证明了基于JSD度量的方法更稳定、更精确。基于高斯函数的相似度度量准则计算任意两个区域之间各特征的相似程度，通过调整各特征的方差可以方便地归一化具有不同量纲的特征变量，并且相似度总在[0,1]之间。

基于视觉显著性及多特征的行人再识别研究，采用视觉显著性对图像进行预处理，分割出准确的行人目标，减少后期计算量。提取多种特征，分别进行相似度计算，实现对视频网络中行人的再识别。专利检索及对国内外各种科技文献的最新检索表明，尚未有基于视觉显著性及多特征的行人再识别研究方法见诸文献。

发明内容

本发明所要解决的技术问题是：监控网络中行人目标易受光照、视角、姿势变换影响，导致了行人再识别准确性低。

为解决上述技术问题，本发明提供了一种基于视觉显著性及多特征的行人再识别方法，其工作原理是：利用视觉显著性算法及SCA算法实现前景目标的提取与区域分割，有效地提取图像的多种特征；利用不同的相似性度量准则实现实时高准确性的行人再识别。利用视觉显著性算法对行人目标进行准确分割，有效地提取目标的空间直方图；使用Stelcomponent analysis(SCA)算法对前景进行区域分割，提取两个主要部件的颜色、位置、形状以及纹理特征；利用JSD度量准则计算空间直方图相似度对目标进行初识别；利用高斯函数计算区域特征的相似度实现目标的最终识别。

一种基于视觉显著性及多特征的行人再识别方法，其特征在于，包括以下步骤：

(1)利用视觉显著性模型对检测到的行人结果框进行预处理，分割出完整的行人目标；

(2)提取前景目标的空间直方图特征；

(3)利用SCA(Stel component analysis,SCA)方法对前景目标进行区域分割，将人体分割成头、躯干、腿三个部分；

(4)在躯干和腿部提取颜色、位置、形状以及纹理特征对图像块进行描述；

(5)利用JSD度量准则计算空间直方图相似性，对目标进行初识别，根据相似性得分排序，筛选出粗识别目标；

(6)对筛选出的目标，利用高斯函数计算区域特征的相似性，得到最终识别结果。

本发明所达到的有益效果：本发明利用视觉显著性分割算法进行预处理，分割出准确的前景目标，结合SCA分割方法对目标进行区域分割；对前景目标及各区域部分分别进行多种特征提取，对目标进行充分描述；利用不同的相似性度量准则分别对特征进行比较，进行目标的初识别及精识别得到最后的识别结果，提高了行人再识别的准确度。

附图说明

图1为本发明的实施示意图；

图2为基于视觉显著性图像分割流程示意图。

具体实施方式

有关本发明的详细内容和技术，兹配合图式说明如下：

本发明的实施示意图如图1所示，其具体步骤依次为：

(1)对视频中行人进行检测，利用视觉显著性模型对检测到的行人结果框进行预处理，分割出完整的行人目标；

在步骤(1)中，获取行人区域的显著图Μ并进行目标分割，具体过程包括：

计算感兴趣区域的原始灰度图Μ₀和二值图Μ₁，将二者结合生成一个连续且平滑的弱显著图Μ_w，计算公式如下：

(式1)

根据弱显著图Μ_w选择包含正负样本的训练集，利用多核增强学习(MultipleKernel Boosting)方法训练样本得到强显著图Μ_s，将强显著图、弱显著图加权结合，得到最优的显著图结果，记Μ为最终输出显著图，计算公式如下：

Μ＝σΜ_s+(1-σ)Μ_w (式2)

其中，σ表示平衡因子，用来调节强显著图、弱显著图的权重，为了加大强显著模型的权重，设置σ＝0.7；

根据输出显著图Μ进行阈值分割得到二值图像，与原始图像相减即得到分割结果。

(2)提取前景目标空间直方图。

在步骤(2)中，由于RGB颜色空间与人眼的感知差异很大，因此使用较好符合人眼感知特性的HSV颜色模型。

RGB图像是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，r,g,b值对应的是每个通道上的取值；

HSV颜色模型是倒锥形模型，h对应的是色彩值，s对应的是深浅(例如：深蓝、浅蓝)，v对应的是明暗，即色彩的明亮程度。

首先将图像中每一像素的r,g,b值转换为HSV颜色模型的h,s,v值h∈[0,2π],s∈[0,1],v∈[0,1]；然后根据HSV颜色模型的特性作如下处理：

21)黑色区域：所有v<15％的颜色均归入黑色，令h＝0,s＝0,v＝0；

22)白色区域：所有s<10％且v>80％的颜色归入白色，令h＝0,s＝0,v＝1；

23)彩色区域：位于黑色区域和白色区域以外的颜色，其h,s,v值保持不变；

目标空间直方图分布记为H：H＝{n_b,μ_b,∑_b}_b＝1,...,B，其中n_b,μ_b,∑_b分别是每个区间的概率、每个区间中所有像素坐标的均值向量和协方差矩阵，B是空间直方图区间个数。

(3)利用Stel成分分析方法(SCA)对目标进行区域分割，将人体分割成头、躯干和腿三部分。

(4)在低分辨率的情况下，头部区域无法给识别带来有效信息，可以直接忽略，因此直接对躯干与腿部提取颜色、位置、形状以及纹理特征。

在步骤(4)中：

41)颜色特征：区域的颜色特征用该区域的平均色代表，为了方便颜色相似度的计算，将(h,s,v)色度坐标统一转换为柱坐标系下的欧氏空间坐标(c₁,c₂,c₃)表示，

c₁＝s·cos(h),c₂＝s·sin(h),c₃＝v (式3)

42)位置特征：对象的位置用其重心的归一化坐标表示，

(式4)

其中，为对象位置的重心坐标；

43)形状特征：包括形状的大小ρ，形状的离散度υ和离心率e

其中，Width，Heigth是图像的宽和高，I_max，I_min是物体最适椭圆的长短轴；x、y为当前坐标值；p＝0、1或2，q＝0、1或2；p、q的值与式5中u_p,q中的下标对应计算；object表示目标，这里(x,y)表示当前像素的位置坐标。如将一张纸上的一个矩形(矩形内+矩形边缘上)认为是object，(x,y)表示一个点的坐标，(x,y)∈object表示这个点需要在object上，即在矩形上。

44)纹理特征：求取广义图像灰度共生矩阵，

设区域中第i个图像块为f_i(x,y)，x＝1,2,…,M_i；y＝1,2,…,N_i，其灰度级为L_i；M_i，N_i分别表示第i个图像块的x、y方向大小；；

采用3×3点阵对第i个图像块进行平滑处理，得到平滑图像g_i(x,y),x＝1,2,…,M_i,y＝1,2,…,N_i，其灰度级也为L_i；

广义图像的灰度共生矩阵为{H_ab,a＝0,1,…,L_i-1；b＝0,1,…,L_i-1}，其中，H_ab为集合{(x,y)|f_i(x,y)＝I_i,g_i(x,y)＝b}中元素的数目；竖线是分离符，用来分离元素和元素应满足的条件，I表示待识别的行人目标，I_i是表示行人目标分割的小块，比如腿部；

将{H_ab}作归一化处理，得到归一化的广义图像灰度共生矩阵{P_ab}，使{P_ab}各元素之和为1；

利用归一化的广义图像灰度共生矩阵{P_ab}定义各种特征统计量，包括惯性、熵、能量与相关量：

e)惯性t₁：

(式6)

L_g表示平滑图像的灰度级，现加下标为L_gi表示第i个对象块对应的平滑图像灰度级；

f)混合熵t₂：

(式7)

g)能量t₃：

(式8)

h)相关量t₄：

(式9)

其中，μ_x为灰度平均；μ_y为平滑平均；为灰度方差；为平滑方差，σ_xσ_y分别是的算术平方根，即为标准差；

(式10)

(式11)

(式12)

(式13)

对第i个图像块计算得到4维特征向量T_i＝[t_i1,t_i2,t_i3,t_i4]，用以表示图像的纹理特征，

最后，第i个图像块的特征用矢量表示为含有m个对象的图像的特征矢量表示为{F₁,F₂,…,F_m}，本发明中取m＝2。c_i1c_i2c_i3为分别为第i个图像块的欧氏空间坐标,分别为第i个图像块的对象位置的重心坐标；ρ_iυ_ie_i分别为第i个图像块的形状的大小、形状的离散度和离心率。

(5)根据空间直方图进行初识别。

在步骤(5)中，空间直方图H和H'之间的相似度ρ(H,H')用式14来度量，

(式14)

式中，ψ_b和φ_b分别表示颜色直方图区间相似度和空间相似度，其中，ψ_b采用直方图相交法计算得到，φ_b采用Jensen-Shannon Divergence(JSD)方法计算得到。

首先，将空间直方图H的每个区间中所有像素的空间分布看作一个高斯分布，所述高斯分布的均值和协方差分别为像素坐标的均值向量μ_b和协方差矩阵Σ_b，则高斯分布函数用式15表示：

(式15)

其中Χ表示像素的空间位置，d为空间特征维数，计算两个高斯分布函数f_b(Χ)到f_b'(Χ)之间的散度JSD(Jensen-Shannon Divergence)，计算公式为

KL()是KL散度计算公式，如式18；

其中是由f_b(Χ)和f_b'(Χ)估计得到的高斯分布函数，其参数由式17估计得到

其中，μ'_b，Σ'_b是空间直方图H'对应的像素坐标的均值向量和协方差矩阵，是估计得到是像素坐标的均值向量和协方差矩阵；

由高斯分布函数f_b(x)到f_b'(x)的KL散度为：

Tr对矩阵主对角线元素求和计算；

故两个高斯分布函数之间的JSD为：

显然，由于KL散度是不小于零的，则由得的JSD值也是不小于零的。

通常相似度的取值范围为[0,1]，则基于JSD的空间直方图相似度ρ(H,H')计算公式为：

(式20)

n'_b表示空间直方图H'对应的区间的概率；

根据式20计算待测目标与候选目标的空间直方图相似性，实现目标的粗识别。

(6)根据区域特征对目标进行精识别。

在步骤(6)中，采用高斯函数计算任意第i个图像块与第j个图像块之间各特征的相似程度。

通过调整各特征的方差归一化具有不同量纲的特征变量，并且相似度S在[0,1]之间，各特征包括颜色特征、位置特征、形状特征以及纹理特征。

当相似度S＝1时，两个图像块相似；当S→0时，两个图像块不相似，相似度的计算公式如下：

颜色相似度：

(式21)

表示颜色特征对应的方差；

位置相似度：

(式22)

表示位置相似度对应的方差；

形状相似度：

(式23)

表示形状相似度对应的方差，w_ρw_υw_e分别为形状特征中形状的大小ρ、离散度υ和离心率e对应的权重；

纹理相似度：

(式24)

表示纹理相似度对应的方差；

图像中任意第i个图像块与第j个图像块之间的相似度S_object(i,j)是各特征间相似度S_k的加权平均：

(式25)

w_k为各特征相似度S_k对应的权重；

假设待识别目标图像为I，候选目标图像为Q，则待识别目标图像I与候选目标图像为Q的总体相似度S(I,Q)为：

(式26)

其中W_i为第i个图像块的权重，将W_i初始化为ρ_i，使图像块权重W_i与该图像对象的面积成正比，P_Q(i),i＝1,2表示待识别目标图像I的第i个图像块与候选目标图像Q中图像块间的映射关系，返回在候选目标图像Q中与待识别目标图像I的第i个图像块最为相似的对象。

以上已以较佳实施例公布本发明如上，然其并非用以限制本发明，凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种基于视觉显著性及多特征的行人再识别方法，其特征在于，包括以下步骤：

(1)利用视觉显著性模型对检测到的行人结果框进行预处理，分割出完整的行人目标；

(2)提取前景目标的空间直方图特征；

(3)利用SCA方法对前景目标进行区域分割，将人体分割成头、躯干、腿三个部分；

(4)在躯干和腿部提取颜色、位置、形状以及纹理特征对图像块进行描述；

(5)利用JSD度量准则计算空间直方图相似性，对目标进行初识别，根据相似性得分排序，筛选出粗识别目标；

(6)对筛选出的目标，利用高斯函数计算区域特征的相似性，得到最终识别结果。

2.根据权利要求1所述的基于视觉显著性及多特征的行人再识别方法，其特征在于：在步骤(1)中，获取行人区域的显著图M并进行目标分割，具体过程包括：

计算感兴趣区域的原始灰度图M₀和二值图M₁，将二者结合生成一个连续且平滑的弱显著图M_w，计算公式如下：

根据弱显著图M_w选择包含正负样本的训练集，利用多核增强学习方法训练样本得到强显著图M_s，将强显著图、弱显著图加权结合，得到最优的显著图结果，记M为最终输出显著图，计算公式如下：

M＝σM_s+(1-σ)M_w (式2)

其中，σ表示平衡因子，用来调节强显著图、弱显著图的权重；

根据输出显著图M进行阈值分割得到二值图像，与原始图像相减即得到分割结果。

3.根据权利要求1所述的基于视觉显著性及多特征的行人再识别方法，其特征在于：

在步骤(2)中，首先将图像中每一像素的r,g,b值转换为HSV颜色模型的h,s,v值，h∈[0,2π],s∈[0,1],v∈[0,1]；然后根据HSV颜色模型的特性作如下处理：

21)黑色区域：所有v<15％的颜色均归入黑色，令h＝0,s＝0,v＝0；

22)白色区域：所有s<10％且v>80％的颜色归入白色，令h＝0,s＝0,v＝1；

23)彩色区域：位于黑色区域和白色区域以外的颜色，其h,s,v值保持不变；

目标空间直方图分布记为H：H＝{n_b,μ_b,∑_b}_b＝1,...,B，其中n_b,μ_b,∑_b分别是每个区间的概率、每个区间中所有像素坐标的均值向量和协方差矩阵，B是空间直方图区间个数。

4.根据权利要求1所述的基于视觉显著性及多特征的行人再识别方法，其特征在于：在步骤(4)中，

41)颜色特征：区域的颜色特征用该区域的平均色代表，将(h,s,v)色度坐标统一转换为柱坐标系下的欧氏空间坐标(c₁,c₂,c₃)表示，

c₁＝s·cos(h),c₂＝s·sin(h),c₃＝v (式3)

42)位置特征：对象的位置用其重心的归一化坐标表示，

其中，为对象位置的重心坐标；

43)形状特征：包括形状的大小ρ，形状的离散度υ和离心率e

其中，object表示目标,Width，Heigth是图像的宽和高，I_max，I_min是物体最适椭圆的长短轴；x、y为当前坐标值；p＝0、1或2，q＝0、1或2；

44)纹理特征：求取广义图像灰度共生矩阵，

设区域中第i个图像块为f_i(x,y)，x＝1,2,…,M_i；y＝1,2,…,N_i，其灰度级为L_i；M_i，N_i分别表示第i个图像块的x、y方向大小；

采用3×3点阵对第i个图像块进行平滑处理，得到平滑图像g_i(x,y),x＝1,2,…,M_i,y＝1,2,…,N_i，其灰度级也为L_i；

广义图像的灰度共生矩阵为{H_ab,a＝0,1,…,L_i-1；b＝0,1,…,L_i-1}，其中，H_ab为集合{(x,y)|f_i(x,y)＝I_i,g_i(x,y)＝b}中元素的数目；竖线是分离符，用来分离元素和元素应满足的条件，I_i是表示行人目标分割的小块；

将{H_ab}作归一化处理，得到归一化的广义图像灰度共生矩阵{P_ab}，使{P_ab}各元素之和为1；

利用归一化的广义图像灰度共生矩阵{P_ab}定义各种特征统计量，包括惯性、熵、能量与相关量：

a)惯性t₁：

L_g表示平滑图像的灰度级，现加下标为L_gi表示第i个对象块对应的平滑图像灰度级；

b)混合熵t₂：

c)能量t₃：

d)相关量t₄：

其中，μ_x为灰度平均；μ_y为平滑平均；为灰度方差；为平滑方差，σ_xσ_y分别是的算术平方根，即为标准差；

对第i个图像块计算得到4维特征向量T_i＝[t_i1,t_i2,t_i3,t_i4]，用以表示图像的纹理特征，

最后，第i个图像块的特征用矢量表示为含有m个对象的图像的特征矢量表示为{F₁,F₂,…,F_m}，c_i1c_i2c_i3为分别为第i个图像块的欧氏空间坐标,分别为第i个图像块的对象位置的重心坐标；ρ_iυ_ie_i分别为第i个图像块的形状的大小、形状的离散度和离心率。

5.根据权利要求1所述的基于视觉显著性及多特征的行人再识别方法，其特征在于：

在步骤(5)中，空间直方图H和H'之间的相似度ρ(H,H')用式14来计算，

式中，ψ_b和φ_b分别表示颜色直方图区间相似度和空间相似度，其中，ψ_b采用直方图相交法计算得到，φ_b采用JSD方法计算得到；

首先，将空间直方图H的每个区间中所有像素的空间分布看作一个高斯分布，所述高斯分布的均值和协方差分别为像素坐标的均值向量μ_b和协方差矩阵Σ_b，则高斯分布函数用式15表示：

其中X表示像素的空间位置，d为空间特征维数，计算两个高斯分布函数f_b(X)到f′_b(X)之间的散度JSD，计算公式为

KL()是KL散度计算公式，如式18所示；

其中是由f_b(X)和f′_b(X)估计得到的高斯分布函数，其参数由式17估计得到

其中，μ′_b，Σ′_b是空间直方图H'对应的像素坐标的均值向量和协方差矩阵，是估计得到是像素坐标的均值向量和协方差矩阵；

由高斯分布函数f_b(x)到f′_b(x)的KL散度为：

Tr对矩阵主对角线元素求和计算；

故两个高斯分布函数之间的JSD为：

相似度的取值范围为[0,1]，则基于JSD的空间直方图相似度ρ(H,H')计算公式为：

其中，n′_b表示空间直方图H'对应的区间的概率；

根据式20计算待测目标与候选目标的空间直方图相似性，实现目标的粗识别。

6.根据权利要求1所述的基于视觉显著性及多特征的行人再识别方法，其特征在于：

在步骤(6)中，采用高斯函数计算任意第i个图像块与第j个图像块之间各特征的相似程度,通过调整各特征的方差归一化具有不同量纲的特征变量，并且相似度S在[0,1]之间，各特征包括颜色特征、位置特征、形状特征以及纹理特征,

当相似度S＝1时，两个图像块相似；当S→0时，两个图像块不相似，相似度的计算公式如下：

颜色相似度：

表示颜色特征对应的方差，c_i1c_i2c_i3分别为第i个图像块的欧氏空间坐标,c_j1c_j2c_j3分别为第j个图像块的欧氏空间坐标；

位置相似度：

表示位置相似度对应的方差，分别为第i个图像块的对象位置的重心坐标，分别为第j个图像块的对象位置的重心坐标；

形状相似度：

表示形状相似度对应的方差，w_ρ、w_υ、w_e分别为形状特征中形状的大小ρ、离散度υ和离心率e对应的权重；

纹理相似度：

表示纹理相似度对应的方差，T_i＝[t_i1,t_i2,t_i3,t_i4]表示第i个图像块的4维特征向量，用以表示图像的纹理特征，t_i1,t_i2,t_i3,t_i4分别第i个图像块的惯性、混合熵、能量和相关量，t_j1,t_j2,t_j3,t_j4分别第j个图像块的惯性、混合熵、能量和相关量；

图像中任意第i个图像块与第j个图像块之间的相似度S_object(i,j)是各特征间相似度S_k的加权平均：

w_k为各特征相似度S_k对应的权重；

假设待识别目标图像为I，候选目标图像为Q，则待识别目标图像I与候选目标图像为Q的总体相似度S(I,Q)为：

其中W_i为第i个图像块的权重，将W_i初始化为第i个图像块的形状的大小ρ_i，使图像块权重W_i与该图像块的面积成正比，P_Q(i),i＝1,2表示待识别目标图像I的第i个图像块与候选目标图像Q中图像块间的映射关系，返回在候选目标图像Q中与待识别目标图像I的第i个图像块最为相似的对象。