CN110874576B - 一种基于典型相关分析融合特征的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于典型相关分析融合特征的行人再识别方法，包括三个阶段：特征提取阶段、求解映射矩阵阶段和融合特征进行行人再识别阶段；在特征提取阶段，对行人图像提取两种不同的特征X与Y；在求解映射矩阵阶段，对这两种特征X与Y分别进行典型相关分析，得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；在融合特征进行行人再识别阶段，融合特征可以表示为或者Z₂＝X'+Y'，把融合的特征Z₁或Z₂分为训练集和测试集，用训练集来训练行人再识别的模型，并用测试集对训练的模型进行测试，在融合特征的同时，有效地消除了冗余信息，降低了计算量和难度。

Description

一种基于典型相关分析融合特征的行人再识别方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于典型相关分析融合特征的行人再识别方法。

背景技术

行人再识别是计算机视觉领域一个非常热门的研究课题，其目的是给定一个感兴趣的行人，通过计算机视觉技术，在不重叠的监控设备中将其寻找出来。大多数现有的方法在解决行人再识别的问题时，主要从以下两个方面入手：1开发有区别的特征表示；2寻求有辨识力的距离度量。基于特征表示的方法其目的是提取具有鲁棒性的特征对行人进行表示，行人再识别使用的特征可以分为三类：视觉特征、滤波器特征、属性特征。基于度量学习的方法在于学习两张图片之间的相似性。在行人再识别上的应用通常是在特征表示的基础上，利用特征之间的相似性对行人图像之间的相似性做出判别，通过学习一个具有较强判别力的距离度量函数，使得同一行人之间的距离尽可能的小，不同行人之间的距离尽可能的大。

特征是行人再识别的基础，特征的辨识力的高低直接影响行人再识别的最终结果。颜色特征是应用最广的一种特征，可以表示行人图像的颜色分布情况，颜色特征对姿态和视角的变化具有鲁棒性，但是容易受到光照和遮挡的影响，同时，对着装相似的行人图像，只用颜色特征难以做出区分。纹理特征对光照有鲁棒性，将颜色纹理特征结合，能有效提高识别的准确率。通常，人工设计的特征是将多种简单特征结合起来，这种做法结合了不同特征表示行人的优点，识别效果较好。但是随着组合特征数目的增加，组合特征的维数会呈指数增长。现有的融合特征的方法，多数是通过串行或者并行的策略将不同的特征融合在一起，这种方法简单有效，缺点是这种方法在组合时没有考虑不同特征之间的内在关系，只是把不同的特征进行堆叠，所有特征信息在融合时全部保留，大量的冗余信息被保留，导致组合特征维度高，增加了计算复杂度，对识别的精确性和实时性有一定的影响。

发明内容

本发明的目的是提供一种基于典型相关分析融合特征的行人再识别方法，解决了现有技术中存在的融合特征的结果维度高、存在大量冗余信息、计算复杂的问题。

本发明所采用的技术方案是，一种基于典型相关分析融合特征的行人再识别方法，包括三个阶段：特征提取阶段、求解映射矩阵阶段和融合特征进行行人再识别阶段；在特征提取阶段，对行人图像提取两种不同的特征X与Y；在求解映射矩阵阶段，对这两种特征X与Y分别进行典型相关分析，得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；在融合特征进行行人再识别阶段，融合特征表示为或者Z₂＝X'+Y'，把融合的特征Z₁或Z₂分为训练集和测试集，用训练集来训练行人再识别的模型，并用测试集对训练的模型进行测试。

本发明的特点还在于：

具体步骤如下：

步骤1、对行人再识别数据集提取两种特征：

用不同的特征提取算法对行人图像的数据集提取特征，分别记作：

X∈R^p*N，Y∈R^q*N

p和q分别表示两种特征的维度，N表示数据集包含的图片数量；

步骤2、对步骤1提取的两种特征X与Y分别进行典型相关分析，用奇异值分解方法求解得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；

步骤3、用融合特征进行行人再识别：

步骤3.1、通过步骤2中得到的映射矩阵α和β，通过以下融合策略得到典型相关特征的融合表示为或者Z₂＝X'+Y'＝α^TX+β^TY，把融合的特征Z₁或Z₂按照行人再识别中对不同数据集的划分规则，分成视角一的训练集一和测试集一，视角二的训练集二和测试集二，用训练集一和训练集二来训练行人再识别的模型，并用测试集一和测试集二对训练的模型做测试；

步骤3.2、用累积匹配曲线CMC评价步骤3.1中测试的结果，并把rank1的识别率作为最重要的评价指标，rank1的值越大说明识别效果越好。

步骤2中用奇异值分解方法求解投影矩阵，求解的过程如下：

1)、把两个特征标准化，得到均值为0方差为1的标准数据；

2)、计算X的方差S_XX，Y的方差S_YY，X和Y的协方差S_XY；

3)、计算矩阵

4)、对矩阵M进行奇异值分解，得到最大的奇异值σ，和最大奇异值对应的左右奇异向量u，v；

5)、计算X和Y的映射矩阵α和β，

6)、两个特征在相关子空间的表示为X'＝α^TX，Y'＝β^TY。

步骤2中用奇异值分解方法求解投影矩阵的具体过程如下：

(1)设X和Y的映射矩阵分别为α和β，它们在子空间的表示为：X'＝α^TX和Y'＝β^TY，它们的相关系数可以表示为：

目标函数为：

即求解令相关系数最大时对应的映射矩阵α与β；

(2)在投影前，首先把原始数据标准化，得到均值为0方差为1的数据，

Cov(α^TX,β^TY)＝E(＜α^TX,β^TY＞)＝E((α^TX)(β^TY)^T)＝α^TE(XY^T)β

同理，Var(β^TY)＝β^TE(YY^T)β，μ_x是X的均值；

(3)由于X，Y的均值均为0，则

Var(X)＝Cov(X,X)＝E(XX^T)

Var(Y)＝Cov(Y,Y)＝E(YY^T)

Cov(X,Y)＝E(XY^T)

Cov(Y,X)＝E(YX^T)；

(4)令S_XX＝Var(X,X)，S_YY＝Var(Y,Y)，S_XY＝Cov(X,Y)，则目标函数转化为

(5)由于分子分母增大相同的倍数，优化目标结果不变，固定分母，优化分子，即：

s.t.α^TS_XXα＝1,β^TS_YYβ＝1；

(6)在求解(5)中的目标函数时，采用奇异值分解的方法，u、v是两个单位向量，

令

则α^TS_XXα＝1，β^TS_YYβ＝1，

同时，由α^TS_XXα＝1，可得：

由β^TS_YYβ＝1，可得：

此时，目标函数为：

s.t.u^Tu＝1,v^Tv＝1；

(7)对于(6)中的目标函数，令矩阵此时u、v表示矩阵M的某一个奇异值对应的左右奇异向量，利用奇异值分解得到M＝U∑V^T，其中U，V分别为M的左奇异向量和右奇异向量组成的矩阵，∑是M的奇异值组成的对角矩阵；由于U，V所有的列都是标准正交基，则u^TU和V^Tv得到一个只有一个标量为1，其余标量为0的向量；此时，

最大化对应的最大值就是某一组左右奇异向量所对应的奇异值的最大值，也就是说将M做奇异值分解后，最大的奇异值就是优化目标的最大值，也就是X和Y之间的最大相关系数；

(8)利用对应的左右奇异向量u，v，求出原始的X和Y的映射矩阵

步骤3.1中训练行人再识别模型的过程中使用的是XQDA算法，将训练集和训练样本标签作为输入，输出为子空间映射矩阵W和其中∑'_I为类内协方差矩阵，∑'_E为类间协方差矩阵；

测试时，使用马氏距离来度量两个行人图像之间的相似性，输入M以及训练特征在子空间W上的映射，得到原始特征在子空间的马氏距离。

本发明的有益效果是：本发明重点研究了基于典型相关分析的特征融合的行人再识别方法。针对目前融合特征方法融合结果维度高、存在大量冗余信息、计算复杂的问题，使用典型相关分析算法，分析同一目标不同特征之间的内在关系，分别寻找它们的一个线性组合，使得新的特征保留原来特征大部分的信息，同时与另一个新的特征具有最大的相关性。用这样两个新的特征按照一定的策略融合，既达到了特征融合的目的，又消除了特征之间的冗余信息。

附图说明

图1是本发明一种基于典型相关分析融合特征的行人再识别方法的特征融合过程图；

图2是本发明一种基于典型相关分析融合特征的行人再识别方法的两种特征以及融合特征在VIPeR数据集上的结果图；

图3是图2中用rank1、rank5、rank10、rank20作为评价指标时的具体结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于典型相关分析融合特征的行人再识别方法，如图1所示，包括三个阶段：特征提取阶段、求解映射矩阵阶段和融合特征进行行人再识别阶段；在特征提取阶段，对行人图像提取两种不同的特征X与Y；在求解映射矩阵阶段，对这两种特征X与Y分别进行典型相关分析，得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；在融合特征进行行人再识别阶段，融合特征表示为或者Z₂＝X'+Y'，把融合的特征Z₁或Z₂分为训练集和测试集，用训练集来训练行人再识别的模型，并用测试集对训练的模型进行测试。

本发明一种基于典型相关分析融合特征的行人再识别方法，具体步骤如下：

步骤1、对行人再识别数据集提取两种特征：

用不同的特征提取算法对行人图像的数据集提取特征，分别记作：

X∈R^p*N，Y∈R^q*N

p和q分别表示两种特征的维度，N表示数据集包含的图片数量；

步骤2、对步骤1提取的两种特征X与Y分别进行典型相关分析，用奇异值分解方法求解得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；

步骤3、用融合特征进行行人再识别：

步骤3.1、通过步骤2中得到的映射矩阵α和β，通过以下融合策略得到典型相关特征的融合表示为或者Z₂＝X'+Y'＝α^TX+β^TY，把融合的特征Z₁或Z₂按照行人再识别中对不同数据集的划分规则，分成视角一的训练集一和测试集一，视角二的训练集二和测试集二，用训练集一和训练集二来训练行人再识别的模型，并用测试集一和测试集二对训练的模型做测试；

步骤3.2、用累积匹配曲线CMC评价步骤3.1中测试的结果，并把rank1的识别率作为最重要的评价指标，rank1的值越大说明识别效果越好。

步骤2中用奇异值分解方法求解投影矩阵，求解的过程如下：

1)、把两个特征标准化，得到均值为0方差为1的标准数据；

2)、计算X的方差S_XX，Y的方差S_YY，X和Y的协方差S_XY；

3)、计算矩阵

4)、对矩阵M进行奇异值分解，得到最大的奇异值σ，和最大奇异值对应的左右奇异向量u，v；

5)、计算X和Y的映射矩阵α和β，

6)、两个特征在相关子空间的表示为X'＝α^TX，Y'＝β^TY。

步骤2中用奇异值分解方法求解投影矩阵的具体过程如下：

(1)设X和Y的映射矩阵分别为α和β，它们在子空间的表示为：X'＝α^TX和Y'＝β^TY，它们的相关系数可以表示为：

目标函数为：

即求解令相关系数最大时对应的映射矩阵α与β；

(2)在投影前，首先把原始数据标准化，得到均值为0方差为1的数据，

Cov(α^TX,β^TY)＝E(＜α^TX,β^TY＞)＝E((α^TX)(β^TY)^T)＝α^TE(XY^T)β

同理，Var(β^TY)＝β^TE(YY^T)β，μ_x是X的均值；

(3)由于X，Y的均值均为0，则

Var(X)＝Cov(X,X)＝E(XX^T)

Var(Y)＝Cov(Y,Y)＝E(YY^T)

Cov(X,Y)＝E(XY^T)

Cov(Y,X)＝E(YX^T)；

(4)令S_XX＝Var(X,X)，S_YY＝Var(Y,Y)，S_XY＝Cov(X,Y)，则目标函数转化为

(5)由于分子分母增大相同的倍数，优化目标结果不变，固定分母，优化分子，即：

s.t.α^TS_XXα＝1,β^TS_YYβ＝1；

(6)在求解(5)中的目标函数时，采用奇异值分解的方法，u、v是两个单位向量，

令

则α^TS_XXα＝1，β^TS_YYβ＝1，

同时，由α^TS_XXα＝1，可得：

由β^TS_YYβ＝1，可得：

此时，目标函数为：

s.t.u^Tu＝1,v^Tv＝1；

(7)对于(6)中的目标函数，令矩阵此时u、v表示矩阵M的某一个奇异值对应的左右奇异向量，利用奇异值分解得到M＝U∑V^T，其中U，V分别为M的左奇异向量和右奇异向量组成的矩阵，∑是M的奇异值组成的对角矩阵；由于U，V所有的列都是标准正交基，则u^TU和V^Tv得到一个只有一个标量为1，其余标量为0的向量；此时，

最大化对应的最大值就是某一组左右奇异向量所对应的奇异值的最大值，也就是说将M做奇异值分解后，最大的奇异值就是优化目标的最大值，也就是X和Y之间的最大相关系数；

(8)利用对应的左右奇异向量u，v，求出原始的X和Y的映射矩阵

步骤3.1中训练行人再识别模型的过程中使用的是XQDA算法，将训练集和训练样本标签作为输入，输出为子空间映射矩阵W和其中∑'_I为类内协方差矩阵，∑'_E为类间协方差矩阵；

测试时，使用马氏距离来度量两个行人图像之间的相似性，输入M以及训练特征在子空间W上的映射，得到原始特征在子空间的马氏距离。

本发明一种基于典型相关分析融合特征的行人再识别方法，其优点在于：本发明方法在特征融合阶段采用典型相关分析融合的策略，分析了不同空间特征在公共子空间中的最大相关，将两种特征之间的最大相关特征作为判别信息，在融合特征的同时，有效地消除了冗余信息，降低了计算量和难度。

实施例一

本发明一种基于典型相关分析融合特征的行人再识别方法，具体按照以下步骤实施：

步骤1：对行人再识别数据集提取两种特征

使用行人再识别数据集VIPeR，该数据集包含了632对行人图像，共计1264张，每一对图像包含从不同视角看一个人的两张图片，并且每个图像都被缩放到了128*48像素大小，结合已有的特征提取方式对该数据集提取WHOS(Weighted Histogram of OverlappingStripes)特征和LOMO(Local Maximal Occurrence)特征。

步骤2：对特征进行典型相关分析，求解映射矩阵，用奇异值分解方法求解的过程如下：

1)、把两个特征标准化，得到均值为0方差为1的标准数据；

2)、计算X的方差S_XX，Y的方差S_YY，X和Y的协方差S_XY；

3)、计算矩阵

4)、对矩阵M进行奇异值分解，得到最大的奇异值σ，和最大奇异值对应的左右奇异向量u，v；

5)、计算X和Y的映射矩阵α和β，

6)、两个特征在相关子空间的表示为X'＝α^TX，Y'＝β^TY。

步骤3：用融合特征进行行人再识别，具体过程如下：

1)、融合特征Z∈R^d*N，其中d是融合特征的维度，N为数据集包含的图片数，融合的特征表示为或者Z₂＝X'+Y'＝α^TX+β^TY，对于VIPeR数据集，N＝1264，用1～632列特征作为查询集，用633～1264列特征作为候选集；

2)、对于查询集和候选集，分别随机选取其中的316列特征作为两个训练集，其余的316列为两个测试集；

3)、识别过程使用的是XQDA(Cross-view Quadratic Discriminant Analysis)算法，将训练集和训练样本标签作为输入，输出为子空间映射矩阵W和其中∑'_I为类内协方差矩阵，∑'_E为类间协方差矩阵；

4)、测试时，使用是马氏距离来度量两个行人图像之间的相似性，输入M以及训练特征在子空间W上的映射，可以得到原始特征在子空间的马氏距离；

5)、如图2和3所示，评价结果使用的是CMC曲线，用rank1、rank5、rank10、rank20作为评价指标，其中rank1的值在评价行人再识别的效果时尤为重要。

Claims (5)

1.一种基于典型相关分析融合特征的行人再识别方法，其特征在于，包括三个阶段：特征提取阶段、求解映射矩阵阶段和融合特征进行行人再识别阶段；在特征提取阶段，对行人图像提取两种不同的特征X与Y；在求解映射矩阵阶段，对这两种特征X与Y分别进行典型相关分析，得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；在融合特征进行行人再识别阶段，融合特征表示为或者Z₂＝X'+Y'，把融合的特征Z₁或Z₂分为训练集和测试集，用训练集来训练行人再识别的模型，并用测试集对训练的模型进行测试。

2.根据权利要求1所述的一种基于典型相关分析融合特征的行人再识别方法，其特征在于，具体步骤如下：

步骤1、对行人再识别数据集提取两种特征：

用不同的特征提取算法对行人图像的数据集提取特征，分别记作：

X∈R^p*N，Y∈R^q*N

p和q分别表示两种特征的维度，N表示数据集包含的图片数量；

步骤2、对步骤1提取的两种特征X与Y分别进行典型相关分析，用奇异值分解方法求解得到一对映射矩阵α和β，新的特征表示为X'＝α^TX，Y'＝β^TY，α^T为映射矩阵α的转置，β^T为映射矩阵β的转置；

步骤3、用融合特征进行行人再识别：

步骤3.1、通过步骤2中得到的映射矩阵α和β，通过以下融合策略得到典型相关特征的融合表示为或者Z₂＝X'+Y'＝α^TX+β^TY，把融合的特征Z₁或Z₂按照行人再识别中对不同数据集的划分规则，分成视角一的训练集一和测试集一，视角二的训练集二和测试集二，用训练集一和训练集二来训练行人再识别的模型，并用测试集一和测试集二对训练的模型做测试；

步骤3.2、用累积匹配曲线CMC评价步骤3.1中测试的结果，并把rank1的识别率作为最重要的评价指标，rank1的值越大说明识别效果越好。

3.根据权利要求2所述的一种基于典型相关分析融合特征的行人再识别方法，其特征在于，所述步骤2中用奇异值分解方法求解投影矩阵，求解的过程如下：

1)、把两个特征标准化，得到均值为0方差为1的标准数据；

2)、计算X的方差S_XX，Y的方差S_YY，X和Y的协方差S_XY；

3)、计算矩阵

4)、对矩阵M进行奇异值分解，得到最大的奇异值σ，和最大奇异值对应的左右奇异向量u，v；

5)、计算X和Y的映射矩阵α和β，

6)、两个特征在相关子空间的表示为X'＝α^TX，Y'＝β^TY。

4.根据权利要求3所述的一种基于典型相关分析融合特征的行人再识别方法，其特征在于，所述步骤2中用奇异值分解方法求解投影矩阵的具体过程如下：

(1)设X和Y的映射矩阵分别为α和β，它们在子空间的表示为：X'＝α^TX和Y'＝β^TY，它们的相关系数可以表示为：

目标函数为：

即求解令相关系数最大时对应的映射矩阵α与β；

(2)在投影前，首先把原始数据标准化，得到均值为0方差为1的数据，

Cov(α^TX,β^TY)＝E(＜α^TX,β^TY＞)

＝E((α^TX)(β^TY)^T)＝α^TE(XY^T)β

同理，Var(β^TY)＝β^TE(YY^T)β，μ_x是X的均值；

(3)由于X，Y的均值均为0，则

Var(X)＝Cov(X,X)＝E(XX^T)

Var(Y)＝Cov(Y,Y)＝E(YY^T)

Cov(X,Y)＝E(XY^T)

Cov(Y,X)＝E(YX^T)；

(4)令S_XX＝Var(X,X)，S_YY＝Var(Y,Y)，S_XY＝Cov(X,Y)，则目标函数转化为

(5)由于分子分母增大相同的倍数，优化目标结果不变，固定分母，优化分子，即：

s.t.α^TS_XXα＝1,β^TS_YYβ＝1；

(6)在求解(5)中的目标函数时，采用奇异值分解的方法，u、v是两个单位向量，

令

则α^TS_XXα＝1，β^TS_YYβ＝1，

同时，由α^TS_XXα＝1，可得：

由β^TS_YYβ＝1，可得：

此时，目标函数为：

s.t.u^Tu＝1,v^Tv＝1；

(7)对于(6)中的目标函数，令矩阵此时u、v表示矩阵M的某一个奇异值对应的左右奇异向量，利用奇异值分解得到M＝U∑V^T，其中U，V分别为M的左奇异向量和右奇异向量组成的矩阵，∑是M的奇异值组成的对角矩阵；由于U，V所有的列都是标准正交基，则u^TU和V^Tv得到一个只有一个标量为1，其余标量为0的向量；此时，

最大化对应的最大值就是某一组左右奇异向量所对应的奇异值的最大值，也就是说将M做奇异值分解后，最大的奇异值就是优化目标的最大值，也就是X和Y之间的最大相关系数；

(8)利用对应的左右奇异向量u，v，求出原始的X和Y的映射矩阵

5.根据权利要求2所述的一种基于典型相关分析融合特征的行人再识别方法，其特征在于，所述步骤3.1中训练行人再识别模型的过程中使用的是XQDA算法，将训练集和训练样本标签作为输入，输出为子空间映射矩阵W和其中∑'_I为类内协方差矩阵，∑'_E为类间协方差矩阵；

测试时，使用马氏距离来度量两个行人图像之间的相似性，输入M以及训练特征在子空间W上的映射，得到原始特征在子空间的马氏距离。