CN108764308A - 一种基于卷积循环网络的行人重识别方法 - Google Patents

Abstract

本发明提供了一种基于卷积循环网络的行人重识别方法。所述基于卷积循环网络的行人重识别方法包括：获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征；构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数；利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数；利用特征提取网络，分别提取跨摄像机的行人图像特征；计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别问题。

Description

一种基于卷积循环网络的行人重识别方法

技术领域

本发明涉及模式识别技术领域，特别涉及一种基于卷积循环网络的行人重识别方法。

背景技术

社会的进步和发展越来越重视公共安全，随之发展的视频监控技术被广泛应用于公共交通和办公场所，人们通过观看浏览监控视频内容来判定是否存在危险或利用监控来进行事后追责等，但是目前对视频技术的利用还主要依靠人来完成，特别是需要跨摄像机发现相同行人，完成行人的轨迹关联分析是应用的需求之一。跨摄像机的行人识别属于行人重识别问题，由于受不同摄像机在拍摄视角、光照、遮挡等影响，行人重识别面临的诸多挑战。目前，行人重识别技术的关键问题在于如何更加有效地对行人进行表示，这种表示由于同一行人图像数量有限且行人人数庞大而进展缓慢。

为了解决上述关键问题，大量的研究者将注意力集中在对行人图像的特征表示，以及跨摄像机之间的特征空间变换。行人特征表示经历了早期的颜色、纹理HOG(Histogramof Gradient)特征，到更加有效的LOMO(Local Maximal Occurrence)、融合特征，而特征空间变换则主要有XQDA(Cross-view Quadratic Discriminant Analysis)、NFST(NullFoley-Sammon Transfer)等方法，但是这些方法基本都是人工设计且分步骤实现，在效果上并不理想。近年来，深度学习技术在行人重识别领域也得到了很好的发展，但是目前的研究主要是通过卷积网络来提取行人图像特征，这种提取方法仅关注行人图像的卷积特征，缺乏对图像结构信息的发现和挖掘。

发明内容

本发明的目的在于针对现有技术的缺陷或问题，提供一种基于卷积循环网络的行人重识别方法，能够提供跨摄像机拍摄行人的重识别问题。

本发明的技术方案如下：一种基于卷积循环网络的行人重识别方法包括如下步骤：步骤1、获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；步骤2、构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征；步骤3、构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数；步骤4、利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数；步骤5、对跨摄像机拍摄的行人图像进行特征提取；步骤6、计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别。

优选地，获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像的步骤具体包括：

步骤1.1、对于拍摄场景无交叠的多个摄像机，若同一行人先后经过摄像机，则会在多个摄像机中出现该行人的画面；

步骤1.2、对一个摄像机拍摄的视频文件或视频流，采用背景差法，如高斯混合模型，检测运动前景；

步骤1.3、对于存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位并裁剪行人区域图像作为行人图像；

步骤1.4、在不同摄像机上重复步骤1.2至步骤1.4的过程，提取行人图像；

步骤1.5、将行人图像缩放至固定大小；

步骤1.6、采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，不同类之间采用不同的编号表示；

步骤1.7、采用上述方法构建训练数据集，当数据集规模包含预设数量的行人图像时，可停止收集数据。

优选地，构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征的步骤具体包括：

行人特征提取的卷积循环网络由若干卷积单元、循环单元，以及池化层构成；其中每个卷积单元由一个批量归一化层、一个卷积层和一个非线性激活层构成；循环单元由若干门控单元构成；给定一幅行人图像，经网络计算后转化为一个高维向量作为行人特征。

优选地，构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数的步骤具体包括：

复制步骤2中构建的特征提取网络，构造一个结构相同和参数共享的孪生网络，该孪生网络的两个子网络，可分别接受一幅行人图像作为输入，生成两个行人的输出特征；

成对输入的图像特征，定义度量两个特征的相似度函数s(f_i,f_j)＝cos(f_i,f_j)，其中，f_i,f_j分别为行人图像经特征提取网络得到的特征向量，函数cos(·)表示余弦函数；

根据相似度函数，定义如下损失函数L(f_i,f_j)＝cos(f_i,f_j)；

为了防止过拟合，增加一个正则化项，定义为L(W)＝∑_k||W_k||²，其中k表示网络第k层参数；

优化目标函数为损失和正则化项的综合L＝L(f_i,f_j)+λL(W)，其中λ为正则化参数。

优选地，利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数的步骤具体包括：

求解目标函数关于特征的偏导数

利用网络前向传播求解目标函数相对网络各层参数和输入的偏导数；

对各层参数利用随机梯度下降进行参数更新学习。

优选地，跨摄像机拍摄的行人图像进行特征提取的步骤具体包括：

对于不同摄像机拍摄的视频文件或视频流数据，先利用背景差法进行运动检测；

对存在运动的视频帧利用预训练的行人检测器进行行人检测，定位行人位置并截取行人区域图像；

将行人图像缩放到固定大小，经步骤4训练的特征提取网络提取特征向量。

优选地，计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别问题的步骤具体包括：

提取跨摄像机的多个行人特征后，通过特征相似度函数s(f_i,f_j)＝cos(f_i,f_j)进行度量，若相似度超过预设数值，则判定为同一行人；否则判为不同的行人。

本发明提供的技术方案具有如下有益效果：

所述基于卷积循环网络的行人重识别方法中，行人重识别技术在利用深度卷积网络来提取图像特征的同时，还加入刻画行人的结构信息，通过行人的先验信息来增加特征的表达能力，从而提高行人重识别效果，因此能够提供跨摄像机拍摄行人的重识别问题。

附图说明

图1为本发明实施例提供的基于卷积循环网络的行人重识别方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

请参阅图1，本发明实施方式提供一种基于卷积循环网络的行人重识别方法，所述方法包括以下步骤：

步骤S1：获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像。

在本实施方式中，所述行人重识别方法主要应用于视频监控系统中，如交通监控、楼宇监控，多个摄像机被部署于不同的地理位置拍摄不同场景。对于拍摄场景无交叠的多个摄像机，若同一行人先后经过多个摄像机，则会在多个摄像机中出现该行人的画面。对一个摄像机拍摄的视频文件或视频流，先采用背景差法(如高斯混合模型)检测运动前景，然后对存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位行人位置，并从视频帧中截取对应区域图像作为行人图像。若背景差法未检测到运动前景，则行人检测器不执行，这样可以节约计算资源。在不同摄像机上重复上述步骤提取行人图像，并将行人图像缩放至固定大小(如128×64像素)，以统一行人识别的卷积循环网络输入大小。最后，采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，每类行人图像不少于预设的样本个数；而不同类行人图像之间采用不同的编号表示。迭代上述样本收集过程，当训练数据集规模包含预设数量的行人图像时，可停止收集数据。

步骤S2：构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征。

在本实施方式中，所述卷积循环网络由若干卷积单元、循环单元，以及池化层构成，其中每个卷积单元由一个批量归一化层、一个卷积层和一个非线性激活层构成，循环单元由若干门控单元构成。近年来，深度学习中的卷积网络在提取图像高级语义信息中展现出很好的效果，但是经卷积核提取的信息缺乏足够的目标先验信息，如行人图像中从上到下为脑袋、躯干、上肢、下肢等部位，这些部位是存在相对位置关系。从上向下/从下向上的行人部位时序关系可通过循环神经网络进行建模，模型分别构建从上向下和从下向上双向循环神经网络以提取相对位置特征，该特征与卷积特征融合作为行人的特征表示。给定一幅行人图像，经网络计算后转化为一个高维向量作为行人特征。

为了能够得到哈希二值向量特征，特征输出层应该有一个接一个sigmoid变换层，该层将输入的实值特征尽量变换到接近-1或1两个数值，若输入数值的绝对值足够大时，变换后非常接近-1或1，该层具有将特征逼近二值的特性，输出特征可直接通过符号函数进行二值量化得到哈希二值向量特征。

步骤S3：构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数。

在本实施方式中，行人重识别网络中，孪生网络结构可以输入成对样本进行学习，提高学习效果。孪生网络的两个子网结构相同、参数共享，因此网络复杂度不增加，仅在训练时同时结构成对输入计算量增加，而测试时刻仅接受单幅图像输入，计算复杂度不变。孪生网络不仅会给出成对样本的分类类别，还可以更好地表达成对样本间的相似度。该孪生网络的两个子网络，可分别接受一幅行人图像作为输入，生成两个行人的输出特征。若两幅图像是同一行人，则应该尽可能使两特征间相似度大，否则尽可能使相似度小。

若成对图像经特征提取子网络提取的特征向量分别为f_i和f_j，则定义f_i和f_j的在训练过程中的优化目标函数(损失)为L(f_i,f_j)，具体函数形式由相似度度量方式决定。如采用余弦度量相似度，则L(f_i,f_j)＝cos(f_i,f_j)，该目标函数指导学习的网络参数可以学习到更适合此相似度度量的参数。

为了防止过拟合，目标函数增加一个正则化项，对所有参数进行2范数正则化约束，该目标函数定义为L(W)＝∑_k||W_k||²，其中k表示网络第k层参数。最终的目标函数为损失和正则化项的综合L＝L(f_i,f_j)+λL(W)，其中λ为正则化参数。

步骤S4：利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数。

在本实施方式中，给定一个批量的训练数据，该训练数据包含一批成对行人图像数据，以及成对行人之间的类别关系，行人图像数据经特征提取子网络得到向量特征，再根据成对特征计算目标函数。前述内容为网络前向计算过程。获得目标函数值后，可求解目标对于输入fi和fj的偏导数和然后根据导数链式法则，反向计算目标相对各层输入和各层参数的偏导数，最后根据随机梯度下降法则更新参数其中η为参数更新的学习率，通常数值较小，可根据数据集等进行调整。最后，迭代执行多个批量的上述前向计算和反向计算过程，更新参数。当目标函数值不再降低或迭代次数达到预设次数时终止学习，将学习后的网络各层参数以及网络本身结构存储到本地磁盘。

步骤S5：对跨摄像机拍摄的行人图像进行特征提取。

在本实施方式中，对于跨摄像机的视频文件或视频流，先利用背景差法进行运动检测，对存在运动的视频帧利用预训练的行人检测器进行行人检测，定位行人位置并截取行人区域图像。将行人图像需要提供提取特征并构建索引，以提高检索时的查询效率。对于经步骤5学习得到的网络，将行人图像缩放至固定大小(如128×64像素)，送入行人特征提取子网络提取特征。经前向计算得到的行人特征，该特征维度一般为数百上千维。

步骤S6：计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别问题。

在本实施方式中，经步骤5可提取跨摄像机的多个行人特征，对跨摄像机的两两行人图像，根据特征相似度函数s(f_i,f_j)＝cos(f_i,f_j)进行相似度计算。若相似度值超过预设数值，如0.9，则判定为同一行人；否则判为不同的行人。若存在多个相似度值大于预设数值，可排序返回，或按照行人图像拍摄的时间先后顺序进行排列返回，实现多个摄像机中同一行人的重识别。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于卷积循环网络的行人重识别方法，其特征在于，包括如下步骤：

步骤1、获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像；

步骤2、构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征；

步骤3、构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数；

步骤4、利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数；

步骤5、对跨摄像机拍摄的行人图像进行特征提取；

步骤6、计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别。

2.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，获取跨摄像机行人图像，构建一个行人重识别训练数据集，所述数据集中包含预设数量的行人图像的步骤具体包括：

步骤1.1、对于拍摄场景无交叠的多个摄像机，若同一行人先后经过摄像机，则会在多个摄像机中出现该行人的画面；

步骤1.2、对一个摄像机拍摄的视频文件或视频流，采用背景差法，如高斯混合模型，检测运动前景；

步骤1.3、对于存在运动前景的视频帧，采用预训练的行人检测器对行人进行检测，精确定位并裁剪行人区域图像作为行人图像；

步骤1.4、在不同摄像机上重复步骤1.2至步骤1.4的过程，提取行人图像；

步骤1.5、将行人图像缩放至固定大小；

步骤1.6、采用人工标注方式将不同摄像机上提取的同一行人标注为同一个类，并赋予一个编号，不同类之间采用不同的编号表示；

步骤1.7、采用上述方法构建训练数据集，当数据集规模包含预设数量的行人图像时，可停止收集数据。

3.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，构造一个行人特征提取的卷积循环网络，所述网络可以提取预设维度的哈希二值向量特征的步骤具体包括：

行人特征提取的卷积循环网络由若干卷积单元、循环单元，以及池化层构成；其中每个卷积单元由一个批量归一化层、一个卷积层和一个非线性激活层构成；循环单元由若干门控单元构成；给定一幅行人图像，经网络计算后转化为一个高维向量作为行人特征。

4.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，构造一个行人重识别孪生网络，并针对成对特征设计一个优化目标函数的步骤具体包括：

复制步骤2中构建的特征提取网络，构造一个结构相同和参数共享的孪生网络，该孪生网络的两个子网络，可分别接受一幅行人图像作为输入，生成两个行人的输出特征；

成对输入的图像特征，定义度量两个特征的相似度函数s(f_i,f_j)＝cos(f_i,f_j)，其中，f_i,f_j分别为行人图像经特征提取网络得到的特征向量，函数cos(·)表示余弦函数；

根据相似度函数，定义如下损失函数L(f_i,f_j)＝cos(f_i,f_j)；

为了防止过拟合，增加一个正则化项，定义为L(W)＝∑_k||W_k||²，其中k表示网络第k层参数；

优化目标函数为损失和正则化项的综合L＝L(f_i,f_j)+λL(W)，其中λ为正则化参数。

5.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，利用所述训练数据集训练孪生网络，获得行人重识别特征提取网络模型参数的步骤具体包括：

求解目标函数关于特征的偏导数

利用网络前向传播求解目标函数相对网络各层参数和输入的偏导数；

对各层参数利用随机梯度下降进行参数更新学习。

6.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，对跨摄像机拍摄的行人图像进行特征提取的步骤具体包括：

对于不同摄像机拍摄的视频文件或视频流数据，先利用背景差法进行运动检测；

对存在运动的视频帧利用预训练的行人检测器进行行人检测，定位行人位置并截取行人区域图像；

将行人图像缩放到固定大小，经步骤4训练的特征提取网络提取特征向量。

7.根据权利要求1所述的基于卷积循环网络的行人重识别方法，其特征在于，计算跨摄像机行人特征相似度，根据相似度大小完成行人跨摄像机重识别问题的步骤具体包括：

提取跨摄像机的多个行人特征后，通过特征相似度函数s(f_i,f_j)＝cos(f_i,f_j)进行度量，若相似度超过预设数值，则判定为同一行人；否则判为不同的行人。