CN109344787A - 一种基于人脸识别与行人重识别的特定目标跟踪方法 - Google Patents

Abstract

基于人脸识别与行人重识别的特定目标跟踪方法，首先训练基于特征融合与三重损失函数的行人重识别神经网络，建立追踪目标人脸库，人脸识别模块提取人脸库的人脸特征向量；然后检测监控画面中的行人，人脸识别模块提取监控画面中行人人脸特征，与人脸库特征向量比对相似度，人脸识别成功则保存由行人重识别模型得到的行人特征至行人库。人脸识别失败则进行行人重识别，比对行人特征与行人特征库的相似度。行人重识别成功则保存相似度高的行人特征至行人库，行人重识别失败则利用上下帧的时空相关性确定行人的身份。最终实现在监控中对特定目标实时、有效的跟踪。

Description

一种基于人脸识别与行人重识别的特定目标跟踪方法

技术领域

本发明涉及多目标跟踪领域，具体涉及监控视角下，对特定行人进行跟踪的方法。

背景技术

随着“平安城市”、“城市治安防控”等重大项目的推动，基于监控视频设备进行的精准定位、目标识别和特定目标跟踪等智能侦查技术，已经成为了新形势下维护国家安全和社会稳定的重要侦查手段。其中，跟踪跨镜监控中特定行人的技术显得尤为重要。

人脸识别与行人重识别是识别特定行人的关键技术。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，人脸识别的优势在于人脸的唯一性和长期有效性，但由于监控视角下的人脸存在遮挡、角度不佳的问题，无法用人脸识别进行长时间跟踪；行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，行人重识别的优势在于受遮挡影响小，但由于行人特征受服装影响较大，服装变换会导致目标的丢失，无法长时间跟踪。

发明内容

本发明要克服现有技术的上述缺点，基于特征融合与三重损失函数的行人重识别神经网络，提出一种基于人脸识别与行人重识别的特定目标跟踪方法，结合行人的时间相关性与空间相关性，在一定程度上解决了特定行人长时间跨镜跟踪的问题，可应用在追踪逃犯、寻找丢失儿童、分析特定目标行为等方面。

本发明解决其技术问题所采用的技术方案是：

一种基于人脸识别与行人重识别的特定目标跟踪方法，含有以下步骤：

步骤1.训练基于特征融合与三重损失函数的行人重识别神经网络：预训练ResNet50网络，改进ResNet50网络，拼接ResNet50中层特征向量和高层特征向量的融合特征作为输出的行人特征向量，并添加hard triplet、softmax和ring三重损失函数来构造行人重识别网络，预处理Market1501数据集，训练行人重识别网络；

步骤2.建立目标人脸库的：拍摄追踪目标的人脸，并以“姓名+序号”的图片名格式保存在本地的步骤；

步骤3.读取多源监控画面：rtsp协议读取监控画面并上传至服务器；

步骤4.检测行人：用训练好的Yolo3神经网络模型检测监控图片中的行人，得到所有行人在监控图片中的坐标，并根据坐标将行人从原始画面中裁剪出来；

步骤5.提取行人特征：加载训练好的行人重识别模型，将裁剪出的行人图片输入到该模型中，输出长度为3072的特征向量作为行人特征；

步骤6.人脸识别：人脸检测模块确定人脸位置，人脸识别模块提取人脸库和待识别行人的人脸特征，计算行人人脸与人脸库的相似度，行人身份匹配为人脸库中相似度最高且相似度大于阈值α的身份；

步骤7.行人重识别：人脸识别失败后，计算当前行人特征与行人特征库的欧式距离，行人身份匹配为行人特征库中欧式距离最短且欧氏距离小于阈值β的身份，并保存欧式距离小于阈值γ的行人特征；

步骤8.基于上下帧时空相关性进行跟踪：人脸识别和行人重识别都失败后，记录上一帧行人位置和行人标签，利用上下帧的时空相关性进行确定当前帧行人身份。

与现有技术相比，本发明技术方案的优点有：

(1)本发明结合人脸识别和行人重识别的优点，人脸识别弥补行人重识别易受服装影响缺点，行人重识别弥补人脸识别人脸易受遮挡影响的缺点，实现长时间跟踪特定目标的目的；

(2)甄选符合条件的行人特征添加至行人特征库，使行人特征库越来越丰富，可识别各个角度的目标行人，不受行人角度和姿势的影响。

附图说明

图1：本发明实施例1的基于特征融合与三重损失函数的行人重识别模型结构图；

图2：本发明实施例1的系统流程图；

图3：基于上下帧时空相关性跟踪方法的示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述。

实施例1：

一种基于人脸识别与行人重识别的特定目标跟踪方法，含有以下步骤：

(1)训练基于特征融合与三重损失函数的行人重识别神经网络；

步骤11：预训练ResNet50网络；

利用ImageNet数据集作为训练数据集，训练1000分类的ResNet50网络，使ResNet50有理想的初始值，理想的初始值使行人重识别网络更容易收敛；

步骤12：改进ResNet50网络；

搭建基于ResNet50的特征融合网络。如图1所示，加载预训练模型参数，除去ResNet50的全连接层，将ResNet50中的res5a、res5b做全局平均池化，拼接得到两张特征图，用全连接层fc-1024作用在这张拼接特征图上得到长度为1024的特征向量，记为mid-level feature；同时，将ResNet50中的res5c也做全局平均池化，池化后展开得到长度为2048的特征向量，记为high-level feature。将mid-level feature和high-level feature拼接得到长度为3072的特征向量，记为final feature。

添加hard triplet损失函数。一种基于训练批量(Batch)的在线难样本采样方法，对于每一个训练批次，随机挑选P个ID的行人，每个行人随机挑选K张不同的图片，即一个batch含有P×K张图片。对于batch中的每一张图片a，挑选一个最难的正样本和一个最难的负样本和a组成一个三元组。定义和a为相同ID的图片集为A，剩下不同ID的图片图片集为B，则hard triplet损失表示为：

本发明中m设定为0.3。hard triplet损失会计算a和batch中的每一张图片在特征空间final feature的欧式距离，然后选出与a距离最远(最不像)的正样本p和距离最近(最像)的负样本n来计算三元组损失，hard triplet损失效果比传统的三元组损失要好；

添加softmax损失函数。softmax在分类问题上有非常好的表现，将每一个行人作为一个类别进行训练，Market1501训练集中共751个人，因此在final feature之后加一层全连接层，得到长度为751的fc-class。softmax loss作用于fc-class上；

添加ring损失函数。一种原用于人脸识别的辅助损失函数，Ring loss将特征final feature限制到缩放后的单位圆上，同时能保持凸性，来得到更稳健的特征。其定义如下：

这里λ取0.005，m为训练批次大小(P*K)，R是可训练参数，初始值为1。

步骤13：预处理Market1501数据集；

每一个训练批次，随机挑选P＝12个ID的行人，每个行人随机挑选K＝4张不同的图片，即一个batch含有P*K＝48张图片。图片随机裁剪成128*256大小，每张图片有概率地进行水平翻转，并归一化图片像素值；

步骤14：训练行人重识别网络：

加载预训练模型参数到本发明中修改过的ResNet50中，使用预处理过的数据集，三重损失值相加为最终损失值，利用Adam算法优化模型，迭代更新神经网络权重，直至模型收敛。最终，该模型在Market1501上取得rank1为92.2％的精度。

(2)建立目标人脸库；

步骤21：每个目标行人保存三张人脸图片，以“姓名+序号”的图片名保存。所有人保存在同一个文件夹下，一个人的库图片越多，检索起来越容易；

步骤22：在该文件夹下建立一个文本文件，文件内容为图片名和对应的人名，如：张三01.jpg张三。

(3)读取多源监控画面；

步骤31：开启多个子线程，每个线程对应一个监控设备，设备个数可增减；

步骤32：通过rtsp协议读取每个监控的每帧画面，传到服务器进行以下处理。

(4)行人检测；

步骤41：加载Yolo3模型，加载一次即可；

步骤42：将整帧图片送入Yolo3，得到行人的坐标位置，根据坐标从原始画面中裁剪出每个行人，逐个行人进行以下步骤。

(5)提取行人特征；

步骤51：加载训练好的的行人重识别模型，加载一次即可；

步骤52：将行人图片送入行人重识别模型，一个行人得到一行长度为3072的特征向量,即图1中的final feature，该特征向量作为行人特征，在以下步骤中使用。

(6)人脸识别；

步骤61：调用face-recognition库的人脸识别模块提取人脸库的人脸特征向量，人脸库特征提取一次即可；

步骤62：调用face-recognition的人脸检测模块检测人脸，检测监控中行人面部是否可见，若面部检测成功，则继续以下步骤，否则，跳转至步骤(7)进行行人重识别。提取监控中行人的人脸特征向量A，分别求A与行人库中所有人脸相似度。假设人脸库中有特征向量记为B，其相似度计算公式为：

其中，dist为A与B的欧式距离；

步骤63：取其中相似度最高的值S；

步骤64：若S大于等于阈值α，本发明中α取0.77，则认为S对应的人脸与该行人匹配。即人脸识别成功，与此同时，保存该行人的行人特征和标签到行人特征库中，如图2所示，行人特征由步骤(5)得到。人脸识别成功则跳过步骤(7)和步骤(8)；

步骤65：若S小于阈值α，与该行人最相似的人脸相似度达不到阈值，即人脸识别失败，进入步骤(7)进行行人重识别；

步骤66：由于人脸遮挡严重，或者行人背对监控，无法检测到人脸而导致的人脸识别失败，进入步骤(7)进行行人重识别。

(7)行人重识别；

步骤71：当人脸识别失败时，利用行人特征进行识别。将第五步得到的行人特征记为R，分别求R与行人特征库中每一个行人的欧式距离，欧式距离越小，相似度越高；

步骤72：取R与行人库中最短的欧氏距离，记为x，设置行人重识别阈值β＝115，保存至行人库的阈值γ＝60；

步骤73：若x<β，则该行人与最小欧式距离对应的标签相匹配，行人重识别成功，进入步骤4；否则，跳过步骤74进入步骤(8)；

步骤74：若x<γ，表示该行人特征与行人库中某一特征非常相似，即该行人属于目标行人的概率非常大，如图2所示，保存该行人特征至行人特征库。跳过步骤(8)。

(8)基于上下帧时空相关性进行跟踪；

步骤81：记录上一帧每个行人的位置坐标和身份标签(没有身份标签的记为‘None’)；

步骤82：假设人脸识别和行人重识别不能识别某一行人，将该行人记为W；

步骤83：如图3所示，计算行人W的位置框与上一帧每个行人位置框的重合度，重合度越高的，表示属于同一人的可能性越大。因此，认定行人W与上一帧中位置重合度最高的行人相匹配。

实施例2：

(1)选取实验数据；

考虑到多源视频监控视角下行人外观的差异性，选取行人重识别中常用的Market1501数据集作为训练数据，Market1501具体信息如表1所示。

表1 Market1501

其中，训练集中的行人不会在Gallery和Query中出现。Gallery和Query在测试中被使用，Query图片为待识别的行人图片，Gallery是查询库，Gallery中部分图片与Query图片属于相同行人，其余部分是为检验模型是否过拟合的非行人图片，即“垃圾”图片。

(2)模型选取；

由于行人重识别数据集采集困难，数据量普遍较小，没有百万级的数据集。小数据集在过深的网络中不能取得很好的效果，Resnet在图像识别的各个领域取得不错的性能，因此本发明选用Resnet50作为行人重识别的基础网络，而后对Resnet50进行改进，拼接ResNet50中层特征向量和高层特征向量的融合特征作为输出的行人特征向量，并添加hardtriplet、softmax和ring三重损失函数来构造行人重识别网络。

(3)实验结果；

实验结果用Cumulative Matching Characteristics(CMC)方法来度量。将Market1501数据集的Gallery所有图片输入到本发明的行人重识别网络中，提取finalfeature作为每张图片的特征向量。同样的方法提取Query待识别图片的特征向量，对于Query中的一张图片，分别计算该图片的特征向量与Gallery所有特征向量的欧氏距离，认定欧式距离最短的为匹配图片，根据Query标签验证是否匹配正确，以此得到CMC的各个指标。实验结果如表2所示：

表2实验结果

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于人脸识别与行人重识别的特定目标跟踪方法，含有以下步骤：

(1)训练基于特征融合与三重损失函数的行人重识别神经网络；

步骤11：预训练ResNet50网络；

利用ImageNet数据集作为训练数据集，训练1000分类的ResNet50网络，使ResNet50有理想的初始值，理想的初始值使行人重识别网络更容易收敛；

步骤12：改进ResNet50网络；

搭建基于ResNet50的特征融合网络；加载预训练模型参数，除去ResNet50的全连接层，将ResNet50中的res5a、res5b做全局平均池化，拼接得到两张特征图，用全连接层fc-1024作用在这张拼接特征图上得到长度为1024的特征向量，记为mid-level feature；同时，将ResNet50中的res5c也做全局平均池化，池化后展开得到长度为2048的特征向量，记为high-level feature；将mid-level feature和high-level feature拼接得到长度为3072的特征向量，记为final feature；

添加hard triplet损失函数；一种基于训练批量(Batch)的在线难样本采样方法，对于每一个训练批次，随机挑选P个ID的行人，每个行人随机挑选K张不同的图片，即一个batch含有P×K张图片；对于batch中的每一张图片a，挑选一个最难的正样本和一个最难的负样本和a组成一个三元组；定义和a为相同ID的图片集为A，剩下不同ID的图片图片集为B，则hard triplet损失表示为：

m设定为0.3；hard triplet损失会计算a和batch中的每一张图片在特征空间finalfeature的欧式距离，然后选出与a距离最远即最不像的正样本p和距离最近即最像的负样本n来计算三元组损失，hard triplet损失效果比传统的三元组损失要好；

添加softmax损失函数；softmax在分类问题上有非常好的表现，将每一个行人作为一个类别进行训练，Market1501训练集中共751个人，因此在final feature之后加一层全连接层，得到长度为751的fc-class；softmax loss作用于fc-class上；

添加ring损失函数；一种原用于人脸识别的辅助损失函数，Ring loss将特征finalfeature限制到缩放后的单位圆上，同时能保持凸性，来得到更稳健的特征；其定义如下：

这里λ取0.005，m为训练批次大小，即P*K，R是可训练参数，初始值为1；

步骤13：预处理Market1501数据集；

每一个训练批次，随机挑选P＝12个ID的行人，每个行人随机挑选K＝4张不同的图片，即一个batch含有P*K＝48张图片；图片随机裁剪成128*256大小，每张图片有概率地进行水平翻转，并归一化图片像素值；

步骤14：训练行人重识别网络：

加载预训练模型参数到本发明中修改过的ResNet50中，使用预处理过的数据集，三重损失值相加为最终损失值，利用Adam算法优化模型，迭代更新神经网络权重，直至模型收敛；最终，该模型在Market1501上取得rank1为92.2％的精度；

(2)建立目标人脸库；

步骤21：每个目标行人保存三张人脸图片，以“姓名+序号”的图片名保存；所有人保存在同一个文件夹下，一个人的库图片越多，检索起来越容易；

步骤22：在该文件夹下建立一个文本文件，文件内容为图片名和对应的人名；

(3)读取多源监控画面；

步骤31：开启多个子线程，每个线程对应一个监控设备，设备个数可增减；

步骤32：通过rtsp协议读取每个监控的每帧画面，传到服务器进行以下处理；

(4)行人检测；

步骤41：加载Yolo3模型，加载一次即可；

步骤42：将整帧图片送入Yolo3，得到行人的坐标位置，根据坐标从原始画面中裁剪出每个行人，逐个行人进行以下步骤；

(5)提取行人特征；

步骤51：加载训练好的的行人重识别模型，加载一次即可；

步骤52：将行人图片送入行人重识别模型，一个行人得到一行长度为3072的特征向量,即图1中的final feature，该特征向量作为行人特征，在以下步骤中使用；

(6)人脸识别；

步骤61：调用face-recognition库的人脸识别模块提取人脸库的人脸特征向量，人脸库特征提取一次即可；

步骤62：调用face-recognition的人脸检测模块检测人脸，检测监控中行人面部是否可见，若面部检测成功，则继续以下步骤，否则，跳转至步骤(7)进行行人重识别；提取监控中行人的人脸特征向量A，分别求A与行人库中所有人脸相似度；假设人脸库中有特征向量记为B，其相似度计算公式为：

其中，dist为A与B的欧式距离；

步骤63：取其中相似度最高的值S；

步骤64：若S大于等于阈值α，本发明中α取0.77，则认为S对应的人脸与该行人匹配；即人脸识别成功，与此同时，保存该行人的行人特征和标签到行人特征库中，行人特征由步骤(5)得到；人脸识别成功则跳过步骤(7)和步骤(8)；

步骤65：若S小于阈值α，与该行人最相似的人脸相似度达不到阈值，即人脸识别失败，进入步骤(7)进行行人重识别；

步骤66：由于人脸遮挡严重，或者行人背对监控，无法检测到人脸而导致的人脸识别失败，进入步骤(7)进行行人重识别；

(7)行人重识别；

步骤71：当人脸识别失败时，利用行人特征进行识别；将第五步得到的行人特征记为R，分别求R与行人特征库中每一个行人的欧式距离，欧式距离越小，相似度越高；

步骤72：取R与行人库中最短的欧氏距离，记为x，设置行人重识别阈值β＝115，保存至行人库的阈值γ＝60；

步骤73：若x<β，则该行人与最小欧式距离对应的标签相匹配，行人重识别成功，进入步骤4；否则，跳过步骤74进入步骤(8)；

步骤74：若x<γ，表示该行人特征与行人库中某一特征非常相似，即该行人属于目标行人的概率非常大，保存该行人特征至行人特征库，跳过步骤(8)；

(8)基于上下帧时空相关性进行跟踪；

步骤81：记录上一帧每个行人的位置坐标和身份标签，没有身份标签的记为‘None’；

步骤82：假设人脸识别和行人重识别不能识别某一行人，将该行人记为W；

步骤83：计算行人W的位置框与上一帧每个行人位置框的重合度，重合度越高的，表示属于同一人的可能性越大；因此，认定行人W与上一帧中位置重合度最高的行人相匹配。