CN114783037B - 目标重识别方法、目标重识别装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种目标重识别方法、目标重识别装置和计算机可读存储介质，该方法包括：对待检测视频进行处理，得到针对抓拍目标的抓拍图像集；响应于抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像，对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征；对多个姿态的头肩特征进行融合得到多姿态头肩特征，对多个姿态的人体特征进行融合得到多姿态人体特征；基于人脸特征、多姿态人体特征以及多姿态头肩特征，生成重识别结果，重识别结果包括抓拍目标是否是历史抓拍目标。通过上述方式，本申请能够提升去重准确率。

Description

目标重识别方法、目标重识别装置和计算机可读存储介质

技术领域

本申请涉及视频分析技术领域，具体涉及一种目标重识别方法、目标重识别装置和计算机可读存储介质。

背景技术

智慧警务、智慧零售、智慧地产或智慧景区等应用领域存在人员身份识别的需求，人员身份识别不仅可用于人员身份落地，也可用于精准统计客流量。在实际应用中，某些应用场景不需要明确人员身份，而是通过重识别（ReID，re-identification）判别是否出现重复人员，为行业应用提供更加精准的统计数据，但重识别方案的准确率不高，导致后续处理的效果不佳。

发明内容

本申请提供一种目标重识别方法、目标重识别装置和计算机可读存储介质，能够提升去重准确率。

为解决上述技术问题，本申请采用的技术方案是：提供一种目标重识别方法，该方法包括：对待检测视频进行处理，得到针对抓拍目标的抓拍图像集；响应于抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像，对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征；对多个姿态的头肩特征进行融合得到多姿态头肩特征，对多个姿态的人体特征进行融合得到多姿态人体特征；基于人脸特征、多姿态人体特征以及多姿态头肩特征，生成重识别结果，重识别结果包括抓拍目标是否是历史抓拍目标。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种目标重识别装置，该目标重识别装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的目标重识别方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的目标重识别方法。

通过上述方案，本申请的有益效果是：先对实时获取到的待检测视频进行处理，得到抓拍目标的抓拍图像集；如果抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像，则对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对每个第二图像包含的人体进行处理得到头肩特征和人体特征；对所有姿态的头肩特征进行融合得到多姿态头肩特征，对所有姿态的人体特征进行融合得到多姿态人体特征；基于人脸特征、多姿态人体特征以及多姿态头肩特征，生成抓拍目标是否是历史抓拍目标的重识别结果；本方案实时提取抓拍目标在不同姿态下的人体特征、头肩特征并进行融合，并与人脸特征进行结合，判定抓拍目标是否为重复的目标，由于特征的种类更为丰富，在进行特征对比时可以参考的特征更多，能够改善使用单一特征进行对比导致的错误率较高，有效提升去重准确率；而且，由于对不同姿态下的特征进行了融合，对人脸被遮挡或人体未正对摄像设备等状况有较好的鲁棒性，大幅提高了方案的使用范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的目标重识别方法一实施例的流程示意图；

图2是本申请提供的目标重识别方法另一实施例的流程示意图；

图3是本申请提供的目标重识别装置一实施例的结构示意图；

图4是本申请提供的目标重识别装置另一实施例的结构示意图；

图5是图4所示的实施例中目标抓拍模型的结构示意图；

图6是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

先对本申请涉及的技术用语进行说明。

目标检测：基于预先训练的模型，对输入图像中出现的目标进行定位。

图像重识别：提取人体图像或人体部件图像（人体某一部分所在的图像）的特征向量，通过余弦距离等相似性度量方式计算不同人员的特征向量的相似度，从而判别人员是否相同。

相关技术中通过人脸特征相似性比对来判别人员是否相同，达到人员去重的目的，但由于安装部署与实际场景的复杂性，高质量人脸出现的概率较低，在人员与摄像设备的距离较远、人员背对摄像设备（即人员的姿态为背向姿态）、人员侧对摄像设备（即人员的姿态为侧向姿态）或人员的面部被遮挡时，效果较差，单纯依赖人脸特征进行人员去重和人员识别存在较大局限性，因此如何高效运用人员的人体特征信息来有效识别人员身份并进行去重至关重要。基于此，本申请提供了一种新的方案，结合人脸特征、人体特征以及头肩特征，来实现重识别，能够提升重识别的准确率，且实时性较好，下面进行具体描述。

请参阅图1，图1是本申请提供的目标重识别方法一实施例的流程示意图，本实施例的执行主体为目标重识别装置，该目标重识别装置可以为摄像设备或计算机等具有处理能力的设备，该方法包括：

S11：对待检测视频进行处理，得到针对抓拍目标的抓拍图像集。

可从数据库中获取待检测视频，待检测视频中包含抓拍目标，该抓拍目标可以为人；或者，采用摄像设备对目标场景（比如：商场、景区或车站）进行实时拍摄，得到实时的待检测视频；或者，接收前端设备实时发送的待检测视频。

在获取到待检测视频后，采用相关技术中的视频处理方案对待检测视频进行处理（比如：检测、跟踪或识别），得到与抓拍目标相关的抓拍图像集。具体地，抓拍目标与抓拍图像集一一对应，抓拍图像集包括抓拍目标的多个姿态对应的第二图像，第二图像包含人体，姿态包括正向姿态、侧向姿态或背向姿态。或者，抓拍图像集包括第一图像与抓拍目标的多个姿态对应的第二图像，第一图像包含人脸，第一图像与所有第二图像均不同，或者，第一图像可以为多个姿态对应的第二图像中的其中一张的一部分，比如，第二图像记作I1～I4，第一图像可以为第二图像I2中人员的脸部所在的图像。

S12：响应于抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像，对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征。

在获取到抓拍图像集后，判断该抓拍图像集中是否同时存在第一图像与第二图像；如果抓拍图像集中同时存在第一图像与第二图像，则采用相关技术常用的人脸特征提取方案对第一图像中人脸所在的图像进行处理，得到抓拍目标的人脸特征；而且，采用相关技术常用的人体特征提取方案对第二图像中人体所在的图像进行处理，得到抓拍目标的人体特征。

在一具体的实施例中，第二图像包括人体图像与头肩图像，头肩图像为人体图像的一部分，采用对人体图像进行特征提取处理，得到人体特征；对头肩图像进行特征提取处理，得到头肩特征。

S13：对多个姿态的头肩特征进行融合得到多姿态头肩特征，对多个姿态的人体特征进行融合得到多姿态人体特征。

在人群密集或有背景物体遮挡的情况下，人体可能被遮挡导致人体不完整，对后续特征比对造成影响；为了解决该问题，在获取到不同姿态的头肩特征后，采用相关技术中的特征融合方法对这些头肩特征进行融合处理，得到多姿态头肩特征；例如：对所有姿态的头肩特征进行平均，得到多姿态头肩特征，使得头肩受遮挡的概率更低，特征更加稳定。

为了融合人体不同角度、姿态下的特征差异，使得特征描述子更加鲁棒；在获取到不同姿态的人体特征后，采用相关技术中的特征融合方法对这些人体特征进行融合处理，得到多姿态人体特征；例如：对所有姿态的人体特征进行平均，得到多姿态人体特征。

可以理解地，除了使用头肩特征之外，还可使用人体的其他部件的特征，比如：手部特征或脚部特征。在抓拍图像集中仅含有某些姿态的第二图像时，仅对这些第二图像对应的人体特征进行融合，对这些第二图像对应的人肩特征进行融合。例如，以姿态为正向姿态、侧向姿态或背向姿态为例，先获取相同的抓拍目标的正面、侧面以及背面的全身图像（即第二图像），记作正面全身图像、侧面全身图像以及背面全身图像；然后提取正面全身图像、侧面全身图像以及背面全身图像的人体特征，并对其求均值，得到多姿态人体特征；当抓拍目标全程只出现正面、侧面以及背面中的一部分时，则仅对存在的第二图像的人体特征求均值。

S14：基于人脸特征、多姿态人体特征以及多姿态头肩特征，生成重识别结果。

在获取到抓拍目标的相关特征（包括人脸特征、多姿态人体特征以及多姿态头肩特征）后，通过将相关特征与预先建立的目标数据库中的特征进行比对，可以判断抓拍目标是否与目标数据库中的历史抓拍目标相同，得到重识别结果，该重识别结果包括抓拍目标是否是历史抓拍目标。可以理解地，当目标数据库为空时，由于没有对比对象，抓拍目标是新的目标，将其对应的相关特征存储至目标数据库中，以便后续使用。

进一步地，可设定特征比较的阈值，比如：第一相似度、第二相似度以及第三相似度，判断抓拍目标的人脸特征与历史抓拍目标的人脸特征的相似度是否大于第一相似度，若是，则确定二者相同；和/或，判断抓拍目标的人体特征与历史抓拍目标的人体特征的相似度是否大于第二相似度，若是，则确定二者相同；和/或，判断抓拍目标的头肩特征与历史抓拍目标的头肩特征的相似度是否大于第三相似度，若是，则确定二者相同。或者，还可设置特征比较的优先级，比如：将人脸特征的优先级设置为第一优先级，将多姿态人体特征的优先级设置为第二优先级，将多姿态头肩特征的优先级设置为第三优先级，第一优先级高于第二优先级，第二优先级高于第三优先级，即在特征比对时，先对比抓拍目标的人脸特征与历史抓拍目标的人脸特征的相似度（记作人脸相似度），如果人脸相似度不符合要求，则对比抓拍目标的多姿态人体特征与历史抓拍目标的多姿态人体特征（人体相似度）；如果人体相似度不符合要求，则对比抓拍目标的多姿态头肩特征与历史抓拍目标的多姿态头肩特征的相似度（记作头肩相似度）；如果头肩相似度不符合要求，则证明抓拍目标为新的目标。

在其他实施例中，响应于抓拍图像集中不存在第一图像但存在抓拍目标的多个姿态对应的第二图像，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征；基于多姿态人体特征与多姿态头肩特征，生成重识别结果。

进一步地，可以采用相关技术中的属性识别方案对第二图像中的抓拍目标进行属性识别处理，得到属性特征，属性特征用于表示抓拍目标的属性信息，该属性信息包括衣服颜色、年龄、是否戴帽子、是否戴眼镜或墨镜、头发颜色、衣服纹理或性别，衣服颜色包括上衣颜色或下衣颜色；然后，基于多姿态人体特征、多姿态头肩特征以及属性特征，生成重识别结果。

本实施例提供了一种实时人员去重判别方法，对待检测视频中同一抓拍目标在多个姿态下的第二图像进行特征提取，得到多个人体特征与多个头肩特征；分别对多个人体特征与多个头肩特征进行多特征融合，得到多姿态人体特征与多姿态头肩特征；然后利用人脸特征、多姿态人体特征以及多姿态头肩特征，进行实时的人员去重判别；由于充分利用了人脸特征、人体特征以及头肩特征等人体部件特征，能够在不增加缓存的同时提取更加鲁棒的特征，有效提升去重准确率，且对人脸被遮挡、背向人体（即人体背对摄像设备）以及侧向人体（即人体侧对摄像设备）有较好的鲁棒性，且人员的去重召回率和有效性更优，适用范围更广。

请参阅图2，图2是本申请提供的目标重识别方法另一实施例的流程示意图，该方法包括：

S201：对待检测图像进行目标检测处理，得到检测结果。

待检测视频包括待检测图像，采用相关技术中的目标检测方案对待检测图像进行检测，得到检测结果。具体地，检测结果包括抓拍目标的人脸位置信息与人体位置信息，人脸位置信息为人脸所在的位置，人脸位置信息包括为人脸所在的检测框（记作人脸检测框）的左上角的坐标以及人脸检测框的右下角的坐标；人体位置信息为人体所在的位置，人体位置信息包括为人体所在的检测框（记作人体检测框）的左上角的坐标以及人体检测框右下角的坐标。

S202：基于检测结果，对抓拍目标进行跟踪处理，得到跟踪结果。

在获取到抓拍目标的检测结果后，采用相关技术中的目标跟踪方案对检测结果进行跟踪处理，得到每个抓拍目标的跟踪结果，该跟踪结果包括抓拍目标的相关信息，相关信息包括抓拍目标所在的待检测图像、抓拍目标的人脸位置信息与人体位置信息。

S203：获取与跟踪结果中抓拍目标的人脸位置信息对应的图像，得到第一待评估图像，获取与跟踪结果中抓拍目标的人体位置信息对应的图像，得到第二待评估图像。

在获取到抓拍目标的跟踪结果后，从该跟踪结果中的所有待检测图像中抠出与人脸位置信息对应的图像（记作第一待评估图像）以及与人体位置信息对应的图像（记作第二待评估图像），以便利用第一待评估图像与第二待评估图像生成抓拍图像集。例如，假设待检测图像的尺寸为64×64，人脸位置信息为{(5,15),(10,20)}，则将待检测图像中第5～10行、第15～20列的图像作为第一待评估图像。

S204：基于第一待评估图像与第二待评估图像，生成抓拍图像集。

在获取到第一待评估图像或第二待评估图像后，可以采用如下方案来生成抓拍图像集：

A1）对第一待评估图像进行质量评估处理，得到人脸质量评分；基于人脸质量评分，从所有第一待评估图像中筛选出第一图像。

从所有第一待评估图像中选出人脸质量评分最高的第一待评估图像，得到第一图像。具体地，可以根据人脸清晰度以及人脸遮挡情况，来确定人脸质量评分，比如：为人脸遮挡情况设置遮挡评分值，对人脸清晰度与遮挡评分值进行加权求和，得到人脸质量评分；可以理解地，还可采用相关技术中的方案来确定人脸质量评分，在此不做限定。

A2）对第二待评估图像进行质量评估处理，得到人体质量评分；基于人体质量评分，从所有第二待评估图像中筛选出人体图像。

第二图像包括人体图像与头肩图像，可以采用相关技术中的人体质量评价方案对第二待评估图像中的人体进行打分，得到人体质量评分。采用相关技术中的姿态识别方案对第二待评估图像进行姿态识别处理，从而获取第二待评估图像中抓拍目标的姿态；分别从每种姿态对应的所有第二待评估图像中选出人体质量评分最高的第二待评估图像，得到相应姿态的人体图像。

例如，假设正向姿态的人体对应的第二待评估图像记作I11～I14，背向姿态的人体对应的第二待评估图像记作I21～I26，则将第二待评估图像I11～I14中人体质量评分最高的第二待评估图像作为正向姿态对应的第二图像，将第二待评估图像I21～I26中人体质量评分最高的第二待评估图像作为背向姿态对应的第二图像。

A3）基于人体图像，生成头肩图像。

从人体图像中截取出抓拍目标的头、肩所在的图像，得到头肩图像。

在一实施方式中，可以为抓拍目标设置身份标识号（Identity document，ID），针对同一个抓拍目标，对该抓拍目标的所有人体位置信息、人脸位置信息及对应的ID进行队列缓存，缓存人脸质量评分最高的第一待评估图像（即第一图像），并缓存人体在三种姿态（即正向姿态、侧向姿态以及背向姿态）下的人体质量评分最高的图像（即第二图像）。同时，维护每一个抓拍目标的历史帧轨迹，该历史帧轨迹包括抓拍目标在历史帧图像中的人体位置信息，历史帧图像为待检测视频中当前的待检测图像之前的图像。

S205：对第二图像中的抓拍目标进行属性识别处理，得到属性特征。

采用相关技术中的属性识别方法对第二图像中的抓拍目标进行处理，得到属性特征。具体地，如果抓拍图像集中存在一张第二图像，则对该第二图像进行属性识别处理；如果抓拍图像集中存在至少两张第二图像，则对每张第二图像进行属性识别处理，得到相应的属性特征，然后采用投票机制对属性特征进行投票，得到最终的属性特征；或者，如果抓拍图像集中存在至少两张第二图像，则计算抓拍图像集中所有第二图像的人体质量评分的最高值，将最高值对应的属性特征作为最终的属性特征。

进一步地，还可对抓拍目标的上衣颜色、下衣颜色、年龄、性别以及衣服纹理等信息进行结构化描述，输出抓拍目标的结构化属性标签及相应的置信度。例如，结构化属性标签为{白色上衣，黑色下衣，20，女}，对应的置信度分别为0.86、0.75、0.92以及0.95。

S206：响应于抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像，对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征。

第一图像为所有第一待评估图像中人脸质量评分最高的第一待评估图像，通过提取人脸质量评分最高的第一待评估图像的特征向量，便可得到人脸特征。可以理解地，S206与上述实施例中S12相同，在此不再赘述。

S207：对多个姿态的头肩特征进行融合得到多姿态头肩特征，对多个姿态的人体特征进行融合得到多姿态人体特征。

S207与上述实施例中S13相同，在此不再赘述。

本实施例实时提取抓拍目标在正向姿态、侧向姿态以及背向姿态等多种姿态的人体特征并进行融合，能够获得更加鲁棒的多姿态人体特征和动态信息，克服了单姿态人体信息的单一性问题，丰富了人体特征信息。

S208：基于人脸特征、多姿态人体特征、多姿态头肩特征以及属性特征，生成重识别结果。

重识别结果包括抓拍目标是否是历史抓拍目标，可以采用如下方案来生成重识别结果：

1）获取抓拍目标的人脸质量评分以及人脸完整度。

人脸完整度可通过相关技术中的方法得到；比如：可通过判断人脸是否被遮挡来确定人脸完整度，如果人脸被遮挡，则人脸完整度为0；如果人脸未被遮挡，则人脸完整度为1。可以理解地，还可通过其他方案来确定人脸完整度，比如：计算人脸被遮挡的比例或面积。

2）判断人脸质量评分是否大于第一预设评分阈值，以及判断人脸完整度是否大于第一预设完整度阈值。

第一预设评分阈值与第一预设完整度阈值可以根据经验或应用需求设置，在此不对其进行限定。

3）响应于人脸质量评分大于第一预设评分阈值且人脸完整度大于第一预设完整度阈值，计算抓拍目标的人脸特征与历史抓拍目标的人脸特征之间的相似度，得到人脸相似度；若人脸相似度大于第一预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；若人脸相似度小于或等于第一预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标。

4）响应于人脸质量评分小于或等于第一预设评分阈值，或人脸完整度小于或等于第一预设完整度阈值，获取抓拍目标的人体质量评分以及人体完整度。

5）判断人体质量评分是否大于第二预设评分阈值，以及判断人体完整度是否大于第二预设完整度阈值。

6）响应于人体质量评分大于第二预设评分阈值且人体完整度大于第二预设完整度阈值，基于多姿态人体特征与属性特征，生成重识别结果。

如果人体质量评分大于第二预设评分阈值且人体完整度大于第二预设完整度阈值，则采用如下方案来生成重识别结果：

计算抓拍目标的多姿态人体特征与历史抓拍目标的多姿态人体特征之间的相似度，得到人体相似度；计算抓拍目标的属性特征与历史抓拍目标的属性特征之间的相似度，得到属性相似度。

判断人体相似度是否大于第二预设相似度，以及判断属性相似度是否大于第三预设相似度；如果人体相似度大于第二预设相似度且属性相似度大于第三预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；如果人体相似度小于或等于第二预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标；如果属性相似度小于或等于第三预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标。

7）响应于人体质量评分小于或等于第二预设评分阈值，或人体完整度小于或等于第二预设完整度阈值，计算抓拍目标的多姿态头肩特征与目标数据库中历史抓拍目标的多姿态头肩特征之间的相似度，得到头肩相似度；判断头肩相似度是否大于第四预设相似度；若头肩相似度大于第四预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；若头肩相似度小于或等于第四预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标。

本实施例根据人脸质量评分、人脸完整度、人体质量评分以及人体完整度等质量维度来确定各种特征的有效性，将低质量的人脸特征和低质量的人体特征过滤，提高了特征比对效果，有助于降低误匹配，提高去重准确率。而且，对多种姿态的头肩特征进行融合与比对，能够解决遮挡或不完整人体的特征的有效性问题，适用性更强。

S209：响应于重识别结果为抓拍目标不是历史抓拍目标，将抓拍目标的人脸特征、多姿态人体特征以及多姿态头肩特征存储至目标数据库中。

每个抓拍目标的相关信息还可包括人脸特征、人脸质量评分、人体质量评分、多姿态人体特征、多姿态头肩特征以及属性特征。根据去重策略，如果输入的抓拍目标与所有历史抓拍目标均不同，则表明抓拍目标需要被判别为非重复人员，将该抓拍目标的相关信息加入目标数据库。

S210：响应于重识别结果为抓拍目标是历史抓拍目标，基于抓拍目标的人脸特征、多姿态头肩特征以及多姿态人体特征，对目标数据库进行更新。

如果抓拍目标与某个历史抓拍目标相同，则表明该抓拍目标是重复的目标，此时可采用如下方案来更新目标数据库：

B1）判断抓拍目标的人脸质量评分是否大于历史抓拍目标的人脸质量评分。

B2）若抓拍目标的人脸质量评分大于历史抓拍目标的人脸质量评分，则将历史抓拍目标的人脸质量评分更新为抓拍目标的人脸质量评分，将历史抓拍目标的人脸特征更新为抓拍目标的人脸特征。如果抓拍目标的人脸质量评分小于或等于历史抓拍目标的人脸质量评分，则不更新目标数据库中相应的人脸特征以及人脸质量评分。

B3）判断抓拍目标的人体质量评分是否大于历史抓拍目标的人体质量评分；若抓拍目标的人体质量评分大于历史抓拍目标的人体质量评分，则将历史抓拍目标的人体质量评分更新为抓拍目标的人体质量评分，将历史抓拍目标的多姿态人体特征更新为抓拍目标的多姿态人体特征，将历史抓拍目标的多姿态头肩特征更新为抓拍目标的多姿态头肩特征，将历史抓拍目标的属性特征更新为抓拍目标的属性特征。如果抓拍目标的人体质量评分小于或等于历史抓拍目标的人体质量评分，则不更新目标数据库中相应的多姿态人体特征、人体质量评分以及多姿态头肩特征。

上述方案按照抓拍目标的质量评分（包括人脸质量评分与人体质量评分）对目标数据库进行维护，对于判别为重复的目标，通过将抓拍目标的质量评分与目标数据库中的相应评分进行比较，能够保证将质量更优的人脸特征、人体特征更新到目标数据库中，使得目标数据库中特征的质量持续提高，保证后续目标的比对效果，且随着时间的不断推移，系统鲁棒性不断提升。

本实施例充分利用人脸人体关联关系、人脸特征、人体特征、头肩特征等人体部件特征，且将人体穿戴及其他结构化属性特征作为相似性评判维度，多种特征能够互相补充，实现实时的人员去重判别，大幅提高了方案的使用范围，对人脸遮挡、背向人体、侧向人体以及不完整人体均有较好的鲁棒性，人员的去重召回率和有效性更优。

请参阅图3，图3是本申请提供的目标重识别装置一实施例的结构示意图，目标重识别装置30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的目标重识别方法。

请参阅图4，图4是本申请提供的目标重识别装置另一实施例的结构示意图，目标重识别装置40包括目标抓拍模块41、特征提取模块42以及去重模块43。

目标抓拍模块41用于对待检测视频进行处理，得到针对抓拍目标的抓拍图像集；具体地，可以将前端设备（图中未示出）采集到的图像按照8fps～25fps的帧率送入目标抓拍模块41，以使得目标抓拍模块41提取并抓拍图像中出现的人体以及人脸。

在一具体的实施例中，如图5所示，目标抓拍模块41包括目标检测模块411、目标跟踪模块412以及处理模块413。

目标检测模块411用于对待检测视频中的每帧待检测图像进行检测，得到检测结果，该检测结果包括抓拍目标的人脸、人体或人体的头肩。

目标跟踪模块412与目标检测模块411连接，其用于基于检测结果，对抓拍目标进行跟踪处理，得到跟踪结果；具体地，将每个抓拍目标的前后帧图像进行时空关联，对抓拍目标的人脸、人体、头肩进行关联跟踪并生成唯一ID。

处理模块413与目标跟踪模块412连接，其用于获取与跟踪结果中抓拍目标的人脸位置信息对应的图像，得到第一待评估图像；获取与跟踪结果中抓拍目标的人体位置信息对应的图像，得到第二待评估图像；基于第一待评估图像与第二待评估图像，生成抓拍图像集。

进一步地，处理模块413包括人脸质量评分模块4131、人体质量评分模块4132以及抓拍模块4133。

人脸质量评分模块4131与目标跟踪模块412连接，其用于对第一待评估图像进行质量评估处理，得到人脸质量评分。具体地，人脸质量评分模块4131对目标跟踪模块412输出的数据中人脸所在的图像进行处理，输出人脸质量评分以及人脸是否被遮挡的信息。

人体质量评分模块4132与目标跟踪模块412连接，其用于对第二待评估图像进行质量评估处理，得到人体质量评分。具体地，人体质量评分模块4132对目标跟踪模块412输出的数据中人体所在的图像进行处理，输出人体质量评分、人体是否完整及人体的朝向信息，朝向信息用于表示人体处于正向姿态、侧向姿态还是背向姿态。

抓拍模块4133与人脸质量评分模块4131以及人体质量评分模块4132连接，其用于基于人体质量评分模块4132与人脸质量评分模块4131的输出，生成第一图像与第二图像。具体地，第一图像可以为多个姿态对应的第二图像中的其中一张的一部分，或者第一图像不属于任何一张第二图像的一部分；抓拍模块4133用于基于人脸质量评分，从所有第一待评估图像中筛选出第一图像；基于人体质量评分，从所有第二待评估图像中筛选出人体图像；基于人体图像，生成头肩图像。

进一步地，抓拍模块4133用于从所有第一待评估图像中选出人脸质量评分最高的第一待评估图像，得到第一图像。获取第二待评估图像中抓拍目标的姿态；分别从每种姿态对应的所有第二待评估图像中选出人体质量评分最高的第二待评估图像，得到相应姿态的人体图像；从人体图像中截取出抓拍目标的头、肩所在的图像，得到头肩图像。

通过设置抓拍模块4133能够在抓拍目标消失或者抓拍目标的轨迹触发拌线等时，获取抓拍目标的生命周期中质量评分最高的图像，获取人体处于正向姿态、侧向姿态、背向姿态等多种姿态时，最高的人体质量评分对应的完整的人体图像及对应的头肩图像，以便后续特征提取时使用；其中，生命周期为抓拍目标第一次出现在目标场景到抓拍目标从目标场景中消失对应的时间段。

特征提取模块42与目标抓拍模块41连接，其用于在抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像时，对第一图像中包含的人脸进行处理得到抓拍目标的人脸特征，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征；对多个姿态的头肩特征进行融合得到多姿态头肩特征，对多个姿态的人体特征进行融合得到多姿态人体特征。特征提取模块42还用于在抓拍图像集中不存在第一图像但存在抓拍目标的多个姿态对应的第二图像时，对多个姿态对应的第二图像包含的人体进行处理得到多个姿态的头肩特征和多个姿态的人体特征。

进一步地，特征提取模块42还用于对第二图像中的抓拍目标进行属性识别处理，得到属性特征；属性特征用于表示抓拍目标的属性信息，属性信息包括衣服颜色、年龄或性别。特征提取模块42用于对头肩图像进行特征提取处理，得到头肩特征；对所有姿态的头肩特征进行平均，得到多姿态头肩特征；对人体图像进行特征提取处理，得到人体特征；对所有姿态的人体特征进行平均，得到多姿态人体特征。

通过设置特征提取模块42，能够提取相同ID的抓拍目标的生命周期内抓拍目标的相关特征，该相关特征包括人脸特征、人体特征、人体部件特征（比如：头肩特征、脚部特征、腿部特征或手部特征）或属性特征，将其作为去重模块43的比对依据。

去重模块43与特征提取模块42连接，其用于在抓拍图像集中存在第一图像以及抓拍目标的多个姿态对应的第二图像时，基于人脸特征、多姿态人体特征以及多姿态头肩特征，生成重识别结果，重识别结果包括抓拍目标是否是历史抓拍目标；在抓拍图像集中不存在第一图像但存在抓拍目标的多个姿态对应的第二图像时，基于多姿态人体特征与多姿态头肩特征，生成重识别结果。

在一具体的实施例中，去重模块43还用于基于人脸特征、多姿态人体特征、多姿态头肩特征以及属性特征，生成重识别结果；或者，基于多姿态人体特征、多姿态头肩特征以及属性特征，生成重识别结果。具体地，在去重模块43的输入为抓拍目标的人脸特征、多姿态人体特征、多姿态头肩特征以及属性特征时，去重模块43将这些特征与实时维护的目标数据库进行相似度比对，如果相似度满足要求，则认为是同一个抓拍目标，否则认为是新的抓拍目标。

去重模块43用于获取抓拍目标的人脸质量评分以及人脸完整度；如果人脸质量评分大于第一预设评分阈值且人脸完整度大于第一预设完整度阈值，则计算抓拍目标的人脸特征与历史抓拍目标的人脸特征之间的相似度，得到人脸相似度；判断人脸相似度是否大于第一预设相似度；若人脸相似度大于第一预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；若否，则确定重识别结果为抓拍目标不是历史抓拍目标。如果人体质量评分小于或等于第二预设评分阈值，或人体完整度小于或等于第二预设完整度阈值，则计算抓拍目标的多姿态头肩特征与历史抓拍目标的多姿态头肩特征之间的相似度，得到头肩相似度；判断头肩相似度是否大于第四预设相似度；若头肩相似度大于第四预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；若头肩相似度小于或等于第四预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标。如果人脸质量评分小于或等于第一预设评分阈值，或人脸完整度小于或等于第一预设完整度阈值，则获取抓拍目标的人体质量评分以及人体完整度；如果人体质量评分大于第二预设评分阈值且人体完整度大于第二预设完整度阈值，则基于多姿态人体特征与属性特征，生成重识别结果。

进一步地，去重模块43用于计算抓拍目标的多姿态人体特征与历史抓拍目标的多姿态人体特征之间的相似度，得到人体相似度；计算抓拍目标的属性特征与历史抓拍目标的属性特征之间的相似度，得到属性相似度；如果人体相似度大于第二预设相似度且属性相似度大于第三预设相似度，则确定重识别结果为抓拍目标是历史抓拍目标；如果人体相似度小于或等于第二预设相似度，或属性相似度小于或等于第三预设相似度，则确定重识别结果为抓拍目标不是历史抓拍目标。

继续参阅图4，目标重识别装置40还包括底库更新管理模块44，底库更新管理模块44与去重模块43连接，底库更新管理模块44用于基于人脸质量评分、人体质量评分、人脸特征、多姿态人体特征、多姿态头肩特征以及属性特征，确定是否对目标数据库进行更新。具体地，如果重识别结果为抓拍目标不是历史抓拍目标，则将抓拍目标的人脸特征、多姿态人体特征以及多姿态头肩特征存储至目标数据库中；如果重识别结果为抓拍目标是历史抓拍目标，则基于抓拍目标的人脸特征、多姿态头肩特征以及多姿态人体特征，对目标数据库进行更新。

进一步地，底库更新管理模块44用于判断抓拍目标的人脸质量评分是否大于历史抓拍目标的人脸质量评分；若抓拍目标的人脸质量评分大于历史抓拍目标的人脸质量评分，则将历史抓拍目标的人脸质量评分更新为抓拍目标的人脸质量评分，将历史抓拍目标的人脸特征更新为抓拍目标的人脸特征。判断抓拍目标的人体质量评分是否大于历史抓拍目标的人体质量评分；若抓拍目标的人体质量评分大于历史抓拍目标的人体质量评分，则将历史抓拍目标的人体质量评分更新为抓拍目标的人体质量评分，将历史抓拍目标的多姿态人体特征更新为抓拍目标的多姿态人体特征，将历史抓拍目标的多姿态头肩特征更新为抓拍目标的多姿态头肩特征，将历史抓拍目标的属性特征更新为抓拍目标的属性特征。

本实施例结合人脸特征、多姿态人体特征、多姿态头肩特征以及属性特征进行多维度人员识别，互相补充，提高去重召回率，对人脸被遮挡、背向人体、侧向人体以及不完整人体均有较好的鲁棒性，能够解决人脸被遮挡或无人脸时依赖特征单一导致算法失效的问题，人员的去重召回率和有效性更优，大幅提高了方案的使用范围。

请参阅图6，图6是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质60用于存储计算机程序61，计算机程序61在被处理器执行时，用于实现上述实施例中的目标重识别方法。

计算机可读存储介质60可以是服务端、U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种目标重识别方法，其特征在于，包括：

对待检测视频进行处理，得到针对抓拍目标的抓拍图像集；

响应于所述抓拍图像集中存在第一图像以及所述抓拍目标的多个姿态对应的第二图像，对所述第一图像中包含的人脸进行处理得到所述抓拍目标的人脸特征，对所述多个姿态对应的第二图像包含的人体进行处理得到所述多个姿态的头肩特征和所述多个姿态的人体特征；其中，所述多个姿态包括正向姿态、侧向姿态或背向姿态；

对所有所述姿态的头肩特征进行平均，得到多姿态头肩特征；

对所有所述姿态的人体特征进行平均，得到多姿态人体特征；

对所述第二图像中的抓拍目标进行属性识别处理，得到属性特征；

基于所述人脸特征、所述多姿态人体特征、所述多姿态头肩特征以及所述属性特征，生成重识别结果；所述重识别结果包括所述抓拍目标是否是历史抓拍目标；

其中，所述基于所述人脸特征、所述多姿态人体特征、所述多姿态头肩特征以及所述属性特征，生成重识别结果的步骤，包括：

获取所述抓拍目标的人脸质量评分以及人脸完整度；

响应于所述人脸质量评分大于第一预设评分阈值且所述人脸完整度大于第一预设完整度阈值，计算所述抓拍目标的人脸特征与所述历史抓拍目标的人脸特征之间的相似度，得到人脸相似度；

判断所述人脸相似度是否大于第一预设相似度；

若是，则确定所述重识别结果为所述抓拍目标是所述历史抓拍目标；若否，则确定所述重识别结果为所述抓拍目标不是所述历史抓拍目标；

响应于所述人脸质量评分小于或等于所述第一预设评分阈值，或所述人脸完整度小于或等于所述第一预设完整度阈值，获取所述抓拍目标的人体质量评分以及人体完整度；

响应于所述人体质量评分大于第二预设评分阈值且所述人体完整度大于第二预设完整度阈值，基于所述多姿态人体特征与所述属性特征，生成所述重识别结果；

响应于所述人体质量评分小于或等于所述第二预设评分阈值，或所述人体完整度小于或等于所述第二预设完整度阈值，计算所述抓拍目标的多姿态头肩特征与所述历史抓拍目标的多姿态头肩特征之间的相似度，得到头肩相似度；

判断所述头肩相似度是否大于第四预设相似度；

若是，则确定所述重识别结果为所述抓拍目标是所述历史抓拍目标；

若否，则确定所述重识别结果为所述抓拍目标不是所述历史抓拍目标。

2.根据权利要求1所述的目标重识别方法，其特征在于，所述方法还包括：

响应于所述抓拍图像集中不存在所述第一图像但存在所述抓拍目标的多个姿态对应的第二图像，对所述多个姿态对应的第二图像包含的人体进行处理得到所述多个姿态的头肩特征和所述多个姿态的人体特征；

基于所述多姿态人体特征与所述多姿态头肩特征，生成所述重识别结果。

3.根据权利要求2所述的目标重识别方法，其特征在于，所述基于所述多姿态人体特征与所述多姿态头肩特征，生成所述重识别结果的步骤，包括：

基于所述多姿态人体特征、所述多姿态头肩特征以及所述属性特征，生成所述重识别结果。

4.根据权利要求3所述的目标重识别方法，其特征在于，所述待检测视频包括待检测图像，所述对待检测视频进行处理，得到针对抓拍目标的抓拍图像集的步骤，包括：

对所述待检测图像进行目标检测处理，得到检测结果；

基于所述检测结果，对所述抓拍目标进行跟踪处理，得到跟踪结果，所述跟踪结果包括所述抓拍目标的相关信息，所述相关信息包括所述抓拍目标的人脸位置信息与人体位置信息，所述人脸位置信息为所述人脸所在的位置，所述人体位置信息为所述人体所在的位置；

获取与所述跟踪结果中抓拍目标的人脸位置信息对应的图像，得到第一待评估图像；

获取与所述跟踪结果中抓拍目标的人体位置信息对应的图像，得到第二待评估图像；

基于所述第一待评估图像与所述第二待评估图像，生成所述抓拍图像集。

5.根据权利要求4所述的目标重识别方法，其特征在于，所述第二图像包括人体图像与头肩图像，所述基于所述第一待评估图像与所述第二待评估图像，生成所述抓拍图像集的步骤，包括：

对所述第一待评估图像进行质量评估处理，得到人脸质量评分；

对所述第二待评估图像进行质量评估处理，得到人体质量评分；

基于所述人脸质量评分，从所有所述第一待评估图像中筛选出所述第一图像；

基于所述人体质量评分，从所有所述第二待评估图像中筛选出所述人体图像；

基于所述人体图像，生成所述头肩图像；

所述对所述多个姿态对应的第二图像包含的人体进行处理得到所述多个姿态的头肩特征和所述多个姿态的人体特征的步骤，包括：

对所述人体图像进行特征提取处理，得到所述人体特征；

对所述头肩图像进行特征提取处理，得到所述头肩特征。

6.根据权利要求5所述的目标重识别方法，其特征在于，所述基于所述人脸质量评分，从所有所述第一待评估图像中筛选出所述第一图像的步骤，包括：

从所有所述第一待评估图像中选出人脸质量评分最高的第一待评估图像，得到所述第一图像。

7.根据权利要求5所述的目标重识别方法，其特征在于，所述基于所述人体质量评分，从所有所述第二待评估图像中筛选出所述人体图像的步骤，包括：

获取所述第二待评估图像中抓拍目标的姿态；

分别从每种姿态对应的所有所述第二待评估图像中选出人体质量评分最高的第二待评估图像，得到相应姿态的人体图像。

8.根据权利要求5所述的目标重识别方法，其特征在于，所述基于所述人体图像，生成所述头肩图像的步骤，包括：

从所述人体图像中截取出所述抓拍目标的头、肩所在的图像，得到所述头肩图像。

9.根据权利要求1所述的目标重识别方法，其特征在于，所述基于所述多姿态人体特征与所述属性特征，生成所述重识别结果的步骤，包括：

计算所述抓拍目标的多姿态人体特征与所述历史抓拍目标的多姿态人体特征之间的相似度，得到人体相似度；

计算所述抓拍目标的属性特征与所述历史抓拍目标的属性特征之间的相似度，得到属性相似度；

响应于所述人体相似度大于第二预设相似度且所述属性相似度大于第三预设相似度，确定所述重识别结果为所述抓拍目标是所述历史抓拍目标；

响应于所述人体相似度小于或等于第二预设相似度，或所述属性相似度小于或等于第三预设相似度，确定所述重识别结果为所述抓拍目标不是所述历史抓拍目标。

10.根据权利要求1所述的目标重识别方法，其特征在于，

所述第一图像为所述多个姿态对应的第二图像中的其中一张的一部分，所述属性特征用于表示所述抓拍目标的属性信息，所述属性信息包括衣服颜色、年龄或性别。

11.根据权利要求1所述的目标重识别方法，其特征在于，所述方法还包括：

响应于所述重识别结果为所述抓拍目标不是所述历史抓拍目标，将所述抓拍目标的人脸特征、多姿态人体特征以及多姿态头肩特征存储至目标数据库中；

响应于所述重识别结果为所述抓拍目标是所述历史抓拍目标，基于所述抓拍目标的人脸特征、多姿态头肩特征以及多姿态人体特征，对所述目标数据库进行更新。

12.根据权利要求11所述的目标重识别方法，其特征在于，所述基于所述抓拍目标的人脸特征、多姿态头肩特征以及多姿态人体特征，对所述目标数据库进行更新的步骤，包括：

判断所述抓拍目标的人脸质量评分是否大于所述历史抓拍目标的人脸质量评分；

若是，则将所述历史抓拍目标的人脸质量评分更新为所述抓拍目标的人脸质量评分，将所述历史抓拍目标的人脸特征更新为所述抓拍目标的人脸特征。

13.根据权利要求11所述的目标重识别方法，其特征在于，所述基于所述抓拍目标的人脸特征、多姿态头肩特征以及多姿态人体特征，对所述目标数据库进行更新的步骤，还包括：

判断所述抓拍目标的人体质量评分是否大于所述历史抓拍目标的人体质量评分；

若是，则将所述历史抓拍目标的人体质量评分更新为所述抓拍目标的人体质量评分，将所述历史抓拍目标的多姿态人体特征更新为所述抓拍目标的多姿态人体特征，将所述历史抓拍目标的多姿态头肩特征更新为所述抓拍目标的多姿态头肩特征，将所述历史抓拍目标的属性特征更新为所述抓拍目标的属性特征。

14.一种目标重识别装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-13中任一项所述的目标重识别方法。

15.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-13中任一项所述的目标重识别方法。

Images