CN111709391A - 一种人脸人体匹配方法、装置及设备 - Google Patents

Abstract

本发明公开了本发明的一种人脸人体匹配方法，包括：获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括人脸目标与人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度F_ij。本发明提出的方法可以应对高密度场景下人脸或者人体目标发生遮挡情况下的人脸目标和人体目标匹配问题。

Description

一种人脸人体匹配方法、装置及设备

技术领域

本发明涉及人脸识别领域，具体涉及一种人脸人体匹配方法、装置及设备。

背景技术

视频结构化在安防领域中具有重要的意义，人脸识别系统作为视频结构化的一种，可以通过人脸识别算法自动分析出图像中人脸或人体的相关属性，可以极大的减少案件发生后，人工方式查阅视频的劳动强度。而人脸识别系统中，又分为人脸属性分析和人体属性分析。在人脸识别算法应用中，需要同时对场景中的人脸目标和人体目标分别做检测和跟踪。最后做属性分析的时候有需要将人脸和对应的人体作为一个整体进行属性分析，最终输出的是一个完整的人的结构化信息。因此需要将人脸和人体进行匹配，作为一个目标进行处理。但是在高密场景下人脸和人体会发生部分遮挡和重合。导致人脸和人体的匹配经常出现错误，进而属性分析的结果也会出错，影响算法的整体指标。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸人体匹配方法、装置及设备，用于解决现有技术的缺陷。

为实现上述目的及其他相关目的，本发明提供一种人脸人体匹配方法，包括：

获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括人脸目标与人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度F_ij；

F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

可选地，获取所述人脸目标与所述人体目标的重合度C_ij，包括：

获取所述人脸跟踪框的位置与所述人体跟踪框的位置；

根据所述人脸跟踪框的大小、位置以及所述人体跟踪框的大小、位置获取所述人脸目标与所述人体目标的重合度C_ij；

C_ij＝|(x_i-x_j)·(y_i-y_j)|/(w_i·h_i+w_j·h_j)

其中，x_i表示人体跟踪框在坐标系中的横坐标，x_j表示人脸跟踪框在坐标系中的横坐标， y_i表示人体跟踪框在坐标系中的纵坐标，y_j表示人脸跟踪框在坐标系中的纵坐标，w_i表示人体跟踪框的长，w_j表示人脸跟踪框的长，h_i表示人体跟踪框的宽，h_j表示人脸跟踪框的宽。

可选地，获取所述人脸目标与所述人体目标的空间相关性D_ij，包括：

将人体跟踪框网格化，得到由多个子网格组成的网格区域；

向所述网络区域中的每一子网格赋予权值；

基于赋值后的网络区域得到人脸空间分布概率密度矩阵W；

根据人脸跟踪框的中心在所述网格区域的位置得到人脸跟踪框在人体跟踪框中的分布向量G_ij；

根据所述人脸空间分布概率密度矩阵和所述人脸跟踪框在人体跟踪框中的分布向量得到所述人脸目标与所述人体目标的空间相关性D_ij；

D_ij＝G_ij×W^T

其中，W^T为W的转置矩阵。

可选地，将所述人脸跟踪框的中心所在的子网格填充1，其余子网络填充0，基于填充后的网络区域得到人脸跟踪框在人体跟踪框中的分布向量G_ij。

可选地，获取所述人脸目标与所述人体目标时间相关性S_ij，包括：

获取所述人脸目标的运动矢量与所述人体目标的运动矢量；

获取所述人脸目标的运动矢量与所述人体目标的运动矢量间的相似度；

将所述相似度作为所述人脸目标与所述人体目标时间相关性S_ij。

可选地，采用差分法获取所述人脸目标的运动矢量和所述人体目标的运动矢量。

可选地，利用连续2帧中同一个人脸目标或/和人体目标的平均运动矢量作为其当前的运动矢量。

可选地，采用欧氏距离获取所述人脸目标的运动矢量与所述人体目标的运动矢量间的相似度。

为实现上述目的及其他相关目的，本发明提供一种人脸人体匹配装置，包括：

目标检测模块，用于获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

参数获取模块，用于基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括所述人脸目标与所述人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

匹配模块，用于根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度；

F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

为实现上述目的及其他相关目的，本发明提供一种设备，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的方法。

如上所述，本发明的一种人脸人体匹配方法、装置及设备，具有以下有益效果：

本发明的一种人脸人体匹配方法，包括获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括人脸目标与人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度F_ij。本发明提出的方法可以应对高密度场景下人脸或者人体目标发生遮挡情况下的人脸目标和人体目标匹配问题。

附图说明

图1为本发明一实施例中一种人脸人体匹配方法的流程图；

图2为本发明一实施例中高密度监控场景第596帧的示意图；

图3为本发明一实施例中高密度监控场景第597帧的示意图；

图4为本发明一实施例中一种人脸人体匹配装置的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本实施例提供一种人脸人体匹配方法，包括：

S11获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

S12基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括人脸目标与人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

S13根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度F_ij；

F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

根据人脸人体空间位置的分布情况，一般来讲，同一个人的人体跟踪框和人脸跟踪框在图像坐标系是相互重合在一起的，可以将人脸跟踪框和人体跟踪框的的重合度作为判断人脸和人体是否匹配的因素。如果重合度为0，则排除该人脸目标匹配可能，停止对该人脸目标的进一步运算和当前人体目标的匹配运算，减少匹配运算的复杂度。因此，在一实施例中，通过下述方法获取所述人脸目标与所述人体目标的重合度C_ij，包括：

获取所述人脸跟踪框的位置与所述人体跟踪框的位置；

根据所述人脸跟踪框的大小、位置以及所述人体跟踪框的大小、位置获取所述人脸目标与所述人体目标的重合度C_ij；

C_ij＝|(x_i-x_j)·(y_i-y_j)|/(w_i·h_i+w_j·h_j) (公式1)

其中，x_i表示人体跟踪框在坐标系中的横坐标，x_j表示人脸跟踪框在坐标系中的横坐标， y_i表示人体跟踪框在坐标系中的纵坐标，y_j表示人脸跟踪框在坐标系中的纵坐标，w_i表示人体跟踪框的长，w_j表示人脸跟踪框的长，h_i表示人体跟踪框的宽，h_j表示人脸跟踪框的宽。

在一实施例中，根据人脸和人体在空间中的分布具有规律性这一先验知识，提出了一种计算人脸目标和人体目标两类目标在空间分布中的相关性。以人体检测算法返回的人体跟踪框为基础，将该人体跟踪框划分成一个n乘n的网格区域，每一个子网格区域赋予不同的权值。具体可以选择一个3乘3的网格区域，最终的打分矩阵如下所示。处于不同区域的人脸目标得分就是该区域的得分。可以理解，最终的得分D_ij和人脸目标所处的区域相关，当人脸跟踪框的位置处于人体跟踪框上三分之一的中间位置时，得分最高，当人脸跟踪框的位置处于人体跟踪框下三分之一的位置时，得分最低。通过该模板可以筛选出与该人体目标在空间分布指标上得分最高的人脸目标。本发明用D_ij表示人脸目标和人体目标之间的空间相关性，根据自定义的模板，得到计算公式如下，人脸空间分布概率密度矩阵：

为了计算方便，以向量的方式表示上述概率密度矩阵：

W＝[w₀₀ w₀₁ w₀₂ w₁₀ w₁₁ w₁₂ w₂₀ w₂₁ w₂₂]

人脸跟踪框P_i(x,y,w,h)的中心在人体跟踪框的3×3网格的某个子网格中，则该子网格填充1，其余子区域填充0，得到人体目标i的跟踪框在人脸目标j的跟踪框中的分布向量G_ij。其最终结果，W^T为W的转置矩阵，得到D_ij的计算公式如下：

D_ij＝G_ij×W^T (公式2)

可以理解，人体和人脸作为整个目标的不同部位，两者之间的运动具有一致的特性。因此可以通过人体目标和人脸目标的运动矢量的距离来计算人体目标和人脸目标是否是具有一致的运动矢量。这里采用差分法来计算运动目标的运动矢量，即人脸目标的运动矢量和人体目标的运动矢量，具体可以利用连续2帧中同一个目标的平均运动矢量作为其当前的运动矢量。假设人体跟踪框其在图像坐标系中的位置表示为P_i(x_i,y_i,w_i,h_i)，其中x_i为人体跟踪框左上角点的横坐标，y_i为人体跟踪框左上角点的纵坐标，w_i为人体跟踪框的宽度，h_i为人体跟踪框的高度；人脸跟踪框在图像坐标系中的坐标表示为P_j(x_j,y_j,w_j,h_j)，其中x_j为人脸跟踪框左上角点的横坐标，y_j为人脸跟踪框左上角点的纵坐标，w_j为人脸跟踪框的宽度，h_j为人脸跟踪框的高度。根据运动学公式计算人体目标i在连续2帧图像之间的平均运动矢量V_i如公式3所述，其中上标n表示当前的帧号，Δt表示连续2帧之间的帧间隔。同理，可以计算出人脸目标j的运动矢量V_j。

通过计算人体目标的运动矢量和人脸目标的运动矢量之间的距离来判断人体目标和人脸目标的时间相关性。本发明采用欧氏距离来度量两个矢量之间的相似度S_ij，相似度即为所述人脸目标与所述人体目标时间相关性，计算公式如下：

S_ij＝|V_i-V_j| (公式4)

在具体实施例中，运行人脸识别算法，视频图像的宽和高为1920*1080。摄像头对准火车站出站口人流密集的场景，可以发现在火车站这种高密场景下，有很多目标的人体和人脸在视频中会发生严重的遮挡，两类跟踪框是互相重合在一起的,这也进一步增加了人体目标和人脸目标匹配的难度。下面具体说明该实施例中的人脸目标与人体目标的匹配过程。人体跟踪框和人脸跟踪框用矩形框圈出。

选取连续的两帧图像序列中的2个人体目标和3个人脸目标为例(如图2，图3所示)。其中帧号为596时选取的2个人体目标的坐标为(786,434)，(967,528)。选取的3个人脸目标的坐标为(820,560)，(1073,590)，(593,367)，帧号为597时，对应的人体目标坐标为(795,439)， (980,549)，人脸目标坐标为(829,566)，(1094,630)，(640,412)。

计算人体目标跟踪框和人脸目标跟踪框之间的重合度，采用C_ij表示两个目标之间的重合度，其中i是人体目标的ID，j是人脸目标的ID。如果两个跟踪框之间重合度C_ij＝0,则表示直接忽略掉该人脸目标j直接去匹配下一个人脸目标j+1。根据公式1可以分别计算出选出的 2个人体目标和3个人脸目标之间的重合度C₀₀＝1，C₀₁＝0.2，C₀₂＝0，C₁₀＝0.1，C₁₁＝1， C₁₂＝0。

计算人脸目标跟踪框和人体目标跟踪框之间的的空间相关性，用D_ij表示人脸目标和人体目标之间的空间相关性，根据自定义的模板计算出人体目标i和人脸目标j的之间的空间相关性D_ij。本实施例确定的人脸人体空间分布的概率密度矩阵取值如表1，转换成向量表示方式为W＝[0.1,0.4,0.1,0.05,0.2,0.05,0.03,0.04,0.03]，根据公式2可以计算出人体i和人脸j之间的空间相关性，可以计算出D₀₀＝0.4,D₀₁＝0.03,D₀₂＝0,D₁₀＝0,D₁₁＝0.2,D₁₂＝0。

表1

0.1	0.4	0.1
			0.05	0.2	0.05
0.03	0.04	0.03

计算人体目标和人脸目标的运动矢量之间的欧氏距离，用S_ij来表示计算人体目标i和人脸目标j之间的时间相关性，在本实施例中算法模块的处理帧率是8帧每秒，即Δt＝0.125秒。如图2和图3所示的连续两帧图像中人脸目标的运动矢量，V₀＝(9,5)，V₁＝(13,21)。人体目标的运动矢量为V₀＝(9,6)，V₁＝(21,40)，V₂＝(47,45)。根据公式4，可以计算出人脸目标与人体目标之间的运动矢量之间的相似度。S₀₀＝0.6，S₀₁＝0.1，S₀₂＝0,S₁₀＝0,S₁₁＝0.4,S₁₂＝0。

综合以上指标结果，根据公式5，

F_ij＝αC_ij+βD_ij+γS_ij (公式5)

对不同的指标分配不同的权重系数，计算出每一个和人体目标周围有重合的人脸目标的总得分。根据经验值分配的权重系数α＝0.4，β＝0.4，γ＝0.2。分别计算两类目标之间的综合得分。再根据综合得分多少进行降序排序，选出得分最高的人脸目标作为当前人体目标i的最佳匹配人脸目标j。从表2中可以看出，最后的匹配结果和视频中实际的人脸人体是正确的，说明该方法可以应对高密度场景下人脸目标与人体目标的正确匹配。

表2人脸人体匹配评价函数得分表

注：表中TURE表示目标i和j匹配成功，FALSE表示目标i和j匹配失败。

相比于传统的基于人脸目标与人体目标之间的空间距离进行匹配的方法，本发明提出的方法可以应对高密度场景下人脸或者人体目标发生遮挡情况下的人脸目标和人体目标匹配问题。特别适用于车站、机场等人流量大的场景中，降低因为匹配出错导致的行人属性分析出错的问题。

如图4所示，一种人脸人体匹配装置，包括：

目标检测模块41，用于获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

参数获取模块42，用于基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括所述人脸目标与所述人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

匹配模块43，用于根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度；

F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸人体匹配方法，其特征在于，包括：

获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括人脸目标与人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度F_ij；

F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

2.根据权利要求1所述的人脸人体匹配方法，其特征在于，获取所述人脸目标与所述人体目标的重合度C_ij，包括：

获取所述人脸跟踪框的位置与所述人体跟踪框的位置；

根据所述人脸跟踪框的大小、位置以及所述人体跟踪框的大小、位置获取所述人脸目标与所述人体目标的重合度C_ij；

C_ij＝|(x_i-x_j)·(y_i-y_j)/|(w_i·h_i+w_j·h_j)

其中，x_i表示人体跟踪框在坐标系中的横坐标，x_j表示人脸跟踪框在坐标系中的横坐标，y_i表示人体跟踪框在坐标系中的纵坐标，y_j表示人脸跟踪框在坐标系中的纵坐标，w_i表示人体跟踪框的长，w_j表示人脸跟踪框的长，h_i表示人体跟踪框的宽，h_j表示人脸跟踪框的宽。

3.根据权利要求1所述的人脸人体匹配方法，其特征在于，获取所述人脸目标与所述人体目标的空间相关性D_ij，包括：

将人体跟踪框网格化，得到由多个子网格组成的网格区域；

向所述网络区域中的每一子网格赋予权值；

基于赋值后的网络区域得到人脸空间分布概率密度矩阵W；

根据人脸跟踪框的中心在所述网格区域的位置得到人脸跟踪框在人体跟踪框中的分布向量G_ij；

根据所述人脸空间分布概率密度矩阵和所述人脸跟踪框在人体跟踪框中的分布向量得到所述人脸目标与所述人体目标的空间相关性D_ij；

D_ij＝G_ij×W^T

其中，W^T为W的转置矩阵。

4.根据权利要求3所述的人脸人体匹配方法，其特征在于，将所述人脸跟踪框的中心所在的子网格填充1，其余子网络填充0，基于填充后的网络区域得到人脸跟踪框在人体跟踪框中的分布向量G_ij。

5.根据权利要求1所述的人脸人体匹配方法，其特征在于，获取所述人脸目标与所述人体目标时间相关性S_ij，包括：

获取所述人脸目标的运动矢量与所述人体目标的运动矢量；

获取所述人脸目标的运动矢量与所述人体目标的运动矢量间的相似度；

将所述相似度作为所述人脸目标与所述人体目标时间相关性S_ij。

6.根据权利要求5所述的人脸人体匹配方法，其特征在于，采用差分法获取所述人脸目标的运动矢量和所述人体目标的运动矢量。

7.根据权利要求6所述的人脸人体匹配方法，其特征在于，利用连续2帧中同一个人脸目标或/和人体目标的平均运动矢量作为其当前的运动矢量。

8.根据权利要求5所述的人脸人体匹配方法，其特征在于，采用欧氏距离获取所述人脸目标的运动矢量与所述人体目标的运动矢量间的相似度。

9.一种人脸人体匹配装置，其特征在于，包括：

目标检测模块，用于获取图片中的人脸目标、人体目标以及人脸跟踪框、人体跟踪框；

参数获取模块，用于基于所述人脸跟踪框与人体跟踪框获取匹配参数，所述匹配参数包括所述人脸目标与所述人体目标的重合度C_ij、空间相关性D_ij以及时间相关性S_ij；

匹配模块，用于根据所述匹配参数得到所述人体目标和所述人脸目标之间的总体匹配度；

其中，F_ij＝αC_ij+βD_ij+γS_ij

其中，α是重合度系数，β是空间相关性系数，γ是时间相关性系数。

10.一种设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1至8中任一项所述的方法。

Images