CN112115835A - 一种基于人脸关键点的证件照局部异常检测方法 - Google Patents

Abstract

本发明提供了一种基于人脸关键点的证件照局部异常检测方法，属于人工智能AI图像检测技术领域。本发明对照片采用人脸检测算法判断是否检测出人脸，再提取人脸区域作为输入，通过分类得到面部部分，并训练回归模型获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；利用MobileNet拟合回归函数进行遮挡检测，显式检测人脸关键点的遮挡状态及遮挡异常的类型，当模型输出超出阈值时，表示该点异常；最后利用5个关键点构造几何特征，根据判定规则判断人像头部姿态是否异常及偏转异常的类型。本发明对证件照进行非人脸异常、非正面异常、眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异的自动审核，提高证件照的审核效率、降低人力物力成本。

Description

一种基于人脸关键点的证件照局部异常检测方法

技术领域

发明涉及人工智能AI图像检测分类技术领域，具体涉及一种基于人脸关键点的证件照局部异常检测方法。

背景技术

证件照是人类身份识别的基本信息之一，人们在日常生活中经常用到的，例如：一张证件照通常嵌入身份证、驾驶证、护照等证件文本，或者贴在入学、就业、考试等申请表格上，用于用户资料唯一性验证，在社会生活各个方面有着广泛的用途。现如今很多场合都需要身份信息的检测与识别，人脸轮廓以及器官成为了识别一个人的重要依据。在人脸比对过程中，首先需要将人脸区域，及其中的眼睛、嘴部、鼻子等面部器官准确检测出来，再与采集的人脸信息进行比对，所以证件照的人脸及其中的人脸器官对于人类视觉感知和机器识别至关重要。证件照的基本要求是正面免冠，面部无异常遮挡等，但由于技术手段的问题或操作人员的马虎或故意恶搞，且证件照在不同的使用场合也有不同的标准要求，以至于拍摄效果更是因人而异，照片标准性和质量参差不齐。如若仅依靠专业人员进行人工检验无疑会浪费巨大的人力物力。

随着“互联网+政务服务”体系的推进，利用人工智能技术结合互联网技术实现政务服务智能化与信息化，提高政务服务的流程效率与服务质量，建设服务型政府具有重要意义。目前，已有对证件照质量检测、免冠检测等分类方法，但是较少针对证件照的面部器官进行局部异常检测及姿态估计的研究。因此，基于上述需求，如何利用图像检测分类技术来实现对用户证件照的自动异常检测，从而提高证件照的审核效率、降低人力物力成本，已经成为技术人员普遍关注的技术。

发明内容

本发明是针对上述存在的问题，提供一种能够自动识别校验上传的照片，节约窗口人员审核时间和等待时间，提升办理业务效率的基于人脸关键点的证件照异常检测方法，进而可以检测用户拍摄的人像照片是否符合证件照的基本要求。

为实现上述目的，本发明所提供的技术方案为一种基于人脸关键点的证件照局部异常检测方法，包括以下步骤：

步骤一、对用户上传的照片，采用基于Haar特征的Adaboost方法快速审核用户上传照片是否检测到人脸，如果是，则输出的人脸图像作为下一步输入；否则输出检测结果：证件照不合格，原因：未检测到人脸；

步骤二、提取人脸图像进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；

步骤三、使用MobileNet拟合回归函数进行遮挡检测,输出一个Dl维浮动向量，经过一定的阈值分割后，将该向量变换为Dl维[0，1]布尔向量，当模型输出大于阈值时，关键点的遮挡状态为1(表示该点异常)，显式检测人脸关键点的遮挡状态，并判断人脸遮挡(眼部/嘴部/鼻子)异常的类型；该方法能对证件照进行眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异的自动审核；然后利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正(即头部端正，眼睛平视前方)，可如果否，则输出检测结果：证件照不合格，原因：姿态未端正(左右偏斜/旋转偏斜/低头/抬头异)；

步骤四、汇总、并输出审核结果。

与现有技术相比，本发明的基于人脸关键点的证件照异常检测方法具有以下突出的有益效果：所述基于人脸关键点的证件照异常检测方法采用了人脸检测、关键点定位和姿态估计等技术相结合的方式，实现对证件照非人脸异常、非正面异常、眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异常进行自动审核，节约窗口人员审核时间，提高窗口人员的工作效率，提升用户办事体验，具有良好的推广应用价值。

附图说明

图1是本发明一种基于特征点检测证件照异常的方法的流程图；

图2是步骤二中，关键点定位检测各点是否异常的流程图；

图3是步骤二中，多类分类器网络结构；

图4是步骤二中，回归模型网络结构络；

图5是步骤三中，关键点遮挡异常模块流程图；

图6是步骤三中，关键点的正常及异常判定和几何特征类别；

图7是步骤三中，头部姿态判定规则。

具体实施方式

下面将结合附图和实施例，对本发明的基于特征点检测证件照异常的方法作进一步详细说明。

实施例1：如图1所示，本发明的基于特征点检测证件照异常的方法，包括有：

步骤一、对用户上传的照片，采用基于Haar特征的Adaboost方法快速检测用户上传照片是否有人脸，如果是，则得到人脸定位区域并作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸；

步骤二、提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点，再继续下一步；

步骤三、使用MobileNet完成遮挡检测,预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1(表示该点异常)，则输出检测结果：证件照不合格，原因：人脸遮挡异常(眼部/嘴部/鼻子遮挡异常)；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正(即头部端正，眼睛平视前方)，可如果否，则输出检测结果：证件照不合格，原因：姿态未端正(左右偏斜/旋转偏斜/低头/抬头异常)；

步骤四、汇总、并输出审核结果。当所选取的技术方案对证件照的审核都通过时，则输出：证件照合格，否则输出：证件照不合格，原因是上述技术方案对证件照的审核结果的并集。

作为发明进一步改进的技术方案，所属步骤一，AdaBoost算法从众多的特征中选取符合人脸Haar-like的特征,利用这些特征构造弱分类器，并通过迭代的方法从众多弱分类器中选取分类效果较好的值进行组合，并通过加权分配不同的权重，形成最后的强分类器；采取Cascade的策略逐层验证能排除大量的非人脸样本。弱分类器为G_m(t)：t→{-1，+1}，强分类器由弱分类器组成，最终分类器:

其中m＝1,2,…,M，s＝1,2,…,S，M代表迭代的第几轮，S表示组成Haar-like特征的矩形个数，α_m代表了G_m(t)在最终分类器中的重要性，利用该算法检测用户上传照片是否有人脸，如果有，则输出的人脸图像作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸。

如图2所示，所属步骤二，定位人脸图像左眼中心、右眼中心、鼻尖、左嘴角、右嘴角关键点，进一步改进的技术方案具体包括以下步骤：

步骤B1、对照片进行人脸轮廓检测并根据轮廓提取候选窗口；

输入人脸图像length1，length2，scalew，scaleh，并将图像转换为灰度图像与大小:300×300，进行精确的检测和搜索轮廓；length1和length2表示等高线长度，scalew和scaleh是用于放大窗口的经验值，并将length1设为30，length2设为400，scalew设为30，scaleh设为20。

对每个轮廓做循环，只选择长度大于length1且小于length2的等高线，得到最左边的点(xmin，y1)，最右边的点(xmax，y2)，最上边的点(x1，ymin)，最下边的点(x2，ymax)，并输出候选窗口(xmin-scalew，ymin-scaleh，xmax-xmin+2×scalew，ymax-ymin+2×scaleh)。

使用上述算法来提取能够反映人脸面部部位的候选窗口；当重叠比例大于50％时，对部分窗口进行了移除，精确检测面部5个点:左眼中心、右眼中心、鼻尖、左嘴角、右嘴角。

步骤B2、训练一个多类分类模型，并得到面部特征分类；

定义了四类:左眼和右眼，鼻子，嘴巴，左嘴巴和右嘴巴，负样本。学习目标被表述为一个四类分类问题，使用交叉熵损失函数:

z_y和z_j表示标号为y和j的样本的预测结果，J表示类数，因此J为4。

对面部进行分类后，必须将左眼与右眼分开，并区分左嘴和右嘴；分离过程是通过人脸部分的位置和重叠率来实现的，将重叠率设置为50％，先挑出最左边的部分和最右边的部分，如果重叠比例小于50％，则认为最左边的部分是左眼(左口)，最右边的部分是右眼(右口)。

数据集：由CelebA、COFW、MTFL数据库中挑选各5000张图片，再加上收集到的2万张证件照(人工标注坐标)，以融合不同形状的面孔，每个样本都需要提供了5个关键点(左眼中心、右眼中心、鼻尖、左嘴角、右嘴角)坐标信息，使得很容易地得到面部的各个部位；从人脸的其他部分和其他非人脸图像中裁剪出负样本。

多类分类模型网络结构：包含4个卷积层，2个全连接层的神经网络结构，输入39×39大小的图片，卷积层C1、C2、C3、C4分别选取4×4，3×3,4×4,3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行max-pooling，最后得到2×2×80的feature map输入全连接层，完成训练得到多类分类器，其结构如图3所示。

步骤B3、训练四种模式的回归模型来获得关键点；

四种模式分别为:左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴；训练CNN模型来定位关键点，CNN的输入是小的区域而不是整个表面，所以它是一个结构。学习目标被表示为一个回归问题，则使用欧几里德损失:

其中

为从网络中得到面部地标坐标，

为地真坐标，I为样本数；为每个关键点训练一个模型，因此

回归模型网络结构：包含2个卷积层,2个全连接层的神经网络结构，输入15×15大小的图片，卷积层C1、C2分别选取4×4，3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行max-pooling，最后得到2×2×40的feature map输入全连接层，完成训练得到关键点，其结构如图4所示。

作为发明进一步改进的技术方案，所属步骤三，如图5所示，使用MobileNet拟合回归函数进行遮挡检测，并利用5个关键点位置信息构造几何特征，根据输出的关键点信息和阈值判断照片是否异常，具体包括以下步骤：

步骤C1、引入遮挡检测回归模型,遮挡检测是预测人脸标志的遮挡状态。利用MobileNet拟合回归函数进行遮挡检测，对于超参数，宽度乘数α设置为1.0，分辨率乘数ρ设置为1.0,使用一定的阈值将二维浮点向量分割成D_l维{0，1}遮挡状态。

训练数据集

其中包含人脸图像X_n和对应的D_l维{0，1}遮挡状态

D_l是关键点数目；回归模型通过优化以下目标来实现X_n映射到H_n:

其中

是特征提取函数,f是目标回归函数。对于

用白化图像作为预测模型的进给特征。

模型输出一个L维浮动向量，每个元素在[0,1]区间内，表示被遮挡的地标的概率。经过一定的阈值分割后，将该向量变换为D_l维[0,1]布尔向量，即输出人脸区域的预测遮挡状态。其阈值设置为0.12，当该定位中的模型输出大于0.12时，地标的遮挡状态为1。

步骤C2、根据获得的关键点信息判断照片是否异常：其5个关键点输出形式为

和

分别表示关键点的坐标位置，当

时显示红色关键点，表示该点为异常遮挡，输出检测结果:证件照不合格，原因：眼部/嘴部/鼻子遮挡异常；当

时显示为绿色关键点，表示该点正常，继续下一步操作。如图6(a)所示，该方法能对证件照进行眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异常的自动审核。

步骤C3、构造几何特征检测证件照中的人像是否姿态端正(即头部端正，眼睛平视前方)，具体包括以下步骤：

如图6(b)所示，构造的特征包括：双眼在垂直方向的距离(CD)，双眼与鼻尖连线的距离比

双眼中点到鼻子距离与双嘴角中点到鼻子距离之比

本实施例的各特征阈值的设定如下表1所示：

表1 阈值的设定

双眼在垂直方向的距离(CD),左眼为A，右眼为B,将A与B在垂直方向的距离作为头部偏斜判断标准；当大于阈值时，判定为左右偏斜。

双眼与鼻尖连线的距离比

左眼与鼻尖的连线为OA，右眼与鼻尖的连线为OB，将线段OA与OB的比值作为头部偏斜判断标准；头部的旋转偏斜会影响该比值的大小：头部向左旋转偏斜OA小于OB，则

小于1，头部向右旋转偏斜OA大于OB，则

小于1；否则，该比值趋近于1，即线段OA与线段OB的长度基本相等。

双眼中点到鼻子距离与双嘴角中点到鼻子距离之比

点X是双眼连线的中点，线段OX是鼻尖与双眼中点的连线；而点Y是双嘴角连线的中点，线段OY是鼻尖到双嘴角中点的连线。线段OX与线段OY长度的比值可以作为头部偏斜判断的标准。当抬头时，线段OX变短，线段OY变长，比值随之变小；当低头时，线段OX变长，线段OY变短，比值随之变大。

姿态判断规则如图7所示，对判定头部偏斜的特征都分别设定阈值，当该特征大于或小于阈值时，输出结果：证件照不合格，原因:姿态未端正(偏斜类型)。

本发明的基于人脸关键点的证件照异常检测方法采用了人脸检测、关键点定位和姿态估计等技术相结合的方式，实现对证件照非人脸异常、非正面异常、眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异常进行自动审核，节约窗口人员审核时间，提升用户办事体验。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (4)

1.一种基于人脸关键点的证件照局部异常检测方法，其特征在于，包括以下步骤：

步骤一、采用Adaboost算法审核用户上传的证件照是否检测到人脸，如果是，则输出人脸区域进入后续检测是否异常；如果未检测到人脸则输出检测结果：证件照不合格，原因：未检测到人脸；

步骤二、收集图片和证件照形成数据集，对证件照提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；

步骤三、使用MobileNet拟合回归函数完成遮挡检测，预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1，表示该点异常，则输出检测结果：证件照不合格，原因：人脸遮挡异常；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正，如果否，则输出检测结果：证件照不合格，原因：姿态未端正；

步骤四、汇总、并输出审核结果。

2.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述Adaboost算法运用离线学习的分类器进行人脸检测，基于Harr矩形特征积分图进行级联检测，并通过迭代的方法从众多弱分类器中选取分类效果较好的值进行组合，加权分配得到不同的权重，形成最后的强分类器；采取Cascade的策略逐层验证能排除大量的非人脸样本，弱分类器为G_m(t)：t→{-1，+1}，强分类器由弱分类器组成，最终分类器：

其中m＝1，2，...，M，s＝1，2，...，S，M代表迭代的是第几轮，S表示组成哈尔特征的矩形个数，g(t)是弱分类器的组合，α_m代表了G_m(t)在最终分类器中的重要性，利用该算法检测用户上传照片是否有人脸，如果有，则输出的人脸图像作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸。

3.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述步骤二具体包括以下步骤：

步骤B1、对照片进行人脸轮廓检测提取候选窗口；输入人脸图像并将图像转换为大小300×300的灰度图像，进行精确的检测和搜索轮廓；对每个轮廓做循环，并输出候选窗口，根据重叠率对部分窗口进行了移除；

步骤B2、训练一个多类分类模型，并通过分类得到面部特征；将数据集中每个样本标注5个关键点的坐标信息，并从人脸的其他部分和其他非人脸图像中裁剪出负样本；定义四类：左眼和右眼；鼻子；嘴巴，左嘴巴和右嘴巴；负样本；训练目标损失函数：

z_y和z_j分别表示标号为y和j的样本的预测结果，J表示类数；

多类分类模型网络结构：包含4个卷积层，2个全连接层的神经网络结构，输入39×39大小的图片，卷积层C1、C2、C3、C4分别选取4×4，3×3，4×4，3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行最大池化，最后得到2×2×80的特征图输入全连接层，完成训练得到多类分类模型；

步骤B3、训练四种模式的回归模型来获得关键点；四种模式分别为：左眼和右眼；鼻子；嘴巴和左嘴巴；嘴巴和右嘴巴；使用欧几里德损失：

其中

为从网络中得到面部地标坐标，

为地真坐标，I为样本数；为每个关键点训练一个模型，因此

回归模型网络结构：包含2个卷积层，2个全连接层的神经网络结构，输入15×15大小的图片，卷积层C1、C2分别选取4×4，3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行最大池化，最后得到2×2×40的特征图输入全连接层。

4.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述步骤三中进行遮挡检测并利用关键点构造几何特征具体包括以下步骤：

步骤C1、使用MobileNet拟合回归函数完成遮挡检测，训练数据集

其中包含人脸图像X_n和对应的D_l维{0，1}遮挡状态

D_l是关键点数目；回归模型通过优化以下目标来实现X_n映射到H_n：

其中

是特征提取函数，f是目标回归函数；经过一定的阈值分割后，将该向量变换为D_l维[0，1]布尔向量，即输出人脸区域的预测遮挡状态；

步骤C2、根据关键点信息判断照片是否异常：其5个关键点输出形式为

和

表示关键点的坐标位置，当

时显示红色关键点，表示该点为异常遮挡，输出检测结果：证件照不合格，原因：眼部/嘴部/鼻子遮挡异常；当

时显示为绿色关键点，表示该点正常，继续下一步操作。

步骤C3、利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正具体包括以下步骤：

构造的特征包括：双眼在垂直方向的距离，双眼与鼻尖连线的距离比，双眼中点到鼻子距离与双嘴角中点到鼻子距离之比。

双眼在垂直方向的距离CD，左眼为A，右眼为B，将A与B在垂直方向的距离作为头部偏斜判断标准；当大于阈值时，判定为左右偏斜；

双眼与鼻尖连线的距离比

左眼与鼻尖的连线为OA，右眼与鼻尖的连线为OB，将线段OA与OB的比值作为头部偏斜判断标准；头部的旋转偏斜会影响该比值的大小：头部向左旋转偏斜OA小于OB，则

小于1，头部向右旋转偏斜OA大于OB，则

小于1；否则，该比值趋近于1，即线段OA与线段OB的长度相等；

双眼中点到鼻子距离与双嘴角中点到鼻子距离之比

点X是双眼连线的中点，线段OX是鼻尖与双眼中点的连线；而点Y是双嘴角连线的中点，线段OY是鼻尖到双嘴角中点的连线；线段OX与线段OY长度的比值可以作为头部偏斜判断的标准；当抬头时，线段OX变短，线段OY变长，比值随之变小；当低头时，线段OX变长，线段OY变短，比值随之变大；

对判定头部偏斜的特征都分别设定阈值，当该特征超过阈值时，输出结果：证件照不合格，原因：姿态未端正。

Images