[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113312965A - 一种人脸未知欺骗攻击活体检测方法及系统 - Google Patents

一种人脸未知欺骗攻击活体检测方法及系统 Download PDF

Info

Publication number
CN113312965A
CN113312965A CN202110410718.8A CN202110410718A CN113312965A CN 113312965 A CN113312965 A CN 113312965A CN 202110410718 A CN202110410718 A CN 202110410718A CN 113312965 A CN113312965 A CN 113312965A
Authority
CN
China
Prior art keywords
face
image
data
feature
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110410718.8A
Other languages
English (en)
Other versions
CN113312965B (zh
Inventor
栾晓
陈俊朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110410718.8A priority Critical patent/CN113312965B/zh
Publication of CN113312965A publication Critical patent/CN113312965A/zh
Application granted granted Critical
Publication of CN113312965B publication Critical patent/CN113312965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于真实人脸特征的未知欺骗攻击检测方法及系统，属于人脸识别领域，包括输入人脸图像，对其进行预处理；将人脸图像输入到图像聚类模块网络，提取人脸图像的数据特征；通过提取的数据特征对人脸图像进行分类路由到四个图像聚类中，每个聚类中的人脸图像都具有相似的真实人脸特征缺失；由图像聚类分别对应的真实人脸特征分类网络提取人脸图像所具备的真实人脸特征图；通过提取得到的真实人脸特征图的完整性判断输入人脸图像是否为虚假人脸图像。本发明的方法能够有效检测未知欺骗攻击。同时，本发明在对网络完成训练后应用时计算成本较低，增加了相关产品的适用性。

Description

一种人脸未知欺骗攻击活体检测方法及系统
技术领域
本发明属于人脸识别技术领域，涉及一种人脸未知欺骗攻击活体检测方法及系统。
背景技术
人脸活体检测是一种检测摄像头采集的人脸图像是否对真实活体人脸采像所得到的，目前广泛作为人脸识别技术的重要安全保障技术得到应用，其用于识别出欺骗攻击者对人脸识别系统的欺骗攻击。传统的人脸活体检测技术主要是通过利用作为真实生命个体的活体人脸所具有的如三维深度信息、光照信息、纹理信息等与欺骗攻击制作的虚假人脸存在差异的特征信息来进行检测分析，从中分辨出虚假人脸，能够有效检测出照片攻击、视频攻击等传统欺骗攻击方法。
随着人脸识别技术的普及变得越来越重要，人脸活体检测技术也得到了长足的发展，传统的欺骗攻击方式难以再通过人脸识别系统的检测。因此，欺骗攻击者们发明了许多新型欺骗攻击方式如仅用合法用户的眼睛图像遮挡眼睛进行欺骗攻击等。
由于传统人脸活体检测算法并不认识新型欺骗攻击方式的特征，训练模型的数据集也难以对新型欺骗攻击方式采集数据样本。而对于新出现的欺骗攻击方式，已知数据集中并不包含其制作的虚假人脸图像，其与真实人脸图像的特征差异也未知，因此它们对于人脸活体检测算法而言是一种未知欺骗攻击检测。当人脸活体检测算法对未知欺骗攻击图像进行检测时，如果已知数据集中恰好存在与其类似的差异特征，现有方法也能够检测出未知欺骗攻击的假人脸，但当已知数据集中不包含与之类似的差异时，现有方法就无法有效检测出未知欺骗攻击。
真实人脸特征是真实人脸所应该具备的特征，由于欺骗攻击者制作虚假人脸的过程中需要使用欺骗方法对真实人脸进行一定的操作，这将导致真实人脸的真实人脸特征在欺骗过程中产生缺失。当我们使用真是人脸特征进行人脸活体检测时，我们让神经网络去学习真实人脸应该具备怎样的真实人脸特征，当面对真实人脸特征存在缺失的虚假人脸图像时，即使不知道欺骗攻击者进行了怎样的欺骗操作，仍然能够有效识别未知欺骗攻击。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的未知欺骗攻击人脸活体检测方法及系统。
为达到上述目的，本发明提供如下技术方案：
一方面，本发明提供一种基于深度学习的未知欺骗攻击人脸活体检测方法，包括以下步骤：
S1：将带有人脸图片集合的数据集划分为训练集和测试集，并进行预处理；
S2：将预处理后的训练集输入到图像聚类网络中，由图像聚类网络中的卷积残差节点提取人脸图片的数据特征；
S3：图像聚类网络中的树路由节点根据提取得到的数据特征将人脸图像分类路由入具有相似真实人脸特征缺失的聚类中；
S4：将人脸图像输入其所分类入的聚类对应的真实人脸特征分类网络；
S5：通过聚类对应的真实人脸特征分类网络，从输入的人脸图像中提取对应的真实人脸特征图；
S6：根据提取得到的真实人脸特征图完整性判断对输入人脸图像做出预测分类；
S7：通过反向传播的方法分别优化图像聚类网络和四个真实人脸特征分类网络，并进行多轮训练与优化；
S8：将测试集输入到训练好的图像聚类网络和实人脸特征分类网络中，输出预测结果，并与测试集数据标签对比，量化分类检测效果。
进一步，所述预处理包括：对训练集和测试集中的所有图片都由RGB三颜色通道增加为RGB-HSV六颜色通道，对训练集中的图片进行处理生成人脸深度图，作为监督标签，并与网络的预测标签计算误差，对网络进行反向传播优化。
进一步，所述树路由节点根据欺骗图像的特征差异，将特征相似的欺骗图像聚成四类，共进行两次二分路由；
在使用人脸图片进行训练与检测时，对于每一组样本，都根据每一个样本相对于整组样本的最大数据差异进行一次二分路由；
所述二分路由的步骤包括：
首先通过卷积残差节点对输入的样本数据进行三次卷积操作，并在每次卷积之后将卷积前的数据与之相加，再进行一次最大池化，从而提取到样本数据更深层次的特征；
然后通过树路由节点根据每个样本x对于该组样本数据X的最大数据差异进行二分路由；
对于每个样本x，xTv相当于x在向量v上的投影，如果当v选择恰当时，x的最大差异化也将能够在其向v上的投影表现出来；x相对于该组样本数据X的最大数据差异如公式所示：
Figure BDA0003019419760000031
式中μ表示一组X的平均值；
寻找协方差矩阵
Figure BDA0003019419760000032
的最大特征向量作为合适的向量v，其中Xu＝X-μ；基于特征分析的公式如下：
Figure BDA0003019419760000033
得到最大优化目标：
Figure BDA0003019419760000034
式中θ是前一个卷积残差节点的参数；
得到路由损失函数：
Figure BDA0003019419760000035
式中第一项应用指数函数使得最大化问题有界，第二项作为正则项引入。
进一步，在神经网络的训练阶段，使用提取到的真实人脸特征图G与真实样本监督M的差值设计损失函数来对神经网络进行优化，如下所示：
Figure BDA0003019419760000036
式中gx,y表示在G的(x,y)坐标上的像素值，mx,y表示与其相对应的M上(x,y)坐标的像素值，N表示G上像素值的数量；在进行未知欺骗攻击检测时，计算得到的人脸特征图的L1范数值如下所示：
Figure BDA0003019419760000037
通过计算得到L1范数值的作为欺骗检测依据，设定阈值，低于阈值的图像被视为欺骗攻击图像。
进一步，所述真实人脸特征分类网络对输入数据进行卷积提取特征操作与池化下采样操作之后，还加入注意力机制，对输入的特征图进行平均池化处理后通过一层卷积层生成注意力图，再用注意力图与输入特征图做元素级的相乘操作，将特征图与注意力图的元素各自相乘，得到更注重重要特征信息的新特征图作为输出。
另一方面，本发明提供一种基于深度学习的未知欺骗攻击人脸活体检测系统，包括：
数据预处理模块：用于对输入数据集进行处理，获取原始图像信息，获取训练集和测试集，为人脸图片数据增加HSV通道信息，为训练集中图片生成真实人脸特征分类网络模块训练优化所需的监督标签；
图像聚类网络模块：包括卷积残差模块与路由模块，其中卷积残差模块用于提取数据特征，路由模块用于根据数据特征对图像进行分类路由；
真实人脸特征分类网络模块：通过使用注意力机制模块与卷积残差机制从人脸图像中提取得到真实人脸特征图。
进一步，所述预处理模块用于对训练集和测试集中的所有图片都由RGB三颜色通道增加为RGB-HSV六颜色通道，对训练集中的图片进行处理生成人脸深度图，作为监督标签，并与网络的预测标签计算误差，对网络进行反向传播优化。
进一步，在所述图像聚类网络模块中，所述路由模块根据欺骗图像的特征差异，将特征相似的欺骗图像聚成四类，共进行两次二分路由；
在使用人脸图片进行训练与检测时，对于每一组样本，都根据每一个样本相对于整组样本的最大数据差异进行一次二分路由；
所述二分路由的步骤包括：
首先通过卷积残差节点对输入的样本数据进行三次卷积操作，并在每次卷积之后将卷积前的数据与之相加，再进行一次最大池化，从而提取到样本数据更深层次的特征；
然后通过路由模块根据每个样本x对于该组样本数据X的最大数据差异进行二分路由；
对于每个样本x，xTv相当于x在向量v上的投影，如果当v选择恰当时，x的最大差异化也将能够在其向v上的投影表现出来；x相对于该组样本数据X的最大数据差异如公式所示：
Figure BDA0003019419760000041
式中μ表示一组X的平均值；
寻找协方差矩阵
Figure BDA0003019419760000042
的最大特征向量作为合适的向量v，其中Xu＝X-μ；基于特征分析的公式如下：
Figure BDA0003019419760000043
得到最大优化目标：
Figure BDA0003019419760000044
式中θ是前一个卷积残差模块的参数；
得到路由损失函数：
Figure BDA0003019419760000045
式中第一项应用指数函数使得最大化问题有界，第二项作为正则项引入。
进一步，所述真实人脸特征分类网络模块对输入数据进行卷积提取特征操作与池化下采样操作之后，还加入注意力机制，对输入的特征图进行平均池化处理后通过一层卷积层生成注意力图，再用注意力图与输入特征图做元素级的相乘操作，将特征图与注意力图的元素各自相乘，得到更注重重要特征信息的新特征图作为输出。
本发明的有益效果在于：
(1)本发明提供的方法通过研究真实人脸图像都具备的相同的完整真实人脸特征，而非未知欺骗攻击的虚假人脸图像所具备的不同欺骗攻击特征，实现对未知欺骗攻击的有效检测。
(2)本发明提供的真实人脸特征分类网络，通过卷积残差机制提取图像的浅层与深层特征，注意力机制模块辅助网络学习更具预测分类价值的特征，进而提取人脸图像中的真实人脸特征图。
(3)本发明通过图像聚类网络模块将具有相同真实人脸特征缺失的人脸图片进行聚类，提高了网络对于真实人脸特征缺失的敏感性，进而提高了网络对未知欺骗攻击的虚假人脸图像的敏感性，使得网络不会轻易将虚假人脸图片预测分类为真实人脸图片。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1本发明实施例的一种基于深度学习的未知欺骗攻击人脸活体检测网络结构示意图；
图2为本发明实施例的图像聚类模块网络示意图；
图3为本发明实施例的真实人脸特征分类网络结构示意图；
图4为本发明实施例的训练流程示意图；
图5为本发明实施例的注意力模块结构示意图。
图6为本发明实施例的提取的真实人脸特征图；
图7为本发明实施例的作为监督标签的人脸深度图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图7，为本发明的一种基于深度学习的未知欺骗攻击人脸活体检测方法，包括：
S1、输入带有人脸图片集合为数据集，对数据集进行预处理；
S2、基于预处理的数据集，将人脸图片输入主干网络；
S3、将人脸图片输入到图像聚类网络模块，由图像聚类网络模块中的卷积残差模块提取人脸图片具有的数据特征；
S4、通过图像聚类网络模块中的路由模块根据提取得到的数据特征将人脸图像分类路由入具有相似真实人脸特征缺失的聚类中；
S5、将人脸图像输入其所分类入的聚类对应的真实人脸特征分类网络；
S6、通过聚类对应的真实人脸特征分类网络从输入的人脸图像中提取对应的真实人脸特征图；
S7、根据提取得到的真实人脸特征图完整性判断对输入人脸图像做出预测分类；
S8、通过反向传播的方法分别优化图像聚类网络模块和四个真实人脸特征分类网络，并进行多轮训练与优化。
S9、将测试集输入到训练好的神经网络模型中，训练好的神经网络模型输出预测结果和测试集数据标签对比，量化其分类检测效果。
获取SIW-M人脸活体检测数据集，在SIW-M数据集中包含十三种不同的欺骗攻击方式制作的虚假人脸视频与真实人脸视频，当将一种虚假人脸视频与部分真实人脸视频作为测试集而其他人脸视频作为训练集时，能够在神经网络的测试阶段有效模拟活体检测算法遭遇未知欺骗攻击的情况。其中真实人脸数据包含对493个对象采集的660个视频；视频攻击数据包含对21个对象采集的99个视频；照片攻击数据包含对60个对象采集的118个视频；半罩面部攻击数据包含对12个对象采集的72个视频；硅胶面具攻击数据包含对12个对象采集的27个视频；透明面具攻击数据包含对88个对象采集的88个视频；纸面具攻击视频包含对6个对象采集的17个视频；模特假人攻击数据包含对12个对象采集的40个数据；模糊化妆攻击数据包含对23个对象采集的23个视频；模仿化妆攻击数据包含对61个对象采集的61个视频；美容化妆攻击数据包含对37个对象采集的50个视频；滑稽眼攻击数据包含160个对象采集的160个视频；纸眼镜攻击数据包含122个对象采集的127个视频；纸面具部分遮挡攻击数据包含对86个对象采集的86个视频。
对SIW-M数据集进行预处理：对所有图片都由RGB三颜色通道增加为RGB-HSV六颜色通道，对训练集中的图片进行处理生成人脸深度图作为监督标签与网络的预测标签计算误差，对网络进行反向传播优化。
将人脸图像输入到神经网络中，神经网络中的图像聚类网络模块对人脸图像进行路由分类，该网络模块能够根据欺骗图像的特征差异，将特征相似的欺骗图像聚成四类，再分别由对应的四个特征图提取网络对该聚类图像进行学习，使得四个特征提取网络分别对该聚类的欺骗特征导致的真实人脸特征图缺失更加敏感，具有更强的检测能力。
为了能够实现将图像聚成四类的操作，对每张图像都会进行两次二分路由。在使用人脸图片进行训练与检测时，对每一组样本，都会根据每一个样本相对于整组样本的最大数据差异，进行一次二分路由。在每个执行二分路由操作的节点中，都由图像聚类网络由卷积残差节点(Convolutional Residual Unit,CRU)、树路由节点(Tree Routing Unit,TRU)两部分组成。其中卷积残差节点将对输入的样本数据进行三次卷积操作，并在每次卷积之后将卷积前的数据与之相加，然后进行一次最大池化。经过卷积残差节点的处理后能够在路由操作之前提取到样本数据更深层次的特征。而后树路由节点将根据每个样本x对于该组样本数据X的最大数据差异进行二分路由。对于每个样本x，xTv相当于x在向量v上的投影，如果当v选择恰当时，x的最大差异化也将能够在其向v上的投影表现出来。x相对于该组样本数据X的最大数据差异如公式所示：
Figure BDA0003019419760000071
式中μ表示一组X的平均值。而基于主成分分析方法(Principal ComponentAnalysis，PCA)的思想，其最优解应当是数据X的最大基向量。这样，寻找合适的向量v就成了寻找协方差矩阵
Figure BDA0003019419760000072
的最大特征向量,其中Xu＝X-μ。基于特征分析公式如下所示：
Figure BDA0003019419760000081
我们能够得到我们的最大优化目标如下所示：
Figure BDA0003019419760000082
式中θ是前一个卷积残差节点的参数。这样，我们就能够得到路由损失函数(7)如公式所示：
Figure BDA0003019419760000083
式中第一项上应用指数函数使得最大化问题有界而第二项作为正则项引入。
这样我们能够实现根据人脸图像的数据特征进行路由分类，同时也能够使用反向传播的方法对网络进行优化。
本发明采用从人脸图像中提取真实人脸特征的方法来进行人脸活体检测，对一张人脸图像，如果提取的真实人脸特征图存在过量的缺失，其将被判别为欺骗攻击图像。为了实现这样的效果，我们使用了一个真实人脸特征图提取网络，其通过人脸图像与其对应的真实样本监督，训练深度神经网络使其能够在多次卷积之后从原图像中提取出其中的真实人脸特征图。
网络的输入是由图像的RGB颜色空间与HSV颜色空间联合组成的6通道输入，相较于RGB颜色空间，HSV颜色空间更接近人们对彩色的感知经验，能非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比，因此本文在RGB颜色空间的基础上增加HSV颜色空间。神经网络将6*256*256的输入经过多次卷积与三次最大池化后获得1*32*32的真实人脸特征图，为了使图像不同深度的特征都能够得到一定保留，将三次池化后的特征图联结后再进行卷积以提取最后输出的特征图。同时在神经网络结构中存在四个AT块，在其中对特征图进行池化与卷积操作生成注意力图，再用生成的注意力图对特征图进行优化，以增强神经网络对特征图中更重要部分的注意力。
在神经网络的训练阶段，使用网络提取到的真实人脸特征图G与真实样本监督M的差值设计损失函数来对神经网络进行优化如公式所示：
Figure BDA0003019419760000084
式中gx,y表示在G的(x,y)坐标上的像素值，而mx,y表示与其相对应的M上(x,y)坐标的像素值,N表示G上像素值的数量。在进行未知欺骗攻击检测时，计算得到的人脸特征图的L1范数值如公式所示：
Figure BDA0003019419760000085
通过计算得到L1范数值的作为欺骗检测依据，阈值设置为0.2，低于阈值的图像将被视为欺骗攻击图像。
在图像聚类网络模块与真实人脸特征分类网络中，分别使用了卷积残差模块与卷积残差机制，卷积网络结构能够保留图像中领域间的联系和空间的局部特征、具有良好的分类效果。随着网络层数的逐渐加深，网络可能会将主要的学习能力用来学习如何提取更加深度、更加局部的特征信息。但人脸是一个整体的结构，其各部分结构存在相关性，因此可能会丢失一些全局整体的特征信息。同时随着神经网络的深度逐渐增加，会出现梯度爆炸与梯度消失的现象。为了解决这个问题，在网络结构中增加了残差机制，使得在最终输出的真实人脸特征图中能够保存网络在较浅层提取到的更浅层、更全局的特征信息。
人脸是一个具有特定结构的几何体，大致能够分为眼睛部位、鼻子部位、嘴巴部位、耳朵部位、额头部位、脸颊部位和下巴部位。根据现实生活的经验，不同的部位在我们对人脸进行认知时起到的重要程度并不相同，基于手工设计特征对人脸进行的研究也证实了，基于人脸关键特征点的方法往往能够实现更好的效果。这说明，对我们将要提取的真实人脸特征，它在人脸图像中可能也并不是均匀分布。人脸各个部位，如眼睛部位、鼻子部位结构互不相同，即使人脸真实特征图是一种能够均匀分布的纹理特征，由于人脸部位结构差异，它们的分布也不会是均匀存在的。基于这样对真实人脸特征分布特征的分析，为了能够更好地从人脸图像中提取真实人脸特征图，引入了注意力机制使得神经网络能够更好地专注于重要的真实人脸特征信息而不去收到不相关特征信息的干扰。注意力机制原理能够通过人类的视觉机制进行非常直观形象地理解。在通过视觉对任何事物进行认知时，会更加专注于认知相关的事物关键点，而很少对那些无关的部分加以关注，例如，当通过人脸辨别他人身份时，会更加关注五官这种关键特征点而很少通过人脸上的雀斑、肤质等特征，当阅读书籍时，的注意力会集中在文字之上而不会去仔细观察纸张的纹路、打印的装饰花纹。将注意力模块设置在对输入进行卷积提取特征操作与池化下采样操作之后，作为一个特征提取模块的最后组成部分，使得神经网络能够将运算资源投入更重要的特征信息。
注意力模块对输入的特征图进行平均池化处理后通过一层卷积层生成注意力图，再用注意力图与输入特征图做元素级的相乘操作，将特征图与注意力图的元素各自相乘，得到更注重重要特征信息的新特征图作为输出。以第一个特征提取模块中的注意力模块为例，注意力模块前的最大池化层下采样后得到64*128*128的特征图，64*128*128的特征图输入注意力模块后经过平均池化与卷积后生成64*128*128的注意力图，使用注意力图与原特征图做像素级的相乘后获得64*128*128的新特征图。
为了能够使用神经网络从人脸图像中提取真实人脸特征图，需要使用反向传播的方法利用真正的真实人脸特征图与预测的真实人脸特征图之间的误差对神经网络进行反向优化，而我们无法得到真正的真实人脸特征，因此，使用人脸深度图作为监督标签对神经网络进行监督优化。使用人脸深度图作为监督标签是因为它具备与真正的真实人脸特征图相似的特征。首先，真实人脸特征图是活体真实人脸的特征，所以真实人脸特征应该仅仅分布在人脸区域，而其他区域不存在真实人脸特征。同时由于真实人脸是一个完整的结构，不带有任何欺骗操作痕迹，因此活体人脸的整个人脸区域都应该存在真实人脸特征。所以，真实人脸特征图应该仅位于人脸区域且具备完整的人脸区域形状。同时，活体人脸是一个三维的立体物体，存在凹凸结构，同时其上存在眼睛、鼻子、嘴巴等器官，由于活体的这种结构特征，真实人脸特征图应该具备类似人脸结构的特征，具有一定三维结构，同时眼睛、鼻子、嘴巴等部位的真实人脸特征应该也具有类似器官的结构。人脸深度图具备以上所描述的真正的真实人脸特征图所具有的特征，因此使用它作为训练集中真实人脸图像的监督标签，其应该能够更接近地表达真实人脸特征图；而对于训练集中的虚假人脸图像，使用全0图作为监督标签。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于深度学习的未知欺骗攻击人脸活体检测方法，其特征在于：包括以下步骤：
S1：将带有人脸图片集合的数据集划分为训练集和测试集，并进行预处理；
S2：将预处理后的训练集输入到图像聚类网络中，由图像聚类网络中的卷积残差节点提取人脸图片的数据特征；
S3：图像聚类网络中的树路由节点根据提取得到的数据特征将人脸图像分类路由入具有相似真实人脸特征缺失的聚类中；
S4：将人脸图像输入其所分类入的聚类对应的真实人脸特征分类网络；
S5：通过聚类对应的真实人脸特征分类网络，从输入的人脸图像中提取对应的真实人脸特征图；
S6：根据提取得到的真实人脸特征图完整性判断对输入人脸图像做出预测分类；
S7：通过反向传播的方法分别优化图像聚类网络和四个真实人脸特征分类网络，并进行多轮训练与优化；
S8：将测试集输入到训练好的图像聚类网络和实人脸特征分类网络中，输出预测结果，并与测试集数据标签对比，量化分类检测效果。
2.根据权利要求1所述基于深度学习的未知欺骗攻击人脸活体检测方法，其特征在于：所述预处理包括：对训练集和测试集中的所有图片都由RGB三颜色通道增加为RGB-HSV六颜色通道，对训练集中的图片进行处理生成人脸深度图，作为监督标签，并与网络的预测标签计算误差，对网络进行反向传播优化。
3.根据权利要求1所述基于深度学习的未知欺骗攻击人脸活体检测方法，其特征在于：所述树路由节点根据欺骗图像的特征差异，将特征相似的欺骗图像聚成四类，共进行两次二分路由；
在使用人脸图片进行训练与检测时，对于每一组样本，都根据每一个样本相对于整组样本的最大数据差异进行一次二分路由；
所述二分路由的步骤包括：
首先通过卷积残差节点对输入的样本数据进行三次卷积操作，并在每次卷积之后将卷积前的数据与之相加，再进行一次最大池化，从而提取到样本数据更深层次的特征；
然后通过树路由节点根据每个样本x对于该组样本数据X的最大数据差异进行二分路由；
对于每个样本x，xTv相当于x在向量v上的投影，如果当v选择恰当时，x的最大差异化也将能够在其向v上的投影表现出来；x相对于该组样本数据X的最大数据差异如公式所示：
Figure FDA0003019419750000021
式中μ表示一组X的平均值；
寻找协方差矩阵
Figure FDA0003019419750000022
的最大特征向量作为合适的向量v，其中Xu＝X-μ；基于特征分析的公式如下：
Figure FDA0003019419750000023
得到最大优化目标：
Figure FDA0003019419750000024
式中θ是前一个卷积残差节点的参数；
得到路由损失函数：
Figure FDA0003019419750000025
式中第一项应用指数函数使得最大化问题有界，第二项作为正则项引入。
4.根据权利要求1所述基于深度学习的未知欺骗攻击人脸活体检测方法，其特征在于：在神经网络的训练阶段，使用提取到的真实人脸特征图G与真实样本监督M的差值设计损失函数来对神经网络进行优化，如下所示：
Figure FDA0003019419750000026
式中gx，y表示在G的(x，y)坐标上的像素值，mx，y表示与其相对应的M上(x，y)坐标的像素值，N表示G上像素值的数量；在进行未知欺骗攻击检测时，计算得到的人脸特征图的L1范数值如下所示：
Figure FDA0003019419750000027
通过计算得到L1范数值的作为欺骗检测依据，设定阈值，低于阈值的图像被视为欺骗攻击图像。
5.根据权利要求1所述基于深度学习的未知欺骗攻击人脸活体检测方法，其特征在于：所述真实人脸特征分类网络对输入数据进行卷积提取特征操作与池化下采样操作之后，还加入注意力机制，对输入的特征图进行平均池化处理后通过一层卷积层生成注意力图，再用注意力图与输入特征图做元素级的相乘操作，将特征图与注意力图的元素各自相乘，得到更注重重要特征信息的新特征图作为输出。
6.一种基于深度学习的未知欺骗攻击人脸活体检测系统，其特征在于：包括：
数据预处理模块：用于对输入数据集进行处理，获取原始图像信息，获取训练集和测试集，为人脸图片数据增加HSV通道信息，为训练集中图片生成真实人脸特征分类网络模块训练优化所需的监督标签；
图像聚类网络模块：包括卷积残差模块与路由模块，其中卷积残差模块用于提取数据特征，路由模块用于根据数据特征对图像进行分类路由；
真实人脸特征分类网络模块：通过使用注意力机制模块与卷积残差机制从人脸图像中提取得到真实人脸特征图。
7.根据权利要求6所述的基于深度学习的未知欺骗攻击人脸活体检测系统，其特征在于：所述预处理模块用于对训练集和测试集中的所有图片都由RGB三颜色通道增加为RGB-HSV六颜色通道，对训练集中的图片进行处理生成人脸深度图，作为监督标签，并与网络的预测标签计算误差，对网络进行反向传播优化。
8.根据权利要求6所述的基于深度学习的未知欺骗攻击人脸活体检测系统，其特征在于：在所述图像聚类网络模块中，所述路由模块根据欺骗图像的特征差异，将特征相似的欺骗图像聚成四类，共进行两次二分路由；
在使用人脸图片进行训练与检测时，对于每一组样本，都根据每一个样本相对于整组样本的最大数据差异进行一次二分路由；
所述二分路由的步骤包括：
首先通过卷积残差节点对输入的样本数据进行三次卷积操作，并在每次卷积之后将卷积前的数据与之相加，再进行一次最大池化，从而提取到样本数据更深层次的特征；
然后通过路由模块根据每个样本x对于该组样本数据X的最大数据差异进行二分路由；
对于每个样本x，xTv相当于x在向量v上的投影，如果当v选择恰当时，x的最大差异化也将能够在其向v上的投影表现出来；x相对于该组样本数据X的最大数据差异如公式所示：
Figure FDA0003019419750000031
式中μ表示一组X的平均值；
寻找协方差矩阵
Figure FDA0003019419750000032
的最大特征向量作为合适的向量v，其中Xu＝X-μ；基于特征分析的公式如下：
Figure FDA0003019419750000033
得到最大优化目标：
Figure FDA0003019419750000034
式中θ是前一个卷积残差模块的参数；
得到路由损失函数：
Figure FDA0003019419750000035
式中第一项应用指数函数使得最大化问题有界，第二项作为正则项引入。
9.根据权利要求6所述的基于深度学习的未知欺骗攻击人脸活体检测系统，其特征在于：所述真实人脸特征分类网络模块对输入数据进行卷积提取特征操作与池化下采样操作之后，还加入注意力机制，对输入的特征图进行平均池化处理后通过一层卷积层生成注意力图，再用注意力图与输入特征图做元素级的相乘操作，将特征图与注意力图的元素各自相乘，得到更注重重要特征信息的新特征图作为输出。
CN202110410718.8A 2021-04-14 2021-04-14 一种人脸未知欺骗攻击活体检测方法及系统 Active CN113312965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110410718.8A CN113312965B (zh) 2021-04-14 2021-04-14 一种人脸未知欺骗攻击活体检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110410718.8A CN113312965B (zh) 2021-04-14 2021-04-14 一种人脸未知欺骗攻击活体检测方法及系统

Publications (2)

Publication Number Publication Date
CN113312965A true CN113312965A (zh) 2021-08-27
CN113312965B CN113312965B (zh) 2023-04-28

Family

ID=77372524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110410718.8A Active CN113312965B (zh) 2021-04-14 2021-04-14 一种人脸未知欺骗攻击活体检测方法及系统

Country Status (1)

Country Link
CN (1) CN113312965B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486875A (zh) * 2021-09-08 2021-10-08 浙江大学 基于词分离和自适应的跨域人脸表示攻击检测方法和系统
CN113554006A (zh) * 2021-09-18 2021-10-26 北京的卢深视科技有限公司 人脸假体体系构建方法、电子设备及存储介质
CN114067444A (zh) * 2021-10-12 2022-02-18 中新国际联合研究院 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN114092994A (zh) * 2021-10-13 2022-02-25 北京工业大学 一种基于多视角特征学习的人脸活体检测方法
CN114170664A (zh) * 2021-12-11 2022-03-11 南京行者易智能交通科技有限公司 一种基于自注意力机制进行链接预测的人脸图像聚类方法及装置
CN114758387A (zh) * 2022-04-02 2022-07-15 华南理工大学 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN109117755A (zh) * 2018-07-25 2019-01-01 北京飞搜科技有限公司 一种人脸活体检测方法、系统和设备
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法
CN111160102A (zh) * 2019-11-29 2020-05-15 北京爱笔科技有限公司 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN111428689A (zh) * 2020-04-20 2020-07-17 重庆邮电大学 一种多池化信息融合的人脸图像特征提取方法
CN111814574A (zh) * 2020-06-12 2020-10-23 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
US20200364478A1 (en) * 2019-03-29 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for liveness detection, device, and storage medium
US20210064901A1 (en) * 2019-08-29 2021-03-04 PXL Vision AG Facial liveness detection with a mobile device
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN109117755A (zh) * 2018-07-25 2019-01-01 北京飞搜科技有限公司 一种人脸活体检测方法、系统和设备
US20200364478A1 (en) * 2019-03-29 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for liveness detection, device, and storage medium
CN110309798A (zh) * 2019-07-05 2019-10-08 中新国际联合研究院 一种基于域自适应学习和域泛化的人脸欺骗检测方法
US20210064901A1 (en) * 2019-08-29 2021-03-04 PXL Vision AG Facial liveness detection with a mobile device
CN111160102A (zh) * 2019-11-29 2020-05-15 北京爱笔科技有限公司 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN111428689A (zh) * 2020-04-20 2020-07-17 重庆邮电大学 一种多池化信息融合的人脸图像特征提取方法
CN111814574A (zh) * 2020-06-12 2020-10-23 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLEGS NIKISINS等: "On Effectiveness of Anomaly Detection Approaches against Unseen Presentation Attacks in Face Anti-spoofing", 《2018 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB)》 *
YAOJIE LIU等: "Deep Tree Learning for Zero-shot Face Anti-Spoofing", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
黄振文: "Android端人脸识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486875A (zh) * 2021-09-08 2021-10-08 浙江大学 基于词分离和自适应的跨域人脸表示攻击检测方法和系统
CN113554006A (zh) * 2021-09-18 2021-10-26 北京的卢深视科技有限公司 人脸假体体系构建方法、电子设备及存储介质
CN114067444A (zh) * 2021-10-12 2022-02-18 中新国际联合研究院 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN114092994A (zh) * 2021-10-13 2022-02-25 北京工业大学 一种基于多视角特征学习的人脸活体检测方法
CN114170664A (zh) * 2021-12-11 2022-03-11 南京行者易智能交通科技有限公司 一种基于自注意力机制进行链接预测的人脸图像聚类方法及装置
CN114758387A (zh) * 2022-04-02 2022-07-15 华南理工大学 基于单帧rgb图像的轻量级人脸反欺诈方法及装置
CN114758387B (zh) * 2022-04-02 2024-03-29 华南理工大学 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Also Published As

Publication number Publication date
CN113312965B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109583342B (zh) 基于迁移学习的人脸活体检测方法
CN113312965B (zh) 一种人脸未知欺骗攻击活体检测方法及系统
Yang et al. MTD-Net: Learning to detect deepfakes images by multi-scale texture difference
CN107423690B (zh) 一种人脸识别方法及装置
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
Bi et al. Rethinking camouflaged object detection: Models and datasets
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
CN109934195A (zh) 一种基于信息融合的反欺骗三维人脸识别方法
CN109117755B (zh) 一种人脸活体检测方法、系统和设备
JP2000003452A (ja) デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN112329851B (zh) 一种图标检测方法、装置及计算机可读存储介质
CN114998934B (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN108416291A (zh) 人脸检测识别方法、装置和系统
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
CN115482595B (zh) 一种基于语义分割的特定人物视觉伪造检测与鉴别方法
Peng et al. Presentation attack detection based on two-stream vision transformers with self-attention fusion
CN115147936A (zh) 一种活体检测方法、电子设备、存储介质及程序产品
CN115116092A (zh) 基于人眼立体视觉的真伪行人智能识别方法及仿生模型
CN113420582B (zh) 用于掌静脉识别的防伪检测方法及其系统
CN106548130A (zh) 一种视频图像提取及识别方法与系统
CN111914646A (zh) 一种基于光场图像序列的双流融合网络虹膜活体检测方法
CN114519897B (zh) 基于颜色空间融合及循环神经网络的人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant