CN108038456B - 一种人脸识别系统中的防欺骗方法 - Google Patents
一种人脸识别系统中的防欺骗方法 Download PDFInfo
- Publication number
- CN108038456B CN108038456B CN201711375804.XA CN201711375804A CN108038456B CN 108038456 B CN108038456 B CN 108038456B CN 201711375804 A CN201711375804 A CN 201711375804A CN 108038456 B CN108038456 B CN 108038456B
- Authority
- CN
- China
- Prior art keywords
- face
- training
- model
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000013461 design Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract 1
- 230000002265 prevention Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种人脸识别系统中的防欺骗方法,其具体步骤分为:获取图像并做归一化处理、特征提取阶段、模型设计阶段、训练阶段、预测阶段;其中,特征提取阶段用于提取颜色多样性特征、模糊程度特征、图片矩特征、清晰度特征、光谱特征、镜面特征以及卷积特征这七种特征。本发明本发明将residual‑mlp网络与人脸微纹理特征、支持向量机配合使用,极大地提高了人脸活体检测的精确度与速度,并且能够达到更好的检测效果。此外,本发明不需要增添摄像头以外的硬件设备,且不需要待测人员配合就能够达到超实时的人脸活体检测速度,可以解决现有技术中活体检测时间长、需要增添硬件以及检测能力不强的问题。
Description
技术领域
本发明涉及一种防欺骗方法,尤其涉及一种人脸识别系统中的防欺骗方法,属于机器视觉技术领域。
背景技术
人脸识别以其快速性、有效性、用户友好性,逐渐成为了一种重要的加解密方式,但是目前许多人脸识别系统无法辨别人脸的真伪,因此,为了防止由假人脸引起的视觉欺骗,在人脸识别系统中引入活体检测方法将会提高人脸识别的实用性与安全性。目前人脸活体检测的主要方法有:
(1)基于视频流交互式的主动活体检测:首先系统进行人脸检测及人脸关键点定位,如果视频中存在人脸,则随机生成若干个动作,如果测试人员在规定时间内完成指定动作,则系统判定测试人员为活体,反之则判定为非活体。但是这种检测方法需要用户配合,且用时较长。
(2)基于亮瞳效应的人脸活体检测方法:通过检测人脸的眼睛区域是否存在亮瞳效应来区分活体人脸与非活体人脸。这种检测方法需要增加额外的光源设备,存在成本较高的缺陷。
(3)基于图像失真分析的人脸欺骗检测方法:首先系统进行人脸检测及人脸关键点定位。如果图片中存在人脸的话,则提取图片中的4种特征(镜面反射特征、模糊程度特征、矩特征、颜色多样性特征),应用支持向量机进行训练和预测。该方法提取的特征相对简单,判别能力不强且泛化能力不强,因此不能很好的在现实场景中应用。
发明内容
为了解决上述技术所存在的不足之处,本发明提供了一种人脸识别系统中的防欺骗方法。
为了解决以上技术问题,本发明采用的技术方案是:一种人脸识别系统中的防欺骗方法,具体步骤为:
步骤S1、获取图像并做归一化处理:
通过摄像头设备获取RGB图像,然后将获取的RGB图像输入到cascade CNN人脸检测模块;人脸检测模块在RGB图像上进行人脸检测,若检测到人脸,则将图中的人脸区域图片输入给深度神经网络进行人脸关键点定位,并通过计算关键点到标准关键点的仿射变换,将不同姿态下的人脸图片变换到标准姿态下的人脸图片;
步骤S2、特征提取阶段:
提取以下七种特征:
a、颜色多样性特征:从颜色分布中抽取如下两种特征:最常出现的60种颜色的像素个数占总像素点个数的百分比;人脸图片中出现的所有颜色个数;
b、模糊程度特征:首先计算输入图片相邻像素间的颜色变化程度,然后对该图片进行低通滤波器处理,并计算经过低通滤波器处理后的相邻像素间颜色变化程度;再将原始输入图片和模糊图片的相邻像素间的变化程度总和进行对比,将此对比结果作为模糊程度特征;
c、图片矩特征:保存RGB图片每个颜色通道的第一二三个中心矩特征;第一个矩特征是均值,即图片的平均颜色,第二个矩特征是每个颜色通道的方差,第三个中心矩特征是每个颜色通道的偏度;
d、清晰度特征:应用Tenengrad梯度方法计算人脸的清晰度程度;
e、光谱特征:在RGB视频的绿色通道中对人脸进行跟踪,检测人脸关键点,选择人脸前额、左脸颊、右脸颊、左耳旁、右耳旁的五个区域检测PPG信号;然后计算光谱特征,在得到五个区域的PPG信号后,进行减均值运算,并通过一个0.5Hz到5Hz的带通滤波器,从而变成五组新的信号;将这五组新信号作为光谱特征;
f、镜面特征:基于双色反射模型,光照在物体特定位置x的反射率I可以分解为漫反射分量Id和镜面反射分量Is:
I(x)=Id+Is=wd(x)S(x)E(x)+ws(x)E(x) 公式一
其中,E(x)是入射光强度,wd(x)和ws(x)分别是漫反射和镜面反射的权重系数,S(x)是局部漫反射率;
按照以下方式建模,从真实人脸图像重获取得到2D攻击人脸:
I'(x)=I'd+I's=F(I(x))+w's(x)E'(x) 公式二
由于漫反射可以由原始图像的扭曲变换决定,因此,用F(I(x))替换I’d;
对于打印照片的攻击人脸,I(x)首先转化为印刷油墨在纸张上的强度,然后通过纸张表面的漫反射达到最终的图像强度;对于视频攻击,I(x)转化为在LCD屏幕的像素的辐射强度;同样的,镜面反射也会由于攻击介质的表面不同而区别于真实人脸;对于单张图像首先分离出镜面反射分量,然后计算镜面反射分量中像素点的比例、镜面反射像素平均强度和方差作为镜面反射特征;
g、卷积特征:整理用于训练卷积网络的数据;将训练数据输入给建立的卷积网络开始训练;将摄像头读入的图像输入给训练过的卷积神经网络模型;提取卷积神经网络输出的特征向量;
步骤S3、模型设计阶段:
residual-mlp模型设计如下:模型整体记为M,其由深度神经网络A和residual结构C两部分组成;在神经网络A的每两层间增加一个residual结构C,将原始神经网络所要学的函数H(x)转换成F(x)+x,增加residual结构并不会给网络增加额外的参数和计算量,但是F(x)的优化会比H(x)更加简单,在很大程度上增加了模型的训练速度,提高了训练效果,在模型的层数加深时,很好的解决了消失梯度问题;
步骤S4、训练阶段:
训练阶段包括以下步骤:
S41、将带有标注信息的人脸活体检测图像集合D分为训练集T和校验集V;
S42、将residual-mlp网络模型记为M,则其共有M1,…Mn层;模型对输入的人脸图像P提取人脸微纹理特征组合I,经过模型的各层后输出识别结果O,每一层网络都由很多神经元组成,每个神经元都有预设的权值,然后根据当前网络输出与输入特征的标签差异应用批次随机梯度下降方法算法进行模型训练,不断的调整这些权值;
S43、利用校验集V验证模型训练效果,即当模型在校验集V上获得较好的活体检测精度并且该精度不能随着训练过程再提升时,停止训练;最终训练完成获得模型M’;
S44、在进行人脸活体检测时,支持向量机将找到一个线性分类的最佳超平面f(x)=x*w^t+b=0;首先通过两个分类点的最近点,找到f(x)的约束条件,然后通过拉格朗日乘子法和KKT条件进行求解,最终训练完成获得模型N’;
S45、经过训练后的residual-mlp网络M’与支持向量机N’,会对训练集中的图片微纹理特征有一个相对较好的识别结果;根据这两种分类器的识别结果与置信度在训练集上挑选出一个相对较好的融合权重,将residual-mlp网络与支持向量机相融合,最终训练完成获得模型B;
步骤S5、预测阶段:
首先通过摄像头读入RGB图像P,将图像P输入给人脸检测器,如果图像中存在人脸则对检测到的人脸进行归一化,得到归一化人脸图像C;提取归一化人脸图像C的七种微纹理特征I;将微纹理特征I输入步骤S45获得的融合分类器B,预测人脸活体检测的结果。
本发明将residual-mlp网络与人脸微纹理特征、支持向量机配合使用,极大地提高了人脸活体检测的精确度与速度;特别的,增加的residual结构可以使得模型达到更好的检测效果。此外,本发明使用的活体检测方法不需要增添摄像头以外的硬件设备,且不需要待测人员配合即能够达到超实时的人脸活体检测速度,与传统技术相比具有检测速度快、防欺骗识别精度高、节省检测成本的优点。
附图说明
图1为本发明的整体流程示意图。
图2为residual-mlp模型设计的过程展示图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1所示的一种人脸识别系统中的防欺骗方法,具体步骤为:
步骤S1、获取图像并做归一化处理:
通过摄像头设备获取RGB图像,然后将获取的RGB图像输入到cascade CNN人脸检测模块;人脸检测模块在RGB图像上进行人脸检测,若检测到人脸,则将图中的人脸区域图片输入给深度神经网络进行人脸关键点定位,并通过计算关键点到标准关键点的仿射变换,将不同姿态下的人脸图片变换到标准姿态下的人脸图片;
步骤S2、特征提取阶段:
提取以下七种特征:
a、颜色多样性特征:由于攻击媒介在展示人脸时通常会丢失彩色的多样性,从颜色分布中抽取如下两种特征:(1)最常出现的60种颜色的像素个数占总像素点个数的百分比;(2)人脸图片中出现的所有颜色个数;
b、模糊程度特征:攻击媒介通常距离摄像头较近,所以欺骗人脸会出现散交现象,因此本发明将模糊程度作为活体检测的一个线索,提取该特征的算法如下:首先计算输入图片相邻像素间的颜色变化程度,然后对该图片进行低通滤波器处理,并计算经过低通滤波器处理后的相邻像素间颜色变化程度;再将原始输入图片和模糊图片的相邻像素间的变化程度总和进行对比,将此对比结果作为模糊程度特征;
c、图片矩特征:保存RGB(红绿蓝三通道)图片每个颜色通道的第一二三个中心矩特征;第一个矩特征是均值,即图片的平均颜色,第二个矩特征是每个颜色通道的方差,第三个中心矩特征是每个颜色通道的偏度;
d、清晰度特征:应用Tenengrad梯度方法计算人脸的清晰度程度。该方法利用solel算子分别计算水平和垂直方向的梯度,同一场景下梯度值越高,则图像越清晰
e、光谱特征:血液流动会带来的人脸皮肤颜色发生细微变化,这种细微变化产生的信号称为PPG(photoplethysmogram)信号,PPG信号只能够在真实的人脸视频中检测到。光线经过皮肤后,有些光会被反射,而面部有覆盖物品的话,光源会被覆盖物体反射或者吸收,从而不会检测到足够的光源,该特征的提取算法步骤如下:(1)在RGB视频的绿色通道中对人脸进行跟踪,检测人脸关键点,选择人脸前额、左脸颊、右脸颊、左耳旁、右耳旁的五个区域检测PPG信号;(2)然后计算光谱特征,在得到五个区域的PPG信号后,进行减均值运算,并通过一个0.5Hz到5Hz的带通滤波器,从而变成五组新的信号;(3)将这五组新信号作为光谱特征;
f、镜面特征:基于双色反射模型,光照在物体特定位置x的反射率I可以分解为漫反射分量Id和镜面反射分量Is:
I(x)=Id+Is=wd(x)S(x)E(x)+ws(x)E(x) 公式一
其中,E(x)是入射光强度,wd(x)和ws(x)分别是漫反射和镜面反射的权重系数,S(x)是局部漫反射率;
按照以下方式建模,从真实人脸图像重获取得到2D攻击人脸:
I'(x)=I'd+I's=F(I(x))+w's(x)E'(x) 公式二
由于漫反射可以由原始图像的扭曲变换决定,因此,用F(I(x))替换I’d;
对于打印照片的攻击人脸,I(x)首先转化为印刷油墨在纸张上的强度,然后通过纸张表面的漫反射达到最终的图像强度;对于视频攻击,I(x)转化为在LCD屏幕的像素的辐射强度;同样的,镜面反射也会由于攻击介质的表面不同而区别于真实人脸;对于单张图像首先分离出镜面反射分量,然后计算镜面反射分量中像素点的比例、镜面反射像素平均强度和方差作为镜面反射特征;
g、卷积特征:卷积神经网络是一种前馈神经网络,够得出原始图像的有效表征,这使得CNN能够直接从原始像素中准确地识别图片上的规律,对于图像处理具有出色表现。提取卷积神经网络特征主要步骤如下:(1)整理用于训练卷积网络的数据;(2)将训练数据输入给建立的卷积网络开始训练;(3)将摄像头读入的图像输入给训练过的卷积神经网络模型;(4)提取卷积神经网络输出的特征向量;
步骤S3、模型设计阶段:
residual-mlp模型设计如下:模型整体记为M,其由深度神经网络A和residual结构C两部分组成,如图2所示;在神经网络A的每两层间增加一个residual结构C,将原始神经网络所要学的函数H(x)转换成F(x)+x,增加residual结构并不会给网络增加额外的参数和计算量,但是F(x)的优化会比H(x)更加简单,在很大程度上增加了模型的训练速度,提高了训练效果,在模型的层数加深时,很好的解决了消失梯度问题;
步骤S4、训练阶段:
训练阶段包括以下步骤:
S41、将带有标注信息的人脸活体检测图像集合D分为训练集T和校验集V;
S42、将residual-mlp网络模型记为M,则其共有M1,…Mn层;模型对输入的人脸图像P提取人脸微纹理特征组合I,经过模型的各层后输出识别结果O,每一层网络都由很多神经元组成,每个神经元都有预设的权值,然后根据当前网络输出与输入特征的标签差异应用批次随机梯度下降方法算法进行模型训练,不断的调整这些权值;
S43、利用校验集V验证模型训练效果,即当模型在校验集V上获得较好的活体检测精度并且该精度不能随着训练过程再提升时,停止训练;最终训练完成获得模型M’;
S44、在进行人脸活体检测时,支持向量机将找到一个线性分类的最佳超平面f(x)=x*w^t+b=0;首先通过两个分类点的最近点,找到f(x)的约束条件,然后通过拉格朗日乘子法和KKT条件进行求解,最终训练完成获得模型N’;
S45、经过训练后的residual-mlp网络M’与支持向量机N’,会对训练集中的图片微纹理特征有一个相对较好的识别结果;根据这两种分类器的识别结果与置信度在训练集上挑选出一个相对较好的融合权重,将residual-mlp网络与支持向量机相融合,最终训练完成获得模型B;将两种分类器融合后的效果比单一的分类器识别效果更好;
步骤S5、预测阶段:
首先通过摄像头读入RGB图像P,将图像P输入给人脸检测器,如果图像中存在人脸则对检测到的人脸进行归一化,得到归一化人脸图像C;提取归一化人脸图像C的七种微纹理特征I;将微纹理特征I输入步骤S45获得的融合分类器B,预测人脸活体检测的结果。
本发明提出了一种residual-mlp与传统支持向量机相融合的分类器,并利用人脸纹理特征进行人脸活体检测的方法及系统,它与现有技术相比,其关键点以及创新点如下:
一、人脸的微纹理特征:1)人脸的微纹理特征包括:模糊程度特征、图片矩特征、颜色多样性、图像清晰度特征、镜面反射特征、光谱特征、卷积特征;2)该特征从归一化的人脸图片中计算得到。利用上述特征可以极大地提升人脸活体检测的精度与速度,特别的,该方法不需要增添摄像头以外的硬件设备,且不需要待测试人员配合。
二、residual-mlp活体检测框架:该活体检测框架在传统神经网络的基础上,增加了residual(残差)结构,可以解决传统活体检测模型在层数加深时,错误率反而提高的问题,使得模型达到更好的检测效果。
三、residual-mlp与传统支持向量机相融合的分类器:利用residual-mlp与传统支持向量机相融合的分类器对人脸的真实性进行分类,二者的融合相对于单一分类器具有更好的活体检测效果。
上述实施方式并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换,也均属于本发明的保护范围。
Claims (1)
1.一种人脸识别系统中的防欺骗方法,其特征在于:所述方法的具体步骤为:
步骤S1、获取图像并做归一化处理:
通过摄像头设备获取RGB图像,然后将获取的RGB图像输入到cascade CNN人脸检测模块;人脸检测模块在RGB图像上进行人脸检测,若检测到人脸,则将图中的人脸区域图片输入给深度神经网络进行人脸关键点定位,并通过计算关键点到标准关键点的仿射变换,将不同姿态下的人脸图片变换到标准姿态下的人脸图片;
步骤S2、特征提取阶段:
提取以下七种特征:
a、颜色多样性特征:从颜色分布中抽取如下两种特征:最常出现的60种颜色的像素个数占总像素点个数的百分比;人脸图片中出现的所有颜色个数;
b、模糊程度特征:首先计算输入图片相邻像素间的颜色变化程度,然后对该图片进行低通滤波器处理,并计算经过低通滤波器处理后的相邻像素间颜色变化程度;再将原始输入图片和模糊图片的相邻像素间的变化程度总和进行对比,将此对比结果作为模糊程度特征;
c、图片矩特征:保存RGB图片每个颜色通道的第一二三个中心矩特征;第一个矩特征是均值,即图片的平均颜色,第二个矩特征是每个颜色通道的方差,第三个中心矩特征是每个颜色通道的偏度;
d、清晰度特征:应用Tenengrad梯度方法计算人脸的清晰度程度;
e、光谱特征:在RGB视频的绿色通道中对人脸进行跟踪,检测人脸关键点,选择人脸前额、左脸颊、右脸颊、左耳旁、右耳旁的五个区域检测PPG信号;然后计算光谱特征,在得到五个区域的PPG信号后,进行减均值运算,并通过一个0.5Hz到5Hz的带通滤波器,从而变成五组新的信号;将这五组新信号作为光谱特征;
f、镜面特征:基于双色反射模型,光照在物体特定位置x的反射率I可以分解为漫反射分量Id和镜面反射分量Is:
I(x)=Id+Is=wd(x)S(x)E(x)+ws(x)E(x) 公式一
其中,E(x)是入射光强度,wd(x)和ws(x)分别是漫反射和镜面反射的权重系数,S(x)是局部漫反射率;
按照以下方式建模,从真实人脸图像重获取得到2D攻击人脸:
I'(x)=I'd+I's=F(I(x))+w's(x)E'(x) 公式二
由于漫反射可以由原始图像的扭曲变换决定,因此,用F(I(x))替换I’d;
对于打印照片的攻击人脸,I(x)首先转化为印刷油墨在纸张上的强度,然后通过纸张表面的漫反射达到最终的图像强度;对于视频攻击,I(x)转化为在LCD屏幕的像素的辐射强度;同样的,镜面反射也会由于攻击介质的表面不同而区别于真实人脸;对于单张图像首先分离出镜面反射分量,然后计算镜面反射分量中像素点的比例、镜面反射像素平均强度和方差作为镜面反射特征;
g、卷积特征:整理用于训练卷积网络的数据;将训练数据输入给建立的卷积网络开始训练;将摄像头读入的图像输入给训练过的卷积神经网络模型;提取卷积神经网络输出的特征向量;
步骤S3、模型设计阶段:
residual-mlp模型设计如下:模型整体记为M,其由深度神经网络A和residual结构C两部分组成;在神经网络A的每两层间增加一个residual结构C,将原始神经网络所要学的函数H(x)转换成F(x)+x,增加residual结构并不会给网络增加额外的参数和计算量,但是F(x)的优化会比H(x)更加简单,在很大程度上增加了模型的训练速度,提高了训练效果,在模型的层数加深时,很好的解决了消失梯度问题;
步骤S4、训练阶段:
训练阶段包括以下步骤:
S41、将带有标注信息的人脸活体检测图像集合D分为训练集T和校验集V;
S42、将residual-mlp网络模型记为M,则其共有M1,…Mn层;模型对输入的人脸图像P提取人脸微纹理特征组合I,经过模型的各层后输出识别结果O,每一层网络都由很多神经元组成,每个神经元都有预设的权值,然后根据当前网络输出与输入特征的标签差异应用批次随机梯度下降方法算法进行模型训练,不断的调整这些权值;
S43、利用校验集V验证模型训练效果,即当模型在校验集V上获得较好的活体检测精度并且该精度不能随着训练过程再提升时,停止训练;最终训练完成获得模型M’;
S44、在进行人脸活体检测时,支持向量机将找到一个线性分类的最佳超平面f(x)=x*w^t+b=0;首先通过两个分类点的最近点,找到f(x)的约束条件,然后通过拉格朗日乘子法和KKT条件进行求解,最终训练完成获得模型N’;
S45、经过训练后的residual-mlp网络M’与支持向量机N’,会对训练集中的图片微纹理特征有一个相对较好的识别结果;根据这两种分类器的识别结果与置信度在训练集上挑选出一个相对较好的融合权重,将residual-mlp网络与支持向量机相融合,最终训练完成获得模型B;
步骤S5、预测阶段:
首先通过摄像头读入RGB图像P,将图像P输入给人脸检测器,如果图像中存在人脸则对检测到的人脸进行归一化,得到归一化人脸图像C;提取归一化人脸图像C的七种微纹理特征I;将微纹理特征I输入步骤S45获得的融合分类器B,预测人脸活体检测的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375804.XA CN108038456B (zh) | 2017-12-19 | 2017-12-19 | 一种人脸识别系统中的防欺骗方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711375804.XA CN108038456B (zh) | 2017-12-19 | 2017-12-19 | 一种人脸识别系统中的防欺骗方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108038456A CN108038456A (zh) | 2018-05-15 |
CN108038456B true CN108038456B (zh) | 2024-01-26 |
Family
ID=62099948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711375804.XA Active CN108038456B (zh) | 2017-12-19 | 2017-12-19 | 一种人脸识别系统中的防欺骗方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038456B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875618A (zh) * | 2018-06-08 | 2018-11-23 | 高新兴科技集团股份有限公司 | 一种人脸活体检测方法、系统及装置 |
CN108921071A (zh) * | 2018-06-24 | 2018-11-30 | 深圳市中悦科技有限公司 | 人脸活体检测方法、装置、存储介质及处理器 |
CN109271863B (zh) * | 2018-08-15 | 2022-03-18 | 北京小米移动软件有限公司 | 人脸活体检测方法及装置 |
CN109255322B (zh) * | 2018-09-03 | 2019-11-19 | 北京诚志重科海图科技有限公司 | 一种人脸活体检测方法及装置 |
CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
CN109598242B (zh) * | 2018-12-06 | 2023-04-18 | 中科视拓(北京)科技有限公司 | 一种活体检测方法 |
CN109795830A (zh) * | 2019-03-04 | 2019-05-24 | 北京旷视科技有限公司 | 自动定位物流托盘的方法及装置 |
CN109977865B (zh) * | 2019-03-26 | 2023-08-18 | 江南大学 | 一种基于人脸颜色空间和度量分析的欺诈检测方法 |
CN109948566B (zh) * | 2019-03-26 | 2023-08-18 | 江南大学 | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 |
CN109993124B (zh) * | 2019-04-03 | 2023-07-14 | 深圳华付技术股份有限公司 | 基于视频反光的活体检测方法、装置及计算机设备 |
CN111967289A (zh) * | 2019-05-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 一种非配合式人脸活体检测方法及计算机存储介质 |
CN110263681B (zh) * | 2019-06-03 | 2021-07-27 | 腾讯科技(深圳)有限公司 | 面部表情的识别方法和装置、存储介质、电子装置 |
CN110569737A (zh) * | 2019-08-15 | 2019-12-13 | 深圳华北工控软件技术有限公司 | 一种人脸识别深度学习方法及加速人脸识别摄像机 |
CN110516619A (zh) * | 2019-08-29 | 2019-11-29 | 河南中原大数据研究院有限公司 | 一种cos-attack人脸识别攻击算法 |
CN110688946A (zh) * | 2019-09-26 | 2020-01-14 | 上海依图信息技术有限公司 | 基于图片识别的公有云静默活体检测设备和方法 |
CN111091047B (zh) * | 2019-10-28 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 活体检测方法、装置、服务器和人脸识别设备 |
CN110796648B (zh) * | 2019-10-28 | 2023-06-09 | 南京泓图人工智能技术研究院有限公司 | 一种基于黑色素提取的面部黄褐斑区域自动分割方法 |
CN110929680B (zh) * | 2019-12-05 | 2023-05-26 | 四川虹微技术有限公司 | 一种基于特征融合的人脸活体检测方法 |
CN110956149A (zh) * | 2019-12-06 | 2020-04-03 | 中国平安财产保险股份有限公司 | 宠物身份核验方法、装置、设备及计算机可读存储介质 |
CN112269975A (zh) * | 2020-03-31 | 2021-01-26 | 周亚琴 | 物联网人工智能人脸验证方法、系统及物联网云服务器 |
CN112001785A (zh) * | 2020-07-21 | 2020-11-27 | 小花网络科技(深圳)有限公司 | 一种基于图像识别的网贷欺诈识别方法及系统 |
CN111738735B (zh) * | 2020-07-23 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置和相关设备 |
CN112329612A (zh) * | 2020-11-03 | 2021-02-05 | 北京百度网讯科技有限公司 | 活体检测方法、装置及电子设备 |
CN113449707B (zh) * | 2021-08-31 | 2021-11-30 | 杭州魔点科技有限公司 | 活体检测方法、电子设备和存储介质 |
CN117935382B (zh) * | 2024-03-25 | 2024-07-09 | 中科数测(无锡)科技有限公司 | 一种基于光流图时空特征的人脸活体检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102819733A (zh) * | 2012-08-09 | 2012-12-12 | 中国科学院自动化研究所 | 一种快速的街景图像中人脸的检测模糊方法 |
CN103593598A (zh) * | 2013-11-25 | 2014-02-19 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
CN106650669A (zh) * | 2016-12-27 | 2017-05-10 | 重庆邮电大学 | 一种鉴别仿冒照片欺骗的人脸识别方法 |
CN106778683A (zh) * | 2017-01-12 | 2017-05-31 | 西安电子科技大学 | 基于改进lbp特征的快速多角度人脸检测方法 |
CN106874898A (zh) * | 2017-04-08 | 2017-06-20 | 复旦大学 | 基于深度卷积神经网络模型的大规模人脸识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080260212A1 (en) * | 2007-01-12 | 2008-10-23 | Moskal Michael D | System for indicating deceit and verity |
US9354778B2 (en) * | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
-
2017
- 2017-12-19 CN CN201711375804.XA patent/CN108038456B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102819733A (zh) * | 2012-08-09 | 2012-12-12 | 中国科学院自动化研究所 | 一种快速的街景图像中人脸的检测模糊方法 |
CN103593598A (zh) * | 2013-11-25 | 2014-02-19 | 上海骏聿数码科技有限公司 | 基于活体检测和人脸识别的用户在线认证方法及系统 |
CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
CN106650669A (zh) * | 2016-12-27 | 2017-05-10 | 重庆邮电大学 | 一种鉴别仿冒照片欺骗的人脸识别方法 |
CN106778683A (zh) * | 2017-01-12 | 2017-05-31 | 西安电子科技大学 | 基于改进lbp特征的快速多角度人脸检测方法 |
CN106874898A (zh) * | 2017-04-08 | 2017-06-20 | 复旦大学 | 基于深度卷积神经网络模型的大规模人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
Peter Wild等.Robust multimodal face and fingerprint fusion in the presence of spoofing attacks.Pattern Recognition: The Journal of the Pattern Recognition Society.2016,第17-25页. * |
吴继鹏等.基于FS-LBP特征的人脸活体检测方法.集美大学学报.2017,第22卷(第5期),第65-72页. * |
Also Published As
Publication number | Publication date |
---|---|
CN108038456A (zh) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
US11354917B2 (en) | Detection of fraudulently generated and photocopied credential documents | |
Zhang et al. | Face spoofing detection based on color texture Markov feature and support vector machine recursive feature elimination | |
US7715596B2 (en) | Method for controlling photographs of people | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
JP7197485B2 (ja) | 検出システム、検出装置およびその方法 | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
CN108416291A (zh) | 人脸检测识别方法、装置和系统 | |
CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
Chang et al. | Face anti-spoofing detection based on multi-scale image quality assessment | |
Hadiprakoso et al. | Face anti-spoofing using CNN classifier & face liveness detection | |
Yeh et al. | Face liveness detection based on perceptual image quality assessment features with multi-scale analysis | |
CN111832464A (zh) | 一种基于近红外摄像头的活体检测方法及装置 | |
TWI427545B (zh) | 以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法 | |
KR101343623B1 (ko) | 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치 | |
Tian et al. | Face anti-spoofing by learning polarization cues in a real-world scenario | |
Peng et al. | Presentation attack detection based on two-stream vision transformers with self-attention fusion | |
TWM592541U (zh) | 影像辨識系統 | |
Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
Erdogmus et al. | Spoofing attacks to 2D face recognition systems with 3D masks | |
Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
Berbar | Skin colour correction and faces detection techniques based on HSL and R colour components | |
Ji et al. | A cross domain multi-modal dataset for robust face anti-spoofing | |
Fahn et al. | A cross-dataset evaluation of anti-face-spoofing methods using random forests and convolutional neural networks | |
Huang et al. | Dual fusion paired environmental background and face region for face anti-spoofing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |