CN115761411A - 模型训练方法、活体检测方法、电子设备及存储介质 - Google Patents
模型训练方法、活体检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115761411A CN115761411A CN202211486526.6A CN202211486526A CN115761411A CN 115761411 A CN115761411 A CN 115761411A CN 202211486526 A CN202211486526 A CN 202211486526A CN 115761411 A CN115761411 A CN 115761411A
- Authority
- CN
- China
- Prior art keywords
- living body
- probability
- face
- feature
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例涉及图像识别领域,公开了一种模型训练方法、活体检测方法、电子设备及存储介质。模型训练方法包括:将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征;构建使属于活体的第一人脸特征和活体中心向量相互靠近、属于假体的第一人脸特征和活体中心向量相互远离的特征损失,使属于活体的第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的第二人脸特征的预测概率与活体概率中心相互远离的概率损失;根据特征损失和概率损失对活体检测网络进行训练,得到训练好的活体检测网络。提升了对复杂场景(硫酸纸真人攻击)活体检测的准确率。
Description
技术领域
本申请实施例涉及图像识别技术领域,特别涉及一种模型训练方法、活体检测方法、电子设备及存储介质。
背景技术
随着深度学习技术的高速发展,人脸识别技术已被广泛应用于人们的生产生活中,然而现有的人脸识别系统很容易受到打印、化妆、3D面具、3D头模、硫酸纸真人攻击等各种假体攻击手段,为了保证人脸识别系统的安全,人脸活体检测技术至关重要。目前常采用的活体检测手段包括:二分类的方法、基于异常检测的方法和基于生成模型的方法。
但二分类方法采用softmax损失进行分类,容易过拟合,对训练集中未出现的假体类型检测效果较差。基于异常检测的方法对复杂场景(如硫酸纸真人攻击)准确率不高。基于生成模型的方法,由于使用生成模型速度较慢,不适合实时性要求高的活体检测场合。
发明内容
本申请实施方式的目的在于提供一种模型训练方法、活体检测方法、电子设备及存储介质,提升了对复杂场景(如硫酸纸真人攻击)活体检测的准确率,且还能对训练集中未出现的假体具有较好的检测效果,鲁棒性好、检测速度快。
为解决上述技术问题,本申请的实施方式提供了一种模型训练方法,包括:将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征;构建使属于活体的所述第一人脸特征和活体中心向量相互靠近、属于假体的所述第一人脸特征和活体中心向量相互远离的特征损失,以及使属于活体的所述第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的所述第二人脸特征的预测概率与活体概率中心相互远离的概率损失;所述预测概率为所述第二人脸特征在活体和假体分类上的预测概率;根据所述特征损失和所述概率损失对所述活体检测网络进行训练,得到训练好的活体检测网络。
本申请的实施方式还提供了一种活体检测方法,包括:将待测人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到已训练好的活体检测网络中,得到第一人脸特征和第二人脸特征;计算所述第一人脸特征与活体中心向量之间的特征距离,以及所述第二人脸特征对应的预测概率与活体概率中心之间的概率距离;根据所述特征距离和所述概率距离,确定所述待测人脸红外图像的活体检测结果;其中所述活体检测网络、所述活体中心向量和所述活体概率中心均通过上述实施方式提供的模型训练方法获取。
本申请的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上述实施方式提及的模型训练方法,或者能够执行上述实施方式提及的活体检测方法。
本申请的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式提及的模型训练方法,或者能够执行上述实施方式提及的活体检测方法。
本申请实施方式提供的模型训练方法,对人脸红外图像进行分块处理和融合处理,将单通道的图像处理为多通道的第一处理图像,既促使活体检测网络学习更为细粒度的局部特征,又为提升活体检测网络在复杂场景的检测准确率提供基础。然后将第一处理图像输入到活体检测网络中得到第一人脸特征和第二人脸特征,训练时,使属于活体的第一人脸特征和活体中心向量相互靠近、属于假体的第一人脸特征和活体中心向量相互远离,同时又使属于活体的第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的第二人脸特征的预测概率与活体概率中心相互远离,如此训练可以显著地提升各活体之间的紧凑型、活体和假体之间的离散型,也就是说,让活体的人脸特征和活体中心向量尽可能相似,假体的人脸特征只要与活体的人脸特征尽可能不相似即可,而具体假体的人脸特征的位置、形式、组成等,本申请并不关注,这样训练得到的活体检测网络提升了对复杂场景(如硫酸纸真人攻击)活体检测的准确率,且还能对训练集中未出现的假体具有较好的检测效果,鲁棒性好、检测速度快。
另外,本申请实施方式提供的模型训练方法,所述多通道的第一处理图像通过如下步骤获取:获取所述人脸红外图像的预设关键点;其中所述预设关键点包括:左眼关键点、右眼关键点、嘴巴关键点和鼻子关键点;以所述人脸红外图像中每个预设关键点为中心,获取预设尺寸的多个图像块;将多个所述图像块按照预设顺序进行融合处理得到多通道的第一处理图像。本申请中人脸红外图像为单通道图像,将单通道的多个图像块进行融合处理得到多通道的第一处理图像,以促使活体检测网络学习更为细粒度的局部特征,提升复杂场景的活体检测准确率。
另外,本申请实施方式提供的模型训练方法,所述活体检测网络包括:特征提取网络、第一多层感知器和第二多层感知器,所述特征提取网络分别连接所述第一多层感知器和所述第二多层感知器所述将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征,包括:将所述第一处理图像输入到特征提取网络中,得到输出特征;将所述输出特征分别输入到所述第一多层感知器和所述第二多层感知器中,得到所述第一人脸特征和所述第二人脸特征。本申请的活体检测网络包括一个特征提取网络和两个多层感知器,通过训练就可以使结构简单的活体检测网络达到很好的活体检测效果。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请的实施方式提供的模型训练方法的流程图;
图2是本申请的实施方式提供的活体检测网络的结构示意图;
图3是本申请的实施方式提供的活体检测方法的流程图;
图4是本申请的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节,并非实施本方案的必须。
本申请的实施方式涉及一种模型训练方法,如图1所示,包括:
步骤101,将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征。
具体地说,人脸红外图像相比于其他形式的人脸图像,不受环境光照变化、人脸变化(如化妆、整容等)等因素影响,抗干扰性较强。本实施例在采集包含人脸红外图像的训练集时,既包括活体的人脸红外图像,又包括假体的人脸红外图像,而活体的人脸红外图像包括各种可能的情况和应用场景,如大姿态角、光照较暗、戴配饰、有刘海等等,同样地,假体的人脸红外图像也包括各种可能的假体类型和应用场景,如手机屏幕显示二维假体视频、平板屏幕显示二维假体图片、等比例打印二维假体图片、化妆、3D面具、3D头模、硫酸纸真人攻击等等。
其中硫酸纸真人攻击的方法是在硫酸纸上打印假体图片,将打印好的假体图片中的眼睛、鼻子和嘴巴部位裁剪下来贴到真实人脸上相应五官位置,以此来对活体检测系统进行攻击,即攻击时眼睛、鼻子和嘴巴部位为假体硫酸纸、而人脸上的其他部位为真实人脸五官。需要说明的是,由于硫酸纸强度高、纸质纯净、透明度好,将纸张贴在人脸上时与人脸贴合度较高,当硫酸纸上印有五官图像时,活体检测系统很难判别,识别准确率较低。
在获取到人脸红外图像后,需对其进行分块处理和融合处理得到第一处理图像,分块处理指的是将人脸红外图像按照预设尺寸分成多个图像块,融合处理是指将得到的多个图像块进行融合得到多通道的第一处理图像。由于人脸红外图像为单通道图像,因此预设尺寸的多个图像块也为单通道图像块,将单通道的多个图像块融合后得到多通道的第一处理图像,而具体第一处理图像的多通道的数量与融合的图像块的数量有关,如:将4个单通道的图像块融合得到4通道的第一处理图像。
进一步地,将处理后得到的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征,即活体检测网络为一个输入、两个输出的网络。
在一实施例中,将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的第一处理图像的处理过程包括:获取所述人脸红外图像的预设关键点;其中所述预设关键点包括:左眼关键点、右眼关键点、嘴巴关键点和鼻子关键点;以所述人脸红外图像中每个预设关键点为中心,获取预设尺寸的多个图像块;将多个所述图像块按照预设顺序进行融合处理得到多通道的第一处理图像。
具体地说,对人脸红外图像进行关键点检测,获取人脸红外图像上预设关键点的信息(位置、像素值等),预设关键点可以包括:左眼关键点、右眼关键点、嘴巴关键点和鼻子关键点。以预设关键点为中心,获取预设尺寸的多个图像块,其中每个图像块的预设尺寸可以相同,也可以不同。比如:将单通道的人脸红外图像1×224×224,分别以右眼关键点、左眼关键点、鼻子关键点和嘴巴关键点为中心按照预设尺96×96裁剪得到4个单通道的图像块1×96×96,然后将这4个图像块进行融合处理得到第一处理图像4×96×96。需要说明的是,在融合时,需要按照预设顺序对多个图像块进行融合。比如:预设顺序为嘴巴、左眼、右眼、鼻子,则融合时按照嘴巴图像块1×96×96、左眼图像块1×96×96、右眼图像块1×96×96、鼻子图像块1×96×96的顺序进行融合得到第一处理图像4×96×96。
由于图像可以用像素矩阵来描述,因此将4个单通道的图像块按照预设顺序进行融合处理得到1个4通道的第一处理图像,其可以理解为将4个单通道的像素矩阵按照预设顺序(预设尺寸的图像块)堆叠得到1个4通道的像素矩阵(与预设尺寸相同的第一处理图像)。
当然,本实施例中的预设关键点还可以包括其他人脸五官,如眉毛关键点、耳朵关键点等。
在一实施例中,活体检测网络包括:特征提取网络、第一多层感知器和第二多层感知器,所述特征提取网络分别连接所述第一多层感知器和所述第二多层感知器;所述将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征,包括:将所述第一处理图像输入到特征提取网络中,得到输出特征;将所述输出特征分别输入到所述第一多层感知器和所述第二多层感知器中,得到所述第一人脸特征和所述第二人脸特征。
本实施例中,活体检测网络包括特征提取网络、均与特征提取网络连接的第一多层感知器和第二多层感知器,第一多层感知器和第二多层感知器在模型结构上相同,但在训练时两个网络的损失约束不同。活体检测网络的结构示意图如图2所示。当然,本实施例只描述了活体检测网络中用于实现活体检测功能的主要网络,但不表示不包含用于辅助特征提取网络、第一多层感知器和第二多层感知器实现功能的其他网络,如平均池化层、批量归一化层等等。
步骤102,构建使属于活体的第一人脸特征和活体中心向量相互靠近、属于假体的第一人脸特征和活体中心向量相互远离的特征损失,以及使属于活体的第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的第二人脸特征的预测概率与活体概率中心相互远离的概率损失。
本实施例中,预测概率为第二人脸特征在活体和假体分类上的预测概率。预测概率可以通过将第二人脸特征输入分类器中获得,比如:预先规定活体的预测概率为1,假体的预测概率为0,则当分类器输出的预测概率为0.2时,表示对应的人脸红外图像有很大的可能为假体,当预测概率为0.9时,表示对应的人脸红外图像有很大可能为活体。需要注意的是,本实施例中提到的分类器不是活体检测网络包含的基本网络,其只是为了得到第二人脸特征在活体和假体分类上的预测概率,活体检测网络本身只对第一人脸特征和第二人脸特征进行约束训练。分类器只是协助计算而已。
训练的损失约束包括特征损失和概率损失,特征损失对第一人脸特征进行约束,概率损失对第二人脸特征进行约束,特征损失的约束为使属于活体的人脸红外图像对应的第一人脸特征和活体中心向量相互靠近、属于假体的人脸红外图像对应的第一人脸特征和活体中心向量相互远离,概率损失的约束为使属于活体的人脸红外图像对应的第二人脸特征的预测概率和活体概率中心相互靠近、属于假体的人脸红外图像对应的第二人脸特征的预测概率和活体概率中心相互远离。
其中,活体中心向量和活体概率中心在训练过程中是不断变化的,直至最终收敛才会比较稳定地趋向固定的值。即活体中心向量和活体概率中心是活体检测网络不断训练优化得到的。而对于假体中心向量和假体概率中心,本申请的活体检测网络并不对其进行训练和优化,也并不关注。
需要注意的是,对于第一人脸特征,特征损失的目的是最小化活体的第一人脸特征和活体中心向量之间的特征距离、最大化假体的第一人脸特征和活体中心向量之间的特征距离。对于第二人脸特征,概率损失的目的是最小化活体的第二人脸特征的预测概率和活体概率中心之间的概率分布距离、最大化假体的第二人脸特征的预测概率和活体概率中心之间的概率分布距离。
也就是说,对于第一人脸特征是从特征距离的角度去约束,对于第二人脸特征是从概率分布距离的角度去约束。特征距离可以是欧式距离、马氏距离、余弦距离等等,概率距离可以是KL散度(Kullback-Leibler Divergence)、JS散度、海林格距离等等。
步骤103,根据特征损失和概率损失对活体检测网络进行训练,得到训练好的活体检测网络。
本实施例中,对活体检测网络训练时采用深度学习领域常用的梯度下降法进行训练,约束为特征损失和概率损失,训练时总的损失函数为L=αL1+βL2,其中L1为特征损失对应的损失函数,L2为概率损失对应的损失函数,α、β为对应的权重参数,可以根据经验进行设置并在训练过程中进行调整,一般来说β大于α。当活体检测网络训练收敛时,说明活体检测网络已经训练好了,具体可以通过判断训练次数是否达到预设的训练次数、总的损失函数是否已不再有明显变化等方法来确定网络是否收敛。
在一实施例中,特征损失的损失函数通过如下公式构建:
其中,m为超参数,dlive为属于活体的第一人脸特征和活体中心向量之间的特征距离,dfake为属于假体的第一人脸特征和活体中心向量之间的特征距离,n为第一人脸特征的维度。特征距离包括但不限于欧式距离、马氏距离、余弦距离等等。
概率损失的损失函数通过如下公式构建:
L2=-log(sigmoid(Dfake-Dlive))+Dlive
其中,Dlive为属于活体的第二人脸特征的预测概率和活体概率中心之间的概率距离,Dfake为属于假体的第二人脸特征的预测概率和活体概率中心之间的概率距离,概率距离包括但不限于KL散度(Kullback-Leibler Divergence)、JS散度、海林格距离等等。
本申请实施方式提供的模型训练方法,对人脸红外图像进行分块处理和融合处理,将单通道的图像处理为多通道的第一处理图像,既促使活体检测网络学习更为细粒度的局部特征,又为提升活体检测网络在复杂场景的检测准确率提供基础。然后将第一处理图像输入到活体检测网络中得到第一人脸特征和第二人脸特征,训练时,使属于活体的第一人脸特征和活体中心向量相互靠近、属于假体的第一人脸特征和活体中心向量相互远离,同时又使属于活体的第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的第二人脸特征的预测概率与活体概率中心相互远离,如此训练可以显著地提升各活体之间的紧凑性、活体和假体之间的离散性,也就是说,让活体的人脸特征和活体中心向量尽可能相似,假体的人脸特征只要与活体的人脸特征尽可能不相似即可,而具体假体的人脸特征的位置、形式、组成等,本申请并不关注,这样训练得到的活体检测网络提升了对复杂场景(如硫酸纸真人攻击)活体检测的准确率,且还能对训练集中未出现的假体具有较好的检测效果,鲁棒性好、检测速度快。
本申请的实施方式涉及一种活体检测方法,如图3所示,包括:
步骤201,将待测人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到已训练好的活体检测网络中,得到第一人脸特征和第二人脸特征。
本实施例中,对待测人脸红外图像进行处理得到第一处理图像的过程与是训练阶段的图像处理过程完全相同,具体处理过程可以参考模型训练方法实施例的具体实施细节。
步骤202,计算第一人脸特征与活体中心向量之间的特征距离,以及第二人脸特征对应的预测概率与活体概率中心之间的概率距离。
本实施例中,活体检测网络、活体中心向量和活体概率中心均通过上述模型训练方法获取。活体检测网络为训练收敛的网络,在训练收敛后活体中心向量和活体概率中心也被训练收敛,稳定地趋向固定的值。
具体地说,特征距离可以是欧式距离、马氏距离、余弦距离等等,概率距离可以是KL散度(Kullback-Leibler Divergence)、JS散度、海林格距离等等。
步骤203,根据特征距离和概率距离,确定待测人脸红外图像的活体检测结果。
本实施例中,根据特征距离和概率距离可以确定待测人脸红外图像的活体检测结果。可以理解的是,在训练时,网络让活体的第一人脸特征和活体中心向量相互靠近、假体的第一人脸特征和活体中心向量相互远离,让活体的第二人脸特征的预测概率和活体概率中心相互靠近、假体的第二人脸特征的预测概率和活体概率中心相互远离,因此特征距离越小,说明待测人脸红外图像越有可能为活体,特征距离越大,待测人脸红外图像越有可能为假体,类似地,概率距离越小,说明待测人脸红外图像越有可能为活体,概率距离越大,待测人脸红外图像越有可能为假体。
在一实施例中,根据所述特征距离和所述概率距离确定所述待测人脸红外图像的活体检测结果,包括:当概率距离小于第一阈值时,确定待测人脸红外图像为活体;当概率距离大于第二阈值时,确定待测人脸红外图像为假体;当概率距离大于第一阈值且小于第二阈值时,根据特征距离确定待测人脸红外图像的活体检测结果;其中第一阈值小于第二阈值。
具体地说,概率距离相对于特征距离在活体检测方面具有更高的准确率,因此可以将概率距离可以看作为主分数,特征距离为辅分数。当然,由于特征距离和概率距离的计算维度不同,因此在判断之前需要将两个距离进行归一化处理。归一化处理后,一般将第一阈值设置为0.2,第二阈值设置为0.8。当然,第一阈值和第二阈值的设定可以根据应用场景、对检测严格程度的要求等因素进行调整。
进一步地,根据特征距离确定所述待测人脸红外图像的活体检测结果,包括:当特征距离小于第一阈值时,确定待测人脸红外图像为活体;当特征距离大于第二阈值时,确定待测人脸红外图像为假体。
本实施例中,当概率分布距离在第一阈值和第二阈值之间时,以特征距离为主要判断依据,其他情况则以概率距离为主要判断依据。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施方式涉及一种电子设备,如图4所示,包括:
至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有可被至少一个处理器301执行的指令,指令被至少一个处理器301执行,以使至少一个处理器301能够执行如上述实施方式提及的模型训练方法,或者能够执行上述实施方式提及的活体检测方法。
该电子设备包括:一个或多个处理器301以及存储器302,图4中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接,图4中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述模型训练方法或活体检测方法。
存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中,当被一个或者多个处理器301执行时,执行上述任意实施方式中的模型训练方法,或者能够执行上述实施方式提及的活体检测方法。
上述产品可执行本申请实施方式所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本申请实施方式所提供的方法。
本申请的实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述模型训练方法或活体检测方法。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征;
构建使属于活体的所述第一人脸特征和活体中心向量相互靠近、属于假体的所述第一人脸特征和活体中心向量相互远离的特征损失,以及使属于活体的所述第二人脸特征的预测概率与活体概率中心相互靠近、属于假体的所述第二人脸特征的预测概率与活体概率中心相互远离的概率损失;所述预测概率为所述第二人脸特征在活体和假体分类上的预测概率;
根据所述特征损失和所述概率损失对所述活体检测网络进行训练,得到训练好的活体检测网络。
2.根据权利要求1所述的模型训练方法,其特征在于,所述已标注活体或假体的人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像的处理过程包括:
获取所述人脸红外图像的预设关键点;其中所述预设关键点包括:左眼关键点、右眼关键点、嘴巴关键点和鼻子关键点;
以所述人脸红外图像中每个预设关键点为中心,获取预设尺寸的多个图像块;
将多个所述图像块按照预设顺序进行融合处理得到多通道的第一处理图像。
3.根据权利要求1或2所述的模型训练方法,其特征在于,所述活体检测网络包括:特征提取网络、第一多层感知器和第二多层感知器,所述特征提取网络分别连接所述第一多层感知器和所述第二多层感知器;
所述将已标注活体或假体的人脸红外图像经分块处理和融合处理得到的第一处理图像输入到活体检测网络中,得到第一人脸特征和第二人脸特征,包括:
将所述第一处理图像输入到特征提取网络中,得到输出特征;
将所述输出特征分别输入到所述第一多层感知器和所述第二多层感知器中,得到所述第一人脸特征和所述第二人脸特征。
5.根据权利要求1所述的模型训练方法,其特征在于,所述概率损失的损失函数通过如下公式构建:
L2=-log(sigmoid(Dfake-Dlive))+Dlive
其中,L2为概率损失的损失函数,Dlive为属于活体的第二人脸特征的预测概率和活体概率中心之间的概率距离,Dfake为属于假体的第二人脸特征的预测概率和活体概率中心之间的概率距离。
6.一种活体检测方法,其特征在于,包括:
将待测人脸红外图像经分块处理和融合处理得到的多通道的第一处理图像输入到已训练好的活体检测网络中,得到第一人脸特征和第二人脸特征;
计算所述第一人脸特征与活体中心向量之间的特征距离,以及所述第二人脸特征对应的预测概率与活体概率中心之间的概率距离;
根据所述特征距离和所述概率距离,确定所述待测人脸红外图像的活体检测结果;
其中所述活体检测网络、所述活体中心向量和所述活体概率中心均通过权利要求1-5中任一项所述的模型训练方法获取。
7.根据权利要求6所述的活体检测方法,其特征在于,所述根据所述特征距离和所述概率距离确定所述待测人脸红外图像的活体检测结果,包括:
当所述概率距离小于第一阈值时,确定所述待测人脸红外图像为活体;
当所述概率距离大于第二阈值时,确定所述待测人脸红外图像为假体;
当所述概率距离大于所述第一阈值且小于所述第二阈值时,根据所述特征距离确定所述待测人脸红外图像的活体检测结果;其中所述第一阈值小于所述第二阈值。
8.根据权利要求7所述的模型训练方法,其特征在于,所述根据特征距离确定所述待测人脸红外图像的活体检测结果,包括:
当所述特征距离小于所述第一阈值时,确定所述待测人脸红外图像为活体;
当所述特征距离大于第二阈值时,确定所述待测人脸红外图像为假体。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任一所述的模型训练方法,或者能够执行如权利要求6至8中任一项所述的活体检测方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一所述的模型训练方法,或者能够执行如权利要求6至8中任一项所述的活体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211486526.6A CN115761411B (zh) | 2022-11-24 | 2022-11-24 | 模型训练方法、活体检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211486526.6A CN115761411B (zh) | 2022-11-24 | 2022-11-24 | 模型训练方法、活体检测方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115761411A true CN115761411A (zh) | 2023-03-07 |
CN115761411B CN115761411B (zh) | 2023-09-01 |
Family
ID=85337537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211486526.6A Active CN115761411B (zh) | 2022-11-24 | 2022-11-24 | 模型训练方法、活体检测方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761411B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488778A (zh) * | 2015-11-23 | 2016-04-13 | 浙江大学 | 基于分块spca的多视点图像融合方法 |
CN106951840A (zh) * | 2017-03-09 | 2017-07-14 | 北京工业大学 | 一种人脸特征点检测方法 |
CN107895150A (zh) * | 2016-11-30 | 2018-04-10 | 奥瞳系统科技有限公司 | 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估 |
CN110287805A (zh) * | 2019-05-31 | 2019-09-27 | 东南大学 | 基于三流卷积神经网络的微表情识别方法及系统 |
CN111008575A (zh) * | 2019-11-25 | 2020-04-14 | 南京邮电大学 | 一种基于多尺度上下文信息融合的鲁棒人脸识别方法 |
CN111862204A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 图像的视觉特征点的提取方法及相关装置 |
CN112541553A (zh) * | 2020-12-18 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 目标对象的状态检测方法、装置、介质以及电子设备 |
CN113486858A (zh) * | 2021-08-03 | 2021-10-08 | 济南博观智能科技有限公司 | 一种人脸识别模型训练方法、装置、电子设备及存储介质 |
CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
CN114038045A (zh) * | 2021-11-25 | 2022-02-11 | 魔视智能科技(上海)有限公司 | 一种跨模态人脸识别模型构建方法、装置及电子设备 |
CN114299567A (zh) * | 2021-12-02 | 2022-04-08 | 北京的卢深视科技有限公司 | 模型训练、活体检测方法、电子设备及存储介质 |
CN114913404A (zh) * | 2022-04-25 | 2022-08-16 | 合肥的卢深视科技有限公司 | 模型训练、人脸图像活体检测方法、电子设备及存储介质 |
CN115273195A (zh) * | 2022-07-29 | 2022-11-01 | 济南博观智能科技有限公司 | 一种人脸活体检测方法、装置、设备及存储介质 |
CN115376213A (zh) * | 2022-07-14 | 2022-11-22 | 合肥的卢深视科技有限公司 | 活体检测网络的训练及活体检测方法、装置、设备及介质 |
-
2022
- 2022-11-24 CN CN202211486526.6A patent/CN115761411B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105488778A (zh) * | 2015-11-23 | 2016-04-13 | 浙江大学 | 基于分块spca的多视点图像融合方法 |
CN107895150A (zh) * | 2016-11-30 | 2018-04-10 | 奥瞳系统科技有限公司 | 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估 |
CN106951840A (zh) * | 2017-03-09 | 2017-07-14 | 北京工业大学 | 一种人脸特征点检测方法 |
CN110287805A (zh) * | 2019-05-31 | 2019-09-27 | 东南大学 | 基于三流卷积神经网络的微表情识别方法及系统 |
CN111008575A (zh) * | 2019-11-25 | 2020-04-14 | 南京邮电大学 | 一种基于多尺度上下文信息融合的鲁棒人脸识别方法 |
CN111862204A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 图像的视觉特征点的提取方法及相关装置 |
CN112541553A (zh) * | 2020-12-18 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 目标对象的状态检测方法、装置、介质以及电子设备 |
CN113486858A (zh) * | 2021-08-03 | 2021-10-08 | 济南博观智能科技有限公司 | 一种人脸识别模型训练方法、装置、电子设备及存储介质 |
CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
CN114038045A (zh) * | 2021-11-25 | 2022-02-11 | 魔视智能科技(上海)有限公司 | 一种跨模态人脸识别模型构建方法、装置及电子设备 |
CN114299567A (zh) * | 2021-12-02 | 2022-04-08 | 北京的卢深视科技有限公司 | 模型训练、活体检测方法、电子设备及存储介质 |
CN114913404A (zh) * | 2022-04-25 | 2022-08-16 | 合肥的卢深视科技有限公司 | 模型训练、人脸图像活体检测方法、电子设备及存储介质 |
CN115376213A (zh) * | 2022-07-14 | 2022-11-22 | 合肥的卢深视科技有限公司 | 活体检测网络的训练及活体检测方法、装置、设备及介质 |
CN115273195A (zh) * | 2022-07-29 | 2022-11-01 | 济南博观智能科技有限公司 | 一种人脸活体检测方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
GEORGE A等: "Biometric face presentation attack detection with multi-channel convolutional neural network", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, vol. 15, pages 42 - 55, XP011744954, DOI: 10.1109/TIFS.2019.2916652 * |
薛远等: "技术升级促进供应链整合三维多模态融合识别实践分析", 《中国安防》, no. 3, pages 47 - 51 * |
赵一洲等: "基于轻量化网络和近红外人脸活体检测算法", 《现代计算机》, no. 16, pages 122 - 127 * |
黄俊等: "基于优化LeNet-5的近红外图像中的静默活体人脸检测", 《红外技术》, vol. 43, no. 9, pages 845 - 851 * |
Also Published As
Publication number | Publication date |
---|---|
CN115761411B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11651229B2 (en) | Methods and systems for face recognition | |
US11501563B2 (en) | Image processing method and system | |
EP3254238B1 (en) | Method for re-identification of objects | |
CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN111652082B (zh) | 人脸活体检测方法和装置 | |
KR20220136510A (ko) | 홍채 식별을 위한 딥 뉴럴 네트워크 | |
JP2010218551A (ja) | 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置 | |
US20230081982A1 (en) | Image processing method and apparatus, computer device, storage medium, and computer program product | |
CN113420731B (zh) | 模型训练方法、电子设备及计算机可读存储介质 | |
WO2012162202A2 (en) | Dual-phase red eye correction | |
CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
CN110610526A (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
US20210097681A1 (en) | Method for vein recognition, and apparatus, device and storage medium thereof | |
US20170185827A1 (en) | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium | |
US11881020B1 (en) | Method for small object detection in drone scene based on deep learning | |
Wang et al. | Discriminative sampling via deep reinforcement learning for kinship verification | |
CN111914748A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN113657195A (zh) | 人脸图像识别方法、设备、电子装置和存储介质 | |
CN112052832A (zh) | 人脸检测的方法、装置和计算机存储介质 | |
CN112232205B (zh) | 移动端cpu实时多功能人脸检测方法 | |
CN116310105A (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
WO2022262209A1 (zh) | 一种神经网络训练方法、装置、计算机设备及存储介质 | |
CN113240598B (zh) | 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备 | |
CN117975519A (zh) | 模型训练和图像生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |