CN111368811B - 活体检测方法、装置、设备及存储介质 - Google Patents
活体检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111368811B CN111368811B CN202010455648.3A CN202010455648A CN111368811B CN 111368811 B CN111368811 B CN 111368811B CN 202010455648 A CN202010455648 A CN 202010455648A CN 111368811 B CN111368811 B CN 111368811B
- Authority
- CN
- China
- Prior art keywords
- target
- initial
- image
- feature
- sound wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 395
- 238000000034 method Methods 0.000 claims abstract description 181
- 238000001727 in vivo Methods 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims description 316
- 230000006870 function Effects 0.000 claims description 177
- 238000000605 extraction Methods 0.000 claims description 130
- 230000004927 fusion Effects 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 105
- 238000013145 classification model Methods 0.000 claims description 102
- 230000015654 memory Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 131
- 230000007123 defense Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000012795 verification Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000001574 biopsy Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000003416 augmentation Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V11/00—Prospecting or detecting by methods combining techniques covered by two or more of main groups G01V1/00 - G01V9/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种活体检测方法、装置、设备及存储介质。方法包括:获取待检测对象对应的目标图像和目标反射声波;提取目标图像的图像特征和目标反射声波的声波特征;对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果;对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果;对图像特征和声波特征进行匹配处理,得到匹配结果;基于第一活体检测结果、第二活体检测结果和匹配结果,确定待检测对象的目标活体检测结果。此种过程中,除考虑图像方面的信息外,还考虑反射声波方面的信息和两个方面之间的匹配信息,考虑的信息较全面,能够提高对攻击的防御能力,检测稳定性较高,活体检测结果的准确度较高。
Description
技术领域
本申请实施例涉及人工智能技术领域,特别涉及一种活体检测方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展,人脸识别已广泛应用于安防和金融等领域,在人脸识别的过程中,除了需要进行身份验证外,还需要进行活体检测。活体检测是用于验证真实生理特征的方法,通过活体检测能够验证用户是否为活体,从而有效抵御照片、视频、面具等攻击手段,帮助用户甄别欺诈行为,保障用户的利益。
相关技术中,采集待检测对象对应的图像,基于采集的图像对待检测对象进行活体检测,得到待检测对象的活体检测结果。此种活体检测过程仅关注图像方面的信息,关注的信息较局限,容易被攻击,活体检测结果的准确度较低,活体检测的效果不佳。
发明内容
本申请实施例提供了一种活体检测方法、装置、设备及存储介质,可用于提高活体检测结果的准确度。
一方面,本申请实施例提供了一种活体检测方法,所述方法包括:
获取待检测对象对应的目标图像和目标反射声波;
提取所述目标图像的图像特征和所述目标反射声波的声波特征;
对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果;对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果;
对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果;
基于所述第一活体检测结果、所述第二活体检测结果和所述匹配结果,确定所述待检测对象的目标活体检测结果。
另一方面,提供了一种活体检测装置,所述装置包括:
获取单元,用于获取待检测对象对应的目标图像和目标反射声波;
提取单元,用于提取所述目标图像的图像特征和所述目标反射声波的声波特征;
分类处理单元,用于对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果;对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果;
匹配处理单元,用于对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果;
确定单元,用于基于所述第一活体检测结果、所述第二活体检测结果和所述匹配结果,确定所述待检测对象的目标活体检测结果。
在一种可能实现方式中,所述提取单元,用于调用目标图像特征提取模型提取所述目标图像的图像特征;调用目标声波特征提取模型提取所述目标反射声波的声波特征;
所述分类处理单元,用于调用第一目标分类模型对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果;调用第二目标分类模型对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果;
所述匹配处理单元,用于调用目标判别器模型对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果。
在一种可能实现方式中,所述确定单元,用于响应于所述第一活体检测结果指示所述待检测对象为活体,所述第二活体检测结果指示所述待检测对象为活体,所述匹配结果指示所述图像特征和所述声波特征匹配成功,将活体检测通过作为所述待检测对象的目标活体检测结果。
在一种可能实现方式中,所述获取单元,还用于获取训练样本集,所述训练样本集包括至少两个训练样本子集,不同训练样本子集对应不同目标物,任一训练样本子集包括任一目标物对应的至少一个训练样本,所述任一目标物对应的任一训练样本包括所述任一目标物对应的任一图像和所述任一图像对应的反射声波;
所述装置还包括:
训练单元,用于在至少两个训练样本子集中分别选取训练样本构成目标训练样本,基于所述目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到活体检测模型,所述活体检测模型包括目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型以及目标判别器模型。
在一种可能实现方式中,所述训练单元,用于调用初始图像特征提取模型提取所述目标训练样本中的图像的初始图像特征;调用初始声波特征提取模型提取所述目标训练样本中的反射声波的初始声波特征;调用第一初始分类模型对所述初始图像特征进行分类处理,根据分类结果得到第一初始活体检测结果;调用第二初始分类模型对所述初始声波特征进行分类处理,根据分类结果得到第二初始活体检测结果;基于所述初始图像特征和所述初始声波特征,构成样本特征组,任一样本特征组由一个初始图像特征和一个初始声波特征构成;基于所述第一初始活体检测结果对所述第一初始分类模型进行训练;基于所述第二初始活体检测结果对所述第二初始分类模型进行训练;基于所述样本特征组对所述初始判别器模型进行训练;基于所述第一初始活体检测结果和所述样本特征组对所述初始图像特征提取模型进行训练;基于所述第二初始活体检测结果和所述样本特征组对所述初始声波特征提取模型进行训练;响应于训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型,得到活体检测模型。
在一种可能实现方式中,所述样本特征组包括正样本特征组和负样本特征组,所述训练单元,还用于基于所述初始图像特征和所述初始声波特征,确定满足正匹配条件的初始图像特征-初始声波特征对和满足负匹配条件的初始图像特征-初始声波特征对;基于满足正匹配条件的初始图像特征-初始声波特征对构成正样本特征组,基于满足负匹配条件的初始图像特征-初始声波特征对构成负样本特征组;其中,所述满足正匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自所述目标训练样本中的同一个训练样本;所述满足负匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自所述目标训练样本中的满足参考条件的两个训练样本,所述满足参考条件的两个训练样本是指来自不同训练样本子集的两个训练样本。
在一种可能实现方式中,所述初始判别器模型包括初始相似度计算子模型,所述训练单元,还用于调用所述初始相似度计算子模型,计算所述正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及所述负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;基于所述第一相似度值、所述第二相似度值和第一参考阈值,计算第一目标损失函数;基于所述第一目标损失函数更新所述初始相似度计算子模型的参数。
在一种可能实现方式中,所述正样本特征组对应第一标签,所述负样本特征组对应第二标签,所述初始判别器模型包括初始特征融合子模型和初始分类处理子模型;所述训练单元,还用于将所述正样本特征组中的初始图像特征和初始声波特征输入所述初始特征融合子模型进行融合,得到第一融合特征;调用所述初始分类处理子模型对所述第一融合特征进行分类处理,得到第一分类结果;将所述负样本特征组中的初始图像特征和初始声波特征输入所述初始特征融合子模型进行融合,得到第二融合特征;调用所述初始分类处理子模型对所述第二融合特征进行分类处理,得到第二分类结果;基于所述第一分类结果和所述第一标签之间的损失函数,以及所述第二分类结果和所述第二标签之间的损失函数,计算第二目标损失函数;基于所述第二目标损失函数更新所述初始特征融合子模型和所述初始分类处理子模型的参数。
在一种可能实现方式中,所述获取单元,还用于获取攻击样本集,所述攻击样本集包括至少一个攻击样本子集,不同攻击样本子集对应不同攻击物,任一攻击样本子集包括任一攻击物对应的至少一个攻击样本,所述任一攻击物对应的任一攻击样本包括所述任一攻击物对应的任一图像和所述任一图像对应的反射声波;
所述装置还包括:
优化单元,用于在所述攻击样本集中选取攻击样本构成目标攻击样本,调用所述目标图像特征提取模型提取所述目标攻击样本中的图像的目标图像特征;调用所述目标声波特征提取模型提取所述目标攻击样本中的反射声波的目标声波特征;基于所述目标图像特征和所述目标声波特征,构成攻击特征组,任一攻击特征组由一个目标图像特征和一个目标声波特征构成;基于所述攻击特征组对所述活体检测模型中的目标判别器模型进行优化,基于优化后的目标判别器模型,得到优化后的活体检测模型。
在一种可能实现方式中,所述目标判别器模型包括目标相似度计算子模型,所述优化单元,还用于获取参考特征组,任一参考特征组由一个参考图像特征和一个参考声波特征构成;调用所述目标相似度计算子模型,计算所述参考特征组中的参考图像特征和参考声波特征之间的第三相似度值,以及所述攻击特征组中的目标图像特征和目标声波特征之间的第四相似度值;基于所述第三相似度值、所述第四相似度值和第二参考阈值,计算第三目标损失函数;基于所述第三目标损失函数更新所述目标相似度计算子模型的参数。
在一种可能实现方式中,所述攻击特征组对应第二标签,所述目标判别器模型包括目标特征融合子模型和目标分类处理子模型;所述优化单元,还用于将所述攻击特征组中的目标图像特征和目标声波特征输入所述目标特征融合子模型进行融合,得到第三融合特征;调用所述目标分类处理子模型对所述第三融合特征进行分类处理,得到第三分类结果;基于所述第三分类结果和所述第二标签之间的损失函数更新所述目标特征融合子模型和目标分类处理子模型的参数。
在一种可能实现方式中,所述获取单元,还用于对于任一目标物,获取所述任一目标物的图像序列和所述任一目标物反射的反射声波;将所述反射声波分割成至少一个反射子声波;将所述至少一个反射子声波与所述图像序列中的至少一个图像进行对齐处理,得到与所述至少一个图像分别对齐的反射子声波;对于所述至少一个图像中的任一图像,基于与所述任一图像对齐的反射子声波构成所述任一图像对应的反射声波;基于所述任一图像和所述任一图像对应的反射声波构成所述任一目标物对应的任一训练样本;基于所述至少一个图像构成的所述任一目标物对应的至少一个训练样本,构成任一训练样本子集。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一所述的活体检测方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一所述的活体检测方法。
本申请实施例提供的技术方案至少带来如下有益效果:
获取待检测对象对应的图像和反射声波,进而提取图像特征和声波特征,通过综合考虑基于图像特征得到的活体检测结果、基于声波特征得到的活体检测结果以及图像特征和声波特征的匹配结果,确定待检测对象的活体检测结果。在此种活体检测的过程中,除考虑图像方面的信息外,还考虑反射声波方面的信息以及两个方面之间的匹配信息,考虑的信息较全面,能够提高对攻击的防御能力,检测稳定性较高,有利于提高活体检测结果的准确度,活体检测的效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种活体检测方法的实施环境的示意图;
图2是本申请实施例提供的一种活体检测方法的流程图;
图3是本申请实施例提供的一种获取真实的人脸反射的反射声波的过程示意图;
图4是本申请实施例提供的一种图像采集装置、声波发射装置和声波接收装置在手机中的安装情况的示意图;
图5是本申请实施例提供的一种调用活体检测模型进行活体检测的过程示意图;
图6是本申请实施例提供的一种密码输入界面的示意图;
图7是本申请实施例提供的一种训练得到活体检测模型的方法的流程图;
图8是本申请实施例提供的一种获取任一目标物对应的训练样本的过程示意图;
图9是本申请实施例提供的一种基于目标训练样本对待训练的活体检测模型进行训练的流程图;
图10是本申请实施例提供的一种对活体检测模型进行优化的流程图;
图11是本申请实施例提供的一种对目标判别器模型进行优化的过程示意图;
图12是本申请实施例提供的一种获取优化后的活体检测模型的过程示意图;
图13是本申请实施例提供的一种活体检测装置的示意图;
图14是本申请实施例提供的一种活体检测装置的示意图;
图15是本申请实施例提供的一种服务器的结构示意图;
图16是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的计算机视觉技术。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像修复、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在人脸识别的过程中,通常涉及活体检测技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供了一种活体检测方法,请参考图1,其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括:终端11和服务器12。
其中,终端11安装有能够人脸识别系统,在需要利用该人脸识别系统对待检测对象进行人脸识别的过程中,可应用本申请实施例提供的方法对待检测对象进行活体检测。终端11可以采集待检测对象对应的图像和反射声波,然后基于待检测对象对应的图像和反射声波对待检测对象进行活体检测。当然,终端11也可以将采集的待检测对象对应的图像和反射声波发送至服务器12,服务器12基于待检测对象对应的图像和反射声波对待检测对象进行活体检测。在一种可能实现方式中,服务器12在进行活体检测后,将活体检测结果发送至终端11。
在一种可能实现方式中,终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(Personal Computer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,本申请实施例提供一种活体检测方法,以该方法应用于终端11为例。如图2所示,本申请实施例提供的方法可以包括如下步骤。
在步骤201中,获取待检测对象对应的目标图像和目标反射声波。
待检测对象是指需要进行活体检测的任一对象。需要说明的是,待检测对象可能是真实的人体,也可能是非真实的人体,本申请实施例对此不加以限定。当待检测对象为非真实的人体时,待检测对象可能是打印的照片、包括图像的屏幕、带有面具的人等,当然,在一些示例性实施例中,待检测对象也可能是动物、植物等。
无论是哪种待检测对象,在进行活体检测的过程中,待检测对象处于终端的图像采集区域,在接收到活体检测指令后,终端采集待检测对象对应的目标图像,由此,终端获取待检测对象对应的目标图像。在一种可能实现方式中,终端中安装有图像采集装置,终端利用图像采集装置采集待检测对象对应的目标图像。示例性地,在人脸识别的场景中,待检测对象通常面对终端屏幕,所以用于采集图像的图像采集装置通常为终端的前置图像采集装置。本申请实施例对图像采集装置不加以限定,只要能够采集图像即可,示例性地,图像采集装置为摄像头。
终端的屏幕中可以显示图像采集框,待检测对象可以通过移动位置,使用于活体检测的检测部位置于图像采集框中。待检测对象对应的目标图像可以是指出现在图像采集框中的检测部位的图像。示例性地,对于待检测对象为真实的人体的情况,待检测对象对应的目标图像可以是指人体的面部图像;对于待检测对象为打印的人体照片的情况,待检测对象对应的目标图像可以是指人体照片中的面部图像。
在一种可能实现方式中,终端获取待检测对象对应的目标图像的过程为:终端利用图像采集装置采集待检测对象对应的视频,在视频中截取一帧图像作为待检测对象对应的目标图像。在视频中截取一帧图像的方式可以为在视频中随机截取一帧图像,也可以为在视频中截取参考位置处的一帧图像。参考位置可以根据经验设置,也可以根据声波的发射周期确定,本申请实施例对此不加以限定。例如,参考位置为视频中的第6 ms时间戳对应的位置。
除获取待检测对象对应的目标图像外,还获取待检测对象对应的目标反射声波。声波在传播过程中,遭遇障碍物或平面时会产生反射,所产生反射声波中,不仅包含距离远近信息,亦包含反射面或障碍物本身的形状和材质信息。在一种可能实现方式中,终端获取待检测对象对应的目标反射声波的方式为:终端向待检测对象发射声波,将接收到的满足条件的反射声波作为待检测对象对应的目标反射声波。在一种可能实现方式中,满足条件的反射声波可以是指在发射声波后的参考时间间隔内接收到的反射声波。参考时间间隔可以根据经验设置,也可以根据应用场景灵活调整,本申请实施例对此不加以限定。在发射声波后的参考时间间隔内接收到的反射声波可以视为待检测对象反射的声波,较少其他反射声波的干扰。在一种可能实现方式中,终端向待检测对象发射声波后,除了可以接收到反射声波外,还可以接收到发射声波的直射声波,直射声波的行进路程相比反射声波更短,衰减相对反射声波更少,因此,将此部分直射声波进行过滤剔除,避免直射声波的不良影响。
需要说明的是,待检测对象对应的目标反射声波可能是指由待检测对象对发射的声波进行反射后的真实反射声波,也可能是指预先准备好的虚假反射声波。示例性地,假设在对待检测对象进行活体检测的过程中,终端的声波发射装置的发射端口被遮挡,并且在待检测对象的位置处人为播放预先准备好的其他对象的反射声波,此种情况下,终端获取的待检测对象对应的目标反射声波为预先准备好的虚假反射声波。
需要说明的是,对于待检测对象为真实人体的情况,若待检测对象对应的目标反射声波是指由待检测对象对发射的声波进行反射后的真实反射声波,则待检测对象对应的目标反射声波为真实的人脸反射的反射声波。获取真实的人脸反射的反射声波的过程可以如图3所示,在图3中的(1)中,终端发射声波;声波在空气中传播,遇到障碍物会产生反射,在传播到真实的人脸时,如图3中的(2)所示,真实的人脸对终端发送的声波进行反射,将反射声波传播至终端。需要说明的是,真实的人脸的反射声波由真实的人脸的不同的平面对发射的声波进行反射后得到的声波构成。
在一种可能实现方式中,终端可以安装有声波发送装置和声波接收装置。此种情况下,终端获取待检测对象对应的目标反射声波的方式为:终端利用声波发射装置向待检测对象发射声波,利用声波接收装置接收声波,将接收到的满足条件的反射声波作为待检测对象对应的目标反射声波。本申请实施例对声波发射装置和声波接收装置不加以限定,示例性地,声波发射装置为扬声器,声波接收装置为麦克风。需要说明的是,本申请实施例对声波发送装置和声波接收装置在终端中的安装位置不加以限定,例如,声波发送装置和声波接收装置可以均安装在终端的顶部。
在一种可能实现方式中,终端发射的声波是指超声波,超声波的频率较高(不小于20 kHz(千赫兹)),难以被人耳接收,达到无感活体检测的效果。在一种可能实现方式中,终端发射的声波可以是指单声道声波,也可以是指多声道声波,本申请实施例对此不加以限定。当发射的声波为多声道声波时,可以利用多个声波发射装置进行发射。此种情况下,发射声波也为多声道声波,可以利用多个声波接收装置进行接收。
示例性地,为获取待检测对象对应的目标图像和目标反射声波,终端需要安装图像采集装置、声波发射装置和声波接收装置。以终端为手机为例,图像采集装置、声波发射装置和声波接收装置在手机中的安装情况可以如图4所示。图4中的(1)、(2)、(3)示出了声波接收装置41、声波发射装置42和图像采集装置43在三种不同类型的手机中的安装位置。
需要说明的是,以上所述仅为获取待检测对象对应的目标图像和目标反射声波的一种示例性描述。在上述描述中,直接获取到待检测对象对应的目标图像和目标反射声波。在一种可能实现方式中,可以将上述描述中直接获取到的图像和反射声波分别进行预处理,将预处理后得到的图像作为待检测对象对应的目标图像,将预处理后得到的反射声波作为待检测对象对应的目标反射声波。
在一种可能实现方式中,对图像进行预处理可以是指对图像进行增广操作,以增加图像在活体检测过程中的可靠性。本申请实施例对增广操作不加以限定,示例性地,增广操作包括旋转、改变颜色、模糊、加入随机噪声、居中切割、降低分辨率中的一种或多种。
对反射声波进行预处理能够提高反射声波在活体检测过程中的可靠性。对反射声波进行预处理的操作可以根据经验设置,本申请实施例对此不加以限定。示例性地,对反射声波进行预处理的操作包括滤波、归一化处理、小波变换中的至少一种。可选地,对反射声波进行滤波的过程可以利用滤波器进行,本申请实施例对滤波器的类型不加以限定,示例性地,滤波器为时域滤波器、频域滤波器或者卡尔曼滤波器等。可选地,对反射声波进行归一化处理的过程可以基于滑动窗口实现。
在步骤202中,提取目标图像的图像特征和目标反射声波的声波特征。
在获取目标图像和目标反射声波后,终端可以提取目标图像的图像特征和目标反射声波的声波特征,进而便于利用图像特征和声波特征实现后续的活体检测过程。
在一种可能实现方式中,活体检测过程可以调用活体检测模型实现。活体检测模型包括目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型。活体检测模型通过训练得到,训练得到活体检测模型的过程可以在终端进行,也可以在服务器进行,本申请实施例对此不加以限定。训练得到活体检测模型的过程详见图7所示的实施例,此处暂不赘述。
在活体检测模型中,目标图像特征提取模型用于提取图像的特征,本申请实施例对目标图像特征提取模型的模型结构不加以限定,只要能够起到提取图像特征的功能即可。示例性地,目标图像特征提取模型的模型结构为卷积神经网络。目标声波特征提取模型用于声波的特征,本申请实施例对目标声波特征提取模型的模型结构同样不加以限定,示例性地,目标声波特征提取模型的模型结构同样也可以为卷积神经网络。需要说明的是,即使目标图像特征提取模型和目标声波特征提取模型的模型结构均为卷积神经网络,由于目标图像特征提取模型和目标声波特征提取模型针对的特征提取对象不同,所以卷积神经网络具有不同的参数。
在一种可能实现方式中,提取目标图像的图像特征和目标反射声波的声波特征的方式为:调用目标图像特征提取模型提取目标图像的图像特征;调用目标声波特征提取模型提取目标反射声波的声波特征。
由于本申请实施例中的图像特征和声波特征用于进行活体检测,所以图像特征和声波特征均携带活体检测方面的信息,以便于基于图像特征和声波特征执行后续的活体检测过程。在一种可能实现方式中,声波特征可以为向量,通过对声波特征对应的向量进行标准化,可以获知反射面是否包含复杂平面,以及复杂平面是否包含真实人脸。在一种可能实现方式中,图像特征和声波特征除均携带活体检测方面的信息外,还可以均携带距离方面的信息,以便于进一步提高基于图像特征和声波特征进行活体检测的可靠性。距离方面的信息用于指示终端与待检测对象之间的距离。
示例性地,对于声波特征而言,终端与待检测对象之间的距离是指终端的声波发射装置与待检测对象之间的距离。可选地,终端的声波发射装置与待检测对象之间的距离是指终端的声波发射装置与待检测对象对应的主要反射平面之间的距离。对于图像特征而言,终端与待检测对象之间的距离是指终端的图像采集装置与待检测对象之间的距离。可选地,当待检测对象对应的目标图像中包括人脸图像时,终端的图像采集装置与待检测对象之间的距离是指终端的图像采集装置与人脸图像对应的人脸之间的距离。在一种可能实现方式中,终端的图像采集装置与人脸图像对应的人脸之间的距离可以基于人脸图像中的人脸关键点比例计算得到。需要说明的是,当待检测对象为真实的人体(活体)时,图像特征携带的距离方面的信息指示的距离与声波特征携带的距离方面的信息指示的距离相近。
在步骤203中,对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果;对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果。
图像特征携带活体检测方面的信息,在提取到图像特征后,对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果。该第一活体检测结果用于指示待检测对象在图像层面的活体检测结果。第一活体检测结果指示的含义包括:待检测对象为活体,或者,待检测对象为非活体。
声波特征同样携带活体检测方面的信息,在提取到声波特征后,对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果。该第二活体检测结果用于指示待检测对象在反射声波层面的活体检测结果。第二活体检测结果指示的含义包括:待检测对象为活体,或者,待检测对象为非活体。
需要说明的是,本申请实施例中提及的待检测对象为活体是指待检测对象具有真实的人脸,待检测对象为非活体是指待检测对象不具有真实的人脸。
对于调用活体检测模型实现活体检测过程的情况,活体检测模型中的第一目标分类模型用于对图像特征进行分类处理,以根据分类结果得到图像层面的活体检测结果;活体检测模型中的第二目标分类模型用于对声波特征进行分类处理,以根据分类结果得到反射声波层面的活体检测结果。本申请实施例对第一目标分类模型和第二目标分类模型的模型结构不加以限定,第一目标分类模型和第二目标分类模型的模型结构可以相同,也可以不同。示例性地,第一目标分类模型和第二目标分类模型均可以包括激活函数层,利用激活函数层进行分类处理并输出活体检测结果。
在一种可能实现方式中,对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果,包括:调用第一目标分类模型对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果。对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果,包括:调用第二目标分类模型对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果。
对特征进行分类处理后,可以得到分类结果,该分类结果中包括不同类别的概率。在本申请实施例中,分类处理的过程可视为二分类过程,分类结果中包括活体类别的概率和非活体类别的概率。无论是对图像特征进行分类处理,还是对声波特征进行分类处理,在分类处理后,均可以得到包括活体类别的概率和非活体类别的概率的分类结果,进而根据分类结果得到待检测对应的活体检测结果。
在一种可能实现方式中,对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果的方式包括但不限于以下两种。
方式1:将对图像特征进行分类处理后得到分类结果作为待检测对象的第一活体检测结果。
在此种方式1下,待检测对象的第一活体检测结果中同样包括活体类别的概率和非活体类别的概率,根据活体类别的概率和非活体类别的概率的大小关系,确定第一活体检测结果指示的含义。
方式2:当对图像特征进行分类处理后得到分类结果中的活体类别的概率大于非活体类别的概率时,将待检测对象为活体作为待检测对象的第一活体检测结果;当对图像特征进行分类处理后得到分类结果中活体类别的概率小于非活体类别的概率时,将待检测对象为非活体作为待检测对象的第一活体检测结果。
在此种方式2下,第一活体检测结果直接指示待检测对象是否为非活体。
类似地,对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果的方式包括两种:将对声波特征进行分类处理后得到分类结果作为待检测对象的第二活体检测结果。或者,当对声波特征进行分类处理后得到分类结果中的活体类别的概率大于非活体类别的概率时,将待检测对象为活体作为待检测对象的第二活体检测结果;当对声波特征进行分类处理后得到分类结果中活体类别的概率小于非活体类别的概率时,将待检测对象为非活体作为待检测对象的第二活体检测结果。
第一活体检测结果和第二活体检测结果为待检测对象在两个不同层面的活体检测结果,第一活体检测结果和第二活体检测结果均可认为是待检测对象的初步活体检测结果,直接基于第一活体检测结果和第二检测结果难以准确确定待检测对象的最终活体检测结果。需要进一步基于步骤204判断目标图像和目标反射声波是否来自同一对象,在确定目标图像和目标反射声波是否来自同一对象的基础上,结合第一活体检测结果和第二活体检测结果,确定待检测对象的最终活体检测结果,此种方式确定的活体检测结果可靠性高。
在步骤204中,对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果。
在基于步骤202得到图像特征和声波特征后,对图像特征和声波特征进行匹配处理,以得到图像特征和声波特征的匹配结果。图像特征和声波特征的匹配结果用于指示图像特征和声波特征是否匹配成功。图像特征和声波特征是否匹配成功可以用于说明图像特征和声波特征是否来自同一对象。当图像特征和声波特征的匹配结果指示图像特征和声波特征匹配成功时,说明图像特征和声波特征来自同一对象;当图像特征和声波特征的匹配结果指示图像特征和声波特征匹配失败时,说明图像特征和声波特征来自不同对象。
需要说明的是,虽然目标对象和目标反射声波均是待检测对象对应的,但是可能不均来自于待检测对象。例如,对于终端的声波发射装置的发射端口被遮挡,在待检测对象的位置处人为播放预先准备好的其他对象的反射声波的情况下,终端获取的待检测对象对应的目标反射声波为预先准备好的虚假反射声波。此时,目标图像来自待检测对象,目标反射声波来自其他对象,目标图像和目标反射声波来自不同对象。此种情况下,目标图像对应的图像特征和目标反射声波对应的声波特征来自不同对象。
对于调用活体检测模型实现活体检测过程的情况,活体检测模型中的目标判别器模型用于对图像特征和声波特征进行匹配处理,以判断图像特征和声波特征是否匹配。在一种可能实现方式中,对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果的方式为:调用目标判别器模型对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果。
在一种可能实现方式中,目标判别器模型的模型结构包括但不限于以下两种情况。
情况一:目标判别器模型包括目标相似度计算子模型。
目标相似度计算子模型用于计算两个特征之间的相似度值。
在一种可能实现方式中,在此种情况一下,调用目标判别器模型对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果的过程为:将图像特征和声波特征输入目标相似度计算子模型,得到目标相似度计算子模型计算的图像特征和声波特征之间的相似度值,将图像特征和声波特征之间的相似度值作为图像特征和声波特征的匹配结果。此时,匹配结果为相似度值。
在此种获取匹配结果的情况下,匹配结果指示图像特征和声波特征匹配成功是指相似度值指示图像特征和声波特征匹配成功。在一种可能实现方式中,相似度值指示图像特征和声波特征匹配成功是指相似度值不小于目标相似度阈值。由于当图像特征和声波特征匹配成功时,说明图像特征和声波特征来自同一对象。所以,当相似度值不小于目标相似度阈值时,说明图像特征和声波特征均来自待检测对象。需要说明的是,目标相似度阈值可以根据经验设置,也可以根据应用场景灵活调整,本申请实施例对此不加以限定。
在一种可能实现方式中,目标相似度计算子模型的主体为一个相似度计算矩阵,图像特征和声波特征均为向量,在目标相似度计算子模型中,计算图像特征对应的向量、相似度计算矩阵和声波特征对应的向量这三者之间的乘积,将乘积作为图像特征和声波特征之间的相似度值。
情况二:目标判别器模型包括目标特征融合子模型和目标分类处理子模型。
目标特征融合子模型用于将两个特征进行融合,目标分类处理子模型用于对融合后的特征进行分类处理。
在一种可能实现方式中,在此种情况二下,调用目标判别器模型对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果的过程为:将图像特征和声波特征输入目标特征融合子模型进行融合,得到目标融合特征,调用目标分类处理子模型对目标融合特征进行分类处理,得到目标分类结果,将目标分类结果作为图像特征和声波特征的匹配结果。此时,匹配结果为目标分类结果。
在目标特征融合子模型中,对图像特征和声波特征进行融合的方式可以是指将图像特征和声波特征进行加和,也可以是指将图像特征和声波特征进行拼接,本申请实施例对此不加以限定。目标分类处理子模型可以包括激活函数层,利用激活函数层对目标融合特征进行分类处理并得到分类结果。
在一种可能实现方式中,目标分类结果中包括第一概率和第二概率这两个概率,第一概率表示图像特征和声波特征来自同一对象的概率,第二概率表示图像特征和声波特征来自不同对象的概率。
在此种获取匹配结果的情况下,匹配结果指示图像特征和声波特征匹配成功是指目标分类结果指示图像特征和声波特征匹配成功。在一种可能实现方式中,目标分类结果指示图像特征和声波特征匹配成功是指目标分类结果中第一概率大于第二概率。由于当图像特征和声波特征匹配成功时,说明图像特征和声波特征来自同一对象。所以,当目标分类结果中第一概率大于第二概率时,说明图像特征和声波特征均来自待检测对象。
在步骤205中,基于第一活体检测结果、第二活体检测结果和匹配结果,确定待检测对象的目标活体检测结果。
在基于步骤203得到第一活体检测结果和第二活体检测结果,以及基于步骤204得到匹配结果后,通过综合考虑第一活体检测结果、第二活体检测结果和匹配结果来确定待检测对象的目标活体检测结果。此种方式既考虑待检测对象在图像层面和反射声波层面各自的活体检测结果,又考虑了图像对应的图像特征和反射声波对应的声波特征的匹配结果,确定的待检测对象的目标活体检测结果较准确,能够有效防御攻击。
在一种可能实现方式中,基于第一活体检测结果、第二活体检测结果和匹配结果,确定待检测对象的目标活体检测结果的方式为:响应于第一活体检测结果指示待检测对象为活体,第二活体检测结果指示待检测对象为活体,匹配结果指示图像特征和声波特征匹配成功,将活体检测通过作为待检测对象的目标活体检测结果。其中,第一活体检测结果指示待检测对象为活体说明在图像层面确定待检测对象为活体,第二活体检测结果指示待检测对象为活体说明在反射声波层面确定待检测对象为活体,图像特征和声波特征匹配成功说明图像特征和声波特征来自同一对象(即均来自待检测对象)。也就是说,当在图像层面和反射声波层面均确定待检测对象为活体,并且确定目标图像对应的图像特征和目标反射声波对应的声波特征均来自待检测对象时,认为待检测对象的活体检测通过。
在一种可能实现方式中,基于第一活体检测结果、第二活体检测结果和匹配结果,确定待检测对象的目标活体检测结果的方式为:响应于第一活体检测结果指示待检测对象为活体,第二活体检测结果指示待检测对象为活体,匹配结果指示图像特征和声波特征匹配失败,将活体检测未通过作为待检测对象的目标活体检测结果。也就是说,虽然当图像层面和反射声波层面均确定待检测对象为活体,但是由于图像特征和声波特征来自不同对象,所以在至少一个层面确定的待检测对象为活体的结果是不可靠的,此时认为待检测对象的活体检测未通过。
示例性地,调用活体检测模型进行活体检测的过程可以如图5所示。将目标图像输入目标图像特征提取模型51,得到图像特征;将目标反射声波输入目标声波特征提取模型52,得到声波特征;利用第一目标分类模型53对图像特征进行分类处理,根据分类结果得到第一活体检测结果;利用第二目标分类模型54对声波特征进行分类处理,根据分类结果得到第二活体检测结果;将图像特征和声波特征输入目标判别器模型55,得到图像特征和声波特征的匹配结果。进而基于第一活体检测结果、第二活体检测结果和匹配结果,确定目标活体检测结果。
需要说明的是,在对待检测对象进行人脸识别的过程中,除对待检测对象进行活体检测外,还需要对待检测对象进行身份验证,当活体检测和身份验证均通过时,说明待检测对象的人脸识别通过。本申请实施例仅限定对待检测对象进行涉及活体检测过程,对待检测对象进行身份验证的过程不加以限定。需要说明的是,本申请实施例对活体检测和身份验证的先后顺序不加以限定。示例性地,先对待检测对象进行活体检测,在活体检测通过后,再对待检测对象进行身份验证。当然,也可以先对待检测对象进行身份验证,在身份验证通过后,再对待检测对象进行活体检测。
接下来,以图灵盾主人识别的应用场景为例,介绍活体检测过程。图灵盾是一个在以太坊智能合约底层程序上,衍生出来的一种电子加密数字经济体在支付上的应用产品。图灵盾的绑定用户为图灵盾的主人。用户在移动终端输入密码或验证码的过程中,用户人脸大部分时间正对移动终端顶部的摄像头(图像采集装置),此时,通过移动终端顶部的摄像头进行图像采集或视频录制,得到用户的图像,同时用扬声器发射声波,用移动终端中的麦克风接收反射声波。在获取得到图像和反射声波后,基于图像和反射声波对用户进行活体检测。除进行活体检测外,移动终端还对用户进行身份验证,身份验证包括两个层面的验证,一个层面为验证用户的面部特征是否与图灵盾的主人的面部特征相匹配,另外一个层面为验证用户的密码或验证码输入习惯是否与图灵盾的主人的输入习惯匹配。
图灵盾主人识别过程中的密码输入界面如图6所示,在密码输入界面进行密码守护测试,统计测试次数和成功识别次数。图6中的矩形框61中的数字171718为已给出的密码,用户需要在矩形框62中的数字输入位置输入已给出的密码。在用户通过数字键盘输入密码的过程中,移动终端会采集用户的输入习惯,例如,输入过程中移动终端的倾斜角度、输入过程中用户手指的停留时长等,然后将采集的输入习惯与预先存储的图灵盾的主人的输入习惯进行匹配,以验证该用户的密码或验证码输入习惯是否与图灵盾的主人的输入习惯匹配。此种过程可以在用户输入密码的同时以较低的用户交互成本实现对用户的无感活体检测。
本申请实施例提供的活体检测方法,可以应用在任何需要进行活体检测的场景,示例性的,本申请实施例提供的活体检测方法的应用领域包括但不限于身份认证、电子商务、数据安全、金融风控、智能硬件等。
相比于相关技术中基于图像进行的活体检测,本申请实施例提供的活体检测方法中,额外所需的设备成本和计算成本均极低,仅需配备扬声器与麦克风,使用范围广泛,引入的反射声波不仅可以直接用于活体检测,使其配合图像进行检测可以获得更加鲁棒的检测性能。
在本申请实施例中,获取待检测对象对应的图像和反射声波,进而提取图像特征和声波特征,通过综合考虑基于图像特征得到的活体检测结果、基于声波特征得到的活体检测结果以及图像特征和声波特征的匹配结果,确定待检测对象的活体检测结果。在此种活体检测的过程中,除考虑图像方面的信息外,还考虑反射声波方面的信息以及两个方面之间的匹配信息,考虑的信息较全面,能够提高对攻击的防御能力,检测稳定性较高,有利于提高活体检测结果的准确度,活体检测的效果较好。
基于图1所示的实施环境,本申请实施例提供一种训练得到活体检测模型的方法,以该方法应用于终端11为例。如图7所示,本申请实施例提供的方法可以包括如下步骤。
在步骤701中,获取训练样本集,训练样本集包括至少两个训练样本子集,不同训练样本子集对应不同目标物,任一训练样本子集包括任一目标物对应的至少一个训练样本,任一目标物对应的任一训练样本包括任一目标物对应的任一图像和任一图像对应的反射声波。
训练样本集用于对待训练的活体检测模型进行训练。训练样本集中包括至少两个训练样本子集,不同训练样本子集对应不同目标物。目标物是指用于采集训练样本的物体。在一种可能实现方式中,目标物为自然场景下的物体,例如,真实人脸、植物、水果、白纸、平板电脑、球体等。自然场景下的物体颜色较为简单,能够避免给模型学习造成混淆。
一个训练样本子集对应一个目标物,不同训练样本子集对应不同目标物。训练样本集中的训练样本子集的数量为至少两个,也就是说,用于采集训练样本的目标物的数量为至少两个。对于任一训练样本子集而言,该任一训练样本子集包括任一目标物对应的至少一个训练样本。也就是说,每个训练样本子集均包括至少一个训练样本,同一训练样本子集中包括的训练样本来自同一目标物,不同训练样本子集中包括的训练样本来自不同目标物。需要说明的是,不同训练样本子集中包括的训练样本的数量可以相同,也可以不同,本申请实施例对此不加以限定。
在任一目标物对应的至少一个训练样本中,任一目标物对应的任一训练样本包括该任一目标物对应的任一图像和该任一图像对应的反射声波。
根据上述分析可知,训练样本集中包括至少两个训练样本,虽然不同的训练样本可能对应不同的目标物,但每个训练样本均包括一个图像和该图像对应的反射声波。
在一种可能实现方式中,任一训练样本子集的获取过程包括以下步骤1至步骤5。
步骤1:对于任一目标物,获取该任一目标物的图像序列和该任一目标物反射的反射声波。
需要说明的是,此处的目标物的图像序列和目标物反射的反射声波序列,均来自该目标物。图像序列中包括多个图像,每个图像对应一个时间戳。在一种可能实现方式中,终端获取任一目标物的图像序列的方式为:终端按照固定时间间隔采集该任一目标物的至少一个图像,将这至少一个图像按照采集时间的先后顺序依次排序,得到该任一目标物的图像序列。本申请实施例对固定时间间隔不加以限定,可以根据终端的图像采集装置的图像采集帧率确定,例如,假设终端的图像采集装置的图像采集帧率为50 fps(fames persecond,帧每秒),则固定时间间隔为20 ms(毫秒)。
在一种可能实现方式中,终端获取任一目标物反射的反射声波的方式为:终端周期性地向该任一目标物发射声波,将接收到的反射声波作为该任一目标物反射的反射声波。由于终端周期性地发射声波,所以接收到的反射声波中包括该任一目标物对每个周期发射的声波的反射声波。在一种可能实现方式中,终端周期性地向该任一目标物发射声波是指终端每隔一段时间向该任一目标物发射一次声波。本申请实施例对发射两次声波的间隔时长不加以限定,可以根据需要进行活体的待检测物与活体检测终端的参考距离以及声波传播速度进行设置。例如,发射两次声波的间隔时长可以设置为5 ms。需要进行活体的待检测物与活体检测终端的参考距离可以根据经验获得。
步骤2:将反射声波分割成至少一个反射子声波。
由于任一目标物反射的反射声波中包括该任一目标物对每个周期发射的声波的反射声波,所以可以根据显著特征对反射声波进行分割,以将反射声波分割成至少一个反射子声波,每个反射子声波视为该任一目标物对一个周期发射的声波的反射声波。在一种可能实现方式中,对于发射两次声波的间隔时长根据需要进行活体的待检测物与活体检测终端的参考距离以及声波传播速度进行设置的情况,显著特征可以为周期时长。需要说明的是,发射声波本身具有发射时长,周期时长为一个发射时长与一个间隔时长的总和。例如,假设一个发射时长为1 ms,一个间隔时长为5 ms,则周期时长为6 ms。按照6 ms的周期时长对反射声波进行分割后,得到的每个反射子声波均为6 ms的高频声波片段。在将反射声波分割成至少一个反射子声波后,每个反射子声波均对应时间信息。每个反射子声波对应的时间信息可以是指每个反射子声波的起始时间戳,也可以是指每个反射子声波的终止时间戳,还可以是指每个反射子声波的某一位置(例如,中间位置)的时间戳等,还可以是指每个反射子声波的时间戳范围等,本申请实施例对此不加以限定。
步骤3:将至少一个反射子声波与图像序列中的至少一个图像进行对齐处理,得到与至少一个图像分别对齐的反射子声波。
反射子声波的收集帧率与图像序列中的图像的收集帧率不同,例如,假设每个反射子声波均为6 ms的高频声波片段,则反射子声波的收集帧率为每秒收集167个反射子声波,而图像的收集帧率通常为每秒收集30-60个图像。反射子声波的收集帧率与图像序列中的图像的收集帧率相差较大,需要将获取的至少一个反射子声波与图像序列中的至少一个图像进行对齐处理,以得到与各个图像分别对齐的反射子声波。
在一种可能实现方式中,将至少一个反射子声波与图像序列中的至少一个图像进行对齐处理,得到与至少一个图像分别对齐的反射子声波的过程为:根据图像序列中的至少一个图像的时间戳,以及至少一个反射子声波的时间信息,确定与至少一个图像分别对齐的反射子声波。在一种可能实现方式中,根据图像序列中的至少一个图像的时间戳,以及至少一个反射子声波的时间信息,确定与至少一个图像分别对齐的反射子声波的过程为:对于任一图像,将时间信息与该任一图像的时间戳匹配的反射子声波作为与该任一图像对齐的反射子声波。
需要说明的是,与任一图像对齐的反射子声波的数量可以为一个或多个,本申请实施例对此不加以限定。与相邻的两个图像分别对齐的反射子声波中可以存在交叉,也可以不存在交叉,本申请实施例对此不加以限定。对于与相邻的两个图像分别对齐的反射子声波中不存在交叉的情况,可能存在与任一图像均不对齐的反射子声波,将这部分反射子声波剔除。
判断时间信息是否与图像的时间戳匹配的条件可以根据经验设置,例如,判断时间信息是否与图像的时间戳匹配的条件可以为:判断时间信息指示的时间戳与图像的时间戳的差值的绝对值是否不大于参考阈值;当时间信息指示的时间戳与图像的时间戳的差值的绝对值不大于参考阈值时,说明时间信息与图像的时间戳匹配;当时间信息指示的时间戳与图像的时间戳的差值的绝对值大于参考阈值时,说明时间信息与图像的时间戳不匹配。需要说明的是,当时间信息为时间戳时,时间信息指示的时间戳即为该时间戳;当时间信息为时间戳范围时,时间信息指示的时间戳可以是指时间戳范围中某一参考位置(例如,中间位置)的时间戳。参考阈值可以根据经验设置,也可以根据应用场景灵活调整,本申请实施例对此不加以限定。
在一种可能实现方式中,在将至少一个反射子声波与图像序列中的至少一个图像进行对齐处理之前,可以先对至少一个反射子声波和图像序列中的至少一个图像分别进行预处理,然后再将预处理后的至少一个反射子声波与预处理后至少一个图像进行对齐处理。
在一种可能实现方式中,对图像进行预处理可以是指对图像进行增广操作,本申请实施例对增广操作不加以限定,示例性地,增广操作包括旋转、改变颜色、模糊、加入随机噪声、居中切割、降低分辨率中的一种或多种。对反射子声波进行预处理的操作可以根据经验设置,本申请实施例对此不加以限定。示例性地,对反射子声波进行预处理的操作包括滤波、归一化处理、小波变换中的至少一种。可选地,对反射子声波进行滤波的过程可以利用滤波器进行,本申请实施例对滤波器的类型不加以限定,示例性地,滤波器为时域滤波器、频域滤波器或者卡尔曼滤波器等。可选地,对反射子声波进行归一化处理的过程可以基于滑动窗口实现。
步骤4:对于至少一个图像中的任一图像,基于与任一图像对齐的反射子声波构成任一图像对应的反射声波;基于任一图像和任一图像对应的反射声波构成任一目标物对应的任一训练样本。
在得到与至少一个图像分别对齐的反射子声波后,对于任一图像,基于与任一图像对齐的反射子声波构成该任一图像对应的反射声波。在一种可能实现方式中,基于与任一图像对齐的反射子声波构成该任一图像对应的反射声波的方式为:将与任一图像对齐的反射子声波按照反射子声波的时间信息指示的时间戳的先后顺序进行拼接,得到该任一图像对应的反射声波。根据此种方式,可以根据与至少一个图像分别对齐的反射子声波,得到至少一个图像分别对应的反射声波。
在得到任一图像对应的反射声波后,基于该任一图像和该任一图像对应反射声波构成任一目标物对应的任一训练样本。需要说明的是,在基于该任一图像和该任一图像对应反射声波构成任一目标物对应的任一训练样本后,该任一训练样本中包括一个来自同一目标物的针对同一图像的<图像,反射声波>对。
在得到至少一个图像分别对应的反射声波后,基于每个图像和该图像对应的反射声波均可以构成任一目标物对应的一个训练样本,从而得到至少一个图像构成的任一目标物对应的至少一个训练样本。
示例性地,获取任一目标物对应的训练样本的过程可以如图8中的81至88所示。81、获取目标物反射的反射声波;82、将反射声波分割成至少一个反射子声波;83、对反射子声波进行滤波和归一化处理;84、获取目标物的图像序列;85、确定图像序列中的至少一个图像的时间戳;86、对图像进行增广操作;87、将处理后反射子声波和处理后的图像进行对齐处理,确定图像对应的反射声波;88、将针对同一图像的<图像,反射声波>对作为目标物的训练样本。
步骤5:基于至少一个图像构成的任一目标物对应的至少一个训练样本,构成任一训练样本子集。
在得到至少一个图像构成的任一目标物对应的至少一个训练样本后,基于任一目标物对应的至少一个训练样本,构成任一训练样本子集,该任一训练样本子集是与该任一目标物对应的训练样本子集。
需要说明的是,以上步骤1至步骤5介绍了获取任一训练样本子集的过程,针对每个目标物,均可以根据上述步骤1至步骤5获取一个训练样本子集,在获取至少两个训练样本子集后,可以得到训练样本集。
在步骤702中,在至少两个训练样本子集中分别选取训练样本构成目标训练样本,基于目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到活体检测模型。
其中,活体检测模型包括目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型以及目标判别器模型。
目标训练样本用于对待训练的活体检测模型进行一次训练。构成目标训练样本中的训练样本是在至少两个训练样本子集中分别选取的,由于不同训练样本子集对应不同目标物,所以,目标训练样本中包括来自至少两个目标物的至少两个训练样本。需要说明的是,在构成目标训练样本的过程中,不同训练样本子集中可以选取相同数量的训练样本,也可以选取不同数量的训练样本,本申请实施例对此不加以限定。
在得到目标训练样本后,基于目标训练样本对待训练的活体检测模型进行训练,得到活体检测模型。在一种可能实现方式中,参见图9,基于目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到体检测模型的流程包括以下步骤7021至步骤7026。
步骤7021:调用初始图像特征提取模型提取目标训练样本中的图像的初始图像特征。
初始图像特征提取模型为待训练的图像特征提取模型,用于提取图像的特征。在一种可能实现方式中,调用初始图像特征提取模型提取目标训练样本中的图像的初始图像特征的过程为:将目标训练样本中的图像输入初始图像特征提取模型,得到初始图像特征提取模型提取的初始图像特征。需要说明的是,由于目标训练样本中包括来自至少两个目标物的至少两个训练样本,每个训练样本中均包括图像,所以此步骤7021调用初始图像特征提取模型提取的初始图像特征为每个图像分别对应的初始图像特征。也就是说,此步骤7021调用初始图像特征提取模型提取的初始图像特征的数量为至少两个。
步骤7022:调用初始声波特征提取模型提取目标训练样本中的反射声波的初始声波特征。
初始声波特征提取模型为待训练的声波特征提取模型,用于提取反射声波的特征。在一种可能实现方式中,调用初始声波特征提取模型提取目标训练样本中的反射声波的初始声波特征的过程为:将目标训练样本中的反射声波输入初始声波特征提取模型,得到初始声波特征提取模型提取的初始声波特征。需要说明的是,由于目标训练样本中包括来自至少两个目标物的至少两个训练样本,每个训练样本中均包括反射声波,所以此步骤7022调用初始声波特征提取模型提取的初始声波特征为每个反射声波分别对应的初始声波特征。也就是说,此步骤7022调用初始声波特征提取模型提取的初始声波特征的数量为至少两个。
步骤7023:调用第一初始分类模型对初始图像特征进行分类处理,根据分类结果得到第一初始活体检测结果;调用第二初始分类模型对初始声波特征进行分类处理,根据分类结果得到第二初始活体检测结果。
第一初始分类模型为待训练的用于对图像特征进行分类处理的模型,第二初始分类模型为待训练的用于对声波特征进行分类处理的模型。
需要说明的是,在调用第一初始分类模型对初始图像特征进行分类处理的过程中,调用第一初始分类模型对每个初始图像特征分别进行分类处理。调用第一初始分类模型对每个初始图像特征进行分类处理后,均可以根据一个分类结果得到一个第一初始活体检测结果。由于初始图像特征的数量为至少两个,所以此步骤7023中得到的第一初始活体检测结果的数量也为至少两个。
在调用第二初始分类模型对初始声波特征进行分类处理的过程中,调用第二初始分类模型对每个初始声波特征分别进行分类处理。调用第二初始分类模型对每个初始声波特征进行分类处理后,均可以根据一个分类结果得到一个第二初始活体检测结果。由于初始声波特征的数量为至少两个,所以此步骤7023中得到的第二初始活体检测结果的数量也为至少两个。
步骤7024:基于初始图像特征和初始声波特征,构成样本特征组,任一样本特征组由一个初始图像特征和一个初始声波特征构成。
根据步骤7021和步骤7022可知,初始图像特征的数量为至少两个,初始声波特征的数量也为至少两个,基于至少两个初始图像特征和至少两个初始声波特征,构成样本特征组,任一样本特征组由一个初始图像特征和一个初始声波特征构成。
在一种可能实现方式中,样本特征组包括正样本特征组和负样本特征组,基于初始图像特征和初始声波特征,构成样本特征组的过程为:基于初始图像特征和初始声波特征,确定满足正匹配条件的初始图像特征-初始声波特征对和满足负匹配条件的初始图像特征-初始声波特征对;基于满足正匹配条件的初始图像特征-初始声波特征对构成正样本特征组,基于满足负匹配条件的初始图像特征-初始声波特征对构成负样本特征组。其中,满足正匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自目标训练样本中的同一个训练样本;满足负匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自目标训练样本中的满足参考条件的两个训练样本,满足参考条件的两个训练样本是指来自不同训练样本子集的两个训练样本。
一个训练样本子集对应一个目标物,所以,在基于上述方式得到正样本特征组和负样本特征组后,正样本特征组中的初始图像特征和初始声波特征来自同一目标物,能够使模型学习来自同一目标物的图像特征和声波特征之间的关联特征;负样本特征组中的初始图像特征和初始声波特征来自不同目标物,能够使模型学习来自不同目标物的图像特征和声波特征之间的关联特征。
需要说明的是,由于目标训练样本中包括来自两个训练样本子集的至少两个训练样本,每个训练样本中的图像对应的初始图像特征和反射声波对应的初始声波特征均可以构成一个满足正匹配条件的初始图像特征-初始声波特征对。每个满足正匹配条件的初始图像特征-初始声波特征对均可以构成一个正样本特征组,所以,正样本特征组的数量为至少两个。此外,来自两个训练样本子集的至少两个训练样本中的图像对应的初始图像特征和反射声波对应的初始声波特征可以构成至少两个满足负匹配条件的初始图像特征-初始声波特征对,负样本特征组的数量也为至少两个。
示例性地,假设目标训练样本包括来自训练样本子集a的一个训练样本A和来自训练样本子集b的一个训练样本B,则在经过步骤7021后,可以得到训练样本A中的图像对应的初始图像特征1和训练样本B中的图像对应的初始图像特征2,在经过步骤7022后,可以得到训练样本A中的反射声波对应的初始声波特征1和训练样本B中的反射声波对应的初始图像特征2。在此基础上,满足正匹配条件的初始图像特征-初始声波特征对包括:初始图像特征1-初始声波特征1对和初始图像特征2-初始声波特征2对;满足正匹配条件的初始图像特征-初始声波特征对包括:初始图像特征1-初始声波特征2对和初始图像特征2-初始声波特征1对。基于初始图像特征1-初始声波特征1对和初始图像特征2-初始声波特征2对可以构成(初始图像特征1,初始声波特征1)和(初始图像特征2,初始声波特征2)这两个正样本特征组;基于初始图像特征1-初始声波特征2对和初始图像特征2-初始声波特征1对可以构成(初始图像特征1,初始声波特征2)和(初始图像特征2,初始声波特征1)这两个负样本特征组。
需要说明的是,在构成正样本特征组和负样本特征组的过程中,忽略了既不满足正匹配条件、又不满足负匹配条件的初始图像特征-初始声波特征对,这部分初始图像特征-初始声波特征对来自同一训练子集中的两个不同训练样本。虽然同一训练子集中的训练样本均对应同一目标物,但是由于同一训练子集中的两个不同训练样本为目标物在不同时刻对应的训练样本,所以这部分初始图像特征-初始声波特征对来自同一目标物的不同时刻,这部分初始图像特征-初始声波特征对容易对模型的学习过程产生干扰,所以忽略此部分初始图像特征-初始声波特征对。
步骤7025:基于第一初始活体检测结果对第一初始分类模型进行训练;基于第二初始活体检测结果对第二初始分类模型进行训练;基于样本特征组对初始判别器模型进行训练;基于第一初始活体检测结果和样本特征组对初始图像特征提取模型进行训练;基于第二初始活体检测结果和样本特征组对初始声波特征提取模型进行训练。
此步骤7025为对待训练的活体检测模型中的各个模型进行训练的过程,由于不同模型所起到的功能不同,所以对不同的模型进行训练所依据的数据是不同的。接下来分别介绍训练各个模型的方式。
1、基于第一初始活体检测结果对第一初始分类模型进行训练。
第一活体检测结果为第一初始分类模型分类处理后得到的结果,根据该第一初始活体检测结果对第一初始分类模型进行训练。在一种可能实现方式中,目标训练样本中的每个训练样本均具有分类标签,该分类标签用于指示训练样本对应的目标物是否为活体,分类标签指示的结果为真实的结果。每个训练样本均对应一个第一初始活体检测结果,该第一初始活体检测结果用于指示训练样本对应的目标物在图像层面是否为活体,第一初始活体检测结果为模型预测的结果。
在一种可能实现方式中,基于第一初始活体检测结果对第一初始分类模型进行训练的过程为:基于第一初始活体检测结果和分类标签,获取第一分类损失函数;基于第一分类损失函数更新第一初始分类模型的参数。需要说明的是,由于每个训练样本均对应一个第一初始活体检测结果和一个分类标签,所以,基于第一初始活体检测结果和分类标签,获取第一分类损失函数的过程可以为:分别计算每个第一初始活体检测结果和对应的分类标签之间的损失函数,将计算得到的各个损失函数的平均值作为第一分类损失函数。本申请实施例对第一初始活体检测结果和对应的分类标签之间的损失函数的类型不加以限定,示例性地,第一初始活体检测结果和对应的分类标签之间的损失函数为交叉熵损失函数。
2、基于第二初始活体检测结果对第二初始分类模型进行训练。
第二活体检测结果为第二初始分类模型分类处理后得到的结果,根据该第二初始活体检测结果对第二初始分类模型进行训练。在一种可能实现方式中,目标训练样本中的每个训练样本均具有分类标签,该分类标签用于指示训练样本对应的目标物是否为活体,分类标签指示的结果为真实的结果。每个训练样本均对应一个第二初始活体检测结果,该第二初始活体检测结果用于指示训练样本对应的目标物在反射声波层面是否为活体,第二初始活体检测结果为模型预测的结果。
在一种可能实现方式中,基于第二初始活体检测结果对第二初始分类模型进行训练的过程为:基于第二初始活体检测结果和分类标签,获取第二分类损失函数;基于第二分类损失函数更新第二初始分类模型的参数。需要说明的是,由于每个训练样本均对应一个第二初始活体检测结果和一个分类标签,所以,基于第二初始活体检测结果和分类标签,获取第二分类损失函数的过程可以为:分别计算每个第二初始活体检测结果和对应的分类标签之间的损失函数,将计算得到的各个损失函数的平均值作为第二分类损失函数。本申请实施例对第二初始活体检测结果和对应的分类标签之间的损失函数的类型不加以限定,示例性地,第二初始活体检测结果和对应的分类标签之间的损失函数为交叉熵损失函数。
3、基于样本特征组对初始判别器模型进行训练。
每个样本特征组中包括一个初始图像特征和一个初始声波特征,初始判别器模型用于将样本特征组中的图像特征和声波特征进行匹配,基于样本特征组能够对初始判别器模型进行训练。在一种可能实现方式中,样本特征组包括正样本特征组和负样本特征组。在一种可能实现方式中,初始判别器模型的结构包括但不限于以下两种情况。
情况1:初始判别器模型包括初始相似度计算子模型。
在一种可能实现方式中,在此种情况1下,基于样本特征组对初始判别器模型进行训练的过程为:调用初始相似度计算子模型,计算正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;基于第一相似度值、第二相似度值和第一参考阈值,计算第一目标损失函数;基于第一目标损失函数更新初始相似度计算子模型的参数。
在一种可能实现方式中,初始相似度计算子模型的主体为一个相似度计算矩阵,每个样本特征组中的初始图像特征和初始声波特征均为向量,在初始相似度计算子模型中,计算初始图像特征对应的向量、相似度计算矩阵和初始声波特征对应的向量这三者之间的乘积,将乘积作为图像特征和声波特征之间的相似度值。
每个正样本特征组均对应一个第一相似度值,每个负样本特征组均对应一个第二相似度值。在一种可能实现方式中,在基于第一相似度值、第二相似度值和第一参考阈值,计算第一目标损失函数的过程中,可以直接利用全部的第一相似度值和全部的第二相似度值,也可以仅利用满足第一相似度条件的第一相似度值和满足第二相似度条件的第二相似度值,本申请实施例对此不加以限定。满足第一相似度条件可以是指相似度值不大于第一相似度阈值,满足第二相似度条件可以是指相似度值不小于第二相似度阈值。第一相似度阈值大于第二相似度阈值,第一相似度阈值和第二相似度阈值可以根据经验设置,本申请实施例对此不加以限定。
第一相似度值为正样本特征组对应的相似度值,由于正样本特征组中的初始图像特征和初始声波特征来自同一目标物,所以第一相似度值应该比较大;第二相似度值为负样本特征组对应的相似度值,由于负样本特征组中的初始图像特征和初始声波特征来自不同目标物,所以第二相似度值应该比较小。不大于第一相似度阈值的第一相似度值,以及不小于第二相似度阈值的第二相似度值为预测的较不准确的相似度值,因此,仅利用满足第一相似度条件的第一相似度值和满足第二相似度条件的第二相似度值,可以使计算得到的第一目标损失函数能够更有针对性地更新模型参数,模型训练的效果更佳。
在一种可能实现方式中,第一目标损失函数可以基于下述公式1计算得到:
其中,表示第一目标损失函数;表示第一参考阈值;表示反射声波sig对应的初始声波特征;表示图像img对应的初始图像特征;表示相似度计算矩阵;表示反射声波j对应的初始声波特征,反射声波j为除反射声波sig外的其他反射声波。在一种可能实现方式中,初始声波特征可以为行向量、初始图像特征可以为列向量,可以为线性转换矩阵。在上述公式1中,代表参与第一目标损失函数计算的第一相似度值;代表参与第一目标损失函数计算的第二相似度值。利用上述公式1计算得到的第一目标损失函数所体现的优化方向为:希望来自同一目标物的初始图像特征和初始声波特征间的相关度尽量高,来自不同目标物的初始图像特征和初始声波特征间的相关度尽量低,且希望来自同一目标物的初始图像特征和初始声波特征间的相关度和来自不同目标物的初始图像特征和初始声波特征间的相关度之间能有大于第一参考阈值的差距,对不满足此种优化方向的数据均进行惩罚。
在得到第一目标损失函数后,基于第一目标损失函数更新初始相似度计算子模型的参数,从而达到对初始判别器模型进行训练的目的。
情况2:初始判别器模型包括初始特征融合子模型和初始分类处理子模型。
在一种可能实现方式中,正样本特征组对应第一标签,负样本特征组对应第二标签,其中,第一标签用于指示初始图像特征和初始声波特征来自同一目标物,第二标签用于指示初始图像特征和初始声波特征来自不同目标物。在此种情况2下,基于样本特征组对初始判别器模型进行训练的过程包括以下步骤a至步骤c。
步骤a:将正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第一融合特征;调用初始分类处理子模型对第一融合特征进行分类处理,得到第一分类结果。
正样本特征组的数量为至少两个,将正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第一融合特征的过程为:分别将每个正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到每个正样本特征组对应的第一融合特征。调用初始分类处理子模型对第一融合特征进行分类处理,得到第一分类结果的过程为:调用初始分类处理子模型分别对每个第一融合特征进行分类处理,得到每个第一融合特征对应的第一分类结果。每个第一融合特征对应的第一分类结果用于指示构成该第一融合特征的初始图像特征和初始声波特征是否为来自同一目标物,第一分类结果为预测的结果。
步骤b:将负样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第二融合特征,调用初始分类处理子模型对第二融合特征进行分类处理,得到第二分类结果。
负样本特征组的数量也为至少两个,将负样本特征组中的图像特征和声波特征输入初始特征融合子模型进行融合,得到第二融合特征的过程为:分别将每个负样本特征组中的图像特征和声波特征输入初始特征融合子模型进行融合,得到每个负样本特征组对应的第二融合特征。调用初始分类处理子模型对第二融合特征进行分类处理,得到第二分类结果的过程为:调用初始分类处理子模型分别对每个第二融合特征进行分类处理,得到每个第二融合特征对应的第二分类结果。每个第二融合特征对应的第二分类结果用于指示构成该第二融合特征的初始图像特征和初始声波特征是否为来自同一目标物,该第二分类结果为预测的结果。
在一种可能实现方式中,对图像特征和声波特征进行融合的方式可以是指将图像特征和声波特征进行加和,也可以是指将图像特征和声波特征进行拼接,本申请实施例对此不加以限定。初始分类处理子模型可以包括激活函数层,利用激活函数层对融合特征进行分类处理并得到分类结果。
步骤c:基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数;基于第二目标损失函数更新初始特征融合子模型和初始分类处理子模型的参数。
第一分类结果为正样本特征组对应的预测结果,第一标签为正样本特征组对应的真实结果,第一分类结果和第一标签之间的损失函数是指每个第一分类结果和第一标签之间的损失函数。本申请实施例对第一分类结果和第一标签之间的损失函数的类型不加以限定,示例性地,第一分类结果和第一标签之间的损失函数为交叉熵损失函数。
第二分类结果为负样本特征组对应的预测结果,第二标签为负样本特征组对应的真实结果,第二分类结果和第二标签之间的损失函数是指每个第二分类结果和第二标签之间的损失函数。本申请实施例对第二分类结果和第二标签之间的损失函数的类型不加以限定,示例性地,第二分类结果和第二标签之间的损失函数为交叉熵损失函数。
在得到第一分类结果和第一标签之间的损失函数和第二分类结果和第二标签之间的损失函数后,基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数。在一种可能实现方式中,基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数的过程为:计算各个第一分类结果和第一标签之间的损失函数的第一平均损失函数,以及各个第二分类结果和第二标签之间的损失函数的第二平均损失函数;基于第一平均损失函数和第二平均损失函数,计算第二目标损失函数。
在一种可能实现方式中,基于第一平均损失函数和第二平均损失函数,计算第二目标损失函数的过程为:为第一平均损失函数设置第一权重,为第二平均损失函数设置第二权重;将第一乘积和第二乘积的和作为第二目标损失函数。其中,第一乘积为第一平均损失函数和第一权重的乘积,第二乘积为第二平均损失函数和第二权重的乘积。第一权重和第二权重可以根据经验设置,本申请实施例对此不加以限定,例如,第一权重设置为0.5,第二权重也设置为0.5。
在得到第二目标损失函数后,基于第二目标损失函数更新初始特征融合子模型和初始分类处理子模型的参数,从而达到对初始判别器模型进行训练的目的。
4、基于第一初始活体检测结果和样本特征组对初始图像特征提取模型进行训练。
初始图像特征提取模型提取的特征有两方面用途,一方面用于得到图像层面的第一初始活体检测结果,另一方面用于构成需要输入判别器模型的样本特征组。因此,基于第一初始活体检测结果和样本特征组对初始图像特征提取模型进行训练。
在一种可能实现方式中,样本特征组包括正样本特征组和负样本特征组,对应于初始判别器模型的两种不同模型结构,基于第一初始活体检测结果和样本特征组对初始图像特征提取模型进行训练的过程包括以下两种。
过程一:基于第一初始活体检测结果和分类标签,获取第一分类损失函数;调用初始相似度计算子模型,计算正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;基于第一相似度值、第二相似度值和第一参考阈值,计算第一目标损失函数;基于第一分类损失函数和第一目标损失函数更新初始图像特征提取模型的参数。
此种过程一发生在初始判别器模型包括初始相似度计算子模型的情况下。获取第一分类损失函数的过程可以参见基于第一初始活体检测结果对第一初始分类模型进行训练的过程,此处不再赘述。计算第一目标损失函数的过程可以参见基于样本特征组对初始判别器模型进行训练的过程中的情况1,此处不再赘述。
过程二:基于第一初始活体检测结果和分类标签,获取第一分类损失函数;将正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第一融合特征;调用初始分类处理子模型对第一融合特征进行分类处理,得到第一分类结果;将负样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第二融合特征,调用初始分类处理子模型对第二融合特征进行分类处理,得到第二分类结果;基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数;基于第一分类损失函数和第二目标损失函数更新初始图像特征提取模型的参数。
此种过程二发生在初始判别器模型包括初始特征融合子模型和初始分类处理子模型的情况下。获取第一分类损失函数的过程可以参见基于第一初始活体检测结果对第一初始分类模型进行训练的过程,此处不再赘述。计算第二目标损失函数的过程可以参见基于样本特征组对初始判别器模型进行训练的过程中的情况2,此处不再赘述。
根据上述过程一和过程二可知,第一分类损失函数除了用于更新第一初始分类模型的参数外,还用于更新初始图像特征提取模型的参数;目标损失函数(第一目标损失函数或第二目标损失函数)除了用于更新初始判别器模型中的子模型的参数外,还用于更新初始图像特征提取模型的参数。
5、基于第二初始活体检测结果和样本特征组对初始声波特征提取模型进行训练。
初始声波特征提取模型提取的特征有两方面用途,一方面用于得到反射声波层面的第二初始活体检测结果,另一方面用于构成需要输入判别器模型的样本特征组。因此,基于第二初始活体检测结果和样本特征组对初始声波特征提取模型进行训练。
在一种可能实现方式中,样本特征组包括正样本特征组和负样本特征组,对应于初始判别器模型的两种不同模型结构,基于第二初始活体检测结果和样本特征组对初始声波特征提取模型进行训练的过程包括以下两种。
过程1:基于第二初始活体检测结果和分类标签,获取第二分类损失函数;调用初始相似度计算子模型,计算正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;基于第一相似度值、第二相似度值和第一参考阈值,计算第一目标损失函数;基于第二分类损失函数和第一目标损失函数更新初始声波特征提取模型的参数。
此种过程1发生在初始判别器模型包括初始相似度计算子模型的情况下。获取第二分类损失函数的过程可以参见基于第二初始活体检测结果对第二初始分类模型进行训练的过程,此处不再赘述。计算第一目标损失函数的过程可以参见基于样本特征组对初始判别器模型进行训练的过程中的情况1,此处不再赘述。
过程2:基于第二初始活体检测结果和分类标签,获取第二分类损失函数;将正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第一融合特征;调用初始分类处理子模型对第一融合特征进行分类处理,得到第一分类结果;将负样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第二融合特征,调用初始分类处理子模型对第二融合特征进行分类处理,得到第二分类结果;基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数;基于第一分类损失函数和第二目标损失函数更新初始声波特征提取模型的参数。
此种过程2发生在初始判别器模型包括初始特征融合子模型和初始分类处理子模型的情况下。获取第二分类损失函数的过程可以参见基于第二初始活体检测结果对第二初始分类模型进行训练的过程,此处不再赘述。计算第二目标损失函数的过程可以参见基于样本特征组对初始判别器模型进行训练的过程中的情况2,此处不再赘述。
根据上述过程1和过程2可知,第二分类损失函数除了用于更新第二初始分类模型的参数外,还用于更新初始声波特征提取模型的参数;目标损失函数(第一目标损失函数或第二目标损失函数)除了用于更新初始判别器模型中的子模型的参数外,还用于更新初始声波特征提取模型的参数。
根据上述训练过程可知,第一分类损失函数用于更新第一初始分类模型的参数和初始图像特征提取模型的参数,第二分类损失函数用于更新第二初始分类模型的参数和初始声波特征提取模型的参数,目标损失函数(第一目标损失函数或第二目标损失函数)用于更新初始判别器模型中的子模型的参数、初始图像特征提取模型的参数和初始声波特征提取模型的参数。
需要说明的是,上述训练各个模型的过程是同时进行的,也就是说,根据目标训练样本对待训练的活体检测模型中的各个模型同时训练一次。在训练一次后,判断是否满足训练终止条件,当不满足训练终止条件时,再次在至少两个训练样本子集中分别选取训练样本构成新的目标训练样本,根据新的目标训练样本对不满足训练终止条件的活体检测模型中的各个模型再次进行训练,循环上述过程,直至满足训练终止条件。将满足训练终止条件时得到的图像特征提取模型作为目标图像特征模型,将满足训练终止条件时得到的声波特征提取模型作为目标声波特征模型,将满足训练终止条件时得到的第一分类模型作为第一目标分类模型,将满足训练终止条件时得到的第二分类模型作为第二目标分类模型,将满足训练终止条件时得到的判别器模型作为目标判别器模型。此时,训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型。
需要说明的是,用于再次进行训练的新的目标训练样本可以与前一次训练过程所用的目标训练样本相同,也可以不同,本申请实施例对此不加以限定。
在一种可能实现方式中,满足训练终止条件包括但不限于以下三种情况。
情况1、迭代训练次数达到次数阈值。
次数阈值可以根据经验设置,也可以根据应用场景灵活调整,本申请实施例对此不加以限定。
情况2、损失函数均小于损失阈值。
需要说明的是,不同的损失函数可以对应相同的损失阈值,也可对应不同的损失阈值,本申请实施例对此不加以限定。
情况3、损失函数均收敛。
损失函数收敛是指随着迭代训练次数的增加,在参考次数的训练结果中,损失函数的波动范围在参考范围内。例如,假设参考范围为-10-3~10-3,假设参考次数为10次。若损失函数在10次的迭代训练结果中波动范围均在-10-3~10-3内,则认为损失函数收敛。
步骤7026:响应于训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型,得到活体检测模型。
当训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型时,即可得到活体检测模型。此时得到的活体检测模型,能够较为准确地提取出包含活体检测方面的信息的图像特征和声波特征,以能够分别在图像层面和反射声波层面较为准确地判断某一物体是否为活体,还能够较为准确地判断图像特征和声波特征是否来自同一物体。
需要说明的是,为避免给模型学习造成混淆,训练样本集由自然场景下的简单物体对应的训练样本构成,此种训练样本集能够使模型在自然场景下提取的特征间有较强关联度。而复杂场景(例如超市中常有的带有广告的商品)会对模型的学习产生较大影响。举例来说,许多商品将代言人的照片打印在商品本身(例如奶粉罐上的某明星),其本身形状与表平面并未产生任何变换,故而从反射声波层面其都是同一物体,但由于表面广告的存在,从图像层面来讲区别极大,表面图像(或颜色)与真实表平面结构已经解耦,故而与反射声波的关联度也极低,将其加入训练阶段将会对模型学习产生误导,因此,训练过程采用的训练样本集均由自然场景下的简单物体对应的训练样本构成。活体检测模型的主要目标是为了在被攻击的情况下依然可以实现稳定,故而在得到活体检测模型后,可以利用攻击样本对活体检测模型进行优化,以使优化后的活体检测模型在复杂场景下仍能稳定地实现活体检测。
在一种可能实现方式中,参见图10,对活体检测模型进行优化的流程包括以下步骤1001至步骤1004。
步骤1001:获取攻击样本集,攻击样本集包括至少一个攻击样本子集,不同攻击样本子集对应不同攻击物,任一攻击样本子集包括任一攻击物对应的至少一个攻击样本,任一攻击物对应的任一攻击样本包括任一攻击物对应的任一图像和任一图像对应的反射声波。
攻击样本集用于对训练得到的活体检测模型进行优化,攻击样本集中包括至少一个攻击样本子集,每个攻击样本子集对应一个攻击物。攻击物指示用于采集攻击样本的物体,在一种可能实现方式中,攻击物是指视觉活体检测攻击场景中常见的物体,例如,打印的人脸图片、手机或平板电脑上的人脸照片或视频、遮挡在真实人脸面前的人脸面具等。这些攻击物从图像层面与真实人脸采集的样本较难区分,但由于攻击物的反射平面与真实人脸有较大区别,故而从反射声波层面会有较大区分度。
针对每个攻击物,均采集一个攻击样本子集,每个攻击样本子集中包括一个攻击物对应的至少一个攻击样本,一个攻击物对应的每个攻击样本中均包括该攻击物对应的一个图像和该图像对应的反射声波。任一攻击样本子集的获取过程可以参见步骤701中的步骤1至步骤5,此处不再赘述。
步骤1002:在攻击样本集中选取攻击样本构成目标攻击样本,调用目标图像特征提取模型提取目标攻击样本中的图像的目标图像特征;调用目标声波特征提取模型提取目标攻击样本中的反射声波的目标声波特征。
攻击样本集中包括至少一个攻击样本子集,在攻击样本集中选取攻击样本可以是指在一个攻击样本子集中选取攻击样本,也可以是在多个攻击样本子集中选取攻击样本,本申请实施例对此不加以限定。将选取的攻击样本构成目标攻击样本,目标攻击样本用于对活体检测模型优化一次。需要说明的是,目标攻击样本中可以包括一个攻击样本,也可以包括多个攻击样本,本申请实施例对此不加以限定。
目标图像特征提取模型为训练好的图像特征提取模型,用于提取图像的特征。在一种可能实现方式中,调用目标图像特征提取模型提取目标攻击样本中的图像的目标图像特征的过程为:将目标攻击样本中的图像输入目标图像特征提取模型,得到目标图像特征提取模型提取的目标图像特征。需要说明的是,目标攻击样本中可能包括一个或多个攻击样本,每个攻击样本中均包括图像,此处调用目标图像特征提取模型提取的目标图像特征为每个图像分别对应的目标图像特征。
目标声波特征提取模型为训练好的声波特征提取模型,用于提取反射声波的特征。在一种可能实现方式中,调用目标声波特征提取模型提取目标攻击样本中的反射声波的目标声波特征的过程为:将目标攻击样本中的反射声波输入目标声波特征提取模型后,得到目标声波特征提取模型提取的目标声波特征。需要说明的是,目标攻击样本中可能包括一个或多个攻击样本,每个攻击样本中均包括反射声波,此处调用目标声波特征提取模型提取的目标声波特征为每个反射声波分别对应的目标声波特征。
步骤1003:基于目标图像特征和目标声波特征,构成攻击特征组,任一攻击特征组由一个目标图像特征和一个目标声波特征构成。
在一种可能实现方式中,基于目标图像特征和目标声波特征,构成攻击特征组的方式为:基于目标图像特征和目标声波特征,确定满足参考匹配条件的目标图像特征-目标声波特征对;基于满足参考匹配条件的目标图像特征-目标声波特征对构成攻击特征组。其中,满足参考匹配条件是指目标图像特征对应的图像和目标声波特征对应的反射声波来自目标攻击样本中的同一个攻击样本。攻击特征组的数量与目标攻击样本中包括的攻击样本的数量一致。
步骤1004:基于攻击特征组对活体检测模型中的目标判别器模型进行优化,基于优化后的目标判别器模型,得到优化后的活体检测模型。
在得到攻击特征组后,基于攻击特征组对活体检测模型中的目标判别器模型进行优化。在一种可能实现方式中,对应于目标判别器模型的两种不同模型结构,基于攻击特征组对活体检测模型中的目标判别器模型进行优化的过程包括以下两种。
过程a:获取参考特征组,任一参考特征组由一个参考图像特征和一个参考声波特征构成;调用目标相似度计算子模型,计算参考特征组中的参考图像特征和参考声波特征之间的第三相似度值,以及攻击特征组中的目标图像特征和目标声波特征之间的第四相似度值;基于第三相似度值、第四相似度值和第二参考阈值,计算第三目标损失函数;基于第三目标损失函数更新目标相似度计算子模型的参数。
此过程a发生在目标判别器模型包括目标相似度计算子模型的情况下。参考特征组是指用于正向引导的特征组,正向引导是指使参考特征组中的参考图像特征和参考声波特征之间的相似度值高。参考特征组中的参考图像特征和参考声波特征来自同一非攻击物体。非攻击物体是指在图像层面和反射声波层面能够得到相同的活体检测结果的物体,非攻击物体可以是指模型训练过程中用于采集训练样本集的目标物,也可以是其他简单场景下的物体,本申请实施例对此不加以限定。
参考特征组可以基于模型训练过程中得到的正样本特征组得到,也可以重新获取。对于参考特征组基于模型训练过程中得到的正样本特征组得到的情况,可以将部分或全部正样本特征组作为参考特征组。对于参考特征组为重新获取的情况,获取参考特征组的过程可以参见获取模型训练过程中的正样本特征组的过程,此处不再赘述。
攻击特征组中的目标图像特征对应的图像和目标声波特征对应的反射声波来自同一攻击物,由于同一攻击物在图像层面和反射声波层面具有不同的活体检测结果,所以攻击特征组用于作为负向引导,负向引导是指使攻击特征组中的目标图像特征和目标声波特征之间的相似度值低。
在获取参考特征组后,调用目标相似度计算子模型,计算参考特征组中的参考图像特征和参考声波特征之间的第三相似度值,以及攻击特征组中的目标图像特征和目标声波特征之间的第四相似度值,然后基于第三相似度值、第四相似度值和第二参考阈值,计算第三目标损失函数。
第三相似度值为参考特征组对应的相似度值,由于参考特征组用于正向引导,所以第三相似度值应该比较大;第四相似度值为攻击特征组对应的相似度值,由于攻击特征组中用于负向引导,所以第四相似度值应该比较小。在一种可能实现方式中,第三目标损失函数可以基于公式1计算得到。需要说明的是,在此步骤中,公式1中的表示第二参考阈值;代表参与第三目标损失函数计算的第三相似度值;代表参与第三目标损失函数计算的第四相似度值。利用上述公式1计算得到的第三目标损失函数所体现的优化方向为:希望来自参考特征组的参考图像特征和参考声波特征间的相关度尽量高,来自攻击特征组的目标图像特征和目标声波特征间的相关度尽量低,且希望来自参考特征组的参考图像特征和参考声波特征间的相关度和来自攻击特征组的目标图像特征和目标声波特征间的相关度之间能有大于第二参考阈值的差距。
第二参考阈值可以与第一参考阈值相同,也可以与第一参考阈值不同,本申请实施例对此不加以限定。在一种可能实现方式中,第二参考阈值大于第一参考阈值,采用更大的参考阈值能够刻意降低攻击特征组中的目标图像特征和目标声波特征之间的相关度,从而在活体检测过程中更好地识别出攻击物体。
在得到第三目标损失函数后,基于第三目标损失函数更新目标相似度计算子模型的参数,从而达到对目标判别器模型进行优化的目的。
过程b:将攻击特征组中的目标图像特征和目标声波特征输入目标特征融合子模型进行融合,得到第三融合特征;调用目标分类处理子模型对第三融合特征进行分类处理,得到第三分类结果;基于第三分类结果和第二标签之间的损失函数更新目标特征融合子模型和目标分类处理子模型的参数。
此过程b发生在目标判别器模型包括目标特征融合子模型和目标分类处理子模型的情况下。攻击样本组对应第二标签,第二标签用于指示图像特征和声波特征来自不同物体,将攻击样本中的目标图像特征和目标声波特征视为来自不同物体,利用该第二标签进行监督可以更好地识别出攻击物体。
第三分类结果为攻击特征组对应的预测结果,第二标签为攻击组对应的真实结果,第三分类结果和第二标签之间的损失函数是指每个第三分类结果和第二标签之间的损失函数。本申请实施例对第三分类结果和第二标签之间的损失函数的类型不加以限定,示例性地,第三分类结果和第二标签之间的损失函数为交叉熵损失函数。
在得到第三分类结果和第二标签之间的损失函数后,基于第三分类结果和第二标签之间的损失函数更新目标特征融合子模型和目标分类处理子模型的参数,从而达到对目标判别器模型进行优化的目的。
无论是上述过程a还是上述过程b,均可以实现对目标判别器模型进行优化的目的。需要说明的是,在基于攻击特征组对活体检测模型中的目标判别器模型进行优化的过程中,活体检测模型中的其他模型参数保持不变。
例如,对目标判别器模型进行优化的过程可以如图11所示,首先针对攻击物采集数据,对采集的图像数据进行图像预处理,得到攻击样本中的图像;对采集的反射声波数据进行反射声波预处理,得到攻击样本中的反射声波;将图像输入目标图像特征提取模型111,得到目标图像特征;将反射声波输入目标声波特征提取模型112,得到目标声波特征;基于目标图像特征和目标声波特征,对目标判别器模型113优化。需要说明的是,由于对目标判别器模型进行优化的过程中未涉及第一目标分类模型和第二目标分类模型,因此,图11中未画出第一目标分类模型和第二目标分类模型。
在基于攻击特征组对活体检测模型中的目标判别器模型进行优化后,得到优化后的目标判别器模型。然后可以基于优化后的目标判别器模型,得到优化后的活体检测模型。在一种可能实现方式中,基于优化后的目标判别器模型,得到优化后的活体检测模型的过程为:在活体检测模型中,利用优化后的目标判别器模型替换优化前的目标判别器模型,得到优化后的活体检测模型。需要说明的是,对于在得到活体检测模型后,进一步对活体检测模型进行优化的情况,在实际对待检测对象进行活体检测的过程中,调用优化后的活体检测模型进行活体检测,以提高活体检测结果的稳定性和可靠性。
根据攻击样本集对目标判别器进行优化,有利于提高活体检测模型针对攻击物具有更加鲁棒的性能,从而使活体检测模型能够较大程度抵御攻击物的攻击。
示例性地,获取优化后的活体检测模型的过程可以如图12中的1201至1204所示。1201、图像数据和反射声波数据的收集与处理,得到训练样本集和攻击样本集;1202、利用训练样本集对待训练的活体检测模型进行训练,得到活体检测模型;1203、利用攻击样本集对活体检测模型进行优化;1204、输出优化后的活体检测模型。
在本申请实施例中,由于图像和反射声波这两个模态可以引入更丰富的信息,所以可以实现精度更高且更为鲁棒的活体检测效果,除利用训练样本集进行训练外,还利用攻击样本进行优化,使得本申请实施例提供的活体检测模型能够在一些常见的视觉攻击场景中有更优异的表现。
在本申请实施例中,通过训练的方式得到活体检测模型,在基于训练得到的活体检测模型进行活体检测的过程中,除考虑图像方面的信息外,还考虑反射声波方面的信息以及两个方面之间的匹配信息,考虑的信息较全面,能够提高对攻击的防御能力,检测稳定性较高,有利于提高活体检测结果的准确度,活体检测的效果较好。
参见图13,本申请实施例提供了一种活体检测装置,该装置包括:
获取单元1301,用于获取待检测对象对应的目标图像和目标反射声波;
提取单元1302,用于提取目标图像的图像特征和目标反射声波的声波特征;
分类处理单元1303,用于对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果;对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果;
匹配处理单元1304,用于对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果;
确定单元1305,用于基于第一活体检测结果、第二活体检测结果和匹配结果,确定待检测对象的目标活体检测结果。
在一种可能实现方式中,提取单元1302,用于调用目标图像特征提取模型提取目标图像的图像特征;调用目标声波特征提取模型提取目标反射声波的声波特征;
分类处理单元1303,用于调用第一目标分类模型对图像特征进行分类处理,根据分类结果得到待检测对象的第一活体检测结果;调用第二目标分类模型对声波特征进行分类处理,根据分类结果得到待检测对象的第二活体检测结果;
匹配处理单元1304,用于调用目标判别器模型对图像特征和声波特征进行匹配处理,得到图像特征和声波特征的匹配结果。
在一种可能实现方式中,确定单元1305,用于响应于第一活体检测结果指示待检测对象为活体,第二活体检测结果指示待检测对象为活体,匹配结果指示图像特征和声波特征匹配成功,将活体检测通过作为待检测对象的目标活体检测结果。
在一种可能实现方式中,获取单元1301,还用于获取训练样本集,训练样本集包括至少两个训练样本子集,不同训练样本子集对应不同目标物,任一训练样本子集包括任一目标物对应的至少一个训练样本,任一目标物对应的任一训练样本包括任一目标物对应的任一图像和任一图像对应的反射声波;
参见图14,该装置还包括:
训练单元1306,用于在至少两个训练样本子集中分别选取训练样本构成目标训练样本,基于目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到活体检测模型,活体检测模型包括目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型以及目标判别器模型。
在一种可能实现方式中,训练单元1306,用于调用初始图像特征提取模型提取目标训练样本中的图像的初始图像特征;调用初始声波特征提取模型提取目标训练样本中的反射声波的初始声波特征;调用第一初始分类模型对初始图像特征进行分类处理,根据分类结果得到第一初始活体检测结果;调用第二初始分类模型对初始声波特征进行分类处理,根据分类结果得到第二初始活体检测结果;基于初始图像特征和初始声波特征,构成样本特征组,任一样本特征组由一个初始图像特征和一个初始声波特征构成;基于第一初始活体检测结果对第一初始分类模型进行训练;基于第二初始活体检测结果对第二初始分类模型进行训练;基于样本特征组对初始判别器模型进行训练;基于第一初始活体检测结果和样本特征组对初始图像特征提取模型进行训练;基于第二初始活体检测结果和样本特征组对初始声波特征提取模型进行训练;响应于训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型,得到活体检测模型。
在一种可能实现方式中,样本特征组包括正样本特征组和负样本特征组,训练单元1306,还用于基于初始图像特征和初始声波特征,确定满足正匹配条件的初始图像特征-初始声波特征对和满足负匹配条件的初始图像特征-初始声波特征对;基于满足正匹配条件的初始图像特征-初始声波特征对构成正样本特征组,基于满足负匹配条件的初始图像特征-初始声波特征对构成负样本特征组;其中,满足正匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自目标训练样本中的同一个训练样本;满足负匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自目标训练样本中的满足参考条件的两个训练样本,满足参考条件的两个训练样本是指来自不同训练样本子集的两个训练样本。
在一种可能实现方式中,初始判别器模型包括初始相似度计算子模型,训练单元1306,还用于调用初始相似度计算子模型,计算正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;基于第一相似度值、第二相似度值和第一参考阈值,计算第一目标损失函数;基于第一目标损失函数更新初始相似度计算子模型的参数。
在一种可能实现方式中,正样本特征组对应第一标签,负样本特征组对应第二标签,初始判别器模型包括初始特征融合子模型和初始分类处理子模型;训练单元1306,还用于将正样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第一融合特征;调用初始分类处理子模型对第一融合特征进行分类处理,得到第一分类结果;将负样本特征组中的初始图像特征和初始声波特征输入初始特征融合子模型进行融合,得到第二融合特征;调用初始分类处理子模型对第二融合特征进行分类处理,得到第二分类结果;基于第一分类结果和第一标签之间的损失函数,以及第二分类结果和第二标签之间的损失函数,计算第二目标损失函数;基于第二目标损失函数更新初始特征融合子模型和初始分类处理子模型的参数。
在一种可能实现方式中,获取单元1301,还用于获取攻击样本集,攻击样本集包括至少一个攻击样本子集,不同攻击样本子集对应不同攻击物,任一攻击样本子集包括任一攻击物对应的至少一个攻击样本,任一攻击物对应的任一攻击样本包括任一攻击物对应的任一图像和任一图像对应的反射声波;
参见图14,该装置还包括:
优化单元1307,用于在攻击样本集中选取攻击样本构成目标攻击样本,调用目标图像特征提取模型提取目标攻击样本中的图像的目标图像特征;调用目标声波特征提取模型提取目标攻击样本中的反射声波的目标声波特征;基于目标图像特征和目标声波特征,构成攻击特征组,任一攻击特征组由一个目标图像特征和一个目标声波特征构成;基于攻击特征组对活体检测模型中的目标判别器模型进行优化,基于优化后的目标判别器模型,得到优化后的活体检测模型。
在一种可能实现方式中,目标判别器模型包括目标相似度计算子模型,优化单元1307,还用于获取参考特征组,任一参考特征组由一个参考图像特征和一个参考声波特征构成;调用目标相似度计算子模型,计算参考特征组中的参考图像特征和参考声波特征之间的第三相似度值,以及攻击特征组中的目标图像特征和目标声波特征之间的第四相似度值;基于第三相似度值、第四相似度值和第二参考阈值,计算第三目标损失函数;基于第三目标损失函数更新目标相似度计算子模型的参数。
在一种可能实现方式中,攻击特征组对应第二标签,目标判别器模型包括目标特征融合子模型和目标分类处理子模型;优化单元1307,还用于将攻击特征组中的目标图像特征和目标声波特征输入目标特征融合子模型进行融合,得到第三融合特征;调用目标分类处理子模型对第三融合特征进行分类处理,得到第三分类结果;基于第三分类结果和第二标签之间的损失函数更新目标特征融合子模型和目标分类处理子模型的参数。
在一种可能实现方式中,获取单元1301,还用于对于任一目标物,获取任一目标物的图像序列和任一目标物反射的反射声波;将反射声波分割成至少一个反射子声波;将至少一个反射子声波与图像序列中的至少一个图像进行对齐处理,得到与至少一个图像分别对齐的反射子声波;对于至少一个图像中的任一图像,基于与任一图像对齐的反射子声波构成任一图像对应的反射声波;基于任一图像和任一图像对应的反射声波构成任一目标物对应的任一训练样本;基于至少一个图像构成的任一目标物对应的至少一个训练样本,构成任一训练样本子集。
在本申请实施例中,获取待检测对象对应的图像和反射声波,进而提取图像特征和声波特征,通过综合考虑基于图像特征得到的活体检测结果、基于声波特征得到的活体检测结果以及图像特征和声波特征的匹配结果,确定待检测对象的活体检测结果。在此种活体检测的过程中,除考虑图像方面的信息外,还考虑反射声波方面的信息以及两个方面之间的匹配信息,考虑的信息较全面,能够提高对攻击的防御能力,检测稳定性较高,有利于提高活体检测结果的准确度,活体检测的效果较好。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图15是本申请实施例提供的一种服务器的结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)1501和一个或多个存储器1502,其中,该一个或多个存储器1502中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1501加载并执行,以实现上述各个方法实施例提供的活体检测方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
图16是本申请实施例提供的一种终端的结构示意图。该终端可以是:智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的活体检测方法。
在一些实施例中,终端还可选包括有:外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地,外围设备包括:射频电路1604、触摸显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input /Output,输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中,处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上;在一些其他实施例中,处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时,显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时,显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1605可以为一个,设置在终端的前面板;在另一些实施例中,显示屏1605可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在再一些实施例中,显示屏1605可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏1605还可以设置成非矩形的不规则图形,也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地,摄像头组件1606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1601进行处理,或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1607还可以包括耳机插孔。
定位组件1608用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。定位组件1608可以是基于美国的GPS(Global PositioningSystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1609用于为终端中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于:加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号,控制触摸显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端的机体方向及转动角度,陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端的3D动作。处理器1601根据陀螺仪传感器1612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端的侧边框和/或触摸显示屏1605的下层。当压力传感器1613设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在触摸显示屏1605的下层时,由处理器1601根据用户对触摸显示屏1605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹,由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份,或者,由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时,指纹传感器1614可以与物理按键或厂商Logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中,处理器1601可以根据光学传感器1615采集的环境光强度,控制触摸显示屏1605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1605的显示亮度;当环境光强度较低时,调低触摸显示屏1605的显示亮度。在另一个实施例中,处理器1601还可以根据光学传感器1615采集的环境光强度,动态调整摄像头组件1606的拍摄参数。
接近传感器1616,也称距离传感器,通常设置在终端的前面板。接近传感器1616用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器1616检测到用户与终端的正面之间的距离逐渐变小时,由处理器1601控制触摸显示屏1605从亮屏状态切换为息屏状态;当接近传感器1616检测到用户与终端的正面之间的距离逐渐变大时,由处理器1601控制触摸显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图16中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器加载并执行,以实现上述任一种活体检测方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以实现上述任一种活体检测方法。
可选地,上述计算机可读存储介质可以是只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘 (Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种活体检测方法,其特征在于,所述方法包括:
获取待检测对象对应的目标图像和目标反射声波;
提取所述目标图像的图像特征和所述目标反射声波的声波特征;
对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果,所述第一活体检测结果用于指示所述待检测对象在图像层面的活体检测结果;对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果,所述第二活体检测结果用于指示所述待检测对象在反射声波层面的活体检测结果;
对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果,所述匹配结果用于指示所述图像特征和所述声波特征是否匹配成功;
基于所述第一活体检测结果、所述第二活体检测结果和所述匹配结果,确定所述待检测对象的目标活体检测结果。
2.根据权利要求1所述的方法,其特征在于,所述提取所述目标图像的图像特征和所述目标反射声波的声波特征,包括:
调用目标图像特征提取模型提取所述目标图像的图像特征;
调用目标声波特征提取模型提取所述目标反射声波的声波特征;
所述对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果;对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果,包括:
调用第一目标分类模型对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果;调用第二目标分类模型对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果;
所述对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果,包括:
调用目标判别器模型对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述第一活体检测结果、所述第二活体检测结果和所述匹配结果,确定所述待检测对象的目标活体检测结果,包括:
响应于所述第一活体检测结果指示所述待检测对象为活体,所述第二活体检测结果指示所述待检测对象为活体,所述匹配结果指示所述图像特征和所述声波特征匹配成功,将活体检测通过作为所述待检测对象的目标活体检测结果。
4.根据权利要求2所述的方法,其特征在于,所述调用目标图像特征提取模型提取所述目标图像的图像特征之前,所述方法还包括:
获取训练样本集,所述训练样本集包括至少两个训练样本子集,不同训练样本子集对应不同目标物,任一训练样本子集包括任一目标物对应的至少一个训练样本,所述任一目标物对应的任一训练样本包括所述任一目标物对应的任一图像和所述任一图像对应的反射声波;
在至少两个训练样本子集中分别选取训练样本构成目标训练样本,基于所述目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到活体检测模型,所述活体检测模型包括目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型以及目标判别器模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标训练样本对待训练的活体检测模型中的初始图像特征提取模型、初始声波特征提取模型、第一初始分类模型、第二初始分类模型以及初始判别器模型进行训练,得到活体检测模型,包括:
调用初始图像特征提取模型提取所述目标训练样本中的图像的初始图像特征;
调用初始声波特征提取模型提取所述目标训练样本中的反射声波的初始声波特征;
调用第一初始分类模型对所述初始图像特征进行分类处理,根据分类结果得到第一初始活体检测结果;调用第二初始分类模型对所述初始声波特征进行分类处理,根据分类结果得到第二初始活体检测结果;
基于所述初始图像特征和所述初始声波特征,构成样本特征组,任一样本特征组由一个初始图像特征和一个初始声波特征构成;
基于所述第一初始活体检测结果对所述第一初始分类模型进行训练;基于所述第二初始活体检测结果对所述第二初始分类模型进行训练;基于所述样本特征组对所述初始判别器模型进行训练;基于所述第一初始活体检测结果和所述样本特征组对所述初始图像特征提取模型进行训练;基于所述第二初始活体检测结果和所述样本特征组对所述初始声波特征提取模型进行训练;
响应于训练得到目标图像特征提取模型、目标声波特征提取模型、第一目标分类模型、第二目标分类模型和目标判别器模型,得到活体检测模型。
6.根据权利要求5所述的方法,其特征在于,所述样本特征组包括正样本特征组和负样本特征组,所述基于所述初始图像特征和所述初始声波特征,构成样本特征组,包括:
基于所述初始图像特征和所述初始声波特征,确定满足正匹配条件的初始图像特征-初始声波特征对和满足负匹配条件的初始图像特征-初始声波特征对;
基于满足正匹配条件的初始图像特征-初始声波特征对构成正样本特征组,基于满足负匹配条件的初始图像特征-初始声波特征对构成负样本特征组;
其中,所述满足正匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自所述目标训练样本中的同一个训练样本;所述满足负匹配条件是指初始图像特征对应的图像和初始声波特征对应的反射声波来自所述目标训练样本中的满足参考条件的两个训练样本,所述满足参考条件的两个训练样本是指来自不同训练样本子集的两个训练样本。
7.根据权利要求6所述的方法,其特征在于,所述初始判别器模型包括初始相似度计算子模型,所述基于所述样本特征组对所述初始判别器模型进行训练,包括:
调用所述初始相似度计算子模型,计算所述正样本特征组中的初始图像特征和初始声波特征之间的第一相似度值,以及所述负样本特征组中的初始图像特征和初始声波特征之间的第二相似度值;
基于所述第一相似度值、所述第二相似度值和第一参考阈值,计算第一目标损失函数;基于所述第一目标损失函数更新所述初始相似度计算子模型的参数。
8.根据权利要求6所述的方法,其特征在于,所述正样本特征组对应第一标签,所述负样本特征组对应第二标签,所述初始判别器模型包括初始特征融合子模型和初始分类处理子模型;所述基于所述样本特征组对所述初始判别器模型进行训练,包括:
将所述正样本特征组中的初始图像特征和初始声波特征输入所述初始特征融合子模型进行融合,得到第一融合特征;调用所述初始分类处理子模型对所述第一融合特征进行分类处理,得到第一分类结果;
将所述负样本特征组中的初始图像特征和初始声波特征输入所述初始特征融合子模型进行融合,得到第二融合特征;调用所述初始分类处理子模型对所述第二融合特征进行分类处理,得到第二分类结果;
基于所述第一分类结果和所述第一标签之间的损失函数,以及所述第二分类结果和所述第二标签之间的损失函数,计算第二目标损失函数;基于所述第二目标损失函数更新所述初始特征融合子模型和所述初始分类处理子模型的参数。
9.根据权利要求4-8任一所述的方法,其特征在于,所述得到活体检测模型之后,所述方法还包括:
获取攻击样本集,所述攻击样本集包括至少一个攻击样本子集,不同攻击样本子集对应不同攻击物,任一攻击样本子集包括任一攻击物对应的至少一个攻击样本,所述任一攻击物对应的任一攻击样本包括所述任一攻击物对应的任一图像和所述任一图像对应的反射声波;
在所述攻击样本集中选取攻击样本构成目标攻击样本,调用所述目标图像特征提取模型提取所述目标攻击样本中的图像的目标图像特征;调用所述目标声波特征提取模型提取所述目标攻击样本中的反射声波的目标声波特征;
基于所述目标图像特征和所述目标声波特征,构成攻击特征组,任一攻击特征组由一个目标图像特征和一个目标声波特征构成;
基于所述攻击特征组对所述活体检测模型中的目标判别器模型进行优化,基于优化后的目标判别器模型,得到优化后的活体检测模型。
10.根据权利要求9所述的方法,其特征在于,所述目标判别器模型包括目标相似度计算子模型,所述基于所述攻击特征组对所述活体检测模型中的目标判别器模型进行优化,包括:
获取参考特征组,任一参考特征组由一个参考图像特征和一个参考声波特征构成;
调用所述目标相似度计算子模型,计算所述参考特征组中的参考图像特征和参考声波特征之间的第三相似度值,以及所述攻击特征组中的目标图像特征和目标声波特征之间的第四相似度值;
基于所述第三相似度值、所述第四相似度值和第二参考阈值,计算第三目标损失函数;基于所述第三目标损失函数更新所述目标相似度计算子模型的参数。
11.根据权利要求9所述的方法,其特征在于,所述攻击特征组对应第二标签,所述目标判别器模型包括目标特征融合子模型和目标分类处理子模型;所述基于所述攻击特征组对所述活体检测模型中的目标判别器模型进行优化,包括:
将所述攻击特征组中的目标图像特征和目标声波特征输入所述目标特征融合子模型进行融合,得到第三融合特征;调用所述目标分类处理子模型对所述第三融合特征进行分类处理,得到第三分类结果;
基于所述第三分类结果和所述第二标签之间的损失函数更新所述目标特征融合子模型和目标分类处理子模型的参数。
12.根据权利要求4-8任一所述的方法,其特征在于,所述任一训练样本子集的获取过程,包括:
对于任一目标物,获取所述任一目标物的图像序列和所述任一目标物反射的反射声波;
将所述反射声波分割成至少一个反射子声波;
将所述至少一个反射子声波与所述图像序列中的至少一个图像进行对齐处理,得到与所述至少一个图像分别对齐的反射子声波;
对于所述至少一个图像中的任一图像,基于与所述任一图像对齐的反射子声波构成所述任一图像对应的反射声波;基于所述任一图像和所述任一图像对应的反射声波构成所述任一目标物对应的任一训练样本;
基于所述至少一个图像构成的所述任一目标物对应的至少一个训练样本,构成任一训练样本子集。
13.一种活体检测装置,其特征在于,所述装置包括:
获取单元,用于获取待检测对象对应的目标图像和目标反射声波;
提取单元,用于提取所述目标图像的图像特征和所述目标反射声波的声波特征;
分类处理单元,用于对所述图像特征进行分类处理,根据分类结果得到所述待检测对象的第一活体检测结果,所述第一活体检测结果用于指示所述待检测对象在图像层面的活体检测结果;对所述声波特征进行分类处理,根据分类结果得到所述待检测对象的第二活体检测结果,所述第二活体检测结果用于指示所述待检测对象在反射声波层面的活体检测结果;
匹配处理单元,用于对所述图像特征和所述声波特征进行匹配处理,得到所述图像特征和所述声波特征的匹配结果,所述匹配结果用于指示所述图像特征和所述声波特征是否匹配成功;
确定单元,用于基于所述第一活体检测结果、所述第二活体检测结果和所述匹配结果,确定所述待检测对象的目标活体检测结果。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至12任一所述的活体检测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至12任一所述的活体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455648.3A CN111368811B (zh) | 2020-05-26 | 2020-05-26 | 活体检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455648.3A CN111368811B (zh) | 2020-05-26 | 2020-05-26 | 活体检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368811A CN111368811A (zh) | 2020-07-03 |
CN111368811B true CN111368811B (zh) | 2020-09-18 |
Family
ID=71209672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010455648.3A Active CN111368811B (zh) | 2020-05-26 | 2020-05-26 | 活体检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368811B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001240B (zh) * | 2020-07-15 | 2021-08-17 | 浙江大华技术股份有限公司 | 活体检测方法、装置、计算机设备和存储介质 |
CN111914775B (zh) * | 2020-08-06 | 2023-07-28 | 平安科技(深圳)有限公司 | 活体检测方法、装置、电子设备及存储介质 |
CN112069936A (zh) * | 2020-08-21 | 2020-12-11 | 深圳市商汤科技有限公司 | 攻破点测试方法及相关装置、电子设备、存储介质 |
CN112153438B (zh) * | 2020-09-22 | 2022-05-31 | 康佳集团股份有限公司 | 基于超声波的智能电视控制方法、智能电视及存储介质 |
CN114582078B (zh) * | 2020-12-01 | 2024-04-16 | 比亚迪股份有限公司 | 自助存取款方法及自助存取款系统 |
CN113544700B (zh) * | 2020-12-31 | 2024-09-27 | 商汤国际私人有限公司 | 神经网络的训练方法和装置、关联对象的检测方法和装置 |
CN112766162B (zh) * | 2021-01-20 | 2023-12-22 | 北京市商汤科技开发有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN116266419A (zh) * | 2021-12-15 | 2023-06-20 | 腾讯科技(上海)有限公司 | 一种活体检测方法、装置和计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622588A (zh) * | 2012-03-08 | 2012-08-01 | 无锡数字奥森科技有限公司 | 双验证人脸防伪方法及装置 |
CN104915649A (zh) * | 2015-06-04 | 2015-09-16 | 南京理工大学 | 一种应用于人脸识别的活体检测方法 |
WO2016037077A1 (en) * | 2014-09-05 | 2016-03-10 | Qualcomm Incorporated | Image-based liveness detection for ultrasonic fingerprints |
CN105426723A (zh) * | 2015-11-20 | 2016-03-23 | 北京得意音通技术有限责任公司 | 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9996732B2 (en) * | 2015-07-20 | 2018-06-12 | International Business Machines Corporation | Liveness detector for face verification |
CN105243740B (zh) * | 2015-11-25 | 2017-10-24 | 四川易辨信息技术有限公司 | 基于生物特征识别技术的卡安全身份认证系统及实现方法 |
-
2020
- 2020-05-26 CN CN202010455648.3A patent/CN111368811B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622588A (zh) * | 2012-03-08 | 2012-08-01 | 无锡数字奥森科技有限公司 | 双验证人脸防伪方法及装置 |
WO2016037077A1 (en) * | 2014-09-05 | 2016-03-10 | Qualcomm Incorporated | Image-based liveness detection for ultrasonic fingerprints |
CN104915649A (zh) * | 2015-06-04 | 2015-09-16 | 南京理工大学 | 一种应用于人脸识别的活体检测方法 |
CN105426723A (zh) * | 2015-11-20 | 2016-03-23 | 北京得意音通技术有限责任公司 | 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111368811A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368811B (zh) | 活体检测方法、装置、设备及存储介质 | |
CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
CN109034102B (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
CN112036331B (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN113395542A (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
AU2020309094B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
CN111476783A (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
CN113762971A (zh) | 数据加密方法、装置、计算机设备及存储介质 | |
CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
CN111341307A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN112001442B (zh) | 特征检测方法、装置、计算机设备及存储介质 | |
CN113570510A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN115937738A (zh) | 视频标注模型的训练方法、装置、设备及存储介质 | |
CN118135255A (zh) | 图像匹配模型的训练方法、图像匹配的方法及计算机设备 | |
CN114140839B (zh) | 用于人脸识别的图像发送方法、装置、设备及存储介质 | |
CN114648315A (zh) | 虚拟面试的方法、装置、设备及存储介质 | |
CN114814800A (zh) | 基于超声回波的对象识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40026328 Country of ref document: HK |