[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110826402A - 一种基于多任务的人脸质量估计方法 - Google Patents

一种基于多任务的人脸质量估计方法 Download PDF

Info

Publication number
CN110826402A
CN110826402A CN201910923840.8A CN201910923840A CN110826402A CN 110826402 A CN110826402 A CN 110826402A CN 201910923840 A CN201910923840 A CN 201910923840A CN 110826402 A CN110826402 A CN 110826402A
Authority
CN
China
Prior art keywords
face
score
face quality
quality
scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910923840.8A
Other languages
English (en)
Other versions
CN110826402B (zh
Inventor
张欢
赵士红
柯南海
张诗
沈琳琳
刘景辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Technology Co ltd
Original Assignee
Shenzhen Huafu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co Ltd filed Critical Shenzhen Huafu Information Technology Co Ltd
Priority to CN201910923840.8A priority Critical patent/CN110826402B/zh
Publication of CN110826402A publication Critical patent/CN110826402A/zh
Application granted granted Critical
Publication of CN110826402B publication Critical patent/CN110826402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的属于人脸识别技术领域，具体为一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：S1：输入检测后人脸图像；S2：基于Multi‑task ShuffleNet V2网络人脸质量估计；S3：得到各质量分数；S4：以上述得到的分数计算最终评估分数，通过多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像；更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；更快速，模型耗时短，可实现实时检测，泛化能力强，跨数据库表现性能良好。

Description

一种基于多任务的人脸质量估计方法
技术领域
本发明涉及人脸识别技术领域，具体为一种基于多任务的人脸质量估计方法。
背景技术
人脸识别产品利用AVS03A图像处理器；可以对人脸明暗侦测,自动调整动态曝光补偿，人脸追踪侦测,自动调整影像放大。
广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。
人脸质量估计在人脸识别中有着重要的作用。人脸质量估计可有效剔除不合格人脸，提高人脸识别率。常见的人脸质量估计包括人脸姿态、模糊、完整性(遮挡，缺失)、光照均衡。
现有人脸质量分别估计人脸姿态、模糊、完整性，光照均衡后，计算各个人脸质量分数后分配权重综合评估得到唯一分数作为人脸质量评估，多模型增加耗时且降低人脸质量评估准确率。
发明内容
本发明的目的在于提供一种基于多任务的人脸质量估计方法，以解决上述背景技术中提出的现有人脸质量分别估计人脸姿态、模糊、完整性，光照均衡后，计算各个人脸质量分数后分配权重综合评估得到唯一分数作为人脸质量评估，多模型增加耗时且降低人脸质量评估准确率的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊、完整性、光照均衡问题直接分类学习；
综合人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S2：基于Multi-task ShuffleNet V2网络人脸质量估计：人脸模糊、完整性和光照均衡数据通过实际采集、添加高斯模糊、运动模糊、添加遮挡、人脸随机裁剪、添加光照不均衡等数据增强方法得到人脸模糊、完整性、光照均衡分别15000张；
回归损失函数采用L2损失函数，分类采用Softmax损失函数；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
优选的，所述步骤S1中输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性、光照均衡。
与现有技术相比，本发明的有益效果是：
1)通过多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像；
2)更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；
3)更快速，模型耗时短，可实现实时检测，泛化能力强，跨数据库表现性能良好。
附图说明
图1为本发明方法流程图；
图2为本发明Multi-task ShuffleNet V2的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例：
请参阅图1-2，本发明提供一种技术方案：一种基于多任务的人脸质量估计方法，该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊、完整性、光照均衡问题直接分类学习，输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性、光照均衡；
ShuffleNet V2网络轻量高效，适用于移动端部署。本发明修改ShuffleNet V2网络结构实现多任务人脸质量评估。Multi-task ShuffleNet V2简写为M-ShuffleNet V2，如图2所示；
输入为人脸检测后112×112人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性，光照均衡，M-ShuffleNet V2模型大小仅有1.58M，
具体网络结构如表1所示：
表1：M-ShuffleNet V2网络结构
Figure BDA0002218413000000041
Figure BDA0002218413000000051
数据集：BIWI、300W_LP用于人脸姿态估计；
综合人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S2：基于Multi-task ShuffleNet V2网络人脸质量估计：人脸模糊、完整性和光照均衡数据通过实际采集、添加高斯模糊、运动模糊、添加遮挡、人脸随机裁剪、添加光照不均衡等数据增强方法得到人脸模糊、完整性、光照均衡分别15000张；
回归损失函数采用L2损失函数，分类采用Softmax损失函数；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
通过设计ShuffleNet V2多任务人脸质量卷积神经网络估计所有人脸质量方向，对人脸姿态角度回归学习，模糊、非完整、光照均衡分类学习，综合得到人脸质量评分有效过滤不合格人脸图像。
更简单，只需要多任务卷积神经网络就可以得出所有人脸质量评估；
更快速，模型耗时短，可实现实时检测；
泛化能力强，跨数据库表现性能良好。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于多任务的人脸质量估计方法，其特征在于：该基于多任务的人脸质量估计方法的具体步骤如下：
S1：输入检测后人脸图像：输入检测后112×112尺寸的人脸图像，针对人脸姿态估计回归人脸姿态欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，针对人脸模糊、完整性、光照均衡问题直接分类学习；
综合人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S2：基于Multi-task ShuffleNet V2网络人脸质量估计：人脸模糊、完整性和光照均衡数据通过实际采集、添加高斯模糊、运动模糊、添加遮挡、人脸随机裁剪、添加光照不均衡等数据增强方法得到人脸模糊、完整性、光照均衡分别15000张；
回归损失函数采用L2损失函数，分类采用Softmax损失函数；
S3：得到各质量分数：根据计算得到欧拉角俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)，人脸姿态和人脸模糊、完整性、光照均衡分数作为所有人脸质量分数；
S4：以上述得到的分数计算最终评估分数：人脸质量分数估计：
人脸姿态估计三个角度分数score1，人脸模糊、合格人脸、完整性，光照均衡四分类合格人脸分数score2，人脸质量score＝α×score1+β×score2评估；
score1＝1-(|pitch|/90+|yaw|/90+|roll|/90)/3；
score2＝scorenorm；
其中，α＝0.5，β＝0.5，则score＝0.5×score1+0.5×score2score∈[0,1]；
综上，以score作为人脸质量评估分数。
2.根据权利要求1所述的一种基于多任务的人脸质量估计方法，其特征在于：所述步骤S1中输入人脸图像，人脸姿态角度回归采用ShuffleNet V2网络，在Stage3输出添加分类网络分支：1×1卷积核，512通道卷积层，全局池化层，全连接直接分类人脸模糊、合格人脸、完整性、光照均衡。
CN201910923840.8A 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法 Active CN110826402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910923840.8A CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910923840.8A CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Publications (2)

Publication Number Publication Date
CN110826402A true CN110826402A (zh) 2020-02-21
CN110826402B CN110826402B (zh) 2024-03-29

Family

ID=69548627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910923840.8A Active CN110826402B (zh) 2019-09-27 2019-09-27 一种基于多任务的人脸质量估计方法

Country Status (1)

Country Link
CN (1) CN110826402B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200176A (zh) * 2020-12-10 2021-01-08 长沙小钴科技有限公司 人脸图像的质量检测方法、系统和计算机设备
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN112528903A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN113158860A (zh) * 2021-04-12 2021-07-23 烽火通信科技股份有限公司 基于深度学习多维度输出人脸质量评估方法与电子设备
CN114119551A (zh) * 2021-11-26 2022-03-01 南京烽火星空通信发展有限公司 一种人脸图像质量的量化分析方法
CN116719466A (zh) * 2022-09-14 2023-09-08 荣耀终端有限公司 多任务界面显示的方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107729838A (zh) * 2017-10-12 2018-02-23 中科视拓（北京）科技有限公司 一种基于深度学习的头部姿态估算方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107729838A (zh) * 2017-10-12 2018-02-23 中科视拓（北京）科技有限公司 一种基于深度学习的头部姿态估算方法
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN112200176A (zh) * 2020-12-10 2021-01-08 长沙小钴科技有限公司 人脸图像的质量检测方法、系统和计算机设备
CN112528903A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN112528903B (zh) * 2020-12-18 2023-10-31 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN113158860A (zh) * 2021-04-12 2021-07-23 烽火通信科技股份有限公司 基于深度学习多维度输出人脸质量评估方法与电子设备
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN114119551A (zh) * 2021-11-26 2022-03-01 南京烽火星空通信发展有限公司 一种人脸图像质量的量化分析方法
CN116719466A (zh) * 2022-09-14 2023-09-08 荣耀终端有限公司 多任务界面显示的方法、电子设备及存储介质
CN116719466B (zh) * 2022-09-14 2024-04-12 荣耀终端有限公司 多任务界面显示的方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110826402B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110826402B (zh) 一种基于多任务的人脸质量估计方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110619655B (zh) 一种融合光流信息和Siamese框架的目标跟踪方法及装置
You et al. Relative CNN-RNN: Learning relative atmospheric visibility from images
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
CN106504248A (zh) 基于计算机视觉的车辆损伤判别方法
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
EP2491530A1 (de) Verfahren zur bestimmung der pose einer kamera und zur erkennung eines objekts einer realen umgebung
CN109509156A (zh) 一种基于生成对抗模型的图像去雾处理方法
CN112597814A (zh) 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN110718227A (zh) 一种基于多模态交互的分布式物联网设备协同方法及其系统
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN113077516A (zh) 一种位姿确定方法及相关设备
CN111027505A (zh) 一种基于显著性检测的分层多目标跟踪方法
CN114677339A (zh) 一种引入注意力机制的输电线路螺栓脱销缺陷检测方法
CN113643329A (zh) 一种基于孪生注意力网络的在线更新目标跟踪方法和系统
CN112446253A (zh) 一种骨架行为识别方法及装置
Wang et al. MDD-ShipNet: Math-data integrated defogging for fog-occlusion ship detection
CN118050087A (zh) 一种设备测温方法及其相关设备
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法
WO2023027712A1 (en) Methods and systems for simultaneously reconstructing pose and parametric 3d human models in mobile devices
Gan et al. Strawberry disease and pest identification and control based on Se-Resnext50 model
Xie et al. Towards Hardware-Friendly and Robust Facial Landmark Detection Method
CN117036950A (zh) 针对田间玉米杂草小目标检测方法、系统及应用
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: Shenzhen Huafu Technology Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address