CN111310718A - 一种遮挡人脸图像高准确率检测对比方法 - Google Patents
一种遮挡人脸图像高准确率检测对比方法 Download PDFInfo
- Publication number
- CN111310718A CN111310718A CN202010156376.7A CN202010156376A CN111310718A CN 111310718 A CN111310718 A CN 111310718A CN 202010156376 A CN202010156376 A CN 202010156376A CN 111310718 A CN111310718 A CN 111310718A
- Authority
- CN
- China
- Prior art keywords
- network
- face
- loss
- training
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000005728 strengthening Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 26
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遮挡人脸图像高准确率检测对比方法，包括以下步骤：对训练数据进行预处理；制作用于训练生成分支的生成目标图片集；构建特征增强分支，得到专注于面部的局部特征；构建并行的特征提取网络分支，强化细节特征的提取和利用；构建完整网络模型，并基于融合特征和并行特征提取进行人脸区域分类与边框回归；网络端到端训练，更新网络参数，得到完成训练的检测模型；输入遮挡人脸图像样本，使用完成训练的检测模型框选人脸图像位置，完成遮挡人脸图像检测。本发明可以有效提高可见人脸区域特征在整体特征中的比重，提升检测模型对于遮挡人脸图像的鲁棒性，对于遮挡人脸图像具有更高的检测准确率和召回率。
Description
技术领域
本发明涉及一种人脸图像检测方法，尤其涉及一种遮挡人脸图像高准确率检测对比方法。
背景技术
人脸图像检测也简称人脸检测(Face Detection)，是指判断输入图像中是否存在人脸图像并确定所有人脸图像区域具体位置的过程。随着智能化识别技术愈加普遍，人脸图像自动检测技术在案件侦破、身份识别、移动社交、拍照美化等广泛场景中发挥着重要的应用价值。
人脸图像检测技术主要分为传统检测方法和基于深度学习的检测方法。其中，传统人脸图像检测技术主要通过设计人工特征，如灰度特征、轮廓特征、肤色特征等对图像进行人脸与非人脸的二分类。Paul Viola等人提出的VJ检测算法就是传统检测算法的优秀代表。VJ算法利用Haar特征和Adaboost级联策略，通过层级训练弱分类器构建强检测器，达到了实时的检测速率和比较好的检测准确率。
相比于传统机器学习方法，神经网络在非线性函数拟合方面更具优势。随着近年来深度学习领域相关技术的进步，相关模型在图片特征提取及分类检测方面都具有优异的表现，因此深度学习在人脸图像检测上的应用愈发广泛。比如经典的RCNN系检测模型，通过卷积与池化层对输入图像进行特征提取，然后在特征图的基础上获取不同比例的候选区域，并对候选区域进行是否是人脸的二分类以及边框回归。
现有人脸图像检测模型在约束条件下能够取得不错的检测效果，但实际应用场景中通常存在各种情况的遮挡，这种部分特征缺失的人脸图像给人脸图像准确检测带来了困难和挑战。比如Faster RCNN能够在公开数据集VOC2007上取得较高的准确率，但是在处理存在大量遮挡的人脸图像时，存在大量的漏检和误检。
发明内容
本发明的目的就在于为了解决上述问题而提供一种能显著提高遮挡人脸图像检测准确性的遮挡人脸图像高准确率检测方法。
本发明通过以下技术方案来实现上述目的：
一种遮挡人脸图像高准确率检测对比方法，包括以下步骤：
步骤1、对训练数据进行预处理；
步骤2、制作用于训练生成分支的生成目标图片集；
步骤3、构建特征增强分支，得到专注于面部的局部特征；构建并行的特征提取网络分支，强化细节特征的提取和利用；
步骤4、构建完整网络模型，并基于融合特征和并行特征提取进行人脸区域分类与边框回归；
步骤5、网络端到端训练，更新网络参数，得到完成训练的检测模型；
步骤6、输入遮挡人脸图像样本，使用完成训练的检测模型框选人脸图像位置，完成遮挡人脸图像检测。
作为优选，所述步骤1中，所述训练数据集采用WiderFace公开数据集，所述预处理包括对所有输入图像进行尺寸缩放处理，以避免占用过高显存。
更具体地，所述步骤1中，WiderFace公开数据集包含大量面部遮挡图片，数据标注中occlusion项表示遮挡程度，分为0、1、2级，分别表示无遮挡、轻微遮挡、大面积遮挡；从occlusion等级为0的样本中随机选取50％，对于每张图片从非ground truth区域截取方形背景区域，区域大小范围为随机[0.2，0.8]倍的最大GT框边长，使用裁剪的背景区域覆盖部分GT框造成人为遮挡；输入网络前，将所有输入图像进行尺寸处理，按比例缩放至短边不超过600像素、长边不超过800像素。
作为优选，所述步骤2的方法是：基于WiderFace数据集，为每张训练集图片制作相应的生成目标图片，用于计算相似度生成损失。
进一步，所述步骤2中，将每张输入图像非GT区域像素值置零，得到仅包含人脸区域的图像，作为增强分支的生成目标。
作为优选，所述步骤3包括以下步骤：
步骤3.1、构建两个特征增强分支，得到专注于面部的局部特征；具体包括以下步骤：
步骤3.1.1、构建两个特征增强分支网络，包括用于特征筛选的卷积网络和用于图片生成的反卷积网络；
步骤3.1.2、主网络特征提取阶段输出的特征首先经过3层卷积层，卷积核大小3*3，padding为1，步长为1，得到尺度不变的512通道中间特征；
步骤3.1.3、中间特征经过decoder模块生成目标区域，具体经过caffe框架下4层deconv层，获得与输入尺寸相同的1通道输出图像；
步骤3.1.4、计算生成图像与步骤2中制作的生产目标图片的相似度损失，并基于此调整增强分支网络参数；所述相似度损失采用L2损失，计算公式为：
Lsim＝αLf+(1-α)Lnf
其中，Lsim是生成损失，α是用于调节loss中人脸区域对损失的贡献度的参数，Lf为人脸区域损失，Lnf为非人脸区域损失，其中Lf和Lnf采用同样的L2损失，计算公式如下：
其中，yi为生成图片像素值，
为标注图片对应值；
步骤3.2、构建并行的特征提取网络，并与基干网络进行融合，强化人脸细节特征的提取，具体包括以下步骤：
步骤3.2.1、构建并行的特征提取网络，并行网络与基干网络同样采用VGG16的前置卷积模块，其中包括5个卷积模块conv1’，conv2’，...，conv5’，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2’包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3’包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4’包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5’包含3个3*3卷积，通道数512；
步骤3.2.2、并行网络在基干网络结构基础上，在每一个卷积层通过一个1×1的卷积与基干网络侧面连接，其余结构与基干网络完全相同；
步骤3.2.3、除第一层外，每一个conv层都会把前面的得到的feature map与主干网络得到的feature map进行融合，然后继续供下一层网络使用；
步骤3.2.4、取conv5_3’层输出特征图与基干网络conv5_3层输出特征图进行融合然后作为增强分支和后续网络的输入。
作为优选，所述步骤4包括以下步骤：
步骤4.1、构建特征提取基干网络，该基干网络采用VGG16的前置卷积模块，其中包括5个卷积模块conv1，conv2，...，conv5，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5包含3个3*3卷积，通道数512；
步骤4.2、取conv5_3层输出特征图与并行的特征提取网络的conv5_3层的特征图的融合结果作为增强分支和后续网络的输入；
步骤4.3、增强分支和并行分支输出的相同尺寸特征，通过点乘与原conv5_3层特征进行融合，增强可见人脸区域在分类特征中的权重，强化人脸细节特征的提取；
步骤4.4、在融合特征的基础上，使用RPN模块和ROI模块获取归一化的提议区域；
步骤4.5、通过分类分支与回归分支完成对提议区域的人脸二分类和边框微调；其中分类回归损失计算如下：
其中，Lcls为分类损失，其中pi为分类得分，
为anchor标签，正为1，负为0，Lreg为回归损失，乘以
表示仅对分类为前景的anchor回归边框，ti为预测边框参数分量(x，y，w，h)之一，
为标记为正的anchor对应的ground true box参数。
作为优选，所述步骤5包括以下步骤：
步骤5.1、设置增强分支损失函数、分类回归损失函数；
步骤5.2、网络进行端到端训练，并基于联合损失调整参数，更新网络参数，得到完成训练的检测模型。
更具体地，所述步骤5.2中，使用VGG16预训练模型，开始训练网络参数，训练采用带冲量和权重衰减的随机梯度下降法，冲量为0.8，衰减为0.0005，每个mini-batch处理2张图片，初始学习率设置为0.001，每18000步衰减率为0.1。
本发明的有益效果在于：
本发明针对遮挡对人脸图像检测造成的干扰问题，以Faster RCNN模型为基干，设计了基于可见区域生成的特征增强分支和强化人脸细节特征提取的并行特征提取网络分支，通过叠加原图特征、并行特征提取网络特征与生成人脸区域特征，可以有效提高可见人脸区域特征在整体特征中的比重，提升检测模型对于遮挡人脸图像的鲁棒性，抑制遮挡为特征区域带来的损失和干扰，对图片样本中人脸图像进行更好的定位和提取，对于遮挡人脸图像具有更高的检测准确率和召回率。
附图说明
图1是本发明所述遮挡人脸图像高准确率检测方法的总体流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明所述遮挡人脸图像高准确率检测方法包括以下步骤：
步骤1、对训练数据进行预处理；
本步骤中，所述训练数据集采用WiderFace公开数据集，所述预处理包括对所有输入图像进行尺寸缩放处理，以避免占用过高显存；WiderFace公开数据集包含大量面部遮挡图片，数据标注中occlusion项表示遮挡程度，分为0、1、2级，分别表示无遮挡、轻微遮挡、大面积遮挡；从occlusion等级为0的样本中随机选取50％，对于每张图片从非ground truth区域截取方形背景区域，区域大小范围为随机[0.2，0.8]倍的最大GT框边长，使用裁剪的背景区域覆盖部分GT框造成人为遮挡；输入网络前，将所有输入图像进行尺寸处理，按比例缩放至短边不超过600像素、长边不超过800像素。
步骤2、制作用于训练生成分支的生成目标图片集：基于WiderFace数据集，为每张训练集图片制作相应的生成目标图片，用于计算相似度生成损失；将每张输入图像非GT区域像素值置零，得到仅包含人脸区域的图像，作为增强分支的生成目标。
步骤3、构建特征增强分支，得到专注于面部的局部特征；构建并行的特征提取网络分支，强化细节特征的提取和利用；
本步骤具体包括以下步骤：
步骤3.1、构建两个特征增强分支，得到专注于面部的局部特征；具体包括以下步骤：
步骤3.1.1、构建两个特征增强分支网络，包括用于特征筛选的卷积网络和用于图片生成的反卷积网络；
步骤3.1.2、主网络特征提取阶段输出的特征首先经过3层卷积层，卷积核大小3*3，padding为1，步长为1，得到尺度不变的512通道中间特征；
步骤3.1.3、中间特征经过decoder模块生成目标区域，具体经过caffe框架下4层deconv层，获得与输入尺寸相同的1通道输出图像；
步骤3.1.4、计算生成图像与步骤2中制作的生产目标图片的相似度损失，并基于此调整增强分支网络参数；所述相似度损失采用L2损失，计算公式为：
Lsim＝αLf+(1-α)Lnf
其中，Lsim是生成损失，α是用于调节loss中人脸区域对损失的贡献度的参数，Lf为人脸区域损失，Lnf为非人脸区域损失，其中Lf和Lnf采用同样的L2损失，计算公式如下：
其中，yi为生成图片像素值，
为标注图片对应值；
步骤3.2、构建并行的特征提取网络，并与基干网络进行融合，强化人脸细节特征的提取，具体包括以下步骤：
步骤3.2.1、构建并行的特征提取网络，并行网络与基干网络同样采用VGG16的前置卷积模块，其中包括5个卷积模块conv1’，conv2’，...，conv5’，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2’包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3’包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4’包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5’包含3个3*3卷积，通道数512；
步骤3.2.2、并行网络在基干网络结构基础上，在每一个卷积层通过一个1×1的卷积与基干网络侧面连接，其余结构与基干网络完全相同；
步骤3.2.3、除第一层外，每一个conv层都会把前面的得到的feature map与主干网络得到的feature map进行融合，然后继续供下一层网络使用；
步骤3.2.4、取conv5_3’层输出特征图与基干网络conv5_3层输出特征图进行融合然后作为增强分支和后续网络的输入。
步骤4、构建完整网络模型，并基于融合特征和并行特征提取进行人脸区域分类与边框回归；
本步骤具体包括以下步骤：
步骤4.1、构建特征提取基干网络，该基干网络采用VGG16的前置卷积模块，其中包括5个卷积模块conv1，conv2，...，conv5，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5包含3个3*3卷积，通道数512；
步骤4.2、取conv5_3层输出特征图与并行的特征提取网络的conv5_3层的特征图的融合结果作为增强分支和后续网络的输入；
步骤4.3、增强分支和并行分支输出的相同尺寸特征，通过点乘与原conv5_3层特征进行融合，增强可见人脸区域在分类特征中的权重，强化人脸细节特征的提取；
步骤4.4、在融合特征的基础上，使用RPN模块和ROI模块获取归一化的提议区域；
步骤4.5、通过分类分支与回归分支完成对提议区域的人脸二分类和边框微调；其中分类回归损失计算如下：
其中，Lcls为分类损失，其中pi为分类得分，
为anchor标签，正为1，负为0，Lreg为回归损失，乘以
表示仅对分类为前景的anchor回归边框，ti为预测边框参数分量(x，y，w，h)之一，
为标记为正的anchor对应的ground true box参数。
步骤5、网络端到端训练，更新网络参数，得到完成训练的检测模型；
本步骤具体包括以下步骤：
步骤5.1、设置增强分支损失函数、分类回归损失函数；
步骤5.2、网络进行端到端训练，并基于联合损失调整参数，更新网络参数，得到完成训练的检测模型；本步骤中，使用VGG16预训练模型，开始训练网络参数，训练采用带冲量和权重衰减的随机梯度下降法，冲量为0.8，衰减为0.0005，每个mini-batch处理2张图片，初始学习率设置为0.001，每18000步衰减率为0.1。
步骤6、输入遮挡人脸图像样本，使用完成训练的检测模型框选人脸图像位置，完成遮挡人脸图像检测。
说明：图1中的各步骤与上述内容不是完全相同，但相互对应，这是为了便于简单提炼成流程框图配合理解。
本发明利用注意力机制，设计了基于人脸区域生成的特征增强分支和强化人脸细节特征提取的并行特征提取网络；特征增强分支基于原图特征生成ground truth区域附近图像，将训练后的可以生成较好目标的特征与主干网络卷积特征进行点乘融合，增强可见面部特征的比重，有利于降低遮挡对特征造成的干扰。实验结果表明，融合后的特征能够显著提升模型对遮挡人脸的检测准确率。并行于主干网络的特征提取分支通过1×1的卷积侧向连接，能有效的捕捉人脸图像的细节特征，加强人脸区域的定位，能有效地提升人脸图像的识别精度。
为从特征中准确的恢复人脸区域，本发明利用构造目标数据集有监督的训练增强分支。通过对每张输入图片非GT区域置零的方式，制作生成目标图片。本发明将特征增强分支融合进Faster RCNN检测模型，实验结果表明融合了特征增强分支的模型相比于原模型对遮挡人脸具有更好的检测效果。鉴于图片中，脸部区域不会占据很大的比例，构建的并行特征提取网络分支可以进一步用于底层特征的提取，然后逐级进行卷积、池化等操作，对于占图片比例不大的人脸区域回归和人脸图像识别大有裨益。
上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。
Claims (9)
1.一种遮挡人脸图像高准确率检测对比方法，其特征在于：包括以下步骤：
步骤1、对训练数据进行预处理；
步骤2、制作用于训练生成分支的生成目标图片集；
步骤3、构建特征增强分支，得到专注于面部的局部特征；构建并行的特征提取网络分支，强化细节特征的提取和利用；
步骤4、构建完整网络模型，并基于融合特征和并行特征提取进行人脸区域分类与边框回归；
步骤5、网络端到端训练，更新网络参数，得到完成训练的检测模型；
步骤6、输入遮挡人脸图像样本，使用完成训练的检测模型框选人脸图像位置，完成遮挡人脸图像检测。
2.根据权利要求1所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤1中，所述训练数据集采用WiderFace公开数据集，所述预处理包括对所有输入图像进行尺寸缩放处理，以避免占用过高显存。
3.根据权利要求2所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤1中，WiderFace公开数据集包含大量面部遮挡图片，数据标注中occlusion项表示遮挡程度，分为0、1、2级，分别表示无遮挡、轻微遮挡、大面积遮挡；从occlusion等级为0的样本中随机选取50％，对于每张图片从非ground truth区域截取方形背景区域，区域大小范围为随机[0.2，0.8]倍的最大GT框边长，使用裁剪的背景区域覆盖部分GT框造成人为遮挡；输入网络前，将所有输入图像进行尺寸处理，按比例缩放至短边不超过600像素、长边不超过800像素。
4.根据权利要求2或3所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤2的方法是：基于WiderFace数据集，为每张训练集图片制作相应的生成目标图片，用于计算相似度生成损失。
5.根据权利要求4所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤2中，将每张输入图像非GT区域像素值置零，得到仅包含人脸区域的图像，作为增强分支的生成目标。
6.根据权利要求4所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤3包括以下步骤：
步骤3.1、构建两个特征增强分支，得到专注于面部的局部特征；具体包括以下步骤：
步骤3.1.1、构建两个特征增强分支网络，包括用于特征筛选的卷积网络和用于图片生成的反卷积网络；
步骤3.1.2、主网络特征提取阶段输出的特征首先经过3层卷积层，卷积核大小3*3，padding为1，步长为1，得到尺度不变的512通道中间特征；
步骤3.1.3、中间特征经过decoder模块生成目标区域，具体经过caffe框架下4层deconv层，获得与输入尺寸相同的1通道输出图像；
步骤3.1.4、计算生成图像与步骤2中制作的生产目标图片的相似度损失，并基于此调整增强分支网络参数；所述相似度损失采用L2损失，计算公式为：
Lsim＝αLf+(1-α)Lnf
其中，Lsim是生成损失，α是用于调节loss中人脸区域对损失的贡献度的参数，Lf为人脸区域损失，Lnf为非人脸区域损失，其中Lf和Lnf采用同样的L2损失，计算公式如下：
其中，yi为生成图片像素值，
为标注图片对应值；
步骤3.2、构建并行的特征提取网络，并与基干网络进行融合，强化人脸细节特征的提取，具体包括以下步骤：
步骤3.2.1、构建并行的特征提取网络，并行网络与基干网络同样采用VGG16的前置卷积模块，其中包括5个卷积模块conv1’，conv2’，...，conv5’，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2’包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3’包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4’包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5’包含3个3*3卷积，通道数512；
步骤3.2.2、并行网络在基干网络结构基础上，在每一个卷积层通过一个1×1的卷积与基干网络侧面连接，其余结构与基干网络完全相同；
步骤3.2.3、除第一层外，每一个conv层都会把前面的得到的feature map与主干网络得到的feature map进行融合，然后继续供下一层网络使用；
步骤3.2.4、取conv5_3’层输出特征图与基干网络conv5_3层输出特征图进行融合然后作为增强分支和后续网络的输入。
7.根据权利要求6所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1、构建特征提取基干网络，该基干网络采用VGG16的前置卷积模块，其中包括5个卷积模块conv1，conv2，...，conv5，其中conv1包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5包含3个3*3卷积，通道数512；
步骤4.2、取conv5_3层输出特征图与并行的特征提取网络的conv5_3层的特征图的融合结果作为增强分支和后续网络的输入；
步骤4.3、增强分支和并行分支输出的相同尺寸特征，通过点乘与原conv5_3层特征进行融合，增强可见人脸区域在分类特征中的权重，强化人脸细节特征的提取；
步骤4.4、在融合特征的基础上，使用RPN模块和ROI模块获取归一化的提议区域；
步骤4.5、通过分类分支与回归分支完成对提议区域的人脸二分类和边框微调；其中分类回归损失计算如下：
其中，Lcls为分类损失，其中pi为分类得分，
为anchor标签，正为1，负为0，Lreg为回归损失，乘以
表示仅对分类为前景的anchor回归边框，ti为预测边框参数分量(x，y，w，h)之一，
为标记为正的anchor对应的ground true box参数。
8.根据权利要求7所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤5包括以下步骤：
步骤5.1、设置增强分支损失函数、分类回归损失函数；
步骤5.2、网络进行端到端训练，并基于联合损失调整参数，更新网络参数，得到完成训练的检测模型。
9.根据权利要求8所述的遮挡人脸图像高准确率检测方法，其特征在于：所述步骤5.2中，使用VGG16预训练模型，开始训练网络参数，训练采用带冲量和权重衰减的随机梯度下降法，冲量为0.8，衰减为0.0005，每个mini-batch处理2张图片，初始学习率设置为0.001，每18000步衰减率为0.1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010156376.7A CN111310718A (zh) | 2020-03-09 | 2020-03-09 | 一种遮挡人脸图像高准确率检测对比方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010156376.7A CN111310718A (zh) | 2020-03-09 | 2020-03-09 | 一种遮挡人脸图像高准确率检测对比方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111310718A true CN111310718A (zh) | 2020-06-19 |
Family
ID=71149579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010156376.7A Pending CN111310718A (zh) | 2020-03-09 | 2020-03-09 | 一种遮挡人脸图像高准确率检测对比方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310718A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860174A (zh) * | 2020-06-22 | 2020-10-30 | 西安工程大学 | 融合RepGT-RepBox函数的遮挡人脸检测方法 |
| CN111914665A (zh) * | 2020-07-07 | 2020-11-10 | 泰康保险集团股份有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN112232292A (zh) * | 2020-11-09 | 2021-01-15 | 泰康保险集团股份有限公司 | 应用于移动端的人脸检测方法及装置 |
| CN112270326A (zh) * | 2020-11-18 | 2021-01-26 | 珠海大横琴科技发展有限公司 | 一种遮挡船只的检测优化方法、装置及电子设备 |
| CN112417980A (zh) * | 2020-10-27 | 2021-02-26 | 南京邮电大学 | 一种基于特征增强和细化的单阶段水下生物目标检测方法 |
| CN112464701A (zh) * | 2020-08-26 | 2021-03-09 | 北京交通大学 | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 |
| CN113723414A (zh) * | 2021-08-12 | 2021-11-30 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN114266946A (zh) * | 2021-12-31 | 2022-04-01 | 智慧眼科技股份有限公司 | 遮挡条件下的特征识别方法、装置、计算机设备及介质 |
| CN114693987A (zh) * | 2020-12-25 | 2022-07-01 | 广州慧睿思通人工智能技术有限公司 | 模型生成方法、装置和存储介质及人脸识别方法和装置 |
| CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
| CN115937906A (zh) * | 2023-02-16 | 2023-04-07 | 武汉图科智能科技有限公司 | 一种基于遮挡抑制和特征重建的遮挡场景行人重识别方法 |
| CN116883670A (zh) * | 2023-08-11 | 2023-10-13 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
| CN117275075A (zh) * | 2023-11-01 | 2023-12-22 | 浙江同花顺智能科技有限公司 | 一种人脸遮挡检测方法、系统、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
| CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
| CN110399826A (zh) * | 2019-07-22 | 2019-11-01 | 清华大学深圳研究生院 | 一种端到端人脸检测和识别方法 |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN110909690A (zh) * | 2019-11-26 | 2020-03-24 | 电子科技大学 | 一种基于区域生成的遮挡人脸图像检测方法 |
-
2020
- 2020-03-09 CN CN202010156376.7A patent/CN111310718A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985181A (zh) * | 2018-06-22 | 2018-12-11 | 华中科技大学 | 一种基于检测分割的端对端人脸标注方法 |
| CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
| CN110399826A (zh) * | 2019-07-22 | 2019-11-01 | 清华大学深圳研究生院 | 一种端到端人脸检测和识别方法 |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN110909690A (zh) * | 2019-11-26 | 2020-03-24 | 电子科技大学 | 一种基于区域生成的遮挡人脸图像检测方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860174A (zh) * | 2020-06-22 | 2020-10-30 | 西安工程大学 | 融合RepGT-RepBox函数的遮挡人脸检测方法 |
| CN111914665A (zh) * | 2020-07-07 | 2020-11-10 | 泰康保险集团股份有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111914665B (zh) * | 2020-07-07 | 2023-06-20 | 泰康保险集团股份有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN112464701A (zh) * | 2020-08-26 | 2021-03-09 | 北京交通大学 | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 |
| CN112417980A (zh) * | 2020-10-27 | 2021-02-26 | 南京邮电大学 | 一种基于特征增强和细化的单阶段水下生物目标检测方法 |
| CN112232292A (zh) * | 2020-11-09 | 2021-01-15 | 泰康保险集团股份有限公司 | 应用于移动端的人脸检测方法及装置 |
| CN112232292B (zh) * | 2020-11-09 | 2023-12-26 | 泰康保险集团股份有限公司 | 应用于移动端的人脸检测方法及装置 |
| CN112270326B (zh) * | 2020-11-18 | 2022-03-22 | 珠海大横琴科技发展有限公司 | 一种遮挡船只的检测优化方法、装置及电子设备 |
| CN112270326A (zh) * | 2020-11-18 | 2021-01-26 | 珠海大横琴科技发展有限公司 | 一种遮挡船只的检测优化方法、装置及电子设备 |
| CN114693987A (zh) * | 2020-12-25 | 2022-07-01 | 广州慧睿思通人工智能技术有限公司 | 模型生成方法、装置和存储介质及人脸识别方法和装置 |
| CN113723414A (zh) * | 2021-08-12 | 2021-11-30 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN113723414B (zh) * | 2021-08-12 | 2023-12-15 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN114266946A (zh) * | 2021-12-31 | 2022-04-01 | 智慧眼科技股份有限公司 | 遮挡条件下的特征识别方法、装置、计算机设备及介质 |
| CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
| CN115937906A (zh) * | 2023-02-16 | 2023-04-07 | 武汉图科智能科技有限公司 | 一种基于遮挡抑制和特征重建的遮挡场景行人重识别方法 |
| CN116883670A (zh) * | 2023-08-11 | 2023-10-13 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
| CN116883670B (zh) * | 2023-08-11 | 2024-05-14 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
| CN117275075A (zh) * | 2023-11-01 | 2023-12-22 | 浙江同花顺智能科技有限公司 | 一种人脸遮挡检测方法、系统、装置和存储介质 |
| CN117275075B (zh) * | 2023-11-01 | 2024-02-13 | 浙江同花顺智能科技有限公司 | 一种人脸遮挡检测方法、系统、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310718A (zh) | 一种遮挡人脸图像高准确率检测对比方法 | |
| CN110909690B (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN111126472B (zh) | 一种基于ssd改进的目标检测方法 | |
| CN108520219B (zh) | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 | |
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| WO2021073418A1 (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN101630363B (zh) | 复杂背景下彩色图像人脸的快速检测方法 | |
| CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
| CN110543846B (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
| US20200410212A1 (en) | Fast side-face interference resistant face detection method | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN106897673B (zh) | 一种基于retinex算法和卷积神经网络的行人再识别方法 | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN112418087B (zh) | 一种基于神经网络的水下视频鱼类识别方法 | |
| CN110781962B (zh) | 基于轻量级卷积神经网络的目标检测方法 | |
| CN107066963B (zh) | 一种自适应人群计数方法 | |
| CN112232204B (zh) | 基于红外图像的活体检测方法 | |
| CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN113570540A (zh) | 一种基于检测-分割架构的图像篡改盲取证方法 | |
| CN106874867A (zh) | 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法 | |
| CN110135446A (zh) | 文本检测方法及计算机存储介质 | |
| CN117079097A (zh) | 一种基于视觉显著性的海面目标识别方法 | |
| CN112800982A (zh) | 一种基于遥感场景分类的目标检测方法 | |
| CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200619 |