[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110598638A - 模型训练方法、人脸性别预测方法、设备及存储介质 - Google Patents

模型训练方法、人脸性别预测方法、设备及存储介质 Download PDF

Info

Publication number
CN110598638A
CN110598638A CN201910866866.3A CN201910866866A CN110598638A CN 110598638 A CN110598638 A CN 110598638A CN 201910866866 A CN201910866866 A CN 201910866866A CN 110598638 A CN110598638 A CN 110598638A
Authority
CN
China
Prior art keywords
face
face image
sample
target
sample face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910866866.3A
Other languages
English (en)
Inventor
孙莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910866866.3A priority Critical patent/CN110598638A/zh
Publication of CN110598638A publication Critical patent/CN110598638A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种模型训练方法、人脸性别预测方法、设备及存储介质，属于人脸性别预测领域。该方法包括：获取样本人脸图像；对样本人脸图像进行人脸矫正，得到人脸矫正后的样本人脸图像；对矫正后的样本人脸图像进行数据增强处理，生成样本人脸图像对应的至少一张目标样本人脸图像；根据目标样本人脸图像以及样本人脸图像的性别标签，训练人脸性别预测模型。采用本申请实施例提供的方法，通过对样本人脸图像进行人脸矫正，避免了人脸朝向不统一对后续模型训练造成的影响，进而提高了训练得到的人脸性别预测模型的模型质量；采用数据增强的方式对样本人脸图像中的样本人脸进行变换，能够增加样本数据量，从而降低样本人脸图像采集的工作量。

Description

模型训练方法、人脸性别预测方法、设备及存储介质
技术领域
本公开涉及性别预测领域，特别涉及一种模型训练方法、人脸性别预测方法、设备及存储介质。
背景技术
人脸识别是一种基于人脸特征信息进行身份识别的生物识别技术，而人脸性别预测则是人脸识别中用于预测生物识别对象性别的技术。
相关技术中进行人脸性别预测时，通常是将人脸图像直接输入预先训练好的性别预测模型，从而根据性别预测模型输出的预测结果确定人脸图像中人脸所属对象的性别。为了提高性别预测模型的预测准确度，在训练性别预测模型过程中，需要获取大量不同特点的样本人脸图像，从而利用大量样本人脸图像进行模型训练。
然而，目前用于训练性别预测模型的样本人脸图像的特点单一且分布不均，导致训练得到的性别预测模型的预测准确度较低。
发明内容
本申请实施例提供了一种模型训练方法、人脸性别预测方法、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
获取样本人脸图像；
对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换；
根据至少一张所述目标样本人脸图像以及所述样本人脸图像对应的性别标签，训练人脸性别预测模型，所述人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
另一方面，本申请实施例提供了一种人脸性别预测方法，所述方法包括：
获取目标人脸图像，所述目标人脸图像是待预测性别的人脸图像；
对所述目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的所述目标人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果，所述人脸性别预测模型根据样本人脸图像和所述样本人脸图像对应的至少一张目标样本人脸图像训练得到，所述样本人脸图像经过所述人脸矫正处理，且所述目标样本人脸图像是对人脸矫正后的所述样本人脸图像进行数据增强处理得到的，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换。
另一方面，本申请实施例提供了一种模型训练装置，所述装置包括：
第一获取模块，用于获取样本人脸图像；
第一处理模块，用于对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
第二处理模块，用于对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换；
训练模块，用于根据至少一张所述目标样本人脸图像以及所述样本人脸图像对应的性别标签，训练人脸性别预测模型，所述人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
另一方面，本申请实施例提供了一种人脸性别预测装置，所述装置包括：
第二获取模块，用于获取目标人脸图像，所述目标人脸图像是待预测性别的人脸图像；
第四处理模块，用于对所述目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的所述目标人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
结果获取模块，用于将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果，所述人脸性别预测模型根据样本人脸图像和所述样本人脸图像对应的至少一张目标样本人脸图像训练得到，所述样本人脸图像经过所述人脸矫正处理，且所述目标样本人脸图像是对人脸矫正后的所述样本人脸图像进行数据增强处理得到的，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的模型训练方法，或，实现如上述方面所述的人脸性别预测方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的模型训练方法，或，实现如上述方面所述的人脸性别预测方法。
另一方面，还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述方面所述的模型训练方法，或，实现如上述方面所述的人脸性别预测方法。
本申请实施例提供的技术方案的有益效果至少包括：
本申请实施例中，通过对样本人脸图像进行人脸矫正，将样本人脸图像中的人脸调整至目标朝向，避免了人脸朝向不统一对后续模型训练造成的影响，进而提高了训练得到的性别预测模型的模型质量；此外，采用数据增强的方式对样本人脸图像中的样本人脸进行变换，得到多张目标样本人脸图像，能够增加样本数据量，从而降低样本人脸图像采集的工作量，降低了样本人脸图像的采集成本，并有助于提高人脸性别预测模型的模型质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种模型训练方法的原理示意图；
图2是根据一示例性实施例示出的一种模型训练方法的流程图；
图3是根据另一示例性实施例示出的一种模型训练方法的流程图；
图4是根据一示例性实施例示出的人脸位置变换过程的示意图；
图5是根据一示例性实施例示出的对样本人脸进行水平翻转变换的示意图；
图6是根据一示例性实施例示出的一根据样本人脸图形生成目标样本人脸图像过程的流程图；
图7是根据一示例性实施例示出的卷积神经网络模型Xception的网络结构图；
图8是根据一示例性实施例示出的人脸性别预测方法的流程图；
图9是本申请一个示例性实施例提供的模型训练装置的结构框图；
图10是本申请一个示例性实施例提供的人脸性别预测装置的结构框图；
图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
相关技术中，在训练人脸性别预测模型时，通常是将设置有性别标记(或称为性别标签)的样本人脸图像直接输入待训练的人脸性别预测模型，然后根据人脸性别预测模型输出的预测结果与性别标记之间的差异，对人脸性别预测模型中的模型参数进行调整，使预测结果与性别标记之间的差异符合预期，最终训练得到性别预测模型。
这种训练方式下，人脸性别预测模型的模型质量(即模型的预测准确度)与样本人脸图像的质量直接相关，因此，为了提高模型质量，需要采集大量具有不同特点的样本人脸图像。然而，考虑到样本人脸图像采集过程的复杂性和多样性，采集高质量样本人脸图像的难度较高，进而导致人脸性别预测模型的质量较差。
而本申请实施例提供的模型训练方法中，如图1所示，获取样本人脸图像(步骤101)后，并非直接进行模型训练，而是首先对样本人脸图像进行预处理，得到样本人脸图像对应的多张目标样本人脸图像(步骤102)，其中，对样本人脸图像的预处理包括人脸矫正(步骤102a)，数据归一化(步骤102b)以及数据增强(步骤102c)中的至少一个，其中，人脸矫正用于将样本人脸图像中的样本人脸调整至统一角度，数据归一化用于加快模型训练过程，数据增强用于按照真实采集场景对样本人脸图像变换。对于预处理后得到的多张目标样本人脸图像，进一步对目标样本人脸图像进行标记，并划分出训练集和测试集(步骤103)，对训练集样本人脸图像进行特征提取，训练性别预测模型(步骤104)，当模型对所有训练集的样本人脸图像都进行学习后，输入测试集，验证性别预测模型的准确性，完成性别预测模型训练(步骤105)。
相较于相关技术中提供的模型训练方法，本申请实施例中，通过对样本人脸图像进行预处理，从而生成具有不同特点的多张目标样本人脸图像，提高了训练样本质量，进而提高了训练得到的性别预测模型的模型质量；此外，采用对样本人脸图像进行数据增强的方式增加样本数据量，从而降低样本人脸图像采集的工作量，降低了样本人脸图像的采集成本。
本申请实施例提供的模型训练方法可以用于个人计算机或者服务器等具有较强数据处理能力的计算机设备中。通过模型训练方法训练得到的人脸性别预测模型可以实现成为应用程序或应用程序的一部分，并被安装到终端中，使其具备根据人脸图像预测人脸所属对象性别的功能，或者，通过模型训练方法训练得到的人脸性别预测模型可以应用于应用程序后台服务器，从而由服务器为终端中的应用程序提供人脸性别预测服务。为了方便表述，本申请各个实施例以模型训练方法应用与计算机设备为例进行说明。
请参考图2，其示出了本申请的一个实施例示出的模型训练方法的流程图。本实施例以模型训练方法用于计算机设备为例进行说明，该方法包括：
步骤201，获取样本人脸图像。
样本人脸图像是指含有已知性别的人脸的图像，计算机设备获取到样本人脸图像，并设置代表性别的标签，作为模型训练时的样本数据。
在一种可能的实施方式中，计算机设备获取到带有人脸的图像作为样本人脸图像，获取方式包括从摄像头拍摄的视频中截取、从网络上现有的图像数据集中获取和调用计算机设备中的本地图片。为样本人脸图像设置性别标签时，利用不同的标签将样本人脸图像进行性别分类，例如男性标签记为1，女性标签记为0。
步骤202，对样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的样本人脸图像，人脸矫正处理用于将人脸图像中的人脸调整至目标朝向。
在实际应用中，计算机设备获取到的样本人脸图像存在多种姿态，人脸朝向不一致是常见现象之一，当样本人脸图像中人脸的角度偏转过大，或，用于训练样本中人脸的角度差异较大时，会影响最终训练得到模型的模型质量。
在一种可能的实施方式中，为了提高模型质量，需要将所有样本人脸图像中的人脸调整为一致的朝向。可选的，计算机设备中预先设置目标朝向，当计算机设备获取到的样本人脸图像中的人脸朝向与目标朝向不一致时，则调整人脸至目标朝向。
示意性的，预先设置目标朝向为正向，即将各张样本人脸图像中的样本人脸调整为正脸。当计算机设备获取到的样本人脸图像中人脸向右偏转30°时，将图像中的人脸向左调整30°使其与目标朝向一致。
步骤203，对人脸矫正后的样本人脸图像进行数据增强处理，生成样本人脸图像对应的至少一张目标样本人脸图像，数据增强处理用于对样本人脸图像中的样本人脸进行预定方式变换。
在实际使用中，计算机设备获取到的样本人脸图像由于环境和姿态等的不同存在多种情况，若只使用初始的样本人脸图像这一单一数据训练模型，可能导致在模型应用时同一人脸在不同的环境或姿态下的预测结果出现差异。为了提高模型预测的稳定性和准确率，需要获取同一人脸在多种情况下的样本人脸图像并用于模型训练，而在现实构建样本数据集时，考虑到样本采集复杂性和多样性，显然无法实现。本申请实施例中，在模型训练前，通过对样本人脸图像进行数据增强，得到同一人脸在多种情况下的目标样本人脸图像，从而提高后续模型训练的质量。
在一种可能的实施方式中，计算机设备获取到一张样本人脸图像后，通过对样本人脸图像进行预定方式的变换，得到至少一张对应的目标样本人脸图像，模型训练过程中对每一张目标样本人脸图像进行学习。
步骤204，根据至少一张目标样本人脸图像以及样本人脸图像对应的性别标签，训练人脸性别预测模型，人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
计算机设备将样本人脸图像输入人脸性别预测模型之前，对所有待预测的图像进行性别分类并添加性别标签。计算机设备对经过矫正的样本人脸图像进行预定方式变换之后，得到至少一张与初始样本人脸图像不同的目标样本人脸图像，根据样本人脸图像对应的性别标签标记经过处理的目标样本人脸图像(目标样本人脸图像与其对应的样本图像具有相同的性别标签)，所有的样本人脸图像都经过上述步骤的处理后输入待训练的人脸性别预测模型。
在一种可能的实施方式中，将男女两类目标样本人脸图像按照同样的比例划分训练集和测试集，其中训练集用于人脸性别预测模型的训练，测试集用于人脸性别预测模型的测试。
可选的，本申请实施例中的人脸性别预测模型为基于卷积神经网络的模型。在训练过程中，目标样本人脸图像作为样本输入被输入待训练的人脸性别预测模型，而目标样本人脸图像对应的性别标签则作为样本输出。
综上所述，本申请实施例中，通过对样本人脸图像进行人脸矫正，将样本人脸图像中的人脸调整至目标朝向，避免了人脸朝向不统一对后续模型训练造成的影响，进而提高了训练得到的性别预测模型的模型质量；此外，采用数据增强的方式对样本人脸图像中的样本人脸进行变换，得到多张目标样本人脸图像，能够增加样本数据量，从而降低样本人脸图像采集的工作量，降低了样本人脸图像的采集成本，并有助于提高人脸性别预测模型的模型质量。
请参考图3，其示出了本申请的另一个实施例示出的模型训练方法的流程图。
该方法包括：
步骤301，获取样本人脸图像。
步骤301的实施方式可以参考上述步骤201，本实施例在此不再赘述。
步骤302，识别样本人脸中的人脸关键点。
其中，下述步骤302至304是对人脸矫正处理过程的说明。
在一种可能的实施方式中，本实施例采用人脸关键点定位的方式对样本人脸图像进行人脸矫正，使人脸朝向与预设的目标朝向一致。进行人脸矫正时，计算机设备首先识别样本人脸中的人脸关键点并进行标记。
在一种可能的实施方式中，计算机设备利用人脸对齐算法框出样本人脸图像中的人脸区域，同时检测出人脸的关键点进行标记。该关键点是计算机设备中预先设置的，可以包括眼睛、鼻子、嘴巴等多个位置的关键点。
示意性的，计算机设备利用多任务卷积神经网络(Multi-task convolutionalneural network，MTCNN)进行关键点标记，且预先设置目标朝向为正向，即图像中的人脸为正向。当样本人脸图像中样本人脸低头45°时，计算机设备加载MTCNN模型，检测出眼睛、鼻子和嘴角共5个关键位置并用关键点进行标记，得到所有关键点的坐标。
步骤303，根据人脸关键点的分布确定样本人脸的原始朝向。
在上述步骤中定位出所有关键点的坐标，计算机设备根据这些坐标确定样本人脸的原始朝向，当检测到样本人脸的原始朝向与预先设置的目标朝向不一致时，需要对样本人脸图像进行人脸矫正处理。
示意性的，计算机设备标记出图像中人脸低头45°的样本人脸图像的关键点后，可以根据关键点之间的位置关系检测出与预先设置的目标朝向不一致，即样本人脸不是正向的，需要对样本人脸图像进行下一步人脸矫正处理。
步骤304，根据原始朝向和目标朝向对样本人脸进行人脸矫正处理。
当样本人脸图像中人脸的原始朝向与目标朝向不一致时，需要对样本人脸进行人脸矫正处理。在一种可能的实施方式中，计算机设备根据样本人脸在图像中人脸关键点的坐标、原始朝向以及目标朝向，计算出目标朝向下人脸的目标人脸关键点坐标，然后根据目标人脸关键点坐标对样本人脸图像中的人脸关键点进行变换，从而使样本人脸朝向与目标朝向一致。
示意性的，当计算机设备检测到样本人脸的朝向与预先设置的目标朝向不一致时，对样本人脸进行人脸矫正处理。对于图像中人脸低头45°的样本人脸，通过上述步骤分别计算出矫正前后的关键点坐标，再通过仿射变换将人脸调整到正向，完成矫正处理。仿射变换是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换是一种二维坐标变换，它基于图像中的关键点，分别将其坐标向量与变换矩阵相乘，计算出变换后的关键点坐标向量，图像整体则根据变换规则进行同理变换。
步骤305，对人脸矫正后的样本人脸图像中像素点的像素值进行归一化处理。
样本人脸图像中各点的像素值通常在0至255之间，直接对样本人脸图像进行处理时的计算量较大。为了提高训练模型的收敛性，加快模型学习速度，可以对人脸矫正后的样本人脸图像中像素点的像素值进行归一化处理。
示意性的，计算机设备获取到的样本人脸图像的像素值的区间通常为[0,255]，经过归一化处理后该图像的像素值区间为[0,1]。
由于现实中在拍摄或视频截取人脸图像时存在多种情况，如光照强度差异较大、人脸在图像中的位置不确定、人脸左右不对称等，如果只使用初始的样本人脸图像这一单一数据训练模型可能会影响模型的预测结果，因此，为了得到丰富的样本数据使得模型的预测结果更加准确，需要对样本人脸图像进行数据增强处理，数据增强过程可以执行步骤306至308。
步骤306，对样本人脸图像中的样本人脸进行光照强度变换，生成目标样本人脸图像。
在应用中发现，光照强度会影响模型预测的结果，即不同光照强度下同一人脸对应的性别预测结果可能不同。然而通常情况下的样本人脸图像仅对应单一光照强度，因此为了提高模型的泛化性和准确性，需要从光照强度这一角度进行数据增强。
在一种可能的实施方式中，计算机设备从预设光照强度区间中随机确定目标光照强度；根据目标光照强度对样本人脸图像中的样本人脸进行光照强度变换，从而得到目标样本人脸图像。
可选的，计算机设备根据控制光照强度的函数改变样本人脸图像的像素值从而改变光照强度，从而基于单张样本人脸图像得到不同光照强度下的多张目标样本人脸图像。其中，计算机设备将归一化处理后的样本人脸图像的像素值作为函数的输入，设置控制光照强度的变量作为函数的参数，从而得到改变光照强度后的像素值，其中，该参数在预先设置好的光照强度区间内随机变换预定次数n，得到n种光照强度下的样本人脸图像。
示意性的，设置光照强度区间为[0,100]，预定变换次数为5，则控制光照强度的参数会在该区间内随机变换5次，得到5个目标光照强度。比如，控制光照强度的参数在一次随机变换后取值为30，则将函数中的参数设置为30，将样本人脸图像的所有点的像素值输入函数，经过计算得到光照强度为30时目标样本人脸图像中各个像素点的像素值。上述处理过程重复5次，就能得到5种不同光照强度下的目标样本人脸图像。
此外，因为参数是在光照强度区间内随机选取的，因此可以保证参数分布均匀，不会导致某一光照强度对应的目标样本人脸图像过多或过少，模型预测结果不存在针对性。
在另一种可能的实施方式中，计算机设备从预设对比度区间中随机确定目标对比度；根据目标对比度对样本人脸图像中的样本人脸进行光照强度变换。
可选的，计算机设备根据控制对比度的函数改变样本人脸图像的像素值从而改变光照强度，从而基于单张样本人脸图像得到不同光照强度下的多张目标样本人脸图像。可选的，计算机设备将归一化处理后的样本人脸图像的像素值作为函数的输入，设置控制对比度的变量作为函数的参数，从而得到改变光照强度后的像素值，其中，该参数在预先设置好的对比度区间内随机变换预定次数m，就可以得到m种对比度下的样本人脸图像。
示意性的，设置对比度区间为[0,50]，预定变换次数为5，则控制对比度的参数会在该区间内随机变换5次，取5个不同的值，确定目标对比度。计算机设备控制对比度的参数在对比度区间内进行一次随机变换后，确定出一个对比度值，将该对比度值代入改变对比度的函数中，计算得到样本人脸图像在该对比度下各点的像素值，从而得到该对比度下的人脸图像。例如，控制对比度的参数在一次随机变换后取值为20，则将函数中的参数设置为20，将样本人脸图像的所有点的像素值输入函数，经过计算得到对比度为20时的人脸图像，输出该图像所有点的像素值。上述处理过程重复5次，就能得到5种不同对比度下的目标样本人脸图像。
此外，因为参数是在对比度区间内随机选取的，因此可以保证参数分布均匀，不会导致某一光照强度对应的目标样本人脸图像过多或过少，模型预测结果不存在针对性。
步骤307，对样本人脸图像中的样本人脸进行人脸位置变换，生成目标样本人脸图像。
在应用中发现，样本人脸图像中样本人脸位置的不同也会影响模型的预测结果，然而通常情况下的样本人脸图像仅对应单一人脸位置，因此需要从人脸位置变换这一角度进行数据增强。
在一种可能的实施方式中，计算机设备对样本人脸图像进行随机比例剪裁，通过扩边方式将剪裁后的样本人脸图像调整为目标图像尺寸，其中，随机比例剪裁用于按照随机比例裁剪样本人脸图像中的非人脸区域。
示意性的，若计算机设备获取到一张人脸位于图像正中间的样本人脸图像，可以按比例随机裁剪图像非人脸区域的上下左右四个边框中的一个或几个，使人脸在图像中的位置发生改变。为了方便模型处理样本人脸图像，需要将剪裁后的图像尺寸调整到与预设的标准尺寸一致。在一种可能的实施方式中，通过扩边的方式来调整剪裁后的样本人脸图像。
图4示出了一种变换人脸位置的方式，对于如图4(a)所示的一张人脸位于图像正中的样本人脸图像，计算机设备按比例剪裁图像上方和左侧的非人脸区域各10％，得到剪裁后的样本人脸图像如图4(b)所示。完成裁剪后，计算机设备对剪裁后的样本人脸图像的下方和右侧进行扩边，使得扩边后的样本人脸图像尺寸与目标图像尺寸一致，最终得到一张如图4(d)所示的目标样本人脸图像。经过剪裁扩边后，样本人脸由正中位于移动至左上角位置。
当然，除了通过上述方式外，计算机设备还可以通过裁剪并移动人脸区域的方式调整人脸在图像中的位置，本实施例对此不作限定。
步骤308，对样本人脸图像中的样本人脸进行水平翻转变换，生成目标样本人脸图像。
数据增强的方式除了上述改变光照强度和人脸位置之外，还可以通过水平翻转样本人脸得到其镜像图像。现实中的人脸由于长相、表情等因素导致左右不对称，然而单一的样本人脸图像无法反映出上述特征，因此为了提高模型预测结果的准确性，需要从水平翻转变换这一角度进行数据增强。
示意性的，图5展示了一种获取人脸镜像图的方式，对于如图5(a)所示的一张人脸表情不对称的样本人脸图像，通过对样本人脸图像进行水平翻转，得到镜像图像图5(b)。
需要说明的是，计算机设备可以执行上述步骤306至308中的至少一种对样本人脸图像进行数据增强，本申请实施例并不对此进行限定。
步骤309，根据至少一张目标样本人脸图像以及样本人脸图像对应的性别标签，训练人脸性别预测模型，人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
示意性的，如图6所示，计算机设备获取到一张样本人脸图像后，对其进行人脸矫正和归一化处理，然后在此基础上分别进行多种数据增强处理。经过光照强度变换得到4张目标样本人脸图像，经过人脸位置变换得到2张目标样本人脸图像，经过水平翻转变换得到一张镜像图作为目标样本人脸图像。通过这种方式可以由最初的一张样本人脸图像得到不同的7张目标样本人脸图像，并进一步将这8张图像输入模型进行训练。
在一种可能的实施方式中，训练过程中，计算机设备将训练集输入卷积神经网络模型并迭代预设次数epochs，每一次迭代计算过程中使用Adam梯度下降算法优化目标函数。将测试集送入训练好的性别预测模型进行测试，验证模型的准确性，再将测试集中判断错误的样本再次送入模型中进行精调(fine-tuning)，提高模型的泛化性。在性别预测模型学习结束后，再将测试集数据输入模型中，当验证模型的准确率达到预定标准时，人脸性别预测模型训练完成。
其中，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，在大型图像处理方面有出色表现。基础的CNN由卷积层、池化层和全连接层组成，每一层都包含一个线性函数和一个激活函数。当处理图像分类任务时，输入的图像经过卷积层后输出若干张特征图，特征图中包含输入图像的局部特征；卷积层进行特征提取的工作时会产生较多的冗余信息，池化操作的目的是进行下采样；全连接层的每一个神经元都与其前一层的所有神经元连接，全连接层可以整合卷积层和池化层中具有类别区分性的局部特征，并采用逻辑回归进行分类。
可选的，本实施例采用的卷积神经网络是深度可分离卷积模型(Xception)，其网络结构图如图7所示，该网络结构是带有残差连接的深度可分卷积层的线性堆叠，共计36层，分为入口流(Entry flow)，中间流(Middle flow)和出口流(Exit flow)。Entry flow包含8个卷积层；Middle flow包含3*8＝24个卷积层；Exit flow包含4个卷积层，所以Xception共计36层卷积操作。36个卷积层被分成14个模块，除最后一个模块以外，其余模块间都有线性残差连接。在卷积层之后接全连接层，最后使用逻辑回归层进行分类。每个卷积层后连接激活函数，其作用是增加神经网络的非线性，若没有激活函数，则神经网络每一层的输出都是输入的线性组合，最终的输出结果只是矩阵的乘积，激活函数为神经元引入非线性因素，使得神经网络的输出可以逼近任何非线性函数，从而神经网络可以应用到众多非线性模型中。本实施例中的激活函数均为线性整流函数(Rectified Linear Unit，ReLU)，与其他传统的激活函数相比，ReLU可以对神经网络中神经元的活跃度进行调试，同时会使一部分神经元的输出为0，从而简化计算过程。卷积神经网络模型输出层选用softmax分类器，选用的损失函数是交叉熵损失函数，这是一种通用的解决分类问题的损失函数。同时，为了解决数据不平衡问题，加入了灶性损失(focal loss)，避免了由于样本数据分布不一致而使预测结果偏向某一类；损失函数计算出的结果输入梯度下降算法，本实施例采用Adam梯度下降算法，Adam是一种高效计算方法，可以提高梯度下降收敛速度。此外，由于输出层使用Sigmoid激活函数，该函数是将变量映射在0到1之间，因此步骤305的归一化处理也能够提高训练过程中的收敛速度。
示意性的，计算机设备对样本人脸图像中男女两类分别按比例划分为训练集和测试集，划分比例为8:2，对训练集的样本人脸图像进行性别分类，女性样本记为标签0，男性样本记为标签1。将训练集输入Xception进行训练，训练过程中设置迭代次数epochs为90，每一次迭代计算过程中使用Adam梯度下降算法优化目标函数，Adam梯度下降算法需设置批处理样本大小batch size，本示意性实施例设置batch size为64。
本申请中的人脸性别预测模型使用一种开放源代码软件库TensorFlow定义卷积神经网络模型，借助其灵活的架构，用户可以将计算工作部署到多种平台和设备中，如个人计算机、桌面设备、服务器集群、移动设备和边缘设备等。
本申请实施例中，不仅对样本人脸图像进行人脸矫正处理，而且通过改变光照强度、改变对比度、变换人脸位置以及水平翻转的方式对样本人脸图像进行数据增强，从而得到模拟真实采集场景下的多张目标样本人脸图像，在增加样本数据量的同时，有助于提高各种环境下人脸性别预测模型的预测准确性。
经过上述步骤的训练得到人脸性别预测模型以后，可以将人脸性别预测模型应用于多种场景中，例如，美颜相机应用程序可以利用此模型预测图像中人脸的性别，从而根据不同的性别结果添加相应的美颜效果；又比如，直播类应用程序可以利用此模型，在直播视频数据流传输前进行性别预测并添加不同程度的美颜效果。
上述实施例对模型训练过程进行了说明，下面采用示意性实施例对训练得到模型的应用过程进行说明。请参考图8，其示出了本申请的一个实施例示出的人脸性别预测方法的流程图。
步骤801，获取目标人脸图像，目标人脸图像是待预测性别的人脸图像。
在一种可能的实施方式中，目标人脸图像是通过摄像头拍摄的图片，或者，从摄像头采集的视频中提取的图像帧，或者，从本地存储中获取到的图片。
可选的，计算机设备获得图像后首先对图像进行人脸检测，当检测到图像中有人脸存在后再进行下一步操作。
示意性的，当性别预测模型应用在美颜相机时，通过拍照或直接从终端本地图片加载的方式获取目标人脸图像，框出人脸部分进行后续预处理操作。
步骤802，对目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的目标人脸图像，人脸矫正处理用于将人脸图像中的人脸调整至目标朝向。
由于性别预测模型是基于目标朝向的样本人脸图像训练得到的，因此需要计算机设备对目标人脸进行人脸矫正处理，使目标人脸图像中的人脸朝向与目标朝向一致。
在一种可能的实施方式中，计算机设备获取目标人脸图像中的人脸区域，确定出人脸区域并对关键点定位，并按预设方向标准调整目标人脸图像中人脸朝向，使目标人脸图像的人脸朝向与目标朝向一致。
示意性的，若计算机设备获取到的目标人脸图像中的人脸向左偏转45°，则通过计算人脸正向时关键点的坐标，经过仿射变换将目标人脸调整为正向。
步骤803，将人脸矫正后的目标人脸图像输入人脸性别预测模型，得到人脸性别预测模型输出的预测结果，人脸性别预测模型根据样本人脸图像和样本人脸图像对应的至少一张目标样本人脸图像训练得到，样本人脸图像经过人脸矫正处理，且目标样本人脸图像是对人脸矫正后的样本人脸图像进行数据增强处理得到的，数据增强处理用于对样本人脸图像中的样本人脸进行预定方式变换。
在一种可能的实施方式中，当目标人脸图像与目标朝向一致时，计算机设备对矫正后的目标人脸图像进行归一化处理，再将归一化处理后的目标人脸图像输入人脸性别预测模型，得到人脸性别预测模型输出的预测结果，其中，该预测结果为男女性别各自对应的概率。
比如，该预测结果为：男性95％，女性5％。
步骤804，若预测结果为男性，则根据第一美颜参数对目标人脸进行美颜处理。
根据预测结果确定目标人脸图像中目标人脸所对应的性别，在一种可能的实施方式中，当目标人脸图像为视频中的视频帧时，为了提高预测准确性，计算机设备将多张目标人脸图像输入人脸性别预测模型进行性别预测，并根据多次预测结果确定出目标人脸图像所对应的性别。
示意性的，当性别预测模型应用于直播视频类应用程序时，可以通过对一段视频中的多张帧图像进行预测，并根据每一帧图像的预测结果最终确定该段视频中人脸的性别。
在一种可能的实施方式中，应用程序设置由两套美颜参数，分别针对男性和女性，若预测结果为男性，则计算机设备根据第一美颜参数对目标人脸进行美颜处理。
示意性的，当人脸性别预测模型应用于美颜相机应用程序时，若预测结果为男性，则美颜相机应用对目标人脸图像进行较低程度的美颜磨皮、美白、瘦脸等效果处理，体现男性脸部硬朗的特征。
步骤805，若预测结果为女性，则根据第二美颜参数对目标人脸进行美颜处理，第二美颜参数指示的美颜程度高于第一美颜参数指示的美颜程度。
在一种可能的实施方式中，若预测结果为女性，则计算机设备根据第二美颜参数对目标人脸进行美颜处理，最终输出美颜处理后的目标人脸图像，其中，第二美颜参数指示的美颜程度高于第一美颜参数指示的美颜程度。
示意性的，当人脸性别预测模型应用于美颜相机时，若预测结果为女性，则美颜相机应用对目标人脸图像进行较高程度的美颜磨皮、美白、瘦脸等效果处理，同时增加口红、腮红等化妆功能，体现女性脸部柔美的特征。
本申请实施例中，将目标人脸图像经过多种预处理得到性别预测结果，并且在原来的性别预测模型的基础上拓展了美颜功能，在保证模型预测结果准确性的基础上扩大了应用范围，同时优化了用户体验。
图9是本申请一个示例性实施例提供的模型训练装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图9所示，该装置包括：第一获取模块901、第一处理模块902、第二处理模块903和训练模块904；
第一获取模块901，用于获取样本人脸图像；
第一处理模块902，用于对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
第二处理模块903，用于对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换；
训练模块904，用于根据至少一张所述目标样本人脸图像以及所述样本人脸图像对应的性别标签，训练人脸性别预测模型，所述人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
可选的，所述第二处理模块903，包括：
第一变换单元，用于对所述样本人脸图像中的样本人脸进行光照强度变换，生成所述目标样本人脸图像；
和/或，
第二变换单元，用于对所述样本人脸图像中的样本人脸进行人脸位置变换，生成所述目标样本人脸图像；
和/或，
第三变换单元，用于对所述样本人脸图像中的样本人脸进行水平翻转变换，生成所述目标样本人脸图像。
可选的，所述第一变换单元还用于：
从预设光照强度区间中随机确定目标光照强度；根据所述目标光照强度对所述样本人脸图像中的样本人脸进行光照强度变换；
和/或，
从预设对比度区间中随机确定目标对比度；根据所述目标对比度对所述样本人脸图像中的样本人脸进行光照强度变换。
可选的，所述第二变换单元还用于：
对所述样本人脸图像进行随机比例剪裁，其中，所述随机比例剪裁用于按照随机比例裁剪所述样本人脸图像中的非人脸区域；
通过扩边方式将剪裁后的所述样本人脸图像调整为目标图像尺寸。
可选的，所述第一处理模块902，包括：
识别单元，用于识别所述样本人脸中的人脸关键点；
第一方向单元，用于根据所述人脸关键点的分布确定所述样本人脸的原始朝向；
第二方向单元，用于根据所述原始朝向和所述目标朝向对所述样本人脸进行人脸矫正处理。
可选的，所述装置还包括：
第三处理模块，用于对人脸矫正后的所述样本人脸图像中像素点的像素值进行归一化处理。
图10是本申请一个示例性实施例提供的人脸性别预测装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图10所示，该装置包括：第二获取模块1001、第四处理模块1002和结果获取模块1003；
第二获取模块1001，用于获取目标人脸图像，所述目标人脸图像是待预测性别的人脸图像；
第四处理模块1002，用于对所述目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的所述目标人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
结果获取模块1003，用于将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果，所述人脸性别预测模型根据样本人脸图像和所述样本人脸图像对应的至少一张目标样本人脸图像训练得到，所述样本人脸图像经过所述人脸矫正处理，且所述目标样本人脸图像是对人脸矫正后的所述样本人脸图像进行数据增强处理得到的，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换。
可选的，所述装置还包括：
第一美颜模块，用于若所述预测结果为男性，则根据第一美颜参数对所述目标人脸进行美颜处理；
第二美颜模块，用于若所述预测结果为女性，则根据第二美颜参数对所述目标人脸进行美颜处理，所述第二美颜参数指示的美颜程度高于所述第一美颜参数指示的美颜程度。
需要说明的是：上述实施例提供的模型训练装置和人脸性别预测装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例，以及人脸性别预测装置与人脸性别预测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图11，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1100包括中央处理单元(CPU)1101、包括随机存取存储器(RAM)1102和只读存储器(ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述模型训练方法的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一实施例所述的模型训练方法，或，实现上述任一实施例所述的人脸性别预测方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的模型训练方法，或，上述各个方法实施例提供的人脸性别预测方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的模型训练方法，或，实现上述任一方法实施例所述的人脸性别预测方法。
可选的，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种模型训练方法，其特征在于，所述方法包括：
获取样本人脸图像；
对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换；
根据至少一张所述目标样本人脸图像以及所述样本人脸图像对应的性别标签，训练人脸性别预测模型，所述人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
2.根据权利要求1所述的方法，其特征在于，所述对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，包括：
对所述样本人脸图像中的样本人脸进行光照强度变换，生成所述目标样本人脸图像；
和/或，
对所述样本人脸图像中的样本人脸进行人脸位置变换，生成所述目标样本人脸图像；
和/或，
对所述样本人脸图像中的样本人脸进行水平翻转变换，生成所述目标样本人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述样本人脸图像中的样本人脸进行光照强度变换，包括：
从预设光照强度区间中随机确定目标光照强度；根据所述目标光照强度对所述样本人脸图像中的样本人脸进行光照强度变换；
和/或，
从预设对比度区间中随机确定目标对比度；根据所述目标对比度对所述样本人脸图像中的样本人脸进行光照强度变换。
4.根据权利要求2所述的方法，其特征在于，所述对所述样本人脸图像中的样本人脸进行人脸位置变换，包括：
对所述样本人脸图像进行随机比例剪裁，其中，所述随机比例剪裁用于按照随机比例裁剪所述样本人脸图像中的非人脸区域；
通过扩边方式将剪裁后的所述样本人脸图像调整为目标图像尺寸。
5.根据权利要求1所述的方法，其特征在于，所述对所述样本人脸图像中的样本人脸进行人脸矫正处理，包括：
识别所述样本人脸中的人脸关键点；
根据所述人脸关键点的分布确定所述样本人脸的原始朝向；
根据所述原始朝向和所述目标朝向对所述样本人脸进行人脸矫正处理。
6.根据权利要求1所述的方法，其特征在于，所述对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像之后，所述方法还包括：
对人脸矫正后的所述样本人脸图像中像素点的像素值进行归一化处理。
7.根据权利要求1至6任一所述的方法，其特征在于，所述人脸性别预测模型是基于Xception的卷积神经网络模型，训练所述人脸性别预测模型时采用的损失函数为交叉熵损失函数，所述交叉熵损失函数经过focal loss处理。
8.一种人脸性别预测方法，其特征在于，所述方法包括：
获取目标人脸图像，所述目标人脸图像是待预测性别的人脸图像；
对所述目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的所述目标人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果，所述人脸性别预测模型根据样本人脸图像和所述样本人脸图像对应的至少一张目标样本人脸图像训练得到，所述样本人脸图像经过所述人脸矫正处理，且所述目标样本人脸图像是对人脸矫正后的所述样本人脸图像进行数据增强处理得到的，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换。
9.根据权利要求8所述的方法，其特征在于，所述将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果之后，所述方法还包括：
若所述预测结果为男性，则根据第一美颜参数对所述目标人脸进行美颜处理；
若所述预测结果为女性，则根据第二美颜参数对所述目标人脸进行美颜处理，所述第二美颜参数指示的美颜程度高于所述第一美颜参数指示的美颜程度。
10.一种模型训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取样本人脸图像；
第一处理模块，用于对所述样本人脸图像中的样本人脸进行人脸矫正处理，得到人脸矫正后的所述样本人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
第二处理模块，用于对人脸矫正后的所述样本人脸图像进行数据增强处理，生成所述样本人脸图像对应的至少一张目标样本人脸图像，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换；
训练模块，用于根据至少一张所述目标样本人脸图像以及所述样本人脸图像对应的性别标签，训练人脸性别预测模型，所述人脸性别预测模型用于根据输入的人脸图像预测人脸图像中人脸所属对象的性别。
11.一种人脸性别预测装置，其特征在于，所述装置包括：
第二获取模块，用于获取目标人脸图像，所述目标人脸图像是待预测性别的人脸图像；
第四处理模块，用于对所述目标人脸图像中的目标人脸进行人脸矫正处理，得到人脸矫正后的所述目标人脸图像，所述人脸矫正处理用于将人脸图像中的人脸调整至目标朝向；
结果获取模块，用于将人脸矫正后的所述目标人脸图像输入人脸性别预测模型，得到所述人脸性别预测模型输出的预测结果，所述人脸性别预测模型根据样本人脸图像和所述样本人脸图像对应的至少一张目标样本人脸图像训练得到，所述样本人脸图像经过所述人脸矫正处理，且所述目标样本人脸图像是对人脸矫正后的所述样本人脸图像进行数据增强处理得到的，所述数据增强处理用于对所述样本人脸图像中的样本人脸进行预定方式变换。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至7任一所述的模型训练方法，或，实现权利要求8或9所述的人脸性别预测方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至7任一所述的模型训练方法，或，实现权利要求8或9所述的人脸性别预测方法。
CN201910866866.3A 2019-09-12 2019-09-12 模型训练方法、人脸性别预测方法、设备及存储介质 Pending CN110598638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866866.3A CN110598638A (zh) 2019-09-12 2019-09-12 模型训练方法、人脸性别预测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866866.3A CN110598638A (zh) 2019-09-12 2019-09-12 模型训练方法、人脸性别预测方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110598638A true CN110598638A (zh) 2019-12-20

Family

ID=68859274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866866.3A Pending CN110598638A (zh) 2019-09-12 2019-09-12 模型训练方法、人脸性别预测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110598638A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111175973A (zh) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 头箍调节方法及调节装置、计算机存储介质及头戴式设备
CN111325107A (zh) * 2020-01-22 2020-06-23 广州虎牙科技有限公司 检测模型训练方法、装置、电子设备和可读存储介质
CN111476266A (zh) * 2020-02-27 2020-07-31 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112633065A (zh) * 2020-11-19 2021-04-09 特斯联科技集团有限公司 一种基于数据增强的人脸检测方法、系统、存储介质及终端
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112733795A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN113177457A (zh) * 2021-04-23 2021-07-27 平安科技（深圳）有限公司 用户服务方法、装置、设备及计算机可读存储介质
CN118037608A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种人脸矫正模型的训练方法、姿态矫正方法及相关产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN108009999A (zh) * 2017-11-30 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法
CN109190712A (zh) * 2018-09-21 2019-01-11 福州大学 一种基于深度学习的航拍巡线影像自动分类系统
CN109376768A (zh) * 2018-09-21 2019-02-22 福州大学 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109977781A (zh) * 2019-02-26 2019-07-05 上海上湖信息技术有限公司 人脸检测方法及装置、可读存储介质
CN110046941A (zh) * 2019-04-23 2019-07-23 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110188703A (zh) * 2019-05-31 2019-08-30 广州软盈科技有限公司 一种基于人脸识别的信息推送及引流方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN108009999A (zh) * 2017-11-30 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法
CN109190712A (zh) * 2018-09-21 2019-01-11 福州大学 一种基于深度学习的航拍巡线影像自动分类系统
CN109376768A (zh) * 2018-09-21 2019-02-22 福州大学 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN109977781A (zh) * 2019-02-26 2019-07-05 上海上湖信息技术有限公司 人脸检测方法及装置、可读存储介质
CN110046941A (zh) * 2019-04-23 2019-07-23 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110188703A (zh) * 2019-05-31 2019-08-30 广州软盈科技有限公司 一种基于人脸识别的信息推送及引流方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANFENG WANG ET AL.: "SFace: An Efficient Network for Face Detection in Large Scale Variations", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
何琦: "基于人脸的性别识别研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111175973A (zh) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 头箍调节方法及调节装置、计算机存储介质及头戴式设备
CN111325107A (zh) * 2020-01-22 2020-06-23 广州虎牙科技有限公司 检测模型训练方法、装置、电子设备和可读存储介质
CN111476266B (zh) * 2020-02-27 2022-04-12 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN111476266A (zh) * 2020-02-27 2020-07-31 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112633065A (zh) * 2020-11-19 2021-04-09 特斯联科技集团有限公司 一种基于数据增强的人脸检测方法、系统、存储介质及终端
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112733795A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN112733795B (zh) * 2021-01-22 2022-10-11 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
CN113177457A (zh) * 2021-04-23 2021-07-27 平安科技（深圳）有限公司 用户服务方法、装置、设备及计算机可读存储介质
CN113177457B (zh) * 2021-04-23 2024-09-24 平安科技（深圳）有限公司 用户服务方法、装置、设备及计算机可读存储介质
CN118037608A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种人脸矫正模型的训练方法、姿态矫正方法及相关产品
CN118037608B (zh) * 2024-04-11 2024-06-25 腾讯科技（深圳）有限公司 一种人脸矫正模型的训练方法、姿态矫正方法及相关产品

Similar Documents

Publication Publication Date Title
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
WO2021093468A1 (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
US10755145B2 (en) 3D spatial transformer network
US20230237841A1 (en) Occlusion Detection
US11163978B2 (en) Method and device for face image processing, storage medium, and electronic device
CN109977757B (zh) 一种基于混合深度回归网络的多模态的头部姿态估计方法
US20130155063A1 (en) Face Feature Vector Construction
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
JP2005327076A (ja) パラメタ推定方法、パラメタ推定装置および照合方法
JP2024501986A (ja) ３次元顔再構築の方法、３次元顔再構築の装置、デバイスおよび記憶媒体
CN111476806A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113591562B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
EP4435660A1 (en) Target detection method and apparatus
Agbo-Ajala et al. A lightweight convolutional neural network for real and apparent age estimation in unconstrained face images
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
KR101961462B1 (ko) 객체 인식 방법 및 장치
Arnaud et al. Tree-gated deep mixture-of-experts for pose-robust face alignment
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220