CN115908260A - 模型训练方法、人脸图像质量评价方法、设备及介质 - Google Patents

Abstract

本申请实施例涉及图像识别领域，公开了一种模型训练方法、人脸图像质量评价方法、设备及介质。模型训练方法包括：获取第一人脸图像对应的第一处理图像，第一处理图像是由属于第一人脸图像中多个预设类型的关键点对应的图像块按照预设顺序组合形成的图像，或将组合形成的图像中至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像；构建用于提取第一处理图像的第一特征向量的特征提取模型，以及不包含输入且输出为参考向量的特征生成模型；根据第一特征向量和参考向量构建损失函数，对特征提取模型和特征生成模型进行联合训练，以得到鲁棒性高的特征提取模型，从而使得模型能准确处理未出现在训练样本中的人脸图像。

Description

模型训练方法、人脸图像质量评价方法、设备及介质

技术领域

本申请实施例涉及图像识别技术领域，特别涉及一种模型训练方法、人脸图像质量评价方法、设备及介质。

背景技术

人脸图像质量的好坏会直接影响人脸识别技术的准确率，而人脸图像质量评价又与常规的图像质量评价方法不完全一致。比如：人类主观视觉感觉质量差的人脸图像，人脸识别模型不一定认为其质量差，反而能够准确地进行人脸识别。即人脸图像质量评价的难点在于：很难将人脸图像质量评价算法(计算机感觉)得到的评价结果与人类主观感觉得到的评价结果相统一。

目前，常用人脸图像质量评价方法有两种，一种是从人类主观感觉出发，采用多个评分子模型，对人脸图像的光照情况、对比度、模糊程度、人脸完整度、人脸姿态角等质量影响因素逐一衡量，再结合业内专家的经验给出人脸图像的质量分数。另一种是从人脸识别模型角度出发，利用识别模型对不同质量的人脸图像识别能力差异，对人脸图像进行质量评分。

然而，第一种方法需要搜集各种质量影响因素的人脸图像作为训练样本，费时费力，且最终得到的人脸图像质量评分模型不能准确处理训练样本中未出现的质量影响因素的人脸图像，例如，没有妆容浓重程度评分子模型的评分模型不能对带妆容的人脸图像进行准确的质量评价。第二种方法得到的评价结果常常与人类主观感觉相反，因此这种模型通常只能配合相应的识别模型使用，作为独立模型使用时，效果很差。

发明内容

本申请实施方式的目的在于提供一种模型训练方法、人脸图像质量评价方法、设备及介质，由属于第一人脸图像中预设类型的关键点对应的图像块按照预设顺序组合形成的第一处理图像，或者将组合形成的图像中至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的第一处理图像作为训练样本，得到鲁棒性较高的特征提取模型，从而使得模型可以准确处理未出现在训练样本中的质量影响因素类型的人脸图像。

为解决上述技术问题，本申请的实施方式提供了一种模型训练方法，包括：获取第一人脸图像对应的第一处理图像，所述第一处理图像是由属于第一人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像，或者进一步是将所述组合形成的图像中至少一个所述图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像；构建用于提取第一处理图像的第一特征向量的特征提取模型，以及不包含输入且输出为参考向量的特征生成模型；所述第一特征向量包含多个子特征向量、所述参考向量包含多个子参考向量，且所述多个子特征向量、所述多个子参考向量分别与各位置的所述图像块一一对应；根据所述第一特征向量和所述参考向量构建损失函数，对所述特征提取模型和所述特征生成模型进行联合训练；其中，所述损失函数对应的损失约束为：未进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较高；进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较低。

本申请的实施方式还提供了一种人脸图像质量评价方法，包括：将待测人脸图像对应的第二处理图像输入到已训练好的特征提取模型中，得到所述待测人脸图像的第一特征向量；所述第二处理图像是由属于待测人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像；所述第一特征向量包含多个分别与各位置处的图像块一一对应的子特征向量；获取已训练好的特征生成模型输出的参考向量；所述参考向量包含多个分别与各位置处的图像块一一对应的子参考向量；计算所述待测人脸图像中每个图像块的子特征向量和所述子参考向量的相似度，并根据所述相似度对所述待测人脸图像进行质量评价。其中所述特征提取模型和所述特征生成模型通过如上所述的模型训练方法获取。

本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。

本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价方法。

本申请实施方式提供的模型训练方法，对第一人脸图像进行处理获取第一处理图像，其中第一处理图像由属于第一人脸图像中预设类型的关键点对应的图像块按照预设顺序组合形成，或者将组合形成的图像中至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像。也就是说，本申请训练样本的基本单元是图像块，如此使得一张训练图像包含了多种不同质量类型的样本，即将属于对应位置关键点类型的图像块确定为质量较高的人脸图像块，不属于对应位置关键点类型的图像块确定为质量较低的人脸图像块，在丰富训练样本的同时，提高了模型面对各种复杂样本时特征提取的鲁棒性。然后通过特征提取模型提取第一处理图像的第一特征向量，并通过特征生成模型得到参考向量。采用损失函数对特征提取模型和特征生成模型进行联合训练，在联合训练过程中，由于每个子参考向量可以映射对应位置处的图像块的内容，即映射对应关键点类型所表示的内容，因此本申请让未进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度尽可能高，进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度尽可能低，以此提高特征提取模型的鲁棒性，使得模型可以准确处理未出现在训练样本中的质量影响因素类型的人脸图像。

本申请实施方式提供的人脸图像质量评价方法，将待测人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成第二处理图像，将第二处理图像输入到已训练好的特征提取模型中得到第一特征向量，并通过特征生成模型得到参考下向量，计算待测人脸图像中每个图像块的子特征向量和对应的子参考向量的相似度，由于每个子参考向量可以映射对应位置处的图像块的内容，即映射对应关键点类型所表示的内容，因此相似度越高，说明该图像块与该关键点所表示的内容越相像，即表示该图像块质量越好，相似度越低，说明该图像块与该关键点所表示的内容相差越大，即表示该图像块质量越差。因此通过计算待测人脸图像中每个图像块的子特征向量和对应的子参考向量的相似度可以准确地对人脸图像质量进行评价，且该评价结果也符合人类主观感觉，可解释性强，统一了计算机感觉与人类主观感觉。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请的实施方式提供的模型训练方法的流程图；

图2是本申请的实施方式提供的人脸图像质量评价方法的流程图；

图3是本申请的实施方式的提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。

本申请的实施方式涉及一种模型训练方法，如图1所示，包括：

步骤101，获取第一人脸图像对应的第一处理图像，第一处理图像是由属于第一人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像，或者进一步是将组合形成的图像中至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像。

具体地说，本申请中关键点可以是第一人脸图像中的任意位置、任意数量的像素点。比如：预先设置关键点数量为9个，关键点1位于人脸额头中心处，关键点2位于左眉的眉峰处，关键点3位于右眉的眉峰处，关键点4位于左眼中心处，关键点5位于右眼中心处，关键点6位于左眼的左眼角处，关键点7位于右眼的右眼角处，关键点8位于鼻尖处，关键点9位于嘴巴中心处。也就是说，每个器官可以有1个关键点，也可以有多个关键点，具体可以根据人脸图像的应用场景和应用需求自行调整设置。一般来说，关键点数量设置为N²个，N为正整数。

本实施例中，第一处理图像中图像块的数量与关键点的数量相同，一个关键点对应一个图像块，图像块的尺寸可以随意设置，但一旦图像块尺寸确定好后，所有的人脸图像都按照该尺寸得到图像块。可以理解的是，当某一关键点对应得图像块尺寸较大时，该图像块可能包含其他器官，即该图像块有可能包含其他关键点。也就是说，本申请的图像块与关键点是一一对应关系，但并不表示每个图像块中只能包含1个关键点，比如：当关键点3(右眉眉峰处)对应的图像块3尺寸较大时，图像块3中既包含关键点3(右眉眉峰处)，也会包含关键点5(右眼中心处)。

另外，将属于第一人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成第一处理图像，预设的顺序可以是关键点序号的顺序，也可以是按照关键点所处位置从上到下从左到右的顺序，还可以是按照关键点所处位置从左到右从下到上的顺序。预设顺序可以随意设置，但一旦设置好后，后续所有图像都按照该顺序组合图像块。也就是说，一旦预设顺序确定，那么每个关键点对应的图像块在第一处理图像中的位置也就确定好了。

需要强调的是，本申请的训练集包括多个第一人脸图像，多个第一人脸图像可以是同一人脸在不同场景、不同姿态、不同光照等等情况下的多个人脸图像，也可以是不同人脸在不同场景、不同姿态、不同光照等等情况下的多个人脸图像。在对第一人脸图像进行处理得到第一处理图像时，第一处理图像可以全部由预设类型的关键点对应的图像块组合获得，也可以由预设类型的关键点对应的图像块和不属于该图像块所属关键点类型的图像块共同组合获得，还可以全部由不属于该图像块所属关键点类型的图像块组合获得。

比如：获取第一人脸图像A，根据预设的16个关键点从第一人脸图像A中获取16个关键点对应的16个图像块，将这16个图像块按照预设顺序组合形成第一处理图像。又比如：还可以将16个关键点组合形成的图像中的3个图像块替换为不属于这3个图像块所属关键点类型的图像块后形成第一处理图像。假设需要进行替换的3个图像块为：图像块1—关键点1(鼻尖关键点)，图像块2—关键点2(嘴巴中心关键点)，图像块3—关键点3(左眉峰关键点)，则替换图像块1的图像块可以是与图像块1尺寸相同的动漫人物的图像块，还可以是第一人脸图像A中与图像块1尺寸相同的耳朵位置处的图像块，还可以是其他人的第一人脸图像中眼睛位置处的图像块。即替换图像块1的图像块是不属于鼻尖关键点对应的图像块，也就是说，替换图像块1的图像块不能是任何人的鼻尖关键点对应的图像块，其余内容的图像块都可以。类似地，替换图像块2的图像块不能是任何人的嘴巴中心关键点对应的图像块，其余内容图像块都可以，替换图像块3的图像块不能是任何人的左眉峰关键点对应的图像块。

在一实施例中，步骤101具体包括：根据预设类型的关键点，获取第一人脸图像中的关键点坐标，并在第一人脸图像中以关键点坐标作为裁剪窗口的中心，获取与裁剪窗口尺寸相同的多个图像块。将多个图像块按照预设顺序组合形成的图像作为第一处理图像；或者，将组合形成的图像中的至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像作为第一处理图像。

本实施例中，在确定好关键点数量和关键点类型后，在第一人脸图像中获取关键点坐标，以关键点坐标作为裁剪窗口的中心，获取与裁剪窗口尺寸相同的多个图像块。一般来说，裁剪窗口的宽和高相同，即图像块的形状为H*H的一个正方形。

步骤102，构建用于提取第一处理图像的第一特征向量的特征提取模型，以及不包含输入且输出为参考向量的特征生成模型；第一特征向量包含多个子特征向量、参考向量包含多个子参考向量，且多个子特征向量、多个子参考向量分别与各位置的图像块一一对应。

本实施例中，特征提取模型输出的第一特征向量包含多个分别与各位置的图像块一一对应的子特征向量，特征生成模型输出的参考向量包含多个分别域各位置的图像块一一对应的子参考向量，也就是说，本申请的训练样本的基本单元是图像块，图像块与关键点一一对应，本申请并不关注每个图像块来源于哪一个人脸图像。进一步地，由于根据预设顺序可以确定每个图像块在第一处理图像中的位置，那么基于预设顺序就可以在子特征向量、图像块(关键点)、子参考向量之间建立一一对应关系。

需要说明的是，若图像块的宽和高均为H*H，则本实施例的特征提取模型输出的第一特征向量的尺寸为C*H*H，C为第一特征向量的长度，这就相当于将每个图像块压缩为1*1的尺寸，即每个图像块的子特征向量的尺寸为C*1*1。特征生成模型为没有输入且输出为C*H*H的参考向量，每个子参考向量的尺寸也为C*1*1。

另外，参考向量的物理含义可以简单地、粗略地理解为大量高质量人脸图像的特征向量的中心向量，但实际上特征生成模型得到参考向量的过程并不是简单地对高质量人脸图像的特征向量进行聚类处理、平均处理或其他处理就可以，其需要多次训练多次调整参数才可得到理想的参考向量。类似地，参考向量中的每个子参考向量的物理含义也可以简单地、粗略地理解为大量高质量图像块的子特征向量的中心向量。

步骤103，根据第一特征向量和参考向量构建损失函数，对特征提取模型和特征生成模型进行联合训练；损失函数对应的损失约束为：未进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较高，进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较低。

本实施例中，让未进行替换操作的图像块的子特征向量与该图像块对应的子参考向量相似度尽可能地高，进行替换操作的图像块的子特征向量与该图像块对应的子参考向量之间的相似度尽可能地低。可以理解的是，当人脸图像光照均匀、光照强度适中、人脸姿态角小、人脸对比度适中、人脸完整、人脸清晰、人脸无表情或微表情、人脸无妆或淡妆时，认为该人脸图像为高质量人脸图像，而通过这种高质量人脸图像得到的特征向量准确度也较高，且在面对不同类型不同复杂度的特征提取模型时都能得到较为稳定的特征向量，因此，对于计算机来说，高质量的人脸图像就是能得到准确度高且稳定的特征向量的人脸图像。

假设预设的关键点分别为关键点1(鼻尖点)、关键点2(左眉峰点)、关键点3(嘴巴中心点)、关键点4(右眉峰点)、关键点5(左眼中心点)、关键点6(右嘴角点)、关键点7(鼻根点)、关键点8(左嘴角点)和关键点9(右眼中心点)，对应的图像块有9个，其中进行替换操作的图像块为2个：图像块2(对应左眉峰点)和图像块6(对应右嘴角点)，那么在对特征提取模型和特征生成模型进行联合训练时，将图像块1(对应鼻尖点)的子特征向量与鼻尖点对应的子参考向量的方向相互靠近，将图像块2(进行替换操作的图像块)与左眉峰点对应的子参考向量的方向相互远离。其余图像块的子特征向量类似。

也就是说，本申请将进行替换操作的图像块(不属于对应位置关键点类型的图像块)认为是不能得到较为准确的子特征向量的图像块，即质量较低的图像块，训练时让该图像块的子特征向量与对应的子参考向量之间的相似度尽可能低，将未进行替换操作的图像块(属于对应位置关键点类型的图像块)认为是可以得到较为准确的子特征向量的图像块，即高质量图像块，训练时让该图像块的子特征向量与对应的子参考向量之间的相似度尽可能高。如此，训练好的特征提取模型在面对包含各种质量影响因素的人脸图像时都能得到一个准确且稳定的特征向量，然后通过计算特征向量中各个子特征向量与子参考向量的相似度，就可确定该图像块为质量较高的图像块还是质量较低的图像块，进而确定该人脸图像的质量。

在一实施例中，联合训练的损失函数包括第一损失函数和第二损失函数，具体公式如下：

其中，B为第一处理图像的数量，α₁、α₂和r大于0的超参数，dist^(b,n,n)为第b个所述第一处理图像中每个图像块的子特征向量和所述子参考向量之间的相似度，y^(b,n,n)为第b个所述第一处理图像对应的标记图像，所述标记图像指示第b个所述第一处理图像中未进行替换的图像块的位置和进行替换的图像块的位置，n为子特征向量的维度。

本实施例中，衡量子特征向量和子参考向量之间的相似度可以采用夹角余弦值、杰卡德系数、相关系数、Dice系数等等任一数值计算。

进一步地，标记图像通过如下步骤获取：获取所述第一处理图像中未进行替换的图像块的位置和进行替换的图像块的位置；将未进行替换的图像块的位置的像素值设置为第一数值，将进行替换的图像块的位置的像素值设置为第二数值，得到所述标记图像。本实施例中，为方便图像处理将第一数值设置为1，第二数值设置为0。

本申请实施方式提供的模型训练方法，对第一人脸图像进行处理获取第一处理图像，其中第一处理图像由属于第一人脸图像中预设类型的关键点对应的图像块按照预设顺序组合形成，或者将组合形成的图像中至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像。也就是说，本申请训练样本的基本单元是图像块，如此使得一张训练图像包含了多种不同质量类型的样本，即将属于对应位置关键点类型的图像块确定为质量较高的人脸图像块，不属于对应位置关键点类型的图像块确定为质量较低的人脸图像块，在丰富训练样本的同时，提高了模型面对各种复杂样本时特征提取的鲁棒性。然后通过特征提取模型提取第一处理图像的第一特征向量，并通过特征生成模型得到参考向量。采用损失函数对特征提取模型和特征生成模型进行联合训练，在联合训练过程中，由于每个子参考向量可以映射对应位置处的图像块的内容，即映射对应关键点类型所表示的内容，因此本申请未进行替换的图像块的子特征向量与该图像块对应的子参考向量的方向相互靠近；进行替换的图像块的子特征向量与该图像块对应的子参考向量的方向相互远离，以此提高特征提取模型的鲁棒性，使得模型可以准确处理未出现在训练样本中的质量影响因素类型的人脸图像。

本申请的实施方式涉及一种人脸图像质量评价，如图2所示，包括：

步骤201，将待测人脸图像对应的第二处理图像输入到已训练好的特征提取模型中，得到待测人脸图像的第一特征向量；第二处理图像是由属于待测人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像；第一特征向量包含多个分别与各位置处的图像块一一对应的子特征向量。

步骤203，获取已训练好的特征生成模型输出的参考向量；参考向量包含多个分别与各位置处的图像块一一对应的子参考向量。

本实施例中，特征提取模型和特征生成模型通过上述实施例的模型训练方法获取，预设的关键点类型与模型训练方法中的关键点数量和类型一致，预设顺序也与模型训练方法中的预设顺序一致。

步骤203，计算待测人脸图像中每个图像块的子特征向量和子参考向量的相似度，并根据相似度对待测人脸图像进行质量评价。

本实施例中，若每个图像块的子特征向量与子参考向量的相似度越高，表示该图像块越像该子参考向量映射的内容，即图像块质量越高。若每个图像块的子特征向量与子参考向量的相似度越低，表示该图像块与该子参考向量映射的内容相差越大，即图像块质量越低。

其中，相似度通过如下任一数值计算：夹角余弦值、杰卡德系数、相关系数、Dice系数。具体地杰卡德系数值越大，表示相似度越高。

在一实施例中，通过如下公式对待测人脸图像进行质量评价：

score＝Norm(dist(featx^(c,n,n),ref^(c,n,n)))

其中，score为所述待测人脸图像的质量分数，Norm(*)表示归一化函数，featx^{(c ,n,n)}为待测人脸图像中每个图像块对应的子特征向量，ref^(c,n,n)为子参考向量，c和n为子特征向量的维度。

具体地，当待测人脸图像中每个图像块的子特征向量和子参考向量的相似度通过夹角余弦值计算时，通过如下公式对待测人脸图像进行质量评价：

其中，score为所述待测人脸图像的质量分数，N²为所述第二处理图像所包含的图像块的数量，featx^(c,n,n)为待测人脸图像中每个图像块对应的子特征向量，ref^(c,n,n)为子参考向量。

为沿着c维度求*的L2范数。c和n为子特征向量的维度。上述公式通过计算每个图像块的子特征向量与对应子参考向量之间的夹角余弦值，确定两者的相似程度，然后计算所有图像块的夹角余弦值的平均值，得到整个待测人脸图像的质量分数。分数越高图像质量越好。

本申请实施方式提供的人脸图像质量评价方法，将待测人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成第二处理图像，将第二处理图像输入到已训练好的特征提取模型中得到第一特征向量，并通过特征生成模型得到参考下向量，计算待测人脸图像中每个图像块的子特征向量和对应的子参考向量的相似度，由于每个子参考向量可以映射对应位置处的图像块的内容，即映射对应关键点类型所表示的内容，因此相似度越高，说明该图像块与该关键点所表示的内容越相像，即表示该图像块质量越好，相似度越低，说明该图像块与该关键点所表示的内容相差越大，即表示该图像块质量越差。因此通过计算待测人脸图像中每个图像块的子特征向量和对应的子参考向量的相似度可以准确地对人脸图像质量进行评价，且该评价结果也符合人类主观感觉，可解释性强，统一了计算机感觉与人类主观感觉。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的实施方式涉及一种电子设备，如图3所示，包括：

至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的模型训练，或者能够执行上述实施方式提及的人脸图像质量评价方法。

该电子设备包括：一个或多个处理器301以及存储器302，图3中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述模型训练方法或人脸图像质量评价方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意实施方式中的模型训练方法，或者能够执行上述实施方式提及的人脸图像质量评价。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

获取第一人脸图像对应的第一处理图像，所述第一处理图像是由属于第一人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像，或者进一步是将所述组合形成的图像中至少一个所述图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像；

构建用于提取第一处理图像的第一特征向量的特征提取模型，以及不包含输入且输出为参考向量的特征生成模型；所述第一特征向量包含多个子特征向量、所述参考向量包含多个子参考向量，且所述多个子特征向量、所述多个子参考向量分别与各位置的所述图像块一一对应；

根据所述第一特征向量和所述参考向量构建损失函数，对所述特征提取模型和所述特征生成模型进行联合训练；

其中，所述损失函数对应的损失约束为：未进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较高，进行替换的图像块的子特征向量与该图像块对应的子参考向量之间的相似度较低。

2.根据权利要求1所述的模型训练方法，其特征在于，所述获取第一人脸图像对应的第一处理图像，包括：

根据所述预设类型的关键点，获取第一人脸图像中的关键点坐标，并在所述第一人脸图像中以所述关键点坐标作为裁剪窗口的中心，获取与所述裁剪窗口尺寸相同的多个图像块；

将所述多个图像块按照预设顺序组合形成的图像作为所述第一处理图像；或者，

进一步将所述组合形成的图像中的至少一个图像块替换为不属于该图像块所属关键点类型的图像块后形成的图像作为所述第一处理图像。

3.根据权利要求1或2所述的模型训练方法，其特征在于，所述联合训练的损失函数包括：第一损失函数，所述第一损失函数通过如下公式构建：

其中，B为第一处理图像的数量，α₁和r大于0的超参数，dist^(b,n,n)为第b个所述第一处理图像中每个图像块的子特征向量和所述子参考向量之间的相似度，y^(b,n,n)为第b个所述第一处理图像对应的标记图像，所述标记图像指示第b个所述第一处理图像中未进行替换的图像块的位置和进行替换的图像块的位置。

4.根据权利要求3所述的模型训练方法，其特征在于，所述联合训练的损失函数还包括：第二损失函数，所述第二损失函数通过如下公式构建：

其中，α₂为大于0的超参数。

5.根据权利要求4所述的模型训练方法，其特征在于，所述标记图像通过如下步骤获取：

获取所述第一处理图像中未进行替换的图像块的位置和进行替换的图像块的位置；

将未进行替换的图像块的位置的像素值设置为第一数值，将进行替换的图像块的位置的像素值设置为第二数值，得到所述标记图像。

6.一种人脸图像质量评价方法，其特征在于，包括：

将待测人脸图像对应的第二处理图像输入到已训练好的特征提取模型中，得到所述待测人脸图像的第一特征向量；所述第二处理图像是由属于待测人脸图像中多个预设类型的关键点对应的多个图像块按照预设顺序组合形成的图像；所述第一特征向量包含多个分别与各位置处的图像块一一对应的子特征向量；

获取已训练好的特征生成模型输出的参考向量；所述参考向量包含多个分别与各位置处的图像块一一对应的子参考向量；

计算所述待测人脸图像中每个图像块的子特征向量和所述子参考向量的相似度，并根据所述相似度对所述待测人脸图像进行质量评价；

其中所述特征提取模型和所述特征生成模型通过如上权利要求1至5中任一项所述的模型训练方法获取。

7.根据权利要求6所述的模型训练方法，其特征在于，所述相似度通过如下任一数值计算：夹角余弦值、杰卡德系数、相关系数、Dice系数。

8.根据权利要求6或7所述的模型训练方法，其特征在于，通过如下公式对所述待测人脸图像进行质量评价：

score＝Norm(dist(featx^(c,n,n),ref^(c,n,n)))

其中，score为所述待测人脸图像的质量分数，Norm(*)表示归一化函数，featx^(c,n,n)为待测人脸图像中每个图像块对应的子特征向量，ref^(c,n,n)为子参考向量。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的模型训练方法，或者能够执行如权利要求6至8中任一所述的人脸图像质量评价方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的模型训练方法，或者实现如权利要求6至8中任一所述的人脸图像质量评价方法。

Images