CN104850825A - 一种基于卷积神经网络的人脸图像颜值计算方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人脸图像颜值计算方法。采集人脸图像，包括不带有颜值标签的和已带有颜值标签的；进行前期预处理，获取人脸的关键点并提取全局和局部人脸图像块；预训练卷积神经网络然后进行微调，提取人脸的深度特征，提取形状特征，两者组合作为颜值特征；将颜值特征输入到分类器中训练得颜值分类器；将被测人脸图像依次再进行上述步骤得到其颜值特征，用颜值分类器对被测人脸图像的颜值特征计算得其颜值。本发明利用卷积神经网络提取出全局脸和局部脸图像的深度特征，并结合人脸形状特征，克服了在复杂情况下的颜值计算不确定性，鲁棒性高，在工程应用具有良好效果。

Description

一种基于卷积神经网络的人脸图像颜值计算方法

技术领域

本发明涉及了一种图像处理方法，尤其涉及计算机视觉识别技术领域的一种基于卷积神经网络的人脸图像颜值计算方法。

背景技术

颜值表示人物颜容英俊或靓丽的数值，用来评价人物容貌。“向右”社交软件发起颜值排行榜，根据用户所接受到的‘无感’和‘喜欢’数量计算出该用户颜值高低，如：在一位用户收到的100个来自其他用户的反馈中有70个‘喜欢’，则该用户的颜值为0.7(0.0-1.0)。颜值越高表示容貌越好看，越低表示越不好看。颜值的计算，主要是指脸部五官的比例是否协调，而中国古代画家画人像时总结出来的“三庭五眼”的精辟概念即定义了面部的标准比例关系，国际上通称为面容的“黄金分割”——1:0.618。目前对人脸图像的颜值都是通过人为评判得到的，设计一个自动化颜值计算方法显得尤其重要，比如在图片编辑软件中能过滤掉同一个人不好看的照片、在图像搜索引擎中选择容貌靓丽的或帅的照片等等。

近几年，颜值计算方法分为基于形状特征的方法和基于浅层特征的方法。基于形状特征的颜值计算方法是指人脸五官之间的比例作为颜值计算特征，如上文所述的“三庭五眼”。基于浅层特征的颜值计算方法是指计算人脸的LBP、GIST或者HOG等浅层特征来作为颜值的特征。

人脸颜值计算的困难具体体现在如下几个方面：

1、相机的成像角度，即姿态对大部分的颜值计算方法都有影响，特别是基于形状特征的方法。两张属于同一个人的人脸图像由于姿态的影响可能会造成这两张图像的颜值结果不一样。

2、光照的变化会改变人脸图像的灰度信息，因此会对颜值计算会有影响。

3、人脸图像还可能受到年龄、遮挡等因此影响，会在不同程度上影响颜值计算的准确度。

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别方法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性，卷积神经网络的训练方式采用BP方法。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供一种基于卷积神经网络的人脸图像颜值计算方法，能够提高人脸图像颜值计算的准确度和鲁棒性。

本发明采用的技术方案包括如下步骤，如图1所示：

1)采集不同人的人脸图像，对于每个人采集不带有颜值标签的不同人脸图像和已带有颜值标签的不同人脸图像作为图像样本；颜值标签为颜值等级标记，带有颜值标签的人脸图像的颜值等级可被分为十个等级；

2)对所有人脸图像进行前期预处理，然后获取人脸的关键点并提取每张人脸图像的全局人脸图像块和局部人脸图像块；

3)对于不带有颜值标签的人脸图像，针对各个全局人脸图像块和局部人脸图像块，预训练卷积神经网络；

4)由于带有颜值标签的人脸图像样本比较少，需要预训练具有人脸识别功能的卷积神经网络；对于带有颜值标签的人脸图像，微调上述步骤3)预训练得到的卷积神经网络；

5)提取微调后的卷积神经网络结构末端的全连接层输出作为人脸图像的深度特征，提取人脸图像的形状特征，组合深度特征和形状特征作为颜值特征；

6)将步骤5)得到的颜值特征输入到支持向量机分类器(SVM)中进行训练，得到颜值分类器；

7)将被测人脸图像依次再进行上述步骤2)和5)得到其颜值特征，用步骤6)训练后的颜值分类器对被测人脸图像的颜值特征进行计算得到其颜值。

所述步骤2)人脸图像的前期预处理是指对所有人脸图像进行尺度归一化，使得所有人脸图像的图像分辨率相同。

所述步骤2)获取人脸的关键点并提取每张人脸图像的全局人脸图像块和局部人脸图像块的具体过程为：采用主动形状模型(ASM)检测出五个人脸关键点位置，五个人脸关键点为左眼中心点、右眼中心点、鼻尖中心点、嘴角左边缘点和嘴角右边缘点，再根据五个人脸关键点位置提取出至少一个全局人脸图像块和五个局部人脸图像块作为预训练卷积神经网络的输入。

所述的全局人脸图像块是指包含双眼、鼻子、嘴巴的图像块，局部人脸图像块是指以五个人脸关键点各自为中心的正方形图像块，局部人脸图像块的边长为人脸图像中左眼、右眼中心之间的距离的2倍。

如图2的左侧所示，所述步骤3)预训练卷积神经网络具体为：预训练的卷积神经网络的总数为步骤2)中提取得到的全局人脸图像块和局部人脸图像块的总数量，每个图像块对应一个卷积神经网络，所有的卷积神经网络的结构相同；卷积神经网络的池化层采用最大池化层，损失层为softmax层，节点数量为图像样本采集时的人数，卷积神经网络中的连接权值由正态高斯函数初始化，偏置值初始化为零。

如图2的右侧所示，所述步骤4)微调预训练得到的卷积神经网络具体为：以步骤3)预训练后卷积神经网络的连接权值作为微调后的连接权值初始值，并用新softmax层代替步骤3)预训练后卷积神经网络的softmax层；新softmax层的节点数与所有带有颜值标签的人脸图像中颜值等级数量，新softmax层的连接权值由正态高斯函数初始化，新softmax层的偏置值初始化为零。

所述步骤5)具体为：对于每一张带有颜值的人脸图像，提取所有的全局人脸图像块和局部人脸图像块输入到对应的微调后的卷积神经网络中，再把每个卷积神经网络末端的全连接层的输出串联起来构成深度特征，提取带有颜值标签的人脸图像的形状特征，并与深度特征串联构成最后的颜值特征，再采用主成分分析方法(PCA方法)对颜值特征进行降维。

所述的形状特征为多个人脸关键点的坐标，多个人脸关键点至少包括左眼中心点、右眼中心点、鼻尖中心点、嘴角左边缘点和嘴角右边缘点，

所述步骤6)的支持向量机分类器的核函数采用径向基核函数，训练的样本数据为步骤5)降维后的颜值特征向量。

与现有技术相比，本发明的有益效果在于：

现有的人脸颜值计算方法中，尚未存在基于卷积神经网络的颜值计算相关方法，本发明结合了传统的人脸形状特征和全新的深度特征，是对当前颜值计算方法的一个全面的升级。

本发明卷积神经网络对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性，采用深度特征有效得克服了人脸姿态的变化、光线的变化等因素；人脸全局图像块和局部图像块深度特征的组合构成高维冗余特征，对复杂背景下的人脸颜值分类判别性高，鲁棒性好；使用PCA对高维特征降维得到表达能力更强的低维特征向量，提高颜值计算速度。

附图说明

图1为本发明的流程示意图。

图2为本发明实施例的预训练与微调卷积神经网络结构图。

图3为本发明实施例的人脸五个关键点位置示意图。

图4为本发明实施例的局部人脸图像块示意图。

图5为本发明实施例的全局人脸图像块示意图。

具体实施方式

以下将参照附图，对本发明的优选实例进行详细的描述。

如图1所示，本发明方法的实施例具体包括以下步骤：

1)准备不同人的人脸图像并进行必要的前期预处理，得到理想的人脸图像；具体的，由于采用卷积神经网络这种深度学习模型，因此不需要对图像进行复杂的预处理，只需进行尺度归一化，归一化图像到100×120分辨率，图像格式为RGB彩色图像。

2)根据人脸的关键点提取每张人脸图像的全局人脸图像块和局部人脸图像块；具体的，首先使用关键点检测方法定位人脸关键点位置，5个关键点的位置如图3所示，再根据关键点位置提取全局人脸图像块和局部图像块，全局人脸图像块与局部人脸图像块的都有5种。

如图5所示，其中全局人脸图像块包含了人脸整体的信息，如图4所示，局部人脸图像块是以关键点为中心提取的。提取的图像块都要归一化到31×39，作为卷积神经网络的输入。

3)针对每种图像块，预训练卷积神经网络；具体的，总共有10种人脸图像块，需要预训练10个卷积神经网络，10个卷积神经网络的结构相同，卷积神经网络的结构如图2所示，左侧为预训练的卷积神经网络示意，右侧为微调的卷积神经网络示意，其中卷积层的参数表达形式：4×4×20+1(步长)，表示卷积核的大小为4×4，数量为20，步长为1；设定局部相应归一化层要归一化的相邻的卷积层数量为3；池化层采用最大池化方式，2×2+2(步长)表示池化核大小为2×2,步长为2；网络包含一个全连接层，共有160个节点单元，全连接层与损失层相连，损失层采用Softmax损失函数。人脸样本数量为50万张，共有1万个不同的人，每个人的人脸图片有50张，因此softmax层的节点数量为1万。

4)准备带有颜值标签的人脸图像，微调卷积神经网络；具体的，带有颜值标签的人脸图像有2万张，每张都对应一个颜值，颜值分为10个等级，用0到9数字表示，0表示最低颜值，容貌难看，9表示最高颜值，容貌英俊漂亮。采用Deep self-taught learning for facial beauty prediction(Junying Gan，2014)中的方法进行颜值等级划分，得到各自的颜值标签。2万张人脸图片里的每张分别由10个人评分，10个评分的平均数再取整表示最后的颜值等级。微调卷积神经网络只需把预训练好的3)中的softmax层替换为新的具有10个节点的softmax层，新的softmax层与全连接层的权值重新由高斯函数初始化，而前面所有层的初始化权值设定为预训练好的卷积神经网络的权值，因此除了softmax层节点有变化外，微调的卷积神经网络结构与预训练卷积神经网络一致，如图2所示。

5)提取卷积神经网络结构末端的全连接层的输出作为人脸图像的深度特征，提取人脸图像的形状特征，组合两个特征向量作为颜值计算的特征；具体的，提取微调后的卷积神经网络的全连接层的输出值作为深度特征向量，串联10个160维的深度特征向量构成1600维深度特征向量，提取形状特征，形状特征有68维，表示关键点的位置。最后串联深度特征和形状特征构成1668维特征向量作为颜值特征。由于1668维是冗余的高维特征，直接计算会影响速度，因此用PCA对颜值特征降维到150维特征向量，采用PCA对人脸颜值计算的提升效果如表1所示。

6)利用5)步骤中的特征向量训练支持向量机分类器(SVM)作为颜值分类器；具体的，样本容量为2万个，每个样本为1668维特征向量，标签为颜值等级。选择径向基SVM作为分类器，样本数量10等分，使用交叉验证法确定最优的分类器参数。

表1主成分分析对计算速度和分类精度的影响

	颜值等级分类精度	每张图像计算速度
			无采用主成分分析	93.57％	45ms
采用主成分分析	95.83％	30ms

本发明结合深度特征的方法相比传统形状特征的方法具有更高的准确性，鲁棒性好，如下表2所示：

表2深度特征对颜值等级分类精度的影响

特征	颜值等级分类精度
		形状特征	87.52％
形状特征+深度特征	95.83％

由此可见，本发明利用卷积神经网络提取出全局脸和局部脸图像的深度特征，并结合人脸形状特征，两种特征的结合既保留了传统的关于人脸五官比例的人脸审美方法，又吸收了卷积神经网络能学习深层人脸语义信息的优点，克服了在复杂情况下的颜值计算不确定性，深度特征与形状特征的结合能提高颜值等级分类的精度，鲁棒性好，具有突出显著的技术效果。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1. 一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于包括以下步骤：

1）采集不同人的人脸图像，对于每个人采集不带有颜值标签的不同人脸图像和已带有颜值标签的不同人脸图像作为图像样本，颜值标签为颜值等级标记；

2）对所有人脸图像进行前期预处理，然后获取人脸的关键点并提取每张人脸图像的全局人脸图像块和局部人脸图像块；

3）对于不带有颜值标签的人脸图像，针对各个全局人脸图像块和局部人脸图像块，预训练卷积神经网络；

4）对于带有颜值标签的人脸图像，微调上述步骤3）预训练得到的卷积神经网络；

5）提取微调后的卷积神经网络结构末端的全连接层输出作为人脸图像的深度特征，提取人脸图像的形状特征，组合深度特征和形状特征作为颜值特征；

6）将步骤5）得到的颜值特征输入到支持向量机分类器中进行训练，得到颜值分类器；

7）将被测人脸图像依次再进行上述步骤2）和5）得到其颜值特征，用步骤6）训练后的颜值分类器对被测人脸图像的颜值特征进行计算得到其颜值。

2. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤2）人脸图像的前期预处理是指对所有人脸图像进行尺度归一化，使得所有人脸图像的图像分辨率相同。

3. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤2）获取人脸的关键点并提取每张人脸图像的全局人脸图像块和局部人脸图像块的具体过程为：采用主动形状模型检测出五个人脸关键点位置，五个人脸关键点为左眼中心点、右眼中心点、鼻尖中心点、嘴角左边缘点和嘴角右边缘点，再根据五个人脸关键点位置提取出至少一个全局人脸图像块和五个局部人脸图像块作为预训练卷积神经网络的输入。

4. 根据权利要求3所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述的全局人脸图像块是指包含双眼、鼻子、嘴巴的图像块，局部人脸图像块是指以五个人脸关键点各自为中心的正方形图像块，局部人脸图像块的边长为人脸图像中左眼、右眼中心之间的距离的2倍。

5. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤3）预训练卷积神经网络具体为：预训练的卷积神经网络的总数为步骤2）中提取得到的全局人脸图像块和局部人脸图像块的总数量，每个图像块对应一个卷积神经网络，所有的卷积神经网络的结构相同；卷积神经网络的池化层采用最大池化层，损失层为softmax层，节点数量为图像样本采集时的人数，卷积神经网络中的连接权值由正态高斯函数初始化，偏置值初始化为零。

6. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤4）微调预训练得到的卷积神经网络具体为：以步骤3）预训练后卷积神经网络的连接权值作为微调后的连接权值初始值，并用新softmax层代替步骤3）预训练后卷积神经网络的softmax层；新softmax层的节点数与所有带有颜值标签的人脸图像中颜值等级数量，新softmax层的连接权值由正态高斯函数初始化，新softmax层的偏置值初始化为零。

7. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤5）具体为：对于每一张带有颜值的人脸图像，提取所有的全局人脸图像块和局部人脸图像块输入到对应的微调后的卷积神经网络中，再把每个卷积神经网络末端的全连接层的输出串联起来构成深度特征，提取带有颜值标签的人脸图像的形状特征，并与深度特征串联构成最后的颜值特征，再采用主成分分析方法对颜值特征进行降维。

8. 根据权利要求7所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述的形状特征为多个人脸关键点的坐标，多个人脸关键点至少包括左眼中心点、右眼中心点、鼻尖中心点、嘴角左边缘点和嘴角右边缘点。

9. 根据权利要求1所述的一种基于卷积神经网络的人脸图像颜值计算方法，其特征在于：所述步骤6）的支持向量机分类器的核函数采用径向基核函数。