CN109871751A - 基于人脸表情识别的服务态度评估方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种人工智能技术领域，揭露了一种服务人员的基于人脸表情识别的服务态度评估方法，包括：提取预设表情数据库中的多种表情的人脸数据，建立服务人员的对比表情库；利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；利用所述服务人员人脸表情库和所述服务人员对比表情库训练深度神经网络模型，建立表情识别模型；利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。本发明还提出一种基于人脸表情识别的服务态度评估装置以及一种计算机可读存储介质。本发明通过表情的识别，可以实现服务人员服务态度的评估。

Description

基于人脸表情识别的服务态度评估方法、装置及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于人脸表情识别的服务人员服务态度的评估方法、装置及计算机可读存储介质。

背景技术

表情识别技术应用广泛，目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信、汽车领域以及服务行业等。

例如，在服务行业中，通过识别服务人员的表情可以判断服务人员的服务态度，从而作为服务人员工作绩效的考核。

目前的表情识别技术主要分为三个步骤：图像获取，通过摄像头等图像拍摄工具获取静态图像或动态图像序列；图像预处理，图像的大小和灰度的归一化，头部姿态的矫正，图像分割等；特征提取，将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等，在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。

目前特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等。采用几何特征进行特征提取主要是对人脸表情的显著特征，如眼睛、眉毛、嘴巴等的位置变化进行定位、测量，确定其大小、距离、形状及相互比例等特征，进行表情识别，但几何特征法丢失了一些重要的识别和分类信息，结果的精确性不高。基于整体统计特征的方法，主要强调尽可能多的保留原始人脸表情图像中的信息，并允许分类器发现表情图像中相关特征，通过对整幅人脸表情图像进行变换，获取特征进行识别，虽然精度较高，但可分性较差。基于运动特征的提取法主要提取动态图像序列的运动特征，但计算量大。

发明内容

本发明提供一种基于人脸表情识别的服务态度评估方法、装置及计算机可读存储介质，其主要目的在于当服务人员在工作岗位上提供服务时，可精确的判断服务人员的服务态度。

为实现上述目的，本发明提供的一种基于人脸表情识别的服务态度评估方法，包括：

提取预设表情数据库中的多种表情的人脸数据，建立服务人员的对比表情库；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

可选地，建立服务人员对比表情库和服务人员人脸表情库，包括：

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片。

可选地，对拍摄的服务人员的人脸表情图做数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立所述服务人员人脸表情库。

可选地，利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库，包括：

输入服务人员人脸表情库中的人脸图片和服务人员的对比表情库中的人脸图片到深度神经网络模型中，所述深度神经网络模型提取到所述服务人员人脸表情库中的人脸图片中的人脸特征点后，定位人脸表情图像的人脸并裁剪人脸图片；

基于裁剪的人脸图片，所述深度神经网络模型根据所述服务人员的对比表情库中的人脸图片重新提取人脸特征点；

基于所述特征点的提取后，重新采集人脸图像训练，建立表情识别模型。

可选地所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度，包括：

根据服务人员的上班时间，设定摄像设备拍摄服务人员人脸表情图的时间段；

将摄像设备在时间段内拍摄到的服务人员人脸表情图依次送入所述表情识别模型，结合时间段内所有的识别结果，判断服务人员的服务态度。

此外，为实现上述目的，本发明还提供一种基于人脸表情识别的服务态度评估装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的服务态度评估程序，所述服务态度评估程序被所述处理器执行时实现如下步骤：

提取预设表情数据库中的多种表情的人脸数据，建立服务人员的对比表情库；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

可选地，建立服务人员对比表情库和服务人员人脸表情库，包括：

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片。

可选地，对拍摄的服务人员的人脸表情图做数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立所述服务人员人脸表情库。

可选地，利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库，包括：

输入服务人员人脸表情库中的人脸图片和服务人员的对比表情库中的人脸图片到深度神经网络模型中，所述深度神经网络模型提取到所述服务人员人脸表情库中的人脸图片中的人脸特征点后，定位人脸表情图像的人脸并裁剪人脸图片；

基于裁剪的人脸图片，所述深度神经网络模型根据所述服务人员的对比表情库中的人脸图片重新提取人脸特征点；

基于所述特征点的提取后，重新采集人脸图像训练，建立表情识别模型。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有服务态度评估程序，所述服务态度评估程序可被一个或者多个处理器执行，以实现如上所述的基于人脸表情识别的服务态度评估方法的步骤。

本发明提出的基于人脸表情识别的服务态度评估方法、装置及计算机可读存储介质，建立服务人员人脸表情库及表情标签和服务人员对比表情库，利用服务人员人脸表情库和服务人员对比表情库训练深度神经网络模型，建立表情识别，利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

附图说明

图1为本发明一实施例提供的基于人脸表情识别的服务态度评估方法的流程示意图；

图2为本发明一实施例提供的基于人脸表情识别的服务态度评估装置的内部结构示意图；

图3为本发明一实施例提供的基于人脸表情识别的服务态度评估装置中服务态度评估程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人脸表情识别的服务态度评估方法。参照图1所示，为本发明一实施例提供的基于人脸表情识别的服务态度评估方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，基于人脸表情识别的服务态度评估方法包括：

S1、建立服务人员人脸表情库及表情标签和服务人员对比表情库。

本发明较佳实施例通过提取日本ATR建立的表情数据库(JAFFE)中的数据，建立对比服务人员的表情库。所述日本ATR(Advanced Telecommunication ResearchInstituteInternational)的表情数据库JAFFE(The Japanses Female FacialExpression Database，日本女性面部表情数据库)是专门用于表情识别研究的数据库，该数据库中包含了213幅(每幅图像的分辨率：256像素×256像素)日本女性的脸相，每幅图像都标记有原始的表情定义。表情库中共有10个人，每个人有7种表情(正常(也称中性脸)、高兴、悲伤、惊奇、愤怒、厌恶、恐惧)。

本发明较佳实施例从所述表情数据库JAFFE中获取愤怒、高兴和正常三种表情的人脸数据。

因为以六种情感作为判断标签，对模型训练和模型预测压力太大，所以本方案针对服务人员在服务态度上主要有高兴、正常、愤怒的状态，将情感标签分为三种：高兴(主要包括服务人员微笑，即嘴巴上扬、眼睛比正常状态小。因为人在高兴时，瞳孔会缩小)，正常(主要包括服务人员嘴巴、眼睛程序正常大小)、愤怒(主要特征为瞳孔放大，眼睛比正常状态大。因为人在愤怒时，瞳孔会呈现放大状态)。

针对服务人员的愤怒、高兴和正常三种表情，本方案从所述表情数据库JAFFE中筛选属于这三种表情的人脸数据。因为ATR建立的日本公民表情数据库已经对人脸图片分类好了，每个人脸图片都对应相应的表情标签。为了对比服务人员表情库数据集的纯洁性，对筛选出的人脸数据图片和标注好对应的愤怒、高兴或正常的表情标签可以人工多检测一遍。对比服务人员表情库具有很重要的模型训练作用，也是后期表情识别的主要判断依据。

利用摄像头拍摄服务人员的人脸表情图，对拍摄的服务人员人脸亮度做归一化和数据增强处理，建立服务人员人脸表情库。

从ATR日本公民表情数据库构建的对比服务人员表库中，人脸表情图片的亮度都维持在一个区间内。所以，当通过摄像头等图像拍摄工具获取服务人员的人脸表情，构建服务人员人脸表情库时，也需要进行亮度的归一化处理，使获得人脸表情和对比服务人员表情库的图片具有相近的亮度。同时，摄像头等图像拍摄工具获取的人脸，由于数据量不充足，也会影响模型对人脸表情的判断，因此对拍摄到的人脸表情图像，即服务人员人脸表情库，还需要进行数据增强处理。

进一步地，本发明较佳实施例中，利用直方图均衡化(Histogram Equalization)方法对人脸亮度做归一化处理。所述直方图均衡化又称直方图平坦化，首先该方法对拍摄到的人脸表情图像进行非线性拉伸：设变量r代表图像中像素灰度级。对灰度级进行归一化处理，则r在区间[0，1]内，其中r＝0表示黑，r＝1表示白。对于一幅拍摄到的人脸表情图像来说，每个像素值在[0，1]的灰度级是随机的。用概率密度函数P_r(r^k)来表示人脸表情图像灰度级的分布，其中r^k表示离散情况下的灰度级，k表示人脸表情图像的像素个数，由直方图均衡化的函数表达式对人脸表情图像做直方图处理：

其中，n为一副人脸表情图像的像素总数。然后重新分配表情图像的像素值，使一定灰度范围内像素值的数量大致相等。这样，原来人脸表情图像较暗的区域，对比度得到增强，而图像较强的区域对比度降低。输出的人脸表情图像通过直方图显示，是一个较平的分段直方图，达到人脸亮度归一化的目的。

进一步地，本发明较佳实施例利用噪声添加、随机扰动和变换方法进行数据增强处理，以增加人脸表情图像数量。

基于利用直方图均衡化方法处理过的人脸表情图像，本方案首先做图像变换处理，变换的方式有旋转、翻转、缩放，放大四种方式，由此得到四倍的人脸表情图像。然后，在变换后的人脸表情图像中，随机添加噪声，包括椒盐噪声，斑点噪声和人脸眼睛之间的2维高斯随机分布的噪声。基于以上所述，达到了81倍的数据增强效果，每个人脸表情图像大小为39*39。

S2、利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库。

本发明较佳实施例中，所述数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立服务人员人脸表情库。

S3、利用所述服务人员人脸表情库和所述服务人员对比表情库训练深度神经网络模型，建立表情识别模型。

本发明较佳实施例使用高兴、正常、愤怒的三种情感标签标注步骤1的对比服务人员表情库和步骤2拍摄、处理过后的服务人员人脸表情库中的图片，并将所述图片放入DCNN(Deep Convolutional Network Cascade for Facial Point Detection)深度卷积网络模型中进行定位裁剪、特征提取比对后得出输出结果。

进一步地，本发明较佳实施例定位人脸表情图像的人脸后，裁剪人脸图片。DCNN首先基于输入的对比服务人员表情库，对输入的服务人员人脸表情库的图像进行人脸定位，然后裁剪出定位的人脸。因为直接把摄像头所拍摄的一整张图片放入DCNN中，由于人脸表情图像包含的范围太大，会影响对人脸表情识别的判断。因此，DCNN网络的第一部分卷积网络模型通过需找人脸的5个特征点(左右眼睛、鼻子、左右嘴角)，定位出人脸，裁剪出人脸。具体来说，DCNN第一部分的卷积神经网络由三个卷积神经网络组成，这三个卷积神经网络分别命名为：F1(网络的输入为一整张人脸图片)，EN1(输入图片包含了眼睛和鼻子)、NM1(包含了鼻子和嘴巴区域)。对于输入的一张39*39的人脸表情图像，通过F1输出一个10维的特征向量(5个特征点)；根据输出的10维特征向量，EN1用于定位左眼、右眼和鼻子三个特征点；同时根据输出的10维特征向量，NM1定位左嘴角、右嘴角和鼻子三个特征点，结合EN1定位的鼻子特征点后，裁剪出包含眼睛、鼻子嘴巴的人脸区域图片。

进一步的，以上述预测的特征点基础，重新预测5个人脸特征点。经过上述可粗略定位出各个特征点的位置，本步骤是以上述预测的特征点基础，以这五个预测特征点为中心，用DCNN第二部分的卷积神经网络模型继续做特征定位，最后对比两环节下预测的5个特征点。第二部分的卷积神经网络模型由10个CNN组成，这10个CNN分别用于预测5个特征点，每个特征点使用两个CNN，然后两个CNN对预测的结果进行平均。

基于两次的特征点预测后，重新采集人脸图像。DCNN第三部分的神经网络模型是在前两次的特征点预测的位置基础上，重新进行裁剪。DCNN第三部分的神经网络模型与第二部分结构相同，也是由10个CNN组成。通过3.3裁剪环节，服务人员的人脸表情库图像的裁剪区域变得更小一些。

进一步的，基于测试误差评价标准，判断服务人员人脸表情库的表情类别。通过前三步骤的特征点检测后，服务人员人脸表情库的特征点和特征点所在区域都被提取出来，本步骤是通过比对服务人员人脸表情库和步骤1中的对比服务人员表情库，基于最后深度学习模型判断模块，判断出人脸表情库中的服务人员表情。其中，模型判断模块的评判标准是通过测试误差评价标准公式：

其中l是人脸表情图像的图像宽度，是一个固定值；x是服务人员人脸表情库图片的5个特征点的向量表示，x′是对比服务人员表情库数据的特征向量，y′是对应的对比服务人员表情库的表情标签(愤怒、高兴、正常)。设定阈值err＝0.1。当x和x′的特征向量小于阈值err＝0.1时，利用测试误差评价标准公式的反推，可以得出最终y的结果。如x是服务人员人脸表情库图片A的5个特征点的向量表示，然后分别与x′(对比服务人员表情库数据的特征向量，分为高兴、愤怒、正常三个标签的特征向量)做测试误差评价，若与高兴的测试误差评价标准值小于阈值err＝0.1时，则判断图片A为高兴的表情标签。若高兴和正常的测试误差评价标准值都小于阈值err＝0.1，则选取测试误差评价标准值最小值所对应的表情标签。若所有的测试误差评价标准值都大于阈值err＝0.1，则将图片A归纳为为识别表情图片，留待步骤3的模型训练。基于以上所述。完成服务人员人脸表情库的图像表情鉴定。当模型训练的损失函数的阈值设定为0.05时，一旦达到阈值，则完成模型训练过程。

S4、利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

若传输的是视频文件进入步骤S4的深度学习网络网络，对整个网络压力太大，故设定摄像装备每预设时间间隔，如每隔5秒，传输一张服务人员的人脸表情图片，结合已训练完成的深度学习模型，完成对服务人员的服务态度的表情鉴定。

本发明一实施例通过对一预设时间段，如一天中从早八点至晚六点的工作时间内，计算某一服务人员的所有人脸表情图片的表情标签的概率，获取概率值为最高的表情标签，作为所述预设时间段内所述服务人员的服务态度。

例如，在所述预设时间段内，共获取7200张人脸表情图片，其中，利用所述深度学习模型判断为高兴的人脸表情图片为3600张，判断为正常的人脸表情图片为1800张，以及判断为愤怒的人脸表情图片为1800张，则高兴的表情标签的概率最高，为50％，则可以判定所述服务人员的服务好；若正常的表情标签的概率最高，则可以判定所述服务人员的服务一般；若愤怒的表情标签的概率最高，则可以判定所述服务人员的服务差。

本发明另一实施例通过对一预设时间段，如一天中从早八点至晚六点的工作时间内，计算某一服务人员的所有人脸表情图片分别对应的表情标签，并根据预先确定的分析算法分析出所述预设时间段内所述服务人员的服务态度。

例如，所述预先确定的分析算法为：

若所述预设时间段内，代表第一表情标签(例如，“高兴”标签)的图片数量占所有图片数量的第一比例大于或者等于第一阈值(例如，80％)，且代表第三表情标签(例如，“愤怒”标签)的图片数量占所有图片数量的第三比例小于或者等于第二阈值(例如，0.5％)，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于第一阈值且大于第三阈值(例如，50％)，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于或者等于第三阈值，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第二表情标签(例如，“正常”标签)；

若所述第三比例大于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第三表情标签。

发明还提供一种基于人脸表情识别的服务态度评估装置。参照图2所示，为本发明一实施例提供的基于人脸表情识别的服务态度评估装置的内部结构示意图。

在本实施例中，所述基于人脸表情识别的服务态度评估装置1可以是PC(PersonalComputer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该基于人脸表情识别的服务态度评估装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于人脸表情识别的服务态度评估装置1的内部存储单元，例如该基于人脸表情识别的服务态度评估装置1的硬盘。存储器11在另一些实施例中也可以是基于人脸表情识别的服务态度评估装置1的外部存储设备，例如基于人脸表情识别的服务态度评估装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括基于人脸表情识别的服务态度评估装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于人脸表情识别的服务态度评估装置1的应用软件及各类数据，例如服务态度评估程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行服务态度评估程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于人脸表情识别的服务态度评估装置1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-14以及服务态度评估程序01的基于人脸表情识别的服务态度评估装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于人脸表情识别的服务态度评估装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，存储器11中存储有服务态度评估程序01；处理器12执行存储器11中存储的服务态度评估程序01时实现如下步骤：

步骤一、建立服务人员人脸表情库及表情标签和服务人员对比表情库。

本发明较佳实施例通过提取日本ATR建立的表情数据库(JAFFE)中的数据，建立对比服务人员的表情库。所述日本ATR(Advanced Telecommunication ResearchInstituteInternational)的表情数据库JAFFE(The Japanses Female FacialExpression Database，日本女性面部表情数据库)是专门用于表情识别研究的数据库，该数据库中包含了213幅(每幅图像的分辨率：256像素×256像素)日本女性的脸相，每幅图像都标记有原始的表情定义。表情库中共有10个人，每个人有7种表情(正常(也称中性脸)、高兴、悲伤、惊奇、愤怒、厌恶、恐惧)。

本发明较佳实施例从所述表情数据库JAFFE中获取愤怒、高兴和正常三种表情的人脸数据。

因为以六种情感作为判断标签，对模型训练和模型预测压力太大，所以本方案针对服务人员在服务态度上主要有高兴、正常、愤怒的状态，将情感标签分为三种：高兴(主要包括服务人员微笑，即嘴巴上扬、眼睛比正常状态小。因为人在高兴时，瞳孔会缩小)，正常(主要包括服务人员嘴巴、眼睛程序正常大小)、愤怒(主要特征为瞳孔放大，眼睛比正常状态大。因为人在愤怒时，瞳孔会呈现放大状态)。

针对服务人员的愤怒、高兴和正常三种表情，本方案从所述表情数据库JAFFE中筛选属于这三种表情的人脸数据。因为ATR建立的日本公民表情数据库已经对人脸图片分类好了，每个人脸图片都对应相应的表情标签。为了对比服务人员表情库数据集的纯洁性，对筛选出的人脸数据图片和标注好对应的愤怒、高兴或正常的表情标签可以人工多检测一遍。对比服务人员表情库具有很重要的模型训练作用，也是后期表情识别的主要判断依据。

利用摄像头拍摄服务人员的人脸表情图，对拍摄的服务人员人脸亮度做归一化和数据增强处理，建立服务人员人脸表情库。

从ATR日本公民表情数据库构建的对比服务人员表库中，人脸表情图片的亮度都维持在一个区间内。所以，当通过摄像头等图像拍摄工具获取服务人员的人脸表情，构建服务人员人脸表情库时，也需要进行亮度的归一化处理，使获得人脸表情和对比服务人员表情库的图片具有相近的亮度。同时，摄像头等图像拍摄工具获取的人脸，由于数据量不充足，也会影响模型对人脸表情的判断，因此对拍摄到的人脸表情图像，即服务人员人脸表情库，还需要进行数据增强处理。

进一步地，本发明较佳实施例中，利用直方图均衡化(Histogram Equalization)方法对人脸亮度做归一化处理。所述直方图均衡化又称直方图平坦化，首先该方法对拍摄到的人脸表情图像进行非线性拉伸：设变量r代表图像中像素灰度级。对灰度级进行归一化处理，则r在区间[0，1]内，其中r＝0表示黑，r＝1表示白。对于一幅拍摄到的人脸表情图像来说，每个像素值在[0，1]的灰度级是随机的。用概率密度函数P_r(r^k)来表示人脸表情图像灰度级的分布，其中r^k表示离散情况下的灰度级，k表示人脸表情图像的像素个数，由直方图均衡化的函数表达式对人脸表情图像做直方图处理：

其中，n为一副人脸表情图像的像素总数。然后重新分配表情图像的像素值，使一定灰度范围内像素值的数量大致相等。这样，原来人脸表情图像较暗的区域，对比度得到增强，而图像较强的区域对比度降低。输出的人脸表情图像通过直方图显示，是一个较平的分段直方图，达到人脸亮度归一化的目的。

进一步地，本发明较佳实施例利用噪声添加、随机扰动和变换方法进行数据增强处理，以增加人脸表情图像数量。

基于利用直方图均衡化方法处理过的人脸表情图像，本方案首先做图像变换处理，变换的方式有旋转、翻转、缩放，放大四种方式，由此得到四倍的人脸表情图像。然后，在变换后的人脸表情图像中，随机添加噪声，包括椒盐噪声，斑点噪声和人脸眼睛之间的2维高斯随机分布的噪声。基于以上所述，达到了81倍的数据增强效果，每个人脸表情图像大小为39*39。

步骤二、利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库。

本发明较佳实施例中，所述数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立服务人员人脸表情库。

步骤三、利用所述服务人员人脸表情库和所述服务人员对比表情库训练深度神经网络模型，建立表情识别模型。

本发明较佳实施例使用高兴、正常、愤怒的三种情感标签标注步骤1的对比服务人员表情库和步骤2拍摄、处理过后的服务人员人脸表情库中的图片，并将所述图片放入DCNN(Deep Convolutional Network Cascade for Facial Point Detection)深度卷积网络模型中进行定位裁剪、特征提取比对后得出输出结果。

进一步地，本发明较佳实施例定位人脸表情图像的人脸后，裁剪人脸图片。DCNN首先基于输入的对比服务人员表情库，对输入的服务人员人脸表情库的图像进行人脸定位，然后裁剪出定位的人脸。因为直接把摄像头所拍摄的一整张图片放入DCNN中，由于人脸表情图像包含的范围太大，会影响对人脸表情识别的判断。因此，DCNN网络的第一部分卷积网络模型通过需找人脸的5个特征点(左右眼睛、鼻子、左右嘴角)，定位出人脸，裁剪出人脸。具体来说，DCNN第一部分的卷积神经网络由三个卷积神经网络组成，这三个卷积神经网络分别命名为：F1(网络的输入为一整张人脸图片)，EN1(输入图片包含了眼睛和鼻子)、NM1(包含了鼻子和嘴巴区域)。对于输入的一张39*39的人脸表情图像，通过F1输出一个10维的特征向量(5个特征点)；根据输出的10维特征向量，EN1用于定位左眼、右眼和鼻子三个特征点；同时根据输出的10维特征向量，NM1定位左嘴角、右嘴角和鼻子三个特征点，结合EN1定位的鼻子特征点后，裁剪出包含眼睛、鼻子嘴巴的人脸区域图片。

进一步的，以上述预测的特征点基础，重新预测5个人脸特征点。经过上述可粗略定位出各个特征点的位置，本步骤是以上述预测的特征点基础，以这五个预测特征点为中心，用DCNN第二部分的卷积神经网络模型继续做特征定位，最后对比两环节下预测的5个特征点。第二部分的卷积神经网络模型由10个CNN组成，这10个CNN分别用于预测5个特征点，每个特征点使用两个CNN，然后两个CNN对预测的结果进行平均。

基于两次的特征点预测后，重新采集人脸图像。DCNN第三部分的神经网络模型是在前两次的特征点预测的位置基础上，重新进行裁剪。DCNN第三部分的神经网络模型与第二部分结构相同，也是由10个CNN组成。通过3.3裁剪环节，服务人员的人脸表情库图像的裁剪区域变得更小一些。

进一步的，基于测试误差评价标准，判断服务人员人脸表情库的表情类别。通过前三步骤的特征点检测后，服务人员人脸表情库的特征点和特征点所在区域都被提取出来，本步骤是通过比对服务人员人脸表情库和步骤1中的对比服务人员表情库，基于最后深度学习模型判断模块，判断出人脸表情库中的服务人员表情。其中，模型判断模块的评判标准是通过测试误差评价标准公式：

其中l是人脸表情图像的图像宽度，是一个固定值；x是服务人员人脸表情库图片的5个特征点的向量表示，x′是对比服务人员表情库数据的特征向量，y′是对应的对比服务人员表情库的表情标签(愤怒、高兴、正常)。设定阈值err＝0.1。当x和x′的特征向量小于阈值err＝0.1时，利用测试误差评价标准公式的反推，可以得出最终y的结果。如x是服务人员人脸表情库图片A的5个特征点的向量表示，然后分别与x′(对比服务人员表情库数据的特征向量，分为高兴、愤怒、正常三个标签的特征向量)做测试误差评价，若与高兴的测试误差评价标准值小于阈值err＝0.1时，则判断图片A为高兴的表情标签。若高兴和正常的测试误差评价标准值都小于阈值err＝0.1，则选取测试误差评价标准值最小值所对应的表情标签。若所有的测试误差评价标准值都大于阈值err＝0.1，则将图片A归纳为为识别表情图片，留待步骤3的模型训练。基于以上所述。完成服务人员人脸表情库的图像表情鉴定。当模型训练的损失函数的阈值设定为0.05时，一旦达到阈值，则完成模型训练过程。

步骤四、利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

若传输的是视频文件进入步骤四的深度学习网络网络，对整个网络压力太大，故设定摄像装备每预设时间间隔，如每隔5秒，传输一张服务人员的人脸表情图片，结合已训练完成的深度学习模型，完成对服务人员的服务态度的表情鉴定。

本发明一实施例通过对一预设时间段，如一天中从早八点至晚六点的工作时间内，计算某一服务人员的所有人脸表情图片的表情标签的概率，获取概率值为最高的表情标签，作为所述预设时间段内所述服务人员的服务态度。

例如，在所述预设时间段内，共获取7200张人脸表情图片，其中，利用所述深度学习模型判断为高兴的人脸表情图片为3600张，判断为正常的人脸表情图片为1800张，以及判断为愤怒的人脸表情图片为1800张，则高兴的表情标签的概率最高，为50％，则可以判定所述服务人员的服务好；若正常的表情标签的概率最高，则可以判定所述服务人员的服务一般；若愤怒的表情标签的概率最高，则可以判定所述服务人员的服务差。

本发明另一实施例通过对一预设时间段，如一天中从早八点至晚六点的工作时间内，计算某一服务人员的所有人脸表情图片分别对应的表情标签，并根据预先确定的分析算法分析出所述预设时间段内所述服务人员的服务态度。

例如，所述预先确定的分析算法为：

若所述预设时间段内，代表第一表情标签(例如，“高兴”标签)的图片数量占所有图片数量的第一比例大于或者等于第一阈值(例如，80％)，且代表第三表情标签(例如，“愤怒”标签)的图片数量占所有图片数量的第三比例小于或者等于第二阈值(例如，0.5％)，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于第一阈值且大于第三阈值(例如，50％)，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于或者等于第三阈值，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第二表情标签(例如，“正常”标签)；

若所述第三比例大于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第三表情标签。

可选地，在其他实施例中，服务态度评估程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述服务态度评估程序在基于人脸表情识别的服务态度评估装置中的执行过程。

例如，参照图3所示，为本发明基于人脸表情识别的服务态度评估装置一实施例中的服务态度评估程序的程序模块示意图，该实施例中，所述服务态度评估程序可以被分割为人脸表情库建立模块10、深度学习模型训练模块20、表情识别模块30，示例性地：

所述人脸表情库建立模块10用于：建立服务人员人脸表情库及表情标签和服务人员对比表情库。

深度学习训练模块20用于：利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库。

表情识别模块30用于：利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

上述关键字人脸表情库建立模块10、深度学习模型训练模块20、表情识别模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有服务态度评估程序，所述服务态度评估程序可被一个或多个处理器执行，以实现如下操作：

建立服务人员人脸表情库及表情标签和服务人员对比表情库；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

本发明计算机可读存储介质具体实施方式与上述基于人脸表情识别的服务态度评估装置和方法各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人脸表情识别的服务态度评估方法，其特征在于，所述方法包括：

提取预设表情数据库中的多种表情的人脸数据，建立服务人员的对比表情库；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

利用所述服务人员人脸表情库和所述服务人员对比表情库训练深度神经网络模型，建立表情识别模型；

利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

2.如权利要求1所述的基于人脸表情识别的服务态度评估方法，其特征在于，所述基于人脸表情识别的服务态度评估方法还包括：

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片。

3.如权利要求1所述的基于人脸表情识别的服务态度评估方法，其特征在于，所述对拍摄的服务人员的人脸表情图做数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立所述服务人员人脸表情库。

4.如权利要求1所述的基于人脸表情识别的服务态度评估方法，其特征在于，所述建立表情识别模型包括：

输入服务人员人脸表情库中的人脸图片和服务人员的对比表情库中的人脸图片到深度神经网络模型中，所述深度神经网络模型提取到所述服务人员人脸表情库中的人脸图片中的人脸特征点后，定位人脸表情图像的人脸并裁剪人脸图片；

基于裁剪的人脸图片，所述深度神经网络模型根据所述服务人员的对比表情库中的人脸图片重新提取人脸特征点；

基于所述特征点的提取后，重新采集人脸图像训练，建立所述表情识别模型。

5.如权利要求1至4中任意一项所述的基于人脸表情识别的服务态度评估方法，其特征在于，所述利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度，包括：

根据服务人员的上班时间，设定摄像设备拍摄服务人员人脸表情图的时间段；

将在所述时间段内拍摄到的服务人员人脸表情图依次送入所述表情识别模型，利于预先确定的分析算法，分析出所述预设时间段内所述服务人员的服务态度，其中，所述预先确定的分析算法为：

若所述时间段内，代表第一表情标签的图片数量占所有图片数量的第一比例大于或者等于第一阈值且代表第三表情标签的图片数量占所有图片数量的第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于第一阈值且大于第三阈值，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第一表情标签；

若所述第一比例小于或者等于第三阈值，且所述第三比例小于或者等于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第二表情标签；

若所述第三比例大于第二阈值，则确定所述预设时间段内所述服务人员的服务态度为第三表情标签。

6.一种基于人脸表情识别的服务态度评估装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的服务态度评估程序，所述服务态度评估程序被所述处理器执行时实现如下步骤：

提取预设表情数据库中的多种表情的人脸数据，建立服务人员的对比表情库；

利用摄像设备拍摄服务人员的多种表情的人脸表情图，对拍摄的服务人员的人脸表情图做数字图像处理，建立服务人员人脸表情库；

利用所述服务人员人脸表情库和所述服务人员对比表情库训练深度神经网络模型，建立表情识别模型；

利用所述表情识别模型，对服务人员的表情进行识别，以判断服务人员的服务态度。

7.如权利要求6所述的基于人脸表情识别的服务态度评估装置，其特征在于，所述服务态度评估程序被所述处理器执行时还实现如下步骤：

使用高兴、正常、愤怒的三种情感标签标注服务人员人脸表情库和服务人员对比表情库中的图片。

8.如权利要求6所述的基于人脸表情识别的服务态度评估装置，其特征在于，对拍摄的服务人员的人脸表情图做数字图像处理包括：

利用直方图均衡化方法对摄像设备拍摄的服务人员的人脸表情图中的人脸亮度做归一化处理；

利用噪声添加、随机扰动和变换方法对所述人脸表情图进行数据增强处理，以增加人脸表情图像的数量，从而建立所述服务人员人脸表情库。

9.如权利要求6所述的基于人脸表情识别的服务态度评估装置，其特征在于，所述建立表情识别模型包括：

输入服务人员人脸表情库中的人脸图片和服务人员的对比表情库中的人脸图片到深度神经网络模型中，所述深度神经网络模型提取到所述服务人员人脸表情库中的人脸图片中的人脸特征点后，定位人脸表情图像的人脸并裁剪人脸图片；

基于裁剪的人脸图片，所述深度神经网络模型根据所述服务人员的对比表情库中的人脸图片重新提取人脸特征点；

基于所述特征点的提取后，重新采集人脸图像训练，建立表情识别模型。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有服务态度评估程序，所述服务态度评估程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于人脸表情识别的服务态度评估方法的步骤。