CN112766159A

CN112766159A - 一种基于多特征融合的跨数据库微表情识别方法

Info

Publication number: CN112766159A
Application number: CN202110073665.5A
Authority: CN
Inventors: 唐宏; 朱龙娇; 范森; 刘红梅
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2021-05-07

Abstract

本发明属于计算机视觉领域，具体涉及一种基于多特征融合的跨数据库微表情识别方法，该方法包括：获取两个数据集中的起始帧和顶点帧；对起始帧和顶点帧的人脸面部区域进行裁剪，得到人脸面部区域图；根据预处理后的起始帧和顶点帧计算人脸关键点特征图和光流特征，并计算光流特征的方向、幅度和光学应变；将获得的光流幅度特征图和方向特征图进行加权处理，获得HOOF特征图；将人脸关键点特征图、光学应变特征图和HOOF特征图构成一个三维特征块并输入到一个三维卷积神经网络进行特征学习，获得微表情识别结果；本发明很好的利用较浅的卷积神经网络有效学习多特征融合的微表情特征，从而提升了面部微表情识别的准确率及效率。

Description

一种基于多特征融合的跨数据库微表情识别方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多特征融合的跨数据库微表情识别方法。

背景技术

人的面部表情主要分为宏表情和微表情两种。面部表情是非语言交流的一种形式，由情绪状态下面部肌肉收缩产生。不同的肌肉运动和方式最终反映出来不同类型的情感。然而，宏表情并不能准确地暗示一个人的情绪状态，因为它很容易被伪造。而微表情是一种不能被神经系统控制的短暂的面部表情，能够反映人的真实情感且无法隐藏。微表情在心理学、公共安全、临床医学、刑事审讯等具有很多潜在的应用。但是它持续时间大约只有0.04s～0.2s，且强度微弱，很难被人的肉眼识别出来，即使是经过专业训练的人员，其微表情的识别率也不高，且要花费大量的时间成本。所以基于计算机自动识别微表情的研究成为热点。

目前，自动微表情识别主要有传统的机器学习方法和深度学习方法。传统的微表情识别算法主要利用不同的特征提取器提取微表情特征，之后将提取到的特征输入到分类器，利用分类器学习训练样本进行微表情的识别。但是传统方法提取特征方式复杂，需要手动设计特征描述子，由于微表情的运动是局部性的，因此传统特征提取方法也很难完全捕捉面部的微弱变化，同时，特征的计算量较大，而且分类器的选择对分类性能的影响很大。所以，传统的微表情识别方法存在一定的局限性。

近年来，深度神经网络在人脸微表情识别方面取得了显著进展。深度学习的鲁棒性带来了比传统手工方法更有前途的性能。然而，深度学习需要大量的数据，微表情数据却较为缺乏，存在识别难度大的问题。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于多特征融合的跨数据库微表情识别方法，该方法包括：获取人脸微表情图像，对人脸微表情图像进行预处理；根据预处理后的人脸图像计算三种特征图，将三种特征图进行融合；将融合后的特征图输入到训练好的微表情识别模型中，得到微表情识别结果；

对微表情识别模型进行训练的过程包括：

S1：分别获取CASMEII数据集和SAMM数据集的起始帧、顶点帧以及每个数据对应的情绪标签；

S2：对起始帧和顶点帧的人脸面部区域进行裁剪，得到仅包含人脸面部区域的图像；

S3：对人脸面部区域图像进行归一化处理；所述归一化处理包括尺度归一化处理和灰度归一化处理；

S4：根据归一化处理后人脸面部区域图像的起始帧和顶点帧计算人脸关键点特征图LMF；

S5：根据归一化处理后人脸面部区域图像的起始帧和顶点帧计算人脸面部区域图像的光流特征；根据光流特征计算光流方向特征图p、幅度特征图m和光学应变特征图ε；所述光流特征包括水平光流特征和垂直光流特征；

S6：将光流方向特征图p与幅度特征图m进行加权处理，得到HOOF特征图；

S7：将人脸关键点特征图LMF、光学应变特征图ε以及HOOF特征图构成三维特征块，并将三维特征块输入到三维卷积神经网络进行特征学习，得到微表情识别结果；

S8：根据微表情识别结果计算微表情识别模型的损失函数；不断调整损失函数的参数，当损失函数的值最小时，完成模型的训练。

优选的，获取CASMEII数据集和SAMM数据集的起始帧和顶点帧的过程包括：数据集中给出了微表情视频序列的起始帧和顶点帧索引，根据索引直接获取两帧图片以及情绪标签；起始帧为被观察者开始出现微表情的那一帧图像，顶点帧为被观察者的微表情表现强度最显著的那一帧图像。

优选的，对起始帧和顶点帧的人脸面部区域进行裁剪包括采用dlib库的人脸检测器对起始帧和顶点帧进行人脸面部区域的检测，采用人脸地标检测器对起始帧和顶点帧的68个人脸面部关键点进行检测，根据人脸面部关键点获取裁剪区域的位置及裁剪区域的大小，得到仅包含人脸面部区域的图像。

优选的，计算人脸关键点特征图LMF的公式为：

LMF_t(i,j)＝||p(i,t)-p(j,t)||₂-||p(i,t-Δt)-p(j,t-Δt)||₂

优选的，计算人脸面部区域图像的光流特征以及各个特征图的过程包括：

步骤1：采用TV-L1近似光流法计算起始帧和顶点帧的面部区域图像，得到光流场的水平光流和垂直光流；

步骤2：将水平光流和垂直光流转化为光流向量p＝(u,v)，并将光流向量的坐标转换为极坐标，并根据极坐标计算光流运动的方向θ_x,y和强度ρ_x,y；

步骤3：根据光流向量p＝(u,v)计算光学应变特征图ε；

步骤4：根据光学应变特征图ε计算幅度特征图m。

进一步的，光流运动的方向θ_x,y和强度ρ_x,y的公式为：

进一步的，计算光学应变特征图ε的公式为：

优选的，得到HOOF特征图的过程包括：将光流幅度特征图和光流方向特征图平均分割成5*5的不重叠的块；对方向θ_x,y∈[-π,π]进行bin处理，并根据幅度ρ_x,0的大小进行加权，得到HOOF特征图；其中每个直方图bin的范围为：

优选的，三维卷积神经网络包括：三维卷积神经网络包括三条并行流、卷积层、最大池化层、FC全连接层以及softmax层；三条并行流中每条流由一个卷积层和一个最大池化层组成，每条流的卷积层的卷积核个数分别为3、5、8，卷积核尺寸均为3*3*3；采用samepadding保持输入输出大小相同，stride＝1；将28×28×3的三维特征块输入三维卷积神经网络，三条并行流得到的输出分别为28×28×3、28×28×5、28×28×8的数据；将卷积层输出的数据分别经过2*2*2，stride＝2的最大池化层，输出分别为14×14×3、14×14×5、14×14×8的数据；将三条流的输出进行连接，形成一个14×14×16的特征块，再经过一个2*2*2，stride＝2的最大池化层，输出一个7*7*16维的特征，将其展平为784*1维的特征向量；将784*1维的特征向量经过softmax函数进行微表情识别分类。

优选的，微表情识别模型的损失函数为：

本发明针对微表情持续时间短、强度微弱、样本数据量少的问题，在跨数据库实验的基础上，提出了传统的微表情识别方法与使用深度学习技术相结合来进行微表情识别。通过传统方法计算得到微表情的多种特征图，并将多种特征融合送入卷积神经网络进行进一步特征学习，克服直接使用原始微表情序列进行微表情识别的缺点。该发明有效的提高了微表情识别的准确率以及效率。

附图说明

图1为本发明的总体流程图；

图2为本发明的样本图；

图3为本发明的仅含面部区域的图片；

图4为本发明计算的光流特征图；

图5为本发明计算的光应变特征图；

图6为HOOF特征图示例；

图7为本发明设计的3D卷积神经网络。

具体实施方式

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在不付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

一种基于多特征融合的跨数据库微表情识别方法，该方法包括：获取人脸微表情图像，对人脸微表情图像进行预处理；根据预处理后的人脸图像计算三种特征图，将三种特征图进行融合；将融合后的特征图输入到训练好的微表情识别模型中，得到微表情识别结果；对微表情识别模型进行训练的过程如图1所示，其具体过程包括：

S2：采用dlib库自带的人脸检测器对起始帧和顶点帧的人脸面部区域进行裁剪，得到仅包含人脸面部区域的图像；

S6：将光流方向特征图p与幅度特征图m平均分割成不重合的5*5的块，在每个块内，对方向进行bin处理。根据每个像素移动的幅度大小对方向进行加权处理，得到HOOF特征图；

如图2所示，图2中的a图像为Happiness样本的起始帧，图2中的b图像为Happiness样本的顶点帧。由于对微表情的研究是基于视频的，并不是一张单独的图片，所以对于给出的样本序列，可以直接根据索引选择微表情的起始帧和顶点帧以及对应的情绪标签。

对起始帧和顶点帧分别提取面部区域图像，然后进行尺度归一化和灰度归一化操作。具体步骤包括：

步骤1：使用dlib库中包含的人脸检测器和人脸关键点检测器对起始帧和顶点帧分别检测人脸面部区域并进行68个人脸关键点检测，根据检测的68个面部关键点，获取裁剪区域的位置及裁剪区域的大小，得到只包含面部区域的图像，如图3所示，其中图3的a图像为起始帧的面部区域图，图3中的b图像为顶点帧的面部区域图像。

步骤2：对仅包含人脸面部区域的图像进行几何归一化和灰度归一化操作。

根据预处理后的起始帧和顶点帧计算人脸关键点特征图LMF，使用关键点的优点在于不受输入视频中的人脸形状、性别、年龄和亮度等人物或者背景特征的影响，使关注点放在面部运动上。计算人脸关键点特征图LMF的公式为：

LMF_t(i,j)＝||p(i,t)-p(j,t)||₂-||p(i,t-Δt)-p(j,t-Δt)||₂

其中，p(i,t)是第t帧里的第i个人脸关键点，这里i＝1，2…68,起始帧对应t-Δt时刻的帧，顶点帧对应t时刻的帧。

优选的，由于人脸有68关键点，因此对对人脸图像采集68个关键点，人脸关键点特征图LMF的尺寸大小为68*68。

根据预处理后的起始帧和顶点帧计算人脸面部区域图像的光流特征以及各个特征图的过程包括：

步骤1：采用TV-L1近似光流法计算起始帧和顶点帧的面部区域图像，得到光流场的水平光流和垂直光流；如图4所示，其中图4的a图像为水平光流图，图4的b图像为垂直光流图。假设在点(x,y,t)处的图像像素强度为I(x,y,t)，经过时间Δt，像素点移动到点(x+Δx,y+Δy,t+Δt)位置，此时该像素强度为I(x+Δx,y+Δy,t+Δt)；由亮度守恒可知：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)

其中，Δx＝u_x,yΔt，Δy＝v_x,yΔt，u_x,y和v_x,y分别为需要估计的水平光流和垂直光流，Δx表示像素在水平方向的位移，Δy表示像素在垂直方向的位移。

步骤2：将水平光流和垂直光流转化为光流向量p＝(u,v)，并将光流向量的坐标转换为极坐标，并根据极坐标计算光流运动的方向θ_x,y和强度ρ_x,y；计算公式为：

其中，ρ_x,y为像素移动的大小，θ_x,y为像素移动的方向，u(x,y)表示，v(x,y)表示。

步骤3：根据光流向量p＝(u,v)计算光学应变特征图ε；光学应变是光流的导数，它能够正确表征运动连续的帧之间可变性物体的微量运动，如图5所示。光学应变ε的定义为：

其中，

表示对位移矢量求导，T表示转置；u＝[u，v]^T表示位移矢量，光学应变ε也可以表示为：

其中，对角应变分量(ε_xx，ε_yy)是法向应变分量，(ε_xy，ε_yx)是切向应变分量。法线应变分量度量光流沿x和y维度的变化，而切线应变分量度量沿两个轴的形变引起的角度变化。

步骤4：根据光学应变特征图ε计算幅度特征图m。其中法线和切线应变分量的平方和来可以用来计算每个像素的光应变的幅度大小，其计算公式为：

将光流幅度特征图和光流方向特征图平均分割成5*5的不重叠的块，对方向θ_x,y∈[-π,π]进行bin处理，并根据对应的幅度ρ_x,y的大小进行加权，得到HOOF特征，如图6所示。每个直方图bin的范围为：

其中，bin c∈{1,2…C},C表示直方图bin的总数。

如图7所示，本发明的三维卷积神经网络为一个小而浅的卷积神经网络；该网络有三条并行流，每条流由一个卷积层和一个池化层组成，每条流有不同的卷积核个数，分别为3、5、8，卷积核尺寸均为3*3*3，采用same padding保持输入输出大小相同，stride＝1。将人脸关键点特征图LMF、与光学应变ε、HOOF特征图重采样为28*28*3的三维特征块Θ＝{LMF,ε,HOOF}中，三条并行流得到的输出分别为28×28×3、28×28×5、28×28×8；然后，分别经过2*2*2，stride＝2的最大池化层，输出分别为14×14×3、14×14×5、14×14×8；将三条流的输出进行连接，形成一个14×14×16的特征块，再经过一个2*2*2，stride＝2的最大池化层，输出一个7*7*16维的特征，将其展平为784*1维的特征向量，与400个节点的全连接层相连，最后经过softmax函数进行微表情识别分类。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多特征融合的跨数据库微表情识别方法，其特征在于，包括：获取人脸微表情图像，对人脸微表情图像进行预处理；根据预处理后的人脸图像计算三种特征图，将三种特征图进行融合；将融合后的特征图输入到训练好的微表情识别模型中，得到微表情识别结果；

对微表情识别模型进行训练的过程包括：

2.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，获取CASMEII数据集和SAMM数据集的起始帧和顶点帧的过程包括：数据集中给出了微表情视频序列的起始帧和顶点帧索引，根据索引直接获取两帧图片以及情绪标签；起始帧为被观察者开始出现微表情的那一帧图像，顶点帧为被观察者的微表情表现强度最显著的那一帧图像。

3.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，对起始帧和顶点帧的人脸面部区域进行裁剪包括采用dlib库的人脸检测器对起始帧和顶点帧进行人脸面部区域的检测，采用人脸地标检测器对起始帧和顶点帧的68个人脸面部关键点进行检测，根据人脸面部关键点获取裁剪区域的位置及裁剪区域的大小，得到仅包含人脸面部区域的图像。

4.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，计算人脸关键点特征图LMF的公式为：

LMF_t(i，j)＝||p(i，t)-p(j，t)||₂-||p(i，t-Δt)-p(j，t-Δt)||₂

其中，p(i，t)表示第t帧里的第i个人脸关键点，Δt表示一段时间间隔。

5.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，计算人脸面部区域图像的光流特征以及各个特征图的过程包括：

步骤2：将水平光流和垂直光流转化为光流向量p＝(u，v)，并将光流向量的坐标转换为极坐标，并根据极坐标计算光流运动的方向θ_x，y和强度ρ_x，y；

步骤3：根据光流向量p＝(u，v)计算光学应变特征图ε；

步骤4：根据光学应变特征图ε计算幅度特征图m。

6.根据权利要求5所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，光流运动的方向θ_x，y和强度ρ_x，y的公式为：

其中，ρ_x，y为像素移动的大小，θ_x，y为像素移动的方向，u(x，y)表示水平光流分量，v(x，y)表示垂直光流分量。

7.根据权利要求5所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，计算光学应变特征图ε的公式为：

其中，u＝[u，v]^T表示位移矢量，T表示转置。

8.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，得到HOOF特征图的过程包括：将光流幅度特征图和光流方向特征图平均分割成5*5的不重叠的块；对方向θ_x，y∈[-π，π]进行bin处理，并根据幅度ρ_x，y的大小进行加权，得到HOOF特征图；其中每个直方图bin的范围为：

其中，bin c∈{1，2...C}，C表示直方图bin的总数，θ_x，y表示光流运动的方向。

9.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，三维卷积神经网络包括三条并行流、卷积层、最大池化层、FC全连接层以及softmax层；三条并行流中每条流由一个卷积层和一个最大池化层组成，每条流的卷积层的卷积核个数分别为3、5、8，卷积核尺寸均为3*3*3；采用same padding保持输入输出大小相同，stride＝1；将28×28×3的三维特征块输入三维卷积神经网络，三条并行流得到的输出分别为28×28×3、28×28×5、28×28×8的数据；将卷积层输出的数据分别经过2*2*2，stride＝2的最大池化层，输出分别为14×14×3、14×14×5、14×14×8的数据；将三条流的输出进行连接，形成一个14×14×16的特征块，再经过一个2*2*2，stride＝2的最大池化层，输出一个7*7*16维的特征，将其展平为784*1维的特征向量；将784*1维的特征向量经过softmax函数进行微表情识别分类。

10.根据权利要求1所述的一种基于多特征融合的跨数据库微表情识别方法，其特征在于，微表情识别模型的损失函数为：

其中，N为样本数量，M为数据集类别数量，y_ic为指示变量，如果该类别与样本i的类别相同则为1，否则为0，p_ic为样本i属于类别c的预测概率。