CN110059593A - 一种基于反馈卷积神经网络的面部表情识别方法 - Google Patents
一种基于反馈卷积神经网络的面部表情识别方法 Download PDFInfo
- Publication number
- CN110059593A CN110059593A CN201910256577.1A CN201910256577A CN110059593A CN 110059593 A CN110059593 A CN 110059593A CN 201910256577 A CN201910256577 A CN 201910256577A CN 110059593 A CN110059593 A CN 110059593A
- Authority
- CN
- China
- Prior art keywords
- feedback
- layer
- convolutional neural
- channel
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000994 depressogenic effect Effects 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010195 expression analysis Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于反馈卷积神经网络的面部表情识别方法，包括：首先采用摄像头采集RGB图像，然后对其进行预处理，预处理的步骤包括人脸检测、人脸配准、尺度变换以及样本扩充，然后将预处理后的表情图像用于反馈卷积神经网络的训练和测试。所述反馈卷积神经网络中包含有多个反馈层，使得反馈卷积神经网络能尽可能多的提取到有助于识别表情的特征，而尽可能少的提取身份、姿态等无关特征，以提升模型识别表情的准确率和鲁棒性。
Description
技术领域
本发明涉及面部表情识别领域，具体涉及一种基于反馈卷积神经网络的面部表情识别方法。
背景技术
面部表情是指利用计算机视觉技术从人脸图像中预测出表情类别，它在揭示人的意图、情感及其他内在状态方面发挥着极大的作用，是机器感知人类情绪变化并与人类进行沟通的重要手段，在智能人机交互、健康监控、市场、教育、心理学以及辅助驾驶等方面具有广泛的应用价值。
面部表情识别的流程包括图像预处理、特征提取以及表情分类。目前主流的人脸检测算法都是基于卷积神经网络的，比如目前流行的MTCNN人脸检测算法。检测到人脸后，可以利用眼睛、嘴角、笔尖等面部关键点来矫正人脸姿态，并从矫正后的人脸中提取表情相关的特征，并进一步送入分类器预测其所属的表情类别。
近年来基于卷积神经网络的人脸检测算法已经取得了很大的进展，一般来说人脸检测的准确率要优于最终表情分类的准确率，它已经不是制约面部表情识别效果的短板，而面部表情特征的提取和表情的分类才是最大的影响因素。因此，好的面部表情识别系统不仅需要准确检测人脸，更需要能够有效描述表情变化的特征以及准确区分不同表情的分类器。基于上述问题，本发明主要考虑面部表情特征的提取与表情识别问题，搭建一个反馈卷积神经网络来识别六种基本面部表情(高兴、愤怒、悲伤、恐惧、沮丧、惊讶)和中性表情。
发明内容
本发明的主要目的在于提出一种基于反馈卷积神经网络的面部表情识别方法，将相同结构的多个反馈层融入到baseCNN中，构建出一个反馈卷积神经网络用于从预处理后的表情图像中预测出其所属的表情类别(高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性)，对自然环境中的表情识别有较好的准确率和鲁棒性。
本发明采用如下技术方案：
本发明一种基于反馈卷积神经网络的面部表情识别方法，包括：
人脸检测，采用MTCNN方法进行人脸检测；
人脸姿态矫正，利用仿射变换矩阵对检测到的人脸进行人脸姿态变化以进行矫正；
面部表情识别，通过训练好的包括基本卷积神经网络baseCNN和反馈层的反馈卷积神经网络进行矫正后面部表情特征的提取，获得面部表情的分类；所述面部表情的分类包括高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性。
优选的，所述仿射变换矩阵的定义如下：
其中，θ表示左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。
优选的，所述人脸姿态矫正之后还包括：
尺度变换，对每一幅人脸图像进行尺度变换，将其缩放到统一的尺度100x100x3；其中， 100为图像长或者宽，3代表RGB三个色彩通道。
优选的，训练过程中，所述人脸姿态矫正之后还包括：
数据扩充：在训练过程中将每一张图像都进行水平翻转并随机旋转-5°至5°之间的某个角度；将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像重新生成数据集以得到类别均衡的数据集。
优选的，所述baseCNN包括4个卷积模块、特征变换模块以和分类器；其中4个卷积模块用于从输入的表情图像中提取深度卷积特征；特征变换模块用于将第四个卷积模块输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器用于根据128维的特征向量预测出所属的表情类别。
优选的，所述反馈层包括4个；每一个反馈层的输入都是一个(h,w,c)维的张量Xl；其中， h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层；将反馈层的反馈状态gl分解成空间反馈和通道反馈，如下
其中，和分别代表空间反馈和通道反馈；
将空间反馈和通道反馈的结果执行张量相乘积后送入sigmoid函数进行归一化，作为反馈层的输出。
优选的，所述空间反馈的具体实现为：
使用一个5层子网络对空间反馈进行建模；所述子网络由一个包括全局平均层、三个卷积核大小为3×3步幅为2的卷积层和尺度调整层；所述全局平均层的计算公式如下：
其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表Xl的第i个通道；i是一个临时变量，用作通道索引标号。
优选的，所述通道反馈的具体实现为：
使用一个三层网络来实现通道反馈，首先通过全局空间平均层执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：
其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表Xl的第(i,j)个空间位置随影的所有通道值组成的向量；
接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：
其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为 ReLU(·)＝max(0,·)，其中“·”代表输入；和分别代表两个全连接层的参数矩阵，r表示压缩率。
与现有技术相比，本发明的有益效果如下：
(1)本发明一种基于反馈卷积神经网络的面部表情识别方法，考虑到光照变化、局部遮挡、面部旋转等复杂因素，对采集得到的人脸图像进行预处理以限制分析范围，从而提高人脸检测的准确率，进而为后续的表情分析部分提供良好的基础；
(2)对于表情分析而言，人脸图像中包含了若干噪声，比如身份、年龄、肤色以及光照等，且表情信息往往仅分布在眼睛、鼻子和嘴巴等局部区域中，因此本发明本发明一种基于反馈卷积神经网络的面部表情识别方法，在使用baseCNN提取丰富的深度卷积特征的同时，还融入了反馈层，目的就是从丰富的卷积特征中尽可能筛选出与表情分析任务相关的特征而滤除掉上述噪声，进一步提升整个模型识别表情的准确率和鲁棒性。
上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下列举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。
附图说明
图1为本发明的baseCNN结构框图；
图2为本发明的反馈层的结构框图；
图3为本发明的反馈卷积神经网络的结构框图；
图4为本发明的实施流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。
参见图1至图4所示，本发明一种基于反馈卷积神经网络的面部表情识别方法，能够通过反馈卷积神经网络识别七种表情类别(高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性)，具体步骤如下：
步骤1，进行数据预处理，尽量剔除背景信息，减弱姿态干扰；
步骤2，搭建一个反馈卷积神经网络以端到端的形式同时完成面部表情特征的提取和面部表情的分类。
步骤1具体包括：
步骤10，人脸检测：采用MTCNN算法进行人脸检测，从而减少人脸图像中与表情分析无关的背景信息，增强信噪比；
步骤11，姿态矫正：由于自然环境下的人脸姿态可能存在较大差异，利用仿射变换矩阵对其姿态变化进行矫正，该仿射变换矩阵的定义为其中θ为左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。
步骤12，尺度变换：图像分辨率若过高，会严重增大算法计算复杂度，而分辨率过低又会使得细微的表情信息丢失，所以权衡两者后，对每一幅表情图像进行尺度变换，将其缩放到统一的尺度100x100x3(其中100为图像长或者宽，3代表RGB三个色彩通道)。
步骤13，数据扩充：由于高质量的表情数据集的构建比较困难，所以为了进一步扩充数据集以增加其丰富性，在训练过程中将每一张图像都进行水平翻转(符合人脸的水平对称性) 并随机旋转-5°至5°之间的某个角度。此外，由于数据集中各个表情类别的样本量相差太大，也就是说存在样本类别失衡问题，所以将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像从新生成数据集，采用这种方法可以得到类别均衡的数据集。
步骤1具体包括：
反馈卷积神经网络(FCNN)主要由baseCNN和反馈层(feedback layer)两部分构成：
baseCNN由4个卷积模块(卷积模块1、卷积模块2、卷积模块3和卷积模块4)、特征变换模块以及分类器组成，其组成如表1中的所示，其结构框图则如图1所示。其中4个卷积模块用于从输入的表情图像中提取丰富的深度卷积特征；特征变换模块用于将卷积模块4 输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器的作用则是根据128维的特征向量预测出所属的表情类别。
表1 baseCNN各组成成分
反馈层(feedback layer)的具体实现如下：
每一个反馈层的输入都是一个(h,w,c)维的张量Xl；其中，h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层。反馈层作用是为了同时利用高层信息和低层信息进而生成一组反馈状态Z＝g(Xl,θl)(维度与输入Xl相同)，且考虑到输入在空间和通道上的相对独立性，选择将反馈层分解成空间反馈和通道反馈：
其中，和分别代表空间反馈和通道反馈。通过设计一个双分支结构来实现两者的分解：一个分支对空间反馈进行建模(在各通道维度上共享)，另一个分支对通道反馈进行建模(在高度和宽度维度上共享)。通过这种设计，可以通过张量乘法高效的计算出整个反馈层的反馈状态gl。
空间反馈的具体实现如下：
用一个很小的(共28个参数)5层子网络对空间反馈进行建模，如图2所示。该子网络由一个全局平均层(0个参数)、三个卷积核大小为3×3步幅为2的卷积层(共27个参数)以及尺度调整层(1个参数)。全局平均层的计算公式如下：
其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表Xl的第i个通道；i是一个临时变量，用作通道索引标号。
全局平均层是专门为压缩后续卷积层的输入大小进而压缩卷积层中参数数量而设计的，且因为在设计中所有通道都是共享相同的空间反馈，所以这种跨通道的平均也不失合理性。最后，我们添加了一个尺度调整层(1个参数)，该层自动学习出一个尺度因子来调整卷积层输出的尺度，以便于自适应的方式匹配通道反馈的尺度。
通道反馈的具体实现如下：
用一个小的三层自网络来实现通道反馈，如图2所示。首先通过全局空间平均层(0个参数)执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：
其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表Xl的第(i,j)个空间位置随影的所有通道值组成的向量；
接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：
其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为 ReLU(·)＝max(0,·)，其中“·”代表输入；(c2/r个参数)和(c2/r个参数) 分别代表两个全连接层的参数矩阵，而r则表示压缩率(在实现中按经验选择r＝4)，这种压缩的策略可以将参数从c2个(直接用单个全连接层的情况)减少到2c2/r个，也就是说当r＝4时，参数数量减少一半。
反馈层的整合具体实现如下：
最后为了将空间反馈和通道反馈整合成一个完整的反馈层且满足前面对反馈层的约束，将两者的结果执行张量乘积后送入sigmoid函数进行归一化，作为反馈层的输出，最后得到如图2所示的反馈层。
反馈卷积神经网络的具体结构如下：
将baseCNN全局池化层之前的卷积部分划分为四个卷积模块(分别为图中的卷积模块1、卷积模块2、卷积模块3和卷积模块4)，且每个卷积模块的最后一层均为最大池化层，接下来在baseCNN的四个卷积模块之后都添加一个反馈层得到一个反馈卷积神经网络的实例 FCNN，FCNN结构框图如图3所示。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种基于反馈卷积神经网络的面部表情识别方法，其特征在于，包括：
人脸检测，采用MTCNN方法进行人脸检测；
人脸姿态矫正，利用仿射变换矩阵对检测到的人脸进行人脸姿态变换以进行矫正；
面部表情识别，通过训练好的包括基本卷积神经网络baseCNN和反馈层的反馈卷积神经网络进行矫正后面部表情特征的提取，获得面部表情的分类；所述面部表情的分类包括高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性。
2.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述仿射变换矩阵的定义如下：
其中，θ表示左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。
3.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述人脸姿态矫正之后还包括：
尺度变换，对每一幅人脸图像进行尺度变换，将其缩放到统一的尺度100x100x3；其中，100为图像长或者宽，3代表RGB三个色彩通道。
4.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，训练过程中，所述人脸姿态矫正之后还包括：
数据扩充：在训练过程中将每一张图像都进行水平翻转并随机旋转-5°至5°之间的某个角度；将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像重新生成数据集以得到类别均衡的数据集。
5.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述baseCNN包括4个卷积模块、特征变换模块以和分类器；其中4个卷积模块用于从输入的表情图像中提取深度卷积特征；特征变换模块用于将第四个卷积模块输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器用于根据128维的特征向量预测出所属的表情类别。
6.根据权利要求5所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述反馈层包括4个；每一个反馈层的输入都是一个(h,w,c)维的张量Xl；其中，h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层；将反馈层的反馈状态gl分解成空间反馈和通道反馈，如下
其中，和分别代表空间反馈和通道反馈；
将空间反馈和通道反馈的结果执行张量相乘积后送入sigmoid函数进行归一化，作为反馈层的输出。
7.根据权利要求6所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述空间反馈的具体实现为：
使用一个5层子网络对空间反馈进行建模；所述子网络由一个包括全局平均层、三个卷积核大小为3×3步幅为2的卷积层和尺度调整层；所述全局平均层的计算公式如下：
其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表Xl的第i个通道；i是一个临时变量，用作通道索引标号。
8.根据权利要求7所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述通道反馈的具体实现为：
使用一个三层网络来实现通道反馈，首先通过全局空间平均层执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：
其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表Xl的第(i,j)个空间位置随影的所有通道值组成的向量；
接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：
其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为ReLU(·)＝max(0,·)，其中“·”代表输入；和分别代表两个全连接层的参数矩阵，r表示压缩率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256577.1A CN110059593B (zh) | 2019-04-01 | 2019-04-01 | 一种基于反馈卷积神经网络的面部表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256577.1A CN110059593B (zh) | 2019-04-01 | 2019-04-01 | 一种基于反馈卷积神经网络的面部表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110059593A true CN110059593A (zh) | 2019-07-26 |
| CN110059593B CN110059593B (zh) | 2022-09-30 |
Family
ID=67317963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256577.1A Active CN110059593B (zh) | 2019-04-01 | 2019-04-01 | 一种基于反馈卷积神经网络的面部表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059593B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
| CN111597884A (zh) * | 2020-04-03 | 2020-08-28 | 平安科技（深圳）有限公司 | 面部动作单元识别方法、装置、电子设备及存储介质 |
| CN112541422A (zh) * | 2020-12-08 | 2021-03-23 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
| CN113408434A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| US20190034709A1 (en) * | 2017-07-25 | 2019-01-31 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and apparatus for expression recognition |
-
2019
- 2019-04-01 CN CN201910256577.1A patent/CN110059593B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| US20190034709A1 (en) * | 2017-07-25 | 2019-01-31 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and apparatus for expression recognition |
Non-Patent Citations (1)
| Title |
|---|
| 陈耀丹等: "基于卷积神经网络的人脸识别方法", 《东北师大学报(自然科学版)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597884A (zh) * | 2020-04-03 | 2020-08-28 | 平安科技（深圳）有限公司 | 面部动作单元识别方法、装置、电子设备及存储介质 |
| CN111539337A (zh) * | 2020-04-26 | 2020-08-14 | 上海眼控科技股份有限公司 | 车辆姿态矫正方法、装置及设备 |
| CN112541422A (zh) * | 2020-12-08 | 2021-03-23 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
| CN112541422B (zh) * | 2020-12-08 | 2024-03-12 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
| CN113408434A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435A (zh) * | 2021-06-22 | 2021-09-17 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
| CN113408434B (zh) * | 2021-06-22 | 2023-12-05 | 华侨大学 | 一种智能监控的表情识别方法、装置、设备和存储介质 |
| CN113408435B (zh) * | 2021-06-22 | 2023-12-05 | 华侨大学 | 一种安全监控方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110059593B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059593B (zh) | 一种基于反馈卷积神经网络的面部表情识别方法 | |
| Rao et al. | Deep convolutional neural networks for sign language recognition | |
| CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及系统 | |
| CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
| CN111709321B (zh) | 一种基于图卷积神经网络的人体行为识别方法 | |
| CN109409198A (zh) | Au检测模型训练方法、au检测方法、装置、设备及介质 | |
| CN112348191B (zh) | 一种基于多模态表示学习的知识库补全方法 | |
| CN108491835A (zh) | 面向面部表情识别的双通道卷积神经网络 | |
| CN116645716B (zh) | 基于局部特征和全局特征的表情识别方法 | |
| CN106485214A (zh) | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 | |
| CN107092894A (zh) | 一种基于lstm模型的运动行为识别方法 | |
| CN109919085B (zh) | 基于轻量型卷积神经网络的人人交互行为识别方法 | |
| CN113627376B (zh) | 基于多尺度密集连接深度可分离网络的人脸表情识别方法 | |
| CN109117795B (zh) | 基于图结构的神经网络表情识别方法 | |
| CN112001215B (zh) | 一种基于三维唇动的文本无关说话人身份识别方法 | |
| CN110717423B (zh) | 一种老人面部表情的情感识别模型的训练方法及装置 | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| CN111860078A (zh) | 人脸静默活体检测方法、装置、可读存储介质及设备 | |
| KR101676101B1 (ko) | 동적보상퍼지신경네트워크(dcfnn)를 기반으로 한 얼굴인식 알고리즘 | |
| CN110135244A (zh) | 一种基于脑-机协同智能的表情识别方法 | |
| CN109711411B (zh) | 一种基于胶囊神经元的图像分割识别方法 | |
| Li et al. | Adaptive dropout method based on biological principles | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |