CN110309713A - 表情识别模型训练方法、装置、设备和存储介质 - Google Patents
表情识别模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110309713A CN110309713A CN201910427443.1A CN201910427443A CN110309713A CN 110309713 A CN110309713 A CN 110309713A CN 201910427443 A CN201910427443 A CN 201910427443A CN 110309713 A CN110309713 A CN 110309713A
- Authority
- CN
- China
- Prior art keywords
- training
- image set
- former
- sample
- training image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 265
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 126
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 7
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 235000019646 color tone Nutrition 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 230000003321 amplification Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域，提供了表情识别模型训练方法、装置、设备和存储介质，方法包括：对原训练图像集合分别进行以下处理：降低原训练图像集合的分辨率，得到第一类训练图像集合；渲染原训练图像集合的背景光线，得到第二类训练图像集合；降低原训练图像集合的分辨率，并且渲染原训练图像集合的背景光线，得到第三类训练图像集合；通过原训练图像集合、第一类训练图像集合、第二类训练图像集合所述第三类训练图像集合训练表情识别模型。通过对原训练图像的清晰度或背景色调等特征进行调整，得到多类新的训练图像，新的训练图像无需再做人工打标处理，丰富了表情识别模型的训练样本图像集。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及表情识别模型训练方法、装置、设备和存储介质。
背景技术
表情识别模型用于识别人脸的表情。人脸表情识别是指对给定的人脸图像指定一个表情类别，包括：愤怒、厌恶、开心、伤心、恐惧以及惊讶等等。目前，人脸表情识别技术在人机交互、临床诊断、远程教育以及侦查审讯等领域逐渐显现广阔的应用前景，是计算机视觉和人工智能的热门研究方向。
表情识别模型需要预先进行训练。在训练工作中，需要人工收集大批量的训练图像，再由人工依据训练图像的维度信息对各训练图像进行类型标注，所以训练图像打标费时费力；此外，现有的表情识别模型训练方法采用的各训练图像之间的分辨率或色调相同或相似，导致训练后的表情识别模型在固定的分辨率或色调范围内才能较为准确的识别出表情图像，同一张表情图像的分辨率降低或者色调发生变化都会降低表情识别模型的识别准确率。
发明内容
本申请的主要目的在于解决现有的表情识别模型训练方法存证训练图像标注费时费力，且训练后的表情识别模型的识别准确率易受表情图像分辨率和色调影响的技术问题，提出了一种表情识别模型训练方法，通过对原训练图像的清晰度或背景色调等特征进行调整，得到多类新的训练图像，新的训练图像无需再做人工打标处理，丰富了表情识别模型的训练样本图像集，大大降低训练样本图像打标作业所消耗的时间和人力成本；此外，采用多种清晰度和背景色调的训练样本图像对表情识别模型进行训练，提高表情识别模型的识别准确率。
一种表情识别模型训练方法，包括：获取原训练图像集合；所述原训练图像集合包括多个已标注的原训练图像；对所述原训练图像集合分别进行以下处理：降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合；分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
可选地，在所述分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型之后，所述方法还包括：
获取原测试图像集合；所述原测试图像集合包括多个原测试图像；原测试图像用于测试训练后的表情识别模型对人脸图像识别的准确率；对所述原测试图像集合分别进行以下处理：降低所述原测试图像集合中的各原测试图像的分辨率，得到第一类测试图像集合；渲染所述原测试图像集合中的各原测试图像的背景光线，得到第二类测试图像集合；降低所述原测试图像集合中的各原测试图像的分辨率，并且渲染各原测试图像的背景光线，得到第三类测试图像集合；通过训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合进行识别；分别统计所述训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合识别的准确率。
可选地，采用深度神经网络模型降低所述原训练图像集合中的各原训练图像的分辨率。
在所述获取原训练图像集合之前，所述方法还包括：以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型；高分辨率子图像样本为低分辨率子图像样本分辨率转化后的图像。
可选地，在所述以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型之前，所述方法还包括：
将低分辨率图像样本分割为多个低分辨率子图像样本；采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本。
可选地，所述采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本，包括：采用图像全变分算法对低分辨率子图像样本进行分解，得到卡通子图像样本和纹理子图像样本；采用插值算法对所述卡通子图像样本进行放大，得到放大后的卡通子图像样本；采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本；对所述放大后的卡通子图像样本和所述放大后的纹理子图像样本进行合成，得到高分辨率子图像样本。
可选地，所述图像全变分算法的表达式为：
其中，(xp,yp)表示低分辨率子图像样本中当前中心像素点；(xq,yq)表示(xp,yp)的全变分的像素点；是(xp,yp)和(xq,yq)所在物体内的像素值的方差，cp,q为相乘因子；Tg为预设阈值；
可选地，所述采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本，包括：采用字典训练算法得到所述纹理子图像样本的图像块字典；采用所述图像块字典和正交匹配跟踪方法对所述纹理子图像样本进行放大，得到初始高分辨率子图像；对所述初始高分辨率子图像进行最近邻的加边处理，得到加边高分辨子图像；对所述加边高分辨子图像进行第一次同伦处理，得到第一加边高分辨率子图像；对所述第一加边高分辨率子图像进行第二次同伦处理，得到所述放大后的纹理子图像样本。
基于相同的技术构思，本申请还提供了一种表情识别模型训练装置，包括：
获取模块，用于获取原训练图像集合。所述原训练图像集合包括多个已标注的原训练图像。
处理模块，用于对所述获取模块所获取的所述原训练图像集合分别进行以下处理：降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合。
所述处理模块还用于分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
可选地，所述获取模块还用于获取原测试图像集合；所述原测试图像集合包括多个原测试图像；原测试图像用于测试训练后的表情识别模型对人脸图像识别的准确率。
所述处理模块还用于对所述获取模块所获取的所述原测试图像集合分别进行以下处理：降低所述原测试图像集合中的各原测试图像的分辨率，得到第一类测试图像集合；渲染所述原测试图像集合中的各原测试图像的背景光线，得到第二类测试图像集合；降低所述原测试图像集合中的各原测试图像的分辨率，并且渲染各原测试图像的背景光线，得到第三类测试图像集合；通过训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合进行识别。
所述处理模块还用于分别统计所述训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合识别的准确率。
可选地，采用深度神经网络模型降低所述原训练图像集合中的各原训练图像的分辨率。
所述处理模块还用于以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型；高分辨率子图像样本为低分辨率子图像样本分辨率转化后的图像。
可选地，所述处理模块还用于将低分辨率图像样本分割为多个低分辨率子图像样本；采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本。
可选地，所述处理模块具体用于采用图像全变分算法对低分辨率子图像样本进行分解，得到卡通子图像样本和纹理子图像样本；采用插值算法对所述卡通子图像样本进行放大，得到放大后的卡通子图像样本；采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本；对所述放大后的卡通子图像样本和所述放大后的纹理子图像样本进行合成，得到高分辨率子图像样本。
可选地，所述图像全变分算法的表达式为：
其中，(xp,yp)表示低分辨率子图像样本中当前中心像素点；(xq,yq)表示(xp,yp)的全变分的像素点；是(xp,yp)和(xq,yq)所在物体内的像素值的方差，cp,q为相乘因子；Tg为预设阈值；
可选地，所述处理模块具体用于采用字典训练算法得到所述纹理子图像样本的图像块字典；采用所述图像块字典和正交匹配跟踪方法对所述纹理子图像样本进行放大，得到初始高分辨率子图像；对所述初始高分辨率子图像进行最近邻的加边处理，得到加边高分辨子图像；对所述加边高分辨子图像进行第一次同伦处理，得到第一加边高分辨率子图像；对所述第一加边高分辨率子图像进行第二次同伦处理，得到所述放大后的纹理子图像样本。
基于相同的技术构思，本申请还提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述的表情识别模型训练方法中的步骤。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述的表情识别模型训练方法中的步骤。
本申请的有益效果：通过对原训练图像的清晰度或背景色调等特征进行调整，得到多类新的训练图像，新的训练图像无需再做人工打标处理，丰富了表情识别模型的训练样本图像集，大大降低训练样本图像打标作业所消耗的时间和人力成本；此外，采用多种清晰度和背景色调的训练样本图像对表情识别模型进行训练，提高表情识别模型的识别准确率。
附图说明
图1为本申请实施例中表情识别模型训练方法的流程示意图。
图2为本申请实施例中表情识别模型训练装置的结构示意图。
图3为本申请实施例中计算机设备的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一些实施方式中一种表情识别模型训练方法的流程图，该表情识别模型训练方法由表情识别模型训练设备执行，表情识别模型训练设备可以是电脑等设备，如图1所示，可以包括以下步骤S1-S3：
S1、获取原训练图像集合。
所述原训练图像集合包括多个已标注的原训练图像。
原训练图像为人工标注好的训练样本图像，用于训练表情识别模型。表情识别模型训练所需的训练样本图像的数量很大，传统的训练样本图像打标方式为采用人工一一对训练样本图像进行标注，消耗很多的时间以及人力成本。
S2、对所述原训练图像集合分别进行以下处理：降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合。
一些实施方式中，采用深度神经网络模型降低所述原训练图像集合中的各原训练图像的分辨率。
所述深度神经网络模型由模型生成设备根据低分辨率图像样本、图像转换算法以及深度神经网络框架生成。所述深度神经网络模型包括交替采用不同参数矩阵作为卷积模板参数的多个非线性转换卷积层。
在步骤S1之前，该方法还包括以下步骤S01-S03：
S01、将低分辨率图像样本分割为多个低分辨率子图像样本。
对低分辨率图像样本进行分割，以丰富低分辨率图像样本集。
S02、采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本。
一些实施方式中，步骤S02包括以下步骤S021-S024：
S021、采用图像全变分算法对低分辨率子图像样本进行分解，得到卡通子图像样本和纹理子图像样本。
全变分(TotalVariation)也称为全变差，常用于图象复原。
采用图像分解把低分辨率子图像样本分解为卡通(cartoon)和纹理(texture)部分。其中，卡通部分提取的是低分辨率子图像样本的结构信息，像素点值只在物体交界处有较大变化，在物体内部的像素点值变化小，图像平滑。纹理部分提取的是低分辨率子图像样本的细节部分，其中的像素点值的变化较大。
一些实施方式中，所述图像全变分算法的表达式为：
其中，(xp,yp)表示低分辨率子图像样本中当前中心像素点；(xq,yq)表示(xp,yp)的全变分的像素点；是(xp,yp)和(xq,yq)所在物体内的像素值的方差，cp,q为相乘因子；Tg为预设阈值；
S022、采用插值算法对所述卡通子图像样本进行放大，得到放大后的卡通子图像样本。
对所述卡通子图像样本的像素点采用插值模板函数进行插值，得到所述放大后的卡通子图像样本。图像插值属于现有技术，在此不再赘述。
S023、采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本。
同伦(Homotopy Method)法在拓扑上描述了两个对象间的“连续变化”，两个拓扑空间如果可以通过一系列连续的形变从一个变到另一个，那么就称这两个拓扑空间同伦。
一些实施方式中，步骤S023包括以下步骤：采用字典训练算法得到所述纹理子图像样本的图像块字典；采用所述图像块字典和正交匹配跟踪方法对所述纹理子图像样本进行放大，得到初始高分辨率子图像；对所述初始高分辨率子图像进行最近邻的加边处理，得到加边高分辨子图像；对所述加边高分辨子图像进行第一次同伦处理，得到第一加边高分辨率子图像；对所述第一加边高分辨率子图像进行第二次同伦处理，得到所述放大后的纹理子图像样本。
所述图像块字典包括高分辨率图像块字典和低分辨率图像块字典。
可选地，字典训练算法为K-SVD字典训练算法。K-SAD是一种经典的字典训练算法，依据误差最小原则，对误差项进行奇异值分解(Singular Value Decomposition，SVD)，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。
S024、对所述放大后的卡通子图像样本和所述放大后的纹理子图像样本进行合成，得到高分辨率子图像样本。
一些实施方式中，图像合成的表达式为：
fH＝fc+ft+λ1*G(ft)
其中，fH为所述高分辨率子图像样本，ft放大后的纹理图像样本，fc为放大后的卡通图像样本，G(ft)为对图像ft求Robert梯度的模值，λ1为大于0的常数。
上述实施方式，通过创建具有非线性转换卷积层的深度神经网络模型，提高了将高分辨率图像转换为低分辨率图像的准确性。
S03、以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型。
高分辨率子图像样本为低分辨率子图像样本分辨率转化后的图像。
此外，图像的背景光线渲染是对图像的背景进行调色的过程，属于现有技术，在此不再赘述。
S3、分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
表情识别模型用于识别人脸图像中人物的微表情，如快乐、伤心、恐惧、愤怒、惊讶和厌恶等微表情。
本实施例中，对原训练图像的清晰度或背景色调等特征进行调整，均不改变原训练图像的维度结果。而所得到的第一类训练图像、第二类训练图像、第三类训练图像对于表情识别模型而言，却是新的图像。所以基于已做标注的原训练图像，所得到的第一类训练图像集合、第二类训练图像集合、第三类训练图像集合无需再做人工打标处理，且丰富了表情识别模型的训练样本图像集。
一些实施方式中，在步骤S3之后，该方法还包括以下步骤S4-S7：
S4、获取原测试图像集合。
所述原测试图像集合包括多个原测试图像。原测试图像用于测试训练后的表情识别模型对人脸图像识别的准确率。
S5、对所述原测试图像集合分别进行以下处理：降低所述原测试图像集合中的各原测试图像的分辨率，得到第一类测试图像集合；渲染所述原测试图像集合中的各原测试图像的背景光线，得到第二类测试图像集合；降低所述原测试图像集合中的各原测试图像的分辨率，并且渲染各原测试图像的背景光线，得到第三类测试图像集合。
所述原测试图像的分辨率和背景光线的处理过程与前述原训练图像的分辨率和背景光线的处理过程相同，在此不再赘述。
S6、通过训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合进行识别。
S7、分别统计所述训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合识别的准确率。
以所述第一类测试图像集合为例，训练后的表情识别模型对所述第一类测试图像集合进行识别，输出每个第一类测试图像的识别结果；将识别结果与预设比对结果进行比较，若识别结果与预设比对结果一致，则判定表情识别模型输出的识别结果正确，否则，判定表情识别模型输出的识别结果错误。记录被准确识别的第一类测试图像的数量，将被准确识别的第一类测试图像的数量与第一类测试图像的总量做除法运算，得到表情识别模型对所述第一类测试图像集合识别的准确率。
上述实施例中，通过对原训练图像的清晰度或背景色调等特征进行调整，得到多类新的训练图像，新的训练图像无需再做人工打标处理，丰富了表情识别模型的训练样本图像集，大大降低了训练样本图像打标作业所消耗的时间和人力成本。此外，统计所述表情识别模型对原训练图像、所述第一类训练图像、所述第二类训练图像、所述第三类训练图像识别的准确率，为评估表情识别模型的实际效果提供依据。
基于相同的技术构思，本申请还提供了一种表情识别模型训练装置，其可用于丰富训练图像集，提高表情识别模型训练的效率。本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的表情识别模型训练的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图2所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。
所述获取模块1，用于用于获取原训练图像集合。
所述原训练图像集合包括多个已标注的原训练图像。
所述处理模块2，用于对所述获取模块1所获取的所获取的所述原训练图像集合分别进行以下处理：降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合。
所述处理模块2还用于分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
一些实施方式中，所述获取模块1还用于获取原测试图像集合；所述原测试图像集合包括多个原测试图像；原测试图像用于测试训练后的表情识别模型对人脸图像识别的准确率。
所述处理模块2还用于对所述获取模块1所获取的所述原测试图像集合分别进行以下处理：降低所述原测试图像集合中的各原测试图像的分辨率，得到第一类测试图像集合；渲染所述原测试图像集合中的各原测试图像的背景光线，得到第二类测试图像集合；降低所述原测试图像集合中的各原测试图像的分辨率，并且渲染各原测试图像的背景光线，得到第三类测试图像集合；通过训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合进行识别。
所述处理模块2还用于分别统计所述训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合识别的准确率。
一些实施方式中，采用深度神经网络模型降低所述原训练图像集合中的各原训练图像的分辨率。
所述处理模块2还用于以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型；高分辨率子图像样本为低分辨率子图像样本分辨率转化后的图像。
一些实施方式中，所述处理模块2还用于将低分辨率图像样本分割为多个低分辨率子图像样本；采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本。
一些实施方式中，所述处理模块2具体用于采用图像全变分算法对低分辨率子图像样本进行分解，得到卡通子图像样本和纹理子图像样本；采用插值算法对所述卡通子图像样本进行放大，得到放大后的卡通子图像样本；采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本；对所述放大后的卡通子图像样本和所述放大后的纹理子图像样本进行合成，得到高分辨率子图像样本。
一些实施方式中，所述图像全变分算法的表达式为：
其中，(xp,yp)表示低分辨率子图像样本中当前中心像素点；(xq,yq)表示(xp,yp)的全变分的像素点；是(xp,yp)和(xq,yq)所在物体内的像素值的方差，cp,q为相乘因子；Tg为预设阈值；
一些实施方式中，所述处理模块2具体用于采用字典训练算法得到所述纹理子图像样本的图像块字典；采用所述图像块字典和正交匹配跟踪方法对所述纹理子图像样本进行放大，得到初始高分辨率子图像；对所述初始高分辨率子图像进行最近邻的加边处理，得到加边高分辨子图像；对所述加边高分辨子图像进行第一次同伦处理，得到第一加边高分辨率子图像；对所述第一加边高分辨率子图像进行第二次同伦处理，得到所述放大后的纹理子图像样本。
上述实施例中，通过对原训练图像的清晰度或背景色调等特征进行调整，得到多类新的训练图像，新的训练图像无需再做人工打标处理，丰富了表情识别模型的训练样本图像集，大大降低训练样本图像打标作业所消耗的时间和人力成本。此外，统计所述表情识别模型对原训练图像、所述第一类训练图像、所述第二类训练图像、所述第三类训练图像识别的准确率，为评估表情识别模型的实际效果提供依据。
基于相同的技术构思，本申请还提供了一种计算机设备，如图3所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的表情识别模型训练方法的步骤。
图2中所示的获取模块1对应的实体设备为图3所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。
图2中所示的处理模块2对应的实体设备为图3所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的表情识别模型训练方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。
Claims (10)
1.一种表情识别模型训练方法，其特征在于，包括：
获取原训练图像集合；所述原训练图像集合包括多个已标注的原训练图像；
对所述原训练图像集合分别进行以下处理：
降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；
渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；
降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合；
分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
2.根据权利要求1所述的表情识别模型训练方法，其特征在于，
在所述分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型之后，所述方法还包括：
获取原测试图像集合；所述原测试图像集合包括多个原测试图像；原测试图像用于测试训练后的表情识别模型对人脸图像识别的准确率；
对所述原测试图像集合分别进行以下处理：
降低所述原测试图像集合中的各原测试图像的分辨率，得到第一类测试图像集合；
渲染所述原测试图像集合中的各原测试图像的背景光线，得到第二类测试图像集合；
降低所述原测试图像集合中的各原测试图像的分辨率，并且渲染各原测试图像的背景光线，得到第三类测试图像集合；
通过训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合进行识别；
分别统计所述训练后的表情识别模型对所述原测试图像集合、所述第一类测试图像集合、所述第二类测试图像集合以及所述第三类测试图像集合识别的准确率。
3.根据权利要求1所述的表情识别模型训练方法，其特征在于，
采用深度神经网络模型降低所述原训练图像集合中的各原训练图像的分辨率；
在所述获取原训练图像集合之前，所述方法还包括：
以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型；高分辨率子图像样本为低分辨率子图像样本分辨率转化后的图像。
4.根据权利要求3所述的表情识别模型训练方法，其特征在于，
在所述以高分辨率子图像样本作为深度神经网络框架的输入样本，以低分辨率子图像样本作为所述深度神经网络框架的输出对比样本，生成所述深度神经网络模型之前，所述方法还包括：
将低分辨率图像样本分割为多个低分辨率子图像样本；
采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本。
5.根据权利要求4所述的表情识别模型训练方法，其特征在于，
所述采用图像转换算法对低分辨率子图像样本进行图像转换，得到低分辨率子图像样本对应的高分辨率子图像样本，包括：
采用图像全变分算法对低分辨率子图像样本进行分解，得到卡通子图像样本和纹理子图像样本；
采用插值算法对所述卡通子图像样本进行放大，得到放大后的卡通子图像样本；
采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本；
对所述放大后的卡通子图像样本和所述放大后的纹理子图像样本进行合成，得到高分辨率子图像样本。
6.根据权利要求5所述的表情识别模型训练方法，其特征在于，
所述图像全变分算法的表达式为：
其中，(xp,yp)表示低分辨率子图像样本中当前中心像素点；(xq,yq)表示(xp,yp)的全变分的像素点；是(xp,yp)和(xq,yq)所在物体内的像素值的方差，cp,q为相乘因子；Tg为预设阈值；
7.根据权利要求5所述的表情识别模型训练方法，其特征在于，
所述采用同伦法对所述纹理子图像样本进行放大，得到放大后的纹理子图像样本，包括：
采用字典训练算法得到所述纹理子图像样本的图像块字典；
采用所述图像块字典和正交匹配跟踪方法对所述纹理子图像样本进行放大，得到初始高分辨率子图像；
对所述初始高分辨率子图像进行最近邻的加边处理，得到加边高分辨子图像；
对所述加边高分辨子图像进行第一次同伦处理，得到第一加边高分辨率子图像；
对所述第一加边高分辨率子图像进行第二次同伦处理，得到所述放大后的纹理子图像样本。
8.一种表情识别模型训练装置，其特征在于，包括：
获取模块，用于获取原训练图像集合；所述原训练图像集合包括多个已标注的原训练图像；
处理模块，用于对所述获取模块所获取的所述原训练图像集合分别进行以下处理：降低所述原训练图像集合中的各原训练图像的分辨率，得到第一类训练图像集合；渲染所述原训练图像集合中的各原训练图像的背景光线，得到第二类训练图像集合；降低所述原训练图像集合中的各原训练图像的分辨率，并且渲染各原训练图像的背景光线，得到第三类训练图像集合；
所述处理模块还用于分别通过所述原训练图像集合、所述第一类训练图像集合、所述第二类训练图像集合以及所述第三类训练图像集合训练表情识别模型。
9.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中的任一所述的表情识别模型训练方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中的任一所述的表情识别模型训练方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427443.1A CN110309713A (zh) | 2019-05-22 | 2019-05-22 | 表情识别模型训练方法、装置、设备和存储介质 |
| PCT/CN2020/087605 WO2020233368A1 (zh) | 2019-05-22 | 2020-04-28 | 表情识别模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427443.1A CN110309713A (zh) | 2019-05-22 | 2019-05-22 | 表情识别模型训练方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309713A true CN110309713A (zh) | 2019-10-08 |
Family
ID=68075415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910427443.1A Pending CN110309713A (zh) | 2019-05-22 | 2019-05-22 | 表情识别模型训练方法、装置、设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110309713A (zh) |
| WO (1) | WO2020233368A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597476A (zh) * | 2020-05-06 | 2020-08-28 | 北京金山云网络技术有限公司 | 图像处理方法及装置 |
| WO2020233368A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 表情识别模型训练方法、装置、设备和存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784857B (zh) * | 2021-01-29 | 2022-11-04 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN113255517B (zh) * | 2021-05-24 | 2023-10-24 | 中国科学技术大学 | 保护隐私的表情识别模型训练方法及表情识别方法及装置 |
| CN114155370B (zh) * | 2021-10-29 | 2025-02-18 | 北京搜狗科技发展有限公司 | 图像数据处理方法、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767416A (zh) * | 2017-09-05 | 2018-03-06 | 华南理工大学 | 一种低分辨率图像中行人朝向的识别方法 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| US20180286037A1 (en) * | 2017-03-31 | 2018-10-04 | Greg Zaharchuk | Quality of Medical Images Using Multi-Contrast and Deep Learning |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309713A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 表情识别模型训练方法、装置、设备和存储介质 |
-
2019
- 2019-05-22 CN CN201910427443.1A patent/CN110309713A/zh active Pending
-
2020
- 2020-04-28 WO PCT/CN2020/087605 patent/WO2020233368A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180286037A1 (en) * | 2017-03-31 | 2018-10-04 | Greg Zaharchuk | Quality of Medical Images Using Multi-Contrast and Deep Learning |
| CN107767416A (zh) * | 2017-09-05 | 2018-03-06 | 华南理工大学 | 一种低分辨率图像中行人朝向的识别方法 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
Non-Patent Citations (1)
| Title |
|---|
| 有三AI: "一文道尽深度学习中的数据增强方法（上）", HTTPS://WWW.JIANSHU.COM/P/99450DBDADCF, pages 10 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233368A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 表情识别模型训练方法、装置、设备和存储介质 |
| CN111597476A (zh) * | 2020-05-06 | 2020-08-28 | 北京金山云网络技术有限公司 | 图像处理方法及装置 |
| CN111597476B (zh) * | 2020-05-06 | 2023-08-22 | 北京金山云网络技术有限公司 | 图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020233368A1 (zh) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309713A (zh) | 表情识别模型训练方法、装置、设备和存储介质 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN110659718A (zh) | 基于深度卷积神经网络的小卷积核细胞计数方法及系统 | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| CN107909622A (zh) | 模型生成方法、医学成像的扫描规划方法及医学成像系统 | |
| CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
| CN111161137A (zh) | 一种基于神经网络的多风格国画花生成方法 | |
| CN105787488B (zh) | 由全局向局部传递的图像特征提取方法及装置 | |
| CN109325513B (zh) | 一种基于海量单类单幅图像的图像分类网络训练方法 | |
| CN117122303B (zh) | 一种脑网络的预测方法、系统、设备和存储介质 | |
| CN109447088A (zh) | 一种乳腺影像识别的方法及装置 | |
| CN110490262A (zh) | 图像处理模型生成方法、图像处理方法、装置及电子设备 | |
| CN113888501B (zh) | 一种基于注意力定位网络的无参考型图像质量评价方法 | |
| CN113657479B (zh) | 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 | |
| WO2021027152A1 (zh) | 基于条件生成对抗网络合成图像的方法及相关设备 | |
| Esmaeilzehi et al. | Compnet: A new scheme for single image super resolution based on deep convolutional neural network | |
| Lin et al. | A fourier domain training framework for convolutional neural networks based on the fourier domain pyramid pooling method and fourier domain exponential linear unit | |
| CN112766340A (zh) | 基于自适应空间模式的深度胶囊网络图像分类方法及系统 | |
| CN111046883B (zh) | 一种基于古钱币图像的智能评估方法及系统 | |
| CN117745736B (zh) | 一种基于元学习的跨域小样本ct图像语义分割系统及方法 | |
| CN110489584B (zh) | 基于密集连接的MobileNets模型的图像分类方法及系统 | |
| CN113033106A (zh) | 一种基于ebsd与深度学习方法的钢铁材料性能预测方法 | |
| CN115909016B (zh) | 基于GCN分析fMRI图像的系统、方法、电子设备及介质 | |
| CN118429980A (zh) | 基于深度学习的书法临帖效果评价方法 | |
| CN114627010B (zh) | 一种基于染色密度图的染色空间迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191008 |