CN102314612A - 一种笑脸图像的识别方法、识别装置和图像获取设备 - Google Patents

Abstract

本发明提供一种笑脸图像的识别方法、识别装置和图像获取设备，其中，识别方法包括：步骤一，对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；步骤二，将所述区域图像在预置的主元空间进行投影，得到投影向量；步骤三，根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。本发明通过投影向量的计算和笑脸判断函数的代入计算，能够快速准确的进行笑脸识别，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

Description

一种笑脸图像的识别方法、识别装置和图像获取设备

技术领域

本发明涉及图像处理技术，特别是涉及一种笑脸图像的识别方法、识别装置和图像获取设备。

背景技术

目前，数码摄像机、数码相机以及摄像头等数码图像设备的应用越来越多。人们在利用这些设备拍摄图像时，往往希望拍摄到的图像中的人脸具有较好的面部表情，例如微笑表情等。而在实际拍摄过程中，由于拍摄时机、拍摄速度等客观因素的关系，可能无法拍摄到笑脸，特别是对儿童进行拍摄时，由于儿童很难长时间维持笑的表情，因而往往无法拍摄到儿童的笑脸。

针对以上情况的应用需求，要求摄像设备可以在检测到笑脸时快速地自动拍摄，从而获得合适的笑脸图像。这就需要在摄像设备上应用能够快速识别笑脸的笑脸识别技术，同时，笑脸识别还可以用于图像内容分析和检索等应用范围。

但是，目前常用的笑脸识别技术通常是进行牙齿检测，检测到牙齿的就认为是笑脸，这种方法识别出的是露出牙齿的脸，而不是真正的笑脸。此外，目前常见的笑脸识别方法通常识别速度很慢、识别率低，往往需要使用者摆好表情一段时间之后才能识别出来。因此，如何提供一种快速准确的笑脸识别方法，是有待解决的技术问题。

发明内容

本发明的目的是提供一种笑脸图像的识别方法、识别装置和图像获取设备，能够快速准确的进行笑脸识别，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

为了实现上述目的，一方面，提供了一种笑脸图像的识别方法，包括如下步骤：

步骤一，对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

步骤二，将所述区域图像在预置的主元空间进行投影，得到投影向量；

步骤三，根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

优选地，上述的方法中，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。

优选地，上述的方法中，所述步骤一中，所述区域图像为人脸区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述步骤一中，所述区域图像为嘴部区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量。

优选地，上述的方法中，所述步骤一中，所述区域图像包括人脸区域图像和嘴部区域图像；

所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

本发明实施例还提供一种笑脸图像的识别装置，包括：

人脸检测模块，用于：对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

投影模块，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；

判断模块，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

优选地，上述的识别装置中，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。

优选地，上述的识别装置中，所述区域图像为人脸区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述区域图像为嘴部区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量。

优选地，上述的识别装置中，所述区域图像包括人脸区域图像和嘴部区域图像；

所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

本发明实施例还提供一种图像获取设备，包括笑脸图像的识别装置，所述识别装置包括：

人脸检测模块，用于：对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

投影模块，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；

判断模块，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

优选地，上述的图像获取设备中，所述图像获取设备为数码相机、摄像机或摄像头。

本发明至少存在以下技术效果：

1)本发明实施例笑脸识别的实时计算操作主要包括投影向量的计算和笑脸判断函数的代入计算，这些都是非常快速的，完全可以满足实时的需要。

2)本发明实施例利用人脸区域和嘴巴区域的主分量分析和笑脸判断函数的方法识别笑脸，不但可以确定是否是笑脸，还可以确定笑得程度。在相关应用中，可以通过改变阈值来加强或放松对笑脸的限制。

3)本发明实施例的训练部分，包括主元空间的建立、笑脸判断函数的确定都是在离线的状态下训练完成的，不占用笑脸识别的时间。因此，本发明可以快速有效地确定图像中的人脸区域是否是笑脸，并确定笑得程度。

附图说明

图1为本发明实施例提供的识别方法的步骤流程图；

图2为本发明实施例提供的识别方法的详细步骤的流程图；

图3为本发明实施例提供的识别装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。

图1为本发明实施例提供的识别方法的步骤流程图，如图1所示，本发明实施例的笑脸图像的识别方法，包括如下步骤：

步骤101，对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

步骤102，将所述区域图像在预置的主元空间进行投影，得到投影向量；

步骤103，根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

其中，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。当然，函数f也可以是其它类型的函数，只要通过已知样本带入函数，通过方程组求得各项系数，即可以确定该函数。

所述区域图像可以为人脸区域图像、嘴部区域图像或者二者都有，可以单独通过人脸区域图像或嘴部区域图像进行笑脸识别，也可以二者联合进行识别。

所以，所述步骤一中，所述区域图像为人脸区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述步骤一中，所述区域图像为嘴部区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量；或者，

所述步骤一中，所述区域图像包括人脸区域图像和嘴部区域图像；所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

组成联合投影向量方法，是把人脸图像向量和嘴部图像向量连成一个向量，两个向量连成一个向量是把他们的元素排列为一个向量，比如一个向量的维数是10，另一个是20，把他们的元素排列为一个向量，就成了一个30维的向量。例如向量(a，b)与向量(c，d)连成一个向量为(a，b，c，d)。

可见，本发明实施例提出了一种基于主分量分析和笑容函数的笑脸识别方法，首先进行人脸检测，得到图像中的人脸区域和嘴巴区域，训练人脸区域和嘴巴区域的主元空间；分别对面部区域进全局分析，对嘴巴区域进行局部分析，得到主元空间内的投影向量；对于得到的投影向量可以采用两类划分的方法进行笑脸和非笑脸的分类，也可以训练一个此投影向量的函数，根据此函数值确定是否是笑脸、笑的程度等。利用这种方法，可以快速有效地识别笑脸，还可以确定笑得程度。

图2为本发明实施例提供的识别方法的详细步骤的流程图；如图所示，实施共分为三个步骤，下面分别进行描述。

(一)人脸检测

人脸检测是从图像中获得图像中人脸的位置、大小等，目前常用的人脸检测方法是基于AdaBoost(是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器)的人脸检测方法。属于已有技术，这里不再详细描述。

如果图像中存在人脸，通过人脸检测得到人脸区域的个数、位置、尺寸等。如果图像中不存在人脸，则人脸检测模块给出不存在人脸的标志。

(二)在主元空间进行投影

主元空间是提前根据人脸区域和/或嘴巴区域进行主分量分析得到的。

通过人脸检测，得到了人脸的区域。通过进一步的部件定位可以获得嘴巴区域。通过对人脸区域进行主分量分析，建立人脸区域的主元空间。主分量分析是获得训练样本的主要能量方向的方法，具体实现方法为现有技术。为了使得得到的主元空间能反映笑和不笑的面部特征，需要保证训练样本包含个数相当的笑和不笑的样本。通过人脸检测得到人脸区域，然后将人脸区域进行尺寸放缩和对准，得到尺寸相同、关键点对齐的人脸样本，然后进行亮度归一化，然后计算主元空间。人脸区域尺寸的选择没有明确要求，考虑到需要反映面部表情的变化，人脸区域的分辨率不应太低；同时考虑到计算量的影响，人脸区域的分辨率也不能太高，因此，通常选择人脸区域的宽高在几十像素到一百多像素为宜。

得到了人脸的主元空间，可以将输入图像中的人脸区域在人脸的主元空间进行投影得到人脸的投影向量，该投影向量表征了人脸的大部分信息，且具有较低的维数，便于接下来判断是否是笑脸。

人脸在主元空间的投影向量可以反映人脸的表情变化。人脸的主元空间是综合利用人脸的信息，其中对于不同的人脸部件的关注程度是相同的，但是，表情变化引起不同的人脸部件的变化程度是不同的，其中，笑引起变化程度最大的是嘴巴。为了更有效利用嘴巴的信息，我们在人脸定位的基础上进一步定位了嘴巴区域，然后对嘴巴进行主分量分析，并通过将嘴巴区域在嘴巴的主元空间进行投影得到嘴巴的投影向量。

这里，将人脸区域和嘴巴区域的投影向量进行联合，得到该人脸的联合投影向量，并利用此向量进行笑脸判断。

需要指出的是，单独利用人脸的投影向量或者嘴巴的投影向量就可以完成笑脸判断的过程，因此，此处的联合不是必须的。但是，联合综合利用了人脸和嘴巴的信息，利用的信息更多，判断的结果更准确。

(三)笑脸判断

得到了投影向量后，可以利用该投影向量进行笑脸判断。可以将笑脸识别认为是一个两类划分的问题，因此，训练一个两类划分的分界面即可以完成笑脸判断。常用的分类方法有最小距离方法、SVM方法等。这些方法可以给出是否笑脸的结论，但对于笑得程度无法给出。

这里，本发明实施例提出一种笑脸判断函数，通过此函数不但可以确定是否笑脸，还可以确定笑得程度。

Y＝f(v)；其中，笑脸判断函数f，笑得程度Y，投影向量v。

Y为笑得程度，其取值范围是[0，1]。中性人脸，也就是没有任何笑容的人脸的笑得程度为0，微笑不露齿的笑得程度小于50％，露出少量牙齿的笑得程度为50％左右，大笑时的笑得程度为1，即100％。为了计算得到笑脸判断函数的参数，需要事先标定训练人脸的笑得程度。

f的形式可以是各种各样的，这里选择简单的多项式函数，如一次多项式、二次多项结构等。下面以一次多项式结构为例，说明获得多项式函数的过程。

Y＝kv+b，其中k为系数向量，b为偏移量。

取多个已知笑得程度样本，建立k、b的方程组，求解可得到k、b的值。对于待判断的人脸，通过笑脸判断函数就可以知道笑得程度了。

可以设定某个阈值th，根据笑得程度确定是否笑脸，笑得程度大于th，则为笑脸，否则，则认为该人脸为非笑脸。

图3为本发明实施例提供的识别装置的结构图。如图3所示，笑脸图像的识别装置，包括：

人脸检测模块301，用于：对输入图像进行人脸检测，获得所述输入图像中的人员面部区域图像；

投影模块302，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；

判断模块303，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

其中，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。

所述区域图像为人脸区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述区域图像为嘴部区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量；或者，

所述区域图像包括人脸区域图像和嘴部区域图像；所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

本发明实施例还提供了一种图像获取设备，包括笑脸图像的识别装置，所述识别装置包括：人脸检测模块，用于：对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；投影模块，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；判断模块，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

所述图像获取设备为数码相机、摄像机或摄像头。

由上可知，本发明实施例具有以下优势：

1)本发明实施例笑脸识别的实时计算操作主要包括投影向量的计算和笑脸判断函数的代入计算，这些都是非常快速的，完全可以满足实时的需要。

2)本发明实施例利用人脸区域和嘴巴区域的主分量分析和笑脸判断函数的方法识别笑脸，不但可以确定是否是笑脸，还可以确定笑得程度。在相关应用中，可以通过改变阈值来加强或放松对笑脸的限制。

3)本发明实施例的训练部分，包括主元空间的建立、笑脸判断函数的确定都是在离线的状态下训练完成的，不占用笑脸识别的时间。因此，本发明可以快速有效地确定图像中的人脸区域是否是笑脸，并确定笑得程度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种笑脸图像的识别方法，其特征在于，包括如下步骤：

步骤一，对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

步骤二，将所述区域图像在预置的主元空间进行投影，得到投影向量；

步骤三，根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

2.根据权利要求1所述的识别方法，其特征在于，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。

3.根据权利要求1所述的识别方法，其特征在于，

所述步骤一中，所述区域图像为人脸区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述步骤一中，所述区域图像为嘴部区域图像，所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量。

4.根据权利要求1所述的识别方法，其特征在于，

所述步骤一中，所述区域图像包括人脸区域图像和嘴部区域图像；

所述步骤二中，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

5.一种笑脸图像的识别装置，其特征在于，包括：

人脸检测模块，用于：对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

投影模块，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；

判断模块，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

6.根据权利要求5所述的识别装置，其特征在于，所述函数f为一次多项式函数Y＝bv+c，或者，所述函数f为二次多项式函数Y＝av²+bv+c，其中参数a、b、c为根据已知样本预先计算出的各项系数。

7.根据权利要求5所述的识别装置，其特征在于，

所述区域图像为人脸区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间，所述投影向量为所述人脸区域图像在所述人脸图像主元空间进行投影得到的人脸图像向量；或者，

所述区域图像为嘴部区域图像，所述主元空间为根据已知的训练样本进行主分量分析获得的嘴部图像主元空间，所述投影向量为所述嘴部区域图像在所述嘴部图像主元空间进行投影得到的嘴部图像向量。

8.根据权利要求5所述的识别装置，其特征在于，

所述区域图像包括人脸区域图像和嘴部区域图像；

所述主元空间为根据已知的训练样本进行主分量分析获得的人脸图像主元空间和嘴部图像主元空间；所述人脸区域图像在所述人脸图像主元空间进行投影，得到人脸图像向量，所述嘴部区域图像在所述嘴部图像主元空间进行投影，得到嘴部图像向量；所述投影向量为人脸图像向量和嘴部图像向量组成的联合投影向量。

9.一种图像获取设备，其特征在于，包括笑脸图像的识别装置，所述识别装置包括：

人脸检测模块，用于：对输入图像进行人脸检测，获得所述输入图像中的反映面部特征的区域图像；

投影模块，用于：将所述区域图像在预置的主元空间进行投影，得到投影向量；

判断模块，用于：根据公式Y＝f(v)计算笑的程度，其中，Y为所述笑的程度，v为所述投影向量，函数f为根据已知样本预先设置的笑脸判断函数；如果所述笑的程度大于预定门限，则所述输入图像为笑脸图像。

10.根据权利要求9所述的图像获取设备，其特征在于，所述图像获取设备为数码相机、摄像机或摄像头。

Images