CN107133579A - 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 - Google Patents
基于CSGF(2D)2PCANet卷积网络的人脸识别方法 Download PDFInfo
- Publication number
- CN107133579A CN107133579A CN201710260119.6A CN201710260119A CN107133579A CN 107133579 A CN107133579 A CN 107133579A CN 201710260119 A CN201710260119 A CN 201710260119A CN 107133579 A CN107133579 A CN 107133579A
- Authority
- CN
- China
- Prior art keywords
- image
- csgf
- mrow
- msup
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims 2
- 238000005286 illumination Methods 0.000 abstract description 11
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CSGF(2D)2PCANet度卷积模型的人脸身份识别方法。模型包含训练与测试两阶段。训练阶段首先对训练图像进行预处理，然后通过多层CSGF(2D)2PCA卷积获得输出特征图，最终送入Linear SVM分类器完成CSGF(2D)2PCANet模型的构建。测试阶段利用训练阶段基于多层滤波器卷积学习到的特征图与测试图像卷积得到多个输出特征图，将最终特征送入训练好的Linear SVM分类器，获得识别结果。本发明提出的基于CSGF与卷积结构深度模型的人脸身份识别方法，不仅具有旋转不变性，而且具有良好的局部性，对遮挡、光照、表情和噪声等因素具有良好的鲁棒性，提高了人脸识别性能。
Description
技术领域：
本发明属于机器视觉领域，特别涉及一种基于CSGF(2D)2PCANet卷积网络的人脸识别方法。
背景技术：
人脸身份识别技术是利用计算机分析人脸的图像或视频流，从中提取每个人脸所蕴含的特征，并通过这些提取的特征识别身份的一种技术。
近年来，人脸身份识别技术得到较快的发展，并取得了大量的研究成果。目前，最主要的人脸身份识别方法可分为几类：基于几何特征的人脸身份识别、基于相关匹配的人脸身份识别、基于子空间的人脸身份识别、基于统计的人脸身份识别、基于弹性匹配的人脸身份识别、基于神经网络的人脸身份识别和基于三维模型的人脸身份识别等。人脸身份识别在理论研究和实际应用中都有十分重要的价值。近年来，虽然人脸身份识别在理论研究中积累了宝贵的经验,但在实际的应用中，由于人脸的表情、姿态、光照强度、遮挡物、噪声变化等问题使得人脸身份识别的鲁棒性受到很大的影响，因而人脸身份识别在实际应用中面临诸多的挑战。
本发明为了克服上述人脸身份识别现有技术中的问题，提出了一种基于CSGF(2D)2PCANet卷积网络的人脸识别方法。此方法不仅克服了CNN耗时、标签数目需求量大及Gabor滤波数据冗余、选取方向时离散无旋转不变性的缺点，而且吸取了深度模型和环形对称Gabor滤波器(Circular Symmetric Gabor Filter,CSGF)的优点，可以提取数据中更加抽象的特征，对光照、表情、遮挡等因素具有鲁棒性。
发明内容：
本发明的主要目的是提出一种基于CSGF(2D)2PCANet卷积网络的人脸识别方法，具有旋转不变性，在各个方向都具有相同的滤波作用，能够高效地进行人脸识别。
为了实现上述目的，本发明提供如下技术方案，包含训练阶段和测试阶段。
基于CSGF(2D)2PCANet卷积网络的人脸识别方法训练阶段技术方案如下：
步骤一、对训练图像进行预处理，包括将图像转化为灰度图、调整图像尺寸为p×q；
步骤二、将训练样本依次送入CSGF(2D)2PCANet模型的第一个特征提取层，获取第一个特征提取层的CSGF特征图像；具体地，令表示人脸图像训练集，其中N为训练集中的样本数，表示一张人脸样本图像；将每个样本Ai依次送入第一个特征提取层，首先进行CSGF，通过降采样，得到最终的CSGF特征图像[1]，记为其中s是特征图像降采样后的像素个数，t是CSGF的个数，t＝5；
步骤三、对每个CSGF特征图像Bi，扫描提取大小相同的图像块(m×n个l1×l2大小的图像块)，对图像块采取去均值操作，获得其中表示Bi中第j个去均值图像块；所有CSGF特征图像经过相同的处理之后，可得到样本矩阵 为了方便描述，用连续的序号表示I中所有的图像块并重记为
步骤四、利用基于(2D)2PCA的特征投影向量分析方法[2]，同时从行、列两个方向提取样本矩阵I的最优投影轴，作为第一层特征提取阶段卷积滤波器N1为第一层卷积滤波器的个数；
步骤五、将步骤四学习到的卷积滤波器与训练集人脸原始图像分别卷积，得到第一层的输出特征图(N×N1个特征图其中)；
步骤六、将步骤五得到的每个训练样本Ai对应的特征图作为第二个特征提取层输入，利用与步骤三至步骤五同样的特征学习方法，依次学习第二层的(人脸区分性特征)卷积滤波器N2为第二层卷积滤波器的个数；并用卷积滤波器与步骤五得到的特征图分别卷积，得到N×N1×N2个第二层特征图其中
步骤七、对步骤六中得到的每个训练样本Ai对应的第二层特征图二值哈希编码得到二值化特征图具体地，首先利用二值哈希函数H(·)将二值化，其中，当输入大于0时，H(·)值为1，当输入小于或等于0时，H(·)值为0；然后将所有由第二层的输入(第一层中由训练样本Ai生成的第n个特征图)二次卷积得到的N2个二值化特征图作为一组，将这N2个二值化特征图同一像素位置的二进制数组成的二值向量并转化为十进制数，从而得到一张整数值输出图其中i∈[1,N],n∈[1,N1]；因此单个样本Ai最终生成N1个二值特征图所有样本最终得到N×N1个二值特征图
步骤八、针对每个二值特征图其中i∈[1,N],n∈[1,N1]，以滑动窗的形式取[b1b2]大小的块,块的重叠比例为α,计算每个块的统计直方图，记为然后将所有由单个样本Ai生成的N1个二值特征图的局部区域的统计直方图拼接起来，得到人脸图像Ai的最终输出特征
步骤九、将步骤八得到的所有样本的输出特征送入Linear SVM分类器中训练，获得基于CSGF(2D)2PCANet的最优Linear SVM的人脸身份识别分类模型。
基于CSGF(2D)2PCANet卷积网络的人脸识别方法的测试阶段技术方案如下：
步骤一：对待测试人脸图像B进行预处理，包括将图像转化成灰度图、调整图像尺寸为p×q；
步骤二：与训练阶段类似，将待测试人脸图像B与训练阶段第一个特征提取层学习到的第一层卷积滤波器分别卷积得到第一层的特征图
步骤三：与训练阶段类似，步骤二输出的特征图作为第二个特征提取层原始输入，与训练阶段第二个特征提取层学习到的卷积滤波器分别卷积得到第二层的输出特征图
步骤四：与训练阶段类似，对步骤三得到的特征图做二值哈希编码，统计局部区域直方图，并将所有局部区域的统计直方图拼接起来，作为人脸图像B的最终提取到的特征
步骤五、将步骤四得到的图像最终输出特征送入训练好的Linear SVM分类器中进行分类，获得分类结果，即人脸识别结果。
与现有的技术相比，本发明具有以下有益效果：
1、本方法采取无监督学习方式，不仅克服了监督学习方式需要大量标签数据，而且需要繁重的迭代学习的缺点，大大减少了运算量，提高了系统的效率；
2、本方法采用深度网络结构的特征学习方法，取代了手工提取特征,吸取了深度学习网络能够从数据中自动学习到有效的区分性特征表达的优点，有效提高了自动人脸身份识别的准确率；
3、本方法提出的网络结构具有平移、旋转不变性的特点。结合CSGF和(2D)2PCA卷积滤波器的学习，CSGF降低了数据冗余，节省了大量的计算时间，且对各个方向具有相同的滤波作用，具有旋转不变性，能保持各方向下的特征，同时CSGF使得模型具有良好的局部特征表达能力，并且对光照、表情、遮挡、姿态和噪声等变化具有较好的鲁棒性，有效提高了复杂环境下人脸身份识别的准确率。
本发明具有较高的鲁棒性，达到了较高的人脸身份识别精度。
因此，本发明在人脸身份识别领域有广泛的应用前景。
附图说明：
图1基于CSGF(2D)2PCANet卷积网络的人脸识别方法特征学习框架；
具体实施方式
为了更好的说明本发明的目的、具体步骤以及特点，下面结合附图,以AR人脸库[3]为例，对本发明作进一步详细的说明：
本发明提出的一种基于CSGF(2D)2PCANet卷积网络的人脸识别方法，其中CSGF(2D)2PCANet深度卷积模型如图1所示。CSGF(2D)2PCANet由两个特征提取层和一个非线性输出层组成，特征提取层的卷积滤波器由CSGF和(2D)2PCA学习得到，用于卷积原始输入图像提取特征，非线性输出层包括二值哈希和局部直方图计算操作，用于进一步计算出最终的特征。
本发明提出的一种基于CSGF(2D)2PCANet卷积网络的人脸识别方法，包含训练阶段和测试阶段。
基于CSGF(2D)2PCANet卷积网络的人脸识别方法训练阶段技术方案如下：
步骤一、对训练图像进行预处理，包括将图像转化为灰度图、调整图像尺寸得到相同大小为p×q；
步骤二、将训练样本依次送入CSGF(2D)2PCANet模型的第一个特征提取层，获取第一个特征提取层的CSGF特征图像；具体地，令表示人脸图像训练集，其中N为训练集中的样本数，表示一张人脸样本图像；将每个样本Ai依次送入第一个特征提取层，首先进行CSGF，通过降采样，得到最终的CSGF特征图像[3]，记为其中s是特征图像降采样后的像素个数，t是CSGF的个数，t＝5；
步骤三、对每个CSGF特征图像Bi，扫描提取大小相同的图像块(m×n个l1×l2大小的图像块)，对图像块采取去均值操作，获得其中表示Bi中第j个去均值图像块；所有CSGF特征图像经过相同的处理之后，可得到样本矩阵 为了方便描述，用连续的序号表示I中所有的图像块并重记为
步骤四、利用基于(2D)2PCA的特征投影向量分析方法[2]，同时从行、列两个方向提取样本矩阵I的最优投影轴，作为第一层特征提取阶段卷积滤波器N1为第一层卷积滤波器的个数；
步骤五、将步骤四学习到的卷积滤波器与训练集人脸原始图像分别卷积，得到第一层的输出特征图(N×N1个特征图其中
步骤六、将步骤五得到的每个训练样本Ai对应的特征图作为第二个特征提取层输入，利用与步骤三至步骤五同样的特征学习方法，依次学习第二层的(人脸区分性特征)卷积滤波器N2为第二层卷积滤波器的个数；并用卷积滤波器与步骤五得到的特征图分别卷积，得到N×N1×N2个第二层特征图其中
步骤七、对步骤六中得到的每个训练样本Ai对应的第二层特征图二值哈希编码得到二值化特征图具体地，首先利用二值哈希函数H(·)将二值化，其中，当输入大于0时，H(·)值为1，当输入小于或等于0时，H(·)值为0；然后将所有由第二层的输入(第一层中由训练样本Ai生成的第n个特征图)二次卷积得到的N2个二值化特征图作为一组，将这N2个二值化特征图同一像素位置的二进制数组成的二值向量并转化为十进制数，从而得到一张整数值输出图其中i∈[1,N],n∈[1,N1]；因此单个样本Ai最终生成N1个二值特征图所有样本最终得到N×N1个二值特征图
步骤八、针对每个二值特征图其中i∈[1,N],n∈[1,N1]，以滑动窗的形式取[b1b2]大小的块,块的重叠比例为α,计算每个块的统计直方图，记为然后将所有由单个样本Ai生成的N1个二值特征图的局部区域的统计直方图拼接起来，得到人脸图像Ai的最终输出特征
步骤九、将步骤八得到的所有样本的输出特征送入Linear SVM分类器中训练，获得基于CSGF(2D)2PCANet的最优Linear SVM的人脸身份识别分类模型。
基于CSGF(2D)2PCANet卷积网络的人脸识别方法的测试阶段技术方案如下：
步骤一：对待测试人脸图像B进行预处理，包括将图像转化成灰度图、调整图像尺寸得到相同大小p×q；
步骤二：与训练阶段类似，将待测试人脸图像B与训练阶段第一个特征提取层学习到的第一层卷积滤波器分别卷积得到第一层的特征图
步骤三：与训练阶段类似，步骤二输出的特征图作为第二个特征提取层原始输入，与训练阶段第二个特征提取层学习到的卷积滤波器分别卷积得到第二层的输出特征图
步骤四：与训练阶段类似，对步骤三得到的特征图做二值哈希编码，统计局部区域直方图，并将所有局部区域的统计直方图拼接起来，作为人脸图像B的最终提取到的特征
步骤五、将步骤四得到的图像最终输出特征送入训练好的Linear SVM分类器中进行分类，获得分类结果，即人脸识别结果。
上述技术方案中，训练阶段步骤一训练集人脸图像进行预处理具体方法：
首先将彩色图像转化为灰度图，并将图像尺寸调整到相同大小p×q,以AR人脸库为例，预处理后，训练集中N张人脸图像记为其中p×q＝60×43。
上述技术方案中，训练阶段步骤二CSGF(2D)2PCANet第一个特征提取层的CSGF特征图像提取方法为：
1、对训练集中的每一张人脸图像Ai，进行CSGF，CSGF计算方法如下：
其中F是滤波器的中心频率，g(x,y)对应的是高斯核函数，δ对应的是高斯核函数g(x,y)的标准差，它决定着高斯核函数窗口的宽度，是滤波器的尺度参数，将CSGF记为G(F,δ)＝(x,y)；
CSGF的中心频率F和高斯核函数δ要满足如下滤波器带宽B控制的条件：
其中，对N×N大小的图像，CSGF的中心频率F通常选择如下：
根据本发明验证实验所涉及的图像尺寸大小，分别选取五个滤波器的中心频率为：
根据本发明所涉及实验的设置，取B＝1,所以，Fδ＝3λ。将F与λ的值代入，对应δ的取值为：
经过CSGF的滤波，特征图像很好地保留了各个方向下的特征，保证了特征的旋转不变性；
2、设原始输入图像表示为A(x,y),将上式获得的CSGFG(F,δ)(x,y)，与原始图像进行卷积可以得到CSGF的特征图像：
A(F,δ)(x,y)＝A(x,y)*G(F,δ)(x,y)
其中*表示卷积运算，A(F,δ)(x,y)表示对应于尺度F与标准差δ的CSGF与原始图像的卷积输出；
3、对CSGF特征图像进行降采样，得到最终的CSGF特征图像[1]，记为其中s是特征图像降采样后的像素个数，t是CSGF的个数；以AR人脸库为例，以d＝4对所有t个CSGF特征图像Av,u(x,y)降采样，降采样后的输出转换成向量的形式,将t个向量依次连接起来形成一个向量,该向量即可用来表示一幅图像的CSGF特征向量:r＝5；所有的训练样本的CSGF特征图像记为
上述技术方案中，训练阶段步骤四(2D)2PCA的特征投影向量分析方法为：
1、假设第一层卷积滤波器的个数是N1(以AR人脸库为例，N1＝3)；对于样本矩阵I中的每个图像块从行的方向，寻找最优投影轴行协方差矩阵定义如下：其中 是所有训练样本的平均值；对行协方差矩阵Grow进行K-L分解，由Grow的前N1个最大特征值对应的特征向量构成，记为
2、同样地，从列的方向，寻找最优投影轴列协方差矩阵定义如下： 由列协方差矩阵Gcol的前N1个最大特征值对应的特征向量构成，记为
3、计算N1个卷积滤波器：Wn＝YnXn T，n＝1,2,…,N1。
上述技术方案中，训练阶段步骤五中第一层特征图的计算方法为：
其中*表示卷积运算，n∈[1,N1]，i∈[1,N]；最终可获得N×N1个特征图
上述技术方案中，训练阶段步骤六CSGF(2D)2PCANet第二个特征提取层的特征学习方法与第一个特征提取层的特征学习方法相同，如图1所示，对每一个输入样本Ai，以步骤五得到的N1个特征图作为第二个特征提取层输入，假设第二层卷积滤波器的个数是N2(以AR人脸库为例，N2＝4)，学习得到N2个卷积滤波器将卷积滤波器与N1个特征图分别卷积,共得到N1×N2个特征图其中所有样本生成的第一层特征图依次送入第二层，最终获得N×N1×N2个第二层特征图
上述技术方案中，训练阶段步骤七中二值哈希编码的具体计算方法为：
1、利用二值哈希函数H(·)将每个训练样本Ai对应的第二层特征图二值化，其中，当输入大于0时，H(·)值为1，当输入小于或等于0时，H(·)值为0；
2、将所有由第二层的同一个输入(第一层中由训练样本Ai生成的第n个特征图)二次卷积得到的N2个二值化特征图作为一组，将这N2个二值化特征图同一像素位置的二进制数组成的二值向量并转化为十进制数，从而得到一张整数值输出图其中i∈[1,N],n∈[1,N1]，因此单个样本Ai最终生成N1个二值特征图所有样本最终得到N×N1个二值特征图
上述技术方案中，训练阶段步骤八中局部统计直方图的具体计算方法为：
对于每个输出图其中i∈[1,N],n∈[1,N1]，以滑动窗的形式取[b1b2]大小的块,块的重叠比例为α(以AR人脸库为例，b1×b2＝3×2，α＝0.5),计算每个块的统计直方图，记为然后将所有由单个样本Ai生成的N1个二值特征图的局部区域的统计直方图拼接起来，得到人脸图像Ai的最终输出特征
上述技术方案中，测试阶段步骤一测试集人脸图像进行预处理具体方法：
首先将测试图像转化为灰度图，并调整图像尺寸到训练集相同大小p×q，以AR人脸库为例，预处理后，待测试人脸图像B记为待测试人脸图像其中p×q＝60×43。
上述技术方案中，测试阶段步骤二的具体方法为：
将待测试人脸图像B，与训练阶段第一个特征提取层学习到的第一层卷积滤波器分别卷积得到第一层的特征图其中以AR人脸库为例，共计N1＝3个特征图。
上述技术方案中，测试阶段步骤三的具体方法为：
将步骤二输出的特征图与训练阶段步骤六得到的第二个特征提取层N2个卷积滤波器分别卷积，得到N1×N2个特征图其中以AR人脸库为例，共计12(N1×N2＝3×4)个特征图。
上述技术方案中，测试阶段步骤四中特征图二值哈希编码的具体方法为：
1、利用二值哈希函数H(·)将第二层所有输出的特征图二值化，其中，当输入大于0时，H(·)值为1，当输入小于或等于0时，H(·)值为0；
2、把步骤三中由第n个第一层特征图卷积得到的N2个二值化特征图作为一组,将这N2个二值化特征图同一像素位置的二进制数组成的二值向量并转化为十进制数，从而得到一张整数值输出图；如图1所示，步骤三中所有N1×N2个特征图最终得到N1个输出图
上述技术方案中，测试阶段步骤四中局部统计直方图的具体计算方法为：
对于每个输出图以滑动窗的形式取[b1b2]大小的块,块的重叠比例为α(以AR人脸库为例，b1×b2＝5×2，α＝0.7),计算每个块的统计直方图，记为然后将所有局部区域的统计直方图拼接起来，作为人脸测试图像B的最终输出特征
上述技术方案中，测试阶段步骤五的具体方法为：
利用训练好的Linear SVM分类器对测试阶段步骤四得到的测试样本B的最终特征进行分类，完成测试样本的分类。
为验证本发明的有效性，本发明在四个著名的人脸数据库(ORL、Extended YaleB、AR、XM2VTS)上先后进行了实验。
表1:人脸数据库特性描述
实验参数设置如下：
表2:人脸数据库实验参数设置
*可自行调整
表3为本发明提出的方法在ORL、Extended Yale B、AR和XM2VTS数据集的测试结果，本发明提出的方法在ORL、Extended Yale B、AR和XM2VTS人脸库上都取得了较高的识别率。尽管这些人脸图像具有显著的遮挡、光照、表情和姿态变化，但本发明提出方法对遮挡、光照、表情、姿态和噪声具有鲁棒性，因此提供了很好的表现。
表3:在ORL和Extended Yale B、AR和XM2VTS上的识别率
从AR人脸库中选择男人、女人各50位。每类中7张含有自然表情和正面光照的图像作为训练样本，其余19张图像作为测试样本，记为T。根据存在的变化，进一步将T分为4个子集，记为Occlus(遮挡)，Illum(光照)，Exps(表情)和Illum+Occlus(光照加遮挡)，4个子集中每类的样本个数分别为4,3,4,8。从表4可以看出，本发明提出的方法对各种人脸识别噪声都有较好的鲁棒性，处理遮挡、光照和表情变化的情况均非常有效。
表4:AR上不同方法的识别率
本发明采用基于CSGF(2D)2PCANet卷积网络的人脸识别方法，不仅充分发挥了深度卷积网络能够自动学习到有效的区分性特征表达的优点，而且CSGF的使用降低了数据冗余、节省了大量的计算时间。同时，通过CSGF和(2D)2PCA卷积滤波器的学习，模型具有良好的局部性，能够更好的提取局部特征，并且对姿态、遮挡、光照、表情和噪声变化具有稳定的鲁棒性，从而提高了本方法的识别精度。本方法采取无监督的学习方式，克服了传统的深度卷积神经网络不足，大大减少了运算量,提高了系统的效率。
上面结合附图对本发明的具体实施方式做了详细说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
[1]Zhang J,Tan T,Ma L.Invariant texture segmentation via circularGabor filters[C].Proc.of the 16th International Conference on PatternRecognition.2002.901-904.
[2]Zhang,D.and Z.-H.Zhou,Two-directional two-dimensional PCA forefficient face representation and recognition.Neurocomputing,2005.69(1-3):p.224-231.
[3]A.Martinez and R.Benavente,The ar face database,CVC TechnicalReport,vol.24,1998.
Claims (4)
1.基于CSGF(2D)2PCANet卷积网络的人脸识别方法，包含训练阶段和测试阶段。
2.根据权利要求1所述的基于CSGF(2D)2PCANet卷积网络的人脸识别方法，训练阶段包括下列步骤：
步骤一、对训练图像进行预处理，包括将图像转化为灰度图、调整图像尺寸为p×q；
步骤二、将训练样本依次送入CSGF(2D)2PCANet模型的第一个特征提取层，获取第一个特征提取层的CSGF特征图像；具体地，令表示人脸图像训练集，其中N为训练集中的样本数，表示一张人脸样本图像；将每个样本Ai依次送入第一个特征提取层，首先进CSGF，通过降采样，得到最终的CSGF特征图像，记为其中s是特征图像降采样后的像素个数，t是CSGF的个数，t＝5；
步骤三、对每个CSGF特征图像Bi，扫描提取大小相同的图像块(m×n个l1×l2大小的图像块)，对图像块采取去均值操作，获得 其中表示Bi中第j个去均值图像块；所有CSGF特征图像经过相同的处理之后，可得到样本矩阵 为了方便描述，用连续的序号表示I中所有的图像块并重记为
步骤四、利用基于(2D)2PCA的特征投影向量分析方法，同时从行、列两个方向提取样本矩阵I的最优投影轴，作为第一层特征提取阶段卷积滤波器N1为第一层卷积滤波器的个数；
步骤五、将步骤四学习到的卷积滤波器与训练集人脸原始图像分别卷积，得到第一层的输出特征图(N×N1个特征图)其中
步骤六、将步骤五得到的每个训练样本Ai对应的特征图作为第二个特征提取层输入，利用与步骤三至步骤五同样的特征学习方法，依次学习第二层的(人脸区分性特征)卷积滤波器N2为第二层卷积滤波器的个数；并用卷积滤波器与步骤五得到的特征图分别卷积，得到N×N1×N2个第二层特征图其中
步骤七、对步骤六中得到的每个训练样本Ai对应的第二层特征图二值哈希编码得到二值化特征图具体地，首先利用二值哈希函数H(·)将二值化，其中，当输入大于0时，H(·)值为1，当输入小于或等于0时，H(·)值为0；然后将所有由第二层的输入(第一层中由训练样本Ai生成的第n个特征图)二次卷积得到的N2个二值化特征图作为一组，将这N2个二值化特征图同一像素位置的二进制数组成的二值向量并转化为十进制数，从而得到一张整数值输出图其中i∈[1,N],n∈[1,N1]；因此单个样本Ai最终生成N1个二值特征图所有样本最终得到N×N1个二值特征图
步骤八、针对每个二值特征图其中i∈[1,N],n∈[1,N1]，以滑动窗的形式取[b1 b2]大小的块,块的重叠比例为α,计算每个块的统计直方图，记为然后将所有由单个样本Ai生成的N1个二值特征图的局部区域的统计直方图拼接起来，得到人脸图像Ai的最终输出特征
步骤九、将步骤八得到的所有样本的输出特征送入LinearSVM分类器中训练，获得基于CSGF(2D)2PCANet的最优Linear SVM的人脸身份识别分类模型。
3.根据权利要求1所述的基于CSGF(2D)2PCANet卷积网络的人脸识别方法，测试阶段包括下列步骤：
步骤一、对待测试人脸图像B进行预处理，包括将图像转化成灰度图、调整图像尺寸为p×q；
步骤二、与训练阶段类似，将待测试人脸图像B与训练阶段第一个特征提取层学习到的第一层CSGF(2D)2PCA卷积滤波器分别卷积得到第一层的特征图
步骤三、与训练阶段类似，步骤二输出的特征图作为第二个特征提取层原始输入，与训练阶段第二个特征提取层学习到的CSGF(2D)2PCA卷积滤波器分别卷积得到第二层的输出特征图
步骤四、与训练阶段类似，对步骤三得到的特征图做二值哈希编码，统计局部区域直方图，并将所有局部区域的统计直方图拼接起来，作为人脸图像B的最终提取到的特征
步骤五、将步骤四得到的图像最终输出特征送入训练好的Linear SVM分类器中进行分类，获得分类结果，即人脸识别结果。
4.上述技术方案中，训练阶段步骤二CSGF(2D)2PCANet第一个特征提取层的CSGF特征图像提取方法为：
1、对训练集中的每一张人脸图像Ai，进行CSGF，CSGF计算方法如下：
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mi>F</mi>
<msqrt>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&delta;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mi>exp</mi>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&delta;</mi>
<mn>2</mn>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
其中F是滤波器的中心频率，g(x,y)对应的是高斯核函数，δ对应的是高斯核函数g(x,y)的标准差，它决定着高斯核函数窗口的宽度，是滤波器的尺度参数，将CSGF记为G(F,δ)＝(x,y)；
CSGF的中心频率F和高斯核函数δ要满足如下滤波器带宽B控制的条件：
<mrow>
<mi>F</mi>
<mi>&delta;</mi>
<mo>=</mo>
<mi>&lambda;</mi>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mn>2</mn>
<mi>B</mi>
</msup>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msup>
<mn>2</mn>
<mi>B</mi>
</msup>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
2
其中，对N×N大小的图像，CSGF的中心频率F通常选择如下：
<mrow>
<mi>F</mi>
<mo>&Element;</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<mi>N</mi>
</mfrac>
<mo>{</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>4</mn>
<mo>,</mo>
<mn>8</mn>
<mo>,</mo>
<mn>16</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>/</mo>
<mn>4</mn>
<mo>}</mo>
</mrow>
根据本发明验证实验所涉及的图像尺寸大小，分别选取五个滤波器的中心频率为：
<mrow>
<mi>F</mi>
<mo>&Element;</mo>
<mo>{</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<msup>
<mn>2</mn>
<mn>6</mn>
</msup>
</mfrac>
<mo>,</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<msup>
<mn>2</mn>
<mn>5</mn>
</msup>
</mfrac>
<mo>,</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<msup>
<mn>2</mn>
<mn>4</mn>
</msup>
</mfrac>
<mo>,</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<msup>
<mn>2</mn>
<mn>3</mn>
</msup>
</mfrac>
<mo>,</mo>
<mfrac>
<msqrt>
<mn>2</mn>
</msqrt>
<msup>
<mn>2</mn>
<mn>2</mn>
</msup>
</mfrac>
<mo>}</mo>
</mrow>
根据本发明所涉及实验的设置，取B＝1,所以，Fδ＝3λ；将F与λ的值代入，对应δ的取值为：
<mrow>
<mi>&delta;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mn>3</mn>
<mi>&lambda;</mi>
</mrow>
<mi>F</mi>
</mfrac>
<mo>&Element;</mo>
<mfrac>
<mrow>
<mn>3</mn>
<msqrt>
<mrow>
<mi>l</mi>
<mi>n</mi>
<mn>2</mn>
</mrow>
</msqrt>
</mrow>
<mi>&pi;</mi>
</mfrac>
<mo>{</mo>
<msup>
<mn>2</mn>
<mn>5</mn>
</msup>
<mo>,</mo>
<msup>
<mn>2</mn>
<mn>4</mn>
</msup>
<mo>,</mo>
<msup>
<mn>2</mn>
<mn>3</mn>
</msup>
<mo>,</mo>
<msup>
<mn>2</mn>
<mn>2</mn>
</msup>
<mo>,</mo>
<mn>2</mn>
<mo>}</mo>
</mrow>
经过CSGF的滤波，特征图像很好地保留了各个方向下的特征，保证了特征的旋转不变性；
2、设原始输入图像表示为A(x,y),将上式获得的CSGFG(F,δ)(x,y)，与原始图像进行卷积可以得到CSGF的特征图像：
A(F,δ)(x,y)＝A(x,y)*G(F,δ)(x,y)
其中*表示卷积运算，A(F,δ)(x,y)表示对应于尺度F与标准差δ的CSGF与原始图像的卷积输出；
3、对CSGF特征图像进行降采样，得到最终的CSGF特征图像，记为其中s是特征图像降采样后的像素个数，t是CSGF的个数；以d＝4对所有t个CSGF特征图像Av,u(x,y)降采样，降采样后的输出转换成向量的形式,将t个向量依次连接起来形成一个向量,该向量即可用来表示一幅图像的CSGF特征向量: t＝5；所有的训练样本的CSGF特征图像记为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260119.6A CN107133579A (zh) | 2017-04-20 | 2017-04-20 | 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260119.6A CN107133579A (zh) | 2017-04-20 | 2017-04-20 | 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107133579A true CN107133579A (zh) | 2017-09-05 |
Family
ID=59715585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710260119.6A Pending CN107133579A (zh) | 2017-04-20 | 2017-04-20 | 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133579A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020001083A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于特征复用的人脸识别方法 |
| CN111488906A (zh) * | 2020-03-05 | 2020-08-04 | 浙江工业大学 | 一种基于通道相关式PCANet的低分辨率图像识别方法 |
| CN111814807A (zh) * | 2020-07-16 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法、装置、电子设备和计算机可读介质 |
| CN113642593A (zh) * | 2020-04-27 | 2021-11-12 | 台达电子工业股份有限公司 | 影像处理方法与影像处理系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718889A (zh) * | 2016-01-21 | 2016-06-29 | 江南大学 | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 |
-
2017
- 2017-04-20 CN CN201710260119.6A patent/CN107133579A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718889A (zh) * | 2016-01-21 | 2016-06-29 | 江南大学 | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JAINGUO ZHANG等: "Invariant Texture Segmentation Via Circular Gabor Filters", 《OBJECT RECOGNITION SUPPORTED BY USER INTERACTION FOR SERVICE ROBOTS》 * |
| LI MA等: "Iris Recognition Using Circular Symmetric Filters", 《OBJECT RECOGNITION SUPPORTED BY USER INTERACTION FOR SERVICE ROBOTS》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020001083A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于特征复用的人脸识别方法 |
| CN111488906A (zh) * | 2020-03-05 | 2020-08-04 | 浙江工业大学 | 一种基于通道相关式PCANet的低分辨率图像识别方法 |
| CN111488906B (zh) * | 2020-03-05 | 2023-07-25 | 浙江工业大学 | 一种基于通道相关式PCANet的低分辨率图像识别方法 |
| CN113642593A (zh) * | 2020-04-27 | 2021-11-12 | 台达电子工业股份有限公司 | 影像处理方法与影像处理系统 |
| CN113642593B (zh) * | 2020-04-27 | 2024-03-01 | 台达电子工业股份有限公司 | 影像处理方法与影像处理系统 |
| CN111814807A (zh) * | 2020-07-16 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法、装置、电子设备和计算机可读介质 |
| CN111814807B (zh) * | 2020-07-16 | 2023-10-24 | 抖音视界有限公司 | 用于处理图像的方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gholamalinezhad et al. | Pooling methods in deep neural networks, a review | |
| Kim et al. | Fully deep blind image quality predictor | |
| Garcia et al. | Convolutional face finder: A neural architecture for fast and robust face detection | |
| Rodriguez-Damian et al. | Automatic detection and classification of grains of pollen based on shape and texture | |
| CN105718889B (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN105740833A (zh) | 一种基于深度序列的人体行为识别方法 | |
| CN110503613A (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN111695456A (zh) | 一种基于主动判别性跨域对齐的低分辨人脸识别方法 | |
| CN107133579A (zh) | 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 | |
| Yu et al. | Manipulation classification for jpeg images using multi-domain features | |
| CN108710836B (zh) | 一种基于级联特征提取的唇部检测及读取方法 | |
| CN111695455B (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
| Hussain et al. | Image denoising to enhance character recognition using deep learning | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| CN111563577A (zh) | 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法 | |
| Ribeiro et al. | Exploring texture transfer learning via convolutional neural networks for iris super resolution | |
| Naser et al. | Artificial Neural Network-Based Fingerprint Classification and Recognition. | |
| Özyurt et al. | A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function | |
| Premk et al. | Automatic latent fingerprint segmentation using convolutional neural networks | |
| CN112818779B (zh) | 一种基于特征优选与多种特征融合的人体行为识别方法 | |
| Zhu et al. | Research on denoising of finger vein image based on deep convolutional neural network | |
| Das et al. | Person identification through IRIS recognition | |
| Abdelhamid et al. | Adaptive gamma correction-based expert system for nonuniform illumination face enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170905 |
|
| RJ01 | Rejection of invention patent application after publication |