CN106446872A

CN106446872A - 一种低照度下的视频人脸检测识别方法

Info

Publication number: CN106446872A
Application number: CN201610972195.5A
Authority: CN
Inventors: 张斯尧; 刘向
Original assignee: Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017
Current assignee: Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017
Priority date: 2016-11-07
Filing date: 2016-11-07
Publication date: 2017-02-22

Abstract

本发明涉及计算机视觉领域，特指一种低照度下的视频人脸检测识别方法。本系统针对低照度下人脸识别这个特定问题，设计了满足低照度下人脸识别功能的视频系统。本系统算法包括三个步骤：1.基于模糊理论的低照度人脸视频图像预处理，2.基于Adaboost的人脸检测算法中的检测器的训练，3.基于特征融合的建模视频人脸识别。得出最终低照度下人脸识别结果。本发明中提出的方法实际上可嵌入FPGA实现，运用于低照度下实时人脸识别功能的相机或摄像机监控系统中，该方法稳定性好，识别率高，运算速度快，在低照度的条件下能够有效的检测识别出人脸特征，可应用于诸如夜视监测，低照度下的身份验证等系统中，具有很好的实用性。

Description

一种低照度下的视频人脸检测识别方法

技术领域

本发明涉及计算机视觉领域，特指一种低照度下的视频人脸检测识别方法。

背景技术

人脸识别技术得到了计算机视觉和模式识别等领域研究者的普遍关注，近年来发展极为迅速。该技术有着广泛的应用前景，不仅可用于刑事鉴定、驾驶证及护照检查、移民管理等生物特征识别领域，还可用于Windows身份验证、数据库管理及文档管理、视频会议和视频监控等信息安全领域。当我们认识或者熟知某个人时，无论是此人之前的状态还是以后的状态，人眼都可以轻松地对他进行辩识，这是我们人类视觉系统的强大之处。计算机视觉试图通过光学图像来模拟这一视觉功能，完成图像信息资源的自动分析处理，从而实现机器智能。

近年来计算机视觉领域取得了不错的发展成果，但目前的机器识别能力还远不能和人类视觉水平相提并论，这归因于我们有着近乎相似的人脸结构和接近一致的面部纹理，这些因素迫使我们只能利用诸多人脸之间的微弱特征差异来实现正确识别，这无疑会大大增加人脸识别的难度。尤其当光照、姿态和表情等采样条件发生变化时，采集的图像也会具有很大的差异性，此外发型、年龄、饰物变化、噪声和遮掩也会使问题变得复杂。同时，在实际生活中，在低照度条件下(如夜间等环境)，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使得人脸识别与检测更加的困难。因此，研究如何对低照度下的人脸视频图像进行有效处理，并且能够开发出在低照条件下具有人脸识别功能的系统，降低光信号弱的环境对人脸识别的影响对某些特殊的部门行业具有重要价值。

基于上述特点，本发明提出了一种基于Adaboost与特征融合的低照度下的视频人脸识别方法，该方法稳定性好，识别率高，运算速度快，在低照度的条件下能够有效的检测识别出人脸特征，可应用于诸如夜视监测，低照度下的身份验证等系统中，具有很好的实用性。

发明内容

本发明要解决的技术问题在于：针对现行人脸识别系统在低照度下普遍存在的定位不准确，识别率不高等难点问题，为了提高人脸检测识别系统的准确程度，并使其满足实时性需求，提出一种低照度下的视频人脸检测识别方法。

本发明的技术方案具体包括以下步骤：

S1、基于模糊理论的低照度人脸图像预处理；

S1.1、HSV色彩空间变换，将获取的RGB图像转换到HSV色彩空间；

S1.2、非线性变换，通过一个光滑的映射曲线，使得处理后的图像灰度变化比较平滑；

S1.3、基于模糊理论的图像增强处理，将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上再对图像进行增强处理，增加图像的对比度；

S2、基于Adaboost的人脸检测算法中的检测器的训练，利用预先准备的正负样本训练集训练出若干个不同的弱分类器，然后将若干个不同的所述弱分类器组合成一个强分类器，最后所述强分类器对人脸目标的感兴趣区域进行搜索，所述正负样本分别是指仅包含一个人脸的图片和包含其他复杂背景的非人脸图片；

S3、基于特征融合的视频人脸识别。

作为本发明技术方案的进一步改进，所述步骤S1.2包括：所述非线性变换采用对数变换，该对数变换是指输出图像与输入图像像素点的灰度值为对数关系，该对数变换采用的对数函数为：

f′＝lg(Vd+1)

其中，f′为经对数变换后的图像，V代表HSV色彩空间的亮度分量，d是可调节参数。

作为本发明技术方案的进一步改进，所述步骤S1.3具体包括以下步骤：

S1.3.1、空间域映射到模糊域的变换，利用正弦隶属度函数将图像由空间域到模糊域进行映射，得到模糊特征平面；

定义正弦隶属度函数如下：

其中，f(i,j)为待处理图像中像素(i,j)的灰度级，u_ij为像素(i,j)的灰阶x_ij相对于f_max的隶属度，f_max为待处理图像的最大灰度级，f_min为待处理图像的最小灰度级，k为可调节参数，k值定义如下：

k＝mean(f)/(f_max-f_min)

其中，mean(f)代表图像的平均灰度值；

利用所述正弦隶属度函数和k值公式进行变换最后得到一个新的模糊特征平面；

S1.3.2、模糊域图像增强；

定义新的模糊增强算子：

其中，T作为图像增强的临界点，随着迭代次数的增加，图像对比度也随之增强；

S1.3.3、模糊图像逆变换；

对于新的模糊特征平面，经过一个逆变换就可以将图像从模糊域映射到灰度空间中，最后就得到了增强后的图像：

其中，G^-1为图像的逆变换，f′(i,j)为增强后图像像素点(i,j)的灰度级；

S1.3.4、对待输出图像f′(i,j)进行滤波去噪，采用双边滤波器对待输出图像进行进一步滤波去噪处理，最后输出高质量清晰的低照度图像。

作为本发明技术方案的进一步改进，所述步骤S2具体包括包含矩形特征计算、弱分类器训练、强分类器训练和级联分类器构造；

其中，所述矩形特征计算采用矩形特征作为人脸特征向量，将两个或多个全等的矩形相邻组成特征模板，该特征模板包含黑白两种矩形，其中左上角为白色，然后黑白两种矩形像素依次交错，将白色矩形像素和减去黑色矩形像素和可以得到特征模板的特征，并利用积分图计算特征值；

所述级联分类器为采用级联的方式来构造分类器，所述级联分类器采用瀑布型级联分类器。

作为本发明技术方案的进一步改进，所述步骤S3包括以下步骤：

S3.1：离散余弦变换(Discrete Cosine Transform，DCT)特征生成：

在人脸图像的右眼睛和嘴的部位，分别用一个方格覆盖对应区域，并分割方格成为不重叠的子块，对每一个子块进行离散余弦变换，获取的DCT系数使用zig-zag扫描排序，由于DCT系数低频部分反映图像轮廓，高频部分反映图像细节，因此丢弃排序后第1个系数，依次选取后续几个系数，作为子块特征；

S3.2：SIFT特征生成：

在人脸图像的鼻子和额头的部位，分别用一个方格覆盖对应区域，并分割方格成为不重叠的子块，对每一个块生成对应的局部SIFT特征；

S3.3：建立K-NN模型：

定义人物P_i，P_i:X＝[I_1,i,I_2,i,…,I_k,i]为一个镜头中人物P_i的人脸图集，该镜头中共有K_i张人脸，I_k,i为图集X的一张人脸图片，对应5个局部特征向量表达，连接这5个局部特征向量，形成一个对I_k,i的特征描述向量x，利用下述处理，获取单张人脸图片I_k,i的分类结果；

测试向量x的k个最近邻S_i,i＝1,2,…k，对应分数s_i＝d(x,S_i)，利用最小-最大归一化方法，对分数进行归一化到[0,1]：

且

其中，s_max为k个最相邻的点中距离测试向量x最远的点，s_min为k个最相邻的点中距离测试向量x最近的点；

由于视频镜头中每个人物的人脸图集数不等，为了降低人脸图集数给识别带来的影响，分数的选择采用了多数投票算法(Majority Vote Rule)：

其中，R为参考人物集合，w为每一帧图像的权值，P为每一帧的人物，Z为整个视频图像中特定的某一帧，i,j,k为相应地变换参数；

利用求和规则(Sum-rule)，对上述处理得到的单张人脸图片I_k,i的分类结果进行融合，建立人物P_i的K-NN模型；

S3.4目标的身份识别：

采用距离模型(DTM)和第二最接近距离(DT2ND)权值赋值方案，即每一帧赋权值ω＝ω_DTM×ω_DT2ND；

对于DTM，最近代表类c对应帧I_k,i,i＝1,2,…,k的权值为：

其中，μ为人脸像素在该帧图像上正态分布的期望，f为帧图像中任意点的像素值，σ为正态分布的标准差，e为自然常数；

对于DT2ND，I_k,i,i＝1,2,…,k的权值为：

λ为人脸像素在某帧图像上的统计学指数分布参数，为该帧图像像素点落在某帧人脸图像范围内的次数；

S3.5流形增强：

采用流形学习对K-NN模型分类结果进行增强重排，将人物P_i的人脸图集抽象成流形M，人物P_i和人物P_j的相似度用流形距离(Manifold to Manifold Distance(MMD))来衡量，根据MMD挑选出与测试人物P_i相似且彼此之间相似的参考人物图集集合R，最后基于到R的平均距离对K-NN结果重排，参考集R的选择基于下列公式迭代，每一轮选择与测试人物P_i和参考集R均相近的人物，即选择人物(图集X)使得：

其中，T为测试任务(图集)；为当前参考人物(图集)的集合；d(T,X)为两个图集之间的MMD；α为权重，X加入迭代在到达预期的基数或者距离D大于一个阈值时停止；

计算MMD公式如下：

其中，C_i,C_j′为流行局部线性子空间，

d(C_i,C_j′)＝(1-α)·d_E(C_i,C_j)+α·d_V(C_i,C_j)

d_E(C_i,C_j)描述了2个图集人物之间外貌的相似度，d_V(C_i,C_j)描述了2个图集变量模型之间的相似度。

与现有技术相比，本发明具有以下有益效果：

1、本发明将图像从RGB空间转换到HSV空间，HSV空间不仅比RGB空间更适合于对人类色彩感觉的描述，而且还有效分离了色度、饱和度和亮度，使色度与色饱和度和亮度近似正交，对后续的真彩图像增强带来了很大的便利；

2、本发明通过对图像进行非线性变化提高低照度图像的亮度，从而让那些由于光照不足导致看起来比较暗的图像低灰度级区域的亮度得以快速的提升，改善低照度图像的视觉效果；

3、本发明引入模糊理论，将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上对图像进行增强处理，增加图像的对比度；

4、本发明训练出的人脸检测器，速度响应是毫秒级的，完全可以满足实时视频人脸快速检测的应用需求。同时，在性能方面，人脸检测结果受光照、姿态、遮挡等因素影响，在实际过程中，当图像背景简单时，可以获得良好的检测结果，虚警率极低并且无漏检率。

附图说明

图1是本实施例所述整体算法流程图；

图2是本实施例所述Adaboost分类训练器与检测过程的流程图；

图3是本实施例所述低照度图像预处理流程图；

图4是本实施例所述其他子窗口内矩形特征数目情况；

图5是本实施例所述5个最简单的矩形特征模板。

图6是本实施例所述级联分类器检测示意图。

具体实施方式：

以基于Adaboost与特征融合的视频人脸识别方法为例，结合附图对本发明做进一步详细说明，该方法具体包括以下步骤。

S1：基于模糊理论的低照度人脸图像预处理。

本发明中图像预处理就是将图像色彩空间从颜色通道紧密相关的RGB转换到HSV空间并利用非线性函数提升低照度图像的亮度。

S1.1HSV色彩空间变换。

目前摄像设备拍摄的图像大多为RGB图像，RGB图像是通过对红(R)、绿(G)、蓝(B)3个颜色分量进行加权叠加来得到各种颜色的，但容易受到光照变化的影响，而且RGB三基色分量之间具有很高的相关性，改变某一通道的颜色信息，往往影响到其他通道的信息，所以，直接对图像各颜色分量进行非线性处理会造成图像颜色的失真。HSV空间不仅比RGB空间更适合于对人类色彩感觉的描述，而且还有效分离了色度、饱和度和亮度，使色度与色饱和度和亮度近似正交，对后续的真彩图像增强带来了很大的便利。

在光照补偿过程中，把RGB图像转换到HSV空间，对其中的亮度分量V进行增强处理，同时保持色调H和饱和度S不变，最后将生成的亮度分量V与色调H、饱和度分量S进行逆变换产生新图像。由RGB空间到HSV空间的变换表达式如下：

V＝max(R,G,B) (3)

式中R，G，B分别为归一化的RGB空间的值。H分量取值范围为[0,360)，S，V分量取值范围分别为(0,1]和[0,1]。

设i＝H/60,其中，i为被60整除的除数，f为被60整除的余数。设P＝V(1-S),Q＝V(1-Sf),T＝V[1-S(1-f)],从HSV空间到RGB空间的变换表达式如下：

S1.2非线性变换。

本发明通过对图像进行非线性变化提高低照度图像的亮度，从而让那些由于光照不足导致看起来比较暗的图像低灰度级区域的亮度得以快速的提升，改善低照度图像的视觉效果。非线性变换是通过一个光滑的映射曲线，使得处理后的图像灰度变化比较平滑。考虑到从人眼接收图像信号到大脑中形成一个形象的过程中，有一个近似对数的环节，常用的非线性变换为对数变换。

对数变换是指输出图像与输入图像像素点的灰度值为对数关系，则输出图像g(x,y)与输入图像f(x,y)的灰度关系为：

g(x,y)＝log[f(x,y)]

该对数变换可以压缩原图像中较高灰度区域的对比度，与此同时对图像灰度值较低的进行扩展。通常情况下，为了使得变换的动态范围可以更加灵活，修改曲线的变化速度或起始位置等，一般会加入一些可调节参数，使之成为：

g(x,y)＝a+ln(f(x,y)+1)/(blnc)

式中，a,b,c是可以调节的参数，可以人为地进行改变和调节，其中，f(x,y)+1是为了避免对数字0取对数，确保分子部分大于或等于0。当f(x,y)＝0时，ln(f(x,y)+1)＝0，则y＝a，此时a为y轴上的截距，确定了变换函数的初始位置的函数变换关系，而通过b,c两个参数来确定变换函数的变化速率。

对数函数一般适用于过暗的图像，用于扩展低灰度区，本发明使用的对数函数为：

f′＝lg(Vd+1)

其中,f′为经对数变换后的图像，V代表HSV色彩空间的亮度分量，d是可调节参数，加1是为了避免当V等于0时对0取对数。对于参数d而言，通过调节参数d可对图像的亮度进行不同程度的提升。通过实验证明，增大参数d可对低照度图像进行亮度提升，从而改善了图像的视觉效果。对于低照度图像，需要较大程度提升图像的亮度，则d的值需要取大一些，但过大的d值会导致图像过亮，可能会丢失很多图像信息。正常情况下，d的值设置为10～100之间的数值为最佳，具体图像具体做调整，可通过多次实验最后得到一个较为合适的值。

经过非线性变换之后图像的亮度可以得到很大的改善，但降低了图像的对比度，使图像并未达到理想视觉效果，引入模糊理论，将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上对图像进行增强处理，增加图像的对比度。

S1.3：基于模糊理论的图像增强处理：将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上再对图像进行增强处理，增加图像的对比度。

S1.3.1空间域映射到模糊域的变换。

利用正弦隶属度函数将图像由空间域到模糊域进行映射，得到模糊特征平面。定义正弦隶属度函数如下：

其中，f(i,j)为待处理图像中像素(i,j)的灰度级，u_ij为像素(i,j)的灰阶x_ij相对于f_max的隶属度，f_max为待处理图像的最大灰度级，相应的f_min为待处理图像的最小灰度级。k为可调节参数，通过对k的调节可改变u_ij的值，针对不同图像产生不同的模糊特征平面，进而可以适应不同图像的增强要求，k值定义如下：

k＝mean(f)/(f_max-f_min)

其中，mean(f)代表图像的平均灰度值，使得k值与图像产生内在的相关性，不同亮度图像的k值也会随之改变，增加了算法的灵活性，适应不同亮度图像增强需求。

S1.3.2模糊域图像增强。

对隶属度函数u_ij，利用上述正弦隶属度函数和k值公式进行变换最后得到一个新的模糊特征平面。

定义新的模糊增强算子：

随着迭代次数的增加，图像对比度也随之增强。

其中，T作为图像增强的临界点，针对不同亮度图像T的取值不同，本发明中T的取值为图像灰度的平均值。

S1.3.3模糊图像逆变换。

其中，G^-1为图像的逆变换，f′(i,j)为增强后图像像素点(i,j)的灰度级。待处理图像进行模糊图像逆变换后就可进行图像滤波后输出。

S1.3.4：对待处理图像进行滤波去噪：基于双边滤波器进行滤波去噪处理。

采用现行通用的双边滤波器，对待输出图像进行进一步滤波去噪处理，最后输出高质量清晰的低照度图像。将与处理后的低照度图像输入到训练器中，进行人脸的检测识别。

S2.基于Adaboost的人脸检测算法中的检测器的训练；

Haar-Adaboost的核心思想是利用预先准备的正负样本训练集训练出若干个不同的弱分类器，然后将这些弱分类器组合成一个强分类器，最后利用得到的强分类器对人脸目标的感兴趣区域进行搜索。正负样本分别是指仅包含一个人脸的图片和包含其他复杂背景的非人脸图片，分类器训练过程中需要将所有样本图像归一化。图2是Haar-Adaboost分类器训练和人脸检测过程。图中训练过程包含矩形特征计算、弱分类器训练、强分类器训练和级联分类器构造等核心环节。

特征选择和特征值计算是影响Haar-Adaboost人脸检测效率的两个重要因素，本算法用矩形特征作为人脸特征向量，不利的是矩形特征个数相当庞大，一个24×24区域检测器内矩形特征数量就超过160000个，如果采用某种衍生矩形特征，所要处理的矩形特征将会增加到千万量级。要从巨大数量的矩形特征中通过Adaboost策略选择若干有效矩形特征，将耗费大量计算资源。将两个或多个全等的矩形相邻组成特征模板可以减少计算复杂度，这种特征模板包含黑白两种矩形，其中左上角为白色，然后黑白两种矩形像素依次交错，将白色矩形像素和减去黑色矩形像素和可以得到特征模板的特征。图4表示了其他子窗口内矩形特征数目情况。

Adaboost算法选取了如图5所示的5个最简单的矩形特征模板进行训练，这种特征的训练速度虽然不快，但是具有很高的检测效率。根据前面选定的特征选定特征后，利用积分图计算特征值。积分图可以使得对图像进行一次遍历计算就能在常量时间完成内每个特征值的计算，可以大大提升训练和检测速度。积分图在原理上类似于微积分，只要对图像中的每个像素进行简单的计算就可以求出一幅图像的“积分图”，“积分图”具有一个优点，它能够在多种尺度下用相同的时间计算不同的特征，这正是它提高检测速度的关键所在。

人脸目标往往具有一定数量的对正负样本具有显著差异性的矩形特征，因而可以采用级联的方式来构造分类器。在Adaboost使用的瀑布型级联分类器中，待检测窗口只有通过了当前层的强分类器才可以进入下一层，这样通过最初几层简单的判断就可以迅速淘汰大量待检测窗口，大大降低了平均检测开销。图6所示为级联分类器检测示意图。

由上述步骤训练出的人脸检测器，速度响应是毫秒级的，完全可以满足实时视频人脸快速检测的应用需求。同时，在性能方面，人脸检测结果受光照、姿态、遮挡等因素影响，在实际过程中，当图像背景简单时，可以获得良好的检测结果，虚警率极低并且无漏检率。

S3.基于特征融合的视频人脸识别。

视频人脸识别是指对于从视频中基于Adaboost算法定位检测出中获取的人脸图集，以人物P_i和P_j为例，以镜头为单元，记为：

P_i:X＝[I_1,i,I_2,i,…,I_k,i]

其中，I_k,i为P_i的一张人脸图片，该镜头中共有K_i张人脸。同样的：

P_j:X＝[I_1,j,I_2,j,…,I_k,j]

其中，I_k,j为P_j的一张人脸图片，该镜头中共有K_j张人脸。

视频环境下的人脸识别问题描述为：已有包含人物P_i、P_j的镜头若干，输入一个镜头或镜头对应人脸图集X，系统识别出人物P_i。

以任意人脸图片I_k,i为例，用任意一种现行的高效的人脸特征点提取算法，提取人脸的特征点，特征点将人脸对齐并划分为5个有交叠的区域，分别为左眼、右眼、额头(两眼之间)、鼻子、嘴巴。在本发明算法中，由于眼睛和嘴巴部位受表情、姿态等影响显著，变化剧烈，但轮廓特征显著，受表情干扰较小。故采用DCT特征描述；而额头(两眼之间)和鼻子部位受表情影响较小，刚性变化特点明显，本发明算法采用SIFT特征描述。具体如下：

S3.1：DCT特征生成。

离散余弦变换(Discrete Cosine Transform，DCT)具有良好的压缩表达效果，被广泛地用于信号处理领域，如图像压缩等。一张N×N图像的2-D离散余弦变换(DCT)定义为：

其中，x，y分别为N×N的图像中的每个像素点的横纵坐标的值,对于u,v＝0,1,…,N-1，有：

2-D逆离散余弦变换的定义为：

本发明算法在人脸图像的右眼睛和嘴的部位，分别用一个方格覆盖对应区域，并分割方格成为不重叠的子块。对每一个子块进行离散余弦变换(DCT)，获取的DCT系数使用zig-zag扫描排序。由于DCT系数低频部分反映图像轮廓，高频部分反映图像细节，因此丢弃排序后第1个系数(降低光照影响)，依次选取后续几个系数，作为子块特征。

S3.2：SIFT特征生成。

对图像预处理之后，首先进行尺度空间极值检测，证明高斯卷积核是实现尺度变换的唯一变换核，并证明高斯核是唯一的线性核，二维高斯函数的定义如下：

其中，σ代表高斯正态分布的方差。

对于二维图像I(x,y)，在不同尺度下的尺度空间表示L(x,y,σ)可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到：

L(x,y,σ)＝G(x,y,σ)×I(x,y)

其中，(x,y)代表图像的像素位置；σ成为尺度空间因子；L(x,y,σ)代表了图像的尺度空间。

需要建立高斯金字塔和DOG(Difference of Gaussian)金字塔，进行极值检测，以初步确定特征点的位置和所在尺度。DOG算子定义为2个不同尺度的高斯核的差分：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))×I(x,y)

在检测尺度空间极值时，指定像素与包括同一尺度的周围邻域像素和相邻尺度对应位置的周围邻域像素比较，以确保在尺度空间和二维图像空间都检测到局部极值。然后对局部极值点进行三维二次函数拟合以精确定位特征点位置。

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。(x,y)处梯度的模值m(x,y)和方向θ(x,y)公式如下：

θ(x,y)＝αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，L所用的尺度为每个关键点各自所在的尺度。本算法在鼻子和额头的部位，分别用一个方格覆盖对应区域，并分割方格成为不重叠的子块。对每一个块生成对应的局部SIFT特征。

S3.3：建模识别：建立K-NN模型。

以人物P_i识别为例，P_i:X＝[I_1,i,I_2,i,…,I_k,i]为一个镜头中人物P_i的人脸图集，该镜头中共有K_i张人脸，I_k,i为图集X的一张人脸图片，对应5个局部特征向量表达。连接这5个局部特征向量，形成一个对I_k,i的特征描述向量x。利用下述处理，获取单张人脸图片I_k,i的分类结果。

且

其中，s_max为k个最相邻的点中距离测试向量x最远的点，s_min为k个最相邻的点中距离测试向量x最近的点。

其中，R为参考人物(图集)集合，w为每一帧图像的权值，P为每一帧的人物，Z为整个视频图像中特定的某一帧，i,j,k为相应地变换参数。

利用求和规则(Sum rule)，对上述处理得到的单张人脸图片I_k,i的分类结果进行融合，建立人物P_i的K-NN模型，在建立过程中引入流形距离对最近邻重排增强，最后基于K-NN实现人物身份P_i的识别。具体而言，首先利用下述Sum-rule公式对P_i的候选匹配人物进行排序：

再引入流形距离，对最近邻的候选匹配人物，根据图集之间的流形距离，进行重排增强，最后基于K-NN模型完成。

S3.4目标的身份识别。

考虑到视频环境下不是所有的帧都适合人脸识别，低分辨率、过分遮挡和错误的对齐都有可能影响帧的质量，进而影响识别准确率。故本算法采用距离模型(DTM)和第二最接近距离(DT2ND)权值赋值方案，即每一帧赋权值ω＝ω_DTM×ω_DT2ND。

对于DTM，最近代表类c对应帧I_k,i,i＝1,2,…,k的权值为：

其中，μ为人脸像素在该帧图像上正态分布的期望，f为帧图像中任意点的像素值，σ为正态分布的标准差，e为自然常数。

对于DT2ND，I_k,i,i＝1,2,…,k的权值为：

λ为人脸像素在某帧图像上的统计学指数分布参数，为该帧图像像素点落在某帧人脸图像范围内的次数。

S3.5流形增强。

如果单纯地依靠局部特征，会丢失人脸的整体信息，如结构信息等，同时传统的线性空间处理方法不能有效地挖掘数据集中的非线性结构和内在信息。本算法采用流形学习对K-NN模型分类结果进行增强重排：将人物P_i的人脸图集抽象成流形M，人物P_i和人物P_j的相似度用流形距离(Manifold to Manifold Distance(MMD))来衡量，根据(MMD)挑选出与测试人物P_i相似且彼此之间相似的参考人物(图集)集合R，最后基于到R的平均距离对K-NN结果重排。

参考集R的选择基于下列公式迭代，每一轮选择与测试人物P_i和参考集R均相近的人物。即选择人物(图集X)使得：

D取值最小化。其中，T为测试任务(图集)；为当前参考人物(图集)的集合；d(T,X)为两个图集之间的MMD；α为权重，X加入迭代在到达预期的基数或者距离D大于一个阈值时停止。本算法计算MMD公式如下：

其中，C_i,C_j′为流行局部线性子空间，

d(C_i,C_j′)＝(1-α)·d_E(C_i,C_j)+α·d_V(C_i,C_j)

本发明中提出的方法实际上可嵌入FPGA实现，运用于具有低照度下实时人脸识别功能的相机或摄像机监控系统中。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims

1.一种低照度下的视频人脸检测识别方法，其特征在于，包括以下步骤：

S1、基于模糊理论的低照度人脸图像预处理；

S1.1、HSV色彩空间变换，将获取的RGB图像转换到HSV色彩空间；

S3、基于特征融合的视频人脸识别。

2.根据权利要求1所述的一种低照度下的视频人脸检测识别方法，其特征在于，所述步骤S1.2包括：所述非线性变换采用对数变换，该对数变换是指输出图像与输入图像像素点的灰度值为对数关系，该对数变换采用的对数函数为：

f′＝lg(Vd+1)

3.根据权利要求1所述的一种低照度下的视频人脸检测识别方法，其特征在于，所述步骤S1.3具体包括以下步骤：

定义正弦隶属度函数如下：

u_{i j} = {[s i n (\frac{f (i, j) - f_{m i n}}{f_{\max} - f_{m i n}}) \times \frac{π}{2}]}^{k}

k＝mean(f)/(f_max-f_min)

其中，mean(f)代表图像的平均灰度值；

S1.3.2、模糊域图像增强；

定义新的模糊增强算子：

u_{i j}^{'} = \{\begin{matrix} 1 - 2 {(1 - u_{i j})}^{2}, 0 \leq u_{i j} \leq T \\ 2 {(u_{i j})}^{2}, T \leq u_{i j} \leq 1 \end{matrix}

S1.3.3、模糊图像逆变换；

f^{'} (i, j) = G^{- 1} (u_{i j}^{'}) = {(u_{m i n} + (u_{m a x} - u_{m i n}) {arcsinu}_{i j} \times \frac{2}{π})}^{\frac{1}{k}}

4.根据权利要求1所述的一种低照度下的视频人脸检测识别方法，其特征在于，所述步骤S2具体包括包含矩形特征计算、弱分类器训练、强分类器训练和级联分类器构造；

5.根据权利要求1所述的一种低照度下的视频人脸检测识别方法，其特征在于，所述步骤S3包括以下步骤：

S3.1：离散余弦变换(Discrete Cosine Transform，DCT)特征生成：

S3.2：SIFT特征生成：

S3.3：建立K-NN模型：

且

a s s i g n Z &RightArrow; ω_{j}, i f Σ_{i = 1}^{R} Δ_{j i} = \underset{k - 1}{m a x} Σ_{i = 1}^{R} Δ_{k i}

S3.4目标的身份识别：

对于DTM，最近代表类c对应帧I_k,i,i＝1,2,…,k的权值为：

ω_{D T M} (f_{i}) = \{\begin{matrix} 1 & \begin{matrix} i f & d (f_{i}, c) < μ \end{matrix} \\ e^{\frac{d (f_{i}, c) - μ}{2 σ^{2}}} & o t h e r w i s e \end{matrix}

对于DT2ND，I_k,i,i＝1,2,…,k的权值为：

ω_{D T 2 N D} (f_{i}) = ϵ (Δ (f_{i})) = 1 - e^{- λ Δ (f_{i})}

S3.5流形增强：

采用流形学习对K-NN模型分类结果进行增强重排，将人物P_i的人脸图集抽象成流形M，人物P_i和人物P_j的相似度用流形距离(Manifold to Manifold Distance(MMD))来衡量，根据MMD挑选出与测试人物P_i相似且彼此之间相似的参考人物图集集合R，最后基于到R的平均距离对K-NN结果重排，参考集R的选择基于下列公式迭代，每一轮选择与测试人物P_i和参考集R均相近的人物，即选择人物图集X使得：

D = d (T, X) + α \cdot \frac{1}{\tilde{R}} \underset{i}{Σ} d (R_{i}, X)

其中，T为测试任务(图集)，为当前参考人物(图集)的集合，d(T,X)为两个图集之间的MMD，α为权重，X加入迭代在到达预期的基数或者距离D大于一个阈值时停止；

计算MMD公式如下：

d (M_{1}, M_{2}) = \underset{C_{i} &Element; M_{1}}{m i n} d (C_{i}, M_{2}) = \underset{C_{i} &Element; M_{1}}{m i n} \underset{{C_{j}}^{'} &Element; M_{2}}{m i n} d (C_{i}, {C_{j}}^{'})

其中，C_i,C′_j为流行局部线性子空间，

d(C_i,C′_j)＝(1-α)·d_E(C_i,C_j)+α·d_V(C_i,C_j)