CN103440476A - 一种人脸视频中瞳孔的定位方法 - Google Patents

Abstract

本发明公开了一种人脸视频中瞳孔的定位方法，属于信号处理技术领域。一种人脸视频中瞳孔的定位方法包括人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块；输入的视频图像经过人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块最后得到瞳孔中心的位置。

Description

一种人脸视频中瞳孔的定位方法

技术领域

本发明涉及一种人脸视频中瞳孔的定位方法，属于信号处理技术领域。

背景技术

人脸图像的瞳孔定位在人脸图像处理、眼动人机交互等领域具有重要应用前景。瞳孔定位方法主要有区域分割法、边缘提取法、灰度投影法、模板匹配法、Adaboost法等。区域分割法易受眼镜干扰，效果较粗糙；特征提取法实际上是用Hough变换找到一个眼睛模板，但这需要大量的预处理，它和它的一些改进算法都要面对由镜片和睫毛等引起的干扰；灰度投影法是一种快速算法，它将图像向两个坐标轴投影，并根据投影的峰值和谷值来定位眼睛位置，但它仅依赖于二维投影，对于黑框眼镜、眉毛、头发等的干扰难以区分；模板匹配法需要归一化人脸图像的尺度和方向，且模板需要通过训练获得，所以计算量较大；基于样本训练Adaboost算法在眼睛定位方面有一定优势，它严格要求丰富的训练样本，但有着高灰度值的眉毛实际上也有可能被定为眼球，另外，候选搜索窗的规模限制了训练样本的尺寸，这也将导致对低分辨率图像的识别率降低。

发明内容

为了克服上述的不足本发明的目的在于提供一种人脸视频中瞳孔的定位方法。

本发明采取的技术方案如下：

一种人脸视频中瞳孔的定位方法包括人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块；输入的视频图像经过人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块最后得到瞳孔中心的位置。

本发明原理及有益效果：背景技术提到的方法并未利用瞳孔的特性，所以其性能都受眼睛图像质量的制约，若图像质量不佳，其定位准确率就会下降。在人眼瞳孔定位时，眼镜、眉毛、眼睫毛、头发等都会对其产生干扰。为了提高瞳孔定位的性能，需要充分利用瞳孔图像的特性，如瞳孔的形状为圆形，颜色较深，对应灰度值较低，瞳孔位于人脸的上半部分等。本发明利用瞳孔的径向对称特性，提出一种基于积分投影和径向对称变换的瞳孔定位方法，以提高瞳孔定位性能。

附图说明

图1径向对称变换方法框图。

图2像素的映射关系图。

图3黄新宇和杨睿刚在公开号为201210393147.2的中国专利中使用的“基于人眼结构分类的虹膜和瞳孔的定位方法”的流程图。

图4Yefei Chen和Jianbo Su在论文“Fast eye localization based on a newhaar-like feature”（10th World Congress on Intelligent Control and Automation,Beijing,China.2012,4825-4830）中使用的基于新的类haar特征的快速人眼定位流程图。

图5本发明技术方案功能框图。

图6使用Mikael Nilsson,J.Nordberg,Ingvar Claesson在论文“Face detectionusing local SMQT features and split up SNOW classifier”（IEEE InternationalConference on Acoustics,Speech,and Signal Processing,Honolulu,USA.2007,589-592）中的人脸检测方法的人脸检测结果图。

图7在图6中的人脸图。

图8对图7人脸图像中值滤波后的图像。

图9对图8图像进行直方图均衡后的图像。

图10图9中图像垂直投影曲线。

图11图9中左眼、右眼区域。

图12单只人眼区域图像。

图13单只人眼瞳孔定位结果。

图14两只眼睛瞳孔定位结果。

具体实施方式

下面结合附图对本发明做进一步说明：

(1)径向对称变换

径向对称变换是在广义对称变换的基础上发展而来，是一种基于梯度的目标检测算子，它能简单、快速地检测出具有径向对称特性的像素点，实现对圆形目标的有效检测。

一般来说，给定圆形目标的半径n(n∈N，N为需要检测的径向对称特征的半径集合)，就可得到径向对称变换的对应结果。该结果在点P处的值，表征了图像中在该点处径向对称的程度，即图像有多大可能包含一个以点P为圆心、以n为半径的圆。随着检测半径n的增加，具有高对称性的区域可用径向对称特性快速地累积出较大的径向对称强度值S，实现对圆形区域的检测。径向对称变换方法框图如图1所示。

将图像I分别与Sobel水平算子和垂直算子进行卷积，计算出边缘梯度图像

g(p)＝[g_x(p),g_y(p)]＝|[I*Sobel_hor,I*Sobel_ver]|，

其中，‘*’表示卷积，Sobel_hor为Sobel水平算子，Sobel_ver为Sobel垂直算子。

${\mathrm{Sobel}}_{\mathrm{hor}}=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right),$

${\mathrm{Sobel}}_{\mathrm{ver}}=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right),$

对于每个半径n，可计算出对应的方向投影图像O_n和幅度投影图像M_n。由图2可看出，对于给定点P，O_n和M_n是由正负影响像素P_+ve和P_-ve计算出的，而P_+ve和P_-ve是梯度g(p)的函数。正负影响像素的定义不同，正影响像素是梯度向量g(p)指向的、距离点P的长度为n的点的坐标；负影响像素是梯度向量g(p)负向指向的距离点P的长度为n的点的坐标。

由梯度向量g(p)，可计算出正影响像素P_+ve和负影响像素P_-ve，即

$P_{+\mathrm{ve}}\left(p\right)=p+\mathrm{round}\left(\frac{g\left(p\right)}{\left|g\left(p\right)\right|}n\right),$

$P_{-\mathrm{ve}}\left(p\right)=p-\mathrm{round}\left(\frac{g\left(p\right)}{\left|g\left(p\right)\right|}n\right),$

其中，“round”表示将向量中的所有元素都取最接近它们的整数。|·|表示向量取模。

方向投影图像O_n和梯度投影图像M_n都初始化为0。对于每一对受到影响的像素，方向投影图像O_n在P_+ve点处的值加1，幅度投影图像M_n在P_+ve点处的值增加|g(p)|；相应地，方向投影图像O_n在P_-ve点处的值减1，幅度投影图像M_n在P_-ve点处的值减去|g(p)|，即

O_n[P_+ve(p)]＝O_n[P_+ve(p)]+1，

O_n[P_-ve(p)]＝O_n[P_-ve(p)]-1，

M_n[P_+ve(p)]＝M_n[P_+ve(p)]+|g(p)|，

M_n[P_-ve(p)]＝M_n[P_-ve(p)]-|g(p)|，

由此可见，O_n反映了P点周围的像素点沿着其梯度方向映射到该点上的像素个数，M_n反映了P点周围的点的梯度大小在该点上的叠加。

当检测半径为n时，径向对称强度值S_n定义为

$F_n\left(p\right)=\frac{M_n\left(p\right)}{k_n}{\left[\frac{{\hat{O}}_n\left(p\right)}{k_n}\right]}^{\mathrm{\α}},$

S_n＝F_n*A_n，

其中，k_n用来归一化在不同半径下得到的O_n和M_n的尺度因子。α是径向控制参数。‘*’表示卷积，A_n是二维高斯阵。

最终的径向对称变换S是与所有检测半径n对应的径向对称结果S_n的均值

$S=\frac{1}{\left|N\right|}\underset{n\∈N}{\mathrm{\Σ}}{S}_n,---\left(13\right)$

本发明将用径向对称变换良好的圆检测特性进行瞳孔精确定位。

与本发明相关的现有技术一

现有技术一的技术方案

黄新宇和杨睿刚在公开号为201210393147.2的中国发明专利“基于人眼结构分类的虹膜和瞳孔的定位方法”中，提出了一种基于人眼结构分类的虹膜和瞳孔定位方法，方法流程图如图3所示。该发明在精确定位虹膜和瞳孔边界前，利用非监督学习技术，对人眼图像进行自动的结构分类。该分类能大致定位虹膜和瞳孔，估算有效虹膜区域大小，有效地去除非虹膜和瞳孔边界的离群数据，并且减少针对虹膜瞳孔位置和大小的搜索空间。在缩小的搜索空间中，该发明进一步依据虹膜瞳孔固有特征进行约束优化，搜索最优虹膜和瞳孔边界。该发明可增加虹膜和瞳孔定位的稳定性和精准性，尤其适合远距离非侵入式的虹膜获取系统。

现有技术一的缺点

该方法需要进行训练，且严格要求丰富的训练样本，但有着高灰度值的眉毛实际上也有可能被定为眼球，因而会导致识别率降低。

与本发明相关的现有技术二

现有技术二的技术方案

Yefei Chen和Jianbo Su在论文“Fast eye localization based on a new haar-likefeature”（10th World Congress on Intelligent Control and Automation,Beijing,China.2012,4825-4830）中，提出一种快速瞳孔定位的方法。根据面部特征的先验比例关系，该方法先在检测到的人脸区域中选定一个合适的候选窗；然后在该候选区域使用直方图均衡技术以去除光照效应；最后，该方法还提出一种新的类Haar特征用于快速准确地定位候选区域的瞳孔。该方法简单，无需训练，并能够鲁棒地处理由眉毛、头发、眼镜等引起的干扰。其方法流程图如图4所示。

现有技术二的缺点

基于新的类haar特征的人眼快速定位方法存在的主要问题有：(1)在眼镜的反射或者浓黑的眉毛等情况下，定位的出错率较高；(2)该方法对光照的鲁棒性依然较低；(3)该方法仅对姿势变化为±20度的人脸图像有效。

本发明技术方案的详细阐述

本发明所要解决的技术问题

本发明对人脸图像进行处理，去除眼镜、眉毛、头发、光照等干扰的影响，自动鲁棒地定位出目标人眼图像的瞳孔位置，从而为人脸识别、眼睛跟踪等后续研究提供准确的基础数据。

本发明提供的完整技术方案

本发明首先通过人脸检测方法获取图像中的人脸区域；然后，根据瞳孔位置等先验知识，应用积分投影方法得到大致的眉眼区域，即人眼的粗定位；最后，利用径向对称变换圆形目标检测方法来精确地定位人眼。本发明的技术方案框图如图5所示，该方案主要包括人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块。

人脸检测模块；人脸检测模块的处理方法为：该模块的输入为目标图像Iorig，利用Mikael Nilsson,J.Nordberg,Ingvar Claesson在论文“Face detectionusing local SMQT features and split up SNOW classifier”（IEEE InternationalConference on Acoustics,Speech,and Signal Processing,Honolulu,USA.2007,589-592）中给出的基于局部连续均值量化变换(Successive Mean QuantizationTransform，SMQT)和稀疏筛选网络(Sparse Network of Winnows，SNoW)分类器的人脸检测方法，检测出包含眼睛的人脸图像Iface，将其作为该模块的输出。

图像预处理模块，图像预处理模块的处理方法为：该模块的输入为人脸检测结果Iface，对Iface进行中值滤波及直方图均衡等预处理后，输出预处理后的图像I。

(1)中值滤波

采用一个3×3窗口对人脸图像进行中值滤波，这样图像中的每一个点都会对应一个3×3的窗口，该点位于窗口中心。将该窗口中心点周围的8个点按灰度值从大到小排序，最后用窗口中各点灰度值的中值，即排序后中间两个点灰度值的均值，来代替窗口中心点的灰度值，即完成中值滤波，得到图像为I_temp。

(2)直方图均衡

对中值滤波后的图像I_temp进行直方图均衡。直方图均衡化是通过灰度变换将一幅图像映射为另一幅具有均衡直方图，映射函数为一累积分布函数。其具体步骤如下：

1)首先计算I_temp的归一化灰度直方图H。

i=0,1,…,255

其中，n_i为图像中灰度级为i的像素个数，i=0,1,…,255，n为图像中像素的总数。

2)然后计算直方图积分H’，

$H^{\′}\left(i\right)=\underset{0\≤j\≤i}{\mathrm{\Σ}}H\left(j\right)$

3)最后计算直方图均衡后的图像I。

I(x,y)＝H′[I_temp(x,y)]

人眼粗定位模块，人眼粗定位模块的处理方法为：该模块的输入为预处理后的图像I，对I进行垂直投影，获取垂直投影曲线1/3～1/2处峰值的坐标，即为人的鼻中部。利用该坐标在垂直方向上对Iface进行截取，即可得到人眼图像大致的人眼区域。最后以人眼区域宽度的中心为界对人眼区域进行分割，便可将两只眼睛分离开来，得到该模块的输出左眼区域Ileft和右眼区域Iright。

人眼粗定位的具体过程如下：

(1)利用式(20)计算I的垂直灰度投影曲线P_y(x)。

$P_y\left(x\right)=\underset{x=1}{\overset{w}{\mathrm{\Σ}}}I(x,y),---\left(20\right)$

其中，w为图像的宽度。

(2)P_y(x)在1/3到1/2处峰值的坐标，此处即为人脸的鼻子中部，利用该坐标在垂直方向上对I_face进行截取，得到粗略的人眼区域。

(3)以人眼区域宽度的中心为界，对人眼区域在竖直方向上进行对半分割，便可将两只眼睛分离开来，得到左眼区域I_left和右眼区域I_right。

瞳孔定位模块

该模块的输入为人眼粗定位得到的眼睛区域I_left和I_right，利用径向对称变换对I_left和I_right分别进行瞳孔的精确定位，得到最终的瞳孔定位结果。径向对称变换在径向对称区域检测方面是个有效的算子，它可以通过调整灰度梯度的方向分别检测亮点和暗点。梯度方向有正方向和负方向，并且正方向是从暗点指向亮点，负方向是从亮点指向暗点，这符合瞳孔的特性。为了能够有效地检测瞳孔区域，需要充分利用瞳孔的圆对称特性来为每个像素计算其负方向上能影响到的像素，因为它们在负方向上指向瞳孔。随着检测半径的增长，瞳孔边缘的所有像素点在负方向上都聚合于瞳孔中心。然而，亮点边缘的像素在负方向上是不会聚合于中心，因为它们在负方向上是背离中心的。另外，睫毛、头发和眼镜框没有径向对称特征，它们在负方向上的影响不会被检测到。该检测技术可有效地避免上述噪声的干扰。具体的计算步骤如下：

(1)将人眼粗定位模块得到的眼睛图像I_left或I_right分别与Sobel水平算子和垂直算子进行卷积，计算出边缘梯度图像g(p)=[g_x(p),g_y(p)]。

(2)初始化起始搜索半径N=5，S_{n_max}=0，S_max=0。

(3)如果满足S_max≥S_{n_max}，执行下列步骤：

(a)S_max=S_{n_max}；

(b)对于n=2：N

首先根据式(5)计算P_-ve(p)，同时根据式(7)和式(9)可以得到O_n(P_-ve(p))和M_n(P_-ve(p))；然后根据式(11)计算F_n(p)，其中参数α=2，k_n=9.9；最后根据式(10)得到S_n，其中，A_n为二维高斯阵，其大小为n×n，方差σ=0.25n；

(c)根据式(13)计算S，选择其中最大的一个值作为瞳孔中心；

(d)N=N+2。

(4)若S_max<S_{n_max}，迭代搜索结束，获得瞳孔中心的位置。

本发明技术方案带来的有益效果

CAS-PEAL人脸图像数据库由中国科学院计算机所创建，其包含了1040名中国人共99450幅头肩部图像，所有图像在专门的采集环境中采集，涵盖了姿态、表情、饰物和光照4种主要变化条件。IMM人脸库由丹麦技术大学创建，它包含了240张不同姿态、表情、光照的人脸图像。从IMM人脸库和CAS-PEAL人脸库中选取500张图像对本发明进行评估，这500张图像包含了从正面姿态到侧面姿态、从长头发到带帽子、从不带眼镜到带不同的眼镜等各种各样的人脸。

利用Mikael Nilsson,J.Nordberg,Ingvar Claesson在文献“Face detection usinglocal SMQT features and split up SNOW classifier”（IEEE International Conferenceon Acoustics,Speech,and Signal Processing,Honolulu,USA.2007,589-592）中提出的人脸检测方法检测人脸，结果如图6所示。对检测到的人脸图像进行中值滤波及直方图均衡等预处理，其中，图7为处理前的人脸图像，图8为中值滤波后的图像，图9为直方图均衡后的图像。

计算直方图均衡后的图像的垂直投影曲线，如图10所示，由于眼睛图像灰度值较低，鼻子图像灰度值较高，会在垂直投影曲线上形成明显的“谷-峰-谷”，对应于人眼区域；“峰”对应的横坐标就是鼻中部的位置；两个“谷”对应于左、右眼区域。如图11所示。

利用径向对称变换对图12所示单只人眼区域进行瞳孔定位，处理结果如图13所示。将两只眼睛分别进行定位后，得到的最终定位结果如图14所示。图中绿色十字标记即为最终瞳孔定位结果。

表1显示了瞳孔定位的性能，从表1中可以看出，本发明提出的方法几乎在所有的图片中至少能检测到一个瞳孔，只有8张图片中的两只瞳孔都定位错误。另外，两只瞳孔都定位准确的比率为95.4%。表2显示了与准确瞳孔位置相比，本发明所检测到的瞳孔位置的分布规律。这里，我们不再考虑整张图片，而是将左右眼睛分开考虑，那么所有眼睛的数量是500*2=1000。从表2可以看出，定位误差在5个像素点之内的瞳孔数量占了95.5%，而定位误差超过10个像素点的瞳孔数量仅仅占了2.6%。

表1瞳孔定位性能

眼睛定位	定位准确率
		至少一只瞳孔定位准确	98.2%(491/500)
两只瞳孔都定位准确	95.4%(477/500)
		两只瞳孔定位都不准确	1.8%(9/500)

表2不同定位误差的检测率

与准确瞳孔位置的距离	数量
		5个像素之内	955(95.5%)
5到10个像素	19(1.9%)
		10到15个像素	8(0.8%)
15到20个像素	6(0.6%)
		20个像素以上	12(1.2%)

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

本发明涉及的缩略语和关键术语定义如下：

RST：Radial Symmetry Transform，径向对称变换。

SMQT：Successive Mean Quantization Transform，连续均值量化变换。

SNoW：Sparse Network of Winnows，稀疏筛选网络。

Claims (5)

1.一种人脸视频中瞳孔的定位方法，其特征在于：包括人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块；输入的视频图像经过人脸检测模块、图像预处理模块、人眼粗定位模块及瞳孔细定位模块最后得到瞳孔中心的位置。

2.一种人脸视频中瞳孔的定位方法，其特征在于：人脸检测模块的处理方法为：

该模块的输入为目标图像I_orig，利用基于局部连续均值量化变换和稀疏筛选网络分类器的人脸检测方法，检测出包含眼睛的人脸图像I_face，将其作为该模块的输出。

3.一种人脸视频中瞳孔的定位方法，其特征在于：图像预处理模块的处理方法为：

(1)中值滤波

采用一个3×3窗口对人脸图像进行中值滤波，这样图像中的每一个点都会对应一个3×3的窗口，该点位于窗口中心；将该窗口中心点周围的8个点按灰度值从大到小排序，最后用窗口中各点灰度值的中值，即排序后中间两个点灰度值的均值，来代替窗口中心点的灰度值，即完成中值滤波，得到图像为I_temp；

(2)直方图均衡

对中值滤波后的图像I_temp进行直方图均衡；直方图均衡化是通过灰度变换将一幅图像映射为另一幅具有均衡直方图，映射函数为一累积分布函数；其具体步骤如下：

1)首先计算I_temp的归一化灰度直方图H；

i=0,1,…,255，

其中，n_i为图像中灰度级为i的像素个数，i=0,1,…,255，n为图像中像素的总数；

2)然后计算直方图积分H’，

$H^{\&prime;}\left(i\right)=\underset{0\&le;j\&le;i}{\mathrm{\&Sigma;}}H\left(j\right)$

3)最后计算直方图均衡后的图像I；

I(x,y)＝H′[I_temp(x,y)]。

4.一种人脸视频中瞳孔的定位方法，其特征在于：人眼粗定位模块的处理方法为：

(1)计算I的垂直灰度投影曲线P_y(x),

$P_y\left(x\right)=\underset{x=1}{\overset{w}{\mathrm{\&Sigma;}}}I(x,y),$

其中，w为图像的宽度；

(2)P_y(x)在1/3到1/2处峰值的坐标，此处即为人脸的鼻子中部，利用该坐标在垂直方向上对I_face进行截取，得到粗略的人眼区域；

(3)以人眼区域宽度的中心为界，对人眼区域在竖直方向上进行对半分割，便可将两只眼睛分离开来，得到左眼区域I_left和右眼区域I_right。

5.一种人脸视频中瞳孔的定位方法，其特征在于：人眼粗定位模块的处理方法为：

(1)将人眼粗定位模块得到的眼睛图像I_left或I_right分别与Sobel水平算子和垂直算子进行卷积，计算出边缘梯度图像g(p)=[g_x(p),g_y(p)]；

g(p)＝[g_x(p),g_y(p)]＝|[I*Sobel_hor,I*Sobel_ver]|，

其中，‘*’表示卷积，Sobel_hor为Sobel水平算子 ${\mathrm{Sobel}}_{\mathrm{hor}}=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right),$ Sobel_ver为Sobel垂直算子 ${\mathrm{Sobel}}_{\mathrm{ver}}=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right);$

(2)初始化起始搜索半径N=5，S_{n_max}=0，S_max=0；

(3)如果满足S_max≥S_{n_max}，执行下列步骤：

(a)S_max=S_{n_max}；

(b)对于n=2,3,…,N，可计算出对应的方向投影图像O_n和幅度投影图像M_n；对于给定点P，O_n和M_n是由正负影响像素P_+ve和P_-ve计算出的，而P_+ve和P_-ve是梯度g(p)的函数；正负影响像素的定义不同，正影响像素是梯度向量g(p)指向的、距离点P的长度为n的点的坐标；负影响像素是梯度向量g(p)负向指向的距离点P的长度为n的点的坐标；

由梯度向量g(p)，可计算出负影响像素P_-ve和O_n[P_-ve(p)]、M_n[P_-ve(p)]，即

$P_{-\mathrm{ve}}\left(p\right)=p-\mathrm{round}\left(\frac{g\left(p\right)}{\left|g\left(p\right)\right|}n\right),---\left(5\right)$

O_n[P_-ve(p)]＝O_n[P_-ve(p)]-1，     (7)

M_n[P_-ve(p)]＝M_n[P_-ve(p)]-|g(p)|，     (9)

其中，“round”表示将向量中的所有元素都取最接近它们的整数；|·|表示向量取模；

然后计算F_n(p)，

$F_n\left(p\right)=\frac{M_n\left(p\right)}{k_n}{\left[\frac{{\hat{O}}_n\left(p\right)}{k_n}\right]}^{\mathrm{\&alpha;}},$

其中，α是径向控制参数；参数α=2，k_n=9.9；

其中，k_n用来归一化在不同半径下得到的O_n和M_n的尺度因子；

当检测半径为n时，径向对称强度值S_n为

S_n＝F_n*A_n，     (10)

其中，‘*’表示卷积，A_n是二维高斯阵，其大小为n×n，方差σ=0.25n；

(c)最终的径向对称变换S是与所有检测半径n对应的径向对称结果S_n的均值，选择其中最大的一个值作为瞳孔中心；

$S=\frac{1}{\left|N\right|}\underset{n\&Element;N}{\mathrm{\&Sigma;}}{S}_n,---\left(13\right)$

(d)N=N+2；

(4)若S_max<S_{n_max}，迭代搜索结束，获得瞳孔中心的位置。

Images