CN101930543B - 一种自拍视频中眼睛图像的调正方法 - Google Patents

Abstract

本发明公开了一种自拍视频中眼睛图像的调正方法，包括以下步骤：步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的识别定位：根据灰度识别出巩膜图像和虹膜图像；根据纹理识别出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像平移到巩膜图像的中心，从而实现眼睛图像的调正。本发明在不增加额外装置的情况下，通过软件方法进行图像处理，从而使得当人脸面对显示装置而眼睛不注视摄像镜头时可在显示装置上获得眼睛注视显示装置的活动视频图像，大大降低了硬件系统的改进成本。

Description

一种自拍视频中眼睛图像的调正方法

技术领域

本发明涉及视频数据处理和成像领域，特别是一种自拍视频中眼睛图像的调正方法。

背景技术

在数字视频处理的应用领域中，尤其随着3G通信网络的普及，视频自拍和网络视频的应用越来越广泛。目前存在一个很令人烦恼的现状，就是视频采集装置一般都位于显示装置的外边缘附近，如图2所示。在这种情况下，当被拍摄人目光注视显示装置的屏幕时，显示装置上的成像结果是眼睛的注视点偏离显示装置的屏幕，简而言之，就是屏幕观察者获得的人脸显示图像中眼睛图像歪的，而非正视的，人类视觉所感受到的眼睛图像的“正视”与“非正视”主要是根据人眼中巩膜、虹膜以及瞳孔的相对位置感受的，一般认为虹膜和瞳孔位于巩膜中心位置即为“正视”，否则为“非正视”。而当被拍摄人目光注视视频采集装置时，显示装置上的成像结果是眼睛的注视点朝向显示装置的屏幕但被拍摄人自己看不到这一成像结果，如图1a和图1b所示。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种自拍视频中眼睛图像的调正方法，从而使得被拍摄者在注视屏幕时，视频采集装置采集并最终显示出来的是眼睛正视的图像。

为了解决上述技术问题，本发明公开了一种自拍视频中眼睛图像的调正方法，包括以下步骤：

步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；

步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的识别定位：根据灰度区分出巩膜图像和虹膜图像；根据纹理区分出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；

步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像平移到巩膜图像的中心，从而实现眼睛图像的调正。

本发明中，优选地，所述步骤一包括以下步骤：

步骤(11)，对自拍视频的图像进行预处理；包括使用腐蚀膨胀法加强图像中各个分散点的连通性，使用中值滤波处理图像使得图像更加平滑。此步骤可以采用本领域常见的图像处理方法，同时，本步骤不是本发明的必要步骤，只是优化步骤之一，本发明在脱离了本步骤的情况下，仍然能够实现发明目的。

步骤(12)，图像进行色度空间转换，由于在双色差或色调饱和度平面上，不同人种的肤色变化不大，肤色的差异更多的是存在于亮度而不是色度，因此可以根据肤色情况从自拍视频的图像中识别出人脸图像；例如在光照良好且对比度适宜的情况下，即平均亮度值在100～200之间，对比度在50％～80％之间，肤色区域在YCbCr空间占据102＜Cb＜128，125＜Cr＜160的范围。

步骤(13)，根据灰度法从人脸图像中识别出左、右眼睛的图像；根据眼球区域和面部图像在灰度上的截然不同，通过对该区域图像进行黑白二值化处理后即可根据灰度的不同快速划分出两者的分界。

本发明中，优选地，所述步骤二包括以下步骤：

步骤(21)，对识别出的眼睛图像进行黑白二值化处理，并根据灰度法识别出巩膜图像和虹膜图像；根据巩膜和虹膜图像在灰度上的截然不同，通过对该区域图像进行黑白二值化处理后即可根据灰度的不同快速划分出两者的分界。

步骤(22)，根据纹理分析法识别出虹膜图像和瞳孔图像，并计算虹膜图像和瞳孔图像的相对位置；虹膜区域有较多复杂的纹理，而瞳孔区域基本呈现单一纹理并且虹膜区域总是呈现圆形，因此可以对该区域进行分块傅里叶变换分析或分块离散余弦变换，通过分析变换域中高频分量，高频分量多表明该区域纹理复杂，为虹膜区域，反之则为瞳孔区域，从而给出空间域两者之间的界限。

步骤(23)，计算出瞳孔图像中心点距离虹膜中心点的方位角α和距离d。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，将虹膜图像平移到巩膜图像的中心；

步骤(32)，对于虹膜图像平移后巩膜图像上的图像缺失部分，使用平移前虹膜图像周围的巩膜图像进行填充；

步骤(33)，根据瞳孔图像中心点距离虹膜中心点的方位角α和距离d，将平移后的虹膜图像所在的圆形区域以圆心为中心进行有向旋转；旋转方向为π+α，旋转角度为rtan^-1(d/r)，其中r为瞳孔的半径。

步骤(34)，对于虹膜图像有向旋转后空缺部分，使用巩膜图像周围的虹膜图像进行填充。

本发明的原理是当被拍摄者视线对准显示屏幕时，将拍摄到的视频图像中人眼目标检测之后根据瞳孔在眼球上的分布情况判断出视线和瞳孔中心到摄像机光心连线的夹角，根据该角度对采集到的视频图像眼部附近的区域进行二次投影，最终实现在显示屏幕上显示目光对准屏幕的视频图像。

有益效果：本发明在不增加额外装置的情况下，通过软件方法进行图像处理，从而使得当人脸面对显示装置而眼睛不注视摄像镜头时可在显示装置上获得眼睛注视显示装置的活动视频图像，大大降低了硬件系统的改进成本。本发明方法在视频通信，视频会议等需要使用视频进行双向或者多向通讯的方面有重要的应用前景。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是现实中注视对准和注视不对准的示意图。

图2是现有技术常见视频自拍装置的示意图。

图3是本发明注视矫正计算的示意图。

图4是本发明注视矫正计算的过程图。

图5是本发明连通区域的检测的流程图。

图6是本发明类Haar矩形特征示例图。

图7是本发明方法简化流程图。

具体实施方式：

本发明硬件部分由单个视频拍摄装置、运算处理装置和显示装置组成，核心思路是利用视频图像中目标识别、目标配准和目标二次投影，实现显示装置中显示观察者的目光正视的视频图像。

如图7所示，本发明公开了一种自拍视频中眼睛图像的调正方法，包括以下步骤：

步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；

所述步骤一包括以下步骤：步骤11，对自拍视频的图像进行预处理；步骤12，从自拍视频的图像中识别出人脸图像；步骤13，根据灰度法从人脸图像中识别出左、右眼睛的图像。

步骤11，对自拍视频的图像进行预处理；

对自拍视频的图像进行预处理，由于图像的采集往往在多变的，不可预料的环境(主要是光照环境)下进行，对图像进行预处理使其使其能够适应算法的要求显得尤为必要，本发明中涉及到的图像预处理包括直方图均衡、形态学操作和中值滤波。

直方图均衡化是数字图像处理中最为基本的一个操作，其作用是使得图像的对比度分明。形态学操作，分为形态学腐蚀和形态学膨胀，它们针对二值图像进行。先腐蚀在膨胀称为闭操作，可以使得图像中缺损的图形闭合，相反则称为开操作，使得闭合的图像断裂。经过形态学操作可以去除图像中的孤立噪声点并且将由于各种原因造成的断裂连通区域进行修复。

中值滤波是一种能有效抑制噪声的非线性信号处理技术。中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，从而消除孤立的噪声点。经过中值滤波波后图像将变得平滑。步骤12，从自拍视频的图像中识别出人脸图像，包括：

基于肤色分割的人脸检测：

多数人脸分析的方法都是基于灰度图像，而肤色分割是利用了人类肤色的颜色色度信息作为特征，进行人脸检测，是一种基于特征不变量的人脸检测方法。

人类肤色与自然背景存在明显的区别，由于面部血管的作用，其红色分量较为饱满；并且在不同光照、人种条件下的肤色相对维持在一个稳定的范围内。同时，这种方法只需对全局图像进行数次遍历，运算速度快，易于实现，是一种被广泛运用于人脸检测系统的基础算法。

该算法主要分为三个步骤：

步骤a，肤色区域分割：利用YCbCr色彩空间进行肤色分割，在该空间内，肤色Cr分量的阈值易于选取，且受到光照影响很小。YCbCr与RGB颜色空间的转换关系为：

Y＝0.256789R+0.504129G+0.0097906B+16

Cb＝-0.148223R-0.290992G+0.439215B+128

Cr＝0.439215R-0.367789G-0.071426B+128

R＝1.164383×(Y-16)+1.596027×(Cr-128)

G＝1.164382×(Y-16)-0.391762×(Cb-128)-0.812969×(Cr-128)

B＝1.164382×(Y-16)+2.017230×(Cb-128)

通过阈值分割，将YCbCr彩色图像转化为黑白图像，黑色表示背景，白色标记了接近肤色的区域。一般情况下，也就是光照良好且对比度适宜的情况下，肤色区域在YCbCr空间占据102＜Cb＜128，125＜Cr＜160的范围，因此分割的阈值可以选择Cb＝116，Cr＝144。

步骤b，将所有连通的白色区域将被定位出来，在检测区域值前，对图像进行一些预处理：(1)利用形态学闭操作(腐蚀-膨胀)加强各个分散点的连通性。(2)利用中值滤波使得图像平滑。

步骤c，所有被找到的白色区域中，通过面积，长宽比，位置等等信息筛选出最有可能是人脸的区域。在本实施例中，面部占图像比例一般都很高(比如60％以上)，位置处于图像中心区域，长宽比接近1∶1，因此很容易被区分。

连通区域的检测：在人脸肤色分割算法中，一个重要的步骤是要将形态学操作之后的图像中的连通区域检测出来，确定包围这些区域的最小矩形边界的坐标，大小，长宽比等。为了进行检测，首先确定一些定义“连通区域”的规则，这些规则可表示为：(1)两点连通要求它们在行或列上相邻(斜相邻不算为连通)；(2)如果一个连通区域包含另一个连通区域，后者将被忽略；(3)如果一个连通区域的最小矩形边界与另一连通区域的最小矩形边界部分重叠，两者被定义为独立的两个连通区域。根据这些规则，设计一种遍历边界的算法，逐行逐列的搜索连通的类肤色像素，定义类肤色像素为1，非肤色像素为0。算法流程表示如图5所示，图5a和图5b分别是多个区域检测的总流程以及单个区域检测具体流程。

如图5a所示，从图像左上角第一行第一个像素开始按行遍历，判断当前像素是否为起始点，若是则应用图5b的方法检测以该像素为起始点的边界，并在完成检测后标记边界，并指向上一起始点的右边一个像素点；若不是起始点则继续按行遍历下一个像素，重复以上过程直到遍历完整所有像素。

检测边界如图5b所示，从起始点作为当前点开始检测边界。首先以左、上、右、下的顺时针方向查找当前点周围是否有同类型像素点，之后在判断找到的像素点是否为边界点。为方便说明，本发明以当前点左边存在同类型像素点为例。设当前像素点A，并且查找到点A左边是否存在同类型像素点B，如果不存在，则更新边界，并判断能否回到起始点，如果不能回到起始点，则重新查找到点A左边是否存在同类型像素点B，如果能回到起始点，则结束；如果存在同类型像素点B，将B设为当前点，再判断AB方向的逆时针第一个方向上即“下”方是否有同类型像素点，如果没有像素点，则更新边界，并重新查找到点A左边是否存在同类型像素点B，若下方有同类型像素点C，则说明A不是边界点，将当前点设为C以BC的逆时针方向向下走查找判断是否回到起始点，如果回到起始点，则结束，如果没有回到起始点，则判断右边是否有点，如果没有，若没有则说明点B是边缘点，更新边界并继续以AB方向为起始方向顺时针查找边界，并重新判断下方是否有像素点，如果有点，则向右走，判断是否回到起始点，如果回到起始点，则结束；如果没有回到起始点，则判断上边是否有点，如果没有，则更新边界，并重新判断右边是否有点；如果上方有点，则向上走，并判断是否回到起始点，如果是则结束，如果不是回到起始点则重新判断左边是否有点，直至查找到起始点为止。通过边界信息，获取区域的面积、长宽比，面积过大、过小，长宽比过大、过小的区域都将被排除。

本实施例采用基于AdaBoost的人脸检测

Adaboost具体解决了两个问题：一是怎么处理训练样本？在AdaBoost中，每个样本都被赋予一个权重。如果某个样本没有被正确分类，它的权重就会被提高，反之则降低。这样，AdaBoost方法将注意力更多地放在“难分”的样本上。二是怎么合并弱分类器成为一个强分类器？强分类器表示为若干弱分类器的线性加权和形式，准确率越高的弱学习机权重越高。因此AdaBoost包含了两个重要思想，一是多特征的融合(这是Boosting算法的核心)，二是加权分类，将多个特征赋予不同的权重，且权重是通过训练获得的(传统加权分类的权重是预知的)。结合实际来说，对于人脸检测，要从背景中取得人脸，前面已经阐述过必定要根据某些特征，例如纹理和边缘特征等等，在本实施例中，采用类Haar方法进行特征提取。选取K个特征，也就是有K个弱分类器，T个训练样本，通过循环测试获得分类正确率最高的K个特征向量的权重组合，在循环过程中不断更新T个训练样本的权重值，将难以分类的权重提高，易于分类的降低。本方法采取AdaBoost方法进行人脸检测，下面将详细阐述算法的细节，所有算法都是针对灰度图像进行的

类Haar特征提取类Haar特征是一种矩形对特征，在给定有限的数据情况下，基于类Haar特征的检测能够编码特定区域的状态，矩形特征对一些简单的图形结构，比如边缘、线段，比较敏感，但是其只能描述特定走向(水平、垂直、对角)的结构，因此比较粗略。脸部一些特征能够由矩形特征简单地描绘，例如，通常，眼睛要比脸颊颜色更深，这就是一种边缘特征；鼻梁两侧要比鼻梁颜色要深，这就是一种线性特征；嘴巴要比周围颜色更深等等，如图6b所示，这就是一种特定方向的特征。常用的特征矩形，分为边缘特征和线性特征以及特定方向特征，如图6a所示，边缘特征模版用于提取不同角度的边缘信息，线性特征模版用于提取不同角度的线性图像块，特定方向特征模版用于提取指定类型的图像块。

基础模板在尺寸上是最小的，故而可以通过缩放形成各种尺寸的同类模板，例如边缘特征模板1就是2个像素的模板。而模板在遍历图像时的特征值，是图像上被白色矩形覆盖的区域之和减去被黑色矩形覆盖的区域之和。因此一幅纯色图像的上所有的特征的值都将是零。各个模板的特征模板可以在子窗口内以“任意”尺寸“任意”放置，每一种形态称为一个特征。找出子窗口所有特征，是进行弱分类训练的基础。

对于一幅待检测的图像，例如m×n的图像，显然其中包含大量的特征，多个特征的总数目之和是一个可观的数字，因此，下面将讨论图像中包含特征总数的问题。形象的说，图像是一个大盒子，模板是在其中自由活动的小盒子，小盒子在大盒子里面有很多不同的摆放位置，各种尺度的小盒子的所有可能摆放位置的总和就是特征的总数。设模板的大小为s×t，则m×n中所包含的特征总数为：

${\mathrm{\Ω}}_{(s,t)}^{(m,n)}=\underset{x=1}{\overset{m-s+1}{\mathrm{\Σ}}}\underset{y=1}{\overset{n-t+1}{\mathrm{\Σ}}}\mathrm{pq}$

$=\underset{x=1}{\overset{m-s+1}{\mathrm{\Σ}}}\underset{y=1}{\overset{n-t+1}{\mathrm{\Σ}}}\frac{m-x+1}{s}\×\frac{n-y+1}{t}$

$=\underset{x=1}{\overset{m-s+1}{\mathrm{\Σ}}}\frac{m-x+1}{s}\×\underset{y=1}{\overset{n-t+1}{\mathrm{\Σ}}}\frac{n-y+1}{t}$

多种不同模板的特征数的和即为图像中特征总数，通常的对于2个边缘模板、2个线性模板，1个特定方向模板，5个模板在16×16大小的图像中特征数为32384，如果图像大小为36×36，特征数将达到816264。

积分图运算从上述数据可以看出，一幅图像中的特征数目十分庞大，并且随着图像大小的急剧增长。因此找到一个合适的特征计算方法十分必要。本实施例采用的积分图方法是一种有效、快速的特征计算方法。

对于一幅图像A，其中A(x，y)点的积分图值定义为：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}A(x^{\′},y^{\′})$

也就是该点和原点为对角点的矩形内所有点的和。利用积分图可以快速方便的计算出图像的类Haar矩形特征。矩形特征的特征值计算，只与此特征端点的积分图有关，而与图像坐标值无关。因此，不管此矩形特征的尺度如何，特征值的计算所耗费的时间都是常量，而且都只是简单的加减运算。正因如此，积分图的引入，大大地提高了检测的速度。

AdaBoost设计流程AdaBoost算法最终是要获得一个合适的强分类器，设计分类器的过程主要是训练过程，训练采用大量的样本，包括人脸与非人脸，其流程如下：

1)给定一系列训练样本(x₁，y₁)，(x₂，y₂)，，，(x_n，y_n)，其中y_i＝0表示其为负样本(非人脸)，y_i＝1表示其为正样本(人脸)。n为一共的训练样本数量；

2)初始化权重W_1，i＝D(i)，令

或

其中m正样本的数量，l为附样本的数量，m+l＝n；

3)对t＝1...T首先归一化权重，T为迭代次数：

$q_{t,i}=\frac{w_{t,i}}{{\mathrm{\Σ}}_{j=1}^n{w}_{t,j}}$

再对每个特征f，训练一个弱分类器h(x，f，p，θ)；计算对应所有特征的弱分类器的加权q_t错误率ε_f，其中，f为特征，θ为阈值和p指示不等号方向：

ε_f＝∑_iq_i|h(x_i，f，p，θ)-y_i|

继而选取最佳的弱分类器h(x)(拥有最小错误率ε_t)：

ε_t＝min_f，p，θ∑_iq_i|h(x_i，f，p，θ)-y_i|

＝∑_iq_i|h(x_i，f_t，p_t，θ_t)-y_i|＝∑_iq_i|h_t(x)-y_i|

弱分类器的训练及选取将在下面详细阐述。按照这个最佳弱分类器，调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中e_i＝0表示x_i被正确地分类，其中e_i＝1表示x_i被错误地分类；

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}$

最后的强分类器为：

其中

${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}$

一个弱分类器h(x，f，p，θ)由一个特征f，阈值θ和指示不等号方向的p组成：

对于本实施例中的矩形特征来说，弱分类器的特征值f(x)就是矩形特征的特征值。由于在训练的时候，选择的训练样本集的尺寸等于检测子窗口的尺寸，检测子窗口的尺寸决定了矩形特征的数量，所以训练样本集中的每个样本的特征相同且数量相同，而且一个特征对一个样本有一个固定的特征值。对于理想的像素值随机分布的图像来说，同一个矩形特征对不同图像的特征值的平均值应该趋于一个定值K。这个情况，也应该发生在非人脸样本上，但是由于非人脸样本不一定是像素随机的图像，因此上述判断会有一个较大的偏差。对每一个特征，计算其对所有的一类样本(人脸或者非人脸)的特征值的平均值，最后得到所有特征对所有一类样本的平均值分布。人脸样本与非人脸样本的分布曲线差别并不大，不过注意到特征值大于或者小于某个值后，分布曲线出现了一致性差别，这说明了绝大部分特征对于识别人脸和非人脸的能力是很微小的，但是存在一些特征及相应的阈值，可以有效地区分人脸样本与非人脸样本。

一个弱学习器(一个特征)的要求仅仅是：它能够以稍低于50％的错误率来区分人脸和非人脸图像，因此上面提到只能在某个概率范围内准确地进行区分就已经完全足够。按照这个要求，可以把所有错误率低于50％的矩形特征都找到(适当地选择阈值，对于固定的训练集，几乎所有的矩形特征都可以满足上述要求)。每轮训练，将选取当轮中的最佳弱分类器(在算法中，迭代T次即是选择T个最佳弱分类器)，最后将每轮得到的最佳弱分类器按照一定方法提升为强分类器。

训练一个弱分类器(特征f)就是在当前权重分布的情况下，确定f的最优阈值，使得这个弱分类器(特征f)对所有训练样本的分类误差最低。选取一个最佳弱分类器就是选择那个对所有训练样本的分类误差在所有弱分类器中最低的那个弱分类器(特征)。对于每个特征f，计算所有训练样本的特征值，并将其排序。通过扫描一遍排好序的特征值，可以为这个特征确定一个最优的阈值，从而训练成一个弱分类器。具体来说，对排好序的表中的每个元素，计算下面四个值：

1)全部人脸样本的权重的和T⁺；

2)全部非人脸样本的权重的和T-；

3)在此元素之前的人脸样本的权重的和S+；

4)在此元素之前的非人脸样本的权重的和S-；

这样，当选取当前元素的特征值

和它前面的一个特征值之间的数作为阈值时，所得到的弱分类器就在当前元素处把样本分开——也就是说这个阈值对应的弱分类器将当前元素前的所有元素分类为人脸(或非人脸)，而把当前元素后(含)的所有元素分类为非人脸(或人脸)。

可以认为这个阈值所带来的分类误差为：

e＝min(S⁺+(T^--S^-)，S^-+(T⁺-S⁺))

通过把这个排序的表扫描从头到尾扫描一遍就可以为弱分类器选择使分类误差最小的阈值(最优阈值)，也就是选取了一个最佳弱分类器。

AdaBoost强分类器由弱分类器级联而成，强分类器对待一幅待检测图像时，相当于让所有弱分类器投票，再对投票结果按照弱分类器的错误率加权求和，将投票加权求和的结果与平均投票结果比较得出最终的结果。平均投票结果，即假设所有的弱分类器投“赞同”票和“反对”票的概率都相同，求出的平均概率为：

$\frac{1}{2}({\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\·1+{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\·0)=\frac{1}{2}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t$

步骤13，根据灰度法从人脸图像中识别出左、右眼睛的图像。

步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的识别定位：根据灰度识别出巩膜图像和虹膜图像；根据纹理识别出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；

所述步骤二包括以下步骤：步骤21，对识别出的眼睛图像进行黑白二值化处理，并根据灰度的不同识别出巩膜图像和虹膜图像，二值化采用ostu方法，即选取使得二值化后图像灰度方差和最大的阈值进行二值化，由于巩膜图像和虹膜图像在灰度上的较大差异，二值化后巩膜区域为白色而虹膜区域为黑色，根据虹膜区域边界为圆形的特征可以很方便的把两者区分开来；步骤22，根据纹理分析法识别出虹膜图像和瞳孔图像，并计算虹膜图像和瞳孔图像的相对位置；虹膜区域有较多复杂的纹理，而瞳孔区域基本呈现单一纹理并且虹膜区域总是呈现圆形，因此可以对该区域进行分块傅里叶变换分析或分块离散余弦变换，通过分析变换域中高频分量，高频分量多表明该区域纹理复杂，为虹膜区域，反之则为瞳孔区域，从而给出空间域两者之间的界限。本发明中通过比较两个图像频谱间高频分量占低频分量的比例来确定，实际计算时，一般可以认为在频谱呈双峰分布时，高频成分占总频谱能量20％以上就可界定为虹膜区域。步骤23，计算出瞳孔图像中心点距离虹膜中心点的方位角和距离。由于瞳孔和虹膜都呈现圆形，本发明中瞳孔中心点和虹膜中心点的获取通过分别提取瞳孔和虹膜的弧形边界，利用圆心和圆弧的几何关系定位出来。

步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像通过有向旋转移动到巩膜图像的中心，从而实现眼睛图像的调正。

如图4所示，其中斜条纹区域表示平移和有向旋转后的空缺部分，点阵部分表示虹膜，黑色区域表示瞳孔。所述步骤三包括以下步骤：步骤31，将虹膜图像平移到巩膜图像的中心，如图4(a)所示；步骤32，对于虹膜图像平移后巩膜图像上的图像缺失部分，使用平移前虹膜图像周围的巩膜图像进行填充，如图4(c)中所示；步骤33，根据瞳孔图像中心点距离虹膜中心点的方位角和距离，将平移后的虹膜图像所在的圆形区域以圆心为中心进行有向旋转，如图3和图4(c)中所示。根据瞳孔图像中心点距离虹膜中心点的方位角α和距离d，将平移后的虹膜图像所在的圆形区域以圆心为中心进行有向旋转；旋转方向为π+α，旋转角度为r tan^-1(d/r)，其中r为瞳孔的半径；步骤34，对于虹膜图像有向旋转后空缺部分，使用巩膜图像周围的虹膜图像进行填充。

所述步骤11的预处理包括使用腐蚀膨胀法加强图像中各个分散点的连通性。所述步骤11的预处理包括使用直方图均衡化提高图像的对比度。所述步骤11的预处理包括使用中值滤波处理图像。

本发明提供了一种自拍视频中眼睛图像的调正方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种自拍视频中眼睛图像的调正方法，其特征在于，包括以下步骤：

步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；

步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的区分和定位：根据灰度区分出巩膜图像和虹膜图像；根据纹理区分出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；所述根据纹理区分出虹膜图像和瞳孔图像方法为对该虹膜区域和瞳孔区域进行分块傅里叶变换分析或分块离散余弦变换，通过分析变换域中高频分量，高频分量多表明该区域纹理复杂，为虹膜区域，反之则为瞳孔区域，从而给出空间域两者之间的界限；

步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像通过有向旋转移动到巩膜图像的中心，从而实现眼睛图像的调正；

所述步骤三包括以下步骤：

步骤(31)，将虹膜图像平移到巩膜图像的中心；

步骤(32)，对于虹膜图像平移后巩膜图像上的图像缺失部分，使用平移前虹膜图像周围的巩膜图像进行填充；

步骤(33)，根据瞳孔图像中心点距离虹膜中心点的方位角和距离，对瞳孔图像进行有向移动到虹膜图像中心；

步骤(34)，对瞳孔图像有向移动后的空缺部分，使用虹膜图像进行填充。

2.根据权利要求1所述的一种自拍视频中眼睛图像的调正方法，其特征在于，所述步骤一包括以下步骤：

步骤(11)，对自拍视频的图像进行预处理；

步骤(12)，从自拍视频的图像中识别出人脸图像；

步骤(13)，根据灰度关系从人脸图像中识别出左、右眼睛的图像。

3.根据权利要求2所述的一种自拍视频中眼睛图像的调正方法，其特征在于，所述步骤二包括以下步骤：

步骤(21)，对识别出的眼睛图像进行黑白二值化处理，并根据灰度关系识别出巩膜图像和虹膜图像；

步骤(22)，根据纹理分析法识别出虹膜图像和瞳孔图像，并计算虹膜图像和瞳孔图像的相对位置；

步骤(23)，计算出瞳孔图像中心点距离虹膜中心点的方位角和距离。

4.根据权利要求2所述的一种自拍视频中眼睛图像的调正方法，其特征在于，所述步骤(11)的预处理包括使用腐蚀膨胀法加强图像中各个分散点的连通性。

5.根据权利要求2所述的一种自拍视频中眼睛图像的调正方法，其特征在于，所述步骤(11)的预处理包括使用中值滤波处理图像。

Images