CN101264007A - 眼睑检测装置及其程序 - Google Patents

Abstract

本发明提供一种即使在眼睑涂有色彩，也能够正确检测眼睑与眼球的边界点的眼睑检测装置及其程序。在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离比极大值低于设定值的边缘值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离比极小值低于设定值的边缘值的极小点最近的点作为边缘特征点进行检测，从所检测的边缘特征点，检测上眼睑与眼球的边界点和下眼睑与眼球的边界点。

Description

眼睑检测装置及其程序

技术区域

本发明涉及一种眼睑检测装置及其程序，尤其是涉及一种从包括眼睛的区域的图像中检测眼睑的边界点的眼睑检测装置及其程序。

背景技术

过去，已知有在表示浓淡图像的浓淡变化的大小的1维边缘图像上，基于边缘值为极大值或极小值的点，检测眼睑与眼球的边界点的眼睑的开度检测装置(专利文献1)。在该眼睑的开度检测装置中，检索更外侧的边缘极值点，将所检索到的边缘极值点作为眼睑与眼球的边界点。

[专利文献1]日本专利第3143819号

但是，在上述专利文献1记载的技术中，由于将1维边缘图像的边缘值为极值的点作为眼睑与眼球的边界点，故当眼睑涂有眼影、或眼睑涂有色彩时，会将离睁眼睑与眼球的边界点的地方检测为边界点，从而会出现不能正确检测边界点的问题。

发明内容

本发明考虑到上述问题，其目的在于提供一种即使在眼睑涂有色彩，也能够正确检测眼睑与眼球的边界点的眼睑检测装置及其程序。

为实现上述目的，与本发明有关的眼睑检测装置的特征在于，包括：生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在由上述生成机构生成的边缘图像中，检索像素值变化的大小在上述规定方向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。

还有，与本发明的有关的程序的特征在于，使计算机作为如下机构起作用：生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在由上述生成机构生成的边缘图像中，检索像素值变化的大小在上述规定方向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。

根据本发明，利用生成机构，基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像，利用极值点检索机构，在由生成机构生成的边缘图像中，检索像素值变化的大小在规定方向上为极值的极值点。然后，利用边界点检测机构，基于从由极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。

这样，在边缘图像中，基于从像素值变化的大小为极值的极值点偏向眼球侧方向的点，检测边界点，从而即使在眼睑涂有色彩时，也能够正确检测眼睑与眼球的边界点。

与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向的点、且离像素值变化的大小为规定值的该极值点最近的点，检测第1边界点和第2边界点中的至少一方。这样，可以将离相当于边界点的像素值变化的规定值的极值点最近的点作为眼睑与眼球的边界点进行检测。

还有，上述规定值可以与上述极值点的像素值变化的大小相比减小预先确定的值。这样，作为相当于边界点的像素值变化的规定值，可以采用与极值点的像素值变化的大小相比减小预先确定的值的规定值。

还有，上述规定值可以为预先确定的值。这样，作为相当于边界点的像素值变化的规定值，可以采用预先确定的值。

还有，上述规定值可以是将从极值点的像素值变化的大小中减去一个预先确定的值再乘以规定比率所得的值从极值点的像素值变化的大小中减去后的值。这样，作为相当于边界点的像素值变化的规定值，可以采用基于极值点的像素值变化的大小、预先确定的值、和规定比率所确定的值。

与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向的点、且离像素值变化的大小在规定方向的变化率在规定方向上为极值的该极值点最近的点，检测第1边界点和第2边界点中的至少一方。这样，可以将离像素值变化的大小的变化率为极值的极值点最近的点作为眼睑与眼球的边界点进行检测。

上述的规定方向可以为眨眼方向。这样，可以利用边缘图像的眨眼方向的像素值变化，表示眼睑与眼球的边界的边缘。

与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向的点、且没有像素值变化的点，检测第1边界点和第2边界点中的至少一方。这样，可以将没有像素值变化的点作为眼睑与眼球的边界点进行检测。

如上述说明所述，利用本发明的眼睑检测装置及其程序，可以获得如下效果，即在边缘图像中，基于从像素值变化的大小为极值的极值点偏向眼球侧方向的点，检测边界点，从而即使在眼睑涂有色彩时，也能够正确检测眼睑与眼球的边界点。

附图说明

图1是表示与本发明的第1实施方式有关的眼睑检测装置的结构的框图。

图2(A)是表示眼睛图像的影像图，(B)是表示眼睛图像的Sobel边缘图像的影像图。

图3是表示与本发明的第1实施方式有关的眼睑检测装置的图像处理子程序的内容的流程图。

图4(A)是表示Sobel滤波器的影像图、(B)是表示Prewitt滤波器的影像图，(C)是表示单纯差分滤波器的影像图，(D)是表示具有平滑化功能的单纯差分滤波器的影像图。

图5(A)是表示Sobel边缘图像的影像图，(B)是表示边缘值的变化的曲线图。

图6是表示与本发明的第1实施方式有关的眼睑检测装置的边缘特征点检测处理子程序的内容的流程图。

图7是说明在与本发明的第1实施方式有关的边缘特征点检测处理子程序所检测的边缘特征点的影像图。

图8是表示与本发明的第1实施方式有关的眼睑检测装置的负侧检测处理子程序的内容的流程图。

图9(A)是表示涂有眼影的眼睛处于闭眼状态的眼睛图像的影像图，(B)是表示从Sobel边缘图像检测的极大值和极小值的结果的影像图，(C)是表示检测出边缘特征点的结果的影像图，(D)是表示检测出眼睑的边界点的结果的影像图。

图10(A)是表示涂有眼影的眼睛处于闭眼状态的眼睛图像的Sobel边缘图像的影像图，(B)是表示边缘值的变化的曲线图。

图11(A)是表示涂有眼影的眼睛处于睁眼状态的眼睛图像的影像图，(B)是表示从Sobel边缘图像检测的极大值和极小值的结果的影像图，(C)是表示检测出边缘特征点的结果的影像图，(D)是表示检测出眼睑的边界点的结果的影像图。

图12是说明以与本发明的第2实施方式有关的边缘特征点检测处理子程序检测出的边缘特征点的影像图。

图13是说明以与本发明的第3实施方式有关的边缘特征点检测处理子程序检测出的边缘特征点的影像图。

图14是说明以与本发明的第4实施方式有关的边缘特征点检测处理子程序检测出的边缘特征点的影像图。

图15是说明与本发明的第5实施方式有关的无像素值变化点的影像图。

图中：10-眼睑检测装置，12-图像摄影部，16-计算机，18-显示装置，20-图像输入部，22-眼睛图像提取部，24-边缘特征点检测部，26-边界点检测部，28-开度测定部。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。另外，在本实施方式中，以在从浓淡图像求出眼睑的开度并输出的眼睑检测装置中应用本发明时的情况为例，进行说明。

如图1所示，与本实施方式有关的眼睑检测装置10具有：拍摄包含作为对象的被检验者的面部的图像的CCD摄像机等组成的图像摄影部12；与图像摄影部12的快门动作同步地对拍摄对象进行照明且由红外闪光灯或红外LED等构成的照明部14；进行图像处理的计算机16；和由CRT等构成的显示装置18。

计算机16构成为包括CPU、存储后述的图像处理子程序的程序的ROM、存储数据等的RAM、以及连接这些部件的总线。下面按照基于硬件和软件确定的每个功能实现机构所分割的功能模块，说明该计算机16。如图1所示，计算机16具有：输入从图像摄影部12输出的作为浓淡图像的面部图像的图像输入部20；从图像输入部20输出的面部图像中提取包含眼睛的小区域的图像、即眼睛图像的眼睛图像提取部22；对眼睛图像提取部22所提取的眼睛图像进行处理，检测边缘特征点的边缘特征点检测部24；基于边缘特征点检测部24所检测出的边缘特征点，检测眼睑与眼球的分界点的眼睑分界点检测部26；和基于眼睑分界点检测部26所检测出的眼睑分界点，测定眼睑开度的开度测定部28。

图像输入部20由例如A/D变换器、存储1个画面的图像数据的图像存储器等构成。

还有，眼睛图像提取部22从面部图像中搜索眼睛区域，确定提取位置，基于所确定的提取位置，将包含眼睛的小区域作为眼睛图像来提取。

还有，边缘特征点检测部24利用Sobel算符，从如图2(A)所示的眼睛图像生成如图2(B)所示的、眨眼方向、即从上向下方向的表示每个像素的浓淡变化的大小的Sobel边缘图像，从所生成的Sobel边缘图像中检索边缘值的极值点，基于所检索的极值点，检测边缘特征点。

眼睑边界点检测部26基于所检测的边缘特征点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点。

开度测定部28测定利用边界点检测部26检测的第1边界点与第2边界点的间隔，并作为眼睑开度进行输出。

接着，说明眼睑检测装置10的动作。首先，利用图像摄影部12拍摄被检验者的面部图像。此时，为了减少周围的干扰光的影响，让由例如红外闪光灯构成的照明部14与图像摄影部12的拍摄同步发光，对被检验者的面部进行照明。另外，如果从照明部14连续发光，则不需要与图像摄影部12进行同步，从而简化结构。

在计算机16中，运行图3所示的图像处理子程序。首先，在步骤100中，作为视频信号，获取利用图像摄影部12拍摄的面部图像，在步骤102中，对视频信号进行A/D变换，生成2维数字图像。在本实施例中，由于以后的处理基于该数字图像通过数字处理来进行，因此以后在只称图像时，指的是数字图像。

然后，在步骤104中，从面部图像中检索眼睛区域，将含有眼睛的区域设定为提取区域，在步骤106中，将包含一只眼睛的小区域作为眼睛图像进行提取。另外，在检索眼睛区域时，也可以利用例如样板匹配法的图像处理，从面部图像中检索眼睛区域，或者也可以让操作者通过键盘、鼠标、电子笔、或者光笔等的眼睛区域指示机构，在面部图像上指示眼睛，从而指示眼睛区域。

然后，在步骤108，对于在上述步骤106中提取出的眼睛图像，利用图4(A)所示的Sobel滤波器，进行边缘处理，生成如图5(A)所示的、从上向下方向的表示作为每个像素的像素值变换的浓淡变化的大小的1维边缘图像的Sobel边缘图像。例如，若将当前的图像坐标设为(x，y)，将(x，y)的像素值设为A(x，y)，则Sobel边缘图像的(x，y)的边缘值E(x，y)可以通过下式求出。

E(x，y)＝A(x-1，y-1)+2A(x，y-1)+A(x+1，y-1)-A(x-1，y+1)-2A(x，y+1)  -A(x+1，y+1)

另外，作为进行边缘处理的滤波器，也可以采用图4(B)所示的Prewitt滤波器、图4(C)所示的单纯差分滤波器、图4(D)所示的具有平滑化功能的单纯差分滤波器。

通过上述步骤108，可以获得图5(B)所示的、眨眼方向、即从上向下方向的原始图像的像素值变化的大小的变化。一般来说，眼球部分与作为皮肤部分的眼睑相比，反射率小，拍摄的像比较暗，因此像素值从上向下从明到暗变化，然后反过来从上向下从暗到明变化。这样，表示所获得的像素值变化的边缘值在眼球与上眼睑的分界部分出现极大值，在眼球与下眼睑的分界部分出现极小值。还有，作为极大值的点的下侧为眼球侧，作为极小值的点的上侧为眼球侧。

在下一步骤110中，进行检测边缘特征点的处理。下面，利用图6，说明为实现步骤110的边缘特征点检测处理子程序。另外，分别对于像素在眼睛图像的纵方向排列的像素列执行边缘特征点检测处理子程序。

首先，在步骤150中，对存储在RAM中的极大值进行复位，同时对关注像素进行初始化处理，即将其设定在作为初始化位置的检测对象的基准线上的最上方的位置。在步骤152中，判断关注像素的边缘值是否为正，如果边缘值为正，则在步骤154中，判断上一个像素与关注像素之间的边缘值的符号是否从负切换为正，如果边缘值的符号没有从负切换为正，则转移到步骤158，如果上一个像素与关注像素之间的边缘值的符号是从负切换为正，则在步骤156中，对存储在RAM中的极大值进行复位，然后转移到步骤158。

在步骤158中，判断关注像素的边缘值是否在基准线的从上向下的方向为极大值。如果基于上一个像素、关注像素、以及下一个像素的边缘值，判断关注像素的边缘值为极大值，则在步骤160中，判断作为关注像素的边缘值的极大值是否大于预先确定的第1阈值D1。如果关注像素的极大值在第1阈值D1以下，则在步骤162中，将关注像素的位置作为特征点进行存储，同时对存储在RAM中的极大值进行复位，然后转移到步骤176。还有，在上述步骤162中，边缘特征点的边缘值也一起存储在RAM中。

另一方面，在上述步骤160中，如果判断作为关注像素的边缘值的极大值大于第1阈值D1，则在步骤164中，判断是否有存储于RAM中的极大值。如果有存储于RAM中的极大值，则在步骤166中，判断此次的关注像素的极大值是否大于所存储的极大值。如果所存储的极大值较大，则转移到步骤176。另一方面，如果此次的关注像素的极大值较大，则在步骤168中，将此次的关注像素的极大值存储在RAM中，然后转移到步骤176。

还有，在上述步骤164中，如果在对极大值进行了复位的状态下，RAM中没有存储极大值，则在步骤168中，将此次的关注像素的极大值存储在RAM中。

另一方面，在上述步骤158中，如果关注像素的边缘值不是极大值，则在步骤170中，判断是否有存储于RAM中的极大值。如果有存储于RAM中的极大值，则在步骤172中，判断上一个像素的边缘值是否大于(极大值-设定值X1)、关注像素的边缘值是否在(极大值-设定值X1)以下。另外，对于设定值X1，当眼睑上涂有眼影时，可以通过实验或统计方法求出上眼睑的边界点的边缘值，而且求出极大值与上眼睑的边界点的边缘值的差，将所求的差作为设定值，进行预先设定。

在上述步骤172中，如果上一个像素的边缘值在(极大值-设定值X1)以下，或者关注像素的边缘值大于(极大值-设定值X1)，则转移到步骤176。另一方面，当上一个像素的边缘值大于(极大值-设定值X1)、且关注像素的边缘值在(极大值-设定值X1)以下时，如图7所示，判断关注像素是从上向下时像素值从明到暗变化的暗侧的点且是离比极大值小设定值X2的边缘值的极大值点最近的点，在步骤174中，将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位，然后转移到步骤176。还有，在上述步骤174中，边缘特征点的边缘值也一起存储在RAM中。这样，如图7所示，可以将从极大点偏向眼球侧的下方的点、且离比极大值小设定值X1的边缘值的极大值点最近的点作为边缘特征点进行检测。

还有，在上述步骤170中，如果在对极大值进行了复位的状态下、RAM中没有存储极大值时，则转移到步骤176。

还有，在上述步骤152中，如果判断边缘值为负，则转移到步骤176。

在步骤176中，判断关注像素是否为检测对象的基准线上的最下方的像素，如果是检测对象的基准线上的最下方的像素，且对检测对象的基准线的所有的像素进行了上述处理时，则转移到步骤180。另一方面，如果不是检测对象的基准线上的最下方的像素，则在步骤178中，将关注像素设定为下一个的像素，回到步骤152，对下一个设定的关注像素进行上述处理。

在步骤180中，进行负侧检测处理，然后结束边缘特征点检测处理子程序。这里，参照图8，说明为实现上述步骤180的负侧检测处理子程序。

首先，在步骤181中，对存储在RAM中的极小值进行复位，同时对关注像素进行初始化处理，即将其设定在作为初始化位置的检测对象的基准线上的最下方的位置。在步骤182中，判断关注像素的边缘值是否为负，如果边缘值为负，则在步骤183中，判断下一个像素与关注像素之间的边缘值的符号是否从正切换为负，如果边缘值的符号没有从正切换为负，则转移到步骤186，如果下一个像素与关注像素之间的边缘值的符号是从正切换为负，则在步骤184中，对存储在RAM中的极小值进行复位，然后转移到步骤186。

在步骤186中，判断关注像素的边缘值是否在基准线的从上向下的方向为极小值。如果基于上一个像素、关注像素、以及下一个像素的边缘值，判断关注像素的边缘值为极小值，则在步骤188中，判断关注像素的边缘值的极小值是否小于预先确定的第2阈值D2(D2＜0)。如果关注像素的极小值在第2阈值D2以上，则在步骤190中，将关注像素的位置作为特征点进行存储，同时对存储在RAM中的极小值进行复位，然后转移到步骤204。还有，在上述步骤190中，边缘特征点的边缘值也一起存储在RAM中。

另一方面，在上述步骤188中，如果判断关注像素的边缘值的极小值小于第2阈值D2，则在步骤192中，判断是否有存储于RAM中的极小值。如果有存储于RAM中的极小值，则在步骤194中，判断此次的关注像素的极小值是否大于存储的极小值。如果存储的极小值较小，则结束负侧检测处理子程序。另一方面，如果此次的关注像素的极小值较小，则在步骤196中，将此次的关注像素的极小值存储在RAM，然后转移到步骤204。

还有，在上述步骤192中，如果在对极小值进行了复位的状态下，RAM中没有存储极小值，则在步骤196中，将此次的关注像素的极小值存储在RAM中。

另一方面，在上述步骤186中，如果关注像素的极大值不是极小值，则在步骤198中，判断是否有存储于RAM中的极小值。如果有存储于RAM中的极小值，则在步骤200中，判断下一个像素的边缘值是否小于(极小值-设定值X2)、关注像素的边缘值是否在(极小值-设定值X2)以上。另外，对于设定值X2(X2＜0)，当眼睑上涂有眼影时，可以通过实验或统计方法求出下眼睑的边界点的边缘值，而且求出从极小值减去下眼睑的边界点的边缘值后的差，将所求的差作为设定值，进行预先设定。

在上述步骤200中，如果下一个像素的边缘值在(极小值-设定值X2)以上，或者关注像素的边缘值小于(极小值-设定值X2)，则结束负侧检测处理子程序。另一方面，当下一个像素的边缘值小于(极小值-设定值X2)、且关注像素的边缘值在(极小值-设定值X2)以上时，如图7所示，判断关注像素是从上向下时像素值从暗到明变化的暗侧的点且是离比极小值小设定值X2的边缘值的极小值点最近的点，在步骤202中，将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极小值进行复位，然后转移到步骤204。还有，在上述步骤202中，边缘特征点的边缘值也一起存储在RAM中。这样，如图7所示，可以将从极小点偏向眼球侧的上方的点、且离比极小值小设定值X2的边缘值的极小值点最近的点作为边缘特征点进行检测。

还有，在上述步骤198中，如果在对极小值进行了复位的状态下、RAM中没有存储极小值时，则转移到步骤204。

还有，在上述步骤182中，如果判断边缘值为正，则转移到步骤204。

在步骤204中，判断关注像素是否为检测对象的基准线上的最上方的像素，如果是检测对象的基准线上的最上方的像素，且对检测对象的基准线的所有的像素进行了上述处理时，则结束负侧检测处理子程序。另一方面，如果不是检测对象的基准线上的最上方的像素，则在步骤206中，将关注像素设定为上一个的像素，回到步骤182，对上一个设定的关注像素进行上述处理。

如上所述，通过运行边缘特征点检测处理子程序，在Sobel边缘图像上，检测边缘值为正的边缘特征点Pi(i＝0、1、...)和边缘值为负的边缘特征点Mi(i＝0、1、...)。

然后，在图像处理子程序的步骤112中，从所检测出的边缘特征点Pi中检测上眼睑与眼球的第1边界点，从所检测出的边缘特征点Mi中检测下眼睑与眼球的第2边界点。

在上述步骤112中，如果检测到多个个边缘特征点，如下说明所述，检测第1边界点和第2边界点。

首先，在表示所检测的多个边缘特征点Pi的图像内，移动搜索窗口，检测第1边界点。也可以通过试验等方法导出表示上眼睑的像素范围，然后基于该像素范围确定搜索窗口。搜索窗口根据分辨率和屏幕的大小来适当确定，可以为例如1×15(垂直方向1个像素，水平方向15个像素)左右。具体来说，一边在表示多个边缘点Pi的图像内移动搜索窗口，一边计算搜索窗口内的横边缘的边缘特征点Pi的强度和，将横边缘的边缘特征点Pi的强度和在规定值以上的位置的搜索窗口内的横边缘(白黑边缘)的边缘特征点识别为“上眼睑与眼球的第1边界点”。此时，如果存在上下相邻的候选第1边界点，则放弃除最上侧的候选第1边界点以外的其他候选第1边界点。另外，如果在眼睛窗口的上端附近存在候选第1边界点，则放弃该候选第1边界点。这是因为上端附近有时存在表示眉毛的横边缘。接着，将残留的候选第1边界点作为上眼睑与眼球的第1边界点进行检测。

或者，也可以利用眼睛张开时的上眼睑一般为圆弧状的形状特征，提取上眼睑与眼球的第1边界点。即，将大致水平延伸的圆弧状连续的边缘(在垂直方向上从白到黑的边缘)识别为上眼睑与眼球的第1边界点。通过利用上述形状特征，可以高精度地检测上眼睑与眼球的第1边界点。还有，当利用多帧连续的图像时，也可以利用在眨眼时、上眼睑的动作大于眼睛的其它部分(例如下眼睑、眉毛或眼镜框架)的特征来确定上眼睑与眼球的第1边界点。

还有，基于第1边界点的位置，确定用于检测下眼睑与眼球的第2边界点的搜索窗口。用于检测下眼睑的搜索窗口的位置设定在以如上所述检测的第1边界点的位置为基准、处于第1边界点的下方，例如可以设定在从第1边界点的位置往下移动相当于眼睛平均尺寸(在眼睛张开的状态下上眼睑与下眼睑之间的平均距离)的像素数的地方。下眼睑检测用的搜索窗口的尺寸可以与下眼睑检测用的搜索窗口的尺寸一样，通过试验等方法导出表示下眼睑的像素范围，然后基于该像素范围确定搜索窗口。

然后，将搜索窗口移动到在表示所检测的多个边缘特征点Mi的图像内所确定的位置上，检测下眼睑与眼球的第2边界点。例如，如果在搜索窗口内存在横边缘(黑白边缘)的边缘特征点Mi，则将该边缘特征点作为下眼睑与眼球的第2边界点进行检测。

还有，在上述步骤112中，也可以利用边缘特征点的边缘值，检测边界点。例如，由于影子产生的边缘特征点的边缘值常常比较小，因此只要将具有大于规定值的边缘值的边缘特征点作为候选边界点，检测边界点即可。

还有，在上述步骤114中，测定第1边界点与第2边界点之间的距离，将其作为眼睑的开度进行输出，然后结束图像处理子程序。

如上所述，通过运行图像处理子程序，在例如图9(A)所示的涂有眼影的眼睛处于闭眼状态下，通过利用Soble滤波器的边缘处理，获得如图10(A)所示的Sobel边缘图像，如图9(B)和图10(B)所示，极大点周边的边缘值变化不剧烈，呈平坦形状。还有，即使如图9(C)所示，边缘值的极大点和极小点偏离眼睑的边界点，也可以将靠近眼睑的边界点的点作为边缘特征点进行检测，如图9(D)所示，可以正确地检测眼睑的边界点。

还有，在例如图11(A)所示的涂有眼影的眼睛处于张开状态下，如图11(B)所示，边缘值的极大点和极小点处于眼睑的边界点附近，同时如图11(C)所示，将眼睑的边界点附近的点作为边缘特征点进行检测，因此如图11(D)所示，可以正确检测眼睑的边界点。

如上说明所示，利用与第1实施方式有关的眼睑检测装置，在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离比极大值低于设定值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离比极小值低于设定值的极小点最近的点作为边缘特征点进行检测，通过基于所检测的边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有眼影等色彩时，也能够正确检测眼睑与眼球的边界点。

还有，通过正确检测眼睑与眼球的边界点，可以高精度地测定眼睑的开度。

另外，在上述实施方式中，举例说明了从利用图像输入部输入的浓淡图像中生成表示浓淡变化的大小的边缘图像的情况，但利用图像输入部输入的图像也可以是彩色图像。此时，可以生成表示彩色图像的浓淡值的变化的大小的边缘图像。

还有，举例说明了将从极大点偏向眼球侧的点作为上眼睑的边界点进行检测，将从极小点偏向眼球侧的点作为下眼睑边缘特征点进行检测，但并不局限于此。例如，在眼睛图像中，当眼球部分变亮、皮肤部分变暗时，则可以将从极大点偏向眼球侧的点作为下眼睑的边界点进行检测，将从极小点偏向眼球侧的点作为上眼睑边缘特征点进行检测。

还有，举例说明了在将边缘特征点存储到ROM时，同时一起存储边缘特征点的情况，但在存储边缘特征点时，也可以将边缘特征点的附近存在的极大点或极小点的边缘值一起进行存储。

还有，举例说明了在检测到多个边缘特征点时，利用搜索窗口，检测第1边界点和第2边界点的情况。但并不局限于此。例如，也可以分析所检测的多个边缘特征点的连接，制作边缘特征点的集合，将每个集合的平均位置作为第1边界点或第2边界点进行检测。

接着，说明第2实施方式。另外，与第2实施方式有关的眼睑检测装置的结构与第1实施方式一样，采用同一符号，因此省略说明。

在第2实施方式中，与第1实施方式不同的是，将从极大点偏向眼球侧的下方的点、且离等于预先确定的设定值的边缘值的极大点最近的点作为边缘特征点进行检测。

在第2实施方式中，在边缘特征点检测处理子程序中，当边缘值为正时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值存储在RAM中，则对于不是极大值的关注像素，判断上一个像素的边缘值是否大于设定值X’1(X’1＞0)、且关注像素的边缘值在设定值X’1以下。如果上一个像素的边缘值大于设定值X’1、且关注像素的边缘值在设定值X’1以下，则如图12所示，判断关注像素为从上向下像素值从明到暗变化时的暗侧的点、且为离等于设定值X’1的边缘值的极大值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位。

另外，对于设定值X’1，当眼睑上涂有眼影时，可以通过实验或统计方法求出上眼睑的边界点的边缘值，将所求的边缘值作为设定值，进行预先设定。

还有，当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素，判断下一个像素的边缘值是否小于设定值X’2(X’2＜0)、且关注像素的边缘值在设定值X’2以上。如果上一个像素的边缘值小于设定值X’2、且关注像素的边缘值在设定值X’2以上，则判断关注像素为从上向下像素值从暗到明变化时的暗侧的点、且为离等于设定值X’2的边缘值的极小值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极小值进行复位。

另外，对于设定值X’2，当眼睑上涂有眼影时，可以通过实验或统计方法求出下眼睑的边界点的边缘值，将所求的边缘值作为设定值，进行预先设定。

这样，在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离设定值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离设定值的极小点最近的点作为边缘特征点进行检测，基于所检测的边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有阴影等色彩时，也能够高精度地检测眼睑与眼球的边界点。

接着，说明第3实施方式。另外，与第3实施方式有关的眼睑检测装置的结构与第1实施方式一样，采用同一符号，因此省略说明。

在第3实施方式中，与第1实施方式不同的是，将从极大点偏向眼球侧的下方的点、且离将从极值点的像素值变化的大小减去第1阈值D1、再乘以规定比率所得的值从上述极大值减去后的边缘值的极大值点最近的点作为边缘特征点进行检测。

在第3实施方式中，在边缘特征点检测处理子程序中，当边缘值为正时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值存储在RAM中，则对于不是极大值的关注像素，判断上一个像素的边缘值是否大于(极大值-(极大值-D1)×设定比率A1)、且关注像素的边缘值在(极大值-(极大值-D1)×设定比率A1)以下。如果上一个像素的边缘值大于(极大值-(极大值-D1)×设定比率A1)、且关注像素的边缘值在(极大值-(极大值-D1)×设定比率A1)以下，则如图13所示，判断关注像素为从上向下像素值从明到暗变化时的暗侧的点、且为离等于(极大值-(极大值-D1)×设定比率A1)的边缘值的极大值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位。

另外，对于设定比率A1，当眼睑上涂有眼影时，可以通过实验或统计方法求出上眼睑的边界点的边缘值，另外，求出作为极大值和所求出的边缘值的差与极大值和阈值D1的差的比率，将所求得的比率作为设定比率预先进行设定。

当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素，判断上一个像素的边缘值是否小于(极小值-(极小值-D2)×设定比率A2)、且关注像素的边缘值在(极小值-(极小值-D2)×设定比率A2)以上。如果上一个像素的边缘值小于(极小值-(极小值-D2)×设定比率A2)、且关注像素的边缘值在(极小值-(极小值-D2)×设定比率A2)以上，则判断关注像素为从上向下像素值从暗到明变化时的暗侧的点、且为离等于(极小值-(极小值-D2)×设定比率A2)的边缘值的极小值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极小值进行复位。

另外，对于设定比率A2，当眼睑上涂有眼影时，可以通过实验或统计方法求出上眼睑的边界点的边缘值，另外，求出作为极大值和所求出的边缘值的差与极大值和阈值D2的差的比率，将所求得的比率作为设定比率预先进行设定。

这样，在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离(极大值-(极大值-阈值)×设定比率)的边缘值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离(极小值-(极小值-阈值)×设定比率)的极小点最近的点作为边缘特征点进行检测，基于所检测的边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有阴影等色彩时，也能够高精度地检测眼睑与眼球的边界点。

接着，说明第4实施方式。另外，与第4实施方式有关的眼睑检测装置的结构与第1实施方式一样，采用同一符号，因此省略说明。

在第4实施方式中，与第1实施方式不同的是，将从极大点偏向下侧的点、且边缘值的变化率为极大值的极大值点最近的点作为边缘特征点进行检测。

在第4实施方式中，在边缘特征点检测处理子程序中，当边缘值为正时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值存储在RAM中，则对于不是极大值的关注像素，计算边缘值的变化率，同时计算下一个像素和上一个像素的各自的边缘值的变化率。然后判断是否下一个像素的边缘值小于关注像素的边缘值、且关注像素的边缘值的变化率为极大值。如果基于下一个像素、关注像素、和上一个像素的各自的边缘值的变化率，得知关注像素的边缘值的变化率为极大值、且下一个像素的边缘值大于关注像素的边缘值，如图14所示，则判断关注像素是从上向下时像素值从明到暗变化的暗侧的点，且是离边缘值的变化率为极大值的极大值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位。

还有，当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素，计算边缘值的变化率，同时计算下一个像素和上一个像素的各自的边缘值的变化率。然后判断是否下一个像素的边缘值小于关注像素的边缘值、且关注像素的边缘值的变化率为极大值。如果基于下一个像素、关注像素、和上一个像素的各自的边缘值的变化率，得知关注像素的边缘值的变化率为极大值、且下一个像素的边缘值小于关注像素的边缘值，则判断关注像素是从上向下时像素值从暗到明变化的暗侧的点，且是离边缘值的变化率为极大值的极小值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位。

这样，在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离边缘值的变化率为极大值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离边缘值的变化率为极大值的极小点最近的点作为边缘特征点进行检测，基于所检测的边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有阴影等色彩时，也能够高精度地检测眼睑与眼球的边界点。

接着，说明第5实施方式。与第1实施方式不同的是，与第5实施方式有关的眼睑检测装置的结构中具有取代边缘特征点检测部24的像素值无变化点检测部。还有，在与第5实施方式有关的图像处理子程序中，将与上述第1实施方式有关的图像处理子程序的边缘特征点检测处理(步骤110置换为像素值无变化点检测处理。

图15是说明与本发明的第5实施方式有关的无像素值变化点的影像图。

在第5实施方式中，当判断边缘值为正时，将从极大值偏向眼球侧的下方的点、且无像素值变化(大致为0)的点作为表示上眼睑与眼球的边界的第1边界点进行检测。

与本实施方式有关的像素值无变化点检测部从极大值偏向眼球侧，检测像素值变化大致为0的点(像素值无变化点检测处理)。然后，眼睑边界点检测部26将该点作为第1边界点进行检测。

同样，当判断边缘值为负时，将从极小值偏向眼球侧的上方的点、且无像素值变化(大致为0)的点作为表示下眼睑与眼球的边界的第2边界点进行检测。

与本实施方式有关的像素值无变化点检测部从极小值偏向眼球侧，检测像素值变化大致为0的点(像素值无变化点检测处理)。然后，眼睑边界点检测部26将该点作为第2边界点进行检测。

如上所述，通过检测第1边界点和第2边界点，可以正确地检测眼睑与眼球的边界点，从而可以高精度地测定眼睑的开度。

Claims (9)

1.一种眼睑检测装置，包括：

生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；

极值点检索机构，其在由所述生成机构生成的边缘图像中，检索像素值变化的大小在所述规定方向上为极值的极值点；和

边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。

2.根据权利要求1所述的眼睑检测装置，其中，

所述边界点检测机构基于从所述极值点偏向眼球侧方向的点且离像素值变化的大小为规定值的该极值点最近的点，检测所述第1边界点和所述第2边界点中的至少一方。

3.根据权利要求2所述的眼睑检测装置，其中，

所述规定值与所述极值点的像素值变化的大小相比，减小预先确定的值。

4.根据权利要求2所述的眼睑检测装置，其中，

所述规定值为预先确定的值。

5.根据权利要求2所述的眼睑检测装置，其中，

所述规定值是将从所述极值点的像素值变化的大小中减去预先确定的值后再乘以规定比率所得的值从所述极值点的像素值变化的大小中减去后的值。

6.根据权利要求1所述的眼睑检测装置，其中，

所述边界点检测机构基于从所述极值点偏向眼球侧方向的点、且离像素值变化的大小在所述规定方向的变化率在所述规定方向上为极值的该极值点最近的点，检测所述第1边界点和所述第2边界点中的至少一方。

7.根据权利要求1～6中任一项所述的眼睑检测装置，其中，

所述规定方向为眨眼方向。

8.根据权利要求1所述的眼睑检测装置，其中，

所述边界点检测机构基于从所述极值点偏向眼球侧方向的点、且没有像素值变化的点，检测所述第1边界点和所述第2边界点中的至少一方。

9.一种程序，其使计算机作为以下机构起作用：

生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；

极值点检索机构，其在由所述生成机构生成的边缘图像中，检索像素值变化的大小在所述规定方向上为极值的极值点；和

边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。

Images