CN106214166A - 一种戴眼镜驾驶员疲劳检测方法 - Google Patents

Abstract

本发明公开了一种戴眼镜驾驶员疲劳检测方法，在定位出人脸的基础上定位人眼，在定位人眼的过程中，由于眼镜框等其他因素的干扰，找出一种对干扰不敏感的眼睛定位方法；定位出人眼后，依据图像的特征，采用适当的处理方式，提取出眼高，进行开合度的计算。进而对驾驶员的疲劳状态进行判断。本发明针对驾驶员佩戴眼镜的情况，利用虹膜和瞳孔较强而眼镜框较弱的径向对称性，在眼睛定位的时候尽量减小眼镜框的干扰；并针对夜间，红外穿透墨镜等情况采取相应的措施，有效计算眼睛的高度，计算眼睛的开合度，对驾驶员的疲劳进行正确的评判。

Description

一种戴眼镜驾驶员疲劳检测方法

技术领域

本发明涉及一种戴眼镜驾驶员疲劳检测方法。

背景技术

随着经济的飞速发展，人们的物质水平也日益提高；机动车作为一种便捷，快速的交通、运输工具正在飞速地进入人们的生活。疲劳驾驶、超速行驶、酒后驾车是交通事故的三大主要诱因。

目前，超速行驶和酒后驾车都有比较成熟的检测技术；因此，一个成熟、稳健的驾驶员疲劳检测系统的重要性更加凸显。卡内基梅隆大学的研究人员提出了PERCLOS(Percent age of Eyelid Closure over the Pupil overtime)标准，PERCLOS是指单位时间内眼睛闭合时间所占的百分率。大量实验证明，PERCLOS标准能够很好的反映驾驶员是否疲劳，因此成为了唯一一种被美国公路安全局(NHTSA)认可的疲劳检测方法。基于PERCLOS的方法需要准确地定位出驾驶员的眼睛，以便于后面的计算。目前的人眼检测方法在人脸区域眼睛附近有其他干扰物时，容易受到比较大的影响。

近视是指眼睛在调节松弛状态下，平行光线经眼的屈光系统的折射后焦点落在视网膜之前。世界卫生组织的统计数据显示，目前全球的近视患者约为14亿；而中国的近视人数为全球最多，数量达到4亿，我国每年新增的近视患者约为6％。另外，在夏天，驾驶员通常会选择佩戴墨镜来减轻紫外线对眼睛的伤害，同时也防止强光对视线的干扰。

因此，在驾驶员疲劳检测中，找出一种能够屏蔽掉眼镜框干扰的方法对于提高驾驶员疲劳检测的准确率、保证驾驶员的生命财产安全至关重要。

发明内容

本发明要解决的技术问题是提供一种戴眼镜驾驶员疲劳检测方法。

一种戴眼镜驾驶员疲劳检测方法，包括以下步骤：

S1：通过摄像头采取驾驶员的实时视频，抽取当前帧处理；

S2：在当前帧中使用AdaBoost算法和Haar特征进行人脸检测，当未检测到人脸时进行提示，转入步骤S1，否则，进入步骤S3；

S3：在检测到的人脸的基础上，对人眼进行粗定位；

S4：对人眼粗定位区域进行径向对称变换，对径向对称性峰值点进行聚类，根据类的特征判断驾驶员眼睛的睁闭状态，当眼睛处于睁开状态时，精确定位眼睛中心，继续步骤S5，否则，判断初始化是否完成，完成则跳入步骤S8，未完成则跳入步骤S1；

S5：预处理精确定位的人眼位置图像，并通过阈值分割得到眼睛轮廓，计算眼高；

S6：判断初始化是否完成，如未成功，将眼高加入初始化序列，跳至步骤S1，否则，继续步骤S7；

S7：计算眼睛的开合度，如果眼睛的开合度小于某一特定阈值，将当前帧也评判为闭眼；

S8：统计一段时间内闭眼的比例，判断驾驶员是否疲劳，如果疲劳，则预警；

S9：检查标识量bContinue，如果为true，则跳至步骤1继续检测，否则结束。

进一步的，所述人眼的粗定位方法如下：

1)以人脸中心为中心，人脸宽度为宽的正方形分成一个九宫格，人的左眼和右眼分别分布在九宫格的左上格和右上格，鼻子分布在九宫格的中间格，而嘴巴分布在中间格的下一格，选取人脸宽度的1/4作为粗定位人眼图像的宽度，选取人脸九宫格中的1/3人脸宽度为粗定位的右边界；

2)记检测到的人脸区域左上角坐标为(x_f，y_f)，宽和高分别为w_f和h_f；x_e，y_e，w_e，h_e分别表示人眼粗定位矩形起始点的x，y坐标，以及粗定位区域的宽和高，则左眼粗定位范围的计算公式如下：

$x_e=x_f+w_f\×\frac{7}{12},$

$y_e=y_f+\frac{h_f}{4},$

$w_e=\frac{w_f}{4},$

$h_e=\frac{h_f}{4};$

3)人眼的左右眼相对于人脸的中心线是对称，同2)可得到右眼粗定位范围；

进一步的，人眼的精确定位方法如下：

1)对人眼粗定位区域进行径向对称变换，且对径向对称性峰值点进行聚类；

2)当驾驶员的眼睛处于睁开状态时，径向对称性峰值点多聚集在瞳孔的中心处，径向对称性峰值点聚集而成的每个类都代表一个瞳孔的候选区域，且其类中元素的个数与其为瞳孔区域的可能性正相关，选取出元素最多的一个类，并计算类中所有点的重心即为瞳孔的中心；

3)假设元素最多的类为C_max＝{p₁(x₁,y₁),p₂(x₂,y₂),...,p_n(x_n,y_n)}，那么瞳孔的中心点坐标计算公式如下：

$x=\frac{1}{n}\underset{1\≤i\≤n}{\Σ}{x}_i,$

$y=\frac{1}{n}\underset{1\≤i\≤n}{\Σ}{y}_i.$

进一步的，眼睛轮廓提取和眼高的计算方法如下：瞳孔中心到眉毛的距离约为人脸宽度的十分之一，眼球的宽度约为人脸宽度是十四分之一，在得到瞳孔中心后，以瞳孔为中心，宽度为人脸宽度八分之一得到一个矩形，在矩形小框框出眼睛之后，使用阈值分割，即可分割出眼睛，提取出眼睛的轮廓，继而得到眼睛的高度。

进一步的，疲劳判定方法如下：

1)PERCLOS值f的计算：假设一段固定时间内检测的帧数为t₁，眼睛闭合程度大于80％的帧数为t₂，那么f的计算公式如下：

$f=\frac{t_2}{t_1}\×100\%,$

当f值大于阈值T₁时，表明驾驶员进入疲劳状态；

在PERCLOS标准中，眼睛的闭合程度指眼睑盖过眼睛的面积的百分比。在实际应用中，眼睛的准确面积往往比较难以取得；在分割得到眼睛图像之后，眼睛的高度却可以直接获得。考虑到眼睛是一个圆形，那么在眼睑盖过其面积80％时，可以计算出来眼高为原来的0.26。

2)记眼睛完全睁开时，眼高为H，实际测量的眼睛高度为h，那么眼睛的闭合程度f_h可以表示为当f_h值大于阈值T₂时，表明驾驶员进入疲劳状态。

每个人在完全睁眼时，其眼高H并不完全相同。为了使该方法适应于不同的驾驶员，需要动态获得每个驾驶员完全睁眼时的眼高值H。依据经验，一般驾驶员在刚上车的一段时间内精神较好，不会出现疲劳的情况。鉴于此，本文中使用驾驶员在刚开始驾驶一段时间内眼睛高度的平均值来初始化H，并与计算得到的实时眼高h计算得到眼睛的闭合程度；结合阈值T1和T2即可对驾驶员的疲劳状态进行判断。

本发明有两种驾驶员闭眼的判断依据：第一，对驾驶员眼睛粗定位图像进行径向对称变换后，对结果图进行分析，判定原图像中是否存在径向对称性强的区域。如果不存在，认为图像中不存在瞳孔，驾驶员眼睛闭合。第二，在驾驶员眼睛粗定位图像中定位并分割出眼睛，计算出眼睛高度之后，眼睛开合度小于某一特定的阈值，判定驾驶员闭眼。

在定位出人脸的基础上定位人眼，在定位人眼的过程中，由于眼镜框等其他因素的干扰，需要找出一种对干扰不敏感的眼睛定位方法。基于模板和基于统计的方法在实际应用中均表现出一定的局限，因此本文基于眼睛的虹膜和瞳孔为圆形，而眼镜框，眉毛等的轮廓更加倾向于直线或者不规则的曲线的先验知识，通过突出图像中圆形区域来区分虹膜、瞳孔和其他干扰特征。定位出人眼后，依据图像的特征，采用适当的处理方式，提取出眼高，进行开合度的计算。

本发明的有益效果是：

本发明针对驾驶员佩戴眼镜的情况，利用虹膜和瞳孔较强而眼镜框较弱的径向对称性，在眼睛定位的时候尽量减小眼镜框的干扰；并针对夜间，红外穿透墨镜等情况采取相应的措施，有效计算眼睛的高度，计算眼睛的开合度，对驾驶员的疲劳进行正确的评判。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

在实车中拍摄视频，主要分为白天佩戴近视眼镜、晚上佩戴近视眼镜使用红外灯补光、白天佩戴墨镜使用红外穿透三种情况。红外灯的波长为850nm，其中内排红外灯的照射角度为30度，外排红外灯的照射角度为45度。夜间补光时，打开外排红外灯。当需要穿透墨镜时，内外排红外灯同时打开，加强红外光线的强度，有利于墨镜的穿透。为了保证样本的多样性，采集的研究人员中有眼睛大小，眉毛粗细，眼镜框大小等不同特征。在视频采集的过程中，实验人员对清醒状态、疲劳状态进行模拟；并且允许实验人员有说话，微笑等自然行为。

实验1将本发明提出的方法和基于AdaBoost算法和Haar特征的人眼检测算法进行比较。从视频中抽取若干睁眼图像样本，进行检测，本发明方法与基于AdaBoost算法的检测结果如表1所示。

表1人眼定位的准确率

本发明方法的准确率要高于基于AdaBoost算法的检测方法，且后者在不同情况下，检测准确率出入比较大。

由实验结果可知，影响检测准确率的主要因素是镜片的反光，当镜片的反光不严重时算法依然可以准确检测，但当反光遮住眼睛时，算法不能准确定位。另外，当驾驶员姿态出现大幅度偏动，眼睛边缘轮廓不全部包含在粗定位区域中时，也会造成精确定位的不准确。

眼睛轮廓不全，故其边缘点的影响不能全部在瞳孔中心累加，造成在眼睛部位径向对称性结果图中相应位置值比较小。而由于墨镜的边缘为曲线，导致边缘的点在附近叠加，峰值点聚集。

实验2疲劳检测

选取不同实验人员的6段视频进行检测，将视频依次编号为A到F，视频A到F分别对应了实验人员F、H、X、G、D、T。其中视频A和视频B为驾驶员白天佩戴近视眼睛的情况，视频C和视频D为驾驶员夜晚佩戴近视眼镜的情况，视频E和视频F为驾驶员佩戴墨镜的情况。对抽选出来的帧进行计算，其结果记录在表2中。

表2视频帧的计算结果

视频编号	A	B	C	D	E	F
							眼高	0.045	0.058	0.053	0.051	0.056	0.061
开合度	0.722	0.98	0.613	1.04	0.638	0.98
							睁闭	闭	睁	闭	睁	闭	睁

将本发明方法和基于知识的方法分割眼睛，求眼高的方法进行比较，该方法在得到人眼粗定位的图像后，使用二值分割，根据分割后得到连通区域的位置和大小选择出眼睛。记该方法为方法二，并记本发明的方法为方法一。检测结果记录于表3中。

表3检测结果准确性分析

方法一较方法二虽然速度稍微慢了一点，但是准确率有了提高。

Claims (5)

1.一种戴眼镜驾驶员疲劳检测方法，其特征在于，包括以下步骤：

S1：通过摄像头采取驾驶员的实时视频，抽取当前帧处理；

S2：在当前帧中使用AdaBoost算法和Haar特征进行人脸检测，当未检测到人脸时进行提示，转入步骤S1，否则，进入步骤S3；

S3：在检测到的人脸的基础上，对人眼进行粗定位；

S4：对人眼粗定位区域进行径向对称变换，对径向对称性峰值点进行聚类，根据类的特征判断驾驶员眼睛的睁闭状态，当眼睛处于睁开状态时，精确定位眼睛中心，继续步骤S5，否则，判断初始化是否完成，完成则跳入步骤S8，未完成则跳入步骤S1；

S5：预处理精确定位的人眼位置图像，并通过阈值分割得到眼睛轮廓，计算眼高；

S6：判断初始化是否完成，如未成功，将眼高加入初始化序列，跳至步骤S1，否则，继续步骤S7；

S7：计算眼睛的开合度，如果眼睛的开合度小于某一特定阈值，将当前帧也评判为闭眼；

S8：统计一段时间内闭眼的比例，判断驾驶员是否疲劳，如果疲劳，则预警；

S9：检查标识量bContinue，如果为true，则跳至步骤1继续检测，否则结束。

2.根据权利要求1所述的戴眼镜驾驶员疲劳检测方法，其特征在于，所述人眼的粗定位方法如下：

1)以人脸中心为中心，人脸宽度为宽的正方形分成一个九宫格，人的左眼和右眼分别分布在九宫格的左上格和右上格，鼻子分布在九宫格的中间格，而嘴巴分布在中间格的下一格，选取人脸宽度的1/4作为粗定位人眼图像的宽度，选取人脸九宫格中的1/3人脸宽度为粗定位的右边界；

2)记检测到的人脸区域左上角坐标为(x_f，y_f)，宽和高分别为w_f和h_f；x_e，y_e，w_e，h_e分别表示人眼粗定位矩形起始点的x，y坐标，以及粗定位区域的宽和高，则左眼粗定位范围的计算公式如下：

3)人眼的左右眼相对于人脸的中心线是对称，同2)可得到右眼粗定位范围。

3.根据权利要求1所述的戴眼镜驾驶员疲劳检测方法，其特征在于，人眼的精确定位方法如下：

1)对人眼粗定位区域进行径向对称变换，且对径向对称性峰值点进行聚类；

2)当驾驶员的眼睛处于睁开状态时，径向对称性峰值点多聚集在瞳孔的中心处，径向对称性峰值点聚集而成的每个类都代表一个瞳孔的候选区域，且其类中元素的个数与其为瞳孔区域的可能性正相关，选取出元素最多的一个类，并计算类中所有点的重心即为瞳孔的中心；

3)假设元素最多的类为C_max＝{p₁(x₁,y₁),p₂(x₂,y₂),...,p_n(x_n,y_n)}，那么瞳孔的中心点坐标计算公式如下：

4.根据权利要求1所述的戴眼镜驾驶员疲劳检测方法，其特征在于，眼睛轮廓提取和眼高的计算方法如下：瞳孔中心到眉毛的距离约为人脸宽度的十分之一，眼球的宽度约为人脸宽度是十四分之一，在得到瞳孔中心后，以瞳孔为中心，宽度为人脸宽度八分之一得到一个矩形，在矩形小框框出眼睛之后，使用阈值分割，即可分割出眼睛，提取出眼睛的轮廓，继而得到眼睛的高度。

5.根据权利要求1所述的戴眼镜驾驶员疲劳检测方法，其特征在于，疲劳判定方法如下：

1)PERCLOS值f的计算：假设一段固定时间内检测的帧数为t₁，眼睛闭合程度大于80％的帧数为t₂，那么f的计算公式如下：

当f值大于阈值T₁时，表明驾驶员进入疲劳状态；

2)记眼睛完全睁开时，眼高为H，实际测量的眼睛高度为h，那么眼睛的闭合程度f_h可以表示为当f_h值大于阈值T₂时，表明驾驶员进入疲劳状态。