CN108734086A - 基于眼部区域生成网络的眨眼频率和视线估计方法 - Google Patents

Abstract

本发明公开了一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，该方法可用于驾驶员疲劳驾驶预警。具体为：首先应用机器深度学习提取到摄像头拍摄的驾驶员的人眼特征区域，在特征区域上以椭圆拟合的方法进行驾驶人人眼模拟，结合perclos(眼睑闭合度)来判断眨眼频率和瞳孔位置估算方法给出眨眼频率和驾驶员视线方向，为驾驶员疲劳监测系统和驾驶员动态行为分析提供支持数据。

Description

基于眼部区域生成网络的眨眼频率和视线估计方法

技术领域

本发明属于汽车安全领域，涉及一种对驾驶员的眨眼频率和视线估计的方法，该方法可用于驾驶员疲劳驾驶预警。

背景技术

目前，疲劳驾驶导致交通事故仍占据主要成分，因此，对驾驶员在驾驶疲劳状态下的成功预警成为了人们越来越关注的问题。这也使得多数研究人员针对这一问题提出了许多有效的辅助措施，图像处理技术的发展，以及人脸特征的提取都为驾驶员疲劳预警方法的研究提供了理论基础，但仍处于发展不成熟时期。例如：

由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定。在传统目标检测的过程中，采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽，这使得复杂度太高，产生冗余窗口太多，时间也较长。这严重影响后续特征提取。在Region Proposal(候选区域)的深度学习目标检测算法中，对于候选区域的提取有了很大改善，但仍不能接近目标真实范围，其中处于发展中的R-CNN训练分为多个阶段，步骤繁琐，训练耗时，占用磁盘空间大，使用GPU,VGG16模型处理一张图像需要47s，处理速度慢，而改进版的SPP-NET、Fast R-CNN、Faster R-CNN、虽然在处理速度以及处理步骤上有所简化，但候选区域的提取耗时多，不能满足实时性的要求。

本申请所采用的的SSD检测方法相较于以上所提到的其它的检测方法可达到提取特征精度高，速度快的特点。SSD方法的核心就是预测目标归属类别的score(概率)；同时，在feature map(特征区域)上使用小的卷积核，去预测一系列bounding boxes(包围盒)。然后，对这些bounding boxes的形状进行微调，以使得其符合所测物体的外接矩形。具体来说，SSD检测方法能满足本发明以下几点要求：

1.在同一张图片上分类出不同目标属于每个类别的可能性。即能得出我们研究对象人脸图像上的瞳孔、眼睛、鼻子、眉毛等目标的所属概率，在本发明中只需要能准确分类出瞳孔和眼睛的所属类别。

2.在同一张图片上能对同一目标的不同尺寸进行识别以及处理。即在本发明中能对两只眼睛大小状态不一时的情况进行识别处理。

3.SSD在得到每一目标的包围盒后进行微调，可得到特征物的外接矩形，即在本发明中可得到瞳孔以及眼睛的外接矩形。

4.SSD检测能识别较小的特征物，精度高。每秒可以处理52张图像，检测速度快，能满足本发明实时性的要求。

发明内容

本发明的目的是提供一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，为驾驶员疲劳监测系统和驾驶员动态行为分析提供支持数据。

本发明的技术方案是：一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特点是利用SSD目标检测方法，直接在驾驶过程中摄像头拍摄的驾驶员脸部特征图上回归出我们所需要的人眼与瞳孔两个目标的位置和类别信息，在卷积中加入faster rcnn中的anchor机制对每一层卷积层中的特征图进行卷积，进行比例扩大或缩小处理，再用边框回归对最后一层卷积层进行处理，最终得到人眼与瞳孔的目标外接矩形；

在得到人眼与瞳孔的目标外接矩形后，对此矩形进行椭圆拟合处理，得到人眼与瞳孔的拟合椭圆轮廓；视线没有发生偏离时瞳孔中心与眼睛质心趋于一致，当视线发生偏离时，瞳孔中心将会偏离眼睛质心一定范围，利用此种方法进行程序编写；

然后训练大量视线偏离的样本，可得到视线偏离角度和偏离概率范围；

将以上训练好的偏离角度和偏离概率范围的网络阈值储存在计算机中，在后期识别中，直接输入在驾驶过程中摄像头拍摄的驾驶员脸部特征图片，通过训练得出的阈值范围快速在图片中定位瞳孔中心与眼睛质心的分布范围，完成驾驶员的视线预估；

驾驶员眨眼频率方面，对perclos算法进行改进，使其能根据一定时间内拟合椭圆面积值的大小判断眨眼频率，当拟合椭圆面积小于一定值时判断为眨眼，在某时间段内长时间小于某一特定范围时，判断为闭眼疲劳，或根据椭圆横纵轴上下坐标的接近值程度，判断是否为闭眼。

得到驾驶员眨眼频率以及驾驶员视线偏离角度和偏离概率范围，为驾驶员疲劳监测系统和驾驶员动态行为分析以及判断预警提供支持数据。

这种检测方法相比较传统的基于几何特征，肤色特征，灰度处理等方法来实现眨眼频率估计以及视线估计来说，可最快构建人眼区域轮廓以及任何状态下瞳孔区域轮廓，并快速找准中心点，在视线估计方面可以最快的得出结果。

本发明能够对所拍摄的图片更直接、更快速的处理，从而节省处理时间，能满足实时性要求。使用端到端的网络进行目标检测，不需要设置图片的尺寸，无论在处理速度上还是精度上都有很大的提高。

附图说明

图1是SSD目标训练网络结构图。

图2是生成prior box(优先预选外接矩形)示意图。

图3是ground truth与boxdefault box交并集示意图

图4是目标外接矩形示意图。

图5是眼睛拟合椭圆与质心示意图。

图6是瞳孔拟合椭圆与质心示意图。

图7是视线没有发生偏离时瞳孔中心与眼睛中心示意图。

图8是安全域与视线严重偏离区域示意图。

图9是视线偏离角度示意图。

图10是车内电子显示屏操作示意图。

图11是整体硬件设备组合流程图。

具体实施方式

本发明主要涉及SSD目标检测与椭圆拟合方法相结和的内容，具体方案如下：

预训练阶段:SSD目标检测得到眼睛及瞳孔的外接矩形

1、如图1所示，SSD采用了特征金字塔结构进行检测，即检测时利用了conv4-3，conv-7(FC7)，conv6-2，conv7-2，conv8_2，conv9_2这些大小不同的feature maps(特征图)，在多个feature maps上同时进行softmax(回归分类器)分类和位置回归，这使得对特征图片可以达到逐层预测，能快速准确的定位到特征图的效果，这里所说的特征图片是上千张拍摄的驾驶过程中驾驶员的人脸图片，也可以直接从dlib人脸特征库中提取样本特征图片进行训练。

2、在SSD每一卷积层中引入了Prior Box(一种网络结构)，实际上与anchor非常类似，就是一些目标的预选框，SSD按照如下规则生成prior box(优先预选外接矩形)，同时prior box是设置在不同尺度的feature map上的，而且大小不同。

生成prior box规则：以feature map上每个点的中点为中心，生成一些列同心的prior box,然后将中心点的坐标乘以步长，相当于从feature map位置映射回原图位置,矩形prior box最小边长为min_size，最大边长为:每个卷积层设置一个aspect ratio(纵横比)会生成2个长方形，长宽分别为和如图2所示。

每个feature map对应prior box的min_size和max_size由以下公式决定，公式中m使用feature map的数量(SSD 300中m＝6)：

以上可以看出SSD使用低层feature map检测小目标，使用高层feature map检测大目标。同时prior box是设置在不同尺度的feature maps上的，而且大小不同。

3、卷积完成后通过softmax分类和bounding box regression获得groundtruthboxes(目标真实外接矩形)，在训练时，groundtruth boxes与default boxes(目标预测外接矩形)，也就是我们卷积过后的prior boxes(优先预选外接矩形)按照如下方式进行配对：

首先，寻找与每一个ground truth box(表示为A)有最大的jaccard(杰卡德相似系数)重叠的default box(表示为B)，这样就能保证每一个ground truth box与唯一的一个default box对应起来，之后又将剩余还没有配对的default box与任意一个groundtruth box尝试配对，只要两者之间的jaccard overlap大于某一特定的重叠值，就认为配对到ground truth box的default box就是我们所要的目标预选框，没有配对到groundtruth box的default box就不是目标预选框，其中，jaccard的确定由ground truth box和default box遵循公式得到，如图3所示，这种对应可使得检测目标准确性提高。一般情况下没有配对成功的default boxes数量远大于配对成功的default boxes数量，直接训练会导致网络过于重视负样本，从而降低稳定性。所以SSD在训练时会依据特征概率分布排序default box，挑选其中概率高的预选框进行训练，训练最终结果可得到最接近目标的预选框，即目标外接矩形，如图4所示。

后期处理阶段：完成眨眼频率和视线估计的判断

1、在得到目标外接矩形之后，即眼睛与瞳孔的外接矩形后，对外接矩形进行椭圆拟合处理的方法如下：

选取目标外接矩形的边界中心点相互连接打印椭圆，椭圆方程为其中a为目标外接矩形的长，b为目标外接矩形的宽，此时的椭圆可近似于眼睛轮廓，并且目标外接矩形的边界中心点交于一点，即为椭圆的圆心，圆心可近似于眼睛区域的质心，以同样的方法得到瞳孔的拟合椭圆的圆心，此圆心即为瞳孔中心。如图5、图6所示。

结果显示如图7所示，视线没有发生偏离时瞳孔中心与眼睛质心趋于一致。

利用此种方法可进行程序编写，然后训练大量视线偏离的样本，可得到偏离概率范围。给后期直接判断是否发生视线偏离提供依据。

2、假设偏离视线的瞳孔中心分布在某一范围之外，我们可以通过学习数据得出视线偏离的一个安全域，如图8所示，安全域的给定可使后期识别上速度加快，直接判断是否产生偏离，也可得到视线严重偏离区。在安全域内不提示视线偏离，在安全域外提示视线偏离，在危险区域外提出警示。

若想得到视线偏离角度，可根据瞳孔中心以及眼睛质心得出，如图9，将定位到的质心作为坐标原点，显示瞳孔中心坐标，假设瞳孔中心的坐标为X、Y视线偏离角度

判断偏离概率范围，同时根据两只眼睛瞳孔中心相对于坐标原点落在第一、二、三、四象限的偏离范围，可判断驾驶员的视线为：左上、右上、右下、左下；根据坐标落在X、Y坐标轴上的偏离情况可判断驾驶员的视线为：向上、向下、向左、向右；判断时取并集，在第一象限，超出安全区域时，输出为(1,1)，判断视线向驾驶方向的右上偏离；在第二象限输出(-1,1)，判断视线向驾驶方向的左上偏离；在第三象限输出(-1,-1)，判断视线向驾驶方向的左下偏离；在第四象限输出(1,-1)，判断视线向驾驶方向的右下偏离；在坐标轴上输出为(0,1)、(0,-1)、(1,0)或(-1,0)，判断视线向驾驶方向的右方偏离、视线向驾驶方向的左方偏离、视线向驾驶方向的上方偏离、视线向驾驶方向的下方偏离；当两只眼睛有一只眼睛输出结果判断为偏离时，则判断驾驶员视线发生偏离。此方法大体估计驾驶员视线的准确范围，如表1所示。

眼频率方面的应用是对perclos算法进行改进，使其能根据一定时间内眼睛拟合椭圆面积值的大小判断眨眼频率，当拟合椭圆面积小于一定值时判断为眨眼，在某间段内长时间小于某一特定范围时判断为闭眼疲劳，或根据椭圆纵轴上下坐标的接近值判断是否为闭眼。

表一驾驶员视线的准确范围

3、将以上训练好的偏离角度和偏离概率范围的网络阈值储存在计算机中，在后期识别中，直接输入图片，通过阈值范围快速定位瞳孔中心与眼睛质心的分布范围，完成驾驶员视线预估。

整体实施步骤操作如下：

1、安装摄像头在驾驶舱正前方，摄像头可灵活调整，并捕捉人脸，驾驶员在上车前需要正视正前方做视线校核处理，保证检测结果的准确性。

2、驾驶舱内安装微型计算机，计算机中拥有基于深度学习训练好的目标外接矩形的阈值、瞳孔的概率分布、眼眶的准确定位信息以及椭圆拟合及视线估计程序。

3、安装电子显示屏如图10所示，显示屏可根据CPU提供的信号显示驾驶员偏离的角度分布图，以及具体信息，还可显示驾驶员疲劳警示灯，驾驶员视线发生偏离信号灯。驾驶员视线严重偏离警示灯，并有警示灯关闭选项。驾驶员可通过显示屏上的直观数据观测到自己驾驶过程中的失误情况。在间隔时间段内若驾驶员根据指示灯相应提示做好调整，计算机识别结果显示正确，指示灯则会自行关闭，若驾驶员是由于某种特殊情况出现必要的偏头以及其它不利于驾驶的情况，可自行关闭提示灯。整体硬件设备组合如图11示意图所示。

上述具体实施方式用来解释本发明，而不是对本发明进行限制，在本发明精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特点是利用SSD目标检测方法，直接在驾驶过程中摄像头拍摄的驾驶员脸部特征图上回归出我们所需要的人眼与瞳孔两个目标的位置和类别信息，在卷积中加入faster rcnn中的anchor机制对每一层卷积层中的特征图进行卷积，进行比例扩大或缩小处理，再用边框回归对最后一层卷积层进行处理，最终得到人眼与瞳孔的目标外接矩形；

在得到人眼与瞳孔的目标外接矩形后，对此矩形进行椭圆拟合处理，得到人眼与瞳孔的拟合椭圆轮廓；视线没有发生偏离时瞳孔中心与眼睛质心趋于一致，当视线发生偏离时，瞳孔中心将会偏离眼睛质心一定范围，利用此种方法进行程序编写；

然后训练大量视线偏离的样本，可得到视线偏离角度和偏离概率范围；

将以上训练好的偏离角度和偏离概率范围的网络阈值储存在计算机中，在后期识别中，直接输入在驾驶过程中摄像头拍摄的驾驶员脸部特征图片，通过训练得出的阈值范围快速在图片中定位瞳孔中心与眼睛质心的分布范围，完成驾驶员的视线预估；

驾驶员眨眼频率方面，对perclos算法进行改进，使其能根据一定时间内拟合椭圆面积值的大小判断眨眼频率，当拟合椭圆面积小于一定值时判断为眨眼，在某时间段内长时间小于某一特定范围时，判断为闭眼疲劳，或根据椭圆横纵轴上下坐标的接近值程度，判断是否为闭眼；

得到驾驶员眨眼频率以及驾驶员视线偏离角度和偏离概率范围，为驾驶员疲劳监测系统和驾驶员动态行为分析以及判断预警提供支持数据。

2.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特征是，对外接矩形进行椭圆拟合处理的方法如下：

选取目标外接矩形的边界中心点相互连接打印椭圆，椭圆方程为其中a为目标外接矩形的长，b为目标外接矩形的宽，此时的椭圆可近似于眼睛轮廓，并且目标外接矩形的边界中心点交于一点，即为椭圆的圆心，圆心可近似于眼睛区域的质心，以同样的方法得到瞳孔的拟合椭圆的圆心，此圆心即为瞳孔中心，利用此种方法进行程序编写。

3.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特征是，

判断视线偏离角度：可根据瞳孔中心以及眼睛质心得出，将定位到的眼睛质心作为坐标原点，显示瞳孔中心坐标，假设瞳孔中心的坐标为X、Y，则视线偏离角度

判断偏离概率范围：同时根据两只眼睛瞳孔中心相对于坐标原点落在第一、二、三、四象限的偏离范围，可判断驾驶员的视线为：左上、右上、右下、左下；根据坐标落在X、Y坐标轴上的偏离情况可判断驾驶员的视线为：向上、向下、向左、向右；判断时取并集，在第一象限，超出安全区域时，输出为(1,1)，判断视线向驾驶方向的右上偏离；在第二象限输出(-1,1)，判断视线向驾驶方向的左上偏离；在第三象限输出(-1,-1)，判断视线向驾驶方向的左下偏离；在第四象限输出(1,-1)，判断视线向驾驶方向的右下偏离；在坐标轴上输出为(0,1)、(0,-1)、(1,0)或(-1,0)，判断视线向驾驶方向的右方偏离、视线向驾驶方向的左方偏离、视线向驾驶方向的上方偏离、视线向驾驶方向的下方偏离；当两只眼睛有一只眼睛输出结果判断为偏离时，则判断驾驶员视线发生偏离。

4.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及驾驶员视线预估的方法，其特征是，驾驶员疲劳监测系统包括摄像头、微型计算机和电子显示屏，摄像头安装在驾驶舱正前方，微型计算机安装在驾驶舱内，微型计算机中拥有基于深度学习训练好的目标外接矩形的阈值、瞳孔的概率分布、眼眶的准确定位信息以及椭圆拟合及视线估计程序；电子显示屏可根据CPU提供的信号，显示驾驶员视线偏离的角度分布图、显示驾驶员疲劳警示灯、驾驶员视线发生偏离信号灯、驾驶员视线严重偏离警示灯，并有警示灯关闭选项；驾驶员可通过显示屏上的直观数据观测到自己驾驶过程中的失误情况：在间隔时间段内，若驾驶员根据指示灯相应提示做好调整，计算机识别结果显示视线正常，指示灯则会自行关闭；若驾驶员是由于某种特殊情况出现必要的偏头以及其它不利于驾驶的情况，可自行关闭提示灯。