CN113537176A - 一种驾驶员疲劳状态的确定方法、装置以及设备 - Google Patents

Abstract

本申请提供了一种驾驶员疲劳状态的确定方法、装置以及设备，用于为车辆上驾驶员的疲劳检测，提供一种更为便捷的检测方案，对于实际应用具有显著提高的实用性。方法包括：获取车辆上驾驶位置的多个初始图像；对多个初始图像进行人脸识别处理，得到多个人脸图像；根据多个人脸图像对应的人脸特征，提取出多个人眼图像；将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果；结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果；若是，则确定多个初始图像对应的驾驶员处于疲劳状态。

Description

一种驾驶员疲劳状态的确定方法、装置以及设备

技术领域

本申请涉及车辆领域，具体涉及一种驾驶员疲劳状态的确定方法、装置以及设备。

背景技术

随着生活水平的不断提高，车辆持有量一直保持着增长，而在一定程度上，道路的拥堵情况越严重，出现车辆碰撞的几率就越高，拥堵的道路状况，除了车辆驾驶技术，对于驾驶员的注意力，相比正常状态的道路，也具有更高的要求。

此外，有研究表明，每年最少8000多例交通事故是由于驾驶员注意力不集中，或者疲劳导致的，驾驶员疲劳驾驶是导致交通事故的主要因素之一，故对驾驶员的疲劳检测研究具有很大的意义。

而在现有的相关技术的研究过程中，发明人发现，驾驶员疲劳状态的现有检测方案，主要包括两类，第一类检测方案，其采用脑电图来判断驾驶员是否处于疲劳状态，具有接触性的特点，然而有可能会影响到驾驶员的开车操作；第二类检测方案，其采用度量疲劳/瞌睡的物理量（Percentage of EyeIid CIosure over the PupiI over Time，PERCLOS）的检测值来衡量驾驶员的疲劳状态，该检测值可理解为单位时间内眼睛闭合状态的时间占总时间的百分比，然而其总时间一般需要取1分钟或者30秒，存在耗时较长的问题，从这可看出，现有检测方案，存在应用不便的问题。

发明内容

本申请提供了一种驾驶员疲劳状态的确定方法、装置以及设备，用于为车辆上驾驶员的疲劳检测，提供一种更为便捷的检测方案，对于实际应用具有显著提高的实用性。

第一方面，本申请提供了一种驾驶员疲劳状态的确定方法，方法包括：

获取车辆上驾驶位置的多个初始图像，多个初始图像是由部署在车辆上的摄像头拍摄驾驶位置得到的；

对多个初始图像进行人脸识别处理，得到多个初始图像中包含的多个人脸图像；

根据多个人脸图像对应的人脸特征，提取出多个人脸图像包含的多个人眼图像，人眼图像包括瞳孔区域以及瞳孔区域周围的预设范围内的区域；

将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果，睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果；

若是，则确定多个初始图像对应的驾驶员处于疲劳状态。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，睁闭眼识别模型具体为采用CNN LeNet-5模型的模型架构的神经网络模型。

结合本申请第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，睁闭眼识别模型的输入层大小为48×48像素，睁闭眼识别模型中的每个卷积层的通道数为CNN LeNet-5模型中对应卷积层的通道数的两倍。

结合本申请第一方面第一种可能的实现方式，在本申请第一方面第三种可能的实现方式中，睁闭眼识别模型在至少一个的前后层模型结构之间，配置注意力机制模型架构，注意力机制模型架构依次包括全局池化层、第一全连接层、第二全连接层、sigmod输出层。

结合本申请第一方面第一种可能的实现方式，在本申请第一方面第四种可能的实现方式中，睁闭眼识别模型在训练过程中，在正负样本人眼图像的基础上，采用Focal_loss损失函数进行模型的训练。

结合本申请第一方面第一种可能的实现方式，在本申请第一方面第五种可能的实现方式中，睁闭眼识别模型在训练过程中采用的样本人眼图像中，处于完全闭眼状态的人眼图像标注为闭眼识别结果，处于眯眼状态、完全睁眼状态以及出现非眼睛区域的人眼图像标注为睁眼识别结果，样本人眼图像是初始样本人眼图像采用数据增强处理得到的，数据增强处理包括随机颜色增强处理、随机旋转处理以及随机饱和度处理中的至少一种。

结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，预设时长具体为1到2s。

第二方面，本申请提供了一种驾驶员疲劳状态的确定装置，装置包括：

获取单元，用于获取车辆上驾驶位置的多个初始图像，多个初始图像是由部署在车辆上的摄像头拍摄驾驶位置得到的；

人脸识别单元，用于对多个初始图像进行人脸识别处理，得到多个初始图像中包含的多个人脸图像；

提取单元，用于根据多个人脸图像对应的人脸特征，提取出多个人脸图像包含的多个人眼图像，人眼图像包括瞳孔区域以及瞳孔区域周围的预设范围内的区域；

睁闭眼识别单元，用于将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果，睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

判断单元，用于结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果，若是，则触发确定单元；

确定单元，用于确定多个初始图像对应的驾驶员处于疲劳状态。

结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，睁闭眼识别模型具体为采用CNN LeNet-5模型的模型架构的神经网络模型。

结合本申请第二方面第一种可能的实现方式，在本申请第二方面第二种可能的实现方式中，睁闭眼识别模型的输入层大小为48×48像素，睁闭眼识别模型中的每个卷积层的通道数为CNN LeNet-5模型中对应卷积层的通道数的两倍。

结合本申请第二方面第一种可能的实现方式，在本申请第二方面第三种可能的实现方式中，睁闭眼识别模型在至少一个的前后层模型结构之间，配置注意力机制模型架构，注意力机制模型架构依次包括全局池化层、第一全连接层、第二全连接层、sigmod输出层。

结合本申请第二方面第一种可能的实现方式，在本申请第二方面第四种可能的实现方式中，睁闭眼识别模型在训练过程中，在正负样本人眼图像的基础上，采用Focal_loss损失函数进行模型的训练。

结合本申请第二方面第一种可能的实现方式，在本申请第二方面第五种可能的实现方式中，睁闭眼识别模型在训练过程中采用的样本人眼图像中，处于完全闭眼状态的人眼图像标注为闭眼识别结果，处于眯眼状态、完全睁眼状态以及出现非眼睛区域的人眼图像标注为睁眼识别结果，样本人眼图像是初始样本人眼图像采用数据增强处理得到的，数据增强处理包括随机颜色增强处理、随机旋转处理以及随机饱和度处理中的至少一种。

结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，预设时长具体为1到2s。

第三方面，本申请提供了一种驾驶员疲劳状态的确定设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出，本申请具有以下的有益效果：

针对驾驶员疲劳状态的检测需求，本申请提供了一种新的检测方案，在检测过程中，本申请不仅不依赖硬件，并且在引入图像识别的基础上采用连续的闭眼识别结果来判断驾驶员处于疲劳状态，在实际操作中包括初始图像的采集及其处理的所需处理时长可大大的减少，此外可保持稳定的高检测精度，也就是说，提供了一种更为便捷的检测方案，对于实际应用具有显著提高的实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请驾驶员疲劳状态的确定方法的一种流程示意图；

图2为本申请人脸识别结果的一种场景示意图；

图3为现有技术中CNN LeNet-5模型的一种模型架构示意图；

图4为本申请睁闭眼识别模型的一种模型架构示意图；

图5为本申请注意力机制模型架构的一种模型架构示意图；

图6为本申请驾驶员疲劳状态的确定装置的一种结构示意图；

图7为本申请驾驶员疲劳状态的确定设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的驾驶员疲劳状态的确定方法之前，首先介绍本申请所涉及的背景内容。

本申请提供的驾驶员疲劳状态的确定方法、装置以及计算机可读存储介质，可驾驶员疲劳状态的确定设备，用于为车辆上驾驶员的疲劳检测，提供一种更为便捷的检测方案，对于实际应用具有显著提高的实用性。

本申请提及的驾驶员疲劳状态的确定方法，其执行主体可以为驾驶员疲劳状态的确定装置，或者集成了该驾驶员疲劳状态的确定装置的服务器、物理主机、用户设备（UserEquipment，UE）、车载终端、车辆等不同类型的驾驶员疲劳状态的确定设备。其中，驾驶员疲劳状态的确定装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理（Personal Digital Assistant，PDA）等终端设备，驾驶员疲劳状态的确定设备可以通过设备集群的方式设置。

举例而言，本申请驾驶员疲劳状态的确定设备，适于实用的，具体可以为车辆上的车载终端，甚至直接为车辆本身，从而在车辆的工作过程中，可在车辆本地，判断所搭载的驾驶员是否处于疲劳状态，若处于疲劳状态可直接发出提醒、减速等预先配置的响应策略。

或者，本申请驾驶员疲劳状态的确定设备也可以为服务器、UE，通过与摄像头或者车辆之间建立的通信连接，获取对应图像判断所搭载的驾驶员是否处于疲劳状态，若处于疲劳状态可直接发出提醒。

或者，本申请驾驶员疲劳状态的确定设备也可以为执行非实时检测处理的设备，用于在获取到图像后，断所搭载的驾驶员是否处于疲劳状态，适用于场景回放等对实时性要求不高的应用场景。

下面，开始介绍本申请提供的驾驶员疲劳状态的确定方法。

首先，参阅图1，图1示出了本申请驾驶员疲劳状态的确定方法的一种流程示意图，本申请提供的驾驶员疲劳状态的确定方法，具体可包括如下步骤：

步骤S101，获取车辆上驾驶位置的多个初始图像，多个初始图像是由部署在车辆上的摄像头拍摄驾驶位置得到的；

可以理解，摄像头，其视角一般是面向驾驶位置的，如此当驾驶员坐在驾驶位置时，可拍摄到驾驶员。

当然，摄像头的视野中也并不一定只包含驾驶位置的内容，也可包含驾驶位置以外，例如车门、旁边车座、甚至后面车座等空间位置的内容。

在步骤S101中，对于初始图像的获取，可以是实时且直接获取的处理，即，摄像头包含于驾驶员疲劳状态的确定设备，直接从摄像头直接读取图像；或者，也可以是实时且间接获取的处理，即，从驾驶员疲劳状态的确定设备以外的摄像头或者设备实时进行图像的调取；或者，还可以为非实时且间接获取的处理，从本地、摄像头或者其他设备调取存储的历史图像。

显然，具体的获取处理，可随驾驶员疲劳状态的确定设备的具体设备形式或者说应用场景调整，在此不做具体限制。

步骤S102，对多个初始图像进行人脸识别处理，得到多个初始图像中包含的多个人脸图像；

可以理解，人脸识别处理所涉及的人脸识别算法，一般可以直接采用现有识别算法，例如RetinaFace、Mtcnn等算法。当然，也可以在现有识别算法的基础上改进的算法甚至全新的算法。

人脸识别，一般是识别图像中人脸特征的图像区域，例如人脸的眼睛、鼻子、嘴唇等标志性人脸部位，进一步的还可通过左眼的瞳孔中心、右眼的瞳孔的中心、鼻尖、嘴唇左角和嘴唇右角等人脸特征进行辅助识别。

人脸识别算法，一般可搭载于神经网络模型实现，在模型的训练过程中，将预先配置的标注有对应人脸识别结果的样本图像依次导入模型，使得模型进行人脸识别，输出人脸识别结果，完成正向传播，再根据人脸识别结果计算损失函数，并根据损失函数计算结果优化模型的参数，实现反向传播，当达到训练此时、训练时长、识别精度等训练要求时则可完成模型的训练，此时的模型可投入实际应用。

可以理解，在识别出初始图像中的人脸后，则可以将对应的人脸图像进行输出。

该人脸图像，可以理解为是初始图像中根据识别出的人脸区域裁剪出来的。当然，在输出过程中，还可能涉及到图像缩放等加工处理。

步骤S103，根据多个人脸图像对应的人脸特征，提取出多个人脸图像包含的多个人眼图像，人眼图像包括瞳孔区域以及瞳孔区域周围的预设范围内的区域；

在本申请中，在得到人脸图像后，则可根据其人脸特征，聚焦于人脸区域中的人眼区域，提取出对应的人眼图像。

其中，人脸图像对应的人脸特征，可以是步骤S102在进行人脸识别时识别出的人脸特征，此时仅需从识别出的人脸特征集合中提取出直接标注有人眼特征的特征即可，或者，也可是从识别出的人脸特征集合中筛选出符合人眼特征的特征即可。

或者，人脸图像对应的人脸特征，也可以是在步骤S102进行人脸识别后的新的识别处理得到的特征，其识别原理，与人脸识别类似的，也可以是通过神经网络模型实现，具体在此不再赘述。

或者，在一些实现方式中，还可以采取更为简便的提取处理。在实际应用中，还可设定步骤S102得到的人脸图像是固定视角和/或固定大小的，此时则可根据预设的检测框或者提取方案，从人脸图像中直接裁剪或者说抠出人眼图像。

例如，本申请可在左眼的瞳孔中心和右眼的瞳孔中心，向外抠图，抠图的大小是可参考步骤S102中涉及的人脸识别算法的人脸检测框的宽度w为依靠来选取，具体如下：

参阅图2示出的本申请人脸识别结果的一种场景示意图，人脸检测的宽度为W、高度为H，假设检测到左眼瞳孔中心坐标为

，则眼睛周围小矩形框区域，上角和右下角坐标分别是：

，右眼的处理类似。

步骤S104，将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果，睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

可以理解，针对于驾驶员疲劳状态，本申请是在图像识别的基础上，结合识别出的闭眼识别结果作为数据依据来确定的，关于该闭眼识别结果，则可通过本申请特别训练的神经网络模型，即睁闭眼识别模型来识别。

该睁闭眼识别模型的训练，与上述提及的模型训练类似的，将预先配置的标注有对应睁闭眼识别结果的样本图像依次导入模型，使得模型进行睁闭眼识别，输出睁闭眼识别结果（睁眼识别结果或者闭眼识别结果），完成正向传播，再根据睁闭眼识别结果计算损失函数，并根据损失函数计算结果优化模型的参数，实现反向传播，当达到训练此时、训练时长、识别精度等训练要求时则可完成模型的训练，此时的模型可投入实际应用。

步骤S105，结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果，若是，则触发步骤S106；

在现有技术中，基于脑电图的检测方案，依赖于硬件，采集驾驶员的脑电图进行疲劳状态的检测；而基于PERCLOS的检测方案，则需要在规范的单位时间内确定驾驶员眼睛闭合状态的时间占总时间的百分比，来衡量驾驶员疲劳状态，例如当达到70%或者80%的时候，则可确定驾驶员处于疲劳状态。

而本申请不仅不依赖如基于脑电图的检测方案所需特别部署的硬件，并且相比基于PERCLOS的检测方案所需固定耗费的较长的检测时长，本申请则是基于连续的闭眼识别结果来判断驾驶员处于疲劳状态。

可以理解，模型输入的人眼图像，具有对应的图像采集时间点，该图像采集时间点是对应的初始图像的采集时间点，在实际应用中，多个的初始图像是动态采集到的，具有连续性，在该情况下，导入模型时可按照图像采集时间点的时序依次导入，当然，模型输出的闭眼识别结果也具有其对应的图像采集时间点，模型输出的时序混乱的多个睁闭眼识别结果也可按照时序排序成连续的睁闭眼识别结果。

此时，本申请则以一个动态的确定机制，当存在多个的连续的闭眼识别结果时，则可直接确定驾驶员处于疲劳状态。

可以理解，此处所称的多个，即可以是指闭眼识别结果的数量，也可以是指指闭眼识别结果对应的时间点跨度，原理是一样的，当在动态的监测过程中，出现一个连续的、时间点跨度大于预设时长的闭眼识别结果时，则可触发确定机制，通过下面的步骤S106，确定对应时间段内的驾驶员，处于疲劳状态。

容易发现，在本申请该驾驶员疲劳状态的确定方案下，不仅由于是动态的确定机制，未存在基于PERCLOS的检测方案固定的检测周期，在应用上更佳的灵活，可减少驾驶员疲劳状态的确定所需的耗时，并且，由于采用的图像识别，结合连续的闭眼识别结果来确定是否处于驾驶员疲劳状态，在技术实现上保持很低的误差率，更不易遗漏对于短时间处于疲劳状态的情况（例如在基于PERCLOS的检测方案可能遗漏持续5s的疲劳状态的情况），具有更为精确以及快速的特点，也可进一步的、显著的降低驾驶员疲劳状态的确定所需的耗时。

举例而言，可将本申请中的预设时长具体设置为1到2s，显然，相比于基于PERCLOS的检测方案所需的30s到60s，显著降低了所需的耗时。

步骤S106，确定多个初始图像对应的驾驶员处于疲劳状态。

可以理解，在步骤S105确定存在连续的、时间点跨度大于预设时长的闭眼识别结果的情况下，则可确定驾驶员处理疲劳状态。

该确定处理，可以理解为在系统上记录或者输出对应驾驶员处于疲劳状态，例如为初始图像标记“确定处于疲劳状态”。

后续的，则还可根据为驾驶员处于疲劳状态的确定事件所配置的响应策略，执行其响应处理，例如发出语音提示、减速等预先配置的响应。

从图1所示实施例可看出，针对驾驶员疲劳状态的检测需求，本申请提供了一种新的检测方案，在检测过程中，本申请不仅不依赖硬件，并且在引入图像识别的基础上采用连续的闭眼识别结果来判断驾驶员处于疲劳状态，在实际操作中包括初始图像的采集及其处理的所需处理时长可大大的减少，此外可保持稳定的高检测精度，也就是说，提供了一种更为便捷的检测方案，对于实际应用具有显著提高的实用性。

此外，在上面已提及，睁闭眼识别模型是本申请特别配置的，而对该模型，本申请在实际应用中，还存在进一步的模型优化设置，以有效地提高其检测精度。

在本申请中，睁闭眼识别模型具体可以采用CNN LeNet-5模型，而在进一步的模型优化设置中，则可在CNN LeNet-5模型的模型架构的基础上进行。

可以理解，该模型优化设置，值得是在保留CNN LeNet-5模型的模型架构的情况下所做出的优化。

首先，可参考图3示出的现有技术中CNN LeNet-5模型的一种模型架构示意图以及图4示出的本申请睁闭眼识别模型的一种模型架构示意图，对于CNN LeNet-5模型的模型架构，主要可包括输入层（INPUT）、卷积层（Convolutions）、上采样层（Subsampling）、全连接层（Full connections）、高斯连接层（Gaussian connection）、输出层（OUPUT）。

从图3、图4的对比可发现，本申请可对模型中传输过程中的特征图（feature map）的大小进行改善。

可以理解，CNN LeNet-5模型相比一般的轻量级神经网络，例如Mobilenetv1、Mobilenetv2、Mobilenetv3，存在网络准确度下降的比较大的情况，这是因为输入图像大小越小，网络经过下采样，后面得到特征图的大小也就非常小，从而有用的信息也非常少。

而模型输入图像加大，虽然模型的识别精度会有一定的提升，但是会带来算法所需要的算例增加，不利于嵌入式的部署，需要成本也会增加，故本申请研究小网络，对CNNLeNet-5模型的模型架构的参数进行优化，在具体应用中，模型的输入层大小为48×48像素，模型中的每个卷积层的通道数为CNN LeNet-5模型中对应卷积层的通道数的两倍，其他全连接层保持不变，此时层数不是特别多，经过多个下采样层，特征图大小还是比较大，从而识别精度比较高，模型所需要的算力比较小。

此外，本申请还可引入注意力机制模型架构，该注意力机制模型架构可实现注意力机制，即，在具体操作中，模型中，在至少一个的前后层模型结构之间，配置注意力机制模型架构，注意力机制模型架构依次可包括全局池化层（Global pooling）、第一全连接层、第二全连接层、sigmod输出层。

简单理解，本申请认为，神经网络中每层不同的特征信息的重要性不同（可以是不同通道的，也可以是不同位置的），位于后面的层应该更注重这些重要的特征信息，抑制不重要的特征信息，对应的，注意力机制，则是用于调整如每个通道或者位置等特定特征信息的权重，使得神经网络更关心某些特定特征参数的学习，提高其重要性，也就提高了注意力，为后面的层保留更重要的特征信息。

比如，在眼睛分类中，应该更注意眼睛的睁开和闭合的特征信息，而不是注意眼睛周围的肤色、是否带了眼镜等特征信息。

结合图5示出的本申请注意力机制模型架构的一种模型架构示意图，假设原来特征图的大小为c×h×w，给它做一个global池化（池化窗口就是h×w得到的就是1×1窗口，通道数不变）得到c×1×1的特征图，然后连接两个全连接层（第一个全连接层神经元个数是c/16，相当于对c进行了降维，输入是c个特征，第二个全连接层神经元个数为c，相当于又增维回到了c个特征，这样做比直接用一个全连接层的好处在于具有更多的非线性，可以更好地拟合通道间复杂的相关性，极大地减少了参数量和计算量），然后再连接一个sigmod层（这里采用sigmod层是由于通道之间是具有相关性的，所以没有用softmax层，最终加起来必须为1），输出c×1×1，原来的特征图的维度c×h×w，得到的是通道的权值维度c×1×1，然后它们进行相乘（全乘，不是矩阵相乘）得到的特征图对应的每个通道重要性就不一样了。

此外，对于模型训练过程中采用的损失函数，本申请具体采用的Focal_loss损失函数，在具体操作中，则是在正负样本人眼图像的基础上，采用Focal_loss损失函数进行模型的训练，其可一定成都上避免训练过程中容易分类样本过多，导致累计损失函数结构结果偏大的问题，通过增加调节因子，使得容易分类的样本对总损失函数计算结果的贡献大大减小，而对错分的样本的损失函数结算结果的影响不大，在该设置下，可进一步提高模型的训练精度以及训练效率。

此外，对于在训练过程中采用的样本人眼图像，本申请具体配置为，闭眼状态的人眼图像标注为闭眼识别结果，处于眯眼状态、完全睁眼状态以及出现非眼睛区域的人眼图像标注为睁眼识别结果，对睁闭眼识别结果作出了更为精确的分类。

并且，对于样本人眼图像，为加强样本的数据量，其还可以是初始样本人眼图像采用数据增强处理得到的，数据增强处理包括随机颜色增强处理、随机旋转处理以及随机饱和度处理中的至少一种。

例如，可配置总体100w张的、训练用的样本人眼图像，其中，50w张对应睁眼识别结果，50w张对应闭眼识别结果，其中包含了各种环境（光线较好、光线较暗以及带反光的镜片等不同车内环境）的人眼图像，可配置总体20w张的、测试用的样本人眼图像，10w睁眼对应睁眼识别结果，10w张对应闭眼识别结果。

此外，对于训练用的初始模型，还可使用预训练模型，通过提前完成一定训练的通用模型，再结合具体的样本人眼图像继续进行睁闭眼识别的训练，还可进一步提高训练效率以及识别精度的效果。

为便于理解上述对于模型的优化设置，具体还可结合下表1所示的不同优化设置对应训练精度的效果对照表，进行理解。

表1-不同优化设置对应识别精度的效果对照表

网络	识别精度
		原始的CNN LeNet-5模型	90%
输入大小变成48x48+通道数加倍	95%
		输入大小变成48x48+通道数加倍+增加注意力机制	96%
输入大小变成48x48+通道数加倍+增加注意力机制+使用Focal_loss进行训练	97%
		输入大小变成48x48+通道数加倍+增加注意力机制+使用Focal_loss进行训练+使用数据增强	98.6%
输入大小变成48x48+通道数加倍+增加注意力机制+使用Focal_loss进行训练+使用数据增强+增加预训练模型	99.6%

从上表可看出，本申请在经过对CNN LeNet-5模型的改进后，对于模型的识别精度，则可取得明显提升，从而模型在实际应用中可输出更为精确的睁闭眼识别结果，进而提高本申请对于驾驶员疲劳状态的确定精度。

以上是本申请提供驾驶员疲劳状态的确定方法的介绍，为便于更好的实施本申请提供的驾驶员疲劳状态的确定方法，本申请还从功能模块角度提供了一种驾驶员疲劳状态的确定装置。

参阅图6，图6为本申请驾驶员疲劳状态的确定装置的一种结构示意图，在本申请中，驾驶员疲劳状态的确定装置600具体可包括如下结构：

获取单元601，用于获取车辆上驾驶位置的多个初始图像，多个初始图像是由部署在车辆上的摄像头拍摄驾驶位置得到的；

人脸识别单元602，用于对多个初始图像进行人脸识别处理，得到多个初始图像中包含的多个人脸图像；

提取单元603，用于根据多个人脸图像对应的人脸特征，提取出多个人脸图像包含的多个人眼图像，人眼图像包括瞳孔区域以及瞳孔区域周围的预设范围内的区域；

睁闭眼识别单元604，用于将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果，睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

判断单元605，用于结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果，若是，则触发确定单元606；

确定单元606，用于确定多个初始图像对应的驾驶员处于疲劳状态。

在一种示例性的实现方式中，睁闭眼识别模型具体为采用CNN LeNet-5模型的模型架构的神经网络模型。

在又一种示例性的实现方式中，睁闭眼识别模型的输入层大小为48×48像素，睁闭眼识别模型中的每个卷积层的通道数为CNN LeNet-5模型中对应卷积层的通道数的两倍。

在又一种示例性的实现方式中，睁闭眼识别模型在至少一个的前后层模型结构之间，配置注意力机制模型架构，注意力机制模型架构依次包括全局池化层、第一全连接层、第二全连接层、sigmod输出层。

在又一种示例性的实现方式中，睁闭眼识别模型在训练过程中，在正负样本人眼图像的基础上，采用Focal_loss损失函数进行模型的训练。

在又一种示例性的实现方式中，睁闭眼识别模型在训练过程中采用的样本人眼图像中，处于完全闭眼状态的人眼图像标注为闭眼识别结果，处于眯眼状态、完全睁眼状态以及出现非眼睛区域的人眼图像标注为睁眼识别结果，样本人眼图像是初始样本人眼图像采用数据增强处理得到的，数据增强处理包括随机颜色增强处理、随机旋转处理以及随机饱和度处理中的至少一种。

在又一种示例性的实现方式中，预设时长具体为1到2s。

本申请还从硬件结构角度提供了一种驾驶员疲劳状态的确定设备，参阅图7，图7示出了本申请驾驶员疲劳状态的确定设备的一种结构示意图，具体的，本申请驾驶员疲劳状态的确定设备可包括处理器701、存储器702以及输入输出设备703，处理器701用于执行存储器702中存储的计算机程序时实现如图1对应实施例中驾驶员疲劳状态的确定方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能，存储器702用于存储处理器701执行上述图1对应实施例中驾驶员疲劳状态的确定方法所需的计算机程序。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

驾驶员疲劳状态的确定设备可包括，但不仅限于处理器701、存储器702、输入输出设备703。本领域技术人员可以理解，示意仅仅是驾驶员疲劳状态的确定设备的示例，并不构成对驾驶员疲劳状态的确定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如驾驶员疲劳状态的确定设备还可以包括网络接入设备、总线等，处理器701、存储器702、输入输出设备703等通过总线相连。

处理器701可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是驾驶员疲劳状态的确定设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据驾驶员疲劳状态的确定设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器701用于执行存储器702中存储的计算机程序时，具体可实现以下功能：

获取车辆上驾驶位置的多个初始图像，多个初始图像是由部署在车辆上的摄像头拍摄驾驶位置得到的；

对多个初始图像进行人脸识别处理，得到多个初始图像中包含的多个人脸图像；

根据多个人脸图像对应的人脸特征，提取出多个人脸图像包含的多个人眼图像，人眼图像包括瞳孔区域以及瞳孔区域周围的预设范围内的区域；

将多个人眼图像依次输入至睁闭眼识别模型，由睁闭眼识别模型对人眼图像进行睁闭眼识别处理，得到睁闭眼识别模型输出的多个睁闭眼识别结果，睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

结合多个睁闭眼识别结果对应的图像采集时间点，判断多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果；

若是，则确定多个初始图像对应的驾驶员处于疲劳状态。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的驾驶员疲劳状态的确定装置、设备及其相应单元的具体工作过程，可以参考如图1对应实施例中驾驶员疲劳状态的确定方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中驾驶员疲劳状态的确定方法的步骤，具体操作可参考如图1对应实施例中驾驶员疲劳状态的确定方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（Read Only Memory，ROM）、随机存取记忆体（Random Access Memory，RAM）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中驾驶员疲劳状态的确定方法的步骤，因此，可以实现本申请如图1对应实施例中驾驶员疲劳状态的确定方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的驾驶员疲劳状态的确定方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种驾驶员疲劳状态的确定方法，其特征在于，所述方法包括：

获取车辆上驾驶位置的多个初始图像，所述多个初始图像是由部署在所述车辆上的摄像头拍摄驾驶位置得到的；

对所述多个初始图像进行人脸识别处理，得到所述多个初始图像中包含的多个人脸图像；

根据所述多个人脸图像对应的人脸特征，提取出所述多个人脸图像包含的多个人眼图像，所述人眼图像包括瞳孔区域以及所述瞳孔区域周围的预设范围内的区域；

将所述多个人眼图像依次输入至睁闭眼识别模型，由所述睁闭眼识别模型对所述人眼图像进行睁闭眼识别处理，得到所述睁闭眼识别模型输出的多个睁闭眼识别结果，所述睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，所述睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

结合所述多个睁闭眼识别结果对应的图像采集时间点，判断所述多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果；

若是，则确定所述多个初始图像对应的驾驶员处于疲劳状态。

2.根据权利要求1所述的方法，其特征在于，所述睁闭眼识别模型具体为采用CNNLeNet-5模型的模型架构的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述睁闭眼识别模型的输入层大小为48×48像素，所述睁闭眼识别模型中的每个卷积层的通道数为所述CNN LeNet-5模型中对应卷积层的通道数的两倍。

4.根据权利要求2所述的方法，其特征在于，所述睁闭眼识别模型在至少一个的前后层模型结构之间，配置注意力机制模型架构，所述注意力机制模型架构依次包括全局池化层、第一全连接层、第二全连接层、sigmod输出层。

5.根据权利要求2所述的方法，其特征在于，所述睁闭眼识别模型在训练过程中，在正负样本人眼图像的基础上，采用Focal_loss损失函数进行模型的训练。

6.根据权利要求2所述的方法，其特征在于，所述睁闭眼识别模型在训练过程中采用的样本人眼图像中，处于完全闭眼状态的人眼图像标注为闭眼识别结果，处于眯眼状态、完全睁眼状态以及出现非眼睛区域的人眼图像标注为睁眼识别结果，所述样本人眼图像是初始样本人眼图像采用数据增强处理得到的，所述数据增强处理包括随机颜色增强处理、随机旋转处理以及随机饱和度处理中的至少一种。

7.根据权利要求1所述的方法，其特征在于，所述预设时长具体为1到2s。

8.一种驾驶员疲劳状态的确定装置，其特征在于，所述装置包括：

获取单元，用于获取车辆上驾驶位置的多个初始图像，所述多个初始图像是由部署在所述车辆上的摄像头拍摄驾驶位置得到的；

人脸识别单元，用于对所述多个初始图像进行人脸识别处理，得到所述多个初始图像中包含的多个人脸图像；

提取单元，用于根据所述多个人脸图像对应的人脸特征，提取出所述多个人脸图像包含的多个人眼图像，所述人眼图像包括瞳孔区域以及所述瞳孔区域周围的预设范围内的区域；

睁闭眼识别单元，用于将所述多个人眼图像依次输入至睁闭眼识别模型，由所述睁闭眼识别模型对所述人眼图像进行睁闭眼识别处理，得到所述睁闭眼识别模型输出的多个睁闭眼识别结果，所述睁闭眼识别模型是初始模型通过标注有对应睁闭眼识别结果的样本人眼图像训练得到的，所述睁闭眼识别模型用于识别输入图像中的人眼处于睁眼状态或者闭眼状态；

判断单元，用于结合所述多个睁闭眼识别结果对应的图像采集时间点，判断所述多个睁闭眼识别结果中是否存在连续的、时间点跨度大于预设时长的闭眼识别结果，若是，则触发确定单元；

所述确定单元，用于确定所述多个初始图像对应的驾驶员处于疲劳状态。

9.一种驾驶员疲劳状态的确定设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。

Images