CN110826369A - 一种驾驶员驾驶时注意力检测方法和系统 - Google Patents

Abstract

本发明涉及一种辅助驾驶领域，特别是涉及辅助驾驶中对驾驶员注意力的监控；本发明提供了一种辅助驾驶系统，所述系统包括人眼视线实时监测单元，实时驾驶场景监测单元，比较评估单元，报警及紧急处理单元；由于图像采集装置采取了多台相机从不同角度在同一时候进行拍照，所得同一时候图像集作为样本集中的一个样本来训练分类器，提高了输出精度，最终使得系统可高效的检测驾驶员的注意力。

Description

一种驾驶员驾驶时注意力检测方法和系统

技术领域

本发明涉及辅助驾驶领域，特别是涉及辅助驾驶中对驾驶员注意力的监控。

背景技术

目前，现有技术中对于辅助驾驶领域中驾驶员注意力的监控多采用设置在驾驶位置的各种监控传感器完成。例如检测驾驶员是否将手我握在方向盘位置并持续较长的时间，方向盘是否有转动，车辆是否感应到了驾驶员加速或刹车信号等。这些传统的传感装置因太灵敏，使车辆做出过激反应，虽然此时驾驶员并没有注意力不集中。此外，虽然传感器感应到驾驶员在控制方向盘，但此时驾驶员注意力放在其他位置，例如在玩手机，接打电话，这种情况下现有技术并没有给出注意力的提醒。因此现有的驾驶员注意力监控并不能胜任驾驶复杂的局面。

然而目前现有技术中对于图像采集却有诸多亟待解决的问题。

例如，1）无法做到高效采集人脸图像：因为需要采集人脸某时刻各个角度的多幅照片，采用相机拍摄时需要相机做二维的往返运动，浪费大量时间。此外，在拍摄时需要做到被试者保持静止，而往往被试者在相机做二维往返运动时，无法长时间保持静止，因此很多采集的图像存在误差。另外，不易采集人脸侧面图像（或大角度图像），如果采集侧面图像需要人转头将近90度，首先体验感不好，其次人眼注视点需要在人的侧面较远地方，会导致承载注视点的装置长度非常大。

2）现有技术中关于注意力的检测，只是集中在人脸面部检测环节，检测的参数单一，没有与当前的驾驶情景相结合，如在车辆脱离原来车道进行并线超车，即便是注意力集中的，但如果没有良好的驾驶习惯，如看左右后视镜，则仍然会发生交通事故。而传统的检测方法并不能很好的对这些情况提供预警。

发明内容

鉴于现有技术中存在的问题，本发明的目的之一在于提高了图像采集装置采集的图像精度，进而能够准确及时的检测到驾驶员的注意力。

为达此目的，本发明采用以下技术方案：

一种驾驶辅助系统，其特征在于：所述系统包括人眼视线实时监测单元，实时驾驶场景监测单元，比较评估单元，报警及紧急处理单元；

所述人眼视线实时监测单元包括DMS图像采集单元，分类器单元；

所述DMS图像采集单元将采集的人脸图像输入到已经训练好的所述分类器单元，该分类器单元输出此时人眼注视的位置坐标；

所述位置坐标和所述实时驾驶场景监测单元采集的信息一起输入所述比较评估单元；

报警及紧急处理单元根据述比较评估单元的评估结果采取相应的措施。

优选的，所述实时驾驶场景监测单元包括前景图像采集单元，车辆驾驶状态监控单元，地图单元。

优选的，训练所述分类器单元为采用多台相机呈阵列形式从不同的角度在同一时间拍摄图像，从不同角度同一时间拍摄的图像构成的图像集作为一个样本。

优选的，训练所述分类器所使用的样本集包括人眼注视的位置在车辆前挡风玻璃的各个位置以及左、中、右后视镜。

优选的，所述DMS图像采集单元为单一相机。

优选的，所述比较评估单元包括一数据库。该数据库存储有各驾驶情景下人眼应该注视的位置区域；当采集的所述人眼注视的位置坐标不在所述位置区域时，所述报警及紧急处理单元对驾驶员进行提醒。

优选的，所述样本集还需要参考环境因素，所述环境因素包括：光照、雨雪和雾。

优选的，所述DMS图像采集单元和所述实时驾驶场景监测单元所采集的图像都含有时间戳。

优选的，所述前景图像采集单元，用于实时采集驾驶员视野内的前方车外图像。

优选的，所述地图单元，用于将此时的车辆位置定位在预先采集的地图中，用于得出车辆当前位置的交通状况。

优选的，比较评估单元会记录并监控此时驾驶员的所述经纬度或位置坐标，当发现在设定的阈值条件下所述经纬度和位置坐标没有发生变化，则所述报警及紧急处理单元对驾驶员进行提醒。

优选的，所述比较评估单元将驾驶员的注意力分为若干等级。

一种提高驾驶员驾驶注意力的方法，该方法包括如下步骤：

步骤S1.通过一人眼视线实时监测单元监测驾驶员的人眼视线位置，该人眼视线实时监测单元包括DMS图像采集单元，分类器单元；所述DMS图像采集单元将采集的人脸图像输入到已经训练好的所述分类器单元，该分类器单元输出此时人眼注视的位置坐标。

步骤S2. 将所述人眼注视的位置坐标和所述实时驾驶场景监测单元采集的前景图像信息和车辆驾驶状态信息一起输入所述比较评估单元。

步骤S3. 所述评估单元基于输入的所述前景图像信息、所述车辆驾驶状态信息、所述位置坐标进行评估得出评估结果。

步骤S4. 一报警及紧急处理单元根据述比较评估单元的评估结果采取相应的措施。

采用了上述技术方案，使其对现有技术做出了实质性的贡献，产生了意料之外的技术效果。这一突出的优势主要体现在如下几点，但本发明的发明点并不限于下述列举的几点。

本发明的发明点在于：

（1）分类器的训练采取了多台相机从不同角度在同一时候进行拍照，所得同一时刻图像集作为训练用数据。因收集了多角度人脸图像，由此对神经网络的训练更加全面准确。要做到驾驶员在驾驶过程中的人机交互，对于人眼视线的准确跟踪是实现人机交互的基础，而通过神经网络训练后输出的人眼位置坐标，能够满足精准的人机交互对视线位置准确度的要求；同时能够在同一时间内收集大角度包括人脸侧面90度的照片，而不需要被测试者进行过多的动作。因此采集图像时，对分类器的训练采取了多台相机从不同角度在同一时刻进行拍照。由于图像采集装置采取了多台相机从不同角度在同一时候进行拍照，所得同一时候图像集作为样本集中的一个样本来训练分类器，提高了精度，最终使得系统可高效的检测驾驶员的注意力。这是本发明的一个发明点。

（2）本发明的优选实施例中使用了一数据库，该数据库是经过人工智能神经网络后学习的数据库，该数据库存储在各种驾驶情景下，大多数驾驶员人眼注视位置区域。这些区域代表了在相应的驾驶情景下，安全驾驶情况下人眼应该注意的位置区域。当实时监测的人眼注视的位置坐标不属于该位置区域时，则会提醒驾驶员注意。这是本发明的另一个发明点。

附图说明

图1是本发明的驾驶辅助系统示意图

图中附图标记如下：1-人眼视线实时监测单元，11- DMS图像采集单元，12-分类器单元，2-实时驾驶场景监测单元，21-前景图像采集单元，22-车辆驾驶状态监控单元，23-地图单元，3-比较评估单元，4-报警及紧急处理单元。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：

本发明采用人工智能的人眼位置监控技术，通过人眼注视位置的监控，实时得到驾驶员的人眼注视位置，通过该位置与预先储存的各种环境中的人眼应该注视位置进行比较，以对此时驾驶员是否处于驾驶注意力集中阶段进行判断。

本发明的驾驶辅助系统包括：人眼视线实时监测单元；实时驾驶场景监测单元；比较评估单元；报警及紧急处理单元。

人眼视线实时监测单元；该单元包括：DMS图像采集单元，用于采集驾驶员实时人脸图像；分类器单元，DMS图像采集单元将采集的人脸图像输入到已经训练好的分类器单元，该分类器单元输出此时人眼注视的经纬度或位置坐标。

本申请在训练分类器单元的过程中，图像采集系统包括有多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。

该相机可以以阵列的方式排列在被试者的面前，以方便在同一时刻拍摄多张照片；该机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

当上述的排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置。当然，该光轴方向间夹角可大于90度，以方便得到更多的人脸照片信息。

图像采集系统还包括：多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一光源固定在横向轨道和纵向轨道的交叉位置；一相机与该光源固定，使相机能随光源移动而移动。

优选的，所述固定的工业相机在对准人脸的方向，即该相机的光轴方向各不相同。

优选的，该支架为滑轨形式，即各支架间的相互距离可以调整，通过支架间相互距离的调整从而可以改变相机间的相对位置，以适应不同测试场合的需要。

实施例1

分类器单元为经过训练可以实现人眼视线聚焦点位置判断的单元，分类器单元的完成需要经过样本采集和分类器训练两个步骤；

步骤S1，样本采集，具体为人脸面部图像的采集，具体采用本系统的人脸面部图像采集装置，采集装置中所有的相机必须同时拍照，同时拍的照片的每个图像都必须盖有时间戳，作为一个样本，以图像采集装置有9个相机为例，在时间A1拍的照片，可以依次编号为A1P11，A1P12，A1P13，A1P21，A1P22，A1P23，A1P31，A1P32，A1P33，分别代表左上、中上，右上、中左、正中、中右、左下、中下、右下的图片，并且以这9张图像作为一个整体样本进行判断；采样的图像都采用统一的格式及大小，为后续的比较评估单元的对比带来便利。

由于本申请的图像采集装置采用了多个相机同时拍摄，大大提高了人眼视线聚焦点的识别精度，相应的在样本采集阶段，自然也需要提供更多的数据以支撑识别精度，具体为驾驶员需要对各个观察点都采集样本，例如车辆前挡风玻璃的各个位置以及左、中、右后视镜等，其中前挡风玻璃的各个位置以人眼视线聚焦点所覆盖的面积为最小单位，采集尽可能多的样本。

在样本采集的过程中，必须考虑环境因素，如晴天（光照充足），阴天，雨天，雪天，有雾，隧道等天气或路况，样本集必须覆盖各种环境下驾驶员注意力集中和不集中的的情况；由于不同人种的五官差异较大，如两眼之间的距离等，还需要对不同肤色的人进行区分，以分别采集相关的样本，除此之外，还需要对不同性别的人以及是否佩戴眼镜的人以及不同坐姿分别进行采样，其中性别的判断可以为留胡须的为男士，有长发、口红或是耳环等的为女士；不同坐姿具体指面部是否平视前方以及面部离图像采集装置之间的距离。

步骤S2， 分类器训练

优选的，如果使用神经网络来进行相应的训练，可以选择人脸关键点标注工具，例如，人脸关键点标注软件，对样本的人脸关键点进行标注。所述人脸关键点是指人脸上具有分辨力的点，包括人脸轮廓上的17个关键点（包括眼角、眼睛中心、鼻尖、鼻梁、嘴角、嘴唇、人脸轮廓等）。还可以是眉毛上的10个关键点、眼睛上的12个关键点、鼻子上的9个关键点、嘴巴上的20个关键点，一共68个关键点。

这些关键点选择的较多，是为了在得到人眼视线方向的同时，还可以得到人脸部更详细的信息，选择的人脸关键点越多，能够提取的有效信息越多，为后期进行包括人眼视线方向在内的其他图像学习识别提供可能。例如选择上述最多的68个关键点，通过神经网络训练后可以得到面部姿势，例如：眨眼、凝视、扬眉，皱眉，点头，摇头等姿态。

优选的，在所述人脸特征点中只使用了5个特征点来确定人眼视线。这5个特征点的选择考虑了因为采用单相机方式，必须要采集到左右眼图像以及另一器官的特征点。因此对于另一器官，这一特征点选择了与左右眼距离基本相等的鼻尖位置。另外，鼻尖在脸部凸起明显，适合于作为特征点选择。另外4个特征点，分别是左眼和右眼的两个眼角。

通过人眼4个点,优选为左眼的外眼角和内眼角，右眼的外眼角和内眼角以及鼻尖，得到人眼在相机坐标系下的3D位置。

该分类器的训练还可以采用其他训练方式。例如自适应算法分类器，但选择不同的方式进行训练其效果是不同的，本发明优选采用的是神经网络的深度学习方式进行。这得益于训练用数据量的准确和数据的庞大，这为训练后得到准确的人眼视线位置提供了可能。

通过上述的神经网络产出视线经纬度或位置坐标，配合之前得到眼睛在相机坐标系下3D位置和相机与车体外参信息，可以知道视线在车内哪个位置，包括，仪表盘，前车窗，等。

实施例2

该实施例与上述实施例中相同的步骤和/或结构就不再重复，本实施例仅仅介绍某些变化或更加具体的步骤和/或结构。

由于本申请采用的图像采集系统，包括多台相机，其提高了人眼视线焦点的判定精度，可应用于智能驾驶领域，提高了安全性；具体实现方式如下：以图像采集装置有9个相机为例，在步骤S2，分类器训练中，首先进行步骤S21，图像的处理，由于在采集图像的过程中已经统一了相关的格式及尺寸大小，这里的处理仅仅涉及将图像进行网格化处理，比如将在图片中插入100*100的网格线；然后进行步骤S22、步骤S23，最后在步骤S24中，在同一个样品的9张图片中，在特征值对比中，采用脸部高度、宽度、两瞳孔连线、左右眼大小等数据，通过相应的算法计算人眼注意力的方向，选择相对而言人眼注意力正对的图片（从X，Y两个维度），比如选择的照片为P21为人眼注意力正对的图片，即左中的照片，再根据其相对XY平面倾斜的角度，即网格线的刻度，来判断人眼视线的聚焦点的范围，判断的方法为采用分类器与样品集中的左中图片进行比对为主，以其他照片辅助比对，最后得到人眼视线的聚焦点的具体范围，例如为左后视镜。正是由于本申请采用了具备多台相机的图像采集装置，使得可以从各个角度准确判定驾驶员的视线聚焦点的范围。

实施例3

该实施例与上述实施例中相同的步骤和/或结构就不再重复，本实施例仅仅介绍某些变化或更加具体的步骤和/或结构。

本发明的驾驶辅助系统还包括：实时驾驶场景监测单元；该单元包括前景图像采集单元，用于实时采集驾驶员视野内的前方车外图像，所采集的车外图像也都必须包括时间戳；车辆驾驶状态监控单元，该监控单元包括车辆行驶轨迹监控单元；该车辆行驶轨迹单元包括车轮传感器，用于感应和计算出车辆实时行驶轨迹，例如转弯，并线等操作；地图单元，用于将此时的车辆位置定位在预先采集的地图中，用于得出车辆当前位置的交通状况，例如前方是否有十字马路，是否有红绿灯，是否有匝道等。

分类器单元，通过对比获取人眼视线聚焦点的范围值。

比较评估单元：在各种交通状况下经过神经网络训练下大多数驾驶员人眼视线聚焦的范围值配合实时驾驶场景的信息进行比对，但需要注意的是驾驶员图像和与其配合的车外图像必须具有相同的时间戳。例如在准备超车的状态下，此时人眼应该注视在左后视镜的区域。在转弯过程中人眼应该注视在车辆前挡风玻璃相应转弯方向的区域等。一计算单元用于将人眼注视的位置坐标与实时驾驶场景监测单元输出的当前人眼应该注视区域进行比对，得出该人眼实际位置是否在该区域内；最后比较评估单元还可以将人眼注意力分为不同的等级，例如注意力集中、注意力轻微不集中，疲劳驾驶、酒驾等。

优选的，该当前人眼应该注视的区域还可以利用大数据得出。具体的是：在该比较评估单元中存有一数据库，该数据库中存储有各种交通状态下，多数司机人眼所注视的区域。例如，当需要右转弯时，此时大多数司机人眼视线的位置应该在右后视镜的位置。在需要倒车时，大多数司机人眼视线的位置还包括有车内后视镜的位置。当停车下车时，大多数司机人眼视线的位置应该包括左后视镜的位置。将收集的大多数司机人眼应注视的区域位置分驾驶情况进行归类，存储在所述数据库中。例如表1所示：

序号	驾驶情景	人眼注意位置
			1	右转弯	右后视镜
2	左转弯	左后视镜
			3	倒车	后视镜
4	停车下车	左后视镜
			5	超车	左后视镜，右后视镜
……

表1 各驾驶情景人眼应注视位置

当驾驶员进行实际驾驶时，该计算单元用于将当前驾驶员人眼注视的位置坐标与上述数据库中提供的实时驾驶场景监测单元输出的当前人眼应该注视区域进行比对，以得出此时驾驶员是否将视线注视在该注视的位置。

报警及紧急处理单元：根据比较评估单元的注意力评价等级，报警及紧急处理单元可采取相应的措施。例如，当等级为注意力轻微不集中，例如判断此时人眼实际注视位置不在该区域内时，则会提醒例如发出警告声，并且语音或图像显示应注视的位置区域，使驾驶员将视线放在该注视的位置。还可以判断当等级为酒驾或是严重的疲劳驾驶时，如果汽车具有智能驾驶功能，对外可亮起双闪提醒周围车辆，并逐渐减速直至停车，对内可提高警报的分贝刺激驾驶人员。

此外，也可以不采用所述数据库，也能达到对驾驶员驾驶时注意力的检测。通过训练后的神经网络会输出驾驶员当时的视线经纬度或位置坐标。该比较评估单元会记录并监控此时驾驶员的所述经纬度或位置坐标，当发现设定的阈值条件下所述经纬度和位置坐标没有发生变化，说明此时驾驶员可能处于注意力不集中的状态。此时比较评估单元发出信号至报警及紧急处理单元。所述报警及紧急处理单元会提醒例如发出警告声，提醒驾驶员注意驾驶。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种驾驶辅助系统，其特征在于：所述系统包括人眼视线实时监测单元，实时驾驶场景监测单元，比较评估单元，报警及紧急处理单元；

所述人眼视线实时监测单元包括DMS图像采集单元，分类器单元；

所述DMS图像采集单元将采集的人脸图像输入到已经训练好的所述分类器单元，该分类器单元输出此时人眼注视的经纬度或位置坐标；

所述经纬度或位置坐标和所述实时驾驶场景监测单元采集的信息一起输入到所述比较评估单元；

报警及紧急处理单元根据所述比较评估单元的评估结果采取相应的措施。

2.根据权利要求1所述的系统，其特征在于：所述实时驾驶场景监测单元包括前景图像采集单元，车辆驾驶状态监控单元，地图单元。

3.根据权利要求1-2所述的系统，其特征在于：训练所述分类器单元为采用多台相机呈阵列形式从不同的角度在同一时间拍摄图像，从不同角度同一时间拍摄的图像构成的图像集作为一个样本。

4.根据权利要求1-3所述的系统，其特征在于：训练所述分类器所使用的样本集包括人眼注视的位置在车辆前挡风玻璃的各个位置以及左、中、右后视镜。

5.根据权利要求1-4所述的系统，其特征在于：所述DMS图像采集单元为单一相机。

6.根据权利要求1所述的系统，所述比较评估单元包括一数据库；该数据库存储有各驾驶情景下人眼应该注视的位置区域；当采集的所述人眼注视的位置坐标不在所述位置区域时，所述报警及紧急处理单元对驾驶员进行提醒。

7.根据权利要求1所述的系统，其特征在于：所述DMS图像采集单元和所述实时驾驶场景监测单元所采集的图像都含有时间戳。

8.根据权利要求1所述的系统，其特征在于：所述前景图像采集单元，用于实时采集驾驶员视野内的前方车外图像；所述地图单元用于将此时的车辆位置定位在预先采集的地图中，用于得出车辆当前位置的交通状况。

9.根据权利要求1所述的系统，其特征在于：所述比较评估单元会记录并监控此时驾驶员的所述经纬度或位置坐标，当在设定的阈值条件下所述经纬度和位置坐标没有发生变化，则所述报警及紧急处理单元对驾驶员进行提醒。

10.一种使用权利要求1-9所述的系统提高驾驶员驾驶注意力的方法，该方法包括如下步骤：

步骤S1.通过一人眼视线实时监测单元监测驾驶员的人眼视线位置，该人眼视线实时监测单元包括DMS图像采集单元，分类器单元；所述DMS图像采集单元将采集的人脸图像输入到已经训练好的所述分类器单元，该分类器单元输出此时人眼注视的经纬度或位置坐标；

步骤S2. 将所述人眼注视的经纬度或位置坐标和所述实时驾驶场景监测单元采集的前景图像信息和车辆驾驶状态信息一起输入至所述比较评估单元；

步骤S3. 所述评估单元基于输入的所述前景图像信息、所述车辆驾驶状态信息、所述位置坐标进行评估得出评估结果；

步骤S4. 一报警及紧急处理单元根据述比较评估单元的评估结果采取相应的措施。

Images