CN101224113B - 机动车驾驶员状态监控方法及系统 - Google Patents

Abstract

本发明涉及机动车控制技术，特别涉及利用驾驶员生命活动特征数据对其状态进行监控的方法和装置。本发明针对现有技术的驾驶员监控方法，检测不方便，使用范围受到限制以及监控不力的缺点，公开了一种机动车驾驶员状态监控方法及系统，对驾驶员进行识别和监控。本发明通过采集驾驶员的生命活动特征数据，特别是心率、头部运动距离及其变化标准差，对各种数据进行综合处理，最后作出准确判断。本发明可以用于驾驶员疲劳驾驶、他人代驾、车辆防盗监控等。具有判断准确，使用方便的特点。

Description

机动车驾驶员状态监控方法及系统

技术领域

本发明涉及机动车控制技术，特别涉及利用驾驶员生命活动特征数据对其状态进行监控的方法和装置。

背景技术

随着交通运输业的飞速发展，机动车辆被盗及驾驶员非正常状态驾驶而引发交通事故等现象愈来愈严重，国家有关部门非常重视，也出现了很多关于驾驶员识别和状态监控的技术。从现有的科技文献和专利来看，主要有基于图像识别、生物识别以及根据汽车运动状态来监测驾驶员状态的技术。其中具有代表性的专利有：申请号200410041994.8，公开日2005年5月11日，名称为《司机疲劳预警生物识别的方法和系统》的发明专利申请，通过采集驾驶员的瞳孔、眼睑，脑电波等信息经过计算处理判断驾驶员是否处于疲劳状态，并进行相应处理。申请号200620120044.9，公开日2007年8月29日，名称为《主动式汽车司机疲劳驾驶预警装置》的实用新型专利，采用对汽车运动状态进行检测来判断驾驶员是否处于非正常状态。前一专利申请需要驾驶员带上专用的脑电波检测传感器，会使驾驶员感觉不舒服；其眼睑等眼部信息的检测，在驾驶员戴上眼镜驾驶时，红外图像传感器是无法检测的。后一个专利则因汽车的运动状态受很多因素的影响，特别是路面状态的影响较大，在国内现有道路状况下难以发挥作用。另外中华人民共和国交通有关条例定义了疲劳驾驶，是指驾驶员每天驾车超过8小时，连续驾驶机动车超过4小时未休息或停车休息少于20分钟，从事公路运输的驾驶员一次连续驾车超过3小时，或因睡眠不足、体力消耗过大等导致行车中困倦瞌睡、四肢无力，不能及时发现并准确处理路面交通情况等状态。现在很多大城市管理部门采用驾驶员刷卡的方法来监测驾驶员的驾驶时间，但是代驾现象严重，无法有效监控。

发明内容

本发明所要解决的技术问题，就是针对现有技术的驾驶员监控方法，检测不方便，使用范围受到限制以及监控不力的缺点，提供一种机动车驾驶员状态监控方法及系统，对驾驶员进行识别和监控。

本发明解决所述技术问题采用的技术方案是，机动车驾驶员状态监控方法，包括以下步骤：

a.在初始时段采集驾驶员生命活动特征数据；

b.记录步骤a采集的数据；

c.实时采集驾驶员生命活动特征数据；

d.比较步骤c采集的数据与步骤b记录的数据；当步骤c采集的数据与步骤b记录的数据的比较结果超过设定值时，则认为驾驶员处于疲劳状态；

所述特征数据包括驾驶员的心率和心率标准差；驾驶员头部特征点与参考点的距离和距离标准差。

本发明的机动车驾驶员状态监控系统，包括图像采集系统、心率采集系统、报警装置和计算机控制系统；

所述图像采集系统用于采集驾驶员面部图像，其组成包括红外线摄像头和图像处理系统，所述红外线摄像头与图像处理系统连接，所述图像处理系统与计算机控制系统连接；

所述心率采集系统用于采集驾驶员心律数据，其组成包括顺序连接的心率传感器和信号处理电路，所述信号处理电路与计算机控制系统连接；

所述报警装置与计算机控制系统连接，根据计算机控制系统输出的报警触发信号，发出声光报警信息并向指定通信终端报告；

所述计算机控制系统对采集的数据进行处理，根据心率和心率标准差以及驾驶员前额中心点与摄像头的距离和距离标准差判断驾驶员是否处于疲劳状态，并输出判断结果对车辆进行控制。

本发明的有益效果是，不需要驾驶员佩戴任何额外装置就可以方便地检测驾驶员的生命活动特征数据，红外线摄像头能够避免驾驶室复杂的灯光和背景环境的干扰，多种数据的结合处理减少了误判率。具有使用方便，检测准确的优点。

附图说明

图1是系统结构示意图；

图2是信号处理流程图。

具体实施方式

以下结合附图及实施例，详细描述本发明的技术方案。

本发明的机动车驾驶员状态监控方法，利用模糊逻辑和神经网络技术，对驾驶员在初始时段(假定其处于非疲劳的正常状态)的生命活动特征数据进行采集记录，然后实时采集上述生命活动特征数据，根据实时数据与记录数据的比较，最后作出驾驶员是否疲劳的判断。

本发明的机动车驾驶员状态监控方法，包括以下步骤：

a.在初始时段采集驾驶员生命活动特征数据；

b.记录步骤a采集的数据；

c.实时采集驾驶员生命活动特征数据；

d.比较步骤c采集的数据与步骤b记录的数据；当步骤c采集的数据与步骤b记录的数据的比较结果超过设定值时，则认为驾驶员处于疲劳状态；

所述特征数据为驾驶员的心率和心率标准差。

以驾驶员头部特征点与参考点的距离和/或距离标准差，作为驾驶员的生命活动特征数据也是一种不错的选择。

具体的，所述特征点为驾驶员前额中心，所述参考点为摄像头。

进一步的，也可以同时采集上述生命活动特征数据进行综合判断，以提高判断的准确性。

具体的，步骤a所述初始时段是指步骤a采集的数据与步骤c采集的数据，在时间差上相差至少10分钟。

本发明的机动车驾驶员状态监控系统，包括图像采集系统、心率采集系统、报警装置和计算机控制系统；

所述图像采集系统用于采集驾驶员面部图像，其组成包括红外线摄像头和图像处理系统，所述红外线摄像头与图像处理系统连接，所述图像处理系统与计算机控制系统连接；

所述心率采集系统用于采集驾驶员心律数据，其组成包括顺序连接的心率传感器和信号处理电路，所述信号处理电路与计算机控制系统连接；

所述报警装置与计算机控制系统连接，根据计算机控制系统输出的报警触发信号，发出声光报警信息并向指定通信终端报告；

所述计算机控制系统对采集的数据进行处理，根据心率和心率标准差以及驾驶员前额中心点与摄像头的距离和距离标准差判断驾驶员的状态，并输出判断结果对车辆进行控制。

进一步的，还包括酒精浓度探测系统，所述酒精浓度探测系统由顺序连接的酒精传感器和信号处理电路构成；所述酒精浓度探测系统与计算机控制系统连接，用于检测驾驶员呼出气体的酒精含量。

更进一步的，还包括读卡器，所述读卡器与计算机控制系统连接，用于读取驾驶员识别卡的信息。

具体的，所述心率传感器为非接触式心率传感器。

更具体的，所述红外线摄像头安装在驾驶员正前方，所述心率传感器安装在方向盘外环上。

实施例

本例的系统结构如图1所示，由心率传感器、信号处理电路；酒精传感器、信号处理电路；红外线摄像头、图像处理系统；计算机控制系统组成、比较装置；以及读卡器、GPRS/CDMA接口、记录仪组成。心率传感器安装在方向盘外环上，便于驾驶员握持。采集的心率数据通过信号处理电路，再输送到计算机控制系统中。如果采用非接触式心率采集方式(参见中国专利公开说明书《非接触式关键生理参数测量方法》，公开号CN101006915A，公开日2007.08.01)，心率传感器安装位置可以不受上述限制。酒精传感器安装在方向盘正前方，对驾驶员的呼出气体酒精含量进行采集，再输送到计算机控制系统中。红外线摄像头安装在驾驶员正前方，其摄录的图像经过图像处理系统后送入计算机控制系统进行分析处理和存储，得到驾驶员的脸部信息、额部位置信息。计算机控制系统对所有输入的信息进行融合，判断采集的驾驶员面部信息与读卡器读取的信息是否符合，防止代驾现象发生，若有代驾现象发生，计算机控制系统启动记录仪记录驾驶员信息，并驱动GPRS/CDMA接口发送到管理部门。如果判断所采集的驾驶员面部信息与存储的所有图像不相符合，可以判断发生了盗车现象，计算机控制系统启动记录仪记录盗车者图像，并驱动报警装置报警和传输盗车者的图像。通过酒精传感器，判断是否酒后驾车，若有酒后驾车，计算机控制系统启动记录仪，记录驾驶员信息，并驱动GPRS/CDMA接口发送信息到管理部门。计算机控制系统根据驾驶员心率，心率标准差、脸部信息、前额中心与红外线摄像头的距离、该距离标准差、驾驶员面部图像、读卡器读取的信息、驾驶时间等进行信息融合判断驾驶员是否疲劳驾驶，若疲劳驾驶，计算机控制系统启动报警装置对驾驶员进行提示，并启动记录仪记录驾驶员信息，驱动GPRS/CDMA接口发送信息到管理部门。本例信号处理流程如图2所示。本装置充分利用驾驶员的信息，可以推广到防盗、防疲劳、防违规驾驶监测。

本系统的驾驶员状态识别监控方法如下：

系统启动后，读卡器采集驾驶员的信息，该信息由现有的驾驶员IC卡提供。包括驾驶员的年龄、性别、驾龄、照片等信息，并把驾驶员信息通输送到计算机控制系统中；

安装在方向盘外环(把手)上的心率传感器采集驾驶员的心率信息，输送到计算机控制系统中；

酒精传感器对驾驶员呼出气体进行检测，检测信息经过处理后送到计算机控制系统中；

红外线摄像头对驾驶员脸部进行摄像，经过图像处理系统转换为数字信号，并送到计算机控制系统中作进一步处理；

计算机控制系统对所得到的信息进行融合与分析，判断所采集的驾驶员面部信息与读卡器提供的信息是否符合，防止代驾现象和盗车现象发生。

本发明的图像处理系统，先通过中值滤波器对图像进行预处理；通过自适应阈值分割法对图像进行分割；通过多尺度形态学对嘴、鼻、眼、额进行定位检测。

设R和Z分别代表实数集和整数集，给定一幅图像

和一个结构函数

并且定义结构函数g(x)对图像f(x)膨胀操作为：

$(f\⊕g)\left(x\right)=\underset{t\∈G\∩{\hat{D}}_x}{\max }\{f(x-t)+g\left(t\right)\}$

结构函数g(x)对图像f(x)的腐蚀操作为：

$\left(\mathrm{f\Θg}\right)\left(x\right)=\underset{t\∈G\∩D_x}{\min }\{f(x+t)-g\left(t\right)\}$

其中D_x＝{x+t：t∈D}，

max{f}和min{f}分别代表f的最大值和最小值，在离散的情况下函数为有限点集，因此使用的是最大值和最小值。通常膨胀腐蚀的结果与结构函数原点的选取有关，为了避免原点选取的影响，在这里我们规定：

$\begin{array}{cc}\underset{t\∈D}{\max }\left\{g\left(t\right)\right\}=0& g\left(0\right)=0\end{array}$

当结构函数为尺度相关时，也就是g_σ(x)＝|σ|g(|σ|^-1x)，x∈G_σ，σ≠0。其中σ为尺度因子，G_σ＝{x：|σ|^-1 x∈G}，||x||≤|σ|，常用的结构函数有以下几个：

平面结构函数：g_σ(x)＝0，x∈G，其中G＝{x：||x||≤|σ|}

半球结构函数：

$g_{\mathrm{\σ}}\left(x\right)=\left|\mathrm{\σ}\right|(\sqrt{1-{\left({\left|\mathrm{\σ}\right|}^{-1}\right|\left|x\right|\left|\right)}^2}-1),\left|\right|x\left|\right|\≤\left|\mathrm{\σ}\right|$

抛物面结构函数：

g_σ(x)＝-|σ|(||x||/|σ|)²，||x||≤|σ|

扩充区域，使之包含全部的头部区域A(包括大部分或者全部头发以及整个面部)，然后在区域A中用多阈值进行二值化并合并，在得到的二值图像B中用区域标号算法对不同的“白”连通区进行标号化，根据一定的先验知识找出由两个眼睛、鼻和嘴所形成的区域。在得到的L、R、N区域的二值图像B和二值化的边缘图像E中，利用四个区域的高频特性，这由于红外图像传感器通过温度差形成的图像采集原理决定的，四个区域的温度比周围温度存在温度差，分别形成两个眼睛的区域点集描述为：

从而得到两个眼睛、鼻和嘴区域的粗略点集，分别计算这四个区域点集的重心，以该重心为中心得到一些候选点，对每一个候选点P，在边缘图像上计算下述支持函数：

$S_p=\frac{1}{N}\underset{(x,y)\∈A}{\mathrm{\Σ}}{E}_{(x,y)}$

其中E为边缘图像，A为由半径范围R₁≤r≤R₂所决定的圆环区域，N为其中的点个数。分别取三个候选点集中具有最大支持函数的点作为L、R、N区域的中心点：

$\left\{\begin{array}{c}{P}_{\mathrm{LeftIris}}=\arg \left(\underset{p\∈{\mathrm{Rng}}_{\mathrm{left}}}{\mathrm{MAX}}{S}_p\right)\\ P_{\mathrm{RightIris}}=\arg \left(\underset{p\∈{\mathrm{Png}}_{\mathrm{Right}}}{\mathrm{MAX}}{S}_p\right)\\ P_{\mathrm{Nose}}=\arg \left(\underset{p\∈{\mathrm{Rng}}_{\mathrm{nose}}}{\mathrm{MAX}}{S}_p\right)\\ P_{\mathrm{mouth}}=\arg \left(\underset{p\∈{\mathrm{Rng}}_{\mathrm{mouth}}}{\mathrm{MAX}}{S}_p\right)\end{array}\right.$

这样就可以检测出眼睛、鼻和嘴区域在图像上的粗略位置，再估计前额区域中心点的位置P_forehead。计算机控制系统根据上述处理，可以计算出前额中心与参考点摄像头的距离l及其变化的标准差l_δ，通常情况下距离l为45cm，标准差l_δ为1.5。当实时采集的数据超过设定值(l＝45cm，l_δ＝1.5)时，计算机控制系统判断驾驶员处于疲劳状态，启动报警程序。

对心律数据的处理是，通过心率传感器采集驾驶员的心率，由于不同人在不同时间的心率基准各不相同(有的心率为60几次/s，有的心率为70几次/s)，为更好的反映被试心率的波动情况，可利用某时刻实际心率值X(t₀)减去某一时间段内心率的平均值X，得到心率在该时刻的波动值D_X(t₀)，即：

$D\_X\left(t\right)=X\left(t\right)-{\stackrel{\‾}{X}}_{\mathrm{\Δt}}$

可以计算出3种精神状态下心率的波动值序列D_X(t)：

正常状态时，被试的心率波动最大；

临界状态时，被试心率波动最小，几乎不变；

疲劳状态时，被试的心律波动较平缓，心率值有随时间增加而下降的趋势。

为了表示心率变化趋势的数学特征，可以通过求心率标准差来体现：

${\mathrm{\σ}}_x=\sqrt{\frac{1}{m}\underset{t=1}{\overset{t=m}{\mathrm{\Σ}}}{(X\left(t\right)-\stackrel{\‾}{X})}^2}=\sqrt{\frac{1}{m}\underset{t=1}{\overset{t=m}{\mathrm{\Σ}}}D\_H{\left(t\right)}^2}$

临界状态的心率的标准差明显小于其它两种精神状态其σ_x＜0.2，可以利用心率的标准差基本可以判别出临界状态，这作为判断驾驶员疲劳的一个因素。

在对驾驶员面部图像检测的四个区域中心，建立矢量关系模型{x，y，z，w}，这样使得在人脸旋转状态也能很好的特征提取，最后对{x，y，z，w}建立一组观测向量，o_i＝J(x_i，y_i，z_i，w_i)，采用隐马尔可夫模型得到人脸识别信息；再判断人脸识别信息与读卡器读取的驾驶员信息是否符合，防止代驾现象、盗车现象发生。

最后根据驾驶员心率，心率标准差、脸部信息、前额与参照点距离、距离标准差、驾驶员信息、驾驶时间等信息进行模糊神经网络信息融合判断驾驶员是否疲劳驾驶，若疲劳驾驶，计算机控制系统启动报警装置对驾驶员疲劳驾驶进行提示，并启动记录仪记录驾驶员信息、发送信息到管理部门。这里假设驾驶员在驾驶汽车的初始时段是正常的，这样在前十分钟内，模糊神经网络处于学习阶段并记忆驾驶员的状态，在十分钟之后模糊神经网络处于离线自学习，实现在线对驾驶员状态检测。

由于采用了模糊逻辑和神经网络技术，对输入到计算机控制系统的心律数据和图像数据进行综合处理，既可以对驾驶员疲劳状态进行判断，也可以对驾驶员的身份进行识别，本发明是一种机动车驾驶员综合监控系统。这些图像处理技术均有公开文献可以参考，在此不再赘述。采用标准差(包括心率标准差和前额中心点与红外线摄像头的距离标准差)可以剔除偶然误差的影响，提高判断的准确性。

Claims (6)

1.机动车驾驶员状态监控方法，包括以下步骤：

a.在驾驶员处于非疲劳状态的初始时段采集驾驶员生命活动特征数据；

b.记录步骤a采集的数据；

c.在初始时段之后开始实时采集驾驶员生命活动特征数据；

d.比较步骤c采集的数据与步骤b记录的数据，当步骤c采集的数据与步骤b记录的数据的比较结果超过设定值时，则认为驾驶员处于疲劳状态；

所述生命活动特征数据包括驾驶员的心率和心率标准差，以及驾驶员前额中心点与固定安装在驾驶员正前方的红外线摄像头的距离和距离标准差；

其中步骤a采集的数据与步骤c采集的数据，在时间差上相差至少10分钟。

2.机动车驾驶员状态监控系统，包括图像采集系统、心率采集系统、报警装置和计算机控制系统；

所述图像采集系统用于采集驾驶员面部图像，其组成包括固定安装的红外线摄像头和图像处理系统，所述红外线摄像头与图像处理系统连接，所述图像处理系统与计算机控制系统连接；

所述心率采集系统用于采集驾驶员心率数据，其组成包括顺序连接的心率传感器和第一信号处理电路，所述第一信号处理电路与计算机控制系统连接；

所述报警装置与计算机控制系统连接，根据计算机控制系统输出的报警触发信号，发出声光报警信息并向指定通信终端报告；

所述计算机控制系统对采集的心率数据进行处理计算出驾驶员的心率和心率标准差，对采集的驾驶员面部图像进行处理计算出驾驶员前额中心点与所述红外线摄像头的距离和距离标准差，并根据所述心率和心率标准差以及所述驾驶员前额中心点与所述红外线摄像头的距离和距离标准差进行模糊神经网络信息融合来判断驾驶员的疲劳状态，并输出判断结果对车辆进行控制。

3.根据权利要求2所述的机动车驾驶员状态监控系统，其特征在于，还包括酒精浓度探测系统，所述酒精浓度探测系统由顺序连接的酒精传感器和第二信号处理电路构成；所述酒精浓度探测系统与计算机控制系统连接，用于检测驾驶员呼出气体的酒精含量。

4.根据权利要求2所述的机动车驾驶员状态监控系统，其特征在于，还包括读卡器，所述读卡器与计算机控制系统连接，用于读取驾驶员识别卡的信息。

5.根据权利要求2所述的机动车驾驶员状态监控系统，其特征在于，所述心率传感器为非接触式心率传感器。

6.根据权利要求2、3、4或5所述的机动车驾驶员状态监控系统，其特征在于，所述红外线摄像头固定安装在驾驶员正前方，所述心率传感器安装在方向盘外环上。

Images