CN107330378A - 一种基于嵌入式图像处理的驾驶员行为检测系统 - Google Patents

Abstract

本发明公开了一种基于嵌入式图像处理的驾驶员行为检测系统，包括：主控模块、信息传输模块、功能模块、报警模块；信息传输模块包括图像视频传输单元和驾驶行为状态信号传输单元；功能模块包括图像预处理单元、图像视频存储单元、疲劳驾驶检测单元、盲视驾驶检测单元及违规驾驶检测单元；功能模块进行图像、视频处理和分析，并产生驾驶行为状态信号，报警模块分析驾驶行为状态信号进行危险程度评估，决定是否启动报警器并根据分析结果选择报警级别。有益效果：可对驾驶员多种行为和状态进行检测，检测范围广，适用性强，能够有效提醒驾驶员注意不良驾驶行为和驾驶状态，有效减少车祸的发生。

Description

一种基于嵌入式图像处理的驾驶员行为检测系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于嵌入式图像处理的驾驶员行为检测系统。

背景技术

目前公路交通上的疲劳检测系统已成为国内外研究热点，疲劳驾驶同样存在于长途列车驾驶员身上。随着机动车保有量的快速增加和高速公路的飞速发展，交通事故频频发生，给世界各国造成了巨大的财产损失和人员伤亡。如何减少交通事故已经成为世界性的难题。发生车祸的原因往往都是因为驾驶员的不规范驾驶和疲劳驾驶，现有的检测不规范驾驶和疲劳驾驶的技术往往检测精确度不够、检测范围有限、对不安全驾驶因素考虑不全面。

发明内容

本发明的目的在于克服上述技术不足，提出一种基于嵌入式图像处理的驾驶员行为检测系统，解决现有技术中的上述技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于嵌入式图像处理的驾驶员行为检测系统，包括：主控模块、信息传输模块、功能模块、报警模块；信息传输模块包括图像视频传输单元和驾驶行为状态信号传输单元；功能模块包括图像预处理单元、图像视频存储单元、疲劳驾驶检测单元、盲视驾驶检测单元及违规驾驶检测单元；主控模块连接各个模块和单元并协调各个模块和单元之间的通信，图像视频传输单元读取红外摄像头拍摄的图像和视频并传输给功能模块，功能模块进行图像、视频处理和分析，并产生驾驶行为状态信号，驾驶行为状态信号传输单元接收功能模块产生的驾驶行为状态信号并传输给报警模块，报警模块分析驾驶行为状态信号进行危险程度评估，决定是否启动报警器并根据分析结果选择报警级别，且上传有关图像、视频到服务器。

与现有技术相比，本发明的有益效果包括：可以进行眨眼检测、眯眼闭眼检测、打哈欠检测、视线偏离检测、扭头低头检测、身体倒卧转移检测、方向盘脱手检测、安全带检测、打电话检测，即可对驾驶员多种行为和状态进行检测，检测范围广，在不同光照条件下均可以检测，适用性强，能够有效提醒驾驶员注意不良驾驶行为和驾驶状态，有效减少车祸的发生。

附图说明

图1是本发明提供的基于嵌入式图像处理的驾驶员行为检测系统的外部硬件构架图；

图2是本发明提供的基于嵌入式图像处理的驾驶员行为检测系统的系统结构图；

图3是基本预处理操作流程图；

图4是KCF人脸跟踪算法流程图；

图5是主动形状模型ASM算法流程图；

图6是特征点定位的形状回归算法整体流程图；

图7是扭头低头检测算法流程图；

图8是身体倒卧转移检测算法流程图；

图9是打电话检测算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于嵌入式图像处理的驾驶员行为检测系统，其外部硬件设施为：红外摄像头、嵌入式处理器、用户按键、报警装置及存储器，其中，红外摄像头、用户按键、报警装置及存储器均和嵌入式处理器连接，红外摄像头获取相关的人脸、方向盘图像或视频信息，将图像或视频信息传输到嵌入式处理器上，嵌入式处理器通过对应的算法对图像或视频进行处理和分析，得出驾驶员当前的行为状态，对驾驶员的违规驾驶、盲视驾驶、疲劳驾驶状态通过报警装置给出相应的警告信号提醒驾驶员，报警装置在驾驶员没有违规驾驶、盲视驾驶、疲劳驾驶等状态时会停止报警。

本发明提供一种基于嵌入式图像处理的驾驶员行为检测系统，包括：主控模块、信息传输模块、功能模块、报警模块；信息传输模块包括图像视频传输单元和驾驶行为状态信号传输单元；功能模块包括图像预处理单元、图像视频存储单元、疲劳驾驶检测单元、盲视驾驶检测单元及违规驾驶检测单元；主控模块连接各个模块和单元并协调各个模块和单元之间的通信，图像视频传输单元读取红外摄像头拍摄的图像和视频并传输给功能模块，功能模块进行图像、视频处理和分析，并产生驾驶行为状态信号，驾驶行为状态信号传输单元接收功能模块产生的驾驶行为状态信号并传输给报警模块，报警模块分析驾驶行为状态信号进行危险程度评估，决定是否启动报警器并根据分析结果选择报警级别，且上传有关图像、视频到服务器。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，图像预处理单元进行图像视频采集、基本预处理、人脸检测、人脸跟踪、人脸特征点定位的预处理操作；基本预处理的操作包括：尺度变换、图像灰度化、图像滤波、图像增强、图像二值化、图像边缘检测；人脸检测的步骤为：利用V-J人脸检测方法，对输入功能模块的图像进行人脸循环检测，获取所有疑似人脸所在位置的矩形框；人脸跟踪的步骤为：采用KCF跟踪算法，在获取输入功能模块的第一帧图像的人脸检测结果时，训练分类器，将后续每一帧图像与该分类器进行卷积，产生的最大响应值即为人脸跟踪结果；人脸特征点定位的步骤为：利用主动形状模型ASM算法或形状回归算法进行人脸特征点定位。

基本预处理的操作具体为：对图像/视频采集模块输出的每一帧图像进行各种预处理，使得后续的功能算法处理更实时、准确。尺度变换可以减小图片的分辨率，加快后续算法处理的速度；图像增强可以调整图像灰度分布，达到改善图像对比度的目的；灰度变换将三通道图像变换为单通道，加快后续算法处理速度；图像滤波对图像进行降噪处理，减少噪声信息对处理算法干扰；图像二值化获取图像的前/背景信息，增强对目标区域的描述；边缘检测获取图像目标的轮廓信息，增强对目标形状的描述。

人脸检测的步骤具体为：采用V-J人脸检测方法，在输入图像上进行人脸循环检测，并返回所有疑似人脸所在位置的矩形框。为后续的人脸特征点定位算法提供人脸区域；为人脸跟踪算法提供初始跟踪区域并对其进行定期矫正；为驾驶员躯干区域的定位提供人脸定位参考信息。

V-J算法描述：V-J人脸检测方法在AdaBoost分类器的基础上，使用了Haar-like小波特征和积分图方法。AdaBoost为级联分类器，每级都以大概相同的识别率保留进入下一级的具有人脸特征的候选框，而每一级的子分类器则由许多Haar特征构成(由积分图像计算得到，并保存位置)，有水平的、竖直的、倾斜的，并且每个特征带一个阈值和两个分支值，而每级子分类器带一个总的阈值。检测人脸的时候，同样计算积分图像，为后面计算Haar特征做准备，然后采用与训练的时候有人脸的窗口同样大小的窗口遍历整幅图像，以后逐渐放大窗口，同样做遍历搜索人脸；每当窗口移动到一个位置，即计算该窗口内的Haar特征，加权后与分类器中Haar特征的阈值比较从而选择左或者右分支值，累加一个级的分支值与相应级的阈值比较，大于该阈值才可以通过进入下一轮筛选。当通过分类器所有级的时候说明该候选框很有可能存在人脸。

人脸跟踪的步骤具体为：人脸跟踪是人脸检测的补充，能够有效消除人脸检测的抖动，以及提高人脸检测的速度。人脸跟踪是在获得初始人脸检测结果的基础上，对后续的图像进行人脸区域跟踪。为后续的人脸特征点定位算法提供人脸区域及提供人脸(头部)完整的运动轨迹。

人脸跟踪的算法描述：采用KCF跟踪算法。KCF是一种快速高效的跟踪算法，其在提取人脸HOG特征的基础上，利用相关滤波器的原理实现跟踪。算法首先提取人脸的HOG特征，在跟踪的第一帧训练分类器，将后续每一帧图像与此分类器进行卷积，得到的最大响应值即为跟踪结果，最后进行分类器更新。同时，为了解决在人脸跟踪的过程中产生的漂移问题，将采用人脸检测与人脸跟踪相结合的方式，当跟踪效果低于阈值时，进行脸部与身体状态的判断，并且同时每五帧进行人脸的重新定位。

人脸特征点定位：在人脸检测的基础上，通过提前训练好的模型，进一步确定脸部特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置，根据特征点的检测情况，进一步判断人脸检测结果的可靠性；通过眼睛和嘴巴的特征点坐标，可得到眼睛和嘴巴的粗定位信息；根据脸部特征点之间的相对位置关系，可估计面部视线方向。

人脸特征点定位的算法描述：

1、主动形状模型ASM算法：

ASM算法是一种基于统计模型的图像搜索方法，通过对具有一定代表性的同一类目标物体图像进行统计，从而得到反应目标物体图像二维形状变化规律的形状统计模型，以及反映特征点局部区域的灰度变化规律的局部纹理模型。在目标搜索过程中利用先验知识进行模型初始定位，然后利用局部纹理模型进行特征点搜索，并利用形状模型对形状进行拟合。ASM算法分为训练和搜索两步。训练时，建立各个特征点的位置约束，构建各个特征点的局部特征。搜索时，迭代匹配。第一步：训练。首先构建形状模型；接着，为每个特征点构建局部特征。目的是在每次迭代搜索过程中每个特征点可以寻找新的位置。局部特征一般用梯度特征，以防光照变化。有的方法沿着边缘的法线方向提取，有的方法在特征点附近的矩形区域提取。第二步：搜索。首先计算眼睛(或者眼睛和嘴巴)的位置，做简单的尺度和旋转变化，对齐人脸；接着在对齐后的各个点附近搜索，匹配每个局部特征点(常采用马氏距离)，得到初步形状；再用平均人脸(形状模型)修正匹配结果；迭代直到收敛。另外，常采用多尺度的方法加速。搜索的过程最终收敛到高分辨率的原图像上。

2、形状回归算法：

人脸的纹理特征和各个特征点之间的位置约束相结合。采用基于LBF纹理特征结合机器学习算法-随机森林算法，设计形状回归算法对人脸特征点进行定位。人脸特征点定位分为两个阶段：1)离线学习即训练模型；2)在线匹配即测试模型。

形状回归算法具体步骤如下：

S21、准备训练样本：样本包括人脸样本库以及对应的人脸样本库标注文件groundTruth；

S22、预处理训练样本：对样本图像进行预处理操作，其中包括(灰度化，图像增强，人脸检测)，图像裁剪(加快训练速度)；

S23、对样本进行坐标变换，构建平均形状模型：考虑到样本图片之间人脸是各式各样的，受到光照、姿势等各方面的影响，因此在获取平均形状时，应该在一个相对统一的框架下求取，对训练样本进行坐标变换之后，对所有特征点求取平均值获得平均形状模型；

S24、设置训练模型参数，包括提取局部二值特征的随机森林参数(随机树个数，随机树深度等)和用于形状的全局线性回归相关参数(回归阶段次数，形状残差等)；

S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新，具体为：

首先，训练随机森林，获得特征映射函数Φ^t(I,S^t-1)，提取局部二值特征；

然后采用ΔS^t＝W^tΦ^t(I,S^t-1)对形状进行全局线性回归，对形状进行更新，其中，ΔS^t＝S^gt-S^t为第t个阶段的残差，W为线性回归矩阵，I为样本图像；

S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，疲劳驾驶检测单元进行眨眼检测操作、眯眼闭眼检测操作；眨眼检测操作的步骤为：对图像进行图像预处理单元的预处理操作，提取人脸跟踪获取的眼部区域，该眼部区域是包含眼睛的感兴趣区域，对该感兴趣区域作预处理，对预处理后的感兴趣区域进行平均灰度阈值二值化，并拟合出眼睛的精确位置，使用垂直投影判断是否眨眼并计算眨眼频率；眯眼闭眼检测的步骤为：进行眨眼检测操作，并统计持续眨眼的时间，若超过设定阈值则判断为闭眼。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，疲劳驾驶检测单元还进行打哈欠检测操作，打哈欠检测的步骤为：对图像进行图像预处理单元的预处理操作，定位人脸特征点，获取嘴部位置和图像，对嘴部图像进行轮廓分析，计算嘴部的张开度和持续张开时间以此判断驾驶员是否打哈欠。

眨眼检测的步骤具体为：首先提取跟踪到的眼部大致区域，该区域是包含眼睛的一个大的感兴趣区域，对该感兴趣区域作适当的裁剪和尺寸放大等预处理。对预处理后的眼睛区域进行平均灰度阈值二值化，并使用findContours和boundingRect函数拟合出眼睛的精确位置，在该精确位置内使用垂直投影来判断是否眨眼。

眨眼检测的算法描述：首先提取跟踪到的眼睛大致区域，该区域是包含眼睛的一个大的感兴趣区域，为了避免光照不均匀对后续算法带来的干扰，可以先对感兴趣区域进行适当的裁剪。由于左眼的左侧和右眼的右侧容易带来光照的影响，所以左右眼在裁剪时要区别对待。又由于有些人的眉毛和眼睛隔的很近，二值化后可能会形成联通域，影响眼睛的分割，所以对裁剪完的图像要进行尺寸放大，放大两倍后基本可以消除联通域，准确将眼睛和眉毛区分开。以上预处理完成后对最后的左眼和右眼图像使用平均灰度阈值进行二值化，二值化后眉毛和眼睛变成白色，其余部分是黑色，然后使用findContours函数查找白色区域的轮廓，并通过几何关系，上面的轮廓是眉毛，下面的轮廓是眼睛。找到轮廓后，利用boundingRect函数可以用矩形拟合出该轮廓，提取该矩形就是眼睛的精确位置。在眼睛的精确位置内使用垂直投影来判断是否眨眼，垂直投影计算的是眼睛区域二值化后每一列黑色像素的个数。由于睁眼和闭眼时眼睛区域内黑色像素的分布有很大区别，做垂直投影可以很直观的反应出来，再通过适当的判断语句就可以准确的检测出眨眼。

打哈欠检测的步骤具体为：为了避免特征点定位过程中出现特征点定位不够准确的情况，在特征点定位的基础上，对嘴部区域分别向上向下扩展15个像素的距离，以此作为嘴部粗定位区域，为了进一步确定嘴部的区域，并能实现嘴部运动情况的分析，就需要对其进行精定位，对于白天情况下，采用灰度信息进行嘴部精定位容易受光照变化影响，而人嘴唇颜色与肤色差异又相对来说较大，因此利用基于YIQ表色系统的唇色进行嘴巴精定位检测，进而通过嘴巴张开情况判断打哈欠状态；对于夜晚，由于是在红外环境下进行图像采集因此不存在光照变化的影响，在嘴部张开时候，嘴部内部灰度值与外面相比差异较大，因此对粗定位区域进行一些预处理(包括增强、滤波等)和自适应阈值分割，再选取合适的策略进行轮廓检测，就可以获得嘴部的准确位置和形状，进而判断是否打哈欠。

打哈欠检测的算法描述：由人脸特征点定位算法所得到的77个特征点中，59-76表示嘴巴的外轮廓。我们用其中的四个点(左右嘴角以及上下嘴唇中心)确定嘴巴区域的矩形框，并在该区域基础之上分别向上向下扩展15个像素。在白天的情况下，采用YIQ表色系统进行唇色阈值分割，YIQ表色系统中，唇色的最佳阈值分别为Y∈[80，220]，I∈[12，78]，Q∈[7，25]，处理后的二值化图像中嘴唇以及口腔内部为白色，其余部分为黑色；在夜晚的情况下，在嘴部张开时候，嘴部内部灰度值与外面相比差异较大，因此对粗定位区域进行一些预处理(包括增强、滤波等)和最大阈值分割，接着对分割后的口腔区域进行最小二乘法椭圆拟合。最能准确描述嘴部的运动情况的就是嘴部宽高比的变化，人在不说话的时候嘴部宽高比的变化很小，基本上保持不变；而在与人说话或者打哈欠的时候，当前帧图像嘴部宽高比与前一帧图像的宽高比是不断的在发生变化的。在经过上述处理之后，就可以实时检测嘴部运动情况，从而就可以非常准确的获得嘴部宽高比的变化，进而确定嘴部的运动情况，比如说话或者打哈欠。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，盲视驾驶检测单元进行视线偏离检测、扭头低头检测操作；视线偏离检测的步骤为：对图像进行图像预处理单元的预处理操作，获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，定义视线参数为眼部轮廓特征点质心到耳部特征点距离的比值，根据图像中视线参数值与视线参数的初始化值判断视线是否偏离；扭头低头检测的步骤为：基于人脸检测和人脸跟踪，结合运动检测定位头部区域，再结合视线偏离检测获取的视线偏移结果判断驾驶员是否有扭头低头动作。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，盲视驾驶检测单元还进行身体倒卧转移检测操作，身体倒卧转移检测的步骤为：对图像进行图像预处理单元的预处理操作，检测出人脸和身体区域，将人脸和身体区域作为整体进行椭圆拟合，由椭圆长短轴、圆心位置、偏转角信息判断身体倒卧转移情况。

视线偏离检测的步骤具体为：在能检测到人脸的基础上初始化前300帧，用来获得左眼部附近所有特征点的质心到左耳朵处的特征点的距离l₁与右眼部附近所有特征点的质心到右耳朵处的特征点的距离l₂的比值平均值；300帧之后，每次都计算此时上述人脸特征点的距离比值，将该比值与初始化得到的平均值进行比较，若比值大于2.0认为是向右偏转；若比值小于0.5则认为是向左偏转。

视线偏离检测的算法描述：通过大量左右头部运动测试发现，向右运动时，左眼部附近所有特征点的质心到左耳朵处的特征点的距离l1要比右眼部附近所有特征点的质心到右耳朵处的特征点的距离l2大得多，因此就以此两者距离的比值l1/l2作为左右面部朝向判断的依据。实验测试发现左右偏转15度左右时，两者的比值为2.0左右和0.5左右。通过实时检测出该比值，从而通过比值的大小判断出视线朝向。

扭头低头检测的步骤具体为：基于人脸检测和人脸跟踪，结合运动检测定位头部区域。再结合视线偏离检测模块中的面部朝向信息判断驾驶员是否有扭头低头动作。定位人脸(头部)区域；记录头部的运动轨迹；结合头部运动和视线偏离检测模块中的面部朝向信息，综合判断扭头低头动作。

身体倒卧转移检测的步骤具体为：从图像中将人体所在区域从背景图像中提取出来。在背景建模的基础上，将图像转化为二值图，较为完整的分割出运动前景。然后，根据已经识别出的人脸区域，默认人脸以下的运动前景为身体区域。将人脸和身体区域作为整体进行椭圆拟合。通过背景建模得到运动前景的二值图；基于人脸检测以及人体拓扑结构确定人脸和身体区域；将人脸和身体区域作为整体进行椭圆拟合，由椭圆长短轴、圆心位置、偏转角等信息判断身体倒卧转移情况。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，违规驾驶检测单元进行方向盘脱手检测操作，方向盘脱手检测步骤为：对图像进行图像预处理单元的预处理操作，通过hough椭圆检测出方向盘位置，结合灰度信息和肤色信息准确检测方向盘上划分的单一感兴趣区域是否存在手，从而判断全方向盘上是否存在操作手。

方向盘脱手检测的算法具体为：

S1、采集一帧方向盘图像，使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线，并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点；

S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片，第一图片的全部范围为感兴趣区域，对感兴趣区域进行预处理；

S3、获取一个单一感兴趣区域，单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点，然后以选取的点为中心，截取大小为size，角度为0的矩形作为单一感兴趣区域，size的大小根据感兴趣区域大小自适应变化；

S4、获取S3中获取的单一感兴趣区域的二值化图像，将该二值化图像表示在二维坐标系中并向X轴方向投影，得到该二值化图像每一列的灰度值为255的像素点数A，寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L，该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1，T1根据size自适应变化；

S5、对S3获取的单一感兴趣区域进行肤色检测，获取该单一感兴趣区域的二值化图像，二值化图像中手部肤色灰度值为255，识别椭圆线检测点落在该单一感兴趣区域的点集，检测点集中的点的灰度值为255的个数N；

S6、当L>第二阈值T2且N>第三阈值T3时，判断S3获取的单一感兴趣区域存在操作手，否则，判断S3获取的单一感兴趣区域不存在操作手，T2、T3根据size自适应变化；

S7、循环执行S3-S6步骤，以S3获取的单一感兴趣区域的中心点为起始点，以1°为步长按照顺时针方向逐个获取单一感兴趣区域，判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手；

S8、判断存在操作手的单一感兴趣区域是否连续，计算连续的存在操作手的单一感兴趣区域的个数B，当B>第四阈值T4时，判断S1中采集的一帧方向盘图像中存在操作手，否则，判断S1中采集的一帧方向盘图像中不存在操作手，单一感兴趣区域的中心点是椭圆线检测点，如果若干单一感兴趣区域的中心点是在椭圆线上连续的点，则判断各单一感兴趣区域连续；

S9、循环执行步骤S1-S8，采集设定帧数的方向盘图像，综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，违规驾驶检测单元还进行安全带检测操作，安全带检测步骤为：对图像进行图像预处理单元的预处理操作，对输入功能单元的图像进行hough线段检测，对检测出的线段进行筛选，检测是否存在符合条件的线段从而判断驾驶员是否系有安全带。

安全带检测步骤和算法描述：检测图像中是否存在安全带直线。对图像进行hough直线检测；对检测出的图像进行筛选，检测是否存在安全带直线。

(1)hough检测直线：输入为预处理后的图像，输出为lineSegments。

对图像进行hough直线检测，检测到的所有直线信息存储在容器lineSegments中，lineSegments中存储了检测到的线段的两个端点的坐标。

(2)安全带检测：输入为lineSegments，输出为标识flag_safetybelt。

对检测到的线段进行筛选，通过线段的两个端点坐标计算线段的长度和角度，并且根据身体躺卧接口得到的身体矩形框这一参数，筛选出在身体框内的线段，再根据安全带的角度特征和长度特征，检测是否存在符合条件的安全带直线，若存在，则认为驾驶者系有安全带，flag_safetybelt＝1；若不存在，则认为驾驶者没有系安全带，flag_safetybelt＝0。

本发明所述的基于嵌入式图像处理的驾驶员行为检测系统，违规驾驶检测单元还进行打电话检测操作，打电话检测的步骤为：对图像进行图像预处理单元的预处理操作，通过背景建模得到运动前景的二值图，定位打电话检测区域，检测抬手、放手动作，检测手在打电话区域的持续时间并判断驾驶员是否在打电话。

打电话检测的步骤具体为：(1)通过背景建模得到运动前景的二值图；(2)定位打电话检测区域；(3)检测抬手、放手动作；(4)检测手在打电话区域的持续时间；(5)判断是否在打电话。即：首先使用人脸检测与人脸跟踪算法进行人脸检测及面部区域定位，根据已定位出的面部区域位置及尺寸定位出耳部图像区域；将脸部两侧与耳部相邻的区域定位为检测区域。将脸部区域扩展至检测区域，提取人脸扩展区域内所含手部所占比例的特征。结合方向盘脱手检测模块的检测结果，判断驾驶员是否在打电话。

与现有技术相比，本发明的有益效果包括：可以进行眨眼检测、眯眼闭眼检测、打哈欠检测、视线偏离检测、扭头低头检测、身体倒卧转移检测、方向盘脱手检测、安全带检测、打电话检测，即可对驾驶员多种行为和状态进行检测，检测范围广，在不同光照条件下均可以检测，适用性强，能够有效提醒驾驶员注意不良驾驶行为和驾驶状态，有效减少车祸的发生，且算法效率、准确率高。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，包括：主控模块、信息传输模块、功能模块、报警模块；所述信息传输模块包括图像视频传输单元和驾驶行为状态信号传输单元；所述功能模块包括图像预处理单元、图像视频存储单元、疲劳驾驶检测单元、盲视驾驶检测单元及违规驾驶检测单元；所述主控模块连接各个模块和单元并协调各个模块和单元之间的通信，所述图像视频传输单元读取红外摄像头拍摄的图像和视频并传输给功能模块，所述功能模块进行图像、视频处理和分析，并产生驾驶行为状态信号，驾驶行为状态信号传输单元接收功能模块产生的驾驶行为状态信号并传输给报警模块，所述报警模块分析驾驶行为状态信号进行危险程度评估，决定是否启动报警器并根据分析结果选择报警级别，且上传有关图像、视频到服务器。

2.如权利要求1所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述图像预处理单元进行图像视频采集、基本预处理、人脸检测、人脸跟踪、人脸特征点定位的预处理操作；基本预处理的操作包括：尺度变换、图像灰度化、图像滤波、图像增强、图像二值化、图像边缘检测；人脸检测的步骤为：利用V-J人脸检测方法，对输入功能模块的图像进行人脸循环检测，获取所有疑似人脸所在位置的矩形框；人脸跟踪的步骤为：采用KCF跟踪算法，在获取输入功能模块的第一帧图像的人脸检测结果时，训练分类器，将后续每一帧图像与该分类器进行卷积，产生的最大响应值即为人脸跟踪结果；人脸特征点定位的步骤为：利用主动形状模型ASM算法或形状回归算法进行人脸特征点定位。

3.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述疲劳驾驶检测单元进行眨眼检测操作、眯眼闭眼检测操作；眨眼检测操作的步骤为：对图像进行图像预处理单元的预处理操作，提取人脸跟踪获取的眼部区域，该眼部区域是包含眼睛的感兴趣区域，对该感兴趣区域作预处理，对预处理后的感兴趣区域进行平均灰度阈值二值化，并拟合出眼睛的精确位置，使用垂直投影判断是否眨眼并计算眨眼频率；眯眼闭眼检测的步骤为：进行眨眼检测操作，并统计持续眨眼的时间，若超过设定阈值则判断为闭眼。

4.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述疲劳驾驶检测单元还进行打哈欠检测操作，打哈欠检测的步骤为：对图像进行图像预处理单元的预处理操作，定位人脸特征点，获取嘴部位置和图像，对嘴部图像进行轮廓分析，计算嘴部的张开度和持续张开时间以此判断驾驶员是否打哈欠。

5.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述盲视驾驶检测单元进行视线偏离检测、扭头低头检测操作；视线偏离检测的步骤为：对图像进行图像预处理单元的预处理操作，获取所有眼部轮廓特征点位置信息以及特定的耳部特征点位置信息，定义视线参数为眼部轮廓特征点质心到耳部特征点距离的比值，根据图像中视线参数值与视线参数的初始化值判断视线是否偏离；扭头低头检测的步骤为：基于人脸检测和人脸跟踪，结合运动检测定位头部区域，再结合视线偏离检测获取的视线偏移结果判断驾驶员是否有扭头低头动作。

6.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述盲视驾驶检测单元还进行身体倒卧转移检测操作，身体倒卧转移检测的步骤为：对图像进行图像预处理单元的预处理操作，检测出人脸和身体区域，将人脸和身体区域作为整体进行椭圆拟合，由椭圆长短轴、圆心位置、偏转角信息判断身体倒卧转移情况。

7.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述违规驾驶检测单元进行方向盘脱手检测操作，方向盘脱手检测步骤为：对图像进行图像预处理单元的预处理操作，通过hough椭圆检测出方向盘位置，结合灰度信息和肤色信息准确检测方向盘上划分的单一感兴趣区域是否存在手，从而判断全方向盘上是否存在操作手。

8.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述违规驾驶检测单元还进行安全带检测操作，安全带检测步骤为：对图像进行图像预处理单元的预处理操作，对输入功能单元的图像进行hough线段检测，对检测出的线段进行筛选，检测是否存在符合条件的线段从而判断驾驶员是否系有安全带。

9.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，所述违规驾驶检测单元还进行打电话检测操作，打电话检测的步骤为：对图像进行图像预处理单元的预处理操作，通过背景建模得到运动前景的二值图，定位打电话检测区域，检测抬手、放手动作，检测手在打电话区域的持续时间并判断驾驶员是否在打电话。

10.如权利要求2所述的基于嵌入式图像处理的驾驶员行为检测系统，其特征在于，形状回归算法进行人脸特征点定位的步骤为：首先准备训练样本，预处理训练样本，对样本进行坐标变换，构建平均形状模型，设置训练模型参数，然后进行模型训练：训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；判断回归次数是否达到预设次数，如果没有达到预设次数，则重复进行模型训练，如果达到预设次数，则保存模型。