CN106650635A - 一种驾驶员后视镜查看行为检测方法及系统 - Google Patents

Abstract

一种驾驶员后视镜查看行为检测方法及系统，以车载视频系统采集驾驶室图像，以驾驶员脸、颈可见皮肤区域共同作为图像分析处理对象，设定算法来自适应学习及跟踪识别脸颈可见皮肤区域，提取脸颈可见皮肤外轮廓，以脸颈可见皮肤外轮廓的颈部最低点为基点，过该基点的垂直线将脸颈可见皮肤外轮廓划分为左右两部分，定义左右两部分面积比为特征参数，获得此特征参数的基准特征值，通过当前特征参数与基准特征值的数值关系并结合凝视阈值和持续时间阈值来判定是否存在后视镜查看行为。本发明结构简单，检测方法具有较高的准确率、良好的自适应学习能力和抗干扰能力，且检测效率高，能够满足车辆快速行驶期间的后视镜查看行为的实时检测和提醒要求。

Description

一种驾驶员后视镜查看行为检测方法及系统

技术领域

本发明涉及车辆安全技术领域，更具体地，涉及一种能够在车辆转弯、并线、变更车道等转向操控过程中自动检测驾驶员是否有效查看了后视镜，并据此做出相应提醒的方法和系统。

背景技术

随着机动车保有量的迅速增加，交通事故发生率居高不下，交通安全已成为普遍被关注的问题。统计数据表明，25％～30％的交通事故与驾驶员的注意力状态直接相关，其中车辆转弯、并线、变更车道等转向操控过程是交通事故的主要发生场合之一，尤其常见于驾驶员未注意车辆转向侧后方交通信息的情况。后视镜查看行为的实时检测和必要提醒是降低此类交通事故发生概率的可探索路径，其研究对于以中国为代表的混合交通环境居多、交通参与者类型多元化的发展中国家而言尤其具有现实意义。

目前，车载视觉与图像处理技术是当前驾驶员后视镜查看行为检测研究的主要实现方案，其优点是无需驾驶员刻意配合且不易干扰驾驶员。在现有研究和技术应用中，驾驶员头部姿态的识别是其中的关键，主要基于人脸模板、脸部细节特征和脸部轮廓特征等方法来估计姿态参数。由于应用了人脸模型和/或细节特征，算法相对复杂易导致车辆高速行驶时检测实时性不足。仅针对脸部轮廓的方法虽然降低了细节信息表达能力，使算法实时性获得改善，但脸部几何特征定义时定位基准的选择往往容易受干扰。此外，这些情况在自适应学习能力方面有所欠缺，大都需要依赖预先设置的与各驾驶员紧密相关的模板或特征参数，但当驾驶员脸型改变(如更换驾驶员时)或脸部细节变化较大(如佩戴物遮挡时)或成像角度改变时(如调整座椅时)检测准确率可能受影响。

CN201110394497.6公开了一种“基于模式识别的安全驾驶监控系统和方法”，该方法提及了通过面部肤色检测方法对驾驶员的脸进行定位和分割，但最终还是为了进行脸部特征的提取，同样存在实时性差、易受干扰等缺陷。

由此可见，研究一种具有自适应学习能力的、实时性强的和良好抗干扰能力的驾驶员后视镜查看行为检测与提醒方法很有必要。

发明内容

本发明所要解决的技术问题在于提供一种驾驶员后视镜查看行为检测方法及系统，其选用特殊的图像分析处理对象，采用变化不大的基准点，可达到自适应学习能力强、实时性强和抗干扰能力强的目的。

为解决上述技术问题，本发明的技术解决方案是：

一种驾驶员后视镜查看行为检测方法及系统，以车载视频系统按时间间隔T实时连续逐帧采集驾驶室图像，以驾驶员脸部和颈部的可见皮肤区域共同作为图像分析处理对象，设定计算法来自适应学习以及跟踪识别驾驶员脸颈可见皮肤区域，提取驾驶员脸颈可见皮肤外轮廓，以脸颈可见皮肤外轮廓的颈部最低点为基点，过该基点的垂直线将脸颈可见皮肤外轮廓划分为左右两部分，定义左右两部分面积比为特征参数，获得此特征参数的基准特征值，通过当前特征参数与基准特征值的数值关系并结合凝视阈值和持续时间阈值来判定是否存在后视镜查看行为。

优选地，在车辆启动期间采用图像帧差搜索算法自适应学习识别驾驶员初始的脸颈可见皮肤区域。

优选地，在车辆行驶期间基于前帧图像的驾驶员脸颈可见皮肤区域采用胀缩法识别跟踪当前脸颈可见皮肤区域。

优选地，利用所述特征参数在后视镜查看行为过程中的累积概率局部峰值分布规律来估计基准特征值。

一种驾驶员后视镜查看行为检测方法，具体包括如下步骤：

步骤一：当车辆启动时，利用图像帧差搜索算法自适应识别驾驶员初始的脸颈可见皮肤区域并计算该区域内脸颈皮肤初始灰度均值；

步骤二：在车辆行驶期间，驾驶室视频系统每当采样一帧新图像，基于前帧图像的驾驶员脸颈可见皮肤区域定位矩形采用胀缩法快速识别当前脸颈可见皮肤区域，同时完成当前脸颈皮肤灰度均值估算；如果此时车辆未转向，则系统处于脸颈区域动态跟踪状态，并重复步骤二；否则继续步骤三；

步骤三：在当前图像的脸颈识别定位区域内部计算轮廓特征参数；

步骤四：根据脸颈可见皮肤外轮廓特征参数的累积概率计算局部峰值估计轮廓基准特征值；

步骤五：根据当前轮廓特征参数和基准特征值的数值关系计算凝视系数，根据凝视阈值条件统计驾驶员观察后视镜状态的持续时间，进一步根据持续时间阈值条件判定驾驶员是否实施了有效的后视镜查看行为。

优选地，当判定驾驶员有效的后视镜查看行为存在时，利用此次查看过程中的所有特征参数更新累积分布概率。

优选地，驾驶员初始脸颈可见皮肤区域识别方法如下：

第一步：帧差源图像搜索并做差分；即在初始学习图像中搜索两张图像P₀₁和P₀₂，这两张图像的驾驶员头部姿态具有显著差异而手部姿态差异不明显，并对该两帧图像做差分，获得帧差结果；

第二步：帧差结果二值化；记二值化结果图像为B₀，即：

其中b₀(i,j)表示图像B₀的第i行第j列的像素点，ξ为二值化阈值；

第三步：细小斑点和纤细物去除；即去除图像B₀的细小斑点和纤细物，获得图像A₀；

第四步：脸颈可见皮肤区域定位；计算图像A₀的外接矩形R₀₁，其在帧差源图像中将包围驾驶员脸部，将矩形R₀₁高度向下延伸一定倍数为矩形R₀₂，R₀₂将同时包围驾驶员脸部和颈部，定义R₀₂为驾驶员脸颈感兴趣区域，即获得所述的脸颈可见皮肤区域；

第五步：脸颈皮肤灰度均值计算；计算感兴趣区域R₀₂的ε跨度灰度直方图，即分别统计灰度值位于区间的像素比例，直方图中具有两个峰值分别对应驾驶员的毛发灰度峰值或脸颈皮肤灰度峰值，根据实际情况选定皮肤灰度峰值g₀，并计算[g₀-ε,g₀+ε]间的像素灰度均值可得脸颈皮肤灰度均值

第六步：初始脸颈可见皮肤区域识别定位；根据在R₀₂内部做双边阈值过滤并二值化，可得驾驶员的脸颈皮肤粗糙图像H₀′：

其中：h′₀(i,j)表示图像H′₀的第i行第j列的像素点，H′₀重复第三步处理，滤除干扰获得脸颈皮肤图像H₀，其外接矩形R₀即为帧差源图像P₀₁中的脸颈可见皮肤区域，即初始的脸颈可见皮肤区域。

优选地，帧差源图像的具体搜索过程为：

将车辆启动期间所采集的图像集中的任意两帧图像P_u和P_v做差分，记帧差结果为D：

D(i,j)＝|P_u(i,j)-P_v(i,j)| (1)

式(1)中i和j分别是像素的行和列；将D水平分割为D₁和D₂上下两部分，分割比例为γ；计算D₁和D₂的像素灰度累积比ω：

式(2)中，d(i,j)表示图像D的第i行第j列的像素点，W和H分别为图像D的宽度和高度；

给定判定系数Ω，如果ω≥Ω则D₁蕴含的时间梯度信息显著大于D₂，即头部姿态变化显著大于手部姿态变化，将P_u和P_v作为帧差源图像P₀₁和P₀₂，搜索完成；否则继续随机帧差搜索；如果任意两帧图像差分后仍不满足ω≥Ω，则取ω最大值时的两帧图像为帧差源图像；记此时图像帧差结果为D₀，D₀＝|P₀₁-P₀₂|。

优选地，驾驶员脸颈可见皮肤区域域胀缩识别方法如下：

每隔T时间采集一帧图像，记第k次采样图像为P_k、驾驶员脸颈区域为R_k、脸颈皮肤灰度均值为k≥1，P₀＝P₀₁为初始条件，初始参数R₀和在车辆启动时根据帧差算法求得；

第一步：脸颈感兴趣区域定位；以R_k-1的中心(x_k-1,y_k-1)为基点，对R_k-1进行膨胀扩张，获得当前图像P_k中的驾驶员脸颈感兴趣区域R_k′，使记宽度和高度的膨胀因子分别为α和β，则：

w_k＝w_k-1+Round(α·T)+2 (5)

h_k＝h_k-1+Round(β·T)+2 (6)

其中w_k-1和h_k-1分别为区域R_k-1的宽度和高度，w_k和h_k分别为区域R′_k的宽度和高度，Round(.)为取整函数；

第二步：脸颈皮肤灰度均值计算；由于小采样时间间隔T内图像中的脸颈皮肤灰度均值变化将很小，因此R′_k区域的ε跨度灰度直方图中位于 区间的峰值g_k必为当前图像的脸颈皮肤灰度峰值，脸颈皮肤灰度均值即为[g_k-ε,g_k+ε]区间的像素灰度均值；

第三步：脸颈可见皮肤区域识别；在脸颈感兴趣区域R′_k内部，做双边阈值过滤并二值化，提取驾驶员脸颈可见皮肤的粗糙图像H′_k：

其中h′_k(i,j)表示图像H′_k的第i行第j列的像素点，对H′_k进行滤除小斑点和纤细物干扰，最终获得脸颈可见皮肤的二值化图像H_k，其外接矩形R_k即为图像P_k中的脸颈可见皮肤区域。

优选地，细小斑点和纤细物具体去除方式为：

首先对图像B₀进行图像形态学开运算，在不明显改变图像面积的前提下去除细小斑点和断开纤细物与其它区域的连接，记处理结果为图像C₀：

C₀＝Open(B₀,E) (11)

式(11)中E为参考点位于中心的3×3矩形内核；

其次计算图像C₀中非连通区域的面积周长比，滤除比值小于面积周长比阈值r的所有纤细物，获得图像A₀；

对图像H′₀和H′_k进行处理时，将式(11)中的B₀替换为H′₀和H′₀。

优选地，脸颈可见皮肤外轮廓特征参数计算以及基准特征值估算方法如下：

在所得的脸颈可见皮肤区域内获得脸颈可见皮肤外轮廓的闭合曲线，首先将颈部低点作为轮廓线的参考基点O_k；

其次，过O_k的垂线将脸颈外轮廓分为左右两部分，其面积S_kL和S_kR与头部姿态有关，面积比φ为：

φ＝S_kR/S_kL (8)

φ_L、φ₀和φ_R分别对应观察左后视镜、正前方和右后视镜时的左右面积比值，定义三者为基准特征值；

按间隔时间T采样图像，计算连续l次后视镜有效查看行为过程中的参数φ及其累积概率，利用累积概率分布的局部峰值获得φ_L、φ₀和φ_R的估计值。

优选地，后视镜查看行为阈值判定方法为：

分别定义查看左、右后视镜时的凝视系数：

μ_L＝|φ-φ_L|/φ_L (9)

μ_R＝|φ-φ_R|/φ_R (10)

当μ_L≤μ_L0时确认驾驶员眼动凝视点位于车辆左后视镜，当μ_R≤μ_R0时确认驾驶员眼动凝视点位于车辆右后视镜，其中μ_L0和μ_R0分别为凝视阈值；分别统计满足μ_L≤μ_L0和μ_R≤μ_R0条件的连续采样图像的数目n_L和n_R，当且仅当凝视左后视镜的持续时间T·n_L≥T_L0时判定驾驶员观察左后视镜的有效性，当且仅当凝视右后视镜的持续时间T·n_R≥T_R0时判定驾驶员观察右后视镜的有效性，其中T_L0和T_R0分别为持续时间阈值。

一种根据上述检测方法的检测系统，包括系统开关、电源模块、图像采集模块和控制器；该系统开关用于开启或关闭系统；该电源模块用于为系统及各模块供电；该图像采集模块用于对驾驶室内驾驶员图像进行采集；该控制器控制器用以对图像采集模块采集到的图像进行处理，并判断驾驶员是否有效查看后视镜。

一种驾驶员后视镜查看行为检测系统，包括系统开关、电源模块、图像采集模块和控制器；该系统开关用于开启或关闭系统；该电源模块用于为系统及各模块供电；该图像采集模块用于对驾驶室内驾驶员图像进行采集；该控制器控制器用以对图像采集模块采集到的图像进行处理，并判断驾驶员是否有效查看后视镜，其包括帧差识别器、胀缩识别器、脸颈轮廓特征参数计算器、轮廓基准特征值估算器和后视镜查看行为阈值判定器；该帧差识别器在车辆启动时完成驾驶员脸颈皮肤在当前光源条件下的灰度均值学习和初始的脸颈可见皮肤区域自适应搜索识别；该胀缩识别器在车辆行驶期间完成驾驶员脸颈皮肤灰度均值学习和脸颈可见皮肤区域快速跟踪识别；该脸颈轮廓特征参数计算器用于计算当前采集的图像中驾驶员的脸颈外轮廓特征参数；该轮廓基准特征值估算器利用所述特征参数的累积概率来估算轮廓基准特征值；该后视镜查看行为阈值判定器根据当前图像的脸颈外轮廓特征参数和轮廓基准特征值判定驾驶员是否实施了有效的后视镜查看行为。

优选地，所述的控制器进一步包括累积概率更新器，该累积概率更新器用于实时更新脸颈轮廓特征参数的累积出现概率。

优选地，所述的控制器进一步包括通讯端口，该通讯端口接收车辆其它电子控制单元传递来的车辆转向信息，同时将判定结论发送给对方进一步使用。

采用上述方案后，本发明和传统方法相比，其在利用驾驶员身体特征时主要应用的是驾驶员的脸部和颈部外轮廓曲线，不同于现有研究和发明中的利用脸部模板、细节特征和脸部轮廓线，更容易与外部其他区域区分，提取更为方便，响应速度快，实时性更强；并采用不易变化的颈部最低点为基点，以过该基点垂直线划分的脸颈外轮廓左右面积比为特征参数，因此抗干扰能力更强。

此外，本发明在脸颈区域的识别定位方面分为车辆启动时的帧差法自适应学习和车辆行驶时的胀缩法快速跟踪识别；在基准特征值给定时是利用轮廓特征参数的累积概率分布规律来实时计算更新；在后视镜查看行为判定时是同时根据凝视阈值和持续时间阈值来进行。

总之，本发明结构简单，检测方法具有较高的准确率、良好的自适应学习能力和抗干扰能力，且检测实时性高，能够满足车辆快速行驶期间的后视镜查看行为的实时检测和提醒要求。

附图说明

图1是本发明所述系统的组成示意图；

图2是本发明所述驾驶员后视镜查看行为检测方法的流程图；

图3是本发明所述检测方法中步骤一脸颈区域帧差识别结果示意图；

图4是本发明所述检测方法中步骤二脸颈区域胀缩识别结果示意图；

图5是本发明所述检测方法中步骤三脸颈区域外轮廓曲线示意图；

图6是本发明所述检测方法中步骤三查看右后视镜时脸颈外轮廓的典型变化规律示意图；

图7是本发明所述检测方法中步骤三查看后视镜时参数φ的典型变化示意图；

图8是本发明所述检测方法中步骤四l＝8时某驾驶视频的参数φ的概率分布示意图；

图9是本发明所述检测方法中步骤四l＝8时各基准特征值的变化曲线图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详述。

本发明所揭示的是一种驾驶员后视镜查看行为检测系统，如图1所示，为本发明所述系统的较佳实施例。所述检测系统包括系统开关、电源模块、图像采集模块、显示屏幕、参数设置模块和控制器。其中：

所述的系统开关用于开启或关闭系统，优选地可为常闭式开关，即车辆电源启动后系统默认工作。

所述的电源模块用于为系统及各模块供电，优选地可为车载蓄电池。

所述的图像采集模块用于对驾驶室内驾驶员图像进行采集，其可以包括摄像头、光源和安装固定装置。所述的光源优选地可为人们不易感知的红外光源，相当的所述摄像头优选地可为红外摄像头，并可以安装于驾驶员前方或斜前方的车辆前档玻璃，要求能够拍摄到完整的驾驶室图像。

所述的显示屏幕用于显示系统运行参数和视频流，并可对参数设置提供良好的人机信息交互渠道。

所述的参数设置模块用于设置驾驶员基本信息、特征信息以及后视镜查看行为判定算法中涉及的各类图像处理参数和阈值。

所述的控制器用以对图像采集模块采集到的图像进行处理，并判断驾驶员是否有效查看后视镜。其可以包括帧差识别器、胀缩识别器、脸颈轮廓特征参数计算器、轮廓基准特征值估算器和后视镜查看行为阈值判定器，还可进一步包括累积概率更新器和通讯接口。所述的帧差识别器在车辆启动时完成驾驶员脸颈皮肤在当前光源条件下的灰度均值学习和初始的脸颈区域自适应搜索识别，为车辆行驶期间的连续快速脸颈区域动态识别奠定参数基础。所述的胀缩识别器在车辆行驶期间完成驾驶员脸颈皮肤灰度均值学习和脸颈区域快速跟踪识别，为脸颈可见皮肤轮廓的提取和特征分析奠定图像参数基础。所述的脸颈轮廓特征参数计算器用于计算当前采集的图像中驾驶员的脸颈外轮廓特征参数。所述的轮廓基准特征值估算器利用所述脸颈轮廓特征参数计算器所计算获得的驾驶员脸颈外轮廓特征参数的累积概率来估算轮廓基准特征值。所述的后视镜查看行为阈值判定器根据当前图像的脸颈外轮廓特征参数和轮廓基准特征值判定驾驶员是否实施了有效的后视镜查看行为。所述的累积概率更新器用于实时更新脸颈轮廓特征参数的累积出现概率。所述的通讯端口接收车辆其它电子控制单元传递来的车辆转向信息，同时将判定结论发送给对方进一步使用。

本发明进一步揭示了一种驾驶员后视镜查看行为检测方法：以车载视频系统按时间间隔T实时连续逐帧采集驾驶室图像，以驾驶员脸部和颈部的可见皮肤区域共同作为图像分析处理对象，设定图像处理算法来自适应学习以及跟踪驾驶员脸颈可见皮肤区域，提取驾驶员脸颈可见皮肤外轮廓，以脸颈可见皮肤外轮廓的颈部最低点为基点，过该基点的垂直线将脸颈可见皮肤外轮廓划分为左右两部分，定义左右两部分面积比为特征参数，获得此特征参数的基准特征值，通过当前特征参数与基准特征值的数值关系并结合凝视阈值和持续时间阈值来判定是否存在后视镜查看行为。

具体步骤如图2所示：

步骤一：当车辆启动时，利用图像帧差搜索算法自适应识别驾驶员初始的脸颈可见皮肤区域(简称脸项区域)并计算脸颈皮肤初始灰度均值，为脸颈区域连续动态识别做好准备。

步骤二：在车辆行驶期间，驾驶室视频系统每当采样一帧新图像，基于前帧图像的驾驶员脸颈区域定位矩形采用胀缩法快速识别当前脸颈区域，同时完成当前脸颈皮肤灰度均值估算。如果此时车辆未转向(根据通讯接口传来的转向灯状态或方向盘转角确定)，则系统处于脸颈区域动态跟踪状态，并重复步骤二；否则继续步骤三。

步骤三：在当前图像的脸颈识别定位区域内部计算轮廓特征参数。

步骤四：根据脸颈可见皮肤外轮廓特征参数的累积概率计算局部峰值估计轮廓基准特征值。

步骤五：根据当前轮廓特征值和基准特征值的数值关系计算凝视系数，根据凝视阈值条件统计驾驶员观察后视镜状态的持续时间，进一步根据持续时间阈值条件判定驾驶员是否实施了有效的后视镜查看行为。当判定不存在时，提醒驾驶员注意转向侧后方交通情况；进一步的，当判定存在时，可利用此次查看过程中的所有特征值更新累积分布概率。之后返回步骤二。

如此反复循环，直至车辆熄火。

更具体的，以上各步骤中：

(1)所述步骤一中，车辆启动时的驾驶员初始脸颈区域帧差识别的具体方法如下：

第一步：帧差源图像搜索并做差分。即在车辆启动期间所采集的初始学习图像集中搜索两张图像P₀₁和P₀₂，这两张图像的驾驶员头部姿态具有显著差异而手部姿态差异不明显，并对该两帧图像做差分，获得帧差结果。

具体搜索过程为，将任意两帧图像P_u和P_v做差分，记帧差结果为D：

D(i,j)＝|P_u(i,j)-P_v(i,j)| (1)

式(1)中i和j分别是像素的行和列。将D水平分割为D₁和D₂上下两部分，分割比例为γ。计算D₁和D₂的像素灰度累积比ω：

式(2)中，d(i,j)表示图像D的第i行第j列的像素点，W和H分别为图像D的宽度和高度。

给定判定系数Ω，如果ω≥Ω则D₁蕴含的时间梯度信息显著大于D₂，即头部姿态变化显著大于手部姿态变化，将P_u和P_v作为帧差源图像P₀₁和P₀₂，搜索完成；否则继续随机帧差搜索。如果任意两帧图像差分后仍不满足ω≥Ω，则取ω最大值时的两帧图像为帧差源图像。记此时图像帧差结果为D₀，D₀＝|P₀₁-P₀₂|。

第二步：帧差结果二值化。记二值化结果图像为B₀，即：

其中b₀(i,j)表示图像B₀的第i行第j列的像素点，ξ为二值化阈值。

第三步：细小斑点和纤细物去除。即去除图像B₀的细小斑点和纤细物，获得图像A₀。

首先对图像B₀进行图像形态学开运算，在不明显改变图像面积的前提下去除细小斑点和断开纤细物与其它区域的连接，记处理结果为图像C₀：

C₀＝Open(B₀,E) (11)

式(11)中E为参考点位于中心的3×3矩形内核。其次计算图像C₀中非连通区域的面积周长比，滤除比值小于面积周长比阈值r的所有纤细物，获得图像A₀。

第四步：脸颈可见皮肤区域定位。计算图像A₀的外接矩形R₀₁，其在帧差源图像P₀₁(或P₀₂)中将包围驾驶员脸部。考虑人体的脸颈常见比例，将矩形R₀₁高度向下延伸1.25倍为矩形R₀₂，R₀₂将同时包围驾驶员脸部和颈部，定义为驾驶员脸颈感兴趣区域，即获得所述的脸颈可见皮肤区域。其内部主要包含驾驶员毛发、脸部、颈部、佩戴物、衣服和其它车内外物体的图像信息，且当摄像头位于驾驶室前上方时，毛发、脸部和颈部将是主要图像内容。

第五步：脸颈皮肤灰度均值计算。计算感兴趣区域R₀₂的ε跨度灰度直方图，即分别统计灰度值位于区间{(0,ε-1),(ε,2ε-1),(2ε,3ε-1),…,(nε,255)}的像素比例。其中ε的作用在于减少图像中驾驶员脸颈皮肤灰度的局部不均和细微差异。显然直方图中主峰值g₀₁和次峰值g₀₂将分别对应驾驶员的毛发灰度峰值或脸颈皮肤灰度峰值，具体取决于二者的图像面积大小。为简单问题，本实施例仅考虑驾驶员为近黑色毛发、黄白肤色的情况(其他情况可以根据实际情况预先设定)。易知此时毛发灰度小于皮肤灰度，因此皮肤灰度峰值为：

g₀＝Max(g₀₁,g₀₂) (12)

计算[g₀-ε,g₀+ε]间的像素灰度均值可得脸颈皮肤灰度均值

第六步：初始脸颈区域识别定位。根据在R₀₂内部做双边阈值过滤并二值化，可得驾驶员的脸颈皮肤粗糙图像H′₀：

其中：对H′₀重复第三步处理，滤除干扰获得脸颈皮肤图像H₀，其外接矩形R₀即为帧差源图像P₀₁中的脸颈区域。

结果举例如图3所示。

图3中：(a)和(b)为搜索到的帧差源图像；(c)为帧差结果；(d)为帧差结果二值化图像，其中除包含头部姿态变化轨迹外还存在若干因肩部和手臂移动而留下的纤细轨迹；(e)为滤除细小斑点和纤细物后的图像，虚线框为其外接矩形R₀₁；(f)显示了R₀₁在帧差源图像中的定位效果，其中实线框为R₀₁向下延伸后的脸颈感兴趣区域R₀₂；(g)为R₀₂的ε＝10跨度灰度直方图，其主次峰值分别为g₀₁≈35和g₀₂≈90，据此可判断脸颈皮肤灰度峰值g₀≈90，进一步可求得脸颈皮肤灰度均值(h)为脸颈感兴趣区域在[83,103]区间的双边阈值过滤并二值化结果图；(i)为滤除小斑点和纤细物干扰后的脸颈皮肤图像，虚线框为其外接矩形，代表了帧差源图像中的脸颈定位区域，效果如(j)所示。

(2)所述步骤二中，脸颈区域胀缩识别方法具体如下：

对红外视频流进行采样，每隔T时间采集一帧图像。记第k次采样图像为P_k、驾驶员脸颈区域(即脸颈可见皮肤区域)为R_k、脸颈皮肤灰度均值为k≥1。P₀＝P₀₁为初始条件，初始参数R₀和在车辆启动时根据帧差算法求得，即由所述的步骤一完成。

第一步：脸颈感兴趣区域定位。以R_k-1的中心(x_k-1,y_k-1)为基点，对R_k-1进行膨胀扩张，获得当前图像P_k中的驾驶员脸颈感兴趣区域R′_k。由于相邻两次图像采样的间隔时间T很小，驾驶员脸颈部位的变动范围相对很小，因此较小的膨胀比例就能够确保当前图像中的驾驶员脸颈可见皮肤区域R_k位于R′_k内部，即膨胀比例越大越可靠，但感兴趣区域R′_k将越大，使得图像处理量加大、算法实时性变差。膨胀比例主要受采样间隔T影响，当T越小时，相邻采样图像中驾驶员头颈的移动范围越小，膨胀比例可越小。记宽度w和高度h的膨胀因子分别为α和β，则：

w_k＝w_k-1+Round(α·T)+2 (5)

h_k＝h_k-1+Round(β·T)+2 (6)

其中w_k-1和h_k-1分别为区域R_k-1的宽度和高度，w_k和h_k分别为区域R′_k的宽度和高度，Round(.)为取整函数。

第二步：脸颈皮肤灰度均值计算。考虑到在小采样间隔T内红外光照条件和驾驶员脸颈变动范围都相对较小的事实，易知相邻采样图像中的脸颈皮肤灰度均值变化将很小。因此R′_k区域的ε跨度灰度直方图中位于区间的峰值g_k必为当前图像的脸颈皮肤灰度峰值。脸颈皮肤灰度均值即为[g_k-ε,g_k+ε]区间的像素灰度均值。

第三步：脸颈区域识别。在脸颈感兴趣区域R′_k内部，做双边阈值过滤并二值化，提取驾驶员脸颈可见皮肤的粗糙图像H′_k：

其中对H′_k利用(11)式和面积周长比阈值r滤除小斑点和纤细物干扰，最终获得脸颈可见皮肤的二值化图像H_k，其外接矩形R_k即为图像P_k中的脸颈区域，即当前的脸颈可见皮肤区域。

从图像处理区域上看，以上算法经历了从R_k-1膨胀到R′_k再由R′_k缩小到R_k的过程。

处理结果举例如图4所示。

图4中：(a)为第k-1次采样图像，其中虚线矩形R_k-1为其驾驶员脸颈的定位区域，中心坐标为(301,261)，宽为230像素，高为310像素，脸颈皮肤灰度均值(b)为第k次采样图像，其中虚线框为R_k-1膨胀后的脸颈感兴趣区域R′_k，中心坐标仍为(301,261)，宽为240像素，高为320像素；(c)为R′_k的ε＝10跨度灰度直方图，在[87-10,87+10]区间具有峰值g_k＝85，计算获得[85-10,85+10]区间的像素灰度均值即为第k张采样图像中的脸颈皮肤灰度均值(d)为针对R′_k区域进行双边阈值过滤并二值化的可见皮肤粗糙图像，存在若干与皮肤灰度近似的纤细状干扰；(e)为滤除干扰后的图像H_k，虚线框为其外接矩形R_k，其中心坐标为(299,254)，宽223像素，高322像素；(f)显示了R_k在当前图像中的定位效果。

(3)所述步骤三中，脸颈可见皮肤外轮廓特征参数的具体计算方法如下：

在所得的脸颈可见皮肤区域内直接进行行边缘扫描，得到脸颈可见皮肤外轮廓的闭合曲线。结果举例如图5所示，分别对于驾驶员平常、佩戴墨镜和迷彩口罩时的情况。

图5结果表明：脸颈可见皮肤外轮廓不一定是光滑或圆滑的闭合曲线，可能因毛发、眼镜、口罩等干扰而呈现不同数目和形状。因此从曲线的尺度和形状等方面定义轮廓特征可能效果欠佳，相比而言根据曲线包围面积来定义特征参数更可行。

以查看车辆右后视镜为例，脸颈可见皮肤轮廓曲线的典型变化如图6所示。其中：(a)为驾驶员查看车辆行驶方向前方；(b)为向右扭头；(c)为进一步向右扭头；(d)为观察右后视镜状态；(e)为保持右后视镜观察状态；(f)为观察结束从右往前扭回头；(g)为进一步向前扭回头；(h)为恢复到查看车辆行驶方向前方。从图中可以看出：

首先，颈部低点附近区域在图像P_k中的位置和形状变化都很小，可将颈部低点作为轮廓线的参考基点O_k。O_k仅在驾驶员大幅摆动身体(如探身取物)时有较大变动，而这在车辆行驶过程中属于应禁止的风险行为；当驾驶员已正确佩戴安全带时，O_k变动量将进一步被限制。这正是本申请将驾驶员脸部和颈部共同作为分析对象的原因，颈部起到关键参考作用，与传统研究中仅针对脸部的思路不同。

其次，过O_k的垂线将脸颈外轮廓分为左右两部分，其面积S_kL和S_kR与头部姿态有关，面积比φ为：

φ＝S_kR/S_kL (8)

φ在某驾驶员左右后视镜连续查看过程中随头部转角θ的典型变化规律如图7所示。

图中θ＝0表示未扭头即查看车辆正前方状态。曲线MR为驾驶员向右扭头查看右后视镜的过程；RM为右后视镜查看完毕回头过程；ML为向左扭头查看左后视镜的过程；LM为左后视镜查看完毕回头过程。φ_L、φ₀和φ_R分别对应观察左后视镜、正前方和右后视镜时的左右面积比值，具体数值与驾驶员脸颈、车辆宽度、座椅位置和驾驶习惯等因素有关。即使摄像头位于驾驶员脸颈中心分割平面φ₀也未必等于1。图7结果表明：当驾驶员向右扭头查看右后视镜过程时，φ值由φ₀递增至φ_R，观察右后视镜期间则保持在φ_R值附近小幅波动，查看完毕回头过程时由φ_R递减至φ₀；而在查看左后视镜情况下，φ值变化分别为由φ₀递减至φ_L、保持在φ_L附近小幅波动、由φ_L递增至φ₀。可见，参数φ在后视镜查看过程中连续且具有单调增减特性，可以作为脸颈可见皮肤外轮廓的一个特征参数。定义φ_L、φ₀和φ_R为基准特征值。根据φ与φ_L和φ_R的数值关系可分别判定驾驶员是否处于查看左、右后视镜状态。

(4)所述步骤四中，基准特征值的累积概率局部峰值分布规律估计的具体方法如下：

对于不同驾驶员或车辆，由于脸颈差异和摄像头安装位置不同，基准特征值φ_L和φ_R不同；即使同一驾驶员驾驶同一车辆，由于发型、佩戴物、座椅调整等原因也将导致φ_L和φ_R改变。显然无法通过传统预置参数或模板的做法给定基准特征值。

为提出φ_L和φ_R的自适应学习方法，以车辆转向灯开启和结束为始末标志举例一次完成的后视镜扭头查看行为完整过程，按间隔时间T采样图像，计算连续l次后视镜有效查看行为过程中的脸颈轮廓左右面积比参数φ及其累积概率。以l＝8为例，某驾驶视频片段的φ的概率分布曲线如图8所示。图8中横坐标表示φ的值域范围，纵坐标表示不同φ值所对应出现的概率，L、F、U和R为概率曲线的局部峰值，经眼动仪确认这些局部峰值实际分别代表驾驶员处于查看车外左后视镜、行驶方向前方、车内右上方后视镜(本申请不分析此种情况)和车外右后视镜的状态。这是因为：有效的后视镜查看必然需要一定时长的持续凝视以促进驾驶员对侧后方交通信息的理解，期间将采集到多张相似的凝视图像，因此可获得多个数值大小近似的φ值；尽管驾驶员每次查看后视镜的动作可能不是很一致，存在扭头过多或过少的情况，头部也可能存在轻微晃动，但如果累加所有φ值的出现次数并计算出现概率，那么必然得出概率峰值。将此特性称为驾驶员后视镜查看行为的脸颈外轮廓特征参数φ的l次累积概率局部峰值规律。利用这些局部峰值可获得φ_L、φ₀和φ_R的估计值，如图8中标示分别为0.69、0.98和1.32。

当后视镜观察行为获得确认后，应及时利用本次查看过程中的所有φ值更新累积概率并重新进行参数估计。当发生S_kL和S_kR数值突变时，判定驾驶员脸颈可见皮肤区域大小有较大变化，此时删除现有累积概率并重新进行概率学习。图9为l＝8时该驾驶员在车辆行驶过程中佩戴墨镜前后基准特征值φ_L、φ₀和φ_R的变化曲线，其中横坐标表示驾驶员有效观察后视镜的次数，纵坐标表示根据前述累积概率局部峰值规律所估算的φ_L、φ₀和φ_R。可以看出：在第25次后视镜查看行为后的t₀时刻，由于佩戴墨镜导致各基准特征值发生较大改变，但仅需1次后视镜查看数据更新累积概率即可完成参数的自适应调整。

(5)所述步骤五中，后视镜查看行为阈值判定可以具体采用如下方法：

分别定义查看左、右后视镜时的凝视系数：

μ_L＝|φ-φ_L|/φ_L (9)

μ_R＝|φ-φ_R|/φ_R (10)

当μ_L≤μ_L0时确认驾驶员眼动凝视点位于车辆左后视镜，当μ_R≤μ_R0时确认驾驶员眼动凝视点位于车辆右后视镜，其中μ_L0和μ_R0分别为凝视阈值。考虑到有效的后视镜查看需要一定时长的持续凝视，分别统计μ_L≤μ_L0和μ_R≤μ_R0的连续φ值个数n_L和n_R，当且仅当凝视左后视镜的持续时间T·n_L≥T_L0时判定驾驶员观察左后视镜的有效性，当且仅当凝视右后视镜的持续时间T·n_R≥T_R0时判定驾驶员观察右后视镜的有效性。其中T_L0和T_R0分别为持续时间阈值。

初步实验测试表明，以上检测方法的识别准确率可达到85.6％。

本发明中，图像处理与行为判定算法中各关键参数γ、Ω、ξ、r、ε、α、β、l、μ_L0、μ_R0、T_L0和T_R0可在系统上增加驾驶员人为调整按钮来根据实际情况调试标定，也可由车辆制造商或相关权威部门指定。

此外，本发明可以独立工作于车辆其它电气系统，不破坏原有线路接线，系统安装、维护和更换都相对容易。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。

Claims (10)

1.一种驾驶员后视镜查看行为检测方法，其特征在于：以车载视频系统按时间间隔T实时连续逐帧采集驾驶室图像，以驾驶员脸部和颈部的可见皮肤区域共同作为图像分析处理对象，设定图像处理算法来自适应学习以及跟踪驾驶员脸颈可见皮肤区域，提取驾驶员脸颈可见皮肤外轮廓，以脸颈可见皮肤外轮廓的颈部最低点为基点，过该基点的垂直线将脸颈可见皮肤外轮廓划分为左右两部分，定义左右两部分面积比为特征参数，获得此特征参数的基准特征值，通过当前特征参数与基准特征值的数值关系并结合凝视阈值和持续时间阈值来判定是否存在后视镜查看行为。

2.根据权利要求1所述的一种驾驶员后视镜查看行为检测方法，其特征在于：在车辆启动期间采用图像帧差搜索算法自适应学习识别驾驶员初始的脸颈可见皮肤区域。

3.根据权利要求1所述的一种驾驶员后视镜查看行为检测方法，其特征在于：在车辆行驶期间基于前帧图像的驾驶员脸颈可见皮肤区域采用胀缩法识别跟踪当前脸颈可见皮肤区域。

4.根据权利要求1所述的一种驾驶员后视镜查看行为检测方法，其特征在于：利用所述特征参数在后视镜查看行为过程中的累积概率局部峰值分布规律来估计基准特征值。

5.根据权利要求1所述的一种驾驶员后视镜查看行为检测方法，其特征在于具体包括如下步骤：

步骤一：当车辆启动时，利用图像帧差搜索算法自适应识别驾驶员初始的脸颈可见皮肤区域并计算该区域内脸颈皮肤初始灰度均值；

步骤二：在车辆行驶期间，驾驶室视频系统每当采样一帧新图像，基于前帧图像的驾驶员脸颈可见皮肤区域定位矩形采用胀缩法快速识别当前脸颈可见皮肤区域，同时完成当前脸颈皮肤灰度均值估算；如果此时车辆未转向，则系统处于脸颈区域动态跟踪状态，并重复步骤二；否则继续步骤三；

步骤三：在当前图像的脸颈识别定位区域内部计算轮廓特征参数；

步骤四：根据脸颈可见皮肤外轮廓特征参数的累积概率计算局部峰值估计轮廓基准特征值；

步骤五：根据当前轮廓特征参数和基准特征值的数值关系计算凝视系数，根据凝视阈值条件统计驾驶员观察后视镜状态的持续时间，进一步根据持续时间阈值条件判定驾驶员是否实施了有效的后视镜查看行为；

步骤六：当判定驾驶员有效的后视镜查看行为存在时，利用此次查看过程中的所有特征参数更新累积分布概率。

6.根据权利要求2或5所述的一种驾驶员后视镜查看行为检测方法，其特征在于驾驶员初始脸颈可见皮肤区域识别方法如下：

第一步：帧差源图像搜索并做差分；即在初始学习图像中搜索两张图像P₀₁和P₀₂，这两张图像的驾驶员头部姿态具有显著差异而手部姿态差异不明显，并对该两帧图像做差分，获得帧差结果；

帧差源图像的具体搜索过程可以为：

首先，将车辆启动期间所采集的图像集中的任意两帧图像P_u和P_v做差分，记帧差结果为D：

D(i,j)＝|P_u(i,j)-P_v(i,j)| (1)

式(1)中i和j分别是像素的行和列；

然后，将D水平分割为D₁和D₂上下两部分，分割比例为γ；计算D₁和D₂的像素灰度累积比ω：

$\mathrm{\ω}=\underset{i=1}{\overset{\mathrm{\γ}W}{\Σ}}\underset{j=1}{\overset{H}{\Σ}}d(i,j)/\underset{i=\mathrm{\γ}W}{\overset{W}{\Σ}}\underset{j=1}{\overset{H}{\Σ}}d(i,j)---\left(2\right)$

式(2)中，d(i,j)表示图像D的第i行第j列的像素点，W和H分别为图像D的宽度和高度；

最后，给定判定系数Ω，如果ω≥Ω则D₁蕴含的时间梯度信息显著大于D₂，即头部姿态变化显著大于手部姿态变化，将P_u和P_v作为帧差源图像P₀₁和P₀₂，搜索完成；否则继续随机帧差搜索；如果任意两帧图像差分后仍不满足ω≥Ω，则取ω最大值时的两帧图像为帧差源图像；记此时图像帧差结果为D₀，D₀＝|P₀₁-P₀₂|；

第二步：帧差结果二值化；记二值化结果图像为B₀，即：

$b_0(i,j)=\left\{\begin{array}{cc}0& d_0(i,j)\&GreaterEqual;\mathrm{\&xi;}\\ 255& d_0(i,j)<\mathrm{\&xi;}\end{array}\right.---\left(3\right)$

其中b₀(i,j)表示图像B₀的第i行第j列的像素点，ξ为二值化阈值；

第三步：细小斑点和纤细物去除；即去除图像B₀的细小斑点和纤细物，获得图像A₀；

第四步：脸颈可见皮肤区域定位；计算图像A₀的外接矩形R₀₁，其在帧差源图像中将包围驾驶员脸部，将矩形R₀₁高度向下延伸一定倍数为矩形R₀₂，R₀₂将同时包围驾驶员脸部和颈部，定义R₀₂为驾驶员脸颈感兴趣区域，即获得所述的脸颈可见皮肤区域；

第五步：脸颈皮肤灰度均值计算；计算感兴趣区域R₀₂的ε跨度灰度直方图，即分别统计灰度值位于区间的像素比例，直方图中具有两个峰值分别对应驾驶员的毛发灰度峰值或脸颈皮肤灰度峰值，根据实际情况选定皮肤灰度峰值g₀，并计算[g₀-ε,g₀+ε]间的像素灰度均值可得脸颈皮肤灰度均值

第六步：初始脸颈可见皮肤区域识别定位；根据在R₀₂内部做双边阈值过滤并二值化，可得驾驶员的脸颈皮肤粗糙图像H′₀：

$h_0^{\&prime;}(i,j)=\left\{\begin{array}{cc}0& s_{01}\&le;p_0(i,j)\&le;s_{02}\\ 255& p_0(i,j)<s_{01},p_0(i,j)>s_{02}\end{array}\right.---\left(4\right)$

其中：h′₀(i,j)表示图像H₀′的第i行第j列的像素点，将H₀′重复第三步处理，滤除干扰获得脸颈皮肤图像H₀，其外接矩形R₀即为帧差源图像P₀₁中的脸颈可见皮肤区域，即初始的脸颈可见皮肤区域。

7.根据权利要求3或5所述的一种驾驶员后视镜查看行为检测方法，其特征在于驾驶员脸颈可见皮肤区域域胀缩识别方法如下：

每隔T时间采集一帧图像，记第k次采样图像为P_k、驾驶员脸颈区域为R_k、脸颈皮肤灰度均值为k≥1，P₀＝P₀₁为初始条件，初始参数R₀和在车辆启动时根据帧差算法求得；

第一步：脸颈感兴趣区域定位；以R_k-1的中心(x_k-1,y_k-1)为基点，对R_k-1进行膨胀扩张，获得当前图像P_k中的驾驶员脸颈感兴趣区域R′_k，使记宽度和高度的膨胀因子分别为α和β，则：

w_k＝w_k-1+Round(α·T)+2 (5)

h_k＝h_k-1+Round(β·T)+2 (6)

其中w_k-1和h_k-1分别为区域R_k-1的宽度和高度，w_k和h_k分别为区域R_k′的宽度和高度，Round(.)为取整函数；

第二步：脸颈皮肤灰度均值计算；由于小采样时间间隔T内图像中的脸颈皮肤灰度均值变化将很小，因此R′_k区域的ε跨度灰度直方图中位于 区间的峰值g_k必为当前图像的脸颈皮肤灰度峰值，脸颈皮肤灰度均值即为[g_k-ε,g_k+ε]区间的像素灰度均值；

第三步：脸颈可见皮肤区域识别；在脸颈感兴趣区域R′_k内部，做双边阈值过滤并二值化，提取驾驶员脸颈可见皮肤的粗糙图像H′_k：

$h_k^{\&prime;}(i,j)=\left\{\begin{array}{cc}0& s_{k1}\&le;p_k(i,j)\&le;s_{k2}\\ 255& p_k(i,j)<s_{k1},p_k(i,j)>s_{k2}\end{array}\right.---\left(7\right)$

其中h′_k(i,j)表示图像H′_k的第i行第j列的像素点，对H′_k进行滤除小斑点和纤细物干扰，最终获得脸颈可见皮肤的二值化图像H_k，其外接矩形R_k即为图像P_k中的脸颈可见皮肤区域。

8.根据权利要求1、4或5所述的一种驾驶员后视镜查看行为检测方法，其特征在于脸颈可见皮肤外轮廓特征参数计算以及基准特征值估算方法如下：

在所得的脸颈可见皮肤区域内获得脸颈可见皮肤外轮廓的闭合曲线，首先将颈部低点作为轮廓线的参考基点O_k；

其次，过O_k的垂线将脸颈外轮廓分为左右两部分，其面积S_kL和S_kR与头部姿态有关，面积比φ为：

φ＝S_kR/S_kL (8)

φ_L、φ₀和φ_R分别对应观察左后视镜、正前方和右后视镜时的左右面积比值，定义三者为基准特征值；

按间隔时间T采样图像，计算连续l次后视镜有效查看行为过程中的参数φ及其累积概率，利用累积概率分布的局部峰值获得φ_L、φ₀和φ_R的估计值。

9.根据权利要求1-5任一所述的一种驾驶员后视镜查看行为检测方法，其特征在于后视镜查看行为阈值判定方法为：

分别定义查看左、右后视镜时的凝视系数：

μ_L＝|φ-φ_L|/φ_L (9)

μ_R＝|φ-φ_R|/φ_R (10)

当μ_L≤μ_L0时确认驾驶员眼动凝视点位于车辆左后视镜，当μ_R≤μ_R0时确认驾驶员眼动凝视点位于车辆右后视镜，其中μ_L0和μ_R0分别为凝视阈值；分别统计满足μ_L≤μ_L0和μ_R≤μ_R0条件的连续采样图像的数目n_L和n_R，当且仅当凝视左后视镜的持续时间T·n_L≥T_L0时判定驾驶员观察左后视镜的有效性，当且仅当凝视右后视镜的持续时间T·n_R≥T_R0时判定驾驶员观察右后视镜的有效性，其中T_L0和T_R0分别为持续时间阈值。

10.一种驾驶员后视镜查看行为检测系统，其特征在于：包括系统开关、电源模块、图像采集模块和控制器；该系统开关用于开启或关闭系统；该电源模块用于为系统及各模块供电；该图像采集模块用于对驾驶室内驾驶员图像进行采集；该控制器用以对图像采集模块采集到的图像进行处理，并判断驾驶员是否有效查看后视镜，其包括帧差识别器、胀缩识别器、脸颈轮廓特征参数计算器、轮廓基准特征值估算器和后视镜查看行为阈值判定器；该帧差识别器在车辆启动时完成驾驶员脸颈皮肤在当前光源条件下的灰度均值学习和初始的脸颈可见皮肤区域自适应搜索识别；该胀缩识别器在车辆行驶期间完成驾驶员脸颈皮肤灰度均值学习和脸颈可见皮肤区域快速跟踪识别；该脸颈轮廓特征参数计算器用于计算当前采集的图像中驾驶员的脸颈外轮廓特征参数；该轮廓基准特征值估算器利用所述脸颈外轮廓特征参数的累积概率来估算轮廓基准特征值；该后视镜查看行为阈值判定器根据当前图像的脸颈外轮廓特征参数和轮廓基准特征值判定驾驶员是否实施了有效的后视镜查看行为；该控制器可以进一步包括、轮廓特征参数累积概率更新器，该轮廓特征参数累积概率更新器用于实时更新脸颈轮廓特征参数的累积出现概率；可以进一步包括通讯模块，该通讯模块接收车辆其它电子控制单元传递来的车辆转向信息，同时将判定结论发送给对方进一步使用。