[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105139070A - 基于人工神经网络和证据理论的疲劳驾驶评价方法 - Google Patents

基于人工神经网络和证据理论的疲劳驾驶评价方法 Download PDF

Info

Publication number
CN105139070A
CN105139070A CN201510536310.XA CN201510536310A CN105139070A CN 105139070 A CN105139070 A CN 105139070A CN 201510536310 A CN201510536310 A CN 201510536310A CN 105139070 A CN105139070 A CN 105139070A
Authority
CN
China
Prior art keywords
mrow
msub
msup
msubsup
ann
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510536310.XA
Other languages
English (en)
Other versions
CN105139070B (zh
Inventor
孙伟
方世杰
张小瑞
张小娜
陈思嘉
骆美玲
程淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201510536310.XA priority Critical patent/CN105139070B/zh
Publication of CN105139070A publication Critical patent/CN105139070A/zh
Application granted granted Critical
Publication of CN105139070B publication Critical patent/CN105139070B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了基于人工神经网络和证据理论的疲劳驾驶评价方法,包括以下步骤,步骤一,采集疲劳特征数据样本;步骤二,构建人工神经网络,利用样本数据确定人工神经网络参数;步骤三,实时计算疲劳特征参数;步骤四,基于人工神经网络的特征级融合;步骤五,基于D-S证据理论的决策级融合;步骤六,根据决策规则进行驾驶状态辨识。本发明克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性,降低其误检率和漏检率,提高疲劳驾驶评价的可靠性和准确率,适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合。

Description

基于人工神经网络和证据理论的疲劳驾驶评价方法
技术领域
本发明涉及一种基于人工神经网络和证据理论的疲劳驾驶评价方法,属于驾驶员疲劳驾驶评价技术领域。
背景技术
疲劳驾驶检测和评价已成为汽车主动安全领域中的研究热点,其中基于物理传感器的非接触式疲劳驾驶检测方法在理论研究和应用领域近年来引起广泛重视。但现有的疲劳驾驶评价方法大都只针对驾驶员某一方面的单一疲劳特征,如频繁的眨眼和打呵欠,头部转动异常,或车辆行驶状态异常等。随着信息融合技术的发展,不少评价方法虽然已开始考虑融合多个疲劳特征,但它们大多只融合驾驶员面部的几个疲劳特征,而对于间接反应驾驶员是否疲劳的车辆行为特征,如因疲劳驾驶而产生的车辆异常偏离车道,方向盘转动和车速变化异常等却被忽略,导致目前这些方法的评价效果不够理想,容易造成误评,漏评等。同时,疲劳驾驶是一个非常复杂的生理现象,存在诱发原因多,症状复杂,难以检测和评价等问题,这些都给传统的疲劳驾驶评价方法带来了极大地挑战。
发明内容
为了解决上述技术问题,本发明提供了一种基于人工神经网络和证据理论的疲劳驾驶评价方法。
为了达到上述目的,本发明所采用的技术方案是:
基于人工神经网络和证据理论的疲劳驾驶评价方法,包括以下步骤,
步骤一,采集疲劳特征数据样本,用以人工神经网络训练;
步骤二,构建人工神经网络,利用样本数据确定人工神经网络参数;
步骤三,实时计算疲劳特征参数;
步骤四,基于人工神经网络的特征级融合;
步骤五,基于D-S证据理论的决策级融合;
步骤六,根据决策规则进行驾驶状态辨识。
疲劳特征数据样本采集过程为,
A1)招募若干受试驾驶员,并根据疲劳状态进行自我评价;
A2)对受试驾驶员的疲劳特征参数进行采集;
所述疲劳特征参数包括面部行为特征信号和车辆行为特征信号;
所述面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号;
所述车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号;
A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3;根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3
A4)利用EEG检测装置同步采集受试驾驶员脑电信号,记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β
rα,θ,β=(Pα+Pθ)/Pβ
其中,Pα,Pθ和Pβ分别为脑电波在α,θ和β三个波段的功率谱;
A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类;
当rα,θ,β<s1时,受试驾驶员的驾驶状态为“清醒”;
当s1≤rα,θ,β<s2时,受试驾驶员的驾驶状态为“轻度疲劳”;
当rα,θ,β≥s2时,受试驾驶员的驾驶状态为“重度疲劳”;
s1<s2,s1和s2均为设定的阈值;
A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较,当两者相同时,则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中,否则,作为无效数据剔除。
构建的人工神经网络有两个,第一个人工神经网络用ANN-1表示,第二个人工神经网络用ANN-2表示;
ANN-1结构为:将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量,ANN-1输出层神经元用y1,1、y1,2和y1,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-1隐含层神经元个数其中,a1为ANN-1输入层的神经元个数,b1为ANN-1输出层神经元个数,c1为一个常数;
ANN-2结构为:将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量,ANN-2输出层神经元用y2,1、y2,2和y2,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-2隐含层神经元个数其中,a2为ANN-2输入层的神经元个数,b2为ANN-2输出层神经元个数,c2为一个常数。
ANN-1和ANN-2的网络参数利用样本参数,通过BP算法训练确定;
ANN-1的网络参数通过BP算法训练确定的过程为:
B1)ANN-1网络参数初始化;
定义w1 i,j为ANN-1输入层与隐含层之间的连接权值,θ1 j为ANN-1输入层与隐含层之间的连接阈值,v1 j,t为ANN-1隐含层与输出层之间的连接权值,γ1 t为ANN-1隐含层与输出层之间的连接阈值,ε1为ANN-1训练的误差精度,nM为最大迭代次数;
其中,i、t、j均为整数,i∈[1,3],t∈[1,3],j∈[1,n1];
B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1 k
I 1 k = [ X 1 k , Y 1 k ]
其中,xk 1,1为第k个受试驾驶员的面部行为特征中的眨眼频率,xk 1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率,xk 1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值;
Y1 k=[yk 1,1,yk 1,2,yk 1,3],yk 1,1、yk 1,2和yk 1,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
B3)将作为ANN-1的输入向量,将Y1 k作为ANN-1的期望输出向量输到ANN-1中;
B4)定义N=1,w1 i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值,θ1 j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值,v1 j,t(1)为第一次迭代ANN-1隐含层与输出层之间的连接权值,γ1 t(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值;
B5)执行输入模式的正向传播过程;
正向传播过程如下:
a1)计算ANN-1隐含层各个神经元的输出
h 1 , j k = 1 / { 1 + exp [ - Σ i = 1 3 w 1 i , j · x k 1 , i - θ 1 j ] } ;
a2)计算ANN-1输出层各个神经元的实际输出
O 1 , t k = 1 / { 1 + exp [ - Σ j = 1 n 1 v 1 j , t · h 1 , j k - γ 1 t ] } ;
a3)计算ANN-1期望输出跟实际输出的误差
E 1 k = 1 2 Σ t = 1 3 ( y k 1 , t - O 1 , t k ) 2 ;
B6)执行误差的逆向传播过程;
逆向传播过程如下:
b1)计算ANN-1输出层各个单元的校正误差
d 1 , t k = ( y k 1 , t - O 1 , t k ) · O 1 , t k · ( 1 - O 1 , t k ) ;
b2)计算ANN-1隐含层各个单元的校正误差
e 1 , j k = [ Σ t = 1 3 d 1 , t k · v 1 j , t ] · h 1 , j k · ( 1 - h 1 , j k ) ;
B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1 i,j(N+1)和新阈值θ1 j(N+1);
w 1 i , j ( N + 1 ) = w 1 i , j ( N ) + β 1 · e 1 , j k · x k 1 , t
θ 1 j ( N + 1 ) = θ 1 j ( N ) + β 1 · e 1 , j k
其中,β1为ANN-1的学习系数;
B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1 j,t(N+1)和新阈值γ1 t(N+1);
v 1 j , t ( N + 1 ) = v 1 j , t ( N ) + α 1 · d 1 , t k · h 1 , j k
γ 1 t ( N + 1 ) = γ 1 t ( N ) + α 1 · d 1 , t k
其中,α1为ANN-1的学习系数;
B9)判断是否小于等于ε1,或者N+1是否等于nM,若满足,则训练结束,转至步骤B10,否则,N=N+1,转至步骤B5;
B10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-1的最优网络参数;
其中,作为ANN-1的最优网络参数的连接权值分别记作作为ANN-1的最优网络参数的连接阈值分别记作
ANN-2的网络参数通过BP算法训练确定的过程为:
C1)ANN-2网络参数初始化;
定义w2 i,j′为ANN-2输入层与隐含层之间的连接权值,θ2 j′为ANN-2输入层与隐含层之间的连接阈值,v2 j′,t为ANN-2隐含层与输出层之间的连接权值,γ2 t为ANN-2隐含层与输出层之间的连接阈值,ε2为ANN-2训练的误差精度;
其中,j′为整数,j′∈[1,n2];
C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2 k
I 2 k = [ X 2 k , Y 2 k ]
其中,xk 2,1为第k个受试驾驶员的车辆行为特征中的车辆横向偏离频率,xk 2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比,xk 2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差;
yk 2,1,yk 2,2和yk 2,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
C3)将作为ANN-2的输入向量,将作为ANN-2的期望输出向量输到ANN-2中;
C4)定义N=1,w2 i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值,θ2 j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值,v2 j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值,γ2 t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值;
C5)执行输入模式的正向传播过程;
正向传播过程如下:
c1)计算ANN-2隐含层各个神经元的输出
h 2 , j ′ k = 1 / { 1 + exp [ - Σ i = 1 3 w 2 i , j ′ · x k 2 , i - θ 2 j ′ ] } ;
c2)计算ANN-2输出层各个神经元的实际输出
O 2 , t k = 1 / { 1 + exp [ - Σ j ′ = 1 n 2 v 2 j ′ , t · h 2 , j ′ k - γ 2 t ] } ;
c3)计算ANN-2期望输出跟实际输出的误差
E 2 k = 1 2 Σ t = 1 3 ( y k 2 , t - O 2 , t k ) 2 ;
C6)执行误差的逆向传播过程;
逆向传播过程如下:
d1)计算ANN-2输出层各个单元的校正误差
d 2 , t k = ( y k 2 , t - O 2 , t k ) · O 2 , t k · ( 1 - O 2 , t k ) ;
d2)计算ANN-2隐含层各个单元的校正误差
e 2 , j ′ k = [ Σ t = 1 3 d 2 , t k · v 2 j ′ , t ] · h 2 , j ′ k · ( 1 - h 2 , j ′ k ) ;
C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值w2 i,j′(N+1)和新阈值θ2 j′(N+1);
w 2 i , j ′ ( N + 1 ) = w 2 i , j ′ ( N ) + β 2 · e 2 , j ′ k · x k 2 , i
θ 2 j ′ ( N + 1 ) = θ 2 j ′ ( N ) + β 2 · e 2 , j ′ k
其中,β2为ANN-2的学习系数;
C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2 j′,t(N+1)和新阈值γ2 t(N+1);
v 2 j ′ , t ( N + 1 ) = v 2 j ′ , t ( N ) + α 2 · d 2 , t k · h 2 , j ′ k
γ 2 t ( N + 1 ) = γ 2 t ( N ) + α 2 · d 2 , t k
其中,α2为ANN-2的学习系数;
C9)判断是否小于等于ε2,或者N+1是否等于nM,若满足,则训练结束,转至步骤C10,否则,N=N+1,转至步骤C5;
C10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-2的最优网络参数;
其中,作为ANN-2的最优网络参数的连接权值分别记作作为ANN-2的最优网络参数的连接阈值分别记作
实时计算疲劳特征参数的过程为,
D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号,分别记作
D2)根据计算出实时的眨眼频率打哈欠频率和眼睛持续闭合时间均值
根据计算出实时的车辆横向偏离频率方向盘零速转动百分比和车辆纵向车速方差
基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识;
ANN-1的特征级融合辨识:
作为ANN-1的输入,根据BP人工神经网络模型对车辆行为特征参数进行特征级融合,ANN-1的实际输出为
y ~ 1 , i = 1 / { 1 + exp [ - Σ j = 1 n 1 v ~ j , t 1 · h ~ i , j - γ ~ t 1 ] }
其中, h ~ 1 , j = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j 1 · x ~ 1 , i - θ ~ j 1 ] ) ;
ANN-2的特征级融合辨识:
作为ANN-2的输入,根据BP人工神经网络模型对车辆行为特征参数进行特征级融合,ANN-2的实际输出为
y ~ 2 , i = 1 / { 1 + exp [ - Σ j ′ = 1 n 2 v ~ j ′ , t 2 · h ~ 2 , j ′ - γ ~ t 2 ] }
其中, h ~ 2 , j ′ = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j ′ 2 · x ~ 2 , i - θ ~ j ′ 2 ] } .
基于D-S证据理论的决策级融合的过程为,
E1)对人工神经网络输出归一化处理;
将ANN-1的输出进行归一化处理,得到归一化后的结果
将ANN-2的输出进行归一化处理,得到归一化后的结果 y ‾ 2 , i = y ~ 2 , i / Σ i = 1 3 y ~ 2 , i ;
E2)证据理论识别框架基本概率分配;
令证据理论的识别框架Θ={A1,A2,A3},A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”,证据集e={e1,e2},e1和e2分别表示基于面部行为特征的证据体和基于车辆行为特征的证据体,m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配,即令 m 1 ( A 1 ) = y ‾ 1 , 1 , m 1 ( A 2 ) = y ‾ 1 , 2 , m 1 ( A 3 ) = y ‾ 1 , 3 , m 2 ( A 2 ) = y ‾ 2 , 1 , m 2 ( A 2 ) = y ‾ 2 , 2 , m 2 ( A 2 ) = y ‾ 2 , 3 ;
E3)基于D-S证据理论的决策级融合;
基于D-S证据理论的决策级融合的规则为,
m(Az)为决策级融合后的结果在识别框架ΘΘ上的基本概率分配,z为A的下标值,等于1,2或3,
所述决策规则的表达式为,
m ( A f ) = max { m ( A z ) , A z ⋐ Θ } m ( A s ) = max { m ( A z ) , A z ⋐ Θ a n d A z ≠ A f } m ( A f ) - m ( A s ) > ϵ T 1 m ( A f ) > ϵ T 2
其中,εT1和εT2为设定的阈值,m(Af)、m(As)分别表示m(A1),m(A2)和m(A3)中的最大值和第二大值,Af表示最大值所对应的驾驶状态,As表示第二大值所对应的驾驶状态;
当Af代表的驾驶状态为A1时,那么决策级融合的辨识结果为“清醒”;当Af代表的驾驶状态为A2时,那么决策级融合的辨识结果为“轻度疲劳”;当Af代表的驾驶状态为A3时,那么决策级融合的辨识结果为“重度疲劳”。
本发明所达到的有益效果:
1、本发明综合考虑反映疲劳驾驶的三个面部行为特征和三个车辆行为特征,其中,三个面部行为特征分别为眨眼频率,打呵欠频率和眼睛持续闭合时间均值,三个车辆行为特征分别为车辆横向偏离度,方向盘转动零速百分比以及车辆纵向车速方差,上述六个疲劳特征能够全面、客观、准确的衡量驾驶员的疲劳驾驶状态;
2、对来自两个信息源的六个疲劳特征参数,运用人工神经网络和D-S证据理论对驾驶员疲劳驾驶进行双级融合评价,克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性,降低其误检率和漏检率,提高疲劳驾驶评价的可靠性和准确率,适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合;
3、基于人工神经网络的特征级融合为后续决策级融合提供实时、客观、动态的基本概率分配,提高了疲劳驾驶融合辨识评价的准确性,克服现有融合方法主观、静态分配基本概率的缺陷。
附图说明
图1为本发明的流程图。
图2为确定ANN-1网络参数的流程图。
图3为确定ANN-2网络参数的流程图
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,基于人工神经网络和证据理论的疲劳驾驶评价方法,包括以下步骤:
步骤一,采集疲劳特征数据样本,用以人工神经网络训练。
疲劳特征数据样本采集过程为:
A1)招募若干受试驾驶员,并根据疲劳状态进行自我评价。
招募的受试驾驶员一般需要至少有3年驾龄,身体健康,无疾病,心情舒畅,实验前24小时没有酗酒,喝浓茶或咖啡。受试驾驶员在受试之前,需要根据受试内容和注意事项对自身疲劳状态进打分,自我评价自身的驾驶状态。如:得分在0、1或2时,状态为“清醒”,得分在3、4或5时,状态在“轻度疲劳”,得分在6或7时,状态为“重度疲劳”。
A2)对受试驾驶员的疲劳特征参数进行采集。
疲劳特征参数包括面部行为特征信号和车辆行为特征信号;面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号;车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号。
A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3;根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3
A4)利用EEG检测装置同步采集受试驾驶员脑电信号,记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β
rα,θ,β=(Pα+Pθ)/Pβ
其中,Pα,Pθ和Pβ分别为脑电波在α,θ和β三个波段的功率谱,在本这里α,θ和β三个波段的频域范围分别为(8-13Hz)、(4-8Hz)和(0.5-4Hz),利用傅里叶变换可以将EEG脑电信号分成上述三个波段。
A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类;
当rα,θ,β<s1时,受试驾驶员的驾驶状态为“清醒”;
当s1≤rα,θ,β<s2时,受试驾驶员的驾驶状态为“轻度疲劳”;
当rα,θ,β≥s2时,受试驾驶员的驾驶状态为“重度疲劳”;
s1<s2,s1和s2均为设定的阈值。
A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较,当两者相同时,则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中,否则,作为无效数据剔除。
步骤二,构建人工神经网络,利用样本数据确定人工神经网络参数。
构建的人工神经网络有两个,第一个人工神经网络用ANN-1表示,第二个人工神经网络用ANN-2表示。
ANN-1结构为:将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量,ANN-1输出层神经元用y1,1、y1,2和y1,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-1隐含层神经元个数此处n1=7,其中,a1为ANN-1输入层的神经元个数,b1为ANN-1输出层神经元个数,c1为一个常数,此处c1=5。
ANN-2结构为:将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量,ANN-2输出层神经元用y2,1、y2,2和y2,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-2隐含层神经元个数此处n2=7,其中,a2为ANN-2输入层的神经元个数,b2为ANN-2输出层神经元个数,c2为一个常数,此处c2=5。
ANN-1和ANN-2的网络参数利用样本参数,通过BP算法训练确定。
ANN-1的网络参数通过BP算法训练确定的过程如图2所示:
B1)ANN-1网络参数初始化;
定义w1 i,j为ANN-1输入层与隐含层之间的连接权值,θ1 j为ANN-1输入层与隐含层之间的连接阈值,v1 j,t为ANN-1隐含层与输出层之间的连接权值,γ1 t为ANN-1隐含层与输出层之间的连接阈值,ε1为ANN-1训练的误差精度,此处为0.001,nM为最大迭代次数,此处为10000;
其中,i、t、j均为整数,i∈[1,3],t∈[1,3],j∈[1,n1];
B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1 k
样本数据集I的第k个数据样本 I k = { x 1 , 1 k , x 1 , 2 k , x 1 , 3 k , x 2 , 1 k , x 2 , 2 k , x 2 , 3 k , y 1 , 1 k , y 1 , 2 k , y 1 , 3 k , y 2 , 1 k , y 2 , 2 k , y 2 , 3 k } , k表示数据样本的索引,k为自然数,k∈[1,CT],CT为数据样本的总数,当第k个数据样本被分类为“清醒”时,那么令都等于Fe均等于F′e,如果最终的驾驶状态被判定为“轻度疲劳”,那么令都等于Fe均等于F′e,如果最终的驾驶状态被判定为“重度疲劳”,那么令都等于Fe均等于F′e,其中,Fe为设定的一个阈值,F′e=0.5×(1-Fe),并且满足(Fe-F′e)≥0.5。
I 1 k = [ X 1 k , Y 1 k ]
其中,xk 1,1为第k个受试驾驶员的面部行为特征中的眨眼频率,xk 1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率,xk 1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值;
Y1 k=[yk 1,1,yk 1,2,yk 1,3],yk 1,1、yk 1,2和yk 1,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
B3)将作为ANN-1的输入向量,将Y1 k作为ANN-1的期望输出向量输到ANN-1中;
B4)定义N=1,w1 i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值,θ1 j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值,v1 j,t(1)为第一次迭代ANN-1隐含层与输出层之间的连接权值,γ1 t(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值;
B5)执行输入模式的正向传播过程;
正向传播过程如下:
a1)计算ANN-1隐含层各个神经元的输出
h 1 , j k = 1 / { 1 + exp [ - Σ i = 1 3 w 1 i , j · x k 1 , i - θ 1 j ] } ;
a2)计算ANN-1输出层各个神经元的实际输出
O 1 , t k = 1 / { 1 + exp [ - Σ j = 1 n 1 v 1 j , t · h 1 , j k - γ 1 t ] } ;
a3)计算ANN-1期望输出跟实际输出的误差
E 1 k = 1 2 Σ t = 1 3 ( y k 1 , t - O 1 , t k ) 2 ;
B6)执行误差的逆向传播过程;
逆向传播过程如下:
b1)计算ANN-1输出层各个单元的校正误差
d 1 , t k = ( y k 1 , t - O 1 , t k ) · O 1 , t k · ( 1 - O 1 , t k ) ;
b2)计算ANN-1隐含层各个单元的校正误差
e 1 , j k = [ Σ t = 1 3 d 1 , t k · v 1 j , t ] · h 1 , j k · ( 1 - h 1 , j k ) ;
B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1 i,j(N+1)和新阈值θ1 j(N+1);
w 1 i , j ( N + 1 ) = w 1 i , j ( N ) + β 1 · e 1 , j k · x k 1 , t
θ 1 j ( N + 1 ) = θ 1 j ( N ) + β 1 · e 1 , j k
其中,β1为ANN-1的学习系数,此处β1=0.15;
B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1 j,t(N+1)和新阈值γ1 t(N+1);
v 1 j , t ( N + 1 ) = v 1 j , t ( N ) + α 1 · d 1 , t k · h 1 , j k
γ 1 t ( N + 1 ) = γ 1 t ( N ) + α 1 · d 1 , t k
其中,α1为ANN-1的学习系数,此处α1=0.15;
B9)判断是否小于等于ε1,或者N+1是否等于nM,若满足,则训练结束,转至步骤B10,否则,N=N+1,转至步骤B5;
B10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-1的最优网络参数;
其中,作为ANN-1的最优网络参数的连接权值分别记作作为ANN-1的最优网络参数的连接阈值分别记作
ANN-2的网络参数通过BP算法训练确定的过程如图3所示:
C1)ANN-2网络参数初始化;
定义w2 i,j′为ANN-2输入层与隐含层之间的连接权值,θ2 j′为ANN-2输入层与隐含层之间的连接阈值,v2 j′,t为ANN-2隐含层与输出层之间的连接权值,γ2 t为ANN-2隐含层与输出层之间的连接阈值,ε2为ANN-2训练的误差精度,此处为0001;
其中,j′为整数,j′∈[1,n2];
C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2 k
用I2 k表示第k个受试驾驶员的车辆行为特征的样本数据,
I 2 k = [ X 2 k , Y 2 k ]
其中,xk 2,1为第k个受试驾驶员的车辆行为特征中的车辆横向偏离频率,xk 2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比,xk 2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差;
yk 2,1,yk 2,2和yk 2,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
C3)将作为ANN-2的输入向量,将作为ANN-2的期望输出向量输到ANN-2中;
C4)定义N=1,w2 i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值,θ2 j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值,v2 j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值,γ2 t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值;
C5)执行输入模式的正向传播过程;
正向传播过程如下:
c1)计算ANN-2隐含层各个神经元的输出
h 2 , j ′ k = 1 / { 1 + exp [ - Σ i = 1 3 w 2 i , j ′ · x k 2 , i - θ 2 j ′ ] } ;
c2)计算ANN-2输出层各个神经元的实际输出
O 2 , t k = 1 / { 1 + exp [ - Σ j ′ = 1 n 2 v 2 j ′ , t · h 2 , j ′ k - γ 2 t ] } ;
c3)计算ANN-2期望输出跟实际输出的误差
E 2 k = 1 2 Σ t = 1 3 ( y k 2 , t - O 2 , t k ) 2 ;
C6)执行误差的逆向传播过程;
逆向传播过程如下:
d1)计算ANN-2输出层各个单元的校正误差
d 2 , t k = ( y k 2 , t - O 2 , t k ) · O 2 , t k · ( 1 - O 2 , t k ) ;
d2)计算ANN-2隐含层各个单元的校正误差
e 2 , j ′ k = [ Σ t = 1 3 d 2 , t k · v 2 j ′ , t ] · h 2 , j ′ k · ( 1 - h 2 , j ′ k ) ;
C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值连接权值w2 i,j′(N+1)和新阈值θ2 j′(N+1);
w 2 i , j ′ ( N + 1 ) = w 2 i , j ′ ( N ) + β 2 · e 2 , j ′ k · x k 2 , i
θ 2 j ′ ( N + 1 ) = θ 2 j ′ ( N ) + β 2 · e 2 , j ′ k
其中,β2为ANN-2的学习系数,此处β2=0.15;
C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2 j′,t(N+1)和新阈值γ2 t(N+1);
v 2 j ′ , t ( N + 1 ) = v 2 j ′ , t ( N ) + α 2 · d 2 , t k · h 2 , j ′ k
γ 2 t ( N + 1 ) = γ 2 t ( N ) + α 2 · d 2 , t k
其中,α2为ANN-2的学习系数,此处α2=0.15;
C9)判断是否小于等于ε2,或者N+1是否等于nM,若满足,则训练结束,转至步骤C10,否则,N=N+1,转至步骤C5;
C10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-2的最优网络参数;
其中,作为ANN-2的最优网络参数的连接权值分别记作作为ANN-2的最优网络参数的连接阈值分别记作
步骤三,实时计算疲劳特征参数。
实时计算疲劳特征参数的过程为:
D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号,分别记作
D2)根据计算出实时的眨眼频率打哈欠频率和眼睛持续闭合时间均值
根据计算出实时的车辆横向偏离频率方向盘零速转动百分比和车辆纵向车速方差
步骤四,基于人工神经网络的特征级融合。
基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识。
ANN-1的特征级融合辨识:
作为ANN-1的输入,根据BP人工神经网络模型对面部行为特征参数进行特征级融合,ANN-1的实际输出为
y ~ 1 , i = 1 / { 1 + exp [ - Σ j = 1 n 1 v ~ j , t 1 · h ~ 1 , j - γ ~ t 1 ] }
其中, h ~ 1 , j = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j 1 · x ~ 1 , i - θ ~ j 1 ] ) ;
ANN-2的特征级融合辨识:
作为ANN-2的输入,根据BP人工神经网络模型对车辆行为特征参数进行特征级融合,ANN-2的实际输出为
y ~ 2 , i = 1 / { 1 + exp [ - Σ j = 1 n 2 v ~ j ′ , t 2 · h ~ 2 , j ′ - γ ~ t 2 ] }
其中, h ~ 2 , j ′ = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j ′ 2 · x ~ 2 , i - θ ~ j ′ 2 ] } .
步骤五,基于D-S证据理论的决策级融合。
基于D-S证据理论的决策级融合的过程为,
E1)对人工神经网络输出归一化处理;
将ANN-1的输出进行归一化处理,得到归一化后的结果
将ANN-2的输出进行归一化处理,得到归一化后的结果 y ‾ 2 , i = y ~ 2 , i / Σ i = 1 3 y ~ 2 , i ;
E2)证据理论识别框架基本概率分配;
令证据理论的识别框架Θ={A1,A2,A3},A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”,证据集e={e1,e2},e1和e2分别表示基于面部行为特征的证据体和基于车辆行为特征的证据体,m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配,即令 m 1 ( A 1 ) = y ‾ 1 , 1 , m 1 ( A 2 ) = y ‾ 1 , 2 , m 1 ( A 3 ) = y ‾ 1 , 3 , m 2 ( A 2 ) = y ‾ 2 , 1 , m 2 ( A 2 ) = y ‾ 2 , 2 , m 2 ( A 2 ) = y ‾ 2 , 3 ;
E3)基于D-S证据理论的决策级融合;
基于D-S证据理论的决策级融合的规则为,
m(Az)为决策级融合后的结果在识别框架ΘΘ上的基本概率分配,z为表示A的下标值,等于1,2或3,
步骤六,根据决策规则进行驾驶状态辨识。
决策规则的表达式为,
m ( A f ) = max { m ( A z ) , A z ⋐ Θ } m ( A s ) = max { m ( A z ) , A z ⋐ Θ a n d A z ≠ A f } m ( A f ) - m ( A s ) > ϵ T 1 m ( A f ) > ϵ T 2
其中,εT1和εT2为设定的阈值,m(Af)、m(As)分别表示m(A1),m(A2)和m(A3)中的最大值和第二大值,Af表示最大值所对应的驾驶状态,As表示第二大值所对应的驾驶状态;;
当Af代表的驾驶状态为A1时,那么决策级融合的辨识结果为“清醒”;当Af代表的驾驶状态为A2时,那么决策级融合的辨识结果为“轻度疲劳”;当Af代表的驾驶状态为A3时,那么决策级融合的辨识结果为“重度疲劳”。
综上所述,上述评价方法克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性,降低其误检率和漏检率,提高疲劳驾驶评价的可靠性和准确率,适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:包括以下步骤,
步骤一,采集疲劳特征数据样本,用以人工神经网络训练;
步骤二,构建人工神经网络,利用样本数据确定人工神经网络参数;
步骤三,实时计算疲劳特征参数;
步骤四,基于人工神经网络的特征级融合;
步骤五,基于D-S证据理论的决策级融合;
步骤六,根据决策规则进行驾驶状态辨识。
2.根据权利要求1所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:疲劳特征数据样本采集过程为,
A1)招募若干受试驾驶员,并根据疲劳状态进行自我评价;
A2)对受试驾驶员的疲劳特征参数进行采集;
所述疲劳特征参数包括面部行为特征信号和车辆行为特征信号;
所述面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号;
所述车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号;
A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3;根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3
A4)利用EEG检测装置同步采集受试驾驶员脑电信号,记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β
rα,θ,β=(Pα+Pθ)/Pβ
其中,Pα,Pθ和Pβ分别为脑电波在α,θ和β三个波段的功率谱;
A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类;
当rα,θ,β<s1时,受试驾驶员的驾驶状态为“清醒”;
当s1≤rα,θ,β<s2时,受试驾驶员的驾驶状态为“轻度疲劳”;
当rα,θ,β≥s2时,受试驾驶员的驾驶状态为“重度疲劳”;
s1<s2,s1和s2均为设定的阈值;
A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较,当两者相同时,则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中,否则,作为无效数据剔除。
3.根据权利要求2所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:构建的人工神经网络有两个,第一个人工神经网络用ANN-1表示,第二个人工神经网络用ANN-2表示;
ANN-1结构为:将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量,ANN-1输出层神经元用y1,1、y1,2和y1,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-1隐含层神经元个数其中,a1为ANN-1输入层的神经元个数,b1为ANN-1输出层神经元个数,c1为一个常数;
ANN-2结构为:将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量,ANN-2输出层神经元用y2,1、y2,2和y2,3表示,分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值,ANN-2隐含层神经元个数其中,a2为ANN-2输入层的神经元个数,b2为ANN-2输出层神经元个数,c2为一个常数。
4.根据权利要求3所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:ANN-1和ANN-2的网络参数利用样本参数,通过BP算法训练确定;
ANN-1的网络参数通过BP算法训练确定的过程为:
B1)ANN-1网络参数初始化;
定义w1 i,j为ANN-1输入层与隐含层之间的连接权值,θ1 j为ANN-1输入层与隐含层之间的连接阈值,v1 j,t为ANN-1隐含层与输出层之间的连接权值,γ1 t为ANN-1隐含层与输出层之间的连接阈值,ε1为ANN-1训练的误差精度,nM为最大迭代次数;
其中,i、t、j均为整数,i∈[1,3],t∈[1,3],j∈[1,n1];
B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1 k
I 1 k = [ X 1 k , Y 1 k ]
其中,xk 1,1为第k个受试驾驶员的面部行为特征中的眨眼频率,xk 1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率,xk 1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值;
yk 1,1、yk 1,2和yk 1,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
B3)将作为ANN-1的输入向量,将作为ANN-1的期望输出向量输到ANN-1中;
B4)定义N=1,w1 i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值,θ1 j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值,v1 j,t(1)为第一次迭代ANN-1隐含层与输出层之间的连接权值,γ1 t(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值;
B5)执行输入模式的正向传播过程;
正向传播过程如下:
a1)计算ANN-1隐含层各个神经元的输出
h 1 , j k = 1 / { 1 + exp [ - Σ i = 1 3 w 1 i , j · x k 1 , i - θ 1 j ] } ;
a2)计算ANN-1输出层各个神经元的实际输出
O 1 , t k = 1 / { 1 + exp [ - Σ j = 1 n 1 v 1 j , t · h 1 , j k - γ 1 t ] } ;
a3)计算ANN-1期望输出跟实际输出的误差
E 1 k = 1 2 Σ t = 1 3 ( y k 1 , t - O 1 , t k ) 2 ;
B6)执行误差的逆向传播过程;
逆向传播过程如下:
b1)计算ANN-1输出层各个单元的校正误差
d 1 , t k = ( y k 1 , t - O 1 , t k ) · O 1 , t k · ( 1 - O 1 , t k ) ;
b2)计算ANN-1隐含层各个单元的校正误差
e 1 , j k = [ Σ t = 1 3 d 1 , t k · v 1 j , t ] · h 1 , j k · ( 1 - h 1 , j k ) ;
B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1 i,j(N+1)和新阈值θ1 j(N+1);
w 1 i , j ( N + 1 ) = w 1 i , j ( N ) + β 1 · e 1 , j k · x k 1 , i
θ 1 j ( N + 1 ) = θ 1 j ( N ) + β 1 · e 1 , j k
其中,β1为ANN-1的学习系数;
B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1 j,t(N+1)和新阈值γ1 t(N+1);
v 1 j , t ( N + 1 ) = v 1 j , t ( N ) + α 1 · d 1 , t k · h 1 , j k
γ 1 t ( N + 1 ) = γ 1 t ( N ) + α 1 · d 1 , t k
其中,α1为ANN-1的学习系数;
B9)判断是否小于等于ε1,或者N+1是否等于nM,若满足,则训练结束,转至步骤B10,否则,N=N+1,转至步骤B5;
B10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-1的最优网络参数;
其中,作为ANN-1的最优网络参数的连接权值分别记作作为ANN-1的最优网络参数的连接阈值分别记作
ANN-2的网络参数通过BP算法训练确定的过程为:
C1)ANN-2网络参数初始化;
定义w2 i,j′为ANN-2输入层与隐含层之间的连接权值,θ2 j′为ANN-2输入层与隐含层之间的连接阈值,v2 j′,t为ANN-2隐含层与输出层之间的连接权值,γ2 t为ANN-2隐含层与输出层之间的连接阈值,ε2为ANN-2训练的误差精度;
其中,j′为整数,j′∈[1,n2];
C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2 k
I 2 k = [ X 2 k , Y 2 k ]
其中,xk 2,1为第k个受试驾驶员的车辆行为特征中的车辆横向偏离频率,xk 2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比,xk 2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差;
yk 2,1,yk 2,2和yk 2,3分别表示第k个数据样本在“清醒”,“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值;
C3)将作为ANN-2的输入向量,将作为ANN-2的期望输出向量输到ANN-2中;
C4)定义N=1,w2 i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值,θ2 j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值,v2 j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值,γ2 t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值;
C5)执行输入模式的正向传播过程;
正向传播过程如下:
c1)计算ANN-2隐含层各个神经元的输出
h 2 , j ′ k = 1 / { 1 + exp [ - Σ i = 1 3 w 2 i , j ′ · x k 2 , i - θ 2 j ′ ] } ;
c2)计算ANN-2输出层各个神经元的实际输出
O 2 , t k = 1 / { 1 + exp [ - Σ j ′ = 1 n 2 v 2 j ′ , t · h 2 , j ′ k - γ 2 t ] } ;
c3)计算ANN-2期望输出跟实际输出的误差
E 2 k = 1 2 Σ t = 1 3 ( y k 2 , t - O 2 , t k ) 2 ;
C6)执行误差的逆向传播过程;
逆向传播过程如下:
d1)计算ANN-2输出层各个单元的校正误差
d 2 , t k = ( y k 2 , t - O 2 , t k ) · O 2 , t k · ( 1 - O 2 , t k ) ;
d2)计算ANN-2隐含层各个单元的校正误差
e 2 , j ′ k = [ Σ t = 1 3 d 2 , t k · v 2 j ′ , t ] · h 2 , j ′ k · ( 1 - h 2 , j ′ k ) ;
C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值w2 i,j′(N+1)和新阈值θ2 j′(N+1);
w 2 i , j ′ ( N + 1 ) = w 2 i , j ′ ( N ) + β 2 · e 2 , j ′ k · x k 2 , i
θ 2 j ′ ( N + 1 ) = θ 2 j ′ ( N ) + β 2 · e 2 , j ′ k
其中,β2为ANN-2的学习系数;
C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2 j′,t(N+1)和新阈值γ2 t(N+1);
v 2 j ′ , t ( N + 1 ) = v 2 j ′ , t ( N ) + α 2 · d 2 , t k · h 2 , j ′ k
γ 2 t ( N + 1 ) = γ 2 t ( N ) + α 2 · d 2 , t k
其中,α2为ANN-2的学习系数;
C9)判断是否小于等于ε2,或者N+1是否等于nM,若满足,则训练结束,转至步骤C10,否则,N=N+1,转至步骤C5;
C10)将满足步骤B9条件时,训练获得的连接权值和阈值作为ANN-2的最优网络参数;
其中,作为ANN-2的最优网络参数的连接权值分别记作作为ANN-2的最优网络参数的连接阈值分别记作
5.根据权利要求4所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:实时计算疲劳特征参数的过程为,
D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号,分别记作
D2)根据计算出实时的眨眼频率打哈欠频率和眼睛持续闭合时间均值根据计算出实时的车辆横向偏离频率方向盘零速转动百分比和车辆纵向车速方差
6.根据权利要求5所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识;
ANN-1的特征级融合辨识:
作为ANN-1的输入,根据BP人工神经网络模型对面部行为特征参数进行特征级融合,ANN-1的实际输出为
y ~ 1 , i = 1 / { 1 + exp [ - Σ j = 1 n 1 v ~ j , t 1 · h ~ i , j - γ ~ t 1 ] }
其中, h ~ 1 , j = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j 1 · x ~ 1 , i - θ ~ j 1 ] ) ;
ANN-2的特征级融合辨识:
作为ANN-2的输入,根据BP人工神经网络模型对车辆行为特征参数进行特征级融合,ANN-2的实际输出为
y ~ 2 , i = 1 / { 1 + exp [ - Σ j ′ = 1 n 2 v ~ j ′ , t 2 · h ~ 2 , j ′ - γ ~ t 2 ] }
其中, h ~ 2 , j ′ = 1 / { 1 + exp [ - Σ i = 1 3 w ~ i , j ′ 2 · x ~ 2 , i - θ ~ j ′ 2 ] } .
7.根据权利要求6所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:基于D-S证据理论的决策级融合的过程为,
E1)对人工神经网络输出归一化处理;
将ANN-1的输出进行归一化处理,得到归一化后的结果
将ANN-2的输出进行归一化处理,得到归一化后的结果 y ‾ 2 , i = y ~ 2 , i / Σ i = 1 3 y ~ 2 , i ;
E2)证据理论识别框架基本概率分配;
令证据理论的识别框架Θ={A1,A2,A3},A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”,证据集e={e1,e2},e1和e2分别表示基于面部行为特征的证据体和基于车辆行为特征的证据体,m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配,将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配,即令 m 1 ( A 1 ) = y ‾ 1 , 1 , m 1 ( A 2 ) = y ‾ 1 , 2 , m 1 ( A 3 ) = y ‾ 1 , 3 , m 2 ( A 2 ) = y ‾ 2 , 1 , m 2 ( A 2 ) = y ‾ 2 , 2 , m 2 ( A 2 ) = y ‾ 2 , 3 ;
E3)基于D-S证据理论的决策级融合;
基于D-S证据理论的决策级融合的规则为,
m(Az)为决策级融合后的结果在识别框架Θ上的基本概率分配,z为A的下标值,等于1,2或3,
8.根据权利要求7所述的基于人工神经网络和证据理论的疲劳驾驶评价方法,其特征在于:所述决策规则的表达式为,
m ( A f ) = max { m ( A z ) , A z ⋐ Θ } m ( A s ) = max { m ( A z ) , A z ⋐ Θ a n d A z ≠ A f } m ( A f ) - m ( A s ) > ϵ T 1 m ( A f ) > ϵ T 2 m ( A 3 )
其中,εT1和εT2为设定的阈值,m(Af)、m(As)分别表示m(A1),m(A2)和中的最大值和第二大值,Af表示最大值所对应的驾驶状态,As表示第二大值所对应的驾驶状态;
当Af代表的驾驶状态为A1时,那么决策级融合的辨识结果为“清醒”;当Af代表的驾驶状态为A2时,那么决策级融合的辨识结果为“轻度疲劳”;当Af代表的驾驶状态为A3时,那么决策级融合的辨识结果为“重度疲劳”。
CN201510536310.XA 2015-08-27 2015-08-27 基于人工神经网络和证据理论的疲劳驾驶评价方法 Expired - Fee Related CN105139070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510536310.XA CN105139070B (zh) 2015-08-27 2015-08-27 基于人工神经网络和证据理论的疲劳驾驶评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510536310.XA CN105139070B (zh) 2015-08-27 2015-08-27 基于人工神经网络和证据理论的疲劳驾驶评价方法

Publications (2)

Publication Number Publication Date
CN105139070A true CN105139070A (zh) 2015-12-09
CN105139070B CN105139070B (zh) 2018-02-02

Family

ID=54724412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510536310.XA Expired - Fee Related CN105139070B (zh) 2015-08-27 2015-08-27 基于人工神经网络和证据理论的疲劳驾驶评价方法

Country Status (1)

Country Link
CN (1) CN105139070B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN106200939A (zh) * 2016-06-29 2016-12-07 广东欧珀移动通信有限公司 基于终端设备的视力保护方法、装置及终端设备
CN106236047A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测系统的控制方法
CN106372580A (zh) * 2016-08-25 2017-02-01 合肥工业大学 基于自适应谐振理论变种算法的驾驶行为识别方法
CN106691440A (zh) * 2016-12-07 2017-05-24 中国民用航空总局第二研究所 基于bp神经网络的管制员疲劳检测方法及系统
CN107316436A (zh) * 2017-07-31 2017-11-03 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN107766876A (zh) * 2017-09-19 2018-03-06 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN107797931A (zh) * 2017-11-13 2018-03-13 长春长光精密仪器集团有限公司 一种基于二次评价的软件质量评价方法及系统
CN107856536A (zh) * 2017-09-09 2018-03-30 深圳市赛亿科技开发有限公司 一种疲劳驾驶监测装置及监测方法
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN108407816A (zh) * 2018-01-19 2018-08-17 杭州砺玛物联网科技有限公司 一种汽车驾驶员驾驶评估方法及系统
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技(上海)有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109521873A (zh) * 2018-10-26 2019-03-26 蓝色传感(北京)科技有限公司 基于协作式脑机接口控制系统及信号协作方法
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN109927730A (zh) * 2019-03-26 2019-06-25 武汉极目智能技术有限公司 一种基于dms系统的实时疲劳驾驶行为评分系统和方法
CN109934171A (zh) * 2019-03-14 2019-06-25 合肥工业大学 基于分层网络模型的驾驶员消极驾驶状态在线感知方法
CN110268456A (zh) * 2017-03-14 2019-09-20 欧姆龙株式会社 驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
CN110448316A (zh) * 2018-05-07 2019-11-15 欧姆龙株式会社 数据处理装置及方法、监测系统、唤醒系统以及记录介质
CN112052905A (zh) * 2020-09-11 2020-12-08 重庆科技学院 一种基于循环神经网络的驾驶人多操作疲劳特征提取方法
CN113312948A (zh) * 2020-03-26 2021-08-27 香港生产力促进局 一种使用深度学习模型检测睡意的方法、设备及系统
US11529960B2 (en) * 2019-09-26 2022-12-20 Penta Security Systems Inc. Method and apparatus for detecting driver's abnormalities based on machine learning using vehicle can bus signal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101746269A (zh) * 2010-01-08 2010-06-23 东南大学 基于软计算的疲劳驾驶融合检测方法
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN104598993A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于眨眼次数的驾驶员疲劳驾驶预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN101746269A (zh) * 2010-01-08 2010-06-23 东南大学 基于软计算的疲劳驾驶融合检测方法
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN104598993A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于眨眼次数的驾驶员疲劳驾驶预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHU J W ETAL.: "A Monitoring Method of Driver Fatigue Behavior Based on Machine Vision", 《PROCEEDINGS OF INTELLIGENT VEHICLE SYMPOSIUM.PARMA,ITALY》 *
HAYASHI K ETAL.: "Individualized Drowsiness Detection during Driving by Pulse Wave Analysis with Neural Network", 《PROCEEDINGS OF THE 8TH IEEE INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS.VIENNA,AUSTRIA》 *
肖献强 等: "基于信息融合的驾驶行为识别技术的研究", 《汽车工程》 *
郭孜政 等: "基于证据理论的驾驶行为险态识别方法", 《东南大学学报(自然科学版)》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105769120B (zh) * 2016-01-27 2019-01-22 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN106200939A (zh) * 2016-06-29 2016-12-07 广东欧珀移动通信有限公司 基于终端设备的视力保护方法、装置及终端设备
CN106200939B (zh) * 2016-06-29 2019-04-19 Oppo广东移动通信有限公司 基于终端设备的视力保护方法、装置及终端设备
CN106372580B (zh) * 2016-08-25 2019-04-05 合肥工业大学 基于自适应谐振理论变种算法的驾驶行为识别方法
CN106372580A (zh) * 2016-08-25 2017-02-01 合肥工业大学 基于自适应谐振理论变种算法的驾驶行为识别方法
CN106236047A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测系统的控制方法
CN106691440A (zh) * 2016-12-07 2017-05-24 中国民用航空总局第二研究所 基于bp神经网络的管制员疲劳检测方法及系统
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN110268456A (zh) * 2017-03-14 2019-09-20 欧姆龙株式会社 驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
CN107316436B (zh) * 2017-07-31 2021-06-18 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN107316436A (zh) * 2017-07-31 2017-11-03 努比亚技术有限公司 危险驾驶状态处理方法、电子设备及存储介质
CN107856536A (zh) * 2017-09-09 2018-03-30 深圳市赛亿科技开发有限公司 一种疲劳驾驶监测装置及监测方法
CN107766876A (zh) * 2017-09-19 2018-03-06 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN107797931A (zh) * 2017-11-13 2018-03-13 长春长光精密仪器集团有限公司 一种基于二次评价的软件质量评价方法及系统
CN108407816B (zh) * 2018-01-19 2020-07-10 杭州砺玛物联网科技有限公司 一种汽车驾驶员驾驶评估方法及系统
CN108407816A (zh) * 2018-01-19 2018-08-17 杭州砺玛物联网科技有限公司 一种汽车驾驶员驾驶评估方法及系统
CN110448316A (zh) * 2018-05-07 2019-11-15 欧姆龙株式会社 数据处理装置及方法、监测系统、唤醒系统以及记录介质
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技(上海)有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109521873A (zh) * 2018-10-26 2019-03-26 蓝色传感(北京)科技有限公司 基于协作式脑机接口控制系统及信号协作方法
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN109934171A (zh) * 2019-03-14 2019-06-25 合肥工业大学 基于分层网络模型的驾驶员消极驾驶状态在线感知方法
CN109934171B (zh) * 2019-03-14 2020-03-17 合肥工业大学 基于分层网络模型的驾驶员消极驾驶状态在线感知方法
CN109927730A (zh) * 2019-03-26 2019-06-25 武汉极目智能技术有限公司 一种基于dms系统的实时疲劳驾驶行为评分系统和方法
US11529960B2 (en) * 2019-09-26 2022-12-20 Penta Security Systems Inc. Method and apparatus for detecting driver's abnormalities based on machine learning using vehicle can bus signal
CN113312948A (zh) * 2020-03-26 2021-08-27 香港生产力促进局 一种使用深度学习模型检测睡意的方法、设备及系统
CN112052905A (zh) * 2020-09-11 2020-12-08 重庆科技学院 一种基于循环神经网络的驾驶人多操作疲劳特征提取方法
CN112052905B (zh) * 2020-09-11 2023-02-03 重庆科技学院 一种基于循环神经网络的驾驶人多操作疲劳特征提取方法

Also Published As

Publication number Publication date
CN105139070B (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN105139070B (zh) 基于人工神经网络和证据理论的疲劳驾驶评价方法
Abou Elassad et al. A proactive decision support system for predicting traffic crash events: A critical analysis of imbalanced class distribution
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
Li et al. A novel learning model of driver fatigue features representation for steering wheel angle
Daza et al. Drowsiness monitoring based on driver and driving data fusion
Sajid et al. An efficient deep learning framework for distracted driver detection
Das et al. Differentiating alcohol-induced driving behavior using steering wheel signals
Li et al. Drunk driving detection based on classification of multivariate time series
CN108294759A (zh) 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN101746269A (zh) 基于软计算的疲劳驾驶融合检测方法
CN103839033A (zh) 一种基于模糊规则的人脸识别方法
KR102387886B1 (ko) 인공지능 학습을 위한 클린 라벨 데이터 정제 방법 및 장치
CN115526864A (zh) 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法
Chen et al. Robust vehicle detection and viewpoint estimation with soft discriminative mixture model
Wang et al. A real-time driver fatigue identification method based on GA-GRNN
He et al. Boosting transfer learning improves performance of driving drowsiness classification using EEG
Qiu et al. Use of triplet-loss function to improve driving anomaly detection using conditional generative adversarial network
Yang et al. LLD-MFCOS: A Multi-scale Anchor-Free Detector Based on Label Localization Distillation for Wheelset Tread Defect Detection
CN114241458A (zh) 一种基于姿态估计特征融合的驾驶员行为识别方法
Wu et al. Driver Drowsiness Detection and Alert System Development Using Object Detection.
CN104224205B (zh) 一种基于简易心电采集和匹配的疲劳检测方法
Bajaj et al. AI based novel approach to detect driver drowsiness
Wang et al. A fatigue driving detection method based on deep learning and image processing
CN116824558A (zh) 一种面向3d点云图像数据的疲劳驾驶行为识别方法
Ma et al. Driver Drowsiness Detection Based On ResNet-18 And Transfer Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190124

Address after: 200050 10th Floor, 369 Weining Road, Changning District, Shanghai

Patentee after: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: 210044 Ning six road, Nanjing, Jiangsu Province, No. 219

Patentee before: Nanjing University of Information Science and Technology

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202