CN110147738A - 一种驾驶员疲劳监测预警方法及系统 - Google Patents
一种驾驶员疲劳监测预警方法及系统 Download PDFInfo
- Publication number
- CN110147738A CN110147738A CN201910352155.4A CN201910352155A CN110147738A CN 110147738 A CN110147738 A CN 110147738A CN 201910352155 A CN201910352155 A CN 201910352155A CN 110147738 A CN110147738 A CN 110147738A
- Authority
- CN
- China
- Prior art keywords
- head
- image
- human
- hand
- fatigue monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种驾驶员疲劳监测预警方法及系统，所述方法包括采集图像和输出疲劳预警信息，还包括：对采集的图像进行人体检测；进行人体骨架模型检测；进行头部和/或手部定位；对头部和/或手部的位置进行判断；根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。本发明的驾驶员疲劳监测预警方法及系统针对深海长航设备密闭空间驾驶的特点，可以有效对驾驶员疲劳进行监测及预警，克服了简单的基于面部图像处理的疲劳监测技术无法适应深海长海人员疲劳监测的缺点。同时本发明中的神经网络经过了大量丰富样本的反复训练，其对人体相关部件的检测精度和速度更高，鲁棒性更好。
Description
技术领域
本发明涉及安全驾驶领域，具体涉及一种驾驶员疲劳监测预警方法及系统。
背景技术
驾驶员长时间保持驾驶状态极易产生疲劳，疲劳驾驶极易发生严重事故，有效检测驾驶员是否处于疲劳状态并在驾驶员疲劳驾驶时给予提醒可以有效预防事故的发生。当前有各种检测驾驶员疲劳驾驶的技术，如基于面部表情识别的疲劳驾驶检测技术、基于连续驾驶时间监测的疲劳驾驶检测技术、基于车辆数据的疲劳驾驶检测技术等。
申请号为2016100569844的发明专利公开了一种疲劳驾驶检测方法和装置，所述方法包括接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼；基于深度神经网络模型，对检测到的人眼进行定位，识别人员的状态；以及跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。对于深海长航设备密闭空间的驾驶员，因为设备可以实现半自动化甚至全自动化驾驶而无需驾驶员时刻集中注意力及抓握方向盘，因此允许驾驶员驾驶更长的时间或者驾驶员短暂离开驾驶区，此种情况下当驾驶员发生疲劳时，驾驶员更容易出现身体姿态的变化，如手部支头或趴卧在驾驶台。仅对驾驶员面部进行图像采集及处理的装置及方法不适用于深海长航设备密闭空间的驾驶员疲劳检测。
发明内容
为解决以上技术问题，本发明提供了一种驾驶员疲劳监测预警方法及系统，其针对深海长航设备密闭空间驾驶的特点，可以有效对驾驶员的驾驶状态进行监测及疲劳驾驶预警。
一种驾驶员疲劳监测预警方法，包括采集图像和输出疲劳预警信息，其特征在于：还包括：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
优选的是，对采集的图像进行人体检测基于深度学习技术，采用轻量级卷积神经网络。
上述任一方案优选的是，所述轻量级卷积神经网络经过端对端的单阶段训练。
上述任一方案优选的是，所述轻量级卷积神经网络具有2个不同的3x3卷积核对特征图进行卷积。
上述任一方案优选的是，所述2个不同的3x3卷积核一个用于输出人体的类别概率，一个用于输出人体框的位置信息。
上述任一方案优选的是，使用非极大值抑制方法将3x3卷积核输出的结果综合，形成人体检测结果。
上述任一方案优选的是，采集的图像中检测到人体时，对图像进行人体骨架模型检测。
上述任一方案优选的是，进行人体骨架模型检测包括：
利用深度卷积神经网络对输入图片进行处理，输出人体上身各部位在图片中所处的位置及对应的置信度；
预测人体上身各部位间的关联向量场来表示各部位之间的连接关系；
采用贪心算法对各部位位置和部位间的关联向量场进行推理得到人体骨架模型。
上述任一方案优选的是，所述输出人体上身各部位在图片中所处的位置包括：
提取人体眼睛、耳朵、鼻子、颈部、肩关节、肘关节、腕关节和髋关节中的至少一个部位的中心位置作为关键点；
输出提取的关键点的位置。
上述任一方案优选的是，通过骨架模型的姿态变化，判断驾驶员是否处于疲劳状态。
上述任一方案优选的是，采集的图像中检测到人体时，对采集的图像进行头部和/或手部定位。
上述任一方案优选的是，采用视觉检测技术，通过轻量级目标检测网络实现头部和/或手部定位检测。
上述任一方案优选的是，所述头部和/或手部的定位检测包括bounding box(边框)回归和分类置信度回归。
上述任一方案优选的是，对采集的图像进行头部和/或手部定位检测时，图像作为目标检测网络的输入，被划分为多个网格，为每个网格预测多个边框及相应的分类置信度。
上述任一方案优选的是，所示网格边框包括四个参数，表示为bounding box(x,y,w,h)，其中(x，y)代表与网格相关的边框的中心，(w，h)为与全图信息相关的边框的宽和高。
上述任一方案优选的是，所述分类置信度为每个类别的概率、是物体的概率、重叠度(IOU)的乘积。
上述任一方案优选的是，所述轻量级目标检测网络经过训练，对其进行训练的样本集建立包括：
选取足够多的含有目标的图像并对图像中的目标进行人工标注；
对包含目标且含有不同复杂背景的图片进行训练和检测评估；
根据训练和检测评估结果，对选取的图像进行包括增添、删改在内的更新处理；
对更新后的图片再次进行训练、检测评估及更新处理，直至甄选出最为合适的图像形成样本集。
上述任一方案优选的是，采用所述样本集和轻量级目标检测网络，训练出检测模型。
上述任一方案优选的是，对训练出的检测模型进行多次训练和检测，选取检测评估置信度高且结果正确的检测模型。
上述任一方案优选的是，根据训练和检测结果，对原有训练模型和训练参数进行微调，得到最合适的检测模型，达到最好的检测效果。
上述任一方案优选的是，判断头部和/或手部的位置包括步骤：
计算正常情况下人头部处于的中心位置；
检测是否有手部信息出现在图像中；
计算出现在图像中的手部的中心位置。
上述任一方案优选的是，通过检测每帧图像中头部的位置信息统计出正常情况下人头部处于的中心位置。
上述任一方案优选的是，头部和手部中心位置距离连续一段时间小于设定的距离阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，手部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，头部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，判断驾驶员处于疲劳状态时输出预警信息。
本发明还提供一种驾驶员疲劳监测预警系统，包括：图像采集装置、处理装置和输出装置，所述系统用于实施所述驾驶员疲劳监测预警方法，所述处理装置执行所述方法的步骤：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
优选的是，对采集的图像进行人体检测基于深度学习技术，采用轻量级卷积神经网络实现。
上述任一方案优选的是，采集的图像中检测到人体时，对图像进行人体骨架模型检测。
上述任一方案优选的是，进行人体骨架模型检测包括：
利用深度卷积神经网络对输入图片进行处理，输出人体上身各部位在图片中所处的位置及对应的置信度；
预测人体上身各部位间的关联向量场来表示各部位之间的连接关系；
采用贪心算法对各部位位置和部位间的关联向量场进行推理得到人体骨架模型。
上述任一方案优选的是，通过骨架模型的姿态变化，判断驾驶员是否处于疲劳状态。
上述任一方案优选的是，采集的图像中检测到人体时，对采集的图像进行头部和/或手部定位。
上述任一方案优选的是，采用视觉检测技术，通过轻量级目标检测网络实现头部和/或手部定位检测。
上述任一方案优选的是，判断头部和/或手部的位置包括步骤：
计算正常情况下人头部处于的中心位置；
检测是否有手部信息出现在图像中；
计算出现在图像中的手部的中心位置。
上述任一方案优选的是，通过检测每帧图像中头部的位置信息统计出正常情况下人头部处于的中心位置。
上述任一方案优选的是，头部和手部中心位置距离连续一段时间小于设定的距离阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，手部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，头部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
上述任一方案优选的是，所述处理装置判断驾驶员处于疲劳状态时，通过输出装置输出预警信息。
本发明的驾驶员疲劳监测预警方法及系统首先通过轻量级卷积神经网络判断采集的图像中是否存在人体图像，当存在人体图像时，提取人体骨架模型并通过骨架模型的姿态变化，判断驾驶员是否处于疲劳状态，和/或，通过轻量级目标检测网络实现头部和/或手部定位检测，并根据头部和/或手部的位置信息判断驾驶员是否处于疲劳状态，在判断驾驶员处于疲劳状态时，输出预警信息提醒驾驶员。本发明的驾驶员疲劳监测预警方法及系统针对深海长航设备密闭空间驾驶的特点，可以有效对驾驶员疲劳进行监测及预警，克服了简单的基于面部图像处理的疲劳监测技术无法适应深海长海人员疲劳监测的缺点。同时本发明中的神经网络经过了大量丰富样本的反复训练，其对人体相关部件的检测精度和速度更高，鲁棒性更好。
附图说明
图1为按照本发明的驾驶员疲劳监测预警方法的一优选实施例的流程示意图。
图2A-图2C为按照本发明的驾驶员疲劳监测预警方法的如图1所示实施例的三种不同疲劳状态人体骨架模型检测效果图。
图3A-图3C为按照本发明的驾驶员疲劳监测预警方法的如图1所示实施例的三种不同疲劳状态人体头部和/或手部定位效果图。
图4为按照本发明的驾驶员疲劳监测预警系统的一优选实施例的结构示意图。
具体实施方式
为了更好地理解本发明，下面结合具体实施例对本发明作详细说明。
实施例1
一种驾驶员疲劳检测预警方法，包括采集图像和输出疲劳预警信息，还包括：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
其具体流程图如图1所示：方法开始，执行步骤S1：采集图像。执行步骤21：对采集的图像进行人体检测。执行步骤S22：根据人体检测的结果判断采集的图像中是否检测到人体。
步骤S21中，对采集的图像进行人体检测基于深度学习技术，采用轻量级卷积神经网络Fast R-CNN，轻量级卷积神经网络Fast R-CNN经过了端对端的单阶段训练，该神经网络具有2个不同的3x3卷积核对特征图进行卷积，其中一个3x3卷积核用于输出人体的类别概率，另一个3x3卷积核用于输出人体框的位置信息，最后对3x3卷积核输出的结果使用非极大值抑制方法进行综合，形成人体检测结果。
Fast R-CNN检测人体的步骤为：
使用选择性搜索在图像中确定1000-2000个候选框；
对整张图片输进CNN，得到特征图(feature map)；
找到每个候选框在feature map上的映射范围(patch)，将此patch作为每个候选框的卷积特征输入到SPP layer(空间金字塔池化层)和之后的层；
对候选框中提取出的特征，使用分类器判别是否属于一个特定类；
对于属于某一特征的候选框，用回归器进一步调整其位置。
当步骤S22中判断采集的图像中检测到人体时，执行步骤S31：对图像进行人体骨架模型检测。
步骤S31中，进行人体骨架模型检测包括步骤：
S311利用深度卷积神经网络对输入图片进行处理，输出人体上身各部位在图片中所处的位置及对应的置信度；
S312预测人体上身各部位间的关联向量场来表示各部位之间的连接关系；
S313采用贪心算法对各部位位置和部位间的关联向量场进行推理得到人体骨架模型。
步骤S311中：输出人体上身各部位在图片中所处的位置包括：
提取人体眼睛、耳朵、鼻子、颈部、肩关节、肘关节、腕关节和髋关节中的至少一个部位的中心位置作为关键点；
输出提取的关键点的位置。
如图2A-2C所示，为按照上述方法获得的三种不同疲劳状态人体骨架模型检测效果图，其中图2A为被测员出现靠在座椅上的疲劳状态，图2B为被测人员出现单手撑住头部的疲劳状态；图2C为被测人员出现的另一中单手撑住头部的疲劳状态。
当步骤S22中判断采集的图像中检测到人体时，执行步骤S32，首先执行步骤S321：对采集的图像进行头部和/或手部定位，然后执行步骤S322：判断头部和/或手部的位置。
步骤S321中对采集的图像进行头部和/或手部定位采用采用视觉检测技术，通过轻量级目标检测网络实现，对头部和/或手部的定位检测包括bounding box(边框)回归和分类置信度回归。对采集的图像进行头部和/或手部定位检测时，图像作为目标检测网络的输入，被划分为多个网格，为每个网格预测多个边框及相应的分类置信度，所示网格边框包括四个参数，表示为bounding box(x,y,w,h)，其中(x，y)代表与网格相关的边框的中心，(w，h)为与全图信息相关的边框的宽和高。所述分类置信度为每个类别的概率、是物体的概率、重叠度(IOU)的乘积。
所述轻量级目标神经网络经过训练，对其进行训练的样本集建立包括步骤：
选取足够多的含有目标的图像并对图像中的目标进行人工标注；
对包含目标且含有不同复杂背景的图片进行训练和检测评估；
根据训练和检测评估结果，对选取的图像进行包括增添、删改在内的更新处理；
对更新后的图片再次进行训练、检测评估及更新处理，直至甄选出最为合适的图像形成样本集。
鉴于驾驶员可能出现配带作训帽的情况，在选择含有目标的图像时，需要选取部分带有作训帽的图像进行训练。
采用所述样本集和轻量级目标检测网络，训练出检测模型，对训练出的检测模型进行多次训练和检测，选取检测评估置信度高且结果正确的检测模型，根据训练和检测结果，对原有训练模型和训练参数进行微调，得到最合适的检测模型，达到最好的检测效果。
图3A-图3B所示为采用上述定位方法获得的三种不同疲劳状态人体头部和/或手部定位效果图。图3A为被测试人出现趴卧在驾驶台的疲劳状态，检测模型成功检测出人体头部位置，并给出置信度值为0.94；图3B为被测试人未出现疲劳状态，检测模型成功检测出人体头部位置，并给出置信度为0.86；图3C为被测试人出现单手撑腮的疲劳状态，检测模型成功检测出人体头部和手部的位置。
步骤S322中，根据步骤S321中对人体头部和/或手部定位结果，判断头部和/或手部的位置，步骤S322包括：
通过检测每帧图像中头部的位置信息统计出正常情况下人头部处于的中心位置；
检测是否有手部信息出现在图像中；
计算出现在图像中的手部的中心位置。
执行步骤S4：根据人体骨架模型和/或头部和/或手部位置判断是否为疲劳状态。通过骨架模型的姿态变化，判断驾驶员是否处于疲劳状态，如通过检测出的人体骨架模型，可以确定手部与头部的距离，判定是否发生托腮的疲劳动作；再如通过确定头部与肩关节的位置关系判断驾驶员是否发生疲劳动作。头部和手部中心位置距离连续一段时间小于设定的距离阈值，判定驾驶员处于疲劳状态；手部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态；头部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
步骤S4中判断驾驶员出现疲劳状态时，执行步骤S5，输出疲劳预警信息。
实施例2
如图4所示，一种驾驶员疲劳监测预警系统，用于实施所述驾驶员疲劳监测预警方法，所述系统包括：图像采集装置21、处理装置22和输出装置23，所述处理装置22执行所述方法中的步骤：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
所述图像采集装置21为高清摄像头，其安装在驾驶位置上侧方，且正朝向驾驶位置，用于采集驾驶员的图像，并将采集的图像信息发送给处理装置22。
所述处理装置22执行所述执行所述驾驶员疲劳监测预警方法中的步骤时，基于深度学习技术，采用轻量级卷积神经网络实现对采集的图像进行人体检测。
当采集的图像中检测到人体时，对图像进行人体骨架模型检测。进行人体骨架模型检测包括：利用深度卷积神经网络对输入图片进行处理，输出人体上身各部位在图片中所处的位置及对应的置信度；预测人体上身各部位间的关联向量场来表示各部位之间的连接关系；采用贪心算法对各部位位置和部位间的关联向量场进行推理得到人体骨架模型。
当采集的图像中检测到人体时，对采集的图像进行头部和/或手部定位。采用视觉检测技术，通过轻量级目标检测网络实现头部和/或手部定位检测。根据头部和/或手部定位检测结果，判断头部和/或手部的位置包括步骤：计算正常情况下人头部处于的中心位置；检测是否有手部信息出现在图像中；计算出现在图像中的手部的中心位置。因为随着头部的不同的转换角度，头部的中心位置会出现偏转，通过检测每帧图像中头部的位置信息统计出正常情况下人头部处于的中心位置。
通过骨架模型的姿态变化，判断驾驶员是否处于疲劳状态。头部和手部中心位置距离连续一段时间小于设定的距离阈值，判定驾驶员处于疲劳状态。手部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态头部中心位置连续一段时间的活动范围小于设定的阈值，判定驾驶员处于疲劳状态。
所述处理装置22判断驾驶员处于疲劳状态时，通过输出装置23输出预警信息。所述预警信息为语音提醒、预警灯闪烁、触觉提醒中的至少一种。
实施例3
一种驾驶员疲劳监测预警方法，该方法对采集的图像进行驾驶员行为特征分析和驾驶员面部特征分析，所述驾驶员行为特征分析包括对驾驶员进行人体骨架模型检测、对驾驶员进行头部和/或手部定位并判断其位置；所述驾驶员面部特征分析包括对驾驶员眼部特征分析和嘴部特征分析中的至少一种，判断驾驶员是否出现眨眼频率变化、闭眼时间过长或打哈欠等典型的疲劳面部特征，根据驾驶员行为特征分析和驾驶员面部特征分析，综合判断驾驶员是否出现疲劳状态。执行该驾驶员疲劳监测预警方法的系统，其图像采集模块包括至少2个摄像头，一个安装在安装在驾驶位置上侧方，且正朝向驾驶位置，用于采集驾驶员行为的图像；另一个安装在驾驶员正前方，且朝向驾驶员面部，用于采集驾驶员面部的图像，两个图像采集装置采集的图像传输给处理装置进行处理。
需要说明的是，以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的技术人员应该理解：其可以对前述实施例记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些替换，并不使相应技术方案的本质脱离本发明技术方案的范围。
Claims (10)
1.一种驾驶员疲劳监测预警方法，包括采集图像和输出疲劳预警信息，其特征在于：还包括：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
2.如权利要求1所述的驾驶员疲劳监测预警方法，其特征在于：对采集的图像进行人体检测基于深度学习技术，采用轻量级卷积神经网络。
3.如权利要求2所述的驾驶员疲劳监测预警方法，其特征在于：所述轻量级卷积神经网络经过端对端的单阶段训练。
4.如权利要求3所述的驾驶员疲劳监测预警方法，其特征在于：所述轻量级卷积神经网络具有2个不同的3x3卷积核对特征图进行卷积。
5.如权利要求4所述的驾驶员疲劳监测预警方法，其特征在于：所述2个不同的3x3卷积核一个用于输出人体的类别概率，一个用于输出人体框的位置信息。
6.如权利要求5所述的驾驶员疲劳监测预警方法，其特征在于：使用非极大值抑制方法将3x3卷积核输出的结果综合，形成人体检测结果。
7.如权利要求1所述的驾驶员疲劳监测预警方法，其特征在于：采集的图像中检测到人体时，对图像进行人体骨架模型检测。
8.如权利要求7所述的驾驶员疲劳监测预警方法，其特征在于：进行人体骨架模型检测包括：
利用深度卷积神经网络对输入图片进行处理，输出人体上身各部位在图片中所处的位置及对应的置信度；
预测人体上身各部位间的关联向量场来表示各部位之间的连接关系；
采用贪心算法对各部位位置和部位间的关联向量场进行推理得到人体骨架模型。
9.如权利要求8所述的驾驶员疲劳监测预警方法，其特征在于：所述输出人体上身各部位在图片中所处的位置包括：
提取人体眼睛、耳朵、鼻子、颈部、肩关节、肘关节、腕关节和髋关节中的至少一个部位的中心位置作为关键点；
输出提取的关键点的位置。
10.一种驾驶员疲劳监测预警系统，包括：图像采集装置、处理装置和输出装置，其特征在于：所述系统用于实施如权利要求1-9任一项所述的驾驶员疲劳监测预警方法，所述处理装置执行所述方法的步骤：
对采集的图像进行人体检测；
进行人体骨架模型检测；
进行头部和/或手部定位；
对头部和/或手部的位置进行判断；
根据人体骨架模型和/或头部和/或手部位置进行疲劳判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910352155.4A CN110147738B (zh) | 2019-04-29 | 2019-04-29 | 一种驾驶员疲劳监测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910352155.4A CN110147738B (zh) | 2019-04-29 | 2019-04-29 | 一种驾驶员疲劳监测预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110147738A true CN110147738A (zh) | 2019-08-20 |
| CN110147738B CN110147738B (zh) | 2021-01-22 |
Family
ID=67593830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910352155.4A Active CN110147738B (zh) | 2019-04-29 | 2019-04-29 | 一种驾驶员疲劳监测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110147738B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717461A (zh) * | 2019-10-12 | 2020-01-21 | 广东电网有限责任公司 | 一种疲劳状态识别方法、装置和设备 |
| CN111243236A (zh) * | 2020-01-17 | 2020-06-05 | 南京邮电大学 | 一种基于深度学习的疲劳驾驶预警方法及系统 |
| CN111325872A (zh) * | 2020-01-21 | 2020-06-23 | 和智信(山东)大数据科技有限公司 | 基于计算机视觉的司机驾驶异常检测设备及检测方法 |
| CN111476114A (zh) * | 2020-03-20 | 2020-07-31 | 深圳追一科技有限公司 | 疲劳检测方法、装置、终端设备及存储介质 |
| CN113743279A (zh) * | 2021-08-30 | 2021-12-03 | 山东大学 | 船舶驾驶人员状态监测方法、系统、存储介质及设备 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN116311181A (zh) * | 2023-03-21 | 2023-06-23 | 重庆利龙中宝智能技术有限公司 | 一种异常驾驶的快速检测方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104013414A (zh) * | 2014-04-30 | 2014-09-03 | 南京车锐信息科技有限公司 | 一种基于移动智能手机的驾驶员疲劳检测系统 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| JP2015156877A (ja) * | 2012-05-18 | 2015-09-03 | 日産自動車株式会社 | 運転者身体状態適合装置、道路地図情報構築方法 |
| CN106218405A (zh) * | 2016-08-12 | 2016-12-14 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN107886069A (zh) * | 2017-11-10 | 2018-04-06 | 东北大学 | 一种多目标人体2d姿态实时检测系统及检测方法 |
| CN108038469A (zh) * | 2017-12-27 | 2018-05-15 | 百度在线网络技术（北京）有限公司 | 用于检测人体的方法和装置 |
| CN108038453A (zh) * | 2017-12-15 | 2018-05-15 | 罗派智能控制技术（上海）有限公司 | 一种基于rgbd的汽车驾驶员状态检测和识别系统 |
| CN108229390A (zh) * | 2018-01-02 | 2018-06-29 | 济南中维世纪科技有限公司 | 基于深度学习的快速行人检测方法 |
| CN108460362A (zh) * | 2018-03-23 | 2018-08-28 | 成都品果科技有限公司 | 一种检测人体部位的系统及方法 |
-
2019
- 2019-04-29 CN CN201910352155.4A patent/CN110147738B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015156877A (ja) * | 2012-05-18 | 2015-09-03 | 日産自動車株式会社 | 運転者身体状態適合装置、道路地図情報構築方法 |
| CN104013414A (zh) * | 2014-04-30 | 2014-09-03 | 南京车锐信息科技有限公司 | 一种基于移动智能手机的驾驶员疲劳检测系统 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| CN106218405A (zh) * | 2016-08-12 | 2016-12-14 | 深圳市元征科技股份有限公司 | 疲劳驾驶监控方法及云端服务器 |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN107886069A (zh) * | 2017-11-10 | 2018-04-06 | 东北大学 | 一种多目标人体2d姿态实时检测系统及检测方法 |
| CN108038453A (zh) * | 2017-12-15 | 2018-05-15 | 罗派智能控制技术（上海）有限公司 | 一种基于rgbd的汽车驾驶员状态检测和识别系统 |
| CN108038469A (zh) * | 2017-12-27 | 2018-05-15 | 百度在线网络技术（北京）有限公司 | 用于检测人体的方法和装置 |
| CN108229390A (zh) * | 2018-01-02 | 2018-06-29 | 济南中维世纪科技有限公司 | 基于深度学习的快速行人检测方法 |
| CN108460362A (zh) * | 2018-03-23 | 2018-08-28 | 成都品果科技有限公司 | 一种检测人体部位的系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAO YAN 等: "Recognizing driver inattention by convolutional neural networks", 《2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》 * |
| 赵雪鹏 等: "基于级联卷积神经网络的疲劳检测", 《光电子·激光》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717461A (zh) * | 2019-10-12 | 2020-01-21 | 广东电网有限责任公司 | 一种疲劳状态识别方法、装置和设备 |
| WO2021068781A1 (zh) * | 2019-10-12 | 2021-04-15 | 广东电网有限责任公司电力科学研究院 | 一种疲劳状态识别方法、装置和设备 |
| CN111243236A (zh) * | 2020-01-17 | 2020-06-05 | 南京邮电大学 | 一种基于深度学习的疲劳驾驶预警方法及系统 |
| CN111325872A (zh) * | 2020-01-21 | 2020-06-23 | 和智信(山东)大数据科技有限公司 | 基于计算机视觉的司机驾驶异常检测设备及检测方法 |
| CN111325872B (zh) * | 2020-01-21 | 2021-03-16 | 和智信(山东)大数据科技有限公司 | 基于计算机视觉的司机驾驶异常检测方法 |
| CN111476114A (zh) * | 2020-03-20 | 2020-07-31 | 深圳追一科技有限公司 | 疲劳检测方法、装置、终端设备及存储介质 |
| CN113743279A (zh) * | 2021-08-30 | 2021-12-03 | 山东大学 | 船舶驾驶人员状态监测方法、系统、存储介质及设备 |
| CN113743279B (zh) * | 2021-08-30 | 2023-10-13 | 山东大学 | 船舶驾驶人员状态监测方法、系统、存储介质及设备 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115471826A (zh) * | 2022-08-23 | 2022-12-13 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN115471826B (zh) * | 2022-08-23 | 2024-03-26 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN116311181A (zh) * | 2023-03-21 | 2023-06-23 | 重庆利龙中宝智能技术有限公司 | 一种异常驾驶的快速检测方法及系统 |
| CN116311181B (zh) * | 2023-03-21 | 2023-09-12 | 重庆利龙中宝智能技术有限公司 | 一种异常驾驶的快速检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110147738B (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147738A (zh) | 一种驾驶员疲劳监测预警方法及系统 | |
| CN105069976B (zh) | 一种疲劳检测和行驶记录综合系统及疲劳检测方法 | |
| CN104574817A (zh) | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 | |
| CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
| CN105956548A (zh) | 驾驶员疲劳状况检测方法和装置 | |
| CN110103816B (zh) | 一种驾驶状态检测方法 | |
| CN110020632A (zh) | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 | |
| CN104574819B (zh) | 一种基于嘴巴特征的疲劳驾驶检测方法 | |
| CN109334563A (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
| CN101950355A (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| CN110448316A (zh) | 数据处理装置及方法、监测系统、唤醒系统以及记录介质 | |
| CN107229922A (zh) | 一种疲劳驾驶监测方法及装置 | |
| Pech et al. | Head tracking based glance area estimation for driver behaviour modelling during lane change execution | |
| CN113033503A (zh) | 一种多特征融合的危险驾驶行为检测方法及系统 | |
| Celona et al. | A multi-task CNN framework for driver face monitoring | |
| CN109460704A (zh) | 一种基于深度学习的疲劳检测方法、系统和计算机设备 | |
| CN106295474A (zh) | 船舶驾驶员的疲劳检测方法、系统和服务器 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN107967944A (zh) | 一种基于Hadoop的户外环境大数据人体健康监测方法与平台 | |
| CN116580349A (zh) | 一种基于yolov7建筑工地安全帽佩戴检测方法 | |
| CN109308467A (zh) | 基于机器学习的交通事故预警装置及预警方法 | |
| JP2020177557A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR101862545B1 (ko) | 로봇을 이용한 구조구난 서비스 제공방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |