CN105759677B - 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 - Google Patents
一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 Download PDFInfo
- Publication number
- CN105759677B CN105759677B CN201510145902.9A CN201510145902A CN105759677B CN 105759677 B CN105759677 B CN 105759677B CN 201510145902 A CN201510145902 A CN 201510145902A CN 105759677 B CN105759677 B CN 105759677B
- Authority
- CN
- China
- Prior art keywords
- data
- behavioural
- alarm
- modal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 78
- 238000004458 analytical method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 210000000707 wrist Anatomy 0.000 claims abstract description 24
- 210000001217 buttock Anatomy 0.000 claims abstract description 22
- 230000006399 behavior Effects 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000011273 social behavior Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 210000003414 extremity Anatomy 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000003945 visual behavior Effects 0.000 claims description 5
- 238000013481 data capture Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 231100001261 hazardous Toxicity 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 24
- 230000000638 stimulation Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 210000001508 eye Anatomy 0.000 description 17
- 230000008859 change Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Alarm Systems (AREA)
Abstract
本发明公开了一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法,系统包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件；方法包括以下步骤：(1)人体行为数据获取；(2)机器响应行为数据获取；(3)行为分析；(4)反馈控制与接口；(5)报警执行；本发明的优点是实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。
Description
技术领域
本发明涉及一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法,属于人类工效、人机工程、智能系统以及工业控制系统技术领域。
背景技术
目前，传统的视觉终端(VDT-Visual Display Terminal)作业技术是对利用计算机系统的视觉显示终端进行数据、文字、图像信息处理工作的总称，是一种以脑力劳动为主的技术形式。视觉终端作业技术则是专职以视觉显示终端为工作信息获取的核心媒介的技术。这种技术的特点是：人员通过视觉关注屏幕与手操输入设备(如键盘、鼠标)相结合的方式来实现与计算机(或机器)共同协作完成技术任务。
在工业自动化、智能化极速发展的今天，不少关系国家、社会生产重大公共安全的系统中，有相当比例的岗位为视觉终端作业技术，且有些视觉终端作业岗位为系统的关键任务岗位，作业任务完成质量直接关系到整个系统的可靠性。例如公共交通运输系统中的调度岗位、作战指挥系统中的可视情报信息监测岗位、能源实时输送系统中的系统运行状态监控岗位、还有高安全等级场所的安全检查射线图像识别岗位，这些都属于典型的视觉显示终端作业岗位范畴，且肩负着关键任务。正是基于对这类岗位关键性的高度重视，关于岗位的工作绩效、工作负荷、工作质量以及由此岗位给系统引入的安全风险等问题备受关注，尤其是在对岗位高危行为的实时辨识与系统风险防范方面的意义更加重大。
目前，在驾驶安全领域已有关于驾驶员驾驶行为风险识别的相关技术。例如专利号为CN101565036B的发明专利提供了一种防疲劳驾驶的方法，通过实时采集驾驶员的图像信息，分析是否为同一驾驶员，监控驾驶员的连续驾驶时间与眼部开闭状态、视线分散度及凝视位置来分析驾驶员的驾驶状态，针对疲劳状态采取报警及制动措施。
例如，申请号为201310248710.1的发明专利申请提供了一种车载实时智能疲劳监控及辅助装置，通过影像采集检测驾驶员疲劳状态，对驾驶员状态进行参数化并对疲劳状态进行分级，根据分级采取干涉指令的相关措施，同时也支持对用户的疲劳基线进行个性化设置与调整。
上述可见，根据驾驶行为特点，驾驶员的疲劳状态是驾驶安全的重点识别、防范状态。而针对视觉终端作业岗位的行为分析、风险识别与智能监控就不能仅局限在疲劳状态，因为这种岗位人员给系统引入的风险除疲劳外还有一大部分是因为技能水平不够导致的注意力分布不合理，不能及时发现状况并做出快速反应。故针对视觉终端作业岗位的行为分析应从人-机协作过程量化分析与评估的角度出发，形成多模态信息综合分析、人-机行为同步监测、兼顾风险提醒和绩效评估的智能控制系统。
综上所述，目前，针对视觉作业岗位的行为分析与监控系统技术及方法尚未发展，国内外均未有提出针对视觉作业岗位的行为分析与监控系统技术的系统与方法。
发明内容
本发明的目的在于提供一种能够克服上述技术问题的适于视觉终端作业岗位的多模态行为分析与监控系统及方法，本发明通过多种模态的人体行为与机器响应行为的数据获取，并结合人-机协作行为综合量化分析，实现对岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，例如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。
本发明提供了一种适于视觉终端作业岗位的多模态行为分析与监控系统，本发明的适于视觉终端作业岗位的多模态行为分析与监控系统是以视觉终端与操作键盘为核心的人-机协作过程的量化监测体系系统，其功能是人体操作行为数据探测、机器响应行为数据获取、人-机行为数据分析、风险预警反馈控制。
本发明的适于视觉终端作业岗位的多模态行为分析与监控系统包括：眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器、视觉终端、操作键盘、多通道信息采集与处理设备、反馈控制与接口装置以及报警器件。
所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘均以独立数据线缆和多通道信息采集与处理设备相连。
所述多通道信息采集与处理设备和反馈控制与接口装置相连。
所述反馈控制与接口装置和报警器件相连。
其中所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器用于人体操作行为数据探测；所述视觉终端、操作键盘用于机器响应行为数据获取；所述多通道信息采集与处理设备用于人-机行为数据分析；所述反馈控制与接口装置、报警器件用于风险预警反馈控制。
所述眼部跟踪光电传感器用于获取人实时视线落点位置数据；所述面部跟踪光电传感器用于获取人实时表情变化数据；所述躯干跟踪光电传感器用于与面部跟踪光电传感器配合获取人实时头部姿态数据；所述腕部压电传感器用于获取人腕部作用于桌面上的压力变化数据；所述肘部压电传感器用于获取人肘部作用于座椅扶手上的压力变化数据；所述臀部压电传感器用于获取人臀部作用于座椅水平支撑面上的压力变化数据；所述背部压电传感器用于获取人背部作用于座椅竖直支撑面上的压力变化数据。
所述多通道信息采集与处理设备用于收集所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘传入的多模态信息并进行分析、决策。
所述反馈控制与接口装置用于接收多通道信息采集与处理设备得出的决策结果，以工业标准接口形式与报警器件及外部系统或设备进行信息交互；所述报警器件用于表现报警信息并将运行状态信息回传至反馈控制与接口装置。
所述眼部跟踪光电传感器、面部跟踪光电传感器、躯干跟踪光电传感器、腕部压电传感器、肘部压电传感器、臀部压电传感器、背部压电传感器以及视觉终端、操作键盘均以独立数据线缆与多通道信息采集与处理设备相连，所有数据通路为分布式并行信息通道。所述眼部跟踪光电传感器、面部跟踪光电传感器与躯干跟踪光电传感器分别获取人实时视线落点、表情变化与头部姿态信息并传送至多通道信息采集与处理设备；所述腕部压电传感器、肘部压电传感器、臀部压电传感器及背部压电传感器分别获取人在座时身体的腕、肘、臀、腰部位与相应承重面的作用力数据并传送至多通道信息采集与处理设备；同时，所述视觉终端显示的内容信息同步传送至多通道信息采集与处理设备；所述操作键盘发出的指令信号同步传送至多通道信息采集与处理设备；所述多通道信息采集与处理设备集中接收上述传入的多模态信息，加以时、空配准并开展深度分析，做出报警决策，并将决策信息传送至反馈控制与接口装置；所述反馈控制与接口装置接收多通道信息采集与处理设备传入的报警决策信息，编译成控制指令通过标准接口传送至报警器件；所述报警器件接收反馈控制与接口装置发出的指令，完成向人传达可感知的警示信息(如视、听、触觉刺激)的任务，并将报警任务的完成状态回传至反馈控制与接口装置；同时，所述反馈控制与接口装置也支持系统通过工业标准接口与外部设备或系统进行信息交互。
本发明还提供了一种适于视觉终端作业岗位的多模态行为分析与监控方法，该方法包括以下步骤：
(1)人体行为数据获取；
(2)机器响应行为数据获取；
(3)行为分析；
(4)反馈控制与接口；
(5)报警执行。
所述步骤(1)人体行为数据获取获得用于描述岗位人员操作行为的量化数据；所述步骤(2)机器响应行为数据获取获得用于描述岗位设备执行操作指令情况的量化数据；所述步骤(3)行为分析实现对岗位人-机协作过程的规范性评估与实时风险识别并给出报警决策；所述步骤(4)反馈控制与接口根据报警决策与报警执行以及外部系统或设备进行信息交互；所述步骤(5)报警执行实现以可感知形式给予岗位人员反馈，以辅助其对自身工作状态进行调整。
所述步骤(1)人体行为数据获取具体包括以下步骤：
(11)视觉行为数据采集；
(12)面部表情数据采集；
(13)头部姿态数据采集；
(14)肢体压力数据采集；
(15)多模态人体行为信息融合。
其中，所述步骤(11)视觉行为数据采集获取岗位人员的视线落点位置序列；
所述步骤(12)面部表情数据采集获取岗位人员的动态表情强度指标序列；
所述步骤(13)头部姿态数据采集获取岗位人员的面部朝向方向序列；
所述步骤(14)肢体压力数据采集获取岗位人员的腕、肘、背、臀部压力分布数据序列；
上述步骤(11)至(15)为并行实时数据采集过程，上述步骤(11)至(14)采集的数据同时传入步骤(15)多模态人体行为信息融合；由步骤(15)多模态人体行为信息融合将多种不同模态的人体行为描述数据进行时序配准与数据对齐，然后将整合数据传送至所述步骤(3)行为分析。
所述步骤(2)机器响应行为数据获取包括以下步骤：
(21)应关注区域检测；
(22)操作响应检测；
(23)机器响应行为配准。
其中，步骤(21)应关注区域检测获取视觉终端实时显示内容中应关注的区域位置信息；步骤(22)操作响应检测获取机器对人员操作动作的响应数据。上述步骤(21)、步骤(22)采集的数据各自传入步骤(23)机器响应行为配准；由步骤(23)机器响应行为配准将上述步骤(21)、步骤(22)的机器响应行为描述数据进行维度融合，然后传送至所述步骤(3)行为分析。
所述步骤(3)行为分析包括以下步骤：
(31)人-机协作行为分析；
(32)行为规范知识库；
(33)工作行为规范性评估；
(34)实时风险识别；
(35)提醒与报警决策。
其中，所述步骤(31)人-机协作行为分析同时接收上述步骤(15)多模态人体行为信息融合与步骤(23)机器响应行为配准传入的多模态数据流并进行数据融合，将融合后的数据分别传送至所述步骤(32)行为规范知识库、步骤(33)工作行为规范性评估与步骤(34)实时风险识别；在步骤(32)行为规范知识库，先对传入的多模态数据进行特征提取与分析，根据分析结果选取适当的行为规范先验知识分别传送至步骤(33)工作行为规范性评估与步骤(34)实时风险识别，同时将提取的特征作为新知识更新到知识库中，用于行为规范先验知识选取规则的自学习；在步骤(33)工作行为规范性评估，根据步骤(32)行为规范知识库提供的先验知识对行为的合规性进行量化评分；在步骤(34)实时风险识别，根据步骤(32)行为规范知识库提供的先验知识对表征危险行为的数据特征进行识别；步骤(33)工作行为规范性评估与步骤(34)实时风险识别的分析结果同时传入步骤(35)提醒与报警决策；由步骤(35)提醒与报警决策对需提示或警示的状态做出决策，并将决策信息传送至步骤(4)反馈控制与接口。
所述步骤(4)反馈控制与接口包括以下步骤：
(41)报警控制；
(42)接口。
其中，所述步骤(41)报警控制接收上述步骤(35)提醒与报警决策传入的决策信息，将信息编译成控制指令通过步骤(42)接口传送至步骤(5)报警执行，同时接收步骤(5)报警执行反馈的指令执行状态信息；步骤(42)接口提供多种工业标准接口协议满足不同信息交互需求。
所述步骤(5)报警执行，接收上述步骤(4)反馈控制与接口传入的控制指令，按指令完成以使人可感知的方式向人员反馈报警信息的任务，并将指令完成状态信息回传至步骤(4)反馈控制与接口。
本发明的优点是通过多种模态的人体行为与机器响应行为的数据获取，并结合人-机协作行为综合量化分析，实现了对视觉终端作业岗位工作行为的规范性评估与风险识别，并通过可感知的反馈方式，如视、听、触觉刺激方式对人员进行风险警示以达到行为有效管控的目的。
附图说明
图1是本发明所述一种适于视觉终端作业岗位的多模态行为分析与监控系统的结构示意图；
图2是本发明所述一种适于视觉终端作业岗位的多模态行为分析与监控方法的流程示意图。
具体实施方式
下面结合附图对本发明的实施方式进行详细描述。如图1所示，本发明的一种适于视觉终端作业岗位的多模态行为分析与监控系统包括：
111眼部跟踪光电传感器，用于获取人实时视线落点位置数据；
112面部跟踪光电传感器，用于获取人实时表情变化数据；
113躯干跟踪光电传感器，用于与112面部跟踪光电传感器配合获取人实时头部姿态数据；
114腕部压电传感器，用于获取人腕部作用于桌面上的压力变化数据；
115肘部压电传感器，用于获取人肘部作用于座椅扶手上的压力变化数据；
116臀部压电传感器，用于获取人臀部作用于座椅水平支撑面上的压力变化数据；
117背部压电传感器，用于获取人背部作用于座椅竖直支撑面上的压力变化数据；
121视觉终端，视觉终端作业核心设备；
122操作键盘，视觉终端作业核心设备；
123多通道信息采集与处理设备，用于收集、处理、分析111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘传入的多模态信息，并根据分析结果做出报警决策；
131反馈控制与接口装置，用于根据报警决策生成反馈控制指令，并通过工业标准接口协议与外部系统或设备进行信息交互。
132报警器件，用于对人发出光信号以示警醒并将运行状态反馈回131反馈控制与接口装置。
所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘均以数据线缆与123多通道信息采集与处理设备相连。
所述131反馈控制与接口装置和132报警器件相连。
所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘均以数据线缆与131反馈控制与接口装置相连，所有数据通路为分布式并行信息通道。具体地，所述111眼部跟踪光电传感器、112面部跟踪光电传感器与113躯干跟踪光电传感器分别获取人实时视线落点、表情变化与头部姿态信息并传送至123多通道信息采集与处理设备；所述114腕部压电传感器、115肘部压电传感器、116臀部压电传感器及117背部压电传感器分别获取人在座时身体的腕、肘、臀、腰部位与相应称重面的作用力数据并传送至123多通道信息采集与处理设备；同时，所述121视觉终端显示的内容信息同步传送至123多通道信息采集与处理设备；所述122操作键盘发出的指令信号同步传送至123多通道信息采集与处理设备；所述123多通道信息采集与处理设备集中接收所述111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器、121视觉终端、122操作键盘传入的多模态信息，加以时、空配准并开展深度分析，做出报警决策并将决策信息传送至131反馈控制与接口装置；所述131反馈控制与接口装置接收123多通道信息采集与处理设备传入的决策信息，编译成控制指令并通过标准接口将指令传送至132报警器件，同时支持以工业标准接口协议形式与外部系统或设备进行信息交互；所述132报警器件接收131反馈控制与接口装置传入的报警控制指令发出不同波长与不同频次的光信号向人传达不同层次的警示信息，同时将指令执行状态反馈回123多通道信息采集与处理设备。
如图2所示，本发明的一种适于视觉终端作业岗位的多模态行为分析与监控方法包括以下步骤：
步骤21，由人体行为数据获取单元获得用于描述岗位人员操作行为的量化数据；所述人体行为数据获取单元包含图1中的111眼部跟踪光电传感器、112面部跟踪光电传感器、113躯干跟踪光电传感器、114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器。
步骤22，由机器响应行为数据获取单元获得用于描述岗位设备执行操作指令情况的量化数据；所述机器响应行为数据获取单元包含图1中的121视觉终端、122操作键盘。
步骤23，由行为分析单元实现对岗位人-机协作过程的规范性评估与实时风险识别，做出报警决策；所述行为分析单元包含图1中的123多通道信息采集与处理设备。
步骤24，由反馈控制与接口单元实现将决策信息编译成控制指令并通过工业标准接口将指令传出，并为外部系统或设备提供信息交互；所述反馈控制与接口单元包含图1中的131反馈控制与接口装置。
步骤25，由报警执行单元执行反馈控制指令，按指令以使人可感知的方式向人员反馈报警信息，辅助其对自身工作状态进行调整，同时将指令执行状态回传至步骤24；所述报警执行单元包含图1中132报警器件。
所述步骤21包括：由步骤211视觉行为数据采集模块获取岗位人员的视线落点位置序列；由步骤212面部表情数据采集模块获取岗位人员的动态表情强度指标序列；由步骤213头部姿态数据采集模块获取岗位人员的面部朝向方向序列；以及由步骤214肢体压力数据采集模块获取岗位人员的腕、肘、背、臀部压力分布数据序列，上述步骤211、步骤212、步骤213与步骤214为并行实时数据采集过程，各步骤采集的数据同时传入步骤215多模态人体行为信息融合模块。
在步骤211中，利用高速光电传感器，如图1中111眼部跟踪光电传感器，获取人员眼部视频图像，采样率在且不限于30Hz-60Hz范围内，通过基于高速视频的眼球姿态分析算法得到视线落点位置序列。
在步骤212中，利用光电传感器，如图1中112面部跟踪光电传感器，获取人员面部视频图像，采样率在且不限于15Hz-25Hz范围内，通过基于视频的面部特征点提取算法与表情空间仿射模型得到动态表情强度指标序列。
在步骤213中，利用双目光电传感器组，如图1中112面部跟踪光电传感器与113躯干跟踪光电传感器，同时获取人员面部与上半身(含头、颈部)视频图像，采样率均在且不限于15Hz-25Hz范围内，通过基于立体视觉的头部姿态分析得到面部朝向方向序列。
在步骤214中，利用分布式压力传感器网，如图1中114腕部压电传感器、115肘部压电传感器、116臀部压电传感器、117背部压电传感器，获取人员在操作键盘或鼠标时腕部与肘部以及坐姿时臀部与背部的压力分布数据序列，采样率为且不限于5Hz。
在步骤215中，进行多种模态的人体行为描述数据进行时序配准。由于并行传入的各模态数据的时序不一致，所以在此步骤需按同一采样率对各模态数据进行拟合再生成，补全因传感器自身采样率低导致的数据空位，确保数据对齐。然后将配准后的多模态数据整合成为人体行为信息传送至步骤23。
所述步骤22包括：由步骤221应关注区域检测模块获取视觉终端实时显示内容中应关注的区域位置信息；由步骤222操作响应检测模块获取机器对人员操作动作的响应数据。上述步骤221为实时数据采集过程、步骤222为事件触发性非实时数据，两步骤采集的数据各自传入步骤223机器响应行为配准模块。
在步骤221中，利用屏幕录像获取视觉终端显示内容，即人员可观看到内容的同步数据化，采样率为10Hz-15Hz，结合相关先验知识，通过基于视频分析的相关内容跟踪算法得到动态过程中人员应关注区域的位置序列。具体算法此处不再赘述。
在步骤222中，利用键盘、鼠标信号捕捉获取人员按键指令编码信号，通过已知解码算法得到人员触发操作指令的数据流。
在步骤223中，利用绝对时间标签将步骤222传入的稀疏的触发指令数据汇入步骤221传入的采样率为10Hz-15Hz的连续数据流中，通过数据降维压缩算法将两模态数据规整为低维混合数据，并作为机器响应行为信息传送至步骤23。
所述步骤23包括：由步骤231人-机协作分析模块同时接收步骤215与步骤223传入的多模态数据流并进行数据融合，将融合后的数据分别传送至步骤232行为规范知识库、步骤233工作行为规范性评估模块与步骤234实时风险识别模块；由步骤232行为规范知识库根据数据特征选取适当的行为规范知识并分别传送至步骤233与步骤234；由步骤233根据步骤232行为规范知识库提供的先验知识对行为的合规性进行量化评分；由步骤234根据步骤232行为规范知识库提供的先验知识对表征危险行为的数据特征进行识别；步骤233与步骤234的分析结果同时传入步骤235提醒与报警决策模块，由步骤235对需提示或警示的状态做出报警决策。
在步骤231中，同时接收步骤215与步骤223传入的多模态数据流，先完成时间配对，即对步骤223传入的机器响应行为信息进行内容理解，获得合理的最小分析时间窗，利用最小分析时间窗对步骤215传入的高采样率的人体行为信息进行分段并与机器响应行为进行配对；再完成空间配对，即将人体行为信息中的视线落点位置序列与机器响应行为信息中的应关注区域位置序列进行空间配对；利用时、空配对的结果进行统计分析，得到相关统计量数组(如视觉注意的密度与散度、操作姿态的稳定度、操作机器的频繁度)实现人-机协作行为的量化描述。
在步骤232中，先对传入的多模态数据进行特征提取与分析，根据分析结果选取适当的行为规范先验知识分别传送至步骤233和步骤234，同时将提取的特征作为新知识更新到知识库中，用于行为规范先验知识选取规则的自学习。具体自学习算法此处不再赘述。
在步骤233中，将步骤231传入的相关统计量数组与步骤232提供的行为规范先验知识中不规范模式进行模式相似度计算，将计算结果传送给步骤235。
在步骤234中，将步骤231传入的相关统计量数组与步骤232提供的行为规范先验知识中危险模式进行模式相似度计算，将计算结果传送给步骤235。
在步骤235中，先分析步骤234传入的危险模式匹配相似度，若某种模式的相似度高于既定报警阈值，则生成报警信息传送至步骤24；若危险模式未匹配则再分析步骤233传入的不规范模式匹配相似度，将所有不规范模式相似度进行加权计算，若计算值高于既定提醒阈值，则生成提醒信息传送至步骤24。
所述步骤24包括：由步骤241报警控制模块接收步骤235传入的报警决策信息，生成控制指令传送至步骤242接口模块；步骤242接口模块实现控制指令的传出、相应反馈信息的接收、以及对外部系统或设备提供信息交互。
在步骤241中，将步骤235传入的决策信息编译成相应的控制指令码流传送给步骤242。
在步骤242中，将步骤241传入的控制指令码流封装成工业标准接口协议形式数据，传送至步骤25，并接收步骤25传回的反馈信息；同时提供以工业标准接口协议形式与外部系统或设备(即步骤30)进行信息交互，所述的工业标准接口协议包括：RS232、RJ45、USB有线数据传输协议、ZigBee、bluetooth、Wi-Fi无线通讯协议。
所述步骤25，接收步骤242传入的标准数据，经过解码获得相应控制指令，按指令执行动作，向人发出可感知的信号，如光、声、振动，以实现警示并辅助人调整自身工作状态的目的，同时将指令执行状态信息反馈传送至步骤242。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。
Claims (4)
1.一种适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于，包括以下步骤：
1、人体行为数据获取单元；
2、机器响应行为数据获取单元；
3、行为分析单元；
4、反馈控制与接口单元；
5、报警执行单元；
所述步骤1人体行为数据获取单元获得用于描述岗位人员操作行为的量化数据；所述步骤2机器响应行为数据获取单元获得用于描述岗位设备执行操作指令情况的量化数据；所述步骤3行为分析单元实现对岗位人-机协作过程的规范性评估与实时风险识别并给出报警决策；所述步骤4反馈控制与接口单元根据报警决策与报警执行单元以及外部系统或设备进行信息交互；所述步骤5报警执行单元实现以可感知形式给予岗位人员反馈，以辅助其对自身工作状态进行调整；
所述步骤1人体行为数据获取具体包括以下步骤：
11、视觉行为数据采集；
12、面部表情数据采集；
13、头部姿态数据采集；
14、肢体压力数据采集；
15、多模态人体行为信息融合；
其中，所述步骤11视觉行为数据采集获取岗位人员的视线落点位置序列；
所述步骤12面部表情数据采集获取岗位人员的动态表情强度指标序列；
所述步骤13头部姿态数据采集获取岗位人员的面部朝向方向序列；
所述步骤14肢体压力数据采集获取岗位人员的腕、肘、背、臀部压力分布数据序列；
上述步骤11至15为并行实时数据采集过程，上述步骤11至14采集的数据同时传入步骤15多模态人体行为信息融合；由步骤15多模态人体行为信息融合将多种不同模态的人体行为描述数据进行时序配准与数据对齐，然后将整合数据传送至所述步骤3行为分析；
所述步骤3行为分析包括以下步骤：
31、人-机协作行为分析；
32、行为规范知识库；
33、工作行为规范性评估；
34、实时风险识别；
35、提醒与报警决策；
其中，所述步骤31人-机协作行为分析同时接收上述步骤15多模态人体行为信息融合与步骤23机器响应行为配准传入的多模态数据流并进行数据融合，将融合后的数据分别传送至所述步骤32行为规范知识库、步骤33工作行为规范性评估与步骤34实时风险识别；在步骤32行为规范知识库，先对传入的多模态数据进行特征提取与分析，根据分析结果选取适当的行为规范先验知识分别传送至步骤33工作行为规范性评估与步骤34实时风险识别，同时将提取的特征作为新知识更新到知识库中，用于行为规范先验知识选取规则的自学习；在步骤33工作行为规范性评估，根据步骤32行为规范知识库提供的先验知识对行为的合规性进行量化评分；在步骤34实时风险识别，根据步骤32行为规范知识库提供的先验知识对表征危险行为的数据特征进行识别；步骤33工作行为规范性评估与步骤34实时风险识别的分析结果同时传入步骤35提醒与报警决策；由步骤35提醒与报警决策对需提示或警示的状态做出决策，并将决策信息传送至步骤4反馈控制与接口。
2.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：
所述步骤2机器响应行为数据获取包括以下步骤：
21、应关注区域检测；
22、操作响应检测；
23、机器响应行为配准；
其中，步骤21应关注区域检测获取视觉终端实时显示内容中应关注的区域位置信息；步骤22操作响应检测获取机器对人员操作动作的响应数据，上述步骤21、步骤22采集的数据各自传入步骤23机器响应行为配准；由步骤23机器响应行为配准将上述步骤21、步骤22的机器响应行为描述数据进行维度融合，然后传送至所述步骤3行为分析。
3.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：
所述步骤4反馈控制与接口包括以下步骤：
41、报警控制；
42、接口；
其中，所述步骤41报警控制接收上述步骤35提醒与报警决策传入的决策信息，将信息编译成控制指令通过步骤42接口传送至步骤5报警执行，同时接收步骤5报警执行反馈的指令执行状态信息；步骤42接口提供多种工业标准接口协议满足不同信息交互需求。
4.如权利要求1所述的适于视觉终端作业岗位的多模态行为分析与监控方法，其特征在于：
所述步骤5报警执行单元，接收上述步骤4反馈控制与接口传入的控制指令，按指令完成以使人可感知的方式向人员反馈报警信息的任务，并将指令完成状态信息回传至步骤4反馈控制与接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510145902.9A CN105759677B (zh) | 2015-03-30 | 2015-03-30 | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510145902.9A CN105759677B (zh) | 2015-03-30 | 2015-03-30 | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105759677A CN105759677A (zh) | 2016-07-13 |
| CN105759677B true CN105759677B (zh) | 2018-11-20 |
Family
ID=56341761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510145902.9A Active CN105759677B (zh) | 2015-03-30 | 2015-03-30 | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105759677B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108482426B (zh) * | 2018-04-27 | 2023-05-30 | 大连鼎汉奇辉电子系统工程有限公司 | 一种对继电联锁控制台操作的按键追踪系统 |
| CN110826723A (zh) * | 2019-10-12 | 2020-02-21 | 中国海洋大学 | 一种结合tamer框架和面部表情反馈的交互强化学习方法 |
| CN111126771B (zh) * | 2019-11-26 | 2023-06-20 | 公安部第一研究所 | 基于区域关注度预测安检员识图质量监督保障系统及方法 |
| CN111562267B (zh) * | 2020-05-29 | 2023-07-21 | 重庆施鲁逊智能科技有限公司 | 用于汽车保险盒装配的视觉检测系统 |
| CN115941514A (zh) * | 2022-09-29 | 2023-04-07 | 国网浙江省电力有限公司桐乡市供电公司 | 一种基于5g切片技术的无人机自巡检系统及方法 |
| CN116452051B (zh) * | 2023-04-19 | 2023-09-12 | 浙江乐恒动力科技股份有限公司 | 一种交互式数字化生产管理系统及管理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103347446A (zh) * | 2010-12-10 | 2013-10-09 | Tk控股公司 | 用于监控车辆驾驶员的系统 |
| CN204440098U (zh) * | 2015-03-30 | 2015-07-01 | 公安部第一研究所 | 一种适于视觉终端作业岗位的多模态行为分析与监控系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技（广州）有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
| CN103268495B (zh) * | 2013-05-31 | 2016-08-17 | 公安部第三研究所 | 计算机系统中基于先验知识聚类的人体行为建模识别方法 |
| CN103632543A (zh) * | 2013-11-04 | 2014-03-12 | 安徽博仑特智能科技有限公司 | 智能云车辆管理系统装置 |
-
2015
- 2015-03-30 CN CN201510145902.9A patent/CN105759677B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103347446A (zh) * | 2010-12-10 | 2013-10-09 | Tk控股公司 | 用于监控车辆驾驶员的系统 |
| CN204440098U (zh) * | 2015-03-30 | 2015-07-01 | 公安部第一研究所 | 一种适于视觉终端作业岗位的多模态行为分析与监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105759677A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105759677B (zh) | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 | |
| EP3270326B1 (en) | Indicia-reading systems having an interface with a user's nervous system | |
| CN101515199B (zh) | 一种基于视线跟踪和p300脑电电位的字符输入装置 | |
| EP3589206A1 (en) | Production management apparatus, method, and program | |
| Liu et al. | Effects of dataset characteristics on the performance of fatigue detection for crane operators using hybrid deep neural networks | |
| Yang et al. | Transformer-based deep learning model and video dataset for unsafe action identification in construction projects | |
| US20140003658A1 (en) | Method and apparatus for coding of eye and eye movement data | |
| CN103340637A (zh) | 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法 | |
| Gorecky et al. | COGNITO: a cognitive assistance and training system for manual tasks in industry | |
| Yue et al. | Recognizing multidimensional engagement of e-learners based on multi-channel data in e-learning environment | |
| Tavakoli et al. | Multimodal driver state modeling through unsupervised learning | |
| CN105700690A (zh) | 一种基于移动平台的脑电多媒体控制系统 | |
| CN117316463A (zh) | 一种智慧教室学生健康安全监测边缘计算平台 | |
| Garrido et al. | Automatic detection of falls and fainting | |
| Medenica et al. | Artificial intelligence in occupational therapy and special education and rehabilitation | |
| Sun et al. | Non-intrusive multimodal attention detection | |
| CN204440098U (zh) | 一种适于视觉终端作业岗位的多模态行为分析与监控系统 | |
| Sato et al. | An automatic classification method for involuntary and two types of voluntary blinks | |
| CN117322852A (zh) | 一种基于深度学习的智能服装健康监护系统及方法 | |
| Sun et al. | Virtual Training and Ergonomics Evaluation System for Industrial Production Safety Based on Visible Light Communication | |
| WO2018158704A1 (en) | Work management apparatus, method, and program | |
| Brena et al. | Activity recognition in meetings with one and two kinect sensors | |
| Zhou et al. | Driver fatigue tracking and detection method based on OpenMV | |
| Mijović et al. | Investigating brain dynamics in industrial environment–integrating mobile EEG and kinect for cognitive state detection of a worker | |
| Zhou et al. | Brain‐regulated learning for classifying on‐site hazards with small datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |