CN112998697B - 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 - Google Patents
一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 Download PDFInfo
- Publication number
- CN112998697B CN112998697B CN202110198589.0A CN202110198589A CN112998697B CN 112998697 B CN112998697 B CN 112998697B CN 202110198589 A CN202110198589 A CN 202110198589A CN 112998697 B CN112998697 B CN 112998697B
- Authority
- CN
- China
- Prior art keywords
- injury
- falling
- lstm network
- data
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006378 damage Effects 0.000 title claims abstract description 122
- 208000027418 Wounds and injury Diseases 0.000 title claims abstract description 121
- 208000014674 injury Diseases 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 27
- 238000013210 evaluation model Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 206010019196 Head injury Diseases 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000001930 leg bone Anatomy 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 231100000809 Damage Assessment Model Toxicity 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于骨架数据的跌倒伤害程度预测方法、系统及终端,对跌到过程中的骨架数据进行采集,对身体骨骼的各个部位进行向量表示;建立跌到伤害评估模型,第一ST‑LSTM网络用于对跌倒时受伤部位进行检测,第二ST‑LSTM网络用于对伤害程度进行评估;将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。伤害评估模型有效提取关节和身体部位的时空特征,并通过各层实施注意力机制,更好地区分不同跌倒方式对身体伤害部位的影响,以及不同部位对跌倒伤害程度的影响,有效提高跌倒伤害程度评估精度。可适用于跌倒时身体各高危部位的伤害程度评估,使得同时评估多个部位伤害程度成为可能。
Description
技术领域
本申请涉及跌倒伤害评估技术领域,具体涉及一种基于骨架数据的跌倒伤害程度预测方法、系统及终端。
背景技术
人体跌倒事件可能造成身体伤害,严重者甚至导致死亡。相关研究表明,跌倒事件造成伤害最多的前三个部位分别是头部、髋部和膝盖。跌倒损伤的严重程度与坠落高度、速度、动能和撞击位置的加速度等因素都有关。对跌倒造成的伤害程度进行评估,不仅有助于急救过程采取有效措施,而且对后续制定合理的护理措施也可提供参考。
目前临床上主要采用损伤严重程度量表进行跌倒损伤严重程度评定,如颅脑损伤标准、颅脑损伤模型和简易损伤量表,但主要是针对车祸、运动或行人事故的损伤程度评定。有研究采用仿真模拟实验,基于人体电子计算机断层扫描数据建立有限元模型对易受伤部位进行受力分析实验,评估在相应跌倒场景下可能会造成的伤害程度,例如Majumder使用骨盆-股骨-软组织复合体三维有限元模型评估向后跌倒对骨盆损伤的影响。
但是,传统量表评定方式基于主观判断,评定结果受评定师主观影响大,存在主观差异和通用性问题。而针对特定部位的有限元仿真方法,则只考虑单个部位受伤程度评定。
发明内容
本申请为了解决上述技术问题,提出了如下技术方案:
第一方面,本申请实施例提供了一种基于骨架数据的跌倒伤害程度预测方法,所述方法包括:对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定;对身体骨骼的各个部位进行向量表示;建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络,所述第一ST-LSTM网络用于对跌倒时受伤部位进行检测,所述第二ST-LSTM网络用于对伤害程度进行评估;将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
采用上述实现方式,伤害评估模型有效提取关节和身体部位的时空特征,并通过各层实施注意力机制,更好地区分不同跌倒方式对身体伤害部位的影响,以及不同部位对跌倒伤害程度的影响,有效提高跌倒伤害程度评估精度。可适用于跌倒时身体各高危部位的伤害程度评估,使得同时评估多个部位伤害程度成为可能。
结合第一方面,在第一方面第一种可能的实现方式中,所述对跌倒过程中的骨架数据进行采集包括:根据预设频率在所述采集时间内采集人体骨骼节点序列数据;将所述人体骨骼节点序列数据进行帧采样,将输入序列分成预设数量的等长段,从每个等长段中随机选择一帧,获取训练样本。
结合第一方面,在第一方面第二种可能的实现方式中,第一ST-LSTM网络对跌倒时受伤部位进行检测包括:将所有节点信息进行聚合;对信息量进行归一化,得到不同关节点在不同时间点的隐藏状态信息的注意力权重;利用注意力权重,对每列进行加权求和,得到不同关节点的加权特征表示;将加权后的输出状态输入至全连接层,获得特征向量;将全连接层输出的分类数值计算网络的预测值,即受伤部位的概率分布。
结合第一方面第二种可能的实现方式,在第一方面第三种可能的实现方式中,第二ST-LSTM网络对伤害程度进行评估包括:将第一ST-LSTM网络得到的隐藏表示及输出标签概率分布作为第二ST-LSTM网络的输入;对第二ST-LSTM网络实施注意力,通过上下文信息评估第二ST-LSTM网络在每个时空步骤的输入信息量;获得注意力权重概率向量及其加权输出表示;将第二ST-LSTM网络的加权输出通过全连接网络映射到类标签向量上获得特征向量,通过softmax分类器预测跌倒伤害程度;输出概率最大的作为伤害等级评估结果。
结合第一方面,在第一方面第四种可能的实现方式中,还包括对所述跌倒伤害评估模型进行训练优化。
结合第一方面第四种可能的实现方式,在第一方面第五种可能的实现方式中,对所述跌倒伤害评估模型进行训练优化包括:将两层分类器联合进行训练,使用训练样本训练模型,采用负对数似然函数作为损失函数表示模型预测值与样本真实值的误差值;通过反向传播最小化损失函数,完成模型训练优化。
第二方面,本申请实施例提供了一种基于骨架数据的跌倒伤害程度预测系统,所述系统包括:数据采集模块,用于对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定;数据处理模块,用于对身体骨骼的各个部位进行向量表示;模型建立模块,用于建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络,所述第一ST-LSTM网络用于对跌倒时受伤部位进行检测,所述第二ST-LSTM网络用于对伤害程度进行评估;评估模块,用于将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
结合第二方面,在第二方面第一种可能的实现方式中,所述数据采集模块包括:采集单元,用于根据预设频率在所述采集时间内采集人体骨骼节点序列数据;第一获取单元,用于将所述人体骨骼节点序列数据进行帧采样,将输入序列分成预设数量的等长段,从每个等长段中随机选择一帧,获取训练样本。
结合第二方面,在第二方面第二种可能的实现方式中,所述第一ST-LSTM网络包括:聚合单元,用于将所有节点信息进行聚合;第二获取单元,用于对信息量进行归一化,得到不同关节点在不同时间点的隐藏状态信息的注意力权重;第三获取单元,用于利用注意力权重,对每列进行加权求和,得到不同关节点的加权特征表示;第四获取单元,用于将加权后的输出状态输入至全连接层,获得特征向量;计算单元,用于将全连接层输出的分类数值计算网络的预测值,即受伤部位的概率分布。
结合第二方面第二种可能的实现方式,在第二方面第三种可能的实现方式中,所述第二ST-LSTM网络包括:第五获取单元,用于将第一ST-LSTM网络得到的隐藏表示及输出标签概率分布作为第二ST-LSTM网络的输入;权重评估单元,用于对第二ST-LSTM网络实施注意力,通过上下文信息评估第二ST-LSTM网络在每个时空步骤的输入信息量;第六获取单元,用于获得注意力权重概率向量及其加权输出表示;预测单元,用于将第二ST-LSTM网络的加权输出通过全连接网络映射到类标签向量上获得特征向量,通过softmax分类器预测跌倒伤害程度;输出单元,用于输出概率最大的作为伤害等级评估结果。
第三方面,本申请实施例提供了一种终端,包括:处理器;用于存储所述处理器处理可执行指令的存储器;所述处理器执行第一方面或第一方面任一可能实现方式所述的基于骨架数据的跌倒伤害程度预测方法,对用户跌倒进行伤害等级评估。
附图说明
图1为本申请实施例提供的一种基于骨架数据的跌倒伤害程度预测方法的流程示意图;
图2为本申请实施例提供的三维骨架示意图及三轴坐标系方向示意图;
图3为本申请实施例提供的伤害评估模型结构示意图;
图4为本申请实施例提供的ST-LSTM网络示意图;
图5为本申请实施例提供的一种基于骨架数据的跌倒伤害程度预测系统的示意图;
图6为本申请实施例提供的一种终端的示意图。
具体实施方式
下面结合附图与具体实施方式对本实施例进行阐述。
本申请实施例提出一种基于人体骨架数据的跌倒伤害程度预测方法,用于评估跌倒事件发生时的高危部位及其伤害严重程度,可适用于日常活动场景中发生的各类跌倒,为急救和后续护理提供参考。
参见图1,所述方法包括:
S101,对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定。
本申请基于Kinect v2传感器采集人体骨骼节点数据,采样频率30Hz。由于跌倒过程持续时间一般不超过2秒,将数据序列长度设置为2秒,得到60帧图像的骨骼节点数据。对采集的人体骨骼节点序列数据进行帧采样,将输入序列分成20个等长段,从每个等长段中随机选择一帧,得到20帧时序数据,作为训练样本。
训练样本的标签,即跌倒造成的真实伤害程度,通过跌倒高危部位处关节的帧间速度划分伤害等级,计算如下:
其中Δt为帧间间隔时间,ΔS是两个连续帧的关节点的欧式距离:
本申请主要考虑头部、髋部和膝盖三个高危部位伤害程序评估,伤害程度分别划分为四个等级,如表1所示。
表1头部、髋部及膝盖的伤害等级
S102,对身体骨骼的各个部位进行向量表示。
本实施例用p表示关节点坐标,e表示连接两相邻关节点的边坐标向量。如图2所示,分别用prsh,plsh表示右肩和左肩关节点坐标,分别用plhjc,plkjc表示左髋关节坐标和左膝关节坐标,用prhjc,prkjc表示右髋关节坐标和右膝关节坐标,身体各部位向量表示如下:
身体躯干向量表示为:
eboby=pclav-pcasi (3)
其中pclav,pcasi分别表示左右肩关节连接起来的中点坐标和左右髋关节连接起来的中点坐标,计算如下:
肩部向量为:
esh=prsh-plsh (6)
左腿骨向量表示:
elleg=plhjc-plkjc (7)
右腿骨向量表示:
erleg=prhjc-prkjc (8)
S103,建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络。
如图3所示,本实施例采用双层ST-LSTM(时空长短期记忆)结构,基于人体骨架数据预测跌倒伤害部位并评估高危部位的伤害程度。整个网络模型由两层ST-LSTM网络组成,并为各层LSTM引入注意力机制。第一层ST-LSTM网络编码骨架序列,添加自注意力机制对不同关节的信息进行筛选,对跌倒时受伤部位进行检测,并将结果输入第二层ST-LSTM网络;第二层ST-LSTM网络在所有时空步骤上对输入实施注意力,以生成跌倒动作序列的加权注意力表示,对伤害程度进行评估。
在ST-LSTM模型中,同一帧框架中的骨架关节和身体部位被布置成链状,往空间方向传递,在不同帧框架上的相应关节以序列(时间方向)实施传递,如图4所示。本实施例关注M个关节点坐标和N个身体部位向量,则获取的骨架数据表示应为(M+N)×3的矩阵。加入时间序列T,将骨架节点数据坐标折叠,表示为一个T×3(M+N)的矩阵,节点间向量表示和节点表示一致。
每个ST-LSTM单元都有一个新的输入xj,t(表示帧t时的关节或身体部位向量j)、同一关节点或身体向量在前一个时间步长的隐藏表示(hj,t-1),以及前一个关节在同一个时间步长中的隐藏表示(hj-1,t)。ST-LSTM单元包含一个输入门ij,t、输出门oj,t和两个遗忘门,分别对应于上下文信息的两个输入通道:
hj,t=oj,t⊙tanh(cj,t) (11)
cj,t和hj,t分别表示单元状态和隐藏单元在时空步骤(j,t)处的表示,uj,t表示调制后的输入,σ是sigmoid激活函数,W为仿射变换模型参数,⊙表示按元素乘法,tanh表示tanh激活函数。
第一层ST-LSTM网络对跌倒受伤部位进行预判,输入的时空步长(j,t)是在帧数t时关节点j的三维坐标,不同关节点的信息不同,因此采用注意力网络对关键节点进行自适应关注,隐藏状态hj,t包含空间结构信息和时间动态信息,有利于指导关键节点的选择。首先将所有节点的信息聚合:
其中We1为参数矩阵。利用Sigmoid对信息量进行归一化,得到不同关节点在不同时间点的隐藏状态信息的注意力权重:
αj,t=Sigmoid(UStanh(Whhj,t+Wqqj,t+bu)+bs)
Wh,Wq,US都是可学习的参数矩阵,bs,bu是偏差。
利用注意力权重,对每列进行加权求和,得到不同关节点的加权特征表示:
第二层ST-LSTM结合第一层ST-LSTM得到的伤害部位信息并实施注意力机制,学习跌倒部位对跌倒伤害程度的相关性,对跌倒伤害程度进行评估。
将第一层ST-LSTM得到的隐藏表示及输出标签概率分布作为第二层的输入:
对第二层ST-LSTM网络实施注意力,通过上下文信息,评估第二层ST-LSTM在每个时空步骤的输入信息量大小。第二层ST-LSTM输出隐藏状态为Hj,t,得到注意力权重:
pj,t=tanh(Hj,t)
通过softmax函数计算注意力权重概率向量βj,t
得到加权输出表示为:
最终输出概率最大的作为伤害等级评估结果。
本申请实施例还对所述跌倒伤害评估模型进行训练优化,具体地将两层分类器联合进行训练,使用训练样本训练模型,采用负对数似然函数作为损失函数表示模型预测值与样本真实值的误差值:
第一层ST-LSTM的目标函数表示为:
其中K为样本数,M为伤害部位类别数(本方案M=3),B表示输出向量,
第二层ST-LSTM的损失函数表示为:
整个模型损失函数为:
Q=L(B)+L(Y)
通过反向传播最小化损失函数,完成模型训练。
S104,将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
实时采集人体活动过程的骨架数据,计算跌倒过程关节最大帧间速度和各关节向量,输入至S103训练好的跌倒伤害评估模型,即可得到伤害关键部位及其伤害程度评估结果。
本实施例提供一种基于人体骨架数据的跌倒伤害程度预测方法。整个网络结构由两层ST-LSTM网络组成,有效提取各关节和身体部位的时空特征;网络第一层通过注意力机制表现不同跌倒方式对跌倒伤害发生部位的影响,对跌倒受伤关键部位进行预判;网络第二层结合第一层得到的伤害部位分布信息实施注意力机制,学习跌倒部位对跌倒伤害程度的相关性,对高危部位的伤害程度进行评估。
与上述实施例提供的一种基于人体骨架数据的跌倒伤害程度预测方法相对应,本申请还提供了一种基于人体骨架数据的跌倒伤害程度预测系统的实施例,参见图5,基于人体骨架数据的跌倒伤害程度预测系统20包括:数据采集模块201、数据处理模块202、模型建立模块203和评估模块204。
所述数据采集模块201,用于对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定。所述数据处理模块202,用于对身体骨骼的各个部位进行向量表示。所述模型建立模块203,用于建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络,所述第一ST-LSTM网络用于对跌倒时受伤部位进行检测,所述第二ST-LSTM网络用于对伤害程度进行评估。所述评估模块204,用于将处理后的数据输入训练后所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
进一步地,所述数据采集模块201包括:采集单元和第一获取单元。
采集单元,用于根据预设频率在所述采集时间内采集人体骨骼节点序列数据。第一获取单元,用于将所述人体骨骼节点序列数据进行帧采样,将输入序列分成预设数量的等长段,从每个等长段中随机选择一帧,获取训练样本。
模型建立模块203建立的跌倒伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络。
所述第一ST-LSTM网络包括:聚合单元,用于将所有节点信息进行聚合。第二获取单元,用于对信息量进行归一化,得到不同关节点在不同时间点的隐藏状态信息的注意力权重。第三获取单元,用于利用注意力权重,对每列进行加权求和,得到不同关节点的加权特征表示。第四获取单元,用于将加权后的输出状态输入至全连接层,获得特征向量。计算单元,用于将全连接层输出的分类数值计算网络的预测值,即受伤部位的概率分布。
所述第二ST-LSTM网络包括:第五获取单元,用于将第一ST-LSTM网络得到的隐藏表示及输出标签概率分布作为第二ST-LSTM网络的输入。权重评估单元,用于对第二ST-LSTM网络实施注意力,通过上下文信息评估第二ST-LSTM网络在每个时空步骤的输入信息量。第六获取单元,用于获得注意力权重概率向量及其加权输出表示。预测单元,用于将第二ST-LSTM网络的加权输出通过全连接网络映射到类标签向量上获得特征向量,通过softmax分类器预测跌倒伤害程度。输出单元,用于输出概率最大的作为伤害等级评估结果。
本申请实施例还提供了一种终端的实施例,参见图6,终端30包括处理器301、存储器302和通信接口303。
在图6中,处理器301、存储器302和通信接口303可以通过总线相互连接;总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器301通常是控制终端30的整体功能,例如终端30的启动、以及终端30启动后对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定;对身体骨骼的各个部位进行向量表示;建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络,所述第一ST-LSTM网络用于对跌倒时受伤部位进行检测,所述第二ST-LSTM网络用于对伤害程度进行评估;将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
处理器301可以是通用处理器,例如,中央处理器(英文:central processingunit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC),可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD),现场可编程逻辑门阵列(FPGA)等。
存储器302被配置为存储计算机可执行指令以支持终端30数据的操作。存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
启动终端30后,处理器301和存储器302上电,处理器301读取并执行存储在存储器302内的计算机可执行指令,以完成上述的基于骨架数据的跌倒伤害程度预测方法实施例中的全部或部分步骤。
通信接口303用于终端30传输数据,例如实现与Kinect v2传感器的通信等。通信接口303包括有线通信接口,还可以包括无线通信接口。其中,有线通信接口包括USB接口、Micro USB接口,还可以包括以太网接口。无线通信接口可以为WLAN接口,蜂窝网络通信接口或其组合等。
在一个示意性实施例中,本申请实施例提供的终端30还包括电源组件,电源组件为终端30的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为终端30生成、管理和分配电力相关联的组件。
通信组件,通信组件被配置为便于终端30和其他设备之间有线或无线方式的通信。终端30可以接入基于通信标准的无线网络,如WiFi,4G或5G,或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在一个示意性实施例中,终端30可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)或其他电子元件实现。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当然,上述说明也并不仅限于上述举例,本申请未经描述的技术特征可以通过或采用现有技术实现,在此不再赘述;以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制,如来替代,本申请仅结合并参照优选的实施方式进行了详细说明,本领域的普通技术人员应当理解,本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨,也应属于本申请的权利要求保护范围。
Claims (2)
1.一种基于骨架数据的跌倒伤害程度预测系统,其特征在于,所述系统包括:
数据采集模块,用于对跌倒过程中的骨架数据进行采集,其中采集时间根据跌倒持续时间进行设定;
数据处理模块,用于对身体骨骼的各个部位进行向量表示;
模型建立模块,用于建立跌倒伤害评估模型,所述伤害评估模型包括第一ST-LSTM网络和第二ST-LSTM网络,所述第一ST-LSTM网络用于对跌倒时受伤部位进行检测,所述第二ST-LSTM网络用于对伤害程度进行评估;
所述第一ST-LSTM网络包括:
聚合单元,用于将所有节点信息进行聚合;
第二获取单元,用于对信息量进行归一化,得到不同关节点在不同时间点的隐藏状态信息的注意力权重;
第三获取单元,用于利用注意力权重,对每列进行加权求和,得到不同关节点的加权特征表示;
第四获取单元,用于将加权后的输出状态输入至全连接层,获得特征向量;
计算单元,用于将全连接层输出的分类数值计算网络的预测值,即受伤部位的概率分布;
所述第二ST-LSTM网络包括:
第五获取单元,用于将第一ST-LSTM网络得到的隐藏表示及输出标签概率分布作为第二ST-LSTM网络的输入;
权重评估单元,用于对第二ST-LSTM网络实施注意力,通过上下文信息评估第二ST-LSTM网络在每个时空步骤的输入信息量;
第六获取单元,用于获得注意力权重概率向量及其加权输出表示;
预测单元,用于将第二ST-LSTM网络的加权输出通过全连接网络映射到类标签向量上获得特征向量,通过softmax分类器预测跌倒伤害程度;
输出单元,用于输出概率最大的作为伤害等级评估结果;
评估模块,用于将处理后的数据输入所述跌倒伤害评估模型,获取伤害关键部位及其伤害程度评估结果。
2.根据权利要求1所述的基于骨架数据的跌倒伤害程度预测系统,其特征在于,所述数据采集模块包括:
采集单元,用于根据预设频率在所述采集时间内采集人体骨骼节点序列数据;
第一获取单元,用于将所述人体骨骼节点序列数据进行帧采样,将输入序列分成预设数量的等长段,从每个等长段中随机选择一帧,获取训练样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110198589.0A CN112998697B (zh) | 2021-02-22 | 2021-02-22 | 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110198589.0A CN112998697B (zh) | 2021-02-22 | 2021-02-22 | 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112998697A CN112998697A (zh) | 2021-06-22 |
CN112998697B true CN112998697B (zh) | 2022-06-14 |
Family
ID=76406446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110198589.0A Expired - Fee Related CN112998697B (zh) | 2021-02-22 | 2021-02-22 | 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112998697B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115089135A (zh) * | 2022-04-25 | 2022-09-23 | 无锡博奥玛雅医学科技有限公司 | 一种基于毫米波雷达老人健康状态检测方法及系统 |
CN114627427B (zh) * | 2022-05-18 | 2022-09-23 | 齐鲁工业大学 | 基于时空信息的跌倒检测方法、系统、存储介质及设备 |
CN116453648B (zh) * | 2023-06-09 | 2023-09-05 | 华侨大学 | 基于对比学习的康复运动质量评估系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108378830A (zh) * | 2018-03-09 | 2018-08-10 | 芜湖博高光电科技股份有限公司 | 一种监测摔倒的非接触式生命体征探测仪 |
CN108549841A (zh) * | 2018-03-21 | 2018-09-18 | 南京邮电大学 | 一种基于深度学习的老人跌倒行为的识别方法 |
CN109820515A (zh) * | 2019-03-01 | 2019-05-31 | 中南大学 | TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法 |
CN109920208A (zh) * | 2019-01-31 | 2019-06-21 | 深圳绿米联创科技有限公司 | 跌倒预测方法、装置、电子设备及系统 |
CN110633736A (zh) * | 2019-08-27 | 2019-12-31 | 电子科技大学 | 一种基于多源异构数据融合的人体跌倒检测方法 |
KR20190143543A (ko) * | 2018-06-14 | 2019-12-31 | (주)밸류파인더스 | 회귀 강화학습을 이용한 포트폴리오 자산배분 성능향상 방법 |
CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技(深圳)有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
CN110659677A (zh) * | 2019-09-10 | 2020-01-07 | 电子科技大学 | 一种基于可移动传感器组合设备的人体跌倒检测方法 |
CN110659595A (zh) * | 2019-09-10 | 2020-01-07 | 电子科技大学 | 一种基于特征分类的跌倒类型及伤害部位检测方法 |
CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280682B2 (en) * | 2000-12-15 | 2012-10-02 | Tvipr, Llc | Device for monitoring movement of shipped goods |
TWI410235B (zh) * | 2010-04-21 | 2013-10-01 | Univ Nat Chiao Tung | 日常生活與跌倒動作辨識裝置 |
CN103308069B (zh) * | 2013-06-04 | 2015-06-24 | 电子科技大学 | 一种跌倒检测装置及方法 |
US10242443B2 (en) * | 2016-11-23 | 2019-03-26 | General Electric Company | Deep learning medical systems and methods for medical procedures |
CN109394229A (zh) * | 2018-11-22 | 2019-03-01 | 九牧厨卫股份有限公司 | 一种跌倒检测方法、装置及系统 |
CN109635721B (zh) * | 2018-12-10 | 2020-06-30 | 山东大学 | 基于轨迹加权深度卷积次序池化描述子的视频人体跌倒检测方法及系统 |
US11410540B2 (en) * | 2019-08-01 | 2022-08-09 | Fuji Xerox Co., Ltd. | System and method for event prevention and prediction |
CN111274954B (zh) * | 2020-01-20 | 2022-03-15 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
-
2021
- 2021-02-22 CN CN202110198589.0A patent/CN112998697B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108378830A (zh) * | 2018-03-09 | 2018-08-10 | 芜湖博高光电科技股份有限公司 | 一种监测摔倒的非接触式生命体征探测仪 |
CN108549841A (zh) * | 2018-03-21 | 2018-09-18 | 南京邮电大学 | 一种基于深度学习的老人跌倒行为的识别方法 |
KR20190143543A (ko) * | 2018-06-14 | 2019-12-31 | (주)밸류파인더스 | 회귀 강화학습을 이용한 포트폴리오 자산배분 성능향상 방법 |
CN109920208A (zh) * | 2019-01-31 | 2019-06-21 | 深圳绿米联创科技有限公司 | 跌倒预测方法、装置、电子设备及系统 |
CN109820515A (zh) * | 2019-03-01 | 2019-05-31 | 中南大学 | TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法 |
CN110647812A (zh) * | 2019-08-19 | 2020-01-03 | 平安科技(深圳)有限公司 | 摔倒行为检测处理方法、装置、计算机设备及存储介质 |
CN110633736A (zh) * | 2019-08-27 | 2019-12-31 | 电子科技大学 | 一种基于多源异构数据融合的人体跌倒检测方法 |
CN110659677A (zh) * | 2019-09-10 | 2020-01-07 | 电子科技大学 | 一种基于可移动传感器组合设备的人体跌倒检测方法 |
CN110659595A (zh) * | 2019-09-10 | 2020-01-07 | 电子科技大学 | 一种基于特征分类的跌倒类型及伤害部位检测方法 |
CN111582095A (zh) * | 2020-04-27 | 2020-08-25 | 西安交通大学 | 一种轻量级行人异常行为快速检测方法 |
Non-Patent Citations (4)
Title |
---|
Comprehensive evaluation of skeleton features-based fall detection from Microsoft Kinect v2;Mona Saleh Alzahrani, etc;《Signal, Image and Video Processing》;20190515;第1431-1439页 * |
Hierarchical LSTM Framework for Long-Term Sea Surface Temperature Forecasting;Xi Liu, Tyler Wilson, Pang-Ning Tan,Lifeng Luo;《2019 IEEE International Conference on Data Science and Advanced Analytics》;20200123;全文 * |
Human Daily Activity Recognition for Healthcare Using Wearable and Visual Sensing Data;Xi Li, Lei Liu, Steven J. Simske, Jerry Liu;《2016 IEEE International Conference on Healthcare Informatics》;20161208;第24-31页 * |
基于CNN 和LSTM 混合模型的人体跌倒行为研究;厍向阳,苏学威;《计算机应用研究》;20191231;第36卷(第12期);第3857-3868页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112998697A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112998697B (zh) | 一种基于骨架数据的跌倒伤害程度预测方法、系统及终端 | |
Nguyen et al. | Trends in human activity recognition with focus on machine learning and power requirements | |
CN108764107B (zh) | 基于人体骨架序列的行为与身份联合识别方法及装置 | |
CN110210563A (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
CN112990211A (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN110232412B (zh) | 一种基于多模态深度学习的人体步态预测方法 | |
CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
WO2017197375A1 (en) | System and methods for facilitating pattern recognition | |
Tahir et al. | Hrnn4f: Hybrid deep random neural network for multi-channel fall activity detection | |
Kadir et al. | Wheat yield prediction: Artificial neural network based approach | |
CN110659677A (zh) | 一种基于可移动传感器组合设备的人体跌倒检测方法 | |
CN112986492A (zh) | 一种建立气体浓度预测模型的方法及装置 | |
CN114418183B (zh) | 畜禽健康体征大数据物联网检测系统 | |
CN113988263A (zh) | 工业物联网边缘设备中基于知识蒸馏的空时预测方法 | |
Lin et al. | Adaptive multi-modal fusion framework for activity monitoring of people with mobility disability | |
Gao et al. | Logic-enhanced adaptive network-based fuzzy classifier for fall recognition in rehabilitation | |
Singh et al. | Har using bi-directional lstm with rnn | |
CN114913547B (zh) | 基于改进的Transformer网络的跌倒检测方法 | |
CN114417242B (zh) | 畜禽活动信息的大数据检测系统 | |
CN114970743A (zh) | 一种基于多模态深度学习的多源遥感降雨数据融合方法 | |
CN112801357B (zh) | 日照辐射量预测方法、装置、设备及存储介质 | |
Rao et al. | Real-time Solar Array Data Acquisition and Fault Detection using Neural Networks | |
Islamadina et al. | Performance of deep learning benchmark models on thermal imagery of pain through facial expressions | |
CN116263949A (zh) | 一种重量测量方法、装置、设备及存储介质 | |
Kishore et al. | A hybrid method for activity monitoring using principal component analysis and back-propagation neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220614 |