[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112906673A - 一种基于注意力机制的下肢运动意图预测方法 - Google Patents

一种基于注意力机制的下肢运动意图预测方法 Download PDF

Info

Publication number
CN112906673A
CN112906673A CN202110381272.0A CN202110381272A CN112906673A CN 112906673 A CN112906673 A CN 112906673A CN 202110381272 A CN202110381272 A CN 202110381272A CN 112906673 A CN112906673 A CN 112906673A
Authority
CN
China
Prior art keywords
neural network
network module
attention mechanism
prediction
lower limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110381272.0A
Other languages
English (en)
Inventor
张燕
樊琪
弓正菁
李璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110381272.0A priority Critical patent/CN112906673A/zh
Publication of CN112906673A publication Critical patent/CN112906673A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明为一种基于注意力机制的下肢运动意图预测方法，包括步骤1、获取下肢运动过程中的步态信号，对步态信号进行归一化处理，并划分训练集数据和测试集数据；步骤2、构建预测模型；预测模型包括输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制这四个部分，当输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制依次连接，注意力机制的输出结果再经过全连接层；步骤3、利用训练集数据对预测模型进行预训练，确定时间步长；再对预训练后的预测模型进行训练；步骤4、将训练后的预测模型用于下肢运动意图预测。该方法通过注意力机制对关节角度变化明显的位置进行放大处理，能够有效减小关节角度的预测误差。

Description

一种基于注意力机制的下肢运动意图预测方法
技术领域
本发明属于步态模式识别技术领域，具体涉及一种基于注意力机制的下肢运动意图预测方法。
背景技术
运动意图是实现外骨骼精确跟踪人体运动，最终实现人机同步运动的关键部分。尽管近年来外骨骼领域针对运动意图的研究取得了一定成果，但是技术依旧不够成熟。运动意图识别的关键是根据当前时间序列的步态信号对后续时间序列的步态信号进行准确预测，以指导人机同步运动。
基于步态信号的机器学习方法在步态识别领域应用广泛，一般是在人体和外骨骼上穿戴加速度、角速度、压力等多种传感器来采集信号，进而对人体运动形式进行预判，从而控制外骨骼机器人运动。
Marion等学者研究了利用前馈神经网络和长短时记忆神经网络这两种网络预测下肢运动过程中的地面反作用力和关节力矩，平均预测精度为0.95，参见文献《MundtMarion,Koeppe Arnd,David Sina,Bamer Franz,Potthast Wolfgang,MarkertBernd.Predict ion ofground reaction force andjoint moments based on opticalmotion capture data during gait.[J].Medical engineering&physics,2020,86.》。
王修晖等学者(参见文献《张加加,王修晖.基于CNN与SVM融合的步态识别方法[J].中国计量大学学报,2019,30(01):65-71.》)采用CNN+SVM网络结构，利用CASIA数据库中的数据进行步态识别，平均预测精度为0.9。
步态信号呈周期性变化，且在步态周期的上一相位和下一相位的交替处步态信号的变化较明显，由于上述方法的网络结构较简单，对于步态信号在变化明显处的特征提取效果较差，因此预测精度普遍偏低。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于注意力机制的下肢运动意图预测方法。
本发明解决所述技术问题采用的技术方案是：
一种基于注意力机制的下肢运动意图预测方法，其特征在于，该方法包括以下步骤：
步骤1、获取下肢运动过程中的步态信号，对步态信号进行归一化处理，并划分训练集数据和测试集数据；
步骤2、构建预测模型；预测模型包括输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制这四个部分，当输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制依次连接，注意力机制的输出结果再经过全连接层，至此完成预测模型的构建；
步骤3、利用训练集数据对步骤2得到的预测模型进行预训练，确定时间步长；再对预训练后的预测模型进行训练，优化预测模型的网络结构；
步骤4、将步骤3得到的训练后的预测模型用于下肢运动意图预测。
所述步态信号包含髋关节、膝关节和踝关节这三个关节角度。
所述输入模块由一维卷积神经网络构成，该一维卷积神经网络包含一个由16～64个卷积核构成的一维卷积层，每个卷积核的大小为3；卷积神经网络模块包含卷积层、最大池化层和Dropout层，卷积神经网络模块的卷积层包含16～120个高度为3的滤波器；长短时记忆神经网络模块包含10～50个神经元。
当一维卷积神经网络的一维卷积层包含32个卷积核，卷积神经网络模块的卷积层包含32个滤波器，长短时记忆神经网络模块包含20个神经元时，预测效率和精度最佳。
Dropout层的概率为0.3。
步骤步骤3中的时间步长为3。
与现有技术相比，本发明的有益效果是：
本发明将卷积神经网络、长短时记忆神经网络和注意力机制进行融合，得到预测模型；卷积神经网络是整个预测模型的核心部分，实现了对关节角度的局部感知和权值共享，同时通过卷积层降低预测模型的复杂度，降低网络计算成本，提高预测效率。由于下肢运动过程中的关节角度为具有时间相关性的连续序列，通过长短时记忆神经网络可以保存历史信息并确定其是否可以重新被使用，从而解决了长期依赖的问题；通过注意力机制堆叠了长短时记忆神经网络模块的深层卷积网络和池化层，使得注意力机制的输入序列信号对应的感受野得以扩大，网络模型能够获取更全面的前后时间序列信息，从而学习到当前局部步态信号序列特征的重要程度，权重系数的大小反映特征的明显程度。
由于下肢运动过程中的关节角度呈周期性变化，关节角度在步态周期的上一相位和下一相位的交替处变化较明显(形成波峰或波谷)，因此通过注意力机制能够对关节角度变化明显的位置进行放大处理，使得关节角度变化明显处的特征提取更加准确，能够有效减小关节角度的预测误差，达到预测效率和精度双重提高的目的。本发明提出的方法对于下肢运动过程中基于步态信号的预测控制，人机交互等领域有着重要意义。
附图说明
图1为本发明的预测模型的结构示意图；
图2为基于LSTM网络模型的下肢关节角度的预测结果图；
图3为基于1DCNN+LSTM混合网络模型的下肢关节角度的预测结果图；
图4为基于本发明的预测模型的下肢关节角度的预测结果图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细说明，并不用于限定本申请的保护范围。
本发明为一种基于注意力机制的下肢运动意图预测方法，包括以下步骤：
步骤1、获取下肢运动过程中的步态信号，步态信号包含髋关节、膝关节和踝关节这三个关节角度；对步态信号进行归一化处理，并划分训练集数据和测试集数据；
步骤2、构建预测模型；预测模型包括输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制这四个部分，当输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制依次连接时，预测模型的预测效果最佳；
步骤3、利用训练集数据对步骤2得到的预测模型进行预训练，确定时间步长；再对预训练后的预测模型进行训练，优化预测模型的网络结构；
步骤4、将步骤3得到的训练后的预测模型用于下肢运动意图预测。
进一步的，所述输入模块由一维卷积神经网络构成，该一维卷积神经网络包含一个由16～64个卷积核构成的一维卷积层，每个卷积核的大小为3；卷积神经网络模块包含卷积层、最大池化层和Dropout层，卷积层包含16～120个高度为3的滤波器；长短时记忆神经网络模块包含10～50个神经元；
进一步的，当一维卷积神经网络的一维卷积层包含32个卷积核，卷积神经网络模块的卷积层包含32个滤波器，长短时记忆神经网络模块包含20个神经元时，预测效率和精度最佳。
进一步的，Dropout层的概率为0.3。
进一步的，步骤3中的时间步长为3。
实施例
本实施例的基于注意力机制的下肢运动意图预测方法(简称方法，参见图1-4)，具体包括以下步骤：
步骤1、使用VICON MX三维步态系统采集一名受试者在水平行走状态下的下肢运动过程中的步态信号，步态信号包含髋关节、膝关节和踝关节这三个关节角度，一共获取连续的1363s步态信号；对步态信号进行归一化处理，将归一化后的70％步态信号作为训练集数据，剩余30％作为测试集数据，即前914s的步态信号作为训练集数据，后449s的步态信号作为测试集数据，其中训练集数据为914×3的矩阵，测试集数据为449×3的矩阵，将训练集数据重组为914×3×1的矩阵，测试集数据重组为449×3×1的矩阵，作为预测模型允许的数据格式。
步骤2、构建预测模型，预测模型包括输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制这四个部分；
输入模块：由一维卷积神经网络构成，该一维卷积神经网络包含一个由16～64个卷积核构成的一维卷积层，每个卷积核的大小为3；一维卷积神经网络接收的数据形式为(samples,time,features)的三维张量，并返回类似形状的三维张量；采用一维卷积神经网络对步态信号进行处理，提取其中的序列段(即子序列)，然后输出该序列段的最大值，一维卷积神经网络能够有效降低步态信号的长度(子采样)；
步态信号经过一维卷积层处理后，再经过relu激活函数后得到输入模块的输出结果，实现对步态信号的初步处理；
卷积神经网络模块(1DCNN)：包含卷积层、最大池化层和Dropout层，卷积层包含16～120个高度为3的滤波器；输入模块的输出结果经过卷积神经网络模块的卷积层后提取到多个特征矩阵，将这多个特征矩阵经过最大池化层(max-pooling)进行池化处理，池化处理后的结果经过Dropout层处理，以防止过拟合；由此，输入模块的输出结果经过卷积神经网络模块后提取一段具有时间依赖性的序列信号；
Dropout层会随机地为卷积神经网络模块中的神经元赋值零权重，Dropout层的概率为0.3，则30％的神经元将会是零权重的；通过Dropout层的操作后，使得卷积神经网络模块对数据微小变化的响应的敏感度降低，能够进一步提高对不可见数据处理的准确性；
长短时记忆神经网络模块(LSTM)：将卷积神经网络模块提取到的序列信号经过RepeatVector函数将914×3×1数据格式转换为914×1，以满足长短时记忆神经网络模块的输入要求；长短时记忆神经网络模块包含10～50个神经元，每个神经元均包含遗忘门、输入门和输出门；将转换数据格式后的卷积神经网络模块提取到的序列信号按照时间顺序输入到长短时记忆神经网络模块中，作为每个时间步长(time step)的输入；经过长短时记忆神经网络模块的所有神经元后，再经过relu激活函数后得到长短时记忆神经网络模块的输出，进一步提取到一段具有时间依赖性的序列信号；
注意力机制(Attention)：将长短时记忆神经网络模块输出的序列信号经过注意力机制处理，再将注意力机制的输出结果经过全连接层，输出预测结果，至此完成预测模型的构建；
LSTM的输出uit表示为：
uit＝ReLU(Wwhit+bw) (1)
其中，hit为LSTM的输入，Ww为实时更新的权值，bw为偏置，Wwhit+bw表示全连接层，i表示第i时刻，t表示总时刻；
经过softmax激活函数进行归一化的注意力系数αit表示为：
Figure BDA0003013059560000041
式(2)中，T表示矩阵转置，uw为实时更新的权值Ww的参数，为要学习的参数；uit Tuw是整个注意力机制的核心，这里的softmax激活函数是对整个序列信号的归一化处理；
利用式(3)将注意力系数αit与LSTM的输入进行加权，计算注意力机制的权重系数vi(Attention value)：
vi＝∑tαithit (3)
由上可知，注意力机制堆叠了长短时记忆神经网络模块的深层卷积网络和池化层，使得注意力机制的输入序列信号对应的感受野得以扩大，网络模型能够获取更全面的前后时间序列信息，从而学习到当前局部步态信号序列特征的重要程度，权重系数的大小反映了特征的明显程度。由于下肢运动过程中的关节角度呈周期性变化，关节角度在步态周期的上一相位和下一相位的交替处变化较明显(形成波峰或波谷)，因此通过注意力机制能够对关节角度变化明显的位置进行放大处理，使得网络对关节角度变化明显处的特征提取更加准确，进而减小了关节角度的预测误差，达到预测效率和精度双重提高的目的。
步骤3、预测模型训练：首先利用训练集数据对步骤2得到的预测模型进行预训练，设定初始的时间步长为5s，即通过前5s的关节角度预测第6s的关节角度，结果预测误差较大；然后将时间步长设为2s，即通过前2s的关节角度预测第3s的关节角度，预测时间较长，预测效率较低；当时间步长为3s时，即通过前3s的关节角度预测第4s的关节角度，预测误差和预测效率均能达到较好的效果，得到预训练后的预测模型；
利用训练集数据，使用随机梯度下降法对预训练后的预测模型进行训练，采用学习率衰减加速训练过程的收敛；训练的过程就是调节预测模型的网络结构，当一维卷积神经网络包含32个卷积核、卷积神经网络模块的滤波器个数为32个、长短时记忆神经网络模块包含20个神经元时，预测模型的运行速度和预测精度最优，得到训练后的预测模型；
步骤4、使用步骤3获得的训练后的预测模型，利用测试集数据进行预测，得到预测结果，即通过前3s的关节角度预测得到第4s的关节角度，得到下肢运动过程中下一时刻的运动角度，实现下肢运动意图预测。
进一步地，步骤2中，注意力机制位于预测模型不同位置得到的预测结果不同，参见表1；利用式(4)计算预测值与真实值之间的均方误差RMSE：
Figure BDA0003013059560000051
表1注意力机制位于预测模型不同位置得到的预测结果
Figure BDA0003013059560000052
由上表可知，当注意力机制位于卷积神经网络模块之前，直接对下肢运动过程中的关节角度变化的重要部分进行提取，但是由于初始的关节角度未经网络处理，导致预测结果过程用时较长，而且三个关节角度的均方误差较大；当注意力机制位于卷积神经网络模块与长短时记忆神经网络模块之间，三个关节角度的均方误差减小，模型的预测时间缩短，这是由于通过对卷积神经网络模块处理后的步态信号进行注意力权重大小的更新，但是卷积神经网络模块相对于长短时记忆神经网络模块在处理时间信号时，没有记忆功能，对于长时间且具备周期性的步态信号的特征提取达不到更好的预测精度和预测效率；而当注意力机制位于长短时记忆神经网络模块之后，三个关节角度的均方误差明显减小，模型的预测时间最短，这是由于通过卷积神经网络模块和长短时记忆神经网络模块处理步态信号，获取更全面的前后时间序列信息，从而学习到当前局部步态信号的重要序列特征，因此预测模型的预测效率和预测精度得到较大提升。
利用本实施例采集的步态信号，分别运用常见的LSTM网络模型、1DCNN+LSTM混合网络模型和本方法的预测模型进行下肢运动意图预测，预测结果如图2～4。
图2为单独使用LSTM网络模型得到的关节角度真实值与预测值的对比图，髋、膝、踝三个关节角度的均方误差分别1.26，2.49，0.95；图3为使用1DCNN+LSTM混合网络模型得到的关节角度真实值与预测值的对比图，髋、膝、踝三个关节角度的均方误差分别为0.45，0.99，0.36；图4为本方法的预测模型得到的关节角度真实值与预测值的对比图，髋、膝、踝三个关节角度的均方误差分别为0.07，0.32，0.18；从上述结果可知，本方法的预测误差明显降低，这是由于注意力机制允许预测模型聚焦关注步态信号序列中所需要的部分，通过注意力机制能够提高重要步态信号对网络的影响程度，抑制非重要步态信号对网络的干扰，有效解决了网络无法区分时间序列数据重要程度的差异性问题，提高了预测模型的预测精度。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于注意力机制的下肢运动意图预测方法，其特征在于，该方法包括以下步骤：
步骤1、获取下肢运动过程中的步态信号，对步态信号进行归一化处理，并划分训练集数据和测试集数据；
步骤2、构建预测模型；预测模型包括输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制这四个部分，当输入模块、卷积神经网络模块、长短时记忆神经网络模块和注意力机制依次连接，注意力机制的输出结果再经过全连接层，至此完成预测模型的构建；
步骤3、利用训练集数据对步骤2得到的预测模型进行预训练，确定时间步长；再对预训练后的预测模型进行训练，优化预测模型的网络结构；
步骤4、将步骤3得到的训练后的预测模型用于下肢运动意图预测。
2.根据权利要求1所述的基于注意力机制的下肢运动意图预测方法，其特征在于，所述步态信号包含髋关节、膝关节和踝关节这三个关节角度。
3.根据权利要求1所述的基于注意力机制的下肢运动意图预测方法，其特征在于，所述输入模块由一维卷积神经网络构成，该一维卷积神经网络包含一个由16～64个卷积核构成的一维卷积层，每个卷积核的大小为3；卷积神经网络模块包含卷积层、最大池化层和Dropout层，卷积神经网络模块的卷积层包含16～120个高度为3的滤波器；长短时记忆神经网络模块包含10～50个神经元。
4.根据权利要求3所述的基于注意力机制的下肢运动意图预测方法，其特征在于，当一维卷积神经网络的一维卷积层包含32个卷积核，卷积神经网络模块的卷积层包含32个滤波器，长短时记忆神经网络模块包含20个神经元时，预测效率和精度最佳。
5.根据权利要求3或4所述的基于注意力机制的下肢运动意图预测方法，其特征在于，Dropout层的概率为0.3。
6.根据权利要求1所述的基于注意力机制的下肢运动意图预测方法，其特征在于，步骤步骤3中的时间步长为3。
CN202110381272.0A 2021-04-09 2021-04-09 一种基于注意力机制的下肢运动意图预测方法 Withdrawn CN112906673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381272.0A CN112906673A (zh) 2021-04-09 2021-04-09 一种基于注意力机制的下肢运动意图预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381272.0A CN112906673A (zh) 2021-04-09 2021-04-09 一种基于注意力机制的下肢运动意图预测方法

Publications (1)

Publication Number Publication Date
CN112906673A true CN112906673A (zh) 2021-06-04

Family

ID=76110297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381272.0A Withdrawn CN112906673A (zh) 2021-04-09 2021-04-09 一种基于注意力机制的下肢运动意图预测方法

Country Status (1)

Country Link
CN (1) CN112906673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647937A (zh) * 2021-08-16 2021-11-16 宁波荣勃通机电科技有限公司 检测装置、检测方法、鞋垫、训练方法和识别方法
CN114343617A (zh) * 2021-12-10 2022-04-15 中国科学院深圳先进技术研究院 一种基于边云协同的患者步态实时预测方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN110046675A (zh) * 2019-04-25 2019-07-23 河北工业大学 一种基于改进的卷积神经网络的下肢运动能力评估方法
CN110059878A (zh) * 2019-04-15 2019-07-26 中国计量大学 基于cnn lstm光伏发电功率预测模型及其构建方法
CN110197235A (zh) * 2019-06-28 2019-09-03 浙江大学城市学院 一种基于独特性注意力机制的人体活动识别方法
CN110537922A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 基于深度学习的人体行走过程下肢运动识别方法及系统
CN110826389A (zh) * 2019-09-02 2020-02-21 东华大学 基于注意力3d频率卷积神经网络的步态识别方法
CN111027058A (zh) * 2019-11-12 2020-04-17 深圳供电局有限公司 一种电力系统检测数据攻击的方法、计算机设备和存储介质
CN111053549A (zh) * 2019-12-23 2020-04-24 威海北洋电气集团股份有限公司 一种智能生物信号异常检测方法及系统
CN111091045A (zh) * 2019-10-25 2020-05-01 重庆邮电大学 一种基于时空注意力机制的手语识别方法
CN111310676A (zh) * 2020-02-21 2020-06-19 重庆邮电大学 基于CNN-LSTM和attention的视频动作识别方法
CN111626785A (zh) * 2020-05-29 2020-09-04 金陵科技学院 一种基于结合注意力的cnn-lstm网络基金价格预测方法
CN111652066A (zh) * 2020-04-30 2020-09-11 北京航空航天大学 基于多自注意力机制深度学习的医疗行为识别方法
CN111967358A (zh) * 2020-08-05 2020-11-20 北京交通大学 一种基于注意力机制的神经网络步态识别方法
CN111985332A (zh) * 2020-07-20 2020-11-24 浙江工业大学 一种基于深度学习的改进损失函数的步态识别方法
CN112131970A (zh) * 2020-09-07 2020-12-25 浙江师范大学 一种基于多通道时空网络和联合优化损失的身份识别方法
CN112183886A (zh) * 2020-10-22 2021-01-05 南京信息工程大学 基于卷积网络和注意力机制的短时临近降雨预测方法
CN112232604A (zh) * 2020-12-09 2021-01-15 南京信息工程大学 基于Prophet模型提取网络流量的预测方法
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法
CN112529283A (zh) * 2020-12-04 2021-03-19 天津天大求实电力新技术股份有限公司 基于注意力机制的综合能源系统短期负荷预测方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN110059878A (zh) * 2019-04-15 2019-07-26 中国计量大学 基于cnn lstm光伏发电功率预测模型及其构建方法
CN110046675A (zh) * 2019-04-25 2019-07-23 河北工业大学 一种基于改进的卷积神经网络的下肢运动能力评估方法
CN110197235A (zh) * 2019-06-28 2019-09-03 浙江大学城市学院 一种基于独特性注意力机制的人体活动识别方法
CN110826389A (zh) * 2019-09-02 2020-02-21 东华大学 基于注意力3d频率卷积神经网络的步态识别方法
CN110537922A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 基于深度学习的人体行走过程下肢运动识别方法及系统
CN111091045A (zh) * 2019-10-25 2020-05-01 重庆邮电大学 一种基于时空注意力机制的手语识别方法
CN111027058A (zh) * 2019-11-12 2020-04-17 深圳供电局有限公司 一种电力系统检测数据攻击的方法、计算机设备和存储介质
CN111053549A (zh) * 2019-12-23 2020-04-24 威海北洋电气集团股份有限公司 一种智能生物信号异常检测方法及系统
CN111310676A (zh) * 2020-02-21 2020-06-19 重庆邮电大学 基于CNN-LSTM和attention的视频动作识别方法
CN111652066A (zh) * 2020-04-30 2020-09-11 北京航空航天大学 基于多自注意力机制深度学习的医疗行为识别方法
CN111626785A (zh) * 2020-05-29 2020-09-04 金陵科技学院 一种基于结合注意力的cnn-lstm网络基金价格预测方法
CN111985332A (zh) * 2020-07-20 2020-11-24 浙江工业大学 一种基于深度学习的改进损失函数的步态识别方法
CN111967358A (zh) * 2020-08-05 2020-11-20 北京交通大学 一种基于注意力机制的神经网络步态识别方法
CN112131970A (zh) * 2020-09-07 2020-12-25 浙江师范大学 一种基于多通道时空网络和联合优化损失的身份识别方法
CN112183886A (zh) * 2020-10-22 2021-01-05 南京信息工程大学 基于卷积网络和注意力机制的短时临近降雨预测方法
CN112529283A (zh) * 2020-12-04 2021-03-19 天津天大求实电力新技术股份有限公司 基于注意力机制的综合能源系统短期负荷预测方法
CN112232604A (zh) * 2020-12-09 2021-01-15 南京信息工程大学 基于Prophet模型提取网络流量的预测方法
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YAN ZHANG等: "Lower limb motor function assessment based on TensorFlow convolutional neural network and kernel entropy component analysis–local tangent space alignment", 《ADVANCES IN MECHANICAL ENGINEERING》 *
倪钰等: "深度学习在动力下肢假肢运动意图识别中的应用", 《安庆师范大学学报（自然科学版）》 *
滕召纬等: "基于自适应模糊神经网络的下肢关节运动意图估计", 《长春工业大学学报》 *
龚玉婷: "基于注意力机制与深度学习网络的群组行为识别方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647937A (zh) * 2021-08-16 2021-11-16 宁波荣勃通机电科技有限公司 检测装置、检测方法、鞋垫、训练方法和识别方法
CN113647937B (zh) * 2021-08-16 2024-09-20 宁波荣勃通机电科技有限公司 检测装置、检测方法、鞋垫、训练方法和识别方法
CN114343617A (zh) * 2021-12-10 2022-04-15 中国科学院深圳先进技术研究院 一种基于边云协同的患者步态实时预测方法

Similar Documents

Publication Publication Date Title
Chen et al. A novel gait pattern recognition method based on LSTM-CNN for lower limb exoskeleton
CN110141239B (zh) 一种用于下肢外骨骼的运动意图识别及装置方法
CN111612136B (zh) 一种神经形态视觉目标分类方法及系统
Ragab et al. Random search one dimensional CNN for human activity recognition
CN102799937A (zh) 肌电信号与关节角度信息融合的下肢运动轨迹预测方法
CN112906673A (zh) 一种基于注意力机制的下肢运动意图预测方法
CN112528804A (zh) 基于生成对抗网络的肌电信号降噪和分类方法
CN102764167A (zh) 基于相关系数的肌电假肢控制源导联优化方法
CN115128978A (zh) 物联网环境大数据检测与智能监控系统
Zhen et al. Hybrid Deep‐Learning Framework Based on Gaussian Fusion of Multiple Spatiotemporal Networks for Walking Gait Phase Recognition
CN116822592A (zh) 一种基于事件数据和脉冲神经网络的目标跟踪方法
CN111104902B (zh) 一种基于图卷积网络的偏瘫步态分类方法
Jiang et al. Deep learning algorithm based wearable device for basketball stance recognition in basketball
CN116502066A (zh) 一种基于bp神经网络的外骨骼摆动周期预测系统及方法
Chu et al. [Retracted] Image Recognition of Badminton Swing Motion Based on Single Inertial Sensor
US11948079B2 (en) Multi-agent coordination method and apparatus
Ata et al. A robust optimized convolutional neural network model for human activity recognition using sensing devices
CN113609999A (zh) 基于姿态识别的人体模型建立方法
Li et al. Deep convolution and gated recurrent unit network for robot perceptual intelligent recognition
Cai et al. Spike Timing Dependent Gradient for Direct Training of Fast and Efficient Binarized Spiking Neural Networks
Uzunhisarcıklı et al. Investigating classification performance of hybrid deep learning and machine learning architectures on activity recognition
CN116206728A (zh) 一种基于传感器融合和迁移学习的康复训练方法及系统
Guntor et al. Convolutional neural network (CNN) based gait recognition system using microsoft kinect skeleton features
CN118397687A (zh) 基于加权融合模型的下肢外骨骼人体运动模式识别方法
Kanokoda et al. Motion Prediction with Artificial Neural Networks Using Wearable Strain Sensors Based on Flexible Thin Graphite Films

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210604

WW01 Invention patent application withdrawn after publication