CN106228200B

CN106228200B - 一种不依赖于动作信息采集设备的动作识别方法

Info

Publication number: CN106228200B
Application number: CN201610903076.4A
Authority: CN
Inventors: 李墅娜; 陈媛媛; 常晓丽
Original assignee: North University of China
Current assignee: North University of China
Priority date: 2016-10-17
Filing date: 2016-10-17
Publication date: 2020-01-14
Anticipated expiration: 2036-10-17
Also published as: CN106228200A

Abstract

本发明涉及一种不依赖于运动信息采集设备的动作识别方法，适用于不同的运动信息采集设备；该方法包括两个阶段，分别为模型训练阶段和模型预测阶段，所述模型训练阶段是指建立运动信息与动作之间的映射关系，所述模型预测阶段是指根据采集的运动信息计算出对应的动作类别；本发明将一个动作识别方法在不同运动信息采集终端设备上部署兼容性的问题，具体考虑了不同采样频率、不同佩戴位置、传感器不同精度及灵敏度等因素对动作识别结果的影响；本发明可应用在智能手机、平板电脑、腕带、腕表等内嵌惯性传感器单元如加速度计、陀螺仪或磁力计等的终端设备。

Description

一种不依赖于动作信息采集设备的动作识别方法

技术领域

本发明涉及一种不依赖于运动信息采集设备的动作识别方法，适用于不同的运动信息采集设备，可应用在智能手机、平板电脑、腕带、腕表等内嵌惯性传感器单元如加速度计、陀螺仪或磁力计等的终端设备。

背景技术

近年来，随着MEMS技术的发展，越来越多的终端设备（如智能手机、平板电脑、腕带、腕表等）中内嵌各种类型的传感器（如加速度计、陀螺仪、磁力计、红外摄像头等）。相应地，围绕这些传感器的各种应用也层出不穷，譬如在健康医疗领域，包括：肢体动作识别、跌倒检测与报警、心率监测、异常步态分析与量化评估等。

然而，目前市场上的各种应用大多仅适用于特定型号（品牌）的终端设备，而无法有效兼容所有类型的终端设备，本质上是因为从不同的终端设备中采集到的信息有所差别。究其原因，大致包含以下几个方面：

（1）不同的终端设备内嵌的传感器型号也不同，传感器的灵敏度、精度、检测限等指标也各不相同；

（2）不同的终端设备中所设置的传感器采样频率也不同；

（3）若终端设备在采集传感器信息的同时运行其它的应用程序，则传感器的采样频率会发生波动；

（4）终端设备发生摔落等异常情况后，内嵌的传感器会发生漂移问题。

具体到动作识别应用方面，现有文献已明确指出，当将目前已有的动作识别算法部署到不同的终端设备上时，动作识别的准确率均有所降低。因此，如何设计一款能够不依赖于信息采集设备、适用于各种不同型号终端设备的动作识别方法，是目前亟待解决的一个问题。

发明内容

针对现有的动作识别方法普遍存在的依赖于信息采集设备的问题，本发明提出一种不依赖于运动信息采集设备的动作识别方法。该方法首先构造一个标准采样器，将从不同终端设备中采集到的不同采样率的运动信息进行归一化，统一到一个标准的采样频率，然后构造一个聚类器，区分开不同的终端设备佩戴位置，最后构造一个由多个弱分类器组成的集成动作识别方法框架，消除不同终端设备中内置传感器的精度、灵敏度等指标不同带来的影响。

为了解决上述技术问题，本发明所采用的技术方案为：

一种不依赖于运动信息采集设备的动作识别方法，包括两个阶段，分别为模型训练阶段和模型预测阶段，所述模型训练阶段是指建立运动信息与动作之间的映射关系，所述模型预测阶段是指根据采集的运动信息计算出对应的动作类别。

优选地，所述模型训练阶段具体包括以下步骤：

1）运动信息采集的步骤，将不同的运动信息采集设备佩戴于人体的不同位置，然后记录人体在执行不同动作时的运动信息；

2）采样频率标准化的步骤，利用降采样法对来自不同运动信息采集设备的原始运动信息进行频率归一化；

3）特征提取与特征选择的步骤，利用时域法、频域法或非线性分析方法对原始运动信息进行特征提取，利用互信息相关法、遗传算法、稀疏优化方法或主成分分析法等对提取出来的特征进行筛选，从而选择出最能表征运动信息特点的特征；

4）终端设备佩戴位置识别聚类的步骤，将上述步骤3）中提取及筛选出的特征，使用有导师学习方法或无导师学习方法构建一个终端设备佩戴位置识别聚类器；

5）随机森林动作识别模型的步骤，针对每个佩戴位置，利用随机森林方法建立对应的动作识别模型。

优选地，在步骤1）中，运动信息采集设备包括但不限于智能手机、平板电脑、腕表、手环；运动信息采集设备佩戴位置包括但不限于手腕、前臂、上臂、腰部、大腿、小腿；人体执行的动作包括但不限于：静坐、躺卧、站立、慢行、上楼梯、下楼梯、跑步；采集的运动信息包括但不限于三维空间X、Y、Z轴的加速度、角速度、磁场强度。

优选地，所述步骤2）中的频率归一化是将采样频率高于25Hz的运动信息进行降低采样频率重采样，使得新的运动信息采样频率为25Hz。

优选地，在步骤3）中，利用时域法提取出的特征包括但不限于运动幅度、角度、速度；利用频域法提取出的特征包括但不限于运动频率、能量；利用非线性分析方法提取出的特征包括但不限于近似熵、多尺度熵。

优选地，所述步骤4）中的有导师学习方法包括但不限于神经网络、支持向量、决策树。

优选地，所述步骤4）中的无导师学习方法包括但不限于自组织映射神经网络、距离判别法。

优选地，所述步骤4）中的聚类器是指在动作识别之间先对终端设备的佩戴位置进行识别，然后针对不同的佩戴位置分别建立动作识别模型。

优选地，所述模型预测阶段具体为：先将运动信息采集设备佩戴在人体的某个部位，接着采集人体在完成待识别动作过程中的运动信息，然后将该原始信息顺序经过标准采样器、特征提取与特征选择、佩戴位置聚类器、动作识别模型等模块，最后输出最终的动作识别结果。

与现有技术相比，本发明所具有的有益效果为：

本发明所提出的方法着重关注一个动作识别方法在不同运动信息采集终端设备（包括但不限于：智能手机、平板电脑、腕表、手环等）上部署的兼容性问题，具体考虑了不同采样频率、不同佩戴位置、传感器不同精度及灵敏度等因素对动作识别结果的影响；该方法具备兼容性强、准确性高等优点，从而可以大大提升动作识别技术在广大具体应用领域中的适用性。

附图说明

图1为本发明的系统框图；

图2为典型运动信息采集设备内置加速度传感器采样频率表；

图3为利用不同终端设备采集到的相同动作加速度信号；

图4为利用相同终端设备采集到的不同动作加速度信号；

图5为终端设备佩戴位置识别结果表；

图6为动作识别准确率对比表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种不依赖于运动信息采集设备的动作识别方法，该动作识别方法属于有导师学习方法，包含模型建立和模型预测两个阶段。

模型建立阶段主要包括以下几个步骤：

（1）运动信息采集。将不同的运动信息采集设备（譬如：智能手机、平板电脑、腕表、手环等）佩戴于人体的不同位置（譬如：手腕、前臂、上臂、腰部、大腿、小腿等），然后记录人体在执行不同动作（譬如：静坐、躺卧、站立、慢行、上楼梯、下楼梯、跑步等）时的运动信息（不同终端设备内置的传感器也有所不同，譬如：加速度计、陀螺仪和磁力计等）。

（2）采样频率标准化。针对不同的终端设备，其内置的传感器采样频率亦有所区别。图2列出了几款典型的终端设备所支持的加速度传感器最大采样频率，可以看出，从25～200Hz，不同型号之间的差别很大。从Nyquist-Shannon采样定理可知，利用不同采样频率采集到的运动信息，所包含的信息成分也不同，因此首先需要对来自于不同终端设备的信息进行采样频率标准化。常用的方法包括插值法（升采样）和降采样法两种，但是考虑到插值法会人为引入新的误差，同时对于动作识别应用而言，人体通常情况下不会产生大于10Hz的运动信息，因此，在本发明中，采用降采样法，且将采样频率统一为25Hz，即对于采样频率高于25Hz的终端设备而言，需要对其采集到的运动信息进行重采样。

（3）特征提取与特征选择。由于在人体完成一个有效动作周期内所采集到的运动信息通常包含较多的数据点，直接对这些原始数据进行分析较为困难。因此，需要对原始信息进行特征提取，常用的特征提取方法包括但不限于以下方法：时域法（运动幅度、角度、速度等）、频域法（运动频率、能量等）、非线性分析方法（近似熵、多尺度熵等）。同时，由于许多终端设备中通常内置多种类型的传感器（加速度计、陀螺仪、磁力计等），且为多轴（两轴或三轴）传感器，导致可以提取出的特征维度也通常较高。因此，在实际的应用中，若无法确定哪些特征最能表征各个动作的特点，经常需要进行特征选择（特征降维）。常用的特征选择方法包括但不限于以下方法：互信息相关法、遗传算法、稀疏优化方法、主成分分析法等。

（4）终端设备佩戴位置识别聚类。传统的动作识别方法大多仅针对终端设备佩戴在相同位置时的情况，因此当终端设备佩戴在其它位置时，动作识别的准确度就会大大降低。因此，为了使得动作识别方法能够兼容不同的佩戴位置，本发明构造一个聚类器，在动作识别之间先对终端设备的佩戴位置进行识别，然后针对不同的佩戴位置（手腕、前臂、上臂、腰部、大腿、小腿等）分别建立动作识别模型。常用的聚类器构造方法包括但不限于以下两类方法：有导师学习法（神经网络、支持向量机、决策树等）和无导师学习法（自组织映射神经网络、距离判别法等）。

（5）随机森林动作识别模型。针对每个佩戴位置，建立对应的动作识别模型。为了消除不同终端设备内置传感器精度、灵敏度等性能的不同所带来的影响，本发明构造一个集成多个弱分类器的随机森林动作识别模型。

在模型预测阶段，首先将运动信息采集设备佩戴在人体的某个部位，接着采集人体在完成待识别动作过程中的运动信息，然后将该原始信息顺序经过标准采样器、特征提取与特征选择、佩戴位置聚类器、动作识别模型等模块，最后输出最终的动作识别结果。

以下通过实施例结合图3至图6对本发明进行进一步分析。

本实施例包含了3种不同的运动信息采集设备：Samsung Galaxy Gear、HTCDesire、Xsens惯性传感器单元，对应的内置加速度传感器最高采样频率分别为100Hz、50Hz和200Hz；本实施例包括5种不同的动作：静坐、站立、躺卧、上楼梯、下楼梯；同时，上述3种运动信息采集设备的佩戴位置也各不相同，Samsung Galaxy Gear佩戴在手腕处，HTC Desire佩戴在上臂处，Xsens惯性传感器单元佩戴在后腰处。

首先，让受试人员将各个设备佩戴于对应的位置，然后依次完成上述5种不同的动作，每个设备每个动作重复10次。实验过程中记录下的部分运动信息如图3和图4所示，从图中可以看出，不同设备佩戴于不同位置时所采集到的同一动作所对应的运动信息差别较大，同时，同一设备所采集到的不同动作运动信息也存在明显差异。

其次，利用降采样方法对采集到的运动信息进行重采样，以实现所有终端设备所对应的采集信息频率为25Hz。

然后，利用时域法提取出各个运动信息所对应的特征，具体而言，包括：三维空间X、Y和Z方向的运动幅值、速度和角度等。

接着，利用支持向量机构建一个终端设备佩戴位置识别聚类器。在本实施例中，在每个佩戴位置处均采集到50个运动信号，其中随机选取40个样本用于训练，剩余10个样本用于测试。即对于整个数据集而言，共包含150个样本，其中训练集包含120个样本，测试集包含30个样本。测试集对应的识别结果如图5所示，可以看出，通过所构建的识别聚类器，可以较好地识别出终端设备所佩戴的位置。

最后，针对每个佩戴位置，利用随机森林方法建立动作识别模型，每个随机森林包含50～100棵决策树，最终的识别结果汇总采用投票法实现。本实施例的识别结果与仅用单个运动信息采集设备的数据所建立的动作识别方法得到的识别准确率对比如图6所示，可以看出，若仅用从单个运动信息设备采集到的数据建立动作识别模型，仅适用于相同的终端设备。若将该模型应用于其他的终端设备，则动作识别的准确率会明显降低。相反，采用本发明方法所建立的动作识别模型，则可以很好地兼容各个不同的终端设备。究其原因，是因为本发明方法在建模过程中，综合了来自于所有终端设备的传感器信息，且在传统动作识别方法的基础上增加了标准采样器、终端设备佩戴位置识别聚类、随机森林多弱分类器集成等模块，可以有效地消除不同终端设备采样频率不同、内置传感器精度和灵敏度不同等带来的影响。

上面结合本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims

1.一种不依赖于运动信息采集设备的动作识别方法，其特征在于：包括两个阶段，分别为模型训练阶段和模型预测阶段，所述模型训练阶段是指建立运动信息与动作之间的映射关系，所述模型预测阶段是指根据采集的运动信息计算出对应的动作类别；

所述模型训练阶段具体包括以下步骤：

2）采样频率标准化的步骤，利用降采样法对来自不同运动信息采集设备的原始运动信息进行频率归一化；频率归一化是将采样频率高于25Hz的运动信息进行降低采样频率重采样，使得新的运动信息采样频率为25Hz；

3）特征提取与特征选择的步骤，利用时域法、频域法或非线性分析方法对原始运动信息进行特征提取，利用互信息相关法、遗传算法、稀疏优化方法或主成分分析法对提取出来的特征进行筛选，从而选择出最能表征运动信息特点的特征；

4）终端设备佩戴位置识别聚类的步骤，将上述步骤3）中提取及筛选出的特征，使用有导师学习方法或无导师学习方法构建一个终端设备佩戴位置识别聚类器；聚类器是指在动作识别之间先对终端设备的佩戴位置进行识别，然后针对不同的佩戴位置分别建立动作识别模型；

2.根据权利要求1所述的一种不依赖于运动信息采集设备的动作识别方法，其特征在于：在步骤1）中，运动信息采集设备包括智能手机、平板电脑、腕表、手环；运动信息采集设备佩戴位置包括手腕、前臂、上臂、腰部、大腿、小腿；人体执行的动作包括：静坐、躺卧、站立、慢行、上楼梯、下楼梯、跑步；采集的运动信息包括三维空间X、Y、Z轴的加速度、角速度、磁场强度。

3.根据权利要求1所述的一种不依赖于运动信息采集设备的动作识别方法，其特征在于：在步骤3）中，利用时域法提取出的特征包括运动幅度、角度、速度；利用频域法提取出的特征包括运动频率、能量；利用非线性分析方法提取出的特征包括近似熵、多尺度熵。

4.根据权利要求1所述的一种不依赖于运动信息采集设备的动作识别方法，其特征在于：所述步骤4）中的有导师学习方法包括神经网络、支持向量、决策树。

5.根据权利要求1所述的一种不依赖于运动信息采集设备的动作识别方法，其特征在于：所述步骤4）中的无导师学习方法包括自组织映射神经网络、距离判别法。

6.根据权利要求1所述的一种不依赖于运动信息采集设备的动作识别方法，其特征在于，所述模型预测阶段具体为：先将运动信息采集设备佩戴在人体的某个部位，接着采集人体在完成待识别动作过程中的运动信息，然后将该运动信息顺序经过标准采样器、特征提取与特征选择、佩戴位置聚类器、动作识别模型，最后输出最终的动作识别结果。