CN106175778B - 一种建立步态数据集的方法及步态分析方法 - Google Patents
一种建立步态数据集的方法及步态分析方法 Download PDFInfo
- Publication number
- CN106175778B CN106175778B CN201610517381.XA CN201610517381A CN106175778B CN 106175778 B CN106175778 B CN 106175778B CN 201610517381 A CN201610517381 A CN 201610517381A CN 106175778 B CN106175778 B CN 106175778B
- Authority
- CN
- China
- Prior art keywords
- gait
- parameter
- data
- data collection
- tested person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000013480 data collection Methods 0.000 title claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 210000001699 lower leg Anatomy 0.000 claims abstract description 3
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 229920000742 Cotton Polymers 0.000 claims description 4
- 206010017577 Gait disturbance Diseases 0.000 claims description 4
- 210000002414 leg Anatomy 0.000 claims description 4
- 239000011435 rock Substances 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 4
- 239000002023 wood Substances 0.000 claims description 4
- 239000010985 leather Substances 0.000 claims description 3
- 239000000843 powder Substances 0.000 claims description 3
- 239000000049 pigment Substances 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 9
- 210000002683 foot Anatomy 0.000 description 28
- 210000003423 ankle Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000019738 Limestone Nutrition 0.000 description 1
- 206010049214 Monopodia Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000013312 flour Nutrition 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000006028 limestone Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001272 neurogenic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
- A61B5/6807—Footwear
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6829—Foot or ankle
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种建立步态数据集的方法，包括：1)让测试人在测试区域内直线行走，用固定在测试人左脚和右脚的可穿戴传感器采集当前行走过程样本的传感数据作为该样本的步态数据；所述可穿戴传感器包括惯性传感器和声传感器；2)利用在所述测试区域内预置的摄像机和/或所述测试区域内留下的脚印得出当前行走过程样本的步态参数；3)用步骤2)所得出的步态参数标记对应样本的步态数据，从而得到标记后的步态数据集。本发明还提供了相应的基于标注数据集的步态分析方法。本发明有助于提高基于可穿戴传感器实现精确的步态分析的准确度；融合了多模态数据，所获得的数据集数据量大、分类清晰，方便分析和研究。
Description
技术领域
本发明涉及步态研究和分析技术领域，具体地说，本发明涉及步态数据采集和测量技术领域。
背景技术
步态的分析和研究是对人类运动功能的综合研究，包括对人类运动特征的测量、描述和数量的评估。通过对步态的分析和研究，可以识别出步态周期，计算出步态运动学和动力学参数等。近年来，步态的研究在运动训练、疾病诊断、康复医疗、身份识别等方面都起到了非常重要的作用和应用。例如，在一些运动训练中，可以应用步态分析来分析出运动员在训练过程中出现的一些问题，然后帮助他们提成成绩；在疾病诊断中，应用步态分析来判断一些骨科或者神经性疾病，如中风等；在康复医疗中，可以应用步态分析来监护病人的治愈过程；在生物医疗工程中，步态分析已经成为一种基本的辅助方法来识别人的运动特征；在身份识别中，不同的人在步态风格的微小变化可以被用作生物标识符来识别个体的人。
综上所述，由于步态分析与研究有着广泛的应用前景，研究者要进行分析和研究，就需要大量的步态数据。目前国内外公开的可用的步态数据集的步态特征大多数都是基于图像的。然而，动态环境中拍摄的图像受光照变化、运动目标的影子、衣服遮挡等多方面的因素的影响，会给基于图像的步态特征提取带来较大困难。
另一方面，M.Hofmann等人在2014年发表于J.Vis.Commun.Imag e.Represent的名为“The TUM gait from audio,image and depth(GAID)database:Multimodalrecognition of subjects and traits”的文章中，公开了通过微软Kinect工具，其采集人体步态的视频、深度图像和脚步声作为特征，并建立数据集的方法。这种方案能够通过声音信号辅助基于图像的步态特征提取，然而，它仍然无法摆脱光照变化、运动目标的影子、衣服遮挡等对动态环境拍摄的图像的限制。并且，此方案中声音信号采集也需要预先安装声音拾取设备并调试声音拾取环境。因此，这种方法所得到的步态数据集难以应用到对人的日常生活中的步态数据采集和分析中。
M.U.B.Altaf等人在2015年发表于IEEE Trans.Biomed.Eng的名为“AcousticGaits:Gait Analysis with Footstep Sounds”的文章中，公开了通过在房间内预置16个麦克风阵列采集脚步声作为特征来进行采集步态数据。该方法采用了声音作为步态特征，不需要采集步态的图像数据，但是为实现这种基于声音的步态数据采集，需要预先安装声音拾取设备并调试声音拾取环境。然而，人的日常行为所处的环境难以进行这样的预先安装和调试，这就意味着这种方法所得到的步态数据集难以应用到对人日常生活的步态数据采集和分析中。
综上所述，当前迫切需要一种能够支持对人的日常生活中的步态数据采集和分析的步态数据集构建解决方案。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种能够支持对人的日常生活中的步态数据采集和分析的步态数据集构建解决方案。
本发明提供了一种建立步态数据集的方法，包括下列步骤：
1)让测试人在测试区域内直线行走，用固定在测试人左脚和右脚的可穿戴传感器采集当前行走过程样本的传感数据作为该样本的步态数据；所述可穿戴传感器包括惯性传感器和声传感器；
2)利用在所述测试区域内预置的摄像机和/或所述测试区域内留下的脚印得出当前行走过程样本的步态参数；所述步态参数包括：步态距离参数和时间参数，所述步态距离参数至少包括步宽和步长，所述时间参数包括：步行时间、步态周期、支撑期、摆动期、步频、步速和步数；
3)用步骤2)所得出的步态参数标记对应样本的步态数据，从而得到标记后的步态数据集。
其中，所述步骤1)中，所述惯性传感器包括加速度仪、陀螺仪、地磁传感器中的一项或多项；所述声传感器包括麦克风或超声传感器。
其中，所述步骤1)中，所述可穿戴传感器固定在被测人的鞋帮的外侧、前侧或后侧或者被测人的鞋底。
其中，所述步态参数还包括：步距、步幅、单步时间、支撑初期、支撑中期和支撑末期。
其中，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法包括：利用预先布置在所述测试区域内的摄像机拍摄能够追踪被测人行走过程的视频，然后通过分析每帧图像，确定各种步态行为的起始时间，进而得到所述步态参数中的时间参数，所述时间参数包括：单步时间、步态周期、支撑初期、支撑中期、支撑末期、摆动期中的一项或多项。
其中，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法还包括：在位于行走路线上的地面上的长方形区域预先布设易于识别的坐标(例如网格状的易于识别的坐标)，在测试人行走过程中，用横向和纵向的摄像机同时拍摄行走过程，然后基于所拍摄图片中的所述易于识别的坐标，识别出行走过程中的每一步在地上的坐标位置，进而获得步态参数中的距离参数。
其中，所述步骤2)中，所述脚印包括利用压力测试板测出的电子脚印。
其中，所述步骤2)中，所述利用所述测试区域内留下的脚印得出步态参数的方法包括：预先在测试区域地面上撒一层薄粉末，或者在被测人鞋底预先涂抹易留下明显脚印的颜料，使得被测人行走后在测试区域地面上留下脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数。
其中，所述步骤1)还包括：记录被测人行走过程的所属的分类信息，所述分类信息包括对采集主体的分类：姓名、性别、身高、体重、年龄、正常人、步态异常人；对采集时间的分类：季节、日期、时间；对采集地点的分类：室内、室外；对采集主体穿鞋的分类：软底运动鞋、硬底运动鞋、皮鞋；对采集地面的分类：木质地面、石质地面、毛/棉地毯地面、土地面。
本发明提供了一种基于标注数据集的步态分析方法，包括：
步骤100：获取人体步态数据的标注数据集，其中，所述步态数据是固定在被测人脚部的可穿戴传感器所采集的行走过程中的传感数据，所述标注数据集中包括多个行走过程样本的步态数据和对应于各个行走过程样本的步态参数，所述可穿戴传感器包括惯性传感器和声传感器；
步骤200：建立从步态数据到步态参数的映射模型，用所述的标注数据集训练该映射模型；
步骤300：利用固定在当前被测人脚部的惯性传感器和声传感器实时采集被测人的步态数据，然后基于所测的步态数据，基于训练后的映射模型得出当前被测人当前的步态参数。
其中，所述步骤100中，利用前文所述的建立步态数据集的方法获取人体步态数据的标注数据集。
与现有技术相比，本发明的优点在于：
1、本发明能够通过可穿戴式的设备进行数据集采集，不需要预先在测试环境中安装采集设备；
2、本发明能够采用多种标注方法对可穿戴式的步态数据进行准确的标注，从而获得精准标注的数据集，这有助于提高基于可穿戴传感器实现精确的步态分析的准确度；
3、本发明采用声音信号和惯性传感器采集步态数据，融合了多模态数据，所获得的数据集数据量大、分类清晰，方便分析和研究。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1是根据本发明的一个实施例的建立步态数据集方法的示意图；
图2是根据本发明的一个实施例的步态距离参数说明示意图；
图3是根据本发明的一个实施例的用于进行时间标注的高清摄像机拍摄场景的俯视示意图；
图4是根据本发明的一个实施例的将步态采集装置预装在鞋上的示意图；以左脚鞋为例，从左到右，步态采集装置的位置分别位于鞋的外侧、前侧、后侧、底部前、底部中、底部后；
图5是根据本发明的一个实施例的将步态采集装置佩戴在脚踝处的示意图；以右脚为例，从左到右，步态采集装置分别被佩戴在脚踝的外侧、后侧、前侧；
图6示出了本发明一个实施例中的对步态参数进行测量的场景示意图。
具体实施方式
如前文所述，现有的步态分析技术中，采集设备往往需要在预设的区域(通常是室内)安装和调试，这导致步态数据的采集也只能在这个特定区域内完成，因此难以对人日常生活中的步态进行分析。发明人为克服上述缺陷，将可穿戴的惯性传感器和声传感器(如麦克风或超声传感器)的组合引入步态分析技术中，从而实现对人日常生活中的步态的分析。下面结合附图和具体实施方式对本发明作详细说明。
根据本发明的一个实施例，提供了一种基于可穿戴的声传感器和惯性传感器的步态数据集的构建方法。该方法所构建的数据集融合了多模态数据，所获得的数据集中的数据量大、分类清晰、方便分析和研究。与此同时，还克服了声传感器、惯性传感器等可穿戴本身的一些固有缺陷，从而使对人日常生活中的步态进行分析成为可能。
当前，惯性传感器已被广泛应用于计步技术中，然而，步态分析需要获取的步态参数要求更高的精度，而由于惯性传感器固有的累计误差问题无法从本质上消除，因此，现有技术中还无法直接用惯性传感器数据计算精确的步态参数。本实施例中，引入麦克风进行声音数据的采集，麦克风小巧、廉价，非常适合配合可穿戴的相关智能设备使用。在双脚在行走时，脚步声比较清晰和可靠，通过对脚步声的检测，可以准确判断步态行走的一些时间参数(如单步周期、步行周期、摆动初期、零速检测等)。这样，通过结合麦克风的脚步声音数据的分析，可以很大程度上消除和改善传统惯性传感器进行步态分析时引入的累计误差。
图1示出了本实施例的步态数据集的构建方法的示意图，该步态数据集的构建方法包括下列步骤：
步骤101：让测试人在测试区域内直线行走，利用可穿戴传感器和传统的步态采集装置，同步采集可穿戴传感器数据和传统步态信息。本步骤中，可穿戴传感器包括麦克风和惯性传感器，其中惯性传感器包括加速度仪、陀螺仪、地磁传感器等。
一个实施例中，可以根据具体采集情况对所采集的样本进行分类。例如，对采集主体分类：姓名、性别、身高、体重、年龄、正常人、步态异常人；对采集时间分类：季节、日期、时间；对采集地点分类：室内、室外；对采集主体穿鞋分类：运动鞋(软底)、运动鞋(硬底)、皮鞋；对采集地面分类：木质地面、石质地面、毛/棉地毯地面、土地面。可以将全部或者部分上述分类信息标记在所采集的可穿戴传感器步态数据的样本上，从而为后续的步态分析工作提供更好的支持。
在一个例子中，用于采集步态数据的采集装置至少包括：麦克风和惯性传感器(例如，加速度仪、陀螺仪、地磁传感器等)。其中，采集装置佩戴方式可以为左右双脚同时佩戴。通过在双足上同时使用两个步态数据采集装置节点，将左右脚的数据进行分析融合，可以获得比单足测量方式更准确的信息。具体的，可以将采集装置装在鞋中的不同位置(参考图4所示，一般在生产鞋时预装在鞋里)或者穿戴在双脚脚踝处(参考图5所示)。本实施例中，将采集装置佩戴在左右脚的对称位置上。
如图4和图5所示，在进行步态数据采集时，可以将采集节点(装置)分别穿戴在两只脚上或者左右脚分别穿戴上预植入采集节点的鞋子。
图4和图5中，a表示步态采集装置，b表示松紧绷带，用于固定采集装置，同时有利于用户穿戴的舒适度。对于如图4所示的佩戴方式，双脚穿戴上后，可以根据需要将鞋子穿紧，使鞋子在脚上不发生移动。由于将步态采集装置穿戴在脚踝内侧时，可能会对正常行走带来影响，进而影响步态及采集到的步态参数，因此可以将步态采集装置佩戴在脚踝外侧、后侧和前侧。
对于如图5所示的佩戴方式，双脚穿戴上后，可以根据需要调整松紧绷带，使其紧紧固定在足部，不发生移动。将步态采集装置预装在鞋中时，采集装置可以位于鞋帮的前侧、外侧、后侧和鞋底。
在采集人体步态数据的实验开始前，可以选择性地进行以下准备：
S1-0a：记录被试者的个人信息，可以例如包括：姓名、性别、身高、体重、年龄、是否被正规医疗机构诊断为步态异常人。
S1-0b：记录采集地点：室内、室外。由于本发明采用的是融合声音信号的多传感器的采集步态数据的方法，所以为了降低对所采集的数据的干扰，在选取测试地点时，应尽量避开环境吵闹的地方。
S1-0c：记录采集时间：季节、日期、时间(具体到几点几分)。应理解，在不同的季节，由于人体穿着不同、打扮不同、身体负重不同等因素，或多或少会影响人体步态。另外一天中不同的时段，餐饮、起居等也有可能影响人体步态。
S1-0e：记录采集主体穿鞋：运动鞋(软底)、运动鞋(硬底)、皮鞋。
S1-0f：记录采集地面：木质地面、石质地面、毛/棉地毯地面、土地面。
步骤102：利用预先布置在所述测试区域内的高清摄像机拍摄能够追踪被测人行走过程的视频或者利用被测人行走所留下的脚印，通过人工识读或者通过计算机自动识别技术从该视频和脚印中得出被测人行走过程样本的步态参数。本实施例中，步态参数可以包括以下类型中的一种或多种：步距、步宽、步长、步幅、步数、步频、步速、步行距离、步行时间、单步时间、步态周期、支撑初期(包括左、右脚的支撑初期)、支撑中期(包括左、右脚的支撑中期)、支撑末期(包括左、右脚的支撑末期)、摆动期(包括左、右脚的摆动期)。图2示出了本实施例中的步态距离参数的示意图。其中，步态距离参数包括：步距、步宽、步长、步幅等。对于距离参数和步数，可以通过被测人行走所留下的脚印测出。可以预先在测试区域地面上撒一层薄粉末(例如面粉或者石灰粉)，或者在被测人鞋底预先涂抹易留下明显脚印的颜料，使得测试区域地面上留下脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数。当然，上述测量距离参数的方法并不是唯一的，在另一实施例中，还可以采用专业压力测试板来测量距离参数。而对于时间参数，例如步频、步速、步行距离、步行时间、单步时间、步态周期、支撑初期(包括左、右脚的支撑初期)、支撑中期(包括左、右脚的支撑中期)、支撑末期(包括左、右脚的支撑末期)、摆动期(包括左、右脚的摆动期)等，可以使用高清摄像机摄像，通过分析每帧图像，进而确定步态行为的起始时间，进而得到上述时间参数。在另一个实施例中，可以用支撑期来代替上述时间参数中的支撑初期、支撑中期和支撑末期。支撑期是从支撑初期的开始时刻到支撑末期结束时刻的整体支撑时期。
在所述测试区域中，可以预先布置横向和纵向高清摄像机(有时简称为摄像机)到预定位置，使得在高清摄像机能够拍摄到步行过程中完整的双脚脚踝及脚踝以下全部。图3示出了本实施例中的用于进行时间标注的高清摄像机拍摄场景的俯视示意图。如图3所示，其中：v表示纵向摄像机距离步行行走线(即步行路线)的垂直距离；l表示采集步态参数时的步行距离。v和l的距离，应使得在高清摄像机不进行移动和旋转的情况下，能够拍摄到步行过程中完整的双脚脚踝及脚踝以下部分。横向摄像机是沿着步行方向拍摄的静止摄像机，如图3所示。
需要指出，如果被测人行走过程超出图3所示的l的范围时，纵向摄像机就可能难以准确记录人的步行信息。因此，为了增大纵向摄像机的可拍摄的范围，在另一个实施例中，可以将纵向摄像机安装在与步行方向平行的轨道上，使得纵向摄像机能够以与被测人步行速度大致相同的速度跟随该被测人移动，从而使得该纵向摄像机能够始终拍摄到步行过程中完整的双脚脚踝及脚踝以下部分。并且，为了便于计算机识别，在步行线路所涉及的区域的地面上预先画横向和纵向的线(或坐标)，在画横向和纵向的线(或坐标)时，相邻两条线之间的距离不宜过大，以免造成后期标注引入更多误差。这样，在被测人步行过程中，通过横向和纵向高清摄像机采集图像，然后标出在每一帧图像所对应时刻以及识别出该帧图像中左右脚在地上的坐标体系中的位置，进而得出准确的步态参数。图6示出了基于该实施例的对步态参数进行测量的场景示意图，参考图6，该实施例中具体的步态参数测量过程如下：在位于行走路线中的地上一个长方形区域画出网格(图6中，长方形区域长5.0m，宽0.8米。地上标定了坐标系，用横向和纵向的高清摄像机拍摄，这两个高清摄像机可用于标注步态时间参数和步态距离参数)，这个长方形网格是被不同颜色的纵横直线切割为许多个小的正方形(例如5cm×5cm的正方形)，这样就相当于给地上画了一个很大的易于识别的坐标，从而使所测量的估计步态距离参数的最大误差控制在2-3cm以内。人在这个长方形网格上正常行走的行走过程中，采用纵向和横向的高清摄像机同时拍摄，即可依靠所述网格的辅助，从所拍摄的图像中方便地获得作为标注数据的距离参数。具体地，可在地上定一个坐标原点，可以从高清摄像机拍摄的图像(一帧一帧)中，清楚的看到行走的每一步在地上的坐标位置，进而可以标注出距离参数。
进一步地，表1给出了各种步态参数的定义，以及一些获取步态参数的方法。
表1
综上所述，上述实施例中，通过预先布置的视频采集设备和预先布置的易于留下脚印的采集措施，获取能够追踪被测人行走过程的视频以及测试后留下的脚印，通过人工测量或者计算机自动识别技术，得出所采集的步态数据样本对应的步态参数。易于留下脚印的采集措施可做广义理解，例如可采用专业的压力测试板获取被测人行走过程中的电子脚印信息，然后再基于该电子脚印信息得出对应的步态参数。
步骤102中，所得出的步态参数可视为直接测量的结果，准确度高，因此可用于标注所述步态数据(步骤101所得的基于可穿戴传感器的传感数据)，因此这些步态参数也可称为标注数据。
步骤103：得出所采集的样本数据对应的步态参数后，用所得出的步态参数标注对应的可穿戴传感器步态数据，从而得到标注后的样本数据(在图1中称为存储数据)。
重复执行上述步骤101～103，即可获得基于可穿戴传感器数据的样本的标注数据集，其中包括可穿戴传感器采集的样本数据及对该样本数据的标注，该标注包括一系列表征步态信息的步态参数。在一个例子中，这些样本数据和由步态参数组成的步态特征向量(可称为样本数据的步态特征向量)一一对应，从而方便查询。
上述实施例中，标注数据集采用声音信号和惯性传感器进行采集步态数据，融合了多模态数据，所获得的数据集中的数据量大、分类清晰、方便分析和研究；同时，采用多种标注方法对步态数据进行准确的标注，对数据集而言可以获得精准的标注。
进一步地，根据本发明的另一实施例，还提供了一种基于上述标注数据集的步态分析方法，包括：
步骤100：建立基于多种可穿戴传感器采集的人体步态数据的标注数据集，该数据集至少包括可穿戴传感器采集的样本数据及对该样本数据的标注，该标注包括一系列表征步态信息的步态参数。本实施例中，所述的多种可穿戴传感器包括惯性传感器和声传感器，在采集步态数据时，它们都部署在被测人的脚部。
步骤200：建立从步态数据到步态参数的映射模型，用所述的标注数据集训练该映射模型。本步骤中的映射模型是一种基于多传感器(包括惯性传感器和声传感器)融合的策略的映射模型。具体来说，就是作为该映射模型输入数据的步态数据包括惯性传感器步态数据和声传感器数据。发明人研究发现，如果依靠单纯的惯性传感器数据来检测步态参数时，会由于穿戴者的脚步的轻重快慢等行走习惯导致较多的漏检；而单纯的依靠声传感器数据来检测步态参数时，会由于穿戴着的体重、走路快慢等导致较多的错检。故本实施例中，在建立从标注数据到步态参数的映射模型时，在训练此模型时，采用了融合这两种传感器数据的策略，这样惯性传感器步态数据和声传感器数据可以互相弥补缺陷。
本步骤中的映射模型可以是BP神经网络模型或者SVM支持向量机模型。BP神经网络可参考文献：Learning internal representations by back-propagating errors，DERumelhart，GE Hinton，RJ Williams-《Nature》–1986；SVM支持向量机可参考文献：P.H.Chen,C.J.Lin,and B.A tutorial onν-support vector machines,Appl.Stoch.Models.Bus.Ind.2005,21,111-136.。
步骤300：利用部署在被测人脚部的惯性传感器和声传感器实时采集被测人的步态数据，然后基于所测的步态数据，基于训练后的映射模型得出被测人当前的步态参数。
上述步态分析方案能够通过可穿戴式的设备进行步态数据采集，不需要预先在测试环境中安装采集设备，从而拓宽了步态分析的应用领域，使对人日常生活中的步态进行采集和分析成为可能。并且，初步试验表明，基于融合策略的映射模型相比较单一类型传感器的映射模型有更高的精确率和召回率。其中，精确率可提高约10％，召回率可提高约10％。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管上文参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种建立步态数据集的方法，包括下列步骤：
1)让被测人在测试区域内直线行走，用固定在被测人左脚和右脚的可穿戴传感器采集当前行走过程样本的传感数据作为该样本的步态数据；所述可穿戴传感器包括惯性传感器和声传感器；
2)利用在所述测试区域内预置的摄像机和/或所述测试区域内留下的脚印得出当前行走过程样本的步态参数；所述步态参数包括：步态距离参数和时间参数，所述步态距离参数至少包括步宽和步长，所述时间参数包括：步行时间、步态周期、支撑期、摆动期、步频、步速和步数；
3)用步骤2)所得出的步态参数标记对应样本的步态数据，从而得到人体步态数据的标注数据集。
2.根据权利要求1所述的建立步态数据集的方法，其特征在于，所述步骤1)中，所述惯性传感器包括加速度仪、陀螺仪、地磁传感器中的一项或多项；所述声传感器包括麦克风或超声传感器。
3.根据权利要求2所述的建立步态数据集的方法，其特征在于，所述步骤1)中，所述可穿戴传感器固定在被测人的鞋帮的外侧、前侧或后侧或者被测人的鞋底。
4.根据权利要求1所述的建立步态数据集的方法，其特征在于，所述步态参数还包括：步距、步幅、单步时间、支撑初期、支撑中期和支撑末期。
5.根据权利要求4所述的建立步态数据集的方法，其特征在于，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法包括：利用预先布置在所述测试区域内的摄像机拍摄能够追踪被测人行走过程的视频，然后通过分析每帧图像，确定各种步态行为的起始时间，进而得到所述步态参数中的时间参数，所述时间参数包括：单步时间、步态周期、支撑初期、支撑中期、支撑末期、摆动期中的一项或多项。
6.根据权利要求5所述的建立步态数据集的方法，其特征在于，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法还包括：在位于行走路线上的地面上的长方形区域预先布设易于识别的坐标，在被测人行走过程中，用横向和纵向的摄像机同时拍摄行走过程，然后基于所拍摄图片中的所述易于识别的坐标，识别出行走过程中的每一步在地上的坐标位置，进而获得步态参数中的距离参数。
7.根据权利要求4所述的建立步态数据集的方法，其特征在于，所述步骤2)中，所述利用所述测试区域内留下的脚印得出步态参数的方法包括：利用压力测试板测出电子脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数；或者预先在测试区域地面上撒一层薄粉末，或者在被测人鞋底预先涂抹易留下明显脚印的颜料，使得被测人行走后在测试区域地面上留下脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数。
8.根据权利要求4所述的建立步态数据集的方法，其特征在于，所述步骤1)还包括：记录被测人行走过程的所属的分类信息，所述分类信息包括对采集主体的分类：姓名、性别、身高、体重、年龄、正常人、步态异常人；对采集时间的分类：季节、日期、时间；对采集地点的分类：室内、室外；对采集主体穿鞋的分类：软底运动鞋、硬底运动鞋、皮鞋；对采集地面的分类：木质地面、石质地面、毛/棉地毯地面、土地面。
9.一种基于标注数据集的步态分析方法，包括：
步骤100：获取人体步态数据的标注数据集，其中，所述步态数据是固定在被测人脚部的可穿戴传感器所采集的行走过程中的传感数据，所述标注数据集中包括多个行走过程样本的步态数据和对应于各个行走过程样本的步态参数，所述可穿戴传感器包括惯性传感器和声传感器；
其中，利用权利要求1～8中任一项所述的建立步态数据集的方法来获取所述人体步态数据的标注数据集；
步骤200：建立从步态数据到步态参数的映射模型，用所述的标注数据集训练该映射模型；
步骤300：利用固定在当前被测人脚部的惯性传感器和声传感器实时采集被测人的步态数据，然后基于所测的步态数据和训练后的映射模型得出当前被测人当前的步态参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610517381.XA CN106175778B (zh) | 2016-07-04 | 2016-07-04 | 一种建立步态数据集的方法及步态分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610517381.XA CN106175778B (zh) | 2016-07-04 | 2016-07-04 | 一种建立步态数据集的方法及步态分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106175778A CN106175778A (zh) | 2016-12-07 |
| CN106175778B true CN106175778B (zh) | 2019-02-01 |
Family
ID=57465776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610517381.XA Active CN106175778B (zh) | 2016-07-04 | 2016-07-04 | 一种建立步态数据集的方法及步态分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106175778B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016346A (zh) * | 2017-03-09 | 2017-08-04 | 中国科学院计算技术研究所 | 步态身份识别方法及系统 |
| CN109431000B (zh) * | 2017-04-12 | 2021-07-30 | 江苏杰创企业管理有限公司 | 一种基于步长信息的运动指导系统及方法 |
| CN107170466B (zh) * | 2017-04-14 | 2020-12-29 | 中国科学院计算技术研究所 | 基于音频的拖地声检测方法 |
| CN107403143A (zh) * | 2017-07-06 | 2017-11-28 | 广东小天才科技有限公司 | 一种步态识别方法及电子设备 |
| CN107696921B (zh) * | 2017-08-30 | 2020-06-12 | 重庆延锋安道拓汽车部件系统有限公司 | 汽车座椅调节系统及其控制方法 |
| CN108030497B (zh) * | 2018-01-16 | 2023-12-19 | 大连乾函科技有限公司 | 一种基于imu惯性传感器的步态分析装置及其方法 |
| CN109009147A (zh) * | 2018-08-10 | 2018-12-18 | 柳州高华机械有限公司 | 智能康复训练梯检测系统及检测方法 |
| CN109009148A (zh) * | 2018-08-24 | 2018-12-18 | 广东工业大学 | 一种步态功能评估方法 |
| WO2020077482A1 (zh) * | 2018-10-15 | 2020-04-23 | 王长贵 | 一种复合瓷砖以及具有它的步态检测系统 |
| CN109528212B (zh) * | 2018-12-29 | 2023-09-19 | 大连乾函科技有限公司 | 一种异常步态识别设备及方法 |
| CN110123330A (zh) * | 2019-05-20 | 2019-08-16 | 浙江大学 | 基于足底压力数据的脚型参数测量与压力云图生成方法 |
| CN110236550B (zh) * | 2019-05-30 | 2020-07-10 | 清华大学 | 一种基于多模态深度学习的人体步态预测装置 |
| CN110210392B (zh) * | 2019-05-31 | 2022-12-09 | 吉林化工学院 | 一种基于概率论的步态识别装置 |
| CN111028374B (zh) * | 2019-10-30 | 2021-09-21 | 中科南京人工智能创新研究院 | 基于步态识别的考勤机及考勤系统 |
| CN110916970B (zh) * | 2019-11-18 | 2021-09-21 | 南京伟思医疗科技股份有限公司 | 一种通过通讯实现减重车与下肢机器人协同运动的装置及方法 |
| CN111079651A (zh) * | 2019-12-17 | 2020-04-28 | 河南水滴智能技术有限公司 | 一种步态分类方法的再优化 |
| CN111178338A (zh) * | 2020-03-18 | 2020-05-19 | 福建中医药大学 | 一种步态分析系统中数据库和标准化模型的建立方法 |
| TWI737237B (zh) * | 2020-03-25 | 2021-08-21 | 國泰醫療財團法人國泰綜合醫院 | 足部慣性量測系統 |
| CN112472531A (zh) * | 2020-12-17 | 2021-03-12 | 大连理工大学 | 面向医疗复健和助力行走的下肢外骨骼机器人步态平稳算法 |
| CN114052724B (zh) * | 2022-01-13 | 2022-09-09 | 西安交通大学医学院第一附属医院 | 基于人工智能的骨科牵引异常检测系统 |
| CN114267088B (zh) * | 2022-03-02 | 2022-06-07 | 北京中科睿医信息科技有限公司 | 一种步态信息的处理方法、装置及电子设备 |
| CN118470790A (zh) * | 2024-04-30 | 2024-08-09 | 南京特殊教育师范学院 | 一种智能步态分析与姿势矫正优化方法及系统 |
| CN118370534B (zh) * | 2024-06-21 | 2024-09-17 | 浙江大学 | 一种步态分析方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836744B1 (en) * | 2000-08-18 | 2004-12-28 | Fareid A. Asphahani | Portable system for analyzing human gait |
| CN102243687A (zh) * | 2011-04-22 | 2011-11-16 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别技术的体育教学辅助系统及其实现方法 |
| CN104729507A (zh) * | 2015-04-13 | 2015-06-24 | 大连理工大学 | 一种基于惯性传感器的步态识别方法 |
| US20150257679A1 (en) * | 2011-03-24 | 2015-09-17 | MedHab, LLC | System and method for monitoring a runner's gait |
-
2016
- 2016-07-04 CN CN201610517381.XA patent/CN106175778B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836744B1 (en) * | 2000-08-18 | 2004-12-28 | Fareid A. Asphahani | Portable system for analyzing human gait |
| US20150257679A1 (en) * | 2011-03-24 | 2015-09-17 | MedHab, LLC | System and method for monitoring a runner's gait |
| CN102243687A (zh) * | 2011-04-22 | 2011-11-16 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别技术的体育教学辅助系统及其实现方法 |
| CN104729507A (zh) * | 2015-04-13 | 2015-06-24 | 大连理工大学 | 一种基于惯性传感器的步态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106175778A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106175778B (zh) | 一种建立步态数据集的方法及步态分析方法 | |
| US11348255B2 (en) | Techniques for object tracking | |
| CN107174255B (zh) | 基于Kinect体感技术的三维步态信息采集与分析方法 | |
| CN107578019B (zh) | 一种视觉触觉融合的步态识别系统及识别方法 | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| Barth et al. | Subsequence dynamic time warping as a method for robust step segmentation using gyroscope signals of daily life activities | |
| US11559261B2 (en) | Gait motion display system and program | |
| JP6444813B2 (ja) | 分析システム、及び、分析方法 | |
| KR20170052628A (ko) | 운동 과제 분석 시스템 및 방법 | |
| Anwary et al. | Validity and consistency of concurrent extraction of gait features using inertial measurement units and motion capture system | |
| JP2021030051A (ja) | 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム | |
| JP2015066155A (ja) | 歩行特徴の解析方法 | |
| CN113768471B (zh) | 一种基于步态分析的帕金森疾病辅助诊断系统 | |
| CN106846372B (zh) | 人体运动质量视觉分析与评价系统及其方法 | |
| Strohrmann et al. | A data-driven approach to kinematic analysis in running using wearable technology | |
| CN104688237B (zh) | 体质检测的测时方法及系统 | |
| Cai et al. | Single-camera-based method for step length symmetry measurement in unconstrained elderly home monitoring | |
| Wang et al. | Gait analysis and validation using voxel data | |
| CN112438723A (zh) | 认知功能评估方法、认知功能评估装置以及存储介质 | |
| Nouredanesh et al. | Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool | |
| CN115530815A (zh) | 一种基于角速度传感器的步态时相识别方法 | |
| CN104331705B (zh) | 融合时空信息的步态周期自动检测方法 | |
| KR20230120341A (ko) | 2차원 영상을 이용한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
| Anwary et al. | Insole-based real-time gait analysis: Feature extraction and classification | |
| Yang et al. | Empowering a gait feature-rich timed-up-and-go system for complex ecological environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20161207 Assignee: Beijing Zhongke Huicheng Technology Co., Ltd. Assignor: Institute of Computing Technology, Chinese Academy of Sciences Contract record no.: 2018110000005 Denomination of invention: Method for establishing gait data set and gait analysis method License type: Common License Record date: 20180222 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Beijing Zhongke Huicheng Technology Co., Ltd. Assignor: Institute of Computing Technology, Chinese Academy of Sciences Contract record no.: 2018110000005 Date of cancellation: 20180309 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20161207 Assignee: Luoyang Zhongke Huicheng Technology Co., Ltd. Assignor: Institute of Computing Technology, Chinese Academy of Sciences Contract record no.: 2018110000009 Denomination of invention: Method for establishing gait data set and gait analysis method License type: Common License Record date: 20180319 |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |