CN117503120B - 人体姿态估计方法及系统 - Google Patents
人体姿态估计方法及系统 Download PDFInfo
- Publication number
- CN117503120B CN117503120B CN202311736609.0A CN202311736609A CN117503120B CN 117503120 B CN117503120 B CN 117503120B CN 202311736609 A CN202311736609 A CN 202311736609A CN 117503120 B CN117503120 B CN 117503120B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- virtual
- matrix
- pose
- measurement unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 144
- 238000005259 measurement Methods 0.000 claims abstract description 83
- 230000009466 transformation Effects 0.000 claims abstract description 82
- 210000004197 pelvis Anatomy 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 15
- 210000001624 hip Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 210000000689 upper leg Anatomy 0.000 claims description 4
- 210000000245 forearm Anatomy 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供人体姿态估计方法及系统，涉及空间数据处理技术领域，包括设置惯性传感器，将惯性传感器组合成惯性测量单元，在人体关节处安装惯性测量单元，计算航向方向(Z轴)标定后姿态，确定惯性传感器的初始Z轴方向，初始化惯性传感器；在站立姿态下，以站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于Z轴标定后姿态，结合虚拟变换矩阵，完成虚拟人姿态标定；选取虚拟关节，各自建立坐标系，设置骨盆为基坐标系，其他关节坐标系以基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
Description
技术领域
本发明涉及空间数据处理技术，尤其涉及一种人体姿态估计方法及系统。
背景技术
为监测人体各关节的运动数据，研究运动姿态仿真算法，需建立真实人体姿态信息(即传感器信息)与虚拟人的运动姿态映射模型关系，将真实人关节位姿与虚拟人体模型各关节位姿一一对应，进而为后续的平衡康复训练平台控制系统提供实时关节位姿、速度与力信息；
CN201911159199.1，公开了一种人体姿态估计方法，包括：采用人体检测网络从原始图形中获取单人图像，原始图形中包括至少一个单人图像；采用人体姿态估计网络对每个单人图像进行关键点检测，得到各个关键点的位置的分布热图；获取每个单人图像的边框与原始图形中其他单人图像的边框的重叠程度，判断单人图像是否存在遮挡问题；若单人图像不存在遮挡问题，则由分布热图得到单人图像中关键点的最终坐标；若单人图像存在遮挡问题则将单人图像中全部分布热图构成图的形式，并通过图神经网络对每个分布热图进行优化，然后由优化后的分布热图得到单人图像中关键点的最终坐标。用图神经网络充分提取图的整体结构信息，以实现对关键点位置的校正效果，提高检测准确率；
综上所述，在现有技术中，基于图结构模型进行人体姿态估计的算法都是基于普通光学图像，受环境光和色彩的干扰，以及图像中多个人体的相互遮挡，使姿态估计准确性不足，不如传感器的数据准确，此外，现有的姿态传感器，航向方向，也就是Z轴方向，大多是依靠地磁场来确定，但在使用时很容易受到电子设备的电磁干扰，导致传感器z轴角度测量不准，发生巨大漂移。本发明的应用至少能够解决现有技术的部分问题。
发明内容
本发明实施例提供一种人体姿态估计方法及系统，至少能够解决现有技术中部分问题。
本发明实施例的第一方面，
提供一种人体姿态估计方法，包括：
设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的航向方向(Z轴)标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
选取虚拟人头、胸、腰以及左右大臂、小臂、手、大腿、小腿、脚共15个关节，各自建立坐标系，设置骨盆为基坐标系，其他14个坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
在一种可选的实施方式中，
设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器包括：
设置惯性传感器，其中，所述惯性传感器包括陀螺仪、加速度计，将陀螺仪、加速度计组合成惯性测量单元；
在世界坐标系下，根据所述惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，确定Z轴标定变换矩阵；
根据所述惯性测量单元的原始旋转矩阵，结合所述Z轴标定变换矩阵，计算所述惯性测量单元的Z轴标定后旋转矩阵，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器。
在一种可选的实施方式中，
还包括：
根据惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，通过所述Z轴标定时姿态矩阵的逆，左乘所述统一姿态矩阵，计算Z轴标定变换矩阵，其公式如下：
其中，ZRi表示第i个关节坐标系的Z轴标定变换矩阵，w表示以世界坐标系为基准，ZA表示Z轴标定后，表示Z轴标定后统一姿态矩阵，Zp表示Z轴标定时，/>表示第i个关节坐标系的Z轴标定时姿态矩阵的逆；
惯性测量单元的原始旋转矩阵左乘所述Z轴标定变换矩阵，计算惯性测量单元的Z轴标定后旋转矩阵，其公式如下：
其中，表示第i个关节坐标系的Z轴标定后旋转矩阵，wRi表示第i个关节坐标系的原始旋转矩阵。
在一种可选的实施方式中，
在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定包括：
在站立姿态下，以站立姿态标定时旋转矩阵，作为虚拟变换矩阵，其公式如下：
其中，表示第i个关节坐标系相对世界坐标系的虚拟变换矩阵，/>表示站立姿态标定时旋转矩阵；
Z轴标定后姿态右乘所述虚拟变换矩阵的逆，计算得到虚拟旋转矩阵，其公式如下：
其中，VRi表示虚拟旋转矩阵，表示虚拟变换矩阵的逆。
在一种可选的实施方式中，
选取虚拟人关节，各自建立坐标系，设置基坐标系，其他坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿解算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果包括：
选取虚拟人的15个关节，建立与所述15个关节对应的15个坐标系，设置髋部坐标系为基坐标系，其他坐标系以所述基坐标系为起点，构建5个解算串联分支，对所述解算串联分支分别计算；
所述齐次坐标变换设置两种形式，分别表示为纯平移式和纯旋转式，基于所述齐次坐标变换，绕动坐标系，构建各关节的位姿矩阵表示；
将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
在一种可选的实施方式中，
还包括：
所述齐次坐标变换分别表示为纯平移式和纯旋转式，其中纯平移式如下：
其中，表示从j坐标系到i坐标系的平移变换，/>表示j坐标系原点相对于i坐标系原点的平移，I3×3表示3×3的单位矩阵；
纯旋转式如下：
其中，表示从j坐标系到i坐标系的旋转变换，/>表示j坐标系相对于i坐标系的旋转，/>表示3×3的旋转矩阵；
对各关节的位姿矩阵进行求解，其公式如下：
其中，VTi表示从虚拟坐标系V到第i个关节坐标系的位姿矩阵，VP1表示从虚拟坐标系V到基坐标系的平移向量，VRn-1表示从虚拟坐标系V到第n-1个关节坐标系的旋转，VPn表示从虚拟坐标系V到第n个关节坐标系的平移向量，Rot(VRn-1)'表示从虚拟坐标系V到第n-1个关节坐标系的旋转矩阵的逆，VRi表示从虚拟坐标系V到第i个关节坐标系的旋转。
本发明实施例的第二方面，
提供一种人体姿态估计系统，包括：
第一单元，用于设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
第二单元，用于在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
第三单元，用于选取虚拟人头、胸、腰以及左右大臂、小臂、手、大腿、小腿、脚共15个关节，各自建立坐标系，设置骨盆为基坐标系，其他14个坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本申请通过组合陀螺仪、加速度计数据，可以实现高精度的姿态测量和跟踪，这对于虚拟现实、增强现实、运动分析和医疗领域等应用非常有用。将惯性测量单元安装在人体关节处可以帮助监测和分析关节的运动，这在康复医学、运动训练和生物医学研究中具有重要作用。通过Z轴标定和初始Z轴方向的确定，可以实现传感器的准确姿态校准，这对于在不同环境中使用传感器时提高测量精度非常有用。
通过将现实空间的运动映射到虚拟空间，用户可以在虚拟环境中更自然地进行交互，提高虚拟现实体验的沉浸感；虚拟人姿态标定该技术允许对虚拟人或对象的姿态进行标定，以使其模仿现实世界中的用户动作。通过将实际运动映射到虚拟空间，可以进行运动分析，用于体育训练、康复医学和生物医学研究，这有助于监测运动员的技能和运动过程，以提高表现和减少受伤的风险。
通过使用多个关节和坐标系，以及纯平移式和纯旋转式的齐次坐标变换，可以实现更逼真的虚拟人姿态模仿，虚拟人在虚拟环境中的动作和姿态将更加真实和流畅。使用多个关节和坐标系，以及不同类型的坐标变换，可以提高姿态匹配的精确性。通过匹配虚拟人和真实人体的姿态，可以实现更自然的动作互动。
现有的“6轴惯性传感器”存在开机航向方向(Z轴)的姿态不固定的问题及单个传感器标定方法操作繁琐、标定效率低下问题，而现有的“9轴惯性传感器”存在航向方向受电磁干扰大，易发生漂移且不易检测纠正问题，综合考虑之下，本申请通过集中式批量Z轴标定算法解决了此问题；现有虚拟人姿态标定中动作繁琐(需完成11种预设动作)，且匹配质量不高问题，本申请通过站立姿态解决了该问题。
附图说明
图1为本发明实施例人体姿态估计方法的流程示意图；
图2为本发明实施例坐标系的示意图；
图3为本发明实施例人体姿态估计系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例人体姿态估计方法的流程示意图，如图1所示，所述方法包括：
S101.设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
在一种可选的实施方式中，
设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器包括：
设置惯性传感器，其中，所述惯性传感器包括陀螺仪、加速度计，将陀螺仪、加速度计组合成惯性测量单元；
在世界坐标系下，根据所述惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，确定Z轴标定变换矩阵；
根据所述惯性测量单元的原始旋转矩阵，结合所述Z轴标定变换矩阵，计算所述惯性测量单元的Z轴标定后旋转矩阵，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器。
示例性地，可以对陀螺仪、加速度计的数据进行校准，以消除传感器的误差。将校准后的传感器数据合并成一个综合的惯性测量单元。通常，这涉及到使用姿态估计算法(如卡尔曼滤波器或四元数滤波器)来融合陀螺仪、加速度计数据以获得更精确的姿态信息。
将惯性测量单元安装在人体关节处，以便测量关节的运动和姿态。
在无人体运动的情况下，记录惯性测量单元的初始姿态(通常是通过读取传感器的输出来获取)。在有人体运动的情况下，持续地获取传感器数据并使用姿态估计算法来计算Z轴标定后的姿态。对比无人体运动情况所确定的初始姿态和有人体运动情况下所确定的姿态，计算出Z轴标定变换矩阵。
根据Z轴标定变换矩阵，将初始姿态旋转矩阵与之相乘，以确定惯性传感器的初始Z轴方向。将惯性传感器的初始Z轴方向用于后续的运动和姿态测量。这个方向可以用于识别和跟踪关节的运动。
在一种可选的实施方式中，
还包括：
根据惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，通过所述Z轴标定时姿态矩阵的逆，左乘所述统一姿态矩阵，计算Z轴标定变换矩阵，其公式如下：
其中，ZRi表示第i个关节坐标系的Z轴标定变换矩阵，w表示以世界坐标系为基准，ZA表示Z轴标定后，表示Z轴标定后统一姿态矩阵，Zp表示Z轴标定时，/>表示第i个关节坐标系的Z轴标定时姿态矩阵的逆；
惯性测量单元的原始旋转矩阵左乘所述Z轴标定变换矩阵，计算惯性测量单元的Z轴标定后旋转矩阵，其公式如下：
其中，表示第i个关节坐标系的Z轴标定后旋转矩阵，wRi表示第i个关节坐标系的原始旋转矩阵。
可以理解的是，通过组合陀螺仪、加速度计数据，可以实现高精度的姿态测量和跟踪，这对于虚拟现实、增强现实、运动分析和医疗领域等应用非常有用。将惯性测量单元安装在人体关节处可以帮助监测和分析关节的运动，这在康复医学、运动训练和生物医学研究中具有重要作用。通过Z轴标定和初始Z轴方向的确定，可以实现传感器的准确姿态校准，这对于在不同环境中使用传感器时提高测量精度非常有用。
S102.在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
在一种可选的实施方式中，
在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定包括：
在站立姿态下，以站立姿态标定时旋转矩阵，作为虚拟变换矩阵，其公式如下：
其中，表示第i个关节坐标系相对世界坐标系的虚拟变换矩阵，/>表示站立姿态标定时旋转矩阵；
Z轴标定后姿态右乘所述虚拟变换矩阵的逆，计算得到虚拟旋转矩阵，其公式如下：
其中，VRi表示虚拟旋转矩阵，表示虚拟变换矩阵的逆。
示例性地，可以让被测人员站立在已安装惯性测量单元的位置，确保站立姿态稳定；使用惯性测量单元记录站立姿态时的传感器数据，包括姿态信息和旋转矩阵；根据站立姿态时的旋转矩阵，作为虚拟变换矩阵，这个虚拟变换矩阵将用于将现实空间的运动映射到虚拟空间。
持续地获取惯性测量单元的传感器数据，包括姿态信息和旋转矩阵。根据生成的虚拟变换矩阵，将实时获取的姿态信息和旋转矩阵映射到虚拟空间中。这将把现实空间中的运动转化为虚拟人或对象的运动。
在虚拟空间中显示一个虚拟人或对象，其初始姿态由虚拟变换矩阵和实时获取的姿态信息确定。让被测人员模仿虚拟人或对象的动作，实时记录其姿态信息。使用记录的姿态信息来调整虚拟人或对象的姿态，以实现虚拟人姿态标定。可以通过比较虚拟人或对象和被测人员的姿态来评估标定的准确性，并进行必要的校准。
可以理解的是，通过将现实空间的运动映射到虚拟空间，用户可以在虚拟环境中更自然地进行交互，提高虚拟现实体验的沉浸感；虚拟人姿态标定该技术允许对虚拟人或对象的姿态进行标定，以使其模仿现实世界中的用户动作。通过将实际运动映射到虚拟空间，可以进行运动分析，用于体育训练、康复医学和生物医学研究，这有助于监测运动员的技能和运动过程，以提高表现和减少受伤的风险。
S103.选取虚拟人关节，各自建立坐标系，设置基坐标系，其他坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
示例性地，为虚拟人的每个关节建立一个局部坐标系。这些坐标系通常与虚拟人模型的骨架结构相关联，每个关节对应一个坐标系。选择一个基本坐标系，通常是世界坐标系，作为整个系统的参考坐标系。通过关联虚拟人模型的骨架结构，构建解算串联分支，这是一个树状结构，每个关节都连接到父节点，并且可以有多个子节点，表示关节之间的关系。对于每个关节，确定其父节点，以及与父节点之间的相对运动关系，通常使用旋转矩阵或四元数来表示。
图2为本发明实施例坐标系的示意图，如图2所示，本申请实施例的坐标系可以包括IMU(inertial measurement unit，惯性测量单元)坐标系、东北天坐标系、虚拟空间坐标系以及关节坐标系中任意一种。
从基坐标系开始，按照解算串联分支的结构，逐级计算每个关节的位姿矩阵。这可以通过齐次坐标变换来完成，将每个关节的位姿矩阵与父节点的位姿矩阵相乘。重复上述步骤，直到计算出所有关节的位姿矩阵。
对于每个虚拟人关节，最终的位姿矩阵表示了它在虚拟人模型中的空间位姿，即相对于虚拟人模型的坐标系的位姿。
获取真实人体的姿态数据，通常通过传感器(如惯性测量单元)或其他姿态捕捉设备来获得。使用虚拟人关节的空间位姿和真实人体的姿态数据，将虚拟人和真实人体之间的姿态进行匹配，这可以通过比较虚拟人关节和真实人体关节之间的位姿差异来实现。根据匹配结果，可以实现虚拟人与真实人体的姿态同步，以便在虚拟环境中模拟真实人体的动作和姿态。
在一种可选的实施方式中，
选取虚拟人关节，各自建立坐标系，设置基坐标系，其他坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿解算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果包括：
选取虚拟人的15个关节，建立与所述15个关节对应的15个坐标系，设置髋部坐标系为基坐标系，其他坐标系以所述基坐标系为起点，构建5个解算串联分支，对所述解算串联分支分别计算；
所述齐次坐标变换设置两种形式，分别表示为纯平移式和纯旋转式，基于所述齐次坐标变换，绕动坐标系，构建各关节的位姿矩阵表示；
将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
通过使用多个关节和坐标系，以及纯平移式和纯旋转式的齐次坐标变换，可以实现更逼真的虚拟人姿态模仿，虚拟人在虚拟环境中的动作和姿态将更加真实和流畅。使用多个关节和坐标系，以及不同类型的坐标变换，可以提高姿态匹配的精确性。通过匹配虚拟人和真实人体的姿态，可以实现更自然的动作互动。
在一种可选的实施方式中，
还包括：
所述齐次坐标变换分别表示为纯平移式和纯旋转式，其中纯平移式如下：
其中，表示从j坐标系到i坐标系的平移变换，/>表示j坐标系原点相对于i坐标系原点的平移，I3×3表示3×3的单位矩阵；
纯旋转式如下：
其中，表示从j坐标系到i坐标系的旋转变换，/>表示j坐标系相对于i坐标系的旋转，/>表示3×3的旋转矩阵；
对各关节的位姿矩阵进行求解，其公式如下：
其中，VTi表示从虚拟坐标系V到第i个关节坐标系的位姿矩阵，VP1表示从虚拟坐标系V到基坐标系的平移向量，VRn-1表示从虚拟坐标系V到第n-1个关节坐标系的旋转，VPn表示从虚拟坐标系V到第n个关节坐标系的平移向量，Rot(VRn-1)'表示从虚拟坐标系V到第n-1个关节坐标系的旋转矩阵的逆，VRi表示从虚拟坐标系V到第i个关节坐标系的旋转。
图3为本发明实施例人体姿态估计系统的结构示意图，如图3所示，所述系统包括：
第一单元，用于设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
第二单元，用于在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
第三单元，用于选取虚拟人头、胸、腰以及左右大臂、小臂、手、大腿、小腿、脚共15个关节，各自建立坐标系，设置骨盆为基坐标系，其他14个坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种人体姿态估计方法，其特征在于，包括：
设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
选取虚拟人头、胸、腰以及左右大臂、小臂、手、大腿、小腿、脚共15个关节，各自建立坐标系，设置骨盆为基坐标系，其他14个关节坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果；
设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器包括：
设置惯性传感器，其中，所述惯性传感器包括陀螺仪、加速度计，将陀螺仪、加速度计组合成惯性测量单元；
在世界坐标系下，根据所述惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，确定Z轴标定变换矩阵；
根据所述惯性测量单元的原始旋转矩阵，结合所述Z轴标定变换矩阵，计算所述惯性测量单元的Z轴标定后旋转矩阵，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
选取虚拟人关节，各自建立坐标系，设置基坐标系，其他坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿解算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果包括：
选取虚拟人的15个关节，建立与所述15个关节对应的15个坐标系，设置髋部坐标系为基坐标系，其他坐标系以所述基坐标系为起点，构建5个解算串联分支，对所述解算串联分支分别计算；
所述齐次坐标变换设置两种形式，分别表示为纯平移式和纯旋转式，基于所述齐次坐标变换，绕动坐标系，构建各关节的位姿矩阵表示；
将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果；
还包括：
所述齐次坐标变换分别表示为纯平移式和纯旋转式，其中纯平移式如下：
其中，表示从j坐标系到i坐标系的平移变换，/>表示j坐标系原点相对于i坐标系原点的平移，I3×3表示3×3的单位矩阵；
纯旋转式如下：
其中，表示从j坐标系到i坐标系的旋转变换，/>表示j坐标系相对于i坐标系的旋转，/>表示3×3的旋转矩阵；
对各关节的位姿矩阵进行求解，其公式如下：
其中，VTi表示从虚拟坐标系V到第i个关节坐标系的位姿矩阵，VP1表示从虚拟坐标系V到基坐标系的平移向量，VRn-1表示从虚拟坐标系V到第n-1个关节坐标系的旋转，VPn表示从虚拟坐标系V到第n个关节坐标系的平移向量，Rot(VRn-1)'表示从虚拟坐标系V到第n-1个关节坐标系的旋转矩阵的逆，VRi表示从虚拟坐标系V到第i个关节坐标系的旋转。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据惯性测量单元的Z轴标定时姿态矩阵和Z轴标定后统一姿态矩阵，通过所述Z轴标定时姿态矩阵的逆，左乘所述统一姿态矩阵，计算Z轴标定变换矩阵，其公式如下：
其中，ZRi表示第i个关节坐标系的Z轴标定变换矩阵，w表示以世界坐标系为基准，ZA表示Z轴标定后，表示Z轴标定后统一姿态矩阵，Zp表示Z轴标定时，/>表示第i个关节坐标系的Z轴标定时姿态矩阵的逆；
惯性测量单元的原始旋转矩阵左乘所述Z轴标定变换矩阵，计算惯性测量单元的Z轴标定后旋转矩阵，其公式如下：
其中，表示第i个关节坐标系的Z轴标定后旋转矩阵，wRi表示第i个关节坐标系的原始旋转矩阵。
3.根据权利要求1所述的方法，其特征在于，在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定包括：
在站立姿态下，以站立姿态标定时旋转矩阵，作为虚拟变换矩阵，其公式如下：
其中，表示第i个关节坐标系相对世界坐标系的虚拟变换矩阵，/>表示站立姿态标定时旋转矩阵；
Z轴标定后姿态右乘所述虚拟变换矩阵的逆，计算得到虚拟旋转矩阵，其公式如下：
其中，VRi表示虚拟旋转矩阵，表示虚拟变换矩阵的逆。
4.一种人体姿态估计系统，其特征在于，用于实现前述权利要求1-3中任一项所述的人体姿态估计方法，包括：
第一单元，用于设置惯性传感器，将所述惯性传感器组合成惯性测量单元，在人体关节处安装所述惯性测量单元，在世界坐标系下，计算所述惯性测量单元的Z轴标定后姿态，确定所述惯性传感器的初始Z轴方向，初始化所述惯性传感器；
第二单元，用于在站立姿态下，以所述惯性测量单元的站立姿态标定时旋转矩阵，作为虚拟变换矩阵，基于所述惯性测量单元的Z轴标定后姿态，结合所述虚拟变换矩阵，实现现实空间到虚拟空间的映射，完成虚拟人姿态标定；
第三单元，用于选取虚拟人关节，各自建立坐标系，设置基坐标系，其他坐标系以所述基坐标系为起点，构建解算串联分支，通过齐次坐标变换，分别计算所述解算串联分支中各关节的位姿矩阵，得到虚拟人关节的空间位姿结算结果，将真实人体空间位姿与虚拟人空间位姿相对应，得到人体姿态结果。
5.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至3中任意一项所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至3中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311736609.0A CN117503120B (zh) | 2023-12-18 | 2023-12-18 | 人体姿态估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311736609.0A CN117503120B (zh) | 2023-12-18 | 2023-12-18 | 人体姿态估计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117503120A CN117503120A (zh) | 2024-02-06 |
| CN117503120B true CN117503120B (zh) | 2024-04-16 |
Family
ID=89751414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311736609.0A Active CN117503120B (zh) | 2023-12-18 | 2023-12-18 | 人体姿态估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117503120B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104117206A (zh) * | 2014-08-01 | 2014-10-29 | 天津恒威先创科技发展有限公司 | 基于动作捕捉系统实现虚拟现实全方位动作的方法 |
| CN107898466A (zh) * | 2017-10-17 | 2018-04-13 | 深圳大学 | 一种基于惯性传感器的肢体运动捕捉系统和方法 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN110097639A (zh) * | 2019-03-18 | 2019-08-06 | 北京工业大学 | 一种三维人体姿态估计方法 |
| CN113253748A (zh) * | 2021-06-08 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 并联构型仿人机器人的状态估计方法、装置、设备及介质 |
| CN113793360A (zh) * | 2021-08-31 | 2021-12-14 | 大连理工大学 | 基于惯性传感技术的三维人体重构方法 |
| CN114974506A (zh) * | 2022-05-17 | 2022-08-30 | 重庆大学 | 人体姿态数据处理方法及系统 |
| CN115373511A (zh) * | 2022-07-12 | 2022-11-22 | 浙江大学 | 基于惯性动作捕捉技术的人体运动数字孪生的构建方法 |
| CN116563497A (zh) * | 2023-02-10 | 2023-08-08 | 上海科技大学 | 一种虚拟人驱动方法、装置、设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101214227B1 (ko) * | 2011-05-25 | 2012-12-20 | 한국과학기술연구원 | 동작 추적 방법. |
| US11954801B2 (en) * | 2022-04-11 | 2024-04-09 | Microsoft Technology Licensing, Llc | Concurrent human pose estimates for virtual representation |
-
2023
- 2023-12-18 CN CN202311736609.0A patent/CN117503120B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104117206A (zh) * | 2014-08-01 | 2014-10-29 | 天津恒威先创科技发展有限公司 | 基于动作捕捉系统实现虚拟现实全方位动作的方法 |
| CN107898466A (zh) * | 2017-10-17 | 2018-04-13 | 深圳大学 | 一种基于惯性传感器的肢体运动捕捉系统和方法 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN110097639A (zh) * | 2019-03-18 | 2019-08-06 | 北京工业大学 | 一种三维人体姿态估计方法 |
| CN113253748A (zh) * | 2021-06-08 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 并联构型仿人机器人的状态估计方法、装置、设备及介质 |
| CN113793360A (zh) * | 2021-08-31 | 2021-12-14 | 大连理工大学 | 基于惯性传感技术的三维人体重构方法 |
| CN114974506A (zh) * | 2022-05-17 | 2022-08-30 | 重庆大学 | 人体姿态数据处理方法及系统 |
| CN115373511A (zh) * | 2022-07-12 | 2022-11-22 | 浙江大学 | 基于惯性动作捕捉技术的人体运动数字孪生的构建方法 |
| CN116563497A (zh) * | 2023-02-10 | 2023-08-08 | 上海科技大学 | 一种虚拟人驱动方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于惯性传感器的人体动作捕捉系统;吴天强等;自动化与信息工程;20230628;第44卷(第3期);第34-39页 * |
| 基于惯性测量系统的人体运动捕捉技术;纪俐;姬晓飞;;计算机工程与设计;20160416(第04期);第1098-1101页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117503120A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Robertson et al. | Research methods in biomechanics | |
| Borst et al. | Realistic virtual grasping | |
| Piao et al. | Real-time visual–inertial SLAM based on adaptive keyframe selection for mobile AR applications | |
| CN101579238B (zh) | 人体运动捕获三维再现系统及其方法 | |
| Zhang et al. | A novel hierarchical information fusion method for three-dimensional upper limb motion estimation | |
| Chen et al. | Real‐time human motion capture driven by a wireless sensor network | |
| JP2001504605A (ja) | 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム | |
| CN114417738B (zh) | 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 | |
| Miller | A computer simulation model of the airborne phase of diving | |
| CN109781104B (zh) | 运动姿态确定及定位方法、装置、计算机设备及介质 | |
| CN114663463A (zh) | 关节活动度的测量方法、系统、设备、电子设备和存储介质 | |
| Scherfgen et al. | Estimating the pose of a medical manikin for haptic augmentation of a virtual patient in mixed reality training | |
| Chakravarthi et al. | Real-time human motion tracking and reconstruction using IMU sensors | |
| KR102150172B1 (ko) | 상대적 움직임에 기반한 동작 인식 방법 및 장치 | |
| Callejas-Cuervo et al. | Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes | |
| WO2022221249A1 (en) | Video-based hand and ground reaction force determination | |
| CN117503120B (zh) | 人体姿态估计方法及系统 | |
| CN115919250A (zh) | 一种人体动态关节角测量系统 | |
| CN105575239B (zh) | 一种骨折复位训练模型角度检测装置及其方法 | |
| Farsoni et al. | A low-cost high-fidelity ultrasound simulator with the inertial tracking of the probe pose | |
| US10549426B2 (en) | Method for estimating movement of a poly-articulated mass object | |
| JP2024508782A (ja) | マーカレス運動解析を改善するための方法 | |
| JP2014117409A (ja) | 身体関節位置の計測方法および装置 | |
| O-larnnithipong et al. | Real-time implementation of orientation correction algorithm for 3D hand motion tracking interface | |
| KR102239957B1 (ko) | 가상 관절 구(sphere)를 이용한 모션 모델링 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |