CN109242887A

CN109242887A - 一种基于多摄像机和imu的实时人体上肢动作捕捉方法

Info

Publication number: CN109242887A
Application number: CN201810845587.4A
Authority: CN
Inventors: 禹鑫燚; 王正安; 欧林林; 朱熠琛; 柏继华
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2018-07-27
Filing date: 2018-07-27
Publication date: 2019-01-18

Abstract

一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，包括：步骤1：建立人体上肢的运动学模型；步骤2：构建能量函数；步骤3：能量函数最小化；本发明针对陀螺仪、加速度计、图像的传感器信息和先验知识设计了能量函数，以最优化的思想，通过最小化能量函数融合了来自不同传感器的信息，一定程度上解决了图像信息在面对遮挡时的问题，以及IMU无法获得准确的全局信息的问题，使得人体动作捕捉问题在降低成本的同时，保证了精度和实时性。

Description

一种基于多摄像机和IMU的实时人体上肢动作捕捉方法

技术领域

本发明涉及上肢的人体动作捕捉技术，基于优化的方法，本发明融合了视觉，IMU和先验知识的信息，在实时条件下实现了对被测人员方位和姿态信息的完整识别。

背景技术

人体姿态识别一直以来都是被广泛研究的课题，在人机交互，虚拟现实，影视和游戏制作等领域有着广泛的应用。

目前人体动作捕捉的解决方案可以大致分为三种，基于光学标记的人体动作捕捉，基于IMU的人体动作捕捉和基于图像的人体姿态识别。基于光学标记的方法是较为成熟的解决方案，目前有Vicon，OptiTrack等公司掌握着这项技术，该方法实时性好，精度较高，但系统整体成本很高，佩戴标记不方便，适用的场景较为受限。相比之下，基于IMU的方法成本较低，便携性好，没有场景限制von Marcard等人提出一种方法，利用6个IMU的陀螺仪和加速度信息，结合了人体关节限制的先验知识实现了人体动作的捕捉(von Marcard,T.,etal.(2017).Sparse inertial poser:Automatic 3d human pose estimation fromsparse imus.Computer Graphics Forum,Wiley Online Library.)，但该方法只能用于离线形式的人体姿态识别，无法在实时条件下使用，而且在缺少视觉信息输入的情况下，全局的人体方位信息会由于IMU的误差累计而发生漂移。基于图像的人体动作捕捉只需要彩色图像作为输入，Cao等人基于人工神经网络提出一种2D的多人人体关节的识别方法(Cao,Z.,et al.(2017).Realtime multi-person 2d pose estimation using part affinityfields.CVPR.)，Mehta等人利用单目相机实现了对3D人体关节位置的估计(Mehta,D.,etal.(2017)."Vnect:Real-time 3d human pose estimation with a single rgbcamera."ACM Transactions on Graphics(TOG)36(4):44.)，但由于只使用了单个相机，该类方法在深度信息上无法保证精度。

发明内容

本发明克服现有方法上的缺点，提出一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，在有效降低系统成本的同时，保证了动作捕捉的实时性和精度。

本发明针对来自多个传感器的信息分别建立了能量函数，通过在优化框架下最小化能量函数的方法来对人体的当前姿态进行估计。首先，本发明针对需要进行捕捉的人体对象建立了上肢的运动学模型，上肢的动作通过关节角表示，配合正运动学可以求解出各个骨骼关节的姿态和位置。其次，本发明通过在被测人员身上佩戴IMU并将IMU中的陀螺仪和加速度计的数据与运动学模型的解算结果进行对比的方式建立了能量函数，对于来自多个摄像机的图像，对这些图像进行降采样并拼接至同一幅图中，使用CPM对拼接后的图像进行2D人体关节的检测，将检测结果与运动学模型的解算结果投影至图像平面后的数据进行比较，建立了能量函数。此外，本发明针对数据集中一系列人体姿态的数据进行了分析，建立了能量函数，对优化问题加入了限制。最后，优化框架在每个数据周期内对能量函数进行最小化来得到当前周期的人体姿态。

一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体步骤如下：

步骤1：建立人体上肢的运动学模型

本发明将将人体骨骼视为互相连接的刚体，对于人体上肢，定义其骨骼总数为n_b,其中b表示对应的骨骼，对于根骨骼b＝1具有全局的绝对位置信息t₁和姿态信息R₁，对于每个子骨骼b∈[2,n_b]都与其父骨骼有相对的旋转变换矩阵R_b和确定的位移t_b。连接每个骨骼之间的关节具有三个旋转自由度，其中根关节(本系统中为腰部)除了3个旋转自由度外，还拥有3个方位自由度x，y，z用来表示人体的世界坐标。在本发明中，使用d＝3+3×n_b维的向量θ表示上肢的运动，可以以此求解得出每个骨骼对应的空间变换表达式

其中P(b)为全部父骨骼的集合。

步骤2：构建能量函数

在本发明中，为了建立优化问题，需要针对各个传感器的数据建立能量函数，通过最小化能量函数来达到融合传感器数据并预测人体姿态的目的。本发明中，能量函数如(2)表示，

其中E_R(θ)，E_P(θ)，E_A(θ)分别代表旋转项，位置项，加速度项，E_P(θ)表示了人体姿态的先验约束项。

本发明针对IMU的陀螺仪数据和加速度数据，建立了旋转项E_R(θ)和加速度项E_R(θ)。

本发明中，每个IMU都有一个与之对应的跟踪骨骼，本系统中我们使用了n_i个IMU，其中i与骨骼编号b相对应。每个IMU与对应骨骼之间的方位和旋转变换关系分别由t_ib和R_ib表示。IMU的参考坐标系与全局坐标系的转换关系为R_g。IMU的旋转测量值(相对于IMU自身的惯性参考系)以及加速度值(相对IMU的设备参考系)分别为R_i和a_i。此外，我们定义了n_p个位置跟踪目标的集合，其中p和骨骼b_p相对应，两者之间的方位关系由t_pb表示。

旋转项的定义如下：

其中ψ(·)表示将旋转矩阵转化为四元数表达形式并提取其向量部分的操作，λ_R是旋转项的权重常数，ρ_R(·)表示损失函数，定义为ρ(x)＝log(1+x)，和分别表示跟踪目标b_i的旋转测量值和旋转计算值。

跟踪目标在全局坐标系下的旋转测量值为可通过IMU陀螺仪的测量值R_i和IMU与对应跟踪目标之间的偏移R_ib和R_g计算得出，公式如下：

跟踪目标在全局坐标系下的旋转计算值可由正运动学的公式推导得出，根据公式(1)在忽略位移的情况下，的计算公式为：

加速度项的定义如下：

其中λ_A表示加速度项的权重常数，ρ_A(·)表示损失函数，和分别表示跟踪目标b_i的加速度测量值和加速度计算值。

为了求解跟踪目标的加速度计算值，设定了一个3帧的窗口以观察当前帧t，以及前两帧t-1，t-2的位置预测数据，将预测位置以表示。t-1时刻的的计算使用了中心有限差分，通过使用前两帧的位置以及欲求解的当前帧位置来计算得出，公式如下：

其中Δt表示IMU测量值的采样周期。

t-1时刻的的计算公式如下：

其中a_g表示重力加速度。

本发明针对来自多台摄像机的彩色图像的数据，建立了位置项E_P(θ)。对于所有的相机定义集合n_c，其中每个相机c有其对应的经过标定得到的投影矩阵P_c。来自相机的图像在经过CPM模型的识别后，可以得到跟踪目标p在图像中的位置测量值，由表示，此外，CPM还会输出每个测量值对应的置信度

位置项的定义如下：

其中λ_P是位置项的权重常数，ρ_P(·)是损失函数，定义为ρ(x)＝log(1+x)，和分别为跟踪目标的位置测量值和位置计算值。

跟踪目标在全局坐标系下的位置可以通过根据公式(1)在忽略旋转的情况下得出，具体公式如下：

其中操作符τ_T(·)表示通过位移向量创建位移变换矩阵，τ_t(·)表示从位移变换矩阵中构建位移向量。目标的全局位置投影到每个相机坐标系，可以获得在每个相机坐标系下2D的目标测量值：

其中，操作符dh(·)表示进行去除三维向量组后一维的操作。

最后，为了更好的限制优化问题，本发明通过分析现有的动作捕捉数据集，建立了人体姿态的先验约束项E_P(θ)。表示如下

其中λ_PC是先验约束项的权重常数，ρ_PC是损失函数，定义为ρ(x)＝log(1+x)其中为θ减去前6维的数据得到的向量，μ是对数据集中所有数据进行k-means聚类并取均值后得到的中心姿态向量，σ表示数据集中的数据相对于μ的标准差。

步骤3：能量函数最小化

本发明使用ceres-solver通过非线性最小二乘优化的方法对公式(2)中的能量函数进行最小化。首先，将公式(3)(6)(9)(12)写成ceres-solver中的函数模板形式，然后依据来自IMU和图像中的数据，使用ceres-solver中的Levenberg-Marquardt方法配合sparsenormal Cholesky linear solver进行能量函数最小值的求解，最后得到当前的动作向量θ。

本发明的优点在于，本发明针对陀螺仪、加速度计、图像的传感器信息和先验知识设计了能量函数，以最优化的思想，通过最小化能量函数融合了来自不同传感器的信息，一定程度上解决了图像信息在面对遮挡时的问题，以及IMU无法获得准确的全局信息的问题，使得人体动作捕捉问题在降低成本的同时，保证了精度和实时性。

附图说明

图1是本发明的流程图。

图2是本发明的IMU配置图。

图3是本发明的初始化示意图。

图4是本发明的动作捕捉效果图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

本发明是一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体过程如下：

本实例中使用了两台彩色相机和5个九轴IMU来实现人体上肢姿态的捕捉。IMU的粘贴部位分别为下背部、左大臂、右大臂、左手和右手，如图2所示。

步骤1：捕捉系统初始化

在捕捉开始前，需要被测对象按照预先设定的姿势站好，以获取IMU和跟踪目标的固定旋转偏移R_ib，本实例中，预先设定的姿势由图3中的线条表示。

步骤2：传感器信息处理

本实例中使用的9轴惯性传感器将陀螺仪的数据R_i和加速度计的数据a_i通过蓝牙发送上位机中，所有的数据直接基于参考坐标系表示，因此R_g为单位矩阵。两台彩色像机与上位机通过USB3.0连接，两台相机通过棋盘标定法分别得到了投影P₁和P₂，相机获取的彩色图片经过CPM后可以得到上肢各个关节的图像坐标信息以及对应的置信度由图3中标出的圆圈表示。

步骤3：能量函数的最小化

将步骤2中得到的数据带入公式(2)中，使用ceres-solver中的Levenberg-Marquardt方法配合sparse normal Cholesky linear solver对(2)进行最优化的求解，最后得到当前的动作向量θ。人体姿态的识别结果如图4所示。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体步骤如下：

步骤1：建立人体上肢的运动学模型；

该运动学模型将人体骨骼视为互相连接的刚体，对于人体上肢，定义其骨骼总数为n_b,其中b表示对应的骨骼，对于根骨骼b＝1具有全局的绝对位置信息t₁和姿态信息R₁，对于每个子骨骼b∈[2,n_b]都与其父骨骼有相对的旋转变换矩阵R_b和确定的位移t_b；连接每个骨骼之间的关节具有三个旋转自由度，其中根关节除了3个旋转自由度外，还拥有3个方位自由度x，y，z用来表示人体的世界坐标；该模型使用d＝3+3×n_b维的向量θ表示上肢的运动，可以以此求解得出每个骨骼对应的空间变换表达式

其中P(b)为全部父骨骼的集合；

步骤2：构建能量函数；

为了建立优化问题，需要针对各个传感器的数据建立能量函数，通过最小化能量函数来达到融合传感器数据并预测人体姿态的目的；能量函数如(2)表示，

其中E_R(θ)，E_P(θ)，E_A(θ)分别代表旋转项，位置项，加速度项，E_P(θ)表示了人体姿态的先验约束项；

针对IMU的陀螺仪数据和加速度数据，建立了旋转项E_R(θ)和加速度项E_R(θ)；

本方法使用n_i个IMU，每个IMU都有一个与之对应的跟踪骨骼，，其中i与骨骼编号b相对应；每个IMU与对应骨骼之间的方位和旋转变换关系分别由t_ib和R_ib表示；IMU的参考坐标系与全局坐标系的转换关系为R_g；相对于IMU自身的惯性参考系的IMU旋转测量值以及相对于IMU设备参考系的IMU加速度测量值分别为R_i和a_i；此外，定义n_p个位置跟踪目标的集合，其中p和骨骼b_p相对应，两者之间的方位关系由t_pb表示；

旋转项的定义如下：

其中ψ(·)表示将旋转矩阵转化为四元数表达形式并提取其向量部分的操作，λ_R是旋转项的权重常数，ρ_R(·)表示损失函数，定义为ρ(x)＝log(1+x)，和分别表示跟踪目标b_i的旋转测量值和旋转计算值；

加速度项的定义如下：

其中λ_A表示加速度项的权重常数，ρ_A(·)表示损失函数，和分别表示跟踪目标b_i的加速度测量值和加速度计算值；

为了求解跟踪目标的加速度计算值，设定了一个3帧的窗口以观察当前帧t，以及前两帧t-1，t-2的位置预测数据，将预测位置以表示；t-1时刻的的计算使用了中心有限差分，通过使用前两帧的位置以及欲求解的当前帧位置来计算得出，公式如下：

其中Δt表示IMU测量值的采样周期；

t-1时刻的的计算公式如下：

其中a_g表示重力加速度；

针对来自多台摄像机的彩色图像的数据，建立了位置项E_P(θ)；对于所有的相机定义集合n_c，其中每个相机c有其对应的经过标定得到的投影矩阵P_c；来自相机的图像在经过CPM模型的识别后，得到跟踪目标p在图像中的位置测量值，由表示，此外，CPM还会输出每个测量值对应的置信度

位置项的定义如下：

其中λ_P是位置项的权重常数，ρ_P(·)是损失函数，定义为ρ(x)＝log(1+x)，和分别为跟踪目标的位置测量值和位置计算值；

其中操作符τ_T(·)表示通过位移向量创建位移变换矩阵，τ_t(·)表示从位移变换矩阵中构建位移向量；目标的全局位置投影到每个相机坐标系，可以获得在每个相机坐标系下2D的目标测量值：

其中，操作符dh(·)表示进行去除三维向量组后一维的操作；

最后，为了更好的限制优化问题，分析现有的动作捕捉数据集，建立了人体姿态的先验约束项E_P(θ)；表示如下

其中λ_PC是先验约束项的权重常数，ρ_PC是损失函数，定义为ρ(x)＝log(1+x)其中为θ减去前6维的数据得到的向量，μ是对数据集中所有数据进行k-means聚类并取均值后得到的中心姿态向量，σ表示数据集中的数据相对于μ的标准差；

步骤3：能量函数最小化；

使用ceres-solver通过非线性最小二乘优化的方法对公式(2)中的能量函数进行最小化；首先，将公式(3)(6)(9)(12)写成ceres-solver中的函数模板形式，然后依据来自IMU和图像中的数据，使用ceres-solver中的Levenberg-Marquardt方法配合sparse normalCholesky linear solver进行能量函数最小值的求解，最后得到当前的动作向量θ。