CN111932678B - 多视点实时人体运动、手势、表情、纹理重建系统 - Google Patents

Abstract

本发明提供了一种多视点实时人体运动、手势、表情、纹理重建系统，该多视点实时人体运动、手势、表情、纹理重建系统包括：将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计；通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标；从而得到人体三维关节坐标，从而得到人体三维重建模型。本系统利用深度学习来完成人体姿态的估计，在试验环境下，可以实时对多人的人体模型进行拟合与渲染。

Description

多视点实时人体运动、手势、表情、纹理重建系统

技术领域

本发明涉及到计算机视觉技术领域，尤其涉及到一种多视点实时人体运动、手势、表情、纹理重建系统。

背景技术

随着计算机计算能力的提高以及图形卡的不断迭代，深度学习技术得以迅猛发展，极大地推动了计算机视觉领域。目前的重建技术主要分为两种，一种是利用普通的RGB相机，通过多目特征点匹配并三角化得到深度信息，另一种是直接利用深度相机，得到深度图进行重建，比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建，把这种技术推向消费领域。

但相对于RGB相机，深度相机的缺点有受环境光干扰大，深度检测距离有限等，价格昂贵等，因此利用普及率高的RGB相机进行人体重建具有更大的潜力，主要可以应用在虚拟试衣，CG游戏等领域。而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高。

发明内容

本发明的目的是为了克服现有技术的不足，提供了一种多视点实时人体运动、手势、表情、纹理重建系统。

解决了传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高的问题。

本发明是通过以下技术方案实现：

本发明提供了一种多视点实时人体运动、手势、表情、纹理重建系统，该多视点实时人体运动、手势、表情、纹理重建系统包括以下步骤：

S1，将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；

S2，通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计；

S3，通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标；

S4，利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节亲和度、关节的热点图和上一帧三维结果的时域约束构造一个稀疏4D图；

S5，利用贪婪算法对所述稀疏4D图进行分割，得到每个人在各个视角下的2D关节坐标，然后利用相机参数对各个视角下匹配关节的坐标进行三角化，从而得到三维关节坐标，从而得到各个人的三维骨架；

S6，将所述三维骨架的手部关节重新投影到各个相机图片上，结合尺度信息得到人手对应的矩形区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，然后对不同视角的人手检测结果进行去噪；

S7，将所述三维骨架的鼻子关节投影到各个视角下，结合尺度信息和面部朝向得到各个视角下人脸的矩形区域，使用人脸检测器对人脸参数进行估计，然后对不同视角的人脸检测结果进行去噪；

S8，通过得到的所述三维关节坐标和人手及人脸参数拟合出三维人体模型，然后将优化后的三维人体模型重新投影回各个视角下和原图对齐，将图片中的颜色信息投影回参数模型从而完成纹理贴图；

S9，将纹理贴图输入神经网络，预测各个顶点的法向偏移量，完成对表面细节的重建。

优选的，所述标定所述多个相机的相机内参和相机外参，包括：

通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。

优选的，通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。

优选的，通过伽马校正对所述RGB图像进行校正，提高所述RGB图像质量。

本发明的有益效果是：通过深度学习来完成人体姿态的估计，可以实时对多人的人体模型进行拟合与渲染。

附图说明

图1是本发明实施例提供的一种多视点实时人体运动、手势、表情、纹理重建系统的流程图。

具体实施方式

以下结合附图对本发明的具体实施例进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

首先为了方便理解本申请实施例提供的多视点实时人体运动、手势、表情、纹理重建系统，首先说明一下其应用场景，本申请实施例提供的多视点实时人体运动、手势、表情、纹理重建系统用于提供一种能够进行人体三维重建模型的系统；而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高。下面结合附图对本申请实施例提供的多视点实时人体运动、手势、表情、纹理重建系统进行说明。

首先参考图1，图1是本发明实施例提供的一种多视点实时人体运动、手势、表情、纹理重建系统的流程图。根据图1可知，该多视点实时人体运动、手势、表情、纹理重建系统包括以下步骤：

S1，将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参。在本申请发明中使用多个相机架围出捕捉区域时，可将四个工业相机架设到试验场地，距离地面高度约为1.2m，相机之间距离为3～5m左右，呈矩形状围出捕捉区域。在实际应用中，相机个数、捕捉区域和设置参数可以根据需求进行设置。

进一步地，对相机参数进行标定，作为一种方式，可以采用棋盘标定法对相机进行标定。

对相机参数进行标定，需要标定的参数包括相机内参和相机外参，首先用棋盘格对相机内参进行标定。对于每个相机，需对手持不同姿态的棋盘格进行拍照约20张左右，然后调用matlab标定工具箱对内参进行标定，标定参数包括相机的焦距，畸变参数等。标定完内参后可以继续标定相机外参，同样利用棋盘格和matlab工具箱进行标定，如果对精度要求更高，可以在场景中心铺上富纹理材料使用photoscan进行辅助标定。

S2，通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计。进一步地，在本申请发明中，通过标定后的多个相机采集人体图像，通过PCIe接口将人体图像传送到主机的采集卡上，通过cuda程序将人体图像进行转码，缩放成三通道RGB矩阵形式，得到RGB图像。

可以理解的是，可以通过伽马校正来提高图像的质量。具体地，多个相机分别利用采集到的三通道图片完成单目的人体姿态估计，可以使用的有开源工作openpose，alphapose，pose-proposal network等。

S3，通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标。

S4，利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节亲和度、关节的热点图和上一帧三维结果的时域约束构造一个稀疏4D图。

S5，利用贪婪算法对所述稀疏4D图进行分割，得到每个人在各个视角下的2D关节坐标，然后利用相机参数对各个视角下匹配关节的坐标进行三角化，从而得到三维关节坐标，从而得到各个人的三维骨架。

S6，将所述三维骨架的手部关节重新投影到各个相机图片上，结合尺度信息得到人手对应的矩形区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，然后对不同视角的人手检测结果进行去噪。进一步的，通过多视角几何信息和PCA之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值即为去噪后得到的人手参数。

S7，将所述三维骨架的鼻子关节投影到各个视角下，结合尺度信息和面部朝向得到各个视角下人脸的矩形区域，使用人脸检测器对人脸参数进行估计，然后对不同视角的人脸检测结果进行去噪。进一步的，通过多视角几何信息和PCA之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值即为去噪后得到的人脸参数。

S8，通过得到的所述三维关节坐标和人手及人脸参数拟合出三维人体模型，然后将优化后的三维人体模型重新投影回各个视角下和原图对齐，将图片中的颜色信息投影回参数模型从而完成纹理贴图。

进一步地，利用三维关节坐标和人手及人脸参数信息优化人体模型SMPL的姿态参数和形状参数，并且通过时域优化使结果趋于稳定，消除抖动。

具体的，利用人体三维关节坐标信息拟合出人体模型，人体模型的开源模型，即预设的人体模型为开源的线性模型SMPL，而SMPL定义的关节坐标和姿态检测器(openpose)给出的定义不太相同，需要通过一个回归矩阵完成坐标转换，回归矩阵需要提前利用数据集训练得到。

进一步地，利用得到的三维关节坐标信息作为约束，可以进行参数估计，但由于关节坐标无法约束肢体的自转，可能会出现一些很扭曲的姿态，因此需要再加上一个高斯混合模型进行约束。这个高斯混合模型表示的是人体较为合理的姿态分布，需要提前进行训练。

进一步地，仅用关节坐标无法很好地对形状参数进行估计，因此还需要进一步加入人体轮廓信息进行优化，并且通过时域优化使形状参数趋于稳定。

S9，将纹理贴图输入神经网络，预测各个顶点的法向偏移量，完成对表面细节的重建。

对多视点实时人体运动、手势、表情、纹理重建系统的一个实施例的说明如下：

步骤1：平台搭建。按照3～5m的间隔架设相机围出矩形区域，相机距离地面高度为1.2m左右，用matlab工具箱完成相机内参和外参的标定。

步骤2，数据处理。把工业相机采集到的数字信息转码成RGB图像，用预先训练好的卷积神经网络进行检测，得到每个视角下的人体关节信息。再通过多目约束条件找到匹配关节进行三角化，从而得到三维关节坐标。重投影三维骨骼信息得到人脸和人手区域，用神经网络估计得到对应参数。

步骤3，姿态重建。利用三维关节坐标信息和人脸人手参数估计优化人体模型SMPL的姿态参数和形状参数，并且通过时域优化使结果趋于稳定，消除抖动。

步骤4，纹理重建。将重建的三维模型重新投影回原图片，进行纹理贴图，进一步用纹理贴图通过神经网络预测表面顶点偏移，完成表面重建。

本申请发明中的所有部件均为现有技术中常用的部件。

在上述实施例中，本申请实施例提供的一种多视点实时人体运动、手势、表情、纹理重建系统能够通过深度学习来完成人体姿态的估计，可以实时对多人的人体模型进行拟合与渲染。

上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (4)

1.一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，包括以下步骤：

S1，将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；

S2，通过标定后的所述多个相机采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，然后完成单目的人体姿态估计；

S3，通过单目的所述人体姿态估计得到人体各个关节的热点图和关节亲和度，对关节热点图进行非极大值抑制得到各个关节坐标；

S4，利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节亲和度、关节的热点图和上一帧三维结果的时域约束构造一个稀疏4D图；

S5，利用贪婪算法对所述稀疏4D图进行分割，得到每个人在各个视角下的2D关节坐标，然后利用相机参数对各个视角下匹配关节的坐标进行三角化，从而得到三维关节坐标，从而得到各个人的三维骨架；

S6，将所述三维骨架的手部关节重新投影到各个相机图片上，结合尺度信息得到人手对应的矩形区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，然后对不同视角的人手检测结果进行去噪；

S7，将所述三维骨架的鼻子关节投影到各个视角下，结合尺度信息和面部朝向得到各个视角下人脸的矩形区域，使用人脸检测器对人脸参数进行估计，然后对不同视角的人脸检测结果进行去噪；

S8，通过得到的所述三维关节坐标和人手及人脸参数拟合出三维人体模型，然后将优化后的三维人体模型重新投影回各个视角下和原图对齐，将图片中的颜色信息投影回参数模型从而完成纹理贴图；

S9，将纹理贴图输入神经网络，预测各个顶点的法向偏移量，完成对表面细节的重建。

2.根据权利要求1所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，所述标定所述多个相机的相机内参和相机外参，包括：

通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。

3.根据权利要求1所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。

4.根据权利要求3所述的一种多视点实时人体运动、手势、表情、纹理重建系统，其特征在于，通过伽马校正对所述RGB图像进行校正，提高所述RGB图像质量。

Images