CN110307788B - 多深度相机人体参数测量方法及装置 - Google Patents

Abstract

本发明公开了一种多深度相机人体参数测量方法及装置，其中，该方法包括以下步骤：采集当前对象深度图像；将深度图像融合为规则点云；拟合参数化人体模板，求解参数化人体模板的形态参数和姿态参数，使得基于上述参数变形的SMPL人体模板与所获得点云尽可能拟合；通过标准参数化人体模板定义的人体参数获取方式获取当前对象的人体参数。该方法对设备要求低，精确鲁棒，使用简单，适合普通商户使用，拥有广阔的应用前景。

Description

多深度相机人体参数测量方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种多深度相机人体参数测量方法及装置。

背景技术

在虚拟试衣应用场景中，用户的人体参数(例如：身高、腰围、臀围、腿长等)至关重要。只有准确地测量出用户的人体参数，才能为其量身定制衣物，或者仿真出特定衣物穿着在用户身上的视觉效果。然而，一方面现有的获取用户人体参数的方法都是通过手工测量实现，无法自动完成。另一方面，用于人体扫描的设备多利用价格高昂的激光扫描解决方案，难以搭建和普及。基于此，亟待解决当前存在的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种多深度相机人体参数测量方法，该方法成本较低、容易搭建，且能够准确地测量出多种人体参数，具有广阔的应用前景。

本发明的另一个目的在于提出一种多深度相机人体参数测量装置。

为达到上述目的，本发明一方面提出了多深度相机人体参数测量方法，包括以下步骤：采集当前对象深度图像；将所述深度图像融合为规则点云；求解参数化人体模板的形态参数和姿态参数，使所述参数化人体模板变形，与所述规则点云拟合；通过标准参数化人体模板定义的人体参数获取方式获取所述当前对象的人体参数。

本发明实施例的多深度相机人体参数测量方法，能够精确地求解出多个人体参数，包括身高、体重、胸围、腰围、臀围、臂长、腿长等，且成本较低、容易搭建，非常实用，可以用于虚拟试衣、游戏等多种实际应用中，可适合普通商户使用，拥有广阔的应用前景。

另外，根据本发明上述实施例的多深度相机人体参数测量方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，利用深度相机对所述当前对象进行采集，得到所述深度图像。

进一步地，在本发明的一个实施例中，所述将所述深度图像融合为规则点云进一步包括：根据每个深度相机的内参和外参将所述深度图像中的每个像素投影至世界坐标系；使用泊松重建算法，将所述世界坐标系中所述每个像素的坐标重建规则点云。

进一步地，在本发明的一个实施例中，所述拟合参数化人体模板，求解所述参数化人体模板的形态参数和姿态参数，使所述参数化人体模板与所述规则点云拟合，进一步包括：在所述参数化人体模板中找到所述规则点云对应的点，并将所有对应点构建成对应点集合；根据所述对应点集合定义能量函数，所述能量函数通过最小化对应点之间的距离，以求得所述形态参数和所述姿态参数；根据所述形态参数和所述姿态参数变形所述参数化人体模板，得到变形后的参数化人体模板；根据变形后的参数化人体模板重新构建所述对应点集合，迭代至收敛，使所述参数化人体模板与所述规则点云拟合。

进一步地，在本发明的一个实施例中，所述标准参数化人体模板是预先在所述参数化人体模板上定义每个人体参数的计算公式

为达到上述目的，本发明另一方面提出了一种多深度相机人体参数测量装置，包括：相机支架和16个深度相机，将所述深度相机分为4组，分别放置在所述相机支架的四条垂直边缘，用于采集当前对象深度图像；融合模块用于将所述深度图像融合为规则点云；拟合模块用于求解参数化人体模板的形态参数和姿态参数，使所述参数化人体模板变形，与所述规则点云拟合；测量模块用于通过标准参数化人体模板定义的人体参数获取方式获取所述当前对象的人体参数。

本发明实施例的多深度相机人体参数测量装置，能够精确地求解出多个人体参数，包括身高、体重、胸围、腰围、臀围、臂长、腿长等，且成本较低、容易搭建，非常实用，可以用于虚拟试衣、游戏等多种实际应用中，可适合普通商户使用，拥有广阔的应用前景。

另外，根据本发明上述实施例的多深度相机人体参数测量装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述相机支架的每条垂直边缘在同一竖直方向等距离固定4个深度相机，且所述深度相机面向所述相机支架的中心轴。

进一步地，在本发明的一个实施例中，所述融合模块进一步包括：投影单元，用于根据每个深度相机的内参和外参将所述深度图像中的每个像素投影至世界坐标系；重建单元，用于使用泊松重建算法，将所述世界坐标系中所述每个像素的坐标重建规则点云。

进一步地，在本发明的一个实施例中，所述拟合模块进一步包括：构建单元，用于在所述参数化人体模板中找到所述规则点云对应的点，并将所有对应点构建成对应点集合；计算单元，用于根据所述对应点集合定义能量函数，所述能量函数通过最小化对应点之间的距离，以求得所述形态参数和所述姿态参数；变形单元，用于根据所述形态参数和所述姿态参数变形所述参数化人体模板，得到变形后的参数化人体模板；迭代拟合单元，用于根据变形后的参数化人体模板重新构建所述对应点集合，迭代至收敛，使所述参数化人体模板与所述规则点云拟合。

进一步地，在本发明的一个实施例中，所述标准参数化人体模板是预先在所述参数化人体模板上定义每个人体参数的计算公式。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的多深度相机人体参数测量方法流程图；

图2是本发明一个实施例的采集深度图像的装置结构示意图；

图3是本发明一个实施例的步骤S2将深度图像融合为规则点云的流程图；

图4是本发明一个实施例的步骤S3中拟合参数化人体模板的流程图；

图5是本发明一个实施例的步骤S3中求解形态参数和姿态参数的流程图；

图6是本发明一个实施例的多深度相机人体参数测量装置结构示意图；

图7是本发明一个实施例的融合模块的结构示意图；

图8是本发明一个实施例的拟合模块的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的多深度相机人体参数测量方法及装置，首先将参照附图描述根据本发明实施例提出的多深度相机人体参数测量方法。

图1是本发明一个实施例的多深度相机人体参数测量方法流程图。

如图1所示，该多深度相机人体参数测量方法包括以下步骤：

在步骤S1中，采集当前对象深度图像；

进一步地，在本发明的一个实施例中，利用深度相机对当前对象进行采集，得到深度图像。

具体而言，如图2所示，本发明实施例是利用相机支架和16个深度相机进行采集的，其中，将16个深度相机分为四组，然后分别放置在相机支架的四条垂直边缘，每条垂直边缘在同一竖直方向等距离固定4个深度相机，且深度相机面向支架中心轴，进而采集当前对象到场景中各点的距离(深度)作为像素值的图像，直反映出当前对象的几何形状。其中，通过USB接口启动各个深度相机拍摄一张深度图像。

在步骤S2中，将深度图像融合为规则点云。

进一步地，在本发明的一个实施例中，如图3所示，步骤S2进一步包括：

步骤S201，根据每个深度相机的内参和外参将深度图像中的每个像素投影至世界坐标系；

步骤S202，使用泊松重建算法，将世界坐标系中每个像素的坐标重建规则点云。

具体而言，步骤S201所使用的计算公式为：

其中，R_3x3为外参中的旋转矩阵，t为外参中的位移，f为相机焦距，(c_x，c_y)为相机主点坐标，(x，y)为像素在图像上的坐标，d为该像素的深度值，v_w为每个像素在世界坐标系中的坐标。使用泊松重建算法重建规则点云M。

在步骤S3中，求解参数化人体模板的形态参数和姿态参数，使参数化人体模板变形，与规则点云拟合。

可以理解为，拟合SMPL人体模板(参数化人体模板)，求解SMPL人体模板的形态参数和姿态参数，使得基于上述参数变形的SMPL人体模板与所获得点云尽可能拟合。

进一步地，如图4所示，步骤S3进一步包括：

步骤301，在参数化人体模板中找到规则点云对应的点，并将所有对应点构建成对应点集合。

具体地，如图5所示，构建对应点集合C。对于融合点云M上的每个点v′，在SMPL人体模板上找到其对应点v，将(v，v′)作为C中的一个元素。

步骤302，根据对应点集合定义能量函数，能量函数通过最小化对应点之间的距离，以求得形态参数和姿态参数。

具体而言，根据最小化能量函数E从而求解SMPL人体模板形态参数和姿态参数。

其中，在对应点集的基础上定义能量函数为：

E＝arg min E_distance+E_regular

其中，E_distance为匹配点对的距离约束，E_regular为形态参数的正则项，E_smooth为姿态参数的平滑约束。

各个能量项的定义如下：

E_distance＝∑_{(v，v′)∈C}(v-v′)²

其中，C为点云M到人体模型的匹配点对集合，v′为M上的对应点；β_m为待求得人体模型形态参数，v为人体模型上经过形态变化和姿态变化的点，具体定义为：

其中，

为SMPL模板上已知的v对于关节j的变化权重，T_j为关节的变换矩阵，即待求的人体的姿态参数，v₀为SMPL模板上已知的v在标准模型下的坐标，

为SMPL模板上已知的v对于基m的变化权重。

依次代入可知，该能量函数通过最小化对应点之间的距离，以求取关节变换矩阵T_j(即人体姿态参数)和人体形态参数β_m。

步骤303，根据形态参数和姿态参数变形参数化人体模板，得到变形后的参数化人体模板。

也就是说，根据求取出来的人体姿态参数T_j和人体形态参数β_m，变形SMPL人体模板，回到步骤S301中构建对应点集合C。

步骤304，根据变形后的参数化人体模板重新构建对应点集合，迭代至收敛，使参数化人体模板与规则点云拟合。

也即，步骤S301、步骤S302和步骤S302不断迭代，循环多次至收敛，完成人体模板拟合。

在步骤S4中，通过标准参数化人体模板定义的人体参数获取方式获取当前对象的人体参数。

进一步地，在本发明的一个实施例中，标准参数化人体模板是预先在参数化人体模板上定义每个人体参数的计算公式。

也就是说，事先在SMPL人体模板上定义各个人体参数的计算公式，然后按照公式直接从拟合过后的SMPL人体模板上获取待测的人体参数。定义如下表：

其中，v₄₁₄为SMPL人体模板上序号等于414的顶点，其他依此类推。[·]_x表示两点在X轴方向的距离，[·]_y表示两点在Y轴方向的距离，[·]_e表示两点在欧式距离。

根据本发明实施例提出的多深度相机人体参数测量方法，能够精确地求解出多个人体参数，包括身高、体重、胸围、腰围、臀围、臂长、腿长等，且成本较低、容易搭建，非常实用，可以用于虚拟试衣、游戏等多种实际应用中，可适合普通商户使用，拥有广阔的应用前景。

其次参照附图描述根据本发明实施例提出的多深度相机人体参数测量装置。

图6是本发明一个实施例的多深度相机人体参数测量装置结构示意图。

如图6所示，该多深度相机人体参数测量装置10包括：相机支架100、16个深度相机200、融合模块300、拟合模块400和测量模块500。

如图2所示，相机支架100和16个深度相机200，将深度相机分为4组，分别放置在相机支架的四条垂直边缘，用于采集当前对象深度图像。其中，每条垂直边缘在同一竖直方向等距离固定4个深度相机，且深度相机面向相机支架的中心轴。

融合模块300用于将深度图像融合为规则点云。

进一步地，在本发明的一个实施例中，如图7所示，融合模块300进一步包括：

投影单元301用于根据每个深度相机的内参和外参将深度图像中的每个像素投影至世界坐标系中：

其中，R_3x3为外参中的旋转矩阵，t为外参中的位移，f为相机焦距，(c_x，c_y)为相机主点坐标，(x，y)为像素在图像上的坐标，d为该像素的深度值，v_w为每个像素在世界坐标系中的坐标；

重建单元302用于根据每个像素在世界坐标系中的坐标使用泊松重建算法重建规则点云。

拟合模块400用于求解参数化人体模板的形态参数和姿态参数，使参数化人体模板变形，与规则点云拟合。

进一步地，在本发明的一个实施例中，如图8所示，拟合模块400进一步包括：

构建单元401用于在参数化人体模板中找到规则点云对应的点，并将所有对应点构建成对应点集合；

计算单元402用于根据对应点集合定义能量函数，能量函数通过最小化对应点之间的距离，以求得形态参数和姿态参数；

变形单元403用于根据形态参数和姿态参数变形参数化人体模板，得到变形后的参数化人体模板；

迭代拟合单元404用于根据变形后的参数化人体模板重新构建对应点集合，迭代至收敛，使参数化人体模板与规则点云拟合。

测量模块500用于通过标准参数化人体模板定义的人体参数获取方式获取当前对象的人体参数。

进一步地，在本发明的一个实施例中，标准参数化人体模板是预先在参数化人体模板上定义每个人体参数的计算公式。

需要说明的是，前述对多深度相机人体参数测量方法实施例的解释说明也适用于该装置，此处不再赘述。

根据本发明实施例提出的多深度相机人体参数测量装置，能够精确地求解出多个人体参数，包括身高、体重、胸围、腰围、臀围、臂长、腿长等，且成本较低、容易搭建，非常实用，可以用于虚拟试衣、游戏等多种实际应用中，可适合普通商户使用，拥有广阔的应用前景。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种多深度相机人体参数测量方法，其特征在于，包括以下步骤：

采集当前对象的深度图像；

将所述深度图像融合为规则点云，具体包括：根据每个深度相机的内参和外参将所述深度图像中的每个像素投影至世界坐标系；使用泊松重建算法，将所述世界坐标系中所述每个像素的坐标重建规则点云；

求解参数化人体模板的形态参数和姿态参数，使所述参数化人体模板变形，与所述规则点云拟合，具体包括：在所述参数化人体模板中找到所述规则点云对应的点，并将所有对应点构建成对应点集合；根据所述对应点集合定义能量函数，所述能量函数通过最小化对应点之间的距离，以求得所述形态参数和所述姿态参数；根据所述形态参数和所述姿态参数变形所述参数化人体模板，得到变形后的参数化人体模板；根据变形后的参数化人体模板重新构建所述对应点集合，迭代至收敛，使所述参数化人体模板与所述规则点云拟合；

通过标准参数化人体模板定义的人体参数获取方式获取所述当前对象的人体参数；

其中，所述能量函数为：E＝arg min E_distance+E_regular；其中，E_distance为匹配点对的距离约束，E_distance＝∑_{(v，v′)∈C}(v-v′)²；E_regular为形态参数的正则项，

M为规则点云，C为M到所述参数化人体模板的匹配点对集合或对应点集合；v′为M上的对应点；β_m为所述形态参数，v为所述参数化人体模型上经过形态变化和姿态变化的点。

2.根据权利要求1所述的方法，其特征在于，利用深度相机对所述当前对象进行采集，得到所述深度图像。

3.根据权利要求1所述的方法，其特征在于，所述标准参数化人体模板是预先在所述参数化人体模板上定义每个人体参数的计算公式。

4.一种多深度相机人体参数测量装置，其特征在于，包括：

相机支架和16个深度相机，将所述深度相机分为4组，并分别放置在所述相机支架的四条垂直边缘，用于采集当前对象深度图像；

融合模块，用于将所述深度图像融合为规则点云，其中，所述融合模块进一步包括：

投影单元，根据每个深度相机的内参和外参将所述深度图像中的每个像素投影至世界坐标系；重建单元，用于使用泊松重建算法，将所述世界坐标系中所述每个像素的坐标重建规则点云；

拟合模块，用于求解参数化人体模板的形态参数和姿态参数，使所述参数化人体模板变形，与所述规则点云拟合，其中，所述拟合模块进一步包括：构建单元，用于在所述参数化人体模板中找到所述规则点云对应的点，并将所有对应点构建成对应点集合；计算单元，用于根据所述对应点集合定义能量函数，所述能量函数通过最小化对应点之间的距离，以求得所述形态参数和所述姿态参数；变形单元，用于根据所述形态参数和所述姿态参数变形所述参数化人体模板，得到变形后的参数化人体模板；迭代拟合单元，用于根据变形后的参数化人体模板重新构建所述对应点集合，迭代至收敛，使所述参数化人体模板与所述规则点云拟合；

测量模块，用于通过标准参数化人体模板定义的人体参数获取方式获取所述当前对象的人体参数；

其中，所述能量函数为：E＝arg min E_distance+E_regular；其中，E_distance为匹配点对的距离约束，E_distance＝∑_{(v，v′)∈C}(v-v′)²；E_regular为形态参数的正则项，

M为规则点云，C为M到所述参数化人体模板的匹配点对集合或对应点集合；v′为M上的对应点；β_m为所述形态参数，v为所述参数化人体模型上经过形态变化和姿态变化的点。

5.根据权利要求4所述的装置，其特征在于，所述相机支架的每条垂直边缘在同一竖直方向等距离固定4个深度相机，且所述深度相机面向所述相机支架的中心轴。

6.根据权利要求4所述的装置，其特征在于，所述标准参数化人体模板是预先在所述参数化人体模板上定义每个人体参数的计算公式。

Images