CN116266408A - 体型估计方法、装置、存储介质及电子设备 - Google Patents

Abstract

一种体型估计方法、装置、存储介质及电子设备。其中，方法包括获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息；对对象图像进行骨骼点检测，得到对象人体的骨骼点信息；对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息；以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。本申请能够提高获得人体体型信息的效率。

Description

体型估计方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种体型估计方法、装置、存储介质及电子设备。

背景技术

体型信息作为人体的一个重要指标，在生活中的方方面面都会使用到。比如，用户需要参考自身人体的体型信息来购买合适的衣物，根据自身人体的体型信息来监测自身的健康状况等。相关技术中，通常采用人工的方式测量对象人体的体型信息，效率较低。

发明内容

本申请提供了一种体型估计方法、装置、存储介质及电子设备，能够提高获得人体体型信息的效率。

本申请提供的体型估计方法，包括：

获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息；

对对象图像进行骨骼点检测，得到对象人体的骨骼点信息；

对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息；

以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

本申请提供的体型估计装置，包括：

估计模块，用于获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息；

第一检测模块，用于对对象图像进行骨骼点检测，得到对象人体的骨骼点信息；

第二检测模块，用于对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息；

优化模块，用于以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

本申请提供的存储介质，其上存储有计算机程序，当计算机程序被处理器加载时执行如本申请提供的体型估计方法中的步骤。

本申请提供的电子设备，包括处理器和存储器，存储器存有计算机程序，处理器通过加载计算机程序，用于执行本申请提供的体型估计方法中的步骤。

本申请中，利用姿态估计模型对对象人体的对象图像进行姿态估计，得到对象人体在三维空间内的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备在三维空间内的设备姿态估计信息，此外，还从对象图像中提取出对象人体在二维空间内的骨骼点信息和人体轮廓信息，并以该骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。相较于相关技术，本申请通过采用基于人工智能的姿态估计方式来代替传统的人工测量，能够减少人力操作，提高获得体型信息的效率，此外，以对象人体的骨骼点信息和人体轮廓信息为约束对体型估计信息进行优化处理，从而得到与对象人体的骨骼点信息和人体轮廓信息均匹配的目标体型信息，能够更准确的反映对象人体的体型。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的体型估计系统的场景示意图。

图2是本申请实施例提供的体型估计方法的流程示意图。

图3是本申请实施例中掩膜图像形式的人体轮廓信息。

图4是本申请实施例从对象图像中截取人体子图像的示例图。

图5是本申请实施例中提供的衣物选择接口的示例图。

图6是本申请实施例中获得每一衣物三角面片的形变矢量的一示意图。

图7是本申请实施例中获得每一衣物三角面片的形变矢量的另一示意图。

图8是本申请实施例提供的体型估计装置的结构框图。

图9是本申请实施例提供的电子设备的结构框图。

具体实施方式

需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(Machine Learning,ML)技术，其中，深度学习(Deep Learning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在计算机视觉、自然语言处理等领域。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音数据的解释有很大的帮助。利用深度学习技术，以及对应的训练数据集，能够训练得到实现不同功能的网络模型，比如，基于一训练数据集能够训练得到用于性别分类的深度学习网络，基于另一训练数据集能够训练得到图像优化的深度学习网络等。

为了能够提高获得体型信息的效率，本申请将深度学习引入到发音检测中，相应提供一种体型估计方法、体型估计装置、存储介质以及电子设备。其中，体型估计方法可由电子设备执行。

请参照图1，本申请还提供一种体型估计系统，如图1所示，该体型估计系统包括电子设备100，比如，当电子设备100配置有摄像头等图像采集设备时，可以通过摄像头拍摄对象人体(若配置有多个摄像头，则可以通过其中一个摄像头进行拍摄)，获取到对象人体的对象图像，并将该对象图像输入到已训练的姿态估计模型，通过姿态估计模型对对象图像进行姿态估计，得到包括对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息在内的估计结果；此外，还分别对对象图像进行骨骼点检测和人体轮廓检测，得到对象人体的骨骼点信息和人体轮廓信息；之后，以该骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

其中，电子设备100可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的移动式电子设备，或者台式电脑、电视、服务器等具备处理器的固定式电子设备。

另外，如图1所示，该体型估计系统还可以包括存储设备200，用于存储数据，包括但不限于体型估计过程中得到的原始数据、中间数据以及结果数据等，比如，电子设备100可以将获取到的对象图像，由对象图像估计得到的人体姿态估计信息、体型估计信息、设备姿态估计信息，由对象图像提取得到的骨骼点信息和人体轮廓信息，以及最终优化得到的体型估计信息存入存储设备200中。

需要说明的是，图1所示的体型估计系统的场景示意图仅仅是一个示例，本申请实施例描述的体型估计系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着体型估计系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

请参照图2，图2为本申请实施例提供的体型估计方法的流程示意图。如图2所示，本申请实施例提供的体型估计方法的流程可以如下：

在S310中，获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息。

应当说明的是，对象人体可以是任意需要进行体型估计的人体，比如，若需要对A用户进行体型估计，则A用户的人体即为对象人体。体型估计可以的理解为以非实际测量的方式估计得到对象人体的体型信息，包括但不限于身高、胸围、臀围、腰围、臂宽以及腿长等信息。

相应的，本实施例中，电子设备首先获取到需要进行体型估计的对象人体的对象图像。此处对于电子设备如何获取对象人体的对象图像不作具体限制，可由本领域技术人员根据实际需要进行配置。

比如，当电子设备配置有摄像头等图像采集设备时，可以通过配置的摄像头拍摄对象人体，从而获取得到对象人体的对象图像；

又比如，电子设备还可以从其它电子设备处获取到该其它电子设备所拍摄得到的对象人体的对象图像；

又比如，电子设备还可以从网络中下载对象人体的对象图像。

应当说明的是，本申请预先训练有姿态估计模型，该姿态估计模型被配置为以包括人体的对象图像为输入，依据对象图像对人体进行姿态估计，以人体姿态信息、体型信息以及对象图像的图像采集设备的设备姿态信息为输出。此处对于姿态估计模型的结构以及训练方式均不作具体限制，可由本领域技术人员根据实际需要进行选取。

比如，姿态估计模型可以由三大部分组成，分别为特征编码网络、特征解码网络以及估计网络，其中估计网络包括第一估计子网络、第二估计子网络以及第三估计子网络。

其中，特征编码网络被配置为对输入的对象图像进行特征编码，得到对象图像的编码特征；

特征解码网络被配置为对特征编码网络输出的编码特征进行特征解码，得到解码特征；

第一估计子网络被配置为根据解码特征估计得到人体姿态信息；

第二估计子网络被配置为根据解码特征估计得到体型信息；

第三估计子网络被配置为根据解码特征估计得到设备姿态信息。

相应的，基于以上姿态估计模型，电子设备在获取到对象人体的对象图像之后，将获取到的对象图像输入姿态估计模型，通过姿态估计模型对输入的对象图像进行姿态估计，将姿态估计模型输出的人体姿态信息记为人体姿态估计信息，将姿态估计模型输出的体型信息记为体型估计信息，将姿态估计模型输出的设备姿态信息记为设备姿态估计信息。

其中，人体姿态估计信息至少描述了对象人体的骨骼点在三维空间内的平移信息和旋转信息，设备姿态估计信息至少描述了对象图像的图像采集设备在三维空间的平移信息和旋转信息。

在S320中，对对象图像进行骨骼点检测，得到对象人体的骨骼点信息。

本实施例中，除了对对象图像进行三维空间内的姿态估计之外，电子设备还按照配置的骨骼点检测算法，在二维空间内对对象图像进行骨骼点检测，得到对象人体的骨骼点信息。其中，骨骼点信息用于描述对象人体的骨骼点(包括但不限于头、颈、肩、手、臀、膝以及脚等骨骼点)在对象图像的二维空间内位置。此处对于采用何种骨骼点检测算法不作具体限制，可由本领域技术人员根据实际需要进行配置。

在S330中，对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息。

本实施例中，除了对对象图像进行三维空间内的姿态估计之外，电子设备还按照配置的人体轮廓检测算法，在二维空间内对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息。其中，人体轮廓用于描述对象人体在对象图像的轮廓。此处对于采用何种人体轮廓检测算法不作具体限制，可由本领域技术人员根据实际需要进行配置。

示例性的，电子设备按照配置的人体轮廓检测算法对对象图像进行人体轮廓检测，输出掩膜图像形式的人体轮廓信息，其中，可以采用像素值为0的像素点表征人体、像素值为255的像素值表征非人体，也可以采用像素值为255的像素值表征人体，像素值为0的像素点表征非人体。比如，请参照图3，示出了一掩膜图像，该掩膜图像黑白分明，仅由0和255两个像素值构成，其中，像素值为0的像素点构成黑色区域表征人体，像素值为255的像素点构成白色区域表征非人体区域，从而整体描述出人体轮廓。

应当说明的是，以上对对象图像的姿态估计、骨骼点检测和人体轮廓检测不受序号大小的限制，可以按照序号大小依序执行，也可以按照其它顺序依序执行，还可以并行执行等。

比如，电子设备可以运行三个线程，通过三个线程并行的对对象图像进行姿态估计、进行骨骼点检测以及进行人体轮廓检测。

在S340中，以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

如上，在利用姿态估计模型估计得到对象人体在三维空间的人体姿态估计信息、体型估计信息，对象图像的图像采集设备在三维空间的设备姿态估计信息，以及从对象图像中检测得到对象人体在二维空间的骨骼点信息和人体轮廓信息之后，以骨骼点信息和人体轮廓信息为约束，按照配置的非线性优化策略，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行迭代优化，得到与骨骼点信息和人体轮廓信息均匹配的优化后体型信息，记为目标体型信息。此处对于采用何种非线性优化策略不作具体限制，可由本领域技术人员根据实际需要进行配置。

由上可知，本申请利用姿态估计模型对对象人体的对象图像进行姿态估计，得到对象人体在三维空间内的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备在三维空间内的设备姿态估计信息，此外，还从对象图像中提取出对象人体在二维空间内的骨骼点信息和人体轮廓信息，并以该骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。相较于相关技术，本申请通过采用基于人工智能的姿态估计方式来代替传统的人工测量，能够减少人力操作，提高获得体型信息的效率，此外，以对象人体的骨骼点信息和人体轮廓信息为约束对体型估计信息进行优化处理，从而得到与对象人体的骨骼点信息和人体轮廓信息均匹配的目标体型信息，能够更准确的反映对象人体的体型。

在一可选的实施例中，为进一步提高体型估计的准确性，获取的对象图像包括对象人体的多个预设角度的对象图像，以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息，包括：

融合多个预设角度的对象图像对应的体型估计信息，得到对象人体的初始体型信息；

以多个预设角度的对象图像对应的骨骼点信息和人体轮廓信息为约束，根据多个预设角度的对象图像对应的人体姿态估计信息和设备姿态估计信息，对初始体型信息进行优化处理，得到对象人体的目标体型信息。

本实施例中，对于预设角度的数量及取值不作具体限制，可由本领域技术人员根据实际需要进行配置。

比如，在电子设备配置有摄像头等图像采集设备时，可以通过摄像头按照多个不同的预设角度拍摄对象人体，由此获得对象人体的多个预设角度的对象图像。

其中，可以通过多种方式来拍摄得到对象人体的多个预设角度的对象图像，对象人体可以站定不动，通过移动电子设备的方式来获得不同的拍摄角度；也可以固定电子设备，由对象人体原地旋转的方式来获得不同的拍摄角度。以下以多个预设角度为正面角度、左面角度、右面角度以及背面角度为例进行说明。

比如，在对对象人体进行拍摄时，被拍摄的对象人体站定不动，由他人手持电子设备在对象人体正面、背面、左面以及右面分别对对象人体进行拍摄，得到以上四个不同预设角度的对象图像。

又比如，在对对象人体进行拍摄时，可由对象人体将电子设备固定，并设置定时拍摄时间，以及拍摄张数为4；在完成前述设置之后，对象人体可以先正面朝向电子设备，待电子设备完成第一拍摄时(此时电子设备将拍摄到对象人体正面的对象图像)，对象人体原地顺时针旋转90度(即身体左面朝向电子设备)，待电子设备完成第二次拍摄时(此时电子设备将拍摄到对象人体左面的对象图像)，对象人体再原地顺时针旋转90度(即身体背面朝向电子设备)，待电子设备完成第三拍摄时(此时电子设备将拍摄到对象人体背面的对象图像)，对象人体再原地瞬时针旋转90度(即身体右面朝向电子设备)，待电子设备完成第四次拍摄，由此，电子设备将同样拍摄到对象人体正面、背面、左面以及右面共四个不同预设角度的对象图像。

按照以上实施例中描述的姿态估计方式、骨骼点检测方式以及人体轮廓检测方式，电子设备对每一预设角度的对象图像均进行姿态估计、骨骼点检测和人体轮廓检测，相应得到每一预设角度的对象图像的人体姿态估计信息和设备姿态估计信息，以及每一预设角度的对象图像的骨骼点信息和人体轮廓信息。

本实施例中，在进行体型信息的优化，并不分别对每一预设角度的体型信息进行优化，而是先按照配置的融合策略融合多个预设角度的对象图像所对应的体型估计信息，并将融合得到的体型信息记为初始体型信息，然后，再以多个预设角度的对象图像对应的骨骼点信息和人体轮廓信息为约束，按照配置的非线性优化策略，根据多个预设角度的对象图像对应的人体姿态估计信息和设备姿态估计信息，对初始体型信息进行迭代优化，得到与对象人体在多个不同预设角度的骨骼点信息和人体轮廓信息均匹配的目标体型信息。

应当说明的是，本实施例中对于融合策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。

比如，融合策略可以配置为：取各预设角度的对象图像所对应的体型估计信息的平均值；

又比如，融合策略可以配置为：按照各预设角度的预分配权重，对多个预设角度的对象图像所对应的体型估计信息进行加权求和等。

在一可选的实施例中，为进一步提高体型估计的准确性和效率，通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息之前，还包括：

对对象图像进行人体区域检测，得到对象图像的人体边界框；

根据人体边界框，截取对象图像中的人体子图像；

通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息，包括：

通过姿态估计模型对人体子图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息。

本实施例中，并不将对象图像完整的输入姿态估计模型进行姿态估计，而是将其中与人体相关的部分图像内容输入姿态估计模型进行姿态估计。

其中，电子设备首先按照配置的人体区域检测策略对对象图像进行人体区域检测，得到对象图像的人体边界框，即对象图像中人体的最小外接矩形框。此处对于人体区域检测策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。

比如，本实施例中，还预先训练有人体检测模型，该人体检测模型被配置为以包括人体的图像为输入，以人体边界框为输出，该人体边界框之内的区域即为人体区域。此处对于人体检测模型的架构以及训练方式均不作具体限制，可由本领域技术人员根据实际需要进行选取。

相应的，在对对象图像进行人体区域检测时，电子设备可以将对象图像输入人体检测模型，通过人体检测模型对对象图像进行人体区域检测，得到人体边界框。之后，电子设备进一步根据该人体边界框，从对象图像中截取出人体子图像，并将该人体子图像输入姿态估计模型进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息。

比如，请参照图4，对象图像中除了存在人体之外，还存在其它物体。电子设备将该对象图像输入到人体检测模型中进行人体区域检测，得到对应对象图像的人体边界框，然后，按照该人体边界框从对象图像中截取出人体子图像。

可以理解的是，人们在购买衣物时，通常存在不方便试衣的情况，使得人们难以挑选到合身的衣物。比如，在实体店选购衣物时，需要排队试衣，等候试衣需要耗费漫长的等待时间，而且，试衣时也通常需要对衣物进行反复穿脱，浪费大量时间和精力，也不一定能够挑选到合身的衣物。又比如，在通过网络选购衣物时，将面临无法试衣的境地，通常只能通过商家展示的模特图片来假想自己的穿衣效果，往往难以挑选到合身的衣物。因此，为了满足用户的试衣需求，本申请实施例还利用估计得到的目标体型信息实现虚拟试衣服务。本实施例中，以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息之后，还包括：

根据目标体型信息，获取与对象人体的体型所匹配的目标人体模型；

响应于对衣物模型的选取操作，将选取操作指定的目标衣物模型融合至目标人体模型进行显示。

本实施例中，电子设备在优化得到对象人体的目标体型信息之后，进一步获取到与对象人体的体型所匹配的三维的人体模型，记为目标人体模型。比如，电子设备可以从包括多个不同体型的人体模型的模型库中获取到与对象人体的体型所匹配的目标人体模型，也可以直接生成与对象人体的体型所匹配的目标人体模型等。

此外，在本实施例中，电子设备还提供有试衣界面，同时提供有用于触发电子设备显示试衣界面的“启动接口”。此处对于该启动接口的设置位置以及展现形式等不作具体限制，可由本领域技术人员根据实际需要进行设置。比如，可以将启动接口设置在电子设备的桌面，并以“试衣”图标的形式将试衣控件设置在桌面上，可以点击试衣图标触发电子设备显示试衣界面。

其中，试衣界面包括衣物选择接口，衣物选择接口被配置为接收输入的针对衣物(包括但不限于上装、下装、帽子以及成套的上装和下装等)的选取操作。

示例性的，请参照图5，该衣物选择接口可以滑动选择框的形式展现。比如，如图5所示，可以点击滑动选择框中衣物图标(该衣物图标用于表示不同衣物，分别与对应的三维的衣物模型关联)的方式来输入选取操作，并可以在选择框中左/右滑动以切换当前可选的衣物图标，由此来选择期望试穿的衣物。

相应的，电子设备在接收到输入的针对衣物模型的选取操作时，响应于该选取操作，将选取操作指定的目标衣物模型融合至目标人体模型进行显示，实现给目标人体模型穿衣的效果，从而达到虚拟试衣的目的。

在一可选的实施例中，为了提高目标人体模型的获取效率，根据目标体型信息，获取与对象人体的体型所匹配的目标人体模型，包括：

获取标准体型的预设人体模型；

根据目标体型信息对预设人体模型进行形变处理，得到与对象人体的体型所匹配的目标人体模型。

其中，电子设备首先获取一标准体型的预设人体模型，并以该标准体型的预设人体模型为基础，按照目标体型信息对其进行形变处理，从而得到与对象人体的体型所匹配的目标人体模型。

示例性的，本实施例中可以采用SMPL(A Skinned Multi-Person Linear，采用人皮肤的多线性)模型作为标准体型的预设人体模型。其中，SMPL模型是一种基于顶点的采用人皮肤的多线性人体三维模型，通过对SMPL模型的体型参数和姿态参数进行配置，能够精确地表示不同体型和姿态的人体。相应的，在本实施例中，按照目标体型信息对SMPL模型的体型参数进行配置，即可得到与对象人体的体型所匹配的体型调整后的SMPL模型，将该体型调整后的SMPL模型作为目标人体模型。

在一可选的实施例中，在目标衣物模型对应标准体型时，将选取操作指定的目标衣物模型融合至目标人体模型进行显示，包括：

获取目标人体模型与预设人体模型之间的形变信息；

根据形变信息对目标衣物模型进行形变处理，得到形变后的目标衣物模型；

将形变后的目标衣物模型融合至目标人体模型进行显示。

可以理解的是，预先构建不同体型的衣物模型需要花费大量的时间，以及计算资源等成本，因此，本实施例中，衣物模型均按照标准体型构建。相应的，本实施例中的目标衣物模型也将对应标准体型，由于目标人体模型与标准体型的预设人体模型之间存在形变，若直接将对应标准体型的目标衣物模型融合至目标人体模型进行显示，将无法获得最佳的显示效果，影响试衣体验。因此，本实施例中，电子设备先获取目标人体模型与预设人体模型之间的形变信息，并利用该形变信息对目标衣物模型进行形变处理，得到形变后的目标衣物模型，再将该形变后的目标衣物模型融合至目标人体模型进行显示。

采用本实施例通过的虚拟试衣功能，只要电子设备具备单目摄像头即可低成本的快速完成虚拟试衣功能的部署，同时可以与AR\VR应用相结合，增强AR\VR应用的可玩性及虚拟试衣的使用场景，与线上线下服饰门店结合，让用户通过虚拟试衣功能更加方便快速地寻找到符合自身需求的衣物，同时也可以作为娱乐化的工具让用户体验到虚拟衣物角色扮演的乐趣等。

在一可选的实施例中，获取目标人体模型与预设人体模型之间的形变信息，包括：

获取目标人体模型与预设人体模型之间每一组对应的人体模型单元的形变信息；

根据形变信息对目标衣物模型进行形变处理，得到形变后的目标衣物模型，包括：

根据每一组对应的人体模型单元的形变信息，获取每一组对应的人体模型单元在目标衣物模型中对应的衣物模型单元的形变矢量；

根据每一衣物模型单元的形变矢量对每一衣物模型单元进行形变处理，得到每一形变后的衣物模型单元；

根据每一形变后的衣物模型单元，得到形变后的目标衣物模型。

应当说明的是，本实施例中衣物模型和预设人体模型均采用相同形状的模型单元(比如三角面片)构建得到，相应的，本实施例中以每一模型单元为形变对象进行形变处理。

其中，电子设备可以采用交叉参数化的方式来获取目标人体模型与预设人体模型之间每一组对应的人体模型单元的形变信息，该形变信息用于描述预设人体模型中的一人体模型单元经过何种形变(包括形变的方向以及大小等信息)变化为目标人体模型中对应的人体模型单元。

本实施例中，根据每一组对应的人体模型单元的形变信息，电子设备获取每一组对应的人体模型单元在目标衣物模型中对应的衣物模型单元的形变矢量(包括形变大小和形变方向)，以此，可以获得目标衣物模型中每一衣物模型单元的形变矢量。之后，电子设备根据每一衣物模型单元的形变矢量对每一衣物模型单元进行形变处理，得到每一形变后的衣物模型单元。相应的，根据根据每一形变后的衣物模型单元，即可得到形变后的目标衣物模型。

请结合参照图6和图7，以下以人体模型单元和衣物模型单元均为三角面片进行说明：

将一衣物三角面片的顶点记为pg，将与顶点pg最近的骨骼点连线的垂直交点记为pb(反映顶点pg到最近两个骨骼点连线的最短距离)，将线段pbpg与预设人体模型中某个人体三角面片的交点记为pm，根据衣物三角面片对应的一组人体三角面片的形变信息，计算出对交点pm形变后的形变交点pm’，将形变交点pm’与目标人体模型最近的骨骼点连线上的垂直交点记为pb’，根据原始pg与pm之间的距离结合pb’和pm’即可得到对应于目标人体模型的形变顶点pg’。至此，矢量

即为衣物三角面片的形变矢量。

在一可选的实施例中，将选取操作指定的目标衣物模型融合至目标人体模型进行显示之后，还包括：

获取对象人体的实时对象图像；

通过姿态估计模型对实时对象图像进行姿态估计，得到对象人体的实时人体姿态估计信息、实时对象图像的图像采集设备的实时设备姿态估计信息；

若实时设备姿态估计信息基于弱透视投影，则对实时设备姿态估计信息进行投影转换，得到基于全透视投影的全透视实时设备姿态估计信息；

根据全透视实时设备姿态估计信息确定目标人体模型的目标显示位置，以及根据实时人体姿态估计信息确定目标人体模型的目标显示姿态；

按照目标显示位置以及目标显示姿态，融合显示目标人体模型和目标衣物模型。

为了进一步丰富虚拟试衣功能，本实施例进一步提供动态的虚拟试衣功能。

其中，电子设备可以获取对象人体的实时对象图像。比如，当电子设备配置有摄像头等图像采集设备时，通过配置的摄像头实时拍摄对象人体，从而得到对象人体的实时对象图像。此时，电子设备进一步将获取到的实时对象图像输入姿态估计模型，通过姿态估计模型对该实时对象图像进行姿态估计，得到姿态估计模型输出的人体姿态信息、体型信息以及实时对象图像的图像采集设备的设备姿态信息，由于已经获得了对象人体的目标体型信息，此时仅取姿态估计模型输出的人体姿态信息和设备姿态信息，分别记为实时人体姿态估计信息和实时设备姿态估计信息。

本实施例中，为提高模型训练效率，姿态估计模型基于弱透视投影训练得到。相应的，利用该姿态估计模型获取到的实时设备姿态估计信息也将是基于弱透视投影的，为了能够更正准确的反映对象人体与图像采集设备之间真实的位置关系，电子设备进一步对获取到的实时设备姿态估计信息进行投影转换，将实时设备姿态估计信息由弱透视投影转换为全透视投影，并将转换后的实时设备姿态估计信息记为全透视实时设备姿态估计信息。

其中，全透视投影是指物体投影时，投影大小与物体距离负相关，以同一物体为例，该物体不同位置处的距离越大，则投影越小，从而呈现近大远小的效果。弱透视投影是在全透视投影基础上的简化，物体投影时，同一物体各个位置的距离用平均距离代替，无法呈现出近大远小的效果。

进一步的，电子设备根据该全透视实时设备姿态估计信息，确定对象人体与图像采集设备的实时相对位置，并根据配置的相对位置和显示位置的对应关系，将对应该实时相对位置的显示位置确定为目标人体模型的目标显示位置，以及根据实时人体姿态估计信息确定目标人体模型的目标显示姿态，也即是将实时人体姿态估计信息所描述的人体姿态确定为目标人体模型的目标显示姿态。

如上，在确定目标人体模型的目标显示位置以及目标显示姿态之后，电子设备即按照该目标显示位置和目标显示姿态，融合显示目标人体模型和目标衣物模型。

通过采用本实施例提供的动态虚拟试衣功能，能够使得融合的目标人体模型和目标衣物模型跟随对象人体移动，并做出对应姿态，使得虚拟试衣功能更为逼真，就像衣物穿在真实的人体之上一样。

在一可选的实施例中，按照目标显示位置以及目标显示姿态，融合显示目标人体模型和目标衣物模型之前，还包括：

对目标显示位置和目标显示姿态进行平滑处理，得到平滑后的目标显示位置和平滑后目标显示姿态；

按照目标显示位置以及目标显示姿态，融合显示目标人体模型和目标衣物模型，包括：

按照平滑后的目标显示位置以及平滑后的目标显示姿态，融合显示目标人体模型和目标衣物模型。

为了进一步提高虚拟试衣的效果，本实施例中并不直接利用获得的目标显示位置和目标显示姿态进行虚拟试衣，而是先按照配置的平滑滤波算法，对目标显示位置和目标显示姿态进行平滑滤波处理，得到平滑后的目标显示位置和平滑后的目标显示姿态，再按照平滑后的目标显示位置和平滑后的目标显示姿态，融合显示目标人体模型和目标衣物模型。

应当说明的是，本实施例中对于采用何种平滑滤波算法不作具体限制，可由本领域技术人员根据实际需要进行配置，比如，本实施例中可以采用one-euro滤波算法对目标显示位置和目标显示姿态进行平滑滤波处理。

请参照图8，为更好的执行本申请所提供的体型估计方法，本申请进一步提供一种体型估计装置400，如图8所示，该体型估计装置400包括：

估计模块410，用于获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息；

第一检测模块420，用于对对象图像进行骨骼点检测，得到对象人体的骨骼点信息；

第二检测模块430，用于对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息；

优化模块440，用于以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

在一可选的实施例中，对象图像包括对象人体的多个预设角度的对象图像，优化模块440用于：

融合多个预设角度的对象图像对应的体型估计信息，得到对象人体的初始体型信息；

以多个预设角度的对象图像对应的骨骼点信息和人体轮廓信息为约束，根据多个预设角度的对象图像对应的人体姿态估计信息和设备姿态估计信息，对初始体型信息进行优化处理，得到对象人体的目标体型信息。

在一可选的实施例中，本申请提供的体型估计装置400还包括第三检测模块，用于：

对对象图像进行人体区域检测，得到对象图像的人体边界框；

根据人体边界框，截取对象图像中的人体子图像；

估计模块410用于通过姿态估计模型对人体子图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息。

在一可选的实施例中，本申请提供的体型估计装置400还包括显示模块，用于：

根据目标体型信息，获取与对象人体的体型所匹配的目标人体模型；

响应于对衣物模型的选取操作，将选取操作指定的目标衣物模型融合至目标人体模型进行显示。

在一可选的实施例中，显示模块用于：

获取标准体型的预设人体模型；

根据目标体型信息对预设人体模型进行形变处理，得到与对象人体的体型所匹配的目标人体模型。

在一可选的实施例中，在目标衣物模型对应标准体型时，显示模块用于：

获取目标人体模型与预设人体模型之间的形变信息；

根据形变信息对目标衣物模型进行形变处理，得到形变后的目标衣物模型；

将形变后的目标衣物模型融合至目标人体模型进行显示。

在一可选地实施例中，显示模块用于：

获取目标人体模型与预设人体模型之间每一组对应的人体模型单元的形变信息；

根据形变信息对目标衣物模型进行形变处理，得到形变后的目标衣物模型，包括：

根据每一组对应的人体模型单元的形变信息，获取每一组对应的人体模型单元在目标衣物模型中对应的衣物模型单元的形变矢量；

根据每一衣物模型单元的形变矢量对每一衣物模型单元进行形变处理，得到每一形变后的衣物模型单元；

根据每一形变后的衣物模型单元，得到形变后的目标衣物模型。

在一可选的实施例中，显示模块还用于：

获取对象人体的实时对象图像；

通过姿态估计模型对实时对象图像进行姿态估计，得到对象人体的实时人体姿态估计信息、实时对象图像的图像采集设备的实时设备姿态估计信息；

若实时设备姿态估计信息基于弱透视投影，则对实时设备姿态估计信息进行投影转换，得到基于全透视投影的全透视实时设备姿态估计信息；

根据全透视实时设备姿态估计信息确定目标人体模型的目标显示位置，以及根据实时人体姿态估计信息确定目标人体模型的目标显示姿态；

按照目标显示位置以及目标显示姿态，融合显示目标人体模型和目标衣物模型。

在一可选的实施例中，本申请提供的体型估计装置400还包括平滑模块，用于对目标显示位置和目标显示姿态进行平滑处理，得到平滑后的目标显示位置和平滑后目标显示姿态；

显示模块用于按照平滑后的目标显示位置以及平滑后的目标显示姿态，融合显示目标人体模型和目标衣物模型。

应当说明的是，本申请实施例提供的体型估计装置400与上文实施例中的体型估计方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请实施例还提供一种电子设备，包括存储器和处理器，其中处理器通过调用存储器中存储的计算机程序，用于执行本实施例提供的体型估计方法中的步骤。

请参照图9，图9为本申请实施例提供的电子设备100的结构示意图。

该电子设备100可以包括网络接口110、存储器120、处理器130以及屏幕组件等部件。本领域技术人员可以理解，图9中示出的电子设备100结构并不构成对电子设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

网络接口110可以用于进行设备之间的网络连接。

存储器120可用于存储计算机程序和数据。存储器120存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器130通过运行存储在存储器120的计算机程序，从而执行各种功能应用以及数据处理。

处理器130是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分，通过运行或执行存储在存储器120内的计算机程序，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据，从而对电子设备100进行整体控制。

在本申请实施例中，电子设备100中的处理器130会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器120中，并由处理器130来执行本申请提供的体型估计方法中的步骤，比如：

获取对象人体的对象图像，并通过姿态估计模型对对象图像进行姿态估计，得到对象人体的人体姿态估计信息、体型估计信息，以及对象图像的图像采集设备的设备姿态估计信息；

对对象图像进行骨骼点检测，得到对象人体的骨骼点信息；

对对象图像进行人体轮廓检测，得到对象人体的人体轮廓信息；

以骨骼点信息和人体轮廓信息为约束，根据人体姿态估计信息和设备姿态估计信息对体型估计信息进行优化处理，得到对象人体的目标体型信息。

应当说明的是，本申请实施例提供的电子设备100与上文实施例中的体型估计方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请实施例提供的电子设备的处理器上执行时，使得电子设备的处理器执行以上任一适于电子设备的体型估计方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

以上对本申请所提供的一种体型估计方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种体型估计方法，其特征在于，包括：

获取对象人体的对象图像，并通过姿态估计模型对所述对象图像进行姿态估计，得到所述对象人体的人体姿态估计信息、体型估计信息，以及所述对象图像的图像采集设备的设备姿态估计信息；

对所述对象图像进行骨骼点检测，得到所述对象人体的骨骼点信息；

对所述对象图像进行人体轮廓检测，得到所述对象人体的人体轮廓信息；

以所述骨骼点信息和所述人体轮廓信息为约束，根据所述人体姿态估计信息和所述设备姿态估计信息，对所述体型估计信息进行优化处理，得到所述对象人体的目标体型信息。

2.根据权利要求1所述的体型估计方法，其特征在于，所述对象图像包括所述对象人体的多个预设角度的对象图像，以所述骨骼点信息和所述人体轮廓信息为约束，根据所述人体姿态估计信息和所述设备姿态估计信息对所述体型估计信息进行优化处理，得到所述对象人体的目标体型信息，包括：

融合所述多个预设角度的对象图像对应的体型估计信息，得到所述对象人体的初始体型信息；

以所述多个预设角度的对象图像对应的骨骼点信息和人体轮廓信息为约束，根据所述多个预设角度的对象图像对应的人体姿态估计信息和设备姿态估计信息，对所述初始体型信息进行优化处理，得到所述对象人体的目标体型信息。

3.根据权利要求1所述的体型估计方法，其特征在于，所述通过姿态估计模型对所述对象图像进行姿态估计，得到所述对象人体的人体姿态估计信息、体型估计信息，以及所述对象图像的图像采集设备的设备姿态估计信息之前，还包括：

对所述对象图像进行人体区域检测，得到所述对象图像的人体边界框；

根据所述人体边界框，截取所述对象图像中的人体子图像；

所述通过姿态估计模型对所述对象图像进行姿态估计，得到所述对象人体的人体姿态估计信息、体型估计信息，以及所述对象图像的图像采集设备的设备姿态估计信息，包括：

通过所述姿态估计模型对所述人体子图像进行姿态估计，得到所述对象人体的人体姿态估计信息、体型估计信息，以及所述对象图像的图像采集设备的设备姿态估计信息。

4.根据权利要求1-3任一项所述的体型估计方法，其特征在于，所述以所述骨骼点信息和所述人体轮廓信息为约束，根据所述人体姿态估计信息和所述设备姿态估计信息对所述体型估计信息进行优化处理，得到所述对象人体的目标体型信息之后，还包括：

根据所述目标体型信息，获取与所述对象人体的体型所匹配的目标人体模型；

响应于对衣物模型的选取操作，将所述选取操作指定的目标衣物模型融合至所述目标人体模型进行显示。

5.根据权利要求4所述的体型估计方法，其特征在于，所述根据所述目标体型信息，获取与所述对象人体的体型所匹配的目标人体模型，包括：

获取标准体型的预设人体模型；

根据所述目标体型信息对所述预设人体模型进行形变处理，得到与所述对象人体的体型所匹配的目标人体模型。

6.根据权利要求5所述的体型估计方法，其特征在于，在所述目标衣物模型对应所述标准体型时，所述将所述选取操作指定的目标衣物模型融合至所述目标人体模型进行显示，包括：

获取所述目标人体模型与所述预设人体模型之间的形变信息；

根据所述形变信息对所述目标衣物模型进行形变处理，得到形变后的目标衣物模型；

将所述形变后的目标衣物模型融合至所述目标人体模型进行显示。

7.根据权利要求6所述的体型估计方法，其特征在于，所述获取所述目标人体模型与所述预设人体模型之间的形变信息，包括：

获取所述目标人体模型与所述预设人体模型之间每一组对应的人体模型单元的形变信息；

所述根据所述形变信息对所述目标衣物模型进行形变处理，得到形变后的目标衣物模型，包括：

根据所述每一组对应的人体模型单元的形变信息，获取所述每一组对应的人体模型单元在所述目标衣物模型中对应的衣物模型单元的形变矢量；

根据每一衣物模型单元的形变矢量对每一衣物模型单元进行形变处理，得到每一形变后的衣物模型单元；

根据每一所述形变后的衣物模型单元，得到所述形变后的目标衣物模型。

8.根据权利要求4所述的体型估计方法，其特征在于，所述将所述选取操作指定的目标衣物模型融合至所述目标人体模型进行显示之后，还包括：

获取所述对象人体的实时对象图像；

通过所述姿态估计模型对所述实时对象图像进行姿态估计，得到所述对象人体的实时人体姿态估计信息、所述实时对象图像的图像采集设备的实时设备姿态估计信息；

若所述实时设备姿态估计信息基于弱透视投影，则对所述实时设备姿态估计信息进行投影转换，得到基于全透视投影的全透视实时设备姿态估计信息；

根据所述全透视实时设备姿态估计信息确定所述目标人体模型的目标显示位置，以及根据所述实时人体姿态估计信息确定所述目标人体模型的目标显示姿态；

按照所述目标显示位置以及所述目标显示姿态，融合显示所述目标人体模型和所述目标衣物模型。

9.根据权利要求8所述的体型估计方法，其特征在于，所述按照所述目标显示位置以及所述目标显示姿态，融合显示所述目标人体模型和所述目标衣物模型之前，还包括：

对所述目标显示位置和所述目标显示姿态进行平滑处理，得到平滑后的目标显示位置和平滑后目标显示姿态；

所述按照所述目标显示位置以及所述目标显示姿态，融合显示所述目标人体模型和所述目标衣物模型，包括：

按照所述平滑后的目标显示位置以及所述平滑后的目标显示姿态，融合显示所述目标人体模型和所述目标衣物模型。

10.一种体型估计装置，其特征在于，包括：

估计模块，用于获取对象人体的对象图像，并通过姿态估计模型对所述对象图像进行姿态估计，得到所述对象人体的人体姿态估计信息、体型估计信息，以及所述对象图像的图像采集设备的设备姿态估计信息；

第一检测模块，用于对所述对象图像进行骨骼点检测，得到所述对象人体的骨骼点信息；

第二检测模块，用于对所述对象图像进行人体轮廓检测，得到所述对象人体的人体轮廓信息；

优化模块，用于以所述骨骼点信息和所述人体轮廓信息为约束，根据所述人体姿态估计信息和所述设备姿态估计信息对所述体型估计信息进行优化处理，得到所述对象人体的目标体型信息。

11.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1-9任一项所述的体型估计方法中的步骤。

12.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至9任一项所述的体型估计方法中的步骤。

Images