CN109583370A - 人脸结构网格模型建立方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种人脸结构网格模型建立方法、装置、电子设备及存储介质，属于图像处理技术领域。所述方法包括：检测二维人脸图像的人脸关键点；基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。采用本公开建立人脸结构网格模型的复杂度较低。

Description

人脸结构网格模型建立方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种人脸结构网格模型建立方法、装置、电子设备及存储介质。

背景技术

目前，计算机视觉领域发展迅速，人脸结构网格模型建立技术作为计算机视觉领域的热点技术，被广泛应用到了身份识别、虚拟现实、计算机游戏等行业。而人脸结构网格模型建立技术大多是基于人脸图像，对人脸信息进行采集，在计算机中建立该人脸图像对应的人脸结构网格模型。其中，人脸结构网格模型是一个三维模型，该三维模型由许多人脸顶点组成，每个人脸顶点有相应的三维坐标，相邻的人脸顶点之间设置有连线，形成了许多三角形，这样三维模型就像是由三角形组成的网格构成，所以叫做人脸结构网格模型，常见的人脸顶点之间连线形成的多边形有三角形、矩形等。

相关技术在建立人脸结构网格模型时，需要获取到至少两张从不同角度拍摄的人脸图像，并基于获取到的人脸图像，获取深度信息，从而建立人脸结构网格模型。

在实现本公开的过程中，发明人发现现有技术至少存在以下问题：

相关技术中需要获取不同角度拍摄的多张人脸图像，而在获取这些人脸图像之前，还要对图像拍摄设备之间的相互关系进行标定，标定过程相对复杂，这样就会使人脸结构网格模型建立的复杂度很高。

发明内容

为克服相关技术中存在的问题，本公开提供一种人脸结构网格模型建立方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种人脸结构网格模型建立方法，包括：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

可选的，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的输出人脸结构网格模型，包括：

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点；

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数；

判断是否满足预设的循环结束条件；

如果满足预设的循环结束条件，则将所述中间人脸结构网格模型，确定为与所述二维人脸图像相匹配的输出人脸结构网格模型；

如果不满足预设的循环结束条件，则将所述初始人脸结构网格模型更新为所述中间人脸结构网格模型，将所述初始射影几何参数更新为所述中间射影几何参数，转至执行：基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；

基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定中间人脸结构网格参数和中间射影几何参数；

基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，包括：

如果所述初始射影几何参数是循环过程中第一次确定的初始射影几何参数，则基于循环过程中第一次确定的初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，如果所述初始射影几何参数不是循环过程中第一次确定的初始射影几何参数，则基于循环过程中本次确定的初始射影几何参数、上一次确定的初始射影几何参数和预设权重值，确定调整后的初始射影几何参数；

基于所述调整后的初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型，包括：

基于所述初始人脸结构网格参数、所述平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数；

基于所述调整后的初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型，包括：

如果所述中间人脸结构网格参数是循环过程中第一次确定的中间结构网格参数，则基于循环过程中第一次确定的中间人脸结构网格参数、初始人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，如果所述中间人脸结构网格参数不是循环过程中第一次确定的中间人脸结构网格参数，则基于循环过程中本次确定的中间人脸结构网格参数、上一次确定的中间人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数；

基于所述调整后的中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述预设的循环结束条件，包括以下条件中的至少一个：

循环次数达到预设阈值；

所述中间射影几何参数相对于所述初始射影几何参数的变化量小于预设阈值；

所述中间射影几何参数对应的优化函数输出值相对于所述初始射影几何参数对应的优化函数输出值的变化量小于预设阈值。

可选的，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，包括：

在所述初始人脸结构网格模型中，确定各目标人脸顶点之间的顶点连线组成的轮廓线；

在所述初始人脸结构网格模型的人脸关键点中，确定位于所述轮廓线外侧的目标人脸关键点；

将每个目标人脸关键点的位置，调整到所述目标人脸顶点中与所述目标人脸关键点距离最近的目标人脸顶点处；

将调整后的目标人脸关键点和所述初始人脸结构网格模型中未调整的人脸关键点，确定为所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点。

根据本公开实施例的第二方面，提供一种人脸结构网格模型建立装置，包括：

检测单元，被配置为检测二维人脸图像的人脸关键点；

确定单元，被配置为基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

输出单元，被配置为基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

可选的，所述输出单元，被配置为：

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点；

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数；

判断是否满足预设的循环结束条件；

如果满足预设的循环结束条件，则将所述中间人脸结构网格模型，确定为与所述二维人脸图像相匹配的输出人脸结构网格模型；

如果不满足预设的循环结束条件，则将所述初始人脸结构网格模型更新为所述中间人脸结构网格模型，将所述初始射影几何参数更新为所述中间射影几何参数，转至执行：基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述确定单元，被配置为：

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；

基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定中间人脸结构网格参数和中间射影几何参数；

基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述输出单元，被配置为：

如果所述初始射影几何参数是循环过程中第一次确定的初始射影几何参数，则基于循环过程中第一次确定的初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，如果所述初始射影几何参数不是循环过程中第一次确定的初始射影几何参数，则基于循环过程中本次确定的初始射影几何参数、上一次确定的初始射影几何参数和预设权重值，确定调整后的初始射影几何参数；

基于所述调整后的初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述确定单元，被配置为：

基于所述初始人脸结构网格参数、所述平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数；

基于所述调整后的初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

如果所述中间人脸结构网格参数是循环过程中第一次确定的中间结构网格参数，则基于循环过程中第一次确定的中间人脸结构网格参数、初始人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，如果所述中间人脸结构网格参数不是循环过程中第一次确定的中间人脸结构网格参数，则基于循环过程中本次确定的中间人脸结构网格参数、上一次确定的中间人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数；

基于所述调整后的中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述预设的循环结束条件，包括以下条件中的至少一个：

循环次数达到预设阈值；

所述中间射影几何参数相对于所述初始射影几何参数的变化量小于预设阈值；

所述中间射影几何参数对应的优化函数输出值相对于所述初始射影几何参数对应的优化函数输出值的变化量小于预设阈值。

可选的，所述确定单元，被配置为：

在所述初始人脸结构网格模型中，确定各目标人脸顶点之间的顶点连线组成的轮廓线；

在所述初始人脸结构网格模型的人脸关键点中，确定位于所述轮廓线外侧的目标人脸关键点；

将每个目标人脸关键点的位置，调整到所述目标人脸顶点中与所述目标人脸关键点距离最近的目标人脸顶点处；

将调整后的目标人脸关键点和所述初始人脸结构网格模型中未调整的人脸关键点，确定为所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种人脸结构网格模型建立方法，所述方法包括：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

根据本公开实施例的第五方面，提供一种应用程序，当应用程序在终端在运行时，使得电子设备执行一种人脸结构网格模型建立方法，所述方法包括：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

本公开的实施例提供的技术方案可以包括以下有益效果：首先检测获取到的一张二维人脸图像的人脸关键点，再基于该二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，可以确定出与该二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数。然后基于确定出的初始射影几何参数，可以在初始人脸结构物网格模型中，确定和获取的二维人脸图像对应的关键点，最后基于这些在初始人脸结构网格模型中，确定和获取的二维人脸图像对应的关键点和二维人脸图像中的关键点，即可确定出与二维人脸图像相匹配的输出人脸结构网格模型。这样可以基于获取的一张二维人脸图像，便可以确定出与该二维人脸图像相匹配的输出人脸结构网格模型，无需对图像拍摄设备进行标定，复杂度较低。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种人脸结构网格模型建立方法的流程图。

图2是根据一示例性实施例示出的一种人脸结构网格模型的示意图。

图3是根据一示例性实施例示出的一种人脸结构网格模型的示意图。

图4是根据一示例性实施例示出的一种人脸结构网格模型建立方法的流程图。

图5是根据一示例性实施例示出的一种人脸结构网格模型建立装置的框图。

图6是根据一示例性实施例示出的一种电子设备的结构框图。

图7是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本公开的示例性实施例提供了一种人脸结构网格模型建立方法，该方法可以由电子设备实现。电子设备可以是手机、台式机等终端，也可以是服务器。电子设备可以通过拍摄或网络传输等方式获取二维人脸图像，例如，手机自拍或拍摄视频直播等等。本公开提供的方法可以对终端获取的单张二维人脸图像建立人脸结构网格模型。进而终端可以基于人脸结构网格模型进行换脸处理或身份识别处理等。本公开实施例以换脸的应用场景为例进行方案的详细阐述，其它情况与之类似，本实施例不在赘述。

图1是根据一示例性实施例示出的一种建立人脸结构网格模型的方法的流程图，如图1所示，人脸结构网格模型建立方法用于终端中，包括以下步骤。

在步骤S101中，检测二维人脸图像的人脸关键点。

在实施中，用户使用具有摄像功能的终端进行自拍或拍摄他人，终端便可以获取到用户拍摄的一张二维图像，然后对该二维图像进行人脸识别，这进行人脸识别所使用的人脸识别算法可以是基于深度学习的人脸识别算法、基于模型的人脸识别算法等。首先终端检测出这张二维图像中是否存在人脸，并检测出人脸位置，即在该二维图像中，确定出一个包含有人脸的矩形框，该矩形框内的二维图像，可以叫做二维人脸图像。然后再对确定出的该二维人脸图像进行人脸关键点检测，其中，人脸关键点是预先规定的能够反映人脸的一些器官特征的点，如左内眼角点、右嘴角点、鼻尖点等。再将检测出的人脸关键点进行记录，M＝[M₁，M₂……M_n]，其中每个人脸关键点都有一个编号，编号1到n按照一定顺序分别对应一个人脸关键点，则n为关键点个数，n的数值由人脸识别算法预先设置的要检测的人脸关键点的个数决定，常用的n可以为68、83、101等，M_n表示第编号为n的人脸关键点的二维坐标(x_n，y_n)。

在步骤S102中，基于二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数。

其中，预设的平均脸结构网格模型为如图2所示的三维人脸模型，平均脸结构网格模型是技术人员基于大众的人脸结构特点制作的能够反映一般人脸特点的人脸结构网格模型，平均脸结构网格模型中有许多人脸顶点，每个人脸顶点有其各自的编号和三维坐标。在制作平均脸结构网格模型时，可以设置好平均脸结构网格模型人脸关键点，每个人脸关键点可以是人脸顶点中的一个。平均脸结构网格模型的人脸关键点个数和编号，与上述人脸识别确定出的二维人脸图像的人脸关键点个数和编号相同。而初始人脸结构网格模型的人脸顶点个数与平均脸结构网格模型的人脸顶点个数相同、初始人脸结构网格模型的人脸顶点编号与平均脸结构网格模型的人脸顶点编号相同，初始人脸结构网格模型的人脸顶点的坐标与平均脸结构网格模型的人脸顶点的坐标不同。初始射影几何参数是包含有旋转参数、平移参数、缩放参数等的一个矩阵。

可选的，确定初始射影几何参数和初始人脸结构网格模型的处理可以如下：基于二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；基于初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型。

其中，初始人脸结构网格参数是包含有性别、胖瘦、肤色等人脸属性参数的集合，这里的人脸属性参数均以程度值来表示。

在实施中，技术人员可以预先建立一个人脸结构网格模型库，该人脸结构网格模型中有许多人脸结构网格模型，每个人脸结构网格模型对应有一个人脸结构网格参数，人脸结构网格参数反映了其对应的人脸结构网格模型的人脸属性特征，如果想要得到人脸属性特征介于俩个已经建立的人脸网格模型的人脸属性特征之间的人脸结构网格参数，可以通过插值的方式实现。

本示例性实施例中，可以使用最优化方法，来确定初始人脸结构网格参数和初始射影几何参数，具体优化函数如下：

|B·F(I₁，A)-M₁|_xy+|B·F(I₂，A)-M₂|_xy+……|B·F(I₁，A)-M_n|_xy＝θ，其中，B为待确定的初始射影几何参数、F(I₁，A)到F(I_n，A)为待确定的初始人脸结构网格参数对应的初始人脸结构网格模型中的人脸关键点I₁到I_n的三维坐标，A为待确定的初始人脸结构网格参数，M₁到M_n为二维人脸图像中的人脸关键点的二维坐标，θ为优化函数输出值，当θ达到最小时，即，二维人脸图像的人脸关键点的位置与人脸结构网格模型中的人脸关键点映射到二维平面后的位置差值求和后最小，则确定当θ最小时对应的B为初始射影几何参数，对应的A为初始人脸结构网格参数，再将确定出的初始人脸结构网格参数代入到预先建立的人脸结构网格模型库中，便可以获得与该初始人脸结构网格参数对应的初始人脸结构网格模型。需要说明的是，该函数在进行计算前需要对函数中的各参数进行赋值，B为单位矩阵B₀，A为平均脸结构网格模型对应的平均脸结构网格参数A₀，则F(I₁，A)到F(I_n，A)为预设的平均脸结构网格模型的人脸关键点。

可选的，在基于初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型时，可以先对该初始人脸结构网格参数进行调整，相应的，可以进行如下处理：基于初始人脸结构网格参数、平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数，基于调整后的初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型。

在实施中，基于初始人脸结构网格参数A、平均脸结构网格模型对应的平均脸结构网格参数A₀和预设权重值r，对初始人脸结构网格参数进行调整，即A′＝A·r+A₀·(1-r)，其中，A′为调整后的初始人脸结构网格参数。这样对初始人脸结构网格参数进行加权调整可以使确定出的初始人脸结构网格参数相对于平均脸结构网格参数的变化不会太大，这样即使准确的初始人脸结构网格参数介于平均脸结构网格参数和调整前的初始人脸结构网格参数之间，调整后的初始人脸结构网格参数也能更接近该准确的初始人脸结构网格参数。然后，将调整后的初始人脸结构网格参数代入到预先建立的人脸结构网格模型库中，便可以获得与该调整后的初始人脸结构网格参数对应的初始人脸结构网格模型。

在步骤S103中，基于初始射影几何参数，在初始人脸结构网格模型中，确定与二维人脸图像对应的人脸关键点。

可选的，该步骤确定与二维人脸图像对应的人脸关键点可以进行如下处理：在初始人脸结构网格模型中，确定各目标人脸顶点之间的顶点连线组成的轮廓线；在初始人脸结构网格模型的人脸关键点中，确定位于轮廓线外侧的目标人脸关键点；将每个目标人脸关键点的位置，调整到目标人脸顶点中与目标人脸关键点距离最近的目标人脸顶点处；将调整后的目标人脸关键点和初始人脸结构网格模型中未调整的人脸关键点，确定为初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点。

在实施中，将上述确定的初始人脸结构网格模型中的所有人脸顶点，按照确定的初始射影几何参数，射影到二维平面，再对二维平面中的点进行连线，例如，如果顶点1在初始结构网格模型中分别与人脸顶点2、人脸顶点5相连，那么，顶点1射影到二维平面上的点也要分别与人脸顶点2射影到二维平面上的点、人脸顶点5射影到二维平面上的点相连，即得到了一个二维人脸网格图像，将该二维人脸网格图像的轮廓线上的目标人脸顶点的编号进行记录。在初始人脸结构网格模型中，确定出记录编号的目标顶点的位置，并确定出各目标人脸顶点之间的顶点连线组成的轮廓线，如图3所示，黑色加粗的曲线表示为轮廓线，需要说明的是此处黑色加粗的曲线仅作为形象性表示形式，在实际中并不存在该黑色加粗的曲线。在该初始人脸结构网格模型的人脸关键点中，有部分关键点会位于该轮廓线外侧，确定位于轮廓线外侧的关键点为目标人脸关键点。将确定的每个目标人脸关键点的位置，调整到该轮廓线上的目标人脸顶点中与其距离最近的目标人脸顶点处。最后，将调整后的目标人脸关键点和该初始人脸结构网格模型中未调整的人脸关键点，确定为该初始人脸结构网格模型中与二维人脸图像对应的人脸关键点。

可选的，在基于初始射影几何参数，在初始人脸结构网格模型中，确定与二维人脸图像对应的人脸关键点时，可以先对初始射影几何参数进行调整，相应的，可以进行如下处理：基于初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，基于调整后的初始射影几何参数，在初始人脸结构网格模型中，确定与二维人脸图像对应的人脸关键点。

在实施中，基于初始射影几何参数B、预设射影几何参数B₀和预设权重值r，对初始射影几何参数进行调整，即B′＝B·r+B₀·(1-r)，其中，预设权重值r的取值范围在0到1之间，B′为调整后的初始射影几何参数。这样对初始射影几何参数进行加权调整可以使确定出的初始射影几何参数相对于预设射影几何参数的变化不会太大，这样即使准确的初始射影几何参数介于预设射影几何参数和调整前的初始射影几何参数之间，调整后的初始射影几何参数也能更接近该准确的初始射影几何参数。然后利用调整后的初始射影几何参数确定与二维人脸图像对应的人脸关键点，具体确定人脸关键点的方法与上述相同，在此不做赘述。

在步骤S104中，基于二维人脸图像的人脸关键点和初始人脸结构网格模型中与二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

在实施中，将确定的初始人脸结构网格模型中与二维人脸图像对应的人脸关键点和二维人脸图像的人脸关键点代入到上述最优化方法的函数中：

|B·F(I₁，A)-M₁|_xy+|B·F(I₂，A)-M₂|_xy+……|B·F(I₁，A)-M_n|_xy＝θ，其中，B为待确定的输出人脸结构网格模型对应的射影几何参数、F(I₁，A)到F(I_n，A)为待确定的输出人脸结构网格模型中的人脸关键点I₁到I_n的三维坐标，A为待确定的输出人脸结构网格模型对应的人脸结构网格参数，M₁到M_n为二维人脸图像中的人脸关键点的二维坐标，θ为优化函数输出值，当θ达到最小时，即，二维人脸图像的人脸关键点的位置与人脸结构网格模型中的人脸关键点映射到二维平面后的位置差值求和后最小，则确定当θ最小时对应A为待确定的输出人脸结构网格模型对应的人脸结构网格参数，再将确定出的人脸结构网格参数代入到预先建立的人脸结构网格模型库中，便可以从该人脸结构网格模型库中获得与二维人脸图像相匹配的输出人脸结构网格模型。

用户可以在终端中选择一个预先设计好的脸谱图作为该人脸网格模型的纹理，该人脸结构网格模型的每个顶点对应有一个二维纹理坐标，该二维纹理坐标对应纹理中的一个位置，这样就可以将纹理中的像素按照二维纹理坐标添加到该人脸结构网格模型对应的顶点上，这样该人脸结构网格模型的顶点上就有了相应的纹理，然后将添加了纹理的人脸结构网格模型射影到二维平面，即可得到一个与人脸图像相匹配的脸谱图，然后将该脸谱图与用户的人脸图像进行叠加，脸谱图在上层，这样就在终端的显示屏中就会显示出给人脸换上脸谱的效果。

图4是根据一示例性实施例示出的一种人脸结构网格模型建立方法的流程图，如图4所示，人脸结构网格模型建立方法用于终端中，包括以下步骤。

步骤S401，检测二维人脸图像的人脸关键点。

步骤S402，基于二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数。

可选的，确定初始射影几何参数和初始人脸结构网格模型的处理可以如下：基于二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；基于初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型。

可选的，在基于初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型时，可以先对该初始人脸结构网格参数进行调整，相应的，可以进行如下处理：基于初始人脸结构网格参数、平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数；基于调整后的初始人脸结构网格参数，确定与二维人脸图像相匹配的初始人脸结构网格模型。

步骤S403，基于初始射影几何参数，在初始人脸结构网格模型中，确定与二维人脸图像对应的人脸关键点。

可选的，在基于初始射影几何参数，在初始人脸结构网格模型中，确定与二维人脸图像对应的人脸关键点时，可以先对确定的初始射影几何参数进行调整，相应的，可以进行如下处理：如果初始射影几何参数是循环过程中第一次确定的初始射影几何参数，则基于循环过程中第一次确定的初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，如果该初始射影几何参数不是循环过程中第一次确定的初始射影几何参数，则基于循环过程中本次确定的初始射影几何参数、上一次确定的初始射影几何参数和预设权重值，确定调整后的初始射影几何参数，基于所述调整后的初始射影几何参数，在初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

步骤S404，基于二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数。

可选的，确定与二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数的处理可以如下：基于二维人脸图像的人脸关键点和初始人脸结构网格模型中与二维人脸图像对应的人脸关键点，确定中间人脸结构网格参数和中间射影几何参数；基于中间人脸结构网格参数，确定与二维人脸图像相匹配的中间人脸结构网格模型。

在实施中，可以使用最优化方法，来确定中间人脸结构网格参数和中间射影几何参数，具体实现函数如下：

|B·F(I₁，A)-M₁|_xy+|B·F(I₂，A)-M₂|_xy+……|B·F(I₁，A)-M_n|_xy＝θ，其中，B为待确定的中间射影几何参数、F(I₁，A)到F(I_n，A)为待确定的中间人脸结构网格参数对应的中间人脸结构网格模型中的人脸关键点I₁到I_n的三维坐标，A为待确定的中间人脸结构网格参数，M₁到M_n为二维人脸图像中的人脸关键点的二维坐标，θ为优化函数输出值，当θ达到最小时，即，二维人脸图像的人脸关键点的位置与待确定中间人脸结构网格模型中的人脸关键点映射到二维平面后的位置差值求和后最小，则确定当θ最小时对应的B为中间射影几何参数，对应的A为中间人脸结构网格参数，再将确定出的中间人脸结构网格参数代入到预先建立的人脸结构网格模型库中，便可以获得与该中间人脸结构网格参数对应的中间人脸结构网格模型。

可选的，在基于中间人脸结构网格参数，确定与二维人脸图像相匹配的中间人脸结构网格模型时，可以先对中间人脸结构网格参数进行调整，相应的，可以进行如下处理:如果所述中间人脸结构网格参数是循环过程中第一次确定的中间结构网格参数，则基于循环过程中第一次确定的中间人脸结构网格参数、初始人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，如果所述中间人脸结构网格参数不是循环过程中第一次确定的中间人脸结构网格参数，则基于循环过程中本次确定的中间人脸结构网格参数、上一次确定的中间人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，再确定出调整后的中间人脸结构网格参数对应的初始人脸结构网格模型。

步骤S405，判断中间射影几何参数对应的优化函数输出值相对于初始射影几何参数对应的优化函数输出值的变化量是否小于预设阈值。如果中间射影几何参数对应的优化函数输出值相对于初始射影几何参数对应的优化函数输出值的变化量小于预设阈值，则执行步骤S407；如果中间射影几何参数对应的优化函数输出值相对于初始射影几何参数对应的优化函数输出值的变化量不小于预设阈值，则将初始人脸结构网格模型更新为该中间人脸结构网格模型，将初始射影几何参数更新为该中间射影几何参数，再转至执行步骤S404。

步骤S406，将中间人脸结构网格模型，确定为与二维人脸图像相匹配的输出人脸结构网格模型。

上述步骤中对于循环结束的判断条件还可以是循环次数达到预设阈值、中间射影几何参数相对于所述初始射影几何参数的变化量小于预设阈值等。

另外，需要说明的是图4所示的示例性实施例的具体处理方法，与图1所示的示例性实施例中相关步骤的具体处理方法相同，在此不做赘述。

图5是根据一示例性实施例示出的一种人脸结构网格模型建立的装置框图。参照图5，该装置包括检测单元501，确定单元502和输出单元503。

检测单元501，被配置为检测二维人脸图像的人脸关键点；

确定单元502，被配置为基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

输出单元503，被配置为基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

可选的，所述输出单元503，被配置为：

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点；

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数；

判断是否满足预设的循环结束条件；

如果满足预设的循环结束条件，则将所述中间人脸结构网格模型，确定为与所述二维人脸图像相匹配的输出人脸结构网格模型；

如果不满足预设的循环结束条件，则将所述初始人脸结构网格模型更新为所述中间人脸结构网格模型，将所述初始射影几何参数更新为所述中间射影几何参数，转至执行：基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述确定单元502，被配置为：

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；

基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定中间人脸结构网格参数和中间射影几何参数；

基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述输出单元503，被配置为：

如果所述初始射影几何参数是循环过程中第一次确定的初始射影几何参数，则基于循环过程中第一次确定的初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，如果所述初始射影几何参数不是循环过程中第一次确定的初始射影几何参数，则基于循环过程中本次确定的初始射影几何参数、上一次确定的初始射影几何参数和预设权重值，确定调整后的初始射影几何参数；

基于所述调整后的初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

可选的，所述确定单元502，被配置为：

基于所述初始人脸结构网格参数、所述平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数；

基于所述调整后的初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

如果所述中间人脸结构网格参数是循环过程中第一次确定的中间结构网格参数，则基于循环过程中第一次确定的中间人脸结构网格参数、初始人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，如果所述中间人脸结构网格参数不是循环过程中第一次确定的中间人脸结构网格参数，则基于循环过程中本次确定的中间人脸结构网格参数、上一次确定的中间人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数；

基于所述调整后的中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

可选的，所述预设的循环结束条件，包括以下条件中的至少一个：

循环次数达到预设阈值；

所述中间射影几何参数相对于所述初始射影几何参数的变化量小于预设阈值；

所述中间射影几何参数对应的优化函数输出值相对于所述初始射影几何参数对应的优化函数输出值的变化量小于预设阈值。

可选的，所述确定单元502，被配置为：

在所述初始人脸结构网格模型中，确定各目标人脸顶点之间的顶点连线组成的轮廓线；

在所述初始人脸结构网格模型的人脸关键点中，确定位于所述轮廓线外侧的目标人脸关键点；

将每个目标人脸关键点的位置，调整到所述目标人脸顶点中与所述目标人脸关键点距离最近的目标人脸顶点处；

将调整后的目标人脸关键点和所述初始人脸结构网格模型中未调整的人脸关键点，确定为所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种电子设备的结构框图。电子设备可以是终端600，比如：智能手机、平板电脑。终端600还可能被称为用户设备、便携式终端等其他名称。

通常，终端600包括有：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中提供的人脸结构网格模型建立方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

触摸显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏605还具有采集在触摸显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。触摸显示屏605用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，触摸显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，触摸显示屏605还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏605可以采用LCD(LiquidCrystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607用于提供用户和终端600之间的音频接口。音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，可以根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的正面。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图7是根据一示例性实施例示出的另一种电子设备的结构框图，该电子设备可以是服务器700，服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述人脸结构网格模型建立方法，方法包括：检测二维人脸图像的人脸关键点；基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由上述电子设备的处理器执行以完成上述人脸结构网格模型建立方法，方法包括：检测二维人脸图像的人脸关键点；基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种应用程序，包括一条或多条指令，该一条或多条指令可以由上述电子设备的处理器执行，以完成上述人脸结构网格模型建立方法，该方法包括：检测二维人脸图像的人脸关键点；基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。可选地，上述指令还可以由上述电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸结构网格模型建立方法，其特征在于，包括：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

2.根据权利要求1所述的人脸结构网格模型建立方法，其特征在于，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的输出人脸结构网格模型，包括：

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点；

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数；

判断是否满足预设的循环结束条件；

如果满足预设的循环结束条件，则将所述中间人脸结构网格模型，确定为与所述二维人脸图像相匹配的输出人脸结构网格模型；

如果不满足预设的循环结束条件，则将所述初始人脸结构网格模型更新为所述中间人脸结构网格模型，将所述初始射影几何参数更新为所述中间射影几何参数，转至执行：基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

3.根据权利要求2所述的人脸结构网格模型建立方法，其特征在于，所述基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定初始人脸结构网格参数和初始射影几何参数；

基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与所述二维人脸图像相匹配的中间人脸结构网格模型和中间射影几何参数，包括：

基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定中间人脸结构网格参数和中间射影几何参数；

基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

4.根据权利要求3所述的人脸结构网格模型建立方法，其特征在于，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，包括：

如果所述初始射影几何参数是循环过程中第一次确定的初始射影几何参数，则基于循环过程中第一次确定的初始射影几何参数、预设射影几何参数和预设权重值，确定调整后的初始射影几何参数，如果所述初始射影几何参数不是循环过程中第一次确定的初始射影几何参数，则基于循环过程中本次确定的初始射影几何参数、上一次确定的初始射影几何参数和预设权重值，确定调整后的初始射影几何参数；

基于所述调整后的初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点。

5.根据权利要求4所述的人脸结构网格模型建立方法，其特征在于，所述基于所述初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型，包括：

基于所述初始人脸结构网格参数、所述平均脸结构网格模型对应的平均脸结构网格参数和预设权重值，确定调整后的初始人脸结构网格参数；

基于所述调整后的初始人脸结构网格参数，确定与所述二维人脸图像相匹配的初始人脸结构网格模型；

所述基于所述中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型，包括：

如果所述中间人脸结构网格参数是循环过程中第一次确定的中间结构网格参数，则基于循环过程中第一次确定的中间人脸结构网格参数、初始人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数，如果所述中间人脸结构网格参数不是循环过程中第一次确定的中间人脸结构网格参数，则基于循环过程中本次确定的中间人脸结构网格参数、上一次确定的中间人脸结构网格参数和预设权重值，确定调整后的中间人脸结构网格参数；

基于所述调整后的中间人脸结构网格参数，确定与所述二维人脸图像相匹配的中间人脸结构网格模型。

6.根据权利要求2所述的人脸结构网格模型建立方法，其特征在于，所述预设的循环结束条件，包括以下条件中的至少一个：

循环次数达到预设阈值；

所述中间射影几何参数相对于所述初始射影几何参数的变化量小于预设阈值；

所述中间射影几何参数对应的优化函数输出值相对于所述初始射影几何参数对应的优化函数输出值的变化量小于预设阈值。

7.根据权利要求1-6所述的人脸结构网格模型建立方法，其特征在于，所述基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，包括：

在所述初始人脸结构网格模型中，确定各目标人脸顶点之间的顶点连线组成的轮廓线；

在所述初始人脸结构网格模型的人脸关键点中，确定位于所述轮廓线外侧的目标人脸关键点；

将每个目标人脸关键点的位置，调整到所述目标人脸顶点中与所述目标人脸关键点距离最近的目标人脸顶点处；

将调整后的目标人脸关键点和所述初始人脸结构网格模型中未调整的人脸关键点，确定为所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点。

8.一种人脸结构网格模型建立装置，其特征在于，包括：

执行单元，被配置为检测二维人脸图像的人脸关键点；

确定单元，被配置为基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

输出单元，被配置为基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种人脸结构网格模型建立方法，所述方法包括：

检测二维人脸图像的人脸关键点；

基于所述二维人脸图像的人脸关键点和预设的平均脸结构网格模型的人脸关键点，确定与所述二维人脸图像相匹配的初始人脸结构网格模型和初始射影几何参数；

基于所述初始射影几何参数，在所述初始人脸结构网格模型中，确定与所述二维人脸图像对应的人脸关键点，基于所述二维人脸图像的人脸关键点和所述初始人脸结构网格模型中与所述二维人脸图像对应的人脸关键点，确定与二维人脸图像相匹配的输出人脸结构网格模型。