CN111652795A - 脸型的调整、直播方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种脸型的调整、直播方法、装置、电子设备和存储介质。该脸型的调整方法包括：获取图像数据，图像数据中具有人脸数据；将图像数据划分为多个网格，网格的顶点至少包括人脸数据的人脸关键点，人脸关键点包括脸型的轮廓关键点；接收作用于脸型的调整操作；响应于调整操作，调整轮廓关键点所处的网格，以调整脸型；绘制调整之后的网格，以显示调整脸型之后的图像数据。使得在对人脸关键点进行调整时，可连同调整网格，网格内的像素点的调整较为均匀，使得人脸的调整更加平滑，减少变形的情况，避免人脸失真。

Description

脸型的调整、直播方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及图像处理的技术，尤其涉及一种脸型的调整、直播方法、装置、电子设备和存储介质。

背景技术

随着社会的发展，诸如手机、平板电脑等电子设备已经广泛应用在学习、娱乐、工作等方面，扮演着越来越重要的角色。

在很多电子设备中配置有摄像头，可用于拍照、录像、直播等操作。

对于含有人物的图像数据，用户经常会对该图像数据进行人脸关键点，直接对人脸关键点进行平移、拉伸、缩放等调整，从而实现各种美颜效果，如调整眼睛大小、调整脸部大小等。

直接对人脸关键点进行平移、拉伸、缩放等调整，也会对位于该人脸关键点周围的人脸数据进行平移、拉伸、缩放等调整，但是，这些人脸数据调整较为粗糙，部分可能调整较大、部分可能调整较小，容易出现变形，导致人脸失真。

发明内容

本发明实施例提供一种脸型的调整、直播方法、装置、电子设备和存储介质，以解决调整人脸关键点容易导致人脸失真的问题。

第一方面，本发明实施例提供了一种脸型的调整方法，该方法包括：

获取图像数据，所述图像数据中具有人脸数据；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据。

进一步的，所述调整操作包括第一操作，所述轮廓关键点包括下巴的下巴关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第一操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下巴关键点，以调整所述下巴关键点所处的网格。

进一步的，所述调整操作包括第二操作，所述脸型关键点包括额头的额头关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第二操作，确定额头的额头关键点；

将眉心关键点确定为参考点；

以所述参考点为目标按照整体的形式移动所述额头关键点，以调整所述额头关键点所处的网格。

进一步的，所述确定额头的额头关键点，包括：

确定第一基准点，第一基准点位于两侧眉毛关键点之间；

确定第二基准点，第二基准点位于同侧眼睛关键点之间；

将第二基准点沿第一基准点映射，获得额头关键点。

进一步的，所述调整操作包括第三操作，所述轮廓关键点包括下颌的下颌关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第三操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下颌关键点，以调整所述下颌关键点所处的网格。

进一步的，所述调整操作包括第四操作，所述轮廓关键点包括眉毛以下、鼻尖以上的上部轮廓关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第四操作，将两瞳孔之间的中点确定为参考点；

以所述参考点为目标移动所述上部轮廓关键点，以调整所述上部轮廓关键点所处的网格。

进一步的，所述调整操作包括第五操作，所述轮廓关键点包括鼻尖以下、下嘴唇以上的中部轮廓关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第五操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述中部轮廓关键点，以调整所述中部轮廓关键点所处的网格。

进一步的，所述调整操作包括第六操作，所述轮廓关键点包括下嘴唇以下的下部轮廓关键点；所述人脸关键点包括下嘴唇的下嘴唇关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第六操作，将靠近下巴的所述下嘴唇关键点确定为参考点；

以所述参考点为目标移动所述下部轮廓关键点，以调整所述下部轮廓关键点所处的网格。

进一步的，所述将所述图像数据划分为多个网格，包括：

识别所述人脸数据中的人脸关键点；

确定位置相邻的人脸关键点，作为第一目标关键点；

在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

进一步的，所述将所述图像数据划分为多个网格，还包括：

确定位于所述图像数据边缘上的点，作为边缘点；

确定与所述边缘点位置相邻的人脸关键点，作为第二目标关键点；

在所述图像数据中以所述边缘点、所述第二目标关键点作为顶点、连接所述边缘点与所述第二目标关键点，获得网格。

第二方面，本发明实施例还提供了一种直播方法，该方法包括：

采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据；

在一直播间发布调整脸型之后的视频数据。

第三方面，本发明实施例还提供了一种脸型的调整装置，该装置包括：

图像数据获取模块，用于获取图像数据，所述图像数据中具有人脸数据；

网格划分模块，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块，用于接收作用于所述脸型的调整操作；

调整操作响应模块，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块，用于绘制调整之后的网格，以显示调整脸型之后的图像数据。

第四方面，本发明实施例还提供了一种直播装置，该装置包括：

视频数据采集模块，用于采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

网格划分模块，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块，用于接收作用于所述脸型的调整操作；

调整操作响应模块，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块，用于绘制调整之后的网格，以显示调整脸型之后的图像数据；

视频发布模块，用于在一直播间发布调整脸型之后的视频数据。

第五方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的脸型的调整方法或如第二方面所述的直播方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的脸型的调整方法或如第二方面所述的直播方法。

在本发明实施例中，图像数据中具有人脸数据，将图像数据划分为多个网格，调整轮廓关键点所处的网格，以调整脸型，绘制该网格，从而显示调整脸型之后的图像数据，一方面，在对人脸关键点进行调整时，可连同调整网格，网格内的像素点的调整较为均匀，使得人脸的调整更加平滑，减少变形的情况，避免人脸失真，另一方面，网格可同时用于人脸调整、渲染操作，复用划分网格的操作，可降低运算量，并且，网格的绘制及其调整相比于神经网络等深度学习更为简单，可提高处理速度、降低处理时间，降低显示时的延时，适用于直播等对实时性要求较高的场景。

附图说明

图1为本发明实施例一提供的一种脸型的调整方法的流程图；

图2A至图2D为本发明实施例提供的一种人脸关键点的示例图；

图3A至图3C为本发明实施例提供的一种网格顺序的示例图；

图4为本发明实施例提供的一种相邻人脸关键点的示例图；

图5A至图5B为本发明实施例提供的一种维诺图的示例图；

图6A至图6B为本发明实施例提供的一种网格的示例图；

图6C为本发明实施例提供的一种额头关键点的示例图；

图7是本发明实施例提供的一种调整人脸的操作的示例图；

图8A至图8D是本发明实施例提供的一种调整人脸的效果示意图。

图9为本发明实施例二提供的一种直播方法的流程图；

图10为本发明实施例三提供的一种脸型的调整装置的结构示意图；

图11为本发明实施例四提供的一种直播装置的结构示意图；

图12为本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种脸型的调整方法的流程图，本实施例可适用于基于人脸关键点构建网格、调整人脸关键点中的轮廓关键点、绘制网格、以显示调整轮廓关键点之后的图像数据的情况，该方法可以由脸型的调整装置来执行，该装置可以由软件和/或硬件实现，可配置在电子设备中，可以包括手机、平板、PDA(personal digitalassistant，个人数字助理)、智能穿戴设备(如智能眼镜、智能手表)等移动终端，也可以包括智能电视、个人电脑等非移动终端，这些电子设备包括CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等处理器，以及配置有用于渲染2D矢量图形的应用程序编程接口(API)或渲染引擎，该方法具体包括如下步骤：

S110、获取图像数据，所述图像数据中具有人脸数据。

在具体实现中，电子设备的操作系统可以包括Android(安卓)、IOS、Windows等等。

在这些操作系统中支持运行可进行图像处理的应用，如直播应用、图像编辑应用、相机应用、即时通讯工具、图库应用，等等。

诸如图像编辑应用、即时通讯工具、图库应用等应用，其UI(User Interface，用户界面)可提供导入的控件，用户可通过触控或鼠标等外设操作该导入的控件，选择本地存储的图像数据(以缩略图或路径表示)，也可以选择网络存储的图像数据(以URL(UniformResource Locators，统一资源定位器)表示)，使得应用获取该图像数据。

诸如直播应用、图像编辑应用、相机应用、即时通讯工具等应用，其UI可提供拍照、录像的控件，用户可通过触控或鼠标等外设操作该拍照、录像的控件，通知应用调用摄像头采集图像数据。

该人脸数据表示人脸的像素点。在本发明实施例中，应用对该图像数据进行人脸检测，识别该人脸数据中包含的人脸关键点。

其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。

本实施例中，该人脸数据的人脸关键点包括脸型的轮廓关键点。本实施例中的脸型指的是人脸的轮廓，该脸型具有脸型轮廓点，该脸型轮廓点可以包括：下巴的下巴关键点、额头的额头关键点、下颌的下颌关键点等。

人脸检测通常使用如下方法：

1、利用人工提取特征，如haar特征，使用特征训练分类器，使用分类器进行人脸检测。

2、从通用的目标检测算法中继承人脸检测，例如，利用Faster R-CNN来检测人脸。

3、使用级联结构的卷积神经网络，例如，Cascade CNN(级联卷积神经网络)，MTCNN(Multi-task Cascaded Convolutional Networks，多任务卷积神经网络)。

在具体实现中，这些实现人脸检测的方法可以集成在应用的模块中，应用可直接调用该模块检测图像数据中的人脸关键点，这些实现人脸检测的方法也可以集成在SDK(Software Development Kit，软件开发工具包)，该SDK作为应用的组装数据，应用可请求SDK对图像数据进行人脸检测，SDK检测到图像数据中的人脸关键点，并将人脸关键点返回应用。

需要说明的是，人脸关键点的数量，可以由本领域技术人员根据实际情况设置，对于静态的图像处理，实时性要求较低，可以检测较为稠密的人脸关键点，如1000个，除了能定位人脸重要特征点之外，还能准确的描述出五官的轮廓；对于直播等，实时性要求较高，可以检测较为稀疏的人脸关键点，如68、81、106个，定位人脸上比较明显且重要的特征点(如眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点等)，以降低处理量、减少处理时间，等等，本发明实施例对此不加以限制。

为使本领域技术人员更好地理解本发明实施例，在本发明实施例中，以较为稀疏的人脸关键点作为一种示例进行说明。

例如，对图2A所示的图像数据进行人脸检测，可以输出如图2B的68个人脸关键点，也可以输出如图2C所示的106个人脸关键点。

S120、将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点。

网格(Mesh)，代表单个的可绘制实体，其顶点至少包括人脸关键点，即以人脸关键点作为网格的至少部分顶点，将图像数据进行网格化，划分为多个(两个及两个以上)网格。

所谓网格化，是将凹多边形或有边相交的多边形划分成凸多边形，如三角形，以便被OpenGL等API或渲染引擎渲染。

需要说明的是，网格之间是有序的，从而形成网格序列，使得符合OpenGL等API或渲染引擎的渲染规范。

例如，对于OpenGL，一般情况下有三种绘制一系列三角形(网格)：

1、GL_TRIANGLES

每三个点一组画一个三角形，三角形之间是独立的。

如图3A所示，第一个三角形使用顶点v0、v1、v2，第二个三角形使用顶点v3、v4、v5，以此类推。

2、GL_TRIANGLE_STRIP

从第三个点开始，每点与前面的两个点组合画一个三角形，即线性连续三角形串：

如图3B所示，第一个三角形，顶点排列顺序是v0,v1,v2；第二个三角形，顶点排列顺序是v2,v1,v3；第三个三角形，顶点排列顺序是v2,v3,v4；第四个三角形，顶点排列顺序是v4,v3,v8。

这个顺序是为了保证三角形按照相同的方向绘制的，使这个三角形的序列能够正确形成表面的一部分。

3、GL_TRIANGLE_FAN。

从第三个点开始，每点与前一个点和第一个点组合画一个三角形，即扇形连续三角形。

如图3C所示，第一个三角形的顶点排列顺序是v2,v1,v0，第二个三角形的顶点排列顺序是v3,v2,v0，第一个三角形的顶点排列顺序是v4,v3,v0。

在本发明的一个实施例中，S120可以包括如下步骤：

S1211、识别所述人脸数据中的人脸关键点；

S1212、确定位置相邻的人脸关键点，作为第一目标关键点。

S1213、在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

在本发明实施例中，对于位置相邻的两个人脸关键点，可作为一对第一目标关键点，依次以第一目标关键点作为网格的顶点、连接该对第一目标关键点，则可以生成网格。

在一种检测位置相邻的方式中，可通过定义法(Intersect of Halfplanes)、增量(incremental)算法、分治法、plane sweep算法等方式，将包含人脸关键点的图像数据转换为维诺图(Voronoi图)。

维诺图，又称泰森多边形或Dirichlet图，它包括一组由连接两邻点直线的垂直平分线组成的连续多边形(又称单元cell)。

在维诺图中，任意两个人脸关键点p和q之间的欧氏距离，记作dist(p,q)。

设P＝{p1,p2,…,pn}为平面上任意n个互异的人脸关键点，这些人脸关键点也就是基点。所谓P对应的Voronoi图，就是平面的一个子区域划分——整个平面因此被划分为n个单元，它们具有这样的性质：

任一人脸关键q位于人脸关键pi所对应的单元中，当且仅当对于任何的pj∈Pj,j≠i,都有dist(q,pi)＜dist(q,pj)。此时，将与P对应的Voronoi图记作Vor(P)。

“Vor(P)”或者“Voronoi图”所指示是组成该子区域划分的边和顶点。在Vor(P)中，与基点pi相对应的单元记作V(pi)——称作与pi相对应的Voronoi单元。

在本发明实施例中，维诺图包括多个单元，每个单元包含一个人脸关键点，该单元具有多条边，此时，可确定位于同一条边两侧的人脸关键点位置相邻，将位于同一条边两侧的人脸关键点连接，则可生成网格。

例如，参见图4，将图像数据中转换为维诺图，图4显示了部分人脸关键点(黑点)和部分单元的边(实线)。

其中，在单元400中，边401两侧的人脸关键点411与人脸关键点412相邻，可连接人脸关键点411与人脸关键点412，同理，连接人脸关键点411与人脸关键点413，以及，连接人脸关键点413与人脸关键点412，从而生成网格(虚线边)420。

进一步地，图2B所示的图像数据，包含68个人脸关键点，可转换为如图5A所示的维诺图，从而确定位置相邻的人脸关键点，按照既定的顺序连接位置相邻的人脸关键点，可获得如图6A所示的网格；图2C所示的图像数据，包含106个人脸关键点，可转换为如图5B所示的维诺图，从而确定位置相邻的人脸关键点，按照既定的顺序连接位置相邻的人脸关键点，可获得如图6B所示的网格。

在本发明的另一个实施例中，S120可以包括如下步骤：

S1221、确定位于所述图像数据边缘上的点，作为边缘点。

S1222、确定与所述边缘点位置相邻的人脸关键点，作为第二目标关键点。

S1223、在所述图像数据中以所述边缘点、所述第二目标关键点作为顶点、连接所述边缘点与所述第二目标关键点，获得网格。

人脸关键点组成的网格一般不能完全覆盖图像数据，此时，可在图像数据边缘上选取一些点，作为边缘点。

需要说明的是，为了方便运算，选取的边缘点对称。

例如，如图6A与图6B所示，选择图像数据的四个顶点、以及、每两个顶点之间的中点作为边缘点。

将边缘点及其相邻的人脸关键点作为一对第二目标关键点，依次以第二目标关键点作为网格的顶点、按照顺序连接该对第二目标关键点，则可以生成网格。

需要说明的是，边缘点与人脸关键点位置相邻的关系，可由本领域技术人员根据实际情况进行设置，本发明实施例对此不加以限制。

一般而言，人脸关键点中的眉毛关键点、轮廓关键点与边缘点相邻，边缘点的数量少于与其位置相邻的人脸关键点的数量。

例如，图2B所示的图像数据，包含68个人脸关键点、8个边缘点，25个人脸关键点与8个边缘点位置相邻，按照既定的顺序连接位置相邻的人脸关键点、边缘点，可获得如图6A所示的网格；图2C所示的图像数据，包含106个人脸关键点、8个边缘点，41个人脸关键点与8个边缘点位置相邻，按照既定的顺序连接位置相邻的人脸关键点、边缘点，可获得如图6B所示的网格。

需要说明的是，网格的顶点可同时包括人脸关键点、边缘点，与每个人脸关键点、每个边缘点位置相邻的点(可以是人脸关键点，也可以是边缘点)均已确定，此时，可既定的顺序连接各人脸关键点、边缘点，从而生成网格。

在本发明的又一个实施例中，网格的顶点包括人脸关键点、位于图像数据边缘上的边缘点，边缘点与人脸关键点具有第一编号，其中，边缘点的第一编号是预设的，人脸关键点的第一编号是在人脸检测时生成的，或者，基于人脸检测时生成的编号映射获得，并且、边缘点的第一编号与人脸关键点的第一编号互不重复。

例如，如图2D所示，人脸关键点共68个，情况如下：

轮廓关键点共17个，第一编号分别为1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17。

眉毛关键点共10个，第一编号分别为18、19、20、21、22、23、24、25、26、27。

鼻子关键点共9个，第一编号分别为28、29、30、31、32、33、34、35、36。

眼睛关键点共12个，第一编号分别为37、38、39、40、41、42、43、44、45、46、47、48。

嘴巴关键点共20个，第一编号分别为49、50、51、52、53、54、55、56、57、58、59、60、61、62、63、64、65、66、67、68。

边缘点共8个，第一编号分别为69、70、71、72、73、74、75、76。

此时，S120可以包括如下步骤：

S1231、查询预设的、且具有顺序的网格变量。

其中，每个网格变量中的顶点标记有第二编号。

S1232、若所述第一编号与所述第二编号相同，则在所述图像数据中以所述第一编号所属的边缘点或人脸关键点作为顶点、连接所述第一编号所属的边缘点或人脸关键点，获得网格。

因为人脸检测的方法是预先设定的，其输出的人脸关键点一般是固定的，并且，边缘点也一般是固定的，使得与每个人脸关键点、每个边缘点位置相邻的点(可以是人脸关键点，也可以是边缘点)均是固定的，即每个网格中顶点的顺序是固定的。

因此，可在首次(离线)将某帧图像数据按照某一方式划分为多个网格时，按照顺序记录每个网格中每个顶点(可以是人脸关键点，也可以是边缘点)的编号，作为第二编号，此时，每个网格保留顶点的第二编号，作为网格变量。

对于其他图像数据，若按照相同的方式划分为网格，则可以将其点(可以是人脸关键点，也可以是边缘点)的第一编号与网格变量的第二编号进行匹配，若两者相同，则可以按照网格变量中限定的顺序连接第一编号所表示的点(可以是人脸关键点，也可以是边缘点)，从而将该图像数据划分为多个网格。

例如，如图2D所示，网格变量可以表示为(1，76，2)、(2，76，3)、(3，76，4)、(4，76，5)，等等。

对于图2B所示的图像数据，第一编号为1、2的人脸关键点以及第一编号为76的边缘点，与其中一个网格变量中的第二编号匹配成功，则可以按照其顺序连接人脸关键点边缘点，从而组成一个网格(1，76，2)。

在本发明的另一个实施例中，所述人脸关键点包括原关键点；调用预置的人脸检测组件检测所述人脸数据中的人脸关键点，作为原关键点。所述人脸关键点还包括新关键点；S120可以包括如下步骤：

S1241、在所述图像数据中，基于所述原关键点新增人脸关键点，作为新关键点。

在某些业务场景中，如美颜，使用的人脸关键点超出了原关键点的范畴，为了避免对人脸检测组件进行修改，导致人脸检测组件不稳定，可以以原关键点作为基准，新增人脸关键点，新增的人脸关键点即为新关键点。

在一种新增人脸关键点的方式中，原关键点包括眼睛关键点(如2D所示的、编号为37-46的人脸关键点)、眉毛关键点(如2D所示的、编号为18-27的人脸关键点)，新关键点包括额头关键点，即用于表示额头的人脸关键点。

一方面，可确定第一基准点，第一基准点位于两侧眉毛关键点之间，即该第一基准点可用于表示眉心(如图2D所示的第一编号为22、23的人脸关键点连线的中点可以作为眉心的眉心关键点)。

另一方面，可确定第二基准点，第二基准点位于同侧眼睛关键点之间，即该第二基准点可用于表示瞳孔(如图2D所示的第一编号为38、41的人脸关键点连线的中点可以作为左侧眼睛的瞳孔的瞳孔关键点)。

将第二基准点沿第一基准点映射，从而映射至人脸数据的额头处，获得额头关键点，作为新关键点。

一般情况下，额头关键点与第二基准点关于第一基准点对称，额头关键点到第一基准点的距离、与第二基准点到第一基准点的距离相等。

当然，在映射时，可进行衰减、偏移等处理，使得额头关键点与第二基准点并非关于第一基准点对称也可，本发明实施例对此不加以限制。

进一步地，额头关键点可能较为稀疏，可对额头关键点进行插值处理，在额头关键点之间(如中点位置)插入一个或多个新的额头关键点，作为新关键点。

例如，如图6C所示，在两侧眉毛关键点之间的眉心，标定一个点，作为第一基准点601。

在每个眼睛的眼睛关键点之间的瞳孔，标定一个点，作为第二基准点602，共获得两个第二基准点602。

将两个第二基准点602沿第一基准点601映射，可在人脸数据的额头处获得额头关键点603。

在额头关键点603之间的中点位置插入一个新的额头关键点604。

当然，上述新增人脸关键点的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他新增人脸关键点的方式，例如，在鼻子关键点与轮廓关键点之间增加脸颊关键点(即用于表示脸颊的人脸关键点)，等等，本发明实施例对此不加以限制。另外，除了上述新增人脸关键点的方式外，本领域技术人员还可以根据实际需要采用其它新增人脸关键点的方式，本发明实施例对此也不加以限制。

S1242、确定位置相邻的人脸关键点，作为第一目标关键点。

S1243、在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

S130、接收作用于所述脸型的调整操作；

在具体实现中，应用的UI可提供美颜的控件，其中，该控件关联多个子控件，部分子控件可用于调整人脸，用户可通过触控或鼠标等外设操作该子控件，从而触发调整操作。

例如，如图7所示，应用的UI提供的部分子控件，其触发的第一操作可分别用于调整脸型中的下巴、脸宽、额头，其中，圆圈表示调整的幅度，用户可滑动该圆圈设置调整下巴、脸宽、额头的幅度。

S140、响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型。

在本发明实施例中，网格的顶点包括人脸数据的人脸关键点，而人脸关键点包括用于表示轮廓的轮廓关键点，在图2D中，轮廓关键点共17个，第一编号分别为1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17。另外，轮廓关键点还包括额头关键点，如参考图6C中的额头关键点(603、604)。针对调整操作，可确定该调整操作所调整的人脸关键点及调整方式。

其中，调整方式包括调整类型、幅度。

例如，对于脸型(以轮廓关键点表示)，调整类型包括调整下巴的形状、额头的高度、下颌骨位置的脸型、脸宽，等等。

按照该调整类型、幅度，对该轮廓关键点进行调整，在保持轮廓关键点作为网格的顶点的情况下，调整轮廓关键点，可连同调整网格，使得网格内的脸型发生变化，从而实现调整脸型的效果。

当然，部分人脸关键点并非调整操作所调整的人脸关键点，即部分人脸关键点并未调整，若网格的顶点(人脸关键点)并未调整，则该网格保持原有的状态。

本实施例中，将举例说明多种调整的类型，如调整下巴形状、调整额头高度、脸宽等

1、调整下巴形状

在一种调整的类型中，调整操作包括第一操作，该第一操作可用于调整下巴的形状，该轮廓关键点包括下巴的下巴关键点(如图2D所示的第一编号为7、8、9、10、11的人脸关键点)、该人脸关键点还包括鼻尖的鼻尖关键点(如图2D所示的第一编号为31的人脸关键点)。

在此调整的类型中，响应于所述第一操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下巴关键点，以调整所述下巴关键点所处的网格。

进一步而言，可以通过如下方式移动下巴关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的下巴关键点，D_stn为移动之前的下巴关键点，为S_vcm为鼻尖关键点表示的参考点，A(y)为幅度，F(x)为移动函数。

例如，如图8A所示，为一种调整下巴关键点的方式，可以是以鼻尖关键点为目标、按预设的幅度移动所述下巴关键点。具体的，图8A中所示的箭头方向表示下巴关键点的移动方向、箭头的长短可以表示下巴关键点移动的幅度。在将下巴关键点沿着该箭头移动之后，该人脸数据的脸型的下巴将呈现尖下巴的效果。

2、调整额头高度

在另一种调整的类型中，调整操作包括第二操作，该第二操作可用于调整额头的高度，轮廓关键点包括额头的额头关键点(如图6C所示的编号为603、604的人脸关键点)、人脸关键点包括眉心的眉心关键点(图未示，可以是如图2D中第一编号为22、23的人脸关键点之间连线的中点)。

在此调整的类型中，响应于第二操作，确定额头的额头关键点；将眉心关键点确定为参考点；

以所述参考点为目标按照整体的形式移动所述额头关键点，以调整所述额头关键点所处的网格。

进一步而言，可以通过如下方式移动额头关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的额头关键点，D_stn为移动之前的额头关键点，为S_vcm为参考点，A(y)为幅度，F(x)为移动函数。

例如，如图8B所示，为一种调整额头关键点的方式，可以是将额头关键点所在的水平线以眉心关键点为目标进行移动。具体的，图8B中所示的箭头方向表示额头关键点的移动方向，在将额头关键点沿着该箭头移动之后，可以减少该人脸数据的脸型的额头的高度。当然往该箭头的反方向移动，则可以增加该人脸数据的脸型的额头的高度。

3、脸宽

3.1、下颌位置的脸宽

在另一种调整的类型中，调整操作包括第三操作，该第三操作可用于调整下颌位置的脸宽，轮廓关键点包括下颌的下颌关键点(如图2D中的第一编号为4、5、6、12、13、14的人脸关键点)、人脸关键点包括鼻尖的鼻尖关键点(如图2D中第一编号为31的人脸关键点)。

在此调整的类型中，响应于第二操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下颌关键点，以调整所述下颌关键点所处的网格。

进一步而言，可以通过如下方式移动额头关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的下颌关键点，D_stn为移动之前的下颌关键点，为S_vcm为参考点，A(y)为幅度，F(x)为移动函数。

例如，如图8C所示，为一种调整下颌关键点的方式，可以是将下颌关键点所在的水平线以眉心关键点为目标进行移动。具体的，图8C中所示的箭头方向表示下颌关键点的移动方向，在将下颌关键点沿着该箭头移动之后，可以减少该人脸数据的下颌位置的脸型的脸宽。当然往该箭头的反方向移动，则可以增加该人脸数据的下颌位置的脸型的脸宽。

3.2、整体削脸

在另一种调整的类型中，调整操作包括第四操作、第五操作和第六操作，该第四操作、第五操作和第六操作分别可用于调整位于不同位置的脸型的轮廓，轮廓关键点包括眉毛以下、鼻尖以上的上部轮廓关键点(如图2D中的第一编号为1、2、16、17的人脸关键点)，鼻尖以下、下嘴唇以上的中部轮廓关键点(如图2D中的第一编号为3、4、5、6、12、13、14、15的人脸关键点)，下嘴唇以下的下部轮廓关键点(如图2D中的第一编号为7、8、9、10、11的人脸关键点)；所述人脸关键点包括下嘴唇的下嘴唇关键点(如图2D中的第一编号为49、55、56、57、58、57、58、59、60、61、68、67、66、65的人脸关键点)，上嘴唇的上嘴唇关键点(如图2D中的第一编号为49、50、51、52、53、54、55、65、64、43、62、61的人脸关键点)。人脸关键点还包括鼻尖的鼻尖关键点(如图2D中的第一编号为31的人脸关键点)。

3.2.1、上部轮廓关键点

在此调整的类型中，响应于第四操作，将两瞳孔之间的中点确定为参考点(如图2D中的第一编号为28的人脸关键点)；

以所述参考点为目标移动所述上部轮廓关键点，以调整所述上部轮廓关键点所处的网格。

进一步而言，可以通过如下方式移动上部额头关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的上部额头关键点，D_stn为移动之前的上部额头关键点，为S_vcm为参考点，A(y)为幅度，F(x)为移动函数。

3.2.2、中部轮廓关键点

在此调整的类型中，响应于所述第五操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述中部轮廓关键点，以调整所述中部轮廓关键点所处的网格。

进一步而言，可以通过如下方式移动中部额头关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的中部额头关键点，D_stn为移动之前的中部额头关键点，为S_vcm为参考点，A(y)为幅度，F(x)为移动函数。

3.2.3、下部轮廓关键点

在此调整的类型中，响应于所述第六操作，将靠近下巴的所述下嘴唇关键点确定为参考点(如图2D中的第一编号为58的人脸关键点)；

以所述参考点为目标移动所述下部轮廓关键点，以调整所述下部轮廓关键点所处的网格。

进一步而言，可以通过如下方式移动下部额头关键点：

Result_m＝D_stn+A(y)·F(x)(S_vcm-D_stn)

其中，Result_m为移动之后的下部额头关键点，D_stn为移动之前的下部额头关键点，为S_vcm为参考点，A(y)为幅度，F(x)为移动函数。

例如，如图8D所示，为一种整体削脸的调整。具体的，图8D中所示的箭头方向表示轮廓关键点的移动方向，在将轮廓关键点沿着该箭头移动之后，可以削减该人脸数据的脸型的脸宽。当然往该箭头的反方向移动，则可以增加该人脸数据的脸型的脸宽。

当然，上述调整轮廓关键点的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他调整轮廓关键点的方式，例如，选择位于不同位置的轮廓关键点，并指定各自对应的不同的参考点，还可以对每个轮廓关键点指定各自不同的移动的幅度等等，本发明实施例对此不加以限制。另外，除了上述调整轮廓关键点的方式外，本领域技术人员还可以根据实际需要采用其它调整轮廓关键点的方式，本发明实施例对此也不加以限制。

S150、绘制调整之后的网格，以显示调整脸型之后的图像数据。

在实际应用中，调用OpenGL、OpenGL ES等API或渲染引擎，按照顺序绘制每个网格(包含已调整的网格)，从而在屏幕显示调整人物形象之后的图像数据。

进一步地，为了提高图像数据的显示速度，可以在GPU中绘制网格。

在本发明的一个实施例中，针对调整后的网格，S150包括如下步骤：

S151、对于调整之后的每个网格，确定位于所述网格中各个顶点的纹理坐标。

S152、对于调整之后的每个网格，确定位于所述网格中各个顶点的顶点坐标。

S153、按照所述纹理坐标与所述顶点坐标绘制所述网格，以显示所述图像数据。

在绘制纹理映射场景时，除了给每个顶点定义几何坐标(即顶点坐标)，也要定义纹理坐标。经过多种变换后，几何坐标决定顶点在屏幕上绘制的位置，而纹理坐标决定纹理图像中的哪一个纹素赋予该顶点。

纹理图像是方形数组，纹理坐标通常可定义成一、二、三或四维形式，称为s，t，r和q坐标，一维纹理常用s坐标表示，二维纹理常用(s,t)坐标表示，目前忽略r坐标。q坐标像w一样，一般情况下其值为1，主要用于建立齐次坐标。OpenGL坐标定义的函数是：

void gltexCoord{1234}{sifd}[v](TYPE coords)；

设置当前纹理坐标，此后调用glVertex*()所产生的顶点都赋予当前的纹理坐标。对于gltexCoord1*()，s坐标被设置成给定值，t和r设置为0，q设置为1；用gltexCoord2*()可以设置s和t坐标值，r设置为0，q设置为1；对于gltexCoord3*()，q设置为1，其它坐标按给定值设置；用gltexCoord4*()可以给定所有的坐标。

在本发明实施例中，图像数据中具有人脸数据，将图像数据划分为多个网格，调整轮廓关键点所处的网格，以调整脸型，绘制该网格，从而显示调整脸型之后的图像数据，一方面，在对人脸关键点进行调整时，可连同调整网格，网格内的像素点的调整较为均匀，使得人脸的调整更加平滑，减少变形的情况，避免人脸失真，另一方面，网格可同时用于人脸调整、渲染操作，复用划分网格的操作，可降低运算量，并且，网格的绘制及其调整相比于神经网络等深度学习更为简单，可提高处理速度、降低处理时间，降低显示时的延时，适用于直播等对实时性要求较高的场景。

实施例二

图9为本发明实施例二提供的一种直播方法的流程图，本实施例可适用于基于人脸关键点构建网格的情况，该方法可以由直播装置来执行，该装置可以由软件和/或硬件实现，可配置在电子设备中，可以包括手机、平板、PDA、智能穿戴设备(如智能眼镜、智能手表)等移动终端，也可以包括智能电视、个人电脑等非移动终端，这些电子设备包括CPU、GPU等处理器，以及配置有用于渲染2D矢量图形的应用程序编程接口(API)或渲染引擎，该方法具体包括如下步骤：

S210、采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户。

在具体实现中，电子设备的操作系统可以包括Android(安卓)、IOS、Windows等等。

在这些操作系统中支持运行直播应用，该直播应用可进行图像处理。

需要说明的是，该直播应用可以为独立的应用，也可以为其他应用(如社交应用、即时通讯工具等)中的一个组件，如SDK，本发明实施例对此不加以限制。

主播用户在直播应用中向直播平台登录用户账号，并向直播平台发送直播标题，以按照该直播标题对该用户账号生成直播间。

此后，该直播应用可调用电子设备的摄像头采集视频数据，该视频数据中包括多帧图像数据，至少部分图像数据中具有主播用户。

当然，图像数据中的主播用户，可以指用于表示主播用户的像素点，一般情况下，该主播至少包括用于表示人脸的人脸数据(像素点)，除此之外，还可以包括用于表示头发的头发数据(像素点)、用于表示躯体的躯体数据(像素点)、用于表示四肢的四肢数据(像素点)，等等，本发明实施例对此不加以限制。

其中，对于人脸数据、躯体数据、四肢数据等可以包括用于表示皮肤的皮肤数据(像素点)。

S220、将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点。

在具体实现中，直播应用对该图像数据进行人脸检测，可识别主播用户的人脸关键点，从而根据人脸关键点将图像数据划分为多个网格，即网格的顶点至少包括主播用户的人脸关键点。

其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。

本实施例中，该人脸数据的人脸关键点包括脸型的轮廓关键点。本实施例中的脸型指的是人脸的轮廓，该脸型具有脸型轮廓点，该脸型轮廓点可以包括：下巴的下巴关键点、额头的额头关键点、下颌的下颌关键点等。

对于直播等，实时性要求较高，可以检测较为稀疏的人脸关键点，如68、81、106个，定位人脸上比较明显且重要的特征点(如眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点等)，以降低处理量、减少处理时间。

例如，直播应用采集的视频数据中，包含了如图2A所示的图像数据，其中具有主播用户，若对该图像数据进行人脸检测，可以输出如图2B的68个人脸关键点，也可以输出如图2C所示的106个人脸关键点。

网格(Mesh)，代表单个的可绘制实体，其顶点至少包括人脸关键点，即以人脸关键点作为网格的至少部分顶点，将每帧图像数据进行网格化，划分为多个(两个及两个以上)网格。

所谓网格化，是将凹多边形或有边相交的多边形划分成凸多边形，如三角形，以便被OpenGL等API或渲染引擎渲染。

需要说明的是，网格之间是有序的，从而形成网格序列，使得符合OpenGL等API或渲染引擎的渲染规范。

在本发明的一个实施例中，S220可以包括如下步骤：

S2211、识别所述人脸数据中的人脸关键点；

S2212、确定位置相邻的人脸关键点，作为第一目标关键点。

S2213、在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

在本发明实施例中，对于位置相邻的两个人脸关键点，可作为一对第一目标关键点，依次以第一目标关键点作为网格的顶点、连接该对第一目标关键点，则可以生成网格。

在一种检测位置相邻的方式中，可通过定义法(Intersect of Halfplanes)、增量(incremental)算法、分治法、plane sweep算法等方式，将包含人脸关键点的图像数据转换为维诺图(Voronoi图)。

在本发明实施例中，维诺图包括多个单元，每个单元包含一个人脸关键点，该单元具有多条边，此时，可确定位于同一条边两侧的人脸关键点位置相邻，将位于同一条边两侧的人脸关键点连接，则可生成网格。

在本发明的另一个实施例中，S220可以包括如下步骤：

S2221、确定位于所述图像数据边缘上的点，作为边缘点。

S2222、确定与所述边缘点位置相邻的人脸关键点，作为第二目标关键点。

S2223、在所述图像数据中以所述边缘点、所述第二目标关键点作为顶点、连接所述边缘点与所述第二目标关键点，获得网格。

人脸关键点组成的网格一般不能完全覆盖图像数据，此时，可在图像数据边缘上选取一些点，作为边缘点。

需要说明的是，为了方便运算，选取的边缘点对称。

将边缘点及其相邻的人脸关键点作为一对第二目标关键点，依次以第二目标关键点作为网格的顶点、按照顺序连接该对第二目标关键点，则可以生成网格。

需要说明的是，边缘点与人脸关键点位置相邻的关系，可由本领域技术人员根据实际情况进行设置，本发明实施例对此不加以限制。

一般而言，人脸关键点中的眉毛关键点、轮廓关键点与边缘点相邻，边缘点的数量少于与其位置相邻的人脸关键点的数量。

需要说明的是，网格的顶点可同时包括人脸关键点、边缘点，与每个人脸关键点、每个边缘点位置相邻的点(可以是人脸关键点，也可以是边缘点)均已确定，此时，可既定的顺序连接各人脸关键点、边缘点，从而生成网格。

在本发明的又一个实施例中，网格的顶点包括人脸关键点、位于图像数据边缘上的边缘点，边缘点与人脸关键点具有第一编号，其中，边缘点的第一编号是预设的，人脸关键点的第一编号是在人脸检测时生成的，或者，基于人脸检测时生成的编号映射的，并且、边缘点的第一编号与人脸关键点的第一编号互不重复。

此时，S220可以包括如下步骤：

S2231、查询预设的、且具有顺序的网格变量。

其中，每个网格变量中的顶点标记有第二编号。

S2232、若所述第一编号与所述第二编号相同，则在所述图像数据中以所述第一编号所属的边缘点或人脸关键点作为顶点、连接所述第一编号所属的边缘点或人脸关键点，获得网格。

因为人脸检测的方法是预先设定的，其输出的人脸关键点一般是固定的，并且，边缘点也一般是固定的，使得与每个人脸关键点、每个边缘点位置相邻的点(可以是人脸关键点，也可以是边缘点)均是固定的，即每个网格中顶点的顺序是固定的。

因此，可在首次(离线)将某帧图像数据按照某一方式划分为多个网格时，按照顺序记录每个网格中每个顶点(可以是人脸关键点，也可以是边缘点)的编号，作为第二编号，此时，每个网格保留顶点的第二编号，作为网格变量。

对于其他图像数据，若按照相同的方式划分为网格，则可以将其点(可以是人脸关键点，也可以是边缘点)的第一编号与网格变量的第二编号进行匹配，若两者相同，则可以按照网格变量中限定的顺序连接第一编号所表示的点(可以是人脸关键点，也可以是边缘点)，从而将该图像数据划分为多个网格。

在本发明的另一个实施例中，所述人脸关键点包括原关键点；调用预置的人脸检测组件检测所述人脸数据中的人脸关键点，作为原关键点。所述人脸关键点还包括新关键点；S220可以包括如下步骤：

S2241、在所述图像数据中，基于所述原关键点新增人脸关键点，作为新关键点。

在某些业务场景中，如美颜，使用的人脸关键点超出了原关键点的范畴，为了避免对人脸检测组件进行修改，导致人脸检测组件不稳定，可以以原关键点作为基准，新增人脸关键点，新增的人脸关键点即为新关键点。

在一种新增人脸关键点的方式中，原关键点包括眼睛关键点(如2D所示的、编号为37-46的人脸关键点)、眉毛关键点(如2D所示的、编号为18-27的人脸关键点)，新关键点包括额头关键点，即用于表示额头的人脸关键点。

一方面，可确定第一基准点，第一基准点位于两侧眉毛关键点之间，即该第一基准点可用于表示眉心(如图2D所示的第一编号为22、23的人脸关键点连线的中点可以作为眉心的眉心关键点)。

另一方面，可确定第二基准点，第二基准点位于同侧眼睛关键点之间，即该第二基准点可用于表示瞳孔(如图2D所示的第一编号为38、41的人脸关键点连线的中点可以作为左侧眼睛的瞳孔的瞳孔关键点)。

将第二基准点沿第一基准点映射，从而映射至人脸数据的额头处，获得额头关键点，作为新关键点。

一般情况下，额头关键点与第二基准点关于第一基准点对称，额头关键点到第一基准点的距离、与第二基准点到第一基准点的距离相等。

当然，在映射时，可进行衰减、偏移等处理，使得额头关键点与第二基准点并非关于第一基准点对称也可，本发明实施例对此不加以限制。

进一步地，额头关键点可能较为稀疏，可对额头关键点进行插值处理，在额头关键点之间(如中点位置)插入一个或多个新的额头关键点，作为新关键点。

当然，上述新增人脸关键点的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他新增人脸关键点的方式，例如，在鼻子关键点与轮廓关键点之间增加脸颊关键点(即用于表示脸颊的人脸关键点)，等等，本发明实施例对此不加以限制。另外，除了上述新增人脸关键点的方式外，本领域技术人员还可以根据实际需要采用其它新增人脸关键点的方式，本发明实施例对此也不加以限制。

S2242、确定位置相邻的人脸关键点，作为第一目标关键点。

S2243、在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

S230、接收作用于所述脸型的调整操作。

S240、响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型。

在本发明实施例中，网格的顶点包括人脸数据的人脸关键点，而人脸关键点包括用于表示轮廓的轮廓关键点，在图2D中，轮廓关键点共17个，第一编号分别为1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17。另外，轮廓关键点还包括额头关键点，如参考图C中的额头关键点(603、604)。针对调整操作，可确定该调整操作所调整的人脸关键点及调整方式。

其中，调整方式包括调整类型、幅度。

例如，对于脸型(以轮廓关键点表示)，调整类型包括调整下巴的形状、额头的高度、下颌骨位置的脸型、脸宽，等等。

按照该调整类型、幅度，对该轮廓关键点进行调整，在保持轮廓关键点作为网格的顶点的情况下，调整轮廓关键点，可连同调整网格，使得网格内的脸型发生变化，从而实现调整脸型的效果。

当然，部分人脸关键点并非调整操作所调整的人脸关键点，即部分人脸关键点并未调整，若网格的顶点(人脸关键点)并未调整，则该网格保持原有的状态。

本实施例中，将举例说明多种调整的类型，如调整下巴形状、调整额头高度、脸宽等

1、调整下巴形状

在一种调整的类型中，调整操作包括第一操作，该第一操作可用于调整下巴的形状，该轮廓关键点包括下巴的下巴关键点(如图2D所示的第一编号为7、8、9、10、11的人脸关键点)、该人脸关键点还包括鼻尖的鼻尖关键点(如图2D所示的第一编号为31的人脸关键点)。

在此调整的类型中，响应于所述第一操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下巴关键点，以调整所述下巴关键点所处的网格。

2、调整额头高度

在另一种调整的类型中，调整操作包括第二操作，该第二操作可用于调整额头的高度，轮廓关键点包括额头的额头关键点(如图6C所示的编号为603、604的人脸关键点)、人脸关键点包括眉心的眉心关键点(图未示，可以是如图2D中第一编号为22、23的人脸关键点之间连线的中点)。

在此调整的类型中，响应于第二操作，确定额头的额头关键点；将眉心关键点确定为参考点；

以所述参考点为目标按照整体的形式移动所述额头关键点，以调整所述额头关键点所处的网格。

3、脸宽

3.1、下颌位置的脸宽

在另一种调整的类型中，调整操作包括第三操作，该第三操作可用于调整下颌位置的脸宽，轮廓关键点包括下颌的下颌关键点(如图2D中的第一编号为4、5、6、12、13、14的人脸关键点)、人脸关键点包括鼻尖的鼻尖关键点(如图2D中第一编号为31的人脸关键点)。

在此调整的类型中，响应于第二操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下颌关键点，以调整所述下颌关键点所处的网格。

3.2、整体削脸

在另一种调整的类型中，调整操作包括第四操作、第五操作和第六操作，该第四操作、第五操作和第六操作分别可用于调整位于不同位置的脸型的轮廓，轮廓关键点包括眉毛以下、鼻尖以上的上部轮廓关键点(如图2D中的第一编号为1、2、16、17的人脸关键点)，鼻尖以下、下嘴唇以上的中部轮廓关键点(如图2D中的第一编号为3、4、5、6、12、13、14、15的人脸关键点)，下嘴唇以下的下部轮廓关键点(如图2D中的第一编号为7、8、9、10、11的人脸关键点)；所述人脸关键点包括下嘴唇的下嘴唇关键点(如图2D中的第一编号为49、55、56、57、58、57、58、59、60、61、68、67、66、65的人脸关键点)，上嘴唇的上嘴唇关键点(如图2D中的第一编号为49、50、51、52、53、54、55、65、64、43、62、61的人脸关键点)。人脸关键点还包括鼻尖的鼻尖关键点(如图2D中的第一编号为31的人脸关键点)。

3.2.1、上部轮廓关键点

在此调整的类型中，响应于第四操作，将两瞳孔之间的中点确定为参考点(如图2D中的第一编号为28的人脸关键点)；

以所述参考点为目标移动所述上部轮廓关键点，以调整所述上部轮廓关键点所处的网格。

3.2.2、中部轮廓关键点

在此调整的类型中，响应于所述第五操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述中部轮廓关键点，以调整所述中部轮廓关键点所处的网格。

3.2.3、下部轮廓关键点

在此调整的类型中，响应于所述第六操作，将靠近下巴的所述下嘴唇关键点确定为参考点(如图2D中的第一编号为58的人脸关键点)；

以所述参考点为目标移动所述下部轮廓关键点，以调整所述下部轮廓关键点所处的网格。

当然，上述调整轮廓关键点的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他调整轮廓关键点的方式，例如，选择位于不同位置的轮廓关键点，并指定各自对应的不同的参考点，还可以对每个轮廓关键点指定各自不同的移动的幅度等等，本发明实施例对此不加以限制。另外，除了上述调整轮廓关键点的方式外，本领域技术人员还可以根据实际需要采用其它调整轮廓关键点的方式，本发明实施例对此也不加以限制。

S250、绘制调整之后的网格，以显示调整脸型之后的图像数据。

在实际应用中，调用OpenGL、OpenGL ES等API或渲染引擎，按照顺序绘制每个网格(包含已调整的网格)，从而在屏幕显示调整人物形象之后的图像数据。

进一步地，为了提高图像数据的显示速度，可以在GPU中绘制网格。

在本发明的一个实施例中，针对调整后的网格，S250包括如下步骤：

S251、对于调整之后的每个网格，确定位于所述网格中各个顶点的纹理坐标。

S252、对于调整之后的每个网格，确定位于所述网格中各个顶点的顶点坐标。

S253、按照所述纹理坐标与所述顶点坐标绘制所述网格，以显示所述图像数据。

S260、在一直播间发布调整脸型之后的视频数据。

直播应用可通过RTSP、RTMP、HLS等协议，将视频数据发送至直播平台(直播服务器)，直播平台(直播服务器)公开该直播间，使得观众用户可以在客户端中打开直播间，接收该视频数据并进行播放。

实施例三

图10为本发明实施例三提供的一种脸型的调整装置的结构示意图，该装置具体可以包括如下模块：图像数据获取模块310、网格划分模块320、调整操作接收模块330、调整操作响应模块340和网格绘制模块350。

图像数据获取模块310，用于获取图像数据，所述图像数据中具有人脸数据；

网格划分模块320，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块330，用于接收作用于所述脸型的调整操作；

调整操作响应模块340，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块350，用于绘制调整之后的网格，以显示调整脸型之后的图像数据。

在本发明的另一个实施例中，所述调整操作包括第一操作，所述轮廓关键点包括下巴的下巴关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

调整操作响应模块340，包括：

第一操作响应单元，用于响应于所述第一操作，将所述鼻尖关键点确定为参考点；

下巴调整单元，用于以所述参考点为目标移动所述下巴关键点，以调整所述下巴关键点所处的网格。

在本发明的另一个实施例中，所述调整操作包括第二操作，所述脸型关键点包括额头的额头关键点；

调整操作响应模块340，包括：

第二操作响应单元，用于响应于所述第二操作，确定额头的额头关键点；

参考点确定单元，用于将眉心关键点确定为参考点；

额头调整单元，用于以所述参考点为目标按照整体的形式移动所述额头关键点，以调整所述额头关键点所处的网格。

在本发明的另一个实施例中，所述确定额头的额头关键点，包括：

第一基准点确定子单元，用于确定第一基准点，第一基准点位于两侧眉毛关键点之间；

第二基准点确定子单元，用于确定第二基准点，第二基准点位于同侧眼睛关键点之间；

额头关键点获得子单元，用于将第二基准点沿第一基准点映射，获得额头关键点。

在本发明的另一个实施例中，所述调整操作包括第三操作，所述轮廓关键点包括下颌的下颌关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

调整操作响应模块340，包括：

第三操作响应单元，用于响应于所述第三操作，将所述鼻尖关键点确定为参考点；

下颌调整单元，用于以所述参考点为目标移动所述下颌关键点，以调整所述下颌关键点所处的网格。

在本发明的另一个实施例中，所述调整操作包括第四操作，所述轮廓关键点包括眉毛以下、鼻尖以上的上部轮廓关键点；

调整操作响应模块340，包括：

第四操作响应单元，用于响应于所述第四操作，将两瞳孔之间的中点确定为参考点；

上部调整单元，用于以所述参考点为目标移动所述上部轮廓关键点，以调整所述上部轮廓关键点所处的网格。

在本发明的另一个实施例中，所述调整操作包括第五操作，所述轮廓关键点包括鼻尖以下、下嘴唇以上的中部轮廓关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

调整操作响应模块340，包括：

第五操作响应单元，用于响应于所述第五操作，将所述鼻尖关键点确定为参考点；

中部调整单元，用于以所述参考点为目标移动所述中部轮廓关键点，以调整所述中部轮廓关键点所处的网格。

在本发明的另一个实施例中，所述调整操作包括第六操作，所述轮廓关键点包括下嘴唇以下的下部轮廓关键点；所述人脸关键点包括下嘴唇的下嘴唇关键点；

调整操作响应模块340，包括：

第六操作响应单元，用于响应于所述第六操作，将靠近下巴的所述下嘴唇关键点确定为参考点；

下部调整单元，用于以所述参考点为目标移动所述下部轮廓关键点，以调整所述下部轮廓关键点所处的网格。

在本发明的另一个实施例中，所述网格划分模块320，包括：

识别单元，用于识别所述人脸数据中的人脸关键点；

第一相邻点确定单元，用于确定位置相邻的人脸关键点，作为第一目标关键点；

第一网格获取单元，用于在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

在本发明的另一个实施例中，所述网格划分模块320，还包括：

边缘点确定单元，用于确定位于所述图像数据边缘上的点，作为边缘点；

第二相邻点确定单元，用于确定与所述边缘点位置相邻的人脸关键点，作为第二目标关键点；

第二网格获取单元，用于在所述图像数据中以所述边缘点、所述第二目标关键点作为顶点、连接所述边缘点与所述第二目标关键点，获得网格。

本发明实施例所提供的脸型的调整装置可执行本发明任意实施例所提供的脸型的调整方法，具备执行方法相应的功能模块和有益效果。

实施例四

图11为本发明实施例四提供的一种直播装置的结构示意图，该装置具体可以包括如下模块：视频数据采集模块410、网格划分模块420、调整操作接收模块430、调整操作响应模块440、网格绘制模块450和视频发布模块460。

视频数据采集模块410，用于采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

网格划分模块420，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块430，用于接收作用于所述脸型的调整操作；

调整操作响应模块440，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块450，用于绘制调整之后的网格，以显示调整脸型之后的图像数据；

视频发布模块460，用于在一直播间发布调整脸型之后的视频数据。

本发明实施例所提供的直播装置可执行本发明任意实施例所提供的直播方法，具备执行方法相应的功能模块和有益效果。

实施例五

图12为本发明实施例五提供的一种设备的结构示意图。如12所示，该设备包括处理器500、存储器501、通信模块502、输入装置503和输出装置504；设备中处理器500的数量可以是一个或多个，12中以一个处理器500为例；设备中的处理器500、存储器501、通信模块502、输入装置503和输出装置504可以通过总线或其他方式连接，12中以通过总线连接为例。

存储器501作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种脸型的调整方法对应的模块(例如，如图10所示的一种脸型的调整装置中的图像数据获取模块310、网格划分模块320、调整操作接收模块330、调整操作响应模块340和网格绘制模块350)，又如本实施例中的一种直播方法对应的模块(例如，如图11所述的一种直播装置中的视频数据采集模块410、网格划分模块420、调整操作接收模块430、调整操作响应模块440、网格绘制模块450和视频发布模块460)。处理器500通过运行存储在存储器501中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种脸型调整方法或直播方法。

存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器501可进一步包括相对于处理器500远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块502，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置503可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。

本实施例提供的一种设备，可执行本发明任一实施例提供的脸型调整方法或直播方法，具体相应的功能和有益效果。

实施例六

本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序。

在一实施例中，该程序被处理器执行时实现一种脸型的调整方法，该方法包括：

获取图像数据，所述图像数据中具有人脸数据；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据。

在又一实施例中，该程序被处理器执行时实现一种直播方法，该方法包括：

采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据；

在一直播间发布调整脸型之后的视频数据。

当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的脸型的调整方法或直播方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述脸型的调整装置或直播装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种脸型的调整方法，其特征在于，包括：

获取图像数据，所述图像数据中具有人脸数据；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据。

2.根据权利要求1所述的方法，其特征在于，所述调整操作包括第一操作，所述轮廓关键点包括下巴的下巴关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第一操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下巴关键点，以调整所述下巴关键点所处的网格。

3.根据权利要求1所述的方法，其特征在于，所述调整操作包括第二操作，所述脸型关键点包括额头的额头关键点，所述人脸关键点包括眉心的眉心关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第二操作，确定额头的额头关键点；

将眉心关键点确定为参考点；

以所述参考点为目标按照整体的形式移动所述额头关键点，以调整所述额头关键点所处的网格。

4.根据权利要求3所述的方法，其特征在于，所述确定额头的额头关键点，包括：

确定第一基准点，第一基准点位于两侧眉毛关键点之间；

确定第二基准点，第二基准点位于同侧眼睛关键点之间；

将第二基准点沿第一基准点映射，获得额头关键点。

5.根据权利要求1所述的方法，其特征在于，所述调整操作包括第三操作，所述轮廓关键点包括下颌的下颌关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第三操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述下颌关键点，以调整所述下颌关键点所处的网格。

6.根据权利要求1所述的方法，其特征在于，所述调整操作包括第四操作，所述轮廓关键点包括眉毛以下、鼻尖以上的上部轮廓关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第四操作，将两瞳孔之间的中点确定为参考点；

以所述参考点为目标移动所述上部轮廓关键点，以调整所述上部轮廓关键点所处的网格。

7.根据权利要求1所述的方法，其特征在于，所述调整操作包括第五操作，所述轮廓关键点包括鼻尖以下、下嘴唇以上的中部轮廓关键点；所述人脸关键点包括鼻尖的鼻尖关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第五操作，将所述鼻尖关键点确定为参考点；

以所述参考点为目标移动所述中部轮廓关键点，以调整所述中部轮廓关键点所处的网格。

8.根据权利要求1所述的方法，其特征在于，所述调整操作包括第六操作，所述轮廓关键点包括下嘴唇以下的下部轮廓关键点；所述人脸关键点包括下嘴唇的下嘴唇关键点；

所述响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型，包括：

响应于所述第六操作，将靠近下巴的所述下嘴唇关键点确定为参考点；

以所述参考点为目标移动所述下部轮廓关键点，以调整所述下部轮廓关键点所处的网格。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述将所述图像数据划分为多个网格，包括：

识别所述人脸数据中的人脸关键点；

确定位置相邻的人脸关键点，作为第一目标关键点；

在所述图像数据中以所述第一目标关键点作为顶点、连接所述第一目标关键点，获得网格。

10.根据权利要求9所述的方法，其特征在于，所述将所述图像数据划分为多个网格，还包括：

确定位于所述图像数据边缘上的点，作为边缘点；

确定与所述边缘点位置相邻的人脸关键点，作为第二目标关键点；

在所述图像数据中以所述边缘点、所述第二目标关键点作为顶点、连接所述边缘点与所述第二目标关键点，获得网格。

11.一种直播方法，其特征在于，包括：

采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

接收作用于所述脸型的调整操作；

响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

绘制调整之后的网格，以显示调整脸型之后的图像数据；

在一直播间发布调整脸型之后的视频数据。

12.一种脸型的调整装置，其特征在于，包括：

图像数据获取模块，用于获取图像数据，所述图像数据中具有人脸数据；

网格划分模块，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述人脸数据的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块，用于接收作用于所述脸型的调整操作；

调整操作响应模块，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块，用于绘制调整之后的网格，以显示调整脸型之后的图像数据。

13.一种直播装置，其特征在于，包括：

视频数据采集模块，用于采集视频数据，所述视频数据中包括图像数据，所述图像数据中具有主播用户；

网格划分模块，用于将所述图像数据划分为多个网格，所述网格的顶点至少包括所述主播用户的人脸关键点，所述人脸关键点包括脸型的轮廓关键点；

调整操作接收模块，用于接收作用于所述脸型的调整操作；

调整操作响应模块，用于响应于所述调整操作，调整所述轮廓关键点所处的网格，以调整所述脸型；

网格绘制模块，用于绘制调整之后的网格，以显示调整脸型之后的图像数据；

视频发布模块，用于在一直播间发布调整脸型之后的视频数据。

14.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的脸型的调整方法或如权利要求11所述的直播方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的脸型的调整方法或如权利要求11所述的直播方法。

Images