CN114693514A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。本公开在保留了液化变形处理效果的基础上提高了处理效率，而且处理方式简单，降低了性能占用，降低了成本。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着视频通信技术和移动设备的发展，客户端上的人脸图像处理，如人脸美型，已成为用户的一种基本需求。人脸美型技术可以应用在相机类应用程序或视频类应用程序中。

相关技术中，人脸美型技术的核心是基于人脸关键点通过图像形变的方式调整脸部器官和外部轮廓，其中图像形变方法主要分为两大类：液化变形、三角剖分变形。液化变形的方式需要控制的参数较多，所以调节过程比较繁琐，性能占用较高，处理效率低。三角剖分变形的方式依赖于对三角网格的精细设计，每个功能的开发都需要消耗较大的开发成本。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中处理效率低和成本高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；

获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；

根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；

根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

可选的，根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图，包括：

根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格；

根据所述参考图像对应的参考人脸网格和所述目标人脸网格，将所述目标参考偏移图映射到所述目标人脸网格上，得到所述待处理人脸图像对应的初始偏移图，其中，所述参考人脸网格是基于所述参考图像的人脸关键点对所述参考图像进行三角网格划分得到的；

根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图。

可选的，根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图，包括：

根据所述姿态角中的滚转角和所述待处理人脸图像的图像尺寸相对于所述参考图像的图像尺寸的比例，确定变换矩阵，所述变换矩阵用于表征所述待处理人脸图像相对于所述参考图像的位置变换关系；

将整数1与所述姿态角中的偏航角的差值确定为所述初始偏移图中颜色值的调整系数；

确定所述目标人脸网格中目标映射点的三角网格面积平均值，作为第一面积平均值，并确定所述参考人脸网格中与所述目标映射点对应的参考映射点，确定所述参考映射点的三角网格面积平均值，作为第二面积平均值，将所述第一面积平均值相对于所述第二面积平均值的比值确定为所述目标人脸网格中所述目标映射点的顶点尺度；

根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图。

可选的，根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图，包括：

根据所述变换矩阵、调整系数和所述顶点尺度，按照如下公式对所述初始偏移图中r通道颜色值和g通道颜色值进行调整，得到目标偏移图：

其中，

是二值向量，表示调整后的r通道颜色值和调整后的g通道颜色值，

是二值向量，表示所述初始偏移图中r通道颜色值和所述初始偏移图中g通道颜色值，rotMat表示所述变换矩阵，degree表示所述调整系数，scale表示所述顶点尺度。

可选的，根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格，包括：

确定所述待处理人脸图像的人脸关键点对应的目标外扩点，所述目标外扩点与所述待处理人脸图像中人脸关键点之间的距离大于所述参考图像中参考外扩点与所述参考图像中人脸关键点之间的距离，所述参考外扩点是所述参考图像中人脸关键点对应的外扩点，所述参考人脸网格是基于所述参考图像中人脸关键点和所述参考外扩点对所述参考图像进行三角网格划分得到的；

根据所述待处理人脸图像的人脸关键点和所述目标外扩点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

可选的，根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像，包括：

根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量；

对所述待处理人脸图像中的像素点进行所述偏移向量的偏移处理，得到所述目标图像。

可选的，根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量，包括：

根据所述目标偏移图中的r通道颜色值，确定所述偏移向量中的横向偏移向量；

根据所述目标偏移图中的g通道颜色值，确定所述偏移向量中的纵向偏移向量。

可选的，在所述获取所述目标处理项所对应的目标参考偏移图之前，还包括：

对所述参考图像进行所述目标处理项的液化变形处理，得到所述参考图像中像素点的偏移向量；

根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图。

可选的，根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图，包括：

根据所述参考图像中像素点的偏移向量，按照如下公式确定所述目标参考偏移图中像素点的颜色值：

其中，rgbaColor是所述目标参考偏移图中像素点的颜色值，xyOffset是所述参考图像中像素点的偏移向量，

是一个二值向量，表示所述目标参考偏移图中像素点r通道的预设颜色调整值和g通道的预设颜色调整值，m是所述目标参考偏移图中像素点b通道的预设颜色值，m是所述目标参考偏移图中像素点a通道的预设颜色值。

可选的，还包括：

将所述目标参考偏移图和所述目标处理项以外的其他处理项对应的参考偏移图拼接为一张纹理图像；

所述获取所述目标处理项所对应的目标参考偏移图，包括：

从所述纹理图像中获取所述目标处理项所对应的目标参考偏移图。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

图像获取模块，被配置为执行获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；

参考偏移图获取模块，被配置为执行获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；

偏移图变换模块，被配置为执行根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；

图像处理模块，被配置为执行根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

可选的，所述偏移图变换模块包括：

网格划分单元，被配置为执行根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格；

偏移图映射单元，被配置为执行根据所述参考图像对应的参考人脸网格和所述目标人脸网格，将所述目标参考偏移图映射到所述目标人脸网格上，得到所述待处理人脸图像对应的初始偏移图，其中，所述参考人脸网格是基于所述参考图像的人脸关键点对所述参考图像进行三角网格划分得到的；

偏移图调整单元，被配置为执行根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图。

可选的，所述偏移图调整单元包括：

变换矩阵确定子单元，被配置为执行根据所述姿态角中的滚转角和所述待处理人脸图像的图像尺寸相对于所述参考图像的图像尺寸的比例，确定变换矩阵，所述变换矩阵用于表征所述待处理人脸图像相对于所述参考图像的位置变换关系；

调整系数确定子单元，被配置为执行将整数1与所述姿态角中的偏航角的差值确定为所述初始偏移图中颜色值的调整系数；

顶点尺度确定子单元，被配置为执行确定所述目标人脸网格中目标映射点的三角网格面积平均值，作为第一面积平均值，并确定所述参考人脸网格中与所述目标映射点对应的参考映射点，确定所述参考映射点的三角网格面积平均值，作为第二面积平均值，将所述第一面积平均值相对于所述第二面积平均值的比值确定为所述目标人脸网格中所述目标映射点的顶点尺度；

偏移图调整子单元，被配置为执行根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图。

可选的，所述偏移图调整子单元被配置为执行：

根据所述变换矩阵、调整系数和所述顶点尺度，按照如下公式对所述初始偏移图中r通道颜色值和g通道颜色值进行调整，得到目标偏移图：

其中，

是二值向量，表示调整后的r通道颜色值和调整后的g通道颜色值，

是二值向量，表示所述初始偏移图中r通道颜色值和所述初始偏移图中g通道颜色值，rotMat表示所述变换矩阵，degree表示所述调整系数，scale表示所述顶点尺度。

可选的，所述网格划分单元包括：

目标外扩点确定子单元，被配置为执行确定所述待处理人脸图像的人脸关键点对应的目标外扩点，所述目标外扩点与所述待处理人脸图像中人脸关键点之间的距离大于所述参考图像中参考外扩点与所述参考图像中人脸关键点之间的距离，所述参考外扩点是所述参考图像中人脸关键点对应的外扩点，所述参考人脸网格是基于所述参考图像中人脸关键点和所述参考外扩点对所述参考图像进行三角网格划分得到的；

网格划分子单元，被配置为执行根据所述待处理人脸图像的人脸关键点和所述目标外扩点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

可选的，所述图像处理模块包括：

偏移向量确定单元，被配置为执行根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量；

偏移处理单元，被配置为执行对所述待处理人脸图像中的像素点进行所述偏移向量的偏移处理，得到所述目标图像。

可选的，所述偏移向量确定单元被配置为执行：

根据所述目标偏移图中的r通道颜色值，确定所述偏移向量中的横向偏移向量；

根据所述目标偏移图中的g通道颜色值，确定所述偏移向量中的纵向偏移向量。

可选的，所述装置还包括：

参考图液化变形模块，被配置为执行对所述参考图像进行所述目标处理项的液化变形处理，得到所述参考图像中像素点的偏移向量；

参考偏移图生成模块，被配置为执行根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图。

可选的，所述参考偏移图生成模块被配置为执行：

根据所述参考图像中像素点的偏移向量，按照如下公式确定所述目标参考偏移图中像素点的颜色值：

其中，rgbaColor是所述目标参考偏移图中像素点的颜色值，xyOffset是所述参考图像中像素点的偏移向量，

是一个二值向量，表示所述目标参考偏移图中像素点r通道的预设颜色调整值和g通道的预设颜色调整值，m是所述目标参考偏移图中像素点b通道的预设颜色值，m是所述目标参考偏移图中像素点a通道的预设颜色值。

可选的，所述装置还包括：

偏移图拼接模块，被配置为执行将所述目标参考偏移图和所述目标处理项以外的其他处理项对应的参考偏移图拼接为一张纹理图像；

所述参考偏移图获取模块被配置为执行：

从所述纹理图像中获取所述目标处理项所对应的目标参考偏移图。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例通过在获取到待处理人脸图像和目标处理项后，获取目标处理项所对应的目标参考偏移图，根据待处理人脸图像的姿态角，对目标参考偏移图进行变换，得到待处理人脸图像对应的目标偏移图，根据目标偏移图对待处理人脸图像进行处理，得到目标图像，由于目标参考偏移图是预先生成的用于表征对参考图像进行目标处理项的处理后每个像素点的偏移向量，在对图像进行处理时，只需要将目标参考偏移图映射到待处理人脸图像中，并使用得到的目标偏移图对待处理人脸图像进行处理，不需要控制较多的参数，在保留了液化变形处理效果的基础上降低了计算量，降低了性能占用，提高了处理效率，而且处理方式简单，降低了成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是一个示例性实施例中确定待处理人脸图像对应的目标偏移图的流程图；

图3是根据一示例性实施例示出的一种图像处理装置的框图。

图4是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

液化变形方式是以像素为处理单元，仅对液化区域(以控制点为圆心的圆)内的点进行形变，越靠近圆心的位置坐标形变程度越大，越靠近圆边缘的形变程度越小，边缘处形变程度减为零，这一原理保证了原有顶点的相对位置的固定性，同时移动幅度的渐变保证了形变的平滑性，然而以中心点向外辐射渐变导致效果控制不够灵活，实际应用中通过叠加一些基础的形变单元，包括：推动、旋转、放大缩小等等，实现各种美型效果，遍历各像素点，计算各点在各形变单元作用下的形变向量并叠加从而得到各点的形变向量，进行最终的渲染。液化变形算法能够通过调整各个控制点处的液化半径和液化强度等参数来实现各种复杂的形变特效，但因为需要控制的参数较多，所以调节过程比较繁琐，而且不易控制多个控制点液化交叠区域的形变。

三角变形方式是将人脸需要形变的区域分为多个三角形，针对各处理项自定义形变规则计算形变后的顶点坐标，通过对每个三角形进行仿射变换，将原纹理坐标组成的三角形区域映射到移动后的三角形区域并进行渲染，从而达到形变的目的。具体来说，对于每个三角网格，根据形变前后的三个顶点坐标计算出该三角网格的仿射变换矩阵，然后将变换应用到网格内的所有像素来得到该网格的最终形变结果。该方法原理简单，速度快，并且很容易实现对局部的精细控制，由于相邻三角形共用同一条边，同一条边上的纹理是固定的，因此该方法能够在三角形顶点相对位置(上下左右)不发生改变时保证图片的平滑性，但是该方法依赖于对三角网格的精细设计，每个功能的开发都需要消耗较大的开发成本，而效果无法直接由设计师掌控，同时不妥善的三角网格设计和不同脸型中点的相对位置偏差带来的折线问题需要在开发过程中加入较多的控制逻辑，更减弱了开发效率。为保证顶点相对位置固定的改变，避免类似折痕的问题产生，该方法强烈依赖对移动向量的设计。

表1是液化变形和三角剖分变形的优势和劣势：

表1液化变形和三角剖分变形的优势和劣势

分析相关技术方案的问题与不足，本公开实施例的图像处理方法可以同时满足以下几个特性：1)形变影响范围可控；2)形变平滑自然；3)开发成本低；4)性能可控。与此同时，由于人脸的移动与形变带动背景被大幅拉扯，这一问题极度影响用户体验，本公开实施例也解决了该问题。本公开实施例具体方案如下：

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法可以用于手机、平板电脑等电子设备中，包括以下步骤。

在步骤S11中，获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式。

其中，所述目标处理项例如可以是瘦脸、小脸等处理方式。

可以通过拍照获取待处理人脸图像，或者，还可以显示相册并获取用户选择的人脸图像，作为待处理人脸图像。同时，还可以从显示的多个处理项中获取用户选择的一个处理项，作为目标处理项。

在步骤S12中，获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量。

其中，所述参考图像是包括模特人脸的图像，在所述参考图像中，模特人脸一般为正脸。

预先对参考图像分别进行各种处理项的处理，得到参考图像在各种处理项下每个像素点的偏移向量，从而基于在各种处理项下每个像素点的偏移向量，生成各种处理项对应的参考偏移图，并保存各种处理项对应的参考偏移图。

在获取到待处理人脸图像和目标处理项后，从参考偏移图的存储位置获取目标处理项对应的目标参考偏移图。

在步骤S13中，根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图。

目标参考偏移图是对包括模特正脸的参考图像进行目标处理项的处理所对应的偏移向量，这时对待处理人脸图像进行处理时，需要将目标参考偏移图映射到待处理人脸图像上，可以基于待处理人脸图像的姿态角，对目标参考偏移图进行变换，以映射为对待处理人脸图像进行目标处理项的处理所需要的目标偏移图。其中，目标偏移图中的颜色值表征对待处理人脸图像进行目标处理项的处理时所需要的每个像素点的偏移向量。

图2是一个示例性实施例中确定待处理人脸图像对应的目标偏移图的流程图，如图2所示，根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图，包括步骤S131-步骤S133：

在步骤S131中，根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

使用关键点检测模型对待处理人脸图像进行处理，得到待处理人脸图像的人脸关键点和姿态角。其中，所述人脸关键点包括脸外轮廓的关键点。

基于待处理人脸图像的人脸关键点，对待处理人脸图像进行三角网格划分，使得三角网格顶点包括人脸关键点，如三角网格顶点包括脸外轮廓的关键点，得到待处理人脸图像所对应的目标人脸网格。其中，目标人脸网格中的各个点与待处理人脸图像的像素点对应，尺寸与待处理人脸图像的尺寸相同。

在步骤S132中，根据所述参考图像对应的参考人脸网格和所述目标人脸网格，将所述目标参考偏移图映射到所述目标人脸网格上，得到所述待处理人脸图像对应的初始偏移图，其中，所述参考人脸网格是基于所述参考图像的人脸关键点对所述参考图像进行三角网格划分得到的。

预先基于参考人脸图像的人脸关键点，对参考人脸图像进行三角网格划分，使得三角网格顶点包括人脸关键点，如三角网格顶点包括脸外轮廓的关键点，得到参考人脸图像所对应的参考人脸网格。对参考人脸图像进行网格划分的方式与对待处理人脸图像进行网格划分的方式相同，从而参考人脸网格中的三角网格分别与目标人脸网格中的三角网格对应。在进行三角网格划分时，网格划分越细，各区域对应的形变越精准；反之，形变会发生错位，例如将整张参考人脸图像划分为两个三角形去进行形变，形变很可能作用不到脸上。其中，参考人脸网格覆盖整个目标参考偏移图中非灰的区域，即网格覆盖目标参考偏移图中具有形变的区域。参考人脸网格中的各个点与参考人脸图像的像素点对应，并与目标参考偏移图中的像素点对应，尺寸与参考人脸图像的尺寸相同，也与目标参考偏移图的尺寸相同。

根据参考人脸网格和目标人脸网格，对目标参考偏移图进行映射，可以将参考人脸网格覆盖在目标参考偏移图上，基于参考人脸网格中的三角网格和目标人脸网格中的三角网格，对目标参考偏移图进行变换，使得在目标参考偏移图中在参考人脸网格的三角网格内的颜色值映射到目标人脸网格中对应的三角网格内，从而得到待处理人脸图像对应的初始偏移图。

在一个示例性实施例中，根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格，包括：确定所述待处理人脸图像的人脸关键点对应的目标外扩点，所述目标外扩点与所述待处理人脸图像中人脸关键点之间的距离大于所述参考图像中参考外扩点与所述参考图像中人脸关键点之间的距离，所述参考外扩点是所述参考图像中人脸关键点对应的外扩点，所述参考人脸网格是基于所述参考图像中人脸关键点和所述参考外扩点对所述参考图像进行三角网格划分得到的；根据所述待处理人脸图像的人脸关键点和所述目标外扩点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

其中，在待处理人脸图像中人脸区域与参考图像中人脸区域同等尺寸的情况下，目标外扩点与待处理人脸图像中人脸关键点之间的距离大于参考外扩点与参考图像中人脸关键点之间的距离，如果待处理人脸图像中人脸区域与参考图像中人脸区域的尺寸不同，可以变换为同等尺寸后进行处理。

基于目标外扩点与待处理人脸图像中人脸关键点之间的距离，确定待处理人脸图像中人脸关键点对应的目标外扩点，进而基于待处理人脸图像的人脸关键点和目标外扩点，对待处理人脸图像进行三角网格划分，即将待处理人脸图像中人脸关键点和目标外扩点分别组成三角网格，得到多个三角网格，即得到待处理人脸图像对应的目标人脸网格。

通过上述方式确定目标人脸网格后，所述目标人脸网格的覆盖区域大于所述参考人脸网格的覆盖区域。所述目标人脸网格的覆盖区域包括待处理人脸图像中人脸区域，还包括待处理人脸图像中人脸区域之外的部分区域；所述参考人脸网格的覆盖区域包括参考图像中人脸区域，还包括参考图像中人脸区域之外的部分区域。目标人脸网格的覆盖区域中的人脸区域之外的区域大于参考人脸网格的覆盖区域中人脸区域之外的区域，这样可以解决背景扭曲的动态影响，可以将脸部区域之外的形变分摊到较大的区域，在保证脸内部形变基本一致的前提下修改脸部区域之外的形变，当通过网格映射后目标偏移图的颜色会减淡并向外扩散，这样就会使得脸部区域之外的变形减弱，这样通过网格划分将脸内部区域和外部区域分隔开，内部区域参考人脸网格和目标人脸网格对应位置保持一致，而外部区域通过将目标参考偏移图中包含偏移向量的网格图映射到目标人脸网格图上更大的区域，达到形变分摊的目的。

需要说明的是，除了使用上述所述目标人脸网格的覆盖区域大于所述参考人脸网格的覆盖区域，来解决背景扭曲的问题，还可以通过其它的映射关系达到其它目的，如通过控制目标偏移图中具有形变的网格的位置对某些区域进行保护等。

在步骤S133中，根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图。

初始偏移图中的颜色值是相对待处理人脸图像中的人脸为正脸时进行目标处理项的处理所对应的偏移向量，但是待处理人脸图像中的人脸不一定是正脸，这时需要基于待处理人脸图像的姿态角，对初始偏移图中的颜色值进行调整，得到待处理人脸图像对应的目标偏移图，使得目标偏移图中的颜色值与待处理人脸图像中的姿态角相对应，便于对待处理人脸图像进行处理。

通过对待处理人脸图像进行三角网格划分，并基于参考人脸网格和目标人脸网格将目标参考偏移图映射到目标人脸网格上，得到初始偏移图，基于待处理人脸图像的姿态角，对初始偏移图中的颜色值进行调整，得到目标偏移图，这样通过三角网格划分的方式来映射偏移图，实现了通过纹理贴图将目标参考偏移图中的形变映射到待处理人脸图像的各个像素点上，可以灵活控制纹理坐标映射关系和映射区域，实现了精准地控制形变影响范围，提高人脸图像处理的效果。

在一个示例性实施例中，根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图，包括：根据所述姿态角中的滚转角和所述待处理人脸图像的图像尺寸相对于所述参考图像的图像尺寸的比例，确定变换矩阵，所述变换矩阵用于表征所述待处理人脸图像相对于所述参考图像的位置变换关系；将整数1与所述姿态角中的偏航角的差值确定为所述初始偏移图中颜色值的调整系数；确定所述目标人脸网格中目标映射点的三角网格面积平均值，作为第一面积平均值，并确定所述参考人脸网格中与所述目标映射点对应的参考映射点，确定所述参考映射点的三角网格面积平均值，作为第二面积平均值，将所述第一面积平均值相对于所述第二面积平均值的比值确定为所述目标人脸网格中所述目标映射点的顶点尺度；根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图。

其中，变换矩阵表示滚转角和图像尺寸对形变的影响，基于人脸在待处理人脸图像中的占比来进行调整的系数，例如人脸占比较大时则形变范围要大些，这时变换矩阵中的系数为大于1的系数，如果人脸占比较小则形变范围要小些，这时变换矩阵中的系数为小于1的系数。

基于姿态角中的滚转角(roll角)和待处理人脸图像的图像尺寸相对于参考图像的图像尺寸的比例，来确定形变范围，进而得到待处理人脸图像相对于参考图像的位置变换关系，即得到变换矩阵。姿态角中的偏航角表示人脸左右转头的角度，即表示是否为侧脸，根据姿态角中的偏航角来调整初始偏移图的颜色，使得人脸朝内一侧的颜色减淡，这时可以确定初始偏移图中颜色值的调整系数为：degree＝1-yaw，其中，degree为调整系数，yaw为偏航角。确定目标人脸网格中目标映射点所对应的三角网格面积的平均值，得到第一面积平均值，确定参考人脸网格中与目标映射点对应的参考映射点，确定参考映射点所对应的三角网格面积的平均值，得到第二面积平均值，将第一面积平均值相对于第二面积平均值的比值确定为目标人脸网格中目标映射点的顶点尺度。使用变换矩阵、调整系数和顶点尺度，对初始偏移图中的颜色值进行调整，得到目标偏移图。实现了基于待处理人脸图像的姿态角，对初始偏移图中的颜色值进行调整，得到较为准确的目标偏移图，提高图像处理效果。

在一个示例性实施例中，根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图，包括：

根据所述变换矩阵、调整系数和所述顶点尺度，按照如下公式对所述初始偏移图中r通道颜色值和g通道颜色值进行调整，得到目标偏移图：

其中，

是二值向量，表示调整后的r通道颜色值和调整后的g通道颜色值，

是二值向量，表示所述初始偏移图中r通道颜色值和所述初始偏移图中g通道颜色值，rotMat表示所述变换矩阵，degree表示所述调整系数，scale表示所述顶点尺度。

基于上述公式对初始偏移图中的r通道颜色值和g通道颜色值进行调整，得到的结果为目标偏移图中的r通道颜色值和g通道颜色值。通过按照上述公式对初始偏移图中的颜色值进行调整，可以得到较为准确的目标偏移图。

在步骤S14中，根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

从目标偏移图中获取每个像素点的偏移向量，并基于每个像素点的偏移向量，对待处理人脸图像中对应像素点进行所述偏移向量的偏移处理，得到与待处理人脸图像和目标处理项对应的目标图像，即得到对待处理人脸图像进行目标处理项的处理后的目标图像。

在一个示例性实施例中，根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像，包括：根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量；对所述待处理人脸图像中的像素点进行所述偏移向量的偏移处理，得到所述目标图像。

目标偏移图中的颜色值表征对待处理人脸图像进行目标处理项的处理时所对应的偏移向量，这时解析目标偏移图中的颜色值，确定对待处理人脸图像进行目标处理项的处理所对应的偏移向量。对待处理人脸图像中的每个像素点进行该像素点所对应的偏移向量的偏移处理，得到与待处理人脸图像和目标处理项对应的目标图像，即得到对待处理人脸图像进行目标处理项的处理后的目标图像。通过根据目标偏移图确定对待处理人脸图像进行目标处理项的处理时所对应的偏移向量，并基于偏移向量对待处理人脸图像中的各个像素点进行偏移处理，这样可以提升得到的目标图像的处理效果。

在一个示例性实施例中，根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量，包括：根据所述目标偏移图中的r通道颜色值，确定所述偏移向量中的横向偏移向量；根据所述目标偏移图中的g通道颜色值，确定所述偏移向量中的纵向偏移向量。

使用与计算目标参考人脸图像的目标参考偏移图相反的运算，根据目标偏移图中的颜色值，确定对待处理人脸图像进行目标处理项的处理所对应的偏移向量。使用与计算目标参考人脸图像的目标参考偏移图相反的运算，将目标偏移图中的r通道颜色值转换为所述偏移向量中的横向偏移向量，将目标偏移图中的g通道颜色值转换为所述偏移向量中的纵向偏移向量。即按照如下公式来确定横向偏移向量和纵向偏移向量：

xyOffset＝rgbaColor.xy-0.5

其中，xyOffset是当前的像素点在平面坐标系中的偏移向量，是一个二值向量，包括横向偏移向量和纵向偏移向量，范围为归一化范围[-0.5,0.5]，rgbaColor.xy是一个二值向量，表示目标偏移图中的r通道颜色值和g通道颜色值。

通过目标偏移图中的r通道颜色值表征横向偏移向量，g通道颜色值表征纵向偏移向量，可以得到较为准确的偏移向量，提高图像处理效果。

本示例性实施例提供的图像处理方法，通过在获取到待处理人脸图像和目标处理项后，获取目标处理项所对应的目标参考偏移图，根据待处理人脸图像的姿态角，对目标参考偏移图进行变换，得到待处理人脸图像对应的目标偏移图，根据目标偏移图对待处理人脸图像进行处理，得到目标图像，由于目标参考偏移图是预先生成的用于表征对参考图像进行目标处理项的处理后每个像素点的偏移向量，在对图像进行处理时，只需要将目标参考偏移图映射到待处理人脸图像中，并使用得到的目标偏移图对待处理人脸图像进行处理，不需要控制较多的参数，在保留了液化变形处理效果的基础上降低了计算量，降低了性能占用，提高了处理效率，而且处理方式简单，降低了成本。

在上述技术方案的基础上，在所述获取所述目标处理项所对应的目标参考偏移图之前，还包括：对所述参考图像进行所述目标处理项的液化变形处理，得到所述参考图像中像素点的偏移向量；根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图。

使用目标处理项对应的液化公式对参考图像中每个像素点进行液化变形处理，得到参考图像中每个像素点对应的偏移向量，使用颜色值来表示每个像素点对应的偏移向量，得到目标参考偏移图。

对参考图像进行目标处理项的液化变形处理时，是以像素点为处理单元，仅对液化区域(以控制点即当前像素点为圆心的圆)内的点进行形变，越靠近圆心的位置坐标形变程度越大，越靠近圆边缘的形变程度越小，边缘处形变程度减为零，这一原理保证了原有顶点的相对位置的固定性，同时移动幅度的渐变保证了形变的平滑性，然而以中心点向外辐射渐变导致效果控制不够灵活，实际应用中可以通过叠加一些基础的形变单元，包括：推动、旋转、放大缩小等等，实现各种美型效果，遍历各像素点，计算各点在各形变单元作用下的形变向量并叠加从而得到各点的形变向量，进行最终的渲染。液化形变算法能够通过调整各个控制点处的液化半径和液化强度等参数来实现各种复杂的形变特效。

本公开实施例预先来确定参考图像对应目标处理项的目标参考偏移图，不占用实时处理的性能，减少了图像处理过程中的计算量，同时使用液化变形处理，保证了形变的平滑自然。

在上述技术方案的基础上，根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图，包括：

根据所述参考图像中像素点的偏移向量，按照如下公式确定所述目标参考偏移图中像素点的颜色值：

其中，rgbaColor是所述目标参考偏移图中像素点的颜色值，xyOffset是所述参考图像中像素点的偏移向量，是一个二值向量，

是一个二值向量，表示所述目标参考偏移图中像素点r通道的预设颜色调整值和g通道的预设颜色调整值，m是所述目标参考偏移图中像素点b通道的预设颜色值，m是所述目标参考偏移图中像素点a通道的预设颜色值。例如，b通道的预设颜色值可以是0.5，也可以是其他值，这里为0.5可以保证非形变区域为灰色，a通道的预设颜色值可以为1.0。

针对参考图像上任意一个像素点，rgbaColor为该像素点在目标参考偏移图中的颜色值，xyOffset是该像素点在平面坐标系中的偏移向量，xyOffset的范围归一化到[-0.5,0.5]。

通过上述公式来确定偏移图中像素点的颜色值，保证具有形变的区域具有颜色，而不具有形变的区域为灰色(即灰色表示0偏移)，便于进行形变处理。

在上述技术方案的基础上，所述方法还包括：将所述目标参考偏移图和所述目标处理项以外的其他处理项对应的参考偏移图拼接为一张纹理图像；

所述获取所述目标处理项所对应的目标参考偏移图，包括：从所述纹理图像中获取所述目标处理项所对应的目标参考偏移图。

预先对参考图像进行目标处理项的液化变形处理外，还需要预先对参考图像进行其他处理项的液化变形处理，即预先对参考图像进行各种处理项的液化变形处理，并生成参考图像在各种处理项下的参考偏移图。将目标参考偏移图和目标处理项以外的其他处理项对应的参考偏移图拼接为一张纹理图像，这样可以避免低端机型上纹理个数不能超过8的限制，这里将各参考偏移图单纯拼接在一张纹理图像上，不需要叠加，这是因为用户选择的每个目标处理项力度不同，从而可以在对待处理人脸图像进行处理时可以叠加不同的目标处理项后针对每个目标处理项调节不同的参数。

根据目标处理项对应的目标参考偏移图在纹理图像中的拼接位置，从纹理图像中截取出所述拼接位置的纹理图像，得到目标处理项所对应的目标参考偏移图。通过在一张纹理图像中包括多个处理项对应的参考偏移图，并基于目标处理项截取目标参考偏移图，可以避免低端机型上纹理个数不能超过8的限制。

液化变形中的一个重要步骤是计算形变的偏移向量，该过程需要遍历各像素点及配置列表中的每一个形变配置单元，并通过液化公式计算各像素点的形变偏移向量；而在本公开实施例中，计算形变偏移向量的过程放置在了参考偏移图的制作中，参考偏移图直接作为素材内置于工程中，通过纹理贴图映射到待处理人脸图像的各像素上，无需在图像处理过程中使用液化公式计算偏移向量，大大减少了计算量。与此同时，纹理贴图中可灵活控制纹理坐标映射关系和映射区域，控制影响范围。

本公开实施例结合了液化变形和三角剖分变形技术的优点，既有液化变形方式的灵活性，同时也具备了三角剖分变形方式的可控性和高效率。在此基础上，为了解决实时图像处理中的背景跟随人脸移动大幅拉扯问题，本公开实施例通过控制形变区域，使背景分摊了部分形变，极大程度减弱了实时图像处理中背景的拉扯问题。

图3是根据一示例性实施例示出的一种图像处理装置的框图。参照图2，该装置包括图像获取模块31、参考偏移图获取模块32、偏移图变换模块33和图像处理模块34。

该图像获取模块31被配置为执行获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；

该参考偏移图获取模块32被配置为执行获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；

该偏移图变换模块33被配置为执行根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；

该图像处理模块34被配置为执行根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

可选的，所述偏移图变换模块包括：

网格划分单元，被配置为执行根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格；

偏移图映射单元，被配置为执行根据所述参考图像对应的参考人脸网格和所述目标人脸网格，将所述目标参考偏移图映射到所述目标人脸网格上，得到所述待处理人脸图像对应的初始偏移图，其中，所述参考人脸网格是基于所述参考图像的人脸关键点对所述参考图像进行三角网格划分得到的；

偏移图调整单元，被配置为执行根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图。

可选的，所述偏移图调整单元包括：

变换矩阵确定子单元，被配置为执行根据所述姿态角中的滚转角和所述待处理人脸图像的图像尺寸相对于所述参考图像的图像尺寸的比例，确定变换矩阵，所述变换矩阵用于表征所述待处理人脸图像相对于所述参考图像的位置变换关系；

调整系数确定子单元，被配置为执行将整数1与所述姿态角中的偏航角确定为所述初始偏移图中颜色值的调整系数；

顶点尺度确定子单元，被配置为执行确定所述目标人脸网格中目标映射点的三角网格面积平均值，作为第一面积平均值，并确定所述参考人脸网格中与所述目标映射点对应的参考映射点，确定所述参考映射点的三角网格面积平均值，作为第二面积平均值，将所述第一面积平均值相对于所述第二面积平均值的比值确定为所述目标人脸网格中所述目标映射点的顶点尺度；

偏移图调整子单元，被配置为执行根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图。

可选的，所述偏移图调整子单元被配置为执行：

根据所述变换矩阵、调整系数和所述顶点尺度，按照如下公式对所述初始偏移图中r通道颜色值和g通道颜色值进行调整，得到目标偏移图：

其中，

是二值向量，表示调整后的r通道颜色值和调整后的g通道颜色值，

是二值向量，表示所述初始偏移图中r通道颜色值和所述初始偏移图中g通道颜色值，rotMat表示所述变换矩阵，degree表示所述调整系数，scale表示所述顶点尺度。

可选的，所述网格划分单元包括：；

目标外扩点确定子单元，被配置为执行确定所述待处理人脸图像的人脸关键点对应的目标外扩点，所述目标外扩点与所述待处理人脸图像中人脸关键点之间的距离大于所述参考图像中参考外扩点与参考图像中人脸关键点之间的距离，所述参考外扩点是所述参考图像中人脸关键点对应的外扩点，所述参考人脸网格是基于所述参考图像中人脸关键点和所述参考外扩点对所述参考图像进行三角网格划分得到的；

网格划分子单元，被配置为执行根据所述待处理人脸图像的人脸关键点和所述目标外扩点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

可选的，所述图像处理模块包括：

偏移向量确定单元，被配置为执行根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量；

偏移处理单元，被配置为执行对所述待处理人脸图像中的像素点进行所述偏移向量的偏移处理，得到所述目标图像。

可选的，所述偏移向量确定单元被配置为执行：

根据所述目标偏移图中的r通道颜色值，确定所述偏移向量中的横向偏移向量；

根据所述目标偏移图中的g通道颜色值，确定所述偏移向量中的纵向偏移向量。

可选的，所述装置还包括：

参考图液化变形模块，被配置为执行对所述参考图像进行所述目标处理项的液化变形处理，得到所述参考图像中像素点的偏移向量；

参考偏移图生成模块，被配置为执行根据所述参考图像中像素点的偏移向量，生成所述目标参考偏移图。

可选的，所述参考偏移图生成模块被配置为执行：

根据所述参考图像中像素点的偏移向量，按照如下公式确定所述目标参考偏移图中像素点的颜色值：

其中，rgbaColor是所述目标参考偏移图中像素点的颜色值，xyOffset是所述参考图像中像素点的偏移向量，

是一个二值向量，表示所述目标参考偏移图中像素点r通道的预设颜色调整值和g通道的预设颜色调整值，m是所述目标参考偏移图中像素点b通道的预设颜色值，m是所述目标参考偏移图中像素点a通道的预设颜色值。

可选的，所述装置还包括：

偏移图拼接模块，被配置为执行将所述目标参考偏移图和所述目标处理项以外的其他处理项对应的参考偏移图拼接为一张纹理图像；

所述参考偏移图获取模块被配置为执行：

从所述纹理图像中获取所述目标处理项所对应的目标参考偏移图。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，电子设备400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制电子设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为电子设备400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当电子设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为电子设备400提供各个方面的状态评估。例如，传感器组件414可以检测到电子设备400的打开/关闭状态，组件的相对定位，例如所述组件为电子设备400的显示器和小键盘，传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变，用户与电子设备400接触的存在或不存在，电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述图像处理方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；

获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；

根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；

根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图，包括：

根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格；

根据所述参考图像对应的参考人脸网格和所述目标人脸网格，将所述目标参考偏移图映射到所述目标人脸网格上，得到所述待处理人脸图像对应的初始偏移图，其中，所述参考人脸网格是基于所述参考图像的人脸关键点对所述参考图像进行三角网格划分得到的；

根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图。

3.根据权利要求2所述的方法，其特征在于，根据所述待处理人脸图像的姿态角，对所述初始偏移图中的颜色值进行调整，得到所述待处理人脸图像对应的目标偏移图，包括：

根据所述姿态角中的滚转角和所述待处理人脸图像的图像尺寸相对于所述参考图像的图像尺寸的比例，确定变换矩阵，所述变换矩阵用于表征所述待处理人脸图像相对于所述参考图像的位置变换关系；

将整数1与所述姿态角中的偏航角的差值确定为所述初始偏移图中颜色值的调整系数；

确定所述目标人脸网格中目标映射点的三角网格面积平均值，作为第一面积平均值，并确定所述参考人脸网格中与所述目标映射点对应的参考映射点，确定所述参考映射点的三角网格面积平均值，作为第二面积平均值，将所述第一面积平均值相对于所述第二面积平均值的比值确定为所述目标人脸网格中所述目标映射点的顶点尺度；

根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图。

4.根据权利要求3所述的方法，其特征在于，根据所述变换矩阵、调整系数和所述顶点尺度，对所述初始偏移图中的颜色值进行调整，得到目标偏移图，包括：

根据所述变换矩阵、调整系数和所述顶点尺度，按照如下公式对所述初始偏移图中r通道颜色值和g通道颜色值进行调整，得到目标偏移图：

其中，

是二值向量，表示调整后的r通道颜色值和调整后的g通道颜色值，

是二值向量，表示所述初始偏移图中r通道颜色值和所述初始偏移图中g通道颜色值，rotMat表示所述变换矩阵，degree表示所述调整系数，scale表示所述顶点尺度。

5.根据权利要求2-4任一项所述的方法，其特征在于，根据所述待处理人脸图像的人脸关键点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格，包括：

确定所述待处理人脸图像的人脸关键点对应的目标外扩点，所述目标外扩点与所述待处理人脸图像中人脸关键点之间的距离大于所述参考图像中参考外扩点与所述参考图像中人脸关键点之间的距离，所述参考外扩点是所述参考图像中人脸关键点对应的外扩点，所述参考人脸网格是基于所述参考图像中人脸关键点和所述参考外扩点对所述参考图像进行三角网格划分得到的；

根据所述待处理人脸图像的人脸关键点和所述目标外扩点，对所述待处理人脸图像进行三角网格划分，得到目标人脸网格。

6.根据权利要求1-4任一项所述的方法，其特征在于，根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像，包括：

根据所述目标偏移图，确定对所述待处理人脸图像进行所述目标处理项的处理所对应的偏移向量；

对所述待处理人脸图像中的像素点进行所述偏移向量的偏移处理，得到所述目标图像。

7.一种图像处理装置，其特征在于，包括：

图像获取模块，被配置为执行获取待处理人脸图像和目标处理项，所述目标处理项用于表征对所述待处理人脸图像的处理方式；

参考偏移图获取模块，被配置为执行获取所述目标处理项所对应的目标参考偏移图，所述目标参考偏移图中的颜色值用于表征对参考图像进行所述目标处理项的处理后每个像素点的偏移向量；

偏移图变换模块，被配置为执行根据所述待处理人脸图像的姿态角，对所述目标参考偏移图进行变换，得到所述待处理人脸图像对应的目标偏移图；

图像处理模块，被配置为执行根据所述目标偏移图，对所述待处理人脸图像进行处理，得到目标图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，当所述计算机存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。

Images