CN105096377A - 一种图像处理方法和装置 - Google Patents

Abstract

本申请提供了一种图像处理方法和装置，该方法包括获取二维的目标人脸图像；接收用户在目标人脸图像中标示出的标识曲线，该标识曲线用于指示目标人脸图像中人脸的轮廓分布；基于标识曲线，并利用图像分割技术，从目标人脸图像中定位出人脸的面部轮廓曲线；确定目标人脸图像中人脸的三维姿态和特征点位置；根据目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与该人脸三维形状的经验模型匹配的目标函数，构建出该目标人脸图像中人脸的三维形状。通过该方法和装置可以降低构建人脸三维形状的复杂度。

Description

一种图像处理方法和装置

技术领域

本申请涉及图像处理技术领域，更具体的说是涉及一种图像处理方法和装置。

背景技术

基于图像的三维人脸重建是指从包含人脸的二维图像或者视频出发，构建出三维人脸模型。三维人脸重建是计算机视觉研究领域的研究热点，并且被广泛应用于生物信息认证识别、计算机游戏、电话会议系统等领域。

三维人脸重建过程需要从人脸的二维图像中恢复出人脸的三维形状和纹理，然后将人脸的三维形状和纹理进行结构化，以构建出三维人脸。为了能够精准的构建出三维人脸，在构建三维人脸形状的过程中，需要利用双目摄像头进行人脸图像摄取，以获取到人脸的二维图像和深度信息，并提取所述二维图像中的二维结构信息，利用该二维结构信息和的信息来进行三维形状的构建。然而利用二维图像的二维结构信息和深度信息构建三维人脸形状的方式，在摄取二维图像的同时，获取该二维图像对应的深度信息，对人脸图像的摄取装置的要求较高，从而提高了构建三维人脸形状的复杂度，也就提高了三维人脸重建的复杂度，进而不利于三维人脸重建的广泛推广。

发明内容

有鉴于此，本申请提供了一种图像处理方法和装置，以降低三维人脸重建的复杂度。

为实现以上目的，本申请的第一方面提供了一种图像处理方法，包括：

获取二维的目标人脸图像；

接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸轮廓区域所在的位置；

基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；

确定所述目标人脸图像中人脸的三维姿态；

检测所述目标人脸图像中人脸的特征点位置；

根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

结合第一方面，在第一种可能的实现方式中，所述接收用户在所述目标人脸图像中标示出的标识曲线，包括：

接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；

所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线，包括：

从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；

利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；

提取所述至少两个分割区域的边界；

利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部轮廓曲线。

结合第一方面，在第二种可能的实现方式中，所述接收用户在所述目标人脸图像中标示出的标识曲线，包括：

接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；

所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线，包括：

利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标人脸图像的前景区域和背景区域；

根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。

结合第一方面，在第三种可能的实现方式中，所述确定所述目标人脸图像中人脸的三维姿态，包括：

检测所述目标人脸图像中的人脸区域；

在所述人脸区域进行二值化特征抽取；

基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到所述目标人脸图像中人脸的三维姿态。

结合第一方面，在第四种可能的实现方式中，所述检测所述目标人脸图像中人脸的特征点位置，包括：

确定所述目标人脸图像的人脸区域；

根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指定范围内进行二值化特征抽取；

根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。

结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，包括：

根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂

其中，θ为所述目标人脸图像中人脸的三维姿态，θ^*为所述人脸的三维姿态的最优值；b为所述人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的所述人脸三维形状的经验模型中形变系数b的最优值；X^c为所述目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为所述目标人脸图像中人脸的特征点位置的参数化；I^c为将所述面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由所述人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数；

其中，I^c＝argmin_{S'}||P_θ(S')-X^c||₂；

S'为预置的初始人脸三维形状；

将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：

S＝μ+Φb；

其中，S为人脸三维形状的参数化表示。

另一方面，本申请的第二方面提供了一种图像处理装置，包括：

图像获取装置，用于获取二维的目标人脸图像；

输入单元，用于接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸的轮廓分布；

轮廓定位单元，用于基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；

姿态确定单元，用于确定所述目标人脸图像中人脸的三维姿态；

特征点定位单元，用于检测所述目标人脸图像中人脸的特征点位置；

形状构建单元，用于根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

结合第二方面，在第一种可能的实现方式中，所述输入单元，包括：

第一输入子单元，用于接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；

所述轮廓定位单元，包括：

提取子单元，用于从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；

区域分割子单元，用于利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；

边界提取子单元，用于提取所述至少两个分割区域的边界；

第一轮廓定位子单元，用于利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部轮廓曲线。

结合第二方面，在第二种可能的实现方式中，所述输入单元，包括：

第二输入子单元，用于接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；

所述轮廓定位单元，包括：

前背景分割子单元，用于利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标人脸图像的前景区域和背景区域；

第二轮廓定位子单元，用于根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。

结合第二方面，在第三种可能的实现方式中，所述姿态确定单元，包括：

人脸检测单元，用于检测所述目标人脸图像中的人脸区域；

第一特征抽取单元，用于在所述人脸区域进行二值化特征抽取；

姿态预测单元，用于基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到所述目标人脸图像中人脸的三维姿态。

结合第二方面，在第四种可能的实现方式中，所述特征点定位单元，包括：

人脸区域确定单元，用于确定所述目标人脸图像的人脸区域；

第二特征抽取单元，用于根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指定范围内进行二值化特征抽取；

特征点预测单元，用于根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。

结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式中，在第五种可能的实现方式中，所述形状构建单元，包括：

形变参数确定单元，用于根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂；

其中，θ为所述目标人脸图像中人脸的三维姿态，θ^*为所述人脸的三维姿态的最优值；b为所述人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的所述人脸三维形状的经验模型中形变系数b的最优值；X^c为所述目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为所述目标人脸图像中人脸的特征点位置的参数化；I^c为将所述面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由所述人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数；

其中，I^c＝argmin_{S'}||P_θ(S')-X^c||₂；

S'为预置的初始人脸三维形状；

形状构建子单元，用于将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：

S＝μ+Φb；

其中，S为人脸三维形状的参数化表示。

经由上述的技术方案可知，在获取到二维的目标人脸图像后，根据从目标人脸图像中确定出人脸的三维姿态、特征点位置和该面部轮廓曲线，以及该人脸的面部轮廓曲线和特征点位置在三维空间的映射，利用与人脸三维形状的经验模型匹配的目标函数，确定出该人脸三维形状的经验模型中的形变系数，并利用该经验模型确定出人脸的三维形状，从而无需目标人脸图像中包含深度信息，便可以基于该目标人脸图像构建出人脸的三维形状，进而降低了三维人脸重建的复杂度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请一种图像处理方法一个实施例的流程示意图；

图2a和图2b示出了本申请中基于用户输入的标识曲线提取面部轮廓曲线的示意图；

图3示出了用户在该目标人脸图像中标示出该第一标识曲线和第二标识曲线的示意图；

图4示出了本申请实施例一种用于图像处理的交互设备的系统结构示意图；

图5示出了本申请的图像处理方法中确定目标人脸图像中人脸的三维姿态的一种实现方式的流程示意图；

图6示出了本申请的图像处理方法中检测目标人脸图像中人脸特征点位置的一种实现方式的流程示意图；

图7示出了本申请一种图像处理方法另一个实施例的流程示意图；

图8示出了本申请一种图像处理装置一个实施例的结构示意图；

图9示出了本申请一种计算节点一个实施例的结构示意图。

具体实施方式

本申请提供了一种图像处理方法和装置，以降低三维人脸重建的复杂度。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对三维人脸形状构建方法进行介绍，参见图1，其示出了本申请一种图像处理方法一个实施例的流程示意图，本实施例的方法可以包括：

101，获取二维的目标人脸图像。

获取二维的人脸图像，以基于该人脸图像进行三维人脸形状的构建。

为了便于区分，将获取到的该待处理的该人脸图像称为目标人脸图像。

102，接收用户在该目标人脸图像中标示出的标识曲线。

其中，该标识曲线用于指示该目标人脸图像中人脸的轮廓分布。如，该人脸的轮廓分布可以是人脸轮廓的形状、人脸轮廓所在的位置或者是人脸的轮廓曲线的走势等。

用户可以通过鼠标或者在触摸屏进行滑动等方式，在显示出的目标人脸图像中勾勒出该标识曲线。

103，基于该标识曲线，并利用图像分割技术，从该目标人脸图像中定位出人脸的面部轮廓曲线。

由于该标识曲线能够起到指示人脸轮廓区域所在位置的作用，在对目标人脸图像进行分割后，有利于从分割后的区域中快速准确的确定包含人脸的区域，进而比较精准的得到人脸的面部轮廓曲线。

104，确定该目标人脸图像中人脸的三维姿态。

其中，人脸的三维姿态是指人脸在三维空间中的朝向信息。即，人脸在三维空间中三个相互垂直的X、Y和Z坐标轴上的旋转角度。

确定该目标人脸图像中人脸的三维姿态可以采用现有的任意检测目标人脸图像中人脸三维姿态的方式，在此不加限定。

105，检测该目标人脸图像中人脸的特征点位置。

本实施例中检测人脸特征点位置的方式可以采用现有任意人脸特征点定位方式。

106，利用预置的人脸三维形状的经验模型以及与该人脸三维形状的经验模型匹配的目标函数，构建出目标人脸图像中人脸的三维形状。

该人脸三维形状的经验模型是预先经过训练得到的用以描述不同人脸形状差异和由表情引起的人脸形状变化的统计模型。由于人脸三维形状的经验模型是根据人脸形状的先验知识构建出的模型，本领域中也将人脸三维形状的经验模型称为人脸三维形状的先验模型。

在本申请实施例中的该经验模型可以为任意的人脸三维形状的经验模型，对此不加以限制。

其中，该目标函数用于依据该目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及该人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出该人脸三维形状在该经验模型中对应的形变系数。

为了能够依据该人脸形状的经验模型，确定出该目标人脸图像中人脸的三维形状，需要首先确定出目标人脸图像中的人脸在经验模型中对应的形变系数，因此，需要将该人脸的面部轮廓曲线、三维姿态和特征点位置这些数据输入到与该经验模型匹配的目标函数中，以利用该目标函数求解出该经验模型的形变系数，从而由该经验模型确定出人脸的三维形状。

由于依据该目标函数确定该经验模型的形变系数时，除了利用该人脸的三维姿态和特征点位置之外，还需要依据该人脸的面部轮廓曲线以及该人脸面部轮廓曲线在三维空间的映射这一人脸形变因素，从而使得确定出该形变系数能够更加精准的反映该目标人脸图像中人脸的形变，进而使得构建出的人脸的三维形状的精准度较高。

可以理解的是，在本实施该步骤102、步骤104和步骤106的先后顺序并不限于图1所示，实际上步骤102、步骤104和步骤106的先后顺序可以互换，也可以是同时执行步骤102、步骤104和步骤106。

在本实施例中，根据从目标人脸图像中确定出人脸的三维姿态、特征点位置和该面部轮廓曲线，以及该人脸的面部轮廓曲线和特征点位置在三维空间的映射，利用与人脸三维形状的经验模型匹配的目标函数，确定出该人脸三维形状的经验模型中的形变系数，并利用该经验模型确定出人脸的三维形状，从而无需目标人脸图像中包含深度信息，便可以基于该目标人脸图像构建出人脸的三维形状，进而降低了三维人脸重建的复杂度。而由于该形变系数考虑了人脸的面部轮廓曲线以及该人脸面部轮廓曲线在三维空间的映射这一人脸形变因素，从而使得该形变系数能够更加准确的能够反映出该目标人脸图像中人脸的形变，使得构建出的人脸三维形状的精准度高，从而为精准构建三维人脸提供了可能，进而实现了能够保证三维人脸构建的精准度的基础上，降低三维人脸重建的复杂度。

需要说明的是，由于基于本申请的方法来构建三维人脸形状的复杂度低，从而可以使得本申请的方法不仅可以应用于具有较高计算能力的计算机中，也可以应用于手机等计算能力稍差的移动终端或者其他交互设备中。

可以理解的是，在本申请中通过用户交互的方式，由用户在目标人脸图像中标识出该用于指示人脸位置的标识曲线后，在利用图像分割技术对目标人脸图像进行分割的过程中，可以以该标识曲线为依据来进行面部轮廓线提取，有利于降低提取面部轮廓线的计算量。

其中，根据实际需要的不同，用户输入的标识曲线可以有多种不同的情况，相应的，依据该标识曲线，提取该目标人脸图像中人脸面部轮廓线的过程也会有所不同。

对应本申请的一种人脸面部轮廓曲线的提取方式，该标识曲线可以为人脸的初始面部轮廓曲线。其中，该初始面部轮廓曲线可以是用户沿着该目标人脸图像中人脸的面部所在的轮廓粗略标注出曲线，以指示出该人脸的面部轮廓线的位置及大致走向。

相应的，接收到该用户在该目标人脸图像中标识出人脸的初始面部轮廓曲线后，系统会记录该初始面部轮廓曲线的位置，从该目标人脸图像中提取包含该初始面部轮廓曲线的子图像区域。然后，利用图像过分割技术对该子图像区域进行分割，得到至少两个分割区域；提取分割得到的该至少两个分割区域的边界；利用曲线匹配算法，从分割出的至少两个分割区域的边界中，匹配出距离该初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为该目标人脸图像中人脸的面部轮廓曲线。

其中，包含该初始面部曲线的子图像区域的大小可以预先设定，如，可以设定该目标人脸图像中，与该初始面部曲线上的点的距离小于预设距离的各点所组成的区域为该子图像区域。

实际上在对该子图像区域进行图像过分割后，一般会得到多个小区域，每个区域内各点的颜色特征一致，然后提取这各个小区域的边界，并利用主动轮廓模型等曲线匹配算法，便可以该人脸的初始面部轮廓曲线匹配到距离最近的小区域边界上，即得到该面部轮廓曲线。

为了便于理解以上描述的提取面部轮廓曲线的过程，可以参见图2a和图2b。其中，图2a为依据用户在目标人脸图像中标注的一种标识曲线提取子图像区域的过程示意图。图2b为在依据用户输入的一种标识曲线，在子图像区域提取面部轮廓曲线的过程示意图。

该图2a中左侧的图像为未经任何处理的初始目标人脸图像，图2a右侧的目标人脸图像中的白色粗体实线即为用户标注出的人脸的初始面部轮廓曲线。在该图2a右侧的目标人脸图像中的长方形的方框内的图像区域即为包含该初始面部轮廓曲线的子图像区域。

在该图2b包含从左到右依次变化的三幅图像，其中，最左侧的一幅图像示出了利用图像过分割技术对该子图像区域进行分割后，提取出的各个区域的边界，如图中的蜂窝状的线条边界。中间的一幅图像利用曲线匹配算法，将该初始面部轮廓曲线匹配到距离最近的区域边界的示意图。将该匹配到的区域边界输出就得到了人脸的面部轮廓曲线，如图2b中左右侧的图像中的曲线。

对应本申请中的另一种人脸面部轮廓曲线的提取方式，该标识曲线可以包括第一标识曲线和第二标识曲线。其中，该第一标识曲线，用于标识该目标人脸图像中包含人脸的前景区域；该第二标识曲线用于标识该目标人脸图像中未包含人脸的背景区域。如图3所示，在该图3中示出了用户在该目标人脸图像中标示出该第一标识曲线和第二标识曲线的示意图。可见，在该目标人脸图像中的人脸上标注出的黑色曲线为第一标识曲线，则该人脸区域之外的背景上标出的白色粗体实线为第二标识曲线。

根据获取到第一标识曲线和第二标识曲线的位置后，并利用图像分割技术，可以分割出该目标人脸图像的前景区域和背景区域。根据该目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，便提取出所述目标人脸图像中人脸的面部轮廓曲线。

当然，以上介绍的两种输入标识曲线的方式仅仅两种示意性描述，对于依据用户输入的其他用于标识人脸的轮廓分布的标识曲线，来提取人脸的面部轮廓曲线的方式同样适用于本申请。

可以理解的是，由于本申请实施例中可以通过用户交互的方式，由用户输入该标识人脸的轮廓分布的标识曲线，以快速准确的定位出人脸面部轮廓曲线，因此本申请实施例的方法适用于交互设备。同时，由于本申请实施例在构建人脸三维形状的过程复杂度较低，从而使得本申请尤其适用于移动性或者便携性的交互设备。如该交互设备可以为手机、个人数字助理(PersonalDigitalAssistant，PDA)、平板电脑等。

如，参见图4，其示出了本申请实施例提供的一种交互设备的系统结构400示意图。应该理解的是，图示交互设备400仅仅是交互设备的一个范例，并且交互设备400可以具有比图中所示更多或更少的部件，可以组合两个或更多的部件，或者而可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

现以图4提供的用于图像处理的交互设备进行详细的描述。

该交互设备400的系统架构可以包括存储器接口402、一个或多个数据处理器、图像处理器和/或中央处理单元404，以及外围接口406。

该存储器接口402、一个或多个处理器404和/或外围接口406可以是分离的组件或可以被集成到一个或多个集成电路中。所述系统架构400中的各个组件可以用一个或多个通信总线或信号线来连接。感测器、设备和子系统可以连接到外围接口406来辅助实现该交互设备所具有的各种功能。例如，运动感测器410、光感测器412和位置感测器414可以连接到外围接口406来辅助实现交互设备关于运动感测功能、环境亮度感测功能以及位置感测等同能，也可以相互协作的完成特定的功能。其它辅助感测器416也可以连接到外围接口406，如，定位系统(例如，GPS接收机)、温度感测器、生物特征计量感测器、气压感测器、海拔感测器，来辅助完成所述交互设备所具有的各种相关的功能。

该交互设备的系统架构400中还包括相机子系统420，该相机子系统420通过光感测器412如电荷耦合装置CCD或互补金属氧化物半导体CMOS光学感测器来辅助该相机子系统来实现相应的图像获取功能。如，通过该光学感测器来辅助相机子系统来进行人脸图像的获取。

该交互设备的系统架构400中还包括无线通信子系统424，所述无线通信子系统424用以使所述交互设备具有无线通讯的功能，所述无线通信子系统424可以包括射频接收机和发射机和/或光学(例如，红外)接收机和发射机。本申请实施例中也可以通过该无线通信子系统接收其他网络设备发送的人脸图像，以获取到待处理的二维人脸图像。

该交互设备的系统架构中还包括I/O子系统440，所述I/O子系统440用以使所述交互设备实现输入输出控制。该I/O子系统440可以包括触摸屏控制器442和/或其它(一个或多个)输入控制器444。触摸屏控制器442可以连接到触摸屏446。触摸屏446和触摸屏控制器442可以使用多种触敏技术中的任一者来检测触摸以及触摸的移动或中断，所述触摸技术包括但不限于容性的、抗性的、红外的和表面声波技术，以及用于利用触摸屏446来实现确定一个或多个触摸点的其它接近感测阵列或其它元件。如，在该触摸屏上可以显示出待处理的人脸图像，用户通过手指或触摸笔在显示出的人脸图像上进行滑动，通过触点的移动达到在该人脸图像中标示出标识曲线的目的，例如，用户的手指沿着人脸图像中人脸的轮廓曲线进行滑动，从而使得触点滑动轨迹形成标识人脸轮廓曲线的标识曲线。

其中，所述输入控制器444可以连接到其它输入/控制设备448，所述其他输入/控制设备448可以是一个或多个按钮、摇臂开关、拇指旋转开关、红外端口、USB端口和/或诸如铁笔之类的点选设备。此外，所述触摸屏446也可以用来呈现虚拟的按钮和/或键盘以实现对所述交互设备的输入控制。

该交互设备系统架构400的存储器接口402可以连接到存储器450。存储器450可以是高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备和/或闪存。存储器可以存储操作系统452，所述操作系统452可以包括用于处理基本系统服务和用于执行依赖硬件的任务的指令。所述存储器450还可存储多个可执行程序，所述可执行程序可以是音乐播放程序454、网络浏览程序456、图像处理程序458、语音通信程序460、短消息通信程序462、文件索引/查找程序464、图形化用户界面生成程序466，或者其他具有各种功能的应用程序。当然，该存储器还可以存储获取到的人脸图像以及用户在人脸图像中标示出的标识曲线等。

具体的，该交互设备通过该相机子系统或者该无线通信子系统获取到待处理的人脸图像后，可以由该存储器存储该人脸图像，并由图像处理器或者中央处理器控制触摸屏显示人脸图像，接收用户通过触摸屏在该人脸图像中标示出的标识曲线，同时图像处理器或者中央处理器对人脸图像进行识别，确定出人脸图像中人脸的特征点和三维姿态，然后结合该标识曲线以及预置的人脸形状的三维模型，构建出人脸的三维形状。

当然，该交互设备100的系统架构中还包括音频子系统426，所述音频子系统426，用来实现所述交互设备的声音拾取或者音频信号播放的功能，所述音频子系统426包括扬声器428和麦克风430来辅助实现上述的语音拾取及音频信号播放功能。

以上，介绍了承载本申请的图像处理方法的一种示例性的交互设备以及所述交互设备的系统架构。下面其他的实施例的介绍也可以依托上述示例性的交互设备。

可选的，在本申请以上任意一个实施例中，为了降低确定人脸的三维姿态和定位人脸特征点过程的计算量，本申请中采用回归预测模型来对人脸的三维姿态估计和特征点定位进行建模，构建出人脸的三维姿态的回归预测模型和人脸特征点参数的回归预测模型。实际上这两个回归预测模型所对应的回归预测函数的函数形式相同。下面分别对采用该回归预测模型来进行人脸的三维姿态和特征点定位的过程进行介绍。

参见图5，其示出了本申请的图像处理方法中确定目标人脸图像中人脸的三维姿态的一种实现方式的流程示意图，该过程可以包括：

501，检测该目标人脸图像中的人脸区域。

在目标人脸图像中检测包含人脸的人脸区域的方式可以采用现有的任意人脸区域检测方式，在此不加以限制。

502，在该人脸区域进行二值化特征抽取。

503，基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到该目标人脸图像中人脸的三维姿态。

在该目标人脸图像中进行二值化特征抽取时，可以是按照预先设置的图像的采样位置，在该人脸图像相应位置进行二值化特征抽取。其中，从该目标人脸图像I的人脸区域中抽取到的二值化特征所组成的集合可以表示为：F₀(I)＝(f₁(I),f₂(I),…f_i(I),…f_m(I))。

其中， $f_i\left(I\right)=\left\{\begin{array}{cc}1,& I\left(x_i^1\right)-I\left(x_i^2\right)<I\left({\mathrm{\&tau;}}_t\right)\\ 0,& \mathrm{else}\end{array}\right.,$ f_i(I)表示该目标人脸图像I中抽取的第i个二值化特征；i＝1,2……m，m为抽取到的二值化特征的数量；分别描述该目标人脸图像I中采样的控制点的位置，该采样的控制点的位置通过预先标定的人脸图像的三维姿态数据进行训练学习得到，I(τ_j)为预先设定的参考阈值。

根据抽取到的二值化特征，并利用如下的姿态回归预测函数进行回归测试：

$R\left(F_0\left(I\right)\right)={\mathrm{\&Sigma;}}_{j=1}^N{a}_j{r}_j\left(F_0\left(I\right)\right)$ (公式一)

其中，a_j为预置的该姿态回归预测函数的学习系数；r_j是预置的可调参数；N为预置的回归测试次数。

参见图6，其示出了本申请的图像处理方法中检测目标人脸图像中人脸特征点位置的一种实现方式的流程示意图，该过程可以包括：

601，确定所述目标人脸图像的人脸区域。

确定该人脸区域的方式可以采用现有的定位人脸区域的方式。

特别的，如果在特征点定位之前已经利用图5所示的方式估计出该人脸的三维姿态，则可以直接三维姿态估计过程中确定出的人脸区域的数据。

602，根据预置的人脸的初始特征点位置，在该人脸区域中初始特征点位置的指定范围内进行二值化特征抽取。

其中，该人脸的初始特征点位置是系统预先设置的，对于任意输入的目标人脸图像而言，该初始特征点位置是相同的。如，该初始特征点位置可以包含预先设定的人脸中左眼、右眼和嘴巴等特征点的初始位置数据。

依据该初始特征点位置从目标人脸图像的人脸区域中定位出该初始特征点位置，并在人脸区域中的该初始人脸特征点周围进行二值化特征抽取。

603，根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到该目标人脸图像中人脸的特征点位置。

在本实施例中，该特征点回归预测函数的函数形式与该姿态回归预测函数的函数形式相同，只不过在进行特征点位置的回归预测时，输入的参数是特征点对应的二值化特征。可以理解的是，在进行特征点位置预测时，在图像中抽取二值化特征的位置与前面三维姿态预测过程中所抽取的二值化特征的位置不同，可以分别设定这两种预测过程中的采样位置。

具体的，从该目标人脸图像I的人脸区域的初始特征点位置周围抽取到的离散的二值化特征所组成的集合可以表示为：F₁(I)＝(f₁(I),f₂(I),…f_i(I),…f_n(I))。

其中， $f_i\left(I\right)=\left\{\begin{array}{cc}1,& I\left(x_i^1\right)-I\left(x_i^2\right)<I\left({\mathrm{\&tau;}}_t\right)\\ 0,& \mathrm{else}\end{array}\right.,$ f_i(I)表示该目标人脸图像I中抽取的第i个二值化特征；i＝1,2……n，n为抽取到的二值化特征的数量；分别描述该目标人脸图像I中采样的控制点的位置，该采样的控制点的位置是通过预先标定的人脸图像的特征点数据进行训练学习得到，I(τ_j)为预先设定的参考阈值。

根据抽取到的二值化特征，并利用如下的特征点回归预测函数进行回归测试：

$R\left(F_1\left(I\right)\right)={\mathrm{\&Sigma;}}_{j=1}^N{a}_j{r}_j\left(F_1\left(I\right)\right)$ (公式二)

其中，a_j为预置的该特征点回归预测函数的学习系数；r_j是预置的可调参数；N为预置的回归测试次数。

当然，对于姿态回归预测函数和特征点回归预测函数中预置的回归预测次数可以不相同。

可以理解的是，为了进一步提高特征点定位的准确度，预置的初始人脸特征点位置中可以只包含人脸中左眼、右眼和嘴巴中心的位置的初始估计值，然后在这三个特征点的初始估计值周围进行二值化特征抽取，并将抽取到的二值化特征输入到公式二中，从而定位出该目标人脸图像中人脸的左眼、右眼和嘴巴中心的位置。

定位出该人脸的左眼、右眼和嘴巴中心的位置后，以这三个特征点的位置为初始值，在这三个特征点周围抽取二值化特征，并将抽取到的二值化特征代入到公式二中，从而定位出人脸更多的特征点位置，如人脸中眉毛、鼻子、嘴角等特征点位置。

由以上过程可以看出，在本申请中利用回归预测模型来进行回归测试的方式来确定出目标人脸图像中人脸的三维姿态和定位出特征点位置，在整个计算过程中，只需要涉及图像采样以及简单的加法和减法，相比于传统需要利用卷积等来计算三维姿态和特征点位置的方式，大大减少计算量，从而使得该方法能够应用于移动终端等计算能力稍差计算平台中。

在以上任意一个实施例的中，预置的人脸三维形状的经验模型可以有所不同，具体可以根据实际需要设定。

可选的，在以上任意一个实施例中，预置的该人脸三维形状的经验模型可以为：

S＝μ+Φb；(公式三)

其中，S为人脸三维形状的参数化表示，也就是待构建的人脸三维形状表示形式；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；b为人脸三维形状的经验模型中的待确定的形变系数。

可见，人脸的三维形状由形变系数b唯一确定，为了能够确定出人脸的三维形状S，首先需要确定出该形变系数b。

为了确定出形变系数b需要构建出与该三维形状的经验模型匹配的目标函数。为了使得依据目标函数确定出的形变系数能够更加准确的反应该目标人脸图像中人脸的形状变化，需要考虑该二维图像中人脸的面部轮廓和特征点到三维空间的映射关系。

可以理解的是，二维的目标人脸图像中人脸的特征点位置映射到三维空间后，该特征点位置不会发生变化。也就是人脸二维模型和三维模型中特征点位置在映射过程中具有不变性。

而二维的目标人脸图像中人脸的面部轮廓曲线到三维空间的映射是与人脸的三维姿态有关的，其映射关系为：

I^c＝argmin_{S'}||P_θ(S')-X^c||₂(公式四)

其中，X^c为人脸的面部轮廓曲线；I^c为将所述人脸的面部轮廓曲线X^c映射到三维空间得到的参数化，S'为预置的初始人脸三维形状；P_θ为由人脸的三维姿态θ确定的投影函数。

基于该映射关系，利用三维形状重投影误差最小化的准则构建与该人脸三维形状的经验模型匹配的目标函数：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂；(公式五)

其中，θ为目标人脸图像中人脸的三维姿态，θ^*为该人脸的三维姿态的最优值；b为该人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的该人脸三维形状的经验模型中形变系数的最优值；X^c为该目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为该目标人脸图像中人脸的特征点位置的参数化；I^c为将人脸的面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将该人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由该人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数。

将目标函数预置到系统中，这样当确定出该目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置之后，根据人脸的面部轮廓曲线以及人脸特征点位置在三维空间的映射关系，并利用该预置的匹配的目标函数，确定出该人脸三维形状的经验模型中的形变系数的最优值。

将得到的形变系数最优值输入到该人脸三维形状的经验模型中，便可以构建出目标人脸图像中人脸的三维形状S。

其中，利用目标函数计算该形变系数的最优值的过程是一个优化计算的过程，具体过程与现有的计算方式相同。如，可以现有的高斯牛顿等方法进行优化计算。

为了便于理解以一种优化计算方式来对该计算过程进行简单介绍：由于目标函数中的形变系数依赖于三维姿态θ，可以采用层次化的策略，即将形变系数的初始值设为0，优化计算三维姿态θ直至收敛。然后基于当前得到的θ并利用该目标函数重新计算形变系数b，并基于得到的b值重新计算三维姿态θ，不断重复该过程，直至b和θ均收敛，得到形变系数的最优值。

该形变系数的最优值作为该形变系数的数值代入到该经验模型中，以得到人脸的三维形状。

可以理解的是，在以上任意一个实施例中，得到该人脸的三维形状后，为了能够重建出人脸的三维模型，还需要从该目标人脸图像中获取人脸的纹理信息，并基于该人脸的纹理信息和该三维形状构建三维人脸模型。

其中，获取该目标人脸图像中人脸的纹理信息的方式采用现有的纹理获取方式。

为了进一步提高构建出的人脸三维形状的精准度，在通过以上任意一个实施例的方法构建出目标人脸图像中的人脸的三维形状之后，还可以利用多幅参照人脸图像进行三维形状的优化。参见图7，其示出了本申请一种图像处理方法另一个实施例的流程示意图，本实施例的方法可以包括：

701，获取二维的目标人脸图像。

702，接收用户在该目标人脸图像中标示出的标识曲线。

其中，该标识曲线用于指示该目标人脸图像中人脸的轮廓分布。

703，基于该标识曲线，并利用图像分割技术，从该目标人脸图像中识别出人脸的面部轮廓曲线。

704，确定该目标人脸图像中人脸的三维姿态。

705，检测该目标人脸图像中人脸的特征点位置。

706，利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出该经验模型的形变系数。

其中，该目标函数用于依据该目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及该人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出该人脸三维形状的经验模型的形变系数。

可以理解的是，以上步骤701至步骤706的实现过程可以参见前面任意一个实施例中相应步骤的介绍，在此不加限制。

707，获取参照人脸集合，并确定参照人脸集合中每张参照人脸图像中的特征点。

该参照人脸集合中包含有多张参照人脸图像。可以理解的是，这多张参照人脸图像应该与目标人脸图像中属于同一个人的人脸图像。

其中，参照人脸图像与目标人脸图像之间满足姿态互补原则。即，对于参照人脸集合中任意一个参照人脸I_re而言，参照人脸I_re中人脸的三维姿态θ_re与该目标人脸图像I中的三维姿态θ之间满足：

708，依据该目标人脸图像中人脸的三维姿态和参照人脸图像中人脸的三维姿态，构建该目标人脸图像到该参照人脸图像的单应变换。

目标人脸图像到该参照人脸图像的该单应变换实际上即为该人脸图像I中的三维姿态θ到该参照人脸图像I_re中人脸的三维姿态θ_re的单应变换相同，即该单应变换H_re为：θ→θ_re。

709，对目标人脸图像中的特征点在该目标人脸图像的区域纹理采样进行该单应变换，得到变换后的变换纹理。

对于该目标人脸图像中的每个特征点，分别对目标人脸图像中的每个特征点周围进行纹理采样，并基于该单应变换，对采样得到的纹理进行单应变换，得到变换纹理。

其中，目标人脸图像中的特征点X^e在目标人脸图像的区域纹理采样T(X^e)，经过该单应变换H_re后，得到变换纹理即：

710，在参照人脸图像中分别确定与每个变换纹理最匹配的匹配图像区域，得到该参照人脸图像中的多个匹配图像区域。

711，基于参照人脸图像中匹配图像区域与该参照人脸图像中特征点的一一对应关系，确定在该参照人脸图像中，每个匹配图像区域所对应的目标特征点，并从多个匹配图像区域中选取满足预设要求的目标匹配图像区域。

其中，将匹配图像区域的中心位置标记为该匹配图像区域对应的目标特征点记为则目标匹配图像区域中对应的目标特征点与中心位置之间满足如下关系：其中，ε为预先设定的阈值。

712，将参照人脸图像中的目标匹配图像区域对应的中心位置和目标特征点的均值确定为优化人脸特征点

即，该优化的人脸特征点为：(公式六)

713，利用该参照人脸图像中的优化人脸特征点并基于该姿态优化公式进行优化计算，得到优化三维人脸姿态θ_re。

其中，该姿态优化公式为：

优化三维人脸姿态的最优值(公式七)

其中，该优化三维人脸姿态的最优值即为最终要求解的该优化三维人脸姿态的具体数值。

714，利用该优化人脸特征点优化三维人脸姿态θ_re、预置的人脸三维形状的经验模型以及预置的优化目标函数，计算优化后的目标人脸三维形状。

其中，该优化目标函数为：

${\mathrm{\&Delta;b}}^{*}={\arg \min }_{\left\{\mathrm{\&Delta;b}\right\}}{\left|\right|P_{{\mathrm{\&theta;}}_{\mathrm{re}}}^{-1}{\hat{X}}_{\mathrm{re}}-I^e(\mathrm{\&mu;}+\mathrm{\&Phi;}(b^{*}+\mathrm{\&Delta;b}))\left|\right|}_1;$ (公式八)

其中，I^e为将特征点定位单元确定出的该人脸的特征点位置映射到三维空间所得到的参数化；θ_re为该姿态优化公式中待求解的优化三维姿态，为优化三维姿态的最优值；为该人脸的优化三维姿态θ_re确定的投影函数；Δb为优化形变系数，Δb^*为基于该优化目标函数求出的目标形变系数的最优值；b^*为基于步骤606中求解出的该人脸形状的经验模型的形变系数。

利用如上的公式八的优化目标函数便可以得到优化形变系数的最优值Δb^*，该Δb^*即为优化形变系数Δb的最终数值，将该Δb^*代入该人脸三维形状的经验模型中，可以得到优化后的目标人脸三维形状。

在本实施例中，利用与该目标人脸图像包含同一个人脸的参照人脸图像来重新确定优化的人脸三维形状，使得构建出的人脸三维形状的精准度更高。

考虑到由于人脸的自遮挡和图像采样等原因，可能导致部分区域的人脸纹理细节缺失，并可能存在明显的模糊现象。可选的，为了提高构建的人脸纹理的真实感，在采用图7实施例所示的方式得到优化的人脸三维形状后，还可以：基于优化后的该目标人脸三维形状、该参照人脸图像集合中的参照人脸图像的三维姿态，将每张参照人脸图像向三维空间进行重投影，得到由多张参照人脸图像对应的多张人脸纹理组成的人脸纹理集合；根据该人脸纹理集合中的多张人脸纹理进行人脸纹理重建，得到优化的目标人脸纹理。

其中，在利用该多张人脸纹理进行人脸纹理重建时，实际上是对人脸纹理中的每一点分别进行归一化，将该多张人脸纹理融合为一张人脸纹理。

基于该多张参照图像的人脸纹理来构建人脸纹理的方式，可以降低人脸部分区域纹理细节的缺失，进而提高构建出的人脸纹理的真实感。

可选的，可以利用如上方式确定出的目标人脸三维形状和目标人脸纹理，来构建三维人脸模型，以进一步提高构建出的三维人脸的精准度。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

与本申请实施例的方法相对应，本申请还提供了一种图像处理装置。

参见图8，其示出了本申请一种图像处理装置一个实施例的结构示意图，在本实施例中，该装置可以包括：

图像获取装置801，用于获取二维的目标人脸图像；

输入单元802，用于接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸的轮廓分布；

轮廓定位单元803，用于基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；

姿态确定单元804，用于确定所述目标人脸图像中人脸的三维姿态；

特征点定位单元805，用于检测所述目标人脸图像中人脸的特征点位置；

形状构建单元806，用于根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

可选的，基于输入的标识曲线的一种可能的情况，所述输入单元，可以包括：

第一输入子单元，用于接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；

相应的，所述轮廓定位单元，包括：

提取子单元，用于从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；

区域分割子单元，用于利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；

边界提取子单元，用于提取所述至少两个分割区域的边界；

第一轮廓定位子单元，用于利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部轮廓曲线。

可选的，基于输入的标识区域的另一种可能情况，所述输入单元，可以包括：

第二输入子单元，用于接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；

相应的，所述轮廓定位单元，包括：

前背景分割子单元，用于利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标人脸图像的前景区域和背景区域；

第二轮廓定位子单元，用于根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。

可选的，基于姿态确定单元确定三维姿态的一种方式，该姿态确定单元可以包括：

人脸检测单元，用于检测所述目标人脸图像中的人脸区域；

第一特征抽取单元，用于在所述人脸区域进行二值化特征抽取；

姿态预测单元，用于基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到所述目标人脸图像中人脸的三维姿态。

可选的，基于该特征点定位单元确定特征点的一种方式，该特征点定位单元，可以包括：

人脸区域确定单元，用于确定所述目标人脸图像的人脸区域；

第二特征抽取单元，用于根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指定范围内进行二值化特征抽取；

特征点预测单元，用于根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。

可选的，在以上任意一种实现方式中，该形状构建单元，可以包括：

形变参数确定单元，用于根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂

其中，θ为所述目标人脸图像中人脸的三维姿态，θ^*为所述人脸的三维姿态的最优值；b为该人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的该人脸三维形状的经验模型中形变系数的最优值；X^c为所述目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为所述目标人脸图像中人脸的特征点位置的参数化；I^c为将所述面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由所述人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数；

其中，I^c＝argmin_{S'}||P_θ(S')-X^c||₂；

S'为预置的初始人脸三维形状；

形状构建子单元，用于将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：

S＝μ+Φb；

其中，S为人脸三维形状的参数化表示。

进一步的，在以上任意一个实施例的基础上，该装置还可以包括：

参照获取单元，用于获取参照人脸集合，并分别定位所述参照人脸集合中每幅参照人脸图像中的特征点，其中，所述参照人脸图像与所述目标人脸图像之间满足姿态互补原则；

单应变换单元，用于依据所述目标人脸图像中人脸的三维姿态和参照人脸图像中人脸的三维姿态，构建所述目标人脸图像到所述参照人脸图像的单应变换；

纹理变换单元，用于将所述目标人脸图像中的每个特征点在所述目标人脸图像中的区域纹理采样进行所述单应变换，得到多个变换后的变换纹理；

纹理匹配单元，用于在所述参照人脸图像中，分别确定与每个所述变换纹理最匹配的匹配图像区域，得到所述参照人脸图像中的多个匹配图像区域；

目标区域匹配单元，用于基于所述参照人脸图像中的匹配图像区域与所述参照人脸图像中特征点的一一对应关系，确定每个匹配图像区域在所述参照人脸图像中对应的目标特征点，并从所述多个匹配图像区域中满足预设要求的目标匹配图像区域，其中，所述目标匹配图像区域的中心位置与所述目标匹配图像区域对应的目标特征点之间满足：ε为预先设定的阈值；

特征点优化单元，用于将所述目标匹配图像区域对应的中心位置和目标特征点的均值确定为优化人脸特征点

姿态优化单元，用于利用所述优化人脸特征点并基于姿态优化公式进行优化计算，得到优化三维人脸姿态θ_re，其中，所述姿态优化公式为： ${\mathrm{\&theta;}}_{\mathrm{re}}^{*}={\arg \min }_{\left\{{\mathrm{\&theta;}}_{\mathrm{re}}\right\}}{\left|\right|\widehat{X_{\mathrm{re}}}-I^e{P}_{{\mathrm{\&theta;}}_{\mathrm{re}}}(\mathrm{\&mu;}+\mathrm{\&Phi;}{b}^{*})\left|\right|}_2;$

形状优化单元，用于利用所述优化人脸特征点优化三维人脸姿态θ_re、所述预置的人脸三维形状的经验模型以及预置的优化目标函数，计算优化后的目标人脸三维形状。

其中，该优化目标函数为：

${\mathrm{\&Delta;b}}^{*}={\arg \min }_{\left\{\mathrm{\&Delta;b}\right\}}{\left|\right|P_{{\mathrm{\&theta;}}_{\mathrm{re}}}^{-1}{\hat{X}}_{\mathrm{re}}-S^e(\mathrm{\&mu;}+\mathrm{\&Phi;}(b^{*}+\mathrm{\&Delta;b}))\left|\right|}_1;$

其中，以上公式中，I^e为将特征点定位单元确定出的该人脸的特征点位置映射到三维空间所得到的参数化；θ^re为该姿态优化公式中待求解的优化三维姿态，为优化三维姿态的最优值；为该人脸的优化三维姿态θ_re确定的投影函数；Δb为优化形变系数，Δb^*为基于该优化目标函数求出的目标形变系数的最优值；b^*为基于该目标函数中求解出的该人脸形状的经验模型的形变系数。

另一方面，本申请还提供了一种图像处理设备，参见图9，示出了本申请一种图像处理设备一个实施例的结构示意图，本实施例中该图像处理设备900至少包括处理器901和存储器902。

该处理器801用于当获取二维的目标人脸图像；接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸的轮廓分布；基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；确定所述目标人脸图像中人脸的三维姿态；检测所述目标人脸图像中人脸的特征点位置；根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

该存储器902用于存储获取到的二维的目标人脸图像，以及该处理器运行的程序。

其中，该处理器可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecificIntegratedCircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。该存储器可能包含高速RAM存储器，也可能还包括非易失性存储器。

可选的，该图像处理设备还可以包括：通信接口和通信总线(图中未画出)。

对于装置实施例而言，由于其基本相应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，所述单元或子单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或多个子单元结合一起。另外，多个单元可以或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，所描述方法和装置以及不同实施例的示意图，在不超出本申请的范围内，可以与其它系统，模块，技术或方法结合或集成。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取二维的目标人脸图像；

接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸的轮廓分布；

基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；

确定所述目标人脸图像中人脸的三维姿态；

检测所述目标人脸图像中人脸的特征点位置；

根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

2.根据权利要求1所述的方法，其特征在于，所述接收用户在所述目标人脸图像中标示出的标识曲线，包括：

接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；

所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线，包括：

从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；

利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；

提取所述至少两个分割区域的边界；

利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部轮廓曲线。

3.根据权利要求1所述的方法，其特征在于，所述接收用户在所述目标人脸图像中标示出的标识曲线，包括：

接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；

所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线，包括：

利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标人脸图像的前景区域和背景区域；

根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。

4.根据权利要求1所述的方法，其特征在于，所述确定所述目标人脸图像中人脸的三维姿态，包括：

检测所述目标人脸图像中的人脸区域；

在所述人脸区域进行二值化特征抽取；

基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到所述目标人脸图像中人脸的三维姿态。

5.根据权利要求1所述的方法，其特征在于，所述检测所述目标人脸图像中人脸的特征点位置，包括：

确定所述目标人脸图像的人脸区域；

根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指定范围内进行二值化特征抽取；

根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，包括：

根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预置的人脸三维形状的经验经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂

其中，θ为所述目标人脸图像中人脸的三维姿态，θ^*为所述人脸的三维姿态的最优值；b为所述人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的所述人脸三维形状的经验模型中形变系数b的最优值；X^c为所述目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为所述目标人脸图像中人脸的特征点位置的参数化；I^c为将所述面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由所述人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数；

其中，I^c＝argmin_{S'}||P_θ(S')-X^c||₂；

S'为预置的初始人脸三维形状；

将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：

S＝μ+Φb；

其中，S为人脸三维形状的参数化表示。

7.根据权利要求1或6所述的方法，其特征在于，在所述构建出所述目标人脸图像中人脸的三维形状之后，还包括：

获取参照人脸集合，并分别定位所述参照人脸集合中每幅参照人脸图像中的特征点，其中，所述参照人脸图像与所述目标人脸图像之间满足姿态互补原则；

依据所述目标人脸图像中人脸的三维姿态和参照人脸图像中人脸的三维姿态，构建所述目标人脸图像到所述参照人脸图像的单应变换；

将所述目标人脸图像中的每个特征点在所述目标人脸图像中的区域纹理采样进行所述单应变换，得到多个变换后的变换纹理；

在所述参照人脸图像中，分别确定与每个所述变换纹理最匹配的匹配图像区域，得到所述参照人脸图像中的多个匹配图像区域；

基于所述参照人脸图像中的匹配图像区域与所述参照人脸图像中特征点的一一对应关系，确定每个匹配图像区域在所述参照人脸图像中对应的目标特征点；

从所述多个匹配图像区域中确定满足预设要求的目标匹配图像区域，其中，所述目标匹配图像区域的中心位置与所述目标匹配图像区域对应的目标特征点之间满足：ε为预先设定的阈值；

将所述目标匹配图像区域对应的中心位置和目标特征点的均值确定为优化人脸特征点

利用所述优化人脸特征点并基于姿态优化公式进行优化计算，得到优化三维人脸姿态θ_re，其中，所述姿态优化公式为： ${\mathrm{\&theta;}}_{\mathrm{re}}^{*}={\arg \min }_{\left\{{\mathrm{\&theta;}}_{\mathrm{re}}\right\}}{\left|\right|\widehat{X_{\mathrm{re}}}-I^e{P}_{{\mathrm{\&theta;}}_{\mathrm{re}}}(\mathrm{\&mu;}+\mathrm{\&Phi;}{b}^{*})\left|\right|}_2;$

利用所述优化人脸特征点优化三维人脸姿态θ_re、所述预置的人脸三维形状的经验模型以及预置的优化目标函数，计算优化后的目标人脸三维形状；

其中，该优化目标函数为：

${\mathrm{\&Delta;b}}^{*}={\arg \min }_{\left\{\mathrm{\&Delta;b}\right\}}{\left|\right|P_{{\mathrm{\&theta;}}_{\mathrm{re}}}^{-1}{\hat{X}}_{\mathrm{re}}-I^e(\mathrm{\&mu;}+\mathrm{\&Phi;}(b^{*}+\mathrm{\&Delta;b}))\left|\right|}_1;$

其中，I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；θ_re为所述姿态优化公式中待求解的优化三维姿态，为所述优化三维姿态的最优值；为所述人脸的优化三维姿态θ_re确定的投影函数；b^*为基于所述目标函数确定出的所述形变系数；Δb为所述三维人脸形状的经验模型中的优化目标形变系数，Δb^*为基于所述优化目标函数确定出的所述优化目标形变系数的最优值。

8.一种图像处理装置，其特征在于，包括：

图像获取装置，用于获取二维的目标人脸图像；

输入单元，用于接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述目标人脸图像中人脸的轮廓分布；

轮廓定位单元，用于基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的面部轮廓曲线；

姿态确定单元，用于确定所述目标人脸图像中人脸的三维姿态；

特征点定位单元，用于检测所述目标人脸图像中人脸的特征点位置；

形状构建单元，用于根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。

9.根据权利要求8所述的装置，其特征在于，所述输入单元，包括：

第一输入子单元，用于接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；

所述轮廓定位单元，包括：

提取子单元，用于从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；

区域分割子单元，用于利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；

边界提取子单元，用于提取所述至少两个分割区域的边界；

第一轮廓定位子单元，用于利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部轮廓曲线。

10.根据权利要求8所述的装置，其特征在于，所述输入单元，包括：

第二输入子单元，用于接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；

所述轮廓定位单元，包括：

前背景分割子单元，用于利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标人脸图像的前景区域和背景区域；

第二轮廓定位子单元，用于根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。

11.根据权利要求8所述的装置，其特征在于，所述姿态确定单元，包括：

人脸检测单元，用于检测所述目标人脸图像中的人脸区域；

第一特征抽取单元，用于在所述人脸区域进行二值化特征抽取；

姿态预测单元，用于基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到所述目标人脸图像中人脸的三维姿态。

12.根据权利要求8所述的装置，其特征在于，所述特征点定位单元，包括：

人脸区域确定单元，用于确定所述目标人脸图像的人脸区域；

第二特征抽取单元，用于根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指定范围内进行二值化特征抽取；

特征点预测单元，用于根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。

13.根据权利要求8至12任一项所述的装置，其特征在于，所述形状构建单元，包括：

形变参数确定单元，用于根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：

{θ^*,b^*}＝argmin_{θ,b}||(X^c,X^e)-(I^c,I^e)P_θ(μ+Φb)||₂+λ||b/ρ||₂；

其中，θ为所述目标人脸图像中人脸的三维姿态，θ^*为所述人脸的三维姿态的最优值；b为所述人脸三维形状的经验模型中的形变系数，b^*为基于该目标函数确定出的所述人脸三维形状的经验模型中形变系数b的最优值；X^c为所述目标人脸图像中人脸的面部轮廓曲线的参数化；X^e为所述目标人脸图像中人脸的特征点位置的参数化；I^c为将所述面部轮廓曲线X^c映射到三维空间所得到的参数化；I^e为将所述人脸的特征点位置映射到三维空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描述；P_θ为由所述人脸的三维姿态θ确定的投影函数；ρ为预置的形变经验参数；

其中，I^c＝argmin_{S'}||P_θ(S')-X^c||₂；

S'为预置的初始人脸三维形状；

形状构建子单元，用于将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：

S＝μ+Φb；

其中，S为人脸三维形状的参数化表示。

14.根据权利要求8所述的装置，其特征在于，还包括：

参照获取单元，用于获取参照人脸集合，并分别定位所述参照人脸集合中每幅参照人脸图像中的特征点，其中，所述参照人脸图像与所述目标人脸图像之间满足姿态互补原则；

单应变换单元，用于依据所述目标人脸图像中人脸的三维姿态和参照人脸图像中人脸的三维姿态，构建所述目标人脸图像到所述参照人脸图像的单应变换；

纹理变换单元，用于将所述目标人脸图像中的每个特征点在所述目标人脸图像中的区域纹理采样进行所述单应变换，得到多个变换后的变换纹理；

纹理匹配单元，用于在所述参照人脸图像中，分别确定与每个所述变换纹理最匹配的匹配图像区域，得到所述参照人脸图像中的多个匹配图像区域；

目标区域匹配单元，用于基于所述参照人脸图像中的匹配图像区域与所述参照人脸图像中特征点的一一对应关系，确定每个匹配图像区域在所述参照人脸图像中对应的目标特征点，并从所述多个匹配图像区域中满足预设要求的目标匹配图像区域，其中，所述目标匹配图像区域的中心位置与所述目标匹配图像区域对应的目标特征点之间满足：ε为预先设定的阈值；

特征点优化单元，用于将所述目标匹配图像区域对应的中心位置和目标特征点的均值确定为优化人脸特征点

姿态优化单元，用于利用所述优化人脸特征点并基于姿态优化公式进行优化计算，得到优化三维人脸姿态θ_re，其中，所述姿态优化公式为： ${\mathrm{\&theta;}}_{\mathrm{re}}^{*}={\arg \min }_{\left\{{\mathrm{\&theta;}}_{\mathrm{re}}\right\}}{\left|\right|\widehat{X_{\mathrm{re}}}-I^e{P}_{{\mathrm{\&theta;}}_{\mathrm{re}}}(\mathrm{\&mu;}+\mathrm{\&Phi;}{b}^{*})\left|\right|}_2;$

形状优化单元，用于利用所述优化人脸特征点优化三维人脸姿态θre、所述预置的人脸三维形状的经验模型以及预置的优化目标函数，计算优化后的目标人脸三维形状；

其中，该优化目标函数为：

${\mathrm{\&Delta;b}}^{*}={\arg \min }_{\left\{\mathrm{\&Delta;b}\right\}}{\left|\right|P_{{\mathrm{\&theta;}}_{\mathrm{re}}}^{-1}{\hat{X}}_{\mathrm{re}}-I^e(\mathrm{\&mu;}+\mathrm{\&Phi;}(b^{*}+\mathrm{\&Delta;b}))\left|\right|}_1;$

其中，I^e为将所述特征点定位单元确定出的所述人脸的特征点位置映射到三维空间所得到的参数化；θ_re为所述姿态优化公式中待求解的优化三维姿态，为所述优化三维姿态的最优值；为所述人脸的优化三维姿态θ_re确定的投影函数；b^*为基于所述目标函数确定出的所述形变系数；Δb为所述三维人脸形状的经验模型中的优化目标形变系数，Δb^*为基于所述优化目标函数确定出的所述优化目标形变系数的最优值。