CN113870404A - 一种3d模型的皮肤渲染方法及设备 - Google Patents

Abstract

本申请涉及三维重建技术领域，提供一种3D模型的皮肤渲染方法及设备。具体的，通过对实时获取的目标对象的纹理图像进行人脸检测，得到人脸纹理图像，从人脸纹理图像中提取目标对象的真实肤色，按照肤色调节规则，根据真实肤色和皮肤库中的皮肤确定目标肤色，真实肤色保留了目标对象皮肤的个性化特征，更能满足用户的个性化需求；将目标肤色迁移到3D模型的第一部分区域，使的渲染后的3D模型更加真实；通过对3D模型的原始面部图像和目标肤色生成的目标人脸图像进行前景和背景的融合，并用融合后的肤色渲染3D模型的第二部分区域，使3D模型的第一部分区域和第二部分区域皮肤的颜色过渡的更加自然、真实。

Description

一种3D模型的皮肤渲染方法及设备

技术领域

本申请涉及三维重建技术领域，尤其涉及一种3D模型的皮肤渲染方法及设备。

背景技术

随着5G的逐渐普及，虚拟社交、3D数字人相关的各种应用(如：虚拟演唱会、虚拟主播、虚拟直播带货、虚拟导游)开始进入大众视野，这些应用通过提供个性化逼真人物模型来提高用户的沉浸式体验。

在三维重建领域中，皮肤渲染作为人物建模的基础工作，其真实性直接影响了人物模型的重建效果。因此，在重建过程中，皮肤的个性化渲染在人物建模时耗费了大量资源。

目前，人物模型的皮肤大多采用传统的离线逐帧方式渲染的，并在渲染后进行手动调节，渲染的皮肤较为真实。但由于离线渲染，其耗时较长，实时性较差，因此，难以推广普及。

例如，假设一个形象逼真的3D数字人的建模耗时按月计算时，则皮肤的渲染需要按周计算，渲染效率较低，实时性较差。针对虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality、AR)等实时性要求较高的应用场景，离线逐帧渲染并不适用。

发明内容

本申请实施例提供了一种3D模型的皮肤渲染方法及设备，用以提高个性化皮肤渲染的实时性、真实性以及高效性。

第一方面，提供一种3D模型的皮肤渲染方法，包括：

获取待渲染的目标对象的纹理图像，对所述纹理图像进行人脸检测，得到人脸纹理图像；

提取所述人脸纹理图像中的肤色信息，得到所述目标对象的真实肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色；

根据所述目标肤色，渲染所述3D模型的第一部分区域；

将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染所述3D模型的第二部分区域，其中，所述目标人脸图像是根据所述目标肤色生成的；

对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节。

第二方面，提供一种显示设备，包括处理器、存储器、显示器以及至少一个外部通信接口，所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

通过所述至少一个外部通信接口获取待渲染的目标对象的纹理图像，对所述纹理图像进行人脸检测，得到人脸纹理图像；

提取所述人脸纹理图像中的肤色信息，得到所述目标对象的真实肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色；

根据所述目标肤色，渲染所述3D模型的第一部分区域；

将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染所述3D模型的第二部分区域，其中，所述目标人脸图像是根据所述目标肤色生成的；

对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节，并由所述显示器进行显示。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的3D模型的皮肤渲染方法。

本申请的上述实施例中，实时获取目标对象的纹理图像，并进行人脸检测，从真实的人脸纹理图像提取肤色信息，得到目标对象的真实肤色，按照预先建立的肤色调节规则，结合真实肤色确定目标对象对应的3D模型的目标肤色，从而保留目标对象皮肤的个性化特征，更能满足用户的个性化需求；将目标肤色迁移到3D模型的第一部分区域，由于目标肤色保留了目标对象的真实肤色，从而是渲染后的3D模型更加真实；通过对3D模型的原始面部图像和目标肤色生成的目标人脸图像进行前景和背景的融合，并用融合后的肤色渲染3D模型的第二部分区域，使3D模型的第一部分区域和第二部分区域皮肤的颜色过渡的更加自然、真实，从而提高3D模型的真实性，且相对于离线渲染，提高了皮肤的渲染效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的3D模型的皮肤渲染方法流程图；

图2示例性示出了本申请实施例提供的PBR渲染方式调节肤色示意图；

图3示例性示出了本申请实施例提供的肤色融合的效果图；

图4示例性示出了本申请实施例提供的肤色调节后的效果图；

图5A示例性示出了本申请实施例提供的光源位置与3D模型阴影的之间的关系图；

图5B示例性示出了本申请实施例提供的不同位置光源的光线图；

图6示例性示出了本申请的实施例提供的完整的3D模型的皮肤渲染方法流程图；

图7示例性示出了本申请的实施例提供的显示设备的功能结构图；

图8示例性示出了本申请的实施例提供的显示设备的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

随着虚拟时代的到来，无论是在游戏还是影视等行业，人物希望拥有自己个性化的形象化身，个性化逼真的形象化身，为虚拟行业注入了新鲜的活力。

高效、逼真的人物建模是3D数字人、虚拟人、数字虚拟人等领域的关键环节之一，其中，皮肤的逼真渲染又是人物建模的重要环节。

目前，常用的皮肤渲染方法主要有两种，一是以卡通为主，应用在VR游戏场景中，游戏平台提供一些皮肤模板供玩家选择，与玩家本身皮肤没有任何关系，玩家常常找不到跟自己相似的皮肤，此外，卡通风格的皮肤跟真实皮肤差异较大，在vR场景中难以带来良好临场感，逼真效果较差，影响玩家体验；二是利用高速、高清、高成本的相机阵列对头部进行扫描，以建立逼真的人物模型，而对于人物模型的躯体和四肢部分，由于受到空间和成本的限制，常采用参数化人体几何模型来合成，从而导致同一模型的头部和躯体、四肢部分肤色不一致的问题，降低模型真实性。

目前人物模型的皮肤渲染主要面临以下挑战：1)皮肤比较简单，渲染效果失真，降低了沉浸式体验；2)未能实现自动化渲染，皮肤的生成效率较低，实时性较差；3)整体肤色存在偏差，真实感较差。

在一些场景中，采用人工手动调节的方式提高皮肤的真实性，这需要耗费较大的人力物力，然而，并不是每个人都有时间和财力去建立自己的个性化皮肤，因此难以普及推广。

基于上述分析，本申请实施例提供一种3D模型的皮肤渲染方法及设备，包括个性化3D模型人物皮肤的生成以及基于物理的渲染(Physicallly-Based Rendering，PBR)实时渲染，具体的，实时采集待建模的目标对象的纹理图像，并检测出人脸，利用肤色分割算法，从人脸纹理图像中提取肤色信息，并与建立3D模型的皮肤库进行匹配，得到与目标对象匹配的个性化皮肤，相对于直接采用固定模板中的虚拟皮肤，更能满足用户的个性化需求；并且，通过预先建立的肤色调节规则，利用真实的人脸肤色对匹配出的皮肤进行调节，使匹配出的皮肤与人脸的真实皮肤更加接近，从而可以高效率、高质量还原3D模型的头部区域，提高3D模型的真实感；此外，由于躯体部分有衣物等遮挡，无法采集到真实的皮肤，因此，采用PBR渲染方式，对头部皮肤和躯体皮肤进行融合，使3D模型的头部皮肤和躯体皮肤自然过渡，提高3D模型的整体肤色的真实性，进而增强虚拟社交场景人物真实感带来沉浸感。该方法成本低、效率高、无需裸露躯体部分，适于推广应用。

下面以3D模型为3D数字人为例，结合附图详细描述本申请的实施例。

本申请的实施例中，预先生成了3D模型皮肤库。首先，收集人体的主流肤色类型，根据收集的结果，为人体几何模型的皮肤材质设置肤色类型，例如设置了黑、白、黄、棕四种肤色类型。由于男女的体态特征不同，本申请实施例为男女3D模型各建立预设数目的皮肤。具体的，分别将男女的3D模型进行曲面展开，得到2D图像，针对每一种肤色类型，参照皮肤色卡，渲染2D图像，得到男女3D模型各自对应的预设数目的皮肤纹理图像，生成3D模型皮肤库。

基于预先生成的3D模型皮肤库，实现本申请实施例提供的3D模型的皮肤渲染方法，参见图1所示的流程，该流程由渲染终端执行，主要包括以下几步：

S101：获取待渲染的目标对象的纹理图像，对纹理图像进行人脸检测，得到人脸纹理图像。

在S101中，相机实时采集待渲染的目标对象的纹理图像，并将采集的纹理图像发送给渲染终端，渲染终端接收到目标对象的纹理图像后，采用AdaBoost算法进行人脸检测，得到用于渲染目标对象的3D模型的头部区域皮肤的人脸纹理图像。

需要说明的是，在S101中，本申请实施例对人脸检测算法不做限制性要求，例如还可以采用卷积神经网络(Convolutional Neural Networks，CNN)算法、支持向量机(Support Vector Machine)算法等。

S102：提取人脸纹理图像中的肤色信息，得到目标对象的真实肤色。

在S102中，渲染终端利用几种色彩空间之间的转换规则，将RGB格式的人脸纹理图像转换为YCbCr格式，根据YCbCr格式的图像初始确定人脸区域，并分别统计人脸区域中Y分量、Cb分量、Cr分量的高斯分布状态，确定各个分量的高斯分布的均值和方差，根据各个分量的高斯分布的均值和方差，确定相应分量中各个像素点的马氏(Mahalanobis)距离，计算公式如下：

其中，x表示像素点，μ表示单个分量的高斯分布均值，∑表示高斯分布的协方差矩阵，T表示转置，D(x)表示单像素点的马氏距离。当∑为单位向量时，公式1为欧式距离。

进一步地，针对各个分量的每个像素点，确定该像素点的马氏距离是否在预设取值区间内，若在，则确定该像素点为人脸像素点，并提取人脸像素点的肤色信息，得到目标对象的真实肤色。

其中，本申请实施例对预设取值区间的大小不做限制性要求，例如，其可以是根据预先建立的带肤色的3D模型设置的，也可以是根据经验值设置的。

在lαβ色彩空间中，l、α、β各个分量的值为对数空间的值，可以消除各个分量之间较强的相关性，并且图像的灰度信息和颜色信息也能得到不错的分离效果。因此，一种可选的实施方式中在执行S201时，将人脸纹理图像转换为YCbCr格式，初始确定人脸区域后，还可将YCbCr格式的人脸纹理图像转换为Iαβ格式的，根据Iαβ格式中各个分量的分布状态确定马氏距离，进而提取人脸像素点的肤色信息。

S103：根据真实肤色，以及预先建立的肤色调节规则，确定目标对象对应的3D模型的目标肤色。

在S103中，首先，将目标对象的真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，选取出与目标对象的真实肤色最匹配的皮肤，并将选取的皮肤作为该目标对象的3D模型的原始肤色，然后，根据目标对象的真实肤色，以及预先建立的肤色调节规则，对3D模型的原始肤色进行调节，以使目标对象的真实肤色与3D模型的原始肤色尽可能的接近，从而得到3D模型的目标肤色。

S104：根据目标肤色，渲染3D模型的第一部分区域。

在S104中，第一部分区域只除3D模型头部以外的区域，包括躯干和四肢部分，而这部分区域由于衣物的遮挡，可能没办法采集到真实的肤色，而人脸部分几乎不会被遮挡，因此，可用人脸的真实肤色调节3D模型躯干和四肢部分的肤色。由上述实施例可知，目标肤色是基于目标对象人脸的真实肤色调节后得到，因此，可将目标肤色迁移到3D模型的躯干和四肢部分。由于目标肤色保留了目标对象皮肤的个性化特征，用目标肤色渲染3D模型的第一部分区域，可以使渲染后的3D模型更加真实。

S105：将3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染3D模型的第二部分区域，其中，目标人脸图像是根据目标肤色生成的。

在S105中，第二部分区域指3D模型的头部区域，得到目标肤色后，将目标肤色迁移到3D模型头部区域的面部，生成3D模型对应的目标人脸图像。

在本申请的实施例中，得到人脸纹理图像后，根据人脸纹理图像的特征，生成人脸纹理图像的掩码图像，并根据掩码图像，抠取3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像；将原始面部图像作为前景图像，目标面部图像作为背景图像，采用泊松融合算法，进行前景与背景的融合，得到融合后的肤色，并用融合后的肤色渲染3D模型的第二部分区域。由于融合后的肤色信息既保留了人脸的真实肤色，也保留了3D模型的原始肤色，这样，渲染后的3D模型的第二部分区域与第一部分区域的肤色差距较小，模型看起来更加的真实。

原始面部图像和目标人脸图像融合后的效果如图2所示。

S 1 06：对3D模型中第一部分区域和第二部分区域的皮肤进行整体调节。

在S106中，可采用PBR渲染方式，对第一部分区域和第二部分区域皮肤的基础色(Base Color)进行整体调节。具体的，将第一部分区域对应的皮肤贴图，以及预先生成的漫反射贴图进行肤色混合，根据混合后的肤色，调节第一部分区域和第二部分区域的皮肤，从而缩小3D模型第一部分区域和第二部分区域的肤色差距，使肤色过渡的更加自然。

其中，漫反射贴图的生成方式包括：采集不同面部表情状态下的漫反射贴图，根据混合不同面部表情状态(Blend Shapes)对应的遮罩参数，联合生成面部的漫反射贴图，使得生成的漫反射贴图可以表征不同面部表情状态下呈现出逼真效果。其中，Blend Shapes为一组整体表情基准，表情数量可以有十几个、50个、100个、200个，数量越多，表情越细腻。

在一些实施例中，除对第一部分区域和第二部分区域的皮肤进行基础色调节外，还可以进行高光(Specular)调节、粗糙度(Roughness)调节、法线(Normal)调节、环境光遮蔽(Ambient Occlusion，AO)调节、次表面散射调节中的至少一种。具体的调节过程如图3所示，其中：

高光调节通过幂次、插值运算等方式调整高光强度范围，再运行菲涅尔(Fresnel)算法增强3D模型边缘的高光反射。高光调节时，菲涅尔(Fresnel)节点加强3D模型边缘的粗糙度。

粗糙度的调节与基础色的调节类似。具体的，预先采集不同面部表情状态下的多张粗糙度贴图，针对每一面部表情状态，将多张粗糙度贴图联合生成初始的粗糙度值；再将不同面部表情状态下初始的粗糙度值相乘，得到目标粗糙度值。根据预先生成的目标粗糙度值，调节3D模型第一部分区域和第二部分区域皮肤的粗糙度。

法线调节通过调节法线实现。具体的，预先采集不同面部表情状态下的法线贴图，混合不同面部表情状态(Blend Shape)对应的遮罩参数，联合生成面部的主法线贴图和微观法线贴图。其中，主法线贴图用于增强3D模型在不同面部表情状态下的法线表现，微观法线用于在目标对象与镜头的距离较近时，增加3D模型的皮肤法线。

环境光遮蔽调节，用于增强3D模型皮肤的层次感和真实感。

次表面散射调节，通过光照模型对皮肤周边的采样像素点进行加权计算，使整体皮肤照明效果变的柔和，光边和皮肤之间的过渡更加柔和有光感。其中，光照模型包括但不限于双向反射分布函数(Bidirectional Reflectance Distribution Function，BRDF)、双向散射表面反射率分布函数(Bidirectional Surface Scattering ReflectanceDistribution Function，BSSRDF)。

采用PBR渲染方式，对3D模型的第一部分区域和第二部分区域的皮肤进行基础色调节、高光调节、粗糙度调节、法线调节、环境光遮蔽调节、次表面散射调节后的效果如图4所示。

在一些实施例中，采用PBR渲染方式对3D模型中第一部分区域和第二部分区域的皮肤进行整体调节后，还可根据虚拟场景中光源的位置，为3D模型绘制阴影以增加立体效果。其中，不同的光源位置对阴影的影响不同。

图5A示例性示出了右前侧光源对3D模型阴影的效果图，如图5A示出的，正面光向下投射45度时，可以塑造面部的轮廓，使得面部有五官投射的阴影，从而脸显的小且立体。

图5B示例性示出了前后上下、不同角度的光源对3D模型阴影的效果图，可根据实际需要设置光源位置，绘制阴影效果。

本申请的上述实施例中，首先实时采集待建模的目标对象的纹理图像，并检测出人脸，从人脸纹理图像中提取肤色信息，得到人脸的真实肤色，保留目标对象的个性化特征，将真实肤色与3D模型皮肤库中皮肤进行匹配，得到目标肤色，并将目标肤色迁移到了3D模型的躯体和四肢部分，减小皮肤库中皮肤和真实肤色不一致的问题，提高3D模型的真实性；接着，将目标肤色生成的目标人脸图像和3D模型的原始面部图像进行泊松融合，得到融合后的肤色，并用融合后的肤色渲染3D模型的头部区域，使3D模型头部皮肤颜色到躯体、四肢皮肤颜色的自然过渡，且由于目标肤色和融合后的肤色保留了目标对象的真实肤色，保证渲染效果高度逼真；最后，采用PBR渲染方式和添加虚拟光源，进一步增强3D模型皮肤的真实感和立体感。

图6示例性示出了本申请实施例提供的完整的3D模型皮肤的渲染流程图，可分为主线流程和辅线流程，主要包括以下几步：

S601：获取待渲染的目标对象的纹理图像，对纹理图像进行人脸检测，得到人脸纹理图像。

S602：提取人脸纹理图像中的肤色信息，得到目标对象的真实肤色。

S603：将真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，得到3D模型的原始肤色。

S604：根据真实肤色，以及预先建立的肤色调节规则，确定目标对象对应的3D模型的目标肤色。

S605：根据目标肤色，渲染3D模型的第一部分区域。

S606：根据目标肤色，生成3D模型的目标人脸图像。

S607：生成人脸纹理图像的掩码图像。

S608：根据生成的掩码图像，抠取3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像。

S609：将原始面部图像作为前景图像，目标面部图像作为背景图像，采用泊松融合算法，进行前景与背景的融合，得到融合后的肤色。

S610：用融合后的肤色渲染3D模型的第二部分区域。

S611：对3D模型中第一部分区域和第二部分区域的皮肤进行基础色调节。

S612：对3D模型中第一部分区域和第二部分区域的皮肤进行高光调节。

S613：对3D模型中第一部分区域和第二部分区域的皮肤进行粗糙度调节。

S614：对3D模型中第一部分区域和第二部分区域的皮肤进行法线调节。

S615：对3D模型中第一部分区域和第二部分区域的皮肤进行环境光遮蔽调节。

S616：对3D模型中第一部分区域和第二部分区域的皮肤进行次表面散射调节。

S617：增加虚拟光源，为3D模型绘制阴影以增加立体效果。

需要说明的是，本申请实施例中的渲染终端可以是智能手机、平板电脑、台式机、笔记本电脑、智能电视以及VR头显、AR眼镜等具有数据处理能力和显示功能的设备。

基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可执行上述实施例中3D模型的皮肤渲染方法，且能达到同样的技术效果。

参见图7，该显示设备包括检测模块701、肤色提取模块702、处理模块703、渲染模块704、融合模块705、调节模块706：

检测模块701，用于获取待渲染的目标对象的纹理图像，对纹理图像进行人脸检测，得到人脸纹理图像；

肤色提取模块702，用于提取人脸纹理图像中的肤色信息，得到目标对象的真实肤色；

处理模块703，用于根据真实肤色，以及预先建立的肤色调节规则，确定目标对象对应的3D模型的目标肤色；

渲染模块704，用于根据目标肤色，渲染3D模型的第一部分区域；以及，用融合后的肤色渲染3D模型的第二部分区域；

融合模块705，用于将3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，目标人脸图像是根据目标肤色生成的；

调节模块706，用于对3D模型中第一部分区域和第二部分区域的皮肤进行整体调节。

可选的，提取模块702具体用于：

将人脸纹理图像转换为YCbCr格式，初始确定人脸区域；

分别统计人脸区域内Y分量、Cb分量、Cr分量的高斯分布状态，并确定各个分量高斯分布的均值和方差；

根据各个分量高斯分布的均值和方差，确定相应分量中各个像素点的马氏距离；

针对每个像素点，若像素点的马氏距离在预设取值区间，则确定像素点为人脸像素点，并提取人脸像素点的肤色信息。

可选的，处理模块703具体用于：

将真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，确定3D模型的原始肤色；

根据真实肤色，以及预先建立的肤色调节规则，对原始肤色进行调节，得到目标肤色。

可选的，融合模块705具体用于：

生成人脸纹理图像的掩码图像，并根据掩码图像，抠取3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像；

将原始面部图像作为前景图像，目标面部图像作为背景图像，进行前景与背景的融合，得到融合后的肤色。

可选的，调节模块706具体用于：

将第一部分区域对应的皮肤贴图，以及预先生成的漫反射贴图进行肤色混合；

根据混合后的肤色，调节第一部分区域和第二部分区域的皮肤。

可选的，调节模块706还用于：

利用PBR渲染管线，对第一部分区域和第二部分区域的皮肤进行高光调节、粗糙度调节、细节调节、环境光遮蔽调节、次表面散射调节中的至少一种。

可选的，显示设备还包括阴影绘制模块707，用于：

根据虚拟场景中光源的位置，为3D模型绘制阴影以增加立体效果。

基于相同的技术构思，本申请实施例提供一种显示设备，如图8所示，该显示设备包括处理器801、存储器802、显示器803以及至少一个外部通信接口804；上述处理器801、存储器802、显示器803以及外部通信接口804均通过总线805连接。

存储器802中存储有计算机程序，处理器801执行该计算机程序时实现前述3D模型的皮肤渲染方法，并能达到同样的技术效果。

作为一种实施例，处理器801的数量可以是一个或多个，处理器801和存储器802可以是耦合设置，也可以是相对独立设置。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的计算机程序可以存储于计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于同一技术构思，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的3D模型的皮肤渲染方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种3D模型的皮肤渲染方法，其特征在于，包括：

获取待渲染的目标对象的纹理图像，对所述纹理图像进行人脸检测，得到人脸纹理图像；

提取所述人脸纹理图像中的肤色信息，得到所述目标对象的真实肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色；

根据所述目标肤色，渲染所述3D模型的第一部分区域；

将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染所述3D模型的第二部分区域，其中，所述目标人脸图像是根据所述目标肤色生成的；

对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节。

2.如权利要求1所述的方法，其特征在于，所述根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色，包括：

将所述真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，确定所述3D模型的原始肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，对所述原始肤色进行调节，得到目标肤色。

3.如权利要求1所述的方法，其特征在于，所述将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，包括：

生成所述人脸纹理图像的掩码图像，并根据所述掩码图像，抠取所述3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像；

将所述原始面部图像作为前景图像，所述目标面部图像作为背景图像，进行前景与背景的融合，得到融合后的肤色。

4.如权利要求1所述的方法，其特征在于，所述对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节，包括：

将所述第一部分区域对应的皮肤贴图，以及预先生成的漫反射贴图进行肤色混合；

根据混合后的肤色，调节所述第一部分区域和所述第二部分区域的皮肤。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

采用基于物理的渲染PBR方法，对所述第一部分区域和所述第二部分区域的皮肤进行高光调节、粗糙度调节、细节调节、环境光遮蔽调节、次表面散射调节中的至少一种。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述提取所述人脸纹理图像中的肤色信息，包括：

将所述人脸纹理图像转换为YCbCr格式，初始确定人脸区域；

分别统计所述人脸区域内Y分量、Cb分量、Cr分量的高斯分布状态，并确定各个分量高斯分布的均值和方差；

根据各个分量高斯分布的均值和方差，确定相应分量中各个像素点的马氏距离；

针对每个像素点，若所述像素点的马氏距离在预设取值区间，则确定所述像素点为人脸像素点，并提取所述人脸像素点的肤色信息。

7.如权利要求1-5中任一项所述的方法，其特征在于，所述对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体渲染后，还包括：

根据虚拟场景中光源的位置，为所述3D模型绘制阴影以增加立体效果。

8.一种显示设备，其特征在于，包括处理器、存储器、显示器以及至少一个外部通信接口，所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

通过所述至少一个外部通信接口获取待渲染的目标对象的纹理图像，对所述纹理图像进行人脸检测，得到人脸纹理图像；

提取所述人脸纹理图像中的肤色信息，得到所述目标对象的真实肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色；

根据所述目标肤色，渲染所述3D模型的第一部分区域；

将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，并用融合后的肤色渲染所述3D模型的第二部分区域，其中，所述目标人脸图像是根据所述目标肤色生成的；

对所述3D模型中所述第一部分区域和所述第二部分区域的皮肤进行整体调节，并由所述显示器进行显示。

9.如权利要求8所述的显示设备，其特征在于，所述处理器根据所述真实肤色，以及预先建立的肤色调节规则，确定所述目标对象对应的3D模型的目标肤色，具体被配置为：

将所述真实肤色与预先生成的3D模型皮肤库中的皮肤进行匹配，确定所述3D模型的原始肤色；

根据所述真实肤色，以及预先建立的肤色调节规则，对所述原始肤色进行调节，得到目标肤色。

10.如权利要求8所述的显示设备，其特征在于，所述处理器将所述3D模型的原始面部图像和目标人脸图像进行融合，得到融合后的肤色，具体被配置为：

生成所述人脸纹理图像的掩码图像，并根据所述掩码图像，抠取所述3D模型对应的原始纹理图像中的人脸区域，得到原始面部图像；

将所述原始面部图像作为前景图像，所述目标面部图像作为背景图像，进行前景与背景的融合，得到融合后的肤色。

Images