[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115936970A - 虚拟面部形象生成方法、装置、电子设备及存储介质 - Google Patents

虚拟面部形象生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115936970A
CN115936970A CN202210743816.8A CN202210743816A CN115936970A CN 115936970 A CN115936970 A CN 115936970A CN 202210743816 A CN202210743816 A CN 202210743816A CN 115936970 A CN115936970 A CN 115936970A
Authority
CN
China
Prior art keywords
face
avatar
image
target
face unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210743816.8A
Other languages
English (en)
Inventor
曾伟宏
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210743816.8A priority Critical patent/CN115936970A/zh
Publication of CN115936970A publication Critical patent/CN115936970A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供一种虚拟面部形象生成方法、装置、电子设备及存储介质,通过获取目标头像图片,目标头像图片中包含用于构成真实面部形象的多个面部单元;通过预训练的头像分类模型处理目标头像图片,得到各面部单元对应的虚拟面部形象参数,虚拟形象参数用于表征对应的面部单元的类别;根据虚拟形象参数,得到面部单元对应的面部单元贴图,并基于面部单元贴图,生成目标头像图片对应的虚拟面部形象。通过将目标头像图片解析为表征面部单元的特征的虚拟形象参数,再基于虚拟形象参数确定对应的面部单元贴图,实现基于有限数量的面部单元贴图对真实面部形象的复原,提高所生成的虚拟面部形象与真实面部形象的一致性,提高虚拟面部形象的准确度。

Description

虚拟面部形象生成方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种虚拟面部形象生成方法、装置、电子设备及存储介质。
背景技术
当前,用户在基于互联网的虚拟社交环境中所使用身份标识,已从简单的卡通人物、头像,逐渐升级为能够表现用户真实形象的风格化虚拟形象,从而实现用户更加个性化的身份表达,提高使用体验。
现有技术中,风格化虚拟形象的生成,主要是针对面部形象,即通过选择面部脸型、五官、发型的贴图素材,来生成与真实面部形象相似的风格化虚拟面部形象。
然而,现有技术生成虚拟面部形象的方案,通常是基于用户手动设置实现。自动生成虚拟面部形象的方案,存在与真实面部形象相差度大、准确度低等问题。
发明内容
本公开实施例提供一种虚拟面部形象生成方法、装置、电子设备及存储介质,以克服现有技术中自动生成的虚拟面部形象存在与真实面部形象一致性差、准确度低等问题。
第一方面,本公开实施例提供一种虚拟面部形象生成方法,包括:
获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
第二方面,本公开实施例提供一种虚拟面部形象生成装置,包括:
获取模块,用于获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;
分类模块,用于通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;
生成模块,用于根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
第三方面,本公开实施例提供一种电子设备,包括:
处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
本实施例提供的虚拟面部形象生成方法、装置、电子设备及存储介质,通过获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。通过将目标头像图片解析为表征面部单元的特征的虚拟形象参数,再基于虚拟形象参数确定对应的面部单元贴图,从而实现基于有限数量的面部单元贴图对真实面部形象的复原,提高所生成的虚拟面部形象与真实面部形象的一致性,提高虚拟面部形象的准确度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的虚拟面部形象生成方法的一种应用场景示意图;
图2为本公开实施例提供的虚拟面部形象生成方法的流程示意图一;
图3为本公开实施例提供的一种生成虚拟形象参数的示意图;
图4为图2所示实施例中步骤S103的具体实现步骤流程图;
图5为本公开实施例提供的一种基于第一映射信息确定预设贴图类型的示意图;
图6为本公开实施例提供的虚拟面部形象生成方法的流程示意图二;
图7为本公开实施例提供的一种虚拟形象引擎的可视化界面示意图;
图8为图6所示实施例中步骤S201的具体实现步骤流程图;
图9为本公开实施例提供的一种基于距离值确定目标虚拟形象参数对应的预设贴图类型的示意图;
图10为图6所示实施例中步骤S205的具体实现步骤流程图;
图11为图6所示实施例中步骤S206的具体实现步骤流程图;
图12为本公开实施例提供的虚拟面部形象生成装置的结构框图;
图13为本公开实施例提供的一种电子设备的结构示意图;
图14为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
下面对本公开实施例的应用场景进行解释:
本公开实施例提供的虚拟面部形象生成方法,可以应用于虚拟面部形象生成的应用场景。更具体地,可以应用于在各类应用程序(APP)、客户端、网络平台上进行用户注册时,生成风格化的虚拟形象的应用场景中。例如,在游戏应用中的创建角色的界面,通过应用提供的五官、发型、脸型、道具等对应的预设贴图素材,进行选择和组合,生成风格化的虚拟面部形象。
在上述应用场景下,由于用户所创造的虚拟面部形象是动态模型,例如在游戏应用中的人物模型,在游戏中需要表现说话、情绪表情等动态变化,因此虚拟面部形象是通过对多个独立的面部单元(例如眼型、鼻型、嘴型、发型、脸型)进行建模实现的,同时受限于计算及存储资源,应用和平台只能提供有限数量的若干预设的面部单元的模型(贴图素材),例如5种类型的眼型,8种类型的嘴型,4种类型的发型。通过这些面部单元的模型的组合,来生成能够在应用中实现动态变化的虚拟面部形象。
基于以上场景中的限制,现有技术中,针对风格化的虚拟面部形象的生成方案,一种实现方式为通过用户手动选择预设贴图素材并进行组合,生成虚拟面部形象,即所谓的“捏脸”。然而,通过手动选择和组合生成的虚拟面部形象,往往与用户真实形象相似较大。
另一种实现方式为,通过训练基于神经网络的图像处理模型,对用户输入的真实的头像图片进行整体识别并分类,得到分类结果对应一组面部单元贴图,进行组合后生成虚拟面部形象。然而,此种方案对模型性能要求很高,需要大量有标注的样本数据进行训练,同时,在该应用场景下,受到面部图像的纹理复杂、易受拍摄角度影响、面部单元的分类没有严格的控制界限等因素影响,导致样本标注成本高、准确性低,进而导致难以训练出性能足够的图像处理模型实现真实面部形象至虚拟面部形象的准确映射,最终导致了生成的虚拟面部形象存在与真实面部形象一致性差、准确度低等问题。
本公开实施例中,通过预训练的头像分类模型处理头像图片,得到对应的各面部单元的虚拟形象参数,之后基于能够明确表征面部单元的特征的虚拟形象参考来确定对应的面部单元贴纸,通过面部单元贴纸生成虚拟面部形象,实现了对各面部单元的解耦分类,降低分类难度,使生成的虚拟面部形象与真实面部形象具有更好的一致性,从而解决上述问题。
本公开实施例提供的虚拟面部形象生成方法,可以在终端设备(客户端)或服务器(服务端)执行,以服务器作为执行主体为例,图1为本公开实施例提供的虚拟面部形象生成方法的一种应用场景示意图,如图1所示,服务器通过客户端-服务端的网络结构模式与用户所使用的终端设备通信,其中,终端设备例如为智能手机,具体地,服务器接收终端设备发送的头像图片,例如用户使用终端设备拍摄的自拍照,并使用本公开实施例提供的虚拟面部形象生成方法,对接收到的头像图片进行处理,生成与该头像图片所表现的真实的用户面部形象相似的虚拟面部形象。之后以图片的形式将该虚拟面部形象返回终端设备,使用户可以通过终端设备通过缩放、旋转等方式,查看之前上传的头像图片对应的三维的虚拟面部形象;以及,将该生成的虚拟面部形象保存在服务器本地或与其通信连接的存储介质,作为该用户注册的虚拟形象。
参考图2,图2为本公开实施例提供的虚拟面部形象生成方法的流程示意图一。本实施例的方法可以应用在服务器或终端设备中,该虚拟面部形象生成方法包括:
步骤S101:获取目标头像图片,目标头像图片中包含用于构成真实面部形象的多个面部单元。
示例性地,本实施例中,以终端设备为执行主体进行说明,具体地,终端设备例如为智能手机。用户目标头像图片可以是通过相机拍摄的包含真实的面部形象的照片,例如用户的自拍照。当然,目标头像图片即可以是通过相机拍摄的原始的图片,也可以是在原始图片基础上增加了滤镜、调色等特效的图片,此处不作具体限制。其中,面部单元是构成真实面部形象的对象,本实施例中,用于指代例如眼型、鼻型、嘴型、发型、脸型等面部元素。示例性地,目标头像图片中包括多个面部单元,例如,包括面部单元01至面部单元06,依次分别对应眼型、鼻型、嘴型、发型、眉毛、脸型。通过多个面部单元的组合,构成真实面部形象。
步骤S102:通过预训练的头像分类模型处理目标头像图片,得到各面部单元对应的虚拟面部形象参数,虚拟形象参数用于表征对应的面部单元的类别。
示例性地,头像分类模型可以是基于神经网络进行训练后得到的模型,该头像分类模型的输入为图片,输出为由数值、数组或矩阵实现的参数数据。具体地,在获得目标头像图片后,通过头像分类模型对目标头像图片进行处理后,得到多个虚拟形象参数,每一个虚拟形象参数对应一个面部单元。图3为本公开实施例提供的一种生成虚拟形象参数的示意图,如图3所示,将目标头像图片输入头像分类模型后,头像分类模型输出5个虚拟形象参数,每一个虚拟形象参数对应一个面部单元,参考图3,虚拟形象参数A对应眼型、虚拟形象参数B对应鼻型、虚拟形象参数C对应嘴型、虚拟形象参数D对应发型、虚拟形象参数E对应脸型。也即,虚拟形象参数A表征眼型的特征、虚拟形象参数B表征鼻型的特征、虚拟形象参数C表征嘴型的特征、虚拟形象参数D表征发型的特征、虚拟形象参数E表征脸型的特征。
进一步地,表征虚拟形象参数可以通过一个参数标识,或者多个参数标识的集合实现。相对应的,虚拟形象参数的数据格式可以为数值、数组或矩阵,也可以是其他特殊的数据格式,此处不进行具体限定,可根据具体需要设置。具体地,例如,虚拟形象参数E表征脸型的特征,当对应的参数值为01,即虚拟形象参数E=01时,表征圆脸;当对应的参数值为02,即虚拟形象参数E=02时,表征国字脸,从而实现对“脸型”这一面部单元的特征表达。
通过头像分类模型对目标头像图片进行处理,相当于实现了对目标头像图片中各面部单元的解耦以及参数化,实现了对各面部单元(基于虚拟形象参数)的参数化表达。之后,基于各面部单元的虚拟形象参数所表征的面部单元的类别,映射至对应的素材贴图,可以实现虚拟面部形象对真实面部形象的精准还原。
步骤S103:根据虚拟形象参数,得到面部单元对应的面部单元贴图,并基于面部单元贴图,生成目标头像图片对应的虚拟面部形象。
示例性地,在确定虚拟形象参数后,根据预先设置的映射关系,可以确定虚拟形象参数对应的面部单元贴图,面部单元贴图即虚拟形象中的贴图素材,例如眼型贴图素材、脸型贴图素材、嘴型贴图素材等。基于具体地需要,面部单元贴图可以是二维或三维的图像模型。之后,将各面部单元贴图按照预设的位置关系进行组合,即可生成虚拟面部形象。
在一种可能的实现方式中,如图4所示,步骤S103的具体实现步骤包括:
步骤S1031:获取目标面部单元对应的目标虚拟形象参数。
步骤S1032:根据目标虚拟形象参数,得到对应的预设贴图类型,预设贴图类型表征面部单元贴图的一个预设类别。
步骤S1033:根据预设贴图类型,得到目标面部单元对应的面部单元贴图。
示例性地,通常情况下,目标头像图片中包含多个面部单元,因此通过分类模型处理对目标头像图片进行处理后,生成对应数量的多个虚拟形象参数,之后需要对针对所有面部单元中的部分或全部依次进行处理,从而得到部分或全部的面部单元分别对应的面部单元贴图。其中,针对每一个面部单元,基于虚拟形象参数得到面部单元贴图的过程是类似的,本实施例中,以其一为例进行介绍。
具体地,获取目标面部单元对应的虚拟面部形象参数,即目标虚拟形象参数,其中,目标面部单元例如对应面部形象中的“脸型”。在一种可能的实现方式中,目标虚拟形象参数仅包括一个参数,该参数对应的参数值为表征“脸型”类别的标识。例如,目标虚拟形象参数为face_real=1,表征“脸型”类别为“圆脸”;再例如,目标虚拟形象参数为face_real=2,表征“脸型”类别为“国字脸”。根据预设的第一映射信息,即可将目标虚拟形象参数直接映射至预设类型的面部单元贴图,例如,基于第一映射信息,face_real=1对应的预设贴图类型为face_mal=1;face_real=2对应的预设贴图类型为face_mal=2。上述预设贴图类型均为预设的类型,基于类型标识从预设素材库进行调用,即可得到对应的面部单元贴图,该过程不再赘述。
在另一种可能的实现方式中,目标虚拟形象参数包括多个虚拟形象子参数,虚拟形象子参数用于表征目标面部单元的子特征的类别。具体地,例如,目标虚拟形象参数为参数组,face_real=[face_real_up,face_real_mid,face_real_down],其中,face_real_up,face_real_mid,face_real_down分别为虚拟形象子参数,用于表征子特征的类别,不同类别表征不同的特征度。例如,face_real_up表征面部额头的宽度(脸型的子特征),具有3个离散参数值,分别为face_real_up=1、face_real_up=2、face_real_up=3,分别表示面部额头的三种不同的宽度(即子特征的三种类别)。类似的,例如,face_real_mid表征面部颧骨的高度(脸型的另一子特征)、face_real_down表征面部下吧的宽度(脸型的另一子特征),face_real_mid和face_real_down,也分别对应不同的离散参数值,来表征脸型的不同子特征的类别,此处不再一一赘述。通过不同的虚拟形象子参数的组合,使对应的面部单元呈现出不同的面部特征,因此,基于多个虚拟形象子参数构成的目标虚拟形象参数与预设贴图类型之间的映射关系,来确定目标虚拟形象参数对应的预设贴图类型。示例性地,具体实现方法包括:获取预设的第一映射信息,第一映射信息用于表征由多个虚拟形象子参数构成的目标虚拟形象参数与预设贴图类型之间的映射关系;根据第一映射信息,确定目标虚拟形象参数对应的预设贴图类型。
图5为本公开实施例提供的一种基于第一映射信息确定预设贴图类型的示意图,如图5所示,经头像分类模型处理后,当目标面部单元对应的目标虚拟形象参数为face_real_1=[1,2,6]时,经第一映射信息,确定对应的预设贴图类型为I类,即圆脸,后续通过该I类标识,得到对应的面部单元贴图;当目标面部单元对应的目标虚拟形象参数为face_real_2=[2,3,1]时,经第一映射信息,确定对应的预设贴图类型为II类,即方脸,后续通过该II类标识,得到对应的面部单元贴图。
由于生成该虚拟面部形象的面部单元贴图,是基于真实面部形象对应的面部单元对应的虚拟面部形象参数生成的,因此该虚拟面部形象与目标头像图片中的真实面部形象具有相似性,实现了虚拟面部形象对真实面部形象的精准还原。其中基于贴图素材进行渲染,生成虚拟面部形象的具体实现过程为现有技术,此处不再赘述。
在本实施例中,通过获取目标头像图片,目标头像图片中包含用于构成真实面部形象的多个面部单元;通过预训练的头像分类模型处理目标头像图片,得到各面部单元对应的虚拟面部形象参数,虚拟形象参数用于表征对应的面部单元的类别;根据虚拟形象参数,得到面部单元对应的面部单元贴图,并基于面部单元贴图,生成目标头像图片对应的虚拟面部形象。通过将目标头像图片解析为表征面部单元的特征的虚拟形象参数,再基于虚拟形象参数确定对应的面部单元贴图,从而实现基于有限数量的面部单元贴图对真实面部形象的复原,提高所生成的虚拟面部形象与真实面部形象的一致性,提高虚拟面部形象的准确度。
参考图6,图6为本公开实施例提供的虚拟面部形象生成方法的流程示意图二。本实施例在图2所示实施例的基础上,进一步对步骤S103进行细化,并增加了对头像分类模型进行训练的过程,该虚拟面部形象生成方法包括:
步骤S201:基于预设的虚拟形象引擎,生成训练样本,训练样本包括仿真头像图片和对应的仿真形象参数,其中仿真头像图片中包含用于构成仿真面部形象的多个面部单元,仿真形象参数用于表征仿真头像图片中的面部单元的特征。
步骤S202:基于训练样本,训练预设的神经网络模型至收敛,得到头像分类模型。
示例性地,本实施例中,步骤S201-步骤S202是通过模型训练而获得头像分类模型的步骤。其中,虚拟形象引擎是现有技术中一种基于参数生成仿真头像图片的模型。通过输入不同的仿真形象参数,实现对面部单元的设置,并渲染出相应的仿真头像图片,其中,仿真头像图片是一种与真实头像图片类似的图片,仿真头像图片中包含的仿真面部形象具有丰富的仿真纹理,与真实头像图片的纹理特征类似,可以实现对真实头像图片的模仿。
图7为本公开实施例提供的一种虚拟形象引擎的可视化界面示意图,如图7所示,虚拟形象引擎的可视化界面中包括参数区和显示区,其中,参数区设置有多个仿真形象参数,例如图中所示的脸型参数、眼型参数等。通过在参数区设置仿真形象参数,来改变面部单元的特征,从而在显示区形成仿真头像图片。
参考图7所示的虚拟形象引擎生成仿真头像图片的过程,通过参数遍历的方式,即可生成不同的仿真形象参数,进而生成对应的仿真头像图片。例如,仿真形象参数[face=1;eye=2;mouth=4;nose=2],调用形象引擎生成,即可生成与该仿真形象参数对应的仿真头像图片p1;仿真形象参数[face=2;eye=2;mouth=1;nose=7],调用形象引擎生成,即可生成与该仿真形象参数对应的仿真头像图片p2。以此类推,利用各面部单元的仿真形象参数的不同参数值进行组合,生成不同的仿真形象参数,再依次调用虚拟形象引擎进行渲染,即可生成不同的仿真头像图片。其中,虚拟形象引擎为现有技术,其生成图像的具体构造及渲染过程不再赘述。
之后,以仿真形象参数作为对应的仿真头像图片的标签,即生成训练样本。基于多组训练样本对预设的神经网络模型进行训练,直至模型收敛,即可得到能够将图片映射为参数的头像分类模型。具体训练过程此处不再赘述。
在一种可能的实现方式中,虚拟形象引擎生成的每一面部单元对应的仿真形象参数包括多个子参数,示例性地,如图8所示,基于预设的虚拟形象引擎,生成训练样本的具体步骤包括:
步骤S2011:获取每一面部单元对应的多个预设形象子参数,预设形象子参数用于表征面部单元的子特征的类别;
步骤S2012:基于每一面部单元对应的各预设形象子参数的不同参数值进行组合,生成每一面部单元对应的多个形象参数组,形象参数组中包括每一面部单元对应的各预设形象子参数的一个参数值;
步骤S2013:遍历由每一面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数,并基于仿真形象参数调用虚拟形象引擎,生成对应数量的仿真头像图片。
示例性地,各面部单元对应的标识包括:face_sim、eye_sim、mouth_sim,其中,face_sim表征脸型(面部单元);eye_sim表征眼型;mouth_sim表征嘴型。进一步地,face_sim对应的预设形象子参数face_sim_1、face_sim_2、face_sim_3,分别表示额头宽度、颧骨高度、下巴宽度。eye_sim对应的预设形象子参数eye_sim_1、eye_sim_2、eye_sim_3,分别表示眼睛长度、眼睛宽度、眼睛颜色。mouth_sim对应的预设形象子参数mouth_sim_1、mouth_sim_2,分别表示嘴唇长度、嘴唇厚度。其中,每一预设形象子参数对应有预设的至少两种参数值,例如,mouth_sim_1的取值可以为1或2,表征不同的嘴唇长度。其他参数类似,不再赘述。上述各面部单元对应的预设形象子参数,以及对应的参数值均为预设的。
进一步地,通过每一面部单元对应的各预设形象子参数的不同参数值进行组合,生成每一面部单元对应的多个形象参数组。
例如,针对眼型(eye_sim),生成N个形象参数组,包括:
eye_arr_1=[eye_sim_1=1,eye_sim_2=3,eye_sim_3=6];
eye_arr_2=[eye_sim_1=2,eye_sim_2=1,eye_sim_3=1];
eye_arr_3=[eye_sim_1=4,eye_sim_2=2,eye_sim_3=2];
……
eye_arr_N=[eye_sim_1=x1,eye_sim_2=y1,eye_sim_3=z1]。其中,N为大于1的整数;x1,y1,z1为整数,表征类型标识。
针对脸型(face_sim),生成多个形象参数组,包括:
face_arr_1=[face_sim_1=1,face_sim_2=1,face_sim_3=6];
face_arr_2=[face_sim_1=6,face_sim_2=1,face_sim_3=1];
face_arr_3=[face_sim_1=4,face_sim_2=2,face_sim_3=3];
……
face_arr_M=[face_sim_1=x2,face_sim_2=y2,face_sim_3=z2]。其中,M为大于1的整数;x2,y2,z2为整数,表征类型标识。
针对嘴型(mouth_sim),生成多个形象参数组,包括:
mouth_arr_1=[mouth_sim_1=1,mouth_sim_2=1];
mouth_arr_2=[mouth_sim_1=1,mouth_sim_2=2];
mouth_arr_3=[mouth_sim_1=2,mouth_sim_2=1];
……
mouth_arr_O=[mouth_sim_1=x3,mouth_sim_2=y3]。其中,O为大于1的整数;x3,y3为整数,表征类型标识。
进一步地,遍历由每一面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数。具体地,从眼型对应的N个形象参数组(eye_arr_1至eye_arr_N)中,任选一个,从脸型对应的M个形象参数组(face_arr_1至face_arr_M)中,任选一个,从眼型对应的O个形象参数组(mouth_arr_1至mouth_arr_O)中,任选一个,进行无序的组合,即可得到一个仿真形象参数,例如{eye_arr_1,face_arr_2,mouth_arr_4}。之后,以仿真形象参数为输入,调用虚拟形象引擎,即可得到对应的仿真头像图片。简单计算可知,基于上述示例,共可生成N*M*O个形象参数组,基于上述形象参数组虚拟形象引擎后,相应的可生成N*M*O个仿真头像图片。
本实施例中,利用虚拟形象引擎能够输出仿真头像图片和对应的仿真形象参数的特性,利用参数遍历的方式,可以低成本的生成大量的高质量训练样本,进而基于该训练样本,得到头像分类模型。从而提高头像分类模型的训练效果,使头像分类模型能够实现从真实头像图片至虚拟形象参数的准确映射,最终提高所生成的虚拟面部形象和真实面部形象的一致性。
步骤S203:获取目标头像图片,目标头像图片中包含用于构成真实面部形象的多个面部单元。
步骤S204:获取目标面部单元对应的目标虚拟形象参数,目标虚拟形象参数包括多个第一虚拟形象子参数,第一虚拟形象子参数用于表征目标面部单元的子特征的类别。
步骤S205:获取多个预分类形象数据,每一预分类形象数据分别表征一个类别的目标面部单元的特征,预分类形象数据包括多个第二虚拟形象子参数,第二虚拟形象子参数表征对应类别的目标面部单元的子特征的类别。
示例性地,预分类形象数据是表征目标面部单元特征的标准数据,在一些可能的实现方式中,在获得目标虚拟形象参数,无法如图2所示实施例中,通过一个具体地映射关系(第一映射信息),来直接确定目标虚拟形象参数对应的预设贴图类型。具体而言,即目标虚拟形象参数对应的类别密度大,而预设贴图类型的密度小,例如,面部单元以脸型为例,预设贴图类型仅对应两种参数值,分别对应“圆脸贴图”和“方脸贴图”。而目标虚拟形象参数的对应有10种参数值,这些位于“圆脸贴图”和“方脸贴图”之间的参数值,无法匹配。
为解决上述问题,本公开通过获取多个预分类形象数据,并以预分类形象数据中的第二虚拟形象子参数作为各预设贴图类型的“标准值”,与目标虚拟形象参数进行比较,将其中与目标虚拟形象参数最接近的(参数距离最低),作为最优的类别,从而实现对目标虚拟形象参数的准确分类。
步骤S206:基于目标虚拟形象参数中的第一虚拟形象子参数,和各预分类形象数据中的第二虚拟形象子参数,获得目标虚拟形象参数与各预分类形象数据的距离值。
步骤S207:根据各距离值,得到目标预分类形象数据,目标预分类形象数据为最小的距离值对应的预分类形象数据。
步骤S208:根据目标预分类形象数据对应的面部单元的类别,得到对应的预设贴图类型。
示例性地,步骤S206是计算目标虚拟形象参数和预分类形象数据的距离值的步骤。示例性地,目标虚拟形象参数中包括多个第一虚拟形象子参数,预分类形象数据中包括对应数量的多个第二虚拟形象子参数,第一虚拟形象子参数和对应的第二虚拟形象子参数的差值的绝对值的累加和,即为目标虚拟形象参数与各预分类形象数据的距离值。
图9为本公开实施例提供的一种基于距离值确定目标虚拟形象参数对应的预设贴图类型的示意图,如图9所示,目标虚拟形象参数face_real包括两个第一虚拟形象子参数,表示为:
face_real=[face_real_1,face_real_2];
其中,face_real_1表征额头的宽度,face_real_2表征下巴的宽度,如图所示,face_real_1=2;face_real_2=4,参数值可以为距离值对应的归一化单位。预分类形象数据face_data_A对应“圆脸脸型”;和预分类形象数据face_data_B对应“方脸脸型”,face_data_A和face_data_B分别各包括两个第二虚拟形象子参数,具体表示为:
face_data_A=[face_data_A_1,face_data_A_2];
face_data_B=[face_data_B_1,face_data_B_2];
其中,face_data_A_1=2,face_data_A_1=3;face_data_B_1=4,face_data_B_2=4。基于上述参数,计算目标虚拟形象参数face_real与预分类形象数据face_dataA的距离为:
D1=|face_real_1-face_data_A_1|+|face_real_2-face_data_A_2|=1。
目标虚拟形象参数face_real与预分类形象数据face_dataA的距离为:
D2=|face_real_1-face_data_B_1|+|face_real_2-face_data_B_2|=2。
之后,将其中较小的D1所对应的face_data_A,确定为目标预分类形象数据,进而,根据face_data_A对应的面部单元的类别,得到目标虚拟形象参数对应的预设贴图类型,即图9所示实施例中的“圆脸脸型”。
进一步地,示例性地,如图10所示,步骤S205的具体实现步骤包括:
步骤S2051:获取目标类别标识对应的多张真实头像图片;
步骤S2052:通过头像分类模型处理各真实头像图片,得到各真实头像图片对应的多个初始虚拟形象子参数;
步骤S2053:计算各真实头像图片中对应的初始虚拟形象子参数的平均值,得到与各初始虚拟形象子参数对应的第二虚拟形象子参数。
步骤S2054:若目标类别标识为末尾类别标识,则结束循环;否则,返回步骤S2051。
示例性地,真实头像图片即通过相机拍摄的真人图像,针对目标面部单元的每一预设类别,获取对应的多张真实头像图片。例如,目标面部单元以脸型为例,针对不同的脸型,例如方形脸、瓜子脸、圆脸、梨形脸,分别收集10张具有代表性的真人照片,之后,通过头像分类模型,依次对10张一组的方形脸照片、瓜子脸照片、圆脸照片、梨形脸照片处理,得到方形脸照片、瓜子脸照片、圆脸照片、梨形脸照片分别对应的10个初始虚拟形象参数,其中,每个初始虚拟形象参数中包括若干个初始虚拟形象子参数,例如,包括3个初始虚拟形象子参数,分别表示额头宽度、颧骨高度、下巴宽度,即通过该3个初始虚拟形象子参数所表征的额头宽度、颧骨高度、下巴宽度,来表达脸型特征。之后,对每一组照片对应的10个初始虚拟形象参数,进行同项求平均,即10个额头宽度求平均、10个颧骨高度求平均、10个下巴宽度求平均,从而得到各初始虚拟形象子参数对应的平均值,即第二虚拟形象子参数。之后,同一组的多个第二虚拟形象子参数,即形成一个预分类形象数据。之后,判断指示目标面部单元的目标类别标识是否为到达末尾,若为到达末尾,则继续对下一个目标面部单元进行处理,直至得到各面部单元所对应的多个预分类形象数据。
其中,需要说明的是,为了解决上述技术问题,本实施例中,在针对目标面部单元的每一预设类别,获取对应的多张真实头像图片时,该预设类别与素材库中面部单元贴图对应的预设贴图类型是一致的,从而实现作为各预设贴图类型的“标准值”的目的。
本实施例中,通过获取针对目标面部单元的每一预设类别,获取对应的多张真实头像图片,并进行平均叠加,得到了真实面部形象对应的分类表征,从而实现了在无准确映射信息的情况下,目标虚拟形象参数与预设贴图类型之间的准确映射,提高预设贴图类型的准确性。
示例性地,如图11所示,步骤S206的具体实现步骤包括:
步骤S2061:获取各第一虚拟形象子参数对应的加权系数。
步骤S2062:针对每一预分类形象数据,分别基于各第一虚拟形象子参数对应的加权系数,计算每一第一虚拟形象子参数与对应的第二虚拟形象子数据的加权距离。
步骤S2063:基于各加权距离之和,得到预分类形象数据对应的距离值。
本实施例中,对于不同的第一虚拟形象子参数,采用不同的加权系数进行加权计算,对于较为关键的面部单元,例如眼型、脸型,设置较大的权重系数,而对于不关键的面部单元,例如耳型,设置较小的权重系数,从而进一步提高所确定的预设贴图类型的准确性,提高虚拟面部形象与真实面部形象的一致性。其中,各第一虚拟形象子参数对应的加权系数可以是预设的,此处不再赘述。
本公开实施例中,通过获取多个预分类形象数据,并以预分类形象数据中的第二虚拟形象子参数作为各预设贴图类型的“标准值”,与目标虚拟形象参数进行比较,将其中与目标虚拟形象参数最接近的(距离值最小),作为最优的类别,从而实现对目标虚拟形象参数的准确分类。
步骤S209:获取面部单元贴图的尺寸信息,尺寸信息表征面部单元贴图的轮廓大小,其中,面部单元贴图包括基础面部单元贴图和非基础面部单元贴图。
步骤S210:根据基础面部单元贴图的尺寸信息与非基础面部单元贴图的尺寸信息的比例关系,确定各非基础面部单元贴图的尺寸系数。
步骤S211:基于各非基础面部单元贴图的尺寸系数对非基础面部单元贴图的轮廓进行调节,生成修正面部单元贴图,并基于基础面部单元贴图和修正面部单元贴图,生成目标头像图片对应的虚拟面部形象。
示例性地,得到各面部单元对应的面部单元贴图后,对各面部单元贴图进行渲染,即可生成对应的虚拟面部形象。在该过程中,收到各面部单元贴图的精度,以及识别准确性的影响,可能导致各面部单元贴图之间的大小比例不准确的问题,从而导致生成的虚拟面部形象失真。本实施例中,在得到各面部单元对应的面部单元贴图后,首先获得将面部单元贴图划分为基础面部单元贴图和非基础面部单元贴图。示例性地,脸型对应的面部单元贴图为基础面部单元贴图;其他例如眼型、鼻型等对应的面部单元贴图为非基础面部单元贴图,当然,这仅是示例性地,还可以将其他的面部单元贴图,或者多个面部单元贴图作为基础面部单元贴图,此处不再赘述。
之后,获得基础面部单元贴图和非基础面部单元贴图表征轮廓大小的尺寸信息,该尺寸信息可以作为面部单元贴图的属性信息,直接获得;或者通过测量获得。根据基础面部单元贴图的尺寸信息与非基础面部单元贴图的尺寸信息的比例关系,确定各非基础面部单元贴图的尺寸系数,之后基于预设的标准尺寸系数,对非基础面部单元贴图进行缩放,例如,鼻型对应的面部单元贴图的尺寸系数为0.2,大于鼻型对应的标准尺寸系数0.08,则对其按比例进行所需,从而使鼻型对应的面部单元贴图与脸型的面部单元贴图的比例更加真实,提高虚拟面部形象的真实性。
本实施例中,步骤S203-步骤S204的实现方式在本公开图2所示实施例中的步骤103中已进行介绍,在此不再一一赘述。
对应于上文实施例的虚拟面部形象生成方法,图12为本公开实施例提供的虚拟面部形象生成装置的结构框图。为了便于说明,仅示出了与本公开实施例相关的部分。参照图12,虚拟面部形象生成装置3包括:
获取模块31,用于获取目标头像图片,目标头像图片中包含用于构成真实面部形象的多个面部单元;
处理模块32,用于通过预训练的头像分类模型处理目标头像图片,得到各面部单元对应的虚拟面部形象参数,虚拟形象参数用于表征对应的面部单元的类别;
生成模块33,用于根据虚拟形象参数,得到面部单元对应的面部单元贴图,并基于面部单元贴图,生成目标头像图片对应的虚拟面部形象。
在一种可能的实现方式中,生成模块33在根据虚拟形象参数,得到面部单元对应的面部单元贴图时,具体用于:获取目标面部单元对应的目标虚拟形象参数;根据目标虚拟形象参数,得到对应的预设贴图类型,预设贴图类型表征面部单元贴图的一个预设类别;根据预设贴图类型,得到目标面部单元对应的面部单元贴图。
在一种可能的实现方式中,目标虚拟形象参数包括多个虚拟形象子参数,虚拟形象子参数用于表征目标面部单元的子特征的类别;生成模块33在根据目标虚拟形象参数,得到对应的预设贴图类型时,具体用于:获取预设的第一映射信息,第一映射信息用于表征由多个虚拟形象子参数构成的目标虚拟形象参数与预设贴图类型之间的映射关系;根据第一映射信息,确定目标虚拟形象参数对应的预设贴图类型。
在一种可能的实现方式中,目标虚拟形象参数包括多个第一虚拟形象子参数,第一虚拟形象子参数用于表征目标面部单元的子特征的类别;生成模块33在根据目标虚拟形象参数,得到对应的预设贴图类型时,具体用于:获取多个预分类形象数据,每一预分类形象数据分别表征一个类别的目标面部单元的特征,预分类形象数据包括多个第二虚拟形象子参数,第二虚拟形象子参数表征对应类别的目标面部单元的子特征的类别;基于目标虚拟形象参数中的第一虚拟形象子参数,和各预分类形象数据中的第二虚拟形象子参数,获得目标虚拟形象参数与各预分类形象数据的距离值;根据各距离值,得到目标预分类形象数据,目标预分类形象数据为最小的距离值对应的预分类形象数据;根据目标预分类形象数据对应的面部单元的类别,得到对应的预设贴图类型。
在一种可能的实现方式中,生成模块33在获取多个预分类形象数据时,具体用于:针对目标面部单元的每一预设类别,依次执行以下步骤:获取预设类别的目标面部单元对应的多张真实头像图片;通过头像分类模型处理各真实头像图片,得到各真实头像图片对应的多个初始虚拟形象子参数;计算各真实头像图片中对应的初始虚拟形象子参数的平均值,得到与各初始虚拟形象子参数对应的第二虚拟形象子参数。
在一种可能的实现方式中,生成模块33在基于目标虚拟形象参数中的第一虚拟形象子参数,和各预分类形象数据中的第二虚拟形象子参数,获得虚拟形象参数与各预分类形象数据的距离值时,具体用于:获取各第一虚拟形象子参数对应的加权系数;针对每一预分类形象数据,分别基于各第一虚拟形象子参数对应的加权系数,计算每一第一虚拟形象子参数与对应的第二虚拟形象子数据的加权距离,并基于各加权距离,得到预分类形象数据对应的距离值。
在一种可能的实现方式中,生成模块33在基于面部单元贴图,生成目标头像图片对应的虚拟面部形象时,具体用于:获取面部单元贴图的尺寸信息,尺寸信息表征面部单元贴图的轮廓大小,其中,面部单元贴图包括基础面部单元贴图和非基础面部单元贴图;根据基础面部单元贴图的尺寸信息与非基础面部单元贴图的尺寸信息的比例关系,确定各非基础面部单元贴图的尺寸系数;基于各非基础面部单元贴图的尺寸系数对非基础面部单元贴图的轮廓进行调节,生成修正面部单元贴图,并基于基础面部单元贴图和修正面部单元贴图,生成目标头像图片对应的虚拟面部形象。
在一种可能的实现方式中,在获取目标头像图片之前,处理模块32,还用于:基于预设的虚拟形象引擎,生成训练样本,训练样本包括仿真头像图片和对应的仿真形象参数,其中仿真头像图片中包含用于构成仿真面部形象的多个面部单元,仿真形象参数用于表征仿真头像图片中的面部单元的特征;基于训练样本,训练预设的神经网络模型至收敛,得到头像分类模型。
在一种可能的实现方式中,处理模块32在基于预设的虚拟形象引擎,生成训练样本时,具体用于:获取每一面部单元对应的多个预设形象子参数,预设形象子参数用于表征面部单元的子特征的类别;基于每一面部单元对应的各预设形象子参数的不同参数值进行组合,生成每一面部单元对应的多个形象参数组,形象参数组中包括每一面部单元对应的各预设形象子参数的一个参数值;遍历由每一面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数,并基于仿真形象参数调用虚拟形象引擎,生成对应数量的仿真头像图片。
其中,获取模块31、处理模块32、生成模块33依次连接。本实施例提供的虚拟面部形象生成装置3可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图13为本公开实施例提供的一种电子设备的结构示意图,如图13所示,该电子设备4包括:
处理器41,以及与处理器41通信连接的存储器42;
存储器42存储计算机执行指令;
处理器41执行存储器42存储的计算机执行指令,以实现如图2-图11所示实施例中的虚拟面部形象生成方法。
其中,可选地,处理器41和存储器42通过总线43连接。
相关说明可以对应参见图2-图11所对应的实施例中的步骤所对应的相关描述和效果进行理解,此处不做过多赘述。
参考图14,其示出了适于用来实现本公开实施例的电子设备900的结构示意图,该电子设备900可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(Portable MediaPlayer,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图14示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示,电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901,其可以根据存储在只读存储器(Read Only Memory,简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory,简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常,以下装置可以连接至I/O接口905:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置907;包括例如磁带、硬盘等的存储装置908;以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图14示出了具有各种装置的电子设备900,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置909从网络上被下载和安装,或者从存储装置908被安装,或者从ROM902被安装。在该计算机程序被处理装置901执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面,根据本公开的一个或多个实施例,提供了一种虚拟面部形象生成方法,包括:
获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
根据本公开的一个或多个实施例,所述根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,包括:获取目标面部单元对应的目标虚拟形象参数;根据所述目标虚拟形象参数,得到对应的预设贴图类型,所述预设贴图类型表征面部单元贴图的一个预设类别;根据所述预设贴图类型,得到所述目标面部单元对应的面部单元贴图。
根据本公开的一个或多个实施例,所述目标虚拟形象参数包括多个虚拟形象子参数,所述虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述根据所述目标虚拟形象参数,得到对应的预设贴图类型,包括:获取预设的第一映射信息,所述第一映射信息用于表征由所述多个虚拟形象子参数构成的目标虚拟形象参数与所述预设贴图类型之间的映射关系;根据所述第一映射信息,确定所述目标虚拟形象参数对应的预设贴图类型。
根据本公开的一个或多个实施例,所述目标虚拟形象参数包括多个第一虚拟形象子参数,所述第一虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述根据所述目标虚拟形象参数,得到对应的预设贴图类型,包括:获取多个预分类形象数据,每一所述预分类形象数据分别表征一个类别的目标面部单元的特征,所述预分类形象数据包括多个第二虚拟形象子参数,所述第二虚拟形象子参数表征对应类别的目标面部单元的子特征的类别;基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述目标虚拟形象参数与各所述预分类形象数据的距离值;根据各所述距离值,得到目标预分类形象数据,所述目标预分类形象数据为最小的所述距离值对应的预分类形象数据;根据所述目标预分类形象数据对应的面部单元的类别,得到对应的预设贴图类型。
根据本公开的一个或多个实施例,所述获取多个预分类形象数据,包括:针对所述目标面部单元的每一预设类别,依次执行以下步骤:获取所述预设类别的目标面部单元对应的多张真实头像图片;通过所述头像分类模型处理各所述真实头像图片,得到各所述真实头像图片对应的多个初始虚拟形象子参数;计算各所述真实头像图片中对应的初始虚拟形象子参数的平均值,得到与各所述初始虚拟形象子参数对应的第二虚拟形象子参数。
根据本公开的一个或多个实施例,基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述虚拟形象参数与各所述预分类形象数据的距离值,包括:获取各所述第一虚拟形象子参数对应的加权系数;针对每一所述预分类形象数据,分别基于各所述第一虚拟形象子参数对应的加权系数,计算每一所述第一虚拟形象子参数与对应的第二虚拟形象子数据的加权距离,并基于各所述加权距离,得到所述预分类形象数据对应的距离值。
根据本公开的一个或多个实施例,所述基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象,包括:获取所述面部单元贴图的尺寸信息,所述尺寸信息表征所述面部单元贴图的轮廓大小,其中,所述面部单元贴图包括基础面部单元贴图和非基础面部单元贴图;根据所述基础面部单元贴图的尺寸信息与所述非基础面部单元贴图的尺寸信息的比例关系,确定各所述非基础面部单元贴图的尺寸系数;基于各所述非基础面部单元贴图的尺寸系数对所述非基础面部单元贴图的轮廓进行调节,生成修正面部单元贴图,并基于所述基础面部单元贴图和所述修正面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
根据本公开的一个或多个实施例,在所述获取目标头像图片之前,还包括:基于预设的虚拟形象引擎,生成训练样本,所述训练样本包括仿真头像图片和对应的仿真形象参数,其中所述仿真头像图片中包含用于构成仿真面部形象的多个面部单元,所述仿真形象参数用于表征所述仿真头像图片中的所述面部单元的特征;基于所述训练样本,训练预设的神经网络模型至收敛,得到所述头像分类模型。
根据本公开的一个或多个实施例,所述基于预设的虚拟形象引擎,生成训练样本,包括:获取每一面部单元对应的多个预设形象子参数,所述预设形象子参数用于表征所述面部单元的子特征的类别;基于每一所述面部单元对应的各所述预设形象子参数的不同参数值进行组合,生成每一所述面部单元对应的多个形象参数组,所述形象参数组中包括每一所述面部单元对应的各预设形象子参数的一个参数值;遍历由每一所述面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数,并基于所述仿真形象参数调用所述虚拟形象引擎,生成对应数量的仿真头像图片。
第二方面,根据本公开的一个或多个实施例,提供了一种虚拟面部形象生成装置,包括:
获取模块,用于获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;
处理模块,用于通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;
生成模块,用于根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
根据本公开的一个或多个实施例,所述生成模块在根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图时,具体用于:获取目标面部单元对应的目标虚拟形象参数;根据所述目标虚拟形象参数,得到对应的预设贴图类型,所述预设贴图类型表征面部单元贴图的一个预设类别;根据所述预设贴图类型,得到所述目标面部单元对应的面部单元贴图。
根据本公开的一个或多个实施例,所述目标虚拟形象参数包括多个虚拟形象子参数,所述虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述生成模块在根据所述目标虚拟形象参数,得到对应的预设贴图类型时,具体用于:获取预设的第一映射信息,所述第一映射信息用于表征由所述多个虚拟形象子参数构成的目标虚拟形象参数与所述预设贴图类型之间的映射关系;根据所述第一映射信息,确定所述目标虚拟形象参数对应的预设贴图类型。
根据本公开的一个或多个实施例,所述目标虚拟形象参数包括多个第一虚拟形象子参数,所述第一虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述生成模块在根据所述目标虚拟形象参数,得到对应的预设贴图类型时,具体用于:获取多个预分类形象数据,每一所述预分类形象数据分别表征一个类别的目标面部单元的特征,所述预分类形象数据包括多个第二虚拟形象子参数,所述第二虚拟形象子参数表征对应类别的目标面部单元的子特征的类别;基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述目标虚拟形象参数与各所述预分类形象数据的距离值;根据各所述距离值,得到目标预分类形象数据,所述目标预分类形象数据为最小的所述距离值对应的预分类形象数据;根据所述目标预分类形象数据对应的面部单元的类别,得到对应的预设贴图类型。
根据本公开的一个或多个实施例,所述生成模块在获取多个预分类形象数据时,具体用于:针对所述目标面部单元的每一预设类别,依次执行以下步骤:获取所述预设类别的目标面部单元对应的多张真实头像图片;通过所述头像分类模型处理各所述真实头像图片,得到各所述真实头像图片对应的多个初始虚拟形象子参数;计算各所述真实头像图片中对应的初始虚拟形象子参数的平均值,得到与各所述初始虚拟形象子参数对应的第二虚拟形象子参数。
根据本公开的一个或多个实施例,所述生成模块在基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述虚拟形象参数与各所述预分类形象数据的距离值时,具体用于:获取各所述第一虚拟形象子参数对应的加权系数;针对每一所述预分类形象数据,分别基于各所述第一虚拟形象子参数对应的加权系数,计算每一所述第一虚拟形象子参数与对应的第二虚拟形象子数据的加权距离,并基于各所述加权距离,得到所述预分类形象数据对应的距离值。
根据本公开的一个或多个实施例,所述生成模块在基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象时,具体用于:获取所述面部单元贴图的尺寸信息,所述尺寸信息表征所述面部单元贴图的轮廓大小,其中,所述面部单元贴图包括基础面部单元贴图和非基础面部单元贴图;根据所述基础面部单元贴图的尺寸信息与所述非基础面部单元贴图的尺寸信息的比例关系,确定各所述非基础面部单元贴图的尺寸系数;基于各所述非基础面部单元贴图的尺寸系数对所述非基础面部单元贴图的轮廓进行调节,生成修正面部单元贴图,并基于所述基础面部单元贴图和所述修正面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
根据本公开的一个或多个实施例,在所述获取目标头像图片之前,所述处理模块,还用于:基于预设的虚拟形象引擎,生成训练样本,所述训练样本包括仿真头像图片和对应的仿真形象参数,其中所述仿真头像图片中包含用于构成仿真面部形象的多个面部单元,所述仿真形象参数用于表征所述仿真头像图片中的所述面部单元的特征;基于所述训练样本,训练预设的神经网络模型至收敛,得到所述头像分类模型。
根据本公开的一个或多个实施例,所述处理模块在基于预设的虚拟形象引擎,生成训练样本时,具体用于:获取每一面部单元对应的多个预设形象子参数,所述预设形象子参数用于表征所述面部单元的子特征的类别;基于每一所述面部单元对应的各所述预设形象子参数的不同参数值进行组合,生成每一所述面部单元对应的多个形象参数组,所述形象参数组中包括每一所述面部单元对应的各预设形象子参数的一个参数值;遍历由每一所述面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数,并基于所述仿真形象参数调用所述虚拟形象引擎,生成对应数量的仿真头像图片。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的虚拟面部形象生成方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种虚拟面部形象生成方法,其特征在于,包括:
获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;
通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;
根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
2.根据权利要求1所述的方法,其特征在于,所述根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,包括:
获取目标面部单元对应的目标虚拟形象参数;
根据所述目标虚拟形象参数,得到对应的预设贴图类型,所述预设贴图类型表征面部单元贴图的一个预设类别;
根据所述预设贴图类型,得到所述目标面部单元对应的面部单元贴图。
3.根据权利要求2所述的方法,其特征在于,所述目标虚拟形象参数包括多个虚拟形象子参数,所述虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述根据所述目标虚拟形象参数,得到对应的预设贴图类型,包括:
获取预设的第一映射信息,所述第一映射信息用于表征由所述多个虚拟形象子参数构成的目标虚拟形象参数与所述预设贴图类型之间的映射关系;
根据所述第一映射信息,确定所述目标虚拟形象参数对应的预设贴图类型。
4.根据权利要求2所述的方法,其特征在于,所述目标虚拟形象参数包括多个第一虚拟形象子参数,所述第一虚拟形象子参数用于表征所述目标面部单元的子特征的类别;所述根据所述目标虚拟形象参数,得到对应的预设贴图类型,包括:
获取多个预分类形象数据,每一所述预分类形象数据分别表征一个类别的目标面部单元的特征,所述预分类形象数据包括多个第二虚拟形象子参数,所述第二虚拟形象子参数表征对应类别的目标面部单元的子特征的类别;
基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述目标虚拟形象参数与各所述预分类形象数据的距离值;
根据各所述距离值,得到目标预分类形象数据,所述目标预分类形象数据为最小的所述距离值对应的预分类形象数据;
根据所述目标预分类形象数据对应的面部单元的类别,得到对应的预设贴图类型。
5.根据权利要求4所述的方法,其特征在于,所述获取多个预分类形象数据,包括:
针对所述目标面部单元的每一预设类别,依次执行以下步骤:
获取所述预设类别的目标面部单元对应的多张真实头像图片;
通过所述头像分类模型处理各所述真实头像图片,得到各所述真实头像图片对应的多个初始虚拟形象子参数;
计算各所述真实头像图片中对应的初始虚拟形象子参数的平均值,得到与各所述初始虚拟形象子参数对应的第二虚拟形象子参数。
6.根据权利要求4所述的方法,其特征在于,基于所述目标虚拟形象参数中的第一虚拟形象子参数,和各所述预分类形象数据中的第二虚拟形象子参数,获得所述虚拟形象参数与各所述预分类形象数据的距离值,包括:
获取各所述第一虚拟形象子参数对应的加权系数;
针对每一所述预分类形象数据,分别基于各所述第一虚拟形象子参数对应的加权系数,计算每一所述第一虚拟形象子参数与对应的第二虚拟形象子数据的加权距离,并基于各所述加权距离,得到所述预分类形象数据对应的距离值。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象,包括:
获取所述面部单元贴图的尺寸信息,所述尺寸信息表征所述面部单元贴图的轮廓大小,其中,所述面部单元贴图包括基础面部单元贴图和非基础面部单元贴图;
根据所述基础面部单元贴图的尺寸信息与所述非基础面部单元贴图的尺寸信息的比例关系,确定各所述非基础面部单元贴图的尺寸系数;
基于各所述非基础面部单元贴图的尺寸系数对所述非基础面部单元贴图的轮廓进行调节,生成修正面部单元贴图,并基于所述基础面部单元贴图和所述修正面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
8.根据权利要求1-6任一项所述的方法,其特征在于,在所述获取目标头像图片之前,还包括:
基于预设的虚拟形象引擎,生成训练样本,所述训练样本包括仿真头像图片和对应的仿真形象参数,其中所述仿真头像图片中包含用于构成仿真面部形象的多个面部单元,所述仿真形象参数用于表征所述仿真头像图片中的所述面部单元的特征;
基于所述训练样本,训练预设的神经网络模型至收敛,得到所述头像分类模型。
9.根据权利要求8所述的方法,其特征在于,所述基于预设的虚拟形象引擎,生成训练样本,包括:
获取每一面部单元对应的多个预设形象子参数,所述预设形象子参数用于表征所述面部单元的子特征的类别;
基于每一所述面部单元对应的各所述预设形象子参数的不同参数值进行组合,生成每一所述面部单元对应的多个形象参数组,所述形象参数组中包括每一所述面部单元对应的各预设形象子参数的一个参数值;
遍历由每一所述面部单元对应的任一形象参数组构成的组合,生成多个仿真形象参数,并基于所述仿真形象参数调用所述虚拟形象引擎,生成对应数量的仿真头像图片。
10.一种虚拟面部形象生成装置,其特征在于,包括:
获取模块,用于获取目标头像图片,所述目标头像图片中包含用于构成真实面部形象的多个面部单元;
处理模块,用于通过预训练的头像分类模型处理所述目标头像图片,得到各所述面部单元对应的虚拟面部形象参数,所述虚拟形象参数用于表征对应的面部单元的类别;
生成模块,用于根据所述虚拟形象参数,得到所述面部单元对应的面部单元贴图,并基于所述面部单元贴图,生成所述目标头像图片对应的虚拟面部形象。
11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至9中任一项所述的虚拟面部形象生成方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至9任一项所述的虚拟面部形象生成方法。
13.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1至9中任一项所述的虚拟面部形象生成方法。
CN202210743816.8A 2022-06-27 2022-06-27 虚拟面部形象生成方法、装置、电子设备及存储介质 Pending CN115936970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210743816.8A CN115936970A (zh) 2022-06-27 2022-06-27 虚拟面部形象生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210743816.8A CN115936970A (zh) 2022-06-27 2022-06-27 虚拟面部形象生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115936970A true CN115936970A (zh) 2023-04-07

Family

ID=86554544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210743816.8A Pending CN115936970A (zh) 2022-06-27 2022-06-27 虚拟面部形象生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115936970A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
CN112164135A (zh) * 2020-09-30 2021-01-01 山西智优利民健康管理咨询有限公司 一种虚拟人物形象的构建装置和方法
CN112634416A (zh) * 2020-12-23 2021-04-09 北京达佳互联信息技术有限公司 虚拟形象模型的生成方法、装置、电子设备及存储介质
CN113096235A (zh) * 2021-03-09 2021-07-09 北京达佳互联信息技术有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
JP2021144706A (ja) * 2020-03-09 2021-09-24 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド バーチャルアバターの生成方法及び生成装置
CN114266695A (zh) * 2021-12-24 2022-04-01 阿里巴巴(中国)有限公司 图像处理方法、图像处理系统及电子设备
CN114549709A (zh) * 2022-02-24 2022-05-27 重庆长安汽车股份有限公司 一种自定义3d虚拟形象生成系统及方法
CN114648601A (zh) * 2022-03-07 2022-06-21 北京百度网讯科技有限公司 虚拟形象的生成方法、电子设备、程序产品及用户终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
JP2021144706A (ja) * 2020-03-09 2021-09-24 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド バーチャルアバターの生成方法及び生成装置
CN112164135A (zh) * 2020-09-30 2021-01-01 山西智优利民健康管理咨询有限公司 一种虚拟人物形象的构建装置和方法
CN112634416A (zh) * 2020-12-23 2021-04-09 北京达佳互联信息技术有限公司 虚拟形象模型的生成方法、装置、电子设备及存储介质
CN113096235A (zh) * 2021-03-09 2021-07-09 北京达佳互联信息技术有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN114266695A (zh) * 2021-12-24 2022-04-01 阿里巴巴(中国)有限公司 图像处理方法、图像处理系统及电子设备
CN114549709A (zh) * 2022-02-24 2022-05-27 重庆长安汽车股份有限公司 一种自定义3d虚拟形象生成系统及方法
CN114648601A (zh) * 2022-03-07 2022-06-21 北京百度网讯科技有限公司 虚拟形象的生成方法、电子设备、程序产品及用户终端

Similar Documents

Publication Publication Date Title
US11062494B2 (en) Electronic messaging utilizing animatable 3D models
KR102697772B1 (ko) 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들
WO2022012085A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN106710003B (zh) 一种基于OpenGL ES的三维拍照方法和系统
CN114187633B (zh) 图像处理方法及装置、图像生成模型的训练方法及装置
CN109754464B (zh) 用于生成信息的方法和装置
CN111369428A (zh) 虚拟头像生成方法和装置
CN112927363A (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
EP3923244A1 (en) Animated image driving method and apparatus based on artificial intelligence
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN112766215B (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN112839223B (zh) 图像压缩方法、装置、存储介质及电子设备
CN115335820A (zh) 用于大规模增强现实的位置映射
CN110322571B (zh) 一种页面处理方法、装置及介质
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
KR20230162107A (ko) 증강 현실 콘텐츠에서의 머리 회전들에 대한 얼굴 합성
CN115965840A (zh) 图像风格迁移和模型训练方法、装置、设备和介质
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN114904268A (zh) 一种虚拟形象的调整方法、装置、电子设备及存储介质
WO2023179091A1 (zh) 三维模型渲染方法、装置、设备、存储介质及程序产品
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
US11741650B2 (en) Advanced electronic messaging utilizing animatable 3D models
CN114049403A (zh) 一种多角度三维人脸重建方法、装置及存储介质
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN115936970A (zh) 虚拟面部形象生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination