CN113850716A

CN113850716A - 模型训练方法、图像处理方法、装置、电子设备及介质

Info

Publication number: CN113850716A
Application number: CN202111175983.9A
Authority: CN
Inventors: 张朋; 周思宇
Original assignee: Beijing Zitiao Network Technology Co Ltd
Current assignee: Beijing Zitiao Network Technology Co Ltd
Priority date: 2021-10-09
Filing date: 2021-10-09
Publication date: 2021-12-28

Abstract

本公开实施例公开了一种模型训练方法、图像处理方法、装置、电子设备及介质，其中模型训练方法包括：根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将所述第一图像转换为所述目标类型的第三图像；根据所述第一图像包含的对象，对所述第三图像中相应的对象进行调整，得到调整图像；根据所述第一图像和所述调整图像对特效模型进行训练。通过对转换模型生成的第三图像进行调整，并基于调整图像进行特效模型训练，能够在保证转换效果的基础上，提高模型训练速度。

Description

模型训练方法、图像处理方法、装置、电子设备及介质

技术领域

本公开实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、图像处理方法、装置、电子设备及介质。

背景技术

现如今，人脸图像的特效玩法已广泛应用于各类应用软件中，例如图像/视频的编辑软件、拍摄软件等。其中，人脸图像的特效玩法可包括人脸转换，例如年龄转换、性别转换等。

现有技术中，可基于训练后的模型实现人脸图像中人脸转换。现有技术的不足之处至少包括，为保证人脸转换效果，模型需要进行耗时较长的训练过程，导致模型训练速度慢。

发明内容

本公开实施例提供了一种模型训练方法、图像处理方法、装置、电子设备及介质，能够在保证转换效果的基础上，提高模型训练速度。

第一方面，本公开实施例提供了一种模型训练方法，包括：

根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将所述第一图像转换为所述目标类型的第三图像；

根据所述第一图像包含的对象，对所述第三图像中相应的对象进行调整，得到调整图像；

根据所述第一图像和所述调整图像对特效模型进行训练。

第二方面，本公开实施例提供了一种图像处理方法，包括：

将源类型的待转化图像输入特效模型；

通过所述特效模型输出目标类型的目标图像；

其中，所述特效模型基于本公开实施例任一所述的模型训练方法训练得到。

第三方面，本公开实施例还提供了一种模型训练装置，包括：

转换模型训练模块，用于根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将所述第一图像转换为所述目标类型的第三图像；

调整模块，用于根据所述第一图像包含的对象，对所述第三图像中相应的对象进行调整，得到调整图像；

特效模型训练模块，用于根据所述第一图像和所述调整图像对特效模型进行训练。

第四方面，本公开实施例提供了一种图像处理装置，包括：

输入模块，用于将源类型的待转化图像输入特效模型；

输出模块，用于通过所述特效模型输出目标类型的目标图像；

第五方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的模型训练方法，或者实现如本公开实施例任一所述的图像处理方法。

第六方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的模型训练方法，或者实现如本公开实施例任一所述的图像处理方法。

本公开实施例的技术方案，其中模型训练方法包括：根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像；根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像；根据第一图像和调整图像对特效模型进行训练。

在基于训练完毕的转换模型，将源类型的第一图像转换为目标类型的第三图像之后，通过根据第一图像中包含的对象对第三图像中相应的对象进行调整，能够得到转换效果较佳的调整图像。通过基于该调整图像对特效模型进行训练，不仅能够保证特效模型的转换效果，还避免了通过模型反复训练来达到期望转换效果，提高了模型训练速度。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例一所提供的一种模型训练方法的流程示意图；

图2为本公开实施例一所提供的一种模型训练方法中特效模型训练的示意图；

图3为本公开实施例二所提供的一种模型训练方法的流程示意图；

图4为本公开实施例二所提供的一种模型训练方法中生成模型训练的示意图；

图5为本公开实施例二所提供的一种模型训练方法中编码器训练的示意图；

图6为本公开实施例二所提供的一种模型训练方法中转换模型训练的示意图；

图7为本公开实施例三所提供的一种图像处理方法的流程示意图；

图8为本公开实施例四所提供的一种模型训练装置的结构示意图；

图9为本公开实施例五所提供的一种图像处理装置的结构示意图；

图10为本公开实施例六所提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

实施例一

图1为本公开实施例一所提供的一种模型训练方法的流程示意图。本公开实施例适用于训练图像转换的模型的情形，例如适用于训练人脸图像转换的模型的情形。该方法可以由模型训练装置来执行，该装置可以通过软件和/或硬件的形式实现，该装置可配置于电子设备中，例如配置于计算机中。

如图1所示，本实施例提供的模型训练方法，包括：

S110、根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像。

基于本公开实施例的模型训练方法训练的模型，可用于进行不同类型间的图像的转换。其中，图像的类型可以依据具体场景，按不同因素进行分类。示例性的，假设图像为人脸图像，那么若图像按年龄因素分类，则图像的类型可以包括婴儿、儿童、少年、青年、中年和老年等；若图像按性别因素分类，则图像的类型可以包括男性和女性；若图像按绘画风格因素分类，则图像的类型可以包括写实、抽象、油画、水墨画、漫画、简笔画等。

其中，源类型可以指转换前的图像的类型，目标类型可以指转换后图像的类型，且源类型和目标类型可属于按同种因素分类的不同类型。例如当源类型为婴儿类型时，目标类型可以为儿童类型；又如当源类型为男性类型时，目标类型可以为女性类型；再如当源类型为写实类型时，目标类型可以为漫画类型等。可以认为，针对不同源类型和目标类型间的图像转换，可依据本公开提供的模型训练方法，训练对应的模型。

在模型训练前，可通过在用户授权的情况下采集、虚拟渲染和/或网络生成等方式获取大量源类型的第一图像和目标类型的第二图像。其中，第一图像和第二图像可以为不成对数据。其中，若属于同一个体的第一图像和第二图像可以两两配对，则可以认为第一图像和第二图像为成对数据；反之，若存在不能配对的第一图像和第二图像，则可以认为第一图像和第二图像为不成对数据。

在模型训练过程中，可以先根据第一图像和第二图像对转换模型进行训练；其中转换模型可以认为是机器学习模型，例如神经网络模型。训练转换模型的步骤可以包括：将第一图像作为转换模型的输入，根据转换模型的输出的图像与第二图像对转换模型进行训练。

其中，根据转换模型的输出的图像与第二图像对转换模型进行训练，可以包括：根据转换模型的输出的图像与第二图像被判定为相同类型的概率，对转换模型进行训练；且被判定为相同类型的概率大于预设概率时，可以认为转换模型训练完毕。

为提高模型训练速度，在训练转换模型的阶段，可以设置较为宽松的训练完毕条件。例如，在根据输出的图像与第二图像被判定为相同类型的概率和预设概率确定是否训练完毕时，预设概率可以设置为较小数值。从而训练完毕的转换模型，能够实现图像由源类型到目标类型的转换，即可以将第一图像转换为目标类型的第三图像，但是转换结果可能较为粗糙。

在一些可选的实现方式中，训练转换模型过程中，还可以包括：对目标类型的第二图像进行筛选；相应的，根据源类型的第一图像和目标类型的第二图像训练转换模型，包括：根据源类型的第一图像和筛选后的第二图像训练转换模型。

在这些可选的实现方式中，可以根据具体场景预先设置筛选方式，并基于预先设置的筛选方式对第二图像进行筛选，以得到图像质量佳、有利于进行模型训练的第二图像。其中，筛选方式可以包括但不限于：基于图像对焦、曝光、清晰度、白平衡和图像中感兴趣区域占比等至少一种因素进行筛选的方式。通过根据第一图像和筛选后的第二图像训练转换模型，能够在一定程度上提高第三图像的生成效果。

在一些进一步的实现方式中，对目标类型的第二图像进行筛选，包括：检测目标类型的第二图像中的脸部关键点和头发区域；根据脸部关键点确定额头区域，并确定额头区域与头发区域的重叠区域；根据重叠区域占额头区域的占比，对第二图像进行筛选。

其中，当图像为人脸图像时，第二图像的筛选方式可以包括图像中脸部区域占比，且筛选过程可以包括：首先，检测第二图像中脸部关键点(例如眉、眼、鼻、嘴、耳等对象的关键点)和头发区域；接着，根据脸部关键点，例如眉、耳的关键点预测人脸额头区域；然后，确定额头区域和头发区域的重叠区域占额头区域的占比；最后，可筛选出占比小于预设占比的第二图像，以用于转换模型训练。

在这些进一步的实现方式中，通过将刘海区域占额头区域占比较大的第二图像进行删除，避免了脸部区域遮挡。通过利用筛选出的第二图像进行转换模型训练，有利于第三图像中脸部区域生成。此外，当图像为人脸图像时，还可通过其他筛选方式进行第二图像筛选，例如根据颜值得分进行筛选，利用高颜值的图像进行转换模型训练，可以使得第三图像的颜值更高，可提高用户体验。

S120、根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像。

在训练完毕转换模型后，对转换模型生成的第三图像进行调整。其中，可以根据具体场景预先设置待调整的对象。例如，当图像为人脸图像时，待调整的对象可以包括但不限于眉、眼、鼻、嘴、耳和头发等对象。若待调整的对象既包含于第一图像，也包含于第三图像，则可认为该对象在第一图像和第三图像中具备对应关系。此时，可以根据第一图像包含的待调整的对象，对第三图像中相应的待调整的对象进行调整。

其中，根据第一图像包含的对象对第三图像中相应的对象进行调整，可以包括但不限于：根据第一图像中对象的轮廓、纹理和颜色等特征，对第三图像中相应的对应的轮廓、纹理和颜色等进行调整。

通过基于第一图像对第三图像中的对象进行调整，能够使第三图像和第一图像具备相似性，例如使经年龄、性别转换后的人脸图像与原人脸图像看上去是同一个人。并且，还可以在一定程度上对第三图像中的对象进行美化调整，以使第三图像呈现效果更佳。

在一些可选的实现方式中，根据第一图像包含的对象，对第三图像中相应的对象进行调整，包括下述至少一项：根据第一图像包含的脸部关键点，对第三图像中相应的脸部关键点进行调整；将第一图像包含的头发区域的图像，叠加至第三图像中头发区域。

其中，当图像为人脸图像时，对第三图像进行调整可以包括：检测待调整的对象在第一图像和第三图像中的关键点，即脸部关键点；基于图像变形方法(例如TPS变形方法)，根据第一图像中脸部关键点的位置对应关系，将第三图像中脸部关键点进行调整。从而可以实现对脸部五官局部的形变进行微调，提高第三图像和第一图像的相似程度。

此外，当图像为人脸图像时，对第三图像进行调整还可以包括：提取第一图像中头发区域的图像(例如可以为头发区域的掩码)，将头发区域的图像叠加在第三图像中头发区域。由于转换模型生成的第三图像中，容易生成杂乱或者多余的头发，导致整体效果较差。通过使第三图像保留第一图像中头发区域，对面部进行变换，不仅能够提高第三图像和第一图像相似性，还可以优化第三图像的生成效果。此外，第三图像在叠加第一图像的头发区域的图像之前，还可以对第一图像的头发区域的图像进行美化调整，以进一步提高第三图像的生成效果。

在这些可选的实现方式中，通过根据第一图像灵活调整第三图像中五官、头发等不同对象，能够使第三图像调整至呈现效果最佳的状态。

S130、根据第一图像和调整图像对特效模型进行训练。

基于上述调整可以生成大量的成对数据，即第一图像和调整图像。进而，可以通过成对数据对特效模型进行训练。其中，特效模型可以认为是机器学习模型，例如神经网络模型。训练转换模型的步骤可以包括：将第一图像作为转换模型的输入，根据特效模型的输出的图像与调整图像对特效模型进行训练。具体例如可以包括：计算特效模型的输出的图像与调整图像的第一损失值，根据该第一损失值对特效模型进行训练。其中，损失值基于预设损失函数计算，且预设损失函数可以包括但不限于，对数损失函数、指数损失函数、交叉熵损失函数和平方误差损失函数等。其中，第一损失值小于第一预设值时可以认为特效模型训练完毕，且第一预设值可以设置为较小数值，以提高特效模型训练效果。

由于调整图像可以为基于第一图像调节的、转换效果好、呈现效果较佳的图像。基于成对的调整图像和第一图像训练特效模型，与传统的基于不成对数据反复训练转换模型，以使转换模型输出期望效果图像的训练方式相比，能够在保证模型转换效果的基础上，减少训练耗时，提高模型训练效率。

此外，在模型训练完毕得到特效模型后，还可以将特效模型集成于服务端或客户端的应用软件中，并随应用软件安装于电子设备上。当电子设备运行应用软件时，可以基于软件中的特效模型实现图像转换特效，提高用户体验。

示例性的，图2为本公开实施例一所提供的一种模型训练方法中特效模型训练的示意图。参见图2，源类型的第一图像可以为宝宝图像A，目标类型的第二图像可以为儿童图像B。在特效模型训练过程中，可以包括：先根据宝宝图像A和儿童图像B训练转换模型M1；基于训练完毕的转换模型M1，将宝宝图像A转换为儿童图像A’；根据宝宝图像A中的对象，对儿童图像A’中的对象进行调整(例如五官微调、头发区域的图像叠加等)，得到调整图像A”；根据成对的宝宝图像A和调整图像A”训练特效模型M2。

由于调整图像A”可以调整为与宝宝图像A具备相似性的、呈现效果佳的图像。基于成对的调整图像A”和宝宝图像A训练特效模型M2，与传统的基于不成对的宝宝图像A和儿童图像B反复训练转换模型M1，以使转换模型M1输出期望效果图像的训练方式相比，能够在保证转换效果的基础上，减少训练耗时，提高特效模型的训练效率。且训练完毕的特效模型M2可以应用于服务端或客户端，以进行宝宝图像到儿童图像的人脸转换。

本公开实施例的技术方案，根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像；根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像；根据第一图像和调整图像对特效模型进行训练。

实施例二

本公开实施例与上述实施例中所提供的模型训练方法中各个可选方案可以结合。本实施例所提供的模型训练方法，对转换模型的训练步骤进行了详细描述。首先，通过基于第一图像训练生成模型，能够使生成模型可以生成源类型的图像；其次，通过以生成模型为先验，基于第一图像训练编码器，能够使编码器可提取图像特征；再次，通过将编码器接于转换模型前，利用训练完毕的生成模型的参数配置转换模型的初始参数，基于第一图像和第二图像训练转换模型，能够使转换模型可以实现由源类型到目标类型的图像转换。

通过基于生成模型训练编码器，能够使编码器提取第一图像特征，有利于实现对包含转换模型在内的不同功能的编码器后接模型进行训练，提高模型训练的普适性，实现将图像由源类型转化为不同的目标类型。此外，通过将生成模型和转换模型基于生成对抗网络进行训练，能够使得生成的第三图像效果更加真实自然。

图3为本公开实施例二所提供的一种模型训练方法的流程示意图。如图3所示，本实施例提供的模型训练方法，包括：

S310、根据源类型的第一图像训练生成模型。

本实施例中，生成模型可以作为生成对抗网络的生成器，随生成对抗网络进行训练。通过根据源类型的第一图像训练生成模型，可以使生成模型生成源类型的图像。

示例性的，图4为本公开实施例二所提供的一种模型训练方法中生成模型训练的示意图。

参见图4，在一些可选的实现方式中，根据源类型的第一图像A训练生成模型G1，可以包括：将白噪声图像N输入生成模型G1，将生成模型G1的输出图像G1(N)和源类型的第一图像A输入第一判别器D1；根据第一判别器D1的判别结果，对生成模型G1进行训练。

其中，根据第一判别器D1的判别结果对生成模型G1进行训练，可以包括两阶段：一、训练第一判别器D1阶段，即在生成模型G1参数固定的情况下，第一判别器D1判别输出图像G1(N)和第一图像A，是属于原图像还是属于经生成模型G1生成的图像，且可以以提高判别结果的正确率为目标，训练第一判别器D1。二、训练生成模型G1阶段，即在第一判别器D1参数固定的情况下，以第一判别器D1无法正确区分输出图像G1(N)和第一图像A为目标，训练生成模型G1。生成对抗网络的该两阶段训练过程可以依次循环训练，且可先对生成模型进行训练也可先对第一判别器进行训练，可以循环至预设条件停止训练。其中预设条件可以包括但不限于循环了预设次数，第一判别器的准确度高达一定精度等等，在此不做穷举。

在这些可选的实现方式中，通过生成模型和第一判别器之间相互博弈的训练，可以使得训练完毕的生成模型生成源类型的图像的效果更佳。

S320、根据第一图像和训练完毕的生成模型训练编码器。

本实施例中，编码器可以用于对图像进行编码，以提取图像特征。为使编码器能够准确提取图像特征，可以以训练完毕的生成模型为先验经验，对编码器进行训练。对编码器进行训练的过程可以是，在生成模型参数固定的情况下，使生成模型连接编码器后，通过调整编码器参数保证生成模型仍可生成源类型的图像。

示例性的，图5为本公开实施例二所提供的一种模型训练方法中编码器训练的示意图。

参见图5，在一些可选的实现方式中，根据第一图像A和训练完毕的生成模型G1训练编码器E，可以包括：将第一图像A依次经编码器E和训练完毕的生成模型G1进行处理，得到生成模型G1的输出图像G1(E(A))；根据生成模型G1的输出图像G1(E(A))和第一图像A，对编码器E进行训练。

其中，根据生成模型G1的输出图像G1(E(A))和第一图像A对编码器E进行训练，可以包括：计算生成模型G1的输出图像G1(E(A))和第一图像A之间的第二损失值，根据该第二损失值对编码器E进行训练。其中第二损失值也可基于预设损失函数计算，且预设损失函数可以与计算第一损失值的函数相同，也可以不同。其中，第二损失值小于第二预设值时可以认为编码器E训练完毕。

在这些可选的实现方式中，通过将编码器连接在生成模型前，以训练完毕的生成模型为先验(例如固定生成模型的参数)，基于第一图像训练编码器，能够使编码器实现提取图像特征。

S330、根据训练完毕的编码器、第一图像和目标类型的第二图像训练转换模型。

本实施例中，转换模型也可以作为生成对抗网络的生成器，随生成对抗网络进行训练。由于编码器可准确提取图像特征，可以将编码器连接于转换模型之前，通过将提取的第一图像的图像特征输入转换模型，有利于使转换模型学习由图像特征生成目标类型的图像的逻辑规律。并且，当目标类型包含多个不同类型时，编码器后可以并联多个转换模型，从而有利于实现对不同功能的编码器后接模型进行训练，提高模型训练的普适性，实现将图像由源类型转化为不同的目标类型。

在训练转换模型前，转换模型的初始参数可以基于训练完毕的生成模型的参数配置。从而，转换模型的参数可以在此基础上进行微调，在一定程度上能够加快转换模型的训练速度。可以认为，训练初期第一图像经编码器和转换模型所生成的图像，为源类型的图像。但是，随着训练过程时间增加，根据第二图像对转换模型进行训练，可以使转换模型实现将源类型的图像转换为目标类型的图像。

示例性的，图6为本公开实施例二所提供的一种模型训练方法中转换模型训练的示意图。

参见图6，在一些可选的实现方式中，根据训练完毕的编码器E、第一图像A和目标类型的第二图像B训练转换模型G2，可以包括：将第一图像A依次经训练完毕的编码器E和转换模型G2进行处理，得到转换模型的输出图像G2(E(A))；将转换模型的输出图像G2(E(A))和目标类型的第二图像B输入第二判别器D2；根据第二判别器D2的判别结果，对转换模型G2进行训练。

其中，根据第一判别器D2的判别结果对转换模型G2进行训练，可以包括两阶段：一、训练第二判别器D2阶段，即在转换模型G2参数固定的情况下，第二判别器D2判别输出图像G2(E(A))和第二图像B，是属于原图像还是属于经转换模型G2生成的图像，且可以以提高判别结果的正确率为目标，训练第二判别器D2。二、训练转换模型G2阶段，即在第二判别器D2参数固定的情况下，以第二判别器D2无法正确区分输出图像G2(E(A))和第二图像B为目标，训练转换模型G2。生成对抗网络的该两阶段训练过程可以依次循环训练，且可先对转换模型进行训练也可先对第二判别器进行训练，可以循环至预设条件停止训练。其中预设条件可以包括但不限于循环了预设次数，第二判别器的准确度高达一定精度等等，在此不做穷举。

此外，还可以将转换模型的输出图像和筛选后的第二图像输入第二判别器，以训练转换模型，从而可提高转换模型所生成的第三图像的呈现效果。

在这些可选的实现方式中，通过转换模型和第二判别器之间相互博弈的训练，可以使得训练完毕的转换模型生成目标类型的图像的效果更佳。

在一些可选的实现方式中，根据训练完毕的编码器、第一图像和目标类型的第二图像训练转换模型，还包括：将目标类型的第二图像进行扩充；根据训练完毕的编码器、第一图像和扩充后的第二图像训练转换模型。

其中，对目标类型的第二图像进行扩充可以包括但不限于，对第二图像进行裁剪、镜像、旋转等处理，以获得更多的第二图像。通过增多第二图像的数量，可以在一定程度上提高转换模型的转换效果。

其中，可以在第二图像进行筛选后，对第二图像进行扩充，从而避免由于训练数据少导致转换模型训练效果差的问题，提高转换模型的转换效果。此外，还可以根据第二判别器的判别结果，确定是否对第二图像进行扩充，从而可以避免在任一时机下进行扩充，并基于扩充数据进行模型训练，提高了转换模型训练效率。

其中，根据第二判别器的判别结果，确定是否对第二图像进行扩充，可以是：根据第二判别器的判别结果自适应调节概率p，根据概率p确定是否对第二图像进行扩充。例如，在判别结果准确率始终较高的情况下，可以认为转换模型训练程度不够强，此时可以提高概率p，且当概率p大于第三预设值时，可以确定对第二图像进行扩充。

在这些可选的实现方式中，通过对第二图像进行扩充，可以实现训练数据增强，丰富了转换模型的训练数据，从而可以提高转换模型的训练效果。

S340、基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像。

S350、根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像。

S360、根据第一图像和调整图像对特效模型进行训练。

本公开实施例的技术方案，对转换模型的训练步骤进行了详细描述。首先，通过基于第一图像训练生成模型，能够使生成模型可以生成源类型的图像；其次，通过以生成模型为先验，基于第一图像训练编码器，能够使编码器可提取图像特征；再次，通过将编码器接于转换模型前，利用训练完毕的生成模型的参数配置转换模型的初始参数，基于第一图像和第二图像训练转换模型，能够使转换模型可以实现由源类型到目标类型的图像转换。

此外，本公开实施例提供的模型训练方法与上述实施例提供的模型训练方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。

实施例三

图7为本公开实施例三所提供的一种图像处理方法的流程示意图。本公开实施例适用于对人脸图像进行人脸转换的情形，例如适用于年龄转换、性别转换等情形。该方法可以由图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现，该装置可集成于应用软件，且可随应用软件安装到电子设备中，例如安装到服务器、手机、电脑等电子设备中。

如图7所示，本实施例提供的图像处理方法，包括：

S710、将源类型的待转化图像输入特效模型。

S720、通过特效模型输出目标类型的目标图像。

其中，特效模型基于本公开实施例中任一的模型训练方法训练得到。

执行本公开实施例提供的图像处理方法的装置，可集成于支持图像处理功能的应用软件中，且可随应用软件安装于服务器、手机、电脑等电子设备中。其中，应用软件可以为涉及图像/视频的多媒体类应用软件，例如图像/视频编辑软件、拍摄软件、多媒体分享类软件和多媒体通信类软件等，在此不做穷举。

当电子设备运行该些应用软件时，可通过应用软件提供的用户界面接收特效触发指令。并且，应用软件可以在接收到特效触发指令后，可以调用图像处理装置执行图像处理方法。其中，特效触发指令，可以认为是用于触发对图像/视频执行特效的指令。其中，特效触发指令中可以携带有特效的特效标识，每种特效标识可以唯一表征对应的特效。其中，特效可以包括人脸转换特效，例如年龄转换、性别转换等。

其中，待转换图像可以为通过应用软件采集的图像，也可以为应用软件读取的电子设备存储空间中的图像。当应用软件获取到待转换图像，并接收到特效触发指令时，可以调用图像处理装置，以通过图像处理装置中的特效模型将待转换图像转换为目标图像。

本公开实施例的技术方案，通过利用训练完毕的特效模型进行人脸图像处理，能够实现人脸转换的特效玩法，提高用户体验。本公开实施例提供的图像处理方法与上述实施例提供的模型训练方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。

实施例四

图8为本公开实施例四所提供的一种模型训练装置的结构示意图。本公开实施例适用于训练图像转换的模型的情形，例如适用于训练人脸图像转换的模型的情形。

如图8所示，本公开实施例提供的模型训练装置，包括：

转换模型训练模块810，用于根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像；

调整模块820，用于根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像；

特效模型训练模块830，用于根据第一图像和调整图像对特效模型进行训练。

在一些可选的实现方式中，转换模型训练模块，包括：

生成模型训练单元，用于根据源类型的第一图像训练生成模型；

编码器训练单元，用于根据第一图像和训练完毕的生成模型训练编码器；

转换模型训练单元，用于根据训练完毕的编码器、第一图像和目标类型的第二图像训练转换模型；

其中，转换模型的初始参数基于训练完毕的生成模型的参数配置。

在一些可选的实现方式中，生成模型训练单元，可以具体用于：

将白噪声图像输入生成模型，将生成模型的输出图像和源类型的第一图像输入第一判别器；

根据第一判别器的判别结果，对生成模型进行训练。

在一些可选的实现方式中，编码器训练单元，可以具体用于：

将第一图像依次经编码器和训练完毕的生成模型进行处理，得到生成模型的输出图像；

根据生成模型的输出图像和第一图像，对编码器进行训练。

在一些可选的实现方式中，转换模型训练单元，可以具体用于：

将第一图像依次经训练完毕的编码器和转换模型进行处理，得到转换模型的输出图像；

将转换模型的输出图像和目标类型的第二图像输入第二判别器；

根据第二判别器的判别结果，对转换模型进行训练。

将目标类型的第二图像进行扩充；

根据训练完毕的编码器、第一图像和扩充后的第二图像训练转换模型。

在一些可选的实现方式中，调整模块，可以用于下述至少一项：

根据第一图像包含的脸部关键点，对第三图像中相应的脸部关键点进行调整；

将第一图像包含的头发区域的图像，叠加至第三图像中头发区域。

在一些可选的实现方式中，转换模型训练模块，还包括：

筛选单元，用于对目标类型的第二图像进行筛选；

相应的，转换模型训练模块，可以用于：根据源类型的第一图像和筛选后的第二图像训练转换模型。

在一些可选的实现方式中，筛选单元，可以具体用于：

检测目标类型的第二图像中的脸部关键点和头发区域；

根据脸部关键点确定额头区域，并确定额头区域与头发区域的重叠区域；

根据重叠区域占额头区域的占比，对第二图像进行筛选。

本公开实施例所提供的模型训练装置，可执行本公开任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。

实施例五

图9为本公开实施例五所提供的一种图像处理装置的结构示意图。本公开实施例适用于对人脸图像进行人脸转换的情形，例如适用于年龄转换、性别转换等情形。

如图9所示，本公开实施例提供的模型训练装置，包括：

输入模块910，用于将源类型的待转化图像输入特效模型；

输出模块920，用于通过特效模型输出目标类型的目标图像；

其中，特效模型基于本公开实施例任一的模型训练方法训练得到。

本公开实施例所提供的模型训练装置，可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。

实施例六

下面参考图10，其示出了适于用来实现本公开实施例的电子设备(例如图10中的终端设备或服务器)1000的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储装置1006加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1006被安装，或者从ROM1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的模型训练方法或图像处理方法中限定的上述功能。

本公开实施例提供的电子设备与上述实施例提供的模型训练方法或图像处理方法属于同一公开构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。

实施例七

本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的模型训练方法或图像处理方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

根据源类型的第一图像和目标类型的第二图像训练转换模型，以基于训练完毕的转换模型，将第一图像转换为目标类型的第三图像；根据第一图像包含的对象，对第三图像中相应的对象进行调整，得到调整图像；根据第一图像和调整图像对特效模型进行训练。

或者，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

将源类型的待转化图像输入特效模型；通过特效模型输出目标类型的目标图像；其中，特效模型基于本公开实施例任一的模型训练方法训练得到。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元、模块的名称在某种情况下并不构成对该单元、模块本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上系统(System on Chip，SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，【示例一】提供了一种模型训练方法，该方法包括：

根据所述第一图像和所述调整图像对特效模型进行训练。

根据本公开的一个或多个实施例，【示例二】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据源类型的第一图像和目标类型的第二图像训练转换模型，包括：

根据源类型的第一图像训练生成模型；

根据所述第一图像和训练完毕的生成模型训练编码器；

根据训练完毕的编码器、所述第一图像和目标类型的第二图像训练转换模型；

其中，所述转换模型的初始参数基于训练完毕的生成模型的参数配置。

根据本公开的一个或多个实施例，【示例三】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据源类型的第一图像训练生成模型，包括：

将白噪声图像输入生成模型，将所述生成模型的输出图像和源类型的第一图像输入第一判别器；

根据所述第一判别器的判别结果，对所述生成模型进行训练。

根据本公开的一个或多个实施例，【示例四】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据所述第一图像和训练完毕的生成模型训练编码器，包括：

将所述第一图像依次经编码器和训练完毕的生成模型进行处理，得到所述生成模型的输出图像；

根据所述生成模型的输出图像和所述第一图像，对所述编码器进行训练。

根据本公开的一个或多个实施例，【示例五】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据训练完毕的编码器、所述第一图像和目标类型的第二图像训练转换模型，包括：

将所述第一图像依次经训练完毕的编码器和转换模型进行处理，得到所述转换模型的输出图像；

将所述转换模型的输出图像和所述目标类型的第二图像输入第二判别器；

根据所述第二判别器的判别结果，对所述转换模型进行训练。

根据本公开的一个或多个实施例，【示例六】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据训练完毕的编码器、所述第一图像和目标类型的第二图像训练转换模型，还包括：

将目标类型的第二图像进行扩充；

根据训练完毕的编码器、所述第一图像和扩充后的第二图像训练转换模型。

根据本公开的一个或多个实施例，【示例七】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，根据所述第一图像包含的对象，对所述第三图像中相应的对象进行调整，包括下述至少一项：

根据所述第一图像包含的脸部关键点，对所述第三图像中相应的脸部关键点进行调整；

将所述第一图像包含的头发区域的图像，叠加至所述第三图像中头发区域。

根据本公开的一个或多个实施例，【示例八】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，对目标类型的第二图像进行筛选；

相应的，根据源类型的第一图像和目标类型的第二图像训练转换模型，包括：根据源类型的第一图像和筛选后的第二图像训练转换模型。

根据本公开的一个或多个实施例，【示例九】提供了一种模型训练方法，还包括：

在一些可选的实现方式中，对目标类型的第二图像进行筛选，包括：

检测目标类型的第二图像中的脸部关键点和头发区域；

根据所述脸部关键点确定额头区域，并确定所述额头区域与头发区域的重叠区域；

根据所述重叠区域占所述额头区域的占比，对所述第二图像进行筛选。

根据本公开的一个或多个实施例，【示例十】提供了一种图像处理方法，包括：

在一些可选的实现方式中，将源类型的待转化图像输入特效模型；

通过所述特效模型输出目标类型的目标图像；

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种模型训练方法，其特征在于，包括：

根据所述第一图像和所述调整图像对特效模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据源类型的第一图像和目标类型的第二图像训练转换模型，包括：

根据源类型的第一图像训练生成模型；

根据所述第一图像和训练完毕的生成模型训练编码器；

3.根据权利要求2所述的方法，其特征在于，所述根据源类型的第一图像训练生成模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像和训练完毕的生成模型训练编码器，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据训练完毕的编码器、所述第一图像和目标类型的第二图像训练转换模型，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据训练完毕的编码器、所述第一图像和目标类型的第二图像训练转换模型，还包括：

将目标类型的第二图像进行扩充；

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像包含的对象，对所述第三图像中相应的对象进行调整，包括下述至少一项：

8.根据权利要求1所述的方法，其特征在于，还包括：

对目标类型的第二图像进行筛选；

9.根据权利要求8所述的方法，其特征在于，所述对目标类型的第二图像进行筛选，包括：

检测目标类型的第二图像中的脸部关键点和头发区域；

10.一种图像处理方法，其特征在于，包括：

将源类型的待转化图像输入特效模型；

通过所述特效模型输出目标类型的目标图像；

其中，所述特效模型基于权利要求1-9中任一所述的模型训练方法训练得到。

11.一种模型训练装置，其特征在于，包括：

12.一种图像处理装置，其特征在于，包括：

输入模块，用于将源类型的待转化图像输入特效模型；

13.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的模型训练方法，或实现如权利要求10所述的图像处理方法。

14.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的模型训练方法，或实现如权利要求10所述的图像处理方法。