[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109376582B - 一种基于生成对抗网络的交互式人脸卡通方法 - Google Patents

一种基于生成对抗网络的交互式人脸卡通方法 Download PDF

Info

Publication number
CN109376582B
CN109376582B CN201811024740.3A CN201811024740A CN109376582B CN 109376582 B CN109376582 B CN 109376582B CN 201811024740 A CN201811024740 A CN 201811024740A CN 109376582 B CN109376582 B CN 109376582B
Authority
CN
China
Prior art keywords
cartoon
image
face
hair
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811024740.3A
Other languages
English (en)
Other versions
CN109376582A (zh
Inventor
李宏亮
梁小娟
邓志康
颜海强
尹康
袁欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811024740.3A priority Critical patent/CN109376582B/zh
Publication of CN109376582A publication Critical patent/CN109376582A/zh
Application granted granted Critical
Publication of CN109376582B publication Critical patent/CN109376582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的交互式人脸卡通方法。本发明对待处理的图像，首先行交互式分割处理，得到眉眼、嘴鼻、头发和脸部图像，再将眉眼、嘴鼻、头发分别输入三个训练好的眼、嘴鼻、头发生成模型，输出对应的卡通五官图像；基于脸部图像的卡通化处理，直接得到卡通人脸；再将人脸五官合成在卡通人脸上，并叠加上头发效果，得到最终的卡通图像。本发明利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息。

Description

一种基于生成对抗网络的交互式人脸卡通方法
技术领域
本发明属于图像处理和计算机视觉技术领域，是一种基于生成对抗网络的交互式人脸卡通方法。
背景技术
近年来，伴随着移动网络和手机的快速发展，特别是移动互联网的蓬勃发展，数字娱乐凭借其特殊优势在产业内规模越来越大，人脸卡通画技术应运而生，这一技术主要是利用图像处理和计算机程序自动地生成卡通化结果，能够极大地减少绘画师的工作量，提高卡通化效率。
目前人脸卡通化方法主要有基于交互式的方法和无监督学习的方法。基于交互式的方法采用了人机交互的方式，提取出人脸轮廓线条，然后对人脸特征突出区域进行人为的夸张变形来生成个性卡通画，虽然交互式能够更加准确的得到人脸关键点信息，但是这种方法只能生成单一的卡通线条画，没有颜色渲染，并且耗时比较长。无监督学习的方法主要是利用机器学习或深度学习的方法对人脸图像进行卡通化转换。基于机器学习的方法中，一类是使用变形或颜色变换的方法对输入人脸图像像素进行处理，从而得到一定的卡通效果；另一类是基于样本学习的方法，对人脸图像整体进行特征提取，学习从人脸图像到风格图像的映射关系，然后生成卡通人脸。深度学习作为机器学习的分支，沿用了机器学习的思想，通过建立神经网络，能够学习到更具有高层语义特征，从而具有更强的学习能力，被广泛应用于物体检测、分类、分割与图像生成等领域。
生成对抗网络也属于深度神经网络的一种，实质上是一种生成模型与判别模型的结合，生成模型是通过训练样本学习到输入到输出的条件概率分布，即一种生成关系，判别模型是由数据直接学习决策函数或预测函数，即对结果的决策或预测。生成对抗网络将两种模型相结合，并建立一种竞争的关系，利用生成模型将输入噪声或图片转换成风格图像，利用判别模型来判断生成图像的真假，真实样本即为真，生成图像记为假。训练过程既是一种相互博弈的过程，生成模型想要尽可能的欺骗判别网络，而判别网络想要尽可能的识别出假的图片。基于这一原理，生成对抗网络广泛应用于图像生成与风格迁移，相较于一般的生成模型，该网络能够生成更加清晰的图像，但是细节仍有不足，同时依赖于大量的风格类似的训练样本。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供
一般的卡通化转换受到复杂背景的影响，生成的图像质量不佳。为了将训练模型能应用于数据集以外的图像当中，本发明尝试在对人脸头像进行卡通化之前进行交互式分割方法得到人物头发、脸部轮廓以及人脸五官，并分别进行卡通化转换，提升卡通画的细节处理，最后合成为完整的卡通图像。
本发明的基于生成对抗网络的交互式人脸卡通方法，包括下列步骤：
步骤S1：基于一一对应的真实人脸图像和卡通人脸图像，采用生成对抗网络训练关于头发、眉眼、嘴鼻的卡通生成模型：
对真实人脸图像和卡通人脸图像进行尺寸归一化处理；再对所有图像进行交互式分割处理，获取眉眼数据库、嘴鼻数据库和头发数据库；
构建三个生成对抗网络，每个生成对抗网络包括两对生成器和判别器，生成器GA用于将真实人脸图像生成卡通人脸图像，生成器GB用于将卡通图像生成真实人脸图像；
训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；
各卡通生成模型的最终损失函数为LG＝lossGA+lossGB+λ1Lcyc(GA,GB)+λ2Lidt，其中lossGA、lossGB分别表示生成器GA、GB的最终损失函数，Lcyc(GA,GB)表示循环损失函数，Lidt表示重构损失函数；
其中Lidt具体为：
Lidt＝Ey～pdata(y)[||decoderB(encoderB(y))||-y]+Ex～pdata(x)[||decoderA(encoderA(x))||-x]，
其中，x表示生成器GA的输入图像，即真实人脸图像，y表示生成器GB的输入图像，即卡通人脸图像；
encoderB(·)表示提取括号中的卡通图像的图像特征，encoderA(·)表示提取括号中的真实的图像特征；
decoderB(·)表示生成器GB生成的真实人脸图像，decoderA(·)表示生成器GA生成的卡通人脸图像；
Figure BDA0001788227630000021
表示取均值，下标
Figure BDA0001788227630000022
用于表示图像
Figure BDA0001788227630000023
所属的图像类型，其中
Figure BDA0001788227630000024
pdata(x)表示真实图像，pdata(y)表示卡通图像；
步骤S2：对待处理的真实人脸图像进行交互式分割处理，获取眉眼、嘴鼻、头发和人脸轮廓图像，再将眉眼、嘴鼻、头发分别输入对应的生成模型，输出对应的卡通图像：卡通眉眼、卡通嘴鼻和卡通头发；
对人脸轮廓图像，取脸部肤色的平均像素值进行填充，得到卡通人脸；
最后，将生成的卡通眉眼、卡通嘴鼻合成在卡通人脸上，并叠加上卡通头发，得到最终的卡通图像。
本发明中的交互式分割处理具体为：
用不同颜色的线条分别标注头发区域、背景区域，用不同颜色的点标注双眼位置以及嘴唇位置，其中双眼和嘴唇的颜色相同，但与头发、背景的颜色不同；
以头发的标注颜色的该色彩区域作为前景，其他区域作为背景，分割出头发图像；
以双眼的标注颜色的该色彩点的相连区域作为前景，其他区域作为背景，分割出人脸部分，从而得到人脸轮廓图像(脸部图像)；
再通过双眼和嘴唇标注点剪切出左右眼眉图像和嘴唇图像。
综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明通过同时利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息。
附图说明
图1：本发明流程示意图。
图2：本发明中生成对抗网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明提出一种基于生成对抗网络的交互式人脸卡通化方法，同时利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息，最后合成为人脸卡通化。
首先，构建卡通数据库，包括：眼眉数据库(可只构建左或者右，再将其翻转得到对称的眉眼数据库)、嘴鼻数据库、头发数据库。
本具体实施中，为了追求更好的效果，将专业画师为100位志愿者所绘画的同一种风格的卡通头像作为的对应人脸图像的卡通映射图。
首先将所有人脸图像与卡通头像图片裁剪到同一尺寸，例如256*256。然后利用经典交互式分割方法对所有图像进行分割，同时标注头发、背景、双眼，具体方法如下：
1、用不同颜色的粗线条分别标注头发区域(蓝色)、背景区域(绿色)，用圆点标注双眼位置以及嘴唇位置(红点)。
2、以蓝色区域作为前景，其他区域作为背景，分割出头发。
3、以红点相连区域作为前景，其他区域作为背景，分割出人脸部分，从而得到人脸轮廓，并取脸部肤色的平均像素值进行填充，作为后续卡通化的脸部。
4、通过红点位置剪切出左右眼眉和嘴唇部分。
5、将以上得到的部分分别构成以下数据集：眼眉数据库(将右眼翻转)、嘴鼻数据库、头发数据库，用于后续的训练。
得到数据库之后，利用生成对抗网络实现卡通画的转换。针对以上三个数据库设置三个生成对抗网络，分别记为：G_eye、G_mouth、G_hair。每个网络训练过程一致，以训练眼眉图为例，具体方法如下：
生成对抗网络一般由一个生成器G和一个判别器D构成，本发明的网络结构中包括两个生成器与两个判别器，分别实现人脸到卡通的转换和卡通到人脸的转换；生成器采用编码-解码(Encoder-Decoder)的结构。网络结构图如图2所示。网络的意义可以解读为：对于两类风格图像A与B，Encoder A表示将提取A类图像的特征，Decoder A表示将特征转成A类图像，Encoder B表示将提取B类图像的特征，Decoder B表示将特征生成B类图像。
首先将眼眉图x输入生成对抗网络中，通过EncoderA-＞Decoder B(GB)得到生成图像fake_y，将生成的图像y与真实卡通图像同时输入判别器DB中，如果是真实图像则输出1，反之输出为0，据此设计损失函数如下，最小化损失函数反向传播更新DB参数。其中GB(x)即为fake_y，表示生成器生成的卡通图像，GB(y)即为fake_x，表示生成器生成的真实图像，E[]表示取均值，下标用于区分对象所属的图像类型。
Figure BDA0001788227630000041
同理，将真实卡通图像y输入生成对抗网络，通过Encoder B-＞Decoder A(GA)得到生成图像fake x，将生成的图像与真实眼眉同时输入判别器DA中计算损失函数，最小化损失函数反向传播更新DA参数。损失函数如下：(其中GA(y)即为fake_x，表示生成器生成的真实眼眉图像。其中GA(x)即为fake_y，表示生成器生成的卡通眼眉图像。)
Figure BDA0001788227630000051
从公式可以得到，每次迭代更新时，将训练样本中的数据当作正样本，而生成的图像当作负样本，最后为了达到一种平衡，负样本可以尽可能的与正样本相似，但是最后生成的图像尽管整体与真实图像非常相似，但容易非常的模糊，导致判别器仍然无法正确分辨，因此本发明在训练过程中保留上一次生成的图像，记为fake′，每一个epoch(每次训练量)更新它的数据，同时，计入下一个epoch的损失函数中：(其中D表示DA或DB)
loss′D＝lossD+E[log(fake′)] (3)
对于生成器而言，是根据判别器的输出来进行训练更新，为了使生成的图像尽可能地接近真实图像，应该把生成的图像当作正样本来训练，因此生成器的损失函数可以表示为：
Figure BDA0001788227630000052
Figure BDA0001788227630000053
为了使生成的图像更加接近真实图像，本发明也使用了cycleGAN中的循环损失函数：
Lcyc(GA，GB)＝Ey～Pdata(y)[||GB(GA(y))-y||]
+Ex～Pdata(x)[||GA(GB(x))-x||] (6)
其中，循环损失函数具体可参考文献《Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks》。
同时本发明增加了重构损失，也就是说任何一张图像，经过编码器之后，能够利用该类的解码器还原为原始图像，来证明特征的有用性。损失函数为：
Lidt＝Ey～Pdata(y)[||decoderB(encoderB(y))-y||]
+Ex～Pdata(x)[||decoderA(encoderA(x))-x||] (7)
其中，encoderB(·)表示提取括号中的卡通图像的图像特征，encoderA(·)表示提取括号中的真实的图像特征；decoderB(·)表示生成器GB生成的真实人脸图像，decoderA(·)表示生成器GA生成的卡通人脸图像；即decoderB(encoderB(y))表示原始图像y通过该类的解码器再通过该类的编码器得到的图像，应与原始图像尽可能的一致，即尽可能的还原出原始图像。
因此，最终的生成器损失可以表示为：(其中λ1λ2为训练设置的参数)
Figure BDA0001788227630000061
基于本发明构建的三个卡通生成模型，实时对待处理的人脸图像进行人脸卡通化处理得三个部分的卡通图像：眉眼、嘴鼻、头发的卡通图像之后，根据定位进行合成，得到最终的卡通图像。
实施例
步骤S1：构建训练集。
步骤S101：对原始数据进行裁剪成统一尺寸256*256；
步骤S102：进行交互式分割处理，用蓝色粗线标记头发区域、绿色粗线标记背景区域，用红点表示左眼、右眼、嘴唇；
步骤S103：根据红点坐标裁剪眼眉图像与嘴唇图像(正方形剪裁)，并记录左上坐标位置，与剪切图像大小。并尺寸归一化到64*64，构成训练数据库；
步骤S104：根据脸部分割图像得到脸部轮廓，并进行肤色填充，作为卡通人脸图像；。
步骤S105：将分割的头发图像背景填充为白色，构成头发训练集；
步骤S2：训生成对抗网络，得到三个生成模型。
分别用上述三个数据训练各自对应的生成对抗网络。得到三个生成模型。
步骤S3：对待处理的图像，首先行交互式分割处理，得到眉眼、嘴鼻、头发和脸部图像，再将眉眼、嘴鼻、头发分别输入三个对应的生成模型，输出对应的卡通五官图像；基于脸部图像的卡通化处理，直接得到卡通人脸；
再将生成的卡通图像还原成裁剪时的尺寸，并根据坐标位置，将人脸五官合成在卡通人脸上，并叠加上头发效果，得到最终的卡通图像。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于生成对抗网络的交互式人脸卡通方法，其特征在于，包括下列步骤：
步骤S1：基于一一对应的真实人脸图像和卡通人脸图像，采用生成对抗网络训练关于头发、眉眼、嘴鼻的卡通生成模型：
对真实人脸图像和卡通人脸图像进行尺寸归一化处理；再对所有图像进行交互式分割处理，获取眉眼数据库、嘴鼻数据库和头发数据库；其中，卡通人脸图像的获取方式为：将专业画师绘画的同一种风格的卡通头像作为对应真实人脸图像的卡通映射图；
构建三个生成对抗网络，每个生成对抗网络包括两对生成器和判别器，生成器GA用于将真实人脸图像生成卡通人脸图像，生成器GB用于将卡通图像生成真实人脸图像，判别器DA的输入为生成器GA生成的卡通人脸图像GA(y)和卡通人脸图像y；判别器DB的输入为生成器GB生成的真实人脸图像GB(x)和真实人脸图像y；
训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；
训练时，判别器的损失函数为：
Figure FDA0003587969420000011
Figure FDA0003587969420000012
且在训练过程中保留上一次生成的图像，记为fake′，每一个epoch更新它的数据，同时，计入下一个epoch的损失函数中：loss′D＝lossD+E[log(fake′)]，其中，D表示判别器DA或DB，epoch表示每次训练量，E[]表示取均值；
所述生成器是根据判别器的输出来进行训练更新，训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；
所述生成器在训练时的损失函数为：
Figure FDA0003587969420000013
Figure FDA0003587969420000014
各卡通生成模型的最终损失函数为LG＝lossGA+lossGB+λ1Lcyc(GA,GB)+λ2Lidt，其中lossGA、lossGB分别表示生成器GA、GB的最终损失函数，Lcyc(GA,GB)表示循环损失函数，Lidt表示重构损失函数；
所述重构损失函数Lidt具体为：
Lidt＝Ey～pdata(y)[||decoderB(encoderB(y))||-y]+Ex～pdata(x)[||decoderA(encoderA(x))||-x]，
其中，x表示生成器GA的输入图像，即真实人脸图像，y表示生成器GB的输入图像，即卡通人脸图像；
encoderB(·)表示提取括号中的卡通图像的图像特征，encoderA(·)表示提取括号中的真实的图像特征；
decoderB(·)表示生成器GB生成的真实人脸图像，decoderA(·)表示生成器GA生成的卡通人脸图像；
Figure FDA0003587969420000021
表示取均值，下标
Figure FDA0003587969420000022
用于表示图像
Figure FDA0003587969420000023
所属的图像类型，其中
Figure FDA0003587969420000024
pdata(x)表示真实图像，pdata(y)表示卡通图像；
步骤S2：对待处理的真实人脸图像进行交互式分割处理，获取眉眼、嘴鼻、头发和人脸轮廓图像，再将眉眼、嘴鼻、头发分别输入对应的生成模型，输出对应的卡通图像：卡通眉眼、卡通嘴鼻和卡通头发；
对人脸轮廓图像，取脸部肤色的平均像素值进行填充，得到卡通人脸；
将生成的卡通眉眼、卡通嘴鼻合成在卡通人脸上，并叠加上卡通头发，得到最终的卡通图像。
2.如权利要求1所述的方法，其特征在于，所述交互式分割处理具体为：
用不同颜色的线条分别标注头发区域、背景区域，用不同颜色的点标注双眼位置以及嘴唇位置，其中双眼和嘴唇的颜色相同，但与头发、背景的颜色不同；
以头发的标注颜色的色彩区域作为前景，其他区域作为背景，分割出头发图像；
以双眼的标注颜色的色彩点的相连区域作为前景，其他区域作为背景，分割出人脸部分，从而得到人脸轮廓图像；
再通过双眼和嘴唇标注点剪切出左右眼眉图像和嘴唇图像。
CN201811024740.3A 2018-09-04 2018-09-04 一种基于生成对抗网络的交互式人脸卡通方法 Active CN109376582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811024740.3A CN109376582B (zh) 2018-09-04 2018-09-04 一种基于生成对抗网络的交互式人脸卡通方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811024740.3A CN109376582B (zh) 2018-09-04 2018-09-04 一种基于生成对抗网络的交互式人脸卡通方法

Publications (2)

Publication Number Publication Date
CN109376582A CN109376582A (zh) 2019-02-22
CN109376582B true CN109376582B (zh) 2022-07-29

Family

ID=65404459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811024740.3A Active CN109376582B (zh) 2018-09-04 2018-09-04 一种基于生成对抗网络的交互式人脸卡通方法

Country Status (1)

Country Link
CN (1) CN109376582B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886216B (zh) * 2019-02-26 2023-07-18 华南理工大学 基于vr情景人脸图像复原的表情识别方法、设备及介质
CN110070483B (zh) * 2019-03-26 2023-10-20 中山大学 一种基于生成式对抗网络的人像卡通化方法
CN110097086B (zh) * 2019-04-03 2023-07-18 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN109902767B (zh) * 2019-04-11 2021-03-23 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110335332B (zh) * 2019-05-14 2023-04-18 杭州火烧云科技有限公司 一种人脸卡通画自动绘制方法
CN110288677B (zh) * 2019-05-21 2021-06-15 北京大学 一种基于可形变结构的行人图像生成方法和装置
CN110232722B (zh) * 2019-06-13 2023-08-04 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN110517200B (zh) * 2019-08-28 2022-04-12 厦门美图之家科技有限公司 人脸草绘图的获取方法、装置、设备及存储介质
CN110675353A (zh) * 2019-08-31 2020-01-10 电子科技大学 一种基于条件生成对抗网络的选择分割图像合成方法
CN110689546A (zh) * 2019-09-25 2020-01-14 北京字节跳动网络技术有限公司 个性化头像的生成方法、装置、设备及存储介质
CN111046763B (zh) * 2019-11-29 2024-03-29 广州久邦世纪科技有限公司 一种人像卡通化的方法和装置
CN111246176A (zh) * 2020-01-20 2020-06-05 北京中科晶上科技股份有限公司 一种节带化视频传输方法
CN111275784B (zh) * 2020-01-20 2023-06-13 北京百度网讯科技有限公司 生成图像的方法和装置
CN113223128B (zh) * 2020-02-04 2022-09-13 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN113327191B (zh) * 2020-02-29 2024-06-21 华为技术有限公司 人脸图像合成方法及装置
CN111369428B (zh) * 2020-03-09 2023-07-21 北京百度网讯科技有限公司 虚拟头像生成方法和装置
CN111445484B (zh) * 2020-04-01 2022-08-02 华中科技大学 一种基于图像级标注的工业图像异常区域像素级分割方法
CN111444881B (zh) * 2020-04-13 2020-12-25 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111709875B (zh) * 2020-06-16 2023-11-14 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111488865B (zh) * 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN112132208B (zh) * 2020-09-18 2023-07-14 北京奇艺世纪科技有限公司 图像转换模型的生成方法、装置、电子设备及存储介质
CN112215927B (zh) * 2020-09-18 2023-06-23 腾讯科技（深圳）有限公司 人脸视频的合成方法、装置、设备及介质
CN112132922B (zh) * 2020-09-24 2024-10-15 扬州大学 一种将在线课堂中的图像和视频卡通化的方法
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换系统及方法
CN112465936A (zh) * 2020-12-04 2021-03-09 深圳市优必选科技股份有限公司 人像卡通化方法、装置、机器人及存储介质
CN112561782B (zh) * 2020-12-15 2023-01-03 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112561786B (zh) * 2020-12-22 2024-11-08 作业帮教育科技（北京）有限公司 基于图像卡通化的在线直播方法、装置和电子设备
CN112926554B (zh) * 2021-04-27 2022-08-16 南京甄视智能科技有限公司 人像卡通风格化模型的训练数据集的构建以及模型生成
CN113706645A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于山水画绘制的信息处理方法
CN113409187B (zh) * 2021-06-30 2023-08-15 深圳万兴软件有限公司 漫画风格图像的转换方法、装置、计算机设备及存储介质
CN113343931B (zh) * 2021-07-05 2024-07-26 Oppo广东移动通信有限公司 生成对抗网络的训练方法、图像视线校正方法与装置
CN113436280A (zh) * 2021-07-26 2021-09-24 韦丽珠 一种基于信息采集的形象设计系统
CN113570689B (zh) * 2021-07-28 2024-03-01 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备
CN114170065B (zh) * 2021-10-21 2024-08-02 河南科技大学 一种基于卡通损失的生成对抗网络的卡通化方法
CN113822798B (zh) * 2021-11-25 2022-02-18 北京市商汤科技开发有限公司 生成对抗网络训练方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108229349A (zh) * 2017-12-21 2018-06-29 中国科学院自动化研究所 网纹人脸图像识别装置
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437514B2 (en) * 2007-10-02 2013-05-07 Microsoft Corporation Cartoon face generation
CN103456010B (zh) * 2013-09-02 2016-03-30 电子科技大学 一种基于特征点定位的人脸卡通画生成方法
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108229349A (zh) * 2017-12-21 2018-06-29 中国科学院自动化研究所 网纹人脸图像识别装置
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Auto-painter: Cartoon Image Generation from Sketch by Using Conditional Generative Adversarial Networks;Yifan Liu等;《https://arxiv.org/pdf/1705.01908.pdf》;20170508;1-12 *
基于人像字典集的卡通自动生成方法;孙晶晶等;《系统仿真学报》;20150430;第27卷(第4期);682-688 *

Also Published As

Publication number Publication date
CN109376582A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
CN103456010B (zh) 一种基于特征点定位的人脸卡通画生成方法
US11587288B2 (en) Methods and systems for constructing facial position map
US11562536B2 (en) Methods and systems for personalized 3D head model deformation
CN112950661A (zh) 一种基于注意力生成对抗网络人脸卡通画生成方法
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN113807265B (zh) 一种多样化的人脸图像合成方法及系统
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN111046763A (zh) 一种人像卡通化的方法和装置
CN113034355B (zh) 一种基于深度学习的肖像图像双下巴去除方法
CN110853119A (zh) 一种鲁棒的基于参考图片的妆容迁移方法
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
CN117157673A (zh) 用于形成个性化的3d头部和面部模型的方法和系统
CN113486944A (zh) 人脸融合方法、装置、设备及存储介质
CN110110603A (zh) 一种基于面部生理信息的多模态唇读方法
Shen et al. Sd-nerf: Towards lifelike talking head animation via spatially-adaptive dual-driven nerfs
CN111612687B (zh) 一种人脸图像自动上妆方法
CN111275778B (zh) 人脸简笔画生成方法及装置
CN113763498A (zh) 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统
CN113947520A (zh) 一种基于生成对抗网络实现人脸妆容转换的方法
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN113781372A (zh) 一种基于深度学习的戏曲脸谱生成方法及系统
Tao et al. Face Recognition Based Beauty Algorithm in Smart City Applications
CN106097373B (zh) 一种基于分部式稀疏成分分析模型的笑脸合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant