CN111797891B - 基于生成对抗网络的非成对异质人脸图像生成方法、装置 - Google Patents
基于生成对抗网络的非成对异质人脸图像生成方法、装置 Download PDFInfo
- Publication number
- CN111797891B CN111797891B CN202010435726.3A CN202010435726A CN111797891B CN 111797891 B CN111797891 B CN 111797891B CN 202010435726 A CN202010435726 A CN 202010435726A CN 111797891 B CN111797891 B CN 111797891B
- Authority
- CN
- China
- Prior art keywords
- domain
- face image
- heterogeneous
- decoder
- heterogeneous face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的非成对异质人脸图像生成方法、装置，所述方案包括：通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：将域a和域b中采样的非成对的异质人脸图像分别输入域a的生成器和域b的生成器，使用域a的解码器和域b的解码器分别得到跨域生成图像，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；采用训练完成的异质人脸图像生成模型进行人脸图像生成。采用上述技术方案，可以在无监督、非成对的条件下进行异质人脸图像生成，增强生成图像的质量、多样性以及大幅度地增强身份信息保持能力。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于生成对抗网络的非成对异质人脸图像生成方法、装置。
背景技术
现代成像技术的不断发展提供了不同类型、不同模态的图像形态，可以称之为异质图像。以人脸图像数据为例，现有的异质人脸图像可以大致分成可见光人脸图像、近红外人脸图像、素描人脸图像、热成像人脸图像以及3D人脸图像等等。
异质人脸图像可以在不同的表达空间给出同一个目标的非常丰富的描述和刻画，它们之间既存在冗余信息也存在互补信息，异质人脸图像互信息的有效利用和分析，可以加深视觉认识、感知理解，对公共安全领域和媒体娱乐领域等有着广泛而重要的应用价值。
现有技术多关注于异质人脸图像识别，而鲜有涉及异质人脸图像生成。
发明内容
发明目的：本发明旨在提供一种基于生成对抗网络的非成对异质人脸图像生成方法、装置。
技术方案：本发明实施例中提供一种基于生成对抗网络的非成对异质人脸图像生成方法，包括：对域a和域b的异质人脸图像进行归一化处理；预训练异质人脸识别模型；通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：将域a和域b中采样的非成对的异质人脸图像分别输入域a的生成器和域b的生成器，使用域a的解码器和域b的解码器分别得到跨域生成图像，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；采用训练完成的异质人脸图像生成模型进行人脸图像生成。
具体的，利用同质人脸图像数据集预训练身份特征抽取器；然后通过异质人脸图像数据集调整异质人脸图像识别模型。
具体的，域a的生成器和域b的生成器的内容编码器，分别使用卷积对输入的人脸图像进行下采样，使用残差块进行处理，分别输出带有图像结构信息的内容特征图；域a的生成器和域b的生成器的风格编码器，分别使用卷积对输入的人脸图像进行下采样，使用全局平均池化后进行全连接，分别输出风格向量。
具体的，域a的解码器和域b的解码器基于跨域的内容特征图和风格向量，分别解码得到跨域生成图像。
具体的，域a的解码器和域b的解码器基于同域的内容特征图和风格向量，分别解码得到域内生成图像。
具体的，将跨域生成图像分别作为域a的生成器和域b的生成器的输入，使用域a的解码器和域b的解码器分别得到双跨域生成图像。
具体的，基于以下损失更新异质人脸图像生成模型的参数：对抗损失、内容一致性损失、风格一致性损失、图像重建损失、域无关感知损失、循环一致性损失、恒等映射损失以及域无关身份特征匹配损失。
具体的，域a的判别器和域b的判别器基于对应的输入的人脸图像，在多个尺度上分别评价跨域生成图像的真假，对每个尺度进行权重分配，加权计算后分别得到评价结果。
本发明实施例中提供一种基于生成对抗网络的非成对异质人脸图像生成装置，包括：预处理单元、微调单元、训练单元和测试单元，其中：所述预处理单元，用于对两个域的异质人脸图像进行归一化处理；所述微调单元，用于预训练一个异质人脸识别模型；所述训练单元，用于通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：将域a和域b中采样的非成对的异质人脸图像分别输入域a的生成器和域b的生成器，使用域a的解码器和域b的解码器分别得到跨域生成图像，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；所述测试单元，用于采用训练完成的异质人脸图像生成模型进行人脸图像生成。
有益效果：与现有技术相比，本发明具有如下显著优点：可以在无监督、非成对的条件下进行异质人脸图像生成，增强生成图像的质量、多样性以及大幅度地增强身份信息保持能力。
附图说明
图1为本发明实施例中提供的基于生成对抗网络的非成对异质人脸图像生成方法的流程示意图；
图2为本发明实施例中提供的异质人脸图像生成模型的总体网络结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明实施例中提供的基于生成对抗网络的非成对异质人脸图像生成方法的流程示意图，包括具体步骤。
步骤S101，对域a和域b的异质人脸图像进行归一化处理。
在具体实施中，不同域的人脸图像是指通过不同图像采集设备采集下来的人脸图像，例如素描人脸图像、热红外人脸图像、近红外人脸图像和可见光人脸图像等。
在具体实施中，两个域中的异质人脸图像，在进行后续的处理时，为了提升后续生成的图像质量，可以对两个域的异质人脸图像进行归一化处理，例如包括不同域的人脸图像都根据人脸关键点进行裁剪、统一转化为灰度图像以减少不同域的人脸图像之间的差异、尺寸调整、水平翻转、角度旋转等。
步骤S102，预训练异质人脸识别模型。
本发明实施例中，预训练异质人脸识别模型包括两个步骤，首先利用大规模同质人脸图像数据集预训练身份特征抽取器；然后通过异质人脸图像数据集来微调异质人脸图像识别模型。
在具体实施中，在大规模同质人脸图像(例如大规模的可见光人脸图像)的数据集上预训练的VGGFace2网络作为身份特征抽取器F；然后在异质人脸图像的数据集上利用ArcFace进行微调(finetune)网络以得到最终的“域无关”的人脸图像身份特征抽取器F。域无关特征是指跨域不变的特征，也即该特征不受域的变化的影响。
步骤S103，通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：将域a和域b中采样的非成对的异质人脸图像分别输入域a的生成器和域b的生成器，使用域a的解码器和域b的解码器分别得到跨域生成图像，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数。
本发明实施例中，域a的生成器和域b的生成器的内容编码器，分别使用卷积对输入的人脸图像进行下采样，使用残差块进行处理，分别输出带有图像结构信息的内容特征图(内容编码)；域a的生成器和域b的生成器的风格编码器，分别使用卷积对输入的人脸图像进行下采样，使用全局平均池化后进行全连接，分别输出风格向量(风格编码)。
本发明实施例中，域a的解码器和域b的解码器基于跨域的内容特征图和风格向量，分别解码得到跨域生成图像(例如图像xab和图像xba)。
本发明实施例中，域a的解码器和域b的解码器基于同域的内容特征图和风格向量，分别解码得到域内生成图像(例如图像和图像)。
本发明实施例中，将跨域生成图像分别作为输入域a的生成器和域b的生成器的输入，使用域a的解码器和域b的解码器分别得到双跨域生成图像(例如图像xaba和图像xbab)。
本发明实施例中，域a的判别器和域b的判别器基于对应的输入的人脸图像，在多个尺度上分别评价跨域生成图像的真假，对每个尺度进行权重分配，加权计算后分别得到评价结果。
参阅图2，其为本发明实施例中提供的异质人脸图像生成模型的总体网络结构图。
在具体实施中，异质人脸图像生成模型包括两个域上的相互对应的一套内容编码器、风格编码器、解码器、判别器以及域无关的身份特征抽取器。
在具体实施中，人脸图像可以被编码成域无关的内容编码和域相关的风格编码。跨域生成需要交换内容编码和风格编码。具体而言，为了将域a的图像xa跨域生成为域b的图像xab，需要将其内容编码和域b的风格编码sb(或者采样)组合进行解码生成。同理，可以将图像xab再跨域生成xaba。利用身份特征抽取器F约束(xa,xab)和(xb,xba)的域无关身份特征匹配。域a和域b，可以分别是近红外和可见光，或者素描和可见光，也可以是其他组合方式。
在具体实施中，异质人脸图像生成模型至少包括两个生成器Ga、Gb。单个生成器属于自动编码器(auto-encoder)结构，依据域a或者域b，生成器包括内容编码器或者风格编码器或者解码器Deca或者Decb组成，模型包括至少两个判别器Da(域a判别器)、Db(域b判别器)。
在具体实施中，内容编码器的卷积、残差块处理，全部使用实例规范化(IN)；风格编码器的卷积、全局平均池化和全连接处理，不使用实例规范化(IN)，因为实例规范化会移除表示重要的风格信息的原始特征的均值和方差。
在具体实施中，解码器利用内容编码和风格编码以解码生成图像，使用残差块处理内容编码，使用上采样、卷积重建图像，同时残差块使用自适应实例规范化(AdaIN)，参数是风格编码通过MLP动态生成的，解码器使用实例规范化(AdaIN)将内容编码和风格编码组合进行图像生成。
在具体实施中，判别器属于多尺度判别器结构，例如在三个不同的尺度上进行判别并对结果取平均或加权计算，三个尺度为：原图尺度、原图的1/2降采样尺度、原图的1/4降采样尺度。
在具体实施中，经过多次迭代，基于损失更新模型参数，以训练异质人脸图像生成模型，多次迭代后完成异质人脸图像生成模型的训练，迭代次数可以根据实际应用场景进行相应的设定。
本发明实施例中，基于以下损失更新异质人脸图像生成模型的参数：对抗损失、内容一致性损失、风格一致性损失、图像重建损失、域无关感知损失、循环一致性损失、恒等映射损失以及域无关身份特征匹配损失。
在具体实施中，关于对抗损失计算，使用对抗损失(Adversarial Loss)以匹配跨域生成图像的分布与目标域分布一致，也即，跨域生成图像与目标域的真实图像在目标域下无法分辨。综合域a和域b得到的对抗损失LGAN的公式为：
其中，是域a对抗损失，是域b对抗损失，E是采样，ca、cb分别是域a和域b的内容编码，sa、sb分别是域a和域b的风格编码，p(ca)、p(cb)分别是域a和域b的内容编码的先验分布，q(ca)、q(ca)分别是域a和域b的风格编码的先验分布，Da、Db分别是域a和域b的判别器，Deca、Decb分别是域a和域b的解码器，xa、xb分别是域a和域b的人脸图像。
在具体实施中，关于内容一致性损失计算，由于解码得到的内容空间是域无关和不变的，所以内容编码在跨域生成应该保持一致，也即，内容一致性通常指输入图像和生成图像的语义内容保持一致，综合域a和域b得到的内容一致性损失的公式为：
其中，分别是域a和域b的内容一致性损失，分别是域a和域b的内容编码器。
在具体实施中，关于风格一致性损失计算，风格编码是域相关的，但是风格应当在解码和编码之后仍保持一致性，不同的风格编码产生丰富多样的输出，相同的风格编码在编解码过程中保持一致，综合域a和域b得到的风格一致性损失的公式为：
其中，分别是域a和域b的风格一致性损失，分别是域a和域b的风格编码器。
在具体实施中，关于图像重建损失计算，对于任意采样后输入的人脸图像，应该保证在经过编码和解码后得到的域内生成图像(重构图像)与输入的人脸图像基本一致，综合域a和域b得到的图像重建损失的公式为：
其中，分别为域a和域b的图像重建损失，分别是域a和域b的重构图像(域内生成图像)， 同理。
在具体实施中，关于域无关感知损失计算，感知损失是比较两张图像内容感知上的距离，不是直接逐像素进行计算，更多的是考虑到像素之间的关系，域无关感知损失考虑移除域之间的感知距离的偏差，综合域a和域b得到的域无关感知损失的公式为：
其中，分别是域a和域b的域无关感知损失，V(·)是抽取感知特征网络，IN(·)表示实例规范化。
在具体实施中，关于循环一致性损失计算，循环一致性是指输入的图像经过正向映射和逆向映射之后得到的生成图像应与原始输入图像尽可能相似，即在循环训练中应该保持一致，循环一致性能够增加异质人脸图像生成的确定性，综合域a和域b得到的循环一致性损失的公式为：
其中，分别是域a和域b的循环一致性损失，xab＝Gab(xa)，xaba＝Gba(xab)，其他同理，xab是域a的图像经过生成后得到的域b的图像，xba是域b的图像经过生成后得到的域a的图像，xaba是域a的图像经过域b又回到域a的图像，xbab是域b的图像经过域a又回到域b的图像。
在具体实施中，关于恒等映射损失计算，当向生成器输入原域的图像时，希望生成的是目标域风格的图像，反之向同一个生成器输入目标域的图像时，希望生成的图像不发生变化，也即，生成器应该对目标域图像是恒等映射，恒等映射损失能够约束和稳定生成过程，综合域a和域b得到的恒等映射损失的公式为：
其中，分别是域a和域b的恒等映射损失。
在具体实施中，关于域无关身份特征匹配损失计算，在异质人脸图像生成中，域无关身份特征匹配能够显著增强身份信息保持能力，同时不会导致生成偏移到任一域的分布，综合域a和域b得到的域无关身份特征匹配损失的公式为：
其中，分别是域a和域b的域无关身份特征匹配损失，F(·)表示抽取身份特征网络，IN(·)表示实例规范化。
步骤S104，采用训练完成的异质人脸图像生成模型进行人脸图像生成。
本发明实施例中，还提供一种基于生成对抗网络的非成对异质人脸图像生成装置，包括：预处理单元、微调单元、训练单元和测试单元，其中：
所述预处理单元，用于对两个域的异质人脸图像进行归一化处理；
所述微调单元，用于预训练一个异质人脸识别模型；
所述训练单元，用于通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：将域a和域b中采样的非成对的异质人脸图像分别输入域a的生成器和域b的生成器，使用域a的解码器和域b的解码器分别得到跨域生成图像，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；
所述测试单元，用于采用训练完成的异质人脸图像生成模型进行人脸图像生成。
本发明实施例中，所述微调单元，用于利用大规模同质人脸图像数据集预训练身份特征抽取器；通过异质人脸图像数据集来微调异质人脸图像识别模型。。
本发明实施例中，所述训练单元，用于域a的生成器和域b的生成器的内容编码器，分别使用卷积对输入的人脸图像进行下采样，使用残差块进行处理，分别输出带有图像结构信息的内容特征图；域a的生成器和域b的生成器的风格编码器，分别使用卷积对输入的人脸图像进行下采样，使用全局平均池化后进行全连接，分别输出风格向量。
本发明实施例中，所述训练单元，用于域a的解码器和域b的解码器基于跨域的内容特征图和风格向量，分别解码得到跨域生成图像。
本发明实施例中，所述训练单元，用于域a的解码器和域b的解码器基于同域的内容特征图和风格向量，分别解码得到域内生成图像。
本发明实施例中，所述训练单元，用于将跨域生成图像分别作为域a的生成器和域b的生成器的输入，使用域a的解码器和域b的解码器分别得到双跨域生成图像。
本发明实施例中，所述训练单元，用于基于以下损失更新异质人脸图像生成模型的参数：对抗损失、内容一致性损失、风格一致性损失、图像重建损失、域无关感知损失、循环一致性损失、恒等映射损失以及域无关身份特征匹配损失。
本发明实施例中，所述训练单元，用于域a的判别器和域b的判别器基于对应输入的人脸图像，在多个尺度上分别评价跨域生成图像的真假，对每个尺度进行权重分配，加权计算后分别得到评价结果。
Claims (7)
1.一种基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，包括：
对域a和域b的异质人脸图像进行归一化处理；
预训练异质人脸识别模型；
通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：域a的生成器和域b的生成器的内容编码器，分别使用卷积对输入的人脸图像进行下采样，使用残差块进行处理，分别输出带有图像结构信息的内容特征图；域a的生成器和域b的生成器的风格编码器，分别使用卷积对输入的人脸图像进行下采样，使用全局平均池化后进行全连接，分别输出风格向量，域a的解码器和域b的解码器基于跨域的内容特征图和风格向量，分别解码得到跨域生成图像，跨域生成需要交换内容编码和风格编码，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；
采用训练完成的异质人脸图像生成模型进行人脸图像生成。
2.根据权利要求1所述的基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，所述预训练异质人脸识别模型，包括：
利用同质人脸图像数据集预训练身份特征抽取器；
通过异质人脸图像数据集调整异质人脸图像识别模型。
3.根据权利要求1所述的基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，所述使用域a的解码器和域b的解码器分别得到域内生成图像，还包括：
域a的解码器和域b的解码器基于同域的内容特征图和风格向量，分别解码得到域内生成图像。
4.根据权利要求1所述的基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，在所述使用域a的解码器和域b的解码器分别得到跨域生成图像之后，还包括：
将跨域生成图像分别作为域a的生成器和域b的生成器的输入，使用域a的解码器和域b的解码器分别得到双跨域生成图像。
5.根据权利要求1所述的基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，所述基于异质人脸图像生成模型的损失更新模型参数，包括：
基于以下损失更新异质人脸图像生成模型的参数：对抗损失、内容一致性损失、风格一致性损失、图像重建损失、域无关感知损失、循环一致性损失、恒等映射损失以及域无关身份特征匹配损失。
6.根据权利要求1所述的基于生成对抗网络的非成对异质人脸图像生成方法，其特征在于，所述使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，包括：
域a的判别器和域b的判别器基于对应输入的人脸图像，在多个尺度上分别评价跨域生成图像的真假，对每个尺度进行权重分配，加权计算后分别得到评价结果。
7.一种基于生成对抗网络的非成对异质人脸图像生成装置，其特征在于，包括：预处理单元、微调单元、训练单元和测试单元，其中：
所述预处理单元，用于对两个域的异质人脸图像进行归一化处理；
所述微调单元，用于预训练一个异质人脸识别模型；
所述训练单元，用于通过多次迭代对异质人脸图像生成模型进行训练，其中每次迭代包括：域a的生成器和域b的生成器的内容编码器，分别使用卷积对输入的人脸图像进行下采样，使用残差块进行处理，分别输出带有图像结构信息的内容特征图；域a的生成器和域b的生成器的风格编码器，分别使用卷积对输入的人脸图像进行下采样，使用全局平均池化后进行全连接，分别输出风格向量，域a的解码器和域b的解码器基于跨域的内容特征图和风格向量，分别解码得到跨域生成图像，跨域生成需要交换内容编码和风格编码，使用域a的判别器和域b的判别器分别评价跨域生成图像的真假，基于异质人脸图像生成模型的损失更新模型参数；
所述测试单元，用于采用训练完成的异质人脸图像生成模型进行人脸图像生成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435726.3A CN111797891B (zh) | 2020-05-21 | 2020-05-21 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435726.3A CN111797891B (zh) | 2020-05-21 | 2020-05-21 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111797891A CN111797891A (zh) | 2020-10-20 |
| CN111797891B true CN111797891B (zh) | 2024-08-23 |
Family
ID=72806690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010435726.3A Active CN111797891B (zh) | 2020-05-21 | 2020-05-21 | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797891B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348819A (zh) * | 2020-10-30 | 2021-02-09 | 上海商汤智能科技有限公司 | 模型训练方法、图像处理及配准方法以及相关装置、设备 |
| CN112766217B (zh) * | 2021-01-30 | 2022-08-26 | 上海工程技术大学 | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 |
| CN112991160B (zh) * | 2021-05-07 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113822976B (zh) * | 2021-06-08 | 2024-11-12 | 腾讯科技（深圳）有限公司 | 生成器的训练方法及装置、存储介质和电子装置 |
| CN114240774B (zh) * | 2021-11-26 | 2025-05-13 | 北京大恒普信医疗技术有限公司 | 眼底图像处理的方法、装置、电子设备和可读存储介质 |
| CN114882555A (zh) * | 2022-04-22 | 2022-08-09 | 西安和硕物流科技有限公司 | 一种基于生成对抗网络的可编辑属性的头像生成方法 |
| CN115883213B (zh) * | 2022-12-01 | 2024-04-02 | 南京南瑞信息通信科技有限公司 | 基于连续时间动态异质图神经网络的apt检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474929B2 (en) * | 2017-04-25 | 2019-11-12 | Nec Corporation | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
| CN109447906B (zh) * | 2018-11-08 | 2023-07-11 | 北京印刷学院 | 一种基于生成对抗网络的图片合成方法 |
| CN110310221B (zh) * | 2019-06-14 | 2022-09-20 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN110738153B (zh) * | 2019-09-30 | 2022-08-05 | 汉王科技股份有限公司 | 异质人脸图像转换方法、装置、电子设备及存储介质 |
| CN110827232B (zh) * | 2019-11-14 | 2022-07-15 | 四川大学 | 基于形态特征gan的跨模态mri合成方法 |
-
2020
- 2020-05-21 CN CN202010435726.3A patent/CN111797891B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的非成对异质人脸图像生成算法研究;王逸群;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210415(第4期);I138-540 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111797891A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797891B (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| Ye et al. | Adjacent-level feature cross-fusion with 3-D CNN for remote sensing image change detection | |
| CN110992252B (zh) | 一种基于潜变量特征生成的图像多风格转化方法 | |
| CN113379601A (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| Kasem et al. | Spatial transformer generative adversarial network for robust image super-resolution | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN118196227A (zh) | 一种基于扩散模型和重加权策略的纹理合成方法 | |
| Huang et al. | Super-resolution reconstruction method of remote sensing image based on multi-feature fusion | |
| Guo et al. | DMFNet: Dual-encoder multistage feature fusion network for infrared small target detection | |
| Wang et al. | MSAGAN: a new super-resolution algorithm for multispectral remote sensing image based on a multiscale attention GAN network | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN114494387B (zh) | 一种生成数据集网络模型及雾图生成方法 | |
| CN119784931A (zh) | 三维ct成像方法、装置、电子设备和存储介质 | |
| CN118465876A (zh) | 一种基于EOF-Kmeans聚类和LDM的两阶段临近降水预报方法 | |
| CN116342392B (zh) | 一种基于深度学习的单遥感影像超分辨率方法 | |
| CN118279130A (zh) | 一种多模态的红外到可见光图像转换方法 | |
| Mahara et al. | Generative adversarial model equipped with contrastive learning in map synthesis | |
| CN117915111A (zh) | 变电站巡检图像的语义通信传输方法及系统 | |
| CN117196944A (zh) | 基于特征匹配的有参考遥感图像超分辨重建方法 | |
| CN117690171A (zh) | 基于生成网络生成数据进行复杂环境人脸关键点检测方法 | |
| CN116958451A (zh) | 模型处理、图像生成方法、装置、计算机设备和存储介质 | |
| Wu et al. | Latent diffusion, implicit amplification: Efficient continuous-scale super-resolution for remote sensing images | |
| Qu et al. | Visual autoregressive modeling for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |