[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106780662B - 人脸图像生成方法、装置及设备 - Google Patents

人脸图像生成方法、装置及设备 Download PDF

Info

Publication number
CN106780662B
CN106780662B CN201611008893.XA CN201611008893A CN106780662B CN 106780662 B CN106780662 B CN 106780662B CN 201611008893 A CN201611008893 A CN 201611008893A CN 106780662 B CN106780662 B CN 106780662B
Authority
CN
China
Prior art keywords
layer
face
feature vector
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611008893.XA
Other languages
English (en)
Other versions
CN106780662A (zh
Inventor
刘宇
周而进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201611008893.XA priority Critical patent/CN106780662B/zh
Publication of CN106780662A publication Critical patent/CN106780662A/zh
Priority to US15/814,101 priority patent/US10832034B2/en
Application granted granted Critical
Publication of CN106780662B publication Critical patent/CN106780662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种人脸图像生成方法、装置及设备，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，可以无需利用三维模型生成具有特定特征的人脸图像。

Description

人脸图像生成方法、装置及设备
技术领域
本发明涉及人脸图像生成技术领域，更具体地涉及一种人脸图像生成方法、装置及设备。
背景技术
目前的人脸图像生成与人脸重建都是通过多张不同角度二维照片生成三维模型，然后渲染得到新的二维图像。
然而，这种基于三维模型得到新的二维照片的方法，超时较大，效率较低，而且需要利用同一个体的诸多不同角度照片来进行三维建模，这在实际应用中往往不能得到满足。而且，这种方法只适用于生成已有个体的不同角度与光照的图像，并不能生成新的人脸图像。
因此，需要一种不仅能够基于需求特征从现有人脸图像重建带有所述需求特征的人脸图像，而且能够不基于现有人脸图像而仅基于需求特征生成新的人脸图像的方法和装置。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸图像生成方法及装置，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，可以无需利用三维模型生成具有特定特征的人脸图像。
根据本发明一方面，提供了一种人脸图像生成方法，包括：生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。
此外，根据本发明实施例，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
此外，根据本发明实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
此外，根据本发明实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
根据本发明另一方面，提供了一种人脸图像生成装置，包括：人脸特征生成模块，被配置为生成M维人脸特征向量，其中M为大于1的整数；向量合成模块，被配置为将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；合成人脸生成模块，被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。
此外，根据本发明实施例，所述人脸图像生成装置还包括：需求判定模块，被配置为基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及第一参数调整模块，被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
此外，根据本发明实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第一人脸判定模块，被配置为基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及第二参数调整模块，被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。。
此外，根据本发明实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第二人脸判定模块，被配置为基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及第三参数调整模块，被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。
根据本发明又一方面，提供了一种人脸图像生成设备，包括：一个或多个处理器；一个或多个存储器，存储程序指令，在处理器执行所述程序指令时，生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。
根据本发明实施例的，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，无需利用三维模型，可以快速地生成具有需求特征向量所规定的特定特征的人脸图像。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用需求判定深度卷积网络判定所生成的合成人脸图像是否满足所述需求特征向量的要求并生成相应的需求满足度评分，并且继而根据需求满足度评分更新所述人脸生成深度卷积网络和需求判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和需求判定深度卷积网络同步地训练。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸或者是否与给定人脸图像属于同一人脸并生成相应的人脸满足度评分或人脸匹配度评分，并且继而根据所生成的人脸满足度评分或人脸匹配度评分更新所述人脸生成深度卷积网络和人脸判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和人脸判定深度卷积网络同步地训练。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是根据本发明实施例的人脸图像生成方法的示意性流程图；
图2是根据本发明实施例的基于人脸特征向量和需求特征向量生成合成人脸图像的示意性原理图；
图3A是根据本发明实施例的人脸生成深度卷积网络的一个示意性结构图；
图3B是根据本发明实施例的人脸生成深度卷积网络的另一示意性结构图；
图4A是根据本发明实施例的与图3A对应的集成卷积神经网络的示意性结构图；
图4B是根据本发明实施例的与图3B对应的集成卷积神经网络的示意性结构图；
图4C是根据本发明实施例的与图3B对应的集成卷积神经网络的另一示意性结构图；
图5A是根据本发明第一实施例的人脸图像生成及判定过程的示意性原理图；
图5B是根据本发明第二实施例的人脸图像生成及判定过程的示意性原理图；
图6是根据本发明第一实施例的人脸特征提取深度卷积网络的示意性结构图；
图7A是根据本发明第一实施例的第一人脸判定深度卷积网络的示意性结构图；
图7B是根据本发明第二实施例的第二人脸判定深度卷积网络的示意性结构图；
图8是根据本发明实施例的判定特征向量提取网络的示意性结构图；
图9是根据本发明实施例的需求判定深度卷积网络的示意性结构图；
图10是根据本发明实施例的人脸图像生成装置的示意性框图；
图11A是根据本发明第一实施例的人脸图像生成及判定装置的示意性框图；
图11B是根据本发明第二实施例的人脸图像生成及判定装置的示意性框图；以及
图12是用于实现根据本发明实施例的人脸图像生成及判定装置的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
图1是根据本发明实施例的人脸图像生成方法100的示意性流程图。
在步骤S110，生成M维人脸特征向量，其中M为大于1的整数。优选地，所述人脸特征向量为高维特征向量。
根据本发明实施例，可以从给定人脸图像中提取所述人脸特征向量。例如，可以利用根据本发明实施例的人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。替换地，根据本发明实施例，可以随机生成所述人脸特征向量，在此情况下，所述人脸特征向量表示随机生成的人脸。
例如，所述M维人脸特征向量的每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数。
在步骤S120，将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数。
例如，所述需求特征向量每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，并且表示不同的需求，例如，是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。
根据本发明实施例，M维人脸特征向量和N维需求特征向量连接以生成M+N维的合成特征向量。例如，可以将N维的需求特征向量放置在M维的人脸特征向量之后，或者可以将N维的需求特征向量放置在M维的人脸特征向量之前，或者可以将N维的需求特征向量插入至M维的人脸特征向量之中。
在步骤S130，利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。
图2示出了根据本发明实施例的基于人脸特征向量和需求特征向量生成合成人脸图像的示意性原理图。
首先，人脸特征向量和需求特征向量连接，以便生成合成特征向量。例如，M维的人脸特征向量和N维的需求特征向量连接以生成M+N维的合成特征向量。然后，人脸生成深度卷积网络基于所述M+N维的合成特征向量生成合成人脸图像。
图3A示出了根据本发明实施例的人脸生成深度卷积网络的一个示意性结构图，图3B示出了根据本发明实施例的人脸生成深度卷积网络的另一示意性结构图。
如图3A和图3B所示，所述人脸生成深度卷积网络包括至少一层全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数。所述集成卷积神经网络的层数K由所述合成人脸图像的尺寸决定，所述合成人脸图像的尺寸越高，所述集成卷积神经网络的层数K越多。例如，所述合成人脸图像的尺寸为256×256，所需的集成卷积神经网络的层数K为3层；所述合成人脸图像的尺寸为128×128，所需的集成卷积神经网络的层数K为2层。
如图3A所示，利用所述至少一层全连接神经网络接收所述合成特征向量，并且基于所述合成特征向量生成初始合成图像。然后，第一层卷积神经网络接收所述至少一层全连接神经网络输出的初始合成图像并生成第一层的合成图像；第k层卷积神经网络接收第k-1层卷积神经网络输出的第k-1层合成图像并生成第k层合成图像，其中k为大于等于2且小于等于K的整数，所述第k层合成图像的尺寸(分辨率)大于第k-1层合成图像的尺寸(分辨率)，并且所述第k层合成图像的数量(通道数量)小于第k-1层合成图像的数量(通道数量)；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像并生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像。
如图3B所示，利用所述至少一层全连接神经网络接收所述合成特征向量，并且基于所述合成特征向量生成初始合成图像。然后，第一层集成卷积神经网络不仅可以从所述至少一层全连接神经网络接收所述初始合成图像，而且还可以接收由所述需求特征向量映射而成的初始映射图像，并且基于所述初始合成图像和所述初始映射图像生成第一层合成图像，其中，所述初始合成图像的尺寸与所述初始映射图像的尺寸相同；类似地，第k层集成卷积神经网络不仅可以从第k-1层集成卷积神经网络接收所述第k-1层合成图像，而且还可以接收由所述需求特征向量映射而成的第k-1层映射图像，并且基于所述第k-1层合成图像和所述第k-1层映射图像生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，所述第k层合成图像的尺寸(分辨率)大于第k-1层合成图像的尺寸(分辨率)，并且所述第k层合成图像的数量(通道数量)小于第k-1层合成图像的数量(通道数量)；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像，而且还可以接收由所述需求特征向量映射而成的第K-1层映射图像，并且基于所述第K-1层合成图像和所述第K-1层映射图像生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像，所述第K-1层合成图像的尺寸与第K-1层映射图像的尺寸相同。
应了解，所述初始合成图像包括多个初始合成图像，例如128个(通道)尺寸(分辨率)为32×32的初始合成图像；所述初始映射图像包括N个初始映射图像，所述N维需求特征向量中每一维各自分别对应于一个初始映射图像。例如，N维需求特征向量中某一维的取值为a，则与其对应的尺寸为32×32的初始映射图像的每个像素的取值均为a。下面，为了表述简单和统一，将初始合成图像称为第0层合成图像，并将初始映射图像称为第0层映射图像。。
应了解，所述K层集成卷积神经网络中的任一层(第k层，k为大于等于1且小于等于K的整数)的集成卷积神经网络都可以仅基于其接收的合成图像来生成该层的合成图像，或者也可以基于其接收的第k-1层合成图像和第k-1层映射图像来生成该层的合成图像。此外，应了解，第k-1层映射图像也包括N个第k-1层映射图像，所述N维需求特征向量中每一维各自分别对应于一个第k-1层映射图像。
图4A示出了根据本发明实施例的与图3A对应的集成卷积神经网络的示意性结构图。
如图4A所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，将图4A所示的集成卷积神经网络称为第k层集成卷积神经网络。
与图3A所示的人脸生成深度卷积网络相对应，图4A所示的第k层集成卷积神经网络接收第k-1层合成图像，k为大于等于1且小于等于K的整数。具体地，放大网络接收第k-1层合成图像并将该第k-1层合成图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，第j层中间图像的数量(通道数量)可以大于、等于或小于第j-1层中间图像的数量(通道数量)，其中，j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
例如，所述放大网络将所接收的第k-1层合成图像放大两倍，即假设第k-1层合成图像的尺寸为32×32，则所述放大网络所生成的放大图像的尺寸为64×64。应了解，所述放大网络所生成的放大图像的数量(通道数量)与所述第k-1层合成图像的数量(通道数量)相同，并且所述第k层集成卷积神经网络生成的第k层合成图像的数量(通道数量)小于所述第k-1层合成图像的数量(通道数量)。例如，所述第k层集成卷积神经网络生成的第k层合成图像的数量(通道数量)为所述第k-1层合成图像的数量(通道数量)的1/2、1/3等。
图4B示出了根据本发明实施例的与图3B对应的集成卷积神经网络的示意性结构图。
如图4B所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，仍将图4B所示的集成卷积神经网络称为第k层集成卷积神经网络。
与图3B所示的人脸生成深度卷积网络相对应，图4B所示的第k层集成卷积神经网络接收第k-1层合成图像并且还接收第k-1层映射图像，k为大于等于1且小于等于K的整数。具体地，放大网络接收第k-1层合成图像和第k-1层映射图像并将该第k-1层合成图像和第k-1层映射图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，并且第j层中间图像的数量(通道数量)可以大于、等于或小于第j-1层中间图像的数量(通道数量)，其中j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
图4C示出了根据本发明实施例的与图3B对应的集成卷积神经网络的另一示意性结构图。
与图4B所示的将第k-1层映射图像输入至放大网络不同，在图4C中，第k-1层映射图像被输入至第一层卷积神经网络。在此情况下，每个第k-1层映射图像的尺寸与放大网络输出的放大图像的尺寸相同。第一层卷积神经网络接收该放大图像和第k-1层映射图像并生成第一层中间图像，类似地，第j层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。
可选地，除了第一层卷积神经网络之外，第k-1层映射图像还可以被输入至J层卷积神经网络中的任一层。应注意，无论第k-1层映射图像被输入至哪一层卷积神经网络，输入至该层的第k-1层映射图像的尺寸都与输入至该层的中间图像的尺寸相同。
根据本发明实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还进一步对所生成的合成人脸图像进行评估，并且可选地根据评估结果来更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
图5A示出了根据本发明第一实施例的人脸图像生成及判定过程的示意性原理图。
在本发明第一实施例中，利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。
图6示出了根据本发明第一实施例的人脸特征提取深度卷积网络的示意性结构图。
根据本发明第一实施例，所述人脸特征提取深度卷积网络包括：P层卷积神经网络和至少一层全连接神经网络，其中P为大于等于2的整数。
利用所述P层卷积神经网络中的第一层卷积神经网络接收所述给定人脸图像，所述给定人脸图像例如为三个(通道)尺寸为128×128的给定人脸图像，例如R通道、G通道和B通道的尺寸为128×128的给定人脸图像，第一层卷积神经网络输出的中间图像的数量(通道数量)大于所述给定人脸图像的数量(通道数量)并且尺寸小于所述给定人脸图像的尺寸，第P层卷积神经网络输出多个小图像，例如128个尺寸为4×4或8×8的小图像。最后，利用所述至少一层全连接神经网络接收所述第P层卷积神经网络输出的多个小图像并生成所述人脸特征向量。
根据本发明第一实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，可以利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。此外，进一步地，可以基于所述需求满足度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
此外，根据本发明第一实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还可以利用人脸判定深度卷积网络基于所述合成人脸图像与所述给定人脸图像生成人脸匹配度评分，以判定所述合成人脸图像与所述给定人脸图像是否为同一人脸。此外，进一步地，可以基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
图5B示出了根据本发明第二实施例的人脸图像生成及判定过程的示意性原理图。
在本发明第二实施例中，随机地生成人脸特征向量。
根据本发明第二实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还可以利用人脸判定深度卷积网络基于所述合成人脸图像生成人脸满足度评分，以判定所述合成人脸图像是否为人脸图像。此外，进一步地，可以基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
此外，根据本发明第二实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，可以利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。此外，进一步地，可以基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
根据本发明实施例，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。
图7A示出了根据本发明第一实施例的第一人脸判定深度卷积网络的示意性结构图。
如图7A所示，所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络。
利用所述第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量，利用所述第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量，利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分。
所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征提取深度卷积网络从所述给定人脸图像中所提取的人脸特征向量的维数。例如，所述第一判定特征向量的维数和第二判定特征向量的维数均为1000维，所述人脸匹配度评分的取值范围为0到1的实数。
图7B示出了根据本发明第二实施例的第二人脸判定深度卷积网络的示意性结构图。
如图7B所示，所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络。
利用所述第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，其中所述第三判定特征向量的维数大于所述人脸特征向量的维数。
图7B中的第三判定向量提取网络的参数可以与图7A中的第二判定向量提取网络的参数相同，或者图7B中的第三判定向量提取网络可以与图7A中的第二判定向量提取网络为同一网络，然而图7B中的全连接神经网络的参数与图7A中的全连接神经网络的参数不同。
图8示出了根据本发明实施例的判定特征向量提取网络的示意性结构图。
根据本发明实施例，判定特征向量提取网络包括至少一层卷积神经网络、至少一层局部连接神经网络和至少一层全连接神经网络。
利用第一层卷积神经网络接收输入图像，所述至少一层卷积神经网络级联，最后一层卷积神经网络与第一层局部连接神经网络连接，所述至少一层局部连接神经网络级联，最后一层局部连接神经网络与第一层全连接神经网络连接，所述至少一层全连接神经网络级联，最后一层全连接神经网络输出判定特征向量。
根据本发明第一实施例的图7A中的第一判定特征向量提取网络和第二判定特征向量提取网络和根据本发明第二实施例的图7B中的判定特征向量提取网络可以采用图8所示的结构。
具体地，利用图7A中的第一判定特征向量提取网络的第一层卷积神经网络接收所述给定人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第一判定特征向量；利用图7A中的第二判定特征向量提取网络的第一层卷积神经网络接收所述合成人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第二判定特征向量。
具体地，利用图7B中的第三判定特征向量提取网络的第一层卷积神经网络接收所述合成人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第三判定特征向量。
图9示出了根据本发明实施例的需求判定深度卷积网络的示意性结构图。
如图9所示，根据本发明实施例的需求判定深度卷积网络包括Q层卷积神经网络和至少一层全连接神经网络。
利用所述Q层卷积神经网络中的第一层卷积神经网络接收所述合成人脸图像以及需求映射图像，所述需求映射图像的尺寸与所述合成人脸图像的尺寸相同，所述合成人脸图像例如包括三个(通道)尺寸为128×128的合成人脸图像，即R通道尺寸为128×128的合成人脸图像、G通道尺寸为128×128的合成人脸图像、B通道尺寸为128×128的合成人脸图像，所述需求映射图像包括N个(通道)分辨为128×128的需求映射图像，所述N维需求特征向量中的每一维各自分别对应于一个需求映射图像，并且该需求映射图像中每个像素的取值为该维的取值。所述Q层卷积神经网络中的第Q层卷积神经网络输出多个(通道)尺寸为4×4或8×8的小图像。
然后，利用所述至少一层全连接神经网络，基于所述多个尺寸为4×4或8×8的小图像，生成需求满足度评分。
此外，在本发明实施例的一个示例性实现方式中，在上述人脸特征提取深度卷积网络、人脸特征生成深度卷积网络、集成卷积神经网络、人脸判定深度卷积网络、判定特征向量提取网络、需求判定深度卷积网络中，在各网络中的最后一层卷积神经网络上嵌套非线性函数层，并且除了各网络中最后一层卷积神经网络之外，在各网络中的各层卷积网络上都嵌套归一化与非线性函数层。本领域技术人员可以采用现有技术中的相关方法来实现这样的非线性函数层以及归一化与非线性函数层，在此不再赘述，并且本发明不受具体的归一化方法和非线性函数的限制。采用本示例性实现方式的实施例，相对其他实施例具有更好的技术效果，即合成的人脸更满足具体需求。
图10示出了根据本发明实施例的人脸图像生成装置的示意性框图。
根据本发明实施例的人脸图像生成装置1000包括：人脸特征生成模块1010、需求特征生成模块1020、向量合成模块1030、以及合成人脸生成模块1040。
所述人脸特征生成模块1010被配置为生成M维人脸特征向量，其中M为大于1的整数。根据本发明实施例，可以从给定人脸图像中提取所述人脸特征向量。例如，可以利用根据本发明实施例的人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。替换地，根据本发明实施例，可以随机生成所述人脸特征向量，在此情况下，所述人脸特征向量表示随机生成的人脸。
所述需求特征获取模块1020被配置为获取N维需求特征向量，其中N为大于等于1的整数。例如，所述需求特征向量每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，并且表示不同的需求，例如，是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。
所述向量合成模块1030被配置为将所述M维人脸特征向量与N维需求特征向量连接生成合成特征向量。根据本发明实施例，M维的人脸特征向量和N维的需求特征向量连接以生成M+N维的合成特征向量。例如，可以将N维的需求特征向量放置在M维的人脸特征向量之后，或者可以将N维的需求特征向量放置在M维的人脸特征向量之前，或者可以将N维的需求特征向量插入至M维的人脸特征向量之中。
所述合成人脸生成模块1040被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。所述人脸生成深度卷积网络的结构如图3A和3B所示，在此不再赘述。
图11A示出了根据本发明第一实施例的人脸图像生成及判定装置的示意性框图。
根据本发明实施例的人脸图像生成及判定装置包括：人脸特征生成模块1110、需求特征生成模块1020、向量合成模块1030、合成人脸生成模块1040、第一人脸判定模块1150、第二参数调整模块1160、需求判定模块1170、以及第一参数调整模块1180。
所述人脸特征生成模块1110被配置为利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。所述人脸特征提取深度卷积网络的结构如图6所示，在此不再赘述。
所述第一人脸判定模块1150被配置为利用第一人脸判定深度卷积网络基于所述合成人脸图像与所述给定人脸图像生成人脸匹配度评分，以判定所述合成人脸图像与所述给定人脸图像是否为同一人脸。所述人脸判定深度卷积网络的结构如图7A和图8所示，在此不再赘述。
所述需求判定模块1170被配置为利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。所述需求判定深度卷积网络的结构如图9所示，在此不再赘述。
所述第二参数调整模块1160被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。根据本发明实施例，所述第二参数调整模块1160可以利用梯度下降方法等更新各网络的参数。
所述第一参数调整模块1180被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。根据本发明实施例，所述第一参数调整模块1180可以利用梯度下降方法等更新各网络的参数。
图11B示出了根据本发明第二实施例的人脸图像生成及判定装置的示意性框图。
根据本发明实施例的人脸图像生成及判定装置包括：人脸特征生成模块1115、需求特征生成模块1020、向量合成模块1030、合成人脸生成模块1040、第二人脸判定模块1155、第三参数调整模块1165、需求判定模块1170、以及第一参数调整模块1180。
所述人脸特征生成模块1115被配置为随机地生成人脸特征向量。
所述第二人脸判定模块1155被配置为利用第二人脸判定深度卷积网络基于所述合成人脸图像生成人脸满足度评分，以判定所述合成人脸图像是否为人脸图像。所述人脸判定深度卷积网络的结构如图7B和图8所示，在此不再赘述。
所述需求判定模块1170被配置为利用需求判定深度卷积网络基于所述合成人脸图像与根据所述需求特征向量生成的需求映射图像生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。所述需求判定深度卷积网络的结构如图9所示，在此不再赘述。
所述第三参数调整模块1165被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。根据本发明实施例，所述第二参数调整模块1165可以利用梯度下降方法等更新各网络的参数。
所述第一参数调整模块1180被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。根据本发明实施例，所述第一参数调整模块1180可以利用梯度下降方法等更新各网络的参数。
图12示出了用于实现根据本发明实施例的人脸图像生成及判定装置的电子设备的示意性框图。
所述电子设备包括：一个或多个处理器1210、存储装置1220、输入装置1230和输出装置1240，这些组件通过总线系统1280和/或其它形式的连接机构(未示出)互连。应当注意，图12所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。
所述存储装置1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如给定人脸图像、合成人脸图像、需求特征向量等以及所述应用程序使用和/或产生的各种数据等。
所述输入装置1230可以包括键盘等可供输入给定人脸图像或需求特征向量的装置。
所述输出装置1240可以包括显示器以输出合成人脸图像和/或各种评分结果，并且还可以包括扬声器等以输出各种评分结果。
通过处理器1210执行存储在存储装置1220中的计算机程序指令可以实现如上所述的人脸图像生成方法及装置、以及如上所述的人脸图像生成及判定方法及装置，并且具体地可以实现如上所述的人脸特征提取深度卷积网络、人脸生成深度卷积网络、人脸判定深度卷积网络以及需求判定深度卷积网络。
应了解，根据本发明实施例，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，无需利用三维模型，可以快速地生成具有需求特征向量所规定的特定特征的人脸图像。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用需求判定深度卷积网络判定所生成的合成人脸图像是否满足所述需求特征向量的要求并生成相应的需求满足度评分，并且继而根据需求满足度评分更新所述人脸生成深度卷积网络和需求判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和需求判定深度卷积网络同步地训练。
此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸或者是否与给定人脸图像属于同一人脸并生成相应的人脸满足度评分或人脸匹配度评分，并且继而根据所生成的人脸满足度评分或人脸匹配度评分更新所述人脸生成深度卷积网络和人脸判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和人脸判定深度卷积网络同步地训练。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (36)

1.一种人脸图像生成方法，包括：
生成M维人脸特征向量，其中M为大于1的整数；
将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；
利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像，
其中，所述N维需求特征向量的每一维规定人脸图像的特定特征，
其中，利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像包括：
利用至少一层全连接神经网络基于所述合成特征向量合成初始合成图像；
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像，
其中，所述K层集成卷积神经网络的第k层合成图像的尺寸大于第k-1层合成图像的尺寸。
2.如权利要求1所述的人脸图像生成方法，其中，所述人脸生成深度卷积网络包括所述至少一层全连接神经网络和所述K层集成卷积神经网络，并且每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中K为大于等于2的整数，J为大于等于2的整数。
3.如权利要求2所述的人脸图像生成方法，其中，利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像包括：
利用第一层集成卷积神经网络接收所述初始合成图像，并生成第一层合成图像，所述第一层合成图像的数量小于所述初始合成图像的数量；
利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像，并生成第k层合成图像，其中，k为大于等于2且小于等于K的整数，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，
其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。
4.如权利要求2所述的人脸图像生成方法，其中，
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像包括：
利用第一层集成卷积神经网络接收所述初始合成图像和由所述N维需求特征向量映射而成的N个初始映射图像，并生成第一层合成图像，其中所述初始合成图像的尺寸与所述初始映射图像的尺寸相同，所述第一层合成图像的数量小于所述初始合成图像的数量；
利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像和由所述需求特征向量映射而成的N个第k-1层映射图像，并生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，
其中，所述N维需求特征向量的每一维被映射为所述N个初始映射图像之一，并且被映射为N个第k-1层映射图像之一,其中，k为大于等于2且小于等于K的整数，
其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。
5.如权利要求3所述的人脸图像生成方法，其中，在所述K层集成卷积神经网络的每一层中，
利用所述放大网络将其接收到的合成图像放大，以生成放大图像；
利用第一层卷积神经网络从所述放大网络接收所述放大图像，并生成第一层中间图像；
利用第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像，并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，其中，j为大于等于2且小于等于J的整数；
其中，第J层卷积神经网络生成的第J层中间图像作为该层集成卷积神经网络输出的合成图像。
6.如权利要求4所述的人脸图像生成方法，其中，在所述K层集成卷积神经网络的每一层中，
利用所述放大网络将其接收到的合成图像和映射图像放大，以生成放大图像；
利用第一层卷积神经网络从所述放大网络接收所述放大图像，并生成第一层中间图像；
利用第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像和映射图像，生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，其中，j为大于等于2且小于等于J的整数；
其中，第J层卷积神经网络生成的第J层中间图像作为该层集成卷积神经网络输出的合成图像。
7.如权利要求1所述的人脸图像生成方法，其中，生成人脸特征向量包括：
利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量；或者
随机生成所述人脸特征向量。
8.如权利要求7所述的人脸图像生成方法，其中，所述人脸特征提取深度卷积网络包括：P层卷积神经网络和至少一层全连接神经网络，其中P为大于等于2的整数，
其中，利用第一层卷积神经网络接收所述给定人脸图像，利用所述至少一层全连接神经网络接收第P层卷积神经网络输出的图像并生成所述人脸特征向量。
9.如权利要求7所述的人脸图像生成方法，还包括：
基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及
基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
10.如权利要求9所述的人脸图像生成方法，其中，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成方法还包括：
基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及
基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
11.如权利要求9所述的人脸图像生成方法，其中，在随机生成所述人脸特征向量的情况下，所述人脸图像生成方法还包括：
基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及
基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
12.如权利要求10所述的人脸图像生成方法，其中：所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络，其中，
利用第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量；
利用第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量，
利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分，
其中，所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征向量的维数。
13.如权利要求11所述的人脸图像生成方法，其中：所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络，其中，
利用第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，
利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，
其中，所述第三判定特征向量的维数大于所述人脸特征向量的维数。
14.如权利要求12或13所述的人脸图像生成方法，其中，每个判定特征向量提取网络包括至少一层卷积神经网络、至少一层局部连接卷积神经网络和至少一层全连接神经网络，
其中，利用第一层卷积神经网络接收该判定特征向量提取网络的输入图像，所述至少一层卷积神经网络级联，最后一层卷积神经网络与第一层局部连接卷积神经网络连接，所述至少一层局部连接卷积神经网络级联，最后一层局部连接卷积神经网络与第一层全连接神经网络连接，所述至少一层全连接神经网络级联，最后一层全连接神经网络输出该判定特征向量提取网络的判定特征向量。
15.一种人脸图像生成装置，包括：
人脸特征生成模块，被配置为生成M维人脸特征向量，其中M为大于1的整数；
向量合成模块，被配置为将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；
合成人脸生成模块，被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像，
其中，所述N维需求特征向量的每一维规定人脸图像的特定特征，
其中，利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像包括：
利用至少一层全连接神经网络基于所述合成特征向量合成初始合成图像；
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像，
其中，所述K层集成卷积神经网络的第k层合成图像的尺寸大于第k-1层合成图像的尺寸。
16.如权利要求15所述的人脸图像生成装置，其中，所述人脸生成深度卷积网络包括所述至少一层全连接神经网络和所述K层集成卷积神经网络，并且每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中K为大于等于2的整数，J为大于等于2的整数。
17.如权利要求16所述的人脸图像生成装置，其中，所述合成人脸生成模块利用第一层集成卷积神经网络接收所述初始合成图像，并生成第一层合成图像，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像，并生成第k层合成图像，其中，k为大于等于2且小于等于K的整数；利用第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像，
其中，所述第k层合成图像的数量小于第k-1层合成图像的数量。
18.如权利要求16所述的人脸图像生成装置，其中，所述合成人脸生成模块利用第一层集成卷积神经网络接收所述初始合成图像和由所述N维需求特征向量映射而成的N个初始映射图像，并生成第一层合成图像，其中所述初始合成图像的尺寸与所述初始映射图像的尺寸相同，所述第一层合成图像的数量小于所述初始合成图像的数量；利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像和由所述需求特征向量映射而成的N个第k-1层映射图像，并生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，并且所述第k层合成图像的数量小于第k-1层合成图像的数量；利用第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像
其中，所述N维需求特征向量的每一维被映射为所述N个初始映射图像之一，并且被映射为N个第k-1层映射图像之一,其中，k为大于等于2且小于等于K的整数。
19.如权利要求15所述的人脸图像生成装置，其中，所述人脸特征生成模块被配置为利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量；或者随机生成所述人脸特征向量。
20.如权利要求19所述的人脸图像生成装置，其中，所述人脸特征提取深度卷积网络包括：P层卷积神经网络和至少一层全连接神经网络，其中P为大于等于2的整数，
其中，所述人脸特征生成模块利用第一层卷积神经网络接收所述给定人脸图像，利用所述至少一层全连接神经网络接收第P层卷积神经网络输出的图像并生成所述人脸特征向量。
21.如权利要求15所述的人脸图像生成装置，还包括：
需求判定模块，被配置为基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及
第一参数调整模块，被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
22.如权利要求21所述的人脸图像生成装置，其中，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成装置还包括：
第一人脸判定模块，被配置为基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及
第二参数调整模块，被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。
23.如权利要求21所述的人脸图像生成装置，其中，在随机生成所述人脸特征向量的情况下，所述人脸图像生成装置还包括：
第二人脸判定模块，被配置为基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及
第三参数调整模块，被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。
24.如权利要求22所述的人脸图像生成装置，其中：所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络，其中，
所述第一人脸判定模块利用第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量；利用第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量；利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分，
其中，所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征向量的维数。
25.如权利要求23所述的人脸图像生成装置，其中：所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络，其中，
所述第二人脸判定模块利用第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，
其中，所述第三判定特征向量的维数大于所述人脸特征向量的维数。
26.如权利要求24或25所述的人脸图像生成装置，其中，每个判定特征向量提取网络包括至少一层卷积神经网络、至少一层局部连接卷积神经网络和至少一层全连接神经网络，
其中，利用第一层卷积神经网络接收该判定特征向量提取网络的输入图像，所述至少一层卷积神经网络级联，最后一层卷积神经网络与第一层局部连接卷积神经网络连接，所述至少一层局部连接卷积神经网络级联，最后一层局部连接卷积神经网络与第一层全连接神经网络连接，所述至少一层全连接神经网络级联，最后一层全连接神经网络输出该判定特征向量提取网络的判定特征向量。
27.一种人脸图像生成设备，包括：
一个或多个处理器，
一个或多个存储器，存储程序指令，在处理器执行所述程序指令时，
生成M维人脸特征向量，其中M为大于1的整数；
将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；
利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像，
其中，所述N维需求特征向量的每一维规定人脸图像的特定特征，
其中，利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像包括：
利用至少一层全连接神经网络基于所述合成特征向量合成初始合成图像；
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像，
其中，所述K层集成卷积神经网络的第k层合成图像的尺寸大于第k-1层合成图像的尺寸。
28.如权利要求27所述的人脸图像生成设备，其中，所述人脸生成深度卷积网络包括所述至少一层全连接神经网络和所述K层集成卷积神经网络，并且每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中K为大于等于2的整数，J为大于等于2的整数。
29.如权利要求28所述的人脸图像生成设备，其中，
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像包括：
利用第一层集成卷积神经网络接收所述初始合成图像，并生成第一层合成图像，所述第一层合成图像的数量小于所述初始合成图像的数量；
利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像，并生成第k层合成图像，其中，k为大于等于2且小于等于K的整数，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，
其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。
30.如权利要求28所述的人脸图像生成设备，其中，
利用K层集成卷积神经网络对所述初始合成图像进行处理，得到所述合成人脸图像包括：利用第一层集成卷积神经网络接收所述初始合成图像和由所述N维需求特征向量映射而成的N个初始映射图像，并生成第一层合成图像，其中所述初始合成图像的尺寸与所述初始映射图像的尺寸相同，所述第一层合成图像的数量小于所述初始合成图像的数量；
利用第k层集成卷积神经网络接收第k-1层的卷积神经网络输出的合成图像和由所述需求特征向量映射而成的N个第k-1层映射图像，并生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，并且所述第k层合成图像的数量小于第k-1层合成图像的数量，
其中，所述N维需求特征向量的每一维被映射为所述N个初始映射图像之一，并且被映射为N个第k-1层映射图像之一,其中，k为大于等于2且小于等于K的整数，
其中，第K层集成卷积神经网络输出的第K层合成图像作为所述合成人脸图像。
31.如权利要求27所述的人脸图像生成设备，其中，生成人脸特征向量包括：
利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量；或者
随机生成所述人脸特征向量。
32.如权利要求27所述的人脸图像生成设备，在处理器执行所述程序指令时还：
基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及
基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。
33.如权利要求31所述的人脸图像生成设备，在从给定人脸图像中提取所述人脸特征向量的情况下，在处理器执行所述程序指令时还：
基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及
基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
34.如权利要求31所述的人脸图像生成设备，在随机生成所述人脸特征向量的情况下，在处理器执行所述程序指令时还：
基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及
基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。
35.如权利要求33所述的人脸图像生成设备，其中：所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络，其中，
利用第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量；
利用第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量，
利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分，
其中，所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征向量的维数。
36.如权利要求34所述的人脸图像生成设备，其中：所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络，其中，
利用第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，
利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，
其中，所述第三判定特征向量的维数大于所述人脸特征向量的维数。
CN201611008893.XA 2016-11-16 2016-11-16 人脸图像生成方法、装置及设备 Active CN106780662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611008893.XA CN106780662B (zh) 2016-11-16 2016-11-16 人脸图像生成方法、装置及设备
US15/814,101 US10832034B2 (en) 2016-11-16 2017-11-15 Facial image generating method, facial image generating apparatus, and facial image generating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611008893.XA CN106780662B (zh) 2016-11-16 2016-11-16 人脸图像生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN106780662A CN106780662A (zh) 2017-05-31
CN106780662B true CN106780662B (zh) 2020-09-18

Family

ID=58968554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611008893.XA Active CN106780662B (zh) 2016-11-16 2016-11-16 人脸图像生成方法、装置及设备

Country Status (2)

Country Link
US (1) US10832034B2 (zh)
CN (1) CN106780662B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409791B2 (en) 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
KR102359558B1 (ko) 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
CN108664782B (zh) * 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
CN107358648B (zh) * 2017-07-17 2019-08-27 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN107507153B (zh) * 2017-09-21 2021-03-09 百度在线网络技术（北京）有限公司 图像去噪方法和装置
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
US10558761B2 (en) * 2018-07-05 2020-02-11 Disney Enterprises, Inc. Alignment of video and textual sequences for metadata analysis
US10747989B2 (en) * 2018-08-21 2020-08-18 Software Ag Systems and/or methods for accelerating facial feature vector matching with supervised machine learning
CN112070853A (zh) * 2019-06-10 2020-12-11 阿里巴巴集团控股有限公司 图像生成方法及装置
CN111160092A (zh) * 2019-11-25 2020-05-15 广州富港万嘉智能科技有限公司 带隐私保护的用户意思表达实时判断系统及智能居室系统
CN111652064B (zh) * 2020-04-30 2024-06-07 平安科技（深圳）有限公司 人脸图像生成方法、电子装置及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034097A (zh) * 2010-12-21 2011-04-27 中国科学院半导体研究所 综合利用正面与侧面图像的人脸识别的方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
JP2006063794A (ja) 2004-08-20 2006-03-09 Unda Maris Bv 壁部材
US7486808B2 (en) 2004-09-21 2009-02-03 Fujifilm Corporation Image processing device, image processing method and image processing program
US7634106B2 (en) 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP4459788B2 (ja) 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
FI20070159A0 (fi) * 2007-02-23 2007-02-23 Teknillinen Korkeakoulu Menetelmä informaation integrointiin, valintaan ja esityksen oppimiseen
JP2009211513A (ja) 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置及びその方法
US8457409B2 (en) * 2008-05-22 2013-06-04 James Ting-Ho Lo Cortex-like learning machine for temporal and hierarchical pattern recognition
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5615088B2 (ja) * 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
JP5645255B2 (ja) 2010-11-11 2014-12-24 埼玉日本電気株式会社 画像処理装置および画像処理方法
JP5182352B2 (ja) 2010-11-16 2013-04-17 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
JP5978639B2 (ja) 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP6178048B2 (ja) 2012-06-06 2017-08-09 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US20140229476A1 (en) * 2013-02-14 2014-08-14 SailMinders, Inc. System for Information Discovery & Organization
US9105119B2 (en) 2013-05-02 2015-08-11 Emotient, Inc. Anonymization of facial expressions
WO2015029372A1 (ja) 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
KR101515928B1 (ko) * 2013-11-29 2015-05-06 재단법인대구경북과학기술원 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
EP3134847A1 (en) 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
US9400919B2 (en) * 2014-05-27 2016-07-26 Beijing Kuangshi Technology Co., Ltd. Learning deep face representation
WO2015182440A1 (ja) 2014-05-29 2015-12-03 シャープ株式会社 テレビ会議システム
WO2015192263A1 (en) * 2014-06-16 2015-12-23 Xiaoou Tang A method and a system for face verification
CN104361328B (zh) * 2014-11-21 2018-11-02 重庆中科云丛科技有限公司 一种基于自适应多列深度模型的人脸图像正规化方法
WO2016080005A1 (ja) 2014-11-21 2016-05-26 株式会社ソニー・インタラクティブエンタテインメント プログラムおよび情報処理装置
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
US10346726B2 (en) * 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
KR20170000748A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US9430697B1 (en) * 2015-07-03 2016-08-30 TCL Research America Inc. Method and system for face recognition using deep collaborative representation-based classification
CN107852443B (zh) 2015-07-21 2020-01-07 索尼公司 信息处理设备、信息处理方法和程序
GB201522819D0 (en) * 2015-12-23 2016-02-03 Apical Ltd Random projection
US20170236001A1 (en) 2016-02-11 2017-08-17 Daniel M. McLean Device and method for transforming a facial image into a set of recognizable emoticons
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US9886651B2 (en) * 2016-05-13 2018-02-06 Microsoft Technology Licensing, Llc Cold start machine learning algorithm
CN106056562B (zh) 2016-05-19 2019-05-28 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN106028136A (zh) 2016-05-30 2016-10-12 北京奇艺世纪科技有限公司 一种图像处理方法及装置
KR102433971B1 (ko) * 2016-06-01 2022-08-19 오하이오 스테이트 이노베이션 파운데이션 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
CN106127103B (zh) * 2016-06-12 2019-06-25 广州广电运通金融电子股份有限公司 一种离线身份认证的方法和装置
US10268438B2 (en) 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
US10083347B2 (en) * 2016-07-29 2018-09-25 NTech lab LLC Face identification using artificial neural network
WO2018025402A1 (ja) 2016-08-05 2018-02-08 株式会社オプティム 画像処理装置、画像処理システム、及びプログラム
US10509952B2 (en) * 2016-08-30 2019-12-17 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US20180075317A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Person centric trait specific photo match ranking engine
US10346464B2 (en) * 2016-09-27 2019-07-09 Canon Kabushiki Kaisha Cross-modiality image matching method
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034097A (zh) * 2010-12-21 2011-04-27 中国科学院半导体研究所 综合利用正面与侧面图像的人脸识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
用于人脸识别的多年龄人脸图像合成;王俊艳 等;《光电子 激光》;20061231;第17卷(第12期);第1510-1513页 *

Also Published As

Publication number Publication date
US20180137343A1 (en) 2018-05-17
CN106780662A (zh) 2017-05-31
US10832034B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
CN106780662B (zh) 人脸图像生成方法、装置及设备
CN108710847B (zh) 场景识别方法、装置及电子设备
Li et al. Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks
CN106780658B (zh) 人脸特征添加方法、装置及设备
CN108875732B (zh) 模型训练与实例分割方法、装置和系统及存储介质
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN110097086B (zh) 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN109671020B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
JP2020513124A (ja) 仮想３次元深層ニューラルネットワークを利用する画像解析装置及び方法
CN109871762B (zh) 一种人脸识别模型的评价方法和装置
CN105096353A (zh) 一种图像处理方法及装置
CN104657709B (zh) 人脸图像识别方法、装置及服务器
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN108875767A (zh) 图像识别的方法、装置、系统及计算机存储介质
KR20160053749A (ko) 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
JP2014032623A (ja) 画像処理装置
CN113781164B (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN112990053A (zh) 图像处理方法、装置、设备及存储介质
US11429841B1 (en) Feedback adversarial learning
JP2024518695A (ja) ユーザ入力ベースのメディアアイテムにおける気を散らすものの除去

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100190 room 313, block A, 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant