CN111553335A - 图像生成方法和装置及存储介质 - Google Patents
图像生成方法和装置及存储介质 Download PDFInfo
- Publication number
- CN111553335A CN111553335A CN202010329281.0A CN202010329281A CN111553335A CN 111553335 A CN111553335 A CN 111553335A CN 202010329281 A CN202010329281 A CN 202010329281A CN 111553335 A CN111553335 A CN 111553335A
- Authority
- CN
- China
- Prior art keywords
- image
- candidate
- target
- images
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图像生成方法和装置及存储介质。该方法包括:获取与待生成的目标图像关联的多张候选图像,多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;依次对多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征,及从一张候选图像中提取出的图像特征;将多组候选特征对依次输入图像生成模型;根据图像生成模型的输出结果,获取具有目标主题的目标图像。本发明解决了由于手动设计图像所导致的图像生成效率较低的问题的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种图像生成方法和装置及存储介质。
背景技术
如今,对于海报等图像进行创意设计时,通常是由专业人员进行手动设计处理。例如运营人员进行需求发布,请相关美工人员进行海报或者宣传报方面的设计。但这种手动设计海报等用于推广宣传的图像的方法,往往耗时较长,设计的图像数量有限,导致图像生成效率较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像生成方法和装置及存储介质,以至少解决由于手动设计图像所导致的图像生成效率较低的问题的技术问题。
根据本发明实施例的一个方面,提供了一种图像生成方法,包括:获取与待生成的目标图像关联的多张候选图像,其中,上述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;依次对上述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与上述目标主题关联的文字特征,及从上述一张候选图像中提取出的图像特征;将上述多组候选特征对依次输入图像生成模型,其中,上述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,上述图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为上述指定主题的鉴定子网络模型;根据上述图像生成模型的输出结果,获取具有上述目标主题的上述目标图像。
作为一种可选的实施方式,在上述将上述多组候选特征对依次输入图像生成模型之后,还包括:在当前输入的为第i张候选图像的候选特征对的情况下,利用上述第i张候选图像中提取出的上述文字特征,通过上述生成子网络模型生成与上述目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为上述多张候选图像的数量;在上述鉴定子网络模型获取到上述对象图像的情况下,鉴定上述对象图像与当前输入的上述第i张候选图像是否为相同主题;在上述对象图像输入的上述第i张候选图像为相同主题的情况下,将上述对象图像确定为上述目标图像。
作为一种可选的实施方式,依次对上述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对包括:重复执行以下步骤,直至遍历上述多张候选图像:获取当前候选图像;识别上述当前候选图像中与上述目标主题关联的文字信息;对上述文字信息进行分词和映射处理,得到与上述当前候选图像对应的多个当前词向量,并对上述多个当前词向量进行聚合处理,得到一组当前句向量;将上述当前句向量确定为上述当前候选图像的文字特征;识别上述当前候选图像中的图像信息,其中,上述图像信息包括各个像素点的位置信息及颜色信息;根据上述图像信息确定上述图像特征。
作为一种可选的实施方式,在上述获取与待生成的目标图像关联的多张候选图像之前,还包括:获取多个样本数据,其中,上述多个样本数据包括第一类样本数据和第二类样本数据,其中,上述第一类样本数据为相同主题的图像数据,上述第二类样本数据为不同主题的图像数据;利用上述多个样本数据对初始化的图像生成模型进行训练,以得到上述图像生成模型。
作为一种可选的实施方式,上述获取与待生成的目标图像关联的多张候选图像包括:获取搜索请求,其中,上述搜索请求中携带有上述目标主题的关键词;响应上述搜索请求,从上述数据共享平台中查找到具有上述目标主题的上述多张候选图像。
作为一种可选的实施方式,上述图像生成模型为基于stackGAN模型构建。
根据本发明实施例的另一方面,还提供了一种图像生成装置,包括:第一获取单元,用于获取与待生成的目标图像关联的多张候选图像,其中,上述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;提取单元,用于依次对上述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与上述目标主题关联的文字特征,及从上述一张候选图像中提取出的图像特征;输入单元,用于将上述多组候选特征对依次输入图像生成模型,其中,上述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,上述图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为上述指定主题的鉴定子网络模型;第二获取单元,用于根据上述图像生成模型的输出结果,获取具有上述目标主题的上述目标图像。
作为一种可选的实施方式,还包括:生成单元,用于在上述将上述多组候选特征对依次输入图像生成模型之后,在当前输入的为第i张候选图像的候选特征对的情况下,利用上述第i张候选图像中提取出的上述文字特征,通过上述生成子网络模型生成与上述目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为上述多张候选图像的数量;鉴定单元,用于在上述鉴定子网络模型获取到上述对象图像的情况下,鉴定上述对象图像与当前输入的上述第i张候选图像是否为相同主题;确定单元,用于在上述对象图像输入的上述第i张候选图像为相同主题的情况下,将上述对象图像确定为上述目标图像。
作为一种可选的实施方式,上述输入单元包括:处理模块,用于重复执行以下步骤,直至遍历上述多张候选图像:获取当前候选图像;识别上述当前候选图像中与上述目标主题关联的文字信息;对上述文字信息进行分词和映射处理,得到与上述当前候选图像对应的多个当前词向量,并对上述多个当前词向量进行聚合处理,得到一组当前句向量;将上述当前句向量确定为上述当前候选图像的文字特征;识别上述当前候选图像中的图像信息,其中,上述图像信息包括各个像素点的位置信息及颜色信息;根据上述图像信息确定上述图像特征。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述图像生成方法。
在本发明实施例中,在本实施例中,在获取与待生成的目标图像为相同目标主题的多张候选图像之后,从该多张候选图像中分别进行特征提取,以得到多组候选特征对,并将该多组候选特征对依次输入图像生成模型,以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像,而不再需要专业人员手动设计大量推广宣传图像,以达到节省图像生成时间,提高图像生成效率的目的,进而解决了由于手动设计图像所导致的图像生成效率较低的问题的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的图像生成方法的流程图;
图2是根据本发明实施例的一种可选的图像生成方法的示意图;
图3是根据本发明实施例的另一种可选的图像生成方法的示意图;
图4是根据本发明实施例的另一种可选的图像生成方法的流程图;
图5是根据本发明实施例的一种可选的图像生成装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种图像生成方法,可选地,作为一种可选的实施方式,如图1所示,上述图像生成方法包括:
S102,获取与待生成的目标图像关联的多张候选图像,其中,多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;
S104,依次对多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征,及从一张候选图像中提取出的图像特征;
S106,将多组候选特征对依次输入图像生成模型,其中,图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为指定主题的鉴定子网络模型;
S108,根据图像生成模型的输出结果,获取具有目标主题的目标图像。
可选地,在本实施例中,上述图像生成方法可以但不限于应用于生成用于推广宣传的图像的生成过程中,如广告图像、海报图像、宣传图像等等。也就是说,在本实施例中,在获取与待生成的目标图像为相同目标主题的多张候选图像之后,从该多张候选图像中分别进行特征提取,以得到多组候选特征对,并将该多组候选特征对依次输入图像生成模型,以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像,而不再需要专业人员手动设计大量推广宣传图像,以达到节省图像生成时间,提高图像生成效率的目的,进而克服相关技术中图像生成效率较低的问题。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,上述图像生成模型可以但不限于为基于stackGAN模型构建。其中,stackGAN模型可以但不限于是树状结构的多个生成器和鉴别器生成,从树的不同分支生成对应于同一场景的多尺度图像。
可选地,在本实施例中,上述图像生成模型在识别出候选图像中与目标主题关联的文字信息之后,将对文字信息进行分词和映射处理,得到与候选图像对应的词向量,并对该词向量进行聚合处理,得到句向量;从而将该句向量确定为候选图像的文字特征。上述图像生成模型在识别出候选图像中的图像信息之后,可以根据该图像信息确定图像特征。
例如,上述图像生成模型可以如图2所示。在获取到多张候选图像之后,提取候选图像中的文字信息,如图2中加粗实线方框所示。然后将上述文字进行分词、映射和聚合处理,得到句向量,作为文字特征,如图2中加粗虚线方框所示。然后将上述文字特征输入图像生成模型。然后得到预测生成的候选目标图像,如图2中加粗虚线圆框所示。将根据上述候选图像的图像信息确定出的图像特征与候选目标图像,再次输入模型,其中,根据上述候选图像的图像信息确定出的图像特征如图2中加粗实线圆框所示。进一步进行分析得到目标主题的目标图像。
可选地,在本实施例中,获取与待生成的目标图像关联的多张候选图像包括:获取搜索请求,其中,搜索请求中携带有目标主题的关键词;响应搜索请求,从数据共享平台中查找到具有目标主题的多张候选图像。
需要说明的是,上述数据共享平台可以但不限于共享空间应用、即时通信应用等应用平台,如微信公众号。上述多张候选图像可以但不限于为微信公众号中提供的图像。例如,如图3所示,在某微信公众号中包括有宣传海报,显示有2019年12月24日发布的文字信息:【积分兑换】绝不能错过的红色。红色可以出挑亮眼,也可以低调温柔,尤其是圣诞季必不可少,你是不是还差一点红色装备呢。
通过本申请提供的实施例,在获取与待生成的目标图像为相同目标主题的多张候选图像之后,从该多张候选图像中分别进行特征提取,以得到多组候选特征对,并将该多组候选特征对依次输入图像生成模型,以输出得到目标主题的目标图像。从而实现自动生成推广宣传图像,而不再需要专业人员手动设计大量推广宣传图像,以达到节省图像生成时间,提高图像生成效率的目的,进而克服相关技术中图像生成效率较低的问题。
作为一种可选的方案,在将多组候选特征对依次输入图像生成模型之后,还包括:
S1,在当前输入的为第i张候选图像的候选特征对的情况下,利用第i张候选图像中提取出的文字特征,通过生成子网络模型生成与目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为多张候选图像的数量;
S2,在鉴定子网络模型获取到对象图像的情况下,鉴定对象图像与当前输入的第i张候选图像是否为相同主题;
S3,在对象图像输入的第i张候选图像为相同主题的情况下,将对象图像确定为目标图像。
可选地,在本实施例中,在获取与待生成的目标图像关联的多张候选图像之前,还包括:取多个样本数据,其中,多个样本数据包括第一类样本数据和第二类样本数据,其中,第一类样本数据为相同主题的图像数据,第二类样本数据为不同主题的图像数据;利用多个样本数据对初始化的图像生成模型进行训练,以得到图像生成模型。
可选地,在本实施例中,依次对多张候选图像的每张候选图像进行特征提取,得到多组候选特征对包括:
重复执行以下步骤,直至遍历多张候选图像:
获取当前候选图像;
识别当前候选图像中与目标主题关联的文字信息;对文字信息进行分词和映射处理,得到与当前候选图像对应的多个当前词向量,并对多个当前词向量进行聚合处理,得到一组当前句向量;将当前句向量确定为当前候选图像的文字特征;
识别当前候选图像中的图像信息,其中,图像信息包括各个像素点的位置信息及颜色信息;根据图像信息确定图像特征。
具体结合以下图4所示S402至S410进行说明:
获取搜索请求,其中,该搜索请求中携带有目标主题的关键词(假设是目标产品的关键词)。响应该搜索请求,从数据共享平台(如微信公众号)中查找到具有上述目标主题的多张候选图像。这里多张候选图像可以为与目标产品相关的历史海报,也可以为与目标产品为竞品的海报,如步骤S402。
采用图像识别技术(如光学字符识别,Optical Character Recognition,简称OCR),识别每张候选图像中与目标产品的目标主题关联的文字信息,,如步骤S404。例如,提取标题(如图3所示标题“积分兑换,绝不能错过的红色”)或提取文章中的文字(如图3所示文字“红色可以出挑亮眼,也可以低调温柔,尤其是圣诞季必不可少,你是不是还差一点红色装备呢”)。
然后对上述提取到的文字信息进行分词处理,(如使用jieba分词、SnowNLP、FoolNLTK、ansj、等等分词工具),如步骤S406。
进一步,使用wordembedding(词向量)映射算法,将每个词映射到稠密维度中(例如200维度),得到多个词向量。其中,wordembedding映射算法可以但不限于是将文本空间中的词,映射到另一个数值向量空间。在获得全部词向量之后,对这些词向量进行聚合,得到句向量,作为候选图像的文字特征。这里句向量可以但不限于视作每个词向量对应维度求平均的结果,如步骤S408。
然后将上述从候选图像中提取到的文字特征及提取到的图像特征输入基于stackGAN构建的训练好的图像生成模型,以得到对应的目标图像,,如步骤S410,从而实现辅助设计人员快速生成用于推广宣传的海报。
通过本申请提供的实施例,通过基于stackGAN构建的训练好的图像生成模型来识别候选图像,从而实现基于候选图像来自动生成目标图像,而无需专业人员再手动设计,提高了图像生成效率,进而提高了基于目标图像进行推广的效率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述图像生成方法的图像生成装置。如图5所示,该装置包括:
1)第一获取单元502,用于获取与待生成的目标图像关联的多张候选图像,其中,多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;
2)提取单元504,用于依次对多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与目标主题关联的文字特征,及从一张候选图像中提取出的图像特征;
3)输入单元506,用于将多组候选特征对依次输入图像生成模型,其中,图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为指定主题的鉴定子网络模型;
4)第二获取单元508,用于根据图像生成模型的输出结果,获取具有目标主题的目标图像。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不作任何限定。
作为一种可选的方案,还包括:
1)生成单元,用于在将多组候选特征对依次输入图像生成模型之后,在当前输入的为第i张候选图像的候选特征对的情况下,利用第i张候选图像中提取出的文字特征,通过生成子网络模型生成与目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为多张候选图像的数量;
2)鉴定单元,用于在鉴定子网络模型获取到对象图像的情况下,鉴定对象图像与当前输入的第i张候选图像是否为相同主题;
3)确定单元,用于在对象图像输入的第i张候选图像为相同主题的情况下,将对象图像确定为目标图像。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不作任何限定。
作为一种可选的方案,输入单元包括:
1)处理模块,用于重复执行以下步骤,直至遍历多张候选图像:获取当前候选图像;识别当前候选图像中与目标主题关联的文字信息;对文字信息进行分词和映射处理,得到与当前候选图像对应的多个当前词向量,并对多个当前词向量进行聚合处理,得到一组当前句向量;将当前句向量确定为当前候选图像的文字特征;识别当前候选图像中的图像信息,其中,图像信息包括各个像素点的位置信息及颜色信息;根据图像信息确定图像特征。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不作任何限定。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种图像生成方法,其特征在于,包括:
获取与待生成的目标图像关联的多张候选图像,其中,所述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;
依次对所述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与所述目标主题关联的文字特征,及从所述一张候选图像中提取出的图像特征;
将所述多组候选特征对依次输入图像生成模型,其中,所述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,所述图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为所述指定主题的鉴定子网络模型;
根据所述图像生成模型的输出结果,获取具有所述目标主题的所述目标图像。
2.根据权利要求1所述的方法,其特征在于,在所述将所述多组候选特征对依次输入图像生成模型之后,还包括:
在当前输入的为第i张候选图像的候选特征对的情况下,利用所述第i张候选图像中提取出的所述文字特征,通过所述生成子网络模型生成与所述目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为所述多张候选图像的数量;
在所述鉴定子网络模型获取到所述对象图像的情况下,鉴定所述对象图像与当前输入的所述第i张候选图像是否为相同主题;
在所述对象图像输入的所述第i张候选图像为相同主题的情况下,将所述对象图像确定为所述目标图像。
3.根据权利要求1所述的方法,其特征在于,依次对所述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对包括:
重复执行以下步骤,直至遍历所述多张候选图像:
获取当前候选图像;
识别所述当前候选图像中与所述目标主题关联的文字信息;对所述文字信息进行分词和映射处理,得到与所述当前候选图像对应的多个当前词向量,并对所述多个当前词向量进行聚合处理,得到一组当前句向量;将所述当前句向量确定为所述当前候选图像的文字特征;
识别所述当前候选图像中的图像信息,其中,所述图像信息包括各个像素点的位置信息及颜色信息;根据所述图像信息确定所述图像特征。
4.根据权利要求1所述的方法,其特征在于,在所述获取与待生成的目标图像关联的多张候选图像之前,还包括:
获取多个样本数据,其中,所述多个样本数据包括第一类样本数据和第二类样本数据,其中,所述第一类样本数据为相同主题的图像数据,所述第二类样本数据为不同主题的图像数据;
利用所述多个样本数据对初始化的图像生成模型进行训练,以得到所述图像生成模型。
5.根据权利要求1所述的方法,其特征在于,所述获取与待生成的目标图像关联的多张候选图像包括:
获取搜索请求,其中,所述搜索请求中携带有所述目标主题的关键词;
响应所述搜索请求,从所述数据共享平台中查找到具有所述目标主题的所述多张候选图像。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述图像生成模型为基于stackGAN模型构建。
7.一种图像生成装置,其特征在于,包括:
第一获取单元,用于获取与待生成的目标图像关联的多张候选图像,其中,所述多张候选图像为从数据共享平台收集到的携带有用于推广目标主题的文字信息的图像;
提取单元,用于依次对所述多张候选图像的每张候选图像进行特征提取,得到多组候选特征对,其中,每组候选特征对中包括从一张候选图像中提取出的与所述目标主题关联的文字特征,及从所述一张候选图像中提取出的图像特征;
输入单元,用于将所述多组候选特征对依次输入图像生成模型,其中,所述图像生成模型为利用多个样本数据进行训练后得到的用于生成用于推广指定主题的图像的神经网络模型,所述图像生成模型中包括用于生成图像的生成子网络模型,及用于识别所生成的图像是否为所述指定主题的鉴定子网络模型;
第二获取单元,用于根据所述图像生成模型的输出结果,获取具有所述目标主题的所述目标图像。
8.根据权利要求7所述的装置,其特征在于,还包括:
生成单元,用于在所述将所述多组候选特征对依次输入图像生成模型之后,在当前输入的为第i张候选图像的候选特征对的情况下,利用所述第i张候选图像中提取出的所述文字特征,通过所述生成子网络模型生成与所述目标主题相匹配的对象图像,其中,i为大于1,且小于等的整数,N为所述多张候选图像的数量;
鉴定单元,用于在所述鉴定子网络模型获取到所述对象图像的情况下,鉴定所述对象图像与当前输入的所述第i张候选图像是否为相同主题;
确定单元,用于在所述对象图像输入的所述第i张候选图像为相同主题的情况下,将所述对象图像确定为所述目标图像。
9.根据权利要求7所述的装置,其特征在于,所述输入单元包括:
处理模块,用于重复执行以下步骤,直至遍历所述多张候选图像:获取当前候选图像;识别所述当前候选图像中与所述目标主题关联的文字信息;对所述文字信息进行分词和映射处理,得到与所述当前候选图像对应的多个当前词向量,并对所述多个当前词向量进行聚合处理,得到一组当前句向量;将所述当前句向量确定为所述当前候选图像的文字特征;识别所述当前候选图像中的图像信息,其中,所述图像信息包括各个像素点的位置信息及颜色信息;根据所述图像信息确定所述图像特征。
10.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329281.0A CN111553335A (zh) | 2020-04-23 | 2020-04-23 | 图像生成方法和装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329281.0A CN111553335A (zh) | 2020-04-23 | 2020-04-23 | 图像生成方法和装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111553335A true CN111553335A (zh) | 2020-08-18 |
Family
ID=72005759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010329281.0A Pending CN111553335A (zh) | 2020-04-23 | 2020-04-23 | 图像生成方法和装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553335A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985565A (zh) * | 2020-08-20 | 2020-11-24 | 上海风秩科技有限公司 | 图片分析方法和装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247755A (zh) * | 2017-05-27 | 2017-10-13 | 深圳市唯特视科技有限公司 | 一种基于上下文序列记忆网络的个性化图像字幕生成方法 |
CN109271537A (zh) * | 2018-08-10 | 2019-01-25 | 北京大学 | 一种基于蒸馏学习的文本到图像生成方法和系统 |
CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
CN110287484A (zh) * | 2019-06-11 | 2019-09-27 | 华东师范大学 | 一种基于人脸特征的汉语文本描述人脸图像生成方法 |
-
2020
- 2020-04-23 CN CN202010329281.0A patent/CN111553335A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247755A (zh) * | 2017-05-27 | 2017-10-13 | 深圳市唯特视科技有限公司 | 一种基于上下文序列记忆网络的个性化图像字幕生成方法 |
CN109271537A (zh) * | 2018-08-10 | 2019-01-25 | 北京大学 | 一种基于蒸馏学习的文本到图像生成方法和系统 |
CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
CN110287484A (zh) * | 2019-06-11 | 2019-09-27 | 华东师范大学 | 一种基于人脸特征的汉语文本描述人脸图像生成方法 |
Non-Patent Citations (1)
Title |
---|
HAN ZHANG ET AL: "StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985565A (zh) * | 2020-08-20 | 2020-11-24 | 上海风秩科技有限公司 | 图片分析方法和装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112199375B (zh) | 跨模态的数据处理方法、装置、存储介质以及电子装置 | |
CN110472090B (zh) | 基于语义标签的图像检索方法以及相关装置、存储介质 | |
CN111522989B (zh) | 用于图像检索的方法、计算设备和计算机存储介质 | |
CN109543690A (zh) | 用于提取信息的方法和装置 | |
CN108319723A (zh) | 一种图片分享方法和装置、终端、存储介质 | |
CN101587478A (zh) | 图像训练、自动标注、检索方法及装置 | |
CN113298197B (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
CN110598019B (zh) | 重复图像识别方法及装置 | |
CN112328823A (zh) | 多标签分类模型的训练方法、装置、电子设备及存储介质 | |
CN112258254B (zh) | 基于大数据架构的互联网广告风险监测方法及系统 | |
CN114419363A (zh) | 基于无标注样本数据的目标分类模型训练方法及装置 | |
CN115687670A (zh) | 图像搜索方法、装置、计算机可读存储介质及电子设备 | |
CN112017162B (zh) | 病理图像处理方法、装置、存储介质和处理器 | |
Belhi et al. | Deep learning and cultural heritage: the CEPROQHA project case study | |
CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
CN108319985A (zh) | 图像语义标注的方法和装置 | |
CN113204643B (zh) | 一种实体对齐方法、装置、设备及介质 | |
CN111553335A (zh) | 图像生成方法和装置及存储介质 | |
CN110209895B (zh) | 向量检索方法、装置和设备 | |
CN118093930A (zh) | 音频资源检索方法、装置、设备及存储介质 | |
US10803115B2 (en) | Image-based domain name system | |
CN115168609A (zh) | 一种文本匹配方法、装置、计算机设备和存储介质 | |
CN114332599A (zh) | 图像识别方法、装置、计算机设备、存储介质和产品 | |
CN112612965A (zh) | 基于图谱标签降噪的素材推荐方法及系统 | |
Liao et al. | Image-matching based identification of store signage using web-crawled information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231120 Address after: Unit 5B03, 5th Floor, Building 2, No. 277 Longlan Road, Xuhui District, Shanghai, 200000 Applicant after: SHANGHAI SECOND PICKET NETWORK TECHNOLOGY CO.,LTD. Address before: Floors 4, 5 and 6, No. 3, Lane 1473, Zhenguang Road, Putuo District, Shanghai, 200333 Applicant before: Shanghai Fengzhi Technology Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200818 |