CN118628610A - 图像筛选方法、系统、存储介质及电子设备 - Google Patents
图像筛选方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN118628610A CN118628610A CN202410747147.0A CN202410747147A CN118628610A CN 118628610 A CN118628610 A CN 118628610A CN 202410747147 A CN202410747147 A CN 202410747147A CN 118628610 A CN118628610 A CN 118628610A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- text
- candidate
- acquisition module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像筛选方法、系统、存储介质及电子设备，所述方法包括以下步骤：获取用于描述所需图像的文本提示；获取基于所述文本提示生成的多个候选图像；提取所述文本提示的文本特征；将所述多个候选图像经过多层感知机，获取高维空间特征；基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合；基于所述像素分值集合获取各个候选图像的图像分值；选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。本发明的图像筛选方法、系统、存储介质及电子设备基于文本提示选取质量最好的生成图像，有效提升了图像生成的质量。
Description
技术领域
本发明属于深度学习的技术领域，特别是涉及一种图像筛选方法、系统、存储介质及电子设备。
背景技术
随着深度学习技术的发展，图像生成成为一个备受关注的研究领域。现有技术中，通常采用图像生成模型来进行图像生成，主要包括以下两种方式；
(1)固定文本提示，用不同的图像筛选模型(如SD、midjourney、和Dalle)得到多个图像，从中选择一个作为生成图像；
(2)固定文本提示，用同一个图像筛选模型，生成多次，得到多个图像，从中选择一个作为生成图像。
然而，在多个图像中筛选出一张质量最好的图片，往往是困难的，进而影响了图像生成的质量。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像筛选方法、系统、存储介质及电子设备，基于文本提示选取质量最好的生成图像，有效提升了图像生成的质量。
第一方面，本发明提供一种图像筛选方法，所述方法包括以下步骤：获取用于描述所需图像的文本提示；获取基于所述文本提示生成的多个候选图像；提取所述文本提示的文本特征；将所述多个候选图像经过多层感知机，获取高维空间特征；基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合；基于所述像素分值集合获取各个候选图像的图像分值；选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
在第一方面的一种实现方式中，基于transformer模型的编码器提取所述文本提示的文本特征。
在第一方面的一种实现方式中，基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合包括以下步骤：
将所述文本特征作为K向量和V向量，将所述高维空间特征作为Q向量，经由transformer模型的解码器获取所述候选图像中每个像素的特征值；
将所述特征值经过softmax函数，获取每个像素的像素分值；
基于所述像素分值构建所述候选图像的像素分值集合。
在第一方面的一种实现方式中，基于所述像素分值集合获取各个候选图像的图像分值包括以下步骤：
对于每个候选图像，计算各个像素的像素分值的乘积；
将所述乘积作为所述候选图像的图像分值。
第二方面，本发明提供一种图像筛选系统，所述系统包括第一获取模块、第二获取模块、提取模块、第三获取模块、第四获取模块、第五获取模块和选取模块；
所述第一获取模块用于获取用于描述所需图像的文本提示；
所述第二获取模块用于获取基于所述文本提示生成的多个候选图像；
所述提取模块用于提取所述文本提示的文本特征；
所述第三获取模块用于将所述多个候选图像经过多层感知机，获取高维空间特征；
所述第四获取模块用于基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合；
所述第五获取模块用于基于所述像素分值集合获取各个候选图像的图像分值；
所述选取模块用于选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
在第二方面的一种实现方式中，所述提取模块基于transformer模型的编码器提取所述文本提示的文本特征。
在第二方面的一种实现方式中，所述第四获取模块基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合包括以下步骤：
将所述文本特征作为K向量和V向量，将所述高维空间特征作为Q向量，经由transformer模型的解码器获取所述候选图像中每个像素的特征值；
将所述特征值经过softmax函数，获取每个像素的像素分值；
基于所述像素分值构建所述候选图像的像素分值集合。
在第二方面的一种实现方式中，所述第五获取模块基于所述像素分值集合获取各个候选图像的图像分值包括以下步骤：
对于每个候选图像，计算各个像素的像素分值的乘积；
将所述乘积作为所述候选图像的图像分值。
第三方面，本发明提供一种电子设备，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的图像筛选方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被电子设备执行时实现上述的图像筛选方法。
如上所述，本发明所述的图像筛选方法、系统、存储介质及电子设备，具有以下有益效果：
(1)基于文本提示选取质量最好的生成图像，有效提升了图像生成的质量；
(2)智能化程度高，极具实用性。
附图说明
图1显示为本发明的电子设备于一实施例中的场景示意图；
图2显示为本发明的图像筛选方法于一实施例中的流程图；
图3显示为本发明的图像筛选方法于一实施例中的架构示意图；
图4显示为本发明的图像筛选系统于一实施例中的结构示意图；
图5显示为本发明的电子设备于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明以下实施例提供了图像筛选方法，其可应用于如图1所示的电子设备。本发明中所述电子设备可以包括具备无线充电功能的手机11、平板电脑12、笔记本电脑13、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等，本发明实施例对电子设备的具体类型不作任何限制。
例如，所述电子设备可以是具备无线充电功能的WLAN中的站点(STAION，ST)，可以是具备无线充电功能的蜂窝电话、无绳电话、会话启动协议(SessionInitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具备无线充电功能的手持设备、计算设备或其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端、未来演进的公共陆地移动网络(PublicLand Mobile Network，PLMN)中的移动终端或者未来演进的非地面网络(Non-terrestrial Network，NTN)中的移动终端等。
例如，所述电子设备可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobilecommunication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)、BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(Global Positioning System，GPS)，全球导航卫星系统(GlobalNavigation Satellite System，GLONASS)，北斗卫星导航系统(BeiDou navigationSatellite System，BDS)，准天顶卫星系统(Quasi-Zenith Satellite System，QZSS)和/或星基增强系统(Satellite Based Augmentation Systems，SBAS)。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
如图2和图3所示，于一实施例中，本发明的图像筛选方法包括步骤S1-步骤S7。
步骤S1、获取用于描述所需图像的文本提示。
具体地，在基于图像生成模型进行图像生成时，将文本提示输入所述图像生成模型，以生成与所述文本提示相符合的图像。其中，所述文本提示能够描述所需图像的颜色、内容等方面的特征。
步骤S2、获取基于所述文本提示生成的多个候选图像。
具体地，将所述文本提示输入一个或多个图像生成模型，将所述图像生成模型得到的图像作为候选图像。需要基于所述多个候选图像筛选出所述文本提示对应的最佳生成图像。
步骤S3、提取所述文本提示的文本特征。
具体地，基于transformer模型的编码器提取所述文本提示的文本特征。其中，Transformer是一种用于自然语言处理(NLP)和其他序列到序列(sequence-to-sequence)任务的深度学习模型架构。transformer模型由编码器encoder和解码器decoder两个部分组成，编码器encoder和解码器decoder都包含6个block。
步骤S4、将所述多个候选图像经过多层感知机，获取高维空间特征。
具体地，首先将所述多个候选图像整形(reshape)成向量模式，即表示为(高X宽，通道数)。其中，通道数即为候选图像的数量。将向量模式的候选图像输入多层感知机(Multilayer Perceptron，MLP)，从而将像素空间映射到高维空间，得到所述高维空间特征。所述高维空间特征的形状为(高X宽，嵌入维度)，且高X宽＝像素数量。
其中，多层感知机是一种基于前馈神经网络(Feedforward Neural Network)的深度学习模型，由多个神经元层组成，其中每个神经元层与前一层全连接。多层感知机可以用于解决分类、回归和聚类等各种机器学习问题。多层感知机的每个神经元层由许多神经元组成，其中输入层接收输入特征，输出层给出最终的预测结果，中间的隐藏层用于提取特征和进行非线性变换。每个神经元接收前一层的输出，进行加权和和激活函数运算，得到当前层的输出。通过不断迭代训练，多层感知机可以自动学习到输入特征之间的复杂关系，并对新的数据进行预测。
步骤S5、基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合。
具体地，基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合包括以下步骤：
51)对于每个候选图像，将所述文本特征作为K向量和V向量，将所述高维空间特征作为Q向量，经由transformer模型的解码器获取所述候选图像中每个像素的特征值。
52)将所述特征值经过softmax函数，获取每个像素的像素分值。
53)基于所述像素分值构建所述候选图像的像素分值集合。
步骤S6、基于所述像素分值集合获取各个候选图像的图像分值。
具体地，对于每个候选图像，将各个像素的像素分值进行连乘，得到各个像素的像素分值的乘积，并将所述乘积作为所述候选图像的图像分值。
步骤S7、选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
本发明实施例所述的图像筛选方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明实施例还提供一种图像筛选系统，所述图像筛选系统可以实现本发明所述的图像筛选方法，但本发明所述的图像筛选系统的实现装置包括但不限于本实施例列举的图像筛选系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
如图4所示，于一实施例中，本发明的图像筛选系统包括第一获取模块41、第二获取模块42、提取模块43、第三获取模块44、第四获取模块45、第五获取模块46和选取模块47。
所述第一获取模块41用于获取用于描述所需图像的文本提示。
所述第二获取模块42用于获取基于所述文本提示生成的多个候选图像。
所述提取模块43与所述第一获取模块41相连，用于提取所述文本提示的文本特征。
所述第三获取模块44与所述第二获取模块42相连，用于将所述多个候选图像经过多层感知机，获取高维空间特征。
所述第四获取模块45与所述提取模块43和所述第三获取模块44相连，用于基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合。
所述第五获取模块46与所述第四获取模块45相连，用于基于所述像素分值集合获取各个候选图像的图像分值。
所述选取模块47与所述第五获取模块46相连，用于选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
其中，第一获取模块41、第二获取模块42、提取模块43、第三获取模块44、第四获取模块45、第五获取模块46和选取模块47的结构和原理与上述图像筛选方法中的步骤一一对应，故在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本发明实施例的目的。例如，在本发明各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetictape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本发明实施例还提供了一种电子设备。所述电子设备包括处理器和存储器。
所述存储器用于存储计算机程序。
所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的图像筛选方法。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示，本发明的电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元51，存储器52，连接不同系统组件(包括存储器52和处理单元51)的总线53。
总线53表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器52可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)521和/或高速缓存存储器522。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统523可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线53相连。存储器52可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块5241的程序/实用工具524，可以存储在例如存储器52中，这样的程序模块5241包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5241通常执行本发明所描述的实施例中的功能和/或方法。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口54进行。并且，电子设备还可以通过网络适配器55与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器55通过总线53与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种图像筛选方法，其特征在于，所述方法包括以下步骤：
获取用于描述所需图像的文本提示；
获取基于所述文本提示生成的多个候选图像；
提取所述文本提示的文本特征；
将所述多个候选图像经过多层感知机，获取高维空间特征；
基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合；
基于所述像素分值集合获取各个候选图像的图像分值；
选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
2.根据权利要求1所述的图像筛选方法，其特征在于：基于transformer模型的编码器提取所述文本提示的文本特征。
3.根据权利要求1所述的图像筛选方法，其特征在于：基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合包括以下步骤：
将所述文本特征作为K向量和V向量，将所述高维空间特征作为Q向量，经由transformer模型的解码器获取所述候选图像中每个像素的特征值；
将所述特征值经过softmax函数，获取每个像素的像素分值；
基于所述像素分值构建所述候选图像的像素分值集合。
4.根据权利要求1所述的图像筛选方法，其特征在于：基于所述像素分值集合获取各个候选图像的图像分值包括以下步骤：
对于每个候选图像，计算各个像素的像素分值的乘积；
将所述乘积作为所述候选图像的图像分值。
5.一种图像筛选系统，其特征在于，所述系统包括第一获取模块、第二获取模块、提取模块、第三获取模块、第四获取模块、第五获取模块和选取模块；
所述第一获取模块用于获取用于描述所需图像的文本提示；
所述第二获取模块用于获取基于所述文本提示生成的多个候选图像；
所述提取模块用于提取所述文本提示的文本特征；
所述第三获取模块用于将所述多个候选图像经过多层感知机，获取高维空间特征；
所述第四获取模块用于基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合；
所述第五获取模块用于基于所述像素分值集合获取各个候选图像的图像分值；
所述选取模块用于选取图像分值最大的候选图像作为所述文本提示对应的最佳生成图像。
6.根据权利要求5所述的图像筛选系统，其特征在于：所述提取模块基于transformer模型的编码器提取所述文本提示的文本特征。
7.根据权利要求5所述的图像筛选系统，其特征在于：所述第四获取模块基于所述文本特征作和所述高维空间特征获取每个候选图像的像素分值集合包括以下步骤：
将所述文本特征作为K向量和V向量，将所述高维空间特征作为Q向量，经由transformer模型的解码器获取所述候选图像中每个像素的特征值；
将所述特征值经过softmax函数，获取每个像素的像素分值；
基于所述像素分值构建所述候选图像的像素分值集合。
8.根据权利要求5所述的图像筛选系统，其特征在于：所述第五获取模块基于所述像素分值集合获取各个候选图像的图像分值包括以下步骤：
对于每个候选图像，计算各个像素的像素分值的乘积；
将所述乘积作为所述候选图像的图像分值。
9.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至4中任一项所述的图像筛选方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至4中任一项所述的图像筛选方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410747147.0A CN118628610A (zh) | 2024-06-11 | 2024-06-11 | 图像筛选方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410747147.0A CN118628610A (zh) | 2024-06-11 | 2024-06-11 | 图像筛选方法、系统、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118628610A true CN118628610A (zh) | 2024-09-10 |
Family
ID=92604498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410747147.0A Pending CN118628610A (zh) | 2024-06-11 | 2024-06-11 | 图像筛选方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118628610A (zh) |
-
2024
- 2024-06-11 CN CN202410747147.0A patent/CN118628610A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7224447B2 (ja) | 符号化方法、装置、機器およびプログラム | |
| CN112488923A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| US20220084165A1 (en) | System and method for single-modal or multi-modal style transfer and system for random stylization using the same | |
| WO2024245343A1 (zh) | 一种数据处理方法及相关设备 | |
| CN116912353B (zh) | 多任务图像处理方法、系统、存储介质及电子设备 | |
| WO2024245063A1 (zh) | 一种数据处理方法及其装置 | |
| WO2022096944A1 (en) | Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium | |
| CN115147284A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| CN114742783A (zh) | 基于神经网络模型的食品检测方法和装置 | |
| WO2025026210A1 (zh) | 一种数据处理方法及其装置 | |
| WO2024212485A1 (zh) | Ocr识别方法、系统、存储介质及电子设备 | |
| CN118628610A (zh) | 图像筛选方法、系统、存储介质及电子设备 | |
| CN118313418A (zh) | 神经网络模型训练方法及装置 | |
| CN116597293A (zh) | 多模态场景识别方法、装置、计算机设备和存储介质 | |
| CN118314409B (zh) | 多模态图像分类方法、系统、存储介质及电子设备 | |
| CN118587526A (zh) | 基于文本分类器的图像分类方法、系统、存储介质及电子设备 | |
| CN116630633B (zh) | 语义分割自动标注方法、系统、存储介质及电子设备 | |
| CN118644720A (zh) | 动物图像分类方法、系统、存储介质及电子设备 | |
| Zhang et al. | Lightweight portrait segmentation via edge-optimized attention | |
| CN118692093A (zh) | 训练数据获取方法及系统、文本识别方法、设备及介质 | |
| CN118196695B (zh) | 视频语义分割方法、系统、存储介质及电子设备 | |
| CN118229586A (zh) | 目标破损图像补全方法、系统、存储介质及电子设备 | |
| CN118172259A (zh) | 低光图像增强方法、系统、存储介质及电子设备 | |
| CN118609557A (zh) | 视觉语音识别方法、系统、存储介质及电子设备 | |
| CN118283201B (zh) | 视频合成方法、系统、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |