CN118283201B - 视频合成方法、系统、存储介质及电子设备 - Google Patents
视频合成方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN118283201B CN118283201B CN202410704763.8A CN202410704763A CN118283201B CN 118283201 B CN118283201 B CN 118283201B CN 202410704763 A CN202410704763 A CN 202410704763A CN 118283201 B CN118283201 B CN 118283201B
- Authority
- CN
- China
- Prior art keywords
- sequence
- matrix
- style
- video
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000006835 compression Effects 0.000 claims abstract description 20
- 238000007906 compression Methods 0.000 claims abstract description 20
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 83
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种视频合成方法、系统、存储介质及电子设备，所述方法包括以下步骤：抽取第一对象的内容图片的压缩特征；获取所述内容图片的语义特征；将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征；获取动作视频中第二对象的骨骼动作序列；基于所述骨骼动作序列和噪声序列生成风格特征序列；将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列；基于所述更新风格特征序列获取合成视频帧。本发明的视频合成方法、系统、存储介质及电子设备能够将不同对象的内容图片和动作视频进行组合拼接，实现自定义视频合成。
Description
技术领域
本发明属于深度学习的技术领域，特别是涉及一种视频合成方法、系统、存储介质及电子设备。
背景技术
视频合成是将多个素材，例如视频、图片、音频等拼接在一起，制作出一个完整的视频作品的过程。
当下，视频合成的应用已经越来越普遍，例如在新闻、影视剧甚至是人们自己录制的短视频中都会用到视频合成。然而，目前视频合成均是简单地将已有视频进行拼接，无法涉及对视频内容的重新组合。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种视频合成方法、系统、存储介质及电子设备，能够将不同对象的内容图片和动作视频进行组合拼接，实现自定义视频合成。
第一方面，本发明提供一种视频合成方法，所述方法包括以下步骤：抽取第一对象的内容图片的压缩特征；获取所述内容图片的语义特征；将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征；获取动作视频中第二对象的骨骼动作序列；基于所述骨骼动作序列和噪声序列生成风格特征序列；将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列；基于所述更新风格特征序列获取合成视频帧。
在第一方面的一种实现方式中，基于变分自编码器的编码器抽取第一对象的内容图片的压缩特征；基于CLIP模型的图片编码器获取所述内容图片的语义特征；基于变分自编码器的解码器获取所述更新风格特征序列对应的合成视频帧。
在第一方面的一种实现方式中，获取动作视频中第二对象的骨骼动作序列包括以下步骤：
将所述动作视频输入DWPose模型，获取所述第二对象在所述动作视频的各帧图像上的骨骼动作；
将各帧的骨骼动作生成图像，以获取骨骼动作序列。
在第一方面的一种实现方式中，基于所述骨骼动作序列和噪声序列生成风格特征序列包括以下步骤：
获取高斯噪声序列；
将所述骨骼动作序列输入四层二维卷积模块后与所述高斯噪声序列进行元素相加，以生成所述风格特征序列。
在第一方面的一种实现方式中，将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列包括以下步骤：
1）将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取噪声信息；
2）将所述风格特征序列中的每个风格特征减去所述噪声信息，获取更新风格特征序列；
3）采用所述更新风格特征序列替代所述风格特征序列，重复步骤1）-2）预设次数，获取最终的更新风格特征序列。
在第一方面的一种实现方式中，所述内容神经网络和所述风格神经网络的结构相同，均包括主神经网络和附加分支网络；
所述主神经网络包括依次相连的三个串联的卷积块结构、单个的块结构和三个串联的反卷积块结构；所述卷积块结构包括相连的块结构和二维卷积块，所述反卷积块结构包括相连的二维反卷积块和块结构；
所述附加分支网络包括依次相连的二个串联的卷积块结构、两个串联的块反卷积结构和多层感知机，所述块反卷积结构包括相连的块结构和二维反卷积块；
所述三个串联的卷积块结构的第二个块结构的输出作为所述附加分支网络的输入，所述二个串联的卷积块结构的输出与所述三个串联的卷积块结构的输出进行元素相加后作为所述单个的块结构的输入；所述多层感知机的输出与所述三个串联的反卷积块结构中的第二个二维反卷积块的输出进行元素相加后作为所述三个串联的反卷积块结构中的第二个块结构的输入。
在第一方面的一种实现方式中，所述块结构包括注意力模块和跨模态权重模块；所述注意力模块的输出与所述跨模态权重模块的输出的跨模态权重系数进行元素相加，得到所述块结构的输出；
所述注意力模块将所述块结构的输入串联后输入多层感知机，得到注意力机制的Q矩阵、K1矩阵和V1矩阵；所述K1矩阵和所述V1矩阵进行元素相加后输入多层感知机，得到K矩阵和V矩阵；将所述K矩阵和所述Q矩阵进行矩阵相乘后得到注意力得分；所述第一注意力得分与所述V矩阵进行矩阵相乘并输入softmax后，再与所述V矩阵进行元素相乘，得到注意力特征；
所述跨模态权重模块将所述注意力特征输入多层感知机得到注意力机制的V2矩阵和K2矩阵，所述语义特征输入多层感知机得到注意力机制的Q2矩阵；所述K2矩阵和所述Q2矩阵进行矩阵相乘后得到第二注意力得分；所述V2矩阵和所述第二注意力得分进行矩阵相乘并输入softmax，得到所述跨模态权重系数。
第二方面，本发明提供一种视频合成系统，所述系统包括抽取模块、第一获取模块、第二获取模块、第三获取模块、生成模块、第四获取模块和合成模块；
所述抽取模块用于抽取第一对象的内容图片的压缩特征；
所述第一获取模块用于获取所述内容图片的语义特征；
所述第二获取模块用于将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征；
所述第三获取模块用于获取动作视频中第二对象的骨骼动作序列；
所述生成模块用于基于所述骨骼动作序列和噪声序列生成风格特征序列；
所述第四获取模块用于将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列；
所述合成模块用于基于所述更新风格特征序列获取合成视频帧。
第三方面，本发明提供一种电子设备，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的视频合成方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现上述的视频合成方法。
如上所述，本发明所述的视频合成方法、系统、存储介质及电子设备，具有以下有益效果。
（1）能够将不同对象的内容图片和动作视频进行组合拼接，实现自定义视频合成，从而满足不同的场景需求。
（2）智能化程度高，极具实用性。
附图说明
图1显示为本发明的电子设备于一实施例中的场景示意图。
图2显示为本发明的视频合成方法于一实施例中的流程图。
图3显示为本发明的视频合成方法于一实施例中的框架示意图。
图4显示为本发明的视频合成系统于一实施例中的结构示意图。
图5显示为本发明的电子设备于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明以下实施例提供了视频合成方法，其可应用于如图1所示的电子设备。本发明中所述电子设备可以包括具备无线充电功能的手机11、平板电脑12、笔记本电脑13、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等，本发明实施例对电子设备的具体类型不作任何限制。
例如，所述电子设备可以是具备无线充电功能的 WLAN 中的站点(STAION，ST)，可以是具备无线充电功能的蜂窝电话、无绳电话、会话启动协议(SessionInitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具备无线充电功能的手持设备、计算设备或其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G 网络中的移动终端、未来演进的公共陆地移动网络(PublicLand Mobile Network，PLMN)中的移动终端或者未来演进的非地面网络（Non-terrestrial Network，NTN）中的移动终端等。
例如，所述电子设备可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobilecommunication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)、BT，GNSS，WLAN，NFC，FM，和/或 IR 技术等。所述 GNSS可以包括全球卫星定位系统 (Global Positioning System，GPS)，全球导航卫星系统(Global Navigation Satellite System，GLONASS)，北斗卫星导航系统(BeiDounavigation Satellite System，BDS)，准天顶卫星系统(Quasi-Zenith SatelliteSystem，QZSS)和/或星基增强系统(Satellite Based Augmentation Systems，SBAS)。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
如图2所示，于一实施例中，本发明的视频合成方法包括步骤S1-步骤S7。
步骤S1、抽取第一对象的内容图片的压缩特征。
具体地，设定第一对象，如人物A的图像为内容图像，基于变分自编码器（Variational AutoEncoder，VAE）的编码器抽取第一对象的内容图片的压缩特征compressembeddins。
步骤S2、获取所述内容图片的语义特征。
具体地，基于CLIP模型的图片编码器获取所述内容图片的语义特征semanticembeddings。
步骤S3、将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征。
具体地，所述压缩特征和所述语义特征输入内容神经网络content network，即可获取对应的压缩内容特征content reference embeddings。
步骤S4、获取动作视频中第二对象的骨骼动作序列。
具体地，设定第二对象，如人物B的视频为动作视频，将所述动作视频固定处理为24帧。将所述动作视频输入DWPose模型，获取所述第二对象在所述动作视频的各帧图像上的骨骼动作pose skeleton；将各帧的骨骼动作生成图像，以获取骨骼动作序列poseskeleton sequence。
步骤S5、基于所述骨骼动作序列和噪声序列生成风格特征序列。
具体地，首先获取高斯噪声序列noise sequence。然后，将所述骨骼动作序列poseskeleton sequence输入四层二维卷积模块组成的动作神经网络后与所述高斯噪声序列进行元素相加（element-wise addition），以生成所述风格特征序列style embeddings。其中，所述四层二维卷积模块采用4×4的kernel-size，2×2的stride，分别使用16、32、64、128个输出通道。
步骤S6、将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列。
具体地，于一实施例中，将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列包括以下步骤。
1）将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取噪声信息noise。
2）将所述风格特征序列中的每个风格特征减去所述噪声信息，获取更新风格特征序列；
3）采用所述更新风格特征序列替代所述风格特征序列，重复步骤1）-2）预设次数，获取最终的更新风格特征序列。
其中，将更新风格特征序列、所述压缩内容特征和所述语义特征再次输入所述风格神经网络，获取噪声信息noise，以再基于获取的噪声信息获取更新风格特征序列。如此循环迭代预设次数，得到最终的更新风格特征序列
步骤S7、基于所述更新风格特征序列获取合成视频帧。
具体地，基于变分自编码器的解码器获取所述更新风格特征序列对应的合成视频帧。其中，将所述更新风格特征序列批量输入到变分自编码器的解码器，可以得到24帧合成视频帧，由所述合成视频帧即可得到合成视频。因此，通过本发明即可实现第一对象的图像和第二对象的视频构建的合成视频，从而满足不同场景的应用需求。
下面将具体阐述本发明的内容神经网络和风格神经网络。
于一实施例中，所述内容神经网络和所述风格神经网络的结构相同，均包括主神经网络和附加分支网络。二者在实际使用中，仅仅输入内容不同。
所述主神经网络包括依次相连的三个串联的卷积块结构、单个的块结构block和三个串联的反卷积块结构；所述卷积块结构包括相连的块结构和二维卷积块（block+conv2d），所述反卷积块结构包括相连的二维反卷积块和块结构（transposed conv2d+block）。对于所述内容神经网络，其输入为语义特征semantic embeddings和压缩特征compress embeddins。对于所述风格神经网络，输入为语义特征semantic embeddings、风格特征序列style embeddings和压缩内容特征content reference embeddings。所述主神经网络的输出作为所述内容神经网络和所述风格神经网络的输出。
所述附加分支网络包括依次相连的二个串联的卷积块结构、两个串联的块反卷积结构和多层感知机，所述块反卷积结构包括相连的块结构和二维反卷积块（block+transposed conv2d）。
所述三个串联的卷积块结构的第二个块结构的输出作为所述附加分支网络的输入。所述二个串联的卷积块结构的输出与所述三个串联的卷积块结构的输出进行元素相加后作为所述单个的块结构的输入；所述多层感知机的输出与所述三个串联的反卷积块结构中的第二个二维反卷积块的输出进行元素相加后作为所述三个串联的反卷积块结构中的第二个块结构的输入。
于一实施例中，所述块结构包括注意力模块和跨模态权重模块。所述注意力模块的输出与所述跨模态权重模块的输出的跨模态权重系数进行元素相加，得到所述块结构的输出。
所述注意力模块将所述块结构的输入串联后输入多层感知机，得到注意力机制的Q矩阵、K1矩阵和V1矩阵；所述K1矩阵和所述V1矩阵进行元素相加后输入多层感知机，得到K矩阵和V矩阵；将所述K矩阵和所述Q矩阵进行矩阵相乘后得到注意力得分；所述第一注意力得分与所述V矩阵进行矩阵相乘并输入softmax后，再与所述V矩阵进行元素相乘，得到注意力特征。具体地，设定输入特征为(24,h,w,d)，如果位于风格神经网络中输入特征就是风格特征style embeddings；如果位于内容神经网络中，输入特征就是压缩特征。另一个输入为内容压缩特征content reference embeddings(h,w,d)。首先将content referenceembeddings复制23份，得到形状为(24,h,w,d)的embeddings，然后将其与styleembeddings在w的维度上进行串联concatenation，接着整形（reshape）为(24 * d,h *2w)，然后分别乘上不同的多层感知机，分别得到Q矩阵、K1矩阵和V1矩阵， K1矩阵和V1矩阵进行element-wise addition后，再次分别乘上2个不同的多层感知机，得到K矩阵和V矩阵。K矩阵和V矩阵进行matrix multiplication后得到第一注意力得分attention score1，将其与V矩阵进行matrix multiplication，该输出经过softmax后与V矩阵进行element-wisemultiplication，最后进行reshape恢复成(24,h,2w,d)的形状，这里只在2w的维度上取前w个，也就是(24,h,w,d)的特征，作为注意力特征attention embeddings。
所述跨模态权重模块将所述注意力特征输入多层感知机得到注意力机制的V2矩阵和K2矩阵，所述语义特征输入多层感知机得到注意力机制的Q2矩阵；所述K2矩阵和所述Q2矩阵进行矩阵相乘后得到第二注意力得分；所述V2矩阵和所述第二注意力得分进行矩阵相乘并输入softmax，得到所述跨模态权重系数。具体地，一个输入为attentionembeddings，另一个输入为semantic embeddings。首先将attention embeddings reshape为(h * w,24 * d)，接着分别过2个不同的多层感知机得到V2矩阵和K2矩阵。同时semanticembeddings经过一个多层感知机得到Q2矩阵。将所述K2矩阵和所述Q2进行matrixmultiplication，得到第二注意力得分attention score2，形状为(h * w,h * w)，接着将其与V2矩阵进行matrix multiplication后，再进行softmax，得到注意力权重attentionweight，其形状为(h * w,24 * d)，最后对其进行reshape操作，得到形状为(24,h,w,d)的跨模态权重系数attention embeddings weight。
本发明实施例所述的视频合成方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明实施例还提供一种视频合成系统，所述视频合成系统可以实现本发明所述的视频合成方法，但本发明所述的视频合成系统的实现装置包括但不限于本实施例列举的视频合成系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
如图4所示，于一实施例中，本发明的视频合成系统包括抽取模块41、第一获取模块42、第二获取模块43、第三获取模块44、生成模块45、第四获取模块46和合成模块47。
所述抽取模块41用于抽取第一对象的内容图片的压缩特征。
所述第一获取模块42用于获取所述内容图片的语义特征。
所述第二获取模块43与所述抽取模块41和所述第一获取模块42相连，用于将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征。
所述第三获取模块44用于获取动作视频中第二对象的骨骼动作序列。
所述生成模块45与所述第三获取模块44相连，用于基于所述骨骼动作序列和噪声序列生成风格特征序列。
所述第四获取模块46与所述第一获取模块42、所述第二获取模块43和所述生成模块45相连，用于将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列。
所述合成模块47与所述第四获取模块46相连，用于基于所述更新风格特征序列获取合成视频帧。
其中，抽取模块41、第一获取模块42、第二获取模块43、第三获取模块44、生成模块45、第四获取模块46和合成模块47的结构和原理与上述视频合成方法中的步骤一一对应，故在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本发明实施例的目的。例如，在本发明各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性（non-transitory）介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带（magnetictape），软盘（floppy disk），光盘（optical disc）及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。
本发明实施例还提供了一种电子设备。所述电子设备包括处理器和存储器。
所述存储器用于存储计算机程序。
所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的视频合成方法。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示，本发明的电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元51，存储器52，连接不同系统组件（包括存储器52和处理单元51）的总线53。
总线53表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器52可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）521和/或高速缓存存储器522。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统523可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM ，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线53相连。存储器52可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块5241的程序/实用工具524，可以存储在例如存储器52中，这样的程序模块5241包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5241通常执行本发明所描述的实施例中的功能和/或方法。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备、显示器等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口54进行。并且，电子设备还可以通过网络适配器55与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图5所示，网络适配器55通过总线53与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种视频合成方法，其特征在于，所述方法包括以下步骤：
抽取第一对象的内容图片的压缩特征；
获取所述内容图片的语义特征；
将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征；
获取动作视频中第二对象的骨骼动作序列；
基于所述骨骼动作序列和噪声序列生成风格特征序列；
将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列；
基于所述更新风格特征序列获取合成视频帧；
基于变分自编码器的编码器抽取第一对象的内容图片的压缩特征；基于CLIP模型的图片编码器获取所述内容图片的语义特征；基于变分自编码器的解码器获取所述更新风格特征序列对应的合成视频帧。
2.根据权利要求1所述的视频合成方法，其特征在于：获取动作视频中第二对象的骨骼动作序列包括以下步骤：
将所述动作视频输入DWPose模型，获取所述第二对象在所述动作视频的各帧图像上的骨骼动作；
将各帧的骨骼动作生成图像，以获取骨骼动作序列。
3.根据权利要求1所述的视频合成方法，其特征在于：基于所述骨骼动作序列和噪声序列生成风格特征序列包括以下步骤：
获取高斯噪声序列；
将所述骨骼动作序列输入四层二维卷积模块后与所述高斯噪声序列进行元素相加，以生成所述风格特征序列。
4.根据权利要求1所述的视频合成方法，其特征在于：将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列包括以下步骤：
1)将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取噪声信息；
2)将所述风格特征序列中的每个风格特征减去所述噪声信息，获取更新风格特征序列；
3)采用所述更新风格特征序列替代所述风格特征序列，重复步骤1)-2)预设次数，获取最终的更新风格特征序列。
5.根据权利要求1所述的视频合成方法，其特征在于：所述内容神经网络和所述风格神经网络的结构相同，均包括主神经网络和附加分支网络；
所述主神经网络包括依次相连的三个串联的卷积块结构、单个的块结构和三个串联的反卷积块结构；所述卷积块结构包括相连的块结构和二维卷积块，所述反卷积块结构包括相连的二维反卷积块和块结构；
所述附加分支网络包括依次相连的二个串联的卷积块结构、两个串联的块反卷积结构和多层感知机，所述块反卷积结构包括相连的块结构和二维反卷积块；
所述三个串联的卷积块结构的第二个块结构的输出作为所述附加分支网络的输入，所述二个串联的卷积块结构的输出与所述三个串联的卷积块结构的输出进行元素相加后作为所述单个的块结构的输入；所述多层感知机的输出与所述三个串联的反卷积块结构中的第二个二维反卷积块的输出进行元素相加后作为所述三个串联的反卷积块结构中的第二个块结构的输入。
6.根据权利要求5所述的视频合成方法，其特征在于：所述块结构包括注意力模块和跨模态权重模块；所述注意力模块的输出与所述跨模态权重模块的输出的跨模态权重系数进行元素相加，得到所述块结构的输出；
所述注意力模块将所述块结构的输入串联后输入多层感知机，得到注意力机制的Q矩阵、K1矩阵和V1矩阵；所述K1矩阵和所述V1矩阵进行元素相加后输入多层感知机，得到K矩阵和V矩阵；将所述K矩阵和所述Q矩阵进行矩阵相乘后得到第一注意力得分；所述第一注意力得分与所述V矩阵进行矩阵相乘并输入softmax后，再与所述V矩阵进行元素相乘，得到注意力特征；
所述跨模态权重模块将所述注意力特征输入多层感知机得到注意力机制的V2矩阵和K2矩阵，所述语义特征输入多层感知机得到注意力机制的Q2矩阵；所述K2矩阵和所述Q2矩阵进行矩阵相乘后得到第二注意力得分；所述V2矩阵和所述第二注意力得分进行矩阵相乘并输入softmax，得到所述跨模态权重系数。
7.一种视频合成系统，其特征在于，所述系统包括抽取模块、第一获取模块、第二获取模块、第三获取模块、生成模块、第四获取模块和合成模块；
所述抽取模块用于抽取第一对象的内容图片的压缩特征；
所述第一获取模块用于获取所述内容图片的语义特征；
所述第二获取模块用于将所述压缩特征和所述语义特征输入内容神经网络获取压缩内容特征；
所述第三获取模块用于获取动作视频中第二对象的骨骼动作序列；
所述生成模块用于基于所述骨骼动作序列和噪声序列生成风格特征序列；
所述第四获取模块用于将所述压缩内容特征、所述语义特征和所述风格特征序列输入风格神经网络，获取更新风格特征序列；
所述合成模块用于基于所述更新风格特征序列获取合成视频帧；
基于变分自编码器的编码器抽取第一对象的内容图片的压缩特征；基于CLIP模型的图片编码器获取所述内容图片的语义特征；基于变分自编码器的解码器获取所述更新风格特征序列对应的合成视频帧。
8.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至6中任一项所述的视频合成方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至6中任一项所述的视频合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410704763.8A CN118283201B (zh) | 2024-06-03 | 2024-06-03 | 视频合成方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410704763.8A CN118283201B (zh) | 2024-06-03 | 2024-06-03 | 视频合成方法、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118283201A CN118283201A (zh) | 2024-07-02 |
| CN118283201B true CN118283201B (zh) | 2024-10-15 |
Family
ID=91634407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410704763.8A Active CN118283201B (zh) | 2024-06-03 | 2024-06-03 | 视频合成方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118283201B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539262A (zh) * | 2020-04-02 | 2020-08-14 | 中山大学 | 一种基于单张图片的运动转移方法及系统 |
| CN112884636A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种自动生成风格化视频的风格迁移方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6042813B2 (ja) * | 2010-09-10 | 2016-12-14 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ビデオ圧縮のための動き補償事例ベース超解像を用いてビデオ信号を符号化する方法と装置 |
| CN112823379B (zh) * | 2018-10-10 | 2024-07-26 | Oppo广东移动通信有限公司 | 用于训练机器学习模型的方法和装置、用于视频风格转移的装置 |
| CN113196289B (zh) * | 2020-07-02 | 2023-05-26 | 浙江大学 | 人体动作识别方法、人体动作识别系统及设备 |
| CN112883806B (zh) * | 2021-01-21 | 2024-03-22 | 杭州广电云网络科技有限公司 | 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质 |
| CN115052147B (zh) * | 2022-04-26 | 2023-04-18 | 中国传媒大学 | 基于生成模型的人体视频压缩方法、系统 |
| CN117808934A (zh) * | 2022-09-29 | 2024-04-02 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN115564856A (zh) * | 2022-10-12 | 2023-01-03 | 杭州电子科技大学 | 一种基于示例的无监督人脸图像翻译方法 |
| CN117036553A (zh) * | 2022-10-24 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 运动序列生成方法、装置、电子设备和存储介质 |
| CN116980538A (zh) * | 2023-02-01 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 一种视频生成方法、装置、设备、介质及程序产品 |
-
2024
- 2024-06-03 CN CN202410704763.8A patent/CN118283201B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539262A (zh) * | 2020-04-02 | 2020-08-14 | 中山大学 | 一种基于单张图片的运动转移方法及系统 |
| CN112884636A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种自动生成风格化视频的风格迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118283201A (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113592985A (zh) | 混合变形值的输出方法及装置、存储介质、电子装置 | |
| CN116912353B (zh) | 多任务图像处理方法、系统、存储介质及电子设备 | |
| CN118283201B (zh) | 视频合成方法、系统、存储介质及电子设备 | |
| CN118135571B (zh) | 图像语义分割方法、系统、存储介质及电子设备 | |
| CN112837237A (zh) | 视频修复方法及装置、电子设备和存储介质 | |
| CN116701708B (zh) | 多模态增强的视频分类方法、系统、存储介质及电子设备 | |
| CN113657136B (zh) | 识别方法及装置 | |
| CN118279152B (zh) | 图像超分辨率重建方法、系统、存储介质及电子设备 | |
| CN116630633B (zh) | 语义分割自动标注方法、系统、存储介质及电子设备 | |
| CN117746866B (zh) | 多语种语音转换文本方法、系统、存储介质及电子设备 | |
| CN118338098B (zh) | 多模态视频生成方法、系统、存储介质及电子设备 | |
| CN118314409B (zh) | 多模态图像分类方法、系统、存储介质及电子设备 | |
| CN113850716A (zh) | 模型训练方法、图像处理方法、装置、电子设备及介质 | |
| CN118314445B (zh) | 图像多任务处理方法、系统、存储介质及电子设备 | |
| CN118154883B (zh) | 目标语义分割方法、系统、存储介质及电子设备 | |
| CN118485865A (zh) | 任意关注目标分类方法、系统、介质及电子设备 | |
| CN118628610A (zh) | 图像筛选方法、系统、存储介质及电子设备 | |
| CN118098265A (zh) | 一种视频处理方法、系统、介质及电子设备 | |
| CN112733585A (zh) | 图像识别方法 | |
| CN111553961A (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 | |
| CN111901673A (zh) | 一种视频预测方法、装置、存储介质及终端 | |
| CN118484559A (zh) | 图像描述筛选方法、系统、存储介质及电子设备 | |
| CN113298722A (zh) | 图像修复方法、装置、电子设备及计算机存储介质 | |
| CN118411511A (zh) | 实例分割方法、系统、存储介质及电子设备 | |
| CN117079643A (zh) | 语音识别方法、系统、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |