[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117036553A - 运动序列生成方法、装置、电子设备和存储介质 - Google Patents

运动序列生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117036553A
CN117036553A CN202211305596.7A CN202211305596A CN117036553A CN 117036553 A CN117036553 A CN 117036553A CN 202211305596 A CN202211305596 A CN 202211305596A CN 117036553 A CN117036553 A CN 117036553A
Authority
CN
China
Prior art keywords
motion
motion sequence
style
training
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211305596.7A
Other languages
English (en)
Inventor
钟磊
翁俊武
张勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211305596.7A priority Critical patent/CN117036553A/zh
Publication of CN117036553A publication Critical patent/CN117036553A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开一种运动序列生成方法、装置、电子设备和存储介质；包括：获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征；获取目标视频，并对目标视频内的目标运动对象进行关键点提取，得到目标运动序列；对目标运动序列进行第二特征提取处理，得到目标风格特征；基于目标风格特征对内容特征进行风格迁移处理，得到重组运动序列，其中，重组运动序列对应的运动内容与源运动序列一致，重组运动序列对应的运动风格与目标运动序列一致。本申请实施例可以从视频中提取运动风格，并将提取到的运动风格赋予源运动对象的运动内容，无需依赖风格标签便能实现多种多样的运动风格的赋予，因此泛化性较强、适用范围较广。

Description

运动序列生成方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机领域，具体涉及一种运动序列生成方法、装置、电子设备和存储介质。
背景技术
在创建虚拟角色的过程中，为了更鲜明地体现虚拟角色的个性，对于不同的虚拟角色，往往会依据该虚拟角色的人物特点，设计相应的运动风格；例如：性格活泼的虚拟角色与性格沉稳的虚拟角色相比，走路的风格便是不同的。因此，对于同样的运动内容，往往需要设计多种运动风格，以满足多个虚拟角色的各自使用。
现有技术中，在为某一运动内容赋予运动风格时，往往通过表征运动风格的风格标签作为约束条件来实现。然而，风格标签的数量较为有限，依赖风格标签进行运动风格的赋予，往往只能实现有限数量的运动风格的赋予，泛化性较差、适用范围较小。
发明内容
本申请实施例提供一种运动序列生成方法、装置、电子设备和存储介质，可以改善现有技术中对运动内容赋予运动风格的过程泛化性较差、适用范围较小的问题。
本申请实施例提供一种运动序列生成方法，该方法包括：获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；
获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；
对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；
基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
本申请实施例还提供一种运动序列生成装置，所述装置包括：
第一特征提取单元，用于获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；
目标序列获取单元，用于获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；
第二特征提取单元，用于对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；
风格迁移单元，用于基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
在一些实施例中，所述源运动序列为三维运动序列；所述源运动序列中的运动动作通过所述源运动对象的骨骼的运动状态表现；相应的，第一特征提取单元，包括：
第一旋转角子单元，用于获取所述源运动对象的骨骼相对于第一预设节点的第一旋转角；
第一坐标值子单元，用于获取所述源运动对象的关节点相对于所述第一预设节点的第一坐标值，其中，所述关节点位于所述源运动对象的相邻两个骨骼的连接位置；
内容特征子单元，用于对所述第一旋转角和所述第一坐标值进行下采样处理，得到内容特征。
在一些实施例中，所述目标运动序列为二维运动序列；所述目标运动序列中的运动动作通过所述目标运动对象的骨骼的运动状态表现；相应的，第二特征提取单元，包括：
第二坐标值子单元，用于获取所述目标运动对象的关节点相对于第二预设节点的第二坐标值，其中，所述关节点位于所述目标运动对象的相邻两个骨骼的连接位置；
下采样结果子单元，用于对所述第二坐标值进行下采样处理，得到下采样结果；
目标风格特征子单元，用于对所述下采样结果依次进行池化处理和全连接处理，得到所述目标风格特征。
在一些实施例中，风格迁移单元，包括：
概括特征子单元，用于对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征；
重组运动序列子单元，用于基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
在一些实施例中，第一特征提取单元，具体用于利用所述内容编码器对所述源运动序列进行第一特征提取处理，得到内容特征；
第二特征提取单元，具体用于利用所述二维风格编码器对所述目标运动序列进行第二特征提取处理，得到目标风格特征；
概括特征子单元，具体用于利用所述多层感知机对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征；
重组运动序列子单元，具体用于利用所述解码器基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
在一些实施例中，所述装置还包括：
网络训练单元，用于利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络。
在一些实施例中，所述网络训练单元，包括：
训练内容特征子单元，用于利用所述运动序列生成网络的内容编码器对所述训练源三维运动序列进行特征提取处理，得到训练内容特征；
训练概括特征子单元，用于利用所述运动序列生成网络的风格编码器以及多层感知机对所述训练源三维运动序列进行特征提取处理，得到训练概括特征；
训练重组三维运动子单元，用于利用所述运动序列生成网络的解码器基于所述训练概括特征对所述训练内容特征进行上采样处理，得到训练重组三维运动序列；
参考概括特征子单元，用于利用所述运动序列生成网络的三维风格编码器以及多层感知机对所述参考运动序列进行特征提取处理，得到参考概括特征；
迁移风格运动序列子单元，用于利用所述运动序列生成网络的解码器基于所述参考概括特征对所述训练内容特征进行上采样处理，得到迁移风格运动序列；
损失值子单元，用于基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，其中，所述训练二维运动序列经所述训练源三维运动序列投影获得；
训练后序列子单元，用于当所述损失值满足预设要求时，判定所述运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
在一些实施例中，所述运动序列生成网络的风格编码器包括三维风格编码器和二维风格编码器；
训练概括特征子单元，包括：
训练三维风格特征次子单元，用于利用所述三维风格编码器对所述训练源三维运动序列进行特征提取处理，得到训练三维风格特征；
训练二维运动序列次子单元，用于对所述训练源三维运动序列进行投影处理，得到训练二维运动序列；
训练二维风格特征次子单元，用于利用所述二维风格编码器对所述训练二维运动序列进行特征提取处理，得到训练二维风格特征；
训练概括特征次子单元，用于利用所述运动序列生成网络的多层感知机对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理，得到训练概括特征。
在一些实施例中，参考概括特征子单元，包括：
参考三维风格特征次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行特征提取处理，得到参考三维风格特征；
参考概括特征次子单元，用于利用所述多层感知机对所述参考三维风格特征进行特征提取处理，得到所述参考概括特征。
在一些实施例中，所述损失值包括第一损失值、第二损失值、第三损失值以及第四损失值；相应的，损失值子单元，包括：
第一损失值子单元，用于基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算第一损失值；
第二损失值子单元，用于基于所述参考运动序列以及所述迁移风格运动序列，计算第二损失值；
第三损失值子单元，用于基于所述训练源三维运动序列以及所述训练二维运动序列，计算第三损失值；
第四损失值子单元，用于基于多个训练二维运动序列，计算第四损失值，其中，所述多个训练二维运动序列中两两之间对应的投影方式互不相同。
在一些实施例中，第一损失值子单元，具体用于计算所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离，所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离为所述第一损失值。
在一些实施例中，第二损失值子单元，包括：
第一上采样结果次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行上采样处理，得到第一上采样结果；
第二上采样结果次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述迁移风格运动序列进行上采样处理，得到第二上采样结果；
第二损失值次子单元，用于计算所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离，所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离为所述第二损失值。
本申请实施例提供的运动序列生成方法中，可以获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征。获取目标视频，并对目标视频进行关键点提取，得到目标运动序列，对目标运动序列进一步进行第二特征提取处理，得到目标风格特征。然后基于目标风格特征对内容特征进行风格迁移处理，得到重组运动序列。重组运动序列对应的运动内容与源运动序列对应的运动内容一致，且重组运动序列对应的运动风格与目标运动序列对应的运动风格一致。
在本申请中，可以获取目标视频，并对目标视频进行多次处理，得到反映目标视频中的目标运动对象的运动风格的目标风格特征；然后再基于该目标风格特征，对基于源运动序列得到的内容特征进行风格迁移处理，从而得到具有目标运动对象的运动风格，且内容是源运动对象的运动内容的重组运动序列。本申请实施例可以从视频中提取运动风格，并将提取到的运动风格赋予源运动对象的运动内容，与现有技术相比，无需依赖风格标签便能实现多种多样的运动风格的赋予，因此泛化性较强、适用范围较广。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的运动序列生成方法的场景示意图；
图1b是本申请一实施例提供的运动序列生成方法的流程示意图；
图1c示出了运动对象在三维空间移动而形成的三维运动序列；
图1d示出了运动对象在二维空间移动而形成的二维运动序列；
图1e示出了利用训练后运动序列生成网络获取重组运动序列的示意性结构框图；
图1f示出了对运动序列生成网络进行训练的示意性结构框图；
图2是本申请另一实施例提供的运动序列生成方法的流程示意图；
图3是本申请一实施例提供的运动序列生成装置的一种结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种运动序列生成方法、装置、电子设备和存储介质。
其中，该运动序列生成装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备。服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该运动序列生成装置还可以集成在多个电子设备中，比如，运动序列生成装置可以集成在多个服务器中，由多个服务器来实现本申请的运动序列生成方法。
在一些实施例中，服务器也可以以终端的形式来实现。
例如，参考图1a，上述的电子设备可以执行如下方法：获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
上述方法可以从目标视频中提取运动风格，并将提取到的运动风格迁移到源运动序列，从而得到兼具目标视频的运动风格、源运动序列的运动内容的重组运动序列。与传统技术相比，在有足够数量的目标视频的情况下，上述方法无需依赖风格标签便能实现多种多样的运动风格的赋予，泛化性较强、适用范围较广。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中，提供了一种运动序列生成方法，如图1b所示，该运动序列生成方法应用在终端，该方法的具体流程可以包括如下步骤110至步骤140：
110、获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征。
其中，运动序列为运动对象在按照时间顺序排列的多个时刻的运动动作组成的序列。运动序列包括如下的一种或多种：运动对象在奔跑状态的多个时刻的运动动作组成的序列，运动对象在跳跃状态的多个时刻的运动动作组成的序列，运动对象在游泳状态的多个时刻的运动动作组成的序列，运动对象在跳舞状态的多个时刻的运动动作组成的序列。
源运动序列为源运动对象的运动序列，即源运动序列包括源运动对象在多个时刻的运动动作，其中，多个时刻为按照时间顺序排列的多个时刻。可选地，源运动序列可以是源运动对象在三维空间执行的多个时刻的运动动作，详情请参见图1c；源运动对象的运动动作可以通过源运动对象在三维空间内的骨骼(即图1c示出的矩形图，例如图1c示出的b11和b12)、以及相邻两个骨骼之间的关节点(即图1c示出的圆形图或椭圆形图，例如图1c示出的位于b11与b12之间的j11)的运动状态进行体现。源运动序列还可以是源运动对象在二维空间执行的多个时刻的运动动作，详情请参见图1d；相应的，源运动对象的运动动作可以通过源运动对象在二维空间内的骨骼(即图1d示出的直线线段或曲线线段，例如图1d示出的b21和b22)、以及相邻两个骨骼之间的关节点(即图1d示出的圆形，例如图1d示出的位于b21与b22之间的j21)的运动状态进行体现。
源运动对象为待进行运动风格调整的虚拟角色，该虚拟角色可以是虚拟人物，也可以是虚拟动物。图1c与图1d示出的源运动对象仅为示例性描述，源运动对象的具体形态不应该理解为是对本申请的限制。
内容特征为表示所述源运动对象的运动内容的特征，该特征可以以向量的方式进行表示，也可以以矩阵的方式进行表示，该特征的具体表现形式不应该理解为是对本申请的限制。运动内容为源运动对象实施的运动，例如，运动内容可以是奔跑、跳跃、游泳、跳舞等。
可选地，在一种具体实施方式中，不妨设源运动序列是源运动对象在三维空间执行的多个时刻的运动动作，即源运动序列为三维运动序列。相应的，“对源运动序列进行第一特征提取处理”可以包括如下步骤111至步骤113：
111、获取所述源运动对象的骨骼相对于第一预设节点的第一旋转角。
第一预设节点为预先设置的用于作为三维空间内的参照物的点，第一预设节点可以为源运动对象的某一关节点，例如，可以选图1c示出的关节点j10作为第一预设节点；第一预设节点也可以为源运动对象某一骨骼与某一关节点的交点。应当理解，第一预设节点的选取不应该理解为是对本申请的限制。
在选出第一预设节点之后，可以以第一预设节点为参考坐标原点，建立三维参考坐标系，并获取到源运动对象在源运动序列中示出的全部骨骼中的每个骨骼相对于上述三维参考坐标系的第一旋转角，共得到多个第一旋转角。
112、获取所述源运动对象的关节点相对于所述第一预设节点的第一坐标值，其中，所述关节点位于所述源运动对象的相邻两个骨骼的连接位置。
在以第一预设节点为参考坐标原点，建立三维参考坐标系之后，还可以获取源运动对象的全部关节点中的每个关节点相对于第一预设节点的第一坐标值，共得到多个第一坐标值。
113、对所述第一旋转角和所述第一坐标值进行下采样处理，得到内容特征。
可选地，可以采用串联的三个图卷积网络(Graph Convolutional Network，简称GCN)模块对上述获得的多个第一旋转角和多个第一坐标值进行下采样处理，GCN模块具体可以为ST-GCN模块。也可以通过卷积层进行下采样处理，下采样处理的具体执行主体不应该理解为是对本申请的限制。
可选地，在对第一旋转角和第一坐标值进行下采样处理后，可以得到相应的下采样结果；然后再对该下采样结果依次进行池化处理、全连接处理，便可以得到内容特征。
在上述的实施方式中，对于作为三维运动序列的源运动序列，可以获取源运动序列中全部骨骼相对于第一预设节点的第一旋转角，以及获取源运动序列中全部关节点相对于第一预设节点的第一坐标值，然后再对上述的多个第一旋转角以及多个第一坐标值进行下采样处理，得到表征源运动序列的运动内容的内容特征。在对三维运动序列进行下采样处理时，依据第一旋转角以及第一坐标值实现，能够提高内容特征表示源运动序列的运动内容的准确度。
120、获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列。
目标视频为包含有目标运动对象的运动内容的视频。
目标运动对象为待被提取运动风格的对象。目标运动对象的具体形态可以与源运动对象的具体形态相同，例如，若源运动对象为虚拟人物，则目标运动对象可以是虚拟人物或真实人物；若源运动对象为虚拟小狗，则目标运动对象也可以是虚拟小狗或真实小狗。目标运动对象的具体形态还可以与源运动对象的具体形态不同，例如，若源运动对象为虚拟人物，则目标运动对象可以是虚拟动物，如小狗。目标运动对象的具体形态与源运动对象的具体形态是否相同不应该理解为是对本申请的限制。
在对目标运动对象进行关键点提取时，可以提取目标运动对象的轮廓，并基于该轮廓识别目标运动对象的物种类型。在得到目标运动对象的物种类型后，可以根据该物种类型的生理结构，标注该目标运动对象的关节点；然后进一步依据物种类型的生理结构，标注目标运动对象的骨骼，从而可以得到由目标运动对象的骨骼和关节点反映运动状态的目标运动序列。例如，不妨设目标运动对象的物种类型为猫，则可以依据猫的生理结构以及目标运动对象的轮廓，标注目标运动对象的关节点；然后，再依据节点以及猫的生理结构，标注目标运动对象的骨骼。
然后对于目标视频的每一帧图像，均执行上述步骤，便可以得到每一帧图像中目标运动对象的骨骼及关节点的运动状态，再将多帧图像按照时间顺序进行排列，便可以得到目标运动序列。
为便于描述，不妨以目标运动对象是虚拟人物或真实人物，源运动对象是虚拟人物为例，进行说明。则对目标运动对象进行关键点提取，具体可以通过如下步骤实现：将目标视频分割为多个帧，对于每一帧均利用OpenPose工具标注人体的关节，并将关节连接成骨骼，从而可以得到目标运动序列。
目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列。可选地，目标运动序列可以是目标运动对象在三维空间执行的多个时刻的运动动作，还可以是目标运动对象在二维空间执行的多个时刻的运动动作。
130、对所述目标运动序列进行第二特征提取处理，得到目标风格特征。
其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征。运动风格通常用于反映目标运动对象的某项特征。例如，运动风格可以反映目标运动对象的年龄特征：对于“行走”这一运动内容，年轻人与老年人分别有各自对应的运动风格；运动风格还可以反映目标运动对象的性格特征：同样是年轻人行走，开朗的年轻人与谨慎的年轻人也分别有各自对应的运动风格。
可选地，在一种具体实施方式中，不妨设目标运动序列为二维运动序列；所述目标运动序列中的运动动作通过所述目标运动对象的骨骼的运动状态表现。相应的，步骤130可以包括如下步骤131至步骤133：
131、获取所述目标运动对象的关节点相对于第二预设节点的第二坐标值，其中，所述关节点位于所述目标运动对象的相邻两个骨骼的连接位置。
第二预设节点为预先设置的用于作为二维空间内的参照物的点，第二预设节点可以为目标运动对象的某一关节点，例如，可以选图1d示出的关节点j20作为第二预设节点；第二预设节点也可以为目标运动对象某一骨骼与某一关节点的交点。应当理解，第二预设节点的选取不应该理解为是对本申请的限制。
在选出第二预设节点之后，可以以第二预设节点为参考坐标原点，建立二维参考坐标系，并得到目标运动对象的全部关节点中的每个关节点相对于第二预设节点的第二坐标值。
132、对所述第二坐标值进行下采样处理，得到下采样结果。
可选地，可以采用串联的三个GCN模块对第二坐标值进行下采样处理，GCN模块具体可以为ST-GCN模块。也可以通过卷积层进行下采样处理，下采样处理的具体执行主体不应该理解为是对本申请的限制。
133、对所述下采样结果依次进行池化处理和全连接处理，得到所述目标风格特征。
在得到下采样结果后，再对下采样结果依次进行池化处理和全连接处理，便可以得到目标风格特征。
在上述的实施方式中，对于作为二维运动序列的目标运动序列，可以获取目标运动序列中全部关节点相对于第二预设节点的第二坐标值，然后再对上述的多个第二坐标值依次进行下采样处理、池化处理以及全连接处理，便可以得到表征目标运动序列的运动风格的目标风格特征。在对二维运动序列进行下采样处理时，可以依据第二坐标值实现，能够提高目标风格特征的获取效率。
140、基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列。
其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
风格迁移处理为：将目标风格特征表征的运动风格转移到内容特征表征的运动内容的处理过程。可选地，在一种具体实施方式中，风格迁移处理可以包括如下步骤141至步骤142：
141、对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征。
概括特征为能够反映目标运动对象的运动风格，且维度比目标风格特征更高维的特征。预设数量为预设设定的数量值，例如，可以为三次，也可以为五次，预设数量的具体数量值不应该理解为是对本申请的限制。
可选地，可以通过如下公式：
γs,βs＝g(s)计算概括特征γs,βs，其中，s为目标风格特征，g(s)表示对目标风格特征s进行的预设数量次全连接处理。
142、基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
可选地，可以采用串联的三个GCN模块对内容特征进行上采样处理。每个GCN模块均可以包括有滤波器，滤波器的权重矩阵受上述概括特征的影响。GCN模块具体可以为ST-GCN模块。
在一种具体实施方式中，滤波器的权重矩阵受上述概括特征的影响的具体形式可以通过如下公式体现：
其中，W为滤波器经概括特征调制前的权重矩阵，u为W的均值，σ为W的方差，γs,βs为滤波器的权重参数，滤波器的权重参数即为上述的概括特征，为滤波器经概括特征调制后的权重矩阵。
在上述的实施方式中，通过引入能够反映目标运动对象的运动风格的概括特征对内容特征进行上采样处理，使得得到的重组运动序列获得到了目标运动对象的运动风格。上述实现运动风格迁移的方法未使用风格标签，因此，较好地提高了运动风格迁移方法的适用范围。
可选地，在一种具体实施方式中，运动序列生成方法应用于训练后运动序列生成网络，详情请参见图1e，所述训练后运动序列生成网络包括内容编码器e10、二维风格编码器e20、多层感知机(Multi-Layer Perception，简称MLP)e30以及解码器e40。
相应的，步骤110中的对源运动序列进行第一特征提取处理，得到内容特征可以由内容编码器e10执行；步骤130中的对所述目标运动序列进行第二特征提取处理，得到目标风格特征可以由二维风格编码器e20执行；步骤141中的对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征可以由多层感知机e30执行；步骤142中的基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列可以由解码器e40执行。
可选地，在一种具体实施方式中，在步骤110之前，本申请实施例还可以包括如下步骤：利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络。
在利用训练后运动序列生成网络得到重组运动序列之前，还可以先执行运动序列生成网络的训练过程。可选地，在一种具体实施方式中，步骤“利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络”，包括如下步骤A1至步骤A7，详情请参见图1f：
A1、利用所述运动序列生成网络的内容编码器f10对所述训练源三维运动序列进行特征提取处理，得到训练内容特征。
训练源三维运动序列为用作训练用途的源三维运动序列，该训练源三维运动序列为训练运动对象在三维空间执行的多个时刻的运动动作组成的序列。训练运动对象的具体形态可以与源运动对象的具体形态保持一致，例如，运动对象都可以为人物。训练内容特征为表示训练运动对象的运动内容的特征。
内容编码器f10可以为顺次串联的进行下采样处理的三个GCN模块、平均池化层以及全连接层。内容编码器f10对所述训练源三维运动序列进行的特征提取处理与上文示出的第一特征提取处理相同，在此便不做赘述。
A2、利用所述运动序列生成网络的风格编码器f20以及多层感知机f30对所述训练源三维运动序列进行特征提取处理，得到训练概括特征。
训练概括特征为能够反映训练运动对象的运动风格的特征。
可选地，在一种具体实施方式中，所述运动序列生成网络的风格编码器f20包括三维风格编码器f21和二维风格编码器f22。相应的，步骤A2包括如下步骤A21至步骤A24：
A21、利用所述三维风格编码器f21对所述训练源三维运动序列进行特征提取处理，得到训练三维风格特征。
三维风格编码器f21可以与图1e示出的二维风格编码器e20的结构相同，具体可以为顺次串联的进行下采样处理的三个GCN模块、平均池化层以及全连接层。三维风格编码器f21对训练源三维运动序列进行特征提取处理的过程与上述的第二特征提取处理过程相比，除前者输入的坐标值是三维空间内的坐标值、后者输入的第二坐标值是二维空间内的坐标值以外，其他步骤均对应相同，在此便不做赘述。
训练三维风格特征为反映训练源三维运动序列的运动风格的特征。
A22、对所述训练源三维运动序列进行投影处理，得到训练二维运动序列。
上述的投影处理可以是透视投影，也可以是其他的投影方式，例如正交投影，对训练源三维运动序列进行投影处理的具体投影方式不应该理解为是对本申请的限制。
训练源二维运动序列为训练运动对象在二维空间执行的多个时刻的运动动作组成的序列。
A23、利用所述二维风格编码器f22对所述训练二维运动序列进行特征提取处理，得到训练二维风格特征。
二维风格编码器f22可以与图1e示出的二维风格编码器e20的结构相同，具体可以为顺次串联的进行下采样处理的三个GCN模块、平均池化层以及全连接层。二维风格编码器f22对所述训练二维运动序列进行特征提取处理的过程与上文描述的第二特征提取处理过程对应相同，在此便不做赘述。应当理解，内容编码器f10、三维风格编码器f21、以及二维风格编码器f22的具体结构可以相同，但内容编码器f10、三维风格编码器f21、以及二维风格编码器f22这三个编码器的参数可以相同，也可以不同。
训练二维风格特征为反映训练二维运动序列的运动风格的特征。
A24、利用所述运动序列生成网络的多层感知机f30对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理，得到训练概括特征。
训练概括特征为能够反映训练运动对象的运动风格，且维度比训练二维风格特征以及训练三维风格特征更高维的特征。
多层感知机f30对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理的过程与上文描述的步骤141的处理过程相同，在此便不做赘述。
A3、利用所述运动序列生成网络的解码器f40基于所述训练概括特征对所述训练内容特征进行上采样处理，得到训练重组三维运动序列。
解码器f40基于所述训练概括特征对所述训练内容特征进行上采样处理的具体过程与上文描述的步骤142的处理过程对应相同，在此便不做赘述。
在上述的实施方式中，训练重组三维运动序列的运动风格来自于训练概括特征；训练概括特征来自于对训练二维风格特征、以及训练三维风格特征进行的特征提取处理；训练二维风格特征、以及训练三维风格特征又来自于训练源三维运动序列。因此，在一种实施方式中，可以通过比较训练源三维运动序列与训练重组三维运动序列的差异来评估运动序列生成网络的训练完成程度。
A4、利用所述运动序列生成网络的三维风格编码器f21以及多层感知机f30对所述参考运动序列进行特征提取处理，得到参考概括特征。
参考运动序列为参考运动对象在三维空间执行的多个时刻的运动动作组成的序列。参考运动序列用于评估风格迁移处理过程的训练完成程度。参考运动对象的具体形态可以与训练运动对象的具体形态保持一致，例如，运动对象都可以为人物。
参考概括特征为能够反映参考运动对象的运动风格的特征。
可选地，在一种具体实施方式中，步骤A4包括如下步骤A41至步骤A42：
A41、利用所述运动序列生成网络的三维风格编码器f21对所述参考运动序列进行特征提取处理，得到参考三维风格特征。
三维风格编码器f21对所述参考运动序列进行特征提取处理的过程可以与步骤A21中三维风格编码器f21对训练源三维运动序列进行特征提取处理的过程对应相同，在此便不做赘述。
参考三维风格特征为反映参考运动序列的运动风格的特征。
A42、利用所述多层感知机f30对所述参考三维风格特征进行特征提取处理，得到所述参考概括特征。
参考三维风格特征为能够反映参考运动对象的运动风格，且维度比参考三维风格特征更高维的特征。
多层感知机f30对所述参考三维风格特征进行特征提取处理的过程与上文描述的步骤141的处理过程相同，在此便不做赘述。
A5、利用所述运动序列生成网络的解码器f40基于所述参考概括特征对所述训练内容特征进行上采样处理，得到迁移风格运动序列。
解码器f40基于所述参考概括特征对所述训练内容特征进行上采样处理的具体过程与上文描述的步骤142的处理过程对应相同，在此便不做赘述。可选地，解码器f40的结构可以为顺次串联的、用于进行上采样处理的三个GCN模块。
在上述的实施方式中，若运动序列生成网络的训练完成程度较高，则迁移风格运动序列的运动风格应与参考运动序列的运动风格一致；因此，在一种实施方式中，可以通过比较参考运动序列与迁移风格运动序列的差异来评估运动序列生成网络的训练完成程度。
应当理解，图1f中示出的部分执行主体与图1e示出的部分执行主体名称相同，然而由于图1f中示出的是尚未训练完成的运动序列生成网络中的执行主体，与图1e示出的训练后运动序列生成网络中的执行主体可能存在着内部参数的差异。因此，在本实施例中，图1f中示出的执行主体的附图标记区别于图1e示出的执行主体。
A6、基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，其中，所述训练二维运动序列经所述训练源三维运动序列投影获得。
可选地，在一种具体实施方式中，损失值包括第一损失值、第二损失值、第三损失值以及第四损失值。相应的，步骤A6可以包括如下步骤A61至步骤A64：
A61、基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算第一损失值。
可选地，在一种具体实施方式中，步骤A61具体可以包括如下步骤：计算所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离，所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离为所述第一损失值。
不妨设第一损失值记为运动重组一致性损失值，则该第一损失值可以通过如下公式进行计算：
其中，Lrec为运动重组一致性损失值，Msrc为训练源三维运动序列，为训练重组三维运动序列。
A62、基于所述参考运动序列以及所述迁移风格运动序列，计算第二损失值。
可选地，在一种具体实施方式中，步骤A62包括如下步骤A621至步骤A623：
A621、利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行上采样处理，得到第一上采样结果。
可以根据公式：sref＝Es(Mref)计算第一上采样结果sref，其中，Mref为参考运动序列，Es(Mref)为三维风格编码器对Mref进行上采样处理。
A622、利用所述运动序列生成网络的三维风格编码器对所述迁移风格运动序列进行上采样处理，得到第二上采样结果。
可以根据公式：计算第二上采样结果/>其中，Mrem为迁移风格运动序列，其计算过程参见上述步骤A4至A5，在此便不做赘述；Es(Mrem)为三维风格编码器对Mrem进行上采样处理。
A623、计算所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离，所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离为所述第二损失值。
不妨设第二损失值记为风格重建一致性损失值，则该第二损失值可以通过如下公式进行计算：
其中，Lsty为风格重建一致性损失值。
A63、基于所述训练源三维运动序列以及所述训练二维运动序列，计算第三损失值。
不妨设第三损失值记为二维-三维风格对比损失值，则该损失值可以通过如下公式进行计算：
其中，Lcross为二维-三维风格对比损失值，hi为训练源三维运动序列的第i个训练三维风格特征，zi为训练二维运动序列的第i个训练二维风格特征，τ为温度系数，sim(hi,zi)表示计算括号内的hi与zi的余弦相似度，2N为样本数。
A64、基于多个训练二维运动序列，计算第四损失值，其中，所述多个训练二维运动序列中两两之间对应的投影方式互不相同。
可选地，在生成多个训练二维运动序列的过程中，除了通过不同的投影方式进行生成以外，也可以通过将训练运动对象的一个或多个骨骼的坐标值置为0的方式模拟真实场景中运动对象被遮挡物遮挡的场景，还可以通过将训练运动对象的一个或多个骨骼的坐标移动到邻域范围的方式模拟真实场景中关节或骨骼检测不准确的场景。
不妨设第四损失值记为二维风格间对比损失值，则该损失值可以通过如下公式进行计算：
其中，Lintra为二维风格间对比损失值，τ为温度系数，zi是通过第i种方式得到的训练二维运动序列所对应的训练二维风格特征；zj是通过第j种方式得到的训练二维运动序列所对应的训练二维风格特征；zk是通过第k种方式得到的训练二维运动序列所对应的训练二维风格特征；2N为样本数。
A7、若所述损失值满足预设要求，则判定所述运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
预设要求为预先设置的要求。
可选地，在一种实施方式中，损失值满足预设要求可以为：对于多次训练过程获取多个第一损失值、第二损失值、第三损失值以及第四损失值，进而获取每一次得到的第一损失值、第二损失值、第三损失值以及第四损失值的加和，共得到多个加和。若多个加和收敛，则判定运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
可选地，在另一种实施方式中，损失值满足预设要求可以为：计算第一损失值、第二损失值、第三损失值以及第四损失值的多个加和，当加和为最小值时，则判定运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
本申请实施例提供的运动序列生成方法中，可以获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征。获取目标视频，并对目标视频进行关键点提取，得到目标运动序列，对目标运动序列进一步进行第二特征提取处理，得到目标风格特征。然后基于目标风格特征对内容特征进行风格迁移处理，得到重组运动序列。重组运动序列对应的运动内容与源运动序列对应的运动内容一致，且重组运动序列对应的运动风格与目标运动序列对应的运动风格一致。在本申请中，可以获取目标视频，并对目标视频进行多次处理，得到反映目标视频中的目标运动对象的运动风格的目标风格特征；然后再基于该目标风格特征，对基于源运动序列得到的内容特征进行风格迁移处理，从而得到具有目标运动对象的运动风格，且内容是源运动对象的运动内容的重组运动序列。本申请实施例可以从视频中提取运动风格，并将提取到的运动风格赋予源运动对象的运动内容，无需依赖风格标签便能实现多种多样的运动风格的赋予。
本申请实施例可以提高风格迁移处理过程的泛化性和适用范围。
根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例中，将以源运动序列是如图1c示出的三维运动序列，目标运动序列是图1d示出的二维运动序列，源运动对象是人物对象为例，对本申请实施例的方法进行详细说明。
如图2所示，一种运动序列生成方法具体流程如下：
201、利用内容编码器对所述训练源三维运动序列进行特征提取处理，得到训练内容特征。
202、利用所述运动序列生成网络的风格编码器以及多层感知机对所述训练源三维运动序列进行特征提取处理，得到训练概括特征。
可选地，在一种具体实施方式中，运动序列生成网络的风格编码器包括三维风格编码器和二维风格编码器；相应的，步骤202包括如下步骤2021至步骤2024：
2021、利用所述三维风格编码器对所述训练源三维运动序列进行特征提取处理，得到训练三维风格特征。
2022、对所述训练源三维运动序列进行投影处理，得到训练二维运动序列。
2023、利用所述二维风格编码器对所述训练二维运动序列进行特征提取处理，得到训练二维风格特征。
2024、利用所述运动序列生成网络的多层感知机对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理，得到训练概括特征。
203、利用所述运动序列生成网络的解码器基于所述训练概括特征对所述训练内容特征进行上采样处理，得到训练重组三维运动序列。
204、利用所述运动序列生成网络的三维风格编码器以及多层感知机对所述参考运动序列进行特征提取处理，得到参考概括特征。
可选地，在一种具体实施方式中，步骤204包括如下步骤2041至步骤2042：
2041、利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行特征提取处理，得到参考三维风格特征。
2042、利用所述多层感知机对所述参考三维风格特征进行特征提取处理，得到所述参考概括特征。
205、利用所述运动序列生成网络的解码器基于所述参考概括特征对所述训练内容特征进行上采样处理，得到迁移风格运动序列。
206、基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，其中，所述训练二维运动序列经所述训练源三维运动序列投影获得。
可选地，在一种具体实施方式中，损失值包括第一损失值、第二损失值、第三损失值以及第四损失值。相应的，步骤206包括如下步骤2061至步骤2064：
2061、基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算所述第一损失值。
2062、基于所述参考运动序列以及所述迁移风格运动序列，计算所述第二损失值。
2063、基于所述训练源三维运动序列以及训练二维运动序列，计算所述第三损失值。
2064、基于多个训练二维运动序列，计算所述第四损失值，其中，所述多个训练二维运动序列中两两之间对应的投影方式互不相同。
207、若所述损失值满足预设要求，则判定所述运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
208、获取源运动序列，并利用所述内容编码器对源运动序列进行第一特征提取处理，得到内容特征。
其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征。
可选地，在一种具体实施方式中，步骤208具体包括如下步骤：获取所述源运动对象的骨骼相对于第一预设节点的第一旋转角；获取所述源运动对象的关节点相对于所述第一预设节点的第一坐标值，其中，所述关节点位于所述源运动对象的相邻两个骨骼的连接位置；对所述第一旋转角和所述第一坐标值进行下采样处理，得到内容特征。
209、获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列。
其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列。
210、利用所述二维风格编码器对所述目标运动序列进行第二特征提取处理，得到目标风格特征。
其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征。
可选地，在一种具体实施方式中，步骤210具体包括如下步骤：获取所述目标运动对象的关节点相对于第二预设节点的第二坐标值，其中，所述关节点位于所述目标运动对象的相邻两个骨骼的连接位置；对所述第二坐标值进行下采样处理，得到下采样结果；对所述下采样结果依次进行池化处理和全连接处理，得到所述目标风格特征。
211、利用所述多层感知机对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征。
212、利用所述解码器基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
关于步骤201至步骤212的具体执行过程在上文已经进行详细说明，在此便不做赘述。
本申请实施例提供的运动序列生成方法中，可以获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征。获取目标视频，并对目标视频进行关键点提取，得到目标运动序列，对目标运动序列进一步进行第二特征提取处理，得到目标风格特征。然后基于目标风格特征对内容特征进行风格迁移处理，得到重组运动序列。重组运动序列对应的运动内容与源运动序列对应的运动内容一致，且重组运动序列对应的运动风格与目标运动序列对应的运动风格一致。在本申请中，可以获取目标视频，并对目标视频进行多次处理，得到反映目标视频中的目标运动对象的运动风格的目标风格特征；然后再基于该目标风格特征，对基于源运动序列得到的内容特征进行风格迁移处理，从而得到具有目标运动对象的运动风格，且内容是源运动对象的运动内容的重组运动序列。本申请实施例可以从视频中提取运动风格，并将提取到的运动风格赋予源运动对象的运动内容，无需依赖风格标签便能实现多种多样的运动风格的赋予。
本申请实施例可以提高风格迁移处理过程的泛化性和适用范围。
为了更好地实施以上方法，本申请实施例还提供一种运动序列生成装置，该运动序列生成装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(PersonalComputer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。比如，在本实施例中，将以运动序列生成装置具体集成在电子设备的终端或布设在云端的服务器为例，对本申请实施例的方法进行详细说明。
例如，如图3所示，该运动序列生成装置可以包括：
第一特征提取单元301，用于获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；
目标序列获取单元302，用于获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；
第二特征提取单元303，用于对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；
风格迁移单元304，用于基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
在一些实施例中，所述源运动序列为三维运动序列；所述源运动序列中的运动动作通过所述源运动对象的骨骼的运动状态表现；相应的，第一特征提取单元301，包括：
第一旋转角子单元，用于获取所述源运动对象的骨骼相对于第一预设节点的第一旋转角；
第一坐标值子单元，用于获取所述源运动对象的关节点相对于所述第一预设节点的第一坐标值，其中，所述关节点位于所述源运动对象的相邻两个骨骼的连接位置；
内容特征子单元，用于对所述第一旋转角和所述第一坐标值进行下采样处理，得到内容特征。
在一些实施例中，所述目标运动序列为二维运动序列；所述目标运动序列中的运动动作通过所述目标运动对象的骨骼的运动状态表现；相应的，第二特征提取单元303，包括：
第二坐标值子单元，用于获取所述目标运动对象的关节点相对于第二预设节点的第二坐标值，其中，所述关节点位于所述目标运动对象的相邻两个骨骼的连接位置；
下采样结果子单元，用于对所述第二坐标值进行下采样处理，得到下采样结果；
目标风格特征子单元，用于对所述下采样结果依次进行池化处理和全连接处理，得到所述目标风格特征。
在一些实施例中，风格迁移单元304，包括：
概括特征子单元，用于对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征；
重组运动序列子单元，用于基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
在一些实施例中，概括特征子单元，具体用于对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征。
在一些实施例中，第一特征提取单元301，具体用于利用所述内容编码器对所述源运动序列进行第一特征提取处理，得到内容特征；
第二特征提取单元303，具体用于利用所述二维风格编码器对所述目标运动序列进行第二特征提取处理，得到目标风格特征；
概括特征子单元，具体用于利用所述多层感知机对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征；
重组运动序列子单元，具体用于利用所述解码器基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
在一些实施例中，所述装置还包括：
网络训练单元，用于利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络。
在一些实施例中，所述网络训练单元，包括：
训练内容特征子单元，用于利用所述运动序列生成网络的内容编码器对所述训练源三维运动序列进行特征提取处理，得到训练内容特征；
训练概括特征子单元，用于利用所述运动序列生成网络的风格编码器以及多层感知机对所述训练源三维运动序列进行特征提取处理，得到训练概括特征；
训练重组三维运动子单元，用于利用所述运动序列生成网络的解码器基于所述训练概括特征对所述训练内容特征进行上采样处理，得到训练重组三维运动序列；
参考概括特征子单元，用于利用所述运动序列生成网络的三维风格编码器以及多层感知机对所述参考运动序列进行特征提取处理，得到参考概括特征；
迁移风格运动序列子单元，用于利用所述运动序列生成网络的解码器基于所述参考概括特征对所述训练内容特征进行上采样处理，得到迁移风格运动序列；
损失值子单元，用于基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，其中，所述训练二维运动序列经所述训练源三维运动序列投影获得；
训练后序列子单元，用于当所述损失值满足预设要求时，判定所述运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
在一些实施例中，所述运动序列生成网络的风格编码器包括三维风格编码器和二维风格编码器；
训练概括特征子单元，包括：
训练三维风格特征次子单元，用于利用所述三维风格编码器对所述训练源三维运动序列进行特征提取处理，得到训练三维风格特征；
训练二维运动序列次子单元，用于对所述训练源三维运动序列进行投影处理，得到训练二维运动序列；
训练二维风格特征次子单元，用于利用所述二维风格编码器对所述训练二维运动序列进行特征提取处理，得到训练二维风格特征；
训练概括特征次子单元，用于利用所述运动序列生成网络的多层感知机对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理，得到训练概括特征。
在一些实施例中，参考概括特征子单元，包括：
参考三维风格特征次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行特征提取处理，得到参考三维风格特征；
参考概括特征次子单元，用于利用所述多层感知机对所述参考三维风格特征进行特征提取处理，得到所述参考概括特征。
在一些实施例中，所述损失值包括第一损失值、第二损失值、第三损失值以及第四损失值；相应的，损失值子单元，包括：
第一损失值子单元，用于基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算第一损失值；
第二损失值子单元，用于基于所述参考运动序列以及所述迁移风格运动序列，计算第二损失值；
第三损失值子单元，用于基于所述训练源三维运动序列以及所述训练二维运动序列，计算第三损失值；
第四损失值子单元，用于基于多个训练二维运动序列，计算第四损失值，其中，所述多个训练二维运动序列中两两之间对应的投影方式互不相同。
在一些实施例中，第一损失值子单元，具体用于计算所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离，所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离为所述第一损失值。
在一些实施例中，第二损失值子单元，包括：
第一上采样结果次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行上采样处理，得到第一上采样结果；
第二上采样结果次子单元，用于利用所述运动序列生成网络的三维风格编码器对所述迁移风格运动序列进行上采样处理，得到第二上采样结果；
第二损失值次子单元，用于计算所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离，所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离为所述第二损失值。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
本申请实施例提供的运动序列生成方法中，可以获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征。获取目标视频，并对目标视频进行关键点提取，得到目标运动序列，对目标运动序列进一步进行第二特征提取处理，得到目标风格特征。然后基于目标风格特征对内容特征进行风格迁移处理，得到重组运动序列。重组运动序列对应的运动内容与源运动序列对应的运动内容一致，且重组运动序列对应的运动风格与目标运动序列对应的运动风格一致。在本申请中，可以获取目标视频，并对目标视频进行多次处理，得到反映目标视频中的目标运动对象的运动风格的目标风格特征；然后再基于该目标风格特征，对基于源运动序列得到的内容特征进行风格迁移处理，从而得到具有目标运动对象的运动风格，且内容是源运动对象的运动内容的重组运动序列。本申请实施例可以从视频中提取运动风格，并将提取到的运动风格赋予源运动对象的运动内容，无需依赖风格标签便能实现多种多样的运动风格的赋予。
本申请实施例可以提高风格迁移处理过程的泛化性和适用范围。
本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该运动序列生成装置还可以集成在多个电子设备中，比如，运动序列生成装置可以集成在多个服务器中，由多个服务器来实现本申请的运动序列生成方法。
在本实施例中，将以本实施例的电子设备是电子设备为例进行详细描述，比如，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，电子设备可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种运动序列生成方法中的步骤。例如，该指令可以执行如下步骤：
获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种运动序列生成方法中的步骤，因此，可以实现本申请实施例所提供的任一种运动序列生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种运动序列生成方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种运动序列生成方法，其特征在于，所述方法包括：
获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作；所述内容特征为表示所述源运动对象的运动内容的特征；
获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；
对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；
基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
2.如权利要求1所述的方法，其特征在于，所述源运动序列为三维运动序列；所述源运动序列中的运动动作通过所述源运动对象的骨骼的运动状态表现；
所述对源运动序列进行第一特征提取处理，得到内容特征，包括：
获取所述源运动对象的骨骼相对于第一预设节点的第一旋转角；
获取所述源运动对象的关节点相对于所述第一预设节点的第一坐标值，其中，所述关节点位于所述源运动对象的相邻两个骨骼的连接位置；
对所述第一旋转角和所述第一坐标值进行下采样处理，得到内容特征。
3.如权利要求1所述的方法，其特征在于，所述目标运动序列为二维运动序列；所述目标运动序列中的运动动作通过所述目标运动对象的骨骼的运动状态表现；
所述对所述目标运动序列进行第二特征提取处理，得到目标风格特征，包括：
获取所述目标运动对象的关节点相对于第二预设节点的第二坐标值，其中，所述关节点位于所述目标运动对象的相邻两个骨骼的连接位置；
对所述第二坐标值进行下采样处理，得到下采样结果；
对所述下采样结果依次进行池化处理和全连接处理，得到所述目标风格特征。
4.如权利要求1所述的方法，其特征在于，所述运动序列包括如下的一种或多种：
运动对象在奔跑状态的多个时刻的运动动作组成的序列，运动对象在跳跃状态的多个时刻的运动动作组成的序列，运动对象在游泳状态的多个时刻的运动动作组成的序列，运动对象在跳舞状态的多个时刻的运动动作组成的序列。
5.如权利要求1所述的方法，其特征在于，所述基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，包括：
对所述目标风格特征依次进行预设数量次全连接处理，得到概括特征；
基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
6.如权利要求5所述的方法，其特征在于，所述运动序列生成方法应用于训练后运动序列生成网络，所述训练后运动序列生成网络包括内容编码器、二维风格编码器、多层感知机以及解码器；
所述对源运动序列进行第一特征提取处理，得到内容特征，包括：
利用所述内容编码器对所述源运动序列进行第一特征提取处理，得到内容特征；
所述对所述目标运动序列进行第二特征提取处理，得到目标风格特征，包括：
利用所述二维风格编码器对所述目标运动序列进行第二特征提取处理，得到目标风格特征；
所述对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征，包括：
利用所述多层感知机对所述目标风格特征依次进行预设数量次全连接处理，得到所述概括特征；
所述基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列，包括：
利用所述解码器基于所述概括特征，对所述内容特征进行上采样处理，得到重组运动序列。
7.如权利要求6所述的方法，其特征在于，在所述获取源运动序列之前，所述方法还包括：
利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络。
8.如权利要求7所述的方法，其特征在于，所述利用训练源三维运动序列以及参考运动序列对运动序列生成网络进行训练，得到所述训练后运动序列生成网络，包括：
利用所述运动序列生成网络的内容编码器对所述训练源三维运动序列进行特征提取处理，得到训练内容特征；
利用所述运动序列生成网络的风格编码器以及多层感知机对所述训练源三维运动序列进行特征提取处理，得到训练概括特征；
利用所述运动序列生成网络的解码器基于所述训练概括特征对所述训练内容特征进行上采样处理，得到训练重组三维运动序列；
利用所述运动序列生成网络的三维风格编码器以及多层感知机对所述参考运动序列进行特征提取处理，得到参考概括特征；
利用所述运动序列生成网络的解码器基于所述参考概括特征对所述训练内容特征进行上采样处理，得到迁移风格运动序列；
基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，其中，所述训练二维运动序列经所述训练源三维运动序列投影获得；
若所述损失值满足预设要求，则判定所述运动序列生成网络训练完成，得到所述训练后运动序列生成网络。
9.如权利要求8所述的方法，其特征在于，所述运动序列生成网络的风格编码器包括三维风格编码器和二维风格编码器；
所述利用所述运动序列生成网络的风格编码器以及多层感知机对所述训练源三维运动序列进行特征提取处理，得到训练概括特征，包括：
利用所述三维风格编码器对所述训练源三维运动序列进行特征提取处理，得到训练三维风格特征；
对所述训练源三维运动序列进行投影处理，得到训练二维运动序列；
利用所述二维风格编码器对所述训练二维运动序列进行特征提取处理，得到训练二维风格特征；
利用所述运动序列生成网络的多层感知机对所述训练二维风格特征、以及所述训练三维风格特征进行特征提取处理，得到训练概括特征。
10.如权利要求8所述的方法，其特征在于，所述利用所述运动序列生成网络的三维风格编码器以及多层感知机对所述参考运动序列进行特征提取处理，得到参考概括特征，包括：
利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行特征提取处理，得到参考三维风格特征；
利用所述多层感知机对所述参考三维风格特征进行特征提取处理，得到所述参考概括特征。
11.如权利要求8所述的方法，其特征在于，所述损失值包括第一损失值、第二损失值、第三损失值以及第四损失值；
所述基于所述训练源三维运动序列、所述训练重组三维运动序列、所述参考运动序列、所述迁移风格运动序列、以及训练二维运动序列，计算损失值，包括：
基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算所述第一损失值；
基于所述参考运动序列以及所述迁移风格运动序列，计算所述第二损失值；
基于所述训练源三维运动序列以及训练二维运动序列，计算所述第三损失值；
基于多个训练二维运动序列，计算所述第四损失值，其中，所述多个训练二维运动序列中两两之间对应的投影方式互不相同。
12.如权利要求11所述的方法，其特征在于，所述基于所述训练源三维运动序列以及所述训练重组三维运动序列，计算所述第一损失值，包括：
计算所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离，所述训练源三维运动序列与所述训练重组三维运动序列之间的曼哈顿距离为所述第一损失值。
13.如权利要求11所述的方法，其特征在于，所述基于所述参考运动序列以及所述迁移风格运动序列，计算所述第二损失值，包括：
利用所述运动序列生成网络的三维风格编码器对所述参考运动序列进行上采样处理，得到第一上采样结果；
利用所述运动序列生成网络的三维风格编码器对所述迁移风格运动序列进行上采样处理，得到第二上采样结果；
计算所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离，所述第一上采样结果与所述第二上采样结果之间的曼哈顿距离为所述第二损失值。
14.一种运动序列生成装置，其特征在于，所述装置包括：
第一特征提取单元，用于获取源运动序列，并对源运动序列进行第一特征提取处理，得到内容特征，其中，所述源运动序列包括源运动对象在多个时刻的运动动作，所述内容特征为表示所述源运动对象的运动内容的特征；
目标序列获取单元，用于获取目标视频，并对所述目标视频内的目标运动对象进行关键点提取，得到目标运动序列，其中，所述目标运动序列包括所述目标运动对象在多帧图像的运动动作，且所述多帧图像按照时间顺序排列；
第二特征提取单元，用于对所述目标运动序列进行第二特征提取处理，得到目标风格特征，其中，所述目标风格特征为反映所述目标运动对象的运动风格的特征；
风格迁移单元，用于基于所述目标风格特征对所述内容特征进行风格迁移处理，得到重组运动序列，其中，所述重组运动序列对应的运动内容与所述源运动序列对应的运动内容一致，所述重组运动序列对应的运动风格与所述目标运动序列对应的运动风格一致。
15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～13任一项所述的运动序列生成方法中的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～13任一项所述的运动序列生成方法中的步骤。
CN202211305596.7A 2022-10-24 2022-10-24 运动序列生成方法、装置、电子设备和存储介质 Pending CN117036553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305596.7A CN117036553A (zh) 2022-10-24 2022-10-24 运动序列生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305596.7A CN117036553A (zh) 2022-10-24 2022-10-24 运动序列生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117036553A true CN117036553A (zh) 2023-11-10

Family

ID=88643555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305596.7A Pending CN117036553A (zh) 2022-10-24 2022-10-24 运动序列生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117036553A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118283201A (zh) * 2024-06-03 2024-07-02 上海蜜度科技股份有限公司 视频合成方法、系统、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118283201A (zh) * 2024-06-03 2024-07-02 上海蜜度科技股份有限公司 视频合成方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11302064B2 (en) Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
US11450080B2 (en) Image processing method and apparatus, and storage medium
US20210241521A1 (en) Face image generation method and apparatus, device, and storage medium
US20210074006A1 (en) Image processing method and apparatus, image device, and storage medium
CN110827383B (zh) 三维模型的姿态模拟方法、装置、存储介质和电子设备
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
US11823315B2 (en) Animation making method and apparatus, computing device, and storage medium
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
CN112419326A (zh) 图像分割数据处理方法、装置、设备及存储介质
WO2024198747A1 (zh) 动作捕捉数据的处理方法、装置、设备及存储介质
CN117036553A (zh) 运动序列生成方法、装置、电子设备和存储介质
CN114742925A (zh) 虚拟对象的蒙皮方法、装置、电子设备和存储介质
CN111583372B (zh) 虚拟角色面部表情生成方法和装置、存储介质及电子设备
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
US12100209B2 (en) Image analysis method and system
CN112488178B (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
CN114494543A (zh) 动作生成方法及相关装置、电子设备和存储介质
WO2024183454A1 (zh) 虚拟对象动画生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2024139520A1 (zh) 一种视频处理方法、装置、设备、存储介质及产品
CN107977628B (zh) 神经网络训练方法、人脸检测方法及人脸检测装置
CN114401446B (zh) 人体姿态迁移方法、装置、系统、电子设备以及存储介质
CN116630347A (zh) 视网膜眼底图像的血管分割方法和装置
CN114373033A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
CN113379903A (zh) 数据的迁移方法及装置、电子设备、可读存储介质
CN111581411B (zh) 高精度人脸形状库的构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination