CN111385489B - 一种短视频封面的制作方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种短视频封面的制作方法、装置、设备和存储介质，涉及图像处理技术领域。具体实现方案为：获取用于制作短视频封面的图像；识别所述图像中目标对象的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；根据所述目标对象的位置信息和所述图像中布局参考线的位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内。本申请实施例通过布局参考线为位置参考，自动将目标对象及周围图像内容显示到预览区域内，实现类似“平移”的效果，无需手动拖动图像；而且，依据布局参考线能够将目标对象显示在封面预览区域内美观、具有平衡感的位置，实现封面生成的智能化。

Description

一种短视频封面的制作方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术，尤其涉及图像处理技术领域。

背景技术

在制作电子书、视频等多媒体的封面时，用户一般首先需要选择一张适合作封面的图像，再将图像拖动到封面的预览区域。当用户觉得预览区域内的部分图像合适时点击确定，即可将预览区域内的部分图像作为封面。

现实情况中，由于封面的尺寸有限而图像的尺寸一般较大，则需要用户在预览区域内手动拖动图像，以使预览区域内显示到用户觉得合适的那部分图像。显然，手动拖动图像的方法不够智能且操作繁琐。

发明内容

本申请实施例提供了一种短视频封面的制作方法、装置、设备和存储介质，以实现短视频封面制作过程中的自动化和智能化。

第一方面，本申请实施例提供了一种短视频封面的制作方法，包括：

获取用于制作短视频封面的图像；

识别所述图像中目标对象的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；

根据所述目标对象的位置信息和所述图像中布局参考线的位置信息，计算所述目标对象相对于所述图像中布局参考线的相对位置信息；

根据所述目标对象相对于所述图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定所述目标对象在所述封面预览区域内的目标位置信息；

根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内。

本申请实施例通过识别所述图像中目标对象的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息，并计算二者的相对位置信息，从而获知目标对象分布在布局参考线上的位置；本实施例中的封面预览区域具有固定的布局参考线，在此前提下，根据相对位置信息和封面预览区域内的布局参考线的位置信息，能够确定出目标对象在封面预览区域内的目标位置信息；进而根据目标位置信息，自动将目标对象和目标对象周围的图像内容显示在所述封面预览区域内。本实施例通过布局参考线为位置参考，自动将目标对象及周围图像内容显示到预览区域内，实现类似“平移”的效果，无需手动拖动图像；而且，依据布局参考线能够将目标对象显示在封面预览区域内美观、具有平衡感的位置，实现封面生成的智能化。

可选的，所述识别所述图像中目标对象的位置信息，包括：

识别所述图像中目标对象的关键点的位置信息；

所述根据所述目标对象的位置信息和所述图像中布局参考线的位置信息，计算所述目标对象相对于所述图像中布局参考线的相对位置信息，包括：

根据所述关键点的位置信息和所述图像中布局参考线的位置信息，计算所述关键点相对于所述图像中布局参考线的相对位置信息；

所述根据所述目标对象相对于所述图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定所述目标对象在所述封面预览区域内的目标位置信息，包括：

根据所述关键点相对于所述图像中布局参考线的相对位置信息和所述封面预览区域内的所述布局参考线的位置信息，确定所述关键点在所述封面预览区域内的目标位置信息。

上述申请中的一种可选实施方式，关键点是目标对象中的视觉兴趣点，则采用少量且感兴趣的关键点代表目标对象进行后续计算，而不是目标对象的全部像素点，能够减少计算量；同时能够准确表示目标对象的位置。

可选的，识别所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息，包括：

将所述图像输入至深度神经网络模型，得到所述深度神经网络模型输出的所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；

其中，所述深度神经网络模型采用标注有关键点和布局参考线的图像样本进行训练。

上述申请中的一种可选实施方式，采用深度神经网络模型能够准确识别出关键点和布局参考线的位置信息，从而也说明了图像中的布局参考线不是固定的，体现了目标对象的关键点的布局情况，以便将关键点及周围像素的像素点，按照预览区域内的布局参考线进行显示。

可选的，根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内，包括：

根据所述关键点在所述封面预览区域内的目标位置信息和所述关键点在图像中的位置信息，计算所述关键点的位置偏移向量；

根据所述位置偏移向量，将所述关键点的像素值提供到所述封面预览区域内进行显示；

将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

上述申请中的一种可选实施方式，根据位置偏移向量将关键点的像素值“平移”到封面预览区域，这种类似平移的显示方法有利于提高显示效率；通过采用基于布局参考线得到的位置偏移向量显示关键点，再显示关键点周围的像素点，优先保证关键点显示于封面预览区域内布局美观的位置；而且，当关键点的数量为至少两个时，各个关键点周围像素点的像素值可以并行提供到封面预览区域内进行显示，提高显示效率。

可选的，所述关键点的数量为至少两个；

在所述根据所述位置偏移向量，将所述关键点的像素值提供到所述封面预览区域内进行显示之前，还包括：

将每个关键点与其他关键点未重叠部分的像素值存储到第一存储表中；

将关键点之间重叠部分的像素值存储到第二存储表中；

所述根据所述位置偏移向量，将所述关键点的像素值提供到所述封面预览区域内进行显示，包括：

从所述第一存储表中读取每个关键点与其他关键点未重叠部分的像素值，并根据每个关键点对应的偏移向量，将每个关键点与其他关键点未重叠部分的像素值提供到所述封面预览区域内进行显示；

从所述第二存储表中读取关键点之间重叠部分的像素值，并根据重叠的关键点对应的偏移向量，将关键点之间重叠部分的像素值提供到所述封面预览区域内进行显示。

上述申请中的一种可选实施方式，将关键点分为与其他关键点未重叠部分和重叠部分，将这两部分的像素值分别存储到存储表中；在后续显示关键点的像素值时，直接从存储表中读取即可，提高了显示效率；同时针对未重叠部分和重叠部分采用基于偏移向量的显示策略，使得图像中的关键点与封面预览区域内的关键点保持一致。

可选的，将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示，包括：

计算所述图像中，所述关键点周围的像素点相对于所述关键点的相对位置信息；

根据所述关键点周围的像素点相对于所述关键点的相对位置信息和所述位置偏移向量，将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

上述申请中的一种可选实施方式，关键点周围的像素点根据相对于关键点的相对位置信息和关键点的位置偏移向量，“平移”到封面预览区域内进行显示，这种类似平移的显示方法有利于提高显示效率；同时，保持图像中关键点和周围像素点之间的相对位置与封面预览区域中一致。

第二方面，本申请实施例还提供了一种短视频封面的制作装置，包括：

获取模块，用于获取用于制作短视频封面的图像；

识别模块，用于识别所述图像中目标对象的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；

计算模块，用于根据所述目标对象的位置信息和所述图像中布局参考线的位置信息，计算所述目标对象相对于所述图像中布局参考线的相对位置信息；

确定模块，用于根据所述目标对象相对于所述图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定所述目标对象在所述封面预览区域内的目标位置信息；

显示模块，用于根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内。

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例所提供的一种短视频封面的制作方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面实施例所提供的一种短视频封面的制作方法。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1a是本申请实施例一中的一种短视频封面的制作方法的流程图；

图1b是本申请实施例一中的一种图像中的布局参考线的示意图；

图1c是本申请实施例一中另一种图像中布局参考线的示意图；

图2是本申请实施例二中的一种短视频封面的制作方法的流程图；

图3a是本发明实施例三提供的一种短视频封面的制作方法的流程图；

图3b是本发明实施例三提供的短视频封面制作流程的示意图；

图4是本申请实施例四中的一种短视频封面的制作装置的结构图；

图5是用来实现本申请实施例的短视频封面的制作方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例一

图1a是本申请实施例一中的一种短视频封面的制作方法的流程图，本申请实施例适用于采用图像在封面预览区域内自动制作短视频封面的情况，该方法通过短视频封面的制作装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。

如图1a所示的一种短视频封面的制作方法，包括：

S110、获取用于制作短视频封面的图像。

本实施例中，短视频封面可以是vlog短视频，其中，vlog全称为video weblog或video blog，是源于“blog”的变体，意思为“视频博客”和“视频网络日志”。在制作短视频封面之前，需要选定一张图像，例如，在制作视频封面时，抽取视频的第一个图像帧；又例如，在制作头像时，响应于用户的拍摄操作或者对相册中照片的选定操作，获取用于制作头像的图像。

S120、识别图像中目标对象的位置信息，以及目标对象在图像中的布局参考线的位置信息。

图像中的目标对象可以是人、动物、物体等。可选的，考虑到短视频封面上一般会主要显示一个目标对象，则识别图像中一个目标对象的位置信息。具体的，优先识别图像中的人，识别不到时再识别图像中的动物或物体。如果识别到多个人，则任选一个人作为目标对象。可选的，目标对象的位置信息可以为目标对象的外接矩形框的位置信息，如图像坐标系下外界矩形框的中心坐标。图像坐标系以图像左下角为原点，图像的横向边缘为X轴，图像的纵向边缘为Y轴。

布局参考线(又称为构图参考线)可以是九宫格、黄金分割线、十字线等，用于表示图像中的布局信息。在拍照场景中，布局参考线用于指导用户布局图像中的对象，以使图像中对象的布局美观、具有平衡感。本实施例中，在已有图像中目标对象的前提下，反向识别目标对象在图像中的布局参考线的位置信息。可见，布局参考线表征了目标对象在图像中的分布位置。图1b是本申请实施例一中的一种图像中的布局参考线的示意图，图1c是本申请实施例一中另一种图像中布局参考线的示意图。如图1b所示，如果目标对象在图像的左侧，则布局参考线(用虚线表示)也在图像的左侧且与目标对象的分布位置匹配；如图1c所示，如果目标对象在图像的右侧，则布局参考线(用虚线表示)也在图像的右侧且与目标对象的分布位置匹配。可选的，布局参考线的位置信息可以采用图像坐标系下布局参考线的表达式表示；当布局参考线存在交点时，采用图像坐标系下交点坐标表示布局参考线的位置信息。

S130、根据目标对象的位置信息和图像中布局参考线的位置信息，计算目标对象相对于图像中布局参考线的相对位置信息。

具体的，将目标对象的位置信息与布局参考线的位置信息作差，得到相对位置信息。

示例性的，目标对象的位置信息为图像坐标系下外界矩形框的中心坐标，布局参考线的位置信息采用图像坐标系下交点坐标表示，计算中心坐标与交点坐标的差值，得到该相对位置信息。

示例性的，目标对象的位置信息为图像坐标系下外界矩形框的中心坐标，布局参考线的位置信息采用图像坐标系下布局参考线的表达式表示，计算中心坐标在布局参考线上的垂足坐标，并计算中心坐标与垂足坐标的差值，得到该相对位置信息。

S140、根据目标对象相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定目标对象在封面预览区域内的目标位置信息。

本实施例中，封面预览区域可以是圆形的或矩形的，尺寸比图像小。本实施例需要将图像中的部分内容自动显示在封面预览区域内，该封面预览区域中的图像将会作为短视频封面，从而实现短视频封面的自动制作。

由于目标对象往往是有一定语义的对象，本实施例将目标对象显示在封面预览区域内，具体显示在封面预览区域内的目标位置。具体的，封面预览区域包括固定的布局参考线，该布局参考线可以处于显示状态或者隐藏状态。封面预览区域内的布局参考线与图像中的布局参考线本身是一致的，如均是九宫格，且每个格子尺寸相同。封面预览区域内布局参考线的位置信息可以采用预览区域坐标系下布局参考线的表达式表示，或者交点坐标表示。其中，预览区域坐标系以预览区域左下角或中心为原点，横向为X轴，纵向为Y轴。

本实施例令图像中目标对象相对于布局参考线的相对位置信息，与封面预览区域内目标对象相对于布局参考线的相对位置信息一致，以保证封面预览区域内的美观和平衡感。由于封面预览区域和图像采用的坐标系不同，则布局参考线的位置信息也不同，则将目标对象相对于图像中布局参考线的相对位置信息加上封面预览区域内布局参考线的位置信息，得到目标对象在封面预览区域内的位置信息，称为目标位置信息。

S150、根据目标位置信息，将目标对象和目标对象周围的图像内容显示在封面预览区域内。

目标位置信息是目标对象在封面预览区域内的位置信息，则将目标对象的像素值提供至目标位置信息处进行显示。封面预览区域除了目标对象之外还存在空白区域，为了将需要生成封面的部分图像完整“平移”到封面预览区域内，则还需要将目标对象周围的图像内容也显示在封面预览区域内，具体按照图像内容与目标对象的相对位置关系，将图像内容的像素值提供至封面预览区域内目标位置的周围进行显示。

值得说明的是，为了将封面预览区域填满，保证封面的完整性，目标对象和目标对象周围的图像内容的尺寸之和应与封面预览区域的尺寸一致。因此，在识别出目标对象后，根据封面预览区域的尺寸和目标对象的尺寸确定目标对象周围的图像内容的尺寸，进而将确定的尺寸内的图像内容显示在封面预览区域内。

本申请实施例通过识别图像中目标对象的位置信息，以及目标对象在图像中的布局参考线的位置信息，并计算二者的相对位置信息，从而获知目标对象分布在布局参考线上的位置；本实施例中的封面预览区域具有固定的布局参考线，在此前提下，根据相对位置信息和封面预览区域内的布局参考线的位置信息，能够确定出目标对象在封面预览区域内的目标位置信息；进而根据目标位置信息，自动将目标对象和目标对象周围的图像内容显示在封面预览区域内。本实施例通过布局参考线为位置参考，自动将目标对象及周围图像内容显示到预览区域内，实现类似“平移”的效果，无需手动拖动图像；而且，依据布局参考线能够将目标对象显示在封面预览区域内美观、具有平衡感的位置，实现封面生成的智能化。

实施例二

图2是本申请实施例二中的一种短视频封面的制作方法的流程图，本实施例在上述各实施例的基础上进一步优化，具体地，将操作“识别图像中目标对象的位置信息，以及目标对象在图像中的布局参考线的位置信息”细化为“识别图像中目标对象的关键点的位置信息，以及关键点在图像中的布局参考线的位置信息”，以采用关键点代替目标对象进行位置计算。

如图2所示的短视频封面的制作方法，包括：

S210、获取用于制作短视频封面的图像。

S220、识别图像中目标对象的关键点的位置信息，以及目标对象在图像中的布局参考线的位置信息。

示例性的，目标对象为人，则关键点包括头、颈、肩、胸和四肢关节等。关键点也是视觉兴趣点。

可选的，预先采用图像样本训练深度神经网络模型。图像样本来源于用户采用布局参考线拍摄的图像，则图像样本自带布局参考线。然后，在图像样本上标注关键点。模型训练结束后，将用于制作短视频封面的图像输入至深度神经网络模型中，得到深度神经网络模型输出的图像中目标对象的关键点的位置信息，以及目标对象在图像中的布局参考线的位置信息。

S230、根据关键点的位置信息和图像中布局参考线的位置信息，计算关键点相对于图像中布局参考线的相对位置信息。

与上述实施例类似，将关键点的位置信息与布局参考线的位置信息作差，得到相对位置信息。如果关键点的数量为至少两个，则需要将每个关键点的位置信息与布局参考线的位置信息作差，得到每个关键点相对于图像中布局参考线的相对位置信息。

示例性的，布局参考线的位置信息采用图像坐标系下交点坐标表示，计算每个关键点坐标与交点坐标的差值，得到每个关键点相对于图像中布局参考线的相对位置信息。

示例性的，布局参考线的位置信息采用图像坐标系下布局参考线的表达式表示，计算每个关键点坐标在布局参考线上的垂足坐标，并计算每个关键点坐标与垂足坐标的差值，得到每个关键点相对于图像中布局参考线的相对位置信息。

S240、根据关键点相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定关键点在封面预览区域内的目标位置信息。

具体的，根据每个关键点相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定每个关键点在封面预览区域内的目标位置信息。

S250、根据目标位置信息，将目标对象和目标对象周围的图像内容显示在封面预览区域内。

具体的，根据每个关键点在封面预览区域内的目标位置信息，将关键点的像素值提供至目标位置信息处进行显示。

进一步的，按照每个关键点周围像素与每个关键点的相对位置关系，将每个关键点周围像素的像素值提供至封面预览区域内每个关键点的目标位置的周围进行显示。

本实施例中，关键点是目标对象中的视觉兴趣点，则采用少量且感兴趣的关键点代表目标对象进行后续计算，而不是目标对象的全部像素点，能够减少计算量；同时，关键点能够准确表示目标对象的位置。

进一步的，采用深度神经网络模型能够准确识别出关键点和布局参考线的位置信息，从而也说明了图像中的布局参考线不是固定的，体现了目标对象的关键点的布局情况，以便将关键点及周围像素的像素点，按照预览区域内的布局参考线进行显示。

实施例三

图3a是本发明实施例三提供的一种短视频封面的制作方法的流程图，图3b是本发明实施例三提供的短视频封面制作流程的示意图。本实施例在上述各实施例的基础上进一步优化，具体将操作“根据目标位置信息，将目标对象和目标对象周围的图像内容显示在封面预览区域内”细化为“根据关键点在封面预览区域内的目标位置信息和关键点在图像中的位置信息，计算关键点的位置偏移向量；根据位置偏移向量，将关键点的像素值提供到封面预览区域内进行显示；将关键点周围像素点的像素值提供到封面预览区域内进行显示”，提供了封面预览区域内的显示方法。

如图3a所示的短视频封面的制作方法包括：

S310、获取用于制作短视频封面的图像。

图3b左数第一张图示出了图像，该图像包括人物。

S320、识别图像中目标对象的关键点的位置信息，以及目标对象在图像中的布局参考线的位置信息。

图3b左数第二张图示出了图像中人物的头、颈、双肩、胸共5个关键点，以及目标对象在图像中的九宫格(用虚线表示)的位置信息。

S330、根据关键点的位置信息和图像中布局参考线的位置信息，计算关键点相对于图像中布局参考线的相对位置信息。

S340、根据关键点相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定关键点在封面预览区域内的目标位置信息。

S310-S340详见上述各实施例的记载，此处不再赘述。

S350、根据关键点在封面预览区域内的目标位置信息和关键点在图像中的位置信息，计算关键点的位置偏移向量。

S360、根据位置偏移向量，将关键点的像素值提供到封面预览区域内进行显示。

S370、将关键点周围像素点的像素值提供到封面预览区域内进行显示。

图3b左数第三张图示出了，将关键点的像素值提供到封面预览区域内进行显示。图3b左数第四张图示出了，将关键点周围像素点的像素值提供到封面预览区域内进行显示。可见，关键点周围的像素点不仅包括目标对象的像素点还包括目标对象周围的像素点。

在S350处，将每个关键点在封面预览区域内的目标位置信息与每个关键点在图像中的位置信息作差，得到每个关键点的位置偏移向量。例如，某关键点的目标位置信息是(70,80)，该关键点在图像中的位置信息是(30，50)，则位置偏移向量是(40,30)。值得说明的是，一般情况下，每个关键点的位置偏移向量是一致的，从而保证封面预览区域内关键点之间的相对位置与图像中一致。

接着，在S360处，将图像中关键点的位置信息加上位置偏移向量，得到目标位置处的像素值，从而将关键点“平移”到封面预览区域内进行显示。在将关键点的像素值提供到封面预览区域内进行显示后，随即将关键点周围像素点的像素值提供到封面预览区域内进行显示。

关键点覆盖的像素点有多个，如果关键点的数量为至少两个且分布比较密集的时候，关键点之间可能存在像素点重叠的部分。基于此，在S320之后、S350之前还包括：将每个关键点与其他关键点未重叠部分的像素值存储到第一存储表中；将关键点之间重叠部分的像素值存储到第二存储表中。其中，第一存储表的存储格式为关键点名称、关键点与其他关键点未重叠部分的像素点位置和像素值，第二存储表的存储格式为重叠的关键点名称、重叠部分的像素点位置和像素值。

根据位置偏移向量，将关键点的像素值提供到封面预览区域内进行显示，包括：从第一存储表中读取每个关键点与其他关键点未重叠部分的像素值，并根据每个关键点对应的偏移向量，将每个关键点与其他关键点未重叠部分的像素值提供到封面预览区域内进行显示；从第二存储表中读取关键点之间重叠部分的像素值，并根据重叠的关键点对应的偏移向量，将关键点之间重叠部分的像素值提供到封面预览区域内进行显示。其中，重叠的关键点对应的偏移向量可以是重叠的任一关键点对应的偏移向量。

在S370处，计算图像中，关键点周围的像素点相对于关键点的相对位置信息。在关键点的数量为至少两个时，不必要区分某个像素点是哪个关键点周围的，可以从至少两个像素点中任意指定一像素点，计算所有关键点周围的像素点相对于指定关键点的相对位置信息。然后，根据关键点周围的像素点相对于关键点的相对位置信息和位置偏移向量，将关键点周围像素点的像素值提供到封面预览区域内进行显示。具体的，将关键点周围的像素点相对于关键点的相对位置信息加上位置偏移向量，得到所有关键点的周围像素点的位置偏移向量，进而根据周围像素点的位置偏移向量，将周围像素点的像素值提供到封面预览区域内进行显示。

本实施例中，根据位置偏移向量将关键点的像素值“平移”到封面预览区域，这种类似平移的显示方法有利于提高显示效率；通过采用基于布局参考线得到的位置偏移向量显示关键点，再显示关键点周围的像素点，优先保证关键点显示于封面预览区域内布局美观的位置；而且，当关键点的数量为至少两个时，各个关键点周围像素点的像素值可以并行提供到封面预览区域内进行显示，提高显示效率。

进一步的，为了避免重复显示，将关键点分为与其他关键点未重叠部分和重叠部分，将这两部分的像素值分别存储到存储表中；在后续显示关键点的像素值时，直接从存储表中读取即可，提高了显示效率；同时针对未重叠部分和重叠部分采用基于偏移向量的显示策略，使得图像中的关键点与封面预览区域内的关键点保持一致。

进一步的关键点周围的像素点根据相对于关键点的相对位置信息和关键点的位置偏移向量，“平移”到封面预览区域内进行显示，不需要图像坐标系到预览区域坐标系的转换，这种类似平移的显示方法有利于提高显示效率；同时，保持图像中关键点和周围像素点之间的相对位置与封面预览区域中一致。

实施例四

图4是本申请实施例四中的一种短视频封面的制作装置的结构图，本申请实施例适用于采用图像在封面预览区域内自动制作短视频封面的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。

如图4所示的一种短视频封面的制作装置400，包括：获取模块401、识别模块402、计算模块403、确定模块404和显示模块405；其中，

获取模块401，用于获取用于制作短视频封面的图像；

识别模块402，用于识别图像中目标对象的位置信息，以及目标对象在图像中的布局参考线的位置信息；

计算模块403，用于根据目标对象的位置信息和图像中布局参考线的位置信息，计算目标对象相对于图像中布局参考线的相对位置信息；

确定模块404，用于根据目标对象相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定目标对象在封面预览区域内的目标位置信息；

显示模块405，用于根据目标位置信息，将目标对象和目标对象周围的图像内容显示在封面预览区域内。

本申请实施例通过识别图像中目标对象的位置信息，以及目标对象在图像中的布局参考线的位置信息，并计算二者的相对位置信息，从而获知目标对象分布在布局参考线上的位置；本实施例中的封面预览区域具有固定的布局参考线，在此前提下，根据相对位置信息和封面预览区域内的布局参考线的位置信息，能够确定出目标对象在封面预览区域内的目标位置信息；进而根据目标位置信息，自动将目标对象和目标对象周围的图像内容显示在封面预览区域内。本实施例通过布局参考线为位置参考，自动将目标对象及周围图像内容显示到预览区域内，实现类似“平移”的效果，无需手动拖动图像；而且，依据布局参考线能够将目标对象显示在封面预览区域内美观、具有平衡感的位置，实现封面生成的智能化。

进一步的，识别模块402具体用于：识别图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；计算模块403具体用于：根据关键点的位置信息和图像中布局参考线的位置信息，计算关键点相对于图像中布局参考线的相对位置信息；确定模块404具体用于：根据关键点相对于图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定关键点在封面预览区域内的目标位置信息。

进一步的，识别模块402具体用于：将图像输入至深度神经网络模型，得到深度神经网络模型输出的图像中目标对象的关键点的位置信息，以及目标对象在图像中的布局参考线的位置信息；其中，深度神经网络模型采用标注有关键点和布局参考线的图像样本进行训练。

进一步的，显示模块405包括位置偏移向量计算单元、第一显示单元和第二显示单元。其中，位置偏移向量计算单元用于根据关键点在封面预览区域内的目标位置信息和关键点在图像中的位置信息，计算关键点的位置偏移向量，第一显示单元用于根据位置偏移向量，将关键点的像素值提供到封面预览区域内进行显示，第二显示单元用于将关键点周围像素点的像素值提供到封面预览区域内进行显示。

进一步的，关键点的数量为至少两个；该装置还包括存储模块，用于：将每个关键点与其他关键点未重叠部分的像素值存储到第一存储表中；将关键点之间重叠部分的像素值存储到第二存储表中；第一显示单元具体用于：从第一存储表中读取每个关键点与其他关键点未重叠部分的像素值，并根据每个关键点对应的偏移向量，将每个关键点与其他关键点未重叠部分的像素值提供到封面预览区域内进行显示；从第二存储表中读取关键点之间重叠部分的像素值，并根据重叠的关键点对应的偏移向量，将关键点之间重叠部分的像素值提供到封面预览区域内进行显示。

进一步的，第二显示单元具体用于：计算图像中，关键点周围的像素点相对于关键点的相对位置信息；根据关键点周围的像素点相对于关键点的相对位置信息和位置偏移向量，将关键点周围像素点的像素值提供到封面预览区域内进行显示。

上述短视频封面的制作装置可执行本申请任意实施例所提供的短视频封面的制作方法，具备执行短视频封面的制作方法相应的功能模块和有益效果。

实施例五

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是实现本申请实施例的短视频封面的制作方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的短视频封面的制作方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的短视频封面的制作方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的短视频封面的制作的方法对应的程序指令/模块(例如，附图4所示的包括获取模块401、识别模块402、计算模块403、确定模块404和显示模块405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的短视频封面的制作的方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现短视频封面的制作方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至执行短视频封面的制作方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

执行短视频封面的制作方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与执行短视频封面的制作方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (7)

1.一种短视频封面的制作方法，其特征在于，包括：

获取用于制作短视频封面的图像；

识别所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；其中，所述关键点的数量为至少两个；

根据所述关键点的位置信息和所述图像中布局参考线的位置信息，计算所述关键点相对于所述图像中布局参考线的相对位置信息；

根据所述关键点相对于所述图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定所述关键点在所述封面预览区域内的目标位置信息；

将每个关键点与其他关键点未重叠部分的像素值存储到第一存储表中；将关键点之间重叠部分的像素值存储到第二存储表中；

根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内；

其中，根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内包括：

从所述第一存储表中读取每个关键点与其他关键点未重叠部分的像素值，并根据每个关键点在所述封面预览区域内的目标位置信息，将每个关键点与其他关键点未重叠部分的像素值提供到所述封面预览区域内进行显示；

从所述第二存储表中读取关键点之间重叠部分的像素值，并根据重叠的关键点在所述封面预览区域内的目标位置信息，将关键点之间重叠部分的像素值提供到所述封面预览区域内进行显示；

将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

2.根据权利要求1所述的方法，其特征在于，所述识别所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息，包括：

将所述图像输入至深度神经网络模型，得到所述深度神经网络模型输出的所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；

其中，所述深度神经网络模型采用标注有关键点和布局参考线的图像样本进行训练得到。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内，包括：

根据所述关键点在所述封面预览区域内的目标位置信息和所述关键点在图像中的位置信息，计算所述关键点的位置偏移向量；

根据所述位置偏移向量，将所述关键点的像素值提供到所述封面预览区域内进行显示；

将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

4.根据权利要求3所述的方法，其特征在于，所述将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示，包括：

计算所述图像中，所述关键点周围的像素点相对于所述关键点的相对位置信息；

根据所述关键点周围的像素点相对于所述关键点的相对位置信息和所述位置偏移向量，将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

5.一种短视频封面的制作装置，其特征在于，包括：

获取模块，用于获取用于制作短视频封面的图像；

识别模块，用于识别所述图像中目标对象的关键点的位置信息，以及所述目标对象在所述图像中的布局参考线的位置信息；其中，所述关键点的数量为至少两个；

计算模块，用于根据所述关键点的位置信息和所述图像中布局参考线的位置信息，计算所述关键点相对于所述图像中布局参考线的相对位置信息；

确定模块，用于根据所述关键点相对于所述图像中布局参考线的相对位置信息和封面预览区域内的布局参考线的位置信息，确定所述关键点在所述封面预览区域内的目标位置信息；

存储模块，用于将每个关键点与其他关键点未重叠部分的像素值存储到第一存储表中；将关键点之间重叠部分的像素值存储到第二存储表中；

显示模块，用于根据所述目标位置信息，将所述目标对象和所述目标对象周围的图像内容显示在所述封面预览区域内；

其中，所述显示模块，具体用于从所述第一存储表中读取每个关键点与其他关键点未重叠部分的像素值，并根据每个关键点在所述封面预览区域内的目标位置信息，将每个关键点与其他关键点未重叠部分的像素值提供到所述封面预览区域内进行显示；从所述第二存储表中读取关键点之间重叠部分的像素值，并根据重叠的关键点在所述封面预览区域内的目标位置信息，将关键点之间重叠部分的像素值提供到所述封面预览区域内进行显示；将所述关键点周围像素点的像素值提供到所述封面预览区域内进行显示。

6.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的一种短视频封面的制作方法。

7.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的一种短视频封面的制作方法。

Images