[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111832539A - 视频处理方法及装置、存储介质 - Google Patents

视频处理方法及装置、存储介质 Download PDF

Info

Publication number
CN111832539A
CN111832539A CN202010737025.5A CN202010737025A CN111832539A CN 111832539 A CN111832539 A CN 111832539A CN 202010737025 A CN202010737025 A CN 202010737025A CN 111832539 A CN111832539 A CN 111832539A
Authority
CN
China
Prior art keywords
video
frame
target object
video frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010737025.5A
Other languages
English (en)
Inventor
常冰琳
马凯伦
石争辉
王庆民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010737025.5A priority Critical patent/CN111832539A/zh
Publication of CN111832539A publication Critical patent/CN111832539A/zh
Priority to JP2021075819A priority patent/JP7279108B2/ja
Priority to KR1020210054745A priority patent/KR102457864B1/ko
Priority to US17/244,919 priority patent/US11770497B2/en
Priority to EP21171253.4A priority patent/EP3945490B1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于一种视频处理方法及装置、存储介质。该方法应用于终端，包括：确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。通过本公开实施例中的技术方案，通过分割视频画面以及覆盖分割的不同图像区域的方式，使画面中可以同时显示多个主体，从而实现分身特效的显示效果。

Description

视频处理方法及装置、存储介质
技术领域
本公开涉及多媒体技术，尤其涉及一种视频处理方法及装置、存储介质。
背景技术
随着多媒体技术的不断发展，在影视作品中，经常用到视频特效来展示丰富多彩，甚至超越现实的视频效果。例如，时间静止特效、分身特效等。然而，实现视频的特效，需要通过专业的后期处理，使用后期制作工具进行大量的剪辑制作才能够实现，不利于特效技术的推广应用，这种方式在视频拍摄过程中也难以直接预览特效效果。此外，视频特效的制作难度大，学习成本高，因此对于后期制作人员也需要较高的专业要求。
发明内容
本公开提供一种视频处理方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种视频处理方法，所述方法应用于终端，包括：
确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
在一些实施例中，所述确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域，包括：
识别视频的视频帧中的目标对象；
根据所述目标对象，确定所述主体区域及所述背景区域。
在一些实施例中，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；
所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
在所述视频的视频帧中，选择至少一个所述定格帧；
将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
在所述视频播放的过程中，检测预定操作指令；
确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
确定所述视频的视频帧中的所述目标对象的姿态；
如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
确定所述视频帧中的所述目标对象的位置；
如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则确定当前的视频帧为所述定格帧。
在一些实施例中，所述方法还包括：
根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述将至少一个视频帧中的所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧中，生成同时包含所述目标对象所在的两个主体区域的特效帧，包括：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
在一些实施例中，所述根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数，包括：
在所述视频的视频帧中，选择一个视频帧作为基准帧；
根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
在一些实施例中，所述第二视频帧，包括：所述定格帧之前的视频帧；
所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
根据本公开实施例的第二方面，提供一种视频处理装置，所述装置应用于终端，包括：
第一确定模块，用于确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
生成模块，用于将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
在一些实施例中，所述第一确定模块，包括：
识别子模块，用于识别视频的视频帧中的目标对象；
第一确定子模块，用于根据所述目标对象，确定所述主体区域及所述背景区域。
在一些实施例中，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；
所述生成模块，包括：
第一选择子模块，用于在所述视频的视频帧中，选择至少一个所述定格帧；
生成子模块，用于将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
在一些实施例中，所述第一选择子模块，包括：
检测子模块，用于在所述视频播放的过程中，检测预定操作指令；
第二确定子模块，用于确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
在一些实施例中，所述第一选择子模块，具体用于：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
在一些实施例中，所述第一选择子模块，包括：
第三确定子模块，用于确定所述视频的视频帧中的所述目标对象的姿态；
第二选择子模块，用于选择如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
在一些实施例中，所述第一选择子模块，包括：
第四确定子模块，用于确定所述视频帧中的所述目标对象的位置；
第五确定子模块，如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则用于确定当前的视频帧为所述定格帧。
在一些实施例中，所述装置还包括：
第二确定模块，用于根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述生成模块，具体用于：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
在一些实施例中，所述第二确定模块，包括：
第三选择子模块，用于在所述视频的视频帧中，选择一个视频帧作为基准帧；
第六确定子模块，用于根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
在一些实施例中，所述第二视频帧，包括：所述定格帧之前的视频帧；所述生成模块，具体用于：
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
根据本公开实施例的第三方面，提供一种终端的通信装置，所述装置至少包括：处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：
处理器用于运行所述可执行指令时，所述可执行指令执行上述任一项视频处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任一项视频处理方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过本公开实施例的技术方案，利用终端进行视频处理，将不同视频帧图像的部分区域进行分割，并覆盖至另一视频帧中，使得视频画面中可以同时显示多个不同位置的目标对象，从而实现分身效果。这种方式通过终端自身进行目标对象的识别，无需复杂的处理工具及后期制作技巧，智能生成特效帧，操作简单易于在拍摄过程中直接生成特效效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种视频处理方法的流程图一；
图2是根据一示例性实施例示出的一种视频处理方法的流程图二；
图3是根据一示例性实施例示出的一种视频处理方法的流程图三；
图4是根据一示例性实施例示出的录制带有定格分身特效的视频的流程图一；
图5是根据一示例性实施例示出的录制带有定格分身特效的视频的流程图二；
图6A是根据一示例性实施例示出的定格分身特效的示意图一；
图6B是根据一示例性实施例示出的定格分身特效的示意图二；
图7是根据一示例性实施例示出的一种视频处理装置的结构框图；
图8是根据一示例性实施例示出的一种终端的实体结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频处理方法的流程图，如图1所示，所述方法应用于终端，包括：
步骤S101、确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
步骤S102、将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
在本公开实施例中，终端是具有显示功能的电子设备，用户可通过终端播放视频，或者在录制视频的过程中预览视频内容。
待处理的上述视频可以是已录制完成的视频文件，也可以是正在录制的视频。录制视频的过程包括获取连续多个视频帧的过程，已录制的视频部分则由上述视频帧构成。
在本公开实施例中，可以采用目标识别的方式在各视频帧中识别目标对象。目标对象可以是画面中的对焦的主体部分，包括在视频中存在移动的主体。例如，画面中的人物、动物以及汽车或者飞机等可移动的物体。
通过图像分割的技术，可以将上述目标对象所在的主体区域从视频帧的图像中分离出来。通过将目标对象所在的主体区域覆盖在另一视频帧中，就可以实现在视频画面中显示至少两个主体区域的分身效果。
上述第一视频帧作为提供分割出目标对象主体区域的视频帧，第二视频帧作为被覆盖分割出的主体区域的视频帧。第一视频帧在提供分割出的主体区域的同时，也可作为其他第一视频帧覆盖主体区域的第二视频帧。例如，将第一帧中的主体区域分割出来覆盖在第二帧以后的各视频帧中，将第100帧中的主体区域分割出来覆盖在第101帧以后的各视频帧中，那么第二帧开始之后的视频帧均为上述第二视频帧，同时第100帧既为第一视频帧，又为第二视频帧。
例如，在视频中主体人物有画面最左端行走至画面最右端，在进行视频处理时，将主体人物位于最左端的画面分割出主体区域。然后将分割得到的主体区域覆盖在视频中主体人物由左至右行走各视频帧中。这样，同时显示主体人物行走至最右端的过程中，同时显示定格于最左端的主体人物，从而实现定格分身的特效。
在本公开实施例中，上述目标对象所在的主体区域可以是目标对象边缘以内的图像区域，例如，通过图像分割技术，将目标对象沿着边缘从视频帧中分割出来，将目标对象的边缘所围成的区域作为上述主体区域。
在一实施例中，上述目标对象所在的主体区域还可以是包含目标对象的固定形状的图形区域，例如，矩形区域或者圆形区域等等。如果视频的背景画面为静态的环境，此时多个视频帧的目标对象以外的区域均为固定的图像，那么可以通过简单的规则图形，将目标对象所在的主体区域分割出来。
在另一实施例中，在录制视频的过程中，生成特效帧后，可将特效帧缓存在预定的缓存空间中。在视频录制完成后，显示是否生成特效视频的提示。根据用户的操作指令，确定是否生成特效视频。如果用户确定生成特效视频，则将缓存的特效帧替换原始视频帧，生成并另存为特效视频。如果用户确定不需要生成特效视频，则可将缓存的特效帧删除。
需要说明的是，生成特效视频后，可根据用户的实际需求，提供是否保存原始视频的选择。如果用户选择不保存原始视频，则可将对应生成特效帧的原始视频帧删除，并替换为上述特效帧。然后将替换特效帧后的各视频帧组成的视频帧流生成上述特效视频。如果用户选择保留原始视频，则可分别生成替换特效帧后的特效视频以及原始视频帧构成的原始视频。这样，便于用户后续对比观看，并进行进一步调整。
通过本公开实施例的技术方案，通过终端自身的图像分割技术，自动识别并将视频中不同的视频帧的目标对象分割出来，覆盖在其他视频帧中，从而简便快速地生成具有多个目标对象的“分身”效果的视频特效，无需采用复杂的后期制作工具和制作技巧。这样，在进行播放或者拍摄过程中的预览时，可以直接在画面中显示特效帧，展示特效效果，从而便于终端的视频制作，同时提升用户的观看体验。
在一些实施例中，所述确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域，包括：
识别视频的视频帧中的目标对象；
根据所述目标对象，确定所述主体区域及所述背景区域。
在本公开实施例中，通过图像识别技术识别视频帧中的目标对象，例如，通过边缘识别技术，识别图像中的不同对象；通过人像识别，识别图像中具有人物特征的对象等等。当然，也可根据用户的操作来确定识别的目标对象。例如，通过边缘识别技术确定出图像中不同对象的边缘，然后通过用户点击的图像区域，确定目标对象的主体区域。又如，接收用户通过触控等操作绘制的边缘图形，将边缘图形包围的区域，确定为上述目标对象的主体区域。
确定目标对象所在的主体区域后，可以将主体区域边缘以外的区域确定为上述背景区域。这样，就可以通过简便的方式识别图像中的目标对象，并根据目标对象将视频图像划分为主体区域以及背景区域。
在一些实施例中，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；如图2所示，上述步骤S102中，所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
步骤S201、在所述视频的视频帧中，选择至少一个定格帧；
步骤S202、将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
在本公开实施例中，可在视频中选择不同位置的视频帧作为定格帧，定格帧中的主体区域，用于覆盖定格帧之后的其他视频帧。这样，就可以使视频中定格帧的目标对象形成“定格”的效果，也就是在定格帧之后的各视频帧中，始终显示定格帧中的目标对象。
可以理解的是，如果一段视频中存在多个定格帧，那么随着视频的播放，会在定格帧依次出现后，在视频画面中依次出现定格的“分身”。例如，目标对象为奔跑的人物，在人物奔跑过程中，每隔一段时间出现一个定格帧，那么在视频画面中就会依次出现多个人物在不同位置固定不动的“分身”，从而实现“定格分身”的特效效果。
上述识别目标对象，选择定格帧以及生成特效帧的过程，可以在视频完成录制之后，对视频文件进行处理的过程中进行，也可以在视频录制的过程中，随着获取视频帧的过程随时进行，并在预览界面直接显示覆盖主体区域的特效帧。
此外，在录制视频的过程中，可以固定拍摄参数，减少由于光线变化自动调整拍摄参数导致的特效帧失真的情况。拍摄参数包括但不限于：ISO(感光度)、曝光时间、对焦距离以及白平衡参数等。
如此，通过选择不同时间间隔的定格帧，就能够制作出多样化的分身效果，从而提升视频整体的趣味性。同时制作过程简单易操作，如果在视频录制的过程中直接进行制作，还可提升视频拍摄的趣味性和丰富人机互动的体验，无需复杂的后期制作。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个定格帧，包括：
在所述视频播放的过程中，检测预定操作指令；
确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
上述选择定格帧的方式，可以有多种，根据不同的视频特点或者用户的喜好，可以采用不同的方式选择定格帧。在本实施例中，可根据接收到的用户操作，来进行选择。
在本公开实施例中，视频播放的过程可以是对已有视频文件的播放过程，也可以是录制过程中的预览播放。如果是对已有视频文件的播放过程，还可以根据用户需求采用不同的播放速度进行播放，例如，为了便于清晰地展示视频，以便用户进行选择操作，可采用慢速播放的方式，如0.5倍速、0.1倍速的方式，甚至可以以视频帧逐帧切换的方式来进行播放。如果是录制过程中的预览播放，则用户可以根据拍摄过程中，被拍摄对象的实际动作，或者根据用户与被拍摄对象之间的互动，来灵活选择定格帧。
可以理解的是，终端可以根据预定操作指令来确定定格帧，当检测到用户的操作指令为预定操作指令时，则终端可以确定需要将当前显示的视频帧作为定格帧。这里，预定操作指令可以是预定手势的触控指令，如点击、双击、向上滑动、向下滑动或者不规则滑动等触控操作的指令；也可以是案件操作指令，如音量键、开关机键同时按下等；还可以是语音输入指令等等。
如此，无论终端在录制视频还是播放已有的视频文件，用户都可以通过简单的操作实现定格帧的选择，并完成“定格分身”特效的制作，操作简单便捷。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个定格帧，包括：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
在本实施例中，终端可根据预定时长间隔来自动选择定格帧，例如，预定时长间隔为10秒，那么在视频录制或者视频文件播放的过程中，终端每隔10秒将播放到的视频帧作为定格帧。
当然，这种方式也可以不在播放或者预览过程中进行，由于视频的各视频帧在播放时的频率是固定的，因此无需播放也可以确定预定时长间隔的视频帧之间间隔的视频帧数量。也就是说，可以直接根据视频帧数量的间隔，直接确定视频文件中的各定格帧。例如，视频的播放频率为每秒30帧，上述预定时长间隔为10秒，那么可以将视频中每隔300帧确定一个定格帧。
如此，通过简单的设定，就可以通过终端自动完成定格帧的选择，无需反复观看视频进行选择，更不需要精准地用户操作。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个定格帧，包括：
确定所述视频的视频帧中的所述目标对象的姿态；
如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
在本公开实施例中，还可通过视频的内容进行自动化的选择。通过检测视频帧中目标对象的姿态，来确定选择的定格帧。对于不同类型的视频，可以实现个性化地自动选择。
在进行定格分身的视频特效拍摄的过程中，被拍摄对象和用户可以自主摆拍作为定格分身的动作。也就是说，被拍摄对象在移动过程中，可以在希望产生定格分身效果的时候，摆出特定的姿态，并且暂停移动一段时间，然后再继续移动。
这样，终端可根据拍摄画面中目标对象的姿态是否在连续N个视频帧中保持不变，来选择定格帧。
可以理解的是，由于被拍摄对象可能无法在暂停移动的N个视频帧中保持完全不变的姿态，因此，这里的“相同姿态”可以理解为没有产生超出预定范围的移动，而不限于目标对象的轻微晃动或者眨眼、手指摆动等身体部分的小幅度移动。
如此，通过识别目标对象的姿态来选择定格帧，既不需要用户进行手动选择，又能够实现针对视频内容自动的个性化选择，提升了视频制作过程中的灵活性和自动化程度，提供了更好的人机交互体验。
在一些实施例中，所述在所述视频的视频帧中，选择至少一个定格帧，包括：
确定所述视频帧中的所述目标对象的位置；
如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则确定当前的视频帧为所述定格帧。
与上一实施例中的方式类似，在本实施例中，同样根据视频画面来进行定格帧的选择，根据各视频帧中目标对象的位置，选择固定距离的目标对象所在的视频帧为定格帧。例如，每当目标对象的位置与上一定格帧的位置为预定的距离时，就选择当前的视频帧作为定格帧，从而可以使得多个定格在视频画面中均匀分布。
需要说明的是，在本公开实施例中的上述几种选择定格帧的方式，在实际应用中可以固定使用其中一种，也可以根据用户的设定随时切换，还可以在同一视频的制作中同时使用上述几种方式进行选择。如此，能够实现更加多样化的操作，自动与手动相结合，便于制作出更加丰富的特效效果。
在一实施例中，在视频开始录制前，显示提示信息；提示信息用于提示用户是否开启自动选择定格帧的功能。如果接收到的用户指令确定开启自动选择定格帧功能，则在录制过程中，根据上述至少一种方式进行自动选择。上述至少一种方式包括：根据目标对象的位置、姿态或者视频中预定时长间隔自动选择定格帧。
在另一实施例中，可在视频开始录制前，根据用户指令确定是否开启录制过程中制作特效帧的功能；如果开启制作特效帧的功能，则显示上述提示信息。
如此，用户可根据实际需求、期望拍摄视频的类型以及内容，来选择是否开启自动选择定格帧以及使用哪种方式来进行自动选择。当然，用户还可在视频开始录制前，确定是否通过手动选择的方式来选择定格帧。还可将手动选择的方式作为默认方式，只要开启录制过程中的制作特效帧的功能，就默认采用手动选择的方式来确定定格帧。
在一些实施例中，所述方法还包括：
根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述将至少一个视频帧中的所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧中，生成同时包含所述目标对象所在的两个主体区域的特效帧，包括：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
在本公开实施例中，确定定格帧之后，可将定格帧的目标对象所在的主体区域覆盖在定格帧之后的各视频帧中，从而实现“定格”的效果。而背景区域则不需要进行覆盖，这样，除了“定格分身”所在的区域，其他区域仍然随着视频的播放变化，从而产生视觉上超越实际物理规律的不真实感，带来特效的视觉冲击。
可以理解的是，主体区域进行覆盖生成特效帧的过程中，需要将主体区域覆盖在特效帧的指定位置，才能够实现在连续的视频中，主体区域的定格效果。因此，这里根据目标对象在原始的视频帧也就是定格帧中的位置，来确定主体区域的对齐参数。在后续生成特效帧的过程中，可以根据主体区域的对齐参数，来确定覆盖主体区域的位置，从而使得特效帧上“定格分身”的位置与定格帧中的目标对象的位置一致。
在一些实施例中，所述根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数，包括：
在所述视频的视频帧中，选择一个视频帧作为基准帧；
根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
上述对齐参数可以根据视频的基准帧作为参考来确定，例如，选择视频帧中的第一帧，或者第一个定格帧等作为基准帧，然后根据后续定格帧与基准帧的目标对象相对于基准帧的位置偏移量，来确定相应的对齐参数。这样，每个定格帧的对齐参数都是根据视频的基准帧的相对位置确定的，从而保持不同视频帧中目标对象位置的连续性。
也就是说，本申请实施例使用相对位置关系而非视频画面整体的绝对位置，这样，可以减少由于画面抖动等情况带来的位置偏差，从而使得特效帧的画面更加顺畅。如此，即使用户直接手持终端进行拍摄，存在一些抖动也不会影响特效帧的画面效果，无需使用三脚架等固定工具固定终端。
在一些实施例中，所述第二视频帧，包括：所述定格帧之前的视频帧；如图3所示，上述步骤S102中，所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
步骤S301、将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
在上述实施例中，可以在视频录制过程中，或者播放已完成录制的视频文件的过程中，显示出“定格分身”逐渐增多的特效效果。
在本公开实施例中，对于已完成录制的视频文件，还可以进行后期的特效调整。实现“定格减少”的特效效果。
由于视频初期制作或者录制的过程中，已经通过上述实施例中的方法确定了多个定格帧，因此，在进行后期播放的过程中，可以在不同位置的视频帧中调整覆盖的定格帧的主体区域。例如，在定格帧之前的视频帧中覆盖定格帧的主体区域，而在定格帧之后的视频帧中，不再覆盖定格帧的主体区域。
这样，在视频画面一开始，显示多个固定不动的目标对象，然后在视频播放的过程中，随着目标对象的移动，逐渐减少“定格分身”。也就是每当目标对象移动至“定格分身”所在的位置时，该“定格分身”消失，并随着目标对象继续移动。
如此，可以利用终端制作出不同的特效效果，使得视频具有更强的趣味性，便于拍摄出更加丰富的视频作品。
本公开实施例还提供如下示例：
定格分身特效是通过视频的编辑制作，使同一人物的多个定格影像同时出现在视频画面中，并且可以随着人物的位置变化增加或减少定格。
在本公开实施例中，使用人工智能技术，包括视频画面的目标识别以及图像分割技术等，实现对视频画面中目标对象的主体区域的识别。并通过对齐技术自动计算主体区域的位置以及覆盖的时间点等。如此，能够在拍摄过程中实时预览视频结果，快速生成带有特效画面的视频。通过手机等用户终端就能够直接获得影片，无需专业人员使用后期视频编辑工具，制作成本低、时间短且应用范围广泛。
此外，本申请实施例中采用与基准帧的相对位置确定主体区域的对齐参数的方法，能够减少由于拍摄过程中抖动带来的位置偏差，因此可以实现手持拍摄，无需三脚架等固定工具。
在本公开实施例中，利用终端录制上述带有定格分身特效的视频的流程如图4所示，包括以下步骤：
步骤S401、打开相机功能后在预览界面显示预览画面；
步骤S402、根据接收到的指令进入录制状态，开始录制视频画面；
步骤S403、在预览界面显示录制的视频画面，以及生成的特效帧，实现效果预览；
步骤S404、根据接收到的切换指令切换定格分身模式，在定格分身模式下预览显示特效帧，在非定格分身模式下，预览显示原始视频帧；
步骤S405、保存视频帧以及特效帧，得到视频文件。
上述制作特效帧的过程可由如图5所示的流程图来实现。如果当前处理的视频为第一帧，则锁定第一帧的拍摄参数。拍摄参数包括但不限于：ISO、曝光时间、对焦距离以及白平衡参数等。同时，初始化定格选择模块，为选择定格帧提供选择方法以及存储空间等。此外，还可将第一帧确定为基准帧，并根据基准帧生成用于后续确定目标对象位置的对齐模块。
如果当前处理的视频帧为第一帧之后的任一帧，如，第i帧，则使用图像分割技术，获取该帧的目标对象所在的主体区域mask i。使用对齐模块确定该帧中目标对象的对齐参数Wi。
将当前帧的序号i与主体区域mask i加入定格选择模块，定格选择模块根据预设的选择规则判断是否将当前帧或者之前的某一帧添加为新的定格帧。选择规则可包括以下几种：
第一、根据时间进行选择，例如每隔1秒自动添加当前帧为一个定格帧；
第二、根据接收到的用户操作来选择，如，触控屏接收到用户点击操作时，将点击时的视频帧选择为定格帧；
第三、根据目标对象在视频帧中的位置，自动选择定格帧。例如，每当目标对象的位置与上一定格帧的位置为预定的距离时，就选择当前的视频帧作为定格帧，从而可以使得多个定格在视频画面中均匀分布；
第四、根据目标对象在视频中的位置与时间，自动选择定格帧。例如，当连续N个视频帧中目标对象停留在一个位置，则选择这N个视频帧中的一个作为定格帧，从而可以根据被拍摄者的意愿实现自动定格。
选择定格帧之后，可以通过各定格帧中目标对象的对齐参数，将目标对象的主体区域mask绘制到定格帧之后的各视频帧中，从而生成带有多个定格分身的特效帧。
在本公开实施例中，可以在录制结束后，对视频进行处理，生成特效效果，包括定格增加以及定格减少的不同效果。定格减少的效果如图6A所示，通过将定格帧中的目标对象所在的主体区域，覆盖在定格帧之前的各视频帧中，实现播放过程成定格逐渐减少的效果。定格增加的效果如图6B所示，通过将定格帧中的目标对象所在的主体区域，覆盖在定格帧之后的各视频帧中，实现播放过程中定格逐渐增多的效果。
通过本公开实施例的技术方案，通过人工智能技术将复杂的视频特效编辑算法隐藏到终端的产品功能中，在拍摄过程中用户能够实时预览合成的特效效果，随时根据预览的反馈及时对拍摄过程进行调整，拍摄完成后即可获得带有特效的视频文件，从而有效提升了用户的使用体验。
图7是根据一示例性实施例示出的一种视频处理装置的结构框图，如图7所示，所述装置700应用于终端，包括：
第一确定模块701，用于确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
生成模块702，用于将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
在一些实施例中，所述第一确定模块，包括：
识别子模块，用于识别视频的视频帧中的目标对象；
第一确定子模块，用于根据所述目标对象，确定所述主体区域及所述背景区域。
在一些实施例中，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；
所述生成模块，包括：
第一选择子模块，用于在所述视频的视频帧中，选择至少一个所述定格帧；
生成子模块，用于将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
在一些实施例中，所述第一选择子模块，包括：
检测子模块，用于在所述视频播放的过程中，检测预定操作指令；
第二确定子模块，用于确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
在一些实施例中，所述第一选择子模块，具体用于：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
在一些实施例中，所述第一选择子模块，包括：
第三确定子模块，用于确定所述视频的视频帧中的所述目标对象的姿态；
第二选择子模块，用于选择如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
在一些实施例中，所述第一选择子模块，包括：
第四确定子模块，用于确定所述视频帧中的所述目标对象的位置；
第五确定子模块，如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则用于确定当前的视频帧为所述定格帧。
在一些实施例中，所述装置还包括：
第二确定模块，用于根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述生成模块，具体用于：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
在一些实施例中，所述第二确定模块，包括：
第三选择子模块，用于在所述视频的视频帧中，选择一个视频帧作为基准帧；
第六确定子模块，用于根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
在一些实施例中，所述第二视频帧，包括：所述定格帧之前的视频帧；所述生成模块，具体用于：
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种终端800的框图。例如，终端800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图8，终端800可以包括以下一个或多个组件：处理组件801，存储器802，电源组件803，多媒体组件804，音频组件805，输入/输出(I/O)接口806，传感器组件807，以及通信组件808。
处理组件801通常控制终端800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件801可以包括一个或多个处理器810来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件801还可以包括一个或多个模块，便于处理组件801和其他组件之间的交互。例如，处理组件801可以包括多媒体模块，以方便多媒体组件804和处理组件801之间的交互。
存储器810被配置为存储各种类型的数据以支持在终端800的操作。这些数据的示例包括用于在终端800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件803为终端800的各种组件提供电力。电源组件803可以包括：电源管理系统，一个或多个电源，及其他与为终端800生成、管理和分配电力相关联的组件。
多媒体组件804包括在所述终端800和用户之间提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件804包括一个前置摄像头和/或后置摄像头。当终端800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和/或后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件805被配置为输出和/或输入音频信号。例如，音频组件805包括一个麦克风(MIC)，当终端800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器810或经由通信组件808发送。在一些实施例中，音频组件805还包括一个扬声器，用于输出音频信号。
I/O接口806为处理组件801和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件807包括一个或多个传感器，用于为终端800提供各个方面的状态评估。例如，传感器组件807可以检测到终端800的打开/关闭状态、组件的相对定位，例如所述组件为终端800的显示器和小键盘，传感器组件807还可以检测终端800或终端800的一个组件的位置改变，用户与终端800接触的存在或不存在，终端800方位或加速/减速和终端800的温度变化。传感器组件807可以包括接近传感器，被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件807还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件807还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件808被配置为便于终端800和其他设备之间有线或无线方式的通信。终端800可以接入基于通信标准的无线网络，如WiFi、2G或3G，或它们的组合。在一个示例性实施例中，通信组件808经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件808还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
在示例性实施例中，终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器802，上述指令可由终端800的处理器810执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任一实施例所提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种视频处理方法，其特征在于，所述方法应用于终端，包括：
确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
2.根据权利要求1所述的方法，其特征在于，所述确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域，包括：
识别视频的视频帧中的目标对象；
根据所述目标对象，确定所述主体区域及所述背景区域。
3.根据权利要求1所述的方法，其特征在于，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；
所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
在所述视频的视频帧中，选择至少一个所述定格帧；
将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
4.根据权利要求3所述的方法，其特征在于，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
在所述视频播放的过程中，检测预定操作指令；
确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
5.根据权利要求3所述的方法，其特征在于，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
6.根据权利要求3所述的方法，其特征在于，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
确定所述视频的视频帧中的所述目标对象的姿态；
如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
7.根据权利要求3所述的方法，其特征在于，所述在所述视频的视频帧中，选择至少一个所述定格帧，包括：
确定所述视频帧中的所述目标对象的位置；
如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则确定当前的视频帧为所述定格帧。
8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：
根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述将具有所述目标对象的至少一个视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数，包括：
在所述视频的视频帧中，选择一个视频帧作为基准帧；
根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
10.根据权利要求1所述的方法，其特征在于，所述将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧，包括：
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
11.一种视频处理装置，其特征在于，所述装置应用于终端，包括：
第一确定模块，用于确定视频中的视频帧中目标对象所在的主体区域及主体区域以外的背景区域；
生成模块，用于将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在具有所述目标对象的至少一个第二视频帧中，生成同时包含所述目标对象所在的至少两个主体区域的特效帧。
12.根据权利要求11所述的装置，其特征在于，所述第一确定模块，包括：
识别子模块，用于识别视频的视频帧中的目标对象；
第一确定子模块，用于根据所述目标对象，确定所述主体区域及所述背景区域。
13.根据权利要求11所述的装置，其特征在于，所述第一视频帧，包括：定格帧；所述第二视频帧，包括：所述定格帧之后的视频帧；
所述生成模块，包括：
第一选择子模块，用于在所述视频的视频帧中，选择至少一个所述定格帧；
生成子模块，用于将所述定格帧的所述主体区域，覆盖在所述第二视频帧中，生成所述特效帧。
14.根据权利要求13所述的装置，其特征在于，所述第一选择子模块，包括：
检测子模块，用于在所述视频播放的过程中，检测预定操作指令；
第二确定子模块，用于确定检测到所述预定操作指令时显示的视频帧为所述定格帧。
15.根据权利要求13所述的装置，其特征在于，所述第一选择子模块，具体用于：
选择所述视频中预定时长间隔的视频帧，作为所述定格帧。
16.根据权利要求13所述的装置，其特征在于，所述第一选择子模块，包括：
第三确定子模块，用于确定所述视频的视频帧中的所述目标对象的姿态；
第二选择子模块，用于选择如果在连续N个所述视频帧中，所述目标对象的姿态为相同姿态，则在所述连续N个视频帧中选择一个所述视频帧作为所述定格帧；其中，所述N为大于或等于2的正整数。
17.根据权利要求13所述的装置，其特征在于，所述第一选择子模块，包括：
第四确定子模块，用于确定所述视频帧中的所述目标对象的位置；
第五确定子模块，如果所述目标对象的位置与上一定格帧中的目标对象的位置之间的距离为预定距离，则用于确定当前的视频帧为所述定格帧。
18.根据权利要求11至17任一所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于根据所述目标对象在所述第一视频帧中的位置，确定主体区域的对齐参数；其中，所述对齐参数，用于确定所述主体区域在所述特效帧中的目标位置；
所述生成模块，具体用于：
根据所述对齐参数，将所述主体区域，覆盖在所述目标对象所在视频帧以外的至少一个视频帧的所述目标位置，生成同时包含所述目标对象所在的两个主体区域的特效帧。
19.根据权利要求18所述的装置，其特征在于，所述第二确定模块，包括：
第三选择子模块，用于在所述视频的视频帧中，选择一个视频帧作为基准帧；
第六确定子模块，用于根据所述视频帧中目标对象相对于所述基准帧中目标对象的位置偏移量，确定所述对齐参数。
20.根据权利要求11所述的装置，其特征在于，所述生成模块，具体用于：
将具有所述目标对象的至少一个第一视频帧中的所述主体区域，覆盖在所述第一视频帧之前的至少一个第二视频帧中，生成所述特效帧。
21.一种终端的通信装置，其特征在于，所述装置至少包括：处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：
处理器用于运行所述可执行指令时，所述可执行指令执行上述权利要求1至10任一项提供的视频处理方法中的步骤。
22.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述权利要求1至10任一项提供的视频处理方法中的步骤。
CN202010737025.5A 2020-07-28 2020-07-28 视频处理方法及装置、存储介质 Pending CN111832539A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010737025.5A CN111832539A (zh) 2020-07-28 2020-07-28 视频处理方法及装置、存储介质
JP2021075819A JP7279108B2 (ja) 2020-07-28 2021-04-28 ビデオ処理方法及び装置、記憶媒体
KR1020210054745A KR102457864B1 (ko) 2020-07-28 2021-04-28 비디오 처리 방법 및 장치, 단말 통신 장치 및 저장 매체
US17/244,919 US11770497B2 (en) 2020-07-28 2021-04-29 Method and device for processing video, and storage medium
EP21171253.4A EP3945490B1 (en) 2020-07-28 2021-04-29 Method and device for processing video, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737025.5A CN111832539A (zh) 2020-07-28 2020-07-28 视频处理方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN111832539A true CN111832539A (zh) 2020-10-27

Family

ID=72925792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737025.5A Pending CN111832539A (zh) 2020-07-28 2020-07-28 视频处理方法及装置、存储介质

Country Status (5)

Country Link
US (1) US11770497B2 (zh)
EP (1) EP3945490B1 (zh)
JP (1) JP7279108B2 (zh)
KR (1) KR102457864B1 (zh)
CN (1) CN111832539A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822419A (zh) * 2021-01-28 2021-05-18 上海盛付通电子支付服务有限公司 一种用于生成视频信息的方法与设备
CN113223012A (zh) * 2021-04-30 2021-08-06 北京字跳网络技术有限公司 视频处理方法、设备及电子设备
CN114697723A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 一种视频生成方法、装置及介质
WO2023030177A1 (zh) * 2021-09-06 2023-03-09 上海商汤智能科技有限公司 视频处理方法、装置、计算机可读存储介质及计算机设备
WO2023036160A1 (zh) * 2021-09-07 2023-03-16 上海商汤智能科技有限公司 视频处理方法、装置、计算机可读存储介质及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094194A1 (en) * 2015-09-28 2017-03-30 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria
CN108737852A (zh) * 2018-04-26 2018-11-02 深圳天珑无线科技有限公司 一种视频处理方法、终端、具有存储功能的装置
CN110225241A (zh) * 2019-04-29 2019-09-10 努比亚技术有限公司 一种视频拍摄控制方法、终端及计算机可读存储介质
CN110458820A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种多媒体信息植入方法、装置、设备及存储介质
CN111065001A (zh) * 2019-12-25 2020-04-24 广州酷狗计算机科技有限公司 视频制作的方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344946A (ja) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd 監視装置
JP4131929B2 (ja) * 2002-12-03 2008-08-13 株式会社東芝 オブジェクト画像合成方法
JP5196230B2 (ja) * 2006-12-22 2013-05-15 富士フイルム株式会社 出力装置、出力方法、及びプログラム
JP2010183370A (ja) * 2009-02-05 2010-08-19 Sanyo Electric Co Ltd 画像再生装置
US20120002112A1 (en) * 2010-07-02 2012-01-05 Sony Corporation Tail the motion method of generating simulated strobe motion videos and pictures using image cloning
KR101316848B1 (ko) * 2011-12-27 2013-10-10 중앙대학교 산학협력단 배경 합성을 위한 자동 객체 분할 장치 및 방법
JP2013162333A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2018180039A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094194A1 (en) * 2015-09-28 2017-03-30 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria
CN108737852A (zh) * 2018-04-26 2018-11-02 深圳天珑无线科技有限公司 一种视频处理方法、终端、具有存储功能的装置
CN110225241A (zh) * 2019-04-29 2019-09-10 努比亚技术有限公司 一种视频拍摄控制方法、终端及计算机可读存储介质
CN110458820A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种多媒体信息植入方法、装置、设备及存储介质
CN111065001A (zh) * 2019-12-25 2020-04-24 广州酷狗计算机科技有限公司 视频制作的方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697723A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 一种视频生成方法、装置及介质
CN114697723B (zh) * 2020-12-28 2024-01-16 北京小米移动软件有限公司 一种视频生成方法、装置及介质
CN112822419A (zh) * 2021-01-28 2021-05-18 上海盛付通电子支付服务有限公司 一种用于生成视频信息的方法与设备
CN113223012A (zh) * 2021-04-30 2021-08-06 北京字跳网络技术有限公司 视频处理方法、设备及电子设备
WO2022227918A1 (zh) * 2021-04-30 2022-11-03 北京字跳网络技术有限公司 视频处理方法、设备及电子设备
CN113223012B (zh) * 2021-04-30 2023-09-29 北京字跳网络技术有限公司 视频处理方法、设备及电子设备
WO2023030177A1 (zh) * 2021-09-06 2023-03-09 上海商汤智能科技有限公司 视频处理方法、装置、计算机可读存储介质及计算机设备
WO2023036160A1 (zh) * 2021-09-07 2023-03-16 上海商汤智能科技有限公司 视频处理方法、装置、计算机可读存储介质及计算机设备

Also Published As

Publication number Publication date
US11770497B2 (en) 2023-09-26
KR20220014278A (ko) 2022-02-04
EP3945490B1 (en) 2024-08-21
JP7279108B2 (ja) 2023-05-22
EP3945490A1 (en) 2022-02-02
US20220038642A1 (en) 2022-02-03
KR102457864B1 (ko) 2022-10-24
JP2022024993A (ja) 2022-02-09

Similar Documents

Publication Publication Date Title
CN109120981B (zh) 信息列表展示方法、装置及存储介质
CN109600659B (zh) 播放视频时的操作方法、装置、设备及存储介质
CN106791893B (zh) 视频直播方法及装置
CN109151537B (zh) 视频处理方法、装置、电子设备及存储介质
CN111832539A (zh) 视频处理方法及装置、存储介质
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
US20170344192A1 (en) Method and device for playing live videos
CN109257645B (zh) 视频封面生成方法及装置
EP3136391B1 (en) Method, device and terminal device for video effect processing
US11310443B2 (en) Video processing method, apparatus and storage medium
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
CN109660873B (zh) 基于视频的交互方法、交互装置和计算机可读存储介质
CN110636382A (zh) 在视频中添加可视对象的方法、装置、电子设备及存储介质
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN110636383A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN106954093B (zh) 全景视频处理方法、装置及系统
CN112261453A (zh) 一种传输字幕拼接图的方法、装置及存储介质
CN114697700B (zh) 视频剪辑方法、视频剪辑装置及存储介质
CN114282022A (zh) 多媒体编辑方法、装置、电子设备及存储介质
CN112764636A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
CN111182362A (zh) 视频的控制处理方法及装置
CN110636377A (zh) 视频处理方法、装置、存储介质、终端及服务器
CN108769780B (zh) 广告播放方法和装置
CN108159686B (zh) 投影设备投影的方法、装置及存储介质
CN114697517A (zh) 视频处理方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination