CN113114946B - 视频的处理方法、装置、电子设备及存储介质 - Google Patents
视频的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113114946B CN113114946B CN202110419872.1A CN202110419872A CN113114946B CN 113114946 B CN113114946 B CN 113114946B CN 202110419872 A CN202110419872 A CN 202110419872A CN 113114946 B CN113114946 B CN 113114946B
- Authority
- CN
- China
- Prior art keywords
- video
- information
- adjacent frames
- weighting coefficient
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 113
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Television Systems (AREA)
Abstract
本申请提供一种视频的处理方法、装置、电子设备及存储介质,通过依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率;依据视频亮度信息对应的抖动程度,对第二视频信息进行抖动处理,得到处理后的视频信息。本申请通过对视频亮度进行调整后,再对其进行帧率调整,从而降低了视频中的抖动效果,提高视频的清晰度且使得视频不抖动。同时,为了避免画面清晰不抖动后,视频的真实感下降,在帧率调整后的视频中还进行了抖动处理,使得抖动处理后的视频的真实感提高。
Description
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频的处理方法、装置、电子设备及存储介质。
背景技术
目前,为了降低视频的拍摄成本,采用常规拍摄设备所拍摄的视频的帧率较低,例如,视频帧率通常为每秒24帧。
然而,对于低帧率的视频而言,当所拍摄的物体移动速度较快时,此时拍摄出的视频抖动加剧,影响人们的观影体验。并且,当视频的亮度越高时,人眼所观测到的视频抖动越明显。
为了避免现有的低帧率视频中的抖动带来的影响,本申请提出一种视频处理方法、装置、电子设备及存储介质来解决上述问题。
发明内容
本申请提供一种视频的处理方法、装置、电子设备及存储介质,用以解决现有技术中视频中的运动物体常出现抖动从而影响观众观影效果的问题。
本申请第一方面提供一种视频的处理方法,所述方法包括:
依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;
对所述第一视频信息进行帧率调整,得到第二视频信息,其中所述第二视频信息的帧率大于所述第一视频信息的帧率;
依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,得到处理后的视频信息,其中,所述视频亮度信息与所述抖动程度满足视频亮度信息越大则抖动程度越小的关系。
一种可能的实现方式中,所述对所述第一视频信息进行帧率调整,得到第二视频信息,包括:
根据所述第二视频信息的帧率和所述第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量;
针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和所述运动矢量,获得该相邻两帧图像信息之间的待插入帧;
依据各相邻两帧图像信息之间的待插入帧,对所述第一视频信息进行插帧处理,得到第二视频信息。
一种可能的实现方式中,依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,包括:
根据所述第二视频信息,确定需进行抖动处理的视频段;
依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应所述视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;所述第一加权系数的取值范围为大于等于0且小于等于1;
根据所述视频段中各组相邻帧对应的第一加权系数,对所述各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量;
根据所述视频段中各组相邻帧的数量,计算所述第一待分配矢量分配至每组相邻帧的平均矢量,并根据所述平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
一种可能的实现方式中,依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,包括:
根据所述第二视频信息,确定需进行抖动处理的视频段;
依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的第二加权系数,所述第二加权系数的取值范围为大于等于0且小于等于1;所述抖动程度和所述第二加权系数满足抖动程度越小则所述第二加权系数越大的关系;
计算所述第二加权系数与所述各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量;
根据所述视频段中各组相邻帧的数量,计算所述第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
第二方面,本申请提供一种视频的处理装置,所述装置包括:
第一处理单元,用于依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;
调整单元,用于对所述第一视频信息进行帧率调整,得到第二视频信息,其中所述第二视频信息的帧率大于所述第一视频信息的帧率;
第二处理单元,用于依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,得到处理后的视频信息,其中,所述视频亮度信息与所述抖动程度满足视频亮度信息越大则抖动程度越小的关系。
一种可能的实现方式中,调整单元包括:第一确定模块,用于根据所述第二视频信息的帧率和所述第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量;
第二确定模块,用于针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和所述运动矢量,获得该相邻两帧图像信息之间的待插入帧;
获取模块,用于依据各相邻两帧图像信息之间的待插入帧,对所述第一视频信息进行插帧处理,得到第二视频信息。
一种可能的实现方式中,第二处理单元,包括:
第四确定模块,用于根据所述第二视频信息,确定需进行抖动处理的视频段;
第五确定模块,用于依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应所述视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;所述第一加权系数的取值范围为大于等于0且小于等于1;
第六确定模块,用于根据所述视频段中各组相邻帧对应的第一加权系数,对所述各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量;
调整模块,用于根据所述视频段中各组相邻帧的数量,计算所述第一待分配矢量分配至每组相邻帧的平均矢量,并根据所述平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
一种可能的实现方式中,第二处理单元,包括:
第七确定模块,用于根据所述第二视频信息,确定需进行抖动处理的视频段;
第八确定模块,用于依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的第二加权系数,所述第二加权系数的取值范围为大于等于0且小于等于1;所述抖动程度和所述第二加权系数满足抖动程度越小则所述第二加权系数越大的关系;
计算模块,用于计算所述第二加权系数与所述各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量;
更新模块,用于根据所述视频段中各组相邻帧的数量,计算所述第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
第三方面,本申请提供一种电子设备,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于根据所述可执行指令执行如第一方面任一项所述的方法。
第四方面,本申请一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本申请提供的视频的处理方法、装置、电子设备及存储介质,通过依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率;依据视频亮度信息对应的抖动程度,对第二视频信息进行抖动处理,得到处理后的视频信息。本申请通过对视频亮度进行调整后,再对其进行帧率调整,从而降低了视频中的抖动效果,提高视频的清晰度且使得视频不抖动。同时,为了避免画面清晰不抖动后,视频的真实感下降,在帧率调整后的视频中还进行了抖动处理,使得抖动处理后的视频具有真实感提高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请的提供的一种应用场景示意图;
图2为本申请实施例提供的一种视频的处理方法的流程示意图;
图3为本申请实施例提供的一种视频帧率调整方法的流程示意图;
图4为本申请实施例提供的又一种视频处理方法的流程示意图;
图5为本申请实施例提供的一种视频的处理装置的结构示意图;
图6为本申请实施例提供的又一种视频的处理装置的结构示意图;
图7为本申请实施例提供的另一种视频的处理装置的结构示意图;
图8为本申请实施例中提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1为本申请的提供的一种应用场景示意图。其中,拍摄设备用于对待拍摄的物体进行拍摄,得到原始视频信息。之后将原始视频信息发送至视频处理平台,经过视频处理平台的处理(例如,剪辑、添加字幕、图像渲染等处理),其中,该视频处理平台可以为云端的服务器,此处不做限制。将处理后的视频发送至播放设备(例如,电视、手机、影院播放设备等),播放设备接收到处理后的视频之后,进行视频播放。进而使得处理后的视频让观众有更好的观影体验。
目前,为了降低视频的拍摄成本,采用常规拍摄设备所拍摄的视频的帧率较低,例如,视频帧率通常为每秒24帧。然而,对于低帧率的视频而言,当所拍摄的物体移动速度较快时(例如,在拍摄人类追逐或者打斗的场景时),此时利用常规拍摄设备所拍出的视频抖动明显,影响人们的观影体验。并且,在低帧率视频中,若低帧率视频的亮度越高时,基于人眼的观测特性,人眼所观测到的视频抖动效果就越明显,当显示屏幕亮度大幅提高后,这种抖动就会给人带来不适。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的一种视频的处理方法的流程示意图。如图2所示,该方法包括:
S101、依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息。
示例性地,在现实世界中,由于人眼所能观察到的物体的亮度可以达到上万尼特,然而在播放视频时,尤其是在影院中播放电影视频时,由于大多数影院的视频播放亮度仅支持48尼特。因此,通常用户在影院观看的视频的亮度均被压缩至了48尼特。在该亮度范围下,由于与现实世界中物体的亮度信息相对比,影片的亮度范围被压缩,导致影片中的明暗对比度下降,进而人们无法从影片中感受到真实的场景。因此,为了提高用户的观影体验,使得用户在观看影片时更具有真实感,通过对原始视频进行HDR(High-Dynamic Range,高动态范围图像)处理,进而增大视频的动态范围,使得得到的第一视频信息的亮度可以提升至预设的亮度信息。此外,在提高原始视频图像亮度的同时,HDR处理技术还可以提高原始视频图像的对比度,从而使得视频中的明亮对比更加明显,人们所观测到的视频更加真实细腻。例如,对于包括火灾现场的原始视频信息,若火灾发生在夜间,此时,该段视频经过HDR处理之后,可以将火灾现场的火焰与火灾浓烟覆盖的地方产生鲜明对比,且更加接近真实世界中的场景。
具体的,对原始视频进行HDR处理的具体过程与现有技术中的方法类似,此处不做具体说明。此外,本步骤中的预设的亮度信息,可以依据人为经验设置;也可以依据播放设备的播放要求设置。
S102、对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率。
示例性地,为了避免低帧率视频中的视频抖动过大造成用户观影体验下降的问题,可以将所得到的第一视频信息进行帧率调整,使得调整后得到的第二视频信息的帧率高于第一视频信息的帧率,即对第一视频信息进行升帧处理。
一个示例中,为了对第一视频信息进行帧率调整,具体的可以采用预先训练好的模型,将待插入帧的前帧图像与后帧图像输入至预先训练好的模型中,并且同时设置待插入帧的数量,进而通过模型得到待插入帧的图像信息。将所得到的待插入帧的图像信息插入前帧图像与后帧图像之间,从而得到第二视频信息。
S103、依据视频亮度信息对应的抖动程度,对第二视频信息进行抖动处理,得到处理后的视频信息,其中,视频亮度信息与抖动程度满足视频亮度信息越大则抖动程度越小的关系。
示例性地,经过步骤102处理之后得到的第二视频信息,由于进行了帧率处理,使得第二视频中相邻两帧图像分布的变化量降低(其中,变化量包括物体的运动矢量),从而人眼观测到的视频中的抖动消除,并且视频更加清晰。但是由于获取的第二视频信息过于清晰且不抖,且依据用户长期的观影习惯,即习惯了部分运动场景的抖动,因此可以在第二视频信息中,适当添加抖动效果,从而在不影响用户观影效果的情况下又能适应用户的观影习惯。即需要对第二视频信息进行抖动处理,添加抖动效果,满足用户体验,保留用户原始的观影习惯。
具体地,由于视频亮度信息越大,人眼对抖动效果的感官不同,即基于人眼特性,对于同一帧率的视频而言,若该视频的亮度信息值越大则人眼观察到的抖动效果越明显。因此,在进行抖动处理时,需要依据第二视频当前亮度信息对应的抖动程度,来进行抖动处理,即为第二视频添加抖动效果。其中,视频亮度信息与抖动程度满足视频亮度信息越大则抖动程度越小的关系。也就是说,视频亮度信息越大,则添加的抖动效果越小。
其中,视频亮度信息与抖动程度之间的关系,可以通过预先的实验获得,或者也可以依据相关专业人员的经验确定,此处不做具体限制。
一种可能的实施方式中,依据视频亮度信息得到抖动程度时,可以依据抖动程度确定第二视频信息中的相邻两帧图像之间与该抖动程度对应的变化量(例如,运动矢量),从而对相邻两帧图像中的后一帧图像进行修改,之后按照视频的时间顺序依次对每一帧进行修改,进而得到处理后的视频信息。
本实施例中,通过依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率;依据视频亮度信息对应的抖动程度,对第二视频信息进行抖动处理,得到处理后的视频信息。本实施例通过对视频亮度进行调整后,再对其进行帧率调整,从而降低了视频中的抖动效果,提高视频的清晰度且使得视频不抖动。同时,为了避免画面清晰不抖动后,视频的真实感下降,在帧率调整后的视频中还进行了抖动处理,使得抖动处理后的视频的真实感提高,更加符合人的观影习惯。
具体地,在对视频进行帧率调整时,即进行步骤S102时,可以通过以下步骤实现。如图3所示,图3为本申请实施例提供的一种视频帧率调整方法的流程示意图,该方法包括:
S1021、根据第二视频信息的帧率和第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量。
示例性地,在对第一视频信息进行帧率调整时,首先需要依据第一视频信息的帧率以及第二视频信息的帧率,确定第一视频信息中各相邻两帧之间待插入帧的数量。
例如,若第一视频信息的帧率为24帧,第二视频信息的帧率为48帧,则可以确定需要第一视频信息中的各相邻两帧间插入一帧图像。其中,视频的帧率为24帧代表该视频中每秒包括24帧图像。
S1022、针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和运动矢量,获得该相邻两帧图像信息之间的待插入帧。
示例性地,对于第一视频信息中的每一相邻两帧的图像信息,首先确定该相邻两帧图像信息中运动矢量,之后依据获取的运动矢量以及该相邻两帧图像之间的待插入帧的数量,获得该相邻两帧图像信息之间的待插入帧。
一个示例中,可以获取相邻两帧图像中全部图像元素的运动矢量,其中图像元素指组成该帧图像中的元素,例如构成一幅图像中的天空、地面、人等元素。获取每一图像元素的运动矢量之后,依据待插入帧数,对运动矢量进行平均分配,进而依据各相邻两帧图像中的首帧图像信息与平均分配后的运动矢量,依次对每一图像元素的位置调整,获得该相邻两帧图像信息之间的待插入帧。
S1023、依据各相邻两帧图像信息之间的待插入帧,对第一视频信息进行插帧处理,得到第二视频信息。
示例性地,在获取到相邻两帧图像信息之间的待插入帧之后,将待插入帧插入与其对应地相邻的两帧图像之间,得到第二视频信息。
本实例中,提供了一种视频帧率的处理方法,依据处理前后的视频信息的帧数,确定待插入帧的帧数,进而依据第一视频信息中各相邻两帧图像之间的运动矢量以及相邻两帧图像之间待插入帧的帧数,确定待插入帧对应的图像。通过上述视频帧处理的方法,使得提升帧率后的视频相邻两帧间的运动矢量降低,从而避免了低帧率视频中的图像抖动对用户观影造成的影响。
图4为本申请实施例提供的又一种视频处理方法的流程示意图,如图4所示,该方法包括:
S401、依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息。
示例性地,本步骤可以参见图2所示的步骤S101,此处不再赘述。
S402、对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率。
示例性地,本步骤可以参见图2所示的步骤S102,也可以通过图3所示的步骤实现,此处不再赘述。
S403、根据第二视频信息,确定需进行抖动处理的视频段。
示例性地,在对第二视频信息进行抖动处理时,首先可以在第二视频信息中确认需要进行抖动处理的视频段。即在获取到的第二视频信息中,并非所有的视频段都需要进行抖动处理,仅需要对运动程度较大的视频段进行抖动处理即可。因此,在进行抖动处理前,需要确当出需要进行抖动处理的视频段。一种可能的实施方式中,可以依据镜头划分,运动矢量较大的场景一般采用的都是近景镜头或全景镜头,可以现在视频中筛选出近景镜头视频段,在对视频段进行运动矢量变化的分析。运动矢量较大的图像帧所组成的视频段作为需要进行抖动处理的视频段。S404、依据视频亮度信息对应的抖动程度,确定抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;第一加权系数的取值范围为大于等于0且小于等于1。
示例性地,可以依据抖动程度确定视频段中每一组相邻帧之间的运动矢量对应的第一加权系数,进而得到该抖动程度对应的加权系数集合,其中,第一加权系数的取值范围为大于等于0且小于等于1,且每一第一加权系数对应视频段中的至少一组相邻帧。
并且各相邻两帧之间的第一加权系数的取值可以互不相同,也可以部分不同。
在一种可能的实施方式中,在确定抖动程度对应的加权系数集合时,可以依据抖动程度越小,所对应的第一加权系数越大的关系,由抖动程度确定出与其对应的加权系数。之后,令所确定的加权系数集合的平均值满足等于该加权系数的关系,进而确定该加权系数集合。
在另一种可能的实施方式中,在确定抖动程度对应的加权系数集合时,依据每一抖动程度对应一个加权系数的取值范围,且各抖动程度对应的加权系数的取值范围之间互不相交。之后依据抖动程度对应的加权系数取值范围,在该取值范围中选取第一加权系数。
S405、根据视频段中各组相邻帧对应的第一加权系数,对各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量。
示例性地,确定出加权系数集合后,依据各组相邻帧对应的第一加权系数,对各组相邻帧对应运动矢量进行加权求和处理后,得到该视频段的第一待分配矢量。
S406、根据视频段中各组相邻帧的数量,计算第一待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新视频段中各相邻帧之间的运动矢量。示例性地,在确定出第一待分配矢量之后,依据该视频段中,相邻帧的数量对第一待分配矢量进行平均分配,得到每组相邻帧的平均矢量,之后依据计算得到的平均矢量,从该视频段的首帧视频开始,依据该平均矢量对视频段中的视频帧进行更新。
本实施例中,在对视频进行抖动处理前,会首先确定出需要抖动处理的片段。此外,在筛选待处理的视频段时,还可以依据视频段的拍摄镜头划分,在近景或者全景镜头中查找,提高视频的处理速度。并且,抖动程度与运动矢量之间也存在对应关系,可以在依据亮度信息确定出抖动程度之后,依据抖动程度对应的加权系数集合确定该视频段中加权求和后的视频段的运动矢量总和,即第一待分配矢量。之后将第一待分配矢量平均分配。通过上述方法,得到的处理后的视频信息中更加符合人们的观影习惯,并且在确定加权系数集合时,可以依据为不同相邻帧赋予不同的第一加权系数,使得该视频段中重点关注的图像更加凸显,抖动效果添加更为精准。
在另一种示例中,步骤S103也可以采用以下步骤实现:
第一步、根据第二视频信息,确定需进行抖动处理的视频段。
第二步、依据视频亮度信息对应的抖动程度,确定抖动程度对应的第二加权系数,第二加权系数的取值范围为大于等于0且小于等于1;抖动程度和第二加权系数满足抖动程度越小则第二加权系数越大的关系。
第三步、计算第二加权系数与各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量。
第四步、根据视频段中各组相邻帧的数量,计算第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新视频段中各相邻帧之间的运动矢量。
即,在本实施例中,与图4所示的实施例相比,在确定出需要抖动处理的视频段之后,本示例直接确定出与该抖动程度对应的第二加权系数,并且计算该视频段中各相邻两帧图像之间的运动矢量之和,将第二加权系数与运动矢量之和相乘后得到第二待分配矢量,之后,在依据各组相邻帧的数量,得到每组相邻帧的平均矢量,并从视频段的首帧图像开始对该视频段中的每一视频帧进行更新。
本实施例相比于图4所示的实施例,在添加抖动效果时,本实施例的计算量更少,视频处理速度更快。
图5为本申请实施例提供的一种视频的处理装置的结构示意图。如图5所示,该装置包括:
第一处理单元61,用于依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;
调整单元62,用于对第一视频信息进行帧率调整,得到第二视频信息,其中第二视频信息的帧率大于第一视频信息的帧率;
第二处理单元63,用于依据视频亮度信息对应的抖动程度,对第二视频信息进行抖动处理,得到处理后的视频信息,其中,视频亮度信息与抖动程度满足视频亮度信息越大则抖动程度越小的关系。
本实施例提供的装置,用于实现上述方法提供的技术方案,其实现原理和技术效果类似,不再赘述。
图6为本申请实施例提供的又一种视频的处理装置的结构示意图。如图6所示,在图5所示的装置的基础上,调整单元62,包括:
第一确定模块621,用于根据第二视频信息的帧率和第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量;
第二确定模块622,用于针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和运动矢量,获得该相邻两帧图像信息之间的待插入帧;
获取模块623,用于依据各相邻两帧图像信息之间的待插入帧,对第一视频信息进行插帧处理,得到第二视频信息。
一种可能的实现方式中,第二处理单元63,包括:
第四确定模块631,用于根据第二视频信息,确定需进行抖动处理的视频段;
第五确定模块632,用于依据视频亮度信息对应的抖动程度,确定抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;第一加权系数的取值范围为大于等于0且小于等于1;
第六确定模块633,用于根据视频段中各组相邻帧对应的第一加权系数,对各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量;
调整模块634,用于根据视频段中各组相邻帧的数量,计算第一待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新视频段中各相邻帧之间的运动矢量。
图7为本申请实施例提供的另一种视频的处理装置的结构示意图。在图5所示的装置的基础上,第二处理单元63,包括:
第七确定模块635,用于根据第二视频信息,确定需进行抖动处理的视频段;
第八确定模块636,用于依据视频亮度信息对应的抖动程度,确定抖动程度对应的第二加权系数,第二加权系数的取值范围为大于等于0且小于等于1;抖动程度和第二加权系数满足抖动程度越小则第二加权系数越大的关系;
计算模块637,用于计算第二加权系数与各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量;
更新模块638,用于根据视频段中各组相邻帧的数量,计算第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新视频段中各相邻帧之间的运动矢量。本实施例提供的装置,用于实现上述方法提供的技术方案,其实现原理和技术效果类似,不再赘述。
图8为本申请实施例中提供的一种电子设备的结构示意图,如图8所示,该电子设备包括:
处理器(processor)291,电子设备还包括了存储器(memory)292;还可以包括通信接口(Communication Interface)293和总线294。其中,处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器294中的逻辑指令,以执行上述实施例的方法。
此外,上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器292作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本申请实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器292可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器292可以包括高速随机存取存储器,还可以包括非易失性存储器。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现上述实施例提供的方法。
本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述实施例提供的方法
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (6)
1.一种视频的处理方法,其特征在于,所述方法包括:
依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;
对所述第一视频信息进行帧率调整,得到第二视频信息,其中所述第二视频信息的帧率大于所述第一视频信息的帧率;
依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,得到处理后的视频信息,其中,所述视频亮度信息与所述抖动程度满足视频亮度信息越大则抖动程度越小的关系;
依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,包括:
根据所述第二视频信息,确定需进行抖动处理的视频段;
依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应所述视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;所述第一加权系数的取值范围为大于等于0且小于等于1;
根据所述视频段中各组相邻帧对应的第一加权系数,对所述各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量;
根据所述视频段中各组相邻帧的数量,计算所述第一待分配矢量分配至每组相邻帧的平均矢量,并根据所述平均矢量,更新所述视频段中各相邻帧之间的运动矢量;
或者,
根据所述第二视频信息,确定需进行抖动处理的视频段;
依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的第二加权系数,所述第二加权系数的取值范围为大于等于0且小于等于1;所述抖动程度和所述第二加权系数满足抖动程度越小则所述第二加权系数越大的关系;
计算所述第二加权系数与所述视频段中各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量;
根据所述视频段中各组相邻帧的数量,计算所述第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一视频信息进行帧率调整,得到第二视频信息,包括:
根据所述第二视频信息的帧率和所述第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量;
针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和所述运动矢量,获得该相邻两帧图像信息之间的待插入帧;
依据各相邻两帧图像信息之间的待插入帧,对所述第一视频信息进行插帧处理,得到第二视频信息。
3.一种视频的处理装置,其特征在于,所述装置包括:
第一处理单元,用于依据预设的视频亮度信息,对原始视频信息进行高动态范围图像处理,得到处理后的第一视频信息;
调整单元,用于对所述第一视频信息进行帧率调整,得到第二视频信息,其中所述第二视频信息的帧率大于所述第一视频信息的帧率;
第二处理单元,用于依据所述视频亮度信息对应的抖动程度,对所述第二视频信息进行抖动处理,得到处理后的视频信息,其中,所述视频亮度信息与所述抖动程度满足视频亮度信息越大则抖动程度越小的关系;
第二处理单元,包括:
第四确定模块,用于根据所述第二视频信息,确定需进行抖动处理的视频段;
第五确定模块,用于依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的加权系数集合,其中,加权系数集合中包括至少一个第一加权系数,每个第一加权系数对应所述视频段中的至少一组相邻帧,且每组相邻帧对应有一个第一加权系数;所述第一加权系数的取值范围为大于等于0且小于等于1;
第六确定模块,用于根据所述视频段中各组相邻帧对应的第一加权系数,对所述各组相邻帧之间的运动矢量进行加权求和处理,获得第一待分配矢量;
调整模块,用于根据所述视频段中各组相邻帧的数量,计算所述第一待分配矢量分配至每组相邻帧的平均矢量,并根据所述平均矢量,更新所述视频段中各相邻帧之间的运动矢量;
或,
第二处理单元,包括:
第七确定模块,用于根据所述第二视频信息,确定需进行抖动处理的视频段;
第八确定模块,用于依据所述视频亮度信息对应的抖动程度,确定所述抖动程度对应的第二加权系数,所述第二加权系数的取值范围为大于等于0且小于等于1;所述抖动程度和所述第二加权系数满足抖动程度越小则所述第二加权系数越大的关系;
计算模块,用于计算所述第二加权系数与所述视频段中各组相邻帧之间的运动矢量之和的乘积,获得第二待分配矢量;
更新模块,用于根据所述视频段中各组相邻帧的数量,计算所述第二待分配矢量分配至每组相邻帧的平均矢量,并根据平均矢量,更新所述视频段中各相邻帧之间的运动矢量。
4.根据权利要求3所述的装置,其特征在于,所述调整单元,包括:
第一确定模块,用于根据所述第二视频信息的帧率和所述第一视频信息的帧率,确定各相邻两帧图像信息之间的待插入帧的数量;
第二确定模块,用于针对第一视频信息中每一相邻两帧图像信息,确定该相邻两帧图像信息之间的运动矢量,并依据该相邻两帧图像信息之间的待插入帧的数量和所述运动矢量,获得该相邻两帧图像信息之间的待插入帧;
获取模块,用于依据各相邻两帧图像信息之间的待插入帧,对所述第一视频信息进行插帧处理,得到第二视频信息。
5.一种电子设备,其特征在于,包括:存储器,处理器;
存储器用于存储所述处理器可执行指令;
其中,所述处理器,用于根据所述可执行指令执行如权利要求1-2任一项所述的方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110419872.1A CN113114946B (zh) | 2021-04-19 | 2021-04-19 | 视频的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110419872.1A CN113114946B (zh) | 2021-04-19 | 2021-04-19 | 视频的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113114946A CN113114946A (zh) | 2021-07-13 |
CN113114946B true CN113114946B (zh) | 2023-04-18 |
Family
ID=76718773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110419872.1A Active CN113114946B (zh) | 2021-04-19 | 2021-04-19 | 视频的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113114946B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114025202B (zh) * | 2021-11-03 | 2024-05-07 | 抖音视界有限公司 | 视频处理方法、装置及存储介质 |
CN114268703B (zh) * | 2021-12-27 | 2024-10-18 | 安徽淘云科技股份有限公司 | 一种扫描屏幕时的成像调节方法、装置、存储介质及设备 |
CN116193257B (zh) * | 2023-04-21 | 2023-09-22 | 成都华域天府数字科技有限公司 | 一种消除手术视频图像画面抖动的方法 |
CN117115155A (zh) * | 2023-10-23 | 2023-11-24 | 江西拓世智能科技股份有限公司 | 一种基于ai直播的图像分析方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003069961A (ja) * | 2001-08-27 | 2003-03-07 | Seiko Epson Corp | フレームレートの変換 |
US8659701B2 (en) * | 2011-12-19 | 2014-02-25 | Sony Corporation | Usage of dither on interpolated frames |
JP2014187690A (ja) * | 2013-02-25 | 2014-10-02 | Jvc Kenwood Corp | 映像信号処理装置及び方法 |
WO2016054076A1 (en) * | 2014-10-02 | 2016-04-07 | Dolby Laboratories Licensing Corporation | Dual-ended metadata for judder visibility control |
-
2021
- 2021-04-19 CN CN202110419872.1A patent/CN113114946B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113114946A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113114946B (zh) | 视频的处理方法、装置、电子设备及存储介质 | |
CN104980652B (zh) | 图像处理设备和图像处理方法 | |
CN107948733B (zh) | 视频图像处理方法及装置、电子设备 | |
CN108234858B (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
CN110786000B (zh) | 曝光调整方法和装置 | |
KR20160124874A (ko) | 이동 단말 및 그 촬영 방법 | |
CN109413335B (zh) | 一种双重曝光合成hdr图像的方法和装置 | |
CN110225265A (zh) | 视频转播过程中的广告替换方法、系统及存储介质 | |
JP2017537494A (ja) | ジャダー可視性制御のためのデュアルエンドメタデータ | |
US20210211567A1 (en) | Motion ghost resistant hdr image generation method and portable terminal | |
CN105227851B (zh) | 图像处理方法及图像采集装置 | |
CN109151257B (zh) | 一种图像处理的方法及摄像机 | |
CN109729274A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Eilertsen | The high dynamic range imaging pipeline | |
CN108513062B (zh) | 终端的控制方法及装置、可读存储介质和计算机设备 | |
EP2958073A1 (en) | Image processing device, image processing method, and recording medium | |
CN112991163B (zh) | 一种全景图像的获取方法、装置及设备 | |
CN113099132B (zh) | 视频处理方法、装置、电子设备、存储介质及程序产品 | |
CN114466228B (zh) | 一种提高投屏显示流畅度的方法、设备及存储介质 | |
JP4879363B1 (ja) | 画像処理システム | |
US9473716B2 (en) | Image processing method and image processing device | |
US11544830B2 (en) | Enhancing image data with appearance controls | |
CN116389698A (zh) | 一种将球形全景视频投影到异形屏幕的方法及装置 | |
CN116013184A (zh) | 显示画面处理方法、装置、设备及介质 | |
US10499009B1 (en) | Realistic 24 frames per second output from high frame rate content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |