CN113298723A - 视频处理方法、装置、电子设备及计算机存储介质 - Google Patents
视频处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113298723A CN113298723A CN202010654037.1A CN202010654037A CN113298723A CN 113298723 A CN113298723 A CN 113298723A CN 202010654037 A CN202010654037 A CN 202010654037A CN 113298723 A CN113298723 A CN 113298723A
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- frame image
- processing
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 370
- 238000007781 pre-processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 36
- 239000013585 weight reducing agent Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 16
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种视频处理方法、装置、电子设备及计算机存储介质，其中，视频处理方法包括：根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。通过本发明实施例，增强了视频处理的时空一致性，提升视觉效果。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种视频处理方法、装置、电子设备及计算机存储介质。
背景技术
随着多媒体技术的发展，各种各样的多媒体内容已深入人们的工作和生活中，视频便是被人们广泛使用的一种多媒体形式。
为了提升视频的展现效果，通常会应用一些图像增强方法来进行视频处理，提升视频画质。一种常用的方式是，通过调整视频中每帧图像的直方图来进行图像增强。但这类图像增强的方式大多是针对单帧图像的处理，由于人类视觉对视频的时空一致性非常敏感，这些方法直接应用于视频处理时，会引起严重的时空一致性问题，即连续帧间产生的亮度或色彩上的闪烁，引起视觉上的不适。
因此，如何改善这一问题，保证视频的帧间时空上的视觉一致性，避免或减少视觉上亮度或色彩的闪烁，成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种视频处理方案，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种视频处理方法，包括：根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
根据本发明实施例的第二方面，提供了一种视频处理装置，包括：第一确定模块，用于根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；第二确定模块，用于根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；处理模块，用于根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器，用于根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理；显示器，用于显示进行了所述图像增强调整处理后的视频帧图像。
根据本发明实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频处理方法。
根据本发明实施例提供的视频处理方案，对于视频片段中已进行过图像增强预处理的某帧图像，即待处理的视频帧图像，因该预处理只关注于单帧图像自身，因此，会产生时空一致性问题。为解决这一问题，本发明实施例的视频处理方案中，一方面，会根据待处理的视频帧图像中的目标对象与该视频帧图像所属的视频片段中的目标对象的一致性信息，如，是否都包含有相同的目标对象，来为待处理的视频帧图像确定第一处理权重，以通过第一处理权重作为后续对待处理的视频帧图像的处理程度的考量因素；另一方面，因待处理的视频帧图像与所述其它视频帧图像同属于所述视频片段，也即，所述其它视频帧图像可能是待处理的视频帧图像的前后帧图像，可见，待处理的视频帧图像与所述其它视频帧图像之间具有较强的关联关系，以待处理的视频帧图像对应的第一处理权重为基准，为其它视频帧图像确定相应的第二处理权重，充分考虑了时序上相邻的前后视频帧图像序列之间的关联情况，使得第二处理权重的设置更为合理，进而，基于第一处理权重和第二处理权重对待处理的视频帧图像进行图像增强调整处理，使得调整后的待处理的视频帧图像的图像增强充分考虑了其前后视频帧图像的图像增强预处理的效果，使得调整后获得的待处理的视频帧图像的图像增强效果是渐变的和平滑的，减少连续视频帧图像在视觉上的闪动，增强了视频处理的时空一致性，提升视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为根据本发明实施例一的一种视频处理方法的步骤流程图；
图1B为图1A所示实施例中的一种场景示例的示意图；
图2A为根据本发明实施例二的一种视频处理方法的步骤流程图；
图2B为图2A所示实施例中的一种场景示例的示意图；
图3为根据本发明实施例三的一种视频处理装置的结构框图；
图4为根据本发明实施例四的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
图像增强是一种增强图像中的有用信息，以改善图像的视觉效果的技术。将图像增强应用于视频中时，其同样可改善视频中的视频帧图像的视觉效果。但目前对视频进行的图像增强处理，是针对每一个视频帧图像进行的单独处理，也即，仅基于当前的视频帧图像的图像信息进行的图像增强处理。但视频通常是连续的视频帧图像序列，其在视觉呈现上需要保持很强的时空一致性，即时间域一致性和空间域一致性，以保证视频在视觉上呈现的连续性和连贯性。又因每个视频帧图像不同，其进行图像增强处理后的效果也不同，因此无可避免地导致视频播放时产生诸如亮度或色彩上的闪烁，引起用户视觉上的不适。为此，本发明实施例提供了一种视频处理方案，以解决该问题。
下面，结合本发明实施例及附图进一步说明本发明实施例的具体实现。
实施例一
参照图1A，示出了根据本发明实施例一的一种视频处理方法的步骤流程图。
本实施例的视频处理方法包括以下步骤：
步骤S102：根据待处理的视频帧图像中的目标对象与该视频帧图像所属的视频片段中的目标对象的一致性信息，为待处理的视频帧图像确定第一处理权重。
其中，视频片段中的视频帧图像为进行过图像增强预处理的图像。因待处理的视频帧图像也为视频片段中的一帧图像，因此，该待处理的视频帧图像也为进行过图像增强预处理的图像。
本发明实施例中，图像增强预处理意指对图像进行过图像增强处理，但该图像增强处理的结果并非最终结果，还需后续调整，因此，将该图像增强处理称为图像增强预处理。该图像增强预处理采用的具体实现方式可由本领域技术人员根据实际需求采用任意适当的方式实现，本发明实施例对此不作限制。例如，直方图增强算法、去噪算法等等。
待处理的视频帧图像中的目标对象与该视频帧图像所属的视频片段中的目标对象的一致性信息用于指示两者是否包含相同的目标对象，例如，若待处理的视频帧图像是包含某目标对象，该视频帧图像所属的视频片段中也包含该目标对象，则目标对象的一致性信息将指示目标对象一致；反之，将指示目标对象不一致。其中，视频片段中是否包含目标对象的判断可以采用适当方式实现，例如，若视频片段中的大多数视频帧图像均包含该目标对象，则认为该视频片段包含该目标对象；否则，认为该视频片段不包含该目标对象，等等。
进而，可以根据目标对象的一致性信息，确定待处理的视频帧图像对应的第一处理权重，其中，所述第一处理权重用于指示在后续进行图像增强调整处理时，该视频帧图像在调整中被考量的重要性程度。对于视频片段中的每个视频帧图像，均具有一个当前处理权重，初始时，该当前处理权重为预设的初始处理权重，若目标对象的一致性信息指示目标对象一致，则当前处理权重增加；若目标对象的一致性信息指示目标对象不一致，则当前处理权重降低。由此，形成待处理的视频帧图像的第一处理权重。
步骤S104：根据第一处理权重，确定视频片段中除待处理的视频帧图像外的其它视频帧图像的第二处理权重。
视频片段中的所有视频帧图像的处理权重总和为一设定阈值，如，可以为1。基于此，当第一处理权重确定后，可对除待处理的视频帧图像之外的其它视频帧图像进行处理权重确定处理。
需要说明的是，本发明实施例中，“第一”、“第二”等用于区分不同的数据或对象，并不表示时序或大小关系。并且，本发明实施例中，所述其它视频帧图像中的每帧图像均具有一个处理权重，统称为第二处理权重。不同视频帧图像的第二处理权重可能相同，也可能不同，还可能部分相同部分不同。
所述其它视频帧图像与待处理的视频帧图像均属于同一视频片段，它们为待处理的视频帧图像的前帧、或后帧、或前后帧，也即，具有时序上的前后关系，并且，因同属于同一视频片段，因此，也具有较强的内容关联性。基于此，在具体确定第二处理权重时，可以基于其它视频帧图像与待处理的视频帧图像的时序关系和/或内容关联性，采用任意适当的方式确定第二处理权重。如，时序越近的处理权重越大，和/或，内容关联性越强的处理权重越大，等等。可见，第二处理权重为充分考虑了所述其它视频帧图像中的各个图像与待处理的视频帧图像的关系后，确定的权重。
步骤S106：根据第一处理权重和第二处理权重，对待处理的视频帧图像进行图像增强调整处理。
在确定了第一处理权重和第二处理权重后，即可对待处理的视频帧图像进行图像增强调整处理。因第二处理权重可以反映所述其它视频帧图像与待处理的视频帧图像的关系，使得对待处理的视频帧图像的调整处理能够充分考虑到视频片段的整体情况，以及与各个其它视频帧图像的关系情况，从而使得增强调整处理后的待处理的视频帧图像与其它视频帧图像的过渡更为平滑和自然，有效保证视频的帧间时空上的视觉一致性，避免或减少了视觉上亮度或色彩的闪烁。
以下，以一个具体场景示例，对上述过程进行示例性说明，如图1B所示。
本示例中，设定视频片段A包含有五帧视频帧图像，分别为A1、A2、A3、A4和A5。设定待处理的视频帧图像为A3，其包含目标对象X(图中示意为树形图样)，初始处理权重为0.3，图像增强预处理后的效果数据如图像直方图统计数据为Y3。若A2和A4中也包含目标对象X，即五帧中有三帧均包含目标对象X，则视频片段A中包含目标对象X。再设定A1、A2、A4和A5的初始处理权重分别为0.2，0.2，0.2，0.1，视频片段A的所有视频帧图像的处理权重总和为1，图像增强预处理后的效果数据如图像直方图统计数据分别为Y1、Y2、Y4和Y5。
基于上述设定，首先，获取到A3中包含目标对象X信息，以及，视频片段A包含目标对象X的信息；对二者进行比较，判断一致；则按照适当的规则或步长(由本领域技术人员根据实际需求设定)对A3的初始处理权重进行调整，如从0.3增加到0.5。此时，需要对除A3之外的其它视频帧图像，即A1、A2、A4和A5的处理权重进行调整，A1、A2、A4和A5的总处理权重此时为1-0.5＝0.5。本示例中，假设按照与A3的时序关系进行调整，距离A3的时序距离越远，权重越小。则，可行地，调整后的A1、A2、A4和A5的处理权重分别调整为0.1，0.2，0.1，0.1。基于此，可计算(0.1*Y1+0.2*Y2+0.5*Y3+0.1*Y4+0.1*Y5)/5的值，将A3对应的Y3值调整为该计算出的值，实现A3的最终图像增强处理。可见，该计算出的值考虑到了视频片段A中与A3具有关联关系的所有视频帧图像的情况，且A3对应的处理权重0.5的确定过程也充分考虑了A3与视频片段A的一致性关系，即是否均包含目标对象X，而不再是仅仅以A3自身的图像数据为依据进行图像增强，使得A3的最终的图像增强处理效果能够有效兼顾图像增强和视频时空一致性，视频帧图像间的过渡平滑且自然，提升用户观看体验。
通过本实施例，对于视频片段中已进行过图像增强预处理的某帧图像，即待处理的视频帧图像，因该预处理只关注于单帧图像自身，因此，会产生时空一致性问题。为解决这一问题，本实施例的视频处理方法中，一方面，会根据待处理的视频帧图像中的目标对象与该视频帧图像所属的视频片段中的目标对象的一致性信息，如，是否都包含有相同的目标对象，来为待处理的视频帧图像确定第一处理权重，以通过第一处理权重作为后续对待处理的视频帧图像的处理程度的考量因素；另一方面，因待处理的视频帧图像与所述其它视频帧图像同属于所述视频片段，也即，所述其它视频帧图像可能是待处理的视频帧图像的前后帧图像，可见，待处理的视频帧图像与所述其它视频帧图像之间具有较强的关联关系，以待处理的视频帧图像对应的第一处理权重为基准，为其它视频帧图像确定相应的第二处理权重，充分考虑了时序上相邻的前后视频帧图像序列之间的关联情况，使得第二处理权重的设置更为合理，进而，基于第一处理权重和第二处理权重对待处理的视频帧图像进行图像增强调整处理，使得调整后的待处理的视频帧图像的图像增强充分考虑了其前后视频帧图像的图像增强预处理的效果，使得调整后获得的待处理的视频帧图像的图像增强效果是渐变的和平滑的，减少连续视频帧图像在视觉上的闪动，增强视频处理的时空一致性，提升视觉效果。
本实施例的视频处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例二
参照图2A，示出了根据本发明实施例二的一种视频处理方法的步骤流程图。
本实施例的视频处理方法包括以下步骤：
步骤S202：确定待处理的视频帧图像及视频片段。
在进行本发明实施例的视频处理时，可以首先对视频进行场景检测。通过场景检测，可以获得视频中的不同场景片段，每个场景片段里的视频帧图像反映同一个场景的场景内容，场景检测获得的场景片段为后续视频片段的获得提供依据。场景检测的方式可以由本领域技术人员根据实际情况适当设置，例如，可以采用基于像素级的场景检测方式，或者采用基于语义或图像理解的深度学习神经网络模型进行场景检测的方式，等等，本发明实施例对此不作限制。
基于获得的场景片段，在一种可行方式中，可以从对目标视频进行场景检测获得的至少一个场景片段中，确定待处理的场景片段；使用预设大小的滑动窗口将待处理的场景片段划分为至少一个视频片段；对至少一个视频片段中的视频帧图像进行图像增强预处理；从进行了图像增强预处理的至少一个视频片段中，确定出待处理的视频片段；从待处理的视频片段中，确定待处理的视频帧图像。
其中，滑动窗口的预设大小可由本领域技术人员根据实际情况适当设定，在一种可行方式中，可设定为5-10，可选地，可以为11。图像增强预处理的具体实现手段也可由本领域技术人员根据实际情况适当选择，本发明实施例对此也不作限制。
通过滑动窗口划分视频片段，建立起视频片段中的视频帧图像的帧间联系，使得后续待处理的视频帧图像的图像增强调整处理可充分考虑到其所在的视频片段的整体信息，以及与其关联的其它视频帧图像的信息，为所述调整处理提供了准确的信息参考范围。
本发明实施例提供的视频处理方案可适用于终端设备，也可适用于云端设备，因此，在一种可行方式中，当该视频处理方案部署于云端时，云端可以接收用户上传至云端的视频，并从所述视频中确定待处理的视频帧图像和所述视频帧图像所属的视频片段。例如，按照前述方式，从用户上传至云端的视频中获得待处理的视频帧图像和所述视频帧图像所属的视频片段。将该视频处理方案部署于云端，既可以使得该视频处理方案被多个终端设备共享，提高该视频处理方案的使用效率；又可以降低对终端设备的性能要求，降低终端设备的成本。
在另一种可行方式中，当该视频处理方案部署于终端设备中时，终端设备可以接收云端发送的游戏视频流，从游戏视频流中确定待处理的视频帧图像和所述视频帧图像所属的视频片段。例如，按照前述方式，从游戏视频流中获得待处理的视频帧图像和所述视频帧图像所属的视频片段。通过这种方式，可以对游戏视频流进行视频处理，提升游戏的使用体验。
步骤S204：获取待处理的视频帧图像的目标对象信息，及所述视频片段的目标对象信息。
例如，对所述视频片段包括的多个视频帧图像进行目标对象检测，其中，所述多个视频帧图像包括所述待处理的视频帧图像；根据检测结果，分别确定所述待处理的视频帧图像对应的第一目标对象信息，和所述视频片段对应的第二目标对象信息。其中，所述第一目标对象信息和所述第二目标对象信息均用于指示是否存在目标对象。当视频片段不同时，其所对应的目标对象也可能不同。而对于一个视频片段，该目标对象可以为一个，也可以为多个(两个及两个以上)。一般来说，一个视频片段中的视频帧图像的内容关联性更强，若该视频片段主要与某个目标对象有关，则其部分或全部视频帧图像可能均包含该目标对象的信息；反之，若与该目标对象无关，则可能仅有少数的视频帧图像包含该目标对象的信息。通过目标对象信息，可从整体上确定待处理的视频帧图像与视频片段整体内容的一致程度。
其中，可选地，在根据检测结果，确定所述视频片段对应的第二目标对象信息时，可以根据检测结果，确定所述视频片段中，包含目标对象的视频帧图像的数量；根据包含目标对象的视频帧图像的数量与所述视频片段中的多个视频帧图像的数量的比例关系，确定所述视频片段对应的第二目标对象信息。例如，若某视频片段包含五个视频帧图像，其中的三个或三个以上均包含有相同的目标对象，以三个为例，3/5>0.5，也即，包含有目标对象的视频帧图像占据多数，则可认为该视频片段包含该目标对象，相应地，第二目标对象信息可实现为指示该视频片段包含该目标对象的信息。如，通过布尔值或设定符号、字母、数字等表征该视频片段包含该目标对象。通过这种方式，即可有效表征视频片段是否主要与目标对象相关，又使得第二目标对象信息的确定效率较高，且实现简单，实现成本低。
在一种可选方式中，在本步骤S204之前，还可以展示所述视频片段中的至少一个候选对象的信息；接收对所述至少一个候选对象的信息的选择操作，根据所述选择操作所操作的候选对象的信息确定所述目标对象。视频片段中的候选对象可以有一个也可以有多个，则可以展示该一个候选对象的信息，或者，展示该多个候选对象中的部分或全部候选对象的信息。其中，候选对象的信息可以采用任意适当的方式进行展示，包括但不限于文字信息方式或图像方式或图标方式等等。用户可以地展示的候选对象的信息进行选择操作，则被选中的那一个或多个候选对象即为目标对象。通过这种方式，提升了用户的参与程度，也使得视频处理的结果更符合用户的实际需求，提升了用户体验。
步骤S206：对所述视频片段中的视频帧图像进行图像增强预处理。
首先，需要说明的是，步骤S206和步骤S204在实际应用中可以任意适当的先后顺序执行，也可以并行执行。
本步骤中，因待处理的视频帧图像也属于所述视频片段，因此，对所述视频片段中的视频帧图像进行图像增强预处理也包括对待处理的视频帧图像的图像增强预处理。如前所述，本领域技术人员可以采用任意适当的方式实现本步骤的图像增强预处理。
此外，因本步骤的图像增强预处理是针对单帧图像的预处理，该预处理仅基于当前图像的信息进行，而不考虑同一视频片段中的其它视频帧图像的信息。例如，可以针对所述视频片段中的每帧视频帧图像，进行单帧图像对比度和色彩调节，提升图像画质。
但如前所述，该预处理因基于单帧图像信息，而无法结合视频中前后帧图像序列的时域和空域信息，易导致时空不一致的问题。此外，若步骤S204中出现目标对象漏检或误检，该预处理也无法对此从视觉上进行补偿或调整，从而不能达到很好的视频帧图像增强效果。为此，还需进一步执行本实施例中的下述步骤。
步骤S208：根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为待处理的视频帧图像确定第一处理权重。
其中，所述视频片段中的视频帧图像均为进行过图像增强预处理的图像。
在一种可行方式中，本步骤可以实现为：获取待处理的视频帧图像对应的第一目标对象信息，以及，待处理的视频帧图像所属的视频片段对应的第二目标对象信息；判断第一目标对象信息和第二目标对象信息是否一致；若一致，则基于待处理的视频帧图像的当前处理权重进行权重增加处理；若不一致，则基于待处理的视频帧图像的当前处理权重进行权重降低处理。
如前所述，第一目标对象信息和第二目标对象信息均用于指示是否存在目标对象。本步骤中，可以直接使用步骤S204中获取的待处理的视频帧图像的目标对象信息即为第一目标对象信息，以及步骤S204中获得的所述视频片段的目标对象信息即为第二目标对象信息。进而，比较二者是否一致。若一致，则表明待处理的视频帧图像的内容与视频片段的整体内容较为一致，关联性较强，则可基于待处理的视频帧图像的当前处理权重进行权重增加处理；否则，若不一致，则基于待处理的视频帧图像的当前处理权重进行权重降低处理。其中的当前处理权重在初始时为设定的初始处理权重，具体的权重值可由本领域技术人员根据实际情况适当设置，可选地，一个视频片段中的视频帧图像的处理权重总和可以为1。
例如，设定视频片段的第二目标对象信息为alpha,用于表征视频片段中是否存在目标对象如人脸等，alpha为视频片段中检测出目标对象的视频帧图像的数量与视频片段中的所有视频帧图像的数量的比值,设定权重增强系数(也称权重增加系数)：r1＝1+|alpha-(1-alpha)|＝1+|2*alpha-1|；权重衰减系数(也称权重降低系数)：r2＝1-0.5*|2*alpha-1|。则，如果第一目标对象信息与第二目标对象信息一致，可对待处理的视频帧图像使用公式c_w＝C*r1进行权重增加处理；如果不一致，可对待处理的视频帧图像使用公式c_w＝C*r2进行权重降低处理。其中，C为设定值，如可为预设经验值。可选地，C为[0.2，0.4]之间的数值。
通过本步骤，基于待处理的视频帧图像与视频片段整体的目标对象信息的关系，为待处理的视频帧图像确定恰当的处理权重，即第一处理权重。
此外，为了提高视频处理效率，在一种可行方式中，还可以使待处理的视频帧图像为视频片段中的关键视频帧图像，即I帧图像。关键视频帧图像具有影响视频展现的关键且完整的图像信息，针对关键视频帧图像进行的处理，同样可影响与其关联的非关键帧视频图像如B帧或P帧视频帧图像，既可实现本发明实施例的视频处理的效果，又减少了需要处理的视频帧图像，提升了视频处理速度和效率。
对于一个视频片段来说，其中的每一帧视频帧图像都需进行本发明实施例的视频处理，也即，在一个视频片段的视频处理过程中，待处理的视频帧图像是变化的，通常来说，当前视频帧图像即为待处理的视频帧图像，但对当前视频帧图像进行视频处理完成后，当前视频帧图像的下一视频帧图像即成为待处理的视频帧图像，也成为新的当前视频帧图像。也由此可见，若仅为视频片段中的关键视频帧图像进行视频处理，则可提升视频处理速度和效率。
步骤S210：根据第一处理权重，确定所述视频片段中除待处理的视频帧图像外的其它视频帧图像的第二处理权重。
如前所述，一个视频片段中的视频帧图像对应有一个处理权重总和，在确定了第一处理权重后，可为所述其它视频帧图像确定第二处理权重，针对所述其它视频帧图像中的每个图像都具有一个第二处理权重。也即，所述其它视频帧图像包括多个，对应的第二处理权重也包括多个，该多个第二处理权重可能相同，也可能不同，也可能部分相同部分不同。
在一种可行方式中，本步骤可以实现为：根据第一处理权重，为所述视频片段中除待处理的视频帧图像外的其它视频帧图像分配总处理权重；根据所述其它视频帧图像中的目标对象信息和/或与待处理的视频帧图像的位置距离，和总处理权重，为所述其它视频帧图像包括的多个图像分别分配第二处理权重。由此，充分考虑了所述其它视频帧图像与视频片段整体的关系及与待处理的视频帧图像的关系，从而可保证为其确定的第二处理权重的合理性，及与待处理的视频帧图像的平滑过渡。
例如，待处理的视频帧图像的第一处理权重为c_w，待处理的视频帧图像的后序视频帧图像(一个或多个)的处理权重总和为n_w＝0.5*(1-c_w)*MIN(1,N2/N1)，前序视频帧图像(一个或多个)的处理权重总和为p_w＝1-c_w-n_w。其中，N1表示待处理的视频帧图像的前序视频帧图像的数量，N2表示待处理的视频帧图像的后序视频帧图像的数量。该前序视频帧图像和后续视频帧图像即为视频片段中，除待处理的视频帧图像之外的其它视频帧图像。
进而，对所述前序视频帧图像或后序视频帧图像中的某一帧，计算其离待处理的视频帧图像的距离D：1～N(N为N1-该帧为前序视频帧图像时，或N2-该帧为后序视频帧图像时)；如果该帧的目标对象信息与视频片段的目标对象信息一致，则分配其系数为：s＝(N+1-D)/N*r1；否则为s＝(N+1-D)/N。为保证总权重的合理性，可选地，可对上述系数s进行归一化处理后，获得对应的系数s’，再计算所述前序视频帧图像或后序视频帧图像中的每帧图像的第二处理权重，如，s_w＝s’*w，其中，s_w表示第二处理权重；s’为归一化处理后的系数；若当前视频帧图像为前序视频帧图像，则w＝p_w；若当前视频帧图像为后序视频帧图像，则w＝n_w。其中，如步骤S208中所述，r1＝1+|alpha-(1-alpha)|＝1+|2*alpha-1|。
步骤S212：根据第一处理权重和第二处理权重，对待处理的视频帧图像进行图像增强调整处理。
在一种可行方式中，本步骤可以实现为：对第一处理权重，和所述其它视频帧图像分别对应的多个第二处理权重进行加权平均；根据加权平均结果，对所述待处理的视频帧图像进行图像增强调整处理。由此保证待处理的视频帧图像与其它视频帧图像进行过图像增强调整处理后，视觉效果的平稳过渡，达到视频的帧间时空上的视觉一致性。
但不限于此，在一种可行方式中，在根据第一处理权重和第二处理权重，对待处理的视频帧图像进行图像增强调整处理之前，还可以展示第一处理权重和第二处理权重，并接收对展示的第一处理权重和第二处理权重中的至少一个进行权重调整操作；进而，根据进行了权重调整操作后的第一处理权重和第二处理权重，对待处理的视频帧图像进行图像增强调整处理。此种方式中，可以通过适当的展示界面向用户展示第一处理权重和第二处理权重中的部分或全部，并接收用户对展示的处理权重的调整操作；进而，根据调整后的处理权重(可能是调整后的第一处理权重和原第二处理权重，或者，可能是原第一处理权重和调整后的第二处理权重，或者，可能是调整后的第一处理权重和调整后的第二处理权重)，对待处理的视频帧图像进行图像增强调整处理。通过这种方式，使得用户可以参与到图像增强调整处理的过程中来，以通过人工方式对机器处理结果进行调整或纠正，使得图像增强调整处理后的视频帧图像的时空一致性更好，也更符合用户需求。
以下，以一个实际实例对上述过程进行示例性说明，如图2B所示。
本示例中，以目标对象为人脸为示例，该过程包括：
首先，对目标视频进行场景检测，获得多个场景片段，本示例中设定为5个场景片段。场景检测是为了区分目标视频中不同的场景，每个场景片段里的视频帧图像具有较高的相似度，在视觉呈现上需要保持很强的时空一致性。场景检测获得的场景片段为后续的视频处理做准备。
然后，基于前述获得的场景片段，利用滑动窗口将每个场景片段划分为一系列连续(交错)的帧Segment(即视频片段)。其中，滑动窗口大小为M，具体数值可由本领域技术人员根据实际情况适当设置，如可以为11，以使该视频片段中的视频帧图像具有较强的内容相关度。待处理的视频帧图像在本示例中称为Segment的焦点帧，与焦点帧的前N1帧和后N2帧一起组成该Segment(M＝N1+N2+1，N1/N2同样可由本领域技术人员根据实际情况适当设置，如M为11时，N1和N2均可为5)。为了简化说明，本示例中，以滑动窗口大小为5，N1和N2均为2为示例，如图中所示。
接着，针对每个Segment中的每个视频帧图像，对其进行人脸检测，以获得该视频帧图像中是否有预设人脸的信息。
再接着，根据人脸检测的结果，采用任意适当的、基于人脸的图像增强算法，对每个Segment中的每个视频帧图像都进行精细化的单帧图像对比度调节和色彩调节，提升图像画质，实现每个视频帧图像的图像增强预处理。该图像增强预处理的输出可以是增强后的图像直方图等统计数据，也可以是图像增强的具体调节参数(例如直方图调节S曲线的形状和幅度参数、用于表征原始图像与增强后的图像的映射关系的直方图映射关系曲线等)。本示例中采用图像直方图统计数据的形式。
再然后，对焦点帧进行时空一致性处理，会同时考虑焦点帧的前N1帧和后N2帧的信息进行融合，包括：
1.针对每个Segment：根据人脸检测结果确定该Segment中的每个视频帧图像中是否存在预设人脸，以确定该视频帧图像的目标对象信息(本示例中也称为人脸属性)。然后，确定该Segment中存在预设人脸的视频帧图像的数量与该Segment的所有视频帧图像的数量的比值，即alpha；再根据alpha确定该Segment是否存在预设人脸，以确定该Segment的目标对象信息(本示例中也称为人脸属性)。本步骤在具体实现时，可直接使用前述检测结果，即人脸检测的结果，无需再次进行人脸检测。
2.确定焦点帧对应的第一处理权重：根据焦点帧的目标对象信息与其所属的Segment的目标对象信息是否一致，确定焦点帧的第一处理权重。
例如，如果一致，根据alpha比值增加焦点帧的权重；否则，根据alpha比值降低焦点帧的权重，保证改变量是平滑而不是突变的。例如，可以设定权重增强系数(也称权重增加系数)：r1＝1+|alpha-(1-alpha)|＝1+|2*alpha-1|；权重衰减系数(也称权重降低系数)：r2＝1-0.5*|2*alpha-1|。则，如果目标对象信息一致，可对焦点帧使用公式c_w＝C*r1进行权重增加处理；如果不一致，可对焦点帧使用公式c_w＝C*r2进行权重降低处理。其中，C为设定值，如可为预设经验值。可选地，C为[0.2，0.4]之间的数值。可见，最后获得的c_w即为第一处理权重。
3.确定焦点帧的前后帧序列权重：根据N1和N2数量分配前后帧序列的总处理权重。其中，前后帧序列中的每帧所占权重可以根据如下因素调整：目标对象信息、与焦点帧的距离，并分别进行归一化处理。
如，焦点帧的后序帧序列的处理权重总和为n_w＝0.5*(1-c_w)*MIN(1,N2/N1)，前序帧序列的处理权重总和为p_w＝1-c_w-n_w。针对前序帧序列或后序帧序列中的某一帧，计算其离焦点帧的距离D：1～N(N为N1-该帧为前序帧序列中的某一帧时，或N2-该帧为后序帧序列中的某一帧时)；如果该帧的目标对象信息与Segment的目标对象信息一致，则分配其系数为：(N+1-D)/N*r1；否则为(N+1-D)/N。针对前序帧序列或后序帧序列中的每一帧，可以先对上述系数进行归一化处理，然后，分别根据上述归一化处理后的系数和该帧所属的前序帧序列或后序帧序列的处理权重总和，为该帧确定相应的处理权重，即第二处理权重，图中示意为s_w。
4.对焦点帧进行图像增强调整处理：根据焦点帧所属的Segment中的每帧的处理权重，基于其图像增强预处理的结果，如直方图数据或者增强调节参数，为焦点帧计算加权平均值，根据该加权平均值对焦点帧进行图像增强调整处理。
根据本实施例，通过滑动窗口建立视频帧图像间的联系，然后结合目标对象检测和具有目标对象的视频帧图像的数量，确定每次滑动窗口滑过的帧序列(Segment)的目标对象信息；再在每个Segment内，根据其目标对象信息和帧序列信息，对焦点帧的图像增强进行融合，即考虑时序上前后帧序列的信息，对焦点帧进行空域上的增强和融合，以在保证单帧的图像特征的同时，还能保证前后帧的增强效果是渐变和平滑的，减少连续帧在视觉上的闪动，增强视频处理的时空一致性，提升视觉效果。
本实施例的视频处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例三
参照图3，示出了根据本发明实施例三的一种视频处理装置的结构框图。
本实施例的视频处理装置包括：第一确定模块302，用于根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；第二确定模块304，用于根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；处理模块306，用于根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
可选地，第一确定模块302，用于获取待处理的视频帧图像对应的第一目标对象信息，以及，所述视频片段对应的第二目标对象信息，所述第一目标对象信息和所述第二目标对象信息均用于指示是否存在目标对象；判断所述第一目标对象信息和所述第二目标对象信息是否一致；若一致，则基于所述待处理的视频帧图像的当前处理权重进行权重增加处理；若不一致，则基于所述待处理的视频帧图像的当前处理权重进行权重降低处理。
可选地，所述装置还包括：前处理模块308，用于在所述第一确定模块302根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，对所述视频片段包括的多个视频帧图像进行目标对象检测，其中，所述多个视频帧图像包括所述待处理的视频帧图像；根据检测结果，分别确定所述待处理的视频帧图像对应的第一目标对象信息，和所述视频片段对应的第二目标对象信息。
可选地，前处理模块308在根据检测结果，确定所述视频片段对应的第二目标对象信息时：根据检测结果，确定包含目标对象的视频帧图像的数量；根据包含目标对象的视频帧图像的数量与所述多个视频帧图像的数量的比例关系，确定所述视频片段对应的第二目标对象信息。
可选地，第二确定模块304，用于根据所述第一处理权重，为所述其它视频帧图像分配总处理权重；根据所述其它视频帧图像中的目标对象信息和/或与所述待处理的视频帧图像的位置距离，和所述总处理权重，为所述其它视频帧图像包括的多个图像分别分配第二处理权重。
可选地，处理模块306，用于对所述第一处理权重，和所述其它视频帧图像分别对应的多个第二处理权重进行加权平均；根据加权平均结果，对所述待处理的视频帧图像进行图像增强调整处理。
可选地，前处理模块308，还用于在所述第一确定模块302在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，从对目标视频进行场景检测获得的至少一个场景片段中，确定待处理的场景片段；使用预设大小的滑动窗口将所述待处理的场景片段划分为至少一个视频片段；对所述至少一个视频片段中的视频帧图像进行图像增强预处理；从进行了图像增强预处理的至少一个视频片段中，确定出待处理的视频片段；从所述待处理的视频片段中，确定所述待处理的视频帧图像。
可选地，所述待处理的视频帧图像为所述视频片段中的关键视频帧图像。
可选地，本实施例的视频处理装置还包括：第一展示交互模块310，用于在所述第一确定模块302根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，展示所述视频片段中的至少一个候选对象的信息；接收对所述至少一个候选对象的信息的选择操作，根据所述选择操作所操作的候选对象的信息确定所述目标对象。
可选地，本实施例的视频处理装置还包括：第二展示交互模块312，用于在所述处理模块306根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理之前，展示所述第一处理权重和所述第二处理权重，并接收对展示的所述第一处理权重和所述第二处理权重中的至少一个进行权重调整操作；所述处理模块306，用于根据进行了所述权重调整操作后的所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
可选地，当本实施例的视频处理装置部署于云端时，前处理模块308，还用于接收用户上传至云端的视频，并从所述视频中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
可选地，当本实施例的视频处理装置部署于终端时，前处理模块308，还用于接收云端发送的游戏视频流，从所述游戏视频流中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
本实施例的视频处理装置用于实现前述多个方法实施例中相应的视频处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的视频处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例四
参照图4，示出了根据本发明实施例四的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：显示器400、处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
显示器400、处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它电子设备或服务器进行通信。
处理器402，用于执行程序410，具体可以执行上述视频处理方法实施例中的相关步骤。例如，执行以下操作：根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
显示器400，用于显示经处理器402进行了所述图像增强调整处理后的视频帧图像。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于至少存储所述视频片段、所述视频片段中的视频帧图像的目标对象信息，及进行了所述图像增强调整处理后的视频帧图像；其中，所述目标对象信息用于指示视频帧图像中是否存在预设的目标对象，以及，程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
在一种可选的实施方式中，程序410还用于使得处理器402在根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重时：获取待处理的视频帧图像对应的第一目标对象信息，以及，所述视频片段对应的第二目标对象信息，所述第一目标对象信息和所述第二目标对象信息均用于指示是否存在目标对象；判断所述第一目标对象信息和所述第二目标对象信息是否一致；若一致，则基于所述待处理的视频帧图像的当前处理权重进行权重增加处理；若不一致，则基于所述待处理的视频帧图像的当前处理权重进行权重降低处理。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，对所述视频片段包括的多个视频帧图像进行目标对象检测，其中，所述多个视频帧图像包括所述待处理的视频帧图像；根据检测结果，分别确定所述待处理的视频帧图像对应的第一目标对象信息，和所述视频片段对应的第二目标对象信息。
在一种可选的实施方式中，程序410还用于使得处理器402在根据检测结果，确定所述视频片段对应的第二目标对象信息时：根据检测结果，确定包含目标对象的视频帧图像的数量；根据包含目标对象的视频帧图像的数量与所述多个视频帧图像的数量的比例关系，确定所述视频片段对应的第二目标对象信息。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重时：根据所述第一处理权重，为所述其它视频帧图像分配总处理权重；根据所述其它视频帧图像中的目标对象信息和/或与所述待处理的视频帧图像的位置距离，和所述总处理权重，为所述其它视频帧图像包括的多个图像分别分配第二处理权重。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理时：对所述第一处理权重，和所述其它视频帧图像分别对应的多个第二处理权重进行加权平均；根据加权平均结果，对所述待处理的视频帧图像进行图像增强调整处理。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，从对目标视频进行场景检测获得的至少一个场景片段中，确定待处理的场景片段；使用预设大小的滑动窗口将所述待处理的场景片段划分为至少一个视频片段；对所述至少一个视频片段中的视频帧图像进行图像增强预处理；从进行了图像增强预处理的至少一个视频片段中，确定出待处理的视频片段；从所述待处理的视频片段中，确定所述待处理的视频帧图像。
在一种可选的实施方式中，所述待处理的视频帧图像为所述视频片段中的关键视频帧图像。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，展示所述视频片段中的至少一个候选对象的信息；接收对所述至少一个候选对象的信息的选择操作，根据所述选择操作所操作的候选对象的信息确定所述目标对象。
在一种可选的实施方式中，程序410还用于使得处理器402在所述根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理之前，展示所述第一处理权重和所述第二处理权重，并接收对展示的所述第一处理权重和所述第二处理权重中的至少一个进行权重调整操作；程序410还用于使得处理器402在根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理时：根据进行了所述权重调整操作后的所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
在一种可选的实施方式中，程序410还用于使得处理器402接收用户上传至云端的视频，并从所述视频中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
在一种可选的实施方式中，程序410还用于使得处理器402接收云端发送的游戏视频流，从所述游戏视频流中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
程序410中各步骤的具体实现可以参见上述视频处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，对于视频片段中已进行过图像增强预处理的某帧图像，即待处理的视频帧图像，因该预处理只关注于单帧图像自身，因此，会产生时空一致性问题。为解决这一问题，本发明实施例的视频处理方案中，一方面，会根据待处理的视频帧图像中的目标对象与该视频帧图像所属的视频片段中的目标对象的一致性信息，如，是否都包含有相同的目标对象，来为待处理的视频帧图像确定第一处理权重，以通过第一处理权重作为后续对待处理的视频帧图像的处理程度的考量因素；另一方面，因待处理的视频帧图像与所述其它视频帧图像同属于所述视频片段，也即，所述其它视频帧图像可能是待处理的视频帧图像的前后帧图像，可见，待处理的视频帧图像与所述其它视频帧图像之间具有较强的关联关系，以待处理的视频帧图像对应的第一处理权重为基准，为其它视频帧图像确定相应的第二处理权重，充分考虑了时序上相邻的前后视频帧图像序列之间的关联情况，使得第二处理权重的设置更为合理，进而，基于第一处理权重和第二处理权重对待处理的视频帧图像进行图像增强调整处理，使得调整后的待处理的视频帧图像的图像增强充分考虑了其前后视频帧图像的图像增强预处理的效果，使得调整后获得的待处理的视频帧图像的图像增强效果是渐变的和平滑的，减少连续视频帧图像在视觉上的闪动，增强视频处理的时空一致性，提升视觉效果。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视频处理方法。此外，当通用计算机访问用于实现在此示出的视频处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视频处理方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (16)
1.一种视频处理方法，包括：
根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；
根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；
根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
2.根据权利要求1所述的方法，其中，所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，包括：
获取待处理的视频帧图像对应的第一目标对象信息，以及，所述视频片段对应的第二目标对象信息，所述第一目标对象信息和所述第二目标对象信息均用于指示是否存在目标对象；
判断所述第一目标对象信息和所述第二目标对象信息是否一致；
若一致，则基于所述待处理的视频帧图像的当前处理权重进行权重增加处理；若不一致，则基于所述待处理的视频帧图像的当前处理权重进行权重降低处理。
3.根据权利要求2所述的方法，其中，在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，所述方法还包括：
对所述视频片段包括的多个视频帧图像进行目标对象检测，其中，所述多个视频帧图像包括所述待处理的视频帧图像；
根据检测结果，分别确定所述待处理的视频帧图像对应的第一目标对象信息，和所述视频片段对应的第二目标对象信息。
4.根据权利要求3所述的方法，其中，所述根据检测结果，确定所述视频片段对应的第二目标对象信息，包括：
根据检测结果，确定包含目标对象的视频帧图像的数量；
根据包含目标对象的视频帧图像的数量与所述多个视频帧图像的数量的比例关系，确定所述视频片段对应的第二目标对象信息。
5.根据权利要求1所述的方法，其中，所述根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重，包括：
根据所述第一处理权重，为所述其它视频帧图像分配总处理权重；
根据所述其它视频帧图像中的目标对象信息和/或与所述待处理的视频帧图像的位置距离，和所述总处理权重，为所述其它视频帧图像包括的多个图像分别分配第二处理权重。
6.根据权利要求5所述的方法，其中，所述根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理，包括：
对所述第一处理权重，和所述其它视频帧图像分别对应的多个第二处理权重进行加权平均；
根据加权平均结果，对所述待处理的视频帧图像进行图像增强调整处理。
7.根据权利要求1-6任一项所述的方法，其中，在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，所述方法还包括：
从对目标视频进行场景检测获得的至少一个场景片段中，确定待处理的场景片段；
使用预设大小的滑动窗口将所述待处理的场景片段划分为至少一个视频片段；
对所述至少一个视频片段中的视频帧图像进行图像增强预处理；
从进行了图像增强预处理的至少一个视频片段中，确定出待处理的视频片段；
从所述待处理的视频片段中，确定所述待处理的视频帧图像。
8.根据权利要求1-6任一项所述的方法，其中，所述待处理的视频帧图像为所述视频片段中的关键视频帧图像。
9.根据权利要求1-6任一项所述的方法，其中，在所述根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重之前，所述方法还包括：
展示所述视频片段中的至少一个候选对象的信息；
接收对所述至少一个候选对象的信息的选择操作，根据所述选择操作所操作的候选对象的信息确定所述目标对象。
10.根据权利要求1-6任一项所述的方法，其中，
在所述根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理之前，所述方法还包括：展示所述第一处理权重和所述第二处理权重，并接收对展示的所述第一处理权重和所述第二处理权重中的至少一个进行权重调整操作；
所述根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理，包括：根据进行了所述权重调整操作后的所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
11.根据权利要求1-6任一项所述的方法，其中，所述方法还包括：
接收用户上传至云端的视频，并从所述视频中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
12.根据权利要求1-6任一项所述的方法，其中，所述方法还包括：
接收云端发送的游戏视频流，从所述游戏视频流中确定所述待处理的视频帧图像和所述视频帧图像所属的视频片段。
13.一种视频处理装置，包括：
第一确定模块，用于根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；
第二确定模块，用于根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；
处理模块，用于根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理。
14.一种电子设备，包括：
处理器，用于根据待处理的视频帧图像中的目标对象与所述视频帧图像所属的视频片段中的目标对象的一致性信息，为所述待处理的视频帧图像确定第一处理权重，其中，所述视频片段中的视频帧图像为进行过图像增强预处理的图像；根据所述第一处理权重，确定所述视频片段中除所述待处理的视频帧图像外的其它视频帧图像的第二处理权重；根据所述第一处理权重和所述第二处理权重，对所述待处理的视频帧图像进行图像增强调整处理；
显示器，用于显示进行了所述图像增强调整处理后的视频帧图像。
15.根据权利要求14所述的电子设备，其中，还包括存储器；
所述存储器，用于至少存储所述视频片段、所述视频片段中的视频帧图像的目标对象信息，及进行了所述图像增强调整处理后的视频帧图像；其中，所述目标对象信息用于指示视频帧图像中是否存在预设的目标对象。
16.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-12中任一所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010654037.1A CN113298723B (zh) | 2020-07-08 | 2020-07-08 | 视频处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010654037.1A CN113298723B (zh) | 2020-07-08 | 2020-07-08 | 视频处理方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298723A true CN113298723A (zh) | 2021-08-24 |
| CN113298723B CN113298723B (zh) | 2024-10-15 |
Family
ID=77318347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010654037.1A Active CN113298723B (zh) | 2020-07-08 | 2020-07-08 | 视频处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298723B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466147A (zh) * | 2021-12-23 | 2022-05-10 | 阿里巴巴（中国）有限公司 | 一种视频亮度的调整方法、装置、电子设备以及存储介质 |
| CN115984824A (zh) * | 2023-02-28 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 基于轨迹信息的场景信息筛选方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060257048A1 (en) * | 2005-05-12 | 2006-11-16 | Xiaofan Lin | System and method for producing a page using frames of a video stream |
| US20140355959A1 (en) * | 2013-05-29 | 2014-12-04 | Adobe Systems Incorporated | Multi-frame patch correspondence identification in video |
| CN105959663A (zh) * | 2016-05-24 | 2016-09-21 | 厦门美图之家科技有限公司 | 视频帧间信号连续性的优化处理方法、系统及拍摄终端 |
| CN106887015A (zh) * | 2017-01-19 | 2017-06-23 | 华中科技大学 | 一种基于时空一致性的无约束多相机画面匹配方法 |
| CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
| CN109819164A (zh) * | 2019-01-23 | 2019-05-28 | 努比亚技术有限公司 | 一种拍摄参数控制方法、终端及计算机可读存储介质 |
| WO2020097888A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市欢太科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-07-08 CN CN202010654037.1A patent/CN113298723B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060257048A1 (en) * | 2005-05-12 | 2006-11-16 | Xiaofan Lin | System and method for producing a page using frames of a video stream |
| US20140355959A1 (en) * | 2013-05-29 | 2014-12-04 | Adobe Systems Incorporated | Multi-frame patch correspondence identification in video |
| CN105959663A (zh) * | 2016-05-24 | 2016-09-21 | 厦门美图之家科技有限公司 | 视频帧间信号连续性的优化处理方法、系统及拍摄终端 |
| CN106887015A (zh) * | 2017-01-19 | 2017-06-23 | 华中科技大学 | 一种基于时空一致性的无约束多相机画面匹配方法 |
| CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
| WO2020097888A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市欢太科技有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN109819164A (zh) * | 2019-01-23 | 2019-05-28 | 努比亚技术有限公司 | 一种拍摄参数控制方法、终端及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 肖泉;丁兴号;王守觉;廖英豪;郭东辉;: "有效消除光晕现象和颜色保持的彩色图像增强算法", 计算机辅助设计与图形学学报, vol. 22, no. 08, 31 August 2010 (2010-08-31), pages 1246 - 1252 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466147A (zh) * | 2021-12-23 | 2022-05-10 | 阿里巴巴（中国）有限公司 | 一种视频亮度的调整方法、装置、电子设备以及存储介质 |
| CN114466147B (zh) * | 2021-12-23 | 2024-03-15 | 阿里巴巴（中国）有限公司 | 一种视频亮度的调整方法、装置、电子设备以及存储介质 |
| CN115984824A (zh) * | 2023-02-28 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 基于轨迹信息的场景信息筛选方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298723B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7110502B2 (ja) | 深度を利用した映像背景減算法 | |
| WO2022179335A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN106303157B (zh) | 一种视频降噪处理方法及视频降噪处理装置 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| CN105847734A (zh) | 一种基于人脸识别的视频通信方法及系统 | |
| CN113903317B (zh) | 电子设备的屏幕亮度调节方法、装置以及电子设备 | |
| WO2020108010A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN113298723A (zh) | 视频处理方法、装置、电子设备及计算机存储介质 | |
| CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
| WO2022111269A1 (zh) | 视频的细节增强方法、装置、移动终端和存储介质 | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN104933688B (zh) | 一种数据处理方法及电子设备 | |
| CN107105150A (zh) | 一种选择待输出照片的方法、拍照方法及其对应装置 | |
| WO2023246402A1 (zh) | 模型的训练方法、水印文本识别方法及相关设备 | |
| CN107547913B (zh) | 视频数据播放和处理方法、客户端及设备 | |
| CN109993807B (zh) | 头像生成方法、装置及存储介质 | |
| CN112085002A (zh) | 人像分割方法、装置、存储介质及电子设备 | |
| CN118509646B (zh) | 一种视频优化方法、装置、设备及存储介质 | |
| CN113434731B (zh) | 音乐视频流派分类方法、装置、计算机设备及存储介质 | |
| CN118195919A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108737761B (zh) | 视频录制方法及装置 | |
| CN117635498A (zh) | 图像的增强方法及装置、电子设备、可读存储介质 | |
| CN116957983A (zh) | 图像增强方法、装置、设备及存储介质 | |
| CN117726522A (zh) | 图像处理方法、装置、设备、可读存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240613 Address after: Room 201, No. 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing Applicant after: Youku Culture Technology (Beijing) Co.,Ltd. Country or region after: China Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: ALIBABA GROUP HOLDING Ltd. Country or region before: Cayman Islands |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |