[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112118494B - 一种视频数据处理方法、装置及存储介质 - Google Patents

一种视频数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112118494B
CN112118494B CN201910537078.XA CN201910537078A CN112118494B CN 112118494 B CN112118494 B CN 112118494B CN 201910537078 A CN201910537078 A CN 201910537078A CN 112118494 B CN112118494 B CN 112118494B
Authority
CN
China
Prior art keywords
video
video frame
frame
cluster
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910537078.XA
Other languages
English (en)
Other versions
CN112118494A (zh
Inventor
张全鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910537078.XA priority Critical patent/CN112118494B/zh
Publication of CN112118494A publication Critical patent/CN112118494A/zh
Application granted granted Critical
Publication of CN112118494B publication Critical patent/CN112118494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开一种视频数据处理方法、装置及存储介质，其中，方法包括：对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在聚类簇中获取关键视频帧；关键视频帧的数量与聚类簇的数量相同；基于关键视频帧确定第二视频序列；根据关键视频帧在第一视频序列中的播放时间戳，确定第二视频序列中的相邻两个关键视频帧之间的时间间隔；基于相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。采用本申请实施例，可以减少视频数据所占用的系统内存，还可以提高视频数据的显示效果。

Description

一种视频数据处理方法、装置及存储介质
技术领域
本申请涉及互联网技术领域，尤其涉及一种视频数据处理方法、装置及存储介质。
背景技术
在一些由帧序列构成的视频数据中，为缓解终端加载这些视频数据所造成的内存压力，可以根据这些视频数据的帧序号的奇偶性来进行减帧处理，比如，以视频数据为帧动画数据为例，可以从该帧动画数据中选取具有偶数帧序号的视频帧(即偶数帧)或者具有奇数帧序号的视频帧(即奇数帧)来确定一个新的帧动画数据。换言之，根据帧序号的奇偶性来进行减帧处理的技术方案中，可能会在减帧处理过程中去掉一些具有较大变化趋势的视频帧，从而导致减帧处理后所得到的帧动画数据在在客户端或者网页上播放时，会产生比较突兀的视觉效果，以至于降低了视频数据的显示效果。
申请内容
本申请实施例提供一种视频数据处理方法、装置及存储介质，可以减少视频数据所占用的系统内存，还可以提高视频数据的显示效果。
本申请实施例一方面提供了一种视频数据处理方法，所述方法包括：
对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；
基于所述关键视频帧确定第二视频序列；
根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。
其中，所述对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同，包括：
获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。
其中，所述在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇，包括：
从所述第一视频序列中获取用于作为聚类质心的第一视频帧；
在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；
在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
其中，所述在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇，包括：
创建所述第一视频帧所属的聚类簇；
在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配；
若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇；
若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则基于所述色彩相似度小于所述聚类阈值的第二视频帧更新所述第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将所述更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，输出所述第一视频序列中的视频帧所属的聚类簇。
其中，所述在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配，包括：
将所述第一视频帧在所述目标颜色空间中的颜色直方图确定为第一直方图，并将所述第二视频帧在所述目标颜色空间中的颜色直方图确定为第二直方图；所述目标颜色空间包含多个颜色分量；
基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度；
将所述第一直方图和第二直方图之间的相似度确定为第一视频帧与所述第二视频帧之间的色彩相似度。
其中，所述基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度，包括：
从所述第一直方图中的每个颜色分量中获取目标颜色分量；所述目标颜色分量是由所述目标颜色空间中的多个索引参量共同表示的；
在所述第一直方图中将所述目标颜色分量在每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第一统计概率值，并在所述第二直方图中将所述目标颜色分量在所述每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第二统计概率值；
将所述每个索引参量相关联的第一统计概率值与相同索引参量相关联的第二统计概率值进行数值比较，并根据数值比较结果确定所述每个索引参量分别对应的最小概率统计值；
基于所述每个索引参量分别对应的最小概率统计值，确定所述目标颜色分量对应的最小累计概率值，并基于所述目标颜色分量对应的最小累计概率值确定所述第一直方图和第二直方图之间的相似度。
其中，所述在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧，包括：
在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；
在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧；
将查找到的具有最大信息熵的视频帧作为从所述聚类簇中所获取到的关键视频帧。
其中，所述在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧的信息熵，包括：
获取所述目标颜色空间中的每个颜色分量的索引参量；
获取所述聚类簇中的视频帧在所述每个颜色分量的索引参量上的统计概率值，并对所述每个颜色分量的索引参量上的统计概率值进行累计，得到所述每个颜色分量分别对应的累计概率值；
基于所述每个颜色分量对应的累计概率值和相应颜色分量对应的权重值，确定所述聚类簇中的视频帧的信息熵。
其中，所述相邻两个关键视频帧包含第一关键视频帧和第二关键视频帧；
所述基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放，包括：
基于所述第一关键视频帧和第二关键视频帧之间的时间间隔控制所述第一关键视频帧的播放时长；
基于所述第一关键视频帧的播放时长对所述第一关键视频帧进行播放，直到所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
本申请实施例一方面提供了一种图像视频数据处理装置，所述装置包括：
聚类模块，用于对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；
序列确定模块，用于基于所述关键视频帧确定第二视频序列；
间隔确定模块，用于根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
播放模块，用于基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。
其中，所述聚类模块包括：
空间转换单元，用于获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
聚类单元，用于在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
关键帧获取单元，用于在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。
其中，所述聚类单元包括：
质心确定子单元，用于从所述第一视频序列中获取用于作为聚类质心的第一视频帧；
轮询子单元，用于在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；
划分子单元，用于在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
其中，所述划分子单元包括：
聚类簇创建子单元，用于创建所述第一视频帧所属的聚类簇；
匹配子单元，用于在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配；
第一划分子单元，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇；
第二划分子单元，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则基于所述色彩相似度小于所述聚类阈值的第二视频帧更新所述第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将所述更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，输出所述第一视频序列中的视频帧所属的聚类簇。
其中，所述匹配子单元包括：
直方图确定子单元，用于将所述第一视频帧在所述目标颜色空间中的颜色直方图确定为第一直方图，并将所述第二视频帧在所述目标颜色空间中的颜色直方图确定为第二直方图；所述目标颜色空间包含多个颜色分量；
概率统计子单元，用于基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度；
相似度确定子单元，用于将所述第一直方图和第二直方图之间的相似度确定为第一视频帧与所述第二视频帧之间的色彩相似度。
其中，所述概率统计子单元包括：
分量获取子单元，用于从所述第一直方图中的每个颜色分量中获取目标颜色分量；所述目标颜色分量是由所述目标颜色空间中的多个索引参量共同表示的；
概率值确定子单元，用于在所述第一直方图中将所述目标颜色分量在每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第一统计概率值，并在所述第二直方图中将所述目标颜色分量在所述每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第二统计概率值；
概率值比较子单元，用于将所述每个索引参量相关联的第一统计概率值与相同索引参量相关联的第二统计概率值进行数值比较，并根据数值比较结果确定所述每个索引参量分别对应的最小概率统计值；
概率值累计子单元，用于基于所述每个索引参量分别对应的最小概率统计值，确定所述目标颜色分量对应的最小累计概率值，并基于所述目标颜色分量对应的最小累计概率值确定所述第一直方图和第二直方图之间的相似度。
其中，所述关键帧获取单元包括：
信息熵确定子单元，用于在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；
信息熵查找子单元，用于在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧；
关键帧确定子单元，用于将查找到的具有最大信息熵的视频帧作为从所述聚类簇中所获取到的关键视频帧。
其中，所述信息熵确定子单元，包括：
索引量获取子单元，用于获取所述目标颜色空间中的每个颜色分量的索引参量；
累计子单元，用于获取所述聚类簇中的视频帧在所述每个颜色分量的索引参量上的统计概率值，并对所述每个颜色分量的索引参量上的统计概率值进行累计，得到所述每个颜色分量分别对应的累计概率值；
加权子单元，用于基于所述每个颜色分量对应的累计概率值和相应颜色分量对应的权重值，确定所述聚类簇中的视频帧的信息熵。
其中，所述相邻两个关键视频帧包含第一关键视频帧和第二关键视频帧；
所述播放模块包括：
时长控制单元，用于基于所述第一关键视频帧和第二关键视频帧之间的时间间隔控制所述第一关键视频帧的播放时长；
播放子单元，用于基于所述第一关键视频帧的播放时长对所述第一关键视频帧进行播放，直到所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
本申请实施例一方面提供了一种计算机设备，所述计算机设备包括：处理器、存储器以及网络接口；
所述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本申请实施例一方面中的方法。
本申请实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述处理器执行所述程序指令时执行如本申请实施例一方面中的方法。
本申请实施例中通过对第一视频序列中的视频帧进行聚类处理，可以得到与该第一视频序列相关联的聚类簇，从而可以根据从聚类簇中所提取到的关键视频帧生成第二视频序列。其中，可以理解的是，该第二视频序列为对该第一视频序列进行减帧处理后所得到的视频序列。进一步的，根据关键视频帧在第一视频序列中的播放时间戳，可以确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔，从而可以基于相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。由此可见，通过聚类关键帧的方式对第一视频序列进行减帧处理，可以有效地确保减帧处理后所得到的第二视频序列中的视频帧的数量少于所述第一视频序列中的视频帧的数量，从而可以在终端设备中播放该第二视频序列时，减少视频数据所占用的系统内存；另外，通过聚类关键帧的方式可以从每个聚类簇中提取出具有代表性的视频帧作为关键视频帧，从而可以在根据这些关键视频帧进行减帧处理的过程中，能够尽可能地确保该第二视频序列中的任意相邻两个关键视频帧之间的视觉过度效果；此外，通过相邻两个关键视频帧之间的时间间隔，还可以有效地控制每个视频帧的播放时长，进而可以提高视频数据的显示效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图；
图2是本申请实施例提供的一种获取关键视频帧的场景示意图；
图3是本申请实施例提供的一种视频数据处理方法的流程示意图；
图4a和图4b是本申请实施例提供的一种划分第一视频序列相关联的聚类簇的示意图；
图5是本申请实施例提供的一种确定第二视频序列的示意图；
图6是本申请实施例提供的一种播放第二视频序列的场景示意图；
图7是本申请实施例提供的另一种视频数据处理方法的示意图；
图8是本申请实施例提供的一种视频数据处理装置的结构示意图；
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，是本申请实施例提供的一种网络架构的结构示意图。如图1所示，所述网络架构可以包括服务器2000和用户终端集群，所述用户终端集群可以包括多个用户终端，如图1所示，具体可以包括用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n；如图1所示，用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n可以分别与所述服务器2000进行网络连接，以便于每个用户终端可以通过该网络连接与服务器2000之间进行数据交互。
为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、桌上型电脑等携带视频数据处理功能(例如，视频数据播放功能)的智能终端。例如，本申请实施例可以将图1所示的用户终端3000a作为所述目标用户终端，该目标用户终端中可以集成有具备该视频数据处理功能的目标应用。应当理解，集成在该目标用户终端中目标应用可以统称为应用客户端。其中，所述应用客户端可以包括社交应用、多媒体应用(例如，视频播放应用)、娱乐应用(例如，游戏应用)等具有帧序列(例如，帧动画序列)加载和播放功能的应用。在该目标用户终端中所加载和播放的帧动画序列可以包含第一视频序列、第二视频序列。其中，所述第二视频序列可以为该目标用户终端通过聚类关键帧算法对所述第一视频序列进行减帧处理后所得到的视频序列。
可以理解的是，本申请实施例中所描述的通过聚类关键帧算法实现减帧的方案，可以适用于所有在网页或者应用客户端(即前述目标应用)中使用帧序列实现的动画数据的应用场景。其中，当具有视频数据处理功能的目标应用运行在该目标用户终端中时，该目标用户终端所获取到的第一视频序列可以包含提前内置在该目标应用中的动画数据，还可以包含当前通过网络从该服务器2000中下载的动画数据。
应当理解，本申请实施例可以将提前内置在该目标应用中的动画数据和当前下载的动画数据统称为需要进行减帧处理的视频数据(即第一视频序列)。由此可见，本申请实施例可以在网页或者目标应用运行期间，对该第一视频序列进行减帧处理，以得到前述第二视频序列，从而可以在网页或者应用客户端中播放第二视频序列时，提高视频数据的显示效果，并减少视频数据对系统内存的占用。
其中，可选的，本申请实施例还可以在该目标用户终端运行目标应用之前，在该目标用户终端中提前对从上述图1所示的服务器2000中所获取到的第一视频序列进行减帧处理，以得到前述第二视频序列，从而可以在该目标用户终端运行该目标应用时，直接加载该第二视频序列，以在该目标应用运行期间减少系统性能损耗(比如，可以在该目标用户终端中减少视频数据对系统内存的占用)。可选的，本申请实施例在该目标用户终端运行目标应用之前，还可以在服务器2000中预先对该第一视频序列进行减帧处理，得到第二视频序列，从而可以在该目标用户终端运行该目标应用时，通过网络向该服务器2000发送数据下载指令(即数据加载指令)，以使该服务器可以基于该下载指令中所携带的终端标识来判断该目标用户终端是否满足减帧条件。若该服务器2000确定该目标用户终端满足减帧条件，即该服务器2000确定该目标用户终端的终端标识的类型属于低端机的标识类型，则可以在该服务器2000中将预先减帧处理后所存储的第二视频序列返回给目标用户终端进行数据播放，从而可以在该目标应用运行在目标用户终端中时，减少系统性能损耗，并可以提高视频数据的加载效率。由此可见，本申请实施例还可以在运行目标应用之前，在目标用户终端或者服务器2000中对第一视频序列进行减帧处理，以得到的第二视频序列。
其中，本申请实施例所描述的动画数据可以包含动态头像、动态壁纸、一个运动的游戏角色、摄像器中的动态挂件、应用客户端中的动态物体。换言之，该动画数据中可以包含一个或者多个具有运动状态的对象。例如，以上述目标应用为社交应用为例，该目标用户终端可以通过该社交应用加载并播放这些使用帧序列所构成的动画数据，并可以在该社交应用中将所播放的动画数据统称为视频数据，该视频数据中的每个帧序列可以称之为一个视频帧或者一个图像帧。
其中，为便于理解，进一步的，请参见图2，是本申请实施例提供的一种获取关键视频帧的场景示意图。如图2所示的第一视频序列可以为包含多个视频帧，具体可以包含图2所示的n个视频帧，n可以为大于1的正整数，这n个视频帧可以包括：视频帧10a，视频帧10b，视频帧10c，视频帧10d，视频帧10e，…，视频帧10n。其中，可以理解的是，在该目标用户终端的读写性能比较一般(即该目标用户终端的加载性能比较一般)的前提下，为避免该目标用户终端在直接加载第一视频序列所引起的显示效果不佳的现象，可以在该目标用户终端中的网页或者应用客服端中通过聚类关键帧算法对该第一视频序列进行减帧处理，以得到与第一视频序列相关联的k个关键帧，k可以为大于1且小于n的正整数。
应当理解，通过聚类关键帧算法可以计算该第一视频序列中的视频帧之间的相似度，从而可以基于所计算得到的视频帧之间的相似度划分该第一视频序列中的视频帧所属的聚类簇。比如，可以得到图2所示的k个聚类簇，从而可以在这k个聚类簇中分别提取出具有最大信息熵的视频帧作为关键视频帧。其中，这k个聚类簇可以统称为聚类簇，且这k个聚类簇具体可以包含图2所示的聚类簇20a，聚类簇20b，聚类簇20c，聚类簇20d，…，聚类簇20k。其中，可以理解的是，图2所示的k个聚类簇中每个聚类簇中均可以包含至少一个视频帧。如图2所示，聚类簇20a中可以包含视频帧10a，视频帧10b，视频帧10c；聚类簇20b中可以包含视频帧10d和视频帧10e；聚类簇20c中可以包含视频帧10f；聚类簇20d中可以包含视频帧10g，…，聚类簇20k中可以包含视频帧10(n-1)，视频帧10n。由此可见，通过对图2所示的第一视频序列中的视频帧进行聚类处理，可以得到与第一视频序列相关联的多个聚类簇，从而可以在每个聚类簇中将具有最大信息熵的视频帧称之为关键视频帧，从而可以基于这些关键视频帧实现对第一视频序列进行减帧处理，进而可以在减帧处理后将由这些关键视频帧所构成的视频序列称之为第二视频序列，如图2所示，该第二视频序列中的视频帧可以包含对第一视频帧进行减帧处理后所得到的k个关键视频帧，这k个关键视频帧中的每个关键视频帧均为从相应聚类簇中所提取出的视频帧。比如，如图2所示，可以将聚类簇20a中具有最大信息熵的视频帧10a称之为聚类簇20a对应的关键视频帧，同理，可以将聚类簇20b中具有最大信息熵的视频帧10e称之为聚类簇20b对应的关键视频帧。同理，可以将聚类簇20c中具有最大信息熵的视频帧10f称之为聚类簇20c对应的关键视频帧。同理，可以将聚类簇20d中具有最大信息熵的视频帧10g称之为聚类簇20d对应的关键视频帧。同理，可以将聚类簇20k中具有最大信息熵的视频帧10n称之为聚类簇20k对应的关键视频帧。进一步的，目标用户终端可以网页或者目标应用中加载第二视频序列时，需要调整视频数据的播放逻辑，比如，可以根据这k个关键视频帧中的每个关键视频帧在第一视频序列中的播放时间点(即播放时间戳)来播放第二视频序列，从而可以有效地控制第二视频序列中的每个关键视频帧的播放时长。
其中，在使用聚类关键帧算法对第一视频序列进行聚类时，可以得到与该第一视频数据相关联的k个分类，其中，k可以为大于1的正整数，一个分类可以称之为一个聚类簇，且一个聚类簇中可以包含至少一个视频帧。其中，可以理解的是，在这k个分类中，对于包含多个视频帧的任意一个分类而言，同一分类(即聚类簇)中的任意两个视频帧之间是相似的，在一些需要降低系统内存的应用场景(例如，在低端机上运行游戏应用中的某个游戏角色的场景)下，为避免这些具有相似特征的不同视频帧在播放视频数据时占用系统的存储资源(即内存)，可以对该游戏角色所占用的系统内存进行优化处理，即可以对包含该游戏角色的第一视频序列进行聚类处理，以便于可以在聚类所得到的每个聚类簇中分别提取出一个具有最大信息熵的视频帧作为关键视频帧，进而可以基于这些关键视频帧实现对该第一视频序列的减帧处理，以降低运动对象(例如，一个运动的游戏角色)在网页或者目标应用中的性能损耗。其中，应当理解，这n个分类中的任意两个分类之间是不相似的，通过提取每个分类中的关键视频帧，可以确保减帧处理后所得到的第二视频序列中的每个关键视频帧均具有较强的代表性，从而可以在网页或者目标应用中播放该第二视频数据时，确保该游戏角色在视频数据的显示效果。
换言之，通过对第一视频帧进行减帧处理，可以在网页或者目标应用中加载第二视频序列时，有效地减少视频数据所占用的系统内存。此外，通过记录每个关键视频帧在在第一视频序列中的播放时间戳，还可以快速地确定出第二视频序列中的任意相邻两个视频帧之间的时间间隔，由于第二视频序列中的每个视频帧(即关键视频帧)均为对第一视频序列进行聚类处理后所得到的视频帧，所以，该第二视频序列中的相邻两个视频帧之间的时间间隔可以不完全相同，比如，第二视频帧序列中的相邻两个视频帧之间的时间间隔可以为T1，也可以为T2，其中，时间间隔T1可以与时间间隔T2相同，也可以与时间间隔T2不同，从而可以在播放第二视频序列时实现对视频数据所占用系统内存的优化，以提高视频数据的显示效果。
其中，所述目标用户终端获取第一视频序列相关联的聚类簇、从聚类簇中获取关键视频帧以及播放第二视频序列的具体实现方式可以参见如下图3至图7所对应的实施例。
进一步地，请参见图3，是本申请实施例提供的一种视频数据处理方法的流程示意图。如图3所示，所述方法至少包括：
步骤S101，对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；
具体地，视频数据处理装置可以在获取到第一视频序列时，将该第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间，从而可以在所述目标颜色空间中，进一步对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；进一步地，该视频数据处理装置可以在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。换言之，该视频数据处理装置可以通过聚类关键帧算法将该第一视频序列划分为多个聚类簇，从而可以从每个聚类簇中筛选出符合关键帧获取条件的视频帧作为关键视频帧。其中，所述关键帧获取条件即为该视频数据处理装置在一个聚类簇的每个视频帧所对应的信息熵中所筛选出的具有最大信息熵的视频帧。
可以理解的是，本申请实施例可以将具有图像数据处理功能的视频数据处理装置集成在目标用户终端中，以使该目标用户终端具备上述图像数据处理功能。比如，在一些网页或者应用客户端中使用帧序列实现的动画数据的应用场景中，为确保该应用场景中的动画数据的显示效果，可以在该应用场景中通过聚类关键帧算法对第一视频序列中的视频帧进行减帧处理，以降低该应用场景中的视频数据所占用的系统内存。
其中，所述应用场景可以包含网页中的动态头像、动态壁纸等，所述应用场景还可以包含应用客户端中的动态物体，例如，一个运动的游戏角色等，这里将不一一进行列举。此外，本申请实施例可以在这些应用场景中，将具有运动状态的对象(例如，人、物等运动对象)所属的视频数据统称为第一视频序列。
其中，该第一视频序列中可以存在包含该运动对象(例如，对象A)的视频帧，还可以存在不包含该运动对象的视频帧。比如，对于包含该运动对象(即对象A)的第一视频序列中的每个视频帧而言，可以计算该第一视频序列中的每个视频帧之间的相似度，从而可以基于这些视频帧之间的相似度对该第一视频序列进行分类，以得到与该第一视频序列相关联的多个聚类簇。比如，对于包含该对象A的每个视频帧而言，可以计算这些包含该对象A之间的每个视频帧之间的相似度，从而可以在该第一视频序列中，将存在较高相似度的视频帧划分在同一聚类簇中，即在同一聚类簇中的每个视频帧之间会存在较高的相似度，比如，在确定该第一视频序列中的第x1个视频帧分别与第x2个视频帧和第x3个视频帧之间存在较高的相似度时，可以将这3个视频帧划分在同一聚类簇中。在该目标用户终端中，为避免一并加载这些具有较高相似度的多个视频帧所造成的性能吃紧等现象，可以在网页或者应用客户端中获取到该第一视频序列时对该第一视频序列进行减帧处理，以减少具有较高相似度的视频帧所占用的系统内存。换言之，该目标用户终端可以对从服务器上获取到的第一视频序列或者提前内置在该应用客户端(即目标应用)中的第一视频序列进行减帧处理，比如，可以对前述3个具有较高相似度的视频帧进行减帧处理，以在该网页或者应用客户端中优化这3个视频帧中运动对象所占用的系统内存。
其中，在计算第一视频序列中的两个视频帧之间的相似度的过程中，为了能够更加贴合人眼对颜色的敏感程度，可以先将该第一视频序列中的视频帧所属的颜色空间从初始颜色空间(例如，RGB颜色空间)转换成目标颜色空间(例如，HSV颜色空间)，从而可以在该目标颜色空间中通过轮询的方式(即逐帧聚类的方式)依次得到参与计算的两个视频帧之间的颜色直方图，进而可以将这两个颜色直方图之间的色彩相似度统称为这两个视频帧之间的相似度，在本申请实施例中，也可以将这两个视频帧之间的相似度称之为这两个视频帧之间的色彩相似度。
其中，可以理解的是，对于第一视频序列中的每个视频帧中的任意一个像素点所表征的颜色对象而言，可以用不同颜色空间中的颜色分量来表示。换言之，本申请实施例可以通过不同颜色空间从不同的角度来衡量同一像素点所表征的颜色对象，比如，对于像素点A所呈现的颜色对象而言，可以用RGB颜色空间中的R(红色)分量、G(绿色)分量、B(蓝色)分量来综合表示，也可以用HSV颜色空间中的H(色相)分量、S(饱和度)分量、V(明度)分量来综合表示。应当理解，本申请实施例可以将RGB色彩空间(即三维立方体)中的点在映射到HSV颜色空间中，从而可以在HSV颜色空间中用倒圆锥体中的点进行等效表示。换言之，不同颜色空间之间可以遵循相应的颜色转换关系进行转换，例如，可以把分布在0～255的RGB颜色通过前述颜色转换关系直接映射为0～255的HSV颜色。进一步地，为了减少计算量，本申请实施例还可以进一步将HSV颜色再进行一次分割，即可以将用于描述HSV颜色的H分量、S分量、V分量进一步进行分割，从而可以将H分量等分为12块，将S分量等分为5块，将V分量等分为5块，以降低计算维度。即本申请实施例通过进行空间转换，可以把原来范围在255*255*255的RGB颜色转换映射到12*5*5的统计范围上，以在该统计范围中分别统计HSV颜色分量中的每个分量的取值所占的比值。
其中，在RGB颜色空间中，任意像素点所表征的颜色对象(例如，F)都可以用R、G、B三个颜色分量(即三个基色分量)分别对应的数值所混合表示，例如F＝(R，G，B)。换言之，该RGB颜色空间可以为一个三维的立方体模型来描述。当三个基色分量的数值都为0(最弱)时所混合得到的颜色对象为黑色；当三个基色分类的数值都为最大值(例如，255)时所混合得到的颜色对象为白色。
其中，在HSV颜色空间中，HSV颜色空间可以用一个圆锥空间模型来描述。其中，H分量(色相，Hue)用于描述色彩的基本属性，就是平常说的颜色的名称，如红色、黄色等；S分量(饱和度，Saturation)用于描述色彩的纯度，饱和度越高色彩越纯，饱和度越低则逐渐变灰，饱和度的取值范围为0-100％的数值；V分量(明度，Value)是由前述RGB颜色空间中的三个分量的最大值所决定的，且V分量的最大值决定了前述圆锥的高度。在圆锥的顶点处，V＝0，H和S无定义，这三个分量可以用于描述黑色。圆锥的顶面中心处V＝max(即最大值)，S＝0，H无定义，此时，这分量可以用于描述白色。
其中，RGB颜色可以由RGB颜色空间中的R分量的数值、G分量的数值和B分量的数值进行混合后表示，且R分量、G分量、B分量的取值范围均在0～255。其中，该HSV颜色可以由HSV颜色空间中的H分量、S分量、V分量进行混合后表示，且H分量的取值范围为0°～360°、S分量的取值范围为0～100％、V分量的取值范围为前述用R分量、G分量、H分量所描述的像素对象中的最大值。其中，可以理解的是，在进行空间映射的过程中，可以将RGB颜色空间中的三个分量(即R分量、G分量、H分量)中的具有最大值的分量的取值确定为转换后的HSV颜色空间中的V分量的取值。例如，在RGB颜色空间中，用于描述像素点A的颜色分量中，若确定R分量的数值为210、G分量的数值为155和B分量的数值为120，则可以将该R分量的数值210确定为转换后的HSV颜色空间中的V分量的取值。
其中，考虑到通过聚类关键帧算法对第一视频序列中的视频帧所属的聚类簇进行划分的过程中，每个分类(即聚类簇)均会维护一个聚类质心(可以简称为质心)，因此，本申请实施例可以将参与计算的两个视频帧中的一个视频帧称之为第一视频帧，并将另一个视频帧称之为第二视频帧。其中，该第一视频帧可以理解为该第一视频序列中能够用作聚类质心的视频帧，在选定了该第一视频帧之后，可以在该第一视频序列中通过轮询机制依次获取第二视频帧，从而可以计算这两个视频帧分别对应的颜色直方图之间的色彩相似度，并可以用计算得到的两个颜色直方图之间的色彩相似度来描述这两个视频帧之间的相似度。
由此可见，本申请实施例在通过聚类关键帧算法对该第一视频序列中的视频帧进行相似度分类之前，可以先把该第一视频序列中的视频帧所属的颜色空间由初始颜色空间(例如，RGB颜色空间)转换成目标颜色空间(例如，HSV颜色空间)，以在该目标颜色空间(即HSV颜色空间)中，计算该第一视频序列中的每个视频帧之间的相似度(即色彩相似度)，以根据这些视频帧之间的色彩相似度划分该第一视频序列的聚类簇。
为便于理解，进一步地，请参见图4a和图4b，是本申请实施例提供的一种划分第一视频序列相关联的聚类簇的示意图。如图4a所示的第一视频序列可以包含多个视频帧，所述多个视频帧可以为图4a所示的视频帧10a，视频帧20a，视频帧30a，视频帧40a，视频帧50a。其中，如图4a所示的视频帧10a即为图4b所示的视频帧10a；如图4a所示的视频帧20a即为图4b所示的视频帧20a；依次类推，如图4a所示的视频帧30a即为图4b所示的视频帧30a；如图4a所示的视频帧40a即为图4b所示的视频帧40a。其中，可以理解的是，图4a所示的第一视频序列中的视频帧所属的颜色空间为上述目标颜色空间。即在该目标颜色空间(即前述HSV颜色空间)中，该集成有数据处理装置的目标用户终端可以对图4a所示的第一视频序列中的视频帧进行聚类处理，以得到与所述第一视频序列相关联的聚类簇。具体的，如图4a所示，该目标用户终端可以在图4a所示的第一视频序列中，将该第一视频序列中的首个视频帧称之为能够用于作为聚类质心的第一视频帧，并可以在该第一视频序列中将除第一视频帧外的视频帧确定为第二视频帧，并可以基于轮询机制依次获取所述第二视频帧。比如，如图4a所示，目标用户终端可以在确定出第一视频帧时，进一步基于第一视频序列中每个视频帧的帧号依次将视频帧20a，视频帧30a，视频帧40a，视频帧50a统称为第二视频帧，以依次计算第一视频帧与第二视频帧之间的色彩相似度。
其中，如图4a所示，在视频帧10a作为第一视频帧(即如图4b所示，本申请实施例在将该视频帧10a作为聚类质心1)时，可以首先创建该视频帧10a所属的聚类簇(即如图4b所示的聚类簇1)。换言之，该目标用户终端可以在视频帧10a作为聚类质心1时，开始第一轮的相似度计算，即可以计算图4a中的视频帧10a(即第一视频帧)与图4a中的视频帧20a(即第二视频帧)之间的色彩相似度(即在第一轮的相似度计算的过程中可以得到图4b所示的相似度1)，从而可以判断这两个视频帧之间的色彩相似度(即相似度1)是否小于图4b所示的聚类阈值，并可以在图4b所示的相似度1大于(或者等于)聚类阈值时，将图4b所示的相似度1大于聚类阈值的视频帧20a划分到第一视频帧(即视频帧10a)所属的聚类簇(即图4b所示的聚类簇1)中，换言之，本申请实施例可以将所述色彩相似度大于或者等于聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇。
进一步地，如图4a所示，由于视频帧30为视频帧20的下一视频帧，因此，该目标用户终端仍然可以在视频帧10a作为聚类质心1时，继续进行第二轮的相似度计算，即如图4b所示，该目标用户终端可以继续计算图4a中的视频帧10a(即第一视频帧)与图4a中的视频帧30a(即新的第二视频帧)之间的色彩相似度(即在第二轮的相似度计算的过程中可以得到图4b所示的相似度2)，从而可以判断这两个视频帧之间的色彩相似度(即相似度2)是否小于图4b所示的聚类阈值，并可以在图4b所示的相似度2小于聚类阈值时，根据图4b所示的视频帧30a更新第一视频帧，即本申请实施例可以将色彩相似度小于所述聚类阈值的第二视频帧(即图4a所示的第一视频序列中的视频帧30a)作为新的聚类质心，该新的聚类质心可以为图4b所示的聚类质心2，即如图4b所示，本申请实施例可以为该视频帧30a创建新的聚类簇，该新的聚类簇可以为图4b所示的聚类簇2。此时，由于视频帧10a与视频帧30a之间的色彩相似度是小于聚类阈值的，因此，本申请实施例可以不用继续将该视频帧10a与上述未匹配的第二视频帧(即图4a所示的视频帧40a和视频帧50a)进行色彩相似度匹配。
应当理解，本申请实施例在确定新的聚类质心(即聚类质心2)时，可以得到新的第一视频帧(即图4a所示的视频帧30a)，此时，该视频帧30a所属的聚类簇可以为图4b所示的聚类簇2，然后，该目标用户终端依然可以基于上述轮询机制依次获取第二视频帧，即可以继续从上述未匹配的第二视频帧(即图4a所示的视频帧40a和视频帧50a)中获取第二视频帧。进一步地，该目标用户终端可以在视频帧30a作为聚类质心2时，重新开始第一轮的相似度计算，即可以计算图4a中的视频帧30a(即新的第一视频帧)与图4a中的视频帧40a(即第二视频帧)之间的色彩相似度(即在新的第一轮的相似度计算的过程中可以得到图4b所示的相似度3)，从而可以判断这两个视频帧之间的色彩相似度(即相似度3)是否小于图4b所示的聚类阈值，并可以在图4b所示的相似度3小于聚类阈值时，根据图4b所示的视频帧40a更新该新的第一视频帧，即本申请实施例可以将色彩相似度小于所述聚类阈值的第二视频帧(即图4a所示的第一视频序列中的视频帧40a)作为另一新的聚类质心，该另一新的聚类质心可以为图4b所示的聚类质心3，即如图4b所示，本申请实施例可以为该视频帧40a创建新的聚类簇，该新的聚类簇可以为图4b所示的聚类簇3。此时，由于视频帧30a与视频帧40a之间的色彩相似度是小于聚类阈值的，因此，本申请实施例可以不用继续将该视频帧30a与新的未匹配的第二视频帧(即图4a所示的视频帧50a)进行色彩相似度匹配。
应当理解，本申请实施例在确定另一新的聚类质心(即聚类质心3)时，可以得到该另一新的第一视频帧(即图4a所示的视频帧40a)，此时，该视频帧40a所属的聚类簇可以为图4b所示的聚类簇3，然后，该目标用户终端依然可以基于上述轮询机制获取第二视频帧，即可以继续从上述未匹配的第二视频帧(即图4a所示的视频帧50a)中获取第二视频帧。进一步地，该目标用户终端可以在视频帧40a作为聚类质心3时，重新开始第一轮的相似度计算，即可以计算图4a中的视频帧40a(即另一新的第一视频帧)与图4a中的视频帧50a(即第二视频帧)之间的色彩相似度，从而可以基于参与计算的这两个视频帧之间的色彩相似度(例如，相似度4)划分视频帧50a所属的聚类簇。比如，若该相似度4大于或者等于图4b所示的聚类阈值，则可以将该视频帧50a(即色彩相似度大于或者等于所述聚类阈值的第二视频帧)划分到前述视频帧40a所属的聚类簇(即聚类簇3)中，此时，通过视频帧之间的色彩相似度所确定出的与该第一视频序列相关联的聚类簇可以包含图4b所示的聚类簇1，聚类簇2，聚类簇3。
可选地，若该相似度4小于于所述聚类阈值，则可以将该视频帧50a(即色彩相似度大于或者等于所述聚类阈值的第二视频帧)划分到新的聚类簇，即该目标用户终端可以为该视频帧50a创建新的聚类簇(例如，聚类簇4)。此时，通过视频帧之间的色彩相似度所确定出的与该第一视频帧相关联的聚类簇可以包含图4b所示的聚类簇1，聚类簇2，聚类簇3，还可以包含前述聚类簇4。
由此可见，本申请实施例可以在创建第一视频帧所属的聚类簇时，在目标颜色空间中将第一视频帧与第二视频帧进行色彩相似度匹配；若匹配到第一视频帧与第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将色彩相似度大于或者等于聚类阈值的第二视频帧划分到第一视频帧所属的聚类簇；可选地，若匹配到第一视频帧与第二视频帧之间的色彩相似度小于所述聚类阈值，则基于色彩相似度小于聚类阈值的第二视频帧更新第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到第一视频序列中的视频帧均完成色彩相似度匹配时，即直到第一视频序列中的每个第二视频帧均完成色彩相似度匹配时，可以输出第一视频序列中的视频帧所属的聚类簇。
其中，本申请实施例在目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配的具体过程还可以描述为：该目标用户终端可以将所述第一视频帧在所述目标颜色空间中的颜色直方图确定为第一直方图，并将所述第二视频帧在所述目标颜色空间中的颜色直方图确定为第二直方图；所述目标颜色空间包含多个颜色分量；进一步地，该目标用户终端可以基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度；进一步地，该目标用户终端可以将所述第一直方图和第二直方图之间的相似度确定为第一视频帧与所述第二视频帧之间的色彩相似度。
其中，应当理解，本申请实施例在确定了与该第一视频序列相关联的多个聚类簇之后，可以从每个聚类簇中获取一个具有代表性的视频帧作为关键视频帧。即本申请实施例可以在每个聚类簇中筛选出满足关键帧获取条件的视频帧，并可以将满足关键帧获取条件的视频帧统称为关键视频帧，以便于进一步执行步骤S102。
步骤S102，基于所述关键视频帧确定第二视频序列。
为便于理解，进一步地，请参见图5，是本申请实施例提供的一种确定第二视频序列的示意图。其中，如图5所示的第一视频序列为前述图4a所示的第一视频序列。如图5所示，在上述图4a的第一视频序列中的视频帧10a作为聚类质心(即聚类质心1)时，在图5所示的聚类簇1中的视频帧可以包含图5所示的视频帧10a和视频帧20a；另外，如图5所示，在上述图4a的第一视频序列中的视频帧30a作为新的聚类质心(即聚类质心2)时，在图5所示的聚类簇2中的视频帧可以包含图5所示的视频帧30a；另外，在上述图4a的第一视频序列中的视频帧40a作为另一新的聚类质心(即聚类质心3)时，在图5所示的聚类簇3中的视频帧可以包含图5所示的视频帧40a和视频帧50a。如图5所示，本申请实施例可以将图5所示的聚类簇1、聚类簇2、聚类簇3统称为聚类簇，然后，该目标用户终端可以在目标颜色空间中，基于聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；进一步地，该目标用户终端可以在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧，如图5所示，该目标用户终端可以从图5所示的聚类簇1中将具有最大信息熵的视频帧10a称之为满足关键帧获取条件的关键视频帧1；同理，如图5所示，该目标用户终端可以从图5所示的聚类簇2中将具有最大信息熵的视频帧30a称之为满足关键帧获取条件的关键视频帧2，同理，如图5所示，该目标用户终端可以从图5所示的聚类簇3中将具有最大信息熵的视频帧30a称之为满足关键帧获取条件的关键视频帧3。换言之，本申请实施例可以将将查找到的具有最大信息熵的视频帧统称为从聚类簇中所获取到的关键视频帧。进一步地，该目标用户终端可以根据图5所示的3个关键视频帧构成一个新的视频序列，并可以将该新的视频序列称之为图5所示的第二视频序列，从而可以实现对第一视频序列的减帧处理。可以理解的是，该第二视频序列中的视频帧可以包含图5所示的关键视频帧1(即在聚类簇1中具有最大信息熵的视频帧10a)、图5所示的关键视频帧2(即在聚类簇2中具有最大信息熵的视频帧30a)、图5所示的关键视频帧3(即在聚类簇3中具有最大信息熵的视频帧40a)。
其中，本申请实施例在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵的具体过程可以描述为：获取所述目标颜色空间中的每个颜色分量的索引参量，比如，对于HSV颜色空间中的三个颜色分量而言，由于H分量被等分为12块，所以，在该HSV颜色空间中，可以每间隔30度的角度确定一个块，比如，H分量每落在[0°，30°)的取值区间内，则索引参量i＝1可以进行加一处理，又比如，H分量每落在[30°，59°)的取值区间内，索引参量i＝2可以进行加一处理，以此类推，H分量每落在[330°，360°)的取值区间内，索引参量i＝12可以进行加一处理，鉴于此，在该HSV颜色空间中，该H分量的索引参量i的取值范围可以为1～12，从而对于聚类簇的每个视频帧而言，可以统计每个视频帧在该H分量的索引参量i上的统计概率值，从而可以累积这12个索引参量上的概率统计值。另外，由于S分量被等分为5块，所以，在该HSV颜色空间中，可以每间隔20％的饱和度确定一个块，比如，S分量每落在[0，20％)的取值区间内，则索引参量j＝1可以进行加一处理，又比如，S分量每落在[20％，40％)的取值区间内，索引参量j＝2可以进行加一处理，以此类推，S分量每落在[80％，100％)的取值区间内，索引参量j＝12可以进行加一处理，鉴于此，在该HSV颜色空间中，该S分量的索引参量j的取值范围可以为1～5，从而对于聚类簇的每个视频帧而言，可以统计每个视频帧在该S分量的索引参量j上的统计概率值，从而可以累积这5个索引参量上的概率统计值。以此类推，由于V分量被等分为5块，所以，在该HSV颜色空间中，可以每间隔51的饱和度确定一个块，比如，V分量每落在[0，51)的取值区间内，则索引参量k＝1可以进行加一处理，以此类推，S分量每落在[205，256)的取值区间内，索引参量k＝5可以进行加一处理，鉴于此，在该HSV颜色空间中，该V分量的索引参量k的取值范围可以为1～5，从而对于聚类簇的每个视频帧而言，可以统计每个视频帧在该S分量的索引参量k上的统计概率值，从而可以累积这5个索引参量上的概率统计值。
其中，为便于理解，本申请实施例可以以上述聚类簇1中的视频帧10a为例，以阐述确定该HSV颜色空间中的每个颜色分量分别对应的累计概率值的具体计算过程。其中，可以理解的是，由于该视频帧10a中的每个像素点均可以用该目标颜色空间中的H分量、S分量和V分量所混合表示，因此，在该HSV颜色空间中，可以通过如下公式(1)计算该H分量的每个索引参量上的统计概率值：
Figure BDA0002101508240000211
其中，在公式(1)中，H(i)可以为该目标颜色空间中的H分量在索引参量为i上的统计概率值，其中，该H分量的索引参量i的取值范围可以为1～12；即可以用公式(1)中H_F(i)来描述该目标用户终端在H分量的索引参量的取值为i时的像素点的个数。其中，M×N为该视频帧10a的尺寸大小(例如，80*80)，换言之，基于该视频帧10a的尺寸大小，可以在该视频帧10a中确定出M×N个像素点；例如，可以在该视频帧10a中统计到H分量的索引参量的取值i＝1时的像素点的个数为20个时，可以得到H(1)＝20/1600＝1.25％，又比如，若该目标用户终端统计到H分量的索引参量的取值i＝2时的像素点的个数为200个，则可以得到H(2)＝200/1600＝12.5％，这里将不一一对i的取值进行列举。
在该HSV颜色空间中，可以通过如下公式(2)计算该S分量的每个索引参量上的统计概率值：
Figure BDA0002101508240000221
其中，在公式(2)中，S(i)可以为该目标颜色空间中的S分量在索引参量为j上的统计概率值，其中，该S分量的索引参量j的取值范围可以为1～5；即可以用公式(2)中S_F(i)来描述该目标用户终端在S分量的索引参量的取值为i时的像素点的个数。其中，M×N为该视频帧10a的尺寸大小(例如，80*80)，换言之，基于该视频帧10a的尺寸大小，可以在该视频帧10a中确定出M×N个像素点；例如，可以在该视频帧10a中统计到S分量的索引参量j＝1时的像素点的个数为40个时，可以得到S(1)＝40/1600＝2.5％，又比如，若该目标用户终端统计到S分量的索引参量j＝2时的像素点的个数为400个，则可以得到S(2)＝400/1600＝25％，这里将不一一对j的取值进行列举。
在该HSV颜色空间中，可以通过如下公式(3)计算该V分量的每个索引参量上的统计概率值：
Figure BDA0002101508240000222
其中，在公式(3)中，V(k)可以为该目标颜色空间中的V分量在索引参量为k上的统计概率值，其中，该V分量的索引参量k的取值范围可以为1～5；即可以用公式(3)中V_F(i)来描述该目标用户终端在V分量的索引参量的取值为i时的像素点的个数。其中，M×N为该视频帧10a的尺寸大小(例如，80*80)，换言之，基于该视频帧10a的尺寸大小，可以在该视频帧10a中确定出M×N个像素点；例如，可以在该视频帧10a中统计到V分量的索引参量k＝1时的像素点的个数为40个时，可以得到V(1)＝40/1600＝2.5％，又比如，若该目标用户终端统计到V分量的索引参量j＝2时的像素点的个数为40个，则可以得到S(2)＝40/1600＝2.5％，这里将不一一对j的取值进行列举。
可以理解的是，在得到该视频帧10a中的每个颜色分量在相应索引参量上的统计概率值之后，可以得到每个颜色分量分别对应的累计概率值，其中，考虑到人眼对颜色的敏感度，本申请实施例可以将H分量的权重W1设置为0.5，将S分量的权重W2设置为0.3，将V分量的权重W3设置为0.2，进而可以通过如下信息熵的计算公式来计算该视频帧10a的信息熵。
Figure BDA0002101508240000231
其中，可以理解的是，在该信息熵的计算公式中，W1为H分量的权重，H(i)可以通过上述公式(1)计算得到H分量的每个索引参量i的统计概率值，从而可以将累积所得到上述12个索引参量的累积概率值称之为该H分量对应的累计概率值；同理，在该信息熵的计算公式中，W2为S分量的权重，S(j)可以通过上述公式(2)计算得到S分量的每个索引参量j的统计概率值，从而可以将累积所得到上述5个索引参量的累积概率值称之为该S分量对应的累计概率值；同理，在该信息熵的计算公式中，W3为V分量的权重，V(k)可以通过上述公式(3)计算得到V分量的每个索引参量k的统计概率值，从而可以将累积所得到上述5个索引参量的累积概率值称之为该V分量对应的累计概率值。进一步地，该目标用户终端可以在得到每个颜色分量分别对应的累计概率值时，将每个颜色分量分别对应的累计概率值与相应颜色分量对应的权重值相乘之后求和，即可以得到上述聚类簇1中的视频帧10a的信息熵。可以理解的是，对于该聚类簇1中的其它视频帧的信息熵的计算过程可以一并参见该聚类簇1中的视频帧10a的信息熵的计算过程，这里将不再继续进行赘述。同理，对于其它聚类簇中的视频帧的信息熵的计算过程也可以一并参见该聚类簇1中的视频帧10a的信息熵的计算过程，这里将不再继续进行赘述。
步骤S103，根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔。
其中，在第二视频序列中的相邻两个关键视频帧可以包含第一关键视频帧和第二关键视频帧，通过记录相邻的两个关键视频帧分别在第一视频序列中的播放时间戳，可以得到这两个关键视频帧之间的时间间隔，从而可以在时间间隔内播放第一关键视频帧，以进一步执行步骤S104。
步骤S104，基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。
具体地，该目标用户终端可以基于所述第一关键视频帧和第二关键视频帧之间的时间间隔控制所述第一关键视频帧的播放时长(即显示时长)；从而可以在该第一关键视频帧的播放时长(即显示时长)内对所述第一关键视频帧进行播放，直到所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
为便于理解，进一步地，请参见图6，是本申请实施例提供的一种播放第二视频序列的场景示意图。如图6所示，该目标用户终端可以在确定出相邻两个关键视频帧之间的时间间隔(即第一关键视频帧与第二关键视频帧之间的时间间隔)时，基于这两个关键视频帧之间的时间间隔控制第一关键视频帧的播放时长。其中，如上述图5所示，该图6所示的第二视频序列中的关键视频帧1可以为图6所示的第一视频序列中的视频帧10a，该图6所示的第二视频序列中的关键视频帧2可以为图6所示的第一视频序列中的视频帧30a，该图6所示的第二视频序列中的关键视频帧3可以为图6所示的第一视频序列中的视频帧40a。如图6所示，该关键视频帧1在第一视频序列中的播放时间戳可以为时间戳T1，即在第一视频序列中，当播放进度达到该时间戳T1时，则可以播放该第一视频序列中的视频帧10a；同理，如图6所示，该关键视频帧2在第一视频序列中的播放时间戳可以为时间戳T3，即在第一视频序列中，当播放进度达到该时间戳T3时，则可以播放该第一视频序列中的视频帧30a；同理，如图6所示，该关键视频帧3在第一视频序列中的播放时间戳可以为时间戳T4，即在第一视频序列中，当播放进度达到该时间戳T4时，则可以播放该第一视频序列中的视频帧40a。
其中，为确保减帧处理后的每个关键视频帧的播放效果，需要调整该第二视频序列中的每个关键视频帧的播放逻辑。比如，该目标用户终端可以在对聚类簇中的视频帧进行减帧处理时，同步标记每个聚类簇中的关键视频帧在第一视频序列中的时间点(即前述时间戳T1,前述时间戳T3,前述时间戳T4)，从而可以根据根据每个关键视频帧对应的时间点来播放该第二视频序列。换言之，本申请实施例可以在播放第二视频序列时，基于每个关键视频帧对应的时间点来播放每个关键视频帧。
可选地，本申请实施例还可以在确定每个关键视频帧的播放时间戳(即时间点)时，进一步确定相邻两个关键视频帧(即第一关键视频帧与第二关键视频帧)之间的时间间隔，从而可以通过相邻两个关键视频帧之间的时间间隔控制这两个关键视频帧中的第一关键视频帧的显示时长，以进一步调整该第二视频序列中的每个关键视频帧的播放逻辑。比如，对于图6所示的第二视频序列中的三个关键视频帧而言，可以将关键视频帧1与关键视频帧2称之为相邻两个关键视频帧，同理，本申请实施例也可以将图6所示的关键视频帧2与关键视频帧3称之为相邻两个关键视频帧。其中，关键视频帧1与关键视频帧2之间的时间间隔可以为上述视频帧10a对应的时间戳T1与上述视频帧30a对应的时间戳T2之间的时间间隔，通过该相邻两个关键视频帧之间的时间间隔可以得到图6所示的显示时长1，从而可以在图6所示的显示时长1内播放关键视频帧1，以控制关键视频帧1(即第一关键视频帧)的播放时长，并可以在该第二视频序列的播放进度达到关键视频帧2的播放时间错(即前述时间戳T3)时，播放该关键视频帧2(即第二关键视频帧)。
同理，关键视频帧2与关键视频帧3之间的时间间隔可以为上述视频帧30a对应的时间戳T3与上述视频帧40a对应的时间戳T4之间的时间间隔，通过该相邻两个关键视频帧之间的时间间隔可以得到图6所示的显示时长2，从而可以在图6所示的显示时长2内播放关键视频帧1，以控制关键视频帧2(即新的第一关键视频帧)的播放时长，并可以在该第二视频序列的播放进度达到关键视频帧3的播放时间错(即前述时间戳T4)时，播放该关键视频帧3(即新的第二关键视频帧)，直到该第二视频序列的播放时长达到上述第一视频序列的播放时长时，停止对该第二视频序列的播放。
本申请实施例中通过聚类关键帧的方式对第一视频序列进行减帧处理，可以有效地确保减帧处理后所得到的第二视频序列中的视频帧的数量少于所述第一视频序列中的视频帧的数量，从而可以在终端设备中播放该第二视频序列时，减少视频数据所占用的系统内存；另外，通过聚类关键帧的方式可以从每个聚类簇中提取出具有代表性的视频帧作为关键视频帧，从而可以在根据这些关键视频帧进行减帧处理的过程中，能够尽可能地确保该第二视频序列中的任意相邻两个关键视频帧之间的视觉过度效果；此外，通过相邻两个关键视频帧之间的时间间隔，还可以有效地控制每个视频帧的播放时长，进而可以提高视频数据的显示效果。
进一步地，请参见图7，是本申请实施例提供的另一种视频数据处理方法的示意图。如图7所示，所述方法可以包含以下步骤：
步骤S201，获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
其中，目标用户终端将第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间的具体实现方式可以参见上述图3所对应实施例中对目标颜色空间的描述，这里将不再继续进行赘述。
步骤S202，在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
具体地，目标用户终端可以从所述第一视频序列中获取用于作为聚类质心的第一视频帧；进一步地，目标用户终端可以在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；进一步地，目标用户终端可以在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
其中，可以理解的是，目标用户终端在该目标颜色空间(即前述HSV色彩空间)中，可以对该第一视频序列中的两个视频帧进行逐帧聚类，且在逐帧聚类的过程中主要是通过两个视频帧之间的色彩相似度来进行分类。其中，该第一视频序列中的两个视频帧可以包含第一视频帧和第二视频帧。其中，本申请实施例可以将这两个视频帧中的一个视频帧(即第一视频帧)可以称之为聚类质心，并可以将这两个视频帧中的另一视频帧称之为待与该聚类质心进行色彩相似度匹配的第二视频帧。
其中，可以理解的是，对于上述图4a所示的第一视频序列而言，可以将该第一视频序列中的首个视频帧(即图4a中的视频帧10a)称之为聚类质心1，此时，本申请实施例可以将该聚类质心1统称为两个视频帧中的第一视频帧，并可以在第一视频序列中将除该聚类质心1之外的视频帧称之为第二视频帧，此时，这些第二视频帧均为待与该聚类质心1进行色彩相似度匹配的第二视频帧。进一步的，本申请实施例可以根据前述逐帧聚类的规则，在该第一视频序列中通过轮序机制依次获取待与该第一视频帧进行色彩相似度匹配的第二视频帧，此时，这些待与聚类质心1进行色彩相似度匹配的第二视频帧(例如，上述图4a所示的视频帧20a，视频帧30a，视频帧40a，视频帧50a)可以统称为待匹配的第二视频帧。所以，可以根据前述轮询机制在图4a所示的第一视频序列中优先将与视频帧10a相邻的视频帧20a确定为待匹配的第二视频帧，以计算视频帧10a(即第一视频帧)与视频帧20a之间的色彩相似度。
其中，可以理解的是，本申请实施例在计算第一视频序列中的两个图像(即视频帧10a与视频帧20a)之间的相似度(即色彩相似度)时，可以先分别计算这两个图像的颜色直方图之间的相似性，即本申请实施例可以将第一视频帧(即前述视频帧30a)在该目标颜色空间中的颜色直方图称之为第一直方图，并将第二视频帧(即视频帧20a)在该目标颜色空间中的颜色直方图称之为第二直方图。
其中，可以理解的是，由于在目标颜色空间(例如，HSV色彩空间)中，H分量被等分为12块，S分量被等分为5块，V分量被等分为5块。其中，本申请实施例可以将每个分块称之为一个索引参量，为了对这3个色彩分量分别对应的索引参量进行区别，本申请实施例可以将H分量对应的索引参量称之为前述索引参量i，将S分量对应的索引参量称之为前述索引参量j，将V分量对应的索引参量称之为前述索引参量k。鉴于此，本申请实施例可以在确定好目标颜色分量(例如，H分量)时，将第一直方图中该H分量在该索引参量i(例如，i＝1)上的统计概率值称之为第一统计概率值，并可以在第二直方图中将该H分量在同一索引参量i(例如，i＝1)上的统计概率值称之为第二统计概率值，从而可以将该索引参量i在取值为1时的第一统计概率值和第二统计概率值进行比较，以在这两个统计概率值中确定出该H分量的索引参量i在取值为1时的最小概率统计值。其中，可以理解的是，对于该H分量的索引参量i在不同取值(即1～12的取值范围中的任意一个取值)的情况下，可以得到每个索引参量分别对应的最小概率统计值，从而可以得到该H分量对应的最小累计概率值。
其中，可以理解的是，当该目标用户终端在得到该HSV颜色空间中的三个分量分别对应的最小累计概率值时，可以根据这三个颜色分量分别对应的最小累计概率值确定出两个图像的第一直方图和第二直方图之间的相似度，以间接确定出视频帧10a与视频帧20a之间的色彩相似度。
其中，该目标用户终端可以通过如下公式(4)计算H分量对应的最小累计概率值：
Figure BDA0002101508240000271
在公式(4)中，SH(P1，Q1)用于描述前述两个图像(即第一视频帧与第二视频帧)的H分量之间的色彩相似度。其中，P1用于表示待与聚类质心(即聚类质心1)进行色彩相似度匹配的第二视频帧，Q1用于表示聚类质心(即聚类质心1)。其中，H(i)用于表示在第二视频帧内的H分量的索引参量i上的统计概率值(即前述第二统计概率值)，Q1_H(i)用于表示在第一视频帧内的H分量的索引参量i上的统计概率值(即前述第一统计概率值)；其中，最小函数min(H(i),Q1_H(i))的用于描述这两个图像中的相同索引参量对应的最小概率统计值。由于该H分量的索引参量i的取值可以为1～12中的任意一个，因此，本申请实施例可以在得到该H分量的12个索引参量分别对应的最小概率统计值的情况下，进一步对这12个索引参量分别对应的的最小概率统计值进行累计，以确定该H分量对应的最小累计概率值，即本申请实施例可以将H分量对应的最小累计概率值统称为前述两个图像(例如，视频帧10a和视频帧10b)的H分量之间的色彩相似度。
以此类推，该目标用户终端可以通过如下公式(5)计算S分量对应的最小累计概率值：
Figure BDA0002101508240000281
在公式(5)中，SS(P1，Q1)用于描述前述两个图像(即第一视频帧与第二视频帧)的S分量之间的色彩相似度。其中，P1仍然表示待与聚类质心(即聚类质心1)进行色彩相似度匹配的第二视频帧，Q1仍然表示聚类质心(即聚类质心1)。其中，S(j)用于表示在第二视频帧内的S分量的索引参量j上的统计概率值(即前述第二统计概率值)，Q1_S(j)用于表示在第一视频帧内的H分量的索引参量j上的统计概率值(即前述第一统计概率值)；其中，最小函数min(S(j),Q1_S(j))的用于描述这两个图像中的相同索引参量对应的最小概率统计值。由于该S分量的索引参量j的取值可以为1～5中的任意一个，因此，本申请实施例可以在得到该S分量的5个索引参量分别对应的最小概率统计值的情况下，进一步对这5个索引参量分别对应的的最小概率统计值进行累计，以确定该S分量对应的最小累计概率值，即本申请实施例可以将S分量对应的最小累计概率值统称为前述两个图像(例如，视频帧10a和视频帧10b)的S分量之间的色彩相似度。
以此类推，该目标用户终端可以通过如下公式(6)计算V分量对应的最小累计概率值：
Figure BDA0002101508240000291
在公式(6)中，SV(P1，Q1)用于描述前述两个图像(即第一视频帧与第二视频帧)的V分量之间的色彩相似度。其中，P1仍然表示待与聚类质心(即聚类质心1)进行色彩相似度匹配的第二视频帧，Q1仍然表示聚类质心(即聚类质心1)。其中，V(k)用于表示在第二视频帧内的V分量的索引参量k上的统计概率值(即前述第二统计概率值)，Q1_V(k)用于表示在第一视频帧内的V分量的索引参量k上的统计概率值(即前述第一统计概率值)；其中，最小函数min(V(k),Q1_V(k))的用于描述这两个图像中的相同索引参量对应的最小概率统计值。由于该V分量的索引参量k的取值可以为1～5中的任意一个，因此，本申请实施例可以在得到该V分量的5个索引参量分别对应的最小概率统计值的情况下，进一步对这5个索引参量分别对应的的最小概率统计值进行累计，以确定该V分量对应的最小累计概率值，即本申请实施例可以将V分量对应的最小累计概率值统称为前述两个图像(例如，视频帧10a和视频帧10b)的S分量之间的色彩相似度。
由此可见，本申请实施例在比较两个图像之间的相似度的过程中，可以比较这两个图像的颜色直方图之间的相似性，即可以比较这两个图像的颜色直方图中的三个颜色分量之间的相似性，换言之，本申请实施例可以在得到这3个颜色分量分别对应的最小累计概率值之后，可以获取每个颜色分量对应的权重，从而可以根据每个颜色分量分别对应的最小累计概率值和相应颜色分量分别对应的权重进行相乘之后再进行求和处理，以计算得到这两个图像的第一直方图与第二直方图之间的相似度，并可以进一步将这两个图像的第一直方图与第二直方图之间的相似度统称为第一视频帧与所述第二视频帧之间的色彩相似度，以便于后续可以根据这两个图像的色彩相似度(即相似度)，划分图4a所示的第一视频序列中的视频帧20a所属的聚类簇。
比如，若匹配到第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则可以将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧(例如，视频帧20a)划分到所述第一视频帧所属的聚类簇(例如，上述图4b所示的聚类簇1)。
可选的，若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则可以基于所述色彩相似度小于所述聚类阈值的第二视频帧(例如，上述图4b所示的视频帧30a)更新所述第一视频帧(例如，视频帧10a)，并创建更新后的第一视频帧所属的聚类簇(即上述视频帧30a所属的聚类簇2)，并将所述更新后的第一视频帧(即视频帧30a)依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，可以输出第一视频序列中的视频帧所属的聚类簇，具体的，可以一并参见上述图4a和图4b所对应实施例中对各聚类簇的描述，这里将不再继续进行赘述。
步骤S203，在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧；
具体地，目标用户终端可以在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；进一步的，目标用户终端可以在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧；进一步地，目标用户终端可以将查找到的具有最大信息熵的视频帧作为从所述聚类簇中所获取到的关键视频帧。
步骤S204，基于所述关键视频帧确定第二视频序列；
步骤S205，根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
其中，可以理解的是，本申请实施例所描述的第一视频序列中的每个视频帧的播放时间戳可以为正向播放时的时间戳，即可以在正向播放该第一视频序列时由播放时间戳最小的时间戳开始进行播放，直到该第一视频序列的播放进度达到该第一视频序列的终点对应的时间戳。此时，在该第二视频序列中的首个关键视频帧的播放时间戳也就具有最小的时间戳。可选的，本申请实施例还可以对该第一视频序列进行方向播放，即可以在反向播放该第一视频序列时由播放时间戳最大的时间戳开始进行播放，直到该第一视频序列的播放进度达到该第一视频序列的起点对应的时间戳。此时，在该第二视频序列中的首个关键视频帧的播放时间戳也就具有最大的时间戳。为便于理解，本申请实施例仅以正向播放该第一视频序列为例，以进一步根据每个关键视频帧在所述第一视频序列中的播放时间戳，在该第二视频序列中确定相邻两个关键视频帧之间的时间间隔。
其中，所述相邻两个关键视频帧包含第一关键视频帧和第二关键视频帧；
步骤S206，基于所述第一关键视频帧和第二关键视频帧之间的时间间隔控制所述第一关键视频帧的播放时长；
步骤S207，基于所述第一关键视频帧的播放时长对所述第一关键视频帧进行播放，直到所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
其中，所述步骤S204-步骤S207的具体实现方式可以参见上述图3所对应实施例中对步骤S102-步骤S104的描述，这里将不再继续进行赘述。
其中，可选的，在一些对系统性能要求较高的场景下，比如，视频帧的帧率无法改变的情况下，本申请实施例还可以通过另一种方式(例如，补帧处理的方式)控制第一关键视频帧的显示时长。比如，本申请实施例还可以基于第一关键视频帧和第二关键视频帧之间的时间间隔，创建与该第一关键视频帧相同的至少一个补齐视频帧，比如，对于上述图6所示的时间戳T1与时间戳T2之间的时间间隔而言，可以在该时间间隔内对该关键视频帧1进行复制，以重复显示该关键视频帧1，从而可以间接控制该关键视频帧1的显示时长，以基于这些补齐视频帧对第二视频序列进行帧补齐。
其中，可以理解的是，帧补齐后的第二视频序列可以与第一视频序列具有相同的视频帧的帧数，此时，本申请实施例可以通过每个补齐视频帧的播放时长延长该第一关键视频帧的显示时长，由于在播放第一关键视频帧时完成了视频数据的渲染效果，因此，在时间间隔内播放补齐视频帧时，可以无需对该补齐视频帧进行渲染，从而可以避免渲染所造成的性能损耗。进一步的，该目标用户终端也可以在该第二视频序列的播放进度达到第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
其中，可以理解的是，采用本申请实施例中的聚类关键帧算法可以对第一视频序列所占用的内存进行内存优化，从而可以在网页或者应用客服端中播放该优化后的视频数据时，避免视频数据的显示效果出现骤然下降的现象，即可以在减帧处理后，进一步对减帧处理后所得到的第二视频序列的渲染效果进行调整，以确保视频数据的播放效果。
本申请实施例中通过聚类关键帧的方式对第一视频序列进行减帧处理，可以有效地确保减帧处理后所得到的第二视频序列中的视频帧的数量少于所述第一视频序列中的视频帧的数量，从而可以在终端设备中播放该第二视频序列时，减少视频数据所占用的系统内存；另外，通过聚类关键帧的方式可以从每个聚类簇中提取出具有代表性的视频帧作为关键视频帧，从而可以在根据这些关键视频帧进行减帧处理的过程中，能够尽可能地确保该第二视频序列中的任意相邻两个关键视频帧之间的视觉过度效果；此外，通过相邻两个关键视频帧之间的时间间隔，还可以有效地控制每个视频帧的播放时长，进而可以提高视频数据的显示效果。
进一步地，请参见图8，是本申请实施例提供的一种视频数据处理装置的结构示意图。所述视频数据处理装置1可以应用于上述目标用户终端，该目标用户终端可以为上述图1所对应实施例中的用户终端3000a。进一步地，该视频数据处理装置1可以包括：聚类模块10，序列确定模块20，间隔确定模块30和播放模块40；
聚类模块10，用于对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；
其中，所述聚类模块10包括：空间转换单元101，聚类单元102和关键帧获取单元103；
空间转换单元101，用于获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
聚类单元102，用于在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
其中，所述聚类单元102包括：质心确定子单元1021，轮询子单元1022，划分子单元1023；
质心确定子单元1021，用于从所述第一视频序列中获取用于作为聚类质心的第一视频帧；
轮询子单元1022，用于在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；
划分子单元1023，用于在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
其中，所述划分子单元1023包括：聚类簇创建子单元1024，匹配子单元1025，第一划分子单元1026，第二划分子单元1027；
聚类簇创建子单元1024，用于创建所述第一视频帧所属的聚类簇；
匹配子单元1025，用于在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配；
其中，所述匹配子单元1025包括：直方图确定子单元1041，概率统计子单元1042和相似度确定子单1043；
直方图确定子单元1041，用于将所述第一视频帧在所述目标颜色空间中的颜色直方图确定为第一直方图，并将所述第二视频帧在所述目标颜色空间中的颜色直方图确定为第二直方图；所述目标颜色空间包含多个颜色分量；
概率统计子单元1042，用于基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度；
其中，所述概率统计子单元1042包括：分量获取子单元1051，概率值确定子单元1052，概率值比较子单元1053和概率值累计子单元1054；
分量获取子单元1051，用于从所述第一直方图中的每个颜色分量中获取目标颜色分量；所述目标颜色分量是由所述目标颜色空间中的多个索引参量共同表示的；
概率值确定子单元1052，用于在所述第一直方图中将所述目标颜色分量在每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第一统计概率值，并在所述第二直方图中将所述目标颜色分量在所述每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第二统计概率值，
概率值比较子单元1053，用于将所述每个索引参量相关联的第一统计概率值与相同索引参量相关联的第二统计概率值进行数值比较，并根据数值比较结果确定所述每个索引参量分别对应的最小概率统计值；
概率值累计子单元1054，用于基于所述每个索引参量分别对应的最小概率统计值，确定所述目标颜色分量对应的最小累计概率值，并基于所述目标颜色分量对应的最小累计概率值确定所述第一直方图和第二直方图之间的相似度。
其中，分量获取子单元1051，概率值确定子单元1052，概率值比较子单元1053和概率值累计子单元1054的具体实现方式可以参见上述图7所对应实施例中对最小累计概率值的描述，这里将不再继续进行赘述。
相似度确定子单1043，用于将所述第一直方图和第二直方图之间的相似度确定为第一视频帧与所述第二视频帧之间的色彩相似度。
其中，直方图确定子单元1041，概率统计子单元1042和相似度确定子单1043的具体实现方式可参加上述图3所对应实施例对第一直方图和第二直方图之间的相似度的描述，这里将不再继续进行赘述。
第一划分子单元1026，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇；
第二划分子单元1027，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则基于所述色彩相似度小于所述聚类阈值的第二视频帧更新所述第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将所述更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，输出所述第一视频序列中的视频帧所属的聚类簇。
其中，聚类簇创建子单元1024，匹配子单元1025，第一划分子单元1026，第二划分子单元1027的具体实现方式可以参见上述图3所对应实施例中对第一视频帧与第二视频帧之间的色彩相似度的描述，这里将不再继续进行赘述。
其中，质心确定子单元1021，轮询子单元1022，划分子单元1023的具体实现方式可以参见上述图3所对应实施例中对划分聚类簇的描述，这里将不再继续进行赘述。
关键帧获取单元103，用于在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。
其中，所述关键帧获取单元103包括：信息熵确定子单元1031，信息熵查找子单元1032和关键帧确定子单元1033；
信息熵确定子单元1031，用于在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；
其中，所述信息熵确定子单元1031，包括：索引量获取子单元1034，累计子单元1035和加权子单元1036；
索引量获取子单元1034，用于获取所述目标颜色空间中的每个颜色分量的索引参量；
累计子单元1035，用于获取所述聚类簇中的视频帧在所述每个颜色分量的索引参量上的统计概率值，并对所述每个颜色分量的索引参量上的统计概率值进行累计，得到所述每个颜色分量分别对应的累计概率值；
加权子单元1036，用于基于所述每个颜色分量对应的累计概率值和相应颜色分量对应的权重值，确定所述聚类簇中的视频帧的信息熵。
其中，索引量获取子单元1034，累计子单元1035和加权子单元1036的具体实现方式可以参见上述图3所对应实施例中对计算视频帧10a的信息熵的具体过程的描述，这里将不再继续进行赘述。
信息熵查找子单元1032，用于在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧；
关键帧确定子单元1033，用于将查找到的具有最大信息熵的视频帧作为从所述聚类簇中所获取到的关键视频帧。
其中，信息熵确定子单元1031，信息熵查找子单元1032和关键帧确定子单元1033的具体实现方式可以参见上述图3所对应实施例中对信息熵的描述，这里将不再继续进行赘述。
其中，空间转换单元101，聚类单元102和关键帧获取单元103的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述，这里将不再继续进行赘述。
序列确定模块20，用于基于所述关键视频帧确定第二视频序列；
间隔确定模块30，用于根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
播放模块40，用于基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。
其中，所述相邻两个关键视频帧包含第一关键视频帧和第二关键视频帧；
所述播放模块40包括：时长控制单元401和播放子单元402；
时长控制单元401，用于基于所述第一关键视频帧和第二关键视频帧之间的时间间隔控制所述第一关键视频帧的播放时长；
播放子单元402，用于基于所述第一关键视频帧的播放时长对所述第一关键视频帧进行播放，直到所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧。
其中，时长控制单元401和播放子单元402的具体实现方式可以参见上述图6所对应实施例中对播放第二视频序列的描述，这里将不再继续进行赘述。
其中，聚类模块10，序列确定模块20，间隔确定模块30和播放模块40的具体实现方式可以参见上述图3所对应实施例中对步骤S101-步骤S104的描述，这里将不再继续进行赘述。
可以理解的是，本申请实施例中的视频数据处理装置1可执行前文图3或图7所对应实施例中对所述视频数据处理方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图9，是本申请实施例提供的一种计算机设备的结构示意图。如图9所示，该计算机设备1000可以为上述图1所对应实施例中的用户终端3000a。该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，该计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中，该计算机设备1000中的网络接口1004还可以与上述图1所对应实施例中的服务器2000进行网络连接，且可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。在图9所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；
基于所述关键视频帧确定第二视频序列；
根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3或图7所对应实施例中对所述视频数据处理方法的描述，也可执行前文图8所对应实施例中对所述视频数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的视频数据处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3或图7所对应实施例中对所述视频数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (14)

1.一种视频数据处理方法，其特征在于，包括：
接收目标终端关于第一视频序列的下载指令，所述下载指令携带所述目标终端的终端标识；
根据所述终端标识确定所述目标终端的视频处理性能；
若所述目标终端的视频处理性能满足减帧条件，则对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；任一聚类簇内至少包括用于作为质心的第一视频帧，具有相邻关系的聚类簇包括的第一视频帧之间的色彩相似度小于聚类阈值，所述聚类簇中包括由所述第一视频帧，以及除所述第一视频帧以外的其他视频帧所构成的目标聚类簇，所述其他视频帧为所述第一视频序列中与所述目标聚类簇内的第一视频帧之间的色彩相似度大于或等于聚类阈值的视频帧，所述目标聚类簇内的视频帧之间具有连续播放关系；所述连续播放关系是根据所述目标聚类簇内的视频帧在所述第一视频序列中的播放时间戳确定的；聚类簇之间的相邻关系是根据聚类簇内的视频帧在所述第一视频序列中的播放时间戳确定的；任一聚类簇中的第一视频帧的播放时间戳早于对应聚类簇中其他视频帧对应的播放时间戳；
基于所述关键视频帧确定第二视频序列，将所述第二视频序列发送至所述目标终端；
根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放，通过所述目标终端基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放，包括，基于第一关键视频帧和第二关键视频帧之间的时间间隔，创建与所述第一关键视频帧相同的至少一个补齐视频帧，得到帧补齐后的第二视频序列，根据所述至少一个补齐视频帧的播放时长，延长所述第一关键视频帧的显示时长，在所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧；所述帧补齐后的第二视频序列与所述第一视频序列具有相同视频帧的帧数；所述第一关键视频帧和所述第二关键视频帧为所述第二视频序列中的相邻两个关键视频帧。
2.根据权利要求1所述的方法，其特征在于，所述对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同，包括：
获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。
3.根据权利要求2所述的方法，其特征在于，所述在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇，包括：
从所述第一视频序列中获取用于作为聚类质心的第一视频帧；
在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；
在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
4.根据权利要求3所述的方法，其特征在于，所述在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇，包括：
创建所述第一视频帧所属的聚类簇；
在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配；
若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇；
若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则基于所述色彩相似度小于所述聚类阈值的第二视频帧更新所述第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将所述更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，输出所述第一视频序列中的视频帧所属的聚类簇。
5.根据权利要求4所述的方法，其特征在于，所述在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配，包括：
将所述第一视频帧在所述目标颜色空间中的颜色直方图确定为第一直方图，并将所述第二视频帧在所述目标颜色空间中的颜色直方图确定为第二直方图；所述目标颜色空间包含多个颜色分量；
基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度；
将所述第一直方图和第二直方图之间的相似度确定为第一视频帧与所述第二视频帧之间的色彩相似度。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一直方图中的每个颜色分量相关联的统计概率值、所述第二直方图中的每个颜色分量相关联的统计概率值，确定所述第一直方图和第二直方图之间的相似度，包括：
从所述第一直方图中的每个颜色分量中获取目标颜色分量；所述目标颜色分量是由所述目标颜色空间中的多个索引参量共同表示的；
在所述第一直方图中将所述目标颜色分量在每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第一统计概率值，并在所述第二直方图中将所述目标颜色分量在所述每个索引参量上的统计概率值分别确定为所述每个索引参量相关联的第二统计概率值；
将所述每个索引参量相关联的第一统计概率值与相同索引参量相关联的第二统计概率值进行数值比较，并根据数值比较结果确定所述每个索引参量分别对应的最小概率统计值；
基于所述每个索引参量分别对应的最小概率统计值，确定所述目标颜色分量对应的最小累计概率值，并基于所述目标颜色分量对应的最小累计概率值确定所述第一直方图和第二直方图之间的相似度。
7.根据权利要求2所述的方法，其特征在于，所述在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧，包括：
在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧对应的信息熵；
在所述聚类簇中的视频帧对应的信息熵中查找具有最大信息熵的视频帧；
将查找到的具有最大信息熵的视频帧作为从所述聚类簇中所获取到的关键视频帧。
8.根据权利要求7所述的方法，其特征在于，所述在所述目标颜色空间中，基于所述聚类簇中的视频帧所携带的每个颜色分量分别对应的累计概率值，确定所述聚类簇中的视频帧的信息熵，包括：
获取所述目标颜色空间中的每个颜色分量的索引参量；
获取所述聚类簇中的视频帧在所述每个颜色分量的索引参量上的统计概率值，并对所述每个颜色分量的索引参量上的统计概率值进行累计，得到所述每个颜色分量分别对应的累计概率值；
基于所述每个颜色分量对应的累计概率值和相应颜色分量对应的权重值，确定所述聚类簇中的视频帧的信息熵。
9.一种视频数据处理装置，其特征在于，包括：
聚类模块，用于接收目标终端关于第一视频序列的下载指令，所述下载指令携带所述目标终端的终端标识；根据所述终端标识确定所述目标终端的视频处理性能；若所述目标终端的视频处理性能满足减帧条件，则对第一视频序列中的视频帧进行聚类处理，得到第一视频序列相关联的聚类簇，在所述聚类簇中获取关键视频帧；所述关键视频帧的数量与所述聚类簇的数量相同；任一聚类簇内至少包括用于作为质心的第一视频帧，具有相邻关系的聚类簇包括的第一视频帧之间的色彩相似度小于聚类阈值，所述聚类簇中包括由所述第一视频帧，以及除所述第一视频帧以外的其他视频帧所构成的目标聚类簇，所述其他视频帧为所述第一视频序列中与所述目标聚类簇内的第一视频帧之间的色彩相似度大于或等于聚类阈值的视频帧，所述目标聚类簇内的视频帧之间具有连续播放关系；所述连续播放关系是根据所述目标聚类簇内的视频帧在所述第一视频序列中的播放时间戳确定的；聚类簇之间的相邻关系是根据聚类簇内的视频帧在所述第一视频序列中的播放时间戳确定的；任一聚类簇中的第一视频帧的播放时间戳早于对应聚类簇中其他视频帧对应的播放时间戳；
序列确定模块，用于基于所述关键视频帧确定第二视频序列，将所述第二视频序列发送至所述目标终端；
间隔确定模块，用于根据所述关键视频帧在所述第一视频序列中的播放时间戳，确定所述第二视频序列中的相邻两个关键视频帧之间的时间间隔；
播放模块，用于基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放，所述基于所述相邻两个关键视频帧之间的时间间隔对所述第二视频序列进行播放，包括，基于第一关键视频帧和第二关键视频帧之间的时间间隔，创建与所述第一关键视频帧相同的至少一个补齐视频帧，得到帧补齐后的第二视频序列，根据所述至少一个补齐视频帧的播放时长，延长所述第一关键视频帧的显示时长，在所述第二视频序列的播放进度达到所述第二关键视频帧的播放时间戳时，播放所述第二关键视频帧；所述帧补齐后的第二视频序列与所述第一视频序列具有相同视频帧的帧数；所述第一关键视频帧和所述第二关键视频帧为所述第二视频序列中的相邻两个关键视频帧。
10.根据权利要求9所述的装置，其特征在于，所述聚类模块包括：
空间转换单元，用于获取第一视频序列，并将所述第一视频序列中的视频帧相关联的初始颜色空间转换成目标颜色空间；
聚类单元，用于在所述目标颜色空间中，对所述第一视频序列中的视频帧进行聚类处理，得到与所述第一视频序列相关联的聚类簇；
关键帧获取单元，用于在所述聚类簇中将与关键帧获取条件相匹配的视频帧作为关键视频帧。
11.根据权利要求10所述的装置，其特征在于，所述聚类单元包括：
质心确定子单元，用于从所述第一视频序列中获取用于作为聚类质心的第一视频帧；
轮询子单元，用于在所述第一视频序列中将除所述第一视频帧之外的视频帧确定为第二视频帧，并基于轮询机制依次获取所述第二视频帧；
划分子单元，用于在所述目标颜色空间中，根据所述第一视频帧与所述第二视频帧之间的色彩相似度，划分所述第一视频序列中的视频帧所属的聚类簇。
12.根据权利要求11所述的装置，其特征在于，所述划分子单元包括：
聚类簇创建子单元，用于创建所述第一视频帧所属的聚类簇；
匹配子单元，用于在所述目标颜色空间中将所述第一视频帧与所述第二视频帧进行色彩相似度匹配；
第一划分子单元，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度大于或者等于聚类阈值，则将所述色彩相似度大于或者等于所述聚类阈值的第二视频帧划分到所述第一视频帧所属的聚类簇；
第二划分子单元，用于若匹配到所述第一视频帧与所述第二视频帧之间的色彩相似度小于所述聚类阈值，则基于所述色彩相似度小于所述聚类阈值的第二视频帧更新所述第一视频帧，并创建更新后的第一视频帧所属的聚类簇，并将所述更新后的第一视频帧依次与未匹配的第二视频帧进行色彩相似度匹配，直到所述第一视频序列中的视频帧均完成色彩相似度匹配时，输出所述第一视频序列中的视频帧所属的聚类簇。
13.一种计算机设备，其特征在于，包括：处理器、存储器；
所述处理器与存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-8任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-8任一项所述的方法。
CN201910537078.XA 2019-06-20 2019-06-20 一种视频数据处理方法、装置及存储介质 Active CN112118494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910537078.XA CN112118494B (zh) 2019-06-20 2019-06-20 一种视频数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537078.XA CN112118494B (zh) 2019-06-20 2019-06-20 一种视频数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112118494A CN112118494A (zh) 2020-12-22
CN112118494B true CN112118494B (zh) 2022-09-20

Family

ID=73795953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537078.XA Active CN112118494B (zh) 2019-06-20 2019-06-20 一种视频数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112118494B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375587B (zh) * 2022-10-24 2023-03-10 北京实创上地科技有限公司 一种视频处理方法及服务器
CN117972461B (zh) * 2024-04-02 2024-06-14 济宁职业技术学院 一种发酵生产过程关键参量的软测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150373A (zh) * 2013-03-08 2013-06-12 北京理工大学 一种高满意度视频摘要生成方法
CN107295352A (zh) * 2017-06-14 2017-10-24 北京蜜莱坞网络科技有限公司 一种视频压缩方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003090444A2 (en) * 2002-04-15 2003-10-30 The Trustees Of Columbia University In The City Of New York Methods for selecting a subsequence of video frames from a sequence of video frames
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
KR101146926B1 (ko) * 2006-12-20 2012-05-22 엘지전자 주식회사 이동 단말기에서 비디오의 대표 영상 제공 방법
CN103634605B (zh) * 2013-12-04 2017-02-15 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
CN103942751B (zh) * 2014-04-28 2017-06-06 中央民族大学 一种视频关键帧提取方法
CN104268917B (zh) * 2014-09-28 2017-07-11 厦门幻世网络科技有限公司 一种将3d动画转化为gif动态图的方法及其装置
CN104408429B (zh) * 2014-11-28 2017-10-27 北京奇艺世纪科技有限公司 一种视频代表帧提取方法及装置
CN106792005B (zh) * 2017-01-17 2020-08-28 南通同洲电子有限责任公司 一种基于音视频结合的内容检测方法
CN106851437A (zh) * 2017-01-17 2017-06-13 南通同洲电子有限责任公司 一种提取视频摘要的方法
CN107220585A (zh) * 2017-03-31 2017-09-29 南京邮电大学 一种基于多特征融合镜头聚类的视频关键帧提取方法
CN108882057B (zh) * 2017-05-09 2021-08-17 北京小度互娱科技有限公司 视频摘要生成方法及装置
CN108171189A (zh) * 2018-01-05 2018-06-15 广东小天才科技有限公司 一种视频编码方法、视频编码装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150373A (zh) * 2013-03-08 2013-06-12 北京理工大学 一种高满意度视频摘要生成方法
CN107295352A (zh) * 2017-06-14 2017-10-24 北京蜜莱坞网络科技有限公司 一种视频压缩方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Effective Keyframe Extraction from Personal Video by Using Nearest Neighbor Clustering";Chaohui Lv等;《2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20190203;全文 *

Also Published As

Publication number Publication date
CN112118494A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2022227308A1 (zh) 图像处理方法、装置、设备以及介质
US20220014819A1 (en) Video image processing
CN107025457B (zh) 一种图像处理方法和装置
CN108600781B (zh) 一种视频封面生成的方法以及服务器
CN110602554A (zh) 封面图像确定方法、装置及设备
CN111954053B (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
US11347792B2 (en) Video abstract generating method, apparatus, and storage medium
CN113779303B (zh) 视频集合的索引方法、装置和存储介质及电子设备
US20230021533A1 (en) Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device
CN110147469A (zh) 一种数据处理方法、设备及存储介质
CN117915088A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN112118494B (zh) 一种视频数据处理方法、装置及存储介质
CN110012350A (zh) 一种视频处理方法及装置、设备、存储介质
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
CN110996173B (zh) 一种图像数据处理方法、装置及存储介质
CN110691246A (zh) 视频编码方法、装置及电子设备
CN110826545A (zh) 一种视频类别识别的方法及相关装置
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN106331532A (zh) 一种数据转换方法、装置及电子设备
CN113762058B (zh) 一种视频合成方法、装置、计算机设备和存储介质
Rui et al. On the initialization and training methods for Kohonen self-organizing feature maps in color image quantization
CN115604410A (zh) 视频处理方法、装置、设备和计算机可读存储介质
US20150265921A1 (en) Game-Aware Compression Algorithms for Efficient Video Uploads
CN118247391B (zh) 动画生成方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant