[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108737851B - 用于针对视频内容项的调色板提取的方法、系统和介质 - Google Patents

用于针对视频内容项的调色板提取的方法、系统和介质 Download PDF

Info

Publication number
CN108737851B
CN108737851B CN201810101472.4A CN201810101472A CN108737851B CN 108737851 B CN108737851 B CN 108737851B CN 201810101472 A CN201810101472 A CN 201810101472A CN 108737851 B CN108737851 B CN 108737851B
Authority
CN
China
Prior art keywords
color
palette
frame
video content
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810101472.4A
Other languages
English (en)
Other versions
CN108737851A (zh
Inventor
塞缪尔·基恩
梅甘·克劳格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108737851A publication Critical patent/CN108737851A/zh
Application granted granted Critical
Publication of CN108737851B publication Critical patent/CN108737851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及用于针对视频内容项的调色板提取的方法、系统和介质。在一些实施例中，所述方法包括：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的像素中的每个像素的颜色，将所述像素聚类成多个集群；针对所述多个集群中的每个集群，确定该集群的平均颜色；从所述多个集群中选择特定集群，该选择基于所述特定集群的平均颜色；基于所述特定集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。

Description

用于针对视频内容项的调色板提取的方法、系统和介质
技术领域
本公开的主题涉及用于对于视频内容项的调色板提取的方法、系统和介质。
背景技术
人们经常在诸如他们的移动电话、平板型计算机等用户设备上观看视频。这些视频通常从视频共享服务流式传输到用户设备。在一些情况下，在用户界面内呈现视频，例如，该用户界面能够包括视频播放器控件(例如，暂停控件、倒回控件等)和/或关于视频的信息。然而，用户界面中不同项的颜色通常处于静态，因此在视频呈现期间可能与视频发生冲突，这就会让用户的观看体验不佳。在更具体的示例中，当正在用户界面中播放视频时，由于场景和颜色变化，用户界面的静态部分可能持续与观看体验冲突。
因此，期望提供用于针对视频内容项的调色板提取的方法、系统和介质。
发明内容
本发明提供用于视频内容项的调色板提取的方法、系统和介质。根据本公开主题的一些实施例，提供用于针对视频的调色板提取的方法，所述方法包括：使用包括硬件处理器的服务器，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
根据本公开主题的一些实施例，提供用于针对视频的调色板提取的系统，所述系统包括：硬件处理器，该硬件处理器被编程用于：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
根据本公开主题的一些实施例，提供一种包含计算机可执行指令的非暂时性计算机可读介质，所述指令当由处理器来执行时使得所述处理器执行用于针对视频的调色板提取的方法。在一些实施例中，所述方法包括：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
根据本公开主题的一些实施例，提供一种用于针对视频的调色板提取的系统，所述系统包括：用于在服务器处识别视频内容项的帧的装置；用于基于所述视频内容项的所述帧的多个像素中的每个像素的颜色将所述多个像素聚类成集群组的装置；针对所述集群组中的多个集群中的每个集群，用于确定所述集群的平均颜色的装置；用于基于集群的平均颜色选择所述多个集群中的所述集群的装置；用于基于所选择的集群的平均颜色针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板的装置；以及用于响应于呈现所述视频内容项的请求而将指示所述调色板的信息发送到用户设备的装置。
在一些实施例中，所述系统进一步包括用于在将指示所述调色板的所述信息发送到所述用户设备之前将指示所述调色板的所述信息从第一格式转换成第二格式的装置。
在一些实施例中，所述系统进一步包括用于基于所选择的集群的平均颜色来确定是否选择所选择的集群的所述平均颜色作为对应于所述视频内容项的所述帧的主要颜色的装置。
在一些实施例中，基于所述集群的所述平均颜色与所述视频内容项的先前分析的帧的相似性，选择所述集群组中的集群。
在一些实施例中，所述系统进一步包括用于确定多个调色板的装置，每个调色板对应于将应用于其中将呈现所述视频内容项的用户界面的多个基调中的基调。
在一些实施例中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。
在一些实施例中，所述系统进一步包括：用于生成所述视频内容项的多个帧的拼接的装置；用于确定所述拼接内的所述多个帧中的每个帧的主要颜色的装置；以及用于基于所述拼接内的所述多个帧中的每个帧的所述主要颜色来为所述拼接内的所述多个帧中的每个帧生成调色板的装置。
附图说明
在结合下列附图加以考虑时，其中类似的附图确定类似的元素，参照下文对本公开主题的具体描述，能够更完整地领会本公开主题的各种目的、特征和优势。
图1示出根据本公开主题的一些实施例的用于针对视频的帧的调色板提取的过程的示例。
图2A和图2B示出根据本公开主题的一些实施例的用于针对视频的多个帧的调色板提取的示意图的说明性示例。
图3示出根据本公开主题的一些实施例的适于实施本文所述的用于针对视频的调色板提取的机制的说明性系统的示意图。
图4示出根据本公开主题的一些实施例的能够在图3的服务器和/或用户设备中使用的硬件的详细示例。
图5示出根据本公开主题的一些实施例的用于基于所确定的调色板来呈现视频内容项的用户界面的示例。
具体实施方式
根据各种实施例，提供用于针对视频的调色板提取的机制(其能够包括方法、系统和介质)。
在一些实施例中，本文所述的机制能够识别描述视频的帧中出现的内容的一个或多个颜色的内容颜色数据。例如，在一些实施例中，内容颜色数据能够指示帧的主要颜色或者该帧期间在视频的内容内出现最频繁的颜色。在一些实施例中，所述机制能够再基于所识别的内容颜色数据来生成调色板。例如，在一些实施例中，调色板能够指示其中将视频呈现在用户设备上的用户界面的各个部分的颜色，诸如指示关于视频的信息的区块、视频播放器控件的颜色、在视频内容项的呈现上叠加的图形覆盖的颜色和/或用户界面的任何其他合适部分。在一些实施例中，本文所述的机制能够针对视频的多个帧(例如，在整个视频中间隔一秒的帧和/或任何其他合适帧)重复内容颜色数据识别和调色板生成。所述机制能够再将关于帧的调色板信息发送到请求呈现视频的用户设备，由此允许用户设备在呈现视频期间使用调色板信息来动态地更改呈现视频的一个或多个用户界面元素的调色方案。
在一些实施例中，所述机制能够使用任何合适技术或技术组合来确定内容颜色数据。例如，在一些实施例中，所述机制能够基于每个像素的颜色来聚类帧内的像素，并且能够识别具有最多像素的集群。在另一示例，在一些实施例中，所述机制能够通过分组或连接特定颜色范围内的像素来聚类帧的特定区域内的像素，并且能够识别具有多于特定阈值像素数量的像素数量的一个或多个颜色范围。然后，所述机制能够确定帧的主要颜色或主导颜色是在具有最多像素的集群内的像素的平均颜色或其他合适组合、或者在像素数量多于阈值像素数量的一个或多个集群内的像素的平均颜色或其他合适组合。
在一些实施例中，本文描述的机制能够通过使用服务器来分析包括在视频内容中的多个帧的颜色并且使用服务器将所确定的调色板信息发送到用户设备，允许在其上呈现视频内容项的用户设备以更少的处理来修改用于呈现视频内容项的用户界面的一个或者多个用户界面元素的颜色(例如，与在视频内容被呈现之前或者当视频内容被呈现时用户设备分析与视频内容的多个帧相关联的颜色所要求的处理时间和处理功率相反)。此外，通过以诸如其中每个颜色值对应于视频内容项的不同区块颜色值阵列的计算机可读格式来发送调色板信息，能够在相对于将视频内容项传输到用户设备所需的带宽而言无需过多额外的带宽的情况下发送调色板信息。另外，通过将调色板信息作为颜色值的阵列发送，接收调色板信息的各个用户设备能够在修改用户界面元素的颜色的过程中以任何合适方式修改调色板信息。例如，在一些实施例中，从具有对应调色板信息的服务器接收视频内容项的个别用户设备能够修改与特定用户界面元素的颜色相关联的透明度值和/或以任何其他合适方式修改颜色值。在另一示例中，在一些实施例中，执行第一媒体播放应用来呈现视频内容项的用户设备能够以与执行第二媒体播放应用来呈现视频内容项的相同用户设备不同的方式应用调色板信息。在又一示例中，在一些实施例中，用户设备能够以与执行相同媒体播放应用来呈现用于呈现视频内容项的用户界面的不同用户设备不同的方式在媒体播放应用所呈现的用户界面上应用调色板信息(例如，基于设备能力、基于设备偏好等)。
转至图1，根据本公开主题的一些实施例，示出针对视频的帧的调色板提取的过程的示例100。在一些实施例中，如图3所示和结合图3所描述的，过程100的框能够在一个或多个服务器上来实现。
在一些实施例中，过程100能够通过识别供分析的视频的帧开始于102。在一些实施例中，该帧能够以任何合适方式来选择。例如，在一些实施例中，该帧能够是视频的第一帧。作为另一示例，在一些实施例中，过程100能够在视频中循环并且识别每第N帧(例如，每第十帧、每第二十帧和/或任何其他合适帧)以供分析。作为更具体的示例，在一些实施例中，过程100能够识别表示视频的任何合适持续时间(例如，一秒、两秒和/或任何其他合适持续时间)的一个帧。作为具体的示例，如果视频的帧速率是每秒10帧，并且过程100识别表示视频的一秒的一个帧，则过程100能够识别每第十帧以供分析。作为又一更具体的示例，在一些实施例中，过程100能够基于任何合适判据诸如帧中出现的特定对象、满足的特定颜色阈值(例如，使得不提交包括黑色空间的初始帧以供分析)等来识别特定帧以供分析。
在104，在一些实施例中，过程100能够基于像素的颜色来聚类所识别的帧的像素。在一些实施例中，过程100能够将像素聚类成任何合适数量的像素(例如，两个、五个、十个和/或任何其他合适数量)。应当指出，在一些实施例中，集群的数量能够基于任何合适信息(例如，视频内容项的流派、视频内容项的分辨率和/或任何其他合适信息)而变化。在一些实施例中，过程100能够使用任何合适技术或技术组合来聚类所识别的帧的像素。例如，在一些实施例中，过程100能够使用对应于每个集群的一组阈值来聚类像素。作为更具体的示例，在一些实施例中，过程100能够将像素的颜色值(例如，每个像素的色相、饱和度和明度或HSV参数和/或任何其他合适值)与对应于不同集群的预定阈值进行比较，以将像素分配给特定集群。作为具体示例，过程100能够确定色相参数在26度至52度之间、饱和度参数在0.3至0.6之间、明度参数在0.3至0.6之间的像素要被分配给第一集群。作为另一示例，在一些实施例中，过程100能够使用任何合适统计分类或机器学习技术来聚类像素(例如，K最近邻算法和/或任何其他合适聚类算法)。
在106，在一些实施例中，在获得多个像素集群后，过程100能够计算具有分配给集群的最多像素的前N个集群中的每个集群的平均颜色。例如，在过程100在框104将像素聚类成十个集群的情况下，N能够是小于十的任何合适数量(例如，三、五和/或任何其他合适数量)。在一些实施例中，过程100能够基于分配给每个集群的像素数量来排名来自框104的集群，并且能够计算N个排名最前的集群中的每个集群的平均颜色。在一些实施例中，过程100能够使用任何合适技术或技术组合来计算平均颜色。例如，在一些实施例中，过程100能够对颜色指示标度(例如，红、绿、蓝或RGB值、HSV值和/或任何其他合适颜色指示标度)的各个分量求平均。作为更具体的示例，在使用RGB值指示颜色的情况下，过程100能够通过对集群中所有像素的所有R值、集群中所有像素的所有G值和集群中所有像素的所有B值求平均，并且作为由平均R、G和B值得出的颜色计算平均颜色，来计算平均颜色。在一些实施例中，过程100能够丢弃已确定为有可能是异常值的一个或多个像素，例如，一组非黑色像素中间的黑色像素、类似于特定颜色的像素(例如，类似和/或接近于白色、类似和/或接近于黑色、类似和/或接近于特定黄色调和/或任何其他合适颜色或色调)和/或任何其他合适像素。例如，在过程100丢弃白色或类似于白色的像素并且以RGB格式存储颜色信息的情况下，过程100能够丢弃颜色信息处于(255,255,255)的预定范围内的任何像素，诸如红色、绿色和蓝色像素高于预定阈值(例如，高于250、高于220和/或任何其他合适阈值)的像素。
在一些实施例中，在108，过程100能够选择平均颜色与先前分析的帧的内容颜色数据最相似的前N个集群中的一个集群。例如，在一些实施例中，过程100能够选择平均颜色与对应于视频的前一秒的帧的主要颜色或主导颜色最相似的集群。作为另一示例，在一些实施例中，过程100能够选择平均颜色与先前由过程100分析的帧的主要颜色或主导颜色最相似的集群。在一些实施例中，过程100能够使用任何合适技术或技术组合来确定集群的平均颜色与前一帧的内容颜色数据的相似性。例如，在一些实施例中，过程100能够计算前N个集群中的每个集群的平均颜色与前一帧的主要颜色的距离度量(例如欧几里德距离和/或任何其他合适距离度量)并且能够选择具有最低距离度量的集群。
应当指出，在一些实施例中，过程100能够使用任何合适技术或技术组合来选择第一帧的主要颜色或主导颜色。例如，在一些实施例中，过程100能够使用上文结合框104所述的聚类技术将第一帧划分成任何合适数量的集群，并且能够使用上文结合框106所述的技术来确定这些集群中的每个集群的平均颜色。在一些实施例中，过程100能够基于集群的平均颜色来选择第一帧的主要颜色或主导颜色。例如，在一些实施例中，过程100能够将主要颜色或主导颜色选择成最大集群的平均颜色。作为另一示例，在一些实施例中，过程100能够将主要颜色或主导颜色选择成第一帧的特定空间区域内的集群的平均颜色。作为更具体的示例，在一些实施例中，过程100能够将主要颜色或主导颜色选择成跨第一帧的至少中央部分的集群的平均颜色。
在110，在一些实施例中，过程100能够确定是否将选择确定为与先前分析的帧的内容颜色数据最相似的所选择的平均颜色作为当前正分析的帧的内容颜色数据。例如，在一些实施例中，过程100能够确定是否将选择所选择的平均颜色作为当前正分析的帧的主要颜色或主导颜色。过程100能够基于任何合适信息来确定是否选择该平均颜色。例如，在一些实施例中，如果平均颜色类似于特定颜色和/或颜色的色调(例如，特定黄色调、特定橙色调和/或任何其他合适特定颜色或色调)，则过程100能够确定不选择该平均颜色作为当前帧的内容颜色数据。在一些实施例中，过程100能够确定将默认选择平均颜色作为当前帧的内容颜色数据。应当指出，在一些实施例中，过程100能够在将平均颜色设置为当前帧的内容颜色数据之前对平均颜色进行任何合适修改。例如，在一些实施例中，过程100能够调整平均颜色的饱和度和/或亮度水平。作为更具体的示例，在平均颜色是黄色和/或类似于黄色的情况下，过程100能够将与平均颜色相关联的饱和度值和/或亮度值调整成低于预定阈值(例如，低于65、低于80和/或任何其他合适值)。在一些实施例中，基于任何合适信息，过程100能够优先选择特定颜色作为内容颜色数据。例如，在一些实施例中，基于与提供视频内容项的服务相关联的实体，过程100能够确定所选择的内容颜色数据是特定颜色(例如，红色、蓝色、绿色和/或任何其他合适颜色)的色调。作为更具体的示例，如果第一视频共享服务或社交网络服务正提供视频内容项，则过程100能够确定所选择的内容艳色数据是红色调，并且如果第二视频共享服务或社交网络服务正提供视频内容项，则该过程能够确定所选择的内容颜色数据是蓝色调。
应当指出，在一些实施例中，过程100能够一次处理视频的多个帧。例如，在一些实施例中，过程100能够生成表示跨视频的任何合适持续时间的视频的多个帧的拼接，如图2A的拼接200所示。例如，在一些实施例中，拼接200能够具有任何合适数量的帧(例如，4个、9个、25个和/或任何其他合适数量)，其中每个帧表示视频的任何合适部分。作为更具体的示例，在一些实施例中，每个帧能够在视频中间隔一秒，因此例如具有25个帧的拼接能够表示25秒的视频。在一些实施例中，过程100能够再使用上文结合框104至110所述的技术来识别拼接100中的每个帧的内容颜色数据(例如，帧的主要颜色和/或主导颜色和/或任何其他合适内容颜色数据)。然后，过程100能够生成指示拼接100中的每个帧的内容颜色数据的颜色拼接250。因此，在一个拼接中，颜色拼接250能够指示视频的多个帧的内容颜色数据。
应当指出，图2A的拼接200仅为说明性并且能够以任何合适方式来呈现。例如，每个分析的帧能够以拼接配置来呈现，并且在每个呈现的帧内，所确定的颜色内容数据能够被同时呈现在帧的一部分中(例如，在帧一角中包含所确定的颜色内容数据的区域)。在另一示例中，能够将每个分析的帧与呈现的拼接中的所确定的颜色内容数据混合或以其他方式组合。
在框110，如果过程100确定不选择该平均颜色作为当前帧的内容颜色数据(在110为“否”)，则过程100能够循环回108并且选择不同集群的平均颜色。例如，过程100能够确定使用具有下一个最高像素数量的集群来确定颜色内容数据。
在框110，如果过程100确定将选择平均颜色作为当前帧的内容颜色数据(在110为“是”)，则过程100能够继续至框112并且能够基于内容颜色数据来确定当前帧的调色板。在一些实施例中，调色板能够指定其中正呈现视频内容项的用户界面的任何合适部分的颜色。例如，如图5的用户界面500所示，调色板能够指定其中正呈现视频502的用户界面500的不同区块504的颜色。作为更具体的示例，区块504内的各个区块能够各自指示不同类型的信息，诸如关于视频的信息(例如，创建者的姓名、视频的观看次数和/或任何其他合适信息)、来自视频观看者的评论、确定为与视频相似的推荐视频和/或任何其他合适信息。在一些实施例中，区块504的每个区块能够基于在框110选择的内容颜色数据以文本和背景颜色来呈现。此外，在一些实施例中，调色板能够指示任何合适用户界面导航组件的颜色，如导航面板506中所示，诸如视频播放器控件(例如，暂停控件、倒回控件、视频帧导航控件和/或任何其他合适控件)。在一些实施例中，调色板能够基于用户界面的状态将颜色分配给特定的用户界面元素。例如，如用户界面500所示，用户界面被确定为处于活动状态时(例如，光标悬停在用户界面500内的特定位置时、用户界面500的特定部分活动时和/或基于任何其他合适确定)的用户界面控件的颜色能够不同于用户界面被确定为处于空闲状态时的用户界面控件的颜色。
在一些实施例中，如示意图框550所示，过程100能够确定任何合适格式的调色板的颜色。例如，在一些实施例中，过程100能够识别内容类型552中的每种类型的内容的颜色。在一些实施例中，调色板中的颜色能够呈任何合适格式，例如图5所示的十六进制值和/或以任何其他合适格式(例如，HSV值、RGB值和/或任何其他合适格式)。另外，如图5所示，调色板信息能够包括任何其他合适信息，诸如不同类型的内容之间的对比度。例如，如图5所示，调色板信息能够指示处于空闲状态的用户界面图标与用户界面500的特定部分中的文本的对比度。
应当指出，在一些实施例中，过程100能够基于内容颜色数据来确定例如对应于不同基调的多个调色板。例如，在一些实施例中，过程100能够确定对应于深色基调的第一调色板、对应于浅色基调的第二调色板以及对应于艳色基调的第三调色板。作为更具体的示例，在一些实施例中，对应于深色基调的第一调色板能够包含通常比浅色基调和艳色基调中的对应颜色更深的背景颜色。在一些实施例中，能够生成第一调色板(例如，对应于深色基调)，并且能够基于第一调色板来生成对应于其他基调(例如，浅色、艳色和/或任何其他合适基调)的其他调色板，例如，通过针对每个基调将颜色值降低预定百分比(例如，5％、10％和/或任何其他合适百分比)。在一些实施例中，第一调色板、第二调色板和第三调色板中的每个调色板能够基于每个调色板的背景文本颜色和文本颜色而具有不同的对比度。例如，在一些实施例中，能够设置对比度，使得文本在特定颜色的背景上叠加出现时通常可读(例如，符合任何合适可访问性标准，和/或符合任何其他合适标准)。
在一些实施例中，过程100能够在视频中循环并且针对视频内容项确定多个帧或多组帧的调色板信息(例如，使用上文结合图2所述的拼接)。例如，在过程100分析视频的每十个帧的情况下，过程100能够处理帧序列中的后续帧。在一些实施例中，过程100能够以阵列存储视频的每个帧或部分的调色板信息，并且能够以任何合适格式(诸如数组阵列)存储聚合的调色板信息。
在框114，过程100能够将调色板转换成任何合适格式。例如，在一些实施例中，过程500能够将十六进制格式的各个调色板值(例如，特定区块的背景的颜色、处于活动状态的导航控件的颜色和/或任何其他合适调色板值)转换成RGB格式的等效值。在一些实施例中，过程100能够使用任何合适方程式和/或变换算法将调色板值转换成合适格式。在一些实施例中，过程100能够基于将向其发送调色板值的用户设备的类型来选择格式类型。附加地或替选地，在一些实施例中，过程100能够将调色板值转换成适于多种设备类型的多种格式。在一些实施例中，过程100能够指示每个帧的调色板中的任何其他合适信息，诸如与调色板中的每个项相关联的不透明度/透明度。在一些实施例中，不透明度/透明度值能够具有默认值(例如，指示完全不透明元素的1和/或任何其他合适值)，并且当根据调色板渲染视频内容项时，能够由用户设备来修改该值。
应当指出，在一些实施例中，过程100能够基于要接收调色板信息的用户设备的平台将调色板转换成特定格式。例如，在一些实施例中，过程100能够将调色板转换成用于是桌面型计算机的用户设备的第一格式、用于是移动设备的用户设备的第二格式以及用于是智能电视的用户设备的第三格式。
在一些实施例中，在116，过程100能够将调色板发送到用户设备。在一些实施例中，用户设备能够是任何合适用户设备，诸如从托管视频的服务器请求视频内容项的用户设备。在一些实施例中，过程100能够发送多个调色板，其中每个调色板对应于视频的帧的子集(例如，视频的一帧、视频的一秒和/或任何其他合适子集)。此外，在一些实施例中，能够将多个调色板发送到用户设备，每个调色板对应于不同的基调(例如，深色、浅色、艳色和/或任何其他合适基调)。
在一些实施例中，在呈现视频期间，用户设备能够再使用所接收的调色板来动态地修改其中正呈现视频的用户界面。例如，在一些实施例中，在呈现视频的该子集期间，能够将视频播放器控件的颜色修改成对应于视频的特定子集的平均颜色。作为另一示例，在一些实施例中，在呈现视频的子集期间，能够将用户界面的多个区块的颜色修改成对应于视频的特定子集的平均颜色。
转至图3，根据本公开主题的一些实施例，示出适于实施本文所述的用于针对视频的调色板提取的机制的说明性系统300的示例。如图所示，硬件300能够包括诸如服务器302的一个或多个服务器、通信网络304和/或一个或多个用户设备306，诸如用户设备308和310。
在一些实施例中，服务器302能够是用于识别视频的不同帧的调色板的任何合适服务器。例如，在一些实施例中，如上结合图1所示和描述，服务器302能够识别内容颜色数据，诸如视频的特定帧的主要颜色或主导颜色，并且能够基于内容颜色数据来识别呈现视频时在不同用户界面场境(context)中能够使用的颜色的调色板。应当指出，在一些实施例中，能够在第一服务器(例如，图像服务器)上计算帧的内容颜色数据，并且能够在第二服务器(例如，托管和/或发送视频到用户设备306的服务器)上确定调色板。在一些实施例中，服务器302能够以任何合适方式识别内容颜色数据，例如，如上结合图3所述，通过基于颜色聚类帧的像素并且识别每个像素的平均颜色。
在一些实施例中，通信网络304能够是一个或多个有线和/或无线网络的任何合适组合。例如，通信网络306能够包括因特网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)中的任何一个或多个和/或任何其他合适通信网络。用户设备306能够通过一个或多个通信链路312连接到通信网络304，其能够经由一个或多个通信链路(例如，通信链路314)链接到服务器302。通信链路312和/或314能够是适于在用户设备306和服务器302之间通信数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适通信链路或者这些链路的任何合适组合。
在一些实施例中，用户设备306能够包括适于呈现视频内容项、从服务器302接收调色板信息、根据所接收的调色板信息呈现用户界面控件和/或任何其他合适功能的一个或多个计算设备。例如，在一些实施例中，用户设备306能够被实现为移动设备，诸如智能电话、移动电话、平板型计算机、膝上型计算机、交通工具(例如，汽车、船舶、飞机或任何其他合适交通工具)娱乐系统、便携式媒体播放器或者任何其他合适移动设备。作为另一示例，在一些实施例中，用户设备306能够被实现为非移动设备，诸如桌面型计算机、机顶盒、电视机、流媒体播放器、游戏机和/或任何其他合适非移动设备。
虽然服务器302被图示为单个设备，但在一些实施例中，能够使用任何合适数量的设备来执行由服务器302执行的功能。例如，在一些实施例中，能够在单个服务器上执行由服务器302执行的功能。作为另一示例，在一些实施例中，能够使用多个设备来实现由服务器302执行的功能。
尽管在图3中示出两个用户设备308和310，但在一些实施例中，能够使用任何合适数量的用户设备以及任何合适类型的用户设备。
在一些实施例中，服务器302和用户设备306能够使用任何合适硬件来实现。例如，在一些实施例中，设备302和306能够使用任何合适通用计算机或专用计算机来实现。例如，服务器可以使用专用计算机来实现。任何这样的通用计算机或专用计算机能够包括任何合适硬件。例如，如图4的示例性硬件400中所示，这样的硬件能够包括硬件处理器402、存储器和/或存储装置404、输入设备控制器406、输入设备408、显示/音频驱动器410、显示和音频输出电路412、消息接口414、天线416和总线418。
在一些实施例中，硬件处理器402能够包括任何合适硬件处理器，诸如微处理器、微控制器、数字信号处理器、专有逻辑和/或用于控制通用计算机或专用计算机的功能的任何其他合适电路。在一些实施例中，硬件处理器402能够由存储在服务器(例如，服务器302)的存储器和/或存储装置404中的服务器程序来控制。例如，服务器程序能够促使硬件处理器402分析视频的帧来确定每个帧的主要颜色、基于帧的主要颜色来确定每个帧的调色板、结合视频传输将调色板信息发送到用户设备和/或执行任何其他合适动作。在一些实施例中，硬件处理器402能够由存储在用户设备306的存储器和/或存储装置404中的计算机程序来控制。例如，计算机程序能够促使硬件处理器402呈现视频内容项、根据所接收的调色板信息结合所接收的视频内容项来呈现用户界面控件、和/或执行任何其他合适动作。
在一些实施例中，存储器和/或存储装置404能够是用于存储程序、数据、媒体内容、广告和/或任何其他合适信息的任何合适存储器和/或存储装置。例如，存储器和/或存储装置404能够包括随机存取存储器、只读存储器、快闪存储器、硬盘存储、光学介质和/或任何其他合适存储器。
在一些实施例中，输入设备控制器406能够是用于控制和接收来自一个或多个输入设备408的输入的任何合适电路系统。例如，输入设备控制器406能够是用于接收来自触摸屏、键盘、鼠标、一个或多个按钮、语音识别电路、麦克风、相机、光学传感器、加速度计、温度传感器、近场传感器和/或任何其他类型的输入设备的输入的电路系统。作为另一示例，输入设备控制器406能够是用于接收来自头戴式设备的输入(例如，用于呈现虚拟现实内容或增强现实内容)的电路系统。
在一些实施例中，显示/音频驱动器410能够是用于控制和驱动输出到一个或多个显示/音频输出设备412的任何合适电路。例如，显示/音频驱动器410能够是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其他合适显示和/或呈现设备的电路。
通信接口414能够是用于与诸如图3所示的网络304的一个或多个通信网络进行交互的任何合适电路。例如，接口414能够包括网络接口卡电路、无线通信电路和/或任何其他合适类型的通信网络电路。
在一些实施例中，天线416能够是用于与通信网络(例如，通信网络304)无线通信的任何合适一个或多个天线。在一些实施例中，能够省略天线416。
在一些实施例中，总线418能够是用于在两个或两个以上组件402、404、406、410与414之间进行通信的任何合适机制。
根据一些实施例，任何其他合适组件能够被包括在硬件400内。
在一些实施例中，上述图1的过程框中的至少一些能够以任意顺序或次序来执行，而不限于结合附图所示和描述的顺序和次序。此外，上述图1的框中的一些在适当情况下能够大体上同时或并行执行，以减少延迟和处理时间。附加地或替选地，能够省略上述图1的过程框中的一些。
在一些实施例中，任何合适计算机可读介质能够被使用于存储用来执行本文所述的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质能够是暂时性或者非暂时性的。例如，非暂时性计算机可读介质能够包括介质，诸如磁性介质(诸如硬盘、软盘等)的非暂时性形式、光学介质(诸如光盘、数字视频光盘、蓝光光盘等)的非暂时性形式、半导体介质(诸如快闪存储器、电可编程序只读存储器(EPROM)、电可擦可编程存储器(EEPROM)等)的非暂时性形式、在传输期间没有转瞬即逝或者不乏任何持久性表相的任何合适介质和/或任何合适有形介质。作为另一示例，暂时性计算机可读介质能够包括网络、电线、导体、光纤、电路中的信号、在传输期间转瞬即逝或者缺乏任何持久性表相的任何合适介质和/或任何合适无形介质。
在本文所述的系统采集关于用户的个人信息或者可以使用个人信息的情况下，用户有机会控制程序或者功能是否采集用户信息(例如关于用户的社交网络、社交行动或活动、职业、用户偏好或者用户的当前位置的信息)。此外，在存储或者使用某些数据之前，可以通过一个或多个方式对其进行处理以移除个人信息。例如，用户的身份可以被处理，使得不能针对用户确定个人信息，或者在获得位置信息的情况下用户的地理位置可以被泛化(诸如到城市、邮政编码或者州级)，使得不能确定用户的特定位置。因此，用户可以控制如何采集有关用户的信息并且供内容服务器所用。
因此，本发明提供用于针对视频的调色板提取的方法、系统和介质。
尽管在前述说明性实施例中已对本发明予以描述和说明，但应理解到，本公开仅以示例方式作出，并且在不脱离本发明的精神和范围的情况下，能够对本发明的实施方式的细节作出诸多更改，而本发明的范围仅受限于所附权利要求。本公开的实施例的特征能够以各种方式来合并以及重新排列。

Claims (21)

1.一种用于针对视频的调色板提取的方法，所述方法包括：
使用包括硬件处理器的服务器，识别视频内容项的多个帧，其中，所述多个帧包括第一帧和第二帧；
确定与所述第一帧相对应的主要颜色；
基于所述视频内容项的所述第二帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；
针对来自所述多个集群的至少部分集群中的每个集群，确定该集群的平均颜色；
基于与所述第一帧相对应的主要颜色，确定是否将所述部分集群中的集群的所述平均颜色设置为与所述第二帧相对应的主要颜色，其中，在所述视频内容项中所述第一帧在所述第二帧之前；
基于针对所述多个帧中的所述第一帧和所述第二帧中的每个帧的所述主要颜色，确定针对所述多个帧中的所述第一帧和所述第二帧中的每一个的调色板，其中，针对所述第一帧和所述第二帧中的每一个的所述调色板包括与对应于该帧的所述主要颜色相对应的多个颜色，并且其中，所述调色板为所述视频内容项要被呈现的界面的一部分分配所述多个颜色中的一个；以及
响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
2.根据权利要求1所述的方法，进一步包括：在将指示所述调色板的所述信息发送到所述用户设备之前，将指示所述调色板的所述信息从第一格式转换成第二格式。
3.根据权利要求1所述的方法，进一步包括：基于所述聚类的所述平均颜色与所述视频内容项的所述第一帧的相似性，从所述至少部分集群中选择所述集群。
4.根据权利要求1所述的方法，进一步包括：确定多个调色板，每个调色板对应于将被应用于用户界面的多个基调中的一个基调，其中所述视频内容项将被呈现在所述用户界面中。
5.根据权利要求1所述的方法，其中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。
6.根据权利要求1所述的方法，进一步包括：
生成包括所述视频内容项的所述多个帧中的每个帧的第一拼接；
确定所述拼接内的所述多个帧中的每个帧的主要颜色；以及
生成包括所述视频内容项的所述多个帧中的每个帧的所述主要颜色的第二拼接，其中，针对所述第一拼接中的所述多个帧中的每个帧的调色板是基于所述第二拼接内的所述多个帧中的每个帧的所确定的主要颜色。
7.根据权利要求1所述的方法，进一步包括：确定所述部分集群中的集群的所述平均颜色与特定颜色相对应，并且响应于确定了所述平均颜色与所述特定颜色相对应，调整与所述平均颜色相关联的饱和度水平和亮度水平中的至少一个。
8.一种用于针对视频的调色板提取的系统，所述系统包括：
硬件处理器，所述硬件处理器被编程用于：
识别视频内容项的多个帧，其中，所述多个帧包括第一帧和第二帧；
确定与所述第一帧相对应的主要颜色；
基于所述视频内容项的所述第二帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；
针对来自所述多个集群的至少部分集群中的每个集群，确定该集群的平均颜色；
基于与所述第一帧相对应的主要颜色，确定是否将所述部分集群中的集群的所述平均颜色设置为与所述第二帧相对应的主要颜色，其中，在所述视频内容项中所述第一帧在所述第二帧之前；
基于针对所述多个帧中的所述第一帧和所述第二帧中的每个帧的所述主要颜色，确定针对所述多个帧中的所述第一帧和所述第二帧中的每一个的调色板，其中，针对所述第一帧和所述第二帧中的每一个的所述调色板包括与对应于该帧的所述主要颜色相对应的多个颜色，并且其中，所述调色板为所述视频内容项要被呈现的界面的一部分分配所述多个颜色中的一个；以及
响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
9.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：在将指示所述调色板的所述信息发送到所述用户设备之前，将指示所述调色板的所述信息从第一格式转换成第二格式。
10.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：基于所述聚类的所述平均颜色与所述视频内容项的所述第一帧的相似性，从所述至少部分集群中选择所述集群。
11.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：确定多个调色板，每个调色板对应于将应用于用户界面的多个基调中的基调，其中所述视频内容项将被呈现在所述用户界面中。
12.根据权利要求8所述的系统，其中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。
13.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：
生成包括所述视频内容项的所述多个帧中的每个帧的第一拼接；
确定所述拼接内的所述多个帧中的每个帧的主要颜色；以及
生成包括所述视频内容项的所述多个帧中的每个帧的所述主要颜色的第二拼接，其中，针对所述第一拼接中的所述多个帧中的每个帧的调色板是基于所述第二拼接内的所述多个帧中的每个帧的所确定的主要颜色。
14.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：确定所述部分集群中的集群的所述平均颜色与特定颜色相对应，并且响应于确定了所述平均颜色与所述特定颜色相对应，调整与所述平均颜色相关联的饱和度水平和亮度水平中的至少一个。
15.一种包含计算机可执行指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时使得所述处理器执行用于针对视频的调色板提取的方法，所述方法包括：
在服务器处，识别视频内容项的多个帧，其中，所述多个帧包括第一帧和第二帧；
确定与所述第一帧相对应的主要颜色；
基于所述视频内容项的所述第二帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；
针对来自所述多个集群的至少部分集群中的每个集群，确定该集群的平均颜色；
基于与所述第一帧相对应的主要颜色，确定是否将所述部分集群中的集群的所述平均颜色设置为与所述第二帧相对应的主要颜色，其中，在所述视频内容项中所述第一帧在所述第二帧之前；
基于针对所述多个帧中的所述第一帧和所述第二帧中的每个帧的所述主要颜色，确定针对所述多个帧中的所述第一帧和所述第二帧中的每一个的调色板，其中，针对所述第一帧和所述第二帧中的每一个的所述调色板包括与对应于该帧的所述主要颜色相对应的多个颜色，并且其中，所述调色板为所述视频内容项要被呈现的界面的一部分分配所述多个颜色中的一个；以及
响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述方法进一步包括：在将指示所述调色板的所述信息发送到所述用户设备之前，将指示所述调色板的所述信息从第一格式转换成第二格式。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述方法进一步包括：基于所述聚类的所述平均颜色与所述视频内容项的所述第一帧的相似性，从所述至少部分集群中选择所述集群。
18.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述方法进一步包括：确定多个调色板，每个调色板对应于将应用于用户界面的多个基调中的基调，其中所述视频内容项将被呈现在所述用户界面中。
19.根据权利要求15所述的非暂时性计算机可读存储介质，其中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。
20.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述方法进一步包括：
生成包括所述视频内容项的所述多个帧中的每个帧的第一拼接；
确定所述拼接内的所述多个帧中的每个帧的主要颜色；以及
生成包括所述视频内容项的所述多个帧中的每个帧的所述主要颜色的第二拼接，其中，针对所述第一拼接中的所述多个帧中的每个帧的调色板是基于所述第二拼接内的所述多个帧中的每个帧的所确定的主要颜色。
21.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述方法进一步包括：确定所述部分集群中的集群的所述平均颜色与特定颜色相对应，并且响应于确定了所述平均颜色与所述特定颜色相对应，调整与所述平均颜色相关联的饱和度水平和亮度水平中的至少一个。
CN201810101472.4A 2017-04-18 2018-02-01 用于针对视频内容项的调色板提取的方法、系统和介质 Active CN108737851B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/490,467 2017-04-18
US15/490,467 US10534973B2 (en) 2017-04-18 2017-04-18 Methods, systems, and media for color palette extraction for video content items

Publications (2)

Publication Number Publication Date
CN108737851A CN108737851A (zh) 2018-11-02
CN108737851B true CN108737851B (zh) 2021-04-06

Family

ID=61132916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810101472.4A Active CN108737851B (zh) 2017-04-18 2018-02-01 用于针对视频内容项的调色板提取的方法、系统和介质

Country Status (4)

Country Link
US (1) US10534973B2 (zh)
EP (2) EP4030766A1 (zh)
CN (1) CN108737851B (zh)
WO (1) WO2018194732A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10388250B2 (en) 2017-04-18 2019-08-20 Google Llc Methods, systems, and media for modifying user interface colors in connection with the presentation of a video
IT201700099120A1 (it) * 2017-09-05 2019-03-05 Salvatore Lamanna Sistema di illuminazione per schermo di qualsiasi tipo
US11856673B2 (en) * 2019-02-13 2023-12-26 Signify Holding B.V. Determining a light effect based on an average color after a detected transition in content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392185A (zh) * 2010-12-30 2013-11-13 派尔高公司 用于视频取证搜索的颜色相似性分类
EP2696328A2 (en) * 2012-08-10 2014-02-12 Samsung Electronics Co., Ltd Method and system for displaying graphic user interface
CN106068647A (zh) * 2013-12-18 2016-11-02 寰发股份有限公司 用于调色板表预测的方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664080A (en) * 1992-10-20 1997-09-02 International Business Machines Corporation System and method for generating a universal palette and mapping an original color space to the universal palette
US7184588B2 (en) 2003-06-19 2007-02-27 Microsoft Corporation System and method for minimizing display image size by approximating pixel display attributes
EP2164044B1 (en) * 2003-07-04 2012-04-18 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
RU2352081C2 (ru) * 2004-06-30 2009-04-10 Кониклейке Филипс Электроникс, Н.В. Выделение доминирующего цвета с использованием законов восприятия для создания окружающего освещения, получаемого из видеоконтента
US7184063B2 (en) 2004-09-01 2007-02-27 Microsoft Corporation Adaptive color schemes
US7646392B2 (en) * 2006-05-03 2010-01-12 Research In Motion Limited Dynamic theme color palette generation
US20080069475A1 (en) * 2006-09-18 2008-03-20 Simon Ekstrand Video Pattern Thumbnails and Method
CN101529421A (zh) * 2006-10-19 2009-09-09 皇家飞利浦电子股份有限公司 主色描述符
WO2011060382A1 (en) * 2009-11-13 2011-05-19 Google Inc. Live wallpaper
US8847973B2 (en) * 2010-12-15 2014-09-30 Microsoft Corporation Automatic adjustment of computer interface colors using image processing
US8890886B2 (en) * 2011-09-02 2014-11-18 Microsoft Corporation User interface with color themes based on input image data
CN102789359A (zh) * 2012-06-25 2012-11-21 威盛电子股份有限公司 动态桌布显示方法及新视频信息显示方法与手持移动系统
US8897552B2 (en) * 2012-08-01 2014-11-25 Microsoft Corporation Setting an operating-system color using a photograph
US9952756B2 (en) 2014-01-17 2018-04-24 Intel Corporation Dynamic adjustment of a user interface
US9245350B1 (en) * 2014-06-26 2016-01-26 Amazon Technologies, Inc. Image-based color palette generation
BR112017011272A2 (pt) * 2014-12-12 2017-12-26 Nagravision Sa método e processador gráfico para gerenciar as cores de uma interface de usuário
US9576554B2 (en) 2014-12-15 2017-02-21 Flipboard, Inc. Determining a dominant color of an image based on pixel components
US9715731B2 (en) 2014-12-29 2017-07-25 Neon Labs Inc. Selecting a high valence representative image
WO2017100341A1 (en) * 2015-12-09 2017-06-15 Alibaba Group Holding Limited Methods and system for setting interface element colors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392185A (zh) * 2010-12-30 2013-11-13 派尔高公司 用于视频取证搜索的颜色相似性分类
EP2696328A2 (en) * 2012-08-10 2014-02-12 Samsung Electronics Co., Ltd Method and system for displaying graphic user interface
CN106068647A (zh) * 2013-12-18 2016-11-02 寰发股份有限公司 用于调色板表预测的方法和装置

Also Published As

Publication number Publication date
CN108737851A (zh) 2018-11-02
EP4030766A1 (en) 2022-07-20
US10534973B2 (en) 2020-01-14
US20180300582A1 (en) 2018-10-18
WO2018194732A1 (en) 2018-10-25
EP3596700A1 (en) 2020-01-22
EP3596700B1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
CN108737878B (zh) 用于结合视频呈现来修改用户界面颜色的方法和系统
CN109783178B (zh) 一种界面组件的颜色调整方法、装置、设备和介质
EP3391651B1 (en) Dynamic video overlays
CN113950687A (zh) 基于经训练的网络模型的媒体呈现设备控制
US11908054B2 (en) Systems and method for dynamic insertion of advertisements
EP3513326B1 (en) Methods, systems, and media for detecting stereoscopic videos by generating fingerprints for multiple portions of a video frame
US10936877B2 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
CN108737851B (zh) 用于针对视频内容项的调色板提取的方法、系统和介质
CN112416346B (zh) 界面配色方案的生成方法、装置、设备及存储介质
CN103841389A (zh) 一种视频播放方法及播放器
CN113965813B (zh) 直播间内的视频播放方法、系统、设备及介质
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
EP3525475A1 (en) Electronic device and method for generating summary image of electronic device
US20150156442A1 (en) Display device and operating method thereof
US8463052B2 (en) Electronic apparatus and image search method
CN110602556A (zh) 播放方法、云端服务器及存储介质
EP3752956B1 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content
CN118819370A (zh) 显示控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant