[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105744115A - 用于处理视频内容的方法和系统 - Google Patents

用于处理视频内容的方法和系统 Download PDF

Info

Publication number
CN105744115A
CN105744115A CN201510882850.3A CN201510882850A CN105744115A CN 105744115 A CN105744115 A CN 105744115A CN 201510882850 A CN201510882850 A CN 201510882850A CN 105744115 A CN105744115 A CN 105744115A
Authority
CN
China
Prior art keywords
motion
frame
value
video
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510882850.3A
Other languages
English (en)
Inventor
S·库尔比斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105744115A publication Critical patent/CN105744115A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文公开了处理视频内容的方法和系统的各个方面。根据实施例，该方法包括基于一个或多个像素的像素移位确定多个运动向量。当前帧中的一个或多个像素视频内容的当前帧中的一个或多个像素的像素移位是相对于该视频内容的前一帧中的对应的一个或多个像素来确定的。基于所确定的多个运动向量，提取当前帧的运动方向。基于所提取的运动方向，确定当前帧的实时运动注解信息。

Description

用于处理视频内容的方法和系统
技术领域
本公开内容的各种实施例涉及处理视频内容。更具体而言，本公开内容的各种实施例涉及处理视频内容以确定实时运动注解信息。
背景技术
视频处理领域中的发展已经向数字成像设备(诸如数码相机或智能电话)引入了各种革命性功能。此类功能可以包括对视频片段中的可视场景的对象、表面和/或边缘的运动分析、动态信息分析以及视频拍摄检索。这种视频片段可以包括可以指示可视场景中的对象、表面和/或边缘相对于观察者(诸如眼睛或相机)的相对运动的光学流。
在某些场景中，这种功能可以基于视频片段的光学流的空间分解来执行。光学流的空间分解可以把视频片段的区域分解成不同的子区。不同的子区可以基于不同子区的均值和方差(variance)值单独地进行分析。但是，为了光学流的分解而执行的分析和相关计算会是复杂的并且因此是不期望的。
如在本申请其余部分和参考附图所阐述的，通过所述系统与本公开内容一些方面的比较，对本领域技术人员来说常规和传统方法的更多限制和缺点将变得显然。
发明内容
基本上如在至少一个附图中示出和/或联系至少一个附图描述的用于处理视频内容的方法和系统更完整地在权利要求中阐述。
连同附图，本公开内容的这些和其它特征及优点可以从以下对本公开内容详细描述的检查而变得显然，附图中相同的标号贯穿全文指相同的部分。
附图说明
图1是根据本公开内容的实施例、示出处理视频内容的网络环境的框图。
图2是根据本公开内容的实施例、示出示例性图像捕捉设备的框图。
图3A至3N根据本公开内容的实施例共同示出各种示例性场景。
图4是根据本公开内容的实施例、示出处理视频内容的第一示例性场景的表。
图5A和5B是根据本公开内容的实施例、示出处理视频内容的第一示例性场景的图。
图6是根据本公开内容的实施例、示出处理视频内容的第二示例性场景的表。
图7是根据本公开内容的实施例、示出处理视频内容的第二示例性场景的图。
图8根据本公开内容的实施例示出了处理视频内容的第三示例性场景。
图9A至9D根据本公开内容的实施例共同表示示出处理视频内容的方法的流程图。
具体实施方式
可以在处理视频内容的方法和/或系统中找到各种实现方式。本公开内容的示例性方面可以包括在视频处理设备中处理视频内容的方法。可以基于视频内容的当前帧中的一个或多个像素相对于视频内容的前一帧中的对应的一个或多个像素的像素移位来确定多个运动向量。可以基于当前帧中相对于视频内容的前一帧的所确定的多个运动向量来提取视频内容的运动方向。可以基于所提取的运动方向来确定当前帧的实时运动注解信息。
根据实施例，可以基于多个运动向量来确定当前帧的稳定性方差和全局运动向量(GMV)值。实时运动注解信息可以包括当前帧的帧号、所提取的运动方向的角度、所提取的当前帧的GMV值、数字匹配点值(numbermatchpointvalue)、多个运动向量的统计分析、所提取的稳定性方差、当前帧的颜色帧识别值以及指示视频内容的运动方向的指示符。
根据实施例，可以基于所提取的运动方向、稳定性方差和GMV值来确定当前帧的运动行为信息。根据实施例，可以基于视频内容的视频片段的当前帧的所确定的运动行为信息和颜色帧识别值在该视频片段中确定一个或多个视频亮点。当两个或更多个视频亮点共享一个或多个属性时，一个或多个视频亮点可以被丢弃。颜色帧识别值可以基于亮度和色度(YUV)颜色模型的平均颜色值以及平均梯度值。
根据实施例，当当前帧的所确定的颜色帧识别值可以与前一帧的另一颜色帧识别值不同时，可以指示场景变化。根据实施例，可以确定当前帧与前一帧之间完全相同的特征的计数。确定多个运动向量可以在所确定的完全相同的特征的计数超过预定义的阈值时执行。根据实施例，确定多个运动向量和提取运动方向可以基于多个运动向量的统计分析和交点(intersectionpoint)。多个运动向量被归类为第一组运动向量和第二组运动向量。第一组运动向量可以对应于无运动、摇摄运动和/或倾斜运动之一，并且第二组运动向量可以对应于向前运动、向后运动和/或旋转运动之一。
根据实施例，当第一组运动向量对应于无运动时，所确定的运动方向的角度可以被确定为预定的值并且全局运动向量的值为零。根据实施例，当第一组运动向量对应于摇摄运动和/或倾斜运动时，所确定的运动方向的角度和全局运动向量的值可以被确定。根据实施例，当第二组运动向量对应于向前运动或向后运动时，多个运动向量的交点、所确定的运动方向的角度以及全局运动向量的值可以被确定。根据实施例，当第二组运动向量对应于旋转运动时，多个运动向量的旋转参数和全局运动向量的值可以被确定为零。根据实施例，视频片段第一帧的颜色帧识别值可以与下一视频片段第一帧的另一颜色帧ID值不同。根据实施例，视频片段与前一视频片段之间的曲线角度可以基于为该视频片段和前一视频片段的当前帧确定的运动方向的角度来确定。
图1是根据本公开内容的实施例、示出处理视频内容的网络环境100的框图。参考图1，示出了视频处理设备102、应用服务器104、视频内容服务器106以及通信网络108。视频处理设备102可以包括显示屏110。视频处理设备102可以与一个或多个用户(诸如一个用户(未示出))关联。视频处理设备102可以经由通信网络108通信上耦合到应用服务器104和视频内容服务器106。
视频处理设备102可以包括能操作用于处理视频内容的合适的逻辑、电路、接口和/或代码。视频处理设备102还能操作用于经由显示屏110从用户接收一个或多个偏好。视频处理设备102还能操作用于基于颜色信息、全局运动向量(GMV)信息和/或运动方向信息实时地注解处理后的视频内容。视频处理设备102还能操作用于在显示屏110上显示被注解的视频内容。视频处理设备102的例子可以包括但不限于，电视机、互联网协议电视(IPTV)、膝上型电脑、平板电脑、智能电话和/或个人数字助理(PDA)设备。
应用服务器104可以包括能操作用于托管用于一个或多个被订阅的设备(诸如视频处理设备102)的应用的合适的逻辑、电路、接口和/或代码。根据实施例，诸如视频编辑工具的应用还可以处理被注解的视频内容。应用服务器104可以利用本领域技术人员众所周知的几种技术来实现。
视频内容服务器106可以包括能操作用于托管视频内容的合适的逻辑、电路、接口和/或代码。视频内容服务器106可以与远程视频捕捉设备(未示出)通信上耦合。远程视频捕捉设备可被配置为捕捉直播视野并且把捕捉到的视频内容发送到视频内容服务器106。视频内容服务器106可以利用本领域技术人员众所周知的几种技术来实现。
通信网络108可以包括视频处理设备102可以通过其与一个或多个服务器(诸如应用服务器104和/或视频内容服务器106)通信的介质。通信网络108的例子可以包括但不限于，因特网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、电话线(POTS)和/或城域网(MAN)。网络环境100中的各种设备能操作用于根据各种有线和无线通信协议连接到通信网络108。这种有线和无线通信协议的例子可以包括但不限于，传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)。文件传输协议(FTP)、Zigbee、EDGE、红外线(IR)、IEEE802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
显示屏110可以包括能操作用于呈现从视频内容服务器106接收的视频内容的合适的逻辑、电路、接口和/或代码。显示屏110还能操作用于呈现可以对应于从应用服务器104下载的应用的一个或多个特征。显示屏110还能操作用于从用户接收一个或多个偏好。显示屏110可以通过几种已知的技术来实现，这些技术可以包括但不限于，液晶显示器(LCD)显示器、发光二极管(LED)显示器、有机LED(OLED)显示器技术，等等。
在操作中，视频处理设备102能操作用于经由通信网络108从视频内容服务器106检索视频内容。根据实施例，视频内容服务器106可以从远程视频捕捉设备接收视频内容。视频内容服务器106可以存储所接收的视频内容。视频内容服务器106还可以把所存储的视频内容发送到视频处理设备102。根据实施例，视频内容服务器106可以实时地把现场视频内容流传输到视频处理设备102。
根据实施例，显示屏110能操作用于从用户接收一个或多个偏好。根据实施例，这一个或多个偏好可以包括用于选择与视频内容关联的帧的时间戳。这一个或多个偏好还可以包括用于从视频内容选择视频剪辑的持续时间。根据实施例，这一个或多个偏好可以包括数字“n”，基于该数字“n”，可以选择一个或多个帧。基于数字“n”，可以选择每个“第n”帧。这一个或多个偏好还可以包括与视频内容关联的一个或多个帧中的颜色信息、梯度信息、帧背景、一个或多个对象和/或与一个或多个对象关联的一个或多个特点。
根据实施例，基于这一个或多个偏好，视频处理设备102能操作用于选择一个或多个帧。根据实施例，视频处理设备102能操作用于把选定的一个或多个帧的尺寸从第一分辨率值减小到第二分辨率值。根据实施例，第一分辨率值可以是可超出阈值的分辨率值，诸如对应于高清晰度(HD)尺寸的分辨率值。根据实施例，第二分辨率值可以是可小于阈值的分辨率值，诸如可对应于视频图形阵列(VGA)尺寸的分辨率值。
根据实施例，视频处理设备102能操作用于在环形缓冲区中缓冲视频内容的至少两个连续的减小尺寸的图像帧。这两个连续的图像帧可以包括前一帧和当前帧。为了简化，在本文针对两个连续的减小尺寸的图像帧描述处理视频内容的方法。但是，本公开内容不限于此，并且，在不背离本公开内容范围的情况下，两个连续图像帧的类似情况可以针对视频内容中的剩余帧处理。
根据实施例，视频处理设备102能操作用于确定与视频内容的当前帧关联的颜色信息。根据实施例，与当前帧关联的颜色信息可以对应于亮度(Y)分量和两个色度(UV)分量，统称为“YUV颜色模型”。视频处理设备102可被配置为确定视频内容的当前帧的平均颜色值。
根据实施例，视频处理设备102能操作用于确定与当前帧关联的平均梯度信息。当前帧的梯度信息可以对应于当前帧中一个或多个对象的强度和/或颜色的方向性变化。视频处理设备102可以被配置为确定视频内容的当前帧的平均梯度值。
根据实施例，视频处理设备102能操作用于基于当前帧的平均颜色值和/或平均梯度值确定颜色帧识别(ID)值。根据实施例，视频处理设备102能操作用于确定与当前帧关联的GMV。
根据实施例，当前帧的颜色帧ID值可以类似于前一帧的另一颜色帧ID值。在这种情况下，当前帧和前一帧可以位于视频内容的同一视频片段中。根据另一实施例，当前帧的颜色帧ID值可以不与前一帧的另一颜色帧ID值类似。在这种情况下，可以在视频内容中检测到场景变化。基于检测到的场景变化，视频处理设备102可以确定前一视频片段的结束和新视频片段的开始。但是，本公开内容不限于此，视频处理设备102能操作用于生成多个视频片段，而不限制本公开内容的范围。
根据实施例，视频处理设备102能操作用于确定当前帧与前一帧之间的公共对象。根据实施例，视频处理设备102能操作用于确定所确定的公共对象之间完全相同的特征的计数。在一种情况下，完全相同的特征的计数可以小于阈值。在这种情况下，可以确定下一帧与当前帧之间完全相同的特征的计数。在一种情况下，完全相同的特征的计数可以大于阈值。在这种情况下，可以为当前帧确定多个运动向量。根据实施例，视频处理设备102能操作用于基于当前帧中的一个或多个像素的像素移位确定多个运动向量。当前帧中的一个或多个像素可以对应于前一帧中的一个或多个像素。
根据实施例，视频处理设备102能操作用于基于视频内容的当前帧中所确定的多个运动向量提取运动方向。根据实施例，运动方向可以基于多个运动向量的统计分析来确定。根据实施例，多个运动向量的交点可以基于多个运动向量的空间朝向。基于空间朝向，这多个运动向量可以归类为第一组运动向量和第二组运动向量。根据实施例，第一组运动向量可以是可对应于无运动、摇摄运动和/或倾斜运动之一的一致运动向量。根据实施例，第二组运动向量可以是可对应于向前运动、向后运动和/或旋转运动之一的不一致运动向量。
根据实施例，当第一组运动向量对应于无运动时，视频处理设备102能操作用于确定运动方向的角度，诸如预定的值“90度”。在这种情况下，视频处理设备102还能操作用于确定GMV值为零。根据实施例，当第一组运动向量对应于摇摄运动和/或倾斜运动时，视频处理设备102能操作用于确定运动方向的角度和GMV值。
根据实施例，视频处理设备102能操作用于确定多个运动向量的交点、运动方向的角度和/或GMV值。在这种情况下，第二组运动向量可以对应于向前运动或向后运动。根据实施例，视频处理设备102能操作用于确定多个运动向量的旋转参数。在这种情况下，视频处理设备102能操作用于确定GMV值为零。在这种情况下，第二组运动向量可以对应于旋转运动。
根据实施例，视频处理设备102可以检测视频内容中的场景变化。基于检测到的场景变化，视频处理设备102可以确定前一视频片段的结束(conclusion)和新视频片段的结束。根据实施例，视频处理设备102能操作用于确定前一视频片段与当前视频片段的曲线角度。这种曲线角度可以基于相对于对应的帧号绘制的视频内容的每一帧的运动方向的角度的图形表示来确定(如图6中所述)。
根据实施例，视频处理设备102能操作用于基于多个运动向量确定稳定性方差。根据实施例，视频处理设备102能操作用于确定可对应于当前帧的GMV值的变化的稳定性方差。根据实施例，稳定性方差可以与GMV值的变化成反比。
根据实施例，视频处理设备102能操作用于确定实时运动注解信息。实时运动注解信息可以基于当前帧的帧号、所提取的运动方向的角度、数字匹配点值、多个运动向量的统计分析、稳定性方差、当前帧的颜色帧ID值和/或指示当前帧的运动方向的指示符当中的一个或多个。
根据实施例，视频处理设备102能操作用于基于注解信息选择视频亮点。视频处理设备102可以选择零个或者一个或多个视频亮点。视频亮点可以为视频内容的当前帧和/或由用户提供的一个或多个偏好确定。在确定了视频亮点的实施例中，视频处理设备102能操作用于从所确定的视频亮点中丢弃一个或多个视频亮点。根据实施例，当所确定的两个或更多个视频亮点之间存在重复时，这一个或多个视频亮点可以被丢弃。
根据实施例，视频处理设备102能操作用于组合选定的一个或多个视频亮点，以生成复合视频。根据实施例，视频处理设备102能操作用于基于由用户提供的一个或多个偏好定制复合视频。根据实施例，这一个或多个偏好可以包括用户期望的用于背景音乐的音频文件和/或一个或多个视觉效果。根据实施例，定制的复合视频可以在显示屏110上呈现。根据实施例，视频处理设备102能操作用于向用户提供与复合视频关联的一个或多个选项。根据实施例，这一个或多个选项可以包括传送、共享、保存、编辑和/或播放该复合视频。
图2是根据本公开内容的实施例、示出示例性视频处理设备的框图。图2是结合图1的元素来解释的。参考图2，示出了视频处理设备102。视频处理设备102可以包括一个或多个处理器，诸如应用处理器202、颜色处理单元204、梯度处理单元206和运动处理单元208。视频处理设备102还可以包括存储器210以及一个或多个输入/输出(I/O)设备，诸如I/O单元212。I/O单元212可以包括显示屏110。应用处理器202可以通信上耦合到颜色处理单元204、梯度处理单元206、运动处理单元208、存储器210和I/O单元212。根据实施例，视频处理设备102还可以包括收发器(未示出)。收发器能操作用于经由通信网络108(如图1中所示)与一个或多个服务器，诸如应用服务器104(如图1中所示)和/或视频内容服务器106(如图1中所示)进行通信。在这种情况中，收发器可以通信上耦合到一个或多个处理器，包括应用处理器202、颜色处理单元204、梯度处理单元206和/或运动处理单元208。
应用处理器202、颜色处理单元204、梯度处理单元206和运动处理单元208可以实现为一个或多个处理器。应用处理器202、颜色处理单元204、梯度处理单元206和运动处理单元208的例子可以包括基于x86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其它处理器。
应用处理器202可以包括能操作用于执行存储在存储器210中的指令集的合适的逻辑、电路、接口和/或代码。应用处理器202能操作用于确定视频内容的每一帧的颜色帧ID值和GMV值。应用处理器202还能操作用于生成视频片段。应用处理器202可以组合视频片段的一个或多个视频亮点，以生成复合视频。应用处理器202可以基于本领域中已知的多种处理器技术来实现。
颜色处理单元204可以包括能操作用于确定和/或处理与视频内容的当前帧关联的颜色信息的合适的逻辑、电路、接口和/或代码。根据实施例，颜色处理单元204可以通信上耦合到远程视频捕捉设备(未示出)。颜色处理单元204能操作用于基于从存储器210检索的一个或多个算法确定对应于视频内容当前帧的平均颜色值。这一个或多个算法可以对应于但不限于图像处理算法、计算机视觉算法和/或机器视觉算法。
梯度处理单元206可以包括能操作用于确定和/或处理与视频内容的当前帧关联的梯度信息的合适的逻辑、电路、接口和/或代码。根据实施例，梯度处理单元206可以通信上耦合到远程视频捕捉设备。梯度处理单元206能操作用于基于从存储器210检索的一个或多个算法确定对应于视频内容的当前帧的平均梯度值。
运动处理单元208可以包括能操作用于确定视频内容的当前帧中的多个运动向量的合适的逻辑、电路、接口和/或代码。运动处理单元208还能操作用于基于多个运动向量确定GMV值。运动处理单元208还能操作用于基于GMV值确定稳定性方差。
存储器210可以包括能操作用于存储具有可由应用处理器202执行的至少一个代码部分的机器代码和/或计算机程序的合适的逻辑、电路、接口和/或代码。存储器210还能操作用于存储视频内容的每一帧的实时运动注解信息。存储器210还能操作用于存储与颜色信息和/或梯度信息当中的一个或多个关联的一个或多个量化值。存储器210还能操作用于存储视频内容的每一帧的颜色帧ID值与GMV值。存储器210还能操作用于存储由用户提供的一个或多个偏好。存储器210还能操作用于存储一个或多个算法，诸如计算机视觉算法和/或机器视觉算法，等等。存储器210的实现的例子可以包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。
I/O单元212可以包括能操作用于从用户接收一个或多个偏好或者向用户提供输出的合适的逻辑、电路、接口和/或代码。I/O单元212可以包括能操作用于与应用处理器202通信的各种输入和输出设备。I/O单元可以包括显示屏110。输入设备的例子可以包括但不限于，相机、摄录一体机、触摸屏、输入端口、运动传感器、光传感器和/或扩展坞。输出设备的例子可以包括但不限于，显示屏(未示出)和/或投影屏幕。
在操作中，应用处理器202能操作用于经由通信网络108从视频内容服务器106检索视频内容。根据实施例，视频内容服务器106可以从远程视频捕捉设备接收视频内容。视频内容服务器106可以存储所接收的视频内容并经由通信网络108将其发送到收发器。根据实施例，视频内容服务器106可以经由通信网络108把现场视频内容实时地流传输到收发器。收发器可以把所接收的视频内容传送到应用处理器202。根据实施例，应用处理器202能操作用于从存储器210检索期望的视频内容。
根据实施例，显示屏110能操作用于从用户接收一个或多个偏好。根据实施例，这一个或多个偏好可以包括用于选择与视频内容关联的帧的时间戳。这一个或多个偏好还可以包括用于从视频内容选择视频剪辑的剪辑持续时间。根据实施例，这一个或多个偏好可以包括数字“n”，基于该数字“n”，可以选择一个或多个帧。基于数字“n”，可以选择每个“第n”帧。这一个或多个偏好还可以包括与视频内容关联的一个或多个帧中的颜色信息、梯度信息、帧背景、一个或多个对象和/或与一个或多个对象关联的一个或多个特点。例如，对于数字“5”，可以从视频内容选择每个第五帧。
根据实施例，基于这一个或多个偏好，视频处理设备102能操作用于选择一个或多个帧。根据实施例，视频处理设备102的应用处理器202能操作用于把选定的一个或多个帧的尺寸从第一分辨率值减小到第二分辨率值。根据实施例，第一分辨率值可以是可超出阈值的分辨率值，诸如对应于HD尺寸的分辨率值。根据实施例，第二分辨率值可以是可小于阈值的分辨率值，诸如可对应于VGA尺寸的分辨率值。
根据实施例，应用处理器202可以被配置为在环形缓冲区中缓冲视频内容的至少两个连续的减小尺寸的图像帧。这两个连续的图像帧可以包括前一帧和当前帧。根据实施例，前一帧可以存储在环形缓冲区的第一缓冲区中，并且当前帧可以存储在第二缓冲区中。第一和第二缓冲区可以基于式子(1)和(2)来选择。
第一缓冲区＝[(帧号-1)MOD2](1)
第二缓冲区＝[(帧号)MOD2](2)
其中，“MOD”可以表示模运算符。
根据实施例，颜色处理单元204能操作用于确定与视频内容的当前帧关联的颜色信息。根据实施例，与当前帧关联的颜色信息可以对应于亮度(Y)分量和两个色度(UV)分量，统称为“YUV颜色模型”。颜色处理单元204可被配置为确定视频内容的当前帧的平均颜色值。
根据实施例，颜色处理单元204可被配置为基于量化值“Q”把当前帧分成一个或多个量化仓(bin)。但是，本公开内容不限于此，诸如应用处理器202和/或梯度处理单元206的另一处理器能操作用于确定量化值“Q”，而不限制本公开内容的范围。根据实施例，这种一个或多个量化仓的数量可以基于用户偏好来确定。根据实施例，量化仓的数量可以基于从存储器210检索的预存储值来确定。
根据实施例，颜色处理单元204可被配置为根据式子(3)基于量化值“Q”计算量化除数(divider)，诸如“div”。
div＝256/Q(3)
根据实施例，颜色处理单元204能操作用于向应用处理器202传送量化值“Q”。根据实施例，颜色处理单元204能操作用于在存储器210中存储量化值“Q”。
根据实施例，颜色处理单元204可被配置为确定对应于与颜色模型关联的每个分量的平均颜色值。在导出的颜色模型的情况下(诸如YUV颜色模型)，平均颜色值可以对应于当前帧的亮度(Y)的平均值，诸如“avgY”，第一色度分量(U)的平均值，诸如“avgU”，以及第二色度分量(V)的平均值，诸如“avgV”。根据实施例，颜色处理单元204可被配置为根据式子(4)、(5)和(6)确定多个量化值，诸如Y颜色量化值“y”、U颜色量化值“u”和V颜色量化值“v”。
y＝(avgY)/div(4)
u＝(avgU)/div(5)
v＝(avgV)/div(6)
其中，“avgY”、“avgU”和“avgV”分别是平均Y、U和V值。Y、U和V值对应于视频内容的当前帧。
多个颜色量化值可以指示对应于平均颜色值的多个仓号(binnumber)。根据实施例，颜色处理单元204还能操作用于向应用处理器202传送所确定的多个颜色量化值。根据实施例，颜色处理单元204可以在存储器210中存储所确定的多个量化值。
根据实施例，梯度处理单元206能操作用于确定与视频内容的当前帧关联的梯度信息。视频内容的当前帧的梯度信息可以对应于当前帧中的一个或多个对象的强度和/或颜色的方向性变化。梯度处理单元206可被配置为确定可对应于视频内容的当前帧的平均梯度值，诸如“G”。根据实施例，梯度处理单元206可被配置为根据式子(7)基于量化除数(诸如“div”)确定梯度量化值，诸如“g”。
g＝(avgG)/div(7)
根据实施例，梯度处理单元206还能操作用于向应用处理器202传送所确定的梯度量化值“g”。根据实施例，颜色处理单元204可以在存储器210中存储所确定的梯度量化值“g”。
根据实施例，应用处理器202能操作用于基于所确定的多个颜色量化值和梯度量化值生成颜色帧ID值。颜色帧ID值可以根据式子(8)来确定。
颜色帧ID值＝(y*Q*Q*Q)+(u*Q*Q)+(v*Q)+g(8)
根据实施例，应用处理器202可以确定当前帧的颜色帧ID值和前一帧的颜色帧ID值。根据实施例，颜色帧ID值可以类似于另一颜色帧ID值。在这种情况下，当前帧和前一帧可以位于视频内容的同一视频片段中。根据实施例，当前帧的颜色帧ID值可以不类似于前一帧的另一颜色帧ID值。在这种情况下，可以在视频内容中检测到场景变化。基于所检测到的场景变化，视频处理设备102可以确定前一视频片段的结束和新视频片段的开始。但是，本公开内容不限于此，并且视频处理设备102能操作用于生成多个视频片段，而不限制本公开内容的范围。
根据实施例，应用处理器202能操作用于确定当前帧与前一帧之间的公共对象。根据实施例，视频处理设备102能操作用于确定所确定的公共对象之间完全相同的特征的计数。在实施例中，完全相同的特征的计数可以小于阈值。在这种情况下，可以确定下一帧与当前帧之间完全相同的特征的计数。根据实施例，完全相同的特征的计数可以超过阈值。在这种情况下，可以确定多个运动向量。根据实施例，应用处理器202能操作用于基于当前帧中的一个或多个像素的像素移位确定多个运动向量。当前帧中的一个或多个像素的像素移位对应于前一帧中的一个或多个像素。
根据实施例，运动处理单元208能操作用于确定与当前帧关联的GMV值。根据实施例，运动处理单元208可以被配置为基于量化值“Q”把当前帧分成一个或多个量化仓。根据实施例，运动处理单元208能操作用于把量化值“Q”传送到应用处理器202。根据实施例，运动处理单元208能操作用于在存储器210中存储量化值“Q”。
根据实施例，运动处理单元208能操作用于确定当前帧的x轴平移量化值“Qx”、y轴平移量化值“Qy”和旋转量化值“Qr”。根据实施例，运动处理单元208还能操作用于确定当前帧的多个运动向量。这多个运动向量可以包括第一运动值“tx”、第二运动值“ty”和第三运动值“rot”。
第一运动值“tx”可以对应于当前帧中视频内容沿x轴的平移。第二运动值(诸如“ty”)可以对应于当前帧中视频内容沿y轴的平移。第三运动值“rot”可以对应于当前帧中视频内容的旋转分量。根据实施例，运动处理单元208还能操作用于根据式子(9)、(10)和(11)确定多个运动量化值，诸如x轴运动量化值“x”、y轴运动量化值“y”和旋转运动量化值“r”。
x＝min(Q-1,abs(tx/Qx))(9)
y＝min(Q-1,abs(ty/Qy))(10)
r＝min(Q-1,abs(rot/Qr))(11)
根据实施例，颜色处理单元204还能操作用于向运动处理单元208传送在式子(9)、(10)和(11)中确定的多个运动量化值。根据实施例，运动处理单元208可以在存储器210中存储所确定的多个运动量化值。根据实施例，应用处理器202能操作用于基于所确定的多个运动量化值和编码的符号模式“EncodedSignPattern”生成GMV值。根据实施例，GMV值可以根据式子(12)来确定。
GMV值＝(x*Q*Q)+(y*Q)+r+EncodedSignPattern(12)
根据实施例，颜色帧ID值和GMV值可以存储在存储器210中。根据实施例，应用处理器202能操作用于基于颜色帧ID值和GMV值当中的一个或两个的变化确定第一中间帧。根据实施例，应用处理器202能操作用于基于另一帧的另一颜色帧ID值和另一GMV值当中的一个或两个的变化确定第二中间帧。在这种实施例中，用于另一帧的另一颜色帧ID值和另一GMV值可以以类似于用于当前帧的颜色帧ID值和GMV值的确定的方式来确定。
根据实施例，应用处理器202能操作用于确定第一中间帧与第二中间帧之间的一个或多个帧。基于所确定的第一中间帧和/或第二中间帧，应用处理器202能操作用于生成视频片段。但是，本公开内容不限于此，应用处理器202能操作用于基于多个中间帧生成多个视频片段，而不限制本公开内容的范围。
根据实施例，第一中间帧和/或第二中间帧可以指示视频内容的场景变化。可以在各种应用中使用由颜色帧ID值和GMV值指示的这种场景变化。这种应用的例子可以包括但不限于，智能视频摘要提取、用于快速浏览的视频索引、用于视频编码的实时关键帧提取和/或监控视频的变化检测。
根据实施例，运动处理单元208能操作用于确定稳定性方差。稳定性方差可以对应于当前帧中的GMV值相对于前一帧的变化。根据实施例，稳定性方差可以与GMV值的变化成反比。根据实施例，运动处理单元208可以基于从存储器210检索的一个或多个算法确定用于视频内容的当前帧的稳定性方差。根据实施例，运动处理单元208可以基于所确定的多个运动向量确定用于视频内容的当前帧的稳定性方差。例如，用于与监控相机关联的视频内容的帧的稳定性方差可以高。帧可以呈现帧中一个或多个对象的可忽略的过渡和/或旋转运动，由此呈现高方差。在示例性场景中，视频内容可以包括突然的活动，诸如道路事故、打雷和/或繁忙的交通状况。在这种场景下，由于帧呈现出帧中一个或多个对象的大幅过渡和/或旋转运动时，用于视频内容的帧的稳定性方差的值可以小于预定义的阈值。
根据实施例，应用处理器202能操作用于选择具有大于预定义阈值的稳定性方差值的帧，使得基于一个或多个亮点生成的复合视频中的过渡是平滑的。根据实施例，应用处理器202能操作用于自动选择具有低于预定义阈值的稳定性排名值的帧。在这种情况下，自动选择的帧可以包括突然的活动。
根据实施例，运动处理单元208能操作用于基于视频片段的当前帧中所确定的多个运动向量提取运动方向。根据实施例，运动方向可以基于多个运动向量的统计分析来确定。根据实施例，多个运动向量的交点可以基于多个运动向量的统计分析来确定。这多个运动向量可以归类为第一组运动向量或第二组运动向量。根据实施例，第一组运动向量可以对应于无运动、摇摄运动和/或倾斜运动之一。根据实施例，第二组运动向量可以对应于向前运动、向后运动和/或旋转运动之一。
根据实施例，当第一组运动向量对应于无运动时，运动处理单元208能操作用于确定运动方向的角度，诸如预定值“90度”。在这种情况下，运动处理单元208还能操作用于确定GMV值为零。根据实施例，当第一组运动向量对应于摇摄运动和/或倾斜运动时，运动处理单元208能操作用于确定运动方向的角度和GMV值。
根据实施例，运动处理单元208能操作用于确定多个运动向量的交点、运动方向的角度和/或GMV值。在这种情况下，第二组运动向量可以对应于向前运动或向后运动。根据实施例，运动处理单元208能操作用于确定多个运动向量的旋转参数。在这种情况下，运动处理单元208能操作用于确定GMV值为零。在这种情况下，第二组运动向量可以对应于旋转运动。
根据实施例，运动处理单元208能操作用于确定当前视频片段与前一视频片段之间的曲线角度。这种曲线角度可以基于相对于对应的帧号绘制的视频内容的每一帧的运动方向的角度的图形表示来确定(如图6中所描述的)。
根据实施例，应用处理器202能操作用于确定实时运动注解信息。实时运动注解信息可以基于当前帧的帧号、所提取的运动方向的角度、GMV、数字匹配点值、多个运动向量的统计分析、稳定性方差、当前帧的颜色帧ID值和指示当前帧的运动方向的指示符当中的一个或多个。
根据实施例，应用处理器202能操作用于基于注解信息选择零个或者一个或多个视频亮点。这零个或者一个或多个视频亮点可以为视频内容的当前帧和/或由用户提供的一个或多个偏好确定。根据实施例，当亮点被选择时，应用处理器202还能操作用于从所确定的一个或多个视频亮点中丢弃一个或多个视频亮点。根据实施例，当所确定的两个或更多个视频亮点之间存在重复时，这一个或多个视频亮点可以被丢弃。
根据实施例，应用处理器202能操作用于组合选定的一个或多个视频亮点，以生成复合视频。根据实施例，应用处理器202能操作用于基于由用户提供的一个或多个偏好定制复合视频。根据实施例，这一个或多个偏好可以包括用户期望的用于背景音乐的音频文件和/或一个或多个视觉效果。根据实施例，定制的复合视频可以在显示屏110上呈现。根据实施例，应用处理器202能操作用于向用户提供与复合视频关联的一个或多个选项。根据实施例，这一个或多个选项可以包括传送、共享、保存、编辑和/或播放该复合视频。
图3A至3N根据本公开内容的实施例共同示出了各种示例性场景。图3A至3N是结合图1和图2的元素解释的。参考图3，示出了对应于视频内容的示例性帧300a至300n。视频内容可以包括在地面(terrain)上移动的车辆302。地面可以包括道路304和景观(landscape)306。示例性帧300a至300n可以包括第一组帧300a至300g以及第二组帧300h至300n。来自第一组帧300a至300g的每个帧可以对应于来自第二组帧300h至300n的注解帧。来自第二组帧300h至300n的注解帧可以包括UI元素，诸如显示注解信息的显示部分308a、交点308b、图形交叉点308c以及说明运动方向的角度的彩色指示符308d。为了简化，针对图3H示出了UI元素。但是，在不背离本公开内容的范围的情况下，也针对来自第二组帧300h至300n的其它注解帧呈现UI元素。
基于多个运动向量的统计分析，第一组帧300a至300g可以对应于不同的运动情况。不同的运动情况可以是向前运动、向后、左、右、向下倾斜、向上倾斜、右旋转和左旋转运动，如分别在图300a至300g中说明的。第二组帧300h至300n可以对应于基于来自第一组帧300a至300g的对应运动帧所生成的注解帧。注解帧可以包括对应当前运动帧的实时运动注解信息。
参考图3A，当前帧300a可以包括车辆302。车辆302可以在道路304上行进，使得景观306包含(encompass)当前帧300a的主要部分。当前帧300a可以对应于具有值“150”的帧号。可以相对于前一帧(未示出)在当前帧300a中绘出多个运动向量。对于当前帧300a中的多个特征，这多个运动向量可以由箭头(具有箭头头部和箭头尾部)表示。这多个特征可以对应于车辆302、道路304和/或景观306。箭头头部可以指示多个特征在前一帧中的特征位置。箭头尾部可以指示多个特征在当前帧300a中的特征位置。应用处理器202可以执行当前帧300a中多个运动向量的统计分析。当前帧300a的这组运动向量可以指示车辆302相对于地面的向前运动。
应用处理器202还能操作用于确定当前帧300a中多个运动向量的交点，诸如“渐逝点”。该交点可以对应于当前帧300a中的点，其中多个运动向量看起来汇聚到这个点。应用处理器202还能操作用于按图形方式在该交点处绘制交叉点和指示符。
应用处理器202还能操作用于基于多个运动向量提取当前帧的运动方向。应用处理器202还能操作用于基于所提取的运动方向确定运动方向的角度。
根据实施例，颜色处理单元204可以基于量化值“Q”把当前帧300a分成量化仓。根据实施例，量化值“Q”可以基于用户偏好和/或预存储的值。根据实施例，颜色处理单元204可以根据式子(3)确定量化除数“div”。根据实施例，颜色处理单元204可以根据式子(4)、(5)、(6)确定与帧300a关联的多个颜色量化值“y”、“u”和“v”。根据实施例，梯度处理单元206可以根据式子(7)确定与当前帧300a关联的梯度量化值“g”。应用处理器202可以使用所生成的多个颜色量化值“y”、“u”和“v”以及梯度值“g”生成颜色帧ID值“颜色帧ID”。颜色帧识别值“颜色帧ID”(诸如“2264”)可以根据式子(8)生成。
根据实施例，运动处理单元208可以确定与一对帧(诸如当前帧300a和当前帧300a之前的另一帧(未示出))关联的运动帧识别值“GMV值”。根据实施例，运动处理单元208可以基于量化值“Q”把当前帧分成量化仓。根据实施例，运动处理单元208能操作用于确定x轴平移量化值“Qx”、y轴平移量化值“Qy”和旋转量化值“Qr”。根据实施例，运动处理单元208还可以确定与该对帧关联的多个运动向量，诸如第一运动值“tx”、第二运动值“ty”和第三运动值“rot”。根据实施例，运动处理单元208可以根据式子(9)、(10)和(11)确定与当前帧300a关联的多个运动量化值。应用处理器202还可以根据式子(12)生成运动帧识别值“GMV值”，诸如“7”。
参考注解帧300h，应用处理器202能操作用于在当前帧上呈现实时运动注解信息。实时运动注解信息可以在显示部分308a中呈现。实时运动注解信息可以包括帧号(诸如“帧号150”)、颜色帧ID(诸如“颜色帧ID：2264”)、GMV值(诸如“GMV值：7”)、运动方向的角度(诸如“角度：88”)以及运动情况(诸如“向前”)的呈现。实时运动注解信息可以包括对于视频内容的当前帧300a的稳定性方差(诸如“StabiVar：1”)的呈现。稳定性方差可以基于与当前帧300a关联的多个运动量化值，诸如“tx”、“ty”和/或“rot”。注解帧300h还呈现交点308b、图形交叉点308c和彩色指示符308d。彩色指示符308d可以基于指针从交叉点的x-轴和y-轴的偏离示出运动方向的角度。类似地，以与从当前帧300a生成注解帧300h的类似方式，可以从对应的运动帧300b至300g生成其它注解帧300i至300n。
图4是根据本公开内容的实施例、示出处理视频内容的第一示例性场景的表。图4是结合图1、2和3的元素来解释的。参考图4，示出了表400。表400可以包括第一列402，诸如“帧号”，这可以表示当前帧的序列号。表400可以包括第二列404，诸如“颜色帧ID”，这可以表示当前帧的颜色帧ID。表400可以包括第三列406，诸如“角度”，这可以表示当前帧的运动方向的角度。可以有第四列408，诸如“GMV_x”，这可以表示沿水平轴的全局运动向量。还可以有第五列410，诸如“GMV_y”，这可以表示沿垂直轴的全局运动向量。表400可以包括第六列412，诸如“Num_match_pts”，这可以表示当前帧与前一帧的完全相同的特征之间的像素个数。表400还可以包括第七列420，诸如“Stabi_Var”，这可以表示当前帧相对于前一帧的稳定性方差。可以基于由视频处理设备102中的一个或多个处理器为不同帧确定的各个值来填充表400。但是，表400可以不限于此，并且更多值可以填充到表400中，而不背离本公开内容的范围。
图5A和5B是根据本公开内容的实施例、示出处理视频内容的第一示例性场景的图。图5A和5B中的图可以结合表400(图4)中示出的第一示例性场景来绘制。
参考图5A，可以在“运动方向的角度”和“帧号”之间绘制图。“运动方向的角度”可以在y轴上表示，而“帧号”可以在x轴上表示。在这种图形表示中，帧号和对应的运动方向角度可以从表400(如图4中所说明的)确定。图5A中图的斜率可以表示当前帧相对于前一帧的运动方向。例如，正斜率可以表示当前帧相对于前一帧的向右运动方向。负斜率可以表示当前帧相对于前一帧的向左运动方向。类似地，零斜率可以表示当前帧相对于前一帧的相同运动方向。
参考图5B，可以示出另一个图。可以在“稳定性方差”与“帧号”之间绘制该图。“稳定性方差”可以在y轴上表示，并且“帧号”可以在x轴上表示。关于这种图形表示，帧号和稳定性方差可以从表400(如图4中所说明的)确定。
图6是根据本公开内容的实施例、示出处理视频内容的第二示例性场景的表。图6是结合图1、2和3的元素解释的。参考图6，示出了表600。
表600可以包括第一列602，诸如“片段号”，这可以表示片段号；第二列604，诸如“起始帧号”，这可以表示片段的初始帧号；及第三列606，诸如“结束帧号”，这可以表示片段的最后一帧号。表600还可以包括第四列608，诸如“角度”，这可以表示当前片段与前一片段之间的角度；第五列610，诸如“GMV_x”，这可以表示当前片段沿水平轴的全局运动向量；及第六列612，诸如“GMV_y”，这可以表示当前片段沿垂直轴的全局运动向量。表600还可以包括第七列614，诸如“Average_Stability_Variance”，这可以表示当前片段的平均稳定性方差；第八列616，诸如“Weighted_Average_Stability_Variance”，这可以表示当前片段的加权平均稳定性方差；及第九列618，诸如“Segment_Slope”，这可以表示片段的斜率。
参考图6，具有“0”值的“片段号”可以基于视频内容中帧的颜色帧ID值来确定。具有“0”值的“片段号”可以从具有值“5”的“起始帧号”开始，并且在具有值“530”的“结束帧号”结束。用于具有“0”值的“片段号”的颜色帧ID值可以是恒定得或者连续值之间可忽略的变化。
对于具有“0”值的“片段号”，“角度”的值可以被确定为是“0”。另外，“GMV_x”和“GMV_y”的值可以基于式子(12)分别确定为“0”和“8”。另外，“Average_Stability_Deviation”和“Weighted_Average_Stability_Deviation”的值可以分别确定为“0”和“0”。另外，“Segment_Slope”可以确定为“0.0361905”。正斜率可以表示具有“0”值的“片段号”的向右运动。可以基于由视频处理设备102中的一个或多个处理器对不同帧确定的各个帧来填充表600。但是，表600可以不限于此，并且更多值可以填充到表600中，而不背离本公开内容的范围。
图7是根据本公开内容的实施例、示出处理视频内容的第二示例性场景的图。图7中的图可以结合表600(图6)中所示出的第二示例性场景来绘制。
参考图7，可以在“运动方向的角度”与“帧号”之间绘制所示出的图。“运动方向的角度”可以在y轴上表示，并且“帧号”可以在x轴上表示。在这种图形表示中，帧号和运动方向的对应角度可以从图6中所说明的表600确定。图7中图的斜率可以表示两个片段的运动方向之间的曲线角度。例如，正斜率可以表示当前片段相对于前一片段的向右运动方向。负斜率可以表示当前片段相对于前一片段的向左运动方向。类似地，零斜率可以表示当前片段相对于前一片段的相同运动方向。
图8根据本公开内容的实施例示出了处理视频内容的第三示例性场景。图8可以结合图1至7来解释。参考图8，示出了第三示例性场景800。第三示例性场景800可以包括可对应于具有持续时间“2.50分钟”的视频内容的示例性帧的序列。帧序列可以集合地共同示出在地面上移动的车辆。地面可以包括道路、隧道、第一景观和第二景观。应用处理器202能操作用于确定如图4和6中所示的表。
参考图8，应用处理器202能操作用于确定用于视频片段的实时运动注解信息，诸如颜色片段和运动片段。示出了可以基于颜色帧ID值给出指标稳定性的第一时间条表示。参考第一时间条表示，在时间戳“00.21分钟”，应用处理器202可以检测由颜色处理单元204生成的当前帧的颜色帧ID值中的突然变化。时间戳可以对应于以第一景观在道路上移动的车辆进入隧道的时刻。应用处理器202可以确定从时间戳“00.00分钟”到“00.21分钟”的第一颜色片段“S1”。在另一时间戳“00.38分钟”，应用处理器202可以再次检测到由颜色处理单元204生成的当前帧的颜色帧ID值中的突然变化。时间戳可以对应于车辆离开隧道的另一时刻。应用处理器202可以确定从时间戳“00.22分钟”到“00.38分钟”的第二颜色片段“S2”。在另一个时间戳“02.08分钟”，应用处理器202可以再次检测到由颜色处理单元204生成的当前帧的颜色帧ID值中的突然变化。时间戳可以对应于车辆以第二景观在高速路上行进的另一时刻。应用处理器202可以确定从时间戳“00.39分钟”到“02.08分钟”的第三颜色片段“S3”。应用处理器202还可以确定从时间戳“02.08分钟”到“02.50分钟”的第四颜色片段“S4”。颜色片段(诸如“S1”、“S2”、“S3”和“S4”)的这种确定可以针对颜色帧ID在时间条上绘制，如图8中所说明的。颜色片段(诸如“S1”、“S2”、“S3”和“S”)的这种确定可以针对颜色帧ID在时间条上绘制，如图8中所说明的。
类似地，示出了可以基于GMV值给出方向稳定性的第二时间条表示。参考第二时间条表示，当车辆802越过渐进左曲线时，应用处理器202可以检测到由运动处理单元208生成的当前帧的运动方向中的突然变化直到时间戳“00.21分钟”为止。应用处理器202可以确定从时间戳“00.00分钟”到“00.21分钟”的第一运动片段“渐进长左曲线”。直到另一时间戳“00.38分钟”为止，车辆802越过右曲线。应用处理器202可以确定从时间戳“00.21分钟”到“00.38分钟”的第二运动片段“右曲线”。类似地，应用处理器202可以为视频片段确定其它运动片段，如图8中所示出的。
根据实施例，实时运动注解信息可以被诸如自动视频编辑工具的应用使用。自动视频编辑工具可以基于实时运动注解信息从每个视频片段自动地识别零个或更多个亮点。这种亮点可以被组合，使得与之前被选亮点共享公共属性的亮点被丢弃。
图9A至9D根据本公开内容的实施例共同表示示出处理视频内容的方法的流程图。参考图9，示出了结合图1至8描述的流程图900。该方法在步骤902开始并且前进到步骤904。
在步骤904，可以接收视频片段的多个选定的帧。在步骤906，所接收的多个选定的帧的尺寸可以从第一分辨率值减小到第二分辨率值。在步骤908，来自视频内容的至少两个连续的减小尺寸的图像帧可以缓冲在环形缓冲区中。这两个连续的图像帧可以包括前一帧和当前帧。
在步骤910，可以确定视频内容的当前帧的亮度和色度(YUV)颜色模型的平均颜色值。在步骤912，可以确定当前帧的平均梯度值。在步骤914，可以基于平均颜色值和平均梯度值来确定用于当前帧的颜色帧ID值。
在步骤916，可以确定当前帧与前一帧之间的公共对象。在步骤918，可以确定所确定的公共对象之间完全相同的特征的计数。在步骤920，可以确定所确定的公共对象之间完全相同的特征的计数是否低于阈值。在完全相同的特征的计数低于阈值的时刻，控制传递回结束步骤964。在完全相同的特征的计数高于阈值时，控制传递到步骤922。在步骤922，可以确定多个运动向量。这多个运动向量可以基于当前帧中的一个或多个像素相对于前一帧中的对应的一个或多个像素的像素移位来确定。
在步骤924，可以执行多个运动向量的统计分析。在步骤926，可以基于统计分析确定运动方向的状态。在步骤928，可以确定运动的状态是否是“无运动”。在一种情况下，当运动方向的状态是“无运动”时，控制传递到步骤930。在步骤930，运动方向的角度可以确定为“90度”，并且GMV值可以确定为“零”。控制传递到步骤932。在一种情况下，当运动方向的状态不是“无运动”时，控制传递到步骤932。
在步骤932，可以确定运动方向的状态是否是“摇摄/倾斜运动”。在一种情况下，当运动方向的状态是“摇摄/倾斜运动”时，控制传递到步骤934。在步骤934，可以确定运动方向的角度和GMV值。控制传递到步骤936。在一种情况下，当运动方向的状态不是“摇摄/倾斜运动”时，控制传递到步骤936。
在步骤936，可以确定运动方向的状态是否是“向前/向后/旋转运动”。在一种情况下，当运动方向的状态不是“向前/向后/旋转运动”时，控制传递到步骤938。在步骤938，可以确定当前帧相对于前一帧的运动方向是“未知运动”，并且控制传递到结束步骤964。在一种情况下，当运动方向的状态是“向前/向后/旋转运动”时，控制传递到步骤940。
在步骤940，可以确定运动方向的状态是否是“向前运动”。在一种情况下，当运动方向的状态是“向前运动”时，控制传递到步骤942。在步骤942，可以确定多个运动向量的交点、运动方向的角度以及GMV值。控制传递到步骤944。在一种情况下，当运动方向的状态不是“向前运动”时，控制传递到步骤944。
在步骤944，可以确定运动方向的状态是否是“向后运动”。在一种情况下，当运动方向的状态是“向后运动”时，控制传递到步骤946。在步骤946，可以确定多个运动向量的交点、运动方向的角度以及GMV值。控制传递到步骤948。在一种情况下，当运动方向的状态不是“向后运动”时，控制传递到步骤948。
在步骤948，可以确定运动方向的状态是否是“旋转运动”。根据实施例，当运动方向的状态是“旋转运动”时，控制传递到步骤950。在步骤950，可以确定运动方向的角度。另外，可以确定GMV值为“零”。控制传递到步骤952。在一种情况下，当运动方向的状态不是“旋转运动”时，控制传递到步骤938。
在步骤952，可以基于所确定的GMV值确定稳定性方差。在步骤952，当前帧的实时运动注解信息可以基于运动方向、运动方向的角度、稳定性方差和/或GMV值来记录。实时运动注解信息还可以包括当前帧的帧号、当前帧与前一帧之间完全相同像素的数量、多个运动向量的统计分析、当前帧的颜色帧ID值以及指示当前帧的运动方向的图形指示符。
在步骤954，可以基于一个或多个实时运动注解信息来确定视频片段。在步骤956，可以基于实时运动注解信息中的一个或多个来确定视频片段中的零个或更多个视频亮点。在步骤958，当两个或更多个亮点共享公共的属性时，可以从所确定的零个或更多个视频亮点丢弃零个或多个视频亮点。在步骤960，剩余的视频亮点可以被组合，以生成复合视频。在步骤962，可以基于由用户提供的一个或多个偏好来定制复合视频。控制传递到结束步骤964。
根据本公开内容的实施例，公开了处理视频内容的系统。诸如视频处理设备102(图1)的设备可以包括一个或多个电路和/或处理器，诸如应用处理器202、颜色处理单元204、梯度处理单元206和运动处理单元208。一个或多个处理器能操作用于基于视频片段的当前帧中的一个或多个像素的像素移位来确定多个运动向量。当前帧中的一个或多个像素的像素移位可以相对于该视频片段的前一帧中的对应的一个或多个像素。这一个或多个处理器还可以基于视频片段的当前帧中所确定的多个运动向量提取视频片段的运动方向。这一个或多个处理器还可以基于所提取的运动方向确定当前帧的实时运动注解信息。
本公开内容的各种实施例可以提供其上存储机器代码和/或计算机程序的非临时性计算机可读介质和/或存储介质，和/或非临时性机器可读介质和/或存储介质，机器代码和/或计算机程序具有可由处理视频内容的机器和/或计算机执行的至少一个代码部分。视频处理设备102的一个或多个处理器中的至少一个代码部分可以使机器和/或计算机执行包括基于视频片段的当前帧中的一个或多个像素的像素移位确定多个运动向量的步骤。当前帧中的一个或多个像素的像素移位可以相对于视频片段的前一帧中的对应的一个或多个像素。可以基于视频片段的当前帧中所确定的多个运动向量来确定视频片段的运动方向。可以基于所提取的运动方向来确定当前帧的实时运动注解信息。
本公开内容可以在硬件或者硬件和软件的组合中实现。本公开内容可以在至少一个计算机系统中以集中方式实现，或者以其中不同元件可以跨几个互连的计算机系统散布的分布方式实现。适于执行本文所述方法的计算机系统或其它装置可以是合适的。硬件与软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时，可以控制计算机系统，使得它执行本文所述的方法。本公开内容可以在包括还执行其它功能的集成电路的一部分的硬件中实现。
本公开内容还可以在计算机程序产品中体现，该计算机程序产品包括使得能够实现本文所述方法的所有特征，并且该计算机程序产品当在计算机系统中加载时，能够执行这些方法。在所给出的上下文中，计算机程序意味着要使具有信息处理能力的系统或者直接地或者在以下任意一个或两个之后执行特定功能的一组指令以任何语言、代码或符号的任意表示：a)转换成另一种语言、代码或符号；b)以不同的材料形式再现。
虽然已经参考某些实施例描述了本公开内容，但是本领域技术人员应当理解，在不背离本公开内容范围的情况下，可以进行各种变化并且等效物可以被代替。此外，在不背离其范围的情况下，可以进行许多修改，以便使特定的情形或材料适应本公开内容的示教。因此，本公开内容不限于所公开的特定实施例，而是本公开内容将包括属于所述权利要求范围的所有实施例。

Claims (20)

1.一种用于处理视频内容的方法，该方法包括：
在视频处理设备中：
基于视频内容的当前帧中的一个或多个像素相对于所述视频内容的前一帧中的对应的一个或多个像素的像素移位，确定多个运动向量；
基于所述当前帧中相对于所述视频内容的所述前一帧的所确定的所述多个运动向量，提取所述视频内容的运动方向；及
基于所提取的所述运动方向，确定所述当前帧的实时运动注解信息。
2.如权利要求1所述的方法，还包括基于所确定的所述多个运动向量提取所述当前帧的稳定性方差和全局运动向量GMV信息。
3.如权利要求2所述的方法，其中所确定的所述实时运动注解信息包括所述当前帧的帧号、所提取的所述运动方向的角度、所述当前帧的所提取的GMV值、数字匹配点值、所述多个运动向量的统计分析、所提取的稳定性方差、所述当前帧的颜色帧识别值以及用于指示所述视频内容的所述运动方向的指示符。
4.如权利要求2所述的方法，还包括基于所提取的所述运动方向、所述稳定性方差和所述GMV值确定所述当前帧的运动行为信息。
5.如权利要求4所述的方法，还包括基于所确定的所述运动行为信息和所述视频内容的视频片段的所述当前帧的颜色帧识别值确定所述视频片段中的一个或多个视频亮点。
6.如权利要求5所述的方法，还包括当两个或更多个视频亮点共享一个或多个属性时从所确定的所述一个或多个视频亮点丢弃一个或多个视频亮点。
7.如权利要求5所述的方法，还包括基于亮度和色度(YUV)颜色模型的平均颜色值和平均梯度值确定所述颜色帧识别值。
8.如权利要求5所述的方法，还包括当所述当前帧的所确定的所述颜色帧识别值与所述前一帧的另一颜色帧识别值不同时指示场景变化。
9.如权利要求1所述的方法，还包括确定所述当前帧与所述前一帧之间完全相同的特征的计数。
10.如权利要求9所述的方法，其中所述确定多个运动向量是在所确定的所述完全相同的特征的计数超过预定义的阈值时执行的。
11.如权利要求1所述的方法，其中所述确定多个运动向量和所述提取运动方向是基于所述多个运动向量的统计分析和交点的，其中所述多个运动向量归类为第一组运动向量和第二组运动向量。
12.如权利要求11所述的方法，其中所述第一组向量对应于无运动、摇摄运动和/或倾斜运动之一，并且所述第二组运动向量对应于向前运动、向后运动和/或旋转运动之一。
13.如权利要求12所述的方法，还包括当所述第一组运动向量对应于所述无运动时确定所确定的所述运动方向的角度为预定的值并且全局运动向量的值为零。
14.如权利要求12所述的方法，还包括当所述第一组运动向量对应于所述摇摄运动和/或所述倾斜运动时确定所确定的所述运动方向的角度和全局运动向量的值。
15.如权利要求12所述的方法，还包括当所述第二组运动向量对应于所述向前运动或所述向后运动时确定所述多个运动向量的交点、所确定的所述运动方向的角度以及全局运动向量的值。
16.如权利要求12所述的方法，还包括当所述第二组运动向量对应于所述旋转运动时确定所述多个运动向量的旋转参数和全局运动向量的值为零。
17.如权利要求1所述的方法，其中视频片段的第一帧的颜色帧识别值不同于下一视频片段的第一帧的另一颜色帧识别值。
18.如权利要求1所述的方法，还包括基于用于所述视频片段和前一视频片段的所述当前帧的所确定的所述运动方向的所述角度确定所述视频片段与所述前一视频片段之间的曲线角度。
19.一种用于处理视频内容的系统，该系统包括：
一个或多个处理器，能操作用于：
基于视频内容的当前帧中的一个或多个像素相对于所述视频内容的前一帧中的对应的一个或多个像素的像素移位，确定多个运动向量；
基于所述视频内容的所述当前帧中相对于所述视频内容的所述前一帧的所确定的所述多个运动向量，提取所述视频内容的运动方向；以及
基于所提取的所述运动方向，确定所述当前帧的实时运动注解信息。
20.如权利要求19所述的系统，其中所确定的所述实时运动注解信息包括所述当前帧的帧号、所提取的所述运动方向的角度、所述当前帧的所提取的全局运动向量信息、数字匹配点值、所述多个运动向量的统计一致性、所提取的稳定性方差、所述当前帧的颜色帧识别值以及用于指示所述视频内容的所述运动方向的指示符。
CN201510882850.3A 2014-12-24 2015-12-04 用于处理视频内容的方法和系统 Pending CN105744115A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/582,446 US20160191945A1 (en) 2014-12-24 2014-12-24 Method and system for processing video content
US14/582,446 2014-12-24

Publications (1)

Publication Number Publication Date
CN105744115A true CN105744115A (zh) 2016-07-06

Family

ID=55070656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510882850.3A Pending CN105744115A (zh) 2014-12-24 2015-12-04 用于处理视频内容的方法和系统

Country Status (3)

Country Link
US (1) US20160191945A1 (zh)
EP (1) EP3038056A1 (zh)
CN (1) CN105744115A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454347A (zh) * 2016-09-09 2017-02-22 上海兆芯集成电路有限公司 帧分辨率决定方法以及使用该方法的装置
CN113382153A (zh) * 2020-02-25 2021-09-10 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170104733A1 (en) * 2015-10-09 2017-04-13 Intel Corporation Device, system and method for low speed communication of sensor information
KR102612988B1 (ko) 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
KR102574175B1 (ko) * 2017-06-05 2023-09-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US11140328B2 (en) 2019-01-22 2021-10-05 Tempus Ex Machina, Inc. Systems and methods for partitioning a video feed to segment live player activity
CN113574901B (zh) * 2019-03-15 2024-02-13 天时机械公司 用于在客户端设备处定制和合成视频馈送的系统和方法
US11113861B2 (en) * 2019-09-13 2021-09-07 Nvidia Corporation Imitating motion capture clips using a neural network
US11810289B2 (en) * 2021-03-31 2023-11-07 Caterpillar Inc. Estimating the moving state of rotating machines systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502492A (en) * 1993-04-09 1996-03-26 Daewoo Electronics Co., Ltd. Motion vector detection apparatus
CN102184221A (zh) * 2011-05-06 2011-09-14 北京航空航天大学 一种基于用户偏好的实时视频摘要生成方法
CN103765898A (zh) * 2011-09-02 2014-04-30 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493299B1 (ko) * 2002-11-25 2005-06-07 엘지전자 주식회사 세탁기 및 그 행정 제어방법
JP4514203B2 (ja) * 2004-06-11 2010-07-28 キヤノン株式会社 動きベクトル検出装置及び方法
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
JP5107154B2 (ja) * 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502492A (en) * 1993-04-09 1996-03-26 Daewoo Electronics Co., Ltd. Motion vector detection apparatus
CN102184221A (zh) * 2011-05-06 2011-09-14 北京航空航天大学 一种基于用户偏好的实时视频摘要生成方法
CN103765898A (zh) * 2011-09-02 2014-04-30 索尼公司 图像处理设备、图像处理方法和程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUNG F等: "Fuzzy color quantization and its application to scene change detection", 《PROCEEDINGS OF THE 5TH ACM SIGMM INTERNATIONAL WORKSHOP ON MULTIMEDIA INFORMATION RETRIEVAL》 *
TSE K等: "A scene change detection algorithm for MPEG compressed video sequences", 《ELECTRICAL AND COMPUTER ENGINEERING, 1995. CANADIAN CONFERENCE ON. IEEE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454347A (zh) * 2016-09-09 2017-02-22 上海兆芯集成电路有限公司 帧分辨率决定方法以及使用该方法的装置
CN106454347B (zh) * 2016-09-09 2019-04-12 上海兆芯集成电路有限公司 帧分辨率决定方法以及使用该方法的装置
CN113382153A (zh) * 2020-02-25 2021-09-10 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质
CN113382153B (zh) * 2020-02-25 2022-11-22 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP3038056A1 (en) 2016-06-29
US20160191945A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105744115A (zh) 用于处理视频内容的方法和系统
US20200357142A1 (en) Learning-based sampling for image matting
US10728510B2 (en) Dynamic chroma key for video background replacement
KR101942987B1 (ko) 동영상 배경 제거 방법, 시스템 및 컴퓨터 판독가능 저장장치
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
US10447940B2 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
US20170206633A1 (en) Method and apparatus for up-scaling an image
US20230005107A1 (en) Multi-task text inpainting of digital images
JP5335574B2 (ja) 画像処理装置及びその制御方法
US20170147170A1 (en) Method for generating a user interface presenting a plurality of videos
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
JP2000187478A (ja) 画像処理装置及び画像処理方法
CN112788329A (zh) 视频静帧检测方法、装置、电视及存储介质
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
KR101064946B1 (ko) 다중 영상 분석 기반의 객체추출 장치 및 그 방법
CN115170400A (zh) 一种视频修复的方法、相关装置、设备以及存储介质
CN105611430B (zh) 用于处理视频内容的方法和系统
CN111754492A (zh) 图像质量评估方法、装置、电子设备及存储介质
US20230131418A1 (en) Two-dimensional (2d) feature database generation
CN108269260B (zh) 动态影像去背方法、系统与计算机可读取存储装置
EP4047547A1 (en) Method and system for removing scene text from images
CN112258556B (zh) 视频中指定区域的跟踪方法、装置、可读介质和电子设备
KR102430756B1 (ko) 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160706