CN103385000A

CN103385000A - 用于测量视频质量的方法和装置

Info

Publication number: CN103385000A
Application number: CN2010800683107A
Authority: CN
Inventors: 顾晓东; 刘德兵; 陈志波
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2010-07-30
Filing date: 2010-07-30
Publication date: 2013-11-06
Also published as: AU2010358309A1; EP2599310B1; EP2599310A4; AU2010358309B2; EP2599310A1; BR112013002361A2; JP2013537748A; WO2012012914A1; US8675075B2; JP5751648B2; KR20130090881A; US20130120587A1

Abstract

本发明提供了一种用于测量包括多个帧的视频序列的质量的方法和对应的装置。所述视频序列中一个或多个连续帧丢失，并且在所述视频序列的显示过程中，在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替所述一个或多个丢失的帧。所述方法包括：根据与在所述时间段内所述其前紧邻帧的稳定性相关的第一参数、与所述其前紧邻帧和其后紧邻帧之间的连续性相关的第二参数和与所述视频序列的相干运动相关的第三参数测量所述视频序列的质量。

Description

用于测量视频质量的方法和装置

技术领域

本发明总体上涉及视频质量，具体而言，本发明涉及用于测量由于丢帧造成失真的视频序列的质量的方法和装置。

背景技术

需要指出，本发明用于向读者介绍各个方面的有关技术，其可能与下述本发明的各个方面相关。这部分介绍有助于向读者介绍背景信息以促进对于本发明的各个方面的理解。因此，可以理解，本发明的讨论是出于上述的目的，而非构成对于现有技术的承认。

由于无线通信技术的迅速发展，利用视频电话、视频流技术和视频广播的视频通信变得越来越普遍。在这种类型的通信过程中，压缩媒体数据包有可能在不稳定的网络上传输，在这个过程中，压缩时的数据丢失或传输中的丢包可能引入空间和时间失真。比特率适配技术和网络中的丢包可能是可感知的视频质量降低的原因。在源编码阶段，时间下采样是用于比特率适配的技术之一，在该过程中视频序列经受了弃帧（frame dropping）操作，这会影响视频的运动连续性。

可感知抖动（perceptual jitter）是丢帧所造成的常见视频质量降低（video quality degradation）。通常而言，可感知抖动是在下述情况下察觉到的一种时间伪像（temporal artifact）：视频帧序列中的一个或多个连续帧在视频流过程中丢失并在后续的显示阶段中用最后正确接收的帧替代。图1是显示由丢帧（例如弃帧）造成的可感知抖动的示意图。丢帧过程及其对视频质量的影响示于图1中。图1所示曲线表示一个物体的运动轨迹，其中X轴表示时间，Y轴表示物体位置。时间B0与B之间的帧被丢弃。在这种情况下，由于在时间B0最后正确接收的帧将被显示，直至在时间B正确接收到新的帧，显示的物体在此时间段内将保持静止，然后立刻跳至新位置。如果此时间段相对较短并且物体运动比较轻微，则观看者可以猜测物体的行为并且不会察觉到运动中断。否则，人类的大脑将无法隐藏该“运动中断”现象，这样观看者将会识别到该时间伪像。

已经进行了一些研究来估计由可感知抖动造成的时间质量降低的可感知影响。基于文件1中描述的具体主观实验法，可以得出可感知质量随着丢帧数量的增加而降低的结论。文件2进行的研究对上述结论进行了扩展，其结论是上述可感知影响与内容高度相关。文件3的结论与上述两个文件类似，但具体指出与内容相关的因素是运动活跃性（motion activity）――抖动的存在对运动活跃性较低的视频造成的可感知质量降低比运动活跃性较高的视频要小。基于上述结论，还提出了量化模型。

但是，还没有用于可感知抖动的系统性的评估方案。

发明内容

本申请的发明人的研究显示，当包含多个帧的视频序列中的一个或多个连续帧丢失，并且在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替，所述失真的视频序列的质量将主要受下面三个参数的影响：与在所述时间段内所述其前紧邻帧的稳定性相关的参数、与所述其前紧邻帧和其后紧邻帧之间的连续性相关的参数和与所述视频序列的相干运动（coherent motion）相关的参数。

考虑到上述发现，本发明提供了一种用于根据上述三个参数测量由于丢帧而造成失真的视频序列的视频质量的方法和装置。

本发明的一个方面提供了一种用于测量包括多个帧的视频序列的质量的方法，所述视频序列中一个或多个连续帧丢失，并且在所述视频序列的显示过程中，在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替所述一个或多个丢失的帧。所述方法包括：根据与在所述时间段内所述其前紧邻帧的稳定性相关的第一参数、与所述其前紧邻帧和其后紧邻帧之间的连续性相关的第二参数和与所述视频序列的相干运动相关的第三参数测量所述视频序列的质量。

本发明的另一个方面提供了一种用于测量包括多个帧的视频序列的质量的装置，所述视频序列中一个或多个连续帧丢失，并且在所述视频序列的显示过程中，在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替所述一个或多个丢失的帧。所述装置包括：用于获得与在所述时间段内所述其前紧邻帧的稳定性相关的第一参数的第一测量单元；用于获得与所述其前紧邻帧和其后紧邻帧之间的连续性相关的第二参数的第二测量单元；用于获得与所述视频序列的相干运动相关的第三参数的第三测量单元；和根据所述第一参数、第二参数和第三参数测量所述视频序列的质量结果的组合单元。

本发明的实施方式披露于权利要求、说明书及其附图中。

附图说明

下面将结合附图对本发明的实施方式进行详细说明，其中：

图1是显示由丢帧（例如弃帧）造成的可感知抖动的示意图；

图2是根据本发明的实施方式的用于测量由于丢帧造成失真的视频序列的可感知抖动的方法的流程图；

图3是根据本发明的实施方式的用于测量由于丢帧造成失真的视频序列的可感知抖动的装置的高层框图；和

图4是用于对视频质量进行主观测试的软件工具的界面示意图。

具体实施方式

下面将参照视频流系统对本发明的实施方式进行说明。根据本实施方式，视频序列中的一个或多个连续帧在流处理过程中被丢失并且在显示过程在正确接收到视频序列中的后续帧之前用最后一个正确接收的帧代替，视频序列的可感知抖动收到下面三个方面因素的影响：

1）定帧（frame freeze）：当一个或多个连续帧丢失时由于最后一个正确接收到的帧在从显示最后一个接收到的帧到显示后续帧之间的时间段内保持静止/固定而导致的效应。

2）运动中断（motion discontinuity）：由于最后一个正确接收到的帧与后续帧之间在上述时间段内的不连续性而造成的物体运动变得中断的效应。例如，当观看者正在关注视频中的篮球，则运动中断是指该篮球在出现较短时间后突然出现在另一位置。

3）心理急动（psychological jerk）：由相干运动（特别是摄像机运动）造成的效应。具体而言，当在快速平移（fast panning）情况下一个或多个连续帧丢失时，观看者的感知将极大地降低，这是因为其眼睛和大脑对于发生的大量心理行动变得厌倦。

考虑到上述情况，本发明的实施方式提议根据与上述三种效应相关的三个参数对视频序列的质量进行测量。

本发明的实施方式的一个方面提供了一种用于测量由于丢帧造成失真的视频序列的可感知抖动的方法。

图2是根据本发明的实施方式的用于测量由于丢帧造成失真的视频序列的可感知抖动的方法的流程图。

如图2所示，所述方法包括下述步骤：

S201：估计丢帧造成失真的视频序列的定帧；

S202：估计丢帧造成失真的视频序列的运动中断；

S203：估计丢帧造成失真的视频序列的心理急动；

S204：通过组合上述三个步骤的结果测量视频序列的可感知抖动。

根据一个改变的实施例，步骤S204中可以结合所述三个结果中选出的两个结果，而不是所有三个结果。

本发明的实施方式的另一个方面提供了一种用于测量由于丢帧造成失真的视频序列的可感知抖动的装置。

根据本发明的实施方式，首先通过该装置对上述三种效应中的每一个进行估计，然后通过组合三个结果获得可感知抖动的总体测量结果。

图3是根据本发明的实施方式的用于测量由于丢帧造成失真的视频序列的可感知抖动的装置300的高层框图。如图3所示，装置300的输入是具有一个或多个连续帧丢失的失真视频序列，其输出是表示该失真视频序列中由一个或多个连续帧丢失造成的质量降低（在本实施例中为可感知抖动）等级的数值。

装置300包括：定帧估计模块301，用于接收所述失真视频序列并估计所述定帧造成的视频序列的可感知抖动；运动中断估计模块302，用于接收所述失真视频序列并估计所述运动中断造成的视频序列的可感知抖动；心理急动估计模块303，用于接收所述失真视频序列并估计所述心理急动造成的视频序列的可感知抖动；和组合模块304，用于从模块302、302和303接收输出并将所述输出结合出纳岗位由于丢帧造成的总体可感知抖动测量结果。

下面将对装置300的运转进行详细说明。

首先将进行一些定义。

在下面对于实施方式的说明中，用v={f₁，f₂，...，f_N}表示原始视频序列。假设帧f_k+1，f_k+2，...，f_m-1在传输过程中丢失，用V′={f₁′，f₂′，...，f_N′》表示流视频序列/失真视频序列。

其中：

\{\begin{matrix} {f_{i}}^{'} = f_{k} & k + 1 \leq i \leq m - 1 \\ {f_{i}}^{'} = f_{i} & otherwise \end{matrix}

简言之，装置300用于估计当原始视频序列的m-k-1个帧丢失时失真视频序列中帧f_k′与f_m'之间的时间质量降低的等级。

在下面的说明中，假设帧速率为FPS，并且T=(m-k)/FPS表示f_k′和f_m′之间显示的内容保持静止的时间段。MV_i，x，y表示视频序列V的第i个帧的编号为(x，y)的宏块的运动矢量。

1.定帧估计模块301

根据本发明的实施方式，定帧估计模块301可以通过下述公式（1）测量由定帧造成的视频可感知抖动：

D_F=g₁(MV_k)×g₂(T) (1)

可以理解，观看者无法识别出运动非常慢的极稳定视频序列中的定帧。在上述公式（1）中，g₁(MV_k)用于表示这种情况，其中MV_k是视频序列V的第k个帧的运动矢量的测量值。

g_{1} (M V_{k}) = \{\begin{matrix} 0 & M V_{k} < c_{1} \\ 1 & otherwise \end{matrix}

在公式1中，g₂(T)用于表示定帧T的时间段，是用于由定帧造成的可识别效应的评估的重要参数。

g_{2} (T) = \{\begin{matrix} 0 & T < c_{2} \\ \frac{T - c_{2}}{c_{3} - c_{2}} & c_{2} \leq T \leq c_{3} \\ 1 & T > c_{3} \end{matrix}

如上所示，如果时间段小于常数(T＜c₂)，人的大脑将试图把定帧之前和之后的图像联系起来，从而将该时间段理解为连续运动。在这种情况下，观看者将意识不到定帧。

2.运动中断估计模块302

在视频浏览中，观看者的眼睛运动主要可以分解为三种类型：扫视（saccade）、注视（fixation）和平稳追视（smooth pursuit）。扫视是非常迅速的眼睛运动，使用户可以在视野中探寻。注视是当眼球凝视在视野的特定区域时的残余运动。平稳追视是眼睛平稳地跟踪移动物体图像的能力。

观看者主要从注视/平稳追视阶段获取信息。在这些阶段，人的眼睛关注于相关物体的小的区域。当发生丢帧时，人的眼睛在接收到正确传输的新帧之前一直保持静止。因此可以理解，当前关注区域的像素值差异越大，越容易注意到运动中断。

根据上述解释，运动中断估计模块302可以通过下列公式（2）估计由运动中断造成的可感知抖动。

D_{D} = \frac{1}{255} \sqrt{\frac{Σ_{i} {(p_{i, m} - p_{i, k})}^{2}}{N}} - - - (2) (2)

其中N是像素数，p_i，j表示帧f_j′中第i个像素的像素值。

3.心理急动估计模块303

与由于物体运动造成的运动中断效应不同，心理急动是由全局摄像机运动造成的。

如上结合附图1所述，当时间B0与B之间的帧丢失时，时间B0的帧将保持静止，直至在时间B接收到新帧。但是，观看者所感知的与此并不完全相似。当视频内容在时间B0突然变得静止时，观看者的大脑将试图以时间B0之前的速度解释物体运动并将时间B0和B的内容自然地联系在一起。当时间B0和B之间的时间段很短时，根据“似动理论（apparent movement theory）”，人的大脑可以成功做到。否则大脑将无法实现这一点。在这种情况下无论人的大脑能够实现上述联系，都会产生许多心理活动。

当视频序列中由于全局摄像机运动产生丢帧时，视频序列的每个像素将都需要此种类型的心理活动。结果，当依赖于这种伪像时，观看者很容易感到疲劳和不愉快。在本发明中将这种效应称为“心理急动”并根据摄像机运动的等级进行估计。

文件4说明了一种所谓的8参数运动模型，可以用于上述的全局运动估计中。

x′_i=(a₀+a₂x_i+a₃y_i)/(T+a₆x_i+a₇y_i)

y′_i=(a₁+a₄x_i+a₅y_i)/(1+a₆x_i+a₇y_i)

其中(a₀，...，a₇)是全局运动参数，(x_i，y_i)表示当前帧中第i个像素的空间坐标，(x′_i，y′_i)表示先前帧中对应像素的坐标。运动模型参数与符号等级的解释之间的关系如下：

Pan=a₀

Tilt=a₁

Zoom=(a₂+a₅)/2

采用上述算法，心理急动估计模块303可以通过下述公式（3）估计由于定帧导致的视频可感知抖动：

D_{p} = \frac{1}{c_{4}} (β_{1} \times Pan + β_{2} \times Tilt + β_{3} \times Zoom) - - - (3)

其中c₄是用于将所述值规格化至[0，1]范围的系数。

对于不同的摄像机操作（平移（Pan）、翻转（Tilt）、变焦（Zoom））可以采用不同的权重系数，因为这些操作对于可感知抖动具有不同的影响。

4.组合模块304

组合模块304将模块301、302和303的输出组合以获得可感知抖动的总体测量结果。

例如，组合模块304可以采用线性组合获取可感知抖动的总体测量结果。下述公式（4）说明了线性组合：

l₁=k_1×D_F+k₂×D_D+k₃×D_p (4)

其中通过试验确定三个系数k₁，k₂和k₃。

通过主观试验描述收集数据集D_S＝{s_i|i＝1，2，...，M}。数据集中的每个采样s_i是传输的具有丢帧的视频镜头。D_F(i)、D_D(i)和D_P(i)分别表示s_i的定帧、运动中断和心理急动的可感知感觉估计。假设J₁(i)表示根据公式（4）的采样s_i的可感知抖动的客观估计，J_s(i)表示采样s_i的可感知抖动的主观评分。则可以通过下面的公式确定系数k₁，k₂和k₃：

\min_{k_{1} k_{2} k_{3}} Σ_{i} {(k_{1} \times D_{F} (i) + k_{2} \times D_{D} (i) + k_{3} \times D_{P} (i) - J_{s} (i))}^{2}

可选择地，也可以采用机器学习获得可感知抖动的总体测量结果。即，假设D_F、D_D和D_P是提取的特征，则可感知抖动的总体估计结果是机器输出。在这种情况下，可以采用如下所示人工神经网络（artificial neutral network）作为图3中所示的训练机器305。

J₂=ANN(D_F，D_D，D_p) (5)

在组合模块304，需要一些系数作为观看者对于定帧、运动中断和心理急动的不同灵敏度的加权值。通过在上述数据集上的训练提供这些系数的缺省数值集。但是，对于不同人和不同的应用场景可以修改这些数值。

图4是用于对视频质量进行主观测试的软件工具的界面示意图。如图4 所示，视频序列的随机镜头显示时在序列的随机位置具有随机长度的丢帧。

观看者被要求如下所述标出对于抖动的感知：

0－没有可感知的质量降低

1－质量降低可以被注意到，但不非常烦人

2－明显的质量降低，非常烦人

用J_s表示主观评分。所有具有标出的评分的序列组成数据集DS。

下面将说明用于主观试验的参数设置。

在试验中，通过试验确定常数：β₁=β₂=1，β₃=2；c₁=1;c₂＝1/15(s)，c₃=1/3(5)。

根据主观测试为公式J₁中的k₁，k₂和k₃的每一个以及公式J₂中的训练机器参数赋值为缺省值。但是，定帧、运动中断和心理急动的可感知感觉有可能完全不同并且互不相关。即，某些人可能对心理急动非常敏感，而另外的人可能不喜欢其注意的物体上的运动中断。因此，定帧、运动中断和信息急动的可感知感觉对于可感知抖动的总体估计值的贡献可能在不同的应用场景和对于不同的人完全不同。出于灵活性的目的，以平均方式为这些参数提供配置。但是这些数值设置是可以改变的。

如上所述，组合模块304可以采用线性组合或机器学习来获得可感知抖动的总体估计结果。通过将客观估计结果（J₁/J₂）与主观评分J_s进行比较来测量上述两种方式的预测精度。可以采用皮尔逊相关进行这种预测精度测量。

下面的表格给出了本发明的皮尔逊相关以及文件3中提出的方法的预测精度。所述预测精度是通过（两个观看者）的200个采样测试得出的。

文件3提出的方法	0.52
		本发明的J₁	0.70
本发明的J₂	0.73

“跳跃暂停（Pausing with skipping）”是在不稳定网络条件下的一种常用播放模式，其定义为视频暂停一段时间并随后带着视频信息的某些丢失重新播放的事件。跳跃暂停的一个例子是一对IP视频电话，其中繁忙的网络流量使IP视频电话的显示短暂静止，并且当IP视频电话继续显示时某些内容丢失。另外的一个例子是进行恒定或变化的跳帧的视频会议系统。处理后的包含由跳帧产生的停顿的视频序列将与相关原始视频序列具有相同期间[根据VQEG的MM测试]。

本发明提出的可感知抖动测量方法和装置可以直接用于估计任何“跳跃暂停”所引入的质量降低。

本发明提出的算法还有助于在带宽限制条件下适应性地选择丢弃的帧而同时使引入的质量降低最小化。通过将丢帧数设置为常数，可以测量视频序列中每个帧的时间重要性。

上面对本发明的实施方式进行了说明，但本领域普通技术人员可以在本发明的原理和范围内做出很多修改。

说明书及其附图和权利要求中公开的每个特征都可以单独或以任何适当的形式组合。所述特征可以用硬件、软件及其组合来实施。权利要求书中的附图标记用于说明的目的，不限定权利要求的范围。

文件1：Y.N.Qi,M.Y.Dai,“The Effect of Frame Freezing and Frame Skipping on Video Quality”,2006International Conference on Intelligent Information Hiding and Multimedia,pp.423-426.（《视频质量的的定帧和跳帧效应》，2006年世界智能信息隐蔽和多媒体大会）

文件2：M.Ghanbari,Q.Huynh-Thu,“Impact of Jitter and Jerkiness on Perceived Video Quality”,2nd International Workshop on Video Processing and Quality Metrics for Consumer Electronics,Scottsdale,USA,22-24,Jan.2006.（《抖动和急动对可感知视频质量的影响》，第二届消费电子视频处理和质量度量国际研讨会）

文件3：K.C.Yang,C.C.Guest,K.El-Maleh,P.K.Das,“Perceptual Temporal Quality Metric for Compressed Video”,IEEE Transaction on Multimedia,Vol.9,No.7,Nov.2007,pp.1528-1535.（《压缩视频的可感知时间质量度量》，IEEE多媒体学报）

文件4：L.Y.Duan,J.Q.Wang et al.,“Shot-Level Camera Motion Estimation based on a Parametric Model”.（《基于参数模型的拍摄等级摄像机运动估计》）。

Claims

1.一种用于测量包括多个帧的视频序列的质量的方法，所述视频序列中一个或多个连续帧丢失，并且在所述视频序列的显示过程中，在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替所述一个或多个丢失的帧，其特征在于，所述方法包括：

根据与在所述时间段内所述其前紧邻帧的稳定性相关的第一参数（D_F）、与所述其前紧邻帧和其后紧邻帧之间的连续性相关的第二参数（D_D）和与所述视频序列的相干运动相关的第三参数（D_P）测量所述视频序列的质量。

2.根据权利要求1所述的方法，其中根据所述第一参数（D_F）、第二参数（D_D）和第三参数（D_P）的线性组合（K₁xD_F+K₂xD_D+K₃xD_P）测量所述视频序列的质量，其中通过试验获得所述线性组合的系数（K₁、K₂和K₃）。

3.根据权利要求1所述的方法，其中根据所述第一参数（D_F）、第二参数（D_D）和第三参数（D_P）的机器学习测量所述视频序列的质量。

4.根据权利要求1－3中任一所述的方法，其中根据所述其前紧邻帧的运动矢量和所述时间段的长度确定所述第一参数（D_F）。

5.根据权利要求1－3中任一所述的方法，其中根据所述其前紧邻帧和所述其后紧邻帧的像素值和像素数确定所述第二参数（D_D）。

6.根据权利要求1－3中任一所述的方法，其中所述相干运动是通过摄像机产生所述视频序列的过程中的摄像机运动。

7.根据权利要求6所述的方法，其中所述摄像机运动包括在产生所述视频序列过程中摄像机的平移、翻转和变焦操作。

8.一种用于测量包括多个帧的视频序列的质量的装置（300），所述视频序列中一个或多个连续帧丢失，并且在所述视频序列的显示过程中，在从显示所述一个或多个丢失的帧的其前紧邻帧到显示其后紧邻帧的时间段内用所述视频序列中其前紧邻帧代替所述一个或多个丢失的帧，其特征在于，所述装置（300）包括：

第一测量单元（301），用于获得与在所述时间段内所述其前紧邻帧的稳定性相关的第一参数（D_F）；

第二测量单元（302），用于获得与所述其前紧邻帧和其后紧邻帧之间的连续性相关的第二参数（D_D）；

第三测量单元（303），用于获得与所述视频序列的相干运动相关的第三参数（D_P）；和

组合单元（304），根据所述第一参数（D_F）、第二参数（D_D）和第三参数（D_P）测量所述视频序列的质量结果。

9.根据权利要求8所述的装置（300），其中所述组合单元（304）根据所述第一参数（D_F）、第二参数（D_D）和第三参数（D_P）的线性组合（K₁xD_F+K₂xD_D+K₃xD_P）测量所述视频序列的质量，其中通过试验获得所述线性组合的系数（K₁、K₂和K₃）。

10.根据权利要求8所述的装置（300），其中所述组合单元（304）根据训练机器（305）对所述第一参数（D_F）、第二参数（D_D）和第三参数（D_P）的机器学习测量所述视频序列的质量。