CN110853027A

CN110853027A - 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法

Info

Publication number: CN110853027A
Application number: CN201911124950.4A
Authority: CN
Inventors: 方玉明; 姚怡茹; 鄢杰斌
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2020-02-28

Abstract

本发明涉及一种基于局部变动和全局变化的三维合成图像无参考质量评价方法，其特征在于：首先，对于局部变动检测，利用高斯导数提取合成图像的结构和颜色特征；然后，基于结构特征和颜色特征使用局部二值模式进行编码，获得结构和颜色特征图，并对结构和颜色特征图进行计算得到结构特征和颜色特征，从而得到局部结构和颜色的失真信息；接着，对于全局变化检测，提取亮度特征评估三维合成图像的自然性；最后，基于上述提取的视觉特征，训练随机森林回归模型将提取的特征映射到主观质量评分。在三个公开的数据库上的实验结果显示，与现有的无参考图像质量评价方法和全参考三维合成图像质量评价方法相比，该方法表现出了良好的有效性和优越性。

Description

一种基于局部变动和全局变化的三维合成图像无参考质量评价方法

技术领域

本发明属于多媒体技术领域，具体属于数字图像和数字图像处理技术领域，具体涉及一种基于局部变动和全局变化的三维合成图像无参考质量评价方法。

背景技术

自由视角视频(FVV)和三维影视可以给人们带来身临其境的体验感，这其中的技术在过去几十年间都取得了学术界和工业界的大量关注。通常一个获得自由视角视频的方法是对同一场景用多台相机在不同的视角拍摄的不同的图像，然后将这些不同视角拍摄的图像拼接起来，通过这个方法，使用者们在观看自由视角视频时可以自由改变他们的视角。随着对更好体验感的需求增加，自由视角视频中的视角数量持续增长，存储和传输的负载也同时增加。为了解决这个问题，多视角视频加深(MVD)技术取得了一定的发展。

多视角视频加深技术仅需要原始的视角图和其他相机的深度图，剩下的虚拟视角可以通过基于渲染的加深图片技术(DIBR)产生。然而，DIBR的过程会造成新的视觉失真，比如模糊，不连续，块效应和图像拉伸等等，这些失真很明显是不同于像高斯模糊，高斯噪声和白噪声等等传统失真，这些产生的失真将会严重影响到最终使用者的体验感。因此，设计一种可靠有效的三维合成图像的质量评估方法对三维合成图像的视觉质量进行预测是很有必要的。在过去几年间，一些针对合成失真的质量评估方法已经提出，但这些方法的预测效果不够准确，因此，本发明提出一种基于局部变动和全局变化的三维合成图像质量评价方法，该方法能有效地对合成图像的视觉质量进行预测。

发明内容

为了实现上述目的，本发明采用的技术方案为：

一种基于局部变动和全局变化的三维合成图像无参考质量评价方法，其特征在于：包括以下几个步骤：

A.利用高斯导数提取合成图像的结构和颜色特征；

B.对得到的结构和颜色特征分别使用局部二值模式进行编码，获得结构和颜色特征图，并基于结构特征图和颜色特征图分别计算得到结构特征和颜色特征，从而得到局部结构和颜色的失真信息；

C.对于全局变化，提取亮度特征评估三维合成图像的自然性；

D.结合所提取的特征信息，使用随机森林回归模型学习视觉特征到主观质量分数的映射关系来预测三维合成图像的质量分数。

进一步地，使用高斯导数提取图像的结构特征和颜色特征。

进一步地，使用高斯导数提取图像的结构特征，其具体步骤是：

A.局部泰勒级数展开可以代表图像局部特征，通过局部高斯导数，可以获得局部泰勒级数的系数；一张图像的高斯导数可以定义如下：

其中，m≥0和n≥0是沿着水平x和垂直y方向的导数，符号*代表卷积操作；G^σ(x,y,σ)是高斯函数，其标准差为σ的定义如下：

B.使用二阶高斯导数提取结构特征，首先计算1≤m+n≤2的

通过计算高斯导数，所得矩阵

可以表示为：

进一步地，使用高斯导数提取图像的颜色特征，其具体步骤是：

A.在颜色通道的一阶高斯导数上采用不受亮度影响的两个颜色特征，其中一个颜色特征定义如下：

其中，

R,G，B在颜色空间中分别代表红、绿、蓝通道；另一个颜色特征

定义如下：

其中，R′、G′和B′分别表示水平方向上R，G和B通道的高斯一阶导数值，并且ρ＝2R′-G′-B′，δ＝2G′-R′-B′，τ＝2B′-R′-G′。

进一步地，对得到的结构和颜色特征分别使用局部二值模式获得结构和颜色特征图，以此计算质量特征从而得到局部结构和颜色的失真信息。

进一步地，利用局部二值模式方法获得结构图，得到局部结构的失真信息，其具体步骤是：

A.利用局部旋转不变的二值模式方法对

中每个像素进行操作，计算得出基于

绝对值的特征图谱

其计算公式如下：

其中，s∈{s₁,s₂,s₃,s₄,s₅}；LBP代表LBP操作；riu2代表旋转不变统一模式；D和E代表周围像素的数量和计算半径，周围像素点个数D设置为8,计算半径E为1；由此得到5个特征图谱，分别为

和

其中

描述了中心像素点和局部区域临近像素点之间的关系；

B.利用加权直方图表示局部结构失真信息，通过相同的局部二值模式算子对

的像素进行累加获得加权直方图，其定义公式如下：

其中，N代表图片像素的数量；K表示LBP的索引，K∈[0,D+2],是权值其值为特征图谱

汇总高斯导数来融合映射高斯导数中根据LBP图强度值的像素值，并且经过归一化操作得到特征向量，增强图片区域中高对比度的变化，以此反映局部结构失真信息。

进一步地，利用编码获得色度图，得到局部色度的失真信息；其中，

A.使用局部二值模型得到特征向量：在提取的颜色特征x₁上进行LBP^riu2操作获得特征图

然后将特征图转变成特征向量，其定义公式如下：

其中，

是由局部二值模式算子得到的权值,其值为特征图

B.利用加权直方图表示局部色度信息：在提取的颜色特征x₂上进行LBP^riu2操作获得特征图

然后x₂的加权直方图计算定义如下：

其中，权值

为特征图谱

最后，表示图像彩色信息的单一特征向量由如下公式计算：

进一步地，对于全局变化，通过提取亮度特征评估三维合成图像的自然性：其中，

A.使用高斯分布拟合亮度系数，亮度系数(L^′)定义如下：

其中，(i,j)代表了像素的空间位置，并且i∈{1,2,…,a},j∈{1,2,…,b},其中a和b分别代表图像的高度和宽度，μ(i,j)和σ(i,j)定义如下：

其中，ω是一个二维的中心对称高斯权重函数，ω＝{ω_a,b|a∈[-3,3],b∈[-3,3]}；

然后使用一个零均值广义高斯分布拟合亮度参数L′(i,j)，其定义公式如下：

其中，

并且

其中参数α控制分布的形状，σ控制方差；

B.随后，在合成图像的5个尺度上计算包括广义高斯分布的形状参数和方差以及亮度系数的峰度和偏度4个参数，产生总共20维特征；此外，通过合成图像与它低通滤波后的图像之间的差异所计算得出一个拉普拉斯金字塔图像，使用广义高斯分布模型来拟合在拉普拉斯金字塔图中的像素值得到形状系数和方差，计算拉普拉斯金字塔图的峰度和偏度，并从五个尺度中提取这四个参数，产生总共20维特征。

进一步地，使用随机森林回归方法训练质量预测模型，其中，

A.特征信息的选取，通过局部特征和全局特征，获得总共一个310维度的特征向量，包含了270维度的局部变动的特征和40维度全局自然性特征；

B.使用随机森林回归方法训练视觉质量预测模型，将质量特征映射到主观评价中来。将三维合成视图质量数据库随意划分为训练集和测试集进行1000次训练，最后使用皮尔斯线性相关系数均值(PLCC)、斯皮尓曼等级相关系数(SRCC)、肯德尔等级相关系数(KRCC)和均方根误差(RMSE)作为最终的结果。

附图说明

图1为本发明的算法框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。

受到提出局部和全局分布的三维合成图像降解和人类视觉系统对结构、颜色信息和全局自然改变十分敏感的启发，本发明设计了一种新颖有效的基于局部变动和全局变化的三维合成视图无参考质量评价方法(LVGC)，可以有效提高对三维合成图像质量评价的效果，所用的视觉特征包括结构特征、色度特征、图像自然性、回归预测。

本发明各个部分的具体操作如下：

(1)结构特征提取：

研究显示，局部泰勒级数展开可以代表图片局部特征并且局部泰勒级数的系数可以通过局部高斯分布得到，一张图像的高斯分布可以定义为：

其中m≥0和n≥0是沿着水平(定义为x)和垂直(定义为y)方向的导数，特别地，符号*代表卷积操作，G^σ(x,y,σ)是高斯函数，并且它的正偏差σ的定义如下：

受到其他研究的启发，本发明应用了二阶高斯导数来提取结构特征；首先在1≤m+n≤2下计算得到

通过计算高斯导数，矩阵

可以表示为：

随后，利用局部均匀旋转不变的二值模式算子(ULBP)对

中每个像素进行操作实现旋转不变性，可以计算得出基于

绝对值的特征图谱

其计算公式如下：

其中，s∈{s₁,s₂,s₃,s₄,s₅}；LBP代表LBP操作；riu2代表旋转不变均匀模式；D和E代表周围像素的数量和邻近半径。特别地，将周围像素点D个数设置为8，临近半径E设置为1，得到5个特征图谱(分别为

和

)，其中

描述了中心像素点和局部区域临近像素点之间的关系，并且这个局部细节可以有效地捕捉到由于不同失真类型而造成的复杂降解。

尽管局部二值模式可以检测中心像素和它临近像素之间的不同，但是它不能准确地捕获梯度信息，它编码了临近像素的区别，这样会削弱局部二值模式区分局部变异的能力。这点十分关键，局部对比度的改变对评估图片视觉质量时会产生很大的影响。众所周知，对比度变换是与图片视觉质量高度相关的。因此，本发明通过相同的局部二值模式算子来累加的像素从而获得加权直方图，定义如下：

其中，N代表图片像素的数量；K表示LBP的索引，K∈[0,D+2],并且

为权值，其值为特征图谱

本发明运用高斯导数汇总融合映射高斯导数中图强度的像素值，并且经过归一化操作得到特征向量；经过这些操作，可以增强图片区域中高对比度的变化。

(2)颜色特征提取：

为了提取颜色特征，本发明在一阶高斯导数的色度通道上采用了两个不受亮度影响的颜色亮度；实验证实，颜色的一阶高斯导数信息可以用来感知局部结构的退化，其中一个颜色特征可以被定义为：

其中，R、G、B在颜色空间中分别代表红、绿、蓝通道。然后，在x₁上进行LBP^riu2操作提取特征图谱

然后将特征图转变成特征向量，计算公式定义如下：

其中，

是权值，其值为特征图谱

另外一个特征为

其定义如下：

其中，R′、G′和B′分别表示水平方向上R、G、B通道的高斯一阶导数值，并且ρ＝2R′-G′-B′，δ＝2G′-R′-B′，τ＝2B′-R′-G′。然后，将

操作应用于x₂计算得到特征图谱

权重直方图计算如下：

其中，

是被定义为

的权重，计算公式如下：

颜色特征对于亮度和与亮度有关的场景信息影响比如阴影是不改变的，因此，由于不受光照的影响，它们可以表征强大的结构信息；不仅如此，由单一因素(比如模糊因素)造成的图像失真会损坏图像的结构，但是它们不一定与亮度相联的影响相关。

(3)图像自然性表征：

三维合成图像的亮度失真可能会影响自然性，一个高清三维合成图像应该带有自然图片的自然特征。因此，本发明运用基于亮度的质量特征来评定三维合成图像的自然性，考虑到自然图片的亮度参数会遵循一个高斯分布，使用了亮度系数来计算合成图像的自然性；亮度参数(L′)定义如下：

其中，(i,j)代表了空间索引，并且i∈{1,2,…,a},j∈{1,2,…,b},其中a和b分别代表图像的高度和宽度。

特别地，μ(i,j)和σ(i,j)定义如下：

其中，ω是经过三个标准偏差采样并重新缩放到单位量的2D中心对称高斯权重函数，ω＝{ω_a,b|a∈[-3,3],b∈[-3,3]}。

亮度参数L′(i,j)用一个零均值广义高斯分布拟合，公式定义如下：

其中，

并且

参数α控制分布的一般形状，σ控制方差，两个参数(α，σ²)通过这个模型得到评估；并且亮度系数的峰度和偏度由来自5个以上的经典分布计算得出，产生了总共20个特征。

然后，通过合成图像与它低通滤波后的版本之间的区别所计算得到一个拉普拉斯金字塔图，使用一个广义高斯分布模型来拟合在拉普拉斯金字塔图中的像素值分布，以拉普拉斯金字塔图的峰度和偏度作为特征，本发明从五个级度中提取质量意识特征，总共产生了20个特征。

(4)回归模型和质量预测：

研究表明在感知视觉信息时，多尺度性质存在于人类视觉系统中，因此提取在多尺度上提取图片的视觉特征可以进行更好表征。通过局部特征和全局特征表示该模型，本发明可以总共获得一个310维度的特征向量，包含了270维度的局部变动的特征和40维度全局自然性特征；然后，使用随机森林方法训练视觉质量预测模型，这样可以将质量特征映射到主观评价中来；通过随意划分数据库：80％的图像样本和对应的主观评价分数在数据库中被用于训练，余下的20％用于测试；最后汇总了皮尔斯线性相关系数均值(PLCC)，斯皮尓曼等级相关系数(SRCC)，肯德尔等级相关系数(KRCC)和均方根误差(RMSE)作为最终的结果。

本发明的过程如图1所示，具体过程如下：

步骤1：使用高斯导数提取结构和颜色特征；

步骤2：使用局部二值模式来编码结构和颜色特征图谱，用来计算质量意识特征从而得到局部结构化和颜色的失真；

步骤3：过全局改变提取亮度特征用以评估三维合成图像的自然性；

步骤4：基于上述提取的特征信息，使用随机森林回归从视觉特征到主观评分映射来训练质量预测模型。

使用皮尔斯线性相关系数均值(PLCC)，斯皮尓曼等级相关系数(SRCC)，肯德尔相关系数(KRCC)和均方根误差(RMSE)作为最终的比较结果。通常来说，越高的PLCC和SRCC与越低的RMSE值代表了算法有更好的表现，即算法有着更佳的算法预测精准度。为了验证本发明提出的算法的性能，将算法与现有的有参考、无参考质量评价方法在三个公开数据库MCL-3D、IRCCyN/IVC、IETR-DIBR进行比较，比较的评价方法包括PSNR,SSIM,BRISQUE,NIQE,BIQI,NRSL,CM-LOG,MP-PSNRr,MW-PSNR,MW-PSNRr,LOGS,Ref,APT和NIQSV+；前七种方法是针对自然图片的质量评价方法，后七种是特别针对合成视角设计的质量评价方法。

MCL-3D数据库包含了从九个深度图像信息源中挑选的693张立体的图片组。IRCCyN/IVC DIBR数据库由三个MVD序列中挑选而出的12张参考图片和通过7种不同的DIBR技术产生的84张合成图片组成。IETR DIBR数据库由10个MVD序列和7个最新的DIBR技术产生的150合成图片构成，与RCCyN/IVC DIBR数据库相似，IETR DIBR也主要关注渲染失真。

表1：本发明与现存全参考方法的比较

表1为提出的方法与现存全参考方法的比较，从这些比较中，本发明提出的无参考方法表现效果更好。

表2：本发明与现存无参考方法的比较

表2为提出的方法与现存无参考方法的比价，从这些比较中，本发明提出的无参考方法在所测试的数据库上表现更好。

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。