CN104994375A - 一种基于立体视觉显著性的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉显著性的立体图像质量客观评价方法，所述立体图像质量客观评价方法包括以下步骤：通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图；根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；通过所述立体视觉显著图对所述立体图像综合质量图进行加权求和，获取失真立体图像质量客观评价值。本方法在立体图像质量客观评价方面整体性能优于现有技术中的算法，具有实际可行性，获取到了较高的立体图像质量客观评价指标，满足了实际应用中的多种需要。

Description

一种基于立体视觉显著性的立体图像质量客观评价方法

技术领域

本发明涉及立体图像领域，尤其涉及一种基于立体视觉显著性的立体图像质量客观评价方法。

背景技术

近年来，立体图像处理技术在娱乐行业和科学领域的应用越来越广泛，与平面图像带给人的视觉感受不同，立体图像为人们提供更加真实的立体视觉感受。但是立体图像在采集、压缩、储存、运输和显示等过程中会产生各种失真，影响人们的立体视觉感受。立体图像质量作为立体图像的固有属性是评判立体图像失真的一个重要指标。虽然主观质量评价方法的准确性较高，但是具有费时费力且成本较高的缺陷，因此建立一个能够准确高效模拟人眼主观评价结果的立体图像质量客观评价算法具有重要的意义。

经过多年的研究，国内外研究者已提出了许多立体图像质量客观评价算法。最初，将均方误差(Mean Squared Error,MSE)、峰值信噪比(Peak Signal Noise Ratio,PSNR)、结构相似度(Structural Similarity,SSIM)[1]等一些经典的平面图像质量评价算法直接应用于立体图像的左右视点，通过加权左右图像质量得到立体图像质量客观评价值[2]。文献[3]和文献[4]考虑深度感知对立体图像质量评价的影响，将2D评价方法融合立体图像的差异信息或深度信息进行立体图像质量评价。

目前，研究者已将一些容易建模的人眼视觉特性，例如：亮度幅度非线性特性、多通道特性、对比度敏感度特性和掩盖效应等，用于立体图像质量客观评价算法中。随着各研究领域对人类视觉系统的认识逐渐加深，客观评价模型中融入更加复杂和高级的人眼视觉特性成为了必然的发展方向。视觉显著性作为一种人类视觉系统高级特性，是指人眼对图像不同区域分配的注意力强度不同。显著区域是人眼比较容易关注的区域，所以观看失真立体图像时，显著区域出现的失真对人眼的视觉感受影响更大。视觉显著图为立体图像质量客观评价提供了重要依据，文献[5-8]将视觉显著性的影响用到立体图像质量客观评价算法中。文献[6]结合立体显著性和SSIM算法[1]对绘制图像进行质量评价。文献[7]将相位一致性图和显著图作为失真立体图像的特征，使用局部匹配函数加权两个特征图的差异以计算左右视点间的相关性，进行立体图像质量经验值评价。文献[8]使用SSIM算法得到原始与失真立体图像的合成图像的结构相似度图，将其与立体显著图融合得到立体图像质量评价指标。文献[9]将原始和失真立体图像左右视图和其显著图结合，确定原始、失真立体图像左右视图的选择性显著图；然后对选择性显著图采用SSIM算法来获取显著结构相似度图，通过给其边缘区域、平滑区域和纹理区域的分配不同的权值来获取单视图的客观评价值；最后，加权平均左右视图的客观评价值得到立体图像质量客观评价值。文献[5][7]提取立体显著图时使用原始立体图像的视差图，忽略了失真立体图像的深度信息失真对失真立体图像的立体显著图检测的影响。

但是上述方法没有考虑人眼的其它视觉特性和深度信息对立体图像质量评价的影响，导致客观评价值不能有效的反映主观评价结果。

发明内容

本发明提供了一种基于立体视觉显著性的立体图像质量客观评价方法，本发明根据融合立体视觉显著图和立体图像综合质量图，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型，详见下文描述：

一种基于立体视觉显著性的立体图像质量客观评价方法，所述立体图像质量客观评价方法包括以下步骤：

通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图；

根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；

通过所述立体视觉显著图对所述立体图像综合质量图进行加权求和，获取失真立体图像质量客观评价值。

其中，在所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图的步骤之前，所述立体图像质量客观评价方法还包括以下步骤：

通过模拟视觉显著性，获取失真立体图像的立体视觉显著图。

其中，所述通过模拟视觉显著性，获取失真立体图像的立体视觉显著图的步骤具体为：

将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，划分为不重叠的图像块，对图像块进行离散余弦变换；

将亮度对比度特征显著图、色度对比度特征显著图、纹理对比度特征显著图和失真立体图像的绝对差值图进行归一化，通过将归一化后的这些图线性组合获取失真立体图像的立体视觉显著图。

其中，所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图的步骤具体为：

模拟中央偏移因子，对立体视觉显著图进行初步优化；

模拟中心凹特性，对初步优化后的立体视觉显著图进行最终优化。

其中，所述根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图的步骤具体为：

提取失真立体图像右视图的相位相似度；

提取失真立体图像右视图的梯度相似度；

分别提取失真立体图像右视图的色度的相似度；

计算原始立体图像右视图和失真立体图像右视图之间的相似度；

计算失真立体图像左视图的相似度，将失真立体图像右视图的相似度、左视图的相似度图使用平均值法得到失真立体图像质量图；

对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度算法，提取失真立体图像的绝对差值图的质量图；

将失真立体图像质量图与绝对差值图的质量图融合，得到立体图像综合质量图。

本发明提供的技术方案的有益效果是：本方法在初始立体显著图的基础上，采用中央偏移与中心凹特性得到最优立体视觉显著图，更好地模拟了人类视觉系统提取显著区域的视觉过程。然后将立体视觉显著图和立体图像质量图加权相乘并归一化，获取立体图像客观评价值。与其它三种算法相比较，本算法避免了对整幅图像不同区域采用同等权重的缺陷。通过实验验证表明，本方法在立体图像质量客观评价方面整体性能优于3SIQA[8]算法、DSSIM[3]算法和SSIM[1]算法，具有实际可行性。

附图说明

图1为源图像“tree2”的示意图；

图2为源图像“girl”的示意图；

图3为源图像“tree1”的示意图；

图4为源图像“tju”的示意图；

图5为源图像“family”的示意图；

图6为降质图像“river”的示意图；

图7为源图像“ox”的示意图；

图8为源图像“woman”的示意图；

图9为基于立体视觉显著性的立体图像质量评价方法框图；

图10为原始显著图、结合两种影响因素的显著图对比图；

(a)为失真立体图像右视图；(b)为优化前的立体显著图SM1；(c)为经中央偏移优化后的立体显著图SM'；(d)为SM'经中心凹优化后的立体显著图SM。

图11为基于立体视觉显著性的立体图像质量客观评价方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决背景技术中存在的问题，本发明旨在首先通过模拟视觉显著性以初步确定失真立体图像的立体视觉显著图，再通过模拟中央偏移和中心凹特性对初步确定的立体视觉显著图进行优化，提取较准确的立体视觉显著图；其次，融合左、右视图的质量图和绝对差值图的质量图得到立体图像综合质量图；最后，使用立体视觉显著图对立体图像综合质量图进行加权求和，得到失真立体图像质量的客观评价值，详见下文描述。

实施例1

一种基于立体视觉显著性的立体图像质量客观评价方法，参见图11，立体图像质量客观评价方法包括以下步骤：

101：通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图；

102：根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；

103：通过立体视觉显著图对立体图像综合质量图进行加权求和，获取失真立体图像质量客观评价值。

其中，在步骤101之前，该立体图像质量客观评价方法还包括：通过模拟视觉显著性，获取失真立体图像的立体视觉显著图，该步骤具体为：

将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，划分为不重叠的图像块，对图像块进行离散余弦变换(Discrete Cosine Transform，离散余弦)变换；

将亮度对比度特征显著图、色度对比度特征显著图、纹理对比度特征显著图和失真立体图像的绝对差值图进行归一化，获取失真立体图像的立体视觉显著图。

其中，步骤101中的通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图的步骤具体为：

模拟中央偏移因子，对立体视觉显著图进行初步优化；

模拟中心凹特性，对初步优化后的立体视觉显著图进行最终优化。

其中，步骤102中的根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图的步骤具体为：

提取失真立体图像右视图的相位相似度；

提取原始立体图像右视图、失真立体图像右视图的梯度相似度；

分别提取失真右视图的色度的相似度；

计算原始立体图像右视图和失真立体图像右视图之间的相似度；

计算失真立体图像左视图的相似度，将失真立体图像右视图的梯度相似度、左视图的相似度使用平均值法得到失真立体图像质量图；

对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度算法，提取失真立体图像的绝对差值图的质量图；

将失真立体图像质量图与绝对差值图的质量图融合，得到立体图像综合质量图。

综上所述，本方法通过步骤101-步骤103实现了对立体图像质量客观评价，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型，满足了实际应用中的多种需要。

实施例2

201：通过模拟视觉显著性，获取失真立体图像的立体视觉显著图；

本方法根据文献[9]，提取失真立体图像右视图的亮度对比度特征、色度对比度特征和纹理对比度特征。

(1)将失真立体图像右视图从RGB转换到YCbCr色彩空间，划分为不重叠的图像块，对图像块进行离散余弦变换；

将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，Y通道表示亮度信息，Cb和Cr通道表示色度信息；将失真立体图像右视图分成8*8不重叠的图像块，对图像块进行离散余弦(DCT)变换；用Y通道的直流(DC)系数L＝Y_DC表示亮度特征，Cb通道的直流(DC)系数Cb_DC、Cr通道的直流(DC)系数Cr_DC分别表示色度特征C₁和色度特征C₂，即C₁＝Cb_DC和C₂＝Cr_DC；用Y通道的前9个低频交流(AC)系数{Y_AC1,Y_AC2,...,Y_AC9}表示纹理特征T即T＝{Y_AC1,Y_AC2,...,Y_AC9}。

Y＝0.299R+0.578G+0.114B

Cr＝0.5R-0.4178G-0.0813B+128              (1)

Cb＝-0.1687R-0.3313G+0.5B+128

对图像块进行离散余弦变换的详细操作步骤为本领域技术人员所公知，例如，可以参见文献[10]中的变换方法，本发明实施例对此不做赘述。

(2)计算图像块i的显著值，得到亮度对比度特征显著图F^L、色度对比度特征显著图和纹理对比度特征显著图T；

该计算过程为本领域技术人员所公知，例如，可以参考文献[9]中的计算方法获取各个特征显著图，本发明实施例对此不做赘述。

(3)将特征显著图F^L、和T和失真立体图像的绝对差值图Δ进行归一化，利用公式(2)初步得到立体视觉显著图SM1：

$\mathrm{SM}1=(F^L{+F}^{C_1}+F^{C_2}+T+\mathrm{\Δ})/5---\left(2\right)$

其中，Δ＝|L-R|，L和R分别为失真立体图像的左视图和右视图。

202：通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图；

(1)模拟中央偏移因子，对立体视觉显著图进行初步优化；

$CB(i,j)=\exp \{-(\frac{{(i-i_0)}^2}{2{\mathrm{\σ}}_h^2}+\frac{{(j-j_0)}^2}{2{\mathrm{\σ}}_v^2})\}---\left(3\right)$

其中，CB(i,j)表示失真立体图像像素点(i,j)对其中心点(i₀,j₀)的偏移信息；(i₀,j₀)表示失真右视图的中心点坐标，(i,j)为像素点x坐标，σ_h和σ_v分别表示失真立体图像水平方向和垂直方向的标准差，定义为σ_h＝W/3,σ_v＝H/3，W和H表示失真立体图像的水平像素和垂直像素个数。

利用公式(4)对立体视觉显著图SM1进行初步优化：

SM'＝αSM1+(1-α)CB    (4)

其中，CB为公式(3)得到的中央偏移图，α为控制参数，定义为α＝0.7。

(2)模拟中心凹特性，对初步优化后的立体视觉显著图进行最终优化。

利用公式(5)模拟中心凹特性：

$C(f,e)=\frac{1}{C_0\exp \left(\mathrm{\δ}f\right(e_2+e)/e_2)}---\left(5\right)$

其中，e的单位为度(degree)；f是空间频率，其单位是周/度(cycle/degree)；C₀为对比度阈值；δ为空间频率衰减参数；e₂为半分辨率离心度常数。根据实验拟合结果[10]，取δ＝0.106，e₂＝2.3，C₀＝1/64。

用最大类间方差法确定阈值，将初步优化后的立体视觉显著图分为显著区域和非显著区域。假设任一像素坐标为(i₁,j₁),距其最近的显著像素点坐标为(i₂,j₂)，则视网膜离心度e：

$e={\tan }^{-1}\left(\frac{d}{Wv}\right)---\left(6\right)$

其中，v为观看距离，本方法取值为5(单位为图像宽度)，d为像素点(i₁,j₁)与像素点(i₂,j₂)的欧式距离： $d=\sqrt{{(i_1-i_2)}^2+{(j_1-j_2)}^2}.$

利用公式(7)对初步优化后的立体视觉显著图SM'优化，得到最终的立体视觉显著图SM，并将SM扩展到与失真立体图像右视图大小相同。

SM＝SM'×C(f,e)    (7)

203：根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；

本发明结合相位一致性特征、图像梯度特征和色度特征，在YIQ色彩空间分别对图像的亮度信息和色度信息独立进行处理，采用特征相似度算法[11]获取失真立体图像单视图的质量图。其中，Y代表图像的亮度信息，I和Q代表图像的色度信息，以右视图为例。

(1)提取失真立体图像右视图的相位相似度S_PC(x)；

即，利用Reter Kovesi[12]算法提取失真立体图像右视图在像素点x的相位一致性特征PC_d(x),如公式(8)。采用同样方法获取原始立体图像右视图在像素点x的相位一致性特征PC_o(x)。

${\mathrm{PC}}_d\left(x\right)=\frac{\underset{l}{\Σ}{E}_{{\mathrm{\θ}}_l}\left(x\right)}{\underset{l}{\Σ}\underset{n}{\Σ}{A}_{n,{\mathrm{\θ}}_l}\left(x\right)+\mathrm{\ϵ}}---\left(8\right)$

其中，θ_l＝lπ/L,l＝{0,1,...,L-1}是滤波器的方向角，

L是方向数且定义为L＝4，为方向θ_l和尺度n上响应向量的振幅，为方向θ_l上的局部能量函数，ε是很小的常量。

利用公式(9)确定失真立体图像右视图的相位相似度：

$S_{PC}\left(x\right)=\frac{2{\mathrm{PC}}_o\left(x\right)\·{\mathrm{PC}}_d\left(x\right)+T_1}{{\mathrm{PC}}_o{\left(x\right)}^2+{\mathrm{PC}}_d{\left(x\right)}^2+T_1}---\left(9\right)$

其中，PC_o(x)和PC_d(x)分别为原始立体图像右视图、失真立体图像右视图在像素点_x处的相位一致性值。T₁为防止分母为零的常数。

(2)提取失真立体图像右视图的梯度相似度；

采用Scharr算子分别对原始立体图像右视图、失真立体图像右视图的亮度信息Y进行滤波，像素点x在失真立体图像右视图的水平和垂直方向的滤波值分别为G₁(x)和G₂(x)，利用公式(10)计算失真立体图像右视图在像素点_x的梯度幅度GM_d(x)，采用同样方法得到原始立体图像右视图在像素点x的梯度幅度GM_o(x)。

${\mathrm{GM}}_d\left(x\right)=\sqrt{{\left(G_1\right(x\left)\right)}^2+{\left(G_2\right(x\left)\right)}^2}---\left(10\right)$

利用公式计算失真立体图像右视图的梯度相似度：

$S_{GM}\left(x\right)=\frac{2{\mathrm{GM}}_o\left(x\right)\·{\mathrm{GM}}_d\left(x\right)+T_2}{{\mathrm{GM}}_o{\left(x\right)}^2+{\mathrm{GM}}_d{\left(x\right)}^2+T_2}---\left(11\right)$

其中，GM_o(x)和GM_d(x)分别为原始立体图像右视图、失真立体图像右视图在像素点x处的梯度幅度值，T₂为常数，与T₁的含义相同。

(3)分别提取失真右视图的色度I和Q的相似度；

$S_I\left(x\right)=\frac{2I_o\left(x\right)I_d\left(x\right)+T_3}{{I_o}^2\left(x\right)+{I_d}^2\left(x\right)+T_3}---\left(12\right)$

$S_Q\left(x\right)=\frac{2Q_o\left(x\right)Q_d\left(x\right)+T_4}{{Q_o}^2\left(x\right)+{Q_d}^2\left(x\right)+T_4}---\left(13\right)$

其中，T₃和T₄为常数，与T₁的含义相同。I_o、Q_o为原始立体图像右视图的色度信息，I_d、Q_d分别为失真立体图像右视图的色度信息。

(4)计算原始立体图像右视图和失真立体图像右视图之间的相似度；

按照如下公式将S_pc(x)、S_GM(x)、S_I(x)和S_Q(x)结合，计算原始立体图像右视图、失真立体图像右视图之间的相似度：

S_R(x)＝[S_pc(x)]^τ[S_GM(x)]^β[S_I(x)S_Q(x)]^λ    (14)

其中，τ，β，λ是调节参数，将τ，β，λ均定义为1。

(5)按照(1)至(4)步建立的计算失真立体图像右视图的特征相似度方法，计算失真立体图像左视图的相似度S_L(x)，将S_R(x)和S_L(x)使用平均值法得到失真立体图像质量图S₀(x)。

(6)对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度[1](SSIM)算法，提取失真立体图像的绝对差值图的质量图D(x)。然后，采用AlexandreBenoit[4]提出的算法，将失真立体图像质量图S₀(x)与绝对差值图的质量图D(x)融合，得到立体图像综合质量图：

Q₀(x)＝S₀(x)·(1+D(x))    (15)

204：通过立体视觉显著图对立体图像综合质量图进行加权求和，获取失真立体图像质量客观评价值。

将失真立体图像的立体视觉显著图SM和立体图像综合质量图Q₀(x)加权求和并归一化，得到立体图像质量客观评价值Q。

$Q=\frac{\underset{x\∈\mathrm{\Ω}}{\Σ}{Q}_0\left(x\right)\·SM\left(x\right)}{\underset{x\∈\mathrm{\Ω}}{\Σ}SM\left(x\right)}---\left(16\right)$

其中，Ω表示图像的整个空域，SM(x)是立体视觉显著图SM在像素点x处的值。

综上所述，本方法通过步骤201-步骤204实现了对立体图像质量客观评价，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型，满足了实际应用中的多种需要。

实施例3

下面结合技术方案详细说明本方法：本发明具体包括提取立体视觉显著图、提取立体图像综合质量图和将二者融合三个部分，具体步骤如下：

301：初步提取立体视觉显著图；

(1)按照公式(1)将失真立体图像右视图从RGB色彩空间转换到YCbCr(4:2:0)色彩空间，Y通道表示亮度信息，Cb和Cr通道表示色度信息；将右视图分成8*8不重叠的图像块，根据公式(17)对图像块进行离散余弦变换；

Y＝0.299R+0.578G+0.114B

Cr＝0.5R-0.4178G-0.0813B+128

Cb＝-0.1687R-0.3313G+0.5B+128

$F\left(m,n\right)=c\left(m\right)c\left(n\right)\underset{a=0}{\overset{N-1}{\Σ}}\underset{b=0}{\overset{N-1}{\Σ}}f\left(a,b\right)\cos \frac{\left(2a+1\right)m\mathrm{\π}}{2N}\cos \frac{\left(2b+1\right)n\mathrm{\π}}{2N},F\∈\left\{Y,Cb,Cr,T\right\}---\left(17\right)$

$\begin{array}{cc}c\left(m\right)=\left\{\begin{array}{c}\sqrt{1/N},m=0\\ \sqrt{2/N},m\≠0\end{array}\right.& c\left(n\right)=\left\{\begin{array}{c}\sqrt{1/N},n=0\\ \sqrt{2/N},n\≠0\end{array}\right.\end{array}---\left(18\right)$

其中，m和n均为[0,N-1],N＝8。F(m,n)表示离散余弦变换后的系数。在YCbCr色彩空间，Y(m,n),Cb(m,n),Cr(m,n)分别表示亮度信息Y、色度信息Cb和Cr经离散余弦变换后的系数。当m＝n＝0时，计算直流(DC)系数进而得到亮度特征L＝Y_DC和色度特征。其余的即63个系数为交流(AC)系数。利用zig-zag扫描法获取通道的前9个低频交流(AC)系数{Y(0,1),Y(1,0),Y(2,0),Y(1,1),Y(0,2),Y(0,3),Y(1,2),Y(2,1),Y(3,0)}，进而得到纹理特征T＝{Y_AC1,Y_AC2,...,Y_AC9}。

(2)利用公式(19)计算图像块i与其余图像块的对比度来估计图像块i的显著值，得到亮度对比度特征显著图F^L、色度对比度特征显著图和纹理对比度特征显著图T。

$F_i^k=\underset{i\≠j}{\Σ}\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-l_{ij}^2/\left(2{\mathrm{\σ}}^2\right)}{U}_{ij}^k---\left(19\right)$

其中，k表示特征且k∈{L,C₁,C₂,T}，σ为参数且定义σ＝20，l_ij为图像块i和j之间的欧式距离，表示在特征k上图像块i和j的特征对比度。

利用公式(20)计算亮度特征和色度特征对比度，利用公式(21)计算纹理特征对比度

$U_{ij}^d=\frac{\left|B_i^d-B_j^d\right|}{B_i^d+B_j^d},d\∈\{L,C_1,C_2\}---\left(20\right)$

$U_{ij}^T=\frac{\sqrt{{\mathrm{\Σ}}_t{(B_i^{Tt}-B_j^{Tt})}^2}}{{\mathrm{\Σ}}_t(B_i^{Tt}+B_j^{Tt})}---\left(21\right)$

其中,和分别在特征d上图像块i与图像块j的特征值，t为交流(AC)系数且

t∈{1,2,2,...,9}，表示在纹理特征T上图像块i的系数t。

(3)将公式(19)得到的特征显著图F^L,T和失真立体图像的绝对差值图Δ进行Max-Min归一化操作，根据公式(22)初步得到立体显著图SM1：

$SM1=(F^L+F^{C_1}+F^{C_2}+T+\mathrm{\Δ})/5---\left(22\right)$

其中，Δ＝|L-R|，L和R分别为失真立体图像的左视图和右视图的灰度图

302：优化立体显著图；

(1)模拟中央偏移因子[13]并对显著图SM1进行优化。

(2)视网膜光感受器的密度由中心凹向外周迅速降低[14][15]。因此，当图像映射到视网膜上时，人眼对中心凹区域的空间频率分辨率较高，这部分区域就是人眼集中注视的区域，即显著区域；随着离心度e的增加，人眼的空间分辨率会降低。利用对比度敏感度函数(Contrast Sensitivity Function,CSF)[15]模拟此特性，根据实验拟合结果[10]，取δ＝0.106,e₂＝2.3,C₀＝1/64。

用最大类间方差法确定阈值，将立体显著图分为显著区域和非显著区域。将SM'和C(f,e)点乘，对立体视觉显著图SM'优化，得到最终的立体视觉显著图，并将其扩展到与失真立体图像右视图大小相同。

其中，该步骤的具体操作参见实施例2，本发明实施例对此不做赘述。

303：计算失真立体图像的质量图。

本发明结合相位一致性特征、图像梯度特征和色度特征，在YIQ色彩空间分别对图像的亮度信息和色度信息独立进行处理，采用特征相似度算法[11]获取失真立体图像单视图的质量图，以右视图为例。

(1)将图像从RGB色彩空间转换到YIQ色彩空间，利用Reter Kovesi[12]算法提取原始和失真右视图的在像素点x的相位一致性信息。确定失真右视图的相位相似度。

(2)提取原始和失真右视图的梯度相似度。

(3)提取失真右视图的色度相似度。

(4)计算原始立体图像右视图和失真右视图之间的相似度。

(5)按照(1)至(4)步建立的计算失真右视图的特征相似度方法，计算失真左视图的相似度S_L(x)。

(6)对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度[1](SSIM)算法，提取失真立体图像的绝对差值图的质量图D(x)。采用Alexandre Benoit[4]算法，将图像质量图S₀(x)与绝对差值图的质量图D(x)融合，得到立体图像的综合质量图Q₀(x)。

其中，该步骤的具体操作参见实施例2，本发明实施例对此不做赘述。

304：获取立体图像质量客观评价值。

将失真立体图像的立体视觉显著图SM和立体图像质量图加权求和并归一化，得到立体图像质量客观评价值。

综上所述，本方法通过步骤301-步骤304实现了对立体图像质量客观评价，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型，满足了实际应用中的多种需要。

实施例4

本设计使用的参考实验素材均取自宽带无线通信与立体成像研究所提供的立体信息库，选取图像库中未压缩、未加噪和未模糊的原始图像共8幅，分别为“tree2”、“family”、“girl”、“river”、“tree1、“ox”、“tju”、“woman”，如图1～8所示。对8幅标准立体图像对进行JPEG压缩失真、高斯模糊失真和高斯加噪失真处理，共得到260幅失真立体图像对。每一幅图像分辨率为2560×1024。对所有失真图像对做主观评价，记录平均意见值(MeanOpinion Score，MOS)。在406幅立体图像样本中，选取150幅图像作为训练样本，256幅图像作为测试样本。

图10是优化前和优化后的立体显著图的对比示意图，图10(a)是失真立体图像右视图，(b)是优化前的立体显著图SM1，(c)是(b)经中央偏移优化后的立体显著图SM'，(d)是(c)经中心凹优化后的立体显著图SM。由于中央偏移因素的的存在，距图像的中间区域较近的像素越容易引起观看者的注意，所以对比(b)与(c)发现引入中央偏移因子后图像中央区域的像素的显著性增加了；在中心凹特特性的影响下，人眼对距显著区域的较远区域的分辨率低，所以对(c)优化后(d)的非显著区域的像素的显著性减小了。所以，采用中央偏移因子和中心凹特性优化后的立体视觉显著图更加符合人眼视觉特性。

表1列出了本算法与SSIM[1]、DSSIM[3]算法、3SIQA[8]算法的主观、客观评价值之间的性能指标。

表1 不同评价算法的性能指标

由表1的数据可以看出，针对不同的失真类型，本算法的PLCC指标和RMSE指标均有不同程度的提高，PLCC值均在0.95以上，RMSE值均在0.45以下。虽然本算法对高斯噪声失真和高斯模糊失真的KROCC值略低于文献[8]算法，但本算法的总体性能指标远远高于其余三种算法，这是由于文献[8]和[1]算法没有考虑深度信息，文献[3]和SSIM[1]算法没有考虑立体视觉显著性的影响，本算法考虑了立体视觉显著性和深度信息的影响，所以针对不同的失真类型与失真强度，本算法的客观评价值与主观评价结果具有较好的一致性。

参考文献

[1]Z.Wang,A.C.Bovik A,H.R.Sheikh,et al.Image Quality Assessment:From Error Visibilityto Structural Similarity[J].IEEE Transactions on Image Processing,Vol.13,No.4,April 2004.

[2]Patrizio Campisi,Patrick Le Callet,Enrico Marini.STEREOSCOPIC IMAGES QUALITYASSESSMENT[C].15th European Signal Processing Conference(EUSIPCO 2007),Poznan,Poland,September 3-7,2007.

[3]de Miranda Cardoso,J.V.,Danilo Miranda Regis,C.,Sampaio de Alencar,M.On thepreference of disparity-based weighting technique applied to 3D image quality assessment[C].Broadband Multimedia Systems and Broadcasting(BMSB),2014 IEEE internationalSymposium on,Beijing,25-27June 2014.

[4]Alexandre Benoit,Patrick Le Callet,Patrizio Campisi,et al.Using disparity for qualityassessment of stereoscopic images[C].15th IEEE International Conference on Image Processing(ICIP).San Diego,CA,2008:389-392.

[5]Dongdong Zhang,Jiahe Huang,Di Zang,et al.An quality metric for 3D rendered image basedon stereo saliency and structural similarity[C].Global High Tech Congress on Electronics(GHTCE),2013IEEE,Shenzhen,17-19Nov.2013:170-174.

[6]Qi F,Jiang T T,Ma S W,et al.Quality of experience assessment for stereoscopic images[C].2012IEEEInternationalSymposiumonCirruitsandSystems(ISCAS),Seoul,Korea,2012:1712–1715.[7]Shao Feng,Duan Fen-fang,et al.3D Visual attention for stereoscopic imagequalityassessment[J].Journal of software,2014,Vol 9,No 7:1841-1847.

[8]Xiu-qin Chu,Yuan-Yuan Wu,Qian Li.Saliency structure stereoscopic image quality assessmentmethod[J].Optik-International Journal for Light and Electron Optics,2014,125(2):704-709.

[9]Yuming Fang,Junle Wang,Manish Narwaria,et al.Saliency Detection for StereoscopicImages[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.23,NO.6,JUNE 2014.

[10]W.S.Geisler and J.S.Perry,A real-time foveated multiresolution system for low-bandwidthvideo communication,Proc.SPIE,vol.3299,pp.294–305,July 1998.

[11]Lin Zhang,Lei Zhang,Xuanqin Mou,et al.FSIM:A Feature Similarity Index for ImageQuality Assessmen[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.20,NO.8,AUGUST 2011.

[12]Kovesi P.Image features from phase congruency[J].Videre:Journal of Computer VisionResearch,1999,1(3):1-30.

[13]Le Meur O.,Le Callet,P.,Barba,et al.A coherent computational approach to modelbottom-up visual attention[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(5):802-817.

[14]P.Tseng,R.Carmi,I.G.M.Camerson,et al.Quantifying center bias of observers in freeviewing of dynamic natural scenes[J].Journal of Vision,2009,vol.9,no.7.

[15]Zhou Wang,Ligang Lu,Alan Conrad Bovik.Foveation Scalable Video Coding WithAutomatic Fixation Selection [J].IEEE TRANSACTIONS ON IMAGE PROCESSING,FEBRUARY 2003,VOL.12,NO.2:243-254.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于立体视觉显著性的立体图像质量客观评价方法，其特征在于，所述立体图像质量客观评价方法包括以下步骤：

通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图；

根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；

通过所述立体视觉显著图对所述立体图像综合质量图进行加权求和，获取失真立体图像质量客观评价值。

2.根据权利要求1所述的一种基于立体视觉显著性的立体图像质量客观评价方法，其特征在于，在所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图的步骤之前，所述立体图像质量客观评价方法还包括以下步骤：

通过模拟视觉显著性，获取失真立体图像的立体视觉显著图。

3.根据权利要求1所述的一种基于立体视觉显著性的立体图像质量客观评价方法，其特征在于，所述通过模拟视觉显著性，获取失真立体图像的立体视觉显著图的步骤具体为：

将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，划分为不重叠的图像块，对图像块进行离散余弦变换；

将亮度对比度特征显著图、色度对比度特征显著图、纹理对比度特征显著图和失真立体图像的绝对差值图进行归一化，获取失真立体图像的立体视觉显著图。

4.根据权利要求1所述的一种基于立体视觉显著性的立体图像质量客观评价方法，其特征在于，所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立体视觉显著图的步骤具体为：

模拟中央偏移因子，对立体视觉显著图进行初步优化；

模拟中心凹特性，对初步优化后的立体视觉显著图进行最终优化。

5.根据权利要求1所述的一种基于立体视觉显著性的立体图像质量客观评价方法，其特征在于，所述根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图的步骤具体为：

提取失真立体图像右视图的相位相似度；

提取失真立体图像右视图的梯度相似度；

分别提取失真右视图的色度的相似度；

计算原始立体图像右视图和失真立体图像右视图之间的相似度；

计算失真立体图像左视图的相似度，将失真立体图像右视图的梯度相似度、左视图的相似度使用平均值法得到失真立体图像质量图；

对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度算法，提取失真立体图像的绝对差值图的质量图；

将失真立体图像质量图与绝对差值图的质量图融合，得到立体图像综合质量图。