一种色调映射图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种色调映射图像质量评价方法。
背景技术
随着显示技术的快速发展,高动态范围(HDR)图像已越来越受到关注。高动态范围图像的层次丰富,可以达到远比普通图像更逼近现实的光影效果。然而,传统的显示设备只能支持低动态范围的显示输出。为了解决真实场景和传统的显示设备的动态范围不匹配的矛盾,目前提出了许多高动态范围图像的色调映射(Tone Mapping)算法。高动态范围图像的色调映射算法的目标是将高动态范围图像的亮度压缩到传统的显示设备可以接受的范围,同时尽可能保留原图的细节信息,并避免造成图像瑕疵。因此,如何准确、客观地评价不同色调映射方法的性能,对指导内容制作和后期处理具有十分重要的作用。
而对于色调映射图像质量评价而言,如果直接将现有的图像质量评价方法应用于色调映射图像,则由于色调映射图像只有高动态范围图像作为参考,因此会导致无法精确预测得到客观评价值。因此,如何在评价过程中有效地提取出视觉特征,使得客观评价结果更加感觉符合人类视觉系统,是在对色调映射图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种色调映射图像质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种色调映射图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
①_1、选取N幅宽度为W且高度为H的色调映射图像构成训练图像集,将训练图像集中的第k幅色调映射图像记为
其中,N为正整数,N>1,k为正整数,k的初始值为1,1≤k≤N;
①_2、对训练图像集中的每幅色调映射图像进行区域划分,分成亮区域、暗区域和正常区域,将
的亮区域、暗区域和正常区域对应记为
和
①_3、根据训练图像集中的每幅色调映射图像的亮区域和暗区域,计算训练图像集中的每幅色调映射图像的亮暗区域特征矢量,将
的亮暗区域特征矢量记为
并根据训练图像集中的每幅色调映射图像的亮区域、暗区域和正常区域,计算训练图像集中的每幅色调映射图像的区域对比度特征矢量,将
的区域对比度特征矢量记为
其中,
的维数为3×1,
的维数为8×1;
①_4、将训练图像集中的每幅色调映射图像的亮暗区域特征矢量和区域对比度特征矢量构成全局特征矢量,将
的全局特征矢量记为F
k,
其中,F
k的维数为11×1,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量;
①_5、将训练图像集中的所有色调映射图像的全局特征矢量和平均主观评分差值构成训练样本数据集合,训练样本数据集合中包含N个全局特征矢量和N个平均主观评分差值;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有全局特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量
和最优的偏置项
接着利用最优的权重矢量
和最优的偏置项
构造质量预测模型,记为
其中,
为函数表示形式,F用于表示色调映射图像的全局特征矢量,且作为质量预测模型的输入矢量,
为
的转置,
为F的线性函数;
所述的测试阶段过程的具体步骤为:
②对于任意一幅用作测试的色调映射图像I
test,按照步骤①_2至步骤①_4相同的操作,获取I
test的全局特征矢量,记为F
test;然后根据训练阶段构造的质量预测模型对F
test进行测试,预测得到F
test对应的预测值,将该预测值作为I
test的客观质量预测值,记为Q
test,
其中,I
test的宽度为W'且高度为H',F
test的维数为11×1,
表示F
test的线性函数。
①_2a、将
在RGB颜色空间的R分量、G分量、B分量对应记为
然后计算
的暗通道图像,记为
将
中坐标位置为(x,y)的像素点的像素值记为
其中,1≤x≤W,1≤y≤H,min()为取最小值函数,C
x,y表示以坐标位置为(x,y)的像素点为中心的3×3邻域范围内的所有像素点的坐标位置构成的集合,(x
1,y
1)为C
x,y中的任意一个坐标位置,
表示
中坐标位置为(x
1,y
1)的像素点的像素值,
表示
中坐标位置为(x
1,y
1)的像素点的像素值,
表示
中坐标位置为(x
1,y
1)的像素点的像素值;
①_2b、计算
的灰度直方图分布,记为{h
k(j)|1≤j≤256};然后将{h
k(j)|1≤j≤256}中所有直方图值不为零的节点中坐标最小的节点坐标记为X
min,将{h
k(j)|1≤j≤256}中所有直方图值不为零的节点中坐标最大的节点坐标记为X
max,将
中像素值属于[X
min,X
mid]范围内的所有像素点的像素值构成的集合记为Ω
1,将
中像素值属于(X
mid,X
max]范围内的所有像素点的像素值构成的集合记为Ω
2;其中,j为正整数,1≤j≤256,h
k(j)表示{h
k(j)|1≤j≤256}中坐标为j的节点的直方图值,
符号
为向下取整操作符号;
①_2c、通过最大化Ω
1的类间方差,获得第一阈值,记为X
1 *,
并通过最大化Ω
2的类间方差,获得第二阈值,记为X
2 *,
其中,
表示求取使得
的值最大时的X
1的值,X
1为Ω
1中的任意一个像素值,P
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的概率密度函数,μ
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的均值,σ
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的标准差,μ
b(X
1)表示Ω
1中属于[X
1,X
mid]范围内的所有像素值的均值,σ
b(X
1)表示Ω
1中属于[X
1,X
mid]范围内的所有像素值的标准差,
表示求取使得
的值最大时的X
2的值,X
2为Ω
2中的任意一个像素值,P
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的概率密度函数,μ
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的均值,σ
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的标准差,μ
b(X
2)表示Ω
2中属于[X
2,X
max]范围内的所有像素值的均值,σ
b(X
2)表示Ω
2中属于[X
2,X
max]范围内的所有像素值的标准差;
①_2d、将
中像素值属于(X
2 *,X
max]范围内的所有像素点构成的区域确定为亮区域
将
中像素值属于[X
min,X
1 *)范围内的所有像素点构成的区域确定为暗区域
将
中像素值属于[X
1 *,X
2 *]范围内的所有像素点构成的区域确定为正常区域
①_3a1、将
从RGB颜色空间转化为CIELAB颜色空间,
在CIELAB颜色空间的三个分量分别为亮度分量、第一色度分量和第二色度分量;
①_3b1、将
划分成M个互不重叠的尺寸大小为8×8的子块,如果
不能被尺寸大小为8×8的子块均分,则将多余的像素点去除;然后将
中的每个子块中的所有像素点的亮度分量组成一个维数为8×8的矩阵,将
中的第t个子块中的所有像素点的亮度分量组成的维数为8×8的矩阵记为z
t;其中,M为正整数,M>1,t为正整数,t的初始值为1,1≤t≤M;
①_3c1、对
中的每个子块中的所有像素点的亮度分量组成的维数为8×8的矩阵进行二维离散余弦变换,得到对应的离散余弦变换系数矩阵,将z
t对应的离散余弦变换系数矩阵记为Z
t;然后计算
中的每个子块对应的离散余弦变换系数矩阵中的所有高频系数与所有中频系数的和,将Z
t中的所有高频系数与所有中频系数的和记为S
t;其中,Z
t的维数为8×8;
①_3e1、计算
中的所有像素点的亮度分量的均值和标准差,对应记为
和
①_3f1、将
和
按序排列构成的矢量作为
其中,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量。
①_3a2、将
从RGB颜色空间转化为CIELAB颜色空间,
在CIELAB颜色空间的三个分量分别为亮度分量、第一色度分量和第二色度分量;
①_3b2、计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第一区域对比度,记为
并计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第二区域对比度,记为
其中,符号“||”为取绝对值符号,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差,ξ为控制参数;
①_3c2、计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第一区域对比度,记为
并计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差;
①_3d2、计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第一区域对比度,记为
并计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差;
①_3e2、计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第一区域对比度,记为
并计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差;
①_3f2、将
按序排列构成的矢量作为
其中,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量。
与现有技术相比,本发明的优点在于:
本发明方法考虑了亮区域特征和暗区域特征对色调映射的影响,提取出色调映射图像的亮暗区域特征矢量,同时提取出色调映射图像的区域对比度特征矢量,再构成全局特征矢量,然后利用支持向量回归对训练图像集中的所有色调映射图像的全局特征矢量进行训练,构造质量预测模型;在测试阶段,通过计算用作测试的色调映射图像的全局特征矢量,并根据训练阶段构造的质量预测模型,预测得到该色调映射图像的客观质量预测值,由于获得的全局特征矢量信息具有较强的稳定性,且能够较好地反映色调映射图像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种色调映射图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
①_1、选取N幅宽度为W且高度为H的色调映射图像构成训练图像集,将训练图像集中的第k幅色调映射图像记为
其中,N为正整数,N>1,如取N=1000,k为正整数,k的初始值为1,1≤k≤N。
①_2、对训练图像集中的每幅色调映射图像进行区域划分,分成亮区域、暗区域和正常区域,将
的亮区域、暗区域和正常区域对应记为
和
①_2a、将
在RGB颜色空间的R分量、G分量、B分量对应记为
然后计算
的暗通道图像,记为
将
中坐标位置为(x,y)的像素点的像素值记为
其中,1≤x≤W,1≤y≤H,min()为取最小值函数,C
x,y表示以坐标位置为(x,y)的像素点为中心的3×3邻域范围内的所有像素点的坐标位置构成的集合,(x
1,y
1)为C
x,y中的任意一个坐标位置,
表示
中坐标位置为(x
1,y
1)的像素点的像素值,
表示
中坐标位置为(x
1,y
1)的像素点的像素值,
表示
中坐标位置为(x
1,y
1)的像素点的像素值。
①_2b、计算
的灰度直方图分布,记为{h
k(j)|1≤j≤256};然后将{h
k(j)|1≤j≤256}中所有直方图值不为零的节点中坐标最小的节点坐标记为X
min,将{h
k(j)|1≤j≤256}中所有直方图值不为零的节点中坐标最大的节点坐标记为X
max,将
中像素值属于[X
min,X
mid]范围内的所有像素点的像素值构成的集合记为Ω
1,将
中像素值属于(X
mid,X
max]范围内的所有像素点的像素值构成的集合记为Ω
2;其中,j为正整数,1≤j≤256,h
k(j)表示{h
k(j)|1≤j≤256}中坐标为j的节点的直方图值,
符号
为向下取整操作符号。
①_2c、通过最大化Ω
1的类间方差,获得第一阈值,记为X
1 *,
并通过最大化Ω
2的类间方差,获得第二阈值,记为X
2*,
其中,
表示求取使得
的值最大时的X
1的值,X
1为Ω
1中的任意一个像素值,P
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的概率密度函数,μ
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的均值,σ
f(X
1)表示Ω
1中属于[X
min,X
1)范围内的所有像素值的标准差,μ
b(X
1)表示Ω
1中属于[X
1,X
mid]范围内的所有像素值的均值,σ
b(X
1)表示Ω
1中属于[X
1,X
mid]范围内的所有像素值的标准差,
表示求取使得
的值最大时的X
2的值,X
2为Ω
2中的任意一个像素值,P
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的概率密度函数,μ
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的均值,σ
f(X
2)表示Ω
2中属于[X
mid,X
2)范围内的所有像素值的标准差,μ
b(X
2)表示Ω
2中属于[X
2,X
max]范围内的所有像素值的均值,σ
b(X
2)表示Ω
2中属于[X
2,X
max]范围内的所有像素值的标准差。
①_2d、将
中像素值属于(X
2 *,X
max]范围内的所有像素点构成的区域确定为亮区域
将
中像素值属于[X
min,X
1 *)范围内的所有像素点构成的区域确定为暗区域
将
中像素值属于[X
1 *,X
2 *]范围内的所有像素点构成的区域确定为正常区域
①_3、根据训练图像集中的每幅色调映射图像的亮区域和暗区域,计算训练图像集中的每幅色调映射图像的亮暗区域特征矢量,将
的亮暗区域特征矢量记为
并根据训练图像集中的每幅色调映射图像的亮区域、暗区域和正常区域,计算训练图像集中的每幅色调映射图像的区域对比度特征矢量,将
的区域对比度特征矢量记为
其中,
的维数为3×1,
的维数为8×1。
①_3a1、将
从RGB颜色空间转化为CIELAB颜色空间,
在CIELAB颜色空间的三个分量分别为亮度分量、第一色度分量(指分量a)和第二色度分量(指分量b)。
①_3b1、将
划分成M个互不重叠的尺寸大小为8×8的子块,如果
不能被尺寸大小为8×8的子块均分,则将多余的像素点去除,即不考虑多余的像素点;然后将
中的每个子块中的所有像素点的亮度分量组成一个维数为8×8的矩阵,将
中的第t个子块中的所有像素点的亮度分量组成的维数为8×8的矩阵记为z
t;其中,M为正整数,M>1,t为正整数,t的初始值为1,1≤t≤M。
①_3c1、对
中的每个子块中的所有像素点的亮度分量组成的维数为8×8的矩阵进行二维离散余弦变换,得到对应的离散余弦变换系数矩阵,将z
t对应的离散余弦变换系数矩阵记为Z
t;然后计算
中的每个子块对应的离散余弦变换系数矩阵中的所有高频系数与所有中频系数的和,将Z
t中的所有高频系数与所有中频系数的和记为S
t;其中,Z
t的维数为8×8,在离散余弦变换系数矩阵中左上角部分为直流和低频系数、右下角部分为高频系数、中间部分为中频系数。
①_3e1、计算
中的所有像素点的亮度分量的均值和标准差,对应记为
和
①_3f1、将
和
按序排列构成的矢量作为
其中,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量。
①_3a2、将
从RGB颜色空间转化为CIELAB颜色空间,
在CIELAB颜色空间的三个分量分别为亮度分量、第一色度分量(指分量a)和第二色度分量(指分量b)。
①_3b2、计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第一区域对比度,记为
并计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第二区域对比度,记为
其中,符号“||”为取绝对值符号,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差,ξ为控制参数,在本实施例中ξ=10
-6。
①_3c2、计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第一区域对比度,记为
并计算
中的所有像素点的亮度分量和
中的所有像素点的亮度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的亮度分量的均值,
表示
中的所有像素点的亮度分量的标准差。
①_3d2、计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第一区域对比度,记为
并计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差。
①_3e2、计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第一区域对比度,记为
并计算
中的所有像素点的第一色度分量和
中的所有像素点的第一色度分量的第二区域对比度,记为
其中,
表示
中的所有像素点的第一色度分量的均值,
表示
中的所有像素点的第一色度分量的标准差。
①_3f2、将
按序排列构成的矢量作为
其中,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量。
①_4、将训练图像集中的每幅色调映射图像的亮暗区域特征矢量和区域对比度特征矢量构成全局特征矢量,将
的全局特征矢量记为F
k,
其中,F
k的维数为11×1,符号“[]”为矢量表示符号,
表示将
和
连接起来形成一个矢量。
①_5、将训练图像集中的所有色调映射图像的全局特征矢量和平均主观评分差值构成训练样本数据集合,训练样本数据集合中包含N个全局特征矢量和N个平均主观评分差值;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有全局特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量
和最优的偏置项
接着利用最优的权重矢量
和最优的偏置项
构造质量预测模型,记为
其中,
为函数表示形式,F用于表示色调映射图像的全局特征矢量,且作为质量预测模型的输入矢量,
为
的转置,
为F的线性函数。
所述的测试阶段过程的具体步骤为:
②对于任意一幅用作测试的色调映射图像I
test,按照步骤①_2至步骤①_4相同的操作,获取I
test的全局特征矢量,记为F
test;然后根据训练阶段构造的质量预测模型对F
test进行测试,预测得到F
test对应的预测值,将该预测值作为I
test的客观质量预测值,记为
其中,I
test的宽度为W'且高度为H',F
test的维数为11×1,
表示F
test的线性函数。
在本实施例中,采用加拿大滑铁卢大学建立的TMID数据库和美国德克萨斯大学奥斯汀分校建立的ESPL-LIVE数据库作为色调映射图像数据库,TMID数据库包括120幅色调映射图像,ESPL-LIVE数据库包括1811幅色调映射图像。利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson线性相关系数(Pearson linearcorrelation coefficient,PLCC)和Spearman秩等级相关系数(Spearman rank ordercorrelation coefficient,SROCC)。PLCC和SROCC越高说明本发明方法的评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的客观质量预测值与平均主观评分差值之间的相关性。
表1采用本发明方法得到的客观质量预测值与平均主观评分差值之间的相关性
数据库 |
PLCC |
SROCC |
TMID |
0.827 |
0.758 |
ESPL-LIVE |
0.658 |
0.660 |
从表1中可以看出,采用本发明方法得到的色调映射图像的客观质量预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。