[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110996096A - 一种基于结构相似性差异度的色调映射图像质量评价方法 - Google Patents

一种基于结构相似性差异度的色调映射图像质量评价方法 Download PDF

Info

Publication number
CN110996096A
CN110996096A CN201911349334.9A CN201911349334A CN110996096A CN 110996096 A CN110996096 A CN 110996096A CN 201911349334 A CN201911349334 A CN 201911349334A CN 110996096 A CN110996096 A CN 110996096A
Authority
CN
China
Prior art keywords
image
epsilon
neighborhood
quality evaluation
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911349334.9A
Other languages
English (en)
Other versions
CN110996096B (zh
Inventor
汪斌
陈淑聪
姜飞龙
朱海滨
毛凌航
徐翘楚
张奥
李兴隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing University
Original Assignee
Jiaxing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing University filed Critical Jiaxing University
Priority to CN201911349334.9A priority Critical patent/CN110996096B/zh
Publication of CN110996096A publication Critical patent/CN110996096A/zh
Application granted granted Critical
Publication of CN110996096B publication Critical patent/CN110996096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于结构相似性差异度的色调映射图像质量评价方法,该方法首先提取图像的梯度二值化矩阵的均值和方差作为局部梯度特征,再提取最小方向曲率的均值、方差、峰度、偏度作为局部结构特征,接着利用相位图像的均匀局部二值模式直方图作为全局相位特征,最后采用邻域像素块与中心像素块之间的局部结构相似性(SSIM)差异度的均值、方差、峰度、偏度作为局部邻域结构相似性差异度特征,融合得到总的图像质量评价特征,送入支持训练回归机进行训练和测试,得到客观图像质量评价结果;该方法避免了采用单一全局特征或局部特征带来的评价精度不高的缺点,提高了图像质量评价精度。

Description

一种基于结构相似性差异度的色调映射图像质量评价方法
技术领域
本发明属于图像处理领域,尤其涉及一种基于结构相似性差异度的色调映射图像质量评价方法。
背景技术
图像质量评价是图像处理领域的关键问题,图像质量评价方法根据是否有人的参与可分成主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人对图像进行打分,评价结果精确,但评价过程复杂,耗时时间长,难以得到实时应用。客观图像质量评价方法无需人的参与,通过特定的计算机算法自动预测图像质量,根据是否使用原始无失真图像作为参考,可将图像质量评价方法分成全参考图像质量评价方法,半参考图像质量评价方法和无参考图像质量评价方法。全参考算法使用参考图像的所有信息预测图像质量,半参考图像质量评价方法采用参考图像的部分信息进行图像质量预测,无参考图像质量评价方法不使用参考图像的任何信息进行图像质量评价。
高动态范围(HDR)图像显示亮度范围较大,能给观看者带来更好的视觉体验,而现有的图形显示设备大多只支持显示8比特的低动态范围(LDR)图像,因此需要采用色调映射算法将HDR图像转换为LDR图像,由HDR图像转换成的LDR图像成为色调映射图像,色调映射图像在色调映射过程中,存在对比度、自然度和颜色饱和度等失真,而块效应、模糊、白噪声等失真较少,而传统的无参考图像质量评价方法主要针对自然图像和块效应、模糊、白噪声等失真有效,而对色调映射图像效果不佳,因此对色调映射失真图像进行无参考图像质量评价更具有挑战性。针对色调映射图像无参考质量评价,Guanghui Yue[Guanghui Yue,Chunping Hou,and Tianwei Zhou,Blind Quality Assessment of Tone-Mapped ImagesConsidering Colorfulness,Naturalness and Structure,IEEE Transctions ONIndustrial Electronics,2018.]提取色度映射失真图像的色彩度、自然度和结构特征进行图像质量评价;Gangyi Jiang[Blind tone-mapped has been with the School ofElectronic and image quality assessment based on brightest/darkest regions,naturalness and aesthetics,IEEE Access,vol.6,pp.2231-2240,2018.]采用图像自然统计特征和美学特征进行质量评价;但这些方法着重考察图像的自然统计和全局特征,大多采用的是针对自然图像有效的传统特征提取方法,因此效果与主观评价结果存在差距。在图像色调映射过程中,图像局部细节和全局相位存在较大的变化,因此本发明提取图像梯度、最小曲率和图像块邻域结构相似性(structural similarity index,SSIM)差异度对局部色调图像失真进行评价,并采用相位纹理特征对全局色调映射失真进行评价,提高了色调图像质量评价精度。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于结构相似性差异度的色调映射图像质量评价方法。本发明同时提取图像的局部特征和全局特征进行图像质量评价,充分考虑了图像失真对局部边缘、局部最小曲率、局部SSIM差异度和全局相位纹理的影响,预测效果相对现有技术更精确。
本发明的目的是通过以下技术方案来实现的:一种基于结构相似性差异度的色调映射图像质量评价方法,包括以下步骤:
(1)输入色调映射彩色失真图像,并转换为色调映射灰度失真图像D;
(2)构建梯度特征F1,包括以下子步骤:
(2.1)采用Canny算子处理步骤(1)得到的色调映射灰度失真图像D,得到梯度二值化图像G;
(2.2)计算像素点G(i,j)的N×N邻域内取值为1的邻域像素总数X(i,j);
(2.3)计算邻域像素总数X(i,j)的均值μX和方差σX,构建梯度特征F1=[μXX];
(3)构建最小方向曲率特征F2,包括以下子步骤:
(3.1)构建角度为0、
Figure BDA0002334280260000021
Figure BDA0002334280260000022
的一阶导数滤波器h0、h1、h2、h3、h4和h5,用一阶导数滤波器分别对步骤(1)得到的色调映射灰度失真图像D进行卷积,得到对应的一阶导数d0(i,j)、d1(i,j)、d2(i,j)、d3(i,j)、d4(i,j)和d5(i,j);
(3.2)构建角度为0、
Figure BDA0002334280260000023
Figure BDA0002334280260000024
的二阶导数滤波器g0、g1、g2、g3、g4和g5,分别对步骤(1)得到的色调映射灰度失真图像D进行卷积,得到对应的二阶导数t0(i,j)、t1(i,j)、t2(i,j)、t3(i,j)、t4(i,j)和t5(i,j);
(3.3)计算色调映射灰度失真图像D在角度为0、
Figure BDA0002334280260000025
Figure BDA0002334280260000026
的方向曲率Kn(i,j),采用公式如下:
Figure BDA0002334280260000027
其中,n取值为0~5;|·|为求绝对值操作;
(3.4)计算最小方向曲率K(i,j)=minKn(i,j);
(3.5)计算最小方向曲率K(i,j)的均值μK、方差σK、峰度βK和偏度γK,构建最小方向曲率特征F2=[μKKKK];
(4)构建均匀局部二值模式直方图特征F3,包括以下子步骤:
(4.1)对步骤(1)得到的色调映射灰度失真图像D进行二维离散傅里叶变换,得到傅里叶变换系数Y(u,v),其中,u为Y(u,v)的水平索引,v为Y(u,v)的垂直索引;
(4.2)根据傅里叶变换系数Y(u,v)得到相位图像Φ:
Figure BDA0002334280260000031
其中,re(Y(u,v))为Y(u,v)的实部,im(Y(u,v))为Y(u,v)的虚部,arctan(·)为求反正切操作;
(4.3)计算相位图像Φ的均匀局部二值模式特征ULBPB
Figure BDA0002334280260000032
Figure BDA0002334280260000033
其中,LBPB(u,v)为相位图像Φ的局部二值模式特征;Φb={Φ01,...,ΦB-1}为Φ(u,v)的B个邻域点,且B=8,b=0~B-1;当Φb≥Φ(u,v)时,t[Φb-Φ(u,v)]=1,当Φb<Φ(u,v)时,t[Φb-Φ(u,v)]=0;
(4.4)根据步骤(4.3)得到的均匀局部二值模式特征ULBPB,构建均匀局部二值模式直方图特征F3
F3=hist[ULBPB(u,v)]=[f0,f1,f2,...,fB+1]
其中,hist[·]为取直方图操作,fk为取值为k的直方图分组中的元素个数,k取0~B+1;
(5)构建邻域结构相似性差异特征F4,包括以下子步骤:
(5.1)将步骤(1)得到的色调映射灰度失真图像D划分成由大小为W×W的图像块A(ε,η)组成的矩阵,
(5.2)依次计算图像块A与其上、右上、右、右下、下、左下、左、和左上邻域图像块之间的结构相似性得到邻域结构相似性数值,记为S1(ε,η)、S2(ε,η)、S3(ε,η)、S4(ε,η)、S5(ε,η)、S6(ε,η)、S7(ε,η)和S8(ε,η),并求平均得到邻域结构相似性均值SA(ε,η);
(5.3)依次比较步骤(5.2)得到的邻域结构相似性数值与其均值SA(ε,η)的大小得到对应的邻域结构相似性对比值L1(ε,η)、L2(ε,η)、L3(ε,η)、L4(ε,η)、L5(ε,η)、L6(ε,η)、L7(ε,η)和L8(ε,η);当邻域结构相似性数值大于等于其均值时;邻域结构相似性对比值为1,否则为0;
(5.4)将步骤(5.3)得到的邻域结构相似性对比值按L1(ε,η)~L8(ε,η)的顺序组成二进制序列,并转换成十进制整数作为图像块A的邻域结构相似性差异度Q(ε,η);
(5.5)计算邻域结构相似性差异度Q(ε,η)的均值μQ、方差σQ、峰度βQ和偏度γQ,构建邻域结构相似性差异特征F4=[μQQQQ];
(6)根据步骤(2)得到的梯度特征F1、步骤(3)得到的最小方向曲率特征F2、步骤(4)得到的均匀局部二值模式直方图特征F3和步骤(5)得到的邻域结构相似性差异特征F4构建图像质量评价特征F=[F1,F2,F3,F4];
(7)将步骤(6)得到的图像质量评价特征F和对应的平均主观意见分送入支持向量回归机训练;
(8)将待评价图像按步骤(1)~(7)提取图像质量评价特征F,输入步骤(7)训练好的支持向量回归机,得到图像质量评价结果。
进一步地,所述步骤(2)中Canny算子中的高斯滤波器标准差为1.5,双阈值分别为0.04和0.1。
进一步地,所述步骤(3.1)中角度为0、
Figure BDA0002334280260000041
Figure BDA0002334280260000042
的一阶导数滤波器为:
Figure BDA0002334280260000051
Figure BDA0002334280260000052
进一步地,所述步骤(3.2)中角度为0、
Figure BDA0002334280260000053
Figure BDA0002334280260000054
的二阶导数滤波器为:
Figure BDA0002334280260000055
Figure BDA0002334280260000056
进一步地,所述支持向量回归机的核函数为径向基函数。
本发明的有益效果是:本发明首先提取图像的梯度二值化矩阵的均值、方差作为局部梯度特征,再提取最小方向曲率的均值、方差、峰度、偏度作为局部结构特征,接着利用相位图像的均匀局部二值模式直方图作为全局相位特征,最后采用邻域像素块与中心像素块之间的局部结构相似性差异度的均值、均值、方差、峰度、偏度作为局部邻域结构相似性差异度特征,融合局部梯度特征、局部结构特征、全局相位特征和局部邻域结构相似性差异度特征得到总特征进行图像质量评价,避免了采用单一全局特征或局部特征带来的评价精度不高的缺点,提高了图像质量评价精度。
附图说明
图1为基于结构相似性差异度的色调映射图像质量评价方法流程图;
图2为色调映射灰度失真图像D中(ε,η)位置图像块A及其邻域图像块示意图;
图3为色调映射灰度失真图像D中(ε,η)位置图像块A与邻域图像块之间的结构相似性数值示意图;
图4为色调映射灰度失真图像D中(ε,η)位置图像块A及其邻域图像块之间的结构相似性对比值示意图。
具体实施方式
以下结合附图和实施实例对本发明详细说明。
本发明一种基于结构相似性差异度的色调映射图像质量评价方法的流程如图1所示,具体为:
步骤(1):取出美国德州大学奥斯汀分校的ESPL-LIVE HDR图像数据库中的1811幅色调映射失真图像作为输入图像集,该数据库提供了每张图片的主观MOS分值;将输入图像集随机分成训练图像集和测试图像集,其中80%的图像作为训练图像集,20%的图像作为测试图像集;从输入训练图像集中取出色调映射彩色失真图像,将训练图像集中的色调映射彩色失真图像转换为色调映射灰度失真图像D;
步骤(2):对色调映射灰度失真图像D采用Canny算子进行处理,得到梯度二值化图像G;其中,Canny算子中的高斯滤波器标准差为1.5,双阈值分别为0.04和0.1;
步骤(3):对于步骤(2)得到的梯度二值化图像G中的(i,j)像素,取以(i,j)像素为中心的N×N邻域内取值为1的邻域像素总数X(i,j);其中,N取值为3;
步骤(4):计算步骤(3)得到的邻域像素总数X(i,j)在整幅梯度二值化图像G内的均值μX和方差σX,计算公式如下:
Figure BDA0002334280260000061
Figure BDA0002334280260000062
其中,WX为邻域像素总数X的宽度,HX为邻域像素总数X的高度;
步骤(5):采用步骤(4)得到的均值μX和方差σX构建梯度特征F1,采用组合公式如下:
F1=[μXX]
步骤(6):计算步骤(1)得到的色调映射灰度失真图像D在(i,j)像素处的最小方向曲率的均值、方差、峰度和偏度,包括以下子步骤:
步骤(6.1):构建角度为0、
Figure BDA0002334280260000071
Figure BDA0002334280260000072
的一阶导数滤波器h0、h1、h2、h3、h4和h5如下:
Figure BDA0002334280260000073
Figure BDA0002334280260000074
步骤(6.2):构建角度为0、
Figure BDA0002334280260000075
Figure BDA0002334280260000076
的二阶导数滤波器g0、g1、g2、g3、g4和g5如下:
Figure BDA0002334280260000077
Figure BDA0002334280260000078
步骤(6.3):采用步骤(6.1)构建的一阶导数滤波器h0、h1、h2、h3、h4和h5,采用一阶导数滤波器对色调映射灰度失真图像D的各(i,j)处像素进行卷积,得到对应的一阶导数d0(i,j)、d1(i,j)、d2(i,j)、d3(i,j)、d4(i,j)和d5(i,j);
步骤(6.4):采用步骤(6.2)构建的二阶导数滤波器g0、g1、g2、g3、g4和g5,采用二阶导数滤波器对色调映射灰度失真图像D的各(i,j)处像素进行卷积,得到对应的二阶导数t0(i,j)、t1(i,j)、t2(i,j)、t3(i,j)、t4(i,j)和t5(i,j);
步骤(6.5):计算色调映射灰度失真图像D的(i,j)处像素在角度为0、
Figure BDA0002334280260000081
Figure BDA0002334280260000082
Figure BDA0002334280260000083
的方向曲率Kn(i,j),计算公式如下:
Figure BDA0002334280260000084
其中,tn(i,j)为(i,j)处像素在第n个方向上的二阶导数,dn(i,j)为(i,j)处像素在第n个方向上的一阶导数,n取值为0~5,分别对应0、
Figure BDA0002334280260000085
Figure BDA0002334280260000086
这6个方向;|·|为求绝对值操作;
步骤(6.6):计算n个方向的最小方向曲率K(i,j),计算公式如下:
K(i,j)=minKn(i,j)
其中,min(·)为求6个方向的最小方向曲率操作,n取值为0~5,(i,j)为图像像素坐标;
步骤(6.7):计算步骤(6.6)得到的最小方向曲率K(i,j)在整幅图像的均值μK、方差σK、峰度βK和偏度γK,计算公式如下:
Figure BDA0002334280260000087
Figure BDA0002334280260000088
其中,WK为一幅图像中像素点(i,j)的水平索引最大值,HK为一幅图像中像素点(i,j)的垂直索引最大值,L为一幅图像中像素点(i,j)总个数,L=WK×HK
步骤(7):采用步骤(6.7)得到的最小方向曲率的均值μK、方差σK、峰度βK和偏度γK构建最小方向曲率特征F2,采用组合公式如下:
F2=[μKKKK]
步骤(8):对步骤(1)得到的色调映射灰度失真图像D进行二维离散傅里叶变换,得到色调映射灰度失真图像D的傅里叶变换系数Y(u,v),其中,u为Y(u,v)的水平索引,v为Y(u,v)的垂直索引,二维离散傅立叶变换为本领域通用算法;
步骤(9):根据傅里叶变换系数Y(u,v)得到相位信息
Figure BDA0002334280260000091
采用公式如下:
Figure BDA0002334280260000092
其中,re(Y(u,v))为Y(u,v)的实部,im(Y(u,v))为Y(u,v)的虚部,arctan(·)为求反正切操作;
步骤(10):将步骤(9)得到的相位信息
Figure BDA0002334280260000093
组成相位图像Φ;
步骤(11):计算步骤(10)得到的相位图像Φ在(u,v)处的均匀局部二值模式特征ULBPB,计算方法如下:
Figure BDA0002334280260000094
Figure BDA0002334280260000095
其中,LBPB(u,v)为相位图像Φ在(u,v)处的局部二值模式特征,ULBPB(u,v)为相位图像Φ在(u,v)处的均匀局部二值模式特征;Φ(u,v)为相位图像Φ在(u,v)处的取值;Φb为相位图像Φ在(u,v)处的B个邻域点的取值,b取0~B-1,则Φb={Φ01,...,ΦB-1},B取值为8,则Φ01,...,Φ7分别对应Φ(u+1,v)、Φ(u+1,v+1)、Φ(u,v+1)、Φ(u-1,v+1)、Φ(u-1,v)、Φ(u-1,v-1)、Φ(u,v-1)和Φ(u-1,v+1);当Φb≥Φ(u,v)时,t[Φb-Φ(u,v)]=1,当Φb<Φ(u,v)时,t[Φb-Φ(u,v)]=0;
步骤(12):利用步骤(11)得到的均匀局部二值模式特征ULBPB,计算均匀局部二值模式直方图,组合成均匀局部二值模式直方图特征F3,计算方法如下:
F3=hist[ULBPB(u,v)]=[f0,f1,f2,...,fB+1]
其中,ULBPB(u,v)为相位图像Φ在(u,v)处的均匀局部二值模式特征,均匀局部二值模式直方图的分组个数为B+2,hist[·]为取直方图操作,fk为直方图中取值为k的直方图分组中的元素个数,k取0~B+1;
步骤(13)计算步骤(1)得到的色调映射灰度失真图像D的邻域SSIM差异度的均值、方差、峰度和偏度,包括以下子步骤:
步骤(13.1)将色调映射灰度失真图像D划分为大小为W×W、不重叠的图像块A,A∈RW×W,R为实数,W为图像块A的宽度或高度;图像块A在图像D中的位置记为(ε,η),其中,ε为图像块矩阵A在图像D中的水平索引,η为图像块A在图像D中的的垂直索引;
步骤(13.2)计算得到图像块A与其上、右上、右、右下、下、左下、左、和左上邻域图像块之间的邻域结构相似性数值;将图像块A上、右上、右、右下、下、左下、左、和左上邻域图像块(如图2所示)分别记为A1(ε,η)、A2(ε,η)、A3(ε,η)、A4(ε,η)、A5(ε,η)、A6(ε,η)、A7(ε,η)和A8(ε,η),图像块A与其上、右上、右、右下、下、左下、左、和左上邻域图像块(如图3所示)之间的邻域结构相似性数值分别记为S1(ε,η)、S2(ε,η)、S3(ε,η)、S4(ε,η)、S5(ε,η)、S6(ε,η)、S7(ε,η)和S8(ε,η),以计算S1(ε,η)为例,其计算公式为:
S1(ε,η)=SSIM[A1(ε,η),A(ε,η)]
其中,A(ε,η)为(ε,η)位置的图像块,A1(ε,η)为(ε,η)位置邻域上方位置的图像块;SSIM[·]为计算两个图像块之间的SSIM数值函数,通过调用MATLAB的SSIM子函数实现,采用的方法为Wang Zhou的算法[Zhou Wang,Alan Conrad Bovik,Hamid Rahim Sheikh,Image Quality Assessment:From Error Visibility to Structural Similarity,IEEETransactions on Image Processing,vol.13,pp.600-612,2004.],其他邻域结构相似性数值可以用类似的方法求得;
步骤(13.3)计算步骤(13.2)得到的图像块A的八个邻域结构相似性数值S1(ε,η)、S2(ε,η)、S3(ε,η)、S4(ε,η)、S5(ε,η)、S6(ε,η)、S7(ε,η)和S8(ε,η)的均值,记为SA(p,q);
步骤(13.4)比较八个邻域结构相似性数值S1(ε,η)、S2(ε,η)、S3(ε,η)、S4(ε,η)、S5(ε,η)、S6(ε,η)、S7(ε,η)和S8(ε,η)与SA(ε,η)的大小;分别得到八个邻域结构相似性对比值(如图4所示)L1(ε,η)、L2(ε,η)、L3(ε,η)、L4(ε,η)、L5(ε,η)、L6(ε,η)、L7(ε,η)和L8(ε,η),计算L1(ε,η)为例,其计算公式为:
Figure BDA0002334280260000111
步骤(13.5)将步骤(13.4)得到的八个邻域结构相似性对比值按L1(ε,η)、L2(ε,η)、L3(ε,η)、L4(ε,η)、L5(ε,η)、L6(ε,η)、L7(ε,η)和L8(ε,η)的顺序组成0-1二进制序列,并将该二进制序列转换成十进制整数;该十进制整数为图像块A的邻域结构相似性差异度,记为Q(ε,η);
步骤(13.6)计算步骤(13.5)得到的邻域结构相似性差异度Q(ε,η)在一幅图像D中的均值、方差、峰度和偏度,记为μQ、σQ、βQ和γQ,计算公式如下:
Figure BDA0002334280260000112
Figure BDA0002334280260000113
其中,WQ为邻域结构相似性差异度Q(ε,η)的水平索引最大值,HQ为邻域结构相似性差异度Q(ε,η)的垂直索引最大值,λ为邻域结构相似性差异度的总个数,即λ=WQ×HQ
步骤(14):采用步骤(13.6)得到的均值μQ、方差σQ、峰度βQ和偏度γQ组成邻域结构相似性差异特征F4,采用组合公式如下:
F4=[μQQQQ]
步骤(15):采用步骤(5)得到的梯度特征F1、步骤(7)得到的最小方向曲率特征F2、步骤(12)得到的均匀局部二值模式直方图特征F3和步骤(14)得到的邻域结构相似性差异特征F4组合成总的图像质量评价特征F,采用组合公式如下:
F=[F1,F2,F3,F4]
步骤(16):将步骤(15)得到的图像质量评价特征F和ESPL-LIVE HDR图像数据库中对应的平均主观意见分(Mean Opinion Score,MOS)送到支持向量回归机中进行训练,得到训练后的支持向量回归机;
步骤(17):将测试集图像同样按步骤(1)到步骤(15)的流程提取出特征向量F,送到步骤(16)训练后的支持向量回归机中进行测试,得到客观的图像质量评价结果;以上步骤中支持向量回归机采用台湾大学开发的Libsvm支持向量机工具包进行训练和测试,采用径向基函数作为核函数。
本发明首先提取梯度边缘图像在局部邻域的像素总数的均值、方差、峰度和偏度作为梯度特征,该特征充分考虑了图像失真对色调映射图像的局部边缘信息的影响;同时提取最小方向曲率的均值、方差、峰度和偏度作为最小方向曲率特征,该特征考虑了图像失真对局部曲率的影响;并提取图像块邻域的结构相似性差异度的均值、方差、峰度和偏度作为邻域结构相似性差异特征,该特征考虑了图像失真对图像块与邻域图像块之间的结构相似性差异度的影响;最后,提取相位图像的均匀局部二值模式直方图作为均匀局部二值模式直方图特征,该特征考虑了图像失真对相位图像的全部纹理特性的影响;本发明同时提取梯度邻域像素总数、最小方向曲率和结构相似性差异度的均值、方差、峰度和偏度作为作为局部特征,并提取相位图像的均匀局部二值模式直方图特征作为全局特征;在全局和局部上对图像失真度进行衡量,提高了色调映射图像质量评价的精度。

Claims (5)

1.一种基于结构相似性差异度的色调映射图像质量评价方法,其特征在于,包括以下步骤:
(1)输入色调映射彩色失真图像,并转换为色调映射灰度失真图像D。
(2)构建梯度特征F1,包括以下子步骤:
(2.1)采用Canny算子处理步骤(1)得到的色调映射灰度失真图像D,得到梯度二值化图像G。
(2.2)计算像素点G(i,j)的N×N邻域内取值为1的邻域像素总数X(i,j)。
(2.3)计算邻域像素总数X(i,j)的均值μX和方差σX,构建梯度特征F1=[μXX]。
(3)构建最小方向曲率特征F2,包括以下子步骤:
(3.1)构建角度为
Figure FDA0002334280250000011
Figure FDA0002334280250000012
的一阶导数滤波器h0、h1、h2、h3、h4和h5,用一阶导数滤波器分别对步骤(1)得到的色调映射灰度失真图像D进行卷积,得到对应的一阶导数d0(i,j)、d1(i,j)、d2(i,j)、d3(i,j)、d4(i,j)和d5(i,j)。
(3.2)构建角度为
Figure FDA0002334280250000013
Figure FDA0002334280250000014
的二阶导数滤波器g0、g1、g2、g3、g4和g5,分别对步骤(1)得到的色调映射灰度失真图像D进行卷积,得到对应的二阶导数t0(i,j)、t1(i,j)、t2(i,j)、t3(i,j)、t4(i,j)和t5(i,j);
(3.3)计算色调映射灰度失真图像D在角度为
Figure FDA0002334280250000015
Figure FDA0002334280250000016
的方向曲率Kn(i,j),采用公式如下:
Figure FDA0002334280250000017
其中,n取值为0~5;|·|为求绝对值操作;
(3.4)计算最小方向曲率K(i,j)=minKn(i,j);
(3.5)计算最小方向曲率K(i,j)的均值μK、方差σK、峰度βK和偏度γK等,构建最小方向曲率特征F2=[μKKKK];
(4)构建均匀局部二值模式直方图特征F3,包括以下子步骤:
(4.1)对步骤(1)得到的色调映射灰度失真图像D进行二维离散傅里叶变换,得到傅里叶变换系数Y(u,v);
(4.2)根据傅里叶变换系数Y(u,v)得到相位图像Φ:
Figure FDA0002334280250000021
其中,re(Y(u,v))为Y(u,v)的实部,im(Y(u,v))为Y(u,v)的虚部,arctan(·)为求反正切操作;
(4.3)计算相位图像Φ的均匀局部二值模式特征ULBPB
Figure FDA0002334280250000022
Figure FDA0002334280250000023
其中,LBPB(u,v)为相位图像Φ的局部二值模式特征;Φb={Φ01,...,ΦB-1}为Φ(u,v)的B个邻域点,且B=8,b=0~B-1;当Φb≥Φ(u,v)时,t[Φb-Φ(u,v)]=1,当Φb<Φ(u,v)时,t[Φb-Φ(u,v)]=0;
(4.4)根据步骤(4.3)得到的均匀局部二值模式特征ULBPB,构建均匀局部二值模式直方图特征F3
F3=hist[ULBPB(u,v)]=[f0,f1,f2,...,fB+1]
其中,hist[·]为取直方图操作,fk为取值为k的直方图分组中的元素个数,k取0~B+1;
(5)构建邻域结构相似性差异特征F4,包括以下子步骤:
(5.1)将步骤(1)得到的色调映射灰度失真图像D划分成由大小为W×W的图像块A(ε,η)组成的矩阵;
(5.2)依次计算图像块A与其上、右上、右、右下、下、左下、左、和左上邻域图像块之间的结构相似性得到邻域结构相似性数值,记为S1(ε,η)、S2(ε,η)、S3(ε,η)、S4(ε,η)、S5(ε,η)、S6(ε,η)、S7(ε,η)和S8(ε,η),并求平均得到邻域结构相似性均值SA(ε,η);
(5.3)依次比较步骤(5.2)得到的邻域结构相似性数值与其均值SA(ε,η)的大小得到对应的邻域结构相似性对比值L1(ε,η)、L2(ε,η)、L3(ε,η)、L4(ε,η)、L5(ε,η)、L6(ε,η)、L7(ε,η)和L8(ε,η);当邻域结构相似性数值大于等于其均值时;邻域结构相似性对比值为1,否则为0;
(5.4)将步骤(5.3)得到的邻域结构相似性对比值按L1(ε,η)~L8(ε,η)的顺序组成二进制序列,并转换成十进制整数作为图像块A的邻域结构相似性差异度Q(ε,η);
(5.5)计算邻域结构相似性差异度Q(ε,η)的均值μQ、方差σQ、峰度βQ和偏度γQ,构建邻域结构相似性差异特征F4=[μQQQQ];
(6)根据步骤(2)得到的梯度特征F1、步骤(3)得到的最小方向曲率特征F2、步骤(4)得到的均匀局部二值模式直方图特征F3和步骤(5)得到的邻域结构相似性差异特征F4构建图像质量评价特征F=[F1,F2,F3,F4];
(7)将步骤(6)得到的图像质量评价特征F和对应的平均主观意见分送入支持向量回归机训练;
(8)将待评价图像按步骤(1)~(7)提取图像质量评价特征F,输入步骤(7)训练好的支持向量回归机,得到图像质量评价结果。
2.根据权利要求1所述基于结构相似性差异度的色调映射图像质量评价方法,其特征在于,所述步骤(2)中Canny算子中的高斯滤波器标准差为1.5,双阈值分别为0.04和0.1。
3.根据权利要求1所述基于结构相似性差异度的色调映射图像质量评价方法,其特征在于,所述步骤(3.1)中角度为
Figure FDA0002334280250000031
Figure FDA0002334280250000032
的一阶导数滤波器为:
Figure FDA0002334280250000033
Figure FDA0002334280250000041
4.根据权利要求1所述基于结构相似性差异度的色调映射图像质量评价方法,其特征在于,所述步骤(3.2)中角度为
Figure FDA0002334280250000042
Figure FDA0002334280250000043
的二阶导数滤波器为:
Figure FDA0002334280250000044
Figure FDA0002334280250000045
5.根据权利要求1所述基于结构相似性差异度的色调映射图像质量评价方法,其特征在于,所述支持向量回归机的核函数为径向基函数。
CN201911349334.9A 2019-12-24 2019-12-24 一种基于结构相似性差异度的色调映射图像质量评价方法 Active CN110996096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349334.9A CN110996096B (zh) 2019-12-24 2019-12-24 一种基于结构相似性差异度的色调映射图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349334.9A CN110996096B (zh) 2019-12-24 2019-12-24 一种基于结构相似性差异度的色调映射图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110996096A true CN110996096A (zh) 2020-04-10
CN110996096B CN110996096B (zh) 2021-05-25

Family

ID=70076291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349334.9A Active CN110996096B (zh) 2019-12-24 2019-12-24 一种基于结构相似性差异度的色调映射图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110996096B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085668A (zh) * 2020-08-14 2020-12-15 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN113014918A (zh) * 2021-03-03 2021-06-22 重庆理工大学 一种基于偏度和结构特征的虚拟视点图像质量评价方法
CN114842000A (zh) * 2022-07-01 2022-08-02 杭州同花顺数据开发有限公司 一种内窥镜图像质量评估方法和系统
WO2023160645A1 (zh) * 2022-02-25 2023-08-31 索尼集团公司 图像增强方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683079A (zh) * 2016-12-14 2017-05-17 浙江科技学院 一种基于结构失真的无参考图像客观质量评价方法
KR101846743B1 (ko) * 2016-11-28 2018-04-09 연세대학교 산학협력단 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치
CN109003265A (zh) * 2018-07-09 2018-12-14 嘉兴学院 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101846743B1 (ko) * 2016-11-28 2018-04-09 연세대학교 산학협력단 톤 맵핑 영상에 대한 객관적 화질 평가 방법 및 장치
CN106683079A (zh) * 2016-12-14 2017-05-17 浙江科技学院 一种基于结构失真的无参考图像客观质量评价方法
CN109003265A (zh) * 2018-07-09 2018-12-14 嘉兴学院 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085668A (zh) * 2020-08-14 2020-12-15 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN112085668B (zh) * 2020-08-14 2023-10-10 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN113014918A (zh) * 2021-03-03 2021-06-22 重庆理工大学 一种基于偏度和结构特征的虚拟视点图像质量评价方法
CN113014918B (zh) * 2021-03-03 2022-09-02 重庆理工大学 一种基于偏度和结构特征的虚拟视点图像质量评价方法
WO2023160645A1 (zh) * 2022-02-25 2023-08-31 索尼集团公司 图像增强方法及设备
CN114842000A (zh) * 2022-07-01 2022-08-02 杭州同花顺数据开发有限公司 一种内窥镜图像质量评估方法和系统

Also Published As

Publication number Publication date
CN110996096B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN110996096B (zh) 一种基于结构相似性差异度的色调映射图像质量评价方法
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Lin et al. MSAFF-Net: Multiscale attention feature fusion networks for single image dehazing and beyond
CN105261013B (zh) 一种扫描图像质量综合评价方法及评价系统
WO2019242329A1 (zh) 一种卷积神经网络训练方法及装置
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN109886945B (zh) 基于对比度增强的无参考对比度失真图像质量评价方法
CN112801141B (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
CN112184672A (zh) 一种无参考图像质量评价方法及系统
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
CN110689060A (zh) 一种基于聚合特征差异学习网络的异源图像匹配方法
CN110458792A (zh) 人脸图像质量的评价方法及装置
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN113421223A (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
CN109376782B (zh) 基于眼部影像特征的支持向量机白内障分级方法及装置
CN108629771B (zh) 一种具有尺度鲁棒性的图像质量盲评价方法
CN115100068A (zh) 一种红外图像校正方法
CN105389775B (zh) 融合图像灰度特征与结构化表示的图像群组配准方法
CN111738984A (zh) 基于分水岭和种子填充的皮肤图像斑点评估方法及系统
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
CN113643290B (zh) 一种基于图像处理的吸管计数方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xu Qiaochu

Inventor after: Wang Bin

Inventor after: Chen Shucong

Inventor after: Jiang Feilong

Inventor after: Zhu Haibin

Inventor after: Mao Linghang

Inventor after: Zhang Ao

Inventor after: Li Xinglong

Inventor before: Wang Bin

Inventor before: Chen Shucong

Inventor before: Jiang Feilong

Inventor before: Zhu Haibin

Inventor before: Mao Linghang

Inventor before: Xu Qiaochu

Inventor before: Zhang Ao

Inventor before: Li Xinglong

GR01 Patent grant
GR01 Patent grant