[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110211090B - 一种用于评价视角合成图像质量的方法 - Google Patents

一种用于评价视角合成图像质量的方法 Download PDF

Info

Publication number
CN110211090B
CN110211090B CN201910333331.XA CN201910333331A CN110211090B CN 110211090 B CN110211090 B CN 110211090B CN 201910333331 A CN201910333331 A CN 201910333331A CN 110211090 B CN110211090 B CN 110211090B
Authority
CN
China
Prior art keywords
image
pixel
view
distortion
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910333331.XA
Other languages
English (en)
Other versions
CN110211090A (zh
Inventor
李雷达
周玉
吴金建
李甫
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910333331.XA priority Critical patent/CN110211090B/zh
Publication of CN110211090A publication Critical patent/CN110211090A/zh
Application granted granted Critical
Publication of CN110211090B publication Critical patent/CN110211090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种用于评价视角合成图像质量的方法,该方法包括四个步骤:(1)采用超像素分割法将待评价的视角合成图像Is及Is的原始图像Ir分别分割为K个超像素;(2)对视角合成图像Is进行全局模糊评价,得到全局模糊评价质量分数Q1;(3)定位视角合成图像中的实例,并对实例边缘处的几何失真进行定量描述,得到局部几何失真质量分数Q2;(4)根据Q1和Q2生成视角合成图像Is的质量分数。本发明可以更准确地评价视角合成图像中的全局模糊和局部几何失真。

Description

一种用于评价视角合成图像质量的方法
技术领域
本发明涉及图像质量评价技术领域,尤其是一种用于评价视角合成图像质量的方法。
背景技术
多视角和自由视角技术是可视媒体的重要前沿性研究领域,具有广阔的应用前景。在多视角和自由视角应用中,最关键的技术和难点是虚拟视角的合成[1]。这是因为在实际环境中受硬件成本和网络带宽等条件的制约,往往只能在有限的视角处布置摄像机获取纹理图像和深度图像,经过编码和传输后,在接收端利用这些已有视角的信息对其余视角(虚拟视角)进行合成。基于深度图的绘制方法(Depth Image Based Rendering,DIBR)是目前虚拟视角合成的最常用方法。该方法是通过利用已有视角的纹理图像和深度图像来合成新的视角图像。现有的DIBR视角绘制方法很多,如A1[2]-A6[7]。在合成同一视角时,不同的DIBR视角合成方法性能不同,即它们合成图像的质量有所不同。此外,一种视角绘制方法不能在所有场景的视角绘制中均保持最好的性能。所以,在实际应用中,对于待合成的视角图,如何对现有的DIBR视角绘制方法性能进行排序,从而选取性能最好的视角合成方法是关键问题。对各个DIBR视角合成方法合成的视角图质量进行有效地定量评价是最直接的解决方法。高质量的视角合成图对应的合成方法就是性能好的视角合成方法。
现有的质量评价方法分为主观评价方法和客观评价方法。主观评价方法虽然评价结果最为准确,但是费时费力,实际操作中不可行。所以,设计客观质量评价方法具有重要意义。而传统图像质量评价方法不能够对视角合成图像的质量进行准确评价,主要原因在于:传统评价方法主要针对失真相对均匀的图像,而合成图像失真中的局部几何失真相比较全局的模糊失真具有更高的视觉显著性。所以,传统的质量评价方法往往会低估此类局部的显著失真对视觉质量的影响;
现有的针对视角合成图像的质量评价方法有很多:Bosc等人[8]首先构建了一个视角合成图像库,并在SSIM算法的基础上提出了一种改进型质量评价方法;在质量评价时仅对原始视角的纹理图像和合成图像中对应的边缘区域利用SSIM评价,最后将SSIM均值作为最终的质量分数;Conze等人[9]首先采用SSIM算法计算合成图像和原始纹理图像之间的失真图,然后根据纹理复杂度、梯度方向和对比度计算三个加权图,最后利用加权图对失真图进行加权处理,从而得到质量分数。Stankovic等[10]提出利用形态学小波对原始图像和合成图像进行多级分解,并在多个细节子带上计算均方误差,在此基础上进一步计算多尺度峰值信噪比并将其作为质量分数;Gu等人[11]提出了一种基于自回归模型的合成图像质量评价方法。该方法首先计算出合成图像的自回归图像,然后利用合成图像和自回归图像的差异来提取几何失真区域。采用一个阈值,将两幅图像的差值图像变换为二值图像。最后,二值图像和预测出来的自然图像之间的相似性数值被最为合成图像的质量分数。Battisti等[12]提出的算法首先对参考图像和合成图像进行分块,运用运动估计算法进行匹配;对匹配后的图像块进行小波变换并计算系数直方图,利用Kolmogorov-Smirnov距离描述合成图像的失真程度;Li等人[13]提出了一种基于局部几何失真和全局清晰度的视角合成图像质量评价方法。首先,检测出空洞区域,然后将空洞区域的大小和强度结合计算出局部几何失真分数;然后,利用再次模糊的方法计算出图像的全局清晰度分数。最后,将两个分数相结合生成合成图像的质量分数。Zhou等[14]分别对低层结构和中层结构失真进行描述,然后将两者结合进行视角合成图像质量评价。Zhou等[15]通过计算合成后视角图和参考视角图的多尺度边缘相似性来度量合成视角的质量。
以上现有的针对视角合成图像的质量评价方法相比传统的质量评价方法在评价虚拟合成视角质量时已经取得较大进展,但是仍不够理想。进而,它们在对虚拟视角绘制方法性能排序方面性能也是有限。原因在于:视角合成图像中同时含有全局的模糊失真和局部的几何失真,而方法[8]-[11]均忽略了视角合成图像中局部几何失真对视觉质量的影响;方法[12]-[15]虽然考虑了局部几何失真的影响,但是不能够准确提取视角合成图像中的几何失真区域,从而造成其性能上仍然不够理想。所以,亟需设计出一种更加有效的视角合成方法,使其能够对DIBR绘制算法性能进行有效排序。
[1]Y.C.Fan,P.K.Huang,and D.W.Shen,“3DTV depth map reconstructionbased on structured light scheme,”IEEE Int.Instrum.Meas.Technol.Conf.,pp.835-838,May 2013.
[2]C.Fehn,“Depth-image-based rendering(DIBR),compression andtransmission for a new approach on 3D-TV,”SPIE Conf.Stereoscopic Displays andVirtual Reality Systems X,vol.5291,pp.93-104,Jan.2004.
[3]A.Telea,“An image inpainting technique based on the fast marchingmethod,”J.Graphics,GPU,Game Tools,vol.9,no.1,pp.23-34,2004.
[4]Y.Mori,N.Fukushima,T.Yendo,T.Fujii,and M.Tanimoto,“View generationwith 3-D warping using depth information for FTV,”Signal Processing:ImageCommu.,vol.24,pp.65-72,Jan.2009.
[5]K.Muller,A.Smolic,K.Dix,P.Merkle,P.Kauff,and T.Wiegand,“Viewsynthesis for advanced 3-D video systems,”J.Image Video Process.,Article ID438148.Nov.2008.
[6]P.N.Nya,M.Koppel,D.Doshkov,H.Lakshman,P.Merkle,K.Muller,andT.Wiegand,“Depth image based rendering with advanced texture synthesis,”IEEEInt.Conf.Multimedia Expo,pp.424-429,Jul.2010.
[7]M.Koppel,P.N.Nya,D.Doshkov,H.Lakshman,P.Merkle,K.Mller,andT.Wiegand,“Temporally consistent handling of disocclusions with.texturesynthesis for depth-image-based rendering,”IEEE Int.Conf.Image Process.,pp.1809-1812,Sep.2010.
[8]E.Bosc,R.Pépion,P.L.Callet,M.Koppel,P.N.Nya,L.Morin andM.Pressigout,“Towards a new qualtiy metric for 3-D synthesized viewassessment,”IEEE J.Select.Top.Signal Process.,vol.5,no.7,pp.1332-1343,Sep.2011.
[9]P.H.Conze,P.Robert and L.Morin,“Objective view synthesis qualityassessment,”Electron.Imag.Int.Society for Optics and Photonics,vol.8288,pp.8288-8256,Feb.2012.
[10]D.S.Stankovic,D.Kukolj and P.L.Callet,“DIBR synthesized imagequality assessment based on morphological wavelets,”IEEE Int.Workshop onQuality of Multimedia Experience,pp.1-6,Jan.2015.
[11]K.Gu,V.Jakhetiya,J.F.Qiao,X.L.Li,W.S.Lin and D.Thalmann,“Model-based referenceless quality metric of 3D synthesized images using local imagedescription,”IEEE Trans.Image Process.,vol.27,pp.394-405,2018.
[12]F.Battisti,E.Bosc,M.Carli and P.L.Callet,“Objective image qualityassessment of 3D synthesized views,”Sig.Process.:Image Commun.,vol.30,pp.78-88,Jan.2015.
[13]L.D.Li,Y.Zhou,K.Gu,W.S.Lin,and S.Q.Wang,“Quality assessment ofDIBR-synthesized images by measuring local geometric distortions and globalsharpness,”IEEE Trans.Multimedia,vol.20,no.4,pp:914-926,2018.
[14]Y.Zhou,L.D.Li,S.Y.Ling,and P.Le Callet,“Quality assessment forview synthesis using low-level and mid-level structural representation”,Signal Processing:Image Communication,vol.74,pp.309-321,2019.
[15]Y.Zhou,L.Yang,L.D.Li,K.Gu,L.J.Tang,“Reduced-reference qualityassessment of DIBR-synthesized images based on multi-scale edge intensitysimilarity”,Multimedia Tools and Applications,vol.77,pp:21033-21052,2018.
发明内容
发明目的:为弥补现有技术无法评价视角合成图像中的全局模糊和局部几何失真的技术缺陷,本发明提出一种用于评价视角合成图像质量的方法。
技术方案:为实现上述目的,本发明提出的技术方案如下:
一种用于评价视角合成图像质量的方法,所述视角合成图像为采用DIBR视角合成方法合成的图像;该方法包括步骤:
(1)图像预处理:采用超像素分割法将待评价的视角合成图像Is及Is的原始图像Ir分别分割为K个超像素;
(2)对所述视角合成图像Is进行全局模糊评价:对于视角合成图像Is的每个超像素Si,计算其均值
Figure BDA0002038113120000041
方差
Figure BDA0002038113120000042
和像素数
Figure BDA0002038113120000043
其中i为超像素索引,i∈[1,K];构建视角合成图像Is的一维特征矩阵M1
Figure BDA0002038113120000044
计算原始图像Ir的每个超像素的均值、方差和像素数,并构建原始图像Ir的一维特征矩阵M2
计算M1和M2的相似性,将计算结果作为衡量视角合成图像Is全局模糊失真的质量分数Q1
(3)对所述视角合成图像Is进行局部几何失真评价:通过预先训练好的实例分割模型MASKRCNN检测原始图像Ir和视角合成图像Is中的实例;利用边缘检测方法检测实例,提取出实例的边缘;对检测出的边缘进行膨胀操作,得到原始图像Ir和视角合成图像Is中各实例的失真区域;将每个实例的失真区域分为大小相等的图像块,采用离散正交矩描述每一个图像块;对每一个实例,求其所有图像块的矩能量之和,并将求得的结果作为该实例的实例能量;计算原始图像Ir中所有实例能量的均值
Figure BDA0002038113120000051
和视角合成图像Is中所有实例能量的均值
Figure BDA0002038113120000052
Figure BDA0002038113120000053
Figure BDA0002038113120000054
差值的绝对值作为视角合成图像的局部几何失真质量分数Q2,即
Figure BDA0002038113120000055
(4)根据Q1和Q2生成视角合成图像Is的质量分数Q:
Q=w1Q1-w2Q2
其中,w1和w2分别为全局模糊失真和局部几何失真的权重系数。
进一步的,所述将一幅图像I分割为K个超像素的具体步骤包括:
(2-1)将图像I从RGB颜色空间转换为XYZ空间:
Figure BDA0002038113120000056
然后,将XYZ格式的图像转换到LAB空间:
L=116f(Y)-16
a=500[f(X)-f(Y)]
b=200[f(Y)-f(Z)]
其中,
Figure BDA0002038113120000057
(2-2)确定超像素的个数K和图像I中的总像素点个数N,在图像I内均匀的分配K个种子点,相邻种子点的距离为
Figure BDA0002038113120000061
(2-3)更新种子点的位置:对每一个种子点,计算其3*3邻域内所有像素的梯度,将梯度最小的像素位置作为更新后的种子点;
(2-4)以更新后的每一个种子点z为中心,计算种子点z邻域2D*2D内每个像素点p与种子点z的距离:
Figure BDA0002038113120000062
Figure BDA0002038113120000063
Figure BDA0002038113120000064
Figure BDA0002038113120000065
其中,dc、ds、Nc、Ns分别表示z与p之间的颜色距离、空间距离、最大颜色距离、最大空间距离;(Lp,ap,bp)表示像素点p在LAB空间的坐标,(Lz,az,bz)表示种子点z在LAB空间的坐标,(xp,yp)表示像素点p的像素坐标,(xz,yz)表示种子点z的像素坐标;
对每一个像素点p,从其周围的种子点中选取与像素点p最近的种子点,作为像素点p的聚类中心;
(2-5)反复执行步骤(2-3)至(2-4),直至每个像素点p的聚类中心不再改变,此时,根据各聚类中心对图像I中的像素点进行聚类,得到K个超像素。
进一步的,所述计算每个超像素Si的均值
Figure BDA0002038113120000066
方差
Figure BDA0002038113120000067
和像素数
Figure BDA0002038113120000068
的公式为:
Figure BDA0002038113120000069
Figure BDA00020381131200000610
其中,
Figure BDA00020381131200000611
表示第i个超像素中第j个像素点对应的灰度值。
进一步的,所述全局模糊失真的质量分数Q1的计算公式为:
Figure BDA0002038113120000071
其中,c是一个接近于零的正数,用于保证Q1的分母不为0。
进一步的,所述步骤(3)中采用切比雪夫离散正交矩描述失真区域的每一个图像块。
进一步的,所述实例分割模型MASKRCNN是利用COCO数据集训练得到的。
有益效果:与现有技术相比,本发明具有以下优势:
1、和传统的质量评价方法相比,本方法增加了对局部几何失真的描述,更加符合视角合成图像中的失真特性;
2、和现有的针对视角合成的质量评价方法相比,本方法能够更准确地提取视角合成图像中的局部几何失真区域;
3、相比传统的质量评价方法和现有的针对视角合成的质量评价方法,本发明的方法性能最优越,且在视角绘制算法排序上具有更优越的性能表现。
附图说明
图1为本发明的流程图。
具体实施方式
DIBR视角绘制过程带来的失真主要为全局的模糊失真和局部的几何失真。其中,局部的几何失真主要分布在图像中实例的边缘。如何评价图像中的全局模糊和局部几何失真是本发明所要解决的关键技术问题,该技术问题体现在两方面:1、如何描述合成视角图像中的全局模糊失真;2、如何定位视角合成图像中的实例,并对实例边缘处的几何失真进行定量描述。
下面结合附图和具体实施例对本发明作更进一步的说明。
图1为本发明的流程图,如图所示,本发明包括三个模块:
模块1:量化图像中的全局模糊失真;
模块2:量化图像中的局部几何失真;
模块3:将模糊分数和几何失真分数结合,生成最终的质量分数。
下面对这三个模块进行详细介绍:
模块1:
(1)超像素分割-采用超像素分割法将待评价的视角合成图像Is及Is的原始图像Ir分别分割为K个超像素。
(2)全局模糊失真描述-对于视角合成图像Is的每个超像素Si,计算其均值
Figure BDA0002038113120000081
方差
Figure BDA0002038113120000082
和像素数
Figure BDA0002038113120000083
其中i为超像素索引,i∈[1,K];根据计算出的每个超像素的均值、方差和像素数,构建视角合成图像Is的一维特征矩阵M1
Figure BDA0002038113120000084
计算原始图像Ir的每个超像素的均值、方差和像素数,并构建原始图像Ir的一维特征矩阵M2
计算M1和M2的相似性,将计算结果作为衡量视角合成图像Is全局模糊失真的质量分数Q1;Q1越大,代表视角合成图像与原始无失真图像越接近,即Is质量越高。
模块2:
(1)实例分割-由于局部的视角绘制失真主要分布在实例边缘,本发明采用在COCO数据集上训练的实例分割模型MASKRCNN检测原始图像Ir和视角合成图像Is中的实例。然后利用边缘检测方法检测实例边缘,并对检测出的边缘进行膨胀操作,得到原始图像Ir和视角合成图像Is中各实例的失真区域。
(2)局部几何失真描述-将每个实例的失真区域分为大小相等的图像块,采用离散正交矩描述每一个图像块;对每一个实例,求其所有图像块的矩能量之和,并将求得的结果作为该实例的实例能量;计算原始图像Ir中所有实例能量的均值
Figure BDA0002038113120000085
和视角合成图像Is中所有实例能量的均值
Figure BDA0002038113120000086
Figure BDA0002038113120000087
Figure BDA0002038113120000088
差值的绝对值作为视角合成图像的局部几何失真质量分数Q2,即
Figure BDA0002038113120000089
模块3:
池化-将Q1和Q2结合,生成最终的质量分数Q=w1Q1-w2Q2。其中,w1和w2分别为全局模糊失真和局部几何失真的权重系数。
下面通过具体实施例进一步阐述本发明的技术方案,具体步骤如下:
步骤一、采用超像素分割法将待评价的视角合成图像Is及Is的原始图像Ir分别分割为K个超像素;记I∈{Is,Ir},将图像I分割为K个超像素的具体步骤包括:
将图像I从RGB颜色空间转换为XYZ空间:
Figure BDA0002038113120000091
然后,将XYZ格式的图像转换到LAB空间:
L=116f(Y)-16
a=500[f(X)-f(Y)]
b=200[f(Y)-f(Z)]
其中,
Figure BDA0002038113120000092
步骤二、设置超像素个数K,通过均匀分配种子点的方法来初始化种子点,具体方法为:
确定超像素的个数K和图像I中的总像素点个数N,在图像I内均匀的分配K个种子点,相邻种子点的距离为
Figure BDA0002038113120000093
步骤三、更新种子点的位置:
对每一个种子点,计算其3*3邻域内所有像素的梯度,将梯度最小的像素位置作为更新后的种子点;梯度的计算方式为:
Figure BDA0002038113120000094
其中,Gx和Gy分别表示水平和垂直梯度。
步骤四、以更新后的每一个种子点z为中心,计算种子点z邻域2D*2D内每个像素点p与种子点z的距离:
Figure BDA0002038113120000101
Figure BDA0002038113120000102
Figure BDA0002038113120000103
Figure BDA0002038113120000104
其中,dc、ds、Nc、Ns分别表示z与p之间的颜色距离、空间距离、最大颜色距离、最大空间距离;(Lp,ap,bp)表示像素点p在LAB空间的坐标,(Lz,az,bz)表示种子点z在LAB空间的坐标,(xp,yp)表示像素点p的像素坐标,(xz,yz)表示种子点z的像素坐标;
对每一个像素点p,从其周围的种子点中选取与像素点p最近的种子点,作为像素点p的聚类中心。
步骤五、反复执行步骤三至步骤四,直至每个像素点p的聚类中心不再改变,此时,根据各聚类中心对图像I中的像素点进行聚类,得到K个超像素。
步骤六、计算每个超像素Si的均值
Figure BDA0002038113120000105
方差
Figure BDA0002038113120000106
和像素数
Figure BDA0002038113120000107
将所有超像素对应的一维矩阵级联,得到整幅图像的一维矩阵
Figure BDA0002038113120000108
Figure BDA0002038113120000109
Figure BDA00020381131200001010
其中,
Figure BDA00020381131200001011
表示第i个超像素中第j个像素点对应的灰度值。
步骤七、对于视角合成图像Is与原始参考图像Ir,分别执行步骤一到六,计算其对应的矩阵M1、M2。然后,将两个矩阵的相似性分数作为视角合成图像的全局模糊分数:
Figure BDA00020381131200001012
式中,c是一个接近于零的正数,目的是保证分母不为0。
步骤八、利用在COCO数据集上训练好的Mask RCNN实例分割模型对原始参考图像进行实例分割,得到图像中所有实例对应的区域。不同的实例,分别会有不同颜色的mask标记。由于绘制过程带来的失真主要分布在实例边缘,所以,首先利用边缘检测方法检测出所有实例对应mask的边缘,然后对边缘进行膨胀操作以获得失真区域。以实例x的边缘为例,膨胀操作的具体方法为:假设实例x对应的边缘图为X,则用结构B膨胀X:
结构B为[1,0;1,1]的模板,左上角的像素位置叫做B的原点。将B与X进行卷积,即将B按照从左到右,从上到下的顺序在X上滑动。当B的原点与X中的(x,y)坐标重合时,如果模板B与X中相应区域的交集不为空集,也就是B中为1的位置对应X中位置的元素至少有一个为1,则膨胀后的图像X’在(x,y)处值为1,否则为0。按照这种膨胀方法对所有实例的边缘分别进行多次膨胀。在本发明中,膨胀次数为4。至此,已经获取原始图像中实例边缘的膨胀图。按照相同的方法获得视角合成图像的实例边缘膨胀图,该图即覆盖了局部几何失真区域。
步骤九、考虑到几何失真主要表现是形状的变化,而离散正交矩是有效地形状描述子,所以本发明采用离散正交矩来描述几何失真。本实施例采用切比雪夫离散正交矩。具体方法为:首先,将实例边缘膨胀图对应的区域进行8*8分块,然后计算14阶矩(7+7),记为:
Figure BDA0002038113120000111
之后,计算实例h的第u个分块的矩能量和:
Figure BDA0002038113120000112
将实例h中所有块的矩能量之和:
Figure BDA0002038113120000113
其中,a为实例h所对应的分块的数量。
计算图像中所有实例能量的均值:
Figure BDA0002038113120000114
其中,q为图像中总的实例数量。
按照上述过程计算原始图像Ir和视角合成图像Is的能量均值,分别为
Figure BDA0002038113120000115
Figure BDA0002038113120000116
最后,将
Figure BDA0002038113120000121
Figure BDA0002038113120000122
差值的绝对值作为视角合成图像的质量分数:
Figure BDA0002038113120000123
步骤十、至此,得到视角合成图像的全局模糊相似性分数Q1和局部几何失真分数Q2。由于Q1数值越大,代表视角合成图像和原始图像越接近,即质量越好;而Q2相反,其数值越小代表图像质量越好。所以,采用相减的方式将两者结合,得到合成图像最终的质量分数:
Q=w1Q1-w2Q2
本实施例中,w1=2.75,w2=3.5。
步骤十一:
图像客观质量评价分数与图像主观质量分数之间呈现非线性关系,所以本发明采用下面的logistic非线性回归方程对主客观评价进行非线性回归:
Figure BDA0002038113120000124
其中,x代表通过本发明所述方法得到的客观质量评价分数,选择合适的τ1至τ5使得f(x)与主观质量评价分数的误差最小。用回归曲线与客观的统计指标作为评价客观评价方法性能的指标:包括:1)相关系数(Pearson linear correlation coefficient,PLCC)为非线性回归后的线性相关系数;2)均方误差根(Root mean squared error,RMSE)为非线性回归后的标准差;3)Kendall等级相关系数(Kendall’s Rank Correlation Coefficient,KRCC);4)Spearman相关系数(Spearman rank order correlation coefficient,SRCC)。其中,PLCC,RMSE用来衡量预测准确性,而后两者用来衡量预测单调性。PLCC,SRCC,KRCC数值越大越好,RMSE数值越小越好。
下面通过实验数据进一步阐述本发明的技术效果
实验数据:
本发明的实验部分是在2个公开的视角合成图像数据集上进行的。即IVC-DIBR和IVY数据库。IVC库包含三个场景图像,和通过6种视角绘制方法生成的72幅合成图像;IVY数据库包含7个场景图像,提供了7种视角合成方法生成的84个图像对及其对应的原始参考图像。
首先,测试视角合成图像质量评价方法对视角合成算法的性能排序。具体方法为:计算不同的质量评价方法对同一场景合成图像的质量评价分数和主观评价分数的单调性方面的一致性,即用SRCC和KRCC进行表示。然后将针对所有场景的排序性能进行平均,即将SRCC均值/KRCC均值作为衡量指标。
首先,我们将本发明对视角绘制算法排序性能与传统质量评价方法、现有的针对视角合成图像质量评价方法在两个数据库中进行比较。结果如表一所示。SRCC和KRCC数值越高,说明相应的算法在性能排序方面的性能越好,最好的方法为本发明所述方法。
表一 质量评价算法在视角绘制算法性能排序方面的性能对比
Figure BDA0002038113120000131
由上表可知,本算法在两个库上的SRCC/KRCC明显高于所有其他的算法。这说明了本算法对视角合成方法的性能排序与主观排序结果具有最高的一致性。
为了进一步验证本发明所述技术方案在跨内容评价方面的性能,我们将本发明与表一中的算法分别在整个库上进行测试。实验结果如表二,性能最好的方法仍然是本发明所述方法。
表2各算法的跨内容评价的性能比较表
Figure BDA0002038113120000132
Figure BDA0002038113120000141
由表2的数据可知,在IVC-DIBR数据库上,本发明的方法的PLCC数值最高,RMSE最小,说明本发明的方法评价准确性最高,SRCC/KRCC数值稍逊于LOGS方法,位列第二;在IVY数据库上,本发明的方法性能位列第一。综合两个数据库,本发明的方法具有最稳定的性能
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种用于评价视角合成图像质量的方法,其特征在于,所述视角合成图像为采用DIBR视角合成方法合成的图像;该方法包括步骤:
(1)图像预处理:采用超像素分割法将待评价的视角合成图像Is及Is的原始图像Ir分别分割为K个超像素,具体步骤为:
(1-1)将图像I从RGB颜色空间转换为XYZ空间:
Figure FDA0002972811260000011
然后,将XYZ格式的图像转换到LAB空间:
L=116f(Y)-16
a=500[f(X)-f(Y)]
b=200[f(Y)-f(Z)]
其中,
Figure FDA0002972811260000012
(2-2)确定超像素的个数K和图像I中的总像素点个数N,在图像I内均匀的分配K个种子点,相邻种子点的距离为
Figure FDA0002972811260000013
(2-3)更新种子点的位置:对每一个种子点,计算其3*3邻域内所有像素的梯度,将梯度最小的像素位置作为更新后的种子点;
(2-4)以更新后的每一个种子点z为中心,计算种子点z邻域2D*2D内每个像素点p与种子点z的距离:
Figure FDA0002972811260000014
Figure FDA0002972811260000015
Figure FDA0002972811260000016
Figure FDA0002972811260000021
其中,dc、ds、Nc、Ns分别表示z与p之间的颜色距离、空间距离、最大颜色距离、最大空间距离;(Lp,ap,bp)表示像素点p在LAB空间的坐标,(Lz,az,bz)表示种子点z在LAB空间的坐标,(xp,yp)表示像素点p的像素坐标,(xz,yz)表示种子点z的像素坐标;
对每一个像素点p,从其周围的种子点中选取与像素点p最近的种子点,作为像素点p的聚类中心;
(2-5)反复执行步骤(2-3)至(2-4),直至每个像素点p的聚类中心不再改变,此时,根据各聚类中心对图像I中的像素点进行聚类,得到K个超像素;
(2)对所述视角合成图像Is进行全局模糊评价:对于视角合成图像Is的每个超像素Si,计算其均值
Figure FDA0002972811260000022
方差
Figure FDA0002972811260000023
和像素数
Figure FDA0002972811260000024
其中,
Figure FDA0002972811260000025
Figure FDA0002972811260000026
i为超像素索引,i∈[1,K],
Figure FDA0002972811260000027
表示第i个超像素中第j个像素点对应的灰度值;构建视角合成图像Is的一维特征矩阵M1
Figure FDA0002972811260000028
计算原始图像Ir的每个超像素的均值、方差和像素数,并构建原始图像Ir的一维特征矩阵M2
计算M1和M2的相似性,将计算结果作为衡量视角合成图像Is全局模糊失真的质量分数Q1
(3)对所述视角合成图像Is进行局部几何失真评价:通过预先训练好的实例分割模型MASKRCNN检测原始图像Ir和视角合成图像Is中的实例;利用边缘检测方法检测实例,提取出实例的边缘;对检测出的边缘进行膨胀操作,得到原始图像Ir和视角合成图像Is中各实例的失真区域;将每个实例的失真区域分为大小相等的图像块,采用离散正交矩描述每一个图像块;对每一个实例,求其所有图像块的矩能量之和,并将求得的结果作为该实例的实例能量;计算原始图像Ir中所有实例能量的均值
Figure FDA0002972811260000031
和视角合成图像Is中所有实例能量的均值
Figure FDA0002972811260000032
Figure FDA0002972811260000033
Figure FDA0002972811260000034
差值的绝对值作为视角合成图像的局部几何失真质量分数Q2,即
Figure FDA0002972811260000035
计算
Figure FDA0002972811260000036
的方法为:将实例均匀分块,计算实例h的第u个分块的矩能量和
Figure FDA0002972811260000037
计算图像中所有实例能量的均值
Figure FDA0002972811260000038
q为图像中总的实例数量;
(4)根据Q1和Q2生成视角合成图像Is的质量分数Q:
Q=w1Q1-w2Q2
其中,w1和w2分别为全局模糊失真和局部几何失真的权重系数。
2.根据权利要求1所述的一种用于评价视角合成图像质量的方法,其特征在于,所述全局模糊失真的质量分数Q1的计算公式为:
Figure FDA0002972811260000039
其中,c是一个接近于零的正数,用于保证Q1的分母不为0。
3.根据权利要求1所述的一种用于评价视角合成图像质量的方法,其特征在于,所述步骤(3)中采用切比雪夫离散正交矩描述失真区域的每一个图像块。
4.根据权利要求1所述的一种用于评价视角合成图像质量的方法,其特征在于,所述实例分割模型MASKRCNN是利用COCO数据集训练得到的。
CN201910333331.XA 2019-04-24 2019-04-24 一种用于评价视角合成图像质量的方法 Active CN110211090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910333331.XA CN110211090B (zh) 2019-04-24 2019-04-24 一种用于评价视角合成图像质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910333331.XA CN110211090B (zh) 2019-04-24 2019-04-24 一种用于评价视角合成图像质量的方法

Publications (2)

Publication Number Publication Date
CN110211090A CN110211090A (zh) 2019-09-06
CN110211090B true CN110211090B (zh) 2021-06-29

Family

ID=67786246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910333331.XA Active CN110211090B (zh) 2019-04-24 2019-04-24 一种用于评价视角合成图像质量的方法

Country Status (1)

Country Link
CN (1) CN110211090B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507933B (zh) * 2019-12-16 2023-08-01 曲阜师范大学 基于空洞和轮廓扩增的dibr合成图像质量评价方法
CN113298763B (zh) * 2021-05-09 2022-08-19 复旦大学 一种基于显著性窗口策略的图像质量评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976351B (zh) * 2016-03-31 2019-04-12 天津大学 基于中央偏移的立体图像质量评价方法
CN107180427B (zh) * 2017-06-07 2020-06-16 北京工业大学 基于自回归局部图像描述的3d合成图像质量评价方法
CN107147906B (zh) * 2017-06-12 2019-04-02 中国矿业大学 一种虚拟视角合成视频质量的无参考评价方法
CN107798676B (zh) * 2017-10-23 2021-05-07 北京工业大学 基于多尺度自然场景统计建立的无参考图像质量感知方法
CN107977967B (zh) * 2017-12-22 2022-05-03 中国矿业大学 一种面向视角合成的无参考图像质量评价方法
CN108257125B (zh) * 2018-01-24 2022-04-29 中国矿业大学 一种基于自然场景统计的深度图像质量无参考评价方法
CN109472259B (zh) * 2018-10-30 2021-03-26 河北工业大学 基于能量优化的图像协同显著性检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统

Also Published As

Publication number Publication date
CN110211090A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
CN110473196B (zh) 一种基于深度学习的腹部ct图像目标器官配准方法
CN107481279B (zh) 一种单目视频深度图计算方法
CN101635859B (zh) 一种实现平面视频转立体视频的方法和装置
Rathore et al. Colour based image segmentation using L* a* b* colour space based on genetic algorithm
CN110853075A (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN109859249B (zh) Rgbd序列中基于自动分层的场景流估计方法
CN111652901B (zh) 一种基于置信度和特征融合的无纹理三维物体跟踪方法
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN110211090B (zh) 一种用于评价视角合成图像质量的方法
CN106530336A (zh) 基于色彩信息和图割理论的立体匹配算法
CN112489198A (zh) 一种基于对抗学习的三维重建系统及其方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN110910347A (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN116934999A (zh) 一种基于有限视角图像的NeRF三维重构系统及方法
CN106373177B (zh) 一种用于实现优化场景光照估计的设计方法
CN109462748B (zh) 一种基于单应性矩阵的立体视频颜色校正算法
CN114782332A (zh) 一种基于几何与色彩联合感知的彩色点云质量评价方法
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法
CN107977967B (zh) 一种面向视角合成的无参考图像质量评价方法
CN116597273A (zh) 基于自注意力的多尺度编解码本质图像分解网络、方法及应用
CN114049423B (zh) 一种自动的真实感三维模型纹理映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant