CN105631807B - 基于稀疏域选取的单帧图像超分辨重建方法 - Google Patents
基于稀疏域选取的单帧图像超分辨重建方法 Download PDFInfo
- Publication number
- CN105631807B CN105631807B CN201510967335.5A CN201510967335A CN105631807B CN 105631807 B CN105631807 B CN 105631807B CN 201510967335 A CN201510967335 A CN 201510967335A CN 105631807 B CN105631807 B CN 105631807B
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- image
- training set
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012549 training Methods 0.000 claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000012360 testing method Methods 0.000 claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 238000005457 optimization Methods 0.000 claims abstract description 26
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 abstract description 3
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013341 scale-up Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于稀疏域选取的单帧图像超分辨重建方法，主要解决现有重建方法进行联合字典训练所导致重建结果较差的问题。其步骤为：根据图像集构建低分辨和高分辨图像训练集；根据图像训练集构建低分辨和高分辨特征训练集；对低分辨特征训练集进行稀疏表示；根据高分辨特征训练集和低分辨特征编码系数求解出高分辨字典的迭代初始值；建立稀疏域选取的优化目标公式，迭代求解高分辨字典、高分辨特征编码系数、映射矩阵；根据输入的测试图像、高分辨字典、高分辨特征编码系数和映射矩阵重构输出高分辨图像。实验仿真表明，本发明的重建结果具有更高的主客观质量评价，可用于医学成像、高清影视成像、遥感监测、交通及安全监控。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种单帧图像的超分辨重建方法，可应用于医学成像、高清影视成像、遥感监测、交通及安全监控等领域。
背景技术
图像作为人类记载客观世界信息的载体，在人类生产生活中发挥着重要作用。然而受成像系统设备状况、成像环境和有限网络数据传输带宽等条件的限制，成像过程往往存在运动模糊、下采样和噪声污染等退化过程，使得实际得到的图像分辨率底、细节纹理丢失、视觉质量差。为此，图像的超分辨重建技术作为提高图像分辨率、恢复图像纹理细节、提高图像视觉效果的有效手段具有重要的理论和应用价值。
目前，图像超分辨重建技术可以分为三类：基于插值、基于重建和基于实例学习的方法。
基于插值的方法，是图像超分辨重建技术中最为基础的技术，该方法利用确定的插值核函数或者自适应的插值核函数估计图像网格上的未知像素值，常见的方法有最近邻插值、双立方插值和自适应核插值等。此类方法简单高效并且计算复杂度低，但是较难以选择合适的插值函数获得高质量的重建图像。
基于重建的方法，假设观测到的低分辨率图像是原始图像经过退化模型得到的结果，通常结合图像的平滑边缘、冗余自相似等先验知识来构造正则项，从而使得原始的病态逆问题具有可行解。典型的基于重建的算法包括最大后验概率方法和迭代反投影法等。该类方法虽然可以重建出高频纹理和抑制虚假轮廓，但是在图像放大倍数较高时，重建结果并不理想。
基于实例学习的方法首先在学习阶段通过学习低分辨率图像和高分辨率图像的映射关系，然后在重建阶段将学好的映射关系应用于低分辨率输入图像来重建高分辨率输出图像。Chang等人在“H.Chang,D.Y.Yeung and Y.Xiong,"Super-resolution throughneighbor embedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2004,pp.275-282.”一文中假设对应的高低分辨率图像块在各自 特征空间形成相似的局部流形，将低分辨率特征上计算的局部权值应用到高分辨率特征，进行超分辨重建。该类方法需要在大规模的训练数据集中寻找相似模式，计算效率较低；Yang等人在“J.Yang,J.Wright,T.Huang,and Y.Ma,"Image super-resolution via sparse representation,"IEEETrans.Image Process.,vol.19,no.11,pp.2861-2873,Nov.2010.”一文中将稀疏表示理论应用于图像超分辨重建，通过联合训练过完备的低分辨率和高分辨率字典对低分辨率和高分辨率图像空间进行建模。假设对应的低分辨率和高分辨率图像块在低分辨率和高分辨率的字典上具有相同的重建系数，将输入的测试图像在低分辨率字典上进行编码后，应用该编码系数在高分辨率字典上进行重建，该方法可以获得丰富的纹理和边缘细节，在图像的重建质量上取得了里程碑式的进展；Zeyde等人在“R.Zeyde,M.Elad,and M.Protter,“Onsingle image scale-up using sparse-representations,”in Proc.Int.Conf.Curvesand Surfaces,2010,pp.711-730.”一文中改进了Yang等人基于联合字典学习的框架，并提升了算法执行速度。目前该类基于稀疏编码和字典学习的方法框架在训练阶段首先假设高分辨率和低分辨率图像块之间具有相同的重建系数，然后联合训练高分辨率和低分辨率的字典。但是考虑到在重建阶段仅可以获得低分辨率图像的信息，通过联合训练得到的字典对并不能确保重建的低分辨率和高分辨率图像块之间的映射关系，所以该假设一定程度上限制住了此类方法对复杂图像块映射关系建模的灵活性和准确性，表现在重建的图像边缘细节具有一定的振铃效应和人工痕迹。
发明内容
本发明的目的在于针对目前基于稀疏编码和字典学习图像超分辨重建技术中的不足，提出一种基于稀疏域选取的单帧图像超分辨重建方法，以更灵活准确地在低分辨率图像特征与高分辨率图像特征之间建立稀疏域映射关系，从而提高图像重建质量，恢复更多的细节纹理信息。
为解决上述技术问题，本发明采用的技术方案包括以下步骤：
(1)根据图像训练集分别构建低分辨率图像训练集和高分辨率图像训练集
(2)根据低分辨率图像训练集构建低分辨率特征训练集XS；
(3)根据高分辨率图像训练集构建高分辨率特征训练集YS；
(4)根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl；
(5)根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0；
(6)建立稀疏域选取的优化目标公式：
其中，α是稀疏域映射误差项系数，取值为0.1；β是L1范数优化正则项系数，取值为0.01；γ是映射矩阵正则项系数，取值为0.01；Φh是待求的高分辨率字典，Bh是待求的高分辨率特征编码系数，M是待求的低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵，表示高分辨率字典Φh的第i项原子，||·||1表示1范数，||·||2表示2范数，||·||F表示F范数，表示对任意i项字典原子操作；
(7)根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0，交替迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M；
(8)输入低分辨率测试图像并根据低分辨率测试图像低分辨率字典Φl、映射矩阵M和高分辨率字典Φh，获得高分辨率特征YR；
(9)根据高分辨率特征YR和低分辨率测试图像重构输出高分辨率图像
本发明与现有技术相比，具有以下优点：
1)对低分辨率字典的训练更加准确
本发明通过对低分辨率字典的训练与高分辨率字典的训练去耦合，保证了低分辨率字典训练的准确性。
2)对具有复杂纹理和锐利边缘的图像具有更好的重建质量
本发明通过对高分辨率特征的稀疏表示误差和稀疏域映射误差建立优化目标式，不仅能够保证高分辨率字典的训练质量，而且更准确地描述稀疏域的映射关系，从而在对具有复杂纹理和锐利边缘的图像进行超分辨重建时，具有较更高的重建质量。
附图说明
图1是本发明的总体流程图；
图2是本发明在仿真实验中使用的2幅高分辨率图像；
图3是使用本发明和现有的四种经典方法对蝴蝶图像进行超分辨重建得到的结果图像；
图4是使用本发明和现有的四种经典方法对帽子图像进行超分辨重建得到的结果图像。
具体实施方式
下面结合具体实例对本发明的技术方案作详细说明。
参照图1，本发明的具体实施步骤如下：
步骤1.根据图像训练集分别构建低分辨率图像训练集和高分辨率图像训练集
(1a)收集多幅彩色高分辨率的自然图像作为图像训练集；
(1b)使用实验软件MATLAB中的rgb2ycbcr函数将图像训练集从红、绿、蓝RGB颜色空间转换到亮度、蓝色色度、红色色度的YCbCr颜色空间；
(1c)从亮度、蓝色、红色的YCbCr颜色空间的图像集中取出亮度图像集作为高分辨率图像训练集其中表示第p幅高分辨率图像，Ns表示高分辨率图像的数量；
(1d)将高分辨率图像训练集先进行3倍下采样，再通过双立方插值方 法进行3倍上采样，获得低分辨图像训练集其中表示第p幅低分辨率图像，Ns表示低分辨率图像的数量。
步骤2.根据低分辨率图像训练集构建低分辨率特征训练集XS。
构建低分辨率特征训练集的典型方法有以下三种：一是以低分辨率图像的像素值作为低分辨率特征训练集；二是对图像分块，将图像块与水平、竖直方向的一阶梯度算子模板做卷积运算，卷积结果作为低分辨率特征训练集；三是对图像分块，将图像块与水平、竖直方向的一阶、二阶梯度算子模板做卷积运算，卷积结果作为低分辨率特征训练集。本实例选用第三种构建方法，其实现步骤如下：
(2a)定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为：
GX＝[1,0,-1]，GY＝[1,0,-1]T，
其中T表示矩阵的转置运算；
(2b)将低分辨率图像训练集分别与水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板进行卷积运算，获得原始低分辨率特征训练集 表示第i项原始低分辨率特征，Nsn表示原始低分辨率特征的数量；
(2c)将原始低分辨率特征训练集ZS使用主成分分析方法PCA进行维度约减后，获得投影矩阵Vpca和低分辨率特征训练集 表示第i项的低分辨率特征，Nsn表示低分辨率特征的数量。
步骤3.根据高分辨率图像训练集构建高分辨率特征训练集YS。
构建高分辨率特征训练集的典型方法有以下两种：一是以高分辨率图像的像素值作为高分辨率特征训练集；二是以高分辨率图像和低分辨率图像的残差值作 为高分辨率特征训练集。本实例采用第二种构建方法，其实现步骤如下：
(3a)将高分辨率图像训练集与对应的低分辨率图像训练集相减获得残差图像集其中ep表示第p幅残差图像，Ns表示残差图像的数量；
(3b)以单位矩阵作为算子模板，与残差图像集ES进行卷积运算，获得高分辨率特征训练集 表示第i项的高分辨率特征，Nsn表示高分辨特征的数量。
步骤4.根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl，即通过实验软件MATLAB的K-SVD工具箱的ksvd函数求解如下优化式：
其中，λl表示L1范数优化的正则项系数，取值0.05，||·||F表示F范数，||·||1表示1范数。
步骤5.根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0，其计算公式如下：
其中，Bl表示低分辨率特征编码系数，YS表示高分辨率特征训练集，T表示矩阵转置运算，(·)-1表示矩阵求逆运算。
步骤6.建立稀疏域选取的优化目标公式。
(6a)对高分辨率特征的稀疏表示与稀疏域的映射关系建立初始优化目标式：
其中，YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分 辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏表示误差项，EM是稀疏域映射误差项，α是映射误差项系数，取值为0.1；
(6b)将高分辨率特征的稀疏表示误差项ED进一步表示为：
其中，β是L1范数优化正则项系数，取值为0.01，||·||1表示1范数，||·||F表示F范数；
(6c)将稀疏域映射误差项EM进一步表示为：
其中，γ是映射矩阵正则项系数，取值0.01；
(6d)将步骤(6b)中的高分辨率特征的稀疏表示误差项ED与步骤(6c)中的稀疏域映射误差项EM代入步骤(6a)中的初始优化目标式，得到稀疏域选取的优化目标公式：
其中，表示高分辨率字典Φh的第i项原子，表示对任意i项字典原子操作。
步骤7.根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0，迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M。
(7a)以步骤5中的Φh0作为高分辨率字典的迭代初始值，将高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，将映射矩阵的迭代初始值设为M0＝E，其中E表示单位矩阵，YS是高分辨率特征训练集，Bl是低分辨率特征编码系数，T表示矩阵转置运算，(·)-1表示矩阵求逆运算；
(7b)固定高分辨率特征编码系数Bh和映射矩阵M，使其保持不变，使用 二次约束二次规划方法求解高分辨率字典Φh：
其中表示高分辨率字典Φh的第i项原子，||·||2表示2范数，||·||F表示F范数，表示对任意i项字典原子操作；
(7c)固定映射矩阵M和高分辨率字典Φh，使其保持不变，使用实验软件MATLAB的稀疏编码SPAMS工具箱的mexLasso函数，通过如下稀疏编码优化式，求解高分辨率特征编码系数Bh：
其中，表示高分辨率特征的增广矩阵，YS表示高分辨率特征训练集,表示高分辨率字典的增广矩阵，α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01，M是映射矩阵，E是与M同阶的单位矩阵，||·||1表示1范数，||·||F表示F范数；
(7d)固定高分辨率字典Φh和高分辨率特征编码系数Bh，使其保持不变，使用岭回归优化方法求解第t次迭代的映射矩阵M(t)：
其中，μ表示迭代的步长，取值为0.05，α是稀疏域映射误差项系数，取值为0.1，γ是映射矩阵正则项系数，取值为0.01，T表示矩阵转置运算，(·)-1表示矩阵求逆运算；
(7e)重复步骤(7b)-(7d)，直到相邻两次稀疏域选取的优化目标值的变化量小于阈值0.01时，停止迭代，得到最终的高分辨率字典Φh、高分辨率特征编码系数Bh和映射矩阵M。
步骤8.输入低分辨率测试图像并根据低分辨率测试图像低分辨率字典Φl、映射矩阵M和高分辨率字典Φh，获得高分辨率特征YR。
(8a)输入低分辨率彩色测试图像，将低分辨率彩色测试图像用双立方插值方法上采样3倍，得到低分辨率彩色插值图像；
(8b)使用实验软件MATLAB的rgb2ycbcr函数将低分辨率彩色插值图像从红、绿、蓝三色度的RGB颜色空间转化到亮度、蓝色、红色的YCbCr颜色空间，分别得到低分辨率亮度测试图像蓝色色度测试图像和红色色度测试图像
(8c)将低分辨率亮度测试图像分别与步骤(2a)中的水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板做卷积运算，得到原始低分辨率测试特征ZR；
(8d)将原始低分辨率测试特征ZR与步骤(2c)中的投影矩阵Vpca做投影运算，得到低分辨率测试特征XR；
(8e)将低分辨率特征XR在步骤4中的低分辨率字典Φl上用实验软件MATLAB的OMP工具箱的omp函数进行编码，得到低分辨率测试特征编码系数B′l；
(8f)将低分辨率测试特征编码系数B′l与步骤(7e)中的映射矩阵M做投影运算，得到高分辨率测试特征编码系数B′h；
(8g)将步骤(7e)中的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算，得到高分辨率测试特征YR。
步骤9.根据高分辨率特征YR和低分辨率测试图像重构输出高分辨率图像
(9a)用实验软件MATLAB的deconv函数将高分辨率测试特征YR与单位矩 阵做反卷积运算，得到残差目标图像eR；
(9b)将残差目标图像eR与低分辨率亮度测试图像做相加运算，得到高分辨率亮度测试图像
(9c)将高分辨率亮度测试图像蓝色色度测试图像和红色色度测试图像合成YCbCr颜色空间的高分辨率彩色测试图像
(9d)用实验软件MATLAB的ycbcr2rgb函数将高分辨率彩色测试图像 转化到红、绿、蓝三色RGB颜色空间，输出高分辨率测试图像
本发明的优点通过以下仿真实验进一步说明：
1.仿真条件：
CPU:Intel(R)Core(TM)i7-4770，主频:3.4GHZ，内存:8G，操作系统:WIN7，仿真平台:MATLAB2014b。
仿真图像选择图2所示的2幅原始高分辨测试图像，其中，图2中(a)为蝴蝶图像，图2中(b)为帽子图像。
仿真采用的方法为：本发明方法与现有的四种方法，分别是Bicubic方法、ANR方法、ScSR方法和Zeyde方法。
其中Bicubic方法是双立方插值方法；ANR方法指文献“R.Timofte,V.De,andL.Van Gool,“Anchored neighborhood regression for fast example-based super-resolution,”in Proc.IEEE Int.Conf.Comput.Vis.,Dec.2013,pp.1920–1927.”提出的方法；ScSR方法指文献“Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolutionvia sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,Nov.2010.”提出的方法；Zeyde方法指文献“R.Zeyde,M.Elad,and M.Protter,“Onsingle image scale-up using sparse-representations,”in Proc.7thInt.Conf.Curves Surf.,2010,pp.711–730.”提出的方法。
2.实验内容及结果分析：
实验一：用本发明和上述四种现有的方法对具有复杂纹理的蝴蝶图像进行重建，结果如图3所示，其中图3中(a)是用现有的Bicubic方法超分辨重建的结果；图3中(b)是用现有的ANR方法超分辨重建的结果；图3中(c)是用现有的ScSR 方法超分辨重建的结果；图3中(d)是用现有的Zeyde方法超分辨重建的结果；图3中(e)是本发明超分辨重建的结果；图3中(f)是蝴蝶原始高分辨图像。每幅图像有两个局部放大的矩形区域以便于观察重建的效果差别。
从图3可见，即将图3中(a)、图3中(b)、图3中(c)、图3中(d)、图3中(e)与图3中(f)进行对比，明显可看出本发明结果中局部细节丰富，纹理清晰，且在边缘和平滑区域有效地减少人工痕迹，减弱了振铃效应，具有非常自然的视觉效果。相比较而言，Bicubic的重建结果纹理模糊，且存在振铃效应；ANR方法可以重建出相对清晰的纹理，但在平滑区域却具有非常明显的人工痕迹；ScSR方法的重建图像的纹理细节具有一定的振铃效应和锯齿痕迹；Zeyde的方法的重建结果在平滑区域一定程度上抑制了振铃效应，却在纹理细节处产生了一定的模糊。
将本发明和现有的四种方法对蝴蝶图像进行重建，得到的峰值信噪比PSNR和结构相似度SSIM，如表1所示：
表1.蝴蝶图像重建结果的PSNR和SSIM对比表格
| 蝴蝶图像 | Bicubic | ANR | ScSR | Zeyde | 本发明 |
| PSNR | 24.083 | 25.901 | 25.718 | 26.056 | 26.369 |
| SSIM | 0.823 | 0.871 | 0.863 | 0.879 | 0.887 |
从表1可见，在客观评价方面，本发明的方法均高于其它四种方法。
实验二：用本发明和上述四种现有的方法对具有锐利边缘的帽子图像进行重建，结果如图4所示，其中图4中(a)是用现有的Bicubic方法超分辨重建的结果；图4中(b)是用现有的ANR方法超分辨重建的结果；图4中(c)是用现有的ScSR方法超分辨重建的结果；图4中(d)是用现有的Zeyde方法超分辨重建的结果；图4中(e)是本发明超分辨重建的结果；图4中(f)是帽子原始高分辨率图像。每幅图像有一个局部放大的矩形区域以便于观察重建的效果差别。
从图4可见，即将图4中(a)、图4中(b)、图4中(c)、图4中(d)、图4中(e)与图4中(f)进行对比，明显可看出，本发明的结果中帽子边缘具有清晰明确的轮廓，且在锐利边缘处很好地抑制了锯齿效应。相比较而言，Bicubic方法的重建结果边缘模糊，视觉效果较差；ANR方法的重建结果的边缘相对清晰，却存在一条明显的虚假轮廓；ScSR方法的重建结果在边缘存在锯齿现象；Zeyde方法 的重建结果在边缘处较为模糊，视觉效果有待提高。
本发明和四种对比方法对帽子图像进行重建，得到的峰值信噪比PSNR和结构相似度SSIM，如表2所示：
表2.帽子图像重建结果的PSNR和SSIM对比表格
| 帽子图像 | Bicubic | ANR | ScSR | Zeyde | 本发明 |
| PSNR | 29.395 | 30.605 | 30.614 | 30.755 | 31.005 |
| SSIM | 0.846 | 0.873 | 0.864 | 0.875 | 0.879 |
从表2可见，在客观评价方面，本发明的方法均高于其它四种方法。
Claims (8)
1.一种基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：包括：
(1)根据图像训练集分别构建低分辨率图像训练集和高分辨率图像训练集
(2)根据低分辨率图像训练集构建低分辨率特征训练集XS，按如下步骤进行：
(2a)定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为：
GX＝[1,0,-1]，GY＝[1,0,-1]T，
其中T表示矩阵的转置运算；
(2b)将低分辨率图像训练集分别与水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板进行卷积运算，获得原始低分辨率特征训练集 表示第i项原始低分辨率特征，Nsn表示原始低分辨率特征的数量；
(2c)将原始低分辨率特征训练集ZS使用主成分分析方法PCA进行维度约减后，获得投影矩阵Vpca和低分辨率特征训练集 表示第i项的低分辨率特征，Nsn表示低分辨率特征的数量；
(3)根据高分辨率图像训练集构建高分辨率特征训练集YS；
(4)根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl；
(5)根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0；
(6)建立稀疏域选取的优化目标公式：
其中，α是稀疏域映射误差项系数，取值为0.1；β是L1范数优化正则项系数，取值为0.01；γ是映射矩阵正则项系数，取值为0.01；Φh是待求的高分辨率字典，Bh是待求的高分辨率特征编码系数，M是待求的低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵，表示高分辨率字典Φh的第i项原子，||·||1表示1范数，||·||2表示2范数，||·||F表示F范数，表示对任意i项字典原子操作；
(7)根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0，交替迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M，其实现步骤如下：
(7a)以步骤5中的Φh0作为高分辨率字典的迭代初始值，将高分辨率特征编码系数的迭代初始值设为Bh0＝Bl，将映射矩阵的迭代初始值设为M0＝E，其中E是单位矩阵，YS是高分辨率特征训练集，Bl是低分辨率特征编码系数，T表示矩阵转置运算，(·)-1表示矩阵求逆运算；
(7b)固定高分辨率特征编码系数Bh和映射矩阵M，使其保持不变，使用二次约束二次规划方法求解高分辨率字典Φh：
其中表示高分辨率字典Φh的第i项原子，||·||2表示2范数，||·||F表示F范数，表示对任意i项字典原子操作；
(7c)固定映射矩阵M和高分辨率字典Φh，使其保持不变，使用稀疏编码方法求解高分辨率特征编码系数Bh：
其中，表示高分辨率特征的增广矩阵，YS表示高分辨率特征训练集，表示高分辨率字典的增广矩阵，α是稀疏域映射误差项系数，取值为0.1，β是L1范数优化正则项系数，取值为0.01，M是映射矩阵，E是与M同阶的单位矩阵，||·||1表示1范数，||·||F表示F范数；
(7d)固定高分辨率字典Φh和高分辨率特征编码系数Bh，使其保持不变，使用岭回归优化方法求解第t次迭代的映射矩阵M(t)：
其中，μ表示迭代的步长，取值0.05，α是稀疏域映射误差项系数，取值为0.1，γ是映射矩阵正则项系数，取值为0.01，T表示矩阵转置运算，(·)-1表示矩阵求逆运算；
(7e)重复步骤(7b)-(7d)，直到相邻两次稀疏域选取的优化目标值的变化量小于阈值0.01时，停止迭代，得到最终的高分辨率字典Φh、高分辨率特征编码系数Bh和映射矩阵M；
(8)输入低分辨率测试图像并根据低分辨率测试图像低分辨率字典Φl、映射矩阵M和高分辨率字典Φh，获得高分辨率特征YR；
(9)根据高分辨率特征YR和低分辨率测试图像重构输出高分辨率图像
2.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(1)中的步骤如下：
(1a)收集多幅彩色高分辨率的自然图像作为图像训练集；
(1b)将图像训练集从红、绿、蓝三色度的RGB颜色空间转换到亮度、蓝色、红色的YCbCr颜色空间；
(1c)从亮度、蓝色、红色的YCbCr颜色空间的图像集中取出亮度图像集作为高分辨率图像训练集其中表示第p幅高分辨率图像，Ns表示高分辨率图像的数量；
(1d)将高分辨率图像训练集先进行3倍下采样，再通过双立方插值方法进行3倍上采样，获得低分辨图像训练集其中表示第p幅低分辨率图像，Ns表示低分辨率图像的数量。
3.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(3)中根据高分辨率图像训练集构建高分辨率特征训练集YS，按如下步骤进行：
(3a)将高分辨率图像训练集与对应的低分辨率图像训练集相减获得残差图像集其中ep表示第p幅残差图像，Ns表示残差图像的数量；
(3b)以单位矩阵作为算子模板，与残差图像集ES进行卷积运算，获得高分辨率特征训练集 表示第i项的高分辨率特征，Nsn表示高分辨特征的数量。
4.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(4)中根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl，是通过K-SVD方法求解如下优化式：
其中，λl表示L1范数优化的正则项系数，||·||F表示F范数，||·||1表示1范数。
5.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(5)中根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0，其计算公式如下：
其中，Bl表示低分辨率特征编码系数，YS表示高分辨率特征训练集，T表示矩阵转置运算，(·)-1表示矩阵求逆运算。
6.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(6)中建立稀疏域选取的优化目标公式，按如下步骤进行：
(6a)对高分辨率特征的稀疏表示与稀疏域的映射关系建立初始优化目标式：
其中，YS是高分辨率特征训练集，Φh是高分辨率字典，Bh是高分辨率特征编码系数，Bl是低分辨率特征编码系数，M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵，ED是高分辨率特征的稀疏表示误差项，EM是稀疏域映射误差项，α是映射误差项系数，取值0.1；
(6b)将高分辨率特征的稀疏表示误差项ED进一步表示为：
其中，β是L1范数优化正则项系数，取值为0.01，||·||1表示1范数，||·||F表示F范数；
(6c)将稀疏域映射误差项EM进一步表示为：
其中，γ是映射矩阵正则项系数，取值为0.01；
(6d)将步骤(6b)中的高分辨率特征的稀疏表示误差项ED与步骤(6c)中的稀疏域映射误差项EM代入步骤(6a)中的初始优化目标式，得到稀疏域选取的优化目标公式：
其中，表示高分辨率字典Φh的第i项原子，表示对任意i项字典原子操作。
7.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(8)的实现步骤如下：
(8a)输入低分辨率彩色测试图像，将低分辨率彩色测试图像用双立方插值方法上采样3倍，得到低分辨率彩色插值图像；
(8b)将低分辨率彩色插值图像从红、绿、蓝三色度的RGB颜色空间转化到亮度、蓝色、红色的YCbCr颜色空间，分别得到低分辨率亮度测试图像蓝色色度测试图像和红色色度测试图像
(8c)将低分辨率亮度测试图像分别与步骤(2a)中的水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板做卷积运算，得到原始低分辨率测试特征ZR；
(8d)将原始低分辨率测试特征ZR与步骤(2c)中的投影矩阵Vpca做投影运算，得到低分辨率测试特征XR；
(8e)将低分辨率特征XR在步骤(5)中的低分辨率字典Φl上用正交匹配追踪方法进行编码，得到低分辨率测试特征编码系数B′l；
(8f)将低分辨率测试特征编码系数B′l与步骤(7e)中的映射矩阵M做投影运算，得到高分辨率测试特征编码系数B′h；
(8g)将步骤(7e)中的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算，得到高分辨率测试特征YR。
8.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法，其特征在于：所述步骤(9)中的步骤如下：
(9a)将高分辨率测试特征YR与单位矩阵做反卷积操作，得到残差目标图像eR；
(9b)将残差目标图像eR与低分辨率亮度测试图像做相加运算，得到高分辨率亮度测试图像
(9c)将高分辨率亮度测试图像蓝色色度测试图像和红色色度测试图像合成YCbCr颜色空间的高分辨率彩色测试图像
(9d)将高分辨率彩色测试图像转化到红、绿、蓝三色RGB颜色空间，输出高分辨率测试图像
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510967335.5A CN105631807B (zh) | 2015-12-21 | 2015-12-21 | 基于稀疏域选取的单帧图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510967335.5A CN105631807B (zh) | 2015-12-21 | 2015-12-21 | 基于稀疏域选取的单帧图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105631807A CN105631807A (zh) | 2016-06-01 |
| CN105631807B true CN105631807B (zh) | 2018-11-16 |
Family
ID=56046696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510967335.5A Active CN105631807B (zh) | 2015-12-21 | 2015-12-21 | 基于稀疏域选取的单帧图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105631807B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780333B (zh) * | 2016-12-14 | 2020-10-02 | 深圳市华星光电技术有限公司 | 一种图像超分辨率重建方法 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| EP3364343A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing for object detection |
| CN107392855B (zh) * | 2017-07-19 | 2021-10-22 | 苏州闻捷传感技术有限公司 | 基于稀疏自编码网络与极速学习的图像超分辨重建方法 |
| CN109447905B (zh) * | 2018-11-06 | 2022-11-18 | 大连海事大学 | 基于判别字典的海上图像超分辨率重建方法 |
| CN109671019B (zh) * | 2018-12-14 | 2022-11-01 | 武汉大学 | 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法 |
| CN109712074A (zh) * | 2018-12-20 | 2019-05-03 | 黑龙江大学 | 双参数贝塔过程联合字典的遥感图像超分辨重建方法 |
| CN110020986B (zh) * | 2019-02-18 | 2022-12-30 | 西安电子科技大学 | 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 |
| CN111353940B (zh) * | 2020-03-31 | 2021-04-02 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN113077386A (zh) * | 2021-04-06 | 2021-07-06 | 电子科技大学 | 基于字典学习和稀疏表征的地震资料高分辨率处理方法 |
| CN113327196B (zh) * | 2021-04-30 | 2023-04-07 | 哈尔滨工业大学 | 一种面向mr图像超分辨的联合字典训练优化方法 |
| CN116205806B (zh) * | 2023-01-28 | 2023-09-19 | 荣耀终端有限公司 | 一种图像增强方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750678A (zh) * | 2012-06-18 | 2012-10-24 | 西北工业大学 | 基于自然图像统计稀疏模型的单帧图像超分辨重建方法 |
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
| CN104899830A (zh) * | 2015-05-29 | 2015-09-09 | 清华大学深圳研究生院 | 一种图像超分辨方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8538200B2 (en) * | 2008-11-19 | 2013-09-17 | Nec Laboratories America, Inc. | Systems and methods for resolution-invariant image representation |
-
2015
- 2015-12-21 CN CN201510967335.5A patent/CN105631807B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750678A (zh) * | 2012-06-18 | 2012-10-24 | 西北工业大学 | 基于自然图像统计稀疏模型的单帧图像超分辨重建方法 |
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| CN103093445A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于联合稀疏约束的统一特征空间图像超分辨重建方法 |
| CN104899830A (zh) * | 2015-05-29 | 2015-09-09 | 清华大学深圳研究生院 | 一种图像超分辨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105631807A (zh) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105631807B (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| Li et al. | MDCN: Multi-scale dense cross network for image super-resolution | |
| Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
| CN103279933B (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN107154064B (zh) | 基于深度稀疏编码的自然图像压缩感知重建方法 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| Gu et al. | Integrating local and non-local denoiser priors for image restoration | |
| Xia et al. | Meta-learning-based degradation representation for blind super-resolution | |
| Mandal et al. | Edge preserving single image super resolution in sparse environment | |
| Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
| CN115797176A (zh) | 一种图像超分辨率重建方法 | |
| Pan et al. | Image formation model guided deep image super-resolution | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| Ren et al. | Enhanced latent space blind model for real image denoising via alternative optimization | |
| Suryanarayana et al. | Deep Learned Singular Residual Network for Super Resolution Reconstruction. | |
| Feng et al. | Single‐image super‐resolution with total generalised variation and Shearlet regularisations | |
| CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| CN108460723A (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
| CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
| Wang et al. | Uneven image dehazing by heterogeneous twin network | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Zhao et al. | Single image super-resolution reconstruction using multiple dictionaries and improved iterative back-projection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |