CN108122262A - 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 - Google Patents
基于主结构分离的稀疏表示单帧图像超分辨率重建算法 Download PDFInfo
- Publication number
- CN108122262A CN108122262A CN201611065372.8A CN201611065372A CN108122262A CN 108122262 A CN108122262 A CN 108122262A CN 201611065372 A CN201611065372 A CN 201611065372A CN 108122262 A CN108122262 A CN 108122262A
- Authority
- CN
- China
- Prior art keywords
- mrow
- resolution
- msub
- image
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004615 ingredient Substances 0.000 claims abstract description 6
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001932 seasonal effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 108010046685 Rho Factor Proteins 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，首先通过改进的相关全变分对输入图像进行分解，得到图像的主结构和纹理，然后分开进行处理，对于主结构成分，构造了基于自相似的自驱动学习算法来进行重建，对于纹理成分，则采用外部数据库进行稀疏表示重构。本发明首次引入了相关全变分来解决超分辨率问题，使得分离出来的主结构边缘锐利，提供强自相似性，在提升重建效果的同时避免了传统方法的复杂计算，提升了效率。而纹理部分的复杂度得到降低，通过一个外部字典即可重建出各种纹理图案，避免了传统字典学习超分辨率方法中字典尺寸不足够应对复杂图案变化的问题，使得本发明能应对不同种类的图像。
Description
技术领域
本发明涉及图像超分辨率技术，具体涉及一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法。
背景技术
信息技术时代的发展使得人们获取图像的渠道越来越广，而受制于成像系统的限制，包括点扩散函数(PSF)以及频谱混叠效应，有些图像质量无法达到人们预期，比起花大量经费在成像设备上，通过一些软件算法来增强图像质量则省时省力，图像超分辨率技术就是其中的一种，现在已经被广泛应用在医学图像、卫星成像、目标识别和视频监视等领域。
早期的超分辨率算法主要基于多帧图像，如光流法、POCS、IBP、贝叶斯估计等，这些算法需要估计帧间的运动位移，并且在亚像素精度上进行配准。实际上我们很难一直获得低分辨率图像序列，而且也很难做到高精度的运动估计和配准，因此此类方法并不适合于实际的应用。在后续的发展中，单帧图像超分辨率方法逐渐占据了主流，这些方法通过运用图像的先验知识来解决多对一的病态问题。基本的有基于插值的算法，用一些简单函数来估计未知的图像点，这种方法虽然很快速但对于增加图像的未知细节帮助不大。较复杂的有基于重建的方法，这种方法将各种先验知识比如梯度、边缘等融入进代价方程中，从而恢复图像的某些细节，然而其效果很大程度上依赖所用的先验知识，因此效果并不能让人满意。近年来发展最迅速的是基于字典学习的方法，通过学习高低分辨率图像块之间的映射关系来恢复图像，获得了极好的效果，比如邻域内嵌法(NE)、稀疏表达法(SC)，其中SC通过机器学习训练一个对应的高低分辨率字典，用这个字典来重建输入图像，由于字典在表达图像块时的准确与快速使得SC得到了广泛的关注。然而，这种方法十分依赖于字典的大小，字典过大则消耗时间很长，字典过小，则无法应对复杂的图案。
主结构分离主要应用在边缘提取中，常见的有利用全变分，加权最小平方，双边滤波等，但这些方法都不能很好的去除图像的纹理。在超分辨率领域，主结构分离主要是利用全变分，对分离出的主结构部分采用全变分重建，由于计算复 杂，需要消耗大量时间，而对于纹理部分则是简单的采用插值，最后将两部分加起来得到最终的超分辨率图像。这种方法效果十分有限，因此逐渐的退出了舞台
发明内容
本发明的目的在于提供一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，将主结构分离与字典学习方法结合，降低了对字典尺寸以及训练样本的依赖，在提升重建图像质量的同时最大限度的降低时间复杂性。
实现本发明目的的技术解决方案为：一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，包括以下步骤：
步骤1：通过RTV对输入的原始低分辨率图像进行主结构分离，IL＝SL+TL，其中IL表示输入的低分辨率图像，SL表示低分辨率图像的主结构图像，TL表示低分辨率图像的纹理图像，上述图像均表示为小图像块所组成的列向量集合；
步骤2：对原始低分辨率图像IL进行降采样，得到降采样后的低分辨率图像ILL，通过RTV分解ILL得到其主结构SLL，通过图像信息根据以下公式计算自适应字典尺寸Z：
其中m为ILL的图像的横向分辨率，n为ILL的图像的纵向分辨率，C为ILL图像块的自相似系数，ρ为固定参数；
然后对SL和SLL进行自驱动K-SVD字典训练，得到对应的主结构高低分辨率字典；
步骤3：利用主结构高低分辨率字典对SL进行超分辨率重建，得到高分辨率主结构SH；
步骤4：用离线训练的纹理字典对图像的纹理部分TL直接进行超分辨率重建，得到对应的高分辨率纹理TH；
步骤5：将高分辨率主结构SH和高分辨率纹理TH叠加，获得完整的高分辨 率图像IH＝SH+TH；
步骤6：对获得的高分辨率图像IH进行迭代反投影以满足原始低分辨率图像IL的约束，公式如下：
其中是第n次迭代后得到的高分辨率估计图像，u是梯度下降步长，B是双三次插值的模糊核，初始图像即为IH；
步骤7：迭代完成后，得到最终的输出图像Iout。
本发明与现有技术相比，其显著优点在于：
(1)通过将输入图像分解为主结构和纹理，然后对他们分开处理，相比较直接对混合的图案进行字典学习重建，能显著的降低对字典尺寸和训练样本的要求，从而在降低计算复杂度的同时大幅提升重建图像质量。
(2)采用相关全变分来分解图像，可以获得更加锐利的主结构边缘和更纯粹的纹理，使得最终图像的主结构部分可以直接利用自相似性来重建，节省了数十倍的运行时间。
(3)提出自适应字典尺寸计算函数对应不同主结构图像的特点得到最适的字典尺寸，防止过拟合的同时进一步减少了运行时间，使得提出的算法在提高主结构图像质量的同时更加高效。
附图说明
图1为本发明的基于主结构分离的稀疏表示单帧图像超分辨率重建算法的流程图。
图2为本发明实施例1中主结构部分运用不同的字典尺寸来构建字典时的重建情况。
图3为本发明实施例1中主结构部分运用最优字典尺寸和自适应字典尺寸来构建字典时的重建情况。
图4为本发明实施例1中运用不同训练方案得到的外部字典对所比较的经典算法的重建效果的影响，其中“1000全”代表字典尺寸为1000，训练时使用整 个训练图像库，“500全”代表字典尺寸为500，训练时使用整个训练图像库，“500半”代表字典尺寸为500，训练时使用半个训练图像库，相对PSNR代表经典算法重建PSNR值与双三次插值重建PSNR值的差值。
图5为本发明实施例1中运用不同训练方案得到的外部字典对所提出算法重建效果的影响，其中“1000全”代表字典尺寸为1000，训练时使用整个训练图像库，“500全”代表字典尺寸为500，训练时使用整个训练图像库，“500半”代表字典尺寸为500，训练时使用半个训练图像库，相对PSNR代表所提出算法重建PSNR值与双三次插值重建PSNR的差值。
图6为所提出算法与其他经典算法对图像“foreman”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
图7为所提出算法与其他经典算法对图像“comic”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
图8为所提出算法与其他经典算法对图像“baby”的重建视觉效果对比，其中(a)为高分辨率原图，(b)为双三次插值放大的重建结果，(c)为传统字典学习超分辨率算法的重建结果，(d)为改进的字典学习超分辨率算法，(e)为所提出的方法的重建结果。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明是一种主结构分离的稀疏表示单帧图像超分辨率重建算法。其原理为：通过用一种高效的相关全变分方法对输入低分辨率图像进行分离，得到只包含锐利边缘的主结构成分和只包含纹理的部分。之后对两种成分分别进行不同的处理，这样可以使得对这两种不同的图案模式有针对性的进行重建。对于主结构成分，提出一种基于自相似的自驱动字典学习算法，充分利用其原始边缘信息来组合重构出高分辨率的主结构图像，相较于传统算法的复杂计算节省大量时间，而对于纹理部分，则采用外部字典来重建，由于纹理没有边缘的干扰，所以减少了对字典的依赖，该字典并不需要大量复杂样本训练和较大的尺寸。通过这种处 理框架，可以在提升重建图像质量的情况下大幅降低计算时间，使得算法高效易用。
结合图1，一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，包括以下步骤：
步骤1：通过相关全变分(RTV)对输入的原始低分辨率图像进行主结构分离，IL＝SL+TL，其中IL表示输入的低分辨率图像，SL表示低分辨率图像的主结构图像，TL表示低分辨率图像的纹理图像，上述图像均表示为小图像块所组成的列向量集合，具体步骤如下：
1-1)输入低分辨率图像IL，尺寸参数σ，强度参数λ；
1-2)计算权重信息：
其中ux是水平方向邻域梯度信息的权值，wx是水平方向像素梯度信息的权值，uy是垂直方向邻域梯度信息的权值，wy是垂直方向像素梯度信息的权值，Gσ是一个高斯滤波器，是水平方向的导数，是垂直方向的导数，ε和εs是任意极小值，用来稳定数值解。
1-3)解线性方程
其中Cx为水平方向离散梯度前向差分所获得的托普利兹矩阵，Cy为垂直方向离散梯度前向差分所获得的托普利兹矩阵，λ为平衡参数，t为迭代次数， 均为对角矩阵，对角线上的值分别为对应的ux，uy，wx，wy的值。
1-4)将1-2)与1-3)迭代三次，获得分离的SL与TL。
步骤2：对原始低分辨率图像IL进行降采样，得到降采样后的低分辨率图像ILL，通过RTV分解ILL得到其主结构SLL，通过图像信息根据以下公式计算自适应字典尺寸Z：
其中m为ILL的图像的横向分辨率，n为ILL的图像的纵向分辨率，C为ILL图像块的自相似系数，ρ为固定参数。
然后对SL和SLL进行自驱动K-SVD字典训练，得到对应的主结构高低分辨率字典，具体步骤如下：
2-1)将SLL进行双三次插值放大，得到低分辨率训练图像SLM，同时输入SL和初始低分辨率字典DL，转入步骤2-2)；
2-2)根据目标方程：
采用OMP算法，求得SLM在DL上的稀疏编码X＝{x1,x2,x3...xi}，ε′为任意极小值；
转入步骤2-3)。
2-3)固定稀疏编码X和初始低分辨率字典DL，将初始低分辨率字典DL的第k列记为dk，同时令稀疏编码X中与dk相乘的第k行为重写目标函数为：
其中Ek表示去掉原子dk的成分在训练图像中造成的误差；
转入步骤2-4)。
2-4)对Ek和做变换，中只保留非零位置的系数，Ek只保留dk与中 非零位置乘积得到的项，从而得到Ek变换后的误差转入步骤2-5)。
2-5)对做SVD分解，更新dk，转入步骤2-6)。
2-6)返回2-3)，重复进行30次，获得最终的低分辨率字典DL，即为主结构低分辨率字典。
2-7)通过以下方程获得对应的主结构高分辨率字典DH
DH＝SLXT(XXT)-1 (6)。
步骤3：利用主结构高低分辨率字典对SL进行超分辨率重建，得到高分辨率主结构SH，具体步骤如下：
3-1)对SL中的3×3图像块sL进行双三次插值放大，得到中间图像块sM，转入3-2)。
3-2)通过OMP算法在主结构低分辨率字典DL找到最能表达sL的3个向量，并获得对应的稀疏编码表示系数x，转入3-3)。
3-3)将稀疏编码表示系数x乘上主结构高分辨率字典DH，得到主结构高分辨率图像块sH，转入3-4)。
3-4)返回3-2)，对SL中的所有图像块分别进行计算，得到对应的高分辨率图像块，将所得到的高分辨率图像块放在高分辨率网格中的对应位置，并且对重叠区域作平均，得到最终的主结构图像SH。
步骤4：用离线训练的纹理字典对图像的纹理部分TL直接进行超分辨率重建，得到对应的高分辨率纹理TH，具体步骤如下：
4-1)对专门用于字典学习的外部图像库中的高分辨率图片作RTV分解，得到对应高分辨纹理图像，同时将高分辨率图片降采样获得低分辨率图像；
4-2)对高分辨纹理图像和低分辨率图像进行K-SVD字典训练，得到纹理的高低分辨率字典；
4-3)将输入低分辨率图像的纹理图像在纹理字典上进行重建，得到高分辨率纹理图像。
步骤5：将高分辨率主结构SH和高分辨率纹理TH叠加，获得完整的高分辨率图像IH＝SH+TH。
步骤6：对获得的高分辨率图像IH进行迭代反投影以满足原始低分辨率图像IL的约束，公式如下：
其中是第n次迭代后得到的高分辨率估计图像，u是梯度下降步长，B是双三次插值的模糊核，初始图像即为IH。
步骤7：迭代完成后，得到最终的输出图像Iout。
实施例1
结合图6，图7和图8，对三幅图片“foreman”、“comic”和“baby”通过基于主结构分离的稀疏表示单帧图像超分辨率重建算法进行超分辨率重建处理，放大因子为2倍，获得重建图像相对于原始高分辨率图像的峰值性噪比与运行时间的详细情况，并与其他新型算法进行对比。
表1-1对图片“foreman”、“comic”和“baby”放大2倍后的信噪比(PSNR)和运行时间比较
结合图2-图5，从图2和图3可以看出，利用所提出的自适应字典尺寸相较于其他的字典尺寸能重建出更好的高分辨率图像，很好的适应了不同图像的特点。
从图4和图5可以看到，在使用相同模式的字典训练方案下，我们的算法效果领先于其他算法，当恶化字典训练方案时，我们的算法在重建质量上退化较少， 性能大幅优于其他算法，这证实了我们的主结构分离方案对字典依赖较小的设想。
结合表1-1、图6-图8，我们可以明显观察到所提出的算法在峰值信噪比(PSNR)上大幅优于其他算法，且提供了更好的视觉效果，包括更多的细节，更锐利的边缘，以及更少的人工痕迹。
综上所述，本发明首次引入了相关全变分来进行图像的超分辨率重建，将原始输入图像分解为只包含边缘的主结构部分和只包含纹理的部分，然后分开进行处理。同时，本发明提出一种自驱动的字典学习算法来对分离出的主结构部分进行重建，在提高图像质量的同时降低了计算的复杂度。对于纹理图像，则通过外部的冗余字典来进行重建，受益于分解过程的优异性，纹理部分几乎不受边缘信息的干扰，因此没有过多复杂的图案模式，避免了对字典尺寸和训练样本的依赖，使得最终的重建图像质量更进一步。
Claims (6)
1.一种基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于，包括以下步骤：
步骤1：通过RTV对输入的原始低分辨率图像进行主结构分离，IL＝SL+TL，其中IL表示输入的低分辨率图像，SL表示低分辨率图像的主结构图像，TL表示低分辨率图像的纹理图像，上述图像均表示为小图像块所组成的列向量集合；
步骤2：对原始低分辨率图像IL进行降采样，得到降采样后的低分辨率图像ILL，通过RTV分解ILL得到其主结构SLL，通过图像信息根据以下公式计算自适应字典尺寸Z：
<mrow>
<mi>Z</mi>
<mo>=</mo>
<mi>&rho;</mi>
<msqrt>
<mfrac>
<msqrt>
<mrow>
<mi>m</mi>
<mo>&CenterDot;</mo>
<mi>n</mi>
</mrow>
</msqrt>
<mi>C</mi>
</mfrac>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中m为ILL的图像的横向分辨率，n为ILL的图像的纵向分辨率，C为ILL图像块的自相似系数，ρ为固定参数；
然后对SL和SLL进行自驱动K-SVD字典训练，得到对应的主结构高低分辨率字典；
步骤3：利用主结构高低分辨率字典对SL进行超分辨率重建，得到高分辨率主结构SH；
步骤4：用离线训练的纹理字典对图像的纹理部分TL直接进行超分辨率重建，得到对应的高分辨率纹理TH；
步骤5：将高分辨率主结构SH和高分辨率纹理TH叠加，获得完整的高分辨率图像IH＝SH+TH；
步骤6：对获得的高分辨率图像IH进行迭代反投影以满足原始低分辨率图像IL的约束，公式如下：
<mrow>
<msubsup>
<mi>I</mi>
<mi>H</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>I</mi>
<mi>H</mi>
<mi>n</mi>
</msubsup>
<mo>+</mo>
<mi>u</mi>
<mo>&lsqb;</mo>
<msup>
<mi>B</mi>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>BI</mi>
<mi>H</mi>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>c</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mi>H</mi>
<mi>n</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mi>H</mi>
<mn>0</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中是第n次迭代后得到的高分辨率估计图像，u是梯度下降步长，B是双三次插值的模糊核，初始图像即为IH；
步骤7：迭代完成后，得到最终的输出图像Iout。
2.根据权利要求1所述的基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于：上述步骤1中对输入的原始低分辨率图像IL进行RTV分解，具体步骤如下：
1-1)输入低分辨率图像IL，尺寸参数σ，强度参数λ；
1-2)计算权重信息：
<mrow>
<msub>
<mi>u</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mo>*</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mo>*</mo>
<msub>
<mo>&part;</mo>
<mi>x</mi>
</msub>
<mi>S</mi>
</mrow>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mo>&part;</mo>
<mi>x</mi>
</msub>
<mi>S</mi>
</mrow>
<mo>|</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&epsiv;</mi>
<mi>s</mi>
</msub>
</mrow>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>u</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mo>*</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mo>*</mo>
<msub>
<mo>&part;</mo>
<mi>y</mi>
</msub>
<mi>S</mi>
</mrow>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mo>&part;</mo>
<mi>y</mi>
</msub>
<mi>S</mi>
</mrow>
<mo>|</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&epsiv;</mi>
<mi>s</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中ux是水平方向邻域梯度信息的权值，wx是水平方向像素梯度信息的权值，uy是垂直方向邻域梯度信息的权值，wy是垂直方向像素梯度信息的权值，Gσ是一个高斯滤波器，是水平方向的导数，是垂直方向的导数，ε和εs均为任意的极小值，用来稳定数值解；
1-3)解线性方程
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>C</mi>
<mi>x</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>U</mi>
<mi>x</mi>
<mi>t</mi>
</msubsup>
<msubsup>
<mi>W</mi>
<mi>x</mi>
<mi>t</mi>
</msubsup>
<msub>
<mi>C</mi>
<mi>x</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mi>y</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>U</mi>
<mi>y</mi>
<mi>t</mi>
</msubsup>
<msubsup>
<mi>W</mi>
<mi>y</mi>
<mi>t</mi>
</msubsup>
<msub>
<mi>C</mi>
<mi>y</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
<mo>&CenterDot;</mo>
<msubsup>
<mi>S</mi>
<mi>L</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<msub>
<mi>I</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Cx为水平方向离散梯度前向差分所获得的托普利兹矩阵，Cy为垂直方向离散梯度前向差分所获得的托普利兹矩阵，λ为平衡参数，t为迭代次数， 均为对角矩阵，对角线上的值分别为对应的ux、uy、wx、wy的值；
1-4)将1-2)与1-3)迭代三次，获得分离的SL与TL。
3.根据权利要求1所述的基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于：上述步骤2中所述的自驱动K-SVD字典训练，具体步骤如下：
2-1)将SLL进行双三次插值放大，得到低分辨率训练图像SLM，同时输入SL和初始低分辨率字典DL，转入步骤2-2)；
2-2)根据目标方程：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mi>L</mi>
</msub>
<mo>,</mo>
<mi>X</mi>
</mrow>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>L</mi>
<mi>M</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>L</mi>
</msub>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
<mi> </mi>
<mi>t</mi>
<mi>o</mi>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>&le;</mo>
<msup>
<mi>&epsiv;</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
采用OMP算法，求得SLM在DL上的稀疏编码X＝{x1,x2,x3...xi}，ε′为任意极小值；
转入步骤2-3)；
2-3)固定稀疏编码X和初始低分辨率字典DL，将初始低分辨率字典DL的第k列记为dk，同时令稀疏编码X中与dk相乘的第k行为重写目标函数为：
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>L</mi>
<mi>M</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>L</mi>
</msub>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>E</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Ek表示去掉原子dk的成分在训练图像中造成的误差；
转入步骤2-4)；
2-4)对Ek和做变换，中只保留非零位置的系数，Ek只保留dk与中非零位置乘积得到的项，从而得到Ek变换后的误差转入步骤2-5)；
2-5)对做SVD分解，更新dk，转入步骤2-6)；
2-6)返回2-3)，重复进行30次，获得最终的低分辨率字典DL，即为主结构低分辨率字典；
2-7)通过以下方程获得对应的主结构高分辨率字典DH
DH＝SLXT(XXT)-1 (6)。
4.根据权利要求1所述的基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于：上述步骤3中的主结构超分辨率重建，具体步骤如下：
3-1)对SL中的3×3图像块sL进行双三次插值放大，得到中间图像块sM，转入3-2)；
3-2)通过OMP算法在主结构低分辨率字典DL找到最能表达sL的3个向量，并获得对应的稀疏编码表示系数x，转入3-3)；
3-3)将稀疏编码表示系数x乘上主结构高分辨率字典DH，得到主结构高分辨率图像块sH，转入3-4)；
3-4)返回3-2)，对SL中的所有图像块分别进行计算，得到对应的高分辨率图像块，将所得到的高分辨率图像块放在高分辨率网格中的对应位置，并且对重叠区域作平均，得到最终的主结构图像SH。
5.根据权利要求1所述的基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于：上述步骤4中的纹理超分辨率重建，具体步骤如下：
4-1)对外部图像库中的高分辨率图片作RTV分解，得到对应高分辨纹理图像，同时将高分辨率图片降采样获得低分辨率图像；
4-2)对高分辨纹理图像和低分辨率图像进行K-SVD字典训练，得到纹理的高低分辨率字典；
4-3)将输入低分辨率图像的纹理图像在纹理字典上进行重建，得到高分辨率纹理图像。
6.根据权利要求5所述的基于主结构分离的稀疏表示单帧图像超分辨率重建算法，其特征在于：所述外部图像库为专门用于字典训练的一套高分辨率图像集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611065372.8A CN108122262B (zh) | 2016-11-28 | 2016-11-28 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611065372.8A CN108122262B (zh) | 2016-11-28 | 2016-11-28 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122262A true CN108122262A (zh) | 2018-06-05 |
| CN108122262B CN108122262B (zh) | 2021-05-07 |
Family
ID=62223733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611065372.8A Active CN108122262B (zh) | 2016-11-28 | 2016-11-28 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122262B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110675318A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 一种基于主结构分离的稀疏表示图像超分辨率重建方法 |
| CN112737595A (zh) * | 2020-12-28 | 2021-04-30 | 南京航空航天大学 | 一种基于fpga的可逆投影压缩感知方法 |
| US20220138906A1 (en) * | 2019-07-12 | 2022-05-05 | Huawei Technologies Co., Ltd. | Image Processing Method, Apparatus, and Device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
| US20160334502A1 (en) * | 2015-05-15 | 2016-11-17 | Texas Instruments Incorporated | Low Complexity Super-Resolution Technique for Object Detection in Frequency Modulation Continuous Wave Radar |
-
2016
- 2016-11-28 CN CN201611065372.8A patent/CN108122262B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN103077511A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构相似的图像超分辨率重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| US20160334502A1 (en) * | 2015-05-15 | 2016-11-17 | Texas Instruments Incorporated | Low Complexity Super-Resolution Technique for Object Detection in Frequency Modulation Continuous Wave Radar |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| KAIBING ZHANG等: "Multi-scale Dictionary for Single Image Super-resolution", 《IEEE XPLORE》 * |
| 李珅: "基于稀疏表示的图像去噪和超分辨率重建研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220138906A1 (en) * | 2019-07-12 | 2022-05-05 | Huawei Technologies Co., Ltd. | Image Processing Method, Apparatus, and Device |
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110443754B (zh) * | 2019-08-06 | 2022-09-13 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110675318A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 一种基于主结构分离的稀疏表示图像超分辨率重建方法 |
| CN110675318B (zh) * | 2019-09-10 | 2023-01-03 | 中国人民解放军国防科技大学 | 一种基于主结构分离的稀疏表示图像超分辨率重建方法 |
| CN112737595A (zh) * | 2020-12-28 | 2021-04-30 | 南京航空航天大学 | 一种基于fpga的可逆投影压缩感知方法 |
| CN112737595B (zh) * | 2020-12-28 | 2023-10-24 | 南京航空航天大学 | 一种基于fpga的可逆投影压缩感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122262B (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN101950365B (zh) | 基于ksvd字典学习的多任务超分辨率图像重构方法 | |
| CN108734659A (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN103530863B (zh) | 一种多级重构的图像超分辨率方法 | |
| CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
| CN110378844A (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
| CN108460726A (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN108447020A (zh) | 一种基于极深卷积神经网络的人脸超分辨率重建方法 | |
| CN107369189A (zh) | 基于特征损失的医学图像超分辨率重建方法 | |
| CN102902961A (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
| CN107025632A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN108122262A (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| CN107730451A (zh) | 一种基于深度残差网络的压缩感知重建方法和系统 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN107464216A (zh) | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 | |
| CN109410289A (zh) | 一种深度学习的高欠采样超极化气体肺部mri重建方法 | |
| CN109685716A (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN103136728B (zh) | 基于字典学习和非局部总变差的图像超分辨方法 | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| CN107845065A (zh) | 超分辨率图像重建方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |