CN104794694B - 基于自适应低秩规则化的图像内插系统及方法 - Google Patents
基于自适应低秩规则化的图像内插系统及方法 Download PDFInfo
- Publication number
- CN104794694B CN104794694B CN201510197071.XA CN201510197071A CN104794694B CN 104794694 B CN104794694 B CN 104794694B CN 201510197071 A CN201510197071 A CN 201510197071A CN 104794694 B CN104794694 B CN 104794694B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- unit
- block group
- rank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 113
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 66
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000012935 Averaging Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 33
- 230000000903 blocking effect Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 21
- 238000000638 solvent extraction Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于自适应低秩规则化的图像内插系统及方法,涉及图像超分辨率技术领域。本发明利用图像相邻像素具有的相似性,采用经典的bi‑cubic方法,通过多项式近似方法由已知像素的小局部邻域来计算缺失的像素,得到内插高分辨率图像的初始值;再通过多次的迭代优化以有效改进高分辨率图像的质量,每次迭代包括两个过程:第一个过程是采用自适应的矩阵低秩分解技术对得到的高分辨率图像估计进行滤波;第二个过程是根据已知的低分辨率图像,参考第一个过程得到的高分辨率图像估计的滤波结果,通过采用规则化的最小均方误差求逆技术更新估计高分辨率图像。本发明在具有相对低计算复杂度的同时,能有效提升内插图像的质量。
Description
技术领域
本发明涉及图像超分辨率技术领域,具体是涉及一种基于自适应低秩规则化的图像内插系统及方法。
背景技术
图像超分辨率旨在由低分辨率图像恢复得到高分辨率图像,其在医学成像、数字摄影和计算机视觉等领域具有广泛应用。图像内插属于图像超分辨率的特殊情况,这里的低分辨率图像假定为对高分辨率图像的直接下采样结果。图像内插是图像下采样的逆过程,其为典型的病态问题。为了通过内插运算得到高质量的高分辨率图像,关于图像的基本假设和先验知识是必不可少的。例如,经典的双线性内插(bi-linear interpolation)和双三次内插(bi-cubic interpolation)等线性内插方法,利用多项式近似从已知像素的小局部邻域来计算缺失的像素【参见文献:[1]Keys R.,‘Cubic convolution interpolationfor digital image processing’,IEEE Trans.Acoust.,Speech Signal Process.,1981,29,(6),pp.1153–1160】。
近年来,自然图像具有稀疏性以及非局部相似性的先验已成为用于图像恢复的强有力工具,并在图像超分辨率及图像内插研究领域得到广为关注【参见文献:[2]Yang J.,Wright J.,Huang T.,and Ma Y.,‘Image super-resolution via sparserepresentation’,IEEE Trans.Image Process.,2010,19,(11),pp.2861–2873;[3]DongW.,Zhang L.,Lukac R.,and Shi G.,‘Sparse representation based imageinterpolation with nonlocal autoregressive modeling’,IEEE Trans.ImageProcess.,2013,22,(4),pp.1382–1394;[4]Romano Y.,Protter M.,and Elad M.,‘Singleimage interpolation via adaptive nonlocal sparsity-based modeling’,IEEETrans.Image Process.,2014,23,(7),pp.3085–3098】。
另外,近年来提出的低秩矩阵恢复理论,为实现图像恢复奠定了新的理论基础【参见文献:[5]E.J.Candès,X.Li,Y.Ma,and J.Wright,'Robust principal componentanalysis?'J.ACM,vol.58,no.3,May 2011,Art.ID 11】,图像的非局部相似图像块组成的数据矩阵具有良好低秩特性,为实现有效的图像恢复提供了一种新的思路【参见文献:[6]S.Gu,L.Zhang,W.Zuo,X,Feng,'Weighted nuclear norm minimization withapplication to image denosing,'2014IEEE Conference on Computer Vision andPattern Recognition,pp2862-2869】。
然而,对于含有较丰富纹理信息的图像块,却很难寻找到足够数量的相似图像块,使之具有良好的低秩性能。
发明内容
本发明的目的是为了克服上述背景技术的不足,提供一种基于自适应低秩规则化的图像内插系统及方法,在具有相对低计算复杂度的同时,能有效提升内插图像的质量。
本发明提供一种基于自适应低秩规则化的图像内插系统,包括初始化模块、路由选择模块、图像滤波模块和规则化最小均方误差求逆模块,图像滤波模块包括图像重叠分块单元、图像块组生成单元、图像块平滑性检测单元、图像块组自适应低秩分解单元、图像块组求平均单元,其中:路由选择模块有两个输入端、一个输出端,图像块组生成单元有一个输入端、两个输出端,图像块组自适应低秩分解单元有两个输入端、一个输出端,规则化最小均方误差求逆模块有2个输入端、1个输出端;
路由选择模块的一个输入端与初始化模块的输出端相连,路由选择模块的另一个输入端与规则化最小均方误差求逆模块的输出端相连,路由选择模块的输出端与图像重叠分块单元的输入端相连,图像重叠分块单元的输出端与图像块组生成单元的输入端相连,图像块组生成单元的一个输出端与图像块平滑性检测单元的输入端相连,图像块组生成单元的另一个输出端与图像块组自适应低秩分解单元的一个输入端相连,图像块平滑性检测单元的输出端与图像块组自适应低秩分解单元的另一个输入端相连,图像块组自适应低秩分解单元的输出端与图像块组求平均单元的输入端相连,图像块组求平均单元的输出端与规则化最小均方误差求逆模块的一个输入端相连,规则化最小均方误差求逆模块的另一个输入端与初始化模块的输入端一同连接到图像内插系统的输入端,规则化最小均方误差求逆模块的输出端为图像内插系统的输出端。
在上述技术方案的基础上,所述初始化模块接收原始的低分辨率图像,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块;
路由选择模块首次输出初始化模块送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块送入的更新估计的高分辨率图像;
图像重叠分块单元对路由选择模块输出的图像进行重叠分块,得到多个存在像素重叠的图像块,送入图像块组生成单元;
图像块组生成单元对图像重叠分块单元送入的每一图像块,在其所在图像的规定邻域范围内,寻找到一组相似图像块,将该图像块和该组相似图像块矢量化后,生成与该图像块对应的数据矩阵,分别送入图像块平滑性检测单元、图像块组自适应低秩分解单元;
图像块平滑性检测单元接收图像块组生成单元送入的与图像块对应的数据矩阵,计算数据矩阵的一阶灰度熵,得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元;
图像块组自适应低秩分解单元根据图像块组生成单元送入的与图像块对应的数据矩阵、图像块平滑性检测单元送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算,得到数据矩阵的低秩分量,送入图像块组求平均单元;
图像块组求平均单元对图像块组自适应低秩分解单元送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块送入图像重叠分块单元的图像的滤波结果,送入规则化最小均方误差求逆模块;
规则化最小均方误差求逆模块根据图像块组求平均单元送入的图像的滤波结果,以及根据输入的原始低分辨率图像,得到更新估计的高分辨率图像;再将更新估计的高分辨率图像送入路由选择模块,路由选择模块将高分辨率图像送入图像重叠分块单元,继续进行迭代运算,达到逐渐提升输出图像质量的目的。
在上述技术方案的基础上,所述图像块组自适应低秩分解单元自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算的过程中,通过自适应的部分奇异值阈值实现,得到数据矩阵的低秩分量。
在上述技术方案的基础上,所述规则化最小均方误差求逆模块得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现。
本发明还提供一种应用于上述系统的基于自适应低秩规则化的图像内插方法,包括以下步骤:
S1、初始化模块接收原始的低分辨率图像y,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块;
S2、初始化模块对第一布雷格曼距离a和第二布雷格曼距离b进行初始化:a=0,b=0;
S3、图像滤波:
S3.1、路由选择模块首次输出初始化模块送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块送入的更新估计的高分辨率图像;图像重叠分块单元对路由选择模块输出的图像x进行重叠分块,得到多个存在像素重叠的图像块xi,送入图像块组生成单元;图像块xi=Rix,i=1,2,…n,n为大于2的整数,表示图像分块的总数,Ri为提取第i图像块的运算矩阵,图像块大小B一般选取为6行×6列;
S3.2、图像块组生成单元对图像重叠分块单元送入的每一图像块xi,在其所在图像的规定的邻域窗内,求取其K-1个最相似的图像块,K为40~60之间的正整数;将该图像块及其相似图像块矢量化后,生成与该图像块对应的数据矩阵Ai,分别送入图像块平滑性检测单元、图像块组自适应低秩分解单元;数据矩阵 表示提取的第i图像块的图像块组,为提取第i图像块的图像块组的运算矩阵;
S3.3、图像块平滑性检测单元接收图像块组生成单元送入的与图像块对应的数据矩阵Ai,计算每一个数据矩阵Ai的一阶灰度熵得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元;其中,pj表示数据矩阵Ai中灰度值为j的元素出现的概率,j为0~255之间的整数;
S3.4、图像块组自适应低秩分解单元根据图像块组生成单元送入的与图像块对应的数据矩阵Ai、图像块平滑性检测单元送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算,得到数据矩阵的低秩分量,送入图像块组求平均单元;
S3.5、图像块组求平均单元对图像块组自适应低秩分解单元送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块送入图像重叠分块单元的图像x的滤波结果z,并将图像x的滤波结果z送入规则化最小均方误差求逆模块;
S4、规则化最小均方误差求逆模块根据图像块组求平均单元送入的图像x的滤波结果z,以及根据输入的原始的低分辨率图像y,得到更新估计的高分辨率图像,再将更新估计的高分辨率图像送入路由选择模块;
S5、更新第一布雷格曼距离a:a=a-(x-z),更新第二布雷格曼距离b:b=b-(y-Dx);
S6、计算更新前后高分辨率图像的均方误差值,如果大于给定的阈值,则返回到步骤S3,路由选择模块将更新估计的高分辨率图像送入图像重叠分块单元,继续进行迭代运算,达到逐渐提升输出图像质量的目的;否则执行步骤S7;
S7、结束运算,输出最后得到的高分辨率图像。
在上述技术方案的基础上,步骤S3.2中窗的大小选取为40×40。
在上述技术方案的基础上,步骤S3.4中图像块组自适应低秩分解单元自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算的过程中,图像块组自适应低秩分解单元对所有数据矩阵Ai进行奇异值分解,得UiΣiVi'=Ai,即Σi为Ai的奇异值矩阵,Ui为Ai的左特征矢量矩阵,Vi为Ai的右特征矢量矩阵,Vi'表示为Vi的转置;再对所有数据矩阵Ai进行部分奇异值阈值收缩运算,得到数据矩阵的低秩分量。
在上述技术方案的基础上,步骤S3.4中图像块组自适应低秩分解单元对所有数据矩阵Ai进行部分奇异值阈值收缩运算的过程为:
Ai=Ui1Σi1Vi1′+Ui2(Σi2-τω)+Vi2′,
其中,Ui1为Ui的前r列组成的矩阵,Σi1为Ai的前r个奇异值组成的对角矩阵,Vi1为Vi的前r列组成的矩阵,Ui2为Ui去除前r列后组成的矩阵,Σi2为Ai的前r个奇异值去除后的剩余奇异值组成的对角矩阵,Vi2为Vi去除前r列后组成的矩阵,r是熵hi的函数,且r为整数;为奇异值矩阵Σi的逆,(x)+=max(x,0)表示取x与0的较大值,τ为设置的阈值。
在上述技术方案的基础上,步骤S3.5中图像x的滤波结果z表示为:
其中,表示为的转置,1B×K表示为大小为B×K且元素的值全为1的矩阵,./为矩阵点除运算符。
在上述技术方案的基础上,步骤S4中所述规则化最小均方误差求逆模块得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现:
规则化最小均方误差求逆模块通过求解二次凸优化问题:
得到更新估计的高分辨率图像,
其中,D为图像下采样矩阵,
μ是对规则化的因子,
η是对规则化的因子,
μ、η取值为0.01~0.001之间的常数。
与现有技术相比,本发明的优点如下:
本发明的实现总体分为两个阶段:第一阶段,利用图像相邻像素具有的相似性,采用经典的bi-cubic方法,通过多项式近似方法由已知像素的小局部邻域来计算缺失的像素,得到内插高分辨率图像的初始值;第二阶段,通过多次的迭代优化以有效改进高分辨率图像的质量,其中每次迭代包括两个过程:第一个过程是采用自适应的矩阵低秩分解技术对得到的高分辨率图像估计进行滤波;第二个过程是根据已知的低分辨率图像,参考第一个过程得到的高分辨率图像估计的滤波结果,通过采用规则化的最小均方误差求逆技术更新估计高分辨率图像。本发明在具有相对低计算复杂度的同时,能有效提升内插图像的质量。
附图说明
图1是本发明实施例中基于自适应低秩规则化的图像内插系统的结构框图。
附图标记:1—初始化模块,2—路由选择模块,3—图像滤波模块,4—规则化最小均方误差求逆模块;301—图像重叠分块单元,302—图像块组生成单元,303—图像块平滑性检测单元,304—图像块组自适应低秩分解单元,305—图像块组求平均单元。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示,本发明实施例提供一种基于自适应低秩规则化的图像内插系统,包括初始化模块1、路由选择模块2、图像滤波模块3和规则化最小均方误差求逆模块4,图像滤波模块3包括图像重叠分块单元301、图像块组生成单元302、图像块平滑性检测单元303、图像块组自适应低秩分解单元304、图像块组求平均单元305,其中:路由选择模块2有两个输入端、一个输出端,图像块组生成单元302有一个输入端、两个输出端,图像块组自适应低秩分解单元304有两个输入端、一个输出端,规则化最小均方误差求逆模块4有2个输入端、1个输出端。
路由选择模块2的一个输入端与初始化模块1的输出端相连,路由选择模块2的另一个输入端与规则化最小均方误差求逆模块4的输出端相连,路由选择模块2的输出端与图像重叠分块单元301的输入端相连,图像重叠分块单元301的输出端与图像块组生成单元302的输入端相连,图像块组生成单元302的一个输出端与图像块平滑性检测单元303的输入端相连,图像块组生成单元302的另一个输出端与图像块组自适应低秩分解单元304的一个输入端相连,图像块平滑性检测单元303的输出端与图像块组自适应低秩分解单元304的另一个输入端相连,图像块组自适应低秩分解单元304的输出端与图像块组求平均单元305的输入端相连,图像块组求平均单元305的输出端与规则化最小均方误差求逆模块4的一个输入端相连,规则化最小均方误差求逆模块4的另一个输入端与初始化模块1的输入端一同连接到图像内插系统的输入端,规则化最小均方误差求逆模块4的输出端为图像内插系统的输出端。
初始化模块1接收原始的低分辨率图像,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块2;
路由选择模块2首次输出初始化模块1送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块4送入的更新估计的高分辨率图像;
图像重叠分块单元301对路由选择模块2输出的图像进行重叠分块,得到多个存在像素重叠的图像块,送入图像块组生成单元302;
图像块组生成单元302对图像重叠分块单元301送入的每一图像块,在其所在图像的规定邻域范围内,寻找到一组相似图像块,将该图像块和该组相似图像块矢量化后,生成与该图像块对应的数据矩阵,分别送入图像块平滑性检测单元303、图像块组自适应低秩分解单元304;
图像块平滑性检测单元303接收图像块组生成单元302送入的与图像块对应的数据矩阵,计算数据矩阵的一阶灰度熵,得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元304;
图像块组自适应低秩分解单元304根据图像块组生成单元302送入的与图像块对应的数据矩阵、图像块平滑性检测单元303送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算,在具体的运算过程中,通过自适应的部分奇异值阈值实现,得到数据矩阵的低秩分量,送入图像块组求平均单元305;
图像块组求平均单元305对图像块组自适应低秩分解单元304送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块2送入图像重叠分块单元301的图像的滤波结果,送入规则化最小均方误差求逆模块4;
规则化最小均方误差求逆模块4根据图像块组求平均单元305送入的图像的滤波结果,以及根据输入的原始低分辨率图像,得到更新估计的高分辨率图像;在得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现;再将更新估计的高分辨率图像送入路由选择模块2,路由选择模块2将高分辨率图像送入图像重叠分块单元301,继续进行迭代运算,达到逐渐提升输出图像质量的目的。
本发明实施例提供一种应用于上述系统的基于自适应低秩规则化的图像内插方法,包括以下步骤:
S1、初始化模块1接收原始的低分辨率图像y,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块2;
S2、初始化模块1对第一布雷格曼距离a和第二布雷格曼距离b进行初始化:a=0,b=0;
S3、图像滤波:
S3.1、路由选择模块2首次输出初始化模块1送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块4送入的更新估计的高分辨率图像;图像重叠分块单元301对路由选择模块2输出的图像x进行重叠分块,得到多个存在像素重叠的图像块xi,送入图像块组生成单元302;图像块xi=Rix,i=1,2,…n,n为大于2的整数,表示图像分块的总数,Ri为提取第i图像块的运算矩阵,图像块大小B一般选取为6行×6列;
S3.2、图像块组生成单元302对图像重叠分块单元301送入的每一图像块xi,在其所在图像的规定的邻域窗内(窗的大小一般选取为40×40),求取其K-1个最相似的图像块,K为40~60之间的正整数;将该图像块及其相似图像块矢量化后,生成与该图像块对应的数据矩阵Ai,分别送入图像块平滑性检测单元303、图像块组自适应低秩分解单元304;数据矩阵表示提取的第i图像块的图像块组,为提取第i图像块的图像块组的运算矩阵;
S3.3、图像块平滑性检测单元303接收图像块组生成单元302送入的与图像块对应的数据矩阵Ai,计算每一个数据矩阵Ai的一阶灰度熵得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元304;其中,pj表示数据矩阵Ai中灰度值为j的元素出现的概率,j为0~255之间的整数;
S3.4、图像块组自适应低秩分解单元304根据图像块组生成单元302送入的与图像块对应的数据矩阵Ai、图像块平滑性检测单元303送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算:
图像块组自适应低秩分解单元304对所有数据矩阵Ai进行奇异值分解,得UiΣiVi'=Ai,即Σi为Ai的奇异值矩阵,Ui为Ai的左特征矢量矩阵,Vi为Ai的右特征矢量矩阵,Vi'表示为Vi的转置;
再对所有数据矩阵Ai进行部分奇异值阈值收缩运算:
Ai=Ui1Σi1Vi1′+Ui2(Σi2-τω)+Vi2′,
其中,Ui1为Ui的前r列组成的矩阵,Σi1为Ai的前r个奇异值组成的对角矩阵,Vi1为Vi的前r列组成的矩阵,Σi2为Ai的前r个奇异值去除后的剩余奇异值组成的对角矩阵,Ui2为Ui去除前r列后组成的矩阵,Vi2为Vi去除前r列后组成的矩阵,r是熵hi的函数,且r为整数;为奇异值矩阵Σi的逆,(x)+=max(x,0)表示取x与0的较大值,τ为设置的阈值;
得到数据矩阵的低秩分量,送入图像块组求平均单元305;
S3.5、图像块组求平均单元305对图像块组自适应低秩分解单元304送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块2送入图像重叠分块单元301的图像x的滤波结果z,并将图像x的滤波结果z送入规则化最小均方误差求逆模块4;
图像x的滤波结果z表示为:
其中,表示为的转置,1B×K表示为大小为B×K且元素的值全为1的矩阵,./为矩阵点除运算符;
S4、规则化最小均方误差求逆模块4根据图像块组求平均单元305送入的图像x的滤波结果z,以及根据输入的原始的低分辨率图像y,得到更新估计的高分辨率图像,再将更新估计的高分辨率图像送入路由选择模块2;
规则化最小均方误差求逆模块4得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现:
规则化最小均方误差求逆模块4通过求解二次凸优化问题:
得到更新估计的高分辨率图像,
其中,D为图像下采样矩阵,
μ是对规则化的因子,
η是对规则化的因子,
μ、η取值为0.01~0.001之间的常数;
S5、更新第一布雷格曼距离a:a=a-(x-z),更新第二布雷格曼距离b:b=b-(y-Dx);
S6、计算更新前后高分辨率图像的均方误差值,如果大于给定的阈值,则返回到步骤S3,路由选择模块2将更新估计的高分辨率图像送入图像重叠分块单元301,继续进行迭代运算,达到逐渐提升输出图像质量的目的;否则执行步骤S7;
S7、结束运算,输出最后得到的高分辨率图像。
仿真实验
为了证明本发明实施例的有效性,申请人在MATLAB平台下进行了仿真实验,表1和表2给出了本发明与文献[3]和[4]的方法在采样因子s分别为s=2和s=3的情况时的系统系能比较。实验中的图像块大小选取为B=6×6,邻域窗的大小选取为40×40,相似块的个数选取为K=45。
表1、峰值信噪比(PSNR)(dB)与结构相似性(SSIM)性能比较(S=2)
表2、峰值信噪比(PSNR)(dB)与结构相似性(SSIM)性能比较(S=3)
本领域的技术人员可以对本发明实施例进行各种修改和变型,倘若这些修改和变型在本发明权利要求及其等同技术的范围之内,则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (10)
1.一种基于自适应低秩规则化的图像内插系统,其特征在于:包括初始化模块(1)、路由选择模块(2)、图像滤波模块(3)和规则化最小均方误差求逆模块(4),图像滤波模块(3)包括图像重叠分块单元(301)、图像块组生成单元(302)、图像块平滑性检测单元(303)、图像块组自适应低秩分解单元(304)、图像块组求平均单元(305),其中:路由选择模块(2)有两个输入端、一个输出端,图像块组生成单元(302)有一个输入端、两个输出端,图像块组自适应低秩分解单元(304)有两个输入端、一个输出端,规则化最小均方误差求逆模块(4)有2个输入端、1个输出端;
路由选择模块(2)的一个输入端与初始化模块(1)的输出端相连,路由选择模块(2)的另一个输入端与规则化最小均方误差求逆模块(4)的输出端相连,路由选择模块(2)的输出端与图像重叠分块单元(301)的输入端相连,图像重叠分块单元(301)的输出端与图像块组生成单元(302)的输入端相连,图像块组生成单元(302)的一个输出端与图像块平滑性检测单元(303)的输入端相连,图像块组生成单元(302)的另一个输出端与图像块组自适应低秩分解单元(304)的一个输入端相连,图像块平滑性检测单元(303)的输出端与图像块组自适应低秩分解单元(304)的另一个输入端相连,图像块组自适应低秩分解单元(304)的输出端与图像块组求平均单元(305)的输入端相连,图像块组求平均单元(305)的输出端与规则化最小均方误差求逆模块(4)的一个输入端相连,规则化最小均方误差求逆模块(4)的另一个输入端与初始化模块(1)的输入端一同连接到图像内插系统的输入端,规则化最小均方误差求逆模块(4)的输出端为图像内插系统的输出端。
2.如权利要求1所述的基于自适应低秩规则化的图像内插系统,其特征在于:所述初始化模块(1)接收原始的低分辨率图像,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块(2);
路由选择模块(2)首次输出初始化模块(1)送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块(4)送入的更新估计的高分辨率图像;
图像重叠分块单元(301)对路由选择模块(2)输出的图像进行重叠分块,得到多个存在像素重叠的图像块,送入图像块组生成单元(302);
图像块组生成单元(302)对图像重叠分块单元(301)送入的每一图像块,在其所在图像的规定邻域范围内,寻找到一组相似图像块,将该图像块和该组相似图像块矢量化后,生成与该图像块对应的数据矩阵,分别送入图像块平滑性检测单元(303)、图像块组自适应低秩分解单元(304);
图像块平滑性检测单元(303)接收图像块组生成单元(302)送入的与图像块对应的数据矩阵,计算数据矩阵的一阶灰度熵,得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元(304);
图像块组自适应低秩分解单元(304)根据图像块组生成单元(302)送入的与图像块对应的数据矩阵、图像块平滑性检测单元(303)送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算,得到数据矩阵的低秩分量,送入图像块组求平均单元(305);
图像块组求平均单元(305)对图像块组自适应低秩分解单元(304)送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块(2)送入图像重叠分块单元(301)的图像的滤波结果,送入规则化最小均方误差求逆模块(4);
规则化最小均方误差求逆模块(4)根据图像块组求平均单元(305)送入的图像的滤波结果,以及根据输入的原始低分辨率图像,得到更新估计的高分辨率图像;再将更新估计的高分辨率图像送入路由选择模块(2),路由选择模块(2)将高分辨率图像送入图像重叠分块单元(301),继续进行迭代运算,达到逐渐提升输出图像质量的目的。
3.如权利要求2所述的基于自适应低秩规则化的图像内插系统,其特征在于:所述图像块组自适应低秩分解单元(304)自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算的过程中,通过自适应的部分奇异值阈值实现,得到数据矩阵的低秩分量。
4.如权利要求2所述的基于自适应低秩规则化的图像内插系统,其特征在于:所述规则化最小均方误差求逆模块(4)得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现。
5.应用于权利要求1所述系统的基于自适应低秩规则化的图像内插方法,其特征在于,包括以下步骤:
S1、初始化模块(1)接收原始的低分辨率图像y,并采用经典的Bi-cubic内插方法进行插值运算,生成初始高分辨图像,送入路由选择模块(2);
S2、初始化模块(1)对第一布雷格曼距离a和第二布雷格曼距离b进行初始化:a=0,b=0;
S3、图像滤波:
S3.1、路由选择模块(2)首次输出初始化模块(1)送入的初始高分辨图像,之后均输出规则化最小均方误差求逆模块(4)送入的更新估计的高分辨率图像;图像重叠分块单元(301)对路由选择模块(2)输出的图像x进行重叠分块,得到多个存在像素重叠的图像块xi,送入图像块组生成单元(302);图像块xi=Rix,i=1,2,…n,n为大于2的整数,表示图像分块的总数,Ri为提取第i图像块的运算矩阵,图像块大小B一般选取为6行×6列;
S3.2、图像块组生成单元(302)对图像重叠分块单元(301)送入的每一图像块xi,在其所在图像的规定的邻域窗内,求取其K-1个最相似的图像块,K为40~60之间的正整数;将该图像块及其相似图像块矢量化后,生成与该图像块对应的数据矩阵Ai,分别送入图像块平滑性检测单元(303)、图像块组自适应低秩分解单元(304);数据矩阵表示提取的第i图像块的图像块组,为提取第i图像块的图像块组的运算矩阵;
S3.3、图像块平滑性检测单元(303)接收图像块组生成单元(302)送入的与图像块对应的数据矩阵Ai,计算每一个数据矩阵Ai的一阶灰度熵得到对应图像块的平滑性信息,送入图像块组自适应低秩分解单元(304);其中,pj表示数据矩阵Ai中灰度值为j的元素出现的概率,j为0~255之间的整数;
S3.4、图像块组自适应低秩分解单元(304)根据图像块组生成单元(302)送入的与图像块对应的数据矩阵Ai、图像块平滑性检测单元(303)送入的图像块的平滑性信息,自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算,得到数据矩阵的低秩分量,送入图像块组求平均单元(305);
S3.5、图像块组求平均单元(305)对图像块组自适应低秩分解单元(304)送入的所有数据矩阵的低秩分量进行求平均运算,得到路由选择模块(2)送入图像重叠分块单元(301)的图像x的滤波结果z,并将图像x的滤波结果z送入规则化最小均方误差求逆模块(4);
S4、规则化最小均方误差求逆模块(4)根据图像块组求平均单元(305)送入的图像x的滤波结果z,以及根据输入的原始的低分辨率图像y,得到更新估计的高分辨率图像,再将更新估计的高分辨率图像送入路由选择模块(2);
S5、更新第一布雷格曼距离a:a=a-(x-z),更新第二布雷格曼距离b:b=b-(y-Dx),其中,D为图像下采样矩阵;
S6、计算更新前后高分辨率图像的均方误差值,如果大于给定的阈值,则返回到步骤S3,路由选择模块(2)将更新估计的高分辨率图像送入图像重叠分块单元(301),继续进行迭代运算,达到逐渐提升输出图像质量的目的;否则执行步骤S7;
S7、结束运算,输出最后得到的高分辨率图像。
6.如权利要求5所述的基于自适应低秩规则化的图像内插方法,其特征在于:步骤S3.2中窗的大小选取为40×40。
7.如权利要求5所述的基于自适应低秩规则化的图像内插方法,其特征在于:步骤S3.4中图像块组自适应低秩分解单元(304)自适应地对与图像块对应的数据矩阵进行低秩矩阵分解运算的过程中,图像块组自适应低秩分解单元(304)对所有数据矩阵Ai进行奇异值分解,得UiΣiVi'=Ai,即Σi为Ai的奇异值矩阵,Ui为Ai的左特征矢量矩阵,Vi为Ai的右特征矢量矩阵,Vi'表示为Vi的转置;再对所有数据矩阵Ai进行部分奇异值阈值收缩运算,得到数据矩阵的低秩分量。
8.如权利要求7所述的基于自适应低秩规则化的图像内插方法,其特征在于:步骤S3.4中图像块组自适应低秩分解单元(304)对所有数据矩阵Ai进行部分奇异值阈值收缩运算的过程为:
Ai=Ui1Σi1Vi1′+Ui2(Σi2-τω)+Vi2′,
其中,Ui1为Ui的前r列组成的矩阵,Σi1为Ai的前r个奇异值组成的对角矩阵,Vi1为Vi的前r列组成的矩阵,Ui2为Ui去除前r列后组成的矩阵,Σi2为Ai的前r个奇异值去除后的剩余奇异值组成的对角矩阵,Vi2为Vi去除前r列后组成的矩阵,r是熵hi的函数,且r为整数;ω=Σi -1为奇异值矩阵Σi的逆,(x)+=max(x,0)表示取x与0的较大值,τ为设置的阈值。
9.如权利要求8所述的基于自适应低秩规则化的图像内插方法,其特征在于:步骤S3.5中图像x的滤波结果z表示为:
其中,表示为的转置,1B×K表示为大小为B×K且元素的值全为1的矩阵,./为矩阵点除运算符。
10.如权利要求9所述的基于自适应低秩规则化的图像内插方法,其特征在于:步骤S4中所述规则化最小均方误差求逆模块(4)得到更新估计的高分辨率图像的过程中,通过优化求解规则化的输入低分辨率图像与输出高分辨率图像的下采样值的均方误差最小实现:
规则化最小均方误差求逆模块(4)通过求解二次凸优化问题:
得到更新估计的高分辨率图像,
其中,D为图像下采样矩阵,
μ是对规则化的因子,
η是对规则化的因子,
μ、η取值为0.01~0.001之间的常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510197071.XA CN104794694B (zh) | 2015-04-23 | 2015-04-23 | 基于自适应低秩规则化的图像内插系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510197071.XA CN104794694B (zh) | 2015-04-23 | 2015-04-23 | 基于自适应低秩规则化的图像内插系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104794694A CN104794694A (zh) | 2015-07-22 |
CN104794694B true CN104794694B (zh) | 2017-08-01 |
Family
ID=53559474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510197071.XA Expired - Fee Related CN104794694B (zh) | 2015-04-23 | 2015-04-23 | 基于自适应低秩规则化的图像内插系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104794694B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109741259A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于局部与非局部低秩矩阵重建模型的图像插值方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800076A (zh) * | 2012-07-16 | 2012-11-28 | 西安电子科技大学 | 基于双字典学习的图像超分辨重建方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN104008538A (zh) * | 2014-05-12 | 2014-08-27 | 清华大学 | 基于单张图像超分辨率方法 |
-
2015
- 2015-04-23 CN CN201510197071.XA patent/CN104794694B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800076A (zh) * | 2012-07-16 | 2012-11-28 | 西安电子科技大学 | 基于双字典学习的图像超分辨重建方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN104008538A (zh) * | 2014-05-12 | 2014-08-27 | 清华大学 | 基于单张图像超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
《Cubic Convolution Interpolation for Digital Image Processing》;ROBERT G.KEYS;《IEEE TRANSACTIONS ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING》;19811231;第29卷(第6期);1153-1160 * |
《Weighted Nuclear Norm Minimization with Application to Image Denoising》;Shuhang Gu et al.;《2014 IEEE Conference on Computer Vision and Pattern Recognition》;20141231;2862-2869 * |
Also Published As
Publication number | Publication date |
---|---|
CN104794694A (zh) | 2015-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
CN108475415B (zh) | 用于图像处理的方法和系统 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN103761710B (zh) | 基于边缘自适应的高效图像盲去模糊方法 | |
CN103150713A (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
CN110675347A (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
WO2007088113A1 (en) | Method and apparatus for enhancing the resolution of a digital image | |
CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
CN114529456B (zh) | 一种视频的超分辨率处理方法、装置、设备及介质 | |
Akbari et al. | Joint sparse learning with nonlocal and local image priors for image error concealment | |
CN106600533B (zh) | 单图像超分辨率重建方法 | |
KR102119132B1 (ko) | 에지 컴퓨팅용 초고해상도 영상을 복원하기 위한 초고해상도 영상 복원 장치 및 방법 | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
JP6528349B1 (ja) | 情報処理装置及び情報処理方法 | |
Barzigar et al. | A video super-resolution framework using SCoBeP | |
CN104794694B (zh) | 基于自适应低秩规则化的图像内插系统及方法 | |
CN116895037B (zh) | 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统 | |
CN114549300A (zh) | 图像字典的生成方法、图像重建方法及相关装置 | |
CN115641260A (zh) | 图像处理方法、模组、设备、存储介质及程序产品 | |
CN109345453B (zh) | 利用标准化组稀疏规则化的图像超分辨率重构系统及方法 | |
Nguyen et al. | Efficient depth image reconstruction using accelerated proximal gradient method | |
Wang et al. | Efficient image deblurring via blockwise non-blind deconvolution algorithm | |
CN110648291A (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170801 Termination date: 20210423 |
|
CF01 | Termination of patent right due to non-payment of annual fee |