CN106157251A - 一种基于柯西正则化的人脸超分辨率方法 - Google Patents

Abstract

一种基于柯西正则化的人脸超分辨率方法，包括对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；分别建立高、低分辨率图像块集作为高、低分辨率图像块字典；用低分辨率图像块字典表示该图像块，利用柯西约束项求解重建系数，然后利用此重建系数和高分辨率图像块字典重建出新的高分辨率图像块；根据低分辨率图像块的位置关系将所得的高分辨率图像块融合成高分辨率图像。本发明在最小二乘法的基础上对重建系数加上柯西约束，本发明可得到了更高质量、与真实情况更为接近的重建效果。

Description

一种基于柯西正则化的人脸超分辨率方法

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于柯西正则化的人脸超分辨率方法。

背景技术

在过去的十年中，人们已经见证了视频应用的快速发展，如视频聊天、视频监控、视频检索等等。同时，人们经常会面对不尽如人意的视频质量，尤其是视频中的人脸图像要求更高。因此，一种称之为人脸超分辨率的技术发展起来，并引发了图像处理和计算机视觉领域的大量关注。人脸超分辨率技术就是一种能够利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术，可以有效增强低质量图像的分辨率。

人脸超分辨率技术将输入的低分辨率图像修复为高分辨率图像，是一种逆问题。为了恢复让人视觉上满意的高分辨图像，研究人员提出了许多利用图像先验信息的正则化方法，目的就是为了使这个逆向过程得到稳定的结果。

最近，作为一种统计信号模型的有力工具，稀疏表示作为正则项被广泛的应用于该逆向问题中。Yang等人在文献[1]中首次在幻构人脸中引入L₁范数的稀疏表示，使得对应的低分辨图像块和高分辨率图像块有相同的稀疏表示，该方法增强了人脸的细节信息。Jung等人在基于位置图像块的人脸超分方法的基础上，将人脸超分问题看做稀疏约束的的最小二乘问题[2]，获得了较好的超分效果。最近，Dong等人利用图像的非局部自相似性，提出了非局部集中稀疏表示算法(NCSR)来更好的预测稀疏重建系数[3]。

稀疏表示方法假设系数向量符合零均值的多变量拉普拉斯分布(Laplaciandistribution)，该方法是在重建系数上加入了1范数惩罚(L₁-penalty),稀疏表示的重建系数在零值处呈尖峰分布，体现出强稀疏性。由于基于稀疏表示的人脸超分辨率方法强调稀疏性，可能会选择和输入图像差别很大的基图像重建输入图像，进而使得重建得到的高分辨率人脸图像存在很大的噪声，尤其是在边缘丰富的眼睛和嘴巴等部位，因此，可能会得到不能令人满意的重建图像。基于稀疏表示的方法认为重建系数符合拉普拉斯分布，然而这个假设可能和真实的分布并不一致。

现有技术中相关的参考文献如下：

文献1：J.Yang,H.Tang,Y.Ma,and T.Huang,“Face hallucination via sparse coding,”inProc.IEEE Conf.on Image Processing(ICIP),2008,pp.1264–1267.

文献2：C.Jung,L.Jiao,B.Liu,and M.Gong,“Position-Patch Based Face HallucinationUsing Convex Optimization,”IEEE Signal Process.Lett.,vol.18,no.6,pp.367–370,2011.

文献3：Guangming Shi Weisheng Dong,Lei Zhang and Xin Li,“Nonlocally centralized sparserepresentation for imagerestoration,”IEEE Trans.on Image Processing,vol.22,no.4,pp.1620–1630,2013.

文献4：C.Thomaz and G.Giraldi,“A new ranking method for principal components analysisand its application to face image analysis,”Image and Vision Computing,vol.28,no.6,pp.902–913,2010.

文献5：H.Chang,D.Y.Yeung,and Y.M.Xiong.Super-resolution through neighbor embedding.In CVPR,pp.275–282,2004.

文献6：X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.

发明内容

本发明目的在于克服现有技术缺陷，提供一种基于柯西正则化的人脸超分辨率方法。

为达到上述目的，本发明采用的技术方案是一种基于柯西正则化的人脸超分辨率方法，包括如下步骤：

步骤1，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；

步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，得到相应低分辨率图像块字典，建立低分辨率人脸样本块空间，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，得到相应高分辨率图像块字典，建立高分辨率人脸样本块空间；实现如下，设对输入的低分辨率人脸图像X^t划分为M个相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块，然后分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示图像上的块位置序号，为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；

步骤3，对输入低分辨率人脸图像中某一个图像块，分别使用步骤2所得低分辨率人脸样本块空间进行柯西正则化的稀疏表示，得到线性重构的最优权重系数α，实现如下，

$J\left(\mathrm{\α}\right)={\left|\right|x_j^t-{\stackrel{\‾}{X}}_j\mathrm{\α}\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_i\ln (1+\frac{{\mathrm{\α}}_i^2}{{\mathrm{\σ}}_{\mathrm{\α}}^2}),$

其中，J(α)返回关于变量α的函数在得到最小值时α的取值，α是维向量，由个线性重构系数α_i构成，σ_α是的标准方差，是柯西正则项，表示对二范数||·||₂的结果求平方，λ是平衡重建误差和稀疏性的正则化参数；

步骤4，利用步骤3得到的最优权重系数以及步骤2所得高分辨率人脸样本块空间，线性重构得到新的高分辨率图像块；

步骤5，将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加，然后除以每个像素位置交叠的次数，得到一张高分辨率人脸图像。

在本发明中，使用一种更适合的先验模型进行人脸超分辨率重建，提出了一种称为柯西正则化的模型来提高人脸超分的性能。和拉普拉斯分布的重建系数在零值处呈尖峰分布不同，柯西先验对应的重建系数在零值处呈现出较温和的稀疏性。通过在解决方案中加入柯西先验项，可以得到一种适度地稀疏正则化方法，该方法优于基于L1范数的稀疏算法。

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：

步骤1，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；

低分辨率训练集和高分辨率训练集提供预先设定的训练样本对，低分辨率训练集中包含低分辨率人脸样本图像，高分辨率训练集中包含高分辨率人脸样本图像。实施例中，所有高分辨率图像为经过手工对齐配准的人脸图像，像素大小为120×100。低分辨率训练集中每个低分辨率人脸样本图像由高分辨率训练集中的一个高分辨率人脸样本图像以4×4平滑滤波并4倍下采样得到，低分辨率图像像素大小为30×25，高分辨率图像块大小定为12×12，重叠像素值设为4，低分辨率图像块大小为3×3，重叠像素值为1。

实施例中，对输入的低分辨率人脸图像X^t划分相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块，分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块构成的字典M个与输入的低分辨率人脸图像M个图像块对应位置的低分辨率图像块构成的字典其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示图像上的块位置序号，为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；

步骤2，对于输入的低分辨率人脸图像中每个人脸图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间；

实施例中，对输入的低分辨率人脸图像中的某个位置图像块可得到相应低分辨率图像块字典和高分辨率图像块字典，从而建立低分辨率人脸样本块空间和高分辨率人脸样本块空间 ${\stackrel{\‾}{Y}}_j={\left\{\stackrel{\‾}{y_i}\right\}}_{i=1}^{\stackrel{\‾}{N}};$

步骤3中，对输入低分辨率人脸图像中每一个图像块分别使用步骤2所得低分辨率人脸样本块空间进行柯西正则化的稀疏表示，得到线性重构的最优权重系数α；

柯西正则化的线性重构是指：

$J\left(\mathrm{\α}\right)={\left|\right|x_j^t-{\stackrel{\‾}{X}}_j\mathrm{\α}\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_i\ln (1+\frac{{\mathrm{\α}}_i^2}{{\mathrm{\σ}}_{\mathrm{\α}}^2}),$

其中，J(α)返回关于变量α的函数在得到最小值时α的取值，α是维向量，由个线性重构系数α_i构成，简称系数向量。σ_α是系数α的标准方差，是柯西正则项，表示对二范数||·||₂的结果求平方，λ是平衡重建误差和稀疏性的正则化参数，λ建议取值1e-2。

柯西正则化的方法和现有的稀疏表示的方法不同，稀疏表示的解决方案等价于如下的优化问题：

$J\left(\mathrm{\α}\right)={\left|\right|x_j^t-{\stackrel{\‾}{X}}_j\mathrm{\α}\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_i\left|{\mathrm{\α}}_i\right|,$

其中Σ_i|α_i|是稀疏正则项。

步骤4，利用步骤3得到的最优权重系数α以及步骤2所得高分辨率人脸样本块空间可以通过下式来重建新的高分辨率图像块

$y_j^t={\stackrel{\‾}{Y}}_j\mathrm{\α}.$

即可通过个线性重构系数重构得到高分辨率图像块。

步骤5，将所有加权重构出的高分辨率图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。

为了验证本发明的有效性，采用FEI人脸数据库[4]进行实验，选用所有200个个体的400张正面、预对齐的人脸图像。原始的高分辨率人脸图像为120×100像素。低分辨率人脸图像由高分辨率人脸图像4倍Bicubic下采样后得到。随机选择360张作为训练样本，将剩余40张作为测试图像。我们将本发明得到的重构效果和一些基于块位置的方法进行对比，例如近邻嵌入法(NE,文献5)，最小二乘方法(LSR，文献6)、稀疏表示法(SR，文献2)和非局部集中稀疏表示法(NCSR，文献3)等。

实验采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量对比算法的优劣，SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。比较以上方法对全部40张测试图像处理获得的平均PSNR和SSIM值，详见表1。

从表1中可以看出，对比方法和本发明方法的PSNR值分别为31.75、31.90、32.11、31.30和32.51，SSIM值分别为0.894、0.903、0.905、0.906和0.910，即，本发明方法比对比方法中最好的算法的PSNR值和SSIM值分别提高0.4dB和0.004。由此可见，本发明方法较其他已有的方法相比，效果有了显著的提高。

表1本发明方法和现有方法的PSNR值和SSIM值

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于柯西正则化的人脸超分辨率方法，其特征在于，包括如下步骤：

步骤1，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；

步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，得到相应低分辨率图像块字典，建立低分辨率人脸样本块空间，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，得到相应高分辨率图像块字典，建立高分辨率人脸样本块空间；实现如下，

设对输入的低分辨率人脸图像X^t划分为M个相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块，然后分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示图像上的块位置序号，为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；

步骤3，对输入低分辨率人脸图像中某一个图像块，分别使用步骤2所得低分辨率人脸样本块空间进行柯西正则化的稀疏表示，得到线性重构的最优权重系数α，实现如下，

$J\left(\mathrm{\α}\right)={\left|\right|x_j^t-{\stackrel{\‾}{X}}_j\mathrm{\α}\left|\right|}_2^2+{\mathrm{\λ\Σ}}_i\ln (1+\frac{{\mathrm{\α}}_i^2}{{\mathrm{\σ}}_{\mathrm{\α}}^2}),$

其中，J(α)返回关于变量α的函数在得到最小值时α的取值，α是维向量，由个线性重构系数α_i构成，σ_α是的标准方差，是柯西正则项，表示对二范数||·||₂的结果求平方，λ是平衡重建误差和稀疏性的正则化参数；

步骤4，利用步骤3得到的最优权重系数以及步骤2所得高分辨率人脸样本块空间，线性重构得到新的高分辨率图像块；

步骤5，将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加，然后除以每个像素位置交叠的次数，得到一张高分辨率人脸图像。