[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110889895A - 一种融合单帧重建网络的人脸视频超分辨率重建方法 - Google Patents

一种融合单帧重建网络的人脸视频超分辨率重建方法 Download PDF

Info

Publication number
CN110889895A
CN110889895A CN201911094983.9A CN201911094983A CN110889895A CN 110889895 A CN110889895 A CN 110889895A CN 201911094983 A CN201911094983 A CN 201911094983A CN 110889895 A CN110889895 A CN 110889895A
Authority
CN
China
Prior art keywords
resolution
frame
video
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911094983.9A
Other languages
English (en)
Other versions
CN110889895B (zh
Inventor
廖频
史鹏涛
周玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Power Jiangxi Corp
Original Assignee
Lattice Power Jiangxi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Power Jiangxi Corp filed Critical Lattice Power Jiangxi Corp
Priority to CN201911094983.9A priority Critical patent/CN110889895B/zh
Publication of CN110889895A publication Critical patent/CN110889895A/zh
Application granted granted Critical
Publication of CN110889895B publication Critical patent/CN110889895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种融合单帧重建网络的人脸视频超分辨率重建方法，包括以下步骤：(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。本发明提出的融合单帧重建网络的人脸视频超分辨率重建方法，不仅能有效提高重建视频的峰值信噪比和结构相似性，而且能重建视频的视觉效果。

Description

一种融合单帧重建网络的人脸视频超分辨率重建方法
技术领域
本发明涉及计算机视觉技术领域，具体为一种融合单帧重建网络的人脸视频超分辨率重建方法。
背景技术
图像超分辨率重建通过使用低分辨率的单帧图像或视频重建出高分辨率图像，它的原理主要在于从图像或视频中提取相关性和互补性比较强的特征，并使用这些特征来提高图像分辨率。这种方法不需要改变硬件设备，可以改善已有的低分辨图像而且使用成本低。
视频监控在公共安全领域中的作用越来越重要，然而其面临的一个主要难题是：由于成像设备自身限制和公共场所复杂环境影响，往往导致视频中的人脸图像的分辨率比较低，从而清晰度较差、不易辨认。因此，如何使用图像超分辨率重建技术重建出高质量的人脸图像，成为当前的一个研究热点。
目前，视频超分辨率技术主要分为两大类：其一是基于传统机器学习的方法，如通过专门处理运动估计或使用贝叶斯方法来解决视频超分辨率重建，并没有生成很好的效果。另一种是基于深度学习的方法，例如，Shi等提出基于亚像素卷积神经网络ESPCN(Real-time single image and video super-resolution using an efficient sub-pixelconvolutional neural network)来提升图像尺寸。Kappeler等基于CNN构建视频超分辨率重建框架VSRnet(Video Super-Resolution with Convolutional Neural Networks)，并借助图像数据库来预训练模型，可以加快训练的速度，经测试此方法重建效果优于基于贝叶斯方法的视频超分辨率重建。
虽然已有许多视频超分辨率重建方法，但是仍然存在重建后的人脸视频比较模糊、细节不够丰富等。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种融合单帧重建网络的人脸视频超分辨率重建方法，采用密集网络可以提取更多的图像高频细节，重建更高清的视频。
为实现上述目的，本发明提供如下技术方案：一种融合单帧重建网络的人脸视频超分辨率重建方法，包括以下步骤：
(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；
(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；
(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；
(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。
进一步的，所述步骤(2)包括以下步骤：
第一步，单帧人脸图像特征提取：采用密集网络来提取人脸图像的特征；
第二步，人脸图像上采样过程：同时采用反卷积和亚像素卷积两种上采样方法来放大人脸图像特征图尺寸，然后把这两种上采样方法得到的特征图相加；
第三步，设计损失函数：首先使用损失函数MSE来提升重建图像的质量，其公式为：
Figure BDA0002268043580000021
其中，IHR是高分辨率人脸图像，ILR是低分辨率人脸图像，尺寸为W*H，G是生成器模型，r是缩放系数；
其次，在MSE的基础上引入特征损失函数，该函数可以计算图像特征之间的误差，利用在ImageNet上训练好的VGG19的模型来提取图像的特征，公式如下：
Figure BDA0002268043580000022
其中，Wi,j和Hi,j是经过VGG19模型的特征图尺寸，φi,j代表人脸图像经过VGG19模型第i层最大池化前和第j层卷积后的输出；考虑到人脸图像过小，首先把人脸图像缩放到224*224，然后取值i＝5和j＝4；
以上两个损失函数都是为了计算图像之间的像素差值，另外，本算法鼓励生成器试图去欺骗判别器，因此其生成器损失函数是基于判别器，公式如下：
Figure BDA0002268043580000023
其中，D是判别器，G是生成器；
最后，结合以上三个损失函数，就是单帧重建网络的损失函数：
Figure BDA0002268043580000031
第四步，人脸图像重建：上采样后的图像特征经过一个大小为1*1的卷积层，并被tanh激活输出，进而生成高分辨率人脸图像。
进一步的，所述步骤(3)包括以下步骤：
第一步，首先把一组视频帧经过共享2D卷积处理并根据时间轴连接，然后通过共享参数的3D密集块和3*3卷积层分为两个分支：
其一为提取残差图像，采用亚像素卷积对视频特征向量进行上采样，输出为rH*rW*C的残差图像Rt，r是缩放系数，H*W是低分辨率帧的尺寸，C为视频帧的通道数；
其二为构造动态上采样滤波器，通过两个1*1的卷积输出一组大小为5*5的r2HW的上采样滤波器Ft；
第二步，使用中间的视频帧作为输入，首先与一组滤波器Ft结合来生成滤波后的高分辨率视频帧
Figure BDA0002268043580000032
其次输入到单帧重建网络的生成器模型输出高分辨率视频帧Gt；
第三步，
Figure BDA0002268043580000033
Rt和Gt相加来生成最终的高分辨率视频帧
Figure BDA0002268043580000034
进一步的，所述步骤(3)第一步中构造动态上采样滤波器方法，包括以下步骤：
第一阶段，将一组低分辨率帧{Xt-N:t+N}送入动态上采样滤波器生成网络，训练这个生成网络并输出一组大小为5*5的r2HW的上采样滤波器Ft，r是缩放系数，H W是低分辨率帧的尺寸；
第二阶段，对低分辨率帧Xt中的像素进行局部滤波，得到对应低分辨率像素的高分辨率图像
Figure BDA0002268043580000035
的像素值，对应的滤波器是
Figure BDA0002268043580000036
公式如下：
Figure BDA0002268043580000037
其中，x，y是低分辨率栅格的坐标，v和u是每个r*r输出块的坐标，v>＝0,u<＝r-1；这种操作类似于反卷积，它允许反向传播，因此可以对网络进行端到端的学习。
与现有技术相比，本发明的有益效果是：
(1)采用密集网络可以提取人脸视频的更多高频细节，重建视频更为清晰；(2)损失函数结合感知Loss可以提升重建视频的视觉效果；(3)融合单帧重建网络，可以提升重建视频的峰值信噪比和结构相似性等。
附图说明
图1是密集网络中的密集块网络结构图；
图2是单帧重建网络的生成器网络结构图；
图3是单帧重建网络的判别器网络结构图；
图4是融合单帧重建网络的视频超分辨率重建网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。
请参阅图1-4，一种融合单帧重建网络的人脸视频超分辨率重建方法，包括以下步骤：
(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；
(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；
(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；
(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。
一种融合单帧重建网络的人脸视频超分辨率重建方法的具体实施有两个关键步骤，一个是单帧重建网络的设计，另一个是融合单帧重建网络的视频超分辨率重建模型的构造。下面对这两个关键步骤进行具体的描述。
单帧重建网络的结构如图1-3所示，其具体步骤如下：
第一步，单帧人脸图像特征提取：采用密集网络来提取人脸图像的特征；
第二步，人脸图像上采样过程：同时采用反卷积和亚像素卷积两种上采样方法来放大人脸图像特征图尺寸，然后把这两种上采样方法得到的特征图相加；
第三步，设计损失函数：首先使用损失函数MSE来提升重建图像的质量，其公式为：
Figure BDA0002268043580000051
其中，IHR是高分辨率人脸图像，ILR是低分辨率人脸图像(尺寸为W*H)，G是生成器模型，r是缩放系数。
其次，在MSE的基础上引入特征损失函数，该函数可以计算图像特征之间的误差，利用在ImageNet上训练好的VGG19的模型来提取图像的特征，公式如下：
Figure BDA0002268043580000052
其中，Wi,j和Hi,j是经过VGG19模型的特征图尺寸，φi,j代表人脸图像经过VGG19模型第i层最大池化前和第j层卷积后的输出；考虑到人脸图像过小，首先把人脸图像缩放到224*224，然后取值i＝5和j＝4。
以上两个损失函数都是为了计算图像之间的像素差值，另外，本算法鼓励生成器试图去欺骗判别器，因此其生成器损失函数是基于判别器，公式如下：
Figure BDA0002268043580000053
其中，D是判别器，G是生成器。
最后，结合以上三个损失函数，就是单帧重建网络的损失函数：
Figure BDA0002268043580000054
第四步，人脸图像重建：上采样后的图像特征经过一个大小为1*1的卷积层，并被tanh激活输出，进而生成高分辨率人脸图像。
融合单帧重建网络的视频超分辨率重建模型的结构如图4所示，其具体步骤如下：
第一步，首先把一组视频帧经过共享2D卷积处理并根据时间轴连接，然后通过共享参数的3D密集块和3*3卷积层分为两个分支：
其一为提取残差图像，采用亚像素卷积对视频特征向量进行上采样，输出为rH*rW*C(r是缩放系数，H*W是低分辨率帧的尺寸，C为视频帧的通道数)的残差图像Rt。
其二为构造动态上采样滤波器，通过两个1*1的卷积输出一组大小为5*5的r2HW的上采样滤波器Ft；
第二步，使用中间的视频帧作为输入，首先与一组滤波器Ft结合来生成滤波后的高分辨率视频帧
Figure BDA0002268043580000061
其次输入到单帧重建网络的生成器模型输出高分辨率视频帧Gt；
第三步，
Figure BDA0002268043580000062
Rt和Gt相加来生成最终的高分辨率视频帧
Figure BDA0002268043580000063
其中构造动态上采样滤波器方法，包括两个阶段：
第一阶段，将一组低分辨率帧{Xt-N:t+N}送入动态上采样滤波器生成网络，训练这个生成网络并输出一组大小为5*5的r2HW(r是缩放系数，H W是低分辨率帧的尺寸)的上采样滤波器Ft。
第二阶段，对低分辨率帧Xt中的像素进行局部滤波，得到对应低分辨率像素的高分辨率图像
Figure BDA0002268043580000064
的像素值，对应的滤波器是
Figure BDA0002268043580000065
公式如下：
Figure BDA0002268043580000066
其中，x，y是低分辨率栅格的坐标，v和u是每个r*r输出块的坐标(v>＝0,u<＝r-1)。这种操作类似于反卷积，它允许反向传播，因此可以对网络进行端到端的学习。
本发明方法与现有的其它方法相比在人脸视频超分辨率重建效果上有明显的提高。如表1所示，将本发明方法在YouTube Faces Database人脸视频库上进行了4倍重建测试，并与常用的双立方插值Bicubic方法和传统的SRGAN-Dense方法进行了比较，在两项关键评价指标(平均峰值信号比AVG-PSNR和平均结构相似性AVG-SSIM)上，本发明方法都明显优于其它方法(这两项指标越高，都表示人脸视频超分辨率重建效果越好)。
表1
方法 AVG-PSNR AVG-SSIM
Bicubic 22.87128 0.64602
SRGAN-Dense 24.78542 0.74026
本发明方法 26.23769 0.79276
本发明提出的一种融合单帧重建网络的人脸视频超分辨率重建方法，不仅可以提升重建视频的峰值信噪比和结构相似性，而且可以提升重建视频的视觉效果。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：包括以下步骤：
(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；
(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；
(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；
(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。
2.根据权利要求1所述的融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：所述步骤(2)包括以下步骤：
第一步，单帧人脸图像特征提取：采用密集网络来提取人脸图像的特征；
第二步，人脸图像上采样过程：同时采用反卷积和亚像素卷积两种上采样方法来放大人脸图像特征图尺寸，然后把这两种上采样方法得到的特征图相加；
第三步，设计损失函数：首先使用损失函数MSE来提升重建图像的质量，其公式为：
Figure FDA0002268043570000011
其中，IHR是高分辨率人脸图像，ILR是低分辨率人脸图像，尺寸为W*H，G是生成器模型，r是缩放系数；
其次，在MSE的基础上引入特征损失函数，该函数可以计算图像特征之间的误差，利用在ImageNet上训练好的VGG19的模型来提取图像的特征，公式如下：
Figure FDA0002268043570000012
其中，Wi,j和Hi,j是经过VGG19模型的特征图尺寸，φi,j代表人脸图像经过VGG19模型第i层最大池化前和第j层卷积后的输出；考虑到人脸图像过小，首先把人脸图像缩放到224*224，然后取值i＝5和j＝4；
以上两个损失函数都是为了计算图像之间的像素差值，另外，本算法鼓励生成器试图去欺骗判别器，因此其生成器损失函数是基于判别器，公式如下：
Figure FDA0002268043570000021
其中，D是判别器，G是生成器；
最后，结合以上三个损失函数，就是单帧重建网络的损失函数：
Figure FDA0002268043570000022
第四步，人脸图像重建：上采样后的图像特征经过一个大小为1*1的卷积层，并被tanh激活输出，进而生成高分辨率人脸图像。
3.根据权利要求2所述的融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：所述步骤(3)包括以下步骤：
第一步，首先把一组视频帧经过共享2D卷积处理并根据时间轴连接，然后通过共享参数的3D密集块和3*3卷积层分为两个分支：
其一为提取残差图像，采用亚像素卷积对视频特征向量进行上采样，输出为rH*rW*C的残差图像Rt，r是缩放系数，H*W是低分辨率帧的尺寸，C为视频帧的通道数；
其二为构造动态上采样滤波器，通过两个1*1的卷积输出一组大小为5*5的r2HW的上采样滤波器Ft；
第二步，使用中间的视频帧作为输入，首先与一组滤波器Ft结合来生成滤波后的高分辨率视频帧
Figure FDA0002268043570000023
其次输入到单帧重建网络的生成器模型输出高分辨率视频帧Gt；
第三步，
Figure FDA0002268043570000024
Rt和Gt相加来生成最终的高分辨率视频帧
Figure FDA0002268043570000025
4.根据权利要求3所述的融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：所述步骤(3)第一步中构造动态上采样滤波器方法，包括以下步骤：
第一阶段，将一组低分辨率帧{Xt-N:t+N}送入动态上采样滤波器生成网络，训练这个生成网络并输出一组大小为5*5的r2HW的上采样滤波器Ft，r是缩放系数，H W是低分辨率帧的尺寸；
第二阶段，对低分辨率帧Xt中的像素进行局部滤波，得到对应低分辨率像素的高分辨率图像
Figure FDA0002268043570000026
的像素值，对应的滤波器是Ft y,x,v,u，公式如下：
Figure FDA0002268043570000027
其中，x，y是低分辨率栅格的坐标，v和u是每个r*r输出块的坐标，v>＝0,u<＝r-1；这种操作类似于反卷积，它允许反向传播，因此可以对网络进行端到端的学习。
CN201911094983.9A 2019-11-11 2019-11-11 一种融合单帧重建网络的人脸视频超分辨率重建方法 Active CN110889895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094983.9A CN110889895B (zh) 2019-11-11 2019-11-11 一种融合单帧重建网络的人脸视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094983.9A CN110889895B (zh) 2019-11-11 2019-11-11 一种融合单帧重建网络的人脸视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110889895A true CN110889895A (zh) 2020-03-17
CN110889895B CN110889895B (zh) 2023-01-03

Family

ID=69747174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094983.9A Active CN110889895B (zh) 2019-11-11 2019-11-11 一种融合单帧重建网络的人脸视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110889895B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435165A (zh) * 2020-11-25 2021-03-02 哈尔滨工业大学（深圳） 基于生成对抗网络的两阶段视频超分辨率重建方法
CN112672073A (zh) * 2021-03-18 2021-04-16 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、系统及设备
CN112950471A (zh) * 2021-02-26 2021-06-11 杭州朗和科技有限公司 视频超分处理方法、装置、超分辨率重建模型、介质
CN112991174A (zh) * 2021-03-13 2021-06-18 长沙学院 一种提高单帧红外图像分辨率的方法与系统
CN113052764A (zh) * 2021-04-19 2021-06-29 东南大学 一种基于残差连接的视频序列超分重建方法
CN113344792A (zh) * 2021-08-02 2021-09-03 浙江大华技术股份有限公司 一种图像生成方法、装置及电子设备
CN113592724A (zh) * 2020-04-30 2021-11-02 北京金山云网络技术有限公司 目标人脸图像的修复方法和装置
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113723453A (zh) * 2021-07-21 2021-11-30 北京工业大学 花粉图像分类方法及装置
CN113837015A (zh) * 2021-08-31 2021-12-24 艾普工华科技（武汉）有限公司 一种基于特征金字塔的人脸检测方法及系统
CN117313818A (zh) * 2023-09-28 2023-12-29 四川大学 对轻量级卷积神经网络训练的方法及终端设备
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299906A1 (en) * 2011-05-24 2012-11-29 Derek Shiell Model-Based Face Image Super-Resolution
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108171157A (zh) * 2017-12-27 2018-06-15 南昌大学 基于多尺度局部块LBP直方图特征与Co-HOG特征相结合的人眼检测算法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299906A1 (en) * 2011-05-24 2012-11-29 Derek Shiell Model-Based Face Image Super-Resolution
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108171157A (zh) * 2017-12-27 2018-06-15 南昌大学 基于多尺度局部块LBP直方图特征与Co-HOG特征相结合的人眼检测算法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
代江: "基于GAN 的视频超分辨率研究", 《中国优秀博硕士学位论文全文数据库信息科技辑》 *
孙毅堂等: "基于极深卷积神经网络的人脸超分辨率重建算法", 《计算机应用》 *
龙法宁等: "基于深层卷积网络的单幅图像超分辨率重建模型", 《广西科学》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592724A (zh) * 2020-04-30 2021-11-02 北京金山云网络技术有限公司 目标人脸图像的修复方法和装置
CN112435165A (zh) * 2020-11-25 2021-03-02 哈尔滨工业大学（深圳） 基于生成对抗网络的两阶段视频超分辨率重建方法
CN112435165B (zh) * 2020-11-25 2023-08-04 哈尔滨工业大学（深圳） 基于生成对抗网络的两阶段视频超分辨率重建方法
CN112950471A (zh) * 2021-02-26 2021-06-11 杭州朗和科技有限公司 视频超分处理方法、装置、超分辨率重建模型、介质
CN112991174A (zh) * 2021-03-13 2021-06-18 长沙学院 一种提高单帧红外图像分辨率的方法与系统
CN112672073B (zh) * 2021-03-18 2021-05-28 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、系统及设备
CN112672073A (zh) * 2021-03-18 2021-04-16 北京小鸟科技股份有限公司 视频图像传输中亚像素文字的放大方法、系统及设备
CN113052764A (zh) * 2021-04-19 2021-06-29 东南大学 一种基于残差连接的视频序列超分重建方法
CN113609909A (zh) * 2021-07-05 2021-11-05 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113609909B (zh) * 2021-07-05 2024-05-31 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置
CN113723453A (zh) * 2021-07-21 2021-11-30 北京工业大学 花粉图像分类方法及装置
CN113344792A (zh) * 2021-08-02 2021-09-03 浙江大华技术股份有限公司 一种图像生成方法、装置及电子设备
WO2023010701A1 (en) * 2021-08-02 2023-02-09 Zhejiang Dahua Technology Co., Ltd. Image generation method, apparatus, and electronic device
CN113837015A (zh) * 2021-08-31 2021-12-24 艾普工华科技（武汉）有限公司 一种基于特征金字塔的人脸检测方法及系统
CN117313818A (zh) * 2023-09-28 2023-12-29 四川大学 对轻量级卷积神经网络训练的方法及终端设备
CN118014016A (zh) * 2024-04-08 2024-05-10 天津师范大学 对抗卷积神经网络模型、oct图像重建算法及存储介质
CN118014016B (zh) * 2024-04-08 2024-07-09 天津师范大学 基于对抗卷积神经网络的oct图像重建方法及存储介质

Also Published As

Publication number Publication date
CN110889895B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN108259994B (zh) 一种提高视频空间分辨率的方法
CN106204447A (zh) 基于总变差分和卷积神经网络的超分辨率重建方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
Chen et al. Underwater-image super-resolution via range-dependency learning of multiscale features
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN117952830B (zh) 一种基于迭代交互指导的立体图像超分辨率重建方法
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
Wang Single image super-resolution with u-net generative adversarial networks
CN117196940A (zh) 一种基于卷积神经网络的适用于真实场景图像的超分辨率重构方法
CN116977168A (zh) 融合空间和角度特征的光场图像超分辨率重建方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN116523743A (zh) 一种基于循环神经网络的游戏超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant