CN109255755B - 基于多列卷积神经网络的图像超分辨率重建方法 - Google Patents
基于多列卷积神经网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109255755B CN109255755B CN201811241002.4A CN201811241002A CN109255755B CN 109255755 B CN109255755 B CN 109255755B CN 201811241002 A CN201811241002 A CN 201811241002A CN 109255755 B CN109255755 B CN 109255755B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- training
- model
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000003416 augmentation Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 6
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000556720 Manga Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多列卷积神经网络的图像超分辨率重建方法。首先，根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分。然后，把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。最后，使用随机梯度下降算法对这个模型进行训练，得到一个将低分辨率图像重建到高分辨率图像的模型，将输入的低分辨率图像重建恢复成对应的高分辨率图像。本发明方法在Set5，Set14，BSDS100，Urban100和Manga109五个通用图像数据库上进行试验，都具有较高的鲁棒性和准确性。
Description
技术领域
本发明涉及一种图像超分辨率重建方法，特别是涉及一种基于多列卷积神经网络图像的超分辨率重建方法，属于图像处理、重建技术利用。
背景技术
随着信息技术的发展，图像作为其中主要的信息传播媒介，已经广泛应用于各种场景。在众多领域中，人们对于图像的质量有着较高的要求，所以对于高速发展的信息时代来说，低质量的图像已经很难满足特定场景的需求。图像分辨率是度量图像质量的一个重要指标，图像分辨率越高就代表这张图像包含更多的细节信息。图像超分辨率(Super-Resolution，SR)重建属于图像处理技术，从低分辨率(Low-Resolution，LR)图像重建得到高分辨率(High-Resolution，HR)图像。图像的超分辨率重建有着广泛的应用，例如人脸识别，医疗成像和遥感技术。
目前，卷积神经网络(Convolutional Neural Networks，CNN)在目标检测，人类行为识别和图像分割等计算机视觉任务上取得了显著的进步。尤其是基于卷积神经网络的超分辨率方法，比字典学习、局部线性回归和随机森林等传统方法有着更好的重建效果。2014年，Dong等利用卷积神经网络实现了图像超分辨率重建(Super ResolutionConvolutional Neural Network，SRCNN)，参见参考文献Dong,Chao,et al."Image super-resolution using deep convolutional networks."IEEE transactions on patternanalysis and machine intelligence 38.2(2016):295-307。双三次插值预处理后的低分辨率图像会输入到端到端的深层卷积神经网络中去，逐渐将低分辨率图像到高分辨率图像之间的映射关系学习处理。由于采用深度学习中的端到端的训练方式，从而相较于传统方法这一方法显著提高了图像超分辨率重建效果。
已经提出的基于卷积神经网络的图像超分辨率算法虽然解决了传统图像超分辨率重建算法存在鲁棒性不强、计算复杂等问题，但现有的基于卷积神经网络的图像超分辨率方法在提取低分辨率图像特征前，要先使用双三次插值(Bicubic Interpolation)的方法把低分辨率图像放大到想要重建得到的高分辨率图像的尺寸，从双三次插值后的图像中去提取特征，通过双三次插值后的图像引入了很多冗余的信息，这对特征提取是没有帮助的。因此，现有的方法还是存在对于细节比较丰富的图像存在重建能力差、视觉效果差等问题。
发明内容
本发明的目的是为了对低分辨率图像进行更高质量的重建，提出一种基于多列卷积神经网络的图像超分辨率方法，通过对低分辨率图像中多尺度特征的提取，使重建的高分辨率图像能够恢复更多的图像细节信息，边缘更加清晰。本发明方法能有效地提高超分辨率重建图像的峰值信噪比和结构相似度，而且在主观视觉上也有更好的效果。此外，本发明对于卷积神经网络在图像超分辨率的应用也具有重要的借鉴意义。
为达到上述目的，本发明的构思是：
首先，根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分。然后，把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。最后，使用随机梯度下降算法对这个模型进行训练，得到一个将低分辨率图像重建到高分辨率图像的模型，即本发明所述的多列卷积神经网络的图像超分辨率重建模型。
根据上述构思，本发明采用如下技术方案：
一种基于多列卷积神经网络的图像超分辨率方法，包括如下步骤：
步骤1、多列卷积神经网络模型建立：根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分；
步骤2、图像增广(Image Augmentation)：大规模数据集是成功使用深度网络的前提，图像增广是通过对训练图像做一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集规模；通过图像增广来增加训练集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力，使用的图像增广方法有旋转，缩放，镜像；
步骤3、训练集建立：在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集；
步骤4、多列卷积神经网络模型训练：在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率图像重建到高分辨率图像的模型；
步骤5、图像超分辨率重建：在步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。
本发明方法主要是考虑到图像的多尺度特性，因此借助于多列卷积神经网络模型，能有效地提取图像中的多尺度特征，并将这些多尺度特征进行融合。直接从低分辨率图像中提取特征，减少计算量，提高图像的重建速度。为了加快图像超分辨率重建模型的收敛速度，使用提取得到的多尺度特征去重建高分辨率图像和双三次插值图像的插值图像，而不是直接从特征去重建高分辨率图像，降低了网络的训练难度，同时提高图像的超分辨率重建质量。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1、本发明方法充分考虑了图像的多尺度特点，即图像中物体存在尺度不同的情况。提出了一种基于多列卷积神经网络的图像超分辨率重建模型。
2、本发明方法直接从未经预处理的低分辨率图像中提取特征，使其计算量减少，从而提高模型的重建速度。
3、本发明方法利用提取得到的多尺度特征去重建高分辨率图像和双三次插值图像的插值图像，而不是直接从特征去重建高分辨率图像，降低了模型的训练难度，提高了图像的超分辨率重建质量。
附图说明
图1为本发明基于多列卷积神经网络的图像超分辨率重建方法的网络结构框图。
图2为Set5测试集中“butterfly”放大倍数为2时的超分辨率重建效果比较。
图3为BSDS100测试集中“21077”放大倍数为3时的超分辨率重建效果比较。
图4为Urban100测试集中“img023”放大倍数为4时的超分辨率重建效果比较。
图5为Manga109测试集中“UltraEleven”放大倍数为4时的超分辨率重建效果比较。
具体实施方式
本发明的优选实施例结合附图详述如下：
本实施例的多列卷积神经网络结构如图1所示。在Ubuntu 16.04，PyTorch环境下编程仿真实现本方法。首先，根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分。然后，把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。最后，使用随机梯度下降算法对这个模型进行训练，得到一个将低分辨率图像重建到高分辨率图像的模型，即本发明所述的多列卷积神经网络的图像超分辨率重建模型。
本方法具体包括如下步骤：
步骤1、多列卷积神经网络模型建立：根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分；
步骤2、图像增广(Image Augmentation)：大规模数据集是成功使用深度网络的前提，图像增广是通过对训练图像做一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集规模；通过图像增广来增加训练集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力，使用的图像增广方法有旋转，缩放，镜像；
步骤3、训练集建立：在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集；
步骤4、多列卷积神经网络模型训练：在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率图像重建到高分辨率图像的模型；
步骤5、图像超分辨率重建：在步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。
在所述步骤1中，提出了一个级联的多列卷积神经网络从低分辨率图像中提取多尺度特征，然后重建相应的高分辨率图像，网络结构如图1所示。提出的网络框架使用了很多的多列模块(Multi-Column Block)，每个多列模块由三列不同卷积核大小的卷积层组成。所提出的模型从输入的低分辨率图像去预测经过双三次插值后图像和目标高分辨率图像之间的插值图像。所提出的模型分为两个部分，特征提取部分和图像重建部分。
在特征提取部分，首先使用一个卷积层来提取粗糙的特征，该卷积层有64个3×3的卷积核。然后，使用三个级联的多列模块去提取多尺度特征。在该模型中，没有使用偏置，所以卷积层的计算公式如下：
在上述公式中，Wl和x分别表示可学习的权重和卷积层的输入。σ表示激活函数，在该模型中，使用带泄露修正线性单元(Leaky Rectified Linear Unit)。
最后，使用一个反卷积层去上采样所提取的特征，在反卷积层后使用一个3×3的卷积层来得到残差图像。反卷积层的输出图像尺寸的计算公式如下：
Xout＝(Xin-1)×λ-2×ρ+κ, (2)
在上述公式中，Xin和Xout分别是反卷积层的输入和输出，λ表示反卷积的步长，ρ表示在输入的每条边上添加0的行数，κ表示反卷积核的大小。显然，需要把λ设置为和放大倍数一样。表1给出了在不同放大倍数下的反卷积层的参数设置。
表1
在所提出的模型中，在每一列使用了不同大小的卷积核去提取特征。详细的结构如图1所示。卷积层的感受野γ的计算公式如下：
γ＝κ+(κ-1)×(n-1), (3)
在上述公式中，κ表示卷积核的大小，n表示在每一列中卷积层的数量。根据上式，在多列模块中使用了6层卷积核大小为3×3的卷积层，3层卷积核大小为5×5的卷积层，2层卷积核大小为7×7的卷积层，这样可以获得相同大小的感受野。
为了提取到更加可靠的特征，不同列提取的特征需要在同一个感受野上进行特征融合。特征融合采取的方法是在每一列最后一层增加一个1×1的卷积层，然后把这些列的特征图做元素相加进入融合。增加1×1的卷积层的好处是可以对多尺度特征有更加复杂的组合。通常，更多的多列模块可以有更好的性能，出于性能和效率的权衡，本实施例使用了三个多列模块。
在图像重建模块，使用一个3×3的卷积层去预测高分辨率图像和双三次插值图像的残差图像。将网络预测的残差图像和双三次插值图像通过元素相加，从而可以重建出相应的高分辨率图像。输出图像的计算公式如下：
在上述公式中，x和
分别表示模型的输入的低分辨率图像和输出的高分辨率图像。
表示双三次插值，
表示所提出的模型。
在所述步骤2中，使用的训练集图像由Yang的91张图片和BSDS的200张图片组成。参见参考文献Yang,Jianchao,et al."Image super-resolution via sparserepresentation."IEEE transactions on image processing 19.11(2010):2861-2873。并参见参考文献Martin,David,et al."A database ofhuman segmented natural imagesand its application to evaluating segmentation algorithms and measuringecological statistics."Computer Vision,2001.ICCV2001.Proceedings.Eighth IEEEInternational Conference on.Vol.2.IEEE,2001。图像增广的方式主要有缩放，旋转，镜像。其中缩放的倍数为1倍、0.7倍和0.5倍；旋转的角度为0°、90°、180°和270°；镜像为水平镜像或者保持原图。经过图像增广，除了原图以外，得到了23个额外的版本。
在所述步骤3中，在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。当放大倍数为2时，图像块大小为82×82，步长为64，下采样为放大倍数的倒数，即1/2倍。类似的，当放大倍数为3时，图像块大小为123×123，步长为48，下采样倍数为1/3倍；当放大倍数为4时，图像块大小为164×164，步长为32，下采样倍数为1/4倍。输入低分辨率图像块的大小都为41×41。
在所述步骤4中，在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法(Stochastic Gradient Descent)，批大小设置为64，动量参数设为0.9，权值衰减设置为10-4，学习率设置为0.1，并且在每20个迭代周期后下降10倍。由于初始的学习率比较大，所示使用梯度切片来防止梯度爆炸，梯度切片设置为0.4，训练完成后可以得到一个将低分辨率图像重建到高分辨率图像的模型。
在所述步骤5中，在上述步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。
下面在Set5、Set14、BSDS100、Urban100和Manga109五个图像数据库上进行试验来评估本发明所提出的基于多列卷积神经网络的图像超分辨率重建方法。Set5、Set14和BSDS100包含的是自然图像；Urban100包含的是城市场景图像；Manga109包含的漫画中图像。本实验的环境是Ubuntu 16.04操作系统下的PyTorch平台，内存为16GB，GPU为GeForce1070。使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似性系数(Structural Similarity Index，SSIM)作为超分辨率重建模型评价指标，PSNR越大，SSIM越接近1代表模型与原图的符合度更高，精确度越高，结果如表2所示。图2-图5比较了不同算法在这些测试集上重建效果。
表2
表2中，参见如下参考文献：
4.Timofte,Radu,Vincent De Smet,and Luc Van Gool."A+:Adjusted anchoredneighborhood regression for fast super-resolution."Asian Conference onComputer Vision.Springer,Cham,2014.
5.Huang,Jia-Bin,Abhishek Singh,and Narendra Ahuja."Single imagesuper-resolution from transformed self-exemplars."Proceedings oftheIEEEConference on Computer Vision andPatternRecognition.2015.
6.Schulter,Samuel,Christian Leistner,and Horst Bischof."Fast andaccurate image upscaling with super-resolution forests."Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2015.
7.Dong,Chao,Chen Change Loy,and Xiaoou Tang."Accelerating the super-resolution convolutional neural network."European Conference on ComputerVision.Springer,Cham,2016.
8.Kim,Jiwon,Jung Kwon Lee,and Kyoung Mu Lee."Accurate image super-resolution using very deep convolutional networks."Proceedings oftheIEEEconference on computervision andpattern recognition.2016.
9.Kim,Jiwon,Jung Kwon Lee,and Kyoung Mu Lee."Deeply-recursiveconvolutional network for image super-resolution."Proceedings oftheIEEEconference on computervision andpattern recognition.2016.
10.Lai,Wei-Sheng,et al."Deep laplacian pyramid networks for fast andaccurate superresolution."IEEE Conference on Computer Vision andPatternRecognition.Vol.2.No.3.2017.
其中，实验结果最好的算法用加粗字体表示，第二好的算法用下划线表示。从表中可以看到本发明的方法在五个数据库上都有较好的鲁棒性和精确性。由上述实验可见，本发明方法在图像超分辨率重建上确实有较好的鲁棒性和精确性，并且计算复杂度低，能更好地适用于实时视频质量监控。
Claims (1)
1.一种基于多列卷积神经网络的图像超分辨率方法，其特征在于，包括如下步骤：
步骤1、多列卷积神经网络模型建立：根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分；
步骤2、图像增广：大规模数据集是成功使用深度网络的前提，图像增广是通过对训练图像做一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集规模；通过图像增广来增加训练集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力，使用的图像增广方法有旋转，缩放，镜像；
步骤3、训练集建立：在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集；
步骤4、多列卷积神经网络模型训练：在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率图像重建到高分辨率图像的模型；
步骤5、图像超分辨率重建：在步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811241002.4A CN109255755B (zh) | 2018-10-24 | 2018-10-24 | 基于多列卷积神经网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811241002.4A CN109255755B (zh) | 2018-10-24 | 2018-10-24 | 基于多列卷积神经网络的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109255755A CN109255755A (zh) | 2019-01-22 |
| CN109255755B true CN109255755B (zh) | 2023-05-23 |
Family
ID=65046172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811241002.4A Active CN109255755B (zh) | 2018-10-24 | 2018-10-24 | 基于多列卷积神经网络的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255755B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949224B (zh) * | 2019-02-26 | 2023-06-30 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN110060208B (zh) * | 2019-04-22 | 2022-10-28 | 中国科学技术大学 | 一种提高超分辨率算法重构性能的方法 |
| CN110246083B (zh) * | 2019-05-10 | 2023-02-24 | 杭州电子科技大学 | 一种荧光显微图像超分辨率成像方法 |
| CN110991213A (zh) * | 2019-05-14 | 2020-04-10 | 杨春燕 | 自动化大数据分配平台 |
| CN112446826A (zh) * | 2019-09-03 | 2021-03-05 | 联咏科技股份有限公司 | 用于图像超分辨率、图像增强及模型训练的方法及装置 |
| CN110689509B (zh) * | 2019-09-10 | 2024-04-19 | 上海大学 | 基于循环多列3d卷积网络的视频超分辨率重建方法 |
| CN110647934B (zh) * | 2019-09-20 | 2022-04-08 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN110728219B (zh) * | 2019-09-29 | 2023-09-26 | 天津大学 | 基于多列多尺度图卷积神经网络的3d人脸生成方法 |
| CN111709900A (zh) * | 2019-10-21 | 2020-09-25 | 上海大学 | 一种基于全局特征指导的高动态范围图像重建方法 |
| CN111127317B (zh) * | 2019-12-02 | 2023-07-25 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
| CN111091515B (zh) * | 2019-12-24 | 2022-08-09 | 展讯通信(天津)有限公司 | 图像复原方法及装置、计算机可读存储介质 |
| CN111681168B (zh) * | 2020-06-05 | 2023-03-21 | 杭州电子科技大学 | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 |
| EP3937120B1 (en) * | 2020-07-08 | 2023-12-20 | Sartorius Stedim Data Analytics AB | Computer-implemented method, computer program product and system for processing images |
| CN111833251B (zh) * | 2020-07-13 | 2024-06-04 | 北京安德医智科技有限公司 | 一种三维医学图像超分辨率重建方法及装置 |
| US20220067879A1 (en) * | 2020-09-03 | 2022-03-03 | Nvidia Corporation | Image enhancement using one or more neural networks |
| CN112419150B (zh) * | 2020-11-06 | 2024-04-02 | 中国科学技术大学 | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 |
| US20220189612A1 (en) * | 2020-12-14 | 2022-06-16 | Google Llc | Transfer learning between different computer vision tasks |
| CN113139899A (zh) * | 2021-03-31 | 2021-07-20 | 桂林电子科技大学 | 高质量轻量级超分辨率重建网络模型设计方法 |
| CN113409195A (zh) * | 2021-07-06 | 2021-09-17 | 中国标准化研究院 | 基于改进的深度卷积神经网络的图像超分辨率重建方法 |
| CN113538241B (zh) * | 2021-07-19 | 2024-06-14 | 宜宾电子科技大学研究院 | 面向场景文本识别的超分辨率图像生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719266A (zh) * | 2009-12-25 | 2010-06-02 | 西安交通大学 | 一种基于仿射变换的正面人脸图像超分辨率重建方法 |
| CN104463324A (zh) * | 2014-11-21 | 2015-03-25 | 长沙马沙电子科技有限公司 | 一种基于大规模高性能集群的卷积神经网络并行处理方法 |
| CN106650786A (zh) * | 2016-11-14 | 2017-05-10 | 沈阳工业大学 | 基于多列卷积神经网络模糊评判的图像识别方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI624804B (zh) * | 2016-11-07 | 2018-05-21 | 盾心科技股份有限公司 | 利用超解析重建法生成高解析度影像的方法與系統 |
-
2018
- 2018-10-24 CN CN201811241002.4A patent/CN109255755B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719266A (zh) * | 2009-12-25 | 2010-06-02 | 西安交通大学 | 一种基于仿射变换的正面人脸图像超分辨率重建方法 |
| CN104463324A (zh) * | 2014-11-21 | 2015-03-25 | 长沙马沙电子科技有限公司 | 一种基于大规模高性能集群的卷积神经网络并行处理方法 |
| CN106650786A (zh) * | 2016-11-14 | 2017-05-10 | 沈阳工业大学 | 基于多列卷积神经网络模糊评判的图像识别方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255755A (zh) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255755B (zh) | 基于多列卷积神经网络的图像超分辨率重建方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| Ma et al. | Structure-preserving image super-resolution | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| Shi et al. | Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution | |
| CN111709882B (zh) | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 | |
| CN113936040B (zh) | 基于胶囊网络和自然语言查询的目标跟踪方法 | |
| Gendy et al. | Balanced spatial feature distillation and pyramid attention network for lightweight image super-resolution | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、系统及电子设备 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| Sharm et al. | Deformable and Structural Representative Network for Remote Sensing Image Captioning. | |
| Xie et al. | Adaptive densely connected single image super-resolution | |
| CN117097876B (zh) | 基于神经网络的事件相机图像重建方法 | |
| CN112766212A (zh) | 高光谱遥感图像水体固有属性反演方法、装置和设备 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN107358625A (zh) | 基于SPP Net和感兴趣区域检测的高分辨SAR图像变化检测方法 | |
| CN117975284A (zh) | 一种集成Swin transformer和CNN网络的云层检测方法 | |
| CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN115187463A (zh) | 一种滑坡遥感影像集超分辨率重建方法和系统 | |
| CN116708807A (zh) | 监控视频的压缩重建方法、压缩重建装置 | |
| CN108846797A (zh) | 基于两种训练集合的图像超分辨率方法 | |
| CN114332278A (zh) | 一种基于深度学习的octa图像运动矫正方法 | |
| Zhang et al. | Single infrared remote sensing image super-resolution via supervised deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |