CN111882485B - 分级特征反馈融合的深度图像超分辨率重建方法 - Google Patents
分级特征反馈融合的深度图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111882485B CN111882485B CN202010566899.9A CN202010566899A CN111882485B CN 111882485 B CN111882485 B CN 111882485B CN 202010566899 A CN202010566899 A CN 202010566899A CN 111882485 B CN111882485 B CN 111882485B
- Authority
- CN
- China
- Prior art keywords
- depth
- texture
- image
- depth image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000008569 process Effects 0.000 claims abstract description 8
- 239000010410 layer Substances 0.000 claims description 51
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000002356 single layer Substances 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明针对受限于深度相机采集装置，采集的深度图像存在分辨率较低、易受噪声干扰等问题，难以满足实际需求，提出了分级特征反馈融合的深度图像超分辨率重建方法，利用深层网络提取深度图像及其对应纹理图像的特征，构建深度‑纹理深层的特征表示。在此基础上，利用金字塔结构构建深度‑纹理的深层特征在不同尺度下的分层特征表示。还采用分级特征的反馈式融合策略，综合深度‑纹理的边缘特征，生成深度图像的边缘引导信息。深度图像的重建过程采用残差学习的方式，进一步增强深度图像的重建质量。本发明，通过实验结果表明，相比state‑of‑the‑arts方法，本发明提出的方法均实现了深度图像的主、客观质量的提升。
Description
技术领域
本发明涉及计算机视觉技术领域中的超分辨率重建，具体说是分级特征反馈融合的深度图像超分辨率重建方法。
背景技术
近年来，深度信息(指三维空间中的位置和尺寸信息)在计算机视觉领域的应用越来越广，在远程医疗、无人驾驶以及安防监控等应用中利用深度信息可以显著地提升产品的性能。通常，深度信息的采集是通过深度相机获取深度图像来实现的，由于受到深度相机采集装置的限制，深度图像的采集分辨率往往较低，如Mesa Swiss Ranger 4000采集的深度图像的分辨率仅为176×144，微软Kinect V2采集的深度图像的分辨率为512×424，均难以满足实际需求。因此，如何由低分辨率重建高分辨率的深度图像已经成为当前的研究热点。
与传统方法相比，卷积神经网络在图像超分辨率重建领域取得了显著的成就，此处的图像指代纹理图像。Dong等[1]首次提出了端到端的网络结构SRCNN(SuperResolution Convolution Neural Network)，直接学习从低分辨率到高分辨率的映射关系，验证了深度学习方法在解决图像超分辨率重建问题的有效性。Shi等[2]改进了SRCNN，采用亚像素卷积层实现高分辨率图像的重构，降低了计算复杂度。Lim等[3]提出了基于增强深层残差网络的单图像超分辨率方法EDSR(Enhanced Deep Super-ResolutionNetwork)，去掉了批归一化处理操作，可以堆叠更多的网络层，从而减少上采样模型的训练时间。然而，不同于纹理图像，深度图像的每个像素表征的是场景目标距离摄像头的距离，其边缘信息尤为重要。若直接应用上述单图像超分辨率方法，依靠空间映射的方式会导致深度图像边缘模糊，影响其超分辨率重建的结果。
同一场景下的纹理图像与深度图像具有一定的结构相似性，且高分辨率的纹理图像相比深度图像更容易获取。因此，许多学者利用高分辨率的纹理图像引导深度图像的超分辨率重建过程。如：Zhou等[5]提出了深度-纹理网络结构FCN(color-guided deep FullyConvolutional Network)，联合学习了从纹理图像到深度图像、从低分辨率的深度图像到高分辨率的深度图像两个非线性映射函数，在一定程度上揭示了纹理图像在深度图像超分辨率重建过程中的作用；Zhao等[6]提出了深度-纹理条件生成对抗网络CDcGAN(Color-Depth conditional Generative Adversarial Network)，学习低分辨率的深度图像和纹理图像之间的结构相似性，生成高分辨率的深度图像和纹理图像；Hui等[7]提出了多尺度融合策略MSG-Net(Multi-Scale Guided convolutional Network)，利用不同层次中丰富的分层纹理特征，消除了深度图像重建后存在的模糊现象；Li等[8]提出了深度图像超分辨率重建网络DepthSR-Net(hierarchical features driven residual learning forDepth map Super Resolution)，利用U-Net残差深层网络构建金字塔结构获取多个尺度的感受野，完成深度图像的超分辨率重建。
基于上述网络模型的方法可以获得良好的深度图像重建效果，但也存在一些不足：
(1)这些方法往往预先采用双三次插值方法对低分辨率的深度图像进行上采样，增加了模型的训练复杂度；
(2)这些方法融合浅层的深度特征和纹理特征，没有充分利用纹理特征与深度特征的深层关联，无法获取纹理图像对深度图像深层的指引信息。
公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供分级特征反馈融合的深度图像超分辨率重建方法，旨在根据低分辨率的深度图像按比例因子进行放大得到高分辨率的深度图像。
为达到以上目的，本发明采取的技术方案是：
分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，单深度图像重建网络通过单层卷积提取深度图像的浅层特征，
深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块DCB Fusion进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果。
在上述技术方案的基础上，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
在上述技术方案的基础上，所述深度图像为低分辨率的深度图像DL，
所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
在上述技术方案的基础上，通过单深度图像重建网络提取深度图像的浅层特征
通过深度-纹理融合特征增强网络提取纹理图像的浅层特征
如公式(1)和(2)所示：
其中，HLF(·)和HCF(·)为3×3的卷积滤波器。
在上述技术方案的基础上，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征；
如公式(3)和(4)所示：
其中，和/>分别表示深度图像和纹理图像通过第i个(1≤i≤5)残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：和/>
在上述技术方案的基础上，所述残差块，由卷积和线性整流激活函数ReLU组成。
在上述技术方案的基础上，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征以便于与纹理图像的深层特征相融合，
如公式(5)所示：
在上述技术方案的基础上，所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息。
在上述技术方案的基础上，根据上采样操作后得到的深度图像的深层特征生成高分辨率的深度图像，
根据纹理图像对深度图像的边缘引导信息，构建深度图像的边缘引导图像；
两者相加求和，完成对应比例因子放大的深度图像的超分辨率重建。
在上述技术方案的基础上，所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征表示，用于提供包含不同感受野的层次特征信息；
具体包括：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；
金字塔第j层(1≤j≤3)的深度图像深层特征和纹理图像深层特征/>是由第j-1层的分层特征/>和/>构建，
深度图像和纹理图像的多尺度分层特征构建方式分别如公式(6)和(7)所示：
其中，表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，/>表示深度图像/>在金字塔第j层构建的分层特征，当j＝0时，/>“*”表示卷积操作，“σ”表示线性整流ReLU激活函数，H↓表示最大池化层的2×下采样操作；/>表示卷积的权重，/>表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，用于获取深度-纹理的边缘引导信息；
具体包括：
将金字塔最上层的深度图像的分层特征和纹理图像的分层特征/>融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征和/>进行融合生成第二层的深度-纹理融合特征R2，
第一层的深度-纹理融合特征R1与R2采取相同的融合方式，深度-纹理融合特征的生成过程如公式(8)所示：
其中，R4为空集，和/>分别表示1×1卷积的权重与偏置，[,]表示级联，/>表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将深度-纹理融合特征R1与深度图像的深层特征和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如公式(9)所示：
其中，Wr和br分别表示卷积的权重和偏置。
本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，具有以下有益效果：
1、本发明提出的分级特征反馈融合网络HFBN(Hierarchical Feature BackwardNetwork)，在单深度图像重建网络的基础上，HFBN网络构建了深度-纹理融合特征增强网络来辅助深度图像的超分辨率重建，进一步增强了深度图像的重建质量；
2、网络可以直接处理低分辨率的深度图像，降低了计算复杂度；
3、单深度图像重建网络和深度-纹理融合特征增强网络构建深层网络，分别提取深度图像和纹理图像的深层特征，获取深度图像与纹理图像深层次的内部关联；
4、设计了反馈式融合策略，提高了金字塔不同层特征的相容性；
5、根据深度-纹理反馈特征融合模块融合深度图像和纹理图像的深层特征表示，获取包含多级感受野的纹理图像对深度图像的边缘引导信息；
6、采用残差学习的方式实现了纹理图像引导的深度图像超分辨率重建过程，降低了训练难度。
本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，在单深度图像重建网络的基础上，该方法利用深度-纹理融合特征增强网络辅助完成深度图像的超分辨率重建。单深度图像重建网络和深度-纹理融合特征增强网络分别提取深度图像和纹理图像的深层特征，并利用并行金字塔结构构建深度图像和纹理图像的分层特征表示，获取不同尺度下的结构信息。为了提高不同尺度特征的相容性，本发明所提的方法设计了反馈式融合策略，实现金字塔不同层特征的反馈式融合，以结合深度-纹理边缘特征，生成深度图像的边缘引导信息。在重建阶段，采用残差学习的方式，通过边缘引导信息构建边缘引导图像后，与单深度图像重建网络的重建结果相加，获得了高质量的深度图像重建结果。与state-of-the-arts方法相比，实验结果验证本发明所提方法的有效性。
附图说明
本发明有如下附图：
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1分级特征反馈式融合网络的整体框架图。
图2分级特征反馈融合网络的整体步骤流程图。
图3残差块的结构框图。
图4深度-纹理反馈式融合模块的架构框图。
图5(a)4×深度-纹理引导的特征重建结果重建的深度图像Dup。
图5(b)4×深度-纹理引导的特征重建结果FDf重建的引导图像Df。
图6 4×尺度下测试图片Art的视觉质量对比；
图6(a)为原始图像，图6(b)为Bicubic方法的超分辨率重建结果，图6(c)为DepthSR-Net方法[8]的超分辨率重建结果，图6(d)为HFBN方法的超分辨率重建结果。
图7 8×尺度下测试图Laundry的视觉质量对比；
图7(a)为原始图像，图7(b)为Bicubic方法的超分辨率重建结果，图7(c)为DepthSR-Net方法[8]的超分辨率重建结果，图7(d)为HFBN方法的超分辨率重建结果。
具体实施方式
以下结合附图对本发明作进一步详细说明。所述详细说明，为结合本发明的示范性实施例做出的说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1、2所示，本发明所述的分级特征反馈融合的深度图像超分辨率重建方法，包括：
单深度图像重建网络通过单层卷积提取深度图像的浅层特征，
深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个(5个)残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块(Depth-Color Backward Fusion，DCB Fusion)进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果。
在上述技术方案的基础上，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
由于深度图像和纹理图像表征不同的内容信息，采用同一网络提取特征，难以区分深度图像和纹理图像的特征。因此，本发明将HFBN网络分为单深度图像重建网络和深度-纹理融合特征增强网络，分别提取深度图像和纹理图像的深层特征。
在上述技术方案的基础上，所述深度图像为低分辨率的深度图像DL，
所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
在上述技术方案的基础上，通过单深度图像重建网络提取深度图像的浅层特征
通过深度-纹理融合特征增强网络提取纹理图像的浅层特征
如公式(1)和(2)所示：
其中，HLF(·)和HCF(·)为3×3的卷积滤波器。
在上述技术方案的基础上，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块[3]构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征；
如公式(3)和(4)所示：
其中，和/>分别表示深度图像和纹理图像通过第i个(1≤i≤5)残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过n个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：和/>
通过级联5个残差块，即n值为5则：
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：和/>
所述残差块的结构如图3所示，由卷积和线性整流激活函数ReLU(RectifiedLinear Unit)组成。
在上述技术方案的基础上，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征以便于与纹理图像的深层特征相融合，
如公式(5)所示：
此处，有两个作用：
一是与纹理图像的深层特征FDC融合，生成纹理图像对深度图像的边缘引导信息；
二是将作为单深度图像重建网络的重建特征，生成高分辨率的深度图像。
在上述技术方案的基础上，所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息。
在上述技术方案的基础上，根据上采样操作后得到的深度图像的深层特征生成高分辨率的深度图像，
根据纹理图像对深度图像的边缘引导信息，构建深度图像的边缘引导图像；
两者相加求和，完成对应比例因子放大的深度图像的超分辨率重建。
在上述技术方案的基础上，如图4所示，所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征，用于提供包含不同感受野的层次特征信息；
具体包括：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；
金字塔第j层(1≤j≤3)的深度图像深层特征和纹理图像深层特征/>是由第j-1层的分层特征/>和/>构建，
深度图像和纹理图像的多尺度分层特征构建方式分别如公式(6)和(7)所示：
其中，表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，/>表示深度图像/>在金字塔第j层构建的分层特征，当j＝0时，/>“*”表示卷积操作，“σ”表示线性整流(Rectified Linear Unit，ReLU)激活函数，H↓表示最大池化层的2×下采样操作；/>表示卷积的权重，/>表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，融合不同尺度的层次特征信息，获得包含多级感受野的纹理图像对深度图像的边缘引导信息；
具体包括：
将金字塔最上层的深度图像的分层特征和纹理图像的分层特征/>融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征和/>进行融合生成第二层的深度-纹理融合特征R2，
第一层的深度-纹理融合特征R1与R2采取相同的融合方式，深度-纹理融合特征的生成过程如公式(8)所示：
其中，R4为空集，和/>分别表示1×1卷积的权重与偏置，[,]表示级联，/>表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将深度-纹理融合特征R1与深度图像的深层特征和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如公式(9)所示：
其中，Wr和br分别表示卷积的权重和偏置。
本发明在构建单深度图像重建网络的基础上，通过深度-纹理融合特征增强网络生成深度图像的引导图像。
高分辨率的深度图像Dup(如图5(a)所示)通过深度图像的深层特征生成，深度图像的引导图像Df(如图5(b)所示)由边缘引导信息DFf生成，包含大量的深度图像边缘信息。
以残差学习的方式通过公式(10)重建深度图像Dsr：
其中，HrL(·)表示单深度图像重建函数，HrC(·)表示引导图像生成函数。
采用残差学习的方式，HFBN网络在单深度图像重建网络的基础上，利用深度-纹理融合特征增强网络生成深度图像的边缘引导图像，进一步提高深度图像的重建质量。
以下为具体实施例。
为实现本发明所提的方法，在构建HFBN网络后需对网络进行训练。其数据集设置如下：
从"Middlebury"数据集(分辨率最小为432×368，最大为2300×1992)和"MPISintel depth"数据集(分辨率为1024×436)选取82张RGB-D图片作为训练集，10张RGB-D图片作为验证集，从"Middlebury"数据集选取"Art"、"Books"、"Laundry"、"Reindeer"、"Tsukuba"、"Teddy"图片作为测试集。
与DepthSR-Net方法[8]类似，原始的深度图像采用双三次插值方法生成对应的低分辨率深度图像DL，作为HFBN网络训练时输入的低分辨率深度图像。
在训练时，比例因子选取2×、3×、4×、8×，原始深度图像DH和纹理图像YC分别被分割成大小为128、144、128、128的块，低分辨率深度图像DL被分割成大小为64、48、32、16对应比例因子缩小的块，并利用随机旋转和翻转操作扩大数据集。
除标记参数的卷积层以外，网络的其他部分卷积核的大小为k＝3，通道数C＝64。
本发明采用均方根误差RMSE(Root Mean Square Error)作为模型训练中的损失函数，如公式(11)所示：
其中，N表示每批输入网络的训练样本数，N＝16，初始的学习率lr＝1e-4，且在第60个周期和第120个周期lr减半，共训练200个周期。ADAM方法[9]用于优化HBFN网络的训练过程，参数设置为β1＝0.9，β2＝0.999，ε＝1e-8。
在测试环节，采用均方根误差RMSE和峰值信噪比PSNR作为客观评价指标。
本发明基于HFBN网络的方法以HFBN方法指代，与传统方法(Bicubic，GF[10]，TGV[11]，JID[12])和基于学习的方法(SRCNN[1]，MSG-Net[7]，DepthSR-Net[8])进行比较，HFBN+表示采用self-ensemble[13]方法的HFBN网络的测试结果。为客观评价各方法的性能指标，上述方法采用相同的测试集进行测试。
当比例因子为2×、3×、4×、8×时，深度图像超分辨率重建的RMSE和PSNR的客观质量如表1-表4所示，其中最优结果用粗体显示、次优结果用下划线表示。
表1：2×的客观对比结果(RMSE/PSNR)
表2：3×的客观对比结果(RMSE/PSNR)
表3：4×的客观对比结果(RMSE/PSNR)
表4：8×的客观对比结果(RMSE/PSNR)
由表1到表3可知，当比例因子为2×、3×、4×时，HFBN方法均优于比较方法。
与Bicubic方法相比，HFBN方法重建深度图像的平均PSNR值提高了13.35dB(2×)、10.35dB(3×)、8.79dB(4×)、6.74dB(8×)；RMSE值平均降低了1.99(2×)、2.14(3×)、2.27(4×)、2.53(8×)。与MSG-Net[7]方法相比，HFBN方法重建深度图像的PSNR值平均提高了3.43dB(2×)、1.03dB(4×)、0.93dB(8×)；RMSE值平均降低了0.28(2×)、0.20(4×)、0.25(8×)。与DepthSR-Net方法[8]相比，HFBN方法重建深度图像的平均PSNR值提高了2.50dB(2×)、1.01dB(3×)、0.03dB(4×)、-0.68dB(8×)；RMSE值平均降低了0.16(2×)、0.05(3×)、-0.04(4×)、-0.29(8×)。
对比各测试图片的结果，当比例因子为4×时，HFBN方法在"Books"、"Laundry"和"Teddy"测试图片的重建结果均优于比较算法，在"Reindeer"、"Tsukuba"和"Art"测试图片的重建结果略低于DepthSR-Net方法[8]的重建结果。
由表1到表4的实验结果可知，HFBN+方法在测试集的重建结果都优于HFBN方法。当比例因子为8×时，HFBN+方法在"Tsukuba"测试图片的重建结果低于HFBN方法的重建结果。
当比例因子分别为4×、8×时，HFBN方法与Bicubic方法、DepthSR-Net方法[8]在测试图片"Art"和"Laundry"上的深度图像的超分辨率重建结果分别如图6、图7所示，尤其请注意图中的蓝框区域1和红框区域2，为方便展示，放大蓝框区域1，对应图片下方的左边图片；放大红框区域2，对应图片下方的右边图片。
在图6中，HFBN方法重建的"Art"边缘比Bicubic方法和DepthSR-Net[15]方法的重建结果更清晰，见图6中的蓝框区域1和红框区域2。由图7(c)和(d)中的蓝框区域1可知，因内部纹理干扰DepthSR-Net方法[8]导致深度图像的重建结果出现了白色条纹，而HFBN方法利用反馈式融合策略，消除了纹理图像内部纹理信息的不利引导，其重建结果未出现白色条纹。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
参考文献
[1]Dong C,Loy C C,He K,et al.Learning a deep convolutional networkfor image super-resolution[C]//European conference on computervision.Springer,Cham,2014:184-199
[2]Shi W,Caballero J,Huszár F,et al.Real-time single image and videosuper-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:1874-1883.
[3]Lim B,Son S,Kim H,et al.Enhanced deep residual networks for singleimage super-resolution[C]//Proceedings of the IEEE conference on computervision and pattern recognition workshops.2017:136-144.
[4]He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778.
[5]Zhou W,Li X,Reynolds D.Guided deep network for depth map super-resolution:How much can color help？[C]//2017IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP).IEEE,2017:1457-1461.
[6]Zhao L,Bai H,Liang J,et al.Simultaneous color-depth super-resolution with conditional generative adversarial networks[J].PatternRecognition,2019,88:356-369.
[7]Hui T W,Loy C C,Tang X.Depth map super-resolution by deep multi-scale guidance[C]//European conference on computer vision.Springer,Cham,2016:353-369.
[8]Guo C,Li C,Guo J,et al.Hierarchical features driven residuallearning for depth map super-resolution[J].IEEE Transactions on ImageProcessing,2018,28(5):2545-2557.
[9]Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXivpreprint arXiv:1412.6980,2014.
[10]He K,Sun J,Tang X.Guided image filtering[C]//European conferenceon computer vision.Springer,Berlin,Heidelberg,2010:1-14.
[11]Ferstl D,Reinbacher C,Ranftl R,et al.Image guided depthupsampling using anisotropic total generalized variation[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2013:993-1000.
[12]Kiechle M,Hawe S,Kleinsteuber M.A joint intensity and depth co-sparse analysis model for depth map super-resolution[C]//Proceedings of theIEEE international conference on computer vision.2013:1545-1552.
[13]Timofte R,Rothe R,Van Gool L.Seven ways to improve example-basedsingle image super resolution[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2016:1865-1873.
Claims (7)
1.分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，单深度图像重建网络通过单层卷积提取深度图像的浅层特征，深度-纹理融合特征增强网络通过单层卷积提取纹理图像的浅层特征；
所述单深度图像重建网络和深度-纹理融合特征增强网络，以级联多个残差块的形式构建深层网络，进一步提取深度图像和纹理图像的深层特征；
所述深度图像的深层特征上采样后，与纹理图像的深层特征利用深度-纹理反馈式融合模块DCB Fusion进行特征融合；
根据深度-纹理反馈式融合模块输出的深度-纹理融合特征，生成纹理图像对深度图像的边缘引导信息；
所述深度图像的边缘引导信息生成边缘引导图像后，与单深度图像重建网络生成的高分辨率深度图像融合，得到深度图像的超分辨率重建结果；
所述深度-纹理反馈式融合模块DCB Fusion，通过深度-纹理反馈式融合策略，实现不同尺度特征的反馈式融合，以获取纹理图像对深度图像的边缘引导信息；
所述深度-纹理反馈式融合模块，包含多尺度分层特征构建子模块和反馈特征融合子模块；
所述多尺度分层特征构建子模块，利用并行的金字塔结构构建深度图像和纹理图像不同尺度下的分层特征，用于提供包含不同感受野的层次特征信息：
选用三层结构的并行金字塔，以避免因层数过高引起深度图像边缘的退化问题；金字塔第j层、1≤j≤3、的深度图像深层特征和纹理图像深层特征/>是由第j-1层的分层特征/>和/>构建，深度图像和纹理图像的多尺度分层特征构建方式分别如下式所示：
其中，表示纹理图像的深层特征FDC在金字塔第j层构建的分层特征，/>表示深度图像/>在金字塔第j层构建的分层特征，当j＝0时，/>*表示卷积操作，σ表示线性整流激活函数，H↓表示最大池化层的2×下采样操作；/>表示卷积的权重，表示卷积的偏置；
所述反馈特征融合子模块，学习多级感受野下的纹理图像与深度图像的结构相似性，融合不同尺度的层次特征信息，获得包含多级感受野的纹理图像对深度图像的边缘引导信息；
具体包括：将金字塔最上层的深度图像的分层特征和纹理图像的分层特征/>融合，生成深度-纹理融合特征R3；
采用反馈式特征融合策略，将R3与分层特征和/>进行融合生成第二层的深度-纹理融合特征R2；第一层的深度-纹理融合特征R1与R3采取相同的融合方式，深度-纹理融合特征的生成过程如下式所示：
其中，R4为空集，和/>分别表示1×1卷积的权重与偏置，/>表示级联，/>表示通过反卷积实现的2×上采样操作，获得与第j-1层特征空间相匹配的分层特征；
将第一层深度-纹理融合特征R1与深度图像的深层特征和纹理图像的深层特征FDC进行融合，生成纹理图像对深度图像的边缘引导信息FDf，如下式所示：
其中，Wr和br分别表示卷积的权重和偏置。
2.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，由单深度图像重建网络和深度-纹理融合特征增强网络两个子网络组成分级特征反馈式融合网络HFBN。
3.如权利要求1所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述深度图像为低分辨率的深度图像DL，所述纹理图像为与深度图像同一场景下的、对应比例因子放大的高分辨率纹理图像YC。
4.如权利要求3所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，通过单深度图像重建网络提取深度图像的浅层特征通过深度-纹理融合特征增强网络提取纹理图像的浅层特征/>如下式所示：
其中，HLF(DL)和HCF(C)为3×3的卷积滤波器。
5.如权利要求4所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，为了获取深度图像与纹理图像深层次的内部关联，所述单深度图像重建网络和深度-纹理融合特征增强网络，通过级联5个残差块构建深层网络，分别提取深度图像的深层特征和纹理图像的深层特征，如下式所示：
其中，和/>分别表示深度图像和纹理图像通过第i个、1≤i≤5、残差块的输出特征，HResL和HResC是相应的残差映射函数；
经过5个残差块提取特征后，深度图像和纹理图像的深层特征分别表示为：和
6.如权利要求5所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，所述残差块，由卷积和线性整流激活函数ReLU组成。
7.如权利要求5所述的分级特征反馈融合的深度图像超分辨率重建方法，其特征在于，深度图像的深层特征FDL采用亚像素卷积层H↑进行上采样操作，放大所需比例因子的低分辨率深度图像的深层特征，生成与纹理图像空间一致的深度图像的深层特征以便于与纹理图像的深层特征相融合，如下式所示：/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010566899.9A CN111882485B (zh) | 2020-06-19 | 2020-06-19 | 分级特征反馈融合的深度图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010566899.9A CN111882485B (zh) | 2020-06-19 | 2020-06-19 | 分级特征反馈融合的深度图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882485A CN111882485A (zh) | 2020-11-03 |
| CN111882485B true CN111882485B (zh) | 2023-08-18 |
Family
ID=73157778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010566899.9A Active CN111882485B (zh) | 2020-06-19 | 2020-06-19 | 分级特征反馈融合的深度图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882485B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561916A (zh) * | 2020-12-16 | 2021-03-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113658044B (zh) * | 2021-08-03 | 2024-02-27 | 长沙理工大学 | 提高图像分辨率的方法、系统、装置及存储介质 |
| CN113658134B (zh) * | 2021-08-13 | 2024-08-23 | 安徽大学 | 一种多模态对齐校准的rgb-d图像显著目标检测方法 |
| CN114494095A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN116740261B (zh) * | 2022-03-02 | 2024-08-02 | 腾讯科技（深圳）有限公司 | 图像重建方法和装置、图像重建模型的训练方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN109671022A (zh) * | 2019-01-22 | 2019-04-23 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN110111254A (zh) * | 2019-04-24 | 2019-08-09 | 天津大学 | 一种基于多级递归引导和渐进监督的深度图超分辨率方法 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN110930342A (zh) * | 2019-10-28 | 2020-03-27 | 杭州电子科技大学 | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 |
| CN111105354A (zh) * | 2019-12-24 | 2020-05-05 | 武汉工程大学 | 基于多源深度残差网络的深度图像超分辨率方法及装置 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8483516B2 (en) * | 2011-08-16 | 2013-07-09 | National Taiwan University | Super resolution system and method with database-free texture synthesis |
-
2020
- 2020-06-19 CN CN202010566899.9A patent/CN111882485B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN109671022A (zh) * | 2019-01-22 | 2019-04-23 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN110111254A (zh) * | 2019-04-24 | 2019-08-09 | 天津大学 | 一种基于多级递归引导和渐进监督的深度图超分辨率方法 |
| CN110930342A (zh) * | 2019-10-28 | 2020-03-27 | 杭州电子科技大学 | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN111105354A (zh) * | 2019-12-24 | 2020-05-05 | 武汉工程大学 | 基于多源深度残差网络的深度图像超分辨率方法及装置 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
Non-Patent Citations (1)
| Title |
|---|
| Learning Texture Transformer Network for Image Super-Resolution;Fuzhi Yang等;《arXiv》;20200607;第1-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882485A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882485B (zh) | 分级特征反馈融合的深度图像超分辨率重建方法 | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN114092330B (zh) | 一种轻量化多尺度的红外图像超分辨率重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN108921786A (zh) | 基于残差卷积神经网络的图像超分辨率重构方法 | |
| CN102842115B (zh) | 基于双重字典学习的压缩感知图像超分辨率重建方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN110956581B (zh) | 一种基于双通道生成-融合网络的图像模态变换方法 | |
| CN103093444A (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN110175986A (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN111340696B (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
| CN110930308B (zh) | 一种图像超分辨生成网络的结构搜索方法 | |
| CN112508794B (zh) | 医疗图像超分辨率重建方法及系统 | |
| Hu et al. | Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution | |
| CN107123094A (zh) | 一种混合泊松、高斯和脉冲噪声的视频去噪方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| Wang et al. | DDistill-SR: Reparameterized dynamic distillation network for lightweight image super-resolution | |
| CN111563866B (zh) | 一种多源遥感图像融合方法 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN104408697A (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201103 Assignee: Beijing JAL Technology Co.,Ltd. Assignor: Beijing Jiaotong University Contract record no.: X2024980002524 Denomination of invention: A deep image super-resolution reconstruction method based on hierarchical feature feedback fusion Granted publication date: 20230818 License type: Common License Record date: 20240305 |