CN107358576A - 基于卷积神经网络的深度图超分辨率重建方法 - Google Patents

Abstract

本发明属于图像处理领域，为还原出高分辨率深度图像，并利用卷积神经网络庞大的学习能力解决传统算法计算复杂度高，不能有效提取特征，实际应用代价大的缺点。本发明采用的技术方案是，基于卷积神经网络的深度图超分辨率重建方法，利用卷积层与反卷积层相结合的卷积神经网络CNN(Convolutional Neural Networks)提取低分辨率样例深度图像块和高分辨率样例深度图像块的深度图像特征，然后学习它们之间的非线性映射关系，从而还原出高分辨率深度图像。本发明主要应用于图像处理场合。

Description

基于卷积神经网络的深度图超分辨率重建方法

技术领域

本发明属于图像处理领域，涉及深度学习中卷积神经网络的优化，具体讲，涉及卷积层与反卷积层相结合的深度图超分辨率重建网络。

背景技术

场景深度信息的获取是计算机视觉领域的研究重点，深度信息在三维重建、机器人导航、手势识别、电影游戏、虚拟场景建模等方面有着很重要的应用。早期采用立体匹配算法得到左右图像之间的视差从而获取深度信息[1],但该算法在遮挡区域、弱纹理区域、重复纹理区域匹配效果不好，具有一定的局限性。因此，直接获取深度信息的方法受到人们的关注。TOF摄像机利用一种新型的传感器技术实现动态场景的深度信息实时获取[2]，但所获取深度图像分辨率低，物体边界处深度信息不准确，极易受噪声影响。

传统算法往往需要人工提取特征，计算复杂度较高，且不容易得到合适表示的特征。深度学习作为机器学习的重要发展，能够逐层地自动学习合适的表示特征，因而在众多领域中得到了广泛应用。卷积神经网络(Convolutional Neural Network:CNN)作为深度学习的三大重要模型之一，继承了深度学习技术自动提取特征的优点，并且通过权值共享大大减少了所需要训练的参数，使CNN能快速处理高维图像，还具备一定的平移不变性，因而在图像分类、识别、重建等领域取得了较好的效果。

目前，实现深度图像超分辨率算法主要有两种思想，一种是通过搭建RGB-Depth系统挖掘同场景彩色图像和深度图像间的相关对应关系，充分利用彩色图像的信息，与深度信息一起建立相应的数学模型，以此来实现深度图的超分辨率重建；另一种是利用多幅深度图像之间的冗余信息根据图像退化模型，进行建模实现超分辨率重建。

结合彩色图像信息的深度图超分辨率重建的理论基础是：同场景彩色图像与深度图像一般具有类似的不连续性，根据这种对应关系，可利用同一场景获取的彩色图像来实现深度图的超分辨率重建。

2007年Kopf[3]和2010年He[4]分别采用联合双边滤波函数和引导图像滤波函数指导深度图超分辨率重建，该算法更好的保存了图像的边缘信息，但当上采样因子较大时边缘会出现较明显的毛刺和模糊。2011年Park[5]等人结合非局部均值(NLM：Non-localmean)[6][7]、最小二乘和边缘加权来增强边缘细节。2012年Yang等人[8]运用引导滤波器[4][9]来指导深度图重建，该系统运算效率高取得了较好的效果。2013年Liu[10]等人运用测地距离来计算滤波系数，该方法在大部分区域效果较好，但在彩色图像的纹理区域会引入噪声。同年Ferstl[11]等人先对校正后的彩色图像进行计算得到一个各向异性扩散张量，并利用它来指导深度图上采样。总体上来说，这类方法所需图像数量少，系统搭建也比较简单，但仍然存在不完善的地方，算法往往会将彩色图像的纹理信息映射到重建的深度图中，对最终结果造成了一定的影响。

只利用深度信息的多幅深度图重建将自然图像超分辨率算法思想运用到深度图像超分辨率问题中，通过构造目标函数将超分辨率问题转化为优化问题进行求解。

2011年Gevrekei[15]采用基于凸集投影的深度图序列重建算法，并由Tekalp等[16]对其进行了扩展，该算法是一种基于集合论的方法。Rajagopalan[17]假设深度图满足MRF先验分布模型，利用最大后验概率构造目标函数。Diebeld等[18]也基于马尔科夫随机场进行深度图重建，Aodha等[19]利用匹配的方法搜寻最佳的深度图图像块进行重建，Schuon[20]则利用正则约束项采用极大似然估计构造目标函数，进行深度图的重建。

这类方法只利用了深度图像的内在信息，由单幅低分辨率深度图像进行超分辨重建，分辨率提升不大。由于初始深度图像分辨率较低，缺失信息较多，重建后的深度图像还很难满足实际应用的需要。所以这类方法一般需要构造序列深度图像才能得到超分辨率的结果。而且深度图序列的获取也是目前研究的一大难点，一般采用TOF(Time of flight)摄像机来获取深度图，但是TOF相机价格昂贵，构造飞行时间相机阵列代价较大。采用硬件获取深度图代价较高，所以人们着手于通过改进算法来提高深度图的分辨率。

2006年，机器学习大师多伦多大学教授Ceoffrey Hinton及其学生Ruslan发表在世界顶级学术期刊《科学》上的一篇论文引发了深度学习在研究领域和应用领域的发展热潮[21]。随着深度学习的迅猛发展，卷积神经网络作为一种特殊的深度学习架构，凭借其优秀的表现受到广泛的关注。卷积神经网络是BP(Back Propagation)神经网络[22]的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置。CNN(Convolutionneural network)与标准BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经元的感知区域来自于上层的部分神经元的刺激，而不是像BP那样来自于所有神经元。CNN有三个重要的思想架构：局部区域感知、权重共享、空间或时间上的采样，这三个重要的思想使得卷积神经网络在计算机视觉应用中迅速发展。

2014年Dong[23]等人提出了一个应用于图像重建的端到端的超分辨率3层卷积神经网络(SRCNN)，该网络结构简单仅用了3个卷积层就学习到了丰富的图像特征，取得了较好的重建效果。2015年Wang等人[24]将稀疏编码与深度学习相结合应用于图像重建。

本发明算法利用卷积层与反卷积层相结合的神经网络提高深度图超分辨率重建的准确性，算法直接进行从低分辨率深度图(Low resolution depth map:LR)到高分辨率深度图(High resolution depth map:HR)映射的学习。该映射由七个卷积层和一个反卷积层联合实现，通过卷积操作学习丰富的图像特征，最后利用反卷积实现上采样重建高分辨率的深度图。与传统算法相比，本算法通过网络的学习能力自主提取特征，不需要对图像进行一系列的预处理，网络结构简单，更加满足实际应用的需要。

发明内容

为克服现有技术的不足，本发明旨在还原出高分辨率深度图像，并利用卷积神经网络庞大的学习能力解决传统算法计算复杂度高，不能有效提取特征，实际应用代价大的缺点。本发明采用的技术方案是，基于卷积神经网络的深度图超分辨率重建方法，利用卷积层与反卷积层相结合的卷积神经网络CNN(Convolutional Neural Networks)提取低分辨率样例深度图像块和高分辨率样例深度图像块的深度图像特征，然后学习它们之间的非线性映射关系，从而还原出高分辨率深度图像。

在一个实例中，选取训练样本和测试样本步骤是，从MPI Sintel深度数据集和Middlebury数据集中收集了52幅深度图作为训练样本，并从中选取了10幅深度图作为训练过程中验证集，对52幅和10幅图像分别作了90°、180°、270°旋转，之后又分别进行了6、7、8、9倍的扩大，得到了1040幅图像作为最终的训练集，200幅图像作为训练过程中的验证集；

将训练集中的深度图先进行相应倍数的下采样，之后利用同样倍数的上采样得到与原始输入大小相同的低分辨率的深度图；采用大小为7的步长将其分割成7×7大小的图像块，然后将此图像块作为网络的输入D_L；之后同样利用大小为7的步长对训练集进行分块，得到网络的标签D_H，对验证集也进行同样的操作。

卷积操作由公式(1)，(2)来表示：

F¹＝σ(W_c(1)*D_L+b₁). (1)

Fⁱ＝σ(W_c(i)*F^i-1+b_i). (2)

F¹代表第一个卷积层的输出，Fⁱ代表第i个卷积层的输出，D_L是第一层输入的低分辨率的深度图，F^i-1代表第i-1个卷积层的输出，上一层的输出作为下一层的输入，W_c(1)代表第一个卷积层的权重，W_c(i)代表第i个卷积层的权重，卷积权重对应的是一个数量为n，大小为f×f的滤波器组，*代表卷积操作，b₁代表第一层的偏置，b_i代表第i层的偏置，其中，偏置的维数始终与该层卷积核的数量保持一致，σ代表激活函数，其中δ(y)＝max(0,y)+amin(0,y)，a是负y的可学习的斜率系数。

使用参数整流线性单元PReLU(Parametric Rectified Linear Unit)作为激活函数。

反卷积操作具体步骤是，通过一个反卷积层实现最终的重建过程，该过程由公式3来表示：

F＝σ(W_d·F⁷+B). (3)

F代表反卷积层的输出，W_d代表反卷积层的权重参数，·代表反卷积操作，F⁷代表最后一个卷积层的输出，B为偏置，步长根据网络采样因子的大小进行相应的调整，但始终大于1，设输入反卷积层的图像大小为I，反卷积层参数为：核的大小R×R、步长s、填充大小为p，那么经过反卷积之后的输出图像的大小为：

o＝s(I-1)+R-2p. (4)。

网络训练与测试

网络通过最小化重建得到的结果和真实视差图之间的代价，来不断调整网络参数Θ＝{W_c(i),W_d,b_i,B},对于一组高分辨率的深度图X_j和一组由网络重建得到的深度图F^j(Y；Θ)，采用均方误差(MSE)作为代价函数：

其中n代表训练样本的数量，利用随机梯度下降法和网络的反向传播来最小化MSE以调整网络的参数，网络权重的更新过程为：

Δ_k代表上一次的权重更新值，l代表层数，k代表网络的迭代次数，η是学习率，代表第l层的第k次迭代时的权重，代表对代价函数中相应的权重求偏导，权重采用均值为0，方差为0.001的高分布进行随机初始化。

本发明的特点及有益效果是：

本发明深入研究了卷积神经网络在深度图像超分辨率重建上的应用，提出了基于卷积神经网络的深度图超辨率重建算法。利用卷积神经网络庞大的学习能力解决了传统算法计算复杂度高，不能有效提取特征，实际应用代价大的缺点。本模型在整个重建过程中没有进行任何网络之外的预处理过程，实验结果表明，本发明算法可重构得到高分辨率高质量的深度图像，能够应用于实际。

附图说明：

图1基于卷积神经网络的深度图超分辨率重建网络。

图2不同方法获得的重建结果对比。图中：

(a)高分辨率的深度图

(b)双三次插值的重建结果

(c)文献23的重建结果

(d)本发明重建结果。

具体实施方式

本发明旨在利用卷积层与反卷积层相结合的卷积神经网络(ConvolutionalNeural Networks,CNN)提取低分辨率样例深度图像块和高分辨率样例深度图像块的深度图像特征，然后学习它们之间的非线性映射关系，从而还原出高分辨率深度图像。利用卷积神经网络庞大的学习能力解决了传统算法计算复杂度高，不能有效提取特征，实际应用代价大的缺点。

鉴于卷积神经网络在图像重建领域的良好效果，本发明设计了应用于深度图超分辨率重建的10层深度卷积神经网络。采用卷积层与反卷积层联合实现深度图超分辨率重建，基于卷积神经网络的超分辨率技术可以直接在高、低分辨率图像之间建立＂端到端＂的映射，并以轻型结构来达到较好的性能效果。网络结构如图1所示，通过与目前的优秀的算法对比，证明了本发明算法能取得较好的效果。

具体步骤如下：

一、选取训练样本和测试样本

本发明从MPI Sintel深度数据集[25]和Middlebury[26]数据集中收集了52幅深度图作为训练样本，并从中选取了10幅深度图作为训练过程中验证集。为了扩大训练集与验证集，本发明对52幅和10幅图像分别作了90°、180°、270°旋转，之后又分别进行了6、7、8、9倍的扩大，得到了1040(52×4×5)幅图像作为最终的训练集，200(10×4×5)幅图像作为训练过程中的验证集。

将训练集中的深度图先进行相应倍数的下采样，之后利用同样倍数的上采样得到与原始输入大小相同的低分辨率的深度图。采用大小为7的步长将其分割成7×7大小的图像块，然后将此图像块作为网络的输入(D_L)。之后同样利用大小为7的步长对训练集进行分块，得到网络的标签(D_H)，对验证集也进行同样的操作。

二、卷积操作

卷积层是卷积神经网络的核心组成部分，其具有局部连接和权值共享特征，卷积层所完成的操作为前一层的一个或者多个特征图作为输入与一个或者多个卷积核进行卷积操作，产生一个或者多个输出。卷积操作可由公式(1)，(2)来表示：

F¹＝σ(W_c(1)*D_L+b₁). (1)

Fⁱ＝σ(W_c(i)*F^i-1+b_i). (2)

F¹代表第一个卷积层的输出，Fⁱ代表第i个卷积层的输出，D_L是第一层输入的低分辨率的深度图。F^i-1代表第i-1个卷积层的输出(上一层的输出作为下一层的输入)，W_c(1)代表第一个卷积层的权重，W_c(i)代表第i个卷积层的权重。卷积权重对应的是一个数量为n，大小为f×f的滤波器组，n和f的值需要具体进行设置。*代表卷积操作，b₁代表第一层的偏置，b_i代表第i层的偏置。其中，偏置的维数始终与该层卷积核的数量保持一致。σ代表激活函数，本发明使用参数整流线性单元(PReLU：Parametric Rectified Linear Unit)作为激活函数。其中δ(y)＝max(0,y)+amin(0,y)，a是负y的可学习的斜率系数。PReLu是对修正线性单元(Relu：Rectified Linear Unit)的进一步改进，其增加了参数的修正，在一定程度上能够起到正则的效果，并且能够提高模型的泛化能力。

卷积操作可以很好的提取特征，通过BP误差的反向传播，可以根据不同任务，得到对于这个任务最好的一个参数，学习出相对于这个任务最好的卷积核。对于每个卷积层需要设置的几个参数为：卷积核的大小，卷积核的数目，卷积操作的步长以及零填充的大小。具体设置如表一所示。

三、反卷积操作

本发明通过一个反卷积层实现了最终的重建过程，该层在这里相当于上采样操作。通过调整步长来实现对采样因子的调整，采用相对较大的卷积核提升重建质量。该过程可以由公式3来表示:

F＝σ(W_d·F⁷+B). (3)

F代表反卷积层的输出，W_d代表反卷积层的权重参数，论文中设置反卷积层的核大小为9×9，零填充的大小为4。·代表反卷积操作，F⁷代表最后一个卷积层的输出，B为偏置。步长根据网络采样因子的大小进行相应的调整，但始终大于1。值得注意的一点是网络最后一层输出图像块大小的计算，假设输入反卷积层的图像大小为I，反卷积层参数为：核的大小R×R、步长s、填充大小为p，那么经过反卷积之后的输出图像的大小为：

o＝s(I-1)+R-2p. (4)

在本发明中反卷积层的各参数设置为R＝9(即核的大小为9×9)，p＝4，s＝3,4。

四、网络训练与测试

网络通过最小化重建得到的结果和真实视差图之间的代价，来不断调整网络参数Θ＝{W_c(i),W_d,b_i,B},对于一组高分辨率的深度图X_j和一组由网络重建得到的深度图F^j(Y；Θ)，发明采用均方误差(MSE)作为代价函数：

其中n代表训练样本的数量。利用随机梯度下降法和网络的反向传播[27]来最小化MSE以调整网络的参数，网络权重的更新过程为：

Δ_k代表上一次的权重更新值，l代表层数，k代表网络的迭代次数。η是学习率，代表第l层的第k次迭代时的权重，代表对代价函数中相应的权重求偏导。权重采用均值为0，方差为0.001的高分布进行随机初始化。本发明在训练过程中采用固定学习率(fixed)取η＝0.0001。

本发明利用caffe工具箱进行网络的训练与验证[28]，在MATLAB上进行测试。

表1各卷积层的参数设置

表2不同算法的在数据集上的定量比较(RMSE和PSNR)

表3不同算法的在数据集上的定量比较(RMSE)

表4不同算法的在数据集上的定量比较(RMSE)

表5不同算法的在数据集上的定量比较(RMSE)

参考文献

[1]Hosni A,Rhemann C,Bleyer M,et al.Fast Cost-Volume Filtering forVisual Correspondence and Beyond[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2013,35(2):504.

[2]Lee S.Depth camera image processing and applications[C]//IEEEInternational Conference on Image Processing.IEEE,2012:545-548.

[3]Kopf J,Cohen M F,Lischinski D,et al.Joint bilateral upsampling[C]//ACM,2007:96.

[4]He K,Sun J,Tang X.Guided image filtering[C]//European Conferenceon Computer Vision.Springer-Verlag,2010:1-14.

[5]Park J,Kim H,Tai Y W,et al.High quality depth map upsampling for3D-TOF cameras[C]//IEEE International Conference on Computer Vision,ICCV2011,Barcelona,Spain,November.DBLP,2011:1623-1630.

[6]Buades A,Coll B,Morel J M.A Review of Image Denoising Algorithms,with a New One[J].Siam Journal on Multiscale Modeling&Simulation,2005,4(2):490--530.

[7]Buades A,Coll B,Morel J M.Image Denoising Methods.A New NonlocalPrinciple[J].Siam Review,2010,52(1):113-147.

[8]Yang Y,Wang Z.Range image super-resolution via guided image filter[C]//International Conference on Internet Multimedia Computing andService.2012:200-203.

[9]He K,Sun J,Tang X.Guided image filtering.[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2013,35(6):1397-1409.

[10]Liu M Y,Tuzel O,Taguchi Y.Joint Geodesic Upsampling of DepthImages[C]//Computer Vision and Pattern Recognition.IEEE,2013:169-176.

[11]Ferstl D,Reinbacher C,Ranftl R,et al.Image Guided DepthUpsampling Using Anisotropic Total Generalized Variation[C]//IEEEInternational Conference on Computer Vision.IEEE Computer Society,2013:993-1000.

[12]Li Y,Xue T,Sun L,et al.Joint Example-Based Depth Map Super-Resolution[C]//IEEE International Conference on Multimedia and Expo.IEEE,2012:152-157.

[13]Kwon H H,Tai Y W,Lin S.Data-driven depth map refinement viamulti-scale sparse representation[J].2015:159-167.

[14]Kiechle M,Hawe S,Kleinsteuber M.A Joint Intensity and Depth Co-sparse Analysis Model for Depth Map Super-resolution[C]//IEEE InternationalConference on Computer Vision.IEEE Computer Society,2013:1545-1552.

[15]Gevrekci M,Pakin K.Depth map super resolution[C]//SignalProcessing and Communications Applications.IEEE,2011:502-505.

[16]Patti A J,Sezan M I,Tekalp/M.High-resolution image reconstructionfrom a low-resolution image sequence in the presence of time-varying motionblur[M].1994.0

[17]Rajagopalan A N,Bhavsar A,Wallhoff F,et al.Resolution Enhancementof PMD Range Maps.[C]//Pattern Recognition,Dagm Symposium,Munich,Germany,June10-13,2008,Proceedings.DBLP,2008:304-313.

[18]Diebel J,Thrun S.An Application of Markov Random Fields to RangeSensing[J].Advances in Neural Information Processing Systems,2005:291--298.

[19]Aodha O M,Campbell N D F,Nair A,et al.Patch based synthesis forsingle depth image super-resolution[C]//European Conference on ComputerVision.Springer-Verlag,2012:71-84.

[20]Schuon S,Theobalt C,Davis J,et al.LidarBoost:Depthsuperresolution for ToF 3D shape scanning[C]//Computer Vision and PatternRecognition,2009.CVPR 2009.IEEE Conference on.IEEE Xplore,2009:343-350.

[21]Hinton G E,Salakhutdinov R R.Reducing the dimensionality of datawith neural networks.[J].Science,2006,313(5786):504-7.

[22]Durbin R,Rumelhart D E.Product Units:A Computationally Powerfuland Biologically Plausible Extension to Backpropagation Networks[J].NeuralComputation,1989,1(1):133-142.

[23]Dong C,Chen C L,He K,et al.Image Super-Resolution Using DeepConvolutional Networks[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2014,38(2):295-307.

[24]Wang Z,Liu D,Yang J,et al.Deep Networks for Image Super-Resolution with Sparse Prior[C]//IEEE International Conference on ComputerVision.IEEE,2015:370-378.

[25]http://sintel.is.tue.mpg.de/

[26]http://vision.middlebury.edu/stereo/

[27]Lécun Y,Bottou L,Bengio Y,et al.Gradient-based learning appliedto document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[28]Jia,Y.,Shelhamer,E.,Donahue,J.,Karayev,S.,Long,J.,Girshick,R.,Guadarrama,S.,Darrell,T.:Caffe:Convolutional architecture for fast featureembedding.In:ACM Multimedia.pp.675–678(2014)。

Claims (6)

1.一种基于卷积神经网络的深度图超分辨率重建方法，其特征是，利用卷积层与反卷积层相结合的卷积神经网络CNN(Convolutional Neural Networks)提取低分辨率样例深度图像块和高分辨率样例深度图像块的深度图像特征，然后学习它们之间的非线性映射关系，从而还原出高分辨率深度图像。

2.如权利要求1所述的基于卷积神经网络的深度图超分辨率重建方法，其特征是，在一个实例中，选取训练样本和测试样本步骤是，从MPI Sintel深度数据集和Middlebury数据集中收集了52幅深度图作为训练样本，并从中选取了10幅深度图作为训练过程中验证集，对52幅和10幅图像分别作了90°、180°、270°旋转，之后又分别进行了6、7、8、9倍的扩大，得到了1040幅图像作为最终的训练集，200幅图像作为训练过程中的验证集；

将训练集中的深度图先进行相应倍数的下采样，之后利用同样倍数的上采样得到与原始输入大小相同的低分辨率的深度图；采用大小为7的步长将其分割成7×7大小的图像块，然后将此图像块作为网络的输入D_L；之后同样利用大小为7的步长对训练集进行分块，得到网络的标签D_H，对验证集也进行同样的操作。

3.如权利要求1所述的基于卷积神经网络的深度图超分辨率重建方法，其特征是，卷积操作由公式(1)，(2)来表示：

F¹＝σ(W_c(1)*D_L+b₁) (1)

Fⁱ＝σ(W_c(i)*F^i-1+b_i) (2)

F¹代表第一个卷积层的输出，Fⁱ代表第i个卷积层的输出，D_L是第一层输入的低分辨率的深度图，F^i-1代表第i-1个卷积层的输出，上一层的输出作为下一层的输入，W_c(1)代表第一个卷积层的权重，W_c(i)代表第i个卷积层的权重，卷积权重对应的是一个数量为n，大小为f×f的滤波器组，*代表卷积操作，b₁代表第一层的偏置，b_i代表第i层的偏置，其中，偏置的维数始终与该层卷积核的数量保持一致，σ代表激活函数，其中δ(y)＝max(0,y)+amin(0,y)，a是负y的可学习的斜率系数。

4.如权利要求3所述的基于卷积神经网络的深度图超分辨率重建方法，其特征是，使用参数整流线性单元PReLU(Parametric Rectified Linear Unit)作为激活函数。

5.如权利要求1所述的基于卷积神经网络的深度图超分辨率重建方法，其特征是，反卷积操作具体步骤是，通过一个反卷积层实现最终的重建过程，该过程由公式3来表示：

F＝σ(W_d·F⁷+B) (3)

F代表反卷积层的输出，W_d代表反卷积层的权重参数，·代表反卷积操作，F⁷代表最后一个卷积层的输出，B为偏置，步长根据网络采样因子的大小进行相应的调整，但始终大于1，设输入反卷积层的图像大小为I，反卷积层参数为：核的大小R×R、步长s、填充大小为p，那么经过反卷积之后的输出图像的大小为：

o＝s(I-1)+R-2p (4)。

6.如权利要求1所述的基于卷积神经网络的深度图超分辨率重建方法，其特征是，卷积神经网络中网络训练与测试具体步骤是，网络通过最小化重建得到的结果和真实视差图之间的代价，来不断调整网络参数Θ＝{W_c(i),W_d,b_i,B},对于一组高分辨率的深度图X_j和一组由网络重建得到的深度图F^j(Y；Θ)，采用均方误差(MSE)作为代价函数：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>&amp;Theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <msup> <mi>F</mi> <mi>j</mi> </msup> <mrow> <mo>(</mo> <mi>Y</mi> <mo>;</mo> <mi>&amp;Theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>X</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中n代表训练样本的数量，利用随机梯度下降法和网络的反向传播来最小化MSE以调整网络的参数，网络权重的更新过程为：

<mrow> <msub> <mi>&amp;Delta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mn>0.9</mn> <mo>&amp;times;</mo> <msub> <mi>&amp;Delta;</mi> <mi>k</mi> </msub> <mo>-</mo> <mi>&amp;eta;</mi> <mo>&amp;times;</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>L</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mi>l</mi> </msubsup> </mrow> </mfrac> <mo>,</mo> <msubsup> <mi>W</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>=</mo> <msubsup> <mi>W</mi> <mi>k</mi> <mi>l</mi> </msubsup> <mo>+</mo> <msub> <mi>&amp;Delta;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

Δ_k代表上一次的权重更新值，l代表层数，k代表网络的迭代次数，η是学习率，代表第l层的第k次迭代时的权重，代表对代价函数中相应的权重求偏导，权重采用均值为0，方差为0.001的高分布进行随机初始化。