CN109872288A - 用于图像去噪的网络训练方法、装置、终端及存储介质 - Google Patents
用于图像去噪的网络训练方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN109872288A CN109872288A CN201910100276.XA CN201910100276A CN109872288A CN 109872288 A CN109872288 A CN 109872288A CN 201910100276 A CN201910100276 A CN 201910100276A CN 109872288 A CN109872288 A CN 109872288A
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- convolutional neural
- neural networks
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明适用图像处理技术领域，提供了一种用于图像去噪的网络训练方法、装置、终端及存储介质，该方法包括：将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种用于图像去噪的网络训练方法、装置、终端及存储介质。
背景技术
随着各种电子终端上拍摄技术的发展，图像逐渐发展成为当今社会中比较常用的信息载体，但在图像的获取、传输或存贮过程中常常会受到各种噪声的干扰和影响而使图像降质。图像去噪是图像处理领域中一个很重要的研究方向，其目的是将噪声图像中的噪声去除，从而获得纯净图像。
目前，大多数图像去噪都依赖于进行了深度学习后的卷积神经网络，而卷积神经网络在深度学习的过程时，较多情况是以mean square error(MSE，均方误差)作为优化网络的损失函数，虽然该损失函数能够帮助网络找到一个在客观评价标准即峰值信噪比(peak signal-to-noise ratio，PSNR)表现良好的解决方案，但同时，该损失函数在计算图像的细节损失时，MSE会驱动网络去寻找一个均化方案，不能够很好地捕抓图像间的特征差距，抓取到的特征差距过于均衡，因而使得恢复后的图像较为模糊。
发明内容
本发明的目的在于提供一种用于图像去噪的网络训练方法、装置、终端以及存储介质，旨在解决由于现有技术无法提供一种有效的图像去噪网络训练方法，导致现有图像去噪网络的图像去噪效果不理想的问题。
一方面，本发明提供了一种用于图像去噪的网络训练方法，所述方法包括下述步骤：
将预设数量的噪声图像输入预设的卷积神经网络，初始化所述卷积神经网络的参数，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征；
通过预设的所述卷积神经网络的组合层将所述去噪图像特征进行组合，以得到所述噪声图像去噪后的去噪图像；
将所述去噪图像和所述噪声图像对应的无噪声图像输入预设的细节损失模型，通过所述细节损失模型获取所述卷积神经网络对所述噪声图像去噪时的细节损失；
当所述细节损失模型未收敛时，通过梯度反传方式将所述细节损失反传到所述卷积神经网络，并根据所述细节损失更新所述卷积神经网络的参数，以继续对所述卷积神经网络进行训练。
另一方面，本发明提供了一种用于图像去噪的网络训练装置，所述装置包括：
特征去噪单元，用于将预设数量的噪声图像输入预设的卷积神经网络，初始化所述卷积神经网络的参数，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征；
特征组合单元，用于通过预设的所述卷积神经网络的组合层将所述去噪图像特征进行组合，以得到所述噪声图像去噪后的去噪图像；
损失获取单元，用于将所述去噪图像和所述噪声图像对应的无噪声图像输入预设的细节损失模型，通过所述细节损失模型获取所述卷积神经网络对所述噪声图像去噪时的细节损失；以及
反传更新单元，用于当所述细节损失模型未收敛时，通过梯度反传方式将所述细节损失反传到所述卷积神经网络，并根据所述细节损失更新所述卷积神经网络的参数，以继续对所述卷积神经网络进行训练。
另一方面，本发明还提供了一种计算终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述用于图像去噪的网络训练方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述用于图像去噪的网络训练方法的步骤。
本发明先将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，再将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
附图说明
图1是本发明实施例一提供的用于图像去噪的网络训练方法的实现流程图；
图2是本发明实施例一提供的图像去噪网络的结构示意图；
图3是本发明实施例一提供的获取细节损失的实现流程图；
图4是本发明实施例一提供的VGG19网络的层结构示意图；以及
图5是本发明实施例二提供的用于图像去噪的网络训练装置的结构示意图；
图6是本发明实施例三提供的用于图像去噪的网络训练装置的结构示意图；以及
图7是本发明实施例四提供的一种终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的用于图像去噪的网络训练方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征。
本发明实施例适用于计算终端，该计算终端可加载、运行用于图像去噪的网络，为了便于后续描述，将该用于图像去噪的网络称为图像去噪网络，通过该图像去噪网络可对图像进行噪声去除。为了得到去噪效果较好的图像去噪网络，先使用卷积神经网络进行深度去噪学习，因此，在本发明实施例中，先将预设数量的噪声图像输入预设的卷积神经网络之中，再对该卷积神经网络的参数进行初始化设置，然后通过卷积神经网络的去噪层获取噪声图像的去噪图像特征。
优选地，预设数量的噪声图像为噪声源近似或者相同的图像，例如，可根据环境的不同，将预设数量的雾霾天拍摄的图像或阴天拍摄的图像或晴天拍摄的图像分别进行训练，得到的图像去噪网络可分别对雾霾天、阴天和晴天环境的图像达到良好的去噪效果；在进行初始化时，可通过随机设置参数的方式对该卷积神经网络的参数进行初始化设置；在对输入的噪声图像进行去噪时，通过卷积神经网络的第一预设卷积层和激活层提取噪声图像的噪声图像特征，通过预设的卷积神经网络的残差块对噪声图像特征进行去噪，以得到去噪图像特征，从而根据当前的图像去噪网络参数对输入的噪声图像进行去噪，该残差块包括卷积神经网络的第二预设卷积层和激活层，其中，为了便于描述，将预先设置好数量的卷积层和预先设置好数量的激活层按照预先设置的顺序进行排列所形成的网络结构称为第一预设卷积层和激活层或第二预设卷积层和激活层。
图2示出了本发明实施例一提供的图像去噪网络的结构图，其中，(a)为图像去噪网络的结构示意图；(b)为图像去噪网络的残差块的结构示意图。
在本发明实施例中，该卷积神经网络的去噪层由预设数量的卷积层和激活层构成，在接收到噪声图像之后，由1个卷积层(k9n64s1)和1个激活层(PReLU)对噪声图像的特征进行提取，然后将该噪声图像特征输入到残差块，在残差块对该噪声图像特征进行去噪时，1个残差块通过2个卷积层(k3n64s1)和1个激活层(PReLU)对噪声图像特征去噪，所获得的特征与输入的噪声图像特征进行叠加，同时作为下一个残差块的输入，直到最后一个残差块输出去噪图像特征，在获取去噪图像特征之后，将噪声图像特征叠加至去噪图像特征中，同时输入到该图像去噪网络的组合层。在防范卷积神经网络的梯度消失和梯度爆炸问题时，在本发明实施例中卷积神经网络的BN(Batch Normalization，批量归一化)层被删除，从而有效防止图像特征变得不清晰，使得卷积神经网络能在图像去噪时保留更多的细节。
其中，PReLU表示激活函数的名称，k表示卷积层对应卷积核大小，n表示特征图数量，s表示卷积步伐大小，例如，k9n64s1，表示卷积核大小为9*9，输出特征图数量64张，卷积核滑动的步伐为1。
进一步地，在将去噪图像特征进行组合之前，将噪声图像特征叠加至去噪图像特征中，同时输入到该图像去噪网络的组合层，从而避免梯度消失和梯度爆炸的问题。
在步骤S102中，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像。
在本发明实施例中，去噪图像为输入的噪声图像被预设的卷积神经网络进行去噪操作后所生成的图像，在获取到去噪图像特征之后，通过2个卷积层(k3n256s1)、1个卷积层(k9n3s1)和2个激活层(PReLU)对获取的去噪图像特征进行特征组合，从而得到去噪后的该噪声图像的去噪图像。
在步骤S103中，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络对噪声图像去噪时的细节损失。
在本发明实施例中，细节损失模型为预先设置的用于计算噪声图像对应的无噪声图像的特征损失的模型，在得到去噪图像之后，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，得到卷积神经网络对噪声图像去噪时的细节损失，该细节损失表示了卷积神经网络当前的参数的去噪效果。
图3示出了本发明实施例一提供的获取细节损失的实现流程，通过以下步骤获取细节损失，可更好地辅助训练出去噪效果较佳的图像去噪网络：
在步骤S301中，通过预设的VGG神经网络获取去噪图像的特征图和无噪声图像的特征图之间的第一欧氏距离。
在本发明实施例中，图4示出了本发明实施例一提供的VGG19网络的结构图，VGG神经网络为预先训练好的19层VGG网络(VGG19网络)，在输入了去噪图像和无噪图像之后，分别将去噪图像和无噪图像导入预先训练好的VGG19网络中，然后分别从VGG19网络第5个池化层(pool5)中的第4个卷积层(conv5-4)提取去噪图像和无噪图像的特征图，根据VGG19网络第5个池化层中第4个卷积层提取的特征图获取的细节损失可以更好地辅助卷积神经网络恢复噪声图像的细节，然后通过欧氏距离公式得到在VGG19网络第5个池化层(pool5)中的第4个卷积层(conv5-4)提取的去噪图像和无噪图像的特征图之间的欧氏距离为了便于描述，将此时得到的欧式距离称为第一欧式距离，此时，该第一欧式距离表示噪声图像在卷积神经网络中进行去噪时的感知损失，将该感知损失作为图像在去噪过程中产生的细节损失的一种细节损失，从而使得图像去噪网络在对图像进行去噪时保留更多无噪图像里的细节，其中，x表示无噪声图像，表示噪声图像，函数表示在VGG19网络第5个池化层中第4个卷积层提取的特征图，W5,4表示特征图在宽度方向上的维度，H5,4表示特征图在高度方向上的维度，(i,j)表示特征图的像素点坐标。
在步骤S302中，通过高频滤波获取去噪图像的高频图像信息和无噪声图像的高频图像信息之间的第二欧氏距离。
在本发明实施例中，先通过高通滤波器分别获取去噪图像和无噪声图像的高频信息，该高通滤波器可为采用Sobel算子(索贝尔算子)的一阶高通滤波器，该高频信息包括了边缘和纹理等细节信息，然后通过欧式距离公式得到去噪图像和无噪声图像的高频信息之间的欧氏距离为了便于描述，将此时得到的欧式距离成为第二欧式距离，该第二距离表示噪声图像在卷积神经网络中进行去噪时的高频损失，将该高频损失作为图像在去噪过程中产生的细节损失的另一种细节损失，从而避免获得的图像去噪网络在对图像进行去噪时产生高频伪影，其中，函数Φ表示经过高通滤波器获得的高频信息图像，W和H分别表示高频信息图像在宽度方向上和高度方向上的维度，(i,j)表示特征图的像素点坐标。
在步骤S303中，根据公式获取细节损失。
在本发明实施例中，在获取到噪声图像在卷积神经网络中进行去噪时的感知损失和高频损失之后，根据细节损失公式获取卷积神经网络对噪声图像去噪时的细节损失，为了便于描述将公式称为细节损失公式，其中，ldetail表示噪声图像在进行去噪时产生的细节损失，lper表示第一欧式距离，lhf表示第二欧式距离，为该第二欧式距离的权重。
在步骤S104中，当细节损失模型未收敛时，通过梯度反传方式将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络的参数，以继续对卷积神经网络进行训练。
在本发明实施例中，当细节损失模型未收敛时，表明当前卷积神经网络的参数并不能达到预期的去噪效果，此时，通过梯度反传方式将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络的参数，以继续对卷积神经网络进行训练，直到该细节损失模型收敛时，输出更新后的卷积神经网络的参数，以得到训练完成的图像去噪网络，通过不断训练该图像去噪网络对定向类型图像进行去噪，从而得到使该定向类型图像的去噪效果较佳的卷积神经网络的参数。
在本发明实施例中，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
实施例二：
图5示出了本发明实施例二提供的用于图像去噪的网络训练装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
特征去噪单元51，用于将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征；
特征组合单元52，用于通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像；
损失获取单元53，用于将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络对噪声图像去噪时的细节损失；以及
反传更新单元54，用于当细节损失模型未收敛时，通过梯度反传方式将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络的参数，以继续对卷积神经网络进行训练。
在本发明实施例中，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
在本发明实施例中，用于图像去噪的网络训练装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
实施例三：
图6示出了本发明实施例三提供的用于图像去噪的网络训练装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
特征去噪单元61，用于将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征；
特征组合单元62，用于通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像；
损失获取单元63，用于将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络对噪声图像去噪时的细节损失；以及
反传更新单元64，用于当细节损失模型未收敛时，通过梯度反传方式将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络的参数，以继续对卷积神经网络进行训练。
其中，特征去噪单元61包括：
特征提取单元611，用于通过卷积神经网络的第一预设卷积层和激活层提取噪声图像的噪声图像特征；以及
特征去噪子单元612，用于通过预设的卷积神经网络的残差块对噪声图像特征进行去噪，以得到去噪图像特征，残差块包括卷积神经网络的第二预设卷积层和激活层。
损失获取单元63包括：
第一距离获取单元631，用于通过预设的VGG神经网络获取去噪图像的特征图和无噪声图像的特征图之间的第一欧氏距离；
第二距离获取单元632，用于通过高频滤波获取去噪图像的高频图像信息和无噪声图像的高频图像信息之间的第二欧氏距离；以及
损失获取子单元633，用于根据公式获取细节损失，ldetail表示噪声图像在进行去噪时产生的细节损失，lper表示第一欧式距离，lhf表示第二欧式距离，为该第二欧式距离的权重。
在本发明实施例中，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，直到该细节损失模型收敛时，输出更新后的卷积神经网络的参数，以得到训练完成的图像去噪网络，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
在本发明实施例中，用于图像去噪的网络训练装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
实施例四：
图7示出了本发明实施例四提供的计算终端的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
本发明实施例的计算终端7包括处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73。该处理器71执行计算机程序73时实现上述用于图像去噪的网络训练方法实施例中的步骤，例如，图1所示的步骤S101至S104以及图3所示的步骤S301至S303。或者，处理器71执行计算机程序73时实现上述各个用于图像去噪的网络训练装置实施例中各单元的功能，例如，图5所示单元51至54以及图6所示单元61至64的功能。
在本发明实施例中，该处理器执行计算机程序时，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
该处理器执行计算机程序时实现上述用于图像去噪的网络训练方法实施例中的步骤可参考实施例一的描述，在此不再赘述。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个用于图像去噪的网络训练方法实施例中的步骤，例如，图1所示的步骤S101至S104以及图3所示的步骤S301至S303。或者，该计算机程序被处理器执行时实现上述各个用于图像去噪的网络训练装置实施例中各单元的功能，例如，图5所示单元51至54以及图6所示单元61至64的功能。
在本发明实施例中，在计算机程序被处理器执行后，将预设数量的噪声图像输入预设的卷积神经网络，初始化卷积神经网络的参数，通过卷积神经网络的去噪层获取噪声图像的去噪图像特征，通过预设的卷积神经网络的组合层将去噪图像特征进行组合，以得到噪声图像去噪后的去噪图像，将去噪图像和噪声图像对应的无噪声图像输入预设的细节损失模型，获取卷积神经网络去噪时的细节损失，当细节损失模型未收敛时，将细节损失反传到卷积神经网络，并根据细节损失更新卷积神经网络参数，以继续对卷积神经网络进行训练，从而通过不断去噪、调整参数来减少网络时的细节损失，进而提高该网络的去噪效果。
该计算机程序被处理器执行时实现上述用于图像去噪的网络训练方法实施例中的步骤可参考实施例一的描述，在此不再赘述。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、存储介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于图像去噪的网络训练方法，其特征在于，所述方法包括下述步骤：
将预设数量的噪声图像输入预设的卷积神经网络，初始化所述卷积神经网络的参数，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征；
通过预设的所述卷积神经网络的组合层将所述去噪图像特征进行组合，以得到所述噪声图像去噪后的去噪图像；
将所述去噪图像和所述噪声图像对应的无噪声图像输入预设的细节损失模型，通过所述细节损失模型获取所述卷积神经网络对所述噪声图像去噪时的细节损失；
当所述细节损失模型未收敛时，通过梯度反传方式将所述细节损失反传到所述卷积神经网络，并根据所述细节损失更新所述卷积神经网络的参数，以继续对所述卷积神经网络进行训练。
2.如权利要求1所述的方法，其特征在于，通过所述细节损失模型获取所述卷积神经网络对所述噪声图像去噪时的细节损失的步骤，包括：
通过预设的VGG神经网络获取所述去噪图像的特征图和所述无噪声图像的特征图之间的第一欧氏距离；
通过高频滤波获取所述去噪图像的高频图像信息和所述无噪声图像的高频图像信息之间的第二欧氏距离；
根据公式获取所述细节损失，其中，ldetail表示所述细节损失，lper表示所述第一欧氏距离、lhf表示所述第二欧式距离，表示所述第二欧式距离的权重。
3.如权利要1所述的方法，其特征在于，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征的步骤，包括：
通过所述卷积神经网络的第一预设卷积层和激活层提取所述噪声图像的噪声图像特征；
通过预设的所述卷积神经网络的残差块对所述噪声图像特征进行去噪，以得到所述去噪图像特征，所述残差块包括所述卷积神经网络的第二预设卷积层和激活层。
4.如权利要求3所述的方法，其特征在于，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征的步骤，还包括：
将所述噪声图像特征叠加至所述去噪图像特征中。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述细节损失模型收敛时，输出更新后的所述卷积神经网络的参数，以得到训练完成的图像去噪网络。
6.一种用于图像去噪的网络训练装置，其特征在于，所述装置包括：
特征去噪单元，用于将预设数量的噪声图像输入预设的卷积神经网络，初始化所述卷积神经网络的参数，通过所述卷积神经网络的去噪层获取噪声图像的去噪图像特征，以继续对所述卷积神经网络进行训练；
特征组合单元，用于通过预设的所述卷积神经网络的组合层将所述去噪图像特征进行组合，以得到所述噪声图像去噪后的去噪图像；
损失获取单元，用于将所述去噪图像和所述噪声图像对应的无噪声图像输入预设的细节损失模型，通过所述细节损失模型获取所述卷积神经网络对所述噪声图像去噪时的细节损失；以及
反传更新单元，用于当所述细节损失模型未收敛时，通过梯度反传方式将所述细节损失反传到所述卷积神经网络，并根据所述细节损失更新所述卷积神经网络的参数。
7.如权利要求6所述的装置，其特征在于，所述损失获取单元包括：
第一距离获取单元，用于通过预设的VGG神经网络获取所述去噪图像的特征图和所述无噪声图像的特征图之间的第一欧氏距离；
第二距离获取单元，用于通过高频滤波获取所述去噪图像的高频图像信息和所述无噪声图像的高频图像信息之间的第二欧氏距离；以及
损失获取子单元，用于根据公式获取所述细节损失，其中，ldetail表示所述细节损失，lper表示所述第一欧氏距离、lhf表示所述第二欧式距离，表示所述第二欧式距离的权重。
8.如权利要求6所述的装置，其特征在于，所述装置还包括：
特征提取单元，用于通过所述卷积神经网络的第一预设卷积层和激活层提取所述噪声图像的噪声图像特征；以及
特征去噪子单元，用于通过预设的所述卷积神经网络的残差块对所述噪声图像特征进行去噪，以得到所述去噪图像特征，所述残差块包括所述卷积神经网络的第二预设卷积层和激活层。
9.一种计算终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100276.XA CN109872288B (zh) | 2019-01-31 | 2019-01-31 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100276.XA CN109872288B (zh) | 2019-01-31 | 2019-01-31 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872288A true CN109872288A (zh) | 2019-06-11 |
| CN109872288B CN109872288B (zh) | 2023-05-23 |
Family
ID=66918487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910100276.XA Active CN109872288B (zh) | 2019-01-31 | 2019-01-31 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872288B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN110443758A (zh) * | 2019-07-05 | 2019-11-12 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
| CN110569961A (zh) * | 2019-08-08 | 2019-12-13 | 合肥图鸭信息科技有限公司 | 一种神经网络训练方法、装置及终端设备 |
| CN110728636A (zh) * | 2019-09-17 | 2020-01-24 | 杭州群核信息技术有限公司 | 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 |
| CN110738616A (zh) * | 2019-10-12 | 2020-01-31 | 成都考拉悠然科技有限公司 | 一种具有细节信息学习能力的图像去噪方法 |
| CN111047537A (zh) * | 2019-12-18 | 2020-04-21 | 清华大学深圳国际研究生院 | 一种图像去噪中恢复细节的系统 |
| CN111161180A (zh) * | 2019-12-26 | 2020-05-15 | 华南理工大学 | 一种基于迁移与结构先验的深度学习超声图像去躁方法 |
| CN111369456A (zh) * | 2020-02-28 | 2020-07-03 | 深圳市商汤科技有限公司 | 图像去噪方法及装置、电子设备和存储介质 |
| CN111626950A (zh) * | 2020-05-19 | 2020-09-04 | 上海集成电路研发中心有限公司 | 一种图像去噪模型的在线训练装置及方法 |
| CN112308785A (zh) * | 2019-08-01 | 2021-02-02 | 武汉Tcl集团工业研究院有限公司 | 图像去噪方法、存储介质及终端设备 |
| CN112330575A (zh) * | 2020-12-03 | 2021-02-05 | 华北理工大学 | 一种卷积神经网络医学ct图像去噪方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN112801888A (zh) * | 2021-01-06 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN112967195A (zh) * | 2021-03-04 | 2021-06-15 | 浙江大华技术股份有限公司 | 一种图像去噪方法、设备及计算机可读存储介质 |
| CN113096023A (zh) * | 2020-01-08 | 2021-07-09 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN113538281A (zh) * | 2021-07-21 | 2021-10-22 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| US20220138910A1 (en) * | 2020-11-05 | 2022-05-05 | Leica Microsystems Cms Gmbh | Methods and systems for training convolutional neural networks |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171217A (zh) * | 2018-01-29 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于点融合网络的三维物体检测方法 |
| CN108230280A (zh) * | 2018-04-11 | 2018-06-29 | 哈尔滨工业大学 | 基于张量模型与压缩感知理论的图像斑点噪声去除方法 |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN108335306A (zh) * | 2018-02-28 | 2018-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN108765320A (zh) * | 2018-05-16 | 2018-11-06 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN109063584A (zh) * | 2018-07-11 | 2018-12-21 | 深圳大学 | 基于级联回归的面部特征点定位方法、装置、设备及介质 |
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
-
2019
- 2019-01-31 CN CN201910100276.XA patent/CN109872288B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171217A (zh) * | 2018-01-29 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于点融合网络的三维物体检测方法 |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN108335306A (zh) * | 2018-02-28 | 2018-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN108230280A (zh) * | 2018-04-11 | 2018-06-29 | 哈尔滨工业大学 | 基于张量模型与压缩感知理论的图像斑点噪声去除方法 |
| CN108765320A (zh) * | 2018-05-16 | 2018-11-06 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN109118435A (zh) * | 2018-06-15 | 2019-01-01 | 广东工业大学 | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 |
| CN109063584A (zh) * | 2018-07-11 | 2018-12-21 | 深圳大学 | 基于级联回归的面部特征点定位方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴从中，等: "结合深度残差学习和感知损失的图像去噪", 《中国图像图形学报》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
| CN110443758A (zh) * | 2019-07-05 | 2019-11-12 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
| CN110443758B (zh) * | 2019-07-05 | 2023-08-25 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
| CN112308785A (zh) * | 2019-08-01 | 2021-02-02 | 武汉Tcl集团工业研究院有限公司 | 图像去噪方法、存储介质及终端设备 |
| CN112308785B (zh) * | 2019-08-01 | 2024-05-28 | 武汉Tcl集团工业研究院有限公司 | 图像去噪方法、存储介质及终端设备 |
| CN110569961A (zh) * | 2019-08-08 | 2019-12-13 | 合肥图鸭信息科技有限公司 | 一种神经网络训练方法、装置及终端设备 |
| CN110728636A (zh) * | 2019-09-17 | 2020-01-24 | 杭州群核信息技术有限公司 | 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 |
| US20220335574A1 (en) * | 2019-09-17 | 2022-10-20 | Hangzhou Qunhe Information Technology Co., Ltd. | A monte carlo rendering image denoising model, method and device based on generative adversarial network |
| CN110738616B (zh) * | 2019-10-12 | 2020-06-26 | 成都考拉悠然科技有限公司 | 一种具有细节信息学习能力的图像去噪方法 |
| CN110738616A (zh) * | 2019-10-12 | 2020-01-31 | 成都考拉悠然科技有限公司 | 一种具有细节信息学习能力的图像去噪方法 |
| CN111047537A (zh) * | 2019-12-18 | 2020-04-21 | 清华大学深圳国际研究生院 | 一种图像去噪中恢复细节的系统 |
| CN111161180B (zh) * | 2019-12-26 | 2023-09-26 | 华南理工大学 | 一种基于迁移与结构先验的深度学习超声图像去躁方法 |
| CN111161180A (zh) * | 2019-12-26 | 2020-05-15 | 华南理工大学 | 一种基于迁移与结构先验的深度学习超声图像去躁方法 |
| CN113096023B (zh) * | 2020-01-08 | 2023-10-27 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN113096023A (zh) * | 2020-01-08 | 2021-07-09 | 字节跳动有限公司 | 神经网络的训练方法、图像处理方法及装置、存储介质 |
| CN111369456A (zh) * | 2020-02-28 | 2020-07-03 | 深圳市商汤科技有限公司 | 图像去噪方法及装置、电子设备和存储介质 |
| CN111626950A (zh) * | 2020-05-19 | 2020-09-04 | 上海集成电路研发中心有限公司 | 一种图像去噪模型的在线训练装置及方法 |
| US20220138910A1 (en) * | 2020-11-05 | 2022-05-05 | Leica Microsystems Cms Gmbh | Methods and systems for training convolutional neural networks |
| EP3996035A1 (en) * | 2020-11-05 | 2022-05-11 | Leica Microsystems CMS GmbH | Methods and systems for training convolutional neural networks |
| US12020405B2 (en) | 2020-11-05 | 2024-06-25 | Leica Microsystems Cms Gmbh | Methods and systems for training convolutional neural networks |
| CN112330575A (zh) * | 2020-12-03 | 2021-02-05 | 华北理工大学 | 一种卷积神经网络医学ct图像去噪方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN112598599B (zh) * | 2020-12-29 | 2024-04-09 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
| CN112801888A (zh) * | 2021-01-06 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN112967195A (zh) * | 2021-03-04 | 2021-06-15 | 浙江大华技术股份有限公司 | 一种图像去噪方法、设备及计算机可读存储介质 |
| CN112967195B (zh) * | 2021-03-04 | 2024-04-23 | 浙江大华技术股份有限公司 | 一种图像去噪方法、设备及计算机可读存储介质 |
| CN113538281A (zh) * | 2021-07-21 | 2021-10-22 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| CN113538281B (zh) * | 2021-07-21 | 2023-07-11 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872288B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872288A (zh) | 用于图像去噪的网络训练方法、装置、终端及存储介质 | |
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| Almeida et al. | Blind and semi-blind deblurring of natural images | |
| Guo et al. | Toward convolutional blind denoising of real photographs | |
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| Goossens et al. | An improved non-local denoising algorithm | |
| Choudhury et al. | The trilateral filter for high contrast images and meshes | |
| Ahn et al. | Block-matching convolutional neural network for image denoising | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN106204482B (zh) | 基于加权稀疏的混合噪声去除方法 | |
| CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
| CN110390646B (zh) | 一种细节保持图像去噪方法 | |
| CN110807742A (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN111861939A (zh) | 一种基于无监督学习的单张图像去雾方法 | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| CN112019704B (zh) | 一种基于先验信息和卷积神经网络的视频去噪方法 | |
| Kong et al. | A comprehensive comparison of multi-dimensional image denoising methods | |
| CN111640077A (zh) | 一种简单高效的模糊文本图片清晰化处理方法 | |
| CN113888405B (zh) | 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法 | |
| KR102466061B1 (ko) | 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법 | |
| Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising | |
| Gayathri et al. | A Survey on Image Denoising Algorithms (IDA) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |