CN115205117A - 图像重建方法及装置、计算机存储介质、电子设备 - Google Patents
图像重建方法及装置、计算机存储介质、电子设备 Download PDFInfo
- Publication number
- CN115205117A CN115205117A CN202210787481.XA CN202210787481A CN115205117A CN 115205117 A CN115205117 A CN 115205117A CN 202210787481 A CN202210787481 A CN 202210787481A CN 115205117 A CN115205117 A CN 115205117A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- low
- image
- resolution
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 86
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像处理技术领域，提供了一种图像重建方法、图像重建装置、计算机存储介质、电子设备，其中，图像重建方法包括：对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；对所述空间位置特征进行空间编码，得到空间编码向量；对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。本公开中的方法使得重建出的超分辨率图像轮廓更加清晰，减少伪影的产生。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种图像重建方法、图像重建装置、计算机存储介质及电子设备。
背景技术
随着计算机技术的不断发展，网络上图像与视频的清晰度也逐步提升。但仍有许多图像视频过于模糊，如一些早期设备捕捉的图像因硬件限制导致的低画质，以及因传输过程中压缩导致的不可避免的信息丢失等。因而，如何将这些低分辨率图像复原成为了一个热门研究课题。
相关技术中，一般是通过学习模糊低分辨率图像到清晰高分辨率图像的非线性映射，进而重建出较高分辨率的图像。然而，上述方式可能导致重建图像质量较差的问题。
鉴于此，本领域亟需开发一种新的图像重建方法及装置。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种图像重建方法、图像重建装置、计算机存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的重建图像质量较差的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种图像重建方法，包括：对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；对所述空间位置特征进行空间编码，得到空间编码向量；对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
在本公开的示例性实施例中，所述对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量，包括：根据预训练的图像重建模型的编码网络对所述低分辨率图像进行降维处理，得到所述低分辨率图像的编码向量；其中，所述图像重建模型用于提高所述低分辨率图像的分辨率；所述编码网络包括以下任一：卷积神经网络、深度卷积神经网络和深度残差网络。
在本公开的示例性实施例中，所述对所述空间位置特征进行空间编码，得到空间编码向量，包括：
利用以下公式对所述空间位置特征进行空间编码，得到空间编码向量：
其中，
表示所述空间编码向量，w1，w2……wn表示预设的权重系数，p表示所述空间位置特征，n为大于2的整数。
在本公开的示例性实施例中，所述对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像，包括：根据预训练的图像重建模型的解码网络对所述每个像素点的视觉特征和所述空间编码向量进行升维处理，获得所述低分辨率图像对应的超分辨率图像；其中，所述解码网络包括以下任一：深度残差网络、卷积神经网络和多层感知机网络。
在本公开的示例性实施例中，所述图像重建模型通过以下方式训练得到：获取训练集；所述训练集包括多个训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；利用所述训练集对所述待训练机器学习模型进行迭代训练，得到所述图像重建模型。
在本公开的示例性实施例中，所述利用所述训练集对所述待训练机器学习模型进行迭代训练，得到所述图像重建模型，包括：将各所述训练样本中的所述低分辨率图像样本输入至所述待训练机器学习模型中，获得所述低分辨率图像样本对应的超分辨率图像样本；根据所述高分辨率图像样本与所述超分辨率图像样本之间的分辨率差值，确定所述待训练机器学习模型的损失函数；根据所述损失函数，利用反向传播算法更新所述待训练机器学习模型的模型参数；选取不同的所述训练样本迭代训练所述待训练机器学习模型，以使所述损失函数趋于收敛，得到所述图像重建模型。
在本公开的示例性实施例中，所述高分辨率图像样本对应的低分辨率图像样本通过以下方式获得：对所述高分辨率图像样本进行下采样处理，得到所述低分辨率图像样本。
根据本公开的第二方面，提供一种图像重建装置，包括：图像编码模块，用于对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；特征提取模块，用于从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；空间编码模块，用于对所述空间位置特征进行空间编码，得到空间编码向量；解码模块，用于对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
根据本公开的第三方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的图像重建方法。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的图像重建方法。
由上述技术方案可知，本公开示例性实施例中的图像重建方法、图像重建装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
在本公开的一些实施例所提供的技术方案中，一方面，从低分辨率图像的编码向量中提取低分辨率图像中每个像素点的视觉特征及空间位置特征，能够提取更加丰富的像素特征，便于后续基于该像素特征重建出更清晰的图像。进一步的，对空间位置特征进行空间编码，得到空间编码向量，能够将各个像素点之间的位置关联关系添加到图像重建模型中，从而克服相关中对于图像高频变化部分表现不佳的问题，增强模型对于图像中高频变化部分适应性，提升最终输出的超分辨率图像的图像质量，使得重建出的超分辨率图像轮廓更加清晰，减少伪影的产生。另一方面，对每个像素点的视觉特征和空间编码向量进行解码，获得低分辨率图像对应的超分辨率图像，能够在无需借助特殊图像处理设备的前提下重建出低分辨率图像对应的高分辨率图像，降低图像重建成本，并且，为相关图像压缩、模糊图像重建等工作提供有力支撑，具有较广的适用范围。
本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中图像重建方法的流程示意图；
图2示出本公开实施例中利用训练集对待训练机器学习模型进行迭代训练，得到图像重建模型的流程示意图；
图3示出本公开实施例中训练得到图像重建模型的整体流程示意图；
图4示出本公开实施例中图像重建方法的整体流程示意图；
图5示出本公开示例性实施例中图像重建装置的结构示意图；
图6示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
相关技术中，一般是通过学习模糊低分辨率图像到高分辨率图像之间的非线性映射关系，进而，重建出超分辨率图像。然而，上述方案具有如下缺陷：
第一，依赖于特殊的硬件设备，比如：高清晰度的摄像头等；
第二，算法结构不够合理，没有专门针对空间结构信息进行提升，重建结果可能不足以落地应用。
在本公开的实施例中，首先提供了一种图像重建方法，至少在一定程度上克服相关技术中重建图像质量较差的缺陷。
图1示出本公开实施例中图像重建方法的流程示意图，该图像重建方法的执行主体可以是对低分辨率图像进行重建处理的服务器。
参考图1，根据本公开的一个实施例的图像重建方法包括以下步骤：
步骤S110，对获取到的低分辨率图像进行编码，得到低分辨率图像的编码向量；低分辨率图像为分辨率低于预设分辨率阈值的图像；
步骤S120，从编码向量中提取低分辨率图像中每个像素点的视觉特征及空间位置特征；
步骤S130，对空间位置特征进行空间编码，得到空间编码向量；
步骤S140，对每个像素点的视觉特征和空间编码向量进行解码，获得低分辨率图像对应的超分辨率图像；超分辨率图像的分辨率高于低分辨率图像。
在图1所示实施例所提供的技术方案中，一方面，从低分辨率图像的编码向量中提取低分辨率图像中每个像素点的视觉特征及空间位置特征，能够提取更加丰富的像素特征，便于后续基于该像素特征重建出更清晰的图像。进一步的，对空间位置特征进行空间编码，得到空间编码向量，能够将各个像素点之间的位置关联关系添加到图像重建模型中，从而克服相关中对于图像高频变化部分表现不佳的问题，增强模型对于图像中高频变化部分适应性，提升最终输出的超分辨率图像的图像质量，使得重建出的超分辨率图像轮廓更加清晰，减少伪影的产生。另一方面，对每个像素点的视觉特征和空间编码向量进行解码，获得低分辨率图像对应的超分辨率图像，能够在无需借助特殊图像处理设备的前提下重建出低分辨率图像对应的高分辨率图像，降低图像重建成本，并且，为相关图像压缩、模糊图像重建等工作提供有力支撑，具有较广的适用范围。
以下对图1中的各个步骤的具体实现过程进行详细阐述：
需要说明的是，在步骤S110之前，可以预训练一图像重建模型，该图像重建模型的作用是：提高低分辨率图像的分辨率，以达到对低分辨率图像的超分辨率重建。进而，可以利用训练好的图像重建模型来执行以下步骤S110-步骤S140。
以下对如何训练上述图像重建模型的具体实施方式进行说明：
具体的，可以获取训练集，利用该训练集对待训练机器学习模型进行迭代训练，得到上述图像重建模型。
其中，上述训练集中可以包括多个训练样本，每个训练样本包括高分辨率图像样本和上述高分辨率图像样本对应的低分辨率图像样本。高分辨率图像样本可以是分辨率高于预设分辨率阈值的图像，而低分辨率图像样本为与其高分辨率图像样本的内容相同，但分辨率低于上述高分辨率图像样本的图像。
示例性的，可以通过高清摄像头采集上述高分辨率图像样本，进而，对上述高分辨率图像样本进行下采样，得到每个高分辨率图像样本对应的低分辨率图像样本。其中，下采样(subsampled)，或称为降采样(downsampled)，指缩小图像，其主要目是降低图像的分辨率。
参考图2，图2示出本公开实施例中利用训练集对待训练机器学习模型进行迭代训练，得到图像重建模型的流程示意图，包含步骤S201-步骤S204：
在步骤S201中，将选取的训练样本中的低分辨率图像样本输入至待训练机器学习模型中，获得低分辨率图像样本对应的超分辨率图像样本。
本步骤中，针对任意一次训练过程，可以从上述训练集中任选一训练样本，进而，可以将选取的训练样本输入至上述待训练机器学习模型中，进而，上述待训练机器学习模型可以输出上述低分辨率图像样本对应的超分辨率图像样本。
示例性的，上述待训练机器学习模型可以包括编码网络、特征提取网络、空间编码网络和解码网络。其中，上述编码网络可以是由卷积神经网络(例如：VGG-16，VGG-Net是一种卷积神经网络，VGG-Net通常有16－19个卷积层)、深度卷积神经网络(例如：GoogLeNet，是google推出的基于Inception模块的深度神经网络模型)和深度残差网络(例如：ResNet)中任意一个或多个构建而成，上述解码网络可以是由深度残差网络(例如：ResNet)、卷积神经网络(Convolutional Neural Network，CNN)和多层感知机网络(MultilayerPerceptron，MLP)中任意一个或多个构建而成。
从而，在将训练集输入上述待训练机器学习模型之后，上述待训练机器学习模型对训练样本执行以下处理过程，以输出低分辨率图像样本对应的超分辨率图像样本：
首先，编码网络可以对低分辨率图像样本进行编码，得到低分辨率图像样本的编码向量。具体的，编码网络可以对上述低分辨率图像样本进行降维处理(可以是线性降维或非线性降维，可以根据实际情况自行设定，本公开对此不作特殊限定)，以得到低分辨率图像样本的编码向量。编码是信息从一种形式或格式转换为另一种形式的过程。对低分辨率图像进行编码则是对低分辨率图像所包括的特征通过另一种形式进行表达的过程。编码向量可以是对低分辨率图像的特性的低维表达，涵盖了整个图像的信息。
通过生成低分辨率图像样本的编码向量，能够将高维图像的识别处理问题转化为向量的识别处理问题，从而，大大降低了计算的复杂程度，减少了冗余信息所造成的识别误差，提高了识别的精度。
在得到编码向量之后，上述特征提取网络可以对上述编码向量进行特征提取，以提取出上述低分辨率图像样本中各个像素点的视觉特征m及空间位置特征p。其中，视觉特征m可以是用于表征像素点所对应的画面内容，而空间位置特征p可以是用于表征像素点的空间位置。从而，本公开能够提取更加丰富的像素特征，从而便于后续基于该像素特征重建出更清晰的超分辨率图像。
在得到每个像素点的空间位置特征p之后，上述空间编码网络可以对每个像素点的空间位置特征进行空间编码，得到空间编码向量。示例性的，上述空间编码网络可以基于以下公式1对上述空间位置特征p进行空间编码：
其中，
表示上述空间编码向量，w1，w2……wn表示预设的权重系数，p表示上述空间位置特征，n为大于2的整数。
通过对上述空间位置特征进行空间编码，获得空间编码向量，能够将各个像素点之间的位置关联关系添加到图像重建模型中，从而克服相关中对于图像高频变化部分表现不佳的问题，增强模型对于图像中高频变化部分的适应性，提升最终输出的超分辨率图像的图像质量。
在得到上述视觉特征和空间特征向量之后，上述解码网络可以对每个像素点的视觉特征和空间编码向量进行解码，以获得低分辨率图像样本对应的超分辨率图像。具体的，上述解码网络可以对上述每个像素点的视觉特征和空间编码特征进行升维处理(即将视觉特征空间编码特征均映射高维空间)，以获得上述低分辨率图像样本对应的超分辨率图像样本。
在获得低分辨率图像样本对应的超分辨率图像样本之后，可以进入步骤S202中，根据高分辨率图像样本与超分辨率图像样本之间的分辨率差值，确定待训练机器学习模型的损失函数。
本步骤中，可以获取上述高分辨率图像样本与上述超分辨率图像样本之间的分辨率差值，示例性的，以任一高分辨率图像样本的分辨率为ytrue，而其对应的超分辨图像样本的分辨率为ypred为例进行说明，则上述分辨率差值可以表示为ytrue-ypred。
从而，上述待训练机器学习模型的损失函数(即上述待训练机器学习模型的误差值)可以用以下公式2来表示：
其中，上述MSE表示网络的均方误差(Mean Square Error，MSE)，即上述待训练机器学习模型的损失函数，n表示上述训练样本的数量。
在步骤S203中，根据损失函数，利用反向传播算法更新待训练机器学习模型的模型参数。
本步骤中，在获得上述损失函数之后，可以利用反向传播算法更新上述待训练机器学习模型的模型参数。其中，反向传播算法的主要目的是将误差反向传播，以实现将误差分摊给模型中各层的所有单元，从而获得各层单元的误差信号，进而修正各单元的权值，即修正待训练机器学习模型的模型参数。
在步骤S204中，选取不同的训练样本迭代训练待训练机器学习模型，以使损失函数趋于收敛，得到图像重建模型。
本步骤中，可以选取不同的训练样本迭代训练上述待训练机器学习模型，以使上述损失函数趋于收敛(即上述损失函数的值达到最小)，当上述损失函数趋于收敛时，则可以停止通过反向传播算法更新模型参数的过程，得到训练好的图像重建模型。
参考图3，图3示出本公开实施例中训练得到图像重建模型的整体流程示意图，包含步骤S301-步骤S308：
在步骤S301中，获取包含多个训练样本的训练集；每个训练样本包含低分辨率图像样本及其对应的高分辨率图像样本；
在步骤S302中，构建包含编码网络、特征提取网络、空间编码网络和解码网络的待训练机器学习模型；
在步骤S303中，通过编码网络对低分辨率图像样本进行编码，获得编码向量；
在步骤S304中，通过特征提取网络从编码向量中提取视觉特征m和空间位置特征p；
在步骤S305中，通过空间编码网络对空间位置特征进行空间编码，得到空间编码向量；
在步骤S306中，通过解码网络对视觉特征m和空间编码向量进行解码，获得超分辨率图像样本；
在步骤S307中，计算高分辨率图像样本与超分辨率图像样本之间的分辨率差值，根据差值确定损失函数；
在步骤S308中，迭代训练待训练机器学习模型，直至上述损失函数趋于收敛，得到图像重建模型。
在训练好上述图像重建模型之后，若获取到需要进行重建的低分辨率图像(即分辨率低于预设分辨率阈值的图像)，则可以将上述低分辨率图像输入至上述图像重建模型中，以通过上述图像重建模型执行以下步骤S110-步骤S140。
接着参考图1，在步骤S110中，对获取到的低分辨率图像进行编码，得到低分辨率图像的编码向量。
本步骤中，图像重建模型的编码网络可以对上述低分辨率图像进行编码，以得到低分辨率图像的编码向量。
在获得上述编码向量之后，可以进入步骤S120中，从编码向量中提取低分辨率图像中各像素点的视觉特征及空间位置特征。
本步骤中，可以利用上述图像重建模型的特征提取网络从上述编码向量中提取低分辨率图像中各像素点的视觉特征m及空间位置特征p。
在获得上述空间位置特征p之后，可以进入步骤S130中，对空间位置特征进行空间编码，得到空间编码向量。
本步骤中，参照上述步骤的相关解释，图像重建模型可以通过上述公式1对空间位置特征p进行编码，获得空间编码向量。
在步骤S140中，对各像素点的视觉特征和空间编码向量进行解码，获得低分辨率图像对应的超分辨率图像。
本步骤中，上述图像重建模型的解码网络可以对各个像素点的视觉特征m和空间编码向量
进行降维处理，以解码得到上述低分辨率图像对应的超分辨率图像，该超分辨图像的分辨率高于上述低分辨率图像。
参考图4，图4示出本公开实施例中图像重建方法的整体流程示意图，包含步骤S401-步骤S406：
在步骤S401中，将低分辨率图像输入至训练好的图像重建模型中；
在步骤S402中，利用图像重建模型的编码网络获得编码向量；
在步骤S403中，利用图像重建模型的特征提取网络从编码向量中提取视觉特征m；
在步骤S404中，利用图像重建模型的特征提取网络从编码向量中提取空间位置特征p；
在步骤S405中，利用图像重建模型的空间编码网络对空间位置特征p进行空间位置编码，得到空间位置向量；
在步骤S406中，通过图像重建模型的解码网络对上述视觉特征m和空间位置向量进行解码，得到超分辨率图像。
基于以上技术方案，一方面，本公开能够在无需任何特殊硬件设备的前提下对任意图像进行超分辨率重建，减少了硬件花费，降低了图像重建成本。另一方面，本公开能够实现空间结构信息精确的超分辨率重建，进而为进一步的图像压缩、模糊图像重建等工作提供有力支撑，适用范围广，例如，可以用于对压缩图像进行复原，从而节省带宽的传输需求，或者，对监控捕捉到的模糊图像进行超分辨率重建，对老旧图像资料进行高清重建等，具有较强的实用性。
本公开还提供了一种图像重建装置，图5示出本公开示例性实施例中图像重建装置的结构示意图；如图5所示，图像重建装置500可以包括图像编码模块510、特征提取模块520、空间编码模块530和解码模块540。其中：
图像编码模块510，用于对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；
特征提取模块520，用于从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；
空间编码模块530，用于对所述空间位置特征进行空间编码，得到空间编码向量；
解码模块540，用于对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
在本公开的示例性实施例中，图像编码模块510，被配置为：
根据预训练的图像重建模型的编码网络对所述低分辨率图像进行降维处理，得到所述低分辨率图像的编码向量；其中，所述图像重建模型用于提高所述低分辨率图像的分辨率；所述编码网络包括以下任一：卷积神经网络、深度卷积神经网络和深度残差网络。
在本公开的示例性实施例中，空间编码模块530，被配置为：
利用以下公式对所述空间位置特征进行空间编码，得到空间编码向量：
其中，
表示所述空间编码向量，w1，w2……wn表示预设的权重系数，p表示所述空间位置特征，n为大于2的整数。
在本公开的示例性实施例中，解码模块540，被配置为：
根据预训练的图像重建模型的解码网络对所述每个像素点的视觉特征和所述空间编码向量进行升维处理，获得所述低分辨率图像对应的超分辨率图像；其中，所述解码网络包括以下任一：深度残差网络、卷积神经网络和多层感知机网络。
在本公开的示例性实施例中，解码模块540，被配置为：
获取训练集；所述训练集包括多个训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；利用所述训练集对所述待训练机器学习模型进行迭代训练，得到所述图像重建模型。
在本公开的示例性实施例中，解码模块540，被配置为：
将各所述训练样本中的所述低分辨率图像样本输入至所述待训练机器学习模型中，获得所述低分辨率图像样本对应的超分辨率图像样本；根据所述高分辨率图像样本与所述超分辨率图像样本之间的分辨率差值，确定所述待训练机器学习模型的损失函数；根据所述损失函数，利用反向传播算法更新所述待训练机器学习模型的模型参数；选取不同的所述训练样本迭代训练所述待训练机器学习模型，以使所述损失函数趋于收敛，得到所述图像重建模型。
在本公开的示例性实施例中，解码模块540，被配置为：
对所述高分辨率图像样本进行下采样处理，得到所述低分辨率图像样本。
上述图像重建装置中各模块的具体细节已经在对应的图像重建方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的方法。
此外，在本公开实施例中还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630以及显示单元640。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的：步骤S110，对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；步骤S120，从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；步骤S130，对所述空间位置特征进行空间编码，得到空间编码向量；步骤S140，对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种图像重建方法，其特征在于，包括：
对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；
从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；
对所述空间位置特征进行空间编码，得到空间编码向量；
对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量，包括：
根据预训练的图像重建模型的编码网络对所述低分辨率图像进行降维处理，得到所述低分辨率图像的编码向量；
其中，所述图像重建模型用于提高所述低分辨率图像的分辨率；
所述编码网络包括以下任一：卷积神经网络、深度卷积神经网络和深度残差网络。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述空间位置特征进行空间编码，得到空间编码向量，包括：
利用以下公式对所述空间位置特征进行空间编码，得到空间编码向量：
其中，
表示所述空间编码向量，w1，w2……wn表示预设的权重系数，p表示所述空间位置特征，n为大于2的整数。
4.根据权利要求1所述的方法，其特征在于，所述对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像，包括：
根据预训练的图像重建模型的解码网络对所述每个像素点的视觉特征和所述空间编码向量进行升维处理，获得所述低分辨率图像对应的超分辨率图像；
其中，所述解码网络包括以下任一：深度残差网络、卷积神经网络和多层感知机网络。
5.根据权利要求2或4所述的方法，其特征在于，所述图像重建模型通过以下方式训练得到：
获取训练集；所述训练集包括多个训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；
利用所述训练集对所述待训练机器学习模型进行迭代训练，得到所述图像重建模型。
6.根据权利要求5所述的方法，其特征在于，所述利用所述训练集对所述待训练机器学习模型进行迭代训练，得到所述图像重建模型，包括：
将各所述训练样本中的所述低分辨率图像样本输入至所述待训练机器学习模型中，获得所述低分辨率图像样本对应的超分辨率图像样本；
根据所述高分辨率图像样本与所述超分辨率图像样本之间的分辨率差值，确定所述待训练机器学习模型的损失函数；
根据所述损失函数，利用反向传播算法更新所述待训练机器学习模型的模型参数；
选取不同的所述训练样本迭代训练所述待训练机器学习模型，以使所述损失函数趋于收敛，得到所述图像重建模型。
7.根据权利要求5所述的方法，其特征在于，所述高分辨率图像样本对应的低分辨率图像样本通过以下方式获得：
对所述高分辨率图像样本进行下采样处理，得到所述低分辨率图像样本。
8.一种图像重建装置，其特征在于，包括：
图像编码模块，用于对获取到的低分辨率图像进行编码，得到所述低分辨率图像的编码向量；所述低分辨率图像为分辨率低于预设分辨率阈值的图像；
特征提取模块，用于从所述编码向量中提取所述低分辨率图像中每个像素点的视觉特征及空间位置特征；
空间编码模块，用于对所述空间位置特征进行空间编码，得到空间编码向量；
解码模块，用于对所述每个像素点的视觉特征和所述空间编码向量进行解码，获得所述低分辨率图像对应的超分辨率图像；所述超分辨率图像的分辨率高于所述低分辨率图像。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的图像重建方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210787481.XA CN115205117B (zh) | 2022-07-04 | 2022-07-04 | 图像重建方法及装置、计算机存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210787481.XA CN115205117B (zh) | 2022-07-04 | 2022-07-04 | 图像重建方法及装置、计算机存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115205117A true CN115205117A (zh) | 2022-10-18 |
| CN115205117B CN115205117B (zh) | 2024-03-08 |
Family
ID=83578304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210787481.XA Active CN115205117B (zh) | 2022-07-04 | 2022-07-04 | 图像重建方法及装置、计算机存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205117B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228544A (zh) * | 2023-03-15 | 2023-06-06 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN111915481A (zh) * | 2020-06-08 | 2020-11-10 | 北京大米未来科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
| CN113191953A (zh) * | 2021-06-04 | 2021-07-30 | 山东财经大学 | 一种基于Transformer的人脸图像超分辨的方法 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| CN113658040A (zh) * | 2021-07-14 | 2021-11-16 | 西安理工大学 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113837940A (zh) * | 2021-09-03 | 2021-12-24 | 山东师范大学 | 基于密集残差网络的图像超分辨率重建方法及系统 |
-
2022
- 2022-07-04 CN CN202210787481.XA patent/CN115205117B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN111915481A (zh) * | 2020-06-08 | 2020-11-10 | 北京大米未来科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
| CN113191953A (zh) * | 2021-06-04 | 2021-07-30 | 山东财经大学 | 一种基于Transformer的人脸图像超分辨的方法 |
| CN113628107A (zh) * | 2021-07-02 | 2021-11-09 | 上海交通大学 | 人脸图像超分辨率方法和系统 |
| CN113658040A (zh) * | 2021-07-14 | 2021-11-16 | 西安理工大学 | 一种基于先验信息和注意力融合机制的人脸超分辨方法 |
| CN113837940A (zh) * | 2021-09-03 | 2021-12-24 | 山东师范大学 | 基于密集残差网络的图像超分辨率重建方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228544A (zh) * | 2023-03-15 | 2023-06-06 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
| CN116228544B (zh) * | 2023-03-15 | 2024-04-26 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115205117B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111263161B (zh) | 视频压缩处理方法、装置、存储介质和电子设备 | |
| CN110798690B (zh) | 视频解码方法、环路滤波模型的训练方法、装置和设备 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| WO2018150083A1 (en) | A method and technical equipment for video processing | |
| Zhang et al. | Attention-guided image compression by deep reconstruction of compressive sensed saliency skeleton | |
| CN112135136B (zh) | 超声远程医疗发送方法、装置和接收方法、装置及系统 | |
| WO2023050720A1 (zh) | 图像处理方法、图像处理装置、模型训练方法 | |
| CN113747242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113132727B (zh) | 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法 | |
| CN113724136B (zh) | 一种视频修复方法、设备及介质 | |
| CN115205117B (zh) | 图像重建方法及装置、计算机存储介质、电子设备 | |
| CN113132732B (zh) | 一种人机协同的视频编码方法及视频编码系统 | |
| CN113177483A (zh) | 视频目标分割方法、装置、设备以及存储介质 | |
| CN114900717B (zh) | 视频数据传输方法、装置、介质和计算设备 | |
| CN116309014A (zh) | 图像风格迁移方法、模型、装置、电子设备、存储介质 | |
| WO2023283184A1 (en) | Video compression using optical flow | |
| CN112954360B (zh) | 解码方法、解码装置、存储介质及电子设备 | |
| WO2024093627A1 (zh) | 一种视频压缩方法、视频解码方法和相关装置 | |
| CN113762393B (zh) | 模型训练方法、注视点检测方法、介质、装置和计算设备 | |
| CN111800633B (zh) | 图像处理方法及装置 | |
| CN114022361A (zh) | 图像处理方法、介质、装置和计算设备 | |
| CN117649353A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN118097495A (zh) | 上下文增强方法、装置、设备及介质 | |
| CN116437075A (zh) | 一种自编码的视频压缩方法、系统、设备以及介质 | |
| CN117956178A (zh) | 视频编码方法和装置、视频解码方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |