CN112330539A - 超分辨率图像重建方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明实施例公开了一种超分辨率图像重建方法、装置、存储介质和电子设备，通过将低分辨率图像输入第一卷积层确定浅层特征图像序列，在将浅层特征图像输入多个顺序连接的特征提取模块，以确定多个对应的中间特征图像序列。根据各中间特征图像序列确定输入第一注意力模块的中间特征矩阵得到第一深层特征图像序列，以及输入第二注意力模块的第一中间图像序列得到第二深层特征图像序列。最后根据浅层特征图像序列和各深层特征图像序列确定高分辨率图像。本发明实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，由于图像重建过程对中间层特征的重要性进行区分并加以利用，提高了输出的高分辨率图像的精度。

Description

超分辨率图像重建方法、装置、存储介质和电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种超分辨率图像重建方法、装置、存储介质和电子设备。

背景技术

目前图像技术被广泛应用于各个领域，但当图像采集环境恶劣等情况下采集的图像分辨率过低时，无法直接使用。需要将低分辨率图像转换为高分辨率图像后使用。

发明内容

有鉴于此，本发明实施例提供了一种超分辨率图像重建方法、装置、存储介质和电子设备，旨在通过超分辨率图像重建方法将低分辨率图像转换为高分辨率图像。

第一方面，本发明实施例提供了一种超分辨率图像重建方法，所述方法包括：

将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；

将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；

根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；

将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；

将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；

根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

第二方面，本发明实施例提供了一种超分辨率图像重建装置，所述装置包括：

第一特征提取单元，用于将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；

第二特征提取单元，用于将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；

中间图像确定单元，用于根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；

第一深层特征确定单元，用于将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；

第二深层特征确定单元，用于将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；

高分辨率图像确定单元，用于根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

第三方面，本发明实施例提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

第四方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

本发明实施例通过将低分辨率图像输入第一卷积层确定浅层特征图像序列，在将浅层特征图像输入多个顺序连接的特征提取模块，以确定多个对应的中间特征图像序列。根据各中间特征图像序列确定输入第一注意力模块的中间特征矩阵得到第一深层特征图像序列，以及输入第二注意力模块的第一中间图像序列得到第二深层特征图像序列。最后根据浅层特征图像序列和各深层特征图像序列确定高分辨率图像。本发明实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，由于图像重建过程对中间层特征的重要性进行区分并加以利用，提高了输出的高分辨率图像的精度。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为本发明实施例的超分辨率图像重建方法的流程图；

图2为本发明实施例的超分辨率图像重建方法过程的示意图；

图3为本发明实施例的中间特征图像序列确定过程的示意图；

图4为本发明实施例的第一深层特征图像序列确定过程的示意图；

图5为本发明实施例的第二深层特征图像序列确定过程的示意图；

图6为本发明实施例的超分辨率图像重建装置的示意图；

图7为本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明实施例的超分辨率图像重建方法可以通过安装预先训练得到的图像重建框架的终端设备或服务器实现，即通过终端设备或服务器将待处理的低分辨率图像输入图像重建模型框架，得到对应的高分辨率图像。其中，所述图像重建框架为用于执行所述超分辨率图像重建方法的框架，包括多个卷积层和特征提取模块，以及第一注意力模块和第二注意力模块。所述终端设备可以是能够运行计算机程序的、具有通信功能通用数据处理终端，例如，智能手机、平板电脑或笔记本电脑等。所述服务器可以是单个服务器、也可以是以分布式方式配置的服务器集群。所述低分辨率图像可以通过终端设备上设置的或与服务器连接的图像采集装置获取，也可以通过其他设备向部署有所述图像重建框架的终端设备或服务器传输，以通过所述终端设备或服务器进行图像重建。

图1为本发明实施例的超分辨率图像重建方法的流程图。如图1所示，所述超分辨率图像重建方法包括以下步骤：

步骤S100、将低分辨率图像输入第一卷积层，以确定浅层特征图像序列。

具体地，所述低分辨率图像可以通过终端设备上安装或连接的图像采集装置直接采集获取，或通过进行超分辨率图像重建的服务器或中断设备连接的图像采集装置直接采集获取。例如，当所述终端设备为笔记本电脑时，可以通过所述笔记本电脑内置的摄像头或连接的摄像装置采集低分辨率图像。可选地，所述低分辨率图像还可以通过其他设备向进行超分辨率图像重建处理的终端设备或服务器传输。例如，可以通过带有通信功能的图像存储装置将存储的低分辨率图像传输至终端设备或服务器进行超分辨率图像重建。以下以所述低分辨率图像通过部署有图像重建框架的服务器进行超分辨率图像重建为例进行说明。

所述服务器在确定了低分辨率图像后，将所述低分辨率图像输入所述图像重建框架的第一卷积层(CNN)，以进行初步的特征提取得到浅层特征图像序列。所述第一卷积层为预先训练得到的卷积神经网络，通过对应的多个卷积核在所述低分辨率图像上滑动卷积，以确定各卷积核对应的浅层特征图像。最终根据各所述浅层特征图像确定浅层特征图像序列。

步骤S200、将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列。

具体地，所述图像重建框架中包括多个顺序连接的特征提取模块，用于对各所述浅层特征图像进行进一步的特征提取。在本发明实施例中，所述进一步的特征提取过程具体为将所述浅层特征图像序列作为初始输入，以迭代方式通过各所述特征提取模块进行多次特征提取，确定各所述特征提取模块对应的中间特征图像序列。例如，当所述图像重建框架中包括N个特征提取模块时，可以提取到N个中间特征图像序列。其中，每一次迭代过程确定的中间特征图像序列还作为下一次迭代过程的特征提取模块的输入。可选地，所述特征提取模块中包括多个顺序连接的残差通道注意力层和一个第二卷积层(CNN)。因此，确定各所述特征提取模块对应的中间特征图像序列的过程可以包括以下步骤：

步骤S210、将当前特征提取模块的输入按顺序依次输入各所述残差通道注意力层和第二卷积层。

具体地，当所述当前特征提取模块为进行第一次迭代过程的特征提取模块时，输入为所述浅层特征图像序列。当所述当前特征提取模块不是进行第一次迭代过程的特征提取模块时，输入为进行上一次迭代过程的特征提取模块输出的中间特征图像序列。当所述浅层特征图像序列或中间特征图像序列输入所述当前特征提取模块后，依次输入顺序连接的多个残差通道注意力层，再输入所述第二卷积层进行特征提取。

在本发明实施例中，各所述残差注意力层的特征提取处理为将所述当前特征提取模块的输入作为初始输入，以迭代方式依次通过各所述残差注意力层进行特征提取，每一次特征提取的结果还作为下一个残差注意力层的输入。其中，各所述残差通道注意力层还包括第一子卷积层和第二子卷积层。在所述浅层特征图像序列/中间特征图像序列或上一个残差通道注意力层的输出图像序列输入所述残差通道注意力层后，先通过第一子卷积层进行卷积，并对卷积结果进行线性修正得到第一卷积图像序列。再将所述第一卷积图像序列通过第二子卷积层进行卷积，并对卷积结果进行线性修正后输入池化层得到第二卷积图像序列。将所述第二卷积图像序列通过逻辑回归函数(softmax)进行逻辑回归处理后与所述第一卷积图像序列相乘，将得到的结果与所述残差通道注意力层的输入相加得到当前残差通道注意力层的输出。

步骤S220、根据所述当前特征提取模块的输入和所述第二卷积层的输出确定对应的中间特征图像序列。

具体地，在当前特征提取模块的输入依次经过各所述残差通道注意力层和第二卷积层进行特征提取后，将得到的输出再与所述当前特征提取模块的输入相加得到对应的中间特征图像序列。其中，所述中间特征图像序列的维度为预先设定的H×W×C，H为图像高度，W为图像宽度，C为通道数量。所述通道数量可以包括色彩通道数量和阿尔法(Alpha)通道数量，所述色彩通道可以包括红色、绿色和蓝色三个颜色通道，所述阿尔法通道用于表征图像的透明和半透明程度。当本发明实施例通过N个顺序连接的特征提取模块进行特征提取时，得到N个维度为H×W×C的中间特征图像序列，即最终获取到维度为N×H×W×C的中间特征图像序列组。

步骤S300、根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列。

具体地，在通过多个特征提取模块进行特征提取，以确定多个对应的中间特征图像序列后，根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列。其中，所述中间特征矩阵包含各所述中间特征图像序列的信息，用于输入第一注意力模块以自适应的强调各所述特征提取模块输出的中间特征图像序列的重要性。所述第一中间图像序列仅包括最后一个特征提取模块对应的中间特征图像序列的信息，用于输入第二注意力模块以对所述第一中间图像序列中不同通道、不同位置的关系进行建模。所述第一注意力模块和第二注意力模块通过不同的训练集预先训练，以对应于不同的注意力机制。所述注意力机制用于关注图像中的部分信息，并忽略掉不相关的信息。所述第一注意力模块对应的注意力机制用于关注低分辨率图像特征提取到的不同中间特征图像序列的重要性，所述第二注意力模块对应的注意力机制用于关注低分辨率图像对应的不同通道、位置等空间关系。

由此，在本发明实施例中，所述确定中间特征矩阵和第一中间图像序列的过程还包括以下步骤：

步骤S310、根据各所述中间特征图像序列确定中间特征矩阵。

具体地，所述中间特征矩阵可以通过拼接各所述中间特征图像序列确定。先对各所述中间特征图像序列进行拼接以确定至少一个中间矩阵，再通过reshape函数对各所述中间矩阵进行处理，以重新调整各所述中间矩阵的行数、列数、维度，得到预定维度的中间特征矩阵。例如，当通过步骤S200确定了N个维度为H×W×C的中间特征图像序列时，平铺各所述中间特征图像序列，以得到对应的尺寸为H×WC的中间矩阵，再通过reshape函数对各所述中间矩阵进行处理得到尺寸为N×HWC的二维矩阵作为中间特征矩阵。

步骤S320、根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列。

具体地，所述第一中间图像序列的确定过程可以为获取顺序连接的多个特征提取模块中最后一个特征提取模块输出的中间特征图像序列，将所述中间特征图像序列输入第三卷积层，以得到第一中间图像序列。所述第三卷积层为预先训练得到的卷积神经网络，以进一步进行特征提取确定第一中间图像序列。所述第一中间图像序列的维度与输入所述第三卷积层的中间特征图像序列维度相同。例如，当输入所述第三卷积层的中间特征图像序列维度为H×W×C时，所述第一中间图像序列的维度也为H×W×C。

步骤S400、将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列。

具体地，将根据各所述中间特征图像序列确定的中间特征矩阵输入第一注意力模块，以自适应对各所述特征提取模块输出的中间特征图像序列的重要性加以区分，确定对应的第一深层特征图像序列。所述第一注意力模块的注意力机制用于决定需要关注输入信息的哪一部分，以及分配有限的信息处理资源给需要关注的重要部分。在本发明实施例中，所述第一注意力模块为层注意力模块，用于确定不同特征提取模块输出的中间特征图像序列的重要程度，以根据各所述中间特征图像序列的重要程度确定所述低分辨率图像对应的深层特征，以得到第一深层特征图像序列。通过所述第一注意力模块确定第一深层特征图像序列的过程包括以下步骤：

步骤S410、对所述中间特征矩阵和转置后的中间特征矩阵相乘的值进行逻辑回归处理，以确定相关矩阵。

具体地，在将所述中间特征矩阵输入第一注意力模块后，先对所述中间特征矩阵做转置处理。例如，当所述中间特征矩阵为尺寸为N×HWC的二维矩阵时，转置后得到尺寸为HWC×N的二维矩阵。依次计算所述中间特征矩阵和转置后的中间特征矩阵中每一行的乘积，并通过逻辑回归函数(softmax)对所述乘积进行逻辑回归处理，以最终确定用于表征不同中间特征图像序列相关性的相关矩阵。可选地，在计算所述中间特征矩阵和转置后的中间特征矩阵的乘积之前，可以通过重组(reshape)函数将所述中间特征矩阵和转置后的中间特征矩阵转换为预定维度的矩阵。所述相关矩阵中的每一个维度分别用于表征两个中间特征图像序列的相关性。

例如，当所述中间特征矩阵为FG时，所述相关矩阵为：

其中，

为reshape函数，δ为softmax函数，N为中间特征图像序列的数量。ω_j,i表示第i和第j个中间特征图像序列之间的相关系数。

步骤S420、根据所述相关矩阵和中间特征矩阵的乘积确定多个第二中间图像序列。

具体地，在确定相关矩阵后，再计算所述相关矩阵和中间特征矩阵中每一行的乘积，再将各所述乘积结果求和后与预先训练得到的比例系数相加后通过reshape处理，以确定多个第二中间图像序列。例如，当所述中间特征矩阵为FG，相关矩阵为ω_j,i、α为预先确定的比例系数，N为中间特征图像序列的数量时，计算

再将计算结果通过reshape函数进行维度转换后，得到多个对应的第二中间图像序列。

步骤S430、计算各所述第二中间图像序列与各所述中间特征图像序列的和，以确定第一深层特征图像序列。

具体地，在确定多个所述第二中间图像序列后，计算各所述第二中间图像序列与各所述中间特征图像序列的和，再将计算结果通过reshape函数进行维度转换，得到第一深层特征图像序列。以本发明实施例中确定了N个中间特征图像序列，以及N个第二中间图像序列，且所述第二中间图像序列和中间特征图像序列的维度均为H×W×C为例进行说明。计算各所述所述第二中间图像序列与各所述中间特征图像序列的和后得到N个维度为H×W×C的图像序列，将所述图像序列经过reshape函数进行维度转换后得到维度为H×W×NC的第一深层特征图像序列。所述第一深层特征图像序列用于表征各中间特征图像序列的重要性的图像深层特征。

步骤S500、将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列。

具体地，在本发明实施例中，所述第二注意力模块还包括第四卷积层。所述第四卷积层为预先训练得到的卷积神经网络，以进一步对所述第一中间图像序列进行特征提取。将根据各所述中间特征图像序列确定的第一中间图像序列输入第二注意力模块，以对所述第一中间图像序列中不同通道、不同位置的关系进行建模。在本发明实施例中，所述第二注意力模块为通道空间注意力模块，通过所述第二注意力模块确定第二深层特征图像序列的过程包括以下步骤：

步骤S510、将所述第一中间图像序列输入第四卷积层，以确定空间注意力图像。

具体地，所述第四卷积层为具有3维卷积核的3维卷积层，用于通过捕获联合通道和空间特征来确定空间注意力图像。在将所述第一中间图像序列输入第四卷积层后，通过所述第四卷积层内的3维卷积核与从所述第一中间图像序列的多个相邻通道构造的立方体来进行卷积，以得到对应的空间注意力图像。

步骤S520、对所述空间注意力图像进行逻辑回归处理后与所述第一中间图像序列加权相乘以确定加权特征图像序列。

具体地，在确定所述空间注意力图像后，通过softmax函数对所述空间注意力图像进行逻辑回归处理，再将所述逻辑回归处理的结果与所述第一中间图像序列相乘后再乘以预先训练得到的比例因子，确定加权特征图像序列。例如，当所述空间注意力图像为W_csa，所述第一中间图像序列为F_N，比例因子为β，δ为softmax函数时，计算得到的加权特征图像序列为βσ(W_csa)·F_N。

步骤S530、计算所述第一中间图像序列和所述加权特征图像序列的和，以确定第二深层特征图像序列。

具体地，在确定加权也在图像序列后，通过计算第一中间图像序列和所述加权特征图像序列的和即可确定第二深层特征图像序列。所述第二深层特征图像序列用于表征图像通道和空间层面的图像深层特征。

仍以所述空间注意力图像为W_csa，所述第一中间图像序列为F_N，比例因子为β，δ为softmax函数为例进行说明，所述第二深层特征图像序列F_CS为：

F_CS＝βσ(W_csa)·F_N+F_N

步骤S600、根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

具体地，在通过步骤S400确定用于表征各中间特征图像序列的重要性的图像深层特征的第一深层特征图像序列，以及用于表征图像通道和空间层面的图像深层特征的第二深层特征图像序列后，根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。在本发明实施例中，所述确定高分辨率图像的过程包括以下步骤：

步骤S610、拼接所述第一深层特征图像序列和第二深层特征图像序列，以确定目标深层特征图像序列。

具体地，先拼接所述第一深层特征图像序列和第二深层特征图像序列，再通过reshape函数将所述拼接结果转换为预设维度的目标深层特征图像序列。所述拼接过程可以为通过拼接(concat)函数处理所述第一深层特征图像序列和所述第二深层特征图像序列，以将上述两个特征图像序列拼接在一起，以进行特征融合。例如，当所述第一深层特征图像序列的维度为H×W×C，所述第二深层特征图像序列的维度也为H×W×C时，拼接后得到一个维度为H×W×2C的图像序列，通过reshape函数转换后得到维度为H×W×C的目标深层特征图像序列。所述目标深层特征图像序列用于表征各中间特征图像序列的重要性特征以及图像通道和空间层面特征的图像深层特征。

步骤S620、将所述浅层特征图像序列与所述目标深层特征图像序列相加，以确定目标特征图像序列。

具体地，在确定用于表征图像深层特征的目标深层特征图像序列后，将所述浅层特征图像序列与所述目标深层特征图像序列相加，以进行特征融合，得到包括所述低分辨率图像的深层特征和浅层特征的目标特征图像序列。其中，所述浅层特征图像序列和所述目标深层特征图像序列的长度相同，所述序列相加的过程为对所述浅层特征图像序列和所述目标深层特征图像序列中的相同位置的浅层特征图像和深层特征图像相加，得到目标特征图像，以根据各所述目标特征图像确定目标特征图像序列。

步骤S630、将所述目标特征图像序列依次输入上采样层和第五卷积层，以确定高分辨率图像。

具体地，将所述目标特征图像序列依次输入上采样层和第五卷积层，以完成所述超分辨率图像重建过程，将所述目标特征图像序列还原为大小与输入的低分辨率图像大小相同的高分辨率图像。

图2为本发明实施例的超分辨率图像重建方法过程的示意图。如图2所示，所述超分辨图像重建的过程为将低分辨率图像20输入第一卷积层21，得到浅层特征图像序列。再将所述浅层特征图像序列依次经过N个特征提取模块22进行特征提取，确定N个对应的中间特征图像序列。通过N个所述中间特征图像序列确定中间特征矩阵和第一中间图像序列，以将所述中间特征矩阵输入第一注意力模块23，将所述第一中间图像序列输入第二注意力模块24进行深层特征提取。将所述第一注意力模块23提取到的第一深层特征图像序列和所述第二注意力模块24提取到的第二深层特征图像序列合并后与所述浅层特征图像序列进行特征融合，以确定包括图像深层特征和浅层特征的目标特征图像序列。将所述目标特征图像序列依次输入上采样层25和第五卷积层26，以确定高分辨率图像27并输出。

图3为本发明实施例的中间特征图像序列确定过程的示意图，用于表征图2中各所述特征提取模块进行特征提取的过程。如图3所示，所述中间特征图像序列确定过程为将输入特征图像序列30依次输入M个顺序连接的残差通道注意力层31，再输入第二卷积层32。根据所述第二卷积层32的输出结果与所述输入图像特征序列30确定中间特征图像序列33。其中，所述输入特征图像序列30为浅层特征图像序列或行上一次迭代过程的特征提取模块输出的中间特征图像序列。

图4为本发明实施例的第一深层特征图像序列确定过程的示意图，用于表征图2中第一注意力模块确定第一深层特征图像序列的过程。如图4所示，所述确定第一深层特征图像序列的过程为在提取到多个中间特征图像序列40后，根据各所述中间特征图像序列40确定中间特征矩阵41。将所述中间特征矩阵41转置后再与所述中间特征矩阵41相乘，再经过softmax函数42进行逻辑回归处理，以确定相关矩阵。计算所述相关矩阵和所述中间特征矩阵41的乘积，再通过reshape函数43进行维度转换得到多个第二中间图像序列。将所述多个第二中间图像序列和多个中间特征图像序列相加，再次通过reshape函数44进行维度转换，得到第一深层特征图像序列45。

图5为本发明实施例的第二深层特征图像序列确定过程的示意图。用于表征图2中第二注意力模块确定第二深层特征图像序列的过程。如图5所示，所述确定第二深层特征图像序列的过程为在提取到N个中间特征图像序列后，根据第N个特征提取模块50对应的中间特征图像序列输入第三卷积层51，以确定第一中间图像序列。再将所述第一中间图像序列输入第四卷积层52以确定空间注意力图像。通过softmax函数53对所述空间注意力图像进行逻辑回归处理后与所述第一中间图像序列加权相乘以确定加权特征图像序列，最后通过计算所述第一中间图像序列和所述加权特征图像序列的和确定第二深层特征图像序列54。

本发明实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，在所述图像重建过程对中间层特征的重要性进行区分并加以利用，基于浅层特征和包括重要性特征、通道特征和空间特征的深层图像特征进行超分辨率图像重建，提高了输出的高分辨率图像的精度。

图6为本发明实施例的超分辨率图像重建装置的示意图。如图6所示，所述超分辨率图像重建装置包括第一特征提取单元60、第一特征提取单元60、中间图像确定单元62、第一深层特征确定单元63、第二深层特征确定单元64和高分辨率图像确定单元65。

具体地，所述第一特征提取单元60用于将低分辨率图像输入第一卷积层，以确定浅层特征图像序列。所述第二特征提取单元61用于将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列。所述中间图像确定单元62用于根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列。所述第一深层特征确定单元63用于将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列。所述第二深层特征确定单元64用于将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列。所述高分辨率图像确定单元65用于根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

进一步地，所述第二特征提取单元具体为：

特征提取子单元，用于将所述浅层特征图像序列作为初始输入，以迭代方式通过各所述特征提取模块进行多次特征提取，确定各所述特征提取模块对应的中间特征图像序列；

其中，每一个特征提取模块输出的中间特征图像序列作为下一个特征提取模块的输入。

进一步地，所述特征提取模块中包括多个顺序连接的残差通道注意力层和一个第二卷积层；

所述特征提取子单元包括：

第一提取模块，用于将当前特征提取模块的输入按顺序依次输入各所述残差通道注意力层和第二卷积层，所述当前特征提取模块的输入为所述浅层特征图像序列或前一个特征提取模块输出的中间特征图像序列；

第二提取模块，用于根据所述当前特征提取模块的输入和所述第二卷积层的输出确定对应的中间特征图像序列。

进一步地，所述中间图像确定单元包括：

第一图像确定子单元，用于根据各所述中间特征图像序列确定中间特征矩阵；

第二图像确定子单元，用于根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列。

进一步地，所述第一图像确定子单元具体为：

矩阵确定模块，用于拼接各所述中间特征图像序列，以确定所述中间特征矩阵。

进一步地，所述第二图像确定子单元具体为：

图像序列确定模块，用于将最后一个特征提取模块对应的中间特征图像序列输入第三卷积层，以确定第一中间图像序列。

进一步地，所述第一深层特征确定单元包括：

矩阵确定子单元，用于对所述中间特征矩阵和转置后的中间特征矩阵相乘的值进行逻辑回归处理，以确定相关矩阵；

序列确定子单元，用于根据所述相关矩阵和中间特征矩阵的乘积确定多个第二中间图像序列；

第一深层特征确定子单元，用于计算各所述第二中间图像序列与各所述中间特征图像序列的和，以确定第一深层特征图像序列。

进一步地，所述第二注意力模块中包括第四卷积层；

所述第二深层特征确定单元包括：

卷积子单元，用于将所述第一中间图像序列输入第四卷积层，以确定空间注意力图像；

加权子单元，用于对所述空间注意力图像进行逻辑回归处理后与所述第一中间图像序列加权相乘以确定加权特征图像序列；

第二深层特征确定子单元，用于计算所述第一中间图像序列和所述加权特征图像序列的和，以确定第二深层特征图像序列。

进一步地，所述高分辨率图像确定单元包括：

图像拼接子单元，用于拼接所述第一深层特征图像序列和第二深层特征图像序列，以确定目标深层特征图像序列；

图像相加子单元，用于将所述浅层特征图像序列与所述目标深层特征图像序列相加，以确定目标特征图像序列；

高分辨率图像确定子单元，用于将所述目标特征图像序列依次输入上采样层和第五卷积层，以确定高分辨率图像。

本发明实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，在所述图像重建过程对中间层特征的重要性进行区分并加以利用，基于浅层特征和包括重要性特征、通道特征和空间特征的深层图像特征进行超分辨率图像重建，提高了输出的高分辨率图像的精度。

图7为本发明实施例的电子设备的示意图。如图7所示，图7所示的电子设备为通用地址查询装置，其包括通用的计算机硬件结构，其至少包括处理器70和存储器71。处理器70和存储器71通过总线72连接。存储器71适于存储处理器70可执行的指令或程序。处理器70可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器70通过执行存储器71所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线72将上述多个组件连接在一起，同时将上述组件连接到显示控制器73和显示装置以及输入/输出(I/O)装置74。输入/输出(I/O)装置74可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置74通过输入/输出(I/O)控制器75与系统相连。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

这些计算机程序指令可以存储在能引导计算机或其他可编程车辆调度设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。

也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车辆调度设备的处理器以产生一个机器，使得通过计算机或其他可编程车辆调度设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种超分辨率图像重建方法，其特征在于，所述方法包括：

将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；

将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；

根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；

将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；

将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；

根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列具体为：

将所述浅层特征图像序列作为初始输入，以迭代方式通过各所述特征提取模块进行多次特征提取，确定各所述特征提取模块对应的中间特征图像序列；

其中，每一个特征提取模块输出的中间特征图像序列作为下一个特征提取模块的输入。

3.根据权利要求2所述的方法，其特征在于，所述特征提取模块中包括多个顺序连接的残差通道注意力层和一个第二卷积层；

所述通过各所述特征提取模块进行特征提取包括：

将当前特征提取模块的输入按顺序依次输入各所述残差通道注意力层和第二卷积层，所述当前特征提取模块的输入为所述浅层特征图像序列或前一个特征提取模块输出的中间特征图像序列；

根据所述当前特征提取模块的输入和所述第二卷积层的输出确定对应的中间特征图像序列。

4.根据权利要求1所述的方法，其特征在于，所述根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列包括：

根据各所述中间特征图像序列确定中间特征矩阵；

根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述中间特征图像序列确定中间特征矩阵具体为：

拼接各所述中间特征图像序列，以确定所述中间特征矩阵。

6.根据权利要求4所述的方法，其特征在于，所述根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列具体为：

将最后一个特征提取模块对应的中间特征图像序列输入第三卷积层，以确定第一中间图像序列。

7.根据权利要求1所述的方法，其特征在于，所述将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列包括：

对所述中间特征矩阵和转置后的中间特征矩阵相乘的值进行逻辑回归处理，以确定相关矩阵；

根据所述相关矩阵和中间特征矩阵的乘积确定多个第二中间图像序列；

计算各所述第二中间图像序列与各所述中间特征图像序列的和，以确定第一深层特征图像序列。

8.根据权利要求1所述的方法，其特征在于，所述第二注意力模块中包括第四卷积层；

所述将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列包括：

将所述第一中间图像序列输入第四卷积层，以确定空间注意力图像；

对所述空间注意力图像进行逻辑回归处理后与所述第一中间图像序列加权相乘以确定加权特征图像序列；

计算所述第一中间图像序列和所述加权特征图像序列的和，以确定第二深层特征图像序列。

9.根据权利要求1所述的方法，其特征在于，所述根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像包括：

拼接所述第一深层特征图像序列和第二深层特征图像序列，以确定目标深层特征图像序列；

将所述浅层特征图像序列与所述目标深层特征图像序列相加，以确定目标特征图像序列；

将所述目标特征图像序列依次输入上采样层和第五卷积层，以确定高分辨率图像。

10.一种超分辨率图像重建装置，其特征在于，所述装置包括：

第一特征提取单元，用于将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；

第二特征提取单元，用于将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；

中间图像确定单元，用于根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；

第一深层特征确定单元，用于将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；

第二深层特征确定单元，用于将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；

高分辨率图像确定单元，用于根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。

11.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-9中任一项所述的方法。

12.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-9中任一项所述的方法。

Images