CN113139924B - 图像增强方法、电子设备及存储介质 - Google Patents

Abstract

本申请是关于一种图像增强方法、电子设备及存储介质，通过采用生成对抗网络直接基于彩色图像生成出可用的红外夜视图片，然后与现有的实际采集的夜视数据混合在一起，作为环境感知模型的训练数据，使得成生成器的生成结果很真实，同时判别器的判别效果也很准确，从而使得夜视数据的获取可以通过自动化的方式得到，而不是人工制造场景采集，解决了由于受限于采集要求和实际条件限制，红外夜视图像的采集工作困难的问题。

Description

图像增强方法、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及图像增强方法、电子设备及存储介质。

背景技术

机器人在行驶过程中，往往需要对周围环境进行一定的理解，例如对采集到的图像进行行人检测、道路分割等，这样可以辅助于机器人的正常行驶，如检测到行人时进行有效避障、躲避不可行驶区域等，同时可以基于行人信息，额外增加一些人机交互功能，如语音提示等功能。在白天场景中，彩色图像的数据随时可以采集到，有利于环境感知模型的训练，但是在黑夜里需要采用夜视摄像头才可以捕捉到周边的环境信息，但是夜视图片的采集却较为困难，首先需要有全黑或者暗光的场景，同时需要有人出现，若单纯得靠人为制造场景，得到的数据往往不能满足实际业务的需求，而大规模得实地采集红外数据，又受到实际环境条件的约束，虽然可以直接将彩色图像转换为灰度图，但是得到的灰度图没有红外夜视图像上的补光与黑白对比效果，这样的数据可能会有适得其反的效果，因此需要有一种有效的方法将已有的彩色图像转换为夜视图像。

发明内容

为克服相关技术中存在的问题，本申请提供一种图像增强方法、电子设备及存储介质，解决红外夜视图像的采集工作困难的问题。

本申请解决上述技术问题的技术方案如下：一种图像增强方法，包括以下步骤：步骤1，通过第一拍摄装置进行图像采集，得到第一图片的数据库；步骤2，将所述第一图片的数据库输入到一生成对抗网络中；步骤3，通过所述生成对抗网络将所述第一图片转换为相对应的第二图片。

优选的，通过一第二拍摄装置进行图像采集，得到多个第三图片；所述生成对抗网络包括一生成器以及一判别器，所述生成器用于生成所述第二图片，所述判别器用于区分输入所述生成对抗网络的图片是所述第二图片还是所述第三图片。

优选的，在通过所述生成对抗网络将所述第一图片转换为相对应的第二图片之前，还包括以下步骤：S301，将所述第二图片与所述第三图片混合在一起，得到环境感知模型的训练数据；S302，固定所述生成器不变，对所述判别器进行模型训练；S303，通过所述环境感知模型的训练数据训练所述判别器，使所述判别器区分出所述第二图片与所述第三图片。

优选的，在对所述判别器训练迭代K步之后，还包括以下步骤：S304，固定所述判别器不变，对所述生成器进行模型训练；S305，通过一固定的学习频率更新所述生成器的参数，使得所述生成器生成所述第二图片；S306，将所述第二图片与所述第三图片比较，得到一比较数据；S307，当所述比较数据到达一预设值时，得到训练好的生成器。

优选的，通过所述生成对抗网络将所述第一图片转换为相对应的第二图片，具体包括以下步骤：S308，将所述第一图片的数据库输入到训练好的生成器中；S309，通过所述生成器生成所述第二图片，得到实际业务数据的增强数据。

优选的，所述生成对抗网络的优化函数为：

其中所述生成器的模型为G(z)，所述判别器的模型为D(x)，z为随机输入的噪声，x表示图片，p_data(x)表示真实图像概率分布，p_z(z)生成图像的概率分布，所述生成器的模型G(z)将随机输入的噪声z转换成图片x,D(x)输出一个0～1之间的概率值，表征图片x有多大的可能性为真实图片。

优选的，所述第一图片为彩色图片，所述第二图片为生成的红外夜视图片。

优选的，所述第三图片为真实的红外夜视图片。

本申请实施例的第二方面提供了一种电子设备，包括：

处理器；以及一个或多个处理器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述的方法的指令。

本申请第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请提供一种图像增强方法、电子设备及存储介质，通过采用生成对抗网络直接基于彩色图像生成出可用的红外夜视图片，然后与现有的实际采集的夜视数据混合在一起，作为环境感知模型的训练数据，使得成生成器的生成结果很真实，同时判别器的判别效果也很准确，从而使得夜视数据的获取可以通过自动化的方式得到，而不是人工制造场景采集，解决了由于受限于采集要求和实际条件限制，红外夜视图像的采集工作困难的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的图像增强方法的流程示意图；

图2是本申请实施例示出的生成对抗网络的模型示意图；

图3是本申请实施例示出的图像增强方法的另一流程示意图；

图4是本申请实施例示出的图像增强方法的另一流程示意图；

图5是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

目前机器人在白天行驶过程中，可以通过第一拍摄装置进行图像采集以实现检测识别功能，但在夜晚场景下无法获取到有效数据，因此需要使用夜视摄像头进行图像捕捉，但是受限于采集要求和实际条件限制，夜视图像的获取相比于彩色图像要困难得多。

针对上述问题，本申请实施例提供一种图像增强方法，解决的红外夜视图像的采集工作更加合理有效的问题。

以下结合附图详细描述本申请实施例的技术方案。

请参阅图1，图1为本申请第一实施例示出的图像增强方法的流程示意图，如图1所示，方法包括以下步骤：

步骤S1，通过一第一拍摄装置进行图像采集，得到第一图片的数据库。

具体的，所述第一拍摄装置为彩色摄像头(在其它的实施例中，第一拍摄装置可以为彩色相机，摄像仪等可以采集彩色图片的摄像装置)，所述第一图片为彩色图片，彩色摄像头可以在白天进行图像采集，以此得到多个彩色图片的数据库，即第一图片的数据库。

步骤S2，将所述第一图片的数据库输入到一生成对抗网络中。

请参照图2，图2为所述生成对抗网络的模型示意图；

如图2所示，所述生成对抗网络包括一生成器以及一判别器，所述生成器需要尽可能地生成一张真实的图片，而判别器的目标则是判断一张图片是真实图片还是生成图片，二者进行互相对抗，以博弈的方式互相提升，最后会形成生成器的生成结果很真实，同时判别器的判别效果也很准确。

步骤S3，通过所述生成对抗网络将所述第一图片转换为相对应的第二图片。

具体的，所述第一图片为彩色图片，在本实施例中，将彩色图片会作为所述生成对抗网络的输入，利用所述生成对抗网络的风格转换的特性，将所述彩色图片转换为相对应的红外夜视图片，即所述第二图片为彩色图片通过所述生成器生成的红外夜视图片。

在本实施例中，通过采用生成对抗网络直接基于彩色图像生成出可用的红外夜视图片，使得夜视数据的获取可以通过自动化的方式得到，而不是人工制造场景采集，解决了由于受限于采集要求和实际条件限制，红外夜视图像的采集工作困难的问题。

请参阅图3以及图4，为本申请第二实施例示出的图像增强方法的另一流程示意图，本实施例基于上述实施例，并且额外增加了流程。具体如下：

请参照图3，在通过所述生成对抗网络将所述第一图片转换为相对应的第二图片之前，还包括以下步骤：

S301，将所述第二图片与所述第三图片混合在一起，得到环境感知模型的训练数据。

具体的，所述通过一第二拍摄装置进行图像采集，得到多个第三图片，在本实施例中，所述第二拍摄装置为红外夜视摄像头，用于在黑夜场景下进行图像采集，得到多个红外夜视图片，即所述第三图片为真实的红外夜视图片。

所述生成器用于生成所述第二图片，所述判别器用于区分输入所述生成对抗网络的图片是所述第二图片还是所述第三图片，即所述所述判别器用于区分输入所述生成对抗网络的图片是真实的红外夜视图片还是生成的红外夜视图片。

S302，固定所述生成器不变，对所述判别器进行模型训练；

S303，通过所述环境感知模型的训练数据训练所述判别器，使所述判别器区分出所述第二图片与所述第三图片。

在对所述生成对抗网络进行模型训练的过程中，需要迭代地对所述生成器和所述判别器进行优化。首先固定住事实生成器，采样多个真实的红外夜视图片与多个生成的红外图片，使得多个真实的红外夜视图片与多个生成的红外图片混合在一起后形成所述环境感知模型的训练数据，利用所述环境感知模型的训练数据训练所述判别器，使所述判别器更好地区分出真实的图片与生成的图片。

具体的，所述第二图片是由所述生成对抗网络基于所述第一图片而生成的新图像。所述第二图片需要经过所述判别器的判别网络的判别，以确定是否达到了真实图像的水平。需要说明的是，所述判别器的判别网络可以实际输出所述第二图片为真实图像的概率分布，再根据预设的概率阈值(如70％、80％等，根据实际需求与经验具体确定)进行衡量。当所述第二图片为真实图像的概率大于概率阈值时，确定其为真实图像，说明所述生成器所生成的所述第二图片有效，将其确定为所述第一图片对应的中间图像。

反之，当所述判别器的判别网络确定所述第二图片非真实图像时，说明所述生成器所生成的所述第二图片无效，需要通过所述生成器对所述第二图片进行迭代，具体为：将所述第二图片再次输入所述生成器的生成网络，生成新的第二图片，通过所述判别器的判别网络判别新的第二图片是否为真实图像，当确定新的第二图片为真实图像时，迭代结束，得到中间图像，当确定新的第二图片非真实图像时，将所生成的新的第二图片再次输入生成网络，以继续迭代。

请参照图4，其中，在对所述判别器训练迭代K步之后，还包括以下步骤：

S304，固定所述判别器不变，对所述生成器进行模型训练；

S305，通过一固定的学习频率更新所述生成器的参数，使得所述生成器生成所述第二图片；

S306，将所述第二图片与所述第三图片比较，得到一比较数据；

S307，当所述比较数据到达一预设值时，得到训练好的生成器。

具体的，在迭代K步后，固定住所述判别器，以一定的学习率更新所述生成器的参数，使所述生成器尽可能生成与真实图片相近的红外夜视图，以达到欺骗过所述判别器的目的。这样循环往复多次之后，会得到一个与真实图片近似的生成器。

在其中一个实施例中，通过所述生成对抗网络将所述第一图片转换为相对应的第二图片，具体包括以下步骤：

S308，将所述第一图片的数据库输入到训练好的生成器中；

S309，通过所述生成器生成所述第二图片，得到实际业务数据的增强数据。

在得到训练好的生成器后，即可在已有彩色图片的基础上，利用训练好的生成器后生成出与真实图片分布相近的红外夜视图片，作为实际业务数据的增强数据。

在其中一个实施例中，所述生成对抗网络的优化函数为：

其中所述生成器的模型为G(z)，所述判别器的模型为D(x)，z为随机输入的噪声，x表示图片，表示真实图像概率分布，生成图像的概率分布，所述生成器的模型G(z)将随机输入的噪声z转换成图片x，D(x)输出一个0～1之间的概率值，表征图片x有多大的可能性为真实图片。

所述生成对抗网络的优化函数需要最小化所述生成器G的生成误差，最大化所述判别器D的判别概率。在本实施例中中，图片x则表示彩色图片，所述生成器需要尽可能地将彩色图片转化为红外夜视图片，而所述判别器则需要对真实的红外夜视图片与生成的红外夜视图片进行区分。

在本实施例中，通过建立所述生成对抗网络的优化函数，然后分别对所述判别器与所述生成器进行模型训练，使得所述生成器G的生成误差最小，所述判别器D的判别概率最大，以此得到一个优化的所述生成对抗网络，然后将多个彩色图片作为所述生成对抗网络的输入，利用生成对抗网络的风格转换的特性，将彩色图片转换为相对应的红外夜视图片，得到多个生成的红外夜视图片，以此将此生成的多个红外夜视图片作为实际业务数据的增强数据，使得夜视数据的获取可以通过自动化的方式得到，而不是人工制造场景采集，解决了由于受限于采集要求和实际条件限制，红外夜视图像的采集工作困难的问题。

图5是本申请实施例示出的电子设备的结构示意图。

参见图5，电子设备400包括存储器410和处理器420。

处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种图像增强方法，其特征在于，包括以下步骤：

步骤1，通过第一拍摄装置进行图像采集，得到第一图片的数据库；

步骤2，将所述第一图片的数据库输入到一生成对抗网络中；

步骤3，通过所述生成对抗网络将所述第一图片转换为相对应的第二图片；

所述第一拍摄装置为彩色摄像头，所述第一图片为彩色图片，所述第二图片为生成的红外夜视图片；

通过所述生成对抗网络将所述第一图片转换为相对应的第二图片，具体包括以下步骤：

S308，将所述第一图片的数据库输入到训练好的生成器中；

S309，通过所述生成器生成所述第二图片，得到实际业务数据的增强数据；

所述方法还包括：

通过一第二拍摄装置进行图像采集，得到多个第三图片；

所述生成对抗网络包括一生成器以及一判别器，所述生成器用于生成所述第二图片，所述判别器用于区分输入所述生成对抗网络的图片是所述第二图片还是所述第三图片；

所述生成对抗网络的优化函数为：

其中所述生成器的模型为G(z)，所述判别器的模型为D(x)，z为随机输入的噪声，x表示图片，p_data(x)表示真实图像概率分布，p_z(z)生成图像的概率分布，所述生成器的模型G(z)将随机输入的噪声z转换成图片x,D(x)输出一个0～1之间的概率值，表征图片x有多大的可能性为真实图片。

2.根据权利要求1所述的图像增强方法，其特征在于，在通过所述生成对抗网络将所述第一图片转换为相对应的第二图片之前，还包括以下步骤：

S301，将所述第二图片与所述第三图片混合在一起，得到环境感知模型的训练数据；

S302，固定所述生成器不变，对所述判别器进行模型训练；

S303，通过所述环境感知模型的训练数据训练所述判别器，使所述判别器区分出所述第二图片与所述第三图片。

3.根据权利要求2所述的图像增强方法，其特征在于，在对所述判别器训练迭代K步之后，还包括以下步骤：

S304，固定所述判别器不变，对所述生成器进行模型训练；

S305，通过一固定的学习频率更新所述生成器的参数，使得所述生成器生成所述第二图片；

S306，将所述第二图片与所述第三图片比较，得到一比较数据；

S307，当所述比较数据到达一预设值时，得到训练好的生成器。

4.根据权利要求2所述的图像增强方法，其特征在于，所述第三图片为真实的红外夜视图片。

5.一种电子设备，包括：存储器；一个或多个处理器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-4所述方法中的任一方法的指令。

6.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-4任一项所述图像增强方法。