CN115705614B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，其中，方法应用于图像信号处理器，包括：获取待处理的图像及图像中包含的信息的类型；确定与类型相关的图像处理模块；采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，图像信号处理器针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着终端技术的不断发展，越来越多的用户使用电子设备拍摄图像。目前，当电子设备中的摄像头拍摄图像后，可以通过电子设备中处理芯片中的图像信号处理器(ImageSignal Processor，简称ISP)对拍摄的图像进行处理，得到能够显示的格式的图像。

相关技术中，处理芯片中的ISP是专门针对包含某种类型的信息的图像进行处理的，而对包含其他类型的信息的图像进行处理时，可能存在图像处理出错或不对其进行处理的情况。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开提出了如下技术方案：

本公开第一方面实施例提出了一种图像处理方法，应用于图像信号处理器，所述方法包括：

获取待处理的图像，以及所述图像中包含的信息的类型；确定与所述类型相关的图像处理模块；采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像。

在本公开的一个实施例中，所述获取待处理的图像，以及所述图像中包含的信息的类型，包括：

获取所述图像，以及所述图像的格式；

根据所述格式，确定所述图像中包含的信息的类型。

在本公开的一个实施例中，所述根据所述格式，确定所述图像中包含的信息的类型，包括：

在所述格式为第一格式时，确定所述类型包括亮度类型和颜色类型；

在所述格式为第二格式时，确定所述类型只包括亮度类型。

在本公开的一个实施例中，所述确定与所述类型相关的图像处理模块，包括：

确定与所述类型对应的配置文件，其中所述配置文件包括：各个图像处理模块的标记，所述标记包括第一标记和第二标记，第一标记表征对应的图像处理模块与所述类型相关，第二标记表征对应的图像处理模块与所述类型不相关；

将所述配置文件中具有所述第一标记的图像处理模块，确定为与所述类型相关的图像处理模块。

在本公开的一个实施例中，在所述类型包括亮度类型和颜色类型时，所述图像信号处理器中的所有图像处理模块的标记为第一标记；

在所述类型只包括亮度类型时，所述图像信号处理器中的图像亮度处理模块的标记为第一标记，除所述图像亮度处理模块之外的其他模块的标记为第二标记。

在本公开的一个实施例中，所述配置文件还包括：第一标记对应的图像处理模块的图像处理参数；

所述采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像，包括：

针对与所述类型相关的每个图像处理模块，获取所述配置文件中的图像处理参数；

控制所述图像处理模块按照所述图像处理参数对所述图像进行处理，以得到处理后的图像。

本公开第二方面实施例提出了一种图像处理装置，所述装置包括：

获取模块，用于获取待处理的图像，以及所述图像中包含的信息的类型；

确定模块，用于确定与所述类型相关的图像处理模块；

处理模块，用于采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像。

在本公开的一个实施例中，所述获取模块，包括：

获取单元，用于获取所述图像，以及所述图像的格式；

第一确定单元，用于根据所述格式，确定所述图像中包含的信息的类型。

在本公开的一个实施例中，所述确定单元，具体用于：

在所述格式为第一格式时，确定所述类型包括亮度类型和颜色类型；

在所述格式为第二格式时，确定所述类型只包括亮度类型。

在本公开的一个实施例中，所述确定模块，包括：

第二确定单元，用于确定与所述类型对应的配置文件，其中所述配置文件包括：各个图像处理模块的标记，所述标记包括第一标记和第二标记，第一标记表征对应的图像处理模块与所述类型相关，第二标记表征对应的图像处理模块与所述类型不相关；

处理单元，用于将所述配置文件中具有所述第一标记的图像处理模块，确定为与所述类型相关的图像处理模块。

在本公开的一个实施例中，在所述类型包括亮度类型和颜色类型时，所述图像信号处理器中的所有图像处理模块的标记为第一标记；

在所述类型只包括亮度类型时，所述图像信号处理器中的图像亮度处理模块的标记为第一标记，除所述图像亮度处理模块之外的其他模块的标记为第二标记。

在本公开的一个实施例中，所述配置文件还包括：第一标记对应的图像处理模块的图像处理参数；

所述处理模块，具体用于：

针对与所述类型相关的每个图像处理模块，获取所述配置文件中的图像处理参数；

控制所述图像处理模块按照所述图像处理参数对所述图像进行处理，以得到处理后的图像。

本公开第三方面实施例提出了一种电子设备，包括：处理器；用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为调用并执行所述存储器存储的可执行指令，以实现本公开第一方面实施例提出的图像处理方法。

本公开第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开第一方面实施例提出的图像处理方法。

本公开第五方面实施例提出了一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行本公开第一方面实施例提出的图像处理方法。

本公开的技术方案，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的图像处理方法的流程图；

图2是根据本公开另一实施例的图像处理方法的流程图；

图3为本公开实施例中图像处理流程示意图；

图4是根据本公开又一实施例的图像处理方法的流程图；

图5是根据本公开再一实施例的图像处理方法的流程图；

图6是根据本公开一实施例的图像处理装置的结构框图；

图7是根据本公开一实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

目前，电子设备中处理芯片中的ISP是专门针对包含某种类型的信息的图像进行图像处理的，即ISP只能支持一种格式的摄像头，而对于其他格式的摄像头采集的图像，可能直接报错而不对图像进行处理。或者，ISP对于所有图像的处理流程相同，未对包含不同类型的信息的图像进行差别处理，从而可能导致图像处理出错。

比如，以电子设备为机器狗进行示例，机器狗中的ISP只支持拜耳bayer格式的摄像头，而不支持其他格式，比如mono raw格式的摄像头。机器狗中的ISP对bayer格式的摄像头采集的图像的处理效果较佳，而对mono raw格式的摄像头采集的图像，ISP会报错，不对mono raw格式的摄像头采集的图像进行处理。

相关技术中，可以通过处理芯片中的中央处理器(Central Processing Unit，简称CPU)或图形处理器(Graphics Processing Unit，简称GPU)对图像进行处理，以改善图像质量。即，CPU或GPU可以针对包含其他类型的信息的图像，设计新的图像处理算法，来改善图像的处理效果。

这种方式下，占用了较多的CPU和GPU资源。

下面参考附图描述本公开实施例的图像处理方法、装置、电子设备及存储介质。

图1是根据本公开一实施例的图像处理方法的流程图。

在本公开实施例中，该图像处理方法可以应用于ISP中，其中，ISP设置在电子设备的处理芯片中。

其中，电子设备可以为智能机器人、机器狗或任意一个设置有摄像头和处理芯片的终端设备。其中，终端设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

其中，处理芯片可以包括图像处理器ISP、CPU、GPU和图像编码器。

如图1所示，该图像处理方法可以包括以下步骤：

步骤101，获取待处理的图像，以及图像中包含的信息的类型。

在本公开实施例中，待处理的图像可以为电子设备中的摄像头采集的图像。

在本公开实施例中，图像中包含的信息可以包括颜色信息、亮度信息中的至少一个。

在本公开实施例中，图像中包含的信息的类型是由采集图像的摄像头决定的，可以包括亮度类型和/或颜色类型。

在本公开实施例中，ISP可以获取摄像头采集的图像，本申请中记为待处理的图像，并获取该待处理的图像中包含的信息的类型。

步骤102，确定与类型相关的图像处理模块。

在本公开实施例中，图像处理模块是指ISP中用于对图像中包含的信息进行处理的相关模块，图像处理模块可以包括以下至少一项：曝光模块(比如自动曝光(AutomaticExposure，简称AE)模块)、校正模块(比如伽马校正(gamma correction)模块、颜色校正(color correction)模块)、降噪(denoise)模块、插值(demosaic)模块、自动白平衡(Automatic White Balance，简称AWB)模块、自动对焦(Automatic Focusing，简称AF)模块等等。

在本公开实施例中，ISP在确定图像中包含的信息的类型后，可以确定与该类型相关的图像处理模块，或确定与该类型匹配的图像处理模块。

作为一种示例，ISP确定图像中包含的信息的类型包括亮度类型，与亮度类型相关的图像处理模块，可以为用于对亮度信息进行处理的图像处理模块，本公开中记为图像亮度处理模块，该图像亮度处理模块可以包括曝光模块、伽马校正模块、降噪模块中的至少一种。

作为另一种示例，ISP确定图像中包含的信息的类型包括颜色类型，与颜色类型相关的图像处理模块，可以为用于对颜色信息进行处理的图像处理模块，本公开中记为图像颜色处理模块，该图像颜色处理模块可以包括插值模块、自动白平衡模块、颜色校正模块、RGB颜色空间到YUV颜色空间转换模块，色度/饱和度调整模块等中的至少一种。

作为又一种示例，ISP确定图像中包含的信息的类型包括颜色类型和亮度类型，与类型相关的图像处理模块，可以为ISP中所有的图像处理模块。

步骤103，采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。

在本公开实施例中，通过根据不同类型，对ISP中的图像处理模块进行分类，ISP针对包含不同类型的信息的图像，仅采用与类型相关或匹配的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

作为一种应用场景，如果图像中包含的信息仅包括颜色信息，则可以从ISP中所有的图像处理模块中，确定图像颜色处理模块，仅采用图像颜色处理模块对图像进行处理。

作为另一种应用场景，如果图像中包含的信息仅包括亮度信息，则可以从ISP中所有的图像处理模块中，确定图像亮度处理模块，仅采用图像亮度处理模块对图像进行处理。

作为又一种应用场景，如果图像中包含的信息同时包括颜色信息和亮度信息，则可以采用ISP中所有的图像处理模块，对图像进行处理。

本公开实施例的图像处理方法，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

在本公开实施例的一种可能的实现方式中，图像中包含的信息的类型与采集该图像的摄像头的格式相关，即本公开中，可以根据采集图像的摄像头的格式，确定图像中包含的信息的类型。下面结合图2，对上述过程进行详细说明。

图2是根据本公开另一实施例的图像处理方法的流程图。

如图2所示，该图像处理方法可以包括以下步骤：

步骤201，获取待处理的图像，以及图像的格式。

在本公开实施例中，图像的格式与采集该图像的摄像头的格式相关，不同格式的摄像头，采集到的图像的格式可以不同。例如，图像的格式可以包括第一格式、第二格式。

其中，第一格式的图像中的每个像素既有亮度信息，又有颜色信息，比如该第一格式可以为拜耳bayer格式；第二格式的图像中的每个像素只有亮度信息，没有颜色信息，比如第二格式可以为mono raw格式。例如，普通摄像头输出的可以为第一格式(比如bayer格式)的图像，黑白摄像头输出的可以为第二格式(比如mono raw格式)的图像。

步骤202，根据格式，确定图像中包含的信息的类型。

在本公开实施例中，可以预设不同格式与类型之间的对应关系，从而在确定图像的格式后，可以根据该图像的格式，查询上述对应关系，获取与图像的格式对应的类型，作为图像中包含的信息的类型。

作为一种示例，可以预设第一模式与亮度类型和颜色类型之间的对应关系，以及预设第二格式与亮度类型之间的对应关系。假设图像的格式为第二格式，则通过查询上述对应关系，可以确定与第二格式对应的类型为亮度类型，从而可以将亮度类型，作为图像中包含的信息的类型。

步骤203，确定与类型相关的图像处理模块。

步骤204，采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。

步骤203和204可以参见上述实施例中步骤102和103的执行过程，在此不做赘述。

相关技术中，ISP硬件流水线只支持bayer格式的摄像头，而不支持对mono raw格式的摄像头采集的图像进行处理，在系统启动mono raw格式的摄像头时，若ISP硬件流水线检测到摄像头采集的图像为mono raw格式的，则会报错，不对该图像进行处理。

而本公开实施例中，可以通过修改驱动配置文件，将mono raw格式的摄像头信息，固定配置成bayer格式的摄像头信息。驱动软件读写该驱动配置文件后，会认为该mono raw格式的摄像头是bayer格式的摄像头，从而不会报错，将mono raw格式的图像送到ISP硬件流水线进行处理。

当mono raw格式的图像送到ISP硬件流水线进行处理时，由于ISP硬件流水线是针对bayer格式的图像进行处理的，因此会对mono raw格式的图像处理错乱，导致处理后的图像不正常，输出的图像不可用。

作为一种示例，ISP硬件流水线包含的各个图像处理模块可以如图3所示，ISP硬件流水线不仅包含与颜色类型相关的图像处理模块，还包括与亮度类型相关的图像处理模块，而mono raw格式的图像并没有颜色分量，若采用ISP硬件流水线中的所有图像处理模块，对mono raw格式的图像进行处理，会导致图像处理出错。

针对上述问题，本公开中，可以修改ISP的画质调试文件(tuning文件)，针对bayer格式的图像，仍然如现有技术中一样，采用ISP硬件流水线中所有的图像处理模块对该图像进行处理，而对于mono raw格式的图像，可以仅使用ISP硬件流水线中与亮度类型相关的图像处理模块对其进行处理，而不采用与颜色类型相关的图像处理模块，从而使得mono raw格式的图像既经过了镜头校正、坏点补偿、降噪、自动曝光、边缘增强、对比度调整、伽马校正等必须的图像处理模块进行处理，又没有颜色类型相关的图像处理模块对其进行处理，从而可以避免处理后的图像画面出错的情况，提升图像的处理效果。

需要说明的是，上述仅以一个ISP硬件流水线进行示例性说明，实际应用时，还可以采用多个ISP硬件流水线对多个摄像头采集的图像进行处理，即多个摄像头采集的图像可以同时经过不同的ISP硬件流水线进行处理，本公开对此并不做限制。

本公开实施例的图像处理方法，通过获取待处理的图像，以及图像的格式，根据格式，确定图像中包含的信息的类型，可以提升类型确定结果的可靠性。

在本公开实施例的一种可能的实现方式中，每种类型均具有对应的配置文件，各类型对应的配置文件中包含与对应类型相关的图像处理模块，从而本公开中，ISP可以从待处理的图像中包含的信息的类型对应的配置文件中，获取与上述类型相关的图像处理模块。下面结合图4，对上述过程进行详细说明。

图4是根据本公开又一实施例的图像处理方法的流程图。

如图4所示，该图像处理方法可以包括以下步骤：

步骤401，获取待处理的图像，以及图像中包含的信息的类型。

在本公开实施例中，步骤401可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤402，确定与类型对应的配置文件，其中配置文件包括：各个图像处理模块的标记，标记包括第一标记和第二标记，第一标记表征对应的图像处理模块与类型相关，第二标记表征对应的图像处理模块与类型不相关。

在本公开实施例中，每种类型均具有对应的配置文件，各类型对应的配置文件中包含与对应类型相关的图像处理模块，以及与对应类型不相关的图像处理模块。其中，与类型相关的图像处理模块具有第一标记，该第一标记表征对应的图像处理模块与类型相关，与类型不相关的图像处理模块具有第二标记，该第二标记表征对应的图像处理模块与类型不相关。

举例而言，以第一标记为数字1，第二标记为数字0进行示例，类型1对应的配置文件中，与类型1相关的图像处理模块具有的标记为“1”，与类型1不相关的图像处理模块具有的标记为“0”，再例如，类型2对应的配置文件中，与类型2相关的图像处理模块具有的标记为“1”，与类型2不相关的图像处理模块具有的标记为“0”。

需要说明的是，上述仅以第一标记为数字1，第二标记为数字0进行示例，但本公开并不限于此，例如，第一标记和第二标记还可以为其他不同的数字，或者第一标记和第二标记也可以为不同的字符，比如第一标记为字符A，第二标记为字符B，本公开对此并不做限制。

在本公开实施例中，可以预设各类型与配置文件之间的对应关系，从而本公开中，在确定图像中包含的信息的类型后，可以根据类型查询上述对应关系，确定与类型对应的配置文件。

步骤403，将配置文件中具有第一标记的图像处理模块，确定为与类型相关的图像处理模块。

步骤404，采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。

在本公开实施例中，可以将配置文件中具有第一标记的图像处理模块，作为与图像中包含的信息的类型相关的图像处理模块，从而可以采用与类型相关的图像处理模块，对该图像进行处理，得到处理后的图像。也就是说，可以禁用配置文件中具有第二标记的图像处理模块，而采用具有第一标记的图像处理模块对图像进行处理，得到处理后的图像。比如，针对第二格式的图像，具有第二标记的图像处理模块可以为图像颜色处理模块，具有第一标记的图像处理模块可以为图像亮度处理模块，可以禁用图像颜色处理模块，而采用图像亮度处理模块对图像进行处理，得到处理后的图像。

可以理解的是，针对第二格式的图像(每个像素只有亮度信息，没有颜色信息)，若采用所有的图像处理模块对该图像进行处理，比如采用图像颜色处理模块(插值模块、自动白平衡模块、颜色校正模块等)对图像进行处理，上述图像颜色处理模块在对图像中各像素的颜色进行处理的同时，可能会影响到各像素的亮度，原因为亮度可以通过颜色等信息来体现，从而可能导致图像的亮度较低。

而本申请中，针对第二格式的图像，只采用图像亮度处理模块对其进行处理，可以避免输出的图像较暗的情况，提升图像的处理效果。即，本申请中，针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，提升图像的处理效果。

本公开实施例的图像处理方法，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

在本公开实施例的一种可能的实现方式中，配置文件中还可以包括图像处理模块的图像处理参数，从而为了提升图像处理效果，可以采用各图像处理模块对应的图像处理参数对图像进行处理，得到处理后的图像。下面结合图5，对上述过程进行详细说明。

图5是根据本公开再一实施例的图像处理方法的流程图。

如图5所示，该图像处理方法可以包括以下步骤：

步骤501，获取待处理的图像，以及图像中包含的信息的类型。

在本公开实施例中，步骤501可以采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤502，确定与类型对应的配置文件，其中，配置文件包括：各个图像处理模块的标记，标记包括第一标记和第二标记，第一标记表征对应的图像处理模块与类型相关，第二标记表征对应的图像处理模块与类型不相关，配置文件还包括：第一标记对应的图像处理模块的图像处理参数。

在本公开实施例中，步骤502可以采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在本公开实施例的一种可能的实现方式中，在图像中包含的信息的类型包括亮度类型和颜色类型时，ISP中的所有图像处理模块的标记均为第一标记。在图像中包含的信息的类型只包括亮度类型时，ISP中的图像亮度处理模块的标记为第一标记，除图像亮度处理模块之外的其他模块的标记为第二标记。

也就是说，配置文件中可以包括ISP中的所有图像处理模块，在图像中包含的信息的类型包括亮度类型和颜色类型时，该类型对应的配置文件中的所有图像处理模块的标记均可以为第一标记，而在图像中包含的信息的类型只包括亮度类型时，该类型对应的配置文件中只有图像亮度处理模块的标记为第一标记，除图像亮度处理模块之外的其他模块的标记为第二标记。

作为一种示例，以ISP中的图像处理模块包括曝光模块(比如自动曝光AE模块)、伽马校正gamma correction模块、降噪denoise模块、插值demosaic模块、自动白平衡AWB模块、颜色校正color correction模块、自动对焦AF模块进行示例，其中，与亮度类型相关的图像处理模块称为图像亮度处理模块，图像亮度处理模块可以包括AE模块、gammacorrection模块、denoise模块中的至少一种，与颜色类型相关的图像处理模块称为图像颜色处理模块，图像颜色处理模块可以包括demosaic模块、AWB模块、color correction模块中的至少一种。

假设图像的格式为mono raw格式，则与图像中包含的信息的类型对应的配置文件中，AE模块、gamma correction模块和denoise模块的标记为第一标记，demosaic模块、AWB模块、color correction模块的标记为第二标记。再假设图像的格式为bayer格式，则与图像中包含的信息的类型对应的配置文件中，所有图像处理模块的标记均为第一标记。

需要说明的是，上述仅以图像亮度处理模块包括AE模块、gamma correction模块、denoise模块这三种模块进行示例，实际应用时，图像亮度处理模块还可以包括其他与亮度相关的图像处理模块，本公开对此并不作限制。同理，上述仅以图像颜色处理模块包括demosaic模块、AWB模块、color correction模块这三种模块进行示例，实际应用时，图像颜色处理模块还可以包括其他与颜色相关的图像处理模块，本公开对此并不作限制。

在本公开实施例中，图像中包含的信息的类型对应的配置文件中还可以包括第一标记对应的图像处理模块的图像处理参数，例如，AE模块的图像处理参数可以包括具体的曝光时长，比如在逆光场景下，图像易发生曝光不充分的情况，可以设置较长的曝光时长，而在顺光场景下，图像易发生过曝光的情况，可以设置较短的曝光时长。

作为一种可能的实现方式，为了提升处理后的图像的质量，各图像处理模块可以具有多组图像处理参数，其中，每组图像处理参数与一种拍摄场景(例如逆光场景、顺光场景等)相关，后续在采用图像处理模块对图像进行处理时，可以采用与当前拍摄场景相关的图像处理参数对图像进行处理，以改善图像的处理效果。

步骤503，将配置文件中具有第一标记的图像处理模块，确定为与类型相关的图像处理模块。

在本公开实施例中，步骤503可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤504，针对与类型相关的每个图像处理模块，获取配置文件中的图像处理参数。

在本公开实施例中，ISP在确定与图像中包含的信息的类型相关的图像处理模块后，可以从配置文件中进一步获取与类型相关的图像处理模块的图像处理参数，即获取具有第一标记的图像处理模块的图像处理参数。

步骤505，控制图像处理模块按照图像处理参数对图像进行处理，以得到处理后的图像。

在本公开实施例中，ISP可以按照各图像处理模块对应的图像处理参数，对图像进行处理，得到处理后的图像。

作为一种示例，ISP上可以设置有demosaic模块(用于对图像进行插值计算，得到RGB格式的图像)、gamma correction模块、denoise模块(用于对图像进行降噪处理，得到用于预览的YUV格式的图像)。其中，在demosaic模块之前或之后，ISP还可以设置有AE模块、AWB模块(黑白平衡，避免图像偏红等)、AF模块。

其中，ISP可以专门对第一格式，比如bayer格式的图像进行处理，与第一格式的图像对应的类型相关的图像处理模块可以为ISP中的所有图像处理模块。而对于第二格式，比如mono raw格式的图像，由于其只携带亮度信息而未携带颜色信息，当采用ISP对其进行处理时，可以禁用ISP中与颜色相关的图像处理模块，本申请中记为图像颜色处理模块，而只采用ISP中与亮度相关的图像处理模块，本申请中记为图像亮度处理模块。其中，禁用是指被禁用的模块对输入的数据不做处理，直接输出。

其中，ISP可以具有多个接口，其中一个接口可以与第二格式的摄像头连接，以对第二格式的摄像头所拍摄得到的图像进行处理，其中另一个接口可以与第一格式的摄像头连接，以采用ISP中所有的图像处理模块对第一格式的摄像头所拍摄得到的图像进行处理。

在本公开实施例的一种可能的实现方式中，还可以采用JPEG编码，对处理后的图像进行编码，得到待显示的JPEG格式的图像。

本公开实施例的图像处理方法，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

与上述图1至图5实施例提供的图像处理方法相对应，本公开还提供一种图像处理装置，由于本公开实施例提供的图像处理装置与上述图1至图5实施例提供的图像处理方法相对应，因此在图像处理方法的实施方式也适用于本公开实施例提供的图像处理装置，在本公开实施例中不再详细描述。

图6是根据本公开一实施例的图像处理装置的结构框图。其中，该图像处理装置可以被配置在ISP中。

如图6所示，该图像处理装置600包括：获取模块610、确定模块620以及处理模块630，其中：

获取模块610，用于获取待处理的图像，以及图像中包含的信息的类型。

确定模块620，用于确定与类型相关的图像处理模块。

处理模块630，用于采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。

在本公开的一个实施例中，获取模块610，可以包括：

获取单元，用于获取图像，以及图像的格式。

第一确定单元，用于根据格式，确定图像中包含的信息的类型

在本公开的一个实施例中，确定单元，具体用于：在格式为第一格式时，确定类型包括亮度类型和颜色类型；在格式为第二格式时，确定类型只包括亮度类型。

在本公开的一个实施例中，确定模块620，可以包括：

第二确定单元，用于确定与类型对应的配置文件，其中配置文件包括：各个图像处理模块的标记，标记包括第一标记和第二标记，第一标记表征对应的图像处理模块与类型相关，第二标记表征对应的图像处理模块与类型不相关。

处理单元，用于将配置文件中具有第一标记的图像处理模块，确定为与类型相关的图像处理模块。

在本公开的一个实施例中，在类型包括亮度类型和颜色类型时，图像信号处理器中的所有图像处理模块的标记为第一标记；在类型只包括亮度类型时，图像信号处理器中的图像亮度处理模块的标记为第一标记，除图像亮度处理模块之外的其他模块的标记为第二标记。

在本公开的一个实施例中，配置文件还包括：第一标记对应的图像处理模块的图像处理参数；处理模块630，具体用于：针对与类型相关的每个图像处理模块，获取配置文件中的图像处理参数；控制图像处理模块按照图像处理参数对图像进行处理，以得到处理后的图像。

本公开实施例的图像处理装置，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

与上述图1至图5实施例提供的图像处理方法相对应，本公开还提供一种电子设备，由于本公开实施例提供的电子设备与上述图1至图5实施例提供的图像处理方法相对应，因此在图像处理方法的实施方式也适用于本公开实施例提供的电子设备，在本公开实施例中不再详细描述。

图7是根据本公开一实施例的电子设备的结构框图。

如图7所示，该电子设备700包括：存储器710和处理器720，连接不同组件(包括存储器710和处理器720)的总线730。

其中，存储器710用于存储处理器720的可执行指令；处理器720被配置为调用并执行存储器710存储的可执行指令，以实现本公开上述实施例提出的图像处理方法。

总线730表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备700典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器710还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)740和/或高速缓存存储器750。电子设备700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统760可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线730相连。存储器710可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块770的程序/实用工具780，可以存储在例如存储器710中，这样的程序模块770包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块770通常执行本公开所描述的实施例中的功能和/或方法。

电子设备700也可以与一个或多个外部设备790(例如键盘、指向设备、显示器791等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口792进行。并且，电子设备700还可以通过网络适配器793与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器793通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器720通过运行存储在存储器710中的程序，从而执行各种功能应用以及数据处理。

为了实现上述实施例，本公开实施例还提出了一种非临时性计算机可读存储介质，该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述任一实施例提出的图像处理方法。

为了实现上述实施例，本公开实施例还提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行前述任一实施例提出的图像处理方法。

本公开的技术方案，通过ISP获取待处理的图像及图像中包含的信息的类型，并确定与类型相关的图像处理模块，以采用与类型相关的图像处理模块对图像进行处理，得到处理后的图像。由此，ISP针对包含不同类型的信息的图像，仅采用与对应类型相关的图像处理模块对图像进行处理，可以实现对包含不同类型的信息的图像进行针对性处理，以提升图像的处理效果。此外，通过ISP对图像进行处理，而无需CPU或GPU对图像进行处理，可以避免占用CPU或GPU的资源。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像处理方法，其特征在于，应用于图像信号处理器，所述图像信号处理器与至少一个摄像头连接，所述方法包括：

获取所述摄像头采集的图像，以及所述图像中包含的信息的类型，所述类型包括亮度类型和/或颜色类型；

确定与所述类型相关的图像处理模块；

采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像，其中，在所述类型包括亮度类型和颜色类型时，所述图像信号处理器中的所有图像处理模块的标记为第一标记，所述第一标记表征对应的图像处理模块与所述类型相关；在所述类型只包括亮度类型时，所述图像信号处理器中的图像亮度处理模块的标记为第一标记，除所述图像亮度处理模块之外的其他模块的标记为第二标记，所述第二标记表征对应的图像处理模块与所述类型不相关。

2.根据权利要求1所述的方法，其特征在于，获取所述摄像头采集的图像，以及所述图像中包含的信息的类型，包括：

获取所述图像，以及所述图像的格式；

根据所述格式，确定所述图像中包含的信息的类型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述格式，确定所述图像中包含的信息的类型，包括：

在所述格式为第一格式时，确定所述类型包括亮度类型和颜色类型；

在所述格式为第二格式时，确定所述类型只包括亮度类型。

4.根据权利要求1至3任一项所述的方法，其特征在于，确定与所述类型相关的图像处理模块，包括：

确定与所述类型对应的配置文件，所述配置文件包括各个图像处理模块的标记，所述标记包括所述第一标记和所述第二标记；

将所述配置文件中具有所述第一标记的图像处理模块，确定为与所述类型相关的图像处理模块。

5.根据权利要求4所述的方法，其特征在于，所述配置文件还包括：第一标记对应的图像处理模块的图像处理参数；

所述采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像，包括：

针对与所述类型相关的每个图像处理模块，获取所述配置文件中的图像处理参数；

控制所述图像处理模块按照所述图像处理参数对所述图像进行处理，以得到处理后的图像。

6.一种图像处理装置，其特征在于，应用于图像信号处理器，所述图像信号处理器与至少一个摄像头连接，所述装置包括：

获取模块，用于获取所述摄像头采集的图像，以及所述图像中包含的信息的类型，所述类型包括亮度类型和/或颜色类型；

确定模块，用于确定与所述类型相关的图像处理模块；

处理模块，用于采用与所述类型相关的图像处理模块对所述图像进行处理，得到处理后的图像，其中，在所述类型包括亮度类型和颜色类型时，所述图像信号处理器中的所有图像处理模块的标记为第一标记，所述第一标记表征对应的图像处理模块与所述类型相关；在所述类型只包括亮度类型时，所述图像信号处理器中的图像亮度处理模块的标记为第一标记，除所述图像亮度处理模块之外的其他模块的标记为第二标记，所述第二标记表征对应的图像处理模块与所述类型不相关。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括：

获取单元，用于获取所述图像，以及所述图像的格式；

第一确定单元，用于根据所述格式，确定所述图像中包含的信息的类型。

8.根据权利要求7所述的装置，其特征在于，所述确定单元，具体用于：

在所述格式为第一格式时，确定所述类型包括亮度类型和颜色类型；

在所述格式为第二格式时，确定所述类型只包括亮度类型。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述确定模块，包括：

第二确定单元，用于确定与所述类型对应的配置文件，所述配置文件包括各个图像处理模块的标记，所述标记包括所述第一标记和所述第二标记；

处理单元，用于将所述配置文件中具有所述第一标记的图像处理模块，确定为与所述类型相关的图像处理模块。

10.根据权利要求9所述的装置，其特征在于，所述配置文件还包括：第一标记对应的图像处理模块的图像处理参数；

所述处理模块，具体用于：

针对与所述类型相关的每个图像处理模块，获取所述配置文件中的图像处理参数；

控制所述图像处理模块按照所述图像处理参数对所述图像进行处理，以得到处理后的图像。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为调用并执行所述存储器存储的可执行指令，以实现如权利要求1-5中任一项所述的图像处理方法。

12.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-5中任一项所述的图像处理方法。