CN111970451B - 图像处理方法、图像处理装置及终端设备 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了图像处理方法、图像处理装置、终端设备及计算机可读存储介质，一种图像处理方法，应用于具有屏下摄像头的终端设备，所述图像处理方法包括：获取所述屏下摄像头的图像传感器所输出的当前图像；确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像。通过上述方法，可以提升屏下摄像头所输出的图像的图像质量。

Description

图像处理方法、图像处理装置及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及图像处理方法、图像处理装置、终端设备及计算机可读存储介质。

背景技术

一些终端设备中，为了实现全面屏的效果，将摄像头设置在终端设备的屏幕下方。然而，屏下摄像头往往会受到屏幕的干扰，例如屏幕会导致拍摄光线透过率不足，使得屏下摄像头采集到的图像出现发雾等情况，因此，屏下摄像头所输出的图像的质量往往较差，并且也难以满足各种各样的应用场景的图像显示需求。并且，所述屏下摄像头所输出的质量较差的图像也会大大限制后续的数字图像处理算法对图像的优化，难以很好地提升图像的呈现效果。

发明内容

本申请实施例提供了图像处理方法、图像处理装置、终端设备及计算机可读存储介质，可以提升屏下摄像头所输出的图像的图像质量。

第一方面，本申请实施例提供了一种图像处理方法，应用于具有屏下摄像头的终端设备，所述图像处理方法包括：

获取所述屏下摄像头的图像传感器所输出的当前图像；

确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；

根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；

根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像。

第二方面，本申请实施例提供了一种图像处理装置，应用于具有屏下摄像头的终端设备，所述图像处理装置包括：

获取模块，用于获取所述屏下摄像头的图像传感器所输出的当前图像；

第一确定模块，用于确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；

第二确定模块，用于根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；

处理模块，用于根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如第一方面上述的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的图像处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的图像处理方法。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，可以获取所述屏下摄像头的图像传感器所输出的当前图像，并确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；此时，可以区分当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，从而根据确定的所述当前图像显示模式，确定目标像素排布方式，以根据所述目标像素排布方式，对所述图像传感器输出的当前图像进行处理，从而根据不同的当前图像显示模式，对所述图像传感器所输出的当前图像的像素排布方式进行变换，以使得所得到的目标图像中的像素排布方式能够更好地匹配当前图像显示模式的需求，从而提升屏下摄像头所输出的图像的图像质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种图像处理方法的流程示意图；

图2是本申请一实施例提供的步骤S103的一种流程示意图；

图3是本申请一实施例提供的当前图像中的部分区域和第一图像中的对应区域的示例性像素排布方式示意图；

图4是本申请一实施例提供的当前图像中的部分区域和第二图像中的对应区域的示例性像素排布方式示意图；

图5是本申请一实施例提供的当前图像中的部分区域和第三图像中的对应区域的示例性像素排布方式示意图；

图6是本申请一实施例提供的一种图像处理装置的结构示意图；

图7是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的图像处理方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

具体地，图1示出了本申请实施例提供的一种图像处理方法的流程图，该图像处理方法可以应用于具有屏下摄像头的终端设备。

其中，所述屏下摄像头可以为设置于所述终端设备的屏幕下方的摄像头。所述屏下摄像头在所述终端设备中的具体设置方式可以由研发人员根据实际需求来确定。

而在实际使用中，在通过屏下摄像头进行屏下拍照时，由于光线要透过屏幕后再被屏下摄像头的图像传感器采集到，因此，屏幕往往会影响到光线的透过率，并且可能使得屏下摄像头所采集到的图像会出现诸如噪声过大、光斑衍射以及清晰度较低等问题，从而影响用户的使用体验。目前，往往是通过一些数字图像处理算法对所述屏下摄像头中的图像传感器所输出的图像进行优化。然而，所述屏下摄像头所输出的质量较差的图像也会大大限制后续的数字图像处理算法对图像的优化，从而难以很好地提升图像的呈现效果。

而本申请实施例中，通过针对诸如动态图像显示以及静态图像显示等不同场景的需求，来调整目标像素排布方式，可以根据不同的场景，调整所述屏下摄像头所输出的图像的像素排布方式，从而提升屏下摄像头所输出的图像的图像质量，为后续的数字图像处理算法提供充足的调整空间。

具体的，如图1所示，该图像处理方法可以包括：

步骤S101，获取所述屏下摄像头的图像传感器所输出的当前图像。

本申请实施例中，所述图像传感器所输出的当前图像中的像素排布方式是根据所述图像传感器中的光电二极管的排布方式而确定。例如，所述当前图像中的每一个像素点分别对应所述图像传感器中的一个光电二极管。当然，在一些场景中，所述当前图像中的像素点也可以基于至少两个光电二极管的输出而得到。

所述图像传感器中的光电二极管的排列方式在此也不做限定。

示例性的，所述图像传感器中的光电二极管可以形成多个拜耳阵列。如图3中的关于当前图像的示意图所示，当前图像中的一个拜耳阵列可以是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成。

步骤S102，确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式。

本申请实施例中，所述动态图像显示模式可以指相应的图像在诸如视频、拍照预览等动态图像中进行显示的模式。示例性的，所述动态图像显示模式可以包括预览模式和/或视频模式。所述静态图像显示模式可以指相应的图像以静态形式进行显示的模式。示例性的，所述静态图像显示模式包括拍照模式。

步骤S103，根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同。

通过确定所述当前图像显示模式，可以确定所述屏下摄像头的图像传感器所采集的当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，以获知当前呈现图像时的需求。

例如，对于动态图像显示模式，相应的图像往往要实时处理并显示，并根据视频的帧率等不断刷新图像显示界面，因此，在动态图像显示模式下，对图像的分辨率的要求往往较低，而对图像的动态范围、对比度等等有一定要求，以便于用户能够较快捕捉到图像中的内容。而对于静态图像显示方式，相应的图像则需要考虑诸如清晰度、动态范围和/或噪声等信息，以保证较高的图像质量。

因此，在确定所述当前图像显示模式之后，可以根据所述当前图像显示模式的具体需求，确定目标像素排布方式。

本申请实施例中，可以根据所述目标像素排布方式，对所述图像传感器所输出的当前图像的像素排列方式进行调整，获得重新排列后的像素阵列。其中，根据所述目标像素排布方式，对基于硬件的像素阵列排布方式在进行软件层面的调整，从而提升在当前图像显示模式下所述屏下摄像头所输出的图像质量。

需要说明的是，所述目标像素排布方式并不能真实地改变所述图像传感器中的光电二极管的真实排布，而是通过像素合并、调整权值以及插值计算等方式中的至少一种，对所述当前图像中基于硬件的像素排列方式进行软件层面的变换。例如，所述图像传感器中的光电二极管可以形成多个拜耳阵列。所述当前图像中的像素排布方式也可以为包括多个拜耳阵列的排布方式，而所述目标像素排布方式下，对应的像素点可以基于诸如像素合并、调整权值以及插值计算等方式中的至少一种，对拜耳阵列中的各个像素点进行软件算法上的重排和/或合并而得到。

步骤S104，根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像。

本申请实施例中，通过根据所述目标像素排布方式对当前图像进行处理，可以根据当前图像显示模式，对所述当前图像的像素排列进行变换，使得处理后得到的目标图像更能满足当前图像显示模式的图像显示需求。其中，根据不同的目标像素排布方式所得到的目标图像可以不同。例如，可以将所述目标像素排布方式设置为第一模式，并可以将通过所述第一模式对所述当前图像进行处理所得到的第一图像作为所述目标图像；此外，也可以将所述目标像素排布方式设置为第二模式，并可以将通过所述第二模式对所述当前图像进行处理所得到的第二图像作为所述目标图像；或者，也可以将所述目标像素排布方式设置为第三模式，并可以将通过所述第三模式对所述当前图像进行处理所得到的第三图像作为所述目标图像。

根据所述目标像素排布方式对当前图像进行处理后，所得到的目标图像可以作为所述屏下摄像头所输出的原始图像文件(RAW文件)进行输出。在一些场景中，该目标图像可以在所述终端设备进行显示。而在一些场景中，该目标图像可以作为后续的数字图像处理算法的处理基础，为后续的数字图像处理算法提供充足的调整空间。

在上述实施例的基础上，在一些实施例中，所述目标像素排布方式可以包括第一模式、第二模式和/或第三模式；

如图2所示，所述步骤S103可以包括：

步骤S201，若所述当前图像显示模式为动态图像显示模式，则根据所述当前图像的动态范围确定所述目标像素排布方式；

步骤S202，若所述当前图像显示模式为静态图像显示模式，则根据所述当前图像的环境亮度和/或感光度确定所述目标像素排布方式。

本申请实施例中，在动态图像显示模式下，对图像的分辨率的要求往往较低，而对图像的动态范围、对比度等等有一定要求，以便于用户能够较快捕捉到图像中的内容。因此，可以根据所述当前图像的动态范围确定所述目标像素排布方式。其中，所述动态范围可以表示相应的图像中的最暗像素(最小像素值)至最亮像素(最大像素值)的范围。动态范围越大，相应的图像所能表现的层次越丰富，所包含的色彩空间越广，记录的暗部细节和亮部细节也越丰富。在实际应用中，可以根据所述当前图像中的最大像素值与最小像素值之间的第一比值，或者最小像素值与最大像素值之间的第二比值来表示所述动态范围。此外，也可以根据所述当前图像的像素值分布直方图等方式确定所述当前图像的动态范围。

而对于静态图像显示方式，相应的图像则需要考虑诸如清晰度、动态范围和/或噪声等信息，以保证较高的图像质量。因此，在一些示例中，所述静态图像显示模式所对应的目标像素排布方式可以根据环境亮度或者感光度等信息来确定，以提升不同场景下的图像质量。因此，可以根据所述当前图像的环境亮度和/或感光度，确定当前图像中能够采集的光线信息是否符合期望。其中，所述环境亮度可以通过环境光传感器等进行检测得到。所述环境亮度可以通过照度等参数来表示。所述感光度又称为ISO值，能够衡量底片对于光的灵敏程度。因此，若所述感光度高，则可以较为容易地采集到光线信息。其中，若所述当前图像显示模式为静态图像显示模式，可以仅根据环境亮度，或者仅根据所述感光度来确定所述目标像素排布方式，也可以结合所述环境亮度和所述感光度来确定所述目标像素排布方式。

其中，所述第一模式、第二模式以及第三模式的具体设置方式可以有多种。例如，在第一模式下，可以调整所述当前图像的分辨率以及动态范围；在第二模式下，可以调整所述当前图像的分辨率；而在第三模式下，可以在保持所述当前图像的分辨率的情况下，对所述当前图像中的各个像素点的色度通道进行重排。

在一些实施例中，通过所述第一模式对所述当前图像进行处理所得到的第一图像中，所包含的第一像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第一像素点，所述第一像素点的像素值根据所对应的四个色度通道相同的当前像素点合成得到，每个当前像素点仅对应一个曝光参数，所述第一像素点所对应的四个色度通道相同的当前像素点中，至少有两个当前像素点所分别对应的曝光参数不同；

通过所述第二模式对所述当前图像进行处理所得到的第二图像中，所包含的第二像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第二像素点，所述第二像素点的像素值为所对应的四个色度通道相同的当前像素点的平均值；

通过所述第三模式对所述当前图像进行处理所得到的第三图像中，所包含的第三像素点的个数与所述当前图像中的当前像素点的个数相同，并且，所述第三像素点通过对所述当前图像中的当前像素点进行重排而得到。

其中，所述第一模式下，所述第一图像中的每一个第一像素点可以根据所述当前图像中对应的4个颜色相同的当前像素点而得到。其中，针对每一个第一像素点，所对应的4个当前像素点中，每个当前像素点仅对应一个曝光参数，所述第一像素点所对应的四个色度通道相同的当前像素点中，至少有两个当前像素点所分别对应的曝光参数不同。此时，不同的曝光参数可以分别捕捉不同曝光条件下的细节信息。例如，长曝光时长可以捕捉暗部细节、低曝光时长可以捕捉亮部细节以及正常曝光时长可以捕捉中间亮度信息，再将不同曝光条件下的细节信息进行合并，可以提升图像的动态范围。在一些应用场景中，所述第一模式也被称为3HDR模式。

其中，四个色度通道相同的当前像素点合成得到对应的第一像素点的像素值的具体合成方式可以有多种。例如，可以通过求平均获得该第一像素点的像素值，也可以给该4个当前像素点分配权重，再通过加权后求平均的计算方式，获得对应的第一像素点的像素值。

图3中示出了所述当前图像中的部分区域和第一图像中的对应区域的示例性像素排布方式。

其中，4个红色像素通道的当前像素点中，左上角的当前像素点对应长曝光时长，而右上角和左下角的当前像素点对应中等曝光时长，右下角的当前像素点对应短曝光时长。此时，可以给该4个当前像素点分配权重，再通过加权后求平均获得对应的第一像素点的像素值。

在一些示例中，在根据所述第一模式获得第一图像之后，还可以对所述第一图像执行锐化等提升对比度的操作，以进一步加强图像的细节信息。

所述第二模式中，所述第一图像中的每一个第二像素点的像素值为所对应的四个色度通道相同的当前像素点的平均值。其中，针对每一个第二像素点，所述第二像素点的像素值为所对应的四个颜色相同的光电二极管的当前像素点的平均值，从而起到很好的抑制噪声的作用。在一些应用场景中，所述第二模式也被称为Binning模式。

图4中示出了所述当前图像中的部分区域和第二图像中的对应区域的示例性像素排布方式。

其中，4个红色像素通道的当前像素点的平均值可以作为对应的第二像素点的像素值。而所述第二像素点的大小与所述当前图像中的4个当前像素点的大小相对应。

相较于所述当前图像中的当前像素点的排布方式，所述第三图像中，各个第三像素点中，可以存在至少部分第三像素点的色度通道可以发生变化。示例性的，各个第三像素点的像素值可以通过对所述当前像素点中不同色度通道的当前像素点分别进行插值运算和/或求平均，然后合并而得到。当然，所述第三图像中的像素排布方式也可以为其他方式。在一些应用场景中，所述第三模式也被称为Remosaic模式。

图5中示出了所述当前图像中的部分区域和第三图像中的对应区域的示例性像素排布方式。

其中，获得的第三图像中，可以划分为多个目标像素阵列，每个目标像素阵列中可以包括一个蓝色像素、一个红色像素和两个绿色像素，而每个目标像素阵列在所述当前图像中的对应位置处，则是对应四个色度通道相同的当前像素点。此时，所述第三图像的分辨率不会损失，保留了较多的图像信息，因此可以保证较好的图像质量。

下面以两种具体的图像显示模式场景来进行示例性说明确定目标像素排布方式的具体方法。

1、对于动态图像显示模式：在动态图像显示模式下，对图像的分辨率的要求往往较低，而对图像的动态范围、对比度等等有一定要求，以便于用户能够较快捕捉到图像中的内容。因此，在一些示例中，所述动态图像显示模式所对应的目标像素排布方式可以为第一模式和/或第二模式。

其中，通过第二模式，可以将4个色度通道相同的当前像素点的平均值，作为对应的像素子区域的等效像素值，此时，所得到的所得到的目标图像的分辨率变为处理前的当前图像的分辨率的1/4，但能够较好地抑制噪声。

而通过第一模式所得到的目标图像的分辨率变为处理前的当前图像的分辨率的1/4，但对比度得到提升，使得处理后的图像的动态范围较高。同时，由于通过第一模式或者第二模式得到的目标图像的分辨率降低，目标图像本身的文件大小也较小，从而更易于进行动态显示。

2、对于静态图像显示方式：在静态图像显示方式下，相应的图像则需要考虑诸如清晰度、动态范围和/或噪声等信息，以保证较高的图像质量。因此，在一些示例中，所述静态图像显示模式所对应的目标像素排布方式可以根据环境亮度或者感光度等信息来确定，以提升不同场景下的图像质量。例如，对于白天场景，所述目标像素排布方式可以为第三模式，此时，所得到的目标图像的分辨率与处理前的图像的分辨率相同，因此图像清晰度较好，但是对噪声的抑制作用相较于第一模式以及第二模式较弱。而对于夜景场景，所述目标像素排布方式可以为第二模式。此外，在暗光场景，若动态范围较小，则所述目标像素排布方式可以为第一模式；若静态范围较大，则所述目标像素排布方式可以为第二模式。

可见，本申请实施例中，可以区分当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，从而针对每一种当前图像显示模式，采用不同的参数来确定目标像素排布方式，使得所确定的目标像素排布方式更有针对性，更能提升屏下摄像头输出的图像质量。

在一些实施例中，所述步骤S201包括：

若所述当前图像显示模式为动态图像显示模式，则获取所述当前图像的动态范围；

若所述动态范围满足第一条件，则将所述图像传感器的目标像素排布方式设置为第一模式；

若所述动态范围不满足第一条件，则将所述图像传感器的目标像素排布方式设置为第二模式。

本申请实施例中，所述第一条件可以指示所述动态范围小于第一预设动态范围。在实际应用中，可以根据所述当前图像中的最大像素值与最小像素值之间的第一比值，或者最小像素值与最大像素值之间的第二比值来判断所述动态范围是否满足所述第一条件。例如，若所述第一比值小于第一预设比值阈值，或者所述第二比值大于第二预设比值阈值，则可以认为所述动态范围满足所述第一条件。此外，也可以根据所述当前图像的像素值分布直方图等方式确定所述当前图像的动态范围。其中，该像素值分布直方图可以标识所述当前图像中的色彩分布情况，若所述直方图中指示各个像素值的分布情况的纵向条纹所覆盖的范围较小，和/或，所述纵向条纹所形成的波动过窄，则可以认为所述当前图像的动态范围符合所述第一条件。

本申请实施例中，所述第一模式和所述第二模式的具体设置方式可以有多种。示例性的，若所述动态范围满足第一条件，则可以认为所述当前图像中的图像的动态范围较小，此时，可以将所述图像传感器的目标像素排布方式设置为第一模式，以调整所述当前图像的动态范围，并减小所述当前图像的分辨率，以获得所述第一图像，并将所述第一图像作为目标图像。示例性的，通过所述第一模式对所述当前图像进行处理所得到的第一图像中，所包含的第一像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第一像素点，所述第一像素点的像素值根据所对应的四个色度通道相同的当前像素点合成得到，每个当前像素点仅对应一个曝光参数，所述第一像素点所对应的四个色度通道相同的当前像素点中，至少有两个当前像素点所分别对应的曝光参数不同。

而若所述动态范围不满足第一条件，则可以认为所述当前图像中的图像的动态范围较大，此时，可以将所述图像传感器的目标像素排布方式设置为第二模式，从而减小所述当前图像的分辨率，减小当前图像的噪声，同时可以抑制噪声，以获得所述第二图像，并将所述第二图像作为目标图像。示例性的，通过所述第二模式对所述当前图像进行处理所得到的第二图像中，所包含的第二像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第二像素点，所述第二像素点的像素值为所对应的四个色度通道相同的当前像素点的平均值。

本申请实施例中，在动态图像显示模式下，若所述动态范围不足，可以通过采用第一模式来提升图像的动态范围，同时可以抑制图像噪声，而分辨率降低也可以提升在动态图像显示模式下的传输速度以及处理速度，避免动态图像出现卡顿等情况；而若动态范围满足要求，则可以通过采用第二模式来抑制图像噪声，并且也可以通过降低分辨率来提升在动态图像显示模式下的传输速度以及处理速度。可见，通过本申请实施例所得到的目标图像能够符合动态图像显示模式下的传输以及显示的需求。

在一些实施例中，所述步骤S202包括：

若所述当前图像显示模式为静态图像显示模式，则获取所述当前图像的亮度信息，所述亮度信息包括与所述当前图像对应的环境亮度和/或感光度；

若所述亮度信息满足第一亮度条件，则将所述图像传感器的目标像素排布方式设置为第二模式；

若所述亮度信息满足第二亮度条件，则将所述图像传感器的目标像素排布方式设置为第三模式；

若所述亮度信息满足第三亮度条件，则根据所述当前图像的动态范围和/或噪声信息，确定所述目标像素排布方式。

本申请实施例中，所述亮度信息满足第一亮度条件可以包括所述环境亮度满足第一环境亮度条件，和/或，所述感光度满足第一感光度条件。其中，所述第一环境亮度条件可以指示所述环境亮度小于第一预设亮度，所述第一感光度条件可以指示当前捕捉光线信息的能力较弱。若所述环境亮度满足第一环境亮度条件，或者，若所述感光度满足第一感光度条件，则可以认为当前场景为夜景场景。此时，可以将所述目标像素排布方式设置为第二模式，从而可以有效地抑制噪声。

所述亮度信息满足第二亮度条件可以包括所述环境亮度满足第二环境亮度条件，和/或，所述感光度满足第二感光度条件。其中，所述第二环境亮度条件可以指示所述环境亮度大于第二预设亮度，所述第二感光度条件可以指示当前捕捉光线信息的能力较强，例如，所述第二感光度条件可以指所述感光度大于预设感光度阈值。若所述环境亮度满足第二环境亮度条件，或者，若所述感光度满足第二感光度条件，则可以认为当前场景为白天场景。此时，可以将所述图像传感器的目标像素排布方式设置为第三模式。所述第三模式下，在保证当前图像的分辨率的情况下，对当前图像中的各个当前像素点的色度通道进行重排，从而可以保证所获得的第三图像的清晰度，保存较多的图像细节。示例性的，通过所述第三模式对所述当前图像进行处理所得到的第三图像中，所包含的第三像素点的个数与所述当前图像中的当前像素点的个数相同，并且，所述第三像素点通过对所述当前图像中的当前像素点进行重排而得到。

所述亮度信息满足第三亮度条件可以包括所述环境亮度满足第三环境亮度条件，和/或，所述感光度满足第三感光度条件。其中，所述第三环境亮度条件可以指所述环境亮度处于预设亮度区间，例如所述环境亮度值可以不大于第二预设亮度但大于第一预设亮度。所述第三感光度条件可以指示当前捕捉光线信息的能力一般，例如，所述第三感光度条件可以指所述感光度处于预设感光度区间。若所述环境亮度满足第三环境亮度条件，或者，若所述感光度满足第三感光度条件，则可以认为当前场景为一般暗光场景，其中，该一般暗光场景可以区别于夜景场景，该一般暗光场景下的环境亮度往往比夜景场景下的要亮。此时，可以根据所述当前图像的动态范围和/或噪声信息，进一步区别当前场景下的图像信息采集状态，从而确定合理的目标像素排布方式。

在一些实施例中，所述若所述亮度信息满足第三亮度条件，则根据所述当前图像的动态范围和/或噪声信息，确定所述目标像素排布方式，包括：

若所述亮度信息满足第三亮度条件，则判断所述噪声信息是否满足预设噪声条件，和/或，判断所述动态范围是否满足第二条件；

若所述噪声信息满足预设噪声条件，和/或，若所述动态范围满足第二条件，则将所述图像传感器的目标像素排布方式设置为第一模式。

本申请实施例中，所述预设噪声条件可以根据所述噪声信息的类别和判断方式等来确定。例如，在一些实施例中，可以通过预设机器学习模型来判断当前图像的噪声强度，此时，可以根据所述预设机器学习模型的输出结果，判断所述噪声信息是否满足预设噪声条件。此外，也可以通过快速傅里叶变换(fast Fourier transform，FFT)等方法获取到包含所述当前图像的噪声信息的FFT频谱图，然后，根据所述FFT频谱图中的频谱分布，判断所述噪声信息是否满足预设噪声条件，例如，可以判断所述FFT频谱图中的频率分布是否符合预设频率分布。

所述第二条件可以指指示所述动态范围小于第二预设动态范围。在实际应用中，可以根据所述当前图像中的最大像素值与最小像素值之间的第一比值，或者最小像素值与最大像素值之间的第二比值来判断所述动态范围是否满足所述第二条件。例如，若所述第一比值小于第三预设比值阈值，或者所述第二比值大于第四预设比值阈值，则可以认为所述动态范围满足所述第二条件。此外，也可以根据所述当前图像的像素值分布直方图等方式确定所述当前图像的动态范围。其中，该像素值分布直方图可以标识所述当前图像中的色彩分布情况，若所述直方图中指示各个像素值的分布情况的纵向条纹所覆盖的范围较小，和/或，所述纵向条纹所形成的波动较窄，则可以认为所述当前图像的动态范围符合所述第二条件。需要说明的是，所述第二条件可以与所述第一条件相同，也可以存在差异。

本申请实施例中，若所述亮度信息满足第三亮度条件，并且，若所述噪声信息满足预设噪声条件，和/或，若所述动态范围满足第二条件，则将所述图像传感器的目标像素排布方式设置为第一模式，使得在噪声过大和/或动态范围过小的一般暗光场景下，能够屏下摄像头的输出的动态范围得到提升，同时，可以很好地抑制噪声。

在一些实施例中，若所述亮度信息满足第三亮度条件，并且，所述噪声信息不满足预设噪声条件，和/或，所述动态范围不满足第二条件，则将所述图像传感器的目标像素排布方式设置为第二模式，以使得在一般暗光场景下屏下摄像头的输出的噪声较小。

在一些实施例中，在判断所述噪声信息是否满足预设噪声条件之前，还包括：

将所述当前图像输入预设机器学习模型，获得所述预设机器学习模型针对所述当前图像的输出结果，所述输出结果中包含所述当前图像的噪声信息。

其中，示例性的，所述预设机器学习模型可以包括诸如VGG、ResNet或者GoogLeNet等卷积神经网络(Convolutional Neural Networks，CNN)模型，也可以包括生成式对抗网络(Generative Adversarial Networks，GAN)模型，所述预设机器学习模型的类型在此不作限制。

所述预设机器学习模型可以基于标识有真实噪声信息的训练图像训练得到，也可以基于去噪图像-噪声图像对训练得到。

本申请实施例中，可以确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；此时，可以区分当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，从而根据确定的所述当前图像显示模式，确定屏下摄像头的图像传感器的目标像素排布方式，以根据所述目标像素排布方式，对所述图像传感器输出的当前图像进行处理，从而根据不同的当前图像显示模式，对所述图像传感器所输出的当前图像的像素排布方式进行变换，以使得所得到的目标图像中的像素排布方式能够更好地匹配当前图像显示模式的需求，从而提升屏下摄像头所输出的图像的图像质量。

在获得所述目标图像之后，所得到的目标图像可以作为所述屏下摄像头所输出的原始图像文件(RAW文件)进行输出。在一些场景中，该目标图像可以在所述终端设备进行显示。而在一些场景中，该目标图像可以作为后续的数字图像处理算法的处理基础，为后续的数字图像处理算法提供充足的调整空间。此时，后续的数字图像处理算法可以对该目标图像进行诸如目标检测、去噪、局部虚化、锐化以及其他图像处理操作。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例上述的图像处理方法，图6示出了本申请实施例提供的一种图像处理装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图6，该图像处理装置6包括：

获取模块601，用于获取所述屏下摄像头的图像传感器所输出的当前图像；

第一确定模块602，用于确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；

第二确定模块603，用于根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；

处理模块604，用于根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像。

可选的，所述目标像素排布方式包括第一模式、第二模式和/或第三模式；

所述第二确定模块603具体包括：

第一确定单元，用于若所述当前图像显示模式为动态图像显示模式，则根据所述当前图像的动态范围确定所述目标像素排布方式；

第二确定单元，用于若所述当前图像显示模式为静态图像显示模式，则根据所述当前图像的环境亮度和/或感光度确定所述目标像素排布方式。

可选的，所述第一确定单元具体包括：

第一获取子单元，用于若所述当前图像显示模式为动态图像显示模式，则获取所述当前图像的动态范围；

第一设置子单元，用于若所述动态范围满足第一条件，则将所述图像传感器的目标像素排布方式设置为第一模式；

第二设置子单元，用于若所述动态范围不满足第一条件，则将所述图像传感器的目标像素排布方式设置为第二模式。

可选的，所述第二确定单元具体包括：

第二获取子单元，用于若所述当前图像显示模式为静态图像显示模式，则获取所述当前图像的亮度信息，所述亮度信息包括与所述当前图像对应的环境亮度和/或感光度；

第三设置子单元，用于若所述亮度信息满足第一亮度条件，则将所述图像传感器的目标像素排布方式设置为第二模式；

第四设置子单元，用于若所述亮度信息满足第二亮度条件，则将所述图像传感器的目标像素排布方式设置为第三模式；

确定子单元，用于若所述亮度信息满足第三亮度条件，则根据所述当前图像的动态范围和/或噪声信息，确定所述目标像素排布方式。

可选的，所述确定子单元具体用于：

若所述亮度信息满足第三亮度条件，则判断所述噪声信息是否满足预设噪声条件，和/或，判断所述动态范围是否满足第二条件；

若所述噪声信息满足预设噪声条件，和/或，若所述动态范围满足第二条件，则将所述图像传感器的目标像素排布方式设置为第一模式。

可选的，所述图像处理装置6还包括：

第二处理模块，用于将所述当前图像输入预设机器学习模型，获得所述预设机器学习模型针对所述当前图像的输出结果，所述输出结果中包含所述当前图像的噪声信息。

可选的，通过所述第一模式对所述当前图像进行处理所得到的第一图像中，所包含的第一像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第一像素点，所述第一像素点的像素值根据所对应的四个色度通道相同的当前像素点合成得到，每个当前像素点仅对应一个曝光参数，所述第一像素点所对应的四个色度通道相同的当前像素点中，至少有两个当前像素点所分别对应的曝光参数不同；

通过所述第二模式对所述当前图像进行处理所得到的第二图像中，所包含的第二像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第二像素点，所述第二像素点的像素值为所对应的四个色度通道相同的当前像素点的平均值；

通过所述第三模式对所述当前图像进行处理所得到的第三图像中，所包含的第三像素点的个数与所述当前图像中的当前像素点的个数相同，并且，所述第三像素点通过对所述当前图像中的当前像素点进行重排而得到。

本申请实施例中，可以获取所述屏下摄像头的图像传感器所输出的当前图像，并确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；此时，可以区分当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，从而根据确定的所述当前图像显示模式，确定目标像素排布方式，以根据所述目标像素排布方式，对所述图像传感器输出的当前图像进行处理，从而根据不同的当前图像显示模式，对所述图像传感器所输出的当前图像的像素排布方式进行变换，以使得所得到的目标图像中的像素排布方式能够更好地匹配当前图像显示模式的需求，从而提升屏下摄像头所输出的图像的图像质量。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在上述存储器71中并可在上述至少一个处理器70上运行的计算机程序72，上述处理器70执行上述计算机程序72时实现上述任意各个图像处理方法实施例中的步骤。

上述终端设备7可以是服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备7可包括，但不仅限于，处理器70、存储器71。此外，该终端设备7还可以包括屏下摄像头。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。

上述处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器71在一些实施例中可以是上述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。上述存储器71在另一些实施例中也可以是上述终端设备7的外部存储设备，例如上述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器71还可以既包括上述终端设备7的内部存储单元也包括外部存储设备。上述存储器71用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

另外，尽管未示出，上述终端设备7还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。

本申请实施例中，上述处理器70执行上述计算机程序72以实现上述任意各个图像处理方法实施例中的步骤时，可以获取所述屏下摄像头的图像传感器所输出的当前图像，并确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；此时，可以区分当前图像是要以诸如视频或者预览等动态形式来呈现，还是以拍照等静态形式来呈现，从而根据确定的所述当前图像显示模式，确定目标像素排布方式，以根据所述目标像素排布方式，对所述图像传感器输出的当前图像进行处理，从而根据不同的当前图像显示模式，对所述图像传感器所输出的当前图像的像素排布方式进行变换，以使得所得到的目标图像中的像素排布方式能够更好地匹配当前图像显示模式的需求，从而提升屏下摄像头所输出的图像的图像质量。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，应用于具有屏下摄像头的终端设备，所述图像处理方法包括：

获取所述屏下摄像头的图像传感器所输出的当前图像；

确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；

根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；

根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像，根据所述目标像素排布方式对当前图像进行处理后，所得到的目标图像作为所述屏下摄像头所输出的原始图像文件进行输出。

2.如权利要求1所述的图像处理方法，其特征在于，所述目标像素排布方式包括第一模式、第二模式和/或第三模式；

所述根据所述当前图像显示模式，确定目标像素排布方式，包括：

若所述当前图像显示模式为动态图像显示模式，则根据所述当前图像的动态范围确定所述目标像素排布方式；

若所述当前图像显示模式为静态图像显示模式，则根据所述当前图像的环境亮度和/或感光度确定所述目标像素排布方式。

3.如权利要求2所述的图像处理方法，其特征在于，所述若所述当前图像显示模式为动态图像显示模式，则根据所述当前图像的动态范围确定所述目标像素排布方式，包括：

若所述当前图像显示模式为动态图像显示模式，则获取所述当前图像的动态范围；

若所述动态范围满足第一条件，则将所述图像传感器的目标像素排布方式设置为第一模式；

若所述动态范围不满足第一条件，则将所述图像传感器的目标像素排布方式设置为第二模式。

4.如权利要求2所述的图像处理方法，其特征在于，所述若所述当前图像显示模式为静态图像显示模式，则根据所述当前图像的环境亮度和/或感光度确定所述目标像素排布方式，包括：

若所述当前图像显示模式为静态图像显示模式，则获取所述当前图像的亮度信息，所述亮度信息包括与所述当前图像对应的环境亮度和/或感光度；

若所述亮度信息满足第一亮度条件，则将所述图像传感器的目标像素排布方式设置为第二模式；

若所述亮度信息满足第二亮度条件，则将所述图像传感器的目标像素排布方式设置为第三模式；

若所述亮度信息满足第三亮度条件，则根据所述当前图像的动态范围和/或噪声信息，确定所述目标像素排布方式。

5.如权利要求4所述的图像处理方法，其特征在于，所述若所述亮度信息满足第三亮度条件，则根据所述当前图像的动态范围和/或噪声信息，确定所述目标像素排布方式，包括：

若所述亮度信息满足第三亮度条件，则判断所述噪声信息是否满足预设噪声条件，和/或，判断所述动态范围是否满足第二条件；

若所述噪声信息满足预设噪声条件，和/或，若所述动态范围满足第二条件，则将所述图像传感器的目标像素排布方式设置为第一模式。

6.如权利要求5所述的图像处理方法，其特征在于，在判断所述噪声信息是否满足预设噪声条件之前，还包括：

将所述当前图像输入预设机器学习模型，获得所述预设机器学习模型针对所述当前图像的输出结果，所述输出结果中包含所述当前图像的噪声信息。

7.如权利要求2所述的图像处理方法，其特征在于，通过所述第一模式对所述当前图像进行处理所得到的第一图像中，所包含的第一像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第一像素点，所述第一像素点的像素值根据所对应的四个色度通道相同的当前像素点合成得到，每个当前像素点仅对应一个曝光参数，所述第一像素点所对应的四个色度通道相同的当前像素点中，至少有两个当前像素点所分别对应的曝光参数不同；

通过所述第二模式对所述当前图像进行处理所得到的第二图像中，所包含的第二像素点的个数为所述当前图像中的当前像素点的个数的四分之一，并且，针对每一个第二像素点，所述第二像素点的像素值为所对应的四个色度通道相同的当前像素点的平均值；

通过所述第三模式对所述当前图像进行处理所得到的第三图像中，所包含的第三像素点的个数与所述当前图像中的当前像素点的个数相同，并且，所述第三像素点通过对所述当前图像中的当前像素点进行重排而得到。

8.一种图像处理装置，其特征在于，应用于具有屏下摄像头的终端设备，所述图像处理装置包括：

获取模块，用于获取所述屏下摄像头的图像传感器所输出的当前图像；

第一确定模块，用于确定当前图像显示模式，所述当前图像显示模式包括动态图像显示模式和静态图像显示模式；

第二确定模块，用于根据所述当前图像显示模式，确定目标像素排布方式，其中，所述目标像素排布方式与所述图像传感器的光电二极管的排布方式不同；

处理模块，用于根据所述目标像素排布方式，对所述当前图像进行处理，获得目标图像，根据所述目标像素排布方式对当前图像进行处理后，所得到的目标图像作为所述屏下摄像头所输出的原始图像文件进行输出。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像处理方法。

Images