CN111031239B - 图像处理方法及其装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取待修复图像；获取用户的美颜风格；根据美颜风格获取参考图像；和根据参考图像对待修复图像进行处理，以得到目标图像。本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过基于用户的美颜风格获取合适的参考图像，确保超分辨率图的重建结果是用户想要的，提升了用户体验。

Description

图像处理方法及其装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

在对人像进行清晰化的图像处理时，往往更多地是从技术的角度出发，考虑如何生成更多真实清晰的纹理，并没有考虑到用户的个性化处理需求。例如女性用户想要去掉粗大毛孔等细节，但是采用的图像处理技术会重新生成这些粗大毛孔等细节。

发明内容

本申请实施方式提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法包括：获取待修复图像；获取用户的美颜风格；根据所述美颜风格获取参考图像；和根据所述参考图像对所述待修复图像进行处理，以得到目标图像。

本申请实施方式的图像处理装置包括：第一获取模块、第二获取模块、第三获取模块和处理模块。所述第一获取模块用于获取待修复图像。所述第二获取模块用于获取用户的美颜风格。所述第三获取模块用于根据所述美颜风格获取参考图像。所述处理模块用于根据所述参考图像对所述待修复图像进行处理，以得到目标图像。

本申请实施方式的电子设备包括壳体、成像装置和处理器。所述成像装置和所述处理器均安装在所述壳体内。所述成像装置用于拍摄图像。所述处理器用于：获取待修复图像；获取用户的美颜风格；根据所述美颜风格获取参考图像；和根据所述参考图像对所述待修复图像进行处理，以得到目标图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现：获取待修复图像；获取用户的美颜风格；根据所述美颜风格获取参考图像；和根据所述参考图像对所述待修复图像进行处理，以得到目标图像。

本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过基于用户的美颜风格获取合适的参考图像，确保超分辨率图的重建结果是用户想要的，提升了用户体验。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的图像处理装置的结构示意图；

图3是本申请某些实施方式的电子设备的结构示意图；

图4是本申请某些实施方式的图像处理方法的流程示意图；

图5是本申请某些实施方式的图像处理装置的结构示意图；

图6是本申请某些实施方式的图像处理方法的流程示意图；

图7是本申请某些实施方式的图像处理装置的结构示意图；

图8是本申请某些实施方式的图像处理方法的流程示意图；

图9是本申请某些实施方式的图像处理装置的结构示意图；

图10是本申请某些实施方式的图像处理方法的流程示意图；

图11是本申请某些实施方式的图像处理装置的结构示意图；

图12是本申请某些实施方式的采集的待修复人脸信息的场景示意图；

图13是本申请某些实施方式的相册中具有人像的图像的场景示意图；

图14是本申请某些实施方式的待修复图像的示意图；

图15是本申请某些实施方式的多幅参考图像的场景示意图；

图16是本申请某些实施方式的图像处理方法的流程示意图；

图17是本申请某些实施方式的图像处理装置的示意图；

图18是本申请某些实施方式的图像处理方法的流程示意图；

图19是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1，本申请实施方式的图像处理方法包括：

01，获取待修复图像；

02，获取用户的美颜风格；

03，根据美颜风格获取参考图像；和

04，根据参考图像对待修复图像进行处理，以得到目标图像。

请一并参阅图1及图2，本申请实施方式的一种图像处理装置100。图像处理装置100包括第一获取模块11、第二获取模块12、第三获取模块13和处理模块14。图像处理装置100可用于实现本申请实施方式的图像处理方法。步骤01可由第一获取模块11执行，步骤02可由第二获取模块12执行，步骤03可由第三获取模块13执行，步骤04可由处理模块14执行。也即是说，第一获取模块11可用于获取待修复图像。第二获取模块12可用于获取用户的美颜风格。第三获取模块13可用于根据美颜风格获取参考图像。处理模块14可用于根据参考图像对待修复图像进行处理，以得到目标图像。

请一并参阅图1及图3，本申请实施方式的一种电子设备200，电子设备200包括壳体210、成像装置220和处理器230。成像装置220和处理器230均安装在壳体210上，成像装置220用于拍摄图像，成像装置220包括多个摄像头，多个摄像头包括第一摄像头221和第二摄像头222。其中，处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03和步骤04均可由处理器230实现。也即是说，处理器230可用于：获取待修复图像；获取用户的美颜风格；根据美颜风格获取参考图像；和根据参考图像对待修复图像进行处理，以得到目标图像。

具体地，本申请实施方式的图像处理方法通过第一获取模块11或处理器230获取待修复图像。可以理解地，待修复图像可以指的是图像分辨率低或图像上的人脸区域不符合用户自身的审美(例如人脸毛孔粗大、皮肤暗黄)等图像。第二获取模块12或处理器230获取用户的美颜风格。美颜风格可以包括重度美颜风格、中度美颜风格和轻度美颜风格，或包括小清新、自然、港式等风格。用户的美颜风格可以根据用户美颜习惯获取其美颜风格，例如根据美颜参数获取美颜风格，美颜参数包括磨皮参数、美白参数、祛斑参数、妆容参数等，只要其中任意一个参数为70％以上，则判断该用户为重度美颜风格。此外，用户的美颜风格也可以是根据不同性别及不同年龄段的人像进行获取，例如，图像中的人像为女性或男性且年龄在70岁以上，则获取其美颜风格为重度美颜风格；图像中的人像为女性或男性且年龄在40～70岁之间，则获取其美颜风格为中度美颜风格；图像中的人像为女性或男性且年龄在40岁以下，则获取其美颜风格为轻度美颜风格。需要指出的是，对于不用美颜拍摄图像的用户则默认其美颜风格为轻度美颜风格。然后，第三获取模块13或处理器230根据美颜风格获取参考图像，例如用户为重度美颜风格，则参考图像也为重度美颜图像。最后，处理模块14根据参考图像对待修复图像进行处理，以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过选取基于用户的美颜风格获取合适的参考图像，确保经过处理后的图像的是用户想要的，提升了用户体验。

请参阅图4和图5，在某些实施方式中，获取待修复图像(即步骤01)，包括：

011：获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；及

015：若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为待修复图像。

在某些实施方式中，第一获取模块11包括第一获取单元111和第一确定单元115。步骤011可由第一获取单元111执行，步骤012可由第一确定单元115执行。也即是说，第一获取单元111可用于获取拍摄标签被操作时摄像头(第一摄像头221或第二摄像头222)拍摄的图像以作为拍摄图像。第一确定单元115可用于若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为待修复图像。

请结合图3，在某些实施方式中，步骤011和步骤015均可由处理器230实现，也即是说，处理器230可用于：获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；及若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为待修复图像。

具体地，可先获取每帧图像中高频信息的像素数量在整帧图像的所有像素中的占比，并用该占比来表征该帧图像的清晰度，占比越高，图像清晰度越高。在一个例子中，先通过整形低通滤波对该帧原始图像进行处理，以得到滤波图像。再根据该帧原始图像与滤波图像得到高频信息，具体为用该帧原始图像减去滤波图像即可得到高频信息。其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息。最后，统计高频信息的像素数量在该帧原始图像的所有像素中的占比。例如，该帧原始图像中的高频信息的像素数量占该帧原始图像的所有像素数量的20％，则用占比20％来表征该帧原始图像的清晰度。

第一获取单元111或处理器230获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像。第一获取单元111设置于电子设备200的壳体210内。拍摄标签可以为电子设备200上的拍照触摸区域对应的拍照标签，也可以是电子设备200中设置的同时按下音量键加开机键。当用户触摸拍照触摸区域或者同时按下音量键加开机键时，摄像头所拍摄的图像为拍摄图像。若拍摄图像的清晰度小于第一阈值，例如第一阈值可以是15％，若拍摄图像的清晰度为12％，是小于第一阈值15％的，则第一确定单元115或处理器230将拍摄图像作为待修复图像。此时的待修复图像是清晰度不高，需要进行超分辨率算法修复的图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过第一确定单元115或处理器230自动判断拍摄图像的清晰度从而判断该图像是否需要修复，减少了对人工操作的依赖，提升了用户体验。

请参阅图6和图7，在某些实施方式中，获取待修复图像(即步骤01)，还包括：

012：对拍摄图像执行整形低通滤波以获取第一滤波图像；

013：根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息；

014：当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值。

在某些实施方式中，第一获取模块11还包括第二获取单元112、第三获取单元113和第一判断单元114。步骤012可由第二获取单元112执行，步骤013可由第三获取单元113执行，步骤014可由第一判断单元114执行。也即是说，第二获取单元112可用于对拍摄图像执行整形低通滤波以获取第一滤波图像。第三获取单元113可用于根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息。第一判断单元114可用于当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值。

请结合图3，在某些实施方式中，步骤012、步骤013和步骤014均可由处理器230实现，也即是说，处理器230可用于：对拍摄图像执行整形低通滤波以获取第一滤波图像；根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息；当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值。

具体地，在摄像头的拍摄过程中，获取摄像头拍摄得到的拍摄图像。在获取到拍摄图像后，对拍摄图像进行整形低通滤波处理，得到第一滤波图像，再由拍摄图像减去第一滤波图像，就能得到拍摄图像中的第一高频信息，第一高频信息是指离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息；在得到第一高频信息后，可以统计第一高频信息的像素数量，第一高频信息的像素数量越多，则拍摄图像越清晰。

图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅拍摄图像中的第一高频信息的像素数量占该幅拍摄图像的所有像素数量的20％，则用占比20％来表征该幅拍摄图像的清晰度。由此可见，每一个清晰度对应一个第一高频信息的像素数量。

第一阈值是指一幅拍摄图像中的第一高频信息的像素数量为第一预设数量，且该第一预设数量与该幅拍摄图像的所有像素数量的比值，第一阈值是用来衡量拍摄图像是否需要修复的临界值。例如，在一幅拍摄图像中，若第一高频信息的像素数量小于第一预设数量时，则说明该幅拍摄图像的清晰度小于第一阈值，该幅拍摄图像需要被修复，即可作为待修复图像。

第一预设数量可与第一阈值相互对应，第一预设数量与第一阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量，自动关联上与第一预设数量对应的第一阈值，然后由用户根据不同需求选择不同的第一阈值。

以第一阈值为15％，一幅拍摄图像的所有像素数量为1600万，第一预设数量为240万为例进行说明，在获取到第一高频信息的像素数量小于240万时，则确定该幅拍摄图像的清晰度小于15％，并将该幅拍摄图像作为待修复图像。

请参阅图8和图9，在某些实施方式中，获取用户的美颜风格(即步骤02)，包括：

021：在用户的相册中筛选出经过美颜处理的美颜图像；

022：对美颜图像进行分析以获取每幅美颜图像的美颜参数；和

023：分析美颜参数以确定用户的美颜风格。

在某些实施方式中，第二获取模块12包括第四获取单元121、第五获取单元122和第二确定单元123。步骤021可由第四获取单元121执行，步骤022可由第五获取单元122执行，步骤023可由第二确定单元123执行。也即是说，第四获取单元121可用于在用户的相册中筛选出经过美颜处理的美颜图像。第五获取单元122可用于对美颜图像进行分析以获取每幅美颜图像的美颜参数。第二确定单元123可用于分析美颜参数以确定用户的美颜风格。

请结合图3，在某些实施方式中，步骤021、步骤022和步骤023均可由处理器230实现，也即是说，处理器230可用于：在用户的相册中筛选出经过美颜处理的美颜图像；对美颜图像进行分析以获取每幅美颜图像的美颜参数；和分析美颜参数以确定用户的美颜风格。

具体地，第四获取单元121或处理器230在用户的相册中筛选出经过美颜处理的美颜图像，经过美颜处理的美颜图像可以是指经过磨皮、祛斑、祛痘、美白等处理操作的图像。第五获取单元122或处理器230对美颜图像进行分析以获取每幅美颜图像的美颜参数，其中，获取每幅美颜图像的美颜参数(包括磨皮参数、去斑参数、美白参数、妆容参数等)可以是一种参数的数值或几种参数的平均值。例如，一幅美颜图像中仅仅获取得到磨皮参数为70％，则该美颜图像的美颜参数为70％。若一幅美颜图像的磨皮参数为70％，美白参数为80％，祛痘参数为50％，则第五获取单元122或处理器230获取该美颜图像的美颜参数可以为(70％+80％+50％)/3＝66.7％，即该美颜图像的美颜参数为66.7％。

分析美颜参数以确定用户的美颜风格可以是依据一幅美颜图像的美颜参数，也可以是依据多幅美颜图像的美颜参数。当依据一幅美颜图像的美颜参数来确定用户的美颜风格时，则是以该幅美颜图像的美颜参数来确定用户的美颜风格；当依据多幅美颜图像的美颜参数来确定用户的美颜风格时，则先根据多幅美颜图像的美颜参数求出一个平均美颜参数或者一个加权美颜参数，再应用该平均美颜参数或该加权美颜参数来确定用户的美颜风格。具体地，第二确定单元123或处理器230分析美颜参数(同样包括：单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、多幅美颜图像的加权美颜参数)以确定用户的美颜风格包括：若美颜参数(单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)在第一预设范围，则确定用户为重度美颜用户；若美颜参数(单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)在第二预设范围，则确定用户为中度美颜用户；若美颜参数(单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)在第三预设范围，则确定用户为轻度美颜用户；其中，第一预设范围的下限大于等于第二预设范围的上限，第二预设范围的下限大于等于第三预设范围的上限。例如，对于女性，第一预设范围可以是美颜参数为70％以上，则确定用户为重度美颜用户；第二预设范围可以是美颜参数为40％～70％，则确定用户为中度美颜用户；第二预设范围可以是美颜参数为40％以下，则确定用户为轻度美颜用户。对于男性，第一预设范围可以是美颜参数为60％以上，则确定用户为重度美颜用户；第二预设范围可以是美颜参数为30％～60％，则确定用户为中度美颜用户；第二预设范围可以是美颜参数为30％以下，则确定用户为轻度美颜用户。

在某些实施方式中，除了上述获取用户的美颜风格的方法外，还可以通过记录用户使用摄像头拍摄美颜图像时使用的美颜参数(同样包括：单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)或对相册中的拍摄图像进行编辑时使用的美颜参数(同样包括：单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)，然后，分析美颜参数(单幅美颜图像的美颜参数、多幅美颜图像的平均美颜参数、或多幅美颜图像的加权美颜参数)以确定用户的美颜风格，具体确认方式同上所述，在此不再赘述。例如，一名女性用户5次使用摄像头拍摄美颜图像时使用的美颜参数中获取的磨皮参数分别为：80％、88％、87％、90％、95％，可以取5次磨皮参数的平均值为美颜参数，即该用户拍摄图像所使用的美颜参数为：(80％+88％+87％+90％+95％)/5＝88％，88％大于第一预设范围70％，则确定该用户属于重度美颜用户。

此外，在某些实施方式中，获取用户的美颜风格的方法还包括：在用户的相册中不存在经过美颜处理的美颜图像，及在用户使用摄像头拍摄或对相册中拍摄图像进行编辑时不存在美颜记录时，确认用户为轻度美颜用户。

请参阅图10和图11，在某些实施方式中，图像处理方法中根据美颜风格获取参考图像(即步骤03)，包括：

031：在用户的相册中的拍摄图像中筛选出人脸与待修复图像的人脸的相似度大于预设相似度的图像，以作为一次筛选图像；

032：在一次筛选图像中筛选出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像，以作为二次筛选图像；

033：在二次筛选图像中筛选出清晰度大于第二阈值的图像，以作为三次筛选图像，第二阈值大于第一阈值；

034：根据每幅三次筛选图像的清晰度，将三次筛选图像划分为与美颜风格分别对应的参考图像。

在某些实施方式中，第三获取模块13包括第一筛选单元131、第二筛选单元132、第三筛选单元133和划分单元134。步骤031可由第一筛选单元131执行，步骤032可由第二筛选单元132执行，步骤033可由第三筛选单元133执行，步骤034可由划分单元134执行。也即是说，第一筛选单元131可用于在用户的相册中的拍摄图像中筛选出人脸与待修复图像的人脸的相似度大于预设相似度的图像，以作为一次筛选图像。第二筛选单元132可用于在一次筛选图像中筛选出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像，以作为二次筛选图像。第三筛选单元133可用于在二次筛选图像中筛选出清晰度大于第二阈值的图像，以作为三次筛选图像，第二阈值大于第一阈值。划分单元134可用于根据每幅三次筛选图像的清晰度，将三次筛选图像划分为与美颜风格分别对应的参考图像。

请结合图3，在某些实施方式中，步骤031、步骤032、步骤033和步骤034均可由处理器230实现，也即是说，处理器230可用于：在用户的相册中的拍摄图像中筛选出人脸与待修复图像的人脸的相似度大于预设相似度的图像，以作为一次筛选图像；在一次筛选图像中筛选出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像，以作为二次筛选图像；在二次筛选图像中筛选出清晰度大于第二阈值的图像，以作为三次筛选图像，第二阈值大于第一阈值；和根据每幅三次筛选图像的清晰度，将三次筛选图像划分为与美颜风格分别对应的参考图像。

用户的相册中，可能包含有机主本人人像的拍摄图像，还可能包含有非机主本人人像的拍摄图像，例如包含机主的亲戚朋友的人像的拍摄图像。为了更符合用户(包括机主、机主的亲戚朋友)本人的意愿，在图像处理的时候，最好采用包含用户本人人像的拍摄图像作为参考图像。因此，可对用户的相册中的拍摄图像进行第一次筛选。具体地，从相册中的拍摄图像中筛选出人脸与待修复图像的人脸的相似度大于或等于预设相似度的图像，以作为一次筛选图像，此时，一次筛选图像与待修复图像的人像为同一个人，例如，当待修复图像为机主本人，则一次筛选图像也为机主本人；当待修复图像为机主的朋友A，则一次筛选图像也为机主朋友A，如此，更能确保超分辨率图的重建结果是用户想要的，提升了用户体验。经过筛选后，相册中人脸与待修复图像的人脸的相似度小于预设相似度的图像全部被排除在外，不用来作为参考图像。更具体地，可通过对待修复图像的人脸的特征和用户的人脸的特征进行检测来确定相似度是否大于或等于预设相似度，该特征包括五官特征、皮肤特征、头发特征中的至少一种，经过对比，若待修复图像的人脸与相册中的拍摄图像的人脸的相似度大于或等于预设相似度，则可确定该幅拍摄图像为一次筛选图像；若待修复图像的人脸与相册中的拍摄图像的人脸的相似度小于预设相似度，则可将该幅拍摄图像直接排除掉。其中，预设相似度的值越大，待修复图像中的人像与一次筛选图像中的人像越相似，就越能说明一次筛选图像中的人像与待修复图像的人像是同一个人；预设相似度的值越小，对比工作量越小，对比速度也就越高。本实施方式中，预设相似度的范围可为70％-100％，例如，预设相似度可以为70％、71％、75％、80％、85％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。预设相似度在该范围时，既能保证对比的准确率，又能有较快的比对速度，进而加快图像处理的整体速度。

请参阅图12和图13，图12为摄像头采集到的待修复图像的人脸信息，图13为相册中的3幅具有人脸的拍摄图像，将每幅拍摄图像与采集到的人脸信息进行对比，得到第一幅(图13中左图)拍摄图像中眉毛特征、眼睛特征和嘴巴特征与待修复图像的人脸信息对应的眉毛特征、眼睛特征和嘴巴特征不同，即相似度小于预设相似度，则第一幅拍摄图像不作为一次筛选图像。第二幅(图13中的中间图)拍摄图像和第三幅拍摄图像(图13中的右图)中的各个特征都与人脸信息对应的特征相同，例如，鼻子特征，眼睛特征，嘴巴特征等，因此，第二幅拍摄图像和第三幅拍摄图像作为一次筛选图像。以预设相似度为80％为例，进一步地，若从100张用户相册中经过第一次筛选选取出8张(大于1张图像)相似度大于预设相似度80％的拍摄图像，则该8张拍摄图像作为一次筛选图像，且该8张一次筛选图像需要进行第二次筛选。

二次筛选可以是根据人脸参数的匹配度来筛选。人脸参数可以是人脸亮度、人脸朝向角度、及人脸绝对面积。具体地，二次筛选包括了三次子筛选，首先进行的是第一子筛选，第一子筛选的依据是人脸亮度，其中，人脸亮度可以分为5个或多个亮度级别，5个人脸亮度级别从低到高排序为：A1、A2、A3、A4、A5，若待修复图像的人脸亮度级别为A3级别，假设上述8张一次筛选图像的人脸亮度中有3张图像(第5、6、8张图像)的人脸亮度为A3级别，则第5、6、8张图像则是第一子筛选后挑选出的图像。接着，再进行第二子筛选，第二子筛选的依据是人脸朝向角度，第5、6、8张图像中，若第5张和第6张图像中的人脸与待修复图像的人脸的人脸朝向角度的匹配度分别为80％和90％，预设匹配度范围可为70％-100％，假设预设匹配度为75％，即该第5张图像和第6张图像的人脸参数匹配相似度均大于预设匹配度，则第5、6张图像则是第二子筛选后挑选出的图像。最后，再进行第三子筛选，第三子筛选的依据是人脸绝对面积，。其中，人脸绝对面积是指人脸图像上的脸部面积(约为圆形面积)占整张图像面积的比值，从第5张图像和第6张图像中挑选人脸绝对面积与待修复图像的人脸绝对面积之间的匹配度大于预设匹配度的图像，以作为二次筛选图像。如图14和图15所示，图14为待修复图像，待修复图像中的人脸绝对面积为40％，图15从左至右依次为一次筛选图像中的第5张图像和第6张图像，第5张图像中人脸的人脸绝对面积约为20％，第6张图像中人脸的人脸绝对面积约为40％，由于第6张图像中人脸的人脸绝对面积与待修复图像中的人脸绝对面积相同(两者之间的误差可以在10％以内)，则第6张图像则是第三子筛选后挑选出的图像，同时，第6张图像可以作为二次筛选图像。

需要说明的是，二次筛选并不局限于上述依次考虑人脸亮度、人脸朝向角度、及人脸绝对面积三个参数，还可以只考虑其中一个人脸参数与待修复图像的人脸参数匹配度是否高于预设匹配度，例如一次筛选图像与待修复图像的人脸亮度之间的匹配度大于预设匹配度，或一次筛选图像与待修复图像的人脸朝向角度之间的匹配度大于预设匹配度、或一次筛选图像与待修复图像的人脸绝对面积之间的匹配度大于预设匹配度。另外，二次筛选中的三次子筛选的依据参数的顺序可以发生变化，例如可以依次依据人脸朝向角度、人脸绝对面积、及人脸亮度；还可以依次依据人脸绝对面积、人脸亮度、及人脸朝向角度等等，在此不再一一列举。若经过二次筛选后的图像仍然有多张图像(大于1张图像)，则进行第三次筛选。

在一个实施例中，二次筛选图像的清晰度可用二次筛选图像中的第二高频信息的像素数量在该幅二次筛选图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅二次筛选图像中的第二高频信息的像素数量占该幅二次筛选图像的所有像素数量的30％，则用占比30％来表征该幅二次筛选图像的清晰度。由此可见，每一个清晰度对应一个第二高频信息的像素数量。

第二阈值是指一幅二次筛选图像中的第二高频信息的像素数量为第二预设数量，且该第二预设数量与该幅二次筛选图像的所有像素数量的比值，第二阈值是用来衡量二次筛选图像是否可以作为参考图像的临界值。例如，在一幅二次筛选图像中，若第二高频信息的像素数量大于第二预设数量时，则说明该幅二次筛选图像的清晰度大于第二阈值，则该幅二次筛选图像即可作为三次筛选图像。

第二预设数量可与第二阈值相互对应，第二预设数量与第二阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第二预设数量，自动关联上与第二预设数量对应的第二阈值，然后由用户根据不同需求选择不同的第二阈值。

以第二阈值为30％(大于上述第一阈值15％)，一幅二次筛选图像的所有像素数量为1600万，第二预设数量为480万为例进行说明，在获取到第二高频信息的像素数量大于480万时，则确定该幅二次筛选图像的清晰度大于30％，并将该幅二次筛选图像作为三次筛选图像。

进一步地，在某些实施方式中，根据每幅三次筛选图像的清晰度，将三次筛选图像划分为与美颜风格分别对应的参考图像，包括：将清晰度处于第一预定范围的三次筛选图像，作为与重度美颜用户对应的参考图像；将清晰度处于第二预定范围的三次筛选图像，作为与中度美颜用户对应的参考图像；将清晰度处于第三预定范围的三次筛选图像，作为与轻度美颜用户对应的参考图像；其中，第一预定范围的上限小于等于第二预定范围的下限，第二预定范围的上限小于等于第三预定范围的下限。

具体地，第一预定范围可以是25％～27％，若某张经过三次筛选的图像的清晰度值在25％至27％之间，包括25％、25.2％、25.5％、25.8％、26％、26.2％、26.5％、26.8％、26.9％、27％等，则将该图像作为重度美颜用户对应的参考图像。第二预定范围可以是27％～29％(不包括27％)，若某张经过三次筛选的图像的清晰度值在27％至29％之间，包括27.1％、27.2％、27.5％、27.8％、28％、28.2％、28.5％、28.8％、28.9％、29％等，则将该图像作为中度美颜用户对应的参考图像。第三预定范围可以是29％～31％(不包括29％)，若某张经过三次筛选的图像的清晰度值在29％至31％之间，包括29.1％、29.3％、29.5％、29.8％、30％、30.2％、30.5％、30.8％、30.9％、31％等，则将该图像作为轻度美颜用户对应的参考图像。可以理解地，重度美颜用户对于图像的清晰度有一定的追求，但更注重于对图像的审美，例如，重度美颜用户希望皮肤是白皙的，或者希望脸上的毛孔细密一些，不是粗大明显的，因此为了防止采用清晰度较高的三次筛选图像作为参考图像，会使得重度美颜用户的不美观的细节被放大，因此，对于重度美颜用户而言，选用清晰度在第一预定范围内的更符合他们的审美风格。轻度美颜用户更注重图像的真实，对于图像的清晰度有较高的追求，因此，对于轻度美颜用户而言，选用清晰度在第三预定范围内的更符合他们的审美风格。

在某些实施方式中，若发生以下情况中的任意一种时，则获取预设标准人像以作为参考图像，在用户的相册中的拍摄图像中筛选不出人脸与待修复图像的人脸的相似度大于预设相似度的图像；在一次筛选图像中筛选不出人脸参数与待修复图像的人脸参数的匹配度大于预设匹配度的图像；在二次筛选图像中筛选不出清晰度大于第二阈值的图像；其中，预设标准人像的清晰度高于第三阈值，第三阈值大于等于第二阈值。该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设标准人像的清晰度都要大于第三阈值，第三阈值大于第二阈值，并可预先设置，只有大于第三阈值的图像才能作为参考图像(预设标准人像)，以达到更好的图像处理效果。

在某些实施方式中，可以根据参考图像对待修复图像进行图像超分辨率算法处理，以得到目标图像。需要指出的是，图像处理方法可为图像超分辨率算法，在本申请的其他实施例中还可以运用其他图像处理方法。其中，超分辨率算法处理的过程分为特征交换与纹理迁移两个步骤。特征交换就是将低分辨率图像的众多特征与参考图像的众多特征进行匹配，然后提取出能够使用的合理的特征图。纹理转换将提取出的特征图与低分辨率的特征图合并，最终得到目标图像。其中，上采样可理解为对初始图像或者参考图像进行放大处理，下采样可理解为对参考图像进行缩小处理。

请参阅图16和图17，在某些实施方式中，根据参考图像对待修复图像进行处理，以得到目标图像(即步骤04)，包括：

041：获取待修复图像经上采样后的第一特征图；

042：获取参考图像经过上采样和下采样后的第二特征图；

043：获取参考图像未经过上采样和下采样的第三特征图；

044：获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征；

045：获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图；

046：合并交换特征图与第一特征图，以得到第四特征图；

047：将第四特征图放大预定倍数以得到第五特征图；

048：将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

在某些实施方式中，处理模块14包括第六获取单元141、第七获取单元142、第八获取单元143、第九获取单元144、第十获取单元145、合并单元146、放大单元147和处理单元148。步骤041可由第六获取单元141执行，步骤042可由第七获取单元142执行，步骤043可由第八获取单元143执行，步骤044可由第九获取单元144执行，步骤045可由第十获取单元145执行，步骤046可由合并单元146执行，步骤047可由放大单元147执行，步骤048可由处理单元148执行。也即是说，第六获取单元141可用于获取待修复图像经上采样后的第一特征图，第七获取单元142可用于获取参考图像经过上采样和下采样后的第二特征图，第八获取单元143可用于获取参考图像未经过上采样和下采样的第三特征图，第九获取单元144可用于获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征，第十获取单元145可用于获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图，合并单元146可用于合并交换特征图与第一特征图，以得到第四特征图，放大单元147可用于将第四特征图放大预定倍数以得到第五特征图，处理单元148可用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

请结合图3，在某些实施方式中，步骤041、步骤042、步骤043、步骤044、步骤045、步骤046、步骤047和步骤048均可由处理器230实现，也即是说，处理器230可用于：获取待修复图像经上采样后的第一特征图；获取参考图像经过上采样和下采样后的第二特征图；获取参考图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征；获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

具体地，请参阅图18，获取待修复图像经上采样后的第一特征图(即步骤041)包括：

0411：对待修复图像进行上采样；

0412：将上采样后的待修复图像输入到卷积神经网络进行特征提取，得到第一特征图。

获取参考图像过上采样和下采样后的第二特征图(即步骤042)包括：

0421：对参考图像进行下采样；

0422：对下采样后的参考图像进行上采样；

0423：将上采样后的所参考图像输入到卷积神经网络进行特征提取，得到第二特征图。

获取参考图像未经过上采样和下采样的第三特征图(即步骤043)包括；

0431：将参考图像输入到卷积神经网络进行特征提取，得到第三特征图。

具体地，通过对待修复图像进行上采样(放大)处理，在将上采样后的待修复图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为待修复图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对待修复图像进行放大导致第一特征图的清晰度较低，而参考图像的清晰度是比较高的，因此需要对参考图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参考图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参考图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第一预设相似度进行比较，若相似度大于或等于第一预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参考特征。再将第三特征图与参考特征进行对比，判断两者的相似度，并将相似度超过第二预设相似度进行比较，若相似度大于或等于第二预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为目标图像(高分辨率图像)。

请一并参阅图1、图2、图3和图19，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

01，获取待修复图像；

02，获取用户的美颜风格；

03，根据美颜风格获取参考图像；和

04，根据参考图像对待修复图像进行处理，以得到目标图像。

计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。

可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待修复图像；

获取用户的美颜风格；

根据所述美颜风格获取参考图像；和

根据所述参考图像对所述待修复图像进行处理，以得到目标图像；

所述根据所述参考图像对所述待修复图像进行处理，以得到目标图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参考图像经过上采样和下采样后的第二特征图；

获取所述参考图像未经过上采样和下采样的第三特征图；

获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参考特征；

获取所述第三特征图中与所述参考特征相似度超过第二预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为所述待修复图像并循环执行上述步骤，直至得到的所述第五特征图为目标放大倍数，则具有所述目标放大倍数的所述第五特征图为所述目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待修复图像，包括：

获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；和

若所述拍摄图像的清晰度小于第一阈值，则将所述拍摄图像作为所述待修复图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述获取待修复图像，还包括：

对所述拍摄图像执行整形低通滤波以获取第一滤波图像；

根据所述拍摄图像与所述第一滤波图像获取所述拍摄图像中的第一高频信息，其中，所述第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述拍摄图像的细节信息；

当所述第一高频信息的像素数量小于第一预设数量，则确定所述拍摄图像的清晰度小于所述第一阈值。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取用户的美颜风格，包括：

在所述用户的相册中筛选出经过美颜处理的美颜图像；

对所述美颜图像进行分析以获取每幅所述美颜图像的美颜参数；和

分析所述美颜参数以确定所述用户的美颜风格。

5.根据权利要求1所述的图像处理方法，其特征在于，所述获取用户的美颜风格，包括：

记录所述用户使用摄像头拍摄美颜图像时使用的美颜参数或对相册中的拍摄图像进行编辑时使用的美颜参数；和

分析所述美颜参数以确定所述用户的美颜风格。

6.根据权利要求4或5所述的图像处理方法，其特征在于，所述分析所述美颜参数以确定所述用户的美颜风格，包括：

若美颜参数在第一预设范围，确定所述用户为重度美颜用户；

若美颜参数在第二预设范围，确定所述用户为中度美颜用户；

若美颜参数在第三预设范围，确定所述用户为轻度美颜用户；

其中，所述第一预设范围的下限大于等于所述第二预设范围的上限，所述第二预设范围的下限大于等于所述第三预设范围的上限。

7.根据权利要求1所述的图像处理方法，其特征在于，所述获取用户的美颜风格，包括：

在所述用户的相册中不存在经过美颜处理的美颜图像，及在所述用户使用摄像头拍摄或对相册中拍摄图像进行编辑时不存在美颜记录时，确认所述用户为轻度美颜用户。

8.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述美颜风格获取参考图像，包括：

在所述用户的相册中的拍摄图像中筛选出人脸与所述待修复图像的人脸的相似度大于预设相似度的图像，以作为一次筛选图像；

在所述一次筛选图像中筛选出人脸参数与所述待修复图像的人脸参数的匹配度大于预设匹配度的图像，以作为二次筛选图像；

在所述二次筛选图像中筛选出清晰度大于第二阈值的图像，以作为三次筛选图像，所述第二阈值大于第一阈值；和

根据每幅所述三次筛选图像的清晰度，将所述三次筛选图像划分为与所述美颜风格分别对应的参考图像。

9.根据权利要求8所述的图像处理方法，其特征在于，所述根据每幅所述三次筛选图像的清晰度，将所述三次筛选图像划分为与所述美颜风格分别对应的参考图像，包括：

将清晰度处于第一预定范围的所述三次筛选图像，作为与重度美颜用户对应的参考图像；

将清晰度处于第二预定范围的所述三次筛选图像，作为与中度美颜用户对应的参考图像；

将清晰度处于第三预定范围的所述三次筛选图像，作为与轻度美颜用户对应的参考图像；

其中，所述第一预定范围的上限小于等于所述第二预定范围的下限，所述第二预定范围的上限小于等于所述第三预定范围的下限。

10.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述美颜风格获取参考图像，还包括：

若发生以下情况中的任意一种时，则获取预设标准人像以作为参考图像，

在所述用户的相册中的拍摄图像中筛选不出人脸与所述待修复图像的人脸的相似度大于预设相似度的图像；

在所述一次筛选图像中筛选不出人脸参数与所述待修复图像的人脸参数的匹配度大于预设匹配度的图像；

在所述二次筛选图像中筛选不出清晰度大于第二阈值的图像；

其中，所述预设标准人像的清晰度高于第三阈值，所述第三阈值大于所述第二阈值。

11.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考图像对所述待修复图像进行处理，以得到目标图像，包括：

根据所述参考图像对所述待修复图像进行图像超分辨率算法处理，以得到目标图像。

12.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一获取模块，所述第一获取模块用于获取待修复图像；

第二获取模块，所述第二获取模块用于获取用户的美颜风格；

第三获取模块，所述第三获取模块用于根据所述美颜风格获取参考图像；

处理模块，所述处理模块用于根据所述参考图像对所述待修复图像进行处理，以得到目标图像；

所述根据所述参考图像对所述待修复图像进行处理，以得到目标图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参考图像经过上采样和下采样后的第二特征图；

获取所述参考图像未经过上采样和下采样的第三特征图；

获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参考特征；

获取所述第三特征图中与所述参考特征相似度超过第二预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为所述待修复图像并循环执行上述步骤，直至得到的所述第五特征图为目标放大倍数，则具有所述目标放大倍数的所述第五特征图为所述目标图像。

13.一种电子设备，其特征在于，所述电子设备包括壳体、成像装置和处理器，所述成像装置和所述处理器均安装在所述壳体内；所述成像装置用于拍摄图像，所述处理器用于实现权利要求1-11中任一项所述的图像处理方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-11中任一项所述的图像处理方法。

Images