CN113498528B - 图像缺陷确定方法与装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及一种图像缺陷确定方法与装置、电子设备及存储介质，属于显示面板技术领域。该方法包括：对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像；对缺陷增强图像进行降采样处理，得到低分辨率图像；对低分辨率图像进行二值化处理，确定低分辨率图像中缺陷的位置；根据低分辨率图像中缺陷的位置，以及低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。本公开可以提高图像缺陷确定的效率。

Description

图像缺陷确定方法与装置、电子设备及存储介质

技术领域

本公开涉及显示面板技术领域，尤其涉及一种图像缺陷确定方法、图像缺陷确定装置、电子设备及计算机可读存储介质。

背景技术

液晶面板的生产包括很多工艺段，例如Array段、cell段、module段等，根据产品类型的不同而不同。每段大概需要5～15层的工艺，每层工艺需要4～8个制作流程。每个制作流程后对应有检测工序，由自动光学检测设备采集面板的缺陷图片，人工检测。工艺越到后面得到的缺陷图片越复杂，人工检测的效率较低的情况。

发明内容

本公开的目的在于提供一种图像缺陷确定方法、图像缺陷确定装置、电子设备及计算机可读存储介质。

根据本公开的第一方面，提供一种图像缺陷确定方法，包括：

对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像；

对所述缺陷增强图像进行降采样处理，得到低分辨率图像；

对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置；

根据所述低分辨率图像中缺陷的位置，以及所述低分辨率图像和所述待检测图像的映射关系，确定所述待检测图像中缺陷的位置。

可选的，本公开实施例的图像缺陷确定方法，还包括：

获取原始图像，对所述原始图像进行降采样处理及灰度处理，得到灰度图像；

根据所述灰度图像，确定所述待检测图像。

可选的，所述根据所述灰度图像，确定所述待检测图像，包括：

在所述灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对所述灰度图像进行裁剪，得到多个待检测图像，使所述待检测图像中像素的数量是所述目标图像的像素数量的整数倍。

可选的，所述对所述灰度图像进行裁剪，包括：

若所述灰度图像水平方向和竖直方向像素的数量分别是A和C，所述目标图像水平方向和竖直方向像素的数量分别是B和D，则根据公式：

Δx＝B-mod(A,B)，Δy＝D-mod(C,D)，确定所述灰度图像水平方向裁剪的像素数量Δx，以及竖直方向裁剪的像素数量Δy，其中，mod表示取余函数；

根据Δx和Δy对所述灰度图像进行裁剪。

可选的，所述对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，包括：

通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，所述掩膜图像中各像素对应的数值表示缺陷出现的概率。

可选的，所述通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，包括：

对所获取的待检测图像进行时频变换、幅值归一化以及频时变换，得到变换后的图像；

对所述变换后的图像进行降噪处理，得到降噪图像；

通过与所述降噪图像分辨率相同的掩膜图像对所述降噪图像进行处理，得到掩膜处理后的图像；

对所述掩膜处理后的图像进行归一化，得到缺陷增强图像。

可选的，所述掩膜图像中每个像素对应的灰度值，与该像素和所述掩膜图像的中心之间的距离呈负相关。

可选的，所述掩膜图像中像素对应的灰度值服从正态分布，且所述掩膜图像的中心对应的灰度值最大。

可选的，所述对所述缺陷增强图像进行降采样处理，得到低分辨率图像，包括：

对所述缺陷增强图像进行多次降采样处理、多次降噪处理及多次归一化处理，得到低分辨率图像。

可选的，所述对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置，包括：

将所述低分辨率图像中，对应的值小于预设阈值的像素所在位置作为缺陷的位置。

可选的，本公开实施例的图像缺陷确定方法，还包括：

根据缺陷分类模型对所述待检测图像进行分类，得到所述待检测图像的缺陷类别，其中，所述缺陷分类模型用于进行一种或多种缺陷类别的识别。

可选的，本公开实施例的图像缺陷确定方法，还包括：

获取原始图像，对所述原始图像进行降采样处理及灰度处理，得到灰度图像；

在所述灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对所述灰度图像进行裁剪，得到多个待检测图像，使所述待检测图像中像素的数量是所述目标图像的像素数量的整数倍；

根据缺陷分类模型对所述多个待检测图像进行分类，得到每个待检测图像的缺陷类别；

在所述多个待检测图像对应的缺陷类别相同时，将所述缺陷类别作为所述原始图像的缺陷类别。

可选的，所述缺陷分类模型是通过模型集成方法训练得到的。

可选的，本公开实施例的图像缺陷确定方法，还包括：

根据预先训练的平均模型、二分类模型和指数模型，以及训练集，通过stacking集成方法训练得到所述缺陷分类模型。

可选的，所述缺陷分类模型包括一组或多组不同的全连接层和归一化层，每组全连接层和归一化层对应不同的分类任务。

可选的，所述平均模型、所述二分类模型和所述指数模型均是基于ImageNet预训练模型训练得到的。

根据本公开的第二方面，提供一种图像缺陷确定装置，包括：

缺陷增强处理器，被配置为对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像；

降采样处理器，被配置为对所述缺陷增强图像进行降采样处理，得到低分辨率图像；

二值化处理器，被配置为对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置；

图像缺陷确定处理器，被配置为根据所述低分辨率图像中缺陷的位置，以及所述低分辨率图像和所述待检测图像的映射关系，确定所述待检测图像中缺陷的位置。

可选的，本公开实施例的图像缺陷确定装置，还包括：

预处理器，被配置为获取原始图像，对所述原始图像进行降采样处理及灰度处理，得到灰度图像；根据所述灰度图像，确定所述待检测图像。

可选的，所述预处理器通过下述步骤实现所述根据所述灰度图像，确定所述待检测图像：

在所述灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对所述灰度图像进行裁剪，得到多个待检测图像，使所述待检测图像中像素的数量是所述目标图像的像素数量的整数倍。

可选的，所述预处理器通过下述步骤实现对所述灰度图像进行裁剪：

若所述灰度图像水平方向和竖直方向像素的数量分别是A和C，所述目标图像水平方向和竖直方向像素的数量分别是B和D，则根据公式：

Δx＝B-mod(A,B)，Δy＝D-mod(C,D)，确定所述灰度图像水平方向裁剪的像素数量Δx，以及竖直方向裁剪的像素数量Δy，其中，mod表示取余函数；

根据Δx和Δy对所述灰度图像进行裁剪。

可选的，所述缺陷增强处理器具体被配置为通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，所述掩膜图像中各像素对应的数值表示缺陷出现的概率。

可选的，所述缺陷增强处理器通过下述步骤实现通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像：

对所获取的待检测图像进行时频变换、幅值归一化以及频时变换，得到变换后的图像；

对所述变换后的图像进行降噪处理，得到降噪图像；

通过与所述降噪图像分辨率相同的掩膜图像对所述降噪图像进行处理，得到掩膜处理后的图像；

对所述掩膜处理后的图像进行归一化，得到缺陷增强图像。

可选的，所述掩膜图像中每个像素对应的灰度值，与该像素和所述掩膜图像的中心之间的距离呈负相关。

可选的，所述掩膜图像中像素对应的灰度值服从正态分布，且所述掩膜图像的中心对应的灰度值最大。

可选的，所述降采样处理器，具体被配置为对所述缺陷增强图像进行多次降采样处理、多次降噪处理及多次归一化处理，得到低分辨率图像。

可选的，所述二值化处理器，具体被配置为将所述低分辨率图像中，对应的值小于预设阈值的像素所在位置作为缺陷的位置。

可选的，本公开实施例的图像缺陷确定装置，还包括：

缺陷分类处理器，被配置为根据缺陷分类模型对所述待检测图像进行分类，得到所述待检测图像的缺陷类别，其中，所述缺陷分类模型用于进行一种或多种缺陷类别的识别。

可选的，所述缺陷分类处理器还被配置为根据缺陷分类模型对所述多个待检测图像进行分类，得到每个待检测图像的缺陷类别；在所述多个待检测图像对应的缺陷类别相同时，将所述缺陷类别作为所述原始图像的缺陷类别。

可选的，所述缺陷分类模型是通过模型集成方法训练得到的。

可选的，本公开实施例的图像缺陷确定装置，还包括：

缺陷分类模型确定处理器，被配置为根据预先训练的平均模型、二分类模型和指数模型，以及训练集，通过stacking集成方法训练得到所述缺陷分类模型。

可选的，所述缺陷分类模型包括一组或多组不同的全连接层和归一化层，每组全连接层和归一化层对应不同的分类任务。

可选的，所述平均模型、所述二分类模型和所述指数模型均是基于ImageNet预训练模型训练得到的。

根据本公开的第三方面，提供一种电子设备，包括：

处理器；以及

存储器，被配置为存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项所述的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的一种图像缺陷确定方法与装置的示例性应用环境的系统架构的示意图；

图2示出了本公开实施例中图像缺陷确定方法的一种流程图；

图3(a)示出了本公开实施例中待检测图像的获取方法的一种流程图；

图3(b)示出了缺陷图像的一种示意图；

图4示出了本公开实施例中图像裁剪的一种示意图；

图5示出了本公开实施例中图像裁剪的又一种示意图；

图6示出了本公开实施例中图像裁剪的又一种示意图；

图7示出了本公开实施例中图像裁剪的又一种示意图；

图8示出了本公开实施例中缺陷增强处理的一种流程图；

图9示出了本公开实施例中振幅图像的一种示意图；

图10示出了本公开实施例中相位图像的一种示意图；

图11示出了本公开实施例中变换后的图像的一种示意图；

图12示出了本公开实施例中降噪图像的一种示意图；

图13示出了本公开实施例中的掩膜图像一种示意图；

图14示出了本公开实施例中的掩膜处理后的图像一种示意图；

图15示出了本公开实施例中二值化处理后的一种示意图；

图16示出了本公开实施例中所确定的缺陷位置的一种示意图；

图17示出了本公开实施例中缺陷分类模型的一种结构示意图；

图18示出了本公开实施例中缺陷分类模型的又一种结构示意图；

图19示出了本公开实施例中基础模型的网络结构示意图；

图20示出了本公开实施例中缺陷分类模型的网络结构示意图；

图21示出了本公开实施例中图像缺陷确定装置的一种结构示意图；

图22示出了用于实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

需要说明的是，本公开中，用语“包括”、“配置有”、“设置于”用以表示开放式的包括在内的意思，并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”等仅作为标记使用，不是对其对象数量或次序的限制。

目前，由于显示面板产品种类较多、工艺复杂、缺陷图像的背景膜层构造变化较大、采集图像的自动光学检测设备不统一，导致缺陷检测困难。针对显示面板生产过程中自动光学检测设备获取到的缺陷图像，大部分采取人工方式识别图像中的缺陷。然而，人工方式识别图像中的缺陷效率较低，尤其是随着生产工艺复杂度的增加，获取到的缺陷图像复杂度越高，人工识别缺陷的速度就越低，平均识别的速度为秒级。

为了解决上述问题，本公开提供了一种图像缺陷确定方法与装置、电子设备及计算机可读存储介质，可以提高图像缺陷确定的效率，降低人工成本。

图1示出了可以应用本公开实施例的一种图像缺陷确定方法与装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括图像获取设备101、网络102和服务器103。图像获取设备101可以包括：图像传感器、自动光学检测设备等，网络102用以在图像获取设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。图像获取设备101是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。应该理解，图1中的图像获取设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像获取设备、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像缺陷确定方法一般由服务器103执行，相应地，图像缺陷确定装置一般设置于服务器103中。举例而言，可以是通过图像获取设备101将缺陷图像上传至服务器103，服务器103通过本公开实施例所提供的图像缺陷确定方法对缺陷图像中的缺陷进行识别，从而确定缺陷的位置。

参见图2，图2示出了本公开实施例中图像缺陷确定方法的一种流程图，可以包括以下步骤：

步骤S210，对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像。

步骤S220，对缺陷增强图像进行降采样处理，得到低分辨率图像。

步骤S230，对低分辨率图像进行二值化处理，确定低分辨率图像中缺陷的位置。

步骤S240，根据低分辨率图像中缺陷的位置，以及低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。

本公开实施例的图像缺陷确定方法，通过对图像进行缺陷增强处理，得到缺陷增强图像，可以更好地凸显图像中的缺陷。通过对缺陷增强图像进行降采样处理，以降低缺陷增强图像的分辨率，得到低分辨率图像，可以更方便地确定低分辨率图像中缺陷的位置。之后，根据低分辨率图像中缺陷的位置以及低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。可见，本公开不需要人工识别缺陷即可确定图像中缺陷的位置，从而可以提高缺陷检测的效率。并且，通过图像缺陷增强处理及降采样处理等过程，可以提高所确定的缺陷位置的准确率。

以下对本公开实施例的图像缺陷确定方法进行更加详细的介绍。

在步骤S210中，对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像。

本公开实施例中，待检测图像指的是包含缺陷的图像，例如，可以是直接获取的缺陷图像，也可以是对图像获取设备获取的缺陷图像进行预处理后得到的。可选的，待检测图像的获取方法可参见图3(a)，包括以下步骤：

步骤S310，获取原始图像，对原始图像进行降采样处理及灰度处理，得到灰度图像。

本公开实施例中，原始图像可以是图像获取设备获取的缺陷图像，参见图3(b)，图3(b)示出了缺陷图像的一种示意图，可以看出，图像中标记为椭圆形状的位置存在缺陷。通常原始图像的分辨率较高，例如可以是1024*1024等。可以对原始图像进行降采样处理，得到分辨率较低的降采样图像，以提高缺陷识别的效率。其中，降采样即是采样点数的减少，对于一幅N*M的图像来说，如果降采样系数为k，则在原图像中每行每列每k个点取一个点组成一幅图像，得到的图像为(N/k)*(M/k)。例如，对于1024*1024的图像，如果降采样系数为2，降采样处理后，得到的降采样图像为512*512。

由于原始图像的缺陷形态各异，背景膜层差异性较大，为了能很好地凸显图像中的缺陷，可以对图像进行灰度处理。针对不同的图像，根据其色彩分布，可以采用不同的灰度化系数进行图像格式转换。在本公开的一种示例性实施例中，针对降采样图像中的每个像素，可以将该像素的灰度值更新为各通道灰度值的平均值，并对该平均值进行归一化。针对任一像素，如果该像素的坐标为(x,y)，可以通过以下公式：

计算该像素的灰度值Gray(x,y)，其中，R(x,y)、G(x,y)、B(x,y)分别表示该像素R、G、B三个通道的灰度值。

步骤S320，根据灰度图像，确定待检测图像。

本公开实施例中，可以直接将灰度图像作为待检测图像。还可以在灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对灰度图像进行裁剪，得到多个待检测图像，使待检测图像中像素的数量是目标图像的像素数量的整数倍。

需要说明的是，目标图像可以是从显示面板的某一区域中截取的图像，由于显示面板的产品类型不同，导致不同显示面板的目标图像中包含的图像像素的数量不同，而图像获取设备获取的图像可以是目标图像的阵列排布，可参见图3(b)。另外，对于同一显示面板，由于图像获取设备的不同，或者截取区域的不同等，目标图像中图像像素的数量也可以是变化的。

假设图像获取设备获取的图像包含A*C个图像像素，A和C分别为图像水平方向和竖直方向图像像素的数量，目标图像包含B*D个图像像素，B和D分别为目标图像水平方向和竖直方向图像像素的数量。A可能不是B的整数倍，C可能不是D的整数倍，此时，可以根据Δx＝B-mod(A,B)，Δy＝D-mod(C,D)，确定可以在水平方向和竖直方向分别裁减掉Δx和Δy个图像像素，其中，mod表示取余函数。当然，如果图像中包含的目标图像的像素数量是整数，可以不进行裁剪。

例如，目标图像可以包含70*70个图像像素，而图像获取设备获取的图像可以包含150*150个图像像素，则可以根据70-mod(150,70)＝60可知，可以在水平方向和竖直方向分别裁剪60个图像像素。本公开可以对原始图像进行裁剪，也可以对灰度图像进行裁剪，将裁剪后的图像作为待检测图像。这样，通过裁剪可以去除边缘信息，使裁剪后的图像包含的是完整的目标图像的阵列排布图像，避免因为边缘信息的不完整导致将边缘位置误判为缺陷位置。

在公开的一种示例性实施例中，可以分别从不同方向对灰度图像进行裁剪，得到多个图像，可参见图4～图7，空白区域和阴影区域构成灰度图像，阴影区域为裁剪区域，空白区域为裁剪后的图像。可以看到，在每次裁剪时，可以在水平方向和竖直方向各选择一个方向进行裁剪，从而得到4个图像，每个图像均为待检测图像。在下述步骤中，可以对每个待检测图像按照相同的方式进行处理。当然，图像裁剪的方式不限于上述4种，可以根据灰度图像中像素的数量和目标图像中像素的数量进行调整。

需要说明的是，图像增强可以有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。在此，缺陷增强处理是图像增强中的一种处理方式，也就是对图像中的缺陷进行增强处理。可选的，可以通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，掩膜图像中各像素对应的数值表示缺陷出现的概率。或者，也可以通过其他相关方法对待检测图像进行缺陷增强处理。

参见图8，图8示出了本公开实施例中缺陷增强处理的一种流程图，可以包括以下步骤：

步骤S810，对所获取的待检测图像进行时频变换、幅值归一化以及频时变换，得到变换后的图像。

其中，通过时频变换可以得到信号在频域的分布，图像也是一种信号，并且是离散的信号，对图像进行时频变换可以得到频谱数据。时频变换可以是离散傅里叶变换或小波变换等，频率的大小表示信号变化的剧烈程度，频率越大，信号变化越剧烈，频率越小，信号越平缓。对应到图像中，高频信号往往是图像中的边缘信号和噪声信号，而低频信号包含图像变化频繁的图像轮廓及背景等信号。需要说明的是，时频变换得到的频谱图上的点与原图像上的点之间不存在一一对应的关系。

对待检测图像对应的频域数据求取绝对值并进行幅值归一化，得到振幅图像，可参见图9，图9示出了本公开实施例中振幅图像的一种示意图。图中的横坐标和纵坐标分别表示水平方向和竖直方向像素点的数量，可以看出，水平方向和竖直方向像素点的数量均为512个。将频域数据除以振幅，可以得到相位数据，对应的相位图像可参见图10。之后，再进行频时变换(例如，可以是离散傅里叶反变换等)，取实部作为变换后的图像，变换后的图像可参见图11。

步骤S820，对变换后的图像进行降噪处理，得到降噪图像。

本公开实施例中，还可以对图像进行降噪处理。例如，可以对变换后的图像进行高斯滤波，得到平滑后的降噪图像，降噪图像可参见图12。其中，高斯滤波的滤波半径可以是1～10的数值，实验表明，在滤波半径为2时，降噪效果较好。

步骤S830，通过与降噪图像分辨率相同的掩膜图像对降噪图像进行处理，得到掩膜处理后的图像。

其中，掩膜是用选定的图像、图形或物体、对待处理的图像(全部或局部)进行遮挡来控制图像处理的区域或处理过程。本公开实施例中，可以通过掩膜图像对降噪图像进行处理，以增强图像中的缺陷。由于降噪图像中像素的位置越靠近中心，缺陷出现的概率越大，因此可以对不同位置缺陷出现的概率进行设置，得到掩膜图像，也就是掩膜图像中各像素对应的数值表示缺陷出现的概率。掩膜图像中每个像素对应的灰度值，与该像素和图像中心之间的距离呈负相关。也就是，掩膜图像中越靠近中心，像素对应的灰度值越大。可选的，掩膜图像中像素对应的灰度值可以服从正态分布，且掩膜图像的中心对应的灰度值最大。

另外，边缘位置出现缺陷的概率较低，因此可以将掩膜图像中边缘预设数量(例如，可以是5、6等)个像素对应的数值置零。参见图13，图13示出了本公开实施例中的掩膜图像一种示意图，可以看出，中心位置的亮度较高，表示值较大；边缘位置的亮度较低，表示值较小。

本公开实施例中，掩膜图像与降噪图像的分辨率相同，例如，均为512*512。掩膜图像对降噪图像的处理过程具体可以是，针对降噪图像中的每个像素，将该像素对应的数值与在掩膜图像中对应像素的数值的乘积，作为该像素对应的数值。可以理解的是，对降噪图像的中心区域进行增强处理，也就是对降噪图像的缺陷进行了增强处理。

需要说明的是，降噪图像是经过时频变换及频时变换后的图像，在此，每个像素对应的数值并不是像素值，不具有物理意义。掩膜处理后的图像可参见图14，可以看出，与边缘区域相比，可以使中心区域得到凸显。

步骤S840，对掩膜处理后的图像进行归一化，得到缺陷增强图像。

本公开实施例中，还可以对掩膜处理后的图像进行归一化。例如，可以先计算掩膜处理后的图像中像素的标准差，之后根据该标准差进行归一化，得到缺陷增强图像。

在步骤S220中，对缺陷增强图像进行降采样处理，得到低分辨率图像。

本公开实施例中，可以对缺陷增强图像进行后处理，以准确确定图像中的缺陷。可选的，可以对缺陷增强图像进行多次降采样处理、多次降噪处理及多次归一化处理，得到低分辨率图像，具体可以包括以下步骤：

首先，可以采用4*4的核对缺陷增强图像进行最大值采样，得到最大值采样图像。如果缺陷增强图像的分辨率为512*512，那么，最大值采样图像的分辨率为128*128。当然，也可以采用8*8的核对缺陷增强图像进行最大值采样，在此不做限定。之后，还可以得到该最大值采样图像的上限值max_value，实验表明，将上限值的一半作为下限值min_value，并且将该下限值min_value作为缺陷位置检测的阈值时，所确定的缺陷位置准确性较高。

其次，将最大值采样图像除以最小值，然后可以进行对数处理、归一化处理及高斯滤波，其中，高斯滤波可以是3*3的高斯滤波或其他类型的滤波。

再次，可以进行2*2的均值下采样，得到分辨率更小(64*64)的缺陷图像，该过程可以进行两次或更多次，最终得到32*32或分辨率更小的缺陷图像。

最后，再对该缺陷图像进行高斯滤波及归一化处理，得到低分辨率图像。可见，在原始图像的分辨率为1024*1024的情况下，得到的低分辨率图像的分辨率可以为32*32。

在步骤S230中，对低分辨率图像进行二值化处理，确定低分辨率图像中缺陷的位置。

本公开实施例中，通过实验可知，低分辨率图像中像素对应的数值越大，表示该像素所在位置为缺陷的概率越小；低分辨率图像中像素对应的数值越小，表示该像素所在位置为缺陷的概率越大。可选的，可以将低分辨率图像中，对应的值小于预设阈值(例如，上述下限值min_value)的像素所在位置作为缺陷的位置。

另外，还可以先对低分辨率图像进行4*4的最大值滤波，得到8*8的缺陷图像。之后，采用预设阈值对该缺陷图像进行二值化。具体的，可以将对应的值小于预设阈值的像素标记为1，将对应的值不小于预设阈值的像素标记为0，二值化后的图像可参见图15。可以看出，标记为1的像素数量为两个。

在步骤S240中，根据低分辨率图像中缺陷的位置，以及低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。

需要说明的是，在确定低分辨率图像中缺陷的位置后，可以根据低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。由于低分辨率图像和待检测图像的分辨率差别较大，如果直接进行映射，那么所确定的缺陷位置误差较大，在此，可以进行逐层映射。

例如，低分辨率图像的分辨率为8*8时，先映射至分辨率为32*32的图像。具体的，可以根据分辨率为8*8的图像中缺陷的位置，确定分辨率为32*32的图像中缺陷的位置。然后，将该位置中各像素对应的数值进行归一化，归一化后的值越接近于1，表示是缺陷的概率越大，因此，可以将归一化后的数值大于预设归一化值的像素所在位置确定为缺陷位置，其中，归一化后的数值可以是0.9、0.8等，在此不做限定。分辨率为32*32的图像中各像素对应的数值在归一化后的值可参见图16，图16包含分辨率为32*32的图像中的一部分像素对应的数值，其他区域的值为0，在图16中未示出。

在确定分辨率为32*32的图像中缺陷的位置后，可以按照同样的方法，再确定分辨率为128*128的图像中缺陷的位置，以此类推，最后确定分辨率为512*512的图像中缺陷的位置。当然，也可以确定原始图像中缺陷的位置。实验表明，本公开实施例的图像缺陷确定的准确率为99.99％。

可见，本公开实施例的图像缺陷确定方法中，可以自动对图像中的缺陷进行识别，避免人工操作，从而提高图像缺陷检测的效率。

本公开实施例中，根据缺陷分类模型对待检测图像进行分类，得到待检测图像的缺陷类别，其中，缺陷分类模型用于进行一种或多种缺陷类别的识别。还可以在步骤S240之后，根据待检测图像中缺陷的位置以及图像截取尺寸，从待检测图像中截取目标缺陷图像。更为具体的，可以根据缺陷的位置，期望截取的缺陷大小、图像大小，以缺陷中心点为基准，从待检测图像中截取目标缺陷图像。或者，也可以从原始图像中截取目标缺陷图像。这样，由于目标缺陷图像中缺陷在图像中所占的比例较大，因此，可以避免识别过多的背景信息，导致在进行缺陷分类时分类的准确性较低的问题。

之后，根据缺陷分类模型对目标缺陷图像进行分类，得到目标缺陷图像的缺陷类别。其中，缺陷分类模型可以是通过机器学习的方式训练得到的。由于训练集可能存在分布不均的情况，为了提高缺陷分类模型的准确性，缺陷分类模型可以是通过模型集成方法训练得到的。

其中，模型集成方法是将几种基础模型(通常称为弱学习器)组合成一个预测模型的算法，以达到减小方差、偏差或改进预测的效果。弱学习器可以称为0级学习器，将弱学习器组合得到的预测模型可以称为1级学习器。其中，Stacking集成方法可以训练一个模型，该模型用于组合其他各个模型。首先，先训练多个不同的基础模型，然后把各个基础模型的输出作为输入来训练一个模型，以得到一个最终的输出。

在本公开的一种示例性实施例中，可以根据预先训练的平均模型、二分类模型和指数模型，以及训练集，通过stacking集成方法训练得到缺陷分类模型。也就是说，基础模型可以包括：平均模型、二分类模型和指数模型。参见图17，图17示出了本公开实施例中缺陷分类模型的一种结构示意图，将平均模型、二分类模型和指数模型进行特征连接，从而得到缺陷分类模型。当然，基础模型也可以是其他模型，模型集成方法也不限于上述stacking集成方法。

在训练缺陷分类模型时，可以将预先训练的基础模型的模型参数锁定，将epoch设置为120，bachsize设置为256，训练优化器可以采用adadelta优化器等，学习率为0.3进行训练，得到缺陷分类模型。其中，当一个完整的数据集通过了神经网络一次并且返回了一次，该过程称为一个epoch，bachsize表示每次通过神经网络的数据集的数量。adadelta优化器是对学习率加以调整的优化方法，收敛速度较快。

本公开实施例中，训练集中包含图像和缺陷类别的对应关系，每个图像的缺陷类别可以是预先标注的。图像的缺陷类别可以包括很多种，为了提高基础模型的准确性，根据模型的不同，每种模型在训练时所使用的训练集可以不同。例如，平均模型对应的训练集中每种缺陷类别对应的图像的数量可以相等或者接近于相等。平均模型的输入为图像，输出为图像的缺陷类别。二分类模型对应的训练集中缺陷类别有两种，占比最高的缺陷类别为一种，除占比最高的缺陷类别之外的其他缺陷类别为另一种。二分类模型的输入为图像，输出为图像的两种缺陷类别。指数模型对应的训练集中每种缺陷类别对应的图像数量可以采用指数型分布，并在计算具体比例时归一化处理。指数模型的输入为图像，输出为图像的缺陷类别。

在模型训练时，当训练集的数据量较少的情况下，使用预训练模型可以快速收敛，而且可以得到较好的精度；在数据量足够的情况下，使用预训练模型可以更快收敛。因此，为了提高模型训练的速度及精度，平均模型、二分类模型和指数模型均可以是基于ImageNet预训练模型训练得到的。预训练模型是已经过训练的，可以执行大量数据上的特定任务(例如，识别图像的分类问题)。ImageNet预训练模型为包含两万个类的数百万张图片的巨型数据库，可用于图像的分类。

需要说明的是，经过图像裁剪之后，得到的待检测图像的数量可以是多个，那么，可以根据缺陷分类模型对多个待检测图像进行分类，得到每个待检测图像的缺陷类别；在多个待检测图像对应的缺陷类别相同时，将缺陷类别作为原始图像的缺陷类别。例如，在通过缺陷分类模型分类时，可以将4个待检测图像对应的目标缺陷图像分别输入缺陷分类模型，从而可以得到4个待检测图像对应的目标缺陷图像分别对应的缺陷类别。通过判断4个缺陷类别的一致性，确定最终的缺陷类别。例如，在4个缺陷类别相同时，可以确定该缺陷类别即为最终的缺陷类别；在4个缺陷类别不同时，可以通过人工的方式确定，可以进一步提高分类的准确性。

可选的，本公开实施例的缺陷分类模型还可以并行处理多任务，也就是，可以是从不同维度进行识别得到缺陷类别，例如，包括：工艺角度的缺陷类别和维修角度的缺陷类别等。例如，图像的类别可以包括：第一类别和第二类别，第一类别和第二类别中均包括多种缺陷类别，每个图像可以对应第一类别中的一个缺陷类别，也可以对应第二类别中的一个缺陷类别。缺陷分类模型可以同时确定图像对应的第一类别中的缺陷类别以及第二类别中的缺陷类别。相应的，在训练时，训练集中图像和缺陷类别的对应关系指的是，图像分别与第一类别中的缺陷类别和第二类别中的缺陷类别的对应关系，即一个图像对应两种缺陷类别。可以理解的是，根据缺陷类别的分类，一个图像除了可以对应两种缺陷类别，也可以对应更多种缺陷类别。因此，缺陷分类模型可以包括一组或多组不同的全连接层和归一化层，每组全连接层和归一化层对应不同的分类任务。

参见图18，图18示出了本公开实施例中缺陷分类模型的又一种结构示意图，可以看出，缺陷分类模型包括：集成网络、第一全连接层、第一归一化层、第二全连接层以及第二归一化层。集成网络可以包括：输入层、卷积层、池化层等，缺陷图像经过集成网络后，经过第一全连接层、第一归一化层可以确定图像对应的第一类别中的缺陷类别，经过第二全连接层、第二归一化层可以确定图像对应的第二类别中的缺陷类别。

参见图19，图19示出了本公开实施例中各基础模型的网络结构示意图，包括：输入层、卷积层、最大池化层、批量正则化层、激活层、最大池化层等。第一列表示模型中各层(Layer)的名称，第二列表示各层的输出(Output shape)，第三列表示各层中网络参数(param#)的数量。参见图20，图20示出了本公开实施例中缺陷分类模型的网络结构示意图，包括：输入层、连接层、全连接层等。可以看出，缺陷图像经过输入层处理后，分别经过三个基础模型(model_1_1、model_4_1和model_7_2)之后，进入连接层。之后分别经过第一全连接层(dense_1)和第二全连接层(dense_2)，从而可以确定缺陷图像对应的第一类别中的缺陷类别，以及第二类别中的缺陷类别。经过验证，可以确定缺陷分类模型的准确率大于95％。可见，具有较高的准确率。

本公开实施例的图像缺陷确定方法，采用缺陷增强处理的方法，例如，通过离散傅里叶变换、离散傅里叶反变换以及掩膜图像，可以凸显图像中的缺陷。之后通过降采样得到低分辨率图像，可以方便准确地确定图像中缺陷的位置。最后，通过逐层映射的方法可以提高最终确定的原始图像中缺陷位置的准确性。可见，本公开可以自动识别图像中缺陷的位置，不需要人工识别，可以提高识别效率。并且，通过模型集成方法，训练得到缺陷分类模型，并通过缺陷分类模型对目标缺陷图像进行分类，可以提高分类的准确性。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

相应于上述方法实施例，本公开实施例还提供了一种图像缺陷确定装置，参见图21，图21为本公开实施例的图像缺陷确定装置的一种结构示意图2100，包括：

缺陷增强处理器2110，被配置为对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像；

降采样处理器2120，被配置为对缺陷增强图像进行降采样处理，得到低分辨率图像；

二值化处理器2130，被配置为对低分辨率图像进行二值化处理，确定低分辨率图像中缺陷的位置；

图像缺陷确定处理器2140，被配置为根据低分辨率图像中缺陷的位置，以及低分辨率图像和待检测图像的映射关系，确定待检测图像中缺陷的位置。

可选的，本公开实施例的图像缺陷确定装置，还包括：

预处理器，被配置为获取原始图像，对原始图像进行降采样处理及灰度处理，得到灰度图像；根据灰度图像，确定待检测图像。

可选的，预处理器通过下述步骤实现根据灰度图像，确定待检测图像：

在灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对灰度图像进行裁剪，得到多个待检测图像，使待检测图像中像素的数量是目标图像的像素数量的整数倍。

可选的，预处理器通过下述步骤实现对灰度图像进行裁剪：

若灰度图像水平方向和竖直方向像素的数量分别是A和C，目标图像水平方向和竖直方向像素的数量分别是B和D，则根据公式：

Δx＝B-mod(A,B)，Δy＝D-mod(C,D)，确定灰度图像水平方向裁剪的像素数量Δx，以及竖直方向裁剪的像素数量Δy，其中，mod表示取余函数；

根据Δx和Δy对灰度图像进行裁剪。

可选的，缺陷增强处理器具体被配置为通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，掩膜图像中各像素对应的数值表示缺陷出现的概率。

可选的，缺陷增强处理器通过下述步骤实现通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像：

对所获取的待检测图像进行时频变换、幅值归一化以及频时变换，得到变换后的图像；

对变换后的图像进行降噪处理，得到降噪图像；

通过与降噪图像分辨率相同的掩膜图像对降噪图像进行处理，得到掩膜处理后的图像；

对掩膜处理后的图像进行归一化，得到缺陷增强图像。

可选的，掩膜图像中每个像素对应的灰度值，与该像素和缺陷图像的中心之间的距离呈负相关。

可选的，掩膜图像中像素对应的灰度值服从正态分布，且掩膜图像的中心对应的灰度值最大。

可选的，降采样处理器，具体被配置为对缺陷增强图像进行多次降采样处理、多次降噪处理及多次归一化处理，得到低分辨率图像。

可选的，二值化处理器，具体被配置为将低分辨率图像中，对应的值小于预设阈值的像素所在位置作为缺陷的位置。

可选的，本公开实施例的图像缺陷确定装置，还包括：

缺陷分类处理器，被配置为根据缺陷分类模型对待检测图像进行分类，得到待检测图像的缺陷类别，其中，缺陷分类模型用于进行一种或多种缺陷类别的识别。

可选的，缺陷分类处理器还被配置为根据缺陷分类模型对所述多个待检测图像进行分类，得到每个待检测图像的缺陷类别；在多个待检测图像对应的缺陷类别相同时，将缺陷类别作为原始图像的缺陷类别。

可选的，缺陷分类模型是通过模型集成方法训练得到的。

可选的，本公开实施例的图像缺陷确定装置，还包括：

缺陷分类模型确定处理器，被配置为根据预先训练的平均模型、二分类模型和指数模型，以及训练集，通过stacking集成方法训练得到缺陷分类模型。

可选的，缺陷分类模型包括一组或多组不同的全连接层和归一化层，每组全连接层和归一化层对应不同的分类任务。

可选的，平均模型、二分类模型和指数模型均是基于ImageNet预训练模型训练得到的。

上述装置中各处理器可以是通用处理器，包括：中央处理器、网络处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。上述装置中的各处理器可以是独立的处理器，也可以集成在一起。

在本公开的示例性实施例中，还提供一种电子设备，包括：处理器；被配置为存储处理器可执行指令的存储器；其中，处理器被配置为执行本示例实施方式中任一所述的方法。

图22示出了用于实现本公开实施例的电子设备的计算机系统的结构示意图。需要说明的是，图22示出的电子设备的计算机系统2200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图22所示，计算机系统2200包括中央处理器2201，其可以根据存储在只读存储器2202中的程序或者从存储部分2208加载到随机访问存储器2203中的程序而执行各种适当的动作和处理。在随机访问存储器2203中，还存储有系统操作所需的各种程序和数据。中央处理器2201、只读存储器2202以及随机访问存储器2203通过总线2204彼此相连。输入/输出接口2205也连接至总线2204。

以下部件连接至输入/输出接口2205：包括键盘、鼠标等的输入部分2206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分2207；包括硬盘等的存储部分2208；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分2209。通信部分2209经由诸如因特网的网络执行通信处理。驱动器2210也根据需要连接至输入/输出接口2205。可拆卸介质2211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2210上，以便于从其上读出的计算机程序根据需要被安装入存储部分2208。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分2209从网络上被下载和安装，和/或从可拆卸介质2211被安装。在该计算机程序被中央处理器2201执行时，执行本申请的装置中限定的各种功能。

在本公开的示例性实施例中，还提供一种非易失性计算机可读存储介质，其上存储有计算机程序，计算机程序被计算机执行时，计算机执行上述任意一项所述的方法。

需要说明的是，本公开所示的非易失性计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (19)

1.一种图像缺陷确定方法，其特征在于，包括：

通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，所述掩膜图像中各像素对应的数值表示缺陷出现的概率；

对所述缺陷增强图像进行降采样处理，得到低分辨率图像；

对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置；

根据所述低分辨率图像中缺陷的位置，以及所述低分辨率图像和所述待检测图像的映射关系，确定所述待检测图像中缺陷的位置。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取原始图像，对所述原始图像进行降采样处理及灰度处理，得到灰度图像；

根据所述灰度图像，确定所述待检测图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述灰度图像，确定所述待检测图像，包括：

在所述灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对所述灰度图像进行裁剪，得到多个待检测图像，使所述待检测图像中像素的数量是所述目标图像的像素数量的整数倍。

4.根据权利要求3所述的方法，其特征在于，所述对所述灰度图像进行裁剪，包括：

若所述灰度图像水平方向和竖直方向像素的数量分别是A和C，所述目标图像水平方向和竖直方向像素的数量分别是B和D，则根据公式：

∆x=B-mod(A,B)，∆y= D -mod(C,D)，确定所述灰度图像水平方向裁剪的像素数量∆x，以及竖直方向裁剪的像素数量∆y，其中，mod表示取余函数；

根据∆x和∆y对所述灰度图像进行裁剪。

5.根据权利要求1所述的方法，其特征在于，所述通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，包括：

对所获取的待检测图像进行时频变换、幅值归一化以及频时变换，得到变换后的图像；

对所述变换后的图像进行降噪处理，得到降噪图像；

通过与所述降噪图像分辨率相同的掩膜图像对所述降噪图像进行处理，得到掩膜处理后的图像；

对所述掩膜处理后的图像进行归一化，得到缺陷增强图像。

6.根据权利要求1所述的方法，其特征在于，所述掩膜图像中每个像素对应的灰度值，与该像素和所述掩膜图像的中心之间的距离呈负相关。

7.根据权利要求6所述的方法，其特征在于，所述掩膜图像中像素对应的灰度值服从正态分布，且所述掩膜图像的中心对应的灰度值最大。

8.根据权利要求1所述的方法，其特征在于，所述对所述缺陷增强图像进行降采样处理，得到低分辨率图像，包括：

对所述缺陷增强图像进行多次降采样处理、多次降噪处理及多次归一化处理，得到低分辨率图像。

9.根据权利要求1所述的方法，其特征在于，所述对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置，包括：

将所述低分辨率图像中，对应的值小于预设阈值的像素所在位置作为缺陷的位置。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据缺陷分类模型对所述待检测图像进行分类，得到所述待检测图像的缺陷类别，其中，所述缺陷分类模型用于进行一种或多种缺陷类别的识别。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

获取原始图像，对所述原始图像进行降采样处理及灰度处理，得到灰度图像；

在所述灰度图像中像素的数量不是目标图像的像素数量的整数倍时，对所述灰度图像进行裁剪，得到多个待检测图像，使所述待检测图像中像素的数量是所述目标图像的像素数量的整数倍；

根据所述缺陷分类模型对所述多个待检测图像进行分类，得到每个待检测图像的缺陷类别；

在所述多个待检测图像对应的缺陷类别相同时，将所述缺陷类别作为所述原始图像的缺陷类别。

12.根据权利要求10所述的方法，其特征在于，所述缺陷分类模型是通过模型集成方法训练得到的。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

根据预先训练的平均模型、二分类模型和指数模型，以及训练集，通过stacking集成方法训练得到所述缺陷分类模型。

14.根据权利要求10所述的方法，其特征在于，所述缺陷分类模型包括一组或多组不同的全连接层和归一化层，每组全连接层和归一化层对应不同的分类任务。

15.根据权利要求13所述的方法，其特征在于，所述平均模型、所述二分类模型和所述指数模型均是基于ImageNet预训练模型训练得到的。

16.一种图像缺陷确定装置，其特征在于，包括：

缺陷增强处理器，被配置为通过掩膜图像对所获取的待检测图像进行缺陷增强处理，得到缺陷增强图像，其中，所述掩膜图像中各像素对应的数值表示缺陷出现的概率；

降采样处理器，被配置为对所述缺陷增强图像进行降采样处理，得到低分辨率图像；

二值化处理器，被配置为对所述低分辨率图像进行二值化处理，确定所述低分辨率图像中缺陷的位置；

图像缺陷确定处理器，被配置为根据所述低分辨率图像中缺陷的位置，以及所述低分辨率图像和所述待检测图像的映射关系，确定所述待检测图像中缺陷的位置。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

缺陷分类处理器，被配置为根据缺陷分类模型对所述待检测图像进行分类，得到所述待检测图像的缺陷类别，其中，所述缺陷分类模型用于进行一种或多种缺陷类别的识别。

18.一种电子设备，其特征在于，包括：

处理器；以及

存储器，被配置为存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1~15任一项所述的方法。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~15任一项所述的方法。