CN118134935B - 一种电子元器件的外观缺陷检测方法、装置、介质和设备 - Google Patents

Abstract

本申请公开了一种电子元器件的外观缺陷检测方法、装置、介质和设备，涉及电子元器件检测技术领域，该方法包括：获取摄像机拍摄的待测电子元器件的检测图像；通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果；基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别。本申请旨在解决对电子元器件检测精度不高的技术问题，能够有效提高检测结果的准确性。

Description

一种电子元器件的外观缺陷检测方法、装置、介质和设备

技术领域

本申请涉及电子元器件检测技术领域，尤其涉及一种电子元器件的外观缺陷检测方法、装置、介质和设备。

背景技术

常见的电子元器件包括电阻、电容、电感、电位器等。其中，电容作为工业电路板上的常见元器件，在大批量的生产过程中，可能会由于各种因素的影响，导致电容的外观出现不同的缺陷，例如划痕、污渍、气泡、凹陷等缺陷。上述缺陷会给后续设备组装埋下一定程度的安全隐患，因此，需要对电容的外观进行检测。

但是，目前对于电容外观缺陷的检测，大部分采用人工抽检或半自动的检测方法对电容外观进行检查，该检测方法精度不高。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请的主要目的在于提供一种电子元器件的外观缺陷检测方法、装置、介质和设备，旨在解决对电子元器件检测精度不高的技术问题。

为实现上述目的，本申请提供一种电子元器件的外观缺陷检测方法，所述方法包括：获取摄像机拍摄的待测电子元器件的检测图像；通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果；基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别。

本申请的有益效果为：通过至少一个预设模型对待测电子元器件的检测图像进行处理，可以得到该待测电子元器件的是否具有缺陷；若该待测电子元器件具有缺陷，则根据该待测电子元器件的缺陷结果确定该待测电子元器件的缺陷类型；即，一方面，通过至少一个预设模型对待测电子元器件的检测图像进行检测，能够实现对待测电子元器件的检测图像进行至少一次的处理，能够有效提高检测的鲁棒性，进而提高对待测电子元器件外观缺陷识别的准确性；另一方面，通过待测电子元器件的缺陷结果确定待测电子元器件的缺陷类别，方便后续对缺陷结果进行验证，从而提高检测的准确性。

在一种实现方式中，所述通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果，包括：基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果；和/或，基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果；和/或，基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果。

本申请的有益效果为：通过缺陷目标检测模型、轮廓目标分割模型、图像处理模型和/或旋转目标检测模型对待测电子元器件进行检测，可以实现对待测电子元器件的多次检测，有效提高检测的鲁棒性和检出率。

在一种实现方式中，所述基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果，包括：通过所述缺陷目标检测模型对所述检测图像进行局部特征提取，得到所述待测电子元器件的侧面以及端面图像；对所述待测电子元器件的侧面以及端面图像进行检测，确定所述待测电子元器件的侧面以及端面是否存在脏污、露白、刀伤和/或破洞/漏液；若所述待测电子元器件的侧面以及端面存在脏污、露白、刀伤和/或破洞/漏液，则输出所述第一检测结果。

本申请的有益效果为：通过缺陷目标检测模型对检测图像进行局部特征提取，可以有效识别出待侧电子元器件的侧面以及端面的缺陷，保证检测结果的准确性。

在一种实现方式中，所述基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果，包括：通过所述轮廓目标分割模型对所述待测电子元器件的检测图像的进行形状特征提取，得到所述待测电子元器件的目标轮廓图像；通过所述图像处理模型对所述待测电子元器件的目标轮廓图像进行识别处理，得到所述待测电子元器件的外观参数；确定所述待测电子元器件的外观参数是否与预设外观参数相匹配；若所述待测电子元器件的外观参数与预设外观参数不匹配，则输出所述第二检测结果。

本申请的有益效果为：通过轮廓目标分割模型对待测电子元器件的轮廓进行确定，可以保证图像处理模型通过待测电子元器件的轮廓所得到的外观参数的准确性，进而可以保证检测结果的准确性。

在一种实现方式中，所述基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果，包括：通过所述旋转目标检测模型对所述待测电子元器件的检测图像进行定位，得到所述待测电子元器件在所述检测图像中的偏转角信息；通过图像处理模型和所述偏转角信息，对所述待测电子元器件的图像信息进行仿射以得到目标旋转图像；对所述目标旋转图像进行识别，输出所述第三检测结果。

本申请的有益效果为：通过旋转目标检测模型对待测电子元器件的检测图像进行旋转使得该检测图像能够被图像处理模型所识别，可以提高图像处理模型识别的准确性，进而提高检测结果的准确性。

在一种实现方式中，所述基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别，包括：若所述待测电子元器件的缺陷检测结果为所述第一检测结果，则所述待测电子元器件的缺陷类别为常规缺陷类别；若所述待测电子元器件的缺陷检测结果为所述第二检测结果，则所述待测电子元器件的缺陷类别为形变/度量缺陷类别；若所述待测电子元器件的缺陷检测结果为所述第三检测结果，则所述待测电子元器件的缺陷类别为边缘微小形变缺陷类别。

本申请的有益效果为：通过第一检测结果、第二检测结果和/或第三检测结果，对待测电子元器件的缺陷进分类，不仅可以方便后续对缺陷结果进行验证，整体上提高检测的准确性，而且便于后续工作人员根据缺陷类别对电子元器件进行回收处理。

在一种实现方式中，所述方法还包括：基于字符识别模型、所述旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，以识别混入同一型号的其他型号的待测电子元器件。

本申请的有益效果为：结合字符识别模型、旋转目标检测模型以及图像处理模型对待测电子元器件进行检测，可以提高对混入同一型号的其他型号的待测电子元器件的识别率，保证后续装配的安全性。

在一种实现方式中，通过tensorrt神经网络推理库对所述缺陷目标检测模型、所述轮廓目标分割模型、所述图像处理模型以及所述旋转目标检测模型进行推理加速。

本申请的有益效果为：通过对缺陷目标检测模型、轮廓目标分割模型、图像处理模型以及旋转目标检测模型的推理过程进行加速，可以减少计算误差和噪声干扰，进而提高检测结果的准确性。

在一种实现方式中，通过统一计算架构对所述检测图像的图像处理过程进行加速。

本申请的有益效果为：通过对检测图像的图像处理过程进行加速，可以提高图像的处理速度，实现在保证准确率的基础上，减少能源消耗降低运行成本。

此外，为实现上述目的，本申请还提供一种电子元器件的外观缺陷检测装置，所述装置包括：获取模块，用于获取摄像机拍摄的待测电子元器件的检测图像；缺陷检测模块，用于通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果；缺陷分类模块，用于基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别。

此外，本申请还提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述中任一项所述的方法。

此外，本申请还提供了一种电子元器件的外观缺陷检测设备，所述设备包括：至少一个处理器、存储器和输入输出单元；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行上述中任一项所述的方法。

本申请提出的一种电子元器件的外观缺陷检测方法、装置、介质及设备，一方面，通过至少一个预设模型对待测电子元器件的检测图像进行检测，能够实现对待测电子元器件的检测图像进行至少一次的处理，能够有效提高检测的鲁棒性，进而提高对待测电子元器件外观缺陷识别的准确性；另一方面，通过待测电子元器件的缺陷结果确定待测电子元器件的缺陷类别，方便后续对缺陷结果进行验证，从而提高检测的准确性。

附图说明

图1为本申请一实施例提供的一种电子元器件的外观缺陷检测方法的流程示意图；

图2为本申请一实施例提供的一种电子元器件的外观缺陷检测装置的功能模块示意图；

图3为本申请一实施例提供的一种介质的结构示意图；

图4为本申请一实施例提供的一种电子元器件的外观缺陷检测设备的结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本申请可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

常见的电子元器件包括电阻、电容、电感、电位器等。其中，电容作为工业电路板上的常见元器件，在大批量的生产过程中，可能会由于各种因素的影响，导致电容的外观出现不同的缺陷，例如划痕、污渍、气泡、凹陷等缺陷。上述缺陷会给后续设备组装埋下一定程度的安全隐患，因此，需要对电容的外观进行检测。

但是，目前对于电容外观缺陷的检测，大部分采用人工抽检或半自动的检测方法对电容外观进行检查，该检测方法精度不高。

本申请实施例的主要解决方案是：获取摄像机拍摄的待测电子元器件的检测图像；通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果；基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别。

本申请提供一种解决方案，通过至少一个预设模型对待测电子元器件的检测图像进行检测，能够实现对待测电子元器件的检测图像进行至少一次的检测处理，能够有效提高检测的鲁棒性，进而提高对待测电子元器件外观缺陷识别的准确性；另一方面，通过待测电子元器件的缺陷结果确定待测电子元器件的缺陷类别，方便后续对缺陷结果进行验证，从而提高检测的准确性。

需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。

参照图1，本申请一实施例提供的一种电子元器件的外观缺陷检测方法，电子元器件的外观缺陷检测方法包括：

步骤S110，获取摄像机拍摄的待测电子元器件的检测图像。

在示例实施例，摄像机可以为多个，分别被工作人员根据检测需求布置到不同的位置，该摄像机可以与本申请实施例的电子元器件的外观缺陷检测设备通信连接，将采集到的待测电子元器件的检测图像发送给电子元器件的外观缺陷检测设备。在本实施例中，该摄像机可以是工业相机。

需要说明的是，在实际应用中该摄像机可以设置有16个，分别是在16个不同的方位，对经过传送带的待测电子元器件进行图像采集。

步骤S120，通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果。

在示例实施例，缺陷检测结果可以包括脏污、露白、刀伤、破洞/漏液、胶管起翘、夹扁、凸起、胶皮套管收缩不规则、极性发生角度偏转等。

预设模型可以为缺陷目标检测模型、轮廓目标分割模型、图像处理模型、目标检测模型以及OCR字符检测模型。其中，缺陷目标检测模型一种用于识别和定位图像或视频中的缺陷或异常的深度学习模型，例如Faster R-CNN、YOLO、SSD等。轮廓目标分割模型是主动轮廓模型（Active Contour Model），也称为Snake模型。旋转目标检测模型通常采用旋转不变特征和旋转边界框参数来表示旋转目标。常见的旋转框参数表达方式为（x，y，w，h，θ），其中（x，y）为旋转中心坐标，（w，h）为旋转边界框的宽度和高度，θ为旋转角度。图像处理模型为传统CV算法，例如，傅里叶变换、形态学操作、边缘检测、特征提取、直方图均衡化以及感知机算法等。OCR字符检测模型是用于识别和定位图像中的文本区域的一种深度学习模型。它通常采用卷积神经网络（CNN）或全卷积网络（FCN）等深度学习技术，通过多阶段处理，对图像中的文本进行定位和识别。

在一种可能的实施方式中，为了对检测图像进行局部特征提取，可以有效识别出待侧电子元器件的侧面以及端面的缺陷，保证检测结果的准确性。上述步骤S120可以包括：基于缺陷目标检测模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的第一检测结果。

具体的，首先，通过缺陷目标检测模型对检测图像进行局部特征提取，得到待测电子元器件的侧面以及端面图像；其次，对待测电子元器件的侧面以及端面图像进行检测，确定待测电子元器件的侧面以及端面是否存在脏污、露白、刀伤、破洞或漏液；最后，若待测电子元器件的侧面以及端面存在脏污、露白、刀伤、破洞或漏液，则输出第一检测结果。

可理解的，利用缺陷目标检测模型的特征提取网络提取检测图像中的待侧电子元器件的侧面以及端面的图像，利用缺陷目标检测模型的分类器对待侧电子元器件的侧面以及端面的的图像进行分析，判断该待侧电子元器件的侧面以及端面是否具有缺陷，若有输出第一检测结果，第一检测结果代表待测电子元器件的侧面以及端面存在脏污、露白、刀伤、破洞或漏液的缺陷。

在一种可能的实施方式中，为了保证提取到的待测电子元器件的轮廓外观参数的准确性，进而可以保证检测结果的准确性。上述步骤S120还可以包括：基于轮廓目标分割模型以及图像处理模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的第二检测结果。

具体的，通过轮廓目标分割模型对待测电子元器件的检测图像的进行形状特征提取，得到待测电子元器件的目标轮廓图像；通过图像处理模型对待测电子元器件的目标轮廓图像进行识别处理，得到待测电子元器件的外观参数；确定待测电子元器件的外观参数是否与预设外观参数相匹配；若待测电子元器件的外观参数与预设外观参数不匹配，则输出第二检测结果。

可理解的，利用轮廓目标分割模型对检测图像中待测电子元器件的边缘点进行检测，将边缘点连接起来形成待测电子元器件的轮廓，之后利用图像处理模型对待测电子元器件的轮廓进行检测，得到待测电子元器件的外观参数，例如电子元器件的表面积参数、引脚间距参数、圆柱形外圆直径参数等，基于生产的标准外观参数对待测电子元器件的外观参数进行判断，若合格，则不输出结果，若不合格，输出第二检测结果。第二检测结果可以表示为待测电子元器件具有形变/度量缺陷，例如电子元器件的表面积参数不合格、引脚间距参数不合适和/或圆柱形外圆直径参数不合格等。

在一种可能的实施方式中，为了对待测电子元器件的检测图像进行旋转使得该检测图像能够被图像处理模型所识别，以提高图像处理模型识别的准确性，进而提高检测结果的准确性。上述步骤S120还可以包括：基于旋转目标检测模型以及图像处理模型对待测电子元器件的检测图像进行处理，得到第三检测结果。

具体的，通过旋转目标检测模型对待测电子元器件的检测图像进行定位，得到待测电子元器件在检测图像中的偏转角信息；通过图像处理模型和偏转角信息，对待测电子元器件的图像信息进行仿射以得到目标旋转图像；对目标旋转图像进行识别，输出第三检测结果。

可理解的，待测电子元器件在传送带上运输会发生偏转，摄像头采集的图像会发生角度偏差，为了便于对待测电子元器件的检测图像进行特征提取，利用旋转目标检测模型对检测图像进翻转定位，之后利用图像处理模型对翻转定位后的检测图像进行识别，若待测电子元器件存在边缘微小形变，则输出第三检测结果。

步骤S130，基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别。

在示例实施例，缺陷类别包括常规缺陷类别、形变/度量缺陷类别、边缘微小形变缺陷类别。常规缺陷类别、形变/度量缺陷类别为影响性能的缺陷，边缘微小形变缺陷类别不影响电子元器件的性能。

在一种可能的实施方式中，为了对待测电子元器件的缺陷进分类，方便后续对缺陷结果进行验证，整体上提高检测的准确性，以及便于后续工作人员根据缺陷类别对电子元器件进行回收处理。在本申请实施例中，结合上述实施例上述步骤S130可以包括：若待测电子元器件的缺陷检测结果为第一检测结果，则待测电子元器件的缺陷类别为常规缺陷类别；若待测电子元器件的缺陷检测结果为第二检测结果，则待测电子元器件的缺陷类别为形变/度量缺陷类别；若待测电子元器件的缺陷检测结果为第三检测结果，则待测电子元器件的缺陷类别为边缘微小形变缺陷类别。

需要说明的是，在本申请实施例中通过tensorrt神经网络推理库对缺陷目标检测模型、轮廓目标分割模型、图像处理模型以及旋转目标检测模型进行推理加速。通过统一计算架构对检测图像的图像处理过程进行加速。换言之，在深度学习运算方面采用tensorrt技术进行推理加速，在传统图像处理方面采用CUDA技术加速。

实施上述的步骤S110~步骤S130，通过至少一个预设模型对待测电子元器件的检测图像进行处理，可以得到该待测电子元器件的是否具有缺陷；若该待测电子元器件具有缺陷，则根据该待测电子元器件的缺陷结果确定该待测电子元器件的缺陷类型；即，一方面，通过至少一个预设模型对待测电子元器件的检测图像进行检测，能够实现对待测电子元器件的检测图像进行至少一次的处理，能够有效提高检测的鲁棒性，进而提高对待测电子元器件外观缺陷识别的准确性；另一方面，通过待测电子元器件的缺陷结果确定待测电子元器件的缺陷类别，方便后续对缺陷结果进行验证，从而提高检测的准确性。

此外，本申请实施例还可以通过对缺陷目标检测模型、轮廓目标分割模型、图像处理模型以及旋转目标检测模型的推理过程进行加速，可以减少计算误差和噪声干扰，进而提高检测结果的准确性。

以及，通过对检测图像的图像处理过程进行加速，可以提高图像的处理速度，实现在保证准确率的基础上，减少能源消耗降低运行成本。

本申请另一实施例中，为了提高对混入同一型号的其他型号的待测电子元器件的识别率，保证后续装配的安全性，上述方法还可以包括：基于字符识别模型、旋转目标检测模型以及图像处理模型对待测电子元器件的检测图像进行处理，以识别混入同一型号的其他型号的待测电子元器件。

可理解的，例如，通过对电容外层“胶管”上印刷的产品型号信息（工作电压、工作电流等）进行识别以实现分辨出混料。为实现对“胶管”上的产品型号信息进行识别，首先通过旋转目标检测模型定位到电容的位置以及偏转角度信息，随后利用图像处理模型根据角度信息将检测图像进行仿射变换以得到旋正的检测图像，最后再将旋正的检测图像送入字符识别模型即OCR算法中，对胶管上的产品型号信息进行识别，找出与其他电子元器件型号不一致的电子元器件。

在介绍了本申请示例性实施方式的方法之后，接下来，参考图2对本申请示例性实施方式的一种电子元器件的外观缺陷检测装置进行说明，一种电子元器件的外观缺陷检测装置200包括：获取模块210、缺陷检测模块220以及缺陷分类模块230。

其中，获取模块210用于获取摄像机拍摄的待测电子元器件的检测图像；

缺陷检测模块220用于通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果；

缺陷分类模块230用于基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别。

作为一种可选的实施方式，上述缺陷检测模块220还用于，基于缺陷目标检测模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的第一检测结果；和/或，基于轮廓目标分割模型以及图像处理模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的第二检测结果；和/或，基于旋转目标检测模型以及图像处理模型对待测电子元器件的检测图像进行处理，得到第三检测结果。

作为一种可选的实施方式，上述缺陷检测模块220还用于，通过缺陷目标检测模型对检测图像进行局部特征提取，得到待测电子元器件的侧面以及端面图像；对待测电子元器件的侧面以及端面图像进行检测，确定待测电子元器件的侧面以及端面是否存在脏污、露白、刀伤、破洞或漏液；若待测电子元器件的侧面以及端面存在脏污、露白、刀伤、破洞或漏液，则输出第一检测结果。

作为一种可选的实施方式，上述缺陷检测模块220还用于，通过轮廓目标分割模型对待测电子元器件的检测图像的进行形状特征提取，得到待测电子元器件的目标轮廓图像；通过图像处理模型对待测电子元器件的目标轮廓图像进行识别处理，得到待测电子元器件的外观参数；确定待测电子元器件的外观参数是否与预设外观参数相匹配；若待测电子元器件的外观参数与预设外观参数不匹配，则输出第二检测结果。

作为一种可选的实施方式，上述缺陷检测模块220还用于，通过旋转目标检测模型对待测电子元器件的检测图像进行定位，得到待测电子元器件在检测图像中的偏转角信息；通过图像处理模型和偏转角信息，对待测电子元器件的图像信息进行仿射以得到目标旋转图像；对目标旋转图像进行识别，输出第三检测结果。

作为一种可选的实施方式，上述缺陷分类模块230还用于，若待测电子元器件的缺陷检测结果为第一检测结果，则待测电子元器件的缺陷类别为常规缺陷类别；若待测电子元器件的缺陷检测结果为第二检测结果，则待测电子元器件的缺陷类别为形变/度量缺陷类别；若待测电子元器件的缺陷检测结果为第三检测结果，则待测电子元器件的缺陷类别为边缘微小形变缺陷类别。

作为一种可选的实施方式，上述电子元器件的外观缺陷检测装置200还用于，基于字符识别模型、旋转目标检测模型以及图像处理模型对待测电子元器件的检测图像进行处理，以识别混入同一型号的其他型号的待测电子元器件。

作为一种可选的实施方式，通过tensorrt神经网络推理库对缺陷目标检测模型、轮廓目标分割模型、图像处理模型以及旋转目标检测模型进行推理加速。

作为一种可选的实施方式，通过统一计算架构对检测图像的图像处理过程进行加速。

需要说明的是，上述实施例提供的电子元器件的外观缺陷检测装置在执行电子元器件的外观缺陷检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例提供的电子元器件的外观缺陷检测装置与电子元器件的外观缺陷检测方法实施例属于同一构思，因此对于本申请装置实施例中未披露的细节，请参照本申请上述的电子元器件的外观缺陷检测方法的实施例，这里不再赘述。

在介绍了本申请示例性实施方式的方法和装置之后，接下来，参考图3对本申请示例性实施方式的计算机可读存储介质进行说明，请参考图3，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取摄像机拍摄的待测电子元器件的检测图像；通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果；基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别；各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

在介绍了本申请示例性实施方式的方法、装置和介质之后，接下来，参考图4对本申请示例性实施方式的用于模型处理的电子元器件的外观缺陷检测设备。

图4示出了适于用来实现本申请实施方式的示例性电子元器件的外观缺陷检测设备40的框图，该电子元器件的外观缺陷检测设备40可以是计算机系统或服务器。图4显示的电子元器件的外观缺陷检测设备40仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，电子元器件的外观缺陷检测设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件（包括系统存储器402和处理单元401）的总线403。

电子元器件的外观缺陷检测设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子元器件的外观缺陷检测设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如RAM4021和/或高速缓存存储器4022。电子元器件的外观缺陷检测设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM4023可以用于读写不可移动的、非易失性磁介质（图4中未显示，通常称为“硬盘驱动器”）。尽管未在图4中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。系统存储器402中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组（至少一个）程序模块4024的程序/实用工具4025，可以存储在例如系统存储器402中，且这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本申请所描述的实施例中的功能和/或方法。

电子元器件的外观缺陷检测设备40也可以与一个或多个外部设备404（如键盘、指向设备、显示器等）通信。这种通信可以通过I/O接口405进行。并且，电子元器件的外观缺陷检测设备40还可以通过网络适配器406与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图4所示，网络适配器406通过总线403与电子元器件的外观缺陷检测设备40的其它模块（如处理单元401等）通信。应当明白，尽管图4中未示出，可以结合电子元器件的外观缺陷检测设备40使用其它硬件和/或软件模块。

处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如，获取摄像机拍摄的待测电子元器件的检测图像；通过至少一个预设模型对待测电子元器件的检测图像进行处理，得到待测电子元器件的缺陷检测结果；基于待测电子元器件的缺陷检测结果，得到待测电子元器件的缺陷类别。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了电子元器件的外观缺陷检测装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (8)

1.一种电子元器件的外观缺陷检测方法，其特征在于，所述方法包括：

获取摄像机拍摄的待测电子元器件的检测图像；

通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果；

基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别；

所述通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果，包括：

基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果；

基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果；

基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果；

所述基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果，包括：

通过所述缺陷目标检测模型对所述检测图像进行局部特征提取，得到所述待测电子元器件的侧面以及端面图像；

对所述待测电子元器件的侧面以及端面图像进行检测，确定所述待测电子元器件的侧面以及端面是否存在脏污、露白、刀伤、破洞或漏液；

若所述待测电子元器件的侧面以及端面存在脏污、露白、刀伤、破洞或漏液，则输出所述第一检测结果；

所述基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果，包括：

通过所述轮廓目标分割模型对所述待测电子元器件的检测图像的进行形状特征提取，得到所述待测电子元器件的目标轮廓图像；

通过所述图像处理模型对所述待测电子元器件的目标轮廓图像进行识别处理，得到所述待测电子元器件的外观参数；

确定所述待测电子元器件的外观参数是否与预设外观参数相匹配；

若所述待测电子元器件的外观参数与预设外观参数不匹配，则输出所述第二检测结果；

所述基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果，包括：

通过所述旋转目标检测模型对所述待测电子元器件的检测图像进行定位，得到所述待测电子元器件在所述检测图像中的偏转角信息；

通过图像处理模型和所述偏转角信息，对所述待测电子元器件的图像信息进行仿射以得到目标旋转图像；

对所述目标旋转图像进行识别，输出所述第三检测结果。

2.如权利要求1所述的方法，其特征在于，所述基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别，包括：

若所述待测电子元器件的缺陷检测结果为所述第一检测结果，则所述待测电子元器件的缺陷类别为常规缺陷类别；

若所述待测电子元器件的缺陷检测结果为所述第二检测结果，则所述待测电子元器件的缺陷类别为形变/度量缺陷类别；

若所述待测电子元器件的缺陷检测结果为所述第三检测结果，则所述待测电子元器件的缺陷类别为边缘微小形变缺陷类别。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于字符识别模型、所述旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，以识别混入同一型号的其他型号的待测电子元器件。

4.如权利要求1所述的方法，其特征在于，通过tensorrt神经网络推理库对所述缺陷目标检测模型、所述轮廓目标分割模型、所述图像处理模型以及所述旋转目标检测模型进行推理加速。

5.如权利要求1所述的方法，其特征在于，通过统一计算架构对所述检测图像的图像处理过程进行加速。

6.一种电子元器件的外观缺陷检测装置，其特征在于，所述装置包括：

获取模块，用于获取摄像机拍摄的待测电子元器件的检测图像；

缺陷检测模块，用于通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果；

缺陷分类模块，用于基于所述待测电子元器件的缺陷检测结果，得到所述待测电子元器件的缺陷类别；

所述通过至少一个预设模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的缺陷检测结果，包括：

基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果；

基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果；

基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果；

所述基于缺陷目标检测模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第一检测结果，包括：

通过所述缺陷目标检测模型对所述检测图像进行局部特征提取，得到所述待测电子元器件的侧面以及端面图像；

对所述待测电子元器件的侧面以及端面图像进行检测，确定所述待测电子元器件的侧面以及端面是否存在脏污、露白、刀伤、破洞、漏液；

若所述待测电子元器件的侧面以及端面存在脏污、露白、刀伤、破洞/漏液，则输出所述第一检测结果；

所述基于轮廓目标分割模型以及图像处理模型对所述待测电子元器件的检测图像进行处理，得到所述待测电子元器件的第二检测结果，包括：

通过所述轮廓目标分割模型对所述待测电子元器件的检测图像的进行形状特征提取，得到所述待测电子元器件的目标轮廓图像；

通过所述图像处理模型对所述待测电子元器件的目标轮廓图像进行识别处理，得到所述待测电子元器件的外观参数；

确定所述待测电子元器件的外观参数是否与预设外观参数相匹配；

若所述待测电子元器件的外观参数与预设外观参数不匹配，则输出所述第二检测结果；

所述基于旋转目标检测模型以及所述图像处理模型对所述待测电子元器件的检测图像进行处理，得到第三检测结果，包括：

通过所述旋转目标检测模型对所述待测电子元器件的检测图像进行定位，得到所述待测电子元器件在所述检测图像中的偏转角信息；

通过图像处理模型和所述偏转角信息，对所述待测电子元器件的图像信息进行仿射以得到目标旋转图像；

对所述目标旋转图像进行识别，输出所述第三检测结果。

7.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1~5中的任一项所述的方法。

8.一种电子元器件的外观缺陷检测设备，其特征在于，所述设备包括：

至少一个处理器、存储器和输入输出单元；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1~5中任一项所述的方法。