CN109671058B - 一种大分辨率图像的缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种大分辨率图像的缺陷检测方法及系统，该方法包括以下步骤：S1：采用一定大小的滑动窗口在缺陷图像上进行横向和纵向滑动，得到若干分区图像；S2：通过基于小分辨率图像训练得到的目标检测模型对每一个分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个目标检测框的检测结果包括该目标检测框内所包含的缺陷类型的概率分类值；S3：依次计算结果集合中相邻的两个目标检测框之间的欧式距离，当欧式距离小于窗口融合阈值时对两个目标检测框进行融合，取概率分类值最大的目标检测框作为缺陷检测结果；本发明通过滑动切分和窗口融合的方式实现大分辨率图像的缺陷检测，不会导致微小缺陷丢失，避免造成过检或漏检。

Description

一种大分辨率图像的缺陷检测方法及系统

技术领域

本发明属于自动化缺陷检测技术领域，更具体地，涉及一种基于深度学习的大分辨率图像缺陷检测方法及系统。

背景技术

在LCD面板制作的过程中，往往因为背光板(Back Light Unit，BLU)上的划伤、灰尘、污渍等缺陷，导致最终LCD面板上出现类似的缺陷，这直接影响了LCD面板最终的质量和成品等级的输出结果，因此，在LCD制程的初期对BLU背光板上有可能出现的缺陷进行检测是至关重要的。

目前，BLU背光板上的缺陷检测主要是通过以下三种方法实现的，一是由质检员进行逐个人工检测；二是借助传统的图像处理算法进行检测；三是基于主流的深度学习算法进行检测，深度学习自2012年在ImageNet图像识别比赛中暂露头角以来，深度学习算法不仅在图像识别领域不断取得新的突破，在目标检测领域更是大放异彩；但是以上三种方法分别存在以下缺陷：

1、人眼检测存在很强的主观因素，而且人眼进行长期的检测也会存在视觉疲劳；此外，BLU背光板上的缺陷往往比较微弱，以上因素综合起来，会直接造成BLU背光板上大量缺陷的漏检和过检；并且检测效率低下，带来大量的人力成本和时间成本；

2、传统的图像处理算法虽然在一定程度上可以实现BLU背光缺陷的自动检测，但是传统的图像处理算法泛化能力不强，需要调节的参数过多，检测过程需要人为干预，在针对多样化的BLU背光缺陷检测时，该方法不仅会使得整个缺陷检测过程不能完全自动化，并且因为不可控因素众多，也会造成大量的过检和漏检；

3、深度学习领域中的主流目标检测算法的缺陷检测效果良好，但是，这些主流的目标检测算法的检测对象都是小分辨率的图像，并不能直接用于类似BLU缺陷图像这样的大分辨率图像；并且，由于BLU缺陷图像中的缺陷非常微弱，其中50％的缺陷面积基本为10个像素*10个像素左右，因此也无法直接将大分辨率缺陷图像直接通过主流的目标检测算法中的金字塔下采样算法降采样至小分辨率的图像，因为直接降采样将会使得原始缺陷图像中的大量缺陷丢失，也将将会造成大量的LCD缺陷过检和漏检。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种大分辨率图像的缺陷检测方法及系统，其目的在于解决现检测方法存在的不能直接检测大分辨率图像、容易出现过检漏检的问题。

为实现上述目的，按照本发明的一个方面，提供了一种大分辨率图像的缺陷检测方法，包括以下步骤：

S1：采用一定大小的滑动窗口在待测缺陷图像上进行横向和纵向滑动，将待测缺陷图像切割为若干分区图像，每一次横向或纵向滑动时所述滑动窗口覆盖的区域为一个分区图像；相邻两次的横向或纵向滑动之间彼此不重叠，且若干次横向或纵向滑动所生成的分区图像的集合需覆盖全部的待测缺陷图像；

S2：通过基于小分辨率图像训练得到的目标检测模型对每一个分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个所述目标检测框的检测结果包括该目标检测框内所包含的缺陷类型的概率分类值；

S3：依次计算所述结果集合中相邻的两个目标检测框之间的欧式距离，当所述欧式距离小于预设的窗口融合阈值时对两个目标检测框进行融合，取概率分类值最大的目标检测框作为缺陷检测结果。

优选的，上述缺陷检测方法，其目标检测框的检测结果还包括检测框左上角的点坐标、宽度和高度。

优选的，上述缺陷检测方法，其步骤S3中还包括：

根据目标检测框左上角的点坐标、宽度、高度计算每一个目标检测框中心点的坐标，并根据所述中心点的坐标对所述结果集合中的各目标检测框进行排序。

优选的，上述缺陷检测方法，其步骤S1之前还包括：

将大分辨率的缺陷样本图像切割为若干小分辨率图像，对所述小分辨率图像中的缺陷类型进行标记，生成训练集合；并根据所述训练集合对基于深度学习的目标检测模型进行训练。

优选的，上述缺陷检测方法，其滑动窗口的大小为312像素×312像素、416像素×416像素、512像素×512像素、608像素×608像素中的任一种。

按照本发明的另一个方面，还提供了一种大分辨率图像的缺陷检测系统，包括处理器、存储器，以及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的步骤。

优选的，上述缺陷检测系统，其处理器包括滑动模块、检测模块和融合模块；

所述滑动模块用于采用一定大小的滑动窗口在待测缺陷图像上进行横向和纵向滑动，将待测缺陷图像切割为多个分区图像，且若干次横向或纵向滑动对应的分区图像的集合需覆盖整个缺陷图像；

所述检测模块用于通过基于小分辨率图像训练得到的目标检测模型对每一个分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个所述目标检测框的检测结果包括该目标检测框内所包含的缺陷类型的概率分类值；

所述融合模块用于依次计算所述结果集合中相邻的两个目标检测框之间的欧式距离，当所述欧式距离小于预设的窗口融合阈值时对两个目标检测框进行融合，取概率分类值最大的目标检测框作为缺陷检测结果。

优选的，上述缺陷检测系统，其目标检测框的检测结果还包括检测框左上角的点坐标、宽度和高度。

优选的，上述缺陷检测系统，还包括排序模块；

所述排序模块用于根据目标检测框左上角的点坐标、宽度、高度计算每一个目标检测框中心点的坐标，并根据所述中心点的坐标对所述结果集合中的各目标检测框进行排序。

优选的，上述缺陷检测系统，还包括分割模块和训练模块；

所述分割模块用于将大分辨率的缺陷样本图像切割为若干小分辨率图像，对所述小分辨率图像中的缺陷类型进行标记，生成训练集合；

所述训练模块用于根据所述训练集合对基于深度学习的目标检测模型进行训练。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的一种大分辨率图像的缺陷检测方法及系统，首先使用滑动窗口将大分辨率的缺陷图像切分为小分辨率图像，然后将小分辨图像送入目标检测网络模型进行缺陷检测，通过这种滑动切分的方式实现大分辨率图像的缺陷检测，不会导致原始缺陷图像中的微小缺陷丢失，避免造成缺陷过检或漏检；

(2)本发明提供的一种大分辨率图像的缺陷检测方法及系统，通过目标检测窗口融合的方法对同一个缺陷的多个目标检测框进行二次处理，并取概率分类值最大的目标检测框作为缺陷检测结果，可有效的避免出现过检漏检错检的情况；

(3)本发明提供的一种大分辨率图像的缺陷检测方法及系统，不仅可以对缺陷图像中的缺陷进行检测和定位，同时可以对检测出来的缺陷进行分类，将传统的目标检测和分类两个流程融合在一个框架之中，提高了AOI检测系统的性能，简化了缺陷检测流程，减少人工检测的人力投入；

(4)本发明提供的一种大分辨率图像的缺陷检测方法及系统，无需对当前的AOI结构进行修改，不会增加任何的硬件成本，具有容易实现、成本低、实用性高的特点。

附图说明

图1是本发明实施例提供的大分辨率图像的缺陷检测方法的流程图；

图2是本发明实施例提供的目标检测框的可视化界面示意图；

图3是本发明实施例提供的SOPC芯片的逻辑框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本实施例所提供的一种大分辨率图像的缺陷检测方法，将深度学习领域中的目标检测算法引入到LCD目标检测领域，主要适用于对BLU大分辨率图像的缺陷检测，解决深度学习领域中的主流目标检测算法不适用于大分辨率图像检测、存在过检漏检情况的问题。

图1是本实施例提供的大分辨率图像的缺陷检测方法的流程图，如图1所示，该方法包括以下步骤：

S1：收集大量的大分辨率BLU缺陷图像，将该大分辨率BLU缺陷图像切割成小分辨率图像，并对各小分辨率图像里面的缺陷按照不同的缺陷类型进行标记，制作训练集合；使用该训练集合对基于深度学习的目标检测模型进行训练；本实施例采用深度学习中的卷积神经网络作为目标检测模型，只需要进行一次网络模型的设计就可以对训练集合中的各类缺陷的缺陷特征进行提取，无需根据不同的缺陷类型设计不同的特征提取方法；

S2：采用一定大小的滑动窗口在待测BLU缺陷图像上进行从左至右、从上至下的滑动，相邻两次的横向或纵向滑动之间最好是互不重叠，若干次横向或纵向滑动需覆盖全部的待测BLU缺陷图像；滑动窗口的滑动次序不作具体限定，可以采用先横向滑动再纵向滑动、先纵向滑动再横向滑动、横向纵向交替滑动等方式进行；每滑动一次，便将滑动窗口覆盖下的分区图像送入训练后的目标检测网络进行缺陷的检测；

滑动窗口的大小不作具体限制，一般来说根据待测BLU缺陷图像的分辨率进行选择，待测BLU缺陷图像的分辨率越大，则可以选用较大的滑动窗口；常用的滑动窗口的大小为312像素×312像素、416像素×416像素、512像素×512像素、608像素×608像素等；本实施例首先使用滑动窗口将大分辨率的BLU缺陷图像切分为小分辨率图像，然后将小分辨图像送入目标检测网络模型进行缺陷检测，通过这种滑动的方式即可实现大分辨率图像的缺陷检测，并且不会导致原始缺陷图像中的微小缺陷丢失，避免造成缺陷过检或漏检。

S3：通过目标检测模型对滑动窗口每一次滑动所覆盖的分区图像进行缺陷检测，得到一个描述目标检测框的结果集合(bbox₁，bbox₂，bbox₃，...，bbox_n)，这些bbox代表的检测结果进行可视化后，为如图2所示的显示在BLU缺陷图像上的目标检测框；每一个bbox具体包含的检测结果为bbox(x，y，w，h，prob)，其中，变量x，y为目标检测框左上角点的坐标，w，h分别为目标检测框的宽度和高度，prob为目标检测框内所包含的缺陷类型的概率分类值；

S4：根据目标检测框左上角的点坐标(x，y)、宽度w、高度h计算每一个目标检测框中心点的坐标(center_x，center_y)，并根据中心点的坐标(center_x，center_y)对结果集合中的各目标检测框进行排序；由于同一个缺陷可能会检测出多个目标检测框，图2中所示的三个目标检测框即为同一个缺陷，采用快速排序算法对各目标检测框进行两次排序，首先根据x坐标进行排序，然后根据y坐标进行排序；经过排序之后，同一个缺陷对应的多个目标检测框的中心点坐标(center_x，center_y)就会相邻；

S5：依次计算结果集合中相邻的两个目标检测框之间的欧式距离，将该欧式距离与预设的窗口融合阈值iWinFuseT进行比较，如果两个目标检测框的欧式距离小于窗口融合阈值iWinFuseT，表明这两个目标检测框对应的是同一个缺陷，则对这两个目标检测框进行融合；

其中，n的取值范围为[1，N-1]，N为结果集合中所含的目标检测框的个数；

S6：在两个融合的目标检测框取中概率分类值prob最大的目标检测框作为缺陷检测结果，输出最终融合的缺陷检测结果。

本实施例通过目标检测窗口融合的方法对同一个缺陷的多个目标检测框进行二次处理，并取概率分类值最大的目标检测框作为缺陷检测结果，可有效的避免出现过检漏检错检的情况；并且在缺陷定位和检测的过程中同时实现了对缺陷类型的分类，将传统的目标检测和分类两个流程融合在一个框架之中，提高了AOI检测系统的性能，简化了缺陷检测流程，减少人工检测的人力投入。

本实施例还提供了一种大分辨率图像的缺陷检测系统，包括SOPC芯片、存储器，该存储器中存储有可在SOPC芯片上运行的计算机程序，该计算机程序被执行时实现上述方法的步骤；图3是本发明实施例提供的SOPC芯片的逻辑框图，如图3所示，SOPC芯片上例化有多个功能模块，包括滑动模块、检测模块和融合模块；

其中，滑动模块中加载有滑动窗口算法，用于采用一定大小的滑动窗口在待测BLU缺陷图像上进行横向和纵向滑动，得到若干分区图像；相邻两次的横向或纵向滑动之间最好是互不重叠，若干次横向或纵向滑动的分区图像需覆盖全部的待测BLU缺陷图像；滑动窗口的滑动次序不作具体限定，可以采用先横向滑动再纵向滑动、先纵向滑动再横向滑动、横向纵向交替滑动等方式进行；每滑动一次，便将滑动窗口覆盖下的图像送入训练后的目标检测网络进行缺陷的检测；滑动窗口的大小不作具体限制，一般来说根据待测BLU缺陷图像的分辨率进行选择，待测BLU缺陷图像的分辨率越大，则可以选用较大的滑动窗口；常用的滑动窗口的大小为312像素×312像素、416像素×416像素、512像素×512像素、608像素×608像素等；

检测模块用于通过基于小分辨率图像训练得到的目标检测模型对滑动模块输出的每一个分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个目标检测框的检测结果包括检测框左上角的点坐标、宽度、高度以及该目标检测框内所包含的缺陷类型的概率分类值；

融合模块中加载有目标检测窗口融合算法，用于依次计算结果集合中相邻的两个目标检测框之间的欧式距离，当两个目标检测框的欧式距离小于预设的窗口融合阈值时对这两个目标检测框进行融合，取概率分类值最大的目标检测框作为缺陷检测结果。

作为本实施例的一个优选，该处理器还包括排序模块；排序模块中加载有快速排序算法，用于根据目标检测框左上角的点坐标、宽度、高度计算每一个目标检测框中心点的坐标，并根据中心点的坐标对结果集合中的各目标检测框进行排序。

作为本实施例的一个优选，该处理器还包括分割模块和训练模块；

分割模块用于将大分辨率的缺陷样本图像切割为若干小分辨率图像，对各个小分辨率图像中的缺陷类型进行标记，生成训练集合；

训练模块用于根据上述训练集合对基于深度学习的目标检测模型进行训练；本实施例优选采用深度学习中的卷积神经网络作为目标检测模型，只需要进行一次网络模型的设计就可以对训练集合中的各类缺陷的缺陷特征进行提取，无需根据不同的缺陷类型设计不同的特征提取方法。

上述技术方案中，SOPC芯片可替换为中央处理器单元(Central ProcessingUnit，CPU)、通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编辑门阵列(Field－Programmable Gate Array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件等。

相比于现有的缺陷检测方法，本发明提供的一种大分辨率图像的缺陷检测方法及系统，首先使用滑动窗口将大分辨率的缺陷图像切分为小分辨率图像，然后将小分辨图像送入目标检测网络模型进行缺陷检测，通过这种滑动切分的方式实现大分辨率图像的缺陷检测，不会导致原始缺陷图像中的微小缺陷丢失；通过目标检测窗口融合的方法对同一个缺陷的多个目标检测框进行二次处理，并取概率分类值最大的目标检测框作为缺陷检测结果，可有效的避免出现过检漏检错检的情况。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种大分辨率图像的缺陷检测方法，其特征在于，包括以下步骤：

S1：采用滑动窗口在待测缺陷图像上进行横向和纵向滑动，将待测缺陷图像切割为多个分区图像，且若干次横向或纵向滑动所覆盖的分区图像的集合需覆盖整个缺陷图像；

S2：通过基于小分辨率图像训练得到的目标检测模型对每一个所述分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个所述目标检测框的检测结果包括该目标检测框内所包含的缺陷类型的概率分类值；

S3：根据目标检测框左上角的点坐标、宽度、高度计算每一个目标检测框中心点的坐标，并根据所述中心点的坐标对所述结果集合中的各目标检测框进行排序；依次计算排序后的结果集合中相邻的两个目标检测框之间的欧式距离，当所述欧式距离小于预设的窗口融合阈值时对两个目标检测框进行融合，以概率分类值最大的目标检测框作为缺陷检测结果。

2.如权利要求1所述的缺陷检测方法，其特征在于，所述目标检测框的检测结果还包括检测框左上角的点坐标、检测框的宽度和高度。

3.如权利要求1所述的缺陷检测方法，其特征在于，步骤S1之前还包括：

将大分辨率的样本缺陷图像切割为若干小分辨率图像，对所述小分辨率图像中的缺陷类型进行标记，生成训练集合；并根据所述训练集合对基于深度学习的目标检测模型进行训练。

4.如权利要求1所述的缺陷检测方法，其特征在于，所述滑动窗口的大小为312像素×312像素、416像素×416像素、512像素×512像素、608像素×608像素中的任一种。

5.一种大分辨率图像的缺陷检测系统，其特征在于，包括处理器、存储器，以及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。

6.如权利要求5所述的缺陷检测系统，其特征在于，所述处理器包括滑动模块、检测模块和融合模块；

所述滑动模块用于采用滑动窗口在待测缺陷图像上进行横向和纵向滑动，将待测缺陷图像切割为多个分区图像，且若干次横向或纵向滑动对应的分区图像的集合需覆盖整个缺陷图像；

所述检测模块用于通过基于小分辨率图像训练得到的目标检测模型对每一个所述的分区图像进行缺陷检测，得到一个描述目标检测框的结果集合，每一个所述目标检测框的检测结果包括该目标检测框内所包含的缺陷类型的概率分类值；

所述融合模块用于依次计算所述结果集合中相邻的两个目标检测框之间的欧式距离，当所述欧式距离小于预设的窗口融合阈值时对两个目标检测框进行融合，取概率分类值最大的目标检测框作为缺陷检测结果。

7.如权利要求6所述的缺陷检测系统，其特征在于，所述目标检测框的检测结果还包括检测框左上角的点坐标、检测框的宽度和高度。

8.如权利要求7所述的缺陷检测系统，其特征在于，还包括排序模块；

所述排序模块用于根据目标检测框左上角的点坐标、宽度、高度计算每一个目标检测框中心点的坐标，并根据所述中心点的坐标对所述结果集合中的各目标检测框进行排序。

9.如权利要求6或8所述的缺陷检测系统，其特征在于，还包括分割模块和训练模块；

所述分割模块用于将大分辨率的缺陷样本图像切割为若干小分辨率图像，对所述小分辨率图像中的缺陷类型进行标记，生成训练集合；

所述训练模块用于根据所述训练集合对基于深度学习的目标检测模型进行训练。

Images