CN114972359B - 基于对称性分析的网状织物缺陷快速检测方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及基于对称性分析的网状织物缺陷快速检测方法。该方法是一种识别图像的方法，能够应用于计算机视觉软件等应用软件开发，该方法包括：对获取的待检测网状织物图像进行处理，得到目标网状织物图像；获取目标网状织物图像的第一斜轴和第二斜轴，以获取第一匹配对和第二匹配对；根据各第一匹配对中两个像素点对应的初始标记值和各第二匹配对中两个像素点对应的初始标记值，得到各像素点对应的第二标记值和第三标记值，以获取各像素点对应的目标标记值，进而得到目标网状织物图像中的各缺陷区域对应的缺陷类别。本发明提高了对网状织物进行缺陷检测的可靠性。

Description

基于对称性分析的网状织物缺陷快速检测方法

技术领域

本发明涉及数据处理技术领域，具体涉及基于对称性分析的网状织物缺陷快速检测方法。

背景技术

网状织物一般是指一种有着规律性孔洞的织物，如针织毛线、镂空绣花、化纤面料和蚊帐等，不仅能用于衣物纺织，还能用于农业，工业等领域。在网状织物生产过程中，难以避免的会出现缺陷，从而影响织物的外观和功能。因此，网状织物在出厂前的检测是至关重要的，这决定了产品的销售情况和后续产品的生产控制。目前，大多数网状织物生产流水线都是采用人工手段来检测缺陷，例如在织物运输时用目光逐步扫过，或者是进行抽样检测；人工检测的方法具有较强的主观性，而且长时间观察周期性图案会导致人眼辨别和定位能力下降，容易导致漏检、误检的情况，可靠性较低。

发明内容

为了解决现有技术基于人工方式对网状织物进行缺陷检测的可靠性较低的问题，本发明的目的在于提供一种基于对称性分析的网状织物缺陷快速检测方法，所采用的技术方案具体如下：

本发明提供了一种基于对称性分析的网状织物缺陷快速检测方法包括以下步骤：

获取待检测网状织物图像，所述待检测网状织物图像为二值图像，将待检测网状织物图像中像素点对应的标记值记为初始标记值；

对待检测网状织物图像进行处理，得到目标网状织物图像；

获取目标网状织物图像右上角到左下角的对角线，记为的第一斜轴；获取目标网状织物图像左上角到右下角的对角线，记为第二斜轴；将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对；

计算各第一匹配对中两个像素点对应的初始标记值之差，得到第一匹配对中两个像素点对应的第二标记值；计算各第二匹配对中两个像素点对应的初始标记值之差，得到第二匹配对中两个像素点对应的第三标记值；

根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值；根据所述各像素点对应的目标标记值，得到目标网状织物图像中的各缺陷区域对应的缺陷类别。

优选的，所述对待检测网状织物图像进行处理，得到目标网状织物图像，包括：

获取待检测网状织物图像对应的中心点的位置；

在待检测网状织物图像中过所述中心点作一条竖直方向的直线，记为竖直直线；

构建对称轴搜寻框；

将所述中心点作为对称轴搜寻框的出发点，依次对竖直直线上中心点上边的像素点和中心点下边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为第一锚点；所述对称轴搜寻框的中心位置为遍历到的像素点的位置；

获取第一锚点与待检测网状织物图像中上边界之间的距离，记为第一距离；获取第一锚点与待检测网状织物图像中下边界之间的距离，记为第二距离；根据第一距离和第二距离对待检测网状织物图像进行裁剪，得到初始目标图像；所述初始目标图像中第一锚点与初始目标图像的上边界和下边界之间的距离相等；

在初始目标图像中过第一锚点作一条水平方向的直线，记为水平直线；

将所述第一锚点作为对称轴搜寻框的出发点，依次对水平直线上第一锚点左边的像素点和第一锚点右边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为目标锚点；

获取目标锚点与初始目标图像中左边界之间的距离，记为第三距离；获取目标锚点与初始目标图像中右边界之间的距离，记为第四距离；根据第三距离和第四距离对初始目标图像进行裁剪，得到目标网状织物图像；

所述目标网状织物图像中目标锚点与目标网状织物图像的左边界和右边界之间的距离相等，所述目标锚点为目标网状织物图像的中心点。

优选的，将所述中心点作为对称轴搜寻框的出发点，依次对竖直直线上中心点上边的像素点和中心点下边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为第一锚点，包括：

对于所述竖直直线上任一像素点对应的对称轴搜寻框：

将该对称轴搜寻框沿水平方向上的对称轴分为上下两部分，分别记为上半部分和下半部分；将上半部分对应的区域和下半部分对应的区域中位置互相对称的两个像素点记为垂直匹配对；

将各垂直匹配对中属于上半部分的像素点对应的初始标记值减去属于下半部分的像素点对应的初始标记值，得到各垂直匹配对中两个像素点对应的第一标记值；

统计该对称轴搜寻框对应的区域中第一标记值为1和第一标记值为-1的像素点的总数量，记为非对齐像素点数量；

统计该对称轴搜寻框对应的区域中初始标记值为0的像素点数量与和像素点的总数；计算所述初始标记值为0的像素点数量和像素点的总数之比，作为该称轴搜寻框对应区域的透光率；

随机获取待检测网状织物图像中多个与对称轴搜寻框大小相等的区域，记为对比区域；根据各对比区域中初始标记值为0的像素点数量与和各对比区域中像素点的总数，计算各对比区域的透光率；

根据该对称轴搜寻框对应区域的透光率和各对比区域的透光率，得到该对称轴搜寻框对应的差异度；

若该对称轴搜寻框对应非对齐像素点数量为0且对应的差异度小于第一阈值，则该像素点为第一锚点。

优选的，计算该对称轴搜寻框对应的差异度的公式为：

其中，

为对称轴搜寻框对应的差异度，n为对比区域的数量，

为第i个对比区域对应的透光率，

为对称轴搜寻框对应区域的透光率。

优选的，所述将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对，包括：

根据目标网状织物图像中的第一斜轴，将左上区域以中心点为定点顺时针旋转180度；将旋转后左上区域与右下区域中位置相对应的两个像素点记为第一匹配对；所述第一匹配对中将属于左上区域的像素点记为左上像素点，将属于右下区域的像素点记为右下像素点；

根据目标网状织物图像中的第二斜轴，将右上区域以中心点为定点顺时针旋转180度；将旋转后右上区域与左下区域中位置相对应的两个像素点记为第二匹配对；所述第二匹配对中将属于右上区域的像素点记为右上像素点，将属于左下区域的像素点记为左下像素点。

优选的，计算各第一匹配对中两个像素点对应的初始标记值之差，得到第一匹配对中两个像素点对应的第二标记值；计算各第二匹配对中两个像素点对应的初始标记值之差，得到第二匹配对中两个像素点对应的第三标记值，包括：

将各第一匹配对中左上像素点对应的初始标记值减去右下像素点对应的初始标记值，得到各第一匹配对中两个像素点对应的第二标记值；

将各第二匹配对中右上像素点对应的初始标记值减去左下像素点对应的初始标记值，得到各第二匹配中两个像素点对应的第三标记值。

优选的，根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值，包括：

根据目标网状织物图像中各像素点对应的第二标记值和第三标记值，得到所述各像素点对应的特征向量；

根据目标网状织物图像中的第一斜轴和第二斜轴，将目标网状织物图像划分为四个区域；

根据目标网状织物图像中不同区域中各像素点对应的特征向量，判断各像素点对应的类型；所述像素点对应的类型包括织物缺失、织物多余和正常；

对于任一像素点：

若像素点对应的类型为织物缺失，则该像素点对应的目标标记值为-1；

若像素点对应的类型为织物多余，则该像素点对应的目标标记值为1；

若像素点对应的类型为正常，则该像素点对应的目标标记值为0。

优选的，根据所述各像素点对应的目标标记值，得到目标网状织物图像中的各缺陷区域对应的缺陷类别，包括：

根据所述各像素点对应的目标标记值，构建目标三值图；将所述目标三值图中目标标记值为1和-1的像素点记为前景像素点，将所述目标三值图中目标标记值0的像素点记为背景像素点；

利用训练好的目标检测网络对目标三值图进行处理，得到目标三值图中各缺陷区域对应的ROI区域；

对各ROI区域进行处理，得到各目标ROI区域；

根据各ROI区域中各像素点对应的目标标记值，获取各目标ROI区域对应的第一纯度和第二纯度；所述第一纯度为ROI区域中标记值为1的像素点所占的比例；所述第二纯度为ROI区域中标记值为-1的像素点所占的比例；

获取各目标ROI区域对应的横向跨度和纵向跨度；所述横向跨度为目标ROI区域中水平方向上相距最远的两个前景像素点之间的距离；所述纵向跨度为目标ROI区域中垂直方向上相距最远的两个前景像素点之间的距离；

对各目标ROI区域进行处理，获取各目标ROI区域对应的7个不变矩；

获取各目标ROI区域对应的灰度共生矩阵，根据各目标ROI区域对应的灰度共生矩阵，计算出各目标ROI区域对应的能量、对比度和熵；

将各目标ROI区域对应第一纯度、第二纯度、横向跨度、纵向跨度、7个不变矩、能量、对比度和熵输入到训练好的缺陷分类网络中，得到各目标ROI区域中缺陷对应的类别。

本发明具有如下有益效果：

本发明首先对获取到的待检测网状织物图像进行处理，得到目标网状织物图像；本发明将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对；根据各第一匹配对中两个像素点对应的初始标记值和各第二匹配对中两个像素点对应的初始标记值，得到各像素点对应的第二标记值和第三标记值；最后根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值，进而得到目标网状织物图像中的各缺陷区域对应的缺陷类别。本发明中该方法是一种识别图像的方法，能够应用于计算机视觉软件等应用软件开发。本发明是基于计算机视觉的方法，利用图像对称性的原理，对网状织物图形进行自动化处理，进而对图像中的缺陷进行自动化的识别，克服了基于人工检测方法主观性较强，容易疲惫的问题，提高了对网状织物进行缺陷检测的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明所提供的一种基于对称性分析的网状织物缺陷快速检测方法的流程图；

图2为缺失型缺陷示意图；

图3为多余型缺陷示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种基于对称性分析的网状织物缺陷快速检测方法进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于对称性分析的网状织物缺陷快速检测方法的具体方案。

基于对称性分析的网状织物缺陷快速检测方法实施例：

如图1所示，本实施例的一种基于对称性分析的网状织物缺陷快速检测方法包括以下步骤：

步骤S1，获取待检测网状织物图像，所述待检测网状织物图像为二值图像，将待检测网状织物图像中像素点对应的标记值记为初始标记值。

本实施例中在检测网状织物时要尽可能保证的运输轨道上织物表面平整，并且传送带尽量选用与织物不同的颜色，便于在图像中区分织物部分和背景部分，进而实现更优的识别效果；本实施例在运输轨道上方布置RGB相机阵列，使相机能够拍摄到不同位置的网状织物；并且使用多个无影灯作为光源，以降低网状织物表面纹理的轮廓光差异。本实施例中所述RGB相机为可见光相机，所拍摄的图像为RGB颜色空间的织物表面图像；本实施例以任一相机拍摄到的RGB图像为例，对该RGB图片中的缺陷进行检测，本实施例将该RGB图像对应的网状织物记为待检测网状织物。

考虑到受织物表面材料的影响，难以完全消除光照不均匀等问题，因此本实施例采用Gamma校正法对该RGB图像进行图像增强处理，以调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；本实施例中Gamma校正法为现有技术在此就不再赘述。

接下来本实施例对增强后的RGB图像进行二值处理，将图像中传送带表面的像素点标记为0，其他部分（即织物表面）的像素点都标记为1，得到该RGB图像对应的二值图，记为待检测网状织物图像，本实施例将待检测网状织物图像中各像素点对应的标记值记为初始标记值。

步骤S2，对待检测网状织物图像进行处理，得到目标网状织物图像。

网状织物中存在多个网格，在网状织物不存在缺陷的情况下，每一个网格的大小是相同的，因此对其表面的图像进行处理，可以将其裁剪为轴对称图像。考虑到生产网状织物的工艺已经比较成熟，因此生产出的网状织物并不会存在很多的缺陷，即生产出的网状织物中的缺陷占比很小。

本实施例基于标准的网状织物其表面的经纬线对称的特点，对待检测网状织物图像进行处理，得到目标网状织物图像；若目标网状织物图像对应的待检测网状织物不存在缺陷，那么该图像中对称轴两侧的网格分布是对称的（即对称轴两侧的分布相同），即目标网状织物图像上下对称，且左右对称；若目标网状织物图像对应的待检测网状织物存在缺陷，那么图像中对称轴两侧可能会存在不同，由于生产出的网状织物并不会存在很多的缺陷，因此本实施例可利用对称的特点对目标网状织物图像进行处理，标记出图像中存在缺陷的位置。本实施例对待检测网状织物图像进行处理，得到目标网状织物图像的过程具体为：

本实施例首先获取待检测网状织物图像对应的中心点的位置；然后本实施例以所述中心点为中心构建一个对称轴搜寻框，所述对称轴搜寻框为矩形；本实施例中构建的对称轴搜寻框要尽可能的小，但是对称轴搜寻框内要至少能包含一个完整的网格，具体网格大小和对称轴搜寻框的大小可根据实际需要进行设置。

本实施例首先在待检测网状织物图像中过所述中心点，作一条竖直方向的直线，记为竖直直线；然后从所述中心点出发，依次对竖直直线上中心点上边的像素点和中心点下边的像素点进行交替遍历，即将对称轴搜寻框进行滑动，其对称轴搜寻框的中心位置为所遍历到的像素点的位置。本实施例通过对竖直直线上的像素点进行遍历，找到第一个满足设定条件的对称轴搜寻框，将该对称轴搜寻框对应的像素点作为第一锚点。

例如，若中心点对应的对称轴搜寻框不满足设定条件，则遍历中心点上边的第一个像素点；若中心点上边的第一个像素点对应的对称轴搜寻框仍不满足设定条件，则遍历中心点下边的第一个像素点；若中心点下边的第一个像素点对应的对称轴搜寻框不满足设定要求，则遍历中心点上边的第二个像素点；若中心点上边的第二个像素点对应的对称轴搜寻框满足设定要求，则将中心点上边的第二个像素点作为第一锚点。

本实施例对任一像素点对应的对称轴搜寻框为例进行分析，判断该像素点对应的对称轴搜寻框是否满足设定条件的过程具体为：

本实施例将该对称轴搜寻框沿水平方向上的对称轴分为上下两部分，即上半部分和下半部分，将上半部分和下半部分中位置互相对称的两个像素点记为垂直匹配对；然后将上半部分对应的区域中各像素点对应的初始标记值减去下半部分对应的区域中对称位置的像素点对应的初始标记值，得到各垂直匹配对中两个像素点对应的第一标记值（即将各垂直匹配对中属于上半部分的像素点对应的初始标记值减去属于下半部分的像素点对应的初始标记值，得到各垂直匹配对中两个像素点对应的第一标记值）；根据该对称轴搜寻框对应的区域中各像素点对应的第一标记值，得到该对称轴搜寻框对应的三值图；本实施例中三值图包含三种第一标记值，分别为-1、0、1；每一种标记值对应一种颜色。

例如，若上半部分对应的区域中任一像素点对应的初始标记值为1，下边部分对应的区域中对称位置的像素点对应的初始标记值为0，则该垂直匹配对中两个像素点的初始标记值为1；若上半部分对应的区域中任一像素点对应的初始标记值为0，下边部分对应的区域中对称位置的像素点对应的初始标记值为1，则该垂直匹配对中两个像素点的初始标记值为-1；若上半部分对应的区域中任一像素点对应的初始标记值与下边部分对应的区域中对称位置的像素点对应的初始标记值相同，则该垂直匹配对中两个像素点的初始标记值为0。

接下来，本实施例根据该对称轴搜寻框对应的三值图，对该对称轴搜寻框进行分析，判断该对称轴搜寻框对应的像素点，即该对称轴搜寻框中心点是否为第一锚点；若该对称轴搜寻框中心点为第一锚点，则需要满足两个条件，所述两个条件为：

条件一：统计该对称轴搜寻框对应的三值图中第一标记值为1和第一标记值为-1的像素点的总数量，记为非对齐像素点数量，若非对齐像素点数量为0，说明该对称轴搜寻框对应的区域的上半部分与下半部分对称，则该对称轴搜寻框满足条件一。

条件二：本实施例考虑到三值图中第一标记值为0时，说明对应垂直匹配对中的两个像素点处可能存在同样的缺陷，即都是织物缺失，或都是织物多余（由于生产出的网状织存在的缺陷会比较稀疏，因此这种情况出现的概率比较低）；也可能是这两个像素点统处都不存在缺陷。

为了选择出区域中不存在缺陷且对称的对称轴搜寻框，本实施例统计该对称轴搜寻框对应的区域中初始标记值为0的像素点数量与和像素点的总数，计算所述初始标记值为0的像素点数量和像素点的总数之比，作为该对称轴搜寻框对应区域的透光率；随机获取待检测网状织物图像中多个与对称轴搜寻框大小相等的区域，记为对比区域，本实施例中对比区域的数量可根据实际需要进行设置；然后根据上述获取透光率的方法，获取各对比区域的透光率；本实施例根据该对称轴搜寻框对应区域的透光率和各对比区域的透光率，得到该对称轴搜寻框对应的差异度，具体的计算公式为：

其中，

为对称轴搜寻框对应的差异度，n为对比区域的数量，

为第i个对比区域对应的透光率，

为对称轴搜寻框对应区域的透光率。

若该对称轴搜寻框对应的差异度小于第一阈值，说明该对称轴搜寻框对应的区域不存在缺陷，即避免了垂直匹配对中的两个像素点存在同样的缺陷的问题；当对称轴搜寻框对应的差异度小于第一阈值时，则认为该对称轴搜寻框满足条件二。本实施例中第一阈值需根据实际需要进行设置。

本实施例中要求第一锚点对应的对称轴搜寻框中对称且不存在缺陷是为了便于后边的处理。

本实施例根据上述过程得到了待检测网状织物图像中的第一锚点；获取第一锚点与待检测网状织物图像中上边界之间的距离，记为第一距离；获取第一锚点与待检测网状织物图像中下边界之间的距离，记为第二距离；若第一距离大于第二距离，则将待检测网状织物图像下半部分进行裁剪，使得第一锚点到上边界和下边界的距离相等；若第一距离小于第二距离，则将待检测网状织物图像半部分进行裁剪，使得第一锚点到上边界和下边界的距离相等；若第一距离等于第二距离，则不用裁剪；本实施例根据第一距离和第二距离对待检测网状织物图像进行裁剪，得到初始目标图像。

本实施例得到待检测网状织物图像对应的第一锚点后，即初始目标图像中的第一锚点，在初始目标图像中过第一锚点作一条水平方向的直线，记为水平直线；然后从第一锚点出发，依次对水平直线上第一锚点左边的像素点和第一锚点右边的像素点进行交替遍历；本实施例通过对水平直线上的像素点进行遍历，找到第一个满足设定条件（即第一条件和第二条件）的对称轴搜寻框，将该对称轴搜寻框对应的像素点作为目标锚点。本实施例对水平直线上的像素点进行遍历的过程与对竖直直线上的像素点进行遍历的过程一致；本实施例中判断水平直线上的各像素点对应的对称轴搜寻框是否满足设定条件的方法与上述判断竖直直线上的各像素点对应的对称轴搜寻框是否满足设定条件的方向相似，不同之处在于：

判断水平直线上的各像素点对应的对称轴搜寻框是否满足设定条件时，本实施例将对称轴搜寻框沿竖直对称轴分为左右两部分，即左半部分和右半部分，将左半部分和右半部分互相对称的两个像素点记为水平匹配对，将左半部分对应区域中各像素点对应的初始标记值减去右半部分对应的区域中对称位置的像素点对应的初始标记值，得到各水平匹配对中两个像素点对应的第一标记值；进而得到对应的三值图。然后本实施例根据对称轴搜寻框对应的三值图判断该对称轴搜寻框是否满足设定条件。

得到目标锚点后，本实施获取目标锚点与初始目标图像中左边界之间的距离，记为第三距离；获取目标锚点与初始目标图像中右边界之间的距离，记为第四距离。本实施例根据第三距离和第四距离对初始目标图像进行裁剪，得到目标锚点与左右边界距离相同的图像，记为目标网状织物图像，目标锚点在目标网状织物图像中即为该图像的中心点。本实施例根据第三距离和第四距离对初始目标图像进行裁剪得到目标网状织物图像的方法与根据第一距离和第二距离对待检测网状织物进行裁剪得到初始目标图像的方法相同。

步骤S3，获取目标网状织物图像右上角到左下角的对角线，记为的第一斜轴；获取目标网状织物图像左上角到右下角的对角线，记为第二斜轴；将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对。

本实施例将目标网状织物图像中右上角到左下角之间的连线，记为第一斜轴；将目标网状织物图像中左上角到右下角之间的连线，记为第二斜轴；本实施例将第一斜轴上方的区域记为左上区域，将第一斜轴下方的区域记为右下区域，将第二斜轴上方的区域记为右上区域，将第二斜轴下方的区域记为左下区域。

考虑到直接将目标网状织物图像中对称轴两侧区域中相互对称的像素点对应的初始标记值相减，当出现非对齐的像素点时，难以根据得到的值来判断存在缺陷的具体位置；本实施例根据目标网状织物图像中的第一斜轴，将左上区域以中心点为定点顺时针旋转180度，此时左上区域中各像素点会与右下区域中的像素点一一对应，本实施例将左上区域与右下区域中位置相对应的两个像素点记为第一匹配对，将第一匹配对中左上区域中的像素点记为左上像素点，将右下区域中对应位置的像素点记为右下像素点。

本实施例根据目标网状织物图像中的第二斜轴，将右上区域以中心点为定点顺时针旋转180度，此时右上区域中各像素点会与左下区域中的像素点一一对应，本实施例将右上区域与左下区域中位置相对应的两个像素点记为第二匹配对，将第二匹配对中右上区域的像素点记为右上像素点，对应的将左下区域的像素点记为左下像素点。

步骤S4，计算各第一匹配对中两个像素点对应的初始标记值之差，得到第一匹配对中两个像素点对应的第二标记值；计算各第二匹配对中两个像素点对应的初始标记值之差，得到第二匹配对中两个像素点对应的第三标记值。

本实施例将各第一匹配对中左上像素点对应的初始标记值减去右下像素点对应的初始标记值，得到各第一匹配对中两个像素点对应的第二标记值，即第一匹配对中两个像素点对应的第二标记值为左上像素点对应的初始标记值减去右下像素点对应的初始标记值的结果，其取值包括0,1，-1；本实施例根据目标网状织物图像中各像素点对应的第二标记值，可以构建一张三值图，记为第一对比三值图。

本实施例将各第二匹配对中右上像素点对应的初始标记值减去左下像素点对应的初始标记值，得到各第二匹配中两个像素点对应的第三标记值，即第二匹配对中两个像素点对应的第三标记值为右上像素点对应的初始标记值减去左下像素点对应的初始标记值的结果，其取值包括0,1，-1；本实施例根据目标网状织物图像中各像素点对应的第三标记值，可以构建一张三值图，记为第二对比三值图。

为了判断目标网状织物图像中存在缺陷的像素点，本实施例将第一对比三值图和第二对比三值图进行结合，得到目标网状织物图像中各像素点对应的特征向量（x，y），其中x为像素点对应的第二标记值，y为像素点对应的第三标记值。本实施例中像素点对应的特征向量一共有九种情况分别为（0,0），（0，1），（0，-1），（1,0），（1，1），（1，-1），（-1，0），（-1,1），（-1，-1）。

本实施例将目标网状织物图像中的第一斜轴和第二斜轴进行合并，将目标网状织物图像分为上三角区、下三角区、左三角区和右三角区；因为本实施例中和像素点对应的特征向量是根据对应的第二标记值和第三标记值得到的，因此对于任意两个像素点，若这两个像素点对应的特征向量相同，但是属于不同的三角区域，那么这两个像素点的类型是不同的，所述像素点的类型包括织物缺失、织物多余和正常，具体的：

对于上三角区域，当像素点的特征向量为（-1，-1）时，判定该像素点处织物缺失；当特征向量为（1,1）时，判定该像素点处织物多余；当像素点的特征向量为其他情况时，则判定该像素点正常，因为生产出的网状织物不会存在过多的缺陷，所以当两个对应的像素点对应的都是织物或对应的都是背景（即相减为0）时，出现两者都存在都存缺陷的可能性很小，并且本实施采用的交叉对比的方式在很大程度上也避免了这种可能性的发生，进而增加了判断的可信度。

对于下三角区域，当像素点的特征向量为（-1，-1）时，判定该像素点处织物多余；当特征向量为（1,1）时，判定该像素点处织物缺失；当像素点的特征向量为其他情况时，则判定该像素点正常。

对于左三角区域，当像素点的特征向量为（-1，1）时，判定该像素点处织物缺失；当特征向量为（1,-1）时，判定该像素点处织物多余；当像素点的特征向量为其他情况时，则判定该像素点正常。

对于右三角区域，当像素点的特征向量为（-1，1）时，判定该像素点处织物多余；当特征向量为（1,-1）时，判定该像素点处织物缺失；当像素点的特征向量为其他情况时，则判定该像素点正常。

步骤S5，根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值；根据所述各像素点对应的目标标记值，得到目标网状织物图像中的各缺陷区域对应的缺陷类别。

本实施例根据步骤S4得到了目标网孔图像对应的特征向量，并且各像素点对应的特征向量以及所处的区域，可以判断出各像素点所处位置的织物是否存在缺陷以及缺陷的类型，即判断各像素点处是正常、缺失还是多余。本实施例根据目标网孔图像各像素点对应的类型，设置各像素点对应的目标标记值，具体的：若判定任一像素点处正常，则将该像素点对应的目标标记值设置为0；若判定任一像素点处的织物缺失，则将该像素点对应的目标标记值设置为-1；若判定任一像素点处的织物多余，则将该像素点对应的目标标记值设置为1。

本实施例根据目标网孔图像中各像素点对应的目标标记值，构建一张对应的目标三值图，所述目标三值图中各像素点对应的标记值为对应的目标标记值。所述目标三值图可以反映缺陷存在的位置，但并不是很直观，如果根据目标三值图中缺陷位置去原图中提取，又会影响效率，因此本实施例直接根据目标三值图对待检测织物中的缺陷进行识别并分类，具体的：

本实施例首先将目标三值图输入到训练好的目标检测网络中，检测出目标三值图中的各缺陷区域，所述各缺陷区域分别用矩形框定位，得到各缺陷区域对应的ROI区域，所述ROI区域为目标三值图中对应位置的区域图像，一个ROI区域对应一个缺陷区域；本实施例中目标检测网络使用的是YOLOv5。YOLOv5及其训练过程为现有技术，在此就不再赘述。

本实施例将目标三值图中目标标记值为1或-1的像素点记为前景像素点，将标记值为0的像素点记为背景像素点；本实施例从各ROI区域中选取出前景像素点对应的目标标记值均为-1的ROI区域和前景像素点对应的目标标记值均为1的ROI区域；将前景像素点对应的目标标记值均为-1的ROI区域中的缺陷记为缺失型缺陷，前景像素点对应的目标标记值均为1的ROI区域中的缺陷记为多余型缺陷。

对于缺失型缺陷，如图2所示，其中白色区域为目标标记值为0的像素点，黑色线条为目标标记值为-1的像素点；对于多余型缺陷，如图3所示，其中黑色区域为目标标记值为1的像素点，白色线条为目标标记值为0的像素点。

对于任一ROI区域，若该ROI区域中的缺陷为缺失型缺陷，本实施例提取该ROI区域中目标标记值为0的像素点构成的连通域，若提取出的连通域中存在与标准网格大小相同的连通域，则本实施例对该缺失型缺陷区域的轮廓进行获取，具体的：

获取该ROI区域中缺陷区域的大致的轮廓线，首先通过对前景像素点的坐标做运算得到缺陷区域的质心点，然后以质心点为原心建立极坐标系，从0度开始，每2度找一次，直到360度，每一次找到一个极径最大，即距离质心点最远的前景像素点，然后按查找顺序将找到的各前景像素点进行连接，进而构成一条封闭轮廓线，记为第一轮廓线。

本实施例利用道格拉斯-普克算法对第一轮廓线进行处理得到第二轮廓线，本实施例中道格拉斯-普克算法所需要的阈值为对称轴搜寻框中的连通域（即一个网格）中距离最远的两点的距离，例如网格为矩形，则该阈值为网格的对角线；所述阈值在传统的方法中是根据经验值人为设置，在本实施例中需根据网格大小来设置，这样做是为了使轮廓复原线不至于过度拟合第一轮廓线，并且可以使获得的轮廓更加圆滑，不会使线条轨迹落入网格中。然后本实施例将第二轮廓曲线内的各像素点的目标标记值都赋值为-1，得到该ROI区域中缺失型缺陷区域对应的复原图。

若该ROI区域中的缺陷为多余型缺陷，本实施例对该多余型缺陷进行形态学处理，首先选择3x3的椭圆形内核，然后执行先膨胀后腐蚀的闭运算以消除多余型缺陷对应的区域中网格状的部分，得到该ROI区域中多余型缺陷区域对应的复原图（即复原图中各像素点对应的标记值为1）。

本实施例根据上述过程可以获取存在缺失型缺陷或多余型缺陷的ROI区域中缺陷区域对应的复原图，所述复原图能够更好的明确缺陷区域的边界以及缺陷区域的形状，并且能够保证提取的特征数据更可靠（例如Hu不变矩等），进而使得后续得到的缺陷类别更可靠。

对于其他情况，例如ROI区域中既包括目标标记值为-1的像素点又包括目标标记值为1的像素点或者ROI区域中目标标记值为0的像素点构成的连通域与标准网格大小不同相同的连通域，则本实施例不对这些ROI区域中的缺陷进行处理；因为像断经、断纬、双经、双纬这种细长型的缺陷对应的三值图会出现规律性的间断点，便于识别；像稀密路和罗拉纹这种因为其复杂的形状和纹理规律，难以复原。

经过上述过程，本实施例将经过处理的各ROI区域和未经过处理的各ROI区域记为目标ROI区域；接下来，本实施例分别对各目标ROI区域中的缺陷区域进行特征提取，得到各目标ROI区域中的缺陷区域对应的特征描述子，具体的：

第一，获取各目标ROI区域对应的第一纯度和第二纯度；所述第一纯度为ROI区域中目标标记值为1的像素点所占的比例；所述第二纯度为ROI区域中目标标记值为-1的像素点所占的比例。本实施例利用各目标ROI区域对应第一纯度和第二纯度可以判别区域中区域的单调性，即一种缺陷类型（即缺失型缺陷或多余型缺陷）还是混合缺陷类型。

第二，获取各目标ROI区域中缺陷的横向跨度和纵向跨度；所述横向跨度为目标ROI区域中水平方向上相距最远的两个前景像素点之间的距离；所述纵向跨度为目标ROI区域中垂直方向上相距最远的两个前景像素点之间的距离。本实施例各目标ROI区域中缺陷的横向跨度和纵向跨度有利于快速识别断经，断纬这种直接延伸到图像边界的缺陷。

第三，对各目标ROI区域进行处理，获取各目标ROI区域对应的Hu不变矩，一个目标ROI区域对应7个不变矩；本实施例利用这7个不变矩可以进一步区域各种缺陷，体现全局特征，并且可以验证其他特征的准确性。本实施例中获取Hu不变矩的过程为现有技术，在此就不再赘述。

第四，获取各目标ROI区域对应的灰度共生矩阵，根据各目标ROI区域对应的灰度共生矩阵，计算出各目标ROI区域对应的能量、对比度和熵；本实施例利用各目标ROI区域对应的能量、对比度和熵可以区分有规律的缺陷(例如罗拉纹)和规律性弱的缺陷(如粗节纱)；本实施例中目标ROI区域对应的是三值图，即包含三个值的像素点，那么所形成的灰度共生矩阵是3x3的矩阵，运算速度快。

本实施例根据上述过程得到了各目标ROI区域对应的14个特征，即第一纯度、第二纯度、横向跨度、纵向跨度、7个不变矩、能量、对比度和熵；本实施根据各目标ROI区域对应的14个特征构建各目标ROI区域对应的特征序列，记为特征描述子。接下来本实施构建了一个缺陷分类网络，所述缺陷分类网络采用的是全连接神经网络，用于根据各目标ROI区域对应的特征描述子来区分对应缺陷的类别，所述缺陷的类别为缺陷的具体种类，本实施例中缺陷的种类包括10种：断经、断纬、破洞、接头、双经、双纬、沾污、粗节纱、稀密路、罗拉纹。

本实施例对缺陷分类网络进行训练的过程为：

本实施例首先获取多个不同种类的缺陷对应的样本ROI区域图像，根据本实施例上述步骤所述的方法获取各样本ROI区域对应的特征描述子；然后对各样本ROI区域进行打标签处理，将断经缺陷标注为00，断纬缺陷标注为01，破洞缺陷标注为02，接头缺陷标注为03，双经缺陷标注为04，双纬缺陷标注为05，沾污缺陷标注为06，粗节纱缺陷标注为07，稀密路缺陷标注为08、罗拉纹缺陷标注为09；本实施例中采用的打标签工具为可具体可根据实际需要进行设置。

本实施例根据各样本ROI区域对应的特征描述子和标签数据对缺陷分类网络进行训练，缺陷分类网络的输入为特征描述子。本实施例对缺陷分类网络进行训练时所采用的损失函数为交叉熵损失函数，并用Adam算法进行优化。本实施例中对全连接神经网络进行训练的过程以及Adam算法为现有技术，在此就不再赘述。

本实施例根据得到训练好的缺陷分类网络后，分别将各目标ROI区域对应的特征描述子输入到训练好的缺陷分类网络中，进而得到各目标ROI区域中缺陷的类别。

本实施例首先对获取到的待检测网状织物图像进行处理，得到目标网状织物图像；本发明将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对；根据各第一匹配对中两个像素点对应的初始标记值和各第二匹配对中两个像素点对应的初始标记值，得到各像素点对应的第二标记值和第三标记值；最后根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值，进而得到目标网状织物图像中的各缺陷区域对应的缺陷类别。本实施例中该方法是一种识别图像的方法，能够应用于计算机视觉软件等应用软件开发。本实施例是基于计算机视觉的方法，利用图像对称性的原理，对网状织物图形进行自动化处理，进而对图像中的缺陷进行自动化的识别，克服了基于人工检测方法主观性较强，容易疲惫的问题，提高了对网状织物进行缺陷检测的可靠性。

需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于对称性分析的网状织物缺陷快速检测方法，其特征在于，该方法包括以下步骤：

获取待检测网状织物图像，所述待检测网状织物图像为二值图像，将待检测网状织物图像中像素点对应的标记值记为初始标记值；

对待检测网状织物图像进行处理，得到目标网状织物图像；

获取目标网状织物图像右上角到左下角的对角线，记为的第一斜轴；获取目标网状织物图像左上角到右下角的对角线，记为第二斜轴；将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对；

计算各第一匹配对中两个像素点对应的初始标记值之差，得到第一匹配对中两个像素点对应的第二标记值；计算各第二匹配对中两个像素点对应的初始标记值之差，得到第二匹配对中两个像素点对应的第三标记值；

根据所述各像素点对应的第二标记值和第三标记值，获取各像素点对应的目标标记值；

所述目标标记值的获取方法具体为：根据目标网状织物图像中各像素点对应的第二标记值和第三标记值，得到所述各像素点对应的特征向量；根据目标网状织物图像中的第一斜轴和第二斜轴，将目标网状织物图像划分为四个区域；根据目标网状织物图像中不同区域中各像素点对应的特征向量，判断各像素点对应的类型；所述像素点对应的类型包括织物缺失、织物多余和正常；对于任一像素点：若像素点对应的类型为织物缺失，则该像素点对应的目标标记值为-1；若像素点对应的类型为织物多余，则该像素点对应的目标标记值为1；若像素点对应的类型为正常，则该像素点对应的目标标记值为0；

根据所述各像素点对应的目标标记值，得到目标网状织物图像中的各缺陷区域对应的缺陷类别。

2.根据权利要求1所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，所述对待检测网状织物图像进行处理，得到目标网状织物图像，包括：

获取待检测网状织物图像对应的中心点的位置；

在待检测网状织物图像中过所述中心点作一条竖直方向的直线，记为竖直直线；

构建对称轴搜寻框；

将所述中心点作为对称轴搜寻框的出发点，依次对竖直直线上中心点上边的像素点和中心点下边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为第一锚点；所述对称轴搜寻框的中心位置为遍历到的像素点的位置；

获取第一锚点与待检测网状织物图像中上边界之间的距离，记为第一距离；获取第一锚点与待检测网状织物图像中下边界之间的距离，记为第二距离；根据第一距离和第二距离对待检测网状织物图像进行裁剪，得到初始目标图像；所述初始目标图像中第一锚点与初始目标图像的上边界和下边界之间的距离相等；

在初始目标图像中过第一锚点作一条水平方向的直线，记为水平直线；

将所述第一锚点作为对称轴搜寻框的出发点，依次对水平直线上第一锚点左边的像素点和第一锚点右边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为目标锚点；

获取目标锚点与初始目标图像中左边界之间的距离，记为第三距离；获取目标锚点与初始目标图像中右边界之间的距离，记为第四距离；根据第三距离和第四距离对初始目标图像进行裁剪，得到目标网状织物图像；

所述目标网状织物图像中目标锚点与目标网状织物图像的左边界和右边界之间的距离相等，所述目标锚点为目标网状织物图像的中心点。

3.根据权利要求2所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，将所述中心点作为对称轴搜寻框的出发点，依次对竖直直线上中心点上边的像素点和中心点下边的像素点进行交替遍历，找到第一个满足设定条件的像素点，记为第一锚点，包括：

对于所述竖直直线上任一像素点对应的对称轴搜寻框：

将该对称轴搜寻框沿水平方向上的对称轴分为上下两部分，分别记为上半部分和下半部分；将上半部分对应的区域和下半部分对应的区域中位置互相对称的两个像素点记为垂直匹配对；

将各垂直匹配对中属于上半部分的像素点对应的初始标记值减去属于下半部分的像素点对应的初始标记值，得到各垂直匹配对中两个像素点对应的第一标记值；

统计该对称轴搜寻框对应的区域中第一标记值为1和第一标记值为-1的像素点的总数量，记为非对齐像素点数量；

统计该对称轴搜寻框对应的区域中初始标记值为0的像素点数量与和像素点的总数；计算所述初始标记值为0的像素点数量和像素点的总数之比，作为该对称轴搜寻框对应区域的透光率；

随机获取待检测网状织物图像中多个与对称轴搜寻框大小相等的区域，记为对比区域；根据各对比区域中初始标记值为0的像素点数量与和各对比区域中像素点的总数，计算各对比区域的透光率；

根据该对称轴搜寻框对应区域的透光率和各对比区域的透光率，得到该对称轴搜寻框对应的差异度；

若该对称轴搜寻框对应非对齐像素点数量为0且对应的差异度小于第一阈值，则该像素点为第一锚点。

4.根据权利要求3所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，计算该对称轴搜寻框对应的差异度的公式为：

其中，

为对称轴搜寻框对应的差异度，n为对比区域的数量，

为第i个对比区域对应的透光率，

为对称轴搜寻框对应区域的透光率。

5.根据权利要求1所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，所述将第一斜轴两侧位置相对应的两个像素点记为第一匹配对，将第二斜轴两侧位置相对应的两个像素点记为第二匹配对，包括：

根据目标网状织物图像中的第一斜轴，将左上区域以中心点为定点顺时针旋转180度；将旋转后左上区域与右下区域中位置相对应的两个像素点记为第一匹配对；所述第一匹配对中将属于左上区域的像素点记为左上像素点，将属于右下区域的像素点记为右下像素点；

根据目标网状织物图像中的第二斜轴，将右上区域以中心点为定点顺时针旋转180度；将旋转后右上区域与左下区域中位置相对应的两个像素点记为第二匹配对；所述第二匹配对中将属于右上区域的像素点记为右上像素点，将属于左下区域的像素点记为左下像素点。

6.根据权利要求5所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，计算各第一匹配对中两个像素点对应的初始标记值之差，得到第一匹配对中两个像素点对应的第二标记值；计算各第二匹配对中两个像素点对应的初始标记值之差，得到第二匹配对中两个像素点对应的第三标记值，包括：

将各第一匹配对中左上像素点对应的初始标记值减去右下像素点对应的初始标记值，得到各第一匹配对中两个像素点对应的第二标记值；

将各第二匹配对中右上像素点对应的初始标记值减去左下像素点对应的初始标记值，得到各第二匹配中两个像素点对应的第三标记值。

7.根据权利要求1所述的基于对称性分析的网状织物缺陷快速检测方法，其特征在于，根据所述各像素点对应的目标标记值，得到目标网状织物图像中的各缺陷区域对应的缺陷类别，包括：

根据所述各像素点对应的目标标记值，构建目标三值图；将所述目标三值图中目标标记值为1和-1的像素点记为前景像素点，将所述目标三值图中目标标记值0的像素点记为背景像素点；

利用训练好的目标检测网络对目标三值图进行处理，得到目标三值图中各缺陷区域对应的ROI区域；

对各ROI区域进行处理，得到各目标ROI区域；

根据各ROI区域中各像素点对应的目标标记值，获取各目标ROI区域对应的第一纯度和第二纯度；所述第一纯度为ROI区域中标记值为1的像素点所占的比例；所述第二纯度为ROI区域中标记值为-1的像素点所占的比例；

获取各目标ROI区域对应的横向跨度和纵向跨度；所述横向跨度为目标ROI区域中水平方向上相距最远的两个前景像素点之间的距离；所述纵向跨度为目标ROI区域中垂直方向上相距最远的两个前景像素点之间的距离；

对各目标ROI区域进行处理，获取各目标ROI区域对应的7个不变矩；

获取各目标ROI区域对应的灰度共生矩阵，根据各目标ROI区域对应的灰度共生矩阵，计算出各目标ROI区域对应的能量、对比度和熵；

将各目标ROI区域对应第一纯度、第二纯度、横向跨度、纵向跨度、7个不变矩、能量、对比度和熵输入到训练好的缺陷分类网络中，得到各目标ROI区域中缺陷对应的类别。

Images