[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114359286A - 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 - Google Patents

一种基于人工智能的绝缘子缺陷识别方法、设备及介质 Download PDF

Info

Publication number
CN114359286A
CN114359286A CN202210276350.5A CN202210276350A CN114359286A CN 114359286 A CN114359286 A CN 114359286A CN 202210276350 A CN202210276350 A CN 202210276350A CN 114359286 A CN114359286 A CN 114359286A
Authority
CN
China
Prior art keywords
insulator
image
defect
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210276350.5A
Other languages
English (en)
Inventor
徐晓晖
黄晃
张炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yingchao Intelligent Computing Research Institute Co ltd
Original Assignee
Hunan Yingchao Intelligent Computing Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yingchao Intelligent Computing Research Institute Co ltd filed Critical Hunan Yingchao Intelligent Computing Research Institute Co ltd
Priority to CN202210276350.5A priority Critical patent/CN114359286A/zh
Publication of CN114359286A publication Critical patent/CN114359286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的绝缘子缺陷识别方法、设备及介质，包括：将待缺陷识别的绝缘子图像输入绝缘子串检测器，检测获得绝缘子串区域图像；对绝缘子串区域图像进行角度校正处理，得到校正图像；将校正图像输入缺陷检测器以检测获得绝缘子缺陷区域，缺陷检测器基于改进的yolov5模型构建并训练得到；根据缺陷区域检测结果进行绝缘子缺陷识别：若未检测到缺陷区域，判定当前绝缘子串不存在缺陷；若缺陷位于绝缘子串中间位置，直接判定当前绝缘子串存在缺陷；若缺陷区域位于绝缘子串两端，则再将缺陷区域图像输入绝缘子缺陷分类器，根据输出结果判定当前绝缘子串是否存在缺陷。本发明提高对绝缘子缺陷的识别准确率。

Description

一种基于人工智能的绝缘子缺陷识别方法、设备及介质
技术领域
本发明涉及电力设备图像分析领域，尤其涉及一种基于人工智能的绝缘子缺陷识别方法、设备及存储介质。
背景技术
随着电力工业的快速发展，电力设备的数量和种类越来越多，急需一种能自动识别电力线路上的设备缺陷的方法。现有技术中，由于绝缘子在图像上占比较小，导致绝缘子缺陷识别的鲁棒性不高，尤其位于绝缘子串两端点的绝缘子缺陷的误判率较高。
发明内容
本发明提供一种基于人工智能的绝缘子缺陷识别方法、设备及介质，以解决现有技术中对绝缘子缺陷识别的鲁棒性不高的问题。
为实现上述技术目的，本发明采用如下技术方案：
一种基于人工智能的绝缘子缺陷识别方法，包括：
获取待缺陷识别的绝缘子图像；
将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器，检测获得绝缘子串区域图像；
对绝缘子串区域图像进行角度校正处理，得到校正图像；在校正图像中，绝缘子串的棒芯垂直于校正图像的边界线；
将校正图像输入至预先训练好的缺陷检测器，检测获得绝缘子的缺陷区域图像；所述缺陷检测器基于改进的yolov5模型构建并训练得到；
根据缺陷区域检测结果进行绝缘子缺陷识别：
若缺陷检测器未检测到缺陷区域，则判定当前绝缘子不存在缺陷；
若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置，则直接判定当前绝缘子存在缺陷；
若缺陷检测器检测到的绝缘子的缺陷位于绝缘子串的两端，则进一步将绝缘子的缺陷区域图像输入预先训练好的绝缘子缺陷分类器，根据输出结果判定当前绝缘子是否存在缺陷。
进一步地，所述绝缘子串检测器采用带实例分割的mask-rcnn目标检测器，通过若干航拍的绝缘子图像对深度神经网络模型进行训练得到，具体包括：
获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像，并进行标注，构成绝缘子串数据集；
对绝缘子串数据集中的图像进行预处理，构成绝缘子串训练集和绝缘子串测试集；
利用绝缘子串训练集和绝缘子串测试集，对基于mask-rcnn带实例分割的深度学习网络结构的模型进行训练，得到带实例分割的绝缘子串检测器。
进一步地，所述角度校正处理采用两阶段的图像校正方法；
第一阶段的图像校正方法为：提取绝缘子串的轮廓，将轮廓长轴方向视为主方向，计算主方向与图像边界方向的夹角，根据该夹角对绝缘子串区域图像进行旋转，使得主方向与图像的底部边界水平线垂直，得到初始校正图像；
第二阶段的图像校正方法为：以比例a横向缩小初始校正图像；然后对横向缩小后的图像以比例b纵向缩小；再提取图像中的绝缘子边缘，并采用hough算法计算图像中棒芯形成的直线；最终，根据该直线与初始校正图像底边边界水平线的夹角，旋转初始校正图像，使得棒芯与图像的底部边界水平线垂直，得到精确的校正图像；其中a>b。
进一步地，所述改进的yolov5模型，其focus层包括6个输入通道，分别用于输入校正图像的rgb和hsv共6个通道信息；所述改进的yolov5模型，其focus 层的卷积子层的切片后通道数，为原始改进前的2倍。
进一步地，所述改进的yolov5模型，其输出层prediction包括形式与结构均相同但输入不同分辨率特征图的三个输出子层；其中，每个输出子层增加注意力机制，包括4层结构：
第1层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出为1个通道，表示特征图上的各点是否表示绝缘子缺陷的概率；
第2层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出为18个通道；
具体计算方法为：18=（1+4+1）*3，本发明只检测绝缘子缺陷1个类， 3是yolov5模型的anchor数目，anchor指在每个输出层的特征图的每个点预设的检测框的数目；另外的4和1指的是检测框的xywh值和objectness概率值，objectness概率值表示特征图上的某个点是绝缘子缺陷的概率。虽然“第1层”和“第2层”都包含相同的信息即是否为前景的概率，但是“第1层”和“第2层”的参数是不同的，期望通过训练能够形成相互配合使得输出结果最优的网络权重。
第3层结构采用注意力机制将第1层结构和第2层结构的输出进行融合，具体为：先将第1层结构输出的特征图的各点特征值的范围变换为[0.8,1]；然后将第1层结构的输出特征图与第2层结构输出的各通道的特征图在相同点的值进行相乘，得到与第2层结构输出特征图维数相同的特征图；
第4层结构使用1个卷积子层对第3层结构输出的特征图进行变换，卷积的步长为2，实现下采样的效果，得到表示检测结果的特征图；该特征图上各点表示的检测结果，包括每个预设检测框为绝缘子缺陷前景的概率、为绝缘子缺陷的概率以及与此预设检测框对应的实际检测框的位置。
进一步地，所述改进的yolov5模型，其训练的损失函数为：
Figure 159878DEST_PATH_IMAGE001
式中，L为改进的yolov5模型的损失函数值，
Figure 100002_DEST_PATH_IMAGE002
表示未改进的yolov5模型的损失函数，
Figure 100002_DEST_PATH_IMAGE003
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构的输出特征图上第i点的标签值，
Figure 765434DEST_PATH_IMAGE004
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构输出特征图上第i点的输出值，n表示输出特征图的点的数目，k为输出子层的数目，yolov5模型包含3个输出子层。
进一步地，所述绝缘子缺陷分类器的训练方法为：
获取若干各种拍摄角度的原始绝缘子图像，并按照待缺陷识别的绝缘子图像相同的处理方法，获得其绝缘子串区域图像和校正图像；
对绝缘子串区域图像和校正图像中位于绝缘子串两端处的绝缘子缺陷进行标注，构建缺陷绝缘子样本；按照绝缘子缺陷标注框的尺寸，对绝缘子串区域图像和校正图像中的正常绝缘子区域进行标注，构建正常绝缘子样本；
对缺陷绝缘子样本和正常绝缘子样本进行预处理，然后输入至基于resnet的二分类模型中进行训练，得到绝缘子缺陷分类器。
进一步地，所述对缺陷绝缘子样本和正常绝缘子样本进行预处理，具体为：对缺陷绝缘子样本和正常绝缘子样本，首先进行边缘提取形成边缘二值图像，其中边缘像素值为255，非边缘处像素值为0；然后，设边缘二值图像的像素值为
Figure 100002_DEST_PATH_IMAGE005
，绝缘子样本在通道
Figure 686117DEST_PATH_IMAGE006
的像素值为
Figure 100002_DEST_PATH_IMAGE007
，对边缘二值图像与绝缘子样本进行融合得到预处理后的融合图像：
Figure 100002_DEST_PATH_IMAGE008
式中，
Figure DEST_PATH_IMAGE009
表示融合图像在通道
Figure 65014DEST_PATH_IMAGE006
中的像素值，a和b为融合的比例系数。
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的基于人工智能的绝缘子缺陷识别方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于人工智能的绝缘子缺陷识别方法。
与现有技术相比，本发明的有益效果为：
本发明提供一种基于人工智能的绝缘子缺陷识别方法、设备及介质，先进行实例分割和图像校正，然后再进行缺陷检测，最后用一个缺陷分类器再次识别，可以同时提高召回率和准确率。其中通过二个阶段的图像校正，使得绝缘子串的特征更加突出，提高识别率；通过改进的yolov5模型，包括引入hsv颜色信息和带上采样的注意力机制，提高了对小目标的检测能力和对背景的区分能力；最后通过一个二分类的缺陷识别分类器，对位于绝缘子串两端的缺陷进行再次识别，以降低误检。本发明提高了识别的召回率和准确率，并可以对人工复核和进一步的管理分析提供帮助，有利于提高电力系统运行维护的工作效率和管理水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所述方法的整体流程图；
图2是本发明实施例所述图像校正的流程图（包括初步校正和精确校正）；
图3是本发明实施例所述所述图像校正得到的效果图；其中（a）为原始绝缘子图像，（b）为前景mask区域图像，（c）为初步校正得到的图像，（d）为横纵向不同比例缩小后的图像，（e）为包括采用hough算法提取棒芯所得到直线的图像；（f）为完成精准校正后的图像；
图4是未改进和改进后的yolov5模型的输入层部分；其中（a）表示未改进的focus层，（b）为切片操作原理图；（c）表示改进的focus层；
图5是本发明实施例所述改进yolov5模型prediction各输出子层包含注意力机制的结构；
图6是本发明实施例所述用于再次识别的缺陷分类器模型的数据集生成方式部分；
图7是本发明实施例所述用于再次识别的缺陷分类器模型的图像预处理部分。
具体实施方式
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
实施例1
本实施例提供一种基于人工智能的绝缘子缺陷识别方法，参考图1所示，包括以下步骤：
步骤1，获取待缺陷识别的绝缘子图像。
步骤2，将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器，检测获得绝缘子串区域图像。
所述绝缘子串检测器采用带实例分割的mask-rcnn目标检测器，通过若干航拍的绝缘子串图像对深度神经网络模型进行训练得到，具体包括：
步骤A1，获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像，并进行标注，构成绝缘子串数据集；
步骤A2，对绝缘子串数据集中的图像进行预处理，构成绝缘子串训练集和绝缘子串测试集；
步骤A3，利用绝缘子串训练集和绝缘子串测试集，对基于mask-rcnn带实例分割的深度学习网络结构的模型进行训练，得到带实例分割的绝缘子检测器。
步骤3，对绝缘子串区域图像进行角度校正处理，得到校正图像；在校正图像中，绝缘子串的棒芯垂直于校正图像的边界线，使得绝缘子缺陷部分的特征更加突出，从而达到更好的缺陷检测效果。
在本实施例中，所述角度校正处理采用两阶段的图像校正方法；其中，参考图2、3所示，
第一阶段的图像校正方法为：由于绝缘子串的轮廓基本为长方形或椭圆，而且长度或长轴远大于宽度或短轴，因此可以先提取绝缘子串的轮廓，并将轮廓长轴方向视为主方向，计算主方向与图像边界方向的夹角，再根据该夹角对绝缘子串区域图像进行旋转，使得主方向与图像的底部边界水平线垂直，得到初始校正图像；
对于初步校正图像，由于mask-rcnn网络得到的前景mask区域（即绝缘子串区域）不太精确，计算得到的绝缘子串的主方向和实际绝缘子串棒芯形成的直线有一定的偏差，因此本实施例进行第二阶段更精确的图像校正。
对于提取绝缘子串的棒芯部分的直线，由于瓷瓶对棒芯部分的提取有一定的干扰，所以采用不同比例缩小的方法消除瓷瓶的影响。具体地，第二阶段的图像校正方法为：以比例a横向缩小初始校正图像；然后对横向缩小后的图像以比例b纵向缩小；再提取图像中的绝缘子边缘，并采用hough算法计算图像中棒芯形成的直线；最终，根据该直线与初始校正图像底边边界水平线的夹角，旋转初始校正图像，使得棒芯与图像的底部边界水平线垂直，得到精确的校正图像。其中a>b；比如：假设初始校正图像的尺寸为10*10，横向缩小比例a=0.5，纵向缩小比例b=0.1,即缩小10=>1，则缩小后的图像尺寸为5*1，可以基本上消除图像中呈纵向的绝缘子串中的瓷瓶，只保留棒芯部分。
步骤4，将校正图像输入至预先训练好的缺陷检测器，检测获得绝缘子串的缺陷区域图像；所述缺陷检测器基于改进的yolov5模型构建并训练得到。
对于绝缘子缺陷，有的在图像中的占比比例较小，难以检测，有的因为瓷瓶和棒芯的颜色和地面背景颜色接近，容易引起误判和漏判。因此，本实施例采用改进的yolov5模型，在输入层引入hsv颜色通道，增加对瓷瓶、棒芯和地面背景的辨别能力，同时在输出层引入上采样和注意力机制，提高对小目标的检测能力，并且提高准确率。
对于原始未改进的yolov5模型网络结构，参考图4（a）（b）所示，包括：输入端、Backbone、Neck、Prediction四个部分。（1）输入端主要对输入图像进行预处理，主要的预处理包括：[a]Mosaic数据增强，主要是采用随机缩放、随机裁剪、随机排布的方式将多张原始样本图像拼接为一张训练图像，增加小样本的数量，并增加样本的多样性；[b] 自适应锚框计算，锚框又称anchor box，每次训练时，可以自适应的计算训练集中的最佳锚框值；[c]自适应图片缩放，自动将训练图像缩放为模型可以处理的图像尺寸，并且最大程度的消除无用信息，提高处理速度。（2）yolov5模型的Backbone层主要用于提取图像的特征，主要包括：[a]focus结构，其中的切片操作将输入的图像进行划分，增加通道数目，如图4(b)所示，将原来图像的某一个通道的像素值，已固定的次序重新组织到4个新增加的通道中，处理后图像的分辨率减少为原来的一半；若尺寸为H*W*3的图像输入Focus结构，采用切片操作，先变成(H/2)*(W/2)*12的特征图，再经过一次32个卷积核的卷积操作，最终变成(H/2)*(W/2)*32的特征图；[b]CSPX结构，CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率，CSP1_X结构应用于Backbone主干网络，另一种CSP2_X结构则应用于Neck中，其中CSP1_X主要包括残差单元，CSP2_X主要包括卷积子层和归一化子层。（3）yolov5模型的Neck层主要采用FPN+PAN的结构，FPN为特征金字塔，用于检测不同尺寸的目标，PAN(Path Aggregation Network)结构用于融合FPN的各个层级的特征图。（4）yolov5模型的输出层，即Prediction层，输出的特征图上会应用锚框，并生成带有类别概率、置信度得分和预测框的最终输出向量。yolov5的损失函数包含3个部分：[a] 采用了BECLogits 损失函数计算objectness score的损失，[b]采用了交叉熵损失函数(BCEclassloss) 计算class probability score的损失；[c]主要采用了GIOU Loss计算bounding box的损失。
本实施例采用改进的yolov5模型，其focus层参考图4（c）所示，包括6个输入通道，分别用于输入校正图像的rgb和hsv共6个通道信息，从而引入更多的信息，提高对绝缘子和地面背景的区分能力。所述改进的yolov5模型，其focus 层的卷积子层的切片后通道数，为原始改进前的2倍。比如，对于原来的yolov5模型，输入层包含卷积子层，对于输入H*W*3的图像，输出的特征图的维数为(H/w)*(W/2)*32；改进后的输入图像包含rgb+hsv，变为H*W*6的图像，切片处理后为(H/2)*(W/2)*24，仍然保持输出特征图的维数不变，则修改网络结构，即修改卷积子层的参数，从原来的32*12*3*3改为32*24*3*3，其中3*3为卷积核的尺寸，24为切片后的通道数，32为输出的通道数。
本实施例中改进的yolov5模型，其输出层prediction包括三个输出子层，分别对应特征金字塔FPN的3个层，用于检测大中小尺寸的目标物体；以下按输入图像分辨率为608*608*3进行说明；3个输出子层的形式、结构和功能相同，区别在于分辨率不同，分别输出特征图维数为76*76*N、38*38*N、19*19*N，N为输出通道数，且N=(类型数目+4+1)*3。本实施例只检测绝缘子缺陷这1类，因此N=(1+4+1)*3=18。输出通道数N的计算式中，3是yolov5模型的anchor数目，anchor指在每个输出层的特征图的每个点预设的检测框的数目；另外的4和1指的是检测框的xywh值和objectness概率值，objectness概率值表示特征图上的某个点是前景的概率，本实施例中的前景指绝缘子缺陷。
本实施例中，为了提高对小目标的检测能力，并提高准确率，每个输出子层增加注意力机制，且注意力权重来自objectness特征值。
增加注意力机制的各输出子层，以下按其中的一个输出子层为例进行说明，参考图5所示，包括以下4层结构：
第1层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换，改进后的卷积子层的结构和原来相同；经过卷积子层后再经过上采样，将分辨率提高1倍，输出特征图维数为152*152*1，输出为1个通道，表示objectness特征值，表示特征图上的点为前景的概率，即表示特征图上的各点为绝缘子缺陷的概率。
第2层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换，改进后的卷积子层的结构和原来相同；经过卷积子层后再经过上采样，将分辨率提高1倍，输出特征图维数为152*152*18，输出为18个通道，其中18=(1+4+1)*3，3是yolov5模型的anchor数目，anchor指在每个输出层的特征图的每个点预设的检测框的数目；本实施例只检测绝缘子缺陷这1类，另外的4和1指的是检测框的xywh值和objectness概率值，objectness概率值表示特征图上的某个点是前景的概率，本实施例中的前景指绝缘子缺陷。
第3层结构采用注意力机制将第1层结构和第2层结构的输出进行融合（两层结构输出的特征图分辨率相同，均为152*152），具体为：若特征图上的一些点被判为背景点，则objectness特征值会很小，如：0.05等，这样进行注意力计算会损失过多信息，达不到引入注意力机制的效果，因此首先将第1层结构输出的特征图的各点特征值的范围变换为[0.8,1]；然后将第1层结构的输出特征图与第2层结构输出的各通道的特征图在相同点的值进行相乘，即第1层的位于(x,y)处的点的值与第2层的每一个通道的特征图的同样位于(x,y)处的点的值相乘，得到与第2层结构输出特征图维数相同的特征图，且降低了背景区域的特征值，使模型能更好的进行检测。
第4层结构使用1个卷积子层对第3层结构输出的特征图进行变换，卷积的步长为2，实现下采样的效果，最终得到表示检测结果的特征图；该特征图上各点表示的检测结果，包括每个预设检测框中是否表示绝缘子的概率、是否为缺陷的概率以及当前检测框的位置。其中，卷积子层的结构为18*18*3*3，且步长为2，用于实现下采样，输入输出的变换关系为152*152*18=>76*76*18。
所述改进的yolov5模型，其训练的损失函数为：
Figure 100002_DEST_PATH_IMAGE010
式中，L为改进的yolov5模型的损失函数值，
Figure 20332DEST_PATH_IMAGE002
表示未改进的yolov5模型的损失函数，
Figure 100002_DEST_PATH_IMAGE011
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构的输出特征图上第i点的标签值，
Figure DEST_PATH_IMAGE012
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构输出特征图上第i点的输出值，n表示输出特征图的点的数目，k为输出子层的数目，yolov5模型包含3个输出子层。
本实施例所引用的未改进的yolov5模型的损失函数
Figure 528280DEST_PATH_IMAGE002
，解释说明如下：
对于原始的yolov5模型，损失函数包含在输出层，即Prediction层中，每一个输出层包含3种anchor-box，对于本发明的目标检测，检测类型数目为1个类，即绝缘子缺陷，输出特征图的通道数目为3(1+1+4)=18，其中“3”表示每一个输出层包含3种anchor-box，第1个“1”表示objectness，即前景的概率，第2个“1”表示判为绝缘子缺陷的概率，“4”表示目标检测框的4个量：xywh。yolov5的损失函数包含3个部分：[a] objectness score的损失，[b]class probability score的损失；[c] bounding box，即检测框的损失，训练时希望loss值越小越好。
Yolov5模型的损失函数为：
Figure DEST_PATH_IMAGE014
;
也即总体损失为三个损失的加权和，通常置信度损失
Figure 326472DEST_PATH_IMAGE015
取最大权重，矩形框损失
Figure 931897DEST_PATH_IMAGE016
和分类损失
Figure 397513DEST_PATH_IMAGE017
的权重次之，比如：a = 0.4，b = 0.3，c = 0.3；
损失函数基于输出层的特征图，对于本发明，有3种特征图，分别是：76*76*18，38*38*18，19*19*18；其中如76*76为特征图的分辨率，18为通道数目，在每一个特征图的每个点计算损失函数，然后将全部特征图的全部点的损失函数相加，得到整个模型的损失函数。在每个点上的损失函数的计算规则是：
[1]仅特征图中的点的objectness为true的预测框，即判为前景的预测框，需要计算矩形检测框损失
Figure 125298DEST_PATH_IMAGE016
。
检测框损失用于计算目标检测的预测矩形框和真实矩形框之间的差距。若假设预测矩形框为A，真实矩形框为B，则定义S1为A,B之间的交集的面积，S2为A,B之间的并集的面积，然后计算交并比IOU=S1/S2，IOU的取值范围为0~1，当两个矩形框完全没有交集时，IOU为0，当它们完全重合时IOU为1，也即重合度越小IOU越接近0，重合度越大IOU越接近1；GIOU在IOU的基础上，把包围矩形框A和矩形框B的最小矩形框的面积也加入到计算中，这里不是A,B的并集，记S3为包围矩形框A和矩形框B的最小矩形框的面积，则
Figure 800999DEST_PATH_IMAGE018
，GIOU相比IOU新增了(S3-S2)/S3这一项，解决了当A、B完全没有重叠区域时IOU恒为0的问题。
[2]所有预测框都需要计算置信度损失
Figure 69169DEST_PATH_IMAGE015
，判断方法：若特征图的输出objectness概率值大于某个阈值，如：0.5，则判为objectness为true。
通用的BCE loss如下：
Figure DEST_PATH_IMAGE020
本实施例中置信度损失
Figure 999079DEST_PATH_IMAGE015
采用BCE loss损失函数的表达式为：
Figure DEST_PATH_IMAGE022
其中，
Figure 694502DEST_PATH_IMAGE023
和mask=true表示输出层的特征图上的某个点为前景，即objectness=1；
Figure 358964DEST_PATH_IMAGE024
和mask=false表示特征图上的某个点为背景，即objectness=0；
Figure 306191DEST_PATH_IMAGE025
表示一个特征图上的全部点的loss之和。
[3]仅特征图中的点的objectness为true的预测框，需要计算分类损失
Figure 746400DEST_PATH_IMAGE017
，用于判断特征图上的某个点为检测目标“绝缘子缺陷”的概率，采用上述的BCE loss损失函数，即：
Figure 737359DEST_PATH_IMAGE027
对于本发明，只有缺陷损失1个类，因此分类损失只考虑mask=true，即为前景点的情况，不考虑背景点。
步骤5，根据缺陷区域初步提取结果进行绝缘子缺陷识别：
若缺陷检测器未检测到缺陷区域，则判定当前绝缘子串不存在缺陷；
若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置，则直接判定当前绝缘子串存在缺陷；
若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的两端，则进一步将绝缘子的缺陷区域图像输入预先训练好的绝缘子缺陷分类器，根据输出结果判定当前绝缘子串是否存在缺陷。
对于位于绝缘子串的2个端点的绝缘子缺陷，由于在端点处只有端点的1侧有瓷瓶，另一侧没有瓷瓶，比较容易引起错检，本发明引入一个绝缘子缺陷分类器，对于检测到的位于绝缘子串两个端点的绝缘子缺陷，再次进行识别，若识别为缺陷，才判为缺陷，若识别为正常，则判为正常
本实施例中，所述绝缘子缺陷分类器的训练方法为：
获取若干各种拍摄角度的原始绝缘子图像，并按照待缺陷识别的绝缘子图像相同的处理方法，获得其绝缘子串区域图像和校正图像；参考图6所示；
对绝缘子串区域图像和校正图像中位于绝缘子串两端处的绝缘子缺陷进行标注，构建缺陷绝缘子样本；按照绝缘子缺陷标注框的尺寸，对绝缘子串区域图像和校正图像中的正常绝缘子区域进行标注，构建正常绝缘子样本；
对缺陷绝缘子样本和正常绝缘子样本进行预处理，然后输入至基于resnet的二分类模型中进行训练，得到绝缘子缺陷分类器。
由于绝缘子缺陷主要体现在边缘特征，即正常绝缘子串上有等距离出现的瓷瓶，瓷瓶的边缘图像为椭圆，而绝缘子缺陷部分没有瓷瓶，只有棒芯，则边缘图像中棒芯位置出现比较长的类似直线的边缘。因此，可基于上述边缘特征使用人工智能训练分类模型，以对两端处的缺陷作进一步判断。
其中，在训练分类模型和使用模型分类推理之前，先对缺陷绝缘子样本和正常绝缘子样本进行预处理，参考图7所示，具体为：对缺陷绝缘子样本和正常绝缘子样本，首先进行边缘提取形成边缘二值图像，其中边缘像素值为255，非边缘处像素值为0；然后，设边缘二值图像的像素值为
Figure 200701DEST_PATH_IMAGE005
，绝缘子样本在通道
Figure 76253DEST_PATH_IMAGE006
的像素值为
Figure 308651DEST_PATH_IMAGE007
，对边缘二值图像与绝缘子样本进行融合得到预处理后的融合图像：
Figure 486823DEST_PATH_IMAGE028
，
Figure 234199DEST_PATH_IMAGE009
表示融合图像在通道
Figure 851125DEST_PATH_IMAGE006
的像素值，a和b为融合的比例系数。上述经过预处理得到的融合图像，可以提高模型对边缘的响应能力，从而提高分类模型的准确率。
实施例2
本实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现实施例1所述的基于人工智能的绝缘子缺陷识别方法。
实施例3
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于人工智能的绝缘子缺陷识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的绝缘子缺陷识别方法，其特征在于，包括：
获取待缺陷识别的绝缘子图像；
将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器，检测获得绝缘子串区域图像；
对绝缘子串区域图像进行角度校正处理，得到校正图像；在校正图像中，绝缘子串的棒芯垂直于校正图像的边界线；
将校正图像输入至预先训练好的绝缘子缺陷检测器，检测获得绝缘子串的缺陷区域图像；所述缺陷检测器基于改进的yolov5模型构建并训练得到；
根据缺陷区域检测结果进行绝缘子缺陷识别：
若缺陷检测器未检测到缺陷区域，则判定当前绝缘子串不存在缺陷；
若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置，则直接判定当前绝缘子串存在缺陷；
若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的两端，则进一步将绝缘子的缺陷区域图像输入预先训练好的绝缘子缺陷分类器，根据输出结果判定当前绝缘子串是否存在缺陷。
2.根据权利要求1所述的方法，其特征在于，所述绝缘子串检测器采用带实例分割的mask-rcnn目标检测器，通过若干航拍的绝缘子串图像对深度神经网络模型进行训练得到，具体包括：
获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像，并进行标注，构成绝缘子串数据集；
对绝缘子串数据集中的图像进行预处理，构成绝缘子串训练集和绝缘子串测试集；
利用绝缘子串训练集和绝缘子串测试集，对基于mask-rcnn带实例分割的深度学习网络结构的模型进行训练，得到带实例分割的绝缘子串检测器。
3.根据权利要求1所述的方法，其特征在于，所述角度校正处理采用两阶段的图像校正方法；
第一阶段的图像校正方法为：绝缘子串检测器检测获得绝缘子串的轮廓，将轮廓长轴方向视为主方向，计算主方向与图像边界方向的夹角，根据该夹角对绝缘子串区域图像进行旋转，使得主方向与图像的底部边界水平线垂直，得到初始校正图像；
第二阶段的图像校正方法为：以比例a横向缩小初始校正图像；然后对横向缩小后的图像以比例b纵向缩小；再提取图像中的绝缘子串边缘，并采用hough算法计算图像中绝缘子串的棒芯形成的直线；最终，根据该直线与初始校正图像底边边界水平线的夹角，旋转初始校正图像，使得棒芯与图像的底部边界水平线垂直，得到精确的校正图像；其中a>b。
4.根据权利要求1所述的方法，其特征在于，所述改进的yolov5模型，其focus层包括6个输入通道，分别用于输入校正图像的rgb和hsv共6个通道信息；所述改进的yolov5模型，其focus 层的卷积子层的切片后通道数，为原始改进前的2倍。
5.根据权利要求1所述的方法，其特征在于，所述改进的yolov5模型，其输出层prediction包括形式与结构均相同但分辨率特征图不同的3个输出子层；其中，每个输出子层增加注意力机制，包括4层结构：
第1层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出特征图为1个通道，表示特征图上的各点是否表示绝缘子缺陷的概率；
第2层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出特征图为18个通道；
第3层结构采用注意力机制将第1层结构和第2层结构的输出进行融合，具体为：先将第1层结构输出的特征图的各点的特征值的范围变换为[0.8,1]；然后将第1层结构的输出特征图与第2层结构输出的各通道的特征图在相同位置的值进行相乘，得到与第2层结构输出特征图维数相同的特征图；
第4层结构使用1个卷积子层对第3层结构输出的特征图进行变换，卷积的步长为2，实现下采样的效果，得到表示检测结果的特征图；该特征图上各点表示的检测结果，包括每个预设检测框为绝缘子缺陷前景的概率、为绝缘子缺陷的概率以及与此预设检测框对应的实际检测框的位置。
6.根据权利要求5所述的方法，其特征在于，所述改进的yolov5模型，其训练的损失函数为：
Figure DEST_PATH_IMAGE002
式中，L为改进的yolov5模型的损失函数值，
Figure DEST_PATH_IMAGE003
表示未改进的yolov5模型的损失函数，
Figure DEST_PATH_IMAGE004
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构的输出特征图上第i点的标签值，
Figure DEST_PATH_IMAGE005
表示改进的yolov5模型的输出层的第k个输出子层的第1层结构输出特征图上第i点的输出值，n表示输出特征图的点的数目，k为输出子层的序号，yolov5模型包含3个输出子层。
7.根据权利要求1所述的方法，其特征在于，所述绝缘子缺陷分类器的训练方法为：
获取若干各种拍摄角度的原始绝缘子图像，并按照待缺陷识别的绝缘子图像相同的处理方法，获得其绝缘子串区域图像和校正图像；
对绝缘子串区域图像和校正图像中位于绝缘子串两端处的绝缘子缺陷进行标注，构建缺陷绝缘子样本；按照绝缘子缺陷标注框的尺寸，对绝缘子串区域图像和校正图像中的正常绝缘子区域进行标注，构建正常绝缘子样本；
对缺陷绝缘子样本和正常绝缘子样本进行预处理，然后输入至基于resnet的二分类模型中进行训练，得到绝缘子缺陷分类器。
8.根据权利要求7所述的方法，其特征在于，所述对缺陷绝缘子样本和正常绝缘子样本进行预处理，具体为：对缺陷绝缘子样本和正常绝缘子样本，首先进行边缘提取形成边缘二值图像，其中边缘像素值为255，非边缘处像素值为0；然后，设边缘二值图像的像素值为
Figure DEST_PATH_IMAGE006
，绝缘子样本在通道
Figure DEST_PATH_IMAGE007
中的像素值为
Figure DEST_PATH_IMAGE008
，对边缘二值图像与绝缘子样本进行融合得到预处理后的融合图像：
Figure DEST_PATH_IMAGE010
，
式中，
Figure DEST_PATH_IMAGE011
表示融合图像在通道
Figure 434445DEST_PATH_IMAGE007
中的像素值，a和b为融合的比例系数。
9.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～8中任一项所述的基于人工智能的绝缘子缺陷识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～8中任一项所述的基于人工智能的绝缘子缺陷识别方法。
CN202210276350.5A 2022-03-21 2022-03-21 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 Pending CN114359286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210276350.5A CN114359286A (zh) 2022-03-21 2022-03-21 一种基于人工智能的绝缘子缺陷识别方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210276350.5A CN114359286A (zh) 2022-03-21 2022-03-21 一种基于人工智能的绝缘子缺陷识别方法、设备及介质

Publications (1)

Publication Number Publication Date
CN114359286A true CN114359286A (zh) 2022-04-15

Family

ID=81094554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210276350.5A Pending CN114359286A (zh) 2022-03-21 2022-03-21 一种基于人工智能的绝缘子缺陷识别方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114359286A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937023A (zh) * 2022-06-02 2022-08-23 北京远舢智能科技有限公司 一种承压设备的缺陷识别方法及装置
CN116012380A (zh) * 2023-03-27 2023-04-25 中江立江电子有限公司 一种绝缘子缺陷检测方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
CN110222683A (zh) * 2019-06-11 2019-09-10 云南电网有限责任公司曲靖供电局 一种基于深度卷积神经网络的输电线路绝缘子部件爆片缺陷识别定位方法
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN112907614A (zh) * 2021-03-26 2021-06-04 东北电力大学 基于深度特征融合的yolov5-segnet绝缘子串轮廓提取方法
CN113065598A (zh) * 2021-04-06 2021-07-02 泰豪软件股份有限公司 一种绝缘子识别模型的获取方法、装置及计算机设备
WO2022036919A1 (zh) * 2020-08-17 2022-02-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
CN110222683A (zh) * 2019-06-11 2019-09-10 云南电网有限责任公司曲靖供电局 一种基于深度卷积神经网络的输电线路绝缘子部件爆片缺陷识别定位方法
WO2022036919A1 (zh) * 2020-08-17 2022-02-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN112819804A (zh) * 2021-02-23 2021-05-18 西北工业大学 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法
CN112907614A (zh) * 2021-03-26 2021-06-04 东北电力大学 基于深度特征融合的yolov5-segnet绝缘子串轮廓提取方法
CN113065598A (zh) * 2021-04-06 2021-07-02 泰豪软件股份有限公司 一种绝缘子识别模型的获取方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937023A (zh) * 2022-06-02 2022-08-23 北京远舢智能科技有限公司 一种承压设备的缺陷识别方法及装置
CN116012380A (zh) * 2023-03-27 2023-04-25 中江立江电子有限公司 一种绝缘子缺陷检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN109255776B (zh) 一种输电线路开口销缺损自动识别方法
Ribeiro et al. An end-to-end deep neural architecture for optical character verification and recognition in retail food packaging
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
CN114332650B (zh) 一种遥感图像道路识别方法及系统
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN113570540A (zh) 一种基于检测-分割架构的图像篡改盲取证方法
CN110399873A (zh) 身份证图像获取方法、装置、电子设备及存储介质
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
Cao et al. Accurate glass insulators defect detection in power transmission grids using aerial image augmentation
CN118230265A (zh) 一种轨道交通道床异物检测方法
CN110807758A (zh) 保温被未覆盖区域检测方法、装置、设备和存储介质
CN116452966A (zh) 一种水下图像的目标检测方法、装置、设备及存储介质
CN114078106B (zh) 基于改进Faster R-CNN的疵点检测方法
CN117011688B (zh) 一种水下结构病害的识别方法、系统及存储介质
CN118447366A (zh) 一种违禁品识别模型构建方法及违禁品识别方法
CN111105423A (zh) 一种基于深度学习的ct图像中肾脏分割方法
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
CN116704316A (zh) 基于阴影图像重构的变电站渗漏油检测方法、系统及介质
CN114648736A (zh) 基于目标检测的鲁棒工程车辆识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220415

WD01 Invention patent application deemed withdrawn after publication