CN113643228B - 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 - Google Patents
一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 Download PDFInfo
- Publication number
- CN113643228B CN113643228B CN202110575217.5A CN202110575217A CN113643228B CN 113643228 B CN113643228 B CN 113643228B CN 202110575217 A CN202110575217 A CN 202110575217A CN 113643228 B CN113643228 B CN 113643228B
- Authority
- CN
- China
- Prior art keywords
- detection
- loss function
- defect
- nuclear power
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 38
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- KUBWJGWIWGGEPZ-UHFFFAOYSA-N 1-[amino(ethoxy)phosphoryl]oxy-4-nitrobenzene Chemical compound CCOP(N)(=O)OC1=CC=C([N+]([O-])=O)C=C1 KUBWJGWIWGGEPZ-UHFFFAOYSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101100225890 Aplysia californica ENPP gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005536 corrosion prevention Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005187 foaming Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法，首先获取核电站设备表面图片并对其进行预处理；其次利用DLAseg网络对预处理后的图片进行特征提取，得到下采样特征图，再分别使用多种不同卷积核对得到的下采样特征图进行卷积操作，得到设备表面缺陷点的热图、偏移值以及尺寸，再将得到的热图转换成预测框，并根据偏移值和尺寸得到多个缺陷点的检测框，再利用Soft_NMS和置信度阈值去除冗余的检测框，得到设备缺陷的预测结果；最后将得到的预测结果输入神经网络进行训练，得到设备缺陷的检测结果，本方案无需调与锚点框相关的各种超参数，检测模型更加简洁，不需要大量的先验知识，其收敛速度更快，极大节省了训练模型所需要的时间。
Description
技术领域
本发明涉及，具体涉及一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法。
背景技术
核电站是指通过适当的装置将核能转变成电能的设施，核电是非常清洁和低碳的能源，因此核能发电是一种非常重要的电能来源方式。综合考量冷却、排放、区域经济发展等一系列因素，核电站一般都建在海边，而沿海高盐、高湿的恶劣环境给腐蚀创造了非常好的环境，并且核电站设备材料与高温、高压、高热流介质、化学介质、海水介质接触，同时还收到辐照、应力、振动等因素的影响，给核电站的防腐工作提出了更高的要求。核电站设备表面除了腐蚀还会出现其他各种各样的缺陷，比如开裂，脱落，起泡等。为了应对核电站设备的腐蚀问题，在核电站设备选材时，考虑到耐辐照要求，根据设备的重要程度，一般选用不锈钢或碳板作为主体结构，但是这种方式不能够完全避免腐蚀等情况的发生。当设备表面的缺陷不可避免的时候，本方案中要能够及时的发现这些缺陷并对不同缺陷采取不同的补救措施。核电站设备表面的缺陷如果不及时修复，会严重影响设备的使用寿命和降低生产的效率与质量，因此及时检测出核电站设备表面的缺陷问题，对保障核电安全稳定运行具有重要意义。
如今，核电站设备缺陷检测的常用方法依然是，人工视觉检测，由富有经验的检查人员对缺陷的种类以及位置进行记录，形成检查报告。但是这种方法的效率是很低的，并且人工视觉检测会存在许多困难，比如长时间的检测极易产生视觉疲劳，因此便会相应的遗漏一些缺陷；还有一个困难就是小缺陷的检测，一些非常小的缺陷在一些非常重要的设备上也可能会造成巨大的隐患，如果人工视觉检测的方法没有能够发现这些小缺陷，那么就可能会对本方案中的设备以及生产造成难以估量的损失；最后，不同的检查人员对于缺陷的判断标准可能会有所差异，从而会导致最终的检测结果可能会存在争议性。因此，计算机辅助设备缺陷检测具有重要意义。
在深度学习出现之前，有许多经典的机器学习算法已经应用到工业领域进行缺陷检测，具体做法主要分为三个阶段：区域选择，特征提取和分类，区域选择这一步是为了对缺陷的位置进行定位，一般采用滑动窗口的策略对整幅图像进行遍历，因为缺陷的大小和长宽比例等均不确定，因此需要设置不同尺度和长宽比的滑动窗口，这种方法虽然包含了各种大小的缺陷以及缺陷所有可能出现的位置，但是时间复杂度太高，并且大多数滑动窗口都是没有必要的，并且这也会影响后面特征提取和分类的速度和性能；特征提取阶段常用的特征有SIFT、HOG等，好的特征可以极大的提高检测的性能，但是由于缺陷的形态多样，光照强度也各不相同，使得手工设计一个鲁棒的特征并不是一件容易的事情，它需要依靠设计者的先验知识，很难利用大数据的优势；分类阶段常用的分类器有SVM，Adaboost等。综上，传统的基于机器学习的缺陷检测方法主要存在两个问题：1、基于滑动窗口的区域选择策略时间复杂度高，窗口冗余；2、手工设计特征困难并且没有很好的鲁棒性。
深度学习出现后，基于深度学习的缺陷检测方法开始广泛应用于工业界，如FasterR-CNN，YOLO,SSD等。这种方法大致可以分为两类：two-stage方法和one-stage方法。其中two-stage方法需要先由算法生成一系列的候选框，然后再通过卷积神经网络进行候选框的分类，如R-CNN、FasterR-CNN等。而one-stage方法则不需要产生候选框，直接将目标边框的定位问题转化为回归问题进行处理，如YOLO、SSD等。这两种方法在检测性能上会有所差异，two-stage方法在检测准确率和定位精度上更有优势，而one-stage方法在速度上更占有优势。无论是two-stage方法还是one-stage方法，现阶段大部分用于工业界进行缺陷检测的方法都是基于anchor(锚点)机制的检测方法，这种方法存在一个比较明显的缺点，那就是与锚点框相关的超参如锚点框的scale、aspectratio是比较难设计的，在不同的工业应用场景中，本方案中都需要根据本方案中的数据情况去设计anchor的scale和aspectratio，这需要较强的先验知识，在基于anchorbox进行目标类别分类时，IOU阈值这个超参数的设置同样也是一个问题。并且基于anchor机制的目标检测方法会在一张图像当中产生非常多的冗余框，而一张图像当中的缺陷是有限的，这就会使大量的anchorbox成为不包含缺陷的背景框，从而造成正负样本严重不平衡的问题。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法，包括如下步骤：
S1、获取核电站设备表面图片并对其进行预处理；
S2、利用DLAseg网络对步骤S1预处理后的图片进行特征提取，得到下采样特征图；
S3、分别使用多种不同卷积核对步骤S2得到的下采样特征图进行卷积操作，得到设备表面缺陷点的热图、偏移值以及尺寸；
S4、将步骤S3得到的热图转换成预测框，并根据偏移值和尺寸得到多个缺陷点的检测框；
S5、利用Soft_NMS和置信度阈值去除冗余的检测框，得到设备缺陷的预测结果；
S6、将步骤S6得到的预测结果输入神经网络进行训练，得到设备缺陷的检测结果。
上述方案的有益效果为：
避免使用传统的基于锚机制的目标检测算法，因此不需要设置基于锚点相关的任何超参数，如锚点框的scale、aspect ratio等。
进一步的，所述步骤S1中预处理具体为：
S11、利用图像处理工具对获取的核电站设备表面图片进行翻转、缩放、剪裁和翻转操作；
S12、通过高斯函数将步骤S11处理后的图片进行高斯核散射。
上述进一步方案的有益效果是：
进行数据增强，样本数量越多，模型的训练效果越好，模型的泛化能力越强。高斯函数是为了对标签进行转换。
进一步的，所述步骤S3具体包括：
S31、热图输出的张量的通道个数是80个，每个通道表示对应类别的热图，操作如下：
Sequential(
(0):Conv2d(64,64,kernel_size＝(3,3),stride＝(1,1),padding＝(1,1))
(1):ReLU(inplace)
(2):Conv2d(64,80,kernel_size＝(1,1),stride＝(1,1))
)
S32、宽高输出的张量的通道个数为2，分别表示输出框中心的长和宽，操作如下：
Sequential(
(0):Conv2d(64,64,kernel_size＝(3,3),stride＝(1,1),padding＝(1,1))
(1):ReLU(inplace)
(2):Conv2d(64,2,kernel_size＝(1,1),stride＝(1,1)))
S33、偏移值输出的张量的通道个数为2，分别是宽和高方向上的偏移量，操作如下：
Sequential(
(0):Conv2d(64,64,kernel_size＝(3,3),stride＝(1,1),padding＝(1,1))
(1):ReLU(inplace)
(2):Conv2d(64,2,kernel_size＝(1,1),stride＝(1,1)))
上述进一步方案的有益效果是：
得到预测框的类别以及置信度和预测框的具体位置。
进一步的，所述步骤S4具体包括：
S41、对步骤S3获取的热图进行最大池化操作，获得缺陷点的多个近邻极大值点，并将得到的多个近邻极大值点按照得分大小降序排列；
S42、根据近邻极大值点的得分大小选择排名高于得分阈值的所对应的近邻极大值点以及对应的编号；
S43、根据步骤S3得到的偏移值和尺寸，对步骤S2所选择的近邻极大值点规划检测框，得到多个缺陷点的检测框。
上述进一步方案的有益效果是：
对冗余的预测框进行删选，得到最终的检测结果。
进一步的，所述步骤S5具体包括：
S51、按照置信度大小将步骤S4所得到的检测框降序排列；
S52、判定步骤S51中排列号的检测框的物体准确度标准是否大于设定阈值，若是，则降低该检测框的置信度，若不是，则保留该检测框。
上述进一步方案的有益效果是：
保留更多可能包含目标的候选检测框。
进一步的，所述步骤S51中置信度的计算方式为：
池化操作过后的热图即为S51中的置信度。
上述进一步方案的有益效果是：
当缺陷比较密集时，soft_nms会保留更多的检测框，提升算法的检测精度。
进一步的，所述步骤S52中，降低检测框的置信度的计算方式为：
其中，di表示第i个检测框，dm表示置信度最大的检测框，σ为常量。
上述进一步方案的有益效果是：
缺陷较密集时，该方法可以保留更多的检测框，而不是直接将可能含有缺陷的检测框的置信度直接置为0。
进一步的，所述步骤S6具体包括：
S61、将步骤S5得到的预测结果输入CenterNet网络，并构建正负样本对；
S62、利用损失函数降低热图中的负样本的权重，增加热图损失函数的权重并降低偏移值的损失函数，得到CenterNet网络的损失函数；
S63、利用步骤S62得到的损失函数对步骤S5得到的预测结果进行训练，得到核电站设备表面缺陷的检测结果。
上述进一步方案的有益效果是：
提升模型核电站设备表面缺陷分类和定位的能力。
进一步的，所述步骤S62中CenterNet网络的损失函数表示为：
Ldet＝λkLk+λsizeLsize+λoffLoff；
其中，Ldet为CenterNet网络的损失函数，Lk为热图损失函数，λk为热图损失函数的权重且λk>1，Lsize为尺寸损失函数，λsize尺寸损失函数的权重，Loff为偏移值损失函数，λoff为偏移值损失函数的权重且λoff<1。
上述进一步方案的有益效果是：
为不同的损失函数分配不同的权重，让网络更好的进行优化，提升缺陷检测精度。
进一步的，所述热图损失函数Lk的计算公式为：
其中，其中C表示类别个数，/>表示在第c个热图通道上，(x，y)坐标上模型的预测值，Yxyc是真实标签，α和β是超参数；
尺寸损失函数Lsize的计算公式为：
其中，为模型的预测值，N为关键点的个数，sk为需要回归的真实值，k为目标个数。
偏移值损失函数Loff的计算公式为：
其中，p表示目标框的中心点，R表示下采样的倍数， 表示偏差值。
上述进一步方案的有益效果是：
标注信息从输入图像映射到输出特征图时由于取整操作会带来带来坐标上的误差，偏移量可以提升检测模型的定位精度。
附图说明
图1为本发明基于改进的CenterNet网络的核电站设备表面缺陷检测方法流程示意图。
图2为本发明实施例CenterNet与SSD、YOLOv3检测效果对比图。
图3为本发明实施例不同模型在训练阶段的loss变化图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法，如图1所示，包括如下步骤：
S1、获取核电站设备表面图片并对其进行预处理；
数据预处理：包括对核电站设备表面图片进行翻转、仿射变换(包括缩放，剪裁等)、翻转等处理；在训练阶段，需要将缺陷目标的标签通过高斯函数转换为热图，即需要进行高斯核散射，在未改进的CenterNet中，高斯核的半径根据预测框与GTbox的IOU阈值来确定，未改进的CenterNet中预测框与GTbox的IOU阈值设置的为0.7，然后根据0.7这一阈值来确定高斯核半径，进行二维高斯核散射，只保留预测框与GTbox的IOU大于0.7的框，但是对于核电站设备表面缺陷检测这一应用场景来说，缺陷的轮廓并不确定，这就导致对缺陷的标注并没有一个确定的标准。
S2、利用DLAseg网络对步骤S1预处理后的图片进行特征提取，得到下采样特征图；
将预处理后的图片送入DLASeg网络进行特征提取，DLA即DeepLayerAggregation，而DlAseg是在DLA-34的基础上添加了可变形卷积后的分割网络，可变形卷积是对传统的CNN进行改进后的具有更强的特征提取能力的卷积操作。可变形卷积非常适用于待识别目标有一定几何形变的任务，而在缺陷检测这一应用场景中，一种缺陷具有多种多样的形状，本方案中可以认为这是一个具有多种几何形变的物体识别任务，因此可变形卷积能够在缺陷检测这一应用场景中具有很好的表现。
Aggregation聚合是一种能够将不同深度，不同阶段、块之间的信息进行融合的网络结构聚合方式，就像ResNet所使用的的跳跃连接一样，Aggregation聚合可以认为是一种连接方式，只不过ResNet的融合方式只能在块内部进行，并且还只是简单的叠加方式进行融合，而DLA结构能够迭代式的将网络结构的特征信息融合起来，这样的结构能够使模型在更少的参数量的情况下还能够有较高精度的表现。
但是，在未改进的DLA-34网络中，模型只是在空间上融合了更多的特征，并没有显示建模通道之间的信息，为了能够让模型可以自动学习到不同通道特征的重要程度，本方案中将ECA(Efficient Channel Attention)模块嵌入到DLA-34网络中，显著提升了神经网络的性能。ECA是一种极轻量的通道注意力模块，该模块在不降低维数的通道级全局平均池化后，通过考虑每个通道及其K个邻居来捕获局部跨通道交互信，虽然只增加了少量的参数，却能够在分类、检测、分割任务中获得明显的性能增益，是非常适合应用于工业检测领域的一种注意力机制。ECA模块使得模型能够更有效率的学习缺陷的特征，提升缺陷检测的精确率。
经过主干网络的特征提取，将会得到一个4倍下采样的特征图，由于该特征图比一般网络得到的特征图分辨率要大很多，因此可以很好的预测小目标。在该特征图上分别使用三种不同卷积核对其进行卷积操作，就能够得到三个不同维度的特征图，它们分别对应为热图、偏移值和宽高。由于模型是以热力图回归的，因此模型的感受野对于缺陷的检测就显得非常重要，为了使模型具有更大的感受野本方案中将3*3卷积替换为5*5卷积。
S3、分别使用多种不同卷积核对步骤S2得到的下采样特征图进行卷积操作，得到设备表面缺陷点的热图、偏移值以及尺寸；
S4、将步骤S3得到的热图转换成预测框，并根据偏移值和尺寸得到多个缺陷点的检测框；
首先对主干网络输出的进行一个3*3的maxpooling操作，这一步类似于基于锚点检测方法中的NMS(Non-Maximum Suppression)的效果，即用来寻找8-近邻极大值点。然后，不考虑类别的影响，取出热图的前K个最大得分以及对应的id，这里的K个点即为本方案中预测的K个缺陷的中心点，然后根据主干网络输出的偏移值和宽高，本方案中即可得到K个检测框，CenterNet中K取的100，对于大多数情况来说，100个检测框是有大量冗余的，因此本方案中还需要特定的算法来去除掉冗余的检测框，CenterNet中使用Soft-NMS来移除冗余的检测框。Soft-NMS对传统的NMS(Non-MaximumSupression)方法进行了改进。
S5、利用Soft_NMS和置信度阈值去除冗余的检测框，得到设备缺陷的预测结果；
传统NMS算法首先按照置信度对检测框从高到低进行排序，然后保留置信度最高的检测框，去除掉与该检测框的IOU大于所设定的阈值的检测框。然后再在剩下的检测框中重复以上步骤。但是这种方法有一种明显的缺陷，就是当两个缺陷过于接近时，可能会出现漏检的情况，因为置信度较低的检测框会因为与置信度较高的框重叠面积较大而被去除。而在核电站设备表面缺陷检测这一应用场景中，缺陷的位置接近甚至重叠的情况非常多，因此，传统的NMS算法并不适用于这一场景。CenterNet中使用的Soft-NMS是对传统NMS算法的改进，对于IOU大于阈值的检测框，Soft-NMS采取的方式不是直接去除，而是降低该检测框的置信度，这样就会使更多的检测框被保留，提高检测精度，传统NMS和Soft-NMS计算公式如下：
NMS:将与置信度最高的检测框的iou大于阈值的检测框置信度置为0
Soft-NMS:对于iou大于阈值的检测框，并不直接将其置信度置为0，而是通过某个函数降低其置信度。
CenterNet中使用高斯加权的方式降低置信度：
公式(1)、(2)、(3)中Si表示第i个检测框的置信度；
di表示第i个检测框；
dm表示置信度最大的检测框；
σ为常量，CenterNet中取0.5；
S6、将步骤S6得到的预测结果输入神经网络进行训练，得到设备缺陷的检测结果。
本实施例里，具体包括如下步骤：
S61、将步骤S5得到的预测结果输入CenterNet网络，并构建正负样本对；
S62、利用损失函数降低热图中的负样本的权重，增加热图损失函数的权重并降低偏移值的损失函数，得到CenterNet网络的损失函数；
S63、利用步骤S62得到的损失函数对步骤S5得到的预测结果进行训练，得到核电站设备表面缺陷的检测结果。
损失函数
Ldet＝Lk+λsizeLsize+λoffLoff (4)
CenterNet的损失函数如公式4所示，其中Ldet表示的是CenterNet整体的损失函数，Ldet由Lk(热图部分的loss)、Lsize(宽高的loss)和Loff(偏置部分的loss)三部分loss组成，其中λsize和λoff为常量，表示不同loss的权重，未改进的损失函数λsize和λoff分别取的0.1和1。三部分损失函数公式如下：
公式(5)中N表示图像关键点的个数，其中(C表示类别个数)，/>表示在第c个热图通道上，(x，y)坐标上模型的预测值，Yxyc是真实标签，α和β是超参数，CenterNet中分别取2和4。Lk采用的是FocalLoss的形式，FocalLoss能够解决在缺陷检测中正负样本严重失衡的问题，该损失函数降低了大量简单负样本在训练中所占的权重，使模型更关注困难的、不易分的样本。
由公式(6)可知，Lsize使用L1 Loss函数对长和宽进行训练，假设第k个目标，类别为ck的目标框表示为(x1(k),y1(k),x2(k),y2(k)),那么该目标框的中心点坐标为该目标框的长宽为sk＝(x2(k)-x1(k),y2(k)-y1(k)),/>为模型的预测值，N为关键点的个数。
公式(7)同样使用L1Loss对偏置进行训练，其中p表示目标框的中心点，R表示下采样的倍数4，表示偏差值。
本方案中在步骤1中解释过，由于缺陷的轮廓并不确定，并且对缺陷的标注方式也不唯一，因此本方案中就不需要模型的位置输出严格对齐GroundTruth，因此本方案中对loss函数改进如下：
Ldet＝λkLk+λsizeLsize+λoffLoff (8)
本方案中添加了一个λk参数默认为2，并且降低了Loff所占的权重，将λoff设置为0.1。
实验验证
ENPP中将有缺陷的数据分为训练集和测试集，训练集有1822张图片，测试集有217张图片。
实验分别使用了SSD、YOLOv3，RetinaNet以及本方案中的方法在训练集上训练200个epoch。本方案中在验证集上随机选取了几张图片，SSD、YOLOv3与本方案中的模型的检测结果的对比图如2所示。
由图2可以看出，本方案中的方法的检测效果丝毫不亚于已经广泛用于工业界的SSD与YOLOv3，甚至在某些情况下本方案中的方法的检测效果比SSD和YOLOv3还要好。同时对于小缺陷的检测，本方案中的方法也能有很好的表现。
实验分别使用单阶段检测模型SSD、YOLOv3、未改进的CenterNet作为对比试验，试验结果如下：
实验分别使用不同的模型在训练集上进行200个epoch的训练，不同模型的loss变化图如图3所示：
由loss变化图可以看出，基于CenterNet的方法训练loss最先收敛，这极大的节省了本方案中的训练时间。
此外，本方案中参考cocoapi的测试方法对本方案中的模型进行了测试，本方案中的测试集共有217张图片，在4.1中本方案中解释过，本方案中需要给预测框一个更高的容忍度，因此，本方案中一共设置了0.3、0.35、0.4、0.45、0.5五个IOU阈值，最终的mAP是在这五个IOU阈值结果的平均值,mAR为平均召回率，Inferencetime为每张图片的平均推理时间，测试的结果分别如表1所示：
表1
| mAP | mAR | Inference time | Parameters(M) | |
| YOLOv3 | 0.48 | 0.59 | 0.016s | 61.54 |
| RetinaNet | 0.30 | 0.60 | 0.037 | 36.39 |
| SSD | 0.45 | 0.56 | 0.09s | 24.15 |
| CenterNet_Resdcn18 | 0.38 | 0.54 | 0.028s | 14.43 |
| CenterNet_Resdcn101 | 0.473 | 0.60 | 0.043s | 49.67 |
| CenterNet_Hourglass104 | 0.551 | 0.65 | 0.068 | 191.24 |
| ours | 0.515 | 0.76 | 0.038 | 20.17 |
从测试结果可以看出，YOLOv3的推理时间最短，然而精确度和召回率都不理想，SSD的推理时间是最长的，基于CenterNet的检测模型虽然推理时间没有YOLOv3，但是精确度和召回率普遍要优于YOLOv3和SSD，因此基于CenterNet的检测模型在缺陷检测领域具有非常大的应用前景。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (6)
1.一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，包括如下步骤：
S1、获取核电站设备表面图片并对其进行预处理；
S2、利用DLAseg网络对步骤S1预处理后的图片进行特征提取，得到下采样特征图；
S3、分别使用多种不同卷积核对步骤S2得到的下采样特征图进行卷积操作，得到设备表面缺陷点的热图、偏移值以及尺寸；
S4、将步骤S3得到的热图转换成预测框，并根据偏移值和尺寸得到多个缺陷点的检测框；
S5、利用Soft_NMS和置信度阈值去除冗余的检测框，得到设备缺陷的预测结果；
S6、将步骤S5得到的预测结果输入神经网络进行训练，得到设备缺陷的检测结果，具体包括：
S61、将步骤S5得到的预测结果输入CenterNet网络，并构建正负样本对；
S62、利用损失函数降低热图中的负样本的权重，增加热图损失函数的权重并降低偏移值的损失函数，得到CenterNet网络的损失函数，表示为：
；
其中，为CenterNet网络的损失函数，/>为热图损失函数，/>为热图损失函数的权重且/>，/>为尺寸损失函数，/>尺寸损失函数的权重，/>为偏移值损失函数，为偏移值损失函数的权重且/>；
S63、利用步骤S62得到的损失函数对步骤S5得到的预测结果进行训练，得到核电站设备表面缺陷的检测结果。
2.根据权利要求1所述的基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，所述步骤S1中预处理具体为：
S11、利用图像处理工具对获取的核电站设备表面图片进行翻转、缩放、剪裁和翻转操作；
S12、通过高斯函数将步骤S11处理后的图片进行高斯核散射。
3.根据权利要求2所述的基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，所述步骤S4具体包括：
S41、对步骤S3获取的热图进行最大池化操作，获得缺陷点的多个近邻极大值点，并将得到的多个近邻极大值点按照置信度大小降序排列；
S42、根据步骤S41中置信度大小选择排名高于置信度阈值的对应的近邻极大值点以及对应的编号；
S43、根据步骤S3得到的偏移值和尺寸，对步骤S42所选择的近邻极大值点规划检测框，得到缺陷点的多个检测框。
4.根据权利要求3所述的基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，所述步骤S5具体包括：
S51、按照置信度大小将步骤S4所得到的检测框降序排列；
S52、判定步骤S51中排列好的检测框的物体准确度标准是否大于设定阈值，若是，则降低该检测框的置信度，若不是，则保留该检测框。
5.根据权利要求4所述的基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，所述步骤S52中，降低检测框的置信度的计算方式为：
；
其中，为第i个检测框的置信度，/>表示第i个检测框，/>表示置信度最大的检测框，为常量，/>表示第i个检测框与置信度最大的检测框的交并比。
6.根据权利要求1所述的基于改进的CenterNet网络的核电站设备表面缺陷检测方法，其特征在于，
所述热图损失函数的计算公式为：
其中，c为第c个热图通道的类别，表示在第c个热图通道中坐标/>处的预测值，是真实标签，/>和/>是超参数；
尺寸损失函数的计算公式为：
；
其中，为模型的预测值，N为缺陷点的个数，/>为缺陷点的索引，/>为回归真实值，k为目标个数；
偏移值损失函数的计算公式为：
；
其中，p表示目标框的中心点，R表示下采样的倍数，表示网络在/>处输出的偏置值，/>表示目标框中心点经过下采样后在特征图上的中心点，/>，/>为偏差值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575217.5A CN113643228B (zh) | 2021-05-26 | 2021-05-26 | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575217.5A CN113643228B (zh) | 2021-05-26 | 2021-05-26 | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643228A CN113643228A (zh) | 2021-11-12 |
| CN113643228B true CN113643228B (zh) | 2024-01-19 |
Family
ID=78415823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110575217.5A Active CN113643228B (zh) | 2021-05-26 | 2021-05-26 | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643228B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359153B (zh) * | 2021-12-07 | 2024-08-02 | 湖北工业大学 | 一种基于改进CenterNet的绝缘子缺陷检测方法 |
| CN114612803B (zh) * | 2022-01-25 | 2024-09-24 | 安徽理工大学 | 一种改进CenterNet的输电线路绝缘子缺陷检测方法 |
| CN114782311B (zh) * | 2022-03-14 | 2024-05-14 | 华南理工大学 | 一种基于CenterNet改进的多尺度缺陷目标检测方法及系统 |
| CN114594103B (zh) * | 2022-04-12 | 2023-05-16 | 四川大学 | 核工业设备表面缺陷自动检测及报告自动生成方法及系统 |
| CN114529546A (zh) * | 2022-04-24 | 2022-05-24 | 科大天工智能装备技术（天津）有限公司 | 一种屋面板缺陷检测方法和系统 |
| CN116309587A (zh) * | 2023-05-22 | 2023-06-23 | 杭州百子尖科技股份有限公司 | 一种布料瑕疵检测方法、装置、电子设备及存储介质 |
| CN116309586A (zh) * | 2023-05-22 | 2023-06-23 | 杭州百子尖科技股份有限公司 | 基于卷积神经网络的瑕疵检测方法、装置、设备及介质 |
| CN116862886A (zh) * | 2023-07-17 | 2023-10-10 | 天合光能股份有限公司 | 太阳能电池缺陷检测方法、装置及可读介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766681A (zh) * | 2019-10-28 | 2020-02-07 | 福建帝视信息科技有限公司 | 一种基于三重损失网络的竹条表面缺陷检测方法 |
| CN111062413A (zh) * | 2019-11-08 | 2020-04-24 | 深兰科技（上海）有限公司 | 一种道路目标检测方法、装置、电子设备及存储介质 |
| CN111275171A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 一种基于参数共享的多尺度超分重建的小目标检测方法 |
| CN111738995A (zh) * | 2020-06-10 | 2020-10-02 | 苏宁云计算有限公司 | 一种基于rgbd图像的目标检测方法、装置及计算机设备 |
| CN112257815A (zh) * | 2020-12-03 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 模型生成方法、目标检测方法、装置、电子设备及介质 |
| CN112446327A (zh) * | 2020-11-27 | 2021-03-05 | 中国地质大学（武汉） | 一种基于无锚框的遥感图像目标检测方法 |
| CN112446302A (zh) * | 2020-11-05 | 2021-03-05 | 杭州易现先进科技有限公司 | 一种人体姿态检测方法、系统、电子设备和存储介质 |
| CN112507845A (zh) * | 2020-12-02 | 2021-03-16 | 余姚市浙江大学机器人研究中心 | 基于CenterNet与深度关联矩阵的行人多目标跟踪方法 |
| CN112613564A (zh) * | 2020-12-25 | 2021-04-06 | 桂林汉璟智能仪器有限公司 | 一种剔除重叠框的目标检测后处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118136A1 (en) * | 2019-10-22 | 2021-04-22 | Novateur Research Solutions LLC | Artificial intelligence for personalized oncology |
-
2021
- 2021-05-26 CN CN202110575217.5A patent/CN113643228B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766681A (zh) * | 2019-10-28 | 2020-02-07 | 福建帝视信息科技有限公司 | 一种基于三重损失网络的竹条表面缺陷检测方法 |
| CN111062413A (zh) * | 2019-11-08 | 2020-04-24 | 深兰科技（上海）有限公司 | 一种道路目标检测方法、装置、电子设备及存储介质 |
| CN111275171A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 一种基于参数共享的多尺度超分重建的小目标检测方法 |
| CN111738995A (zh) * | 2020-06-10 | 2020-10-02 | 苏宁云计算有限公司 | 一种基于rgbd图像的目标检测方法、装置及计算机设备 |
| CN112446302A (zh) * | 2020-11-05 | 2021-03-05 | 杭州易现先进科技有限公司 | 一种人体姿态检测方法、系统、电子设备和存储介质 |
| CN112446327A (zh) * | 2020-11-27 | 2021-03-05 | 中国地质大学（武汉） | 一种基于无锚框的遥感图像目标检测方法 |
| CN112507845A (zh) * | 2020-12-02 | 2021-03-16 | 余姚市浙江大学机器人研究中心 | 基于CenterNet与深度关联矩阵的行人多目标跟踪方法 |
| CN112257815A (zh) * | 2020-12-03 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 模型生成方法、目标检测方法、装置、电子设备及介质 |
| CN112613564A (zh) * | 2020-12-25 | 2021-04-06 | 桂林汉璟智能仪器有限公司 | 一种剔除重叠框的目标检测后处理方法 |
Non-Patent Citations (4)
| Title |
|---|
| Cascade CenterNet: Robust Object Detection for Power Line Surveillance;ZHIYONG DAI 等;《IEEE》;1-14 * |
| Xingyi Zhou 等.Objects as Points.《arXiv:1904.07850v2》.2019,第1-12页. * |
| 机器视觉技术在模具检测与定位中的应用研究;史亚秋;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》(第08期);B022-342 * |
| 王璇 等.基于改进 CenterNet的AFP铺层表面缺陷检测.《红外与激光工程》.2021,第1-16页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113643228A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113643228B (zh) | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN104866862A (zh) | 一种带钢表面面积型缺陷识别分类的方法 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| CN111652853A (zh) | 一种基于深度卷积神经网络的磁粉探伤检测方法 | |
| CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| Yusof et al. | Automated asphalt pavement crack detection and classification using deep convolution neural network | |
| US20240312002A1 (en) | Image processing method and system | |
| CN116758539B (zh) | 一种基于数据增强的胚胎图像卵裂球识别方法 | |
| CN113569737B (zh) | 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 | |
| CN115294089A (zh) | 一种基于改进YOLOv5的钢材表面缺陷检测方法 | |
| CN116563250A (zh) | 一种复原式自监督疵点检测方法、装置及存储介质 | |
| CN113762151B (zh) | 一种故障数据处理方法、系统及故障预测方法 | |
| CN114332452B (zh) | 一种针对目标检测或目标分割的图像标注结果的自动检测方法 | |
| Wangli et al. | Foxtail Millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment | |
| CN104331711B (zh) | 基于多尺度模糊测度与半监督学习的sar图像识别方法 | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN118691857A (zh) | 一种商标侵权检测方法和系统 | |
| CN112200762A (zh) | 二极管玻壳缺陷检测方法 | |
| CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| CN115937492B (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| Ibrahem et al. | Weakly supervised traffic sign detection in real time using single CNN architecture for multiple purposes | |
| Das et al. | Object Detection on Scene Images: A Novel Approach | |
| CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |