CN108596892A - 一种基于改进LeNet-5模型的焊缝缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于改进LeNet‑5模型的焊缝缺陷识别方法，首先针对焊缝灰度图像，对LeNet‑5模型传统卷积核通道的输入做出改进，将灰度图像通过伪彩色增强技术转换为彩色图像，并将得到的彩色图像作为神经网络的输入；然后对LeNet‑5模型卷积核做出改进，添加具有Gabor滤波器的卷积核通道；在神经网络第六层，将多个通道得到的特征进行融合，得到特征集合T；最后，在神经网络第七层(输出层)采用SoftMax分类器，得到焊缝的缺陷类型及其属于各类别的概率，用于为评片人员判定底片类型及现场返修方案制定提供参考。本发明提高神经网络特征提取能力，从而提高缺陷识别的正确率；识别结果以缺陷属于某种类别的概率给出，为评片人员提供了更从分的参考信息。

Description

一种基于改进LeNet-5模型的焊缝缺陷识别方法

技术领域

本发明属于焊缝缺陷识别技术领域，具体涉及一种基于改进LeNet-5模型的焊缝缺陷识别方法。

背景技术

在焊缝缺陷自动识别领域，传统方法不可避免的要经历人工选取特征的过程，该过程耗时费力，而且特征的选取是否合理具有很大的主观性，对于识别正确率有较大影响。

焊缝图像是灰度图像，将灰度图像直接输入到神经网络中，存在原始特征表征不够充分的问题。

现有卷积神经网络往往依靠单一类型的卷积核进行卷积过程，容易导致特征提取不足的问题，从而影响缺陷识别的正确率。

同时，目前由于相关政策规范，缺陷类型必须由评片人员判定，缺陷自动识别的结果仅作为评片人员的参考。目前自动识别算法多是仅给出一种最终的识别结果，缺乏结果概率的量化描述，评片人员可参考的价值有限，且不利于制定返修方案。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于改进LeNet-5模型的焊缝缺陷识别方法，避免了传统方法人工选取特征的过程；而且通过伪彩色变换技术扩充了神经网络输入的信息量，通过添加Gabor滤波器的卷积通道，使改进后神经网络既具有传统卷积核通道，又有Gabor滤波器通道，提高神经网络特征提取能力，从而提高缺陷识别的正确率；识别结果以缺陷属于某种类别的概率给出，为评片人员提供了更从分的参考信息。

本发明采用以下技术方案：

一种基于改进LeNet-5模型的焊缝缺陷识别方法，首先针对焊缝灰度图像，对LeNet-5模型传统卷积核通道的输入做出改进，将焊缝灰度图像通过伪彩色增强技术转换为彩色图像，并将得到的彩色图像作为神经网络传统卷积通道的输入；然后对LeNet-5模型卷积核做出改进，添加具有Gabor滤波器的卷积通道；在神经网络第六层，将两个通道得到的特征进行融合得到特征集合T；最后，在神经网络输出层采用SoftMax分类器，得到焊缝的缺陷类型及其属于各类别的概率，用于为评片人员判定底片类型及现场返修方案制定提供参考。

具体的，将灰度图像通过伪彩色增强技术，对原始灰度图像进行RGB彩色变换，并将得到的彩色图像作为神经网络的输入具体如下：

S101、获取包含裂纹、未融合、未焊透、长形或圆形缺陷类型的焊缝检测灰度图象；

S102、将焊缝检测灰度图像进行RGB彩色空间变换，再输入到LeNet-5模型传统卷积核通道。

进一步的，采用像素自身变换法实现灰度图像伪彩色变换，红、绿、蓝三分量的变换函数如下：

其中，f(x,y)为灰度图像点(x,y)处的灰度值。

具体的，在LeNet-5模型的基础上，构建具有不同方向的Gabor滤波器卷积通道，即在该通道第一层采用Gabor滤波器对输入图像进行卷积，针对焊缝缺陷边缘模糊的特点，采用Gabor滤波器对虚部进行特征提取。

进一步的，采用Gabor滤波器对虚部进行特征提取具体如下：

其中，x′＝xcosθ+sinθ；y′＝-xsinθ+cosθ；λ，θ，ψ，σ，γ分别为波长，方向，相位偏移，高斯函数的标准差和长宽比。

进一步的，Gabor滤波器卷积通道的方向为0度、45度、90度和135度。

具体的，构建具有7层结构且包括传统卷积核通道与Gabor滤波器通道的双通道神经网络模型，在神经网络第六层将各个通道得到的特征进行融合，获得双通道的特征集合T。

具体的，采用SoftMax多类分类器，获得图像第i种缺陷对应的输出结果Yi的概率信息P(Y＝Y_i)，得到基于概率形式的结果类型，为评片人员判定底片类型、现场返修方案制定提供参考。

进一步的，概率信息P(Y＝Y_i)的数学表达式如下所示：

其中，Y_i表示图像第i种缺陷对应的输出结果，i＝1,2,3,4,5,6，K为类别数。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于改进LeNet-5模型的焊缝缺陷识别方法，首先针对焊缝灰度图像，对LeNet-5模型传统卷积核通道的输入做出改进，将灰度图像通过伪彩色增强技术转换为彩色图像，并将得到的彩色图像作为神经网络的输入；然后对LeNet-5模型卷积核做出改进，添加具有Gabor滤波器的卷积通道；在神经网络第六层，将多个通道得到的特征进行融合；最后将融合后的特征输入到SoftMax多类分类器中，得到焊缝的缺陷类型及其属于各类别的概率，用于为评片人员判定底片类型及现场返修方案制定提供参考，在将焊缝底片输入到神经网络前，对其进行了预处理，即将单通道的灰度图像转变为RGB三通道的彩色图像，扩充了输入图像的信息量；添加了具有Gabor核的卷积通道，增强了神经网络特征提取的能力，避免人工选取特征的过程，为评片人员判定缺陷类型提供更为充分的信息，为备选返修方案的制定提供参考。

进一步的，彩色图像比灰度图像具有更为丰富的信息，尤其是在细节表征方面，将彩色图像作为神经网络的输入，增强了图像对焊缝内部缺陷的表达能力。

进一步的，采用卷积神经网络对焊缝缺陷进行识别时，可以避免传统方法中人为的提取特征过程；由于原始焊缝图像为灰度图像，直接将其输入到神经网络中，存在原始焊缝缺陷信息表征不充分的问题，对神经网络的特征提取能力有较高的要求。

进一步的，为了获取图像沿不同方向的特征，同时也为了避免方向选择过多所导致的特征冗余的问题，选择方向为0度、45度、90度和135度方向的滤波器进行特征提取。

进一步的，通过传统卷积核和与Gabor滤波器卷积核结构不同，相应的可提取到不同的特征，采用双通道神经网络模型，增强了模型的特征提取能力；将各个通道得到的特征进行融合，获得双通道的特征集合T，使得提取到的图像特征更为全面。

进一步的，采用SoftMax多类分类器，获得了缺陷类型及其概率，为评片人员提供了更从分的参考信息。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明步骤图；

图2为本发明神经网络模型图；

图3为原始焊缝图像在LeNet-5模型上不同迭代次数下识别正确率图；

图4为伪彩色增强后图像在LeNet-5模型上不同迭代次数下识别正确率图；

图5为伪彩色增强后图像在改进后LeNet-5模型上不同迭代次数下识别正确率图。

具体实施方式

本发明提供了一种基于改进LeNet-5模型的焊缝缺陷识别方法，针对焊缝灰度图像，对LeNet-5模型传统卷积核通道的输入做出改进，即将灰度图像通过伪彩色增强技术，转换为彩色图像，并将得到的彩色图像作为神经网络的输入；对LeNet-5模型卷积核做出改进，添加具有Gabor滤波器的卷积通道，并在神经网络第六层，将多个通道得到的特征进行融合；在输出层采用SoftMax多类分类器，得到焊缝的缺陷属于各类别的概率。

请参阅图1，本发明一种基于改进LeNet-5模型的焊缝缺陷识别方法，包括以下步骤：

S1、针对焊缝灰度图像，对LeNet-5模型的传统卷积核通道的输入做出改进，即将灰度图像通过伪彩色增强技术，对原始灰度图像进行RGB彩色变换，并将得到的彩色图像作为神经网络传统卷积通道的输入；

S101、获取包含缺陷类型(如裂纹、未融合、未焊透、长形缺陷、圆形缺陷等)焊缝检测灰度图象；

S102、提出将焊缝灰度图像进行RGB彩色空间变换，使得图像具有比原始灰度图像更多的信息，再输入到LeNet-5模型传统卷积核通道。

其中采用像素自身变换法实现灰度图像伪彩色变换，红、绿、蓝三分量的变换函数如下所示：

其中，f(x,y)为灰度图像点(x,y)处的灰度值。

S2、对LeNet-5模型卷积核做出改进，添加具有Gabor滤波器的卷积通道，使神经网络既有传统卷积核通道，又具有Gabor滤波器卷积通道，从而增强模型的特征提取能力；

提出在LeNet-5模型的基础上，在输入层与输出层间构建大小为5×5且具有4种不同方向(0度、45度、90度、135度方向)Gabor滤波器的卷积通道，并确定各层Gabor滤波器参数，各层滤波器结构如图2所示；针对焊缝缺陷边缘模糊的特点，采用Gabor滤波器虚部进行特征提取，其数学表达式如式(2)所示：

其中，x′＝xcosθ+sinθ；y′＝-xsinθ+cosθ；λ，θ，ψ，σ，γ分别为波长，方向，相位偏移，高斯函数的标准差和长宽比。

S3、在LeNet-5模型基础上，构建具有7层结构的双通道神经网络模型，即模型包括传统卷积核通道与Gabor核通道，实现特征提取；其中，在神经网络第六层将多个通道得到的特征进行融合，获得两个通道的特征集合T；

S301、构建双通道卷积神经网络模型(既具有传统卷积核通道，又具有Gabor滤波器的卷积通道的模型)前6层；

S302、将各通道提取到的特征在第6层进行特征融合，获得特征集合T。

S4、为获得焊缝缺陷分类结果及其概率信息，采用SoftMax多类分类器，在网络第7层进行分类，可获得焊缝的缺陷类型及其属于各类别的概率，为评片人员判定底片类型、现场返修方案制定提供参考。

为获得各缺陷分类结果Y_i(Y_i表示图像第_i种缺陷对应的输出结果，其中i＝1,2,3,4,5,6)的概率信息P(Y＝Y_i)，采用SoftMax多类分类器，获得输出Y_i的概率，概率信息P(Y＝Y_i)的数学表达式如下所示：

其中，K为类别数。

获得基于概率形式的结果类型，为评片人员判定底片类型、现场返修方案制定提供参考。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，通过基于RGB空间的像素自身变化法，将灰度图像转换为彩色图像，并将得到的彩色图像作为神经网络的输入。

之后，在LeNet-5模型的基础上，添加含有四个方向(0度，45度，90度，135度)的Gabor滤波器的卷积通道，即在Gabor滤波器卷积通道第一层采用Gabor滤波器对图像进行卷积，并在第六层将多个通道提取到的特征进行融合，得到改进后的卷积神经网络。

将融合后的特征输入到SoftMax多类分类器中，得到焊缝的缺陷属于各类别的概率。

下面以具体的实例进行说明，选取626张大小为32x32焊缝图像，其中包含153张裂纹图像，87张未融合图像，180张未焊透图像，64张长形缺陷图，94张圆形缺陷图。其中各类别均按训练集占80％，测试集占20％的比例分配。最终，训练集共488张，测试集共138张图像。

将训练集图片输入到LeNet-5中，观察模型在测试集上识别的正确率，在不同迭代次数下可以得到图2所示的识别正确率。

由图2可以看出，直接将原始焊缝图像输入到神经网络中，在180次到200次迭代过程中，缺陷识别的正确率维持在71％左右，缺陷类别的正确识别率较低。

对于焊缝原始图像，采用像素自变换法，依据公式(1)，获得归一化到[0,1]区间的R、G、B都的值，并将R、G、B都的值乘以255并取整后获得作为彩色图像RGB三通道值，即将焊缝原始灰度图像转变为具有RGB三通道的彩色图像，再将得到的彩色图像训练集集输入到LeNet-5模型中，在不同的迭代次数下，观察测试集上的识别正确率，可以得到如图3所示的结果。

由图3的结果可知，当原始图像经过伪彩色变换后，再输入到LeNet-5模型中进行识别，经过200次迭代后正确率达到80％以上，且在160次到200次迭代次数下，正确率维持在80％左右。由此可见，原始焊缝图像径伪彩色变换后再输入到LeNet-5模型中后，焊缝缺陷识别正确率有了明显提升，但是较传统方法的正确率还有一定的差距。

对LeNet-5模型做出改进，在输入输出之间添加具有Gabor滤波器的卷积通道，并将伪彩色增强后的彩色图像训练集输入到改进后的LeNet-5模型中，以最大概率值对应的缺陷类型为输出类型，观察测试集在不同迭代得到如图4所示的识别正确率。

由图4可知，缺陷识别正确率进一步升，达到90％以上。

表1中为随机选取3张图像的识别结果

获得神经网络的输出值Y_i，并根据公式(3)得到了某一图像属于第i种缺陷的概率P(Y＝Y_i)，为评片人员提供了更为详细的参考信息。

本发明避免了传统缺陷识别需人工选取特征的问题；扩充了卷积神经网络输入图像的信息量，提取到了较LeNet-5更为充分的特征。实验证明，本发明的缺陷识别率较LeNet-5模型具有明显提升。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，首先针对焊缝灰度图像，对LeNet-5模型传统卷积核通道的输入做出改进，将焊缝灰度图像通过伪彩色增强技术转换为彩色图像，并将得到的彩色图像作为神经网络传统卷积通道的输入；然后对LeNet-5模型卷积核做出改进，添加具有Gabor滤波器的卷积通道；在神经网络第六层，将两个通道得到的特征进行融合得到特征集合T；最后，在神经网络输出层采用SoftMax分类器，得到焊缝的缺陷类型及其属于各类别的概率，用于为评片人员判定底片类型及现场返修方案制定提供参考。

2.根据权利要求1所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，将灰度图像通过伪彩色增强技术，对原始灰度图像进行RGB彩色变换，并将得到的彩色图像作为神经网络传统卷积通道的输入，具体如下：

S101、获取包含裂纹、未融合、未焊透、长形或圆形缺陷类型的焊缝检测灰度图象；

S102、将焊缝检测灰度图像进行RGB彩色空间变换，再输入到LeNet-5模型传统卷积核通道。

3.根据权利要求2所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，采用像素自身变换法实现灰度图像伪彩色变换，红、绿、蓝三分量的变换函数如下：

其中，f(x,y)为灰度图像点(x,y)处的灰度值。

4.根据权利要求1所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，在LeNet-5模型的基础上，构建具有不同方向的Gabor滤波器的卷积通道，即在该通道第一层采用Gabor滤波器对输入图像进行卷积，针对焊缝缺陷边缘模糊的特点，采用Gabor滤波器对虚部进行特征提取。

5.根据权利要求4所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，采用Gabor滤波器对虚部进行特征提取具体如下：

其中，x′＝xcosθ+sinθ；y′＝-xsinθ+cosθ；λ，θ，ψ，σ，γ分别为波长，方向，相位偏移，高斯函数的标准差和长宽比。

6.根据权利要求5所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，Gabor滤波器卷积通道的方向为0度、45度、90度和135度。

7.根据权利要求1所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，构建具有7层结构且包括传统卷积核通道与Gabor滤波器通道的双通道神经网络模型，在神经网络第六层将各个通道得到的特征进行融合，获得双通道的特征集合T。

8.根据权利要求1所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，采用SoftMax多类分类器，获得图像第i种缺陷对应的输出结果Y_i的概率信息P(Y＝Y_i)，得到基于概率形式的结果类型，为评片人员判定底片类型、现场返修方案制定提供参考。

9.根据权利要求8所述的一种基于改进LeNet-5模型的焊缝缺陷识别方法，其特征在于，概率信息P(Y＝Y_i)的数学表达式如下所示：

其中，Y_i表示图像第i种缺陷对应的输出结果，i＝1,2,3,4,5,6，K为类别数。