CN113042862A

CN113042862A - 基于主被动视觉结合的焊接偏差检测系统及检测方法

Info

Publication number: CN113042862A
Application number: CN202110273449.5A
Authority: CN
Inventors: 王中任; 柯希林; 史铁林; 刘海生; 王小刚; 刘克非
Original assignee: Huazhong University of Science and Technology; Hubei University of Arts and Science
Current assignee: Huazhong University of Science and Technology; Hubei University of Arts and Science
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-06-29
Also published as: WO2022188482A1

Abstract

本发明公开了一种基于主被动视觉结合的焊接偏差检测系统及检测方法，先利用小波变换方法对图像噪声类型进行分析，根据焊接图像能量分布呈高斯分布这一特征，有针对性地采用LoG算子分别对焊接图像不同位置的ROI区域进行滤波处理；接着，设计合适的图像处理算法分别提取出焊丝中心线和焊缝坡口中心线；最后，计算出焊丝中心线和焊缝中心线在X轴方向的偏差值，并将所得结果用于后续的自动焊缝跟踪控制。本发明提供的基于主被动视觉结合的焊接偏差检测系统及检测方法，通过提取焊接图像焊丝与焊缝中心位置以获得焊接偏差的方法跟踪精度高、实时性强，能够满足焊缝跟踪精度要求。

Description

基于主被动视觉结合的焊接偏差检测系统及检测方法

技术领域

本发明涉及一种基于主被动视觉结合的焊接偏差检测系统及检测方法，属于焊接智能化应用技术领域。

背景技术

随着手动焊工的日益短缺和机器人技术的快速发展，机器人自动焊已经成为管道焊接施工的发展趋势。焊缝跟踪控制作为实现机器人焊接自动化的关键技术之一，其核心技术为焊接偏差信息检测。

目前用于焊接偏差检测的传感技术有接触式传感、电弧传感、超声波传感、电磁传感、红外传感和视觉传感等，其中，基于视觉传感的焊接偏差检测技术是最有发展前途的传感技术。根据视觉传感系统是否使用辅助光源，视觉传感可分为以电弧光和自然光为光源的被动视觉和以采用激光等辅助照明的主动视觉两类。

被动视觉是用相机直接监测电弧部位的熔池和焊枪，由于检测目标与焊枪在同一位置，因此不存在主动视觉超前检测导致误差问题，但是受弧光干扰比较严重，使得后续图像处理和特征信息提取有很大困难。相比于被动视觉，由于激光亮度高、相干性好，因此，主动视觉大多以激光作为辅助光源，该方法还可以获取焊缝尺寸和接头信息，该技术发展相对成熟，并形成有成熟化产品，但由于激光投射位置与焊枪有一定距离，存在超前检测误差。

主被动视觉结合可以充分利用二者的优势并相互弥补，可以获得更多的焊接信息。而且，如何利用视觉传感技术获取更多的焊接信息来提高焊接偏差检测的精准度，是本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于主被动视觉结合的焊接偏差检测系统及检测方法，采用主动视觉和被动视觉结合的方法，在同一帧焊接图像中同时获取的图像信息包括焊缝区激光条纹和电弧区焊丝，实现两种方法优势互补。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

基于主被动视觉结合的焊接偏差检测系统，包括：管道焊接机器人、图像采集系统、图像处理系统，所述管道焊接机器人包括磁吸式爬行焊接机器人、焊接电源；所述图像采集系统包括工业相机、激光器、滤光装置，激光器的安装方向与焊枪平行，工业相机光轴与激光器中轴线的夹角为30°，工业相机倾斜拍摄电弧区和焊缝区，激光器与焊枪的垂线距离为30mm，激光器投射的一字线型激光条纹与焊缝垂直交叉。工业相机的镜头上设置有滤光装置，滤光装置依次包括滤光片、偏振片、调光玻璃。滤光片、偏振片、调光玻璃均与镜头同轴设置。图像处理系统根据图像采集系统获取的图像计算出工件坡口中心线与焊丝中心线沿x轴方向的距离Δx。

作为优选方案，滤光片的中心波长为660nm。

作为优选方案，调光玻璃为圆形，由透光率不同的两半圆玻璃组合而成，其左半部分采用透光率为100％的透明玻璃，右半部分采用衰减率为4.4％的减光片，左、右两个半圆的分界线投射在焊丝末端与激光条纹之间。

基于主被动视觉结合的焊接偏差检测方法，包括如下步骤：

步骤1：选取图像中ROI区域；

步骤2：对ROI区域进行去噪；

步骤3：获取ROI区域中焊丝末端中心点；

步骤4：获取ROI区域中焊缝特征点；

步骤5：根据焊丝末端中心点、焊缝特征点计算焊接偏差量。

作为优选方案，所述步骤1具体步骤如下：根据激光条纹和焊丝末端在焊接图像中的位置，分别设置了两个矩形框，将激光条纹和焊丝末端分别设置在矩形框内。

作为优选方案，所述步骤2具体步骤如下：利用LoG算子对矩形框内图像进行滤波处理，获得焊丝末端位置的亮斑区域，激光条纹位置的加黑线段。

作为优选方案，所述步骤3具体步骤如下：对亮斑区域求取中心点c。

作为优选方案，所述步骤4具体步骤如下：采用高斯拟合法提取加黑线段的中心点，运用加权最小二乘法分别拟合出坡口左侧水平线L₁、坡口左侧斜线L₂、坡口右侧斜线L₃和坡口右侧水平线L₄，以L1和L2的交点作为左焊缝特征点a，以L3和L4的交点作为右焊缝特征点b。

作为优选方案，所述步骤5具体步骤如下：在图像中连接左焊缝特征点a与右焊缝特征点b，并做出直线ab的中垂线x₁，以图像中的中心点c为起点做出垂线x₂，求取中垂线x₁与垂线x₂之间的垂线距离Δx作为焊接偏差量。

有益效果：本发明提供的基于主被动视觉结合的焊接偏差检测系统及检测方法，设计了一种调光玻璃，视觉系统采集到的焊接图像内容包括被电弧包围的焊丝尖端和能够表征焊缝形貌的激光条纹，获取的焊接信息量大。

本发明图像处理方法先利用小波变换方法对图像噪声类型进行分析，根据焊接图像能量分布呈高斯分布这一特征，有针对性地采用LoG算子分别对焊接图像不同位置的ROI区域进行滤波处理；接着，设计合适的图像处理算法分别提取出焊丝中心线和焊缝坡口中心线；最后，计算出焊丝中心线和焊缝中心线在X轴方向的偏差值，并将所得结果用于后续的自动焊缝跟踪控制。

经验证，本发明通过提取焊接图像焊丝与焊缝中心位置以获得焊接偏差的方法跟踪精度高、实时性强，能够满足焊缝跟踪精度要求。

附图说明

图1为焊接偏差检测试验系统结构示意图。

图2为一种特殊设计的调光玻璃的结构示意图。

图3为目标成像模型结构示意图。

图4为焊接图像示意图。

图5为焊接偏差示意图。

图6为焊接偏差测定流程示意图。

图7为焊接图像中选取的ROI示意图。

图8为小波变换后能量分布直方图。

图9为ROI1去噪结果示意图。

图10为ROI2去噪结果示意图。

图11为焊丝尖端位置检测结果示意图。

图12为激光条纹中心点示意图。

图13为直线拟合结果示意图。

图14为焊接偏差测试装置现场示意图。

图15为部分图像处理结果示意图。

图16为纠偏值曲线示意图。

图17为焊接效果示意图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

实施例1

如图1所示，本实例的基于主被动视觉结合的焊接偏差检测系统，应用于管道焊接机器人管道全位置焊接，包括：管道焊接机器人、图像采集系统、图像处理系统，管道焊接机器人包括磁吸式爬行焊接机器人3、焊接电源。其中，本实例进行试验，磁吸式爬行焊接机器人采用GMAW方法进行焊接，焊接试验使用45# 碳钢管道1，母材规格为φ400mm×20mm，坡口4形式为V形，坡口角度为60°。焊接电源为松下YD-500GS5焊机，保护气体为80％Ar+CO₂20％，焊接材料选择了大西洋牌ER50-6实心焊丝，焊丝直径为1.2mm。管道焊接机器人试验焊接工艺参数如表1所示。

表1主要焊接试验参数

参数名称	参数值
		焊接电流I/A	138
焊接电压U/V	17
		焊接速度v/(mm.s<sup>-1</sup>)	2.8
焊枪摆动速度v/(mm.s<sup>-1</sup>)	30
		焊枪摆动幅度w/mm	7
焊枪左右延时t/ms	300
		气体流量q/(L.min<sup>-1</sup>)	25

图像采集系统包括工业相机5、激光器10、滤光装置。

如图2-图3所示，工业相机用于拍摄焊接过程中的焊接图像，焊接工件为水平固定管、磁吸式焊接机器人绕管道圆周爬行。工业相机采用Basler acA1300-60gm CMOS摄像机，最高采集帧率为60fps。激光器中心波长为660nm，功率为16mW。激光器10的安装方向与焊枪2平行，工业相机光轴与激光器中轴线的夹角为30°，工业相机倾斜拍摄电弧区和焊缝区，激光器与焊枪的垂线距离为30mm，激光器投射的一字线型激光条纹与焊缝垂直交叉。

工业相机的镜头6上设置有滤光装置，滤光装置依次包括滤光片7、偏振片 8、调光玻璃9。滤光片、偏振片、调光玻璃均与镜头同轴设置，滤光片的一端安装在工业相机的镜头上，偏振片的一端安装在滤光片的另一端上，调光玻璃安装在偏振片的另一端上。其中，滤光片的中心波长为660nm，此波段下弧光强度较弱，偏振片作用为减少焊接工件表面反射光干扰。调光玻璃为圆形，由透光率不同的两半圆玻璃组合而成，其左半部分采用透光率为100％的透明玻璃，右半部分采用衰减率为4.4％的减光片，左、右两个半圆的分界线投射在焊丝末端与激光条纹之间，4.4％的减光片有利于对弧光的采集，100％的透明玻璃有利于对激光条纹的采集。

如图4所示，本发明检测系统采集到的焊接图像具有以下特征：①同一帧图像中包括有电弧、焊丝末端、激光条纹，焊丝末端被电弧包围；②图像受到多种污染，污染源包括电弧区飞出的飞溅和弥漫烟尘；③激光线亮度较高，并能反映出坡口截面信息；④图像上半部分灰度值最大区域集中在电弧区。

图像处理系统包括工控机和计算机图像处理软件。

图像采集系统在焊接过程中获取图像，然后将图像数据通过千兆网线传输至工控机，工控机内安装运行有计算机图像处理软件对焊接图像进行处理分析，最后计算出焊接偏差。

如图5所示，图像处理系统计算出坡口中心线与焊丝中心线沿x轴方向的距离Δx作为焊枪纠偏量。

实施例2

如图6所示，本实施例公开了一种基于主被动视觉结合的焊接偏差检测方法，其应用于实施例1的基于主被动视觉结合的焊接偏差检测系统，包括如下步骤：

步骤1：选取ROI：ROI(Region of interset)，即感兴趣区域。在图像处理过程中，对图像ROI进行处理，不仅会减少图像处理的数据量，提高处理速度，还可以去除ROI以外的干扰，提高精度。由于CMOS摄相机、激光器、焊枪三者的相对位置是固定的，且一起做横摆运动，所以激光线和焊丝总是出现在焊接图像中固定位置，而焊丝燃烧时电弧位置在图像中也是相对固定的。根据激光条纹和焊丝末端在焊接图像中的位置，分别设置了两个矩形框，将激光条纹和焊丝末端分别设置在矩形框内，如图7所示。ROI框的大小和位置可能不同，可在视觉传感系统软件界面上预先设置。

步骤2：图像去噪：由于焊接过程伴随的大量飞溅、弧光及烟尘等干扰，导致图像变模糊。图像去噪的目的就是设计出合适的滤波器以降低图像噪声干扰。根据已有研究，模糊图像经小波变换后，高频子带系数会随噪声类型的不同而变化。另外，焊接过程中产生的图像噪声主要分为高斯噪声和椒盐噪声，因此，通过观察焊接图像的高频子带系数直方图，可以确定噪声的类型。通过分析图8，可以确定焊接图像中的噪声类型为高斯噪声。

LoG(Laplance-of-Gauss)算子即拉普拉斯高斯算子，它对图像的处理过程包含两个环节：先用高斯函数对图像进行低通滤波，抑制噪声干扰，然后进行拉普拉斯算子二阶微分运算。由于灰度图是二维函数，这一过程的表达式如下：

式中，I(x,y)为滤波后图像，f(x,y)为输入图像，σ代表高斯分布的标准差，

为LoG滤波器，其计算表达式为：

LoG算子滤波除了能对图像进行平滑处理，抑制高斯噪声外，还有一个特点就是当尺度与高斯目标的尺度相等时，响应值最大，因此LoG滤波适合目标宽度恒定的图像滤波处理。从ROI1区域图像可看出，熔化的焊丝末端被电弧包围且形状变化不大，利用这一特性，利用LoG算子对ROI1区域图像滤波处理，焊丝末端位置出现亮斑区域，该区域即为响应最大位置，图9为σ＝3时，ROI1 区域图像的滤波处理效果图。利用激光条纹宽度基本一致特性，同样使用LoG 算子对ROI2区域图像的滤波处理，激光条纹位置出现加黑线段，图10为σ＝10 时，对ROI2区域图像滤波处理后效果图。可明显看出，焊丝末端位置和激光条纹均被突显出来。

步骤3：焊丝末端位置检测：为确定焊丝中心线位置，对滤波处理后的ROI1 区域图像中亮斑区域求取中心点c。图11为焊丝尖端位置的检测结果，图11中红色“×”标志处为焊丝尖端中心点。

步骤4：焊缝特征点提取：对滤波处理后的ROI2区域图像中加黑线段，利用高斯特性，采用了高斯拟合法提取加黑线段的中心点，如图12为激光条纹中心点提取结果所示。接着，运用加权最小二乘法分别拟合出坡口左侧水平线L₁、坡口左侧斜线L₂、坡口右侧斜线L₃和坡口右侧水平线L₄。以L1和L2的交点作为左焊缝特征点a，以L3和L4的交点作为右焊缝特征点b。直线拟合结果如图13所示。

步骤5:计算焊接偏差量：在图像中连接左焊缝特征点a与右焊缝特征点b，并做出直线ab的中垂线x₁，以图像中的中心点c为起点做出垂线x₂，求取中垂线x₁与垂线x₂之间的垂线距离Δx作为焊接偏差量。

实施例3：

如图14所示，为了验证所提出的偏差检测方法的准确性，试验在经车床加工的坡口上进行，车床加工的坡口宽度均匀，模拟了坡口机加工后的坡口。焊接过程中，视觉系统检测的焊接偏差量发送给焊接控制系统，进而控制调整焊枪的摆动中心。图15为典型焊接图像的处理效果，实时纠偏值显示在图16曲线中，整体焊接的结果如图17所示。通过大量的焊接试验，焊接误差基本在0.2mm以内，满足管道全位置焊接焊缝自动跟踪要求

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于主被动视觉结合的焊接偏差检测系统，包括：管道焊接机器人，其特征在于：还包括图像采集系统、图像处理系统，所述图像采集系统包括工业相机、激光器、滤光装置，激光器的安装方向与管道焊接机器人的焊枪平行，工业相机倾斜拍摄电弧区和焊缝区，激光器投射的一字线型激光条纹与焊缝垂直交叉，工业相机的镜头上设置有滤光装置，滤光装置依次包括滤光片、偏振片、调光玻璃，图像处理系统根据图像采集系统获取的图像计算出工件坡口中心线与焊丝中心线沿x轴方向的距离Δx。

2.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测系统，其特征在于：所述工业相机光轴与激光器中轴线的夹角为30°，激光器与焊枪的垂线距离为30mm，滤光片、偏振片、调光玻璃均与镜头同轴设置。

3.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测系统，其特征在于：所述滤光片的中心波长为660nm。

4.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测系统，其特征在于：所述调光玻璃为圆形，由透光率不同的两半圆玻璃组合而成，其左半部分采用透光率为100％的透明玻璃，右半部分采用衰减率为4.4％的减光片，左、右两个半圆的分界线投射在焊丝末端与激光条纹之间。

5.基于主被动视觉结合的焊接偏差检测方法，其特征在于：包括如下步骤：

步骤1：选取图像中ROI区域；

步骤2：对ROI区域进行去噪；

步骤3：获取ROI区域中焊丝末端中心点；

步骤4：获取ROI区域中焊缝特征点；

步骤5：根据焊丝末端中心点、焊缝特征点计算焊接偏差量。

6.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测系方法，其特征在于：所述步骤1具体步骤如下：根据激光条纹和焊丝末端在焊接图像中的位置，分别设置了两个矩形框，将激光条纹和焊丝末端分别设置在矩形框内。

7.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测方法，其特征在于：所述步骤2具体步骤如下：利用LoG算子对矩形框内图像进行滤波处理，获得焊丝末端位置的亮斑区域，激光条纹位置的加黑线段。

8.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测方法，其特征在于：所述步骤3具体步骤如下：对亮斑区域求取中心点c。

9.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测方法，其特征在于：所述步骤4具体步骤如下：采用高斯拟合法提取加黑线段的中心点，运用加权最小二乘法分别拟合出坡口左侧水平线L₁、坡口左侧斜线L₂、坡口右侧斜线L₃和坡口右侧水平线L₄，以L1和L2的交点作为左焊缝特征点a，以L3和L4的交点作为右焊缝特征点b。

10.根据权利要求1所述的基于主被动视觉结合的焊接偏差检测方法，其特征在于：所述步骤5具体步骤如下：在图像中连接左焊缝特征点a与右焊缝特征点b，并做出直线ab的中垂线x₁，以图像中的中心点c为起点做出垂线x₂，求取中垂线x₁与垂线x₂之间的垂线距离Δx作为焊接偏差量。