[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103759648B - 一种基于激光双目视觉的复杂角焊缝位置检测方法 - Google Patents

一种基于激光双目视觉的复杂角焊缝位置检测方法 Download PDF

Info

Publication number
CN103759648B
CN103759648B CN201410042882.8A CN201410042882A CN103759648B CN 103759648 B CN103759648 B CN 103759648B CN 201410042882 A CN201410042882 A CN 201410042882A CN 103759648 B CN103759648 B CN 103759648B
Authority
CN
China
Prior art keywords
vector
point
points
connected domain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410042882.8A
Other languages
English (en)
Other versions
CN103759648A (zh
Inventor
石永华
王晓佳
陈熙引
李学瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410042882.8A priority Critical patent/CN103759648B/zh
Publication of CN103759648A publication Critical patent/CN103759648A/zh
Application granted granted Critical
Publication of CN103759648B publication Critical patent/CN103759648B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于激光双目视觉的复杂角焊缝位置检测方法,克服了传统图像检测算法对于角焊缝特征点提取精度低、不稳定的缺点。本发明通过下述技术方案予以实现:使用激光扫描工件,由双目CCD摄像机采集图像,采集的灰度图像传输到计算机的软件系统进行处理。处理流程依次为中值滤波、二值化、细化、获取最大连通域、近角点搜索、直线拟合求交点,最终获得焊缝特征点图像坐标。本发明采用的预处理方法(中值滤波、二值化、细化、获取最大连通域)去除了图像背景的干扰,减小了后续处理的检索范围,并提出一种近角点搜索策略,提高了角点检测的速度,最后使用直线拟合求交点的方法使检测精度达到亚像素级。

Description

一种基于激光双目视觉的复杂角焊缝位置检测方法
技术领域
本发明涉及复杂角焊缝检测技术领域,具体涉及一种基于激光双目视觉的复杂角焊缝位置检测方法。
背景技术
随着工业技术的不断发展,焊接结构件的形状越来越复杂,比如存在弯曲或带折线的对接或角接焊缝。对于这些焊缝,要实现自动焊接必须首先实现焊缝位置的自动检测和跟踪。目前焊缝跟踪可用多种传感器实现,其中使用线状结构光结合双目视觉的传感方式可对待焊接头进行三维重建,获得待焊缝的空间位置,为焊接跟踪提供路径信息。
激光双目视觉下对角接接头待焊缝位置的检测实际上就是对激光条纹在待焊缝处角点的检测。现有的角点提取方法主要可分为两类:一是利用模板区域面积对灰度图像进行角点检测,Moravcc、Harris、Trajkovic、SUSAN等是这类算法中的典型;二是基于边缘轮廓的角点提取算法,先提取图像信息中的边缘轮廓,再求角点,Kitchen-Rosenfeld、CSS、Freem链码法、Wang-Brady等是这类算法中的典型。
对于实际角焊缝的检测,第一类算法检测过程中受图像的几何尺寸影响较大,而且精度不高,精度在像素级别甚至更低。第二类算法把搜索范围缩小到激光线边缘上,根据曲率信息搜索拐点,具有较高的准确性,但是由于激光条纹边缘在焊件上存在漫反射,边缘图像呈轻微锯齿状,传统算法实际检测中容易产生伪角点,不利于坡口特征的提取和后期的双目匹配,检测效率仍有待提高。
另外,由于两相机安装有一定的夹角和距离,并且对于一些复杂角焊缝如波纹板角焊缝线状激光扫描过程中相机深度方向存在较大的变化,为保证焊缝特征点始终能在两个相机的视场范围内,视场中会存在一些非焊缝特征的角点。这些角点会干扰焊缝特征点的提取。
因此,设计一种用于复杂角焊缝位置检测的更高效准确的算法,对于实现角焊缝的实时精确跟踪是十分必要的。
发明内容
为了克服现有基于视觉的焊缝位置检测技术存在识别能力差、效率低、可靠性低的不足,本发明充分利用实际角接接头的几何特点,提出了一种基于激光双目视觉的复杂角焊缝位置检测方法。该检测方法不仅识别准确,而且速度快、稳定性好。
一种基于激光双目视觉的复杂角焊缝位置检测方法,由双目CCD摄像机采集图像,采集的图像经过的处理流程为预处理、近角点搜索、直线拟合求交点,最终获得焊缝特征点图像坐标。
进一步地,所述预处理依次采用中值滤波、二值化、细化、获取最大连通域的图像处理方法进行处理。
进一步地,所述近角点搜索的方法包括初选和细选两个步骤;
所述初选具体是:在预处理后图像中最大连通域上,以最右边像素点为起始点,以大步长a为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组;计算向量1、向量3之间的夹角θ,若向量1、向量3的夹角θ大于预设角,则记录向量2的起点为初选点A并作为细选时的起点,记录向量2的终点作为细选时的终点B并结束初选;否则,向量组向左偏移大步长a,重复以上过程;
所述细选具体是:利用所述的点A和点B,在预处理后图像中最大连通域上,以A为起点,以小步长b为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组;判断向量1的起点是否在细选终点B左侧,若是则记录A为近角点并结束细选;否则计算向量1和向量3之间的夹角θ,若向量1和向量3的夹角θ大于预设角,则记录向量2的起点为近角点并结束细选,否则向量组向左偏移小步长b,b<a重复以上过程。
进一步地,所述近角点为在预处理后图像中最大连通域上,与真实角焊缝特征点之间相差一个小步长b的像素点。
进一步地,步长定义为所选连续像素点的个数。
进一步地,所述直线拟合求交点的方法是:在预处理后图像中最大连通域上,近角点向左偏移小步长b后的像素点作为起点,向左依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线一;在预处理后图像中最大连通域上,近角点向右依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线二。直线一和直线二的交点图像坐标为焊缝特征点的图像坐标。
与现有技术相比,本发明的优点是:通过激光扫描、图像预处理技术、近角点搜索方法以及直线拟合求交点的流程,能快速定位角焊缝特征点,精度在亚像素级别,结合三维重建技术,可用于焊接机器人对复杂角焊缝的精确跟踪。该方法可用于角焊缝的自动跟踪,尤其适合复杂角焊缝如波纹板角焊缝的精确跟踪。
附图说明
下面结合附图和实施方式对本发明进一步说明。
图1是本发明的图像处理流程框图。
图2是图像采集系统和线状激光器在移动平台上的安装示意图。
图3是CCD摄像机采集的角焊缝原始图。
图4是预处理后的效果图。
图5a是近角点搜索初选过程的原理图。
图5b是近角点搜索细选过程的原理图,图中圆形区域是对图5a中圆形区域的放大。
图6是近角点搜索的流程图。
图7是取直线拟合点的示意图。
图8是焊缝特征点提取的效果图。
具体实施方式
以下结合附图对本发明的具体实施作进一步说明,但本发明的实施和保护范围不限于此。
本实例中,通过激光扫描工件,形成线状激光条纹,由CCD摄像机采集并传输至计算机软件系统进行处理。图像采集系统和线状激光器在移动平台上的安装如图2所示。两相机(C1、C2)安装时均进行侧放,即相机坐标系的XOZ平面垂直于待焊件长度方向,其中一个相机所采集的角焊缝原始图像如图3示,另一相机采集的图像与之特征基本相同,因此处理流程相同。
图1中是本发明的图像处理总体流程图。以下结合附图进行各个步骤的详细说明。
本发明的预处理分四步:中值滤波、阈值分割、激光条纹细化以及获取最大连通域。预处理效果如图4示。通过预处理,剔除了噪声的影响,并提取出存在焊缝特征的细化激光条纹。在预处理中获取最大连通域可剔除激光条纹细化后的一些短线,仅保留激光条纹骨骼,去除离散杂光的干扰,并缩小后续搜索角点的范围,提高搜索效率。
预处理后,将在细化的激光条纹上进行角焊缝特征点的检测。检测方法主要由2个步骤完成:
1在预处理后图像中最大连通域上,采用分别采用两种不同步长构造的三向量组合进行近角点的搜索。
2选取预处理后图像中最大连通域上,近角点左右两侧的若干个像素点,分别进行直线拟合,求直线交点的方法找到焊缝特征点。
结合图5a和图5b的近角点搜索原理图,近角点的搜索流程如图6所示,具体过程分两步:初选和细选。
第一步进行初选。在预处理后图像中最大连通域上,以最右边像素点为起始点,以大步长a为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组。计算向量1,向量3之间的夹角θ,若向量1、向量3的夹角θ大于预设角,则记录向量2的起点为初选点A并作为细选时的起点,记录向量2的终点作为细选时的终点B并结束初选;否则,向量组向左偏移大步长a,重复以上过程。其中,预处理后图像最大连通域上所取的一段所含有连续像素点的个数称为步长。
第二步进行细选。在预处理后图像中最大连通域上,以A为起点,以小步长b为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组。判断向量1的起点是否在细选终点B左侧,若是则记录A为近角点并结束细选;否则计算向量1和向量3之间的夹角θ,若向量1和向量3的夹角θ大于预设角,则记录向量2的起点为近角点并结束细选,否则向量组向左偏移小步长b(b<a),重复以上过程。其中,近角点定义为在预处理后图像中最大连通域上,与真实角焊缝特征点之间相差一个小步长b的像素点。
图7展示了直线拟合点的选取方法,图8展示了直线拟合结果以及两直线的交点,交点即为提取的焊缝特征点,具体处理过程如下。
在预处理后图像中最大连通域上,近角点向左偏移小步长b后的像素点作为起点,向左依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线一;在预处理后图像中最大连通域上,近角点向右依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线二。直线一和直线二的交点图像坐标为焊缝特征点的图像坐标。
在实际检测过程中,可根据图像的具体特征进行参数的选择。例如,图像的实际大小为400300像素,预处理后最大连通域右侧第一个转折点为所要提取的焊缝特征点。若第一个转角θ约45°,可选预设角为40°;若连通域上,特征点右侧直线段长约200到250像素,左侧直线段长约100像素,可选初选中的大步长a为20像素,细选中的小步长为4像素,直线一拟合选取像素点的个数为50,直线二拟合选取像素点的个数为80。
通过以上步骤,分别获取两个相机对应的焊缝特征点,由双目视觉测量原理计算得到焊缝特征点的空间几何信息,再根据坐标转换关系,得到机器人坐标系下的焊缝轨迹。控制焊接机器人可以准确地跟踪、定位该角焊缝。

Claims (5)

1.一种基于激光双目视觉的复杂角焊缝位置检测方法,由双目CCD摄像机采集图像,其特征是:采集的图像经过的处理流程为预处理、近角点搜索、直线拟合求交点,最终获得焊缝特征点图像坐标;所述近角点搜索的方法包括初选和细选两个步骤;
所述初选具体是:在预处理后图像中最大连通域上,以最右边像素点为起始点,以大步长a为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组;计算向量1、向量3之间的夹角θ,若向量1、向量3的夹角θ大于预设角,则记录向量2的起点为初选点A并作为细选时的起点,记录向量2的终点作为细选时的终点B并结束初选;否则,向量组向左偏移大步长a,重复以上过程;
所述细选具体是:利用所述的点A和点B,在预处理后图像中最大连通域上,以A为起点,以小步长b为间隔,依次向左取到第二、三、四点,顺次连接形成向量1,向量2和向量3,三个向量组成一个向量组;判断向量1的起点是否在细选终点B左侧,若是则记录A为近角点并结束细选;否则计算向量1和向量3之间的夹角θ,若向量1和向量3的夹角θ大于预设角,则记录向量2的起点为近角点并结束细选,否则向量组向左偏移小步长b,b<a重复以上过程。
2.根据权利要求1所述的一种基于激光双目视觉的复杂角焊缝位置检测方法,其特征在于:所述预处理依次采用中值滤波、二值化、细化、获取最大连通域的图像处理方法进行处理。
3.根据权利要求1所述的一种基于激光双目视觉的复杂角焊缝位置检测方法,其特征在于:所述近角点为在预处理后图像中最大连通域上,与真实角焊缝特征点之间相差一个小步长b的像素点。
4.根据权利要求3所述的一种基于激光双目视觉的复杂角焊缝位置检测方法,其特征在于:步长定义为所选连续像素点的个数。
5.根据权利要求1所述的一种基于激光双目视觉的复杂角焊缝位置检测方法,其特征在于:所述直线拟合求交点的方法是:在预处理后图像中最大连通域上,近角点向左偏移小步长b后的像素点作为起点,向左依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线一;在预处理后图像中最大连通域上,近角点向右依次取出最大连通域上的数十个像素点,利用最小二乘法对这数十个像素点进行直线拟合,获得直线二,直线一和直线二的交点图像坐标为焊缝特征点的图像坐标。
CN201410042882.8A 2014-01-28 2014-01-28 一种基于激光双目视觉的复杂角焊缝位置检测方法 Expired - Fee Related CN103759648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410042882.8A CN103759648B (zh) 2014-01-28 2014-01-28 一种基于激光双目视觉的复杂角焊缝位置检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410042882.8A CN103759648B (zh) 2014-01-28 2014-01-28 一种基于激光双目视觉的复杂角焊缝位置检测方法

Publications (2)

Publication Number Publication Date
CN103759648A CN103759648A (zh) 2014-04-30
CN103759648B true CN103759648B (zh) 2016-05-25

Family

ID=50526924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410042882.8A Expired - Fee Related CN103759648B (zh) 2014-01-28 2014-01-28 一种基于激光双目视觉的复杂角焊缝位置检测方法

Country Status (1)

Country Link
CN (1) CN103759648B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983982A (zh) * 2014-05-27 2014-08-13 哈尔滨工业大学 车用红外/可见光双摄像头激光雷达
CN104400265B (zh) * 2014-10-08 2017-06-06 吴长兴 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
CN106514064A (zh) * 2015-09-15 2017-03-22 苏州中启维盛机器人科技有限公司 焊缝验证方法
CN105397283A (zh) * 2015-12-11 2016-03-16 中国电子科技集团公司第四十八研究所 一种用于微波组件的焊缝轨迹修正方法
CN105678776B (zh) * 2016-01-11 2017-03-22 南京工业大学 一种基于激光视觉传感器焊缝图像特征点提取方法
CN106271278B (zh) * 2016-09-19 2017-11-28 南昌大学 一种90°折线角焊缝交叉点识别的方法
CN106767509A (zh) * 2016-12-24 2017-05-31 大连日佳电子有限公司 一种焊锡三维表面扫描方法
CN107322597A (zh) * 2017-07-13 2017-11-07 上海理工大学 一种基于激光测距的角焊缝焊接轨迹检测装置和方法
CN107627054A (zh) * 2017-10-31 2018-01-26 宁波蓝鼎电子科技有限公司 一种用于焊缝跟踪系统的图形显示报警方法
CN108015458A (zh) * 2017-12-07 2018-05-11 王群 集装箱焊接方法及装置
JP7040932B2 (ja) * 2017-12-19 2022-03-23 株式会社ダイヘン 溶接位置検出装置、溶接位置検出方法及び溶接ロボットシステム
CN107931787A (zh) * 2018-01-16 2018-04-20 无锡信捷电气股份有限公司 一种视觉闭环焊接系统及实现方法
CN108067777A (zh) * 2018-01-16 2018-05-25 无锡信捷电气股份有限公司 一种波纹板焊接系统及轨迹处理控制方法
CN108335286B (zh) * 2018-01-17 2024-03-22 南京理工大学 一种基于双线结构光的在线焊缝成型视觉检测方法
CN109118471A (zh) * 2018-06-26 2019-01-01 广东工业大学 一种适用于复杂环境下的打磨工件缺陷检测方法
CN109128434B (zh) * 2018-10-09 2022-03-29 王燕蓉 角焊缝的焊接方法
CN109949328B (zh) * 2019-03-22 2021-04-02 大连大学 一种激光焊待焊件图像中直线边缘上矩形域灰度计算方法
CN112053368B (zh) * 2019-09-23 2023-07-21 华北电力大学(保定) 一种用于薄板焊接的焊缝中心识别方法及系统
CN110651686B (zh) * 2019-10-12 2021-10-19 北京理工华汇智能科技有限公司 一种基于割胶机械臂的割胶方法及系统
CN110842316B (zh) * 2019-11-04 2021-03-02 武汉比天科技有限责任公司 基于双目视觉的连接件激光加工方法
CN111451670A (zh) * 2020-02-24 2020-07-28 季华实验室 自动焊接方法、装置、设备及计算机可读存储介质
CN112122775B (zh) * 2020-09-22 2022-10-04 成都卡诺普机器人技术股份有限公司 基于激光焊缝跟踪的变压器油箱焊缝及散热片识别方法
CN112365439B (zh) * 2020-09-24 2023-10-03 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN112288707B (zh) * 2020-10-27 2024-08-16 南京神源生智能科技有限公司 一种基于特征点识别的机器人焊缝打磨算法
CN112509038B (zh) * 2020-12-15 2023-08-22 华南理工大学 结合视觉仿真的自适应图像模板截取方法、系统及存储介质
CN113319411A (zh) * 2021-03-04 2021-08-31 湖南大学 一种视觉定位方法、系统及计算设备
CN113358058B (zh) * 2021-06-07 2022-10-14 四川航天长征装备制造有限公司 基于离散序列点的焊缝轮廓特征计算机视觉检测方法
CN113379902B (zh) * 2021-06-30 2024-11-12 哈尔滨理工大学 一种基于激光扫描的焊缝形状的特征提取与三维重建方法
CN114049338A (zh) * 2021-11-19 2022-02-15 深圳市凌云视迅科技有限责任公司 一种焊点宽度检测方法
CN116740141A (zh) * 2023-06-19 2023-09-12 中船重工信息科技有限公司 一种基于机器视觉的先行小组立件焊缝定位系统及方法
CN117114971B (zh) * 2023-08-01 2024-03-08 北京城建设计发展集团股份有限公司 一种像素图向矢量图转换方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4020924C1 (en) * 1990-06-30 1991-07-11 Hoesch Ag, 4600 Dortmund, De Method of deburring welded tube - has burr removed from tube surface and cut intermittently within tube
DE102007031184B4 (de) * 2007-07-04 2009-08-13 Thermosensorik Gmbh Verfahren zur automatischen Ermittlung des Startbildes einer Infrarotbildserie
CN101961819B (zh) * 2009-07-22 2013-10-30 中国科学院沈阳自动化研究所 一种激光焊接焊缝跟踪实现装置及其控制方法
CN103075973A (zh) * 2012-12-31 2013-05-01 吉林大学 车身缝隙尺寸非接触在线检测方法

Also Published As

Publication number Publication date
CN103759648A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
CN103759648B (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
Wang et al. A robust weld seam recognition method under heavy noise based on structured-light vision
CN107014294B (zh) 一种基于红外图像的接触网几何参数检测方法及系统
Dinham et al. Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
Dong et al. A weld line detection robot based on structure light for automatic NDT
CN105678776B (zh) 一种基于激光视觉传感器焊缝图像特征点提取方法
CN110064819A (zh) 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统
CN105458462B (zh) 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法
US8116519B2 (en) 3D beverage container localizer
CN106971407A (zh) 一种基于二维线结构光的焊缝三维重建方法
CN110425996A (zh) 基于双目立体视觉的工件尺寸测量方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN100407222C (zh) 基于局部图像处理的对接类型焊缝识别方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
Wang et al. A novel method for dense point cloud reconstruction and weld seam detection for tubesheet welding robot
Shah et al. A review paper on vision based identification, detection and tracking of weld seams path in welding robot environment
Wang et al. A multi-BRIEF-descriptor stereo matching algorithm for binocular visual sensing of fillet welds with indistinct features
CN114283139A (zh) 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
CN114964007A (zh) 一种焊缝尺寸视觉测量与表面缺陷检测方法
Fang et al. A vision-based method for narrow weld trajectory recognition of arc welding robots
CN102663814A (zh) 利用二维图像生成三维几何模型的自动建模方法
Zhao et al. A real-time seam tracking system based on extraction and restoration model in robotic GMAW
Kiddee et al. Visual recognition of the initial and end points of lap joint for welding robots
CN113436209B (zh) 一种基于逐层缩进策略的新型焊缝中心线提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160525

CF01 Termination of patent right due to non-payment of annual fee