[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111612730A - 一种焊缝检测定位方法 - Google Patents

一种焊缝检测定位方法 Download PDF

Info

Publication number
CN111612730A
CN111612730A CN201910134479.0A CN201910134479A CN111612730A CN 111612730 A CN111612730 A CN 111612730A CN 201910134479 A CN201910134479 A CN 201910134479A CN 111612730 A CN111612730 A CN 111612730A
Authority
CN
China
Prior art keywords
welding seam
weld
series
positioning method
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910134479.0A
Other languages
English (en)
Other versions
CN111612730B (zh
Inventor
孔泉
卢嘉轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaowei Hangzhou Technology Co ltd
Original Assignee
Miaowei Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaowei Hangzhou Technology Co ltd filed Critical Miaowei Hangzhou Technology Co ltd
Priority to CN201910134479.0A priority Critical patent/CN111612730B/zh
Publication of CN111612730A publication Critical patent/CN111612730A/zh
Application granted granted Critical
Publication of CN111612730B publication Critical patent/CN111612730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种焊缝检测定位方法，本发明基于图像识别的深度学习模型，结合一个多项式回归的数据拟合模型，从而实现了焊缝检测和定位的功能；减小了数据标注的难度，降低了最终计算设备的性能指标要求；本发明可以自动识别焊缝的位置，不需要人为介入参与，同时还大大增加了识别的准确率，提高了生产效率。

Description

一种焊缝检测定位方法
技术领域
本发明涉及智能制造的机械装置精准控制领域，具体涉及一种焊缝检测定位方法。
背景技术
在离散制造业中诸如保温杯，水杯的制造过程中，有一道外表面抛光的工艺。该工艺其中的一个重点是将上一工序中焊接导致的接缝痕迹抛光消除，从而达到美观的效果。由于杯子本身材质有差异，焊接工艺和条件有差异，会导致该焊缝的具体呈现有很大的多样性，给机器自动化的定位焊缝带来困难。
目前的典型解决方案是，让工厂工人人眼识别该焊缝位置，并进行黑色标记笔的标注，然后通过色标传感器来识别焊缝的位置。该方案在实际运行过程中仍然遇到了识别率上的挑战(对于那些本身颜色就很深的杯子来说，识别非常困难)，并且还会多耗费一个人力成本。
发明内容
为了解决上述存在的问题，本发明提供了一种焊缝检测定位方法。
为了实现上述目的，本发明采用以下技术方案：
一种焊缝检测定位方法，包括以下步骤：
(1)利用工业相机采集杯子外表面原始图片信息；
(2)将杯子外表面的原始图片进行切割，得到多个一连串的图片数据，并将该一连串的图片数据送入图像识别的模型，获得对应的一连串的焊缝概率数据；
(3)将这一连串的焊缝概率数据送入多项式回归模型y＝ax2+bx+c进行训练，求得参数a、b、c，得到多项式回归模型，其中，y为焊缝概率数据，x为一连串图片数据的索引坐标；
(4)根据得到的多项式回归模型，可以得到多项式的顶点坐标(x_top，y_top)，该坐标即为焊缝位置的索引坐标；
(5)将x_top换算成机械装置转动的角度信息，然后将角度信息返回给控制台，控制杯子转动到目标角度，即找到了焊缝位置；角度信息表示从起始位置开始，转动多少度可以找到焊缝的位置。
进一步地，图像识别的模型为经过深度学习模型训练之后得到的，具体为：深度学习模型用已知的焊缝图片进行训练，获得图像识别的模型，图像识别的模型输出一个图片主体内容为焊缝的概率。
进一步地，步骤(2)中，将原始图片按照200x200，每100像素的格式进行切割。
进一步地，步骤(3)中，x具体为步骤(2)中切割原始图片之后得到的一批图片按照位置关系排列的一连串图片数据的索引坐标。
进一步地，步骤(5)中，将x_top换算成机械装置转动的角度信息的公式：x_top/len_x*360*2，其中len_x为总共的图片数量。
本发明的有益效果是：
(1)本发明可以自动识别焊缝的位置，不需要人为介入参与，节省了人力成本的同时还大大增加了识别的准确率，提高了生产效率；本发明采用了图片识别(非图像定位)的深度学习神经网络，大大降低了模型的神经网络的复杂度，从而降低了标注成本，训练成本，以及最终的控制方案硬件成本。
(2)本发明提供了一个基于图像识别的深度学习模型，结合一个多项式回归的数据拟合模型，从而实现了图像检测和定位的功能；减小了数据标注的难度，降低了最终计算设备的性能指标要求，从而最大程度上降低成本。
附图说明
图1为本发明的图片切割示意图。
图2为深度学习模型训练之后，获得的焊缝概率分布图。
图3为多项式回归之后求得顶点位置的示意图。
具体实施方式
以下结合附图对本发明的技术方案做进一步详细说明，应当指出的是，具体实施方式只是对本发明的详细说明，不应视为对本发明的限定。
本发明的一种焊缝检测定位方法应用于某上市保温杯生产企业中的自动化抛光机器人工序，具体实施步骤如下：
(1)架设工业相机在生产线对应位置，采集杯子外表面原始图片信息；本实施例中，架设工业相机在自动抛光机上，工业相机镜头对准准备抛光的杯子；
(2)将杯子外表面原始图片进行切割，本实施例中，将原始图片按照200x200，每100像素的格式进行裁剪切割，如图1所示，在整张图片中按照预设的间隔(本实施例中，间隔是100个像素)进行图片的切割，得到多个一连串的图片数据，并将该一连串的图片数据送入图像识别的模型，(此图像识别的模型为经过深度学习模型训练之后得到的)获得对应的一连串的焊缝概率数据；
(3)将步骤(2)中得到的一连串的焊缝概率数据送入多项式回归模型y＝ax2+bx+c进行回归训练，求得参数a、b、c，本实施例中，a＝-4.10714286，b＝56.53571429，c＝0.00010235，进而得到多项式回归模型，其中，y为焊缝概率数据，x为一连串图片数据的索引坐标，具体地，x为步骤(2)中切割原始图片之后得到的一批图片按照位置关系排列的一连串图片数据的索引坐标；
(4)根据得到的多项式回归模型，可以得到多项式的顶点坐标(x_top，y_top)；二次函数求顶点坐标的公式：x_top＝-b/2a，y_top＝(4ac-b^2)/4a，本实施例中，x_top＝6.882608，y_top＝0.99890987，该坐标即为焊缝位置的索引坐标，是一个浮点数；如图3所示，将一连串的焊缝概率数据进行多项式建模之后，可以求得多项式曲线的顶点位置坐标；图示中的数字均为示意，并非图上的真实对应；图3中的0.02％，60.2％，87.3％等分别为不同x值下的y的数值，也即焊缝概率；图中，5.75表示顶点位置的横坐标x的数值。
(5)通过计算将x_top换算成机械装置转动的角度信息，然后将角度信息返回给控制台，控制杯子转动到目标角度，即找到了焊缝位置；
将x_top换算成机械装置转动的角度信息的公式：x_top/len_x*360*2，其中len_x为切割后，总共的图片数量；
本实施例中，切割后，总共40张图片，角度信息＝123.8869度；角度信息表示从起始位置开始，转动多少度可以找到焊缝的位置。
作为一种优选的方式，图像识别的模型为经过深度学习模型训练之后得到的，具体为：深度学习模型用已知的焊缝图片进行训练，最终可以获得一个图像识别的模型，图像识别的模型输出一个图片主体内容为焊缝的概率；
作为一种优选的方式，深度学习模型训练时，首先，将原始图片进行切割，将原始图片按照200x200，每100像素的格式进行切割；并将切割获得的图片进行人工标注，焊缝位置处于图片正中心的标注为焊缝，其他的标注为非焊缝；本实施例中，总共标注大约200张焊缝图片，500张非焊缝图片；然后通过图像识别分类网络进行网络参数的训练。
在本实施例中，将切割获得的图片全部送入训练完成之后的网络，可以得到每张图片对应的是否为焊缝的概率数值；图2为深度学习模型训练之后，获得的焊缝概率分布图；实际过程中的切割密度会比图2中示例要更密集，所以可以获得连续的概率数据；图中的数字均为示意，并非图上的真实对应。

Claims (5)

1.一种焊缝检测定位方法，其特征在于，包括以下步骤：
(1)利用工业相机采集杯子外表面原始图片信息；
(2)将杯子外表面的原始图片进行切割，得到多个一连串的图片数据，并将该一连串的图片数据送入图像识别的模型，获得对应的一连串的焊缝概率数据；
(3)将这一连串的焊缝概率数据送入多项式回归模型y＝ax2+bx+c进行训练，求得参数a、b、c，得到多项式回归模型，其中，y为焊缝概率数据，x为一连串图片数据的索引坐标；
(4)根据得到的多项式回归模型，可以得到多项式的顶点坐标(x_top，y_top)，该坐标即为焊缝位置的索引坐标；
(5)将x_top换算成机械装置转动的角度信息，然后将角度信息返回给控制台，控制杯子转动到目标角度，即找到了焊缝位置；角度信息表示从起始位置开始，转动多少度可以找到焊缝的位置。
2.根据权利要求1所述的一种焊缝检测定位方法，其特征在于，
图像识别的模型为经过深度学习模型训练之后得到的，具体为：深度学习模型用已知的焊缝图片进行训练，获得图像识别的模型，图像识别的模型输出一个图片主体内容为焊缝的概率。
3.根据权利要求1所述的一种焊缝检测定位方法，其特征在于，步骤(2)中，将原始图片按照200x200，每100像素的格式进行切割。
4.根据权利要求1所述的一种焊缝检测定位方法，其特征在于，步骤(3)中，x具体为步骤(2)中切割原始图片之后得到的一批图片按照位置关系排列的一连串图片数据的索引坐标。
5.根据权利要求1所述的一种焊缝检测定位方法，其特征在于，步骤(5)中，将x_top换算成机械装置转动的角度信息的公式：x_top/len_x*360*2，其中len_x为总共的图片数量。
CN201910134479.0A 2019-02-23 2019-02-23 一种焊缝检测定位方法 Active CN111612730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910134479.0A CN111612730B (zh) 2019-02-23 2019-02-23 一种焊缝检测定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910134479.0A CN111612730B (zh) 2019-02-23 2019-02-23 一种焊缝检测定位方法

Publications (2)

Publication Number Publication Date
CN111612730A true CN111612730A (zh) 2020-09-01
CN111612730B CN111612730B (zh) 2022-04-22

Family

ID=72195750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910134479.0A Active CN111612730B (zh) 2019-02-23 2019-02-23 一种焊缝检测定位方法

Country Status (1)

Country Link
CN (1) CN111612730B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147289A1 (en) * 2002-04-30 2005-07-07 Jfe Steel Coroporation Method and instrument for measuring bead cutting shape of electric welded tube
US20170151634A1 (en) * 2015-12-01 2017-06-01 General Electric Company System for automated in-process inspection of welds
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108596892A (zh) * 2018-04-23 2018-09-28 西安交通大学 一种基于改进LeNet-5模型的焊缝缺陷识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147289A1 (en) * 2002-04-30 2005-07-07 Jfe Steel Coroporation Method and instrument for measuring bead cutting shape of electric welded tube
US20170151634A1 (en) * 2015-12-01 2017-06-01 General Electric Company System for automated in-process inspection of welds
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108596892A (zh) * 2018-04-23 2018-09-28 西安交通大学 一种基于改进LeNet-5模型的焊缝缺陷识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A KAMTA DJAKOU,ET AL.: "Elastodynamic models for extending GTD to penumbra and finite size flaws", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *
刘鹏 等: "焊接机器人运动学分析及轨迹规划研究", 《机电工程》 *
郑志远: "焊缝典型缺陷的超声TOFD-D扫成像技术研究", 《知网硕士电子期刊》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116596867B (zh) * 2023-05-05 2024-02-13 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法

Also Published As

Publication number Publication date
CN111612730B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN105665970B (zh) 用于焊接机器人的路径点自动生成系统和方法
CN111192307B (zh) 基于激光切割三维零部件的自适应纠偏方法
CN101358836B (zh) 基于计算机视觉识别焊点中心位置的方法
CN108182689A (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN109903279B (zh) 焊缝运动轨迹的自动示教方法和装置
CN111784655B (zh) 一种水下机器人回收定位方法
CN112238304B (zh) 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法
CN115456999B (zh) 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN113643280A (zh) 一种基于计算机视觉的板材分拣系统及方法
CN105783712A (zh) 一种检测刀痕的方法及装置
CN114043045B (zh) 一种基于激光视觉的圆孔自动塞焊方法及装置
CN105666274A (zh) 一种基于视觉控制的餐盘磨边方法
CN111612730B (zh) 一种焊缝检测定位方法
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
CN106780655B (zh) 用于自动焊接路径的人工决策方法与系统
CN115018813A (zh) 一种机器人自主识别与精确定位焊缝的方法
CN114842144A (zh) 双目视觉三维重构方法及系统
CN117506931A (zh) 一种基于机器视觉的坡口切割路径规划及校正设备与方法
CN113920191A (zh) 一种基于深度相机的6d数据集构建方法
CN114331833B (zh) 基于标定与精确几何结构的瓶体标签稳定高质量拼接方法
CN114211164A (zh) 一种水下焊接机器人焊缝跟踪系统的焊缝跟踪控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant