CN113177983B - 基于点云几何特征的角焊缝定位方法 - Google Patents
基于点云几何特征的角焊缝定位方法 Download PDFInfo
- Publication number
- CN113177983B CN113177983B CN202110321791.8A CN202110321791A CN113177983B CN 113177983 B CN113177983 B CN 113177983B CN 202110321791 A CN202110321791 A CN 202110321791A CN 113177983 B CN113177983 B CN 113177983B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- calculating
- line
- welding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003466 welding Methods 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 241001394244 Planea Species 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明涉及焊接自动化领域，具体是基于点云几何特征的角焊缝定位方法，其具体步骤如下：S1、预设相机拍摄的初始位置；S2、多角度拍摄结果重建模型；S3、计算转换矩阵；S4、将转移到机器人坐标系下；S5、计算每条焊缝的观察位置和姿态；S6、控制机器人运动到对应的位姿下拍摄点云；S7、利用预处理获取工件的点云；S8、将点云转换到机器人坐标系下；S9、进行点云拼接；S10、生成一个焊接工件点云；S11、将点云聚类分割为多个平面；S12、计算面面之间的点云交线；S13、计算交线的凹凸性，排除凹线；S14、计算线的起点、重点和法向量；S15、生成最终的焊缝信息并由机器人执行，通过本发明将各位置的点云融合成一个相对完整的工件点云模型。
Description
技术领域
本发明涉及焊接自动化领域，具体是基于点云几何特征的角焊缝定位方法。
背景技术
焊接是制造业中较为基础的技术环节，有着广泛的应用场景。在工业机器人的焊接场景下，常见的自动化焊接方式有焊缝追踪和焊缝定位。如中国专利号为201811282079.6的一种基于激光传感器的焊缝追踪系统及方法以及中国专利申请号为201811168970.7的基于偏振光照明的焊缝自动追踪系统中，焊缝追踪通常需要花费较长的时间识别和定位焊缝，并且还需要用户人工设定焊缝位置，降低了使用效率增加了人工成本和使用难度。如中国专利申请号为201711479984.6的一种焊缝定位装置及使用焊缝定位装置的焊接方法以及中国专利申请号为201811377160.2的一种方便寻找和定位焊缝的焊接定位装置依赖于一些特定的定位装置和设备，这些装置和设备的存在导致焊接系统有较高的使用条件和使用成本。同时定位装置的存在导致对于需要加工的焊接件有着一定的尺寸和形状要求。
发明内容
为了解决上述问题，本发明提出基于点云几何特征的角焊缝定位方法。
基于点云几何特征的角焊缝定位方法，其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、终点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以另一平面上的点云的每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点到planeB面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点到planeA面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点。
本发明的有益效果是：通过一种方法自动形成焊接工件的实际点云模型，由于点云质量会受到实际工件和相机位置的影响，提出了一套利用有缺损的点云和工件理论模型自动生成合理的焊缝观察位置的技术，在各观察位置拍摄点云的基础上将各位置的点云融合成一个相对完整的工件点云模型，其次，本发明提供了一种基于几何特征的角焊缝识别定位方法，在点云模型上识别和定位焊缝位置，以此来减少人工干预和减少焊接对其他定位设备的依赖，优化焊接流程用一种较为通用的方法生成和定位焊缝位置。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的流程结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。
如图1所示，基于点云几何特征的角焊缝定位方法，其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、终点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
通过基于工业机器人的整体建模方法和三维点云几何特征的焊缝识别定位方法，实现了一种较为通用的焊缝识别定位方法，该方法减少了机器人焊接过程中的人工干预，优化了系统的使用流程，既保护了工人的安全性也增加了生产效率；同时，由于较好的通用性使得该方法能加工不同的焊接加工工件，提高工厂流水线生产时的灵活性和对非标产品的处理能力。
所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以另一平面上的点云的每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点到planeB面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点到planeA面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点。
通过一种方法自动形成焊接工件的实际点云模型，由于点云质量会受到实际工件和相机位置的影响，提出了一套利用有缺损的点云和工件理论模型自动生成合理的焊缝观察位置的技术，在各观察位置拍摄点云的基础上将各位置的点云融合成一个相对完整的工件点云模型，其次，本发明提供了一种基于几何特征的角焊缝识别定位方法，在点云模型上识别和定位焊缝位置，以此来减少人工干预和减少焊接对其他定位设备的依赖，优化焊接流程用一种较为通用的方法生成和定位焊缝位置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.基于点云几何特征的角焊缝定位方法，其特征在于：其具体步骤如下：
S1、预设相机拍摄的初始位置：控制机器人去对应位置拍摄点云；
S2、多角度拍摄结果重建模型：根据多角度拍摄结果，利用迭代就近点算法进行点云拼接，生成重建点云模型；
S3、计算转换矩阵：点云和理论工件的数字模型做基于快速点特征直方图的特征匹配，计算两者的转换矩阵；
S4、将转移到机器人坐标系下：将数字模型的每条焊缝映射到机器人坐标系下；
S5、计算每条焊缝的观察位置和姿态：根据计算的每条焊缝的位置，计算焊缝的观察位置和姿态；
S6、控制机器人运动到对应的位姿下拍摄点云；
S7、利用预处理获取工件的点云：经过降采样，平面分割两种预处理，仅保留焊接工件的点云；
S8、将点云转换到机器人坐标系下：根据机器人和相机标定的转换关系，将所有点云转换到机器人坐标系下；
S9、进行点云拼接：使用迭代就近点算法，将多个点云进行拼接；
S10、生成一个相对完整的焊接工件点云；
S11、将点云聚类分割为多个平面：通过采样一致性算法将工件点云聚类分割为多个平面；
S12、计算面面之间的点云交线：遍历两两平面上所有的点，根据kd-tree计算面的交线点云；
S13、计算交线的凹凸性，排除凹线：在计算出的交线基础上，利用交线点云在面的法向量同侧或者异侧的数量判断对应点在两平面间的凹凸性，此为依据筛选出凹面上的点；
S14、计算线的起点、终点和法向量：对于筛选之后的交线点云使用主成分分析算法，认为值最大的成分是焊缝线段，再计算焊缝线段的起点、终点的位置和法向量；
S15、生成最终的焊缝信息并由机器人执行。
2.根据权利要求1所述的基于点云几何特征的角焊缝定位方法，其特征在于：所述的步骤S12的具体做法为：取两平面点云中的一个平面，建立kdTree；再遍历另一平面上的点云；以另一平面上的点云的每个点为圆心，在kdTree上以指定交线阈值半径r搜索；当搜索结果大于0时，认为是交线上的一点。
3.根据权利要求1所述的基于点云几何特征的角焊缝定位方法，其特征在于：所述的步骤S13的具体方法为：
A、取交线上的点p1和生成交线的点云平面planeA,planeB；
B、对planeA建立kdtree,搜索p1周边半径r的点云cloudA，计算cloudA中的点到planeB面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点；
C、对planeB建立kdtree,搜索p1周边半径r的点云cloudB，计算cloudB中的点到planeA面方程的正负距离，统计其中负值的数量，再计算负值在半径内点所占的比例，大于阈值删除该点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321791.8A CN113177983B (zh) | 2021-03-25 | 2021-03-25 | 基于点云几何特征的角焊缝定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321791.8A CN113177983B (zh) | 2021-03-25 | 2021-03-25 | 基于点云几何特征的角焊缝定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177983A CN113177983A (zh) | 2021-07-27 |
| CN113177983B true CN113177983B (zh) | 2022-10-18 |
Family
ID=76922691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110321791.8A Active CN113177983B (zh) | 2021-03-25 | 2021-03-25 | 基于点云几何特征的角焊缝定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177983B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793344B (zh) * | 2021-08-31 | 2023-09-29 | 无锡砺成智能装备有限公司 | 一种基于三维点云的叶轮焊缝定位方法 |
| CN113744245B (zh) * | 2021-09-03 | 2024-10-01 | 江南大学 | 一种点云中的结构加强筋焊缝定位方法及系统 |
| CN114170176B (zh) * | 2021-12-02 | 2024-04-02 | 南昌大学 | 一种基于点云的钢格板焊缝自动检测方法 |
| CN114515924B (zh) * | 2022-03-24 | 2022-11-08 | 浙江大学 | 一种基于焊缝识别的塔脚工件自动焊接系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109514133B (zh) * | 2018-11-08 | 2020-09-11 | 东南大学 | 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法 |
| CN110227876B (zh) * | 2019-07-15 | 2021-04-20 | 西华大学 | 基于3d点云数据的机器人焊接路径自主规划方法 |
| CN110455187B (zh) * | 2019-08-21 | 2020-06-09 | 哈尔滨工业大学 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
| CN111152223A (zh) * | 2020-01-09 | 2020-05-15 | 埃夫特智能装备股份有限公司 | 一种全自动机器人手眼标定方法 |
| CN112122840B (zh) * | 2020-09-23 | 2022-03-08 | 西安知象光电科技有限公司 | 一种基于机器人焊接的视觉定位焊接系统及焊接方法 |
-
2021
- 2021-03-25 CN CN202110321791.8A patent/CN113177983B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177983A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113177983B (zh) | 基于点云几何特征的角焊缝定位方法 | |
| CN114571153B (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
| CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| CN111267095B (zh) | 一种基于双目视觉的机械臂抓取控制方法 | |
| CN109514133B (zh) | 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法 | |
| WO2021184757A1 (zh) | 机器人视觉末端定位方法、装置及计算机可读存储介质 | |
| CN109541997A (zh) | 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法 | |
| CN113042939B (zh) | 基于三维视觉信息的工件焊缝定位方法及系统 | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN111121655A (zh) | 一种共面等大多孔型工件位姿与孔径视觉检测方法 | |
| CN110909644A (zh) | 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统 | |
| CN115213896A (zh) | 基于机械臂的物体抓取方法、系统、设备及存储介质 | |
| CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
| CN114022551A (zh) | 一种燃油车加油盖精确识别与位姿估计的方法 | |
| JP5046133B2 (ja) | ３次元曲面認識方法及びマニピュレーションシステム | |
| CN110363801B (zh) | 工件实物与工件三维cad模型的对应点匹配方法 | |
| CN105945953A (zh) | 一种机器人的视觉识别系统 | |
| CN115284279A (zh) | 一种基于混叠工件的机械臂抓取方法、装置及可读介质 | |
| CN113822946B (zh) | 一种基于计算机视觉的机械臂抓取方法 | |
| Zhang et al. | Feature extraction and robot path planning method in 3D vision-guided welding for multi-blade wheel structures | |
| Zhang et al. | A Feature Extraction Approach Over Workpiece Point Clouds for Robotic Welding | |
| CN115100416B (zh) | 一种不规则钢板位姿识别方法及相关设备 | |
| CN110060330B (zh) | 一种基于点云图像的三维建模方法、装置和机器人 | |
| CN115578314A (zh) | 基于连续边缘提取的眼镜框识别及抓取上料方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |