KR102710901B1 - Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots - Google Patents
Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots Download PDFInfo
- Publication number
- KR102710901B1 KR102710901B1 KR1020230192838A KR20230192838A KR102710901B1 KR 102710901 B1 KR102710901 B1 KR 102710901B1 KR 1020230192838 A KR1020230192838 A KR 1020230192838A KR 20230192838 A KR20230192838 A KR 20230192838A KR 102710901 B1 KR102710901 B1 KR 102710901B1
- Authority
- KR
- South Korea
- Prior art keywords
- welding
- artificial intelligence
- parameters
- target area
- robot
- Prior art date
Links
- 238000003466 welding Methods 0.000 title claims abstract description 306
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 230000007547 defect Effects 0.000 claims description 14
- 238000005493 welding type Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 239000011148 porous material Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
본발명에 따른 인공지능 기반 용접 제어 방법은 3D 스캐너를 통해 용접 대상물의 3D 좌표 데이터 수집 단계, 제1 인공지능모델을 이용하여 용접 대상물의 용접 대상 영역 추정단계, 제2 인공지능모델을 이용하여 대상 영역의 용접에 필요한 파라미터를 생성하는 단계, 용접로봇에 파라미터를 포함한 용접 제어 신호를 전송하는 단계, 용접로봇이 용접 후, 비전 카메라를 이용하여 용접 영역의 데이터를 획득하고, 제3 인공지능모델을 이용하여 용접의 불량 여부를 판단하는 단계를 포함하여 이루어질 수 있다.
본 발명은 상용화된 다양한 용접 로봇의 티칭 인터페이스를 단일화하고, 하나의 시스템 내에서 용접의 전 공정을 제어할 수 있도록 함으로써 다양한 환경에서 용접 로봇을 적용하도록 하여 용접 로봇 상용화에 기여할 수 있다. An artificial intelligence-based welding control method according to the present invention may include a step of collecting 3D coordinate data of a welding object through a 3D scanner, a step of estimating a welding target area of the welding object using a first artificial intelligence model, a step of generating parameters necessary for welding the target area using a second artificial intelligence model, a step of transmitting a welding control signal including the parameters to a welding robot, a step of obtaining data of the welding area using a vision camera after the welding robot performs welding, and a step of determining whether or not the welding is defective using a third artificial intelligence model.
The present invention can contribute to the commercialization of welding robots by unifying the teaching interfaces of various commercialized welding robots and enabling the entire welding process to be controlled within a single system, thereby enabling the application of welding robots in various environments.
Description
본 발명은 딥러닝을 이용한 용접 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 딥러닝을 이용하여 하나의 시스템 내에서 용접 부위를 추정하고, 용접에 필요한 파라미터를 생성하고, 용접의 불량 여부를 판단할 수 있는 방법에 관한 것이다.The present invention relates to a welding control device and method using deep learning, and more specifically, to a method for estimating a welding area within a single system, generating parameters necessary for welding, and determining whether welding is defective, using deep learning.
자동 용접은 튜브, 파이프 연결 등 고품질의 용접이 요구될 때 사용되는 용접 방식으로서 오비탈 용접으로도 불리며, 주로 작업 부재 주위로 원운동을 하는 용접 방식을 의미한다. 자동 용접은 수동 용접에 대비하여 높은 생산성을 가지고, 높은 용접 품질이 유지되며, 용접 데이터를 확인할 수 있는 장점이 있어, 항공기 산업, 음식 산업, 생명공학 산업 등에서 많이 이용되고 있다.Automatic welding is a welding method used when high-quality welding is required, such as for connecting tubes and pipes. It is also called orbital welding, and mainly refers to a welding method that moves in a circular motion around the workpiece. Automatic welding has the advantages of high productivity compared to manual welding, high welding quality is maintained, and welding data can be checked, so it is widely used in the aircraft industry, food industry, and biotechnology industry.
최근에는 이러한 자동 용접을 넘어 용접 로봇이 도입되고 있는데, 종례 용접 로봇은 숙련된 기술자가 티칭 팬던트를 이용하여 로봇의 자세, 위치 및 경로를 매번 수동으로 티칭해야 하기 때문에 용접 품질과 생산성이 로봇 기술자의 수준에 좌우되고, 용접해야 될 물품에 따라 매번 티칭 과정을 반복해야 하는 문제가 있었다. 이에 소품종 대량 생산을 수행하는 중견기업 이상에서 주로 사용되고 있으며, 다품종 소량생산을 주로 수행하는 중소기업에서는 보유한 용접 로봇 메이커의 숙련된 티칭 기술자의 확보와 티칭 기술력에 대한 한계로 활용도가 떨어져 기술자의 수작업으로 용접을 수행하고 있는 현실이다. Recently, welding robots are being introduced beyond such automatic welding. However, conventional welding robots require a skilled technician to manually teach the robot's posture, location, and path using a teaching pendant each time. Therefore, the welding quality and productivity depend on the level of the robot technician, and there was a problem that the teaching process had to be repeated each time depending on the item to be welded. Accordingly, it is mainly used in mid-sized companies or larger that perform mass production of a small variety of products, and in small and medium-sized companies that mainly perform small-quantity production of a large variety of products, the utilization rate is low due to limitations in securing skilled teaching technicians and teaching technologies of the welding robot maker they own, and the reality is that welding is performed manually by technicians.
본 발명은 상용화된 다양한 용접 로봇의 티칭 인터페이스를 단일화하고, 3D 스캐너, 비전 카메라, 용접 노하우가 포함된 데이터셋 등을 이용하여 기 상용화 된 용접 로봇의 티칭을 티칭 기술자가 아닌 인공지능 기반으로 로봇을 티칭하여 용접 부위 자동 생성 및 용접 수행과 용접 불량여부를 확인하는 시스템을 제공하고자 한다.The present invention aims to provide a system that unifies the teaching interfaces of various commercially available welding robots, and teaches the robot based on artificial intelligence rather than a teaching technician by using a 3D scanner, a vision camera, a dataset containing welding know-how, etc. to automatically create a welding part, perform welding, and check for welding defects.
본 발명은 전술한 목적을 달성하기 위한 것으로, 본 발명에 따른 인공지능 기반 용접 제어 방법은 3D 스캐너를 통해 용접 대상물의 3D 좌표 데이터 수집 단계, 제1 인공지능모델을 이용하여 용접 대상물의 용접 대상 영역 추정단계, 제2 인공지능모델을 이용하여 대상 영역의 용접에 필요한 파라미터를 생성하는 단계, 용접로봇에 파라미터를 포함한 용접 제어 신호를 전송하는 단계, 용접로봇이 용접 후, 비전 카메라를 이용하여 용접 영역의 데이터를 획득하고, 제3 인공지능모델을 이용하여 용접의 불량 여부를 판단하는 단계를 포함하여 이루어질 수 있다.The present invention is to achieve the above-described object, and an artificial intelligence-based welding control method according to the present invention may include a step of collecting 3D coordinate data of a welding object through a 3D scanner, a step of estimating a welding target area of the welding object using a first artificial intelligence model, a step of generating parameters necessary for welding the target area using a second artificial intelligence model, a step of transmitting a welding control signal including the parameters to a welding robot, a step of obtaining data of the welding area using a vision camera after the welding robot welds, and a step of determining whether or not the welding is defective using a third artificial intelligence model.
본 발명은 상용화된 다양한 용접 로봇의 티칭 인터페이스를 단일화하고, 하나의 시스템 내에서 용접의 전 공정을 제어할 수 있도록 함으로써 다양한 환경에서 용접 로봇을 적용하도록 하여 용접 로봇 상용화에 기여할 수 있다. The present invention can contribute to the commercialization of welding robots by unifying the teaching interfaces of various commercialized welding robots and enabling the entire welding process to be controlled within a single system, thereby enabling the application of welding robots in various environments.
도 1은 본 발명의 일 실시예에 따른 장치(서버)의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 용접 제어 시스템의 구성도 및 동작의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 용접 제어 방법의 순서도이다. Figure 1 is a schematic diagram of a device (server) according to one embodiment of the present invention.
FIG. 2 is a configuration diagram and an operation diagram of an artificial intelligence-based welding control system according to one embodiment of the present invention.
FIG. 3 is a flowchart of an artificial intelligence-based welding control method according to one embodiment of the present invention.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The above-described objects, features and advantages of the present invention will become more apparent through the following detailed description taken in conjunction with the accompanying drawings. However, since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail below.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Throughout the specification, the same reference numerals, in principle, represent the same components. In addition, components that have the same function within the scope of the same idea shown in the drawings of each embodiment are described using the same reference numerals, and redundant descriptions thereof are omitted.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, numbers (e.g., first, second, etc.) used in the description of this specification are merely identifiers to distinguish one component from another.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes “module” and “part” for components used in the following examples are given or used interchangeably only for the convenience of writing the specification, and do not have distinct meanings or roles in themselves.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the examples below, singular expressions include plural expressions unless the context clearly indicates otherwise.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the examples below, terms such as “include” or “have” mean that a feature or component described in the specification is present, and do not exclude in advance the possibility that one or more other features or components may be added.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the sizes and thicknesses of each component shown in the drawings are arbitrarily shown for convenience of explanation, and the present invention is not necessarily limited to what is shown.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In some embodiments, where the implementation is otherwise feasible, the order of specific processes may be performed differently from the order described. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following examples, when components are said to be connected, this includes not only cases where the components are directly connected, but also cases where components are interposed between the components and are indirectly connected.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, when it is said in this specification that components, etc. are electrically connected, it includes not only cases where the components, etc. are directly electrically connected, but also cases where components, etc. are interposed and indirectly electrically connected.
본 발명에서 '용접 대상 영역'이란 용접 로봇을 이용하여 용접을 할 대상 영역을 의미하며, '용접 영역'이란 용접 로봇에 의해 용접이 수행된 영역을 의미한다.In the present invention, the 'welding target area' means an area to be welded using a welding robot, and the 'welding area' means an area where welding is performed by the welding robot.
도 1은 본 발명의 일 실시예에 따른 장치의 개략도이다.Figure 1 is a schematic diagram of a device according to one embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 장치(1000)는 송수신부(1100), 메모리(1200) 및 프로세서(1300)를 포함할 수 있다. Referring to FIG. 1, a device (1000) according to one embodiment of the present invention may include a transceiver (1100), a memory (1200), and a processor (1300).
장치(1000)의 송수신부(1100)는 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 장치(1000)는, 송수신부(1100)를 통해, 3D 스캐너로부터 용접 대상물의 3D 좌표 데이터를 획득할 수 있으며, 장치를 통해 생성된 파라미터를 용접 로봇에 송신할 수 있다. 필요에 따라 장치(1000)는 송수신부(1100)를 통해 비전카메라로부터 용접 영역의 데이터를 획득할 수 있다. The transceiver (1100) of the device (1000) can communicate with any external device. For example, the device (1000) can obtain 3D coordinate data of a welding object from a 3D scanner through the transceiver (1100) and transmit parameters generated through the device to a welding robot. If necessary, the device (1000) can obtain data of a welding area from a vision camera through the transceiver (1100).
또한, 장치(1000)는, 송수신부(1100)를 통해, 외부로부터 인공지능모델의 학습에 필요한 정보를 획득할 수 있다.Additionally, the device (1000) can obtain information necessary for learning an artificial intelligence model from the outside through a transceiver (1100).
장치(1000)는, 송수신부(1100)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.The device (1000) can transmit and receive various data by connecting to a network through the transceiver (1100). The transceiver can largely include a wired type and a wireless type. Since the wired type and the wireless type each have their own advantages and disadvantages, the device (1000) may be provided with both a wired type and a wireless type at the same time depending on the case. Here, in the case of the wireless type, a communication method of the WLAN (Wireless Local Area Network) series such as Wi-Fi can be mainly used. Alternatively, in the case of the wireless type, a communication method of the cellular communication series such as LTE or 5G can be used. However, the wireless communication protocol is not limited to the examples described above, and any appropriate wireless type of communication method can be used. In the case of the wired type, representative examples include LAN (Local Area Network) or USB (Universal Serial Bus) communication, and other methods are also possible.
장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.The memory (1200) of the device (1000) can store various types of information. Various types of data can be temporarily or semi-permanently stored in the memory (1200). Examples of the memory may include a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), etc. The memory (1200) may be provided in a form built into the device (1000) or in a detachable form. The memory (1200) may store various types of data necessary for the operation of the device (1000), including an operating program (OS: Operating System) for operating the device (1000) or a program for operating each component of the device (1000).
프로세서(1300)는 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 제1 인공지능모델을 이용하여 용접 대상물의 용접 대상 영역을 추정하는 동작, 제2 인공지능모델을 이용하여 대상 영역의 용접에 필요한 파라미터를 생성하는 동작, 용접로봇이 용접 후, 비전 카메라를 이용하여 용접 영역의 데이터를 획득하고, 제3 인공지능모델을 이용하여 용접의 불량 여부를 판단하는 동작을 수행할 수 있다.The processor (1300) can control the overall operation of the device (1000). For example, the processor (1300) can perform an operation of estimating a welding target area of a welding object using a first artificial intelligence model to be described later, an operation of generating parameters necessary for welding the target area using a second artificial intelligence model, an operation of obtaining data of a welding area using a vision camera after welding by a welding robot, and an operation of determining whether welding is defective using a third artificial intelligence model.
구체적으로 프로세서(1300)는 메모리(1200)로부터 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다. Specifically, the processor (1300) can load and execute a program for the overall operation of the device (1000) from the memory (1200). The processor (1300) can be implemented as an AP (Application Processor), a CPU (Central Processing Unit), an MCU (Microcontroller Unit), or a similar device according to hardware, software, or a combination thereof. At this time, in terms of hardware, it can be provided in the form of an electronic circuit that processes an electrical signal and performs a control function, and in terms of software, it can be provided in the form of a program or code that drives a hardware circuit.
이하에서는 도 2 내지 도 3을 참고하여, 본 발명의 일 실시예에 따른 인공지능 기반 용접 제어 방법 및 장치 (또는 서버, 이하 컴퓨팅 장치로 지칭)에 관하여 설명한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타낸다. Hereinafter, with reference to FIGS. 2 and 3, an artificial intelligence-based welding control method and device (or server, hereinafter referred to as a computing device) according to one embodiment of the present invention will be described. In the drawings, the same reference numerals represent the same components.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 용접 제어 시스템의 구성도 및 동작의 구성도이다. FIG. 2 is a configuration diagram and an operation diagram of an artificial intelligence-based welding control system according to one embodiment of the present invention.
도 2를 참고하면, 인공지능 기반 용접 제어 시스템은 3D 스캐너, 용접 제어장치, 용접 로봇 및 비전카메라를 포함할 수 있다.Referring to FIG. 2, the artificial intelligence-based welding control system may include a 3D scanner, a welding control device, a welding robot, and a vision camera.
3D 스캐너는 용접 대상물의 3D 좌표 데이터를 획득하기 위한 장치이다. 보다 구체적으로, 3D 스캐너는 포인트 클라우드 형태로 용접 대상물의 3D 좌표 데이터를 수집할 수 있으며, 이를 용접 제어장치에 전송할 수 있다.A 3D scanner is a device for acquiring 3D coordinate data of a welding target. More specifically, the 3D scanner can collect 3D coordinate data of a welding target in the form of a point cloud and transmit it to a welding control device.
용접 제어 장치는 용접을 수행하기 위한 제어 신호를 생성하기 위한 구성으로, 용접 제어 장치는 송수신부를 통하여, 3D 스캐너를 통해 용접 대상물의 3D 좌표 데이터를 수집하는 동작을 수행할 수 있다. 용접 제어 장치는 3D 스캐너를 통해 포인트 클라우드 형태로 생성되는 용접 대상물의 3D 좌표 데이터를 수집할 수 있으며, 필요에 따라 수집한 데이터를 전처리 하는 동작을 수행할 수 있다. 전처리 동작은 용접 대상물의 경계 및 3D 좌표 데이터의 정확도를 더욱 높이기 위한 동작이다.The welding control device is configured to generate a control signal for performing welding, and the welding control device can perform an operation of collecting 3D coordinate data of a welding target through a 3D scanner via a transceiver. The welding control device can collect 3D coordinate data of a welding target generated in the form of a point cloud through the 3D scanner, and can perform an operation of preprocessing the collected data as needed. The preprocessing operation is an operation to further increase the accuracy of the boundary of the welding target and the 3D coordinate data.
용접 제어 장치는 용접 제어 신호를 생성하기 위해 복수개의 인공지능 모델을 포함할 수 있다. 용접 제어 장치는 복수개의 인공지능 모델을 이용하여 용접 대상물 내의 용접 대상 영역을 추정하고, 용접에 필요한 파라미터를 생성하여 용접 로봇에 전송하여 주며, 용접 후, 용접 영역의 이미지를 획득하여 용접의 불량 여부를 판단할 수 있다.The welding control device may include a plurality of artificial intelligence models to generate a welding control signal. The welding control device estimates a welding target area within a welding target using a plurality of artificial intelligence models, generates parameters required for welding, and transmits them to a welding robot. After welding, the welding control device may obtain an image of the welding area to determine whether there is a defect in the welding.
보다 구체적으로, 용접 제어 장치는 제1 내지 제3 인공지능모델을 포함할 수 있다.More specifically, the welding control device may include first to third artificial intelligence models.
필요에 따라, 제1 인공지능모델은 딥러닝 기반 인공지능모델 일 수 있다. 제1 인공지능모델(물체 인식 모델)은 수신한 3D 좌표 데이터를 이용하여 용접 대상물의 용접 대상 영역을 추정할 수 있다. 용접 대상 영역이란 용접 대상물 내에서 용접을 수행할 것으로 추정되는 영역을 의미하며, 용접 대상물에 따라 용접 대상 영역의 부위를 추정하고, 이에 따른 용접 길이 및 두께를 추정할 수 있다. 필요에 따라, 용접 대상 영역을 추정하는 단계는 용접 경로의 좌표를 생성하는 동작을 포함할 수 있다. 이는 추정된 용접 대상 영역에서의 용접 경로의 좌표를 생성하는 동작을 의미한다. If necessary, the first artificial intelligence model may be a deep learning-based artificial intelligence model. The first artificial intelligence model (object recognition model) may estimate a welding target area of a welding object using the received 3D coordinate data. The welding target area refers to an area in the welding object where welding is estimated to be performed, and the part of the welding target area may be estimated according to the welding object, and the welding length and thickness may be estimated accordingly. If necessary, the step of estimating the welding target area may include an operation of generating coordinates of a welding path. This refers to an operation of generating coordinates of a welding path in the estimated welding target area.
필요에 따라, 제1 인공지능모델은 용접 경로의 좌표를 생성하기 위해 용접 플레이트를 기준으로 영점을 잡아 용접 경로에 대한 좌표를 생성하는 동작 포함할 수 있다.Optionally, the first artificial intelligence model may include an operation of generating coordinates for the welding path by taking a zero point relative to the welding plate to generate coordinates for the welding path.
이에 더하여, 용접 대상 영역을 추정하는 동작은 용접 대상 영역의 용접 타입을 판단하는 동작을 포함할 수 있다. 용접 타입이란, Butt, Tee, Circle, Curve, Lap, Conner, Edge 등 용접 대상 영역의 형상에 관한 정보를 포함할 수 있다.In addition, the operation of estimating the welding target area may include an operation of determining a welding type of the welding target area. The welding type may include information about the shape of the welding target area, such as Butt, Tee, Circle, Curve, Lap, Conner, Edge, etc.
제2 인공지능모델은 머신러닝 기반의 인공지능 모델일 수 있다. 제2 인공지능모델(파라미터 생성 모델)은 제1 인공지능모델을 이용하여 추정한 용접 대상 영역의 용접에 필요한 파라미터를 생성하고, 이기종 용접로봇의 프로토콜에 따라 파라미터를 변환할 수 있다. 이기종 용접로봇은 종류가 다른 용접로봇으로, 로봇 제조사별 프로토콜이 상이하고, 용접로봇을 티칭하는 방법이 상이하여 종래에는 이기종 용접로봇을 사용하여 용접을 수행하는데 어려움을 겪었다. 이에, 인공지능모델을 이용하여 생성된 파라미터를 대상 용접로봇에 맞추어 변환하여 줌으로써, 다양한 환경에 맞추어 다양한 용접로봇을 사용할 수 있도록 한다.The second artificial intelligence model may be an artificial intelligence model based on machine learning. The second artificial intelligence model (parameter generation model) can generate parameters required for welding of the welding target area estimated using the first artificial intelligence model, and convert the parameters according to the protocol of the heterogeneous welding robot. The heterogeneous welding robots are welding robots of different types, and the protocols of each robot manufacturer are different, and the teaching method of the welding robot is different, so it has been difficult to perform welding using the heterogeneous welding robots in the past. Therefore, by converting the parameters generated using the artificial intelligence model to suit the target welding robot, various welding robots can be used according to various environments.
제2 인공지능모델은 제1 인공지능모델을 이용하여 추정한 용접 경로의 좌표를 용접 수행이 가능하도록 용접 로봇의 좌표계로 변환할 수 있으며, 용접 시작점과 끝점의 좌표 파라미터를 생성할 수 있다.The second artificial intelligence model can convert the coordinates of the welding path estimated using the first artificial intelligence model into the coordinate system of the welding robot so that welding can be performed, and can generate coordinate parameters of the welding start and end points.
파라미터는 용접 로봇을 제어하기 위한 용접에 필요한 다양한 정보를 의미할 수 있으며, 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함할 수 있다. Parameters may mean various information required for welding to control the welding robot, and may include coordinates of the welding start and end points, welding voltage, welding current, and welding speed.
필요에 따라, 파라미터는 GTAW(Gas Tungsten Arc Welding), SMAW(Shield Metal Arc Welding), GMAW(Gas Metal Arc Welding), FCAW(Flux Cored Arc Welding) 등을 포함하는 용접의 종류를 포함할 수 있다. Depending on the requirement, parameters can include the type of welding, including Gas Tungsten Arc Welding (GTAW), Shield Metal Arc Welding (SMAW), Gas Metal Arc Welding (GMAW), Flux Cored Arc Welding (FCAW), etc.
필요에 따라, 파라미터는 접합부 형태에 따른 용접의 종류를 포함할 수 있다. 용접의 종류는 그루브 용접, 필릿 용접 등을 포함할 수 있다.If necessary, the parameters may include the type of weld depending on the joint shape. The type of weld may include groove weld, fillet weld, etc.
필요에 따라, 제2 인공지능모델은 용접 대상 영역의 특징 정보 및 주변 환경 정보를 입력데이터로 하여 용접로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 출력할 수 있다. 용접 대상 영역의 특징 정보는 제1 인공지능모델의 출력 데이터를 의미할 수 있으며, 주변 환경 정보란, 작업장의 온도, 습도, 용접에 사용되는 금속에 관한 정보, 용접 로봇, 용접기에 관한 정보를 포함할 수 있다. 즉, 제2 인공지능모델은 딥러닝 기반 모델일 수 있으며, 이를 이용하여 용접 대상 영역의 위치정보를 용접로봇 좌표계로 변환하고, 용접 대상 영역의 두께, 재질, 용접 경로 및 온도를 포함하는 용접 특징 정보 및 주변의 온도 및 습도를 포함하는 환경 정보를 입력데이터로 하여 이기종 용접로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 생성하고, 이기종 용접로봇의 프로토콜에 따라 파라미터를 변환할 수 있다.If necessary, the second artificial intelligence model can output one or more parameters among the parameters including the coordinates of the welding start and end points, welding voltage, welding current, and welding speed required for controlling the welding robot by using the characteristic information of the welding target area and the surrounding environment information as input data. The characteristic information of the welding target area may mean the output data of the first artificial intelligence model, and the surrounding environment information may include information about the temperature and humidity of the work site, information about the metal used for welding, and information about the welding robot and the welding machine. That is, the second artificial intelligence model may be a deep learning-based model, and uses the position information of the welding target area to convert into the welding robot coordinate system, and generates one or more parameters among the parameters including the coordinates of the welding start and end points, welding voltage, welding current, and welding speed required for controlling the heterogeneous welding robot by using the welding characteristic information including the thickness, material, welding path, and temperature of the welding target area and the environmental information including the temperature and humidity of the surrounding as input data, and can convert the parameters according to the protocol of the heterogeneous welding robot.
필요에 따라, 제2 인공지능모델은 이기종 용접로봇의 종류에 적합한 형태로 상이한 파라미터를 출력할 수 있다.Depending on the need, the second artificial intelligence model can output different parameters in a form suitable for the type of heterogeneous welding robot.
필요에 따라, 제3 인공지능모델은 딥러닝 기반 인공지능모델 일 수 있다. 제3 인공지능모델(불량 판단 모델)은 비전 카메라를 통하여 획득한 용접 영역의 데이터를 이용하여 용접의 불량 여부를 판단할 수 있다. 보다 구체적으로, 제3 인공지능모델은 비전 카메라를 통하여 획득한 용접 영역의 이미지 데이터를 이용하여 용접 영역에 기공, 용입부족, 패임, 벌어짐, 형상 불균형 중 하나 이상의 불량이 발생했는지 여부를 판단할 수 있다.If necessary, the third AI model may be a deep learning-based AI model. The third AI model (defect judgment model) can determine whether there is a defect in the welding by using the data of the welding area acquired through the vision camera. More specifically, the third AI model can determine whether one or more defects among porosity, insufficient penetration, dents, gaps, and shape imbalances have occurred in the welding area by using the image data of the welding area acquired through the vision camera.
필요에 따라, 제3 인공지능모델은 출력값으로 불량이 발생한 경우, 불량 데이터 및 파라미터를 이용하여 제2 인공지능모델을 학습시킬 수 있다.If necessary, the third AI model can train the second AI model using defective data and parameters when a defect occurs in the output value.
용접 로봇은 용접 제어 장치로부터 용접 대상 영역 및 용접에 필요한 파라미터를 획득하고, 용접 대상 영역에 용접을 수행할 수 있다. 필요에 따라, 용접 로봇은 복수개일 수 있다. The welding robot can obtain the welding target area and parameters required for welding from the welding control device and perform welding on the welding target area. If necessary, there may be multiple welding robots.
비전카메라는 용접 영역의 데이터를 획득하기 위한 장치이다. 비전카메라는 용접 영역의 이미지 데이터를 획득하고, 이를 용접 제어 장치에 전송할 수 있다.The vision camera is a device for acquiring data of the welding area. The vision camera can acquire image data of the welding area and transmit it to the welding control device.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 용접 제어 방법의 순서도이다. FIG. 3 is a flowchart of an artificial intelligence-based welding control method according to one embodiment of the present invention.
도 3을 참조하면, 인공지능 기반 용접 제어 방법은 용접 대상물의 3D 좌표 수집단계(S1000), 용접 대상 영역 추정단계(S2000), 용접에 필요한 파라미터를 변환하는 단계(S3000), 티칭 및 용접을 수행하는 단계(S4000) 및 용접의 불량 여부를 판단하는 단계(S5000)를 포함할 수 있다.Referring to FIG. 3, the artificial intelligence-based welding control method may include a step of collecting 3D coordinates of a welding object (S1000), a step of estimating a welding target area (S2000), a step of converting parameters required for welding (S3000), a step of performing teaching and welding (S4000), and a step of determining whether welding is defective (S5000).
장치는 3D 스캐너를 통해 용접 대상물의 3D 좌표 데이터를 수집할 수 있다. 3D 스캐너는 포인트 클라우드 형대로 용접 대상물을 스캔할 수 있으며, 이를 이용하여 용접 대상물의 3D 좌표 데이터를 수집할 수 있다. 필요에 따라, 장치는 획득한 3D 스캐너를 통해 획득한 데이터를 전처리하는 동작을 수행할 수 있다. 이는 획득하는 3D 좌표 데이터의 정확성을 높이기 위함이다.The device can collect 3D coordinate data of a welding object through a 3D scanner. The 3D scanner can scan a welding object in the form of a point cloud, and can collect 3D coordinate data of the welding object using this. If necessary, the device can perform an operation of preprocessing the data acquired through the acquired 3D scanner. This is to increase the accuracy of the acquired 3D coordinate data.
장치는 제1 인공지능모델을 이용하여 용접 대상물의 용접 대상 영역을 추정할 수 있다. 용접 대상 영역을 추정하는 단계(S2000)는 용접 대상 영역의 길이와 두께를 추정하여 용접 경로를 추정하고, 용접 경로를 이용하여 용접 대상 영역의 용접 타입을 추정하는 단계를 포함할 수 있다.The device can estimate a welding target area of a welding target object using a first artificial intelligence model. The step of estimating the welding target area (S2000) can include a step of estimating a welding path by estimating a length and thickness of the welding target area, and estimating a welding type of the welding target area using the welding path.
필요에 따라, 제1 인공지능모델은 기 획득한 패턴별 용접 이미지 데이터셋을 통해 학습할 수 있으며, 또는 용접 대상 영역과 용접 패턴에 관한 이미지 데이터를 이용하여 학습할 수 있다.Depending on the need, the first artificial intelligence model can be trained using a previously acquired pattern-specific welding image dataset, or can be trained using image data regarding the welding target area and welding pattern.
장치는 제2 인공지능모델(파라미터 생성 모델)을 이용하여 대상 영역의 용접에 필요한 파라미터를 생성하고, 이기종 용접로봇의 프로토콜에 따라 파라미터를 변환할 수 있다. 필요에 따라, 파라미터를 생성하는 단계(S3000)는 용접 대상 영역의 특징 정보 및 주변 환경 정보를 입력데이터로 하여 용접로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 생성하는 단계를 포함할 수 있다. 보다 구체적으로, 제2 인공지능모델은 딥러닝 모델일 수 있으며, 제2 인공지능모델은 추정된 용접 대상 영역을 용접로봇 좌표계로 변환하고, 용접 대상 영역의 두께, 재질, 용접 경로 및 온도를 포함하는 용접 특징 정보와 주변의 온도 및 습도를 포함하는 환경 정보를 입력데이터로 하여 이기종 용접로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 생성하고, 이기종 용접로봇의 프로토콜에 따라 파라미터를 변환할 수 있다.The device can generate parameters required for welding of the target area using the second artificial intelligence model (parameter generation model), and can convert the parameters according to the protocol of the heterogeneous welding robot. If necessary, the step of generating parameters (S3000) may include a step of generating one or more parameters among the parameters including the coordinates of the welding start and end points, welding voltage, welding current, and welding speed required for controlling the welding robot, by using the characteristic information of the welding target area and the surrounding environment information as input data. More specifically, the second artificial intelligence model may be a deep learning model, and the second artificial intelligence model converts the estimated welding target area into the welding robot coordinate system, and generates one or more parameters among the parameters including the coordinates of the welding start and end points, welding voltage, welding current, and welding speed required for controlling the heterogeneous welding robot, by using the welding characteristic information including the thickness, material, welding path, and temperature of the welding target area, and the environmental information including the temperature and humidity of the surroundings as input data, and can convert the parameters according to the protocol of the heterogeneous welding robot.
장치는 용접로봇에 파라미터를 포함한 용접 제어 신호를 전송할 수 있으며, 용접로봇은 획득된 제어 신호를 이용하여 용접로봇을 티칭하고, 용접을 수행할 수 있다(S4000).The device can transmit a welding control signal including parameters to the welding robot, and the welding robot can use the acquired control signal to teach the welding robot and perform welding (S4000).
용접로봇이 용접 대상물을 용접한 후, 장치는 비전 카메라를 이용하여 용접 영역의 데이터를 획득하고, 제3 인공지능모델을 이용하여 용접의 불량 여부를 판단할 수 있다(S5000). 용접의 불량 여부를 판단하는 단계(S5000)는 용접 영역의 기공, 용입부족, 패임, 벌어짐 및 형상 불균형을 포함하는 불량 정보 중 적어도 하나 이상의 불량 정보를 통해 용접의 불량 여부를 판단하는 단계를 포함할 수 있다.After the welding robot welds the welding object, the device can obtain data of the welding area using a vision camera and determine whether there is a defect in the welding using a third artificial intelligence model (S5000). The step of determining whether there is a defect in the welding (S5000) may include a step of determining whether there is a defect in the welding using at least one piece of defect information including pores, insufficient penetration, dents, gaps, and shape imbalances in the welding area.
필요에 따라, 장치는 S5000 단계에서 용접이 불량이라고 판단되는 경우, 용접에 이용된 파라미터 및 비전 카메라를 통해 획득된 용접 영역의 데이터를 이용하여 제2 인공지능모델을 학습시키는 단계를 더 포함할 수 있다. 이는 시스템 전체의 성능을 향상시키기 위함으로, 제2 인공지능모델의 출력데이터 및 제3 인공지능모델의 출력데이터를 이용하여 제2 인공지능모델을 학습시킬 수 있다.Optionally, the device may further include a step of training a second artificial intelligence model using the parameters used for welding and the data of the welding area acquired through the vision camera if the welding is judged to be defective in step S5000. This is to improve the performance of the entire system, and the second artificial intelligence model may be trained using the output data of the second artificial intelligence model and the output data of the third artificial intelligence model.
본 발명의 또 다른 실시예는 인공지능 기반 용접 제어 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.Another embodiment of the present invention may be a computer-readable recording medium having recorded thereon a program for executing an artificial intelligence-based welding control method.
본 발명은 상용화된 다양한 용접 로봇의 티칭 인터페이스를 단일화하고, 하나의 시스템 내에서 용접의 전 공정을 제어할 수 있도록 함으로써 다양한 환경에서 용접 로봇을 적용하도록 하여 용접 로봇 상용화에 기여할 수 있다. The present invention can contribute to the commercialization of welding robots by unifying the teaching interfaces of various commercialized welding robots and enabling the entire welding process to be controlled within a single system, thereby enabling the application of welding robots in various environments.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects, etc. described in the embodiments above are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. exemplified in each embodiment can be combined or modified and implemented in other embodiments by a person having ordinary knowledge in the field to which the embodiments belong. Therefore, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the above has been described focusing on the embodiments, this is only an example and does not limit the present invention, and those with ordinary knowledge in the field to which the present invention pertains will know that various modifications and applications not exemplified above are possible without departing from the essential characteristics of the present embodiment. In other words, each component specifically shown in the embodiments can be modified and implemented. And, the differences related to such modifications and applications should be interpreted as being included in the scope of the present invention defined in the appended claims.
Claims (6)
제1 인공지능모델을 이용하여 상기 용접 대상물의 용접 대상 영역 추정단계;
제2 인공지능모델을 이용하여 상기 대상 영역의 용접에 필요한 용접 파라미터를 생성하고, 이기종 용접로봇의 프로토콜에 따라 상기 파라미터를 변환하는 단계;
상기 용접로봇에 상기 변환된 파라미터를 포함한 용접 제어 신호를 전송하고, 상기 용접로봇은 획득된 제어 신호를 이용하여 티칭 및 용접을 수행하는 단계;
비전 카메라를 이용하여 상기 용접로봇이 수행한 용접 영역의 데이터를 획득하고, 제3 인공지능모델을 이용하여 용접의 불량 여부를 판단하는 단계;
용접 불량 판단 시, 상기 변환된 파라미터 및 상기 용접 영역의 데이터를 이용하여 상기 제2 인공지능모델을 학습시키는 단계;를 포함하고,
상기 파라미터를 변환하는 단계는,
딥러닝 모델을 이용하여 상기 용접 대상 영역을 용접로봇 좌표계로 변환하고, 상기 용접 대상 영역의 두께, 재질, 용접 경로 및 온도를 포함하는 용접 특징 정보 및 주변의 온도 및 습도를 포함하는 환경 정보를 입력데이터로 하여 상기 이기종 용접로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 생성하고, 상기 이기종 용접로봇의 프로토콜에 따라 상기 파라미터를 변환하는 단계;를 포함하는,
인공지능 기반 용접 제어 방법.
Step of collecting 3D coordinate data of the welding target using a 3D scanner;
A step of estimating the welding target area of the welding target using the first artificial intelligence model;
A step of generating welding parameters required for welding the target area using a second artificial intelligence model and converting the parameters according to the protocol of a heterogeneous welding robot;
A step of transmitting a welding control signal including the converted parameters to the welding robot, and the welding robot performing teaching and welding using the acquired control signal;
A step of obtaining data of a welding area performed by the welding robot using a vision camera and determining whether there is a defect in the welding using a third artificial intelligence model;
When judging a welding defect, a step of training the second artificial intelligence model using the converted parameter and the data of the welding area is included;
The steps for converting the above parameters are:
A step of converting the welding target area into a welding robot coordinate system using a deep learning model, and using welding feature information including the thickness, material, welding path, and temperature of the welding target area and environmental information including the surrounding temperature and humidity as input data to generate one or more parameters among the parameters including the coordinates of the welding start point and end point, welding voltage, welding current, and welding speed required for controlling the heterogeneous welding robot, and converting the parameters according to the protocol of the heterogeneous welding robot;
Artificial intelligence-based welding control method.
상기 제1 인공지능모델은,
기 획득한 패턴별 용접 이미지 데이터셋을 통해 학습하고,
상기 용접 대상 영역 추정단계는,
상기 용접 대상 영역의 길이와 두께를 추정하여 용접 경로를 추정하고, 상기 용접 경로를 이용하여 상기 용접 대상 영역의 용접 타입을 추정하는 단계;를 포함하는,
인공지능 기반 용접 제어 방법.
In the first paragraph,
The above first artificial intelligence model is,
Learning through the acquired pattern-based welding image dataset,
The above welding target area estimation step is,
A step of estimating a welding path by estimating the length and thickness of the welding target area, and estimating a welding type of the welding target area using the welding path; comprising;
Artificial intelligence-based welding control method.
상기 용접의 불량 여부를 판단하는 단계는,
상기 용접 영역의 기공, 용입부족, 패임, 벌어짐 및 형상 불균형을 포함하는 불량 정보 중 적어도 하나 이상의 불량 정보를 통해 용접의 불량 여부를 판단하는 단계;를 포함하는,
인공지능 기반 용접 제어 방법.
In the first paragraph,
The step for determining whether the above welding is defective is as follows:
A step of determining whether the welding is defective through at least one piece of defective information including pores, lack of penetration, dents, gaps, and shape imbalances in the welding area; including;
Artificial intelligence-based welding control method.
상기 용접 대상물에 용접을 수행하기 위하여 시스템을 제어하는 용접 제어장치;
상기 제어장치로부터 용접에 필요한 파라미터를 획득하고, 용접 대상 영역에 용접을 수행하기 위한 복수개의 이기종 용접 로봇;
용접 영역의 데이터를 획득하기 위한 비전카메라;를 포함하고,
상기 용접 제어장치는,
상기 용접 대상물의 상기 용접 대상 영역을 추정하는 제1 인공지능모델;
상기 대상 영역의 용접에 필요한 파라미터를 생성하고, 상기 이기종 용접 로봇의 프로토콜에 따라 상기 파라미터를 변환하는 제2 인공지능모델;
상기 비전카메라를 통하여 획득한 상기 용접 영역의 데이터를 이용하여 용접의 불량 여부를 판단하는 제3 인공지능모델;을 포함하고,
상기 용접 제어장치는,
용접 불량 판단 시, 상기 변환된 파라미터 및 상기 용접 영역의 데이터를 이용하여 상기 제2 인공지능모델을 학습시키고,
상기 제2 인공지능모델은,
딥러닝 모델을 이용하여 상기 용접 대상 영역을 용접로봇 좌표계로 변환하고, 상기 용접 대상 영역의 두께, 재질, 용접 경로 및 온도를 포함하는 용접 특징 정보 및 주변의 온도 및 습도를 포함하는 환경 정보를 입력데이터로 하여 상기 이기종 용접 로봇의 제어에 필요한 용접 시작점과 끝점의 좌표, 용접 전압, 용접 전류 및 용접 속도를 포함하는 파라미터 중 하나 이상의 파라미터를 생성하고, 상기 이기종 용접 로봇의 프로토콜에 따라 상기 파라미터를 변환하는 것을 특징으로 하는,
인공지능 기반 용접 제어 시스템.
3D scanner for obtaining 3D coordinate data of the welding target;
A welding control device that controls a system to perform welding on the above welding target;
A plurality of heterogeneous welding robots for obtaining parameters required for welding from the above control device and performing welding on a welding target area;
A vision camera for acquiring data of the welding area;
The above welding control device,
A first artificial intelligence model for estimating the welding target area of the welding target;
A second artificial intelligence model that generates parameters required for welding of the target area and converts the parameters according to the protocol of the heterogeneous welding robot;
A third artificial intelligence model that determines whether there is a defect in the welding by using the data of the welding area acquired through the vision camera;
The above welding control device,
When judging a welding defect, the second artificial intelligence model is trained using the converted parameters and the data of the welding area.
The above second artificial intelligence model is,
A method for controlling a heterogeneous welding robot, characterized in that the deep learning model is used to convert the welding target area into a welding robot coordinate system, and welding characteristic information including the thickness, material, welding path, and temperature of the welding target area and environmental information including the surrounding temperature and humidity are input data to generate one or more parameters including the coordinates of the welding start and end points, welding voltage, welding current, and welding speed required for controlling the heterogeneous welding robot, and the parameters are converted according to the protocol of the heterogeneous welding robot.
Artificial intelligence-based welding control system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230192838A KR102710901B1 (en) | 2023-12-27 | 2023-12-27 | Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230192838A KR102710901B1 (en) | 2023-12-27 | 2023-12-27 | Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102710901B1 true KR102710901B1 (en) | 2024-09-26 |
Family
ID=92928062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230192838A KR102710901B1 (en) | 2023-12-27 | 2023-12-27 | Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102710901B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6126174B2 (en) * | 1978-06-29 | 1986-06-19 | Matsushita Electric Works Ltd | |
JP6126174B2 (en) * | 2015-07-31 | 2017-05-10 | ファナック株式会社 | Machine learning device, arc welding control device, arc welding robot system and welding system |
JP6741883B1 (en) * | 2017-05-24 | 2020-08-19 | リラティビティ スペース,インク. | Real-time adaptive control of additive manufacturing processes using machine learning |
KR20230081963A (en) * | 2021-11-30 | 2023-06-08 | 주식회사 브레인봇 | Welding automation system using deep learning and its welding automation method |
-
2023
- 2023-12-27 KR KR1020230192838A patent/KR102710901B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6126174B2 (en) * | 1978-06-29 | 1986-06-19 | Matsushita Electric Works Ltd | |
JP6126174B2 (en) * | 2015-07-31 | 2017-05-10 | ファナック株式会社 | Machine learning device, arc welding control device, arc welding robot system and welding system |
JP6741883B1 (en) * | 2017-05-24 | 2020-08-19 | リラティビティ スペース,インク. | Real-time adaptive control of additive manufacturing processes using machine learning |
KR20230081963A (en) * | 2021-11-30 | 2023-06-08 | 주식회사 브레인봇 | Welding automation system using deep learning and its welding automation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3863791B1 (en) | System and method for weld path generation | |
US20150056585A1 (en) | System and method monitoring and characterizing manual welding operations | |
CN113172307A (en) | Industrial robot system of visual module based on laser and visible light fusion | |
US11813754B2 (en) | Grabbing method and device for industrial robot, computer storage medium, and industrial robot | |
US20130060369A1 (en) | Method and system for generating instructions for an automated machine | |
CN110171000B (en) | Groove cutting method, device and control equipment | |
CN108890666B (en) | Robot welding seam tracking method and system | |
CN111014879A (en) | Automatic welding method for corrugated plate of robot based on laser weld seam tracking | |
CN105665970A (en) | System and method for automatic generation for path points of welding robot | |
CN111745266A (en) | Corrugated board welding track generation method and system based on 3D vision position finding | |
JP2011218371A (en) | Spot welding system and dressing determination method | |
JP6090463B2 (en) | Work route creation device, work route creation method, work route creation program, and recording medium | |
US10406688B2 (en) | Offline programming apparatus and method having workpiece position detection program generation function using contact sensor | |
US10394216B2 (en) | Method and system for correcting a processing path of a robot-guided tool | |
US20220297241A1 (en) | Repair welding device and repair welding method | |
CN106514068A (en) | Control method of robot intelligent welding | |
CN111037039B (en) | Flat joint welding method, device, system and computer readable storage medium | |
KR102710901B1 (en) | Artificial intelligence-based automatic welding control device and method for teaching and controlling heterogeneous welding robots | |
CN114799521B (en) | Automatic laser welding method and device for skin skeleton and electronic equipment | |
JP2004001226A5 (en) | ||
CN115383256A (en) | Automatic welding method, device and system | |
JP7289087B2 (en) | Repair welding equipment and repair welding method | |
CN109128439A (en) | CAD diagram paper technology guided robot automatic soldering method | |
CN110883466B (en) | Method for welding convex ring of large-scale steam turbine generator | |
CN108857130A (en) | A kind of ship universal structural member 3-D positioning method based on the processing of image framing bit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |