KR20230160276A

KR20230160276A - 오토노머스 웰딩 로봇

Info

Publication number: KR20230160276A
Application number: KR1020237032884A
Authority: KR
Inventors: 알렉산더 제임스 론즈베리; 앤드류 고든 론즈베리; 니마 아잼 가르; 콜린 벙커; 카를로스 파비앙 베니테스 퀴로즈; 마드하분 칸다다이 바수
Original assignee: 패스 로보틱스, 인코포레이티드
Priority date: 2021-02-24
Filing date: 2022-02-24
Publication date: 2023-11-23
Also published as: US20240033935A1; WO2022182896A3; US11648683B2; US11548162B2; US20220410402A1; JP2024508564A; US12070867B2; US20220266453A1; US20240075629A1; KR20230160277A; EP4297923A2; MX2023009878A; WO2022182896A2; CA3211502A1; EP4297937A1; JP2024508563A; CA3211499A1; MX2023009877A; US11801606B2; WO2022182894A1

Abstract

다양한 실시예에서, 웰딩 로봇을 위한 명령을 생성하는 컴퓨터-구현된 방법이다. 상기 컴퓨터-구현된 방법은 웰딩 될 파트의 Computer Aided Design(CAD) 모델에 기초하여 상기 파트 상 후보 심의 예상되는 위치를 식별하는 것 상기 파트의 리프레젠테이션을 생성하도록 상기 파트를 포함하는 워크스페이스를 스캔하는 것 상기 후보 심의 예상되는 위치 및 상기 파트의 리프레젠테이션에 기초하여 상기 파트 상 후보 심을 식별하는 것 상기 후보 심의 실제 위치를 결정하는 것 및 상기 후보 심의 실제 위치에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 대한 웰딩 명령을 생셩하는 것을 포함한다.

Description

오토노머스 웰딩 로봇

본 출원은 "SYSTEMS AND METHODS FOR OPERATING AND CONTROLLING A WELDING ROBOT"이라는 제목으로 2021년 2월 24일에 출원된 미국 임시 특허 출원 번호 63/153,109, 및 "SYSTEMS AND METHODS FOR OPERATING AND CONTROLLING A WELDING ROBOT"이라는 제목으로 2021년 11월 24일에 출원된 미국 임시 특허 출원 일련 번호 63/282,827의 이점을 주장하며, 각 내용의 전체 내용은 모든 목적을 위해 여기에 참조로 포함된다.

로보틱(robotic) 제조에는 제조 공정의 하나 이상의 측면을 수행하기 위해 로봇(robot)을 사용하는 것이 포함된다. 로봇 웰딩은 로보틱 제조 분야의 한 응용 분야이다. 로봇 웰딩에서 로봇은 하나 이상의 심(seam)을 따라 두 개 이상의 컴포넌트를 함께 웰딩한다. 이러한 로봇은 사람이 수행하거나 사람이 직접 제어하는 기계에 의해 수행되는 프로세스를 자동화하기 때문에 생산 시간, 신뢰성, 효율성 및 비용 측면에서 상당한 이점을 제공한다.

다양한 예에서는 웰딩 로봇에 대한 명령을 생성하는 컴퓨터 구현 방법이 있다. 컴퓨터-구현된 방법은, 파트(part)의 Computer Aided Design(CAD) 모델(model)에 기초하여 웰딩 될 파트 상 후보(candidate) 심(seam)의 예상되는 위치를 식별(identifying)하는 것; 상기 파트의 리프레젠테이션(representation)을 생성하도록 상기 파트를 포함하는 워크스페이스(workspace)를 스캔(scanning)하는 것; 상기 후보 심의 예상되는 위치 및 상기 파트의 리프레젠테이션에 기초하여 상기 파트 상 후보 심을 식별하는 것; 상기 후보 심의 실제 위치를 결정하는 것; 및 상기 후보 심의 실제 위치에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 대한 웰딩 명령을 생셩하는 것;을 포함한다.

예를 들어, 웰딩 로봇을 위한 웰딩 명령을 생성하는 컴퓨터 구현 방법이 있다. 상기 방법은, 센서를 통해, 웰딩될 파트를 포함하는 워크스페이스의 이미지 데이터를 수득하는 것; 상기 이미지 데이터에 기초하여 웰딩될 파트 상 복수의 포인트를 식별하는 것; 상기 복수의 포인트로부터 웰딩될 파트 상 후보 심을 식별하는 것; 및 상기 후보 심의 식별에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 대한 웰딩 명령을 생성하는 것;을 포함한다.

도 1은 다양한 실시예에 따른 오토노머스 로봇식 웰딩 시스템의 블록도이다.
도 2는 다양한 실시예에 따른 오토노머스 로봇식 웰딩 시스템의 개략도이다.
도 3은 다양한 실시예에 따른 오토노머스 로봇식 웰딩 시스템의 개략도이다.
도 4는 다양한 실시예에 따른 웰딩 가능한 심을 갖는 파트의 예시적인 포인트 크라우드(point cloud)다.
도 5는 다양한 실시예에 따른 웰딩 가능한 심을 갖는 파트의 예시적인 포인트 크라우드다.
도 6은 다양한 실시예에 따른 레지스트레이션(registration) 프로세스(process) 플로(flow)를 도시하는 블록도이다.
도 7은 다양한 실시예에 따라 로봇의 경로 계획을 결정할 수 있는 그래프 검색 기술(graph-search technique)의 개략도이다 .
도 8은 다양한 실시예에 따른 로봇 팔의 수학적 모델이다.
도 9는 다양한 실시예에 따른 오토노머스 웰딩을 수행하는 방법의 흐름도이다.
도 10은 다양한 실시예에 따른 오토노머스 웰딩을 수행하는 방법의 흐름도이다.
도 11은 다양한 실시예에 따른 오토노머스 웰딩을 수행하는 방법의 흐름도이다.

기존의 웰딩 기술은 지루하고 노동 집약적이며 비효율적이다. 또한 기존 웰딩 기술은 제조 공정에서 흔히 발생하는 불규칙성을 수용할 만큼 유연성이 부족하여 바람직하지 않은 가동 중지 시간과 비효율성을 초래한다. 예를 들어, 기존 웰딩 기술에서는 숙련된 프로그래머가 웰딩 로봇이 웰딩 작업을 수행하는 데 필요한 명령(instruction)을 생성해야 한다. 이러한 명령은 웰딩 로봇에게 특정 웰딩 작업을 수행하는 데 사용해야 하는 동작, 경로, 궤적 및 웰딩 파라미터를 지시한다. 동일한 웰딩 작업을 여러 번 반복하는 대량 작업을 수행한다는 가정 하에 명령이 작성되었다. 따라서 웰딩 공정(예컨대, 다른 파트) 중에 발생하는 모든 수차(aberrations)로 인해 웰딩 위치가 잘못될 수 있다. 잘못 배치된 웰딩은 결과적으로 비효율성, 비용 및 대량 생산의 기타 부정적인 측면을 증가시킨다.

어떤 경우에는 파트의 CAD(컴퓨터 지원 설계) 모델이 웰딩 작업을 용이하게 하기 위해 웰딩 로봇에 유용할 수 있다. 예를 들어, 웰딩할 파트의 CAD 모델을 웰딩 로봇에 제공하고, 웰딩 로봇은 CAD 모델을 이용하여 웰딩할 심의 위치 등의 움직임을 안내할 수 있다. 웰딩할 심에는 CAD 모델에 주석(예컨대, 각 모서리가 심을 나타내는 사용자가 선택한 가장자리를 포함하는 주석)이 지정되고, 웰딩 로봇은 센서를 사용하여 심을 찾은 후 어노테이션(annotations)에 따라 웰딩을 한다. 이러한 접근 방식은 숙련된 프로그래머나 제조 엔지니어의 필요성을 줄이거나 없앨 수 있지만 한계가 있다. 예를 들어 웰딩 작업은 매우 정밀한 작업이다. 일반적으로 허용 가능한 웰딩을 생성하려면 웰딩 팁이 심과 관련된 목표 위치로부터 1mm 이내에 위치하는 것이 바람직하다. CAD 모델을 기반으로 웰딩 로봇을 안내할 때 파트가 CAD 모델과 밀접하게 일치하더라도 실제 심은 모델링된 위치에서 1mm 이상 떨어져 있을 수 있으며, 이로 인해 허용 가능한 웰딩을 생성하기 위한 웰딩 팁의 정확한 위치 지정이 어렵거나 불가능할 수 있다. CAD 모델이 실제 파트를 단순화한 경우(소량 생산에서 흔히 발생) 심은 모델링된 위치에서 1cm 이상 제거될 수 있다. 따라서 알려진 기술을 사용하면 CAD 모델을 기반으로 심을 정확하게 찾는 것이 어려울 수 있다. 따라서 웰딩 로봇은 허용할 수 없는 웰딩을 생성하여 불량 파트를 생성할 수 있다.

또한, 웰딩 로봇을 제어하기 위한 이전 솔루션에서는 다른 구성 요소(예: 부품, 센서, 클램프 등)와의 충돌을 피하기 위해 웰딩 로봇(더 구체적으로 로봇 팔)이 제조 워크스페이스 내에서 심과 같은 첫 번째 포인트에서 두 번째 포인트까지의 경로를 따라 이동할 때 웰딩 로봇에 특정 명령을 제공하는 숙련된 작업자가 필요했다. 장애물과 충돌이 없는 경로(예컨대, 로봇이 심을 웰딩하기 위해 따를 수 있는 경로)를 식별하는 것을 여기에서는 경로 계획이라고 한다. 숙련된 작업자에게 로봇 팔의 수십 또는 수백 개의 잠재적 경로에 대한 경로 계획을 수행하도록 요구하는 것은 비효율적이고 지루하며 비용이 많이 든다. 게다가 기존 웰딩 로봇은 동일한 경로, 동일한 동작, 동일한 궤적을 반복적으로 따르도록 프로그래밍되는 경우가 많다. 이러한 반복적으로 수행되는 프로세스는 제조 프로세스가 고도로 성숙한 대량 제조 환경에서 허용될 수 있으나, 그러나 낮은 또는 중간 볼륨 설정에서는 구성 요소가 웰딩 로봇을 기준으로 예상치 못한 위치에 배치될 수 있으며, 이로 인해 충돌, 부품 정렬 불량, 공차 불량 및 기타 문제가 발생할 수 있다. 따라서 특정 설정에서는 웰딩을 용이하게 하기 위해 숙련된 작업자가 필요할 수 있다.

본 명세서에 설명된 웰딩 기술은 심을 정확하고 정확하게 식별하고 웰딩하기 위해 웰딩 로봇에 유용한 명령을 자동으로 동적으로 생성할 수 있기 때문에 이전의 웰딩 로봇 및 기술보다 우수하다. 이전 시스템 및 기술과 달리, 여기에 설명된 웰딩 기술은 웰딩될 부품의 CAD 모델을 반드시 요구하지는 않으며(비록 일부 예와 아래에 설명된 바와 같이 CAD 모델이 유용할 수 있음), 또한 부품이나 제조 워크스페이스에 대한 선험적 정보가 반드시 필요한 것도 아니다. 오히려, 여기에 설명된 웰딩 기술은 이동식 센서를 사용하여 제조 작업 공간(특히 파트 및 심)을 3차원(3D) 공간에 매핑하고 이러한 지도를 사용하여 높은 수준의 정확성과 정밀도로 심을 찾아 용접한다. 여기에 설명된 웰딩 기술에는 웰딩을 위한 여러 후보 심을 식별하는 기능, 웰딩을 위한 후보 심을 선택하기 위해 사용자와 상호 작용하는 기능, 웰딩 파라미터를 동적으로 변경하고 웰딩 작업에 대한 피드백을 제공한다. 또한, 여기에 설명된 웰딩 기술은 센서에 의해 획득된 데이터를 사용하여 자동으로 동적으로 경로 계획을 수행하도록 구성되며, 즉, 선험적 정보 없이 로봇이 따라가는 제조 워크스페이스에서 하나 이상의 경로를 자동으로 동적으로 식별하고, 암(arm)은 다른 구성 요소와 충돌하지 않고 이동할 수 있다. 본 명세서에 설명된 웰딩 기술은 또한 센서에 의해 획득된 데이터와 사전 정보(예: 주석이 달린 CAD 모델)의 조합을 사용하여 경로 계획 및 웰딩을 동적으로 수행하도록 구성된다. 이제 이들 실시예 및 기타 실시예가 도면을 참조하여 아래에 설명된다.

도 1은 다양한 실시예에 따른 오토노머스 로봇식 웰딩 시스템(100)의 블록도이다. 시스템(100)은 제조 워크스페이스(101), 사용자 인터페이스(106), 컨트롤러(108), 데이터베이스(112)를 저장하는 스토리지(storage; 109)를 포함한다. 시스템(100)은 본 명세서에 명시적으로 설명되지 않은 다른 구성요소 또는 서브시스템을 포함할 수 있다. 제조 워크스페이스(101)은 하나 이상의 센서를 통해 수신된 정보의 도움을 받는 동안 플랫폼이나 포지셔너에 의해 위치 지정, 결합 또는 지원되는 하나 이상의 파트에서 로봇 암(들)이 작동하는 영역 또는 인클로저이다. 실시예에서, 워크스페이스(101)은 웰딩을 위한 적절한 안전 조치로 설계된 임의의 적절한 웰딩 영역일 수 있다. 예를 들어, 워크스페이스(101)은 작업장, 작업장, 제조 공장, 제조 공장 등에 위치한 웰딩 영역일 수 있다. 실시예에서, 제조 워크스페이스(101)(또는 보다 일반적으로 워크스페이스(101))은 센서(102), 웰딩, 브레이징 및 본딩과 같은 웰딩 유형 프로세스를 수행하도록 구성된 로봇(110), 웰딩될 파트(114)(예컨대, , 심이 있는 부분) 및 픽스쳐(fixture; 116)를 포함한다. 픽스쳐(116)는 파트(114)을 유지, 위치 지정 및/또는 조작할 수 있으며, 예를 들어 클램프, 플랫폼, 포지셔너 또는 기타 유형의 픽스쳐일 수 있다. 픽스쳐(116)는 파트(114)을 단단히 고정하도록 구성될 수 있다. 예에서, 픽스쳐(116)은 사용자에 의해 수동으로 또는 모터에 의해 자동으로 조정 가능하다. 예를 들어, 픽스쳐(116)은 웰딩 프로세스 전이나 웰딩 프로세스 중에 그 위치, 배향, 또는 다른 물리적 구성을 동적으로 조정할 수 있다. 일부 예에서, 로봇(110)은 하나 이상의 센서(102)를 포함할 수 있다. 예를 들어, 하나 이상의 센서(102)는 로봇(110)의 암(예를 들어, 암에 부착된 웰딩 헤드)에 위치할 수 있다. 다른 예에서, 하나 이상의 센서(102)는 이동 가능한 웰딩되지 않은 로봇 암(로봇(110)과 다를 수 있음)에 위치할 수 있다. 또 다른 예에서, 하나 이상의 센서(102) 중 하나는 로봇(110)의 암에 위치될 수 있고, 하나 이상의 센서(102) 중 다른 하나는 워크스페이스의 이동 가능한 장비에 위치될 수 있다. 또 다른 예에서, 하나 이상의 센서(102) 중 하나는 로봇(110)의 암에 위치될 수 있고, 하나 이상의 센서(102) 중 다른 하나는 이동 가능한 비웰딩 로봇 암에 위치될 수 있다.

센서(102)는 워크스페이스(101)에 대한 정보를 캡처하도록 구성된다. 실시예에서, 센서(102)는 워크스페이스(101)에 대한 시각적 정보(예를 들어, 2차원(2D) 이미지)를 캡처하도록 구성되는 이미지 센서이다. 예를 들어, 센서(102)는 카메라(예를 들어 레이저가 내장된 카메라), 스캐너(예를 들어 레이저 스캐너) 등을 포함할 수 있다. 센서(102)는 LiDAR(Light 감지 및 범위 지정) 센서와 같은 센서를 포함할 수 있다. 대안적으로 또는 추가적으로, 센서(102)는 SONAR(Sound Navigation and Ranging) 장치와 같은 사운드를 방출 및/또는 캡처하도록 구성된 오디오 센서일 수 있다. 대안적으로 또는 추가적으로, 센서(102)는 무선 탐지 및 거리 측정(RADAR) 장치와 같은 전자기(EM)파를 방출 및/또는 포착하도록 구성된 전자기 센서일 수 있다. 시각, 청각, 전자기 및/또는 기타 감지 기술을 통해 센서(102)는 워크스페이스(101)의 물리적 구조에 대한 정보를 수집할 수 있다. 워크스페이스(101) 의 움직이는 구조물)를 수집하고, 또 다른 예에서는 센서(102)가 정적 정보와 동적 정보의 조합을 수집한다. 센서(102)는 워크스페이스(101)의 물리적 구조에 관한 모든 정보의 임의의 적절한 조합을 수집할 수 있으며 이러한 정보를 다른 구성요소(예를 들어, 컨트롤러(108))에 제공하여 워크스페이스(101)의 물리적 구조의 3D 표현을 생성할 수 있다. 위에서 설명한 바와 같이, 센서(102)는 다양한 정보 유형 중 임의의 정보를 캡처하고 전달할 수 있으나, 이 설명은 센서(102)가 워크스페이스(101)의 시각적 정보(예를 들어, 2D 이미지)를 주로 캡처하고, 이후에 후술하는 바와 같이 워크스페이스(101)의 3D 표현을 생성하기 위해 한꺼번에 사용된다고 가정한다.

워크스페이스(101)의 3D 리프레젠테이션(representation)을 생성하기 위해 센서(102)는 다양한 각도에서 워크스페이스(101)의 물리적 구조의 2D 이미지를 캡처한다. 예를 들어, 비록 픽스쳐(116) 또는 파트(114)의 단일 2D 이미지가 해당 구성 요소의 3D 리프레젠테이션을 생성하는 데 부적절할 수 있고, 마찬가지로 단일 각도, 뷰 또는 평면에서 픽스쳐(116) 또는 파트(114)의 여러 2D 이미지 세트는 해당 구성 요소의 3D 리프레젠테이션을 생성하는 데 부적절할 수 있으나, 워크스페이스(101) 내의 다양한 위치에서 여러 각도에서 캡처된 여러 2D 이미지는 픽스쳐(116) 또는 파트(114)과 같은 구성 요소의 3D 리프레젠테이션을 생성하는 데 적합할 수 있다. 2D 이미지를 여러 방향으로 캡쳐하는 것은 구성 요소의 정면, 프로필 및 하향식 보기를 포함하는 구성 요소의 평면도는 해당 구성 요소의 3D 표현을 생성하는 데 필요한 모든 정보를 제공하는 방식과 개념적으로 유사하게 부품에 대한 3차원 공간정보를 제공하기 때문이다. 따라서, 실시예에서, 센서(102)는 워크스페이스(101) 내의 구조의 3D 리프레젠테이션을 생성하기에 적합한 정보를 캡처하기 위해 워크스페이스(101) 주위를 이동하도록 구성된다. 예에서, 센서는 고정되어 있지만 전술한 3D 리프레젠테이션을 생성하기 위해 적절한 정보가 센서(102)에 의해 캡처되도록 워크스페이스(101) 주위에 적절한 수와 적절하게 다양한 위치에 존재한다. 센서(102)가 이동 가능한 예에서, 워크스페이스(101) 주위의 그러한 움직임을 용이하게 하는 데 임의의 적합한 구조가 유용할 수 있다. 예를 들어, 하나 이상의 센서(102)는 전동식 트랙 시스템에 위치할 수 있다. 트랙 시스템 자체는 고정되어 있을 수 있지만 센서(102)는 트랙 시스템의 워크스페이스(101) 주위를 이동하도록 구성되어 있다. 그러나 일부 예에서는 센서(102)가 트랙 시스템에서 이동 가능하고 트랙 시스템 자체가 워크스페이스(101) 주위에서 이동 가능한다. 또 다른 예에서, 하나 이상의 거울은 점이나 축을 중심으로 및/또는 이를 따라 피벗, 선회, 회전 또는 병진할 수 있는 센서(102)와 함께 워크스페이스(101) 내에 배열되어, 센서(102)는 제1 구성에 있을 때 초기 유리한 지점으로부터 2D 이미지를 캡처하고, 제2 구성에 있을 때 거울을 사용하여 다른 유리한 지점으로부터 2D 이미지를 캡처하도록 한다. 또 다른 예에서, 센서(102)는 포인트 또는 축을 중심으로 및/또는 이를 따라 피벗, 선회, 회전 또는 병진운동하도록 구성될 수 있는 암에 매달릴 수 있고, 센서(102)는 이들 암이 전체 동작 범위를 통해 연장될 때 다양한 유리한 지점에서 2D 이미지를 캡처하도록 구성될 수 있다.

일부 실시예에서, 전술한 센서(102) 구성 중 일부 또는 전부가 구현된다. 다른 센서(102) 구성이 고려되고 본 개시의 범위에 포함된다.

여전히 도 1을 참조하면, 로봇(110)(예를 들어, 로봇(110)의 웰딩 헤드)은 아래 설명되는 바와 같이 컨트롤러(108)로부터 수신된 경로 계획에 따라 워크스페이스(101) 내에서 이동하도록 구성된다. 로봇(110)은 컨트롤러(108)로부터 수신된 명령에 따라 파트(114)에 대해 하나 이상의 적절한 제조 프로세스(예를 들어, 웰딩 작업)를 수행하도록 추가로 구성된다. 일부 실시예에서, 로봇(110)은 웰딩 암을 갖춘 6-축 로봇일 수 있다. 로봇(110)은 YASKAWA® 로봇 암, ABB® IRB 로봇, KUKA® 로봇 등과 같은 임의의 적합한 로봇 웰딩 장비일 수 있다. 로봇(110)은 아크 웰딩, 저항 웰딩, 스폿 웰딩, TIG(텅스텐 불활성 가스) 웰딩, MAG(금속 활성 가스) 웰딩, MIG(금속 불활성 가스) 웰딩, 레이저 웰딩, 플라즈마 웰딩, 이들의 조합 및/또는 이와 유사한 것을 수행하도록 구성될 수 있다.

여전히 도 1을 참조하면 , 워크스페이스(101), 특히 워크스페이스(101) 내의 센서(들)(102) 및 로봇(110)은 컨트롤러(108)에 연결된다. 컨트롤러(108)는 여기에서 컨트롤러(108) 또는 보다 일반적으로 시스템(100)에 부여된 동작을 수행하도록 구체적이고 특별하게 구성된(예를 들어, 프로그래밍된) 임의의 적합한 기계이다. 일부 실시예에서, 컨트롤러(108)는 범용 컴퓨터가 아니며, 그 대신 여기에서 컨트롤러(108) 또는 더 일반적으로는 시스템(100)에 부여된 작업을 수행하도록 특별히 프로그래밍 및/또는 하드웨어 구성된다. 일부 실시예에서, 컨트롤러(108)는 여기에서 컨트롤러(108) 또는 더 일반적으로 시스템(100)에 부여된 동작을 수행하도록 구성된 주문형 집적 회로(ASIC)이거나 이를 포함한다. 일부 실시예에서, 컨트롤러(108)는 중앙 처리 장치(CPU)와 같은 프로세서를 포함하거나 프로세서이다. 일부 실시예에서, 컨트롤러(108)는 현장 프로그래밍 가능 게이트 어레이(FPGA)이다. 실시예에서, 컨트롤러(108)는 컨트롤러(108)에 의해 실행될 때 컨트롤러(108)가 여기에서 컨트롤러(108) 또는 더 일반적으로 시스템(100)에 귀속된 동작 중 하나 이상을 수행하게 하는 실행 가능한 코드를 저장하는 메모리를 포함한다. 컨트롤러(108)는 본 명세서에 설명된 특정 예로 제한되지 않는다.

컨트롤러(108)는 워크스페이스(101) 내의 센서(들)(102) 및 로봇(110)을 제어한다. 일부 실시예에서, 컨트롤러(108)는 워크스페이스(101) 내의 픽스쳐(들)(116)을 제어한다. 예를 들어, 컨트롤러(108)는 전술한 바와 같이 워크스페이스(101) 내에서 이동하고/하거나 전술한 바와 같이 2D 이미지, 오디오 데이터 및/또는 EM 데이터를 캡처하도록 센서(들)(102)를 제어할 수 있다. 예를 들어, 컨트롤러(108)는 웰딩 작업을 수행하고 아래에 설명되는 경로 계획 기술에 따라 워크스페이스(101) 내에서 이동하도록 본 명세서에 설명된 로봇(110)을 제어할 수 있다. 예를 들어, 컨트롤러(108)는 포지셔너(예를 들어, 플랫폼, 클램프 등)와 같은 픽스쳐(들)(116)를 조작하여 워크스페이스(101) 내의 하나 이상의 파트를 회전, 병진 이동 또는 이동시킬 수 있다. 컨트롤러(108)는 또한 시스템(100)의 다른 측면을 제어할 수도 있다. 예를 들어, 컨트롤러(108)는 UI(106) 상에 그래픽 인터페이스를 제공함으로써 사용자 인터페이스(UI)(106)와 추가로 상호작용할 수 있고, 예컨대 사용자에게 및/또는 사용자로부터 다양한 유형의 정보를 제공 및/또는 수신함으로써(예: 웰딩 후보인 식별된 심, 경로 계획 중 가능한 경로, 웰딩 파라미터 옵션 또는 선택 등), 이를 통해 사용자는 시스템(100)과 상호 작용하고 시스템(100)에 입력을 제공할 수 있고, 이를 통해 컨트롤러(108)는 사용자와 상호작용할 수 있다. UI(106)는 터치스크린 인터페이스, 음성 활성화 인터페이스, 키패드 인터페이스, 이들의 조합 등을 포함하는 임의의 유형의 인터페이스일 수 있다.

또한, 컨트롤러(108)는 예를 들어 데이터베이스(112)에 데이터를 저장하고/하거나 데이터베이스(112)로부터 데이터를 검색함으로써 데이터베이스(112)와 상호작용할 수 있다. 데이터베이스(112)는 보다 일반적으로 모든 유형의 정보를 저장하도록 구성된 임의의 적합한 유형의 스토리지(109)에 저장될 수 있다. 일부 실시예에서, 데이터베이스(112)는 RAM(Random Access Memory), 메모리 버퍼, 하드 드라이브, EPROM(Erasable Programmable Read-Only Memory), 전기적으로 지울 수 있는 읽기 전용 메모리(EEPROM), ROM(읽기 전용 메모리), 플래시 메모리 등와 같은 스토리지(109)에 저장될 수 있다. 일부 실시예에서, 데이터베이스(112)는 클라우드 기반 플랫폼에 저장될 수 있다. 데이터베이스(112)는 웰딩 작업을 수행할 때 시스템(100)에 유용한 임의의 정보를 저장할 수 있다. 예를 들어, 데이터베이스(112)는 파트(114)의 CAD 모델을 저장할 수 있다. 다른 예로서, 데이터베이스(112)는 파트(114)의 CAD 모델의 주석이 달린 버전을 저장할 수 있다. 데이터베이스(112)는 또한 CAD 모델을 사용하여 생성된 파트(114)의 포인트 클라우드(본 명세서에서는 CAD 모델 포인트 클라우드라고도 함)를 저장할 수 있다. 유사하게, 파트(114)의 3D 리프레젠테이션 및/또는 파트(114)에 관해 제공된 사용자 입력(예를 들어, 웰딩할 파트(114)의 심, 웰딩 파라미터 등에 관한)에 기초하여 생성된 파트(114)에 대한 웰딩 명령이 제공될 수 있고, 이는 데이터베이스(112)에 저장될 수 있다. 예에서, 스토리지(109)는 실행될 때 컨트롤러(108)가 여기에서 컨트롤러(108) 또는 더 일반적으로 시스템(100)에 귀속되는 하나 이상의 동작을 수행하게 하는 실행 가능 코드(111)를 저장한다. 예에서, 실행 가능 코드(111)는 단일의 자체 포함된 프로그램이고, 다른 실시예에서 실행 가능 코드는 스토리지(109) 또는 다른 곳에 저장될 수 있는 다른 실행 가능 코드에 대한 하나 이상의 함수 호출을 갖는 프로그램이다. 일부 실시예에서, 실행 코드(111)의 실행에 기인하는 하나 이상의 기능은 하드웨어에 의해 구현될 수 있다. 예를 들어, 다중 프로세서는 실행 코드(111)의 하나 이상의 개별 작업을 수행하는 데 유용할 수 있다.

도 2는 다양한 실시예에 따른 도시된 오토노머스 로봇식 웰딩 시스템(200)의 개략도이다. 시스템(200)은 도 1의 시스템(100)의 예이며, 유사한 참조번호는 유사한 구성요소를 지칭한다. 예를 들어, 시스템(200)은 워크스페이스(201)을 포함한다. 워크스페이스(201)은 선택적으로 이동 가능한 센서(202), 로봇(210)((이동 가능한 센서(202)에 추가로 그 위에 장착된 하나 이상의 센서(202)를 포함할 수 있음) 및 픽스쳐(216)를 포함한다. 로봇(210)은 로봇(210)이 임의의 적절한 자유도로 이동할 수 있게 하는 다중 관절 및 부재(예를 들어, 어깨, 암, 팔꿈치 등)를 포함한다. 로봇(210)은 파트, 예를 들어 픽스쳐(216)(예를 들어 클램프)에 의해 지지될 수 있는 파트에 대한 웰딩 작업을 수행하는 웰딩 헤드(210A)를 포함한다. 시스템(200)은 작업공간(201)에 연결된 UI(206)를 더 포함한다. 작동 시, 센서(202)는 워크스페이스(201)의 2D 이미지를 수집하고 2D 이미지를 컨트롤러(도 2에는 명시적으로 도시되지 않음)에 제공한다. 컨트롤러는 픽스쳐(216), 픽스쳐(216)에 의해 지지되는 부분, 및/또는 워크스페이스(201) 내의 다른 구조와 같은 워크스페이스(201)의 3D 리프레젠테이션(예컨대, 포인트 클라우드)을 생성한다. 컨트롤러는 본원에 설명된 바와 같이 심을 웰딩하도록 로봇(210)을 컨트롤하고, 워크스페이스(201) 내 구조와 로봇(210)이 충돌함이 없게 심을 웰딩하기 위한 경로를 계획하도록 심(예컨대, 픽스쳐(216)에 의해 지지되는 파트)를 식별하도록 3D 리프레젠테이션을 사용한다.

도 3은 다양한 실시예에 따른 오토노머스 로봇식 웰딩 시스템(300)의 개략도이다. 시스템(300)은 도 1의 시스템(100)과 도 2의 시스템(200)의 예이며, 동일한 번호는 유사한 구성요소를 지칭한다. 예를 들어, 시스템(300)은 워크스페이스(301)을 포함한다. 워크스페이스(301)은 선택적으로 이동 가능한 센서(302), 로봇(310)(하나 이상의 센서(302)가 장착될 수 있음) 및 픽스쳐(316)(예컨대, 플랫폼 또는 포지셔너)를 포함한다. 로봇(310)은 로봇(310)이 임의의 적절한 자유도로 이동할 수 있게 하는 다중 관절 및 부재(예를 들어, 어깨, 암, 팔꿈치 등)를 포함한다. 로봇(310)은 파트, 예를 들어 픽스쳐(316)에 의해 지지될 수 있는 파트에 웰딩 작업을 수행하는 웰딩 헤드(310A)를 포함한다. 시스템(300)은 작업공간(301)에 연결된 UI(306)를 더 포함한다. 작동 시, 센서(302)는 워크스페이스(301)의 2D 이미지를 수집하고 2D 이미지를 컨트롤러(도 3에는 명시적으로 도시되지 않음)에 제공한다. 컨트롤러는 픽스쳐(316), 픽스쳐(316)에 의해 지지되는 파트 및/또는 워크스페이스(301) 내의 다른 구조와 같은 워크스페이스(301)의 3D 리프레젠테이션(예컨대, 포인트 클라우드)을 생성한다. 컨트롤러는 3D 리프레젠테이션을 사용하여 심(예컨대, 픽스쳐(316)에 의해 지지되는 파트)를 식별하고, 로봇(310)이 워크스페이스(301) 내의 구조물과 충돌하지 않고 심을 웰딩하기 위한 경로를 계획하고, 로봇(310)을 제어하여 본원에 설명된 대로 심을 웰딩하는 것을 수행한다.

도 1을 다시 참조하면, 위에서 설명된 바와 같이, 컨트롤러(108)는 센서(102)로부터 2D 이미지(및 가능하면 오디오 데이터 또는 EM 데이터와 같은 다른 데이터)를 수신하고 2D 이미지에 도시된 구조의 3D 리프레젠테이션을 생성하도록 구성된다. 3D 리프레젠테이션은 포인트 클라우드라고 할 수 있다. 포인트 클라우드는 파트(114) 및/또는 픽스쳐(116)의 표면에 있는 점의 3D 공간 위치를 각각 나타내는 포인트 세트일 수 있다. 일부 실시예에서, 하나 이상의 2D 이미지(예를 들어, 파트(114)에 대해 특정 방향으로 센서(들)(102)에 의해 캡처된 이미지 데이터)는 컨트롤러(108)에 의해 중첩 및/또는 함께 스티칭되어 워크스페이스(101)의 3D 이미지 데이터를 재구성하고 생성할 수 있다. 3D 이미지 데이터는 포인트 클라우드의 적어도 일부 포인트에 대한 연관된 이미지 데이터와 함께 포인트 클라우드를 생성하기 위해 대조될 수 있다.

실시예에서, 3D 이미지 데이터는 데이터로부터 생성된 포인트 클라우드가 6개의 자유도를 가질 수 있는 방식으로 컨트롤러(108)에 의해 대조될 수 있다. 예를 들어, 포인트 클라우드의 각 포인트는 3D 공간에서 극히 작은 위치를 나타낼 수 있다. 전술한 바와 같이, 센서(들)(102)는 다양한 각도에서 포인트의 다수의 2D 이미지를 캡처할 수 있다. 이들 다수의 2D 이미지는 각 포인트에 대한 평균 이미지 픽셀을 결정하기 위해 컨트롤러(108)에 의해 대조될 수 있다. 평균화된 이미지 픽셀을 포인트에 부착할 수 있다. 예를 들어, 센서(들)(102)가 적색, 녹색 및 청색 채널을 갖는 컬러 카메라인 경우, 6개의 자유도는 {x-위치, y-위치, z-위치, 적색 강도, 녹색 강도 및 청색 강도}가 될 수 있다. 예를 들어, 센서(들)(102)가 흑백 채널을 갖는 흑백 카메라라면, 4개의 자유도가 생성될 수 있다.

도 4는 다양한 실시예에 따른 웰딩 가능한 심을 갖는 파트의 예시적인 포인트 크라우드(400)이다. 보다 구체적으로, 포인트 클라우드(400)는 심(406)를 따라 함께 웰딩될 파트(402)과 파트(404)을 나타낸다. 도 5는 다양한 실시예에 따른 웰딩 가능한 심을 갖는 파트의 예시적인 포인트 크라우드(500)이다. 보다 구체적으로, 포인트 클라우드(500)는 심(506)를 따라 함께 웰딩될 파트(502)과 파트(504)을 나타낸다. 컨트롤러(108)(도 1)는 전술한 바와 같이 센서(102)에 의해 캡처된 2D 이미지에 기초하여 3D 포인트 클라우드(400, 500)를 생성하도록 구성된다. 그런 다음 컨트롤러(108)는 웰딩 경로를 계획하고, 로봇(110)을 사용하여 심(406, 506)를 따라 심(406, 506)를 따라 웰딩을 배치하기 위해(도 1) 심(406, 506)와 같은 심을 식별하고 위치를 지정하기 위해 포인트 클라우드(400, 500)(또는 일부 실시예에서는 포인트 클라우드(400, 500)를 생성하는 데 유용한 이미지 데이터)를 사용할 수 있다. 심 식별 및 경로 계획을 포함하는 이러한 작업을 수행하기 위해 컨트롤러(108)가 실행 코드(111)(도 1)를 실행하는 방식이 이제 상세하게 설명된다.

실행 가능한 코드(111)를 실행할 때 컨트롤러(108)는 신경망을 사용하여 픽셀 단위(예를 들어, 센서(102)에 의해 캡처된 이미지를 사용하거나 센서(102)에 의해 캡처된 이미지를 기반으로 함) 및/또는 포인트 단위(예를 들어 하나 또는 더 많은 포인트 클라우드) 분류를 통해 워크스페이스(101) 내의 구조를 식별하고 분류한다. 예를 들어, 컨트롤러(108)는 워크스페이스(101) 내의 각각의 이미지화 된 구조를 파트(114)으로, 파트(114)의 심으로서 또는 다수의 파트(114) 사이의 인터페이스에서 식별하기 위해 픽셀별 및/또는 점별 분류를 수행할 수 있다(참조: 여기서는 후보 심), 픽스쳐(116), 로봇(110) 등으로 사용된다. 예를 들어, 컨트롤러(108)는 적절한 트레이닝 데이터를 사용하여 트레이닝된 신경망(예를 들어, U-net 모델)을 기반으로 픽셀 및/또는 포인트를 식별하고 분류할 수 있다. 신경망은 이미지 데이터, 포인트 클라우드 데이터, 공간 정보 데이터 또는 이들의 조합에 대해 훈련될 수 있다. 포인트 클라우드 및/또는 이미지 데이터는 워크스페이스(101) 내의 다양한 유리한 포인트에서 캡처된 정보를 포함하기 때문에, 신경망은 여러 각도 및/또는 관점으로부터 파트(들)(114)의 픽스쳐(116) 또는 후보 심을 분류하도록 작동 가능하다. 일부 실시예에서, 신경망은 일련의 점에서 직접 작동하도록 훈련될 수 있고, 동적 그래프 컨벌루션 신경망(k), 신경망을 구현하여 포인트 클라우드 상의 정리되지 않은 포인트를 분석할 수 있다. 일부 실시예에서, 제1 신경망은 포인트별 분류를 수행하기 위해 포인트 클라우드 데이터에 대해 훈련될 수 있고, 제2 신경망은 픽셀별 분류를 수행하기 위해 이미지 데이터에 대해 훈련될 수 있다. 제1 신경망과 제2 신경망은 개별적으로 후보 심을 식별하고 후보 심을 위치화할 수 있다. 제1 신경망과 제2 신경망의 출력은 파트(114)의 하나 이상의 후보 심의 위치와 방향을 결정하기 위한 최종 출력으로 결합될 수 있다.

일부 실시예에서, 픽셀별 분류가 수행되면 결과는 3D 포인트 클라우드 데이터 및/또는 포인트 클라우드 데이터의 메시 버전으로 투영될 수 있으며, 그에 따라 워크스페이스(101)에서 픽스쳐(116)의 위치에 대한 정보를 제공할 수 있다. 입력 데이터가 영상 데이터(예를 들어, 컬러 영상)인 경우, 픽셀 단위의 분할을 위해 컬러 데이터와 함께 깊이 정보 등의 공간 정보도 포함될 수 있다. 일부 실시예에서, 아래에 추가로 설명되는 바와 같이 후보 심을 식별하고 파트(114)에 대해 후보 심을 위치화하기 위해 픽셀별 분류가 수행될 수 있다.

전술한 바와 같이, 컨트롤러(108)는 픽셀 및/또는 포인트를 픽스쳐(116), 파트(114), 파트(114)의 후보 심 등과 같은 워크스페이스(101) 내의 특정 구조로 식별하고 분류할 수 있다. 픽스쳐(116)과 같은 비파트 및 비후보 심 구조로 분류된 이미지 및/또는 포인트 클라우드 데이터의 부분은 데이터에서 분할(예를 들어, 수정 또는 제거)될 수 있으며, 그에 따라 파트(114) 및/또는 파트(114)의 후보 심에 해당하도록 식별되고 분류된 데이터를 격리할 수 있다. 일부 실시예에서, 후보 심을 식별하고 위에서 설명한 대로(또는 선택적으로 이러한 분할 이전에) 비파트(114) 및 비후보 심 데이터를 분할한 후, 신경망은 각 후보 심을 분석하여 심의 종류를 결정하도록 구성될 수 있다. 예를 들어, 신경망은 후보 심이 맞대기 조인트, 코너 조인트, 엣지 조인트, 랩 조인트, 티 조인트 등인지 판단하도록 구성될 수 있다. 모델(예를 들어, U-net 모델)은 워크스페이스(101) 내의 여러 유리한 포인트에서 캡처된 데이터를 기반으로 심의 유형을 분류할 수 있다.

이미지 데이터를 사용하여 픽셀별 분류가 수행되는 경우, 컨트롤러(108)는 관심 픽셀(예를 들어, 파트(114)을 나타내는 픽셀 및 파트(114)의 후보 심)을 3D 공간에 투영하여 파트(114)의 후보 심 및 파트(114)을 나타내는 3D 포인트 셋을 생성할 수 있다. 또는, 포인트 클라우드 데이터를 이용하여 포인트별 분류를 수행한다면, 관심 포인트는 포인트 클라우드 내의 3차원 공간에 이미 존재할 수도 있다. 어느 경우든, 컨트롤러(108)에 있어서, 3D 포인트는 순서가 지정되지 않은 포인트 셋이고 3D 포인트 중 적어도 일부는 함께 뭉쳐질 수 있다. 이러한 노이즈를 제거하고 후보 심을 나타내는 연속적이고 연속적인 포인트 서브셋을 생성하려면 MBMS(Manifold Blurring and Mean Shift) 기술 또는 유사한 기술이 적용될 수 있다. 이러한 기술은 점을 압축하고 노이즈를 제거할 수 있다. 이어서, 컨트롤러(108)는 후보 심을 개별 후보 심으로 분해하기 위해 클러스터링 방법을 적용할 수 있다. 달리 말하면, 여러 심을 나타내는 점의 여러 서브셋을 갖는 대신 클러스터링을 사용하면 점의 각 서브셋을 개별 심으로 나눌 수 있다. 클러스터링 후에, 컨트롤러(108)는 포인트의 각각의 개별 서브셋에 스플라인을 맞출 수 있다. 따라서 점의 각 개별 서브셋은 개별 후보 심이 될 수 있다.

제한 없이 요약하면, 위에 설명된 기술을 사용하여 컨트롤러(108)는 워크스페이스(101) 내의 다양한 위치와 유리한 포인트에서 센서(102)에 의해 캡처된 이미지 데이터를 수신한다. 컨트롤러(108)는 신경망을 사용하여 픽셀별 및/또는 포인트별 분류 기술을 수행하여 각 픽셀 및/또는 포인트를 파트(114), 파트(114)의 후보 심 또는 여러 파트(114), 픽스쳐(116) 등 사이의 인터페이스로 분류하고 식별한다. 비파트(114) 구조 및 비후보 심 구조로 식별된 구조는 분할되고, 컨트롤러(108)는 (예를 들어, 잡음을 완화하기 위해) 나머지 포인트에 대해 추가 처리를 수행할 수 있다. 이들 동작을 수행함으로써, 컨트롤러(108)는 파트(114)에 해당 심의 위치 및 방향을 나타내는 후보 심 셋을 생성할 수 있다. 이제 설명되는 바와 같이, 컨트롤러(108)는 후보 심이 실제로 심인지 여부를 결정할 수 있고 선택적으로 파트 및 심의 CAD 모델과 같은 선험적 정보를 사용하여 추가 처리를 수행할 수 있다. 결과 데이터는 아래에 설명된 바와 같이 식별된 심을 따라 웰딩을 배치하기 위한 경로를 계획하기 위해 컨트롤러(108)에 의해 사용하기에 적합하다.

어떤 경우에는 식별된 후보 심이 심이 아닐 수도 있다(즉, 식별된 후보 심이 위양성일 수 있음). 식별된 후보 심이 실제로 심인지 여부를 결정하기 위해, 컨트롤러(108)는 워크스페이스(101) 내부의 다양한 유리한 포인트에서 센서(102)에 의해 캡처된 이미지를 사용하여 신뢰도 값을 결정한다. 신뢰도는 해당 시점에서 결정된 후보 심이 실제 심일 가능성을 나타낸다. 그런 다음 컨트롤러(108)는 서로 다른 관점에 대한 신뢰도 값을 비교하고 실제 심이 아닐 가능성이 있는 후보 심을 제거할 수 있다. 예를 들어, 컨트롤러(108)는 특정 후보 심과 연관된 후보 값의 평균, 중앙값, 최대값 또는 임의의 다른 적절한 요약 통계를 결정할 수 있다. 일반적으로, 실제 심에 대응하는 후보 심은 해당 후보 심을 캡처하는 데 사용되는 다양한 유리한 포인트에 걸쳐 지속적으로 높은(예를 들어 임계값 초과) 신뢰도 값을 갖게 된다. 후보 심에 대한 신뢰도의 요약 통계가 임계값 이상인 경우, 제어부(108)는 후보 심을 실제 심으로 지정할 수 있다. 반대로, 후보 심에 대한 신뢰도 값의 요약 통계가 임계값 미만인 경우 후보 심은 웰딩에 적합하지 않은 위양성으로 지정될 수 있다.

위에서 언급한 바와 같이, 실제로 심인 후보 심을 식별한 후, 컨트롤러(108)는 CAD 모델(또는 CAD 모델의 포인트 클라우드 버전)과 같은 선험적 정보를 사용하여 여기에서 등록이라고 하는 추가 처리를 수행할 수 있다. 보다 구체적으로, 어떤 경우에는 파트의 심 치수와 CAD 모델의 심 치수 사이에 차이가 있을 수 있으며, CAD 모델은 그러한 차이를 설명하기 위해 변형(예컨대, 업데이트)되어야 한다. 이후에 여기에 설명된 대로 경로 계획을 수행하는 데 사용된다. 따라서, 컨트롤러(108)는 제1 심(예컨대 실제 심으로 검증된 부품 114의 후보 심)과 제2 심(예컨대 제1 심에 해당하는 CAD 모델에 (예컨대 작업자/사용자에 의해) 애노테이션이 달린 심)을 비교하여 제1 심과 제2 심 사이의 차이를 결정한다. 위에서 설명한 대로 CAD 모델의 심에 애노테이션을 달 수 있다. CAD 모델 및/또는 컨트롤러(108)가 후보 심의 위치를 정확하게 예측하는 경우, 제1 심과 제2 심은 거의 동일한 위치에 있을 수 있다. 대안적으로, CAD 모델 및/또는 컨트롤러(108)가 부분적으로 정확한 경우, 제1 심과 제2 심이 부분적으로 겹칠 수 있다. 컨트롤러(108)는 제1 심과 제2 심의 비교를 수행할 수 있다. 제1 심과 제2 심의 이러한 비교는 두 심의 모양과 공간에서의 상대 위치에 부분적으로 기초할 수 있다. 제1 심과 제2 심이 상대적으로 모양이 유사하고 서로 인접해 있으면 제2 심이 제1 심과 동일한 것으로 식별될 수 있다. 이러한 방식으로, 컨트롤러(108)는 CAD 모델에서 정확하게 표현되지 않는 파트 표면의 지형을 설명할 수 있다. 이러한 방식으로, 컨트롤러(108)는 후보 심을 식별할 수 있고 파트의 CAD 모델을 사용하여 파트에 대해 후보 심을 하위 선택하거나 개선하거나 업데이트할 수 있다. 각 후보 심은 파트를 기준으로 후보 심의 위치와 방향을 나타내는 업데이트된 포인트 셋일 수 있다.

도 6은 다양한 실시예에 따른 등록 프로세스 플로(600)을 도시하는 블록도이다. 등록 프로세스 흐름(600)의 일부 또는 모든 단계는 컨트롤러(108)(도 1)에 의해 수행된다. 컨트롤러(108)는 먼저 CAD 모델(604)의 포인트 클라우드와 센서(102)에 의해 캡처된 이미지를 사용하여 형성된 스캔 포인트 클라우드(606)를 사용하여 대략적인 등록(602)을 수행할 수 있다. CAD 모델 포인트 클라우드(604) 및 스캔 포인트 클라우드(606)는 그들의 포인트가 균일하거나 거의 균일한 분산을 갖고 둘 다 동일하거나 대략 동일한 포인트 밀도를 갖도록 샘플링될 수 있다. 예에서, 컨트롤러(108)는 선택되지 않은 나머지 포인트를 유지하고 폐기하기 위해 클라우드에서 포인트를 무작위로 균일하게 선택함으로써 포인트 클라우드(604, 606)를 다운샘플링한다. 예를 들어, 일부 실시예에서는 PDS(Poisson Disk Sampling) 다운 샘플링 알고리즘이 구현될 수 있다. 컨트롤러(108)는 포인트 클라우드(604, 606)의 경계, 샘플 사이의 최소 거리, 및 샘플이 거부되기 전에 선택할 샘플의 한계를 PDS 알고리즘에 대한 입력으로서 제공할 수 있다. 일부 실시예에서, 델타 네트워크는 대략적인 등록(602) 동안 한 모델을 다른 모델로 변형하는 데 유용할 수 있다. 델타 네트워크는 소스 모델과 타겟 모델을 가져와 이를 잠재 벡터로 인코딩하는 Siamese 네트워크일 수 있다. 컨트롤러(108)는 잠재 벡터를 사용하여 하나의 모델을 다른 모델로 변형하거나 업데이트하는 점별 변형을 예측할 수 있다. 델타 네트워크에는 학습 데이터 셋이 필요하지 않을 수 있다. CAD 모델 및 스캔 포인트 클라우드(604, 606)가 주어지면, 델타 네트워크의 맥락에서 컨트롤러(108)는 둘 사이의 유사성 또는 유사성 정도를 학습하는 데 하나 이상의 에포크를 소비한다. 이 에포크 동안 Delta 네트워크는 이후 등록에 유용한 의미 있는 기능을 학습한다. 델타 네트워크는 변형을 학습하기 위해 건너뛰기 연결을 사용할 수 있지만 일부 실시예에서는 건너뛰기 연결을 사용하지 않을 수도 있다. 경우에 따라 CAD 모델에는 캡처된 이미지(예컨대, 스캔)를 사용하여 생성된 3D 포인트 클라우드에 존재하지 않는 표면이 포함된다. 이러한 경우, 델타 네트워크는 CAD 모델 포인트 클라우드(604)의 누락된 표면에 해당하는 모든 포인트를 스캔 포인트 클라우드(606)의 일부 포인트로 이동한다(그리고 스캔 포인트 클라우드(606)를 업데이트한다). 따라서, 등록 동안, 컨트롤러(108)(예를 들어, 델타 네트워크)는 학습된 특징을 사용하고 원본 CAD 모델을 변환(또는 업데이트)할 수 있거나, 학습된 특징을 사용하고 변형된 CAD 모델을 변환할 수 있다. 예에서, 델타 네트워크는 DGCNN(Dynamic Graph Convolutional Neural Network)과 같은 인코더 네트워크를 포함할 수 있다. 포인트 클라우드가 특징으로 인코딩된 후 CAD와 스캔 임베딩으로 구성된 연결된 벡터가 형성될 수 있다. 풀링 연산(예를 들어, 맥스풀링)을 구현한 후, 결과 벡터에 디코더가 적용될 수 있다. 일부 실시예에서, 디코더는 특정 필터(예를 들어, 256, 256, 512, 1024, Nx3 필터)를 갖는 5개의 컨벌루션 계층을 포함할 수 있다. 결과 출력은 CAD 모델 및 스캔 임베딩과 연결되고 최대 풀링된 후 디코더에 한 번 더 제공될 수 있다. 최종 결과에는 포인트별 변환이 포함될 수 있다.

관련 없는 데이터 및 데이터의 노이즈(예를 들어, 대략적 등록(602)의 출력)은 파트(114)의 등록에 영향을 미칠 수 있다. 적어도 이러한 이유로 관련 없는 데이터와 노이즈를 최대한 제거하는 것이 바람직하다. 바운딩 박스(608)는 등록이 수행되는 영역을 제한하기 위해 이러한 관련 없는 데이터 및 노이즈(예를 들어, 픽스쳐(116))를 제거하는 데 유용한다. 다르게 말하면 바운딩 박스 내부의 데이터는 유지되지만 바운딩 박스 외부의 모든 데이터(3D 또는 기타)는 삭제된다. 전술한 바운딩 박스는 CAD 모델 자체를 (예를 들어 부분적으로 또는 완전히) 둘러싸거나 캡슐화할 수 있는 임의의 형상일 수 있다. 예를 들어, 바운딩 박스는 CAD 모델의 확장되거나 확대된 버전일 수 있다. 바운딩 박스 외부의 데이터는 최종 등록에서 제거되거나 여전히 포함될 수 있지만 영향을 완화하기 위해 가중치가 부여될 수 있다.

여전히 도 6을 참조하면, 정제된 등록(610) 동안, 컨트롤러(108)는 바운딩 박스(608)의 출력을 오토인코더로서 훈련된 신경망의 컨벌루션 계층 셋을 통해 패치로 전달한다. 보다 구체적으로, 데이터는 오토인코더의 인코더 부분을 통과할 수 있고, 오토인코더의 디코더 부분은 사용되지 않을 수 있다. 입력 데이터는 예를 들어 (128, 3) 모양의 패치 포인트의 XYZ 위치일 수 있다. 출력은 예를 들어 길이 1024의 벡터일 수 있으며 이 벡터는 포인트별 특징에 유용하다.

CAD 포인트 클라우드와 스캔 포인트 클라우드 모델 간의 엄격한 변환을 가장 잘 지원하는 해당 포인트 셋은 등록 중에 결정되어야 한다. 해당 후보는 각 요소가 두 포인트 간의 일치 확률 또는 신뢰도를 저장하는 행렬로 (예를 들어 데이터베이스(112)에) 저장될 수 있다.

이 행렬에서 대응점을 찾는 데는 하드 대응, 소프트 대응, 제품 매니폴드 필터, 그래프 파벌, 공분산 등과 같은 다양한 방법이 유용한다. 정제된 등록(610)이 완료된 후, 등록 프로세스가 완료된다(612).

전술한 바와 같이, 일부 실시예에서 파트(114)의 심의 실제 위치는 센서 이미징(예를 들어, 스캔 포인트 클라우드를 사용하여)을 사용하여 컨트롤러(108)에 의해 결정된 심 위치 및/또는 CAD 모델에 의해 결정된 심 위치와 다를 수 있다(예컨대, CAD 모델 포인트 클라우드 사용). 이러한 경우, 스캐닝 절차(본 명세서에서 사전 스캔이라고도 함)는 파트(114)의 실제 심 위치와 더 가깝거나 정확하게 일치하도록 결정된 심 위치를 수정하는 데 유용한다. 스캐닝 절차에서, 로봇(110)에 위치하는 센서(102)(여기서는 온보드 센서라고 함)가 심의 스캔을 수행한다. 일부 경우에, 이 스캔은 CAD 모델, 스캔 또는 이들의 조합을 사용하여 컨트롤러(108)에 의해 생성된 초기 모션 및/또는 경로 계획을 사용하여 수행될 수 있다. 예를 들어, 센서(102)는 워크스페이스(101)의 일부 또는 모든 영역을 스캔할 수 있다. 이러한 초기 모션 및/또는 경로 계획을 수행하는 동안, 센서(102)는 관찰 이미지 및/또는 데이터를 캡처할 수 있다. 관찰 이미지 및/또는 데이터는 심 포인트 클라우드 데이터를 생성하기 위해 컨트롤러(108)에 의해 처리될 수 있다. 컨트롤러(108)는 심 위치를 수정하기 위해 포인트 클라우드(들)(604 및/또는 606)를 처리할 때 심 포인트 클라우드 데이터를 사용할 수 있다. 컨트롤러(108)는 또한 경로 수정 및 모션 계획에 심 포인트 클라우드 데이터를 사용할 수도 있다.

일부 실시예에서, 위에 설명된 등록 기술은 온보드 센서(102)에 더해 센서(102)를 사용하여 결정된 심을 온보드 센서(102)에 의해 식별된 것과 비교하고 일치시키는 데 유용할 수 있다. 이러한 방식으로 심을 일치시킴으로써 로봇(110)(더 구체적으로 로봇(110)의 머리)은 원하는 대로 실제 심에 대해 위치가 지정된다.

일부 실시예에서, 로봇(110)의 사전 스캔 궤적은 심을 따라 웰딩하기 위해 계획된 것과 동일하다. 이러한 일부 실시예에서, 사전 스캔 동안 로봇(110)에 대해 취해진 모션은 확률을 제한하거나 충돌의 인스턴스를 줄이기 위해, 온보드 센서(102)로 심 또는 키 기하학적 구조를 더 잘 시각화하거나 문제의 심 주위의 기하학(geometry)를 스캔하기 위해 별도로 생성될 수 있다.

일부 실시예에서, 사전 스캔 기술은 특정 심 또는 심들보다 더 많은 스캐닝을 포함할 수 있으며, 오히려 파트(들)(114)의 다른 기하학적 구조의 스캐닝도 포함할 수 있다. 스캔 데이터는 심을 찾고, 위치를 찾고, 감지하고 로봇(110)의 머리가 원하는 심을 따라 배치되고 이동되도록 보장하기 위해 여기에 설명된 기술(예컨대, 등록 기술) 중 일부 또는 모두를 보다 정확하게 적용하는 데 유용할 수 있다.

일부 실시예에서, 스캐닝 기술(예컨대, 웰딩 암/웰딩 헤드에 장착된 센서/카메라를 사용하여 실제 심 스캐닝)은 심에 대한 위치 및 방향 정보보다는 심에 대한 간격 변동성 정보를 식별하는 데 유용할 수 있다. 예를 들어, 스캐닝 절차 동안 로봇(110)의 센서(들)(102)에 의해 캡처된 스캔 이미지는 간격의 가변성을 식별하고 그러한 간격을 설명하기 위해 웰딩 궤적 또는 경로 계획을 조정하는 데 유용할 수 있다. 예를 들어, 3D 포인트에서 2D 이미지 픽셀 또는 이들의 조합은 웰딩할 파트(114) 사이의 가변 간격을 찾는 데 유용할 수 있다. 일부 실시예에서는 가변 간격 찾기가 유용하며, 여기서는 3D 점, 2D 이미지 픽셀 또는 이들의 조합이 함께 웰딩될 파트(114) 사이의 여러 간격의 가변 크기를 찾아 식별하고 측정하는 데 유용하다. 가웰딩 찾기 또는 일반 웰딩 찾기에서, 이전 웰딩부 또는 웰딩될 파트(114) 사이의 갭에 있는 재료 퇴적물은 3D 포인트 및/또는 2D 이미지 픽셀을 사용하여 식별될 수 있다. 이러한 기술 중 일부 또는 전부는 경로 계획을 포함하여 웰딩을 최적화하는 데 유용할 수 있다. 일부 경우에, 간격의 가변성은 센서(102)에 의해 캡처된 이미지를 사용하여 생성된 3D 포인트 클라우드 내에서 식별될 수 있다. 또 다른 경우에, 간격의 변동성은 작업에 대한 웰딩 작업을 수행하는 동안 수행되는 스캐닝 기술(예컨대, 웰딩 암/웰딩 헤드에 장착된 센서/카메라를 사용하여 실제 심을 스캐닝)로 식별될 수 있다. 어느 한 경우에 있어서, 컨트롤러(108)는 결정된 위치 및 갭의 크기에 기초하여 웰딩 명령을 동적으로(예를 들어, 웰딩 전압) 적응시키도록 구성될 수 있다. 가변 간격에서 심을 정밀하게 웰딩할 수 있다. 웰딩 명령 조정에는 웰딩기 전압, 웰딩기 전류, 전기 펄스 지속 시간, 전기 펄스 모양 및 재료 공급 속도 중 하나 이상을 조정하는 것이 포함될 수 있다.

실시예에서, 사용자 인터페이스(106)는 사용자에게 후보 심을 볼 수 있는 옵션을 제공할 수 있다. 예를 들어, 사용자 인터페이스(106)는 파트(114) 및/또는 파트(114) 상의 후보 심의 그래픽 리프레젠테이션을 제공할 수 있다. 추가적으로 또는 대안적으로, 사용자 인터페이스(106)는 심의 유형에 기초하여 후보 심을 그룹화할 수 있다. 전술한 바와 같이, 컨트롤러(108)는 심의 유형을 식별할 수 있다. 예를 들어, 랩 조인트로 식별된 후보 심은 "랩 조인트"라는 라벨로 그룹화될 수 있으며, "랩 조인트"라는 라벨 아래의 사용자 인터페이스(106)를 통해 사용자에게 제시될 수 있다. 유사하게, 에지 조인트로 식별된 후보 심은 "에지 조인트"라는 라벨 아래에 그룹화될 수 있고 "에지 조인트"라는 라벨 아래의 사용자 인터페이스(106)를 통해 사용자에게 제시될 수 있다.

사용자 인터페이스(106)는 로봇(110)에 의해 웰딩될 후보 심을 선택하기 위한 옵션을 사용자에게 더 제공할 수 있다. 예를 들어, 파트(114)의 각 후보 심은 사용자 인터페이스(106)의 누름 버튼으로 표시될 수 있다. 사용자가 특정 후보 심을 누르면 선택 사항이 컨트롤러(108)로 전송될 수 있다. 컨트롤러(108)는 로봇(110)이 특정 후보 심에 웰딩 작업을 수행하도록 하는 명령을 생성할 수 있다.

일부 실시예에서, 웰딩 파라미터를 업데이트하는 옵션이 사용자에게 제공될 수 있다. 예를 들어, 사용자 인터페이스(106)는 사용자에게 다양한 웰딩 파라미터의 목록을 제공할 수 있다. 사용자는 업데이트할 특정 파라미터를 선택할 수 있다. 선택한 파라미터는 드롭다운 메뉴, 텍스트 입력 등을 통해 변경할 수 있다. 이 업데이트는 컨트롤러(108)로 전송되어 컨트롤러(108)가 로봇(110)에 대한 명령을 업데이트할 수 있도록 할 수 있다.

시스템(100)에 파트(114)의 사전 정보(예컨대, CAD 모델)가 제공되지 않는 실시예에서, 센서(들)(102)는 파트(114)을 스캔할 수 있다. 파트(114)의 리프레젠테이션은 사용자 인터페이스(106)를 통해 사용자에게 제시될 수 있다. 파트(114)의 이러한 리프레젠테이션은 센서(들)(102)로부터 획득된 파트(114)의 스캔 이미지의 투영된 3D 데이터를 포함하는 포인트 클라우드 및/또는 포인트 클라우드의 메쉬일 수 있다. 사용자는 사용자 인터페이스(106)를 통해 리프레젠테이션에서 웰딩될 심에 애노테이션을 달 수 있다. 대안적으로, 컨트롤러(108)는 파트(114)의 리프레젠테이션에서 후보 심을 식별할 수 있다. 후보 심은 사용자 인터페이스(106)를 통해 사용자에게 제시될 수 있다. 사용자는 후보 심 중에서 웰딩할 심을 선택할 수 있다. 사용자 인터페이스(106)는 사용자의 선택에 기초하여 리프레젠테이션에 애노테이션을 달 수 있다. 일부 실시예에서, 애노테이션이 달린 리프레젠테이션은 데이터베이스(112)에 저장될 수 있다.

위에서 설명된 기술을 사용하여(또는 다른 적절한 기술을 사용하여) 파트(들)(114)의 하나 이상의 심이 식별되고 가능한 정도로 수정된 후, 컨트롤러(108)는 후속 웰딩 프로세스 동안 로봇(110)에 대한 경로를 계획한다. 일부 실시예에서, 그래프 매칭 및/또는 그래프 검색 기술은 로봇(110)의 경로를 계획하는 데 유용할 수 있다. 위에서 설명된 바와 같이 식별된 특정 심은 다수의 포인트를 포함할 수 있으며, 경로 계획 기술은 주어진 심을 따라 이러한 각 포인트에 대해 로봇(110)의 다른 상태를 결정하는 것을 수반한다. 로봇(110)의 상태는 예를 들어 워크스페이스(101) 내의 로봇(110)의 위치 및 적용될 수 있는 임의의 수의 자유도로 로봇(110) 암의 특정 구성을 포함할 수 있다. 예를 들어, 6개의 자유도를 갖는 암을 가진 로봇(110)의 경우, 로봇(110)의 상태는 워크스페이스(101)에서의 로봇(110)의 위치(예를 들어, 3차원 x-y-z 공간에서 로봇(110)의 용접 헤드 위치) 뿐만 아니라 각 로봇 팔의 6개 자유도에 대해 특정 하위 상태도 포함한다. 또한, 로봇(110)이 제1 상태에서 제2 상태로 전이하는 경우, 워크스페이스(101) 내에서 자신의 위치를 변경할 수 있으며, 이러한 경우 로봇(110)은 워크스페이스(101) 내에서 특정 경로(예를 들어, 웰딩되는 심을 따라)를 반드시 횡단하게 된다. 따라서, 로봇(110)의 일련의 상태를 지정하는 것은 로봇(110)이 워크스페이스(101) 내에서 이동할 경로를 지정하는 것을 필연적으로 수반한다. 컨트롤러(108)는 경로 계획이 완료된 후에 사전 스캔 기술 또는 그 변형을 수행할 수 있고, 컨트롤러(108)는 임의의 다양한 적절한 조정을 수행하기 위해 사전 스캔 기술 동안 캡처된 정보를 사용할 수 있다(예컨대 솔기를 따라 실제 용접을 수행하는 데 사용되는 X-Y-Z 축 또는 좌표계 조정).

도 7은 로봇(110)에 대한 경로 계획이 (예를 들어, 컨트롤러(108)에 의해) 결정될 수 있는 그래프 검색 기술의 개략도(700)이다. 다이어그램(700)의 각 원은 로봇(110)의 서로 다른 상태(예를 들어, 워크스페이스(101) 내 로봇(110)의 특정 위치(예를 들어, 3D 공간에서 로봇(110)의 용접 헤드 위치)와 로봇(110) 암의 다른 구성뿐만 아니라 포지셔너, 클램프 등과 같은 부품을 지지하는 고정 장치의 위치 및/또는 구성)를 나타낸다. 각각의 컬럼(702, 706, 710)은 웰딩될 심을 따라 다른 포인트를 나타낸다. 따라서, 컬럼(702)에 대응하는 심 포인트에 대해, 로봇(110)은 상태 704A-704D 중 어느 하나에 있을 수 있다. 마찬가지로, 컬럼(706)에 대응하는 심 포인트의 경우, 로봇(110)은 상태 708A-708D 중 어느 하나에 있을 수 있다. 마찬가지로, 컬럼(710)에 대응하는 심 포인트에 대해 로봇(110)은 상태 712A-712D 중 어느 하나에 있을 수 있다. 예를 들어, 로봇(110)이 컬럼(702)에 대응하는 심 포인트에 있을 때 상태 704A에 있는 경우, 로봇(110)은 컬럼(706)에 대응하는 다음 심 포인트에 대해 상태(708A-708D) 중 하나로 전환할 수 있다. 유사하게, 상태 708A-708D에 진입하면, 로봇(110)은 이어서 컬럼(710)에 대응하는 다음 심 포인트에 대해 상태 712A-712D 중 임의의 상태로 전환할 수 있는 등등이다. 일부 실시예에서, 특정 상태에 진입하면 다른 상태에 진입하는 것이 불가능해질 수 있다. 예를 들어, 상태 704A에 들어가면 상태 708A-708C에 들어갈 가능성이 허용되지만 708D에 들어갈 가능성은 허용되지 않는 반면, 상태 704B에 들어가면 상태 708A-708B에 들어가지 않고 상태 708C와 708D에 들어갈 가능성이 허용될 수 있다. 본 개시의 범위는 임의의 특정 수의 심 포인트 또는 임의의 특정 수의 로봇(110) 상태로 제한되지 않는다.

일부 예에서, 그래프 검색 기술(예를 들어, 다이어그램(700)에 묘사된 기술에 따름)을 사용하여 로봇(110)에 대한 경로 계획을 결정하기 위해, 컨트롤러(108)는 상태(704A-704D)로부터 심 지점(N)에 대응하는 상태(예컨대 상태 712A-712D)까지의 최단 경로를 결정할 수 있다. 각 상태와 상태 간의 각 전환에 비용을 할당함으로써 목적 함수는 컨트롤러(108)에 의해 설계될 수 있다. 컨트롤러(108)는 목적 함수에 대해 가능한 최소 비용 값을 초래하는 경로를 찾는다. 여러 시작점과 끝점을 선택할 수 있으므로 Dijkstra 알고리즘이나 A*와 같은 그래프 검색 방법을 구현할 수 있다. 일부 실시예에서, 무차별 대입 방법은 적절한 경로 계획을 결정하는 데 유용할 수 있다. 무차별 대입 기술은 컨트롤러(108)가 모든 가능한 경로를 계산하고(예를 들어 다이어그램(700)을 통해) 가장 짧은 경로를 선택하는 것을 수반한다.

컨트롤러(108)는 각 심 지점의 상태가 가능한지 여부를 판단할 수 있으며, 이는 컨트롤러(108)가 심의 심 지점의 시퀀스를 따라 상태 체인을 구현하는 것이 로봇(110)과 작업 공간(101)의 구조물 사이, 또는 로봇(110) 자체의 일부와도 임의의 충돌을 일으킬지 여부를 결정할 수 있다는 것을 적어도 부분적으로 의미한다. 이를 위해, 심의 서로 다른 포인트에서 서로 다른 상태를 실현한다는 개념은 대안적으로 여러 웨이포인트를 갖는 심의 맥락에서 표현될 수도 있다. 먼저, 컨트롤러(108)는 식별된 심을 일련의 웨이포인트로 분리할 수 있다. 세가지 (공간/병진) 자유도로 로봇(120)에 연결된 웰딩 헤드의 방향을 제한할 수 있다. 일반적으로, 로봇(120)의 웰딩 헤드 방향에 대한 제한은 일부 원하는 품질의 웰딩을 생성할 목적으로 각 웨이포인트에 대해 하나 또는 두 개의 회전 자유도로 제공되고; 제약 조건은 일반적으로 웨이포인트와 웰딩 심의 경로에서 나오는 표면 법선 벡터에 상대적이다. 예를 들어, 웰딩 헤드의 위치는 x축, y축, z축뿐만 아니라 웰딩 와이어 축이나 웰딩기 팁에 수직인 웨이포인트와 이에 연결된 일부 공칭 좌표계에 대한 약 1~2개의 회전 축으로 제한될 수 있다. 일부 실시예에서 이러한 제약은 각도에 대한 한계 또는 허용 가능한 범위일 수 있다. 당업자는 이상적인 또는 원하는 웰딩 각도가 파트 또는 심 형상, 심에 대한 중력 방향 및 기타 요인에 따라 달라질 수 있음을 인식할 것이다. 일부 실시예에서, 컨트롤러(108)는 (최적화 목적을 위한 웰딩과 경로 계획 사이의 균형을 찾는 것과 같은) 하나 이상의 이유로 심이 중력에 수직임을 보장하기 위해 1F 또는 2F 웰딩 위치를 제한할 수 있다. 따라서 웰딩 헤드의 위치는 심에 대해 적절한 방향으로 각 웨이포인트에 의해 유지(제한)될 수 있다. 일반적으로 웰딩 헤드는 웰딩 헤드 축과 동축인 회전축(θ)에 대해 구속되지 않는다. 예를 들어, 각 웨이포인트는 웰딩 로봇(120)의 웰딩 헤드의 위치를 정의하여 각 웨이포인트에서 웰딩 헤드가 웰딩 심에 대해 고정된 위치 및 방향에 있도록 할 수 있다. 일부 구현에서, 웨이포인트는 웰딩 헤드의 움직임을 실질적으로 연속적으로 만들 수 있을 만큼 충분히 미세하게 분리된다.

컨트롤러(108)는 각각의 웨이포인트를 다수의 노드로 나눌 수 있다. 각 노드는 해당 웨이포인트에서 웰딩 헤드의 가능한 방향을 나타낼 수 있다. 비제한적인 예로서, 웰딩 헤드는 웰딩 헤드가 각 웨이포인트에서 회전 축(θ)을 따라 회전(예를 들어, 360도)할 수 있도록 웰딩 헤드의 축과 동축인 회전 축 주위에 구속되지 않을 수 있다. 각 웨이포인트는 20개의 노드로 분할될 수 있으며, 각 웨이포인트의 각 노드는 18도 회전 증분의 웰딩 헤드를 나타낸다. 예를 들어, 제1 웨이포인트-노드 쌍은 웰딩 헤드의 0도 회전을 나타낼 수 있고, 제2 웨이포인트-노드 쌍은 웰딩 헤드의 18도 회전을 나타낼 수 있으며, 세 번째 웨이포인트-노드 쌍은 36도에서 웰딩 헤드의 회전 등을 나타낼 수 있다. 각 웨이포인트는 2, 10, 20, 60, 120, 360 또는 적절한 수의 노드로 나눌 수 있다. 노드의 세분화는 1 이상의 자유도에서 방향의 분할을 나타낼 수 있다. 예를 들어, 웨이포인트에 대한 웰딩기 팁의 방향은 3가지 각도로 정의될 수 있다. 각 웨이포인트-노드 쌍을 연결하여 웰딩 경로를 정의할 수 있다. 따라서, 웨이포인트 사이의 거리와 인접한 웨이포인트 노드 사이의 오프셋은 웰딩 헤드가 노드-웨이포인트 쌍 사이에서 이동할 때 웰딩 헤드의 변환 및 회전의 양을 나타낼 수 있다.

컨트롤러(108)는 웰딩의 타당성에 대해 각각의 웨이포인트-노드 쌍을 평가할 수 있다. 예를 들어, 웨이포인트를 20개의 노드로 나누는 비제한적인 예를 고려한다. 컨트롤러(108)는 0도로 유지되는 웰딩 헤드를 나타내는 제1 웨이포인트-노드 쌍이 실행 가능한지 여부를 평가할 수 있다. 다르게 말하면, 컨트롤러(108)는 웨이포인트-노드 쌍에 의해 정의된 위치 및 방향에 배치되면 로봇(110)이 파트, 픽스쳐 또는 웰딩 로봇 자체와 충돌하거나 간섭하는지 여부를 평가할 수 있다. 유사한 방식으로, 컨트롤러(108)는 제2 웨이포인트-노드 쌍, 제3 웨이포인트-노드 쌍 등이 실행 가능한지 여부를 평가할 수 있다. 컨트롤러(108)는 각각의 웨이포인트를 유사하게 평가할 수 있다. 이러한 방식으로 모든 웨이포인트의 가능한 모든 노드를 결정할 수 있다.

일부 실시예에서, 여기에 설명된 충돌 분석은 워크스페이스(101)의 3D 모델과 로봇(110)의 3D 모델을 비교하여 두 모델이 중첩되는지, 선택적으로 삼각형 중 일부 또는 전부가 중첩되는지를 결정함으로써 수행될 수 있다. 두 모델이 중첩되는 경우, 컨트롤러(108)는 충돌 가능성이 있다고 판단할 수 있다. 두 모델이 중첩되지 않는 경우, 컨트롤러(108)는 충돌 가능성이 없다고 판단할 수 있다. 더 구체적으로, 일부 실시예에서, 컨트롤러(108)는 웨이포인트-노드 쌍 셋(상술한 웨이포인트-노드 쌍과 같은) 각각에 대한 모델을 비교하고 웨이포인트-노드 쌍 중 두 모델이 서브셋에 대해 또는 심지어 가능하게는 모두 중첩된다고 결정할 수 있다. 모델 교차점이 식별되는 경유지-노드 쌍의 서브셋에 대해, 컨트롤러(108)는 계획된 경로에서 해당 서브셋의 경유지-노드 쌍을 생략할 수 있으며 해당 경유지-노드 쌍에 대한 대안을 식별할 수 있다. 컨트롤러(108)는 충돌 없는 경로가 계획될 때까지 필요에 따라 이 프로세스를 반복할 수 있다. 컨트롤러(108)는 충돌 회피 분석의 도구로서 효율적인 충돌 검출 및 근접성 계산을 위한 다양한 기술을 포함하는 유연한 충돌 라이브러리(FCL)를 사용할 수 있다. FCL은 다양한 모델 리프레젠테이션에 대해 다중 근접 쿼리를 수행하는 데 유용하며 포인트 클라우드 간의 확률적 충돌 식별을 수행하는 데 사용될 수 있다. FCL과 함께 또는 대신하여 추가 또는 대체 리소스를 사용할 수 있다.

컨트롤러(108)는 물리적으로 실행 가능하다면 하나 이상의 실행 가능한 시뮬레이션(또는 본 명세서에서 상호 교환적으로 사용되는 두 용어 모두 평가) 웰딩 경로를 생성할 수 있다. 웰딩 경로는 웰딩 로봇이 후보 심을 웰딩하기 위해 사용하는 경로일 수 있다. 일부 실시예에서, 웰딩 경로는 심의 모든 중간점을 포함할 수 있다. 일부 실시예에서, 웰딩 경로는 후보 심의 전체가 아닌 일부 웨이포인트를 포함할 수 있다. 웰딩 경로에는 웰딩 헤드가 각 웨이포인트-노드 쌍 사이를 이동할 때 로봇과 웰딩 헤드의 동작이 포함될 수 있다. 노드-웨이포인트 쌍 사이의 실행 가능한 경로가 식별되면 다음 순차적 웨이포인트에 대한 실행 가능한 노드-웨이포인트 쌍이 존재하는 경우 이를 식별할 수 있다. 당업자는 실현 가능한 노드-웨이포인트 쌍의 공간을 평가하기 위해 많은 검색 트리 또는 다른 전략이 사용될 수 있다는 것을 인식할 것이다. 본 명세서에서 더 자세히 논의된 바와 같이, 비용 파라미터는 각 노드-경유지 쌍에서 후속 노드-경유지 쌍으로의 이동에 대해 할당되거나 계산될 수 있다. 비용 파라미터는 이동 시간, 노드-중간점 쌍 간의 이동량(예컨대, 회전 포함), 및/또는 이동 중 웰딩 헤드에 의해 생성된 시뮬레이션/예상 웰딩 품질과 연관될 수 있다.

하나 이상의 웨이포인트에 대한 용접이 가능한 노드가 없거나 이전 웨이포인트-노드 쌍과 특정 웨이포인트의 웨이포인트-노드 쌍 사이를 이동할 수 있는 경로가 없는 경우, 컨트롤러(108)는 적어도 일부 추가적인 웨이포인트-노드 쌍이 용접을 위해 가능해지도록 대체 용접 파라미터를 결정할 수 있다. 예를 들어, 컨트롤러(108)가 제1 웨이포인트에 대한 웨이포인트-노드 쌍 중 어느 것도 실행 가능하지 않다고 결정하여 제1 웨이포인트를 웰딩 불가능하게 만드는 경우, 컨트롤러(108)는 대체 웰딩 각도와 같은 대체 웰딩 파라미터를 결정할 수 있어 적어도 일부 제1 웨이포인트에 대한 웨이포인트-노드 쌍이 웰딩 가능해진다. 예를 들어, 컨트롤러(108)는 x 및/또는 y축을 중심으로 한 회전에 대한 제약을 제거하거나 완화할 수 있다. 유사하게 말하면, 컨트롤러(108)는 웰딩 각도가 하나 또는 두 개의 추가 회전(각도) 치수로 변경되도록 허용할 수 있다. 예를 들어, 컨트롤러(108)는 웰딩 불가능한 웨이포인트를 2차원 또는 3차원 노드로 나눌 수 있다. 그런 다음 각 노드는 웰딩 로봇의 웰딩 타당성과 다양한 웰딩 각도 및 회전 상태에서 유지되는 웰딩을 평가할 수 있다. X축 및/또는 Y축 또는 기타 자유도에 대한 추가 회전으로 인해 웰딩 헤드가 충돌하지 않도록 웨이포인트가 웰딩 헤드에 접근할 수 있다. 일부 구현에서, 컨트롤러(108)는 - 하나 이상의 웨이포인트에 대한 웰딩이 가능한 노드가 없거나 이전 웨이포인트-노드 쌍과 특정 경로의 웨이포인트-노드 쌍 중 임의의 것 사이를 이동할 수 있는 실행 가능한 경로가 존재하지 않는 경우 웨이포인트 - 이전 웨이포인트-노드 쌍과 특정 웨이포인트의 웨이포인트-노드 쌍 사이의 가능한 경로를 결정할 때 포지셔너 시스템에서 제공하는 자유도를 사용할 수 있다.

생성된 웰딩 경로에 기초하여, 컨트롤러(108)는 웰딩을 위한 웰딩 경로를 최적화할 수 있다. (본 명세서에서 사용되는 최적 및 최적화는 절대적인 최상의 웰딩 경로를 결정하는 것을 의미하지 않지만 일반적으로 덜 효율적인 웰딩 경로에 비해 웰딩 시간을 줄이고/하거나 웰딩 품질을 향상시킬 수 있는 기술을 의미한다.) 예를 들어, 컨트롤러(108)는 로봇(110)의 모션에 대한 로컬 및/또는 글로벌 최소값을 찾는 비용 함수를 결정할 수 있다. 일반적으로 웰딩 헤드 회전은 심 웰딩 시간을 늘리거나 웰딩 품질을 저하시킬 수 있기 때문에 최적의 웰딩 경로는 웰딩 헤드 회전을 최소화한다. 따라서, 웰딩 경로를 최적화하는 것은 최소한의 회전량으로 최대 개수의 웨이포인트를 통해 웰딩 경로를 결정하는 것을 포함할 수 있다.

분할된 노드 또는 노드-경로 쌍 각각에서 웰딩의 타당성을 평가할 때, 컨트롤러(108)는 다중 계산을 수행할 수 있다. 일부 실시예에서, 다수의 계산 각각은 서로 상호 배타적일 수 있다. 일부 실시예에서, 제1 계산은 채용되는 웰딩 로봇의 로봇(110)의 암이 노드 또는 노드-웨이포인트 쌍에 의해 정의된 상태에 기계적으로 도달(또는 존재할) 수 있는지 여부를 계산하는 운동학적 타당성 계산을 포함할 수 있다. 일부 실시예에서, 제1 계산에 추가하여, 제1 계산과 상호 배타적일 수 있는 제2 계산도 컨트롤러(108)에 의해 수행될 수 있다. 제2 계산은 심 부분(예컨대 문제의 노드 또는 노드-웨이포인트 쌍)에 접근할 때 로봇(110)의 암이 충돌(예컨대 작업공간(101) 또는 작업공간(101)의 구조물과 충돌)에 직면할지 여부를 결정하는 것을 포함할 수 있다.

컨트롤러(108)는 제2 계산을 수행하기 전에 제1 계산을 수행할 수 있다. 일부 예시에서, 제2 계산은 제1 계산의 결과가 긍정적인 경우(예를 들어, 로봇(110)의 암이 노드 또는 노드-웨이포인트 쌍에서 정의한 상태에 기계적으로 도달(또는 존재)할 수 있다고 판단된 경우에만 수행될 수 있다. 일부 예시에서는, 1차 연산의 결과가 부정적일 경우(예를 들어, 로봇(110)의 암이 노드 또는 노드-웨이포인트 쌍에서 정의한 상태에 기계적으로 도달(또는 존재)할 수 없는 것으로 판단되는 경우에는 2차 연산을 수행하지 않을 수 있다.

운동학적 타당성은 사용된 로봇 암의 유형과 연관될 수 있다. 본 설명의 목적을 위해, 웰딩 로봇(110)은 구형 리스트(wrist)을 갖는 6축 로봇 웰딩 암을 포함하는 것으로 가정된다. 6축 로봇 암은 6개의 자유도, 즉, X-, Y-, Z-직교 좌표계에서 3개의 자유도와 로봇(110)의 리스트(wrist)과 같은 특성으로 인해 3개의 추가 자유도를 가질 수 있다. 예를 들어, 로봇(110)의 리스트(wrist)과 같은 특성은 리스트(wrist) 올리기/내리기 방식(예컨대 리스트(wrist)이 +y 및 -y 방향으로 움직이는 경우)에서 4차 자유도, 리스트(wrist) 측면 방식(예컨대 -x 및 +x 방향으로 움직이는 리스트(wrist))에서 5차 자유도, 회전에 있어서 6차 자유도를 가져온다. 일부 실시예에서, 웰딩 토치는 로봇(110)의 리스트(wrist) 부분에 부착된다.

채용된 로봇(110)의 암이 노드 또는 노드-웨이포인트 쌍에 의해 정의된 상태에 기계적으로 도달(또는 존재)할 수 있는지 여부를 결정하기 위해(즉, 제1 계산을 수행하기 위해) 로봇(110)은 도 8의 예시 모델(800)에 도시된 바와 같이 수학적으로 모델링될 수 있다. 일부 실시예에서, 컨트롤러(108)는 리스트(wrist) 위치에 기초하여 처음 3개의 관절 변수를 풀고 리스트(wrist) 방향에 기초하여 나머지 3개의 관절 변수를 풀 수 있다. 토치가 리스트(wrist)에 단단히 부착되어 있는 것이 주목된다. 따라서 토치 팁과 리스트(wrist) 사이의 변형은 고정된 것으로 가정된다. 처음 3개의 결합 변수(예를 들어, 각각 802, 804, 806의 변수 S, L, U)를 찾기 위해 기하학적 접근법(예를 들어 코사인 법칙)이 사용될 수 있다.

처음 3개의 결합 변수(즉, S, L, U)가 성공적으로 계산된 후, 컨트롤러(108)는 다음과 같이 마지막 3개의 결합 변수(즉, 각각 808, 810, 812에서 R, B, T)를 풀 수 있고, 예를 들어 리스트(wrist) 방향을 ZYZ 오일러 각도로 간주한다. 컨트롤러(108)는 로봇(110)의 일부 오프셋을 고려할 수 있다. URDF(통합 로봇 설명 형식) 파일의 불일치로 인해 이러한 오프셋을 고려하고 설명해야 할 수도 있다. 예를 들어, 일부 실시예에서, 관절(예를 들어, 로봇(110)의 실제 관절) 위치의 값(예를 들어, 관절의 X축)은 URDF 파일에 명시된 값과 일치하지 않을 수 있다. 그러한 오프셋 값은 테이블로 컨트롤러(108)에 제공될 수 있다. 일부 실시예에서 컨트롤러(108)는 로봇(110)을 수학적으로 모델링하는 동안 이들 오프셋 값을 고려할 수 있다. 일부 실시예에서, 로봇(110)이 수학적으로 모델링된 후, 컨트롤러(108)는 로봇(110)의 암이 노드 또는 노드-경로 쌍에 의해 정의된 상태에 기계적으로 도달할 수 있는지(또는 존재할 수 있는지)를 결정할 수 있다.

위에서 언급한 바와 같이, 컨트롤러(108)는 로봇(110)이 웨이포인트-노드 쌍에 의해 정의된 위치 및 방향에 배치되면 로봇(110) 자체를 포함하여 워크스페이스(101)에 있는 파트(114), 픽스쳐(116) 또는 다른 모든 것과 충돌하거나 간섭하는지 여부를 평가할 수 있다. 컨트롤러(108)가 로봇 암이 존재할 수 있는 상태를 결정하면, 컨트롤러(108)는 제2 계산을 사용하여 전술한 평가(예를 들어, 로봇이 그 환경에서 무언가와 충돌할지 여부에 관한)를 수행할 수 있다.

도 9는 다양한 실시예에 따른 오토노머스 웰딩을 수행하기 위한 방법(900)의 흐름도이다. 보다 구체적으로, 도 9는 일부 예에 따른 웰딩 로봇(예를 들어, 도 1의 로봇(110))을 작동 및 제어하기 위한 방법(900)의 흐름도이다. 단계 902에서, 방법(900)은 하나 이상의 센서(예를 들어, 도 1의 센서(들)(102))를 사용하여 워크스페이스(예를 들어, 도 1의 워크스페이스(101))의 이미지 데이터를 획득하는 단계를 포함한다. 이미지 데이터에는 워크스페이스의 2D 및/또는 3D 이미지가 포함될 수 있다. 전술한 바와 같이, 웰딩될 하나 이상의 파트, 파트를 안전한 방식으로 고정할 수 있는 픽스쳐 및/또는 클램프가 워크스페이스에 위치할 수 있다. 일부 실시예에서는 이미지 데이터로부터 포인트 클라우드가 생성될 수 있다. 예를 들어, 이미지들을 서로 겹쳐서 3차원 이미지 데이터를 재구성하고 생성할 수 있다. 3차원 이미지 데이터를 조합하여 포인트 클라우드를 생성할 수 있다.

단계(904)에서, 방법(900)은 이미지일 수 있는 센서 데이터에 기초하여 웰딩될 파트 상의 포인트 셋을 식별하는 것을 포함한다. 포인트 셋은 웰딩될 심의 가능성을 나타낼 수 있다. 일부 실시예에서, 신경망은 포인트 셋을 식별하기 위해 이미지 데이터에 대해 픽셀 단위 분할을 수행할 수 있다. 이미지 데이터의 픽스처(Fixture)와 클램프(Clamp)는 이미지 분류를 기반으로 신경망을 통해 분류될 수 있다. 픽스쳐 및/또는 클램프와 연관된 이미지 데이터의 부분은 이미지 데이터의 해당 부분이 포인트 세트를 식별하는 데 사용되지 않도록 분할될 수 있고, 이는 검색 공간을 줄임으로써 웰딩할 포인트 세트를 식별하는 데 필요한 계산 리소스를 줄일 수 있다. 이러한 실시예에서, 포인트 셋은 이미지 데이터의 다른 파트(예를 들어, 분할되지 않은 이미지 데이터의 부분)으로부터 식별될 수 있다.

단계(906)에서, 방법(900)은 포인트 셋으로부터 후보 심을 식별하는 단계를 포함한다. 예를 들어, 포인트 집합 내의 포인트 서브셋을 후보 심으로 식별할 수 있다. 신경망은 이미지 분류 및/또는 깊이 분류를 수행하여 후보 심을 식별할 수 있다. 일부 실시예에서, 후보 심은 파트에 대해 위치화될 수 있다. 예를 들어, 후보 심을 위치화하기 위해 후보 심의 위치와 방향이 파트에 대해 결정될 수 있다.

추가적으로, 방법(900)은 후보 심이 실제 심인지 여부를 검증하는 단계를 더 포함한다. 위에서 설명한 것처럼 센서는 여러 각도에서 이미지 데이터를 수집할 수 있다. 서로 다른 각도에서 캡쳐된 각 이미지에 대해 해당 각도에서 결정된 후보 심이 실제 심인지 여부를 나타내는 신뢰도를 결정할 수 있다. 여러 각도에서 캡쳐한 뷰를 기반으로 신뢰도 값이 임계값을 초과하는 경우 후보 심이 실제 심으로 검증될 수 있다. 일부 실시예에서, 방법(900)은 또한 후보 심을 심 유형으로 분류하는 단계를 포함한다. 예를 들어, 신경망은 후보 심이 맞대기 조인트, 코너 조인트, 에지 조인트, 랩 조인트, 티 조인트 등인지 결정할 수 있다.

일부 실시예에서, 후보 심이 식별되고 검증된 후, 점들의 서브셋이 함께 클러스터되어 연속적이고 연속적인 심을 형성할 수 있다. 단계(908)에서, 방법(900)은 후보 심에 기초하여 웰딩 로봇에 대한 웰딩 명령을 생성하는 것을 포함한다. 예를 들어, 웰딩 명령은 포인트 서브셋의 한쪽 끝에서 포인트 서브셋의 다른 쪽 끝까지의 경로를 추적하여 생성될 수 있다. 이렇게 하면 심의 경로가 생성될 수 있다. 다르게 말하면, 웰딩 헤드로 이 경로를 추적하여 웰딩을 만들 수 있다. 또한 식별되고 지역화된 후보 심을 기반으로 경로 계획을 수행할 수 있다. 예를 들어, 점의 서브셋을 클러스터링하여 생성할 수 있는 심의 경로를 기반으로 경로 계획을 수행할 수 있다.

일부 실시예에서, 웰딩 명령은 심의 유형(예를 들어 맞대기 심, 코너 심, 모서리 심, 랩 심, T자형 심 등)에 기초할 수 있다. 일부 실시예에서, 웰딩 명령은 사용자 인터페이스(예를 들어, 도 1의 사용자 인터페이스(106))를 통한 사용자로부터의 입력에 기초하여 업데이트될 수 있다. 사용자는 사용자 인터페이스를 통해 사용 가능한 모든 후보 심 중에서 웰딩할 후보 심을 선택할 수 있다. 선택한 후보 심에 대해 경로 계획을 수행할 수 있으며 선택한 후보 심에 대한 웰딩 명령을 생성할 수 있다. 일부 실시예에서, 사용자는 사용자 인터페이스를 통해 웰딩 파라미터를 업데이트할 수 있다. 웰딩 명령은 업데이트된 웰딩 파라미터에 따라 업데이트될 수 있다.

이러한 방식으로, 웰딩 로봇은 웰딩할 파트에 대한 사전 정보(예를 들어 CAD 모델) 없이 방법(900)을 구현함으로써 작동 및 제어될 수 있다. 웰딩 명령을 생성하기 위해 파트가 스캔되므로 파트의 스캔된 이미지 리프레젠테이션에 하나 이상의 후보 심이 애노테이션으로 추가될 수 있다(예컨대, 사용자 인터페이스를 통해). 애노테이션이 달린 리프레젠테이션을 사용하여 파트의 3D 모델을 정의할 수 있다. 파트의 3D 모델은 파트의 추가 인스턴스를 후속 웰딩하기 위해 데이터베이스에 저장할 수 있다.

도 10은 다양한 실시예에 따른 오토노머스 웰딩을 수행하기 위한 방법(1000)의 흐름도이다. 보다 구체적으로, 도 10은 일부 예에 따른 웰딩 로봇(예를 들어, 도 1의 로봇(110))을 작동 및 제어하기 위한 방법(1000)의 흐름도이다. 단계(1002)에서, 방법(1000)은 파트의 CAD 모델에 기초하여 웰딩될 파트 상의 후보 심의 예상 방향 및 예상 위치를 식별하는 단계를 포함한다. 예상 방향과 예상 위치는 사용자/작업자가 CAD 모델에 제공한 애노테이션을 사용하여 결정될 수 있다. 추가적으로 또는 대안적으로, 컨트롤러(예를 들어, 도 1의 컨트롤러(108))는 모델 기하학적 구조에 기초하여 후보 심을 식별하도록 작동가능할 수 있다. 파트의 구성요소를 CAD 모델의 구성요소와 일치시키기 위해 객체 일치를 수행할 수 있다. 즉, 객체 매칭을 기반으로 후보 심의 예상 위치와 방향을 식별할 수 있다.

단계(1004)에서, 방법(1000)은 하나 이상의 센서(예를 들어, 도 1의 센서(들)(102))를 사용하여 워크스페이스(예를 들어, 도 1의 워크스페이스(101))의 이미지 데이터를 획득하는 단계를 포함한다. 이미지 데이터에는 워크스페이스의 2D 및/또는 3D 이미지가 포함될 수 있다. 전술한 바와 같이, 작업공간은 웰딩될 하나 이상의 파트와 파트를 안전한 방식으로 고정할 수 있는 픽스쳐 및/또는 클램프를 포함할 수 있다. 일부 실시예에서, 이미지 데이터로부터 포인트 클라우드가 생성될 수 있다. 예를 들어, 영상을 서로 겹쳐서 3차원 영상 데이터를 재구성하고 생성할 수 있다. 3D 이미지 데이터를 조합하여 포인트 클라우드를 생성할 수 있다.

일부 실시예에서, 웰딩 명령을 생성하는 처리 시간을 줄이기 위해 센서는 부분 스캔을 수행하도록 구성된다. 다르게 말하면 워크스페이스를 모든 각도에서 스캔하는 대신 몇 가지 각도(예컨대, 후보 심이 보일 것으로 예상되는 각도)에서 이미지 데이터가 수집된다. 이러한 실시예에서 이미지 데이터로부터 생성된 포인트 클라우드는 부분 포인트 클라우드이다. 예를 들어 모델에서 웰딩할 심이 포함되지 않은 것으로 표시된 파트 부분을 포함하지 않는 부분 포인트 크라우드를 생성하면 스캔 및/또는 처리 시간을 줄일 수 있다.

단계(1006)에서, 방법(1000)은 이미지 데이터, 포인트 클라우드, 및/또는 부분 포인트 클라우드에 기초하여 후보 심을 식별하는 것을 포함한다. 예를 들어, 컨트롤러(108)(도 1)는 위에서 설명한 기술을 사용하여 후보 심을 식별할 수 있다.

단계(1008)에서, 방법(1000)은 후보 심의 실제 위치 및 실제 방향을 식별하는 것을 포함한다. 예를 들어, 단계 1002에서 점의 제1 서브셋이 모델링된 심으로 식별될 수 있다. 단계 1006에서, 점들의 제2 서브셋이 후보 심으로 식별될 수 있다. 일부 실시예에서, 포인트의 제1 하위 셋과 포인트의 제2 하위 셋이 비교될 수 있다(예를 들어, 도 6과 관련하여 위에 설명된 등록 기술을 사용하여). 후보 심의 실제 위치와 방향을 결정하기 위해 점의 제1 서브셋을 변형할 수 있다. 일부 실시예에서, 점들의 제1 서브셋과 점들의 제2 서브셋 사이의 비교는 점들의 제1 서브셋에 대한 허용오차(예를 들어, 후보 심의 예상 위치 및 예상 방향)를 결정하는 데 도움이 될 수 있다. 이러한 실시예에서, 점의 제1 서브셋은 후보 심의 실제 위치와 방향을 결정하기 위해 공차를 기반으로 변형되도록 허용될 수 있다. 다르게 말하면, 후보 심의 예상 위치와 예상 방향은 후보 심의 실제 위치와 실제 방향을 결정하기 위해 (일부 실시예에서는 허용 오차를 기반으로) 정제될 수 있다. 이러한 변형/정제 기술은 CAD 모델(예를 들어, 단계 1002의 CAD 모델)에서 정확하게 리프레젠테이션되지 않는 파트 표면의 지형을 설명할 수 있다.

단계(1010)에서, 방법(1000)은 후보 심의 실제 위치 및 실제 방향에 기초하여 웰딩 로봇에 대한 웰딩 명령을 생성하는 단계를 포함한다. 예를 들어, 후보 심의 실제 위치와 실제 방향을 기반으로 경로 계획을 수행할 수 있다.

도 9의 방법(900)과 같이, 후보 심의 실제 위치와 실제 방향이 식별되면, 방법(1000)은 위에서 설명된 기술을 사용하여 후보 심을 검증하는 단계를 포함할 수 있다. 그러나 방법(900)과 달리 방법(1000)에서는 사용자 상호작용이 필요하지 않을 수도 있다. 이는 웰딩할 하나 이상의 심이 이미 CAD 모델에 애노테이션으로 표시되어 있을 수 있기 때문이다. 따라서 어떤 경우에는 웰딩 로봇이 사용자 상호 작용 없이 방법(1000)을 구현함으로써 작동 및 제어될 수 있다.

추가로, 또는 방법(1000)과 관련하여 위에서 설명한 단계에 대한 대안으로, 웰딩 로봇(예를 들어, 도 1의 로봇(110))은 다음과 같은 방식으로 오토노머스 웰딩을 수행하기 위해 웰딩 로봇을 작동 및 제어할 수 있다. 로봇(110), 특히 로봇(11)의 컨트롤러(108)는 워크스페이스 내의 파트의 위치(예: 포지셔너의 부품 위치)를 결정하고 파트의 리프레젠테이션(예: 포인트 클라우드 리프레젠테이션)을 생성하기 위해 파트가 포함된 워크스페이스를 스캔할 수 있다. 컨트롤러(108)에는 파트의 애노테이션이 달린 CAD 모델이 제공될 수 있다. 그런 다음, 컨트롤러(108)는 파트의 CAD(Computer Aided Design) 모델 및 파트의 리프레젠테이션에 따라(또는 그에 기초하여) 파트 상의 후보 심의 예상 위치 및 예상 방향을 결정할 수 있다. 예를 들어, 컨트롤러(108)는 모델 기하학적 구조에 기초하여 후보 심을 식별하도록 동작할 수 있고, 즉, 파트 리프레젠테이션의 구성요소 또는 특징(예를 들어 지형학적 특징)을 CAD 모델의 구성요소 또는 특징과 일치시키기 위해 객체 매칭이 수행될 수 있으며, 컨트롤러(108)는 파트 상의 후보 심의 예상 위치 및 예상 방향을 결정하는 데 이 객체 매칭을 사용하도록 동작가능할 수 있다. 예상 위치 및 방향이 결정되면, 컨트롤러(108)는 파트의 리프레젠테이션에 적어도 부분적으로 기초하여 후보 심의 실제 위치 및 실제 방향을 결정할 수 있다. 실제 위치 및 방향은 단계(1008)에 설명된 변형/정제 기술을 사용하여 결정될 수 있다.

도 11은 다양한 실시예에 따른 오토노머스 웰딩을 수행하기 위한 방법(1100)의 흐름도이다. 보다 구체적으로, 도 11에는 로보틱 제조 환경에서 제조 로봇(110)(도 1)의 작동에 대한 예시적인 방법(1100)이 도시되어 있다. 제조 작업(예를 들어, 웰딩)이 수행될 하나 이상의 파트(114)은 제조 워크스페이스(101)의 다른 픽스쳐(116)(예를 들어, 포지셔너)에 픽스쳐(116)을 사용하여 위치 지정 및/또는 고정되는 것으로 가정된다. 하나 이상의 파트(114)을 배치한 후에 방법(1100)이 시작될 수 있다. 초기 단계로서, 방법(1100)은 하나 이상의 부분을 스캐닝하는 것을 포함한다(예를 들어, 블록 1110). 스캐닝은 하나 이상의 센서(102)(예를 들어, 로봇(110)에 연결되지 않은 스캐너)에 의해 수행될 수 있으며; 컨트롤러(108)는 제조 워크스페이스(101) 내의 파트의 위치를 결정하고 센서로부터 획득된 이미지 데이터 및/또는 이미지 또는 센서 데이터로부터 도출된 포인트 클라우드를 사용하여 파트 상의 하나 이상의 심을 식별하도록 구성될 수 있다(블록 1112 및 1114). 파트와 심은 도 1과 관련하여 설명된 기술 중 하나를 기반으로 위치를 파악하고 식별할 수 있다. 파트 및 심 위치가 결정되면, 컨트롤러(108)는 식별된 심을 따라 제조 로봇(110)에 대한 경로를 플롯팅한다(블록 1116). 플롯된 경로는 제조 워크스페이스(101)에서 자체 또는 다른 것과 충돌하지 않고 웰딩을 완료하기 위해 제조 로봇(110)의 최적화된 모션 파라미터를 포함할 수 있다. 웰딩을 완료하기 위해 제조 로봇(110)의 최적화된 동작 파라미터를 생성하는 데 인간의 입력이 필요하지 않다. 경로/궤적은 위에서 설명한 경로 계획 기술 중 하나를 기반으로 계획될 수 있다.

"위치" 및 "방향"이라는 용어는 위의 공개에서 별도의 개체로 설명된다. 그러나 파트와 관련하여 사용되는 "위치"라는 용어는 " 파트가 배치되거나 배열되는 특정 방식"을 의미한다. 심과 관련하여 사용되는 "위치"라는 용어는 "파트의 심이 위치하거나 방향을 지정하는 특정 방식"을 의미한다. 따라서 파트/심의 위치는 본질적으로 파트/심의 방향을 설명할 수 있다. 따라서 '위치'에는 '방향'이 포함될 수 있다. 예를 들어, 위치에는 파트 또는 후보 심의 상대적인 물리적 위치나 방향(예컨대, 각도)이 포함될 수 있다.

달리 명시하지 않는 한, 값보다 앞선 "대략", "대략" 또는 "실질적으로"는 명시된 값의 +/- 10%를 의미한다. 달리 명시하지 않는 한, "평행"으로 설명된 두 개체는 나란히 있고 두 개체 사이의 거리는 일정하거나 10% 이하로 변화한다. 달리 명시하지 않는 한, 수직인 것으로 설명되는 두 객체는 80도에서 100도 사이의 각도로 교차한다. 설명된 실시예에서는 수정이 가능하며, 청구 범위 내에서 다른 예도 가능하다.

Claims

웰딩(welding) 로봇(robot)에 대한 명령(instruction)을 생성하는 컴퓨터-구현된(computer-implemented) 방법으로서,
웰딩 될 파트(part)의 Computer Aided Design(CAD) 모델(model)에 기초하여 상기 파트 상 후보(candidate) 심(seam)의 예상되는 위치를 식별(identifying)하는 것;
상기 파트의 리프레젠테이션(representation)을 생성하도록 상기 파트를 포함하는 워크스페이스(workspace)를 스캔(scanning)하는 것;
상기 후보 심의 예상되는 위치 및 상기 파트의 리프레젠테이션에 기초하여 상기 파트 상 후보 심을 식별하는 것;
상기 후보 심의 실제 위치를 결정하는 것; 및
상기 후보 심의 실제 위치에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 대한 웰딩 명령을 생셩하는 것;
을 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 후보 심의 실제 위치를 결정하는 것은,
상기 파트의 리프레젠테이션에 적어도 부분적으로 기초하여 상기 후보 심의 예상되는 위치를 업데이트(update)하는 것
을 더 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 후보 심의 실제 위치를 결정하는 것은,
상기 파트의 리프레젠테이션에 적어도 부분적으로 기초하여 상기 후보 심의 예상되는 위치에 대한 톨러렌스(tolerance)를 결정하는 것; 및
상기 톨러렌스에 적어도 부분적으로 기초하여 상기 후보 심의 예상되는 위치를 리파이닝(refining)하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 후보 심의 예상되는 위치를 식별하는 것은 상기 CAD 모델 내 컴포넌트(component)의 리프레젠테이션을 웰딩 될 파트 상의 상기 컴포넌트에 매칭(matching)하는 것을 더 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 CAD 모델은 상기 후보 심의 어노테이션(annotation)을 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 후보 심을 식별하는 것은
상기 파트의 리프레젠테이션에 기초하여 웰딩될 파트 상의 복수의 포인트, 즉 심을 형성하는 복수의 포인트 중 적어도 일부 포인트를 식별하는 것
을 더 포함하는,
컴퓨터-구현된 방법.
제1항에 있어서,
상기 후보 심을 식별하는 것은,
상기 파트의 리프레젠테이션에 기초하여 웰딩될 파트 상의 복수의 포인트, 즉 심을 형성하는 복수의 포인트 중 적어도 일부 포인트를 식별하는 것;
상기 후보 심이 심인지 확인(verify)하는 것; 및
뉴럴 네트워크(neural network)를 이용하여, 상기 후보 심을 심의 타입(type)으로 식별하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제7항에 있어서,
상기 후보 심이 심인지 확인하는 것은,
이미지 데이터의 적어도 서브셋(subset)을 분석하는 것으로서, 상기 이미지 데이터의 서브셋이 상기 파트의 복수의 이미지를 포함하고, 상기 복수의 이미지로부터의 각 이미지는 상이한 앵글(angle)로부터 상기 파트의 포션(portion)을 캡쳐한 것인, 분석하는 것;
상기 복수의 이미지로부터의 각 이미지에 대하여: 상기 후보 심이 실제 심인지의 컨피던스(confidence) 값을 결정하는 것; 및
상기 복수의 이미지로부터의 각 이미지에 대한 컨피던스 값에 기초하여 상기 후보 심이 상기 심인지 확인하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
웰딩 로봇에 대해 웰딩 명령을 생성하는 컴퓨터-구현된 방법으로서, 상기 컴퓨터-구현된 방법은,
센서를 통해, 웰딩될 파트를 포함하는 워크스페이스의 이미지 데이터를 수득하는 것;
상기 이미지 데이터에 기초하여 웰딩될 파트 상 복수의 포인트를 식별하는 것;
상기 복수의 포인트로부터 웰딩될 파트 상 후보 심을 식별하는 것; 및
상기 후보 심의 식별에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 대한 웰딩 명령을 생성하는 것;
을 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
상기 후보 심을 식별하는 것은
상기 이미지 데이터에 기초하여 상기 파트에 대해 상기 심을 로컬라이징(localizing)하는 것을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
상기 후보 심을 식별하는 것은 상기 후보 심을 형성하는 복수의 포인트 중 포인트의 서브셋을 식별하는 것을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
상기 웰딩 명령은 상기 파트를 웰딩하는 웰딩 로봇에 대한 웰딩 경로(path)를 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
뉴럴 네트워크를 이용하여, 상기 이미지 데이터에 기초하여 클램프 또는 픽스쳐 중 하나 이상으로서 상기 워크스페이스에 포함된 하나 이상의 오브젝트(object)를 분류(classifying)하는 것
을 더 포함하는,
컴퓨터-구현된 방법.
제13항에 있어서,
상기 하나 이상의 오브젝트를 분류하는 것은,
상기 이미지 데이터의 픽셀-와이즈(pixel-wise) 분류(classification)을 수행하는 것
을 더 포함하는,
컴퓨터-구현된 방법.
제14항에 있어서,
상기 픽셀-와이즈 분류에 기초하여 하나 이상의 오브젝트의 리프레젠테이션을 포함하는 상기 이미지 데이터를 포함하는 하나 이상의 이미지 내 제1 포션을 식별하는 것; 및
상기 하나 이상의 이미지의 제2 포션으로부터 또 다른(another) 후보 심을 식별하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
벗 조인트(butt joint), 코너 조인트(corner joint), 엣지 조인트(edge joint), 랩 조인트(lap joint), 및 티 조인트(tee joint)로 구성된 심의 타입(type)의 군(group)에 속하는 것으로 상기 후보 심을 식별하는 것;을 더 포함하고,
상기 웰딩 명령은 상기 심의 타입에 적어도 부분적으로 기초하여 생성되는.
컴퓨터-구현된 방법.
제9항에 있어서,
상기 후보 심을 식별하는 것은
상기 후보 심이 심인지 확인하는 것; 및
뉴럴 네트워크를 이용하여 심의 타입으로서 상기 후보 심을 식별하는 것;
을 포함하는,
컴퓨터-구현된 방법.
제17항에 있어서,
상기 후보심이 심인지 확인하는 것은
상기 이미지 데이터의 적어도 서브셋을 분석하는 것으로서, 상기 이미지 데이터의 서브셋이 상기 파트의 복수의 이미지를 포함하고, 상기 복수의 이미지로부터의 각 이미지는 상이한 앵글로부터 상기 파트의 포션을 캡쳐한 것인, 분석하는 것;
상기 복수의 이미지로부터의 각 이미지에 대하여: 상기 후보 심이 실제 심인지의 컨피던스 값을 결정하는 것; 및
상기 복수의 이미지로부터의 각 이미지에 대한 컨피던스 값에 기초하여 상기 후보 심이 상기 심인지 확인하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
상기 후보 심을 식별하는 것은:
상기 심이 심인지 확인하는 것;
뉴럴 네트워크를 이용하여, 상기 후보심을 심의 타입으로 식별하는 것; 및
상기 후보 심이 상기 심임을 확인하는 것에 응답으로, 상기 복수의 포인트 내 포인트의 서브셋의 클러스터를 정의(defining)하고, 이에 의해 상기 심을 형성하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
상기 후보 심은 제1 후보 심이고, 상기 컴퓨터-구현된 방법은,
유저 인터페이스(user interface)를 통해, 및 유저에게, 웰딩 될 수 있는 복수의 후보 심을 디스플레이(displaying)하는 것으로서, 상기 복수의 후보 심은 제1 후보 심을 포함하는, 디스플레이 하는 것;
상기 유저 인터페이스를 통해, 상기 복수의 후보 심으로부터의 제2 후보 심이 웰딩 될 것이라는 인디케이션(indication)을 리시브(receiving)하는 것; 및
상기 웰딩 로봇에 관한 상기 웰딩 명령을 업데이트(updating)하여, 상기 웰딩 로봇이 상기 제2 후보 심을 웰딩하는 명령을 받도록(instructed) 업데이트 하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
유저 인터페이스를 통해, 유저로부터 웰딩 파라미터(parameter)의 변화를 리시브 하는 것;
및
상기 웰딩 파라미터 내 상기 변화에 적어도 부분적으로 기초하여 상기 웰딩 로봇에 관한 상기 웰딩 명령을 업데이트 하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
웰딩 될 상기 파트를 스캔하는 것;
웰딩 될 상기 파트 상 하나 이상의 후보 심을 웰딩하는 명령을 포함하는 유저로부터 유저 인풋(input)을 리시브하는 것; 및
상기 스캔 및 상기 유저 인풋에 적어도 부분적으로 기초하여 웰딩 될 상기 파트의 3D 모델을 정의하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
제9항에 있어서,
웰딩 될 상기 파트를 스캔하는 것;
웰딩 될 상기 파트 상 하나 이상의 후보 심을 웰딩하는 명령을 포함하는 유저로부터 유저 인풋을 리시브하는 것;
상기 스캔 및 상기 유저 인풋에 적어도 부분적으로 기초하여 웰딩 될 상기 파트의 3D 모델을 정의하는 것; 및
데이터베이스(database) 내 웰딩 될 상기 파트의 3D 모델을 세이브(saving)하는 것;
을 더 포함하는,
컴퓨터-구현된 방법.
웰딩 로봇에 대한 명령을 생성하는 컴퓨터-구현된 방법으로서, 상기 컴퓨터-구현된 방법은:
상기 파트를 포함하는 워크스페이스를 스캔하여:
- 상기 워크스페이스 내 상기 파트의 위치를 결정하는 것; 및
- 상기 파트의 리프레젠테이션을 생성하는 것;
상기 파트의 상기 리프레젠테이션 및 상기 파트의 Computer Aided Design (CAD) 모델에 따라 웰딩 될 파트 상 후보 심의 예상되는 위치를 결정하는 것; 및
상기 파트의 상기 리프레젠테이션에 적어도 부분적으로 기초하여 상기 후보 심의 실제 위치를 결정하는 것;
을 포함하는,
컴퓨터-구현된 방법.
제24항에 있어서,
상기 CAD 모델은 상기 후보 심의 어노테이션을 포함하는,
컴퓨터-구현된 방법.
제25항에 있어서,
상기 후보 심의 실제 위치를 결정하는 것은 상기 파트의 리프레젠테이션에 적어도 부분적으로 기초하여 상기 후보 심의 예상되는 위치를 업데이트하는 것을 포함하는,
컴퓨터-구현된 방법.