KR20230162042A - 통합 모바일 조작기 로봇을 위한 인식 마스트 - Google Patents
통합 모바일 조작기 로봇을 위한 인식 마스트 Download PDFInfo
- Publication number
- KR20230162042A KR20230162042A KR1020237036791A KR20237036791A KR20230162042A KR 20230162042 A KR20230162042 A KR 20230162042A KR 1020237036791 A KR1020237036791 A KR 1020237036791A KR 20237036791 A KR20237036791 A KR 20237036791A KR 20230162042 A KR20230162042 A KR 20230162042A
- Authority
- KR
- South Korea
- Prior art keywords
- recognition
- mast
- mobile robot
- turntable
- robot
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 8
- 239000012636 effector Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/086—Proximity sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0009—Constructional details, e.g. manipulator supports, bases
- B25J9/0027—Means for extending the operation range
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
모바일 로봇을 위한 인식 마스트가 제공된다. 모바일 로봇은 모바일 베이스, 모바일 베이스에 동작 가능하게 결합된 턴테이블 - 턴테이블은 제1 축을 중심으로 회전하도록 구성됨 -, 턴테이블 상의 제1 위치에 동작 가능하게 결합된 팔, 및 턴테이블 상의 제2 위치에 동작 가능하게 결합된 인식 마스트를 포함하고, 인식 마스트는 제1 축에 평행한 제2 축을 중심으로 회전하도록 구성되고, 인식 마스트는 그 위에 배치되고 제1 이미징 모듈과 턴테이블 사이에 배열된 제1 인식 모듈 및 제2 인식 모듈을 포함한다.
Description
로봇은 일반적으로 작업들의 수행을 위해 다양한 프로그래밍된 모션들을 통해 재료, 부품들, 도구들 또는 특수 디바이스들을 이동시키도록 설계된 재프로그래밍 가능한 다기능 조작기로서 정의된다. 로봇들은 물리적으로 고정된 조작기들(예를 들어, 산업용 로봇 팔들), (예컨대, 다리들, 바퀴들 또는 견인 기반 메커니즘들을 사용하여) 환경 전반에서 이동하는 모바일 로봇들, 또는 조작기와 모바일 로봇의 일부 조합일 수 있다. 로봇들은 예를 들어 제조, 창고 물류, 운송, 위험한 환경들, 탐사, 의료를 포함하는 다양한 산업들에서 이용된다.
일부 실시예들은 모바일 베이스, 모바일 베이스에 동작 가능하게 결합된 턴테이블 - 턴테이블은 제1 축을 중심으로 회전하도록 구성됨 -, 턴테이블 상의 제1 위치에 동작 가능하게 결합된 팔, 및 턴테이블의 제2 위치에 동작 가능하게 결합된 인식 마스트를 포함하는 모바일 로봇에 관한 것이며, 인식 마스트는 제1 축에 평행한 제2 축을 중심으로 회전하도록 구성되고, 인식 마스트는 그 위에 배치되고 제1 이미징 모듈과 턴테이블 사이에 배열되는 제1 인식 모듈 및 제2 인식 모듈을 포함한다.
일 양태에서, 모바일 로봇은 턴테이블의 회전 및 제1 위치와 제2 위치 사이의 거리에 적어도 부분적으로 기초하여 인식 마스트의 회전을 제어하도록 구성된 제어 회로를 더 포함한다. 다른 양태에서, 제1 인식 모듈 및 제2 인식 모듈 각각은 2차원(2D) 컬러 카메라, 깊이 센서 및 적어도 하나의 광원을 포함한다. 다른 양태에서, 깊이 센서는 비행 시간(TOF) 카메라를 포함한다. 다른 양태에서, 깊이 센서는 입체 카메라를 포함한다. 다른 양태에서, 2D 카메라는 적색-녹색-청색(RGB) 단안 카메라를 포함한다. 다른 양태에서, 제1 인식 모듈 및 제2 인식 모듈은 인식 마스트의 동일한 측면을 따라 배열된다. 다른 양태에서, 제1 및 제2 인식 모듈들은 인식 마스트의 동일한 측면을 따라 제1 및 제2 이미징 모듈들 사이의 거리를 최대화하도록 배열된다. 다른 양태에서, 제1 인식 모듈의 시야와 제2 인식 모듈의 시야는 중첩되지 않는다. 다른 양태에서, 인식 마스트는 제1 및 제2 인식 모듈들이 배열되는 동일한 측면으로서의 제1 측면을 포함하는 복수의 측면을 포함하고, 인식 마스트는 그 위에 배치되고 제1 측면 이외의 인식 마스트의 측면에 배열되는 제3 인식 모듈을 더 포함한다. 다른 양태에서, 제어 회로는 제1 인식 모듈 및/또는 제2 인식 모듈의 출력에 적어도 부분적으로 기초하여 팔의 동작을 제어하도록 더 구성된다.
일 양태에서, 제2 위치는 턴테이블의 외측 에지에 있다. 다른 양태에서, 모바일 로봇은 반대 방향들에서의 인식 마스트의 회전과 턴테이블의 회전을 동시에 제어하도록 구성된 제어 회로를 더 포함한다. 다른 양태에서, 인식 마스트는 그 위에 배치되고 모바일 로봇 외부의 시스템으로부터 신호들을 수신하도록 구성된 적어도 하나의 안테나를 더 포함한다. 다른 양태에서, 인식 마스트는 모바일 로봇의 환경에서 물체에 부착된 식별자 태그를 스캐닝하도록 구성된 스캐너를 더 포함한다. 다른 양태에서, 모바일 로봇은 모바일 로봇이 이동 중일 때 하나 이상의 이미지를 캡처하기 위해 제1 인식 모듈 및 제2 인식 모듈의 동작을 제어하도록 구성된 제어 회로를 더 포함한다. 다른 양태에서, 제어 회로는 모바일 로봇이 이동 중일 때 제1 인식 모듈 및/또는 제2 인식 모듈에 의해 캡처된 하나 이상의 이미지에 적어도 부분적으로 기초하여 모바일 로봇의 동작을 제어하도록 더 구성된다. 다른 양태에서, 모바일 로봇의 동작은 모바일 로봇의 이동 방향을 포함한다. 다른 양태에서, 모바일 로봇은 팔에 배치된 적어도 하나의 카메라를 더 포함한다. 다른 양태에서, 제1 인식 모듈은 인식 마스트에 대해 제1 각도로 배향되고, 제2 인식 모듈은 인식 마스트에 대해 제2 각도로 배향되며, 제1 각도와 제2 각도는 상이하다.
일부 실시예들은 모바일 로봇에 의해 하나 이상의 이미지를 캡처하는 방법에 관한 것이다. 방법은 모바일 로봇의 턴테이블의 제1 방향으로의 회전 동안, 제1 방향에 반대인 제2 방향으로의 인식 마스트의 회전을 제어하는 단계 - 인식 마스트는 턴테이블에 동작 가능하게 결합되고, 인식 마스트는 그 위에 배치된 복수의 인식 모듈을 가짐 -, 및 복수의 인식 모듈에 의해 턴테이블 및 인식 마스트의 회전 동안 하나 이상의 이미지를 캡처하는 단계를 포함한다.
일 양태에서, 하나 이상의 이미지를 캡처하는 단계는 턴테이블이 동작 가능하게 결합되는 모바일 베이스의 이동 동안 하나 이상의 이미지를 캡처하는 단계를 포함한다.
전술한 개념들 및 이하에서 설명되는 추가 개념들은, 본 개시가 이와 관련하여 제한되지 않으므로, 임의의 적절한 조합으로 배열될 수 있음을 이해해야 한다. 또한, 본 개시의 다른 장점들 및 새로운 특징들은 첨부 도면들과 함께 고려될 때 다양한 비제한적인 실시예들에 대한 다음의 상세한 설명으로부터 명백해질 것이다.
첨부 도면들은 축척으로 그려지도록 의도된 것이 아니다. 도면들에서, 다양한 도면들에 예시된 각각의 동일한 또는 거의 동일한 컴포넌트는 유사한 숫자로 표현될 수 있다. 명확성을 위해, 모든 컴포넌트가 모든 도면에서 라벨링되지는 않을 수 있다. 도면들에서:
도 1a는 로봇의 일 실시예의 사시도이다.
도 1b는 도 1a의 로봇의 다른 사시도이다.
도 2a는 창고 환경에서 작업들을 수행하는 로봇을 도시한다.
도 2b는 트럭에서 상자들을 언로딩하는 로봇을 도시한다.
도 2c는 창고 통로에서 팔레트를 구축하는 로봇을 도시한다.
도 3a는 로봇의 일 실시예의 사시도이다.
도 3b는 도 3a의 로봇의 다른 사시도이다.
도 4는 로봇의 턴테이블의 일 실시예의 개략 평면도이다.
도 5는 일부 실시예들을 구현하는 데 사용될 수 있는 컴퓨터 시스템의 예이다.
도 1a는 로봇의 일 실시예의 사시도이다.
도 1b는 도 1a의 로봇의 다른 사시도이다.
도 2a는 창고 환경에서 작업들을 수행하는 로봇을 도시한다.
도 2b는 트럭에서 상자들을 언로딩하는 로봇을 도시한다.
도 2c는 창고 통로에서 팔레트를 구축하는 로봇을 도시한다.
도 3a는 로봇의 일 실시예의 사시도이다.
도 3b는 도 3a의 로봇의 다른 사시도이다.
도 4는 로봇의 턴테이블의 일 실시예의 개략 평면도이다.
도 5는 일부 실시예들을 구현하는 데 사용될 수 있는 컴퓨터 시스템의 예이다.
로봇들은 통상적으로 그들이 배치된 환경에서 다양한 작업들을 수행하도록 구성된다. 일반적으로, 이러한 작업들은 물체들 및/또는 환경의 요소들과 상호 작용하는 것을 포함한다. 특히, 로봇들은 창고 및 물류 작업들에서 대중화되고 있다. 이러한 공간들에 로봇들을 도입되기 전에는 많은 작업들이 수동으로 수행되었다. 예를 들어, 한 사람이 트럭에서 컨베이어 벨트의 한쪽 끝으로 상자들을 수동으로 언로딩할 수 있고, 컨베이어 벨트의 반대쪽 끝에 있는 제2 사람이 그 상자들을 팔레트 상에 정리할 수 있다. 이어서, 팔레트는 제3 사람에 의해 조작되는 지게차에 의해 픽킹(picking)될 수 있고, 제3 사람은 창고 보관 구역으로 구동하여 팔레트를 내려놓으면 제4 사람이 팔레트에서 개별 상자들을 꺼내 보관 구역의 선반들에 배치할 수 있다. 더 최근에는, 이러한 기능들 중 다수를 자동화하기 위한 로봇 솔루션들이 개발되었다. 이러한 로봇들은 전문 로봇들(즉, 단일 작업 또는 밀접하게 관련된 소수의 작업을 수행하도록 설계됨) 또는 범용 로봇들(즉, 다양한 작업들을 수행하도록 설계됨)일 수 있다. 현재까지, 전문 및 범용 창고 로봇들 모두는 아래에 설명된 바와 같이 상당한 한계들과 연관되었다.
전문 로봇은 트럭에서 컨베이어 벨트로 상자들을 언로딩하는 것과 같은 단일 작업을 수행하도록 설계될 수 있다. 이러한 전문 로봇들은 지정된 작업을 효율적으로 수행할 수 있지만, 별로 관련이 없는 다른 작업들을 임의의 능력으로 수행하지 못할 수도 있다. 따라서, 시퀀스 내의 다음 작업(들)을 수행하기 위해서는 사람 또는 별개의 로봇(예를 들어, 상이한 작업을 위해 설계된 다른 전문 로봇)이 필요할 수 있다. 따라서, 창고는 작업들의 시퀀스를 수행하기 위해 다수의 전문 로봇에 투자해야 할 수 있거나, 로봇에서 사람으로의 또는 사람에서 로봇으로의 빈번한 물체 전달이 존재하는 하이브리드 작업에 의존해야 할 수 있다.
대조적으로, 범용 로봇은 다양한 작업들을 수행하도록 설계될 수 있으며, 트럭에서 선반까지의 상자의 라이프 사이클의 대부분(예를 들어, 언로딩, 팔레타이징, 운반, 디팔레타이징, 보관)에 걸쳐 상자를 취할 수도 있다. 이러한 범용 로봇들은 다양한 작업들을 수행할 수 있지만, 고도로 간소화된 창고 작업에의 도입을 정당화할 만큼 충분히 높은 효율 또는 정확도로 개별 작업들을 수행하지 못할 수도 있다. 예를 들어, 기성품 로봇 조작기를 기성품 모바일 로봇에 장착하는 것은 이론적으로 많은 창고 작업을 수행할 수 있는 시스템을 산출할 수 있지만, 이렇게 느슨하게 통합된 시스템은 조작기와 모바일 베이스 간의 조정을 필요로 하는 복잡하거나 동적인 모션들을 수행하지 못할 수 있어서, 비효율적이고 유연하지 못한 결합된 시스템을 유발할 수 있다. 창고 환경 내에서의 이러한 시스템의 통상적인 동작은 모바일 베이스와 조작기가 순차적으로 그리고 (부분적으로 또는 전체적으로) 서로 독립적으로 동작하는 것을 포함할 수 있다. 예를 들어, 모바일 베이스는 먼저 조작기의 전원이 꺼진 상태에서 상자들의 스택을 향해 구동할 수 있다. 상자들의 스택에 도달하면, 모바일 베이스가 정지할 수 있고, 베이스가 정지한 상태로 있을 때 조작기는 전원이 켜지고 상자들의 조작을 시작할 수 있다. 조작 작업이 완료된 후, 조작기의 전원이 다시 꺼질 수 있고, 모바일 베이스는 다음 작업을 수행하기 위해 다른 목적지로 구동할 수 있다. 위의 설명으로부터 이해되어야 하는 바와 같이, 이러한 시스템들 내의 모바일 베이스와 조작기는 사실상 함께 결합된 2개의 별개의 로봇이며, 따라서 조작기와 연관된 컨트롤러는 모바일 베이스와 연관된 별개의 컨트롤러와 정보를 공유하거나, 컨트롤러에 커맨드들을 전달하거나, 컨트롤러로부터 커맨드들을 수신하도록 구성되지 않을 수 있다. 따라서, 이러한 열악하게 통합된 모바일 조작기 로봇은 2개의 별개의 컨트롤러가 함께 동작하는 데 어려움을 겪기 때문에 조작기와 베이스 모두를 최적이 아닌 속도로 또는 최적이 아닌 궤적을 통해 동작시켜야 할 수 있다. 또한, 완전히 엔지니어링 관점에서 발생하는 한계들이 있지만, 안전 규정들을 준수하기 위해 부과되어야 하는 추가적인 한계들이 있다. 예를 들어, 안전 규정에서 사람이 로봇과 일정 거리 이내의 영역에 진입할 때 일정 시간 내에 모바일 조작기가 완전히 셧다운될 수 있어야 한다고 요구하는 경우, 느슨하게 통합된 모바일 조작기 로봇은 조작기와 모바일 베이스 모두가 (개별적으로 또는 전체적으로) 사람에게 위협이 되지 않도록 보장하기 위해 충분히 신속하게 행동하지 못할 수도 있다. 이러한 느슨하게 통합된 시스템들이 필요한 안전 제약 조건 내에서 동작하도록 보장하기 위해, 이러한 시스템들은 엔지니어링 문제로 인해 이미 부과된 제한된 속도와 궤적보다 훨씬 더 느린 속도로 동작하거나 훨씬 더 보수적인 궤적을 실행해야 한다. 따라서, 지금까지 창고 환경들에서 작업들을 수행하는 범용 로봇들의 속도와 효율은 제한되었다.
위를 고려하여, 본 발명자들은 시스템 레벨의 기계적 설계 및 조작기와 모바일 베이스 사이의 전체적인 제어 전략을 갖춘 고도로 통합된 모바일 조작기 로봇이 창고 및/또는 물류 작업들에서의 특정 이익들과 연관될 수 있음을 인식하고 이해하였다. 이러한 통합된 모바일 조작기 로봇은 종래의 느슨하게 통합된 모바일 조작기 시스템들에 의해 달성될 수 없는 복잡하고/하거나 동적인 모션들을 수행할 수도 있다. 결과적으로, 이러한 유형의 로봇은 (예를 들어, 창고 환경 내에서) 다양한 상이한 작업들을 빠르고 민첩하고 효율적으로 수행하는 데 매우 적합할 수 있다.
예시적인 로봇 개요
이 섹션에서는 다양한 작업들을 수행하도록 구성된 고도로 통합된 모바일 조작기 로봇의 일 실시예의 일부 컴포넌트들에 대한 개요가 로봇의 다양한 서브시스템들 간의 상호 작용들 및 상호 의존성들을 설명하기 위해 제공된다. 다양한 서브시스템들 각각은 물론, 서브시스템들을 동작시키기 위한 제어 전략들도 다음 섹션들에서 더 상세히 설명된다.
도 1a 및 도 1b는 로봇(100)의 일 실시예의 사시도들이다. 로봇(100)은 모바일 베이스(110) 및 로봇 팔(130)을 포함한다. 모바일 베이스(110)는 모바일 베이스가 수평 평면 내에서 임의의 방향으로 병진하는 것은 물론 평면에 수직인 수직 축을 중심으로 회전할 수 있도록 하는 전방향 구동 시스템을 포함한다. 모바일 베이스(110)의 각각의 바퀴(112)는 독립적으로 조향 가능하고 독립적으로 구동 가능하다. 모바일 베이스(110)는 로봇(100)이 그의 환경에서 안전하게 이동하도록 지원하는 다수의 거리 센서(116)를 추가로 포함한다. 로봇 팔(130)은 3개의 피치 조인트와 3DOF 손목을 포함하는 6 자유도(6DOF) 로봇 팔이다. 엔드 이펙터(150)는 로봇 팔(130)의 원위 단부에 배치된다. 로봇 팔(130)은 모바일 베이스(110)에 대해 회전하도록 구성된 턴테이블(120)을 통해 모바일 베이스(110)에 동작 가능하게 결합된다. 로봇 팔(130)에 더하여, 인식 마스트(140)도 턴테이블(120)에 결합되어, 모바일 베이스(110)에 대한 턴테이블(120)의 회전이 로봇 팔(130)과 인식 마스트(140)를 모두 회전시키도록 한다. 로봇 팔(130)은 인식 마스트(140)와의 충돌을 피하기 위해 운동학적으로 제한된다. 인식 마스트(140)는 턴테이블(120)에 대해 회전하도록 추가로 구성되며, 로봇의 환경 내의 하나 이상의 물체에 대한 정보를 수집하도록 구성된 다수의 인식 모듈(142)을 포함한다. 로봇(100)의 통합 구조 및 시스템 레벨 설계는 다수의 상이한 응용에서 빠르고 효율적인 동작을 가능하게 하며, 응용들 중 일부가 아래에 예들로서 제공된다.
도 2a는 창고 환경 내에서 상이한 작업들을 수행하는 로봇들(10a, 10b, 및 10c)을 도시한다. 제1 로봇(10a)은 트럭(또는 컨테이너) 내부에 있으며, 트럭 내의 스택에서 컨베이어 벨트(12)로 상자들(11)을 이동시킨다(이 특정 작업은 도 2b를 참조하여 아래에서 더 상세히 설명된다). 컨베이어 벨트(12)의 반대쪽 끝에서, 제2 로봇(10b)이 상자들(11)을 팔레트(13) 상에 정리한다. 창고의 별개의 영역에서, 제3 로봇(10c)은 선반에서 상자들을 픽킹하여 팔레트 상에 오더(order)를 구축한다(이러한 특정 작업은 도 2c를 참조하여 아래에서 더 상세히 설명된다). 로봇들(10a, 10b 및 10c)은 동일한 로봇(또는 매우 유사한 로봇들)의 상이한 인스턴스들인 것을 이해해야 한다. 따라서, 본 명세서에 설명된 로봇들은 특정 작업들을 정확하고 효율적으로 수행하도록 설계되지만, 하나의 또는 소수의 특정 작업으로만 한정되지 않는다는 점에서 전용 다목적 로봇들로서 이해될 수 있다.
도 2b는 트럭(29)에서 상자들(21)을 언로딩하여 이들을 컨베이어 벨트(22)에 배치하는 로봇(20a)을 도시한다. 이러한 상자 픽킹 응용에서(물론, 다른 상자 픽킹 응용들에서도), 로봇(20a)은 반복적으로 상자를 픽킹하고, 회전하고, 상자를 배치하고, 다음 상자를 픽킹하기 위해 다시 회전한다. 도 2b의 로봇(20a)은 도 1a 및 1b의 로봇(100)과 상이한 실시예이지만, 도 1a 및 1b에서 식별된 로봇(100)의 컴포넌트들을 참조하면 도 2b의 로봇(20a)의 동작에 대한 설명이 용이해질 것이다. 동작 동안, 로봇(20a)의 인식 마스트(도 1a 및 1b의 로봇(100)의 인식 마스트(140)와 유사함)는 그가 장착된 턴테이블(턴테이블(120)과 유사함)의 회전과 무관하게 회전하도록 구성될 수 있어서, 인식 마스트에 장착된 인식 모듈들(인식 모듈들(142)과 유사함)로 하여금 로봇(20a)이 현재 동작을 실행하는 동시에 그의 다음 동작을 계획할 수 있게 하는 환경의 이미지들을 캡처할 수 있게 한다. 예를 들어, 로봇(20a)이 트럭(29)의 상자들의 스택에서 제1 상자를 픽킹하는 동안, 인식 마스트의 인식 모듈들은 제1 상자가 배치될 위치(예컨대, 컨베이어 벨트(22))를 가리키고 이에 대한 정보를 수집할 수 있다. 이어서, 턴테이블이 회전한 후에 그리고 로봇(20a)이 컨베이어 벨트 상에 제1 상자를 배치하는 동안, 인식 마스트는 (턴테이블에 대해) 회전하여, 인식 마스트의 인식 모듈들이 상자들의 스택을 가리키고 상자들의 스택에 대한 정보를 수집할 수 있게 하며, 이 정보는 픽킹될 제2 상자를 결정하는 데 사용된다. 로봇이 제2 상자를 픽킹할 수 있도록 턴테이블이 다시 회전함에 따라, 인식 마스트는 컨베이어 벨트 주변 영역에 대한 업데이트된 정보를 수집할 수 있다. 이러한 방식으로, 로봇(20a)은 그렇지 않으면 순차적으로 수행되었을 수 있는 작업들을 병렬화하여, 보다 빠르고 보다 효율적인 동작을 가능하게 할 수 있다.
또한, 도 2b에서 주목할 점은 로봇(20a)이 사람들(예컨대, 작업자들(27a 및 27b))과 함께 작업하고 있다는 것이다. 로봇(20a)이 전통적으로 사람들에 의해 수행되었던 많은 작업을 수행하도록 구성된다는 점을 감안하면, 로봇(20a)은 사람들이 접근하도록 설계된 영역들에 대한 접근을 가능하게 하고 또한 사람들이 진입할 수 없는 로봇 주변의 안전 구역의 크기를 최소화하기 위해 작은 풋프린트를 갖도록 설계된다.
도 2c는 로봇(30a)이 팔레트(33) 상에 상자들(31)을 배치하는 오더 구축 작업을 수행하는 로봇(30a)을 도시한다. 도 2c에서, 팔레트(33)는 자율 모바일 로봇(AMR)(34) 위에 배치되지만, 이 예에 설명된 로봇(30a)의 능력들은 AMR과 연관되지 않은 팔레트들의 구축에 적용된다는 점을 이해해야 한다. 이 작업에서, 로봇(30a)은 창고의 선반(35) 위, 아래 또는 내에 배치된 상자들(31)을 픽킹하고, 팔레트(33) 상에 상자들을 배치한다. 선반에 대한 특정 상자 위치들 및 배향들은 상이한 상자 픽킹 전략들을 제안할 수 있다. 예를 들어, 낮은 선반에 위치한 상자는 로봇 팔의 엔드 이펙터로 상자의 상부 표면을 파지하여(따라서 "상부 픽킹"을 실행하여) 로봇에 의해 간단히 픽킹될 수 있다. 그러나, 픽킹될 상자가 상자들의 스택의 최상부에 있고, 상자의 상부와 선반의 수평 칸막이 하부 사이의 간격이 제한되어 있는 경우, 로봇은 측면을 파지하여(따라서 "면 픽킹"을 실행하여) 상자를 픽킹하기로 할 수 있다.
제한된 환경 내에서 일부 상자들을 픽킹하기 위해, 로봇은 다른 상자들 또는 주변 선반과의 접촉을 피하도록 그의 팔의 배향을 조심스럽게 조정해야 할 수 있다. 예를 들어, 통상적인 "열쇠구멍 문제"에서 로봇은 다른 상자들 또는 주변 선반에 의해 정의된 작은 공간이나 제한된 영역(열쇠구멍과 유사함)을 통해 그의 팔을 내비게이팅하는 것에 의해서만 타겟 상자에 접근할 수도 있다. 이러한 시나리오들에서는 로봇의 모바일 베이스와 팔 간의 조정이 유익할 수 있다. 예를 들어, 베이스를 임의의 방향으로 병진시킬 수 있는 것은 (선반에 임의로 가까이 내비게이팅하지 못할 수도 있는, 전방향 구동이 없는 종래의 로봇들에 비해) 로봇이 선반에 가능한 한 가깝게 위치되어 그의 팔의 길이를 효과적으로 연장할 수 있게 한다. 또한, 베이스를 뒤로 병진시킬 수 있는 것은 로봇이 조인트 각도를 조정할 필요 없이(또는 조인트 각도가 조정되는 정도를 최소화함) 상자를 픽킹한 후에 선반에서 그의 팔을 회수할 수 있게 하여, 많은 열쇄구멍 문제를 간단하게 해결할 수 있다.
물론, 도 2a-2c에 도시된 작업들은 통합 모바일 조작기 로봇이 사용될 수 있는 응용들의 몇 가지 예에 불과하며, 본 개시는 이러한 특정 작업들만을 수행하도록 구성된 로봇들로 한정되지 않음을 이해해야 한다. 예를 들어, 본 명세서에 설명된 로봇들은 트럭 또는 컨테이너로부터의 물체들의 제거, 컨베이어 벨트 상의 물체들의 배치, 컨베이어 벨트로부터의 물체들의 제거, 물체들의 스택으로의 정리, 팔레트 상의 물체들의 정리, 선반 상의 물체들의 배치, 선반 상의 물체들의 정리, 선반으로부터의 물체들의 제거, 상부로부터의 물체들의 픽킹(예를 들어, "상부 픽킹" 수행), 측면으로부터의 물체들의 픽킹(예를 들어, "면 픽킹" 수행), 다른 모바일 조작기 로봇들과의 조정, 다른 창고 로봇들과의 조정(예를 들어, AMR들과의 조정), 사람들과의 조정 및 많은 다른 작업을 포함하지만 이에 한정되지 않는 작업들을 수행하기에 적합할 수 있다.
예시적인 턴테이블 및 인식 마스트
(예를 들어, 도 1a 및 1b와 관련하여) 전술한 바와 같이, 통합 모바일 조작기 로봇의 로봇 팔은 턴테이블을 통해 모바일 베이스에 결합될 수 있다. 턴테이블은 수직 축(예컨대, 요 축)을 중심으로 모바일 베이스에 대해 로봇 팔을 회전시킬 수 있다. 일부 실시예들에서, 인식 마스트는 턴테이블에 추가로 결합될 수 있으며, 따라서 턴테이블의 회전은 인식 마스트뿐만 아니라 로봇 팔을 회전(예를 들어, 요)시킨다. 일부 실시예들에서, 인식 마스트는 인식 마스트가 턴테이블에 대해 회전(예를 들어, 요)할 수 있게 하는 추가 자유도를 포함할 수 있다. (예를 들어, 도 2b와 관련하여) 전술한 바와 같이, 턴테이블에 대한 인식 마스트의 이러한 독립적인 제어는 인식 마스트가 (예를 들어, 인식 마스트의 추가 액추에이터를 사용하여 인식 마스트의 방향 센서들이 제2 영역을 향하게 함으로써) 환경의 제2 영역에 대한 데이터를 수집하는 동안 로봇이 동시에 (예를 들어, 로봇 팔이 물체를 파지할 때 턴테이블을 사용하여 로봇 팔을 재위치시킴으로써) 로봇 팔로 제1 영역의 물체를 조작할 수 있게 한다. 턴테이블 회전과 무관한 인식 마스트의 회전의 제어도 아래에서 더 상세히 설명되는 다른 이점들을 제공한다. 턴테이블, 인식 마스트 및 로봇의 다른 컴포넌트들 간의 조정이 아래에 설명된다.
도 1a 및 도 1b를 참조하면, 로봇(100)은 전술한 바와 같이 모바일 베이스(110), 턴테이블(120), (엔드 이펙터(150)를 갖는) 로봇 팔(130) 및 인식 마스트(140)를 포함한다. 인식 마스트(140)는 로봇의 수평 표면(예컨대, 턴테이블(120))에 결합된 구조적 지지체로 구현되며, 그 위에 배열된 복수의 인식 모듈(142)을 포함한다. 로봇(100)이 반복적으로 상자를 픽킹하고, 회전하고, 상자를 배치하고, 다시 회전하여 다음 상자를 픽킹하는 상자 픽킹 응용들에서, 인식 마스트(140)는 인식 모듈들(142)에 포함된 카메라들로 하여금 로봇(100)이 현재 이동을 실행하는 동시에 그의 다음 동작을 계획할 수 있게 하는 환경의 이미지들을 캡처할 수 있게 하기 위해 자신이 장착된 턴테이블(120)의 회전과 무관하게 회전하도록 구성될 수 있다. 예를 들어, 로봇(100)이 제1 상자를 픽킹하는 동안, 인식 마스트(140)의 인식 모듈들(142)은 제1 상자가 배치될 위치(예를 들어, 팔레트, 컨베이어 벨트)를 가리키고 그에 대한 정보를 수집할 수 있다. 이어서, 로봇(100)이 제1 상자를 배치하는 동안, 인식 마스트(140)는 인식 마스트(140)의 인식 모듈들(142)이 상자들의 스택을 가리키고 픽킹될 제2 상자에 대한 정보를 수집하도록 회전될 수 있다. 이러한 방식으로, 로봇(100)은 그렇지 않으면 순차적으로 수행되었을 수 있는 작업들을 병렬화할 수 있으므로, 작업들의 보다 빠르고 보다 효율적인 실행을 가능하게 할 수 있다.
로봇의 환경의 이미지들을 캡처하는 것은 로봇이 수행하고 있는 작업에 대한 이미지들(예를 들어, 상자들의 스택 또는 팔레트 또는 컨베이어 주변 영역의 이미지들)을 캡처하는 것뿐만 아니라 로봇이 안전하게 동작하는 것을 보장하는 로봇의 환경의 이미지들을 캡처하는 것도 포함한다는 점을 이해해야 한다. 예를 들어, 로봇이 컨테이너에서 상자들 또는 다른 물체들을 언로딩하기 위해 컨테이너(예를 들어, 트럭) 내에서 동작하고 있을 때, 인식 마스트(140)에 배열된 인식 모듈들(142)은 컨테이너의 벽들과 천장을 이미징하여, 로봇 컴포넌트들(예를 들어, 모바일 베이스 및/또는 로봇 팔)이 컨테이너 내에서 안전하고 효과적으로 동작할 수 있는 것을 보장하도록 구성될 수 있다.
위에서 설명한 예에서, 인식 마스트는 로봇 팔이 현재 이동을 수행하고 있는 동안 로봇 팔에 의한 다음 이동의 계획을 용이하게 하기 위해(예를 들어, 한 프레임 전에 이동 계획을 가능하게 하기 위해) 로봇 팔이 동작하고 있는 곳에서 멀어지게 회전된다. 그러나, 본 발명자들은 로봇 팔 자체의 이미지들을 캡처하는 것도 특정 시나리오들에서 유리할 수 있음을 인식했다. 예를 들어, 교정 시퀀스가 수행되는 동안 로봇 팔의 이미지들을 캡처하는 것은 로봇 팔 및/또는 인식 마스트에 배열된 인식 모듈들의 컴포넌트들 중 하나 이상을 교정하는 데 유용할 수 있다. 또한, 로봇 팔이 픽킹한 물체(예를 들어, 상자)에 대한 정보를 캡처하는 것은 로봇에 의한 향후 액션들을 알리는 데 도움이 될 수 있는 물체에 대한 하나 이상의 특성을 결정하는 데 유용할 수 있다. 예를 들어, 로봇 팔에 의해 픽킹되는 상자의 치수들은 트럭과 같은 컨테이너에서 언로딩되고 있는 상자들의 스택에 위치하는 비슷한 크기의 상자들을 픽킹하는 방법을 계획하는 데 유용할 수 있다. 일부 실시예들에서, 2D 카메라는 로봇 팔이 픽킹한 물체(예를 들어, 상자)에 위치하는 시각적 식별자(예를 들어, 바코드, QR 코드) 정보를 캡처하도록 구성될 수 있다. 이러한 시각적 식별자 정보는 상자의 내용물, 상자의 내용물과 연관된 제조업체 및/또는 로봇의 동작을 알리는 데 유용할 수 있는 임의의 다른 정보를 식별하는 데 유용할 수 있다.
도 3a 및 도 3b는 일부 실시예들에 따라 설계된 로봇(200)의 사시도들이다. 로봇(200)은 모바일 베이스(210) 및 모바일 베이스에 회전 가능하게 결합된 턴테이블(220)을 포함한다. 로봇 팔(230)은 인식 마스트(240)와 같이 턴테이블(220)에 동작 가능하게 결합된다. 인식 마스트(240)는 턴테이블(220) 및/또는 모바일 베이스(210)에 대한 인식 마스트(240)의 회전을 가능하게 하도록 구성된 액추에이터(225)를 포함한다. 일부 실시예들에서, 인식 마스트(240)는 하나 이상의 통신 시스템 및 안전 조명(예컨대, 도 3b에 도시된 조명(260))을 포함하지만 이에 한정되지 않는, 로봇의 환경의 인식 감지와 직접적으로 관련되지 않은 컴포넌트들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 인식 마스트(240)는 인식 마스트의 상부 부분에 배열된 통신 모듈을 포함한다. 통신 모듈은 모바일 로봇 외부의 하나 이상의 시스템(예컨대, 건물 안전 시스템, 창고 관리 시스템)으로부터 신호들을 수신하도록 구성되는 하나 이상의 안테나를 포함할 수 있다. 일부 실시예들에서, 인식 마스트(240)는 환경에서 하나 이상의 시각적 식별자(예컨대, 시각적 태그)를 스캐닝하도록 구성된 스캐너(예컨대, 바코드 판독기, QR 코드 판독기)를 더 포함할 수 있다.
도시된 바와 같이, 인식 마스트(240)는 인식 마스트를 따라 수직으로 배열된 복수의 인식 모듈(242)을 포함한다. 인식 모듈들(242) 각각은 2차원(2D) 카메라 및 깊이 센서를 포함한다. 예를 들어, 상부 인식 모듈(242)은 상부 2D 카메라(244A)와 상부 깊이 센서(250A)를 포함한다. 인식 모듈에 포함된 2D 카메라와 깊이 센서는 임의의 적절한 방식으로 배열될 수 있다. 예를 들어, 상부 깊이 센서(250A)는 상부 2D 카메라(244A) 아래에 배열되는 것으로 도시되지만, 상부 깊이 센서(250A)는 대안적으로 상부 2D 카메라(244A) 위에 배열되거나 2D 카메라(244A)와 동일한 높이에서 인식 마스트(240)를 따라 병치될 수 있음을 이해해야 한다. 일부 실시예들에서, 인식 모듈들(242) 중 하나 이상은 2D 카메라(예컨대, RGB 카메라 또는 단색 카메라)만을 포함하고 깊이 센서를 포함하지 않거나, 3D 카메라만을 포함하고 별도의 깊이 센서를 포함하지 않을 수 있는데, 이는 본 개시의 양태들이 이와 관련하여 제한되지 않기 때문이다.
도시된 바와 같이, 인식 마스트(240)는 또한 하부 2D 카메라(244B) 및 하부 깊이 센서(250A)를 포함하는 하부 인식 모듈을 포함한다. 하부 인식 모듈은 상부 인식 모듈과 동일한 인식 마스트(240)의 측면을 따라 배열되며, 상부 인식 모듈(242)과 액추에이터(255) 사이에 위치한다. 본 발명자들은 다수의 인식 모듈을 인식 마스트(240) 상에 상이한 위치들(예를 들어, 인식 마스트의 상부 및 하부 근처)에 위치시키는 것이 단일 인식 모듈만이 포함될 때는 불가능한 이미징 능력을 갖는 로봇(200)을 제공한다는 것을 인식했다. 예를 들어, 상부 인식 모듈 내의 센서들은 하부 인식 모듈 내의 센서들의 시야와 중첩되지 않는(또는 부분적으로 중첩되는) 상이한 시야를 가질 수 있어서, 두 인식 모듈의 결합된 시야가 각각의 개별 인식 모듈의 시야보다 크게 한다. 이렇게 확장된 시야는 로봇이 상호 작용하는 환경 내의 높은 상자들의 스택 또는 다른 물체들을 이미징하는 데 유용할 수 있다. 일부 실시예들에서, 인식 마스트를 따른 복수의 인식 모듈 사이의 수직 거리는 넓은 수직 시야를 제공하기 위해 최대화된다. 또한, 인식 모듈들 중 하나의 인식 모듈의 센서들에 의해 캡처된 이미지들은 인식 모듈들 중 다른 인식 모듈의 센서들에 의해 잘 캡처되지 않는 환경 내의 물체들의 특성들을 포함할 수 있다. 예를 들어, 상부 인식 모듈의 센서들은 동일한 물체들의 하나 이상의 특성을 캡처할 수 있지만 더 큰 각도에서 캡처할 수 있는 하부 인식 모듈의 센서들에 비해 상부 인식 모듈과 동일하거나 유사한 높이에 위치한 환경 내의 물체들의 특성들에 대해 더 상세하게 캡처할 수 있다. 다른 예로서, 하부 인식 모듈의 센서들은 상부 인식 모듈의 센서들보다는 로봇의 모바일 베이스 근처에 위치한 물체들에 대해 더 상세히 캡처할 수 있다.
본 발명자들은 모바일 로봇이 동작할 것으로 예상되는 대부분의 공간(예를 들어, 상자들을 언로딩할 트럭과 같은 컨테이너 내부)에 적합하면서도 인식 마스트의 높이를 가능한 한 많이 증가시키는 것이 유리할 수 있다는 점을 인식하고 이해했다. 로봇 팔이 상호 작용할 물체의 표면을 검출하는 것과 같은 특정 인식 작업에서는 인식 마스트를 따른 인식 모듈들 중 적어도 하나의 인식 모듈의 수직 높이가 중요할 수 있다. 예를 들어, 상자 면들의 검출은 인식 모듈이 캡처한 이미지들이 상자 면들에 대한 낮은 입사각으로 캡처될 때 더 정확할 수 있다. 또한, 인식 모듈들을 더 멀리 이격시키는 것은 그렇지 않으면 인식 모듈들 중 하나에 의해 가려지거나 부분적으로 가려질 수 있는 물체 특성들의 검출을 용이하게 한다. 예를 들어, 하부 인식 모듈은 하부 인식 모듈이 창고의 낮은 선반 아래의 이미지를 캡처할 수 있게 하는 시야를 가질 수 있는 반면, 선반 아래 영역은 인식 마스트 상에 더 높이 위치하는 인식 모듈에 의해 적어도 부분적으로 가려질 수 있다.
일부 실시예들에 따라 사용되는 인식 모듈(242)은 이미지 캡처 중에 환경에 능동적 조명을 제공하도록 구성된 하나 이상의 광원(예컨대, 플래시 기반 광원)을 포함할 수 있다. 일부 실시예들은 2D 카메라에 의한 이미지 캡처 동안 환경의 조명을 제공하기 위해 2D 카메라에 근접하게 배열된 하나 이상의 가시 광원을 포함한다. 일부 실시예들에서 사용될 수 있는 2D 카메라의 예들은 적색-녹색-청색(RGB) 카메라, 단색 카메라, 프리즘 카메라 또는 환경의 2D 이미지를 캡처하도록 구성된 임의의 다른 유형의 2D 카메라를 포함하지만 이에 한정되지는 않는다.
하나 이상의 광원은 인식 모듈의 컴포넌트들에 의한 이미지 캡처 동안 환경에 능동적 조명을 제공하도록 구성될 수 있다. 광원(들)은 발광 다이오드(LED)를 포함하지만 이에 한정되지 않는 임의의 적절한 광 생성 요소들을 포함할 수 있다. 일부 실시예들에서, 각각의 인식 모듈은 2D 카메라를 적어도 부분적으로 둘러싸도록 배열된 2개의 가시 광원을 포함한다. 이러한 배향은 환경 내의 물체들이 균일하게 조명되는 것을 보장하고 2D 카메라에 의한 이미지 캡처 동안 그림자를 최소화하는 데 유리할 수 있다. 그러나, 임의의 적절한 방식으로 배열된 임의의 적절한 수의 광원이 사용될 수 있으며, 본 개시는 이와 관련하여 제한되지 않는다는 것을 이해해야 한다. 일부 실시예들에서, 인식 모듈에 포함된 각각의 카메라는 적어도 하나의 관련 광원을 갖는다. 예를 들어, 깊이 정보를 캡처하는 데 사용되는 비행 시간(TOF) 카메라는 환경의 능동 조명을 제공하기 위해 하나 이상의 레이저 이미터와 연관될 수 있다. 깊이 감지를 위해 입체 카메라를 사용하는 실시예들에서, 텍스처 프로젝터는 저조도 조건에서 입체 카메라의 동작을 가능하게 하기 위해 인식 모듈에 포함될 수 있다.
본 발명자들은 하나 이상의 온보드 광원을 포함하는 것이 모바일 조작 로봇으로 하여금 로봇이 동작하는 영역에 적절한 레벨의 주변 조명이 존재할 필요 없이 환경의 이미지들을 캡처할 수 있게 한다는 것을 인식했다. 온보드 광원을 제공하는 것은 또한 환경에 존재할 수 있는 그림자를 제거하는 데 도움이 된다. 이는 통상적으로 주변 조명이 많지 않은 트럭과 같은 컨테이너 내부에 로봇이 위치하는 작업에 특히 중요하다.
위에서 설명한 바와 같이, 인식 모듈은 또한 환경 내의 물체와 관련된 깊이 정보를 캡처하도록 구성된 깊이 센서를 포함할 수 있다. 깊이 센서의 예는 입체 카메라, 비행 시간(TOF) 카메라, LiDAR, 또는 환경에 대한 깊이 정보를 캡처하도록 구성된 임의의 다른 깊이 센서를 포함하지만 이에 한정되지는 않는다. 일 실시예에서, 각각의 인식 모듈(242)은 2개의 LED 기반 광원, RGB 단안 카메라 및 비행 시간(TOF) 카메라를 포함한다. 전술한 바와 같이, 인식 모듈 내의 특정 컴포넌트들의 배열은 제한되지 않으며, 컴포넌트들은 임의의 적절한 방식으로 배열될 수 있다. 바람직하게는, 2D 카메라 및 깊이 센서는 유사한 시야를 제공하도록 배열되며, 이는 2D 카메라 및 깊이 센서에 의해 캡처된 정보의 정합을 용이하게 한다.
일부 실시예들에서, 인식 모듈 내의 적어도 하나의 광원, 2D 카메라 및 깊이 센서 각각은 개별 컴포넌트들의 동작 타이밍을 제어하도록 구성된 제어 회로에 전기적으로 결합된다. 예를 들어, 인식 모듈은 제어 회로에 의해 제공되는 전기 신호에 기초하여 각각의 컴포넌트의 개별 제어를 가능하게 하기 위해 인식 모듈 내의 컴포넌트들 중 하나 이상에 전기적으로 결합된 하드웨어 제어 회로를 포함할 수 있다. 일부 실시예들에서, 인식 모듈 내의 다수의 컴포넌트는 서로 전기적으로 연결될 수 있으며, 따라서 하나의 컴포넌트의 동작을 트리거하는 것은 제어 회로로부터 다른 컴포넌트로 동작을 제어하기 위한 신호를 별도로 송신할 필요 없이 그에 전기적으로 연결된 다른 컴포넌트의 동작을 트리거할 수 있다.
일부 실시예들에서, 인식 마스트(240)는 다수의 인식 모듈(예컨대, 상부 인식 모듈 및 하부 인식 모듈) 각각 내의 센서들의 동작 타이밍을 제어하도록 구성된 제어 회로를 포함할 수 있다. 이러한 중앙 집중식 제어 회로는 인식 모듈들에 걸친 조정된 제어를 가능하게 하여, 그 안에 위치하는 모든 센서들로부터 동시에 또는 거의 동시에 정보를 캡처하는 것을 용이하게 할 수 있다. 다른 경우들에서, 인식 모듈들에 걸친 조정된 제어는 2개의 인식 모듈 간의 크로스토크를 줄이는 데 도움이 될 수 있다. 예를 들어, 거리 정보를 검출하기 위해, 비행 시간 카메라는 통상적으로 적외선(IR) 복사선의 펄스들을 방출하고 환경 내의 물체들로부터의 방출된 IR 복사선의 반사를 검출한다. 일부 실시예들에서는 중앙 집중식 제어 회로를 사용하여, 인식 마스트에 배열된 2개의 비행 시간 카메라에 대해 방출되는 IR 복사선의 타이밍을 엇갈리게 하여, 각각의 비행 시간 센서가 다른 비행 시간 센서로부터의 IR 이미터가 아닌 자신의 IR 이미터에 대응하는 반사만을 감지하도록 한다.
일부 실시예들에서, 인식 모듈 내에 포함된 2D 카메라 및 깊이 센서 중 하나 또는 둘 다는 고정된 배향을 가질 수 있다(예를 들어, 이들은 능동적으로 패닝(pan) 및/또는 틸팅(tilt)되지 못할 수 있다). 또한, 상부 및 하부 인식 모듈들 내의 센서들은 인식 마스트(240)에 대해 동일한 각도로 배향될 수 있거나, 원하는 시야를 캡처하기 위해 인식 마스트에 대해 상이한 각도들로 배향될 수 있다. 예를 들어, 상부 인식 모듈의 센서들은 인식 마스트(240)의 수직 축에 대해 90도의 각도로 환경에 대한 정보를 캡처하도록 배향될 수 있는 반면, 하부 인식 모듈의 센서들은 모바일 베이스 근처에 위치한 정보의 캡처를 가능하게 하기 위해 인식 마스트(240)의 수직 축에 대해 70도의 각도로 환경에 대한 정보를 캡처하도록(즉, 모바일 베이스를 향해 아래로 향하도록) 배향될 수 있다. 도시된 바와 같이, 일부 실시예들에서, 하부 인식 모듈은 모바일 베이스 근처의 정보의 캡처를 가능하게 하는 액추에이터(255) 위의 위치에서 인식 마스트(240)를 따라 배열될 수 있지만, 캡처된 정보에는 모바일 베이스 자체를 포함하지 않는다(또는 모바일 베이스의 제한된 부분만을 포함함).
복수의 인식 모듈의 출력은 하나 이상의 컴퓨팅 디바이스에 의해 처리되어 환경 내의 하나 이상의 물체의 특성(들)을 결정할 수 있다. 로봇에 위치한 제어 회로는 결정된 하나 이상의 특성에 적어도 부분적으로 기초하여 액션(예를 들어, 로봇 팔의 동작 제어, 모바일 베이스의 경로 방향 변경)을 수행하도록 구성될 수 있다. 예를 들어, 인식 모듈들의 출력은 스택에 배열된 상자들의 면들을 결정하는 데 사용될 수 있으며, 결정된 상자 면들에 기초하여, 다음에 스택으로부터 어떤 상자를 픽킹할지가 결정될 수 있다. 다음에 픽킹할 상자를 결정하는 것에 응답하여, 제어 회로는 로봇 팔이 다음 상자를 픽킹하도록 제어할 수 있다.
도 3a 및 도 3b에 도시된 실시예에서, 인식 마스트(240)는 인식 마스트의 동일한 측면에 위치하는 2개의 인식 모듈을 포함한다. 일부 실시예들에서, 인식 마스트(240)는 인식 마스트의 상이한(예를 들어, 반대쪽) 측면에 위치하는 하나 이상의 추가 인식 모듈을 포함한다. 인식 마스트의 상이한 측면들에 적어도 2개의 인식 모듈을 배열하는 것은 로봇이 여러 방향에서 동시에 이미지들을 캡처할 수 있게 하며, 이는 일부 작업들을 수행하는 데 유리할 수 있다.
도 4는 로봇(300)의 개략 평면도이다. 이 추상화된 도면은 턴테이블(320), 인식 마스트(340) 및 로봇 팔(330)의 모션 사이의 관계들을 나타낸다. 턴테이블(320)은 모바일 베이스(310)에 대해 제1 수직 축(도 4의 평면도에서, 도 4에 도시된 X축 및 Y축에 수직인 Z축에 평행할 수 있는 페이지 안으로의 축임)을 중심으로 회전하도록 구성된다. 모바일 베이스(310)에 대한 턴테이블(320)의 회전은 도면에서 화살표 321로 표시된다. 인식 마스트(340)는 턴테이블(320)에 대해 제2 수직 축(역시 도 4의 평면도에서, 페이지 안으로의 축이고, Z축과 평행할 수 있음)을 중심으로 회전하도록 구성된다. 턴테이블(320)에 대한 인식 마스트(340)의 회전은 도면에서 화살표 341로 표시된다. 제1 축과 제2 축이 모두 수직인 경우, 제1 축과 제2 축은 평행하다는 것을 이해해야 한다.
(도 4에는 명확성을 위해 턴테이블(320) 상의 풋프린트만이 도시된) 로봇 팔(330)은 턴테이블(320)에 결합되며, 따라서 로봇 팔(330)의 베이스는 턴테이블(320)에 대하여 요하지 않는다(예를 들어, Z축에 평행한 축을 중심으로 회전하지 않는다). 중요한 것은, 로봇 팔(330)이 운동학적으로 제한되어, 로봇 팔(330)의 일부가 턴테이블(320)의 좌표계 내에 정의된 수직 평면(331) 내에서 이동하도록 제한된다는 것이다. 도 4의 팔(330)과 대체로 유사한 로봇 팔(430)을 나타내는 도 5를 잠시 참고하면, 손목(438) 근위의 로봇 팔(430)의 부분은 피치 조인트들(즉, 조인트들(432, 434 및 436))만을 포함한다. 즉, 팔(430)의 근위 부분은 턴테이블(420)에 대해 평행한 수평 축들(즉, 도 5의 축들(432a, 434a 및 436a))을 중심으로만 회전할 수 있다. 따라서, 팔(430)의 근위 부분은 턴테이블(420)의 좌표계 내에 정의된 수직 평면 내에서만 이동할 수 있다. 도 4를 다시 참고하면, 로봇 팔(330)의 근위 부분은 수직 평면(331) 내에서만 이동할 수 있다. 팔(330)의 베이스가 턴테이블(320)에 단단히 장착되고, 따라서 턴테이블(320)과 함께 (화살표 321로 표시된) 수직 축을 중심으로 회전하는 경우, 팔(330)의 근위 부분이 이동하는 평면(331)도 턴테이블(320)과 함께 회전한다.
중요한 것은, 인식 마스트(340)가 평면(331)으로부터 이격된 위치에서 턴테이블(320)에 장착되어, 팔(330)이 인식 마스트(340)와 물리적으로 충돌할 수 없게 된다는 것이다. 즉, 로봇 팔(330)과 인식 마스트(340)가 모두 턴테이블(320)에 장착되기 때문에, 턴테이블은 팔과 마스트를 병치하여 그들의 상대적인 위치들을 정의한다. 인식 마스트(340)는 수직 요 축을 중심으로만 회전하기 때문에 그리고 로봇 팔(330)의 근위 부분이 정의된 수직 평면 내에서 동작하도록 제한되기 때문에, 로봇 팔도 인식 마스트도 팔(330)과 마스트(340)의 충돌을 초래할 정도로 (턴테이블의 좌표계에서) 수평 이동할 수 없다.
3DOF 손목을 포함하거나 일반적으로 피치 조인트들이 아닌 조인트들을 포함하는 로봇 팔의 실시예들에서, 로봇 팔의 부분들은 전술한 바와 같이 수직 평면 내에 유지되도록 제한되지 않을 수 있다. 그러나, 특정 관련 기하구조들(예컨대, 링크 길이, 엔드 이펙터 크기, 인식 마스트 위치)은 그럼에도 불구하고 로봇 팔과 인식 마스트 사이의 충돌을 피하도록 선택될 수 있다.
전술한 바와 같이, 턴테이블 상의 인식 마스트의 위치는 팔과 마스트 간의 충돌을 방지하기 위해 로봇 팔의 기하구조, 배향 및 모션에 적어도 부분적으로 기초한다. 그러나 턴테이블 상의 인식 마스트의 위치 선택에는 다른 고려 사항들도 관련된다. 감지 관점에서, 팔에 의한 인식 마스트 상의 센서들의 폐색을 제한하기 위해 로봇 팔로부터 최대 거리에 인식 마스트를 위치시키는 것이 바람직할 수 있다. 안전 관점에서, 인식 마스트와 환경 사이의 충돌을 피하기 위해 모바일 베이스의 풋프린트 내에 인식 마스트를 위치시키는 것이 바람직할 수 있다. 따라서, 일부 실시예들에서, 인식 마스트는 턴테이블의 회전 축을 중심으로 턴테이블의 최대 반경 범위에서 턴테이블 상에 위치될 수 있다. 예를 들어, 턴테이블이 원형이고, 인식 마스트가 원형인 경우, 인식 마스트는 인식 마스트 및 턴테이블의 원주들이 내부적으로 접하도록 턴테이블의 풋프린트 내의 위치에 위치될 수 있다.
인식 마스트 및/또는 로봇 팔에 더하여, 다른 하드웨어가 로봇의 턴테이블에 장착될 수 있다. 로봇 팔의 엔드 이펙터가 진공 기반 엔드 이펙터(예를 들어, 진공 그리퍼(gripper) 또는 흡입 그리퍼)인 로봇의 실시예들에서, 로봇은 엔드 이펙터에 결합되어 진공을 공급하는 온보드 진공 소스를 포함할 수 있다. 이러한 일부 실시예들에서, 진공 소스는 턴테이블에 결합되어, 턴테이블이 모바일 베이스에 대해 회전할 때 진공 소스가 턴테이블과 함께 회전하게 할 수 있다. 진공 소스와 같은 무거운 컴포넌트를 로봇의 베이스에 가깝게 위치시키는 것이 (안정성 관점에서) 유리할 수 있지만, 진공 소스를 턴테이블과 함께 회전하도록 구성하는 것은 진공 튜빙의 라우팅 및 관리와 관련된 특정 이익들과 연관될 수 있다.
도 2b를 참조하여 전술한 바와 같이, 로봇(예컨대, 로봇(20a))의 턴테이블, 로봇 팔 및 인식 마스트는 모두 로봇의 제어 회로에 의해 고도로 조정된 방식으로 제어될 수 있다. 본 발명자들은 턴테이블의 회전 또는 모바일 베이스의 모션과 무관하게 인식 마스트의 회전을 제어하는 것의 이점이 로봇의 턴테이블 및/또는 모바일 베이스가 이동할 때에도 인식 마스트의 인식 모듈들이 안정적인 이미지를 캡처할 수 있다는 점이라는 것을 인식하고 이해하였다. 예를 들어, 턴테이블이 제1 방향(예를 들어, 시계 반대 방향)으로 회전할 때, 인식 마스트는 제1 방향과 반대되는 제2 방향(예를 들어, 시계 방향)으로 회전하도록 제어될 수 있다. 인식 마스트를 반대로 회전시킴으로써, 인식 마스트의 인식 모듈들에 의해 캡처된 이미지는 로봇의 컴포넌트들의 모션으로 인한 흐려짐이 거의 또는 전혀 없을 수 있다. 모바일 조작기 로봇이 이동하는 동안 로봇이 안정화된 선명한 이미지를 캡처할 수 있는 능력은 로봇의 어떠한 부분도 임의의 지속 기간 동안 완전히 정지할 필요가 없기 때문에 특정 작업을 수행하는 사이클 시간을 단축할 수 있다. 오히려, 로봇 팔이 동시에 동작함에 따라 환경의 이미지들이 "온더플라이(on-the-fly)" 방식으로 캡처될 수 있다. 제어 회로는 턴테이블의 회전 속도 및 턴테이블 상의 인식 마스트의 위치에 적어도 부분적으로 기초하여 인식 마스트의 회전 속도를 제어하도록 구성될 수 있다. 일부 실시예들에서, 인식 마스트의 회전 속도는 턴테이블 상의 로봇 팔의 위치 및/또는 모바일 베이스가 이동하는 속도에 기초하여 더 결정될 수 있다.
위에서 언급했듯이, 턴테이블 및 모바일 베이스와 독립적으로 인식 마스트를 제어할 수 있는 것의 이점은 로봇이 이동하는 동안 로봇이 이미지들을 캡처할 수 있는 능력이다. 위의 상자 픽킹의 예에서는 로봇 팔이 스택에서 상자를 반복적으로 픽킹하여 컨베이어 벨트에 배치하는 것에서 로봇의 모션이 구현되었다. 그러나 창고와 같은 건물에서 모바일 베이스가 움직일 때 인식 마스트를 제어하여 상이한 방향들에서 이미지들을 캡처하는 것도 유익할 수 있는데, 이는 로봇이 이미지들을 캡처하기 위해 멈출 필요 없이 로봇이 이동할 때 안정된 이미지들을 캡처할 수 있기 때문이다. 예를 들어, 로봇이 창고 통로를 따라 구동할 때, 인식 모듈들은 통로 내의 선반들을 향하여 배향되어 로봇이 수행 중인 작업의 수행을 용이하게 하는 정보를 포함하는 선반들 위에 배치된 하나 이상의 태그를 검출할 수 있다. 인식 모듈들에 의해 캡처된 이미지들은 로봇이 구동할 때 로봇의 안전한 동작을 용이하게 하는 데 사용될 수도 있다. 예를 들어, 인식 모듈들은 로봇의 경로에서 장애물을 검출하도록 배향될 수 있으며, 장애물 검출에 응답하여, 장애물을 피하기 위해 로봇의 경로가 변경될 수 있다. 인식 마스트는 턴테이블과 독립적으로 제어될 수 있기 때문에, 로봇 팔이 동작 가능하게 결합된 턴테이블 자체는 로봇이 구동하는 동안 고정된 상태를 유지될 수 있어 안전성을 개선할 수 있고, 인식 마스트는 임의의 원하는 목적(또는 태그 판독 및 장애물 회피와 같은 여러 목적)을 위해 임의의 원하는 방향에서 이미지를 캡처하기 위해 회전될 수 있다.
위에서 제공된 예들에서는, 인식 모듈들만이 인식 마스트 상에 제공되는 것으로 설명되었다. 그러나, 일부 실시예들에서는, 특정 작업을 수행하기 위한 인식을 개선하기 위해 모바일 조작기 로봇의 다른 부분들(예를 들어, 모바일 베이스 또는 팔) 상에 추가적인 카메라 또는 센서가 배열될 수 있으며, 본 개시는 이와 관련하여 제한되지 않는다.
로봇 팔, 모바일 베이스, 턴테이블 및 인식 마스트 중 하나 이상의 제어는 모바일 조작기 로봇에 탑재된 하나 이상의 컴퓨팅 디바이스를 사용하여 달성될 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스는 하나 이상의 컴퓨팅 디바이스와 제어될 로봇의 감지 능력들 및 컴포넌트들을 제공하는 로봇의 컴포넌트들 사이에 연장되는 연결들을 갖는 모바일 베이스의 일부 내에 위치될 수 있다. 일부 실시예들에서, 하나 이상의 컴퓨팅 디바이스는 다양한 로봇 시스템들의 동작을 유발하기 위해 로봇의 특정 컴포넌트들에 제어 신호들을 송신하도록 구성된 전용 하드웨어에 결합될 수 있다. 일부 실시예들에서, 모바일 조작기 로봇은 로봇의 안전한 동작을 보장하는 안전 시스템들과 통합되도록 구성된 전용 안전 등급 컴퓨팅 디바이스를 포함할 수 있다.
본 명세서에 제공된 본 개시의 임의의 실시예와 관련하여 사용될 수 있는 컴퓨팅 시스템의 예시적인 구현이 도 5에 도시되어 있다. 예를 들어, 전술한 컴퓨팅 디바이스들 중 임의의 것이 컴퓨팅 시스템(500)으로서 구현될 수 있다. 컴퓨터 시스템(500)은 하나 이상의 컴퓨터 하드웨어 프로세서(502) 및 비일시적 컴퓨터 판독 가능 저장 매체(예컨대, 메모리(504) 및 하나 이상의 비휘발성 저장 디바이스(506))를 포함하는 하나 이상의 제조 물품을 포함할 수 있다. 프로세서(들)(502)는 임의의 적절한 방식으로 메모리(504) 및 비휘발성 저장 디바이스(들)(506)에 데이터를 기입하고 그들로부터 데이터를 판독하는 것을 제어할 수 있다. 본 명세서에 설명된 임의의 기능을 수행하기 위해, 프로세서(들)(502)는 프로세서(들)(502)에 의한 실행을 위해 프로세서 실행 가능 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체의 역할을 할 수 있는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체(예컨대, 메모리(504))에 저장된 하나 이상의 프로세서 실행 가능 명령어를 실행할 수 있다.
본 명세서에 설명 및/또는 예시된 컴퓨팅 디바이스들 및 시스템들은 본 명세서에 설명된 모듈들 내에 포함된 것들과 같이 컴퓨터 판독 가능 명령어들을 실행할 수 있는 임의의 유형 또는 형태의 컴퓨팅 디바이스 또는 시스템을 광범위하게 나타낸다. 가장 기본적인 구성에서, 이러한 컴퓨팅 디바이스(들)는 각각 적어도 하나의 메모리 디바이스와 적어도 하나의 물리적 프로세서를 포함할 수 있다.
일부 예들에서, "메모리 디바이스"라는 용어는 일반적으로 데이터 및/또는 컴퓨터 판독 가능 명령어들을 저장할 수 있는 임의의 유형 또는 형태의 휘발성 또는 비휘발성 저장 디바이스 또는 매체를 지칭한다. 일례에서, 메모리 디바이스는 본 명세서에 설명된 모듈들 중 하나 이상을 저장, 로딩 및/또는 유지할 수 있다. 메모리 디바이스들의 예들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 메모리, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 광 디스크 드라이브, 캐시, 이들 중 하나 이상의 변형 또는 조합, 또는 임의의 다른 적절한 저장 메모리를 포함하지만 이에 한정되지 않는다.
일부 예들에서, "물리적 프로세서" 또는 "컴퓨터 프로세서"라는 용어는 일반적으로 컴퓨터 판독 가능 명령어들을 해석 및/또는 실행할 수 있는 임의의 유형 또는 형태의 하드웨어 구현 처리 유닛을 지칭한다. 일례에서, 물리적 프로세서는 위에서 설명한 메모리 디바이스에 저장된 하나 이상의 모듈에 액세스하고/하거나 이를 수정할 수 있다. 물리적 프로세서들의 예들은 마이크로프로세서, 마이크로컨트롤러, 중앙 처리 유닛(CPU), 소프트코어 프로세서를 구현하는 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 이들 중 하나 이상의 부분, 이들 중 하나 이상의 변형 또는 조합, 또는 임의의 다른 적합한 물리적 프로세서를 포함하지만 이에 한정되지 않는다.
별개의 요소들로서 예시되어 있지만, 본 명세서에 설명 및/또는 예시된 모듈들은 단일 모듈 또는 애플리케이션의 부분들을 나타낼 수 있다. 또한, 특정 실시예들에서, 이러한 모듈들 중 하나 이상은 컴퓨팅 디바이스에 의해 실행될 때 컴퓨팅 디바이스가 하나 이상의 작업을 수행하게 할 수 있는 하나 이상의 소프트웨어 애플리케이션 또는 프로그램을 나타낼 수 있다. 예를 들어, 본 명세서에 설명 및/또는 예시된 모듈들 중 하나 이상은 본 명세서에 설명 및/또는 예시된 컴퓨팅 디바이스들 또는 시스템들 중 하나 이상에서 실행되도록 저장 및 구성된 모듈들을 나타낼 수 있다. 이러한 모듈들 중 하나 이상은 하나 이상의 작업을 수행하도록 구성된 하나 이상의 특수 목적 컴퓨터의 전부 또는 부분들을 나타낼 수도 있다.
또한, 본 명세서에 설명된 모듈들 중 하나 이상은 데이터, 물리적 디바이스들 및/또는 물리적 디바이스들의 표현들을 하나의 형태에서 다른 형태로 변환할 수 있다. 추가적으로 또는 대안적으로, 본 명세서에 기재된 모듈들 중 하나 이상은 컴퓨팅 디바이스에서 실행되고, 컴퓨팅 디바이스에 데이터를 저장하고/하거나, 컴퓨팅 디바이스와 달리 상호 작용함으로써 프로세서, 휘발성 메모리, 비휘발성 메모리 및/또는 물리적 컴퓨팅 디바이스의 임의의 다른 부분을 하나의 형태에서 다른 형태로 변환할 수 있다.
전술한 실시예들은 다수의 방식 중 임의의 방식으로 구현될 수 있다. 예를 들어, 실시예들은 하드웨어, 소프트웨어 또는 이들의 조합을 사용하여 구현될 수 있다. 소프트웨어로 구현될 때, 소프트웨어 코드는 단일 컴퓨터에서 제공되거나 다수의 컴퓨터에 분산되는지에 관계없이 임의의 적합한 프로세서 또는 프로세서들의 모음에서 실행될 수 있다. 전술한 기능들을 수행하는 임의의 컴포넌트 또는 컴포넌트들의 모음은 일반적으로 전술한 기능들을 제어하는 하나 이상의 컨트롤러로 간주될 수 있다는 점을 인식해야 한다. 하나 이상의 컨트롤러는 전용 하드웨어 또는 위에 기재된 기능들을 수행하도록 마이크로코드 또는 소프트웨어를 사용하여 프로그래밍된 하나 이상의 프로세서와 같이 다수의 방식으로 구현될 수 있다.
이와 관련하여, 로봇의 실시예들은 프로세서에서 실행될 때 전술한 기능들 중 하나 이상을 수행하는 컴퓨터 프로그램(즉, 복수의 명령어)으로 인코딩된 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체(예를 들어, 컴퓨터 메모리, 휴대용 메모리, 컴팩트 디스크 등)를 포함할 수 있음을 이해해야 한다. 예를 들어, 이러한 기능들은 로봇의 제어 및/또는 로봇의 바퀴 또는 팔의 구동을 포함할 수 있다. 컴퓨터 판독 가능 저장 매체는 거기에 저장된 프로그램이 본 명세서에서 설명된 본 발명의 양태들을 구현하기 위해 임의의 컴퓨터 리소스에 로딩될 수 있도록 운반 가능할 수 있다. 또한, 실행될 때 전술한 기능들을 수행하는 컴퓨터 프로그램에 대한 참조는 호스트 컴퓨터에서 실행되는 응용 프로그램으로 한정되지 않음을 이해해야 한다. 오히려, 본 명세서에서 컴퓨터 프로그램이라는 용어는 본 발명의 전술한 양태들을 구현하기 위해 프로세서를 프로그래밍하는 데 사용될 수 있는 임의의 유형의 컴퓨터 코드(예컨대, 소프트웨어 또는 마이크로코드)를 참조하기 위해 일반적인 의미로 사용된다.
본 발명의 다양한 양태들은 단독으로, 조합하여, 또는 전술한 실시예들에서 구체적으로 설명되지 않은 다양한 배열로 사용될 수 있으며, 따라서 전술한 설명에 제시되거나 도면들에 예시된 컴포넌트들의 상세들 및 배열들로 그들의 응용이 제한되지 않는다. 예를 들어, 일 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 결합될 수 있다.
또한, 본 발명의 실시예들은 하나 이상의 방법으로 구현될 수 있으며, 그 중 일례가 제공되었다. 방법(들)의 일부로서 수행되는 동작들은 임의의 적절한 방식으로 순서화될 수 있다. 따라서, 예시된 것과 상이한 순서로 동작들을 수행하고, 예시적인 실시예들에서 순차적인 동작들로서 표시되더라도 일부 동작들을 동시에 수행하는 것을 포함할 수 있는 실시예들이 구성될 수 있다.
청구항들에서 청구항 요소를 수식하기 위해 "제1", "제2", "제3" 등과 같은 서수 용어들을 사용하는 것은 그것만으로 하나의 청구항 요소의 다른 청구항 요소에 대한 임의의 우선순위, 우위 또는 순서, 또는 방법의 동작들이 수행되는 시간적 순서를 내포하지 않는다. 이러한 용어들은 특정 명칭을 갖는 하나의 청구항 요소를 동일한 명칭을 갖는 다른 청구항 요소와 구별하기 위한 라벨들로 사용될 뿐이다(그러나, 서수 용어 사용의 경우에는 그렇지 않음).
본 명세서에 사용된 문구 및 용어는 설명을 위한 것이며, 제한하는 것으로 간주되어서는 안 된다. "포함하는(including)", "포함하는(comprising)", "갖는", "포함하는(containing)", "포함하는(involving)" 및 그 변형들의 사용은 그 뒤에 나열된 항목들 및 추가 항목들을 포함하도록 의도된다.
본 발명의 여러 실시예를 상세히 설명하였으므로, 이 분야의 기술자들에게는 다양한 수정들 및 개선들이 쉽게 떠오를 것이다. 이러한 수정들 및 개선들은 본 발명의 사상 및 범위 내에 있는 것으로 의도된다. 따라서, 전술한 설명은 단지 예시적인 것이며, 한정하기 위한 것이 아니다.
Claims (22)
- 모바일 로봇으로서,
모바일 베이스;
상기 모바일 베이스에 동작 가능하게 결합된 턴테이블 - 상기 턴테이블은 제1 축을 중심으로 회전하도록 구성됨 -;
상기 턴테이블 상의 제1 위치에 동작 가능하게 결합된 팔; 및
상기 턴테이블 상의 제2 위치에 동작 가능하게 결합된 인식 마스트
를 포함하고, 상기 인식 마스트는 상기 제1 축에 평행한 제2 축을 중심으로 회전하도록 구성되고, 상기 인식 마스트는 그 위에 배치되고 제1 이미징 모듈과 상기 턴테이블 사이에 배열된 제1 인식 모듈 및 제2 인식 모듈을 포함하는, 모바일 로봇. - 제1항에 있어서,
상기 턴테이블의 회전 및 상기 제1 위치와 상기 제2 위치 사이의 거리에 적어도 부분적으로 기초하여 상기 인식 마스트의 회전을 제어하도록 구성된 제어 회로를 더 포함하는, 모바일 로봇. - 제1항에 있어서, 상기 제1 인식 모듈 및 상기 제2 인식 모듈 각각은 2차원(2D) 컬러 카메라, 깊이 센서 및 적어도 하나의 광원을 포함하는, 모바일 로봇.
- 제3항에 있어서, 상기 깊이 센서는 비행 시간(TOF) 카메라를 포함하는, 모바일 로봇.
- 제3항에 있어서, 상기 깊이 센서는 입체 카메라를 포함하는, 모바일 로봇.
- 제3항에 있어서, 상기 2D 카메라는 적색-녹색-청색(RGB) 단안 카메라를 포함하는, 모바일 로봇.
- 제1항에 있어서, 상기 제1 인식 모듈 및 상기 제2 인식 모듈은 상기 인식 마스트의 동일한 측면을 따라 배열되는, 모바일 로봇.
- 제7항에 있어서, 상기 제1 및 제2 인식 모듈들은 상기 인식 마스트의 상기 동일한 측면을 따라 상기 제1 및 제2 이미징 모듈들 사이의 거리를 최대화하도록 배열되는, 모바일 로봇.
- 제7항에 있어서, 상기 제1 인식 모듈의 시야와 상기 제2 인식 모듈의 시야는 중첩되지 않는, 모바일 로봇.
- 제7항에 있어서, 상기 인식 마스트는 상기 제1 및 제2 인식 모듈들이 배열되는 상기 동일한 측면으로서의 제1 측면을 포함하는 복수의 측면을 포함하고, 상기 인식 마스트는 그 위에 배치되고 상기 제1 측면 이외의 상기 인식 마스트의 측면에 배열되는 제3 인식 모듈을 더 포함하는, 모바일 로봇.
- 제2항에 있어서, 상기 제어 회로는 상기 제1 인식 모듈 및/또는 상기 제2 인식 모듈의 출력에 적어도 부분적으로 기초하여 상기 팔의 동작을 제어하도록 더 구성되는, 모바일 로봇.
- 제1항에 있어서, 상기 제2 위치는 상기 턴테이블의 외측 에지에 있는, 모바일 로봇.
- 제1항에 있어서,
반대 방향들에서의 상기 인식 마스트의 회전 및 상기 턴테이블의 회전을 동시에 제어하도록 구성된 제어 회로를 더 포함하는, 모바일 로봇. - 제1항에 있어서, 상기 인식 마스트는 그 위에 배치되고 상기 모바일 로봇 외부의 시스템으로부터 신호들을 수신하도록 구성된 적어도 하나의 안테나를 더 포함하는, 모바일 로봇.
- 제1항에 있어서, 상기 인식 마스트는 상기 모바일 로봇의 상기 환경 내의 물체에 부착된 식별자 태그를 스캐닝하도록 구성된 스캐너를 더 포함하는, 모바일 로봇.
- 제1항에 있어서,
상기 제1 인식 모듈 및 상기 제2 인식 모듈의 동작을 제어하여 상기 모바일 로봇이 이동할 때 하나 이상의 이미지를 캡처하도록 구성된 제어 회로를 더 포함하는, 모바일 로봇. - 제16항에 있어서, 상기 제어 회로는 상기 모바일 로봇이 이동할 때 상기 제1 인식 모듈 및/또는 상기 제2 인식 모듈에 의해 캡처된 상기 하나 이상의 이미지에 적어도 부분적으로 기초하여 상기 모바일 로봇의 동작을 제어하도록 더 구성되는, 모바일 로봇.
- 제17항에 있어서, 상기 모바일 로봇의 상기 동작은 상기 모바일 로봇의 이동 방향을 포함하는, 모바일 로봇.
- 제1항에 있어서, 상기 팔에 배치된 적어도 하나의 카메라를 더 포함하는, 모바일 로봇.
- 제1항에 있어서, 상기 제1 인식 모듈은 상기 인식 마스트에 대해 제1 각도로 배향되고, 상기 제2 인식 모듈은 상기 인식 마스트에 대해 제2 각도로 배향되고, 상기 제1 각도와 상기 제2 각도는 상이한, 모바일 로봇.
- 모바일 로봇에 의해 하나 이상의 이미지를 캡처하는 방법으로서,
상기 모바일 로봇의 턴테이블의 제1 방향으로의 회전 동안, 상기 제1 방향과 반대인 제2 방향으로의 인식 마스트의 회전을 제어하는 단계 - 상기 인식 마스트는 상기 턴테이블에 동작 가능하게 결합되고, 상기 인식 마스트는 그 위에 배치된 복수의 인식 모듈을 가짐 -; 및
상기 복수의 인식 모듈에 의해, 상기 턴테이블 및 상기 인식 마스트의 회전 동안 하나 이상의 이미지를 캡처하는 단계
를 포함하는, 방법. - 제21항에 있어서, 상기 하나 이상의 이미지를 캡처하는 단계는 상기 턴테이블이 동작 가능하게 결합되는 모바일 베이스의 이동 동안 상기 하나 이상의 이미지를 캡처하는 단계를 포함하는, 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163166791P | 2021-03-26 | 2021-03-26 | |
US63/166,791 | 2021-03-26 | ||
PCT/US2022/021146 WO2022204030A1 (en) | 2021-03-26 | 2022-03-21 | Perception mast for an integrated mobile manipulator robot |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230162042A true KR20230162042A (ko) | 2023-11-28 |
Family
ID=81327533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237036791A KR20230162042A (ko) | 2021-03-26 | 2022-03-21 | 통합 모바일 조작기 로봇을 위한 인식 마스트 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220305663A1 (ko) |
EP (1) | EP4313499A1 (ko) |
KR (1) | KR20230162042A (ko) |
CN (1) | CN117320848A (ko) |
AU (1) | AU2022241646A1 (ko) |
CA (1) | CA3214788A1 (ko) |
WO (1) | WO2022204030A1 (ko) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230162666A (ko) * | 2021-03-26 | 2023-11-28 | 보스턴 다이나믹스, 인크. | 액세서리 인터페이스들을 갖는 통합 모바일 조작기 로봇 |
CA3214801A1 (en) * | 2021-03-26 | 2022-09-29 | Boston Dynamics, Inc. | An integrated mobile manipulator robot |
US11731264B2 (en) * | 2021-06-07 | 2023-08-22 | Immense Digitize Engineering Co., Ltd. | Mobile vehicle having an AOI dynamic inspection system with multi-angle visual quality |
USD1018621S1 (en) * | 2022-08-10 | 2024-03-19 | Boston Dynamics, Inc. | Robotic device |
USD1013001S1 (en) * | 2022-08-10 | 2024-01-30 | Boston Dynamics, Inc. | Robotic device |
USD1034729S1 (en) * | 2022-08-10 | 2024-07-09 | Boston Dynamics, Inc. | Robotic device |
USD1033501S1 (en) | 2022-08-10 | 2024-07-02 | Boston Dynamics, Inc. | Robotic device |
USD1034728S1 (en) | 2022-08-10 | 2024-07-09 | Boston Dynamics, Inc. | Robotic device |
WO2024155896A1 (en) * | 2023-01-20 | 2024-07-25 | Innovative Logistics, Llc | Piece level data collection system for gathering freight dimensions and related information |
US11931894B1 (en) * | 2023-01-30 | 2024-03-19 | Sanctuary Cognitive Systems Corporation | Robot systems, methods, control modules, and computer program products that leverage large language models |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108393894A (zh) * | 2018-05-14 | 2018-08-14 | 安徽理工大学 | 双臂铸件取样检测机器人 |
US11607804B2 (en) * | 2019-05-28 | 2023-03-21 | X Development Llc | Robot configuration with three-dimensional lidar |
CN112276966A (zh) * | 2020-10-21 | 2021-01-29 | 苏州索斯曼电气有限公司 | 一种用于巡检电力仪表的智能机器人 |
-
2022
- 2022-03-21 CN CN202280035967.6A patent/CN117320848A/zh active Pending
- 2022-03-21 AU AU2022241646A patent/AU2022241646A1/en active Pending
- 2022-03-21 EP EP22715856.5A patent/EP4313499A1/en active Pending
- 2022-03-21 WO PCT/US2022/021146 patent/WO2022204030A1/en active Application Filing
- 2022-03-21 CA CA3214788A patent/CA3214788A1/en active Pending
- 2022-03-21 US US17/699,545 patent/US20220305663A1/en active Pending
- 2022-03-21 KR KR1020237036791A patent/KR20230162042A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
AU2022241646A1 (en) | 2023-10-12 |
WO2022204030A1 (en) | 2022-09-29 |
EP4313499A1 (en) | 2024-02-07 |
CN117320848A (zh) | 2023-12-29 |
US20220305663A1 (en) | 2022-09-29 |
CA3214788A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220305663A1 (en) | Perception mast for an integrated mobile manipulator robot | |
US20220305680A1 (en) | Perception module for a mobile manipulator robot | |
US20220305667A1 (en) | Safety systems and methods for an integrated mobile manipulator robot | |
US20220305672A1 (en) | Integrated mobile manipulator robot with accessory interfaces | |
US20220305641A1 (en) | Integrated mobile manipulator robot | |
US20230182300A1 (en) | Systems and methods for robot collision avoidance | |
US20230186609A1 (en) | Systems and methods for locating objects with unknown properties for robotic manipulation | |
US20230182314A1 (en) | Methods and apparatuses for dropped object detection | |
US20230182315A1 (en) | Systems and methods for object detection and pick order determination | |
US20230182304A1 (en) | Systems and methods of lighting for a mobile robot | |
US20230182293A1 (en) | Systems and methods for grasp planning for a robotic manipulator |