JP2023082176A - 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法 - Google Patents

Abstract

【課題】開閉式の蓋を有する１つ以上の物体を把持及び移送するためのシステム及び方法を提供すること。【解決手段】対象物体の寸法に基づいて、エンドエフェクタの第１のグリッパ部によって対象物体に係合するためのグリップ場所を決定することと、エンドエフェクタの１つ以上のグリッパを係合するために、エンドエフェクタを対象物体と位置合わせするための基準軸を決定することと、基準軸に基づいて、エンドエフェクタを対象物体と位置合わせすることと、グリップ場所で対象物体に少なくとも第１のグリッパ部で接触させることと、エンドエフェクタの第１のグリッパ部及び／又は第２のグリッパ部によってグリップ力を提供して、対象物体を把持する。第２のグリッパ部は、第１のグリッパ部とは独立して動作可能である。【選択図】図７

Description

関連出願
本願は、２０２１年９月７日に出願された「ＲＯＢＯＴＩＣ ＧＲＩＰＰＥＲ ＡＳＳＥＭＢＬＩＥＳ ＦＯＲ ＯＰＥＮＡＢＬＥ ＯＢＪＥＣＴ（Ｓ） ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＩＣＫＩＮＧ ＯＢＪＥＣＴＳ」と題された米国特許出願番号第６３／２４１，４６０号に関し、当該特許出願は参照によりその全体が本明細書に組み込まれる。

本技術は、概して、ロボットシステムを対象とし、より具体的には、開閉式の物体を選択的に把持及び保持するように構成されたロボットグリッパアセンブリを対象とする。

現在、ロボット（例えば、自動的／自律的に物理的なアクションを実行するように構成されたマシン）は多くの分野で広く使用されている。例えば、ロボットは、製造、パッケージング、搬送及び／又は出荷等で、様々なタスク（例えば、物体を操作又は移送するタスク）を実行するために使用できる。タスクを実行する際、ロボットは人間のアクションを再現できるため、危険なタスク又は反復的タスクを行うために、別の方法で必要とされる人間の介入に変わる、又は人間の介入が減る。多くの場合、ロボットは、より複雑なタスクの実行に必要とされる人間の鋭敏性及び／又は適応性を再現するのに必要である精巧さを欠く。例えば、ロボットは、多くの場合、直接的に隣接した物体や、不規則な形状／サイズの物体等の物体のグループから物体（複数可）を選択的に把持することが困難になる。また、ロボットは、多くの場合、所定の１つの方向に沿って加えられる力を使用して物体を把持することが制限される。したがって、ロボットシステムの改善、及びロボットの様々な態様を制御して管理するための技術の改善が依然として必要である。

本技術の１つ以上の実施形態による、ロボットシステムが物体を搬送する例示的な環境を示す。 本技術の１つ以上の実施形態による、ロボットシステムを示すブロック図である。 本技術の１つ以上の実施形態による、例示的な対象物体の斜視図である。 本技術の１つ以上の実施形態による、エンドエフェクタの斜視図である。 本技術の１つ以上の実施形態による、移送元コンテナから対象物体を持ち上げるための処理エリアの上面図を示す。 本技術の１つ以上の実施形態による、移送元コンテナから対象物体を持ち上げるための処理エリアの側面図を示す。 本技術の１つ以上の実施形態による、例示的な把持／持ち上げ構成で対象物体を把持して持ち上げるロボットアームアセンブリの側面図を示す。 本技術の１つ以上の実施形態による、グリッパと対象物体（複数可）との間の接触に関するグリップ場所を有する例示的な対象物体の側面図を示す。 本技術の１つ以上の実施形態による、例示的な把持／持ち上げ構成で対象物体を把持して持ち上げるロボットアームアセンブリの斜視図を示す。 本技術の１つ以上の実施形態による、ロボットシステムを操作するためのフロー図である。

本明細書では、選択された物体又は対象物体を把持するためのシステム及び方法について説明する。本システムは、取り外し可能な蓋を有する箱等の、固定された又は開閉式の／取り外し可能な蓋を有する１つ以上の物体の対象のセットを把持／放出するために、独立して又は連動して操作するように構成されたグリッパアセンブリを備えた搬送ロボットを含み得る。例えば、本システムは複数の物体を同時に又は順番にピックアップできる。本システムは、例えば、グリッパアセンブリの運搬能力、動作プラン、又はそれらの組み合わせに基づいて、運搬される物体を選択できる。グリッパアセンブリは、隣接して設置される又は当接する物体、不規則な物体のセット、固有の形状／サイズを有する物体のグループ等から物体を確実に把持できる。例えば、グリッパアセンブリは、選択された物体が真空把持によって保持されるように、それぞれが空気を吸い込むように構成された指定可能な真空領域又はバンクを含み得る。グリッパアセンブリは、ロボットで移動させて、把持された物体を所望の場所に移送し、次に、物体を放出できる。また、本システムは、把持された物体を同時に又は順番に放出できる。このプロセスを繰り返して、異なる場所間で任意の数の物体を搬送できる。したがって、本システムは、１つ以上の物体を移送するためのアクセスシーケンス、降下／放出姿勢、及び／又は動作プランを導出できる。

いくつかの実施形態では、グリッパアセンブリは、中央真空領域を囲む１つ以上の支持領域又は周辺真空領域を含み得る。各真空領域は、対象物体を把持するように構成された１つ以上の接合界面機構（例えば、吸着カップ）のセットに対応し得る。例えば、吸着カップは、グリッパアセンブリの接触面（例えば、底部）から突出でき、対象物体及び／又はその他の環境条件に応じて独立して係合できる。グリッパアセンブリは、さらに、把持された物体に接触して、グリップ力をさらに補完する支持を提供するように配置された及び／又は操作可能であるスタビライザブラケットを含み得る。

グリッパアセンブリは、対象物体の１つ以上の物理的特性及び／又は対応するシナリオ（例えば、移送元パッキング構成等）に従って構成及び／又は操作できる。例示の目的で、靴箱等の蓋を有する開閉式の箱又は複数の箱の操作を使用して、グリッパアセンブリ及び対応する操作方法の様々な実施形態を下記に説明する。しかしながら、グリッパアセンブリ及び対応する操作は、固定式蓋、取り外し可能な蓋、又は可動式蓋（例えば、取り外し可能に結合された蓋、固定されていない蓋、ヒンジカバー、フラップ等）を有する他の物体に適用可能であり得ることが理解される。

少なくともいくつかの実施形態は、指定可能なピックアップ領域を伴うグリッパアセンブリを有する搬送ロボットを操作するための方法を対象とする。ピックアップ領域は、真空グリップを独立して提供するように構成できる、及び／又は少なくとも１つの方向に沿って、独立して伸長可能／引き込み可能である。対象物体（複数可）は、キャプチャされた画像データ又は物体のコードをスキャンすることに基づいて識別される。ピックアップ領域は、識別された対象物体（複数可）を把持するために空気を吸い込むことができる。いくつかの実施形態では、搬送ロボットは、識別された対象物体を運搬するグリッパアセンブリをロボットで移動させるものである。

いくつかの実施形態では、ロボット搬送システムは、ロボット装置、対象物体検出器、及び真空グリッパデバイスを含む。真空グリッパデバイスは、複数の指定可能な領域及びマニホールドアセンブリを含む。マニホールドアセンブリは、各指定可能領域が吸引要素のアレイを介して独立して負圧を提供することが可能であるように、指定可能領域のそれぞれ及び少なくとも１つの真空ラインに流体的に結合できる。負圧は、ロボット装置が真空グリッパデバイスを異なる場所の間で移動させる間、真空グリッパデバイスに対して少なくとも１つの対象物体を保持するのに十分であり得る。

搬送ロボットを操作するための方法は、物体のグループ（例えば、物体のスタックもしくは積み重ね、又は物体のコンテナ）を表す画像データを受信することを含む。受信した画像データに基づいて、グループ内の１つ以上の対象物体を識別する。指定可能な真空領域は、識別された１つ以上の対象物体に基づいて選択される。指定可能な真空領域は、物体の識別された寸法、物体の表面画像、物体の外形、及び／又は同等物に基づいて選択できる。搬送ロボットは、選択された真空領域に、識別された１つ以上の対象物体を保持及び搬送させる指令を出す。搬送ロボットは、それぞれ独立して真空グリッパを提供するように構成された真空領域（又はグリッパ）のアレイを有するグリッパアセンブリを含み、各真空グリッパは、グリッパアセンブリから独立して伸長するように構成される。視覚センサデバイスは、真空グリッパデバイスに隣接する又は真空グリッパデバイスによって保持される対象物体を表す画像データをキャプチャできる。

以下では、本発明に開示されている技術の完全な理解をもたらすために、多くの具体的な詳細が記載される。他の実施形態では、ここで紹介された技術は、これらの具体的な詳細を用いずに実践できる。他の場合、特定の機能又はルーチン等の周知の特徴は、本開示を不必要に曖昧にすることを回避するために詳細には説明されない。この説明における「実施形態」、「一実施形態」等への言及は、説明されている特定の特徴、構造、材料、又は特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書におけるそのような語句の出現は、必ずしも全てが同じ実施形態を指すものではない。一方、そのような参照は必ずしも相互に排他的なものではない。さらに、特定の特徴、構造、材料、又は特性は、１つ以上の実施形態において任意の適切な方法で組み合わせできる。図に示される様々な実施形態は、単に例示的な表現であり、必ずしも縮尺通りに描かれていないことを理解されたい。

周知であり、多くの場合、ロボットシステム及びサブシステムに関連するが、開示された技術のいくつかの重要な態様を不必要に曖昧にする可能性がある構造又はプロセスを説明するいくつかの詳細は、明確にするために以下の説明には記載されていない。さらに、以下の開示では、本技術の異なる態様のいくつかの実施形態が記載されているが、他のいくつかの実施形態は、本節で説明したものとは異なる構成又は異なるコンポーネントを有し得る。したがって、開示された技術は、追加要素がある、又は下記に説明されるいくつかの要素がない他の実施形態を有し得る。

下記に説明される本開示の多くの実施形態又は態様は、プログラム可能なコンピュータ又はコントローラによって実行されるルーチンを含む、コンピュータ実行可能命令又はコントローラ実行可能命令の形態をとり得る。当業者は、開示された技術が、下記に示され及び説明されるもの以外のコンピュータシステム又はコントローラシステムで実践できることを理解するであろう。本明細書で説明される技術は、下記に説明される１つ以上のコンピュータ実行可能命令を実行するように具体的にプログラムされ、構成され、又は構築される専用コンピュータ又はデータプロセッサで具体化できる。したがって、本明細書で全体的に使用される「コンピュータ」及び「コントローラ」という用語は任意のデータプロセッサを指し、インターネット機器及びハンドヘルドデバイス（パームトップコンピュータ、ウェアラブルコンピュータ、携帯電話又は移動電話、マルチプロセッサシステム、プロセッサベース家電製品又はプログラマブル家電製品、ネットワークコンピュータ、ミニコンピュータ等を含む）を含み得る。これらのコンピュータ及びコントローラによって処理される情報は、液晶ディスプレイ（ＬＣＤ）を含む任意の適切な表示媒体で提示できる。コンピュータ実行可能タスク又はコントローラ実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェア及びファームウェアの組み合わせを含む、任意の適切なコンピュータ可読媒体に記憶又は搭載できる。命令は、非一時的有形コンピュータ可読媒体を含む、例えば、フラッシュドライブ、ＵＳＢデバイス、及び／又は他の適切な媒体を含む任意の適切なメモリデバイスに含まれ得る。

「結合された」及び「接続された」という用語は、それらの派生語と一緒に、コンポーネント間の構造的関係を説明するために本明細書で使用できる。これらの用語は、互いに同義語として意図されたものではないことを理解されたい。むしろ、特定の実施形態では、「接続された」は２つ以上の要素が互いに直接接触していることを示すために使用できる。文脈で明らかにされていない限り、「結合された」という用語は、２つ以上の要素が直接もしくは間接的のいずれかで（それらの要素の間にある他の介在要素と）互いに接触していること、又は、２つ以上の要素が互いに（例えば、信号の送信／受信に関する、又は関数呼び出し等に関する因果関係のように）連携もしくは相互作用していること、あるいはそれら両方を示すために使用できる。

適切な環境
図１は、ロボットシステム１００が物体を搬送する例示的な環境の説明図である。ロボットシステム１００は、倉庫又は流通／出荷ハブにおいて、荷下ろしユニット１０２、移送ユニット又はアセンブリ１０４（「移送アセンブリ１０４」）、搬送ユニット１０６、積み込みユニット１０８、又はそれらの組み合わせを含み得る。ロボットシステム１００のユニットのそれぞれは、１つ以上のタスクを実行するように構成できる。タスクは、倉庫に保管するためにトラックもしくはバンから物体を荷下ろしする、又は保管場所から物体を荷下ろしして、その物体を出荷のためにトラックもしくはバンに積み込みするために等、目標を達成する操作を行うために順番に組み合わせできる。別の例では、タスクは、あるコンテナから別のコンテナへの物体の移動を含み得る。ユニットのそれぞれは、タスクを実行するために一連の動作を実行する（例えば、ユニットの１つ以上のコンポーネントを操作する）ように構成できる。

いくつかの実施形態では、タスクは、開始場所１１４からタスク場所１１６への対象物体又はパッケージ１１２（例えば、箱、ケース、ケージ、パレット等）の操作（例えば、移動及び／又は再配向）を含み得る。例えば、荷下ろしユニット１０２（例えば、デバンニングロボット）は、対象物体１１２を運送車（例えば、トラック）内の場所からコンベヤベルト上の場所に移送するように構成できる。移送アセンブリ１０４（例えば、パレタイジング／ピッキングロボットアセンブリ）は、パッケージ１１２を搬送ユニット１０６上又はコンベヤ１２０上に積み込みするように構成できる。別の例では、移送アセンブリ１０４は、１つ以上の対象パッケージ１１２をあるコンテナから別のコンテナに移送するように構成できる。移送アセンブリ１０４は、物体（複数可）１１２をピックアップして運搬するためにそれぞれ独立して操作する真空グリッパ（又は真空領域）を伴うロボットエンドエフェクタ１４０（「エンドエフェクタ１４０」）を含み得る。エンドエフェクタ１４０が対象物体１１２に隣接して設置されるとき、空気がグリッパ（複数可）に吸い込まれ、それにより、対象物体を把持及び保持するのに十分な圧力差が生じる。対象物体１１２は、物体表面を損傷することなく、又は傷つけたりすることなく、ピックアップされ搬送できる。１回に運搬されるパッケージ１１２の数は、ピックアップ場所での物体のスタック配置、放出場所（例えば、降下場所）における利用可能空間、ピックアップ場所と放出場所との間の搬送経路、最適化ルーチン（例えば、ユニット使用法、ロボット使用法等を最適化するためのルーチン）、それらの組み合わせ等に基づいて選択できる。エンドエフェクタ１４０は、保持された物体に関する情報（例えば、保持された物体の数及び構成）、保持された任意の物体間の相対位置等を示す読み取り値を出力するように構成された１つ以上のセンサを有し得る。

撮像システム１６０は、コンポーネントの操作を監視するために、対象物体を識別するために、物体を追跡するために、又はそれ以外の場合、タスクを行うために使用される画像データを提供できる。画像データを分析して、例えば、パッケージのスタック／パッキングの配置（例えば、段ボール箱、梱包コンテナ等の積み重ねられたパッケージ）、物体の位置情報、利用可能な搬送経路（例えば、ピックアップ区域と放出区域との間の搬送経路）、把持アセンブリに関する位置情報、又はそれらの組み合わせを評価できる。コントローラ１０９は、撮像システム１６０及びロボットシステム１００の他のコンポーネントと通信できる。コントローラ１０９は、物体（例えば、安定したコンテナとして示される）をピックアップして放出するための順番、位置決め情報、物体をピックアップするための指示情報、物体を放出するための指示情報、積み重ねプラン（例えば、放出区域で物体を積み重ねるためのプラン）、再積み重ねプラン（例えば、ピックアップ区域でコンテナの少なくとも一部を再び積み重ねるためのプラン）、又はそれらの組み合わせを含む搬送プランを生成できる。搬送プランによって提供される情報及び命令は、コンテナの配置、コンテナの内容物、又はそれらの組み合わせに基づいて選択できる。いくつかの実施形態では、コントローラ１０９は、１つ以上の処理ユニット、プロセッサ、ストレージデバイス（例えば、外部又は内部ストレージデバイス、メモリ等）、通信デバイス（例えば、無線接続用又は有線接続用の通信デバイス）、及び入出力デバイス（例えば、画面、タッチスクリーンディスプレイ、キーボード、キーパッド等）等の電子／電気デバイスを含み得る。例示的な電子／電気デバイス及びコントローラコンポーネントは、図２に関連して説明される。

搬送ユニット１０６は、対象パッケージ１１２（又は複数の対象パッケージ１１２）を、移送アセンブリ１０４に関連するエリアから積み込みユニット１０８に関連するエリアに移送でき、積み込みユニット１０８は、対象パッケージ１１２を（例えば、対象物体パッケージ１１２を載せたパレットを移動させることによって）保管場所に移送できる。いくつかの実施形態では、コントローラ１０９は、移送アセンブリ１０４及び搬送ユニット１０６の操作を調整して、物体を保管棚に効率的に積み込みできる。

ロボットシステム１００は、図１に示されていない、マニピュレータ、サービスロボット、モジュラーロボット等の他のユニットを含み得る。例えば、いくつかの実施形態では、ロボットシステム１００は、物体をケージカートもしくはパレットからコンベヤもしくは他のパレットの上に移送するためのデパレタイズユニット、あるコンテナから別のコンテナに物体を移送するためのコンテナ交換ユニット、物体を包装するためのパッケージングユニット、物体の１つ以上の特性に従って物体をグループ化するための仕分けユニット、物体の１つ以上の特徴に従って、物体を異なる方法で物体を操作するための（例えば、仕分け、グループ化、及び／又は移送するための）別のタイプのユニット、又はそれらの組み合わせを含み得る。システム１００のコンポーネント及びサブシステムは、異なるタイプのエンドエフェクタを含み得る。例えば、荷下ろしユニット１０２、搬送ユニット１０６、積み込みユニット１０８、及びロボットシステム１００の他のコンポーネントは、また、ロボットグリッパアセンブリも含み得る。ロボットグリッパアセンブリの構成は、所望の運搬能力に基づいて選択できる。例示の目的のために、ロボットシステム１００は、出荷センターの状況で説明されるが、ロボットシステム１００は、製造、組立、パッケージング、ヘルスケア、及び／又は他のタイプの自動化等の他の環境で／他の目的のためにタスクを実行するように構成できることを理解されたい。

ロボットシステム
図２は、本技術の１つ以上の実施形態による、ロボットシステム１００のコンポーネントを例示するブロック図である。いくつかの実施形態では、例えば、ロボットシステム１００（例えば、上記で説明したユニットもしくはアセンブリ及び／又はロボットの１つ以上）は、１つ以上のプロセッサ２０２、１つ以上のストレージデバイス２０４、１つ以上の通信デバイス２０６、１つ以上の入出力デバイス２０８、１つ以上の作動デバイス２１２、１つ以上の搬送モータ２１４、１つ以上のセンサ２１６、又はそれらの組み合わせ等の電子／電気デバイスを含み得る。様々なデバイスは、有線接続及び／又は無線接続を介して互いに結合できる。例えば、ロボットシステム１００は、システムバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス又はＰＣＩ－Ｅｘｐｒｅｓｓバス、ハイパートランスポート又は業界標準アーキテクチャ（ＩＳＡ）バス、小型コンピュータシステムインターフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、又は電気電子技術者協会（ＩＥＥＥ）標準１３９４バス（「ファイアワイヤ」とも呼ばれる）等のバスを含み得る。また、例えば、ロボットシステム１００は、デバイス間の有線接続を提供するために、ブリッジ、アダプタ、コントローラ、又は他の信号関連デバイスを含み得る。無線接続は、例えば、セルラー通信プロトコル（例えば、３Ｇ、４Ｇ、ＬＴＥ、５Ｇ等）、無線ローカルエリアネットワーク（ＬＡＮ）プロトコル（例えば、無線フィデリティ（ＷＩＦＩ））、ピアツーピア通信プロトコルもしくはデバイス間通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）等）、モノのインターネット（ＩｏＴ）プロトコル（例えば、ＮＢ－ＩｏＴ、Ｚｉｇｂｅｅ、Ｚ－ｗａｖｅ、ＬＴＥ－Ｍ等）、及び／又は他のワイヤレス通信プロトコルに基づき得る。

プロセッサ２０２は、ストレージデバイス２０４（例えば、コンピュータメモリ）に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたデータプロセッサ（例えば、中央処理装置（ＣＰＵ）、専用コンピュータ、及び／又はオンボードサーバー）を含み得る。プロセッサ２０２は、他のデバイスを制御して／インターフェースをとるためのプログラム命令を実施できることによって、ロボットシステム１００に、アクション、タスク、及び／又は操作を実行させる。

ストレージデバイス２０４は、プログラム命令（例えば、ソフトウェア）が記憶される非一時的コンピュータ可読媒体を含み得る。ストレージデバイス２０４のいくつかの例は、揮発性メモリ（例えば、キャッシュ及び／又はランダムアクセスメモリ（ＲＡＭ））及び／又は不揮発性メモリ（例えば、フラッシュメモリ及び／又は磁気ディスクドライブ）を含み得る。ストレージデバイス２０４の他の例は、ポータブルメモリドライブ及び／又はクラウドストレージデバイスを含み得る。

いくつかの実施形態では、ストレージデバイス２０４を使用して、マスターデータ、処理結果、及び／又は所定のデータ／閾値をさらに記憶し、それらへのアクセスを提供できる。例えば、ストレージデバイス２０４は、ロボットシステム１００によって操作され得る物体（例えば、箱、ケース、コンテナ、及び／又は製品）の記述を含むマスターデータを記憶できる。１つ以上の実施形態では、マスターデータは、ロボットシステム１００によって操作されることが予想される物体の寸法、形状（例えば、潜在的な姿勢に関するテンプレート、及び／又は異なる姿勢の物体を認識するためのコンピュータ生成モデル）、質量／重量情報、カラースキーム、画像、識別情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴ等、及び／又はそれらの予想される場所）、予想される質量もしくは重量、又はそれらの組み合わせを含み得る。いくつかの実施形態では、マスターデータは、各物体の重心（ＣｏＭ）場所、１つ以上のアクション／操作に対応する予想されるセンサ測定値（例えば、力、トルク、圧力、及び／又は接触測定値）、又はそれらの組み合わせ等の物体に関する操作関連情報を含み得る。ロボットシステムは、圧力レベル（例えば、真空レベル、吸引レベル等）、把持／ピックアップエリア（例えば、作動させる真空グリッパのエリア又はバンク）、及び移送ロボットを制御するための他の記憶されたマスターデータを検索できる。また、ストレージデバイス２０４は、物体追跡データを記憶できる。いくつかの実施形態では、物体追跡データは、スキャン又は操作された物体のログを含み得る。いくつかの実施形態では、物体追跡データは、１つ以上の場所（例えば、指定されたピックアップ場所もしくは放出場所及び／又はコンベヤベルト）における物体の画像データ（例えば、写真、点群、ライブビデオフィード等）を含み得る。いくつかの実施形態では、物体追跡データは、１つ以上の場所における物体の場所及び／又は配向を含み得る。

通信デバイス２０６は、ネットワークを介して外部デバイス又はリモートデバイスと通信するように構成された回路を含み得る。例えば、通信デバイス２０６は、受信機、送信機、変調器／復調器（モデム）、信号検出器、信号エンコーダ／デコーダ、コネクタポート、ネットワークカード等を含み得る。通信デバイス２０６は、１つ以上の通信プロトコル（例えば、インターネットプロトコル（ＩＰ）、無線通信プロトコル等）に従って電気信号を送信、受信、及び／又は処理するように構成できる。いくつかの実施形態では、ロボットシステム１００は、通信デバイス２０６を使用して、ロボットシステム１００のユニット間で情報を交換できる、及び／又は（例えば、報告、データ収集、分析、及び／又はトラブルシューティングの目的で）ロボットシステム１００の外部のシステムもしくはデバイスと情報を交換できる。

入出力デバイス２０８は、人間オペレータと情報を通信し、及び／又は人間オペレータから情報を受信するように構成されたユーザインターフェースデバイスを含み得る。例えば、入出力デバイス２０８は、人間オペレータに情報を通信するためのディスプレイ２１０及び／又は他の出力デバイス（例えば、スピーカー、触覚回路、又は触覚フィードバックデバイス等）を含み得る。また、入出力デバイス２０８は、キーボード、マウス、タッチスクリーン、マイクロフォン、ユーザインターフェース（ＵＩ）センサ（例えば、動作コマンドを受信するためのカメラ）、ウェアラブル入力デバイス等の制御デバイス又は受信デバイスを含み得る。いくつかの実施形態では、ロボットシステム１００は、入出力デバイス２０８を使用して、アクション、タスク、操作、又はそれらの組み合わせを実行する際に人間オペレータとインタラクトできる。

いくつかの実施形態では、コントローラ（例えば、図１のコントローラ１０９）は、プロセッサ２０２、ストレージデバイス２０４、通信デバイス２０６、及び／又は入出力デバイス２０８を含み得る。コントローラは、スタンドアロンコンポーネント、又はユニット／アセンブリの一部であり得る。例えば、システム１００の各荷下ろしユニット、移送アセンブリ、搬送ユニット、及び積み込みユニットは、１つ以上のコントローラを含み得る。いくつかの実施形態では、単一のコントローラは、複数のユニット又はスタンドアロンコンポーネントを制御できる。

ロボットシステム１００は、動作（例えば、回転変位及び／又は並進変位）のためにジョイントで接続される物理的又は構造的な部材（例えば、ロボットマニピュレータアーム）を含み得る及び／又はその部材に結合できる。構造部材及びジョイントは、ロボットシステム１００の使用／操作に応じて１つ以上のタスク（例えば、把持、スピン、溶接等）を実行するように構成されたエンドエフェクタ（例えば、グリッパ）を操作するように構成された運動連鎖を形成できる。ロボットシステム１００は、対応するジョイントの周囲又は対応するジョイントで、構造部材を駆動又は操作（例えば、変位及び／又は再配向）するように構成された作動デバイス２１２（例えば、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマ等）を含み得る。いくつかの実施形態では、ロボットシステム１００は、対応するユニット／シャーシを場所間で搬送するように構成された搬送モータ２１４を含み得る。例えば、作動デバイス２１２及び搬送モータは、ロボットアーム、線形スライド、又は他のロボットコンポーネントに接続される、又はそれらの一部である。

センサ２１６は、構造部材を操作するため及び／又はロボットユニットを搬送するため等のタスクを実施するために使用される情報を取得するように構成できる。センサ２１６は、ロボットシステム１００の１つ以上の物理的特性（例えば、１つ以上の構造部材／そのジョイントの状況、状態、及び／又は場所）及び／又は周辺環境の１つ以上の物理的特性を検出又は測定するように構成されたデバイスを含み得る。センサ２１６のいくつかの例は、接触センサ、近接センサ、加速度計、ジャイロスコープ、力センサ、歪みゲージ、トルクセンサ、位置エンコーダ、圧力センサ、真空センサ等を含み得る。

いくつかの実施形態では、例えば、センサ２１６は、周辺環境を検出するように構成された１つ以上の撮像デバイス２２２（例えば、２次元及び／又は３次元撮像デバイス）を含み得る。撮像デバイスは、カメラ（視覚カメラ及び／又は赤外線カメラを含む）、ライダデバイス、レーダデバイス、及び／又は他の距離測定デバイスもしくは検出デバイスを含み得る。撮像デバイス２２２は、（例えば、自動検査、ロボットガイダンス、又は他のロボット応用のため）マシン／コンピュータビジョンを実施するのに用いられる、デジタル画像及び／又は点群等の検出された環境の表現を生成できる。

ここで図１及び図２を参照すると、ロボットシステム１００は、（例えば、プロセッサ２０２によって）画像データ及び／又は点群を処理して、図１の対象物体１１２、図１の開始場所１１４、図１のタスク場所１１６、図１の対象物体１１２の姿勢、又はそれらの組み合わせを識別できる。ロボットシステム１００は、画像データを使用して、物体にどのようにアクセスしてピックアップするかを決定できる。物体の画像を分析して、隣接する物体がグリッパアセンブリに近接し得る場合でも、対象物体を把持するために、真空グリッパアセンブリを位置決めするためのピックアッププランを決定できる。搭載センサ２１６（例えば、ライダデバイス）からの画像出力及び遠隔デバイス（例えば、図１の撮像システム１６０）からの画像データは、単独で又は組み合わせて利用できる。ロボットシステム１００は、（例えば、様々なユニットによって）指定エリア（例えば、トラックの内側、コンテナの内側、又はコンベヤベルト上の物体のピックアップ場所）の画像をキャプチャ及び分析して、対象物体１１２及びその開始場所１１４を識別できる。同様に、ロボットシステム１００は、別の指定エリア（例えば、コンベヤベルト上に物体を設置するための放出場所、コンテナの内側に物体を設置するための場所、又は積み重ね目的のためのパレット上の場所）の画像をキャプチャ及び分析して、タスク場所１１６を識別できる。

また、例えば、図２のセンサ２１６は、構造部材（例えば、ロボットアーム及び／又はエンドエフェクタ）及び／又はロボットシステム１００の対応するジョイントの位置を検出するように構成された図２の位置センサ２２４（例えば、位置エンコーダ、電位差計等）を含み得る。ロボットシステム１００は、タスクの実行中に、位置センサ２２４を使用して、構造部材及び／又はジョイントの場所及び／又は配向を追跡できる。本明細書に開示される荷下ろしユニット、移送ユニット、搬送ユニット／アセンブリ、及び積み込みユニットは、センサ２１６を含み得る。

いくつかの実施形態では、センサ２１６は、複数の物理的構造又は表面との間の直接接触に関連する特性を測定するように構成された接触センサ２２６（例えば、力センサ、歪みゲージ、ピエゾ抵抗／圧電センサ、静電容量センサ、弾性抵抗センサ、及び／又は他の触覚センサ）を含み得る。接触センサ２２６は、対象パッケージ１１２上のエンドエフェクタ（例えば、グリッパ）の把持に対応する特性を測定できる。したがって、接触センサ２２６は、物理的接触、グリッパと対象パッケージ１１２との間の接触もしくは付着の程度、又は他の接触特性に対応する定量化された測定値（例えば、測定された力、トルク、位置等）を表す接触測定値を出力できる。例えば、接触測定値は、エンドエフェクタによる対象パッケージ１１２の把持に関連する力に関連する１つ以上の力、圧力、又はトルクの読み取り値を含み得る。

対象物体及びグリッパアセンブリ
図３Ａは、本技術の１つ以上の実施形態による、例示的な対象物体３００（例えば、対象物体１１２の例）の斜視図である。ロボットシステム１００によって処理された対象物体３００は、１つ以上の固定された蓋、可動な蓋、又は取り外し可能な蓋を有する開閉式の物体又はパッケージを含み得る。例えば、靴箱等の対象物体３００は、対象物体３００の姿勢に基づいて及び／又は物体の１つ以上の部分をロボットが直接操作する必要なく開き得る、固定されていない、又は摩擦ベースのカバー又は蓋を有し得る。対象物体３００の異なる部分は、テープ、接着剤、又は他の外部ファスナを使用する等して、互いに固定され得る又は取り付けられ得る。

対象物体３００は、基準部又は本体部３２４と、蓋３２２（例えば、固定式、ヒンジ式、取り外し式、又は可動式の蓋又はフラップ）と、を有し得る。基準部３２４は、その中に１つ以上の内容物（例えば、靴）を支持、包囲、又は収容でき、取り外し可能な部分はカバーを提供できる。例えば、基準部３２４は底面／支持面及び１つ以上の垂直壁を含み得る一方、蓋３２２は上部／カバー表面及び／又は１つ以上の補充壁を含み得る。

取り外し可能な部分３２２は、基準部３２４に固定されていない、又は取り付けられていないままであり得る。例えば、蓋３２２は、図３Ａに示されるように、対象物体３００が直立姿勢にあるときに基準部３２４を載置して覆う別個の又は独立した構造であり得る。いくつかの実施形態では、カバーのヒンジを形成する際等に、蓋３２２の一部又は縁部を基準部３２４に接続又は一体化できる。異なる部分間の構造的接続に関係なく、蓋３２２が基準部３２４を覆うとき、内側側壁表面は、基準部側壁の外表面の上部に接触し得る。接触面間の摩擦は、取り外し可能な部分３２２を基準部３２４の上に維持するために、いくらかの抵抗を提供し得る。しかしながら、摩擦は、対象物体３００が蓋３２２を押し得る比較的重い物体を含むときに特に、他の姿勢（例えば、蓋３２２が垂直に伸長する、横向きに又は９０度もしくは１８０度回転した姿勢、あるいは逆さまの姿勢）で蓋３２２を基準部３２４に取り付けた状態を維持するのに不十分であり得る。

物体基準軸を使用して、物体の視点からの方向、配向、姿勢等を説明し得る。物体基準軸は、物体の長さに沿って伸長し得る。いくつかの靴箱は、幅（ｘ軸に沿って示される）及び高さ（ｚ軸に沿って示される）よりも大きい長さ（外部基準系のｙ軸に沿って示される）を有し得る。高さは、蓋３２２と基準部との間の関係に基づいて定義され得る。

ロボットシステムは、対象物体（例えば、靴箱）を操作するように構成されたエンドエフェクタを含み得る及び／又は操作できる。図３Ｂは、本技術のいくつかの実施形態による、エンドエフェクタ（例えば、エンドエフェクタ１４０）の斜視図である。エンドエフェクタ１４０は、ロボットアームアセンブリの遠位端に結合／取り付けできる。ロボットアームグリッパアセンブリは、エンドエフェクタ１４０を、ピックアップ環境に位置する１つ以上の物体に又はその近くに位置決めできる。エンドエフェクタ１４０は、物体の上面を把持するため等、全体的に、その遠位端部（例えば、底面）が全体的に下向きに（例えば、全体的に、実世界のｚ軸に沿って）向けられ、参照され得る。しかしながら、比較の目的のために、図３Ｂの基準軸は図３Ａの基準軸に対応する。エンドエフェクタ１４０及び対象物体の操作に関する詳細は、下記に説明される。エンドエフェクタに対する参照空間関係に使用されるツール基準軸／方向は、遠位端／底面からロボットアームアセンブリ取り付け点に向かう方向に沿って伸長し得る。

対象物体は、エンドエフェクタ１４０の底部に対して固定できる。いくつかの実施形態では、グリッパアセンブリは、真空把持を提供するためにそれぞれ選択的に空気を吸い込むことが可能な指定可能な領域を有し得る。操作のいくつかのモードでは、対象物体（複数可）に近接する指定可能な領域だけが空気を吸い込み、真空グリッパデバイスと対象物体（複数可）との間に直接的に圧力差をもたらす。これにより、グリッパアセンブリの他のグリップ部が他のパッケージに隣接する又は接触している場合でも、選択されたパッケージ（例えば、対象パッケージ）だけをグリッパアセンブリに対して引っ張る、又はそれ以外の場合、固定することが可能である。

エンドエフェクタ１４０は、把持区域を定義する指定可能な真空区域又は領域１１７ａ、１１７ｂ、１１７ｃ（まとめて「真空領域１１７」）を含み得る。特に明記しない限り、一つの真空領域１１７の説明は、他の真空領域１１７に適用される。いくつかの実施形態では、真空領域１１７のそれぞれは、エンドエフェクタ１４０の外部の真空源に接続されたコンポーネントを含む吸引チャネルバンクであり得る。真空領域１１７は、物体を保持できる把持接触面（例えば、１つ以上の吸着カップ）を含み得る。

真空領域１１７は、パッケージ１１２を保持するために空気を吸い込むことができ、パッケージ１１２を放出するために空気の吸い込みを減少又は停止できる。真空領域１１７は、パッケージを様々な位置に保持するために空気を独立して吸い込むことができる。真空領域１１７は、空気を吸い込む吸引要素のグループ又はバンクを含み得る。吸引要素は、互いに均等／均一又は不均等に間隔を空けて配置でき、所望のパターン（例えば、不規則又は規則的なパターン）で配置できる。真空領域１１７は、吸引要素の同じもしくは異なる数、構成、及び／又はパターンを有し得る。真空領域１１７の形状と一致するパッケージを運搬するために、真空領域１１７の各吸引要素（例えば、１１７ａ、１１７ｂ、及び１１７ｃ）を通して空気を吸い込むことができる。より小さなパッケージを運搬するために、真空領域１１７のサブセット（例えば、１１７ｂ、１１７ａ及び１１７ｂ、１１７ｂ及び１１７ｃ）を通して、又はパッケージの形状に合わせて、空気を吸い込むことができる。

真空領域１１７の全てがアクティブであるとき、エンドエフェクタ１４０は、ターゲット物体にほぼ均一なグリップ力を提供できる。エンドエフェクタ１４０は、真空領域１１７と物体との間に真空状態を形成して維持することによって達成されるような、引力によって物体（複数可）を保持又は付着するように構成できる。例えば、エンドエフェクタ１４０は、対象物体の表面に接触し、真空領域１１７と表面との間の空間に真空状態を形成／保持するように構成された１つ以上の真空領域１１７を含み得る。ロボットアームによってエンドエフェクタ１４０が下がり、それによって、真空領域１１７を対象物体の表面に押し、対向する表面の間に気体を押し出す、又はそれ以外の場合、気体を除去するときに、真空状態を生成できる。ロボットアームがエンドエフェクタ１４０を持ち上げるとき、真空領域１１７の内側の空間と周囲環境との間の圧力の差により、対象物体を真空領域１１７に取り付けられた状態に維持できる。いくつかの実施形態は、エンドエフェクタ１４０の真空領域１１７を通る空気流量は、対象物体をしっかり把持するのに十分な把持が達成されることを確実にするために、動的に調整できる、又は対象物体と真空領域１１７の接触面もしくは把持面との間の接触面積に基づいて調整できる。同様に、真空領域１１７を通る空気流量は、対象物体をしっかり把持するのに十分な把持を達成することを確実にするために、より重い物体の気流を増加させる等、対象物体の重量に対応するように動的に調整できる。

真空領域１１７ａ、１１７ｂ、及び１１７ｃは、グリッパアセンブリ１４０の底面に対してさらに近づくように引き込むことによって、又は遠くに伸長することによって等、互いに独立して移動できる。したがって、真空領域１１７ａ、１１７ｂ、及び１１７ｃは、異なる位置及び／又は回数で物体と接触し得る。例えば、（グリッパアセンブリ位置２の側面図に示されるように）中央真空領域１１７ｂの吸着カップ（複数可）は、底面から離れて伸長して、他の領域の前に対象物体に係合し得る。対象物体を把持した後、物体が周辺真空領域１１７ａ及び１１７ｃの吸着カップと接触／係合するまで、中央真空領域１１７ｂの吸引カップ（複数可）は、（グリッパアセンブリ位置１に示されるように）引き込まれ得る。いったん中央領域が引き込むと、周辺真空領域と係合して対象物体を把持できる。言い換えれば、中央部分を使用して、対象物体を比較的短い距離だけ（例えば、他の物体又は隣接する物体から離して）移動／変位でき、いったん対象物体が他の非対象物体から離れると、周辺部分を使用して追加のグリップ力を提供できる。したがって、グリッパアセンブリ１４０は、意図しないダブルピック（例えば、対象物体と一緒に意図しない／追加の物体のピックアップ）を減らすことができる。周辺真空領域を使用して、十分なグリップを提供して、対象物体を操作／移送できる。

エンドエフェクタ１４０は、対象物体の操作／移送をさらに補助するように構成されたスタビライザブラケット３０２を含み得、スタビライザブラケット３０２は、ツール基準軸及び吸着カップの位置合わせに平行に伸長する支持面を含み得る。支持面は、対象物体の非係合部分（例えば、把持面に直交する周辺面）に接触するように構成できる。いくつかの実施形態では、エンドエフェクタ１４０は、スタビライザブラケット３０２を１つ以上の方向に沿って伸長及び／又は引き込むように構成され得る。例えば、エンドエフェクタ１４０は、ブラケット３０２を底面に最も近い静止位置に引き込むことができる、及び／又はエンドエフェクタ１４０の本体から離れて引き込むことができる（例えば、－ｚ方向に沿って移動する）。静止位置は、対象物体に係合する前に確立できる、及び／又は中心真空領域１１７ｂを使用して、対象物体の初期変位まで維持できる。グリッパアセンブリ１４０は、ブラケット３０２を底面の下に、もしくは底面を通過して（例えば、ロボットアームアセンブリから離れるように）移動できる、及び／又は支持面が把持された物体に接触するまで、エンドエフェクタ１４０の本体に向かって（例えば、－ｚ方向に沿って）ブラケット３０２を移動できる。エンドエフェクタ１４０は、傾斜した取り付けアーム３０４を含み得る。傾斜した取り付けアーム３０４の角度は、ロボットアームに取り付けられたエンドエフェクタ１４０の位置が、移送中に対象物体のカバー又は蓋を閉じた状態に維持するために傾斜するような角度であり得る。

把持／持ち上げ構成
ロボットシステムは、移送元コンテナから対象物体を把持して持ち上げることができる。持ち上げ後、ロボットユニット（例えば、遠位端にエンドエフェクタを有する移送ロボット又はロボットアームアセンブリ）は、対象物体を標的場所（例えば、目的地）に移送できる。いくつかの実施形態では、目的地は、コンベア上の場所に対応し得る。図４Ａは、本技術の１つ以上の実施形態による、移送元コンテナ４０２から対象物体（例えば、対象物体３００）を持ち上げるための処理エリアの上面図４００（例えば、図２の撮像装置２２２のオーバーヘッドインスタンスから受信した画像データ２２３）を示す。例えば、上面図４００は、コンテナ（例えば、収納箱）に設置された、又はそこから取り出された対象物体（例えば、靴箱）を示す。図４Ｂは、本発明の１つ以上の実施形態による、移送元コンテナから対象物体を持ち上げるための処理エリアの側面図４３０（例えば、画像装置２２２の横向きのインスタンスから受信した画像データ２２３）を示す。コンテナ４０２及び／又はその中の物体（例えば、対象物体３００）は、移送元コンテナ及び／又は各物体の底面が鋭角を形成するような角度（例えば、対応する水平基準面との角度θ）で設置できる。傾斜設置姿勢により、（例えば、物体に接触して把持するために少なくとも部分的に下に移動することによって）エンドエフェクタが上から物体に接近できるようにしながら、物体の蓋を基準部の上に静止することを可能にし得る。

図４Ｃは、本技術の１つ以上の実施形態による、例示的な把持／持ち上げ構成で対象物体を把持して持ち上げるロボットアームアセンブリの側面図４６０を示す。グリッパアセンブリは、物体の傾斜静止姿勢に対応する傾斜姿勢で対象物体に接近できる。例えば、エンドエフェクタ１４０は、対象物体３００を把持／持ち上げするために、傾斜静止姿勢（例えば、角度θ）の角度と一致させるために、ツール基準軸４６２が床に対してある角度を形成する状態で位置決めできる。ロボットシステムは、エンドエフェクタを傾斜方向に沿って（例えば、下向きに及び物体に向かって）移動させて、対象物体に接触して把持する動作プランを導出及び実施できる。上記で説明したように、ロボットシステムは、中央部分の吸着カップ（複数可）（例えば、図３Ｂの真空領域１１７ｂ）を位置１から位置２まで伸長して、対象物体を把持できる。対象物体を把持した後、中央の吸着カップ（複数可）を引き込むことができる。したがって、把持された物体は、ツール基準軸に沿って比較的短い距離だけ変位できる。いったん対象物体が隣接する対象物体から離れると、周囲の吸着カップが係合して対象物体をさらに把持できる。いくつかの実施形態では、対象物体が移送元コンテナから出るとき、ロボットシステムは吸着カップ及び／又は支持ブラケットを移動できる。例えば、ブラケットの支持面が対象物体（例えば、対象物体の底面）に接触するまで、ブラケットを底面から離れて及び／又は対象物体に向かって伸長できる。

ブラケットは、運動基準軸（例えば、運動基準軸４６４）に支持を提供するように構成できる。運動基準軸は、対象物体の移送間又は移送中に、エンドエフェクタの姿勢及び／又は全体的な移動方向を表すことができる。ロボットシステムは、実世界のｚ軸（例えば、実世界のｚ軸４６６）から離れて傾いた又は傾斜した運動基準軸を決定できる。比較すると、従来のシステム及び／又は移送構成について、ツール基準軸がｚ軸に平行に向いている。従来の把持接触面は下向き方向に向き、エンドエフェクタの下に、対象物体を把持／保持する。しかしながら、そのような従来の移送姿勢は、固定式／ヒンジ式／取り外し可能な／可動式の蓋を伴う物体について問題が生じ得る。一般的な上下移送姿勢の重力により、別々の部分を外させる、又は互いに離れさせる可能性がある。さらに、対象物体内の内容物が移動し、さらに、別々の部分を互いに離れ得る。物体の異なる部分が互いに離れるのを防ぐために、ロボットシステムの実施形態は、対象物体が移送中に基準部の上の蓋に対してある角度で維持されるように、傾斜した運動基準軸を決定して活用できる。

いくつかの実施形態では、ロボットシステムは、ｚ軸に対する所定の変位角に基づいて、傾斜した運動基準軸を決定できる。他の実施形態では、ロボットシステムは、グリップ場所（例えば、物体上の接触取り付け面）、物体の重量、物体の寸法（例えば、長さ）、物体上のブラケットのサイズ及び／又は接触場所（複数可）、物体の把持／持ち上げの後のエンドエフェクタによって測定された回転力又は回転トルク、ならびに／あるいはエンドエフェクタ及び／又は対象物体のその他の物理的特性に基づいて、変位角を導出できる。いくつかの実施形態では、変位角は、従来の構成／デバイスの傾斜制御限度の外側にあり得る。

図５は、本技術の１つ以上の実施形態による、グリッパと対象物体（複数可）との間の接触に関するグリップ場所（例えば、グリップ場所５０２及びグリップ場所５０４）を有する例示的な対象物体（例えば、対象物体５００及び対象物体５０１）の側面図を示す。ロボットシステムは、物体の基準部３２４を把持するように構成できる。グリップ場所５０２を決定する際に、ロボットシステムは、対象物体の受信した画像（例えば、上面図４００）内の蓋３２２（例えば、カバー）の上にマスクを設置できる。したがって、ロボットシステムは基準部だけを考慮／処理できる。

いくつかの実施形態では、ロボットシステムは、グリップ接触面に加えられるトルクを最小にするために、重心場所又はその推定値より下の（例えば、分離方向から離れた）グリップ場所５０２を決定できる。加えて、又は代替として、ロボットシステムは物体の底面から離れたある距離にグリップ場所を決定でき、その距離は、吸着カップとブラケットの接触面との間の分離距離と一致する。他の実施形態では、ロボットシステムは、蓋に最も近いグリップ場所を決定するように構成できる。第１の例では、対象物体５００は、対象物体５００の重心に、重心の上、又は重心の下にグリップ場所５０２を有する。第２の例では、対象物体５０１は、対象物体５０１の質量中心からオフセットされた（例えば、側面の）グリップ場所を有する。いくつかの実施形態では、ロボットシステムは、対象物体の蓋の形状に基づいてグリップ場所を決定する。例えば、対象物体５００及び対象物体５０１の蓋／カバーが異なるため、対象物体５００及び対象物体５０１のグリップ場所は異なる。

図６は、本技術の１つ以上の実施形態による、例示的な把持／持ち上げ構成で対象物体を把持して持ち上げるロボットアームアセンブリの斜視図を示す。図１のロボットシステム１００は、移送元コンテナ４０２から対象物体３００を把持して持ち上げることができる。持ち上げ後、ロボットユニット（例えば、遠位端にエンドエフェクタ１４０を有する移送ロボット又はロボットアームアセンブリ）は、対象物体３００を標的場所１１６（例えば、目的地）に移送できる。いくつかの実施形態では、目的地は、コンベヤ、別の収納箱、パレット等の場所に対応し得る。

操作フロー
図７は、本開示の１つ以上の実施形態による、ロボットシステム（例えば、図１のロボットシステム１００又はその一部）を操作するための方法７００のフロー図である。一般に、ロボットシステムは（例えば、図１のコントローラ、図２の通信装置２０６、及び／又は図２の画像装置２２２を介して）は、ブロック７０１に示されるように、ピックアップ環境の少なくとも一部を表す画像データ（例えば、図３の上面図３００）を受信できる。ロボットシステムは、受信した画像データに基づいて対象物体（例えば、図３Ａの対象物体３００）を識別できる。

ロボットシステムは、環境の少なくとも一部を表す画像データを受信できる。例えば、受信した画像データは、コンテナ内の物体を表すことができる。画像データは、限定ではないが、ビデオ、静止画像、ライダデータ、レーダーデータ、物体識別データ、バーコードデータ、又はそれらの組み合わせを含み得る。いくつかの実施形態では、例えば、センサは、コントローラ１０９等のコンピュータ又はコントローラに（例えば、有線接続又は無線接続を介して）送信されるビデオ又は静止画像をキャプチャできる。

ブロック７０２において、ロボットシステム又はその一部（例えば、コントローラ１０９、プロセッサ２０２等）は、画像データを分析して、物体のグループ、物体のコンテナ、物体のスタック等の対象物体を識別できる。例えば、コントローラは、受信した画像データに基づいて個々の物体を識別できる。コントローラは、コンテナ又は物体上のビジュアルマーカー／デザイン及び／又は識別情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴ等、及び／又は予想される場所）を識別できる。識別情報及びビジュアルマーカーは、マスターデータに登録された物体の寸法及び重量等の物体の他の特性を示し得る。ロボットシステムは、さらに、マスターデータ又は出荷マニフェストを使用する等して、識別された対象物体が、物体の姿勢に基づき及び／又は蓋をロボットで直接操作することなく、開き得る、固定されていない、又は部分的に接続されているカバー／蓋を有する靴箱等の、１つ以上の固定式、ヒンジ式、可動式、又は取り外し可能な蓋又はフラップを有することを決定できる。

いくつかの実施形態では、放出場所からの情報を使用して、対象物体を選択する。例えば、ロボットシステムは、梱包順序、コンテナ内の対象物体、放出場所における利用可能な空間の量、好ましいスタックの配置等に基づいて、対象物体を選択できる。ユーザは、物体のピックアップ順序を決定するための選択基準を入力できる。いくつかの実施形態では、ピックアップ環境のマッピングは、受信した画像データに基づいて生成できる。いくつかのマッピングプロトコルでは、エッジ検出アルゴリズムを使用して、物体、表面等のエッジを識別する。ロボットシステムは、マッピングを分析して、ピックアップ領域のどの物体が一緒に搬送することが可能かを決定できる。

ロボットシステムは、行われるタスクの対象として、移送元物体から対象物体を選択できる。例えば、ロボットシステムは、所定の順番、ルールのセット、物体の外形のテンプレート、又はそれらの組み合わせに従って、ピックアップする対象物体を選択できる。具体的な例として、ロボットシステムは、画像デバイスの既知の場所に対する距離及び位置を表す点群／深度マップに従って、エンドエフェクタ（例えば、エンドエフェクタ１４０）にアクセス可能な移送元パッケージの例として、例えばパッケージのコンテナ（例えば、移送元コンテナ４０２）内に位置する移送元パッケージの例として、対象パッケージを選択できる。ある例では、ロボットシステムは、他の移送元パッケージを妨害又は変位させることなく、又はそれに対する妨害又は変位を最小限に抑えて、基準場所に対して左から右へ、又は最も近い場所から最も遠い場所へ等の所定のパターンに従って、対象物体を選択できる。

ブロック７０４において、コントローラ（例えば、図１のコントローラ１０９）は、対象物体の寸法及びコンテナの寸法を識別できる。コントローラは、対象物体及び／又はコンテナの物体識別子（例えば、バーコード、ＱＲコード（登録商標）等）をスキャン／読み取ることによって、対象物体の寸法及びコンテナの寸法を識別できる。対象物体の寸法（例えば、物体の固定式、ヒンジ式、可動式、又は取り外し可能な蓋又はフラップの場所／配向）に基づいて、コントローラは、中央真空領域１１７ｂ及び／又は周辺真空領域１１７ａ／ｃが、基準部３２４内に適合できる、及び／又は物体を持ち上げて移送するために使用する真空領域の操作シーケンスに適合できるかどうかを決定できる。

ブロック７０６において、コントローラは、対象物体を把持するための真空グリッパ又は真空領域のグリップ場所を決定できる。例えば、コントローラ１０９は、真空領域１１７ｂによってパッケージ１１２の全体（例えば、対象物体）を支持することができるため、パッケージ１１２を把持するための真空領域１１７ｂを選択できる。真空は、図３Ｂの真空領域１１７ｂの実質的に全ての吸引要素（例えば、吸引要素の少なくとも９０％、９５％、９８％）によって吸引される。コントローラ１０９は、対象物体の寸法に基づいて真空グリップの係合シーケンスを選択できる。ある例では、グリップ場所（例えば、図５のグリップ場所５０２又は５０４）は、可動部３２２（例えば、蓋）に接触又は重なることなく、対象物体の基準部３２４上に位置する。コントローラ１０９は、重心（ＣＯＭ）場所（例えば、グリッパが受けるトルクを調整するためにＣＯＭの下にある場所）に基づいてグリップ場所を決定、及び／又は物体の異なる部分（例えば、蓋に最も近い部分及び／又は基準部の可能な限り高い部分）の間の境界を決定できる。

ブロック７０８において、コントローラは、ロボットシステム（例えば、ロボットアームアセンブリ等のロボットユニット）を制御し、物体を移送するための１つ以上のコマンドを生成又は導出できる。操作モードの一部では、コマンドは動作プランに対応し得る。例えば、コントローラは、グリッパを位置決めするための１つ以上のコマンドを生成し、吸着カップ（複数可）の１つ以上のセクションを伸長し、及び／又は真空源に選択された真空レベルで真空を提供させることができ、それによって、対象物体３００を把持する。真空レベルは、対象物体（複数可）の重量又は質量、行われるタスク等に基づいて選択できる。選択された領域又はグリッパで吸引を提供するために、マニホールドを操作するようにグリッパアセンブリにコマンドを送信できる。コントローラは、作動デバイス（例えば、作動デバイス２１２）、モータ、サーボ、アクチュエータ、及びロボットアームの他のコンポーネントに、グリッパアセンブリを移動させるコマンドを生成する。ロボットシステムは、ロボット搬送アームに場所間で物体を運搬するグリッパアセンブリをロボットで移動させる移送コマンドを生成できる。ロボットシステムは、物体を別の物体に衝突させることなく、物体を放出場所に届けるために、搬送経路に対応する動作プランに基づいて、搬送コマンドを生成できる。

生成されたコマンドは、物体の傾斜静止姿勢に対応する傾斜姿勢で対象物体に接近するロボットアーム及び／又はグリッパを操作及び／又は制御するために使用できる。言い換えれば、グリッパは、ツール基準軸が対象物体の傾斜静止姿勢の角度と一致する角度を形成する状態で位置決めできる。ロボットシステムは、エンドエフェクタを傾斜方向に沿って（例えば、下向きに及び物体に向かって）移動させて、対象物体に接触して把持する動作プランを導出及び実施できる。上記で説明したように、ロボットシステムは、中央部分の吸着カップ（複数可）（例えば、図３Ｂの真空領域１１７ｂ）を位置１から位置２まで伸長して、対象物体を把持できる。対象物体を把持した後、中央の吸着カップ（複数可）を引き込むことができる。したがって、把持された物体は、ツール基準軸に沿って及びエンドエフェクタの底部／把持接触面にさらに近づいて、比較的短い距離だけ変位できる。いったん対象物体が隣接する対象物体から離れると、周囲の吸着カップが係合して対象物体をさらに把持できる。いくつかの実施形態では、対象物体が移送元コンテナから出るとき、ロボットシステムは吸着カップ及び／又は支持ブラケットを移動させることができる。例えば、ブラケットの支持面が対象物体（例えば、対象物体の底面）に接触するまで、ブラケットを底面から離れて及び／又は対象物体に向かって伸長できる。

ブラケットは、運動基準軸に支持を提供するように構成できる。運動基準軸は、対象物体の移送間又は移送中に、エンドエフェクタの姿勢及び／又は全体的な移動方向を表すことができる。ロボットシステムは、実世界のｚ軸から離れて傾いた又は傾斜した運動基準軸を決定できる。ロボットシステムは、対象物体が移送中に基準部の上の蓋に対してある角度で維持されるように、傾斜した運動基準軸を決定して使用できる。

ブロック７１０において、コントローラは、動作プラン／コマンドの対応する部分を実施すること等によって、真空グリッパに係合して対象物体を移送できる。エンドエフェクタは、移送元パッケージ又は移送元物体の中から対象パッケージ又は対象物体を把持するように構成できる。例えば、ロボットシステム１００は、エンドエフェクタ１４０が真空領域１１７の複数のインスタンスと係合して、対象物体の複数のグリップ場所を同時に把持し、物体をコンテナから引き込むための把持操作を行うための命令を生成できる。具体的な例として、エンドエフェクタ１４０を使用して、対象物体を次々に順番に把持する把持操作のための命令を実行することができる。

ブロック７１２において、ロボットシステム１００は、対象物体を把持した後に動作プラン／コマンドの後続の部分を実施すること等によって、対象物体を目的地又は標的場所に移送できる。ロボットシステムは、対象物体の固定式、ヒンジ式、可動式、又は取り外し可能な蓋が移送中に開かないように、（上記に説明した傾斜した運動基準軸に従って）傾斜した運搬で対象物体を移送できる。

ブロック７１４において、コントローラは、動作プラン／コマンドの放出シーケンスに従って、真空グリッパを解放し、対象物体を標的場所（例えば、コンベヤベルト）で放出できる。ブロック７１６において、ロボットシステムは、対象物体を標的場所に移送するのと同様に、コンテナを標的場所に移送できる。例えば、物体がコンテナから取り出され、コンテナが空になるとき、ロボットシステムはコンテナを標的場所に移送する。

結論
開示された技術の例の上記の発明を実施するための形態は、網羅的であること、又は開示された技術を上記に開示した正確な形態に限定することを意図するものではない。開示された技術の特定の例が例示の目的のために上記で説明されるが、当業者が認識するように、開示された技術の範囲内で様々な同等の修正が可能である。例えば、プロセス又はブロックが所与の順序で提示されているが、代替の実施態様は、異なる順序で、ステップを有するルーチンを行い得、又はブロックを有するシステムを使用し得、いくつかのプロセス又はブロックは、代替又は部分的な組み合わせを提供するために、削除、移動、追加、細分化、結合、及び／又は修正され得る。これらのプロセス又はブロックのそれぞれは、様々な方法で実施され得る。また、プロセス又はブロックは、時々、順番に行われるように示されているが、これらのプロセス又はブロックは、代わりに並行して行われ得るもしくは実施され得る、又は異なる時間に行われ得る。さらに、本明細書に記載される任意の特定の数は単なる例であり、代替の実施態様では、異なる値又は範囲を使用し得る。

これら及び他の変更は、上記の発明を実施するための形態を考慮して、開示された技術に対して行うことができる。発明を実施するための形態は、開示された技術の特定の例及び想到される最良の形態を説明しているが、開示された技術は、上記の説明が本文にどのように詳細に記載されていても、多くの方法で実践できる。システムの詳細は、本明細書に開示されている技術によってさらに包含されながら、特定の実施態様ではかなり異なり得る。上述したように、開示された技術の特定の特徴又は態様を説明するときに使用される特定の用語は、その用語が関連する開示された技術のいずれかの特定の特性、特徴、又は態様に制限されるように、本明細書でその用語が再定義されていることを意味するものと解釈するべきではない。したがって、本発明は、添付の特許請求の範囲によるものを除き、限定されない。一般に、以下の特許請求の範囲で使用される用語は、上記の発明を実施するための形態でそのような用語を明示的に定義しない限り、開示された技術を本明細書で開示される特定の例に限定するように解釈するべきではない。

本発明の特定の態様は、下記の特定の特許請求の範囲の形態で提示されるが、出願人は、本発明の様々な態様を任意の数の請求項の形態において企図している。したがって、出願人は、本願又は継続出願のいずれかで、そのような追加の請求項の形態を追求するために、本願の出願後に追加の請求項を追求する権利を留保する。

Claims (20)

1. ロボットグリッパアセンブリに結合されたコントローラを備え、
   前記コントローラは、
   １つ以上の蓋を有する対象物体の寸法に基づいて、前記ロボットグリッパアセンブリによる係合のための前記対象物体上のグリップ場所を決定することであって、前記グリッパアセンブリは、前記対象物体を前記グリップ場所で把持するように構成された第１のグリッパ部と、前記第１のグリッパ部に隣接する第２のグリッパ部と、を含むことと、
   前記ロボットグリッパアセンブリの前記１つ以上のグリッパを係合するために、前記ロボットグリッパアセンブリを前記対象物体と位置合わせするための基準軸を決定することと、
   前記ロボットグリッパアセンブリを操作するための動作プランを導出することと、
   を行うように構成され、
   前記第１のグリッパ部は、前記第２のグリッパ部に対して独立して伸長可能であり、最初に前記対象物体を把持し、前記対象物体とともに引き込み、
   前記第２のグリッパ部は、前記第１のグリッパ部の最初の把持及び引き込みの後に前記対象物体を把持するように構成され、
   前記動作プランは、
   前記基準軸に基づいて、前記ロボットグリッパアセンブリを前記対象物体と位置合わせすることと、
   前記グリップ場所で前記対象物体に前記第１のグリッパ部及び／又は前記第２のグリッパ部で接触させることと、
   前記第１のグリッパ部及び／又は前記第２のグリッパ部によってグリップ力を提供して、前記対象物体を前記グリップ場所で把持することと、
   を行う、ロボットシステム。
2. 前記コントローラは、
   前記対象物体の前記１つ以上の蓋を開かずに、前記対象物体を標的場所に移送するように、
   前記ロボットグリッパアセンブリを操作するための前記動作プランを導出するようにさらに構成される、請求項１に記載のロボットシステム。
3. 前記第コントローラは、さらに、
   ピックアップ環境の少なくとも一部を表す画像データを受信することと、
   前記ピックアップ環境でコンテナ内の１つ以上の対象物体を識別することと、
   前記１つ以上の対象物体及び前記コンテナの寸法を識別することと、
   を行うように構成される、請求項１に記載のロボットシステム。
4. 前記コントローラは、
   前記対象物体を標的場所で放出するための放出姿勢を導出することと、
   前記放出姿勢に従って、前記ロボットグリッパアセンブリの前記１つ以上のグリッパの前記グリップ力を解放することと、
   を行うように、前記ロボットグリッパアセンブリをさらに操作するための前記動作プランを導出するように構成される、請求項１に記載のロボットシステム。
5. 前記コントローラは、さらに、
   前記寸法に基づいて、前記ロボットグリッパアセンブリの前記１つ以上のグリッパを前記対象物体に取り付ける係合シーケンスを導出することに基づいて、前記動作プランを導出するように構成される、請求項１に記載のロボットシステム。
6. 前記ロボットシステムは、さらに、
   前記対象物体を開始場所から標的場所に移送するために前記ロボットグリッパアセンブリを操作するための前記動作プランに対応するコマンドのセットを導出するように構成される、請求項１に記載のロボットシステム。
7. 前記ロボットグリッパアセンブリは、さらに、前記把持された対象物体に接触して支持するように構成される、取り付けられたスタビライザブラケットを含む、請求項１に記載のロボットシステム。
8. ロボットシステムであって、
   ロボットアームと、
   前記ロボットアームに動力学的に結合されたエンドエフェクタと、
   前記ロボットアーム及び前記エンドエフェクタに動作可能に結合された１つ以上のプロセッサと、
   前記１つ以上のプロセッサによって実行されるとき、前記ロボットシステムに、プロセスを行わせる命令を記憶する１つ以上のメモリと、
   を備え、
   前記エンドエフェクタは、
   前記エンドエフェクタの底部にあり、対象物体の表面を把持するように構成された第１のグリッパ部と、
   前記底部にあり、前記対象物体の前記表面を把持するように構成され、かつ、前記第１のグリッパ部とは独立して操作可能である第２のグリッパ部と、
   前記第１のグリッパ及び前記第２のグリッパに隣接し、前記エンドエフェクタの上部から前記底部に伸長する方向に沿って伸長するスタビライザブラケットであって、少なくとも前記第１のグリッパ部によって把持されている前記対象物体に接触して、前記把持した対象物体に支持力を提供するように構成されたスタビライザブラケットと、を含み、
   前記プロセスは、
   １つ以上の蓋を有する前記対象物体の寸法に基づいて、少なくとも前記第１のグリッパ部によって前記対象物体に係合するための前記対象物体上のグリップ場所を決定することと、
   前記エンドエフェクタの前記１つ以上のグリッパを係合するために、前記エンドエフェクタを前記対象物体と位置合わせするための基準軸を決定することと、
   前記基準軸に基づいて、前記エンドエフェクタを前記対象物体と位置合わせすることと、
   前記グリップ場所で前記対象物体に少なくとも前記第１のグリッパ部で接触させることと、
   前記エンドエフェクタの前記第１のグリッパ部及び／又は前記第２のグリッパ部によって、グリップ力を提供して、前記対象物体を把持することと、
   を含む、ロボットシステム。
9. 前記プロセスは、さらに、
   前記対象物体の前記１つ以上の蓋を前記対象物体の基準部に対して安定に維持する前記対象物体の傾斜姿勢を維持するために、前記基準軸に従って前記対象物体を標的場所に移送することを含む、請求項８に記載のロボットシステム。
10. 前記プロセスは、さらに、
    ピックアップ環境の少なくとも一部を表す画像データを受信することと、
    前記ピックアップ環境でコンテナ内の１つ以上の対象物体を識別することと、
    前記１つ以上の対象物体及び前記コンテナの寸法を識別することと、を含み、
    前記グリップ場所は、前記寸法、前記基準部に対する前記１つ以上の蓋の場所、前記対象物体の重心場所、又はそれらの組み合わせに基づいて前記基準部内に決定される、請求項９に記載のロボットシステム。
11. 前記プロセスは、さらに、
    前記対象物体を標的場所で放出するための放出姿勢を導出することと、
    前記放出姿勢に従って、前記エンドエフェクタの前記１つ以上のグリッパの前記グリップ力を解放することと、
    を含む、請求項８に記載のロボットシステム。
12. 前記プロセスは、さらに、
    前記寸法に基づいて、前記エンドエフェクタの前記１つ以上のグリッパを前記対象物体に取り付ける係合シーケンスを導出することを含み、
    前記係合シーケンスは、
    前記第１のグリッパ部を前記対象物体に向かって伸長することと、
    前記第１のグリッパ部を使用して、前記対象物体を把持することと、
    前記第１のグリッパ部を前記把持された対象物体と一緒に引き込むことと、
    前記第１のグリッパ部を引き込んだ後、前記第２のグリッパ部を係合して前記対象物体をさらに把持することと、
    を含む、請求項８に記載のロボットシステム。
13. 前記プロセスは、さらに、
    前記第２のグリッパ部を係合した後、前記スタビライザブラケットの姿勢を調整して、前記把持された対象物体に接触して支持することを含む、請求項９に記載のロボットシステム。
14. ロボットシステムを操作するための方法であって、
    １つ以上の蓋を有する対象物体の寸法に基づいて、少なくともエンドエフェクタの第１のグリッパ部によって前記対象物体に係合するための前記対象物体上のグリップ場所を決定することと、
    前記エンドエフェクタの１つ以上のグリッパを係合するために、前記エンドエフェクタを前記対象物体と位置合わせするための基準軸を決定することと、
    前記基準軸に基づいて、前記エンドエフェクタを前記対象物体と位置合わせすることと、
    前記グリップ場所で前記対象物体に少なくとも前記第１のグリッパ部で接触させることと、
    前記エンドエフェクタの前記第１のグリッパ部及び／又は第２のグリッパ部によって、グリップ力を提供して、前記対象物体を把持することと、
    を含む、方法。
15. 前記対象物体の前記１つ以上の蓋を前記対象物体の基準部に対して安定に維持する前記対象物体の傾斜姿勢を維持するために、前記基準軸に従って前記対象物体を標的場所に移送することをさらに含む、請求項１４に記載の方法。
16. ピックアップ環境の少なくとも一部を表す画像データを受信することと、
    前記ピックアップ環境でコンテナ内の１つ以上の対象物体を識別することと、
    前記１つ以上の対象物体及び前記コンテナの寸法を識別することと、さらに含み、
    前記グリップ場所は、前記寸法、前記基準部に対する前記１つ以上の蓋の場所、前記対象物体の重心場所、又はそれらの組み合わせに基づいて前記基準部内に決定される、請求項１５に記載の方法。
17. 前記対象物体を標的場所で放出するための放出姿勢を導出することと、
    前記放出姿勢に従って、前記エンドエフェクタの前記１つ以上のグリッパの前記グリップ力を解放することと、
    をさらに含む、請求項１４に記載の方法。
18. 前記寸法に基づいて、前記エンドエフェクタの前記１つ以上のグリッパを前記対象物体に取り付ける係合シーケンスを導出することをさらに含み、
    前記係合シーケンスは、
    前記第１のグリッパ部を前記対象物体に向かって伸長することと、
    前記第１のグリッパ部を使用して、前記対象物体を把持することと、
    前記第１のグリッパ部を前記把持された対象物体と一緒に引き込むことと、
    前記第１のグリッパ部を引き込んだ後、前記第２のグリッパ部を係合して前記対象物体をさらに把持することと、
    をさらに含む、請求項１４に記載の方法。
19. 前記第２のグリッパ部を係合した後、スタビライザブラケットの姿勢を調整して、前記把持された対象物体に接触して支持することをさらに含む、請求項１４に記載の方法。
20. 前記エンドエフェクタに取り付けられたスタビライザブラケットは、前記１つ以上のグリッパの前記グリップ力に支持を与える、請求項１４に記載の方法。

Images