JP2020168709A - ロボットシステム、ロボットシステムの方法及び非一時的コンピュータ可読媒体 - Google Patents

Abstract

【課題】オブジェクトの集合からオブジェクトを正確かつ効率的に、一貫した方法で識別するロボットシステムを提供する。【解決手段】制御ユニットは、オブジェクト供給源の検出可能供給オブジェクトに関する検出可能オブジェクト特性を表すセンサ情報を受け取り、検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率からオブジェクト同一性推定を生成し、検出可能供給オブジェクトから対象オブジェクトを選択し、オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するようにオブジェクトハンドリング方策を生成し、オブジェクトセットを更新するように構成される。【選択図】図３

Description

[0001] 本技術は、一般にロボットシステムを対象とし、より詳細には、オブジェクトの識別およびハンドリングのためのシステム、プロセス、および技術を対象とする。

[0002] 最新のロボティクスおよびオートメーションは、製造設備、荷受配送センター、および倉庫などの産業環境における支援に、ますます高度な機能を提供するようになっている。既存技術の研究開発は、無数の様々な方向を取り得る。

[0003] ロボットシステムの発展によりユーザが力をつけるにつれ、新旧のパラダイムによって、この新たな技術分野が活用され始めている。ロボットシステムの自律的に様々なオブジェクトをハンドリングする能力など、ロボットシステムのオートメーションを向上または強化するこれらの新たな能力を活用する技術的解決法が数多く存在する。しかし、オブジェクトの集合からオブジェクトを正確かつ効率的に、一貫した方法で識別するロボットシステムを頼りにするという選択肢が、ユーザに提供されていない。

[0004] したがって、オブジェクトハンドリングユニットの動作のためのオブジェクトハンドリングメカニズムを有するロボットシステムが、依然として必要とされている。商業的な競争圧力が増大し続け、それと同時に消費者の期待が高まり、市場における有意な製品差別化の機会が縮小していることに鑑みると、これらの問題に対する対応策を見出すことがますます重要となっている。さらに、コストを削減し、効率および性能を改善し、かつ競争圧力に応じる必要があることで、これらの問題への対応策を見出すことが極めて必要とされる上に、一層の緊急性を伴うものとなる。

[0005] これらの問題に対する解決策は長い間追求されてきたが、従来の開発においては、いかなる解決策も教示または示唆されてこなかった。したがって、当業者は、これらの問題に対する解決策を長い間見つけることができなかった。

[0006] 本発明の一実施形態は、ロボットシステムを提供し、このロボットシステムは、制御ユニットと、ストレージユニット２０４とを有する。制御ユニットは、１つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取るように構成され、オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明される。制御ユニットは、さらに、オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取り；検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて、検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率を算出し；オブジェクトエントリの特定の例に対応する検出可能供給オブジェクトのそれぞれに関するオブジェクト一致確率の間の比較に基づいて、検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成し；検出可能供給オブジェクトから対象オブジェクトを選択し；オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成し；オブジェクトエントリの特定の例に対応する対象オブジェクトがオブジェクト供給源から除去されたことを示すように、オブジェクトセットを更新するように構成される。ストレージユニット２０４は、制御ユニットに結合され、オブジェクトセットを格納するように構成される。

[0007] 本発明の一実施形態は、ロボットシステムの動作方法を提供する。この方法は、１つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取ることであって、オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明されることと；オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取ることと；検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて、検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率を算出することと；オブジェクトエントリの特定の例に対応する検出可能供給オブジェクトのそれぞれに関するオブジェクト一致確率の間の比較に基づいて、検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成することと；検出可能供給オブジェクトから対象オブジェクトを選択することと；オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成することと；オブジェクトエントリの特定の例に対応する対象オブジェクトがオブジェクト供給源から除去されたことを示すように、オブジェクトセットを更新することと、を含む。

[0008] 本発明の一実施形態は、ロボットシステムのための制御回路によって実行可能な命令を含む非一時的コンピュータ可読媒体を提供する。この命令は、オブジェクトエントリのオブジェクトセットを受け取ることであって、オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明されることと；オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取ることと；検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて、検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率を算出することと；オブジェクトエントリの特定の例に対応する検出可能供給オブジェクトのそれぞれに関するオブジェクト一致確率の間の比較に基づいて、検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成することと；検出可能供給オブジェクトから対象オブジェクトを選択することと；オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成することと；オブジェクトエントリの特定の例に対応する対象オブジェクトがオブジェクト供給源から除去されたことを示すように、オブジェクトセットを更新することと、を含む。

[0009] 本発明の特定の実施形態は、上述したものに加えて、または上述したものの代わりに、他のステップまたは要素を有する。それらのステップまたは要素は、添付の図面を参照しながら以下の詳細な説明を読むことで、当業者に明らかになるであろう。

[0010] オブジェクトハンドリングメカニズムを有するロボットシステムが動作できる例示的環境である。 [0011] 本発明の１つまたは複数の実施形態によるロボットシステムを例示するブロック図である。 [0012] 本発明の１つまたは複数の実施形態によるオブジェクト供給源の供給オブジェクトを識別しているロボットシステムの例である。 [0013] 本発明の１つまたは複数の実施形態によるオブジェクトハンドリング作業を実行しているロボットシステムの例を示す上面図である。 [0014] 本発明の１つまたは複数の実施形態による、図１のロボットシステムを動作させる方法のフロー図である。 [0015] 本発明の一実施形態におけるロボットシステムの動作方法のフローチャートである。

[0016] 以下の説明には、ここに開示する技術を完全に理解できるように、無数の具体的な詳細が記載される。他の実施形態では、これらの具体的な詳細を除いて、本明細書で紹介する技術を実施してもよい。他の例では、本開示を不必要に曖昧にしないよう、具体的な機能またはルーチンなどの周知の特色は詳細に説明されない。本明細書における「ある実施形態」、「一実施形態」などへの言及は、説明されている特定の特色、構造、材料、または特徴が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書においてそのような文言が記載されていても、必ずしも全てが同一の実施形態を指しているわけではない。一方、そのような言及は、必ずしも互いに排他的なわけでもない。さらに、特定の特色、構造、材料、または特徴は、１つまたは複数の実施形態において、任意の適切な方法で組み合わせることができる。

[0017] 図に示す様々な実施形態は、単なる例示的な記述であることが理解されるべきである。さらに、システムの実施形態を示す図面は、半図式的であり、正確な縮尺ではなく、特に、寸法の一部は表示を明確にするためのものであり、図面中で誇張して示されている。同様に、図面内の図は、説明し易くするために概ね同様の向きを示しているが、この図における描写は、大部分において恣意的なものである。通常、本発明は任意の向きで動作することができる。

[0018] よく知られており、ロボットシステムおよびサブシステムにしばしば関連付けられるものの、開示される技術のいくつかの重要な態様を不必要に曖昧にし得る構造またはプロセスについては、それらを説明するいくつかの詳細は、分かり易さのために以下の説明において記載しない。さらに、以下の開示において、本技術の異なる態様のいくつかの実施形態を記載するが、他のいくつかの実施形態は、本セクションで説明するものとは異なる構成または異なる構成要素を有してよい。したがって、開示される技術は、追加の要素を伴うか、または以下に説明する要素のうちのいくつかを伴わない、他の実施形態を有してよい。

[0019] 以下に説明する本開示の多くの実施形態または態様は、プログラム可能コンピュータまたはプログラム可能コントローラによって実行されるルーチンを含む、コンピュータ実行可能命令またはコントローラ実行可能命令の形を取ることができる。開示される技術が、以下に図示および説明されるもの以外のコンピュータシステムまたはコントローラシステム上でも実施できることを、当業者は理解するであろう。本明細書で説明する技術は、以下に説明するコンピュータ実行可能命令の１つまたは複数を実行するように特にプログラム、構成または構築された、専用のコンピュータまたはデータプロセッサにおいて具現化することができる。したがって、本明細書において一般に用いられる「コンピュータ」および「コントローラ」という用語は、任意のデータプロセッサを指し、パームトップ型コンピュータ、ウェアラブルコンピュータ、セルラまたは携帯電話、マルチプロセッサシステム、プロセッサベースまたはプログラム可能大衆消費電子製品、ネットワークコンピュータ、ミニコンピュータなどを含む、インターネット機器およびハンドヘルドデバイスを含んでよい。これらのコンピュータおよびコントローラによってハンドリングされる情報は、液晶ディスプレイ（ＬＣＤ）を含む、任意の適切な表示媒体で提示することができる。コンピュータ実行可能作業またはコントローラ実行可能作業を実行するための命令は、ハードウェア、ファームウェア、またはハードウェアとファームウェアの組み合わせを含む、任意の適切なコンピュータ可読媒体内または任意の適切なコンピュータ可読媒体上に格納することができる。命令は、例えばフラッシュドライブ、ＵＳＢデバイス、および／または他の適切な媒体などを含む、任意の適切なメモリデバイスに収容することができる。

[0020] 本明細書において、「結合された」および「接続された」という用語は、その派生形と共に、構成要素間の構造的関係を説明するために使用されることがある。これらの用語は、互いに同義語として用いられていないことを理解されたい。むしろ、特定の実施形態では、「接続された」は、２つ以上の要素が互いに直接接触していることを示すために使用されることがある。文脈の中で別段の明記がない限り、「結合された」という用語は、２つ以上の要素が互いに直接的または（間に他の介在要素を伴って）間接的に接触していること、あるいは（例えば、信号の送信／受信のため、または関数呼び出しのためなどの、因果関係のように）２つ以上の要素が互いに協働または相互作用すること、あるいはその両方を指すために使用されることがある。

[0021] 以下の実施形態は、当業者が本発明を実施および使用できるように十分詳細に説明される。他の実施形態は本開示に基づいて明らかになること、および、本発明の実施形態の範囲を逸脱することなく、システム変更、プロセス変更、または機械的変更を加えてよいことが理解されるべきである。

[0022] 次に図１を参照すると、オブジェクトハンドリングメカニズムを有するロボットシステム１００が動作できる例示的環境が示されている。ロボットシステム１００の動作環境は、ロボットまたはロボットデバイスなど、１つまたは複数の作業を実行するように構成された１つまたは複数の構造を含んでよい。オブジェクトハンドリングメカニズムの態様は、様々な構造によって実施または実装することができる。

[0023] 図１に示す例において、ロボットシステム１００は、倉庫、配送センター、または出荷ハブ内で、荷下ろしユニット１０２、移送ユニット１０４、搬送ユニット１０６、荷積みユニット１０８、またはそれらの組み合わせを含むことができる。ロボットシステム１００内のユニットのそれぞれは、１つまたは複数の作業を実行するように構成することができる。例えば、倉庫に格納するために、トラック、トレーラー、バン、または列車の車両などの車両からオブジェクトを下ろすこと、あるいは出荷のために、格納位置からオブジェクトを下ろして車両に積み込むことなどの目標を達成する動作を実施するように、作業は順番に組み合わせることができる。他の例では、作業は、コンテナ、大箱、ケージ、バスケット、棚、台、パレット、またはコンベヤベルトなどの１つの場所から、別の場所へオブジェクトを移動することを含んでよい。ユニットのそれぞれは、その中の１つまたは複数の構成要素を動作させるなどの一連のアクションを実行して、作業を実行するように構成することができる。

[0024] いくつかの実施形態において、作業は、対象オブジェクト１１２との相互作用、例えば、オブジェクトの操作、移動、再配向、またはそれらの組み合わせを含むことができる。対象オブジェクト１１２は、ロボットシステム１００によってハンドリングされることとなるオブジェクトである。より具体的には、対象オブジェクト１１２は、多くのオブジェクトのうち、ロボットシステム１００による動作または作業の対象である特定のオブジェクトであってよい。例えば、対象オブジェクト１１２は、ロボットシステム１００が選択したオブジェクトであってもよいし、または現在ハンドリング、操作、移動、再配向、またはそれらの組み合わせが行われているオブジェクトであってもよい。対象オブジェクト１１２は、例えば、箱、ケース、管、包装容器、バンドル、個々の物品を取り合わせたもの、または、ロボットシステム１００によってハンドリングすることができるその他の任意のオブジェクトを含み得る。

[0025] 一例として、作業は、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に移送することを含んでよい。オブジェクト供給源１１４は、オブジェクト格納のための入れ物である。オブジェクト供給源１１４は、無数の構成および形状を含んでよい。例えば、オブジェクト供給源１１４は、パレット、棚、またはコンベヤベルトなどの、オブジェクトを上に配置または積み重ねることができる台としてよく、壁はあってもなくてもよい。別の例としては、オブジェクト供給源１１４は、壁または蓋を有しオブジェクトを中に載置することができる、大箱、ケージ、またはバスケットなどの、部分的または完全に閉鎖された入れ物としてもよい。いくつかの実施形態では、中に収容されたオブジェクトの一部分が壁を通して見えるか、または部分的に見えるように、部分的または完全に閉鎖されたオブジェクト供給源１１４の壁を透明にしてもよいし、または様々なサイズの開口または間隙を含むようにしてもよい。

[0026] 図１に、対象オブジェクト１１２をハンドリングする際にロボットシステム１００の様々なユニットによって実施することができる、想定される機能および動作の例を示すが、環境および条件は、以下に説明されるものと異なってもよいことが理解される。例えば、荷下ろしユニット１０２は、トラックなどの運搬車内のある場所から、コンベヤベルト上のある場所に対象オブジェクト１１２を移送するように構成された、車両荷下ろしロボットとしてもよい。また、パレタイジングロボットなどの移送ユニット１０４は、例えば対象オブジェクト１１２を搬送ユニット１０６上のパレットに載せる目的などで、コンベヤベルト上のある場所から搬送ユニット１０６上のある場所に、対象オブジェクト１１２を移送するように構成してもよい。他の例では、移送ユニット１０４は、対象オブジェクト１１２を１つのコンテナから別のコンテナに移送するように構成された、ピースピッキングロボットとしてもよい。動作を完了させる際、搬送ユニット１０６は、移送ユニット１０４に関連付けられたエリアから荷積みユニット１０８に関連付けられたエリアに対象オブジェクト１１２を移送することができ、荷積みユニット１０８は、対象オブジェクト１１２を載せたパレットを移動することなどにより、移送ユニット１０４から、棚上のある場所などの格納場所に、対象オブジェクト１１２を移送することができる。作業および関連するアクションに関する詳細は後述する。

[0027] 例示のために、出荷センターの文脈でロボットシステム１００について説明するが、ロボットシステム１００は、例えば製造、組立て、包装、ヘルスケア、または他のタイプの自動化など、他の環境で、または他の目的のために作業を実行するように構成してもよいことが理解される。また、ロボットシステム１００は、マニピュレータ、サービスロボット、モジュール式ロボットなどの、図１に示されていない他のユニットを含んでよいことも理解される。例えば、いくつかの実施形態では、ロボットシステム１００は、ケージ、カート、またはパレットから、コンベヤまたは他のパレット上にオブジェクトを移送するためのデパレタイジングユニット、１つのコンテナから他のコンテナにオブジェクトを移送するためのコンテナ切替えユニット、オブジェクトをラッピングするための包装ユニット、オブジェクトの１つまたは複数の特徴にしたがってオブジェクトをグルーピングするための仕分けユニット、オブジェクトの１つまたは複数の特徴にしたがって、仕分け、グルーピング、および／または移送など、オブジェクトを様々に操作するためのピースピッキングユニット、あるいはそれらの組み合わせを含むことができる。

[0028] 次に図２を参照すると、本発明の１つまたは複数の実施形態によるロボットシステム１００を示すブロック図が示されている。いくつかの実施形態では、例えば、ロボットシステム１００は、電子デバイス、電気デバイス、またはそれらの組み合わせ、例えば、互いに結合されているか、上記図１に記載のユニットまたはロボットの１つまたは複数と一体化または結合されているか、あるいはそれらの組み合わせである、制御ユニット２０２、ストレージユニット２０４、通信ユニット２０６、システムインターフェース２０８、１つまたは複数の作動デバイス２１２、１つまたは複数の搬送モータ２１４、１つまたは複数のセンサユニット２１６、あるいはそれらの組み合わせなどを含んでよい。

[0029] 制御ユニット２０２は、多くの異なる形で実装することができる。例えば、制御ユニット２０２は、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、組込みプロセッサ、マイクロプロセッサ、ハードウェア制御論理回路、ハードウェア有限状態機械（ＦＳＭ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの組み合わせであってよい。制御ユニット２０２は、ソフトウェア２１０を実行して、ロボットシステム１００の知能を提供することができる。

[0030] 制御ユニット２０２は、制御インターフェース２４０を含むことができる。制御インターフェース２４０は、制御ユニット２０２と、ロボットシステム１００内の他の機能ユニットとの間の通信のために使用することができる。制御インターフェース２４０はまた、ロボットシステム１００の外部の通信のためにも使用することができる。制御インターフェース２４０は、他の機能ユニットまたは外部ソースから情報を受け取ることができるか、あるいは他の機能ユニットまたは外部の宛先に情報を送信することができる。外部ソースおよび外部の宛先は、ロボットシステム１００の外部のソースおよび宛先を指す。

[0031] 制御インターフェース２４０は、どの機能ユニットまたは外部ユニットが制御インターフェース２４０とインターフェースをとっているかによって、異なる方法で実装することができ、異なる実装形態を含むことができる。例えば、制御インターフェース２４０は、圧力センサ、慣性センサ、微小電子機械システム（ＭＥＭＳ）、光回路、導波路、無線回路、ワイヤライン回路、アプリケーションプログラミングインターフェース、またはそれらの組み合わせによって実装することができる。

[0032] ストレージユニット２０４は、ソフトウェア２１０、マスタデータ２４６、またはそれらの組み合わせを格納することができる。例示のために、ストレージユニット２０４は単一の要素として示されているが、ストレージユニット２０４は、複数のストレージ要素の分散としてもよいことが理解される。やはり例示のために、ロボットシステム１００は、単一の階層ストレージシステムとしてのストレージユニット２０４を有するものとして示されているが、ロボットシステム１００は、異なる構成のストレージユニット２０４を有してもよいことが理解される。例えば、ストレージユニット２０４は、異なるレベルのキャッシング、主メモリ、回転媒体、またはオフラインストレージを含むメモリ階層システムを形成する、異なるストレージ技術で形成することもできる。

[0033] ストレージユニット２０４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、またはそれらの組み合わせであってよい。例えば、ストレージユニット２０４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージなどの不揮発性ストレージ、またはスタティックランダムアクセスメモリ（ＳＲＡＭ）などの揮発性ストレージであってよい。さらなる例として、ストレージユニット２０４は、ハードディスクドライブ、ＮＶＲＡＭ、ソリッドステートストレージデバイス（ＳＳＤ）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、またはユニバーサルシリアルバス（ＵＳＢ）フラッシュメモリデバイスなどの不揮発性メモリを含む、非一時的コンピュータ媒体であってもよい。ソフトウェア２１０は、制御ユニット２０２によって実行されるように、非一時的コンピュータ可読媒体に格納することができる。

[0034] ストレージユニット２０４は、制御インターフェース２４０を含むことができる。制御インターフェース２４０は、ストレージユニット２０４と、ロボットシステム１００内の他の機能ユニットとの間の通信のために使用することができる。制御インターフェース２４０はまた、ロボットシステム１００の外部の通信のためにも使用することができる。制御インターフェース２４０は、他の機能ユニットまたは外部ソースから情報を受け取ることができるか、あるいは他の機能ユニットまたは外部の宛先に情報を送信することができる。外部ソースおよび外部の宛先は、ロボットシステム１００の外部のソースおよび宛先を指す。

[0035] 制御インターフェース２４０は、どの機能ユニットまたは外部ユニットがストレージユニット２０４とインターフェースをとっているかによって、異なる実装形態を含むことができる。制御インターフェース２４０は、制御インターフェース２４０の実装形態と同様の技術および技法により実装することができる。

[0036] 一実施形態では、ストレージユニット２０４を使用して、処理結果、所定のデータ、閾値、またはそれらの組み合わせをさらに格納し、かつそれらへのアクセスを提供することができる。例えば、ストレージユニット２０４は、１つまたは複数の対象オブジェクト１０４の説明、例えば、箱、箱のタイプ、ケース、ケースのタイプ、製品、またはそれらの組み合わせなどを含む、マスタデータ２４６を格納することができる。一実施形態において、マスタデータ２４６は、ロボットシステム１００によって操作されることが予測される１つまたは複数の対象オブジェクト１０４に関する、寸法、形状（例えば、あり得る姿勢に関するテンプレート、または異なる姿勢の１つまたは複数の対象オブジェクト１０４を認識するためのコンピュータ生成モデル）、配色、画像、識別情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴ）、予測される場所、予測される重量、またはそれらの組み合わせを含むことができる。

[0037] 一実施形態では、マスタデータ２４６は、ロボットシステム１００が出くわすまたはハンドリングし得る１つまたは複数のオブジェクトに関する操作関連情報をさらに含んでよい。例えば、オブジェクトに関する操作関連情報は、オブジェクトのそれぞれの質量中心位置、１つまたは複数のアクション、操作に対応する、例えば力、トルク、圧力、または接触測定値などに関する予測されるセンサ測定値、あるいはそれらの組み合わせを含んでよい。

[0038] 通信ユニット２０６は、ロボットシステム１００への外部通信およびロボットシステム１００からの外部通信を可能にすることができる。例えば、通信ユニット２０６は、ロボットシステム１００が、有線または無線ネットワークなどの通信経路２１８を介して、他のロボットシステムまたはユニット、外部コンピュータ、外部データベース、外部機械、外部周辺デバイスなどの外部デバイス、あるいはそれらの組み合わせと通信することを可能にすることができる。

[0039] 通信経路２１８は、様々なネットワークおよびネットワークトポロジにわたってよく、それらを表してよい。例えば、通信経路２１８は、無線通信、有線通信、光通信、超音波通信、またはそれらの組み合わせを含んでよい。例えば、衛星通信、セルラ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線データ協会標準（ＩｒＤＡ）、ワイヤレスフィデリティ（ＷｉＦｉ）、およびマイクロ波アクセスのための世界相互運用性（ＷｉＭＡＸ）は、通信経路２１８に含まれ得る無線通信の例である。ケーブル、イーサネット、デジタル加入者回線（ＤＳＬ）、光ファイバ線、ファイバトゥザホーム（ＦＴＴＨ）、および単純旧式電話サービス（ＰＯＴＳ）は、通信経路２１８に含まれ得る有線通信の例である。さらに、通信経路２１８は、多くのネットワークトポロジおよび距離を通ってよい。例えば、通信経路２１８は、直接接続、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはそれらの組み合わせを含むことができる。ロボットシステム１００は、通信経路２１８を介して、様々なユニット間で情報を送信することができる。例えば、制御ユニット２０２、ストレージユニット２０４、通信ユニット２０６、システムインターフェース２０８、作動デバイス２１２、搬送モータ２１４、センサユニット２１６、またはそれらの組み合わせの間で、情報を送信することができる。

[0040] 通信ユニット２０６は、ロボットシステム１００が通信経路２１８の一部として機能することを可能にし、かつ通信経路２１８のエンドポイントまたは端末ユニットに限定されない、通信ハブとしても機能することができる。通信ユニット２０６は、通信経路２１８との相互作用のための、マイクロエレクトロニクスまたはアンテナなどの能動および受動部品を含んでよい。

[0041] 通信ユニット２０６は、通信インターフェース２４８を含んでよい。通信インターフェース２４８は、通信ユニット２０６と、ロボットシステム１００内の他の機能ユニットとの間の通信のために使用することができる。通信インターフェース２４８は、他の機能ユニットまたは外部ソースから情報を受け取ることができるか、あるいは他の機能ユニットまたは外部の宛先に情報を送信することができる。外部ソースおよび外部の宛先は、ロボットシステム１００の外部のソースおよび宛先を指す。

[0042] 通信インターフェース２４８は、どの機能ユニットが通信ユニット２０６とインターフェースをとっているかによって、異なる実装形態を含むことができる。通信インターフェース２４８は、制御インターフェース２４０の実装形態と同様の技術および技法により実装することができる。

[0043] ユーザインターフェース２１６は、入力デバイスおよび出力デバイスを含むことができる。ユーザインターフェース２１６の入力デバイスの例には、キーパッド、タッチパッド、ソフトキー、キーボード、マイクロフォン、遠隔信号を受信するためのセンサ、モーションコマンドを受信するためのカメラ、またはそれらの任意の組み合わせが含まれてよく、データおよび通信の入力を提供することができる。出力デバイスの例には、ディスプレイインターフェース２５０が含まれ得る。ディスプレイインターフェース２５０は、ディスプレイ、プロジェクタ、ビデオスクリーン、またはそれらの任意の組み合わせなどの、任意のグラフィカルユーザインターフェースとすることができる。

[0044] 制御ユニット２０２は、ロボットシステム１００によって生成された情報を提示または受信するように、ユーザインターフェース２１６を動作させることができる。制御ユニット２０２は、ロボットシステム１００によって生成された情報を提示するようにユーザインターフェース２１６を動作させることができる。制御ユニット２０２は、ロボットシステム１００の他の機能のためにソフトウェア２１０を実行することもできる。制御ユニットはさらに、通信ユニット２０６を介して通信経路２１８と相互作用するためにソフトウェア２１０を実行することができる。

[0045] ロボットシステム１００は、ロボットマニピュレータアームなどの物理的または構造的部材を含んでよく、それらは回転変位、並進変位、またはそれらの組み合わせなどの動きのために、関節で接続される。構造的部材および関節は、グリッパなどのエンドエフェクタを操作するように構成された運動連鎖を形成することができ、ロボットシステム１００の用途または動作に応じて、把持、スピン、または溶接などの１つまたは複数の作業を実行することができる。ロボットシステム１００は、対応する関節の周りで、または対応する関節において、構造的部材の駆動、操作、変位、再配向、またはそれらの組み合わせを行うように構成された、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性高分子、またはそれらの組み合わせなどの作動デバイス２１２を含んでよい。いくつかの実施形態において、ロボットシステム１００は、対応するユニットを各所に搬送するように構成された搬送モータ２１４を含んでよい。

[0046] ロボットシステム１００は、構造的部材を操作するため、またはロボットユニットを搬送するためなどの、作業および動作を実行するために使用される情報を取得するように構成されたセンサユニット２１６を含むことができる。センサユニット２１６は、１つまたは複数の構造的部材または関節の状態、条件、場所などの、ロボットシステム１００の１つまたは複数の物理的特性、オブジェクトまたは周囲の環境に関する情報、あるいはそれらの組み合わせを検出または測定するように構成されたデバイスを含んでよい。一例として、センサユニット２１６は、撮像デバイス２２２、システムセンサ２２４、接触センサ２２６、またはそれらの組み合わせを含んでよい。

[0047] いくつかの実施形態において、センサユニット２１６は、１つまたは複数の撮像デバイス２２２を含んでよい。撮像デバイス２２２は、周囲の環境を検出するように構成されたデバイスである。例えば、撮像デバイス２２２は、２次元カメラ、３次元カメラ（いずれも可視および赤外線性能の組み合わせを含むことができる）、ライダ、レーダ、他の測距デバイス、および他の撮像デバイスを含んでよい。撮像デバイス２２２は、デジタル画像または点群などの、検出された環境の表現を生成することができ、生成された表現は、自動検査、ロボットガイダンス、またはその他のロボットの応用のためのマシン／コンピュータビジョンを実装するために使用される。以下でさらに詳細に説明されるように、ロボットシステム１００は、制御ユニット２０２を介してデジタル画像、点群、またはそれらの組み合わせを処理し、図１の対象オブジェクト１１２、対象オブジェクト１１２の姿勢、またはそれらの組み合わせを識別することができる。対象オブジェクト１１２を操作するために、ロボットシステム１００は、トラックの内部、コンテナの内部、またはコンベヤベルト上のオブジェクトのピックアップ場所などの、指定エリアの画像を取得および分析し、その図１の対象オブジェクト１１２およびオブジェクト供給源１１４を識別することができる。同様に、ロボットシステム１００は、コンベヤベルト上にオブジェクトを配置するためのドロップ場所、コンテナの内部にオブジェクトを配置するための場所、または積み重ねるためのパレット上の場所など、別の指定エリアの画像を取得および分析し、図１の作業場所１１６を識別することもできる。

[0048] いくつかの実施形態において、センサユニット２１６は、システムセンサ２２４を含むことができる。システムセンサ２２４は、ロボットユニットを監視するためのデバイスである。例えば、システムセンサ２２４は、ロボットアームおよびエンドエフェクタ、ロボットユニットの対応する関節、またはそれらの組み合わせなどの、構造的部材の位置を検出および監視するためのユニットまたはデバイスを含んでよい。さらなる例として、ロボットシステム１００は、システムセンサ２２４を使用して、作業の実行中に、構造的部材および関節の場所、向き、またはそれらの組み合わせを追跡することができる。システムセンサ２２４の例には、加速度計、ジャイロスコープ、または位置エンコーダが含まれ得る。

[0049] いくつかの実施形態において、センサユニット２１６は、複数の物理的構造または表面間の直接的な接触に関連する特徴を測定するように構成された、圧力センサ、力センサ、ひずみゲージ、圧電抵抗／圧電センサ、容量センサ、弾性抵抗センサ、トルクセンサ、直線力センサ、または他の触覚センサなどの、接触センサ２２６を含むことができる。例えば、接触センサ２２６は、エンドエフェクタによる対象オブジェクト１１２の把持に対応する特徴を測定するか、または対象オブジェクト１１２の重量を測定することができる。したがって、接触センサ２２６は、グリッパと対象オブジェクト１１２の間の接触または取り付けの度合いに対応する、測定された力またはトルクなどの定量化された計測値を表す、接触計測値を出力することができる。例えば、接触計測値は、エンドエフェクタによって対象オブジェクト１１２に加えられた力に関連する１つまたは複数の力またはトルク読み取り値を含み得る。接触計測値に関する詳細については後述する。

[0050] 次に図３を参照すると、本発明の１つまたは複数の実施形態による、オブジェクト供給源１１４の供給オブジェクト３０２の同一性（identity）を決定するときのロボットシステム１００の例が示されている。供給オブジェクト３０２は、図１に記載のオブジェクト供給源１１４の構成によると、オブジェクト供給源１１４内に収容されているか、またはオブジェクト供給源１１４上にあるオブジェクトの集合である。供給オブジェクト３０２は、形状、サイズ、色、組成、および内容などの無数の特性が互いに類似または相違する、多種多様の物品またはオブジェクトを取り合わせたものであってよい。例えば、図３に示すように、供給オブジェクト３０２は、箱を均等に並べて積み重ねたものから、または、取り合わせた物品をそれぞれ不規則な姿勢で位置決めして無秩序に積み上げたものにわたってよい。供給オブジェクト３０２は、対象オブジェクト１１２を含むことができる。また、例示のために、オブジェクト供給源１１４はパレットとして示されているが、オブジェクト供給源１１４は、図１に記載の供給オブジェクト３０２のための任意の形態の入れ物としてよいことが理解される。例えば、一実施形態において、１つまたは複数の側部、横方向の保持構造、カバー、あるいはそれらの組み合わせを有しない構成の場合、オブジェクト供給源１１４の供給オブジェクト３０２は、オブジェクト供給源１１４上に積み重ねることができる。別の実施形態において、側部、横方向の保持構造、カバー、またはそれらの組み合わせを含む構成の場合、供給オブジェクト１１４の供給オブジェクト３０２は、供給オブジェクト１１４の内部に格納することができる。

[0051] 供給オブジェクト３０２のそれぞれは、オブジェクトセット３０４に含まれ得る。オブジェクトセット３０４は、オブジェクトに関する情報の配列である。この情報の配列は、対象オブジェクト１１２の物理的特徴、属性、および特性を含むことができる。いくつかの実施形態において、オブジェクトセット３０４は、単一の特性、特徴、または属性、あるいは単一のオブジェクトを説明する特性、特徴、または属性のグループを含むことができる。別の実施形態において、オブジェクトセット３０４は、オブジェクトセット３０４内の、同一の形状または同一の表面マーキングを有する供給オブジェクト３０２の例など、１つまたは複数の特性、特徴、または属性を互いに共有するオブジェクトのグループまたはサブグループであってよい。したがって、単一のオブジェクトがオブジェクトセット３０４の１つまたは複数の例に含まれてもよいし、オブジェクト供給源３０２の単一の例がオブジェクトセット３０２の複数の例に関連付けられてもよい。さらなる実施形態では、オブジェクトセット３０４は、オブジェクト供給源１１４の特定の例に関連付けられた供給オブジェクト３０２のそれぞれの、レジストリであってよい。例えば、供給オブジェクト３０２のレジストリとしてのオブジェクトセット３０４は、オブジェクトエントリ３０６を含むことができる。オブジェクトエントリ３０６は、供給オブジェクト３０２の特定の例に対応するデータエントリである。オブジェクトセット３０４は、オブジェクトエントリ３０６の１つまたは複数を含んでよく、ここで、オブジェクトエントリ３０６のそれぞれは、オブジェクト供給源１１４内に収容されているか、またはオブジェクト供給源１１４上にある供給オブジェクト３０２の特定の例に対応する。

[0052] オブジェクトエントリ３０６のそれぞれは、１つまたは複数のオブジェクトエントリ特性３０８を含むことができる。オブジェクトエントリ特性３０８は、オブジェクトエントリ３０６の説明である。より具体的には、オブジェクトエントリ特性３０８は、オブジェクトエントリ３０６の物理的特徴、属性、および特性の説明であり得る。オブジェクトエントリ特性３０８は、オブジェクトエントリ３０６および対応する供給オブジェクト３０２の例を説明する多種多様な特性であってよく、バーコードまたはＱＲコード（登録商標）などの一意の識別子３１０；製品または物品のタイプなどのオブジェクトカテゴリ；矩形の箱、円筒形の管、または不均一な形状などの、表面輪郭および３次元形状の説明を含み得る、形状プロファイル３１２；長さ、幅、高さ、直径、またはそれらの組み合わせなどのオブジェクト寸法３１４；着色、マーキング、画像、ロゴ、およびパターンなどの、表面設計スキーム３１６；重量の測定値であり、重量配分および質量中心を含み得る、オブジェクト重量３１８；プラスチック、ボール紙、または金属などの外面材料組成３２０；オブジェクト表面テクスチャ；オブジェクト剛性３２２、変形モード３２４、変形度３２６、またはそれらの組み合わせを含み得る、変形特徴を含む。

[0053] オブジェクト剛性３２２は、オブジェクトの表面剛性の説明である。より具体的には、オブジェクト剛性３２２は、圧縮または衝撃を受けたときなど、オブジェクトの表面に圧力が加えられたときにオブジェクトが変形ずる量を説明し得る。

[0054] 変形モード３２４は、オブジェクトに力が加えられたときにオブジェクトの形状がどのように変化するかについての説明である。例えば、変形モード３２４は、供給オブジェクト３０２の１つが静止状態から持ち上げられたときに、その形状がどのように変化するかを説明し得る。具体例として、変形モード３２４は、供給オブジェクト３０２が静止状態から表面を離れて持ち上げられたときに、そのオブジェクトの一部分がたるむか又は湾曲するかを示し得る。

[0055] 変形度３２６は、オブジェクトに力が加えられたときにオブジェクトが受ける形状変形の量である。例えば、変形度３２６は、供給オブジェクト３０２の１つが静止状態から表面を離れて持ち上げられ宙吊りにされたときの、伸びの最大長などの寸法の変化の計測値を含み得る。

[0056] いくつかの実施形態では、オブジェクトエントリ特性３０８は、特性タイプに分類することができる。例えば、オブジェクトエントリ特性３０８についての特性タイプは、撮像特性および接触特性を含むことができる。撮像特性は、図２の撮像デバイス２２２を介して決定し得るオブジェクトエントリ特性３０８の例である。例えば、撮像タイプ特性は、一意の識別子３１０、形状プロファイル３１２、オブジェクト寸法３１４、表面設計スキーム３１６、またはそれらの組み合わせを含むことができる。接触特性は、オブジェクト重量３１８、外面材料組成３２０、オブジェクト剛性３２２、またはそれらの組み合わせなど、図２の接触センサ２２６を介して決定し得るオブジェクトエントリ特性３０８の例である。

[0057] いくつかの実施形態では、オブジェクトハンドリングユニット３２８によって作業を実施することができる。オブジェクトハンドリングユニット３２８は、オブジェクトハンドリング作業を自動化するコマンドを実行するように構成された機械である。例えば、オブジェクトハンドリングユニット３２８は、パレタイジングロボット、デパレタイジングロボット、あるいは大箱または棚ピッキングロボットなどの、オブジェクトを操作するように構成されたロボットであってよい。さらなる例として、図１の荷下ろしユニット１０２、図１の移送ユニット１０４、図１の搬送ユニット１０６は、オブジェクトハンドリングユニット３２８の例となり得る。一般的に、オブジェクトハンドリングユニット３２８は、作業を実施するために、オブジェクト供給源１１４に隣接して配置することができる。

[0058] オブジェクトハンドリングユニット３２８は、ロボットアーム３３０に接続されたエンドエフェクタ３３２を含むことができる。ロボットアーム３３０は、エンドエフェクタ３３２を操作するように構成された、構造的部材、部材間の関節、またはそれらの組み合わせを含むことができる。エンドエフェクタ３３２は、オブジェクトハンドリングユニット３２８の、オブジェクトに接触するか、オブジェクトを保持するか、またはそれらの組み合わせを行う部分である。例えば、図３に、対象オブジェクト１１２を保持するエンドエフェクタ３３２が例示されている。

[0059] エンドエフェクタ３３２は、ロボットアーム３３０の構造的部材、ロボットアーム３３０の関節、またはそれらの組み合わせに接続された、図２の作動デバイス２１２を動作させることによって操作することができる。エンドエフェクタ３３２は、エンドエフェクタ３３２の１つまたは複数の部分に関連付けられているか、または取り付けられた作動デバイス２１２の１つまたは複数を動作させることによって、オブジェクトを掴むかまたは解放するように動作することができる。エンドエフェクタ３３２は、オブジェクトを把持および解放するように構成されたデバイスである把持デバイス３３４を含むことができ、それによって、エンドエフェクタ３３２にオブジェクトを固定するか、取り付けるか、またはエンドエフェクタ３３２からオブジェクトを解放することができる。

[0060] いくつかの実施形態において、把持デバイス３３４は、把持デバイス３３４とオブジェクトとの間に真空条件を形成および維持することによって実現されるような引力を介してオブジェクトを保持または取り付けるように構成された、収縮または吸引グリッパとすることができる。例えば、把持デバイス３３４は、対象オブジェクト１１２の表面に接触し、表面との間の空間内に真空条件を形成／維持するように構成された、１組の吸引カップ３３６を含むことができる。把持デバイス３３４がロボットアーム３３０によって下ろされ、それによって吸引カップ３３６が対象オブジェクト１１２の表面に対して押しつけられて対向する表面間のガスが押し出されると、真空条件が生成される。ロボットアーム３３０が把持デバイス３３４を持ち上げると、吸引カップ３３６の内側の空間と周囲環境との間の圧力差によって、対象オブジェクト１１２を吸引カップ３３６に取り付けたままにすることができる。したがって、対象オブジェクト１１２に対する把持デバイス３３４の把持または取り付けの度合いは、真空条件を正常に生成および保持する吸引カップ３３６の数に基づくことがある。

[0061] いくつかの実施形態において、把持デバイス３３４は、直接的な衝撃によって対象オブジェクト１１２を物理的に把持するように構成された衝撃グリッパ（図示せず）とすることができる。例えば、把持デバイス３３４は、対象オブジェクト１１２に対して相反する力または圧縮力を加えることに基づいて対象オブジェクト１１２を把持するように構成された、グリッパジョー（図示せず）を含むことができる。グリッパジョーおよび対象オブジェクト１１２の接触面間に生じる摩擦に基づいて、対象オブジェクト１１２を把持することができる。例示のために、把持デバイス３３４は１組の吸引カップ３３６として示されているが、把持デバイス３３４は代替的に衝撃グリッパとしてもよいことが理解される。

[0062] オブジェクトハンドリングユニット３２８は、センサユニット２１６の１つまたは複数を含むことができる。例えば、撮像デバイス２２２の１つまたは複数、システムセンサ２２４の１つまたは複数、接触センサ２２６の１つまたは複数、あるいはそれらの組み合わせを、オブジェクトハンドリングユニット３２８に取り付けるか、または一体化させることができる。いくつかの実施形態では、撮像デバイス２２２の例をエンドエフェクタ３３２に取り付けて、エンドエフェクタ３３２の視点からの撮像情報を提供することができる。いくつかの実施形態において、撮像デバイス２２２は、バーコードスキャナまたはＱＲコードスキャナなど、対象オブジェクト１１２の一意の識別子をスキャンできるオブジェクトスキャナとして機能するように構成することができる。

[0063] いくつかの実施形態において、オブジェクトハンドリングユニット３２８は、ロボットアーム３３０の構造的部材および関節、エンドエフェクタ３３２、またはそれらの組み合わせなどの、オブジェクトハンドリングユニット３２８の様々な構成要素に取り付けられるか、またはそれらと一体化した、図２のシステムセンサ２２４を含むことができる。例えば、システムセンサ２２４は、位置を検出して、ロボットアーム３３０、エンドエフェクタ３３２、またはそれらの組み合わせの場所および向きを追跡するように構成することができる。

[0064] いくつかの実施形態において、オブジェクトハンドリングユニット３２８は、把持デバイス３３４に取り付けられるか、または把持デバイス３３４と一体化した、力センサ、圧力センサ、トルクセンサ、および／またはその他の触覚センサなどの、図２の接触センサ２２６を含むことができる。例えば、接触センサ２２６は、検知した表面が別の表面と接触しているかどうかを示すように構成され、かつ／または別の表面に接触している表面積のサイズを決定するように構成された、接触覚センサまたは触覚センサを含み得る。別の例において、接触センサ２２６は、吸引カップ３３６の内側の、真空条件などの圧力を測定するように構成された圧力センサを含み得る。さらなる例において、接触センサは、破線矢印で示されるように、把持デバイス３３４によって運搬または支持される対象オブジェクト１１２の重量を測定するように構成された直線力センサを含み得る。さらに別の例において、接触センサ２２６は、把持デバイス３３４、ロボットアーム３３０、またはそれらの組み合わせに対するトルクを測定するように構成されたトルクセンサを含み得る。

[0065] いくつかの実施形態において、ロボットシステム１００は、オブジェクト供給源１１４の周囲に位置決めされた撮像デバイス２２２の１つまたは複数を含むことができる。例えば、撮像デバイス２２２は、オブジェクト供給源１１４またはオブジェクト供給源１１４を含むエリアに向けることができる。いくつかの実施形態では、撮像デバイス２２２は、対象オブジェクト１１２の一意の識別子３１０をスキャンすることができる、バーコードスキャナまたはＱＲコードスキャナなどのオブジェクトスキャナとして機能するように構成することができる。

[0066] ロボットシステム１００は、撮像デバイス２２２、システムセンサ２２４、接触センサ２２６、またはそれらの組み合わせを含む、センサユニット２１６の１つまたは複数を含むか、利用するか、またはそれらの組み合わせを行い、オブジェクト供給源１１４、供給オブジェクト３０２、またはそれらの組み合わせに関するセンサ情報３４０を生成することができる。例えば、センサ情報３４０は、オブジェクト供給源１１４、供給オブジェクト３０２、またはそれらの組み合わせに関する撮像センサ情報３４２、接触センサ情報３４４、またはそれらの組み合わせを含むことができる。撮像センサ情報３４２の例には、オブジェクト供給源１１４の取得された画像または点群／距離画像などの、撮像データが含まれ得る。接触センサ情報３４４の例には、圧力測定値、力測定値、トルク測定値、またはそれらの組み合わせが含まれ得る。

[0067] 一般的に、ロボットシステム１００は、オブジェクト供給源１１４が最初にロボットシステム１００に対して提示されたときなど、最初は特定のオブジェクト供給源１１４に関する供給オブジェクト３０２の同一性（アイデンティティ）についての知識を有しない。より具体的には、ロボットシステム１００は、供給オブジェクト３０２のどの例が、登録済みのオブジェクト３０６の特定の例に対応するのかについて、知識を有しない。ロボットシステム１００は、センサ情報３４０を分析して、供給オブジェクト３０２から検出可能供給オブジェクト３５０を識別することができる。検出可能供給オブジェクト３５０は、センサユニット２１６が供給オブジェクト３０２に関する情報を収集することができるように、オブジェクト供給源１１４内またはオブジェクト供給源１１４上に位置決めされた、供給オブジェクト３０２の例である。より具体的には、検出可能供給オブジェクト３５０は、オブジェクトハンドリングユニット３２８のセンサユニット２１６を含む部分によって接触し得るか、センサユニット２１６の視程または視野内にあるか、あるいはそれらの組み合わせの、供給オブジェクト３０２の例である。例えば、検出可能供給オブジェクト３５０は、オブジェクト供給源１１４上またはオブジェクト供給源１１４内で、外側に配置されるかまたは並べられた供給オブジェクト３０２の例であり得る。図３に例示するように、「ＩＩ、ＩＶ、Ｖ、およびＶＩ」とラベリングされた供給オブジェクト３０２は、撮像デバイス２２２によって認識可能なため、検出可能供給オブジェクト３０２となり得るが、一方で「ＶＩＩ」および「ＶＩＩＩ」とラベリングされた供給オブジェクト３０２は、供給オブジェクト３０２の他の例によって遮られているため、撮像デバイスによって認識可能ではない。以下に、検出可能供給オブジェクト３５０の識別に関する詳細を説明する。

[0068] ロボットシステム１００は、センサ情報３４０を分析して、検出可能供給オブジェクト３５０に関する１つまたは複数の検出可能オブジェクト特性３５２を識別することができる。一般的に、検出可能オブジェクト特性３５２は、センサ情報３４０の分析を通して導かれた検出可能供給オブジェクト３５０の物理的組成に関する情報であり得る。例えば、検出可能オブジェクト特性３５２は、撮像特性３５４、接触特性３５６、またはそれらの組み合わせを含み得る。

[0069] 撮像特性３５４は、検出可能供給オブジェクト３５０の、撮像センサ情報３４２から導かれた特性である。例えば、撮像特性３５４は、一意の識別子３１０、形状プロファイル３１２、オブジェクト寸法３１４、表面設計スキーム３１６、オブジェクト供給源１１４上またはオブジェクト供給源１１４内の検出可能供給オブジェクト３５０の場所または相対的位置、検出可能供給オブジェクト３５０の姿勢、あるいはそれらの組み合わせを含み得る。

[0070] 接触特性３５６は、検出可能供給オブジェクト３５０の、接触センサ情報３４４から導かれた特性である。検出可能供給オブジェクト３０２の例には、オブジェクト剛性３２２、外面材料組成３２０、オブジェクト表面テクスチャ、オブジェクト重量３１８、質量中心、またはそれらの組み合わせが含まれ得る。

[0071] 一般的に、検出可能オブジェクト特性３５２のみに基づく検出可能供給オブジェクト３５０の識別によって得られる結果は、不確かかつ不正確であり得る。さらに、検出可能供給オブジェクト３５０のそれぞれに関する、限られた数の利用可能な検出可能オブジェクト特性３５２の例を、ロボットシステム１００によってハンドリングされる可能性のある全てのオブジェクトのマスタリストに一致させることは、時間および処理資源を非効率に消費するおそれがある。

[0072] そのため、ロボットシステム１００は、オブジェクトセット３０４に基づいて、検出可能供給オブジェクト３５０に関するオブジェクト同一性推定３６０を生成することができる。オブジェクト同一性推定３６０は、検出可能供給オブジェクト３５０がどのオブジェクトエントリ３０６であり得るのかについての推定である。例えば、オブジェクト同一性推定３６０は、検出可能供給オブジェクト３５０が該当する可能性が最も高いオブジェクトエントリ３０６の指標を含むことができる。オブジェクトセット３０４を使用してオブジェクト同一性推定３６０を生成することにより、検出可能供給オブジェクト３５０のそれぞれについて可能性のある同一性（アイデンティティ）を、オブジェクトのマスタリスト内の可能性のある全てのオブジェクトから、オブジェクトセット３０４のオブジェクトエントリ３０６のみに限定することによって、検出可能供給オブジェクト３５０を識別する効率および速度が向上することが分かっている。例えば、いくつかの実装形態において、ロボットシステム１００は、検出可能オブジェクト特性３５２およびオブジェクトセット３０４、より具体的には、オブジェクトセット３０４内のオブジェクトエントリ３０６のオブジェクトエントリ特性３０８に基づいて、オブジェクト同一性推定３６０を生成することができる。具体例として、検出可能オブジェクト特性３５２の１つまたは複数がオブジェクトエントリ特性３０８の１つまたは複数と一致したとき、検出可能供給オブジェクト３５０の１つに関するオブジェクト同一性推定３６０は、オブジェクトエントリ３０６の１つに対応し得る。したがって、オブジェクトセット３０４のオブジェクトエントリ３０６に基づいて検出可能供給オブジェクト３５０を識別することができるロボットシステム１００は、各検出可能供給オブジェクト３５０について可能性のある同一性（アイデンティティ）の数を限定することによって、動作の効率、速度および正確性を向上できることが分かっている。

[0073] いくつかの状況では、検出可能オブジェクト特性３５２の識別された数およびオブジェクトエントリ特性３０８の数に応じて、検出可能供給オブジェクト３５０は、潜在的に、２つ以上のオブジェクト同一性推定３６０の例を含むことがあり、これは、オブジェクトエントリ３０６の複数の例との一致を示す。これらの状況では、検出可能供給オブジェクト３５０のオブジェクト同一性推定３６０がオブジェクトエントリ３０６の１つに対応する度合いを、オブジェクト一致確率３６２によって示すことができる。オブジェクト一致確率３６２は、オブジェクト同一性推定３６０の確度の計測値である。より具体的には、オブジェクト一致確率３６２は、検出可能オブジェクト特性３５２とオブジェクトエントリ特性３０８との間の相関の確実性の計測値であり得る。例えば、オブジェクト一致確率３６２の値が高いことは、オブジェクト同一性推定３６０の確実性が高いことと相関する。

[0074] いくつかの実施形態において、オブジェクト一致確率３６２は、検出可能供給オブジェクト３５０とオブジェクトエントリ特性３０８との間の特性相関３６４に基づいて算出することができる。特性相関３６４は、検出可能供給オブジェクト３５０の１つに関する検出可能オブジェクト特性３５２の特定の例が、オブジェクトエントリ３０６の１つに関するオブジェクトエントリ特性３０８の対応する例と一致するかどうかについての指標である。一般的に、検出可能オブジェクト特性３５２の１つに関する特性相関３６４は、検出可能オブジェクト特性３５２がオブジェクトエントリ特性３０８の対応する例と一致する場合はポジティブであると決定することができ、検出可能オブジェクト特性３５２がオブジェクトエントリ特性３０８の対応する例に一致しない場合はネガティブであると決定することができる。具体例として、特性相関３６４は、検出可能供給オブジェクト３５０の検出可能オブジェクト特性３５２とオブジェクトエントリ３０６のオブジェクトエントリ特性３０８が共に箱である場合、形状プロファイル３１２に関して一致を示すことができる。

[0075] いくつかの実施形態では、ロボットシステム１００は、検出可能供給オブジェクト３５０についてオブジェクト一致確率３６２を算出して、オブジェクトエントリ特性３０８の１つまたは複数について一意性を考慮することができる。例えば、一意の識別子３１０は、ロボットシステム１００が供給オブジェクト３０２の１つを供給オブジェクト３０２の他の例から区別できるようにし得る、高度な一意性をもたらすオブジェクトエントリ特性３０８の例である。反対に、例えば、オブジェクトエントリ３０６のそれぞれが箱という形状プロファイル３１２を含む場合、形状プロファイル３１２というオブジェクトエントリ特性３０８は、一意性が低くなる。さらなる例として、ロボットシステム１００は、オブジェクトエントリ特性３０８のグループまたは組み合わせの一意性を考慮することができる。例えば、オブジェクトエントリ３０６のそれぞれが箱という形状プロファイル３１２を含む場合、オブジェクト寸法３１４の組み合わせ、表面設計スキーム３１６、またはその他のオブジェクトエントリ特性３０８の例は、オブジェクトエントリ３０６の１つをオブジェクトエントリ３０６の別の例から区別するために、組み合わせることができる。

[0076] いくつかの状況では、検出可能供給オブジェクト３０２のそれぞれが、２つ以上のオブジェクトエントリ３０６に一致することがあり、各一致は、異なる値のオブジェクト一致確率３６２を有し得る。異なる値のオブジェクト一致確率３６２は、「ＩＩ」とラベリングされた検出可能供給オブジェクト３５０が、オブジェクトセット３０４内の「オブジェクトＢ」に対するオブジェクト一致確率３６２が「１０％」であり、オブジェクトセット内の「オブジェクトＣ」に対するオブジェクト一致確率３６２が「７０％」であると示され、一方で「ＩＩＩ」とラベリングされた検出可能供給オブジェクト３５０は、「オブジェクトＢ」に対するオブジェクト一致確率３６２が「６０％」であり、「オブジェクトＣ」については「３０％」であると示されていることによって例示される。一般的に、センサユニット２１６に対する露出またはセンサユニット２１６による測定などによって、検出可能供給オブジェクト３５０に関してより多くの検出可能オブジェクト特性３５２が利用可能になるにつれて、登録済みのオブジェクト３０４の特定の例に対応するオブジェクト一致確率３６２は増大することとなる。

[0077] ロボットシステム１００は、オブジェクトハンドリングユニット３２８によって実施される作業の対象として、オブジェクト供給源１１４の検出可能供給オブジェクト３５０から対象オブジェクト１１２を選択することができる。例えば、ロボットシステム１００は、所定の順序、１組のルール、オブジェクトアウトラインのテンプレート、またはそれらの組み合わせにしたがって、対象オブジェクト１１２を選択することができる。具体例として、ロボットシステム１００は、撮像デバイス２２２の既知の場所に対する距離および位置を表す点群／距離画像にしたがって、供給オブジェクト３０２の上部に配置された検出可能供給オブジェクト３５０の例などの、エンドエフェクタ３３２がアクセスできる検出可能供給オブジェクト３５０の例として、対象オブジェクト１１２を選択することができる。別の具体例において、ロボットシステム１００は、角または縁部に配置され、オブジェクトハンドリングユニット３２８に対して露出しているか、またはオブジェクトハンドリングユニット３２８がアクセスできる２つ以上の表面を有する検出可能供給オブジェクト３５０の例として、対象オブジェクト１１２を選択することができる。さらなる具体例では、ロボットシステム１００は、基準位置に対して左から右へ、または最も近くから最も遠くへといった所定のパターンにしたがって、供給オブジェクト３０２の他の例を妨害または移動することなく、あるいは妨害または移動を最小限にして、対象オブジェクト１１２を選択することができる。対象オブジェクト１１２は、検出可能オブジェクト特性３５２によって説明することができる。

[0078] いくつかの実施形態において、ロボットシステム１００は、センサ情報３４０の追加的な例に基づいて、オブジェクト同一性推定３６０を検証することができる。例えば、ロボットシステム１００は、接触センサ情報３４４を利用して、オブジェクト重量３１８、オブジェクト剛性３２２、外面材料組成３２０、またはそれらの組み合わせなど、撮像デバイス２２２によって決定することが不可能または非効率である検出可能オブジェクト特性３５２の例を決定することができる。この例を続けると、ロボットシステム１００は、接触センサ情報３４４に基づく検出可能オブジェクト特性３５２を使用して、オブジェクト同一性推定３６０がオブジェクトエントリ３０６の対応する例として検証または明確に識別される確度まで、オブジェクト一致確率３６２を上昇させ得る可能性がある。具体例として、オブジェクトハンドリングユニット３２８による対象オブジェクト１１４の持ち上げ動作中に、接触センサ情報３４４から対象オブジェクト１１４のオブジェクト重量３１８を決定することができ、これを使用して、対象オブジェクト１１４に対応するオブジェクト重量３１８の値を有するオブジェクトエントリ３０６の１つまたは複数に対するオブジェクト一致確率３６２を、上昇させることができる。

[0079] 別の例では、一意の識別子３１０がそれまで不明瞭またはスキャン不能であった場合に、ロボットシステム１００は、撮像デバイス２２２のさらなる例を利用して一意の識別子をスキャンすることができる。一意の識別子３１０はオブジェクトエントリ３０６の特定の例に固有のものであるため、検出可能供給オブジェクト３５０の一意の識別子３１０をスキャンすることによって、オブジェクト同一性推定３６０がオブジェクトエントリ３０６の対応する例として検証される確度まで、オブジェクト一致確率３６２が上昇する。一般的に、センサ情報３４０の追加の例は、オブジェクトハンドリングユニット３２８と対象オブジェクト１１２との間の直接的な接触を通して、またはそれに続いて取得することができる。例えば、ロボットシステム１００は、オブジェクトハンドリングユニット３２８により対象オブジェクト１１２を操作して、一意の識別子３１０を撮像デバイス２２２に対して露出させることによって、一意の識別子３１０という検出可能オブジェクト特性３５２を決定することができる。

[0080] 一般的に、対象オブジェクト１１４および供給オブジェクト３０２の他の例についてのオブジェクト同一性推定３６０の検証は、ロボットシステム１００によって、検出可能供給オブジェクト３５０の残りの例についてのオブジェクト同一性推定３６０の正確性を向上するために使用され得る。例えば、図３に示すように、「オブジェクトＩ」とラベリングされた対象オブジェクト１１４は、オブジェクト同一性推定３６０によって、オブジェクトセット３０４における「オブジェクトＡ」として明確に識別されており、したがって、検出可能供給オブジェクト３５０「ＩＩ」および「ＩＩＩ」に関して、「オブジェクトＡ」としてのオブジェクト同一性推定３６０の可能性は排除されている。オブジェクト同一性推定３６０の検証に関する詳細については後述する。

[0081] ロボットシステム１００は、システム動作ユニット３６６を含んでよい。システム動作ユニット３６６は、情報を分析し、ロボットシステム１００の動作を実施するための命令を生成する機能を提供するユニットである。例えば、システム動作ユニット３３６は、オブジェクトハンドリングユニット３２８、センサユニット２１６、またはそれらの組み合わせを動作させるための命令を生成することができる。別の例として、システム動作ユニット３３６は、オブジェクトセット３０４およびセンサ情報３４０などの情報を受信および分析して、検出可能供給オブジェクト３５０を識別したり、オブジェクト同一性推定３６０を生成したり、上述の他の機能を生成したりすることができる。いくつかの実施形態において、システム動作ユニット３３６は、制御ユニット２０２、ストレージユニット２０４、通信ユニット２０６、システムインターフェース２０８、またはそれらの組み合わせなどの、図２のユニットの１つまたは複数を含むことができる。

[0082] いくつかの実施形態において、システム動作ユニット３３６は、通信経路２１８を介して、オブジェクトハンドリングユニット３２８、センサユニット２１６、システム動作ユニット３３６の他の例、またはそれらの組み合わせなどの、ロボットシステム１００内の他のユニットとインターフェースをとることができる。例えば、システム動作ユニット３３６は、通信ユニット２０６の例を含むことができ、オブジェクトハンドリングユニット３２８に動作命令を送信するか、センサユニット２１６からセンサ情報３４０を受信するか、システム動作ユニット３３６の別の例からオブジェクトセット３０４を受信するか、またはそれらの組み合わせを行うことができる。

[0083] 例示のために、ロボットシステム１００は、オブジェクトハンドリングユニット３２８およびセンサユニット２１６に結合されたシステム動作ユニット３３６の単一の例と共に示されているが、ロボットシステム１００は、異なる構成の２つ以上のシステム動作ユニット３６６の例を含んでよいことが理解される。例えば、いくつかの実施形態において、ロボットシステム１００は、センサユニット２１６に結合されたシステム動作ユニット３６６の例、およびオブジェクトハンドリングユニット３２８に結合されたシステム動作ユニット３６６の別の例を含んでよい。システム動作ユニット３６６の機能に関する追加の詳細については後述する。

[0084] 次に図４を参照すると、本発明の１つまたは複数の実施形態によるオブジェクトハンドリング作業４４０を実行しているロボットシステム１００の例を示す上面図が示されている。オブジェクトハンドリング作業４４０は、オブジェクトハンドリングユニット３２８を含み得るロボットシステム１００によって、目標を達成するために実行される一連のアクションを表す。図４において破線矢印で示すように、例えば、オブジェクトハンドリング作業４４０は、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に移動することを含んでよいが、オブジェクトハンドリング作業４４０の範囲は異なってもよく、例えば、図３の供給オブジェクト３０２を図３のオブジェクトエントリ特性３０８にしたがって作業場所１１６の異なる例に移送することによって、供給オブジェクト３０２を分類することなどでもよいことが理解される。

[0085] 具体例として、オブジェクトハンドリング作業４４０は、オブジェクト供給源１１４のスキャン、検出可能供給オブジェクト３５０の識別、検出可能供給オブジェクト３５０に関する図３のオブジェクト同一性推定３６０の決定、および上記図３において説明したようなオブジェクト供給源１１４からの対象オブジェクト１１２の選択など、連続または並行して実行される１つまたは複数の動作を含んでよい。さらなる具体例として、オブジェクトハンドリング作業４４０は、オブジェクトハンドリング方策４４２の実行、エラー検出プロトコル４４４の実施、作業モーションプラン４５０の実行、またはそれらの組み合わせを含んでよい。

[0086] オブジェクトハンドリング方策４４２は、図３のオブジェクトエントリ特性３０８の対応する例にしたがって、オブジェクトハンドリングユニット３２８がどのように対象オブジェクト１１２と相互作用するかを制御する、１組の動作パラメータである。例えば、オブジェクトハンドリング方策４４２の様々な動作パラメータには、対象オブジェクト１１２のどこをどのように把持するか、対象オブジェクト１１２をどのように搬送および移動するか、対象オブジェクトに必要なクリアランス、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に搬送するときの経路の割り当て、またはそれらの組み合わせが含まれ得る。オブジェクトハンドリング方策４４２を生成するために使用されるオブジェクトエントリ特性３０８の例には、図３のオブジェクト寸法３１４、図３のオブジェクト重量３１８、図３のオブジェクト剛性３２２、図３の変形モード３２４、図３の変形度３２６、図３のオブジェクト内容、またはそれらの組み合わせが含まれ得る。

[0087] 一般的に、図３のオブジェクトセットを参照せずに、図３の接触センサ情報３４４、図３の撮像センサ情報３４２、またはそれらの組み合わせに基づいて図３の検出可能供給オブジェクト３５０に関するオブジェクトハンドリング方策４４２を生成することは、オブジェクト内容、オブジェクト剛性３２２、変形モード３２４、または変形度３２６などの、図３のセンサ情報３４０のみによっては容易に決定し得ない対象オブジェクト１１２の特性については考慮しない。しかし、オブジェクトセット３０４のオブジェクトエントリ３０６に相関するオブジェクト同一性推定３６０に基づいてオブジェクトハンドリング方策４４２を生成することによって、ロボットシステム１００は、より広い範囲の検出可能オブジェクト特性３５２を考慮するようにオブジェクトハンドリング方策４４２を最適化できるようになることが分かっている。

[0088] オブジェクト寸法３１４というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２の移動範囲、対象オブジェクト１１２の移動モード、またはそれらの組み合わせに関して境界を設定するための命令を含んでよい。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２の一部分が他のオブジェクトまたは構造と意図せず接触することを防ぐように、対象オブジェクト１１２の回転または移動中に、オブジェクト寸法３１４にしたがって対象オブジェクト１１２のクリアランスを提供するための命令を含んでよい。

[0089] オブジェクト重量３１８というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、最高速度ならびに加速率および減速率を制限するための命令を含んでよい。例えば、指定された重量制限を超えるオブジェクトは、指定された重量制限を下回るオブジェクトより低い速度でハンドリングされてよい。同様に、例えば、指定された重量制限を超えるオブジェクトの加速率および減速率は、重量制限を下回るオブジェクトより緩やかであってよい。

[0090] オブジェクト剛性３２２というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、オブジェクトハンドリングユニット３２８の把持デバイス３３４によって対象オブジェクト１１２に加えられ得る把持圧力の量を制限するための命令を含んでよい。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２に接触するときに、図３のエンドエフェクタ３３２によって加えられる接触圧力、または把持デバイス３３４によって加えられる力の量に対する制限を含んでよい。

[0091] 変形モード３２４というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２の湾曲またはたるみなどの形状変形の量を制限または最小限にするための、対象オブジェクト１１２上の把持位置に関する命令を含んでよい。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２の湾曲またはたるみを最小限にするために、質量中心から離れた縁部ではなく、質量中心付近で対象オブジェクト１１２を掴むかまたは持ち上げるための命令を含んでよい。

[0092] 変形度３２６というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２をハンドリングするときに、伸びなどの形状変化の予測される量に対応するために、追加の動き範囲を含んでよい。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２を移動するときに追加のクリアランスを提供するために、対象オブジェクト１１２が静止状態から、オブジェクト供給源１１４からまたはオブジェクト供給源１１４を離れて持ち上げられる高さを増大させるための命令を含んでよい。

[0093] オブジェクト内容というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、速度または動きに影響されやすい可能性のあるオブジェクトの場合に最大速度を制限するための命令を含んでよい。例えば、壊れやすいオブジェクトまたは液体などのオブジェクト内容は、壊れやすくないオブジェクトまたは固体のオブジェクトと比較して低速でハンドリングしてよい。

[0094] 別の実装形態では、オブジェクト内容というオブジェクトエントリ特性３０８の場合、一例として、オブジェクトハンドリング方策４４２は、速度または動きの素早いまたは急激な変化に影響されやすい可能性のあるオブジェクトの場合に加速率および減速率を制限する命令を含んでよい。例えば、壊れやすいオブジェクトまたは液体などのオブジェクト内容は、運動量の急激または大幅な変化を制限する加速率でハンドリングしてよい。

[0095] エラー検出プロトコル４４４は、オブジェクトハンドリング作業４４０の間にエラーが検出されたときにロボットシステム１００によって実施されるアクションである。例えば、エラー検出プロトコル４４４は、オブジェクトエントリ特性３０８の１つまたは複数と、検出可能オブジェクト特性３５２の１つまたは複数との間に不整合が検出されたときに実施することができる。より具体的には、エラー検出プロトコル４４４は、図３の一意の識別子３１０の一致など、オブジェクト同一性推定３６０がオブジェクトエントリ３０６の特定の例として検証されたものの、オブジェクトエントリ特性３０８の１つまたは複数が検出可能オブジェクト特性３５２の１つまたは複数と整合しないという状況で実施することができる。エラー検出プロトコル４４４のトリガとなる不整合の例には、オブジェクトセット３０４内の登録済みのオブジェクト３０６のオブジェクト重量３１８と、図２の接触センサ２２６によって決定された対象オブジェクト１１２のオブジェクト重量３１８との間の差異が含まれ得る。

[0096] いくつかの実施形態において、エラー検出プロトコル４４４は、エラー検出時にオブジェクトハンドリング作業４４０の実行を中止することを含むことができる。いくつかの実施形態において、エラー検出プロトコル４４４は、オブジェクト供給源１１４内またはオブジェクト供給源１１４上の対象オブジェクト１１２を交換することを含むことができる。いくつかの実施形態において、エラー検出プロトコル４４４は、対象オブジェクト１１２の検査のために、対象オブジェクト１１２を指定された場所に搬送することを含んでよい。いくつかの実施形態において、エラー検出プロトコル４４４は、オペレータによる入力を求めることを含んでよい。例えば、ロボットシステム１００は、別のシステムまたは人間のオペレータにエラー検出の発生について警告するオペレータ通知を生成することができる。

[0097] 作業モーションプラン４５０は、オブジェクトハンドリング作業４４０を実行するように、対応するユニットによって実施される１つまたは複数のアクションに対応する。図４に示す状況において、作業モーションプラン４５０は、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に移送するためのものである。例えば、オブジェクトハンドリングユニット３２８に関する作業モーションプラン４５０は、ピックアップ、対象オブジェクト１１２の把持、対象オブジェクト１１２の持ち上げ、オブジェクト供給源１１４の上方から作業場所１１６の上方への対象オブジェクト１１２の移送、対象オブジェクト１１２の降下、および対象オブジェクト１１２の解放のために、エンドエフェクタ３３２を位置決めすることを含むことができる。作業モーションプラン４５０は、作業モーションプラン４５０の実行中に、オブジェクトハンドリング方策４４２を組み込むことができる。

[0098] いくつかの実施形態において、作業モーションプラン４５０は、ロボットアーム３３０、エンドエフェクタ３３２、またはそれらの組み合わせを動作させる、図２の作動デバイス２１２の１つまたは複数に関する一連のコマンドまたは設定を含むことができる。例えば、作業モーションプラン４５０は、オブジェクト供給源１１４の周囲の特定の場所にグリッパを配置し、オブジェクトハンドリング方策４４２にしたがって、エンドエフェクタ３３２により対象オブジェクト１１２と係合して対象オブジェクト１１２を把持し、作業場所１１６の周囲の特定の場所にエンドエフェクタ３３２を配置し、エンドエフェクタ３３２から対象オブジェクト１１２を解放するためのコマンドまたは設定を含むことができる。

[0099] いくつかの実施形態では、システム動作ユニット３６６は、オブジェクトハンドリングユニット３２８を動作させるための命令を生成することができる。例えば、システム動作ユニット３３６は、オブジェクトハンドリング方策４４２を生成するか、作業モーションプラン４５０を算出するか、エラー検出プロトコル４４４を呼び出すか、またはその他の関連付けられた機能を実施することができる。

[0100] 次に図５を参照すると、本発明の１つまたは複数の実施形態による、図１のロボットシステム１００を動作させる方法５００に関するフロー図が示されている。方法５００は、図３のオブジェクトセット３０４にしたがって、図１の対象オブジェクト１１２を識別すること、対象オブジェクト１１２のきめ細かい制御および操作を実施すること、またはそれらの組み合わせのためのものであってよい。方法５００は、図２のストレージユニット２０４の１つまたは複数に格納された命令を実行することに基づいて実施されるか、図２の制御ユニット２０２の１つまたは複数によって実施されるか、またはそれらの組み合わせによって実施することができる。さらに、方法５００に関する以下の説明は、制御ユニット２０２、ストレージユニット２０４、および通信ユニット２０６などの、図２のユニットに関して記載されているが、この方法は、様々な数および組み合わせの制御ユニット２０２、ストレージユニット２０４、および通信ユニット２０６を含み得る、図３のシステム動作ユニット３３６の１つまたは複数の例によって実施してもよいことが理解される。

[0101] ブロック５０２において、ロボットシステム１００は、オブジェクトセット３０４を受け取ることができる。例えば、ロボットシステム１００は、オブジェクト供給源１１４の特定の例に関連付けられたオブジェクトセット３０４を受け取ることができる。一実施形態において、ロボットシステム１００の制御ユニット２０２は、通信ユニット２０６を介して、またはストレージユニット２０４へのアクセスを介して、オブジェクトセット３０４を得ることができる。

[0102] ブロック５０４において、ロボットシステム１００は、オブジェクトセット３０４を分析して、図３のオブジェクトエントリ特性３０８の１つまたは複数についての一意性を識別することができる。例えば、制御ユニット２０２は、一意の識別子３１０を、ロボットシステム１００が検出可能供給オブジェクト３５０の１つを識別できるようにし得る高度な一意性をもたらすオブジェクトエントリ特性３０８の例として識別することができる。別の例において、制御ユニット２０２は、オブジェクトセット３０４内のオブジェクトエントリ３０６の他の多くの例の中で、オブジェクトエントリ３０６のサブセットまたはグループに特有の、オブジェクトエントリ特性３０８のグルーピングまたは組み合わせを識別することができる。反対に、オブジェクトエントリ３０６の多くに共通するオブジェクトエントリ特性３０８の例は、一意性が低い可能性がある。例えば、オブジェクトエントリ３０６の全てについて形状プロファイルが箱である場合、制御ユニット２０２は、形状プロファイル３１２というオブジェクトエントリ特性３０８の一意性が低いと決定することができる。

[0103] オブジェクトエントリ特性３０８の一意性またはオブジェクトエントリ特性３０８のグループの一意性は、動的に分析することができる。例えば、制御ユニット２０２は、供給オブジェクト３０２がオブジェクト供給源１１４から除去されるときに、登録オブジェクト特性３０８を再分析して、供給オブジェクト３０２の残りの例の数が減少するにつれて、オブジェクトエントリ特性３０８の追加のグルーピングまたは組み合わせの一意性が増大しているかどうかを決定することができる。

[0104] ブロック５０６において、ロボットシステム１００は、オブジェクト供給源１１４、供給オブジェクト３０２、またはそれらの組み合わせをスキャンするスキャン命令を生成し、図３のセンサ情報３４０を生成することができる。一実装形態において、ロボットシステム１００の制御ユニット２０２は、通信ユニット２０６経由などでセンサユニット２１６にスキャン命令を送信し、オブジェクト供給源１１４に関するセンサ情報３４０を生成することができる。例えば、ロボットシステム１００は、オブジェクト供給源１１４の周りに配置されてオブジェクト供給源１１４に向けられた図２の撮像デバイス２２２を利用して図３の撮像センサ情報３４２を生成するための、スキャン命令を生成するように、制御ユニット２０２を実装することができる。一実施形態では、制御ユニット２０２は、通信ユニット２０６経由などで、撮像デバイス２２２から撮像センサ情報３４２を受け取ることができる。いくつかの実施形態において、制御ユニット２０２は、オブジェクト供給源１１４から露出している供給オブジェクト３０２の、外側に面した１つまたは複数の表面のデジタル画像、点群、距離画像、またはそれらの組み合わせを含み得る、撮像センサ情報３４２を受け取ることができる。別の具体例として、撮像センサ情報３４２は、サーマルイメージング情報、Ｘ線イメージング情報、２次元マッピング、３次元マッピング、またはそれらの組み合わせを含み得る。別の実装形態において、制御ユニット２０２は、撮像デバイス２２２の複数の例から、未加工、未処理、または部分的に処理された撮像情報として撮像センサ情報２０２を受け取ることができ、この情報を制御ユニット２０２によって分析して、点群、距離画像、２次元マップ、３次元マップ、またはそれらの組み合わせを生成することができる。

[0105] ブロック５０８において、ロボットシステム１００は、撮像センサ情報３４２を分析して、検出可能供給オブジェクト３５０を識別することができる。例えば、一実装形態において、制御ユニット２０２は、撮像センサ情報３４２を分析して、パターン認識メカニズム、周縁部または表面などのオブジェクトアウトラインを識別するための１組のルール、またはそれらの組み合わせにより、検出可能供給オブジェクト３５０を識別することができる。この例を続けると、制御ユニット２０２は、所定のルール、姿勢テンプレート、またはそれらの組み合わせなどにしたがって、アウトラインのグルーピングを、検出可能供給オブジェクト３５０に対応するものとしてさらに識別することができる。この例をさらに進めると、制御ユニット２０２は、同じ値であるか、あるいは既知の割合またはパターンで変化するといった、色、輝度、深さ、場所、またはそれらの組み合わせのパターンに対応するオブジェクトアウトラインのグルーピングを、オブジェクトのラインにわたって識別することができる。また、例えば、制御ユニット２０２は、図２のマスタデータ２４６において定義された所定の形状または姿勢テンプレートにしたがって、オブジェクトアウトラインのグルーピングを識別することもできる。具体例として、制御ユニット２０２は、図３の撮像特性３５４としての撮像センサ情報３４２を、図３の一意の識別子３１０、図３の形状プロファイル３１２、図３のオブジェクト寸法３１４、図３の表面設計スキーム３１６、オブジェクト供給源１１４上またはオブジェクト供給源１１４内における検出可能供給オブジェクト３５０の場所または相対的位置、検出可能供給オブジェクト３５０の姿勢、あるいはそれらの組み合わせなどの、検出可能オブジェクト特性３５２の１つまたは複数にマッピングすることができる。

[0106] ブロック５１０において、ロボットシステム１００は、検出可能供給オブジェクト３５０の検出可能オブジェクト特性３５２と、オブジェクトエントリ３０６のオブジェクトエントリ特性３０８との間の、図３の特性相関３６４を決定することができる。一実装例において、制御ユニット２０２は、検出可能供給オブジェクト３５０の特定の例に関する検出可能オブジェクト特性３５２の１つを、検出可能供給オブジェクト３０２のそれぞれに関するオブジェクトエントリ特性３０８と比較して、特性相関３６４がポジティブであって一致を示しているか、またはネガティブであって不一致を示しているかを決定することができる。この実装例を続けると、検出可能供給オブジェクト３０２の特定の例について、制御ユニット２０２は、検出可能オブジェクト特性３５２のそれぞれと、オブジェクトセット３０４内のオブジェクトエントリ３０６のそれぞれに関するオブジェクトエントリ特性３０８との比較を、繰り返し行うことができる。具体例として、検出可能供給オブジェクト３０２の特定の例について、制御ユニット２０２は、検出可能オブジェクト特性３５２の一例、例えば形状プロファイル３１２を、オブジェクトセット３０４内のオブジェクトエントリ３０６のそれぞれに関する形状プロファイル３１２と比較して、特性相関３６４がポジティブであるかネガティブであるかを決定することができる。例えば、制御ユニット２０２は、検出可能供給オブジェクト３５０と登録済みのオブジェクト３０６が共に箱である場合、形状プロファイル３１２についての特性相関３６４はポジティブであると決定することができる。この具体例を続けると、制御ユニット２０２は、検出可能供給オブジェクト３０２の特定の例の検出可能オブジェクト特性３５２の現在利用可能な各例について、オブジェクトセット３０４内のオブジェクトエントリ３０６のそれぞれに関するオブジェクトエントリ特性３０８の対応する例との反復比較を継続することができる。

[0107] ブロック５１２において、ロボットシステム１００は、検出可能供給オブジェクト３５０に関するオブジェクト一致確率３６２を算出することができる。例えば、制御ユニット２０２は、検出可能オブジェクト特性３５２と、オブジェクトセット３０４内のオブジェクトエントリ３０６のオブジェクトエントリ特性３０８との間の特性相関３６４に基づいて、オブジェクト一致確率３６２を算出することができる。いくつかの実施形態では、制御ユニット２０２は、検出可能オブジェクト特性３５２と、オブジェクトエントリ３０６のオブジェクトエントリ特性３０８との間の特性相関３６４のポジティブな例の数に基づいて、オブジェクト一致確率３６２をパーセンテージとして算出することができる。例えば、一実装形態において、制御ユニット２０２は、オブジェクトエントリ３０６の特定の例についての、オブジェクトセット３０２に含まれるオブジェクトエントリ特性３０８の総数に対する、特性相関３６４のポジティブな例の数のパーセンテージとして、オブジェクト一致確率３６２を算出することができる。具体例として、ロボットシステム１００が、検出可能供給オブジェクト３５０の例が特性相関３６４のポジティブな例を２つ含むと決定し、オブジェクトエントリ３０６がオブジェクトエントリ特性３０８の例を４つ含む状況において、制御ユニット２０２は、オブジェクト一致確率３６２を５０％と算出することができる。

[0108] いくつかの実施形態では、制御ユニット２０２は、オブジェクトエントリ特性３０８の１つまたは複数に対する一意性の度合いを考慮して、検出可能供給オブジェクト３５０についてオブジェクト一致確率３６２を算出することができる。例えば、オブジェクト一致確率３６２を算出するとき、一意の識別子３１０などの、一意性が高いオブジェクトセット特性３０８の特定の例または組み合わせは、オブジェクトエントリ３０６の多くの間で共通するものなど、一意性が低いオブジェクトセット特性３０８よりも、高く重み付けしてよい。具体例として、制御ユニット２０２は、検出可能供給オブジェクト３５０の例の一意の識別子３１０と、オブジェクトエントリ３０６のうちの１つの一意の識別子３１０との間の特性相関３６４の例がポジティブである場合、オブジェクト一致確率３６２を高いパーセンテージ値として算出することができる。

[0109] いくつかの実施形態では、検出可能オブジェクト特性３０８の１つまたは複数と、オブジェクトエントリ特性３０８の対応する例との間に、特性相関３６４のネガティブな例が存在するとき、制御ユニット２０２は、オブジェクト一致確率３６２をゼロ一致確率として算出することができる。検出可能供給オブジェクト３５０の特定の例とオブジェクトエントリ３０２の特定の例との間のオブジェクト一致確率３６２がゼロ一致確率であることは、検出可能供給オブジェクト３５０の特定の例がオブジェクトエントリ３０２の特定の例と対応しないことを示す。一例として、検出可能供給オブジェクト３５０についての一意の識別子３１０、形状プロファイル３１２、オブジェクト寸法３１４，表面設計スキーム３１６、またはそれらの組み合わせと、オブジェクトエントリ３０６の特定の例についてのオブジェクトエントリ特性３０８の対応する例との間に、特性相関３６４のネガティブな例が存在するとき、制御ユニット２０２は、オブジェクト一致確率をゼロ一致確率として算出することができる。具体例として、箱という形状プロファイル３１２を有するオブジェクトエントリ３０６の例と比較されたとき、管という形状プロファイル３１２を有する検出可能供給オブジェクト３５０は、オブジェクト一致確率３６２がゼロ一致確率であると算出され得る。

[0110] いくつかの状況において、制御ユニット２０２は、検出可能オブジェクト特性３５２とオブジェクトエントリ特性３０８のいくつかの例の間に特性相関３６４のポジティブな例があるとの決定にもかかわらず、オブジェクト一致確率３６２をゼロ一致確率として算出することができる。例えば、制御ユニット２０２が、検出可能オブジェクト特性３５２の１つについて特性相関３６２のネガティブな例があると決定したとき、制御ユニット２０２は、特性相関３６４のポジティブな例があるとの決定にもかかわらず、ゼロ一致確率のオブジェクト一致特性３６２を算出することができる。別の例において、オブジェクトエントリ３０６の１つに対応する供給オブジェクト３０２の例がオブジェクト供給源１１４から除去され、したがって検出可能供給オブジェクト３５０がオブジェクトエントリ３０６の特定の例と一致し得ないとロボットシステム１００が決定したとき、制御ユニット２０２は、特性相関３６４のポジティブな例があるとの決定にもかかわらず、ゼロ一致確率のオブジェクト一致特性３６２を算出することができる。

[0111] ブロック５１６において、ロボットシステム１００は、検出可能供給オブジェクト３５０について、図３のオブジェクト同一性推定３６０を生成することができる。いくつかの実施形態では、制御ユニット２０２は、検出可能供給オブジェクト３５０のオブジェクト一致確率３６２に基づいて、オブジェクト同一性推定３６０を生成することができる。いくつかの実施形態において、制御ユニット２０２は、検出可能供給オブジェクト３５０の１つについて、その検出可能供給オブジェクト３５０の例に固有のオブジェクト一致確率３６２の、生成された例の数に基づいて、オブジェクト同一性推定３６０の複数の例を生成することができる。例えば、いくつかの状況において、ロボットシステム１００は、特性相関３６４の現在利用可能な例に基づいて、オブジェクト一致確率３６２の複数の例を生成することができ、これはオブジェクトエントリ３０６の複数の例との一致を示す。これらの状況において、制御ユニット２０２は、生成されたオブジェクト一致確率３６２の各例について、オブジェクト同一性推定３６０の例を生成し、オブジェクト同一性推定３６０のそれぞれを、対応するオブジェクト一致確率３６２の値にしたがってランク付けすることができる。いくつかの実施形態では、制御ユニット２０２は、オブジェクト同一性推定３６０を、最も値が高いオブジェクト一致確率３６２に対応するオブジェクトエントリ３０６の例として生成することができる。これは、オブジェクト一致特性３６２の値が高いことは、オブジェクト同一性推定３６０の確実性が高いことと相関し得るためである。

[0112] いくつかの実施形態において、制御ユニット２０２は、検出可能供給オブジェクト３５０のそれぞれに関するオブジェクト一致確率３６２の比較に基づいて、検出可能供給オブジェクト３５０に関するオブジェクト同一性推定３６０を生成することができる。一例として、検出可能供給オブジェクト３５０のそれぞれについてのオブジェクト一致確率３６２の比較は、オブジェクトエントリ３０６の特定の例に特化してよい。一実装例において、オブジェクトエントリ３０６の特定の例との間にゼロ一致確率ではないオブジェクト一致確率３６２を含む検出可能供給オブジェクト３５０のそれぞれに関して、制御ユニット２０２はオブジェクト一致確率３６２を比較し、オブジェクト同一性推定３６０を生成して、当該オブジェクトエントリ３０６の特定の例に対応するオブジェクト一致確率３６２の値が最も高い検出可能供給オブジェクト３５０を、当該オブジェクトエントリ３０６の特定の例として識別することができる。

[0113] この例を説明するために、図３に示す仮定の状況を参照すると、「オブジェクトＢ」というオブジェクトエントリ３０６の特定の例に関して、制御ユニット２０２は、検出可能供給オブジェクト３５０「オブジェクトＩＩ」に対する「１０％」というオブジェクト一致確率３６２と、検出可能供給オブジェクト３５０「オブジェクトＩＩＩ」に対する「６０％」というオブジェクト一致確率３６２とを比較することができる。同様に、「オブジェクトＣ」というオブジェクトエントリ３０６の特定の例に関して、制御ユニット２０２は、検出可能供給オブジェクト３５０「オブジェクトＩＩ」に対する「７０％」というオブジェクト一致確率３６２と、検出可能供給オブジェクト３５０「オブジェクトＩＩＩ」に対する「３０％」というオブジェクト一致確率３６２とを比較することができる。この例示を続けると、「オブジェクトＩＩ」および「オブジェクトＩＩＩ」という検出可能供給オブジェクト３５０に対するオブジェクト一致確率３６２を比較する場合、制御ユニット２０２は、「オブジェクトＩＩ」に関するオブジェクト同一性推定を、「オブジェクトＢ」というオブジェクトエントリ３０６として、また、「オブジェクトＩＩＩ」に関するオブジェクト同一性推定を、「オブジェクトＣ」というオブジェクトエントリ３０６として、生成することができる。

[0114] ブロック５１８において、ロボットシステム１００は、オブジェクト供給源１１４の検出可能供給オブジェクト３５０から対象オブジェクト１１２を選択することができる。例えば、制御ユニット２０２は、所定の順序、１組のルール、オブジェクトアウトラインのテンプレート、またはそれらの組合せにしたがって、対象オブジェクト１１２を選択することができる。具体例として、制御ユニット２０２は、撮像デバイス２２２の既知の場所に対する距離または位置を表す点群、距離画像、あるいはそれらの組み合わせにしたがって、供給オブジェクト３０２の上部に配置された検出可能供給オブジェクト３５０の例などの、エンドエフェクタ３３２がアクセスできる検出可能供給オブジェクト３５０の例として、対象オブジェクト１１２を選択することができる。具体例として、制御ユニット２０２は、角または縁部に配置され、露出した２つ以上の表面を有する検出可能供給オブジェクト３５０の例として、対象オブジェクト１１２を選択することができる。さらなる例として、制御ユニット２０２は、基準位置に対して左から右へ、または最も近くから最も遠くへといった所定のパターンにしたがって、好ましくは供給オブジェクト３０２の他の例を妨害または移動することなく、対象オブジェクト１１２を選択することができる。

[0115] ブロック５２０において、ロボットシステム１００は、対象オブジェクト１１２について図４のオブジェクトハンドリング方策４４２を生成することができる。いくつかの実施形態において、制御ユニット２０２は、検出されたオブジェクト特性３５２、オブジェクトエントリ特性３０８、またはそれらの組み合わせの対応する例にしたがって、図３のオブジェクトハンドリングユニット３２８がどのように対象オブジェクト１１２と相互作用するかを制御する１組の動作パラメータとして、オブジェクトハンドリング方策４４２を生成することができる。例えば、制御ユニット２０２は、オブジェクトハンドリングユニット３２８によってハンドリングされているときの対象オブジェクト１１２に関する、オブジェクト同一性推定３６０と相関するオブジェクトエントリ特性３０８を、特に接触特性３５６など、制御ユニット２０２が未だ情報を有しないオブジェクトエントリ特性３０８の例について、適用することができる。いくつかの実施形態では、対象オブジェクト１１２が複数のオブジェクト同一性推定３６０の例を含む状況において、制御ユニット２０２は、オブジェクト同一性推定３６０のそれぞれに対応する複数のオブジェクトハンドリング方策４４２の例を生成することができる。

[0116] 一実装形態において、図３のオブジェクト寸法３１４というオブジェクトエントリ特性３０８について、制御ユニット２０２は、対象オブジェクト１１２の移動範囲および移動モードに関して境界を設定するための命令として、オブジェクトハンドリング方策４４２を生成することができる。例えば、制御ユニット２０２は、対象オブジェクト１１２の一部分が他のオブジェクトまたは構造と意図せず接触することを防ぐように、回転または移動の際に、オブジェクト寸法３１４にしたがってクリアランスを提供するための命令を含む、オブジェクトハンドリング方策４４２を生成することができる。

[0117] 別の実装形態では、図３のオブジェクト重量３１８というオブジェクトエントリ特性３０８について、制御ユニット２０２は、最高速度ならびに加速率および減速率を制限する命令としてオブジェクトハンドリング方策４４２を生成することができる。例えば、指定された重量制限を超える対象オブジェクト１１２の例は、指定された重量制限を下回る他のオブジェクトより低い速度でハンドリングされてよい。同様に、例えば、指定された重量制限を超える対象オブジェクト１１２の例の加速率および減速率は、重量制限を下回る他のオブジェクトより緩やかであってよい。

[0118] さらなる実装形態では、図３のオブジェクト剛性３２２というオブジェクトエントリ特性３０８について、制御ユニット２０２は、オブジェクトハンドリングユニット３２８の把持デバイス３３４によって対象オブジェクト１１２に加えられ得る把持圧力の量を制限するための命令として、オブジェクトハンドリング方策４４２を生成することができる。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２に接触するときに、エンドエフェクタ３３２によって加えられる接触圧力、または把持デバイス３３４によって加えられる力の量に対する制限を含んでよい。

[0119] さらに別の実装形態では、図３の変形モード３２４というオブジェクトエントリ特性３０８について、制御ユニット２０２は、対象オブジェクト１１２の湾曲またはたるみなどの形状変形の量を制限または最小限にするための、対象オブジェクト１１２上の把持位置に関する命令として、オブジェクトハンドリング方策４４２を生成することができる。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２の湾曲またはたるみを最小限にするために、縁部ではなく、質量中心付近で対象オブジェクト１１２を把持または持ち上げるための命令を含んでよい。

[0120] さらに別の実装形態では、図３の変形度３２６というオブジェクトエントリ特性３０８について、制御ユニット２０２は、対象オブジェクト１１２をハンドリングするときに、伸びなどの形状変化の予測される量に対応するために、追加の動き範囲を含むようにオブジェクトハンドリング方策４４２を生成することができる。例えば、オブジェクトハンドリング方策４４２は、対象オブジェクト１１２を移動するときの対象オブジェクト１１２の伸びを考慮して追加のクリアランスを提供するために、対象オブジェクト１１２が静止状態から、オブジェクト供給源１１４からまたはオブジェクト供給源１１４を離れて持ち上げられる高さまたは距離を増大させるための命令を含んでよい。

[0121] 別の実装形態では、オブジェクト内容というオブジェクトエントリ特性３０８について、制御ユニット２０２は、速度または動きの素早い変化に影響されやすい可能性のあるオブジェクトの場合に最大速度ならびに加速率および減速率を制限する命令として、オブジェクトハンドリング方策４４２を生成することができる。例えば、壊れやすいオブジェクトまたは液体などのオブジェクト内容は、運動量の急激または大幅な変化を制限する速度および加速率でハンドリングしてよい。

[0122] ブロック５２２において、ロボットシステム１００は、対象オブジェクト１１２についてオブジェクトハンドリング作業４４０を実行するための、図４の作業モーションプラン４５０を算出することができる。例えば、制御ユニット２０２は、一連のコマンドまたは設定、あるいはそれらの組み合わせの算出に基づいて、図３のロボットアーム３３０、把持デバイス３３４を含む図３のエンドエフェクタ３３２、またはそれらの組み合わせを動作する図２の作動デバイス２１２のために、作業モーションプラン４５０を算出することができる。オブジェクトハンドリング作業４４０のいくつかの例について、制御ユニット２０２は、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に移送するようにロボットアーム３３０、エンドエフェクタ３３２、またはそれらの組み合わせを操作する、順序および設定値を算出することができる。例えば、制御ユニット２０２は、プロセス、機能、等式、アルゴリズム、コンピュータ生成／可読モデル、またはそれらの組み合わせを含み得るモーションプランニングメカニズムを実施し、１つまたは複数の制約、目標、ルール、またはそれらの組み合わせにしたがって、空間内の経路を算出することができる。具体例として、制御ユニット２０２は、Ａ＊アルゴリズム、Ｄ＊アルゴリズム、他のグリッドベースの探索、またはそれらの組み合わせを使用して、対象オブジェクト１１２をオブジェクト供給源１１４から作業場所１１６に移動するための、空間を通る経路を算出することができる。モーションプランニングメカニズムは、さらなるプロセス、機能、または等式、および／または変換テーブルを使用して、経路を、作動デバイス２１２のための一連のコマンドまたは設定、あるいはそれらの組み合わせに変換することができる。モーションプランニングメカニズムを使用する際に、制御ユニット２０２は、算出された経路を対象オブジェクト１１２がたどるように、ロボットアーム３３０およびエンドエフェクタ３３２を動作させる順序を算出することができる。いくつかの実施形態では、対象オブジェクト１１２が複数のオブジェクト同一性推定３６０の例を含む状況において、制御ユニット２０２は、オブジェクト同一性推定３６０のそれぞれに対応する作業モーションプラン４５０の複数の例を算出することができる。

[0123] 決定ブロック５２４において、ロボットシステム１００は、オブジェクト識別推定３６０の補足的なチェックを実施することができる。例えば、制御ユニット２０２は、対象オブジェクト１１２を初めて持ち上げている間に、図２の接触センサ２２６とインターフェースをとって、トルクまたは力の測定値などの図３の接触センサ情報３４４を生成し、オブジェクト重量３１８を算出することなどによって、検出可能オブジェクト特性３５２の追加の例を生成することができる。別の例では、対象オブジェクト１１２の一意の識別子３１０が存在するものの未だスキャンされていない場合、制御ユニット２０２は、対象オブジェクト１１２の操作またはハンドリング中に、撮像デバイス２２２とインターフェースをとって、一意の識別子３１０を識別およびスキャンすることができる。いくつかの実施形態では、制御ユニット２０２は、検出可能オブジェクト特性３５２の追加の例を使用して、オブジェクト識別推定３６０を更新するか、または図４のエラー検出プロトコル４４４を実施することができる。例えば、制御ユニット２１２は、接触特性３５６または撮像特性３５４の追加の例などの、検出可能オブジェクト特性３５２の追加の例と、オブジェクトエントリ特性３０８との間の特性相関３６４を決定することによって、対象オブジェクト１１２のオブジェクト識別推定３６０のそれぞれについて、オブジェクト一致確率３６２を調節することができる。具体例として、対象オブジェクト１１２が、オブジェクト一致確率３６２の値が等しい２つのオブジェクト識別推定３６０を含むが、対応するオブジェクトエントリ３０６の例のオブジェクト重量３１８が異なるという状況において、制御ユニット２０２は、オブジェクト重量３１８という接触特性３５６を使用して特性相関３６４を決定し、オブジェクト一致確率３６２を再算出することができる。いくつかの実施形態では、制御ユニット２０２は、オブジェクトハンドリング方策４４２、作業モーションプラン４５０、またはそれらの組み合わせを、オブジェクト識別推定３６０の更新に基づいて修正することができる。

[0124] ブロック５２６において、ロボットシステム１００は、図４のエラー検出プロトコル４４４の実施が必要かどうかを決定することができる。例えば、ロボットシステム１００は、制御ユニット２０２が、オブジェクトエントリ特性３０８の１つまたは複数と、対象オブジェクト１１２の検出可能オブジェクト特性３５２の１つまたは複数との間の不整合を検出したときに、エラー検出プロトコル４４４を実施することができる。より具体的には、一意の識別子３１０の一致など、オブジェクト同一性推定３６０がオブジェクトエントリ３０６の特定の例として検証されたものの、オブジェクトセット３０４内のオブジェクトエントリ３０６のオブジェクト重量３１８と、接触センサ２２６によって決定された対象オブジェクト１１２のオブジェクト重量３１８との間に差異がある場合など、オブジェクトエントリ特性３０８の１つまたは複数が検出可能オブジェクト特性３５２の１つまたは複数と整合しない状況において、制御ユニット２０２は、エラー検出プロトコル４４４を実施することができる。

[0125] いくつかの実施形態では、ロボットシステム１００は、検出可能オブジェクト特性３５２と登録済みのオブジェクト特性３０６との間に不整合が検出された場合など、エラー検出時にオブジェクトハンドリング作業４４０の実行を中止するように、エラー検出プロトコル４４４を実施することができる。いくつかの実施形態では、ロボットシステム１００は、エラー検出プロトコル４４４を実施し、図３のオブジェクトハンドリングユニット３２８を使用して、対象オブジェクト１１２を交換するか、あるいはオブジェクト供給源１１４内に、オブジェクト供給源１１４上に、またはオブジェクト供給源１１４に対象オブジェクト１１２を戻すことができる。いくつかの実施形態において、ロボットシステム１００は、エラー検出プロトコル４４４を実施して、検査のために、オブジェクトハンドリングユニット３２８を使用して、指定された場所に対象オブジェクト１１２を搬送することができる。いくつかの実施形態では、エラー検出プロトコル４４４は、オペレータによる入力を求めることを含んでよい。例えば、ロボットシステム１００は、通信ユニット２０６、システムインターフェース２０８、またはそれらの組み合わせを介して、人間のオペレータにエラー検出の発生について警告するオペレータ通知を生成することができる。いくつかの実施形態では、上記の実施形態において説明したエラー検出プロトコル４４４の目的に応じて、制御ユニット２０２により、エラー検出プロトコル４４４を動作させるための命令を、作業モーションプラン４５０のさらなる例として生成することもできる。

[0126] ブロック５２８において、ロボットシステム１００は、作業モーションプラン４５０の実行を開始することができる。例えば、ロボットシステム１００は、通信ユニット２０６を介して、オブジェクトハンドリングユニット３２８に作業モーションプラン４５０または作業モーションプラン４５０の増分を送信することにより、作業モーションプラン４５０の実行を開始して、ロボットアーム３３０、エンドエフェクタ３３２、またはそれらの組み合わせの作動デバイス２１２を、一連のコマンドまたは設定、あるいはそれらの組み合わせにしたがって動作させることができる。

[0127] 決定ブロック５３０において、ロボットシステム１００は、オブジェクトハンドリング作業４４０が、最後まで完全に実行されたかどうかを決定することができる。例えば、制御ユニット２０２は、オブジェクトハンドリングユニット３２８とインターフェースをとり、オブジェクトハンドリング作業４４０におけるアクションおよびコマンドの全てが対象オブジェクト１１２について完了しているかどうか、または、代替的にエラー検出の場合には、エラー検出プロトコル４４４におけるアクションおよびコマンドの全てが完了しているかどうかを決定する。いくつかの実装形態では、オブジェクトハンドリング作業４４０が完了していると制御ユニット２０２が検証したとき、制御ユニット２０２は、オブジェクトエントリ３０６の１つに対応する対象オブジェクト１１２がオブジェクト供給源１１４から除去されたことを示すようにオブジェクトセット３０４を更新することができ、ロボットシステム１００は、供給オブジェクト３０２の新しい例について方法５００を繰り返すことができる。

[0128] オブジェクトエントリ３０６の１つに対応する供給オブジェクト３０２の１つが除去されたことを反映するようにオブジェクトセット３０４を更新することによって、ロボットシステム１００の、オブジェクトハンドリング作業４００を引き続き反復して実施する能力が向上することが分かっている。対象オブジェクト１１２の除去を考慮するためにオブジェクトセット３０４を更新することによって、供給オブジェクト３０２の残りの例に一致する可能性のある、考えられるオブジェクトエントリ３０６の例の数を減少させ、オブジェクト同一性推定３６０をさらに洗練することができ、それによって、オブジェクト識別の正確性およびロボットシステム１００の動作を改善することができる。

[0129] 方法５００のフロー図のブロックは、図２の制御ユニット２０２、ストレージユニット２０４、通信ユニット２０６、および図２のシステムインターフェース２０８の単一の例による実施に関して説明されているが、フロー図は、ロボットシステム１００によって異なる形で実施できることが理解される。例えば、ブロックを分割して、システム動作ユニット３６６の異なる例のユニットによって実施してもよい。具体例として、システム動作ユニット３６６の１つの例が供給オブジェクト３０２の識別に関連するブロックを実施することができ、一方でシステム動作ユニット３６６の別の例がオブジェクトハンドリング作業４４０の実行に関連付けられたブロックを実施することができるように、ブロックを分割してよい。一実施形態において、供給オブジェクト３０２の識別に関連するブロックは、オブジェクトセット受け取りブロック５０２、セット分析ブロック５０４、供給源情報生成ブロック５０６、オブジェクト検出ブロック５０８、特性相関決定ブロック５１０、確率算出ブロック５１２、オブジェクト同一性推定生成ブロック５１６、またはそれらの組み合わせを含み得る。別の実装形態において、オブジェクトハンドリング作業４４０の実行に関連付けられるブロックは、オブジェクト選択ブロック５１８、オブジェクトハンドリング方策生成ブロック５２０、作業モーションプラン算出ブロック５２２、識別決定検証ブロック５２４、エラーハンドリング実施ブロック５２６、プラン実行ブロック５２８、作業完了決定ブロック５３０、またはそれらの組み合わせを含み得る。

[0130] 次に図６を参照すると、本発明の一実施形態におけるロボットシステム１００の動作の方法６００のフローチャートが示されている。方法６００は、ブロック６０２において、１つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取ることであって、オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、オブジェクトエントリのそれぞれは１つまたは複数のオブジェクトエントリ特性によって説明されることと；ブロック６０４において、オブジェクト供給源の検出可能供給オブジェクトについて１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取ることと；ブロック６０６において、検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて、検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率を算出することと；ブロック６０８において、オブジェクトエントリの特定の例に対応する検出可能供給オブジェクトのそれぞれについてのオブジェクト一致確率の間の比較に基づいて、検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成することと；ブロック６１０において、検出可能供給オブジェクトから対象オブジェクトを選択することと；ブロック６１２において、オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するための、オブジェクトハンドリング方策と；ブロック６１４において、オブジェクトエントリの特定の例に対応する対象オブジェクトがオブジェクト供給源から除去されたことを示すようにオブジェクトセットを更新することと、を含む。

[0131] 結果として得られる方法、プロセス、装置、デバイス、製品、および／またはシステムは、費用対効果が高く、用途が広く、正確であり、精度が高く、かつ効果が高く、また、既知の構成要素を採用することによって、素早く、効率よく、かつ経済的な製造、応用、および利用のために実装することができる。本発明の実施形態の他の重要な態様は、有用なことに、コスト削減、システムの単純化、および性能の向上という歴史的傾向を支援および補助することである。

[0132] したがって、本発明の実施形態の上記および他の有用な態様は、当該技術の状況を、少なくとも次のレベルに進めるものである。

[0133] 本発明を具体的なベストモードと共に説明してきたが、上記の説明に照らして、多くの代替例、修正例、および変形例が当業者には明らかになることが理解されるべきである。したがって、添付の特許請求の範囲内の当該代替例、修正例、および変形例を全て包含することが意図される。本明細書に記載の、または添付の図面に示される全ての事項は、例示的かつ非限定的な意味で解釈されるべきである。

[0006] 本発明の一実施形態は、ロボットシステムを提供し、このロボットシステムは、制御ユニットと、ストレージユニットとを有する。制御ユニットは、１つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取るように構成され、オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明される。制御ユニットは、さらに、オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取り；検出可能供給オブジェクトの検出可能オブジェクト特性と、オブジェクトエントリのオブジェクトエントリ特性との間の特性相関に基づいて、検出可能供給オブジェクトとオブジェクトエントリとの間のオブジェクト一致確率を算出し；オブジェクトエントリの特定の例に対応する検出可能供給オブジェクトのそれぞれに関するオブジェクト一致確率の間の比較に基づいて、検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成し；検出可能供給オブジェクトから対象オブジェクトを選択し；オブジェクト同一性推定に対応するオブジェクトエントリのオブジェクトエントリ特性に基づいて、オブジェクト供給源から対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成し；オブジェクトエントリの特定の例に対応する対象オブジェクトがオブジェクト供給源から除去されたことを示すように、オブジェクトセットを更新するように構成される。ストレージユニットは、制御ユニットに結合され、オブジェクトセットを格納するように構成される。

Claims (20)

1. 制御ユニットと、
   ストレージユニット２０４と、
   を備え、
   前記制御ユニットは、
   １つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取るように構成され、
   前記オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、
   前記オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明され、
   前記制御ユニットは、
   オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取り、
   前記検出可能供給オブジェクトの前記検出可能オブジェクト特性と、前記オブジェクトエントリの前記オブジェクトエントリ特性との間の特性相関に基づいて、前記検出可能供給オブジェクトと前記オブジェクトエントリとの間のオブジェクト一致確率を算出し、
   前記オブジェクトエントリの特定の例に対応する前記検出可能供給オブジェクトのそれぞれに関する前記オブジェクト一致確率の間の比較に基づいて、前記検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成し、
   前記検出可能供給オブジェクトから対象オブジェクトを選択し、
   前記オブジェクト同一性推定に対応する前記オブジェクトエントリの前記オブジェクトエントリ特性に基づいて、前記オブジェクト供給源から前記対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成し、
   前記オブジェクトエントリの特定の例に対応する前記対象オブジェクトが前記オブジェクト供給源から除去されたことを示すように、前記オブジェクトセットを更新する
   ように構成され、
   前記ストレージユニット２０４は、前記制御ユニットに結合され、前記オブジェクトセットを格納するように構成される、ロボットシステム。
2. 前記制御ユニットが前記オブジェクトハンドリング方策を生成することは、重量閾値を上回るオブジェクト重量の前記オブジェクトエントリ特性にしたがって、速度、加速率、またはそれらの組み合わせを制限するオブジェクトハンドリング方策を生成することを含む、請求項１に記載のシステム。
3. 前記制御ユニットが前記オブジェクトハンドリング方策を生成することは、オブジェクト剛性の前記オブジェクトエントリ特性にしたがって、前記オブジェクトハンドリングユニットによって前記対象オブジェクトに加えられる把持圧力を制限するオブジェクトハンドリング方策を生成することを含む、請求項１に記載のシステム。
4. 前記制御ユニットが前記オブジェクトハンドリング方策を生成することは、変形モードの前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの形状変形を最小限とするように前記対象オブジェクト上の把持位置を決定するオブジェクトハンドリング方策を生成することを含む、請求項１に記載のシステム。
5. 前記制御ユニットが前記オブジェクトハンドリング方策を生成することは、変形度の前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの予測される伸びの量に対応するように、前記対象オブジェクトを前記オブジェクト供給源から持ち上げる量を増大するオブジェクトハンドリング方策を生成することを含む、請求項１に記載のシステム。
6. 前記制御ユニットは、前記オブジェクトエントリ特性と前記対象オブジェクトの前記検出可能オブジェクト特性との間に不整合が検出されたときに、エラー検出プロトコルを実施するように構成される、請求項１に記載のシステム。
7. 前記制御ユニットは、前記対象オブジェクトを前記オブジェクト供給源から作業場所に移送するための作業モーションプランを生成するように構成される、請求項１に記載のシステム。
8. １つまたは複数のオブジェクトエントリを含むオブジェクトセットを受け取ることであって、
   前記オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、
   前記オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明されることと、
   オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取ることと、
   前記検出可能供給オブジェクトの前記検出可能オブジェクト特性と、前記オブジェクトエントリの前記オブジェクトエントリ特性との間の特性相関に基づいて、前記検出可能供給オブジェクトと前記オブジェクトエントリとの間のオブジェクト一致確率を算出することと、
   前記オブジェクトエントリの特定の例に対応する前記検出可能供給オブジェクトのそれぞれに関する前記オブジェクト一致確率の間の比較に基づいて、前記検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成することと、
   前記検出可能供給オブジェクトから対象オブジェクトを選択することと、
   前記オブジェクト同一性推定に対応する前記オブジェクトエントリの前記オブジェクトエントリ特性に基づいて、前記オブジェクト供給源から前記対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成することと、
   前記オブジェクトエントリの特定の例に対応する前記対象オブジェクトが前記オブジェクト供給源から除去されたことを示すように、前記オブジェクトセットを更新することと
   を含む、ロボットシステムの方法。
9. 前記オブジェクトハンドリング方策を生成することは、重量閾値を上回るオブジェクト重量の前記オブジェクトエントリ特性にしたがって、速度、加速率、またはそれらの組み合わせを制限するオブジェクトハンドリング方策を生成することを含む、請求項８に記載の方法。
10. 前記オブジェクトハンドリング方策を生成することは、オブジェクト剛性の前記オブジェクトエントリ特性にしたがって、前記オブジェクトハンドリングユニットによって前記対象オブジェクトに加えられる把持圧力を制限するオブジェクトハンドリング方策を生成することを含む、請求項８に記載の方法。
11. 前記オブジェクトハンドリング方策を生成することは、変形モードの前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの形状変形を最小限とするように前記対象オブジェクト上の把持位置を決定するオブジェクトハンドリング方策を生成することを含む、請求項８に記載の方法。
12. 前記オブジェクトハンドリング方策を生成することは、変形度の前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの予測される伸びの量に対応するように、前記対象オブジェクトを前記オブジェクト供給源から持ち上げる量を増大するオブジェクトハンドリング方策を生成することを含む、請求項８に記載の方法。
13. 前記オブジェクトエントリ特性と前記対象オブジェクトの前記検出可能オブジェクト特性との間に不整合が検出されたときに、エラー検出プロトコルを実施することをさらに含む、請求項８に記載の方法。
14. 前記対象オブジェクトを前記オブジェクト供給源から作業場所に移送するための作業モーションプランを生成することをさらに含む、請求項８に記載の方法。
15. ロボットシステムのための制御ユニットによって実行可能な命令を含む非一時的コンピュータ可読媒体であって、
    前記命令は、
    オブジェクトエントリのオブジェクトセットを受け取ることであって、
    前記オブジェクトエントリは、オブジェクト供給源の供給オブジェクトに対応し、
    前記オブジェクトエントリのそれぞれは、１つまたは複数のオブジェクトエントリ特性によって説明されることと、
    オブジェクト供給源の検出可能供給オブジェクトに関する１つまたは複数の検出可能オブジェクト特性を表すセンサ情報を受け取ることと、
    前記検出可能供給オブジェクトの前記検出可能オブジェクト特性と、前記オブジェクトエントリの前記オブジェクトエントリ特性との間の特性相関に基づいて、前記検出可能供給オブジェクトと前記オブジェクトエントリとの間のオブジェクト一致確率を算出することと、
    前記オブジェクトエントリの特定の例に対応する前記検出可能供給オブジェクトのそれぞれに関する前記オブジェクト一致確率の間の比較に基づいて、前記検出可能供給オブジェクトのそれぞれについてオブジェクト同一性推定を生成することと、
    前記検出可能供給オブジェクトから対象オブジェクトを選択することと、
    前記オブジェクト同一性推定に対応する前記オブジェクトエントリの前記オブジェクトエントリ特性に基づいて、前記オブジェクト供給源から前記対象オブジェクトを移送するように、オブジェクトハンドリングユニットが実施するためのオブジェクトハンドリング方策を生成することと、
    前記オブジェクトエントリの特定の例に対応する前記対象オブジェクトが前記オブジェクト供給源から除去されたことを示すように、前記オブジェクトセットを更新することと
    を含む、非一時的コンピュータ可読媒体。
16. 前記オブジェクトハンドリング方策を生成することは、重量閾値を上回るオブジェクト重量の前記オブジェクトエントリ特性にしたがって、速度、加速率、またはそれらの組み合わせを制限するオブジェクトハンドリング方策を生成することを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
17. 前記オブジェクトハンドリング方策を生成することは、オブジェクト剛性の前記オブジェクトエントリ特性にしたがって、前記オブジェクトハンドリングユニットによって前記対象オブジェクトに加えられる把持圧力を制限するオブジェクトハンドリング方策を生成することを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
18. 前記オブジェクトハンドリング方策を生成することは、変形モードの前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの形状変形を最小限とするように前記対象オブジェクト上の把持位置を決定するオブジェクトハンドリング方策を生成することを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
19. 前記オブジェクトハンドリング方策を生成することは、変形度の前記オブジェクトエントリ特性にしたがって、前記対象オブジェクトの予測される伸びの量に対応するように、前記対象オブジェクトを前記オブジェクト供給源から持ち上げる量を増大するオブジェクトハンドリング方策を生成することを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
20. 前記オブジェクトエントリ特性と前記対象オブジェクトの前記検出可能オブジェクト特性との間に不整合が検出されたときに、エラー検出プロトコルを実施することをさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。

Images