JP6738112B2 - ロボットシステムの制御装置及び制御方法 - Google Patents

Description

本開示は、概して、ロボットシステムに関し、特に、物品等の操作対象を操作するロボットシステムの制御装置、制御方法、物流システム、プログラム、及び記録媒体に関する。

多くのロボット（例えば、自動的に／独立して物理的動作を実行するように構成されたマシン）は、その絶えず向上する性能及び低下するコストにより、現在、多くの分野で広く使用されている。例えば、ロボットは、製造、組立て、梱包、移送、搬送、輸送等において、対象の操縦や移動といった様々な作業を実行するように使用することができる。作業の実行において、ロボットは、人間の動作を反復することができ、それにより、人間による危険な又は反復的な作業を置換したり、低減したりすることができる。

このようなロボットを用いたシステム（ロボットシステム）として、例えば、特許文献１には、物品の入庫から出庫までを自動化及び省力化するために、搬送容器を一時的に格納する搬送容器格納機構と、搬送容器内の物品が、出庫情報に基づいて、出荷用容器に自動的に集約される物品自動送出機構とを備える自動物流システムが提案されている。

特開２０１８−１６７９５０号公報

しかし、技術の進歩にも拘わらず、ロボットは多くの場合、より大きな及び／又はより複雑なタスクを実行するための人間による関与作業を再現するために必要な洗練さを欠いている。そのため、ロボットシステムにおける自動化及び高機能化は未だ十分ではなく、人間の関与を置換することが困難な作業や、ロボットで置換することが物理的に可能ではあるものの、効率化の観点から自動化が見送られている作業等が少なからず存在する。従って、ロボット間の様々な動作及び／又は対話を管理し、ロボットシステムの自動化及び高機能化を更に促進するための技術改良が依然として必要とされている。そこで、本開示は、例えば、ロボットを含むユニット間の高度な連携を実現するロボットシステムの制御装置及び制御方法等を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

［１］すなわち、本開示に係る制御装置は、ラックへの操作対象の収納及び／又はラックからの操作対象の取出しを行うために、前記操作対象を操作する操作ロボット、例えば、フェッチングロボット、デバンニングロボット、ピースピッキングロボット等のロボットアーム及びエンドエフェクタ等によって操作対象を操作するためのロボットと、前記ラックを搬送する搬送ロボットとを含むロボットシステムを制御するための装置である。そして、制御装置は、（１）前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第１データを取得するデータ取得部と、（２）前記第１データを記憶するデータ記憶部と、（３）前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記第１データに基づいて、前記ラックの選定及びアクセス位置への搬送を行い、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記ラックの前記アクセス位置への搬送を行うためのタスクの実行を前記搬送ロボットに指令し、かつ、前記操作対象の前記ラックへの収納及び／又は前記ラックからの取出しを行うためのタスクの実行を前記操作ロボットに指令するロボット制御部を備える。

ここで、「操作対象」とは、ロボットシステムに備わる操作ロボットが操作する対象物を示し、例えば、１つ以上の物品（アイテム）、それらが載置又は収容されたビン、コンテナ、箱等の容器を含み、その容器は、梱包されていても、梱包が解かれていてもよく、また、容器の一部（例えば上面）が開放されていてもよい（いわゆる“天カット”された容器）。また、他の実施形態及び実施例において、「操作対象」は、棚、パレット、コンベヤ、その他仮置き場等を含む概念であってもよい。また、ロボットシステムに備わる搬送ロボットが搬送する「ラック」とは、１つ以上の棚板を有しており、その棚板上に少なくとも１つ以上の操作対象を保持することができる器具を示す。さらに、「操作対象に関する情報」及び「ラックに関する情報」とは、それぞれ、操作対象の識別情報に関連付けられた情報、及び、ラックの識別情報に関連付けられた情報を示す。また、「ラック」の「アクセス位置」とは、操作ロボットがラックにアクセスすることができる位置を示す。さらに、「制御シークエンス」とは、ロボットシステムに備わる１つ以上のユニットに個々のタスクを実行させるための制御を行う際に予め設定しておく動作の順序を示す（操作ロボットも搬送ロボットも、それぞれ「ユニット」の一種である。）。またさらに、「〜以前」とは、その時点、及び、その時点よりも前であることを示し、「〜以後」とは、その時点、及び、その時点よりも後であることを示す。

かかる構成によれば、操作対象をラックに収納する以前、及び／又は、操作対象をラックから取り出す以前に、操作対象及びラックのそれぞれに関する情報を把握し、それらの情報を含む第１データに基づいて作成等される制御シークエンスに基づくタスクが実行される。よって、操作対象をラックに収納する操作、及び／又は、操作対象をラックから取り出す操作を効率的かつ円滑に実施することができる。また、その際に、ロボットシステムにおけるユニット間の連携、特に、操作ロボットと搬送ロボットの高度な連携を実現することができ、これにより、ロボットシステムの高機能化を図ることができる。

［２］上記構成において、前記データ取得部は、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以後に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第２データを取得し、前記データ記憶部は、前記第２データを記憶するように構成してもよい。

かかる構成によれば、操作対象がラックに収納された以後、及び／又は、操作対象がラックから取り出された以後に、操作対象及びラックのそれぞれに関する情報を把握することができる。これにより、操作対象が収納された後、及び／又は、操作対象が取り出された後のラックの状態又は状況を確実に把握して追跡することができる。

［３］上記構成において、前記ロボット制御部は、前記第２データに基づいて、前記ラックにおける前記操作対象の配置が集約するように、前記制御シークエンスを作成又は取得するように構成してもよい。

かかる構成によれば、操作対象がラックに収納された以後、及び／又は、ラックから取り出された以後の操作対象及びラックのそれぞれに関する第２データから、ラックの空き情報を把握しておくことができる。よって、次の段階として、操作対象をラックに収納（充填）及び／又は操作対象をラックから取り出す際のラックの選定を効率的に行うことができる。その結果、ラックにおける操作対象の収納効率を高め、ラック上の無駄な空間が断片化することを防止（デフラグメンテーション）することができる。また、そのような無駄な空間の発生を抑制し、さらに、操作対象及びラックの位置情報の一元的な管理を更に容易ならしめることができる。

［４］上記構成において、前記ロボット制御部は、前記ラックが前記アクセス位置へ到達する前に、前記制御シークエンスにおける少なくとも一部の操作の実行を前記操作ロボットに指令するように構成してもよい。

かかる構成によれば、搬送ロボットがラックをアクセス位置へ搬送してる間に（つまりアクセス位置にラックが到着する前に）、操作ロボットが操作対象を収納又は取り出す動作をいわゆる“先取り”して実行することができる。その結果、作業時間をより短縮することができる更なる高度な連携が可能となる。

［５］上記構成において、前記データ取得部は、前記搬送ロボットと前記ラックとの相対的な位置情報を取得し、前記ロボット制御部は、前記相対的な位置情報に基づいて、前記アクセス位置における前記ラックの位置情報を補正し、該補正された位置情報に基づいて、前記制御シークエンスを作成又は取得するように構成してもよい。

かかる構成によれば、操作ロボットがラックへアクセスするときに、ラック及び搬送ロボットの何れを動作の位置基準とする場合であっても、ラックと、そのラックを保持する搬送ロボットの位置ズレを補正することができる。これにより、操作ロボットによって、操作対象をラックに収納する操作、及び、操作対象をラックから取り出す操作の何れをも、より正確に実行することができ、作業精度及び作業効率を更に向上させることができる。

［６］上記構成において、前記ラックは、前記操作対象が横方向から収納及び／又は取り出されるように構成され、かつ、前記操作対象の落下防止具が前記ラックの端部に設けられ、前記操作ロボットは、前記操作対象を横方向から把持し（例えば、デバンニンググリッパ等を使用することができる。デバンニングとは、例えばコンテナから荷下ろしする作業である。）、前記ロボット制御部は、前記操作対象が前記落下防止具を越えて移動するように、前記制御シークエンスを作成又は取得するようにしてもよい。なお、「ラックの端部」とは、ラックの棚板上面の周縁又は周縁近傍の全周又は全周の一部を示し、或いは、物品等の操作対象が棚板上に載置された状態で、操作対象の少なくとも一部と落下防止具の少なくとも一部が互いに干渉するような位置を示す。

かかる構成によれば、ラックの棚板に設けられた落下防止具により、棚板上に載置された操作対象がラック外へ落下することが抑止される。また、操作対象が横方向から操作ロボットに把持され、その状態で横方向からラックに収納及び／又は取り出される。よって、ラックが複数の棚板を有して多段に構成されている場合でも、ラックへの操作対象の収納及び／又は取り出しを容易に実行することができる。また、その際、操作ロボットが、落下防止具を回避する（越える）ように操作対象を移動させるので、ラックへの操作対象の収納及び取り出しを円滑にかつ確実に行うことができる。

［７］上記構成において、前記データ記憶部は、前記ラックにおける複数の前記操作対象の位置情報（配置情報）を、操作対象単位又は前記ラックの棚板単位で、かつ、２次元情報又は３次元情報として記憶するように構成してもよい。

かかる構成によれば、ラックの棚板上に載置された操作対象の位置を、操作対象単位で、又は、棚板単位（この場合、層（レイヤー）単位ということもできる。）で把握することができる。また、複数の操作対象の配置を、同じ棚板又は異なる棚板に亘って、平面情報又は立体情報として一元的に管理することができる。よって、例えば、１つの操作対象を特定することにより、そのラックの同じ棚板上に収納されている操作対象、又は、そのラックに収納されている操作対象を、一括で特定することができる。その結果、例えば、在庫管理や棚卸し時の作業工数を低減して作業効率を向上させることができる。

［８］上記構成において、前記ロボットシステムは、前記操作対象が収納された前記ラックを撮像するセンサを更に備え、前記ロボット制御部は、前記センサが前記操作対象の識別情報（を表す識別コード又は識別タグ）を計測可能なように、前記操作対象を前記ラックに収納するための前記制御シークエンスを作成又は取得するように構成してもよい。

かかる構成によれば、操作対象がラックに収納された状態でも、その操作対象の識別情報をセンサで計測して確認することができる。この場合、操作対象の識別情報が少なくとも側面に付されていれば、その識別情報が棚板の外側から視認できるように露呈し得るので、操作対象に付された識別情報（を表す識別コード又は識別タグ）を、例えば、カメラ等のセンサで撮像することにより、認識し易くなる。よって、操作対象がラックに収納されたままの状態でも、操作対象の識別及び特定を簡易に行うことができる。このとき、前記［７］の如く、ラックにおける複数の操作対象の位置情報を、２次元情報又は３次元情報として記憶しておけば、１つの操作対象を特定することにより、そのラックに収納されている操作対象を、棚板単位で又はラック単位で、一括でより簡便に特定することができる。その結果、在庫管理や棚卸し時の作業効率を一層向上させることができる。

［９］この場合、より具体的には、前記ロボットシステムは、前記操作対象が収納された前記ラックを撮像するセンサを更に備え、前記センサは、前記ラックを保持した前記搬送ロボットが静止した状態、又は、前記ラックを保持した前記搬送ロボットが移動している状態で、前記ラックを撮像するように構成してもよい。

［１０］上記構成において、前記ロボット制御部は、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しが終了する前に、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しが完了したと判断するように構成してもよい。

かかる構成によれば、ラックへの操作対象の収納、及び／又は、ラックからの操作対象の取り出しが終了する前の段階で、それらの収納操作及び取出し操作の完了を判断することができる。よって、その次の段階として実行されるタスクの操作を円滑にかつ適時に開始することができ、作業遅れの発生を抑止して、ユニット間の更なる高度な連携が可能となる。

［１１］上記構成において、前記データ取得部は、前記操作対象に関する情報、及び／又は、前記ラックに関する情報の実測値又は推定値を取得するように構成してもよい。これにより、ラック内／外にある操作対象の位置、ラックの位置、操作対象に付された識別情報の位置を、例えばカメラ等のセンサで実測して確認したり、実測しなくても例えばマスターデータに基づいて推定したりすることができる。

［１２］また、本開示による物流システムは、上記各構成の制御装置と、前記操作ロボット及び前記搬送ロボットを含むロボットシステムを備える。

［１３］上記構成において、前記制御装置は、前記ロボットシステム、及び、該ロボットシステムに関連する領域を識別し、前記制御シークエンスに基づくタスク（単位タスク、複数の単位タスクを組み合わせて構成されるタスクを含む。）を計算し、前記タスクは、前記ロボットシステムによる前記ラックの搬送及び前記操作対象の操作に関連するタスク、並びに、隣接及び／又は重なり合う領域内において前記ロボットシステムによって横断して実行される複数のタスクを含むように構成してもよい。

［１４］また、本開示によるプログラムは、コンピュータを、上記各構成の制御装置として機能させるためのプログラムとして構成される。

［１５］また、本開示による記録媒体は、上記プログラムを記録した非一過性のコンピュータ読取可能な記録媒体として構成される。

［１６］また、本開示による制御方法は、ラックへの操作対象の収納及び／又はラックからの操作対象の取出しを行うために、前記操作対象を操作する操作ロボットと、前記ラックを搬送する搬送ロボットとを含むロボットシステムの制御方法であって、データ取得部と、データ記憶部と、ロボット制御部とを有する制御装置を用いて実行される。そして、（１）前記データ取得部が、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第１データを取得し、（２）前記データ記憶部が、前記第１データを記憶し、（３）前記ロボット制御部が、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記第１データに基づいて、前記ラックの選定及びアクセス位置への搬送を行い、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記ラックの前記アクセス位置への搬送を行うためのタスクの実行を前記搬送ロボットに指令し、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うためタスクの実行を前記操作ロボットに指令する。

本開示の一実施形態に係るロボットシステムが動作し得る例示的な作業シーケンスを示す概略フロー図である。 （Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な搬送ロボットの外観を概略的に示す斜視図である。 本開示の１つ以上の実施形態における例示的な操作ロボットの外観を概略的に示す斜視図である。 （Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な操作ロボットの外観を概略的に示す斜視図である。 本開示の一実施形態に係るロボットシステムのハードウェア構成及び機能構成の一例を示すブロック図である。 本開示の一実施形態に係るロボットシステムによって実行される作業のフローの一例、及び、ロボットシステムに備わる制御装置の機能構成の一例を示す正面図（一部機能構成図）である。 本開示による実施形態に係るロボットシステムを作動させて第１タスクを実行するための手順の一例を示すフロー図である。 本開示による実施形態に係るロボットシステムを作動させて第２タスクを実行するための手順の一例を示すフロー図である。 本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境を示す概略平面図である。 本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境の一部を示す概略平面図であり、図９Ａにおける分類領域及びその周囲の状態を示す図である。 本開示の一実施形態に係るロボットシステムが動作し得る他の例示的な環境を示す概略平面図である。 本開示の一実施形態に係るロボットシステムが動作し得る他の例示的な環境を示す概略平面図であり、図１０Ａにおける分類領域及びその周囲の状態を示す図である。

本開示によれば、複数のユニット（例えば、各種ロボット、各種デバイス、それらと一体又は別体に設けられた制御装置等）が高度に統合されたロボットシステム、その制御装置、及び、それらを備える物流システム、並びにそのための方法等が提供される。すなわち、本開示の実施形態に係るロボットシステムは、例えば、１つ以上のタスクを自律的に実行することができる統合システムである。

ここで、「タスク」には、例えば、操作対象にロボット等がアクセスするタスク、それらの操作対象を、ある場所から別の場所に移動し、収納し、保管し、取り出し、整理等する等ためのタスク、それらの操作対象を複数のグループに分類するタスク、操作対象を撮像、観察、管理するタスク等が含まれ得る。

また、「タスク」には、物流システムにおける操作対象の入庫（荷受け、搬送、パレタイズ（積み付け）、デパレタイズ（荷下ろし）、格納等）、操作対象の補充（開封、充填、補充等）、及び、操作対象の出庫（取り出し、ピックアップ、梱包、積み付け、パレタイズ等）において実行される複数のタスクの組み合わせが含まれ得る。さらに、「タスク」には、例えば、操作対象の並び替え、持ち替え、置き換え等のために、操作対象を、指定位置で把持したり持ち上げたりすること、指定経路で移動させること、及び、指定位置で解放したり降ろしたり載置したりすることが含まれ得る。

さらに、本開示によるロボットシステムは、例えば、操作ロボット及び搬送ロボット等の複数のユニットを介して、操作対象にアクセスすることができ、これにより、ロボットシステムは、操作対象の入庫プロセス、補充プロセス、及び出庫プロセス等の作業に自動化対応することができる。さらに、本開示によるロボットシステムは、操作対象を適宜分類（グループ化）してそれらを目的位置又は指定場所に移動又は配置し、それらの操作対象にアクセスし、その場所で、又は、別の場所への再配置や再分類等を行うこともでき、操作対象の特性に応じて、それらを並び替え又は置き換えることができる。この場合、ロボットシステムは、操作対象の１以上の特定位置や表面上に付された１以上の識別情報（例えば、バーコード又はクイックレスポンス（ＱＲ）コード（登録商標）等）を読み取り、必要に応じてマスターデータと照合することにより、操作対象を識別及び／又は特定し、その操作対象に関連付けられた情報を取得することができる。

さらに、本開示によるロボットシステムは、操作対象の位置及び状態（例えば向き等の姿勢）、及び／又は、操作対象の周囲環境を識別するための撮像センサ等のセンサを備えることができる。撮像センサは、ロボットシステムの各ユニットが実行するタスクにおける作業位置（例えば操作対象のピックアップ位置、ドロップ位置、経路途中の位置等）の画像、及び、各位置における操作対象の画像を取得することができる。また、本開示によるロボットシステムは、所定の順番（例えば、操作対象の上から底、外側縁から、内側から等）に従って、操作対象の画像を処理することができる。この際、例えば、操作対象の画像における隣接するピクセルの色、輝度、それらの値の変化等に基づいて、操作対象の外形や環境を識別したり、分類したりすることにより、操作対象の状態や状況を適宜判定することができる。

本開示によるロボットシステムは、操作対象にアクセスし操作するためのタスク、及び、操作対象を搬送、移動、載置、収納等するためのタスク等を実行するための制御シークエンスを取得して実行することができる。かかる制御シークエンスには、各ユニットの作動機構を駆動させるための基本的な制御シークエンスの組み合わせが含まれ得る。ロボットシステムは、種々のタスクを実行するための制御シークエンスを、例えば、モーションプランニング、ディープラーニング等の機械学習等によって作成又は取得することができる。

ここで、例えば、典型的な物流システムで用いられる従来のロボットシステムでは、操作対象の入庫や補充や出庫に関するタスクを実行する際に、複数のユニット間での高度な相互作用を十分に行うことができず、連続して実行される異なるタスク間でオペレータの支援が欠かせないことが多くあった。また、例えば、従来のロボットシステムでは、注文に対応して例えば操作対象にアクセスすること自体はできたが、オペレータがその注文商品を分類したり、順序付けしたりする必要がある場合も多くあった。さらに、従来のロボットシステムでは、例えば、操作対象の操作を行うユニットを変更したり、操作対象の操作手順を変更したりする場合、ユニット間の自律的な対話によってそれらを変更することは困難な場合が多かった。特に、オペレータの介在や支援が必要であるタスクを含む作業が必要なユニットを含む場合、自律的に又は自動的に制御シークエンスを変更することは、極めて困難であった。

また、従来のロボットシステムでは、基本的な制御シークエンスとして、操作対象をある位置で把持し、その状態で別のある位置へ移動して解放するようなタスクが実行される。しかし、そのような基本的な操作だけでは、操作対象の収納効率や各ユニットによる作業効率を十分に高めることができていたとはいえず、特に、操作対象の収納効率を高める観点から、オペレータによる介在や支援（調整、やり直し、補完、システム停止等）を必要とする場合があった。

これに対し、以下に例示する様々な態様の本開示によるロボットシステムは、従来とは異なり、タスクを実行するために別々のユニット（例えば、操作ロボット及び搬送ロボット等）間の相互作用を調整及び制御し、異なるユニット間の連携を図ることができる。これにより、従来必要であったオペレータの介在や支援が削減され、操作対象の収納効率、作業効率、及び経済性を向上させることができる。

また、本開示によるロボットシステムは、各ユニットについて、動作領域、動作経路、操作対象の位置や状態、又は、それらの組み合わせを確実に識別し、異なるユニットで実行されるタスクを横断的にかつ円滑に実行することができる。また、その際に、操作対象の形状情報、識別情報、位置情報等に基づいて、操作対象の収納効率を最適化することができるので、空間の利用効率を更に高めることができる。そのために、本開示によるロボットシステムでは、異なるユニットにおけるタスクを順序付ける１つ以上のアルゴリズム、ユニット間の相互作用を制御するための１つ以上のプロトコル、及び、操作対象の状態に関する情報に基づいて、各ユニットを高度な連携動作を実現することができる好適な制御シークエンスを作成又は取得し、それを実行することができる。

以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。

また、各実施形態では、本明細書において導入された技術を、それら特定の詳細を伴わずに実施することができる。さらに、特定の機能又はルーチン等、よく知られている機能は、本開示を不要に理解しにくくすることを避けるため、詳細な説明を省略する。また、よく知られていてかつロボットシステム及びサブシステムとしばしば関連付けられる構造又はプロセスについてもまた、明確化の目的のために、詳細な説明を省略する場合がある。ここでの「実施形態（an embodiment）」、「１つの実施形態（one embodiment）」等の参照は、記載の特定の特徴、構造、材料、又は特性が、本開示の少なくとも１つの実施形態に含まれていることを意味する。このため、本明細書におけるそのようなフレーズの表示は、必ずしも、すべてが同じ実施形態を参照するわけではない。一方、そのような参照は、必ずしも相互に排他的であることもない。さらに、特定の特徴、構造、材料、又は特性は、１つ以上の実施形態において、任意の適切な方式で組み合わせることができる。図示の様々な実施形態は、説明的表示に過ぎず、必ずしも実際の縮尺で示されていないことを理解されたい。

また、本開示における多くの実施形態又は態様は、プログラム可能なコンピュータ（computer）又は制御装置（コントローラ：controller）によって実行されるプロセス、ステップ、ルーチン、ブロック等を含み、コンピュータで実行可能であるか又は制御装置で実行可能である命令の形態を取ることができる。当該関連技術の当業者には、本開示の技術が、各実施形態において示すもの以外のコンピュータ又は制御装置のシステムで実施され得ることを理解されたい。本明細書に記載の技術は、以下に記載のコンピュータで実行可能な１つ以上の命令を実行するようにプログラムされたか、構成されたか、構築された、特定用途のコンピュータ又はデータプロセッサ内で実施することができる。

従って、本明細書で通常使用される「コンピュータ」及び「制御装置」との用語は、任意のデータプロセッサを含み、インターネットの装置及びハンドヘルドデバイス（パームトップ型コンピュータ、ウェアラブルコンピュータ、セルラ又は移動電話、複数プロセッサシステム、プロセッサベースであるかプログラム可能な家庭用電気機械器具、ネットワークコンピュータ、ミニコンピュータ等を含む）を含む。これらコンピュータ及び制御装置によって扱われる情報は、例えば、液晶ディスプレイ（ＬＣＤ）を含む任意の適切な表示媒体に提供することができる。

コンピュータ又は制御装置で実行可能な作業を実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組合せを含む適宜のコンピュータ読取可能な非一過性の記録媒体に記憶することができる。また、各命令は、例えば、フラッシュドライブ、及び／又は他の適宜の媒体を含む、任意の適切なメモリデバイスに包含することができる。

「結合された（coupled）」及び「接続された（connected）」並びに同種の用語は、構成要素間の構造的な関係を記載するために使用される場合がある。ただし、これらの用語が、互いに同義であることは意図するものではない。具体的には、特定の実施形態では、「接続された（connected）」は、２つ以上の要素が互いに直接接触していることを示すために使用することができる。文脈から別様に明確にされていない限り、「結合された（coupled）」との用語は、２つ以上の要素が直接的か（それらの間に他の介在要素を伴って）間接的に互いに接触していること、又は、（例えば、信号の送信／受信、若しくは、関数呼び出しに関するもの等、因果関係にあるように）２つ以上の要素が互いに協働するか相互作用すること、又はその両方を示すために使用することができる。

［適用例］
図１は、本開示の一実施形態に係るロボットシステムを含む物流システムによる例示的な作業シーケンスを示す概略フロー図である。当該作業シーケンスは、例えば、操作対象（本実施形態では、例えば、物品が収容されたカートンボックス等の容器を物流センター等に受け入れる入庫プロセスＰ１０、例えばパレット等に載置した操作対象を、例えばラック等に補充して保管する補充プロセスＰ２０、及び、ラックに補充及び保管された操作対象から注文物品をピックアップして出庫する出庫プロセスＰ３０を含む。

入庫プロセスはＰ１０では、まずステップＳ１０１において、車両等で運び込まれた操作対象を荷受けし、例えばデバンニングロボットを用いて荷下ろしを行う。ステップＳ１０２では、例えばソーティングシステムを用いて、操作対象を積み替え用のパレットの待機位置までコンベヤ等で搬送する。次に、ステップＳ１０３では、搬送されてきた操作対象を、例えばパレタイジングロボットにより適宜のパレットへ積み付ける。

補充プロセスＰ２０では、ステップＳ１０４において、操作対象が搭載されたパレットを、例えばパレットＡＧＶ（パレットを搭載又は持ち上げて移動させるように構成された自動搬送車）を用いて、操作対象を開梱するための位置まで搬送し、例えばデパレタイジングロボットによりパレットから積み下ろす。ステップＳ１０５では、例えば天カットマシンを用いて、操作対象の上面を開放するように上面部分をカット（天カット）して開梱し、その操作対象を保管用のラックの待機位置までコンベヤ等で搬送するする。次いで、ステップＳ１０６では、例えばフェッチングロボットにより、操作対象をラックの適宜の位置へ収納し、例えばラックＡＧＶ（ラックを搭載又は持ち上げて移動させるように構成された自動搬送車）を用いて、ラックの保管位置まで搬送し、適宜の状態で保管する。

出庫プロセスＰ３０では、物品の注文があった場合、ステップＳ１０７において、その注文物品が収容された操作対象が収納されたラックを、例えばラックＡＧＶを用いて、取出し位置まで搬送し、例えばフェッチングロボットにより、目的の操作対象をラックから取り出す。ステップＳ１０８では、例えばピースピッキングロボットを用いて、操作対象から注文物品をピックアップし、出荷用容器等へ移載する。そして、ステップＳ１０９において、例えばパッキングマシンを用いて出荷用容器等の梱包を行い、ステップＳ１１０において、例えば適宜のカートや車両等に、梱包済みの出荷用容器を積み付けて出庫（出荷）する。

このとおり、本開示の一実施形態に係るロボットシステムは、異なる場所間で操作対象を移動するための操作を実行するように構成された移送／仕分けユニットである操作ロボットとして、デバンニングロボット、パレタイジングロボット、デパレタイジングロボット、フェッチングロボット、ピースピッキングロボット、パッキングマシン等を含むことができる。また、本開示の一実施形態に係るロボットシステムは、輸送ユニットである搬送ロボットとして、ソーティングシステム、パレットＡＧＶ、ラックＡＧＶ等を含むことができる。

ここで、図２（Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な搬送ロボット１１，１２の外観を概略的に示す斜視図である。搬送ロボット１１，１２は、ラックを所定の位置間で搬送するように構成されたラックＡＧＶ等の移動式／車輪付きロボットを含むことができる。例えば、搬送ロボット１１，１２は、ラックの下及び／又はラックの間を移動することが可能な外形寸法を有する。また、搬送ロボット１１，１２は、ラックを地面（搬送経路面）から持ち上げるように構成された持上機構を含むことができる。

搬送ロボット１１，１２は、様々な機構によって誘導操縦する（ナビゲートする）ことができる。例えば、搬送ロボット１１，１２は、本開示の実施形態におけるロボットシステムの制御装置からの指令に基づいて、例えばフロアマーキング（例えば、塗装、テープ等）として施された所定の経路を辿るように自走し得る。また、搬送ロボット１１，１２は、マッピング／位置決め機構（例えば、デッドレコニングシステム、レーザに基づくシステム、及び／又は無線通信信号に基づくシステム）を介して現在位置を計算することができ、その現在位置に基づいて、指定された経路及びルートに沿って移動することができる。さらに、搬送ロボット１２は、ラック自体の搬送に加え、ラックに操作対象を収納し、及び／又は、ラックに収納された操作対象を取り外す機能を有してもよい。

なお、本開示の実施形態におけるロボットシステムは、例えば、スタンドアロンデバイス又は別のユニットの一部としての制御装置を介して、搬送対象であるラックの目標位置、そのラックの保持位置、そのラックの識別情報、経路、動作計画、又は、それらの組み合わせを、搬送ロボット１１，１２へ送信することができる。搬送ロボット１１，１２は、通信指令情報に基づいて、例えば、搬送対象であるラックの保持位置へ移動し、そのラックを持ち上げ、そのラックを指定位置へ搬送し、及び／又は、そのラックを指定位置に配置するといったタスクを実行することができる。さらに、搬送ロボット１１，１２は、搬送対象であるラックを、例えば、元の保持位置、又は、異なる保管位置へ戻すことによってタスクを実行又は完了することができる。

図３及び図４は、それぞれ、本開示の１つ以上の実施形態における例示的な操作ロボット１３，１４の外観を概略的に示す斜視図及び側面図である。操作ロボット１３，１４は、例えば、操作対象１６（図４参照）を所定の位置間で移送するように構成されたロボットを含むことができる。例えば、操作ロボット１３，１４は、操作対象を減圧吸着又は真空吸着により把持することができる把持具（グリッパ）等のエンドエフェクタ１３１，１４１と、それが先端部に取り付けられたロボットアーム１３２，１４２といった構造部材を有する。これにより、操作ロボット１３，１４は、操作対象を横方向から把持することができる。また、操作ロボット１３，１４は、所定位置に固定して設けられてもよく、移動可能に設けられてもよい。加えて、操作ロボット１４のエンドエフェクタ１４１は、いわゆるデバンニンググリッパのように、操作対象１６を下方から支持（保持）するための板状ガイド等を有していてもよい。これにより、操作対象１６をグリップするときの耐荷重性及び把持性が向上し、図４に示すように、車両４０等で輸送される比較的大型の操作対象へも対応し易くなる。

操作ロボット１３，１４は、例えば、本開示の実施形態におけるロボットシステムの制御装置からの指令に基づいて、駆動することができる。また、操作ロボット１３，１４は、操作対象の現在位置を計算することができ、その現在位置に基づいて、指定された経路及びルートに沿って操作対象を操作することができる。本開示の実施形態におけるロボットシステムは、例えば、スタンドアロンデバイス又は別のユニットの一部としての制御装置を介して、操作対象の目標位置及びピックアップ位置、その操作対象の識別情報、経路、動作計画、又は、それらの組み合わせを、操作ロボット１３，１４へ送信することができる。操作ロボット１３，１４は、通信指令情報に基づいて、例えば、操作対象の把持位置へエンドエフェクタ１３１，１４１を移動させ、その操作対象を把持して持ち上げ、指定位置へ移送し、及び／又は、指定位置に配置するといったタスクを実行することができる。

［構成例］
図５は、本開示の一実施形態に係るロボットシステムのハードウェア構成及び機能構成の一例を示すブロック図である。例えば、ロボットシステム５００は、プロセッサ５０２、ストレージデバイス５０４、通信デバイス５０６、入力−出力デバイス５０８、作動デバイス５１２、移送モータ５１４、センサ５１６、又はそれらの組合せ等の電子／電気機器を備えることができる。ロボットシステム５００は、これらの各要素及び各デバイスを、それぞれ１つ以上備えることができる。

また、それらの各要素及び各デバイスは、有線接続及び／又は無線接続を介して互いに結合することができる。例えば、ロボットシステム５００は、システムバス、周辺部品相互接続（ＰＣＩ）バス又はＰＣＩ−エクスプレスバス、HyperTransport又は産業標準構成（ＩＳＡ）バス、小型コンピュータシステムインターフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、又は電気電子技術者協会（ＩＥＥＥ）規格１３９４のバス（「Firewire」とも呼ばれる）等のバスを含むことができる。

また、ロボットシステム５００は、デバイス間の有線接続を提供するために、例えば、ブリッジ、アダプタ、制御装置、又は他の信号に関するデバイスを含むことができる。無線接続は、例えば、セルラ通信プロトコル（例えば、３Ｇ、４Ｇ、ＬＴＥ、５Ｇ等）、無線ローカルエリアネットワーク（ＬＡＮ）プロトコル（例えば、忠実な無線通信環境（wireless fidelity（ＷＩＦＩ））、ピアツーピア又はデバイスツーデバイスの通信プロトコル（例えば、Bluetooth（登録商標）、Near-Field通信（ＮＦＣ）等）、モノのインターネット（ＩｏＴ）プロトコル（例えば、ＮＢ−ＩｏＴ、ＬＴＥ−Ｍ等）、及び／又は、他の無線通信プロトコルに基づくものとすることができる。

プロセッサ５０２は、ストレージデバイス５０４（例えばコンピュータメモリ）に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたデータプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、特定用途のコンピュータ、及び／又はオンボードサーバ）を含むことができる。プロセッサ５０２は、他のデバイスを制御／相互作用するようにプログラム命令を実施することができ、それにより、ロボットシステム５００に、タスクにおける各種動作、作業、及び／又は操作を実行させる。

ストレージデバイス５０４は、そこに記憶されたプログラム命令（例えば、ソフトウェア）を有する非一過性のコンピュータ読取可能な記録媒体を含むことができる。ストレージデバイス５０４のいくつかの例としては、揮発性メモリ（例えば、キャッシュ及び／又はランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、フラッシュメモリ及び／又は磁気ディスクドライブ）、ポータブルメモリドライブ、クラウドストレージデバイス等が挙げられる。

いくつかの実施形態では、ストレージデバイス５０４は、処理結果、所定のデータ、所定の閾値、所定のパラメータ等を更に記憶し、それらへのアクセスが適宜可能である。例えば、ストレージデバイス５０４は、ロボットシステム５００によって操縦され得る操作対象に関連付けられた情報データを含むマスターデータ５５２を記憶することができる。

マスターデータ５５２は、ロボットシステム５００による操作対象に関する、寸法、形状（例えば、可能性のある状態に関するコンピュータ生成のテンプレート、異なる状態の操作対象を認識するためのコンピュータで生成されたモデル等）、配色、画像、識別情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴ等、それらが設けられたと予想される位置等）、予想重量、又はそれらの組合せを含むことができる。また、マスターデータ５５２は、操作対象各々の質量中心（重心）の位置、１つ以上の動作／動きに応じて予期されるセンサの測定値（例えば、力、トルク、圧力、接触基準値、それらに関する種々の測定値等）、又は、それらの組合せ等の対象及びその操縦に関する関連情報を含むことができる。

また、例えば、ストレージデバイス５０４は、ロボットシステム５００による操作対象の追跡に関する対象追跡データ５５４を記憶することができる。対象追跡データ５５４には、スキャン又は操作された操作対象のログが含まれ得る。また、対象追跡データ５５４には、１つ以上の位置（例えば、指定されたピックアップ位置又はドロップ位置、及び／又はコンベヤベルト上の位置）における操作対象の画像データ（例えば、写真、ポイントクラウド、ライブビデオの提供等）、１つ以上の位置における操作対象の位置及び／又は状態（向き等）が含まれ得る。

通信デバイス５０６は、ネットワークを介して外部装置又は遠隔装置と通信するように構成された回路を含むことができる。例えば、通信デバイス５０６は、受信機、送信機、調整器／復調器（モデム）、信号検出器、信号エンコーダ／デコーダ、コネクタポート、ネットワークカード等を含むことができる。通信デバイス５０６は、１つ以上の通信プロトコル（例えば、インターネットプロトコル（ＩＰ）、無線通信プロトコル等）に応じて電気信号を送信、受信、及び／又は処理するように構成することができる。ロボットシステム５００は、通信デバイス５０６を使用して、ロボットシステム５００のユニット間での情報の交換、及び／又は、例えば、データの収集、分析、報告、トラブルシューティング等の目的のために、ロボットシステム５００の外部システム／機器との情報の交換をすることができる。

入力−出力デバイス５０８は、オペレータとの情報の通信及び／又はオペレータからの情報の受信を行うように構成されたユーザインターフェースデバイスを含むことができる。例えば、入力−出力デバイス５０８は、オペレータに情報を通信するためのディスプレイ５１０及び／又は他の出力デバイス、例えば、スピーカ、触覚回路、又はタクティールフィードバックデバイス等を含むことができる。また、入力−出力デバイス５０８は、キーボード、マウス、タッチスクリーン、マイク、ユーザインターフェース（ＵＩ）センサ（例えば、モーションコマンドを受信するためのカメラ）、ウェアラブル入力デバイス等の、制御又は受信デバイスを含むことができる。ロボットシステム５００は、入力−出力デバイス５０８を使用して、ロボットシステム５００で実行されるタスク、動作、作業、操作、又はそれらの組合せを実行する際に、オペレータと対話することができる。

ロボットシステム５００における適宜のユニットは、動作（例えば、回転及び／又は並進）のために関節（ジョイント）で接続された構造部材、例えば、把持（グリップ）、回転（スピン）、溶接等を実行するように構成されたエンドエフェクタ、及び、エンドエフェクタを操縦するように構成されたロボットアーム等）を含むことができる（例えば図３及び図４も参照されたい。）。また、ロボットシステム５００は、関節又はその周りにおいて、前記の構造部材を駆動又は操縦する（例えば、変位及び／又は方向付け）ように構成された作動デバイス５１２（例えば、モータ、アクチュエータ、ワイヤ、人工筋、電気活性ポリマ等）、及び、ある位置から位置にユニットを移送するように構成された移送モータ５１４を含むことができる。

ロボットシステム５００は、前記の構造部材を駆動又は操縦するため、及び／又は、各ユニットの移送作業等を実施するために使用される情報を得るためのセンサ５１６を含むことができる。センサ５１６は、ロボットシステム５００の１つ以上の物理的特性（例えば、１つ以上の関節や構造部材の状態、条件、位置等）、及び／又は、周囲の環境の特性を検出又は測定するように構成された種々のデバイスを含むことができる。かかるセンサ５１６としては、加速度計、ジャイロスコープ、力センサ、ひずみゲージ、トルクセンサ等の他、撮像センサ５２２、位置センサ５２４、接触センサ５２６等を含むことができる。

センサ５１６は、１つ以上の撮像センサ５２２として、周囲の環境を検出するように構成された、例えば、可視及び／又は赤外カメラ、２次元及び／又は３次元の撮像カメラ（２Ｄビジョン及び／又は３Ｄビジョン）、ライダー又はレーダー等の測距デバイス等を含むことができる。撮像センサ５２２は、例えば、自動検査、ロボットのガイダンス、又は他のロボットを適用する際に、各ユニット及び制御装置を制御するするために使用されるデジタル画像及び／又は点群（ポイントクラウド）等の表示データを生成することができる。

ロボットシステム５００は、操作対象を操作するために、指定された領域（例えば、その操作対象の把持位置、ピックアップ位置、ドロップ位置、その他の作業位置等を含む領域）の画像を取得及び分析して、各位置を識別することができる。例えば、撮像センサ５２２は、指定された領域の画像データや距離データを生成するように構成された上記のカメラや測距デバイス等を含むことができる。ロボットシステム５００は、取得された画像及び／又は測距データに基づいて、例えば、操作対象の把持位置、ピックアップ位置、ドロップ位置、その他の作業位置等を判定することができる。なお、作業には、輸送／受領の際に操作対象のログをとるために、その操作対象をスキャンすることが含まれ得る。この場合、撮像センサ５２２は、操作対象の輸送の間に、操作対象の識別情報をスキャンするように構成された１つ以上のスキャナ（例えば、バーコードスキャナ及び／又はＱＲコードスキャナ（登録商標））を含むことができる。

また、センサ５１６は、位置センサ５２４として、上記の構造部材（例えば、ロボットアーム及び／又はエンドエフェクタ）、及び／又は、ロボットシステム５００の各ユニットにおける関節の位置を検出するように構成された、例えば、位置エンコーダ、ポテンショメータ等を含むことができる。ロボットシステム５００は、タスクにおける作業を実行する間、構造部材及び／又は関節の位置及び／又は状態（向き等）を追跡するために、位置センサ５２４を使用することができる。

さらに、センサ５１６は、接触センサ５２６として、複数の物理的構造又は表面間の直接の接触に関連する特性を測定するように構成された、例えば、圧力センサ、力センサ、ひずみゲージ、圧電抵抗性／圧電性センサ、容量性センサ、弾性抵抗性センサ、他の触覚センサ等を含むことができる。接触センサ５２６は、操作対象上のエンドエフェクタの例えば把持（グリップ）操作に対応する特性を測定することができる。従って、接触センサ５２６は、操作対象と把持具（グリッパ）との接触又は取付け度合いに対応した物理量を検出することができるように構成され、定量化された測定値（例えば、例えば、力、トルク、圧力、接触基準値、それらに関する種々の測定値等）を出力することができる。なお、接触基準値には、エンドエフェクタによって操作対象に印加された力に関する１つ以上の力又はトルクの読取り値を含む。

なお、以上の説明及び以下の説明においては、ロボットシステム５００は、倉庫や物流システムにおける例として記載されるが、それに限定されず、製造、組立て、梱包、ヘルスケア、及び／又は他のタイプの自動化作業を実施するために、他の環境で／他の目的で種々のタスクを実行するように構成することができる。また、ロボットシステム５００は、図示されていない、マニピュレータ、サービスロボット、モジュール式ロボット等の他のユニットを含むことができる。また、ロボットシステム５００は、例えば、倉庫又は分配／輸送ハブ内で作動し、かつ、操作対象をケージカート又はパレットからコンベヤ又は他のパレットに移送するための種々の荷降ろし／荷積みロボット、ソーティングシステム、操作対象を開梱するための開梱ロボット、天カットマシン、操作対象を１つのコンテナから別のコンテナに移送するためのコンテナ切替えロボット、操作対象を梱包するための梱包ロボット、パッキングマシン、又はそれらの組合せを備えることができる。

［動作例］
図６は、本開示の一実施形態に係るロボットシステムによって実行される作業のフローの一例、及び、ロボットシステムに備わる制御装置の機能構成の一例を示す正面図（一部機能構成図）である。本実施形態におけるロボットシステム６００は、例えば、物流システムの入庫、補充・保管、及び出庫拠点である倉庫等に設けられ、ロボットシステム６００における各ユニットの動作を調整制御する装置として制御装置６１０を含み得る。また、ロボットシステム６００は、図１に示す補充プロセスＰ２０におけるラックへの操作対象の収納、及び、出庫プロセスＰ３０におけるラックからの操作対象の取出しに特に好適なシステムということができる。

制御装置６１０は、前述の如く、スタンドアロンデバイス又は別のユニットの一部として構成され、搬送ロボット１１，１２（図６では搬送ロボット１１として例示する。以下同様。）や操作ロボット１３，１４（図６では操作ロボット１３として例示する。以下同様。）といったユニットが実行するタスクにおける動作を調整及び制御することができる。より具体的には、制御装置６１０は、搬送ロボット１１、操作ロボット１３、及び撮像センサ５２２を含むセンサ５１６に接続されており、また、必要に応じて、図示しない倉庫管理システム（ＷＭＳ：Warehouse Management System）、他の上位システム、及び／又は外部システムと相互に接続されている。

また、制御装置６１０は、データ取得部６１２、データ記憶部６１４、及びロボット制御部６１６を含み、図５との対比から理解されるとおり、制御装置６１０は、主として、プロセッサ５０２、ストレージデバイス５０４、及び通信デバイス５０６から構成される。特に、プロセッサ５０２が、データ取得部６１２及びロボット制御部６１６として機能し、ストレージデバイス５０４が、データ記憶部６１４として機能することができる。ロボットシステム６００は、ラック１５へ操作対象１６を収納するための第１タスク、及び／又は、ラック１５から操作対象１６を取り出すための第２タスクを実行するように構成することができる。

［第１タスク：ラック１５への操作対象１６の収納］
第１タスクでは、以下に示すタスクＡ１乃至Ａ５が、適宜の順にかつ適宜のタイミングで組み合わせて実行される。
Ａ１：保管領域１０１に保管されているラック１５を、搬送ロボット１１により、その保管位置から分類領域１０３におけるアクセス位置６０１（停止位置ＳＬ）へ搬送する。
Ａ２：分類領域１０３における例えばコンベヤ上の移載位置６０２（移載位置ＯＬ）上に仮置きされた操作対象１６を、操作ロボット１３で、例えば横方向から吸引して把持する（操作ロボット１４では下方から支持してもよい。以下同様。）。
Ａ３：把持した操作対象１６を、移載位置６０２からアクセス位置６０１へ移動する。
Ａ４：その操作対象１６を、静止している搬送ロボット１１に保持されたラック１５上の空いている指定位置に収納（補充）する。
Ａ５：操作対象１６が補充されたラック１５を、搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する。

ここで、図７は、本開示による実施形態に係るロボットシステムを作動させて第１タスクを実行するための手順の一例を示すフロー図である。まず、ブロック７０１において、データ取得部６１２は、例えば、タスクＡ１を実行する以前における操作対象１６に関する情報、及び、各ラック１５に関する情報を含む第１データを取得し、データ記憶部６１４は、その第１データを操作対象１６及びラック１５に関連付けて記憶する。

例えば、データ取得部６１２は、分類領域１０３の移載位置６０２上に仮置きされた操作対象１６を、３Ｄビジョン等の撮像センサ５２２によって撮像し、その画像データを処理した結果と、必要に応じてマスターデータ５５２に基づいて、識別情報、位置情報、形状情報、重量、質量中心等の操作対象１６に関する情報を取得することができる。或いは、操作対象１６及びラック１５に関する情報は、マスターデータ５５２における操作対象１６及びラック１５の追跡情報から、推定又は特定することもできる。なお、操作対象１６を識別／追跡する手法としては、例えば、本出願人による特願２０１９−１１８６７８、特願２０１９−０８０２１３、米国特許出願１６／２５８，１２０等に記載された方法を適用することができる。或いは、データ取得部６１２は、それらの操作対象１６に関する情報をＷＭＳ等の上位システムから取得することもでき、この場合、操作対象１６が移載位置６０２に配置される前に、予め操作対象１６に関する情報を取得することもできる。

次に、ブロック７０２において、ロボット制御部６１６は、操作対象１６に関する情報、及び、保管領域１０１に保管されている各ラック１５に関する情報に基づいて、操作対象１６を収納するためのラック１５を決定する。この場合、操作対象１６の形状情報、ラック１５内における空き情報（操作対象１６が収納されていない空間情報）、これから収納する操作対象１６のＳＫＵ（Stock Keeping Unit）、ラック１５に既に収納されている操作対象１６のＳＫＵ等に基づいて、例えば、操作対象１６をＳＫＵ単位で可能な限り集約しつつ、倉庫全体での収納効率を高めるために好適なラック１５の候補を選定する。さらに、分類領域１０３への搬送経路等を考慮して、１つ以上の最適なラック１５を決定することができる。

次に、ブロック７０３において、ロボット制御部６１６は、決定した１つ以上のラック１５を、その保管領域１０１から分類領域１０３のアクセス位置６０１へ搬送するための搬送ロボット１１の指定と、各搬送ロボット１１によるラック１５の搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、ラック１５のアクセス位置６０１への搬送を行うためのタスクＡ１の実行を、指定した搬送ロボット１１に指令する。

タスクＡ１と同時に、又は、タスクＡ１と前後して、ブロック７０４において、ロボット制御部６１６は、操作対象１６に関する情報に基づいて、移載位置６０２に仮置きされたその操作対象１６を操作ロボット１３で、例えば横方向から吸引して把持し、移載位置６０２からアクセス位置６０１へ移動するための制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、操作ロボット１３による操作対象１６の把持、及び、アクセス位置６０１への移動を行うためのタスクＡ２，Ａ３の実行を操作ロボット１３に指令する。

これらのタスクＡ２，Ａ３を実行するタイミングは、特に制限されず、例えば、ロボット制御部６１６は、ラック１５がアクセス位置６０１へ到達する前に、上記制御シークエンスにおける少なくとも一部の操作の実行を操作ロボット１３に指令してもよい。この場合、ラック１５がアクセス位置６０１に到達する前に、操作ロボット１３による操作対象１６の把持とアクセス位置６０１への移動を完了し、ラック１５の到着後、直ちに、操作対象１６をラック１５に収納するタスクＡ４を実行することができる。

次いで、ブロック７０５において、制御装置６１０が、必要に応じて、３Ｄビジョン等の撮像センサ５２２により、アクセス位置６０１における操作対象１６及びラック１５を撮像し、その画像データを処理することにより、操作対象１６とラック１５の状態及び状況を確認する。ブロック７０５では、さらに、ロボット制御部６１６は、操作対象１６に関する情報、及び、ラック１５に関する情報（特に、ラック１５における空き状況）に基づいて、操作対象１６を収納するためのラック１５の棚板上の位置の指定と、その位置への操作対象１６の移動経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、静止している搬送ロボット１１に保持されたラック１５上の空いている指定位置への操作対象１６のドロップを行うためのタスクＡ４の実行を操作ロボット１３に指令する。

このとき、ロボット制御部６１６は、例えば、アクセス位置６０１で停止した搬送ロボット１１に保持されたラック１５における任意の位置を、操作ロボット１３がラック１５へアクセスする際の基準座標とすることができる。このラック１５の静止位置は、ラック１５を保持する搬送ロボット１１が停止するアクセス位置６０１を基準に計算することができるが、搬送ロボット１１上のラック１５位置が標準位置からずれる場合が生じ得る。そこで、制御装置６１０は、アクセス位置６０１におけるラック１５の画像データから、搬送ロボット１１とラック１５の位置を算出し、データ取得部６１２が、その搬送ロボット１１とラック１５との相対的な位置情報を取得することができる。そして、ロボット制御部６１６は、その両者の相対的な位置情報に基づいて、アクセス位置６０１におけるラック１５の位置情報を補正し、その補正されたラック１５の位置情報に基づいて、タスクＡ４用の制御シークエンスを例えば機械学習等により作成又は取得すると好適である。

また、ラック１５は、棚板が多段に設けられており、操作対象１６が横方向から棚板上に収納又は棚板上から取り出されるように構成され、また、ラック１５の各棚板の端部には、例えば凸状を成す落下防止具１５２が設けられている。このため、ロボット制御部６１６は、操作ロボット１３が操作対象１６を横方向（水平方向）から把持した状態で、移動する操作対象１６が落下防止具１５２と干渉しないように、落下防止具１５２を越えて移動する経路を含む制御シークエンスを例えば機械学習等により作成又は取得することができる。

こうして操作対象１６のラック１５への収納（補充）が完了した後、ブロック７０６において、ロボット制御部６１６は、操作対象１６が補充されたラック１５を搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、ラック１５の保管領域１０１への搬送及び返却を行うためのタスクＡ５の実行を搬送ロボット１１に指令する。

以上のラック１５への操作対象１６の収納を行う第１タスクが完了した後、ブロック７０７において、データ取得部６１２は、操作対象１６が収納されたラック１５に関する情報、及び、そのラック１５における操作対象１６の収納位置の情報を含む第２データを取得し、データ記憶部６１４は、その第２データを操作対象１６及びラック１５に関連付けて記憶する。

ロボット制御部６１６は、次回以降に実施する操作対象１６のラック１５への収納（補充）作業時に、その第２データに基づいて、ラック１５における操作対象１６の配置が集約するように、換言すれば、不要な空間を極力無くすように操作対象１６を密に保管するための制御シークエンスを作成又は取得することができる。また、この場合、操作対象１６の特性に基づいて、例えば、同じＳＫＵを有する操作対象１６が集合するように、又は、形状寸法が同じ又は近似した操作対象１６が集約して保管されるような制御シークエンスを作成又は取得することもできる。このように取得されるラック１５における操作対象１６の収納状況に関する第２データは、操作対象１６毎に、かつ、操作対象１６の収納作業毎に更新され、後述する第２タスク（ラック１５からの操作対象１６の取出し）において適宜利用することができる。

さらに、データ記憶部６１４は、そうして得られた第２データに基づいて、ラック１５における複数の操作対象１６の位置（配置）情報を、操作対象１６単位又はラック１５の棚板（レイヤー）単位で記憶し、また、同じ棚板単位で２次元情報として、或いは、複数の棚板に亘って３次元情報として記憶することができる。

また、操作対象１６は、識別情報として識別コード又は識別タグをその側面に有していてもよい。こうすれば、操作対象１６がラック１５に収納された状態でも、配置状態によっては、操作対象１６の識別情報がラック１５の外側から視認可能に露呈し得る。そして、撮像センサ５２２等により、その操作対象１６の識別情報を確認することにより、操作対象１６がラック１５に収納されたままの状態でも、操作対象１６の識別及び特定を簡易に行うことができる。この場合、前記の如く、ラック１５における複数の操作対象１６の位置情報を、２次元情報又は３次元情報として記憶しておけば、１つの操作対象１６を特定することにより、そのラック１５に収納されている操作対象１６を、棚板単位で又はラック１５単位で、簡便に特定することができる。なお、撮像センサ５２２は、ラック１５を保持した搬送ロボット１１が静止した状態、又は、ラック１５を保持した搬送ロボット１１が移動している状態、すなわち、ラック１５が静止又は移動している状態の何れにおいても、ラック１５を撮像するように構成することができる。

また、ロボット制御部６１６は、ラック１５への操作対象１６の収納作業（タスクＡ４）が実際に終了する前に、ラック１５への操作対象１６の収納が完了したと判断するように構成してもよい。例えば、操作ロボット１３のエンドエフェクタの作動状態により、又は、撮像センサ５２２で操作対象１６の移動を追跡することにより、操作対象１６の全部又は大部分がラック１５の棚板上に移動したとき、又は、操作対象１６の一部が棚板に接触したとき等に、操作対象１６の収納が完了したと判断することができる。

ロボットシステム６００は、第１タスク（ラック１５への操作対象１６の収納）と、以下に示す単位タスクＢ１乃至Ｂ５を適宜の順にかつタイミングで組み合わせて実行する第２タスク（ラック１５からの操作対象１６の取出し）を実施することができる。

［第２タスク：ラック１５からの操作対象１６の取出し］
第２タスクでは、以下に示すタスクＢ１乃至Ｂ５が、適宜の順にかつ適宜のタイミングで組み合わせて実行される。
Ｂ１：保管領域１０１に保管されており、例えば出荷注文された操作対象１６が収納されたラック１５を、搬送ロボット１１により、その保管位置から分類領域１０３におけるアクセス位置６０１（停止位置ＳＬ）へ搬送する。
Ｂ２：アクセス位置６０１で静止している搬送ロボット１１に保持されたラック１５上の操作対象１６を、操作ロボット１３で例えば横方向から吸引して把持する。
Ｂ３：把持した操作対象１６を、アクセス位置６０１から移載位置６０２へ移動する。
Ｂ４：その操作対象１６を、移載位置６０２にドロップして仮置きする。
Ｂ５：操作対象１６が取り出されたラック１５を、搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する。

ここで、図８は、本開示による実施形態に係るロボットシステムを作動させて第２タスクを実行するための手順の一例を示すフロー図である。まず、ブロック８０１において、データ取得部６１２は、例えば、タスクＢ１を実行する以前における操作対象１６に関する情報、及び、各ラック１５に関する情報を含む第１データを取得し、データ記憶部６１４は、その第１データを操作対象１６及びラック１５に関連付けて記憶する。

例えば、操作対象１６の出荷注文を受け付けた場合、データ取得部６１２は、データ記憶部６１４に記憶された第２データと、必要に応じてマスターデータ５５２に基づいて、識別情報、位置情報、形状情報、重量、質量中心等の操作対象１６に関する情報、及び、その操作対象１６が収納されているラック１５の識別情報及び保管位置情報を取得することができる。そして、ブロック８０２において、ロボット制御部６１６は、これらの操作対象１６に関する情報、及び、保管領域１０１に保管されている各ラック１５に関する情報に基づいて、操作対象１６を取り出すためのラック１５を選定し、分類領域１０３への搬送経路等を考慮して、１つ以上の最適なラック１５を決定することができる。

次に、ブロック８０３において、ロボット制御部６１６は、決定した１つ以上のラック１５を、その保管領域１０１から分類領域１０３のアクセス位置６０１へ搬送するための搬送ロボット１１の指定と、各搬送ロボット１１によるラック１５の搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、ラック１５のアクセス位置６０１への搬送を行うためのタスクＢ１の実行を、指定した搬送ロボット１１に指令する。

操作ロボット１３のエンドエフェクタがアクセス位置６０１にない場合、タスクＢ１と同時に、又は、タスクＢ１と前後して、ロボット制御部６１６は、操作ロボット１３のエンドエフェクタをアクセス位置６０１へ移動させるタスクの実行を操作ロボット１３に指令する。この場合、ラック１５がアクセス位置６０１に到達する前に、操作ロボット１３の移動を完了しておくことにより、ラック１５の到着後、直ちに、操作対象１６をラック１５から取り出すタスクＢ２を実行することができる。

搬送ロボット１１がアクセス位置６０１へ到着すると、ブロック８０４において、制御装置６１０は、３Ｄビジョン等の撮像センサ５２２により、アクセス位置６０１における操作対象１６及びラック１５を撮像し、その画像データを処理することにより、操作対象１６とラック１５の状態及び状況を確認する。ブロック８０４では、さらに、ロボット制御部６１６は、操作対象１６に関する情報、及び、ラック１５に関する情報（特に、ラック１５における収納状況）に基づいて、操作対象１６のラック１５における位置の指定と、その位置へのエンドエフェクタの移動経路を含み、その操作対象１６をピックアップし、アクセス位置６０１から移載位置６０２へ移動するための制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、アクセス位置６０１で静止している搬送ロボット１１に保持されたラック１５上の操作対象１６の把持、及び、移載位置６０２への移動を行うためのタスクＢ２，Ｂ３の実行を操作ロボット１３に指令する。

このとき、第１タスクと同様に、制御装置６１０は、アクセス位置６０１におけるラック１５の画像データから、搬送ロボット１１とラック１５の位置を算出し、データ取得部６１２が、その搬送ロボット１１とラック１５との相対的な位置情報を取得することができる。そして、ロボット制御部６１６は、その両者の相対的な位置情報に基づいて、アクセス位置６０１におけるラック１５の位置情報を補正し、その補正されたラック１５の位置情報に基づいて、タスクＢ２用の制御シークエンスを、例えば機械学習等により作成又は取得すると好適である。また、ロボット制御部６１６は、移動する操作対象１６が落下防止具１５２と干渉しないように、落下防止具１５２を越えて移動する経路を含む制御シークエンスを、例えば機械学習等により作成又は取得することができる。

次いで、ブロック８０５において、制御装置６１０は、必要に応じて、３Ｄビジョン等の撮像センサ５２２により、移載位置６０２で保持された操作対象１６、及び、移載位置６０２（例えばコンベヤ上、最終位置等）を撮像し、その画像データを処理することにより、操作対象１６及び移載位置６０２上の状態及び状況を確認する。ブロック８０５では、さらに、ロボット制御部６１６は、操作対象１６を移載する指定位置、及び、その指定位置への操作対象１６の移動経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、移載位置６０２におけるの指定位置への操作対象１６のドロップを行うためのタスクＢ４の実行を操作ロボット１３に指令する。なお、操作対象１６を移載位置６０２に用意された出荷用容器等に直接移載する場合には、撮像センサ５２２により、出荷用容器内の空き状況を確認して、収納効率を高めるようにしてもよい。

こうして操作対象１６のラック１５からの取出しが完了した後、ブロック８０６において、ロボット制御部６１６は、操作対象１６が取り出されたラック１５を搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、ラック１５の保管領域１０１への搬送を行うためのタスクＢ５の実行を搬送ロボット１１に指令する。

以上のラック１５からの操作対象１６の取出しを行う第２タスクが完了した後、ブロック８０７において、データ取得部６１２は、操作対象１６が取り出されたラック１５に関する情報、及び、そのラック１５に収容されている他の操作対象１６の収納位置の情報を含む第２データを取得し、データ記憶部６１４は、その第２データを操作対象１６及びラック１５に関連付けて記憶する。このとおり、ラック１５における操作対象１６の収納状況に関する第２データは、操作対象１６毎に、かつ、操作対象１６の取出し作業毎にも更新される。また、データ記憶部６１４が、第２データに基づいて、ラック１５における複数の操作対象１６の位置情報を、操作対象１６単位又はラック１５の棚板単位で記憶し、また、２次元情報又は３次元情報として記憶し得ることは、第１タスクの場合と同様である。

また、第１タスクの場合と同様に、操作対象１６が側面に識別情報を有していれば、操作対象１６がラック１５に収納された状態でも、配置状態によっては、操作対象１６の識別情報を撮像センサ５２２で確認することができ、操作対象１６がラック１５に収納されたままの状態でも、実測により操作対象１６の識別を簡易に行うこともできる。さらに、撮像センサ５２２が、ラック１５を保持した搬送ロボット１１が静止した状態、又は、ラック１５を保持した搬送ロボット１１が移動している状態で、ラック１５を撮像するように構成することができる。

また、ロボット制御部６１６は、ラック１５からの操作対象１６の取出し作業（タスクＢ２）が実際に終了する前に、ラック１５からの操作対象１６の取出しが完了したと判断するように構成してもよい。例えば、操作ロボット１３のエンドエフェクタの作動状態により、又は、撮像センサ５２２で操作対象１６の移動を追跡することにより、操作対象１６の全部又は大部分がラック１５の外部に移動したとき、又は、操作対象１６の全部又は一部が棚板からに離れたとき等に、操作対象１６の取出しが完了したと判断することができる。

以上のように構成されたロボットシステム５００，６００の制御装置６１０及び制御方法によれば、操作対象１６をラック１５に収納する以前、又は、操作対象１６をラック１５から取り出す以前に、操作対象１６及びラック１５のそれぞれに関する情報を把握し、それらの情報を含む第１データに基づいて例えば機械学習等により作成又は取得される制御シークエンスに基づくタスク（第１及び第２タスク）が実行される。これにより、操作対象１６をラック１５に収納する操作、又は、操作対象１６をラック１５から取り出す操作を効率的かつ円滑に実施することができる。また、その際に、ロボットシステム５００，６００におけるユニット間（例えば、搬送ロボット１１と操作ロボット１３）の高度な連携を実現することができ、これにより、ロボットシステム５００，６００の高機能化を図ることができる。

［他の適用例１］
図９Ａは、本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境を示す概略平面図である。ロボットシステム１００も、ロボットシステム６００と同様に、例えば、物流システムの入庫、補充・保管、及び出庫拠点である倉庫等に設けられ得る。また、ロボットシステム１００は、１つ以上のタスク、及び／又は、適宜のタスクが複数組み合わされて構成されるタスクを実施又は実行するように構成され得る。それらのタスクは、１つ以上のユニット（例えば、各種ロボット、各種デバイス、それらと一体又は別体に設けられた制御装置等）を含むロボットシステム１００によって好適に実施又は実行され得る。また、ロボットシステム１００は、図１に示す出庫プロセスＰ３０における操作対象から出荷用容器への注文物品の移載に適用することができる。

図９Ａに示すように、ロボットシステム１００は、輸送ユニットとしての１つ以上の搬送ロボット１１，１２（例えば、ラックＡＧＶ、及び、ラックから容器を取り外したりラックに積み付けて、所定位置に配置したりするように構成されたＡＧＶ）、異なる場所間で操作対象を移動するように構成された移送／仕分けユニットとしての１つ以上の操作ロボット１３（例えば、ピースピッキングロボット）、及び、それらの制御装置（図９Ａには図示せず）を含むことができる。

ロボットシステム１００が実行するタスクは、所定の目的を達成するために、各ユニットが個々のタスクを適宜の順番で実行するように組み合わせて構成したり、また、各ユニットが種々の異なるタスクを適宜選択して実行したりするように構成され得る。ロボットシステム１００において、各ユニットは、保管領域１０１において、ラック１５や容器１６に収納された状態で分散配置された種々の異なる物品、及び／又は、所定の入庫順序や梱包順序、或いは物品の特性に基づいて分類された種々の異なる物品にアクセスするための１つ以上のタスクを実行することができる。

搬送ロボット１１は、例えば、注文物品が収納された容器１６が積み付けられたラック１５を、保管領域１０１と搬送領域１０２との間で移送するタスクを実行することができる。一方、搬送ロボット１２は、注文物品が収納された容器１６を、搬送されたラック１５から取り出す（ピックアップ）することができる。また、搬送ロボット１２は、その容器１６を、搬送領域１０２と分類領域１０３（物品をグルーピングするための領域：図９Ａにおける容器１６の停止位置ＳＬ）との間で移送するタスクを実行することができる。他方、操作ロボット１３は、注文物品を、分類領域１０３における容器１６からピックアップし、移載位置ＯＬ（例えば、注文物品を梱包するコンテナ、箱、それらを載せたコンベヤや仮置き場等）及び／又は他の出荷用容器等に移動するタスクを実行することができる。

タスクの実行に際し、例えば、出荷注文が出されたとき、保管された物品の並べ替えが行われるとき、物品の補充が行われるとき等に、ロボットシステム１００は、各ユニット、及び／又は、グループ化されたユニット群が作動する異なる領域を識別することができる。例えば、ロボットシステム１００は、搬送ロボット１１が作動する保管領域１０１、搬送ロボット１２が作動する搬送領域１０２、搬送ロボット１２及び／又は操作ロボット１３が作動する分類領域１０３を識別することができる。なお、搬送ロボット１１，１２、及び操作ロボット１３が作動する領域は、上記に限られず、例えば、適宜の制御シークエンスに従って、搬送ロボット１１が更に搬送領域１０２で作動してもよく、搬送ロボット１２が更に保管領域１０１で作動するように構成することもできる。

また、各ユニットが作動する領域は、互いに隣接していてもよく、部分的に重なってもよい。例えば、保管領域１０１は、搬送領域１０２に隣接することができ、また、搬送領域１０２は、分類領域１０３と部分的に重なっていてもよい。この場合、搬送ロボット１１，１２は、例えば図９Ａに示すように、搬送領域１０２内のラック１５にアクセスすることにより、別々の領域内で作動することができる。その結果、ロボットシステム１００は、異なる種類のユニット同士による潜在的な衝突の可能性、及び／又は、互いの障害物となってしまう可能性を軽減することができる。なお、操作ロボット１３は、所定位置に固定配置することができ、この場合、搬送ロボット１２は、他のユニットに衝突したり、移動中に渋滞を引き起こしたりすることなく、分類領域１０３内に進入し易くなる。

また、ロボットシステム１００は、搬送ロボット１１，１２等の輸送ユニットを誘導して操縦するために、適宜の経路を利用することができる。例えば、ロボットシステム１００は、１つ以上の搬送ロボット１１を操縦するための第１経路Ｐ１、及び／又は、１つ以上の搬送ロボット１２を操縦するための第２経路Ｐ２を使用することができる。なお、第１経路Ｐ１と第２経路Ｐ２は、例えば図９Ａに示すように、互いに重ならないように、距離又は空間を開けて分離するように設定してもよいが、これに限定されない。

また、第１経路Ｐ１及び第２経路Ｐ２には、搬送ロボット１１，１２等の輸送ユニットが、自走で移動する際に辿ることができるフロアマーキング（例えば、塗装、テープ等）が施されていてもよい。これにより、ロボットシステム１００は、フロアマーキングの形状／位置を識別し、経路計算、及び／又は、位置（例えば、輸送対象のピックアップ位置及び／又はドロップ位置）の順序付け等を輸送ユニットに指示する際に、その識別した情報を使用することができる。さらに、第１経路Ｐ１及び第２経路Ｐ２は、一連のリンク（例えばラック１５間の経路）、及び、ノード（例えば、経路の交差位置、又は、移動方向を変更するときの指定位置）を含むことができる。

また、ロボットシステム１００は、搬送ロボット１１，１２等の輸送ユニットが、輸送対象のピックアップ位置とドロップ位置との間を移動する際の効率的かつ他のユニットと干渉しない経路を計算することができる。それらの輸送ユニットは、例えば位置／ナビゲーションシステムを使用して、その経路内における現在位置を計算し、その現在位置に基づいて、指定された経路及びルートに沿って移動することができる。

なお、ロボットシステム１００は、前述のように、タスクを、複数のユニットによって実行される一連のタスクとして設定することができ、それらの複数のユニットを、個々のタスクの特性に基づいて、統合タスクの実行を最適化することができるように、各ユニットを調整及び制御することができ、例えば、複数のユニットを必要とする範囲の動作を規定したり、複数の指定された領域に亘る動作の範囲を規定したりといった調整を行うことができる。

例えば、出荷注文に対応するには、その注文を履行するために、保管領域１０１における注文物品の保管位置、例えば、その物品が収納されたラック１５、又は、その注文物品が収納された容器１６が積み付けられたラック１５を特定し、そのラック１５を搬送領域１０２へ移送し、そのラック１５からその容器１６を分類領域１０３へ移送し、その注文物品をその容器１６から目標位置、例えば、出荷用容器、及び／又はコンベヤへ移載し、その容器１６をラック１５へ返却し、そのラック１５を保管領域１０１へ返却すること、又は、それらのタスクの適宜の組み合わせを実行するタスクを設定し、実行することができる。

また、物品の入庫や補充に対応するには、利用可能な保管位置を決定するために、例えば需要予測に従って、物品の保管位置として、その物品を収納可能な容器１６、及び、その容器１６を収納可能なラック１５を決定すること、容器１６へ入庫又は補充物品を収納すること、物品が入庫又は補充された容器１６をラック１５に積み付けること、そのラック１５を所定の対応する保管位置へ移送すること、又は、それらのタスクの適宜の組み合わせを実行するタスクを設定し、実行することができる。

また、ロボットシステム１００は、各ユニットを操縦するために、例えば各ユニット内の作動装置を動作させるための指令（コマンド）、設定条件、動作計画、位置、識別情報、経路、現在のユニット位置、状態及び進行情報、又は、それらの組み合わせを生成することができる。生成された情報は、各ユニット間で通信することができ、また、制御装置及び各ユニット間で、その生成された各種情報を共有してタスクを実行することができる。

図９Ｂは、本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境の一部を示す概略平面図であり、図９Ａにおける分類領域１０３及びその周囲の状態を示す図である。分類領域１０３は、操作ロボット１３が物品を容器１６からピックアップしてコンベヤ上等の移載位置ＯＬへ移載し、及び／又は、容器１６内の物品の再配置等を行う領域に対応する。分類領域１０３は、例えば、搬送ロボット１２が操作ロボット１３の近傍位置まで移動して停止する１つ以上の停止位置ＳＬを含むことができる。各停止位置ＳＬは、操作ロボット１３が物品を操作するタスクを実行している間、１以上の搬送ロボット１２のそれぞれが静止する基準位置に対応する。また、各停止位置ＳＬは、操作ロボット１３の例えばロボットアームの先端部に設けられたエンドエフェクタ（例えば、把持具（ダンパ、デバンニンググリッパ等）やハンド等）が、搬送ロボット１２上の容器１６にアクセス可能な位置を含む。

また、ロボットシステム１００は、１つ以上の位置を撮像するように構成された撮像センサ（図９Ａ及び図９Ｂにおいて図示せず）を含み得る。撮像センサとしては、例えば、分類領域１０３内（例えば、停止位置ＳＬにおける搬送ロボット１２上、及び／又は、移載位置ＯＬ）の容器１６を撮像するように構成された二次元／三次元カメラ（２Ｄ／３Ｄビジョン）、ライダー、レーダー等が挙げられる。ロボットシステム１００は、様々な目的のために撮像センサで取得された画像データを処理して使用することができる。

例えば、ロボットシステム１００は、物品を識別するために、物品又は複数の物品の組み合わせを確定するために、物品を把持するために、及び、物品の位置や状態（向き等）
を識別するために、画像データを処理して使用することができる。さらに、ロボットシステム１００は、画像データを使用して、容器１６に収納されている物品の数量、容器１６内の物品の充填状態又は空き状態といった容器１６に関連するステータスを計算することができる。なお、容器１６の内部状態は、物品の数量、及び／又は、容器１６内に収納された物品の高さ等によって判断することができる。

ここで、より具体的な一例として、例えば、４種の異なる物品を含む注文がなされた場合、ロボットシステム１００の制御装置は、各注文物品が収納された４つの容器１６のそれぞれをピックアップする４台の異なる搬送ロボット１２に対し、それぞれの動作に対応する制御シークエンスに基づく指令を送信する。４種の注文商品に対応する容器１６をピックアップして搬送する４台の搬送ロボット１２は、例えば図９Ｂに示すように、分類領域１０３内の停止位置ＳＬのうちの１つで静止することができる。そのようにして容器１６が分類領域１０３に到着し、図９Ａ及び図９Ｂに示すとおり、搬送ロボット１２が停止位置ＳＬで静止すると、各容器１６は物品払出し用又は物品受入れ用のコンテナとして機能する。

それから、ロボットシステム１００は、操作ロボット１３を操縦して、各容器１６から注文物品を例えばピックアップし、それらを注文に対応する出荷用容器や移送用のコンベヤ上に移載することができる。さらに、ロボットシステム１００は、出荷用容器を、例えば積荷ベイ等の出庫場所に配置するように構成された１つ以上のユニット（例えば、コンベヤ、コンテナシーリングロボット、荷積みロボット、積み出し車両等：図示せず）を含み得る。

なお、以上のロボットシステム１００に関する説明においては、主として、物品の出庫（出荷）に関連するタスクを実行している状態について述べたが、物品の入庫や補充に関連するタスクを実行する場合には、基本的に、以上の説明とは逆の手順でロボットシステム１００を動作させる制御シークエンスを例えば機械学習等により作成又は取得し、その制御シークエンスに基づいたタスクを実行することにより対応することができる。

［他の適用例２］
図１０Ａ及び図１０Ｂは、本開示の一実施形態に係るロボットシステムが動作し得る他の例示的な環境を示す概略平面図であり、図１０Ｂは、図１０Ａにおける分類領域１０３及びその周囲の状態を示す図である。本実施形態によるロボットシステム２００は、物品を容器１６に収納した上で、その容器１６をラックに収納するのではなく、物品をラック１５の棚板上に直接収納するシステムであること以外は、図９Ａ及び図９Ｂに示すロボットシステム１００と同様の構成を有する。このとおり、ロボットシステム２００は、本開示における検査対象が物品自体である一例と捉えることができ、に図１に示す補充プロセスＰ２０及び出庫プロセスＰ３０において、操作対象が物品自体である場合に、ラックへの物品の直接収納、及び、ラックからの物品の直接取出しに適用することができる。

すなわち、ロボットシステム２００は、ロボットシステム１００における輸送ユニットとしての搬送ロボット１２を備えなくてもよく、その結果、保管領域１０１にアクセスしてラック１５をピックアップした搬送ロボット１１は、第１経路Ｐ１を移動して、ラック１５を分類領域１０３へ搬送し、操作ロボット１３近傍の停止位置ＳＬで静止することができる。そのようにしてラック１５が分類領域１０３に到着し、図１０Ａ及び図１０Ｂに示すとおり、搬送ロボット１１が停止位置ＳＬで静止すると、各ラック１５は物品払出し用又は物品受入れ用のコンテナとして機能する。

それから、ロボットシステム２００は、操作ロボット１３を操縦して、各ラック１５から注文物品を例えばピックアップし、それらを注文に対応する出荷用容器等に移載することができる。さらに、ロボットシステム２００は、出荷用容器等を、例えば積荷ベイ等の出庫場所に配置するように構成された１つ以上のユニット（例えば、コンベヤ、コンテナシーリングロボット、荷積みロボット、積み出し車両等：図示せず）を含み得る。

こにように構成され及び制御されるロボットシステム２００によれば、ロボットシステム１００における、搬送ロボット１２、搬送領域１０２、及び第２経路Ｐ２を省略することができるので、省スペース化と作業効率の向上に資することができる。なお、以上のロボットシステム２００に関する説明においても、主として、物品の出庫（出荷）に関連するタスクを実行している状態について述べたが、物品の入庫や補充に関連するタスクを実行する場合には、以上の説明とは逆の手順でロボットシステム２００を動作させる制御シークエンスを例えば機械学習等により作成又は取得し、その制御シークエンスに基づいたタスクを実行することにより対応することができる。

以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明は、あらゆる点において本開示の一例を示したに過ぎず、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものや特定のものに限定されるわけではなく適宜変更することができる。

換言すれば、本開示による実施形態は、他の構成を排除するものではなく、また、本開示を上記の実施形態に限定するものでもない。本開示による上記実施形態に均等な種々の変形形態が、本開示の範囲内で実現可能である。例えば、プロセス、ステップ、ルーチン、又はブロックの実施順序は、本開示の範囲内の代替的な実施態様により、異なる順番で実施することができ、また、いくつかのプロセス、ステップ、ルーチン、又はブロックは、本開示の範囲内で、削除、移動、追加、細分化、結合、及び／又は変形されてもよい。また、これらのプロセス、ステップ、ルーチン、又はブロックの各々は、様々な異なる方法で実施される場合がある。さらに、プロセス、ステップ、ルーチン、又はブロックが、上記実施形態において、連続して実施されるものであっても、それらのプロセス、ステップ、ルーチン、又はブロックは、並行して実施することができる場合があり、或いは、異なる時間に非連続的に実施される場合がある。またさらに、本明細書に示す特定の数は、異なる値又は異なる範囲であってもよい場合がある。

また、上記実施形態は、本開示の特定の実施例として、想定され得る“ベストモード”として限定されるものではなく、多くの代替的な方法で実施することができる場合もある。さらに、上記実施形態の詳細は、その特定の実施態様において、著しく変化する場合があるが、依然として、本開示の技術に包含され得る。加えて、本開示の特定の特徴又は態様を記載する際に使用された特定の用語は、その用語が関連付けられた本開示における特定の特性、特徴、又は態様、或いは、特定の実施形態に限定されるものではなく、よって、本発明は、特許請求の範囲によるものを除き、特定の意味に限定されない。また、本発明は、任意数の請求項の形態で規定されているが、本開示の範囲内において、様々な態様が想定されていることは言うまでもない。

なお、本出願は、２０１９年１月１４日に出願された米国特許出願番号６２／７９２３４８に基づくものであり、ここにその記載内容を援用する。

１１，１２…搬送ロボット、１３，１４…操作ロボット、１５…ラック、１６…操作対象，容器、４０…車両、１００，２００，５００，６００…ロボットシステム、１０１…保管領域、１０２…搬送領域、１０３…分類領域、１３１，１４１…エンドエフェクタ、１３２，１４２…ロボットアーム、１５２…落下防止具、５０２…プロセッサ、５０４…ストレージデバイス、５０６…通信デバイス、５０８…入力−出力デバイス、５１０…ディスプレイ、５１２…作動デバイス、５１４…移送モータ、５１６…センサ、５２２…撮像センサ、５２４…位置センサ、５２６…接触センサ、５５２…マスターデータ、５５４…対象追跡データ、６０１…アクセス位置、６０２…移載位置、６１０…制御装置、６１２…データ取得部、６１４…データ記憶部、６１６…ロボット制御部、ＯＬ…移載位置、Ｐ１…第１経路、Ｐ２…第２経路、ＳＬ…停止位置。

Claims (16)

1. ラックへの操作対象の収納及び／又はラックからの操作対象の取出しを行うために、前記操作対象を操作する操作ロボットと、前記ラックを搬送する搬送ロボットと、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行っている状態を撮像するセンサとを含むロボットシステムの制御装置であって、
   前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第１データを取得し、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以後に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第２データを取得するデータ取得部と、
   前記第１データ及び前記第２データを記憶するデータ記憶部と、
   前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記第１データに基づいて、前記ラックの選定及びアクセス位置への搬送を行い、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記ラックの前記アクセス位置への搬送を行うためのタスクの実行を前記搬送ロボットに指令し、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うためのタスクの実行を前記操作ロボットに指令する、ロボット制御部と、
   を備え、
   前記ロボット制御部は、
   前記ラックへの前記操作対象の収納が実際に終了する前に、下記（Ａ）により、下記（Ｂ）の条件を満たすときに、前記ラックへの前記操作対象の収納が完了したと判断し、或いは、前記ラックからの前記操作対象の取出しが実際に終了する前に、下記（Ａ）により、下記（Ｃ）の条件を満たすときに、前記ラックからの前記操作対象の取出しが完了したと判断し、次の段階として実行されるタスクの開始を前記操作ロボット又は前記搬送ロボットに指令する、
   （Ａ）前記操作ロボットのエンドエフェクタの作動状態、若しくは、前記センサで前記操作対象の移動を追跡すること；
   （Ｂ）前記操作対象の大部分が前記ラックの棚板上に移動した場合、若しくは、前記操作対象の一部が前記ラックの棚板に接触した場合；
   （Ｃ）前記操作対象の大部分が前記ラックの外部に移動した場合、若しくは、前記操作対象の全部又は一部が前記ラックの棚板から離れた場合；
   制御装置。
2. 前記ロボット制御部は、前記第２データに基づいて、前記ラックにおける前記操作対象の配置が集約するように、前記制御シークエンスを作成又は取得する、
   請求項１に記載の制御装置。
3. 前記ロボット制御部は、前記第２データに基づいて、前記ラックにおける前記操作対象の配置がＳＫＵ単位で集約するように、前記制御シークエンスを作成又は取得する、
   請求項２に記載の制御装置。
4. 前記ロボット制御部は、前記ラックが前記アクセス位置へ到達する前に、前記制御シークエンスにおける少なくとも一部の操作の実行を前記操作ロボットに指令する、
   請求項１乃至３の何れかに記載の制御装置。
5. 前記データ取得部は、前記搬送ロボットと前記ラックとの相対的な位置情報を取得し、
   前記ロボット制御部は、前記相対的な位置情報に基づいて、前記アクセス位置における前記ラックの位置情報を補正し、該補正された位置情報に基づいて、前記制御シークエンスを作成又は取得する、
   請求項１乃至４の何れかに記載の制御装置。
6. 前記ロボットシステムは、前記アクセス位置における前記ラックを撮像するセンサを更に備え、
   前記ロボット制御部は、前記アクセス位置で停止した前記搬送ロボット、又は、該搬送ロボットに保持された前記ラックにおける任意の位置を、前記操作ロボットが前記ラックへアクセスする際の基準座標とし、
   前記データ取得部は、前記アクセス位置における前記ラックの画像データから、前記ラックの座標を算出し、前記位置情報として、該ラックの座標の標準位置からの位置ズレを取得する、
   請求項５に記載の制御装置。
7. 前記ラックは、前記操作対象が横方向から収納及び／又は取り出されるように構成され、かつ、前記操作対象の落下防止具が前記ラックの端部に設けられ、
   前記操作ロボットは、前記操作対象を横方向から把持し、
   前記ロボット制御部は、前記操作対象が前記落下防止具を越えて移動するように、前記制御シークエンスを作成又は取得する、
   請求項１乃至６の何れかに記載の制御装置。
8. 前記データ記憶部は、前記ラックにおける複数の前記操作対象の位置情報を、前記ラックの棚板単位で、かつ、２次元情報又は３次元情報として記憶し、
   前記ロボット制御部は、１つの前記操作対象を特定することにより、前記ラックの同じ棚板上に収納されている操作対象、又は、前記ラックに収納されている操作対象を、一括で特定する、
   請求項１乃至７の何れかに記載の制御装置。
9. 前記ロボットシステムは、前記操作対象が収納された前記ラックを撮像するセンサを更に備え、
   前記ロボット制御部は、前記センサが前記操作対象の側面に付された識別コード又は識別タグを計測するために、前記操作対象の前記識別コード又は前記識別タグが棚板の外側に向かって露呈するように、前記操作対象を前記ラックに収納するための前記制御シークエンスを作成又は取得する、
   請求項１乃至８の何れかに記載の制御装置。
10. 前記ロボットシステムは、前記操作対象が収納された前記ラックを撮像するセンサを更に備え、
    前記センサは、前記ラックを保持した前記搬送ロボットが静止した状態、又は、前記ラックを保持した前記搬送ロボットが移動している状態で、前記ラックを撮像する、
    請求項１乃至９の何れかに記載の制御装置。
11. 前記データ取得部は、前記操作対象に関する情報、及び／又は、前記ラックに関する情報の実測値又は推定値を取得する、
    請求項１乃至１０の何れかに記載の制御装置。
12. 請求項１乃至１１の何れかに記載の制御装置と、
    前記操作ロボット及び前記搬送ロボットを含むロボットシステムと、
    を備える、物流システム。
13. 前記制御装置は、前記ロボットシステム、及び、該ロボットシステムに関連する領域を識別し、前記制御シークエンスに基づくタスクを計算し、
    前記タスクは、前記ロボットシステムによる前記ラックの搬送及び前記操作対象の操作に関連するタスク、並びに、隣接及び／又は重なり合う領域内において前記ロボットシステムによって横断して実行される複数のタスクを含む、
    請求項１２に記載の物流システム。
14. コンピュータを、請求項１乃至１１の何れかに記載の制御装置として機能させるためのプログラム。
15. 請求項１４に記載のプログラムを記録した非一過性のコンピュータ読取可能な記録媒体。
16. ラックへの操作対象の収納及び／又はラックからの操作対象の取出しを行うために、前記操作対象を操作する操作ロボットと、前記ラックを搬送する搬送ロボットと、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行っている状態を撮像するセンサとを含むロボットシステムの制御方法であって、データ取得部と、データ記憶部と、ロボット制御部とを有する制御装置を用いて実行され、
    前記データ取得部が、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第１データを取得し、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以後に、前記操作対象に関する情報、及び、前記ラックに関する情報を含む第２データを取得し、
    前記データ記憶部が、前記第１データ及び前記第２データを記憶し、
    前記ロボット制御部が、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出し以前に、前記第１データに基づいて、前記ラックの選定及びアクセス位置への搬送を行い、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うための制御シークエンスを作成又は取得し、及び、前記制御シークエンスに基づいて、前記ラックの前記アクセス位置への搬送を行うためのタスクの実行を前記搬送ロボットに指令し、かつ、前記ラックへの前記操作対象の収納及び／又は前記ラックからの前記操作対象の取出しを行うためのタスクの実行を前記操作ロボットに指令し、
    前記ロボット制御部が、
    前記ラックへの前記操作対象の収納が実際に終了する前に、下記（Ａ）により、下記（Ｂ）の条件を満たすときに、前記ラックへの前記操作対象の収納が完了したと判断し、或いは、前記ラックからの前記操作対象の取出しが実際に終了する前に、下記（Ａ）により、下記（Ｃ）の条件を満たすときに、前記ラックからの前記操作対象の取出しが完了したと判断し、次の段階として実行されるタスクの開始を前記操作ロボット又は前記搬送ロボットに指令する、
    （Ａ）前記操作ロボットのエンドエフェクタの作動状態、若しくは、前記センサで前記操作対象の移動を追跡すること；
    （Ｂ）前記操作対象の大部分が前記ラックの棚板上に移動した場合、若しくは、前記操作対象の一部が前記ラックの棚板に接触した場合；
    （Ｃ）前記操作対象の大部分が前記ラックの外部に移動した場合、若しくは、前記操作対象の全部又は一部が前記ラックの棚板から離れた場合；
    制御方法。

Images