JP7186349B2 - エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 - Google Patents

Description

本開示は、エンドエフェクタの制御システムおよびエンドエフェクタの制御方法に関する。

特許文献１には、把持対象物を把持するロボットハンドを備えるロボット装置を制御するロボット制御装置が開示されている。このロボット制御装置は、把持対象物の視覚情報を取得する第１の取得手段と、ロボットハンドにより把持対象物に作用する力覚情報を取得する第２の取得手段と、第１の取得手段により取得された視覚情報から把持対象物の位置および姿勢を算出する算出手段と、第２の取得手段により取得された力覚情報に基づいて、把持対象物の把持状態変動性を導出する導出手段と、導出手段により導出された把持対象物の把持状態変動性に基づいて、第１の取得手段および算出手段の少なくとも１つの処理実行を制御する制御手段と、を具備する。

特開２０１７－８７３２５号公報

本開示は、上述した従来の状況に鑑みて案出され、ロボットハンドを簡素化しつつ、エンドエフェクタを制御できるエンドエフェクタの制御システムおよびエンドエフェクタの制御方法を提供することを目的とする。

本開示は、ロボットアームに接続可能な複数のエンドエフェクタを制御するエンドエフェクタの制御システムであって、前記複数のエンドエフェクタのうち前記ロボットアームに接続されたエンドエフェクタの画像を取得する画像取得部と、前記エンドエフェクタを識別する識別情報を取得する識別情報取得部と、前記エンドエフェクタを制御する制御部と、前記複数のエンドエフェクタの各々の目標位置を含む制御情報を有するメモリと、を備え、前記制御部は、前記識別情報取得部から前記識別情報を取得し、前記識別情報と前記制御情報とから前記目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、エンドエフェクタの制御システムを提供する。

また、本開示は、画像取得部と、識別情報取得部と、メモリとを備える制御システムによる、ロボットアームに接続可能な複数のエンドエフェクタを制御する方法であって、前記複数のエンドエフェクタの各々を識別する識別情報を前記識別情報取得部から取得し、前記識別情報と前記メモリが有する前記複数のエンドエフェクタの各々の目標位置である制御情報とから目標位置を決定し、前記画像取得部が取得した画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、エンドエフェクタの制御方法を提供する。

また、本開示は、ロボットアームに接続されたエンドエフェクタの制御システムであって、メモリと、プロセッサと、カメラと、を備え、前記カメラは、前記エンドエフェクタと、前記エンドエフェクタの作業対象であるワークとが撮像可能な位置に配置されており、前記メモリは、前記エンドエフェクタが前記ワークを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を有しており、前記プロセッサは、前記カメラが撮像した画像に基づいて、前記エンドエフェクタの現在位置における特徴点と、前記ワークの位置とを特定するとともに、前記エンドエフェクタの前記現在位置における前記特徴点が前記特徴点情報によって示される前記特徴点と一致するように、前記エンドエフェクタを制御する、エンドエフェクタの制御システムを提供する。

本開示によれば、ロボットハンドを簡素化しつつ、エンドエフェクタを制御することができる。

ロボットアーム１およびエンドエフェクタ２の構成例を示す図であり、（ａ）斜視図、（ｂ）側面図、（ｃ）平面図 図１に示したエンドエフェクタ２を示す図であり、（ａ）平面図、（ｂ）斜視図 エンドエフェクタ２に接続されたカメラＣＡＭの撮像範囲を示す図 制御システム１００のハードウェア構成例を示すブロック図 制御システム１００の初期設定例を示すフローチャート メモリ１０２に格納された特徴点情報テーブルＴを示す図 実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャート 実施の形態１に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図、（ｂ）把持完了時点における平面図、（ｃ）特徴点に基づくエンドエフェクタ２の駆動制御を示す概念図 実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャート 実施の形態２に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図および概念図、（ｂ）把持完了時点における平面図および概念図、（ｃ）再把持完了時点における平面図および概念図 図９のステップＳｔ２３における支持確認の例を示す図であり、（ａ）移動量に基づく確認例を示すフローチャート、（ｂ）ワークＷの変形に基づく確認例を示す平面図

（本開示に至る経緯）
工場等で用いられるロボット装置は、ロボットアームにエンドエフェクタを取り付けることで、種々の作業を行うことができる。例えば、エンドエフェクタとしてロボットハンドを用いて、工場の生産ライン上を流れる部品をピッキングする、等の作業である。このロボットアームおよびエンドエフェクタは、ロボットアームに接続された制御装置（コントローラ）によって制御される。

上記の制御は、従来、エンコーダや、力覚センサ等の種々のセンサからのフィードバックを用いて行われていた。例えば、特許文献１に記載の技術においても、力覚センサを用いて把持対象物（ワーク）の把持状態変動性を導出している。

しかしながら、種々のセンサを備えたロボットアームおよびエンドエフェクタの立ち上げ時には、それぞれのセンサについてのキャリブレーションが必要となるため、センサの設定に時間を要するものであった。

また、ロボットアームおよびエンドエフェクタが複数のセンサを備えている場合、複数のセンサからのフィードバックとして得られる情報も、複数の系統となり、情報処理が煩雑になる。さらに、人工知能を用いた制御を行う場合には、この人工知能に機械学習をさせるためのデータがマルチモーダルとなり、学習させづらい。

そこで、以下の実施の形態１および実施の形態２では、力覚センサ等を用いることなく、カメラによってエンドエフェクタの形状を認識して、カメラによる撮像画像に基づいた制御を行う。この構成であれば、制御システムにおいてその他のセンサを使わずに済む。そのため、キャリブレーションはカメラのみとなるため、システム全体のキャリブレーションが容易になる。すなわち、センサレスで簡易なシステム構成にすることができる。

また、力覚センサ等を用いない上記構成であれば、エンドエフェクタからのフィードバック情報を、カメラによる撮像画像に集約することができる。すなわち、マルチモーダルな情報処理を回避することができる。なお、人工知能に機械学習をさせる際にも、用いる情報のチャネルを削減することは有益である。

以下、適宜図面を参照しながら、本開示に係るエンドエフェクタの制御システムおよびエンドエフェクタの制御方法の構成および動作を具体的に開示した実施の形態を、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより請求の範囲に記載の主題を限定することは意図されていない。

＜実施の形態１＞
以下の実施の形態１では、エンドエフェクタとして、２本のフィンガを有したロボットハンド（図２参照）を用いた場合を想定して説明する。なお、エンドエフェクタは、種々の形状を呈することができる。例えば、作業対象物であるワークを、２本の（あるいは５本などの）フィンガで把持したり、吸着体によって吸いつけて支持したり、曲げたフィンガをワークが備えるフックに差し入れてひっかけたりすることができる。いずれにせよ、何らかの作業を行うために、エンドエフェクタがワークを支持する。以下、２本のフィンガを有した、図２に示したようなエンドエフェクタによるワークの支持を、「把持」と表現することがある。

（ロボットアーム１およびエンドエフェクタ２の構成例）
図１は、ロボットアーム１およびエンドエフェクタ２の構成例を示す図であり、（ａ）斜視図、（ｂ）側面図、（ｃ）平面図である。図２は、図１に示したエンドエフェクタ２を示す図であり、（ａ）平面図、（ｂ）斜視図である。以下、これらの図面に基づいて、本開示の制御システムによって制御を行うロボット装置の一例を説明する。

本開示の制御システムによって制御を行うロボット装置は、ロボットアーム１とエンドエフェクタ２とを備えている。ロボットアーム１はベース３上に配置されている。この例においては箱型のコントローラ４が、ロボットアーム１を介してエンドエフェクタ２と接続されている。

エンドエフェクタ２はフィンガＦを備えている（図２参照）。本例においては、フィンガＦは、第１フィンガＦ１および第２フィンガＦ２により構成されている。ただし、フィンガの本数は２本とは限らない。また、図１に示したように、エンドエフェクタ２はカメラＣＡＭを備えている。このカメラＣＡＭについては後述する。

図２に示すように、本例において、第１フィンガＦ１は５つのリンクを有している。すなわち、第１フィンガＦ１の先端から順に、第１リンクＬ１、第２リンクＬ２、第３リンクＬ３、第４リンクＬ４、第５リンクＬ５である。また、リンクとリンクとの間には関節軸が設けられている。すなわち、第１関節軸Ｊ１が第１リンクＬ１と第２リンクＬ２とを接続し、第２関節軸Ｊ２が第２リンクＬ２と第３リンクＬ３とを接続し、第３関節軸Ｊ３が第３リンクＬ３と第４リンクＬ４とを接続し、第４関節軸Ｊ４が第４リンクＬ４と第５リンクＬ５とを接続する。本例においては、第２フィンガＦ２も、第１フィンガＦ１と同様の構成を備えている。

第１フィンガＦ１と第２フィンガＦ２はそれぞれ、第１リンクＬ１の先端に把持部Ｇを備えている。また、図１および図２には、作業対象物であるワークＷが例示されている。図の例では直方体形状を呈するワークＷは、実際には様々な大きさ、形状、硬さ、重量を有している。第１フィンガＦ１と第２フィンガＦ２が備える２つの把持部ＧがワークＷを挟み込むことにより、本例ではロボットハンドであるエンドエフェクタ２がワークＷを支持（把持）する。

（カメラＣＡＭの配置および画角）
図３は、エンドエフェクタ２に接続されたカメラＣＡＭの撮像範囲を示す図である。図中の円錐状の領域ＡＯＦは、カメラＣＡＭの画角（撮像範囲）を示している。

既に述べたように、本開示の制御システムは、力覚センサ等の種々のセンサを用いずに、カメラＣＡＭによる撮像画像に基づいて、エンドエフェクタ２を制御する。画像に基づく制御を実現するために、カメラＣＡＭは、エンドエフェクタ２とロボットアーム１との接続部付近に配置される。また、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとを撮像可能な位置に配置される。すなわち、カメラＣＡＭによって撮像された画像には、エンドエフェクタ２の形状と、支持（把持）を行う際の作業対象であるワークＷの形状とが同時に映り込むことになる。

なお、図３の例において、カメラＣＡＭはエンドエフェクタ２とロボットアーム１との接続部付近に配置されているが、これ以外の場所にカメラＣＡＭが配置されてもよい。

（制御システムの構成）
図４は、実施の形態１に係る制御システム１００のハードウェア構成例を示すブロック図である。制御システム１００は、ロボットアーム１およびエンドエフェクタ２の動作を制御する。

本例における制御システム１００は、プロセッサ１０１と、メモリ１０２と、入力装置１０３と、画像取得部１０４と、エンドエフェクタ接続部１０５と、通信装置１０６と、入出力インターフェース１０７とを含む構成である。メモリ１０２、入力装置１０３、画像取得部１０４、エンドエフェクタ接続部１０５、通信装置１０６、入出力インターフェース１０７は、それぞれプロセッサ１０１との間でデータもしくは情報の入出力が可能に内部バス等で接続される。

プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、あるいはＦＰＧＡ（Field Programmable Gate Array）を用いて構成される。プロセッサ１０１は、制御システム１００の制御部として機能し、制御システム１００の各部の動作を全体的に統括するための制御処理、制御システム１００の各部との間のデータもしくは情報の入出力処理、データの計算処理、およびデータもしくは情報の記憶処理を行う。また、プロセッサ１０１は、エンドエフェクタ２を制御する制御部としても機能する。

メモリ１０２は、ＨＤＤ（Hard Disk Drive）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んでいてよく、プロセッサ１０１によって実行される各種プログラム（ＯＳ（Operation System）、アプリケーションソフト等）や各種データを格納している。また、メモリ１０２は、エンドエフェクタ毎の目標位置である制御情報を有していてよい。この制御情報は、例えば後述の特徴点情報等であってよい。

入力装置１０３は、キーボードやマウス等を含んでいてよく、ユーザとの間のヒューマンインターフェースとしての機能を有し、ユーザの操作を入力する。言い換えると、入力装置１０３は、制御システム１００により実行される各種の処理における、入力または指示に用いられる。なお、入力装置１０３は、コントローラ４に接続されたプログラミングペンダントであってよい。

画像取得部１０４は、カメラＣＡＭと有線あるいは無線を介して接続可能であり、カメラＣＡＭが撮像した画像を取得する。制御システム１００は、画像取得部１０４が取得した画像に対し、画像処理を適宜行うことができる。この画像処理の主体は、プロセッサ１０１であってよい。また、制御システム１００が、図示を省略する画像処理ユニットをさらに備えてよく、該画像処理ユニットが制御システム１００に接続される構成でもよい。プロセッサ１０１による制御の下、この画像処理ユニットによって、画像処理を行うことができる。

エンドエフェクタ接続部１０５は、エンドエフェクタ２（図１を併せて参照）との接続を確保する構成要素であり、エンドエフェクタ接続部１０５を介して制御システム１００とエンドエフェクタ２（およびロボットアーム１）とが接続される。この接続は、コネクタおよびケーブル等を用いた有線接続であってよいが、無線による接続であってもよい。この接続の際、エンドエフェクタ接続部１０５は、エンドエフェクタ２を識別する識別情報をエンドエフェクタ２から取得する。すなわち、エンドエフェクタ接続部１０５は、識別情報取得部として機能する。なお、識別情報を、プロセッサ１０１がエンドエフェクタ接続部１０５からさらに取得してよい。この識別情報によって、接続されたエンドエフェクタ２の種類を特定することが可能である。

通信装置１０６は、ネットワークを介して外部と通信を行うための構成要素である。なお、この通信は有線通信であっても、無線通信であってもよい。

入出力インターフェース１０７は、制御システム１００の間でデータもしくは情報の入出力を行うインターフェースとしての機能を有する。

なお、制御システム１００の上記構成は一例であり、必ずしも上記の構成要素を全て備えていなくともよい。また、制御システム１００は追加の構成要素をさらに備えていてもよい。例えば、箱型の制御システム１００（コントローラ４）が車輪を有し、制御システム１００の上にロボットアーム１およびエンドエフェクタ２を載せて自走してもよい。

（初期設定処理）
以下、制御システム１００の初期設定例を説明する。図５は、制御システム１００の初期設定例を示すフローチャートである。初期設定は、ロボットアーム１およびエンドエフェクタ２に所定の作業をさせる前に行われる。

ロボット装置は、ロボットアームに種々のエンドエフェクタを接続して各種の作業を行う。また、エンドエフェクタの形状や機能は様々である。従って、ワークに対して行いたい作業に応じて、適切なエンドエフェクタ２を選定し、ロボットアーム１に接続する（Ｓｔ１）。

接続されたエンドエフェクタ２に応じた特徴点情報が、制御情報として、制御システム１００のメモリ１０２から、制御システム１００の、図示を省略するワークメモリ等に読み込まれる（Ｓｔ２）。この特徴点情報は、後述の特徴点情報テーブルＴ内の情報であってよい。

（特徴点情報テーブルＴ）
ここで、特徴点情報テーブルＴを示す図６を参照する。特徴点情報テーブルＴは、制御システム１００のメモリ１０２に格納されていてよい。上記ステップＳｔ２において、特徴点情報テーブルＴに含まれる、エンドエフェクタ２に応じた特徴点情報が、メモリ１０２から抽出されて、制御システム１００のワークメモリ等に読み込まれる。

特徴点情報テーブルＴは、例えば以下のようなデータを、エンドエフェクタの種類（エンドエフェクタＡ～Ｃ）毎に有している。
データ項目１：エンドエフェクタの目標位置における特徴点（特徴点情報）
データ項目２：対応可能なワークの寸法
データ項目３：対応可能なワークの重量
（エンドエフェクタの目標位置）
エンドエフェクタは、ワークを支持（把持等）する、ワークを解放する等の、種々の動作を行う。そのため、動作に応じた目標位置があり、その目標位置へとエンドエフェクタを移動（あるいは変形）させる。例えば、エンドエフェクタがワークを支持するには、エンドエフェクタの支持目標位置へとエンドエフェクタを移動（あるいは変形）させればよい。エンドエフェクタがワークを解放する（手離す）には、エンドエフェクタの解放目標位置へとエンドエフェクタを移動（あるいは変形）させればよい。

（特徴点）
本開示の制御システムは、カメラＣＡＭにより撮像した画像に基づいて、エンドエフェクタの制御を行う。そのために、エンドエフェクタ上の１以上の特徴点を特定する。図６においては、特徴点を×印で表現している。この特徴点は、一般的な画像認識技術における特徴点認識によって決定してもよく、エンドエフェクタ上にマーカ（例えば、赤色のランプ等）を設けて、このマーカを特徴点としても良い。

図６に示した特徴点情報テーブルＴの例では、特徴点が配置される場所は、エンドエフェクタの関節軸上である。この関節軸を、ワークを支持（把持）する際の所定の目標位置へと位置決めできれば、適切な把持を行うことができるからである。しかし、特徴点をエンドエフェクタのリンク上（例えば、リンクの先端部等）に配置してもよい。

なお、エンドエフェクタは種類によりその形状が異なるので、エンドエフェクタの種類（エンドエフェクタＡ～Ｃ）毎に、異なる場所に特徴点を配置してもよい。エンドエフェクタ接続部１０５にエンドエフェクタＡ～Ｃのいずれかが接続された際、このエンドエフェクタを識別する識別情報をエンドエフェクタ接続部１０５が前述のように取得し、この識別情報をプロセッサ１０１がエンドエフェクタ接続部１０５から取得し、接続されたエンドエフェクタの種類（Ａ～Ｃ）を決定する。

（エンドエフェクタの目標位置における特徴点）
例えば、図６に示したエンドエフェクタＡがワークを掴んだ状態（エンドエフェクタが目標位置にある状態）における、エンドエフェクタＡ上の特徴点が、エンドエフェクタの目標位置における特徴点である。特徴点情報テーブルＴは、この特徴点の位置情報（特徴点情報）を、データ項目１として有している。

なお、エンドエフェクタは、単一の動作のみを行うとは限らない。さらに、ワークに応じて支持方法を変えることもあり得る。例えば、寸法の大きなワークについては、フィンガの先端でこれを掴むのが好適であり、寸法の小さなワークについては、フィンガで巻き込むことで掴むのが好適である。そこで、特徴点情報テーブルＴは、エンドエフェクタによる支持方法（先端で掴む、巻き込むように掴む、等）に応じて別々に、特徴点情報を有していてよい。

以上を踏まえて、再び図５の説明に戻る。例えば、エンドエフェクタＡがロボットアーム１に接続された（Ｓｔ１）場合、ステップＳｔ２においては、エンドエフェクタＡに応じた特徴点情報が、制御情報として、制御システム１００に読み込まれる。この例においては、エンドエフェクタＡによる複数の支持方法（先端で掴む、巻き込むように掴む、等）にそれぞれ対応する特徴点情報が、制御システム１００にまとめて読み込まれてよい。

続いて、入力装置１０３により、ワークの形状や重量が制御システム１００に入力される（Ｓｔ３）。なお、この入力は人間であるオペレータが行ってよいが、カメラＣＡＭが撮像した画像等に基づいて、制御システム１００自身が、ワークの形状等を推定してもよい。この推定処理は、一般の画像認識技術を用いて行ってよい。秤などの計測機器を制御システム１００に別途接続して、測定された重量を制御システム１００が取得してもよい。

次に、ワークの形状や重量も考慮して、エンドエフェクタＡによる支持方法（先端で掴む、巻き込むように掴む、等）を制御システム１００が決定する（Ｓｔ４）。

以上のステップＳｔ１～Ｓｔ４を行うことにより、実施の形態１に係る制御システム１００の初期設定が終了する。初期設定の終了時点において、制御システム１００は、接続されたエンドエフェクタによる支持方法（先端で掴む、巻き込むように掴む、等）を決定済みであり、その支持方法に応じた特徴点情報も保持（Ｓｔ２）している。すなわち、接続されたエンドエフェクタについての、支持方法に応じたエンドエフェクタの目標位置が、制御システム１００（のプロセッサ１０１）によって決定された状態にある。

（エンドエフェクタ２によるワーク支持の制御例）
次に、実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークの支持を制御する制御例について、図７および図８を参照して説明する。

図７は、実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャートである。図８は、実施の形態１に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図、（ｂ）把持完了時点における平面図、（ｃ）特徴点に基づくエンドエフェクタ２の駆動制御を示す概念図である。なお、ワークＷを、ある場所から別の場所へと移動させる作業を行うという前提で説明する。

まず、ロボットアーム１を動かして、ワークＷを支持（把持）可能な位置へとエンドエフェクタ２を移動させる点については、従来技術を用いてよい。そこで、エンドエフェクタ２が、ワークＷを支持（把持）可能な位置へと移動済みである、図８の（ａ）の状態を初期状態として説明する。

まず、カメラＣＡＭが画像を撮像する。制御システム１００の画像取得部１０４が、この画像を取得する。そして、支持（把持）対象となるワークＷの位置を、カメラＣＡＭが撮像した画像に基づいて、制御システム１００が認識する（Ｓｔ１１）。この位置認識は、従来の画像処理技術に基づいて行ってよい。

次に、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点（目標位置における特徴点）と一致するように、エンドエフェクタを制御する（Ｓｔ１２）。以下、このステップＳｔ１２で行われる処理ついて、より詳しく説明する。

上述のように、先行するステップＳｔ１１において、カメラＣＡＭは撮像を行っている。ここで、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとが撮像可能な位置に配置されている（図１および図３参照）。つまり、カメラＣＡＭによる撮像画像には、エンドエフェクタ２とワークＷの両方が映り込んでいる。制御システム１００は、この撮像画像に基づき、エンドエフェクタ２の現在位置における特徴点を特定することができる。この特徴点の特定は、一般の画像認識技術における特徴点認識によって特定してもよく、エンドエフェクタ２にマーカ（例えば、赤色のランプ等）を設けて、このマーカを特徴点としても良い。なお、理解を容易とするため、エンドエフェクタ２の現在位置における特徴点が、図８の（ｃ）に「特徴点 初期位置」としてプロットされている。

また、図５および図６に基づいて前述した初期設定（Ｓｔ１～Ｓｔ４）により、制御システム１００は、ロボットアーム１に接続されているエンドエフェクタ２についての、支持方法に応じた特徴点情報も既に保持している。この特徴点情報に示される特徴点の位置が、図８の（ｃ）に「特徴点 把持位置」としてプロットされている。

従って、ステップＳｔ１２の開始時点において、制御システム１００は、エンドエフェクタ２の現在位置における特徴点と、エンドエフェクタの目標位置における特徴点との両方を特定済みである。そして、ステップＳｔ１２において、制御システム１００は、エンドエフェクタ２の現在位置における特徴点（特徴点 初期位置）が、特徴点情報によって示される特徴点（特徴点 把持位置）と一致するように、エンドエフェクタ２を制御する。この制御を図示しているのが図８の（ｃ）であり、初期位置にある特徴点が、把持位置にある特徴点に一致するように、エンドエフェクタ２を制御することにより、ワークＷの把持が完了する（図８の（ｂ）参照）。なお、制御システム１００による上記の制御は、エンドエフェクタ２の特徴点の、移動前後の位置が特定済みであるので、エンドエフェクタ２についての逆運動学の計算に基づいて行うことができる。

ワークＷの支持（把持）が完了したので、制御システム１００は次に、ロボットアーム１を制御して、支持（把持）済みのワークＷをある地点から別の地点へと移動させる（Ｓｔ１３）。続いて、制御システム１００は、エンドエフェクタ２が解放の目標位置になるように、エンドエフェクタ２を制御する（Ｓｔ１４）。このステップＳｔ１４によって、エンドエフェクタ２はワークを解放する（離す）。なお、ステップＳｔ１４は、ステップＳｔ１２と同様の処理によって実施してよい。すなわち、特徴点情報テーブルＴが、ワークの解放についての特徴点情報を有し、制御システム１００がこの特徴点情報を用いて、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。

なお、ステップＳｔ１４におけるワークＷの解放は、必ずしも、特徴点情報に基づいて行わなくともよい。例えば、エンドエフェクタ２が有する各フィンガおよび各関節軸の初期位置を予め定めておき、単にその初期位置に戻るように、エンドエフェクタ２を制御してもよい。

＜実施の形態２＞
次に、本開示の実施の形態２について説明する。実施の形態２においても、エンドエフェクタ２として、２本のフィンガを有したロボットハンドを用いた場合を想定して説明する。ロボットアーム１およびエンドエフェクタ２の構成、カメラＣＡＭの配置、制御システム１００の構成、初期設定処理については、実施の形態１と同様であるため、説明を省略する。

実施の形態２は、例えば、ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合等を想定している。ワークＷに関する事前情報が不足している場合、エンドエフェクタ２の目標位置を事前に正確に特定するのは困難である。また、ワークＷが軟らかい素材でできている場合、ワークＷをロボットハンドで把持するとワークＷが変形し得る。この変形も考慮した上で、エンドエフェクタ２がワークＷを適切に支持するようにエンドエフェクタ２を制御するのは、困難である。

しかし、実施の形態２に係る制御システム１００は、上記のような場合であっても、エンドエフェクタ２がワークＷを適切に支持できるように、制御を行うことができる。

（エンドエフェクタ２によるワーク支持の制御例）
実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持を制御する例について、図９および図１０を参照して説明する。

図９は、実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャートである。また、図１０は、実施の形態２に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図および概念図、（ｂ）把持完了時点における平面図および概念図、（ｃ）再把持完了時点における平面図および概念図である。

ロボットアーム１を動かして、ワークＷを支持（把持）可能な位置へとエンドエフェクタ２を移動させる技術は、従来技術を用いてよい。そこで、エンドエフェクタ２が、ワークＷを支持（把持）可能な位置へと移動済みである、図１０の（ａ）の状態を初期状態として説明する。

まず、カメラＣＡＭが画像を撮像する。制御システム１００の画像取得部１０４が、この画像を取得する。そして、支持（把持）対象となるワークＷの位置を、カメラＣＡＭが撮像した画像に基づいて、制御システム１００が認識する（Ｓｔ２１）。この位置認識は、従来の画像処理技術に基づいて行ってよい。なお、この時点におけるエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ａ）に示されている。

次に、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、エンドエフェクタの現在位置における特徴点が、特徴点情報によって示される特徴点（目標位置における特徴点）と一致するように、エンドエフェクタ２を制御する（Ｓｔ２２）。この処理は、実施の形態１に係る、前述のステップＳｔ１２と同様である。

すなわち、ステップＳｔ２２の開始時点において、エンドエフェクタ２の現在位置における特徴点（カメラＣＡＭの撮像画像による）と、目標位置における特徴点（メモリ１０２内の特徴点情報テーブルＴから抽出）との両方を、制御システム１００は特定済みである。そして、ステップＳｔ２２において、制御システム１００は、エンドエフェクタの現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。ステップＳｔ２２の処理が行われた後のエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ｂ）に示されている。

次に、プロセッサ１０１が、エンドエフェクタ２がワークＷを支持しているか否かを確認する（Ｓｔ２３）。この確認の具体例は、図１１に基づいて後述する。エンドエフェクタ２がワークを支持している場合には（Ｓｔ２３、Ｙｅｓ）、把持したワークＷを移動させて解放する、ステップＳｔ２５およびステップＳｔ２６の処理へと遷移する。すなわち、以下の通りである。

制御システム１００は、ロボットアーム１を制御して、支持（把持）済みのワークＷをある地点から別の地点へと移動させる（Ｓｔ２５）。続いて、制御システム１００は、エンドエフェクタ２が解放の目標位置になるように、エンドエフェクタ２の駆動部を制御する（Ｓｔ２６）。このステップＳｔ２６によって、エンドエフェクタ２はワークを解放する（離す）。なお、ステップＳｔ２６は、ステップＳｔ２２と同様の処理によって実施してよい。すなわち、特徴点情報テーブルＴが、ワークの解放についての特徴点情報を有し、制御システム１００がこの特徴点情報を用いて、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２の駆動部を制御する。

また、ステップＳｔ２６におけるワークＷの解放は、必ずしも、特徴点情報に基づいて行わなくともよい。例えば、エンドエフェクタ２が有する各フィンガおよび各関節軸の初期位置を予め定めておき、単にその初期位置に戻るように、エンドエフェクタ２を制御してもよい。

次に、前述のステップＳｔ２３における、エンドエフェクタ２がワークＷを支持していない場合（Ｓｔ２３、Ｎｏ）について説明する。ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合には、先行するステップＳｔ２２にて正しく移動したはずのエンドエフェクタ２が、実際にはワークＷを支持（把持）できないことがある。このような場合に、ワークの再支持（再把持）を行うステップＳｔ２４へと処理が遷移する。

ステップＳｔ２４においては、識別情報と制御情報とから目標位置を新たに決定し、画像取得部１０４が取得した画像をもとに新たな目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、カメラＣＡＭが撮像した画像に基づいて、エンドエフェクタ２の現在位置における特徴点が、ワークＷの位置に基づくエンドエフェクタ２の新たな支持目標位置における特徴点と一致するように、エンドエフェクタ２を制御する。すなわち、エンドエフェクタ２の従前の（第１の）支持目標位置ではワークＷをうまく支持できなかったので、これとは異なる新たな（第２の）支持目標位置へとエンドエフェクタ２を移動（変形）させて、再支持（再把持）を試行するのである。

新たな支持目標位置における特徴点は、前述の特徴点情報テーブルＴに特徴点情報として別途格納しておき、この情報を用いて特定してよい。また、新たな支持目標位置における特徴点を、プロセッサ１０１が動的に計算で求めてもよい。例えば、動作開始時（図１０の（ａ））から把持完了時（図１０の（ｂ））に至るまでの各特徴点の移動軌跡を示す情報をワークメモリ等に保持しておき、この移動軌跡の延長線上に、新たな支持目標位置における特徴点を設定してよい。なお、この新たな特徴点情報を、所定のタイミング（例えば、支持が成功したタイミング等）で、特徴点情報テーブルＴに書き入れてもよい。ステップＳｔ２４の処理が行われた後のエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ｃ）に示されている。

次に、プロセッサ１０１が、エンドエフェクタ２がワークＷを支持しているか否かを確認するステップＳｔ２３における、確認の具体例について説明する。図１１は、図９のステップＳｔ２３における支持確認の例を示す図であり、（ａ）移動量に基づく確認例を示すフローチャート、（ｂ）ワークＷの変形に基づく確認例を示す平面図である。

図１１の（ａ）に示したように、ステップＳｔ２３１において、カメラＣＡＭによる撮像を行う。制御システム１００の画像取得部１０４が、この画像を取得する。次に、ステップＳｔ２３２において、制御システム１００がロボットアーム１を制御して、ロボットアーム１およびエンドエフェクタ２を所定の距離だけ移動させる。続いて、ステップＳｔ２３３において、カメラＣＡＭによる撮像を行う。制御システム１００の画像取得部１０４が、この画像を取得する。以上の処理によって、ワークＷの移動前後の撮像画像が得られる。

そしてステップＳｔ２３４において、ワークＷの移動量と、エンドエフェクタ２の移動量とを比較する。なお、この移動量は、ワークＷの移動前後の撮像画像を用いて計算することができる。エンドエフェクタ２がワークＷを正しく支持できているのであれば、エンドエフェクタ２の移動量と、ワークＷの移動量とが等しくなるはずである。一方、エンドエフェクタ２の移動量と、ワークＷの移動量とが異なる場合は、エンドエフェクタ２がワークＷを正しく支持できていないことになる。従って、ステップＳｔ２３４において、ワークＷの移動量とエンドエフェクタ２の移動量との差Ｄｉｆが、既定の許容誤差値以内である場合、エンドエフェクタ２がワークＷを支持できていると確認できる（Ｓｔ２３、Ｙｅｓ）。一方、前記の差Ｄｉｆが、既定の許容誤差値以内でない場合、エンドエフェクタ２がワークＷを支持できていないと確認できる（Ｓｔ２３、Ｎｏ）。

図１１の（ｂ）は、ステップＳｔ２３における確認を、撮像画像によって認識されたワークＷの変形に基づいて行う例を示している。この確認例においては、エンドエフェクタ２によるワークＷの支持前後の画像を用いて、ワークＷの変形を示す情報を導出する。例えば、カメラＣＡＭによって、動作開始時（時刻ｔ１）における画像ＩＭＧ_ｔ１と、把持完了時（時刻ｔ２）における画像ＩＭＧ_ｔ２を撮像し、これらの画像を制御システム１００の画像取得部１０４が取得する。時刻ｔ１におけるワークＷに比して、時刻ｔ２におけるワークＷは圧縮変形している。この変形量（あるいは変形率）を、上記画像ＩＭＧ_ｔ１および画像ＩＭＧ_ｔ２に基づいて制御システム１００（のプロセッサ１０１）が導出して、ワークＷの変形を示す情報とする。

例えば、時刻ｔ１におけるワークＷの幅をｄ_ｔ１とし、時刻ｔ２におけるワークＷの幅をｄ_ｔ２とした場合、変形率をｄ_ｔ２／ｄ_ｔ１と定義して導出可能である。この変形率を、前記ワークＷの変形を示す情報として用いて、これに基づき支持の確認を行うことができる。例えば、０．９≦ｄ_ｔ２／ｄ_ｔ１＜０．９５ならば、適正な力で支持（把持）を行っているとして、エンドエフェクタ２がワークＷを支持できていると確認できる（Ｓｔ２３、Ｙｅｓ）。ｄ_ｔ２／ｄ_ｔ１＜０．９である場合は、支持（把持）の力が強すぎるとして、０．９５≦ｄ_ｔ２／ｄ_ｔ１である場合は、支持（把持）の力が弱すぎるとして、それぞれ、エンドエフェクタ２がワークＷを支持できていないと確認できる（Ｓｔ２３、Ｎｏ）。なお、前記ワークの変形を示す情報は、上記の変形率以外の情報であってよく、ワークＷの形状、大きさ、軟らかさ、重量等に応じて適切なものを用いればよい。

以上のように、ロボットアーム１に接続可能な複数のエンドエフェクタ２を制御するエンドエフェクタ２の制御システム１００が、エンドエフェクタ２の画像を取得する画像取得部１０４と、エンドエフェクタ２を識別する識別情報を取得するエンドエフェクタ接続部１０５と、エンドエフェクタ２を制御するプロセッサ１０１と、エンドエフェクタ毎の目標位置である制御情報を有するメモリ１０２と、を備え、プロセッサ１０１は、エンドエフェクタ接続部１０５から識別情報を取得し、識別情報と制御情報とから目標位置を決定し、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる撮像画像に集約することで、マルチモーダルな情報処理を回避することができる。

また、プロセッサ１０１は、画像取得部１０４が取得した画像に基づいて、エンドエフェクタ２がワークＷを支持しているか否かを確認し、エンドエフェクタ２がワークＷを支持していない場合、識別情報と制御情報とから目標位置を新たに決定し、画像取得部１０４が取得した画像をもとに新たな目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合であっても、ワークＷの柔軟性や重量に基づく支持の制御が容易となる。その結果、様々なワークＷを支持するエンドエフェクタ２の動作の範囲を広げることができる。さらに、撮像した画像に基づいてエンドエフェクタ２を制御すればよいので、通常の逆運動学にワークの柔軟性を加味した運動法則式の計算が不要となる。

また、プロセッサ１０１による、エンドエフェクタ２がワークＷを支持しているか否かの確認は、プロセッサ１０１が、ワークＷを移動するようにエンドエフェクタ２を制御し、画像取得部１０４によって取得した画像に基づいて、ワークＷの移動量と、エンドエフェクタ２の移動量との差が既定の許容誤差値以内であるかを確認することによって行われる。これにより、エンドエフェクタ２がワークＷを支持しているか否かを、カメラＣＡＭによる撮像画像に基づいて適切に確認することができる。

また、プロセッサ１０１による、エンドエフェクタ２がワークＷを支持しているか否かの確認は、プロセッサ１０１が、画像取得部１０４によって取得した画像に基づいて、ワークＷの変形を示す情報を導出することによって行われる。これにより、エンドエフェクタ２がワークＷを支持しているか否かを、カメラＣＡＭによる撮像画像に基づいて適切に確認することができる。

また、複数のエンドエフェクタに含まれるエンドエフェクタのうち少なくとも１つが、１以上のフィンガＦを有し、フィンガＦの先端でワークＷを掴むことにより、もしくは、フィンガＦでワークＷを巻き込むことにより、ワークＷを支持する。これにより、エンドエフェクタ２によるワークＷの種々の支持態様を、制御システム１００が制御することができる。

また、複数のエンドエフェクタに含まれるエンドエフェクタのうち少なくとも１つが、複数の関節軸を備えた１以上のフィンガＦを有し、エンドエフェクタの特徴点が、少なくとも、フィンガＦの１以上の関節軸上に配置される。これにより、関節軸を、ワークＷを把持する際の所定の位置へと位置決めできる。

また、制御システム１００による、ロボットアーム１に接続可能な複数のエンドエフェクタ２を制御する方法において、制御システム１００は、画像取得部１０４と、エンドエフェクタ接続部１０５と、プロセッサ１０１と、メモリ１０２とを備え、メモリ１０２は、エンドエフェクタ毎の目標位置である制御情報を有しており、画像取得部１０４は、エンドエフェクタ２の画像を取得し、エンドエフェクタ接続部１０５は、エンドエフェクタ２を識別する識別情報を取得し、プロセッサ１０１は、エンドエフェクタ接続部１０５から識別情報を取得し、識別情報と制御情報とから目標位置を決定し、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる画像に集約することで、マルチモーダルな情報処理を回避することができる。

また、ロボットアーム１に接続されたエンドエフェクタ２の制御システム１００が、メモリ１０２と、プロセッサ１０１と、カメラＣＡＭと、を備え、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとが撮像可能な位置に配置されており、メモリ１０２は、エンドエフェクタ２がワークＷを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を（例えば特徴点情報テーブルＴのデータ項目として）有しており、プロセッサ１０１は、カメラＣＡＭが撮像した画像に基づいて、エンドエフェクタ２の現在位置における特徴点と、ワークＷの位置とを特定するとともに、エンドエフェクタ２の現在位置における特徴点が特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる撮像画像に集約することで、マルチモーダルな情報処理を回避することができる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、ロボットハンドを簡素化しつつ、エンドエフェクタを制御できるエンドエフェクタの制御システムおよびエンドエフェクタの制御方法として有用である。

１ ロボットアーム
２ エンドエフェクタ
３ ベース
４ コントローラ
１００ 制御システム
１０１ プロセッサ
１０２ メモリ
１０３ 入力装置
１０４ 画像取得部
１０５ エンドエフェクタ接続部
１０６ 通信装置
１０７ 入出力インターフェース
ＣＡＭ カメラ
Ｄｉｆ 差
Ｆ フィンガ
Ｆ１ 第１フィンガ
Ｆ２ 第２フィンガ
Ｇ 把持部
ＩＭＧ_ｔ１，ＩＭＧ_ｔ２ 画像
Ｊ１ 第１関節軸
Ｊ２ 第２関節軸
Ｊ３ 第３関節軸
Ｊ４ 第４関節軸
Ｌ１ 第１リンク
Ｌ２ 第２リンク
Ｌ３ 第３リンク
Ｌ４ 第４リンク
Ｌ５ 第５リンク
Ｔ 特徴点情報テーブル
Ｗ ワーク

Claims (7)

1. ロボットアームに接続可能な複数のエンドエフェクタを制御するエンドエフェクタの制御システムであって、
   前記複数のエンドエフェクタのうち前記ロボットアームに接続されたエンドエフェクタの画像を取得する画像取得部と、
   前記エンドエフェクタを識別する識別情報を取得する識別情報取得部と、
   前記エンドエフェクタを制御する制御部と、
   前記複数のエンドエフェクタの各々の目標位置を含む制御情報を有するメモリと、を備え、
   前記制御部は、
   前記識別情報取得部から前記識別情報を取得し、前記識別情報と前記制御情報とから前記目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行い、
   作業対象であるワークを移動するように前記エンドエフェクタを制御し、前記画像取得部によって取得した前記画像に基づいて、前記ワークの移動量と、前記エンドエフェクタの移動量との差が既定の許容誤差値以内であるかを確認することによって前記エンドエフェクタが前記ワークを支持しているか否かを確認する、
   エンドエフェクタの制御システム。
2. 前記制御部は、
   前記エンドエフェクタが前記ワークを支持していない場合、前記識別情報と前記制御情報とから新たな目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記新たな目標位置に一致するように前記エンドエフェクタの制御を行う、
   請求項１に記載のエンドエフェクタの制御システム。
3. 前記複数のエンドエフェクタに含まれる少なくとも１つのエンドエフェクタが、１以上のフィンガを有し、前記フィンガの先端でワークを掴むことにより、前記ワークを支持する、
   請求項１または請求項２に記載のエンドエフェクタの制御システム。
4. 前記複数のエンドエフェクタに含まれる少なくとも１つエンドエフェクタが、１以上のフィンガを有し、前記フィンガでワークを巻き込むことにより、前記ワークを支持する、
   請求項１から請求項３のいずれか１項に記載のエンドエフェクタの制御システム。
5. 前記複数のエンドエフェクタに含まれる少なくとも１つエンドエフェクタが、複数の関節軸を備えた１以上のフィンガを有し、
   前記エンドエフェクタの特徴点が、少なくとも、前記１以上のフィンガの前記複数の関節軸のうち１以上の関節軸上に配置される、
   請求項１から請求項４のいずれか１項に記載のエンドエフェクタの制御システム。
6. 画像取得部と、識別情報取得部と、メモリとを備える制御システムによる、ロボットアームに接続可能な複数のエンドエフェクタを制御する方法であって、
   前記複数のエンドエフェクタの各々を識別する識別情報を前記識別情報取得部から取得し、
   前記識別情報と前記メモリが有する前記複数のエンドエフェクタの各々の目標位置である制御情報とから目標位置を決定し、
   前記画像取得部が取得した画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行い、
   作業対象であるワークを移動するように前記エンドエフェクタを制御し、前記画像取得部によって取得した前記画像に基づいて、前記ワークの移動量と、前記エンドエフェクタの移動量との差が既定の許容誤差値以内であるかを確認することによって前記エンドエフェクタが前記ワークを支持しているか否かを確認する、
   エンドエフェクタの制御方法。
7. ロボットアームに接続されたエンドエフェクタの制御システムであって、
   メモリと、プロセッサと、カメラと、を備え、
   前記カメラは、前記エンドエフェクタと、前記エンドエフェクタの作業対象であるワークとが撮像可能な位置に配置されており、
   前記メモリは、前記エンドエフェクタが前記ワークを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を有しており、
   前記プロセッサは、
   前記カメラが撮像した画像に基づいて、前記エンドエフェクタの現在位置における特徴点と、前記ワークの位置とを特定するとともに、
   前記エンドエフェクタの前記現在位置における前記特徴点が前記特徴点情報によって示される前記特徴点と一致するように、前記エンドエフェクタを制御し、
   前記ワークを移動するように前記エンドエフェクタを制御し、前記画像取得部によって取得した前記画像に基づいて、前記ワークの移動量と、前記エンドエフェクタの移動量との差が既定の許容誤差値以内であるかを確認することによって前記エンドエフェクタが前記ワークを支持しているか否かを確認する、
   エンドエフェクタの制御システム。

Images