JP2015071206A - 制御装置、ロボット、教示データ生成方法及びプログラム - Google Patents
制御装置、ロボット、教示データ生成方法及びプログラム Download PDFInfo
- Publication number
- JP2015071206A JP2015071206A JP2013208470A JP2013208470A JP2015071206A JP 2015071206 A JP2015071206 A JP 2015071206A JP 2013208470 A JP2013208470 A JP 2013208470A JP 2013208470 A JP2013208470 A JP 2013208470A JP 2015071206 A JP2015071206 A JP 2015071206A
- Authority
- JP
- Japan
- Prior art keywords
- image recognition
- robot
- hand
- orientation
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】 把持作業及び把持したツールによるワークへの作業についてのロボット動作の教示コストを低減することができる制御装置、ロボット、教示データ生成方法及びプログラムの提供。【解決手段】 制御装置100は、画像認識処理を行う画像認識部110と、ロボット300の把持部310の位置姿勢を表す位置姿勢データの特定処理を行い、ロボット300の教示データの生成処理を行う処理部130と、を含む。そして、画像認識部110は、教示者の手がツールを把持した把持状態の撮像画像に対して画像認識処理を行う。さらに、処理部130は、把持状態の画像認識処理の結果に基づいて、把持状態での把持部310の位置姿勢データを含む教示データを生成する。【選択図】 図1
Description
本発明は、制御装置、ロボット、教示データ生成方法及びプログラム等に関係する。
ロボットに対して所望の動作を行わせるためには、例えばロボットの関節(ジョイント)をどのように変化させ、ロボットの手先(TCP:tool center point)をどの時刻にどの位置にもっていくか、といった動作指令を逐一ロボットに与える必要がある。このような動作指令は人間が記述しており、かつ、ロボットに動作指令を与えた後は、人間が確認しながらロボットを動作させる必要がある。人間が行うこの手続きを「教示(ティーチング:teaching)」と呼ぶ。
そして、教示の具体的な方法としては、手動その他で所定の動きをロボットにさせ、その時の動作を記憶させるティーチングプレイバック(Teaching playback)や、教示者がロボットのアーム等を手で動かすことでロボット動作を教示するダイレクトティーチング(Direct teaching)、或いはロボットの実機を使用せずに、コンピューター上でシミュレーションを用いて教示を行うオフラインティーチング(Offline teaching)等が知られている。また、これらのロボット動作の教示方法に関する発明としては、特許文献1や特許文献2に記載される従来技術などがある。
ロボット動作の教示作業には長い時間と多大な労力がかかり、教示者にとって大きな負担となっている。
本発明の幾つかの態様によれば、把持作業及び把持したツールによるワークへの作業についてのロボット動作の教示コストを低減することができる制御装置、ロボット、教示データ生成方法及びプログラム等を提供することができる。
本発明の一態様は、画像認識処理を行う画像認識部と、ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、を含み、前記画像認識部は、教示者の手がツールを把持した把持状態の撮像画像に対して前記画像認識処理を行い、前記処理部は、前記把持状態の前記画像認識処理の結果に基づいて、前記把持状態での前記把持部の前記位置姿勢データを含む前記教示データを生成する制御装置に関係する。
本発明の一態様では、教示者の手がツールを把持した把持状態を複数の撮像部により撮像する。そして、取得した撮像画像に対して画像認識処理を行って、教示者の手に対応するロボットの把持部が把持状態である時の、把持部の位置姿勢を表す位置姿勢データを特定する。さらに、特定した位置姿勢データを含むロボットの教示データを生成する。
よって、把持作業及び把持したツールによるワークへの作業についてのロボット動作の教示コストを低減することが可能となる。
また、本発明の一態様では、前記画像認識部は、前記把持状態の第1の撮像画像と、前記教示者の前記手により把持された前記ツールでワークに作業を行っている作業状態の第2の撮像画像とを取得し、前記第1の撮像画像に対する第1の画像認識処理と、前記第2の撮像画像に対する第2の画像認識処理とを行い、前記処理部は、前記第1の画像認識処理の結果と前記第2の画像認識処理の結果とに基づいて、前記作業状態での前記把持部の前記位置姿勢データの前記特定処理を行ってもよい。
これにより、作業状態の撮像画像からだけでは、教示者の手とツールの相対的な位置姿勢関係を特定することが困難な場合でも、作業状態における教示者の手とツールとワークの相対的な位置姿勢関係を特定すること等が可能になる。
また、本発明の一態様では、前記処理部は、前記教示者の前記手と、前記ツールと、前記ロボットの作業対象であるワークとの相対的な位置姿勢関係を求め、求めた前記位置姿勢関係に基づいて、前記教示者の前記手により把持された前記ツールで前記ワークに作業を行っている作業状態での、前記把持部の前記位置姿勢データの前記特定処理を行ってもよい。
これにより、教示者の手とツールとワークの三者の相対的な位置姿勢関係を求めること等が可能になる。
また、本発明の一態様では、前記画像認識部は、前記画像認識処理において、前記ツール及び前記ワークの少なくとも一方について輪郭線検出処理を行って、前記輪郭線検出処理の結果に基づいて、前記ツール及び前記ワークの少なくとも一方と、前記教示者の前記手との相対的な位置姿勢関係を求めてもよい。
これにより、ツール及びワークの少なくとも一方の輪郭線に基づいて、ツール及びワークの少なくとも一方と、教示者の手との相対的な位置姿勢を特定すること等が可能になる。
また、本発明の一態様では、前記画像認識部は、前記画像認識処理において、前記教示者の前記手と前記ツールの少なくとも一方に設けられたマーカーについてのマーカー検出処理を行い、前記マーカー検出処理の結果に基づいて、前記教示者の前記手と前記ツールとの相対的な位置姿勢関係を求めてもよい。
これにより、手とツールの相対的な位置姿勢関係をより確実に求めること等が可能になる。
また、本発明の一態様では、前記処理部は、前記教示者の前記手のモデルと、前記ロボットの前記把持部との対応関係に基づいて、前記把持部の前記位置姿勢データの前記特定処理を行ってもよい。
これにより、教示者の手とツールとワークの相対的な位置姿勢関係を、ロボットの把持部とツールとワークの相対的な位置姿勢関係に変換すること等が可能になる。
また、本発明の一態様では、前記画像認識部は、前記画像認識処理において、前記教示者の前記手について特徴点検出処理を行って、前記手のモデルを生成し、生成した前記手の前記モデルに基づいて、前記把持部の前記位置姿勢データの前記特定処理を行ってもよい。
これにより、教示者の手のモデルにより、教示者の手の位置姿勢を特定すること等が可能になる。
また、本発明の一態様では、前記画像認識部は、前記把持状態の第1の撮像画像に対する第1の画像認識処理を行い、前記処理部は、前記第1の画像認識処理の結果に基づいて、前記教示者の前記手と前記ツールとの相対的な第1の位置姿勢関係を求め、前記画像認識部は、前記教示者の前記手により把持された前記ツールでワークに作業を行っている作業状態の第2の撮像画像に対する第2の画像認識処理を行い、前記処理部は、前記第1の位置姿勢関係と前記第2の画像認識処理の結果とに基づいて、前記教示者の前記手と前記ツールと前記ワークとの相対的な第2の位置姿勢関係を求め、前記教示者の前記手のモデルと前記ロボットの前記把持部との対応関係と、求めた前記第2の位置姿勢関係とに基づいて、前記作業状態における前記ロボットの前記把持部と、前記ツールと、前記ワークとの相対的な第3の位置姿勢関係を求め、前記第3の位置姿勢関係に基づいて、前記作業状態における前記把持部の前記位置姿勢データを特定してもよい。
これにより、作業状態におけるロボットの把持部とツールとワークの相対的な位置姿勢関係を、正確に特定すること等が可能になる。
また、本発明の一態様では、前記処理部は、前記画像認識処理の結果に基づいて、前記把持部の前記位置姿勢データの前記特定処理を行った後に、前記教示者によるジョグツールの操作情報に基づいて、前記把持部の前記位置姿勢データの補正処理を行ってもよい。
これにより、教示データに含まれるロボットの把持部の位置姿勢が、教示者が期待する目標位置姿勢からずれている場合に、教示データを修正すること等が可能になる。
また、本発明の他の態様では、画像認識処理を行う画像認識部と、ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、を含み、前記画像認識部は、教示者の手により把持されたツールでワークに作業を行っている作業状態の撮像画像に対して前記画像認識処理を行い、前記処理部は、前記作業状態での前記画像認識処理の結果に基づいて、前記作業状態の前記把持部の前記位置姿勢データを含む前記教示データを生成する制御装置に関係する。
これにより、作業状態において、教示者が意図する位置姿勢をロボットの把持部にとらせること等が可能になる。
また、本発明の他の態様では、画像認識処理を行う画像認識部と、ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、を含み、前記画像認識部は、教示者の手がツールを把持した把持状態の撮像画像に対して前記画像認識処理を行い、前記処理部は、前記把持状態の前記画像認識処理の結果に基づいて、前記把持状態での前記把持部の前記位置姿勢データを含む前記教示データを生成するロボットに関係する。
また、本発明の他の態様では、教示者の手がツールを把持した把持状態を撮像部により撮像し、取得した撮像画像に基づいて、前記教示者の前記手に対応するロボットの把持部が前記把持状態である時の、前記把持部の位置姿勢を表す位置姿勢データを特定し、特定した前記位置姿勢データを含む前記ロボットの教示データを生成する教示データ生成方法に関係する。
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。
以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
近年、ロボットは多軸化が進み、手先が器用になってきている。そして、ロボットの把持部によりワークやツールを把持する作業などが実際に行われている。
近年、ロボットは多軸化が進み、手先が器用になってきている。そして、ロボットの把持部によりワークやツールを把持する作業などが実際に行われている。
このような把持作業をロボットに行わせるためには、ロボットに把持動作を教示する必要がある。例えば、前述した特許文献1において開示されている方法では、ティーチングペンダントを用いたジョグベースの方法により教示作業を行う。この教示方法は、ティーチングプレイバックの一つである。
具体的に、特許文献1において開示されている方法では、把持部で工具などを把持した状態の位置姿勢の教示を行うに当たり、事前に専用のダミー冶具を製作し、ダミー冶具と把持部(エンドエフェクター)を交換しておく必要がある。そして、教示のみを行う専用の状態で、教示者(人間)がティーチングペンダント又はリモートコントローラーを駆使して、ジョグを相当回数繰り返し、冶具先端の位置姿勢を教示する。しかし、このような教示作業には長い時間と多大な労力がかかり、教示者にとって大きな負担となっている。
また他にも、ティーチングプレイバックの一つとして、ダイレクトティーチングという方法がある。ダイレクトティーチングは、ロボットの把持部やアームなどを教示者が直接手で持ち、目標位置まで動かして、一連の動作をロボットに記憶させるという方法である。
ダイレクトティーチングは、ティーチングペンダントを用いて教示を行う場合よりも、ロボットの目標位置(軌道)を直感的に教示できるため、非常に有用であり、教示工数も削減することができる。しかし、ダイレクトティーチングは、ロボットの実機を用いなければ教示を行うことができないという問題点がある。
一方で、ロボットの実機を実際に動作させる前に、PC(Personal Computer)上でロボット動作のシミュレーションを行い、ロボットが安全かつ期待通りに動作するかを確認することが増えてきた。この際には、ロボットの実機を用いずに、ロボットの動作を決定する。さらに、PC上で決定したロボット動作のシナリオデータを、実際のロボットの教示データとして用いることも行われる。このように、ロボットの実機を用いない教示方法を、オフラインティーチングと呼ぶ。オフラインティーチングは、ロボットの実機を用いないため、ロボットの実機がまだ完成していない段階に、予めロボット動作の検討をしておきたい場合や、ロボットが置かれた作業現場と離れたオフィス等でロボット動作を決定したい場合などにおいて、特に有用である。
ただし、オフラインティーチングは、教示者がロボットの目標座標の数値を入力する等して行われることが多いが、これにはティーチングペンダントを用いて教示を行う場合と同等のコストがかかってしまう。
そのため、実用上は、オフラインティーチングを行う際にも、ダイレクトティーチングのような直感的な教示ができることが望まれている。
そこで、以下で説明する本実施形態の制御装置等は、ロボットを用いないオフラインティーチングでありながら、ダイレクトティーチングに類似した方法で教示を行う。具体的には、教示者の手でツールを把持した状態を撮像し、撮像した撮像画像に基づいてロボットの把持部の位置姿勢を教示する。そのため、本実施形態では、教示専用の冶具等を用いる必要もないし、ロボットの実機を用いる必要もない。これにより、ロボットの把持作業における教示コスト(教示工数、準備コスト)を低減する。
ここで、教示コストとは、実際の教示作業にかかる教示工数や、教示作業を行うに当たり必要となる準備コスト等を指す。また、準備コストとは、例えば教示に用いる冶具の設計や製造にかかるコスト(工数、費用)などを指す。
次に、本実施形態の制御装置100の構成例を図1に示す。本実施形態の制御装置100は、画像認識処理を行う画像認識部110と、ロボット300の把持部310の位置姿勢を表す位置姿勢データの特定処理を行い、ロボット300の教示データの生成処理を行う処理部130と、を含む。
そして、画像認識部110は、教示者の手がツールを把持した把持状態の撮像画像に対して画像認識処理を行う。ここで、画像認識処理とは、撮像画像に対して、特徴点検出処理や輪郭線検出処理等を行って、撮像画像に映る物体を認識する処理である。なお、画像認識処理の具体例については後述する。
さらに、処理部130は、把持状態の画像認識処理の結果に基づいて、把持状態での把持部310の位置姿勢データを含む教示データを生成し、生成した教示データをロボット300に出力する。
なお、画像認識部110及び処理部130の機能は、各種プロセッサー(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。また、制御装置100は、図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
ここで、図2(A)、図2(B)及び図3のフローチャートを用いて、処理の流れを説明する。まず、図2(A)に示すように、教示者TPの手HDがツールTLを把持した把持状態を複数の撮像部(CM1〜CM3)により撮像する(S101)。そして、取得した撮像画像に対して画像認識処理を行って(S102)、図2(B)に示すように、教示者TPの手HDに対応するロボットRBの把持部HPが把持状態である時の、把持部HPの位置姿勢を表す位置姿勢データを特定する(S103)。さらに、特定した位置姿勢データを含むロボットRBの教示データを生成する(S104)。
すなわち、把持状態において、ロボットRBの把持部HPとツールTLの相対的な位置姿勢関係(以下、相対位置姿勢関係と呼ぶ)が、撮像画像に映る教示者TPの手HDとツールTLの相対位置姿勢関係と、同じになるような教示データを生成するのである。
ここで、ツールとは、ワークや作業対象に対して加工等の作業を行うための道具であって、例えばドリルやドライバーなどの工具を指す。なお、ツールは、把持部310により把持されるものであってもよいし、ロボット300のアームのエンドポイントに直接設けられるものであってもよい。
また、把持状態とは、ロボット300の把持部310又は教示者の手が、ツール(又はワーク)を把持している状態のことである。例えば、図2(A)は、教示者TPが把持状態である時の様子を示している。
そして、撮像画像とは、撮像部200によって撮像することにより得られる画像のことをいう。また、撮像画像は、外部の記憶部に記憶された画像や、ネットワークを介して取得される画像であってもよい。なお、本実施形態では、3次元空間での教示者の手やワーク等の位置姿勢を特定するため、複数の撮像部200を用いることが望ましい。撮像部200は、例えば3台であることが望ましく、少なくとも2台は必要である。
また、位置姿勢データとは、把持部310の位置及び姿勢を表すデータのことをいう。位置姿勢データは、例えば後述する図8のVT1やVT2などの位置姿勢ベクトルを表すデータである。
そして、教示データとは、ロボット300が行う動作をロボット300に教示するために用いるデータであり、例えばシナリオデータのことである。シナリオデータとは、ロボット300が行う処理を規定するデータであり、さらに具体的に言うと、ロボット300が行う処理が時系列順に記述されたデータのことをいう。
これによれば、ロボット300に教示したい位置姿勢をロボット300の実機に取らせる必要がなく、教示したい位置姿勢を教示者自身が取ることで、教示を行うことが可能になる。さらには、細かい数値入力等を行うジョグを教示者が相当回数繰り返す必要もない。
このように、この方法は、ダイレクトティーチング又は他のティーチングプレイバックでロボット300の実機に行わせていた動作を、教示者(人間)が代わりに行うものであり、ロボット300の実機を用いて行うダイレクトティーチングよりもさらに手間を削減することができる。よって、把持作業及び把持したツールによるワークへの作業についてのロボット動作の教示コストを低減することが可能になる。
また、本実施形態では特に、実際にロボット300がツールを用いてワークに対し作業を行う状態(作業状態)において、ロボット300の把持部310に、教示者が意図する位置姿勢を取らせたい。
そこで、本実施形態では、作業状態のロボット300の把持部310を教示者の手で模擬することにより、教示を行っても良い。つまり、教示者自身の手を、作業状態のロボット300の把持部310にとらせたい位置姿勢と同じ位置姿勢にして、この時の教示者の手を撮像し、取得した撮像画像に基づいて教示を行う。
具体的には、画像認識部110は、教示者の手により把持されたツールでワークに作業を行っている作業状態の撮像画像に対して画像認識処理を行う。そして、処理部130は、作業状態での画像認識処理の結果に基づいて、作業状態の把持部310の位置姿勢データを含む教示データを生成する。
ここで、図2(B)、図2(C)及び図4のフローチャートを用いて処理の流れを説明する。例えば、図2(B)に示す状態が、ロボットRBの作業状態であるとする。ここで、作業状態とは、ロボットRBの把持部HP又は教示者TPの手HDが、ツールTLを把持して、ツールTLによりワークWKに作業をする状態のことである。すなわち、作業状態は、把持状態の特別な状態であるとも言える。具体的に図2(B)では、ロボットRBがドライバー(ツールTL)の先端をネジ(ワークWK)のネジ穴に挿し込む作業を示している。
そして、図2(C)に示すように、図2(B)に示すロボットRBの作業状態を、教示者TPが模擬する。この様子を複数の撮像部CM1〜CM3により撮像し(S201)、取得した撮像画像に対して画像認識処理を行って(S202)、作業状態における教示者TPの手HDとツールTLとワークWKの相対位置姿勢を特定する(S203)。そして、作業状態において、ロボットRBの把持部HPとツールTLとワークWKの相対位置姿勢関係が、撮像画像に映る教示者TPの手HDとツールTLとワークWKの相対位置姿勢関係と同じになるような教示データを生成する(S204)。
このようにして生成した教示データを用いてロボット300を動作させれば、作業状態において、教示者が意図する位置姿勢をロボット300の把持部310にとらせること等が可能になる。
ここで、前述したように、作業状態での把持部310の位置姿勢を特定するためには、教示者の手とツールとワークの三者の相対位置姿勢関係を特定する必要がある。しかし、教示者の手により作業状態を模擬して得られた撮像画像には、ワークの周辺に配置された障害物が映り込む場合などがあるため、教示者の手とツールの相対位置姿勢関係を特定することが困難な場合がある。
そこで、本実施形態では、教示者の手とツールの相対位置姿勢関係を特定した後に、これらとワークの相対位置姿勢関係を特定する。すなわち、教示者の手とツールとワークの三者の相対位置姿勢関係を特定する処理を二つに分ける。
具体的には、画像認識部110は、把持状態の第1の撮像画像と、教示者の手により把持されたツールでワークに作業を行っている作業状態の第2の撮像画像とを取得し、第1の撮像画像に対する第1の画像認識処理と、第2の撮像画像に対する第2の画像認識処理とを行う。そして、処理部130は、第1の画像認識処理の結果と第2の画像認識処理の結果とに基づいて、作業状態での把持部310の位置姿勢データの特定処理を行う。
例えば、図2(A)に示すように、教示者TPが把持状態を模擬し、この時の様子を撮像して、第1の撮像画像を取得する。そして、取得した第1の撮像画像に基づいて、教示者TPの手HDとツールTLの相対位置姿勢関係を特定する。なお、第1の画像認識処理とは、この時に、第1の撮像画像に映る教示者の手とツールを認識する処理のことである。
次に、図2(C)に示すように、教示者TPが作業状態を模擬し、この時の様子を撮像して、第2の撮像画像を取得する。そして、取得した第2の撮像画像に基づいて、教示者TPの手HDとツールTLとワークWKの相対位置姿勢関係を特定する。なお、教示者TPの手HDとツールTLの相対位置姿勢関係は、第1の撮像画像から既に特定されているため、ここでは、ワークWKとの相対位置姿勢関係だけを特定すればよい。また、第2の画像認識処理とは、この時に、少なくとも第2の撮像画像に映るワークを認識する処理のことである。
そして、以上の処理結果に基づいて、図2(B)に示すような、作業状態におけるロボットRBの把持部HPの位置姿勢を特定する。
これにより、作業状態の撮像画像からだけでは、教示者の手とツールの相対位置姿勢関係を特定することが困難な場合でも、作業状態における教示者の手とツールとワークの相対位置姿勢関係を特定すること等が可能になる。
ここで、図5のフローチャートを用いて、前述した第1の画像認識処理と第2の画像認識処理とを行う場合の処理の流れについて説明する。
まず、図2(A)のように、教示者がツールを把持した把持状態を、撮像部200が撮像し、画像認識部110が、把持状態の第1の撮像画像を取得し(S301)、第1の撮像画像に対する第1の画像認識処理を行う(S302)。
次に、処理部130が、第1の画像認識処理の結果に基づいて、教示者の手とツールとの相対的な第1の位置姿勢関係を求める(S303)。
そして、撮像部200が、図2(C)のように、教示者の手により把持されたツールでワークに作業を行っている作業状態を撮像する。次に、画像認識部110が、作業状態の第2の撮像画像を取得し(S304)、第2の撮像画像に対する第2の画像認識処理を行う(S305)。
さらに、処理部130は、第1の位置姿勢関係と第2の画像認識処理の結果とに基づいて、教示者の手とツールとワークとの相対的な第2の位置姿勢関係を求める(S306)。
この後に、処理部130は、教示者の手のモデルとロボット300の把持部310との対応関係を取得する(S307)。そして、処理部130は、取得した対応関係と、求めた第2の位置姿勢関係とに基づいて、作業状態におけるロボット300の把持部310と、ツールと、ワークとの相対的な第3の位置姿勢関係を求める(S308)。
最後に、処理部130は、第3の位置姿勢関係に基づいて、作業状態における把持部310の位置姿勢データを特定し(S309)、作業状態の把持部310の位置姿勢データを含む教示データを生成する(S310)。
これにより、作業状態におけるロボット300の把持部310とツールとワークの相対的な位置姿勢関係を、正確に特定すること等が可能になる。なお、各処理の詳細については後述する。
また、比較例として、前述した特許文献2において開示されるロボット動作の教示装置に関する発明がある。特許文献2の発明では、同文献の図1に示すように、教示者Pがワーク(W1、W2)に対して作業を行い、その様子を撮像して、ワーク(W1、W2)の位置情報を時系列順に取得し、取得した位置情報に基づいて、ロボット1の動作プログラムを生成する。
このように、特許文献2の発明では、ワークの位置情報のみを撮像画像から特定し、取得したワークの位置情報に基づいて、ロボット1の動作プログラム(教示データ)を生成する。
また、特許文献2の図2のフローチャートのステップS5では、ロボットの設置位置とハンド(把持部)の把持位置に関するデータに基づいて、ワークの位置姿勢をロボット座標系での位置姿勢に変換している。ここで、ハンドの把持位置とは、把持状態におけるハンドとワーク(又はツール)の相対位置姿勢関係のことであり、ハンドの把持位置に関するデータは、メモリ6にあらかじめ格納されている。さらに、特許文献2の発明では、前提として、ハンドの把持位置が一義的に決まる場合を想定していると考えられる。つまり、ワークを把持する方向は常に一定方向(例えば上から)であり、ワークとハンドが接触する位置も一定の位置(例えばワークの両側面の中心位置)である場合を想定していると考えられる。この場合には、メモリ6に格納されているハンドの把持位置のデータは、実際の把持状態を正しく表すため、ワークの位置姿勢をロボット座標系での位置姿勢に、実際の把持状態と相違なく変換することが可能である。
しかし実際には、ロボットの構造や経路設定の都合上、ハンドの把持位置は場合によって変わることが多い。例えば、ワークの位置姿勢が同じであっても、ワークを上から把持することもあるし、横から把持することもある。また、ワークとハンドの接触位置も、ワークの種類によって変わることが通常である。このように、ハンドの把持位置がその都度変わる場合には、メモリ6に格納されているハンドの把持位置のデータは、必ずしも実際の把持状態を正しく表すとは限らない。よって、把持位置が一義的に決まるものでない場合には、特許文献2の図2のステップS5において、実際の把持状態とは一致しない座標変換を行ってしまい、教示者の期待通りの教示データを生成することができないことがある。言い換えれば、特許文献2の発明では、把持部がどのようにツールを把持すればよいかを教示することができない。
これに対して本実施形態では、ワークの位置情報だけではなく、教示者の手(ロボット300の把持部310)とツールの相対位置姿勢関係を、撮像画像から特定する。そのため、特定した相対位置姿勢関係は、実際の把持状態を正しく表すものである。そして、特定した相対位置姿勢関係に基づいて、教示データを生成する。これにより、把持状態における把持部310とツールの位置姿勢関係を、教示者が意図する通りに教示することができる。つまり、本実施形態では、特許文献2の発明とは異なり、状況に適した様々な把持位置姿勢をロボットに教示することが可能である。
2.処理の詳細
次に、本実施形態の各処理の詳細について説明する。
次に、本実施形態の各処理の詳細について説明する。
まず、画像認識処理について説明する。なお、以下で説明する各画像認識処理は、前述した図3のフローチャートのステップS102や、図4のフローチャートのステップS202、図5のフローチャートのステップS302及びステップS305のいずれにおいても行うことができる。
画像認識部110は、画像認識処理において、教示者の手について特徴点検出処理を行って、手のモデルを生成し、生成した手のモデルに基づいて、把持部310の位置姿勢データの特定処理を行う。
具体的には、例えば図6に示すような撮像画像PIMにおいて、教示者の手HDの複数の特徴点(SP1〜SP8)を検出し、これらの特徴点を結んで、手HDのモデルMDを生成する。
ここで、特徴点とは、画像中から際立って観測できる点のことをいう。例えば、図6ではSP1〜SP8の点により表される。本例では、特徴点の検出方法として、コーナー検出法等を用いるが、その他の一般的なコーナー部検出(固有値、FAST特徴検出)を用いても良いし、SIFT(Scale invariant feature transform)に代表される局所特徴量記述子やSURF(Speeded Up Robust Feature)等を用いても良い。
また、手のモデルとは、教示者の手の大まかな外形を表す2次元図形や3次元CAD(Computer Aided Design)モデルデータ等のことを指す。例えば図6では、手のモデルはMDにより表される。なお、CADとは、コンピューター支援設計とも呼ばれ、コンピューターを用いて設計することを指す。また、CADモデルデータとは、CADにおいて設計される設計対象を表すデータのことをいう。
これにより、教示者の手のモデルに基づいて、教示者の手の位置姿勢を特定し、特定した教示者の手の位置姿勢に基づいて、ロボット300の把持部310の位置姿勢を特定すること等が可能になる。
また、画像認識部110は、画像認識処理において、ツール及びワークの少なくとも一方について輪郭線検出処理を行って、輪郭線検出処理の結果に基づいて、ツール及びワークの少なくとも一方と、教示者の手との相対的な位置姿勢関係を求める。
具体的には、例えば図6に示すような撮像画像PIMにおいて、ツールTLの輪郭線OL1と、ワークWKの輪郭線OL2とを検出する。
ここで、輪郭線検出処理とは、撮像画像上に映るワークやツールなどの物体の輪郭線を抽出し、輪郭情報を特定する処理のことをいう。例えば、画像の輝度勾配の大きさが所与の値以上の領域を黒く塗りつぶした二値画像を生成し、この二値画像に対して細線化処理を行うことにより、輪郭線を抽出する。なお、輪郭情報とは、物体の輪郭を表す情報である。輪郭情報は、例えば、輪郭の始点と終点の画像上での座標位置や、ベクトルとその大きさ等である。
これにより、ツール及びワークの少なくとも一方の輪郭線に基づいて、ツール及びワークの少なくとも一方と、教示者の手との相対位置姿勢を特定すること等が可能になる。
また、教示者の手とツールの相対的な位置姿勢関係をより確実に求めたい場合には、教示者の手とツールにマーカーをあらかじめ貼付しておき、貼付したマーカーの検出結果に基づいて、手とツールの相対位置姿勢関係を求めてもよい。
すなわち、画像認識部110は、画像認識処理において、教示者の手とツールの少なくとも一方に設けられたマーカーについてのマーカー検出処理を行い、マーカー検出処理の結果に基づいて、教示者の手とツールとの相対的な位置姿勢関係を求めてもよい。
具体的には、例えば図7(A)に示すような撮像画像PIMにおいて、教示者の手HDに貼付された第1のマーカーMK1を検出し、これらの第1のマーカーMK1の位置を結んで、図6に示すものと同様な手HDのモデルMDを生成する。なお、教示者の手には、図7(B)に示すような丸い第1のマーカーMK1が複数貼付されているものとする。この第1のマーカーMK1は、貼付された教示者の手の位置姿勢によって、見え方(すなわち、撮像画像PIMに映る第1のマーカーMK1の形状)が変化する。そのため、教示者の手の位置姿勢を特定することができる。
同様にして、ツールTLにも、図7(C)に示すような三角形の第2のマーカーMK2をあらかじめ貼付しておき、撮像画像PIMにおける第2のマーカーMK2の検出結果に基づいて、ツールTLの輪郭線OLを検出する。この処理でも、撮像画像PIMでの第2のマーカーMK2の映り方に基づいて、ツールTLの位置姿勢を推定可能である。そして、これらの結果に基づいて、教示者の手とツールとの相対的な位置姿勢関係を求める。
ここで、マーカーとは、目印として利用することができる文字、図形、記号、模様もしくは立体的形状もしくはこれらの結合又はこれらと色彩との結合を形成する有体物で、物体に固定可能なものである。例えば、シールやステッカー、ラベル等であり、図7(B)のMK1や、図7(C)のMK2のような形状をしたものである。なお、マーカーの形状や、色彩、模様等がどのようなものであるかは問わないが、他の領域と区別しやすいもの、例えば赤色一色からなる画像やシールなどが望ましい。
これにより、手とツールの相対的な位置姿勢関係をより確実に求めること等が可能になる。
次に、図5のフローチャートのステップS306の処理の詳細について説明する。処理部130は、教示者の手と、ツールと、ロボット300の作業対象であるワークとの相対的な位置姿勢関係を求める(S306)。そして、処理部130は、求めた位置姿勢関係に基づいて、教示者の手により把持されたツールでワークに作業を行っている作業状態での、把持部310の位置姿勢データの特定処理を行う(S309)。
ここで、相対的な位置姿勢関係(相対位置姿勢関係)とは、一方の物体についてのローカル座標系における他方の物体の位置姿勢のことである。
例えば、教示者の手とツールの相対位置姿勢関係は、図8に示すように、教示者の手HDについてのローカル座標系において、ツールTLの位置姿勢を表すベクトルVT1として求められる。なお、教示者の手HDのローカル座標系の原点は、例えば、図6を用いて説明した手HDのモデルMDの重心位置や中心位置等である。
同様に、ツールとワークの相対位置姿勢関係は、図8に示すように、ツールTLについてのローカル座標系において、ワークWKの位置姿勢を表すベクトルVT2として求められる。ツールTLのローカル座標系の原点は、例えば、図6を用いて説明したツールTLの輪郭線OL1により囲まれる領域の重心位置や中心位置等である。
そして、この二つの相対位置姿勢関係により、教示者の手とツールとワークの三者の相対位置姿勢関係を求めること等が可能になる。なお、教示者の手とツールとワークの相対位置姿勢関係の求め方は、前述した方法に限定されず、例えばワークのローカル座標系を基準として求めても良い。
次に、以上の処理で求められた教示者の手とツールとワークの相対位置姿勢関係を、ロボット300の把持部310とツールとワークの相対位置姿勢関係に置き換える必要がある。
そこで、図5のフローチャートのステップS307〜ステップS309では、処理部130は、教示者の手のモデルと、ロボット300の把持部310との対応関係に基づいて、把持部310の位置姿勢データの特定処理を行う。
そのためには、教示者の手とロボット300の把持部310との対応関係を求める必要がある。本実施形態ではその際に、例えば図9(A)に示す手HDのモデルMDと、図9(B)に示すロボットの把持部HPとを、画像上又は3次元仮想空間上で、図9(C)のように重ね合わせる。そして、手HDのモデルMDと、ロボットの把持部HPとのサイズ差や形状の差などを、対応関係を表す情報として特定する。なお、手と把持部の対応関係を求める処理は、あらかじめ行っておき、記憶部に記憶していてもよいし、初めに手のモデルを生成した際に行ってもよい。
これにより、教示者の手とツールとワークの相対位置姿勢関係を、ロボット300の把持部310とツールとワークの相対位置姿勢関係に置き換えること等が可能になる。
そして、以上の処理を行った後、把持状態又は作業状態でのロボット300の把持部310の位置姿勢データを特定する。なお、この際、例えば図5のステップS309においては、把持部310のローカル座標系等で表される把持部310の位置姿勢を、ワールド座標系での位置姿勢に座標変換する処理を行う。そして、特定した位置姿勢データを含む教示データを生成する。これにより、教示データに従って、ロボット300を動作させ、教示者が行った動作と同様の動きをロボット300に行わせること等が可能になる。
ただし、図10に示すように、教示データに従って、ロボット動作をシミュレーションした結果、ロボットの把持部HPの位置姿勢P1が、教示者が期待する目標位置姿勢P2から僅かにずれていることもある。なお、図10では説明のため、P1とP2の位置を大きくずらして図示しているが、実際には数cm〜数mm以下のずれを想定している。
この際には、処理部130は、画像認識処理の結果に基づいて、把持部310の位置姿勢データの特定処理を行った後に、教示者によるジョグツールの操作情報に基づいて、把持部310の位置姿勢データの補正処理を行ってもよい。
例えば図10の例では、教示者がジョグツールを操作して、ロボットの把持部HPの位置姿勢P1を、教示者が期待する目標位置姿勢P2に変更し、この時の把持部HPの位置姿勢データを作業状態での位置姿勢データとして特定する。ここでは、このような微調整を行うことを、把持部310の位置姿勢データの補正処理と呼ぶ。
ここで、ジョグツールとは、ジョグ(JOG)動作を行うために、教示者が操作する道具のことである。具体的には、ティーチングペンダントやPCなどである。また、ジョグ動作とは、移動距離を指定しない移動動作のことであり、ロボットの実機を用いる場合には、手動でモーターの作動と停止を制御する動作のことである。一方で、コンピューターによるシミュレーションでは、教示者がロボット動作のシミュレーション結果を確認しながら、ロボットの制御パラメーターを微調整することが、ジョグ動作に相当する。
これにより、教示データに含まれるロボットの把持部HPの位置姿勢が、教示者が期待する目標位置姿勢からずれている場合に、教示データを修正すること等が可能になる。なお、ジョグツールの操作情報に基づく把持部310の位置姿勢データの補正処理は、シミュレーション時に行ってもよいし、生成した教示データに基づいて実際にロボットを駆動させた際に行ってもよい。
また、以上の本実施形態で用いる撮像部(カメラ)200は、例えばCCD(charge-coupled device)等の撮像素子と光学系を含む。また、撮像部200は、画像処理用等に用いられるデバイス(プロセッサー)を含むことができる。撮像部200は、例えば天井や作業台の上などに、教示者やワークが撮像範囲内に入るような角度で配置される。なお、ワークとは、ロボット300における加工対象物のことをいう。また、前述したように、教示者の手等の位置姿勢を特定するためには、少なくとも2台の撮像部200が必要であり、本実施形態では3台の撮像部200を用いるものとする。そして、撮像部200は、撮像画像の情報を制御装置100等に出力する。ただし、本実施形態においては、撮像画像の情報をそのまま制御装置100に出力するものとするが、これに限定されるものではない。例えば、制御装置100の画像認識部110や処理部130の機能の一部を撮像部200に持たせてもよい。その場合、撮像画像に対して画像処理が施された後の情報が出力されることになる。
3.ロボット
次に、図11(A)及び図11(B)に、本実施形態の制御装置100が適用されるロボット300の構成例を示す。図11(A)及び図11(B)のどちらの場合にも、ロボット300は、把持部310を有する。
次に、図11(A)及び図11(B)に、本実施形態の制御装置100が適用されるロボット300の構成例を示す。図11(A)及び図11(B)のどちらの場合にも、ロボット300は、把持部310を有する。
ここで、把持部(ハンド)310とは、ワークを把持したり、持ち上げたり、吊り上げたり、吸着させたりするために用いる部品のことをいう。把持部310は、ハンドであってもよいし、フックであってもよいし、吸盤等であってもよい。なお、1本のアームに対して、複数のハンドを設けても良い。
例えば、図11(A)のロボットは、ロボット本体300(ロボット)と制御装置100とが別体に構成されている。この場合には、制御装置100の一部又は全部の機能は、例えばPCにより実現される。また、制御装置100の一部又は全部の機能は、有線及び無線の少なくとも一方を含むネットワークによりロボット300と接続されたサーバーにより実現されてもよい。
一方で、本実施形態のロボットは図11(A)の構成に限定されず、図11(B)のようにロボット本体300と制御装置100とが一体に構成されていてもよい。すなわち、ロボット300は、制御装置100を含んでいても良い。具体的には図11(B)に示したように、ロボット300は、ロボット本体(アーム及びハンドを有する)及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部に制御装置100が格納されるものであってもよい。図11(B)のロボット300には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。なお、図11(A)は単腕型の例であるが、ロボット300は図11(B)に示すように双腕型等の多腕型のロボットであってもよい。また、ロボット300は、人手により移動させられるものであってもよいし、車輪を駆動させるモーターを設け、当該モーターを制御装置100により制御することにより、移動させられるものであってもよい。また、制御装置100は、図11(B)のようにロボット300の下に設けられたベースユニット部に設けられるとは限られない。
なお、本実施形態の制御装置、ロボット及び教示データ生成方法等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサーがプログラムを実行することで、本実施形態の制御装置、ロボット及び教示データ生成方法等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサーが実行する。ここで、情報記憶媒体(コンピューターにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサーは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピューターに実行させるためのプログラム)が記憶される。
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、制御装置、ロボット、教示データ生成方法及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
100 制御装置、110 画像認識部、130 処理部、200 撮像部、
300 ロボット、310 把持部
300 ロボット、310 把持部
Claims (13)
- 画像認識処理を行う画像認識部と、
ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、
を含み、
前記画像認識部は、
教示者の手がツールを把持した把持状態の撮像画像に対して前記画像認識処理を行い、
前記処理部は、
前記把持状態の前記画像認識処理の結果に基づいて、前記把持状態での前記把持部の前記位置姿勢データを含む前記教示データを生成することを特徴とする制御装置。 - 請求項1において、
前記画像認識部は、
前記把持状態の第1の撮像画像と、前記教示者の前記手により把持された前記ツールでワークに作業を行っている作業状態の第2の撮像画像とを取得し、前記第1の撮像画像に対する第1の画像認識処理と、前記第2の撮像画像に対する第2の画像認識処理とを行い、
前記処理部は、
前記第1の画像認識処理の結果と前記第2の画像認識処理の結果とに基づいて、前記作業状態での前記把持部の前記位置姿勢データの前記特定処理を行うことを特徴とする制御装置。 - 請求項1又は2において、
前記処理部は、
前記教示者の前記手と、前記ツールと、前記ロボットの作業対象であるワークとの相対的な位置姿勢関係を求め、求めた前記位置姿勢関係に基づいて、前記教示者の前記手により把持された前記ツールで前記ワークに作業を行っている作業状態での、前記把持部の前記位置姿勢データの前記特定処理を行うことを特徴とする制御装置。 - 請求項3において、
前記画像認識部は、
前記画像認識処理において、前記ツール及び前記ワークの少なくとも一方について輪郭線検出処理を行って、前記輪郭線検出処理の結果に基づいて、前記ツール及び前記ワークの少なくとも一方と、前記教示者の前記手との相対的な位置姿勢関係を求めることを特徴とする制御装置。 - 請求項1乃至4のいずれかにおいて、
前記画像認識部は、
前記画像認識処理において、前記教示者の前記手と前記ツールの少なくとも一方に設けられたマーカーについてのマーカー検出処理を行い、前記マーカー検出処理の結果に基づいて、前記教示者の前記手と前記ツールとの相対的な位置姿勢関係を求めることを特徴とする制御装置。 - 請求項1乃至5のいずれかにおいて、
前記処理部は、
前記教示者の前記手のモデルと、前記ロボットの前記把持部との対応関係に基づいて、前記把持部の前記位置姿勢データの前記特定処理を行うことを特徴とする制御装置。 - 請求項1乃至6のいずれかにおいて、
前記画像認識部は、
前記画像認識処理において、前記教示者の前記手について特徴点検出処理を行って、前記手のモデルを生成し、生成した前記手の前記モデルに基づいて、前記把持部の前記位置姿勢データの前記特定処理を行うことを特徴とする制御装置。 - 請求項1において、
前記画像認識部は、
前記把持状態の第1の撮像画像に対する第1の画像認識処理を行い、
前記処理部は、
前記第1の画像認識処理の結果に基づいて、前記教示者の前記手と前記ツールとの相対的な第1の位置姿勢関係を求め、
前記画像認識部は、
前記教示者の前記手により把持された前記ツールでワークに作業を行っている作業状態の第2の撮像画像に対する第2の画像認識処理を行い、
前記処理部は、
前記第1の位置姿勢関係と前記第2の画像認識処理の結果とに基づいて、前記教示者の前記手と前記ツールと前記ワークとの相対的な第2の位置姿勢関係を求め、
前記教示者の前記手のモデルと前記ロボットの前記把持部との対応関係と、求めた前記第2の位置姿勢関係とに基づいて、前記作業状態における前記ロボットの前記把持部と、前記ツールと、前記ワークとの相対的な第3の位置姿勢関係を求め、
前記第3の位置姿勢関係に基づいて、前記作業状態における前記把持部の前記位置姿勢データを特定することを特徴とする制御装置。 - 請求項1乃至8のいずれかにおいて、
前記処理部は、
前記画像認識処理の結果に基づいて、前記把持部の前記位置姿勢データの前記特定処理を行った後に、前記教示者によるジョグツールの操作情報に基づいて、前記把持部の前記位置姿勢データの補正処理を行うことを特徴とする制御装置。 - 画像認識処理を行う画像認識部と、
ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、
を含み、
前記画像認識部は、
教示者の手により把持されたツールでワークに作業を行っている作業状態の撮像画像に対して前記画像認識処理を行い、
前記処理部は、
前記作業状態の前記画像認識処理の結果に基づいて、前記作業状態での前記把持部の前記位置姿勢データを含む前記教示データを生成することを特徴とする制御装置。 - 画像認識処理を行う画像認識部と、
ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部と、
を含み、
前記画像認識部は、
教示者の手がツールを把持した把持状態の撮像画像に対して前記画像認識処理を行い、
前記処理部は、
前記把持状態の前記画像認識処理の結果に基づいて、前記把持状態での前記把持部の前記位置姿勢データを含む前記教示データを生成することを特徴とするロボット。 - 教示者の手がツールを把持した把持状態を撮像部により撮像し、
取得した撮像画像に基づいて、前記教示者の前記手に対応するロボットの把持部が前記把持状態である時の、前記把持部の位置姿勢を表す位置姿勢データを特定し、
特定した前記位置姿勢データを含む前記ロボットの教示データを生成することを特徴とする教示データ生成方法。 - 画像認識処理を行う画像認識部と、
ロボットの把持部の位置姿勢を表す位置姿勢データの特定処理を行い、前記ロボットの教示データの生成処理を行う処理部として、
コンピューターを機能させ、
前記画像認識部は、
教示者の手がツールを把持した把持状態の撮像画像に対して前記画像認識処理を行い、
前記処理部は、
前記把持状態の前記画像認識処理の結果に基づいて、前記把持状態での前記把持部の前記位置姿勢データを含む前記教示データを生成することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013208470A JP2015071206A (ja) | 2013-10-03 | 2013-10-03 | 制御装置、ロボット、教示データ生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013208470A JP2015071206A (ja) | 2013-10-03 | 2013-10-03 | 制御装置、ロボット、教示データ生成方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015071206A true JP2015071206A (ja) | 2015-04-16 |
Family
ID=53013998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013208470A Pending JP2015071206A (ja) | 2013-10-03 | 2013-10-03 | 制御装置、ロボット、教示データ生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015071206A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016105212A1 (de) | 2015-03-31 | 2016-10-06 | Fuji Jukogyo Kabushiki Kaisha | Verfahren zur Bildung eines Beschichtungsfilms |
JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
WO2017033351A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
JP2017164863A (ja) * | 2016-03-17 | 2017-09-21 | ファナック株式会社 | 加工動作をロボットに実行させるロボット制御装置、及びロボットプログラム生成装置 |
JP2019217607A (ja) * | 2018-06-21 | 2019-12-26 | 三菱電機株式会社 | ティーチング装置、ロボット制御システム及びティーチング方法 |
US10603793B2 (en) | 2016-10-07 | 2020-03-31 | Fanuc Corporation | Work assisting system including machine learning unit |
JP2020175467A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
JP2020175466A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
JP2021536633A (ja) * | 2018-09-05 | 2021-12-27 | ヴァイケーリアス エフピーシー, インコーポレイテッドVicarious FPC, Inc. | 機械概念理解のための方法及びシステム |
WO2021260898A1 (ja) * | 2020-06-25 | 2021-12-30 | 株式会社日立ハイテク | ロボット教示装置及び作業教示方法 |
DE102020124285B4 (de) | 2019-09-20 | 2022-06-09 | Nvidia Corporation | Visionsbasierte Teleoperation eines beweglichen Robotersystems |
WO2022195680A1 (ja) * | 2021-03-15 | 2022-09-22 | 株式会社日立ハイテク | ロボットの作業教示装置及び作業教示方法 |
JP2022551885A (ja) * | 2019-10-11 | 2022-12-14 | トヨタ モーター ヨーロッパ | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム |
WO2023203747A1 (ja) * | 2022-04-22 | 2023-10-26 | 株式会社日立ハイテク | ロボット教示方法および装置 |
WO2023248602A1 (ja) * | 2022-06-20 | 2023-12-28 | 株式会社日立製作所 | ロボット教示装置およびロボット教示方法 |
-
2013
- 2013-10-03 JP JP2013208470A patent/JP2015071206A/ja active Pending
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016105212A1 (de) | 2015-03-31 | 2016-10-06 | Fuji Jukogyo Kabushiki Kaisha | Verfahren zur Bildung eines Beschichtungsfilms |
JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
WO2017033351A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
TWI609748B (zh) * | 2015-08-25 | 2018-01-01 | Kawasaki Heavy Ind Ltd | 遠端操作機器人系統 |
CN107921620A (zh) * | 2015-08-25 | 2018-04-17 | 川崎重工业株式会社 | 远程操作机器人系统 |
JPWO2017033351A1 (ja) * | 2015-08-25 | 2018-06-07 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
EP3342541A4 (en) * | 2015-08-25 | 2019-05-01 | Kawasaki Jukogyo Kabushiki Kaisha | REMOTE-CONTROLLED ROBOT SYSTEM |
US10980605B2 (en) | 2015-08-25 | 2021-04-20 | Kawasaki Jukogyo Kabushiki Kaisha | Remote control robot system |
JP2017164863A (ja) * | 2016-03-17 | 2017-09-21 | ファナック株式会社 | 加工動作をロボットに実行させるロボット制御装置、及びロボットプログラム生成装置 |
DE102017123088B4 (de) * | 2016-10-07 | 2021-01-28 | Fanuc Corporation | Arbeitsunterstützungssystem, das eine Maschinenlerneinheit aufweist |
US10603793B2 (en) | 2016-10-07 | 2020-03-31 | Fanuc Corporation | Work assisting system including machine learning unit |
JP2019217607A (ja) * | 2018-06-21 | 2019-12-26 | 三菱電機株式会社 | ティーチング装置、ロボット制御システム及びティーチング方法 |
JP2021536633A (ja) * | 2018-09-05 | 2021-12-27 | ヴァイケーリアス エフピーシー, インコーポレイテッドVicarious FPC, Inc. | 機械概念理解のための方法及びシステム |
US11633860B2 (en) | 2018-09-05 | 2023-04-25 | Intrinsic Innovation Llc | Method and system for machine concept understanding |
JP7241450B2 (ja) | 2018-09-05 | 2023-03-17 | イントリンシック イノベーション リミテッド ライアビリティー カンパニー | 機械概念理解のための方法及びシステム |
JP2020175467A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
JP2020175466A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
DE102020124285B4 (de) | 2019-09-20 | 2022-06-09 | Nvidia Corporation | Visionsbasierte Teleoperation eines beweglichen Robotersystems |
JP2022551885A (ja) * | 2019-10-11 | 2022-12-14 | トヨタ モーター ヨーロッパ | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム |
JP7385747B2 (ja) | 2019-10-11 | 2023-11-22 | トヨタ モーター ヨーロッパ | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム |
JPWO2021260898A1 (ja) * | 2020-06-25 | 2021-12-30 | ||
WO2021260898A1 (ja) * | 2020-06-25 | 2021-12-30 | 株式会社日立ハイテク | ロボット教示装置及び作業教示方法 |
JP7454046B2 (ja) | 2020-06-25 | 2024-03-21 | 株式会社日立ハイテク | ロボット教示装置及び作業教示方法 |
WO2022195680A1 (ja) * | 2021-03-15 | 2022-09-22 | 株式会社日立ハイテク | ロボットの作業教示装置及び作業教示方法 |
JP7546143B2 (ja) | 2021-03-15 | 2024-09-05 | 株式会社日立ハイテク | ロボットの作業教示装置 |
WO2023203747A1 (ja) * | 2022-04-22 | 2023-10-26 | 株式会社日立ハイテク | ロボット教示方法および装置 |
WO2023248602A1 (ja) * | 2022-06-20 | 2023-12-28 | 株式会社日立製作所 | ロボット教示装置およびロボット教示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015071206A (ja) | 制御装置、ロボット、教示データ生成方法及びプログラム | |
JP2012254518A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
CN110385694B (zh) | 机器人的动作示教装置、机器人系统以及机器人控制装置 | |
JP2011110621A (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
JP2014180720A (ja) | ロボットシステム及びキャリブレーション方法 | |
Gu et al. | Automated assembly skill acquisition and implementation through human demonstration | |
JP2015112654A (ja) | 制御装置、ロボット、教示データ生成方法及びロボットシステム | |
JP2016187846A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
JP2017170571A (ja) | ロボット、ロボット制御装置、及びロボットシステム | |
Suzuki et al. | Grasping of unknown objects on a planar surface using a single depth image | |
US20220203517A1 (en) | Non-transitory storage medium and method and system of creating control program for robot | |
Zhu et al. | Robot performing peg-in-hole operations by learning from human demonstration | |
JP7112528B2 (ja) | 作業座標作成装置 | |
JP6390088B2 (ja) | ロボット制御システム、ロボット、プログラム及びロボット制御方法 | |
EP4400274A1 (en) | Command value generating device, method, and program | |
JP5857803B2 (ja) | 産業用機械の干渉判定装置、干渉判定方法、コンピュータプログラムおよび記録媒体 | |
Cai et al. | 6D image-based visual servoing for robot manipulators with uncalibrated stereo cameras | |
JP2015003348A (ja) | ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法 | |
JP6455869B2 (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
Gu et al. | Automated assembly skill acquisition through human demonstration | |
JP6123364B2 (ja) | ロボット制御システム、ロボット、プログラム及びロボット制御方法 | |
Stramandinoli et al. | Robot learning from human demonstration in virtual reality | |
CN112171664A (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统 | |
CN115556102B (zh) | 一种基于视觉识别的机器人分拣规划方法及规划设备 | |
Kamiya et al. | Learning from Human Hand Demonstration for Wire Harness Grasping |