[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2019188477A - ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 - Google Patents

ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 Download PDF

Info

Publication number
JP2019188477A
JP2019188477A JP2018079583A JP2018079583A JP2019188477A JP 2019188477 A JP2019188477 A JP 2019188477A JP 2018079583 A JP2018079583 A JP 2018079583A JP 2018079583 A JP2018079583 A JP 2018079583A JP 2019188477 A JP2019188477 A JP 2019188477A
Authority
JP
Japan
Prior art keywords
robot
workpiece
motion
trajectory
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018079583A
Other languages
English (en)
Other versions
JP6826069B2 (ja
Inventor
文杰 陳
Wenjie Chen
文杰 陳
凱濛 王
Kaimeng Wang
凱濛 王
加藤 哲朗
Tetsuro Kato
哲朗 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2018079583A priority Critical patent/JP6826069B2/ja
Priority to US16/293,965 priority patent/US11130236B2/en
Priority to CN201910288650.3A priority patent/CN110385694B/zh
Priority to DE102019109624.3A priority patent/DE102019109624B4/de
Publication of JP2019188477A publication Critical patent/JP2019188477A/ja
Application granted granted Critical
Publication of JP6826069B2 publication Critical patent/JP6826069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1651Programme controls characterised by the control loop acceleration, rate control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35464Glove, movement of fingers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36422During teaching shut off, disable motor to move arm easy

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

【課題】人間が実作業を行うワークとロボットが作業を行うワークとが異なる場合でも、人間の実作業に基づいてロボットの動作を簡易に教示して、製造効率を向上させる。【解決手段】第1のワークに対して人間が作業を行うときの第1のワークおよび人間の手先あるいはアームの経時的な画像を処理して人間の手先あるいはアームの動作軌跡を抽出する動作軌跡抽出部14と、第1のワークの特徴点とロボットが作業を行う第2のワークの特徴点とに基づいて、第1のワークから第2のワークへの変換関数を生成するマッピング生成部17と、動作軌跡抽出部14により抽出された人間の手先あるいはアームの動作軌跡と、マッピング生成部17により生成された変換関数とに基づいてロボットの動作軌跡を生成する動作軌跡生成部18とを備えるロボットの動作教示装置10である。【選択図】図2

Description

本発明は、ロボットの動作教示装置、ロボットシステムおよびロボット制御装置に関するものである。
従来、人間による実作業をロボットに真似させる動作教示装置が知られている(例えば、特許文献1)。
特許文献1の動作教示装置は、人間が作業を行っているときの腕、手首先、指先の動きあるいは作業対象物の動きを、複数台のカメラを使用して複数個の3次元位置に関する時系列データとして取得するとともに、人間の手首先、指先に取り付けられたセンサによって作業対象物に加えられる力を検出して力に関する時系列データとして取得し、これら同時刻に取得された2つの時系列データを複数台のロボットアームの各関節軸の動きに対応した各軸軌道データに変換している。
特開昭60−205721号公報
しかしながら、特許文献1の動作教示装置は、人間が実作業を行うワークとロボットが作業を行うワークとが同じであることを前提としているため、ワークの形状が僅かでも異なる場合には、ロボットに動作を教示することが困難であるという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、人間が実作業を行うワークとロボットが作業を行うワークとが異なる場合でも、人間の実作業に基づいてロボットの動作を簡易に教示して、製造効率を向上させることができるロボットの動作教示装置、ロボットシステムおよびロボット制御装置を提供することを目的としている。
本発明の一態様は、第1のワークに対して人間が作業を行うときの前記第1のワークおよび前記人間の手先あるいはアームの経時的な画像を処理して前記人間の前記手先あるいは前記アームの動作軌跡を抽出する動作軌跡抽出部と、前記第1のワークの特徴点とロボットが作業を行う第2のワークの特徴点とに基づいて、前記第1のワークから前記第2のワークへの変換関数を生成するマッピング生成部と、前記動作軌跡抽出部により抽出された前記人間の前記手先あるいは前記アームの動作軌跡と、前記マッピング生成部により生成された前記変換関数とに基づいて前記ロボットの動作軌跡を生成する動作軌跡生成部とを備えるロボットの動作教示装置である。
本態様によれば、動作軌跡抽出部により、第1のワークに対して人間が作業を行うときの第1のワークおよび人間の手先あるいはアームの経時的な画像が処理されて人間の手先あるいはアームの動作軌跡が抽出され、マッピング生成部により、第1のワークの特徴点およびロボットが作業を行う第2のワークの特徴点に基づいて、第1のワークから第2のワークへの変換関数が生成される。そして、動作軌跡生成部により、抽出された人間の手先あるいはアームの動作軌跡と生成された変換関数とに基づいてロボットの動作軌跡が生成される。これにより、人間が実作業を行う第1のワークとロボットが作業を行う第2のワークとが異なる場合でも、人間の実作業に基づいてロボットの動作を簡易に教示して、製造効率を向上させることができる。
上記態様においては、前記動作軌跡生成部により生成された前記ロボットの動作軌跡を、該動作軌跡に沿う前記ロボットの動作に要する動作時間および前記ロボットの各軸の加速度に基づいて最適化する軌道最適化部を備えていてもよい。
この構成により、軌道最適化部により、ロボットの動作軌跡が、動作時間を低減しかつ過度の加速を抑えて最適化される。
また、上記態様においては、前記第1のワークに対して前記人間が作業を行うときの前記第1のワークおよび前記人間の前記手先あるいは前記アームの経時的な画像を取得する第1視覚センサと、該第1視覚センサにより取得された画像から前記第1のワークの前記特徴点を抽出する第1特徴点抽出部とを備え、前記動作軌跡抽出部が、前記第1視覚センサにより取得された画像から前記人間の前記手先あるいは前記アームの動作軌跡を抽出してもよい。
この構成により、第1視覚センサにより第1のワークおよび人間の手先あるいはアームの経時的な画像が取得され、取得された画像から動作軌跡抽出部により人間の手先あるいはアームの動作軌跡が抽出され、第1特徴点抽出部により第1のワークの特徴点が抽出される。
また、上記態様においては、前記第2のワークを撮影して画像を取得する第2視覚センサと、該第2視覚センサにより取得された画像から前記第2のワークの前記特徴点を抽出する第2特徴点抽出部とを備えていてもよい。
この構成により、第2視覚センサにより第2のワークの画像が取得され、取得された画像から第2特徴点抽出部により、第2のワークの特徴点が抽出される。
また、上記態様においては、前記第1のワークに対する前記人間の作業が仮想現実空間において行われてもよい。
この構成により、現実に第1のワークおよび人間の作業環境を用意することなく、仮想現実空間内において、ソフトウェアにより実現された第1のワークを移動させる作業を行って、人間の手先の動作軌跡を抽出することができる。
また、上記態様においては、前記第2のワークの前記特徴点と前記ロボットの動作軌跡とを対応づけて記憶する記憶部を備えていてもよい。
この構成により、第2のワークに対して再度作業を行う際に、記憶部に記憶されているロボットの動作軌跡を読み出すことにより、作業効率を向上することができる。
また、本発明の他の態様は、複数のロボットと、各該ロボットをそれぞれ制御する複数の制御装置と、該制御装置を接続するネットワークと、該ネットワークに接続された上記ロボットの動作教示装置とを備えるロボットシステムである。
本態様によれば、第2のワークの特徴点に基づいて、複数のロボットの制御装置からネットワークを経由して動作教示装置の記憶部に記憶されているロボットの動作軌跡を読み出すことが可能になり、複数のロボット間で情報を共有することができる。
また、本発明の他の態様は、上記ロボットの動作教示装置を備え、前記第2特徴点抽出部が、前記第2のワークの複数の前記特徴点の位置を所定の周期で抽出し、抽出された複数の前記特徴点の位置に基づいて、各前記特徴点の運動方程式を前記所定の周期毎に更新し、更新された各前記運動方程式から算出される各前記特徴点の位置に基づいて前記第2のワークの位置または姿勢を算出する位置姿勢算出部を備え、該位置姿勢算出部により算出された前記第2のワークの位置または姿勢に基づいて、前記ロボットを制御して、前記第2のワークに追従させるロボット制御装置である。
本態様によれば、第2特徴点抽出部によって、視覚センサにより取得された画像から、第2のワークの複数の特徴点の位置が所定の周期で抽出される。次に、位置姿勢算出部によって、第2特徴点抽出部により抽出された複数の特徴点の位置に基づいて、これら複数の特徴点毎の運動方程式が所定の周期毎に更新される。また、位置姿勢算出部によって、更新された各運動方程式から新たに複数の特徴点のそれぞれの位置が算出され、算出された複数の特徴点の位置に基づいて第2のワークの位置または姿勢が算出される。そして、ロボット制御装置によって、位置姿勢算出部により算出された第2のワークの位置または姿勢に基づいてロボットが制御され、第2のワークに追従させられる。
このように、所定の周期で各特徴点の運動方程式が更新されるので、オンラインでの第2のワークの運動方程式の構築が可能となる。結果として、ランダムに移動する第2のワークに対しても高精度にロボットを追従させることができる。
本発明によれば、人間が実作業を行うワークとロボットが作業を行うワークとが異なる場合でも、人間の実作業に基づいてロボットの動作を簡易に教示して、製造効率を向上させることができるという効果を奏する。
本発明の一実施形態に係るロボットシステムを示す全体構成図である。 図1のロボットシステムに備えられる動作教示装置を示すブロック図である。 図2の動作教示装置に備えられるマッピング生成部による変換関数の生成処理を説明する図である。
本発明の一実施形態に係るロボットの動作教示装置10およびロボットシステム1について、図面を参照して以下に説明する。
本実施形態に係るロボットシステム1は、図1に示されるように、ロボット2と、ロボット2に接続されたロボット制御装置3と、ロボット制御装置3に接続された本実施形態に係る動作教示装置10とを備えている。
動作教示装置10は、人間Hが第1のワークW1に対して作業をするときの第1のワークW1および人間Hの手先Fを撮影して経時的な画像を取得する第1カメラ(第1視覚センサ)11と、ロボット2が作業を行う第2のワークW2を撮影して画像を取得する第2カメラ(第2視覚センサ)12と、第1カメラ11および第2カメラ12に接続された画像処理部13とを備えている。
画像処理部13は、図2に示されるように、第1カメラ11に接続された動作軌跡抽出部14と、第1カメラ11に接続された第1特徴点抽出部15と、第2カメラ12に接続された第2特徴点抽出部16と、第1特徴点抽出部15および第2特徴点抽出部16に接続されたマッピング生成部17と、動作軌跡抽出部14およびマッピング生成部17に接続された動作軌跡生成部18とを備えている。
動作軌跡抽出部14は、第1カメラ11により取得された画像から人間Hの手先Fの動作軌跡を抽出する。具体的には、公知のモーションキャプチャ技術により、人間Hの手先Fにマーカを装着した状態で第1カメラ11により取得された経時的な画像からマーカの位置の移動軌跡を抽出することにより行われる。
第1特徴点抽出部15は、第1カメラ11により取得されたいずれかの画像内の第1のワークW1を画像処理により抽出し、例えば、頂角、エッジ等の複数の特徴点の座標を抽出する。
第2特徴点抽出部16は、第2カメラ12により取得されたいずれかの画像内の第2のワークW2を画像処理により抽出し、例えば、頂角、エッジ等の複数の特徴点の座標を抽出する。
マッピング生成部17は、第1特徴点抽出部15により抽出された特徴点の座標と、第2特徴点抽出部16により抽出された特徴点の座標とに基づいて、数1のマッピング理論式を用いて、変換関数fを算出する。
Figure 2019188477
ここで、符号fは変換関数、kは、第1のワークW1の特徴点の数、x(k)はk点目の特徴点の座標、2次元図形の場合は、x,xは、2次元座標系の座標(x,x)、x(k)′は第2のワークW2のk点目の特徴点の座標を示し、f(x(k))は第1のワークW1のk点目の座標x(k)がマッピング関数fで算出した第2のワークW2に対応づけた座標を示している。
この算出方法について、図3を参照して説明する。図3は一例として長方形の第1のワークW1の形状Bと、第1のワークW1に対して形状が相違する第2のワークW2の形状B′とを示している。
図3においては、第1のワークW1における任意の位置に点Cが設定されている。第1のワークW1の形状B、第2のワークW2の形状B′および点Cは、図中の座標系Cによって座標化される。
ここで、第1のワークW1の形状に対する点Cの位置に対応する、第2のワークW2の形状に対する位置は、図3に点C′として示されている。この点C′の位置(すなわち、座標系Cの座標)は座標系Cにおける第1のワークW1の形状Bと第2のワークW2の形状B′の座標が既知であれば、これらの座標の情報を数1の変換関数fに導入することによって算出することができる。
動作軌跡生成部18は、このような算出方法を用いて、第1のワークW1の形状Bに対して取得された人間Hの手先Fの動作軌跡に対応する、第2のワークW2の形状B′に対する動作軌跡を算出する。具体的には、動作軌跡生成部18は、図1の座標系において、動作軌跡抽出部14により抽出された第1のワークW1に対する人間Hの手先Fの動作軌跡Aを変換関数fに導入することにより、第2のワークW2に対するロボット2の動作軌跡A′を算出することができる。
ロボット制御装置3は、動作軌跡生成部18から動作軌跡Aを受け取ると、動作軌跡Aを構成する各点の座標に、座標変換行列(例えば、ヤコビ行列)を乗算して3次元のロボット座標系における座標に変換する。これにより、変換された座標を教示点として使用することにより、ロボット2を動作軌跡A′に従って動作させることができる。
本実施形態に係る動作教示装置10およびロボットシステム1によれば、モーションキャプチャ技術を利用して取得した人間Hの手先Fの動作軌跡Aをロボット2の動作軌跡A′に変換するので、教示操作盤を用いた場合と比較して、複雑な動作軌跡Aの教示に要する時間を短縮することができる。教示する人間Hの直感的な動作により動作軌跡Aを教示できるという利点がある。また、教示操作盤を用いた場合と比較して、教示する人間Hの熟練を要しないという利点もある。
また、本実施形態に係る動作教示装置10およびロボットシステム1によれば、人間Hが作業する第1のワークW1とロボット2が作業する第2のワークW2とが厳密に同じ形状を有していなくても、マッピング生成部17による変換関数の生成によって、人間Hの手先Fの動作軌跡Aをロボット2の動作軌跡A′に変換する際に、ワークW1,W2の形状の違いを考慮した動作軌跡A′に変換することができる。
例えば、第1のワークW1と第2のワークW2とが相似形状であったり、一方向に縮尺の異なる形状であったりしても、ロボット2の動作軌跡A′を精度よく生成することができる。これにより、人間Hの直感的な実作業に基づいてロボット2の動作を簡易に教示して、製造効率を向上させることができるという利点がある。
また、コンピュータシミュレーションを用いて教示する場合と比較して精度の高いCADデータの作成が不要であるという利点がある。
なお、本実施形態においては、動作軌跡生成部18において生成されたロボット2の動作軌跡A′を最適化する軌道最適化部(図示略)を備えていてもよい。この軌道最適化部による動作軌跡A′の最適化処理は、例えば、「Changliu Liu, Masayoshi Tomizuka, Real time trajectory optimization for nonlinear robotics systems:Relaxation and convexification, Systems & Control Letters 108(2017),p56−63」に開示されている技術を利用すればよい。
この最適化処理においては、障害物を回避する軌道プランニングが行われた後に、軌道の最適化が行われる。軌道プランニングにおいては、数2の評価関数および制限条件が使用され、障害物との距離を一定以上に維持しつつ、生成された動作軌跡A′からの変化量を低く抑えかつモータトルクを低く抑える軌跡が求められる。
Figure 2019188477
数2において、式(2)は軌道プランニングのための評価関数J(x,u)を示し、ロボット2の予定された動作軌跡xからの変化量(x−x)のノルムの2乗とモータトルクuのノルムの2乗とを所定の重みω,ωを付けて加算した値が最小となる軌跡xおよびトルクuを求める。
式(3)、(4)、(5)は式(2)に対する制限条件である。
式(4)はダイナミクスモデルである。
式(5)は障害物との距離が最小距離より大きいことを条件としている。
また、軌道の最適化においては、数3の評価関数および制限条件が使用され、動作軌跡A′に沿って動作するのに要する動作時間を低く抑えながら加速度も低く抑えるように軌跡が最適化される。
Figure 2019188477
数3において、式(6)は軌道の最適化のための評価関数J(τ,a)を示し、動作時間τのノルムの2乗と、加速度aのノルムの2乗とを所定の重みω,ωを付けて加算した値が最小となる動作時間τおよび加速度aを求める。
式(7),(8)は式(6)に対する制限条件であり、式(8)は時間と加速度との関係を表している。
この動作軌跡A′の最適化処理が行われることにより、周囲の障害物と衝突せずに高速動作を行うことができる動作軌跡A′を教示することができる。
また、第2のワークW2がランダムに移動する場合には、例えば、特開2018−27580号公報に開示されているロボット制御装置を採用してもよい。すなわち、第2特徴点抽出部16により第2のワークW2の複数の特徴点の位置を所定の周期で抽出し、抽出された複数の特徴点の位置に基づいて、位置姿勢算出部により、各特徴点の運動方程式を上記周期毎に更新し、更新された各運動方程式から算出される各特徴点の位置に基づいて第2のワークW2の位置または姿勢を算出し、算出された第2のワークW2の位置または姿勢に基づいて、ロボット2を制御してもよい。これによれば、ランダムに移動する第2のワークW2に対して、ビジュアルサーボによりロボット2を精度よく追従させることができるという利点がある。
また、第2のワークW2がケーブルのような不定形なものである場合に、第1カメラ11により取得された画像を用いてシミュレーションを行って形状を認識し、認識された形状に基づいてマッピング生成部17により変換関数を求めることにしてもよい。
また、本実施形態においては、公知のモーションキャプチャ技術により、人間Hの手先Fにマーカを装着した状態で第1カメラ11により取得された経時的な画像からマーカの位置の移動軌跡を抽出する場合を例示したが、これに代えて、VR(仮想現実)空間内において、人間Hが第1のワークW1に対して作業を行うことにしてもよい。この構成により、現実に第1のワークW1および人間Hの作業環境を用意することなく、人間Hの手先Fの動作軌跡Aを抽出することができる。
また、第2のワークW2の特徴点と生成されたロボット2の動作軌跡A′とを対応づけて記憶する記憶部を備えていてもよい。この構成により、第2のワークW2に対して再度作業を行う際に、記憶部に記憶されているロボット2の動作軌跡A′を読み出すことによって、作業効率を向上することができる。
複数のロボット2と、各ロボット2を制御する制御装置と、制御装置を接続するネットワークと、ネットワークに接続された記憶部を備える動作教示装置10とを備えるロボットシステムを採用してもよい。
この構成により、第2のワークW2の特徴点に基づいて、複数のロボット2の制御装置からネットワークを経由して動作教示装置10の記憶部に記憶されているロボット2の動作軌跡A′を読み出すことが可能になり、複数のロボット2間で情報を共有することができるという利点がある。
1 ロボットシステム
2 ロボット
3 ロボット制御装置
10 動作教示装置
11 第1カメラ(第1視覚センサ)
12 第2カメラ(第2視覚センサ)
14 動作軌跡抽出部
15 第1特徴点抽出部
16 第2特徴点抽出部
17 マッピング生成部
18 動作軌跡生成部
W1 第1のワーク
W2 第2のワーク
A,A′ 動作軌跡
F 手先
H 人間

Claims (8)

  1. 第1のワークに対して人間が作業を行うときの前記第1のワークおよび前記人間の手先あるいはアームの経時的な画像を処理して前記人間の前記手先あるいは前記アームの動作軌跡を抽出する動作軌跡抽出部と、
    前記第1のワークの特徴点とロボットが作業を行う第2のワークの特徴点とに基づいて、前記第1のワークから前記第2のワークへの変換関数を生成するマッピング生成部と、
    前記動作軌跡抽出部により抽出された前記人間の前記手先あるいは前記アームの動作軌跡と、前記マッピング生成部により生成された前記変換関数とに基づいて前記ロボットの動作軌跡を生成する動作軌跡生成部とを備えるロボットの動作教示装置。
  2. 前記動作軌跡生成部により生成された前記ロボットの動作軌跡を、該動作軌跡に沿う前記ロボットの動作に要する動作時間および前記ロボットの各軸の加速度に基づいて最適化する軌道最適化部を備える請求項1に記載のロボットの動作教示装置。
  3. 前記第1のワークに対して前記人間が作業を行うときの前記第1のワークおよび前記人間の前記手先あるいは前記アームの経時的な画像を取得する第1視覚センサと、
    該第1視覚センサにより取得された画像から前記第1のワークの前記特徴点を抽出する第1特徴点抽出部とを備え、
    前記動作軌跡抽出部が、前記第1視覚センサにより取得された画像から前記人間の前記手先あるいは前記アームの動作軌跡を抽出する請求項1または請求項2に記載のロボットの動作教示装置。
  4. 前記第2のワークを撮影して画像を取得する第2視覚センサと、
    該第2視覚センサにより取得された画像から前記第2のワークの前記特徴点を抽出する第2特徴点抽出部とを備える請求項1から請求項3のいずれかに記載のロボットの動作教示装置。
  5. 前記第1のワークに対する前記人間の作業が仮想現実空間において行われる請求項1または請求項2に記載のロボットの動作教示装置。
  6. 前記第2のワークの前記特徴点と前記ロボットの動作軌跡とを対応づけて記憶する記憶部を備える請求項1から請求項5のいずれかに記載のロボットの動作教示装置。
  7. 複数のロボットと、各該ロボットをそれぞれ制御する複数の制御装置と、該制御装置を接続するネットワークと、該ネットワークに接続された請求項6に記載のロボットの動作教示装置とを備えるロボットシステム。
  8. 請求項4に記載のロボットの動作教示装置を備え、
    前記第2特徴点抽出部が、前記第2のワークの複数の前記特徴点の位置を所定の周期で抽出し、
    抽出された複数の前記特徴点の位置に基づいて、各前記特徴点の運動方程式を前記所定の周期毎に更新し、更新された各前記運動方程式から算出される各前記特徴点の位置に基づいて前記第2のワークの位置または姿勢を算出する位置姿勢算出部を備え、
    該位置姿勢算出部により算出された前記第2のワークの位置または姿勢に基づいて、前記ロボットを制御して、前記第2のワークに追従させるロボット制御装置。


JP2018079583A 2018-04-18 2018-04-18 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 Active JP6826069B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018079583A JP6826069B2 (ja) 2018-04-18 2018-04-18 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
US16/293,965 US11130236B2 (en) 2018-04-18 2019-03-06 Robot movement teaching apparatus, robot system, and robot controller
CN201910288650.3A CN110385694B (zh) 2018-04-18 2019-04-11 机器人的动作示教装置、机器人系统以及机器人控制装置
DE102019109624.3A DE102019109624B4 (de) 2018-04-18 2019-04-11 Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018079583A JP6826069B2 (ja) 2018-04-18 2018-04-18 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置

Publications (2)

Publication Number Publication Date
JP2019188477A true JP2019188477A (ja) 2019-10-31
JP6826069B2 JP6826069B2 (ja) 2021-02-03

Family

ID=68105579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018079583A Active JP6826069B2 (ja) 2018-04-18 2018-04-18 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置

Country Status (4)

Country Link
US (1) US11130236B2 (ja)
JP (1) JP6826069B2 (ja)
CN (1) CN110385694B (ja)
DE (1) DE102019109624B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111360794A (zh) * 2020-03-31 2020-07-03 实时侠智能控制技术有限公司 一种适配多种型号机器人的示教系统及其示教方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838017B2 (ja) * 2018-08-31 2021-03-03 ファナック株式会社 レーザ加工のための教示装置、教示方法、及び教示プログラム
DE102018124671B4 (de) * 2018-10-06 2020-11-26 Bystronic Laser Ag Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
TWI725630B (zh) * 2019-11-21 2021-04-21 財團法人工業技術研究院 加工路徑生成裝置及其方法
CN111360789B (zh) * 2020-03-23 2021-11-16 广东美的白色家电技术创新中心有限公司 工件加工的示教方法、控制方法及机器人示教系统
US11813749B2 (en) * 2020-04-08 2023-11-14 Fanuc Corporation Robot teaching by human demonstration
US20230278211A1 (en) * 2020-06-25 2023-09-07 Hitachi High-Tech Corporation Robot Teaching Device and Work Teaching Method
JP7491115B2 (ja) * 2020-07-22 2024-05-28 セイコーエプソン株式会社 ロボットの教示制御方法、ロボットシステム、及び、コンピュータープログラム
US12017371B2 (en) 2022-03-15 2024-06-25 Fanuc Corporation Efficient and robust line matching approach

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016047591A (ja) * 2014-08-27 2016-04-07 キヤノン株式会社 ロボット教示装置、方法、およびロボットシステム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60205721A (ja) 1984-03-30 1985-10-17 Matsushita Electric Ind Co Ltd ロボツト動作教示装置
JPH05197416A (ja) 1992-01-20 1993-08-06 Nippon Telegr & Teleph Corp <Ntt> ロボット動作点教示装置
JP3529158B2 (ja) * 1994-05-18 2004-05-24 ファナック株式会社 ロボット動作プログラミング方法及びプログラミング装置
JPH07314359A (ja) * 1994-05-30 1995-12-05 Nippon Telegr & Teleph Corp <Ntt> マニピュレータ用追従装置およびその制御方法
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4410208B2 (ja) 2005-03-17 2010-02-03 独立行政法人科学技術振興機構 高速検索方法を用いたロボットの駆動方法
JP4976883B2 (ja) 2007-02-23 2012-07-18 パナソニック株式会社 マニピュレータシステム
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
US9052710B1 (en) * 2009-03-20 2015-06-09 Exelis Inc. Manipulation control based upon mimic of human gestures
DE102010029745A1 (de) 2010-06-07 2011-12-08 Kuka Laboratories Gmbh Werkstück-Handhabungssystem und Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren
JP5921248B2 (ja) * 2012-02-16 2016-05-24 キヤノン株式会社 ロボットの制御装置、ロボット、そのプログラム及びその制御方法
EP2845065B1 (en) * 2012-05-04 2019-09-18 Leoni Cia Cable Systems SAS Imitation learning method for a multi-axis manipulator
US10406686B2 (en) 2012-12-14 2019-09-10 Abb Schweiz Ag Bare hand robot path teaching
DE102013110847B3 (de) 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
US10112303B2 (en) * 2013-10-25 2018-10-30 Aleksandar Vakanski Image-based trajectory robot programming planning approach
JP6228079B2 (ja) * 2014-07-16 2017-11-08 本田技研工業株式会社 移動ロボットの動作目標生成装置
DE102015209900A1 (de) * 2015-05-29 2016-12-01 Kuka Roboter Gmbh Verfahren zum Bestimmen eines Bahnpunktes
JP6333790B2 (ja) 2015-10-21 2018-05-30 ファナック株式会社 ネットワークを介して接続された複数の制御装置を備えるロボットシステム
US20180345491A1 (en) 2016-01-29 2018-12-06 Mitsubishi Electric Corporation Robot teaching device, and method for generating robot control program
US11337652B2 (en) * 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
JP6883392B2 (ja) * 2016-07-29 2021-06-09 川崎重工業株式会社 ロボットシステム
JP6514156B2 (ja) 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
JP6680720B2 (ja) 2017-04-10 2020-04-15 ファナック株式会社 ロボットの動作軌跡を自動で生成する装置、システム、および方法
JP6499716B2 (ja) 2017-05-26 2019-04-10 ファナック株式会社 形状認識装置、形状認識方法及びプログラム
DE102018201589A1 (de) 2018-02-01 2019-08-01 KORIS Vision & Force GmbH Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016047591A (ja) * 2014-08-27 2016-04-07 キヤノン株式会社 ロボット教示装置、方法、およびロボットシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111360794A (zh) * 2020-03-31 2020-07-03 实时侠智能控制技术有限公司 一种适配多种型号机器人的示教系统及其示教方法
CN111360794B (zh) * 2020-03-31 2022-08-26 上海捷勃特机器人有限公司 一种适配多种型号机器人的示教系统及其示教方法

Also Published As

Publication number Publication date
DE102019109624B4 (de) 2022-11-03
CN110385694B (zh) 2024-10-18
JP6826069B2 (ja) 2021-02-03
US20190321983A1 (en) 2019-10-24
DE102019109624A1 (de) 2019-10-24
US11130236B2 (en) 2021-09-28
CN110385694A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
JP7326911B2 (ja) 制御システムおよび制御方法
US10857673B2 (en) Device, method, program and recording medium, for simulation of article arraying operation performed by robot
CN104936748B (zh) 徒手机器人路径教导
CN102814814B (zh) 一种双臂机器人基于Kinect的人机交互方法
JP5904635B2 (ja) 制御装置、制御方法及びロボット装置
JP7067816B1 (ja) 画像分割及び表面筋電図に基づくロボットの教示システム及び方法
JP7376268B2 (ja) 三次元データ生成装置及びロボット制御システム
WO2015058297A1 (en) Image-based trajectory robot programming planning approach
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN113829343A (zh) 基于环境感知的实时多任务多人人机交互系统
CN114347008A (zh) 基于工业机器人的无序抓取工件方法、装置及智能终端
Wang et al. A virtual end-effector pointing system in point-and-direct robotics for inspection of surface flaws using a neural network based skeleton transform
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Adar et al. Real time visual servoing of a 6-dof robotic arm using fuzzy-pid controller
JP7423387B2 (ja) 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム
Minowa et al. Origami operations by multifingered robot hand with realtime 3D shape estimation of paper
WO2023073959A1 (ja) 作業支援装置及び作業支援方法
WO2023100282A1 (ja) データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム
Chumkamon et al. Robot motion generation by hand demonstration
Ni et al. Local implicit surface based virtual fixtures in point cloud virtual environment for teleoperation
CN117301065A (zh) 基于双目相机的视觉识别定位及机械臂运动轨迹规划方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210114

R150 Certificate of patent or registration of utility model

Ref document number: 6826069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150