[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5850958B2 - ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置 - Google Patents

ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置 Download PDF

Info

Publication number
JP5850958B2
JP5850958B2 JP2014011419A JP2014011419A JP5850958B2 JP 5850958 B2 JP5850958 B2 JP 5850958B2 JP 2014011419 A JP2014011419 A JP 2014011419A JP 2014011419 A JP2014011419 A JP 2014011419A JP 5850958 B2 JP5850958 B2 JP 5850958B2
Authority
JP
Japan
Prior art keywords
imaging device
robot
imaging
workpiece
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014011419A
Other languages
English (en)
Other versions
JP2015136781A (ja
Inventor
寛之 後平
寛之 後平
嘉治 長塚
嘉治 長塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2014011419A priority Critical patent/JP5850958B2/ja
Priority to CN201510020672.3A priority patent/CN104802186B/zh
Priority to DE102015000587.1A priority patent/DE102015000587B4/de
Priority to US14/603,396 priority patent/US9352467B2/en
Publication of JP2015136781A publication Critical patent/JP2015136781A/ja
Application granted granted Critical
Publication of JP5850958B2 publication Critical patent/JP5850958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39397Map image error directly to robot movement, position with relation to world, base not needed, image based visual servoing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Description

本発明は、ワークを加工するのに使用されるロボットに対して教示されるロボットプログラムを作成するロボットプログラミング装置に関する。
ワークを加工するのに使用されるロボットシステムにおいて、ワークの加工部位を撮像する撮像デバイスを備えた構成が公知である。ワークの形状には個体ごとに誤差があるので、撮像デバイスを用いて加工部位を撮像し、得られた画像を処理して、加工プログラムが補正される。特許文献1〜5には、対象物を検出するために視覚センサの位置及び姿勢を決定する種々の技術が開示されている。
特許文献1には、溶接対象部の位置を検出できるように視覚センサの姿勢を制御する姿勢制御方法が開示されている。この技術によれば、ツールが移動しても、検出対象が視覚センサの視野の中心に常に配置されるように視覚センサの姿勢がサンプリング周期毎に制御される。
特許文献2には、マニピュレータの手先に取付けられた視覚センサを検出対象物まで誘導する誘導方法が開示されている。この技術によれば、対象物の概略位置と、予め定められる誘導位置と対象物との間の距離と、に基づいて誘導位置が決定される。
特許文献3には、特許文献2に開示される技術において、視覚センサの誘導位置の周囲に位置する障害物を回避するために、指定されるオフセットに従って視覚センサの誘導位置を補正することが開示されている。
特許文献4には、視覚センサを用いてワークの基準点を撮像する計測プログラムを自動的に作成するように構成されたオフラインプログラミング装置が開示されている。
特許文献5には、所定の目標地点まで移動するように構成された移動ロボットにおいて、現在の位置を推定する目的で周囲の目標物を撮像するように構成された撮像装置の撮像方向を決定する撮像方向決定プログラムが開示されている。
特開平6−328385号公報 特開2002−086376号公報 特開2003−191194号公報 特開2007−160486号公報 特開2009−303013号公報
従来技術においては、撮像されるべき対象部位を撮像するのに使用される撮像デバイスの位置を決定する必要がある。しかしながら、そのような撮像デバイスの位置を決定するのには通常多大な時間及び労力を要し、作業効率が低下する要因になっていた。そこで、対象部位を撮像デバイスで撮像する際の撮像デバイスの位置を短時間で効率的に決定することが望まれている。
本願に係る1番目の態様によれば、作業空間内に配置されたワークを加工するのに使用されるロボットに対して教示されるロボットプログラムを作成するロボットプログラミング装置であって、前記作業空間を3次元で表現した仮想空間を作成する仮想空間作成部と、前記仮想空間内に配置されるワークのモデルに対し、撮像デバイスによって撮像されるべき対象部位を指定する対象部位指定部と、前記仮想空間内において、前記撮像デバイスによって前記対象部位を撮像する際における前記撮像デバイスの少なくとも1つの位置を決定する位置決定部と、前記位置決定部によって決定される前記撮像デバイスの前記少なくとも1つの位置を記憶する位置記憶部と、前記位置記憶部によって記憶される前記撮像デバイスの前記少なくとも1つの位置に従って、前記撮像デバイスによって前記対象部位を撮像するように前記ロボットに教示される撮像プログラムを作成する撮像プログラム作成部と、を備えており、さらに、前記撮像デバイスが前記位置決定部によって決定される任意の1つの位置に配置されるときに、前記対象部位の全体を撮像可能であるか否かを判定する判定部を備えており、前記位置決定部は、前記判定部によって前記対象部位の全体を撮像可能でないと判定された場合に、前記任意の1つの位置とは異なる前記撮像デバイスの追加の位置を決定するように構成されるとともに、前記撮像デバイスの複数の位置を決定する際に、互いに隣接する各々の前記位置における前記撮像デバイスの視野の範囲が所定の範囲にわたって重なり合うように、前記撮像デバイスの前記複数の位置を決定するように構成されており、さらに、前記撮像プログラムを前記仮想空間内においてシミュレーションすることによって得られる前記対象部位の位置において前記ワークの加工が実行されるように加工プログラムを作成する加工プログラム作成部を備える、ロボットプログラミング装置が提供される。
本願に係る2番目の態様によれば、1番目の態様に係るロボットプログラミング装置において、前記位置決定部は、前記撮像デバイスが前記対象部位に対して所定の位置関係を有するような、前記撮像デバイスの前記少なくとも1つの位置を決定するように構成される。
本願に係る3番目の態様によれば、2番目の態様に係るロボットプログラミング装置において、前記位置決定部は、前記撮像デバイスの視野の範囲を指定する視野指定部を備えており、前記位置決定部は、前記撮像デバイスと前記対象部位との間の前記所定の位置関係、及び前記視野の範囲に基づいて、前記対象部位を全体的に撮像可能であるような、前記撮像デバイスの前記少なくとも1つの位置を決定するように構成される。
願に係る番目の態様によれば、2番目又は3番目の態様に係るロボットプログラミング装置において、前記撮像デバイスと前記対象部位との間の前記所定の位置関係は、前記撮像デバイスと前記対象部位との間の距離によって指定される。
本願に係る番目の態様によれば、番目の態様に係るロボットプログラミング装置において、前記撮像デバイスと前記対象部位との間の距離は、前記対象部位を含むワークの表面に対して垂直な方向に沿った距離である。
本願に係る番目の態様によれば、1番目から番目のいずれかの態様に係るロボットプログラミング装置において、前記対象部位が前記ワークの表面上の点、線又は面である。
本願に係る番目の態様によれば、1番目から番目のいずれかの態様に係るロボットプログラミング装置において、前記撮像プログラムは、前記撮像デバイス及び前記ワークのうちの少なくともいずれか一方の位置及び姿勢を制御するロボットに対する教示内容を含む。
本願に係る番目の態様によれば、1番目から番目のいずれかの態様に係るロボットプログラミング装置において、前記撮像プログラムは、所定の位置に固定された前記ワークに対して、前記位置決定部によって決定される所定の位置関係を有するように固定された前記撮像デバイスに対し、前記ワークの前記対象部位を撮像するよう教示する教示内容を含む。
上記構成を備えたロボットプログラミング装置によれば、対象部位を撮像する際の撮像デバイスの位置が仮想空間内で決定され、その内容に従って撮像プログラムが作成される。ロボットは、教示される撮像プログラムに従って撮像工程を実行する。したがって、操作者は、撮像工程時の撮像デバイスの位置を容易に決定でき、撮像工程を効率的に実行できるようになる。
作業空間内に配置されたロボット、ワーク、及びロボットに取付けられた撮像デバイスを示す概略図である。 本発明の一実施形態に係るロボットプログラミング装置の機能ブロック図である。 仮想空間内に配置されたロボット、撮像デバイス、及びワークの表示例を示す図である。 ワークの対象部位の例を示す斜視図である。 ワークの対象部位の例を示す斜視図である。 ワークの対象部位の例を示す斜視図である。 撮像デバイスの視野を示す概念図である。 撮像デバイスの視野領域と対象部位との間の位置関係の例を示す図である。 撮像デバイスの視野領域と対象部位との間の位置関係の例を示す図である。 撮像デバイスの視野領域と対象部位との間の位置関係の例を示す図である。 撮像デバイスの視野領域と対象部位との間の位置関係の例を示す図である。 複数の位置に配置された撮像デバイスの視野領域が重なる重畳領域分を示す図である。 複数の位置に配置された撮像デバイスの視野領域が重なる重畳領域分を示す図である。 重畳条件に従って複数の撮像デバイスの位置を決定する決定方法を説明する図である。 重畳条件に従って複数の撮像デバイスの位置を決定する決定方法を説明する図である。 本発明の一実施形態に係るロボットプログラミング装置において実行される処理の流れを示すフローチャートである。 作業空間内に配置されたロボット、撮像デバイス及びワークを示す概略図である。 作業空間内に配置されたロボット、撮像デバイス及びワークを示す概略図である。 作業空間内に配置されたロボット、撮像デバイス及びワークを示す概略図である。 作業空間内に配置されたロボット、撮像デバイス及びワークを示す概略図である。
以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、本発明の理解を助けるために縮尺が適宜変更されている。
図1は、作業空間内に配置されたロボット100、ワーク60、及びロボット100に取付けられた撮像デバイス50を示す概略図である。ロボット100は、アーム102の先端の手首106に取付けられた加工具104を備えている。ロボット100は、制御装置110から教示される制御プログラムに従って動作し、位置及び姿勢を適宜変更できるように形成されている。制御装置110は、キーボード、マウスなどの入力手段並びに種々のデータ及びプログラムを記憶する記憶部を備えている。また、制御装置110は、LCDなどの表示部を備えていてもよい。
手首106の近傍には、撮像デバイス50が固定されている。撮像デバイス50は、例えばCCDなどの撮像素子を有する視覚センサである。撮像デバイス50は、ロボット100が動作するのに連動して、その位置及び姿勢が変化するようになっている。
ワーク60は、ロボット100の近傍に配置される作業台などの治具70に固定されている。ワーク60は、例えば表面を切削して形成される概ね板状の部材である。図示されたワーク60は、治具70に固定される下方部60aと、治具70に対する接触面とは反対側に突出する上方部60bと、を有している。ワーク60は、例えばバリ取り加工を実行するために、ロボット100の手首106に取付けられた加工具104の可動範囲内に設置される。
撮像デバイス50は、例えば加工具104によって加工されるべきワーク60の加工箇所を撮像するために使用される。或いは、撮像デバイス50は、ワーク60に形成された穴の位置を正確に検出する目的で使用されてもよい。
本実施形態によれば、ロボット100が撮像プログラムに従って制御され、撮像デバイス50が、撮像されるべきワーク60の対象部位に対して所定の位置に位置決めされる。撮像プログラムは、ロボットプログラミング装置10によって作成される。ロボットプログラミング装置10は、ロボット制御装置110に内蔵されていてもよいし、或いはロボット制御装置110とは別個に設けられてもよい。
図2は、本実施形態に係るロボットプログラミング装置10の機能ブロック図である。図示されるように、ロボットプログラミング装置10は、仮想空間作成部12と、対象部位指定部14と、視野指定部16と、判定部18と、位置決定部20と、位置記憶部22と、撮像プログラム作成部24と、加工プログラム作成部26と、を備えている。
仮想空間作成部12は、例えば図1に示されるような作業空間を3次元で表現した仮想空間を作成する機能を有する。仮想空間作成部12は、予め定められた3次元形状モデルに従って、ロボットモデル(以下、単に「ロボット」と称する。)100、加工具モデル(以下、単に「加工具」と称する。)104、撮像デバイスモデル「以下、単に「撮像デバイス」と称する。)50、ワークモデル(以下、単に「ワーク」と称する。)60をそれぞれ仮想空間内に配置できるように構成される。仮想空間作成部12によって作成される仮想空間及び仮想空間内に配置される各々の要素のモデルは、図示されないLCDなどの表示部に表示される。
図3は、仮想空間内に配置されたロボット100、撮像デバイス50、ワーク60を表示した表示例を示している。撮像工程における撮像デバイス50の、ワーク60に対する位置を決定する目的のみを考慮すれば、ロボット100及び加工具104の表示を省略してもよい。また、ワーク60以外の要素については、3次元の形状モデルの代わりに、簡略化されたモデルが使用されてもよい。例えば、撮像デバイス50を仮想空間内で表す場合、撮像デバイス50の位置及び視線方向が視覚的に認識可能であれば、他の任意の簡易モデルを使用してもよい。
対象部位指定部14は、仮想空間内に配置されるワーク60(図3参照)に対し、撮像デバイス50によって撮像されるべき対象部位Xを指定する機能を有する。対象部位Xは、例えばワーク60の表面上の点、線又は面である。操作者は、例えば表示部に表示された仮想空間を確認しながら任意の入力手段を用いて対象部位Xを指定できる。
図4A〜図4Cは、ワーク60の対象部位Xの例を示す斜視図である。図4Aは、ワーク60の上方部60bの稜線に沿って定められる対象部位X1を太線で示している。対象部位X1は、隣接する始点Y1及び終点Y2を含んでいて概ね閉じた形状を有している。図4Bは、ワーク60の上方部60bの1つの角部に定められる対象部位X2を黒丸で示している。図4Cは、ワーク60の上方部60bの上面に定められる対象部位X3を示しており、対象部位にはハッチングが施されている。図4Cの例では、ワーク60の上面全体が対象部位Xとして指定されているものの、対象部位Xは、上面の一部の範囲にわたって指定されてもよい。
視野指定部16は、撮像デバイス50の視野領域VAを指定する機能を有する。図5は、撮像デバイス50の視野Vを示す概念図である。図5に示されるように、視野Vは、例えば撮像デバイス50の視線VOを中心軸線とする四角錐の形状モデルとして仮想空間内に定義される。四角錐の代わりに、円錐又は円柱の形状モデルが使用されてもよい。視野領域VAは、例えば視野Vの高さHだけ撮像デバイス50から離間していて視線VOに対して垂直に延在する平面上の視野Vの範囲を表す。視野領域VAの寸法は、例えば第1の辺S1の寸法及び第1の辺S1に対して垂直な方向に延在する第2の辺S2の寸法を指定することによって決定される。或いは、撮像デバイス50の焦点距離、撮像される画像のサイズ(ピクセル数)、視野の高さHなどの情報を入力し、それら情報から視野領域VAの寸法を算出してもよい。
位置決定部20は、仮想空間内において、撮像デバイス50によってワーク60の対象部位Xを撮像する際における撮像デバイス50の位置を決定する機能を有する。例えば対象部位Xとして連続した線が指定される場合(図4A参照)、撮像デバイス50の視野領域VAが、ワーク60の上方部60bの上面と同一平面上にあり、かつ視野領域VAの中心が対象部位Xの始点(図4Aの符号「Y1」)に一致するように、撮像デバイス50の位置が決定される。具体的には、位置決定部20は、ワーク60の形状情報から対象部位Xを含むワーク60の表面に対する法線方向を取得し、対象部位Xの始点からこの法線方向に視野の高さHだけ離間した位置を撮像デバイスの位置として決定する。
また、対象部位Xが点である場合(図4B参照)、例えば視野領域VAの中心が対象部位Xに一致するように撮像デバイス50の位置が決定される。対象部位Xが面である場合(図4C参照)、例えば視野領域VAの中心が対象部位Xの中心に一致するように撮像デバイス50の位置が決定される。このように、位置決定部20は、対象部位Xと撮像デバイス50との間の距離を指定することによって、対象部位Xに対する撮像デバイス50の位置を決定できるように構成される。
判定部18は、視野指定部16によって指定される視野領域VAと、位置決定部20によって決定される撮像デバイス50の位置と、に基づいて、撮像デバイス50が対象部位Xの全体を撮像可能であるか否かを判定する機能を有する。このとき、例えばワーク60の対象部位が線又は面である場合、対象部位は複数の点の集合に変換され、判定部18は、対象部位Xに対応する各々の点が視野領域VAの範囲内に含まれるか否かによって、上記判定処理を実行する。
図6A及び図6Bは、撮像デバイス50の視野領域VAと対象部位Xとの間の位置関係の例を示す図である。図6A及び図6Bは、図4Aに示されるようなワーク60の稜線が対象部位Xとして指定される場合を示している。撮像デバイス50は、撮像デバイス50の視野領域VAの中心が対象部位の始点Y1に一致するように、かつ撮像デバイス50が始点Y1からワーク60の表面に対する法線方向に視野Vの高さHだけ離間した位置に配置される。
図6Bから分かるように、太線で表される矩形の四辺である対象部位Xは、その全体が視野領域VAの範囲内に含まれる。すなわち、判定部18は、この位置に配置された撮像デバイス50によって対象部位Xの全体を撮像できると判定する。したがって、この場合、位置決定部20による撮像デバイス50の位置を決定する工程が完了し、そのときの撮像デバイス50の位置を位置記憶部22に出力する。
図7A及び図7Bは、撮像デバイス50の視野領域VAと対象部位Xとの間の位置関係を示す図である。この場合、図7Bに示されるように、対象部位Xの一部しか視野領域VAの範囲内に含まれていない。したがって、判定部18は、撮像デバイス50によって対象部位Xの全体を撮像できないと判定する。この場合、位置決定部20は、撮像デバイス50の追加の位置を決定する。すなわち、撮像工程において、撮像デバイス50は、複数の異なる位置から対象部位Xを撮像することになる。
対象部位Xを撮像するための撮像デバイス50の追加の位置は、位置決定部20によって、例えば視野領域VAが重なる重畳領域Zの大きさに従って順次決定される。図8A及び図8Bは、複数の位置に配置された撮像デバイス50の視野領域VAの重畳領域Zを示す図である。図8A及び図8Bには、第1の視野V1を有する第1の位置に配置された撮像デバイス501と、第2の視野V2を有する第2の位置に配置された撮像デバイス502とが、それぞれ示されている。そして、第1の視野V1の視野領域VA1と、第2の視野V2の視野領域VA2とが重なり合う重畳領域Zが示されている。
重畳領域Zは、例えば第1の方向の寸法Z1及び第1の方向に対して垂直な第2の方向の寸法Z2の少なくともいずれか一方が所定の閾値未満になるように設定される。或いは、重畳領域Zの面積が所定の閾値未満になるように設定されてもよい。すなわち、位置決定部20は、重畳領域Zの寸法Z1,Z2又は面積を閾値と比較しながら、所定の重畳条件を満足するような撮像デバイス50の追加の位置を順次決定する。
図9A及び図9Bは、重畳条件に従って複数の撮像デバイス50の位置を決定する決定方法を説明する図である。図9Aには、第1の位置に配置される撮像デバイス50の視野領域VA1と、第2の位置に配置される撮像デバイス50の視野領域VA2と、がそれぞれ破線で表されている。また、それら視野領域VA1,VA2が重なり合う重畳領域Zにはハッチングが施されている。
第1の視野領域VA1の中心VC1は、対象部位Xの始点(図4Aの符号「Y1」)に一致している。また、第2の視野領域VA2の中心VC2は、対象部位Xの線上に位置している。したがって、位置決定部20は、撮像デバイス50が、第1の視野領域VA1を有する位置から第2の視野領域VA2を有する位置まで、視野領域の中心が対象部位Xの線上に位置する状態を維持しながら移動すると仮定して、重畳領域Zの寸法又は面積を計算する。そのようにして、例えば重畳領域Zの寸法Z2が所定の閾値よりも小さくなる位置、すなわち視野領域VA2に対応する位置が計算される。
図9Bには、第2の位置に配置される撮像デバイス50の視野領域VA2と、第3の位置に配置される撮像デバイス50の視野領域VA3と、がそれぞれ破線で示されている。視野領域VA3の中心VC3は、対象部位Xの線上に位置している。位置決定部20は、視野領域の中心が対象部位Xの線に沿うように撮像デバイス50が移動すると仮定して、重畳領域Zの寸法又は面積を計算する。そして、例えば重畳領域Zの寸法Z1が所定の閾値よりも小さくなる位置である視野領域VA3が計算される。
位置決定部20は、図9A及び図9Bを参照して説明した位置決定工程を繰り返し、対象部位Xの全体が撮像されるような撮像デバイス50の複数の位置を決定する。そして、各々の撮像デバイス50の位置は、位置決定部20から位置記憶部22に出力され、格納される。
撮像プログラム作成部24は、位置記憶部22に記憶される撮像デバイス50の位置情報に従って、ロボット100に教示される撮像プログラムを作成する機能を有する。すなわち、撮像プログラムには、対象部位Xを撮像可能な位置まで撮像デバイス50を位置決めするとともに、対象部位Xの撮像を実行する教示内容が含まれる。
加工プログラム作成部26は、ワーク60を加工する加工プログラムを作成する機能を有する。加工プログラム作成部26は、撮像プログラムを仮想空間内においてシミュレーションした結果として得られる対象部位Xの位置に基づいて、対象部位Xを加工する加工プログラムを作成する。或いは、加工プログラム作成部26は、撮像プログラムを実際の作業空間内において実行し、その結果として得られる対象部位Xの画像を処理して、加工プログラムを作成する。加工プログラムには、対象部位Xに対応する位置に加工具104を位置決めするとともに、加工を実行する内容が含まれる。
図10は、本発明の一実施形態に係るロボットプログラミング装置10において実行される処理の流れを示すフローチャートである。なお、説明の便宜上、各々の工程を順番に説明するものの、工程の順番を限定する意図ではないことを当業者は理解するであろう。また、幾つかの工程を同時に並行して実行してもよいことを当業者は理解するであろう。
先ず、ステップS1において、仮想空間作成部12が仮想空間を作成する。また、その仮想空間内に、ワーク60の3次元形状モデルを少なくとも含む、各々の要素のモデルが仮想空間内に配置される(図3参照)。
ステップS2では、対象部位指定部14が、仮想空間内のワーク60のモデルに対して、撮像デバイス50により撮像されるべき対象部位Xを指定する。このとき、対象部位Xは、例えばワーク60に対して定義されるワーク座標系において指定される。そして、ステップS3において、ワーク座標系と基準座標系との間の位置関係と、ワーク座標系における対象部位Xの位置と、に基づいて基準座標系における対象部位Xの位置が算出される。
さらに、ステップS4において、視野指定部16が、撮像デバイス50の視野領域VAを指定する。ステップS5では、撮像デバイス50と対象部位Xとの間の位置関係が指定される。ステップS4及びステップS5で指定される情報は、例えば操作者によって入力され、位置決定部20で実行される計算に使用される。代替的な実施形態においては、視野領域VA、及び撮像デバイス50と対象部位Xとの間の位置関係は、撮像デバイス50固有の情報、例えば焦点距離、撮像される画像のサイズ、及び視野の高さなどの情報に基づいて自動的に算出されてもよい。
次いで、ステップS6において、位置決定部20が、ステップS3で算出された対象部位Xの位置と、ステップS4で指定された視野領域VAと、ステップS5で指定された撮像デバイス50と対象部位Xとの間の位置関係と、に基づいて、対象部位Xを撮像するための撮像デバイス50の位置を決定する。
続いてステップS7において、判定部18が、ステップS6で決定された位置に配置された撮像デバイス50によって対象部位Xの全体を撮像可能であるか否かが判定される。
ステップS7において対象部位Xの全体を撮像可能ではないと判定された場合、ステップS8に進み、位置決定部20が、次に撮像工程を実行すべき撮像デバイス50の位置を決定する。ステップS8において決定される追加の撮像デバイス50の位置は、例えば、前述したように、直前の位置における撮像デバイス50の視野領域VAに対して所定の重畳条件を満足する位置である。ステップS7及びそれに続くステップS8は、ステップS7において対象部位Xの全体を撮像可能であると判定されるまで繰返される。
他方、ステップS7において対象部位Xの全体を撮像可能であると判定された場合、ステップS9に進む。ステップS9では、位置記憶部22が、ステップS6、及び該当する場合はステップS8において決定された撮像デバイス50の位置を記憶する。
次いで、ステップS10において、撮像プログラム作成部24が、ステップS9で記憶された撮像デバイス50の位置に基づいて、ロボット100に対する撮像プログラムを作成する。作成された撮像プログラムは、ロボット100を制御する制御装置110(図1)に送られる。例えば、図1に示されるように、撮像デバイス50がロボット100の手首106の近傍に固定される場合、ロボット100が撮像デバイス50を撮像プログラムによって教示される位置に位置決めする。
図11〜図14は、別の構成例における作業空間に配置されたロボット100、撮像デバイス50及びワーク60を示す概略図である。図11に示される構成例によれば、撮像デバイス50が治具72に固定されるとともに、ワーク60が治具74を介してロボット100の手首106に固定される。この場合、ロボット100は、撮像プログラムによって教示される位置にワーク60を位置決めし、それにより、撮像デバイス50によって対象部位Xを撮像可能になるようなワーク60と撮像デバイス50との間の位置関係が実現される。
図12に示される構成例によれば、撮像デバイス50がロボット100の手首106に固定されるとともに、ワーク60が治具74を介して可動装置76に固定される。可動装置76は、例えば1つ又は2つ以上の電気モータによって駆動されるボールねじなどの可動機構部を備えたロボット以外の任意の可動手段である。可動装置76は、ワーク60の位置及び姿勢の少なくともいずれか一方を変更できるようになっている。或いは、図示されないものの、ワーク60がロボット100の手首106に固定されるともに、撮像デバイス50がそのような可動要素に固定されてもよい。いずれの場合も、ロボット100が撮像プログラムの教示内容に従って制御され、撮像デバイス50がワーク60の対象部位Xを撮像できるようなワーク60と撮像デバイスとの間の位置関係を実現する。
図13に示される構成例によれば、撮像デバイス50及びワーク60が互いに別個のロボット100の手首106にそれぞれ固定されている。この場合も他の例と同様に、それらロボット100の少なくともいずれか一方が撮像プログラムの教示内容に従って制御され、撮像デバイス50がワーク60の対象部位Xを撮像できるようなワーク60と撮像デバイス50との間の位置関係を実現する。
図14に示される構成例によれば、撮像デバイス50が治具72に固定されるとともに、ワーク60が治具70に固定されている。この場合、位置決定部20によって決定される撮像デバイス50の撮像時の位置から、撮像デバイス50とワーク60との間の位置関係を求め、それに従って、撮像デバイス50を固定する治具72の位置及び姿勢のいずれか一方が調整される。そして、撮像プログラムに従って、撮像デバイス50が起動され、ワーク60の対象部位Xが撮像される。
以上、本発明の種々の実施形態及び変形例を説明したが、他の実施形態及び変形例によっても本発明の意図される作用効果を奏することができることは当業者に自明である。特に、本発明の範囲を逸脱することなく前述した実施形態及び変形例の構成要素を削除ないし置換することが可能であるし、公知の手段をさらに付加することが可能である。また、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。
10 ロボットプログラミング装置
12 仮想空間作成部
14 対象部位指定部
16 視野指定部
18 判定部
20 位置決定部
22 位置記憶部
24 撮像プログラム作成部
26 加工プログラム作成部
50 撮像デバイス
60 ワーク
70 治具
72 治具
74 治具
76 可動装置
100 ロボット
102 アーム
104 加工具
106 手首
110 制御装置
V 視野
VA 視野領域
X 対象部位
X1 対象部位
X2 対象部位
X3 対象部位

Claims (8)

  1. 作業空間内に配置されたワークを加工するのに使用されるロボットに対して教示されるロボットプログラムを作成するロボットプログラミング装置であって、
    前記作業空間を3次元で表現した仮想空間を作成する仮想空間作成部と、
    前記仮想空間内に配置されるワークのモデルに対し、撮像デバイスによって撮像されるべき対象部位を指定する対象部位指定部と、
    前記仮想空間内において、前記撮像デバイスによって前記対象部位を撮像する際における前記撮像デバイスの少なくとも1つの位置を決定する位置決定部と、
    前記位置決定部によって決定される前記撮像デバイスの前記少なくとも1つの位置を記憶する位置記憶部と、
    前記位置記憶部によって記憶される前記撮像デバイスの前記少なくとも1つの位置に従って、前記撮像デバイスによって前記対象部位を撮像するように前記ロボットに教示される撮像プログラムを作成する撮像プログラム作成部と、を備えており、
    さらに、
    前記撮像デバイスが前記位置決定部によって決定される任意の1つの位置に配置されるときに、前記対象部位の全体を撮像可能であるか否かを判定する判定部を備えており、
    前記位置決定部は、前記判定部によって前記対象部位の全体を撮像可能でないと判定された場合に、前記任意の1つの位置とは異なる前記撮像デバイスの追加の位置を決定するように構成されるとともに、前記撮像デバイスの複数の位置を決定する際に、互いに隣接する各々の前記位置における前記撮像デバイスの視野の範囲が所定の範囲にわたって重なり合うように、前記撮像デバイスの前記複数の位置を決定するように構成されており、
    さらに、
    前記撮像プログラムを前記仮想空間内においてシミュレーションすることによって得られる前記対象部位の位置において前記ワークの加工が実行されるように加工プログラムを作成する加工プログラム作成部を備える、ロボットプログラミング装置。
  2. 前記位置決定部は、前記撮像デバイスが前記対象部位に対して所定の位置関係を有するような、前記撮像デバイスの前記少なくとも1つの位置を決定するように構成される、請求項1に記載のロボットプログラミング装置。
  3. 前記位置決定部は、前記撮像デバイスの視野の範囲を指定する視野指定部を備えており、
    前記位置決定部は、前記撮像デバイスと前記対象部位との間の前記所定の位置関係、及び前記視野の範囲に基づいて、前記対象部位を全体的に撮像可能であるような、前記撮像デバイスの前記少なくとも1つの位置を決定するように構成される、請求項2に記載のロボットプログラミング装置。
  4. 前記撮像デバイスと前記対象部位との間の前記所定の位置関係は、前記撮像デバイスと前記対象部位との間の距離によって指定される、請求項2又は3に記載のロボットプログラミング装置。
  5. 前記撮像デバイスと前記対象部位との間の距離は、前記対象部位を含むワークの表面に対して垂直な方向に沿った距離である、請求項に記載のロボットプログラミング装置。
  6. 前記対象部位が前記ワークの表面上の点、線又は面である、請求項1からのいずれか1項に記載のロボットプログラミング装置。
  7. 前記撮像プログラムは、前記撮像デバイス及び前記ワークのうちの少なくともいずれか一方の位置及び姿勢を制御するロボットに対する教示内容を含む、請求項1からのいずれか1項に記載のロボットプログラミング装置。
  8. 前記撮像プログラムは、所定の位置に固定された前記ワークに対して、前記位置決定部によって決定される所定の位置関係を有するように固定された前記撮像デバイスに対し、前記ワークの前記対象部位を撮像するよう教示する教示内容を含む、請求項1からのいずれか1項に記載のロボットプログラミング装置。
JP2014011419A 2014-01-24 2014-01-24 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置 Active JP5850958B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014011419A JP5850958B2 (ja) 2014-01-24 2014-01-24 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置
CN201510020672.3A CN104802186B (zh) 2014-01-24 2015-01-15 制作用于拍摄工件的机器人程序的机器人程序设计装置
DE102015000587.1A DE102015000587B4 (de) 2014-01-24 2015-01-16 Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
US14/603,396 US9352467B2 (en) 2014-01-24 2015-01-23 Robot programming apparatus for creating robot program for capturing image of workpiece

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014011419A JP5850958B2 (ja) 2014-01-24 2014-01-24 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置

Publications (2)

Publication Number Publication Date
JP2015136781A JP2015136781A (ja) 2015-07-30
JP5850958B2 true JP5850958B2 (ja) 2016-02-03

Family

ID=53523035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014011419A Active JP5850958B2 (ja) 2014-01-24 2014-01-24 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置

Country Status (4)

Country Link
US (1) US9352467B2 (ja)
JP (1) JP5850958B2 (ja)
CN (1) CN104802186B (ja)
DE (1) DE102015000587B4 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015119806A1 (de) * 2015-11-16 2017-05-18 Grob-Werke Gmbh & Co. Kg Verfahren zur Darstellung der Bearbeitung in einer Werkzeugmaschine
JP6370821B2 (ja) 2016-02-12 2018-08-08 ファナック株式会社 ロボットプログラムの教示を行うロボットプログラミング装置
JP6348141B2 (ja) * 2016-04-28 2018-06-27 ファナック株式会社 付加軸の状態が含まれる動作プログラムを表示するロボットの制御装置
JP6815924B2 (ja) * 2017-04-19 2021-01-20 トヨタ自動車株式会社 キャリブレーション装置
JP6571723B2 (ja) 2017-07-11 2019-09-04 ファナック株式会社 動作プログラムを生成するプログラミング装置、及びプログラム生成方法
DE102017011252A1 (de) * 2017-12-06 2019-06-06 Kuka Deutschland Gmbh Verfahren und System zur Bauteilbearbeitung durch Roboter
DE102018113122A1 (de) * 2018-06-01 2019-12-05 Mack Rides Gmbh & Co Kg Verfahren zum Facettieren sowie Vorrichtung für ein solches Verfahren
JP7233858B2 (ja) 2018-06-13 2023-03-07 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
DE102018124671B4 (de) * 2018-10-06 2020-11-26 Bystronic Laser Ag Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
DE102020104362B4 (de) 2020-02-19 2022-04-14 Franka Emika Gmbh Bahnplanung für einen Robotermanipulator mittels Kamerabild
JP2021146437A (ja) * 2020-03-18 2021-09-27 株式会社東芝 制御装置、検査システム、制御方法、プログラム、及び記憶媒体
KR102713812B1 (ko) * 2021-06-18 2024-10-07 두산로보틱스 주식회사 로봇을 활용한 영상 촬영 장치 및 영상 촬영 방법
US20220402143A1 (en) * 2021-06-18 2022-12-22 Doosan Robotics Inc. Apparatus and method for capturing image using robot
US20240227174A1 (en) * 2021-07-28 2024-07-11 Fanuc Corporation Simulation device
JPWO2023171687A1 (ja) * 2022-03-08 2023-09-14
WO2024180756A1 (ja) * 2023-03-02 2024-09-06 日本電気株式会社 制御システム、制御方法、および記録媒体

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06328385A (ja) 1993-05-20 1994-11-29 Fanuc Ltd 産業用ロボットの視覚センサの姿勢制御方法
JPH11134017A (ja) 1997-10-27 1999-05-21 Honda Motor Co Ltd オフラインティーチング方法
JP3655083B2 (ja) * 1998-02-25 2005-06-02 富士通株式会社 ロボットの位置決めを行うインタフェース装置
JP4568978B2 (ja) 2000-09-13 2010-10-27 株式会社安川電機 マニピュレータ装置
KR100345150B1 (ko) 2000-09-29 2002-07-24 현대자동차주식회사 레이저 측정기를 이용한 로봇 위치 보정 방법
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
JP4779226B2 (ja) * 2001-04-25 2011-09-28 ソニー株式会社 ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体
JP3972356B2 (ja) 2001-12-20 2007-09-05 株式会社安川電機 視覚センサの誘導方法
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
DE10349361B4 (de) 2003-10-23 2015-07-16 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Positionieren eines Handhabungsgeräts
JP3905073B2 (ja) * 2003-10-31 2007-04-18 ファナック株式会社 アーク溶接ロボット
JP3732494B2 (ja) * 2003-10-31 2006-01-05 ファナック株式会社 シミュレーション装置
JP2006048244A (ja) * 2004-08-02 2006-02-16 Fanuc Ltd 加工プログラム作成装置
JP4266946B2 (ja) * 2005-03-17 2009-05-27 ファナック株式会社 オフライン教示装置
JP2006326176A (ja) * 2005-05-30 2006-12-07 Mitsubishi Electric Corp 指紋照合装置
KR20080024476A (ko) * 2005-06-14 2008-03-18 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템
JP4171488B2 (ja) * 2005-12-16 2008-10-22 ファナック株式会社 オフラインプログラミング装置
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
JP2007334678A (ja) * 2006-06-15 2007-12-27 Fanuc Ltd ロボットシミュレーション装置
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP5045567B2 (ja) 2008-06-16 2012-10-10 富士通株式会社 撮像方向決定プログラム
EP2224303B1 (en) * 2009-02-27 2011-01-19 Honda Research Institute Europe GmbH Robot with automatic selection of task-specific representations for imitation learning
US8457791B2 (en) * 2009-03-10 2013-06-04 GM Global Technology Operations LLC Method for dynamically controlling a robotic arm
JP2011185650A (ja) * 2010-03-05 2011-09-22 Omron Corp モデル作成装置およびモデル作成プログラム
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
JP2012135821A (ja) * 2010-12-24 2012-07-19 Seiko Epson Corp ロボットシミュレーション装置、ロボットシミュレーション方法、及びロボットシミュレーションプログラム
JP5835926B2 (ja) * 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP6193554B2 (ja) 2011-11-04 2017-09-06 ファナック アメリカ コーポレイション 3次元表示部を備えたロボット教示装置
JP2013184257A (ja) * 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP6222898B2 (ja) * 2012-07-03 2017-11-01 キヤノン株式会社 3次元計測装置及びロボット装置
JP6293777B2 (ja) * 2012-12-10 2018-03-14 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像キャプチャ装置及び操作可能な装置可動アームの制御された動作の間の衝突回避

Also Published As

Publication number Publication date
CN104802186B (zh) 2016-12-07
US20150209963A1 (en) 2015-07-30
JP2015136781A (ja) 2015-07-30
CN104802186A (zh) 2015-07-29
DE102015000587A1 (de) 2015-07-30
DE102015000587B4 (de) 2018-09-27
US9352467B2 (en) 2016-05-31

Similar Documents

Publication Publication Date Title
JP5850958B2 (ja) ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP4763074B2 (ja) ロボットのツール先端点の位置の計測装置および計測方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP4167940B2 (ja) ロボットシステム
JP6457469B2 (ja) 移動ロボットの干渉領域設定装置
JP2020075354A (ja) 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
US10394216B2 (en) Method and system for correcting a processing path of a robot-guided tool
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
WO2018050307A1 (en) Method of programming an industrial robot
JP2019107704A (ja) ロボットシステム及びロボット制御方法
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
US20230278224A1 (en) Tool calibration for manufacturing robots
JP2018153905A (ja) 動作プログラム補正方法および溶接ロボットシステム
JP2009172685A (ja) マニピュレータシステムおよびその制御方法
JP2008168372A (ja) ロボット装置及び形状認識方法
JP2019093535A (ja) 教示操作盤およびロボット制御システム
TWI807990B (zh) 機器人示教系統
JP2012076181A (ja) ロボット制御装置、ロボットおよびロボット制御装置の教示方法
JP2011083883A (ja) ロボット装置
KR101820241B1 (ko) 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법
JP7176148B1 (ja) 溶接線検出システム
JP2015100874A (ja) ロボットシステム
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151201

R150 Certificate of patent or registration of utility model

Ref document number: 5850958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150