JP6795471B2 - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP6795471B2 JP6795471B2 JP2017162670A JP2017162670A JP6795471B2 JP 6795471 B2 JP6795471 B2 JP 6795471B2 JP 2017162670 A JP2017162670 A JP 2017162670A JP 2017162670 A JP2017162670 A JP 2017162670A JP 6795471 B2 JP6795471 B2 JP 6795471B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- processing object
- image
- camera
- photographing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Description
特許文献1に記載のロボットシステムは、撮影装置で撮影されたロボットの画像に基づいてロボットのCG映像を生成し、CG映像をタッチスクリーン上に表示する。ロボットシステムは、ユーザのタッチ操作に応じてタッチスクリーン上でのCG映像のロボットを仮想的に動作させ、仮想的なロボットの動作に追従して実際のロボットを動作させる。
特許文献2に記載のロボットシステムは、撮影装置で撮影された処理対象物の画像を表示装置に表示する。これにより、作業者は、表示装置に表示された処理対象物の画像に基づいて、ロボットの動作を遠隔操作する。
ロボット、撮影装置及び処理対象物の位置に関する情報は、例えば、
(1)ロボットの位置補正の基準となる座標系の原点及び各軸の方向、
(2)ロボットの位置補正の基準となるロボットの位置(例えば、後述するロボットの各関節の回転角度又は並進量)、
(3)ロボットと撮影装置との相対位置関係、及び、
(4)撮影装置と処理対象物との距離、
である。
また、上述したロボットと作業者又は周辺装置との衝突を回避するために、ロボットをゆっくりと移動させることが考えられるが、コンベア等の速度も遅くする必要がある。このように、ロボット以外の設定調整に関する作業量が増えるので、ロボットの位置補正後の移動先の把握がより難しくなる。更には、設定情報の確認の時間が長くなる。
この点に関し、特許文献1及び2にはAR空間を利用してロボットの位置制御を行うことが記載されているが、特許文献1及び2に記載のロボットシステムは、ロボット、撮影装置及び処理対象物を含むAR空間を利用して、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを確認するものではない。
図1は、第1実施形態に係るロボットシステムの構成を示す図である。図1に示すロボットシステム1は、カメラ(撮影装置)20で撮影されたワーク(処理対象物)Wの画像に基づいて、ワークWに追従するようにロボット10のアーム12の先端部(位置制御の対象部位)の移動先の位置補正を行う。
ロボットシステム1は、ロボット10と、カメラ20と、コンベア30と、ロボット制御装置40と、画像処理装置50と、AR表示装置60とを備える。
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、及び、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、である。
カメラ20の位置に関する設定情報は、例えば、
(3)ロボット10とカメラ20との相対位置関係、である。
ワークWの位置に関する設定情報は、例えば、
(4)カメラ20とワークWとの距離、である。
画像処理装置50は、ロボット制御装置40に含まれていてもよい。
図2に、表示装置60に表示されるAR空間の一例を示す。図2に示すように、表示装置60は、画像処理装置50で生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、カメラの画像21を表示する。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、変換されたカメラ20の位置に基づいて、表示装置60のAR空間の対応位置に、カメラ20を模したカメラの画像21を描画するための画像データを生成する(S14)。
次に、図2に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、カメラの画像21を表示する(S14)。
例えば、実物のカメラ20とカメラの画像21とが重なる場合、設定情報は適切に設定されている。
一方、実物のカメラ20に対してカメラの画像21がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット10及びカメラ20の位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のカメラ20に対してカメラの画像21がずれている場合、カメラ20の不適切な設置、例えばカメラ20がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ20を適切に設置し直して、上述した設定情報の確認動作を再度行う。
第1実施形態では、図2に示すように、AR空間に、設定情報に基づくカメラの画像21を表示することにより、ロボット10及びカメラ20の位置に関する設定情報の設定が適切であるか否かの確認を行った。第2実施形態では、図4に示すように、AR空間に、設定情報に基づくワークの画像W1を表示することにより、ロボット10、カメラ20及びワークWの位置に関する設定情報の設定が適切であるか否かの確認を行う。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、変換されたワークWの位置に基づいて、表示装置60のAR空間の対応位置に、取得したワークの画像W1を描画するための画像データを生成する(S25)。
次に、図4に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、ワークの画像W1を表示する(S26)。
これにより、ステップS26では、表示装置60は、図4に示すように、カメラ20の撮影範囲Rから移動したワークWに追従してワークの画像W1を表示することができる。
例えば、実物のワークWとワークの画像W1とが重なる場合、設定情報は適切に設定されている。
一方、実物のワークWに対してワークの画像W1がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット10、カメラ20及びワークWの位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のワークWに対してワークの画像W1がずれている場合、カメラ20の不適切な設置、例えばカメラ20がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ20を適切に設置し直して、上述した設定情報の確認動作を再度行う。
第3実施形態では、図6に示すように、AR空間に、設定情報に基づく座標系の画像XYZを表示することにより、(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向に関する設定情報の確認を行う。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、ロボット10の位置補正の基準となる3次元座標系の原点及び各3座標軸の方向を、ロボット10の座標系から表示装置60のAR空間の座標系に変換する(S33)。
次に、画像処理装置50は、変換された座標系に基づいて、表示装置60のAR空間の対応位置に、座標系の画像XYZを描画するための画像データを生成する(S34)。
次に、図6に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、座標系の画像XYZを表示する(S35)。
また、座標系に関する設定が作業者の認識と一致しているかを一目で確認できる。
10 ロボット
12 アーム
20 カメラ(撮影装置)
21 カメラの画像(撮影装置を模した画像)
30 コンベア
40 ロボット制御装置
50 画像処理装置
60 表示装置
W ワーク(処理対象物)
W1 ワークの画像(処理対象物の画像)
XYZ 座標系の画像(座標系を模した画像)
Claims (3)
- 処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
現実空間に仮想の情報を重ね合わせて表示するAR空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、
前記ロボットの位置に関する情報は、(1)前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、(2)前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、(3)前記ロボットと前記撮影装置との相対位置関係であり、
前記表示装置は、計算された前記撮影装置の位置に基づいて、前記AR空間の対応位置に、前記撮影装置を模した画像を表示し、
前記表示装置が提供する前記AR空間は、前記現実空間における少なくとも前記撮影装置を含み、更に前記仮想の情報として、前記撮影装置を模した画像を含む、
ロボットシステム。 - 処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
現実空間に仮想の情報を重ね合わせて表示するAR空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、
前記ロボットの位置に関する情報は、(1)前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、(2)前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、(3)前記ロボットと前記撮影装置との相対位置関係であり、
前記処理対象物の位置に関する情報は、(4)前記撮影装置と前記処理対象物との距離であり、
前記表示装置は、計算された前記処理対象物の位置に基づいて、前記AR空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示し、
前記表示装置が提供する前記AR空間は、前記現実空間における少なくとも前記処理対象物を含み、更に前記仮想の情報として、前記撮影装置で撮影された前記処理対象物の画像を含む、
ロボットシステム。 - 前記処理対象物は、コンベア上を移動しており、
前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算する、
請求項2に記載のロボットシステム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162670A JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
US16/057,105 US10786906B2 (en) | 2017-08-25 | 2018-08-07 | Robot system |
DE102018213985.7A DE102018213985B4 (de) | 2017-08-25 | 2018-08-20 | Robotersystem |
CN201810961409.8A CN109421048B (zh) | 2017-08-25 | 2018-08-22 | 机器人系统 |
US16/993,492 US11565427B2 (en) | 2017-08-25 | 2020-08-14 | Robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162670A JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019038075A JP2019038075A (ja) | 2019-03-14 |
JP6795471B2 true JP6795471B2 (ja) | 2020-12-02 |
Family
ID=65321867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017162670A Active JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10786906B2 (ja) |
JP (1) | JP6795471B2 (ja) |
CN (1) | CN109421048B (ja) |
DE (1) | DE102018213985B4 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020006146A1 (en) * | 2018-06-26 | 2020-01-02 | Fanuc America Corporation | Augmented reality visualization for robotic picking system |
JP6856583B2 (ja) | 2018-07-25 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム |
JP6856590B2 (ja) | 2018-08-31 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
CN109834712B (zh) * | 2019-03-01 | 2021-03-12 | 广东工业大学 | 一种机器人抓取顺序优化的方法 |
US12036663B2 (en) * | 2019-03-25 | 2024-07-16 | Abb Schweiz Ag | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
CN113631325A (zh) | 2019-03-29 | 2021-11-09 | 株式会社Ihi | 远程操作装置 |
CN110127436A (zh) * | 2019-06-04 | 2019-08-16 | 青岛大学 | 一种棉条自动输送系统 |
CN110897717B (zh) | 2019-12-09 | 2021-06-18 | 苏州微创畅行机器人有限公司 | 导航手术系统及其注册方法与电子设备 |
US11288877B2 (en) | 2020-01-10 | 2022-03-29 | 38th Research Institute, China Electronics Technology Group Corp. | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality |
CN111260793B (zh) * | 2020-01-10 | 2020-11-24 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
US20230138649A1 (en) * | 2020-05-19 | 2023-05-04 | Fanuc Corporation | Following robot |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互系统及方法 |
CN113601510B (zh) * | 2021-08-17 | 2024-05-07 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
EP4137279A1 (en) * | 2021-08-20 | 2023-02-22 | BHS Technologies GmbH | Robotic imaging system and method for controlling a robotic device |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5319443A (en) * | 1991-03-07 | 1994-06-07 | Fanuc Ltd | Detected position correcting method |
US5742263A (en) * | 1995-12-18 | 1998-04-21 | Telxon Corporation | Head tracking system for a head mounted display system |
JP4747410B2 (ja) * | 2000-11-10 | 2011-08-17 | ソニー株式会社 | 映像切替表示装置および映像切替表示方法 |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
JP4167954B2 (ja) * | 2003-09-02 | 2008-10-22 | ファナック株式会社 | ロボット及びロボット移動方法 |
DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
JP2008021092A (ja) * | 2006-07-12 | 2008-01-31 | Fanuc Ltd | ロボットシステムのシミュレーション装置 |
JP4347386B2 (ja) * | 2008-01-23 | 2009-10-21 | ファナック株式会社 | 加工用ロボットプラグラムの作成装置 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
JP2010131711A (ja) * | 2008-12-05 | 2010-06-17 | Honda Motor Co Ltd | ロボットアームの制御方法 |
US20120022924A1 (en) * | 2009-08-28 | 2012-01-26 | Nicole Runnels | Method and system for creating a personalized experience with video in connection with a stored value token |
CN107256094A (zh) * | 2010-04-13 | 2017-10-17 | 诺基亚技术有限公司 | 装置、方法、计算机程序和用户接口 |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
JP5246672B2 (ja) | 2011-02-17 | 2013-07-24 | 独立行政法人科学技術振興機構 | ロボットシステム |
JP4989768B2 (ja) * | 2011-02-24 | 2012-08-01 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
JP5803155B2 (ja) * | 2011-03-04 | 2015-11-04 | セイコーエプソン株式会社 | ロボット位置検出装置及びロボットシステム |
GB201111138D0 (en) | 2011-06-30 | 2011-08-17 | Leman Micro Devices Uk Ltd | Personal health data collection |
JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
JP5266377B2 (ja) * | 2011-12-19 | 2013-08-21 | ファナック株式会社 | 物品の姿勢を修正する機能を備えた取出し装置 |
US20130293580A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
US8996167B2 (en) * | 2012-06-21 | 2015-03-31 | Rethink Robotics, Inc. | User interfaces for robot training |
JP5670416B2 (ja) * | 2012-12-28 | 2015-02-18 | ファナック株式会社 | ロボットシステム表示装置 |
US9238304B1 (en) * | 2013-03-15 | 2016-01-19 | Industrial Perception, Inc. | Continuous updating of plan for robotic object manipulation based on received sensor data |
JP5742862B2 (ja) | 2013-03-18 | 2015-07-01 | 株式会社安川電機 | ロボット装置及び被加工物の製造方法 |
NO336219B1 (no) * | 2013-04-19 | 2015-06-15 | Electric Friends As | Anordning og fremgangsmåte for kamerastyring |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
CN104802166B (zh) * | 2013-10-10 | 2016-09-28 | 精工爱普生株式会社 | 机器人控制系统、机器人、程序以及机器人控制方法 |
JP6475409B2 (ja) * | 2013-12-20 | 2019-02-27 | 蛇の目ミシン工業株式会社 | ロボット、ロボットの制御方法、及びロボットの制御プログラム |
JP5850962B2 (ja) * | 2014-02-13 | 2016-02-03 | ファナック株式会社 | ビジュアルフィードバックを利用したロボットシステム |
JP6379874B2 (ja) * | 2014-08-29 | 2018-08-29 | 株式会社安川電機 | ティーチングシステム、ロボットシステムおよびティーチング方法 |
JP6415190B2 (ja) | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
JP2016107379A (ja) | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
JP6693718B2 (ja) * | 2015-02-27 | 2020-05-13 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御プログラム、表示制御装置、及び表示制御方法 |
JP6562665B2 (ja) * | 2015-03-18 | 2019-08-21 | 蛇の目ミシン工業株式会社 | ロボット |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US9916506B1 (en) * | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
CN205121556U (zh) * | 2015-10-12 | 2016-03-30 | 中国科学院自动化研究所 | 机器人抓取系统 |
JP6551184B2 (ja) * | 2015-11-18 | 2019-07-31 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム |
JP6420229B2 (ja) * | 2015-12-10 | 2018-11-07 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
WO2017199261A1 (en) * | 2016-05-19 | 2017-11-23 | Deep Learning Robotics Ltd. | Robot assisted object learning vision system |
US10245724B2 (en) * | 2016-06-09 | 2019-04-02 | Shmuel Ur Innovation Ltd. | System, method and product for utilizing prediction models of an environment |
JP6308248B2 (ja) | 2016-06-22 | 2018-04-11 | オムロン株式会社 | コンベアトラッキング等に向けられたガイダンス装置 |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
US10723022B2 (en) * | 2016-09-16 | 2020-07-28 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
JP6707485B2 (ja) * | 2017-03-22 | 2020-06-10 | 株式会社東芝 | 物体ハンドリング装置およびその較正方法 |
DE102018116413A1 (de) * | 2017-07-12 | 2019-01-17 | Fanuc Corporation | Robotersystem |
JP6734253B2 (ja) * | 2017-12-20 | 2020-08-05 | ファナック株式会社 | ワークを撮像する視覚センサを備える撮像装置 |
JP7055657B2 (ja) * | 2018-02-14 | 2022-04-18 | 川崎重工業株式会社 | 接続装置及び接続方法 |
WO2020006146A1 (en) * | 2018-06-26 | 2020-01-02 | Fanuc America Corporation | Augmented reality visualization for robotic picking system |
JP6856583B2 (ja) * | 2018-07-25 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム |
JP6856590B2 (ja) * | 2018-08-31 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
CN112638594B (zh) * | 2018-09-10 | 2024-05-24 | 发纳科美国公司 | 机器人的连续路径的零示教 |
JP7490349B2 (ja) * | 2018-11-01 | 2024-05-27 | キヤノン株式会社 | 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 |
JP6836571B2 (ja) * | 2018-11-14 | 2021-03-03 | ファナック株式会社 | ロボット装置 |
JPWO2020110659A1 (ja) * | 2018-11-27 | 2021-10-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7277172B2 (ja) * | 2019-02-26 | 2023-05-18 | Juki株式会社 | ミシン |
US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
JP7222764B2 (ja) * | 2019-03-18 | 2023-02-15 | 株式会社キーエンス | 画像測定装置 |
US10399227B1 (en) * | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
CN113905859B (zh) * | 2019-07-12 | 2024-03-08 | 株式会社富士 | 机器人控制系统及机器人控制方法 |
JP7306937B2 (ja) * | 2019-09-25 | 2023-07-11 | ファナック株式会社 | ロボットに支持された部材の位置を調整するロボット装置の制御装置 |
US11875013B2 (en) * | 2019-12-23 | 2024-01-16 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments |
US11816754B2 (en) * | 2020-03-13 | 2023-11-14 | Omron Corporation | Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium |
US20210286502A1 (en) * | 2020-03-16 | 2021-09-16 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences |
CH717263A1 (fr) * | 2020-03-27 | 2021-09-30 | Richemont Int Sa | Loupe électronique d'horloger, ensemble de loupe électronique d'horloger et procédé pour effectuer un contrôle d'un produit horloger, notamment d'un mécanisme de montre. |
EP4139777A1 (en) * | 2020-06-08 | 2023-03-01 | Apple Inc. | Presenting avatars in three-dimensional environments |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互系统及方法 |
-
2017
- 2017-08-25 JP JP2017162670A patent/JP6795471B2/ja active Active
-
2018
- 2018-08-07 US US16/057,105 patent/US10786906B2/en active Active
- 2018-08-20 DE DE102018213985.7A patent/DE102018213985B4/de active Active
- 2018-08-22 CN CN201810961409.8A patent/CN109421048B/zh active Active
-
2020
- 2020-08-14 US US16/993,492 patent/US11565427B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019038075A (ja) | 2019-03-14 |
DE102018213985A1 (de) | 2019-02-28 |
DE102018213985B4 (de) | 2022-09-29 |
US11565427B2 (en) | 2023-01-31 |
CN109421048B (zh) | 2023-06-02 |
US20200368918A1 (en) | 2020-11-26 |
CN109421048A (zh) | 2019-03-05 |
US20190061167A1 (en) | 2019-02-28 |
US10786906B2 (en) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795471B2 (ja) | ロボットシステム | |
CN111482959B (zh) | 机器人运动视觉系统的自动手眼标定系统与方法 | |
JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
US10980606B2 (en) | Remote-control manipulator system and method of operating the same | |
JP5850962B2 (ja) | ビジュアルフィードバックを利用したロボットシステム | |
US20160158937A1 (en) | Robot system having augmented reality-compatible display | |
JP2008254150A (ja) | ロボットの教示装置及び教示方法 | |
US12090664B2 (en) | Interference avoidance device and robot system | |
JP3644991B2 (ja) | ロボット−センサシステムにおける座標系結合方法 | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
JP2021062463A (ja) | ロボットシステム | |
JP7517803B2 (ja) | ロボット教示システム、画像生成方法、及びプログラム | |
JP7306871B2 (ja) | ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置 | |
EP4177015A1 (en) | Robot teaching system | |
JP5573537B2 (ja) | ロボットのティーチングシステム | |
JP7366264B2 (ja) | ロボット教示方法及びロボット作業方法 | |
JP6559425B2 (ja) | レーザ照射制御装置 | |
KR20230065880A (ko) | 마커 검출 장치 및 로봇 교시 시스템 | |
JP2017113815A (ja) | 対象物をロボットを用いて把持するロボットシステムの画像表示方法 | |
CN111699077B (zh) | 用于机器人的基于视觉的操作 | |
TWI818717B (zh) | 作業程式作成系統以及作業程式作成方法 | |
JP7195476B1 (ja) | 作業プログラム作成システム及び作業プログラム作成方法 | |
KR101467898B1 (ko) | 레이저 포인터를 이용한 마킹 보조 장치 및 방법 | |
JP2018158429A (ja) | ロボットシステム | |
JP2024013243A (ja) | 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181024 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190121 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191023 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20191225 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200407 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200901 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200908 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201013 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6795471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |