[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110382172B - 图像处理装置以及图像处理数据生成方法 - Google Patents

图像处理装置以及图像处理数据生成方法 Download PDF

Info

Publication number
CN110382172B
CN110382172B CN201780087667.1A CN201780087667A CN110382172B CN 110382172 B CN110382172 B CN 110382172B CN 201780087667 A CN201780087667 A CN 201780087667A CN 110382172 B CN110382172 B CN 110382172B
Authority
CN
China
Prior art keywords
workpiece
image processing
data
tool
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087667.1A
Other languages
English (en)
Other versions
CN110382172A (zh
Inventor
大石信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN110382172A publication Critical patent/CN110382172A/zh
Application granted granted Critical
Publication of CN110382172B publication Critical patent/CN110382172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/04Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

图像处理数据用的数据结构用于在从供给的多个工件之中提取多关节机器人能够进行作业的对象工件时,生成为了对多个工件的拍摄图像进行图像处理所需的图像处理数据。该数据结构具有:工件形状数据,用于通过图案匹配来识别对象工件;以及工具数据,用于检查装配于多关节机器人的工具与周边工件之间有无干扰。并且,数据结构构成为能够对应每个工件或者每个工具对工件形状数据与工具数据的组合进行重组。

Description

图像处理装置以及图像处理数据生成方法
技术领域
本说明书公开图像处理数据生成用的数据结构以及图像处理数据生成方法。
背景技术
迄今为止,已知有能够对工件进行作业的工业用的多关节机器人(例如,参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2004-362018号公报
发明内容
发明所要解决的课题
由于在如今的多变种变量单元生产线中,大多混杂有多品种的生产,因此期望无换产地同时供给多品种的许多元件(工件),工件的配置、供给方法成为较大的课题。作为多关节机器人的基本作业之一,存在有把持(拾取)对象工件并进行搬运的作业。为了使多关节机器人易于进行把持,以往的工业用机器人中的工件的供给多使用专用的供给装置在逐个地对工件的方向以及位置进行了排列的状态下来进行。然而,由于对于专用的供给装置而言,除了对应每个工件需要专用的设计以外,设置空间、设置成本也较大,并不适合形成多变种变量单元生产的生产线。
因此,工件的供给期望以能够在不使用专用的供给装置的情况下以较小的设置面积供给更多的工件的方式将工件零散放置在箱体(元件箱)、小型传送器等通用的供给装置上这样的更加简单的方式。专用的供给装置以每次决定的位置、姿态来供给工件。因此,多关节机器人只需进行预先决定的把持动作即可。然而,在通用的供给装置中,工件被零散放置,除了供工件配置的位置、姿态不确定以外,还存在有因与把持对象外的工件之间的干扰状态而无法把持的情况。因此,多关节机器人除了识别工件的配置状态以外,还需要控制臂,以便形成为恰当的把持点、把持姿态。
工件的配置状态是利用附属于机器人控制装置的图像处理装置通过相机拍摄和图像处理而被自动地识别的。图像处理装置识别工件的配置条件、即对象工件的位置、方向、姿态以及与对象外工件之间的干扰状态,判定是否能够把持对象工件。用于实现这样的图像处理的图像处理数据的生成通常花费较大的劳力。但是,在多变种变量生产的生产线中,谋求在短时间内切换而高效地生产更多的品种,期望能够在短时间内容易地生成更多品种的图像处理数据。
本公开的主要目的在于提供能够以较少的劳力生成多品种的图像处理数据的数据结构或者生成方法。
用于解决课题的技术方案
本公开为了实现上述主要目的采取了以下的手段。
本公开的图像处理数据生成用的数据结构用于在从供给的多个工件之中提取多关节机器人能够进行作业的对象工件时,生成为了对所述多个工件的拍摄图像进行图像处理所需的图像处理数据,其主旨在于,所述图像处理数据生成用的数据结构具备:工件形状数据,用于通过图案匹配来识别所述对象工件;以及工具数据,用于检查所述工具与周边工件之间有无干扰,所述图像处理数据生成用的数据结构构成为能够对应每个工件或者每个工具对所述工件形状数据与所述工具数据的组合进行重组。
由此,数据生成者只需针对通用项目生成一次设定数据即可,之后,能够使用通用的数据而对多品种进行展开。其结果是,能够以较少的劳力生成多品种的图像处理数据。
附图说明
图1是表示机器人系统10的结构的概略的结构图。
图2是表示机器人20的结构的概略的结构图。
图3是表示机器人20、机器人控制装置70以及图像处理装置80的电连接关系的框图。
图4是表示图像处理数据的数据结构的说明图。
图5A是表示螺栓形的工件的工件形状模型的说明图。
图5B是表示圆筒形的工件的工件形状模型的说明图。
图6A是表示通过拾取工具T1(电磁卡盘)来拾取螺栓形的工件的样态的说明图。
图6B是表示通过拾取工具T2(机械卡盘)来拾取圆筒形的工件的样态的说明图。
图6C是表示通过拾取工具T3(吸嘴)来拾取螺栓形的工件的样态的说明图。
图7A是表示电磁卡盘用的拾取工具模型的一例的说明图。
图7B是表示机械卡盘用的拾取工具模型的一例的说明图。
图7C是表示吸嘴用的拾取工具模型的一例的说明图。
图8A是表示可否拾取的说明图。
图8B是表示可否拾取的说明图。
图8C是表示可否拾取的说明图。
图9是表示图像处理顺序的一例的说明图。
图10A是表示在场所A设置了工件供给装置的情况下的工件W及其背景的样态的说明图。
图10B是表示在场所B设置了工件供给装置的情况下的工件W及其背景的样态的说明图。
图11A是表示通过工件供给装置12A供给工件W时的检索区域AS的说明图。
图11B是表示通过工件供给装置12B供给工件W时的检索区域AS的说明图。
图12A是表示通过工件形状模型的替换来生成图像处理数据的样态的说明图。
图12B是表示通过拾取工具模型的替换来生成图像处理数据的样态的说明图。
图12C是表示通过图像处理设定模型的替换来生成图像处理数据的样态的说明图。
具体实施方式
接下来,参照附图说明用于实施本公开的方式。
图1是表示机器人系统10的结构的概略的结构图。图2是表示机器人20的结构的概略的结构图。图3是表示机器人20、机器人控制装置70以及图像处理装置80的电连接关系的框图。此外,在图1中,前后方向为X轴方向,左右方向为Y轴方向,上下方向为Z轴方向。
机器人系统10具备机器人20、机器人控制装置70以及图像处理装置80。在本实施方式中,机器人系统10构成为拾取(把持)由工件供给装置12供给的工件W并将拾取出的工件W排列放置在被托盘搬运装置14搬运的托盘T上的拾放系统。此外,机器人系统并不局限于拾放系统,只要是使用机器人20对工件W进行作业的系统,也适用于任意作业系统。
机器人20具备五轴的垂直多关节臂(以下,称作臂)22。臂22具有六个连杆(第一~第六连杆31~36)和与各连杆连结为能够旋转或者回转的五个关节(第一~第五关节41~45)。在各关节(第一~第五关节41~45)设有驱动对应的关节的马达(伺服马达)51~55和检测对应的马达的旋转位置的编码器(旋转编码器)61~65。
作为端部执行器的多种拾取工具T1~T3相对于臂22的前端连杆(第六连杆36)形成为能够装卸。在本实施方式中,拾取工具T1是通过电磁石来吸附由磁性体形成的工件W的电磁卡盘。另外,拾取工具T2是具有能够在保持工件W的靠近位置和解除工件W的保持的分离位置之间移动的一对夹持爪的机械卡盘(以下,称作机械卡盘)。进而,拾取工具T3是通过负压来吸附工件W的吸嘴。装配于前端连杆的拾取工具根据欲拾取的工件W的形状、材料适当地进行拾取。
另外,在臂22的前端部(第五连杆35)安装有相机24。相机24用于为了识别由工件供给装置12供给的各工件W的位置以及姿态而拍摄该工件W、且用于为了识别被托盘搬运装置14搬运的托盘T的位置而拍摄该托盘T。
臂22的基端连杆(第一连杆31)固定于作业台11。在作业台11配置有工件供给装置12、托盘搬运装置14等。在本实施方式中,工件供给装置12由带式传送装置构成,该带式传送装置具备架设于在前后方向(Y轴方向)上分离地配置的驱动辊以及从动辊的传送带13。在传送带13上零散放置有多个工件W,工件供给装置12驱动驱动辊而使其旋转,从而将传送带13上的多个工件W从后方朝向前方供给。此外,工件供给装置也可以取代带式传送装置或者与带式传送装置一并地设置而对应每个箱体供给收容在箱体(元件箱)的多个工件的箱式供给装置。托盘搬运装置14由带式传送装置构成,沿与工件W的供给方向正交的方向(X轴向)搬运托盘T,并将其定位保持于大致中央位置。
机器人控制装置70构成为以CPU71为中心的微处理器,除了CPU71以外,还具备ROM72、HDD73、RAM74、未图示的输入输出接口、未图示的通信接口等。向机器人控制装置70输入来自编码器61~65等的检测信号。另外,从机器人控制装置70输出朝向工件供给装置12、托盘搬运装置14、马达51~55、工具用致动器56等的控制信号。工具用致动器56是用于驱动装配于机器人20的拾取工具的致动器。
机器人控制装置70通过驱动控制机器人20的各马达51~55而使机器人20执行拾取工件W的拾取处理、将拾取出的工件W放置于托盘T的放置处理。拾取处理具体是如以下这样进行的。即,机器人控制装置70获取与作为目标的拾取位置以及姿态相对应的臂22的各关节的目标位置。接着,机器人控制装置70驱动控制对应的马达51~55,以使各关节的位置与该获取的目标位置一致。并且,机器人控制装置70控制工具用致动器56,以便通过拾取工具来拾取(把持)工件W。放置处理具体是如以下这样进行的。即,机器人控制装置80获取与作为目标的放置位置以及姿态相对应的臂22的各关节的目标位置。接着,机器人控制装置70驱动控制对应的马达51~55,以使各关节的位置与该获取的目标位置一致。并且,机器人控制装置70控制工具用致动器56,以便放置拾取出的工件W(解除工件W的把持)。
图像处理装置80构成为以CPU81为中心的微处理器,除了CPU81以外,还具备ROM82、HDD83、RAM84、未图示的输入输出接口、未图示的通信接口等。向图像处理装置80输入来自相机24的图像信号、来自输入装置85的输入信号等。另外,从图像处理装置80输出朝向相机24的驱动信号、朝向输出装置86的输出信号等。在此,输入装置85例如是键盘、鼠标等供操作者进行输入操作的输入装置。输出装置86例如是液晶显示器等用于显示各种信息的显示装置。图像处理装置80与机器人控制装置70连接为能够通信,相互进行控制信号、数据的交换。
图像处理装置80向机器人控制装置70发送控制信号,使臂22(相机24)朝向由工件供给装置12供给的工件W的拍摄点移动,驱动相机24来拍摄工件W,继而输入获得的图像信号(拍摄图像)。接着,图像处理装置80对输入的图像信号进行处理,识别拍摄图像中的工件W。并且,图像处理装置80提取识别出的工件W中的能够拾取的对象工件,算出用于拾取该对象工件的拾取工具的目标位置以及目标姿态,并向机器人控制装置70发送。这样的处理是依据基于图像处理数据的图像处理顺序来执行的。图4是表示图像处理数据的数据结构的说明图。图像处理数据构成为工件形状模型、拾取工具模型以及图像处理设定模型组合而成的统一图像处理数据。
工件形状模型是根据拍摄图像识别工件W时的图案匹配的模板。在该工件形状模型中包括工件W的轮廓形状、工件W的拾取位置PP。图5A是螺栓形的工件的工件形状模型,图5B是圆筒形的工件的工件形状模型。在附图中,实线表示工件的轮廓形状,圆点表示工件的拾取位置PP。工件形状模型的工件W的轮廓形状能够通过利用相机24来拍摄以拾取时的姿态配置的工件W、并从获得的拍摄图像提取工件W的轮廓来生成。工件形状模型的拾取位置PP能够通过使用输入装置77输入相对于生成的工件W的轮廓形状的位置坐标来生成。由于工件形状模型对应每个品种而不同,因此是对应每个品种来生成的。
拾取工具模型包括在通过拾取工具来拾取对象工件时检查该拾取工具是否与周边工件相干扰的干扰检查区域AI。干扰检查区域AI能够根据拾取工具的前端形状、拾取工具的可动区域(影响所波及的范围)的形状来生成。由于拾取工具模型对应每个拾取工具种类而不同,因此是对应每个拾取工具种类来生成的。
图6A表示通过拾取工具T1(电磁卡盘)来拾取螺栓形的工件的样态,图7A是表示电磁卡盘用的拾取工具模型。如图6A、图7A所示,电磁卡盘的拾取工具模型(干扰检查区域AI)被生成为以拾取位置PP为中心而电磁卡盘的磁力所波及的圆形区域。圆形区域能够通过圆的半径的尺寸R11来规定。
图6B表示通过拾取工具T2(机械卡盘)来拾取圆筒形的工件的样态,图7B表示机械卡盘用的拾取工具模型。如图6B、图7B所示,机械卡盘的拾取工具模型(干扰检查区域AI)被生成为以拾取位置PP为中心而形成供机械卡盘的一对夹持爪在靠近位置(把持位置)与分离位置(把持解除位置)之间移动的移动区域的两个方形区域。各方形区域的中心坐标能够通过从拾取位置PP起的偏移量OffsetY21、OffsetY22来规定。另外,各方形区域的外形能够通过长边的尺寸X21、X22和短边的尺寸Y21、Y22来规定。
图6C表示通过拾取工具T3(吸嘴)来拾取圆筒形的工件的样态,图7C表示吸嘴用的拾取工具模型。如图6C、图7C所示,吸嘴的拾取工具模型(干扰检查区域AI)被生成为以拾取位置为中心而吸嘴的负压所波及的圆形区域。圆形区域能够通过圆的半径的尺寸R31来规定。
图8是表示可否拾取的说明图。图8A表示两个螺栓的螺纹部(圆筒部)彼此重叠的状态。由于在该状态下,图像处理装置80无法在拍摄图像中识别螺栓的轮廓形状,因此判断为不能拾取。图8B表示两个螺栓中的一方的螺栓的螺纹顶部与另一方的螺栓的头部靠近的状态。在该状态下,图像处理装置80在拍摄图像中识别两个螺栓的轮廓形状。但是,由于图8B右侧的螺栓的头部侵入到图8B左侧的螺栓的干扰检查区域AI内,因此图像处理装置80判断为不能拾取图8左侧的螺栓。另一方面,由于周边的螺栓未侵入到图8B右侧的螺栓的干扰检查区域AI内,因此图像处理装置80判断为能够拾取图8B右侧的螺栓。图8C表示螺栓的螺纹顶部竖立的状态。图8C的螺栓不与周边的螺栓相干扰,但是为与通常不同的特殊的姿态。因此,图像处理装置80无法在拍摄图像中识别螺栓的轮廓形状,判断为不能拾取。
图像处理设定模型包括图像处理顺序、附设于该图像顺序的参数设定。图9是表示图像处理顺序的一例的说明图。在图像处理顺序中,图像处理装置80设定拍摄参数,通过相机24来拍摄工件W(S100)。拍摄参数是通过参数设定来确定的参数之一,例如,在机器人系统10的设置场所被变更、或者照明设备被变更等照明条件与之前相比发生了变化的情况下被变更。拍摄参数包括相机26的曝光时间、增益(信号放大率)等。例如,在机器人系统10的设置场所被从图10A所示的场所A朝向图10B所示的场所B变更而使得照明变暗的情况下,曝光时间被调整为变长。
接着,图像处理装置80设定拍摄图像中的检索区域AS(S110)。检索区域AS是通过参数设定来确定的参数之一,是确定拍摄图像中的工件W的搜索范围的参数。例如,由于在图11A所示的工件供给装置12A中,在相机24的拍摄区域的一部分映入其它周边机器,因此将除该一部分区域以外的区域(附图中由虚线围起的区域)设定为检索区域AS。由于在图11B所示的工件供给装置12B中,由相机24的拍摄区域的整个区域形成工件W的背景,因此将拍摄区域的整个区域(附图中由虚线围起的区域)设定为检索区域AS。
并且,图像处理装置80设定用于分离拍摄图像中的工件W与背景的工件/背景条件(S130),依据设定的工件/背景条件,进行检索区域内的背景色的检测(S140)和工件色的检测(S150)。工件/背景条件是通过参数设定来确定的参数之一,包括指定背景色的背景色参数和指定工件色的工件色参数。由于存在有对应每个工件供给装置而工件W的背景不同的情况,因此背景色参数是对应每个使用的工件供给装置来设定的。另外,由于也存在有对应每个工件W而颜色不同的情况,因此工件色参数是对应每个使用的工件W来设定的。
接下来,图像处理装置80进行依据轮廓提取条件提取工件W的轮廓(边缘)的轮廓提取处理(S150)。轮廓提取条件是通过参数设定来确定的参数之一,包括轮廓提取所使用的阈值(轮廓提取等级阈值)。接着,图像处理装置80判定提取出的工件W的轮廓形状是否与工件形状模型大致一致(S160),并且判定在提取出的工件W的干扰检查区域AI是否侵入其它工件W(S170),基于这些判定结果,判定提取出的工件W能否拾取(S180)。图像处理装置80基于判定为能够拾取的工件W的拾取位置PP,设定拾取工具的目标位置以及目标姿态,并且将设定的目标位置以及目标姿态坐标转换为各马达51~55的目标位置(S190)。并且,图像处理装置80将坐标转换后的目标位置朝向机器人控制装置70发送(S200),结束图像处理顺序。
图12A是表示通过工件形状模型的替换来生成图像处理数据的样态的说明图。当前,考虑将拾取方法(拾取工具)以及工件供给方法(工件供给装置)设为通用的环境、并追加工件(螺栓)的品种2的情况。在该情况下,首先,数据生成者生成拾取原有的品种1(例如,M3×8)的情况下的图像处理所需的图像处理数据,并进行动作确认。接着,数据生成者根据新追加的品种2(例如,M5×12)生成工件形状模型。并且,数据生成者生成品种1的图像处理数据的复制品,仅将工件形状模型从品种1替换为品种2,并作为品种2的图像处理数据保存在图像处理装置80的HDD83。最后,数据生成者改变配置图案而拍摄品种1,进行图像处理测试,确认图像处理装置80能够正常地识别品种2。每当追加工件的品种时,数据生成者都进行这样的作业,从而能够以较少的劳力生成与多品种相对应的图像处理数据。
图12B是表示通过拾取工具模型的替换来生成图像处理数据的样态的说明图。当前,考虑针对同一个工件(品种1)将拾取工具从拾取工具1朝向拾取工具2变更的情况。在变更拾取工具的情况下,例如,能够列举通过将工件材料从磁性体(铁)朝向非磁性体(不锈钢)变更而将拾取工具从电磁卡盘变更为机械卡盘的情况。另外,对于变更拾取工具的情况,例如,能够列举由于生产量下降等而将使用吸嘴进行生产的生产线和使用机械卡盘进行生产的生产线统一为一条生产线而将机械卡盘作为通用的拾取工具的情况。在该情况下,首先,数据生成者生成通过拾取工具1拾取品种1的情况下的图像处理所需的图像处理数据,并进行动作确认。接着,数据生成者生成拾取工具2的拾取工具模型。并且,数据生成者生成品种1/拾取工具1的图像处理数据的复制品,仅将拾取工具模型从拾取工具1替换为拾取工具2,并保存为品种1/拾取工具2的图像处理数据。最后,数据生成者改变配置图案而拍摄品种1,进行图像处理测试,确认图像处理装置80能够正常地识别品种1。每当变更拾取工具时,数据生成者都进行这样的作业,从而能够以较少的劳力生成与多品种相对应的图像处理数据。
图12C是通过图像处理设定模型的替换来生成图像处理数据的样态的说明图。当前,考虑针对同一个工件(品种1)将环境条件从环境条件1朝向环境条件2变更的情况。在变更环境条件的情况下,例如,能够列举变更工件供给装置的情况、变更机器人系统10的设置场所的情况、变更照明设备的情况等。另外,对于变更环境条件的情况,例如,能够列举在与生产时不同的背景条件下拍摄工件而生成工件形状模型的情况。由于在后者的情况下,生产时的工件供给装置的背景复杂,工件的轮廓提取困难,因此在工件形状模型生成时,相当于以均匀的颜色、亮度的背景拍摄工件的情况。首先,数据生成者在品种1/环境条件1下生成图像处理数据,并进行动作确认。接着,数据生成者生成品种1/环境条件1的图像处理数据的复制品,基于以生成出的复制品为基础在环境条件2下进行相机拍摄所得的图像,进行图像处理参数的参数设定,并保存为品种1/环境条件2用的图像处理数据。并且,数据生成者在环境条件2下改变配置图案而拍摄品种1,进行图像处理测试,确认图像处理装置80能够正常地识别品种1。每当变更环境条件时,数据生成者都进行这样的作业,从而能够以较少的劳力生成与环境条件的变更相对应的图像处理数据。
在以上说明的本实施方式的数据结构中,图像处理数据被分离为工件形状模型、拾取工具模型以及图像处理设定模型,并由上述模型的组合构成。并且,图像处理数据构成为能够自由地重组与工件的每一个品种、拾取工具的每一个种类、机器人系统10的每一个环境条件分别对应的模型。数据生成者只要生成了一次图像处理数据,之后,即使在变更工件的品种、拾取工具的种类、环境条件中的任意一者的情况下,仅重新生成该变更所涉及的项目即可,能够容易地对多品种变量进行展开。其结果是,能够以较少的劳力生成多品种变量的图像处理数据。
本实施方式的数据结构构成为能够将图像处理数据分离为工件形状模型、拾取工具模型以及图像处理设定模型并重组各模型,但是也可以构成为仅重组工件形状模型和拾取工具模型。该情况下的数据结构优选采用机器人系统10的环境条件不发生改变的系统。
如以上说明的那样,本公开的图像处理数据生成用的数据结构用于在从供给的多个工件之中提取多关节机器人能够进行作业的对象工件时,生成为了对所述多个工件的拍摄图像进行图像处理所需的图像处理数据,其主旨在于,所述图像处理数据生成用的数据结构具有:工件形状数据,用于通过图案匹配来识别所述对象工件;以及工具数据,用于检查所述工具与周边工件之间有无干扰,所述图像处理数据生成用的数据结构构成为能够对应每个工件或者每个工具对所述工件形状数据与所述工具数据的组合进行重组。
在这样的本公开的图像处理数据生成用的数据结构中,也可以是,所述工件形状数据包括所述工件的外形和所述工具对所述工件进行作业的工具作业位置。
另外,在本公开的图像处理数据生成用的数据结构中,也可以是,所述工具数据包括针对所述对象工件禁止周边工件的干扰的干扰禁止区域(干扰检查区域)。如此一来,即使装配的工具被变更,多关节机器人也能够在不与周边工件相干扰的情况下恰当地进行针对对象工件的作业。在该情况下,也可以是,所述干扰禁止区域被指定为以所述工具对所述工件进行作业的工具作业位置为基准的区域。如此一来,能够恰当地进行工件形状数据与工具数据的配合。进而,在该情况下,也可以是,所述干扰禁止区域被指定为圆形区域或者方形区域。如此一来,能够以更加少的数据量来生成工具数据。
另外,在本公开的图像处理数据生成用的数据结构中,也可以是,所述图像处理数据生成用的数据结构还具有包括所述图像处理的顺序以及参数设定在内的过程数据,所述图像处理数据生成用的数据结构构成为能够对应每个环境条件对所述工件形状数据、所述工具数据以及所述过程数据的组合进行重组。如此一来,即使在环境条件发生了变化的情况下,只要变更过程数据即可,工件形状数据、工具数据能够使用现有的数据,因此能够以较少的劳力来生成图像处理数据。此外,也可以是,所述环境条件包括所述工件的供给方法或者所述工件的照明条件。
此外,在本公开中,并不局限于图像处理数据生成用的数据结构的方式,也可以设为图像处理数据的生成方法的方式。
此外,本发明并不局限于上述实施方式,不言而喻地,只要属于本公开的发明的技术范围内,就能够通过各种方式来进行实施。
工业实用性
本公开能够应用于图像处理装置、多关节机器人的制造工业等中。
附图标记说明
10:机器人系统 11:作业台 12、12A、12B:工件供给装置 13:传送带 14:托盘搬运装置 20:机器人 22:臂 24:相机 31:第一连杆 32:第二连杆 33:第三连杆 34:第四连杆35:第五连杆 36:第六连杆 41:第一关节 42:第二关节 43:第三关节 44:第四关节 45:第五关节 51~55:马达 56:工具用致动器 61~65:编码器 70:机器人控制装置 71:CPU 72:ROM 73:HDD 74:RAM 80:图像处理装置 81:CPU 82:ROM 83:HDD 84:RAM 85:输入装置 86:输出装置 W:工件 T:托盘 T1~T3:拾取工具 PP:拾取位置 AI:干扰检查区域 AS:检索区域。

Claims (5)

1.一种图像处理装置,使用图像处理数据生成用的数据结构来生成图像处理数据,所述图像处理数据生成用的数据结构用于在从供给的多个工件之中提取多关节机器人能够进行作业的对象工件时生成为了对所述多个工件的拍摄图像进行图像处理所需的所述图像处理数据,所述图像处理装置的特征在于,
所述图像处理数据生成用的数据结构具有:
工件形状数据,用于通过图案匹配来识别所述对象工件;以及
工具数据,用于检查装配于所述多关节机器人的工具与周边工件之间有无干扰,
所述图像处理数据生成用的数据结构构成为能够对应每个工件或者每个工具对所述工件形状数据与所述工具数据的组合进行重组,
所述工件形状数据包括所述工件的外形和所述工具对所述工件进行作业的工具作业位置,
所述工具数据包括禁止周边工件对所述对象工件产生干扰的干扰禁止区域,
所述干扰禁止区域被指定为以所述工具作业位置作为基准的区域,
所述多关节机器人能够选择性地装配多种所述工具,
所述工具数据针对多种所述工具中的各种工具而生成,
所述干扰禁止区域被生成为以所述工具作业位置为中心而所述工具的影响所波及的范围。
2.根据权利要求1所述的图像处理装置,其中,
所述干扰禁止区域被指定为圆形区域或者方形区域。
3.根据权利要求1或2所述的图像处理装置,其中,
所述图像处理数据生成用的数据结构还具有包括所述图像处理的顺序以及参数设定在内的过程数据,
所述图像处理数据生成用的数据结构构成为能够对应每个环境条件重组与所述工件形状数据和所述工具数据对应的所述过程数据的组合。
4.根据权利要求3所述的图像处理装置,其中,
所述环境条件包括所述工件的供给方法或者所述工件的照明条件。
5.一种图像处理数据生成方法,在从供给的多个工件之中提取多关节机器人能够进行作业的对象工件时,生成为了对所述多个工件的拍摄图像进行图像处理所需的图像处理数据,所述图像处理数据生成方法的特征在于,
预先生成用于通过图案匹配来识别所述对象工件的工件形状数据和用于检查装配于所述多关节机器人的工具与周边工件之间有无干扰的工具数据,对应每个工件或者每个工具来组合所述工件形状数据与所述工具数据,从而生成所述图像处理数据,
所述工件形状数据包括所述工件的外形和所述工具对所述工件进行作业的工具作业位置,
所述工具数据包括禁止周边工件对所述对象工件产生干扰的干扰禁止区域,
所述干扰禁止区域被指定为以所述工具作业位置作为基准的区域,
所述多关节机器人能够选择性地装配多种所述工具,
所述工具数据针对多种所述工具中的各种工具而生成,
所述干扰禁止区域被生成为以所述工具作业位置为中心而所述工具的影响所波及的范围。
CN201780087667.1A 2017-03-06 2017-03-06 图像处理装置以及图像处理数据生成方法 Active CN110382172B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008767 WO2018163242A1 (ja) 2017-03-06 2017-03-06 画像処理データ作成用のデータ構造および画像処理データ作成方法

Publications (2)

Publication Number Publication Date
CN110382172A CN110382172A (zh) 2019-10-25
CN110382172B true CN110382172B (zh) 2023-01-31

Family

ID=63447382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087667.1A Active CN110382172B (zh) 2017-03-06 2017-03-06 图像处理装置以及图像处理数据生成方法

Country Status (5)

Country Link
US (1) US11222417B2 (zh)
EP (1) EP3593960A4 (zh)
JP (2) JP7145146B2 (zh)
CN (1) CN110382172B (zh)
WO (1) WO2018163242A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6897396B2 (ja) * 2017-07-28 2021-06-30 セイコーエプソン株式会社 制御装置、ロボットシステムおよび制御方法
US12115677B2 (en) * 2019-03-11 2024-10-15 RightHand Robotics, Inc. Item perturbation for picking operations
JP7221409B2 (ja) * 2019-09-26 2023-02-13 株式会社Fuji 高さ測定装置
AT524608B1 (de) * 2020-12-23 2022-12-15 Tgw Logistics Group Gmbh Verfahren zum Umladen von Waren mit Hilfe eines Roboters mit verbesserter Effizienz und Lager- und Kommissioniersystem hierzu
JP2023042473A (ja) * 2021-09-14 2023-03-27 セイコーエプソン株式会社 教示方法
KR102604646B1 (ko) * 2021-12-28 2023-11-23 에스아이에스(주) 자율주행 이송 모빌리티

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2703655B2 (ja) * 1990-09-03 1998-01-26 キヤノン株式会社 ワークの把持装置
JPH04294989A (ja) * 1991-03-20 1992-10-19 Canon Inc 部品分離整列装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP4000306B2 (ja) 2003-06-02 2007-10-31 本田技研工業株式会社 多関節ロボットのティーチングデータ作成方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
JP4621641B2 (ja) * 2006-07-26 2011-01-26 本田技研工業株式会社 ロボット教示用cad装置及びロボット教示方法
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP5263501B2 (ja) * 2008-07-25 2013-08-14 株式会社Ihi デパレタイズ用のワーク位置認識装置および方法
JP5743499B2 (ja) * 2010-11-10 2015-07-01 キヤノン株式会社 画像生成装置、画像生成方法、およびプログラム
US9089966B2 (en) * 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
JP2013069100A (ja) * 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
JP5754454B2 (ja) * 2013-03-18 2015-07-29 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP6415026B2 (ja) 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6057862B2 (ja) * 2013-08-29 2017-01-11 三菱電機株式会社 部品供給装置および部品供給装置のプログラム生成方法
JP6036662B2 (ja) * 2013-11-22 2016-11-30 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP6310058B2 (ja) * 2014-03-13 2018-04-11 富士機械製造株式会社 画像処理装置および基板生産システム
CN104057459B (zh) * 2014-06-25 2017-02-22 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6632224B2 (ja) * 2015-06-02 2020-01-22 キヤノン株式会社 把持制御装置、把持制御方法及びプログラム
JP6522488B2 (ja) 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6325509B2 (ja) * 2015-11-11 2018-05-16 ファナック株式会社 工作機械

Also Published As

Publication number Publication date
EP3593960A1 (en) 2020-01-15
EP3593960A4 (en) 2020-01-22
JPWO2018163242A1 (ja) 2019-11-21
US20200027205A1 (en) 2020-01-23
CN110382172A (zh) 2019-10-25
US11222417B2 (en) 2022-01-11
WO2018163242A1 (ja) 2018-09-13
JP2021185016A (ja) 2021-12-09
JP7197653B2 (ja) 2022-12-27
JP7145146B2 (ja) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110382172B (zh) 图像处理装置以及图像处理数据生成方法
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
CN114286740B (zh) 作业机器人以及作业系统
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
US20100302366A1 (en) Calibration method and calibration device
CN106853639A (zh) 一种手机电池自动化装配系统及其控制方法
US11305432B2 (en) Work machine and pick-up position selection method
US11173608B2 (en) Work robot and work position correction method
EP2915597A1 (en) Programmable digital machine vision inspection system
US20180222064A1 (en) Movable robot
JP2005121599A (ja) プレス成形品の欠陥検査装置
CN112666164B (zh) 针对多品类混线生产控制柜的机器人视觉检测方法
CN111278612B (zh) 元件移载装置
WO2020021643A1 (ja) エンドエフェクタの選択方法および選択システム
US11557027B2 (en) Vision inspection system and method of inspecting parts
CN116685444A (zh) 机械臂用的工具检查装置、工具检查程序及工具检查方法
JP6915085B2 (ja) 作業機および把持位置探索方法
JP7105223B2 (ja) ロボットシステム
JP6842753B2 (ja) ワークの把持位置指示システムおよびピッキング装置
JP2018065231A (ja) キャリブレーション治具、板金搬入システム、及びキャリブレーション方法
TWI507267B (zh) 加工工具機
JP2018015850A (ja) ワーク処理システム
CN116723917A (zh) 机械臂用的工具检查装置、工具检查程序及工具检查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant