[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103687702B - 部件供给装置 - Google Patents

部件供给装置 Download PDF

Info

Publication number
CN103687702B
CN103687702B CN201280032794.9A CN201280032794A CN103687702B CN 103687702 B CN103687702 B CN 103687702B CN 201280032794 A CN201280032794 A CN 201280032794A CN 103687702 B CN103687702 B CN 103687702B
Authority
CN
China
Prior art keywords
parts
robot
attitude
visual sensor
dimensional visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280032794.9A
Other languages
English (en)
Other versions
CN103687702A (zh
Inventor
野田哲男
永谷达也
堂前幸康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN103687702A publication Critical patent/CN103687702A/zh
Application granted granted Critical
Publication of CN103687702B publication Critical patent/CN103687702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0009Constructional details, e.g. manipulator supports, bases
    • B25J9/0018Bases fixed on ceiling, i.e. upside down manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40012Pick and place by chain of three manipulators, handling part to each other

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

得到一种部件供给装置,其能够使用通用单元对以散乱堆积状态供给的多种形状的部件高速地进行码放。具有:三维视觉传感器(1),其对距离图像进行测量;散乱堆积部件箱(2);机器人(3),其从散乱堆积部件箱(2)中抓取部件;临时放置台(2),在其上滚落若干个部件;二维视觉传感器(5),其对部件的外形进行测量;机器人组(6),其将滚落在临时放置台(2)上的部件抓取,一边对部件的位置姿态进行变更,一边变更为相对于预先指定的位置姿态小于或等于一定误差的位置姿态;以及控制装置(7),其对各单元进行控制。

Description

部件供给装置
技术领域
本发明涉及一种针对自动组装装置或自动组装机器人等,对散乱堆积供给的部件进行码放的部件供给装置,特别涉及一种使用多个垂直多关节型机器人(以下简称为“机器人”)进行码放的部件供给装置。
背景技术
通常,在产品组装流水线上,对于从供应商或前一个工序输送来的部件,为了减少在部件输送及储存时所需的车辆、或者减小部件箱所占的空间体积,而大多以所谓散乱堆积状态的包装形态进行运输。
因此,为了推进产品组装的自动化,必须利用某种手段使供给至组装装置的部件的位置姿态一致。
在现有技术中,作为对散乱堆积状态的部件进行自动码放的手段,广泛使用被称为送料器(parts feeder)的专用的部件码放装置。然而,由于送料器针对每种部件专门设计而不具有通用性,因此,存在设计时间长、价格高、会在工作中发生振动以及噪声、在工厂内占据较大占地面积这些问题。
另外,在部件形状复杂的情况下还存在下述问题,即,部件在送料器内缠在一起,发生被称为暂停的临时动作停止,频繁发出维修呼叫(operator call)。
另外,会存在无法利用送料器进行部件码放的形状的部件,有时送料器无法使用。
因此,作为代替上述送料器的自动化手段,已知下述技术,即:使用某种硬件机构将散乱堆积状态的部件变化为部件之间在一定程度上没有重叠的状态,然后使用视觉传感器,仅对呈现优选姿态的部件进行识别,进行位置姿态校正(例如,参照专利文献1)。
另外,已知下述技术:对散乱堆积状态的部件的位置姿态进行识别,在需要的情况下改变方向而临时放置后,进一步在需要时改变方向而进行码放(例如,参照专利文献2)。
专利文献1所记载的技术,由于依赖于下述的概率现象,即,在供给部件数量足够多的基础上,仅选择变为优选姿态的部件而进行处理,因此,如果部件数量减少,则不再存在优选姿态的部件的概率升高,存在尽管有部件剩余而更加频繁地发出维护呼叫的问题。
另外,在以变为优选姿态的概率低的部件为供给对象的情况下,必须预先投入更多的部件,因此,存在需要增加持有库存而浪费工厂的空间体积(占地面积、高度)的问题。
另一方面,专利文献2所记载的技术是以立方体形状的部件为对象的,其中,该部件能够无漏气地与吸盘准确抵接,且能够实现所希望的吸附。因此,存在无法应对平面形状的部件、复杂形状的部件、表面存在凹凸的部件、小孔较多的部件、由较细的形状构成的部件等这种没有吸盘能够发挥功能的部位而不会吸附到吸盘上的部件的问题。
另外,在不能使用吸盘的情况下,也考虑利用鼓风机而进行吸附,但在该情况下,存在噪声大且电力消耗大的问题。
并且,在专利文献1、2的任一种情况下,均为了吸收会导致最终码放失败这样的较大的误差,而使用针对每种部件设计的专用机器手,因此,无法利用相同的机器手对多种部件进行码放,需要与部件数量相同数量的机器手,存在需要机器手切换时间、机器手临时放置用的宽阔场所的问题。
另外,必须针对每种部件重新设计机器手,因此存在在更换进行生产的机种时,需要用于重新制作机器手的成本(设计、制作、调整费用)的问题。
专利文献1:日本特开平6-127698号公报
专利文献2:日本特开2011-685号公报
发明内容
对于现有的部件供给装置,在专利文献1的技术中,依赖于概率现象,因此存在为了投入大量部件而需要增加持有库存、浪费工厂的空间体积的课题。
另外,在专利文献2的技术中,存在无法应对没有吸盘可抵接部位的部件的课题。
此外,现有的部件供给装置使用针对每种部件而设计的专用机器手,因此,存在需要高的设计成本、机器手更换时间以及机器手临时放置场所的课题。
本发明就是为了解决上述课题而提出的,其目的在于得到一种部件供给装置,其通过使用视觉传感器和具有平行卡盘机器手的多个机器人而对部件进行处理,从而无需对应于多种部件设计专用夹具或机器手,就能够对散乱堆积状态的部件进行码放。
本发明所涉及的部件供给装置,具有:散乱堆积部件箱,其收容散乱堆积的部件;距离图像测量单元,其测量散乱堆积部件箱内的部件的距离图像;分离单元,其基于距离图像,从散乱堆积部件箱中抓取部件;以及位置姿态变更单元,其将通过分离单元分离出的部件的位置姿态,变更为相对于预先指定的最终位置姿态小于或等于一定误差的位置姿态。
发明的效果
根据本发明,在利用视觉传感器识别出部件的位置姿态后,一边在多个机器人之间传递部件,一边在流水线处理中对这些部件进行处理,从而能够高速地码放散乱堆积状态的部件。
另外,即使是形状复杂的部件,也能够避免码放处理的周期时间的延长。并且,由于仅变更软件就能够快速进行生产机种切换,因此不必针对每种部件设置专用机器手,能够削减机器手的成本,缩短机器手设计时间,减小机器手临时放置场所。
附图说明
图1是概略地表示本发明的实施方式1所涉及的部件供给装置的整体结构的侧视图。
图2是表示在本发明的实施方式1中使用的距离图像的具体例子的说明图。
图3是具体地表示图1内的机器人的机器手的结构例的斜视图。
图4是具体地表示图1内的机器人的机器手的其他结构例的斜视图。
图5是表示本发明的实施方式1所涉及的整体的动作序列的流程图。
图6是表示本发明的实施方式2中的机器人动作时的参数的具体例子的说明图。
图7是表示本发明的实施方式3所涉及的姿态变更操作的原理的说明图。
图8是表示本发明的实施方式3所涉及的3条姿态变更轨道的说明图。
图9是概略地表示本发明的实施方式4所涉及的部件供给装置的整体结构的侧视图。
图10是表示本发明的实施方式4所涉及的动作序列的流程图。
图11是表示本发明的实施方式4所涉及的动作的说明图。
图12是概略地表示本发明的实施方式5所涉及的部件供给装置的整体结构的侧视图。
图13是概略地表示本发明的实施方式6所涉及的部件供给装置的整体结构的侧视图。
图14是概略地表示本发明的实施方式7所涉及的部件供给装置的整体结构的侧视图。
图15是表示在本发明的实施方式9中作为把持对象的部件的立体形状的斜视图。
图16是以部件的侧视图及主视图表示本发明的实施方式9所要解决的课题的说明图。
图17是以散乱堆积部件的侧视图表示本发明的实施方式9所要解决的课题的说明图。
图18是表示本发明的实施方式9所涉及的多个三维视觉传感器的侧视图。
具体实施方式
实施方式1
下面,参照图1~图5,对本发明的实施方式1进行说明。
图1是概略地表示本发明的实施方式1所涉及的部件供给装置的整体结构的侧视图,示出使用多台(在这里为4台)机器人3、6a、6b、6c对散乱堆积部件进行码放供给的结构。
在图1中,部件供给装置具有:三维视觉传感器1;散乱堆积部件箱2,其收容有多个部件(例如L字状的部件);第1机器人3(以下简称为“机器人3”),其接近散乱堆积部件箱2而配置;部件的临时放置台4;二维视觉传感器5,其对临时放置台4进行拍摄;机器人组6(第2机器人),其由机器人6a~6c构成;控制装置7,其基于三维视觉传感器1及二维视觉传感器5的检测结果,控制机器人3及机器人组6;以及托盘8,其用于载置码放好的部件。
三维视觉传感器1与控制装置7一起作为距离图像测量单元起作用,具有大致从上方对堆积在散乱堆积部件箱2内的部件进行拍摄,对从三维视觉传感器1至各部件起伏(随机)排列的上表面为止的多个距离数据进行测量的功能。
另外,作为用于利用三维视觉传感器1获取距离数据的测量原理,可适当地使用立体法、光切断法、空间编码法(spatial codingmethod)、随机编码法、时间飞跃法等公知的方法。标注在三维视觉传感器1上的两条虚线,表示通过各种方法进行距离的三角测量的状况。
在三维视觉传感器1内或控制装置7中,对由三维视觉传感器1获得的距离数据实施坐标变换运算等,从而用于进行距离图像计算。
作为距离图像,是指针对拍摄到的场景图像的各像素,从某个坐标系观察时的“对特定坐标轴方向的坐标值进行映射(mapping)的图像”,例如,从机器人3的基座坐标系观察时的部件堆积高度的映射图(map)。
图2是表示距离图像的具体例子的说明图,示出将散乱堆积在散乱堆积部件箱2上部的部件组的高度(距离)分布,标绘在机器人坐标系的XY平面上,将Z坐标位置最高的测量值进行映射后的状态。
在图2中,以柱形图的长度表示各Z坐标值的大小,对图形整体进行标绘。在图2中,针对中部以凸起状伸出的部位,推定为部件局部立起的状态。同样地,针对与在前侧出现凹陷的部位相邻的凸出部,推定为存在部件凸起部位(可把持部位)。
散乱堆积部件箱2是上表面开放的简易箱子,不具有特别的功能,基本上具有能够收容所谓持有量或存货量那么多部件的大小。
另外,也可以对散乱堆积部件箱2的内部进行分隔,形成为能够收容多种部件的结构,在该情况下,分隔区划的大小也可以不是均等的。
另外,也可以在散乱堆积部件箱2的内部底面或外部底面上设置海绵等缓冲材料,或者通过以弹簧材料等支撑散乱堆积部件箱2而提高耐冲击性。
另外,也可以构成为,在散乱堆积部件箱2的内部设置板状凸起等构造物,以易于使部件的姿态集中在特定的范围内。
并且,也可以构成为,通过能够以托盘交换装置或带式运输机等替换散乱堆积部件箱2,从而连续不中断地使用部件。
机器人3、机器人组6通常由广泛普及的垂直多关节型机器人构成。
机器人3与三维视觉传感器1、临时放置台4以及控制装置7一起作为分离单元(如后所述)起作用,该机器人3具备具有镊子状或钳子状细爪3t的机器手3h。
另一方面,机器人组6与二维视觉传感器5以及控制装置7一起作为部件的位置姿态变更单元起作用,机器人组6内的机器人6a~6c各自具有平行卡盘机器手。
下面,针对图1示出的本发明的实施方式1所涉及的概略动作进行说明。
首先,三维视觉传感器1通过对距离图像进行解析,从而从堆积在散乱堆积部件箱2内的部件中,计算机器人3能够把持的部位候选(以下,简称为“候选”),进而通过优化而筛选出一个能够把持的部位候选。
另外,在进行能够把持的候选的运算处理时,预先对机器人3的机器手3h的爪3t的形状以及尺寸进行数值化。
例如,如果机器手3h是图3或图4所示的形状,则希望在不与部件接触的状态下将机器手3h的两根爪3t的前端部同时插入散乱堆积部件的凸部,因此,预先以两根圆柱或棱柱而进行数值模型化,其中,这两根圆柱或棱柱以爪3t的张开宽度W的距离分隔开,且各自具有内含各爪3t的最小尺寸。
此时,圆柱或棱柱的粗细用于对爪3t的粗细进行近似,圆柱或棱柱的长度用于对进行把持时爪3t架置在部件上的深度作出近似。
接下来,在获得了最新的距离图像的情况下,三维视觉传感器1从最新的距离图像中,对预先数值化的圆柱或棱柱进入的空间、且在空间之间存在部件的位置进行探索。
在图2的情况下,找到以下两个部位,即,在图2的中部以凸起状伸出的部位、和与在图2中的前侧出现凹陷的部位相邻的部位。
或者,将能够由机器人3的机器手3h把持的小凸起部位的形状(例如,进入张开的机器手3h的爪3t之间的棱柱、圆柱、平板、圆盘)与距离图像进行模板匹配,探索并提取出多个候选。
然后,三维视觉传感器1进行优化运算,该优化运算是指对提取出的多个候选标记评价值,仅选择评价值最高的一个候选。
作为优化运算的方法,采用最高的Z轴值作为评价值,从由两根圆柱夹持的凸起物(或找到的微小棱柱)中选择该评价值为最大的候选。
该优化运算相当于从散乱堆积的部件中选择堆积在最上方的部件。即,通过选择最大的评价值,而对部件的候选进行优化。
在图2的情况下,图2中央存在凸起的部位成为优化后的候选。
然后,能够通过简单的计算,求出为了接近并把持所选择的优化候选,要如何架置机器人3的机器手3h的爪3t。
即,将能够把持部件的机器人3的位置姿态设为机器人坐标系中的XYZ值以及围绕各轴的旋转角,并加上与能够把持的候选的位置姿态相对的相对位置姿态,从而能够计算出。
另外,将能够由机器手3h把持那样程度的大小的微小棱柱状部位与距离图像进行模板匹配而提取候选点,使用该候选点的Z轴高度进行优化,也能够计算出把持位置姿态,获得同样的效果。
然后,机器人3将所把持的部件输送至临时放置台4,在临时放置台4的上方松开部件。
此时,优选机器人3以投放的方式使部件落在临时放置台4上,而不是轻轻放置在临时放置台4上。由此,提高使缠在一起的部件散开,以一个一个地分离的状态滚落在临时放置台4上而静止的概率。
在这里,作为机器人3的工具坐标系,将工具前进方向设为Z轴,以右手系形成X、Y、Z轴,围绕各轴X、Y、Z定义A、B、C轴,对于此时机器人3为了抓取部件而向散乱堆积部件箱2的部件接近的动作进行说明。
例如,机器人3的机器手3h的爪3t以下述姿态沿着Z轴方向前进,即,爪3t在工具坐标系下的A轴值以及B轴值必须为相同值,且围绕C轴旋转以进入部件之间的间隙。
此时,使用三维视觉传感器1的坐标系和机器人3的坐标系之间的校准误差中的姿态误差较小的区域,从而能够提高分离成功率P。例如,机器人3以使机器手3h朝向铅垂下方下降的方式动作。即,使工具坐标系的Z轴与世界坐标系的铅垂向下或者重力加速度的方向一致。
另外,所谓“分离”,是指从散乱堆积部件箱2中仅抓取一个部件的情况。
临时放置台4是不带有任何机构的简易工作台,但也可以附加下述机构,该机构在工作台上载置有应清除的物体(异物)时,使台面反转等而使异物由于自重而滑落(或者弹开)。
在临时放置台4上设有清除机构的情况下,具有能够快速进行错误恢复、不易延长节拍时间(Tact Time)的效果。
另外,临时放置台4顶壁上表面的高度(机器人坐标系Z轴方向)已预先测量并存储在控制装置7的存储区域中。
机器人3基于上述机器人坐标计算处理,相对于散乱堆积在散乱堆积部件箱2中的部件,在使得机器手3h的爪3t处于张开状态之后,移动至在该时刻获得的把持位置并使机器手3h闭合。
然后,机器人3使机器手3h沿着机器人坐标系Z轴方向提起而移动,进行将把持住的部件从散乱堆积部件箱2中拉上来的动作,然后,使所把持的部件滚落在临时放置台4上。
如上所述,机器人3具有分离功能,该分离功能是指从放入散乱堆积部件箱2中的多个部件中仅取出一个部件。
但是,对于机器人3,有时部件取出失败而无法把持部件,有时多个部件缠在一起,以成为一堆的状态滚落在临时放置台4上,另外,有时也会是多个部件没有缠在一起而分别滚落在临时放置台4上。
对于上述任一种状态,都能够在机器人3执行上述动作之后,立即通过使用二维视觉传感器5对临时放置台4进行拍摄,从而容易地判别。
例如,在从散乱堆积部件箱2中取出部件失败的情况下,再次由机器人3进行抓取操作。
另外,在多个部件缠在一起,以成为一堆的状态滚落在临时放置台4上的情况下,利用使临时放置台4的顶壁反转的清除单元等(未图示),将部件除掉。
另外,所谓除掉,能够事先准备例如部件丢弃箱(未图示),将部件弃置在部件丢弃箱内等而容易地实现。
另一方面,在多个部件在没有缠在一起的状态下滚落在临时放置台4上的情况下,后段的机器人组6中的一个机器人,一个一个地对部件进行处理,或在仅处理了一个部件之后,利用使临时放置台4的顶壁反转的清除单元等,将其余的部件除掉。
二维视觉传感器5作为部件外形测量单元起作用,由广泛普及的传感器构成,对滚落在临时放置台4上的部件进行拍摄,取得其外形形状。下面,将通过测量而取得的部件外形,用于部件的位置姿态计算。
部件的位置姿态的计算运算处理,是在二维视觉传感器5内或控制装置7中通过例如模板匹配法进行的。
在模板匹配法中,模板图像是预先登记的,但在这里,先使进行处理的部件滚落在临时放置台4上,然后登记数量与稳定并静止的姿态的数量相对应的模板图像。
对应于进行处理的部件而登记的图像,在与正反无关的部件的情况下为1个,在与正反有关的部件的情况下为2个,在以5种姿态静止的部件的情况下为5个。
另外,在进行处理的部件的形状为圆筒状,且必须对围绕轴的角度进行区分的情况下,在临时放置台4上设置专用夹具而将角度固定,或者在机器人组6的交接动作中确定角度。
在机器人组6中,机器人6a利用平行卡盘机器手而将部件从临时放置台4上抓取。然后,在机器人6a、6b、6c之间,使部件的正反等反转而进行交接,然后,机器人6c将部件码放配置在部件码放用的托盘8上。
在这里,对上述部件供给动作时的部件处理步骤进行说明。
首先,由三维视觉传感器1进行部件识别,从识别出的部件中,筛选出可把持部件的局部(例如,耳部这种凸出的部分,或者推定为凸出形状的部分)的一个位置姿态。
然后,控制装置7在使机器人3动作,以使筛选出的位置姿态与机器人3的机器手3h的爪3t的位置姿态一致后,将爪3t闭合而把持部件。
接着,机器人3从散乱堆积部件箱2中取出部件,在临时放置台4的上方张开爪3t,使部件滚落在临时放置台4上,从而将部件置于临时放置台4上。
其结果,部件以几种稳定状态中的一种姿态,在临时放置台4上静止。在这里,为了使说明简单,针对部件被放置在临时放置台4上而没有缠在一起或重叠的情况进行说明。
另外,将部件被放置在临时放置台4上而没有缠在一起或重叠的状态记为“分离的状态”。
然后,二维视觉传感器5利用预先登记的模板图像和图案匹配法,对被放置在临时放置台4上的部件的位置姿态进行识别。
此时,在部件存在多种稳定状态的情况下,二维视觉传感器5针对全部的稳定状态执行识别程序,采用识别结果可靠性最高的稳定状态的结果,作为整体的识别结果。
如上所述,在与正反无关的部件的情况下,稳定姿态仅为1种。
通过上述的处理,能够以三维方式掌握被放置在临时放置台4上的部件处于哪种稳定状态且处于哪种位置姿态。
其理由在于,临时放置台4的高度是已知的,且部件已分离,因此只要能够判别出处于哪种稳定状态,就能够确定部件的高度位置,部件的姿态偏差也仅为平面内的旋转。
另外,部件平面内的位置偏差以及旋转,能够通过二维视觉传感器5进行测量。
二维视觉传感器5输出“图案的识别信息”,该“图案的识别信息”表示部件位置姿态的坐标与哪个模板图像相匹配。
另外,二维视觉传感器5输出“识别信息”,该“识别信息”表示临时放置台4上没有部件、部件离开传感器视野、或者部件位置姿态的坐标没有与任何一个模板图像相匹配。
如上所述,使用二维视觉传感器5测量出滚落在临时放置台4上表面的部件的三维位置姿态后,机器人组6内的一个机器人6a对应于各稳定状态,通过预先确定的动作把持部件,并与机器人6b之间进行部件交接动作。
接着,机器人6b根据由二维视觉传感器5测量出的部件的稳定状态,了解机器人6a进行怎样的动作,因此,该机器人6b以对应于各稳定状态而预先确定的动作,与机器人6a之间进行部件交接动作。
最后,机器人6c与机器人6b同样地,根据二维视觉传感器5识别出的部件的稳定状态,了解机器人6b进行怎样的动作,因此,该机器人6c以对应于各稳定状态而预先确定的动作,与机器人6b之间进行部件交接动作,进而向码放用的托盘8进行码放供给。
机器人6a在向机器人6b交接部件之后,转向临时放置台4上的下一个部件的把持,机器人6b向机器人6c交接部件后进行移动,以准备交接下一个来自机器人6a的部件,机器人6c在部件码放后进行移动,以准备交接来自机器人6b的部件。
由于通过以上步骤,实现各机器人3、6a~6c始终连续动作的流水线处理,因此,即使多次变更部件姿态,部件的码放间隔也是由一个机器人使部件移动的一个动作中的最长时间来确定。另外,试验中可观察到,各机器人的动作时间为大致相同的程度。
图5是表示本发明的实施方式1中的整体动作序列的流程图,将三维视觉传感器1、机器人3、二维视觉传感器5以及机器人6a~6c的各动作步骤彼此关联地并列示出。
图5的序列被软件化为控制程序,储存在控制装置7内。
在图5中,三维视觉传感器1如虚线箭头所示,响应于机器人3的处理步骤(后述的步骤S12)而开始动作,首先,测量散乱堆积部件箱2内的部件的距离图像(步骤S1)。
然后,三维视觉传感器1对把持候选进行优化(步骤S2),如虚线箭头所示,将把持候选的坐标经由控制装置7输出至机器人3(步骤S3)。然后,在步骤S1~S3的动作完成后,返回至步骤S1。
机器人3首先为了不遮挡三维视觉传感器1的视野而移动至等待坐标(步骤S11),请求三维视觉传感器1进行前述的测量(步骤S12)。
机器人3如果通过三维视觉传感器1的测量而取得把持候选的坐标,则移动至把持坐标(步骤S13),使机器手3h进行闭合动作,对把持候选进行把持(步骤S14)。
然后,机器人3移动至临时放置台4的坐标(步骤S15),使机器手3h进行打开动作,使所把持的部件滚落在临时放置台4上(步骤S16)。然后,在步骤S11~S16的动作完成后,返回至步骤S11。
二维视觉传感器5如虚线箭头所示,响应于机器人6a的处理步骤(后述的步骤S32)而开始动作,首先,测量临时放置台4上的图像(步骤S21)。
接着,二维视觉传感器5进行测量图像与模板图像的图案匹配(步骤S22),如虚线箭头所示,将图案识别信息及把持坐标经由控制装置7发送至机器人6a(步骤S23)。然后,在步骤S21~S23的动作完成后,返回至步骤S21。
机器人6a首先为了不遮挡二维视觉传感器5的视野而移动至等待避让坐标(步骤S31),请求二维视觉传感器5进行所述测量(步骤S32)。
机器人6a如果通过二维视觉传感器5的测量而取得了图案识别信息以及把持坐标,则对应于测量结果(控制装置7内的部件信息)进行针对步骤S31、S32、S34的分支判定,进行基于判定结果的分支动作(步骤S33)。
机器人6a在从二维视觉传感器5获得了适当的把持坐标的情况下,移动至临时放置台4上的把持坐标(步骤S34),使机器手进行闭合动作,对临时放置台4上的部件进行把持(步骤S35)。
接着,机器人6a移动至向相邻的机器人6b交接部件的姿态(步骤S36),转换为等待部件提取的状态(步骤S37)。步骤S37如虚线箭头所示,与机器人6b的部件等待状态(步骤S42)相关联。
机器人6a如虚线箭头所示,在确认了机器人6b的机器手闭合动作(步骤S44)的时刻,使机器手进行打开动作,将自身把持的部件传递给机器人6b(步骤S38)。然后,在步骤S31~S38的动作完成后,返回至步骤S31。
机器人6b首先为了不遮挡机器人6a的动作空间而移动至等待避让坐标(步骤S41),响应于机器人6a的提取等待状态(步骤S37),转换为等待来自机器人6a的部件的状态(步骤S42)。
机器人6b移动至机器人6a的部件输送坐标(步骤S43),使机器手进行闭合动作,对机器人6a把持的部件进行把持(步骤S44)。
接着,机器人6b使部件姿态变更(步骤S45),进而移动至向相邻的机器人6c传递部件的姿态(步骤S46),转换为部件的提取等待状态(步骤S47)。步骤S47如虚线箭头所示,与机器人6c的部件等待状态(步骤S52)相关联。
机器人6b如虚线箭头所示,在确认了机器人6c的机器手闭合动作(步骤S54)的时刻,使机器手进行打开动作,将自身把持的部件传递给机器人6c(步骤S48)。然后,在步骤S41~S48的动作完成后,返回至步骤S41。
机器人6c首先为了不遮挡机器人6b的动作空间而移动至等待避让坐标(步骤S51),响应于机器人6b的提取等待状态(步骤S47),转换为等待来自机器人6b的部件的状态(步骤S52)。
机器人6c移动至机器人6b的部件输送坐标(步骤S53),使机器手进行闭合动作,对机器人6b把持的部件进行把持(步骤S54)。
接着,机器人6c对部件姿态进行变更(步骤S55),移动至部件向托盘8插入的部件插入坐标(步骤S56),使机器手进行打开动作,将自身把持的部件插入托盘8中(步骤S57)。然后,在步骤S51~S57的动作完成后,返回至步骤S51。
在这里,针对基于二维视觉传感器5的测量结果(部件信息)的机器人6a的分支动作(步骤S33),具体地进行说明。
机器人6a在步骤S33中进行基于测量结果的下述判定处理、和基于判定结果的分支动作。
首先,在二维视觉传感器5的测量结果示出(A)在临时放置台4上一个部件也没有的状态的情况下,机器人6a返回步骤S31,移动至自身的待机坐标。与此同时,控制装置7认为机器人3没有适当地进行动作,生成针对机器人3的动作指令,使机器人3再次执行一系列的动作(步骤S11~S16)。
另外,在二维视觉传感器5的测量结果示出(B)临时放置台4上的部件离开二维视觉传感器5的视野的状态的情况下,机器人6a进行将部件从临时放置台4上清除的动作。具体例子为,机器人6a将临时放置台4上的部件弹开,将其从临时放置台4上清除。
或者,设置使临时放置台4的顶壁反转的清除机构,进行按照来自控制装置7的指示使清除机构动作等的处理。
将部件从临时放置台4上清除后,机器人6a返回至步骤S31,移动至待机姿态。与此同时,控制装置7生成针对机器人3的动作指令,使机器人3再次执行一系列的动作(步骤S11~S16)。
另外,在二维视觉传感器5的测量结果(部件信息)示出(C)临时放置台4上的部件的静止姿态会使此后的姿态反转次数增多的状态的情况下,机器人6a将临时放置台4上的部件碰倒等,进行减少姿态反转次数的动作。
在该部件姿态反转次数减少动作结束后,机器人6a返回步骤S32,使二维视觉传感器5再次执行测量动作。
并且,在二维视觉传感器5的测量结果(部件信息)示出(D)本装置作为供给对象而处理的部件种类存在多种、且部件姿态不适合的情况下,机器人6a进行从临时放置台4上清除部件的动作,返回步骤S31,移动至待机姿态。与此同时,控制装置7生成针对机器人3的动作指令,使机器人3再次执行一系列的动作(步骤S11~S16)。
在上述(D)这种将多种部件设为供给对象的情况下,在散乱堆积部件箱2内分隔区域而对不同的部件进行分离供给,但作业者可能误将某种部件放入种类不同的区域中。
在该情况下,如果机器人3针对各区域依次进行提取作业,则在遇到错误的部件时,提取与本来的次序不同的部件并载置在临时放置台4上,但根据二维视觉传感器5的图案测量结果,能够判定其为不同种类部件。
如上所述,本发明的实施方式1(图1~图5)所涉及的部件供给装置具有:散乱堆积部件箱2,其收容散乱堆积的部件;三维视觉传感器1(距离图像测量单元),其测量散乱堆积部件箱2内的部件的距离图像(图2);机器人3(分离单元),其基于距离图像,从散乱堆积部件箱2中把持并抓取部件;以及机器人组6(位置姿态变更单元),其将由机器人3分离出的部件的位置姿态,变更为相对于预先指定的最终位置姿态小于或等于一定误差的位置姿态。
位置姿态变更单元具有机器人组6(第2机器人),该机器人组6从机器人3接受部件,并对部件的位置姿态进行变更。
另外,分离单元具有临时放置台4,在该临时放置台4上载置由机器人3把持后松开(滚落)的大于或等于1个部件。
另外,位置姿态变更单元具有对临时放置台4上的部件的外形进行测量的二维视觉传感器5(部件外形测量单元),机器人组6(第2机器人)抓取滚落在临时放置台4上的部件,对部件的位置姿态进行变更。
另外,本发明的实施方式1所涉及的部件供给装置具有控制装置7,该控制装置7对机器人3(第1机器人)及机器人组6(第2机器人)、以及三维视觉传感器1及二维视觉传感器5的动作及动作定时(timing)进行控制。
机器人组6由多个机器人6a~6c构成,一边在多个机器人6a~6c之间交接从临时放置台4上抓取的部件,一边对部件的位置姿态进行变更。
根据本发明的实施方式1,通过三维视觉传感器1及机器人3而将散乱堆积状态的部件定位在临时放置台4上,在由二维视觉传感器5识别出部件的位置姿态后,通过多个机器人6a~6c进行部件交接,同时通过流水线处理进行处理,并码放在托盘8上,因此能够高速地对散乱堆积状态的部件进行码放。
另外,能够将并行处理时间抑制为与各机器人3、6a~6c的动作时间同等程度,因此,即使是复杂形状的部件,也能够避免码放处理的周期时间延长。
另外,由于能够仅通过软件的变更而快速地进行生产机种的切换,因此,不必针对每种部件设置专用机器手,能够削减机器手的成本、缩短机器手设计时间、减小机器手临时放置场所。
另外,即使在将多种部件作为供给对象的情况下,也不必针对每种部件设置专用机器手,能够削减机器手的成本,缩短机器手设计时间,减小机器手临时放置场所。
并且,在图1中,将三维视觉传感器1、二维视觉传感器5形成为独立于机器人3、6a的结构,但也可以将三维视觉传感器1安装在机器人3的机器手旁边,将二维视觉传感器5安装在机器人6a的机器手旁边,分别形成手眼结构。在该情况下,虽然节拍时间增加,但能够使散乱堆积部件箱2的尺寸比三维视觉传感器1的视野大,另外,能够使临时放置台4的尺寸比二维视觉传感器5的视野大。
实施方式2
另外,在上述实施方式1(图1~图5)中,没有特别地说明,但为了在与三维视觉传感器1及控制装置7相关联的机器人3的动作中,使散乱堆积部件箱2内的部件的抓取成功率最优化,也可以设置用于选择最优参数的参数优化单元。
下面,参照图1~图4,对设有参数优化单元的本发明的实施方式2进行说明。
在机器人3的动作中包括下述动作,即,在以使部件耳部的位置姿态与机器人3的机器手3h的爪3t的位置姿态一致的方式使机器人3动作后,将爪3t闭合而把持部件。
此时,必须对宽度W的值、姿态的值、用于确定轨道形状的各数值参数进行调整,即:将机器手3h的爪3t的张开宽度W设定为何种程度而向部件靠近;或者在位置姿态一致时,以何种程度的宽度W将爪3t架置在部件的耳部上;以何种姿态将爪3t架置在部件的耳部上;使爪3t相对于部件的耳部移动至何种相对位置姿态为止而停止;以及在将爪3t闭合而把持部件后,以何种轨道将机器手3h提起。
根据实验,针对每种部件而在上述各参数的值和分离成功率P之间存在关系。由于分离成功率P与重新动作的发生概率存在对立关系,因此会影响节拍时间的增减,如果分离成功率P低,则节拍时间延长。
由此,选择节拍时间较短的参数这一点很重要。
因此,在本发明的实施方式2所涉及的部件供给装置中,在机器人3或控制装置7中设有参数优化单元,参数优化单元由控制装置7进行起动。
控制装置7在使机器人3动作时,对例如机器手3h的爪3t的张开宽度W进行控制,张开宽度W作为参数之一而被存储。另外,参数的初始值是预先给定的。
如果参数优化单元起动,则机器人3使各参数按照预先设定的方法变化,同时反复进行观测相对于各参数的某个组合的分离成功率P的试验。
此时,将由给定的参照值、和在各参数值下获得的分离成功率P构成的多个组合映射数据(combination map data),记录在控制装置7内。
然后,例如使用回归式,对各参数的组合和分离成功率P的关系进行模型化。另外,在执行一定次数的试验后,使用模型进行参数优化。即,读出分离成功率P最高的参数值矢量。
并且,在进行试验时,也可以对进行试验的参数组合进行优化,以得到准确的数学模型。
另外,在开始试验之前,如果是对参数的组合进行优化,则只要使用正交表或D优化等方法即可。另外,也可以在试验期间动态地进行优化。可以使用在公知文献(例如日本特开2008-36812号公报)中示出的实验条件的自动发生方法。
下面,参照图6,对本发明的实施方式2中的机器人3动作时的参数的具体例子进行说明。
在图6中,图6(a)示出分离成功率P较低的抓取动作,图6(b)示出本发明的实施方式2中的分离成功率P较高的抓取动作,图6(c)示出图6(b)中的机器手3h的动作参数,图6(d)示出使分离成功率P最大化的参数(水平距离d、角度θ)的组合(参照黑圆圈)。
在图6(a)中,机器手3h如粗箭头所示,把持散乱堆积部件箱2内的一个部件而直接向铅垂上方提起。
另一方面,在图6(b)、图6(c)中,把持有部件的机器手3h如粗箭头所示,在沿角度θ方向移动水平距离d之后向铅垂上方提起。
在机器人3的动作中,在从散乱堆积状态的部件中仅拔出一个部件时,把持的部件与未把持的部件接触,一边将未把持的部件拨开,一边将把持部件提起。
即,在把持部件在拉出轨道上移动的期间内,在把持点处施加外力,因此,该外力会破环把持初始的稳定把持状态,成为使分离成功率P下降的主要原因。
因此,为了提高分离成功率P,有效的方法是,在把持到一个部件时,如图6(b)的轨道所示,使机器手3h在沿角度θ方向移动水平距离d之后向铅垂上方提起,而不是如图6(a)的轨道(粗箭头)所示,直接向铅垂上方提起。
通过使机器手3h以图6(b)的轨道动作,从而能够使外力的影响变小,能够提高分离成功率P,但各参数依赖于部件的形状以及大小。
因此,使用本发明的实施方式2中的参数优化单元,以正交表对角度θ和水平距离d进行组合,在此基础上,针对每种参数组合进行n次试验,取得分离成功率P相对于角度θ和水平距离d的组合的映射数据。
然后,将分离成功率P视为角度θ及水平距离d的函数,在用于计算分离成功率P的回归式例如以下的式(1)中,求出各系数A、B、C、D、E。
P=A×θ^2+B×θ+C×d^2+D×d+E…(1)
另外,为了确定各系数A、B、C、D、E,使用例如最小二乘法。
求出回归式后,从映射数据中读出使分离成功率P最大化的角度θ以及水平距离d。
这样,通过进行试验和回归式系数A、B、C、D、E的运算,根据求出的回归式,读出使分离成功率P最大化的参数(角度θ、水平距离d),从而如图6(d)所示,确定角度θ以及水平距离d的选择值。
如上所述,根据本发明的实施方式2(图6),构成分离单元的机器人3或控制装置7具有参数优化单元,参数优化单元一边使对从散乱堆积部件箱2中抓取部件的动作进行定义的参数自动变化,一边观测并记录抓取成功率,选择抓取成功率最优的参数。
由此,在从散乱堆积部件箱2中抓取部件时,能够自动选择分离成功率P高且节拍时间短的最优参数(角度θ,水平距离d)。
实施方式3
另外,在上述实施方式1、2中,没有总括地说明各部分的功能以及特征,本发明所涉及的散乱堆积部件的码放效果能够通过以下的第1~第5特征(功能)而实现。
首先,第1特征在于,具有由三维视觉传感器1以及控制装置7构成的距离图像测量单元。
例如,在现有装置中,预先对应于部件的种类而设定一个对部件进行把持的位置姿态,与此相对,在本发明中不是设定一个位置姿态,而是具有下述功能:在将要进行把持动作时,由三维视觉传感器1进行测量,与所获得的测量数据相对应,灵活地对把持位置和之后的动作进行变更。
另外,在本发明中,三维视觉传感器1、二维视觉传感器5以及控制装置7最少进行两次测量,从而能够将部件从散乱堆积状态转换为码放至托盘8中的码放状态。
第2特征在于具有三维视觉传感器1、机器人3以及控制装置7(分离单元)。该分离功能在从散乱堆积部件箱2中取出部件时起作用。
在现有装置中,基于传感器测量值,取得能够把持对象部件的位置姿态,但实际上,在散乱堆积部件箱2中,在成为把持对象的部件的周围也同时存在除了把持对象部件以外的其它部件,因此,在把持部件时,可能在其它部件和机器手3h之间发生干涉,将周围的部件弹开。
其结果,在现有装置中,部件的位置姿态发生变化等,出现很多无法进行把持的情况。另外,在散乱堆积部件箱2内的端部处找到把持对象部件的情况下,在机器人3向把持对象部件接近时,机器手3h多会与散乱堆积部件箱2内的分隔板或壁部干涉,发生把持不成功的可能性变高的问题。
与此相对,在本发明中,连同其它部件等的干涉也包含在内,利用三维视觉传感器1及机器人3(分离单元)探索能够进行爪3t的架置而进行把持的部位,进行对象部件的把持,因此,具有提高能够可靠地将对象部件进行把持的概率的效果。
另外,在从部件滚落在临时放置台4上的状态开始至将部件码放在托盘8上的过程中,机器人3的分离功能也起作用。
即,能够针对部件滚落的每种姿态,准备有限个由机器人组6使用机器手把持哪种位置姿态的部件即可的下述顺序序列,基于二维视觉传感器5的测量值的结果,确定选择该顺序序列中的哪一个。如上所述,通过灵活地变更把持位置姿态的序列,从而能够可靠地提高部件码放的成功率。
第3特征在于,通过三维视觉传感器1以及控制装置7(距离图像测量单元)获得的传感器测量值的使用方法。
在现有装置中,进行部件整体的形状模型和测量数据之间的匹配,但在本发明中具有下述功能:探索可把持的部件的部位(例如,部件的耳部),使爪前端移动至该部位进入爪3t之间的位置,在使机器人3动作而对爪前端进行移动之后,将爪3t闭合。由此,具有提高能够可靠地把持部件的概率的效果。
第4特征在于临时放置台4、二维视觉传感器5、机器人组6以及控制装置7(位置姿态变更单元)。
在现有装置中,仅预先设定一个对部件进行把持的位置姿态(部件与爪之间的相对位置姿态),不变更所设定的位置姿态,一旦把持到部件后,直至最后为止,以相对姿态固定的状态持续把持并进行作业。
即,在现有装置中,即使机器人3从散乱堆积部件箱2中把持到部件,但在提起部件时,一边将周边的部件拨开一边将把持部件提起,从而无意中可能会发生把持部件在外力的作用下旋转或出现移位,或者被从爪3t上扯掉的现象。如上所述的把持姿态的意外变化,意味着部件码放作业的失败。
与此相对,在本发明中,临时放置台4、二维视觉传感器5、机器人组6以及控制装置7(位置姿态变更单元)具有下述能力,即,通过对三维视觉传感器1以及控制装置7(距离图像测量单元)的测量结果进行处理,从而对应于二维视觉传感器5测量到的值,使把持位置变化,而不将临时放置台4上的部件与把持姿态的关系固定为1种。
由此,根据本发明,能够降低部件码放作业的失败率。
在实验中可知,虽然部件码放作业的成功率随着部件种类的不同而变化,但能够获得例如大于或等于9成的成功率。即便失败,通过再次反复进行测量以及把持动作,从而在如上所述的成功率之下,连续失败的概率非常低。
第5特征在于,作为临时放置台4、二维视觉传感器5、机器人组6以及控制装置7(位置姿态变更单元)的追加功能,具有把持位置变更功能,该功能是指,并非持续使用最初把持的姿态作为把持姿态,而是在作业的中途松开把持,重新进行把持。
通过本发明的把持位置变更功能而具有下述效果,即,在将部件从散乱堆积部件箱2中分离时,即使发生上述的部件位置姿态移位现象,也不会影响到从散乱堆积部件箱2中取出部件至码放在托盘8上为止的作业整体的成败。
另外,根据把持位置变更功能,具有下述效果:通过从其它方向重新把持,从而在作业的最终阶段所需的部件位置姿态的精度,在每一次重新把持时变得比当前精度高,因此,能够获得在最终阶段所需的精度。
并且,位置姿态变更单元具有下述的效果。
如现有装置所示,在仅使用一台机器人对部件进行处理的情况下,存在部件姿态反转操作(例如,将部件的正反颠倒的作业)不成功的问题。
其原因在于,在1台机器人使一度已把持的部件的正反反转的操作中,必须在把持有部件的状态下反转,在反转状态下将把持松开而临时放置,并再次进行把持,但即使打算在反转状态下将把持松开而临时放置,由于机器手位于部件的重力方向上,因此无法放置在临时放置台上。
为了解决上述问题,在现有装置中,通过设计独立于机器人的受到动力控制的专用的部件夹持保持夹具等并安装在设备上,从而成功地重新把持,但还会出现在生产系统的建立和机种切换时需要时间和成本的新问题。
与此相对,在本发明中,作为位置姿态变更单元而构成为,将在空中反转后的部件,在机器人组6(多台机器人6a~6c)之间进行交接,从而进行重新把持。
由此,在生产系统的建立和机种切换时,能够仅变更控制装置7内的软件而变更机器人组6的动作,实现部件的反转。
另外,在这里,作为部件的姿态变更操作,代表性地以正反的反转为例进行了说明,但实际上构成为,不仅是正反的反转,可对部件施加各种姿态变更操作。
另外,此时,在最终将部件码放在托盘8上时,根据部件的把持位置,托盘8和机器人6c的机器手的爪发生干涉而无法进行码放,因此,必须在码放至托盘8上的位置处把持着部件。
以该最终把持位置和部件姿态为限制条件,作为从滚落在临时放置台4上的部件的姿态开始至最终把持位置及姿态为止的位置姿态变更单元,而具有多台机器人6a~6c。
图7是表示本发明的实施方式3所涉及的姿态变更操作原理的说明图,以六维空间坐标示出使用机器人组6(3台机器人6a~6c)实现把持位置变更功能的例子。
在图7中,与机器人组6的侧视图一起示出:机器人6a把持时的部件位置姿态的实现值(虚线);机器人6a实现的临时放置台4上的部件的把持位置(虚线和实线的连接点);机器人6b把持时的部件位置姿态的实现值(虚线);从机器人6a向机器人6b交接部件的交接位置(虚线和实线的连接点);机器人6c把持时的部件位置姿态的实现值(虚线);从机器人6b向机器人6c交接部件的交接位置(虚线和实线的连接点);以及机器人6c向托盘8码放的码放位置(虚线和实线的连接点)。
如果机器人6a~6c各自在某个位置(虚线和实线的连接点)处把持部件,则能够使所把持的部件的位置姿态变化,但其可能实现的值受到各机器人6a~6c的物理性质制约,在位置姿态的“6”自由度空间内出现多样特征。
在图7中,由粗实线构成的轨迹与机器人组6的部件移动路径相对应,以扇形图形表示的位置姿态的实现值(虚线)示意地表现部件位置姿态的多样特征。
各扇形图形(虚线)内的占据空间与各机器人6a~6c的可移动范围相对应,使各占据空间受到限制,该限制表现出部件的正反反转动作存在限制。
另外,位置姿态的多样特征是对应于部件的各种把持位置而描绘的。特别地,对于机器人组6内最终段的机器人6c,如上所述,其由于在把持位置处向托盘8码放时发生干涉而受到制约,因此,能够通过减小可使用的多样特征空间(扇形图形的占据空间)而表现制约。
在该情况下,通过进行从机器人6a向机器人6b交接部件、和从机器人6b向机器人6c交接部件,从而能够超过各个机器人6a~6c的部件位置姿态的实现值(多样特征)的制约范围,实现从临时放置台4向托盘8码放所需的部件位置姿态的变更操作。
图8是表示本发明的实施方式3所涉及的3条姿态变更轨道M1~M3的说明图,与图7所对应的扇形图形(虚线)的多样特征一起,以六维空间坐标示出。
在图8中,以使某个部件分离而滚落在临时放置台4上时取得3种稳定姿态的情况下的3种姿态变更操作为例,使机器人6a实现的临时放置台4上的部件的3种把持位置姿态L1~L3(虚线和实线的连接点)、与机器人6b的3种姿态变更轨道M1~M3关联而示出。
另外,所谓“3条”,只要在实验中以统计学方式确认在临时放置台4上取得3种稳定姿态即可。或者,利用二维视觉传感器5测量滚落的部件的姿态,确认能够将测量数据分为3种即可。
根据部件的形状,有时不分正反,有时分为正反2种,有时如图8所示为3种,或者,如果是形状复杂的部件,则实验观测到取得大于或等于5种稳定姿态。
在任意种(1~5种)稳定姿态中的任意一方的情况下,都能够从临时放置台4上的部件位置姿态开始,直至经由机器人组6而最终码放在托盘8上的位置姿态为止,对把持位置姿态的动作序列进行设计。
因此,构成为,利用二维视觉传感器5测量临时放置台4上的部件位置姿态,在各种情况下选择某个动作序列,在此基础上,计算对部件进行把持的位置姿态,由控制装置7执行动作序列。
由此,能够获得可将散乱堆积供给的部件码放供给至托盘8的效果。
另外,针对将供给对象部件最终码放在托盘8上的情况进行了说明,但也可以构成为,在最终阶段依次使部件彼此匹配、进行产品组装,而不限定于向托盘8上码放。
如上所述,在构成为将散乱堆积供给的部件组装成产品的部件供给装置中,当然也具有相同的效果。
另外,针对二维视觉传感器5仅进行一次部件测量的情况进行了说明,但也可以构成为,使用二维视觉传感器5(或者三维视觉传感器1)对由机器人6a~6c把持了部件的状态中的某一种或全部进行测量,使其后的机器人动作变化。在该情况下具有下述效果:通过追加与把持失误引起的误差相对应的动作序列,从而获得成功率更高的部件供给装置。
如上所述,本发明的动作原理在于,使用某个时刻的传感器测量值动态地变更部件的把持点这一做法,明显有助于对不确定的散乱堆积部件的位置姿态进行操作。
实施方式4
另外,在上述实施方式1~3(图1~图8)中,三维视觉传感器1独立于机器人3而构成,但也可以如图9所示,将三维视觉传感器1安装在机器人3的机器手旁边而形成手眼结构。
图9是概略地示出本发明的实施方式4所涉及的部件供给装置的整体结构的侧视图,对于与上述(参照图1)相同的结构,标注与上述相同的标号或者在标号的后面标注“A”而省略详细叙述。
在图9中,控制装置7A的控制定序程序的一部分与上述不同。
三维视觉传感器1安装在机器人3的机器手3h的旁边,与机器手3h一起实现手眼结构。由此,三维视觉传感器1构成为,能够伴随机器人3的运动而变更拍摄位置姿态。
图10是表示本发明的实施方式4所涉及的三维视觉传感器1以及机器人3的动作的流程图,针对与前述(参照图5)相同的处理步骤,标注与上述相同的标号而省略详细叙述。
另外,图11是表示本发明的实施方式4所涉及的机器人3的动作的说明图。
在图10中,步骤S71~S73与三维视觉传感器1的测量处理(步骤S12)相对应。
首先,机器人3从自身的待机位置(步骤S11)出发,开始沿着拍摄轨道运动(步骤S70)。
另外,所谓拍摄轨道,是指例如从散乱堆积部件箱2的上方,以使三维视觉传感器1的拍摄元件的拍摄方向朝向散乱堆积部件箱2的方式左右移动的轨道。
或者,所谓拍摄轨道,是指一边使散乱堆积部件箱2进入三维视觉传感器1的视野,一边使三维视觉传感器1逐渐接近散乱堆积部件箱2的轨道,或者是指一边描绘出几何学曲线(螺旋或圆弧等)一边逐渐接近散乱堆积部件箱2的轨道。
接下来,在步骤S70之后,在机器人3沿着拍摄轨道的移动中,针对三维视觉传感器1生成多次(在这里为2次)拍摄指示F1、F2(步骤S71、S72)。
由此,三维视觉传感器1进行多次(在这里为2次)图像拍摄G1、G2(步骤S61、S62)。
接下来,三维视觉传感器1与控制装置7A协同动作,进行与前述相同的运算处理,基于在步骤S61、S62中获得的多个图像数据,测量距离图像(步骤S1)。
另外,三维视觉传感器1以及控制装置7A对把持候选的坐标进行优化(步骤S2),确定把持坐标,将把持候选的坐标发送至机器人3(步骤S3),返回至步骤S61。
如果机器人3从三维视觉传感器1接收到把持候选的坐标(把持坐标)(步骤S73),则与前述相同地移动至所获得的把持坐标(步骤S13),通过机器手的闭合动作(步骤S14)而把持部件,并移动至临时放置台4的坐标(步骤S15),通过机器手的打开动作(步骤S16)而使部件滚落在临时放置台4上,返回至步骤S11。
下面,二维视觉传感器5、控制装置7A以及机器人组6进行与前述(图5)相同的处理动作。
图11示出图10内的步骤S61、S62、S70~S73、S13的动作。
在图11中示出拍摄指示F1中的机器手3h(F1)及三维视觉传感器1(F1)的姿态、拍摄指示F2中的机器手3h(F2)及三维视觉传感器1(F2)的姿态、以及移动至把持坐标的机器手3h的姿态。
在图11中,虚线箭头表示把持坐标测量时机器人3的移动序列,双点划线箭头表示各移动位置处的三维视觉传感器1(F1)、(F2)的图像拍摄G1、G2。
如上所述,根据本发明的实施方式4(图9~图11),三维视觉传感器1被一体地设置在机器人3上,实现手眼结构,三维视觉传感器1的可拍摄范围与机器人3的可动作范围大致一致。
由此,虽然节拍时间比前述增加,但由于三维视觉传感器1和机器人3的布局上的制约变得宽松,因此具有系统的布局设计变得容易的效果。
另外,由于在三维视觉传感器1的拍摄时不使机器人3停止运动,因此,还具有缩短动作时间的效果。
另外,具有能够使散乱堆积部件箱2的尺寸形成得比三维视觉传感器1的视野大的效果。
实施方式5
另外,在上述实施方式4(图9~图11)中,作为位置姿态变更单元,与上述实施方式1~3相同地使用了机器人组6(机器人6a~6c),但也可以如图12所示,使用1台机器人6B。
图12是概略表示本发明的实施方式5所涉及的部件供给装置的整体结构的侧视图,对于与前述(参照图1、图9)相同的结构,标注与前述相同的标号或者在标号的后面标注“B”而省略详细叙述。
在这里,从临时放置台4至托盘8为止的部件的位置姿态变更单元是由1台机器人6B构成的,这一点与前述(图9)不同。另外,在该情况下,省略前述的二维视觉传感器5,控制装置7B内的控制定序程序的一部分与前述不同。
在图12中,机器人3、6B例如由一般的垂直多关节型机器人或者水平关节机器人、直线移动机器人等构成。
机器人3具有机器手3h,该机器手3h具有镊子状或钳子状的细爪3t(参照图3、图4),机器人6B具有平行卡盘机器手。
一体地安装在机器人3的机器手3h上的三维视觉传感器1(距离图像测量单元),对散乱堆积部件箱2内的对象部件的距离图像进行计算。
另外,与前述相同地,通过对距离图像进行解析,机器人3从堆积的部件中计算抓取部位(在图2内的中部以凸起状伸出的部位、在前侧出现凹陷的部位)的候选,通过优化而筛选出一个候选。
另外,与前述相同地,通过进行优化运算,从而对部件的候选进行优化,其中,上述优化运算是指对多个候选标记评价值,选择评价值最高的一个候选。
然后,机器人3将部件输送至临时放置台4,在临时放置台4的上方松开部件,以投放的方式使部件滚落在临时放置台4上,而不是轻轻地放置。
由此,提高使缠在一起的部件分离,以一个一个地分离的状态滚落在临时放置台4上而静止的概率。
另外,与前述相同地,使用三维视觉传感器1的坐标系和机器人3的坐标系的校准误差中的姿态误差较小的区域,从而能够提高分离成功率。
在这里,三维视觉传感器1(距离图像测量单元)具有作为部件外形测量单元的功能,根据测量出的外形形状,计算部件的位置姿态,该部件外形测量单元对滚落在临时放置台4上的部件进行拍摄,取得部件的外形形状。
另外,位置姿态的计算运算与前述相同地,在三维视觉传感器1内或者控制装置7B内进行。另外,计算运算是通过例如模板匹配法进行的,模板图像是预先登记的。
然后,具有平行卡盘机器手的机器人6B从临时放置台4上抓取部件,将部件码放配置在托盘8上。
下面,按照部件处理的顺序,对图12所示的本发明的实施方式5所涉及的部件供给装置的动作进行说明。
首先,三维视觉传感器1(距离图像测量单元)进行部件识别,筛选出一个所识别出的部件的可把持部位(如耳部这种凸出的部分)、或者能够推定为可把持形状的部分的位置姿态。
机器人3进行动作,以使得通过距离图像筛选出的位置姿态与机器手3h的爪3t的位置姿态一致,在将爪3t闭合而把持到部件之后,将部件从散乱堆积部件箱2中取出,在临时放置台4的上方张开爪3t,使部件滚落在临时放置台4上而载置。
其结果,部件在临时放置台4上以几种稳定状态中的一种位置姿态静止。
在这里,为了使说明简单,针对在分离状态(部件以没有缠在一起或重叠的状态置于临时放置台4上的状态)下稳定的情况进行说明。
下面,三维视觉传感器1对临时放置台4上的部件进行拍摄,通过预先登记的模板图像与距离图像之间的图案匹配法,对置于临时放置台4上的部件的位置姿势进行识别。
由此,能够测量出滚落在临时放置台4上表面的部件的三维位置姿态,然后,机器人6B对临时放置台4上的部件进行把持。
此时,在必须改变部件朝向的情况下,机器人6B暂时在临时放置台4上使部件脱离,再次从不同的方向重新把持部件。
控制装置7B向三维视觉传感器1(距离图像测量单元)、机器人3(分离单元)以及机器人6B(位置姿态变更单元)输出定序控制指令,反复执行上述一系列的动作。
另外,在这里,三维视觉传感器1兼具部件外形测量单元的功能,但作为部件外形测量单元,也可以具有所述二维视觉传感器5。
如上所述,根据本发明的实施方式5(图12),具有:三维视觉传感器1(距离图像测量单元),其对距离图像进行测量;散乱堆积部件箱2;机器人3(分离单元),其从散乱堆积部件箱2中抓取部件;临时放置台4,在其上滚落大于或等于1个部件;部件外形测量单元(三维视觉传感器1),其测量部件的外形;以及机器人6B(位置姿态变更单元),其抓取滚落在临时放置台4上的部件,在对部件的位置姿态进行变更的同时,变更为相对于预先指定的位置姿态小于或等于一定误差的位置姿态。
机器人3(第1机器人)从散乱堆积部件箱2中对部件进行把持并抓取,机器人6B(第2机器人)抓取机器人3滚落在临时放置台4上的部件,对部件的位置姿态进行变更。
用于载置由机器人3把持并滚落的大于或等于1个部件的临时放置台4,具有分离单元的一部分功能。
与机器人3一体的三维视觉传感器1也作为对临时放置台4上的部件外形进行测量的部件外形测量单元起作用,也具有位置姿态变更单元的一部分功能。
由此,与前述相同地,不必针对每种部件设置专用机器手,能够削减机器手的成本、缩短机器手设计时间、减小机器手临时放置场所。
另外,能够仅通过软件的变更而进行生产机种的切换,能够实现生产机种切换的快速化。
并且,由于机器人3具有一体地设置有三维视觉传感器1的手眼结构,因此,虽然节拍时间增加,但能够使散乱堆积部件箱2以及临时放置台4的尺寸形成得比三维视觉传感器1的视野大。
实施方式6
另外,在上述实施方式5(图12)中,仅在机器人3的机器手3h上安装有三维视觉传感器1(距离图像测量单元),但也可以如图13所示,在机器人6B的机器手6h上安装三维视觉传感器1C(距离图像测量单元),省略临时放置台4。
图13是概略地表示本发明的实施方式6所涉及的部件供给装置的整体结构的侧视图,针对与前述(参照图12)相同的结构,标注与前述相同的标号或在标号的后面标注“C”,省略详细叙述。
在该情况下,省略临时放置台4以及在机器人6B上追加有三维视觉传感器1C,这两点与前述不同。
在图13中,三维视觉传感器1、1C与前述相同地,计算对象物的距离图像(图2)。
即,安装在机器人3上的三维视觉传感器1根据距离图像的解析结果,从堆积的部件中计算机器人3抓取的部位的候选,通过优化而筛选出一个候选。
例如,如果是前述的图3或图4中示出的机器手3h,则希望在不与部件接触的状态下将机器手3h的两根爪的前端同时插入散乱堆积部件的凸部,因此,预先以两根圆柱(或者棱柱)而进行数值模型化,其中,这两根圆柱(或者棱柱)以爪3t的张开宽度W的距离分隔开,且各自具有内含各爪的最小尺寸。
接下来,在已获得最新的距离图像的情况下,从最新的距离图像中,对上述数值化后的圆柱进入的空间、且在空间之间存在部件的部位进行探索。
如果是图2的例子,则找到以下两个部位,即,在中部以凸起状伸出的部位、和在前侧出现凹陷的部位。
或者,将能够由机器人的机器手把持的小凸起部位的形状、例如进入张开的机器手3h的爪3t之间的棱柱、圆柱、平板、圆盘,相对于距离图像进行模板匹配,探索并提取出多个候选。
然后,进行优化运算,该优化运算是指针对多个候选标记评价值,选出评价值最高的一个候选。作为优化的方法,采用最高的Z轴值作为评价值,从由两根圆柱夹持的凸起物或者找到的微小棱柱中,选择该评价值为最大的候选。相当于从散乱堆积的部件中选择堆积在最上方的部件。即,通过选择最大的评价值而对部件的候选进行优化。在图2的例子中,中央的凸起部位成为优化后的候选。
针对上述优化候选,对于机器人3的机器手3h的爪3t如何架置才能够进行部件的把持,可通过将机器人3的位置姿态设为机器人坐标系中的XYZ值以及围绕各轴的旋转角,并加上相对于前面的候选的位置姿态的相对位置姿态,从而通过简单的计算得到。
另外,将能够由机器手3h抓取那样程度的大小的微小棱柱状的部位与距离图像进行模板匹配而提取候选点,使用该候选点的Z轴高度进行优化,也能够计算出把持位置姿态,得到同样的效果。
机器人3通过上述机器人坐标计算方法,在机器手3h的爪3t处于张开状态之后,使散乱堆积在散乱堆积部件箱2中的部件移动至此时取得的把持位置,并将机器手闭合。
然后,机器人3使机器手3h沿Z轴方向移动,将从散乱堆积部件箱2中把持到的部件提起,然后,将抓取的部件交给机器人6B。
此时,机器人6B利用设置在机器手6h上的三维视觉传感器1C(距离图像测量单元),对机器人3所把持的部件进行测量,在识别出部件的位置姿态之后对把持位置进行判定,向部件接近而对部件进行把持。
但是,机器人3从散乱堆积部件箱2中取出部件的动作有时会失败,或者,有时多个部件缠在一起,以成为一堆的状态被抓取出来。
上述的分离失败状态,能够在机器人3和机器人6B之间的部件交接动作时,根据安装在机器人6B上的三维视觉传感器1C的拍摄结果而进行判别。
如上所述,在没有成为分离状态(仅为一个部件,没有纠缠的优选状态)、部件取出失败的情况下,机器人3将当前把持的部件除掉,再次进行抓取操作。
由此,在散乱堆积部件箱2内的部件分离成功的时刻,机器人6B利用由平行卡盘机器手构成的机器手6h,把持从机器人3交接来的部件并码放配置在托盘8上,完成一系列的动作。
在这里,按照对部件进行处理的次序,对本发明实施方式6(图13)的装置整体的动作进行说明。
首先,机器人3的三维视觉传感器1(距离图像测量单元)对散乱堆积部件箱2内的部件进行识别,筛选出所识别出的部件的可把持部位(例如,如耳部这种凸出的部分或者能够推定为上述形状的部分)的一种位置姿态。
接着,在控制装置7C的控制下,使机器人3动作,以使可把持部位的位置姿态和机器人3的机器手3h的爪3t的位置姿态一致。
然后,机器人3在将爪3t闭合而把持部件之后,从散乱堆积部件箱2中取出部件,并递向机器人6B的附近。
然后,机器人6B的三维视觉传感器1C(距离图像测量单元),对递过来的部件的位置姿态进行识别。
此时,机器人6B在需要改变部件朝向的情况下,一边使机器手6h进行旋转动作一边把持部件,在需要更加复杂地变更姿态的情况下,暂时使机器人3将部件递回,在使机器人3抓取到部件后,再次从不同的方向重新把持部件。
控制装置7C向机器人3(分离单元)、机器人6B(位置姿态变更单元)以及三维视觉传感器1、1C(距离图像测量单元)输出定序控制指令,反复执行上述一系列的动作。
如上所述,根据本发明的实施方式6(图13),具有:三维视觉传感器1(距离图像测量单元),其对距离图像进行测量;散乱堆积部件箱2;机器人3(分离单元),其从散乱堆积部件箱2中抓取部件;三维视觉传感器1C(距离图像测量单元),其作为机器人3所把持的部件的外形测量单元起作用;以及机器人6B(位置姿态变更单元),其重新把持机器人3所把持的部件,在对部件的位置姿态进行变更的同时,变更为相对于预先指定的位置姿态小于或等于一定误差的位置姿态。
由此,与前述相同地,不必针对每种部件设置专用机器手,能够削减机器手的成本、缩短机器手设计时间、减小机器手临时放置场所。
另外,能够仅通过软件的变更而进行生产机种的切换,能够实现生产机种切换的快速化。
并且,由于机器人3、6B各自具有一体地设置的三维视觉传感器1、1C,具有手眼结构,因此,虽然节拍时间增加,但能够使散乱堆积部件箱2及托盘8的尺寸形成得比三维视觉传感器1、1C的视野大。
实施方式7
另外,在上述实施方式5、6(图12、图13)中,设有与机器人3之间进行部件交接的机器人6B,但也可以如图14所示,形成为使具有三维视觉传感器1的机器人3D兼具位置姿态变更单元的功能,省略前述的机器人6B。
图14是概略地表示本发明的实施方式7所涉及的部件供给装置的整体结构的侧视图,针对与前述(参照图12)相同的结构,标注与前述相同的标号或者在标号的后面标注“D”而省略详细叙述。
在该情况下,仅去掉机器人6B这一点与前述不同,与前述相同地,机器人3D具有如图3或图4所示的机器手3h。
在图14中,首先,与控制装置7D协同动作的三维视觉传感器1与前述相同地,取得散乱堆积部件箱2的距离图像(图2),进行模板匹配,使机器人3D动作,以能够将机器人3D的机器手3h的爪3t架置在可把持部位的优化候选上。
机器人3D(分离单元)从放入散乱堆积部件箱2中的多个部件中仅取出一个部件。此时,为了提高分离成功率,使用三维视觉传感器1的坐标系和机器人3D的坐标系之间的校正误差中的姿态误差较小的区域。
机器人3D将把持到的部件从散乱堆积部件箱2输送至临时放置台4,在临时放置台4的上方,以投放的方式将部件松开。
此时,机器人3D从散乱堆积部件箱2中取出部件有时会失败,有时多个部件缠在一起,以成为一堆的状态滚落在临时放置台4上,或者,有时也会是多个部件以没有缠在一起的状态滚落在临时放置台4上。
上述的状态能够在机器人3D将把持到的部件松开后,立即利用三维视觉传感器1对临时放置台4进行拍摄而进行判别。
在机器人3D取出部件失败的情况下,再次进行抓取操作。
另外,在多个部件缠在一起,以成为一堆的状态滚落在临时放置台4上的情况下,利用使临时放置台4的顶壁反转的单元等,将部件除掉。
并且,在多个部件以没有缠在一起的状态滚落在临时放置台4上的情况下,机器人3D对部件一个一个地进行处理,或者仅对一个部件进行处理,然后利用使临时放置台4的顶壁反转的单元等,将其余的部件除掉。
此时,与控制装置7D协同动作的三维视觉传感器1(距离图像测量单元),具有作为部件外形测量单元的功能,根据测量出的外形形状,通过模板匹配法而对临时放置台4上的部件的位置姿态进行计算,该部件外形测量单元对滚落在临时放置台4上的部件进行拍摄而取得外形形状。
接下来,机器人3D将部件从临时放置台4上抓取,码放配置在托盘8上。
在这里,按照对部件进行处理的次序,对本发明的实施方式7(图14)涉及的装置整体的动作进行说明。
首先,三维视觉传感器1(距离图像测量单元)对散乱堆积部件箱2内的部件进行识别,筛选出一个可把持部位,使机器人3D动作,以使可把持部位的位置姿态与机器人3D的机器手3h的爪3t(参照图3、图4)的位置姿态一致。
接着,机器人3D在将爪3t闭合而把持了部件之后,从散乱堆积部件箱2中取出部件,在临时放置台4的上方将爪张开,使部件滚落在临时放置台4上。其结果,部件以几种稳定状态中的一种状态在临时放置台4上静止。
在这里,为了使说明简单,对部件以分离状态而没有缠在一起或重叠,被放置在临时放置台4上的情况进行说明。
接下来,三维视觉传感器1通过临时放置台4上的拍摄图像、和预先登记的模板图像之间的图案匹配法,对置于临时放置台4上的部件的位置姿态进行识别。
由此,由于能够测量出滚落在临时放置台4上表面上的部件的三维位置姿态,因此,机器人3D对临时放置台4上的部件进行把持。此时,在需要变更部件朝向的情况下,暂时在临时放置台4上使部件脱离,再次从不同的方向重新把持。
控制装置7D向机器人3D(分离单元以及位置姿态变更单元)、和三维视觉传感器1(距离图像测量单元)输出定序控制指令,反复执行上述一系列的动作。
如上所述,根据本发明的实施方式7(图14),具有:散乱堆积部件箱2,其对散乱堆积的部件进行收容;三维视觉传感器1(距离图像测量单元),其对散乱堆积部件箱内的部件的距离图像进行测量;机器人3D(分离单元),其基于距离图像,从散乱堆积部件箱2中抓取部件;以及位置姿态变更单元(临时放置台4、机器人3D、三维视觉传感器1、控制装置7D),其根据需要对通过机器人3D分离出的部件的位置姿态进行变更,同时变更为相对于预先指定的最终位置姿态小于或等于一定误差的位置姿态。
分离单元以及位置姿态变更单元具有同时发挥分离单元以及位置姿态变更单元的作用的1台机器人3D。
三维视觉传感器1(距离图像测量单元)一体地设置在机器人3D上。
由此,与前述相同地,不必针对每种部件设置专用机器手,能够实现机器手成本的削减、机器手设计时间的缩短、机器手临时放置场所的减小。
另外,能够仅通过软件的变更而对生产机种进行切换,能够实现生产机种切换的快速化。
实施方式8
另外,在上述实施方式1中,在机器人3为了抓取部件而向散乱堆积部件箱2接近的动作中,将表征机器人3的机器手3h的姿态的坐标轴Z轴,固定为世界坐标系的铅垂下方或重力加速度的方向,但机器手3h的朝向只要是围绕Z轴旋转的即可。
即,在实施方式1中,作为机器人3使用垂直关节型的机器人,但在本发明的实施方式8中,作为机器人3使用SCARA型机器人(水平多关节机器人)或者正交型机器人。
根据本发明的实施方式8,通过使用SCARA型机器人或者正交型机器人(未图示),由于电动机数量少于垂直型机器人,因此能够降低系统成本。
实施方式9
另外,在上述实施方式1~8中没有具体地进行说明,但在首先使用三维视觉传感器测量散乱堆积状态的部件中的可把持部件时,也可以如图18所示,使用多个三维视觉传感器1D。
下面,参照图15~图18,对使用多个三维视觉传感器1D的本发明的实施方式9进行说明。
图15是表示在本发明的实施方式9中作为把持对象的部件10的立体形状的斜视图,图16及图17是表示本发明的实施方式9所要解决的课题的说明图。
在图16中,图16(a)是散乱堆积的部件10的侧视图,图16(b)是该部件10的主视图。在图17中,图17(a)是重叠的部件10a、10b的侧视图,图17(b)是遮光状态的部件10c、10d的侧视图。
另外,图18是表示本发明的实施方式9所涉及的多个三维视觉传感器1D的侧视图,对应于与图17相同状态的部件10a~10d而示出。
首先,在散乱堆积部件箱2内散乱堆积有图15所示的长方体形状的部件10时,针对利用三维视觉传感器观测到凸起部分(参照图2)的情况下的把持动作进行说明。
对于如图16所示倾斜的姿态的部件10,即使以例如图16(a)所示的朝向使机器手3h移动、使爪3t闭合,在爪3t闭合中途,部件10仍会脱落,能够把持到部件10的概率很低。
在该情况下,应当如图16(b)所示,使爪3t相对于部件10朝向正面方向闭合,由此提高能够把持到部件10的概率。
因此,不是如图16(a)所示,从部件10的凸起物(角部)的侧面倾斜的方向进行把持,而是如图16(b)所示,以搜索侧面垂直直立的方向并选择的方式构成识别算法即可。
但是,如图17所示,在使用一个三维视觉传感器1,如图17(a)所示观测到重叠状态的部件10a、10b的情况下,重叠的部件10a遮挡三维视觉传感器1的视野。在该情况下,无法获得被遮挡的视线范围内的距离数据(距离图像)。
在图17(a)的状态下,如果将没有取得距离数据的空白区域认为是部件10a直立的区域,判定为可把持的部位,使机器手3h的爪3t下降,则阴影中没有观察到的部件10b与爪3t碰撞,在最坏的情况下,还可能使爪3t破损。另外,即使没有立即破损,磨损和金属疲劳也会不断加深,迟早会破损或导致把持概率下降。
与此相对,在将没有取得距离数据的空白区域视为隐藏有其它部件10b的情况下,例如,如图17(b)所示被其它部件10c遮挡,但还会漏掉具有能够容易把持到的直立部位的部件10d。
因此,在本发明的实施方式9中,如图18所示,使用多个(例如3个)三维视觉传感器1D。
由各三维视觉传感器1D测量出的距离数据被传送至控制装置7,合成为一个空间内的数据。或者,将其它三维视觉传感器1D测量出的距离数据传送并与一个三维视觉传感器1D测量出的距离数据进行合成。
由此,各三维视觉传感器1D的空白区域彼此互补,得到如图2所示合成的距离数据。
接下来,与前述实施方式1相同地,在对凸起部位进行探索的动作之后,进行例如部件10d的把持动作。该动作在其它实施方式2、3、5、7中也同样适用。
另外,多个三维视觉传感器1D的坐标系以及机器人3的坐标系是预先进行了校正的。
另外,也可以代替三维视觉传感器1D,如前述的实施方式4、6所示,形成为安装在机器人3上的状态,移动至多个部位后静止,在各个静止位置处测量多个距离数据。但是,这将导致整体的测量时间延长。
根据本发明的实施方式9(图18),通过取得多个距离数据,从而能够将散乱堆积部件箱2内的部件10中的机器人3能够把持的概高的部件、和能够把持的概率低的部件区别开。
因此,把持到部件10d的成功率提高,重新把持的次数减少,因此,得到系统整体的节拍时间提高的效果。另外,还具有避免由于部件10b与爪3t碰撞而导致的系统故障的效果。
如上所述,根据本发明的实施方式1~9,通过使用三维视觉传感器1,可获得对散乱堆积供给的部件进行码放(或者组装)的装置,能够对在自动组装装置、自动组装机器人等必需的部件供给工序进行革新。
特别地,在由机器人构成部件的位置姿态变更单元时,针对机器人的通用性,能够通过控制装置内的软件变更以及机器人的硬件变更而进行应对。另外,关于硬件变更,基本上是进行对机器人的机器手的尺寸进行变更这种程度的工程,然后,能够随意使用硬件,应对各种部件的操作,有助于生产机种切换的快速化、机种切换的低成本化。
标号的说明
1、1C、1D三维视觉传感器、2散乱堆积部件箱、3、3D、6a、6b、6c、6B机器人、3h、6h机器手、3t爪、4临时放置台、5二维视觉传感器、6机器人组、7、7A、7B、7C、7D控制装置、8托盘、10部件。

Claims (2)

1.一种部件供给装置,其特征在于,具有:
散乱堆积部件箱,其收容散乱堆积的部件;
第1机器人,其具有从所述散乱堆积部件箱抓取部件的机器手,该机器手具有镊子状或钳子状细爪;
三维视觉传感器,其对所述散乱堆积部件箱内的部件的距离图像进行测量,针对能够利用所述机器手把持的小凸起部位的形状,与所述距离图像进行模板匹配,探索并提取出所述小凸起部位的形状的多个候选,通过下述优化运算,将所述部件中的可把持的部位筛选至1个,其中,该优化运算是指对提取出的所述小凸起部位的形状的多个候选标记评价值,仅选择评价值最高的一个候选;
临时放置台,所述第1机器人通过对所述可把持的部位进行把持,从而从散乱堆积部件箱中抓取出部件后,松开所把持的所述部件,将该部件载置在该临时放置台上;
二维视觉传感器,其对所述临时放置台上的部件的位置姿态进行识别;
多台第2机器人,其具有把持所述部件的平行卡盘机器手;以及
托盘,其码放并保持所述部件,
所述第2机器人中的1台基于所述二维视觉传感器的测量结果,使用所述平行卡盘机器手抓取载置于所述临时放置台上的部件,在所述第2机器人中的一台及其它所述第2机器人之间,传递所述部件,并对所述部件的位置姿态进行变更,插入至所述托盘。
2.根据权利要求1所述的部件供给装置,其特征在于,
具有控制装置,该控制装置对所述第1及第2机器人、以及所述三维视觉传感器及所述二维视觉传感器的动作及动作定时进行控制。
CN201280032794.9A 2011-06-29 2012-06-20 部件供给装置 Active CN103687702B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-144073 2011-06-29
JP2011144073 2011-06-29
PCT/JP2012/065766 WO2013002099A1 (ja) 2011-06-29 2012-06-20 部品供給装置

Publications (2)

Publication Number Publication Date
CN103687702A CN103687702A (zh) 2014-03-26
CN103687702B true CN103687702B (zh) 2016-08-24

Family

ID=47423996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032794.9A Active CN103687702B (zh) 2011-06-29 2012-06-20 部件供给装置

Country Status (6)

Country Link
US (1) US9469035B2 (zh)
JP (1) JP5837065B2 (zh)
KR (1) KR101634463B1 (zh)
CN (1) CN103687702B (zh)
DE (1) DE112012002677B4 (zh)
WO (1) WO2013002099A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9605952B2 (en) * 2012-03-08 2017-03-28 Quality Manufacturing Inc. Touch sensitive robotic gripper
DE102012013030A1 (de) * 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatischen Entnehmen von in einem Behälter angeordneten Werkstücken
DE102012013022A1 (de) * 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zur automatisierten Handhabung von Werkstücken
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP6057862B2 (ja) * 2013-08-29 2017-01-11 三菱電機株式会社 部品供給装置および部品供給装置のプログラム生成方法
JP5788460B2 (ja) 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6259470B2 (ja) * 2013-12-27 2018-01-10 富士機械製造株式会社 部品供給システム
US10485151B2 (en) * 2014-06-03 2019-11-19 Fuji Corporation Loose component supply device and component mounter
DE102014008444A1 (de) 2014-06-06 2015-12-17 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken
WO2016122840A1 (en) 2015-01-26 2016-08-04 Duke University Specialized robot motion planning hardware and methods of making and using same
JP6577965B2 (ja) * 2015-02-12 2019-09-18 株式会社Fuji 部品供給装置、および保持具決定方法
JP6117853B2 (ja) * 2015-05-13 2017-04-19 ファナック株式会社 バラ積みされた物品を取り出すための物品取出システム、および方法
KR102484200B1 (ko) * 2015-07-13 2023-01-03 현대모비스 주식회사 부품 공급 장치 및 그 제어방법
JP2017074651A (ja) * 2015-10-16 2017-04-20 株式会社特電 ワークの自動供給方法
JP6219901B2 (ja) * 2015-10-28 2017-10-25 ファナック株式会社 ワークの向きを調整可能な仮置き装置
JP2017100142A (ja) * 2015-11-30 2017-06-08 株式会社特電 自動ナット溶接装置
JP6516663B2 (ja) * 2015-12-10 2019-05-22 学校法人立命館 機械システムの生産性能評価装置及び機械システムの生産性能評価方法
DE102016000611A1 (de) * 2016-01-23 2017-07-27 Sk-Technologies Ug (Haftungsbeschränkt) Anordnung und Verfahren für die automatisierte Erfassung und Entnahme von Werkstücken aus ungeordneter Ansammlung
JP2017151011A (ja) * 2016-02-26 2017-08-31 セイコーエプソン株式会社 電子部品搬送装置および電子部品検査装置
CN105668206B (zh) * 2016-03-23 2019-02-12 深圳市华星光电技术有限公司 玻璃基板的分流方法、分流装置及加工系统
JP5965561B1 (ja) * 2016-04-15 2016-08-10 宮川工機株式会社 金物供給装置
US11065767B2 (en) * 2016-04-22 2021-07-20 Mitsubishi Electric Corporation Object manipulation apparatus and object manipulation method for automatic machine that picks up and manipulates an object
EP3537248A1 (en) 2016-06-10 2019-09-11 Duke University Motion planning for autonomous vehicles and reconfigurable motion planning processors
US11122721B2 (en) 2016-09-22 2021-09-14 Fuji Corporation Component supply system
DE102017000524A1 (de) * 2017-01-20 2018-07-26 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken
DE102017000527A1 (de) * 2017-01-20 2018-07-26 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken
WO2018144422A1 (en) * 2017-02-02 2018-08-09 Walmart Apollo, Llc Conveyor and logic systems to return, balance, and buffer processed or empty totes
JP6453922B2 (ja) 2017-02-06 2019-01-16 ファナック株式会社 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
US11413762B2 (en) * 2017-03-10 2022-08-16 Abb Schweiz Ag Method and device for identifying objects
DE202017101643U1 (de) * 2017-03-21 2018-05-08 Kuka Systems Gmbh Fertigungsstation
DE112017007311B4 (de) 2017-03-24 2021-09-16 Mitsubishi Electric Corporation Vorrichtung und Verfahren zum Erzeugen eines Roboterprogramms
CN110431093B (zh) * 2017-03-30 2021-09-14 德马泰克公司 分体机器人物品拣放系统
JP6880457B2 (ja) * 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
KR102067878B1 (ko) * 2017-12-12 2020-01-17 한국로봇융합연구원 재파지를 이용하여 테스크를 수행하는 로봇 핸드 및 그 제어방법
KR102109696B1 (ko) * 2017-12-12 2020-05-13 한국로봇융합연구원 정보가 없는 객체를 파지하는 로봇 핸드 및 그 제어방법
KR102109697B1 (ko) * 2017-12-12 2020-05-13 한국로봇융합연구원 시각 정보와 촉각 정보를 함께 이용하여 객체를 파지하는 로봇 핸드 및 그 제어방법
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
PL3769174T3 (pl) * 2018-03-21 2022-10-24 Realtime Robotics, Inc. Planowanie przemieszczania robota do różnych środowisk i zadań oraz jego ulepszone działanie
CN111788878B (zh) * 2018-03-23 2021-09-21 株式会社富士 元件安装装置
CN112218748B (zh) 2018-06-14 2023-09-05 雅马哈发动机株式会社 机器人系统
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
JP7031540B2 (ja) * 2018-09-07 2022-03-08 オムロン株式会社 対象物認識装置、マニピュレータ、および移動ロボット
KR102561103B1 (ko) * 2018-11-16 2023-07-31 삼성전자주식회사 로봇 보정 시스템 및 그것의 보정 방법
JP7247572B2 (ja) * 2018-12-17 2023-03-29 京セラドキュメントソリューションズ株式会社 制御装置
CN113905855B (zh) 2019-04-17 2023-08-25 实时机器人有限公司 运动规划图生成用户界面、系统、方法和规则
EP3738725B1 (en) * 2019-05-15 2022-02-16 Omron Corporation Measurement system, measurement device, measurement method, and measurement program
CN114206698B (zh) 2019-06-03 2024-07-02 实时机器人有限公司 在具有动态障碍物的环境中促进运动规划的装置、方法和物品
US11472122B2 (en) 2019-07-02 2022-10-18 Saudi Arabian Oil Company Fabrication of composite parts by additive manufacturing and microstructure topology customization
US11014295B2 (en) * 2019-07-02 2021-05-25 Saudi Arabian Oil Company Fabrication of composite parts by additive manufacturing and microstructure topology optimization
WO2021041223A1 (en) 2019-08-23 2021-03-04 Realtime Robotics, Inc. Motion planning for robots to optimize velocity while maintaining limits on acceleration and jerk
EP4032663A4 (en) * 2019-09-18 2022-08-31 Fuji Corporation WORK ROBOT AND WORK SYSTEM
DE102019129417B4 (de) * 2019-10-31 2022-03-24 Sick Ag Verfahren zum automatischen Handhaben von Objekten
CN114845844B (zh) * 2019-12-17 2023-05-30 三菱电机株式会社 信息处理装置、工件识别装置及工件取出装置
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
JP7454132B2 (ja) * 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
CN114901441B (zh) 2020-01-23 2024-08-30 欧姆龙株式会社 机器人系统的控制装置、机器人系统的控制方法、计算机控制程序及机器人系统
KR102350638B1 (ko) * 2020-08-26 2022-01-17 주식회사 이엠에스 인공지능형 로봇 시스템
DE102020212768B4 (de) 2020-10-09 2022-05-05 Ifc Intelligent Feeding Components Gmbh Schüttgut-Zuführsystem
CN112620908A (zh) * 2020-12-28 2021-04-09 武汉智艾德科技有限公司 一种基于机器人与视觉匹配的自动凸焊系统及方法
CN112847375B (zh) * 2021-01-22 2022-04-26 熵智科技(深圳)有限公司 一种工件抓取方法、装置、计算机设备及存储介质
US12064886B1 (en) * 2021-03-23 2024-08-20 Amazon Technologies, Inc. Systems and methods for scalable perception and purposeful robotic picking of items from a collection
DE102023111746A1 (de) 2023-05-05 2024-11-07 Bayerische Motoren Werke Aktiengesellschaft Handhabungsvorrichtung für einen Transport von Objekten
CN117381802B (zh) * 2023-12-12 2024-03-05 吉林省吉邦自动化科技有限公司 一种分布式多机器人协同控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295363A (zh) * 2007-04-23 2008-10-29 三菱电机株式会社 从距离图像确定物体姿势的方法和系统
CN101522377A (zh) * 2006-10-20 2009-09-02 株式会社日立制作所 机械手
CN101706968A (zh) * 2009-12-10 2010-05-12 江苏大学 基于图像的果树枝干三维模型重建方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4011437A (en) * 1975-09-12 1977-03-08 Cincinnati Milacron, Inc. Method and apparatus for compensating for unprogrammed changes in relative position between a machine and workpiece
US4402053A (en) 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
JPH06127698A (ja) * 1992-10-20 1994-05-10 Omron Corp 部品供給装置
JPH08112788A (ja) * 1994-10-14 1996-05-07 Canon Inc 部品挿入装置及び部品挿入方法
JPH09239682A (ja) 1996-03-06 1997-09-16 Nissan Motor Co Ltd ワーク供給方法およびワーク供給装置
AU2002319119A1 (en) * 2001-07-02 2003-01-21 Microbotic A/S Apparatus comprising a robot arm adapted to move object handling hexapods
JP3805310B2 (ja) 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP2005335010A (ja) * 2004-05-26 2005-12-08 Toyota Motor Corp 把持制御装置
JP2006035346A (ja) * 2004-07-23 2006-02-09 Toyota Motor Corp 部品組付け方法
JP4940715B2 (ja) * 2006-03-15 2012-05-30 日産自動車株式会社 ピッキングシステム
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP2008178930A (ja) * 2007-01-23 2008-08-07 Fuji Electric Holdings Co Ltd ロボットのワーク把持方法及びロボット
US8070409B2 (en) * 2007-11-05 2011-12-06 Ajax Tocco Magnethermic Corp. Method and apparatus for transporting steel billets
JP5265296B2 (ja) * 2008-10-10 2013-08-14 本田技研工業株式会社 ワーク取り出し方法
DE102008052436A1 (de) 2008-10-21 2010-04-22 Daimler Ag Verfahren und Vorrichtung zum Vereinzeln von Bauteilen aus einem Behältnis
JP2010105105A (ja) 2008-10-29 2010-05-13 Olympus Corp 自動生産装置
JP5201411B2 (ja) 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP5293442B2 (ja) * 2009-06-18 2013-09-18 株式会社安川電機 ロボットシステム及び物品並置方法
JP5304469B2 (ja) * 2009-06-19 2013-10-02 株式会社デンソーウェーブ ビンピッキングシステム
CN102019565B (zh) * 2009-09-21 2015-10-14 Abb技术有限公司 用于制造部件的质量控制系统和方法
JP5458807B2 (ja) * 2009-10-30 2014-04-02 富士電機株式会社 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
JP2011115877A (ja) * 2009-12-02 2011-06-16 Canon Inc 双腕ロボット
JP5229253B2 (ja) * 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
KR101453234B1 (ko) 2010-11-17 2014-10-22 미쓰비시덴키 가부시키가이샤 워크 취출 장치
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5618908B2 (ja) 2011-05-31 2014-11-05 三菱電機株式会社 部品供給装置
JP5434991B2 (ja) 2011-09-01 2014-03-05 株式会社安川電機 ロボット
JP5623358B2 (ja) 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP5494597B2 (ja) * 2011-09-16 2014-05-14 株式会社安川電機 ロボットシステム
JP6004809B2 (ja) * 2012-03-13 2016-10-12 キヤノン株式会社 位置姿勢推定装置、情報処理装置、情報処理方法
JP5670397B2 (ja) * 2012-08-29 2015-02-18 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
KR102056664B1 (ko) * 2012-10-04 2019-12-17 한국전자통신연구원 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101522377A (zh) * 2006-10-20 2009-09-02 株式会社日立制作所 机械手
CN101295363A (zh) * 2007-04-23 2008-10-29 三菱电机株式会社 从距离图像确定物体姿势的方法和系统
CN101706968A (zh) * 2009-12-10 2010-05-12 江苏大学 基于图像的果树枝干三维模型重建方法

Also Published As

Publication number Publication date
KR20140037943A (ko) 2014-03-27
CN103687702A (zh) 2014-03-26
JPWO2013002099A1 (ja) 2015-02-23
JP5837065B2 (ja) 2015-12-24
DE112012002677T9 (de) 2014-07-03
DE112012002677T5 (de) 2014-04-17
DE112012002677B4 (de) 2018-12-06
US9469035B2 (en) 2016-10-18
KR101634463B1 (ko) 2016-06-28
WO2013002099A1 (ja) 2013-01-03
US20140147240A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
CN103687702B (zh) 部件供给装置
JP2018176334A (ja) 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
CN104936748B (zh) 徒手机器人路径教导
JP2012055999A (ja) 物体把持システム、物体把持方法、プログラム、およびロボットシステム
US20140121836A1 (en) Object pickup device and method for picking up object
JP6088563B2 (ja) 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
CN101088718A (zh) 机器人模拟装置
CN1699033A (zh) 物体取出系统
JP2018202550A (ja) 機械学習装置、機械学習方法、および機械学習プログラム
CN107206594A (zh) 教导设备、教导方法和机器人系统
KR20190055777A (ko) 로봇 제어 방법 및 장치
KR20130102080A (ko) 워크 취출 장치
JP2012024903A (ja) ワーク取出し装置およびワーク取出し方法
JP2008087074A (ja) ワーク取り出し装置
JP2012101320A (ja) 画像生成装置、画像生成方法、およびプログラム
EP2591888A1 (en) Assembling apparatus and method, and assembling operation program
Malik et al. Advances in machine vision for flexible feeding of assembly parts
CN107791246B (zh) 机器人模拟装置
JP2020082322A (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
CN111745639B (zh) 信息处理方法及装置、物体检测装置以及机器人系统
CN102179804A (zh) 3h型ccd视觉工业机器人
JP5458807B2 (ja) 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
CN112135719A (zh) 机器学习装置以及具备该机器学习装置的机器人系统
JP2018179859A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
TW201914782A (zh) 把持位置姿勢教導裝置、把持位置姿勢教導方法及機器人系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant