[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108353534B - 引脚前端位置图像识别方法及引脚前端位置图像识别系统 - Google Patents

引脚前端位置图像识别方法及引脚前端位置图像识别系统 Download PDF

Info

Publication number
CN108353534B
CN108353534B CN201580084427.7A CN201580084427A CN108353534B CN 108353534 B CN108353534 B CN 108353534B CN 201580084427 A CN201580084427 A CN 201580084427A CN 108353534 B CN108353534 B CN 108353534B
Authority
CN
China
Prior art keywords
pin
image
image recognition
tip
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580084427.7A
Other languages
English (en)
Other versions
CN108353534A (zh
Inventor
天野雅史
鬼头秀一郎
梅崎太造
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN108353534A publication Critical patent/CN108353534A/zh
Application granted granted Critical
Publication of CN108353534B publication Critical patent/CN108353534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

使保持于元件安装机(11)的安装头(13)的电子元件(12)向元件拍摄用的相机(18)的上方的拍摄位置移动，通过该相机从该电子元件的引脚(22)的前端的下方对该电子元件的引脚(22)的前端进行拍摄而取得引脚图像，将该引脚图像输入于由神经网络等构成的图像识别装置(25)并进行图像处理，从而输出该引脚的前端的中心位置。此时，每当发生了图像处理错误时，将发生了图像处理错误的引脚图像显示于显示装置(26)，作业者指定显示于该显示装置的引脚图像中的引脚的前端的中心位置并输入于图像识别装置。由此，图像识别装置以输入了发生了图像处理错误的引脚图像时的输出成为作业者所指定的引脚的前端的中心位置的方式进行学习。

Description

引脚前端位置图像识别方法及引脚前端位置图像识别系统
技术领域
本发明是涉及对由相机拍摄要向电路基板的通孔插入的电子元件的引脚的前端而取得的图像进行处理来识别该引脚的前端的中心位置的引脚前端位置图像识别方法及引脚前端位置图像识别系统的发明。
背景技术
在使用元件安装机(元件插入组装装置)将电子元件的引脚向电路基板的通孔插入的情况下，例如专利文献1(国际公开WO2013/183123号公报)所记载的那样，通过元件安装机的安装头的卡盘装置、吸嘴等保持电子元件并向电路基板的上方移动，将该电子元件的引脚的前端(下端)定位于电路基板的通孔的正上方并使该电子元件下降，从而将该电子元件的引脚插入于电路基板的通孔。此时，由于保持于安装头的电子元件的位置对应每个电子元件散乱地发生位置偏移，因此在使保持于安装头的电子元件向电路基板的上方移动之前向元件拍摄用的相机的上方的拍摄位置移动，由该相机从该电子元件的引脚的前端的下方对该电子元件的引脚的前端进行拍摄，使用通常的图案匹配对图像进行图像处理，从而在识别了该引脚的前端的中心位置之后，基于识别结果修正该电子元件的位置偏移，将该电子元件的引脚定位于电路基板的通孔的正上方。
现有技术文献
专利文献
专利文献1：国际公开WO2013/183123号公报
发明内容
发明所要解决的课题
另外，只要将电子元件的引脚的前端的形状稳定地成形为圆形状，则图像处理的难易度并不那么高，但是近年来的电子元件根据其用途而生成轴状的引脚(插入管脚)，由于其前端形成为被割切而成的剖切面，因此即使是正常的元件，引脚的前端形状也不稳定，即使是相同品种的电子元件，有时也如图4的(a)、图4的(b)所示的那样以在引脚的前端带有毛刺的方式显现、或者如图4的(c)、图4的(d)所示的那样以引脚的前端因散射光而模糊的方式显现(光晕)、或者如图4的(e)所示的那样以引脚的前端变形为椭圆状等的方式显现、或者如图4的(f)所示的那样以引脚的前端局部欠缺的方式显现、或者如图4的(g)、图4的(h)所示的那样以中空的方式显现。这样，即使是相同品种的电子元件，引脚的前端的形状也会因引脚的前端的剖切面的状态而显现为各种形状，因此即使使用以往的通常的图案匹配来对这些引脚图像进行图像处理，也难以精度良好地识别引脚的前端，存在有引脚的前端的中心位置的识别精度差这样的缺点。
因此，本发明要解决的课题在于，即使引脚的前端的形状不稳定也能够根据由相机对引脚的前端进行拍摄而取得的引脚图像精度良好地识别引脚的前端的中心位置。
用于解决课题的技术方案
为了解决上述课题，本发明为一种引脚前端位置图像识别方法，通过图像识别装置对由相机拍摄要向电路基板的通孔插入的电子元件的引脚的前端而取得的图像(以下称为“引脚图像”)进行处理，来识别该引脚的前端的中心位置，所述引脚前端位置图像识别方法的特征在于，包括以下步骤：学习步骤，作业者指定所述引脚图像中的引脚的前端的中心位置，以向所述图像识别装置输入了该引脚图像时的输出成为所述作业者所指定的该引脚的前端的中心位置的方式进行学习；及识别步骤，将通过所述相机拍摄所述电子元件的引脚的前端而取得的引脚图像输入于所述图像识别装置，并输出该引脚的前端的中心位置。如此一来，即使引脚的前端的形状不稳定，也能够通过学习步骤来学习作为输入的引脚图像中的引脚的前端的形状与作为输出的引脚的前端的中心位置之间的关系(教师数据)，从而根据输入的引脚图像精度良好地识别引脚的前端的中心位置。
在该情况下，也可以是，图像识别装置例如使用神经网络等机械学习系统而构成。
另外，也可以是，在所述识别步骤中，在发生了无法识别引脚图像中的引脚的前端的中心位置的图像处理错误时，切换为学习步骤，并以向图像识别装置输出了发生了所述图像处理错误的引脚图像时的输出成为作业者所指定的引脚的前端的中心位置的方式进行学习。这样，只要使用发生了图像处理错误的引脚图像来进行学习，则即使之后相同的引脚图像被输入于图像识别装置，也不会形成图像处理错误，能够精度良好地识别引脚的前端的中心位置，因此能够减少图像处理错误的产生频率并且提高引脚的前端的中心位置的识别精度。
另外，也可以是，在所述学习步骤中，对引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向图像识别装置输入了所述多个引脚图像中的各引脚图像时的输出成为作业者所指定的引脚的前端的中心位置的方式进行学习。如此一来，即使用于学习的引脚图像较少，也能够增加教师数据(“输入”和“正确的输出”的组合)，能够高效地进行学习，能够提高引脚的前端的中心位置的识别精度。
另外，也可以是，在通过元件拍摄用的相机从保持于元件安装机的安装头上的电子元件的下表面侧对该电子元件进行拍摄并对引脚的前端的中心位置进行图像识别的情况下，在基于图像识别装置的识别结果将保持于安装头上的电子元件的引脚定位并插入于电路基板的通孔的插入步骤中，在发生了无法将所述电子元件的引脚插入于所述电路基板的通孔的定位错误时，切换为学习步骤，并以向所述图像识别装置输入了发生了所述定位错误的引脚图像时的输出成为作业者所指定的引脚的前端的中心位置的方式进行学习。这样，只要使用发生了定位错误的引脚图像来进行学习，即可提高之后相同的引脚图像被输入于图像识别装置时的引脚的前端的中心位置的识别精度，能够减少定位错误的产生频率。
通常，由于教师数据的学习需要较高的计算能力，因此通过图像识别装置来进行教师数据的学习存在图像识别装置的计算能力不足的可能性。
因此，也可以是，将学习输入于图像识别装置的引脚图像与输出的引脚的前端的中心位置之间的关系(教师数据)的学习装置区别于图像识别装置地设置，将通过学习装置学习所得的结果向图像识别装置发送。如此一来，由于可以不通过图像识别装置来进行教师数据的学习，因此无需将图像识别装置的计算能力提高至与教师数据的学习对应的计算能力，并且通过学习装置和图像识别装置来分担而能够高效地进行教师数据的学习和引脚的前端的中心位置的识别。
本发明也可以是，若图像识别装置的计算能力较高，则通过图像识别装置来进行教师数据的学习与引脚的前端的中心位置的识别这两者。在该情况下，也可以是，将图像识别装置构成为能够在输入引脚图像并输出引脚的前端的中心位置的识别模式和学习教师数据的学习模式之间进行切换，并且具备在学习模式时供作业者指定引脚图像中的引脚的前端的中心位置的指定单元，所述图像识别装置以在学习模式时作业者通过所述指定单元所指定的引脚图像中的引脚的前端的中心位置成为输入了该引脚图像时的输出的方式进行学习。
附图说明
图1是表示本发明的实施例1的引脚前端位置图像识别系统的结构的框图。
图2是说明由相机拍摄电子元件的引脚的前端的步骤的图。
图3是说明将电子元件的引脚插入于电路基板的通孔的步骤的图。
图4的(a)～(h)是表示引脚的前端的形状被显现为各种形状的引脚图像的图。
图5是说明神经网络的结构例的图。
图6是表示将正采样的数据用作教师数据的情况下的神经网络的输入层与输出层的像素数据的影像的图。
图7是表示将负采样的数据用作教师数据的情况下的神经网络的输入层与输出层的像素数据的影像的图。
图8是说明通过光栅扫描来检测拍摄图像中的存在引脚的区域的方法的图。
图9是说明通过斑点分析来检测拍摄图像中的存在引脚的区域的方法的图。
图10是表示元件安装机控制程序的处理流程的流程图。
图11是表示学习处理程序的处理流程的流程图。
图12是表示本发明的实施例2的引脚前端位置图像识别系统的结构的框图。
具体实施方式
以下，说明将用于实施本发明的实施方式具体化所得的两个实施例1、实施例2。
实施例1
基于图1～图11说明本发明的实施例1。
首先，使用图1～图3说明元件安装机整体的结构。
在元件安装机11设有使保持电子元件12的安装头13移动的头移动装置14、供给电子元件12的元件供给装置15、搬运电路基板16的输送机17、从保持于安装头13的电子元件12的下表面侧对电子元件12进行拍摄的元件拍摄用的相机18及从上方拍摄电路基板16的基准标记等的标记拍摄用的相机19等。元件拍摄用的相机18朝上地固定于元件供给装置15与输送机17之间，在其上部安装有从保持于安装头13的电子元件12的下方对电子元件12进行照明的照明装置20。另一方面，标记拍摄用的相机19朝下地安装于安装头13，通过头移动装置14而与安装头13一体地移动。
元件安装机11的控制装置21由计算机等构成，控制如下动作：通过安装头13保持由元件供给装置15供给的电子元件12，并通过头移动装置14向电路基板16的上方移动，从而将该电子元件12的引脚22插入于该电路基板16的通孔23。
而且，元件安装机11的控制装置21构成为，也搭载有作为图像识别装置25的功能，在使保持于安装头13的电子元件12向电路基板16的上方移动之前向元件拍摄用的相机18的上方的拍摄位置移动，通过该相机18从该电子元件12的引脚22的前端(下端)的下方对该电子元件12的引脚22的前端(下端)进行拍摄而取得引脚图像，将该引脚图像输入于图像识别装置25，并输出该引脚22的前端的中心位置。此外，控制装置21与图像识别装置25既可以由不同的计算机构成，也可以由一台计算机构成。
该图像识别装置25构成为，使用神经网络、深度学习等机械学习系统而构成，在学习模式(学习步骤)中，使用有教师的学习(带教师的学习)，学习作为输入的引脚图像中的引脚22的前端的形状与作为输出的引脚22的前端的中心位置之间的关系(教师数据)，之后在识别模式(识别步骤)中，能够根据输入的引脚图像精度良好地识别引脚22的前端的中心位置。
在该情况下，教师数据的学习也可以在生产开始前进行，但是在本实施例1中，每当发生了图像处理错误、定位错误时，便进行教师数据的学习。在此，“图像处理错误”是指在识别步骤中未成功地识别引脚图像中的引脚22的前端的中心位置的错误，“定位错误”是指在将保持于安装头13的电子元件12的引脚22定位并插入于电路基板16的通孔23的插入步骤中未成功地将电子元件12的引脚22插入于电路基板16的通孔23的错误。
在教师数据的学习法中，将发生了图像处理错误、定位错误的引脚图像显示于液晶显示器、CRT等显示装置26，作业者一边观看显示于该显示装置26的引脚图像，一边操作键盘、鼠标、触摸面板等操作部27(指定单元)来指定引脚图像中的引脚22的前端的中心位置并向图像识别装置25输入。由此，图像识别装置25以输入了发生了图像处理错误、定位错误的引脚图像时的输出成为作业者所指定的引脚22的前端的中心位置的方式进行学习。
此时，也可以对引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向图像识别装置25输入了所述多个引脚图像中的各引脚图像时的输出成为作业者所指定的引脚22的前端的中心位置的方式进行学习。如此一来，即使用于学习的引脚图像较少，也能够增加教师数据(“输入”与“正确的输出”的组合)，能够高效地进行学习，能够提高引脚22的前端的中心位置的识别精度。
例如，由于在引脚22的前端产生有毛刺的方向是多样的，因此只要使存在毛刺的引脚图像每次旋转预定角度，生成旋转角度每次相差预定角度的多个引脚图像并进行学习，则无论毛刺产生于哪个方向，均能够根据引脚图像精度良好地识别引脚22的前端的中心位置。
在使用图5所示的神经网络构成图像识别装置25的情况下，信号向输入层、中间层(隐藏层)、输出层流动。中间层既可以是一层，也可以是两层以上。神经网络是指通过突触的结合而形成网络的各层的神经原(节点)通过学习使权重(突触的结合强度)变化而具有问题解决能力这样的模型整体。在神经网络中，中间层与输出层的各神经原接收来自前一层的各神经原的刺激，该刺激被加权并相加，并向下一层的神经原交接。在此，重要的是权重，通过以在教师数据的学习过程中使权重变化而输出最佳值的方式进行调整，即使对于“未知的输入”也能够以高精度获得“正确的输出”。
在本实施例1中，向输入层输入例如80[pixel]×80[pixel]的引脚图像，在输出层中，输出所输入的引脚图像的80[pixel]×80[pixel]的何处为引脚22的前端的中心位置。为了易于图示，图6示出10[pixel]×10[pixel]的输入与输出的一个例子。
为了提高引脚22的前端的中心位置的识别精度，使输出层大于输入层即可。例如，若输入层为80[pixel]×80[pixel]，则将输出层设计为160[pixel]×160[pixel]、320[pixel]×320[pixel]即可。由此，能够对于输入图像进行基于子像素等级的位置识别。
作为教师数据，不仅是作为图6所示那样的正采样的引脚图像的输入输出，也可以追加作为图7所示那样的负采样的引脚22以外的部分的输入输出，防止引脚22的误检测。
教师数据的学习既可以对应电子元件12的每个品种来进行学习、存储，也可以共用多个品种来进行学习、存储。
在引脚22的定位处理中，也可以如图8所示，通过光栅扫描等依次探索相对于拍摄图像而与神经网络的输入层相当的处理范围，从而检测拍摄图像中的存在引脚22的区域并施加到神经网络的输入层。
或者，也可以取代光栅扫描而使用斑点分析等。例如，也可以通过对拍摄图像进行二值化处理并进行斑点分析等，如图9所示，检测拍摄图像中的具有存在引脚22的可能性的候补区域，并施加到神经网络的输入层。在斑点分析等中检测引脚22以外的部分、或者即使检测引脚22位置检测精度也较低，但是通过后处理的神经网络能够以较高的位置检测精度仅检测引脚22。
元件安装机11的控制装置21与图像识别装置25共同地执行图10及图11的各程序，由此控制通过元件安装机11的安装头13保持由元件供给装置15供给的电子元件12、对该电子元件12的引脚22的前端的中心位置进行图像识别并将该电子元件12的引脚22插入于电路基板16的通孔23的动作，并且每当发生了图像处理错误、定位错误时进行教师数据的学习。以下，说明图10及图11的各程序的处理内容。
[元件安装机控制程序]
图10的元件安装机控制程序是对保持由元件供给装置15供给的电子元件12并将该电子元件12的引脚22插入于电路基板16的通孔23为止的动作进行控制的程序，在开始该电子元件12的保持动作的时机下被起动。当本程序被起动时，首先，在步骤101中，通过元件安装机11的安装头13保持由元件供给装置15供给的电子元件12，并向元件拍摄用的相机18的上方的拍摄位置移动。此后，进入步骤102，通过该相机18从该电子元件12的引脚22的前端(下端)的下方对该电子元件12的引脚22的前端(下端)进行拍摄，从而取得引脚图像。
此后，进入步骤103，执行将引脚图像输入于图像识别装置25并输出该引脚22的前端的中心位置的图像处理。然后，进入步骤104，判定是否发生了图像处理错误(是否未成功地识别引脚图像中的引脚22的前端的中心位置)。其结果是，若判定为发生了图像处理错误，则进入步骤107，执行图11的学习处理程序。
另一方面，若在上述步骤104中判定为未发生图像处理错误，则进入步骤105，使保持于元件安装机11的安装头13的电子元件12向电路基板16的上方移动，基于从图像识别装置25输出的引脚22的前端的中心位置，修正该电子元件12的位置偏移，将该电子元件12的引脚22定位于电路基板16的通孔23的正上方，之后，使该安装头13下降，将该电子元件12的引脚22插入于电路基板16的通孔23。
此后，进入步骤106，判定是否发生了定位错误(是否未成功地将电子元件12的引脚22插入于电路基板16的通孔23)，若未发生定位错误，则结束本程序，但是若发生了定位错误，则进入步骤107，执行图11的学习处理程序。
[学习处理程序]
图11的学习处理程序是当发生了图像处理错误、定位错误时在所述图10的步骤107中所执行的程序。当本程序被起动时，首先，在步骤201中，将发生了图像处理错误、定位错误的引脚图像显示于液晶显示装置26，在接下来的步骤202中，进行待机，直至作业者一边观看显示于该显示装置26的引脚图像一边操作操作部27而指定引脚图像中的引脚22的前端的中心位置为止。
之后，作业者在指定了引脚图像中的引脚22的前端的中心位置的时刻下进入步骤203，以向图像识别装置25输入了发生了图像处理错误、定位错误的引脚图像时的输出成为作业者所指定的引脚22的前端的中心位置的方式进行学习。该学习处理既可以通过图像识别装置25自身来进行，也可以通过元件安装机11的控制装置21来进行。在后者的情况下，将通过元件安装机11的控制装置21进行学习所得的结果(权重)向图像识别装置25发送。
根据以上说明的本实施例1，即使电子元件12的引脚22的前端的形状不稳定，也能够学习作为图像识别装置25的输入的引脚图像中的引脚22的前端的形状与作为输出的引脚22的前端的中心位置之间的关系(教师数据)，并根据输入的引脚图像精度良好地识别引脚22的前端的中心位置。
而且，在本实施例1中，当发生了无法识别引脚图像中的引脚22的前端的中心位置的图像处理错误时，以向图像识别装置25输入了发生了图像处理错误的引脚图像时的输出成为作业者所指定的引脚的前端的中心位置的方式进行学习，因此之后，即使相同的引脚图像被输入于图像识别装置25，也不会成为图像处理错误，能够精度良好地识别引脚22的前端的中心位置。由此，能够减少图像处理错误的产生频率，并且提高引脚22的前端的中心位置的识别精度。
而且，在本实施例1中，当发生了无法将引脚22插入于电路基板16的通孔23的定位错误时，以向图像识别装置25输入了发生了定位错误的引脚图像时的输出成为作业者所指定的引脚22的前端的中心位置的方式进行学习，因此之后，能够提高相同的引脚图像被输入于图像识别装置25时的引脚22的前端的中心位置的识别精度，能够减少定位错误的产生频率。
实施例2
在上述实施例1中，元件安装机11的控制装置21、图像识别装置25的计算能力具有富余量，因此通过元件安装机11的控制装置21、图像识别装置25进行教师数据的学习与引脚22的前端的中心位置的识别这两者，但是通常，由于教师数据的学习需要较高的计算能力，因此通过元件安装机11的控制装置21、图像识别装置25进行教师数据的学习存在计算能力不足的可能性。
因此，在本发明的实施例2中，如图12所示，除了元件安装机11以外，还设置具有较高的计算能力的学习装置31，并通过网络将该学习装置31与元件安装机11连接，通过该学习装置31学习输入于元件安装机11的图像识别装置26的引脚图像与输出的引脚22的前端的中心位置之间的关系(教师数据)，将该学习结果(权重)向元件安装机11的图像识别装置25发送。
在该情况下，学习装置31既可以使用管理包括元件安装机11在内的生产线的生产管理用计算机而构成，也可以重新设置用于学习的计算机。另外，学习装置31也可以通过网络与多个元件安装机11连接，并通过一台学习装置31来进行多个元件安装机11中的教师数据的学习。
另外，教师数据(引脚图像与作业者所指定的引脚22的前端的中心位置)既可以由元件安装机11生成并向学习装置31发送，也可以仅将引脚图像向学习装置31发送，并在学习装置31的显示画面显示引脚图像，作业者指定显示于该学习装置31的显示画面的引脚图像中的引脚22的前端的中心位置。
此外，教师数据、学习结果也可以预先保存于生产线的服务器、元件安装机11的存储装置，并将学习结果向生产线的其它元件安装机11发送、或者向教师数据追加新的引脚图像而用于再学习。
本发明并不局限于上述实施例1、实施例2，例如，作为输入的引脚图像的数据，也可以使用引脚22的边缘信息(轮廓分界线、边缘倾斜等)等，另外，元件安装机11的制造公司的职员也可以使用公司内的学习装置来学习教师数据，并将该学习结果(权重)向元件安装机11的使用者供给等，能够在不脱离主旨的范围内进行各种变更并实施，这是不言而喻的。
附图标记说明
11…元件安装机
12…电子元件
13…安装头
15…元件供给装置
16…电路基板
18…元件拍摄用的相机
21…元件安装机的控制装置
22…引脚
23…通孔
25…图像识别装置
26…显示装置
27…操作部(指定单元)
31…学习装置

Claims (19)

1.一种引脚前端位置图像识别方法，通过图像识别装置对由相机拍摄要向电路基板的通孔插入的电子元件的引脚的前端而取得的图像进行处理，来识别该引脚的前端的中心位置，以下将该图像称为引脚图像，
所述引脚前端位置图像识别方法的特征在于，包括以下步骤：
学习步骤，作业者指定所述引脚图像中的引脚的前端的中心位置，以向所述图像识别装置输入了该引脚图像时的输出成为所述作业者所指定的该引脚的前端的中心位置的方式进行学习；及
识别步骤，将通过所述相机拍摄所述电子元件的引脚的前端而取得的引脚图像输入于所述图像识别装置，并输出该引脚的前端的中心位置。
2.根据权利要求1所述的引脚前端位置图像识别方法，其特征在于，
所述图像识别装置使用神经网络而构成。
3.根据权利要求1所述的引脚前端位置图像识别方法，其特征在于，
在所述识别步骤中，在发生了无法识别所述引脚的前端的中心位置的图像处理错误时，切换为所述学习步骤，并以向所述图像识别装置输入了发生了所述图像处理错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
4.根据权利要求2所述的引脚前端位置图像识别方法，其特征在于，
在所述识别步骤中，在发生了无法识别所述引脚的前端的中心位置的图像处理错误时，切换为所述学习步骤，并以向所述图像识别装置输入了发生了所述图像处理错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
5.根据权利要求1所述的引脚前端位置图像识别方法，其特征在于，
在所述学习步骤中，对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向所述图像识别装置输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
6.根据权利要求2所述的引脚前端位置图像识别方法，其特征在于，
在所述学习步骤中，对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向所述图像识别装置输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
7.根据权利要求3所述的引脚前端位置图像识别方法，其特征在于，
在所述学习步骤中，对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向所述图像识别装置输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
8.根据权利要求4所述的引脚前端位置图像识别方法，其特征在于，
在所述学习步骤中，对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以向所述图像识别装置输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
9.根据权利要求1～8中任一项所述的引脚前端位置图像识别方法，其特征在于，
所述相机是从保持于元件安装机的安装头上的电子元件的下表面侧对该电子元件进行拍摄的元件拍摄用的相机，
在基于所述图像识别装置的识别结果将保持于所述安装头上的电子元件的引脚定位并插入于电路基板的通孔的插入步骤中，在发生了无法将所述电子元件的引脚插入于所述电路基板的通孔的定位错误时，切换为所述学习步骤，并以向所述图像识别装置输入了发生了所述定位错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
10.一种引脚前端位置图像识别系统，通过图像识别装置对由相机拍摄要向电路基板的通孔插入的电子元件的引脚的前端而取得的图像进行处理，来识别该引脚的前端的中心位置，以下将该图像称为引脚图像，
所述引脚前端位置图像识别系统的特征在于，
所述图像识别装置构成为，输入所述引脚图像并输出所述引脚的前端的中心位置，
所述引脚前端位置图像识别系统具备：
学习装置，学习输入于所述图像识别装置的所述引脚图像与输出的所述引脚的前端的中心位置之间的关系，并将学习结果发送到所述图像识别装置；及
指定单元，供作业者指定所述引脚图像中的引脚的前端的中心位置，
所述学习装置以所述作业者通过所述指定单元所指定的所述引脚图像中的引脚的前端的中心位置成为向所述图像识别装置输入了该引脚图像时的输出的方式进行学习。
11.一种引脚前端位置图像识别系统，通过图像识别装置对由相机拍摄要向电路基板的通孔插入的电子元件的引脚的前端而取得的图像进行处理，来识别该引脚的前端的中心位置，以下将该图像称为引脚图像，
所述引脚前端位置图像识别系统的特征在于，
所述图像识别装置能够在识别模式与学习模式之间进行切换，所述识别模式是输入所述引脚图像并输出所述引脚的前端的中心位置的模式，所述学习模式是学习输入的所述引脚图像与输出的所述引脚的前端的中心位置之间的关系的模式，
所述引脚前端位置图像识别系统具备指定单元，所述指定单元在所述学习模式时供作业者指定所述引脚图像中的引脚的前端的中心位置，
所述图像识别装置以在所述学习模式时所述作业者通过所述指定单元所指定的所述引脚图像中的引脚的前端的中心位置成为输入了该引脚图像时的输出的方式进行学习。
12.根据权利要求11所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置使用神经网络而构成。
13.根据权利要求11所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述识别模式下发生了无法识别所述引脚图像中的引脚的前端的中心位置的图像处理错误时，切换为所述学习模式，并以输入了发生了所述图像处理错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
14.根据权利要求12所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述识别模式下发生了无法识别所述引脚图像中的引脚的前端的中心位置的图像处理错误时，切换为所述学习模式，并以输入了发生了所述图像处理错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
15.根据权利要求11所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述学习模式下对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
16.根据权利要求12所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述学习模式下对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
17.根据权利要求13所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述学习模式下对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
18.根据权利要求14所述的引脚前端位置图像识别系统，其特征在于，
所述图像识别装置在所述学习模式下对所述引脚图像实施旋转、映射、亮度变化及形状变化中的至少一种处理而生成多个引脚图像，并以输入了所述多个引脚图像中的各引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
19.根据权利要求11～18中任一项所述的引脚前端位置图像识别系统，其特征在于，
所述引脚前端位置图像识别系统搭载于元件安装机，
所述相机是从保持于所述元件安装机的安装头上的电子元件的下表面侧对该电子元件进行拍摄的元件拍摄用的相机，
在基于所述图像识别装置的识别结果将保持于所述安装头上的电子元件的引脚定位并插入于电路基板的通孔的插入步骤中，在发生了无法将所述电子元件的引脚插入于所述电路基板的通孔的定位错误时，所述图像识别装置切换为所述学习模式，并以输入了发生了所述定位错误的所述引脚图像时的输出成为所述作业者所指定的所述引脚的前端的中心位置的方式进行学习。
CN201580084427.7A 2015-11-09 2015-11-09 引脚前端位置图像识别方法及引脚前端位置图像识别系统 Active CN108353534B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081520 WO2017081736A1 (ja) 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム

Publications (2)

Publication Number Publication Date
CN108353534A CN108353534A (zh) 2018-07-31
CN108353534B true CN108353534B (zh) 2020-11-24

Family

ID=58694960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580084427.7A Active CN108353534B (zh) 2015-11-09 2015-11-09 引脚前端位置图像识别方法及引脚前端位置图像识别系统

Country Status (5)

Country Link
US (1) US10380457B2 (zh)
EP (1) EP3376843B1 (zh)
JP (1) JP6727228B2 (zh)
CN (1) CN108353534B (zh)
WO (1) WO2017081736A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824137B2 (en) * 2017-06-19 2020-11-03 Panasonic Intellectual Property Management Co., Ltd. Mounting board manufacturing system
US11386546B2 (en) * 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP6917324B2 (ja) * 2018-03-09 2021-08-11 Kddi株式会社 マルチコア光ファイバの調心装置
WO2020012628A1 (ja) * 2018-07-13 2020-01-16 株式会社Ｆｕｊｉ 異物検出方法および電子部品装着装置
JP7089050B2 (ja) * 2018-10-23 2022-06-21 株式会社Fuji 部品データ作成方法及び部品実装機
JP7535735B2 (ja) * 2019-03-28 2024-08-19 パナソニックＩｐマネジメント株式会社 生産データ作成装置および生産データ作成方法
CN111862196A (zh) * 2019-04-30 2020-10-30 瑞典爱立信有限公司 检测平板物体的通孔的方法、装置和计算机可读存储介质
CN110381721B (zh) * 2019-07-16 2020-07-31 深圳市中禾旭精密机械有限公司 一种卧式智能全自动高速插装系统
JP7382575B2 (ja) * 2019-11-05 2023-11-17 パナソニックＩｐマネジメント株式会社 実装条件推定装置、学習装置、実装条件推定方法、およびプログラム
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4728195A (en) * 1986-03-19 1988-03-01 Cognex Corporation Method for imaging printed circuit board component leads
US5058177A (en) * 1988-01-04 1991-10-15 Motorola, Inc. Method for inspection of protruding features
JPH0545123A (ja) * 1991-08-20 1993-02-23 Matsushita Electric Ind Co Ltd リード先端位置検出装置
US5208463A (en) * 1990-08-24 1993-05-04 Hitachi, Ltd. Method and apparatus for detecting deformations of leads of semiconductor device
JPH08148893A (ja) * 1994-11-16 1996-06-07 Sony Corp 部品挿入装置
JP2004172221A (ja) * 2002-11-18 2004-06-17 Yamagata Casio Co Ltd 部品搭載装置、部品搭載方法、及びそのプログラム
CN1705427A (zh) * 2004-05-31 2005-12-07 株式会社日立高新技术仪器 电子部件安装装置及电子部件安装方法
CN103249295A (zh) * 2012-02-08 2013-08-14 Juki株式会社 电子部件安装方法、电子部件安装装置以及电子部件安装系统
CN104640432A (zh) * 2013-11-13 2015-05-20 松下知识产权经营株式会社 安装电子元件的设备和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103700A (ja) * 1983-11-11 1985-06-07 株式会社日立製作所 部品の位置決め装置
US4813255A (en) * 1986-02-21 1989-03-21 Hewlett-Packard Company System for sensing and forming objects such as leads of electronic components
US5119436A (en) * 1990-09-24 1992-06-02 Kulicke And Soffa Industries, Inc Method of centering bond positions
JPH08234226A (ja) * 1995-02-28 1996-09-13 Toshiba Corp 液晶基板製造用画像処理装置
US6289492B1 (en) * 1998-12-18 2001-09-11 Cognex Corporation Methods and apparatuses for defining a region on an elongated object
JP4077228B2 (ja) * 2002-03-29 2008-04-16 株式会社日立ハイテクインスツルメンツ 電子部品装着装置
WO2004092903A2 (en) * 2003-04-09 2004-10-28 Discovery Partners International Spot finding algorithm using image recognition software
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP5798371B2 (ja) 2011-05-09 2015-10-21 富士機械製造株式会社 基準マークモデルテンプレート作成方法
EP2861049B1 (en) 2012-06-06 2019-01-09 FUJI Corporation Component insertion assembly device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4728195A (en) * 1986-03-19 1988-03-01 Cognex Corporation Method for imaging printed circuit board component leads
US5058177A (en) * 1988-01-04 1991-10-15 Motorola, Inc. Method for inspection of protruding features
US5208463A (en) * 1990-08-24 1993-05-04 Hitachi, Ltd. Method and apparatus for detecting deformations of leads of semiconductor device
JPH0545123A (ja) * 1991-08-20 1993-02-23 Matsushita Electric Ind Co Ltd リード先端位置検出装置
JPH08148893A (ja) * 1994-11-16 1996-06-07 Sony Corp 部品挿入装置
JP2004172221A (ja) * 2002-11-18 2004-06-17 Yamagata Casio Co Ltd 部品搭載装置、部品搭載方法、及びそのプログラム
CN1705427A (zh) * 2004-05-31 2005-12-07 株式会社日立高新技术仪器 电子部件安装装置及电子部件安装方法
CN103249295A (zh) * 2012-02-08 2013-08-14 Juki株式会社 电子部件安装方法、电子部件安装装置以及电子部件安装系统
CN104640432A (zh) * 2013-11-13 2015-05-20 松下知识产权经营株式会社 安装电子元件的设备和方法

Also Published As

Publication number Publication date
CN108353534A (zh) 2018-07-31
WO2017081736A1 (ja) 2017-05-18
JPWO2017081736A1 (ja) 2018-08-23
US10380457B2 (en) 2019-08-13
JP6727228B2 (ja) 2020-07-22
US20180314918A1 (en) 2018-11-01
EP3376843B1 (en) 2024-11-13
EP3376843A4 (en) 2019-02-13
EP3376843A1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
CN108353534B (zh) 引脚前端位置图像识别方法及引脚前端位置图像识别系统
JP6608682B2 (ja) 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
CN105849774B (zh) 图像对照装置、图像传感器、处理系统、图像对照方法
EP3751976B1 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
US20210073973A1 (en) Method and apparatus for component fault detection based on image
JP2012234488A (ja) 基準マークモデルテンプレート作成方法
CN111199533B (zh) 图像处理装置
JP5960433B2 (ja) 画像処理装置及び画像処理方法
KR102099112B1 (ko) 부품 정보 티칭 방법
CN107535090B (zh) 元件方向判定数据生成装置及元件方向判定数据生成方法
WO2008124392A1 (en) 2d/3d inspection method and system
JPWO2017072908A1 (ja) 基板位置検索装置、および部品実装機
KR102177329B1 (ko) 피듀셜 마크 인식 방법
JP6418739B2 (ja) 評価装置、表面実装機、評価方法
JP4744234B2 (ja) 部品の位置決め方法及び装置
JP2009175800A (ja) 文字認識装置、そのような装置を備えた燃料ポンプモジュールの組み付け装置及び文字認識方法
JP4681984B2 (ja) 部品の位置決め方法及び装置
JP3720476B2 (ja) 部品検出方法
CN109844805B (zh) 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
WO2022009399A1 (ja) 画像処理装置および画像処理方法
CN117715302A (zh) 元器件的配参方法、配参装置、配参设备及存储介质
JP4642648B2 (ja) 実装装置に搭載される部品の画像処理方法及び装置
JP2006234793A (ja) 部品位置検出方法および装置
JP2007324190A (ja) 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant