[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7384916B2 - 情報処理装置及び実装装置 - Google Patents

情報処理装置及び実装装置 Download PDF

Info

Publication number
JP7384916B2
JP7384916B2 JP2021548024A JP2021548024A JP7384916B2 JP 7384916 B2 JP7384916 B2 JP 7384916B2 JP 2021548024 A JP2021548024 A JP 2021548024A JP 2021548024 A JP2021548024 A JP 2021548024A JP 7384916 B2 JP7384916 B2 JP 7384916B2
Authority
JP
Japan
Prior art keywords
component
outer edge
information processing
detection
mounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548024A
Other languages
English (en)
Other versions
JPWO2021059374A1 (ja
Inventor
恵市 小野
秀一郎 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2021059374A1 publication Critical patent/JPWO2021059374A1/ja
Application granted granted Critical
Publication of JP7384916B2 publication Critical patent/JP7384916B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本明細書で開示する発明は、情報処理装置、実装装置及び情報処理方法に関する。
従来、情報処理装置としては、例えば、サーチ対象画像中に含まれる登録画像に対応する初期位置を取得し、初期位置に従って、パターンモデルの対応点探索ラインをサーチ対象画像上に重ねるように配置し、サーチ対象画像上の対応点探索ラインに沿った位置におけるエッジ強度及びエッジ角度を用いて、各対応点探索ラインについて、各基点と対応するサーチ対象画像上の対応点を求め、各々基点と基点の対応点との評価値の累積値が最小又は最大となるように、与えられた初期位置の精度よりも高い精度で精密位置決めを行うものが提案されている(例えば、特許文献1参照)。
特開2010-67247号公報
しかしながら、上述した特許文献1の装置では、例えば部品の外縁部の位置であるエッジ候補が複数検出されてしまう場合は、考慮されておらず、このような場合は、正確なエッジ検出を行うことができないことがあった。即ち、情報処理装置において、部材の外縁部の位置の検出をより確実に行うことが求められていた。
本開示は、このような課題に鑑みなされたものであり、部品に関する外縁部の位置をより確実に検出することができる情報処理装置、実装装置及び情報処理方法を提供することを主目的とする。
本明細書で開示する情報処理装置、実装装置及び情報処理方法は、上述の主目的を達成するために以下の手段を採った。
本明細書で開示する情報処理装置は、
部品を採取して基板に配置する実装装置に用いられる情報処理装置であって、
前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定し、複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する1以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求め、求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定する制御部、
を備えたものである。
この情報処理装置では、部品を含む撮像画像に対し部品の輝度差を検出する検出ラインを部品に複数設定し、複数の検出ラインから外縁部の基準位置を求め、この基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用いて検出ライン上に存在する1以上の外縁部の候補に対し前記重み係数を加味した候補値を求める。そして、求めた候補値に基づいて検出ライン上に存在する外縁部の位置を選定する。この情報処理装置では、多数の部品外縁部の候補が存在するような場合でも、複数の検出ラインから求めた基準位置に基づいて重み係数を加味してその検出ラインの外縁部の位置を選定する。このため、正当な位置から外れて検出される候補が一部に存在しても、部品に関する外縁部の位置をより確実に検出することができる。ここで「基準位置から離れるほど重みが低くなる傾向」とは、基準位置から離れても重みが低くならない部分が一部存在することを許容し、全体としてみれば基準位置から離れるほど重みが低くなっていることを表す趣旨である。また、制御部は、部品の領域と部品の領域外とを跨ぐ検出ラインを設定して部品自体の外縁部の位置を選定してもよいし、部品が有する特定部位(例えば、端子など)と他の部位(例えば本体など)とを跨ぐ検出ラインを設定して部品の特定部位の外縁部の位置を選定してもよい。また、同様に、「部品に関する外縁部の位置」とは、部品全体の外縁部としてもよいし、部品の特定部位の外縁部としてもよい。
実装システム10の一例を示す概略説明図。 実装ヘッド22に採取された部品Pの説明図。 実装処理ルーチンの一例を表すフローチャート。 外縁部検出処理ルーチンの一例を表すフローチャート。 部品Pの外縁部41~44に検出ライン45を設定する説明図。 検出ライン位置と輝度値及びその微分値の関係図。 エッジ候補位置と重み係数との関係図。 部品Pを撮像した撮像写真の説明図。 エッジ候補に重み係数を加味する説明図。 別の部品PBを撮像した部品画像40Bの説明図。 別のエッジ候補位置と重み係数との関係図。 部品PCの特定部位Psの外縁部を検出する部品画像40Cの説明図。
本実施形態を図面を参照しながら以下に説明する。図1は、本開示である実装システム10の一例を示す概略説明図である。図2は、実装ヘッド22に採取された部品Pの説明図である。実装システム10は、例えば、部品Pを基板Sに実装する処理に関する実装処理を実行するシステムである。この実装システム10は、実装装置11と、管理コンピュータ(PC)35とを備えている。実装システム10は、複数の実装装置11が上流から下流に配置された実装ラインとして構成されている。図1では、説明の便宜のため実装装置11を1台のみ示している。なお、本実施形態において、左右方向(X軸)、前後方向(Y軸)及び上下方向(Z軸)は、図1に示した通りとする。
実装装置11は、図1に示すように、基板処理部12と、部品供給部14と、パーツカメラ16と、実装部20と、制御装置30とを備えている。基板処理部12は、基板Sの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板処理部12は、図1の前後に間隔を開けて設けられ左右方向に架け渡された1対のコンベアベルトを有している。基板Sはこのコンベアベルトにより搬送される。
部品供給部14は、リールを備えた複数のフィーダやトレイユニットを有し、実装装置11の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、複数の部品Pがテープの長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル23で吸着される採取位置にフィーダ部により送り出される。トレイユニットは、部品を複数配列して載置するトレイを有し、所定の採取位置へこのトレイを出し入れする。
パーツカメラ16は、画像を撮像する撮像部であり、実装ヘッド22に採取され保持された1以上の部品Pを撮像するユニットである。このパーツカメラ16は、部品供給部14と基板処理部12との間に配置されている。このパーツカメラ16の撮像範囲は、パーツカメラ16の上方である。パーツカメラ16は、部品Pを保持した実装ヘッド22がパーツカメラ16の上方を通過する際、その画像を撮像し、撮像画像データを制御装置30へ出力する。
実装部20は、部品Pを部品供給部14から採取し、基板処理部12に固定された基板Sへ配置するユニットである。実装部20は、ヘッド移動部21と、実装ヘッド22と、吸着ノズル23とを備えている。ヘッド移動部21は、ガイドレールに導かれてXY方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド22は、スライダに取り外し可能に装着されており、ヘッド移動部21によりXY方向へ移動する。実装ヘッド22は、その下面側に1以上の吸着ノズル23(例えば、16個や8個、4個など)が取り外し可能に装着されており、複数の部品Pを1度に採取可能である。吸着ノズル23は、負圧を利用して部品を採取する採取部材である。なお、採取部材は、部品Pを把持するメカニカルチャックとしてもよい。この実装ヘッド22(又はスライダ)の下面側には、マークカメラ24が配設されている。マークカメラ24は、例えば、基板Sや部品Pなどを上方から撮像可能な撮像装置である。マークカメラ24は、実装ヘッド22の移動に伴ってXY方向へ移動する。このマークカメラ24は、下方が撮像領域であり、基板Sに付された基板Sの位置把握に用いられる基準マークを撮像し、その画像を制御装置30へ出力する。
ここで、実装ヘッド22が採取する部品Pについて説明する。図2は、部品Pを採取した実装ヘッド22を下方から見たときの一例を示す説明図である。図2では、実装ヘッド22は、4つのノズル23を備えた例を示した。また、図2では、部品Pの正常位置を点線でを示した。部品Pは、例えば、図2に示すように、外縁部(エッジとも称する)を含む第1領域P1とこの第1領域P1と異なる輝度値である第2領域P2とを含むものとしてもよい。この部品Pは、本体が第1領域P1であり、端子が第2領域P2である。この部品Pは、実装ヘッド22に採取される際に、正常位置に対してXY座標方向の位置ずれが生じる場合や(部品Pa)、正常位置に対して回転して傾きを生じた回転ずれが生じる場合がある(部品Pb)。制御装置30では、このような部品Pの採取状態の変化を検出し、そのずれを補正して部品Pを基板Sへ配置する。
制御装置30は、図1に示すように、CPU31を中心とするマイクロプロセッサとして構成されており、各種データを記憶する記憶部32などを備えている。制御装置30は、部品Pの外縁部の位置を検出する情報処理装置の機能を備えている。この制御装置30は、基板処理部12や、部品供給部14、パーツカメラ16、実装部20へ制御信号を出力し、実装部20や部品供給部14、パーツカメラ16からの信号を入力する。記憶部32には、部品Pを基板Sへ実装する実装順や部品Pの配置位置、部品Pを採取可能な吸着ノズル23の種別などを含む実装条件情報が記憶されている。
管理PC35は、実装システム10の各装置の情報を管理するコンピュータである。管理PC35は、制御部と、記憶部と、ディスプレイと、入力装置とを備えている。制御部は、CPUを中心とするマイクロプロセッサとして構成されている。記憶部には、実装システム10の生産を管理する情報のほか、実装条件情報などが記憶されている。
次に、こうして構成された本実施形態の実装システム10の動作、まず、実装装置11での実装処理について説明する。まず実装装置11が部品Pを基板Sへ実装する処理について説明する。図3は、実装装置11の実装制御部30のCPU31により実行される実装処理ルーチンの一例を示すフローチャートである。このルーチンは、実装装置11の記憶部32に記憶され、作業者による開始指示により実行される。このルーチンを開始すると、CPU31は、今回生産する基板Sの実装条件情報を読み出して取得し(S100)、基板処理部12によって基板Sを実装位置まで搬送させ、固定処理させる(S110)。次に、CPU31は、採取する対象の部品を実装条件情報に基づいて設定し(S120)、予め設定された位置のフィーダから部品Pを実装ヘッド22に採取させ、パーツカメラ16の上方へ移動させる(S130)。
次に、CPU31は、実装部20が採取した状態の部品Pをパーツカメラ16に撮像処理させ(S140)、部品Pの外縁部(エッジ)を検出する部品外縁部検出処理を実行する(S150)。続いて、CPU31は、部品外縁部検出処理によって検出された部品Pの外縁部の位置に基づいて、位置ずれ及び/又は回転ずれを補正するずれ補正値を設定し(S160)、ずれ補正値を用いて部品Pのずれを補正して部品Pを基板Sへ配置する(S170)。そして、CPU31は、現在、実装位置に固定されている基板Sの実装処理が完了したか否かを判定し(S180)、実装処理が完了していないときには、S120以降の処理を実行する。即ち、CPU31は、次に採取、配置する部品Pを設定し、この部品Pを実装部20に採取させ、部品Pの外縁部をより正確に検出しつつ、部品Pのずれを補正し、部品Pを基板Sへ配置する処理を繰り返し実行する。一方、S180で、現在、実装位置に固定されている基板Sの実装処理が完了したときには、CPU31は、実装完了した基板Sを基板処理部12により排出させ(S190)、実装条件情報に設定されているすべての基板Sの生産が完了したか否かを判定する(S200)。すべての基板Sの生産が完了していないときには、CPU31は、S110以降の処理を実行する一方、すべての基板Sの生産が完了したときには、このルーチンを終了する。
次に、S150での部品外縁部検出処理について説明する。図4は、制御装置30のCPU31により実行される部品外縁部検出処理ルーチンの一例を表すフローチャートである。このルーチンは、記憶部32に記憶され、実装処理ルーチンのS150で実行される。このルーチンを開始すると、CPU31は、まず、パーツカメラ16で撮像した撮像画像を取得し(S300)、撮像画像に含まれる部品の概略位置を検出し(S310)、検出ラインの位置を設定する(S320)。
図5は、部品Pの外縁部41~44に検出ライン45を設定する説明図であり、図5Aが部品画像40の説明図、図5Bが部品画像40に検出ライン45を設定した説明図である。CPU31は、部品画像40に含まれる部品Pの大まかな領域を輝度値の差分などに基づいて検出し、この部品Pの領域と部品Pの領域外とを跨ぎ輝度差を検出するための検出ライン45を部品Pの外縁部41~44に複数設定する。この制御装置30では、部品Pの第1の辺を外縁部41とし、第2の辺を外縁部42とし、第3の辺を外縁部43とし、第4の辺を外縁部44とし、外縁部41,42には左3本、右3本、外縁部43,44には、中央に4本の検出ライン45を設定する。この検出ライン45の長さや配置位置、本数などのパターンは、部品Pの外縁部をより正確に検出できるような範囲を経験的に求め、部品Pごとに予め設定されているものとする。制御装置30は、予め設定されている部品Pの検出ラインパターンが部品Pの外縁部41~44に掛かるように検出ライン45の位置を設定する(図5B参照)。CPU31は、大まかな部品Pの位置に合わせて検出ライン45を設定したのち、より精度の高いエッジ検出を実行する。
S320のあと、CPU31は、各検出ライン45ごとに、検出ライン上の輝度値から微分値を取得し、極大値(エッジ候補)の位置を検出する(S330)。図6は、検出ライン位置と輝度値及びその微分値の関係図である。ここでは、検出ライン45の始点を「0」、終点を「1」に正規化した検出ライン位置を用いて説明する。検出ラインの各位置の輝度値の差から微分値を求めると、図6に示すように、微分値の極大値であるピークを部品Pの外縁部(エッジ候補)として検出することができる。しかしながら、図5に示すように、輝度の異なる第1領域P1と第2領域P2とがあり、更に部品外の領域を検出ライン45が跨いだ場合は、複数の極大ピークが検出されるため、CPU31は、部品Pの正しい外縁部を検出する必要がある。
次に、CPU31は、S330で検出したエッジ候補の検出位置を平均化し、基準位置を取得する(S340)。ここでは、CPU31は、部品Pの外周全体を平均化し、この外周全体に対して基準位置を求めるものとした。CPU31は、例えば、各検出ラインの極大ピーク位置とその本数から、その平均値を基準位置としてもよい。例えば、極大ピーク位置が0.1にある検出ライン数、極大ピーク位置が0.2にある検出ライン数、などを積算して検出ライン数で除算して求めることができる。この実装装置11では、S310で部品Pの概略位置に基づいて検出ラインの位置を設定しているため、基準位置は、おおよそ検出ラインの中央(0.5)に求められる。
次に、CPU31は、予め設定された重み係数を取得し、各検出ライン上に検出されたエッジ候補にこの重み係数を適用し、各エッジ候補の候補値を求め(S350)、候補値に基づいて検出ライン45上のエッジの位置を選定する(S360)。図7は、エッジ候補位置と重み係数との関係図である。重み係数は、基準位置から離れるほど重みが低くなる傾向となるよう、基準位置を中心とした正規分布の係数として定められている。例えば、重み係数は、エッジ候補位置xと、基準位置μと、重み係数調整用変数σとを用い、正規分布の確率密度関数(数式1参照)から求めることができる。重み係数は、基準位置が最も高い値であり、基準位置から遠ざかるにつれてより小さな値になるよう設定されている。また、変数σが所定の変数σ1よりも大きい変数σ2では、基準位置を中心とした変化が緩やかな重み係数が得られ、より小さい変数σ1では、より変化が大きい重み係数が得られる。そして、CPU31は、より大きな候補値を有するエッジ候補位置を部品Pのエッジ位置に選定する。この重み係数は、部品Pの種別や各領域の輝度差などに応じて経験的に設定される。CPU31は、図7に示すように、例えば、変数σ1とし、基準位置(0.5)にエッジ候補位置があるときは、最も高い値1.5を重み係数としてこのエッジ候補位置に適用し、基準位置から離れた0.1にエッジ候補位置があるときは、値0.5を重み係数としてこのエッジ候補位置に適用する。
Figure 0007384916000001
ここで、重み係数を適用する具体例を説明する。図8は、部品Pを撮像した撮像写真の説明図である。図9は、エッジ候補に重み係数を加味する説明図であり、図9Aが重み係数とエッジ候補1,2の例、図9Bがエッジ候補1,2に重み係数を加味した候補値の一例を示す説明図である。図8に示すように、第1領域P1と第2領域P2とが部品Pにあるときには、特定の検出ライン45においてエッジ候補1,2が検出される。検出ライン45は、部品Pのロットの違いや製造会社の違いなどにより、微妙に大きさが異なることがあることから、その違いがあっても外縁部の位置を検出できるような所定の長さが必要であり、複数の輝度の違う領域を跨ぐことが避けられない場合がある。図8の検出ライン45では、部品外の領域と第1領域P1との輝度差に比して、第1領域P1と第2領域P2との輝度差が大きいことから、図9Aに示すように、正当なエッジ候補1に比してエッジ候補2の方が大きい極大ピークが得られる。このままエッジ位置を求めると、第2領域P2が部品の外縁部の位置であるとの誤検出になるが、制御装置30は、各検出ライン45の平均から求めた基準位置が最も大きな値となるよう定められた重み係数をこの極大ピークに乗算して候補値を求める。このため、図9Bに示すように、制御装置30は、重み係数を適用することによって、基準位置に最も近く適切であるエッジ候補1を最も大きな候補値とし、エッジ位置として選定することができる。このように、制御装置30は、推定値などではない、実測値である微分値を用いつつ、重み係数を用いてより適正な補正を行うことによって、より適正なエッジ位置の選定を行うことができる。
そして、CPU31は、選定したエッジ位置を用いて部品Pの外周位置を決定することにより、部品Pの位置を確定し(S370)、このルーチンを終了する。CPU31は、S370のあと、S160以降の処理を実行する。
ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の制御装置30が本開示の情報処理装置に相当し、CPU31が制御部に相当する。なお、本実施形態では、制御装置30の動作を説明することにより本開示の情報処理方法の一例も明らかにしている。
以上説明した本実施形態の制御装置30は、部品Pを含む撮像画像に対し部品Pの領域と部品Pの領域外とを跨ぎ輝度差を検出する検出ライン45を部品Pの外縁部41~44に複数設定し、複数の検出ライン45から外縁部41~44の基準位置を求める。また、制御装置30は、この基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用いて検出ライン45上に存在する1以上のエッジ候補に対し重み係数を加味した候補値を求める。そして、制御装置30は、求めた候補値に基づいて検出ライン45上に存在する外縁部の位置を選定する。この制御装置30では、多数の部品Pの外縁部にエッジ候補が存在するような場合でも、複数の検出ライン45から求めた基準位置に基づいて重み係数を加味してその検出ライン45のエッジ位置を選定する。このため、正当な位置から外れて検出されるエッジ候補が一部に存在しても、部品のエッジ位置をより確実に検出することができる。
また、CPU31は、部品Pの外周全体に対して基準位置を求めるため、外周全体をまとめた基準位置を用いて簡便な処理で部品のエッジ位置をより確実に検出することができる。更に、CPU31は、基準位置を中心とした正規分布の重み係数を用いるため、基準位置に近いほどより高く基準位置から離れるほどより低い重み付けを行うことができる。更にまた、部品Pは、外縁部の第1領域P1とこの第1領域P1と異なる輝度値である第2領域P2とを含むため、外縁部を検出しにくい複数の輝度値の領域を有する部品Pに対して、エッジ位置をより確実に検出することができる。更にまた、実装装置11は、部品Pを採取して基板に配置する実装ヘッド22と、上述した情報処理装置としての機能を有する制御装置30を備えるため、実装処理する部品Pの外縁部をより確実に検出することができ、部品Pの配置などをより確実に行うことができる。
なお、本明細書で開示する情報処理装置は、上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
例えば、上述した実施形態では、CPU31は、部品Pの外周全体の平均値から基準位置を求めたが、特にこれに限定されず、例えば、部品Pの1辺ごとに設定される検出ライン45のエッジ検出位置を平均してその1辺ごとの基準位置を求めるものとしてもよい。この制御装置30では、該当する部品の外縁部をより確実に検出することができる。また、CPU31は、部品Pの複数の辺ごとに設定される検出ライン45のエッジ検出位置を平均して該当する辺の基準位置を設定してもよい。この制御装置30では、同様の辺に対しては複数の辺ごとにまとめた基準位置を用いて、部品Pの外縁部を簡便且つ確実に検出することができる。
上述した実施形態では、CPU31は、1つの部品Pに対して1つの関数から求められた重み係数を適用するものとして説明したが、特にこれに限定されず、CPU31は、部品Pの辺ごとの検出安定性に基づいて、部品Pの複数の辺に対して異なる関数で定義される重み係数を適用するものとしてもよい。図10は、別の部品PBを撮像した部品画像40Bの説明図である。この部品PBは、部品PBの外周のうち上及び下の辺を有する第1領域P1は、各辺が直線であり、検出安定性が高い。一方、部品PBの外周のうち右及び左の辺を有する第2領域PB2は、直線ではなく、凹凸が不規則にあるため、検出安定性が低い。このような部品PBに対しては、CPU31は、検出安定性の高い上下の辺をまとめて基準位置を設定し、左辺及び右辺はそれぞれの辺ごとに基準位置を設定するものとしてもよい。また、左右の辺の外縁部43,44に対しては、上下の外縁部41,42に比して大きな変数σを用いて重み係数を設定してもよい。この制御装置30では、複数の関数で設定される重み係数を用いることによって、部品Pのエッジ位置を更に確実に検出することができる。
上述した実施形態では、CPU31は、基準位置を中心とした正規分布の関数で定義される重み係数を用いるものとしたが、特にこれに限定されず、正規分布以外の関数で定義される重み係数を用いてもよい。図11は、別のエッジ候補位置と重み係数との関係図であり、図11Aがリニアな関数で定義された重み係数の一例であり、図11Bが基準位置から離れるほど重みが低くなる傾向に定義された重み係数の一例の説明図である。図11Aに示すように、CPU31は、例えば、基準位置を中心としたリニアな関係を有する関数で定義された重み係数を用いるものとしてもよい。あるいは、CPU31は、図11Bに示すように、基準位置から離れても重みが低くならない部分が一部存在することを許容した関数で設定される重み係数を用いるものとしてもよい。CPU31は、検出する部品Pに合わせt関数で設定される重み係数を適宜用いればよい。また、上述した実施形態では、変数σを用いて、変数σに応じた重み係数を求めるものとしたが、特にこれに限定されず、変数σを固定値としてもよい。この制御装置30では、重み係数の求め方をより簡素化することができる。また、上述した実施形態では、基準位置に近いとより大きな重み係数を設定し、重み係数を加味した候補値がより大きいものをエッジ位置に選定するものとしたが、特に大小関係はこれに限定されない。例えば、微分ピークを負側にとり、基準位置に近いとより負側に大きい重み係数を設定し、重み係数を加味した候補値がより負側に大きいものをエッジ位置に選定するものとしてもよい。
上述した実施形態では、第1領域P1と、第1領域P1と異なる輝度の第2領域P2とを有する部品Pの外縁部の位置を検出を行うものとしたが、特にこれに限定されず、第1領域及び第2領域のような複数の領域を持たない部品Pの外縁部の位置を求めるものとしてもよい。上述した実施形態では、矩形の外周を有する部品Pの外縁部の位置を求めるものとしたが、特にこれに限定されず、多角形の外周を有する部品Pとしてもよいし、円又は楕円の外周を有する部品Pの外縁部の位置を求めるものとしてもよい。このような部品Pにおいても、部品Pのエッジ位置をより確実に検出することができる。
上述した実施形態では、CPU31は、部品Pの領域と部品Pの領域外とを跨ぐ検出ライン45を設定して部品自体の外縁部の位置を選定するものとしたが、特にこれに限定されない。例えば、CPU31は、部品Pが有する特定部位(例えば、端子など)と他の部位(例えば本体など)とを跨ぐ検出ライン45を設定して部品Pの特定部位の外縁部の位置を選定してもよい。図12は、部品Pの特定部位Psの外縁部を検出する説明図である。図12は、部品PCの特定部位Psの外縁部41Cを検出する部品画像40Cの説明図である。部品PCは、バンプである特定部位Psを複数有している。実装装置11は、部品PCを実装処理する際にこの特定部位Psの位置を正確に検出し、基板S上の端子にバンプを合わせて実装処理する。CPU31は、部品画像40Cにおいて、部品PCが有する特定部位Psの第1領域PC1と他の部位(本体)の第2領域PC2とを跨ぐ検出ライン45Cを設定して、特定部位Psの外縁部41Cの位置を選定する。そして、この特定部位Ps上に異物46が存在すると、特定部位Psの外縁部41Cを誤って検出する場合がある。CPU31は、上述と同様に、特定部位Psの外縁部41Cの基準位置を求め、重み係数を加味した候補値を求めて特定部位Psのエッジ位置を選定する。この制御装置30においても、部品PCに関する特定部位Psのエッジ位置をより確実に検出することができる。
上述した実施形態では、実装ヘッド22が採取した部品Pの外縁部を検出するものとしたが、特にこれに限定されない。例えば、基板S上に配置された部品Pをマークカメラ24で撮像した撮像画像に対して、部品Pの外縁部を検出するものとしてもよい。この場合においても、部品Pの外縁部の位置をより正確に求めることができる。
上述した実施形態では、制御装置30や実装装置11として本開示の情報処理装置及び実装装置を説明したが、特にこれに限定されず、情報処理方法としてもよい。また、上述した実施形態では、情報処理装置としての機能を備えた制御装置30を実装装置11が備えるものとしたが、部品Pを基板Sへ実装する処理に関する実装関連装置であれば特に限定されない。例えば、部品Pの実装状態を検査する検査部を備えた検査装置、印刷部と実装部とを備えた印刷実装装置、実装部と検査部とを備えた実装検査装置が制御装置30を備えるものとしてもよい。
ここで、本開示の情報処理装置、実装装置及び情報処理方法は、以下のように構成してもよい。例えば、本開示の情報処理装置において、前記制御部は、前記部品の1辺ごと、前記部品の複数の辺ごと及び前記部品の外周全体のうち1以上に対して前記基準位置を求めるものとしてもよい。部品は、1辺ごとに輝度値や形状などの検出安定性が異なる場合がある。この情報処理装置では、部品の1辺ごとに基準位置を求める場合は、該当する部品の外縁部をより確実に検出することができ、同様の辺に対しては複数の辺ごとにまとめた基準位置を用いて、部品の外縁部を簡便且つ確実に検出することができ、あるいは外周全体をまとめた基準位置を用いて簡便な処理で部品の外縁部をより確実に検出することができる。
本開示の情報処理装置において、前記制御部は、前記部品の辺ごとの検出安定性に基づいて、前記部品の1辺又は複数の辺に対して異なる重み係数を用いて前記候補値を求めるものとしてもよい。この情報処理装置では、複数の重み係数を用いることによって、部品の外縁部を更に確実に検出することができる。
本開示の情報処理装置において、前記制御部は、前記基準位置を中心とした正規分布の前記重み係数を用いるものとしてもよい。この情報処理装置では、正規分布を用いて基準位置に近いほどより高く基準位置から離れるほどより低い重み付けを行うことができる。
本開示の情報処理装置において、前記部品は、前記外縁部を含む第1領域と該第1領域と異なる輝度値である第2領域とを含むものとしてもよい。この情報処理装置では、外縁部を検出しにくい複数の輝度値の領域を有する部品に対して、外縁部をより確実に検出することができる。
本開示の実装装置は、部品を採取して基板に配置する実装ヘッドと、上述したいずれかに記載の情報処理装置と、を備えたものである。この実装装置は、上述した情報処理装置を備えるため、実装処理する部品の外縁部をより確実に検出することができ、部品の配置などをより確実に行うことができる。
本開示の情報処理方法は、
部品を採取して基板に配置する実装装置に用いられる情報処理方法であって、
(a)前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定するステップと、
(b)前記ステップ(a)で設定した複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する1以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求めるステップと、
(c)前記ステップ(b)で求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定するステップと、
を含むものである。
この情報処理方法は、上述した情報処理装置と同様に、多数の部品外縁部の候補が存在するような場合でも、複数の検出ラインから求めた基準位置に基づいて重み係数を加味してその検出ラインの外縁部の位置を選定するため、正当な位置から外れて検出される候補が一部に存在しても、部品の外縁部をより確実に検出することができる。なお、この情報処理方法において、上述した情報処理装置の種々の態様を採用してもよいし、また、上述した情報処理装置の各機能を実現するようなステップを追加してもよい。
本開示の情報処理装置や実装装置は、部品を採取、配置などの処理を行う装置の技術分野に利用可能である。
10 実装システム、11 実装装置、12 基板処理部、14 部品供給部、16 パーツカメラ、20 実装部、21 ヘッド移動部、22 実装ヘッド、23 吸着ノズル、24 マークカメラ、30 制御部、31 CPU、32 記憶部、35 管理PC、40,40B,40C 部品画像、41~44,41C 外縁部、45,45C 検出ライン、46 異物、P,PB,PC 部品、P1,PB1,PC1 第1領域、P2,PB2,PC2 第2領域、Ps 特定部位、S 基板。

Claims (8)

  1. 部品を採取して基板に配置する実装装置に用いられる情報処理装置であって、
    前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定し、複数の前記検出ラインの各々に対して、外縁部の候補としての1以上の極大値の位置を検出し、検出された各極大値の位置から外縁部の基準位置を求め、複数の前記検出ラインは、ひとつの検出ラインにおいて複数の前記極大値が検出される検出ラインを含み、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い複数の前記検出ライン上に存在する1以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求め、求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定する制御部、
    を備えた情報処理装置。
  2. 前記制御部は、前記部品の辺ごとの検出安定性に基づいて、前記部品の1辺又は複数の辺に対して異なる重み係数を用いて前記候補値を求める、請求項1に記載の情報処理装置。
  3. 部品を採取して基板に配置する実装装置に用いられる情報処理装置であって、
    前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定し、複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する1以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求め、求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定する制御部、を備え、
    前記制御部は、前記部品の辺ごとの検出安定性に基づいて、前記部品の1辺又は複数の辺に対して異なる重み係数を用いて前記候補値を求める、情報処理装置。
  4. 前記制御部は、前記部品の1辺ごと、前記部品の複数の辺ごと及び前記部品の外周全体のうち1以上に対して前記基準位置を求める、請求項1~3のいずれか1項に記載の情報処理装置。
  5. 前記制御部は、前記基準位置を中心とした正規分布の前記重み係数を用いる、請求項1~4のいずれか1項に記載の情報処理装置。
  6. 前記部品は、前記外縁部を含む第1領域と該第1領域と異なる輝度値である第2領域とを含む、請求項1~5のいずれか1項に記載の情報処理装置。
  7. 複数の前記検出ラインは、ひとつの検出ラインにおいて、前記外縁部の候補としての極大値が複数検出される検出ラインを含み、
    前記制御部は、当該検出ラインとして、前記第1領域、前記第2領域、前記部品外の領域、異物のうちの少なくとも3つを跨ぐ検出ライン上に存在する前記外縁部の位置を選定する、請求項6に記載の情報処理装置。
  8. 部品を採取して基板に配置する実装ヘッドと、
    請求項1~7のいずれか1項に記載の情報処理装置と、
    を備えた実装装置。
JP2021548024A 2019-09-25 2019-09-25 情報処理装置及び実装装置 Active JP7384916B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037450 WO2021059374A1 (ja) 2019-09-25 2019-09-25 情報処理装置、実装装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2021059374A1 JPWO2021059374A1 (ja) 2021-04-01
JP7384916B2 true JP7384916B2 (ja) 2023-11-21

Family

ID=75164859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548024A Active JP7384916B2 (ja) 2019-09-25 2019-09-25 情報処理装置及び実装装置

Country Status (5)

Country Link
US (1) US20230237667A1 (ja)
EP (1) EP4036853A4 (ja)
JP (1) JP7384916B2 (ja)
CN (1) CN114287021A (ja)
WO (1) WO2021059374A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128959A (ja) 2007-11-20 2009-06-11 Fujitsu Ltd 画像の特徴抽出方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2745764B2 (ja) * 1990-03-08 1998-04-28 松下電器産業株式会社 位置認識装置
US5805722A (en) * 1993-11-22 1998-09-08 Cognex Corporation Method and apparatus for locating, inspecting, and placing large leaded devices
JP3711599B2 (ja) * 1995-11-01 2005-11-02 松下電器産業株式会社 実装部品検査装置
US5974169A (en) * 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
JPH1166326A (ja) * 1997-08-22 1999-03-09 Matsushita Electric Ind Co Ltd パターン認識方法及びその装置
JP2007004709A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 対象パターン検出方法及びその装置
JP2007212187A (ja) * 2006-02-07 2007-08-23 Mitsubishi Electric Corp ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JP5223702B2 (ja) * 2008-07-29 2013-06-26 株式会社リコー 画像処理装置、ノイズ低減方法、プログラム、記憶媒体
JP5301239B2 (ja) 2008-08-09 2013-09-25 株式会社キーエンス 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
JP5116640B2 (ja) * 2008-11-15 2013-01-09 株式会社キーエンス 検出候補の近傍排除処理機能を有する画像処理装置及び画像処理プログラム並びにコンピュータで読み取り可能な記録媒体
US8995739B2 (en) * 2013-08-21 2015-03-31 Seiko Epson Corporation Ultrasound image object boundary localization by intensity histogram classification using relationships among boundaries
US10152780B2 (en) * 2015-11-02 2018-12-11 Cognex Corporation System and method for finding lines in an image with a vision system
US20240078801A1 (en) * 2015-11-02 2024-03-07 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
EP3397041B1 (en) * 2015-12-24 2022-01-26 Fuji Corporation Information processing device, mounting device, information processing method, and component holding tool
US11176657B2 (en) * 2017-03-29 2021-11-16 Fuji Corporation Information processing device, mounting device, and information processing method
CN107610171B (zh) * 2017-08-09 2020-06-12 Oppo广东移动通信有限公司 图像处理方法及其装置
EP3480726B1 (en) * 2017-11-07 2023-09-13 Arriver Software AB A vision system and method for autonomous driving and/or driver assistance in a motor vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128959A (ja) 2007-11-20 2009-06-11 Fujitsu Ltd 画像の特徴抽出方法

Also Published As

Publication number Publication date
CN114287021A (zh) 2022-04-05
JPWO2021059374A1 (ja) 2021-04-01
US20230237667A1 (en) 2023-07-27
WO2021059374A1 (ja) 2021-04-01
EP4036853A4 (en) 2022-10-05
EP4036853A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP6293899B2 (ja) 実装装置
US20070130755A1 (en) Electronics assembly machine with embedded solder paste inspection
CN109076728B (zh) 对基板作业机
JP7365376B2 (ja) 実装装置及び検出方法
JP2017139388A (ja) 実装装置
JP7384916B2 (ja) 情報処理装置及び実装装置
JP7425091B2 (ja) 検査装置及び検査方法
JP4707607B2 (ja) 部品認識データ作成用画像取得方法及び部品実装機
WO2018154691A1 (ja) 対基板作業装置および画像処理方法
JP7406571B2 (ja) 検査装置及び検査方法
JP6999422B2 (ja) 実装装置及び実装方法
CN111656884B (zh) 安装装置、信息处理装置及安装方法
JP6892552B2 (ja) 部品装着装置
JP6902603B2 (ja) 実装装置及び情報処理方法
JP6627077B2 (ja) 制御データのキャリブレーション方法及び部品実装装置
JP7423741B2 (ja) 画像処理装置および画像処理方法
WO2024089852A1 (ja) 制御装置、ロボットシステム及び制御方法
JP6980096B2 (ja) 実装装置
WO2020148901A1 (ja) 部品実装装置
JP2023152382A (ja) 画像処理装置および部品実装機並びに画像処理方法
JP2022107194A (ja) 撮像装置及び基板作業装置
CN117480876A (zh) 元件安装机及校正处理的控制方法
JP2019074488A (ja) 部品回転角度検出方法
JP2020188219A (ja) 部品実装装置およびピックアップ位置設定方法
JPWO2018173226A1 (ja) 実装装置及び実装方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7384916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150