JP6831149B1 - ひも状柔軟物の画像認識方法及び画像認識装置 - Google Patents

Abstract

【課題】ボンディングワイヤなどのひも状柔軟物を正しく画像認識する。【解決手段】画像認識装置１は、ひも状柔軟物を撮像することによって得られた画像から複数の候補点を抽出する候補点抽出処理部１１と、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる近似処理部１２と、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の延在経路を特定する選択処理部１３とを備える。このように、自己組織化マップを用いた近似処理と選択処理を行っていることから、ひも状柔軟物を正しく画像認識することが可能となる。【選択図】図１

Description

本発明は画像認識方法及び画像認識装置に関し、特に、ひも状柔軟物を画像認識するための方法及び装置に関する。

半導体デバイスや高周波電子部品の検査工程においては、画像認識によってボンディングワイヤのワイヤ形状が検査されることがある。ボンディングワイヤを画像認識によって検査する方法としては、非特許文献１に記載された方法が知られている。

非特許文献１に記載された方法は、ボンディングワイヤが背景と比較して黒く（輝度値が低く）撮像される事を利用して、輝度変化の極小点をワイヤ画素の候補画素として検出した上で、ボンディングの始点（ＦＢ）から長さＬの線分要素の探索処理をボンディングの終点（ＳＢ）まで繰り返すことで、ワイヤ経路を構成する一連の線分要素の特定を行なっている。

「画像処理による半導体集積回路内部 ボンディングワイヤ検査」精密工学会誌 Vol.70, No.2, 2004 アミル エー． アミニ(Amir A. Amini)、外２名、「画像における変分問題を解決するための動的計画法の利用(Using dynamic programming for solving variational problem in vision)」、パターン分析と機械知能に関する米国電気電子学会会報(IEEE Transactions on Pattern Analysis and Machine Intelligence)、１９９０年９月、第１２巻、第９号、ｐ．８５５―８６７

しかしながら、非特許文献１に記載された方法では、ボンディングワイヤとそれ以外の背景パターンの誤認識を避けることが困難である。非特許文献１に記載された方法は、「３．２ 線構成画素の検出」に記載されている通り、ボンディングワイヤが細い線状パターンであることに着目して、ワイヤ画素を抽出している。非特許文献１が扱う対象物では、ボンディングワイヤ以外の背景に細い線状パターンは存在しておらず、多少のノイズ画素は抽出されるものの、誤認識の対象となるような背景パターンは存在しない。そこで「３．４ ワイヤ検査ガイドラインの設定」に記載された探索処理により、ワイヤ経路を決定している。しかしながら、検査対象物によっては、金属フレームに写ったボンディングワイヤ自身の像や、金属フレーム端面の反射パターンをボンディングワイヤであると誤認識する可能性がある。

さらに、非特許文献１に記載された方法では、「３．４ ワイヤ検査ガイドラインの設定」に記載されている通り、長さＬの区間で最も多くワイヤ候補点が含まれる方向を探索している。この探索処理により、長さＬよりも短い区間のワイヤ画素の欠損に対処でき、長さＬを大きくすることで、より長い欠損に対処できるようになる。しかしながら、ボンディングワイヤが湾曲している場合はＬを大きな値にすることは出来ない。このため、非特許文献１に記載された方法では、直線形状ではないボンディングワイヤを探索することは困難である。

以上の問題は、ボンディングワイヤを画像認識する場合に限らず、始点及び終点を有するひも状柔軟物を画像認識する場合において共通に生じる問題である。

したがって、本発明は、ボンディングワイヤなどのひも状柔軟物を正しく画像認識することが可能な装置及び方法を提供することを目的とする。

本発明による画像認識装置は、ひも状柔軟物を撮像することによって得られた画像から、ひも状柔軟物の候補である複数の候補点を抽出する候補点抽出処理部と、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる近似処理部と、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の延在経路を特定する選択処理部とを備えることを特徴とする。

本発明による画像認識方法は、ひも状柔軟物を撮像することによって得られた画像の中に設定された第１の領域を切り出すことによって第１の領域画像を生成する第１のステップと、第１の領域画像からひも状柔軟物の候補である複数の候補点を抽出する第２のステップと、複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、複数のユニットの座標をひも状柔軟物の座標に近似させる第３のステップと、各ユニット群を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択することにより、ひも状柔軟物の始点から終点に沿ったユニット列を生成する第４のステップと、ユニット列の周囲に位置する候補点を含む第２の領域を画像から切り出すことによって、第１の領域画像よりも範囲の狭い第２の領域画像を生成する第５のステップとを備え、第５のステップを実行した後、第３及び第４のステップを再び実行することを特徴とする。

本発明によれば、ボンディングワイヤなどのひも状柔軟物の候補点を入力層とする自己組織化マップを用いて近似処理を行った後、出力層を構成する複数のユニットの中から候補点との一致度が最も高いユニットを選択していることから、ひも状柔軟物が湾曲している場合や、ひも状柔軟物であると誤認識しうるパターンが存在する場合であっても、ひも状柔軟物を正しく画像認識することが可能となる。

図１は、本発明の一実施形態による画像認識装置１の構成を説明するための模式図である。 図２は、カメラ５によって得られた画像の例を示す図である。 図３は、処理装置１０の動作を説明するためのフローチャートである。 図４は、ボンディングワイヤ２０と領域２１，２２の関係を説明するための模式図である。 図５は、二次微分フィルターを適用する前後の画像の例を示す図である。 図６は、ボンディングワイヤの候補点を抽出した画像の一例である。 図７は、切り出し前における候補点の分布を示す図である。 図８は、自己組織化マップを用いた近似処理を説明するための模式図である。 図９は、自己組織化マップを用いた近似処理を説明するための模式図である。 図１０は、ユニットＵの座標の実例を示す図であり、近似処理を実行する前のオリジナルの座標を示している。 図１１は、ユニットＵの座標の実例を示す図であり、近似処理を１回実行した後における座標を示している。 図１２は、ユニットＵの座標の実例を示す図であり、近似処理を９回実行した後における座標を示している。 図１３は、ユニットＵの座標の実例を示す図であり、近似処理を１１回実行した後における座標を示している。 図１４は、ユニット列ＵＬの座標の実例を示す図である。 図１５は、ユニット列ＵＬを説明するための模式図である。

以下、添付図面を参照しながら、本発明の好ましい実施の形態について詳細に説明する。

＜画像認識装置の概要＞
図１は、本発明の一実施形態による画像認識装置１の構成を説明するための模式図である。

図１に示すように、本実施形態による画像認識装置１は、ステージ２に載置された検査対象物３を画像認識するための装置であって、検査対象物３を照明する照明装置４と、検査対象物３を撮像するカメラ５と、カメラ５によって得られた画像を処理する処理装置１０とを備えている。検査対象物３は、例えば半導体デバイスや高周波電子部品であり、ボンディングワイヤを含んでいる。本実施形態による画像認識装置１は、検査対象物３に含まれるボンディングワイヤを画像認識するための装置であり、これによってボンディングワイヤの２次元的な延在経路を特定することができる。

図２は、カメラ５によって得られた画像の例を示す図である。図２（ａ）に示す例では、ボンディングワイヤが比較的直線的であるのに対し、図２（ｂ）に示す例では、ボンディングワイヤに大きな湾曲が存在している。ボンディングワイヤの湾曲は、カメラの視線方向によって生じるものである。１つの製品に実装されるボンディングワイヤの向きは１方向とは限らず（例えば上下左右の４方向）、また製品が回転して供給されることもあるため、ボンディングワイヤの湾曲は常に発生する。また、ボンディングワイヤの３次元形状により明度は変化し、背景とのコントラストが不明瞭になる箇所も存在する。このため、従来の一般的な画像認識装置では、ボンディングワイヤを連続した１本の線分として認識することが困難である。しかも、図２（ｂ）の符号Ａで示すように、金属フレームに写ったボンディングワイヤ自身の像や、図２（ｂ）の符号Ｂで示すように、金属フレーム上のパターン（濃淡変化）をボンディングワイヤであると誤認識する可能性がある。本実施形態による画像認識装置１は、このような湾曲箇所や、誤認識の原因となるパターンが存在する場合であっても、処理装置１０によってボンディングワイヤを連続した線分列として認識することが可能である。

処理装置１０は、候補点抽出処理部１１、近似処理部１２及び選択処理部１３を含んでいる。処理装置１０は、例えば演算装置、記憶装置、及び入出力装置などを有するコンピュータであり、記憶装置に記憶されたプログラムを演算装置に実行させることによって各処理部１１〜１３の機能を実現するものであっても構わないし、一部又は全部の処理部１１〜１３がそれぞれ別のハードウェア資源からなるものであっても構わない。

図３は、処理装置１０の動作を説明するためのフローチャートである。

処理装置１０の候補点抽出処理部１１は、カメラ５によって得られた画像の中に設定された第１の領域を切り出すことによって第１の領域画像を生成する（ステップＳ１）。第１の領域画像は、図４に示すように、画像認識対象であるボンディングワイヤ２０全体を含む第１の領域２１の画像である。第１の領域２１は、あらかじめ検査対象物３又はこれと同じ構成を有するサンプルを評価することにより、ボンディングワイヤ２０の全体が確実に収まるようオペレータによって設定しても構わない。同一仕様の製品であれば、ボンディングワイヤ２０の始点２０Ｓと終点２０Ｅの座標は大きく変化しないことから、始点２０Ｓ、終点２０Ｅ及びこれらを結ぶ線分を含むある程度の広さを持った領域を第１の領域２１として設定することができる。

次に、候補点抽出処理部１１は、第１の領域画像からボンディングワイヤ２０の候補である複数のワイヤ候補点を抽出する（ステップＳ２）。かかる動作は、第１の領域画像に対して二次微分フィルターを適用することによって特徴点を強調した後、二次微分フィルターを適用した画像からボンディングワイヤ２０である可能性のある候補点を抽出することにより行う。図５（ａ）はオリジナル画像の一例であり、図５（ｂ）は二次微分フィルターを適用した画像の一例である。また、図６は、ボンディングワイヤの候補点を抽出した画像の一例である。図６に示す候補点は、ステップＳ１によって切り出された第１の領域画像に含まれる候補点である。参考として、切り出し前の候補点の分布を図７に示す。図６に示す候補点は、図７の画像に含まれる第１の領域２１内に位置する候補点Ｐに相当する。

次に、処理装置１０の近似処理部１２は、自己組織化マップを用いた近似処理を繰り返し実行することにより、自己組織化マップの出力層を構成する複数のユニットをボンディングワイヤの座標に近似させる（ステップＳ３）。自己組織化マップとは、T. Kohonenによって提案されたニューラルネットワークの一種であり、高次元の入力データセットに対して、データ分布の位相的構造を保存しつつ低次元（２次元もしくは１次元など）空間へ写像する手法である。

図８は、自己組織化マップを用いた近似処理を説明するための模式図であり、抽出された候補点Ｐ（黒丸）を入力層とし、格子状に配列された複数のユニットＵ（白丸）を出力層としている。各ユニットＵは、画像空間上での座標値（Ｘ，Ｙ）と自己組織化マップ空間上での座標値（Ｃ，Ｒ）を有している。座標値（Ｃ，Ｒ）は変化することが無い固定の値であり、自己組織化マップ空間上で格子状に配置される。画像空間上での座標値（Ｘ，Ｙ）は、近似処理の度にワイヤに近づくように変化する。自己組織化マップを用いた近似処理においては、各候補点Ｐに最も近いユニットＵ及びその近傍のユニットＵの座標を当該候補点Ｐに近づける。例えば、図８に示す候補点Ｐ１を選択した場合、候補点Ｐ１に最も近いユニットＵ１及びその近傍のユニットＵ２の座標を候補点Ｐ１に近づけると、各ユニットの座標は図９に示すように変形される。このような近似化処理を全ての候補点Ｐについて繰り返し実行すると、複数のユニットＵの座標がボンディングワイヤの実際の座標に近似される。なお、複数のユニットＵの初期配置は格子状でなくともよく、任意の曲線の周囲に分布させても良いし、全くのランダムでも良い。

図１０〜図１４はユニットＵの座標の実例を示す図であり、図１０は近似処理を実行する前のオリジナルの座標を示し、図１１は近似処理を１回実行した後における座標を示し、図１２は近似処理を９回実行した後における座標を示し、図１３は近似処理を１１回実行した後における座標を示し、図１４は後述するユニット列ＵＬを示している。対象となるボンディングワイヤの形状は、図６に示した形状と同じである。図１０〜図１４に示すように、自己組織化マップを用いた近似処理を繰り返し実行すると、各ユニットＵの座標が徐々にボンディングワイヤに近づくことが分かる。

ここで、自己組織化マップを構成する複数のユニットＵは、図８に示すように同一のＲ値を持つユニットＵをグループ化している。各ユニット群ＵＧは複数のユニットＵによって構成される。図８に示す例では、初期状態において同じｙ座標を有し、ｘ方向に配列された４つのユニットＵがグループ化されることによってユニット群ＵＧが構成される。同じユニット群ＵＧに属する複数のユニットＵの配列方向は、ボンディングワイヤの延在方向と交差する方向に定義され、好ましくはボンディングワイヤの延在方向に対して直角に近い方向に定義される。同じユニット群ＵＧに属する複数のユニットＵの座標は、近似処理によって変化し、このためｙ座標についても互いに異なる値を取る可能性がある。図１０〜図１４に示す例では、ｘ方向に配列された８つのユニットＵがグループ化されることによって、ｙ方向に配列された３２個のユニット群ＵＧが定義されている。

次に、処理装置１０の選択処理部１３は、各ユニット群ＵＧを構成する複数のユニットＵの中から候補点Ｐとの一致度が最も高いユニットＵを選択する（ステップＳ４）。一致度の評価は、動的輪郭モデルにおける動的計画法によって行うことができる。これにより、各ユニット群ＵＧから必ず一つのユニットＵが選択されることから、図１４及び図１５に示すように、ボンディングワイヤ２０の始点２０Ｓから終点２０Ｅに沿ったユニット列ＵＬが生成される（ステップＳ５）。図１５においてハッチングが付されたユニットＵは、各ユニット群ＵＧの中から選択されたユニットＵである。

ここで、上述した一連の処理が１回目の処理であれば、ユニット列ＵＬの周囲に位置する候補点Ｐを含む第２の領域２２（図４参照）をカメラ５によって撮像された画像から切り出すことによって、第２の領域画像を生成する（ステップＳ６）。第２の領域画像を生成する段階においては、ボンディングワイヤ２０を近似したユニット列ＵＬの位置が判明しているため、第２の領域２２を第１の領域２１よりも十分に狭く設定することができる。

そして、近似処理部１２を用いた近似処理（ステップＳ３）及び選択処理部１３を用いた選択処理（ステップＳ４）を再び実行し、新たなユニット列ＵＬを生成すれば、一連の処理を終了する。２回目に実行するステップＳ３においては、近似処理の繰り返し回数を１回目に実行するステップＳ３の回数よりも少なく設定しても構わない。

このようにして得られたユニット列ＵＬは、候補点Ｐの集合体ではなく、自己組織化マップの出力層を構成するユニットＵの集合体であり、且つ、動的輪郭モデルにおける動的計画法によって各ユニット群ＵＧから必ず一つのユニットＵが選択されている。このため、カメラ５によって撮像された画像において候補点Ｐに途切れやノイズが生じている場合であっても、始点２０Ｓから終点２０Ｅに沿ったユニット列ＵＬを正しく生成することが可能となる。

以上説明したように、本実施形態による画像認識装置１は、自己組織化マップを用いた候補点分布の近似と、動的輪郭モデルを用いたユニット列ＵＬの生成を行っていることから、ボンディングワイヤの延在経路上の一部において候補点が欠落している場合や、周囲にノイズとなるパターンが存在している場合であっても、周辺に存在するユニットＵによって経路が補完されることから、ボンディングワイヤ２０の始点２０Ｓから終点２０Ｅに沿ったユニット列ＵＬを正しく生成することが可能となる。

以下、候補点抽出処理部１１、近似処理部１２及び選択処理部１３のより具体的な動作の一例について説明する。

＜候補点抽出処理部１１の動作＞
候補点抽出処理部１１は、ボンディングワイヤ２０のできるだけ中心付近を検出するために、ＤｏＧ(Difference of Gaussian)フィルターを画像に適用することが好ましい。ＤｏＧフィルターとは、標準偏差値が異なる２つのガウシアンフィルターにより生成される２つの画像の差分画像を生成するフィルターであり、二次微分フィルターとしての効果がある。ここで、ガウシアンフィルターに設定する２つの標準偏差値は、ボンディングワイヤ２０の太さに基づいて決定することができる。例えば、一方の標準偏差値をボンディングワイヤ２０の太さと同じ値に設定し、他方の標準偏差値をボンディングワイヤ２０の太さの２倍に設定することができる。

フィルタリング後の画像に対して、画素毎に注目画素のフィルター値と左右または上下のフィルター値を比較して、極大または極小であるならば候補点として検出する。ここで、注目画素のフィルター値にしきい値を設けても構わない。また、ボンディングワイヤ２０の候補点を特定する手法は上記に限らず、他の一般的な画像処理手法で特定しても構わない。

具体的な候補点抽出方法は下記の通りである。まず、２つの標準偏差値をσ1およびσ2（＞σ1）とする。検出方向（X／Y／両方）、極性（+／−／両方）については、ユーザにより指定されるパラメータとする。ここで、
（１）入力画像に標準偏差値σ1のガウシアンフィルターを適用し、平滑化画像１（S1）を生成する。
（２）入力画像に標準偏差値σ2のガウシアンフィルターを適用し、平滑化画像２（S2）を生成する。
（３）X方向とY方向および＋成分と−成分で以下のように計算式を分けて、４種の二次微分画像（Lxp、Lxm、Lyp、Lym）を生成する。

（４）二次微分画像（Lxp、Lxm、Lyp、Lym）の各画素について隣接する画素よりも画素値が大きければ、ワイヤ候補点として採用する。なお、画素値に適当な閾値を設けても良い。隣接する画素について、Lxp／Lxmに対しては注目画素の左右、Lyp／Lymに対しては注目画素の上下としている。また、検出方向および極性の指定により、処理対象とする二次微分画像をLxpのみ、またはLxpとLxmのみ等のように制限しても良い。

＜近似処理部１２の動作＞
近似処理部１２は、ワイヤ候補点の（X，Y）座標値を２次元自己組織化マップに写像する。これにより、ワイヤ候補点の分布が自己組織化マップのユニットＵ（ニューロン）によって表現される。自己組織化マップでは、データ分布の位相的構造が保存される。この性質により、始点−終点間の経路上に分布するワイヤ候補点が、自己組織化マップ上で自動的に経路に沿って順序良く整列する。また、自己組織化マップではデータの途切れが発生している区間も、これを埋めるようにデータが存在する区間から補完したデータが配置される。この２つの性質が、動的計画法による動的輪郭モデルの欠点を補うように働く。

自己組織化マップへの入力データは、ワイヤ候補点の（X，Y）座標値だけではなく、座標値に加えて輝度値（R，G，B）を加えても構わない。また、自己組織化マップへの投票処理を高速化すべく、ワイヤ候補点のＹ座標値によって自己組織化マップへの投票範囲を制限しても構わない。Ｙ座標値によって自己組織化マップへの投票範囲を制限すると、ボンディングワイヤ２０のうち、始点または終点を越えて戻ってくるような経路部分において正しい経路を算出できないおそれがあるが、実用上大きな問題とならない。

具体的な処理方法は下記の通りである。
（１）指定されたサイズ（横×縦：U×V）の自己組織化マップを用意する。一例として、8×32のサイズを想定する。マップ中の各ユニットは(X, Y)の二次元座標を特徴ベクトルとして有するものとする。加えて、途中演算用としてX座標の総和：SumX，Y座標の総和：SumY，投票個数：Nを有するものとする。
（２）各ユニットの(X, Y)を格子状に配置し、X座標の総和，Y座標の総和，投票個数を0に初期化する。また、処理の過程で用いるパラメータを以下のように初期化する。
σd＝100 σw＝W/2.0 σH＝H/8.0
ここで、v=0のユニットにはボンディングワイヤ２０の始点２０Ｓの座標、v＝H-1のユニットにはボンディングワイヤ２０の終点２０Ｅの座標を設定する。なお、始点／終点座標はユーザが与える既知の座標である。
（３）ワイヤ候補点群から１点取り出し、マップ中で最も距離が近いユニット（最近傍ユニット）を探索する。
（４）下式により最近傍ユニットのSumX，SumY，Nを更新する

（５）全てのワイヤ候補点群に上記（３）及び（４）の処理を行なう。
（６）マップ中の全ユニットのSumX，SumYをそれぞれNで除算する。これによりSumX，SumYはユニットに投票されたワイヤ候補点群の平均座標AvrX，AvrYとなる。
（７）各ユニットの(X, Y)を下式により更新（競合学習）する。ただし、v=0およびv=H-1のユニットは更新を行なわない。

（８）各ユニットのX座標の総和，Y座標の総和，投票個数を0に初期化する。また、処理の過程で用いるパラメータを下式のように更新する。
σd＝max(σd/2.0, 1.0)
σw＝max(σw/2.0, 0.66666)
σH＝max(σH/2.0, 0.66666)
なお、この更新式および下限値は一例であり、他の更新式や下限値を選択しても良い。
（９）上記の（３）に戻り、（３）から（８）までの処理を指定回数だけ繰り返す。一例として、全体の処理フローにおいて初回であれば１０回、二回目であれば２回とすることができる。

＜選択処理部１３の動作＞
選択処理部１３は、動的輪郭モデルを用いる。動的輪郭モデルとは、初期輪郭線を決定した上で、輪郭線上に一定間隔で設定した制御点を移動させながら、下式で定義されるエネルギーEが最小となる輪郭線（制御点の集合）を決定する手法である。1987年に提案されて以来、エネルギーの定義や初期輪郭線の決定方法、制御点の移動方法などに様々な派生形が提案され、現在では特定の処理手法を意味するのではなく、エネルギーを最小化することで輪郭線を決定する概念として用いられることが多い。エネルギーを最小化する具体的な手法としては貪欲法、動的計画法、変分法などが代表的であるが、本実施形態では動的計画法を採用している。動的輪郭モデルの利点は、輪郭全体のエネルギー計算により最適な輪郭形状を探索するので、局所的なノイズや途切れの影響を受けにくい点が挙げられる。しかしながら、初期輪郭線の決定手段や制御点の移動方法については対象に依存することが多く、それ故に様々な派生形が提案された経緯があり、未だ決定的な手法が提案されていない状態とも言える。

動的輪郭モデルにおける動的計画法の利用は、非特許文献１で提案されている。輪郭線を構成している点（制御点）が順序付けされており、注目点とその両隣の３点のみで構成されるエネルギーを最小化する場合に適用できる。動的計画法では制御点の取り得る範囲（移動先候補座標の集合）を決定する必要があり、非特許文献１では現在の位置を含む８近傍画素を制御点の取り得る範囲とした上で、繰り返し演算により制御点を真の輪郭線に近付けていく。

非特許文献１では、動的計画法を繰り返し実行することで正解を得ようとしているが、繰り返し演算の中で輪郭線に類似した背景パターンと遭遇すると、うまく機能しない。これは、制御点の取り得る範囲（移動先候補座標の集合）が正解位置から離れていることが原因である。

しかしながら、制御点の取り得る範囲（移動先候補座標の集合）に正解が含まれていれば、非特許文献１で実施している繰り返し演算は不要となると共に、輪郭線に類似した背景パターンが存在しても、正解（最適解）を特定できる利点が生じる。これを踏まえて、本実施形態では、自己組織化マップにより決定したワイヤ候補点分布を制御点の取り得る範囲として採用する。具体的には、二次元自己組織化マップの縦方向をボンディングワイヤの経路方向とし、横方向を制御点の取り得る範囲（移動先候補座標の集合）とする。

自己組織化マップにより、ワイヤ候補点が始点から終点までの順序関係を保持しつつ縦方向に整列する。また、経路上の一部が欠損していても周囲のユニットＵ（ニューロン）によりデータが補完される。最後に、動的輪郭モデルによって規定されるエネルギーが最小となるワイヤ経路（自己組織化マップ上のニューロン）を動的計画法により決定することで、画像処理的課題を満たす経路が算出される。

具体的な処理方法は下記の通りである。
（１）制御点毎に算出される局所エネルギーを格納するための記憶領域を確保する。制御点数は自己組織化マップの縦方向サイズ（H＝32）と等しく、制御点の取り得る範囲（移動先候補座標の集合）は自己組織化マップの横方向サイズ（W=8）に等しい。注目点とその両隣を合わせた３点の制御点の組み合わせは８^３＝512通りとなるので、以下のように確保する。
Elen[32][8][8][8]
Ecurve[32][8][8][8]
Eimg[32][8][8][8]
（２）最適組み合わせを決定するための記憶領域を以下のように確保する。
SumE[32][8][8]
MinPre[32][8][8]
（３）制御点毎に下式により局所エネルギー（Elen，Ecurve，Eimg）を算出する。

（４）下式によりSumEとMinPreを算出する。

（５）下式により終点（v=31）においてエネルギー最小となる制御点minCurと終点の1つ前（v=30）における制御点minNxtを特定する。

（６）終点（v=31）から始点（v=0）に向けてvを変化させながら、下式によりエネルギー最小となる経路のX座標BestX(v)およびY座標BestY(v)を決定する

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば、上記実施形態では、画像認識対象がボンディングワイヤである場合を例に説明したが、本発明において画像認識対象がこれに限定されるものではなく、ケーブルなど他のひも状柔軟物を画像認識対象とすることも可能である。

１ 画像認識装置
２ ステージ
３ 検査対象物
４ 照明装置
５ カメラ
１０ 処理装置
１１ 候補点抽出処理部
１２ 近似処理部
１３ 選択処理部
２０ ボンディングワイヤ
２０Ｓ 始点
２０Ｅ 終点
２１ 第１の領域
２２ 第２の領域
Ｐ 候補点
Ｕ ユニット
ＵＧ ユニット群
ＵＬ ユニット列

Claims (7)

1. ひも状柔軟物を撮像することによって得られた画像から、前記ひも状柔軟物の候補である複数の候補点を抽出する候補点抽出処理部と、
   前記複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、前記複数のユニットの座標を前記ひも状柔軟物の座標に近似させる近似処理部と、
   各ユニット群を構成する複数のユニットの中から前記候補点との一致度が最も高いユニットを選択することにより、前記ひも状柔軟物の延在経路を特定する選択処理部と、を備えることを特徴とする画像認識装置。
2. 前記候補点抽出処理部は、前記画像の中からあらかじめ設定された領域を切り出し、前記領域の中から前記複数の候補点を抽出することを特徴とする請求項１に記載の画像認識装置。
3. 前記近似処理部は、前記ひも状柔軟物の延在方向と交差する方向に配列された複数のユニットをグループ化することにより、前記複数のユニット群を定義することを特徴とする請求項１又は２に記載の画像認識装置。
4. 前記選択処理部は、動的輪郭モデルにおける動的計画法によって前記候補点との一致度が最も高いユニットを選択することを特徴とする請求項１乃至３のいずれか一項に記載の画像認識装置。
5. ひも状柔軟物を撮像することによって得られた画像の中に設定された第１の領域を切り出すことによって第１の領域画像を生成する第１のステップと、
   前記第１の領域画像から、前記ひも状柔軟物の候補である複数の候補点を抽出する第２のステップと、
   前記複数の候補点を入力層とし、複数のユニット群にグループ化された複数のユニットを出力層とする自己組織化マップを生成し、各候補点に最も近いユニット及びその近傍のユニットの座標を当該候補点に近づける近似処理を行うことによって、前記複数のユニットの座標を前記ひも状柔軟物の座標に近似させる第３のステップと、
   各ユニット群を構成する複数のユニットの中から前記候補点との一致度が最も高いユニットを選択することにより、前記ひも状柔軟物の始点から終点に沿ったユニット列を生成する第４のステップと、
   前記ユニット列の周囲に位置する候補点を含む第２の領域を前記画像から切り出すことによって、前記第１の領域画像よりも範囲の狭い第２の領域画像を生成する第５のステップと、を備え、
   前記第５のステップを実行した後、前記第３及び第４のステップを再び実行することを特徴とする画像認識方法。
6. 前記第３のステップにおいては、前記ひも状柔軟物の延在方向と交差する方向に配列された複数のユニットをグループ化することにより、前記複数のユニット群を定義することを特徴とする請求項５に記載の画像認識方法。
7. 前記第４のステップにおいては、動的輪郭モデルにおける動的計画法によって前記候補点との一致度が最も高いユニットを選択することを特徴とする請求項５又は６に記載の画像認識方法。