JP4090775B2

JP4090775B2 - Appearance inspection method and appearance inspection apparatus for electronic circuit components, and method for manufacturing electronic circuit components

Info

Publication number: JP4090775B2
Application number: JP2002103808A
Authority: JP
Inventors: 智好恒川; 晋也中村
Original assignee: NGK Spark Plug Co Ltd
Current assignee: Niterra Co Ltd
Priority date: 2002-04-05
Filing date: 2002-04-05
Publication date: 2008-05-28
Anticipated expiration: 2022-04-05
Also published as: JP2003302354A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法に関し、より詳細には、外観検査の高精度および高速化に適した電子回路用部品の外観検査方法及びそれに用いられる外観検査装置並びに、該外観検査方法にて外観検査が行なわれる工程を有する電子回路用部品の製造方法に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等のコンピュータの劇的な進歩は勿論のことであるが、カメラやスキャナ等の画像入出力機器、ＣＤやＭＯ等の画像記録装置の進歩に伴い画像処理における処理速度・処理精度といった処理技術は、目覚しく発展するに至っている。
そのような中、従来、目視検査に頼っていたパッケージ基板や半導体部品等の電子回路用部品の外観検査は、画像処理を用いた自動化へと技術転換がなされようとしている。尚、本明細書における電子回路用部品は、セラミックパッケージ基板やプラスチックパッケージ基板といった周知のパッケージ基板および、ＬＳＩやＩＣといった半導体部品を含む周知の電子部品を概念として含有する。
【０００３】
上記外観検査に用いられる画像処理の方法としては、モノクロ処理による白黒２値化処理の方法と、カラー画像処理による方法とが種々検討されている。
また、カラー画像処理を用いた外観検査においては、白黒２値化処理を用いた場合に比べて外観上の微妙な色差の識別能力を高めることができる。そのため、構成原料による微妙な色差が表面に発生しやすい電子回路用部品の外観検査においては、カラー画像処理による方法が、特に有用な方法であることが認識されている。
【０００４】
【発明が解決しようとする課題】
上記カラー画像処理による方法を用いて電子回路用部品の外観検査を行なう場合、一般的にその良否判定となる良品基準値は、目視により得られた判定基準値を基に設定されている。そこで、カラー画像処理に使用する画像データは、人の色感覚に近い、色相Ｈ、彩度Ｓ、明度Ｉを座標成分とするＨＳＩ座標系に対応したものであることが有効である。
しかしながら、通常、カラー撮像に用いられるカメラやスキャナといったカラー受光部においては、撮像したカラー画像の入力信号を出力する際の検知出力の信号が、上記ＨＳＩ座標系に対応したものではない。そのために、ＨＳＩ座標系に対応した画像データを得るためには、カラー受光部からの検知出力の信号に基づく出力値を座標変換する必要がある。この座標変換に要する処理時間は、取り込むカラー画像の情報量にもよるが、電子回路用部品のような大量の製品を順次処理しなければならないものに対しては到底無視できるものではない。
【０００５】
そこで、カラー画像処理に使用される画像データを、カラー受光部からの検知出力の信号と同様の３次元色空間座標系に対応したものとすることが考えられる。該３次元色空間座標系としては、光の三原色である赤Ｒ、緑Ｇ、青Ｂを座標成分とするＲＧＢ座標系を挙げることができる。このような３次元色空間座標系に対応した画像データを用いたカラー画像処理は、ＨＳＩ座標系に対応した画像データを用いたカラー画像処理に比べて、その処理時間を短縮することができる。しかしながら、ＲＧＢ座標系に対応した画像データの各Ｒ、Ｇ、Ｂ座標成分においては、人が赤、緑、青という直感的に知覚する色の側面以外にも、人が直感的に知覚できない色情報が含まれてなる。そのため、人の色感覚に近いＨＳＩ座標系に対応した画像データを用いてカラー画像処理する場合に比べて、画像処理する際に必要となる良品基準値の設定が困難とされるとともに、それに起因した処理精度の低下が問題とされる。
【０００６】
本発明は、上記問題を考慮してなされたものである。すなわち、本発明は、カラー画像処理を用いて外観検査する際の処理精度および処理速度を共に高めることを可能とする電子回路用部品の外観検査方法及びそれに用いられる外観検査装置並びに、該外観検査方法にて外観検査を行なう工程を有する電子回路用部品の製造方法を提供することを目的とする。
【０００７】
【課題を解決するための手段および作用・効果】
上記課題を解決するための本発明の電子回路用部品の外観検査方法は、
電子回路用部品の検査面からの検査光をカラー受光部にて受光し、該カラー受光部の検知出力に基づいて前記検査面内の各位置における３次元色空間座標系の３つの座標成分よりなる検査面色情報を生成し、該検査面色情報のうち少なくとも１つの座標成分を表す検査面色データと予め設定された第一良品基準色情報のうち前記検査面色データに対応する座標成分を表す第一良品基準色データとの差に基づいて不良候補領域を選定し、この選定結果に基づいて不良判定処理を行なうことにより前記検査面における不良領域を特定することを特徴とする。
【０００８】
上記本発明の電子回路用部品の外観検査方法は、その外観検査対象である、電子回路用部品の検査面の外観のカラー画像に対して、２段階の画像処理を施すことにより行なうものである。そこで、１段階目の画像処理であるが、該画像処理は、検査面における不良候補領域の選定を行なうものである。この不良候補領域の選定を行なうにあたって、まず、検査面の外観のカラー画像を、検査面からの検査光をカラー受光部で受光することにより得るとともに、該カラー受光部より、そのカラー画像の入力信号に対する検知出力を出力させる。そして、該検知出力に基づいて、検査面内の各位置における３次元色空間座標系の３つの座標成分よりなる検査面色情報を生成させる。該検査面色情報は、検査面内の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における３次元色空間座標系の独立した３つの座標成分に、それぞれが対応した３つの色空間座標値から構成されるものである。このように、検査面色情報は、検査面内の各位置の位置情報と、その各位置におけるカラー画像情報とを含むものである。
【０００９】
上記検査面色情報を生成させた後、該検査面色情報のうち少なくとも１つの座標成分を表す検査面色データを用意する。また、検査面色情報を構成する検査面内の各位置におけるカラー画像情報の各座標成分それぞれに対して、第一良品基準値を予め設定させておくとともに、これら第一良品基準値からなる予め設定された第一良品基準色情報のうち、検査面色データに対応する座標成分を表す第一良品基準色データを用意する。そして、このように用意された、検査面色データと第一良品基準色データとの各座標成分の差を差分処理による演算処理にて得るとともに、その処理結果からなる第一画像データを作成する。さらに、この第一画像データを用いた画像処理として、第一画像データから、設定したしきい値を超えたものを抽出する。ここで抽出されたデータに対応する検査面内の各位置の集合を、検査面における不良候補領域とする。このような画像処理により、検査面における不良候補領域の選定を行なう。また、この１段階目の画像処理に用いられる第一画像データは、カラー受光部から出力される検知出力の信号と同様な３次元色空間座標系を使用している。その結果、第一画像データを作成する過程において、座標変換する工程を必要とせず、画像処理における処理時間を短縮することが可能となる。
【００１０】
上記のように検査面における不良候補領域の選定を１段階面の画像処理にて行なった後、その選定結果に基づいて、選定された不良候補領域に対してのみ、さらに２段階目の画像処理となる不良判定処理を行なう。該不良判定処理にて、さらに検査面における不良領域の絞込みを行なうことで、不良領域の特定精度を向上させることが可能となる。この不良判定処理は、選定された不良候補領域に対してのみ、画像処理を行なうものであるから、その処理時間を短縮することが可能となる。
上記したような２段階の画像処理を行なうことで、本発明の電子回路用部品の外観検査方法は、その外観検査における処理精度および処理速度を高めることが可能となる。また、不良判定処理における２段階目の画像処理は、不良候補領域の選定における１段階目の画像処理と同様な、差分処理にて作成された画像データを用いた処理や、もしくは、パターンマッチング方式による処理などにて行なうことができる。
【００１１】
次に本発明の電子回路用部品の外観検査方法における前記不良候補領域は、前記検査面色データと前記第一良品基準色データとの差に基づいて予備不良候補領域を抽出し、その抽出結果に基づいて不良候補判定処理を行なうことにより選定されることを特徴とする。
【００１２】
上記したように、不良候補領域は、検査面色データと第一良品基準色データとの差を差分処理にて得るとともに、その処理結果からなる第一画像データを用いた画像処理にて選定される。この画像処理は、第一画像データから設定したしきい値を超えたものを抽出する処理とされるが、設定されるしきい値によって、当然、抽出されるデータは左右される。このことは、設定されるしきい値によって、選定される不良候補領域が、例えば、検査面の全ての領域に対応する、または、特定すべき不良領域より過小な領域に対応する、といったように種々の領域をとり得ることを意味する。また、この種々の領域を予備不良候補領域とする場合、第一画像データは、この予備不良候補領域を抽出した形と見なされる。そこで、この予備不良候補領域より、画像処理とされる不良候補判定処理にて不良候補領域を選定するために設定されるしきい値であるが、少なくとも、検査面内の各位置における良品として許容される数値範囲以下とする。このようにしきい値を設定することで、選定される不良候補領域を、検査面における不良領域を少なくとも含んだものとすることができる。一方、ここで設定されるしきい値を、良品として許容される数値範囲に比べて過小な値とすると、検査面内の全ての領域が不良候補領域に該当としてしまう、といったことが発生し得る。そこで、このことも加味し、電子回路用部品の種類や、その検査面内の各位置において求められる良品許容範囲を考慮した上で、設定されるしきい値は、良品として許容される数値範囲以下においも、その下限値は、適宜設定される。
【００１３】
上記したように、１段階目の画像処理にあたる不良候補判定処理は、検査面色データと第一良品基準色データとの差を差分処理にて得た処理結果である第一画像データを用いて、不良候補領域の選定を行なうものである。そこで、この検査面色データを検査面色情報の３つの座標成分を表すものとするとともに、第一良品基準色データを、検査面色データの３つの座標成分それぞれに対応したものとする。そして、検査面色データと第一良品基準色データとのそれぞれ３つの座標成分の差を差分処理にて得るとともに、その処理結果を第一画像データとする。このような第一画像データを用いて３つの座標成分に対する不良候補判定処理を行なうことで、選定される不良候補領域の選定精度を向上させることができるとともに、外観検査における処理精度をさらに向上させることができる。
【００１４】
次に本発明の電子回路用部品の外観検査方法における前記不良領域は、前記検査面色情報に用いられている３次元色空間座標系とは異なる３次元色空間座標系を用いて特定することを特徴とする。
【００１５】
上記したように不良領域は、１段階目の画像処理にて選定された不良候補領域に対してのみ２段階目の画像処理である不良判定処理を行なうことにより特定される。この不良判定処理においては、不良領域を精度よく特定することが望まれる。そこで、不良判定処理に使用される第二画像データを、検査面色情報に用いられている３次元色空間座標系、つまりは、不良候補領域の選定の際に使用される第一画像データに用いられている３次元色空間座標系とは異なるものとする。このような第二画像データを用いて不良判定処理を行なうことで、不良候補領域を選定するために予め設定された、３次元色空間座標系の各座標成分に対応した第一良品許容値にては、不良とされる領域を、異なる３次元色空間座標系にて再度、判定することが可能となる。その結果、不良判定処理にて特定される不良領域の特定精度を向上させることができる。
【００１６】
さらに、不良判定処理における処理速度をも高める方法として、不良判定処理に使用される第二画像データは、検査面色情報における３つの座標成分それぞれに対応した３つの色空間座標値を表すデータを、座標変換して作成されたデータを基にするものとする。このような第二画像データを用いて不良判定処理を行なうことで、その処理時間を短縮することが可能となる。また、不良判定処理は、不良候補領域に対してのみ行なわれる。よって、該領域に対応するデータのみ座標変換すればよく、従来の方法に比べて、座標変換に必要とされる時間を大幅に短縮することができる。
【００１７】
さらに、不良判定処理における不良領域の絞込みの精度を向上させるために、不良判定処理は、上記した不良候補領域選定における画像処理と同様の方法を用いて行なうものとする。つまり、まず、不良候補領域の各位置における３次元色空間座標系の３つの座標成分よりなる不良領域特定色情報を生成する。該不良領域特定色情報は、不良候補領域の各位置の位置情報と、この各位置における３次元色空間座標系の独立した３つの座標成分それぞれに対応した３つの色空間座標値から構成されたカラー画像情報とを含んだものである。また、この不良領域特定色情報は、検査面色情報とは異なる３次元色空間座標系からなるとともに、検査面色情報における３つの座標成分それぞれに対応した３つの色空間座標値を表すデータのうち、不良候補領域に対応するものを座標変換して生成させることもできる。次に、不良領域特定色情報のうち少なくとも１つの座標成分を表す不良領域特定色データを用意する。また、不良領域特定色情報を構成する不良候補領域の各位置におけるカラー画像情報の各座標成分それぞれに対して、第二良品基準値を予め設定させておくとともに、これら第二良品基準値からなる予め設定された第二良品基準色情報のうち、不良領域特定色データに対応する座標成分を表す第二良品基準色データを用意する。そして、このように用意された、不良領域特定色データと第二良品基準色データとの各座標成分の差を差分処理による演算処理にて得るとともに、その処理結果からなる第二画像データを作成する。さらに、この第二画像データを用いた画像処理とされる不良判定処理として、第二画像データから、設定したしきい値を超えたものを抽出する。ここで抽出されたデータに対応する検査面内の各位置の集合を、検査面の不良領域とする。このような不良判定処理により、検査面における不良領域の特定を行なうことで、その特定精度を向上させることができる。
【００１８】
次に、上記した不良領域特定色データを不良領域特定色情報の３つの座標成分を表すものとするとともに、第二良品基準色データを、不良領域特定色データの３つの座標成分それぞれに対応したものとする。そして、不良領域特定色データと第二良品基準色データとのそれぞれ３つの座標成分の差を差分処理にて得るとともに、その処理結果を第二画像データとする。このような第二画像データを用いて３つの座標成分に対する不良判定処理を行なうことで、特定される不良領域の特定精度をさらに向上させることができるとともに、外観検査における処理精度をさらに向上させることができる。
【００１９】
上記した、不良領域特定色データと第二良品基準色データとの差を差分処理にて得るとともに、その処理結果からなる第二画像データを用いて不良領域を特定する不良判定処理は、第二画像データから設定したしきい値を超えたものを抽出する処理とされるが、設定されるしきい値によって、当然、抽出されるデータは左右される。このことは、設定されるしきい値によって、特定される不良領域が、例えば、不良候補領域全ての領域に対応するといったように種々の領域をとり得ることを意味する。また、この種々の領域を予備不良領域とする場合、第二画像データは、この予備不良領域を抽出した形と見なされる。そこで、この予備不良領域より、不良判定処理にて不良領域を特定するために設定されるしきい値であるが、検査面の各位置における良品として許容される数値範囲程度とする。このようにしきい値を設定することで、特定される不良領域の特定精度をさらに高めることが可能となる。
【００２０】
ここまでに、本発明の電子回路用部品の外観検査方法において、その処理精度および処理速度を高めるための方法について述べてきた。また、本発明の特徴は、外観検査におけるカラー画像処理を２段階にて行なうことである。特に、１段階目と２段階目における画像処理を、異なる３次元色空間座標系からなる画像データを用いて行なうことである。
そのような外観検査方法において、不良候補領域の選定を行なう１段階目の画像処理に用いられる第一画像データの３次元色空間座標系、つまりは、検査面色情報に用いられる３次元色空間座標系は、ＲＧＢ（赤、緑、青）座標系からなるものが、特に有効である。なぜなら、外観をカラー撮像するためのカラー受光部としては、ＣＣＤカメラが多く用いられており、その検知出力の信号は、ＲＧＢ座標系に対応したものとされるからである。次に、不良領域の特定を行なう２段階目の画像処理とされる不良判定処理に用いられる画像データとしては、ＨＳＩ（色相、彩度、明度）座標系からなるものが、特に有効である。なぜなら、電子回路用部品の良品基準値は、目視により得られた判定基準を基に設定する必要があり、ＨＳＩ座標系が、人の色感覚に近いものとされるからである。
【００２１】
また、２段階目の画像処理とされる不良判定処理は、１段階目の画像処理にて選定された不良候補領域のみに対して行なわれる。よって、ＲＧＢ座標系よりなる検査面色情報の３つの座標成分それぞれ対応する３つの色空間座標値を表すデータを、ＨＳＩ座標系に座標変換する際には、不良候補領域に対応したデータのみを用いればよい。その結果、従来、ＨＳＩ座標系に座標変換するために要した時間に比べて、その時間を大幅に短縮することが可能となる。
【００２２】
勿論、不良候補領域選定をなす1段階目の画像処理および不良領域特定をなす２段階目の画像処理それぞれに用いられる３次元色空間座標系は、上記のものに限定されるものではない。例えば、不良候補領域選定における画像処理を、ＲＧＢ座標系よりなる画像データを用いて行い、不良領域特定における画像処理を、ＲＧＢ座標系を用いたパターンマッチング方式によるものとすることも可能である。また、不良候補領域選定における画像処理を、ＲＧＢ座標系の一つ又は二つの座標成分に対応する画像データを用いて行い、不良領域特定における画像処理を、ＲＧＢ座標系の三つの座標成分に対応する画像データを用いて行なうことも可能である。さらに、ＲＧＢ座標系およびＨＳＩ座標系は、それぞれ独立した３つの座標成分からなるが、該座標成分に従属する座標成分を加えた、４つ以上の座標成分よりなる画像データを用いて画像処理することも可能である。
【００２３】
上記のように、画像処理に用いられる画像データをなす３次元色空間座標系は、外観検査処理において、必要とされる処理精度または処理時間を考慮して、適宜選択されるものである。第一として、本発明における、画像処理方法または画像処理に用いられる画像データをなす３次元色空間座標系は、公知のものが適要可能である。
【００２４】
次に、上述してきたような電子回路用部品の外観検査方法を行なうための外観検査装置について述べる。そこで、本発明の電子回路用部品の外観検査装置は、
電子回路用部品の検査面を撮像するカラー受光部と、
該カラー受光部の検知出力に基づいて前記検査面内の各位置における３次元色空間座標系の３つの座標成分よりなる検査面色情報を生成する検査面情報生成手段と、
該検査面色情報のうち少なくとも１つの座標成分を表す検査面色データと予め設定された第一良品基準色情報のうち前記検査面色データに対応する座標成分を表す第一良品基準色データとの差に基づいて不良候補領域を選定する不良候補領域選定手段と、
この不良候補領域のみにさらに画像処理を行なうことにより前記検査面における不良領域を特定する不良領域特定手段と、
を備えてなることを特徴とする。
【００２５】
まず、カラー受光部にて電子回路用部品の検査面のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、-各画素におけるカラー画像を表す３次元色空間座標系の３つの座標成分それぞれに対応する検知出力の信号を、カラー受光部より出力させる。次に、出力された検知出力のアナログ信号に基づいて検査面内の各位置における３次元色空間座標系の３つの座標成分それぞれに対応する３つの色空間座標値よりなる検査面色情報をデジタル信号として生成する検査面情報生成手段は、パーソナルコンピュータ（ＰＣ）などのコンピュータに具備させることができる。そして、該検査面色情報のうち少なくととも１つの座標成分を表す検査面色データと、予め設定された第一良品基準色情報のうち検査面色データに対応する座標成分を表す第一良品基準データとの各座標成分の差を差分処理による演算処理にて得るとともに、その処理結果からなる第一画像データを作成し、さらに、該第一画像データより設定されたしきい値を超えるものを抽出する画像処理を行なうことで、検査面における不良候補領域を選定する不良候補領域選定手段は、上記同様にＰＣなどのコンピュータに具備させることができる。このような手段を具備することで、上記不良候補領域選定を行なうことが可能となる。また、不良候補領域選定にて選定された領域の各位置の情報が記録されたデータを基に、該領域のみさらに画像処理を行って検査面における不良領域を特定する手段も、コンピュータに具備させることができる。このような手段を具備した本発明の外観検査装置を用いることで、上述したような電子回路用部品の外観検査方法を行なうことができる。
また、カラー受光部から出力される検知出力の出力値に対応したデータを、異なる座標系に座標変換させて、新たなデータを作成する必要がある場合、その座標変換させるための演算処理および該演算処理の処理結果からなるデータを作成する手段は、コンピュータに具備させることができる。
【００２６】
ここまでに、本発明の電子回路用部品の外観検査方法および外観検査装置について述べた。次に、このような外観検査方法により、電子回路用部品の外観検査を行なう外観検査工程を有する本発明の電子回路用部品の製造方法について述べる。まず、配線パターンを基板上に形成させる工程にて、電子回路用部品の素子機能に応じた配線パターンが形成される。このような配線パターンが形成された基板上の外観に対して、異物の付着、変色、クラック、表面の剥がれ等の不良領域を外観検査する必要がある。そこで、この配線パターンが形成された基板上の検査面に対する外観検査を上記したような外観検査方法を用いた判定工程にて行なう。該判定工程においては、まず、上記した外観検査方法と同様の方法を用いて、１段階目の画像処理にて不良候補領域を選定し、この選定された不良候補領域に対してのみ２段階目の画像処理を順次行なうことで、基板上の検査面における不良領域の特定を行なう。そして、さらに、特定された不良領域に対応する配線パターンの各部位における面積、長さ等の形状をそれぞれ評価することで、最終的な不良判定・選別を行なう。このような作業工程にて基板上の検査面の外観に対する判定工程を行なうことで、その外観検査の処理精度および処理速度を向上させることができる。その結果、製造される電子回路用部品の歩留まりの向上を可能とするとともに、その製造効率を高めることが可能となる。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて説明を行なう。
図１は、本発明の電子回路用部品の外観検査装置の一実施形態を示す概略構成図である。外観検査装置１００は、電子回路用部品１を載置するステージ２０を具備してなる。また、ステージ２０は、移動制御装置５０からの電力により、電子回路用部品１の位置決め及び搬送を、自動的に行なうことができる。外観検査装置１００は、その他に、光源３０からの光を電子回路用部品１の検査面上に照明させるための照明装置４０、カラー受光部２および画像処理装置１１などを含んだ構成とされる。カラー受光部２は、外観検査対象となる電子回路用部品１の検査面の外観のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、各画素におけるカラー画像を表す３次元色空間座標系の３つの座標成分それぞれに対応する検知出力の信号を画像処理装置１１に出力する機能を持つ。次に、画像処理装置１１は、図３に示すように、演算処理等の機能をなすＣＰＵ１３、データを記憶する機能をなすメモリ１４、データを保管および蓄積する機能をなすハードディスク１５、カラー受光部２から出力される、カラー画像を表す３次元色空間座標系の３つの座標成分それぞれに対応する検知出力の信号を取り込むとともに、そのアナログ信号をデジタル信号にＡ／Ｄ変換させる機能を持つ画像取込ボード１６、および、取込画像や処理状態等を表示するモニター１２などを有してなる。このような画像処理装置１１により、画像データの作成、画像処理等を行なうことができる。なお、図１および図３における画像処理装置１１の形態は、パーソナルコンピュータ（ＰＣ）を主体としたものとなっているが、ＰＣの代わりにワークステーションなど汎用コンピュータを使用することもできる。また、画像取込および処理機能を特化させた画像処理装置を、コンピュータに外部接続させる形態にて機能させることもできる。さらに、ハードディスク１５を、ここでは補助記憶装置として位置づけているが、この補助記憶装置としてのハードディスクをＭＯ、ＣＤ−ＲＯＭなどのリームバル記憶媒体、または、ＬＡＮなどで接続された外部の記憶媒体に置き換えることもできる。一方、メモリ１４は、画像データの記憶ならびに画像処理、演算処理等に用いられるが、これらメモリ１４の機能をハードディスク１５にてなすことも勿論可能である。
【００２８】
次に、図１、図２および図３を併用して本発明の外観検査方法について説明を行なう。図２は、外観検査方法の一作業手順を示すものである。ステージ２０に載置された電子回路用部品１の検査面に対して、光源３０からの光を照明装置４０を介して照射し、電子回路用部品１の検査面の外観のカラー画像をカラー受光部２にて撮像するとともに、その検査面の各位置に対応する各画素における、カラー画像を表す３次元色空間座標系の３つの座標成分それぞれに対応する検知出力の信号を画像処理装置１１に出力する。そして、画像処理装置１１の画像取込ボード１６にて、入力された検知出力の信号を、Ａ／Ｄ変換するとともに、デジタル信号としての検査面色情報を生成する。この検査面色情報は、検査面の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における、３次元色空間座標系の独立した３つの座標成分それぞれに対応した３つの色空間座標値から構成されるものである。このように、検査面色情報は、検査面の各位置の位置情報と、その各位置におけるカラー画像情報とを含むものである。このような検査面色情報を画像取込ボード１６を介して、検査面のカラー画像の情報として、画像処理装置１１に取り込む。この作業がステップ１にあたる。
【００２９】
ステップ１にて画像処理装置１１に入力された検査面色情報を、画像処理装置１１のメモリ１４に第一検査画像として保管しておく。そして、予めメモリ１４に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置１１にて計算する。その後、該ズレ量を基に第一検査画像の位置補正を行い、メモリ１４に保管する。この作業がステップ２にあたる。
【００３０】
ステップ２にて、メモリ１４に保管された第一検査画像は、検査面色情報と同様の情報を有するものであり、検査面色情報を構成する検査面の各位置におけるカラー画像情報の３つの座標成分それぞれを表す３座標成分からなる。次に、その３つの座標成分それぞれを表す３座標成分のうち、すくなくとも1つの座標成分よりなる検査面色データを画像処理装置１１にて作成する。また、検査面色情報を構成する検査面の各位置におけるカラー画像情報の各座標成分それぞれに対して、第一良品基準値を予め設定させておくとともに、これら第一良品基準値からなる第一良品基準色情報を予めメモリ１４に読み込ませておく。そして、該第一良品基準色情報のうち、検査面色データの座標成分に対応する座標成分を表す第一良品基準色データを画像処理装置１１にて作成するとともに、該第一良品基準色データと検査面色データとの各座標成分の差を、画像処理装置１１のＣＰＵ１３およびメモリ１４を用いた差分処理による演算処理にてもとめ、その処理結果からなる第一画像データを作成する。この作業が、ステップ３にあたる。その後、該第一画像データから、設定されたしきい値を超えたデータを抽出するという、画像処理を行なう。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、不良候補領域とする。この作業が、ステップ４の不良候補領域選定にあたる。
【００３１】
ステップ４にて抽出されたデータは、不良候補領域の各位置の位置情報を持つものである。そこで、この抽出されたデータを、第一抽出データとしてメモリ１４に保管するとともに、ステップ２にてメモリ１４に保管された第一検査画像との比較処理を行ない、不良候補領域の各位置におけるカラー画像情報の３つの座標成分それぞれを表す３座標成分からなる第一抽出検査画像を作成する。該第一抽出検査画像を基に、画像処理装置１１でさらに画像処理を行なう。このような画像処理による不良判定処理にて、検査面における不良領域の特定がなされる。この作業が、ステップ５の不良領域特定にあたる。
【００３２】
上記ステップ５までの作業によって、２段階に分けた画像処理による検査面における不良領域の特定が行なわれる。また、１段階目にあたるステップ４の画像処理は、カラー受光部からの検知出力の信号と同じ３次元色空間座標系からなる画像データを用いている。その結果、画像データを作成する過程において座標変換を行なう作業を必要としないので、画像処理の処理時間を短縮することができる。さらに、不良領域を特定するために行なわれる２段階目の画像処理（ステップ５）は、１段階目の画像処理（ステップ４）にて選定された不良候補領域のみに対して行なわれるので、画像処理の処理時間を低減することが可能となる。また、２段階にて画像処理行なうことで、検査面に対する外観検査の検査精度を高めることが可能となる。
【００３３】
次に、ステップ５の作業の後、特定された不良領域のみに対応した第二抽出検査画像を用いて、電子回路用部品１の検査面内において不良領域とされた各部位それぞれの面積、長さを画像処理装置１１にて解析を行ない、形状評価データを作成する。該形状評価データから、電子回路用部品１の検査面内に形成された配線パターンの各部位ごとに設定されたしきい値を超えるものが抽出された場合、その電子回路用部品１を不良と判定する。この作業が、ステップ６の形状評価による良否判定にあたる。
【００３４】
上記の作業手順により、電子回路用部品1の外観検査が行なわれるが、この作業手順は、一例にすぎない。ステップ２の位置補正や、画像処理装置１１におけるデータの作成、演算処理および解析の方法・手順等は、公知のものが適用可能である。また、ステップ４の画像処理においても、例えば、第一良品基準値と、設定されたしきい値との値をそれぞれ交換させて、同様の画像処理を行なうことも可能である。
【００３５】
次に、画像データに用いられる３次元色空間座標系の具体例および、ステップ５の不良領域特定の具体例を合わせて、以下に本発明の外観検査方法の実施例について説明を行なう。
【００３６】
（実施例１）カラー受光部２として、光の三原色（赤R、緑G、青B）別に、カラー画像を取り込めるものを用いる。例えば、ＣＣＤ型の３板式カラーラインセンサカメラなどを用いる。このようなラインセンサカメラ２を用いて、図４に示すように、電子回路用部品１を載置したステージ２０をカメラスキャン方向とは垂直方向とされるＸ方向に移動させることにより、電子回路用部品１の検査面の外観のカラー画像を、Ｒ、Ｇ、Ｂ別に検査面色情報として画像処理装置１１に取り込む。また、Ｒ、Ｇ、Ｂ別の各取り込み画像は、図４に示すように、画素を最小単位として構成され、各画素の大きさは、使用するラインセンサカメラ２の種類やレンズの種類により決まる分解能にて規定される。一方、Ｒ、Ｇ、Ｂ別にラインセンサカメラ２より画像処理装置１１に出力される検知出力の出力値を表す輝度の大きさは、画像処理装置１１にて、例えば、０〜２５５の１バイトのデジタル値に変換される。このようにして、検査面の各位置にそれぞれが対応した各画素の位置における、Ｒ、Ｇ、Ｂ座標成分それぞれに対応した色空間座標値から構成される検査面色情報を、画像処理装置１１に取り込むとともに、該検査面色情報は、検査面の各位置の位置情報と、その各位置におけるＲＧＢ座標系にて表されるカラー画像情報とを含むものとされる。
【００３７】
次に、画像処理装置１１に入力された検査面色情報を、画像処理装置１１のメモリ１４に第一検査画像として保管しておく。そして、予めメモリ１４に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置１１に計算する。その後、該ズレ量を基に第一検査画像の位置補正を行ない、メモリ１４に保管する。
【００３８】
上記位置補正を行なった後、メモリ１４に保管された第一検査画像における検査面の各位置のカラー画像情報を表すそれぞれＲ、Ｇ、Ｂ座標成分のうち、少なくとも1つの座標成分よりなる検査面色データを画像処理装置１１にて作成する。また、検査面の各位置におけるＲ、Ｇ、Ｂ座標成分それぞれに対して、第一良品基準値を予め設定させておくとともに、これら第一良品基準値からなる第一良品基準色情報を予めメモリ１４に読み込ませておく。そして、該第一良品基準色情報のうち、検査面色データの座標成分に対応する座標成分を表す第一良品基準色データを画像処理装置１１にて作成するとともに、該第一良品基準色データと検査面色データとの各座標成分の差を、ＣＰＵ１３およびメモリ１４を用いた差分処理にてもとめ、その処理結果からなる第一画像データを作成する。その後、該第一画像データから設定されたしきい値を超えたものを抽出するという、画像処理を行なう。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、不良候補領域とする。また、該画像処理にて設定されるしきい値を、少なくとも良品許容範囲以下のものとすることで、抽出されたデータを基に選定される不良候補領域を少なくとも不良領域が含有されたものとすることができる。
【００３９】
上記不良候補領域選定は、検査面の外観のＲ、Ｇ、Ｂ別のカラー画像のうち少なくとも一つのカラー画像に対して行なわれる。例えば、外観が緑（G）色に近いものである場合は、上記第一検査画像のうちＧ座標成分のみからなる検査面色データを用いた画像処理を行なう。または、外観が白色に近いものである場合は、上記第一検査画像のＲ、Ｇ、Ｂ座標成分の3座標成分よりなる検査面色データを用いた画像処理を行なうといった様に、画像処理を行なうために作成される検査面色データを構成する座標成分の種類および座標成分数は、適宜選択されるものである。
【００４０】
次に、上記不良領域選定を行なうための画像処理にて抽出されたデータを、第一抽出データとしてメモリ１４に保管するとともに、メモリ１４に保管された第一検査画像との比較処置を行ない、不良候補領域の各位置におけるカラー画像情報のＲ、Ｇ、Ｂ座標成分それぞれを表す３座標成分からなる第一抽出検査画像を作成する。次に、このＲ、Ｇ、Ｂ座標成分よりなる第一抽出検査画像を、色相Ｈ、彩度Ｓ、明度Ｉを座標成分とするＨＳＩ座標系に、ＣＰＵ１３およびメモリ１４を用いて座標変換を行ない、不良領域特定色情報を生成するとともに、第二検査画像としてメモリ１４に保管する。この不良領域特定色情報、つまり、第二検査画像は、不良候補領域の各位置の位置情報と、その各位置におけるＨＳＩ座標系にて表されるカラー画像情報とを含んだものである。また、色相Hは、色合いを表すものであり、図５（ａ）に示すように、周方向に対してR（赤）、Ｙ（黄）、Ｇ（緑）、Ｃ（シアン）、Ｂ（青）、Ｍ（マゼンダ）が規定され、その中心に対する角度により色合いが定義されるものである。そこで、該色合いを示す０〜３６０度の範囲からなる角度を、０〜２５５（１バイト）の値に割り充てたものを、Ｈ座標成分の色空間座標値とする。例えば、Ｒを０とすると、Gが８５、Ｂが１７０となり、２５５で再びＲとなる。次に、図５（ｂ）のＨＳＩ座標系に示すように、色の鮮やかさを表す彩度Ｓは、中心からの長さにて定義されるものである。そこで、その長さを、０〜２５５（１バイト）の値に割り充てたものを、Ｓ座標成分の色空間座標値とする。最後に、色の明るさを表す明度Ｉは、中心軸上の位置で定義されるものである。そこで、その位置を、０〜２５５（１バイト）の値に割り充てたものを、I座標成分の色空間座標値とする。
【００４１】
上記のようにそれぞれの座標成分の色空間座標値が規定された、第二検査画像を用いて、不良領域を特定するための不良判定処理とされる画像処理を以下の手順でおこなう。まず、メモリ１４に保管された第二検査画像における不良候補領域の各位置のカラー画像情報を表すそれぞれＨ、Ｓ、Ｉ座標成分のうち、少なくとも1つの座標成分よるなる不良領域特定色データを画像処理１１にて作成する。また、検査面の各位置におけるＨ、Ｓ、Ｉ座標成分それぞれに対して、第二良品基準値を予め設定させておき、これら第二良品基準値からからなる全第二良品基準色情報を予めメモリ１４に読み込ませておくとともに、該全第二良品基準色情報と、メモリ１４に保管された第一抽出データとの比較処理を行ない、不良候補領域の各位置におけるＨ、Ｓ、Ｉ座標成分それぞれに対して予め設定された第二良品基準値から構成される第二良品基準色情報を作成し、メモリ１４に保管させておく。そして、該第二良品基準色情報のうち、不良領域特定色データの座標成分に対応する座標成分を表す第二良品基準色データを画像処理装置１１にて作成するとともに、該第二良品基準色データと不良領域特定色データとの各座標成分の差を、ＣＰＵ１３およびメモリ１４を用いた差分処理にてもとめ、その処理結果からなる第二画像データを作成する。その後、該第二画像データから設定されたしきい値を超えたものを抽出するという、不良判定処理にあたる画像処理を行なう。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、不良領域とする。また、該画像処理にて設定されるしきい値は、良品許容範囲程度のものとすることで、精度よく不良領域を特定することができる。このような手順にて不良領域を特定するための画像処理がなされる。また、この画像処理においても、用いられる不良領域特定色データを構成する座標成分の種類および座標成分数は、必要とされる不良領域特定のための特定精度等を考慮し、適宜選択されればよい。
【００４２】
上述のような方法にて、不良候補領域選定および不良領域特定が行なわれるが、不良候補領域選定での画像処理に用いられる第一画像データは、ＲＧＢ座標系に対応したものであり、他方、不良領域特定での画像処理に用いられる第二画像データは、ＨＳＩ座標系に対応したものである。このような３次元色空間座標系を選択することで、不良候補領域選定の画像処理に用いられる第一画像データを、カラー受光部から検知出力として出力される信号と同様の３次元色空間座標系とすることができ、他方、不良領域特定の画像処理に用いられる第二画像データにおいては、良品基準値を設定する際、その基になる目視判定をなす人の色感覚に近い３次元色空間座標系とすることができる。その結果、外観検査の処理精度および処理速度を高めることが可能となる。さらに、不良領域特定に際して必要とされるＨＳＩ座標系へのデータの座標変換処理は、不良候補領域選定にて選定された不良候補領域に対応するデータに対してのみ行なえばよい。そのため、従来、必要とされたＨＳＩ座標系への座標変換処理に要する処理時間に比べて、その処理時間を大幅に低減させることが可能となる。
【００４３】
次に、上記不良領域特定における画像処理にて、第二画像データから抽出されたデータは、不良領域の各位置の位置情報を持つものである。そこで、この抽出されたデータを第二抽出データとするとともに、第二抽出検査画像としてメモリ１４に保管する。そして、該第二抽出検査画像を用いて、図２に示すステップ６の形状評価による良否判定を、上述と同様の方法にて行ない、最終的な外観の良否判定とする。
【００４４】
次に、不良領域特定を、ＲＧＢ座標系に対応する画像データを用いた、パターンマッチング方式による画像処理にて行なう場合を、実施例２として以下に説明する。
【００４５】
（実施例２）不良領域特定までの手順は、実施例１と同様の手順にて行なう。実施例１の不良候補領域選定にて選定された、不良候補領域の各位置におけるカラー画像情報のＲ、Ｇ、Ｂ座標成分それぞれを表す３座標成分からなる第一抽出検査画像を用いて、不良領域特定を行なう。該第一抽出検査画像は、Ｒ座標成分、Ｇ座標成分、Ｂ座標成分それぞれのカラー画像の情報から構成されるカラー画像情報と、不良候補領域の各位置の位置情報とを含むものである。そこで、このＲ座標成分、Ｇ座標成分、Ｂ座標成分別の良品パターンをそれぞれ表す３つの色パターン成分からなるパターンデータを予め作成しておき、少なくともその一つの色パターン成分と、該色パターン成分に対応する第一抽出検査画像の座標成分とを、不良候補領域の各位置に対応する形で比較処理する。該比較処理による画像処理にて、良品パターン以外の不良欠陥からなる不良領域が、データとして抽出される。このようにして、不良領域特定を行なう。
【００４６】
上記パターンマッチング方式による画像処理は、第一抽出検査画像の少なくとも一つの座標成分に対して行なわれる。例えば、不良候補領域選定における画像処理を、Ｇ座標成分に対してのみ行なった場合は、パターンマッチング方式による画像処理を、Ｒ、Ｇ、Ｂ座標成分の全てに対して行ない、不良領域を特定するための特定精度を高めることができる。この様に、パターンマッチング方式による画像処理においても、使用される座標成分の種類および座標成分数は、必要とされる不良領域特定の特定精度等を考慮し、適宜選択されればよい。
【００４７】
実施例２による画像処理にて不良領域特定を行なう場合、実施例１におけるＨＳＩ座標系を用いた画像処理に場合に比べて、その画像処理の処理時間を短縮できる利点がある。また、実施例２による不良候補領域選定および不良領域特定の２段階の外観検査方法にて、十分、検査面に対する外観検査の検査精度が確保できる電子回路用部品を扱う場合、実施例２の外観検査方法は、特に有効な方法となる。
【００４８】
上述してきた本発明の外観検査方法を用いることで、電子回路用部品の検査面に対して行なわれる外観検査の検査精度および検査速度を高めることが可能となる。また、電子回路用部品の素子機能に応じた配線パターンが基板上に形成された、該基板上の外観に対して、異物の付着、変色、クラック、表面の剥がれ等を外観検査する判定工程を有する電子回路用部品の製造方法においても、該判定工程を本発明の外観検査方法と同様な方法を用いて行なうことで、その外観に対する検査精度および検査速度を向上させることができる。
【００４９】
尚、上述した本発明に係わる実施形態および実施例は、あくまで一例であって、電子回路用部品の検査面の外観検査を２段階からなる画像処理にて行なう概念のものは、本発明の概念に内包されるものである。
【図面の簡単な説明】
【図１】本発明の外観検査装置の一実施形態を示す概略構成図。
【図２】本発明の外観検査方法の一作業手順を示す概略工程図。
【図３】本発明の外観検査装置の要部の概略構成図。
【図４】本発明の外観検査方法を説明するための模式図。
【図５】本発明の外観検査方法に用いられる3次元色空間座標系を説明するための模式図。
【符号の説明】
１電子回路用部品
２カラー受光部（ラインセンサカメラ）
１１画像処理装置
１００外観検査装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection method and an appearance inspection apparatus for an electronic circuit component, and a method for manufacturing an electronic circuit component, and more specifically, an appearance inspection method for an electronic circuit component suitable for high accuracy and high speed of the appearance inspection. The present invention also relates to an appearance inspection apparatus used therefor, and a method for manufacturing an electronic circuit component having a step in which an appearance inspection is performed by the appearance inspection method.
[0002]
[Prior art]
In recent years, not only dramatic progress in computers such as personal computers (PCs) and workstations (WS), but also in image input / output devices such as cameras and scanners, and image recording devices such as CDs and MOs, etc. Accordingly, processing techniques such as processing speed and processing accuracy in image processing have been remarkably developed.
Under such circumstances, the technical inspection of the appearance inspection of electronic circuit components such as package substrates and semiconductor components, which has conventionally relied on visual inspection, is going to be converted to automation using image processing. Note that the electronic circuit component in the present specification conceptually includes a known package substrate such as a ceramic package substrate or a plastic package substrate, and a known electronic component including a semiconductor component such as an LSI or an IC.
[0003]
As an image processing method used for the appearance inspection, various methods such as a black and white binarization processing method using a monochrome processing and a color image processing method have been studied.
Further, in the appearance inspection using color image processing, it is possible to enhance the ability to discriminate subtle color differences in appearance compared with the case of using black and white binarization processing. For this reason, it has been recognized that the color image processing method is a particularly useful method in the appearance inspection of electronic circuit components that are likely to generate subtle color differences due to their constituent materials.
[0004]
[Problems to be solved by the invention]
When visual inspection of electronic circuit components is performed using the above-described method based on color image processing, generally, the non-defective product reference value for determining the quality is set based on a visually determined determination reference value. Therefore, it is effective that the image data used for color image processing corresponds to an HSI coordinate system having hue H, saturation S, and lightness I as coordinate components that are close to human color sensations.
However, normally, in a color light receiving unit such as a camera or a scanner used for color imaging, a detection output signal when outputting an input signal of a captured color image does not correspond to the HSI coordinate system. Therefore, in order to obtain image data corresponding to the HSI coordinate system, it is necessary to coordinate-transform the output value based on the detection output signal from the color light receiving unit. The processing time required for this coordinate conversion depends on the amount of information of the color image to be captured, but it cannot be ignored for a product that must process a large number of products such as electronic circuit components in sequence.
[0005]
Therefore, it is conceivable that the image data used for the color image processing corresponds to the same three-dimensional color space coordinate system as the detection output signal from the color light receiving unit. Examples of the three-dimensional color space coordinate system include an RGB coordinate system having red R, green G, and blue B, which are the three primary colors of light, as coordinate components. Color image processing using image data corresponding to such a three-dimensional color space coordinate system can reduce the processing time compared to color image processing using image data corresponding to the HSI coordinate system. However, in each of the R, G, and B coordinate components of the image data corresponding to the RGB coordinate system, in addition to the color aspect that humans perceive intuitively, colors that humans cannot perceive intuitively Contains information. For this reason, it is difficult to set a non-defective standard value necessary for image processing as compared with a case where color image processing is performed using image data corresponding to an HSI coordinate system close to human color sense. Such a decrease in processing accuracy is a problem.
[0006]
The present invention has been made in consideration of the above problems. That is, the present invention relates to an appearance inspection method for electronic circuit components, an appearance inspection apparatus used therefor, and an appearance inspection that can increase both the processing accuracy and the processing speed when performing an appearance inspection using color image processing. An object of the present invention is to provide a method of manufacturing an electronic circuit component having a step of performing an appearance inspection by the method.
[0007]
[Means for solving the problems and actions / effects]
The visual inspection method for electronic circuit components of the present invention for solving the above problems is as follows.
Inspection light from the inspection surface of the electronic circuit component is received by the color light receiving unit, and based on the detection output of the color light receiving unit, from the three coordinate components of the three-dimensional color space coordinate system at each position in the inspection surface The inspection surface color information is generated, and the inspection surface color data representing at least one coordinate component in the inspection surface color information and the first coordinate component corresponding to the inspection surface color data among the first non-defective product reference color information set in advance. A defect candidate area is selected based on the difference from the good standard color data, and a defect determination process is performed based on the selection result to identify the defect area on the inspection surface.
[0008]
The electronic circuit component appearance inspection method of the present invention is performed by performing two-stage image processing on the color image of the appearance of the inspection surface of the electronic circuit component, which is the appearance inspection target. . In view of this, the first stage of image processing is to select a defect candidate area on the inspection surface. In selecting the defect candidate area, first, a color image of the appearance of the inspection surface is obtained by receiving the inspection light from the inspection surface by the color light receiving unit, and the color image is input from the color light receiving unit. The detection output for the signal is output. Then, based on the detection output, inspection surface color information including three coordinate components of a three-dimensional color space coordinate system at each position in the inspection surface is generated. The inspection surface color information corresponds to each of three independent coordinate components of the three-dimensional color space coordinate system at each position in the inspection surface, that is, at each pixel position that partitions the color image of the appearance of the inspection surface. It is composed of the three color space coordinate values. Thus, the inspection surface color information includes position information of each position in the inspection surface and color image information at each position.
[0009]
After generating the inspection surface color information, inspection surface color data representing at least one coordinate component of the inspection surface color information is prepared. In addition, the first non-defective product reference value is set in advance for each coordinate component of the color image information at each position in the test surface constituting the test surface color information, and the first non-defective product reference value is set in advance. Of the first non-defective product reference color information, first non-defective product reference color data representing coordinate components corresponding to the inspection surface color data is prepared. And the difference of each coordinate component of inspection surface color data prepared in this way and 1st quality standard color data is obtained by the arithmetic processing by difference processing, and the 1st image data which consists of the processing result is created. Further, as the image processing using the first image data, those exceeding the set threshold value are extracted from the first image data. A set of positions in the inspection surface corresponding to the extracted data is set as a defect candidate area on the inspection surface. By such image processing, a defect candidate area on the inspection surface is selected. The first image data used for the first stage image processing uses the same three-dimensional color space coordinate system as the detection output signal output from the color light receiving unit. As a result, in the process of creating the first image data, it is possible to shorten the processing time in image processing without requiring a coordinate conversion step.
[0010]
After selecting the defect candidate area on the inspection surface by the first-stage image processing as described above, the second-stage image processing is performed only on the selected defect candidate area based on the selection result. A defect determination process is performed. By further narrowing down the defective area on the inspection surface in the defect determination process, it is possible to improve the accuracy of identifying the defective area. In this defect determination process, image processing is performed only on the selected defect candidate area, so that the processing time can be shortened.
By performing the two-stage image processing as described above, the electronic circuit component visual inspection method of the present invention can increase the processing accuracy and processing speed in the visual inspection. Further, the second-stage image processing in the defect determination process is the same as the first-stage image processing in the selection of the defect candidate area, or a process using image data created by the difference process, or a pattern matching method. It can be performed by the process by.
[0011]
Next, in the electronic circuit component appearance inspection method of the present invention, the defect candidate area is extracted as a preliminary defect candidate area based on the difference between the inspection surface color data and the first non-defective product reference color data. It is selected by performing a defect candidate determination process based on it.
[0012]
As described above, the defect candidate area is selected by the image processing using the first image data formed by the difference between the inspection surface color data and the first good product reference color data obtained by the difference processing. . This image processing is processing for extracting the first image data that exceeds the set threshold value, but naturally the data to be extracted depends on the set threshold value. This means that the defect candidate area selected by the set threshold corresponds to, for example, all areas on the inspection surface, or corresponds to an area smaller than the defect area to be specified. It means that various regions can be taken. When these various areas are used as preliminary defective candidate areas, the first image data is regarded as a form obtained by extracting the preliminary defective candidate areas. Therefore, a threshold value set for selecting a defect candidate area in the defect candidate determination process, which is an image process, from the preliminary defect candidate area, but at least allowed as a non-defective product at each position in the inspection surface. The numerical value range should be below. By setting the threshold value in this way, the selected defect candidate area can include at least the defect area on the inspection surface. On the other hand, if the threshold value set here is too small compared to the numerical range allowed as a non-defective product, it may occur that all the areas in the inspection surface fall under the defect candidate areas. . Therefore, taking this into account, the threshold value set in consideration of the types of electronic circuit components and the acceptable range of acceptable products required at each position within the inspection surface is the numerical range allowed for acceptable products. In the following, the lower limit value is appropriately set.
[0013]
As described above, the defect candidate determination process corresponding to the first stage image processing uses the first image data which is the processing result obtained by the difference process between the inspection surface color data and the first good standard color data, A defect candidate area is selected. Therefore, the inspection surface color data represents the three coordinate components of the inspection surface color information, and the first good product reference color data corresponds to each of the three coordinate components of the inspection surface color data. Then, a difference between the three coordinate components of the inspection surface color data and the first non-defective product reference color data is obtained by difference processing, and the processing result is defined as first image data. By performing defect candidate determination processing for three coordinate components using such first image data, it is possible to improve the selection accuracy of the defect candidate region to be selected and further improve the processing accuracy in the appearance inspection. be able to.
[0014]
Next, the defect area in the electronic circuit component visual inspection method of the present invention is specified using a three-dimensional color space coordinate system different from the three-dimensional color space coordinate system used for the inspection surface color information. Features.
[0015]
As described above, the defective area is specified by performing the defect determination process which is the second-stage image processing only on the defect candidate area selected in the first-stage image processing. In this defect determination process, it is desired to specify a defective area with high accuracy. Therefore, the second image data used for the defect determination process is used for the three-dimensional color space coordinate system used for the inspection surface color information, that is, the first image data used when selecting the defect candidate area. It is different from the three-dimensional color space coordinate system. By performing defect determination processing using such second image data, the first acceptable product allowable value corresponding to each coordinate component of the three-dimensional color space coordinate system set in advance to select a defect candidate region is obtained. As a result, it is possible to determine again a defective area in a different three-dimensional color space coordinate system. As a result, it is possible to improve the accuracy of specifying the defective area specified in the defect determination process.
[0016]
Furthermore, as a method for increasing the processing speed in the defect determination process, the second image data used in the defect determination process is data representing three color space coordinate values corresponding to the three coordinate components in the inspection surface color information. It shall be based on data created by coordinate transformation. By performing defect determination processing using such second image data, the processing time can be shortened. Further, the defect determination process is performed only on the defect candidate area. Therefore, only the data corresponding to the region needs to be coordinate-transformed, and the time required for coordinate transformation can be greatly shortened compared to the conventional method.
[0017]
Furthermore, in order to improve the accuracy of narrowing down defective areas in the defect determination process, the defect determination process is performed using the same method as the image processing in the above-described defect candidate area selection. That is, first, defect area specific color information including three coordinate components of the three-dimensional color space coordinate system at each position of the defect candidate area is generated. The defect area specific color information is composed of position information of each position of the defect candidate area and three color space coordinate values corresponding to three independent coordinate components of the three-dimensional color space coordinate system at each position. Color image information. The defective area specifying color information includes a three-dimensional color space coordinate system different from the inspection surface color information, and includes data representing three color space coordinate values corresponding to the three coordinate components in the inspection surface color information. An object corresponding to the defect candidate area can be generated by coordinate conversion. Next, defective area specific color data representing at least one coordinate component of the defective area specific color information is prepared. In addition, a second non-defective product reference value is set in advance for each coordinate component of the color image information at each position of the defective candidate region constituting the defective region specific color information, and includes the second non-defective product reference value. Of the second non-defective product reference color information set in advance, second non-defective product reference color data representing coordinate components corresponding to the defective area specifying color data is prepared. Then, the difference between the coordinate components of the defective area specific color data and the second non-defective color reference data prepared in this way is obtained by an arithmetic process using a difference process, and second image data including the process result is created. To do. Further, as a defect determination process that is an image process using the second image data, a process that exceeds a set threshold value is extracted from the second image data. A set of positions in the inspection surface corresponding to the extracted data is defined as a defective area on the inspection surface. By specifying the defective area on the inspection surface by such a defect determination process, the specifying accuracy can be improved.
[0018]
Next, the above-described defective area specific color data is assumed to represent the three coordinate components of the defective area specific color information, and the second non-defective product reference color data is associated with each of the three coordinate components of the defective area specific color data. Shall. Then, the difference between the three coordinate components of the defective area specifying color data and the second non-defective product reference color data is obtained by difference processing, and the processing result is set as second image data. By performing defect determination processing for three coordinate components using such second image data, it is possible to further improve the identification accuracy of the identified defective area and further improve the processing accuracy in the appearance inspection. Can do.
[0019]
The above-described defect determination process for obtaining a difference between the defect area specifying color data and the second good product reference color data by the difference process and specifying the defect area using the second image data obtained as a result of the process is the second The image data is extracted from the image data that exceeds the set threshold value, but the extracted data naturally depends on the set threshold value. This means that the defect area specified by the threshold value set can take various areas, for example, corresponding to all the defect candidate areas. When these various areas are used as preliminary defective areas, the second image data is regarded as a form in which the preliminary defective areas are extracted. Therefore, the threshold value set for specifying the defective area in the defect determination process from the preliminary defective area is set to a numerical value range acceptable as a non-defective product at each position on the inspection surface. By setting the threshold value in this way, it is possible to further increase the accuracy of specifying the specified defective area.
[0020]
Up to this point, the method for increasing the processing accuracy and processing speed in the visual inspection method for electronic circuit components of the present invention has been described. A feature of the present invention is that color image processing in appearance inspection is performed in two stages. In particular, image processing in the first stage and the second stage is performed using image data composed of different three-dimensional color space coordinate systems.
In such an appearance inspection method, the three-dimensional color space coordinate system of the first image data used for the first stage image processing for selecting the defect candidate area, that is, the three-dimensional color space coordinates used for the inspection surface color information. A system composed of an RGB (red, green, blue) coordinate system is particularly effective. This is because a CCD camera is often used as a color light receiving unit for color imaging of the external appearance, and the detection output signal corresponds to the RGB coordinate system. Next, as the image data used in the defect determination process, which is the second-stage image process for specifying the defect area, an image data having an HSI (hue, saturation, brightness) coordinate system is particularly effective. This is because the non-defective product standard value of the electronic circuit component needs to be set based on the judgment standard obtained by visual observation, and the HSI coordinate system is close to human color sensation.
[0021]
Also, the defect determination process, which is the second stage image process, is performed only on the defect candidate area selected in the first stage image process. Therefore, when the data representing the three color space coordinate values corresponding to the three coordinate components of the inspection surface color information composed of the RGB coordinate system is converted into the HSI coordinate system, only the data corresponding to the defect candidate area is used. That's fine. As a result, it is possible to significantly reduce the time compared to the time conventionally required for coordinate conversion to the HSI coordinate system.
[0022]
Of course, the three-dimensional color space coordinate system used for each of the first-stage image processing for selecting the defective candidate area and the second-stage image processing for specifying the defective area is not limited to the above. For example, it is possible to perform image processing in selecting a defective candidate area using image data made of an RGB coordinate system, and to perform image processing in specifying a defective area by a pattern matching method using an RGB coordinate system. In addition, image processing for selecting a defective candidate area is performed using image data corresponding to one or two coordinate components of the RGB coordinate system, and image processing for specifying a defective area is supported for three coordinate components of the RGB coordinate system. It is also possible to carry out using image data. Further, the RGB coordinate system and the HSI coordinate system are each composed of three independent coordinate components, and image processing is performed using image data composed of four or more coordinate components obtained by adding coordinate components subordinate to the coordinate components. It is also possible.
[0023]
As described above, the three-dimensional color space coordinate system forming the image data used for the image processing is appropriately selected in consideration of required processing accuracy or processing time in the appearance inspection processing. First, a well-known three-dimensional color space coordinate system for forming image data used in the image processing method or image processing in the present invention can be used.
[0024]
Next, an appearance inspection apparatus for performing the appearance inspection method for electronic circuit components as described above will be described. Therefore, the appearance inspection apparatus for electronic circuit components of the present invention is:
A color light receiver for imaging the inspection surface of the electronic circuit component;
Inspection surface information generating means for generating inspection surface color information including three coordinate components of a three-dimensional color space coordinate system at each position in the inspection surface based on the detection output of the color light receiving unit;
The difference between the inspection surface color data representing at least one coordinate component of the inspection surface color information and the first good product reference color data representing the coordinate component corresponding to the inspection surface color data among the preset first good product reference color information. A defect candidate area selecting means for selecting a defect candidate area based on;
A defect area specifying means for specifying a defect area on the inspection surface by performing further image processing only on the defect candidate area;
It is characterized by comprising.
[0025]
First, a color image of an inspection surface of an electronic circuit component is picked up by a color light receiving unit, and an input signal of a color image is detected at each pixel corresponding to each position on the inspection surface. Signals of detection outputs corresponding to the three coordinate components of the three-dimensional color space coordinate system representing the image are output from the color light receiving unit. Next, based on the output analog signal of the detection output, inspection surface color information including three color space coordinate values corresponding to the three coordinate components of the three-dimensional color space coordinate system at each position in the inspection surface is converted into a digital signal. The inspection surface information generating means to be generated as can be provided in a computer such as a personal computer (PC). And inspection surface color data representing at least one coordinate component of the inspection surface color information, and first non-defective product reference data representing coordinate components corresponding to the inspection surface color data among the preset first good product reference color information; The difference between the respective coordinate components is obtained by calculation processing by difference processing, and first image data including the processing result is generated, and further, the one exceeding the set threshold value is extracted from the first image data. By performing image processing, defect candidate area selection means for selecting a defect candidate area on the inspection surface can be provided in a computer such as a PC as described above. By providing such means, it is possible to perform the defect candidate area selection. The computer also includes means for identifying a defective area on the inspection surface by further performing image processing only on the area based on data in which information on each position of the area selected in the defect candidate area selection is recorded. be able to. By using the appearance inspection apparatus of the present invention provided with such means, the appearance inspection method for electronic circuit components as described above can be performed.
Further, when it is necessary to convert the data corresponding to the output value of the detection output output from the color light receiving unit to a different coordinate system and create new data, the arithmetic processing for the coordinate conversion and the Means for creating data comprising the processing results of the arithmetic processing can be provided in the computer.
[0026]
So far, the appearance inspection method and appearance inspection apparatus for electronic circuit components of the present invention have been described. Next, a method for manufacturing an electronic circuit component of the present invention having an appearance inspection process for performing an appearance inspection of an electronic circuit component by such an appearance inspection method will be described. First, in the process of forming a wiring pattern on a substrate, a wiring pattern corresponding to the element function of the electronic circuit component is formed. With respect to the appearance on the substrate on which such a wiring pattern is formed, it is necessary to inspect the appearance of defective areas such as adhesion of foreign matter, discoloration, cracks, and surface peeling. Therefore, the appearance inspection for the inspection surface on the substrate on which the wiring pattern is formed is performed in the determination step using the appearance inspection method as described above. In the determination step, first, using the same method as the above-described appearance inspection method, a defect candidate area is selected by the first-stage image processing, and only the selected defect candidate area is in the second stage. By sequentially performing the image processing, the defective area on the inspection surface on the substrate is specified. Further, the final defect determination / selection is performed by evaluating the shape such as the area and length of each part of the wiring pattern corresponding to the specified defective area. By performing the determination process for the appearance of the inspection surface on the substrate in such a work process, the processing accuracy and processing speed of the appearance inspection can be improved. As a result, it is possible to improve the yield of manufactured electronic circuit components and to increase the manufacturing efficiency.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an embodiment of an electronic circuit component appearance inspection apparatus according to the present invention. The appearance inspection apparatus 100 includes a stage 20 on which the electronic circuit component 1 is placed. Further, the stage 20 can automatically position and convey the electronic circuit component 1 by the electric power from the movement control device 50. In addition, the appearance inspection apparatus 100 includes an illumination device 40 for illuminating light from the light source 30 onto the inspection surface of the electronic circuit component 1, a color light receiving unit 2, an image processing device 11, and the like. . The color light receiving unit 2 captures a color image of the appearance of the inspection surface of the electronic circuit component 1 to be inspected, and detects a color image input signal at each pixel corresponding to each position on the inspection surface. In addition, it has a function of outputting detection output signals corresponding to the three coordinate components of the three-dimensional color space coordinate system representing the color image in each pixel to the image processing apparatus 11. Next, as shown in FIG. 3, the image processing apparatus 11 includes a CPU 13 that performs functions such as arithmetic processing, a memory 14 that functions to store data, a hard disk 15 that functions to store and store data, and a color light receiving unit. 2 captures detection output signals corresponding to each of the three coordinate components of a three-dimensional color space coordinate system representing a color image, and captures an image having a function of A / D converting the analog signal into a digital signal. And a monitor 12 for displaying a captured image, a processing state, and the like. Such an image processing apparatus 11 can create image data, perform image processing, and the like. The form of the image processing apparatus 11 in FIGS. 1 and 3 is mainly a personal computer (PC), but a general-purpose computer such as a workstation can be used instead of the PC. In addition, an image processing apparatus specialized in image capture and processing functions can be functioned in a form of external connection to a computer. Further, although the hard disk 15 is positioned as an auxiliary storage device here, the hard disk as the auxiliary storage device is replaced with a reambal storage medium such as MO, CD-ROM, or an external storage medium connected via a LAN or the like. You can also. On the other hand, the memory 14 is used for storing image data, image processing, arithmetic processing, and the like. Of course, the function of the memory 14 can be performed by the hard disk 15.
[0028]
Next, the appearance inspection method according to the present invention will be described with reference to FIGS. FIG. 2 shows one work procedure of the appearance inspection method. The inspection surface of the electronic circuit component 1 placed on the stage 20 is irradiated with light from the light source 30 via the illumination device 40, and a color image of the appearance of the inspection surface of the electronic circuit component 1 is received in color. In addition to imaging by the unit 2, detection output signals corresponding to the three coordinate components of the three-dimensional color space coordinate system representing the color image at each pixel corresponding to each position on the inspection surface are sent to the image processing device 11. Output. Then, the image capturing board 16 of the image processing apparatus 11 performs A / D conversion on the input detection output signal and generates inspection surface color information as a digital signal. This inspection surface color information corresponds to each of three independent coordinate components of the three-dimensional color space coordinate system at each position on the inspection surface, that is, at each pixel position that partitions the color image of the appearance of the inspection surface. It consists of two color space coordinate values. Thus, the inspection surface color information includes the position information of each position on the inspection surface and the color image information at each position. Such inspection surface color information is taken into the image processing apparatus 11 as color image information on the inspection surface via the image capture board 16. This work corresponds to Step 1.
[0029]
The inspection surface color information input to the image processing apparatus 11 in step 1 is stored as a first inspection image in the memory 14 of the image processing apparatus 11. Then, the image processing apparatus 11 calculates the amount of deviation when there is a positional deviation in the first inspection image, compared with a reference image previously read into the memory 14. Thereafter, the position of the first inspection image is corrected based on the shift amount and stored in the memory 14. This work corresponds to Step 2.
[0030]
In step 2, the first inspection image stored in the memory 14 has information similar to the inspection surface color information, and the three coordinate components of the color image information at each position on the inspection surface constituting the inspection surface color information. It consists of three coordinate components representing each. Next, inspection surface color data including at least one coordinate component among the three coordinate components representing the three coordinate components is created by the image processing apparatus 11. In addition, the first non-defective product reference value is set in advance for each coordinate component of the color image information at each position on the inspection surface constituting the inspection surface color information, and the first non-defective product including the first non-defective product reference value is set. The reference color information is read into the memory 14 in advance. Then, the first good product reference color data representing the coordinate component corresponding to the coordinate component of the inspection surface color data in the first good product reference color information is created by the image processing device 11, and the first good product reference color data and The difference of each coordinate component from the inspection surface color data is determined by the arithmetic processing by the difference processing using the CPU 13 and the memory 14 of the image processing apparatus 11, and the first image data including the processing result is created. This operation corresponds to Step 3. Thereafter, image processing is performed such that data exceeding a set threshold is extracted from the first image data. A set of positions in the inspection surface corresponding to the data extracted by this image processing is set as a defect candidate area. This work corresponds to the selection of a defect candidate area in step 4.
[0031]
The data extracted in step 4 has position information on each position of the defect candidate area. Therefore, the extracted data is stored in the memory 14 as the first extracted data, and is compared with the first inspection image stored in the memory 14 in step 2, and the color at each position of the defect candidate area is determined. A first extraction inspection image including three coordinate components representing each of the three coordinate components of the image information is created. Based on the first extracted inspection image, the image processing apparatus 11 further performs image processing. In such a defect determination process by image processing, a defective area on the inspection surface is specified. This operation corresponds to identification of a defective area in step 5.
[0032]
By the operations up to step 5, the defective area on the inspection surface is specified by image processing divided into two stages. Further, the image processing in step 4 corresponding to the first stage uses image data composed of the same three-dimensional color space coordinate system as the detection output signal from the color light receiving unit. As a result, it is not necessary to perform coordinate conversion in the process of creating the image data, so that the processing time of the image processing can be shortened. Further, the second-stage image processing (step 5) performed for specifying the defective area is performed only on the defective candidate area selected in the first-stage image processing (step 4). It becomes possible to reduce the processing time of a process. Further, by performing image processing in two stages, it is possible to increase the inspection accuracy of the appearance inspection on the inspection surface.
[0033]
Next, using the second extracted inspection image corresponding only to the specified defective area after the work of step 5, the area and length of each part determined as the defective area in the inspection surface of the electronic circuit component 1 The image processing apparatus 11 analyzes the length and creates shape evaluation data. If the shape evaluation data is extracted that exceeds a threshold set for each part of the wiring pattern formed in the inspection surface of the electronic circuit component 1, the electronic circuit component 1 is regarded as defective. judge. This operation corresponds to pass / fail determination by shape evaluation in step 6.
[0034]
Although the appearance inspection of the electronic circuit component 1 is performed by the above work procedure, this work procedure is merely an example. Known methods can be applied to the position correction in step 2, the creation of data in the image processing apparatus 11, the calculation process and analysis method / procedure, and the like. Also in the image processing in step 4, for example, the same image processing can be performed by exchanging the values of the first non-defective product reference value and the set threshold value.
[0035]
Next, a specific example of the three-dimensional color space coordinate system used for the image data and a specific example of specifying the defective area in Step 5 will be described together with an embodiment of the appearance inspection method of the present invention.
[0036]
(Example 1) As the color light receiving unit 2, one that can capture a color image for each of the three primary colors of light (red R, green G, and blue B) is used. For example, a CCD type three-plate color line sensor camera or the like is used. By using such a line sensor camera 2, as shown in FIG. 4, the stage 20 on which the electronic circuit component 1 is mounted is moved in the X direction, which is perpendicular to the camera scanning direction, thereby providing an electronic circuit. A color image of the appearance of the inspection surface of the component 1 is taken into the image processing apparatus 11 as inspection surface color information for each of R, G, and B. In addition, as shown in FIG. 4, each captured image for each of R, G, and B is configured with a pixel as a minimum unit, and the size of each pixel is determined by the type of the line sensor camera 2 to be used and the type of lens. Defined by resolution. On the other hand, the magnitude of the luminance that represents the output value of the detection output that is output from the line sensor camera 2 to the image processing device 11 for each of R, G, and B is, for example, 1 byte of 0 to 255. Converted to a digital value. In this way, inspection surface color information composed of color space coordinate values corresponding to R, G, and B coordinate components at each pixel position corresponding to each position on the inspection surface is stored in the image processing apparatus 11. At the same time, the inspection surface color information includes position information of each position on the inspection surface and color image information represented by the RGB coordinate system at each position.
[0037]
Next, the inspection surface color information input to the image processing apparatus 11 is stored in the memory 14 of the image processing apparatus 11 as a first inspection image. Then, it is compared with a reference image previously read into the memory 14, and if there is a positional shift in the first inspection image, the amount of shift is calculated in the image processing device 11. Thereafter, the position of the first inspection image is corrected based on the amount of deviation and stored in the memory 14.
[0038]
After performing the position correction, an inspection surface color composed of at least one coordinate component among R, G, and B coordinate components representing color image information at each position of the inspection surface in the first inspection image stored in the memory 14. Data is created by the image processing apparatus 11. In addition, a first good product reference value is set in advance for each of the R, G, and B coordinate components at each position on the inspection surface, and first good product reference color information including the first good product reference value is stored in advance in the memory. 14 is read. Then, the first good product reference color data representing the coordinate component corresponding to the coordinate component of the inspection surface color data in the first good product reference color information is created by the image processing device 11, and the first good product reference color data and The difference of each coordinate component from the inspection surface color data is determined by difference processing using the CPU 13 and the memory 14, and first image data including the processing result is created. After that, image processing is performed such that data exceeding the set threshold is extracted from the first image data. A set of positions in the inspection surface corresponding to the data extracted by this image processing is set as a defect candidate area. In addition, by setting the threshold value set in the image processing to be at least a non-defective product allowable range, the defect candidate area selected based on the extracted data includes at least a defective area. can do.
[0039]
The defect candidate area selection is performed on at least one color image among R, G, and B color images of the appearance of the inspection surface. For example, when the appearance is close to a green (G) color, image processing using inspection surface color data consisting of only the G coordinate component in the first inspection image is performed. Alternatively, when the appearance is close to white, image processing is performed such that image processing is performed using inspection surface color data including three coordinate components of the R, G, and B coordinate components of the first inspection image. Therefore, the types of coordinate components and the number of coordinate components constituting the inspection surface color data created for this purpose are appropriately selected.
[0040]
Next, the data extracted in the image processing for selecting the defective area is stored in the memory 14 as first extracted data, and is compared with the first inspection image stored in the memory 14, A first extraction inspection image composed of three coordinate components representing the R, G, and B coordinate components of the color image information at each position of the defect candidate region is created. Next, the first extracted inspection image composed of the R, G, and B coordinate components is subjected to coordinate conversion using the CPU 13 and the memory 14 into the HSI coordinate system having the hue H, saturation S, and lightness I as coordinate components. Then, the defective area specifying color information is generated and stored in the memory 14 as the second inspection image. This defective area specific color information, that is, the second inspection image includes position information of each position of the defective candidate area and color image information represented by the HSI coordinate system at each position. Further, the hue H represents a hue, and as shown in FIG. 5A, R (red), Y (yellow), G (green), C (cyan), B ( Blue) and M (magenta) are defined, and the hue is defined by the angle with respect to the center. Therefore, the color space coordinate value of the H coordinate component is obtained by assigning an angle in the range of 0 to 360 degrees indicating the hue to a value of 0 to 255 (1 byte). For example, if R is 0, G becomes 85, B becomes 170, and 255 becomes R again. Next, as shown in the HSI coordinate system of FIG. 5B, the saturation S representing the vividness of the color is defined by the length from the center. Therefore, the color space coordinate value of the S coordinate component is obtained by assigning the length to a value of 0 to 255 (1 byte). Finally, the brightness I representing the brightness of the color is defined by the position on the central axis. Therefore, a value obtained by assigning the position to a value of 0 to 255 (1 byte) is set as a color space coordinate value of the I coordinate component.
[0041]
Using the second inspection image in which the color space coordinate value of each coordinate component is defined as described above, image processing that is defective determination processing for specifying a defective region is performed in the following procedure. First, defective area specific color data including at least one coordinate component among H, S, and I coordinate components representing color image information at each position of a defective candidate area in the second inspection image stored in the memory 14 is displayed as an image. Created in process 11. In addition, a second good product reference value is set in advance for each of the H, S, and I coordinate components at each position on the inspection surface, and all second good product reference color information including these second good product reference values is stored in advance. In addition to being read into the memory 14, the second second reference color information is compared with the first extracted data stored in the memory 14, and the H, S, I coordinate components at each position of the defect candidate area Second good product reference color information composed of preset second good product reference values is created and stored in the memory 14. Then, the second good product reference color data representing the coordinate component corresponding to the coordinate component of the defective area specifying color data in the second good product reference color information is created by the image processing device 11, and the second good product reference color The difference between the coordinate components of the data and the defective area specific color data is determined by difference processing using the CPU 13 and the memory 14, and second image data including the processing result is created. Thereafter, an image process corresponding to the defect determination process is performed, in which the image data exceeding the set threshold value is extracted from the second image data. A set of positions in the inspection surface corresponding to the data extracted by this image processing is defined as a defective area. Further, by setting the threshold value set in the image processing to be within a non-defective product allowable range, a defective area can be specified with high accuracy. Image processing for specifying a defective area is performed by such a procedure. Also in this image processing, the types of coordinate components and the number of coordinate components constituting the defective area specifying color data to be used may be appropriately selected in consideration of the specific accuracy for specifying the required defective area. Good.
[0042]
The defect candidate area selection and the defect area specification are performed by the method as described above. The first image data used for the image processing in the defect candidate area selection corresponds to the RGB coordinate system, The second image data used for the image processing for specifying the defective area corresponds to the HSI coordinate system. By selecting such a three-dimensional color space coordinate system, the first image data used for the image processing for defect candidate region selection is converted into the same three-dimensional color space coordinates as the signal output as the detection output from the color light receiving unit. On the other hand, in the second image data used for image processing for specifying a defective area, when setting a non-defective standard value, a three-dimensional color close to the color sensation of a person who makes a visual judgment as a basis It can be a spatial coordinate system. As a result, it is possible to increase the processing accuracy and processing speed of the appearance inspection. Furthermore, the coordinate conversion processing of data to the HSI coordinate system required for specifying the defective area need only be performed on data corresponding to the defective candidate area selected in the defective candidate area selection. Therefore, it is possible to significantly reduce the processing time compared to the processing time required for the conventional coordinate conversion processing to the HSI coordinate system.
[0043]
Next, the data extracted from the second image data in the image processing for specifying the defective area has position information of each position of the defective area. Therefore, the extracted data is used as second extracted data and stored in the memory 14 as a second extracted inspection image. Then, using the second extracted inspection image, the quality determination by the shape evaluation in step 6 shown in FIG. 2 is performed by the same method as described above, and the final appearance quality determination is made.
[0044]
Next, a case where the defective area is specified by image processing by a pattern matching method using image data corresponding to the RGB coordinate system will be described below as a second embodiment.
[0045]
(Embodiment 2) The procedure up to specifying a defective area is performed in the same manner as in Embodiment 1. Using the first extraction inspection image composed of three coordinate components representing the R, G, and B coordinate components of the color image information at each position of the defect candidate region selected in the defect candidate region selection of the first embodiment, Specify the area. The first extracted inspection image includes color image information composed of color image information of each of the R coordinate component, the G coordinate component, and the B coordinate component, and position information of each position of the defect candidate area. Therefore, pattern data composed of three color pattern components each representing the non-defective product pattern for each of the R coordinate component, the G coordinate component, and the B coordinate component is created in advance, and at least one color pattern component and the color pattern component are generated. Are compared with the coordinate components of the first extracted inspection image corresponding to each of the positions of the defect candidate areas. In the image processing based on the comparison processing, a defective area including defective defects other than the non-defective pattern is extracted as data. In this way, the defective area is specified.
[0046]
The image processing by the pattern matching method is performed on at least one coordinate component of the first extracted inspection image. For example, when image processing in defect candidate region selection is performed only on the G coordinate component, image processing by the pattern matching method is performed on all of the R, G, and B coordinate components to identify the defective region. Therefore, it is possible to increase the specific accuracy. As described above, also in the image processing based on the pattern matching method, the types of coordinate components and the number of coordinate components to be used may be appropriately selected in consideration of the specific accuracy for specifying the defective area required.
[0047]
When the defective area is specified by the image processing according to the second embodiment, there is an advantage that the processing time of the image processing can be shortened compared to the case of the image processing using the HSI coordinate system in the first embodiment. Further, in the case of handling electronic circuit components that can sufficiently ensure the inspection accuracy of the appearance inspection on the inspection surface by the two-step appearance inspection method of defect candidate area selection and defect area specification according to Embodiment 2, the appearance of Embodiment 2 The inspection method is a particularly effective method.
[0048]
By using the appearance inspection method of the present invention described above, it is possible to increase the inspection accuracy and inspection speed of the appearance inspection performed on the inspection surface of the electronic circuit component. In addition, a determination process for inspecting the appearance on the substrate on which the wiring pattern corresponding to the element function of the electronic circuit component has been formed on the substrate is checked for adhesion, discoloration, cracks, surface peeling, etc. Also in the method for manufacturing an electronic circuit component, it is possible to improve the inspection accuracy and inspection speed for the appearance by performing the determination step using the same method as the appearance inspection method of the present invention.
[0049]
The above-described embodiments and examples according to the present invention are merely examples, and the concept of performing the appearance inspection of the inspection surface of the electronic circuit component by two-stage image processing is the concept of the present invention. Is included.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an embodiment of an appearance inspection apparatus according to the present invention.
FIG. 2 is a schematic process diagram showing one work procedure of the appearance inspection method of the present invention.
FIG. 3 is a schematic configuration diagram of a main part of an appearance inspection apparatus according to the present invention.
FIG. 4 is a schematic diagram for explaining an appearance inspection method according to the present invention.
FIG. 5 is a schematic diagram for explaining a three-dimensional color space coordinate system used in the appearance inspection method of the present invention.
[Explanation of symbols]
1 Electronic circuit components
2 Color receiver (line sensor camera)
11 Image processing device
100 Visual inspection device

Claims

Electronic inspection light from the inspection surface of the circuit component received by the color receiving unit, a visual inspection method of the component electronics rather based on the detection output of said color light receiving unit,
Oite at each position in the inspection plane, red R which are the three primary colors of light, a three-dimensional color space coordinate system by Li Cheng inspection surface color information based on the RGB coordinate system with three coordinate components of green G and blue B Generate
A test surface color data representing at least one coordinate component of said inspection surface color information, a first non-defective reference color data representing the coordinates component corresponding to the inspection surface color data of the first non-defective reference color information set in advance, the Select candidate defect areas based on the difference,
The defect determination process performed based on the selection result of the defect candidate area is performed by using a three-dimensional color space coordinate system different from the three-dimensional color space coordinate system used for the inspection surface color information. A method for inspecting the appearance of an electronic circuit component, characterized by specifying:

The defect candidate area is selected by extracting a preliminary defect candidate area based on a difference between the inspection surface color data and the first non-defective product reference color data, and performing a defect candidate determination process based on the extraction result. The appearance inspection method for electronic circuit components according to claim 1.

The defect candidate determination processing generates inspection surface color information including three coordinate components of a three-dimensional color space coordinate system at each position in the inspection surface, and inspection surface color data representing the three coordinate components of the inspection surface color information; It is a process of selecting a defect candidate region based on a difference between the inspection surface color data and first non-defective product reference color data representing a corresponding coordinate component among preset first non-defective product reference color information. Item 3. A visual inspection method for electronic circuit components according to Item 2.

The defect determination process generates defect area specific color information including three coordinate components of a three-dimensional color space coordinate system at each position of the defect candidate area, and at least one coordinate component of the defect area specific color information is obtained. Processing for specifying a defective area based on a difference between the defective area specifying color data to be expressed and second good standard color data representing a coordinate component corresponding to the defective area specifying color data among preset second good standard color information The appearance inspection method for electronic circuit components according to claim 1, wherein:

The defect determination process generates defect area specific color information including three coordinate components of a three-dimensional color space coordinate system at each position of the defect candidate area, and indicates the three coordinate components of the defect area specific color information. This is a process for identifying a defective area based on a difference between the area specific color data and second good standard color data representing a coordinate component corresponding to the defective area specific color data among preset second good standard color information. The method for inspecting the appearance of an electronic circuit component according to any one of claims 1 to 3, wherein:

The defect determination process is a process of extracting a preliminary defect area based on a difference between the defect area specifying color data and the second non-defective product reference color data, and specifying a defect area based on the extraction result. An appearance inspection method for electronic circuit components according to claim 4 or 5 .

The three-dimensional color space coordinate system used for the defect determination process for specifying the defect area is an HSI coordinate system having hue H, saturation S, and lightness I as coordinate components. Item 7. The method for inspecting the appearance of electronic circuit components according to any one of Items 1 to 6 .

An appearance inspection apparatus used for appearance inspection of electronic circuit components, a color light receiving unit that images an inspection surface of an electronic circuit component;
Based on the detection output of said color light receiving unit, Oite at each position in the inspection plane, red R which are the three primary colors of light, three-dimensional, based on the RGB coordinate system with three coordinate components of green G and blue B a test surface information generating means for generating a color space coordinate system by Li Cheng inspection surface color information,
The difference between the inspection surface color data representing at least one coordinate component of the inspection surface color information and the first good product reference color data representing the coordinate component corresponding to the inspection surface color data among the preset first good product reference color information. A defect candidate area selecting means for selecting a defect candidate area based on;
By further performing image processing only on the selected defect candidate area, a defect on the inspection surface is obtained using a three-dimensional color space coordinate system different from the three-dimensional color space coordinate system used for the inspection surface color information. A defective area specifying means for specifying an area;
A visual inspection apparatus for electronic circuit components, comprising:

Forming a wiring pattern on the substrate;
Inspection light from the inspection surface on the substrate on which the wiring pattern is formed is received by the color light receiving unit,
Based on the detection output of said color light receiving unit, Oite at each position in the inspection plane, red R which are the three primary colors of light, three-dimensional, based on the RGB coordinate system with three coordinate components of green G and blue B I color space coordinate system to generate a Li Cheng inspection surface color information,
A test surface color data representing at least one coordinate component of said inspection surface color information, a first non-defective reference color data representing the coordinates component corresponding to the inspection surface color data of the first non-defective reference color information set in advance, the Select candidate defect areas based on the difference,
By further performing image processing only on the selected defect candidate area, a defect on the inspection surface is obtained using a three-dimensional color space coordinate system different from the three-dimensional color space coordinate system used for the inspection surface color information. Identify the area,
A determination step of performing a defect determination / selection of a wiring pattern based on the specified defect area;
The manufacturing method of the components for electronic circuits characterized by including these.