JP4190243B2 - 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 - Google Patents
電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 Download PDFInfo
- Publication number
- JP4190243B2 JP4190243B2 JP2002286053A JP2002286053A JP4190243B2 JP 4190243 B2 JP4190243 B2 JP 4190243B2 JP 2002286053 A JP2002286053 A JP 2002286053A JP 2002286053 A JP2002286053 A JP 2002286053A JP 4190243 B2 JP4190243 B2 JP 4190243B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image processing
- inspection surface
- coordinate
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 75
- 238000011179 visual inspection Methods 0.000 title claims description 12
- 238000004519 manufacturing process Methods 0.000 title claims description 9
- 238000007689 inspection Methods 0.000 claims description 256
- 238000012545 processing Methods 0.000 claims description 209
- 230000002950 deficient Effects 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 239000000758 substrate Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002845 discoloration Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法に関し、より詳細には、外観検査の高精度化に適した電子回路用部品の外観検査方法及びそれに用いられる外観検査装置並びに、該外観検査方法にて外観検査が行なわれる工程を有する電子回路用部品の製造方法に関する。
【0002】
【従来の技術】
近年、パーソナルコンピュータ(PC)やワークステーション(WS)等のコンピュータの劇的な進歩は勿論のことであるが、カメラやスキャナ等の画像入出力機器、CDやMO等の画像記録装置の進歩に伴い画像処理における処理速度や、処理精度といった処理技術は、目覚しく発展するに至っている。
そのような中、従来、目視検査に頼っていたパッケージ基板や半導体部品等の電子回路用部品の外観検査は、画像処理を用いた自動化へと技術転換がなされようとしている。尚、本明細書における電子回路用部品は、セラミックパッケージ基板やプラスチックパッケージ基板といった周知のパッケージ基板および、LSIやICチップといった半導体部品、チップキャパシタ、アンテナスイッチモジュール等を含む周知の電子部品を概念として含有する。
【0003】
上記外観検査に用いられる画像処理の方法としては、モノクロ処理による白黒2値化処理の方法と、カラー画像処理による方法とが種々検討されている。
また、カラー画像処理を用いた外観検査においては、白黒2値化処理を用いた場合に比べて外観上の微妙な色差の識別能力を高めることができる。そのため、構成原料による微妙な色差が表面に発生しやすい電子回路用部品の外観検査においては、カラー画像処理による方法が、特に有用な方法であることが認識されている。
【0004】
【特許文献1】
実開平7−2964号公報
【特許文献2】
特開平9−106459号公報
【0005】
【発明が解決しようとする課題】
そこで、カラー画像処理を用いて電子回路用部品の外観検査を行った場合、白黒2値化処理を用いた場合に比べて、処理精度に関して次のような問題が特に顕在化してしまう。カラー画像は、3次元色空間座標系の独立した3つの座標成分のそれぞれ座標値にて表される。そのため、白黒2値化にて表される白黒の濃淡度に比べて、外観上の微妙な色差の識別能力が高まる訳である。この色差の識別能力の向上により、外観上の良品領域と不良領域との色差が際立つことになるので、該不良領域の抽出精度を高めることが可能となる。しかしながら、この識別能力の向上により、カラー画像処理を行なうために順次製品ごとに取得するそれぞれ検査画像間における色度のばらつき、つまり、製品ごとにその製造工程上にて不可避的に発生してしまう色度のばらつきも、白黒2値化の場合に比べて顕著に表れてしまう。そのため、検査画像と予め設定される基準画像とを用いて製品ごとに順次画像処理した際に、良品領域が不良領域として過剰抽出される不具合の発生や、不良領域の見逃しといった不具合の発生が、電子回路用部品のように大量の製品を順次外観検査として取り扱う必要がある以上、ある程度避け得ない状況となる。この製品ごとに発生する色度のばらつきが製品の品質に関わりがない場合、外観検査方法を工夫することで、該色度のばらつきに起因する検査精度の低下を少なくとも抑制することが求められることになる。
【0006】
上述のごとくカラー画像処理を用いた外観検査のほうが、白黒2値化処理を用いた場合に比べてその処理精度は高いが、昨今の電子回路用部品の高密度化および高集積化に対応する形で、さらなる外観検査の高精度化を図るためには、上記製品ごとに発生する色度のばらつきに起因した外観検査精度の低下を抑制することは重要な課題とされる。即ち本発明は、電子回路用部品の外観をカラー画像処理を用いて外観検査する際に、その処理精度の向上を可能とする電子回路用部品の外観検査方法及びそれに用いられる外観検査装置並びに、該外観検査方法にて外観検査を行う工程を有する電子回路用部品の製造方法を提供することを目的とする。
【0007】
【課題を解決するための手段および作用・効果】
上記課題を解決するための電子回路用部品の外観検査方法は、
電子回路用部品の検査面からの検査光をカラー受光部にて受光し、該カラー受光部の検知出力に基づいて前記検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面色情報生成工程と、
該検査面色情報生成工程によって生成された前記検査面色情報の3つの座標成分を表す第一検査面データの3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成し、前記第一検査面データの少なくとも1つの座標成分および第二検査面データの少なくとも1つの座標成分のうち、前記第一検査面データと前記第二検査面データとの座標成分からなる画像処理データを得る画像処理データ作成工程と、
前記像処理データと、予め設定された良品基準色情報のうち前記画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定する不良領域選定工程とを含むとともに、
前記不良領域選定工程における前記画像処理に用いる前記画像処理データは、前記良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する前記画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとされることを特徴とする。
【0008】
上記本発明の電子回路用部品の外観検査方法は、その外観検査対象である、電子回路用部品の検査面の外観のカラー画像に対して、画像処理を施すことにより行なうものである。まず、検査面の外観のカラー画像を、検査面からの検査光をカラー受光部で受光することにより得るとともに、該カラー受光部より、そのカラー画像の入力信号に対する検知出力を出力させる。そして、該検知出力に基づいて、検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成させる(検査面色情報生成工程)。該検査面色情報は、検査面内の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における、3次元色空間座標系をなす独立した3つの座標成分のそれぞれ座標値から構成されるものである。このように、検査面色情報は、検査面内の各位置の位置情報と、その位置におけるカラー画像情報とを含むものである。
【0009】
上記検査面色情報を生成させた後、該検査面色情報の3つの座標成分を表す第一検査面データおよび該第一検査面データを自身の3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データのうちの少なくとも一方における、少なくとも1つの座標成分からなる画像処理データを作成する(画像処理データ作成工程)。この第一検査面データは、検査面色情報と同じ3次元色空間座標系からなり、他方、第二検査面データは、第一検査面データとは異なる3次元色空間座標系からなるものである。電子回路用部品の外観を検査する際、検査対象によって有用とされる3次元色空間座標系の座標成分は変化する。そこで、その有用な座標成分に適宜対応する形で、第一検査面データおよび第二検査面データのうちの少なくとも一方における、少なくとも1つの座標成分から画像処理データは構成される。この画像処理データが、画像処理する際の検査画像をなす画像データとされるものである。そして、この画像処理データと、予め設定された良品基準色情報のうち画像処理データに対応する良品基準色データとを用いたカラー画像処理にて不良領域を選定する(不良領域選定工程)。該不良領域選定工程を行う際のカラー画像処理は、画像処理データと良品基準色データとのそれぞれ同じ座標成分同士の座標値に対する差分を用いた差分処理や、画像処理データと良品基準色データとのそれぞれ同じ座標成分同士によるパターンマッチング処理など公知の画像処理を適宜採用することにより行なうことができる。なお、良品基準色情報は、検査面内の各位置におけるカラー画像情報の各座標成分に対して、予め設定される良品基準値からなるものである。つまり、外観検査として画像処理する際に適宜選択される3次元色空間座標系のそれぞれ座標成分に対して、良品許容範囲内における所定の基準値を座標値として予め設定させたものである。
【0010】
ただし、本発明における上記不良領域選定工程における画像処理に用いる画像処理データは、良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとする。つまり、電子回路用部品の所定領域の検査面に対する外観検査をなす画像処理は、その製品ごとについて、毎回、補正画像処理データと良品基準色データとを用いて行なうものとする。このことにより、検査面の画像情報に基づく画像処理データのある座標成分の画像が、製品ごとの不可避的な色度のばらつきに伴い良品基準色データの同座標成分の画像に対して色度のばらつきを有したとしても、本発明に示すように製品ごとに補正画像処理データを作成することで画像処理に与える不良領域の過剰検出等の不具合を効果的に抑制することが可能となる。電子回路用部品を外観検査対象とすることは、必然的に製品ごとに不可避的な色度のばらつきが発生しやすいものを取り扱うことになり、さらに、電子回路用部品においては、その外観検査を順次大量に処理する必要がある。そのため、特に製造工程上において製品品質に関わりなく不可避的に発生する色度のばらつきが検査精度の低下に繋がることは、従来ある程度避けがたい問題であったが、本発明においては、そのような不具合の発生を効果的に抑制することができるので、結果として外観検査における検査精度を確実に高めることが可能となる。
【0011】
上記した補正画像処理データの作成は、画像処理データおよび良品基準色データのそれぞれ同一座標成分を表すデータ同士を、その座標値の大きさを基に比較処理することによりなされる。この比較処理を行う際、座標成分を表すデータのうち全座標値からなるデータ群、つまり検査面の全領域に対応するデータ群を用いて行ってもよいし、座標成分を表すデータのうち一部の座標値からなるデータ群、つまり検査面の所定の部分領域に対応するデータ群を用いて行ってもよい。このように、検査面の全領域または所定の部分領域に対応するデータ群を適宜使用して比較処理がなされる。また、比較処理を、例えば、座標成分を表すデータのうち一部の座標値からなる第一データ群と、該第一データ群を除く座標値から適宜選択される第二データ群とを個別に比較することにより行うといったように、検査面の所定領域に各自対応する複数のデータ群を用いた個別の比較処理にて補正画像処理データを作成してもよい。
【0012】
上記した画像処理データおよび良品基準色データのそれぞれ同一座標成分を表すデータ同士を、その座標値の大きさを基に比較処理する方法としては、それぞれの平均値、中央値、最頻値や加重平均値を代表値として用いた方法、または、良品基準色データ側の座標成分の大きさを基に設定されるしきい値を代表値にしたハイパス、ローパス、バンドパスなどのフィルタ処理を画像処理データ側の座標成分に対して施す方法や、さらにはフーリエ変換を組み入れた方法など、公知の統計学的な比較補正処理の方法を適宜選択して用いればよい。このように、画像処理データおよび良品基準色データのそれぞれ同一座標成分の座標値に基づく大きさを比較処理した後、該比較処理結果に基づいて画像処理データにおけるそれぞれ座標成分の座標値の大きさを補正処理することにより補正画像処理データが作成されることになる。
【0013】
次に、本発明における補正画像処理データの作成は、良品基準色データのそれぞれ座標成分を表すデータのうち検査面における所定の部分領域に対応するデータ群に基づく基準代表値と、該座標成分に対応する画像処理データのそれぞれ座標成分を表すデータのうち前記部分領域に対応するデータ群に基づく比較代表値とを用いた補正処理にて行うことを特徴とする。
【0014】
上述のように補正画像処理データの作成は、画像処理データおよび良品基準色データのそれぞれ同一座標成分を表すデータ同士を、それぞれの座標値を基に比較処理することによりなされる。この比較処理は、製品ごとに発生する色度のばらつきを、良品基準色データに基づいてある意味平滑化する処理にあたる。そのため、この目的においては、比較処理を、各々画像処理と良品基準色データとのそれぞれ同一座標成分を表すデータのうち検査面における所定の部分領域に対応するデータ群に基づく、各々比較代表値と基準代表値とを用いた処理とすることで十分に対応できる。なぜなら、製品自体の検査面領域における色度のばらつきを平滑化するのが目的ではなく、製品ごとの検査面領域における色度のばらつきを平滑化させることが目的であるからである。また、このように比較処理を、座標成分を表すデータのうち一部分のデータ群を用いて行うものとすることで、その比較処理の処理時間を短縮化することができ、ひいては、該比較処理結果に基づいて画像処理データにおけるそれぞれ座標成分の座標値の大きさを補正処理することにより作成する補正画像処理データの作成時間も短縮化することができる。電子回路用部品の外観検査においては、大量の製品を順次効率よく処理することも作業上重要とされるので、補正画像処理データの作成時間の短縮化をなすことは有用であると言える。
【0015】
さらに、上記した比較処理に用いる基準代表値および比較代表値は、それぞれ検査面における所定の部分領域をなすデータ群の平均値、中央値および最頻値のうちのいずれかとするのが望ましい。比較処理自体は、上述したように製品ごとの色度のばらつきを平滑化するのが目的であるので、ある特定の座標値に重みを付けたり、異常値の発生に気を配る形でフィルタ処理を施すなどといった処理を煩雑化することなく、基礎的な統計量を比較する際に一般的に用いる平均値、中央値および最頻値のいずれかを用いれば十分であると言える。その結果、処理自体も煩雑とならず簡便に比較処理を行うことが可能となる。また、検査面における所定の部分領域をなすデータ群の分布が概ね左右対称となるものであれば、特には、平均値を用いて比較処理を行なうのが望ましい。なぜなら、データ群の分布が概ね左右対称となれば、平均値と中央値および最頻値との値は同等と見なしうるものとなり、処理を最も簡便に行えるものが平均値であるからである。
【0016】
上記した基準代表値および比較代表値を用いた比較処理としては、例えば、基準代表値と比較代表値との差分値などを取る方法を採用すればよく、その後、該差分値を、比較処理の対象となった座標成分を表すデータの全座標値または一部の座標値に対して例えば加えたり引いたりすることで、画像処理データの補正処理がなされることになる。
【0017】
ここまでに、本発明においては、少なくとも補正画像処理データを用いた画像処理を行なうことで、その不良領域を選定する選定精度が効果的に高まることについて述べてきた。そこで、次に、画像処理にて用いられる3次元色空間座標系について述べる。第一としては、公知の3次元色空間座標系であれば、特に限定されるものではないが、その中においても、第一検査画像データは、光の三原色である赤R、緑Gおよび青Bを座標成分とするRGB座標系とするのが好適である。なぜなら、外観をカラー撮像するためのカラー受光部としては、CCDカメラが多く用いられており、その検知出力の信号は、RGB座標系に対応したものとされるからである。このように、第一検査画像データを、RGB座標系からなるものとすることで、カラー受光部からの検知出力データに基づいて検査面色情報を生成し、第一検査画像データを作成する工程過程において座標変換する必要がなく、外観検査の処理時間を短縮化することが可能となる。次に、第一検査面データを座標変換することにより作成される第二検査面データは、色相H、彩度Sおよび明度Iを座標成分とするHSI座標系とするのが好適である。なぜなら、電子回路用部品の良品基準値からなる良品基準色情報は、目視により得られた判定基準を基に設定する必要があり、HSI座標系が、人の色感覚に近いものとされるからである。つまりは、第二検査面データを、HSI座標系とすることで、その良品基準値とされる良品基準色情報の判定基準がより精度よく設定されることになり、ひいては、外観検査の処理精度を高めることが可能となる。
【0018】
勿論、第一検査面データおよび第二検査面データは、上述の3次元色空間座標系に限定されるわけではなく、例えば、RGB座標系およびHSI座標系は、それぞれ独立した3つの座標成分からなるが、該座標成分に従属する座標成分を加えた、4つ以上の座標成分よりなるものとすることも可能である。このように、第一検査面データおよび第二検査面データをなす3次元色空間座標系は、第一には、外観検査処理において、必要とされる処理精度および処理時間を考慮して、適宜公知のものから選択されればよい。
【0019】
次に、上述してきたような電子回路用部品の外観検査方法を行なうための外観装置について述べる。そこで、本発明の電子回路用部品の外観検査装置は、
電子回路用部品の検査面を撮像するカラー受光部と、
該カラー受光部の検知出力に基づいて検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面情報生成手段と、
該検査面色情報生成工程によって生成された前記検査面色情報の3つの座標成分を表す第一検査面データの3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成し、前記第一検査面データの少なくとも1つの座標成分および第二検査面データの少なくとも1つの座標成分のうち、前記第一検査面データと前記第二検査面データとの座標成分からなる画像処理データを作成する画像処理データ作成手段と、
前記画像処理データと、予め設定された良品基準色情報のうち画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定する不良領域選定手段とを備えてなるとともに、
不良候補領域選定手段における画像処理に用いられる画像処理データは、良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとされることを特徴とする。
【0020】
まず、カラー受光部にて電子回路用部品の検査面のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、各画素におけるカラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を、カラー受光部より出力させる。次に、出力されたアナログ信号に基づいて、検査面内の各位置における3次元色空間座標系の3つの座標成分それぞれに対応する3つの座標値よりなる検査面色情報を、デジタル信号として生成する検査面情報生成手段は、パーソナルコンピューター(PC)などのコンピューターに具備させることができる。そして、該検査面色情報の3つの座標成分を表す第一検査面データおよび該第一検査面データを自身の3次元色空間座標系とは異なる3次元座標系に座標変換させた第二検査面データのうち少なくなくとも一方における少なくとも1つの座標成分からなる画像処理データを作成する画像処理データ作成手段もまたPCなどのコンピューターに具備させることができる。そして、該画像処理データと、予め設定された良品基準色情報のうち画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定する不良領域選定手段は、上記同様にPCなどのコンピューターに具備させることができる。ただし、不良領域選定手段における画像処理に用いられる画像処理データは、良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する画像処理データのそれぞれ座標成分の大きさが補正処理されたデータ、つまり、上述した補正画像処理データとされる。この補正画像処理データを作成するための手段も、コンピューターに具備させることができる。このような手段を具備した本発明の外観検査装置を用いることで、上述したような電子回路用部品の外観検査方法を行なうことができる。
【0021】
ここまでに、本発明の電子回路用部品の外観検査方法および外観検査装置について述べた。次に、このような外観検査方法により、電子回路用部品の外観検査を行なう外観検査工程を有する本発明の電子回路用部品の製造方法について述べる。まず、配線パターンを基板上に形成させる工程にて、電子回路用部品の素子機能に応じた配線パターンが形成される。このような配線パターンが形成された基板表面上の外観に対して、異物の付着、変色、クラック、表面の剥がれ等の不良領域を外観検査する必要がある。そこで、この配線パターンが形成された基板表面上の検査面に対する外観検査を、上記したような外観検査方法を用いた判定工程にて行なう。該判定工程においては、まず、上記した外観検査方法と同様の方法を用いて、検査面における不良領域の選定を行なう。そして、さらに、選定された不良領域に対応する配線パターンの各部位における面積、長さ等の形状をそれぞれ評価することで、最終的な良否判定を行なう。このような作業工程にて基板表面上の検査面の外観に対する判定工程を行なうことで、その外観検査の処理精度を向上させることできる。その結果、製造される電子回路用部品を製品とする際の信頼性とともにその品質を高いものとすることが可能となる。
【0022】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて説明を行なう。
図1は、本発明の電子回路用部品の外観検査装置の一実施形態を示す概略構成図である。外観検査装置100は、電子回路用部品1を載置するステージ20を具備してなる。また、ステージ20は、移動制御装置50からの電力により、電子回路用部品1の位置決め及び搬送を、自動的に行なうことができる。外観検査装置100は、その他に、光源30からの光を電子回路用部品1の検査面上に照明させるための照明装置40、カラー受光部2および画像処理装置11などを含んだ構成とされる。カラー受光部2は、外観検査対象となる電子回路用部品1の検査面の外観のカラー画像を撮像し、その検査面の各位置それぞれに対応した各画素にてカラー画像の入力信号を検知するとともに、各画素におけるカラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を画像処理装置11に出力する機能を持つ。次に、画像処理装置11は、図3に示すように、演算処理等の機能をなすCPU13、データを記憶する機能をなすメモリ14、データを保管および蓄積する機能をなすハードディスク15、カラー受光部2から出力される、カラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を取り込むとともに、そのアナログ信号をデジタル信号にA/D変換させる機能を持つ画像取込ボード16、および、取込画像や処理状態等を表示するモニター12などを有してなる。このような画像処理装置11により、画像データの作成、画像処理等を行なうことができる。なお、図1および図3における画像処理装置11の形態は、パーソナルコンピューター(PC)を主体としたものとなっているが、PCの代わりにワークステーションなど汎用コンピューターを使用することもできる。また、画像取込および処理機能を特化させた画像処理装置を、コンピューターに外部接続させる形態にて機能させることもできる。さらに、ハードディスク15を、ここでは補助記憶装置として位置づけているが、この補助記憶装置としてのハードディスクをMO、CD−R、CD−RWなどのリム−バル記憶媒体、または、LANなどで接続された外部の記憶媒体に置き換えることもできる。一方、メモリ14は、画像データの記憶ならびに画像処理、演算処理等に用いられるが、これらメモリ14の機能をハードディスク15にてなすことも勿論可能である。
【0023】
次に、図1、図2および図3を併用して本発明の外観検査方法について説明を行う。図2は外観検査方法の一作業手順を示すものである。ステージ20に載置された電子回路用部品1の検査面に対して、光源30からの光を照明装置40を介して照射し、電子回路用部品1の検査面の外観のカラー画像をカラー受光部2にて撮像するとともに、その検査面の各位置に対応する各画素における、カラー画像を表す3次元色空間座標系の3つの座標成分それぞれに対応する検知出力の信号を画像処理装置11に出力する。そして、画像処理装置11の画像取込ボード16にて、入力された検知出力の信号を、A/D変換するとともに、デジタル信号としての検査面色情報を生成する。この検査面色情報は、検査面の各位置、つまりは、検査面の外観のカラー画像を区画化した各画素の位置における、3次元色空間座標系の独立した3つの座標成分それぞれに対応した3つの色空間座標値から構成されるものである。このように、検査面色情報は、検査面の各位置の位置情報と、その各位置におけるカラー画像情報とを含むものである。この作業がステップ1の検査面色情報生成工程にあたる。そして、生成された検査面色情報は、画像取込ボード16を介して、検査面のカラー画像の情報として画像処理装置11に取り込まれることになる。
【0024】
ステップ1にて画像処理装置11に入力された検査画色情報を、画像処理装置11のメモリ14に第一検査画像として保管しておく。そして、予めメモリ14に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置11にて計算する。その後、該ズレ量を基に第一検査画像の位置補正を行い、第一検査面データとしてメモリ14に保管する。この作業がステップ2にあたる。
【0025】
次に、第一検査面データとは異なる3次元色空間座標系のデータを必要とする場合、ステップ2にてメモリ14に保管した第一検査面データを、自身の3次元色空間座標系とは異なる3次元色空間座標系に、CPU13およびメモリ14を用いた演算処理にて座標変換するとともに、その処理結果を第二検査面データとしてメモリ14に保管する。そして、これら第一検査面データおよび第二検査面データのうち少なくとも一方における少なくとも1つの座標成分からなる画像処理データを画像処理装置11を用いて作成するとともに、メモリ14に保管する。この作業が、ステップ3の画像処理データ作成工程にあたる。また、第一検査面データおよび第二検査面データのうち少なくとも一方を構成する検査面の各位置におけるカラー画像情報の各座標成分それぞれに対して、良品許容範囲内の良品基準値を予め設定させておくとともに、これら良品基準値からなる良品基準色情報を予めメモリ14に読み込ませておく。そして、良品基準色情報のうち画像処理データの各座標成分に対応する良品基準色データをメモリ14に保管しておく。さらに、この良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する画像処理データのそれぞれ座標成分の大きさを、CPU13およびメモリ14を用いた演算処理にて補正処理するとともに、この補正処理にて作成したデータを補正画像処理データとしてメモリ14に保管しておく。この作業がステップ4の補正画像処理データ作成にあたる。
【0026】
そして、画像処理データの各座標成分を表すデータと、該座標成分に対応する良品基準色データの各座標成分を表すデータとを用いて、それらを差分処理することによる画像処理や、パターンマッチングすることによる画像処理などの公知の画像処理を、画像処理装置11にて行う。この画像処理にて抽出されたデータに対応する検査面内の各位置の集合を、不良領域とする。この作業が、ステップ5の不良領域選定工程にあたる。また、ここで抽出されたデータは、画像抽出データとしてメモリ14に保管しておく。
【0027】
ステップ5の不良領域選定工程における画像処理は、画像処理データと良品基準色データとを用いて行われるが、例えば、差分処理を行なう座標成分とパターンマッチングを行う座標成分とを分けた形で個別に種類の異なる画像処理を施すものとしてもよい。その場合、それぞれの画像処理にて個別にデータ抽出がなされるが、それら抽出したデータを合わせたものに対応する検査面の各位置の集合が不良領域とされる。
【0028】
次に、ステップ5の作業の後、選定された不良領域に対応するメモリ14に保管しておいて画像抽出データを用いて、電子回路用部品1の検査面内において不良領域とされた各部位それぞれの面積、長さを画像処理装置11にて解析を行い、形状評価データを作成する。該形状評価データから、電子回路用部品1の検査面内に形成された配線パターンの各部位ごとに設定されたしきい値を超えるものが抽出された場合、その電子回路用部品1を不良と判定する。この作業が、ステップ5の形状評価による良否判定にあたる。なお、ここでは、ステップ4における画像処理にて抽出されたデータをまとめて抽出データとしたが、例えば、画像処理される座標成分ごとの抽出データを個別に抽出データとしてメモリ14に保管させるとともに、それら抽出データを個別に用いて、上記同様の方法にて形状評価による良否判定を行うことも可能である。
【0029】
上記の作業手順には記載していないが、良品基準色情報を構成する各座標成分がなす良品基準画像は、予め、ステップ2の位置補正にて用いた基準画像と比較することにより、位置補正がなされたものである。また、当然であるが、電子回路用部品1において外観検査の対象とされない領域には、予めマスク処理が施されてなる。さて、上記の作業手順により、電子回路用部品1の外観検査が行なわれるが、この作業手順は一例にすぎない。ステップ2の位置補正や、画像処理装置11におけるデータの作成、演算処理および解析の方法・手順は、公知のものが適用可能である。
【0030】
次に、第一検査面データや第二検査面データに用いられる3次元色空間座標系の具体例や、ステップ3における補正処理の具体例などを合わせて、以下に本発明の外観検査方法の実施例について説明を行う。
【0031】
(実施例) カラー受光部2として、光の三原色(赤R、緑G、青B)別に、カラー画像を取り込めるものを用いる。例えば、CCD型の3板式カラーラインセンサカメラなどを用いる。このようなラインセンサカメラ2を用いて、図4に示すように、電子回路用部品1を載置したステージ20をカメラスキャン方向とは垂直方向とされるX方向に移動させることにより、電子回路用部品1の検査面の外観のカラー画像を、R、G、B別に検査面色情報として画像処理装置11に取り込む。また、R、G、B別の各取り込み画像は、図4に示すように、画素を最小単位として構成され、各画素の大きさは、使用するラインセンサカメラ2の種類やレンズの種類により決まる分解能にて規定される。一方、R、G、B別にラインセンサカメラ2より画像処理装置11に出力される検知出力の出力値を表す輝度の大きさは、画像処理装置11にて、例えば、0〜255の1バイトのデジタル値に変換される。このようにして、検査面の各位置にそれぞれが対応した各画素の位置における、R、G、B座標成分それぞれに対応した座標値から構成される検査面色情報を、画像処理装置11に取り込む。また、該検査面色情報は、検査面の各位置の位置情報と、その各位置におけるRGB座標系にて表されるカラー画像情報とを含むものとされる。
【0032】
次に、画像処理装置11に入力された検査面色情報を、画像処理装置11のメモリ14に第一検査画像として保管しておく。そして、予めメモリ14に読み込ませておいた基準画像と比較し、第一検査画像において位置ズレがある場合は、そのズレ量を画像処理装置11に計算する。その後、該ズレ量を基に第一検査画像の位置補正を行ない、第一検査面データとしてメモリ14に保管する。
【0033】
第一検査面データとは異なる3次元色空間座標系(本実施例ではHSI系)のデータを必要とする場合、上記位置補正を行なった後、メモリ14に保管された第一検査面データを、自身のRGB座標系とは異なるHSI座標系に、CPU13およびメモリ14を用いた演算処理にて座標変換するとともに、その処理結果を第二検査面データとしてメモリ14に保管する。ここで、第一検査面データは、カラー画像情報として、R、G、B座標成分の3つの座標成分を有し、他方、第二検査面データは、H(色相)、S(彩度)、I(明度)座標成分の3つの座標成分を有するものとされる。また、色相Hは、色合いを表すものであり、図5(a)に示すように、周方向に対してR(赤)、Y(黄)、G(緑)、C(シアン)、B(青)、M(マゼンダ)が規定され、その中心に対する角度により色合いが定義されるものである。そこで、該色合いを示す0〜360度の範囲からなる角度を、0〜255(1バイト)の値に割り充てたものを、H座標成分の座標値とする。例えば、Rを0とすると、Gが85、Bが170となり、255で再びRとなる。次に、図5(b)のHSI座標系に示すように、色の鮮やかさを表す彩度Sは、中心からの長さにて定義されるものである。そこで、その長さを、0〜255(1バイト)の値に割り充てたものを、S座標成分の座標値とする。最後に、色の明るさを表す明度Iは、中心軸上の位置で定義されるものである。そこで、その位置を、0〜255(1バイト)の値に割り充てたものを、I座標成分の座標値とする。
【0034】
上記のようにそれぞれの座標成分の座標値が規定された、第一検査面データおよび第二検査面データのうち少なくとも一方における少なくとも1つの座標成分からなる画像処理データを画像処理装置11を用いて作成するとともに、メモリ14に保管する。また、第一検査面データおよび第二検査面データのうち少なくとも一方を構成する検査面の各位置におけるカラー画像情報の各座標成分それぞれに対して、良品許容範囲内の良品基準値を予め設定させておくとともに、これら良品基準値からなる良品基準色情報を予めメモリ14に読み込ませておく。そして、上記第一検査画像の位置補正に用いた基準画像を基に、良品基準色情報は位置補正がなされたものとされる。勿論、該良品基準色情報を基準画像として用いることもできる。次に、良品基準色情報のうち画像処理データの各座標成分に対応する良品基準色データをメモリ14に保管しておく。そして、良品基準色データのそれぞれ座標成分を表すデータにおいて、検査面の所定の部分領域に対応するデータ群のそれぞれ座標値の基準代表値を求める。この基準代表値は、例えば、平均値、中央値や最頻値などのいずれかとする。このように求めた基準代表値と同様にして、画像処理データのそれぞれ座標成分を表すデータにおいても、基準代表値を求めたのと同一の検査面の所定の部分領域に対応するデータ群のそれぞれ座標値の比較代表値を求める。そして、求めた基準代表値と比較代表値との差分値を取るとともに、該差分値を、画像処理データのそれぞれ座標成分を表すデータのバックグランドの底上げまたは底下げの形で、例えば、該データをなす全座標値に加えるまたは減ずる補正処理を行なう。そして、その処理結果を、補正画像処理データとしてメモリ14に保管する。
【0035】
そして、補正画像処理データを作成した後、補正画像処理データと良品基準色データとの同一座標成分をなすデータ同士の差分処理やパターンマッチングなどの画像処理を行うことで、不良領域の選定を行う。そして、この選定結果に基づいて、形状評価による最終的な電子回路用部品の良否判定を行う。
【0036】
上記のように補正画像処理データを用いた画像処理を行うことで、製品ごとに発生する不可避的な色度のばらつきを効果的に平滑化することが可能となり、ひいては、電子回路用部品の外観検査の検査精度を高めることができる。但し、本実施例は、あくまで例示であるので、請求項の記載に基づく技術的範囲を逸脱しない限り、種々の変形ないし改良を付加することができる。例えば、補正画像処理データの作成を、検査面の全領域に対応するデータを用いて求めた基準代表値および比較代表値を基に行ってもよいし、検査面の領域を所定複数の領域に分割するとともに個別にそれぞれ基準代表値および比較代表値を求め、それに応じて座標成分のデータをなすそれぞれ座標値を個別に補正する方法にて行ってもよい。
【0037】
上述してきた本発明の外観検査方法を用いることで、電子回路用部品の検査面に対して行なわれる外観検査の検査精度を高めることが可能となる。また、電子回路用部品の素子機能に応じた配線パターンが基板上に形成された、該基板上の外観に対して、異物の付着、変色、クラック、表面の剥がれ等を外観検査する判定工程を有する電子回路用部品の製造方法においても、該判定工程を本発明の外観検査方法と同様な方法を用いて行なうことで、その外観に対する検査精度を向上させることができる。
【0038】
尚、上述した本発明に係わる実施形態および実施例は、あくまで一例であって、電子回路用部品の検査面の外観検査において、製品ごとに補正画像処理データを作成するとともに、該補正画像処理データを用いて画像処理を行なう概念のものは、本発明の概念に内包されるものである。
【図面の簡単な説明】
【図1】本発明の外観検査装置の一実施形態を示す概略構成図。
【図2】本発明の外観検査方法の一作業手順を示す概略工程図。
【図3】本発明の外観検査装置の要部の概略構成図。
【図4】本発明の外観検査方法を説明するための模式図。
【図5】本発明の外観検査方法に用いられる3次元色空間座標系を説明するための模式図。
【符号の説明】
1 電子回路用部品
2 カラー受光部(ラインセンサカメラ)
11 画像処理装置
100 外観検査装置
Claims (7)
- 電子回路用部品の外観検査方法であって、
電子回路用部品の検査面からの検査光をカラー受光部にて受光し、該カラー受光部の検知出力に基づいて前記検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面色情報生成工程と、
該検査面色情報生成工程によって生成された前記検査面色情報の3つの座標成分を表す第一検査面データの3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成し、前記第一検査面データの少なくとも1つの座標成分および第二検査面データの少なくとも1つの座標成分のうち、前記第一検査面データと前記第二検査面データとの座標成分からなる画像処理データを得る画像処理データ作成工程と、
前記画像処理データと、予め設定された良品基準色情報のうち前記画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定する不良領域選定工程とを含むとともに、
前記不良領域選定工程における前記画像処理に用いる前記画像処理データは、前記良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する前記画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとされることを特徴とする電子回路用部品の外観検査方法。 - 前記補正画像処理データの作成は、前記良品基準色データのそれぞれ座標成分を表すデータのうち前記検査面における所定の部分領域に対応するデータ群に基づく基準代表値と、該座標成分に対応する前記画像処理データのそれぞれ座標成分を表すデータのうち前記部分領域に対応するデータ群に基づく比較代表値とを用いた補正処理にて行うことを特徴とする請求項1記載の電子回路用部品の外観検査方法。
- 前記基準代表値および前記比較代表値は、それぞれ前記部分領域をなすデータ群の平均値、中央値および最頻値のうちのいずれかとされることを特徴とする請求項2記載の電子回路用部品の外観検査方法。
- 前記第一検査面データは、光の三原色である赤R、緑Gおよび青Bを座標成分とするRGB座標系からなることを特徴とする請求項1ないし3のいずれか1項に記載の電子回路用部品の外観検査方法。
- 前記第二検査面データは、色相H、彩度Sおよび明度Iを座標成分とするHSI座標系からなることを特徴とする請求項1ないし4のいずれか1項に記載の電子回路用部品の外観検査方法。
- 電子回路用部品の外観検査に用いられる外観検査装置であって、
電子回路用部品の検査面を撮像するカラー受光部と、
該カラー受光部の検知出力に基づいて前記検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成する検査面情報生成手段と、
該検査面色情報生成手段によって生成された前記検査面色情報の3つの座標成分を表す第一検査面データの3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成し、前記第一検査面データの少なくとも1つの座標成分および第二検査面データの少なくとも1つの座標成分のうち、前記第一検査面データと前記第二検査面データとの座標成分からなる画像処理データを得る画像処理データ作成手段と、
前記画像処理データと、予め設定された良品基準色情報のうち前記画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定する不良領域選定手段とを備えてなるとともに、
前記不良候補領域選定手段における前記画像処理に用いられる前記画像処理データは、前記良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する前記画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとされることを特徴とする電子回路用部品の外観検査装置。 - 基板上に配線パターンを形成する工程と、
該配線パターンが形成された基板上の検査面からの検査光をカラー受光部にて受光し、該カラー受光部の検知出力に基づいて前記検査面内の各位置における3次元色空間座標系の3つの座標成分よりなる検査面色情報を生成し、該検査面色情報の3つの座標成分を表す第一検査面データの3次元色空間座標系とは異なる3次元色空間座標系に座標変換させた第二検査面データを作成し、前記第一検査面データの少なくとも1つの座標成分および第二検査面データの少なくとも1つの座標成分のうち、前記第一検査面データと前記第二検査面データとの座標成分からなる画像処理データを取得し、該画像処理データと、予め設定された良品基準色情報のうち前記画像処理データに対応する良品基準色データとを用いた画像処理にて不良領域を選定し、この選定された不良領域に基づいて配線パターンの良否判定を行なう判定工程とを含むとともに、
前記判定工程における前記不良領域を選定するために行なう前記画像処理に用いられる前記画像処理データは、前記良品基準色データのそれぞれ座標成分を表すデータの大きさに合わせて、該座標成分に対応する前記画像処理データのそれぞれ座標成分の大きさが補正処理されたデータである補正画像処理データとされることを特徴とする電子回路用部品の製造方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002286053A JP4190243B2 (ja) | 2002-09-30 | 2002-09-30 | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002286053A JP4190243B2 (ja) | 2002-09-30 | 2002-09-30 | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004125434A JP2004125434A (ja) | 2004-04-22 |
JP4190243B2 true JP4190243B2 (ja) | 2008-12-03 |
Family
ID=32279202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002286053A Expired - Fee Related JP4190243B2 (ja) | 2002-09-30 | 2002-09-30 | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4190243B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4548086B2 (ja) * | 2004-10-15 | 2010-09-22 | 株式会社ニコン | 欠陥検査装置 |
JP4736764B2 (ja) * | 2005-01-11 | 2011-07-27 | オムロン株式会社 | 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置 |
US7769226B2 (en) | 2005-01-26 | 2010-08-03 | Semiconductor Energy Laboratory Co., Ltd. | Pattern inspection method and apparatus |
JP2008139074A (ja) * | 2006-11-30 | 2008-06-19 | Rozefu Technol:Kk | 画像の欠陥検出方法 |
KR101590831B1 (ko) * | 2013-04-02 | 2016-02-03 | 주식회사 고영테크놀러지 | 기판의 이물질 검사방법 |
JP7262927B2 (ja) * | 2018-03-30 | 2023-04-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2023074566A1 (ja) * | 2021-11-01 | 2023-05-04 | ブラザー工業株式会社 | コンピュータプログラム、および、データ処理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH072964U (ja) * | 1993-06-11 | 1995-01-17 | 日立化成工業株式会社 | 光学式回路欠陥検査装置 |
JPH09106459A (ja) * | 1995-10-12 | 1997-04-22 | Daihatsu Motor Co Ltd | 電子部品の位置ずれ検査方法 |
JP4016472B2 (ja) * | 1997-01-10 | 2007-12-05 | 株式会社日立製作所 | 外観検査方法及びその装置 |
JP2000046651A (ja) * | 1998-07-28 | 2000-02-18 | Sumitomo Electric Ind Ltd | ワイヤーの外観検査装置 |
JP2001077165A (ja) * | 1999-09-06 | 2001-03-23 | Hitachi Ltd | 欠陥検査方法及びその装置並びに欠陥解析方法及びその装置 |
JP4483038B2 (ja) * | 2000-06-27 | 2010-06-16 | ソニー株式会社 | 検査装置 |
JP2002048732A (ja) * | 2000-08-01 | 2002-02-15 | Matsushita Electric Ind Co Ltd | 外観検査装置および外観検査方法 |
-
2002
- 2002-09-30 JP JP2002286053A patent/JP4190243B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004125434A (ja) | 2004-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4054184B2 (ja) | 欠陥画素補正装置 | |
US20060018534A1 (en) | Technique for detecting a defect of an object by area segmentation of a color image of the object | |
JP6348289B2 (ja) | 検査装置および検査方法 | |
US20090046922A1 (en) | Surface Inspecting Apparatus | |
JP3741672B2 (ja) | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム | |
JP2006303491A (ja) | ウェハの検査方法 | |
JP4190243B2 (ja) | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。 | |
JP2019168388A (ja) | 画像検査方法および画像検査装置 | |
JP5466099B2 (ja) | 外観検査装置 | |
JP4354173B2 (ja) | 電子回路用部品の外観検査装置 | |
JP4090775B2 (ja) | 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法 | |
JP3241050B2 (ja) | 半導体の外観検査装置 | |
JP4579570B2 (ja) | シェーディング処理方法 | |
JP4354174B2 (ja) | 電子回路用部品の製造方法 | |
JP2014062837A (ja) | 欠陥検査装置及び欠陥レビュー装置 | |
JP4195980B2 (ja) | カラー画像を用いた外観検査方法及び外観検査装置 | |
TWI843820B (zh) | 使用多種波長之光單色成像的顏色檢查方法 | |
JP4244046B2 (ja) | 画像処理方法および画像処理装置 | |
JPH08152412A (ja) | 外観検査装置 | |
JP4961370B2 (ja) | 検査方法および検査装置 | |
KR20060084348A (ko) | 고체 촬상 소자 검사 시스템 | |
JPH08189901A (ja) | 画像信号を用いる検査装置 | |
JP4858227B2 (ja) | 検査パラメータ設定支援装置、その制御プログラムおよび制御方法 | |
JP4889018B2 (ja) | 外観検査方法 | |
JP2000258354A (ja) | 突起部の検査方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080227 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080916 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |