JP2014126445A - 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム - Google Patents
位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2014126445A JP2014126445A JP2012283173A JP2012283173A JP2014126445A JP 2014126445 A JP2014126445 A JP 2014126445A JP 2012283173 A JP2012283173 A JP 2012283173A JP 2012283173 A JP2012283173 A JP 2012283173A JP 2014126445 A JP2014126445 A JP 2014126445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- alignment
- defect
- inspection
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】位置合せの高精度化。
【解決手段】欠陥検査装置(1)は、良品画像(202)中における類似の領域との識別を可能にするエッジ部分を含むアライメント重要領域に重み付けを行って画像変換を決定する画像変換決定部(103)と、該画像変換を良品画像(202)および検査画像に施すことによって、位置合わせされた画像を生成する位置合せ部(104)と、を備えている。
【選択図】図1
【解決手段】欠陥検査装置(1)は、良品画像(202)中における類似の領域との識別を可能にするエッジ部分を含むアライメント重要領域に重み付けを行って画像変換を決定する画像変換決定部(103)と、該画像変換を良品画像(202)および検査画像に施すことによって、位置合わせされた画像を生成する位置合せ部(104)と、を備えている。
【選択図】図1
Description
本発明は、画像処理に関し、より詳細には画像比較のための位置合せに関する。
工業製品の製造工程において、欠陥の検査を行うことは、製品の品質を確保するために重要であり、一般的に行われている。また、検査装置を用いた自動検査も実用化されている。そして、自動検査の精度向上等のための技術開発も進められている。例えば、下記特許文献1には、繰返しパターンがある検査対象物の欠陥検査において、同一パターンとなる画像部分を比較して、差異のある箇所を欠陥として判定することが記載されている。また、下記特許文献2には、工業用部品の画像と該部品のモデル画像とを比較して、工業用部品の欠陥を検出することが記載されている。
ここで、上記何れの特許文献においても、画像の比較によって欠陥を検出しているが、画像の比較によって欠陥を検出するためには、比較対象の画像を高精度に位置合せする必要がある。画像の位置合せの手法は、様々なものが知られており、例えば特許文献2では、画像中で検出した特徴点を比較する特徴点マッチングによって位置合せを行っている。
特許文献2の特徴点マッチングは、特徴点となる箇所(例えばコーナー点)が多数含まれる画像に好適な手法であるが、表面に配線が設けられた基板の画像のように、主に線分の組み合わせからなる画像では位置合せの精度が落ちるという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことのできる位置合せ装置等を提供することにある。
上記の課題を解決するために、本発明の一態様に係る位置合せ装置は、検査対象物の画像である第1画像と、該検査対象物の画像であり第1画像と比較対象となる第2画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段と、上記画像変換決定手段が決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段と、を備えていることを特徴としている。
また、上記の課題を解決するために、本発明の一態様に係る位置合せ方法は、検査対象物の画像である第1画像と、該検査対象物の画像であり第1画像と比較対象となる第2画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップと、上記画像変換決定ステップにて決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップと、を含むことを特徴としている。
本発明の一態様に係る位置合せ装置または位置合せ方法によれば、第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域におけるエッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って画像変換を決定する。これにより、重要領域内のエッジ特徴量の差分が特に小さくなる画像変換が決定される。つまり、類似の領域との識別を可能にするエッジ部分について、一致している度合いが高くなる(エッジ特徴量の差が小さくなる)画像変換が決定される。よって、互いに類似する領域の識別精度を向上させることができる。
そして、上記のようにして決定した画像変換を用いて位置合せを行うので、正しい位置への位置合せを行うことが可能になるという効果を奏する。特に、検査対象物の画像が、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことが可能になるという効果を奏する。
以下、本発明の実施の形態について、詳細に説明する。まず、図1に基づいて本実施形態に係る欠陥検査装置の構成を説明する。図1は、欠陥検査装置(位置合せ装置)1の要部構成を示すブロック図である。
〔装置構成〕
欠陥検査装置1は、検査対象物の表面に生じた欠陥を、該検査対象物を撮像した画像である検査画像を解析して検出すると共に、検出した欠陥の分類を行う装置である。検査対象物は特に限定されないが、ここでは表面に配線が設けられた基板が検査対象物である例を説明する。なお、検査対象物のサイズが大きい場合には、欠陥検出に必要な解像度を確保するため、複数回の撮像によって1つの検査対象物の全体をカバーする。つまり、この場合には検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像を用いることによって、検査対象物の全体を検査する。以下では、1つの検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像の入力を受け付ける例を説明する。検査画像は、例えばデジタルカメラ等で検査対象物を撮像して得たものであってもよい。
欠陥検査装置1は、検査対象物の表面に生じた欠陥を、該検査対象物を撮像した画像である検査画像を解析して検出すると共に、検出した欠陥の分類を行う装置である。検査対象物は特に限定されないが、ここでは表面に配線が設けられた基板が検査対象物である例を説明する。なお、検査対象物のサイズが大きい場合には、欠陥検出に必要な解像度を確保するため、複数回の撮像によって1つの検査対象物の全体をカバーする。つまり、この場合には検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像を用いることによって、検査対象物の全体を検査する。以下では、1つの検査対象物の異なる部位をそれぞれ撮像して得た複数の検査画像の入力を受け付ける例を説明する。検査画像は、例えばデジタルカメラ等で検査対象物を撮像して得たものであってもよい。
図示のように、欠陥検査装置1は、処理に必要なデータ(検査画像等)の入力を受け付ける入力部10、欠陥検査装置1の動作を統括して制御する制御部11、欠陥検出の結果等を表示する出力部12、および欠陥検査装置1が使用する各種データを記憶する記憶部13を備えている。
制御部11は、エッジ画像生成部101、特徴量算出部102、画像変換決定部(画像変換決定手段)103、位置合せ部(位置合せ手段)104、欠陥抽出部105、欠陥分類部106、および学習部107を備えている。
エッジ画像生成部101は、位置合せの対象となる各画像について、エッジ画像を生成する。なお、エッジ画像とは、画像におけるエッジ部分(画素値が急激に変化している部分)を抽出した画像である。エッジ画像の生成については、公知の手法を適用することができる。例えば、Sobelフィルタを適用することによってエッジ画像を生成してもよい。
特徴量算出部102は、エッジ画像生成部101が生成したエッジ画像の対比に使用するエッジ特徴量を算出する。このエッジ特徴量は、エッジ画像の特徴を数値化したものであり、エッジベースの位置合せの際に従来から用いられている特徴量を上記エッジ特徴量として適用することができる。
画像変換決定部103は、位置合せの対象となる画像に対して施す画像変換を決定する。具体的には、画像変換決定部103は、特徴量算出部102が算出したエッジ特徴量の差が画像全体として小さくなる画像変換を決定する。より詳細には、画像変換決定部103は、位置合せの対象となる各画像について、対応する位置の画素のエッジ特徴量の差分を算出し、差分の和を最小または所定の閾値以下とする画像変換(画像変換のパラメータ)を決定する。この画像変換は、少なくとも画像の位置を合わせる変換(画像平面上において平行移動させる変換)であればよく、必要に応じて傾きやサイズ等を合わせる変換を含んでいてもよい。
位置合せ部104は、画像変換決定部103が決定した画像変換を位置合せの対象となる画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する。言い換えれば、位置合せの対象となる両画像を共通座標系に変換(両画像の各画素が共通の座標系に乗るように変換)する。なお、ここでは、位置合せの対象となる画像の一方に施して、位置合せ後の画像を2つ生成する例を説明する。これら2つの画像は、検査対象物の同一の部位に対応しており、同じ位置の画素を比較することによって、両画像の相違点を検出することが可能となる。
欠陥抽出部105は、後述の欠陥判定モデル205および配線情報203を用いて位置合せ後の画像を比較することによって検査画像における欠陥領域を抽出する。具体的には、欠陥抽出部105は、位置合せ後の画像について、欠陥検出のための特徴量を算出し、算出した特徴量と欠陥判定モデル205とを用いて欠陥領域を抽出して、検査画像における欠陥領域がラベルされた欠陥抽出マップを生成する。
欠陥分類部106は、後述の欠陥分類モデル204および配線情報203を用いて、欠陥抽出部105が抽出した欠陥領域の欠陥を分類する。具体的には、欠陥分類部106は、欠陥抽出部105が生成した欠陥抽出マップと、位置合せ後の両画像とから、欠陥分類のための特徴量を算出し、算出した特徴量と欠陥分類モデル204とを用いて、抽出された各欠陥領域の欠陥の種類を判定する。
学習部107は、後述の学習用情報201を用いて欠陥判定に使用する情報(欠陥判定モデル205)と欠陥分類に使用する情報(欠陥分類モデル204)を生成する。
記憶部13には、学習用情報201、良品画像(第1画像)202、配線情報203、欠陥分類モデル204、欠陥判定モデル205、および重要領域設定情報206が格納されている。なお、欠陥検査装置1は、制御部11がこれらの情報を参照できるように構成されていればよく、例えば外部の記憶媒体や記憶装置からこれらの情報を参照する構成であってもよいし、通信ネットワークを介してこれらの情報を取得する構成であってもよい。
学習用情報201は、上述のように、欠陥分類モデル204および欠陥判定モデル205を生成するための情報である。学習用情報201には、欠陥のモデル画像である欠陥画像、該欠陥画像において人による目視検査等によって確実に欠陥があることが判明している領域を示す真の欠陥部抽出マップ、および人による目視検査等によって正確に判定された欠陥の種類を示す真の欠陥種情報が含まれる。
良品画像202は、欠陥のない検査対象物を示す画像であり、検査画像との比較のために用いられる。良品画像202は、例えば欠陥を有さないことが確認された複数の検査画像を貼り合わせて生成されたものであってもよい。また、良品画像202は、検査対象物の設計情報であるCAD(Computer Aided Design)データから作成した画像であってもよい。
配線情報203は、検査対象物の表面に設けられている配線の色を示す情報である。また、欠陥分類モデル204は、検出された欠陥を分類するための情報であり、欠陥判定モデル205は、検査画像における欠陥箇所を判定するための情報である。
重要領域設定情報206は、良品画像202を構成する画像領域のうち、該良品画像202中における類似の画像領域と識別可能な特徴点を含むアライメント重要領域(重要領域)を示す情報である。
〔アライメント重要領域について〕
続いて、アライメント重要領域について、図2に基づいてより詳細に説明する。図2は、アライメント重要領域を説明する図である。図2の(a)は、良品画像202の一例を示している。検査対象物がゲート(配線)完成後の基板である場合、配線は一般に直線状であるから、図示のように、良品画像202はコーナー点が少なく直線の多い画像となる。このため、〔背景技術〕に示した特徴点マッチングよりも、エッジベースのマッチングを行うことが望ましく、欠陥検査装置1ではエッジベースのマッチングを行う。なお、検査対象物のサイズが大きい場合、1つの検査対象物に対して、該検査対象物の各部分に対応する良品画像202をそれぞれ用意してもよい。また、検査対象物の表面形状が、繰り返しのパターンからなる場合、該パターンの一周期に対応する良品画像202を用意してもよい。
続いて、アライメント重要領域について、図2に基づいてより詳細に説明する。図2は、アライメント重要領域を説明する図である。図2の(a)は、良品画像202の一例を示している。検査対象物がゲート(配線)完成後の基板である場合、配線は一般に直線状であるから、図示のように、良品画像202はコーナー点が少なく直線の多い画像となる。このため、〔背景技術〕に示した特徴点マッチングよりも、エッジベースのマッチングを行うことが望ましく、欠陥検査装置1ではエッジベースのマッチングを行う。なお、検査対象物のサイズが大きい場合、1つの検査対象物に対して、該検査対象物の各部分に対応する良品画像202をそれぞれ用意してもよい。また、検査対象物の表面形状が、繰り返しのパターンからなる場合、該パターンの一周期に対応する良品画像202を用意してもよい。
ここで、直線状の配線が基板上に配置された検査対象物の場合、外観が類似する領域が生じやすい。例えば、図示の良品画像202において、領域A1の画像と領域A2の画像とは、横方向の配線と、縦方向の配線とがT字状に接続された画像である点で共通しており、外観が類似している。そして、外観が類似している領域では、誤った位置合せが行われる可能性がある。つまり、領域A1に対応する検査画像は、撮像時期の違い等によって、良品画像202の領域A1の画像とは完全には一致せず、検査画像と良品画像とでエッジ特徴量に差異が生じる。その結果、領域A1に対応する検査画像であっても、良品画像202の領域A2の画像とのエッジ特徴量の差異の方が、領域A1の画像との差異よりも小さくなり、誤って領域A2に位置合せしてしまうことが生じ得る。
そこで、欠陥検査装置1では、アライメント重要領域を設定することによって、誤った位置合せが行われる確率を低減し、位置合せの精度を向上させている。図2の(b)は、同図(a)の領域A1に対応する部位(検査対象物の部位)を撮像した検査画像と、該検査画像から生成したエッジ画像の例とを示している。また、図2の(c)は、同図(a)の領域A2に対応する部位(検査対象物の部位)を撮像した検査画像と、該検査画像から生成したエッジ画像の例と、該エッジ画像上におけるアライメント重要領域の例を示している。
同図の(b)(c)に示すように、欠陥検査装置1は、撮像された検査画像からエッジ部分を抽出したエッジ画像を生成する。そして、このエッジ画像と良品画像202のエッジ画像とのそれぞれについてエッジ特徴量を算出し、画像全体としてエッジ特徴量の差が最小となる画像変換を決定する。
このとき、同図の(c)に示すアライメント重要領域に含まれる画素については、エッジ特徴量の差に重み付けを行う。例えば、アライメント重要領域に含まれる画素におけるエッジ特徴量の差を20倍にし、アライメント重要領域外の画素におけるエッジ特徴量の差には重み付けしない(1倍とする)ようにしてもよい。
これにより、画像全体でエッジ特徴量の差が小さくなる画像変換を探索した場合に、アライメント重要領域内におけるエッジ特徴量の差が特に小さくなる画像変換が決定される。したがって、類似領域に位置合せする可能性を低減して、位置合せの精度を高めることができる。
なお、アライメント重要領域は、類似の領域との識別を可能にするエッジ形状を含む領域であればよく、例えば人が良品画像202を目視して類似の領域を検出し、検出した領域を識別可能にしている部分をアライメント重要領域としてもよい。また、例えば、配線の形状が変化している箇所を自動で検出し、検出した箇所をアライメント重要領域としてもよい。さらに、過去の検査において誤ったアライメントが行われた領域を記憶しておき、この領域内における、類似の領域との識別を可能にするエッジ形状を含む箇所をアライメント重要領域として設定してもよい。
〔重要領域設定情報の例〕
続いて、重要領域設定情報206の具体例を図3に基づいて説明する。図3は、良品画像202上におけるアライメント重要領域を示す重要領域設定情報206の例を示す図である。このように、重要領域設定情報206は、良品画像202にアライメント重要領域を示す情報(この例では破線の枠)を追加したものであってもよい。このような重要領域設定情報206を参照することによって、アライメント重要領域内の画素におけるエッジ特徴量の差分に重み付けをすることができる。
続いて、重要領域設定情報206の具体例を図3に基づいて説明する。図3は、良品画像202上におけるアライメント重要領域を示す重要領域設定情報206の例を示す図である。このように、重要領域設定情報206は、良品画像202にアライメント重要領域を示す情報(この例では破線の枠)を追加したものであってもよい。このような重要領域設定情報206を参照することによって、アライメント重要領域内の画素におけるエッジ特徴量の差分に重み付けをすることができる。
なお、重要領域設定情報206は、アライメント重要領域を特定できるものであればよく、例えばアライメント重要領域を座標で示すものであってもよいし、良品画像202とは別の画像でアライメント重要領域を示すものであってもよい。
〔欠陥検出・分類処理の流れ〕
次に、欠陥検査装置1が実行する欠陥検出・分類処理の流れを図4に基づいて説明する。図4は、欠陥検出・分類処理の一例を示すフローチャートである。なお、この欠陥検出・分類処理は、本発明に係る位置合せ方法を含む。
次に、欠陥検査装置1が実行する欠陥検出・分類処理の流れを図4に基づいて説明する。図4は、欠陥検出・分類処理の一例を示すフローチャートである。なお、この欠陥検出・分類処理は、本発明に係る位置合せ方法を含む。
まず、制御部11に対して入力部10を介して必要なデータが入力され、制御部11では入力されたデータに基づいて初期化が行われる(S1)。具体的には、入力部10は、検査対象物を特定するためのID(例えば検査対象物が機器の部品である場合、該機器を特定する機種ID等)と共に、該検査対象物を撮像した検査画像(第2画像)の入力を受け付ける。そして、エッジ画像生成部101は、上記IDに対応する良品画像(第1画像)202を記憶部13から読み出し、画像変換決定部103は、上記IDに対応する重要領域設定情報206を記憶部13から読み出す。また、欠陥抽出部105は、上記IDに対応する配線情報203と欠陥判定モデル205とを記憶部13から読み出し、欠陥分類部106は、上記IDに対応する配線情報203と欠陥分類モデル204とを記憶部13から読み出す。
次に、エッジ画像生成部101は、エッジ画像の生成を行う(S2)。具体的には、エッジ画像生成部101は、記憶部13から読み出した良品画像202のエッジ画像と、S1で入力された検査画像のエッジ画像とを生成する。そして、エッジ画像生成部101は、生成した各エッジ画像を特徴量算出部102に出力する。
続いて、特徴量算出部102は、エッジ画像生成部101から受信した各エッジ画像のエッジ特徴量をそれぞれ算出し(S3)、算出したエッジ特徴量を画像変換決定部103に出力する。
次に、画像変換決定部103は、重要領域設定情報206を参照して良品画像202のエッジ画像におけるアライメント重要領域を特定する。そして、該アライメント重要領域に重み付けした状態で、エッジ特徴量の差分が画像全体として最小となる画像変換を決定し(S4、画像変換決定ステップ)、決定した画像変換を位置合せ部104に通知する。
続いて、位置合せ部104は、画像変換決定部103から通知された画像変換を検査画像に施し(S5、位置合せステップ)、良品画像202に対して位置合せされた検査画像(画像変換後の検査画像)を生成する。そして、良品画像202と、画像変換後の検査画像とを欠陥抽出部105に出力する。
次に、欠陥抽出部105は、配線情報203と欠陥判定モデル205とに基づき、位置合せ部104から受信した、良品画像202と、画像変換後の検査画像とを対比して、位置合せされた検査画像における欠陥領域を抽出し(S6)、検査画像における欠陥領域がラベルされた欠陥抽出マップを生成する。そして、生成した欠陥抽出マップを欠陥分類部106に通知する。配線情報203を利用することにより、検査画像内での配線部分の色と、背景の色との違いを識別することができるので、色変化がある場合においても欠陥部位を高精度に検出することができる。
続いて、欠陥分類部106は、良品画像202および画像変換後の検査画像と、配線情報203と、欠陥分類モデル204とに基づき、欠陥抽出マップに含まれる各欠陥領域の欠陥を分類する(S7)。この処理においても、配線情報203を利用することにより、色変化がある場合においても欠陥の種類を高精度に判定することができる。そして、欠陥抽出マップと分類結果を示す情報とを出力部12に送信して出力させ(S8)、欠陥検出・分類処理を終了する。
なお、図4では簡単のため、1つの検査画像に対する処理のみを示しているが、1つの検査対象物の異なる部分をそれぞれ撮像した複数の検査画像を用いる場合、各検査画像についてS2〜S7の処理を行うことによって、検査対象物の全体の検査を行う。なお、2枚目以降の検査画像では、1枚目の処理で生成した、良品画像202のエッジ画像を使用することができるので、S2では検査画像のみのエッジ画像を生成すればよい。また、S8の結果出力は、全ての検査画像についてS2〜S7の処理が終了したときに行えばよい。
〔学習処理の流れ〕
次に、欠陥検査装置1が実行する学習処理の流れを図5に基づいて説明する。図5は、学習処理の一例を示すフローチャートである。なお、この学習処理は、本発明に係る位置合せ方法を含む。
次に、欠陥検査装置1が実行する学習処理の流れを図5に基づいて説明する。図5は、学習処理の一例を示すフローチャートである。なお、この学習処理は、本発明に係る位置合せ方法を含む。
まず、制御部11に対して入力部10を介して必要なデータが入力され、制御部11では入力されたデータに基づいて初期化が行われる(S11)。具体的には、入力部10は、学習対象の検査対象物を特定するためのID(例えば検査対象物が機器の部品である場合、該機器を特定する機種ID等)の入力を受け付ける。そして、エッジ画像生成部101は、上記IDに対応する良品画像(第1画像)202を記憶部13から読み出し、画像変換決定部103は、上記IDに対応する重要領域設定情報206を記憶部13から読み出す。また、学習部107は、上記IDに対応する配線情報203と学習用情報201とを記憶部13から読み出し、学習用情報201に含まれる、該検査対象物の欠陥画像(第2画像)をエッジ画像生成部101に出力する。なお、欠陥画像は、欠陥の種別ごとに複数出力してもよい。
次に、エッジ画像生成部101は、エッジ画像の生成を行う(S12)。具体的には、エッジ画像生成部101は、記憶部13から読み出した良品画像202のエッジ画像と、学習部107から受信した欠陥画像のエッジ画像とを生成する。そして、エッジ画像生成部101は、生成した各エッジ画像を特徴量算出部102に出力する。
続いて、特徴量算出部102は、エッジ画像生成部101から受信した各エッジ画像のエッジ特徴量をそれぞれ算出し(S13)、算出したエッジ特徴量を画像変換決定部103に出力する。
次に、画像変換決定部103は、重要領域設定情報206を参照して良品画像202のエッジ画像におけるアライメント重要領域を特定する。そして、該アライメント重要領域に重み付けした状態で、エッジ特徴量の差分が画像全体として最小となる画像変換を決定し(S14、画像変換決定ステップ)、決定した画像変換を位置合せ部104に通知する。
続いて、位置合せ部104は、画像変換決定部103から通知された画像変換を検査画像に施し(S15、位置合せステップ)、良品画像202に対して位置合せされた欠陥画像(画像変換後の欠陥画像)を生成する。そして、良品画像202と、画像変換後の欠陥画像とを学習部107に出力する。
次に、学習部107は、配線情報203と学習用情報201とに基づき、位置合せ部104から受信した、良品画像202と画像変換後の欠陥画像とを対比して、欠陥判定モデルを生成する(S16)と共に、欠陥分類モデルを生成する(S17)。これにより、検査対象物に応じた最適な画像特徴量(欠陥判定のための特徴量と、欠陥の種類判定のための特徴量)と分離面(欠陥の有無を判定するための閾値と、欠陥の種類を判定するための閾値)とを構築することができる。そして、生成した各モデルを記憶部13に記録し(S18)、学習処理を終了する。
なお、図5では簡単のため、1つの欠陥画像に対する処理のみを示しているが、複数の欠陥画像を用いる場合、各欠陥画像についてS12〜S18の処理を行うことによって、複数種類の欠陥についての欠陥判定モデルおよび欠陥分類モデルを生成し、記録する。なお、2枚目以降の欠陥画像では、良品画像202については1枚目の処理で生成したエッジ画像を使用できるので、S12では欠陥画像のみのエッジ画像を生成すればよい。
〔変形例〕
上記実施形態では、本発明に係る位置合せ装置を欠陥検査装置1に適用した例を示したが、本発明に係る位置合せ装置は、欠陥の学習、検出、および分類を行わないものであってもよい。この場合、本発明に係る位置合せ装置によって位置合せした画像を欠陥検出装置(位置合せされた画像から欠陥を検出する処理を行う装置)に出力し、該欠陥検出装置にて欠陥の検出を行わせればよい。同様に、位置合せした画像を学習装置(位置合せされた画像から欠陥検出や分類のための学習処理を行う装置)に出力し、該学習装置にて欠陥の学習を行わせればよい。
上記実施形態では、本発明に係る位置合せ装置を欠陥検査装置1に適用した例を示したが、本発明に係る位置合せ装置は、欠陥の学習、検出、および分類を行わないものであってもよい。この場合、本発明に係る位置合せ装置によって位置合せした画像を欠陥検出装置(位置合せされた画像から欠陥を検出する処理を行う装置)に出力し、該欠陥検出装置にて欠陥の検出を行わせればよい。同様に、位置合せした画像を学習装置(位置合せされた画像から欠陥検出や分類のための学習処理を行う装置)に出力し、該学習装置にて欠陥の学習を行わせればよい。
〔ソフトウェアによる実現例〕
欠陥検査装置1の制御ブロック(特に制御部11)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
欠陥検査装置1の制御ブロック(特に制御部11)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、欠陥検査装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る位置合せ装置(欠陥検査装置1)は、検査対象物の画像である第1画像(良品画像202)と、該検査対象物の画像であり第1画像と比較対象となる第2画像(検査画像、欠陥画像)とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域(アライメント重要領域)における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段(画像変換決定部103)と、上記画像変換決定手段が決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段(位置合せ部104)と、を備えている。
本発明の態様1に係る位置合せ装置(欠陥検査装置1)は、検査対象物の画像である第1画像(良品画像202)と、該検査対象物の画像であり第1画像と比較対象となる第2画像(検査画像、欠陥画像)とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域(アライメント重要領域)における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段(画像変換決定部103)と、上記画像変換決定手段が決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段(位置合せ部104)と、を備えている。
本発明の態様4に係る位置合せ方法は、検査対象物の画像である第1画像と、該検査対象物の画像であり第1画像と比較対象となる第2画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップ(S4、S14)と、上記画像変換決定ステップにて決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップ(S5、S15)と、を含む。
上記の構成によれば、第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域におけるエッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って画像変換を決定する。これにより、重要領域内のエッジ特徴量の差分が特に小さくなる画像変換が決定される。つまり、類似の領域との識別を可能にするエッジ部分について、一致している度合いが高くなる(エッジ特徴量の差が小さくなる)画像変換が決定される。よって、類似する領域について誤った位置合せを行うことを防ぐことができる。
そして、上記の構成によれば、上記のようにして決定した画像変換を用いて位置合せを行うので、正しい位置への位置合せを行うことが可能になる。特に、検査対象物の画像が、主に線分の組み合わせからなる画像であっても、高精度な位置合せを行うことが可能である。
また、本発明の態様2に係る位置合せ装置では、上記態様1において、上記第1画像は、欠陥のない検査対象物の画像であり、上記第2画像は欠陥検査の対象となる検査対象物の画像であり、上記重要領域を示す重要領域設定情報を格納する記憶部を備え、上記画像変換決定手段は、上記記憶部に格納されている上記重要領域設定情報を参照して重み付けを行うものであってもよい。
上記の構成によれば、第1画像中における類似の領域との識別を可能にするエッジ部分を予め特定して記憶部に格納することにより、誤った位置合せを防ぎ、検査対象物の欠陥検査を高精度に行うことのできる画像(位置合せ後の画像)を生成することができる。
また、本発明の態様3に係る欠陥検査装置は、上記位置合せ装置が生成した、位置合せされた画像を用いて、上記検査対象物の欠陥を検出する。したがって、誤った位置合せに基づく欠陥の見落としや、誤検出の確率を低減し、高精度な欠陥検出を行うことができる。
そして、本発明の各態様に係る位置合せ装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記位置合せ装置が備える各手段として動作させることにより上記位置合せ装置をコンピュータにて実現させる位置合せ装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、工業製品の欠陥検査等に利用することができる。
1 欠陥検査装置(位置合せ装置)
13 記憶部
103 画像変換決定部(画像変換決定手段)
104 位置合せ部(位置合せ手段)
202 良品画像(第1画像)
206 重要領域設定情報
13 記憶部
103 画像変換決定部(画像変換決定手段)
104 位置合せ部(位置合せ手段)
202 良品画像(第1画像)
206 重要領域設定情報
Claims (5)
- 検査対象物の画像である第1画像と、該検査対象物の画像であり第1画像と比較対象となる第2画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置であって、
上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定手段と、
上記画像変換決定手段が決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せ手段と、を備えていることを特徴とする位置合せ装置。 - 上記第1画像は、欠陥のない検査対象物の画像であり、上記第2画像は欠陥検査の対象となる検査対象物の画像であり、
上記重要領域を示す重要領域設定情報を格納する記憶部を備え、
上記画像変換決定手段は、上記記憶部に格納されている上記重要領域設定情報を参照して重み付けを行うことを特徴とする請求項1に記載の位置合せ装置。 - 請求項1または2に記載の位置合せ装置が生成した、位置合せされた画像を用いて、上記検査対象物の欠陥を検出する欠陥検査装置。
- 検査対象物の画像である第1画像と、該検査対象物の画像であり第1画像と比較対象となる第2画像とについて、エッジ部分の特徴を示すエッジ特徴量の差が画像全体として小さくなる画像変換を決定して位置合わせする位置合せ装置による位置合せ方法であって、
上記第1画像において予め定められた領域であり、該第1画像中における類似の領域との識別を可能にするエッジ部分を含む重要領域における、上記エッジ特徴量の差分の寄与を該重要領域外よりも大きくする重み付けを行って上記画像変換を決定する画像変換決定ステップと、
上記画像変換決定ステップにて決定した画像変換を上記第1画像および第2画像の何れかまたは両方に施すことによって、位置合わせされた画像を生成する位置合せステップと、を含むことを特徴とする位置合せ方法。 - 請求項1または2に記載の位置合せ装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記画像変換決定手段および上記位置合せ手段として機能させるための制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012283173A JP2014126445A (ja) | 2012-12-26 | 2012-12-26 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
PCT/JP2013/082251 WO2014103617A1 (ja) | 2012-12-26 | 2013-11-29 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012283173A JP2014126445A (ja) | 2012-12-26 | 2012-12-26 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014126445A true JP2014126445A (ja) | 2014-07-07 |
Family
ID=51020711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012283173A Pending JP2014126445A (ja) | 2012-12-26 | 2012-12-26 | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014126445A (ja) |
WO (1) | WO2014103617A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012523A1 (ja) * | 2018-07-09 | 2020-01-16 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JPWO2019064599A1 (ja) * | 2017-09-29 | 2020-10-22 | 日本電気株式会社 | 異常検知装置、異常検知方法、及びプログラム |
US10957032B2 (en) | 2018-11-09 | 2021-03-23 | International Business Machines Corporation | Flexible visual inspection model composition and model instance scheduling |
US11010888B2 (en) | 2018-10-29 | 2021-05-18 | International Business Machines Corporation | Precision defect detection based on image difference with respect to templates |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6707920B2 (ja) * | 2016-03-14 | 2020-06-10 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
EP4307217A4 (en) * | 2021-04-20 | 2024-08-14 | Huawei Cloud Computing Tech Co Ltd | METHOD AND DEVICE FOR GENERATING ERROR IMAGES |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304718A (ja) * | 1998-04-21 | 1999-11-05 | Hitachi Ltd | 欠陥検査方法および装置 |
JP2002324238A (ja) * | 2001-04-26 | 2002-11-08 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および装置 |
JP2003223630A (ja) * | 2002-01-30 | 2003-08-08 | Hitachi Ltd | パターン検査方法及びパターン検査装置 |
JP2009211148A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP2012032370A (ja) * | 2010-07-29 | 2012-02-16 | Sharp Corp | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 |
JP2012068137A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Corp | アライメント方法及び検出装置 |
-
2012
- 2012-12-26 JP JP2012283173A patent/JP2014126445A/ja active Pending
-
2013
- 2013-11-29 WO PCT/JP2013/082251 patent/WO2014103617A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11304718A (ja) * | 1998-04-21 | 1999-11-05 | Hitachi Ltd | 欠陥検査方法および装置 |
JP2002324238A (ja) * | 2001-04-26 | 2002-11-08 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および装置 |
JP2003223630A (ja) * | 2002-01-30 | 2003-08-08 | Hitachi Ltd | パターン検査方法及びパターン検査装置 |
JP2009211148A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP2012032370A (ja) * | 2010-07-29 | 2012-02-16 | Sharp Corp | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 |
JP2012068137A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Corp | アライメント方法及び検出装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019064599A1 (ja) * | 2017-09-29 | 2020-10-22 | 日本電気株式会社 | 異常検知装置、異常検知方法、及びプログラム |
US11151714B2 (en) | 2017-09-29 | 2021-10-19 | Nec Corporation | Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium |
WO2020012523A1 (ja) * | 2018-07-09 | 2020-01-16 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JPWO2020012523A1 (ja) * | 2018-07-09 | 2021-05-13 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7028322B2 (ja) | 2018-07-09 | 2022-03-02 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US11010888B2 (en) | 2018-10-29 | 2021-05-18 | International Business Machines Corporation | Precision defect detection based on image difference with respect to templates |
US10957032B2 (en) | 2018-11-09 | 2021-03-23 | International Business Machines Corporation | Flexible visual inspection model composition and model instance scheduling |
Also Published As
Publication number | Publication date |
---|---|
WO2014103617A1 (ja) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11797886B2 (en) | Image processing device, image processing method, and image processing program | |
US10885618B2 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
CN109961421B (zh) | 数据生成装置、数据生成方法以及数据生成记录介质 | |
CN109558620B (zh) | 产生检查方案的方法和其系统 | |
TWI597689B (zh) | 使用表面形貌屬性之缺陷分類 | |
US11842481B2 (en) | Defect offset correction | |
US20140119638A1 (en) | System, method and computer program product to evaluate a semiconductor wafer fabrication process | |
WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
US20120099781A1 (en) | Method and apparatus of pattern inspection and semiconductor inspection system using the same | |
TW202105549A (zh) | 對樣本的缺陷檢測的方法及其系統 | |
TWI631638B (zh) | 由參考影像改變之檢測方式設定 | |
US7978904B2 (en) | Pattern inspection apparatus and semiconductor inspection system | |
JP2004077164A (ja) | 欠陥検査方法 | |
TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
TW201351305A (zh) | 使用以cad為基礎之環境背景屬性之缺陷分類 | |
JP6197340B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2020106461A (ja) | 画像生成装置及び外観検査装置 | |
CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
JP2010133744A (ja) | 欠陥検出方法およびその方法を用いた視覚検査装置 | |
CN114677348A (zh) | 一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质 | |
JP2000321038A (ja) | パターン欠陥検出方法 | |
JP7198438B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
JP2019045451A (ja) | 検査装置、検査方法、およびプログラム | |
JP2010019561A (ja) | 欠陥検査装置および欠陥検査方法 | |
JP2006266943A (ja) | 欠陥検査装置及び欠陥検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151222 |