[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3788586B2 - Pattern inspection apparatus and method - Google Patents

Pattern inspection apparatus and method Download PDF

Info

Publication number
JP3788586B2
JP3788586B2 JP2001250992A JP2001250992A JP3788586B2 JP 3788586 B2 JP3788586 B2 JP 3788586B2 JP 2001250992 A JP2001250992 A JP 2001250992A JP 2001250992 A JP2001250992 A JP 2001250992A JP 3788586 B2 JP3788586 B2 JP 3788586B2
Authority
JP
Japan
Prior art keywords
image
density
inspected
reference image
percentile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001250992A
Other languages
Japanese (ja)
Other versions
JP2003065969A (en
Inventor
泰志 佐々
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Dainippon Screen Manufacturing Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2001250992A priority Critical patent/JP3788586B2/en
Publication of JP2003065969A publication Critical patent/JP2003065969A/en
Application granted granted Critical
Publication of JP3788586B2 publication Critical patent/JP3788586B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、各種対象物の外観形状に現れるパターンを検査して欠陥を検出するパターン検査装置に関するものであり、例えば、高精細プリント基板や、リードフレーム、半導体ウェハー、及びそれらのフォトマスク等のパターンを検査して微細な欠陥を検出するパターン検査装置に関する。
【0002】
【従来の技術】
高精細プリント基板や、リードフレーム、半導体ウェハー、及びそれらのフォトマスク等のパターンを検査するための方法として、多値画像を使用した比較法がある。この比較法では、欠陥の無い良品のパターンを表す参照画像と被検査物のパターンを表す被検査画像とを画素毎に比較することによって差分マップが作成され、その差分マップに基づき被検査物における欠陥が検出される。したがって、参照画像と被検査画像は、そのダイナミックレンジや明るさ等の画質条件が互いに等しいことが前提となる。
【0003】
しかし、被検査画像等を得るための画像入力手段や、それによる画像入力の際の条件、被検査物であるターゲットサンプル等によっては、画質条件が異なる場合がある。すなわち、被検査画像と参照画像とで濃度ヒストグラムが図7に示すように異なる場合がある。この現象は、ターゲットサンプル等を光学的に撮影する際の照明条件の変動や、電子ビームを照射し2次電子を検出して画像を生成する場合のチャージアップ、ターゲットサンプルの表面状態の相違等によって生じる。
【0004】
このような画質条件の相違を解消する方法として、画像の濃度について線形変換を実施するという方法がある。この濃度の線形変換は、その画像の濃度値域(「濃度レンジ」ともいう)を予め決められた正規化値域(「正規化レンジ」ともいう)に変換するものである。これを参照画像および被検査画像に適用することにより、両画像のコントラストや、明るさ、ダイナミックレンジ等の画質条件を同等のものとすることができる。すなわち、図8(a)に示すように濃度ヒストグラムが互いに異なる被検査画像と参照画像とにつき、それらの濃度レンジRNGobj,RNGrefを同一の正規化レンジRNGnormへと変換することにより(この線形変換は「正規化」と呼ばれる)、図8(b)に示すように両画像の画質条件が互いにほぼ等しいものとなる。
【0005】
【発明が解決しようとする課題】
しかし、多値画像を使用した比較法に基づくパターン検査において、比較すべき被検査画像と参照画像との画質条件を上記線形変換により等しくすること(以下「整合化」という)が困難な場合がある。例えば、次のような場合である。
(1)被検査物における欠陥部の画素値が良品画像の濃度レンジ外である場合
(2)プリント基板等における“べたパターン”に代表される画素濃度の均一なパターンが存在する場合
【0006】
まず、上記(1)の場合の例を図9を参照して説明する。この場合、図9(a)に示すように参照画像の濃度レンジは[XRa,XRb]であり、この濃度レンジ[XRa,XRb]が、画像比較の前処理としての上記線形変換により、予め決められた正規化レンジ[Ya,Yb]に変換される。一方、被検査画像の濃度レンジは、欠陥が存在しない良品の場合には[XOa,XOc]であるが、図9の例では上記(1)の場合に該当する欠陥が存在するので、[XOa,XOb]が被検査画像の濃度レンジとなる(例えば異物欠陥が存在するとき、このような濃度レンジとなる)。この濃度レンジ[XOa,XOb]も、同様に、画像比較の前に、上記の正規化レンジ[Ya,Yb]に変換される。しかし、XOb>XOcであることから、図9(b)に示すように、このような正規化(線形変換)によっては、被検査画像と参照画像とを適切に整合化することができない。したがって、このような正規化を施しても、両画像を正確に比較することができない。
【0007】
次に、上記(2)の場合の例を図10を参照して説明する。比較すべき画像の画質が局所的に変動する場合、画像を複数の領域に分割し、領域毎に上記正規化を行うという方法がある。この方法を採用した場合には、画像の或る領域に存在するパターンが“べたパターン”のみの場合がある。この場合、その領域についての濃度ヒストグラムは図10(a)に示すようになり、その領域の濃度レンジは[Xa,Xb]であって狭いものとなる。画像比較の前処理として、この濃度レンジ[Xa,Xb]は、図10(b)に示すように、予め決められた正規化レンジ[Ya,Yb]に変換される。ここで、正規化レンジ[Ya,Yb]は、通常、“べたパターン”のみが存在する領域の濃度レンジ[Xa,Xb]に比べて相当に広いものとなる。このため、その領域については、画像のダイナミックレンジが広くなり、ノイズ領域が拡大される。すなわち、正規化前の画像は、ノイズが少なく欠陥の比較的検出しやすい画像であるにも拘わらず、正規化を行うことにより、欠陥部と非欠陥部(ノイズ領域)との分離が困難になり、欠陥の検出能力が低下する。
【0008】
本発明は、上記問題を解決すべくなされたものであり、多値画像である被検査画像と参照画像とを比較するための前処理として両画像の画質条件を確実に等しくすることにより両画像の正確な比較を可能とする、比較法に基づくパターン検査装置および方法を提供することを目的とする。
【0009】
【課題を解決するための手段および発明の効果】
第1の発明は、所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査装置であって、
前記被検査画像の全部または一部の領域と当該領域に位置的に対応する前記参照画像の領域とに着目し、前記被検査画像と前記参照画像とを互いに比較するために両画像の間で合わせるべき濃度範囲の下限値を両画像の着目領域毎に選定すると共に、当該合わせるべき濃度範囲の上限値を両画像の着目領域毎に選定する濃度範囲選定手段と、
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換手段と
を備え、
前記濃度範囲選定手段は、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出手段を含み、
前記百分位数算出手段によって算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出手段によって算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記濃度変換手段は、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ
前記濃度変換手段によって整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とする。
【0010】
このような第1の発明によれば、被検査画像と参照画像の整合化のために選定すべき濃度範囲を外れた濃度の画素の割合すなわち濃度ヒストグラムにおいて除外すべき上下端部の割合Eu,Elを与えることで、両画像の着目領域の濃度ヒストグラムにおける下端部に相当する部分と上端部に相当する部分とを除外した濃度レンジが両画像の間で一致するように濃度変換が行われる。したがって、良品画像の濃度範囲外の濃度値に相当する欠陥が被検査物に存在する場合であっても、この濃度変換により参照画像と被検査画像とが適切に整合化されて両画像が正確に比較されるので、そのような欠陥も確実に検出することができる。
【0011】
第2の発明は、所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査装置であって、
前記被検査画像および前記参照画像を同一態様で複数領域に分割する分割手段と、
前記被検査画像における前記複数領域の各領域と当該領域に位置的に対応する前記参照画像の領域とに順次着目し、前記被検査画像および前記参照画像の着目領域につき、前記被検査画像と前記参照画像との比較のために両画像の間で合わせるべき濃度範囲の下限値を選定すると共に、当該合わせるべき濃度範囲の上限値を選定する濃度範囲選定手段と
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換手段と
を備え、
前記濃度範囲選定手段は、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出手段を含み、
前記百分位数算出手段によって算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出手段によって算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記濃度変換手段は、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ、
前記濃度変換手段によって整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とする。
【0012】
このような第2の発明によれば、参照画像および被検査画像が複数領域に分割され、領域毎に両画像が整合化されるので、参照画像と被検査画像の一方または双方の画質が局所的に変動する場合であっても、両画像間で画質条件(コントラストや明るさ等)を同一化して両画像を正確に比較することができる。
【0013】
第3の発明は、第1または第2の発明において、
前記濃度変換手段は、前記被検査画像と前記参照画像のいずれかの一方に対してのみ前記濃度変換を施すことを特徴とする。
【0014】
このような第3の発明によれば、参照画像と被検査画像の一方に対してのみ濃度変換が施されることから、“べたパターン”のような濃度の均一なパターンのみが着目領域に存在する場合であっても、両画像の整合化のために無用にダイナミックレンジが広がることはないので、欠陥の検出能力の低下が回避される。
【0019】
第4の発明は、所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査方法であって、
前記被検査画像の全部または一部の領域と当該領域に位置的に対応する前記参照画像の領域とに着目し、前記被検査画像と前記参照画像とを互いに比較するために両画像の間で合わせるべき濃度範囲の下限値を両画像の着目領域毎に選定すると共に、当該合わせるべき濃度範囲の上限値を両画像の着目領域毎に選定する濃度範囲選定ステップと、
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換ステップと
を備え
前記濃度範囲選定ステップは、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出ステップを含み、
前記百分位数算出ステップにて算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出ステップにて算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
濃度変換ステップは、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ
前記濃度変換ステップにて整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とする。
【0020】
【発明の実施の形態】
以下、本発明の実施形態につき添付図面を参照して説明する。
<1.第1の実施形態>
<1.1 パターン検査装置の全体構成>
図1は、本発明の第1の実施形態に係るパターン検査装置の構成を示すブロック図である。このパターン検査装置は、プリント基板や半導体ウェハー等のように表面にパターンの形成された被検査物を撮影して得られる多値画像である被検査画像と、その被検査物と同種の良品の画像に相当する多値画像である参照画像とを画素毎に比較することにより、被検査物における欠陥を検出する。ここで参照画像は、被検査物における欠陥を検出するために被検査画像と比較する基準とすべき画像であって、その被検査物と同種の良品を撮影することにより生成されるか、または、その被検査物に形成されるべきパターンを示す設計データから生成される。
【0021】
図1に示すように、このパターン検査装置は、参照画像発生回路10と、参照画像記憶部12と、撮像装置14と、第1バッファメモリ16と、参照画像領域切り出し部18と、被検査画像領域切り出し部20と、パーセンタイル値算出部22と、第2バッファメモリ24と、濃度変換部26と、第3バッファメモリ28と、比較演算回路30と、検査結果保存部32と、検査結果表示部34とを備えている。
【0022】
上記パターン検査装置において、撮像装置14は、例えば、被検査物等が載置され駆動手段によって主走査方向および副走査方向に移動するステージと、そのステージ上の被検査物を撮影するCCD等の撮像素子と、その撮像素子から出力される画像信号をデジタル信号に変換するA/D変換器とから構成され、被検査物またはそれと同種の良品を撮影してデジタル画像信号を出力する。撮像装置14において被検査物が撮影された場合には、デジタル画像信号として被検査画像を示す信号が出力され、第1バッファメモリ16に被検査画像データとして格納される。撮像装置14において被検査物と同種の良品が撮影された場合には、デジタル画像信号として参照画像を示す信号が出力され、参照画像記憶部12に参照画像データとして格納される。参照画像発生回路10は、被検査物に形成されるべきパターンを示す設計データから参照画像データを生成し、これを参照画像記憶部12に格納する。このようにして、参照画像記憶部12には、撮像装置14で生成される撮影画像のデータである参照画像データ、または、参照画像発生回路10で設計データから生成される参照画像データのいずれかが格納される。
【0023】
本実施形態では、画質の局所的な光学的変動や、電子ビームを照射し2次電子を検出して画像を生成する場合のチャージアップに対処するために、参照画像および被検査画像が同一の態様で複数の領域に分割され、領域毎に画像比較の前処理として参照画像と被検査画像との整合化(画質条件の同一化)が行われる。このような領域毎の画像整合化のために、上記パターン検査装置における参照画像の分割手段としての参照画像領域切り出し部18は、参照画像を複数の領域に分割して各領域に順次着目し、参照画像記憶部12に格納された参照画像データから着目領域の画像データ(以下「着目領域データ」という)を取り出して順次出力する。一方、被検査画像の分割手段としての被検査画像領域切り出し部20は、参照画像の上記分割と同一態様で被検査画像を複数の領域に分割して各領域に順次着目し、第1バッファメモリ16に格納された被検査画像データから着目領域データを取り出して順次出力する。このとき被検査画像領域切り出し部20は、参照画像領域切り出し部18が着目する参照画像の領域と位置的に対応する被検査画像の領域に順次着目して着目領域データを被検査画像データから取り出す。参照画像領域切り出し部18から出力される参照画像の着目領域データは、第2バッファメモリ24に格納されると共に、パーセンタイル値算出部22に入力される。また、被検査画像領域切り出し部20から出力される被検査画像の着目領域データは、第3バッファメモリ28に格納されると共に、パーセンタイル値算出部22に入力される。また、パーセンタイル値算出部22には、参照画像と被検査画像との整合化のために選定すべき濃度レンジから外れる濃度の画素の割合を示す値として予め決められた上端部除外率Euおよび下端部除外率Elも外部から入力される。ここで、上端部除外率Euは、参照画像および被検査画像の着目領域の画素のうち選定すべき濃度レンジの濃度よりも高い濃度の画素の割合を示す百分率であり、下端部除外率Elは、その着目領域の画素のうち選定すべき濃度レンジの濃度よりも低い濃度の画素の割合を示す百分率である。
【0024】
パーセンタイル値算出部22は、被検査画像と参照画像とを比較するために両画像の間で合わせるべき濃度レンジを選定する手段であって、参照画像の着目領域データから、下端部除外率Elに対応するパーセンタイル値(以下「下限パーセンタイル値」という)RPminすなわち当該着目領域における濃度ヒストグラムのEl百分位数RPminと、上端部除外率Euに対応するパーセンタイル値(以下「上限パーセンタイル値」という)RPmaxすなわち当該着目領域の濃度ヒストグラムの(100−Eu)百分位数RPmaxとを算出する。また、パーセンタイル値算出部22は、被検査画像の着目領域データから、下端部除外率Elに対応するパーセンタイル値である下限パーセンタイル値OPminすなわち当該着目領域における濃度ヒストグラムのEl百分位数OPminと、上端部除外率Euに対応するパーセンタイル値である上限パーセンタイル値OPmaxすなわち当該着目領域における濃度ヒストグラムの(100−Eu)百分位数OPmaxとを算出する。このようにして算出された参照画像のパーセンタイル値RPmin,RPmaxおよび被検査画像のパーセンタイル値OPmin,OPmaxは、濃度変換部26に入力される。
【0025】
濃度変換部26は、参照画像の着目領域における下限パーセンタイル値RPminと上限パーセンタイル値RPmaxとによって定まる濃度レンジ[RPmin,RPmax]、および、被検査画像の着目領域における下限パーセンタイル値OPminと上限パーセンタイル値OPmaxとによって定まる濃度レンジ[OPmin,OPmax]を、参照画像と被検査画像とを着目領域について整合化させるために選定された濃度レンジとして、整合化のための濃度変換を行う。すなわち、参照画像の着目領域について選定された濃度レンジ[RPmin,RPmax]が被検査画像の着目領域について選定された濃度レンジ[OPmin,OPmax]に一致するように、第2バッファメモリに24に格納された参照画像の着目領域データに対して濃度の線形変換を施す。
【0026】
上記濃度変換部26による濃度の線形変換によって参照画像と被検査画像とが着目領域について整合化され、整合化後の参照画像および被検査画像の着目領域データは、比較演算回路30に順次入力される。比較演算回路30は、順次入力される参照画像および被検査画像の着目領域データに基づき、両画像を着目領域について画素毎に互いに比較し、その比較に基づいて被検査物における欠陥を検出し、その検出結果を示すデータを検査結果として出力する。検査結果保存部32は、ハードディスク装置または半導体メモリ等によって実現され、比較演算回路30から出力される検査結果を保存する。また、検査結果表示部34は、CRTまたは液晶パネル等によって実現され、比較演算回路30から出力される検査結果を表示する。
【0027】
<1.2 画像整合化処理>
上記のように本実施形態では、参照画像と被検査画像とを比較するための前処理として両画像の整合化のための処理(以下「画像整合化処理」という)が行われる。以下、この画像整合化処理の詳細を図2を参照して説明する。
【0028】
図2は、本実施形態において画像整合化処理を行う部分(以下「画像整合化処理部」という)100の構成を示すブロック図である。この画像整合化処理部100は、参照画像切り出し部18と、被検査画像領域切り出し部20と、パーセンタイル値算出部22と、第2バッファメモリ24と、濃度変換部26と、第3バッファメモリ28とから構成され、パーセンタイル値算出部22は、図2に示すように、累積ヒストグラム生成部22aとパーセンタイル値決定部22bとからなる。
【0029】
上記構成の画像整合化処理部100において、参照画像領域切り出し部18から順次出力される参照画像の着目領域データは、第2バッファメモリ24に格納されると共に、累積ヒストグラム生成部22aに入力される。また、被検査画像領域切り出し部20から順次出力される被検査画像の着目領域データは、第3バッファメモリ28に格納されると共に、累積ヒストグラム生成部22aに入力される。累積ヒストグラム生成部22aは、参照画像領域切り出し部18から入力される着目領域データから参照画像の着目領域における画像濃度についての累積ヒストグラムを生成すると共に、被検査画像領域切り出し部20から入力される着目領域データから被検査画像の着目領域における画像濃度についての累積ヒストグラムを生成する。例えば図3に示すように、入力された着目領域データにおける濃度ヒストグラムが曲線C1で示されるものである場合には、曲線C2で示されるような累積ヒストグラムが生成される。パーセンタイル値決定部22bは、それらの累積ヒストグラムに基づき、参照画像の着目領域データにおける下限パーセンタイル値RPminおよび上限パーセンタイル値RPmaxを求めると共に、被検査画像の着目領域データにおける下限パーセンタイル値OPminおよび上限パーセンタイル値OPmaxを求める。すなわち、外部から入力される下端部除外率Elおよび上端部除外率Euに基づき、Elの累積頻度に参照画像の累積ヒストグラムによって対応付けられる濃度値を参照画像の着目領域データにおける下限パーセンタイル値RPminとして求め、(100−Eu)の累積頻度に参照画像の累積ヒストグラムによって対応付けられる濃度値を参照画像の着目領域データにおける上限パーセンタイル値RPmaxとして求める(図3参照)。ここで、上端部除外率Elおよび下端部除外率Euは、共に、数%以下であり、好ましくは3〜5%程度である。また、同様に、下端部および上端部除外率El,Euに基づき、Elの累積頻度に被検査画像の累積ヒストグラムによって対応付けられる濃度値を被検査画像の着目領域データにおける下限パーセンタイル値OPminとして求め、(100−Eu)の累積頻度に被検査画像の累積ヒストグラムによって対応付けられる濃度値を被検査画像の着目領域データにおける上限パーセンタイル値OPmaxとして求める。このようにして求められた参照画像の着目領域データにおける下限パーセンタイル値RPminおよび上限パーセンタイル値RPmaxと、被検査画像の着目領域データにおける下限パーセンタイル値OPminおよび上限パーセンタイル値OPmaxとは、濃度変換部26に入力される。
【0030】
濃度変換部26は、第2バッファメモリ24から参照画像の着目領域データを読み出して、この着目領域データを構成する各画素値REFinに対して次式で定義される線形の濃度変換を施すことにより、画素値REFoutを生成する。
REFout=[(OPmax-OPmin)/(RPmax-RPmin)]×(REFin-RPmin)+OPmin …(1)
【0031】
上記濃度変換により、参照画像の着目領域データにおける下限パーセンタイル値RPminと上限パーセンタイル値RPmaxとは、被検査画像の着目領域データにおける下限パーセンタイル値OPminと上限パーセンタイル値OPmaxとにそれぞれ一致するようになる。すなわち、図4(a)に示す参照画像および被検査画像の着目領域データにおける濃度ヒストグラムは、上記濃度変換により、図4(b)に示すようになる。このようにして上記濃度変換により、参照画像と被検査画像とが領域毎に整合化される。
【0032】
上記濃度変換後の画素値REFoutからなる着目領域データは比較演算回路30に順次入力される。一方、被検査画像の着目領域データも第3バッファメモリ28から読み出されて比較演算回路30に順次入力される。したがって、比較演算回路30において、参照画像と被検査画像とが、整合化された状態すなわち画質条件が互いに等しくなった状態で比較される。
【0033】
<1.3 実施形態の効果>
上記実施形態によれば、参照画像と被検査画像とを比較するための前処理として両画像を所定の領域毎に整合化するために、両画像の対応する領域毎の濃度ヒストグラムにおける最小値濃度値近傍の下端部に相当する部分と最大濃度値近傍の上端部に相当する部分とを除外した濃度レンジである[RPmin,RPmax]と[OPmin,OPmax]とが一致するように濃度変換が行われる(図4参照)。このため、図9に示すように良品画像の濃度レンジ外の濃度値に相当する欠陥が存在する場合であっても、上記濃度変換により参照画像と被検査画像とが適切に整合化されるので、そのような欠陥も確実に検出することができる。すなわち、被検査画像の濃度ヒストグラムにおいて上記欠陥に相当する面積は極めて小さいので、濃度ヒストグラムにおける上下端部を除外した濃度レンジ(既述の上限および下限パーセンタイル値によって定まる濃度レンジ)が参照画像と被検査画像との間で一致するように濃度変換が行われると、両画像の濃度ヒストグラムが、その欠陥に相当する部分を除き、ほぼ一致するようになる。その結果、その後の両画像に対する比較演算により上記欠陥が確実に検出される。
【0034】
ところで既述のように、従来、濃度レンジが均一な“べたパターン”を含む画像領域については、正規化(濃度変換)により欠陥の検出能力が低下するという問題があった。すなわち、“べたパターン”を含む領域の画素濃度は狭い範囲に分布するので、従来のように予め決められた濃度レンジ(正規化レンジ)で正規化すると、その正規化に相当する濃度変換によって濃度レンジが大きく広がることになり、その結果、欠陥の検出能力が低下する。以下、この点につき、マハラノビス距離を欠陥の検出能力の評価指標として説明する。
【0035】
いま、濃度変換の対象となる画像が“べたパターン”のみを含み、その画像の濃度ヒストグラムが図5(a)に示すように平均値μ=120,標準偏差σ=3.0程度の正規分布をなしているものとすると、濃度値域は[−3σ,+3σ]程度である。ここで、簡単のために濃度値域を図5(a)に示すように[110,130]とすると、このような画像の表す被検査物における欠陥に対する検出能力は、下記の式で定義されるマハラノビス距離Dで評価することができる。
2=(Xi−μ)2/σ2 …(2)
ここで、Xiは欠陥画素値を、μは濃度の平均値を、σ2は濃度の分散をそれぞれ表している。上記式(2)で定義されるマハラノビス距離Dが大きいほど、欠陥部分とノイズ部分との距離が長く、欠陥とノイズとの分離が容易であると判断することができる。
【0036】
例えば、図5(b)に示すように画素値135の欠陥が被検査物に存在する場合、
D=(135−120)/3=5
である。この図5(b)に示す濃度ヒストグラムに対応する画像を例えば正規化値域[40,200]で正規化した場合、図5(c)に示すように、ノイズ領域の最大値が130から200へ、欠陥画素値が135から240へ、ノイズ領域の最小値が110から40へと変換される。この正規化後において、標準偏差σを計算すると、
σ=(200−120)/3=26.7
となり(濃度値域を[−3σ,+3σ]としている)、式(2)よりマハラノビス距離は、
D=(240−120)/26.7=4.5
となる。すなわち、上記正規化によってマハラノビス距離Dは5から4.5と変化している。これは欠陥の検出能力が低下したことを意味する。
【0037】
これに対し本実施形態によれば、参照画像の各領域の濃度レンジ[RPmin,RPmax]が被検査画像の対応する領域の濃度レンジ[OPmin,OPmax]に一致するように、参照画像の画像データに対してのみ濃度変換が施されるので、その濃度変換によっては上記の欠陥画素値Xi、平均値μ、および標準偏差σはほとんど変化しない。したがって、本実施形態によれば、従来のように“べたパターン”等を含む画像領域についての整合化処理によって無用にダイナミックレンジが拡大されることはないので、“べたパターン”等を含む領域についても欠陥の検出能力が低下することはない。
【0038】
以上のように本実施形態によれば、多値画像である被検査画像と参照画像とを比較するための前処理としての濃度変換により両画像の画質条件が確実に等しくなり、その結果、両画像の正確な比較が可能となる。
【0039】
<2.第2の実施形態>
次に、本発明の第2の実施形態に係るパターン検査装置について説明する。本実施形態では、上記第1の実施形態における整合化処理部100(図2)が図6に示すように構成されている。本実施形態における他の構成は、図1に示す第1の実施形態と同様であるので、同一部分には同一の参照符号を付して詳しい説明を省略する。
【0040】
本実施形態における画像整合化処理部は、参照画像と被検査画像との整合化のために着目領域につき選定すべき濃度レンジを現時点の着目領域についての上下パーセンタイル値によって定めるのではなく、直前に着目された領域(以下「直前着目領域」という)についての上下パーセンタイル値によって定めるように構成されている。これにより、本実施形態では、必要なバッファメモリが削減され、第1の実施形態よりも少ないハードウェア量で画像整合化処理部を実現することができる。すなわち、本実施形態における画像整合化処理部は、図6に示すように、参照画像領域切り出し部58と、被検査画像領域切り出し部60と、累積ヒストグラム生成部62aと、パーセンタイル値決定部62bと、濃度変換部66とから構成され、これらは、第1の実施形態における参照画像領域切り出し部28と、被検査画像領域切り出し部30と、累積ヒストグラム生成部22aと、パーセンタイル値決定部22bと、濃度変換部26とにそれぞれ相当する。すなわち、この画像整合化処理部は、第1の実施形態とは異なり、第2バッファメモリ24と第3バッファメモリ28を備えていない。
【0041】
上記構成の画像整合化処理部において、参照画像領域切り出し部58は、第1の実施形態と同様、参照画像を複数の領域に分割して各領域に順次着目し、参照画像記憶部12から参照画像の着目領域データを取り出して順次出力する。一方、被検査画像領域切り出し部60も、第1の実施形態と同様、参照画像の上記分割と同一態様で被検査画像を複数の領域に分割して各領域に順次着目し、第2バッファメモリ16から被検査画像の着目領域データを取り出して順次出力する。このとき被検査画像領域切り出し部60は、参照画像領域切り出し部58が着目する参照画像の領域と位置的に対応する被検査画像の領域に順次着目して、着目領域データを被検査画像データから取り出す。参照画像領域切り出し部58から順次出力される参照画像の着目領域データと被検査画像領域切り出し部60から順次出力される被検査画像の着目領域データとは、共に、累積ヒストグラム生成部62aに入力される。
【0042】
累積ヒストグラム生成部62aは、参照画像領域切り出し部58から入力される着目領域データから参照画像の着目領域における画像濃度についての累積ヒストグラムを生成すると共に、被検査画像領域切り出し部60から入力される着目領域データから被検査画像の着目領域における画像濃度についての累積ヒストグラムを生成する。パーセンタイル値決定部62bは、上記第1の実施形態と同様、外部から入力される下端部除外率Elおよび上端部除外率Euに基づき、生成された両累積ヒストグラムから、参照画像の着目領域データにおける上下限パーセンタイル値RPmax,RPmin、および、被検査画像の着目領域データにおける上下限パーセンタイル値OPmax,OPminを求める。このようにして求められた各パーセンタイル値RPmax,RPmin,OPmax,OPminは、濃度変換部66に入力される。
【0043】
濃度変換部66は、参照画像記憶部12が参照画像データを画素単位で順次読み出し、読み出した画素値REFinに後述の濃度変換を施す。このとき濃度変換部66は、パーセンタイル値決定部62bから入力される各パーセンタイル値RPmax,RPmin,OPmax,OPminが使用される。しかし、濃度変換部66が、参照画像におけるj番目の領域を構成する画素値をREFinとして読み出して、その画素値に濃度変換を施すべきときには、パーセンタイル値決定部62bにおいて、参照画像のj番目の領域についての上下限パーセンタイル値RPmax,RPmin、および、被検査画像のj番目の領域についての上下限パーセンタイル値OPmax,OPminは未だ得られていない。そこで本実施形態では、濃度変換部66は、直前着目領域すなわちj−1番目の領域についての上下限パーセンタイル値RPmax,RPmin、OPmax,OPmiを使用して、参照画像におけるj番目の領域を構成する各画素の値REFinに対して次式で定義される濃度変換を施すことにより、画素値REFoutを生成する。
REFout=[(OPmax-OPmin)/(RPmax-RPmin)]×(REFin-RPmin)+OPmin …(3)
上記画素値REFoutは、j番目の領域を構成する各画素の濃度変換後の値である。
【0044】
上記濃度変換により、第1の実施形態と同様、参照画像の着目領域データにおける下限パーセンタイル値RPminと上限パーセンタイル値RPmaxとを、被検査画像の着目領域データにおける下限パーセンタイル値OPminと上限パーセンタイル値OPmaxとにそれぞれ一致させ、両画像の画質条件を同等化すなわち両画像を整合化することができる。なお、両画像の画質条件(ダイナミックレンジや明るさ等)が現時点の着目領域と直前着目領域との間で著しく異なる場合には、本実施形態における上記濃度変換によっては、両画像を適切に整合化することができないが、これまでの本願発明者による実験ではそのような例は見受けられなかった。また、そのような例が存在したとしても、両画像の領域をより細かく分割することにより対応可能である。
【0045】
上記濃度変換により得られる画素値REFoutは、整合化処理の施された参照画像の画素値として濃度変換部66から順次出力されて比較演算回路30に入力される。また、比較演算回路30に入力される整合化処理後の参照画像の画素に位置的に対応する被検査画像の画素の値も、比較演算回路30に順次入力される。比較演算回路30は、順次入力される参照画像および被検査画像の位置的に対応する画素値を互いに比較し、その比較に基づいて被検査物における欠陥を検出し、その検出結果を示すデータを検査結果として出力する。その後、第1の実施形態と同様、検査結果保存部32が、比較演算回路30から出力される検査結果を保存し、検査結果表示部34が、比較演算回路30から出力される検査結果を表示する。
【0046】
以上のような第2の実施形態によっても、第1の実施形態と同様、多値画像である被検査画像と参照画像とを比較するための前処理としての濃度変換により両画像の画質条件が確実に等しくなり、その結果、両画像の正確な比較が可能となる。すなわち、良品画像の濃度レンジ外の濃度値に相当する欠陥が存在する場合であっても、上記濃度変換により参照画像と被検査画像とが適切に整合化されるので、そのような欠陥も確実に検出することができる。また、“べたパターン”等を含む画像領域についての整合化処理によって無用にダイナミックレンジが拡大されることはないので、“べたパターン”等を含む領域についても欠陥の検出能力が低下することはない。
【0047】
<3.変形例>
上記第1および第2の実施形態では、参照画像と被検査画像とを整合化するために、参照画像の着目領域データに対してのみ濃度変換を施したが、これに代えて、被検査画像の着目領域データに対してのみ濃度変換を施して両画像を整合化するようにしてもよい。また、参照画像と被検査画像の双方の着目領域データに対して濃度変換を施して両画像を整合化するようにしてもよい。ただし、下限パーセンタイル値と上限パーセンタイル値とによって定まる濃度レンジが濃度変換によって大きく広がる場合には、既述のように検出能力の低下を招くので好ましくない(図5参照)。これに対し、参照画像と被検査画像のいずれか一方の画像の着目領域データに対してのみ濃度変換を施す場合には、このような検出能力の低下は生じないので、その点では、一方の画像の着目領域データに対してのみ濃度変換を施して両画像を整合化するのが好ましい。
【0048】
また、上記第1および第2の実施形態におけるような上下端パーセンタイル値の算出を行わずに、参照画像の着目領域における最小濃度値と最大濃度値とによって定まる濃度範囲が被検査画像の着目領域における最小濃度値と最大濃度値とによって定まる濃度範囲に一致するように濃度変換(正規化)を行う場合であっても、参照画像と被検査画像のいずれか一方に対してのみ濃度変換を施すのが好ましい。これにより、画像整合化のための濃度変換による欠陥検出能力の低下を回避できるからである。
【0049】
さらに、上記第1および第2の実施形態では、参照画像および被検査画像を複数の領域に分割し、両画像の間で位置的に対応する領域毎に両画像を整合化しているが、画質条件の局所的変動が少ない場合には、このような領域分割を行わずに、参照画像または被検査画像に対して1つの線形式で定義される濃度変換を施すことにより両画像を整合化するようにしてもよい。
【0050】
更にまた、上記1および第2の実施形態では、参照画像と被検査画像との整合化のために選定すべき濃度レンジから除外すべき部分(画素)の割合を上下端部除外率Eu,Elとして与え、それらに対応するパーセンタイル値を、選定すべき濃度レンジの上限値および下限値として求めている。しかし、参照画像と被検査画像との整合化のための濃度レンジの選定方法は、このような方法に限定されるものではなく、濃度ヒストグラムの上下端部に相当する部分を除外した部分の濃度範囲を画像整合化のための濃度レンジとして選定するものであればよい。例えば、両画像それぞれの濃度値域(画素濃度の最小値〜最大値の範囲)からその両端部を当該濃度値域の大きさ(幅)に対して数%程度に相当する区間だけ取り除いた範囲を、画像整合化のための濃度レンジとして選定してもよい。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るパターン検査装置の構成を示すブロック図である。
【図2】第1の実施形態に係るパターン検査装置における画像整合化処理部の構成を示すブロック図である。
【図3】第1の実施形態における上下限パーセンタイル値の算出を説明するための濃度ヒストグラムおよび累積ヒストグラムを示す図である。
【図4】第1の実施形態における参照画像と被検査画像との整合化処理を説明するための濃度ヒストグラムを示す図である。
【図5】“べたパターン”のみを含む画像に対して従来の正規化を施した場合における欠陥の検出能力の低下を説明するための濃度ヒストグラムを示す図である。
【図6】本発明の第2の実施形態に係るパターン検査装置における画像整合化処理部の構成を示すブロック図である。
【図7】パターン検査において比較されるべき被検査画像と参照画像の濃度ヒストグラムを示す図である。
【図8】被検査画像および参照画像の濃度レンジを予め決められた正規化レンジに変換するための濃度の線形変換を説明するための図である。
【図9】従来の正規化による被検査画像と参照画像の整合化が困難な一例を説明するための図である。
【図10】従来の正規化による被検査画像と参照画像の整合化が困難な他の例を説明するための図である。
【符号の説明】
10 …参照画像発生回路
12 …参照画像記憶部
14 …撮像装置
16 …第1バッファメモリ
18,58…参照画像領域切り出し部
20,60…被検査画像領域切り出し部
22 …パーセンタイル値算出部
22a,62a…累積ヒストグラム生成部
22b,62b…パーセンタイル値決定部
24 …第2バッファメモリ
26,66…濃度変換部
28 …第3バッファメモリ
30 …比較演算回路
100 …画像整合化処理部
El …下端部除外率
Eu …上端部除外率
RPmin …参照画像の着目領域データにおける下限パーセンタイル値
RPmax …参照画像の着目領域データにおける上限パーセンタイル値
OPmin …被検査画像の着目領域データにおける下限パーセンタイル値
OPmax …被検査画像の着目領域データにおける上限パーセンタイル値
REFin …濃度変換前の参照画像の画素値
REFout …濃度変換後の参照画像の画素値
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pattern inspection apparatus for inspecting patterns appearing in the appearance shapes of various objects to detect defects, such as a high-definition printed circuit board, a lead frame, a semiconductor wafer, and their photomasks. The present invention relates to a pattern inspection apparatus that inspects a pattern and detects minute defects.
[0002]
[Prior art]
As a method for inspecting patterns of a high-definition printed circuit board, a lead frame, a semiconductor wafer, and their photomasks, there is a comparison method using a multi-value image. In this comparison method, a difference map is created by comparing, for each pixel, a reference image representing a non-defective non-defective pattern and an inspected image representing the pattern of the inspected object, and based on the difference map, A defect is detected. Accordingly, it is assumed that the reference image and the image to be inspected have the same image quality conditions such as dynamic range and brightness.
[0003]
However, the image quality conditions may differ depending on the image input means for obtaining the image to be inspected, the conditions at the time of image input, the target sample that is the object to be inspected, and the like. That is, the density histogram may differ between the image to be inspected and the reference image as shown in FIG. This phenomenon includes fluctuations in illumination conditions when optically photographing a target sample, etc., charge-up when generating an image by irradiating an electron beam and detecting secondary electrons, differences in the surface state of the target sample, etc. Caused by.
[0004]
As a method of eliminating such a difference in image quality conditions, there is a method of performing linear conversion on the image density. This linear conversion of density converts the density value range (also referred to as “density range”) of the image into a predetermined normalized value range (also referred to as “normalized range”). By applying this to the reference image and the image to be inspected, the image quality conditions such as the contrast, brightness, and dynamic range of both images can be made equivalent. That is, as shown in FIG. 8 (a), by inspecting an image to be inspected and a reference image having different density histograms, by converting their density ranges RNGobj and RNGref to the same normalized range RNGnorm (this linear conversion is (Referred to as “normalization”), as shown in FIG. 8B, the image quality conditions of both images are substantially equal to each other.
[0005]
[Problems to be solved by the invention]
However, in the pattern inspection based on the comparison method using multi-valued images, it may be difficult to equalize the image quality conditions of the image to be inspected and the reference image by the linear transformation (hereinafter referred to as “alignment”). is there. For example, this is the case.
(1) When the pixel value of the defective part in the inspection object is outside the density range of the non-defective image
(2) When there is a uniform pattern of pixel density, such as a “solid pattern” on a printed circuit board
[0006]
First, an example of the case (1) will be described with reference to FIG. In this case, as shown in FIG. 9 (a), the density range of the reference image is [XRa, XRb], and this density range [XRa, XRb] is determined in advance by the above-described linear conversion as preprocessing for image comparison. To the normalized range [Ya, Yb]. On the other hand, the density range of the image to be inspected is [XOa, XOc] in the case of a non-defective product with no defects, but in the example of FIG. 9, there is a defect corresponding to the case (1) above, so [XOa , XOb] is the density range of the image to be inspected (for example, when there is a foreign object defect, this is the density range). Similarly, the density range [XOa, XOb] is also converted into the normalized range [Ya, Yb] before image comparison. However, since XOb> XOc, as shown in FIG. 9B, the image to be inspected and the reference image cannot be properly aligned by such normalization (linear transformation). Therefore, even if such normalization is performed, the two images cannot be accurately compared.
[0007]
Next, an example of the case (2) will be described with reference to FIG. When the image quality of the image to be compared varies locally, there is a method of dividing the image into a plurality of regions and performing the normalization for each region. When this method is adopted, there is a case where only a “solid pattern” exists in a certain area of the image. In this case, the density histogram for the area is as shown in FIG. 10A, and the density range of the area is [Xa, Xb], which is narrow. As preprocessing for image comparison, the density range [Xa, Xb] is converted into a predetermined normalized range [Ya, Yb] as shown in FIG. Here, the normalized range [Ya, Yb] is usually considerably wider than the density range [Xa, Xb] in the region where only the “solid pattern” exists. For this reason, the dynamic range of the image is widened and the noise region is expanded. That is, although the image before normalization is an image with little noise and relatively easy to detect defects, normalization makes it difficult to separate the defective portion from the non-defective portion (noise region). As a result, the defect detection capability decreases.
[0008]
The present invention has been made to solve the above-described problem, and as a pre-processing for comparing a test image that is a multi-valued image with a reference image, the image quality conditions of both images are reliably made equal. An object of the present invention is to provide a pattern inspection apparatus and method based on a comparison method that enables accurate comparison of the above.
[0009]
[Means for Solving the Problems and Effects of the Invention]
  According to a first aspect of the present invention, there is provided an inspection image that is a multi-value image obtained by photographing an inspection object having a predetermined pattern, and a reference image that is a multi-value image to be used as a reference representing the predetermined pattern. A pattern inspection apparatus that creates a difference map indicating a difference between the inspection image and the reference image by comparing each pixel, and detects a defect in the inspection object based on the difference map,
  Focusing on the whole or a part of the inspected image and the area of the reference image corresponding to the area, and comparing the inspected image and the reference image with each other Set the lower limit of the concentration range to be adjusted.For each area of interest in both imagesSelect the upper limit of the concentration range to be adjusted.For each area of interest in both imagesConcentration range selection means to select,
  Density conversion means for aligning the image to be inspected and the reference image based on the lower limit value and the upper limit value selected for the region of interest of the image to be inspected and the reference image;
With
  The concentration range selecting means includes
    A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating means for calculating the (100-Eu) percentile of the density histogram,
    The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated by the percentile calculating means are the lower limit for the region of interest of the image to be inspected. Value and the upper limit value,
    The El percentile and (100−Eu) percentile of the density histogram in the focus area of the reference image calculated by the percentile calculation means are set as the lower limit value and the lower limit value for the focus area of the reference image, and Select each as the upper limit,
  The density conversion means includesSelected for the region of interest of the inspected imageThe lower limit value and the upper limit valueA density range determined by is selected for the focus area of the reference image.The lower limit value and the upper limit valueThe image to be inspected and the reference image are aligned by performing density conversion on at least one of the image to be inspected and the reference image so as to coincide with the density range determined by,
  The difference map is created by comparing the image to be inspected and the reference image for each pixel after being matched by the density conversion means.
[0010]
  According to such a first invention,By giving the ratio of pixels whose density is out of the density range to be selected for the alignment of the image to be inspected and the reference image, that is, the ratios Eu and El of the upper and lower ends to be excluded in the density histogram.The density conversion is performed so that the density ranges excluding the portion corresponding to the lower end portion and the portion corresponding to the upper end portion of the density histograms of the regions of interest of both images match between the two images. Therefore, even if a defect corresponding to a density value outside the density range of the non-defective image exists in the inspection object, the reference image and the inspection image are properly aligned by this density conversion, so that both images are accurate. Therefore, such a defect can be reliably detected.
[0011]
  The second invention isA pixel-by-pixel comparison of an inspection image that is a multi-valued image obtained by photographing an object to be inspected having a predetermined pattern and a reference image that is a multi-valued image that should be used as a standard representing the predetermined pattern A pattern inspection apparatus for creating a difference map indicating a difference between the image to be inspected and the reference image, and detecting a defect in the object to be inspected based on the difference map,
  Dividing means for dividing the inspected image and the reference image into a plurality of regions in the same mannerWhen,
  Focusing sequentially on each region of the plurality of regions in the image to be inspected and the region of the reference image corresponding to the region, the image to be inspected and the region of interest in the reference image Lower limit of the density range to be matched between both images for comparison with the reference imageSelectAlong with the upper limit of the concentration range to be adjustedConcentration range selection means to select,
  Density conversion means for aligning the image to be inspected and the reference image based on the lower limit value and the upper limit value selected for the region of interest of the image to be inspected and the reference image;
With
  The concentration range selecting means includes
    A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating means for calculating the (100-Eu) percentile of the density histogram,
    The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated by the percentile calculating means are the lower limit for the region of interest of the image to be inspected. Value and the upper limit value,
    The El percentile and (100−Eu) percentile of the density histogram in the focus area of the reference image calculated by the percentile calculation means are set as the lower limit value and the lower limit value for the focus area of the reference image, and Select each as the upper limit,
  The density conversion means is selected for a region of interest of the inspection image.The lower limit value and the upper limit valueA density range determined by is selected for the focus area of the reference image.The lower limit value and the upper limit valueDensity conversion is performed on at least one of the image to be inspected and the reference image so as to coincide with the density range determined byBy aligning the inspected image and the reference image,
  The difference map is created by comparing the image to be inspected and the reference image for each pixel after being matched by the density conversion means.It is characterized by that.
[0012]
According to such a second invention, the reference image and the image to be inspected are divided into a plurality of regions, and both images are aligned for each region, so that the image quality of one or both of the reference image and the image to be inspected is local. Even when the image fluctuates, the image quality conditions (contrast, brightness, etc.) can be made identical between the two images, and the two images can be accurately compared.
[0013]
According to a third invention, in the first or second invention,
The density conversion means performs the density conversion only on one of the inspection image and the reference image.
[0014]
According to the third aspect of the invention, since density conversion is performed only on one of the reference image and the image to be inspected, only a uniform pattern such as a “solid pattern” exists in the region of interest. Even in this case, since the dynamic range is not unnecessarily widened for the alignment of both images, a decrease in defect detection capability is avoided.
[0019]
  4thThe present invention provides, for each pixel, an inspection image that is a multi-valued image obtained by photographing an inspection object on which a predetermined pattern is formed, and a reference image that is a multi-valued image that should be used as a reference representing the predetermined pattern. A pattern inspection method for creating a difference map indicating a difference between the inspection image and the reference image by comparing, and detecting a defect in the inspection object based on the difference map,
  Focusing on the whole or a part of the inspected image and the area of the reference image corresponding to the area, and comparing the inspected image and the reference image with each other Set the lower limit of the concentration range to be adjusted.For each area of interest in both imagesSelect the upper limit of the concentration range to be adjusted.For each area of interest in both imagesA concentration range selection step to be selected;
  Selected for the region of interest of the image to be inspected and the reference imageBased on the lower limit and the upper limitA density conversion step for aligning the inspected image and the reference image;
With,
  The concentration range selection step includes:
    A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating step of calculating a (100-Eu) percentile of the density histogram,
    The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated in the percentile calculating step are used as the values for the region of interest of the image to be inspected. Select the lower limit and the upper limit respectively,
    The El percentile and (100−Eu) percentile of the density histogram in the attention area of the reference image calculated in the percentile calculation step are set as the lower limit value for the attention area of the reference image. And select the upper limit value respectively.
  The density conversion step is, Selected for the region of interest of the inspected imageThe lower limit value and the upper limit valueA density range determined by is selected for the focus area of the reference image.The lower limit value and the upper limit valueThe image to be inspected and the reference image are aligned by performing density conversion on at least one of the image to be inspected and the reference image so as to coincide with the density range determined by,
  The difference map is created by comparing the image to be inspected and the reference image for each pixel after matching in the density conversion step.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the accompanying drawings.
<1. First Embodiment>
<1.1 Overall configuration of pattern inspection device>
FIG. 1 is a block diagram showing the configuration of the pattern inspection apparatus according to the first embodiment of the present invention. This pattern inspection apparatus is a multi-valued image obtained by photographing a test object having a pattern formed on its surface, such as a printed circuit board or a semiconductor wafer, and a non-defective product of the same type as the test object. A defect in the inspection object is detected by comparing each pixel with a reference image that is a multi-value image corresponding to the image. Here, the reference image is an image to be used as a reference to be compared with the inspection image in order to detect a defect in the inspection object, and is generated by photographing a non-defective product of the same type as the inspection object, or And generated from design data indicating a pattern to be formed on the inspection object.
[0021]
As shown in FIG. 1, the pattern inspection apparatus includes a reference image generation circuit 10, a reference image storage unit 12, an imaging device 14, a first buffer memory 16, a reference image region cutout unit 18, and an image to be inspected. Area cutout unit 20, percentile value calculation unit 22, second buffer memory 24, density conversion unit 26, third buffer memory 28, comparison operation circuit 30, inspection result storage unit 32, and inspection result display unit 34.
[0022]
In the pattern inspection apparatus, the imaging device 14 is, for example, a stage on which an inspection object or the like is placed and moved in the main scanning direction and the sub-scanning direction by a driving unit, and a CCD or the like that images the inspection object on the stage. The image sensor is composed of an image sensor and an A / D converter that converts an image signal output from the image sensor into a digital signal, and captures an object to be inspected or a non-defective product of the same type and outputs a digital image signal. When the object to be inspected is imaged by the imaging device 14, a signal indicating the image to be inspected is output as a digital image signal and stored in the first buffer memory 16 as inspected image data. When a non-defective product of the same type as the object to be inspected is imaged by the imaging device 14, a signal indicating a reference image is output as a digital image signal and stored as reference image data in the reference image storage unit 12. The reference image generation circuit 10 generates reference image data from design data indicating a pattern to be formed on the inspection object, and stores this in the reference image storage unit 12. In this manner, the reference image storage unit 12 stores either reference image data that is captured image data generated by the imaging device 14 or reference image data generated from design data by the reference image generation circuit 10. Is stored.
[0023]
In this embodiment, in order to cope with local optical fluctuations in image quality and charge-up when an image is generated by irradiating an electron beam to detect secondary electrons, the reference image and the image to be inspected are the same. In this mode, the image is divided into a plurality of regions, and the reference image and the image to be inspected are matched (identification of image quality conditions) as preprocessing for image comparison for each region. For such image alignment for each region, the reference image region cutout unit 18 as a reference image dividing unit in the pattern inspection apparatus divides the reference image into a plurality of regions, and pays attention to each region sequentially, Image data of the region of interest (hereinafter referred to as “region of interest data”) is extracted from the reference image data stored in the reference image storage unit 12 and sequentially output. On the other hand, the inspected image area cutout unit 20 as the inspected image dividing unit divides the inspected image into a plurality of areas in the same manner as the above-described division of the reference image, and pays attention to each area sequentially, and the first buffer memory The region-of-interest data is extracted from the image data to be inspected stored in 16 and sequentially output. At this time, the inspected image region cutout unit 20 takes out the region-of-interest data from the inspected image data by sequentially paying attention to the region of the inspected image that corresponds in position to the region of the reference image focused by the reference image region cutout unit 18. . The attention area data of the reference image output from the reference image area cutout unit 18 is stored in the second buffer memory 24 and input to the percentile value calculation unit 22. The attention area data of the inspection image output from the inspection image area cutout unit 20 is stored in the third buffer memory 28 and input to the percentile value calculation unit 22. In addition, the percentile value calculation unit 22 includes an upper end exclusion ratio Eu and a lower end determined in advance as values indicating the proportion of pixels having a density outside the density range to be selected for alignment between the reference image and the image to be inspected. The part exclusion rate El is also input from the outside. Here, the upper-end exclusion ratio Eu is a percentage indicating the ratio of pixels having a density higher than the density of the density range to be selected among the pixels in the target region of the reference image and the inspection image, and the lower-end exclusion ratio El is , The percentage indicating the ratio of pixels having a density lower than the density of the density range to be selected among the pixels in the region of interest.
[0024]
The percentile value calculation unit 22 is a means for selecting a density range to be matched between both images in order to compare the inspected image and the reference image. The percentile value calculation unit 22 calculates the lower end portion exclusion rate El from the focus area data of the reference image. Corresponding percentile value (hereinafter referred to as “lower limit percentile value”) RPmin, that is, the percentile RPmin of the density histogram in the region of interest, and the percentile value corresponding to upper end exclusion ratio Eu (hereinafter referred to as “upper limit percentile value”) RPmax That is, the (100-Eu) percentile RPmax of the density histogram of the region of interest is calculated. In addition, the percentile value calculation unit 22 calculates a lower limit percentile value OPmin that is a percentile value corresponding to the lower end portion exclusion rate El, that is, an El percentile OPmin of a density histogram in the target region, from the target region data of the image to be inspected. An upper limit percentile value OPmax that is a percentile value corresponding to the upper end exclusion ratio Eu, that is, a (100-Eu) percentile OPmax of the density histogram in the region of interest is calculated. The percentile values RPmin and RPmax of the reference image and the percentile values OPmin and OPmax of the image to be inspected thus calculated are input to the density conversion unit 26.
[0025]
The density conversion unit 26 has a density range [RPmin, RPmax] determined by the lower limit percentile value RPmin and the upper limit percentile value RPmax in the focus area of the reference image, and the lower limit percentile value OPmin and the upper limit percentile value OPmax in the focus area of the image to be inspected. The density range [OPmin, OPmax] determined by the above is used as the density range selected for matching the reference image and the image to be inspected with respect to the region of interest, and density conversion for matching is performed. That is, the density range [RPmin, RPmax] selected for the target area of the reference image is stored in the second buffer memory 24 so that it matches the density range [OPmin, OPmax] selected for the target area of the image to be inspected. A linear density conversion is performed on the focused area data of the reference image.
[0026]
The reference image and the image to be inspected are aligned with respect to the region of interest by linear density conversion by the density conversion unit 26, and the aligned reference image and region of interest data of the image to be inspected are sequentially input to the comparison operation circuit 30. The The comparison operation circuit 30 compares both images with respect to each region of interest for each pixel based on the reference image and the region-of-interest data of the image to be inspected sequentially, detects a defect in the inspection object based on the comparison, Data indicating the detection result is output as an inspection result. The inspection result storage unit 32 is realized by a hard disk device or a semiconductor memory, and stores the inspection result output from the comparison operation circuit 30. The inspection result display unit 34 is realized by a CRT, a liquid crystal panel, or the like, and displays the inspection result output from the comparison operation circuit 30.
[0027]
<1.2 Image alignment processing>
As described above, in the present embodiment, processing for matching both images (hereinafter referred to as “image matching processing”) is performed as preprocessing for comparing the reference image and the image to be inspected. The details of this image alignment processing will be described below with reference to FIG.
[0028]
FIG. 2 is a block diagram showing a configuration of a portion (hereinafter referred to as “image matching processing unit”) 100 that performs image matching processing in the present embodiment. The image matching processing unit 100 includes a reference image cutout unit 18, an inspected image region cutout unit 20, a percentile value calculation unit 22, a second buffer memory 24, a density conversion unit 26, and a third buffer memory 28. As shown in FIG. 2, the percentile value calculation unit 22 includes a cumulative histogram generation unit 22a and a percentile value determination unit 22b.
[0029]
In the image matching processing unit 100 configured as described above, the attention area data of the reference image sequentially output from the reference image area cutout unit 18 is stored in the second buffer memory 24 and is also input to the cumulative histogram generation unit 22a. . In addition, the region-of-interest data of the inspected image sequentially output from the inspected image region cutout unit 20 is stored in the third buffer memory 28 and input to the cumulative histogram generation unit 22a. The cumulative histogram generation unit 22 a generates a cumulative histogram for the image density in the target region of the reference image from the target region data input from the reference image region cutout unit 18, and the target input from the inspected image region cutout unit 20. A cumulative histogram for the image density in the region of interest of the image to be inspected is generated from the region data. For example, as shown in FIG. 3, when the density histogram in the input region-of-interest data is indicated by the curve C1, a cumulative histogram as indicated by the curve C2 is generated. The percentile value determination unit 22b obtains the lower limit percentile value RPmin and the upper limit percentile value RPmax in the target area data of the reference image based on the accumulated histogram, and the lower limit percentile value OPmin and the upper limit percentile value in the target area data of the image to be inspected. Find OPmax. That is, based on the lower end exclusion ratio El and the upper end exclusion ratio Eu inputted from the outside, the density value associated with the cumulative frequency of El by the cumulative histogram of the reference image is set as the lower limit percentile value RPmin in the attention area data of the reference image. The density value associated with the cumulative frequency of (100−Eu) by the cumulative histogram of the reference image is obtained as the upper limit percentile value RPmax in the attention area data of the reference image (see FIG. 3). Here, the upper end portion exclusion ratio El and the lower end portion exclusion ratio Eu are both several percent or less, and preferably about 3 to 5%. Similarly, based on the lower end and upper end exclusion ratios El and Eu, the density value associated with the cumulative frequency of El by the cumulative histogram of the image to be inspected is obtained as the lower limit percentile value OPmin in the attention area data of the image to be inspected. , The density value associated with the cumulative frequency of (100−Eu) by the cumulative histogram of the image to be inspected is obtained as the upper limit percentile value OPmax in the attention area data of the image to be inspected. The lower limit percentile value RPmin and upper limit percentile value RPmax in the focus area data of the reference image thus obtained, and the lower limit percentile value OPmin and upper limit percentile value OPmax in the focus area data of the image to be inspected are sent to the density converter 26. Entered.
[0030]
The density conversion unit 26 reads the focus area data of the reference image from the second buffer memory 24, and performs linear density conversion defined by the following equation on each pixel value REFin constituting the focus area data. The pixel value REFout is generated.
REFout = [(OPmax-OPmin) / (RPmax-RPmin)] × (REFin-RPmin) + OPmin (1)
[0031]
By the above density conversion, the lower limit percentile value RPmin and the upper limit percentile value RPmax in the target area data of the reference image become equal to the lower limit percentile value OPmin and the upper limit percentile value OPmax in the target area data of the image to be inspected, respectively. That is, the density histogram in the attention area data of the reference image and the image to be inspected shown in FIG. 4A becomes as shown in FIG. 4B by the density conversion. In this way, the reference image and the image to be inspected are matched for each region by the density conversion.
[0032]
The attention area data composed of the pixel value REFout after the density conversion is sequentially input to the comparison operation circuit 30. On the other hand, the region-of-interest data of the image to be inspected is also read from the third buffer memory 28 and sequentially input to the comparison operation circuit 30. Therefore, in the comparison operation circuit 30, the reference image and the image to be inspected are compared in a matched state, that is, in a state where the image quality conditions are equal to each other.
[0033]
<1.3 Effects of the embodiment>
According to the embodiment, in order to align both images for each predetermined region as preprocessing for comparing the reference image and the image to be inspected, the minimum value density in the density histogram for each corresponding region of both images Density conversion is performed so that [RPmin, RPmax] and [OPmin, OPmax], which are the density ranges excluding the portion corresponding to the lower end near the value and the portion corresponding to the upper end near the maximum density value, match. (See FIG. 4). For this reason, even if a defect corresponding to a density value outside the density range of the non-defective image exists as shown in FIG. 9, the reference image and the image to be inspected are appropriately aligned by the density conversion. Such defects can also be reliably detected. That is, since the area corresponding to the defect in the density histogram of the image to be inspected is extremely small, the density range excluding the upper and lower ends of the density histogram (the density range determined by the above-described upper and lower percentile values) is the same as that of the reference image. When density conversion is performed so as to match with the inspection image, the density histograms of both images substantially match except for a portion corresponding to the defect. As a result, the defect is surely detected by the subsequent comparison operation for both images.
[0034]
As described above, conventionally, there has been a problem that the defect detection capability is reduced by normalization (density conversion) for an image area including a “solid pattern” having a uniform density range. That is, since the pixel density of the region including the “solid pattern” is distributed in a narrow range, normalization with a predetermined density range (normalization range) as in the past would result in density conversion by density conversion corresponding to the normalization. The range will be greatly expanded, resulting in a decrease in defect detection capability. Hereinafter, this point will be described using the Mahalanobis distance as an evaluation index of the defect detection capability.
[0035]
Now, an image to be subjected to density conversion includes only a “solid pattern”, and a density histogram of the image has a normal distribution with an average value μ = 120 and a standard deviation σ = 3.0 as shown in FIG. If it is assumed that the density value range is about [−3σ, + 3σ]. Here, for the sake of simplicity, assuming that the density value range is [110, 130] as shown in FIG. 5A, the detection capability for defects in the inspection object represented by such an image is defined by the following equation. It can be evaluated by Mahalanobis distance D.
D2= (Xi-μ)2/ Σ2    ... (2)
Here, Xi is a defective pixel value, μ is an average density value, σ2Represents the dispersion of concentration. It can be determined that the greater the Mahalanobis distance D defined by the above equation (2), the longer the distance between the defect portion and the noise portion, and the easier the separation of the defect and the noise.
[0036]
For example, as shown in FIG. 5B, when a defect having a pixel value 135 exists in the inspection object,
D = (135-120) / 3 = 5
It is. When the image corresponding to the density histogram shown in FIG. 5B is normalized by the normalized value range [40, 200], for example, the maximum value of the noise region is changed from 130 to 200 as shown in FIG. The defective pixel value is converted from 135 to 240, and the minimum value of the noise region is converted from 110 to 40. After this normalization, when calculating the standard deviation σ,
σ = (200−120) /3=26.7
(The density value range is set to [−3σ, + 3σ]), and the Mahalanobis distance from the equation (2) is
D = (240−120) /26.7=4.5
It becomes. That is, the Mahalanobis distance D is changed from 5 to 4.5 by the normalization. This means that the defect detection capability has decreased.
[0037]
On the other hand, according to the present embodiment, the image data of the reference image is set so that the density range [RPmin, RPmax] of each area of the reference image matches the density range [OPmin, OPmax] of the corresponding area of the image to be inspected. Since density conversion is performed only on the above, the defective pixel value Xi, the average value μ, and the standard deviation σ hardly change depending on the density conversion. Therefore, according to the present embodiment, since the dynamic range is not unnecessarily expanded by the matching process for the image area including the “solid pattern” or the like as in the past, the area including the “solid pattern” or the like is not used. However, the defect detection capability is not lowered.
[0038]
As described above, according to the present embodiment, the image quality conditions of both images are reliably equalized by density conversion as preprocessing for comparing the image to be inspected that is a multi-valued image and the reference image. Accurate comparison of images is possible.
[0039]
<2. Second Embodiment>
Next, a pattern inspection apparatus according to the second embodiment of the present invention will be described. In the present embodiment, the matching processing unit 100 (FIG. 2) in the first embodiment is configured as shown in FIG. Since other configurations in the present embodiment are the same as those in the first embodiment shown in FIG. 1, the same portions are denoted by the same reference numerals, and detailed description thereof is omitted.
[0040]
The image matching processing unit according to the present embodiment does not determine the density range to be selected for the target area for matching the reference image and the image to be inspected based on the upper and lower percentile values for the current target area, but immediately before. It is configured so as to be determined by the upper and lower percentile values of a focused area (hereinafter referred to as “immediately focused area”). As a result, in the present embodiment, the necessary buffer memory is reduced, and the image matching processing unit can be realized with a smaller amount of hardware than in the first embodiment. That is, as shown in FIG. 6, the image matching processing unit in the present embodiment includes a reference image region cutout unit 58, an inspected image region cutout unit 60, a cumulative histogram generation unit 62a, and a percentile value determination unit 62b. The density conversion unit 66 includes a reference image region cutout unit 28, an inspected image region cutout unit 30, a cumulative histogram generation unit 22a, and a percentile value determination unit 22b in the first embodiment. It corresponds to the density conversion unit 26, respectively. That is, the image matching processing unit does not include the second buffer memory 24 and the third buffer memory 28 unlike the first embodiment.
[0041]
In the image matching processing unit configured as described above, the reference image region cutout unit 58 divides the reference image into a plurality of regions and pays attention to each region sequentially, as in the first embodiment, and references from the reference image storage unit 12. The image area-of-interest data is extracted and sequentially output. On the other hand, the inspected image region cutout unit 60 also divides the inspected image into a plurality of regions in the same manner as the above-described division of the reference image, and pays attention to each region sequentially, as in the first embodiment. The region-of-interest data of the image to be inspected is extracted from 16 and sequentially output. At this time, the inspected image region cutout unit 60 sequentially pays attention to the region of the inspected image corresponding to the region of the reference image focused by the reference image region cutout unit 58, and extracts the target region data from the inspected image data. Take out. The attention area data of the reference image sequentially output from the reference image area cutout section 58 and the attention area data of the inspection image sequentially output from the inspection image area extraction section 60 are both input to the cumulative histogram generation section 62a. The
[0042]
The cumulative histogram generation unit 62a generates a cumulative histogram of the image density in the target region of the reference image from the target region data input from the reference image region cutout unit 58, and the target input from the inspection image region cutout unit 60. A cumulative histogram for the image density in the region of interest of the image to be inspected is generated from the region data. As in the first embodiment, the percentile value determination unit 62b uses the generated cumulative histograms based on the lower end exclusion ratio El and the upper end exclusion ratio Eu input from the outside, in the attention area data of the reference image. Upper / lower percentile values RPmax, RPmin, and upper / lower limit percentile values OPmax, OPmin in the region of interest data of the image to be inspected are obtained. The percentile values RPmax, RPmin, OPmax, OPmin thus obtained are input to the density conversion unit 66.
[0043]
The density conversion unit 66 sequentially reads the reference image data in units of pixels by the reference image storage unit 12 and performs density conversion described later on the read pixel value REFin. At this time, the density conversion unit 66 uses the percentile values RPmax, RPmin, OPmax, and OPmin input from the percentile value determination unit 62b. However, when the density conversion unit 66 reads the pixel value constituting the j-th region in the reference image as REFin and performs density conversion on the pixel value, the percentile value determination unit 62b performs the j-th region of the reference image. The upper and lower limit percentile values RPmax and RPmin for the region and the upper and lower limit percentile values OPmax and OPmin for the j-th region of the image to be inspected have not been obtained. Therefore, in the present embodiment, the density conversion unit 66 configures the jth region in the reference image using the upper and lower limit percentile values RPmax, RPmin, OPmax, and OPmi for the immediately preceding region of interest, that is, the j−1th region. The pixel value REFout is generated by performing density conversion defined by the following equation on the value REFin of each pixel.
REFout = [(OPmax-OPmin) / (RPmax-RPmin)] × (REFin-RPmin) + OPmin (3)
The pixel value REFout is a value after density conversion of each pixel constituting the jth region.
[0044]
Similar to the first embodiment, the density conversion converts the lower limit percentile value RPmin and the upper limit percentile value RPmax in the target area data of the reference image into the lower limit percentile value OPmin and the upper limit percentile value OPmax in the target area data of the image to be inspected. The image quality conditions of both images can be equalized, that is, both images can be matched. If the image quality conditions (dynamic range, brightness, etc.) of both images are significantly different between the current attention area and the immediately preceding attention area, the two images are appropriately matched depending on the density conversion in the present embodiment. However, such an example has not been found in the experiments by the present inventors so far. Even if such an example exists, it can be dealt with by dividing the areas of both images more finely.
[0045]
The pixel value REFout obtained by the density conversion is sequentially output from the density conversion unit 66 as the pixel value of the reference image subjected to the matching process, and is input to the comparison operation circuit 30. In addition, the values of the pixels of the image to be inspected that correspond in position to the pixels of the reference image after the matching process input to the comparison operation circuit 30 are also sequentially input to the comparison operation circuit 30. The comparison operation circuit 30 compares the pixel values corresponding to the position of the reference image and the inspection image that are sequentially input to each other, detects a defect in the inspection object based on the comparison, and displays data indicating the detection result. Output as inspection results. Thereafter, as in the first embodiment, the test result storage unit 32 stores the test result output from the comparison operation circuit 30, and the test result display unit 34 displays the test result output from the comparison operation circuit 30. To do.
[0046]
Also in the second embodiment as described above, as in the first embodiment, the image quality condition of both images is changed by density conversion as preprocessing for comparing the image to be inspected that is a multi-valued image and the reference image. Ensure equality, so that an accurate comparison of both images is possible. That is, even when a defect corresponding to a density value outside the density range of the non-defective image exists, the reference image and the image to be inspected are appropriately aligned by the above-described density conversion. Can be detected. In addition, since the dynamic range is not unnecessarily expanded by the alignment process for the image area including the “solid pattern” or the like, the defect detection capability does not decrease even for the area including the “solid pattern” or the like. .
[0047]
<3. Modification>
In the first and second embodiments, in order to align the reference image and the image to be inspected, the density conversion is performed only on the attention area data of the reference image. It is also possible to perform density conversion only on the target area data and to align both images. Further, density conversion may be performed on the attention area data of both the reference image and the image to be inspected to align both images. However, when the density range determined by the lower limit percentile value and the upper limit percentile value is greatly expanded by density conversion, it is not preferable because the detection capability is reduced as described above (see FIG. 5). On the other hand, when the density conversion is performed only on the attention area data of one of the reference image and the image to be inspected, such a decrease in detection capability does not occur. It is preferable to perform density conversion only on the region-of-interest data of the image so as to align both images.
[0048]
Further, the density range determined by the minimum density value and the maximum density value in the focus area of the reference image is not calculated as in the first and second embodiments, and the focus area of the image to be inspected is determined. Even when density conversion (normalization) is performed so as to match the density range determined by the minimum density value and the maximum density value in the image, density conversion is performed only on one of the reference image and the image to be inspected. Is preferred. This is because a decrease in defect detection capability due to density conversion for image alignment can be avoided.
[0049]
Further, in the first and second embodiments, the reference image and the image to be inspected are divided into a plurality of regions, and both images are aligned for each region corresponding to the position between both images. When the local variation of the condition is small, the two images are matched by performing density conversion defined in one line format on the reference image or the image to be inspected without performing such region division. You may do it.
[0050]
Furthermore, in the first and second embodiments, the ratios of the portions (pixels) to be excluded from the density range to be selected for alignment between the reference image and the image to be inspected are the upper and lower end exclusion ratios Eu and El. And the corresponding percentile values are obtained as the upper limit value and lower limit value of the density range to be selected. However, the method of selecting the density range for matching the reference image and the image to be inspected is not limited to such a method, and the density of the part excluding the parts corresponding to the upper and lower ends of the density histogram is excluded. What is necessary is just to select a range as a density range for image alignment. For example, a range in which both ends are removed from the density value range of each image (range of pixel density minimum value to maximum value) by a section corresponding to about several percent with respect to the size (width) of the density value range, You may select as a density range for image alignment.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a pattern inspection apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an image matching processing unit in the pattern inspection apparatus according to the first embodiment.
FIG. 3 is a diagram showing a density histogram and a cumulative histogram for explaining calculation of upper and lower percentile values in the first embodiment.
FIG. 4 is a diagram showing a density histogram for explaining a matching process between a reference image and an image to be inspected in the first embodiment.
FIG. 5 is a diagram illustrating a density histogram for explaining a decrease in defect detection capability when conventional normalization is performed on an image including only a “solid pattern”;
FIG. 6 is a block diagram illustrating a configuration of an image matching processing unit in a pattern inspection apparatus according to a second embodiment of the present invention.
FIG. 7 is a diagram showing density histograms of an image to be inspected and a reference image to be compared in a pattern inspection.
FIG. 8 is a diagram for explaining linear density conversion for converting a density range of an image to be inspected and a reference image into a predetermined normalized range;
FIG. 9 is a diagram for explaining an example in which it is difficult to align an inspection image and a reference image by conventional normalization.
FIG. 10 is a diagram for explaining another example in which it is difficult to align an inspected image and a reference image by conventional normalization.
[Explanation of symbols]
10: Reference image generation circuit
12: Reference image storage unit
14: Imaging device
16: First buffer memory
18, 58... Reference image area cutout unit
20, 60 ... inspection image region cutout unit
22 ... percentile value calculator
22a, 62a ... Cumulative histogram generator
22b, 62b ... percentile value determining unit
24 ... Second buffer memory
26, 66 ... Density converter
28 ... Third buffer memory
30 ..Comparison arithmetic circuit
100: Image alignment processing unit
El: Lower end exclusion rate
Eu ... upper-end exclusion ratio
RPmin ... Lower limit percentile value in the target area data of the reference image
RPmax ... Upper limit percentile value in the target area data of the reference image
OPmin: Lower limit percentile value in the target area data of the image to be inspected
OPmax: Upper percentile value in the target area data of the image to be inspected
REFin ... Pixel value of the reference image before density conversion
REFout ... Pixel value of the reference image after density conversion

Claims (4)

所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査装置であって、
前記被検査画像の全部または一部の領域と当該領域に位置的に対応する前記参照画像の領域とに着目し、前記被検査画像と前記参照画像とを互いに比較するために両画像の間で合わせるべき濃度範囲の下限値を両画像の着目領域毎に選定すると共に、当該合わせるべき濃度範囲の上限値を両画像の着目領域毎に選定する濃度範囲選定手段と、
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換手段と
を備え、
前記濃度範囲選定手段は、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出手段を含み、
前記百分位数算出手段によって算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出手段によって算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記濃度変換手段は、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ
前記濃度変換手段によって整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とするパターン検査装置。
A pixel-by-pixel comparison of an inspection image that is a multi-valued image obtained by photographing an object to be inspected having a predetermined pattern and a reference image that is a multi-valued image that should be used as a standard representing the predetermined pattern A pattern inspection apparatus for creating a difference map indicating a difference between the image to be inspected and the reference image, and detecting a defect in the object to be inspected based on the difference map,
Focusing on the whole or a part of the inspected image and the area of the reference image corresponding to the area, and comparing the inspected image and the reference image with each other A density range selecting means for selecting a lower limit value of the density range to be matched for each target area of both images, and for selecting an upper limit value of the density range to be matched for each target area of both images ;
Density conversion means for aligning the image to be inspected and the reference image based on the lower limit value and the upper limit value selected for the region of interest of the image to be inspected and the reference image;
With
The concentration range selecting means includes
A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating means for calculating the (100-Eu) percentile of the density histogram,
The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated by the percentile calculating means are the lower limit for the region of interest of the image to be inspected. Value and the upper limit value,
The El percentile and (100−Eu) percentile of the density histogram in the focus area of the reference image calculated by the percentile calculation means are set as the lower limit value and the lower limit value for the focus area of the reference image, and Select each as the upper limit,
Concentration said density conversion means, the density range determined by the lower limit and the upper limit value is selected for each target region of the inspection image is determined by the lower limit and the upper limit value is selected for each target region of the reference image By applying density conversion to at least one of the image to be inspected and the reference image so as to match the range, the image to be inspected and the reference image are aligned ,
The pattern inspection apparatus, wherein the difference map is created by comparing the image to be inspected and the reference image for each pixel after being matched by the density conversion means.
所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査装置であって、
前記被検査画像および前記参照画像を同一態様で複数領域に分割する分割手段と、
前記被検査画像における前記複数領域の各領域と当該領域に位置的に対応する前記参照画像の領域とに順次着目し、前記被検査画像および前記参照画像の着目領域につき、前記被検査画像と前記参照画像との比較のために両画像の間で合わせるべき濃度範囲の下限値選定すると共に、当該合わせるべき濃度範囲の上限値を選定する濃度範囲選定手段と
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換手段と
を備え、
前記濃度範囲選定手段は、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定 すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出手段を含み、
前記百分位数算出手段によって算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出手段によって算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記濃度変換手段は、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ、
前記濃度変換手段によって整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とするパターン検査装置。
A pixel-by-pixel comparison of an inspection image that is a multi-valued image obtained by photographing an object to be inspected having a predetermined pattern and a reference image that is a multi-valued image that should be used as a standard representing the predetermined pattern A pattern inspection apparatus for creating a difference map indicating a difference between the image to be inspected and the reference image, and detecting a defect in the object to be inspected based on the difference map,
Dividing means for dividing the inspected image and the reference image into a plurality of regions in the same manner ;
Focusing sequentially on each region of the plurality of regions in the image to be inspected and the region of the reference image corresponding to the region, the image to be inspected and the region of interest in the reference image A density range selection means for selecting a lower limit value of the density range to be matched between both images for comparison with the reference image, and for selecting an upper limit value of the density range to be matched;
Density conversion means for aligning the image to be inspected and the reference image based on the lower limit value and the upper limit value selected for the region of interest of the image to be inspected and the reference image;
With
The concentration range selecting means includes
A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating means for calculating the (100-Eu) percentile of the density histogram,
The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated by the percentile calculating means are the lower limit for the region of interest of the image to be inspected. Value and the upper limit value,
The El percentile and (100−Eu) percentile of the density histogram in the focus area of the reference image calculated by the percentile calculation means are set as the lower limit value and the lower limit value for the focus area of the reference image, and Select each as the upper limit,
Concentration said density conversion means, the density range determined by the lower limit and the upper limit value is selected for each target region of the inspection image is determined by the lower limit and the upper limit value is selected for each target region of the reference image to match the range, the by facilities Succoth density conversion with respect to at least one of the reference image and the inspection image, the align the said reference image and the inspection image,
The pattern inspection apparatus, wherein the difference map is created by comparing the image to be inspected and the reference image for each pixel after being matched by the density conversion means .
前記濃度変換手段は、前記被検査画像と前記参照画像のいずれかの一方に対してのみ前記濃度変換を施すことを特徴とする、請求項1または2に記載のパターン検査装置。  The pattern inspection apparatus according to claim 1, wherein the density conversion unit performs the density conversion only on one of the inspection image and the reference image. 所定パターンの形成された被検査物を撮影することにより得られる多値画像である被検査画像と、前記所定パターンを表す基準とすべき多値画像である参照画像とを画素毎に比較することにより、前記被検査画像と前記参照画像との差異を示す差分マップを作成し、当該差分マップに基づき前記被検査物における欠陥を検出するパターン検査方法であって、
前記被検査画像の全部または一部の領域と当該領域に位置的に対応する前記参照画像の領域とに着目し、前記被検査画像と前記参照画像とを互いに比較するために両画像の間で合わせるべき濃度範囲の下限値を両画像の着目領域毎に選定すると共に、当該合わせるべき濃度範囲の上限値を両画像の着目領域毎に選定する濃度範囲選定ステップと、
前記被検査画像および前記参照画像の着目領域につき選定される前記下限値および前記上限値に基づき前記被検査画像と前記参照画像とを整合化させる濃度変換ステップと
を備え
前記濃度範囲選定ステップは、
前記被検査画像と前記参照画像の整合化のために選定すべき濃度範囲の濃度よりも低い濃度の画素の割合を示す値として予め決められた第1の百分率El、および、当該選定すべき濃度範囲の濃度よりも高い濃度の画素の割合を示す値として予め決められた第2の百分率Euに基づき、前記被検査画像および前記参照画像の着目領域における濃度ヒストグラムのEl百分位数を算出すると共に、当該濃度ヒストグラムの(100−Eu)百分位数を算出する百分位数算出ステップを含み、
前記百分位数算出ステップにて算出された前記被検査画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記被検査画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
前記百分位数算出ステップにて算出された前記参照画像の着目領域における濃度ヒストグラムのEl百分位数および(100−Eu)百分位数を、前記参照画像の着目領域についての前記下限値および前記上限値としてそれぞれ選定し、
濃度変換ステップは、前記被検査画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲が、前記参照画像の着目領域につき選定される前記下限値および前記上限値によって定まる濃度範囲と一致するように、前記被検査画像と前記参照画像の少なくとも一方に対して濃度変換を施すことにより、前記被検査画像と前記参照画像とを整合化させ
前記濃度変換ステップにて整合化された後に前記被検査画像と前記参照画像とが画素毎に比較されることにより前記差分マップが作成されることを特徴とするパターン検査方法。
A pixel-by-pixel comparison of an inspection image that is a multi-valued image obtained by photographing an object to be inspected having a predetermined pattern and a reference image that is a multi-valued image that should be used as a standard representing the predetermined pattern A pattern inspection method for creating a difference map indicating a difference between the image to be inspected and the reference image, and detecting a defect in the object to be inspected based on the difference map,
Focusing on the whole or a part of the inspected image and the area of the reference image corresponding to the area, and comparing the inspected image and the reference image with each other A density range selection step for selecting the lower limit value of the density range to be matched for each target area of both images, and selecting the upper limit value of the density range to be matched for each target area of both images ,
A density conversion step of aligning the image to be inspected and the reference image based on the lower limit value and the upper limit value selected for the region of interest of the image to be inspected and the reference image ,
The concentration range selection step includes:
A first percentage El determined in advance as a value indicating the ratio of pixels having a density lower than the density in the density range to be selected for alignment of the image to be inspected and the reference image, and the density to be selected Based on a second percentage Eu determined in advance as a value indicating the ratio of pixels having a density higher than the density in the range, the El percentile of the density histogram in the region of interest of the image to be inspected and the reference image is calculated. And a percentile calculating step of calculating a (100-Eu) percentile of the density histogram,
The El percentile and (100-Eu) percentile of the density histogram in the region of interest of the image to be inspected calculated in the percentile calculating step are used as the values for the region of interest of the image to be inspected. Select the lower limit and the upper limit respectively,
The El percentile and (100−Eu) percentile of the density histogram in the attention area of the reference image calculated in the percentile calculation step are set as the lower limit value for the attention area of the reference image. And select the upper limit value respectively.
Density conversion step, the concentration range defined by the lower limit and the upper limit value is selected for each target region of the inspection image, density range determined by the lower limit and the upper limit value is selected for each target region of the reference image To match at least one of the image to be inspected and the reference image so that the image to be inspected and the reference image are aligned ,
The pattern inspection method, wherein the difference map is created by comparing the image to be inspected and the reference image for each pixel after being matched in the density conversion step.
JP2001250992A 2001-08-22 2001-08-22 Pattern inspection apparatus and method Expired - Fee Related JP3788586B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001250992A JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001250992A JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Publications (2)

Publication Number Publication Date
JP2003065969A JP2003065969A (en) 2003-03-05
JP3788586B2 true JP3788586B2 (en) 2006-06-21

Family

ID=19079711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001250992A Expired - Fee Related JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Country Status (1)

Country Link
JP (1) JP3788586B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327485B2 (en) * 2003-03-20 2009-09-09 株式会社日立国際電気 Defect inspection equipment
JP2007071847A (en) * 2005-09-09 2007-03-22 Nagaoka Univ Of Technology Method for detecting abnormal measurement value in surface roughness measurement
JP5798099B2 (en) * 2012-09-05 2015-10-21 株式会社東芝 Image quality adjusting method, program, and electron microscope
JP6412825B2 (en) * 2015-05-26 2018-10-24 株式会社Screenホールディングス Inspection apparatus and substrate processing apparatus
TWI627588B (en) 2015-04-23 2018-06-21 日商思可林集團股份有限公司 Inspection device and substrate processing apparatus
JP6679538B2 (en) * 2017-06-05 2020-04-15 株式会社Screenホールディングス Inspection device and inspection method
WO2019044082A1 (en) * 2017-08-28 2019-03-07 富士フイルム株式会社 Medical image processing device, method, and program
JP7273748B2 (en) * 2020-02-28 2023-05-15 株式会社東芝 Inspection device, inspection method, and program

Also Published As

Publication number Publication date
JP2003065969A (en) 2003-03-05

Similar Documents

Publication Publication Date Title
JP4172761B2 (en) Defect inspection apparatus, defect inspection method and program
US6879392B2 (en) Method and apparatus for inspecting defects
CN104903712B (en) Observation of Defects method and Observation of Defects device
US9865046B2 (en) Defect inspection method and defect inspection device
JP5543872B2 (en) Pattern inspection method and pattern inspection apparatus
US20110170765A1 (en) Defect inspection method and apparatus
US20130294677A1 (en) Defect inspection method and defect inspection device
US8712184B1 (en) Method and system for filtering noises in an image scanned by charged particles
JP2011047724A (en) Apparatus and method for inspecting defect
JPH11132959A (en) Method and device for inspecting defect
JP2003057019A (en) Pattern inspection device and inspection method using the same
US7181060B2 (en) Defect inspection method
JP4024381B2 (en) Defect inspection method and apparatus
JP2005317818A (en) Pattern inspection device and method therefor
JP4230880B2 (en) Defect inspection method
JPH10253544A (en) Method and apparatus for visual examination
JP3788586B2 (en) Pattern inspection apparatus and method
JP5088165B2 (en) Defect detection method and defect detection apparatus
JP2011174858A (en) Defect detection method and semiconductor device manufacturing method
US7561751B2 (en) Image processing method
US5373567A (en) Method and apparatus for pattern matching
JP2000099727A (en) Appearance image sorting device and its method
JP2001325595A (en) Method and device for image processing and charged particle microscopical inspecting device
JP2000097869A (en) Defect inspection method for pattern and its device
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060322

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090407

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees