[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2003065969A - Apparatus and method for inspecting pattern - Google Patents

Apparatus and method for inspecting pattern

Info

Publication number
JP2003065969A
JP2003065969A JP2001250992A JP2001250992A JP2003065969A JP 2003065969 A JP2003065969 A JP 2003065969A JP 2001250992 A JP2001250992 A JP 2001250992A JP 2001250992 A JP2001250992 A JP 2001250992A JP 2003065969 A JP2003065969 A JP 2003065969A
Authority
JP
Japan
Prior art keywords
image
density
reference image
inspection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001250992A
Other languages
Japanese (ja)
Other versions
JP3788586B2 (en
Inventor
Yasushi Sasa
泰志 佐々
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Screen Manufacturing Co Ltd filed Critical Dainippon Screen Manufacturing Co Ltd
Priority to JP2001250992A priority Critical patent/JP3788586B2/en
Publication of JP2003065969A publication Critical patent/JP2003065969A/en
Application granted granted Critical
Publication of JP3788586B2 publication Critical patent/JP3788586B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To surely detect defects by surely equalizing an image quality condition of an image to be inspected and a reference image as pre-conditioning a pattern inspection through comparison of the image to be inspected which is a multi-valued image with the reference image. SOLUTION: Both the reference image and the image to be inspected are divided to a plurality of regions and each of the regions is sequentially noted. A cumulative histogram-generating part 22a generates a cumulative histogram of an image density from data of each of noted regions of both images. A percentile value-determining part 22b obtains upper and lower limit percentile values RPmax, RPmin and OPmax, OPmin at the noted regions of both images from both cumulative histograms on the basis of preliminarily determined upper and lower end removal rates El and Eu. A density-converting part 26 carries out a density conversion to the data of noted regions of the reference image so that density ranges [RPmin, RPmax] and [OPmin, OPmax] determined by the upper and lower limit percentile values agree with each other, that is, density ranges of parts with the upper and lower ends removed from the density histograms of noted regions of both images agree with each other.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、各種対象物の外観
形状に現れるパターンを検査して欠陥を検出するパター
ン検査装置に関するものであり、例えば、高精細プリン
ト基板や、リードフレーム、半導体ウェハー、及びそれ
らのフォトマスク等のパターンを検査して微細な欠陥を
検出するパターン検査装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern inspection apparatus for inspecting a pattern appearing in the external shape of various objects to detect a defect, for example, a high-definition printed circuit board, a lead frame, a semiconductor wafer, The present invention also relates to a pattern inspection device that inspects a pattern of those photomasks or the like to detect fine defects.

【0002】[0002]

【従来の技術】高精細プリント基板や、リードフレー
ム、半導体ウェハー、及びそれらのフォトマスク等のパ
ターンを検査するための方法として、多値画像を使用し
た比較法がある。この比較法では、欠陥の無い良品のパ
ターンを表す参照画像と被検査物のパターンを表す被検
査画像とを画素毎に比較することによって差分マップが
作成され、その差分マップに基づき被検査物における欠
陥が検出される。したがって、参照画像と被検査画像
は、そのダイナミックレンジや明るさ等の画質条件が互
いに等しいことが前提となる。
2. Description of the Related Art As a method for inspecting patterns of high-definition printed circuit boards, lead frames, semiconductor wafers, and photomasks thereof, there is a comparison method using multivalued images. In this comparison method, a difference map is created by comparing, for each pixel, a reference image that represents a non-defective non-defective pattern and an inspected image that represents the pattern of the inspected object, and a difference map in the inspected object based on the difference map. Defects are detected. Therefore, it is premised that the reference image and the image to be inspected have the same image quality conditions such as dynamic range and brightness.

【0003】しかし、被検査画像等を得るための画像入
力手段や、それによる画像入力の際の条件、被検査物で
あるターゲットサンプル等によっては、画質条件が異な
る場合がある。すなわち、被検査画像と参照画像とで濃
度ヒストグラムが図7に示すように異なる場合がある。
この現象は、ターゲットサンプル等を光学的に撮影する
際の照明条件の変動や、電子ビームを照射し2次電子を
検出して画像を生成する場合のチャージアップ、ターゲ
ットサンプルの表面状態の相違等によって生じる。
However, the image quality conditions may differ depending on the image inputting means for obtaining the image to be inspected, the conditions for image input by the image inputting means, the target sample which is the object to be inspected and the like. That is, the density histogram of the inspection image may differ from that of the reference image as shown in FIG.
This phenomenon is caused by variations in illumination conditions when optically capturing a target sample, charge-up when an image is generated by irradiating an electron beam to detect secondary electrons, differences in the surface state of the target sample, etc. Caused by.

【0004】このような画質条件の相違を解消する方法
として、画像の濃度について線形変換を実施するという
方法がある。この濃度の線形変換は、その画像の濃度値
域(「濃度レンジ」ともいう)を予め決められた正規化
値域(「正規化レンジ」ともいう)に変換するものであ
る。これを参照画像および被検査画像に適用することに
より、両画像のコントラストや、明るさ、ダイナミック
レンジ等の画質条件を同等のものとすることができる。
すなわち、図8(a)に示すように濃度ヒストグラムが
互いに異なる被検査画像と参照画像とにつき、それらの
濃度レンジRNGobj,RNGrefを同一の正規化レンジRNGnor
mへと変換することにより(この線形変換は「正規化」
と呼ばれる)、図8(b)に示すように両画像の画質条
件が互いにほぼ等しいものとなる。
As a method of eliminating such a difference in image quality condition, there is a method of performing linear conversion on the density of an image. This linear conversion of the density converts the density value range (also called “density range”) of the image into a predetermined normalized value range (also called “normalized range”). By applying this to the reference image and the image to be inspected, the image quality conditions such as contrast, brightness and dynamic range of both images can be made equal.
That is, as shown in FIG. 8A, for the inspection image and the reference image whose density histograms are different from each other, their density ranges RNGobj and RNGref are set to the same normalized range RNGnor.
by converting to m (this linear transformation is "normalized"
8B), the image quality conditions of both images are substantially equal to each other, as shown in FIG.

【0005】[0005]

【発明が解決しようとする課題】しかし、多値画像を使
用した比較法に基づくパターン検査において、比較すべ
き被検査画像と参照画像との画質条件を上記線形変換に
より等しくすること(以下「整合化」という)が困難な
場合がある。例えば、次のような場合である。 (1)被検査物における欠陥部の画素値が良品画像の濃
度レンジ外である場合 (2)プリント基板等における“べたパターン”に代表
される画素濃度の均一なパターンが存在する場合
However, in the pattern inspection based on the comparison method using multi-valued images, the image quality conditions of the image to be inspected and the reference image to be compared should be equalized by the above linear conversion (hereinafter referred to as "matching"). It is sometimes difficult to do so. For example, there are the following cases. (1) When the pixel value of the defective portion in the inspection object is outside the density range of the non-defective image (2) When there is a uniform pixel density pattern represented by a “solid pattern” on a printed circuit board or the like

【0006】まず、上記(1)の場合の例を図9を参照
して説明する。この場合、図9(a)に示すように参照
画像の濃度レンジは[XRa,XRb]であり、この濃
度レンジ[XRa,XRb]が、画像比較の前処理とし
ての上記線形変換により、予め決められた正規化レンジ
[Ya,Yb]に変換される。一方、被検査画像の濃度
レンジは、欠陥が存在しない良品の場合には[XOa,
XOc]であるが、図9の例では上記(1)の場合に該
当する欠陥が存在するので、[XOa,XOb]が被検
査画像の濃度レンジとなる(例えば異物欠陥が存在する
とき、このような濃度レンジとなる)。この濃度レンジ
[XOa,XOb]も、同様に、画像比較の前に、上記
の正規化レンジ[Ya,Yb]に変換される。しかし、
XOb>XOcであることから、図9(b)に示すよう
に、このような正規化(線形変換)によっては、被検査
画像と参照画像とを適切に整合化することができない。
したがって、このような正規化を施しても、両画像を正
確に比較することができない。
First, an example of the above case (1) will be described with reference to FIG. In this case, as shown in FIG. 9A, the density range of the reference image is [XRa, XRb], and this density range [XRa, XRb] is determined in advance by the linear conversion described above as the preprocessing of image comparison. It is converted into the normalized range [Ya, Yb]. On the other hand, the density range of the image to be inspected is [XOa,
XOc], but in the example of FIG. 9, there is a defect corresponding to the case of (1) above, so [XOa, XOb] is the density range of the image to be inspected (for example, when there is a foreign matter defect, Such a concentration range). Similarly, this density range [XOa, XOb] is also converted into the above-mentioned normalized range [Ya, Yb] before image comparison. But,
Since XOb> XOc, as shown in FIG. 9B, it is not possible to properly match the inspection image and the reference image by such normalization (linear conversion).
Therefore, even if such normalization is performed, it is not possible to accurately compare both images.

【0007】次に、上記(2)の場合の例を図10を参
照して説明する。比較すべき画像の画質が局所的に変動
する場合、画像を複数の領域に分割し、領域毎に上記正
規化を行うという方法がある。この方法を採用した場合
には、画像の或る領域に存在するパターンが“べたパタ
ーン”のみの場合がある。この場合、その領域について
の濃度ヒストグラムは図10(a)に示すようになり、
その領域の濃度レンジは[Xa,Xb]であって狭いも
のとなる。画像比較の前処理として、この濃度レンジ
[Xa,Xb]は、図10(b)に示すように、予め決
められた正規化レンジ[Ya,Yb]に変換される。こ
こで、正規化レンジ[Ya,Yb]は、通常、“べたパ
ターン”のみが存在する領域の濃度レンジ[Xa,X
b]に比べて相当に広いものとなる。このため、その領
域については、画像のダイナミックレンジが広くなり、
ノイズ領域が拡大される。すなわち、正規化前の画像
は、ノイズが少なく欠陥の比較的検出しやすい画像であ
るにも拘わらず、正規化を行うことにより、欠陥部と非
欠陥部(ノイズ領域)との分離が困難になり、欠陥の検
出能力が低下する。
Next, an example of the above case (2) will be described with reference to FIG. When the image quality of images to be compared locally changes, there is a method of dividing an image into a plurality of regions and performing the above normalization for each region. When this method is adopted, the pattern existing in a certain area of the image may be only the "solid pattern". In this case, the density histogram for that area is as shown in FIG.
The density range of that region is [Xa, Xb], which is narrow. As a pre-process for image comparison, this density range [Xa, Xb] is converted into a predetermined normalized range [Ya, Yb] as shown in FIG. Here, the normalization range [Ya, Yb] is usually the density range [Xa, X] of the area where only the “solid pattern” exists.
It is considerably wider than that of [b]. Therefore, in that area, the dynamic range of the image becomes wide,
The noise area is enlarged. That is, although the image before normalization has few noises and a defect is relatively easy to detect, normalization makes it difficult to separate a defective part and a non-defective part (noise region). As a result, the defect detection capability decreases.

【0008】本発明は、上記問題を解決すべくなされた
ものであり、多値画像である被検査画像と参照画像とを
比較するための前処理として両画像の画質条件を確実に
等しくすることにより両画像の正確な比較を可能とす
る、比較法に基づくパターン検査装置および方法を提供
することを目的とする。
The present invention has been made to solve the above problem, and as a preprocessing for comparing an inspected image, which is a multivalued image, with a reference image, surely makes the image quality conditions of both images equal. It is therefore an object of the present invention to provide a pattern inspection apparatus and method based on a comparison method, which enables accurate comparison of both images.

【0009】[0009]

【課題を解決するための手段および発明の効果】第1の
発明は、所定パターンの形成された被検査物を撮影する
ことにより得られる多値画像である被検査画像と、前記
所定パターンを表す基準とすべき多値画像である参照画
像とを画素毎に比較することにより、前記被検査画像と
前記参照画像との差異を示す差分マップを作成し、当該
差分マップに基づき前記被検査物における欠陥を検出す
るパターン検査装置であって、前記被検査画像の全部ま
たは一部の領域と当該領域に位置的に対応する前記参照
画像の領域とに着目し、前記被検査画像と前記参照画像
とを互いに比較するために両画像の間で合わせるべき濃
度範囲の下限値として両画像の着目領域毎に画素濃度の
最小値よりも大きい当該最小値近傍の第1濃度値を選定
すると共に、当該合わせるべき濃度範囲の上限値として
両画像の着目領域毎に画素濃度の最大値よりも小さい当
該最大値近傍の第2濃度値を選定する濃度範囲選定手段
と、前記被検査画像の着目領域につき選定される前記第
1および第2濃度値によって定まる濃度範囲が、前記参
照画像の着目領域につき選定される前記第1および第2
濃度値によって定まる濃度範囲と一致するように、前記
被検査画像と前記参照画像の少なくとも一方に対して濃
度変換を施すことにより、前記被検査画像と前記参照画
像とを整合化させる濃度変換手段とを備え、前記濃度変
換手段によって整合化された後に前記被検査画像と前記
参照画像とが画素毎に比較されることにより前記差分マ
ップが作成されることを特徴とする。
According to a first aspect of the present invention, an image to be inspected, which is a multi-valued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and the predetermined pattern are described. By comparing, for each pixel, a reference image that is a multi-valued image to be used as a reference, a difference map indicating a difference between the inspection image and the reference image is created, and based on the difference map, the inspection object A pattern inspection apparatus for detecting a defect, focusing on all or a part of the inspected image and an area of the reference image corresponding to the area, and the inspected image and the reference image As a lower limit value of the density range to be matched between the two images for comparison with each other, a first density value in the vicinity of the minimum value which is larger than the minimum value of the pixel density is selected for each attention area of both images, and A density range selecting means for selecting a second density value near the maximum value smaller than the maximum value of the pixel density for each target area of both images as the upper limit value of the density range to be adjusted, and the target area of the inspection image The density range defined by the selected first and second density values is the first and second density ranges selected for the region of interest of the reference image.
Density conversion means for matching the inspection image and the reference image by performing density conversion on at least one of the inspection image and the reference image so as to match the density range determined by the density value. The difference map is created by comparing the image to be inspected with the reference image for each pixel after being matched by the density conversion means.

【0010】このような第1の発明によれば、参照画像
と被検査画像とを比較するための前処理として、両画像
の着目領域における最小濃度値近傍の第1濃度値よりも
小さい濃度値の画素と最大濃度値近傍の第2濃度値より
も大きい濃度値の画素とを除外した着目領域の画像につ
いての濃度範囲が両画像の間で一致するように濃度変換
が行われる。すなわち、両画像の着目領域の濃度ヒスト
グラムにおける下端部に相当する部分と上端部に相当す
る部分とを除外した濃度レンジが両画像の間で一致する
ように濃度変換が行われる。したがって、良品画像の濃
度範囲外の濃度値に相当する欠陥が被検査物に存在する
場合であっても、この濃度変換により参照画像と被検査
画像とが適切に整合化されて両画像が正確に比較される
ので、そのような欠陥も確実に検出することができる。
According to the first aspect of the invention as described above, as preprocessing for comparing the reference image and the image to be inspected, density values smaller than the first density value in the vicinity of the minimum density value in the target areas of both images. The density conversion is performed so that the density range of the image of the region of interest excluding the pixel of No. 2 and the pixel of the density value larger than the second density value near the maximum density value is the same between both images. That is, the density conversion is performed so that the density ranges of both images, excluding the lower end portion and the upper end portion in the density histograms of the target regions, match between the images. Therefore, even if the inspection object has a defect corresponding to a density value outside the density range of the non-defective image, the reference image and the inspection image are properly matched by the density conversion, and both images are accurately registered. Therefore, such a defect can be reliably detected.

【0011】第2の発明は、第1の発明において、前記
被検査画像および前記参照画像を同一態様で複数領域に
分割する分割手段を更に備え、前記濃度範囲選定手段
は、前記被検査画像における前記複数領域の各領域と当
該領域に位置的に対応する前記参照画像の領域とに順次
着目し、前記被検査画像および前記参照画像の各着目領
域につき、前記被検査画像と前記参照画像との比較のた
めに両画像の間で合わせるべき濃度範囲の下限値として
当該着目領域における画素濃度の最小値よりも大きい当
該最小値近傍の第1濃度値を選定すると共に、当該合わ
せるべき濃度範囲の上限値として当該着目領域における
画素濃度の最大値よりも小さい当該最大値近傍の第2濃
度値を選定し、前記濃度変換手段は、前記被検査画像の
前記着目領域につき選定される前記第1および第2濃度
値によって定まる濃度範囲が、前記参照画像の前記着目
領域につき選定される前記第1および第2濃度値によっ
て定まる濃度範囲と一致するように、前記被検査画像と
前記参照画像の少なくとも一方の前記着目領域の各画素
に対して濃度変換を施すことを特徴とする。
According to a second aspect of the present invention, in the first aspect of the present invention, it further comprises a dividing means for dividing the inspection image and the reference image into a plurality of regions in the same manner, and the density range selecting means in the inspection image. Focusing on each area of the plurality of areas and the area of the reference image that corresponds to the area in position, for each area of interest of the inspection image and the reference image, the inspection image and the reference image For comparison, as the lower limit value of the density range to be matched between the two images, a first density value in the vicinity of the minimum value of the pixel density in the region of interest is selected, and the upper limit of the density range to be matched is selected. As the value, the second density value in the vicinity of the maximum value that is smaller than the maximum value of the pixel density in the region of interest is selected, and the density conversion means selects the target region of the inspection image The image to be inspected such that the density range determined by the first and second density values determined matches the density range determined by the first and second density values selected for the region of interest of the reference image. And density conversion is performed on each pixel of the attention area of at least one of the reference images.

【0012】このような第2の発明によれば、参照画像
および被検査画像が複数領域に分割され、領域毎に両画
像が整合化されるので、参照画像と被検査画像の一方ま
たは双方の画質が局所的に変動する場合であっても、両
画像間で画質条件(コントラストや明るさ等)を同一化
して両画像を正確に比較することができる。
According to the second aspect, the reference image and the inspected image are divided into a plurality of regions, and both images are matched for each region. Therefore, one or both of the reference image and the inspected image are matched. Even when the image quality locally changes, it is possible to make the image quality conditions (contrast, brightness, etc.) identical between both images and accurately compare both images.

【0013】第3の発明は、第1または第2の発明にお
いて、前記濃度変換手段は、前記被検査画像と前記参照
画像のいずれかの一方に対してのみ前記濃度変換を施す
ことを特徴とする。
According to a third aspect of the present invention, in the first or second aspect, the density conversion means performs the density conversion on only one of the inspection image and the reference image. To do.

【0014】このような第3の発明によれば、参照画像
と被検査画像の一方に対してのみ濃度変換が施されるこ
とから、“べたパターン”のような濃度の均一なパター
ンのみが着目領域に存在する場合であっても、両画像の
整合化のために無用にダイナミックレンジが広がること
はないので、欠陥の検出能力の低下が回避される。
According to the third aspect, the density conversion is performed only on one of the reference image and the image to be inspected, so that only a pattern having a uniform density such as a "solid pattern" is noticed. Even if it exists in the area, the dynamic range does not unnecessarily widen due to the matching of both images, so that the deterioration of the defect detection capability is avoided.

【0015】第4の発明は、第1または第2の発明にお
いて、前記濃度範囲選定手段は、前記被検査画像と前記
参照画像の整合化のために選定すべき濃度範囲の濃度よ
りも低い濃度の画素の割合を示す値として予め決められ
た第1の百分率El、および、当該選定すべき濃度範囲
の濃度よりも高い濃度の画素の割合を示す値として予め
決められた第2の百分率Euに基づき、前記被検査画像
および前記参照画像の着目領域における濃度ヒストグラ
ムのEl百分位数を前記第1濃度値として算出すると共
に、当該濃度ヒストグラムの(100−Eu)百分位数
を前記第2濃度値として算出する百分位数算出手段を含
むことを特徴とする。
In a fourth aspect based on the first or second aspect, the density range selecting means has a density lower than a density in a density range to be selected for matching the inspection image and the reference image. To a first percentage El, which is predetermined as a value indicating the ratio of pixels, and a second percentage Eu, which is predetermined as a value indicating the ratio of pixels having a density higher than the density of the density range to be selected. On the basis of the first density value, the El percentile of the density histogram in the region of interest of the inspection image and the reference image is calculated as the first density value, and the (100-Eu) percentile of the density histogram is calculated as the second density value. It is characterized in that it includes a percentile calculating means for calculating the concentration value.

【0016】このような第4の発明によれば、被検査画
像と参照画像の整合化のために選定すべき濃度範囲を外
れた濃度の画素の割合すなわち濃度ヒストグラムにおい
て除外すべき上下端部の割合Eu,Elを与えること
で、その選定すべき濃度範囲の下限である第1濃度およ
び上限である第2濃度が算出されるので、両画像の整合
化のための適切な濃度範囲を容易に設定することができ
る。
According to the fourth aspect, the proportion of pixels having a density outside the density range to be selected for matching the image to be inspected with the reference image, that is, the upper and lower end portions to be excluded in the density histogram. By giving the ratios Eu and El, the first density which is the lower limit and the second density which is the upper limit of the density range to be selected are calculated, so that an appropriate density range for matching both images can be easily obtained. Can be set.

【0017】第5の発明は、所定パターンの形成された
被検査物を撮影することにより得られる多値画像である
被検査画像と、前記所定パターンを表す基準とすべき多
値画像である参照画像とを画素毎に比較することによ
り、前記被検査画像と前記参照画像との差異を示す差分
マップを作成し、当該差分マップに基づき前記被検査物
における欠陥を検出するパターン検査装置であって、前
記被検査画像の全部または一部の領域と当該領域に位置
的に対応する前記参照画像の領域とに着目し、前記被検
査画像の着目領域における濃度範囲が前記参照画像の着
目領域における濃度範囲に一致するように、前記被検査
画像と前記参照画像のいずれかの一方に対してのみ前記
濃度変換を施すことにより、前記被検査画像と前記参照
画像とを整合化させる濃度変換手段を備え、前記濃度変
換手段によって整合化された後に前記被検査画像と前記
参照画像とが画素毎に比較されることにより前記差分マ
ップが作成されることを特徴とする。
A fifth invention is a multivalued image which is a multivalued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and a multivalued image which is to be used as a reference representing the predetermined pattern. A pattern inspection apparatus that creates a difference map indicating a difference between the inspection image and the reference image by comparing the image with each pixel, and detects a defect in the inspection object based on the difference map. Focusing on all or a part of the area of the image to be inspected and the area of the reference image corresponding to the area, the density range in the area of interest of the image to be inspected is the density in the area of interest of the reference image. By performing the density conversion on only one of the inspection image and the reference image so as to match the range, the inspection image and the reference image are matched. Comprising a density conversion means, and the reference image and the inspection image after being harmonized is characterized in that the difference map is created by being compared in each pixel by the density conversion unit.

【0018】このような第5の発明によれば、第3の発
明と同様、参照画像と被検査画像の一方に対してのみ濃
度変換が施されることから、“べたパターン”のような
濃度の均一なパターンのみが着目領域に存在する場合で
あっても、両画像の整合化のために無用にダイナミック
レンジが広がることはないので、欠陥の検出能力の低下
が回避される。
According to the fifth aspect, as in the third aspect, since the density conversion is performed only on one of the reference image and the image to be inspected, the density like a "solid pattern" is obtained. Even if only the uniform pattern of No. exists in the region of interest, the dynamic range does not unnecessarily widen due to the matching of both images, so that the deterioration of the defect detection capability is avoided.

【0019】第6の発明は、所定パターンの形成された
被検査物を撮影することにより得られる多値画像である
被検査画像と、前記所定パターンを表す基準とすべき多
値画像である参照画像とを画素毎に比較することによ
り、前記被検査画像と前記参照画像との差異を示す差分
マップを作成し、当該差分マップに基づき前記被検査物
における欠陥を検出するパターン検査方法であって、前
記被検査画像の全部または一部の領域と当該領域に位置
的に対応する前記参照画像の領域とに着目し、前記被検
査画像と前記参照画像とを互いに比較するために両画像
の間で合わせるべき濃度範囲の下限値として両画像の着
目領域毎に画素濃度の最小値よりも大きい当該最小値近
傍の第1濃度値を選定すると共に、当該合わせるべき濃
度範囲の上限値として両画像の着目領域毎に画素濃度の
最大値よりも小さい当該最大値近傍の第2濃度値を選定
する濃度範囲選定ステップと、前記被検査画像の着目領
域につき選定される前記第1および第2濃度値によって
定まる濃度範囲が、前記参照画像の着目領域につき選定
される前記第1および第2濃度値によって定まる濃度範
囲と一致するように、前記被検査画像と前記参照画像の
少なくとも一方に対して濃度変換を施すことにより、前
記被検査画像と前記参照画像とを整合化させる濃度変換
ステップとを備え、前記濃度変換ステップにて整合化さ
れた後に前記被検査画像と前記参照画像とが画素毎に比
較されることにより前記差分マップが作成されることを
特徴とするパターン検査方法。
A sixth aspect of the invention is a multi-valued image which is a multi-valued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and a multi-valued image which is to be used as a reference representing the predetermined pattern. A pattern inspection method for creating a difference map showing a difference between the inspected image and the reference image by comparing the image with each pixel, and detecting a defect in the inspected object based on the difference map. , Paying attention to the whole or a part of the area of the image to be inspected and the area of the reference image positionally corresponding to the area, and between the both images in order to compare the image to be inspected and the reference image with each other. As the lower limit value of the density range to be matched with, the first density value near the minimum value that is larger than the minimum value of the pixel density is selected for each target region of both images, and is set as the upper limit value of the density range to be matched. A density range selection step of selecting a second density value near the maximum value that is smaller than the maximum value of the pixel density for each region of interest of both images, and the first and second regions selected for the region of interest of the inspection image. With respect to at least one of the inspection image and the reference image, the density range determined by the density value matches the density range determined by the first and second density values selected for the region of interest of the reference image. A density conversion step of matching the inspected image with the reference image by performing density conversion, wherein the inspected image and the reference image are pixel-by-pixel after being matched in the density conversion step. The pattern inspection method is characterized in that the difference map is created by comparing

【0020】[0020]

【発明の実施の形態】以下、本発明の実施形態につき添
付図面を参照して説明する。 <1.第1の実施形態> <1.1 パターン検査装置の全体構成>図1は、本発
明の第1の実施形態に係るパターン検査装置の構成を示
すブロック図である。このパターン検査装置は、プリン
ト基板や半導体ウェハー等のように表面にパターンの形
成された被検査物を撮影して得られる多値画像である被
検査画像と、その被検査物と同種の良品の画像に相当す
る多値画像である参照画像とを画素毎に比較することに
より、被検査物における欠陥を検出する。ここで参照画
像は、被検査物における欠陥を検出するために被検査画
像と比較する基準とすべき画像であって、その被検査物
と同種の良品を撮影することにより生成されるか、また
は、その被検査物に形成されるべきパターンを示す設計
データから生成される。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings. <1. First Embodiment><1.1 Overall Configuration of Pattern Inspection Apparatus> FIG. 1 is a block diagram showing the configuration of a pattern inspection apparatus according to the first embodiment of the present invention. This pattern inspection device is an image to be inspected which is a multi-valued image obtained by photographing an object to be inspected with a pattern formed on the surface such as a printed circuit board or a semiconductor wafer, and a non-defective product of the same kind as the object to be inspected. A defect in the inspection object is detected by comparing each pixel with a reference image which is a multi-valued image corresponding to the image. Here, the reference image is an image to be a reference to be compared with the image to be inspected in order to detect a defect in the object to be inspected, and is generated by photographing a good product of the same type as the object to be inspected, or , Generated from design data indicating a pattern to be formed on the inspection object.

【0021】図1に示すように、このパターン検査装置
は、参照画像発生回路10と、参照画像記憶部12と、
撮像装置14と、第1バッファメモリ16と、参照画像
領域切り出し部18と、被検査画像領域切り出し部20
と、パーセンタイル値算出部22と、第2バッファメモ
リ24と、濃度変換部26と、第3バッファメモリ28
と、比較演算回路30と、検査結果保存部32と、検査
結果表示部34とを備えている。
As shown in FIG. 1, this pattern inspection apparatus includes a reference image generation circuit 10, a reference image storage section 12,
The imaging device 14, the first buffer memory 16, the reference image area cutout unit 18, and the inspection image area cutout unit 20.
A percentile value calculation unit 22, a second buffer memory 24, a density conversion unit 26, and a third buffer memory 28.
A comparison operation circuit 30, an inspection result storage unit 32, and an inspection result display unit 34.

【0022】上記パターン検査装置において、撮像装置
14は、例えば、被検査物等が載置され駆動手段によっ
て主走査方向および副走査方向に移動するステージと、
そのステージ上の被検査物を撮影するCCD等の撮像素
子と、その撮像素子から出力される画像信号をデジタル
信号に変換するA/D変換器とから構成され、被検査物
またはそれと同種の良品を撮影してデジタル画像信号を
出力する。撮像装置14において被検査物が撮影された
場合には、デジタル画像信号として被検査画像を示す信
号が出力され、第1バッファメモリ16に被検査画像デ
ータとして格納される。撮像装置14において被検査物
と同種の良品が撮影された場合には、デジタル画像信号
として参照画像を示す信号が出力され、参照画像記憶部
12に参照画像データとして格納される。参照画像発生
回路10は、被検査物に形成されるべきパターンを示す
設計データから参照画像データを生成し、これを参照画
像記憶部12に格納する。このようにして、参照画像記
憶部12には、撮像装置14で生成される撮影画像のデ
ータである参照画像データ、または、参照画像発生回路
10で設計データから生成される参照画像データのいず
れかが格納される。
In the above pattern inspection apparatus, the image pickup apparatus 14 includes, for example, a stage on which an object to be inspected or the like is placed and which is moved in the main scanning direction and the sub scanning direction by the driving means.
It is composed of an image pickup device such as a CCD for picking up an image of the inspection object on the stage and an A / D converter for converting an image signal output from the image pickup device into a digital signal, and the inspection object or a non-defective product of the same type. And outputs a digital image signal. When the object to be inspected is photographed by the imaging device 14, a signal indicating the image to be inspected is output as a digital image signal and stored in the first buffer memory 16 as image data to be inspected. When a non-defective product of the same type as the inspection object is photographed by the imaging device 14, a signal indicating a reference image is output as a digital image signal and stored in the reference image storage unit 12 as reference image data. The reference image generation circuit 10 generates reference image data from design data indicating a pattern to be formed on the inspection object, and stores the reference image data in the reference image storage unit 12. In this way, either the reference image data, which is the data of the captured image generated by the imaging device 14, or the reference image data, which is generated from the design data by the reference image generation circuit 10, is stored in the reference image storage unit 12. Is stored.

【0023】本実施形態では、画質の局所的な光学的変
動や、電子ビームを照射し2次電子を検出して画像を生
成する場合のチャージアップに対処するために、参照画
像および被検査画像が同一の態様で複数の領域に分割さ
れ、領域毎に画像比較の前処理として参照画像と被検査
画像との整合化(画質条件の同一化)が行われる。この
ような領域毎の画像整合化のために、上記パターン検査
装置における参照画像の分割手段としての参照画像領域
切り出し部18は、参照画像を複数の領域に分割して各
領域に順次着目し、参照画像記憶部12に格納された参
照画像データから着目領域の画像データ(以下「着目領
域データ」という)を取り出して順次出力する。一方、
被検査画像の分割手段としての被検査画像領域切り出し
部20は、参照画像の上記分割と同一態様で被検査画像
を複数の領域に分割して各領域に順次着目し、第1バッ
ファメモリ16に格納された被検査画像データから着目
領域データを取り出して順次出力する。このとき被検査
画像領域切り出し部20は、参照画像領域切り出し部1
8が着目する参照画像の領域と位置的に対応する被検査
画像の領域に順次着目して着目領域データを被検査画像
データから取り出す。参照画像領域切り出し部18から
出力される参照画像の着目領域データは、第2バッファ
メモリ24に格納されると共に、パーセンタイル値算出
部22に入力される。また、被検査画像領域切り出し部
20から出力される被検査画像の着目領域データは、第
3バッファメモリ28に格納されると共に、パーセンタ
イル値算出部22に入力される。また、パーセンタイル
値算出部22には、参照画像と被検査画像との整合化の
ために選定すべき濃度レンジから外れる濃度の画素の割
合を示す値として予め決められた上端部除外率Euおよ
び下端部除外率Elも外部から入力される。ここで、上
端部除外率Euは、参照画像および被検査画像の着目領
域の画素のうち選定すべき濃度レンジの濃度よりも高い
濃度の画素の割合を示す百分率であり、下端部除外率E
lは、その着目領域の画素のうち選定すべき濃度レンジ
の濃度よりも低い濃度の画素の割合を示す百分率であ
る。
In this embodiment, in order to cope with local optical fluctuations in image quality and charge-up when an image is generated by irradiating an electron beam and detecting secondary electrons, the reference image and the image to be inspected are dealt with. Are divided into a plurality of areas in the same manner, and the reference image and the image to be inspected are matched (image quality conditions are made the same) for each area as preprocessing for image comparison. For such image matching for each area, the reference image area cutout unit 18 as a reference image dividing unit in the pattern inspection apparatus divides the reference image into a plurality of areas and sequentially focuses on each area, Image data of a region of interest (hereinafter referred to as “region of interest data”) is extracted from the reference image data stored in the reference image storage unit 12 and sequentially output. on the other hand,
The inspected image area cutout unit 20 as the inspected image dividing unit divides the inspected image into a plurality of areas in the same manner as the above-described division of the reference image, sequentially focuses on each area, and stores in the first buffer memory 16. Region-of-interest data is extracted from the stored image data to be inspected and sequentially output. At this time, the inspected image area cutout unit 20 makes the reference image area cutout unit 1
The area 8 of the image to be inspected, which positionally corresponds to the area of the reference image 8 to be inspected, sequentially extracts the area of interest data from the image data to be inspected. The attention area data of the reference image output from the reference image area cutout unit 18 is stored in the second buffer memory 24 and is also input to the percentile value calculation unit 22. The attention area data of the inspection image output from the inspection image area cutout unit 20 is stored in the third buffer memory 28 and also input to the percentile value calculation unit 22. In addition, the percentile value calculation unit 22 determines the upper end exclusion ratio Eu and the lower end that are predetermined as values indicating the ratio of pixels having densities outside the density range to be selected for matching the reference image and the inspected image. The copy exclusion rate El is also input from the outside. Here, the upper end exclusion ratio Eu is a percentage indicating the ratio of pixels having a density higher than the density of the density range to be selected among the pixels of the target region of the reference image and the inspection image, and the lower end exclusion ratio E
l is a percentage indicating the proportion of pixels having a density lower than the density of the density range to be selected among the pixels in the region of interest.

【0024】パーセンタイル値算出部22は、被検査画
像と参照画像とを比較するために両画像の間で合わせる
べき濃度レンジを選定する手段であって、参照画像の着
目領域データから、下端部除外率Elに対応するパーセ
ンタイル値(以下「下限パーセンタイル値」という)RP
minすなわち当該着目領域における濃度ヒストグラムの
El百分位数RPminと、上端部除外率Euに対応するパ
ーセンタイル値(以下「上限パーセンタイル値」とい
う)RPmaxすなわち当該着目領域の濃度ヒストグラムの
(100−Eu)百分位数RPmaxとを算出する。また、
パーセンタイル値算出部22は、被検査画像の着目領域
データから、下端部除外率Elに対応するパーセンタイ
ル値である下限パーセンタイル値OPminすなわち当該着
目領域における濃度ヒストグラムのEl百分位数OPmin
と、上端部除外率Euに対応するパーセンタイル値であ
る上限パーセンタイル値OPmaxすなわち当該着目領域に
おける濃度ヒストグラムの(100−Eu)百分位数OP
maxとを算出する。このようにして算出された参照画像
のパーセンタイル値RPmin,RPmaxおよび被検査画像のパ
ーセンタイル値OPmin,OPmaxは、濃度変換部26に入力
される。
The percentile value calculation unit 22 is means for selecting a density range to be matched between the images to be inspected and the reference image, and excludes the lower end portion from the region of interest data of the reference image. Percentile value corresponding to the rate El (hereinafter referred to as "lower limit percentile value") RP
min, that is, the El percentile RPmin of the density histogram in the region of interest, and the percentile value (hereinafter referred to as “upper limit percentile value”) RPmax, that is, (100−Eu) of the density histogram of the region of interest, corresponding to the upper exclusion ratio Eu. Calculate percentile RPmax. Also,
The percentile value calculation unit 22 calculates the lower percentile value OPmin, which is the percentile value corresponding to the lower edge exclusion ratio El, from the attention area data of the inspection image, that is, the El percentile OPmin of the density histogram in the attention area.
And the upper limit percentile value OPmax, which is the percentile value corresponding to the upper end exclusion rate Eu, that is, the (100-Eu) percentile OP of the density histogram in the region of interest.
Calculate max and. The percentile values RPmin and RPmax of the reference image and the percentile values OPmin and OPmax of the inspected image calculated in this way are input to the density conversion unit 26.

【0025】濃度変換部26は、参照画像の着目領域に
おける下限パーセンタイル値RPminと上限パーセンタイ
ル値RPmaxとによって定まる濃度レンジ[RPmin,RPma
x]、および、被検査画像の着目領域における下限パー
センタイル値OPminと上限パーセンタイル値OPmaxとによ
って定まる濃度レンジ[OPmin,OPmax]を、参照画像と
被検査画像とを着目領域について整合化させるために選
定された濃度レンジとして、整合化のための濃度変換を
行う。すなわち、参照画像の着目領域について選定され
た濃度レンジ[RPmin,RPmax]が被検査画像の着目領域
について選定された濃度レンジ[OPmin,OPmax]に一致
するように、第2バッファメモリに24に格納された参
照画像の着目領域データに対して濃度の線形変換を施
す。
The density conversion section 26 is a density range [RPmin, RPma determined by the lower limit percentile value RPmin and the upper limit percentile value RPmax in the region of interest of the reference image.
x] and the density range [OPmin, OPmax] determined by the lower limit percentile value OPmin and the upper limit percentile value OPmax in the region of interest of the inspection image are selected in order to match the reference image and the inspection image with respect to the region of interest. The density conversion for matching is performed as the adjusted density range. That is, the density range [RPmin, RPmax] selected for the target area of the reference image is stored in the second buffer memory 24 so that the density range [OPmin, OPmax] selected for the target area of the image to be inspected matches. The density is linearly converted to the focused area data of the reference image thus obtained.

【0026】上記濃度変換部26による濃度の線形変換
によって参照画像と被検査画像とが着目領域について整
合化され、整合化後の参照画像および被検査画像の着目
領域データは、比較演算回路30に順次入力される。比
較演算回路30は、順次入力される参照画像および被検
査画像の着目領域データに基づき、両画像を着目領域に
ついて画素毎に互いに比較し、その比較に基づいて被検
査物における欠陥を検出し、その検出結果を示すデータ
を検査結果として出力する。検査結果保存部32は、ハ
ードディスク装置または半導体メモリ等によって実現さ
れ、比較演算回路30から出力される検査結果を保存す
る。また、検査結果表示部34は、CRTまたは液晶パ
ネル等によって実現され、比較演算回路30から出力さ
れる検査結果を表示する。
The reference image and the image to be inspected are matched with respect to the region of interest by the linear conversion of the density by the density converting section 26, and the region of interest data of the reference image and the image to be inspected after the adjustment are supplied to the comparison operation circuit 30. Input sequentially. The comparison operation circuit 30 compares the two images with respect to each other for each pixel on the basis of the attention area data of the reference image and the inspection image, which are sequentially input, and detects a defect in the inspection object based on the comparison. The data indicating the detection result is output as the inspection result. The inspection result storage unit 32 is realized by a hard disk device, a semiconductor memory, or the like, and stores the inspection result output from the comparison operation circuit 30. The inspection result display unit 34 is realized by a CRT, a liquid crystal panel, or the like, and displays the inspection result output from the comparison operation circuit 30.

【0027】<1.2 画像整合化処理>上記のように
本実施形態では、参照画像と被検査画像とを比較するた
めの前処理として両画像の整合化のための処理(以下
「画像整合化処理」という)が行われる。以下、この画
像整合化処理の詳細を図2を参照して説明する。
<1.2 Image Matching Process> As described above, in this embodiment, a process for matching both images (hereinafter referred to as “image matching”) is performed as a pre-process for comparing the reference image and the inspection image. The "inversion process") is performed. Hereinafter, details of the image matching processing will be described with reference to FIG.

【0028】図2は、本実施形態において画像整合化処
理を行う部分(以下「画像整合化処理部」という)10
0の構成を示すブロック図である。この画像整合化処理
部100は、参照画像切り出し部18と、被検査画像領
域切り出し部20と、パーセンタイル値算出部22と、
第2バッファメモリ24と、濃度変換部26と、第3バ
ッファメモリ28とから構成され、パーセンタイル値算
出部22は、図2に示すように、累積ヒストグラム生成
部22aとパーセンタイル値決定部22bとからなる。
FIG. 2 shows a portion (hereinafter referred to as "image matching processing unit") 10 for performing the image matching processing in this embodiment.
It is a block diagram which shows the structure of 0. The image matching processing unit 100 includes a reference image cutout unit 18, an inspection image region cutout unit 20, a percentile value calculation unit 22, and
It is composed of a second buffer memory 24, a density conversion unit 26, and a third buffer memory 28. The percentile value calculation unit 22 includes a cumulative histogram generation unit 22a and a percentile value determination unit 22b as shown in FIG. Become.

【0029】上記構成の画像整合化処理部100におい
て、参照画像領域切り出し部18から順次出力される参
照画像の着目領域データは、第2バッファメモリ24に
格納されると共に、累積ヒストグラム生成部22aに入
力される。また、被検査画像領域切り出し部20から順
次出力される被検査画像の着目領域データは、第3バッ
ファメモリ28に格納されると共に、累積ヒストグラム
生成部22aに入力される。累積ヒストグラム生成部2
2aは、参照画像領域切り出し部18から入力される着
目領域データから参照画像の着目領域における画像濃度
についての累積ヒストグラムを生成すると共に、被検査
画像領域切り出し部20から入力される着目領域データ
から被検査画像の着目領域における画像濃度についての
累積ヒストグラムを生成する。例えば図3に示すよう
に、入力された着目領域データにおける濃度ヒストグラ
ムが曲線C1で示されるものである場合には、曲線C2
で示されるような累積ヒストグラムが生成される。パー
センタイル値決定部22bは、それらの累積ヒストグラ
ムに基づき、参照画像の着目領域データにおける下限パ
ーセンタイル値RPminおよび上限パーセンタイル値RPmax
を求めると共に、被検査画像の着目領域データにおける
下限パーセンタイル値OPminおよび上限パーセンタイル
値OPmaxを求める。すなわち、外部から入力される下端
部除外率Elおよび上端部除外率Euに基づき、Elの
累積頻度に参照画像の累積ヒストグラムによって対応付
けられる濃度値を参照画像の着目領域データにおける下
限パーセンタイル値RPminとして求め、(100−E
u)の累積頻度に参照画像の累積ヒストグラムによって
対応付けられる濃度値を参照画像の着目領域データにお
ける上限パーセンタイル値RPmaxとして求める(図3参
照)。ここで、上端部除外率Elおよび下端部除外率E
uは、共に、数%以下であり、好ましくは3〜5%程度
である。また、同様に、下端部および上端部除外率E
l,Euに基づき、Elの累積頻度に被検査画像の累積
ヒストグラムによって対応付けられる濃度値を被検査画
像の着目領域データにおける下限パーセンタイル値OPmi
nとして求め、(100−Eu)の累積頻度に被検査画
像の累積ヒストグラムによって対応付けられる濃度値を
被検査画像の着目領域データにおける上限パーセンタイ
ル値OPmaxとして求める。このようにして求められた参
照画像の着目領域データにおける下限パーセンタイル値
RPminおよび上限パーセンタイル値RPmaxと、被検査画像
の着目領域データにおける下限パーセンタイル値OPmin
および上限パーセンタイル値OPmaxとは、濃度変換部2
6に入力される。
In the image matching processing section 100 having the above-mentioned configuration, the target area data of the reference image sequentially output from the reference image area cutting section 18 is stored in the second buffer memory 24 and stored in the cumulative histogram generating section 22a. Is entered. The region-of-interest data of the image to be inspected, which is sequentially output from the inspected image region clipping unit 20, is stored in the third buffer memory 28 and is also input to the cumulative histogram generation unit 22a. Cumulative histogram generator 2
2a generates a cumulative histogram of image densities in the target area of the reference image from the target area data input from the reference image area cutout unit 18, and extracts the target area data input from the inspected image area cutout unit 20 from the target area data. A cumulative histogram of the image density in the region of interest of the inspection image is generated. For example, as shown in FIG. 3, when the density histogram in the input attention area data is shown by the curve C1, the curve C2
A cumulative histogram as shown by is generated. The percentile value determination unit 22b, based on those cumulative histograms, the lower limit percentile value RPmin and the upper limit percentile value RPmax in the attention area data of the reference image.
And the lower limit percentile value OPmin and the upper limit percentile value OPmax in the region of interest data of the image to be inspected. That is, based on the lower end exclusion ratio El and the upper end exclusion ratio Eu input from the outside, the density value associated with the cumulative frequency of El by the cumulative histogram of the reference image is set as the lower percentile value RPmin in the attention area data of the reference image. Ask, (100-E
The density value associated with the cumulative frequency of u) by the cumulative histogram of the reference image is obtained as the upper limit percentile value RPmax in the target area data of the reference image (see FIG. 3). Here, the upper end exclusion ratio El and the lower end exclusion ratio E
Both u are several% or less, preferably about 3 to 5%. Similarly, the lower end and upper end exclusion ratios E
Based on l and Eu, the density value associated with the cumulative frequency of El by the cumulative histogram of the image to be inspected is set to the lower limit percentile value OPmi in the region of interest data of the image to be inspected.
The density value associated with the cumulative frequency of (100-Eu) by the cumulative histogram of the image to be inspected is obtained as the upper limit percentile value OPmax in the region-of-interest data of the image to be inspected. Lower limit percentile value in the region of interest data of the reference image obtained in this way
RPmin and upper limit percentile value RPmax, and lower limit percentile value OPmin in the area of interest data of the image to be inspected
And the upper limit percentile value OPmax are the density conversion unit 2
6 is input.

【0030】濃度変換部26は、第2バッファメモリ2
4から参照画像の着目領域データを読み出して、この着
目領域データを構成する各画素値REFinに対して次式で
定義される線形の濃度変換を施すことにより、画素値RE
Foutを生成する。 REFout=[(OPmax-OPmin)/(RPmax-RPmin)]×(REFin-RPmin)+OPmin …(1)
The density converting section 26 includes the second buffer memory 2
The target area data of the reference image is read from 4 and each pixel value REFin forming the target area data is subjected to linear density conversion defined by the following equation to obtain the pixel value RE
Generate Fout. REFout = [(OPmax-OPmin) / (RPmax-RPmin)] × (REFin-RPmin) + OPmin (1)

【0031】上記濃度変換により、参照画像の着目領域
データにおける下限パーセンタイル値RPminと上限パー
センタイル値RPmaxとは、被検査画像の着目領域データ
における下限パーセンタイル値OPminと上限パーセンタ
イル値OPmaxとにそれぞれ一致するようになる。すなわ
ち、図4(a)に示す参照画像および被検査画像の着目
領域データにおける濃度ヒストグラムは、上記濃度変換
により、図4(b)に示すようになる。このようにして
上記濃度変換により、参照画像と被検査画像とが領域毎
に整合化される。
By the density conversion, the lower limit percentile value RPmin and the upper limit percentile value RPmax in the reference area data of the reference image match the lower limit percentile value OPmin and the upper limit percentile value OPmax of the target area data of the inspection image, respectively. become. That is, the density histograms in the target area data of the reference image and the inspected image shown in FIG. 4A become as shown in FIG. 4B by the density conversion. In this way, the reference image and the inspection image are matched for each area by the density conversion.

【0032】上記濃度変換後の画素値REFoutからなる着
目領域データは比較演算回路30に順次入力される。一
方、被検査画像の着目領域データも第3バッファメモリ
28から読み出されて比較演算回路30に順次入力され
る。したがって、比較演算回路30において、参照画像
と被検査画像とが、整合化された状態すなわち画質条件
が互いに等しくなった状態で比較される。
Region-of-interest data consisting of the pixel value REFout after the density conversion is sequentially input to the comparison operation circuit 30. On the other hand, the attention area data of the inspection image is also read from the third buffer memory 28 and sequentially input to the comparison operation circuit 30. Therefore, in the comparison operation circuit 30, the reference image and the inspection image are compared in a matched state, that is, in a state where the image quality conditions are equal to each other.

【0033】<1.3 実施形態の効果>上記実施形態
によれば、参照画像と被検査画像とを比較するための前
処理として両画像を所定の領域毎に整合化するために、
両画像の対応する領域毎の濃度ヒストグラムにおける最
小値濃度値近傍の下端部に相当する部分と最大濃度値近
傍の上端部に相当する部分とを除外した濃度レンジであ
る[RPmin,RPmax]と[OPmin,OPmax]とが一致するよ
うに濃度変換が行われる(図4参照)。このため、図9
に示すように良品画像の濃度レンジ外の濃度値に相当す
る欠陥が存在する場合であっても、上記濃度変換により
参照画像と被検査画像とが適切に整合化されるので、そ
のような欠陥も確実に検出することができる。すなわ
ち、被検査画像の濃度ヒストグラムにおいて上記欠陥に
相当する面積は極めて小さいので、濃度ヒストグラムに
おける上下端部を除外した濃度レンジ(既述の上限およ
び下限パーセンタイル値によって定まる濃度レンジ)が
参照画像と被検査画像との間で一致するように濃度変換
が行われると、両画像の濃度ヒストグラムが、その欠陥
に相当する部分を除き、ほぼ一致するようになる。その
結果、その後の両画像に対する比較演算により上記欠陥
が確実に検出される。
<1.3 Effects of the Embodiment> According to the above-described embodiment, in order to perform pre-processing for comparing the reference image and the image to be inspected, both images are matched for each predetermined area.
The density range [RPmin, RPmax] and [RPmin, RPmax] that exclude the part corresponding to the lower end near the minimum density value and the part corresponding to the upper end near the maximum density value in the density histogram for each corresponding region of both images OPmin, OPmax] are matched so that density conversion is performed (see FIG. 4). Therefore, in FIG.
Even if there is a defect corresponding to the density value outside the density range of the non-defective image as shown in (4), since the reference image and the inspected image are appropriately matched by the density conversion, such a defect Can also be reliably detected. That is, since the area corresponding to the defect is extremely small in the density histogram of the inspection image, the density range excluding the upper and lower end portions of the density histogram (the density range determined by the upper and lower percentile values described above) is the same as the reference image. When the density conversion is performed so as to match with the inspection image, the density histograms of both images are almost matched except for the portion corresponding to the defect. As a result, the above-mentioned defect is surely detected by the subsequent comparison calculation for both images.

【0034】ところで既述のように、従来、濃度レンジ
が均一な“べたパターン”を含む画像領域については、
正規化(濃度変換)により欠陥の検出能力が低下すると
いう問題があった。すなわち、“べたパターン”を含む
領域の画素濃度は狭い範囲に分布するので、従来のよう
に予め決められた濃度レンジ(正規化レンジ)で正規化
すると、その正規化に相当する濃度変換によって濃度レ
ンジが大きく広がることになり、その結果、欠陥の検出
能力が低下する。以下、この点につき、マハラノビス距
離を欠陥の検出能力の評価指標として説明する。
By the way, as described above, the conventional image area including the "solid pattern" having the uniform density range is as follows.
There has been a problem that the defect detection capability is lowered by the normalization (density conversion). That is, since the pixel density of the area including the "solid pattern" is distributed in a narrow range, if the pixel density is normalized in a predetermined density range (normalization range) as in the conventional case, the density conversion is performed by the density conversion corresponding to the normalization. The range is greatly expanded, and as a result, the defect detection capability is reduced. The Mahalanobis distance will be described below as an evaluation index of the defect detection capability.

【0035】いま、濃度変換の対象となる画像が“べた
パターン”のみを含み、その画像の濃度ヒストグラムが
図5(a)に示すように平均値μ=120,標準偏差σ
=3.0程度の正規分布をなしているものとすると、濃
度値域は[−3σ,+3σ]程度である。ここで、簡単
のために濃度値域を図5(a)に示すように[110,
130]とすると、このような画像の表す被検査物にお
ける欠陥に対する検出能力は、下記の式で定義されるマ
ハラノビス距離Dで評価することができる。 D2=(Xi−μ)2/σ2 …(2) ここで、Xiは欠陥画素値を、μは濃度の平均値を、σ
2は濃度の分散をそれぞれ表している。上記式(2)で
定義されるマハラノビス距離Dが大きいほど、欠陥部分
とノイズ部分との距離が長く、欠陥とノイズとの分離が
容易であると判断することができる。
Now, the image to be density-converted includes only the "solid pattern", and the density histogram of the image has an average value μ = 120 and a standard deviation σ as shown in FIG. 5 (a).
Assuming a normal distribution of about = 3.0, the density value range is about [-3σ, + 3σ]. Here, for the sake of simplicity, the density value range is [110,
130], the detection capability for a defect in the inspection object represented by such an image can be evaluated by the Mahalanobis distance D defined by the following equation. D 2 = (Xi−μ) 2 / σ 2 (2) where Xi is the defective pixel value, μ is the average density, and σ
2 represents the dispersion of concentration. It can be determined that the larger the Mahalanobis distance D defined by the above equation (2), the longer the distance between the defect portion and the noise portion, and the easier the separation of the defect and the noise is.

【0036】例えば、図5(b)に示すように画素値1
35の欠陥が被検査物に存在する場合、 D=(135−120)/3=5 である。この図5(b)に示す濃度ヒストグラムに対応
する画像を例えば正規化値域[40,200]で正規化
した場合、図5(c)に示すように、ノイズ領域の最大
値が130から200へ、欠陥画素値が135から24
0へ、ノイズ領域の最小値が110から40へと変換さ
れる。この正規化後において、標準偏差σを計算する
と、 σ=(200−120)/3=26.7 となり(濃度値域を[−3σ,+3σ]としている)、
式(2)よりマハラノビス距離は、 D=(240−120)/26.7=4.5 となる。すなわち、上記正規化によってマハラノビス距
離Dは5から4.5と変化している。これは欠陥の検出
能力が低下したことを意味する。
For example, as shown in FIG. 5B, the pixel value 1
When 35 defects exist in the inspected object, D = (135-120) / 3 = 5. When the image corresponding to the density histogram shown in FIG. 5B is normalized, for example, by the normalized value range [40, 200], the maximum value of the noise region is changed from 130 to 200 as shown in FIG. 5C. , The defective pixel value is 135 to 24
0, the minimum value in the noise region is converted from 110 to 40. After this normalization, the standard deviation σ is calculated to be σ = (200−120) /3=26.7 (the density value range is [−3σ, + 3σ]),
From the equation (2), the Mahalanobis distance is D = (240-120) /26.7=4.5. That is, the Mahalanobis distance D changes from 5 to 4.5 due to the above normalization. This means that the ability to detect defects has decreased.

【0037】これに対し本実施形態によれば、参照画像
の各領域の濃度レンジ[RPmin,RPmax]が被検査画像の
対応する領域の濃度レンジ[OPmin,OPmax]に一致する
ように、参照画像の画像データに対してのみ濃度変換が
施されるので、その濃度変換によっては上記の欠陥画素
値Xi、平均値μ、および標準偏差σはほとんど変化し
ない。したがって、本実施形態によれば、従来のように
“べたパターン”等を含む画像領域についての整合化処
理によって無用にダイナミックレンジが拡大されること
はないので、“べたパターン”等を含む領域についても
欠陥の検出能力が低下することはない。
On the other hand, according to the present embodiment, the reference image is adjusted so that the density range [RPmin, RPmax] of each area of the reference image matches the density range [OPmin, OPmax] of the corresponding area of the inspection image. Since the density conversion is performed only on the image data of, the defective pixel value Xi, the average value μ, and the standard deviation σ hardly change depending on the density conversion. Therefore, according to the present embodiment, since the dynamic range is not unnecessarily expanded by the matching processing for the image area including the “solid pattern” as in the conventional art, the area including the “solid pattern” is not used. However, the defect detection capability does not deteriorate.

【0038】以上のように本実施形態によれば、多値画
像である被検査画像と参照画像とを比較するための前処
理としての濃度変換により両画像の画質条件が確実に等
しくなり、その結果、両画像の正確な比較が可能とな
る。
As described above, according to this embodiment, the image quality conditions of both images are surely equalized by the density conversion as the preprocessing for comparing the inspected image which is a multi-valued image and the reference image. As a result, it is possible to accurately compare both images.

【0039】<2.第2の実施形態>次に、本発明の第
2の実施形態に係るパターン検査装置について説明す
る。本実施形態では、上記第1の実施形態における整合
化処理部100(図2)が図6に示すように構成されて
いる。本実施形態における他の構成は、図1に示す第1
の実施形態と同様であるので、同一部分には同一の参照
符号を付して詳しい説明を省略する。
<2. Second Preferred Embodiment> Next, a pattern inspection apparatus according to a second preferred embodiment of the present invention will be described. In this embodiment, the matching processing unit 100 (FIG. 2) in the first embodiment is configured as shown in FIG. The other configuration in this embodiment is the same as the first configuration shown in FIG.
Since it is the same as that of the first embodiment, the same parts are designated by the same reference numerals and detailed description thereof will be omitted.

【0040】本実施形態における画像整合化処理部は、
参照画像と被検査画像との整合化のために着目領域につ
き選定すべき濃度レンジを現時点の着目領域についての
上下パーセンタイル値によって定めるのではなく、直前
に着目された領域(以下「直前着目領域」という)につ
いての上下パーセンタイル値によって定めるように構成
されている。これにより、本実施形態では、必要なバッ
ファメモリが削減され、第1の実施形態よりも少ないハ
ードウェア量で画像整合化処理部を実現することができ
る。すなわち、本実施形態における画像整合化処理部
は、図6に示すように、参照画像領域切り出し部58
と、被検査画像領域切り出し部60と、累積ヒストグラ
ム生成部62aと、パーセンタイル値決定部62bと、
濃度変換部66とから構成され、これらは、第1の実施
形態における参照画像領域切り出し部28と、被検査画
像領域切り出し部30と、累積ヒストグラム生成部22
aと、パーセンタイル値決定部22bと、濃度変換部2
6とにそれぞれ相当する。すなわち、この画像整合化処
理部は、第1の実施形態とは異なり、第2バッファメモ
リ24と第3バッファメモリ28を備えていない。
The image matching processing section in this embodiment is
The density range to be selected for the attention area for matching the reference image and the inspected image is not determined by the upper and lower percentile values for the attention area at the present time, but the area immediately before the attention (hereinafter, "the immediately preceding attention area"). Is defined by the upper and lower percentile values for. As a result, in the present embodiment, the required buffer memory is reduced, and the image matching processing unit can be realized with a smaller amount of hardware than in the first embodiment. That is, the image matching processing unit in the present embodiment, as shown in FIG.
An inspection image area cutout unit 60, a cumulative histogram generation unit 62a, a percentile value determination unit 62b,
The density conversion unit 66 includes a reference image region cutout unit 28, an inspection image region cutout unit 30, and a cumulative histogram generation unit 22 in the first embodiment.
a, a percentile value determination unit 22b, and a density conversion unit 2
6 and 6 respectively. That is, this image matching processing unit does not include the second buffer memory 24 and the third buffer memory 28, unlike the first embodiment.

【0041】上記構成の画像整合化処理部において、参
照画像領域切り出し部58は、第1の実施形態と同様、
参照画像を複数の領域に分割して各領域に順次着目し、
参照画像記憶部12から参照画像の着目領域データを取
り出して順次出力する。一方、被検査画像領域切り出し
部60も、第1の実施形態と同様、参照画像の上記分割
と同一態様で被検査画像を複数の領域に分割して各領域
に順次着目し、第2バッファメモリ16から被検査画像
の着目領域データを取り出して順次出力する。このとき
被検査画像領域切り出し部60は、参照画像領域切り出
し部58が着目する参照画像の領域と位置的に対応する
被検査画像の領域に順次着目して、着目領域データを被
検査画像データから取り出す。参照画像領域切り出し部
58から順次出力される参照画像の着目領域データと被
検査画像領域切り出し部60から順次出力される被検査
画像の着目領域データとは、共に、累積ヒストグラム生
成部62aに入力される。
In the image matching processing unit having the above structure, the reference image area cutout unit 58 is the same as in the first embodiment.
Divide the reference image into multiple areas and focus on each area sequentially,
The attention area data of the reference image is extracted from the reference image storage unit 12 and sequentially output. On the other hand, the inspected image area cutout unit 60 also divides the inspected image into a plurality of areas in the same manner as the above-described division of the reference image and sequentially focuses on each area, as in the first embodiment. The region-of-interest data of the image to be inspected is extracted from 16 and sequentially output. At this time, the inspected image region clipping unit 60 sequentially focuses on the region of the inspected image that corresponds in position to the region of the reference image focused by the reference image region clipping unit 58, and extracts the region of interest data from the inspected image data. Take it out. The attention area data of the reference image sequentially output from the reference image area cutout unit 58 and the attention area data of the inspection image sequentially output from the inspection image area cutout unit 60 are both input to the cumulative histogram generation unit 62a. It

【0042】累積ヒストグラム生成部62aは、参照画
像領域切り出し部58から入力される着目領域データか
ら参照画像の着目領域における画像濃度についての累積
ヒストグラムを生成すると共に、被検査画像領域切り出
し部60から入力される着目領域データから被検査画像
の着目領域における画像濃度についての累積ヒストグラ
ムを生成する。パーセンタイル値決定部62bは、上記
第1の実施形態と同様、外部から入力される下端部除外
率Elおよび上端部除外率Euに基づき、生成された両
累積ヒストグラムから、参照画像の着目領域データにお
ける上下限パーセンタイル値RPmax,RPmin、および、被
検査画像の着目領域データにおける上下限パーセンタイ
ル値OPmax,OPminを求める。このようにして求められた
各パーセンタイル値RPmax,RPmin,OPmax,OPminは、濃
度変換部66に入力される。
The cumulative histogram generation unit 62a generates a cumulative histogram of the image density in the target area of the reference image from the target area data input from the reference image area cutout unit 58, and also inputs it from the inspected image area cutout unit 60. A cumulative histogram of the image density in the region of interest of the image to be inspected is generated from the region of interest data. As in the first embodiment, the percentile value determining unit 62b uses the accumulated histograms generated based on the lower excluding ratio El and the upper excluding ratio Eu input from the outside, in the region of interest data of the reference image. The upper and lower limit percentile values RPmax, RPmin and the upper and lower limit percentile values OPmax, OPmin in the region of interest data of the image to be inspected are obtained. The percentile values RPmax, RPmin, OPmax, OPmin thus obtained are input to the density conversion unit 66.

【0043】濃度変換部66は、参照画像記憶部12が
参照画像データを画素単位で順次読み出し、読み出した
画素値REFinに後述の濃度変換を施す。このとき濃度変
換部66は、パーセンタイル値決定部62bから入力さ
れる各パーセンタイル値RPmax,RPmin,OPmax,OPminが
使用される。しかし、濃度変換部66が、参照画像にお
けるj番目の領域を構成する画素値をREFinとして読み
出して、その画素値に濃度変換を施すべきときには、パ
ーセンタイル値決定部62bにおいて、参照画像のj番
目の領域についての上下限パーセンタイル値RPmax,RPm
in、および、被検査画像のj番目の領域についての上下
限パーセンタイル値OPmax,OPminは未だ得られていな
い。そこで本実施形態では、濃度変換部66は、直前着
目領域すなわちj−1番目の領域についての上下限パー
センタイル値RPmax,RPmin、OPmax,OPmiを使用して、
参照画像におけるj番目の領域を構成する各画素の値RE
Finに対して次式で定義される濃度変換を施すことによ
り、画素値REFoutを生成する。 REFout=[(OPmax-OPmin)/(RPmax-RPmin)]×(REFin-RPmin)+OPmin …(3) 上記画素値REFoutは、j番目の領域を構成する各画素の
濃度変換後の値である。
The density conversion section 66 sequentially reads the reference image data from the reference image storage section 12 pixel by pixel, and performs the density conversion described below on the read pixel value REFin. At this time, the density conversion unit 66 uses the percentile values RPmax, RPmin, OPmax, OPmin input from the percentile value determination unit 62b. However, when the density conversion unit 66 reads out the pixel value forming the jth region in the reference image as REFin and should perform the density conversion on the pixel value, the percentile value determination unit 62b determines the jth position of the reference image. Upper and lower percentile values RPmax, RPm for area
Upper and lower limit percentile values OPmax and OPmin for in and the j-th area of the image to be inspected have not yet been obtained. Therefore, in the present embodiment, the density conversion unit 66 uses the upper and lower limit percentile values RPmax, RPmin, OPmax, OPmi for the immediately preceding focused area, that is, the j−1th area,
Value RE of each pixel forming the j-th area in the reference image
A pixel value REFout is generated by applying density conversion defined by the following equation to Fin. REFout = [(OPmax-OPmin) / (RPmax-RPmin)] × (REFin-RPmin) + OPmin (3) The pixel value REFout is a value after density conversion of each pixel forming the j-th area. .

【0044】上記濃度変換により、第1の実施形態と同
様、参照画像の着目領域データにおける下限パーセンタ
イル値RPminと上限パーセンタイル値RPmaxとを、被検査
画像の着目領域データにおける下限パーセンタイル値OP
minと上限パーセンタイル値OPmaxとにそれぞれ一致さ
せ、両画像の画質条件を同等化すなわち両画像を整合化
することができる。なお、両画像の画質条件(ダイナミ
ックレンジや明るさ等)が現時点の着目領域と直前着目
領域との間で著しく異なる場合には、本実施形態におけ
る上記濃度変換によっては、両画像を適切に整合化する
ことができないが、これまでの本願発明者による実験で
はそのような例は見受けられなかった。また、そのよう
な例が存在したとしても、両画像の領域をより細かく分
割することにより対応可能である。
By the density conversion, as in the first embodiment, the lower limit percentile value RPmin and the upper limit percentile value RPmax in the target area data of the reference image are set to the lower limit percentile value OP in the target area data of the inspection image.
By matching min and the upper limit percentile value OPmax, respectively, the image quality conditions of both images can be equalized, that is, both images can be matched. When the image quality conditions (dynamic range, brightness, etc.) of both images are significantly different between the current attention area and the immediately preceding attention area, both images are appropriately matched by the density conversion in the present embodiment. However, such an example has not been found in the experiments conducted by the inventors of the present invention. Even if such an example exists, it can be dealt with by dividing the areas of both images into smaller parts.

【0045】上記濃度変換により得られる画素値REFout
は、整合化処理の施された参照画像の画素値として濃度
変換部66から順次出力されて比較演算回路30に入力
される。また、比較演算回路30に入力される整合化処
理後の参照画像の画素に位置的に対応する被検査画像の
画素の値も、比較演算回路30に順次入力される。比較
演算回路30は、順次入力される参照画像および被検査
画像の位置的に対応する画素値を互いに比較し、その比
較に基づいて被検査物における欠陥を検出し、その検出
結果を示すデータを検査結果として出力する。その後、
第1の実施形態と同様、検査結果保存部32が、比較演
算回路30から出力される検査結果を保存し、検査結果
表示部34が、比較演算回路30から出力される検査結
果を表示する。
Pixel value REFout obtained by the above density conversion
Are sequentially output as pixel values of the reference image subjected to the matching processing from the density conversion unit 66 and input to the comparison calculation circuit 30. Further, the values of the pixels of the image to be inspected, which positionally correspond to the pixels of the reference image after the matching processing input to the comparison calculation circuit 30, are also sequentially input to the comparison calculation circuit 30. The comparison operation circuit 30 compares the pixel values corresponding to the position of the reference image and the inspection image, which are sequentially input, with each other, detects a defect in the inspection object based on the comparison, and outputs data indicating the detection result. Output as the inspection result. afterwards,
Similar to the first embodiment, the inspection result storage unit 32 stores the inspection result output from the comparison operation circuit 30, and the inspection result display unit 34 displays the inspection result output from the comparison operation circuit 30.

【0046】以上のような第2の実施形態によっても、
第1の実施形態と同様、多値画像である被検査画像と参
照画像とを比較するための前処理としての濃度変換によ
り両画像の画質条件が確実に等しくなり、その結果、両
画像の正確な比較が可能となる。すなわち、良品画像の
濃度レンジ外の濃度値に相当する欠陥が存在する場合で
あっても、上記濃度変換により参照画像と被検査画像と
が適切に整合化されるので、そのような欠陥も確実に検
出することができる。また、“べたパターン”等を含む
画像領域についての整合化処理によって無用にダイナミ
ックレンジが拡大されることはないので、“べたパター
ン”等を含む領域についても欠陥の検出能力が低下する
ことはない。
Also according to the second embodiment as described above,
Similar to the first embodiment, the image quality conditions of both images are surely equalized by the density conversion as the preprocessing for comparing the inspected image, which is a multi-valued image, and the reference image, and as a result, the accuracy of both images is high. It is possible to make various comparisons. That is, even if there is a defect corresponding to a density value outside the density range of the non-defective image, the reference image and the image to be inspected are appropriately matched by the above-mentioned density conversion, and such a defect can be surely obtained. Can be detected. In addition, since the dynamic range is not unnecessarily expanded by the matching process for the image area including the "solid pattern", the defect detection capability does not deteriorate in the area including the "solid pattern". .

【0047】<3.変形例>上記第1および第2の実施
形態では、参照画像と被検査画像とを整合化するため
に、参照画像の着目領域データに対してのみ濃度変換を
施したが、これに代えて、被検査画像の着目領域データ
に対してのみ濃度変換を施して両画像を整合化するよう
にしてもよい。また、参照画像と被検査画像の双方の着
目領域データに対して濃度変換を施して両画像を整合化
するようにしてもよい。ただし、下限パーセンタイル値
と上限パーセンタイル値とによって定まる濃度レンジが
濃度変換によって大きく広がる場合には、既述のように
検出能力の低下を招くので好ましくない(図5参照)。
これに対し、参照画像と被検査画像のいずれか一方の画
像の着目領域データに対してのみ濃度変換を施す場合に
は、このような検出能力の低下は生じないので、その点
では、一方の画像の着目領域データに対してのみ濃度変
換を施して両画像を整合化するのが好ましい。
<3. Modification> In the first and second embodiments described above, in order to match the reference image and the image to be inspected, the density conversion is performed only on the attention area data of the reference image, but instead of this, It is also possible to perform density conversion only on the region-of-interest data of the image to be inspected so as to match both images. Further, it is also possible to perform density conversion on the attention area data of both the reference image and the image to be inspected so as to match the two images. However, if the density range defined by the lower limit percentile value and the upper limit percentile value is greatly expanded by the density conversion, the detection capability is lowered as described above, which is not preferable (see FIG. 5).
On the other hand, when the density conversion is performed only on the region-of-interest data of one of the reference image and the image to be inspected, such a decrease in detection capability does not occur. It is preferable to perform density conversion only on the attention area data of the image to match both images.

【0048】また、上記第1および第2の実施形態にお
けるような上下端パーセンタイル値の算出を行わずに、
参照画像の着目領域における最小濃度値と最大濃度値と
によって定まる濃度範囲が被検査画像の着目領域におけ
る最小濃度値と最大濃度値とによって定まる濃度範囲に
一致するように濃度変換(正規化)を行う場合であって
も、参照画像と被検査画像のいずれか一方に対してのみ
濃度変換を施すのが好ましい。これにより、画像整合化
のための濃度変換による欠陥検出能力の低下を回避でき
るからである。
Further, without calculating the upper and lower percentile values as in the first and second embodiments,
Density conversion (normalization) is performed so that the density range defined by the minimum density value and the maximum density value in the target area of the reference image matches the density range defined by the minimum density value and the maximum density value in the target area of the inspection image. Even when it is performed, it is preferable to perform the density conversion on only one of the reference image and the inspection image. This is because it is possible to avoid deterioration of the defect detection capability due to density conversion for image matching.

【0049】さらに、上記第1および第2の実施形態で
は、参照画像および被検査画像を複数の領域に分割し、
両画像の間で位置的に対応する領域毎に両画像を整合化
しているが、画質条件の局所的変動が少ない場合には、
このような領域分割を行わずに、参照画像または被検査
画像に対して1つの線形式で定義される濃度変換を施す
ことにより両画像を整合化するようにしてもよい。
Further, in the first and second embodiments, the reference image and the inspection image are divided into a plurality of areas,
Both images are matched for each region corresponding to the position between the two images, but if there is little local variation in image quality conditions,
Instead of performing such area division, both images may be matched by performing density conversion defined in one line format on the reference image or the inspection image.

【0050】更にまた、上記1および第2の実施形態で
は、参照画像と被検査画像との整合化のために選定すべ
き濃度レンジから除外すべき部分(画素)の割合を上下
端部除外率Eu,Elとして与え、それらに対応するパ
ーセンタイル値を、選定すべき濃度レンジの上限値およ
び下限値として求めている。しかし、参照画像と被検査
画像との整合化のための濃度レンジの選定方法は、この
ような方法に限定されるものではなく、濃度ヒストグラ
ムの上下端部に相当する部分を除外した部分の濃度範囲
を画像整合化のための濃度レンジとして選定するもので
あればよい。例えば、両画像それぞれの濃度値域(画素
濃度の最小値〜最大値の範囲)からその両端部を当該濃
度値域の大きさ(幅)に対して数%程度に相当する区間
だけ取り除いた範囲を、画像整合化のための濃度レンジ
として選定してもよい。
Furthermore, in the above-described first and second embodiments, the ratio of the portion (pixels) to be excluded from the density range to be selected for matching the reference image and the image to be inspected is the upper and lower end exclusion rate. Eu and El are given, and the percentile values corresponding to them are obtained as the upper limit value and the lower limit value of the concentration range to be selected. However, the method of selecting the density range for matching the reference image and the image to be inspected is not limited to such a method, and the density of the part excluding the parts corresponding to the upper and lower ends of the density histogram is excluded. The range may be selected as a density range for image matching. For example, a range obtained by removing both end portions of the density value range (range between the minimum value and the maximum value of pixel density) of both images by a range corresponding to about several percent of the size (width) of the density value range, You may select as a density range for image matching.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施形態に係るパターン検査装
置の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a pattern inspection apparatus according to a first embodiment of the present invention.

【図2】第1の実施形態に係るパターン検査装置におけ
る画像整合化処理部の構成を示すブロック図である。
FIG. 2 is a block diagram showing a configuration of an image matching processing unit in the pattern inspection apparatus according to the first embodiment.

【図3】第1の実施形態における上下限パーセンタイル
値の算出を説明するための濃度ヒストグラムおよび累積
ヒストグラムを示す図である。
FIG. 3 is a diagram showing a density histogram and a cumulative histogram for explaining calculation of upper and lower percentile values in the first embodiment.

【図4】第1の実施形態における参照画像と被検査画像
との整合化処理を説明するための濃度ヒストグラムを示
す図である。
FIG. 4 is a diagram showing a density histogram for explaining a matching process between a reference image and an image to be inspected in the first embodiment.

【図5】“べたパターン”のみを含む画像に対して従来
の正規化を施した場合における欠陥の検出能力の低下を
説明するための濃度ヒストグラムを示す図である。
FIG. 5 is a diagram showing a density histogram for explaining a decrease in defect detection capability when conventional normalization is applied to an image including only a “solid pattern”.

【図6】本発明の第2の実施形態に係るパターン検査装
置における画像整合化処理部の構成を示すブロック図で
ある。
FIG. 6 is a block diagram showing a configuration of an image matching processing unit in the pattern inspection apparatus according to the second embodiment of the present invention.

【図7】パターン検査において比較されるべき被検査画
像と参照画像の濃度ヒストグラムを示す図である。
FIG. 7 is a diagram showing density histograms of an inspection image and a reference image to be compared in a pattern inspection.

【図8】被検査画像および参照画像の濃度レンジを予め
決められた正規化レンジに変換するための濃度の線形変
換を説明するための図である。
FIG. 8 is a diagram for explaining a linear conversion of density for converting the density range of the inspection image and the reference image into a predetermined normalized range.

【図9】従来の正規化による被検査画像と参照画像の整
合化が困難な一例を説明するための図である。
FIG. 9 is a diagram for explaining an example in which it is difficult to match the inspection image and the reference image by conventional normalization.

【図10】従来の正規化による被検査画像と参照画像の
整合化が困難な他の例を説明するための図である。
FIG. 10 is a diagram for explaining another example in which it is difficult to match the inspection image and the reference image by conventional normalization.

【符号の説明】[Explanation of symbols]

10 …参照画像発生回路 12 …参照画像記憶部 14 …撮像装置 16 …第1バッファメモリ 18,58…参照画像領域切り出し部 20,60…被検査画像領域切り出し部 22 …パーセンタイル値算出部 22a,62a…累積ヒストグラム生成部 22b,62b…パーセンタイル値決定部 24 …第2バッファメモリ 26,66…濃度変換部 28 …第3バッファメモリ 30 …比較演算回路 100 …画像整合化処理部 El …下端部除外率 Eu …上端部除外率 RPmin …参照画像の着目領域データにおける下限パ
ーセンタイル値 RPmax …参照画像の着目領域データにおける上限パ
ーセンタイル値 OPmin …被検査画像の着目領域データにおける下限
パーセンタイル値 OPmax …被検査画像の着目領域データにおける上限
パーセンタイル値 REFin …濃度変換前の参照画像の画素値 REFout …濃度変換後の参照画像の画素値
Reference image generation circuit 12 Reference image storage unit 14 Image pickup device 16 First buffer memory 18, 58 Reference image region cutout unit 20, 60 ... Inspected image region cutout unit 22 Percentile value calculation units 22a, 62a ... Cumulative histogram generation unit 22b, 62b ... Percentile value determination unit 24 ... Second buffer memory 26, 66 ... Density conversion unit 28 ... Third buffer memory 30 ... Comparison arithmetic circuit 100 ... Image matching processing unit El ... Bottom edge exclusion rate Eu ... Upper-limit exclusion rate RPmin ... Lower limit percentile value RPmax in the reference area data of the reference image ... Upper limit percentile value OPmin in the reference area data of the reference image ... Lower limit percentile value OPmax of the target area data of the inspection image ... Inspection of the inspection image Upper limit percentile value REFin in area data ... Reference before density conversion Pixel values of the image REFOUT ... pixel values of the reference image after the density conversion

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 5/00 100 G06T 7/00 200B 7/00 200 300E 300 H01L 21/66 J H01L 21/66 G01B 11/24 F Fターム(参考) 2F065 AA49 AA54 BB02 BB03 CC01 CC18 CC19 DD00 EE00 FF04 FF26 FF61 JJ03 JJ26 KK03 QQ03 QQ25 QQ32 QQ39 QQ42 QQ43 QQ45 RR04 RR05 SS01 SS13 UU05 2G051 AA51 AA65 AB07 AC21 EA08 EA11 EA14 EB01 EC02 EC03 ED04 4M106 AA01 BA02 CA39 DA14 DB04 DB05 DB21 DC10 DJ11 DJ21 5B057 AA03 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE11 DA03 DB02 DB09 DC23 DC33 5L096 AA06 BA03 CA01 DA01 EA12 FA37 GA08 GA19 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 5/00 100 G06T 7/00 200B 7/00 200 300E 300 H01L 21/66 J H01L 21/66 G01B 11 / 24 FF term (reference) 2F065 AA49 AA54 BB02 BB03 CC01 CC18 CC19 DD00 EE00 FF04 FF26 FF61 JJ03 JJ26 KK03 QQ03 QQ25 QQ32 QQ39 QQ42 QQ43 QQ42 QQ43 QQ42 QQ43 QQ42 AQA EC21A04 EA04 A4 A4 BA02 CA39 DA14 DB04 DB05 DB21 DC10 DJ11 DJ21 5B057 AA03 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE11 DA03 DB02 DB09 DC23 DC33 5L096 AA06 BA03 CA01 DA01 EA12 FA37 GA08 GA19

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 所定パターンの形成された被検査物を撮
影することにより得られる多値画像である被検査画像
と、前記所定パターンを表す基準とすべき多値画像であ
る参照画像とを画素毎に比較することにより、前記被検
査画像と前記参照画像との差異を示す差分マップを作成
し、当該差分マップに基づき前記被検査物における欠陥
を検出するパターン検査装置であって、 前記被検査画像の全部または一部の領域と当該領域に位
置的に対応する前記参照画像の領域とに着目し、前記被
検査画像と前記参照画像とを互いに比較するために両画
像の間で合わせるべき濃度範囲の下限値として両画像の
着目領域毎に画素濃度の最小値よりも大きい当該最小値
近傍の第1濃度値を選定すると共に、当該合わせるべき
濃度範囲の上限値として両画像の着目領域毎に画素濃度
の最大値よりも小さい当該最大値近傍の第2濃度値を選
定する濃度範囲選定手段と、 前記被検査画像の着目領域につき選定される前記第1お
よび第2濃度値によって定まる濃度範囲が、前記参照画
像の着目領域につき選定される前記第1および第2濃度
値によって定まる濃度範囲と一致するように、前記被検
査画像と前記参照画像の少なくとも一方に対して濃度変
換を施すことにより、前記被検査画像と前記参照画像と
を整合化させる濃度変換手段とを備え、前記濃度変換手
段によって整合化された後に前記被検査画像と前記参照
画像とが画素毎に比較されることにより前記差分マップ
が作成されることを特徴とするパターン検査装置。
1. A pixel is an image to be inspected, which is a multi-valued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and a reference image, which is a multi-valued image to be used as a reference representing the predetermined pattern. A pattern inspection apparatus that creates a difference map showing a difference between the inspection image and the reference image by comparing each of the inspection images, and detects a defect in the inspection object based on the difference map. Focusing on all or part of the image and the region of the reference image that corresponds to the region in position, the density to be matched between the images to be compared with each other for the inspection image and the reference image. As the lower limit value of the range, a first density value near the minimum value that is larger than the minimum pixel density value is selected for each region of interest of both images, and the upper limit value of the density range to be matched is set as the upper limit value of both images. It is determined by a density range selection means for selecting a second density value near the maximum value which is smaller than the maximum value of the pixel density for each area, and the first and second density values selected for the target area of the inspection image. Density conversion is performed on at least one of the inspection image and the reference image so that the density range matches the density range determined by the first and second density values selected for the region of interest of the reference image. Accordingly, a density conversion unit that matches the inspection image and the reference image is provided, and the inspection image and the reference image are compared for each pixel after the density conversion unit matches the density. The pattern inspection apparatus, wherein the difference map is created by:
【請求項2】 前記被検査画像および前記参照画像を同
一態様で複数領域に分割する分割手段を更に備え、 前記濃度範囲選定手段は、前記被検査画像における前記
複数領域の各領域と当該領域に位置的に対応する前記参
照画像の領域とに順次着目し、前記被検査画像および前
記参照画像の各着目領域につき、前記被検査画像と前記
参照画像との比較のために両画像の間で合わせるべき濃
度範囲の下限値として当該着目領域における画素濃度の
最小値よりも大きい当該最小値近傍の第1濃度値を選定
すると共に、当該合わせるべき濃度範囲の上限値として
当該着目領域における画素濃度の最大値よりも小さい当
該最大値近傍の第2濃度値を選定し、 前記濃度変換手段は、前記被検査画像の前記着目領域に
つき選定される前記第1および第2濃度値によって定ま
る濃度範囲が、前記参照画像の前記着目領域につき選定
される前記第1および第2濃度値によって定まる濃度範
囲と一致するように、前記被検査画像と前記参照画像の
少なくとも一方の前記着目領域の各画素に対して濃度変
換を施すことを特徴とする、請求項1に記載のパターン
検査装置。
2. The image forming apparatus further comprises a dividing unit that divides the image to be inspected and the reference image into a plurality of regions in the same manner, and the density range selecting unit is arranged in each region of the plurality of regions in the image to be inspected and the region. Focusing sequentially on regions of the reference image that correspond in position, for each region of interest of the inspected image and the reference image, match between the inspected image and the reference image for comparison. As the lower limit value of the power density range, a first density value in the vicinity of the minimum value that is larger than the minimum pixel density of the target area is selected, and as the upper limit value of the density range to be matched, the maximum pixel density of the target area is selected. Selecting a second density value near the maximum value smaller than the value, and the density converting means selects the first and second density values selected for the region of interest of the inspection image. So that the density range determined by the same as the density range determined by the first and second density values selected for the attention area of the reference image matches the attention area of at least one of the inspection image and the reference image. 2. The pattern inspection apparatus according to claim 1, wherein density conversion is performed on each of the pixels.
【請求項3】 前記濃度変換手段は、前記被検査画像と
前記参照画像のいずれかの一方に対してのみ前記濃度変
換を施すことを特徴とする、請求項1または2に記載の
パターン検査装置。
3. The pattern inspection apparatus according to claim 1, wherein the density conversion means performs the density conversion on only one of the inspection image and the reference image. .
【請求項4】 前記濃度範囲選定手段は、前記被検査画
像と前記参照画像の整合化のために選定すべき濃度範囲
の濃度よりも低い濃度の画素の割合を示す値として予め
決められた第1の百分率El、および、当該選定すべき
濃度範囲の濃度よりも高い濃度の画素の割合を示す値と
して予め決められた第2の百分率Euに基づき、前記被
検査画像および前記参照画像の着目領域における濃度ヒ
ストグラムのEl百分位数を前記第1濃度値として算出
すると共に、当該濃度ヒストグラムの(100−Eu)
百分位数を前記第2濃度値として算出する百分位数算出
手段を含むことを特徴とする、請求項1または2に記載
のパターン検査装置。
4. The density range selecting means is predetermined as a value indicating a ratio of pixels having a density lower than a density of a density range to be selected for matching the inspection image and the reference image. Based on a percentage El of 1 and a second percentage Eu predetermined as a value indicating the proportion of pixels having a density higher than the density of the density range to be selected, the region of interest of the inspection image and the reference image The El percentile of the density histogram in FIG. 2 is calculated as the first density value, and (100−Eu) of the density histogram is calculated.
3. The pattern inspection apparatus according to claim 1, further comprising a percentile calculating unit that calculates a percentile as the second density value.
【請求項5】 所定パターンの形成された被検査物を撮
影することにより得られる多値画像である被検査画像
と、前記所定パターンを表す基準とすべき多値画像であ
る参照画像とを画素毎に比較することにより、前記被検
査画像と前記参照画像との差異を示す差分マップを作成
し、当該差分マップに基づき前記被検査物における欠陥
を検出するパターン検査装置であって、 前記被検査画像の全部または一部の領域と当該領域に位
置的に対応する前記参照画像の領域とに着目し、前記被
検査画像の着目領域における濃度範囲が前記参照画像の
着目領域における濃度範囲に一致するように、前記被検
査画像と前記参照画像のいずれかの一方に対してのみ濃
度変換を施すことにより、前記被検査画像と前記参照画
像とを整合化させる濃度変換手段を備え、 前記濃度変換手段によって整合化された後に前記被検査
画像と前記参照画像とが画素毎に比較されることにより
前記差分マップが作成されることを特徴とするパターン
検査装置。
5. A pixel is provided with an image to be inspected, which is a multivalued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and a reference image, which is a multivalued image to be used as a reference representing the predetermined pattern. A pattern inspection apparatus that creates a difference map showing a difference between the inspection image and the reference image by comparing each of the inspection images, and detects a defect in the inspection object based on the difference map. Focusing on all or part of the image and the region of the reference image that corresponds in position to the region, the density range in the target region of the inspection image matches the density range in the target region of the reference image. As described above, a density conversion unit for matching the inspection image and the reference image by performing the density conversion on only one of the inspection image and the reference image is provided. For example, the pattern inspection apparatus and the reference image and the inspection image, wherein the difference map is created by being compared for each pixel after being aligned by said density conversion means.
【請求項6】 所定パターンの形成された被検査物を撮
影することにより得られる多値画像である被検査画像
と、前記所定パターンを表す基準とすべき多値画像であ
る参照画像とを画素毎に比較することにより、前記被検
査画像と前記参照画像との差異を示す差分マップを作成
し、当該差分マップに基づき前記被検査物における欠陥
を検出するパターン検査方法であって、 前記被検査画像の全部または一部の領域と当該領域に位
置的に対応する前記参照画像の領域とに着目し、前記被
検査画像と前記参照画像とを互いに比較するために両画
像の間で合わせるべき濃度範囲の下限値として両画像の
着目領域毎に画素濃度の最小値よりも大きい当該最小値
近傍の第1濃度値を選定すると共に、当該合わせるべき
濃度範囲の上限値として両画像の着目領域毎に画素濃度
の最大値よりも小さい当該最大値近傍の第2濃度値を選
定する濃度範囲選定ステップと、 前記被検査画像の着目領域につき選定される前記第1お
よび第2濃度値によって定まる濃度範囲が、前記参照画
像の着目領域につき選定される前記第1および第2濃度
値によって定まる濃度範囲と一致するように、前記被検
査画像と前記参照画像の少なくとも一方に対して濃度変
換を施すことにより、前記被検査画像と前記参照画像と
を整合化させる濃度変換ステップとを備え、前記濃度変
換ステップにて整合化された後に前記被検査画像と前記
参照画像とが画素毎に比較されることにより前記差分マ
ップが作成されることを特徴とするパターン検査方法。
6. A pixel is an image to be inspected which is a multi-valued image obtained by photographing an object to be inspected on which a predetermined pattern is formed, and a reference image which is a multi-valued image to be used as a reference representing the predetermined pattern. A pattern inspection method for creating a difference map showing a difference between the image to be inspected and the reference image by comparing for each, and detecting a defect in the object to be inspected based on the difference map, Focusing on all or part of the image and the region of the reference image that corresponds to the region in position, the density to be matched between the images to be compared with each other for the inspection image and the reference image. As the lower limit value of the range, a first density value near the minimum value that is larger than the minimum pixel density value is selected for each region of interest of both images, and the upper limit value of the density range to be matched is set as the upper limit value of both images. It is determined by a density range selection step of selecting a second density value near the maximum value that is smaller than the maximum value of the pixel density for each area, and the first and second density values selected for the target area of the inspection image. Density conversion is performed on at least one of the inspection image and the reference image so that the density range matches the density range determined by the first and second density values selected for the region of interest of the reference image. Accordingly, a density conversion step of matching the inspection image and the reference image is provided, and the inspection image and the reference image are compared for each pixel after being matched in the density conversion step. A pattern inspection method characterized in that the difference map is created thereby.
JP2001250992A 2001-08-22 2001-08-22 Pattern inspection apparatus and method Expired - Fee Related JP3788586B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001250992A JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001250992A JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Publications (2)

Publication Number Publication Date
JP2003065969A true JP2003065969A (en) 2003-03-05
JP3788586B2 JP3788586B2 (en) 2006-06-21

Family

ID=19079711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001250992A Expired - Fee Related JP3788586B2 (en) 2001-08-22 2001-08-22 Pattern inspection apparatus and method

Country Status (1)

Country Link
JP (1) JP3788586B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286584A (en) * 2003-03-20 2004-10-14 Hitachi Kokusai Electric Inc Apparatus for inspecting defect
JP2007071847A (en) * 2005-09-09 2007-03-22 Nagaoka Univ Of Technology Method for detecting abnormal measurement value in surface roughness measurement
JP2014053086A (en) * 2012-09-05 2014-03-20 Toshiba Corp Image quality adjustment method, program, and electron microscope
JP2016218018A (en) * 2015-05-26 2016-12-22 株式会社Screenホールディングス Inspection device and substrate processing device
WO2018225460A1 (en) * 2017-06-05 2018-12-13 株式会社Screenホールディングス Inspecting device and inspecting method
WO2019044082A1 (en) * 2017-08-28 2019-03-07 富士フイルム株式会社 Medical image processing device, method, and program
US10546766B2 (en) 2015-04-23 2020-01-28 SCREEN Holdings Co., Ltd. Inspection device and substrate processing apparatus
JP2021135893A (en) * 2020-02-28 2021-09-13 株式会社東芝 Inspection device, inspection method, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286584A (en) * 2003-03-20 2004-10-14 Hitachi Kokusai Electric Inc Apparatus for inspecting defect
JP2007071847A (en) * 2005-09-09 2007-03-22 Nagaoka Univ Of Technology Method for detecting abnormal measurement value in surface roughness measurement
JP2014053086A (en) * 2012-09-05 2014-03-20 Toshiba Corp Image quality adjustment method, program, and electron microscope
US10546766B2 (en) 2015-04-23 2020-01-28 SCREEN Holdings Co., Ltd. Inspection device and substrate processing apparatus
JP2016218018A (en) * 2015-05-26 2016-12-22 株式会社Screenホールディングス Inspection device and substrate processing device
US11074684B2 (en) 2017-06-05 2021-07-27 SCREEN Holdings Co., Ltd. Inspection apparatus and inspection method
JP2018205122A (en) * 2017-06-05 2018-12-27 株式会社Screenホールディングス Inspection device and inspection method
WO2018225460A1 (en) * 2017-06-05 2018-12-13 株式会社Screenホールディングス Inspecting device and inspecting method
WO2019044082A1 (en) * 2017-08-28 2019-03-07 富士フイルム株式会社 Medical image processing device, method, and program
JPWO2019044082A1 (en) * 2017-08-28 2020-05-28 富士フイルム株式会社 Medical image processing apparatus, method and program
US11164296B2 (en) 2017-08-28 2021-11-02 Fujifilm Corporation Medical image processing apparatus, medical image processing method, and medical image processing program
JP2021135893A (en) * 2020-02-28 2021-09-13 株式会社東芝 Inspection device, inspection method, and program
JP7273748B2 (en) 2020-02-28 2023-05-15 株式会社東芝 Inspection device, inspection method, and program

Also Published As

Publication number Publication date
JP3788586B2 (en) 2006-06-21

Similar Documents

Publication Publication Date Title
JP4172761B2 (en) Defect inspection apparatus, defect inspection method and program
US8331651B2 (en) Method and apparatus for inspecting defect of pattern formed on semiconductor device
US7916929B2 (en) Defect inspection method and apparatus
JP4002655B2 (en) Pattern inspection method and apparatus
JP3484042B2 (en) Pattern inspection method and apparatus
US6879392B2 (en) Method and apparatus for inspecting defects
US5379347A (en) Method of inspecting the surface of a workpiece
US9436985B1 (en) Method and system for enhancing image quality
US6872943B2 (en) Method for determining depression/protrusion of sample and charged particle beam apparatus therefor
JP5537488B2 (en) Charged particle microscope apparatus and image capturing method
JP2003057019A (en) Pattern inspection device and inspection method using the same
US7181060B2 (en) Defect inspection method
JP2005317818A (en) Pattern inspection device and method therefor
US5850467A (en) Image data inspecting method and apparatus providing for equal sizing of first and second image data to be compared
JPH10253544A (en) Method and apparatus for visual examination
JP2005121546A (en) Defect inspection method
JP2003065969A (en) Apparatus and method for inspecting pattern
JP3956584B2 (en) Omnifocal image composition method and apparatus
JP2001331806A (en) Image processing system
JP2004294100A (en) Pattern measuring device, pattern measuring method, and manufacturing method of semiconductor device
JP2011174858A (en) Defect detection method and semiconductor device manufacturing method
US5373567A (en) Method and apparatus for pattern matching
JP2006332069A (en) Roughness judgment method of test piece and charged particle beam device
JP2001325595A (en) Method and device for image processing and charged particle microscopical inspecting device
JP2014146615A (en) Charged-particle microscope device and image pickup method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060322

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090407

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees