JP4791155B2 - Focusing method, focusing device, and measuring apparatus using the same - Google Patents
Focusing method, focusing device, and measuring apparatus using the same Download PDFInfo
- Publication number
- JP4791155B2 JP4791155B2 JP2005333486A JP2005333486A JP4791155B2 JP 4791155 B2 JP4791155 B2 JP 4791155B2 JP 2005333486 A JP2005333486 A JP 2005333486A JP 2005333486 A JP2005333486 A JP 2005333486A JP 4791155 B2 JP4791155 B2 JP 4791155B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- focus
- subject
- calculated
- focus value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 claims description 39
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 238000001000 micrograph Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、拡大被写体像を撮像して、被写体の寸法測定等を行うための画像処理装置に関わり、特にオートフォーカス(以下、AF と略す)処理に関するものである。 The present invention relates to an image processing apparatus for capturing an enlarged subject image and measuring the size of the subject, and more particularly to autofocus (hereinafter abbreviated as AF) processing.
図3は、線幅測定装置の略構成を示すブロック図である。線幅測定装置は、主に半導体の TFT( Thin Film Transistor )基板のマスクパターンの幅や欠陥などを検査するための装置である。
図3に示すように、線幅測定装置は、主に XY ステージ 45 、Z 移動機構 44 、X 移動機構 42 、Y 移動機構 43 、カメラ 40 、光源 46 、顕微鏡 41 、AF 装置 52 、PC 50 、モニタ 51 で構成される。
ここで、X 移動の方向は紙面上で左右の方向であり、Y 移動方向は X 移動の方向に直角に交わる紙面上の奥行き方向、Z 移動方向は X 移動と Y 移動の方向でできる平面(水平方向)に垂直の方向(紙面の上下方向)である。
FIG. 3 is a block diagram showing a schematic configuration of the line width measuring apparatus. The line width measuring device is a device mainly for inspecting the mask pattern width and defects of a semiconductor TFT (Thin Film Transistor) substrate.
As shown in FIG. 3, the line width measuring device mainly includes an
Here, the direction of X movement is the left and right direction on the page, the Y movement direction is the depth direction on the page that intersects the X movement direction at right angles, and the Z movement direction is a plane formed by the X movement and Y movement directions ( It is a direction (vertical direction on the paper surface) perpendicular to the (horizontal direction).
XY ステージ 45 は、被写体(例えば、TFT 基板)のマスクを載せる試料台であり、X 移動機構 42 と Y 移動機構 43 により、水平方向の位置制御を行い。また XY ステージ 45 は、Z 移動機構 44 により、垂直方向の位置制御を行う。
PC 50 は、そのアプリケーションソフトウエアを用いて、X ドライバ 47 と Y ドライバ 48 、及び、Z ドライバ 49 をそれぞれ制御し、X ドライバ 47 と Y ドライバ 48 、及び、Z ドライバ 49 を介して、X 移動機構 42 と Y 移動機構 43 、及び、Z 移動機構 44 は、それぞれ、駆動する。
なお、XY ステージ 45 は、防振構造の固定台に設置される。
The
The PC 50 uses the application software to control the
The XY
例えば、顕微鏡 41 は反射型の顕微鏡であり、PC 50 は、光源 46 を制御し、照明光を被写体に照射する。
照射された光が被写体から反射することによって、その被写体像は、顕微鏡 41 に入射し、顕微鏡 41 を介して拡大され、拡大被写体像がカメラ 40 の光電変換面に入射する。
カメラ 40 は、入射された拡大被写体像を撮像し、映像信号に変換して、PC 50 に出力する。
PC 50 は、入力された映像信号について、あらかじめ定められたアプリケーションソフトウエアによって画像処理を施す。
For example, the microscope 41 is a reflective microscope, and the PC 50 controls the
When the irradiated light is reflected from the subject, the subject image enters the microscope 41 and is enlarged through the microscope 41, and the enlarged subject image enters the photoelectric conversion surface of the camera 40.
The camera 40 captures the incident enlarged subject image, converts it into a video signal, and outputs it to the PC 50.
The PC 50 performs image processing on the input video signal using predetermined application software.
TFT 基板上に形成されたマスクなどのパターンの線幅を測定する場合は、以下のような流れとなる。
被写体であるマスクは、XY ステージ 45 に載せられ、PC 50 により、X ドライバ 47 、Y ドライバ 48 、Z ドライバ 49 を制御することで、マスク上のあるパターンの位置に移動する。
When measuring the line width of a pattern such as a mask formed on a TFT substrate, the flow is as follows.
The mask, which is the subject, is placed on the
顕微鏡 41 の焦点深度は、高倍率になるほど小さくなる。例えば、数μm の精度で測定や検査をするためには、顕微鏡 41 を高倍率にすることになるため、合焦点(オートフォーカス、以下、AF と称する)処理が必要となる。
AF 処理は、XY ステージ 45 を上下に移動しながら、AF 装置 52 から出力されるフォーカス値を PC 50 のアプリケーションソフトウエアで判別することによって、合焦点位置( XY ステージ 45 の Z 方向の高さ)を検出して、検出された合焦点位置でXY ステージ 45 の上下移動を停止するプロセスである。
こうして合焦点となった Z 方向の位置での被写体像が、顕微鏡 41を介してカメラ 40 により、映像信号として、PC 50 に入力される。
PC 50 においてはアプリケーションソフトにより、画像処理を行うことで、パターン幅等を計測する。
The depth of focus of the microscope 41 decreases as the magnification increases. For example, in order to measure and inspect with an accuracy of several μm, the microscope 41 is set to a high magnification, so that a focusing (autofocus, hereinafter referred to as AF) process is required.
The AF process moves the
The subject image at the position in the Z direction, which is the focal point in this way, is input to the PC 50 as a video signal by the camera 40 via the microscope 41.
The PC 50 measures the pattern width and the like by performing image processing with application software.
AF 処理は、XY ステージ 45 を上下移動することで、顕微鏡 41 からの映像の合焦点位置を検出する制御であり、パターン幅計測精度に大きく影響を及ぼす重要な制御である。
線幅測定装置で使用されている AF 処理には、例えば、レーザーなどの光線を使用し距離を計測するレーザー AF 、映像信号のコントラストを利用したAF 、計算機内のアプリケーションソフトウエアで画像処理を使用したAF などの方法がある。そしてその中でも、安価で速度も速い、映像信号を利用したAF が一般的に利用される。映像信号を利用したAF は、装置のZ 移動機構を上下させて得られる映像の輝度値より、フォーカス位置を算出するものである(例えば、特許文献1参照。)。
AF processing is control for detecting the in-focus position of the image from the microscope 41 by moving the
For AF processing used in line width measuring equipment, for example, laser AF that measures the distance using a beam such as a laser, AF that uses the contrast of the video signal, and image processing that uses application software in the computer There are methods such as AF. Among them, AF using video signals, which is inexpensive and fast, is generally used. AF using a video signal calculates a focus position from a luminance value of a video obtained by moving up and down the Z movement mechanism of the apparatus (see, for example, Patent Document 1).
フォーカス値の算出は、操作者が指定したある映像エリアの輝度信号に対して微分処理を行い、その積分値を使用していた。そして、積分値が大きい(即ち、フォーカス値が大きい)Z の高さ(移動位置)を合焦点高さとしていた。
また、このことは、輝度信号に高周波成分を多く含むもの(微分処理後の波形の振幅が激しいもの)はフォーカス値が大きく、輝度波形に高周波成分が少ないもの(微分処理後の波形の振幅が少ないもの)はフォーカス値が小さくなるということである。そのため、合焦点の映像は高周波成分が多く含まれるため、フォーカス値が大きくなる場所を捉えることで、合焦点を検出することが可能となる。
In calculating the focus value, the luminance signal of a certain video area designated by the operator is differentiated and the integrated value is used. Then, the height (movement position) of Z with a large integral value (that is, with a large focus value) is set as the in-focus height.
Also, this means that the luminance signal contains a lot of high-frequency components (those with a strong waveform amplitude after differentiation), the focus value is large, and the luminance waveform contains few high-frequency components (the amplitude of the waveform after differentiation processing is large). The smaller one) means that the focus value becomes smaller. For this reason, since the focused image contains a lot of high-frequency components, it is possible to detect the focused point by capturing a place where the focus value increases.
従来の AF の制御方法を図3と図2を用いて説明する。図2は、従来の AF 処理の一例を示すフローチャートである。
初めに、Z 移動範囲設定ステップ 1 では、PC 50 のアプリケーションソフトウエアで、XY ステージ 45 の垂直(高さ)方向の移動量を指定する。
次に Z 初期値移動ステップ 6 では、XY ステージ 45 の高さを AF を行う初期位置へ移動する。
その後、移動開始ステップ 7 により、垂直方向にXY ステージ 45 が移動を開始する。
カメラ映像取り込みステップ 8 では、垂直方向に XY ステージ 45 が移動している間に、カメラ 40 が映像エリア内の被写体像を撮像し、その映像が AF 装置 52 に取り込まれ続けている。
A conventional AF control method will be described with reference to FIGS. FIG. 2 is a flowchart showing an example of conventional AF processing.
First, in the Z movement
Next, in the Z initial
Thereafter, the movement start
In the camera image capturing step 8, while the
微分処理ステップ 24 では、取り込まれた映像の輝度信号について微分を行うことによって高周波成分を抽出し、その値をある映像領域内で積分することで、フォーカス値を算出している。
このフォーカス値は、高周波成分が多いほど大きくなる。即ち、フォーカス値が大きいほど合焦点に近く、少ないほど合焦点から遠くなることとなる。
フォーカス値作成ステップ 10 では、これらの高周波成分を PC 50 のアプリケーションソフトウエアで判別可能な範囲のフォーカス値に変換し、PC 50 に出力する。
In a
This focus value increases as the number of high frequency components increases. That is, the larger the focus value, the closer to the focal point, and the smaller the focal value, the farther from the focal point.
In the focus
ピーク値更新ステップ 11 では、PC 50 はアプリケーションソフトウエアを動作させてフォーカス値の最大値かどうかを判定する。即ち、PC 50 に記憶していたフォーカス値の最大値と、PC 50 に AF 装置 52 から入力されたフォーカス値とを比較する。もし、PC 50 に記憶していたフォーカス値の最大値の方が大きいか同じならば、元の記憶していたフォーカス値の最大値を維持する。また、PC 50 に記憶していたフォーカス値の最大値より、入力されたフォーカス値の方が大きい場合は、元の記憶していたフォーカス値の最大値に替えて、入力されたフォーカス値をフォーカス値の最大値として、フォーカス値の最大値を更新する。
In the peak
移動範囲判定ステップ 12 では、Z 移動範囲設定 1 で設定した、Z 位置を判別し、もし、移動範囲外ならば、Z 移動停止ステップ 13 へ進み、移動範囲内なら映像取り込みステップ 8 に戻る。
Z 移動停止ステップ 13 では、XY ステージ 45 の垂直方向の移動を停止する。
Z 初期位置移動ステップ 14 では、XY ステージ 45 を AF を行う初期位置に再び移動させる。
さらに、映像取り込みステップ 16 では、カメラ 40 の映像をAF 装置 52 に取り込む。そして、微分処理ステップ 25 では、映像の輝度信号の高周波成分を抽出し、更にフォーカス値作成ステップ 18 で、フォーカス値を生成する。
In the movement
In the Z movement stop
In Z initial
Further, in the
ピーク値近傍判定ステップ 19 では、フォーカス値が、ピーク値更新ステップ 11 で記憶あるいは更新しているフォーカス値の最大値の近傍の値であるかどうかを判別する。もし、近傍でないと判別すると、映像取り込みステップ 16 へ移動し、近傍であると判別すると Z 移動停止ステップ 20 へ進む。
Z 移動停止ステップ 20 では、AF 処理が終了した(合焦点した)として、XY ステージ 45 の移動を停止する。
なお、近傍とは、例えば、最大値に対して、あらかじめ定めた所定値以内であることをいう。
In the peak value
In the Z movement stop
The neighborhood means, for example, within a predetermined value with respect to the maximum value.
合焦点後、映像取り込みステップ 21 では、映像を PC 50 に取り込み、線幅測定ステップ 22 で画像処理により、パターン幅を測定する。
最後に結果表示ステップ 23 で、計測結果をモニタ 51 に表示する。
After focusing, in the
Finally, in the
上述の従来技術では、被写体が高さ方向に段差を持っているときなど、合焦点位置を複数箇所持つ被写体の場合、フォーカス値を算出する領域にそれらが含まれると、合焦点位置がどこになるのか分からなかった。また、フォーカス値を算出する領域を絞るために、設定領域を小さくすると、輝度信号のコントラストが低くなり、S/N が悪化し、合焦点に収斂しないなどの問題があった。
本発明の目的は、上記のような問題を解決し、被写体の表面の凹凸に影響され難く、最もふさわしい位置で合焦点できる合焦点方法及び焦点装置並びにそれを使った測定装置を提供することにある。
In the above-described prior art, in the case of a subject having a plurality of in-focus positions, such as when the subject has a step in the height direction, where the in-focus position is included in the area for calculating the focus value, where is the in-focus position? I didn't know. Further, if the setting area is reduced to narrow down the area for calculating the focus value, the contrast of the luminance signal is lowered, the S / N is deteriorated, and there is a problem that the focal point is not converged.
An object of the present invention is to provide a focusing method and a focusing device that can solve the above-described problems, are not easily affected by unevenness on the surface of a subject, and can be focused at the most suitable position, and a measuring device using the focusing method. is there.
上記の目的を達成するため、本発明は、フォーカス値の生成において、映像の輝度信号の指定領域の波形(以降は輝度波形と呼ぶ)の傾きをそのフォーカス値とするものである。 In order to achieve the above object, according to the present invention, in the generation of the focus value, the inclination of the waveform of the designated area of the video luminance signal (hereinafter referred to as the luminance waveform) is used as the focus value.
即ち、本発明の合焦点方法は、被写体を載せるステージを持ち、顕微鏡及びカメラとステージ間の距離を調整する移動機構を有する測定装置の合焦点方法において、顕微鏡からの映像をカメラに入力し、移動機構によって距離を移動しながら所定の範囲の輝度波形の傾きをフォーカス値として算出し、算出したフォーカス値が、所定の最大フォーカス値の範囲内であれば、フォーカス値を算出した時の距離を合焦点とすることを特徴とする。
また好ましくは、所定の最大フォーカス値の範囲は、顕微鏡からの映像をカメラに入力し、移動機構によって距離を移動しながら所定の範囲の輝度波形の傾きをフォーカス値として算出し、算出したフォーカス値が最大値である。
That is, in the focusing method of the present invention, in the focusing method of a measuring apparatus having a stage on which a subject is placed and having a moving mechanism for adjusting the distance between the microscope and the camera and the stage, an image from the microscope is input to the camera, The inclination of the luminance waveform in a predetermined range is calculated as the focus value while moving the distance by the moving mechanism, and if the calculated focus value is within the range of the predetermined maximum focus value, the distance when the focus value is calculated is calculated. It is characterized by focusing.
Preferably, the range of the predetermined maximum focus value is obtained by inputting the video from the microscope to the camera, calculating the inclination of the luminance waveform of the predetermined range as the focus value while moving the distance by the moving mechanism, and calculating the calculated focus value. Is the maximum value.
また、本発明の合焦点装置は、被写体を載せるステージと、顕微鏡と、カメラと、顕微鏡及びカメラとステージとの間の距離を調整する移動機構と、画像処理部とを有する測定装置の合焦点装置の画像処理部は、顕微鏡からの映像をカメラに入力し、移動機構によって顕微鏡及びカメラとステージ間の距離を移動しながら所定の範囲の輝度波形の傾きをフォーカス値として算出し、算出したフォーカス値が、所定の最大フォーカス値の範囲内であれば、フォーカス値を算出した時の距離を合焦点とすることを特徴とする。
また好ましくは、画像処理部は、所定の最大フォーカス値を求める場合に、モニタに算出した輝度波形の傾きの軌跡を表示し、操作者が設定するパラメータに応じて算出した輝度波形の傾きの軌跡を、モニタに表示する。
Further, the focusing device of the present invention is a focusing device of a measuring device having a stage on which a subject is placed, a microscope, a camera, a moving mechanism for adjusting a distance between the microscope and the camera, and the stage, and an image processing unit. The image processing unit of the apparatus inputs the video from the microscope to the camera, calculates the inclination of the luminance waveform in a predetermined range as the focus value while moving the distance between the microscope and the camera and the stage by the moving mechanism, and calculates the calculated focus If the value is within the range of a predetermined maximum focus value, the distance when the focus value is calculated is set as the focal point.
Preferably, when the predetermined maximum focus value is obtained, the image processing unit displays a locus of inclination of the calculated luminance waveform on the monitor, and calculates a locus of inclination of the luminance waveform calculated according to the parameter set by the operator. Is displayed on the monitor.
また本発明の測定装置は、被写体を載せるステージと、顕微鏡と、カメラと、顕微鏡及びカメラとステージとの間の距離を調整する移動機構と、画像処理部とを有する測定装置において、画像処理部は、顕微鏡からの映像をカメラに入力し、移動機構によって距離を移動しながら所定の範囲の輝度波形の傾きをフォーカス値として算出し、算出したフォーカス値が、所定の最大フォーカス値の範囲内であれば、フォーカス値を算出した時の距離を合焦点とすることを特徴とする。 In addition, the measuring apparatus of the present invention includes an image processing unit in a measuring apparatus including a stage on which a subject is placed, a microscope, a camera, a moving mechanism that adjusts a distance between the microscope and the camera, and the stage, and an image processing unit. Inputs the image from the microscope to the camera, calculates the inclination of the luminance waveform in the predetermined range as the focus value while moving the distance by the moving mechanism, and the calculated focus value is within the range of the predetermined maximum focus value If there is, the distance when the focus value is calculated is the focal point.
本発明によれば、表面の凹凸に影響され難く、最も合焦点としたい場所で AF 処理を行うことができる。
また、設定した最大のフォーカス値を基準に、他の被写体の AF 処理時にも、所定範囲内に入ったフォーカス値になった時点での Z 高さを合焦点位置と認識して測定を行うので、AF 処理が高速になる。このため、検査時間も短縮できる。
According to the present invention, AF processing can be performed at a place where the focal point is most desired to be affected by the unevenness of the surface.
Also, with the maximum focus value set as a reference, the Z height at the point when the focus value falls within the predetermined range is recognized as the in-focus position when performing AF processing on other subjects. , AF processing becomes faster. For this reason, inspection time can also be shortened.
本発明はXYステージを持ち、Z移動機構を有する線幅測定装置の画像処理において、カメラの映像信号の、ある範囲の輝度波形の傾きを算出する機能を有し、Z移動を行いながらある範囲の輝度波形の傾きを算出することで、その最大の傾きを合焦点とする機能を有する、輝度波形の傾きをオートフォーカスのフォーカス値とする AF 方法および装置並びに線幅測定装置である。 The present invention has a function of calculating the inclination of a certain range of luminance waveform of a video signal of a camera in image processing of a line width measuring apparatus having an XY stage and having a Z movement mechanism, and a certain range while performing Z movement. This is an AF method and apparatus, and a line width measuring device, which has a function of setting the maximum inclination of the luminance waveform as a focal point by calculating the inclination of the luminance waveform, and using the inclination of the luminance waveform as a focus value for autofocus.
一般的に輝度信号は合焦点付近で急峻な波形となる。しかし、被写体の表面に凹凸や段差が複数ある場合には合焦点が高さ方向に幾つも存在することがある。そのため、被写体によっては微小な凹凸があると、AF の種類や AF をかける場所により、どの高さを合焦点とするか予測できなかった。
本発明を適用すれば、線幅測定を行う画像領域と同一の場所の輝度波形の傾きをフォーカス値とすることで、表面の凹凸に影響され難く、最もふさわしい位置で合焦点できる。
In general, the luminance signal has a steep waveform near the focal point. However, when there are a plurality of irregularities and steps on the surface of the subject, there may be several focal points in the height direction. Therefore, depending on the subject, if there are minute irregularities, it was impossible to predict which height would be the focal point, depending on the type of AF and the location where AF was performed.
By applying the present invention, the focus value is set to the inclination of the luminance waveform at the same location as the image area where the line width measurement is performed, so that it can be focused at the most suitable position without being affected by surface irregularities.
図5は、XY ステージ上に、被写体(被写体 501 )として、パターン形成(パターン 601 を形成)された TFT 基板のマスクを載せたことを示す図である。図7は、被写体 501 の光路、画像、及び輝度波形を説明するための図である。図7では、図5に示すような反射率の高い短冊状のパターン(パターン以外の部分は反射率が低い)を持つ被写体 501 を載せた時の顕微鏡の画像と N ライン目の輝度波形を示したものである。
FIG. 5 is a diagram showing that a mask of a TFT substrate on which a pattern (
図7(1) と(2) において、(a) は TFT 基板のマスク上に形成されたパターンに顕微鏡から照射された光が反射する様子を模式的に示した断面図である。
図7(1) は合焦点に近い高さにおけるものであり、顕微鏡によって拡大されカメラによって撮像された被写体の画像は、(b) のように反射率の高い部分(パターン 601 )では光が反射され、輝度が強くなり、それ以外の部分では光の反射が弱いため輝度が弱くなる。この輝度波形は (c) のように急峻なものとなる。
7 (1) and 7 (2), (a) is a cross-sectional view schematically showing how light irradiated from a microscope is reflected on a pattern formed on a mask of a TFT substrate.
Fig. 7 (1) is at a height close to the focal point, and the image of the subject magnified by the microscope and captured by the camera reflects light at a highly reflective part (pattern 601) as shown in (b). Therefore, the luminance is increased, and the luminance is decreased in other portions because the reflection of light is weak. This luminance waveform is steep as shown in (c).
図7(2) は、ほとんど焦点が合っていない高さの場合におけるものであり、顕微鏡によって拡大されカメラによって撮像された被写体の画像は、(b) のように、図7(1) の (b) と比較して、ぼやけた映像となり、輝度波形も (c) のように、なだらかなものである。
このように、輝度波形は、合焦点において、急峻な波形を持つ。
Fig. 7 (2) shows a case where the height is almost out of focus. The image of the subject magnified by the microscope and captured by the camera is shown in Fig. 7 (1) ( Compared with b), the image is blurred and the luminance waveform is also smooth as shown in (c).
Thus, the luminance waveform has a steep waveform at the focal point.
図6は、XY ステージ上に、被写体(被写体 502 )として、パターン形成(パターン 601 とパターン 602 を形成)された TFT 基板のマスクを載せたことを示す図である。図8は、被写体 502 の光路、画像、及び輝度波形を説明するための図である。図8では、図6のように、XY ステージ上に高さの異なる反射率の高い短冊状の2つのパターン 601 と 602(パターン以外の部分は反射率が低い)を持つ被写体を載せた時の顕微鏡の画像と N ライン目の輝度波形を示したものである。
FIG. 6 is a diagram showing that a mask of a TFT substrate on which a pattern is formed (formation of
図8(1) は、パターン 601 が合焦点の場合におけるものであり、顕微鏡によって拡大されカメラによって撮像された被写体の画像は、(b) のようにパターン 601 の辺りは精細な画像となっているが、パターン 602 の辺りはぼやけた画像になっている。
この輝度波形は、(c) のように、パターン 601 の辺りは急峻な波形となり、パターン 602 の辺りがなだらかな波形となっている。
Fig. 8 (1) shows the case where the
As shown in (c), this luminance waveform has a steep waveform around the
図8(2) は、パターン 602 が合焦点の場合におけるものであり、顕微鏡によって拡大されカメラによって撮像された被写体の画像は、(b) のようにパターン 601 の辺りはぼやけた画像となっているが、パターン 602 の辺りは精細な画像になっている。
この輝度波形は、(c) のように、パターン 601 の辺りがなだらかな波形となり、パターン 602 の辺りは急峻な波形となっている。
Fig. 8 (2) shows the case where the
As shown in (c), this luminance waveform has a gentle waveform around the
オートフォーカス値を作成する画像エリアの設定が、パターン 601 とパターン 602 を両方含むような設定であった場合には、従来の方法ではパターン 601 とパターン 602 のどちらの合焦点高さに収斂するのか分からない。
また、オートフォーカス値を作成する画像領域を、パターン 601 またはパターン 602 のどちらかが収まるように設定することも可能であるが、その場合、オートフォーカス値を作成する画像領域が小さくなるため、輝度変化が少なくなり、S/N が悪い状態となり、正確に合焦点を捉えることが難しくなる。
If the image area setting for creating the autofocus value is a setting that includes both
It is also possible to set the image area for creating the autofocus value so that either the
そこで、本発明では、図9に示すように、輝度波形の水平方向に AF 処理をかける領域を設定し、その中の最大値と最小値を検出する。図9は、本発明の一実施例の合焦点位置を検出する方法を説明するための図である。
図9において、その輝度波形の最大値を 100 %、最小値を 0 %として、例えば 70 %と 30 %の位置を算出し(以降、70 %つまり上側を上スライスレベル、30 %つまり下側を下スライスレベルと呼ぶ)、その2点を結んだ直線の傾きをフォーカス値とするものである。
Therefore, in the present invention, as shown in FIG. 9, an area to be subjected to AF processing is set in the horizontal direction of the luminance waveform, and the maximum value and the minimum value are detected. FIG. 9 is a diagram for explaining a method of detecting a focal position according to an embodiment of the present invention.
In FIG. 9, assuming that the maximum value of the luminance waveform is 100% and the minimum value is 0%, for example, 70% and 30% positions are calculated (hereinafter 70%, ie, the upper slice level, 30%, ie, the lower side). The focus value is the slope of a straight line connecting the two points.
このようにすることで、微小な領域をフォーカス値算出の領域に設定しても、輝度波形の傾きさえあればその最大値をフォーカス値とすることができる。
なお、輝度波形は、画像の N ライン目のものであるが、実際の線幅測定においては、たいてい複数ラインを選択して、それらのラインの平均のエッジ位置などから、その幅を計測する場合が多い。
従って、本発明の場合も、線幅測定と同様に、1ラインのみではなく、複数ラインの平均の傾きを算出することで安定した AF 処理を行うことができる。
In this way, even if a very small area is set as a focus value calculation area, the maximum value can be set as the focus value as long as there is a gradient of the luminance waveform.
Note that the luminance waveform is for the Nth line of the image. However, in actual line width measurement, it is usually the case that multiple lines are selected and the width is measured from the average edge position of those lines. There are many.
Accordingly, in the case of the present invention, as in the case of line width measurement, stable AF processing can be performed by calculating the average inclination of not only one line but a plurality of lines.
本発明の実施形態を、一実施図1と図3を用いて説明する。図1は、本発明のAF 処理の一実施例を示すフローチャートである。図1は、図2のフローチャートに対して、Z 移動範囲設定ステップ 1 と Z 初期値移動ステップ 6 の間に、上下スライスレベル決定ステップを追加し、微分処理ステップ 24 の替わりに傾き検出ステップ 9 を用いたものである。
An embodiment of the present invention will be described with reference to FIGS. 1 and 3. FIG. 1 is a flowchart showing an embodiment of AF processing of the present invention. In FIG. 1, an upper / lower slice level determination step is added between the Z movement
図1において、測定前の準備として、操作者は、Z 移動範囲設定ステップ 1 で、PC 50 のアプリケーションソフトウエアの図4(詳細の説明は後述する。)のようなインターフェースで、XY ステージ 45 の垂直方向( Z 方向)の移動量である Z 移動範囲上限と Z 移動範囲下限の設定を行う。
更に、上下スライスレベル設定ステップ 2 で、同様に、PC 50 のアプリケーションソフトウエアの図4のようなインターフェースで、上スライスレベルと下スライスレベルの設定を行って測定を開始する。
In FIG. 1, as a preparation before measurement, the operator moves to the Z movement
Further, in the upper and lower slice level setting step 2, similarly, the upper slice level and the lower slice level are set using the interface as shown in FIG. 4 of the application software of the
測定を開始すると、まず、Z 初期値移動ステップ 6 では、Z 移動範囲設定ステップ 1 で設定した Z 移動範囲の上限値または下限値に移動する。即ち、XY ステージ 45 を Z 移動機構 44 で駆動して、AF 処理用の初期位置へ移動する。
その後、移動開始ステップ 7 では、AF 処理用の初期位置から垂直方向に XY ステージ 45 を移動する。Z 初期値移動ステップ 6 で上限値に移動するか下限値に移動するかは、図4の検索方向のパラメータである「上から下」または「下から上」により、決定される(図4は「上から下」設定時を表す)。
さらに、移動開始 7 で上下どちらに方向に移動するかも、「上から下」、「下から上」のパラメータによって決定される。「上から下」は初期値移動6 で上限値に移動し、その後、移動開始 7 で下に向かって移動する。「下から上」は下限値に移動した後、上に向かって移動する。
When measurement starts, first, in Z initial
Thereafter, in the
In addition, whether to move in the vertical direction at the start of
XY ステージ 45 が移動している間、カメラ映像取り込みステップ 8 により、カメラ 40 の映像を AF 装置 52 に取り込み続ける。
取り込んだ映像は、傾き検出ステップ 9 で指定された領域内の輝度波形の傾きを算出し、この傾きからフォーカス値作成ステップ 10 でフォーカス値を作成する。
ピーク値更新ステップ 11 では、これらのフォーカス値により、PC 50 のアプリケーションソフトウエアはフォーカス値の最大値かどうか判定し、もし、最大値であればフォーカス値の最大値を更新する。
即ち、PC 50 は、アプリケーションソフトウエアを動作させてフォーカス値の最大値かどうかを判定する。即ち、PC 50 に記憶していたフォーカス値の最大値と、PC 50 に AF 装置 52 から入力されたフォーカス値とを比較する。もし、PC 50 に記憶していたフォーカス値の最大値の方が大きいか同じならば、元の記憶していたフォーカス値の最大値を維持する。また、PC 50 に記憶していたフォーカス値の最大値より、入力されたフォーカス値の方が大きい場合は、元の記憶していたフォーカス値の最大値に替えて、入力されたフォーカス値をフォーカス値の最大値として、フォーカス値の最大値を更新する。
While the
For the captured image, the inclination of the luminance waveform in the area specified in the inclination detection step 9 is calculated, and the focus value is generated in the focus
In the peak
That is, the
移動範囲判定ステップ 12 では、Z 移動範囲設定 1 で設定した、Z 位置を判別し、もし、移動範囲外ならば、Z 移動停止ステップ 13 へ進み、移動範囲内なら映像取り込みステップ 8 に戻る。
Z 移動停止ステップ 13 では、XY ステージ 45 の垂直方向の移動を停止する。
ここまでの処理で、目標とする最大のフォーカス値が決定した。次に、最大フォーカス値を検索する処理を行う。
In the movement
In the Z
With the processing so far, the target maximum focus value has been determined. Next, a process for searching for the maximum focus value is performed.
Z 初期位置移動ステップ 14 では、AF 処理を行う初期位置、つまり、Z 移動範囲の上限値か下限値にXY ステージ 45 を再び移動する。そして、移動開始ステップ 15 で、上方向か下方向に移動する。ここでの上限値か下限値、上方向か下方向かは、Z 初期移動ステップ 6 と移動開始ステップ7 と同一である。
In the Z initial
更に、映像取り込みステップ 16では、カメラ 40 が取得した映像をAF 装置 52 に取り込む。
傾き検出ステップ 17 では、指定されたエリア内の輝度波形の傾きを算出し、この傾きからフォーカス値作成ステップ18 でフォーカス値を作成する。
Further, in the
In the
ピーク値近傍判定ステップ 19 では、フォーカス値が、ピーク値更新ステップ 11 で記憶あるいは更新しているフォーカス値の最大値の近傍の値であるかどうかを判別する。もし、近傍でないと判別すると、映像取り込みステップ 16 へ移動し処理を繰り返す。また、近傍であると判別すると Z 移動停止ステップ 20 へ進む。
Z 移動停止ステップ 20 では、AF 処理が終了した(合焦点した)として、XY ステージ 45 の移動を停止する。
In the peak value
In the Z
近傍とは、あらかじめ、ステップ 7 〜 13 のプロセスで算出された最大フォーカス値に、100 %以下のある割合(係数)を乗じた値の絶対値と最大フォーカス値の範囲にフォーカス値が入ることである。
合焦点を捕らえた後、映像取り込みステップ 21 では、再び映像を PC 50 に取り込み、線幅測定ステップ 22 で画像処理により、パターン幅を測定する。
最後に計測結果を結果表示ステップ 23ステップで表示する。
以上で一連の傾き AF による線幅測定のシーケンスが終了する。
“Near” means that the focus value enters the range between the absolute value of the maximum focus value calculated in the process of
After capturing the focal point, in the
Finally, the measurement result is displayed in the
This completes the sequence of line width measurement using a series of tilt AF.
図4は、本発明の AF 処理方法を使用した PC 50 のアプリケーションソフトウエアの AF パラメータ設定画面の一実施例を示す図である。図4の設定画面は、例えば、図3のモニタ 51 の表示画面上に表示され、操作者が図示しないマウス等のポインティングデバイスやキーボード等を使って、GUI( Graphical User Interface )操作することによって設定可能である。
FIG. 4 is a view showing an embodiment of an AF parameter setting screen of the application software of the
図4のように、Z 移動範囲設定である Z 移動範囲上限と Z 移動範囲下限、上スライスレベルと下スライスレベル、速度、及び検索方向などを AF パラメータ設定画面 101 のパラメータ設定部 102 の所定のボックス部分に入力する。
例えば、Z 移動範囲上限の値をボックス 103 内にキーボードで数値入力する。同様に、Z 移動範囲下限の値をボックス 104 内に入力する。また、ボックス 105 には上スライスレベルの値、ボックス 106 には下スライスレベルの値、ボックス 107 には XY ステージの上下移動の速度、ボックス 108 には検索する方向、即ち、上からまたは下のどちらから XY ステージを移動させるかを入力またはマウス操作によってメニューを表示させて選択する。また更に、最大フォーカス値は、テストボタン 110 を GUI 操作等で押すことで最大の傾きを再検索し、図4右側に、表示するようになっている。
As shown in FIG. 4, the Z movement range setting Z movement range upper limit and Z movement range lower limit, upper slice level and lower slice level, speed, search direction, etc. are set in the
For example, enter the numerical value of the upper limit of the Z movement range in the
図4のフォーカス曲線表示部 111 は、実際に線幅測定する前に傾き AF を試用できるようになっている。試用するには、テストボタン 110 を押すことで、図1のステップ 7 〜 13 で算出したフォーカス値の軌跡を実線で、ステップ 15 〜 20 で算出したフォーカス値の軌跡を破線で示すように、色分けや太さ、その他の装飾表示を行うようにして区別し易いようにしている。なお、フォーカス曲線表示部 111 の横軸は、Z 方向の移動距離、縦軸は、フォーカス値である。
The focus
図4において、AF パラメータの設定が終わったとき、操作者は、OK ボタン 112 を押すことにより、AF パラメータの設定画面を終了する。
また、操作は、それまで行っていた AF パラメータの設定に満足できない場合には、CANCEL ボタンを押すことで、今までの設定を削除する。
パラメータ設定の良し悪しの判断は、フォーカス曲線表示部 111 のフォーカス曲線の大小が、上下の範囲と左右の範囲に広がれば広がるほど良いので、操作者が視覚的に簡単に判断できる。
In FIG. 4, when the AF parameter setting is completed, the operator presses an
Also, if the operation is not satisfactory with the AF parameter settings that have been made so far, press the CANCEL button to delete the previous settings.
Whether the parameter setting is good or bad can be determined easily because the larger the size of the focus curve of the focus
上記のように AF パラメータの設定を終了したならば、同じロットや同じパターンであるならば、同じ AF パラメータの設定値を使用して、繰り返し合焦点が可能なため、その AF 設定のまま、次々と測定を繰り返すことができる。即ち、図1のステップから、ステップ 14 〜ステップ 23 を実行することにより、繰り返すことができる。
また、合焦点を本発明で実施し、線幅測定や外観検査等に利用する場合、上述の従来技術や発明の実施例では、画像処理により線幅等を算出していたが、被写体をセットしただけで、自動的に合焦点することにより、顕微鏡画像を直接観察したり、画像をモニタで観察することもできる。
After completing the AF parameter setting as described above, if the same lot or pattern is used, the same AF parameter setting value can be used to repeatedly focus. And measurement can be repeated. That is, it can be repeated by executing
Also, when focusing is performed in the present invention and used for line width measurement, appearance inspection, etc., the line width and the like are calculated by image processing in the above-described prior art and the embodiments of the invention, but the subject is set. Therefore, by automatically focusing on the microscope image, the microscope image can be directly observed or the image can be observed on the monitor.
図9で説明したように、輝度波形の傾きをフォーカス値として、図4に示すような手順でパラメータ設定を行うことにより、迅速なパラメータ設定が可能である。また、表示画面を見ながら、設定結果をテスト(試用)して、視覚的に見ることができるので、操作者の熟練度も不要である。
更に、計測等や観察を行うため、AF 処理する時間も、限られた領域の輝度波形の傾きを求め、フォーカス値として使用するため、高速な処理が実現でき、測定や観察の時間を短縮できる。
As described with reference to FIG. 9, parameter setting can be performed quickly by setting parameters according to the procedure shown in FIG. 4 using the gradient of the luminance waveform as the focus value. Further, since the setting result can be tested (trially used) and viewed visually while viewing the display screen, the skill level of the operator is also unnecessary.
In addition, the AF processing time is used for measurement and observation, and the slope of the luminance waveform in a limited area is obtained and used as the focus value, enabling high-speed processing and shortening the measurement and observation time. .
40:カメラ、 41:顕微鏡、 42:X 移動機構、 43:Y 移動機構、 44:Z 移動機構、 45:XY ステージ、 46:光源、 50:PC 、 51:モニタ、 52:AF 装置、 101:AF パラメータ設定画面、 102:パラメータ設定部、 103〜109:ボックス、 110:テストボタン、 111:フォーカス曲線表示部、 112:OK ボタン、 113:CANCEL ボタン、 501,502:被写体、 601,602:パターン。 40: Camera, 41: Microscope, 42: X movement mechanism, 43: Y movement mechanism, 44: Z movement mechanism, 45: XY stage, 46: Light source, 50: PC, 51: Monitor, 52: AF device, 101: AF parameter setting screen, 102: Parameter setting section, 103 to 109: Box, 110: Test button, 111: Focus curve display section, 112: OK button, 113: CANCEL button, 501, 502: Subject, 601, 602: Pattern .
Claims (5)
上記移動機構によって所定の距離を移動しながら、上記顕微鏡によって拡大され上記カメラによって撮像された上記被写体の画像から輝度波形を求め、上記被写体の所定の範囲の輝度波形の最大値と最小値を検出し、当該輝度波形の最大値を100%、最小値を0%として、予め0〜100%の中から選択されて設定された上側スライスレベルと下側スライスレベルでの交点2点を結んだ直線の傾きをフォーカス値として算出し、算出した上記フォーカス値が、所定の最大フォーカス値の範囲内であれば、上記フォーカス値を算出した時の距離を合焦点とすることを特徴とする合焦点方法。 In a focusing method of a measuring apparatus having a stage on which a subject is placed and having a moving mechanism for adjusting a distance between the microscope and the camera and the stage,
While moving a predetermined distance by the moving mechanism, a luminance waveform is obtained from the image of the subject magnified by the microscope and imaged by the camera, and the maximum value and the minimum value of the luminance waveform of the predetermined range of the subject are detected. A straight line connecting two intersection points at the upper slice level and the lower slice level that are selected and set in advance from 0 to 100%, with the maximum value of the luminance waveform being 100% and the minimum value being 0%. The focus method is characterized in that if the calculated focus value is within a range of a predetermined maximum focus value, the distance when the focus value is calculated is used as the in-focus point. .
上記画像処理部は、上記移動機構によって所定の距離を移動しながら、上記顕微鏡によって拡大され上記カメラによって撮像された上記被写体の画像から輝度波形を求め、上記被写体の所定の範囲の輝度波形の最大値と最小値を検出し、当該輝度波形の最大値を100%、最小値を0%として、予め0〜100%の中から選択されて設定された上側スライスレベルと下側スライスレベルでの交点2点を結んだ直線の傾きをフォーカス値として算出し、算出した上記フォーカス値が、所定の最大フォーカス値の範囲内であれば、上記フォーカス値を算出した時の距離を合焦点とすることを特徴とする合焦点装置。 In a focusing apparatus of a measuring apparatus having a stage on which a subject is placed, a microscope, a camera, a moving mechanism that adjusts the distance between the microscope and the camera and the stage, and an image processing unit,
The image processing unit obtains a luminance waveform from the image of the subject magnified by the microscope and imaged by the camera while moving a predetermined distance by the moving mechanism, and calculates the maximum luminance waveform of the predetermined range of the subject. Value and minimum value are detected, the maximum value of the luminance waveform is 100%, the minimum value is 0%, and the intersection between the upper slice level and the lower slice level selected and set in advance from 0 to 100% The inclination of a straight line connecting two points is calculated as a focus value, and if the calculated focus value is within the range of a predetermined maximum focus value, the distance when the focus value is calculated is set as the focal point. Feature focusing device.
上記画像処理部は、上記移動機構によって所定の距離を移動しながら、上記顕微鏡によって拡大され上記カメラによって撮像された上記被写体の画像から輝度波形を求め、上記被写体の所定の範囲の輝度波形の最大値と最小値を検出し、当該輝度波形の最大値を100%、最小値を0%として、予め0〜100%の中から選択されて設定された上側スライスレベルと下側スライスレベルでの交点2点を結んだ直線の傾きをフォーカス値として算出し、算出した上記フォーカス値が、所定の最大フォーカス値の範囲内であれば、上記フォーカス値を算出した時の距離を合焦点とすることを特徴とする測定装置。 In a measuring apparatus having a stage for placing a subject, a microscope, a camera, a moving mechanism for adjusting a distance between the microscope and the camera and the stage, and an image processing unit,
The image processing unit obtains a luminance waveform from the image of the subject magnified by the microscope and imaged by the camera while moving a predetermined distance by the moving mechanism, and calculates the maximum luminance waveform of the predetermined range of the subject. Value and minimum value are detected, the maximum value of the luminance waveform is 100%, the minimum value is 0%, and the intersection between the upper slice level and the lower slice level selected and set in advance from 0 to 100% The inclination of a straight line connecting two points is calculated as a focus value, and if the calculated focus value is within the range of a predetermined maximum focus value, the distance when the focus value is calculated is set as the focal point. Characteristic measuring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005333486A JP4791155B2 (en) | 2005-11-18 | 2005-11-18 | Focusing method, focusing device, and measuring apparatus using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005333486A JP4791155B2 (en) | 2005-11-18 | 2005-11-18 | Focusing method, focusing device, and measuring apparatus using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007140087A JP2007140087A (en) | 2007-06-07 |
JP4791155B2 true JP4791155B2 (en) | 2011-10-12 |
Family
ID=38203029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005333486A Active JP4791155B2 (en) | 2005-11-18 | 2005-11-18 | Focusing method, focusing device, and measuring apparatus using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4791155B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3032306B1 (en) * | 2013-08-09 | 2018-10-10 | Musashi Engineering, Inc. | Focus adjustment method and device therefor |
CN113630555B (en) * | 2021-08-20 | 2023-06-30 | RealMe重庆移动通信有限公司 | Shooting method, shooting device, terminal and readable storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57212405A (en) * | 1981-06-24 | 1982-12-27 | Hitachi Ltd | Focusing method for projection exposure |
JPS6111714A (en) * | 1984-06-26 | 1986-01-20 | Matsushita Electric Ind Co Ltd | Automatic focus adjuster of microscope |
JPH0812315B2 (en) * | 1986-09-10 | 1996-02-07 | 株式会社ロゼフテクノロジー | Auto focus method |
JP3544463B2 (en) * | 1997-10-28 | 2004-07-21 | ペンタックス株式会社 | Patent application title: Focusing device and image reading device provided with the focusing device |
-
2005
- 2005-11-18 JP JP2005333486A patent/JP4791155B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007140087A (en) | 2007-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5427018B2 (en) | System and method for fast approximate focus | |
JP6239232B2 (en) | High performance edge focus tool | |
US9329024B2 (en) | Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus | |
JP4585876B2 (en) | Sample observation method and apparatus using a scanning electron microscope | |
JP5840431B2 (en) | Hardness tester and hardness test method | |
JP5972563B2 (en) | Edge detection using structured illumination | |
JP2005156554A (en) | Estimation optimum focus position determination control method for image measurement inspection system, and control method for training mode operation of image measurement inspection system | |
JP5164598B2 (en) | Review method and review device | |
JP2011095263A (en) | Autofocus video tool for accurate dimensional inspection and method therefor | |
JP2016139467A (en) | Sample observation method and sample observation device | |
JP2006093251A (en) | Dimension measuring method and its device | |
JP5258678B2 (en) | Hardness testing machine | |
JP2009523244A (en) | System and method for inspecting workpieces with fine features | |
JP2006301270A (en) | Device and method for automatic focusing | |
JP4328671B2 (en) | Hardness testing machine | |
JP4791155B2 (en) | Focusing method, focusing device, and measuring apparatus using the same | |
WO2008065741A1 (en) | Confocal microsope | |
JP2009058377A (en) | Inspection apparatus | |
JP2008159574A (en) | Scanning electron microscope | |
JP2015078860A (en) | Hardness tester and hardness testing method | |
JP2003294419A (en) | Measuring instrument for infinitesimal dimension | |
TWI751184B (en) | Methods of generating three-dimensional (3-d) information of a sample and three-dimensional (3-d) measurement systems | |
JP2019219357A (en) | Imaging apparatus, imaging method, and imaging program | |
JP4878708B2 (en) | Confocal scanning microscope, alignment method thereof, program, and storage medium | |
JP2015210396A (en) | Aligment device, microscope system, alignment method and alignment program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110721 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4791155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |