JP4675095B2 - Mark detection method and apparatus - Google Patents
Mark detection method and apparatus Download PDFInfo
- Publication number
- JP4675095B2 JP4675095B2 JP2004353242A JP2004353242A JP4675095B2 JP 4675095 B2 JP4675095 B2 JP 4675095B2 JP 2004353242 A JP2004353242 A JP 2004353242A JP 2004353242 A JP2004353242 A JP 2004353242A JP 4675095 B2 JP4675095 B2 JP 4675095B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- lens
- region
- image
- binary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、被検体(特に眼鏡レンズなどの光学レンズ)の撮像画像から、当該被検体に設けられたマークを検出するマーク検出方法及び装置に関する。 The present invention relates to a mark detection method and apparatus for detecting a mark provided on a subject from a captured image of the subject (particularly an optical lens such as an eyeglass lens).
未加工の眼鏡レンズを眼鏡装用者の所望する眼鏡フレームに装着する場合、その眼鏡フレームの形状に合わせて眼鏡レンズの縁摺り加工を行う。その際、図5に示すように、眼鏡装用者の瞳孔中心と眼鏡レンズ1のフィッティングポイント2とが一致するように、眼鏡レンズ1のフィッティングポイント2を加工の基準点として縁摺り加工する。眼鏡レンズ1のフィッティングポイント2をレンズ表面に直接表示することができないため、眼鏡レンズ1、特に累進屈折力眼鏡レンズの設計においては、設計の基準となる位置(例えばプリズム測定基準点O)から所定の距離だけ離れた位置に隠しマーク3と呼ばれるマークを予め形成しておき、この隠しマーク3の位置から眼鏡レンズ1の遠用部及び近用部の度数測定位置、フィッティングポイント2等の位置を導き出せるようにしている。
When an unprocessed spectacle lens is attached to a spectacle frame desired by a spectacle wearer, the spectacle lens is trimmed in accordance with the shape of the spectacle frame. At that time, as shown in FIG. 5, edge processing is performed using the
また、仮基準レイアウトマーク4は、前記隠しマーク3を付与する際の基準を示すものであり、更に、眼鏡レンズ1の製造工程において位置決めするための基準点として用いられる。これらの隠しマーク3及び仮基準レイアウトマーク4は、一般的には刻印マークと称され、例えば、レーザー刻印装置によってレンズ表面にマーキングされる。刻印マークは、眼鏡レンズ1の商品としての性質上、レンズ表面の凹凸を最小限に抑えるように付与され、かつ、マーク自身ができるだけ目立たないことが要求される。そのため、これらの隠しマーク3及び仮基準レイアウトマーク4は、眼鏡レンズ1の表面などにおいて、通常、肉眼で認識することができず、必要に応じて(例えば、特定の角度から観察することによって)認識できるように施される。尚、図5中の符号8は、眼鏡フレームの玉型形状を示す。
The temporary
従来、眼鏡レンズの表面に施された隠しマーク3や仮基準レイアウトマーク4等の刻印マークを観察し検出するためのマーク検出方法及び装置が、例えば本出願人により特許文献1に記載されている。
Conventionally, a mark detection method and apparatus for observing and detecting engraved marks such as a
このマーク検出装置では、表面に隠しマーク3等が施された被検体(被検レンズ)としての眼鏡レンズ1を撮像装置が撮像し、この撮像画像を画像処理装置が取り込んで画像処理を実施する。この画像処理は、撮像画像を2値化し領域を分離して2値画像とし、この2値画像に含まれる図形を、図形の特徴パラメータを用いて抽出するものであり、この画像処理により上記隠しマーク3などを検出している。
ところが、上述のマーク検出装置では、眼鏡レンズ1の中央部付近にある隠しマーク3を検出する際には支障はない。しかし、眼鏡レンズ1の周辺部に存在する仮基準レイアウトマーク4は、例えば図6に示す2値画像において、仮基準レイアウトマーク4Aまたは4Bにおける輪郭を表す外側のリング形状の図形R1が、眼鏡レンズ1の周縁Wと干渉して接触する場合がある。この場合には、リング形状の上記図形R1を抽出できず、従って、仮基準レイアウトマーク4A、4Bを良好に検出できない恐れがある。
However, the above-described mark detection apparatus has no problem when detecting the
本発明の目的は、上述の事情を考慮してなされたものであり、被検体に施されたマークを当該被検体の撮像画像から検出する際に、この撮像画像を2値化して領域を分離した2値画像においてマークが他領域と干渉する場合にも、当該マークを良好に検出できるマーク検出方法及び装置を提供することにある。 An object of the present invention has been made in consideration of the above-described circumstances, and when detecting a mark on a subject from a captured image of the subject, the captured image is binarized to separate regions. Another object of the present invention is to provide a mark detection method and apparatus that can detect a mark well even when the mark interferes with other regions in the binary image.
請求項1に記載の発明に係るマーク検出方法は、眼鏡レンズにリング状の円形状の図形で設けられたマークを当該眼鏡レンズの撮像画像から検出するマーク検出方法であって、上記眼鏡レンズの撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域において上記マークの輪郭を表す外側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出し、当該マークを表す上記図形が上記眼鏡レンズの周縁と干渉し、これによって当該マークを適正に検出し得ない場合に、上記2値画像から選択する領域を反転して他方の領域を選択し、この他方の領域において上記マークの輪郭を表し且つ上記外側の図形と相似する内側の図形を、図形の特徴パラメータを用いて抽出して当該マークを上記眼鏡レンズの周縁から分離し検出することを特徴とするものである。 A mark detection method according to a first aspect of the present invention is a mark detection method for detecting a mark provided as a ring-shaped circular figure on a spectacle lens from a captured image of the spectacle lens , The picked-up image is binarized to separate the areas into binary images, the area is selected from the binary image, and the outer graphic representing the outline of the mark in the selected one area is used using the graphic feature parameters. If the figure representing the mark interferes with the peripheral edge of the spectacle lens and the mark cannot be detected properly, the region selected from the binary image is inverted. to select the other area, the inner shape of similar to the and the outer shapes represent the outline of the mark in the other region, the mer extracted by using the feature parameters of the graphic The is characterized in that the detecting and separating from the periphery of the eyeglass lens.
請求項2に記載の発明に係るマーク検出方法は、請求項1に記載の発明において、上記撮像画像を指定の閾値を用いて2値化し領域を分離して2値画像とし、この2値画像から上記閾値に基づき上記領域を選択し、上記閾値以上の一方の領域においてマークの輪郭を表す外側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出し、このマークを適正に検出し得ない場合に、上記2値画像から上記閾値未満の他方の領域を選択し、この他方の領域において上記マークの輪郭を表し且つ上記外側の図形に相似する内側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出することを特徴とするものである。 A mark detection method according to a second aspect of the present invention is the mark detection method according to the first aspect of the present invention, wherein the captured image is binarized using a specified threshold value, and the region is separated into a binary image. The area is selected based on the threshold value, and the outer figure representing the outline of the mark in one area equal to or higher than the threshold value is extracted using the feature parameter of the figure to detect the mark, and the mark is appropriately If it cannot be detected, the other area less than the threshold value is selected from the binary image, and an inner figure that represents the outline of the mark in the other area and is similar to the outer figure is selected. The mark is extracted by using a parameter to detect the mark.
請求項3に記載の発明に係るマーク検出方法は、請求項1または2に記載の発明において、上記マークが仮基準レイアウトマークであることを特徴とするものである。
Mark detection method according to the invention of
請求項4に記載の発明に係るマーク検出装置は、眼鏡レンズにリング状の円形状の図形で設けられたマークを当該眼鏡レンズの撮像画像から検出するマーク検出装置であって、上記眼鏡レンズを撮像して撮像画像を得る撮像手段と、上記撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域において上記マークの輪郭を表す外側の図形を、他方の領域において上記マークの輪郭のを表し且つ上記外側の図形と相似する内側の図形を、それぞれ図形の特徴パラメータを用いて抽出して上記マークを検出する画像処理手段と、を有することを特徴とするものである。 A mark detection apparatus according to a fourth aspect of the present invention is a mark detection apparatus for detecting a mark provided in a ring-shaped circular shape on a spectacle lens from a captured image of the spectacle lens , wherein the spectacle lens is An image pickup means for picking up an image to obtain a picked-up image, binarizing the picked-up image, separating the region into a binary image, selecting the region from the binary image, and defining the outline of the mark in one of the selected regions the outer graphic representing an image processing means for the inner shape of similar to the and the outer shapes represent the outline of the mark in the other area, are extracted respectively by using the feature parameters of the graphic detecting said mark , Characterized by having.
請求項5に記載の発明に係るマーク検出装置は、請求項4に記載の発明において、上記画像処理手段は、2値画像から選択した一方の領域においてマークの輪郭を表す外側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出し、当該マークを表す上記図形が上記眼鏡レンズの周縁と干渉し、これによって当該マークを適正に検出し得ない場合に、上記2値画像から選択する領域を反転して他方の領域を選択し、この他方の領域において、上記マークの輪郭を表し且つ上記外側の図形と相似する内側の図形を、図形の特徴パラメータを用いて抽出して当該マークを上記眼鏡レンズの周縁から分離し検出することを特徴とするものである。 According to a fifth aspect of the present invention, in the mark detection apparatus according to the fourth aspect, the image processing means is configured to display an outer graphic representing the outline of the mark in one region selected from the binary image. When the mark is detected by extraction using the feature parameter of the image, the figure representing the mark interferes with the peripheral edge of the spectacle lens, and thus the mark cannot be detected properly. Invert the selected area to select the other area, and in this other area, extract the inner figure that represents the outline of the mark and is similar to the outer figure by using the feature parameters of the figure. The mark is separated from the peripheral edge of the spectacle lens and detected.
請求項6に記載の発明に係るマーク検出装置は、請求項4または5に記載の発明において、上記画像処理手段は、撮像画像を指定の閾値を用いて2値化し領域を分離して2値画像とし、この2値画像から上記閾値に基づき上記領域を選択し、上記閾値以上の一方の領域においてマークの輪郭を表す外側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出し、当該マークを表す上記図形が上記眼鏡レンズの周縁と干渉し、これによって当該マークを適正に検出し得ない場合に、上記2値画像から上記閾値未満の他方の領域を選択し、この他方の領域において上記マークの輪郭を表し且つ上記外側の図形に相似する内側の図形を、図形の特徴パラメータを用いて抽出して当該マークを上記眼鏡レンズの周縁から分離し検出することを特徴とするものである。 According to a sixth aspect of the present invention, in the mark detection apparatus according to the fourth or fifth aspect, the image processing means binarizes the captured image using a specified threshold value and separates the region into a binary value. An image is selected from the binary image based on the threshold value, and an outer figure that represents the outline of the mark in one area that is equal to or greater than the threshold value is extracted using the feature parameter of the figure to detect the mark. When the figure representing the mark interferes with the peripheral edge of the spectacle lens and the mark cannot be detected properly, the other area less than the threshold is selected from the binary image, child graphic in the region of the inner that similar to and the outer shapes represent the outline of the mark, to separate the mark from the periphery of the spectacle lens was extracted by using the feature parameters of the graphic detection The one in which the features.
請求項7に記載の発明に係るマーク検出装置は、請求項4乃至6のいずれかに記載の発明において、上記マークが仮基準レイアウトマークであることを特徴とするものである。
Mark detecting apparatus according to the invention of
請求項1乃至3のいずれかに記載の発明によれば、撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域においてマークの輪郭の図形を抽出して当該マークを検出し、このマークの輪郭が他領域と干渉して当該マークを適正に検出し得ない場合に、2値画像から選択する領域を反転し、この選択した他方の領域において、上記マークの輪郭の内側の図形を抽出して当該マークを、上述の干渉する他領域から分離して検出するので、2値画像においてマークが他領域と干渉している場合にも、当該マークを簡単且つ良好に検出することができる。
According to the invention described in any one of
請求項4乃至7のいずれかに記載の発明によれば、画像処理手段が、撮像手段により撮像された撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域においてマークの輪郭の図形を、他方の領域においてマークの輪郭の内側の図形を、それぞれ図形の特徴パラメータを用いて抽出して上記マークを検出することから、2値画像から選択した一方の領域においてマークの輪郭の図形を抽出したとき、この輪郭が他領域と干渉して当該マークを適正に検出し得ない場合に、2値画像から選択する領域を反転し、この選択した他方の領域において、上記マークの輪郭の内側の図形を抽出して当該マークを、上述の干渉する他領域から分離して検出する。このため、2値画像においてマークが他領域と干渉している場合にも、当該マークを簡単且つ良好に検出することができる。
According to the invention of any one of
以下、本発明を実施するための最良の形態を、図面に基づき説明する。
図1は、本発明に係るマーク検出装置の一実施形態を示す光学系のレイアウト図である。
The best mode for carrying out the present invention will be described below with reference to the drawings.
FIG. 1 is a layout diagram of an optical system showing an embodiment of a mark detection apparatus according to the present invention.
この図1に示すマーク検出装置10は、被検体としての被検レンズL(本実施の形態では図5に示す眼鏡レンズ1)の表面などに施された複数のマーク、特に被検レンズLの周辺部に施された仮基準レイアウトマーク4を、その被検レンズLの画像を観察することで検出するものであり、図1に示すように、照明光学系11、撮像光学系12、及び画像処理手段としての画像処理装置25を有して構成される。これらの照明光学系11と撮像光学系12は、ビームスプリッタ(ハーフミラー)13を用いて、照明光学系11の光軸P1と撮像光学系12の光軸P2とが同一となるように配置されている。
The
上記照明光学系11は、その光軸P1上に光源14、コンデンサレンズ15、ピンホール(絞り)16、ビームスプリッタ13、対物レンズ17、結像レンズ18及び反射型スクリーン19が順次配置されて構成され、被検レンズLを載置する位置が対物レンズ17と結像レンズ18との間に設定される。上記光源14、コンデンサレンズ15及びピンホール16を光源ユニット14Aと称する。
The illumination
光源14から発せられた光束はコンデンサレンズ15にて集光され、ピンホール16を通過して均一で効率の良い照明光となる。この照明光が、ビームスプリッタ13に反射されて対物レンズ17に入射する。この対物レンズ17は、その焦点位置が光源ユニット14Aにおけるピンホール16の位置となるように配置されているため、対物レンズ17から被検レンズLを載置する位置を含むまでの範囲、つまり本実施形態では、対物レンズ17から結像レンズ18に至るまでの範囲で、光束は、主光線が照明光学系11の光軸P1(つまり対物レンズ17及び結像レンズ18の光軸と一致)に平行な平行光となる。この平行光の照明光が被検レンズLに照射され、この被検レンズLを射出した光束が結像レンズ18を経て反射型スクリーン19に到達し、被検レンズLの仮基準レイアウトマーク4等を含む画像が反射型スクリーン19に投影される。
The light beam emitted from the
前記撮像光学系12は、その光軸P2上に反射型スクリーン19、結像レンズ18、対物レンズ17、ビームスプリッタ13、及びCCDカメラなどの撮像手段としての撮像装置20が順次配置されて構成され、結像レンズ18と対物レンズ17との間に被検レンズLを載置する位置が設定される。
The imaging
撮像装置20は、当該撮像装置20に内蔵の撮像レンズの光学絞り面(不図示)が、対物レンズ17の焦点位置に配置される。これにより、対物レンズ17から被検レンズLを載置する位置を含むまでの範囲、つまり本実施形態では、対物レンズ17から結像レンズ18までの範囲で、光束は、主光線が撮像光学系12の光軸P2(つまり、対物レンズ17及び結像レンズ18の光軸と一致)に平行な平行光となる。この配置により、撮像装置20の受光面と反射型スクリーン19とが共役となり、反射型スクリーン19に投影された被検レンズLの画像が反射され、結像レンズ18、上記被検レンズL、対物レンズ17及びビームスプリッタ13を透過して、撮像装置20の受光面(CCD素子面)に結像される。
In the
上記撮像装置20が撮像する被検レンズLの撮像倍率は、被検レンズLの全表面に対応する視野範囲(例えば、被検レンズLの直径が80mmの場合には直径82mmの視野範囲)を、撮像レンズ20の受光面(例えば1/2インチサイズのCCD素子面)に確保できる倍率であり、この倍率は、撮像装置20及び対物レンズ17の配置位置などを調整することにより実現される。
The imaging magnification of the lens L to be imaged by the
また、上記光源14は、被検レンズLの仮基準レイアウトマーク4等のマークを良好に投影してシャープな画像を得るために、例えば赤色光または近赤外線を発光するLEDが用いられる。また、ビームスプリッタ13は、透過率と反射率の比が7:3のものが用いられる。更に、反射型スクリーン19は、反射率を高めるために、ガラスやアルミニウムなどの微細粒子を塗布した反射シートが貼着されて構成される。この反射型スクリーン19は、表面の明るさ及び背景を均一化させるために、モータ21によって高速回転(例えば3400rpm)され、この状態で被検レンズLの画像を反射する。
The
結像レンズ18は正の焦点距離を有するレンズ(凸レンズ)であり、前述のごとく被検レンズLの載置位置と反射型スクリーン19との間に配置される。この結像レンズ18は、図2に示すように、被検レンズLを通過した光束を集光する作用を有する。特に、被検レンズLがマイナス度数レンズである場合には、この被検レンズLを通過した光線A、B(光線Aは平行光、光線Bは後述。以下同様)はマイナス度数の影響で広げられ発散するが、この発散する光線A及びBを結像レンズ18が集光して反射型スクリーン19に投影する。この結像レンズ18は、被検レンズLを載置する位置に接近して配置されることが、被検レンズLを通過した後の上記発散光の大部分を捕捉して集光させる点、および結像レンズ18と反射型スクリーン19を最適なサイズに設定できる点などで好ましく、当該結像レンズ18と被検レンズLを載置する位置との距離Mは、例えば13mmに設定される。
The
ところで、一般に、撮像装置を用いて被検レンズL(眼鏡レンズ1)の上方から当該被検レンズLを撮影し、この被検レンズLの画像を観察すると、被検レンズLの画像の周辺部に影S(図5)が発生してしまう。この影Sが発生すると、被検レンズLの周辺部に施された仮基準レイアウトマーク4は、上記影Sによって認識できなくなってしまい、その位置を検出することができない場合がある。
By the way, generally, when the subject lens L is photographed from above the subject lens L (eyeglass lens 1) using an imaging device and the image of the subject lens L is observed, the peripheral portion of the image of the subject lens L is observed. A shadow S (FIG. 5) is generated. When this shadow S occurs, the temporary
このように、被検レンズL(眼鏡レンズ1)の周辺部に影Sが発生する原因は、次のように考えられる。
まず、光源から被検レンズLに入射される光束が発散光であると、被検レンズLがコバ(縁)の厚いマイナス度数レンズ(負の焦点距離を有するレンズ)の場合、図2に示すように、被検レンズLの縁部分に入射した光線Cは、被検レンズLの第1面5で屈折して被検レンズL内を進行した後、被検レンズLの第2面6で全反射して被検レンズLのコバ面7に至り、被検レンズLの外部へ射出できなくなるために、結果として、上記影Sが発生すると考えられる。
Thus, the cause of the shadow S occurring in the peripheral portion of the lens L (eyeglass lens 1) can be considered as follows.
First, if the light beam incident on the test lens L from the light source is diverging light, the test lens L is a negative power lens (lens having a negative focal length) with a thick edge (edge) as shown in FIG. As described above, the light beam C incident on the edge portion of the test lens L is refracted by the
また、被検レンズLがマイナス度数レンズであって、この被検レンズLの縁部分に入射した光束が被検レンズLから射出した場合、この射出した光束は、マイナス度数レンズのマイナス度数の影響で広げられて発散してしまうので、反射型スクリーンに至らず、その結果として、上記影Sが発生してしまうとも考えられる。 Further, when the test lens L is a negative power lens and a light beam incident on the edge portion of the test lens L is emitted from the test lens L, the emitted light beam is influenced by the negative power of the negative power lens. It is considered that the shadow S is generated as a result of not spreading to the reflection type screen.
これに対し、本実施形態のマーク検出装置10では、図1に示す対物レンズ17と結像レンズ18との間を進む光束は、主光線が照明光学系11の光軸P1及び撮像光学系12の光軸P2に平行な平行光となり、この平行光が対物レンズ17から被検レンズLへ入射されることから、被検レンズLがコバ(縁)の厚いマイナス度数レンズであっても、この被検レンズLの縁部分に入射した光線Aは、図2に示すように、被検レンズLの第1面5で屈折して被検レンズL内を進行した後、当該被検レンズLの第2面6での全反射が減少し、被検レンズL外へ射出しやすくなるので、マイナス度数レンズの縁部分においても光束を通過させることができる。従って、被検レンズLがマイナス度数レンズである場合にも、この被検レンズLの画像の周辺部に生ずる影S(図5)が減少する。
On the other hand, in the
しかも、被検レンズLの載置位置と反射型スクリーン19との間に結像レンズ18が配置されているので、この結像レンズ18によって、被検レンズLから反射型スクリーン19へ向かう光線A及びBを集光することができる。このため、被検レンズLがマイナス度数レンズである場合に、このマイナス度数レンズを通過した光束が広がり発散することを結像レンズ18の集光作用により抑制できるので、この点からも、被検レンズLがマイナス度数レンズの場合に、この被検レンズLの画像の周辺部に生ずる影Sが減少する。
In addition, since the
更に、結像レンズ18が被検レンズLの載置位置に接近して配置されたことから、被検レンズLがマイナス度数レンズであって、このマイナス度数レンズを通過した光線A及びBが広がり発散しても、その大部分の光束を結像レンズ18が捕捉して集光し、その発散を抑制して反射型スクリーン19へ導くことができる。この点からも、被検レンズLがマイナス度数レンズの場合に、この被検レンズLの画像の周辺部に生ずる影Sが減少する。
Further, since the
被検レンズLがプラス度数レンズの場合には、このレンズの縁が薄いので、この被検レンズLの縁部分を光束が良好に通過し、この被検レンズLの画像の周辺部に影Sが発生せず、この周辺部に施された仮基準レイアウトマーク4等を、被検レンズLの画像を観察することで良好に検出できる。同様に、被検レンズLがマイナス度数レンズの場合にも、上述のようにして被検レンズLの画像の周辺部に生ずる影Sが低減されたので、この被検レンズLの周辺部に施された仮基準レイアウトマーク4等を良好に検出できる。
When the test lens L is a plus power lens, since the edge of the lens is thin, the light beam passes through the edge of the test lens L well, and a shadow S is formed on the periphery of the image of the test lens L. The temporary
図1に示すように、被検レンズLの載置位置と反射型スクリーン19との間に結像レンズ18が配置されたことから、被検レンズLがマイナス度数レンズの場合に、このマイナス度数レンズを通過した光束が図2の光線A及びBに示すように広がり発散しても、この光束の発散を上記結像レンズ18の集光作用によって抑制でき、反射型スクリーン19へ至る光束の光量の低下を抑えることができる。このため、被検レンズL(マイナス度数レンズ)の画像が明るくなる。
As shown in FIG. 1, since the
結像レンズ18が被検レンズLを載置する位置に接近して配置されている場合には、被検レンズL(マイナス度数レンズ)を通過して広がり発散した光束の大部分を結像レンズ18が捕捉して集光し、その発散を抑制することができるので、反射型スクリーン19へ至る光束の光量の低下をより一層抑えることができ、被検レンズL(マイナス度数レンズ)の画像がより一層明るくなる。
When the
被検レンズLがプラス度数レンズの場合には、このレンズ自身の集光作用によって被検レンズLの画像は明るいが、上述のように被検レンズLがマイナス度数レンズの場合にも、その被検レンズLの画像を明るくできる。このため、被検レンズLがマイナス度数レンズの場合とプラス度数レンズの場合とで生ずる被検レンズLの画像の明暗差が小さくなる。 When the test lens L is a plus power lens, the image of the test lens L is bright due to the condensing action of the lens itself, but when the test lens L is a negative power lens as described above, the test lens L is also bright. The image of the lens L can be brightened. For this reason, the difference in brightness of the image of the test lens L generated when the test lens L is a minus power lens and a plus power lens is reduced.
結像レンズ18が被検レンズLを載置する位置に接近して配置された場合には、特に被検レンズLがマイナス度数レンズの場合に、この被検レンズLを通過した光束の発散がより一層抑制されるので、結像レンズ18及び反射型スクリーン19が小型化される。
When the
図1に示す対物レンズ17と結像レンズ18との間を進む光束は、主光線が照明光学系11の光軸P1及び撮像光学系12の光軸P2に平行な平行光となることから、照明光学系11及び撮像光学系12をアフォーカル光学系とすることができる。このため、平行光が通る対物レンズ17と結像レンズ18との間で被検レンズLが光軸方向に位置変化しても、撮像装置20が撮像する被検レンズLの画像の撮像倍率は一定となる。撮像装置20の被写界深度が深いことから被検レンズLの画像のピントも適切となる。従って、被検レンズLがプラス度数レンズとマイナス度数レンズとで厚さが異なっても、また、被検レンズLのセット位置に多少の位置ずれが生じていても、撮像装置20により、被検レンズLの画像が同一の撮像倍率で明瞭に撮像される。
The light beam traveling between the
図1に示すように、被検レンズLの表面の画像は当該被検レンズLを通って反射型スクリーン19に投影され、この反射型スクリーン19にて反射されて上記被検レンズLを通り撮像装置20に取り込まれる。従って、被検レンズLが乱視軸の入ったレンズであって、反射型スクリーン19に投影された画像に乱視軸による歪みが生じていても、被検レンズLの表面の画像が当該被検レンズLを2度通過して撮像装置20へ至るので、乱視軸による画像の歪みが相殺されて、撮像装置20により歪みのない画像が撮影される。
As shown in FIG. 1, the image of the surface of the test lens L is projected on the
また、図1に示すように、対物レンズ17と被検レンズLを載置する位置との間に、正の焦点距離を有する補助レンズ22を脱着可能に配置した場合には、被検レンズLに入射する光束を収束光にすることが可能となる。この収束光の光線Bは、図2に示すように、被検レンズL内に入射されて当該被検レンズL内を進行した後、この被検レンズLの第2面6での全反射が光線Aに比べてより減少し、被検レンズL外へより一層射出しやすくなり、被検レンズLであるマイナス度数レンズの縁部分においても光束を通過させる機能が増大する。このため、特に、強度数の被検レンズL(マイナス度数レンズ)であっても画像の周辺部に生ずる影S(図5)がより一層減少し、更に、例えばφ80mmほどの大きな口径の被検レンズL(マイナス度数レンズ)であっても画像の周辺部に生ずる影Sがより一層減少する。この補助レンズ22の脱着は、上述のように被検レンズLのレンズ度数や口径等を考慮して適宜選択される。
As shown in FIG. 1, when the
上述のように撮像装置20により撮影された被検レンズL(眼鏡レンズ1)の撮像画像は、この撮像装置20により光電変換されて画像信号となり、図1に示す画像処理装置25に取り込まれる。この画像処理装置25は、後述のごとく画像処理して、被検レンズL(眼鏡レンズ1)の撮像画像から複数の仮基準レイアウトマーク4を検出する。この検出された複数の仮基準レイアウトマーク4の位置から隠しマーク3の位置が算出される。
The captured image of the lens L (eyeglass lens 1) photographed by the
つまり、図5に示すように、隠しマーク3は、仮基準レイアウトマーク4のうち、互いに対向して施される○印の仮基準レイアウトマーク4A及び4Bを結んだ直線E上にあり、更に×印の仮基準レイアウトマーク4Cから上記直線Eに垂直に下ろした直線Fと上記直線Eとの交点をOとすると、この交点Oから両側に等距離の位置に設けられる。上記交点Oが、前述のプリズム測定基準点である。
That is, as shown in FIG. 5, the
上記画像処理装置25が実施する画像処理は、まず、撮像装置20が撮像した撮像画像を、指定の閾値を用いて2値化し領域を分離して2値画像とし、次に、この2値画像から上記閾値に基づき上記領域を選択し、選択した一方の領域において仮基準レイアウトマーク4の輪郭の図形を、選択した他方の領域において仮基準レイアウトマーク4の輪郭の内側の図形を、それぞれ図形の特徴パラメータを用いて抽出し、上記仮基準レイアウトマーク4を検出する。
The image processing performed by the
ここで用いる閾値は「動的閾値」である。この「動的閾値」の場合には、撮像装置20により取り込まれた、輝度ムラや影の存在によって輝度レベルが変動する画像を画素ごとに、あるいは小さい領域ごとに、適切な閾値を指定して(上述の「指定の閾値」と同義)白と黒に二極化した2値画像として取得できる。これに対し、「固定閾値」の場合には、一定の輝度以上の領域全体が黒または白に塗りつぶされてしまい、必要な画像を抽出することが出来なくなる場合がある。このため、本実施の形態では、「固定閾値」ではなく「動的閾値」が用いられ、この動的閾値を指定したものを「指定の閾値」と称する。この「指定の閾値」を用いて2値画像を生成する場合においては、例えば、元の画像の注目する画素を中心とする小さい画像領域内で[1]から[100]の輝度レベルを持っていれば平均輝度レベル[50]を指定の閾値とし、また別の小さい画像領域内で[20]から[100]の輝度レベルを持っていれば平均輝度レベル[60]を指定の閾値とする。このように、小さい画像領域ごとに閾値を指定して元の画像全体に対する2値画像が生成される。
The threshold used here is a “dynamic threshold”. In the case of this “dynamic threshold value”, an appropriate threshold value is designated for each pixel or each small area of an image captured by the
また、一般的に図形の特徴パラメータとは、領域が有する図形の形状に関する特徴である種類項目(例えば、面積・丸み・縦横寸法比・周囲長等)を数値表示したものである。特定の領域を抽出するためには、図形の特徴パラメータにおいて、その領域だけが他の部分とかけ離れた数値を持つ種類項目を選択して、その種類項目における数値範囲を指定する必要がある。 In general, the figure feature parameter is a numerical display of type items (for example, area, roundness, vertical / horizontal dimension ratio, perimeter length, etc.) that are characteristics relating to the shape of the figure in the region. In order to extract a specific area, it is necessary to select a type item having a numerical value that is different from other parts only in the feature parameter of the graphic and specify a numerical range in the type item.
本実施の形態では、白と黒に2極化された2値画像において、まず黒領域を選択してこの黒領域における仮基準レイアウトマーク4A、4Bのリング形状の図形(後述の図6のR1)の特徴より、面積・丸み・縦横寸法比等の特徴パラメータを用いて指定の数値範囲の領域を抽出する。そのリング形状の図形の特徴が明確でない場合には、白領域を選択してこの白領域における仮基準レイアウトマーク4A、4Bのリング形状の内側の円形状の図形(後述の図6のR2)の特徴より、面積・丸み等の特徴パラメータを用いて指定の数値範囲の領域を抽出する。 In the present embodiment, in a binary image that is bipolarized into white and black, first, a black area is selected, and ring-shaped figures of temporary reference layout marks 4A and 4B in the black area (R1 in FIG. 6 described later). ), A region in a specified numerical range is extracted using feature parameters such as area, roundness, aspect ratio, and the like. If the characteristics of the ring-shaped figure are not clear, a white area is selected and a circular figure (R2 in FIG. 6 described later) inside the ring shape of the temporary reference layout marks 4A and 4B in the white area is selected. From the features, a region in a specified numerical range is extracted using feature parameters such as area and roundness.
つまり、画像処理装置25は、撮像装置20からの撮像画像を指定の閾値を用いて2値化し領域(例えば黒領域、白領域)を分離して2値画像とし、この2値画像から上記閾値に基づき上記領域を選択し、この選択した上記閾値以上の一方の領域(例えば黒領域)において仮基準レイアウトマーク4の輪郭の図形(例えば○印の仮基準レイアウトマーク4A及び4Bの場合には、輪郭を表す外側のリング形状の図形R1(図6))を、面積や丸みなどの図形の特徴パラメータを用いて抽出して当該仮基準レイアウトマーク4を検出する。しかし、例えば図6に示すように、上記2値画像において、仮基準レイアウトマーク4Aまたは4Bの外側のリング形状の上記図形R1が、他領域としての被検レンズLの周縁Wに干渉して接触している場合には、仮基準レイアウトマーク4A、4Bの外側のリング形状の図形R1を、図形の特徴パラメータを用いて抽出することができず、これらの仮基準レイアウトマーク4A及び4Bを適正に検出できない。
That is, the
このように仮基準レイアウトマーク4を適正に検出し得ない場合には、画像処理装置25は、撮像画像を2値化し領域を分離して得た上記2値画像から、上記閾値未満の他方の領域(例えば白領域)を選択し、この他方の領域において、仮基準レイアウトマーク4の輪郭の内側の図形(例えば○印の仮基準レイアウトマーク4A及び4Bの場合には、図6に示すリング形状の内側の円形状の図形R2)を、面積や丸み等の図形の特徴パラメータを用いて抽出して、当該仮基準レイアウトマーク4を検出する。
As described above, when the temporary
上述の画像処理手順を含めた、仮基準レイアウトマーク4の検出のために画像処理装置25が実施する画像処理手順を、図3及び図4を用いて以下に説明する。
An image processing procedure performed by the
画像処理装置25は、撮像装置20から被検レンズL(眼鏡レンズ1)の撮像画像を取り込む(S1)。画像処理装置25は、この撮像画像を指定の閾値に基づいて2値化して領域を分離した2値画像とし(S2)、この2値画像から上記指定の閾値以上の領域(例えば黒領域)を選択する(S3)。
The
次に、画像処理装置25は、ステップS3にて選択した例えば黒領域の中から、図3(A)に示す仮基準レイアウトマーク4A及び4Bにおける輪郭のリング形状の図形(図6のR1)を、面積及び丸み等の図形の特徴パラメータを用いて抽出する(S4)。画像処理装置25は、リング形状の図形を2個抽出したか否かを次に判断し(S5)、このリング形状の図形を2個抽出していれば、仮基準レイアウトマーク4A及び4Bを適正に検出したと判断する。
Next, the
画像処理装置25は、ステップS5においてリング形状の図形を2個抽出していない場合には、ステップS2において撮像画像を2値化し領域を分離して得た2値画像のうち、前記指定の閾値未満の領域(例えば白領域)を選択する(S6)。画像処理装置25は、この選択した例えば白領域の中から、仮基準レイアウトマーク4A及び4Bにおける輪郭のリング形状の内側の円形状の図形(白丸;図6のR2)を、面積や丸み等の図形の特徴パラメータを用いて抽出する(S7)。
If two ring-shaped figures are not extracted in step S5, the
画像処理装置25は、リング形状の内側の円形状の図形が2個抽出されたか否かを判断し(S8)、この円形状の図形を2個抽出していれば、仮基準レイアウトマーク4A及び4Bを適正に検出したと判断する。このステップS8において、リング形状の内側の円形状の図形を2個抽出していない場合には、画像処理装置25は検出不良であると判断して、この時点で仮基準レイアウトマーク4の検出を終了する。
The
画像処理装置25は、ステップS5及びS8において、仮基準レイアウトマーク4A及び4Bを適正に検出している場合に、検出したこれらの仮基準レイアウトマーク4A及び4Bと特定の位置関係にある×印の他の仮基準レイアウトマーク4Cが存在する領域、つまり図3(C)に示す仮基準レイアウトマーク4Aと仮基準レイアウトマーク4Bとを結んだ直線Eに直交し、且つ画像の中心を通る位置にある仮基準レイアウトマーク4Cが存在する領域を図3(B)に示すように検出領域26とし、仮基準レイアウトマーク4Cの検出のための検出領域を上記検出領域26に絞り込む(S9)。
If the
画像処理装置25は、この検出領域26における2値画像から、前記指定の閾値以上の領域、例えば黒領域を選択する(S10)。そして、画像処理装置25は、この選択した黒領域の中から、仮基準レイアウトマーク4Cにおけるバツ形状の図形を、面積及び直線等の図形の特徴パラメータを用いて抽出する(S11)。
The
次に、画像処理装置25は、バツ形状の図形を1個抽出したか否かを判断し(S12)、このバツ形状の図形を1個抽出していない場合には、仮基準レイアウトマーク4Cが検出不良であると判断して、仮基準レイアウトマーク4の検出を終了する。
Next, the
画像処理装置25は、このステップS12において、バツ形状の図形を1個検出している場合には、仮基準レイアウトマーク4Cを適正に検出したと判断して、図3(C)に示すように、検出した仮基準レイアウトマーク4Aと仮基準レイアウトマーク4Bとを結んだ直線Eに、検出した仮基準レイアウトマーク4Cから垂直に直線Fを下ろし、これらの直線Eと直線Fとの交点Oの位置を検出して、仮基準レイアウトマーク4の検出を完了する(S13)。
When one cross-shaped figure is detected in step S12, the
以上のように構成されたことから、上記実施の形態によれば、次の効果(1)及び(2)を奏する。
(1)画像処理装置25は、撮像装置20により撮像された撮像画像を指定の閾値を用いて2値化し領域を分離して2値画像とし、この2値画像から上記閾値に基づいて領域を選択し、選択した上記閾値以上の一方の領域(例えば黒領域)において、仮基準レイアウトマーク4の輪郭の図形(例えば、仮基準レイアウトマーク4A、4Bの外側のリング形状の図形R1)を、また選択した上記閾値未満の他方の領域(例えば白領域)において、仮基準レイアウトマーク4の輪郭の内側の図形(例えば、仮基準レイアウトマーク4A、4Bのリング形状の内側における円形状の図形R2)を、それぞれ図形の特徴パラメータを用いて抽出して、上記仮基準レイアウトマーク4を検出する。
このため、2値画像から選択した一方の領域(例えば黒領域)において、仮基準レイアウトマーク4の輪郭の図形(例えば仮基準レイアウトマーク4A、4Bのリング形状の図形R1)を抽出したとき、この輪郭の図形が被検レンズLの周縁Wと干渉して接触して、当該仮基準レイアウトマーク4(4A、4B)を適正に検出し得ない場合には、2値画像から選択する領域を反転し、この反転して選択した他方の領域(例えば白領域)において、仮基準レイアウトマーク4の輪郭の内側の図形(例えば、仮基準レイアウトマーク4A、4Bのリング形状の内側の円形状の図形R2)を抽出して、当該仮基準レイアウトマーク4(4A、4B)を、上述の干渉する被検レンズLの周面Wから分離して検出する。この結果、2値画像において仮基準レイアウトマーク4が被検レンズLの周縁Wと干渉している場合にも、当該仮基準レイアウトマーク4を簡単且つ良好に検出することができる。
With the configuration as described above, the following effects (1) and (2) are achieved according to the above embodiment.
(1) The
For this reason, when the figure of the outline of the temporary reference layout mark 4 (for example, the ring-shaped figure R1 of the temporary reference layout marks 4A and 4B) is extracted in one area selected from the binary image (for example, the black area), When the contour figure interferes with and touches the peripheral edge W of the lens L and the temporary reference layout mark 4 (4A, 4B) cannot be detected properly, the area selected from the binary image is inverted. In the other region (for example, the white region) selected by reversing, the figure inside the outline of the temporary reference layout mark 4 (for example, the circular figure R2 inside the ring shape of the temporary reference layout marks 4A and 4B). ) Are extracted, and the temporary reference layout mark 4 (4A, 4B) is detected separately from the peripheral surface W of the lens L to be interfered with. As a result, even when the temporary
(2)撮像画像を指定の閾値を用いて2値化し領域を分離して2値画像とし、この2値画像から上記閾値に基づいて領域を選択し、選択した上記閾値以上の一方の領域(例えば黒領域)において、仮基準レイアウトマーク4の輪郭の図形(例えば、仮基準レイアウトマーク4A、4Bの外側のリング形状の図形R1)を、図形の特徴パラメータを用いて抽出して上記仮基準レイアウトマーク4を検出し、このとき、仮基準レイアウトマーク4(4A、4B)の輪郭の図形が被検レンズLの周縁Wと干渉して接触して、当該仮基準レイアウトマーク4(4A、4B)を適正に検出し得ない場合に、上記2値画像から選択する領域を反転し、この反転して選択した他方の領域(例えば白領域)において、仮基準レイアウトマーク4の輪郭の内側の図形(例えば、仮基準レイアウトマーク4A、4Bのリング形状の内側の円形状の図形R2)を抽出して、当該仮基準レイアウトマーク4(4A、4B)を、上述の干渉する被検レンズLの周面Wから分離して検出する。この結果、2値画像において仮基準レイアウトマーク4が被検レンズLの周縁Wと干渉している場合にも、当該仮基準レイアウトマーク4を簡単且つ良好に検出することができる。
(2) The captured image is binarized using a specified threshold value, and the region is separated into a binary image. A region is selected from the binary image based on the threshold value, and one region equal to or greater than the selected threshold value ( For example, in the black region), the figure of the outline of the temporary reference layout mark 4 (for example, the ring-shaped figure R1 outside the temporary reference layout marks 4A and 4B) is extracted using the feature parameters of the figure, and the temporary reference layout described above is extracted. The
以上、本発明を上記実施の形態に基づいて説明したが、本発明はこれに限定されるものではない。
例えば、上記実施の形態の仮基準レイアウトマーク4等のマークは、成形型による転写によって形成されたもの、またはレーザー等により凸形状または凹形状に形成されたものなど、いかなるマークであってもよい。
As mentioned above, although this invention was demonstrated based on the said embodiment, this invention is not limited to this.
For example, the mark such as the temporary
また、上記実施の形態では、被検レンズLが眼鏡レンズ1の場合を述べたが、望遠鏡や顕微鏡などに用いられる光学レンズであってもよい。
In the above-described embodiment, the case where the lens L to be examined is the
更に、上記実施の形態では、仮基準レイアウトマーク4A、4Bが○印の場合を述べたが、この仮基準レイアウトマーク4A、4Bは□印、△印などであっても本発明を適用できる。 Furthermore, in the above-described embodiment, the case where the temporary reference layout marks 4A and 4B are marked with a circle is described.
1 眼鏡レンズ(被検体)
4、4A、4B、4C 仮基準レイアウトマーク
10 マーク検出装置
20 撮像装置
25 画像処理装置
L 被検レンズ
R1 リング形状の図形
R2 円形状の図形
W 眼鏡レンズの周縁
1 Eyeglass lens (subject)
4, 4A, 4B, 4C Temporary
Claims (7)
上記眼鏡レンズの撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域において上記マークの輪郭を表す外側の図形を、図形の特徴パラメータを用いて抽出して当該マークを検出し、当該マークを表す上記図形が上記眼鏡レンズの周縁と干渉し、これによって当該マークを適正に検出し得ない場合に、上記2値画像から選択する領域を反転して他方の領域を選択し、この他方の領域において上記マークの輪郭を表し且つ上記外側の図形と相似する内側の図形を、図形の特徴パラメータを用いて抽出して当該マークを上記眼鏡レンズの周縁から分離し検出することを特徴とするマーク検出方法。 A mark detection method for detecting a mark provided by a ring-shaped circular figure on a spectacle lens from a captured image of the spectacle lens ,
The captured image of the spectacle lens is binarized to separate a region into a binary image, the region is selected from the binary image, and an outer graphic representing the outline of the mark in the selected region is Select from the binary image if the mark is detected by extraction using feature parameters, and the figure representing the mark interferes with the peripheral edge of the spectacle lens and the mark cannot be detected properly. to invert the region to select the other area, the inner shape of similar to the and the outer shapes represent the outline of the mark in the other region, the mark was extracted using the feature parameters of the graphic A mark detection method comprising: detecting by separating from a peripheral edge of the spectacle lens .
上記眼鏡レンズを撮像して撮像画像を得る撮像手段と、
上記撮像画像を2値化し領域を分離して2値画像とし、この2値画像から上記領域を選択し、選択した一方の領域において上記マークの輪郭を表す外側の図形を、他方の領域において上記マークの輪郭を表し且つ上記外側の図形と相似する内側の図形を、それぞれ図形の特徴パラメータを用いて抽出して上記マークを検出する画像処理手段と、
を有することを特徴とするマーク検出装置。 A mark detection device that detects a mark provided by a ring-shaped circular figure on a spectacle lens from a captured image of the spectacle lens ,
Imaging means for capturing the spectacle lens to obtain a captured image;
The captured image is binarized to separate a region into a binary image, the region is selected from the binary image, and the outer graphic representing the outline of the mark in one selected region Image processing means for detecting the mark by extracting an inner figure that represents the outline of the mark and is similar to the outer figure by using feature parameters of the figure,
A mark detection apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353242A JP4675095B2 (en) | 2004-12-06 | 2004-12-06 | Mark detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353242A JP4675095B2 (en) | 2004-12-06 | 2004-12-06 | Mark detection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006163735A JP2006163735A (en) | 2006-06-22 |
JP4675095B2 true JP4675095B2 (en) | 2011-04-20 |
Family
ID=36665695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004353242A Expired - Fee Related JP4675095B2 (en) | 2004-12-06 | 2004-12-06 | Mark detection method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4675095B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782453B (en) * | 2019-11-06 | 2023-03-03 | 西安工程大学 | Printed matter quality detection method based on image feature matching |
CN113064251B (en) * | 2021-03-24 | 2023-03-14 | 上海晨兴希姆通电子科技有限公司 | Lens positioning method and system thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06111070A (en) * | 1992-09-30 | 1994-04-22 | Toshiba Corp | Character recognizing device |
JPH11216650A (en) * | 1998-01-30 | 1999-08-10 | Nidek Co Ltd | Centering device |
-
2004
- 2004-12-06 JP JP2004353242A patent/JP4675095B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006163735A (en) | 2006-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206620B2 (en) | Member position recognition device, positioning device, joining device, and member joining method | |
JP2010524073A (en) | High depth of field imaging system and iris authentication system | |
JPH06229873A (en) | Method and apparatus for inspecting visual- acuity correcting lens | |
JPH08211282A (en) | Autofocus microscope | |
TWI729186B (en) | Optical measurement of opening dimensions in a wafer | |
CN109642848B (en) | Image inspection apparatus and image inspection method | |
TWI809043B (en) | Range differentiators for auto-focusing in optical imaging systems | |
JP2002022599A (en) | Image pickup process device for ophthalmic lens | |
JP4675095B2 (en) | Mark detection method and apparatus | |
CN116137893A (en) | Inspection device, inspection method, and method for manufacturing piston | |
JP4514036B2 (en) | Lens imaging device | |
US10591747B2 (en) | Contact lens inspection method and system | |
JP2005091025A (en) | Lens fastener and method | |
JP2009222449A (en) | Distance measuring device using lens system | |
JP7123403B2 (en) | Image inspection equipment | |
JP2002250700A (en) | Method and device for inspecting pattern | |
CN210375628U (en) | Lens detecting system | |
JP2006153536A (en) | Mark detection method and apparatus | |
JPH01318908A (en) | Inspecting apparatus of surface of specular body | |
JP4483039B2 (en) | Inspection device | |
US11055836B2 (en) | Optical contrast enhancement for defect inspection | |
JPH0963547A (en) | Inspecting method for can opening | |
JP2007279085A (en) | Confocal microscope | |
KR101050711B1 (en) | How to adjust optical autofocus for multifocal images | |
JP2022117754A (en) | Examination device, control method thereof, and ophthalmologic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |