JP6574674B2 - Coating inspection device and inspection method - Google Patents
Coating inspection device and inspection method Download PDFInfo
- Publication number
- JP6574674B2 JP6574674B2 JP2015203312A JP2015203312A JP6574674B2 JP 6574674 B2 JP6574674 B2 JP 6574674B2 JP 2015203312 A JP2015203312 A JP 2015203312A JP 2015203312 A JP2015203312 A JP 2015203312A JP 6574674 B2 JP6574674 B2 JP 6574674B2
- Authority
- JP
- Japan
- Prior art keywords
- coating
- laser beam
- inspection
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000576 coating method Methods 0.000 title claims description 71
- 239000011248 coating agent Substances 0.000 title claims description 68
- 238000007689 inspection Methods 0.000 title claims description 54
- 238000000034 method Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 31
- 239000003973 paint Substances 0.000 claims description 17
- 238000010422 painting Methods 0.000 claims description 11
- 238000010226 confocal imaging Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 98
- 230000007547 defect Effects 0.000 description 42
- 238000012545 processing Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011247 coating layer Substances 0.000 description 4
- 239000000049 pigment Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000009500 colour coating Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000007591 painting process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002940 repellent Effects 0.000 description 1
- 239000005871 repellent Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は塗装表面の不具合を検査するための検査技術に関し、特に自動車等の車両の車体塗装表面の検査に好適な検査技術に関するものである。 The present invention relates to an inspection technique for inspecting defects on a painted surface, and more particularly to an inspection technique suitable for inspecting a painted body surface of a vehicle such as an automobile.
自動車の製造工場あるいは修理工場において、塗装された自動車の車体塗装面の不具合を検査する際に、従来では検査員の目視による検査が行なわれている 。この検査技術では、目視の際に必要とされる車体塗装面を照明するための装置が大がかりなものになり、しかも車体塗装面の全面にわたって均一に照明することが難しい。そのため、照明の不均一や変動により安定した検査結果を得ることが難しく、さらには異なる複数の検査員間での検査判断の個人差により一定の検査品質を得ることが難しいという問題がある。 Conventionally, an inspection by an inspector has been carried out when inspecting a defect of a painted body of a painted automobile in an automobile manufacturing factory or a repair shop. In this inspection technique, a device for illuminating the painted surface of the vehicle body required for visual observation becomes a large-scale device, and it is difficult to uniformly illuminate the entire surface of the painted surface of the vehicle body. Therefore, there are problems that it is difficult to obtain a stable inspection result due to unevenness and fluctuations in illumination, and that it is difficult to obtain a certain inspection quality due to individual differences in inspection judgment among a plurality of different inspectors.
近年ではこの種の塗装検査の自動化が検討されており、特許文献1では自動車の塗装面を撮像装置で撮像し、撮像した画像から塗装の不具合を検査する技術が提案されている。また、特許文献2では、自動車の車体の塗装表面をカメラで撮像してデジタル像を取得し、このデジタル像を画像処理装置において解析する際のノイズを除去することにより、塗装表面の検査精度を高めた技術が提案されている。 In recent years, automation of this type of coating inspection has been studied, and Patent Document 1 proposes a technique for imaging a painted surface of an automobile with an imaging device and inspecting a coating defect from the captured image. Moreover, in patent document 2, the coating surface of the vehicle body of a motor vehicle is imaged with a camera, a digital image is acquired, the noise at the time of analyzing this digital image in an image processing apparatus is removed, and the inspection precision of a coating surface is improved. Advanced technology has been proposed.
自動車の塗装は多層塗装構造を採用しており、通常は車体基材の表面に下塗り層、中塗り層、上塗り層を重ねて塗装している。塗装の表面に生じる不具合は、主として上塗り層の塗装不良が原因となることが多い。特に近年の自動車塗装に広く採用されているメタリック塗装やパール塗装では、上塗り層が光透過性の塗料からなる上層のクリア層と、下層のメタリック層やパール層からなる多層構造をしているため、この下層のメタリック層やパール層が原因となる不具合も発生する。例えば、メタリック塗装の場合には、表面凹凸、塗り残し、塗装修正痕等の不具合は上層のクリア層の塗装不良が原因であるが、光輝ムラや塗り透け等の不具合は下層のメタリック層の塗装不良が原因になることもある。 The coating of automobiles employs a multi-layer coating structure, and usually the undercoat layer, intermediate coat layer, and overcoat layer are overlaid on the surface of the vehicle body substrate. Problems that occur on the surface of the coating are often mainly caused by poor coating of the topcoat layer. In particular, metallic coatings and pearl coatings, which are widely used in recent automobile coatings, have a multilayer structure consisting of an upper clear layer made of light-transmitting paint and a lower metallic layer and pearl layer. In addition, defects caused by the underlying metallic layer and pearl layer also occur. For example, in the case of metallic coating, defects such as surface irregularities, unpainted surfaces, and coating correction marks are caused by defective coating of the upper clear layer. Defects can also be the cause.
特許文献1,2の技術は塗装表面、すなわち上塗り層の上層の塗装面を検査する技術であるので、この上層の塗装面の不具合を検査しても、前記した理由によりその不具合の原因が上層にあるのか下層にあるのかを判定することは困難である。そのため、従来では塗装検査を行なっても、不具合の原因が上塗り層の上層又は下層のいずれであるかを判定する検査を改めて行なう必要が生じる。また、検査で得られた検査結果情報を直ちに塗装工程にフィードバックさせて塗装を改善するシステムが確立されておらず、結果として検査結果情報を有効活用することが難しいという問題もある。 Since the techniques of Patent Documents 1 and 2 are techniques for inspecting the coating surface, that is, the upper coating surface of the top coating layer, even if the fault of the upper coating surface is inspected, the cause of the fault is the upper layer for the reasons described above. It is difficult to determine whether it is in the lower layer or the lower layer. Therefore, conventionally, even if a coating inspection is performed, it is necessary to perform a new inspection to determine whether the cause of the failure is the upper layer or the lower layer of the topcoat layer. There is also a problem that it is difficult to effectively utilize the inspection result information as a result of the fact that the inspection result information obtained in the inspection is immediately fed back to the painting process to improve the coating.
本発明の目的は、多層塗装構造の塗装面の不具合を正確に検査することを可能にするとともに、検査から得られた検査結果情報の有効活用を図った塗装の検査技術を提供するものである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a coating inspection technique that makes it possible to accurately inspect defects in a painted surface of a multi-layer coating structure, and to make effective use of inspection result information obtained from the inspection. .
本発明は、下層と、その上側に塗布された光透過性のある上層とで2層に塗布された塗装面を撮像する光学手段と、撮像して得られた画像に基づいて塗装面を検査する制御手段とを備える塗装検査装置であって、光学手段は、所定の波長の第1レーザ光と、第1レーザ光よりも波長の長い第2レーザ光を用いた共焦点撮像装置として構成され、光学手段は上層の塗装面に第1レーザ光と第2レーザ光を合焦状態に投射し、第2レーザ光は下層の塗装面を含む焦点深度を有する波長に設定され、制御手段は第1レーザ光での第1撮像出力と、第2レーザ光での第2撮像出力に基づいて検査を行なう構成とされる。この場合において、光学手段は、第1レーザ光と第2レーザ光を塗装面に対して投射し、かつ塗装面に対して合焦させる共通の対物レンズを備えることが好ましい。 The present invention provides an optical means for imaging a painted surface applied in two layers, a lower layer and a light-transmitting upper layer applied on the upper side, and inspects the painted surface based on the image obtained by imaging. The optical inspection unit is configured as a confocal imaging apparatus using a first laser beam having a predetermined wavelength and a second laser beam having a longer wavelength than the first laser beam. The optical means projects the first laser light and the second laser light in focus on the upper paint surface, the second laser light is set to a wavelength having a focal depth including the lower paint surface, and the control means The inspection is performed based on the first imaging output with one laser beam and the second imaging output with the second laser beam. In this case, the optical means preferably includes a common objective lens that projects the first laser light and the second laser light onto the painted surface and focuses the painted surface on the painted surface.
本発明において、制御手段はサーバに有線又は無線接続され、制御手段で検査された検査結果情報を当該サーバに有線又は無線接続される外部端末との間で共有する構成とすることが好ましい。 In the present invention, it is preferable that the control unit is connected to the server by wire or wirelessly, and the inspection result information inspected by the control unit is shared with an external terminal connected to the server by wire or wirelessly.
本発明の塗装検査方法は、少なくとも2層に塗布された塗装面に対し、所定の波長の第1レーザ光と、第1レーザ光よりも波長の長い第2レーザ光を用いた共焦点撮像装置での撮像を行い、第1レーザ光での第1の撮像出力と、第2レーザ光での第2の撮像出力に基づいて塗装面の検査を行なう。 The coating inspection method of the present invention is a confocal imaging device using a first laser beam having a predetermined wavelength and a second laser beam having a wavelength longer than that of the first laser beam on a coating surface applied to at least two layers. The coating surface is inspected based on the first imaging output with the first laser light and the second imaging output with the second laser light.
本発明によれば、第1レーザ光での第1撮像出力から上層の塗装面を検査することができ、第2レーザ光での第2撮像出力から下層の塗装面を検査することができる。これにより、上層の塗装面において検査された不具合の原因が上層の塗装にあるか、下層の塗装にあるかが迅速に判定できる。また、検査結果情報をサーバに伝送することで、外部端末との間で検査結果情報が共有でき、塗装技術の改善に有効となる。 According to the present invention, the upper painted surface can be inspected from the first imaging output with the first laser light, and the lower painted surface can be inspected from the second imaging output with the second laser light. Thereby, it is possible to quickly determine whether the cause of the defect inspected on the upper layer coating surface is the upper layer coating or the lower layer coating. Further, by transmitting the inspection result information to the server, the inspection result information can be shared with an external terminal, which is effective for improving the painting technique.
次に、本発明の実施の形態について図面を参照して説明する。この実施形態では自動車の車体塗装の検査について例示している。自動車の車体塗装は、図1に示すように、車体パネルを構成している基材Bの表面に、下塗り層T1、中塗り層T2、上塗り層T3が多層に塗装されている。また、いわゆるメタリック塗装では、上塗り層T3として、光輝性顔料の塗料を用いた下層T31と、光透過性のあるクリア塗料を用いた上層T32からなる二層の塗装を行っている。この光輝性顔料の塗料は、塗料材にアルミナフレークと称する光反射性のあるアルミナの微細片Fを含有したものが用いられる。 Next, embodiments of the present invention will be described with reference to the drawings. In this embodiment, an example of inspection of automobile body coating is illustrated. As shown in FIG. 1, in an automobile body coating, an undercoat layer T1, an intermediate coat layer T2, and an overcoat layer T3 are coated in multiple layers on the surface of a base material B constituting a vehicle body panel. In the so-called metallic coating, two layers of the upper coating layer T3 are formed, which are a lower layer T31 using a glitter pigment coating and an upper layer T32 using a light-transmitting clear coating. As the paint for the glitter pigment, a paint material containing fine pieces F of alumina having light reflectivity called alumina flakes is used.
このメタリック塗装では、図2に示すように、前記した5種類の塗装不具合が発生する。「表面凹凸」、「塗り残し」、「塗装修正痕」の各不具合は上塗り層T3の上層T32の塗装不良が原因である。「表面凹凸」は、上塗り層T3の下層T31は正常であるがその上面に埃や微細異物が付着したため、上層T32の表面に凸状部が生じたものである。「塗り残し」は、下層T31は正常であるがその表面に油脂が付着したため、当該油脂の撥水作用によって上層T32の塗料が付着されない部位が生じたものである。「塗装修正痕」は、下層T31と上層T32の両塗装は正常であるが、塗装後に上層T32の表面を部分的に修正処理したときに生じる微細傷等である。 In this metallic coating, as shown in FIG. 2, the above-described five types of coating defects occur. Each defect of “surface unevenness”, “unpainted”, and “painting correction trace” is caused by poor coating of the upper layer T32 of the topcoat layer T3. “Surface irregularities” are those in which the lower layer T31 of the topcoat layer T3 is normal, but dust and fine foreign matter have adhered to the upper surface thereof, so that convex portions are formed on the surface of the upper layer T32. “Unpainted” is a region where the lower layer T31 is normal but the oil and fat adheres to the surface thereof, and therefore a portion where the paint of the upper layer T32 does not adhere due to the water repellent action of the oil and fat occurs. “Coating correction marks” are fine scratches or the like that occur when both the lower layer T31 and the upper layer T32 are normal, but the surface of the upper layer T32 is partially corrected after coating.
一方、「光輝ムラ」と「塗り透け」は下層T31の塗装不良が原因である。「光輝ムラ」は、下層T31に含まれるアルミナフレークFの分布が偏ったために、当該アルミナフレークFによる光反射にムラが生じ、上層T32の塗装面での光輝度にムラが生じたものである。「塗り透け」は、下層T31に塗装膜厚の薄い部位が生じため、この部位で中塗り層T2が透けて見え、上層T32の塗装面に色ムラが生じたものである。 On the other hand, “brightness unevenness” and “paint-through” are caused by poor coating of the lower layer T31. “Brightness unevenness” is a result of unevenness in light reflection by the alumina flake F because the distribution of alumina flakes F contained in the lower layer T31 is biased, and unevenness in light brightness on the painted surface of the upper layer T32. . “Through coating” is a portion where the coating film thickness is thin in the lower layer T31, and the intermediate coating layer T2 is seen through in this portion, and color unevenness occurs on the coating surface of the upper layer T32.
これら5種類の不具合はいずれも上層T32の塗装面を検査することによって検査可能であるが、いずれの不具合も上層T32の表面における色ムラや光輝ムラとして検出されるため、正確に判別することは難しい。特に、後者の2つの不具合は前者の3つの不具合と似たような現象が生じる場合があるため、これらを他と差別化して正確に検査することは困難である。 Any of these five types of defects can be inspected by inspecting the painted surface of the upper layer T32. However, since all the defects are detected as color unevenness or brightness unevenness on the surface of the upper layer T32, it is possible to determine accurately. difficult. In particular, since the latter two defects may cause phenomena similar to the former three defects, it is difficult to accurately inspect these differently from the others.
このような自動車の車体塗装における不具合を検査するための本発明にかかる検査装置は、図3に示すように、検査場には所定間隔おいて平行にレール100が敷設されており、下向きコ字型をした枠体110が駆動部120によってレール100上で移動できるように配設されている。この枠体110で囲まれる領域には、被検査対象として車体塗装が施された自動車CARを停車させるようになっている。 As shown in FIG. 3, the inspection apparatus according to the present invention for inspecting defects in car body painting of automobiles has rails 100 laid in parallel at predetermined intervals in the inspection field, and A frame 110 having a shape is arranged so as to be movable on the rail 100 by the drive unit 120. In a region surrounded by the frame body 110, an automobile CAR that has been subjected to vehicle body coating as an object to be inspected is stopped.
前記枠体110には複数個の光学ユニット1が取り付けられている。これら複数個の光学ユニット1は本発明における光学手段であり、それぞれ車体塗装面の所要の領域を走査して塗装面を撮像し、撮像信号を出力することが可能な撮像装置として構成されている。この光学ユニット1が所要の領域の撮像を完了すると、枠体110がレール100に沿って所定距離だけ移動され、その移動位置において再度光学ユニット1により同様の撮像を行なう。これを繰り返すことにより車体塗装面の全面の撮像が実行されるようになっている。 A plurality of optical units 1 are attached to the frame 110. The plurality of optical units 1 are optical means in the present invention, and are configured as an imaging device capable of scanning a required region of the painted surface of the vehicle body, imaging the painted surface, and outputting an imaging signal. . When the optical unit 1 completes imaging of a required area, the frame 110 is moved by a predetermined distance along the rail 100, and the optical unit 1 performs similar imaging again at the moving position. By repeating this, imaging of the entire surface of the vehicle body painted surface is executed.
前記各光学ユニット1は制御ユニット2に電気接続されている。この制御ユニット2は本発明における制御手段であり、所定のプログラムで動作する画像処理部21と演算部22と駆動制御部23が設けられている。前記画像処理部21は前記光学ユニット1から出力されてくる撮像信号に基づいて画像処理を行い、塗装面の画像を生成する。前記演算部22は得られた画像についての画像解析を行い、塗装面における不具合を検査して検査結果情報を取得する。前記駆動制御部23は前記駆動部120を制御して前記枠体110を移動制御する。 Each optical unit 1 is electrically connected to a control unit 2. The control unit 2 is a control means in the present invention, and is provided with an image processing unit 21, an operation unit 22, and a drive control unit 23 that operate according to a predetermined program. The image processing unit 21 performs image processing based on the imaging signal output from the optical unit 1 to generate an image of the painted surface. The arithmetic unit 22 performs image analysis on the obtained image, inspects a defect on the painted surface, and acquires inspection result information. The drive control unit 23 controls the drive unit 120 to control the movement of the frame 110.
前記制御ユニット2には、検査対象の自動車の車体形状データ、車体型式・色番号等の車種情報24が入力されるようになっている。また、検査を実行する際のシーケンス制御信号等を含む検査工程制御信号25が入力されるようになっている。制御ユニット2は、車種情報24を参照しながら検査工程制御信号25に対応して駆動部23を制御して枠体1110を移動させ、同時に画像処理部21と演算部22において自動車の車体塗装面の検査を実行する。 The control unit 2 is inputted with vehicle type information 24 such as vehicle body shape data, vehicle body type and color number of the vehicle to be inspected. In addition, an inspection process control signal 25 including a sequence control signal for executing the inspection is input. The control unit 2 controls the drive unit 23 in response to the inspection process control signal 25 while referring to the vehicle type information 24 to move the frame body 1110, and at the same time, in the image processing unit 21 and the calculation unit 22, Perform the inspection.
前記制御ユニット2にはモニター3が接続されており、画像処理部21での画像処理により得られた画像と共に、あるいは演算部22で演算されて得られた検査結果情報のみを当該モニター3に表示することが可能とされている。 A monitor 3 is connected to the control unit 2, and only the image obtained by the image processing in the image processing unit 21 or the inspection result information obtained by the computation unit 22 is displayed on the monitor 3. It is possible to do.
さらに、前記制御ユニット2は概念的に図示するサポートセンター等のサーバ4に有線又は無線で接続されており、検査により得られた前記した画像を含む検査結果情報をサーバ4にアップロードすることが可能とされている。このサーバ4には、当該自動車の塗装を行なった塗装部署、自動車の設計部署、製造管理部署、品質管理部署等に配備した1以上の外部端末5(ここでは外部端末5A,5B,5Cが図示されている)が有線又は無線で接続されており、各外部端末5はサーバ4にロードされている検査結果情報をダウンロードする等して共有することが可能とされている。 Further, the control unit 2 is connected to a server 4 such as a support center conceptually shown in a wired or wireless manner, and can upload inspection result information including the above-described image obtained by inspection to the server 4. It is said that. The server 4 includes one or more external terminals 5 (in this case, external terminals 5A, 5B, and 5C) deployed in a painting department that painted the automobile, an automobile design department, a manufacturing management department, a quality management department, and the like. Are connected by wire or wirelessly, and each external terminal 5 can share the test result information loaded in the server 4 by downloading it or the like.
前記光学ユニット1は、共焦点顕微鏡型の撮像装置として構成されている。図4は光学ユニット1の光学系構成図であり、波長の異なる2つのレーザ光を用いた第1共焦点顕微鏡MS1と第2共焦点顕微鏡MS2で構成されている。すなわち、紫外領域に近い405nmの波長の第1レーザ光を出射する第1レーザ光源11Aと、赤外領域に近い650nmの波長の第2レーザ光を出射する第2レーザ光源11Bを備えている。これらレーザ光源11A,11Bから出射された第1と第2のレーザ光LA,LBはそれぞれビームエクスパンダ12A,12Bにより所要の光束径に拡張される。 The optical unit 1 is configured as a confocal microscope type imaging apparatus. FIG. 4 is a configuration diagram of an optical system of the optical unit 1, which includes a first confocal microscope MS1 and a second confocal microscope MS2 using two laser beams having different wavelengths. That is, a first laser light source 11A that emits a first laser light having a wavelength of 405 nm close to the ultraviolet region and a second laser light source 11B that emits a second laser light having a wavelength of 650 nm close to the infrared region are provided. The first and second laser beams LA and LB emitted from the laser light sources 11A and 11B are expanded to the required beam diameters by the beam expanders 12A and 12B, respectively.
第1レーザ光源11Aからの第1レーザ光LAは第1ハーフミラー13Aにより反射されて自動焦点部14に入射される。また、第2レーザ光源11Bからの第2レーザ光LBは第2ハーフミラー13Bーにより反射された後、前記第1ハーフミラー13Aを透過されて前記自動焦点部14に入射される。このとき、前記第1レーザ光LAと前記第2レーザ光LBは一体化された1つのレーザ光束とされ、この一体化された第1レーザ光LAと第2レーザ光LBは走査投射部15に入力される。 The first laser light LA from the first laser light source 11A is reflected by the first half mirror 13A and is incident on the automatic focusing unit 14. Further, the second laser light LB from the second laser light source 11B is reflected by the second half mirror 13B, and then is transmitted through the first half mirror 13A and is incident on the automatic focusing unit 14. At this time, the first laser beam LA and the second laser beam LB are integrated into one laser beam, and the integrated first laser beam LA and second laser beam LB are transmitted to the scanning projection unit 15. Entered.
前記走査投射部15は反射面の方向が任意の方向に偏向制御されるガルバノミラー15Aと、このガルバノミラー15Aで反射された光を集光させる対物レンズ15Bを備えている。この走査投射部15においては、前記レーザ光は対物レンズ15Bによって塗装面の表面、ここでは上塗り層T3の塗装面に合焦されるとともに、ガルバノミラー15Aでの偏向作用によって予め設定された塗装面の所要領域を走査される。 The scanning projection unit 15 includes a galvano mirror 15A whose reflection surface is deflected and controlled in an arbitrary direction, and an objective lens 15B that condenses the light reflected by the galvano mirror 15A. In the scanning projection unit 15, the laser beam is focused on the surface of the coating surface, here the coating surface of the topcoat layer T3, by the objective lens 15B, and the coating surface preset by the deflection action of the galvanometer mirror 15A. The required area is scanned.
前記レーザ光を上塗り層T3の上層T32の塗装面に合焦させるために、前記自動焦点部14は、当該塗装面に投射されかつこの塗装面で反射されたレーザ光を受光することにより現在の合焦状態を検出し、この検出結果に基づいて対物レンズ15Bによる合焦位置を制御する。ここでは、レーザ光の光路長を変化させる制御を行なっており、具体的には、液体レンズの光軸方向の厚み、あるいはその曲率を変化する制御を実行する。これにより、対物レンズ15Bで集光されるレーザ光の焦点位置を変化させ、塗装面に対して合焦させることが可能になる。 In order to focus the laser light on the painted surface of the upper layer T32 of the topcoat layer T3, the autofocus unit 14 receives the laser light projected on the painted surface and reflected by the painted surface, thereby The focus state is detected, and the focus position by the objective lens 15B is controlled based on the detection result. Here, control for changing the optical path length of the laser beam is performed, and specifically, control for changing the thickness of the liquid lens in the optical axis direction or its curvature is executed. As a result, the focal position of the laser beam condensed by the objective lens 15B can be changed and focused on the painted surface.
塗装面に合焦されたレーザ光は、当該塗装面で反射されて走査投射部15に戻され、当該走査投射部15を逆進される。さらに、自動焦点部14および第1ハーフミラー13Aを透過した後、ビームスプリッタ16において第1レーザ光LAは反射され、第2レーザ光LBは透過される。前記ビームスプリッタ16は、例えばダイクロイックミラーで構成される。ビームスプリッタ16を透過された第2レーザ光LBは第2ハーフミラー13Bを透過され、反射ミラー13Cにより反射される。 The laser beam focused on the painted surface is reflected by the painted surface and returned to the scanning projection unit 15, and is moved backward through the scanning projection unit 15. Further, after passing through the automatic focusing unit 14 and the first half mirror 13A, the first laser beam LA is reflected by the beam splitter 16 and the second laser beam LB is transmitted. The beam splitter 16 is composed of, for example, a dichroic mirror. The second laser beam LB transmitted through the beam splitter 16 is transmitted through the second half mirror 13B and reflected by the reflection mirror 13C.
前記ビームスプリッタ16で反射された第1レーザ光LAは第1結像レンズ17Aによって前記対物レンズ15Bの焦点位置、すなわち塗装面位置と共役な位置におかれている第1ピンホール18Aに集光される。同様に、前記反射ミラー13Cで反射された第2レーザ光LBは第2結像レンズ17Bによって前記対物レンズ15Bの焦点位置と共役な位置におかれている第2ピンホール18Bに集光される。 The first laser beam LA reflected by the beam splitter 16 is condensed by the first imaging lens 17A onto the first pinhole 18A located at the focal position of the objective lens 15B, that is, the position conjugate with the painted surface position. Is done. Similarly, the second laser light LB reflected by the reflecting mirror 13C is condensed by the second imaging lens 17B on the second pinhole 18B located at a position conjugate with the focal position of the objective lens 15B. .
前記第1ピンホール18Aの背後には第1フォトマル19Aが配置されており、集光された光を受光して光電変換した電気信号を第1撮像信号として出力する。同様に、前記第2ピンホール18Bの背後には第2フォトマル19Bが配置されており、集光された光を受光して光電変換した電気信号を第2撮像信号として出力する。これら第1と第2の各フォトマル19A,19Bから出力される信号はそれぞれ第1撮像信号と第2撮像信号であり、これらは前記制御ユニット2に出力される。 A first photomultiplier 19A is disposed behind the first pinhole 18A. The first photomultiplier 19A receives the collected light and photoelectrically converts it as a first imaging signal. Similarly, a second photomultiplier 19B is disposed behind the second pinhole 18B, and an electric signal obtained by photoelectrically converting the collected light is output as a second imaging signal. The signals output from the first and second photomultipliers 19A and 19B are a first image pickup signal and a second image pickup signal, respectively, which are output to the control unit 2.
前記制御ユニット2は、第1共焦点顕微鏡MS1と第2共焦点顕微鏡MS2から得られる撮像信号、すなわち第1フォトマル19Aから出力される第1撮像信号と第2フォトマル19Bから出力される第2撮像信号を、それぞれ画像処理部21において画像信号に変換し、各画像信号に基づいて第1画像と第2画像を作成する。演算部22はこれらの第1画像と第2画像を画像解析することにより、塗装不具合を検査する。この画像解析による塗装の不具合の検査手法については、既に種々の手法が提案されているので、ここでは詳細な説明は省略する。 The control unit 2 captures image signals obtained from the first confocal microscope MS1 and the second confocal microscope MS2, that is, the first image signal output from the first photomultiplier 19A and the second imagemal output from the second photomultiplier 19B. The two image pickup signals are converted into image signals by the image processing unit 21, respectively, and a first image and a second image are created based on each image signal. The calculation unit 22 inspects the coating defect by performing image analysis on the first image and the second image. Since various methods have already been proposed for the coating defect inspection method based on the image analysis, a detailed description thereof will be omitted here.
ここで、前記画像処理部21において得られる第1画像は上層T32の塗装面の画像であり、前記第2画像は下層T31の塗装面の画像である。このことについて図5を参照して説明する。図5は塗装面における合焦メカニズムを概念的に示す図である。前記したように第1レーザ光LAは第2レーザ光LAに比較して短波長である。そのため、第1レーザ光LAと第2レーザ光LBがそれぞれ対物レンズ15Bにより上層T32の塗装面に合焦されたときには、第1レーザ光LAの焦点深度(被写界深度)は第2レーザ光LBの焦点深度よりも浅く(短く)なる。 Here, the first image obtained in the image processing unit 21 is an image of the painted surface of the upper layer T32, and the second image is an image of the painted surface of the lower layer T31. This will be described with reference to FIG. FIG. 5 is a diagram conceptually showing the focusing mechanism on the painted surface. As described above, the first laser beam LA has a shorter wavelength than the second laser beam LA. Therefore, when the first laser beam LA and the second laser beam LB are focused on the coating surface of the upper layer T32 by the objective lens 15B, the focal depth (depth of field) of the first laser beam LA is the second laser beam. It becomes shallower (shorter) than the focal depth of LB.
すなわち、図5に示すように、同じ対物レンズ15Bに対して短波長の第1レーザ光lAの屈折率は大きく、長波長の第2レーザ光LBの屈折率は小さい。したがって、対物レンズ15Bにおける焦点距離は第1レーザ光LAよりも第2レーザ光LBの方が長くなる。そのため、第1レーザ光LAを上層T32の塗装面の位置FAに合焦させたときには、第2レーザ光LBは当該塗装面よりも下方(内方)位置FBに合焦される。 That is, as shown in FIG. 5, the refractive index of the short-wavelength first laser beam lA is large and the refractive index of the long-wavelength second laser beam LB is small with respect to the same objective lens 15B. Accordingly, the focal length of the objective lens 15B is longer for the second laser beam LB than for the first laser beam LA. Therefore, when the first laser beam LA is focused on the position FA of the coating surface of the upper layer T32, the second laser beam LB is focused at a position (FB) below (inward) the coating surface.
さらに、前記したことから第1レーザ光LAの開口角は第2レーザ光LBの開口角よりも大きいので、第1レーザ光LAと第2レーザ光LBの解像限界を同じδとしたときには、第1レーザ光LAの焦点深度DAよりも第2レーザ光LBの焦点深度DBは深く(長く)なる。 Furthermore, since the aperture angle of the first laser beam LA is larger than the aperture angle of the second laser beam LB from the above, when the resolution limit of the first laser beam LA and the second laser beam LB is set to the same δ, The focal depth DB of the second laser light LB is deeper (longer) than the focal depth DA of the first laser light LA.
したがって、第1レーザ光LAの焦点深度DA内には、上層T32の塗装面は含まれるが下層T31の塗装面は含まれない。一方、第2レーザ光LBの焦点深度DB内には上層T32と下層T31の両方の塗装面が含まれる。これにより、第1レーザ光LAを受光した第1フォトマル19Aでは焦点深度DA内にある上層T32の塗装面が撮像できる。一方、第2レーザ光LBを受光した第2フォトマル19Bでは焦点深度DB内にある上層T32の塗装面と下層T31の塗装面が撮像できる。 Therefore, the coating surface of the upper layer T32 is included in the focal depth DA of the first laser beam LA, but the coating surface of the lower layer T31 is not included. On the other hand, the coating depths of both the upper layer T32 and the lower layer T31 are included in the focal depth DB of the second laser beam LB. As a result, the first photomultiplier 19A that has received the first laser light LA can image the painted surface of the upper layer T32 within the focal depth DA. On the other hand, in the second photomultiplier 19B that has received the second laser beam LB, the painted surface of the upper layer T32 and the painted surface of the lower layer T31 within the focal depth DB can be imaged.
換言すれば、第1共焦点顕微鏡MS1では上層T32の塗装面を撮像した第1画像が得られ、第2共焦点顕微鏡MS2では上層T32と下層T31の塗装面を一体的に撮像した第2画像が得られる。しかし、上層T32は光透過性のあるクリア塗料の塗布層である一方で、下層T31はアルミナフレークを含有する光反射特性の高い層であるので、上層T32の塗装面から得られる撮像信号に比較して下層T31の塗装面から得られる撮像信号の信号レベルが相対的に高くなり、実質的には第2画像は下層T31の塗装面の撮像信号に基づく画像になる。 In other words, the first confocal microscope MS1 obtains a first image obtained by imaging the painted surface of the upper layer T32, and the second confocal microscope MS2 obtains a second image obtained by integrally imaging the painted surfaces of the upper layer T32 and the lower layer T31. Is obtained. However, while the upper layer T32 is a light-transmitting clear paint coating layer, the lower layer T31 is a layer having high light reflection characteristics containing alumina flakes, so it is compared with the imaging signal obtained from the painted surface of the upper layer T32. Thus, the signal level of the imaging signal obtained from the painted surface of the lower layer T31 becomes relatively high, and the second image is substantially an image based on the imaging signal of the painted surface of the lower layer T31.
このように、第1共焦点顕微鏡からは上層T32の塗装面の第1画像が得られ、第2共焦点顕微鏡からは下層T31の塗装面の第2画像が得られる。制御ユニット1の演算部22は、これら第1と第2の画像に対して画像解析を行うことにより、第1画像から上層T32の塗装面の不具合が検査でき、第2画像から下層T31の塗装面の不具合が検査できる。 Thus, the first image of the painted surface of the upper layer T32 is obtained from the first confocal microscope, and the second image of the painted surface of the lower layer T31 is obtained from the second confocal microscope. The arithmetic unit 22 of the control unit 1 performs image analysis on the first and second images, thereby inspecting the coating surface of the upper layer T32 from the first image and coating the lower layer T31 from the second image. Can check for surface defects.
例えば、第1共焦点顕微鏡MS1で得られる上層T32の塗装面の第1画像からは、図2に示した、「表面凹凸」、「塗り残し」、「塗装修正痕」の各不具合が検査できる。また、この第1画像からは、「光輝ムラ」と「塗り透け」の各不具合については検査できる場合とできない場合がある。しかし、検査できる場合でも、これらの「光輝ムラ」と「塗り透け」は、「表面凹凸」、「塗り残し」、「塗装修正痕」と判別が難しい画像として表れるため、不具合を特定することは難しい。 For example, from the first image of the painted surface of the upper layer T32 obtained by the first confocal microscope MS1, each defect of “surface irregularities”, “unpainted”, and “painting correction traces” shown in FIG. 2 can be inspected. . In addition, from this first image, there are cases where each defect of “brightness unevenness” and “paint-through” can be inspected and cannot be inspected. However, even if inspection is possible, these “brightness unevenness” and “paint-through” appear as images that are difficult to distinguish from “surface irregularities”, “unpainted”, and “paint correction traces”, so it is not possible to identify defects. difficult.
そこで、制御ユニット2は、演算部22において第1画像に加えて第2画像を併せて画像解析を行い、第2画像により下層T31の塗装面の不具合を検査する。第2画像から下層T31の塗装面の不具合が検査できないときには、第1画像で検査された不具合は上層T32の塗装面の不具合であると判定され、前者の3つの不具合のいずれかになる。 Therefore, the control unit 2 performs image analysis on the calculation unit 22 in addition to the first image and also with the second image, and inspects the coating surface of the lower layer T31 with the second image. When a defect on the painted surface of the lower layer T31 cannot be inspected from the second image, the defect inspected in the first image is determined to be a defect on the painted surface of the upper layer T32, and becomes one of the former three defects.
一方、第1画像と第2画像のいずれからも不具合が検査された場合には、下層T31の塗装面に不具合があり、後者の2つの不具合のいずれかになる。第1画像から不具合が検査されないが、第2画像から不具合が検査されるような形態は少ないが、下層T31の塗装面での不具合が軽微であって上層T32の塗装面から不具合が検査できない場合もあるので、このような不具合についても下層T31の塗装面での不具合として検査できる。 On the other hand, when a defect is inspected from both the first image and the second image, there is a defect on the painted surface of the lower layer T31, which is one of the latter two defects. The defect is not inspected from the first image, but there are few forms where the defect is inspected from the second image, but the defect on the painted surface of the lower layer T31 is minor and the defect cannot be inspected from the painted surface of the upper layer T32 Therefore, such a defect can be inspected as a defect on the painted surface of the lower layer T31.
図6A,Bは第1画像と第2画像の一例であり、図6Aが上層T32の塗装面から得られる第1画像、図6Bが下層T31の塗装面から得られる第2画像である。図6Aの第1画像に生じている黒点の部位が上層T32の塗装面での不具合であると検査できる。図6Bの第2画像に生じている白点の分布が斑になっている部位が下層T31の塗装面での不具合であると検査できる。前記したようにこれらの第1画像と第2画像を参照することにより、上層T32と下層T31の不具合を高い精度で検査することが可能になる。 6A and 6B are examples of the first image and the second image. FIG. 6A is a first image obtained from the painted surface of the upper layer T32, and FIG. 6B is a second image obtained from the painted surface of the lower layer T31. It can be inspected that the black spot portion occurring in the first image in FIG. 6A is a defect on the painted surface of the upper layer T32. It can be inspected that the portion where the distribution of white spots occurring in the second image in FIG. 6B is uneven is a defect on the painted surface of the lower layer T31. As described above, by referring to the first image and the second image, it is possible to inspect the defects of the upper layer T32 and the lower layer T31 with high accuracy.
図3に示した検査装置において、制御ユニット2は入力されている車種情報24に基づいて駆動制御部23が駆動部120を制御し、枠体110の移動位置を変化させながら以上の検査を実行することにより、自動車の車体塗装の全塗装面について第1画像と第2画像を取得することができ、車体塗装の全塗装面の検査が実行できる。なお、得られた第1画像と第2画像は前記したようにモニター3に表示してもよく、その場合には表示した画像上に検査された不具合部位を重畳して表示させるようにしてもよい。 In the inspection apparatus shown in FIG. 3, the control unit 2 performs the above inspection while the drive control unit 23 controls the drive unit 120 based on the input vehicle type information 24 and changes the moving position of the frame 110. By doing this, the first image and the second image can be acquired for all the painted surfaces of the car body painting of the automobile, and the inspection of all the painted surfaces of the car body painting can be performed. The obtained first image and second image may be displayed on the monitor 3 as described above, and in that case, the inspected defective portion may be superimposed on the displayed image and displayed. Good.
さらに、制御ユニット2は検査した塗装面の画像を含む検査結果情報をサーバ4にアップロードする。これにより、サーバ4に接続されている各外部端末5では、検査結果情報を随時ダウンロードすることができ、検査された自動車の車体塗装面の不具合を速やかに確認することができる。したがって、例えば塗装部署では確認した不具合に対する対策を直ちに実行し、以降における不具合の発生を未然に防止することが可能になる。あるいは、塗装修正部署では自動車が移送されてくる前に修正の準備が可能になる。 Further, the control unit 2 uploads inspection result information including the image of the inspected painted surface to the server 4. Thereby, in each external terminal 5 connected to the server 4, inspection result information can be downloaded at any time, and it is possible to promptly check for defects of the inspected car body painted surface. Therefore, for example, it is possible to immediately take countermeasures for the confirmed defects in the painting department and prevent the occurrence of the defects thereafter. Alternatively, the paint correction department can prepare for correction before the car is transferred.
本発明にかかる光学ユニット1は図4に示した光学系の構成に限られるものではない。例えば、図7に示すように、第1レーザ光源11Aからの第1レーザ光LAと、第2レーザ光源11Bからの第2レーザ光LBを1つのビームエクスパンダ12に入射し、ここで両レーザ光LA,LBを1つの光束に一体化した上で光束の拡張を行なうようにしてもよい。その他の構成は図4と同じである。このようにすることで、1つのビームエクスパンダ12で構成でき、またハーフミラー13Bが省略できるので、光学ユニットの構成が簡易化できる。 The optical unit 1 according to the present invention is not limited to the configuration of the optical system shown in FIG. For example, as shown in FIG. 7, the first laser light LA from the first laser light source 11A and the second laser light LB from the second laser light source 11B are incident on one beam expander 12, where both lasers The light beams may be expanded after the light beams LA and LB are integrated into one light beam. Other configurations are the same as those in FIG. By doing in this way, it can comprise by one beam expander 12, and since the half mirror 13B can be abbreviate | omitted, the structure of an optical unit can be simplified.
実施形態では、第1レーザ光の波長を405nmとし、第2レーザ光の波長を650nmとしているが、これらの波長に限定されるものではない。ただし、長波長側の第2レーザ光については、上層の表面に合焦させたときの焦点深度が下層の塗装面を含むことができる波長に設定することは必要である。 In the embodiment, the wavelength of the first laser beam is set to 405 nm and the wavelength of the second laser beam is set to 650 nm. However, the wavelength is not limited to these wavelengths. However, for the second laser light on the long wavelength side, it is necessary to set the depth of focus when focused on the surface of the upper layer to a wavelength that can include the lower painted surface.
実施形態では、メタリック塗装の例を説明したが、下層については特に光輝性顔料による塗装でなくてもよく、上層に対して色の違いで判別できるのであれば一般的な有彩色塗装であってもよい。また、上層については光透過性塗料であれば、必ずしも無色透明な塗料でなくてもよい。 In the embodiment, an example of metallic coating has been described, but the lower layer may not be particularly coated with a bright pigment, and may be a general chromatic color coating as long as it can be distinguished from the upper layer by a color difference. Also good. Further, the upper layer is not necessarily a colorless and transparent paint as long as it is a light-transmitting paint.
本発明は自動車の車体塗装に限られるものではなく、家電製品の塗装等、種々の塗装の検査に適用できる。 The present invention is not limited to automobile body painting, and can be applied to various coating inspections such as painting of home appliances.
1 光学ユニット(光学手段)
2 制御ユニット(制御手段)
3 モニター
4 サーバ
5 外部端末
11A 第1レーザ光源
11B 第2レーザ光源
14 自動焦点部
15 走査投射部
15A ガルバノミラー
15B 対物レンズ
17A,17B 結像レンズ
18A,18B ピンホール
19A,19B フォトマル
21 画像処理部
22 演算部
23 駆動制御部
100 レール
110 枠体
120 駆動部
LA 第1レーザ光
LB 第2レーザ光
T1 下塗り層
T2 中塗り層
T3 上塗り層
T31 下層(光輝度塗料)
T32 上層(クリアー塗料)
F アルミナフレーク
1 Optical unit (optical means)
2 Control unit (control means)
3 monitor 4 server 5 external terminal 11A first laser light source 11B second laser light source 14 auto focus unit 15 scanning projection unit 15A galvanometer mirror 15B objective lenses 17A and 17B imaging lenses 18A and 18B pinholes 19A and 19B photomal 21 image processing Unit 22 Calculation unit 23 Drive control unit 100 Rail 110 Frame body 120 Drive unit LA First laser beam LB Second laser beam T1 Undercoat layer T2 Middle coat layer T3 Top coat layer T31 Lower layer (light luminance paint)
T32 upper layer (clear paint)
F Alumina flake
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203312A JP6574674B2 (en) | 2015-10-15 | 2015-10-15 | Coating inspection device and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203312A JP6574674B2 (en) | 2015-10-15 | 2015-10-15 | Coating inspection device and inspection method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017075848A JP2017075848A (en) | 2017-04-20 |
JP2017075848A5 JP2017075848A5 (en) | 2018-09-27 |
JP6574674B2 true JP6574674B2 (en) | 2019-09-11 |
Family
ID=58551065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015203312A Active JP6574674B2 (en) | 2015-10-15 | 2015-10-15 | Coating inspection device and inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6574674B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102056759B1 (en) * | 2018-09-03 | 2019-12-17 | 재단법인 오송첨단의료산업진흥재단 | Moisture and light transmission measurement system and moisture and light transmission measurement method using the same |
KR102528958B1 (en) * | 2021-01-29 | 2023-05-08 | 케이앤피로지스 주식회사 | Pre-Delivery Inspection Apparatus |
KR102528963B1 (en) * | 2021-01-29 | 2023-05-08 | 케이앤피로지스 주식회사 | Pre-Delivery Inspection Apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5248876A (en) * | 1992-04-21 | 1993-09-28 | International Business Machines Corporation | Tandem linear scanning confocal imaging system with focal volumes at different heights |
US6853926B2 (en) * | 2002-06-05 | 2005-02-08 | Research Foundation Of Cuny | Systems and methods for non-destructively detecting material abnormalities beneath a coated surface |
JP4387165B2 (en) * | 2003-11-17 | 2009-12-16 | 旭化成ケミカルズ株式会社 | Method for evaluating orientation of pigment in coating film |
US9696264B2 (en) * | 2013-04-03 | 2017-07-04 | Kla-Tencor Corporation | Apparatus and methods for determining defect depths in vertical stack memory |
JP6435106B2 (en) * | 2014-03-19 | 2018-12-05 | 株式会社ティーワイテクノ | Paint film analysis method |
-
2015
- 2015-10-15 JP JP2015203312A patent/JP6574674B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017075848A (en) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050280807A1 (en) | Method and system for inspecting a wafer | |
JP2024087006A (en) | Method and apparatus for judging defect quality | |
US8614415B2 (en) | Defect inspection method of fine structure object and defect inspection apparatus | |
JP6750793B2 (en) | Film thickness measuring device and film thickness measuring method | |
JP2008268387A (en) | Confocal microscope | |
JP2012518798A (en) | Semiconductor wafer inspection apparatus and method | |
JP6574674B2 (en) | Coating inspection device and inspection method | |
JP2004012301A (en) | Method and apparatus for detecting pattern defect | |
JP2013235202A (en) | Hybrid laser scanning device | |
JP2005189069A (en) | Method and apparatus for measuring surface shape | |
JP2012174896A (en) | Inspection device and defect inspection method | |
JP2006329751A (en) | Surface shape measuring method and surface shape measuring instrument | |
KR102008890B1 (en) | Method of measuring 3d profile | |
KR101652355B1 (en) | optical apparatus for examining pattern image of semiconductor wafer | |
US20230140278A1 (en) | Method and inspection device for optically inspecting a surface | |
CN114096368B (en) | Laser repairing method and laser repairing device | |
JP2009293925A (en) | Error correction apparatus of optical inspection apparatus | |
JP5281815B2 (en) | Optical device defect inspection method and optical device defect inspection apparatus | |
JP6415948B2 (en) | Shape measuring device | |
JP5114808B2 (en) | Inspection apparatus and defect inspection method | |
CN113966527B (en) | Laser repairing method and laser repairing device | |
JP5325481B2 (en) | Measuring method of optical element and manufacturing method of optical element | |
CN115809984A (en) | Workpiece inspection and defect detection system using color channels | |
KR102388563B1 (en) | Optical insptection device being able to control real-time focus | |
JP7292457B1 (en) | Surface profile inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6574674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |