JP2020008501A - Surface defect detection device and surface defect detection method - Google Patents
Surface defect detection device and surface defect detection method Download PDFInfo
- Publication number
- JP2020008501A JP2020008501A JP2018131840A JP2018131840A JP2020008501A JP 2020008501 A JP2020008501 A JP 2020008501A JP 2018131840 A JP2018131840 A JP 2018131840A JP 2018131840 A JP2018131840 A JP 2018131840A JP 2020008501 A JP2020008501 A JP 2020008501A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- defect
- value
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、光切断法を利用して測定対象物の表面欠陥を検出する表面欠陥検出装置及び表面欠陥検出方法に関する。 The present invention relates to a surface defect detection device and a surface defect detection method for detecting a surface defect of an object to be measured using a light cutting method.
光切断法は、移動する測定対象物に照射した線状光の反射光を撮像装置で撮像し、その撮像画像に写る線の曲がり具合から測定対象物の凹凸を測定する手法である。ここで、光切断法を利用して測定対象物の凹凸を測定する測定方法について、図1を用いて簡単に説明する。この場合、光切断法により測定対象物の凹凸を測定する測定装置は、ラインレーザやスリット光等の線状光を照射する線状光源2を備えており、搬送されている測定対象物1の測定面1aに対して線状光を照射する。
The light-section method is a technique in which reflected light of linear light applied to a moving measurement target is imaged by an imaging device, and the unevenness of the measurement target is measured from the degree of bending of a line in the captured image. Here, a measurement method for measuring the unevenness of the measurement object using the light section method will be briefly described with reference to FIG. In this case, the measuring device for measuring the unevenness of the object to be measured by the light cutting method is provided with the
測定装置は、測定対象物1の測定面1a上に形成された光切断線5を、撮像装置3により撮影し、得られた撮像画像(光切断画像とも呼ぶ)を演算処理装置(図1には図示せず)に出力する。この際、測定面1aが平坦であれば撮像画像には直線状の光切断線5が現れる。しかし、測定面1aに凹凸がある場合には、図1の下段に示す光切断画像6のように、例えば、凹み5aのある光切断線5が得られる。
The measuring device captures a light-
このように、光切断法では、このようにして得られた光切断画像を測定面1a上の各照射断面において取得し、それを繰り返すことで、測定面1a全体の凹凸状態を表した深さ画像を算出することができる。
As described above, in the light-section method, the light-section image obtained in this manner is acquired at each irradiation section on the
ここで、図2Aに示すように、光切断法では、例えば、線状光源2が測定対象物1の測定面1aに対して垂直に線状光を照射し、撮像装置3が測定面1aの法線に対して所定角度θの方向から測定面1aを撮像する。なお、線状光源2と撮像装置3の位置関係は図2Aに限定されず、例えば測定面1aに対して垂直な方向に撮像装置3を配置し、線状光源2を所定角度θの方向に配置するようにしてもよい。こうした光学配置となることで、図2Bに示すように、例えば、表面欠陥が急峻な凹形状の凹部9では、線状光の反射光が凹部9により遮られて撮像装置3にまで到達せず、光切断画像内で凹部9に相当する箇所の画素値が非常に低くなることがある。光切断法では、このような画素値の低い領域は、光切断線5として検出できないため、測定面1aの凹凸状態を表した深さ画像では、このような画素値の低い領域を、画素の画素値が欠値した欠値画素として表示している。
Here, as shown in FIG. 2A, in the light sectioning method, for example, the
例えば、引用文献1には、このような欠値画素を用いてスラブの表面のブローホールや割れなどの表面欠陥を検出することが開示されている。引用文献1では、光切断法により欠値画素を検出し、欠値画素が長手方向に複数連続して存在するとき、当該欠値画素の連続位置を表面欠陥の発生位置として検出している。
For example,
また、引用文献2では、レーザ投光器及びレーザ受光器を用いて光切断法により算出したスラブ表面長手方向の凹凸変化率と、これら機器と別に設けたハロゲンランプ及びカメラを用いて撮像したスラブ表面の輝度分布画像と、を用い、凹凸変化率が所定値以上で、かつ、輝度分布画像の画素値が低い部分を表面欠陥として検出することが開示されている。
Also, in the cited
しかしながら、特許文献1に開示されている方法では、欠値画素しか表面欠陥として検出できないため、例えば、凹部9の内部の領域であっても、入射角や深さ、凹部9の急峻度の関係で光が反射しない領域については、表面欠陥の一部であるにも係わらず、表面欠陥として検出されない。このように、特許文献1に開示されている方法では、表面欠陥の一部しか検出できないため、凹凸状態を含めて表面欠陥を正確に検出できないという問題があった。
However, according to the method disclosed in
また、特許文献2に開示されている方法では、光切断法に使用するレーザ受光器としてカメラを設置している他、これとは別に、輝度分布画像を生成するためのカメラを設置していることから、撮像角度が異なる別々の2つのカメラで得られた2つの画像の撮像領域をマッチングする必要がある。一般的にマッチングには複雑な画像処理を要し、更に、誤ったマッチングを行うと表面欠陥を誤検出する恐れもある。そのため、特許文献2に開示されている方法では、表面欠陥を簡便かつ正確に検出できない恐れがあるという問題があった。
In the method disclosed in
本発明は、上記のような問題に鑑みてなされたものであり、測定対象物の表面欠陥を従来よりも簡便かつ正確に検出できる表面欠陥検出装置及び表面欠陥検出方法を提供することを目的とする。 The present invention has been made in view of the above-described problems, and has an object to provide a surface defect detection device and a surface defect detection method that can more easily and accurately detect a surface defect of an object to be measured than before. I do.
本発明の表面欠陥検出装置は、長手方向を有する測定対象物の測定面の表面欠陥を検出する表面欠陥検出装置において、前記測定面に線状光を照射する線状光源と、前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像装置と、複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理装置と、を有し、前記演算処理装置は、前記光切断画像毎に、前記光切断線が存在しない所定画素値以下のx方向座標位置を欠値画素とし、前記欠値画素の画素値を第1所定値とした欠値画像を生成する欠値画像生成部と、前記光切断画像毎に、前記測定面の凹凸状態を前記x方向座標位置毎に表した深さ画像を生成する深さ画像生成部と、前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて前記第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理部と、前記光切断画像毎に前記欠値画像と前記2値化深さ画像とを統合し、前記2値化深さ画像及び前記欠値画像のうち少なくともいずれかで、前記第1所定値である前記x方向座標位置の画素値を前記第1所定値とし、前記2値化深さ画像の前記第2所定値と前記第1所定値とで各前記x方向座標位置を表した欠陥画像を生成する欠陥画像生成部と、前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出部と、を備える。 The surface defect detection device of the present invention is a surface defect detection device that detects a surface defect of a measurement surface of a measurement object having a longitudinal direction, wherein the linear light source that irradiates the measurement surface with linear light; An imaging device that captures a light-section line on the measurement surface by changing the measurement surface along the longitudinal direction, and generates a plurality of light-section images in which the light-section line extends in the x direction. An arithmetic processing unit that detects the surface defect based on the light-section image, wherein the arithmetic processing unit is configured such that, for each of the light-section images, an x-direction coordinate equal to or less than a predetermined pixel value where the light-section line does not exist. A missing-value image generating unit that generates a missing-value image in which a position is a missing-value pixel and a pixel value of the missing-value pixel is a first predetermined value; Depth image generation that generates depth images expressed for each directional coordinate position Performing a binarization process on the depth image, and calculating the depth indicated for each of the x-direction coordinate positions in the depth image, based on a predetermined threshold, the first predetermined value or the second predetermined value. A binarization processing unit that generates a binarized depth image, and integrates the missing value image and the binarized depth image for each of the light-section images to form the binarized depth image and the binarized depth image. In at least one of the missing value images, a pixel value at the x-direction coordinate position that is the first predetermined value is defined as the first predetermined value, and the second predetermined value of the binarized depth image and the first A defect image generation unit that generates a defect image representing each of the x-direction coordinate positions with a predetermined value, and a pixel value based on the plurality of defect images generated along the longitudinal direction of the measurement target. A defect detection unit that detects the area having the first predetermined value as the surface defect.
本発明の表面欠陥検出装置は、長手方向を有する測定対象物の測定面の表面欠陥を検出する表面欠陥検出装置において、前記測定面に線状光を照射する線状光源と、前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像装置と、複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理装置と、を有し、前記演算処理装置は、各前記光切断画像毎に、前記測定面の凹凸状態をx方向座標位置毎に表した深さ画像を生成する深さ画像生成部と、前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理部と、前記2値化深さ画像に基づいて、前記光切断線が存在せずに画素値が検出できなかった各前記x方向座標位置を欠値画素として特定し、前記欠値画素の画素値を前記第1所定値として、前記2値化深さ画像の各前記x方向座標位置を、前記第1所定値と前記第2所定値とで表した欠陥画像を生成する欠陥画像生成部と、前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出部と、を備える。 The surface defect detection device of the present invention is a surface defect detection device that detects a surface defect of a measurement surface of a measurement object having a longitudinal direction, wherein the linear light source that irradiates the measurement surface with linear light; An imaging device that captures a light-section line on the measurement surface by changing the measurement surface along the longitudinal direction, and generates a plurality of light-section images in which the light-section line extends in the x direction. An arithmetic processing unit that detects the surface defect based on the light-section image, wherein the arithmetic processing unit displays, for each of the light-section images, the unevenness state of the measurement surface for each x-direction coordinate position. A depth image generating unit that generates a depth image obtained by performing a binarization process on the depth image, and sets the depth indicated for each x-direction coordinate position in the depth image to a predetermined threshold value. Generating a binarized depth image having a first predetermined value or a second predetermined value based on the first predetermined value or the second predetermined value. A binarization processing unit that identifies each x-direction coordinate position where a pixel value cannot be detected due to absence of the light section line as a missing pixel based on the binarized depth image; A defect that generates a defect image in which each x-direction coordinate position of the binarized depth image is represented by the first predetermined value and the second predetermined value, with the pixel value of the value pixel as the first predetermined value. An image generation unit, based on the plurality of defect images generated along the longitudinal direction of the measurement target, a defect detection unit that detects an area where a pixel value is the first predetermined value as the surface defect. , Is provided.
また、本発明の表面欠陥検出方法は、長手方向を有する測定対象物の測定面の表面欠陥を検出する表面欠陥検出方法において、前記測定面に線状光を照射する照射工程と、前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像工程と、複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理工程と、を有し、前記演算処理工程は、前記光切断画像毎に、前記光切断線が存在しない所定画素値以下のx方向座標位置を欠値画素とし、前記欠値画素の画素値を第1所定値とした欠値画像を生成する欠値画像生成工程と、前記光切断画像毎に、前記測定面の凹凸状態を前記x方向座標位置毎に表した深さ画像を生成する深さ画像生成工程と、前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて前記第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理工程と、前記光切断画像毎に前記欠値画像と前記2値化深さ画像とを統合し、前記2値化深さ画像及び前記欠値画像のうち少なくともいずれかで、前記第1所定値である前記x方向座標位置の画素値を前記第1所定値とし、前記2値化深さ画像の前記第2所定値と前記第1所定値とで各前記x方向座標位置を表した欠陥画像を生成する欠陥画像生成工程と、前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出工程と、を有する。 Further, the surface defect detection method of the present invention is a surface defect detection method for detecting a surface defect of a measurement surface of a measurement object having a longitudinal direction, wherein the irradiation step of irradiating the measurement surface with linear light; An imaging step of imaging a light-section line on the measurement surface by light while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction; An arithmetic processing step of detecting the surface defect based on the light-section image, wherein the arithmetic processing step includes, for each light-section image, an x-direction equal to or less than a predetermined pixel value where the light-section line does not exist. A missing value image generating step of generating a missing value image in which a coordinate position is a missing value pixel and a pixel value of the missing value pixel is a first predetermined value, and for each of the light-section images, Depth for generating depth image expressed for each x-direction coordinate position An image generation step, performing a binarization process on the depth image, and calculating the depth indicated for each of the x-direction coordinate positions in the depth image, based on a predetermined threshold, the first predetermined value or the first (2) a binarization processing step of generating a binarized depth image having a predetermined value, and integrating the missing value image and the binarized depth image for each of the light section images; In at least one of an image and the missing value image, a pixel value at the x-direction coordinate position, which is the first predetermined value, is defined as the first predetermined value, and the second predetermined value of the binarized depth image is determined. A defect image generating step of generating a defect image representing each of the x-direction coordinate positions with the first predetermined value, based on the plurality of defect images generated along the longitudinal direction of the measurement target, A defect detection step of detecting a region where a pixel value is the first predetermined value as the surface defect; To.
本発明の表面欠陥検出方法は、長手方向を有する測定対象物の測定面の表面欠陥を検出する表面欠陥検出方法において、前記測定面に線状光を照射する照射工程と、前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像工程と、複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理工程と、を有し、前記演算処理工程は、各前記光切断画像毎に、前記測定面の凹凸状態をx方向座標位置毎に表した深さ画像を生成する深さ画像生成工程と、前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理工程と、前記2値化深さ画像に基づいて、前記光切断線が存在せずに画素値が検出できなかった各前記x方向座標位置を欠値画素として特定し、前記欠値画素の画素値を前記第1所定値として、前記2値化深さ画像の各前記x方向座標位置を、前記第1所定値と前記第2所定値とで表した欠陥画像を生成する欠陥画像生成部と、前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出工程と、を有する。 The surface defect detection method of the present invention is a surface defect detection method for detecting a surface defect of a measurement surface of a measurement object having a longitudinal direction, wherein the irradiation step of irradiating the measurement surface with linear light, An imaging step of imaging the light-section line on the measurement surface while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction, An arithmetic processing step of detecting the surface defect based on the light-section image, and the arithmetic processing step represents, for each of the light-section images, the unevenness state of the measurement surface at each x-direction coordinate position. A depth image generating step of generating a depth image, performing a binarization process on the depth image, and determining a depth indicated for each of the x-direction coordinate positions in the depth image based on a predetermined threshold. To generate a binarized depth image with the first predetermined value or the second predetermined value The binarization processing step, based on the binarized depth image, identifies each of the x-direction coordinate positions where a pixel value could not be detected without the light cutting line as a missing pixel, With the pixel value of the missing pixel as the first predetermined value, a defect image is generated in which each of the x-direction coordinate positions of the binarized depth image is represented by the first predetermined value and the second predetermined value. A defect image generating unit, and a defect detecting step of detecting, as the surface defect, an area having a pixel value of the first predetermined value based on the plurality of defect images generated along the longitudinal direction of the measurement object. And
本発明によれば、欠値画素と、深さ画像を基にした測定面の凹凸状態と、を統合して測定面の表面欠陥を検出できるので、欠値画素のみから、あるいは深さ画像のみからでは検出できなかった表面欠陥についても検出できる。また、1つの撮像装置から得られる光切断画像を基に欠陥画像を生成できることから、従来のように異なる撮像装置により得られた、撮像角度が異なる複数の画像をマッチングさせるマッチング処理が不要となり、マッチング処理による不具合の発生を防止できる。よって、測定対象物の表面欠陥を従来よりも簡便かつ正確に検出できる。 According to the present invention, since the missing pixel and the unevenness state of the measurement surface based on the depth image can be integrated to detect a surface defect on the measurement surface, only the missing pixel or only the depth image can be detected. Surface defects that could not be detected from the surface can also be detected. In addition, since a defect image can be generated based on a light-section image obtained from one imaging device, a matching process of matching a plurality of images having different imaging angles obtained by different imaging devices as in the related art becomes unnecessary, It is possible to prevent the occurrence of a problem due to the matching process. Therefore, the surface defect of the measurement object can be detected more easily and accurately than in the past.
以下図面について、本発明の一実施形態を詳述する。以下の説明において、同様の要素には同一の符号を付し、重複する説明は省略する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In the following description, the same components are denoted by the same reference numerals, and duplicate description will be omitted.
<本発明の形状測定装置について>
図3は、本発明による表面欠陥検出装置10の全体構成を示す概略図である。表面欠陥検出装置10では、測定対象物1の長手方向yに向けて測定対象物1が搬送されており、搬送されている測定対象物1の測定面1aの表面欠陥を検出する。表面欠陥検出装置10は、測定対象物1の測定面1aに対して所定のx方向(この場合、長手方向yと直交する垂直方向)に線状光を照射する線状光源2と、測定面1aの照射された線状光の反射光を撮像する撮像装置3と、撮像装置3で生成された光切断画像に基づいて測定面1aの表面欠陥を検出する演算処理装置11とを備えている。
<About the shape measuring device of the present invention>
FIG. 3 is a schematic diagram showing the entire configuration of the surface
線状光源2は、レーザやLED等の公知の光源からなる。線状光が照射された測定対象物1の測定面1aには、線状光が反射して線状の明るい部位が形成される。線状光により測定対象物1の測定面1aに形成された反射光は、光切断線5として撮像装置3により撮像される。撮像装置3は、光切断線5が形成された測定面1aの所定領域7を撮像し、光切断線5を含む撮像視野全体の全画素が露光された撮像画像を内部に取得する。その後、撮像装置3は、取得した撮像画像の中から、光切断線5を含んだ一部領域を抽出して光切断画像を生成する。
The linear
なお、ここで撮像画像とは、ディスプレイに表示される具体的な画像としての形態だけでなく、画像として生成される前の撮像データも含まれる。よって、撮像視野全体の全画素が露光された撮像データを、具体的な画像として形成することなく、取得した撮像データのうちから、光切断線5を含む一部領域を抽出して光切断画像を生成してもよい。
Here, the captured image includes not only a form as a specific image displayed on the display but also imaging data before being generated as an image. Therefore, a partial area including the light-
このように、撮像装置3は、撮像視野全体の全画素が露光された撮像画像の中から、光切断線5周辺だけを光切断画像として抽出することで、撮像画像よりもデータ量が低減された光切断画像を生成する。撮像装置3は、測定対象物1が搬送されていることから、長手方向yに沿って測定面1a上で位置が変わる光切断線5を撮像し、x方向に光切断線5が延びた複数の光切断画像を生成する。撮像装置3は、測定対象物1の長手方向yに沿って所定間隔で取得した光切断画像を、演算処理装置11に順次送出する。
As described above, the
次に、演算処理装置11について説明する。図4に示すように、演算処理装置11は、撮像装置3から光切断画像を受け取る取得部12と、光切断画像に画像処理を施して表面欠陥を検出する画像処理部20と、記憶部14と、表面欠陥の検出結果を表示する表示部15とを備えている。取得部12は、撮像装置3から逐次入力される光切断画像を画像処理部20に送出する。
Next, the
画像処理部20は、欠値画像生成部21と、深さ画像生成部22と、2値化処理部23と、欠陥画像生成部24と、非存在領域検出処理部25と、ノイズ除去処理部26と、欠陥検出部27とを備えている。欠値画像生成部21、深さ画像生成部22、及び、非存在領域検出処理部25は、取得部12と接続されており、取得部12から光切断画像をそれぞれ受け取る。
The
欠値画像生成部21は、光切断画像毎に欠値画像生成処理を行い、各光切断画像内で光切断線が途切れた画素を欠値画素として特定した欠値画像を生成する。ここで、欠値画像を生成する欠値画像生成処理について以下で説明する。図5Aは、光切断画像内の光切断線5を示しており、例えば、急峻な凹部9によって一部が途切れた光切断線5の一例を模式的に示した概略図である。
The missing-value
図5Aでは、光切断画像内のx方向に向けて光切断線5が延びており、光切断線5の延伸方向であるx方向に沿ってx方向座標が規定されている。なお、図5Aの1〜9の数値は、便宜的に付した数値であり、x方向座標位置を示す。この1〜9の数値は、光切断画像内のx方向に並ぶ画素単位で付されている。光切断画像では、光切断線が存在する画素の画素値が所定閾値以上となり明るく表示され、光切断線が存在しない画素の画素値が所定閾値未満となり暗く表示される。図5Aでは、光切断画像内における光切断線5を実線で示し、光切断画像内において光切断線5が途切れて、所定閾値未満の画素値となり、画素値が欠値となっている光切断線の箇所を破線で示している。すなわち、破線は、光切断線5により現れない測定面1aの凹部9を示す。
In FIG. 5A, the light-
この場合、x方向座標位置1〜3と、x方向座標位置8,9では、測定面1aに凹凸がなく、表面欠陥がない無害な領域であると判定したい範囲を示している。このような無害な領域となるx方向座標位置1〜3,8,9では、光切断線5が直線状に現れる。一方、x方向座標位置4〜7では、測定面1aに凹凸があり、表面欠陥がある有害な領域であると判定したい範囲を示している。有害な領域であるx方向座標位置4〜7のうち、x方向座標位置4,7は、所定閾値以上の画素値の画素が存在しており、光切断線5の深さ(凹凸量)測定が可能な部分となる。一方、有害な領域であるx方向座標位置4〜7のうち、x方向座標位置5,6は、光切断線5が存在しない所定画素値未満の欠値画素となる部分である。
In this case, the x-direction coordinate
欠値画像生成部21は、光切断画像を取得部12から受け取ると、光切断画像のx方向座標毎に、所定閾値未満の欠値画素のみを示した欠値画像を生成する。ここで、図5Bは、図5Aで示したx方向座標を拡大したものである。図5Cは、図5Aの光切断線5を基に、図5Bのx方向座標位置毎に欠値画素を有するか否かを判断した判断結果を示したものであり、欠値画素からなる欠値画像を示す。
Upon receiving the light section image from the
この場合、欠値画像生成部21は、図5Aに示すように、光切断画像内のx方向座標位置1〜9毎に、それぞれ光切断画像内でx方向と直交するy方向に並ぶ画素列中に、画素値が所定閾値以上の画素が存在するか否かを判断する。
In this case, as shown in FIG. 5A, the missing value
例えば、図5Aに示すように、光切断画像内の各x方向座標位置5,6には、光切断線5が存在しないことから、y方向の画素列中に所定閾値以上の画素値の画素が存在しない。この場合、欠値画像生成部21は、光切断画像内の各x方向座標位置5,6について、所定閾値以上の画素値の画素が存在せず、光切断法により凹凸状態を算出できない欠値画素であると判断し、各x方向座標位置5,6で、欠値画像の画素値を第1所定値である「1」とする。
For example, as shown in FIG. 5A, since the
一方、図5Aに示すように、光切断画像内の各x方向座標位置1〜4,7〜9には、光切断線5が存在していることから、y方向の画素列中に所定閾値以上の画素値の画素が存在する。この場合、欠値画像生成部21は、光切断画像内の各x方向座標位置1〜4,7〜9について、所定閾値以上の画素値の画素が存在しており、光切断法により凹凸状態を算出できると判断し、各x方向座標位置1〜4,7〜9で、欠値画像の画素値を第2所定値である「0」とする。このようにして、欠値画像生成部21は、図5Cに示すように、光切断画像の欠値画素がある各x方向座標位置の画素値を第1所定値とし、欠値画素がない各x方向座標位置の画素値を第2所定値とした欠値画像を生成し、これを欠陥画像生成部24に送出する。
On the other hand, as shown in FIG. 5A, since the
この際、深さ画像生成部22では、上述した欠値画像生成部21の欠値画像生成処理と並行に、深さ画像生成処理を行い、光切断画像毎に、光切断画像内に存在する光切断線5のy方向座標位置に基づいて、測定対象物1の測定面1aの凹凸状態を表した深さ画像を生成する。例えば、測定面1aに凹形状の表面欠陥(凹部9)がある場合、光切断画像には、測定面1aの凹形状によって生じた曲線部が光切断線5に現れる。当該曲線部の曲がり具合に基づいて光切断画像内で変化するy方向座標位置を基に凹凸状態が算出される。
At this time, the depth
なお、深さ画像生成部22による測定面1aの深さ画像生成処理は、特許第5488953号公報と同じであるため、ここではその詳細な説明は省略するが、例えば、特許第5488953号公報に示すように、深さ画像生成部22は、先ず始めに、光切断画像のx方向座標位置毎に、最大画素値をとる各y方向座標位置を求める。
In addition, since the depth image generation processing of the
次いで、深さ画像生成部22は、光切断画像において、x方向座標位置毎に求めた光切断線5の位置を示すy方向座標位置の変位量に基づいて、凹凸量を示す深さをx方向位置毎に算出し、図5Dに示すように、算出結果である深さを各x方向座標位置にそれぞれ格納し、深さ画像を生成する。
Next, the depth
例えば、図5Dでは、図5Aに示した光切断線5を基に生成した深さ画像を示しており、光切断画像のx方向座標位置1〜4,7〜9には光切断線5が存在している。このため、深さ画像生成部22は、x方向座標位置1〜4,7〜9でのy方向における光切断線5の位置を基に、x方向座標位置1〜4,7〜9毎に深さを算出し、算出結果(この場合、「-0.1」や「-0.8」等)を各x方向座標位置1〜4,7〜9にそれぞれ対応付けた深さ画像を生成する。
For example, FIG. 5D shows a depth image generated based on the
なお、この際、深さ画像生成部22は、所定閾値以上の画素値の画素が存在しないx方向座標位置5,6については深さを算出できないため、各x方向座標位置5,6を不算出値(図5Dでは「?」と表記)とする。
At this time, the depth
深さ画像生成部22は、深さ画像を2値化処理部23に送出する。また、深さ画像生成部22は、生成した深さ画像を記憶部14に保存する。2値化処理部23は、深さ画像を受け取ると、深さ画像に対して2値化処理を行い、2値化深さ画像を生成する。この場合、2値化処理部23は、深さ画像内のx方向座標位置毎に対応付けられた深さを算出し、この深さを、所定閾値を基準として、2値化深さ画像の対応座標位置毎の画素値を第1所定値の「1」又は第2所定値の「0」とすることで、深さ画像を2値化する。以下では、一般的に表面欠陥となり得る凹部分を第1所定値の「1」と設定する場合で説明する。なお凹側及び凸側のそれぞれに閾値を設定して、凹及び凸のいずれの表面欠陥も検出できるようにしてもよい。また閾値を事前に設定せず、公知の手法により、動的に適切な閾値を探索し、決定するようにしてもよい。
The depth
例えば、所定閾値として「-0.5」が2値化処理部23に設定されている場合には、図5Eに示すように、深さが「-0.5」以下となるx方向座標位置4,7が第1所定値とされ、残りのx方向座標位置1〜3,8,9は、第2所定値とされる。なお、2値化処理部23は、深さ画像において不算出値が対応付けられたx方向座標位置5,6については、2値化せずに不算出値のままとする。2値化処理部23は、2値化処理により深さ画像から生成した2値化深さ画像を欠陥画像生成部24に送出する。
For example, when “−0.5” is set in the
なお、この場合に、所定閾値より深さが浅い、x方向座標位置3、8は、測定面1aの本来あるべき平坦な表面(「0」の深さに対応)からは凹んではいるが、凹みの程度が小さいため、有害と判定するほどではない範囲を示しており、一方で、所定閾値より深さが深いx方向座標位置4、7は、凹みの程度が大きく、有害と判断しなければならない範囲を示している。
In this case, the x-direction coordinate
欠陥画像生成部24は、同じ光切断線を基に生成された欠値画像及び2値化深さ画像を受け取ると、欠陥画像生成処理を行い、欠値画像及び2値化深さ画像を統合して欠陥画像を生成する。欠陥画像生成部24は、欠値画像及び2値化深さ画像の同じx方向座標位置を比較してゆき、欠値画像及び2値化深さ画像のうち少なくともいずれかで第1所定値が対応けられているx方向座標位置を特定する。
Upon receiving the missing value image and the binarized depth image generated based on the same light section line, the defect
欠陥画像生成部24は、欠値画像及び2値化深さ画像のうち少なくともいずれかで第1所定値が対応付けられているx方向座標位置を特定すると、特定したx方向座標値で、欠陥画像の画素値を第1所定値の「1」とする。これにより、図5Eに示すように、2値化深さ画像において不算出値が対応付けられたx方向座標位置5,6は、図5Cに示すように欠値画像にて第1所定値の「1」が対応付けられていることから、第1所定値の「1」が対応付けられる。また、欠陥画像生成部24は、欠値画像及び2値化深さ画像の両方で第2所定値の「0」が対応付けられているx方向座標位置で、欠陥画像の画素値を第2所定値の「0」とすることで、図5Fに示すように、x方向座標位置毎にそれぞれ第1所定値又は第2所定値が対応付けられた欠陥画像を生成する。
When at least one of the missing value image and the binarized depth image specifies the x-direction coordinate position associated with the first predetermined value, the defect
このようにして、欠陥画像生成部24は、深さ画像に基づいて表面欠陥の深さ測定可能なx方向座標位置4,7と、光切断画像内において画素値が欠値となったx方向座標位置5,6とを合わせて、有害な表面欠陥の判定を行える欠陥画像を生成できる。
In this way, the defect
ここで、以上説明した欠値画像生成処理及び2値化処理によりそれぞれ得られた欠値画像及び2値化深さ画像のうち、画素値が第1所定値であるx方向座標位置全てをそのまま表面欠陥と判定して出力すると、欠陥画像内において測定対象物1が存在しない、x方向の端部領域についても全て有害と判定されてしまう恐れや、欠陥画像内に微小なノイズが残存してしまい、測定面1aにおける表面欠陥の正確な検出が行えない恐れもある。
Here, of the missing value image and the binarized depth image obtained by the missing value image generation processing and the binarization processing described above, all the x-direction coordinate positions whose pixel values are the first predetermined value are directly used. If the defect is determined to be a surface defect and output, there is a risk that the
そこで、表面欠陥検出装置10は、欠陥画像生成部24で得られた欠陥画像に対して、後述する非存在領域検出処理及びノイズ除去処理を行い、測定対象物1が存在しないx方向の端部領域や、ノイズを欠陥画像から除去する。以下、非存在領域検出処理及びノイズ除去処理について順番に説明する。
Therefore, the surface
この場合、欠陥画像生成部24は、生成した欠陥画像を非存在領域検出処理部25に送出する。ここで、欠陥画像の生成に用いる光切断画像は、測定対象物1が存在しない領域も含めて撮像されているため、光切断画像内のx方向の末端領域に光切断線5が撮像されない領域(以下、光切断線非存在領域ともいう。)を有している。そのため、このような光切断画像を基に欠陥画像を生成した場合には、光切断線5が存在しないx方向の末端領域についても各x方向座標位置に第1所定値の「1」が対応付けられる。
In this case, the defect
非存在領域検出処理部25は、このような欠陥画像内の光切断線非存在領域を、表面欠陥の検出対象から除外することにより、後述する表面欠陥の検出処理時に光切断線非存在領域が表面欠陥として誤検出されてしまうことを防止している。この場合、先ず始めに、非存在領域検出処理部25は、光切断線5が撮像されているx方向における光切断線存在領域を、光切断画像の画素値に基づいて検出し、光切断線存在領域から外れたx方向の末端領域を光切断線非存在領域として欠陥画像から除外する。
The non-existing region
本実施形態では、例えば、非存在領域検出処理部25は、光切断画像のx方向の両末端部のx方向座標位置から、それぞれ中央部のx方向座標位置に向けて、x方向に沿って順に、光切断線5の存在を示す画素のx方向座標位置を検出してゆき、光切断線存在領域の開始位置及び終了位置を特定する。開始位置及び終了位置の特定方法としては、例えば、光切断画像の中央部に向かって両端から各x方向座標位置における最大画素値を求め、所定値以上の値を最初に検出したx方向座標位置を光切断線5が存在する両端と特定すればよい。このようにして、非存在領域検出処理部25は、光切断線存在領域から測定対象物1の端部のx方向座標位置を検出し、欠陥画像内で光切断線存在領域から外れたx方向の末端領域を光切断線非存在領域として欠陥画像から除外して、光切断線存在領域からなる欠陥画像を生成する。非存在領域検出処理部25は、非存在領域検出処理を施した欠陥画像をノイズ除去処理部26に送出する。
In the present embodiment, for example, the non-existing region
なお、他の実施形態として、例えば、非存在領域検出処理部25は、光切断画像内で隣接するx方向座標位置において画素値の最大値を求め、その後、隣接する画素同士の最大画素値の差分を算出し、算出した差分値が大きい座標位置を、光切断線存在領域及び光切断線非存在領域の境界とし、光切断線存在領域からなる欠陥画像を生成するようにしてもよい。
As another embodiment, for example, the non-existing region
ノイズ除去処理部26は、測定対象物1の長手方向yに沿って、光切断線存在領域からなる欠陥画像を所定数受け取ると、これら時系列順に得られた欠陥画像を測定対象物1の長手方向yに沿って並べてゆき、合成欠陥画像を生成する。
When the noise
ノイズ除去処理部26は、合成欠陥画像に対してノイズ除去処理を行い、合成欠陥画像内で第1所定値となっている画素の領域(第1所定値が対応付けられた画素の集合であり、以下、ブロブともいう)の中から、面積が微小な領域をノイズとして除去する。具体的には、ノイズ除去処理部26は、合成欠陥画像に対してブロブを認識するラベリング処理を行い、各ブロブの面積を算出する。
The noise
ノイズ除去処理部26は、この算出結果を基にブロブの中から、予め設定した面積以下のブロブを、ノイズとして特定して欠陥画像から除去する。なお、他の実施形態として、ノイズ除去処理部26は、画像処理分野で一般的なモロフォロジー演算処理(Open処理やClose処理など)を合成欠陥画像に対して施し、ラベリングを行うことなくノイズを除去してもよい。この場合、ラベリングは後述する欠陥検出部27において実施すればよい。ノイズ除去処理部26は、ノイズ除去後の合成欠陥画像を欠陥検出部27に送出する。
The noise
欠陥検出部27は、ノイズ除去処理部26からノイズ除去処理後の合成欠陥画像を受け取ると、合成欠陥画像から第1所定値となっている領域(ブロブ)を表面欠陥として検出する。このとき、欠陥検出部27は、記憶部14から深さ画像を読み出し、表面欠陥の深さ(特に、欠値画像で第1所定値となる画素の周囲の深さ)を参照することで、表面欠陥が凹部であるのか凸部であるのか判断することもできる。また、他の実施形態として、例えば、ブロブの特徴を数値化した指標を別途算出し、Support Vector Machineなどの公知のパターン認識手法を用いて、合成欠陥画像で検出された表面欠陥を更に弁別してもよい。このようにすると、パターン認識により、検出した表面欠陥の種類を詳細に分類することができる。
Upon receiving the combined defect image after the noise removal processing from the noise
なお、欠陥検出部27は、表示部15及び記憶部14に接続されており、表示部15及び記憶部14に表面欠陥の検出結果を送出する。これにより、記憶部14は、表面欠陥の検出結果を記憶し、表示部15は、表面欠陥の検出結果を表示して、作業者に検出結果を確認させることができる。
The
<本発明の表面欠陥検出処理>
次に、表面欠陥検出装置10の演算処理装置11にて実行される、上述した表面欠陥検出処理について、図6に示すフローチャートを用いて簡単に説明する。図6に示すように、演算処理装置11は、開始ステップからステップS1に移る。
<Surface defect detection processing of the present invention>
Next, the above-described surface defect detection processing executed by the
ステップS1において、表面欠陥検出処理が開始されると、取得部12は、撮像装置3から光切断画像を取得し、欠値画像生成部21と深さ画像生成部22とに光切断画像を送出し、次のステップS2及びステップS3に移る。ステップS2では、深さ画像生成部22が、受け取った光切断画像から、測定面1aの凹凸状態を表した深さ画像を生成し、次のステップS4に移る。
In step S1, when the surface defect detection process is started, the
ステップS4において、2値化処理部23は、深さ画像を2値化して2値化深さ画像を生成し、次のステップS5に移る。一方、ステップS3において、欠値画像生成部21は、受け取った光切断画像の画素値が所定閾値以下のx方向座標位置を欠値画素として特定し、欠値画素としたx方向座標位置を第1所定値とし、欠値画素以外の他のx方向座標位置を第2所定値とした欠値画像を生成して、次のステップS5に移る。
In step S4, the
ステップS5において、欠陥画像生成部24は、欠陥画像生成処理を行い、欠値画像と2値化深さ画像とを統合して欠陥画像を生成する。ここで、ステップS5の欠陥画像生成処理については、図7に示すフローチャートを用いて以下説明する。図7に示すように、欠陥画像生成部24は、開始ステップからステップS10に移る。ステップS10では、欠陥画像生成部24は、欠値画像及び2値化深さ画像の各x方向座標を示すカウンタiの値を初期化して、例えばカウンタiの値を1に設定し、次のステップS11に移る。
In step S5, the defect
ステップS11において、欠陥画像生成部24は、欠値画像のx方向座標位置iが欠値画素であるか否かを判断する。具体的には、欠値画像のx方向座標位置iに第1所定値が対応付けられているとき、当該x方向座標位置iが欠値画素であると判断し、次のステップS14に移る。これに対して、欠値画像のx方向座標位置iに第2所定値が対応付けられているとき、当該x方向座標位置iが欠値画素でないと判断し、次のステップS12に移る。
In step S11, the defect
ステップS12において、欠陥画像生成部24は、2値化深さ画像のx方向座標位置iが有害な表面欠陥であるか否かを判定する。具体的には、2値化深さ画像のx方向座標位置iに第1所定値が対応付けられているとき、当該x方向座標位置iが有害な表面欠陥であると判断し、次のステップS14に移る。これに対して、2値化深さ画像のx方向座標位置iに第2所定値が対応付けられているとき、当該x方向座標位置iが有害な表面欠陥ではないと判断し、次のステップS13に移る。
In step S12, the defect
ステップS13では、ステップS11及びステップS12でそれぞれ否定結果が得られているため、x方向座標位置iは、欠値画素ではなく、かつ有害な表面欠陥でもないことから、欠陥画像生成部24は、x方向座標位置iの画素値を第2所定値とし、次のステップS15に移る。一方、ステップS14では、ステップS11又はステップS12のいずれかで肯定結果が得られているため、x方向座標位置iは、欠値画素、又は有害な表面欠陥のいずれかであることから、欠陥画像生成部24は、x方向座標位置iの画素値を第1所定値とし、次のステップS15に移る。
In step S13, since negative results are obtained in step S11 and step S12, respectively, the x-direction coordinate position i is not a missing pixel and is not a harmful surface defect. The pixel value at the x-direction coordinate position i is set as the second predetermined value, and the flow advances to the next step S15. On the other hand, in step S14, since a positive result is obtained in either step S11 or step S12, the x-direction coordinate position i is either a missing pixel or a harmful surface defect. The
ステップS15において、欠陥画像生成部24は、x方向座標位置を示すカウンタiの値に1を加算し、次のステップS16に移る。ステップS16において、欠陥画像生成部24は、x方向座標位置iの値がnであるかを判断する。ここで、nは、正の整数であり、光切断画像のx方向における末端部のx方向座標位置を示すものである。よって、ステップS16において、肯定結果が得られると、このことはx方向座標位置iの値がnになり、欠値画像及び2値化深さ画像のx方向にある全ての画素に対して上記の処理が終了して欠陥画像が生成されたことを意味するため、欠陥画像生成部24は、上述した処理を終了し、図6のステップS6に移る。
In step S15, the defect
一方、ステップS16において、否定結果が得られると、このことはx方向座標位置iの値がnではないことを表しており、このとき、欠陥画像生成部24は、ステップS16で肯定結果が得られるまで、上述したステップS11〜ステップS15を繰り返す。次に、図6のフローチャートに戻り、ステップS6以降について説明する。
On the other hand, if a negative result is obtained in step S16, this means that the value of the x-direction coordinate position i is not n. At this time, the defect
ステップS6において、非存在領域検出処理部25は、欠陥画像が得られる毎に、欠陥画像の中から、光切断線が存在している光切断線存在領域を検出して、欠陥画像の中から光切断線非存在領域を特定して、欠陥画像から光切断線非存在領域を除外して次のステップS7に移る。
In step S6, each time a defect image is obtained, the non-existing region
ステップS7において、ノイズ除去処理部26は、測定対象物1の長手方向yに沿って順次得られる欠陥画像を、長手方向yに沿って並べて合成欠陥画像を生成し、合成欠陥画像内からノイズを除去し、次のステップS8に移る。
In step S7, the noise
ステップS8において、欠陥検出部27は、合成欠陥画像内からブロブを表面欠陥として検出し、上述した表面欠陥検出処理が終了する。
In step S8, the
<作用及び効果>
以上の構成において、表面欠陥検出装置10は、光切断線が存在しないx方向座標位置の欠値画素の画素値を1(第1所定値)とした欠値画像を生成するようにした。また、表面欠陥検出装置10は、光切断画像に基づいて測定対象物1の測定面1aの凹凸状態を表した深さ画像を生成し、深さ画像に対して2値化処理を行い、深さ画像でx方向座標位置毎に示された深さを、所定閾値に基づいて1(第1所定値)又は0(第2所定値)とした2値化深さ画像を生成するようにした。そして、表面欠陥検出装置10は、欠値画像及び2値化深さ画像のうち少なくともいずれかで、第1所定値であるx方向座標位置の画素値を1(第1所定値)とし、欠値画像及び2値化深さ画像のいずれも第1所定値でないx方向座標位置の画素値を0(第2所定値)として、光切断画像毎に、欠値画像と2値化深さ画像とを統合して欠陥画像を生成するようにした。これにより、表面欠陥検出装置10では、測定対象物1の長手方向yに沿って生成された複数の欠陥画像に基づいて、表面欠陥を検出することができる。
<Action and effect>
In the above configuration, the surface
本発明によれば、表面欠陥検出装置10は、欠値画素と、深さ画像を基にした測定面1aの凹凸状態とを統合して測定面1aの表面欠陥を検出できるので、欠値画素のみから、あるいは深さ画像のみからでは一部しか検出できなかった表面欠陥全体についても検出できる。
According to the present invention, the surface
さらに、表面欠陥検出装置10は、1つの撮像装置から得られる光切断画像を基に欠陥画像を生成できることから、従来のように異なる撮像装置により得られた、撮像角度が異なる複数の画像をマッチングさせるマッチング処理が不要となり、処理が簡便になり、マッチング処理による不具合の発生を防止できる。よって、測定対象物の表面欠陥を従来よりも簡便かつ正確に検出できる。
Furthermore, since the surface
さらに、例えば図5に示した欠陥を検出しようとする場合において、値が不算出値であるからといって、欠値となった画素を無視する処理をしてしまうと、図5Bのx方向座標位置4、7の深さだけから2つの欠陥が生じていると誤検知してしまう恐れがあるが、表面欠陥検出装置10であれば、欠値画素の範囲と、欠値の周囲にある有害と判定したい範囲とを総合的に欠陥として検出することができるため、誤検知を少なくすることができる。
Further, for example, in a case where the defect shown in FIG. 5 is to be detected, if a process of ignoring a pixel that has become a missing value because the value is an uncalculated value is performed, the x direction in FIG. There is a risk of erroneously detecting that two defects have occurred only from the depths of the coordinate
また、欠値となった画素を機械的に欠陥であるとする処理をしてしまうと、欠値となった画素の凹凸情報が得られなくなるが、表面欠陥検出装置10であれば、有害と判定したい範囲の深さや、有害と判定したい範囲の周囲の深さを考慮(そうした範囲が凹状なら、欠値を含めて欠陥は凹状と判断でき、範囲が凸状なら、欠値を含めて欠陥は凸状だと判断できる)することで、欠陥全体が、凹状の欠陥なのか、凸状の欠陥なのかも併せて判断することができる。 In addition, if the pixel having the missing value is mechanically determined to be defective, the unevenness information of the pixel having the missing value cannot be obtained. Consider the depth of the range you want to judge and the depth around the range you want to judge as harmful (if such a range is concave, you can judge that the defect including the missing value is concave; if the range is convex, you can judge the defect including the missing value Can be determined to be convex), it is possible to determine whether the entire defect is a concave defect or a convex defect.
<他の実施形態>
上記の実施形態では、2値化深さ画像とは別に欠値画像を生成し、欠値画像と2値化深さ画像とを統合して欠陥画像を生成する場合について説明したが、本発明はこれに限られない。例えば、欠値画像を生成せずに、2値化深さ画像からx方向座標位置の欠値画素を特定し、欠値画素を特定した2値化深さ画像に基づいて欠陥画像を生成するようにしてもよい。
<Other embodiments>
In the above embodiment, a case has been described in which a missing value image is generated separately from a binarized depth image, and the missing image and the binarized depth image are integrated to generate a defect image. Is not limited to this. For example, without generating a missing value image, a missing pixel at an x-direction coordinate position is specified from the binary depth image, and a defect image is generated based on the binary depth image specifying the missing pixel. You may do so.
この場合、例えば、図5Eに示すように、2値化深さ画像において、x方向座標位置5,6では、深さ画像において不算出値が対応付けられているために2値化処理を行うことができず、不算出値(図5E中に「?」と表記)のままとなっている。よって、他の実施形態として、2値化深さ画像に対応付けられた不算出値から、欠値画素のx方向座標位置を特定することができる。かくして、深さ画像とは別に欠値画像を生成しなくても、2値化深さ画像のみから欠陥画像を生成することもできる。
In this case, for example, as illustrated in FIG. 5E, in the binarized depth image, at the x-direction coordinate
図4と同一構成について同一符号を付して示す図8は、上述した他の実施形態による演算処理装置18の構成を示したブロック図である。図8に示す演算処理装置18は、上述した実施形態の演算処理装置11とは画像処理部28内に設けられた欠陥画像生成部31の構成が相違していることから、ここでは、主に欠陥画像生成部31に着目して以下説明する。
FIG. 8, in which the same components as in FIG. 4 are assigned the same reference numerals, is a block diagram illustrating the configuration of the
画像処理部28は、深さ画像生成部22と、2値化処理部23と、欠陥画像生成部31と、非存在領域検出処理部25と、ノイズ除去処理部26と、欠陥検出部27とを備えている。この場合、欠陥画像生成部31は、深さ画像を2値化した2値化深さ画像を2値化処理部23から受け取る。欠陥画像生成部31は、例えば、図5Eに示すような2値化深さ画像を受け取ると、2値化深さ画像内で不算出値が対応付けられているx方向座標位置5,6を特定する。
The
欠陥画像生成部31は、2値化深さ画像で不算出値が対応付けられているx方向座標位置5,6に第1所定値を対応付け、2値化深さ画像のx方向座標位置1〜9が第1所定値又は第2所定値のみで規定された欠陥画像を生成する。これにより、画像処理部28では、2値化深さ画像とは別に欠値画像を生成する欠値画像生成処理が不要となるとともに、欠値画像と2値化深さ画像を統合する統合処理も不要となる分、演算処理負担を軽減できる。
The defect
画像処理部28は、欠陥画像生成部31で欠陥画像が生成されると、上述した実施形態と同様に、非存在領域検出処理部25により、光切断線存在領域からなる欠陥画像を生成できる。また、画像処理部28は、上述した実施形態と同様に、ノイズ除去処理部26によって、光切断線存在領域からなる欠陥画像を、測定対象物1の長手方向yに沿って得られる順に配列することで合成欠陥画像を生成してノイズを除去することができる。以上より、他の実施形態においても、上述した実施形態と同様の効果を得ることができる。
When a defect image is generated by the defect
次に、他の実施形態による演算処理装置18での表面欠陥検出処理について、図9に示すフローチャートを用いて簡単に説明する。この場合、ステップS1で、取得部12は、撮像装置3から光切断画像を取得し、深さ画像生成部22に光切断画像を送出し、次のステップS2に移る。
Next, surface defect detection processing in the
ステップS2において、深さ画像生成部22は、光切断画像に基づいて深さ画像を生成し、次のステップS4に移る。ステップS4において、2値化処理部23は、深さ画像を2値化し、2値化深さ画像を生成し、次のステップS30に移る。ステップS30において、欠値画像生成部21は、2値化深さ画像で不算出値となっているx方向座標位置を特定し、特定したx方向座標位置に第1所定値である「1」を対応付けて、2値化深さ画像のx方向座標位置にそれぞれ第1所定値又は第2所定値を対応付けた欠値画像を生成し、次のステップ6に移る。その後の処理は、上記の実施形態における図6のフローチャートと同様に、ステップS6〜ステップS8を実行して上述した処理を終了する。
In step S2, the depth
また、他の実施形態においては、欠陥画像生成部によって、2値化深さ画像から欠値画素を特定して欠値画像を生成した後、欠値画像と、2値化深さ画像とを統合して欠陥画像を生成するようにしてもよい。 Further, in another embodiment, after the missing image is generated by specifying the missing pixel from the binarized depth image by the defect image generating unit, the missing image and the binarized depth image are combined. The defect image may be generated by integration.
上記の実施形態では、欠値画像生成部21と深さ画像生成部22において全x方向座標位置で演算を行ったが、非存在領域検出処理部25の処理を取得部12の内部で行ってもよい。これにより欠値画像生成部21と深さ画像生成部22での演算対象を光切断線存在領域に限定することができ、更なる高速化が可能となる。
In the above embodiment, the calculation was performed at all the x-direction coordinate positions in the missing value
上記の実施形態では、ノイズ除去処理部26によって、測定対象物1の長手方向yに沿って欠陥画像を配列させた合成欠陥画像を生成する場合について説明したが、本発明はこれに限られず、欠陥画像生成部や非存在領域検出部によって、測定対象物1の長手方向yに沿って欠陥画像を配列させた合成欠陥画像を生成するようにしてもよい。
In the above-described embodiment, the case has been described in which the noise
1 測定対象物
2 線状光源
3 撮像装置
10 表面欠陥検出装置
11 演算処理装置
21 欠値画像生成部
22 深さ画像生成部
23 2値化処理部
24 欠陥画像生成部
27 欠陥検出部
REFERENCE SIGNS
Claims (7)
前記測定面に線状光を照射する線状光源と、
前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像装置と、
複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理装置と、
を有し、
前記演算処理装置は、
前記光切断画像毎に、前記光切断線が存在しない所定画素値以下のx方向座標位置を欠値画素とし、前記欠値画素の画素値を第1所定値とした欠値画像を生成する欠値画像生成部と、
前記光切断画像毎に、前記測定面の凹凸状態を前記x方向座標位置毎に表した深さ画像を生成する深さ画像生成部と、
前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて前記第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理部と、
前記光切断画像毎に前記欠値画像と前記2値化深さ画像とを統合し、前記2値化深さ画像及び前記欠値画像のうち少なくともいずれかで、前記第1所定値である前記x方向座標位置の画素値を前記第1所定値とし、前記2値化深さ画像の前記第2所定値と前記第1所定値とで各前記x方向座標位置を表した欠陥画像を生成する欠陥画像生成部と、
前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出部と、を備える、表面欠陥検出装置。 In a surface defect detection device that detects a surface defect of a measurement surface of a measurement object having a longitudinal direction,
A linear light source that irradiates the measurement surface with linear light,
An imaging apparatus for imaging a light-section line on the measurement surface by the linear light while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction. When,
An arithmetic processing device that detects the surface defect based on the plurality of light-section images,
Has,
The arithmetic processing unit,
For each of the light-section images, a missing-value image in which an x-direction coordinate position equal to or less than a predetermined pixel value where the light-section line does not exist is defined as a missing pixel, and a pixel value of the missing pixel is set to a first predetermined value. A value image generator,
For each light-section image, a depth image generation unit that generates a depth image representing the unevenness state of the measurement surface for each x-direction coordinate position,
A binarization process is performed on the depth image, and the depth indicated for each x-direction coordinate position in the depth image is set to the first predetermined value or the second predetermined value based on a predetermined threshold. A binarization processing unit that generates a binarized depth image;
The missing value image and the binarized depth image are integrated for each of the light section images, and at least one of the binarized depth image and the missing value image is the first predetermined value. A pixel value at an x-direction coordinate position is defined as the first predetermined value, and a defect image representing each of the x-direction coordinate positions is generated by the second predetermined value and the first predetermined value of the binarized depth image. A defect image generation unit;
A defect detection unit configured to detect, as the surface defect, an area in which a pixel value is the first predetermined value, based on the plurality of defect images generated along the longitudinal direction of the measurement target; Defect detection device.
前記測定面に線状光を照射する線状光源と、
前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像装置と、
複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理装置と、
を有し、
前記演算処理装置は、
各前記光切断画像毎に、前記測定面の凹凸状態をx方向座標位置毎に表した深さ画像を生成する深さ画像生成部と、
前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理部と、
前記2値化深さ画像に基づいて、前記光切断線が存在せずに画素値が検出できなかった各前記x方向座標位置を欠値画素として特定し、前記欠値画素の画素値を前記第1所定値として、前記2値化深さ画像の各前記x方向座標位置を、前記第1所定値と前記第2所定値とで表した欠陥画像を生成する欠陥画像生成部と、
前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出部と、を備える、表面欠陥検出装置。 In a surface defect detection device that detects a surface defect of a measurement surface of a measurement object having a longitudinal direction,
A linear light source that irradiates the measurement surface with linear light,
An imaging apparatus for imaging a light-section line on the measurement surface by the linear light while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction. When,
An arithmetic processing device that detects the surface defect based on the plurality of light-section images,
Has,
The arithmetic processing unit,
For each of the light-section images, a depth image generation unit that generates a depth image representing the unevenness state of the measurement surface for each x-direction coordinate position,
A binarization process is performed on the depth image, and the depth indicated for each of the x-direction coordinate positions in the depth image is set to a first predetermined value or a second predetermined value based on a predetermined threshold. A binarization processing unit that generates a binarized depth image;
Based on the binarized depth image, identify each of the x-direction coordinate positions where a pixel value could not be detected without the light cutting line as a missing value pixel, and determine a pixel value of the missing value pixel as the missing value pixel. A defect image generating unit that generates a defect image in which each of the x-direction coordinate positions of the binarized depth image is represented by the first predetermined value and the second predetermined value as a first predetermined value;
A defect detection unit configured to detect, as the surface defect, an area in which a pixel value is the first predetermined value, based on the plurality of defect images generated along the longitudinal direction of the measurement target; Defect detection device.
前記測定面に線状光を照射する照射工程と、
前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像工程と、
複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理工程と、
を有し、
前記演算処理工程は、
前記光切断画像毎に、前記光切断線が存在しない所定画素値以下のx方向座標位置を欠値画素とし、前記欠値画素の画素値を第1所定値とした欠値画像を生成する欠値画像生成工程と、
前記光切断画像毎に、前記測定面の凹凸状態を前記x方向座標位置毎に表した深さ画像を生成する深さ画像生成工程と、
前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて前記第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理工程と、
前記光切断画像毎に前記欠値画像と前記2値化深さ画像とを統合し、前記2値化深さ画像及び前記欠値画像のうち少なくともいずれかで、前記第1所定値である前記x方向座標位置の画素値を前記第1所定値とし、前記2値化深さ画像の前記第2所定値と前記第1所定値とで各前記x方向座標位置を表した欠陥画像を生成する欠陥画像生成工程と、
前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出工程と、を有する、表面欠陥検出方法。 In a surface defect detection method for detecting a surface defect of a measurement surface of a measurement object having a longitudinal direction,
An irradiation step of irradiating the measurement surface with linear light,
An imaging step of imaging a light-section line on the measurement surface by the linear light while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction. When,
An arithmetic processing step of detecting the surface defect based on the plurality of light-section images,
Has,
The arithmetic processing step includes:
For each of the light-section images, a missing-value image in which an x-direction coordinate position equal to or less than a predetermined pixel value where the light-section line does not exist is defined as a missing pixel, and a pixel value of the missing pixel is set to a first predetermined value. A value image generation step,
For each light-section image, a depth image generating step of generating a depth image representing the unevenness state of the measurement surface for each x-direction coordinate position,
A binarization process is performed on the depth image, and the depth indicated for each x-direction coordinate position in the depth image is set to the first predetermined value or the second predetermined value based on a predetermined threshold. A binarization processing step of generating a binarized depth image;
The missing value image and the binarized depth image are integrated for each of the light section images, and at least one of the binarized depth image and the missing value image is the first predetermined value. A pixel value at an x-direction coordinate position is defined as the first predetermined value, and a defect image representing each of the x-direction coordinate positions is generated by the second predetermined value and the first predetermined value of the binarized depth image. A defect image generation step;
A defect detection step of detecting, as the surface defect, an area having a pixel value of the first predetermined value, based on the plurality of defect images generated along the longitudinal direction of the measurement object. Defect detection method.
前記測定面に線状光を照射する照射工程と、
前記線状光による前記測定面上の光切断線を、前記長手方向に沿って前記測定面を変えながら撮像し、x方向に前記光切断線が延びた複数の光切断画像を生成する撮像工程と、
複数の前記光切断画像に基づいて前記表面欠陥を検出する演算処理工程と、
を有し、
前記演算処理工程は、
各前記光切断画像毎に、前記測定面の凹凸状態をx方向座標位置毎に表した深さ画像を生成する深さ画像生成工程と、
前記深さ画像に対して2値化処理を行い、前記深さ画像で前記x方向座標位置毎に示された深さを、所定閾値に基づいて第1所定値又は第2所定値とした2値化深さ画像を生成する2値化処理工程と、
前記2値化深さ画像に基づいて、前記光切断線が存在せずに画素値が検出できなかった各前記x方向座標位置を欠値画素として特定し、前記欠値画素の画素値を前記第1所定値として、前記2値化深さ画像の各前記x方向座標位置を、前記第1所定値と前記第2所定値とで表した欠陥画像を生成する欠陥画像生成部と、
前記測定対象物の前記長手方向に沿って生成された複数の前記欠陥画像に基づいて、画素値が前記第1所定値である領域を前記表面欠陥として検出する欠陥検出工程と、を有する、表面欠陥検出方法。 In a surface defect detection method for detecting a surface defect of a measurement surface of a measurement object having a longitudinal direction,
An irradiation step of irradiating the measurement surface with linear light,
An imaging step of imaging a light-section line on the measurement surface by the linear light while changing the measurement surface along the longitudinal direction, and generating a plurality of light-section images in which the light-section line extends in the x direction. When,
An arithmetic processing step of detecting the surface defect based on the plurality of light-section images,
Has,
The arithmetic processing step includes:
For each of the light-section images, a depth image generation step of generating a depth image representing the unevenness state of the measurement surface for each x-direction coordinate position,
A binarization process is performed on the depth image, and the depth indicated for each of the x-direction coordinate positions in the depth image is set to a first predetermined value or a second predetermined value based on a predetermined threshold. A binarization processing step of generating a binarized depth image;
Based on the binarized depth image, identify each of the x-direction coordinate positions where a pixel value could not be detected without the light cutting line as a missing value pixel, and determine a pixel value of the missing value pixel as the missing value pixel. A defect image generating unit that generates a defect image in which each of the x-direction coordinate positions of the binarized depth image is represented by the first predetermined value and the second predetermined value as a first predetermined value;
A defect detection step of detecting, as the surface defect, an area having a pixel value of the first predetermined value, based on the plurality of defect images generated along the longitudinal direction of the measurement object. Defect detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131840A JP7028091B2 (en) | 2018-07-11 | 2018-07-11 | Surface defect detection device and surface defect detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131840A JP7028091B2 (en) | 2018-07-11 | 2018-07-11 | Surface defect detection device and surface defect detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020008501A true JP2020008501A (en) | 2020-01-16 |
JP7028091B2 JP7028091B2 (en) | 2022-03-02 |
Family
ID=69151537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018131840A Active JP7028091B2 (en) | 2018-07-11 | 2018-07-11 | Surface defect detection device and surface defect detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7028091B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160168A (en) * | 2021-04-16 | 2021-07-23 | 浙江高速信息工程技术有限公司 | Noise processing method and system based on fracture image binarization connected region |
CN113610797A (en) * | 2021-08-02 | 2021-11-05 | 逸美德科技股份有限公司 | Card slot detection method and device and storage medium |
CN113781424A (en) * | 2021-09-03 | 2021-12-10 | 苏州凌云光工业智能技术有限公司 | Surface defect detection method, device and equipment |
US20220084190A1 (en) * | 2020-09-15 | 2022-03-17 | Aisin Corporation | Abnormality detection device, abnormality detection computer program product, and abnormality detection system |
TWI770757B (en) * | 2020-08-19 | 2022-07-11 | 大陸商上海商湯智能科技有限公司 | Defect detection method, electronic equipment and computer-readable storage medium thereof |
CN115619767A (en) * | 2022-11-09 | 2023-01-17 | 南京云创大数据科技股份有限公司 | Method and device for detecting surface defects of mirror-like workpiece based on multi-illumination condition |
CN115615998A (en) * | 2022-12-13 | 2023-01-17 | 浙江工业大学 | Circular magnetic core side defect detection device and method thereof |
CN115953409A (en) * | 2023-03-15 | 2023-04-11 | 深圳市深奇浩实业有限公司 | Injection molding surface defect detection method based on image processing |
CN116152237A (en) * | 2023-04-18 | 2023-05-23 | 中铁四局集团有限公司 | Method and system for detecting flaking and falling blocks of steel rail |
CN116359243A (en) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | Environment-friendly panel production quality detection method based on computer vision |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194318A (en) * | 2000-01-14 | 2001-07-19 | Ishikawajima Harima Heavy Ind Co Ltd | Device and method for flaw detection |
US20070008538A1 (en) * | 2004-01-22 | 2007-01-11 | Kiraly Christopher M | Illumination system for material inspection |
JP2010117281A (en) * | 2008-11-13 | 2010-05-27 | Jfe Steel Corp | Method and device for detecting surface defect of slab |
JP2010117280A (en) * | 2008-11-13 | 2010-05-27 | Jfe Steel Corp | Method and device for detecting surface defect of slab |
JP2017083312A (en) * | 2015-10-28 | 2017-05-18 | 三井造船株式会社 | Surface damage detection method and surface damage detection device |
-
2018
- 2018-07-11 JP JP2018131840A patent/JP7028091B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001194318A (en) * | 2000-01-14 | 2001-07-19 | Ishikawajima Harima Heavy Ind Co Ltd | Device and method for flaw detection |
US20070008538A1 (en) * | 2004-01-22 | 2007-01-11 | Kiraly Christopher M | Illumination system for material inspection |
JP2010117281A (en) * | 2008-11-13 | 2010-05-27 | Jfe Steel Corp | Method and device for detecting surface defect of slab |
JP2010117280A (en) * | 2008-11-13 | 2010-05-27 | Jfe Steel Corp | Method and device for detecting surface defect of slab |
JP2017083312A (en) * | 2015-10-28 | 2017-05-18 | 三井造船株式会社 | Surface damage detection method and surface damage detection device |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI770757B (en) * | 2020-08-19 | 2022-07-11 | 大陸商上海商湯智能科技有限公司 | Defect detection method, electronic equipment and computer-readable storage medium thereof |
US20220084190A1 (en) * | 2020-09-15 | 2022-03-17 | Aisin Corporation | Abnormality detection device, abnormality detection computer program product, and abnormality detection system |
US12051184B2 (en) | 2020-09-15 | 2024-07-30 | Aisin Corporation | Abnormality detection device, abnormality detection computer program product, and abnormality detection system |
JP7501264B2 (en) | 2020-09-15 | 2024-06-18 | 株式会社アイシン | Anomaly detection device, anomaly detection program, and anomaly detection system |
CN113160168A (en) * | 2021-04-16 | 2021-07-23 | 浙江高速信息工程技术有限公司 | Noise processing method and system based on fracture image binarization connected region |
CN113610797B (en) * | 2021-08-02 | 2024-02-13 | 逸美德科技股份有限公司 | Card slot detection method, device and storage medium |
CN113610797A (en) * | 2021-08-02 | 2021-11-05 | 逸美德科技股份有限公司 | Card slot detection method and device and storage medium |
WO2022170743A1 (en) * | 2021-08-02 | 2022-08-18 | 逸美德科技股份有限公司 | Card slot detection method and apparatus, and storage medium |
CN113781424A (en) * | 2021-09-03 | 2021-12-10 | 苏州凌云光工业智能技术有限公司 | Surface defect detection method, device and equipment |
CN113781424B (en) * | 2021-09-03 | 2024-02-27 | 苏州凌云光工业智能技术有限公司 | Surface defect detection method, device and equipment |
CN115619767A (en) * | 2022-11-09 | 2023-01-17 | 南京云创大数据科技股份有限公司 | Method and device for detecting surface defects of mirror-like workpiece based on multi-illumination condition |
CN115619767B (en) * | 2022-11-09 | 2023-04-18 | 南京云创大数据科技股份有限公司 | Method and device for detecting surface defects of mirror-like workpiece based on multi-illumination condition |
CN115615998B (en) * | 2022-12-13 | 2023-04-07 | 浙江工业大学 | Circular magnetic core side defect detection device and method |
CN115615998A (en) * | 2022-12-13 | 2023-01-17 | 浙江工业大学 | Circular magnetic core side defect detection device and method thereof |
CN115953409A (en) * | 2023-03-15 | 2023-04-11 | 深圳市深奇浩实业有限公司 | Injection molding surface defect detection method based on image processing |
CN116359243A (en) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | Environment-friendly panel production quality detection method based on computer vision |
CN116152237B (en) * | 2023-04-18 | 2023-07-04 | 中铁四局集团有限公司 | Method and system for detecting flaking and falling blocks of steel rail |
CN116152237A (en) * | 2023-04-18 | 2023-05-23 | 中铁四局集团有限公司 | Method and system for detecting flaking and falling blocks of steel rail |
Also Published As
Publication number | Publication date |
---|---|
JP7028091B2 (en) | 2022-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020008501A (en) | Surface defect detection device and surface defect detection method | |
KR101832081B1 (en) | Surface defect detection method and surface defect detection device | |
CN107735674B (en) | Surface defect detection device, surface defect detection method, and steel product manufacturing method | |
JP6394514B2 (en) | Surface defect detection method, surface defect detection apparatus, and steel material manufacturing method | |
RU2764644C1 (en) | Method for detecting surface defects, device for detecting surface defects, method for producing steel materials, method for steel material quality control, steel materials production plant, method for generating models for determining surface defects and a model for determining surface defects | |
JP6646339B2 (en) | Surface defect detection method, surface defect detection device, and steel material manufacturing method | |
JP6079948B1 (en) | Surface defect detection device and surface defect detection method | |
JP6119663B2 (en) | Surface defect detection method and surface defect detection apparatus | |
JP2018096908A (en) | Inspection device and inspection method | |
JP2002148195A (en) | Surface inspection apparatus and surface inspection method | |
JP2010181328A (en) | Device, program and method for inspecting surface of solar battery wafer | |
US10955354B2 (en) | Cylindrical body surface inspection device and cylindrical body surface inspection method | |
JP6387909B2 (en) | Surface defect detection method, surface defect detection apparatus, and steel material manufacturing method | |
JP2017181136A (en) | Surface defect detection method and surface defect detection device | |
JP4563184B2 (en) | Method and apparatus for inspecting mura defect | |
JP4563183B2 (en) | Inspection method and apparatus for streaky unevenness defect | |
JP2004286708A (en) | Defect detection apparatus, method, and program | |
JP6185539B2 (en) | Optical connector ferrule end face inspection device and inspection program | |
JP6688629B2 (en) | Defect detecting device, defect detecting method and program | |
JP6595800B2 (en) | Defect inspection apparatus and defect inspection method | |
JP7040325B2 (en) | Concavo-convex part detection method and uneven part detection device | |
JP2011058970A (en) | Pipe end face inspection device and pipe end face inspection method | |
JP4720742B2 (en) | Material flow rate measuring method and material flow rate measuring device | |
JP2020046255A (en) | Transparent medium inspection device and transparent medium inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220131 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7028091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |