KR102684368B1 - Surface defect determination device, appearance inspection device and program - Google Patents
Surface defect determination device, appearance inspection device and program Download PDFInfo
- Publication number
- KR102684368B1 KR102684368B1 KR1020227008488A KR20227008488A KR102684368B1 KR 102684368 B1 KR102684368 B1 KR 102684368B1 KR 1020227008488 A KR1020227008488 A KR 1020227008488A KR 20227008488 A KR20227008488 A KR 20227008488A KR 102684368 B1 KR102684368 B1 KR 102684368B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- amount
- pixel
- subpixel
- lighting device
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 171
- 238000007689 inspection Methods 0.000 title claims description 28
- 238000005286 illumination Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims description 31
- 238000004519 manufacturing process Methods 0.000 claims description 28
- 239000000428 dust Substances 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000004065 semiconductor Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 230000035945 sensitivity Effects 0.000 description 12
- 239000011800 void material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000010409 thin film Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/8901—Optical details; Scanning details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Textile Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
상이한 위치에 배치된 조명 장치 (2a), (2b), 라인 센서 (1) 에 대해서 피검사물 (5) 을 상대적으로 이동시키면서, 각 조명 장치로부터의 조명광을 1 개씩 전환하여 피검사물에 조사시켰을 때에, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 조명광의 전환분만큼 각각 위치 어긋남 상태에서 복수의 화상을 취득하는 화상 취득 수단 (10) 과, 취득된 각 조명 장치에 대응하는 화상을 위치 맞춤하는 위치 맞춤 수단 (10) 과, 위치 맞춤 수단에 의해서 위치 맞춤된 화상으로부터, 피검사물의 표면 결함을 판별하는 판별 수단 (10) 을 구비하고 있다.When the object to be inspected (5) is moved relative to the lighting devices (2a), (2b) and the line sensor (1) arranged at different positions, the illumination light from each lighting device is switched one by one and irradiated to the object to be inspected. , each time the illumination light from each lighting device is switched, the reflected light from the object to be inspected is received by a line sensor and photographed, thereby acquiring a plurality of images in a state of positional deviation corresponding to the change in the illumination light; and It is provided with alignment means (10) for positioning images corresponding to each acquired lighting device, and discrimination means (10) for determining surface defects of the inspected object from the images aligned by the position alignment means. .
Description
이 발명은 정반사 성상 (性狀) 이 강한 표면을 갖는 제품이나 부품 등의 피검사물의 표면 결함을 판별하기 위한 표면 결함 판별 장치, 이 표면 결함 판별 장치를 구비한 외관 검사 장치 및 프로그램에 관한 것이다.This invention relates to a surface defect determination device for determining surface defects of objects to be inspected, such as products or parts having a surface with strong regular reflection properties, and an appearance inspection device and program equipped with this surface defect determination device.
제품이나 부품의 표면에 있는 흠집은 외관을 해친다. 또, 필름과 같은 박막을 제조하기 위한 성막판에 흠집 등에서 기인하는 요철이 있는 경우에는, 제조된 박막에 요철이 전사되어 박막의 결함으로 되어 버린다.Scratches on the surface of a product or part spoil its appearance. Additionally, if the deposition plate for producing a thin film such as a film has irregularities due to scratches or the like, the irregularities are transferred to the manufactured thin film and become defects in the thin film.
그래서, 각종 제품이나 부품, 성막판 등의 표면 결함을 검출하기 위한 외관 검사 장치가 제안되어 있다.Therefore, an external inspection device has been proposed for detecting surface defects of various products, parts, film-forming plates, etc.
예를 들어, 특허문헌 1 에는, 복수 방향의 광원을 전환하면서 부품을 촬영하고, 조명 광원의 방향과 그 촬영 화상을 해석함으로써, 화상의 그림자가 결함인지 오염인지를 판별하는 것을 특징으로 하는 기술이 개시되어 있다.For example, in
그러나, 특허문헌 1 에 기재된 발명은, 피검사물이 정지되어 있는 것을 전제로 하고 있고, 예를 들어, 정지 제어가 곤란한 드럼 구동되는 벨트 부품을 벨트를 움직이면서 검사하여, 표면 결함을 판별할 수 없다.However, the invention described in
이 때문에, 조명 장치나 화상을 촬영하는 라인 센서에 대해서, 피검사물을 상대적으로 이동시키면서, 표면 결함을 판별할 수 있는 기술이 요망되고 있다.For this reason, there is a demand for a technology that can discriminate surface defects while relatively moving the object to be inspected for a lighting device or a line sensor that takes images.
이 발명은, 이와 같은 기술적 배경을 감안하여 이루어진 것으로서, 조명 장치 및 라인 센서에 대해서, 피검사물을 상대적으로 이동시키면서, 표면 결함을 판별할 수 있는 표면 결함 판별 장치, 외관 검사 장치 및 프로그램의 제공을 목적으로 한다.This invention was made in consideration of this technical background, and provides a surface defect determination device, an appearance inspection device, and a program that can determine surface defects while moving the inspection object relative to the lighting device and line sensor. The purpose.
상기 목적은 이하의 수단에 의해서 달성된다.The above objective is achieved by the following means.
(1) 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 상기 각 조명 장치로부터의 조명광을 1 개씩 전환하여 피검사물에 조사시켰을 때에, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 상기 조명광의 전환분만큼 각각 위치 어긋남 상태에서 복수의 화상을 취득하는 화상 취득 수단과, 상기 화상 취득 수단에 의해서 취득된, 각 조명 장치에 대응하는 화상을 위치 맞춤하는 위치 맞춤 수단과, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 화상으로부터, 피검사물의 표면 결함을 판별하는 판별 수단을 구비한 표면 결함 판별 장치.(1) When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, the illumination light from each lighting device is switched. Whenever possible, image acquisition means for acquiring a plurality of images in a state of positional deviation by the amount of conversion of the illumination light by receiving and photographing the reflected light from the inspected object with a line sensor, and each image acquired by the image acquisition means A surface defect determination device comprising alignment means for positioning an image corresponding to a lighting device, and discrimination means for discriminating surface defects of an object to be inspected from the image aligned by the position alignment means.
(2) 상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고, 1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 수단을 구비하며, 상기 위치 맞춤 수단은, 상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 전항 1 에 기재된 표면 결함 판별 장치.(2) A part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting due to illumination light from one of the lighting devices being irradiated to the inspection object, and one When the part of a pixel excluding the overlapping area is used as a subpixel, the amount of light received in the overlapping area is subtracted from the amount of light received in the entire pixel in the current shooting to estimate the amount of light received in the current subpixel to produce a subpixel image. The surface defect determination device according to the preceding
(3) 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 상기 각 조명 장치로부터의 조명광을 1 개씩 전환하여 피검사물에 조사시켰을 때에, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 상기 각 조명광마다 복수의 화상을 취득하는 화상 취득 수단을 구비하고, 상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고, 1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 수단과, 서브 픽셀 화상 제작 수단에 의해서 제작된 서브 픽셀 화상에 기초하여, 피검사물의 표면 결함을 판별하는 판별 수단을 추가로 구비하고 있는 표면 결함 판별 장치.(3) When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, the illumination light from each lighting device is switched. An image acquisition means is provided for acquiring a plurality of images for each illumination light by receiving and photographing reflected light from the inspected object with a line sensor whenever possible, and a portion of each pixel of the line sensor is one of the lighting devices. When the illumination light is irradiated to the object to be inspected and the shooting range overlaps with the current shooting and the previous shooting, forming an overlapping area, and the part excluding the overlapping area in one pixel is taken as a subpixel, this time A sub-pixel image production means for producing a sub-pixel image by estimating the light-reception amount of the current sub-pixel by subtracting the light-reception amount of the overlapping area from the light-reception amount of the entire pixel in the shooting, and the sub-pixel image production means to create a sub-pixel image. A surface defect determination device further comprising discrimination means for determining surface defects of an object to be inspected based on a pixel image.
(4) 상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 위치 맞춤 수단을 구비하고 있는 전항 3 에 기재된 표면 결함 판별 장치.(4) The surface defect determination device according to the preceding
(5) 상기 서브 픽셀 화상 제작 수단은, 상기 중복 영역의 수광량을 영역마다 보정한 상태에서, 화소 전체의 수광량으로부터 빼는 전항 2 ∼ 4 중 어느 한 항에 기재된 표면 결함 판별 장치.(5) The surface defect determination device according to any one of the preceding
(6) 상기 서브 픽셀 화상 제작 수단은, 상기 중복 영역의 수광량을, 전회 이전에 추정된 서브 픽셀의 수광량의 합으로부터 구하고, 구해진 수광량을 화소 전체의 수광량으로부터 빼어 금회의 서브 픽셀의 수광량을 추정하는 전항 2 ∼ 5 중 어느 한 항에 기재된 표면 결함 판별 장치.(6) The sub-pixel image production means determines the received light amount of the overlapping area from the sum of the received light amounts of the sub-pixels estimated before last time, and subtracts the obtained light-received amount from the light-received amount of the entire pixel to estimate the light-received amount of the current sub-pixel. The surface defect discrimination device according to any one of the preceding
(7) 상기 서브 픽셀 화상 제작 수단은, 촬영 개시 후의 최초의 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 최초의 서브 픽셀의 수광량으로 추정하는 전항 6 에 기재된 표면 결함 판별 장치.(7) The sub-pixel image production means estimates the average value obtained by dividing the light-receiving amount of all the first pixels after the start of shooting by the number of sub-pixels per pixel as the light-receiving amount of the first sub-pixel. The surface defect determination device according to the preceding
(8) 상기 서브 픽셀 화상 제작 수단은, 화소 전체의 수광량이 소정의 임계치를 초과하지 않을 경우, 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 금회의 서브 픽셀의 수광량으로 추정하고, 화소 전체의 수광량이 소정의 임계치를 초과할 경우, 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하는 전항 2 ∼ 7 중 어느 한 항에 기재된 표면 결함 판별 장치.(8) When the received light amount of all pixels does not exceed a predetermined threshold, the subpixel image production means estimates the average value of the received light amount of all pixels divided by the number of subpixels per pixel as the light received amount of the current subpixel, and , Surface defect determination according to any one of the preceding
(9) 상기 위치 맞춤 수단은, 상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤을, 하기 식에 의해서 휘도치 Ki j 를 보정치 K'i j 로 보정함으로써 행하는 전항 2, 4 ∼ 8 중 어느 한 항에 기재된 표면 결함 판별 장치.(9) The position alignment means corrects the position alignment of the sub-pixel image corresponding to each lighting device produced by the sub-pixel image production means by correcting the luminance value K i j to the correction value K'i j according to the following equation. The surface defect discrimination device according to any one of the preceding
단, i : 서브 픽셀 추정 위치의 인덱스However, i: index of subpixel estimated position
j : 점등하고 있는 조명 장치의 식별 번호 j: Identification number of the lighting device that is on
(10) 상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되지 않으며 또한 각 명점이 미리 설정된 범위 내에 있을 경우에는, 피검사물의 표면에 오목 결함 또는 볼록 결함이 존재한다고 판정하는 전항 1, 2, 4 ∼ 9 중 어느 한 항에 기재된 표면 결함 판별 장치.(10) The determination means determines that, in the sub-pixel image aligned by the position alignment means, when the bright points corresponding to each lighting device do not overlap and each bright point is within a preset range, the surface of the object to be inspected is The surface defect determination device according to any one of the preceding
(11) 상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점의 위치가 조명 장치의 배치 위치와 반대일 경우에는 오목 결함이 존재하고, 반대가 아닐 경우에는 볼록 결함이 존재한다고 판정하는 전항 10 에 기재된 표면 결함 판별 장치.(11) The determination means determines that, in the subpixel image aligned by the position alignment means, if the position of the bright spot corresponding to each lighting device is opposite to the arrangement position of the lighting device, a concave defect exists, and the opposite is true. If not, the surface defect determination device according to
(12) 상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되어 있을 때에는, 피검사물의 표면에 티끌 또는 먼지가 존재한다고 판정하는 전항 1, 2, 4 ∼ 11 중 어느 한 항에 기재된 표면 결함 판별 장치.(12) When the bright spots corresponding to each lighting device overlap in the sub-pixel image aligned by the alignment means, the determination means determines that dust or dirt is present on the surface of the object to be inspected. The surface defect discrimination device according to any one of 1, 2, 4 to 11.
(13) 전체의 수광량이 소정의 임계치를 초과하는 화소를 결함 후보 화소로서 검출하고, 검출된 결함 후보 화소에 대해서, 상기 위치 맞춤 수단에 의해서 서브 픽셀 화상을 위치 맞춤하며, 또한 판정 수단에 의해서 피검사물의 표면 결함을 판별하는 전항 1, 2, 4 ∼ 12 중 어느 한 항에 기재된 표면 결함 판별 장치.(13) Pixels whose total amount of light exceeds a predetermined threshold are detected as defect candidate pixels, sub-pixel images are aligned with the detected defect candidate pixels by the alignment means, and further inspected by the judgment means. The surface defect determination device according to any one of the preceding
(14) 상기 조명 장치의 광원으로서, LED 또는 가시광 반도체 레이저가 사용되는 전항 1 ∼ 13 중 어느 한 항에 기재된 표면 결함 판별 장치.(14) The surface defect determination device according to any one of the preceding
(15) 상기 조명 장치는 3 개 이상이고, 상기 라인 센서를 중심으로 하는 원주 위에서, 또한 360 도 ÷ 조명 장치의 수의 각도차로 배치되어 있는 전항 1 ∼ 14 중 어느 한 항에 기재된 표면 결함 판별 장치.(15) The surface defect determination device according to any one of the preceding
(16) 상이한 위치에 배치된 복수의 조명 장치와, 각 조명 장치로부터 피검사물에 조사된 조명광의 반사광을 수광 가능한 라인 센서와, 상기 피검사물을, 상기 조명 장치 및 라인 센서에 대해서 상대적으로 이동시키는 이동 수단과, 각 조명 장치로부터의 조명광을 1 개씩 소정의 주기로 전환하여 피검사물에 조사시키는 조명 제어 수단과, 상기 이동 수단에 의해서, 상기 피검사물을 상기 조명 장치 및 라인 센서에 대해서 상대적으로 이동시키면서, 상기 조명 제어 수단에 의해서, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 수광하여 촬영을 행하도록, 상기 라인 센서를 제어하는 라인 센서 제어 수단과, 전항 1 ∼ 15 중 어느 한 항에 기재된 표면 결함 판별 장치를 구비한 외관 검사 장치.(16) a plurality of lighting devices arranged at different positions, a line sensor capable of receiving reflected light of the illumination light irradiated from each lighting device to the object to be inspected, and moving the object to be inspected relative to the lighting device and the line sensor. Moving means, illumination control means for switching the illumination light from each lighting device one at a time at a predetermined period to irradiate the inspected object, and moving the inspected object relative to the lighting device and the line sensor by the moving means. , line sensor control means for controlling the line sensor to receive reflected light from the object to be inspected and perform imaging every time the illumination light from each lighting device is switched by the illumination control means; and An external inspection device comprising the surface defect determination device according to any one of the preceding claims.
(17) 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 상기 각 조명 장치로부터의 조명광을 1 개씩 전환하여 피검사물에 조사시켰을 때에, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 상기 조명광의 전환분만큼 각각 위치 어긋남 상태에서 복수의 화상을 취득하는 화상 취득 스텝과, 상기 화상 취득 스텝에 의해서 취득된, 각 조명 장치에 대응하는 화상을 위치 맞춤하는 위치 맞춤 스텝과, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 화상으로부터, 피검사물의 표면 결함을 판별하는 판별 스텝을 컴퓨터에 실행시키기 위한 프로그램.(17) When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, the illumination light from each lighting device is switched. Whenever possible, an image acquisition step of acquiring a plurality of images in a state of position misalignment by the amount of conversion of the illumination light by receiving and photographing reflected light from the inspected object with a line sensor, and each image acquired by the image acquisition step A program for causing a computer to execute a positioning step for positioning an image corresponding to a lighting device, and a determination step for determining surface defects of an object to be inspected from the image positioned by the positioning step.
(18) 상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고, 1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 스텝을 상기 컴퓨터에 실행시키고, 상기 위치 맞춤 스텝에서는, 상기 서브 픽셀 화상 제작 스텝에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 처리를 상기 컴퓨터에 실행시키는 전항 17 에 기재된 프로그램.(18) A part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting due to illumination light from one of the lighting devices being irradiated to the inspection object, and one When the part of a pixel excluding the overlapping area is used as a subpixel, the amount of light received in the overlapping area is subtracted from the amount of light received in the entire pixel in the current shooting to estimate the amount of light received in the current subpixel to produce a subpixel image. The computer is made to execute a sub-pixel image production step, and in the alignment step, the computer is made to execute a process of aligning the sub-pixel image corresponding to each lighting device produced by the sub-pixel image production step. Program listed in 17.
(19) 상기 서브 픽셀 화상 제작 스텝에서는, 상기 중복 영역의 수광량을 영역마다 보정한 상태에서, 화소 전체의 수광량으로부터 빼는 처리를 상기 컴퓨터에 실행시키는 전항 17 에 기재된 프로그램.(19) In the sub-pixel image creation step, the program according to the preceding paragraph 17 causes the computer to execute a process of subtracting the received light amount of the overlapping area from the received light amount of the entire pixel in a state in which the amount of light received in the overlapping area is corrected for each area.
(20) 상기 서브 픽셀 화상 제작 스텝에서는, 상기 중복 영역의 수광량을, 전회 이전에 추정된 서브 픽셀의 수광량의 합으로부터 구하고, 구해진 수광량을 화소 전체의 수광량으로부터 빼어 금회의 서브 픽셀의 수광량을 추정하는 처리를 상기 컴퓨터에 실행시키는 전항 18 또는 19 에 기재된 프로그램.(20) In the subpixel image creation step, the received light amount of the overlapping area is obtained from the sum of the light received amounts of the subpixels estimated before last time, and the obtained light received amount is subtracted from the light received amount of the entire pixel to estimate the light received amount of the current subpixel. The program according to item 18 or 19 of the preceding paragraph that causes processing to be executed on the computer.
(21) 상기 서브 픽셀 화상 제작 스텝에서는, 촬영 개시 후의 최초의 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 최초의 서브 픽셀의 수광량으로 추정하는 처리를 상기 컴퓨터에 실행시키는 전항 20 에 기재된 프로그램.(21) In the sub-pixel image creation step, the computer is made to perform processing to estimate the received light amount of the first sub-pixel as the average value of the light-receiving amount of all the first pixels after the start of shooting divided by the number of sub-pixels per pixel. 20 of the preceding clause. Program listed in .
(22) 상기 서브 픽셀 화상 제작 스텝에서는, 화소 전체의 수광량이 소정의 임계치를 초과하지 않을 경우, 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 금회의 서브 픽셀의 수광량으로 추정하고, 화소 전체의 수광량이 소정의 임계치를 초과할 경우, 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하는 처리를 상기 컴퓨터에 실행시키는 전항 18 ∼ 21 중 어느 한 항에 기재된 프로그램.(22) In the subpixel image creation step, if the received light amount of all pixels does not exceed a predetermined threshold, the average value of the received light amount of all pixels divided by the number of subpixels per pixel is estimated as the received light amount of the current subpixel. , any of the preceding paragraphs 18 to 21, which causes the computer to execute processing to estimate the light reception amount of the current sub-pixel by subtracting the light reception amount of the overlapping area from the light reception amount of the entire pixel when the light reception amount of the entire pixel exceeds a predetermined threshold. Program listed in paragraph one.
(23) 상기 위치 맞춤 스텝에서는, 상기 서브 픽셀 화상 제작 스텝에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤을, 하기 식에 의해서 휘도치 Ki j 를 보정치 K'i j 로 보정함으로써 행하는 처리를 상기 컴퓨터에 실행시키는 전항 18 ∼ 22 중 어느 한 항에 기재된 프로그램.(23) In the position alignment step, the position alignment of the subpixel image corresponding to each lighting device produced by the subpixel image production step is corrected by correcting the luminance value K i j to the correction value K'i j according to the following equation. The program according to any one of the preceding paragraphs 18 to 22, which causes the computer to execute the processing performed by doing so.
단, i : 서브 픽셀 추정 위치의 인덱스However, i: index of subpixel estimated position
j : 점등하고 있는 조명의 식별차 번호 j: Identification car number of the light that is on
(24) 상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되지 않으며 또한 각 명점이 미리 설정된 범위 내에 있을 경우에는, 피검사물의 표면에 오목 결함 또는 볼록 결함이 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 전항 17 ∼ 23 중 어느 한 항에 기재된 프로그램.(24) In the determination step, if, in the sub-pixel image aligned by the position alignment step, the bright points corresponding to each lighting device do not overlap and each bright point is within a preset range, the surface of the object to be inspected The program according to any one of the preceding paragraphs 17 to 23, which causes the computer to execute processing for determining that a concave defect or a convex defect exists.
(25) 상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점의 위치가 조명 장치의 배치 위치와 반대일 경우에는 오목 결함이 존재하고, 반대가 아닐 경우에는 볼록 결함이 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 전항 24 에 기재된 프로그램.(25) In the determination step, in the subpixel image aligned by the alignment step, if the position of the bright spot corresponding to each lighting device is opposite to the arrangement position of the lighting device, a concave defect exists, and the opposite The program according to item 24 of the preceding paragraph causes the computer to execute processing to determine that a convex defect exists if not.
(26) 상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되어 있을 때에는, 피검사물의 표면에 티끌 또는 먼지가 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 전항 17 ∼ 25 중 어느 한 항에 기재된 프로그램.(26) In the determination step, when bright points corresponding to each lighting device overlap in the pixel image aligned by the alignment step, processing is performed to determine that dust or dirt is present on the surface of the object to be inspected. The program according to any one of the preceding paragraphs 17 to 25 to be executed on the computer.
(27) 전체의 수광량이 소정의 임계치를 초과하는 화소를 결함 후보 화소로서 검출하고, 검출된 결함 후보 화소에 대해서, 상기 위치 맞춤 스텝에 의해서 서브 픽셀 화상을 위치 맞춤하며, 또한 판정 스텝에 의해서 피검사물의 표면 결함을 판별하는 처리를 상기 컴퓨터에 실행시키는 전항 17 ∼ 26 중 어느 한 항에 기재된 프로그램.(27) Pixels whose total amount of light exceeds a predetermined threshold are detected as defect candidate pixels, sub-pixel images are aligned for the detected defect candidate pixels by the position alignment step, and further inspected by the judgment step. The program according to any one of the preceding paragraphs 17 to 26, which causes the computer to execute processing for determining surface defects of an object.
(28) 상기 조명 장치의 광원으로서, LED 또는 가시광 반도체 레이저가 사용되는 전항 17 ∼ 27 중 어느 한 항에 기재된 프로그램.(28) The program according to any one of the preceding paragraphs 17 to 27, wherein an LED or a visible semiconductor laser is used as a light source of the lighting device.
(29) 복수 개의 상기 조명 장치는, 상기 라인 센서를 중심으로 하는 원주 위에서 또한 360 도/(조명 장치의 개수) 의 위치에 배치되어 있는 전항 17 ∼ 28 중 어느 한 항에 기재된 프로그램.(29) The program according to any one of the preceding paragraphs 17 to 28, wherein the plurality of lighting devices are arranged at positions of 360 degrees/(number of lighting devices) on a circumference centered on the line sensor.
전항 (1) 에 기재된 발명에 의하면, 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 각 조명 장치로부터의 조명광이 1 개씩 전환하여 피검사물에 조사된다. 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 조명광의 전환분만큼 각각 위치 어긋남 상태에서 복수의 화상이 취득된다. 취득된 각 조명 장치에 대응하는 화상은 위치 맞춤된 후, 위치 맞춤된 화상으로부터 피검사물의 표면 결함이 판별된다.According to the invention described in the preceding paragraph (1), while moving the object to be inspected relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to illuminate the object to be inspected. Each time the illumination light from each lighting device is switched, the reflected light from the object to be inspected is received by a line sensor and photographed, so that a plurality of images are acquired with each position misaligned by the amount of the switched illumination light. After the acquired images corresponding to each lighting device are aligned, surface defects of the inspected object are determined from the aligned images.
이와 같이, 조명 장치 및 라인 센서에 대해서 피검사물이 상대적으로 이동하고 있기 때문에, 각 조명 장치로부터의 조명광이 전환되었을 때의 조명광의 전환분만큼 각각 위치 어긋남 상태에서, 라인 센서로부터 취득된 각 조명 장치에 대응하는 복수의 화상이 위치 맞춤되고,이 위치 맞춤된 상태에서 피검사물의 표면 결함이 판별되기 때문에, 피검사물을 상대적으로 이동시키면서, 피검사물의 표면 결함을 판별할 수 있다.In this way, since the object to be inspected is moving relative to the lighting device and the line sensor, each lighting device acquired from the line sensor is in a state of position misalignment by the amount of change in illumination light when the illumination light from each lighting device is switched. Since a plurality of images corresponding to are aligned and the surface defects of the inspected object are determined in this aligned state, the surface defects of the inspected object can be determined while moving the inspected object relatively.
전항 (2) 에 기재된 발명에 의하면, 라인 센서의 각 화소의 일부는, 1 개의 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고, 1 개의 화소에 있어서의 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량이 추정되고, 서브 픽셀 화상이 제작된다. 그리고, 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하고, 위치 맞춤된 화상으로부터 피검사물의 표면 결함이 검출된다. 여기에서, 서브 픽셀은, 화소에 있어서의 중복 영역을 제외한 부분이기 때문에, 1 화소보다 작고, 이 때문에 외관 검사의 분해능이 향상되어, 보다 미세한 표면 결함의 검출을 행할 수 있다.According to the invention described in the preceding paragraph (2), a part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting by illumination light from one lighting device being irradiated to the object to be inspected. When the portion excluding the overlapping area in one pixel is considered a subpixel, the received light amount of the overlapping area is estimated by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel in the current shooting, and the subpixel is estimated. A pixel image is created. Then, the subpixel images corresponding to each manufactured lighting device are aligned, and surface defects of the inspected object are detected from the aligned images. Here, since the subpixel is a portion of the pixel excluding the overlapping area, it is smaller than one pixel. Because of this, the resolution of the appearance inspection is improved, and finer surface defects can be detected.
요컨대, 상대적으로 이동하는 피검사물을 라인 센서로 촬영할 경우, 라인 센서와 피검사물의 촬영면 사이의 거리가 안정되지 않아, 피사계 심도를 깊게 설정할 필요가 있지만, 피사계 심도를 깊게 하면 분해능이 낮아지는 트레이드 오프의 관계가 있고, 미세한 결함까지 검사할 수 없는 경우가 있지만, 1 화소보다 작은 서브 픽셀의 화상을 사용함으로써, 피사계 심도를 깊게 하지 않아도 분해능이 올라가, 보다 미세한 결함까지 검사할 수 있는 이점이 있다.In short, when photographing a relatively moving inspection object with a line sensor, the distance between the line sensor and the photographing surface of the inspection object is not stable, so it is necessary to set a deep depth of field. However, if the depth of field is deepened, the resolution decreases. There is an off-axis relationship and there are cases where even fine defects cannot be inspected, but by using images of subpixels smaller than 1 pixel, resolution is increased without deepening the depth of field, which has the advantage of being able to inspect even finer defects. .
전항 (3) 에 기재된 발명에 의하면, 1 화소보다 작은 서브 픽셀 화상으로부터 결함이 판별되기 때문에, 외관 검사의 분해능이 향상되어, 보다 미세한 표면 결함의 검출을 행할 수 있다.According to the invention described in the preceding paragraph (3), since defects are discriminated from subpixel images smaller than one pixel, the resolution of appearance inspection is improved, and finer surface defects can be detected.
전항 (4) 에 기재된 발명에 의하면, 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤에 의해서, 더욱 정밀도가 양호한 결함 검출이 가능해진다.According to the invention described in the preceding paragraph (4), defect detection with greater precision becomes possible by aligning the positions of subpixel images corresponding to each lighting device.
전항 (5) 에 기재된 발명에 의하면, 중복 영역의 수광량을 영역마다 보정한 상태에서, 화소 전체의 수광량으로부터 빼어지기 때문에, 중복 영역의 보다 정확한 수광량을 빼어 금회의 서브 픽셀의 수광량을 추정할 수 있고, 나아가서는 보다 정밀도가 높은 결함 판별을 행할 수 있다.According to the invention described in the preceding paragraph (5), since the amount of light received in the overlapping area is subtracted from the amount of light received in the entire pixel in a state in which it is corrected for each area, the amount of light received in the current subpixel can be estimated by subtracting the more accurate amount of light received in the overlapping area. , Furthermore, defect discrimination with higher precision can be performed.
전항 (6) 에 기재된 발명에 의하면, 중복 영역의 수광량을, 전회 이전에 추정된 서브 픽셀의 수광량의 합으로부터 구하고, 구해진 수광량을 화소 전체의 수광량으로부터 빼어 금회의 서브 픽셀의 수광량을 추정하기 때문에, 추정 처리가 간소화된다.According to the invention described in the preceding paragraph (6), the received light amount of the overlapping area is determined from the sum of the received light amounts of the subpixels estimated before the previous time, and the obtained light received amount is subtracted from the light received amount of the entire pixel to estimate the light received amount of the current subpixel. Estimation processing is simplified.
전항 (7) 에 기재된 발명에 의하면, 촬영 개시 후의 최초의 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 최초의 서브 픽셀의 수광량으로 추정하기 때문에, 차회 이후의 서브 픽셀의 수광량의 추정 처리를 원활하게 행할 수 있다.According to the invention described in the preceding paragraph (7), the average value of the light received amount of all the first pixels after the start of shooting is divided by the number of subpixels per pixel is estimated as the light received amount of the first subpixel, so that the light received amount of the next and subsequent subpixels is Estimation processing can be performed smoothly.
전항 (8) 에 기재된 발명에 의하면, 화소 전체의 수광량이 소정의 임계치를 초과하지 않을 경우, 바꾸어 말하면 표면 결함이 존재하지 않을 가능성이 높은 경우에는, 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 금회의 서브 픽셀의 수광량으로 추정한다. 한편, 화소 전체의 수광량이 소정의 임계치를 초과할 경우, 바꾸어 말하면 표면 결함이 존재할 가능성이 높은 경우에는, 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량이 추정된다. 이로써, 표면 결함이 존재할 가능성이 높은 영역에 집중하여 결함 판별 처리를 실행할 수 있다.According to the invention described in the preceding paragraph (8), when the amount of light received by the entire pixel does not exceed a predetermined threshold, in other words, when there is a high possibility that there is no surface defect, the amount of light received by the entire pixel is divided into the number of subpixels per pixel. The divided average value is estimated as the amount of light received by the current subpixel. On the other hand, when the received light amount of the entire pixel exceeds a predetermined threshold, in other words, when there is a high possibility that a surface defect exists, the received light amount of the current subpixel is estimated by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel. . This allows defect determination processing to be performed by focusing on areas where surface defects are likely to exist.
전항 (9) 에 기재된 발명에 의하면, 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤을 정확하게 행할 수 있고, 나아가서는 정밀도가 높은 결함 판별을 행할 수 있다.According to the invention described in the preceding paragraph (9), it is possible to accurately align the subpixel images corresponding to each lighting device, and furthermore, determine defects with high precision.
전항 (10) 에 기재된 발명에 의하면, 피검사물의 표면의 흠집 등의 오목 결함 또는 볼록 결함을 판별할 수 있다.According to the invention described in the preceding paragraph (10), concave defects or convex defects such as scratches on the surface of the object to be inspected can be discriminated.
전항 (11) 에 기재된 발명에 의하면, 피검사물의 표면의 오목 결함이나 볼록 결함을 판별할 수 있다.According to the invention described in the preceding paragraph (11), it is possible to discriminate between concave defects and convex defects on the surface of the object to be inspected.
전항 (12) 에 기재된 발명에 의하면, 피검사물의 표면의 티끌 또는 먼지를 판별할 수 있다.According to the invention described in the preceding paragraph (12), dust or dust on the surface of the object to be inspected can be determined.
전항 (13) 에 기재된 발명에 의하면, 전체의 수광량이 소정의 임계치를 초과하는 화소를 결함 후보 화소로서 검출하고, 검출된 결함 후보 화소에 대해서, 서브 픽셀 화상을 위치 맞춤하며, 또한 피검사물의 표면 결함을 판별하기 때문에, 표면 결함이 존재할 가능성이 높은 영역에 집중하여 결함 판별 처리를 실행할 수 있다.According to the invention described in the preceding paragraph (13), pixels whose total amount of light exceeds a predetermined threshold are detected as defect candidate pixels, sub-pixel images are positioned with respect to the detected defect candidate pixels, and further, the surface of the inspected object is Since defects are identified, defect determination processing can be performed by concentrating on areas where surface defects are likely to exist.
전항 (14) 에 기재된 발명에 의하면, LED 또는 가시광 반도체 레이저가 조명 장치의 광원으로서 사용되기 때문에, 각 조명 장치의 전환을 고속도로 행할 수 있다.According to the invention described in the preceding paragraph (14), since an LED or a visible semiconductor laser is used as a light source for the lighting device, switching of each lighting device can be performed with high speed.
전항 (15) 에 기재된 발명에 의하면, 조명 장치는 3 개 이상이고, 라인 센서를 중심으로 하는 원주 위에서, 또한 360 도 ÷ 조명 장치의 수의 각도차로 배치되어 있기 때문에, 조명광이 흠집 등으로 직각이 되지 않는 조명 장치가 반드시 확보되어, 흠집 등의 표면 결함을 양호한 정밀도로 판별할 수 있다.According to the invention described in the preceding paragraph (15), three or more lighting devices are arranged on a circumference centered on the line sensor at an angle difference of 360 degrees ÷ the number of lighting devices, so that the illumination light is not at right angles due to scratches, etc. By ensuring that an illumination device is provided, surface defects such as scratches can be identified with good accuracy.
전항 (16) 에 기재된 발명에 의하면, 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 피검사물의 표면 결함 판별을 양호한 정밀도로 행할 수 있는 외관 검사 장치가 된다.According to the invention described in the preceding paragraph (16), an external appearance inspection device is provided that can discriminate surface defects of an inspected object with high precision while moving the inspected object relative to the lighting device and line sensor disposed at different positions.
전항 (17) ∼ (29) 에 기재된 발명에 의하면, 상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 피검사물의 표면 결함 판별 처리를 컴퓨터에 실행시킬 수 있다.According to the invention described in the preceding paragraph (17) to (29), a computer can be made to perform surface defect determination processing on the inspected object while moving the inspected object relative to the lighting device and line sensor disposed at different positions.
도 1 은, 이 발명의 일 실시형태에 관련된 외관 검사 장치의 구성도이다.
도 2 는, (a) (b) 는 복수의 조명 장치의 배치 관계를 설명하기 위한 도면이다.
도 3 은, 복수의 조명 장치를 전환하면서 촬영할 때의 촬영 범위와 화소의 상대적 위치 관계를 설명하기 위한 도면이다.
도 4 는, 1 개의 조명 장치에 의한 1 회째 ∼ 4 회째의 촬영을 행했을 때의 촬영 범위와 화소의 상대적 위치 관계를 설명하기 위한 도면이다.
도 5 는, 서브 픽셀 (23) 의 수광량의 추정 방법을 설명하기 위한 도면이다.
도 6 은, 복수의 조명 장치에 대한 서브 픽셀 화상의 위치 맞춤을 설명하기 위한 도면이다.
도 7 은, 화소의 감도 분포의 일례를 나타내는 도면이다.
도 8 은, 화소의 감도 분포에 대한 가중을 고려하여 산출한, 화소의 각 영역의 보정 후의 수광량 추정치의 일례를 나타내는 도면이다.
도 9 는, 복수의 조명 장치의 조사 광량의 분포가 상이하기 때문에, 반사광의 수광량도 화소의 영역에 따라서 상이한 것을 설명하기 위한 도면이다.
도 10 은, 보이드 결함의 판별 방법을 설명하기 위한 도면이다.
도 11 은, 볼록 결함의 판별 방법을 설명하기 위한 도면이다.
도 12 는, 흠집 결함의 판별 방법을 설명하기 위한 도면이다.
도 13 은, 먼지나 티끌의 판별 방법을 설명하기 위한 도면이다.
도 14 는, 복수의 서브 픽셀 화상을 조합함으로써 보이드 결함으로 판별되는 화상을 모식적으로 나타내는 도면이다.
도 15 는, 복수의 서브 픽셀 화상을 조합함으로써 볼록 결함으로 판별되는 화상을 모식적으로 나타내는 도면이다.
도 16 은, 복수의 서브 픽셀 화상을 조합함으로써 흠집 결함으로 판별되는 화상을 모식적으로 나타내는 도면이다.
도 17 은, 복수의 서브 픽셀 화상을 조합함으로써 티끌 또는 먼지로 판별되는 화상을 모식적으로 나타내는 도면이다.1 is a configuration diagram of an external inspection device according to an embodiment of the present invention.
2 (a) and (b) are diagrams for explaining the arrangement relationship of a plurality of lighting devices.
FIG. 3 is a diagram for explaining the relative positional relationship between the photographing range and pixels when photographing while switching a plurality of lighting devices.
FIG. 4 is a diagram for explaining the relative positional relationship between the imaging range and pixels when the first to fourth shots are taken using one lighting device.
FIG. 5 is a diagram for explaining a method of estimating the amount of light received by the
FIG. 6 is a diagram for explaining alignment of subpixel images for a plurality of lighting devices.
Fig. 7 is a diagram showing an example of the sensitivity distribution of pixels.
FIG. 8 is a diagram showing an example of the estimated amount of light received after correction for each area of the pixel, calculated taking into account the weighting of the sensitivity distribution of the pixel.
FIG. 9 is a diagram for explaining that since the distribution of the amount of irradiated light of a plurality of lighting devices is different, the amount of received light of the reflected light is also different depending on the area of the pixel.
Fig. 10 is a diagram for explaining a method for determining void defects.
Fig. 11 is a diagram for explaining a method for determining convex defects.
Fig. 12 is a diagram for explaining a method for determining scratches and defects.
Fig. 13 is a diagram for explaining a method for determining dust or dirt.
Fig. 14 is a diagram schematically showing an image determined to be a void defect by combining a plurality of subpixel images.
Fig. 15 is a diagram schematically showing an image determined to be a convex defect by combining a plurality of subpixel images.
Fig. 16 is a diagram schematically showing an image determined to be a scratch defect by combining a plurality of subpixel images.
Fig. 17 is a diagram schematically showing an image that is determined to be dust or dust by combining a plurality of subpixel images.
이하, 이 발명의 실시형태를 도면에 기초하여 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, embodiment of this invention will be described based on the drawings.
[외관 검사 장치의 구성] [Configuration of external inspection device]
도 1 은, 이 발명의 일 실시형태에 관련된 외관 검사 장치의 구성도이다. 도 1 에 나타내는 바와 같이, 외관 검사 장치는, 라인 센서 (1) 와, 2 개의 조명 장치 (2a, 2b) 와, 각 조명 장치 (2a, 2b) 를 제어하는 조명 제어부 (8) 와, 라인 센서 (1) 를 제어하는 라인 센서 제어부 (9) 와, 피검사물 (5) 을 반송하는 반송 드럼 (3, 3) 과, 피검사물 (5) 의 촬영 위치를 검출하는 드럼 인코더 (4) 와, 표시 장치 (6) 와, 컴퓨터 (10) 와, 피검사물 (5) 의 반송 속도의 제어를 위해서 반송 드럼 (3) 의 회전수를 제어하는 반송 드럼 제어부 (11) 등을 구비하고 있다.1 is a configuration diagram of an external inspection device according to an embodiment of the present invention. As shown in FIG. 1, the appearance inspection device includes a
컴퓨터 (10) 는, 라인 센서 (1) 로 촬영된 화상을 처리하여 결함 판별을 행함과 함께, 조명 장치 (2a, 2b) 와 라인 센서 (1) 를 동기 제어한다. 또, 표시 장치 (6) 는, 컴퓨터 (10) 에 의해서 결함 판별 처리된 화상과 처리 결과 등을 표시한다.The
피검사물 (5) 은 고반사율의 벨트상을 이루고, 반송 드럼 (3) 을 사용하여 롤상으로 설치되어, 반송 드럼 (3, 3) 의 화살표 방향의 회전에 의해서, Y 방향으로 보내지도록 되어 있다. 라인 센서 (1) 에 의한 피검사물 (5) 의 촬영 위치는, 드럼 인코더 (4) 로 검지된다.The inspected
라인 센서 (1) 는, 피검사물 (5) 의 이동 방향 Y 와 직교하는 X 방향으로 연장 형성되어 있고, 2 개의 조명 장치 (2a, 2b) 는, 도 2(a) 에 나타내는 바와 같이, 상방에서 보았을 때 라인 센서 (1) 를 중심으로 하는 대상 위치에 180 도의 각도차로 배치되어 있어, 각각 상이한 2 방향에서 조명하는 것이 가능하다. 조명 장치 (2a, 2b) 의 대향 방향은 X 방향이든 Y 방향이든, 다른 방향이든 상관없다. 이 실시형태에서는, 2 개의 조명 장치 (2a, 2b) 를 사용하고 있지만, 3 개 이상을 사용해도 된다. 3 개 이상인 경우, 도 2(b) 에 나타내는 바와 같이, 상방에서 보았을 때 라인 센서 (1) 를 중심으로 하는 원주 위에서, 또한 360 도 ÷ 조명 장치의 수의 각도차로 배치되는 것이, 직선상의 흠집 등의 표면 결함에 대해서 직각이 되지 않는 조명 장치가 반드시 확보되어, 흠집 등의 표면 결함을 양호한 정밀도로 판별할 수 있는 점에서 바람직하다. 또한, 도 2(b) 에서는 3 개의 조명 장치 (2a, 2b, 2c) 인 경우로서, 서로 120 도의 각도차로 배치되어 있다.The
각 조명 장치 (2a, 2b) 는, 조명 제어부 (8) 에서의 제어에 의해서 임의의 타이밍에서 온 오프를 전환할 수 있도록 되어 있다.Each
라인 센서 (1) 의 1 라인에서의 촬영 범위가, 피검사물 (5) 에 대해서 작을 경우에는, Y 방향으로 피검사물 (5) 을 한 차례 촬영 후, 센서 조명 반송부 (12) 에 의해서, 조명 장치 (2a, 2b) 와 라인 센서 (1) 를 일체로, 라인 센서 (1) 의 길이만큼 X 방향으로 이동시켜, 다시 Y 방향으로 한 차례 촬영하고, 이것을 순차 반복함으로써, 피검사물 (5) 전체를 촬영하는 구성으로 해도 된다.When the shooting range of one line of the
라인 센서 (1) 는, 피검사물 (5) 을 Y 방향으로 이동시키면서, 각 조명 장치 (2a, 2b) 의 온 오프를 전환하여 피검사물 (5) 을 조명했을 때의 반사광을 수광한다. 라인 센서 (1) 와 각 조명 장치 (2a, 2b) 는 마주 보는 위치에 없고, 각 조명 장치 (2a, 2b) 로부터의 조명광이 피검사물 (5) 에서 난반사된 반사광이 라인 센서 (1) 에 수광된다. 따라서, 라인 센서 (1) 에 의해서 촬영되는 화상은 암시야 화상이 된다.The
피검사물 (5) 의 표면은 고반사율이기 때문에, 조명 위치에 오목 결함, 볼록 결함, 흠집상 결함, 먼지, 티끌 등이 있었을 경우, 이들 결함, 먼지, 티끌 등에서 난반사된 반사광이 라인 센서 (1) 에 입사한다.Since the surface of the object to be inspected (5) has a high reflectivity, if there are concave defects, convex defects, scratch-like defects, dust, dust, etc. at the lighting position, the reflected light diffusely reflected from these defects, dust, dust, etc. is transmitted to the line sensor (1). Join the company.
라인 센서 제어부 (9) 와 조명 제어부 (8) 는 컴퓨터 (10) 에 접속되고, 라인 센서 (1) 와 조명 장치 (2a), 라인 센서 (1) 와 조명 장치 (2b) 는 각각 동기 하여 발광, 촬영된다.The line sensor control unit 9 and the
이 실시형태에서는, 일반적인 라인 센서의 사양으로부터 라인 센서 (1) 의 라인 레이트를 100 ㎑ (셔터 스피드 0.01 ㎳) 로 한다. 요컨대, 조명 장치 (2a), 조명 장치 (2b) 로서 0.01 ㎳ 마다 교대로 고속으로 전환되는 LED 광원이나 LD (가시광 반도체 레이저) 광원 등을 사용한 것이 바람직하다.In this embodiment, the line rate of the
[표면 결함 판별 처리] [Surface defect determination processing]
다음으로, 컴퓨터 (10) 에 의한 피검사물 (5) 의 표면 결함 판별 처리에 대해서 설명한다. 또한, 컴퓨터 (10) 에는, CPU, RAM, 기억 장치 등이 구비되고, 표면 결함 판별 처리는, 기억 장치 등에 격납된 동작 프로그램에 따라서 CPU 가 동작함으로써 실행된다.Next, the surface defect determination process of the inspected
전술한 바와 같이, 라인 센서 (1) 에 의한 촬영은, 피검사물 (5) 을 이동시키면서, 복수 (이 실시형태에서는 2 개) 의 조명 장치 (2a, 2b) 의 온 오프를 교대로 전환함으로써 행해진다. 컴퓨터 (10) 는, 라인 센서 (1) 에 의한 촬영 화상을 순차적으로 취득한다.As described above, imaging by the
<서브 픽셀 화상의 제작><Creation of subpixel images>
도 3 은, 조명 장치 (2a, 2b) 를 전환하면서 촬영할 때의 촬영 범위와 화소 (20) 의 상대적 위치 관계를 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining the relative positional relationship between the photographing range and the
도 3 에 나타내는 바와 같이, 검출되는 결함 30 의 사이즈를 12 A, 라인 센서 (1) 의 분해능 (1 화소 (20) 의 길이) 을 6 A 로 하고, 피검사물 (5) 을 A 보낼 때마다 조명 장치 (2a, 2b) 를 전환하면서 촬영하는 것으로 한다. 라인 센서 (1) 의 분해능 6 A 는, 1 화소에 있어서의 1 회의 촬영 영역이다. 따라서, 도 3 에 나타내는 바와 같이, 1 회째의 촬영은 조명 장치 (2a) 의 조명광에 의해서 행해지고, 피검사물 (5) 이 A 보내지면 2 회째의 촬영으로 전환하여, 조명 장치 (2b) 의 조명광에 의해서 촬영이 행해진다. 1 회째의 촬영과 2 회째의 촬영에서는, 피검사물 (5) 의 촬영 영역이 A 만큼 이동되어 있다. 3 회째 이후의 촬영에 대해서도 동일하다. 도 3 의 예에서는, 설명의 편의상, 전환 촬영할 때마다 화소 (20) 가 A 만큼 이동된 상태가 나타내어져 있다.As shown in FIG. 3, the size of the detected
도 4 는, 1 개의 조명 장치 (2a) 에 의한 1 회째 ∼ 4 회째의 촬영을 행했을 때의 촬영 범위와 화소 (20) 의 상대적 위치 관계를 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining the relative positional relationship between the imaging range and the
도 4 에 나타내는 바와 같이, 조명 장치 (2a) 에 주목하면, 조명 장치 (2a) 는 피검사물 (5) 이 2 A 이동할 때마다 온으로 되어 그 조명광에 의한 피검사물 (5) 에 대한 조사가 개시되고, 그때마다 라인 센서 (1) 에 의해서 촬영된다. 요컨대, 피검사물 (5) 이 2 A 이동할 때마다, 조명 장치 (2a) 로부터의 조명광에 대응하는 촬영이 행해진다. 조명 장치 (2a) 의 조명광의 조사 시간, 바꾸어 말하면 라인 센서 (1) 의 각 화소 (20) 의 수광 시간은, 이동 거리 A 에 상당하는 시간이다. 이러한 점들은 조명 장치 (2b) 에 대해서도 동일하다.As shown in FIG. 4, paying attention to the
또, 도 4 에 나타내는 바와 같이, 조명 장치 (2a) 에 의한 촬영에 있어서, 센서 분해능 6 A 의 일부인 4 A 분은, 금회의 촬영과 전회의 촬영에서 피검사물 (5) 의 동일한 촬영 범위를 촬영하고 있고, 촬영 범위가 중복된 중복 영역이다. 요컨대, 화소 (20) 를 길이 방향으로 순서대로 제 1 영역 (21), 제 2 영역 (22), 제 3 영역 (23) 의 3 영역으로 분할하면, 1 영역당의 길이는 2 A 이고, 전회의 촬영에 있어서의 제 2 영역 (22) 및 제 3 영역 (23) 과, 금회의 촬영의 제 1 영역 (21) 및 제 2 영역 (22) 은, 촬영 범위가 동일한 중복 영역이다. 예를 들어, 4 회째의 촬영의 제 1 영역 (21) 과 제 2 영역 (22) 은, 각각 3 회째의 촬영의 제 2 영역 (22) 과 제 3 영역 (23) 과 중복되어 있다. 도 4 에서는, 금회의 촬영에 있어서의 전회의 촬영과의 중복 영역을 그레이 표시하고 있다.In addition, as shown in FIG. 4, in imaging by the
금회의 촬영의 제 3 영역 (23) 에 대해서는, 전회의 촬영과의 촬영 범위는 중복되지 않고, 새로운 촬영 범위로서 갱신되는 부분으로서, 이것을 서브 픽셀로 한다. 이하, 제 3 영역을 서브 픽셀이라고도 한다.Regarding the
도 5 는 서브 픽셀 (23) 의 수광량의 추정 방법을 설명하기 위한 도면으로서, 조명 장치 (2a) 에 의해서 i 회째의 촬영과 그 전후 복수 회의 촬영을 행했을 때의, 촬영 범위와 화소 (20) 의 상대적 위치 관계를 나타내고 있다.FIG. 5 is a diagram for explaining a method of estimating the amount of light received by the
도 5 에 나타내는 바와 같이, i 회째의 촬영에 있어서, 서브 픽셀 (23) 의 수광량은, i 회째의 촬영에서의 1 화소 (20) 의 전체 (6 A 분) 의 수광량으로부터, 전회의 촬영과의 중복 영역인 제 1 영역 (21) 및 제 2 영역 (22) 의 4 A 분의 수광량을 빼어 연산 추정할 필요가 있다.As shown in FIG. 5, in the i-th shooting, the amount of light received by the
(i-2) 회째의 화상은 (i-3) 회째와의 비교에서는, 서브 픽셀 (23) 의 2 A 분 갱신되고, 촬영 횟수가 (i-1) 회째, i 회째로 증가할 때마다 순서대로 서브 픽셀 (23) 의 2 A 분씩 갱신되어 간다. 갱신된 새로운 서브 픽셀 (23) 은, 다음의 촬영시에는 중복 영역이 되고, 다시 다음의 촬영시에도 중복 영역으로서 남으며, 그 다음의 촬영시에 중복 영역으로부터 제외된다. 요컨대, 금회의 촬영과 전회의 촬영 사이의 중복 영역은, 전회 및 전전회의 과거 2 회의 촬영시의 서브 픽셀 (23) 이다. 따라서, i 회째의 촬영에 있어서, 서브 픽셀 (23) 의 수광량은, i 회째의 촬영에서의 1 화소 6 A 분의 전체 수광량으로부터, 전회 (i-1) 회째의 촬영시의 서브 픽셀 (23) 의 추정 수광량과, 전전회 (i-2) 회째의 촬영시의 서브 픽셀 (23) 의 추정 수광량의 합을 뺀 값이 된다. 요컨대, In comparison with the (i-3) image, the (i-2) image is updated by 2 A of the
(i 회째의 서브 픽셀의 수광량의 추정치) = (i 회째의 전체 수광량) - {((i-1) 회째의 서브 픽셀의 수광량의 추정치) + ((i-2) 회째의 서브 픽셀의 수광량의 추정치)} 로 연산된다.(Estimated amount of light received by the i-th subpixel) = (Total amount of light received by the i-th subpixel) - {(Estimated amount of light received by the (i-1)th subpixel) + (Estimated amount of light received by the (i-2)th subpixel It is calculated as (estimate)}.
도 5 의 각 화소 (20) 의 제 1 ∼ 제 3 의 각 영역 (21 ∼ 23) 에 기재된 수치는 그 영역의 추정 수광량의 일례로서, 전회 혹은 전전회의 서브 픽셀 (23) 의 수치와 동일하다. 화소 (20) 의 오른쪽 옆의 수치는 1 화소의 전체 수광량이다. 도 5 의 예에서는, i 회째의 촬영에서의 1 화소 6 A 분의 전체 수광량은 3.8 이고, 전회 (i-1) 회째의 촬영시의 서브 픽셀 (23) 의 추정 수광량은 1.3 이고, 전전회 (i-2) 회째의 촬영시의 서브 픽셀 (23) 의 추정 수광량은 0.5 이기 때문에, i 회째의 촬영에서의 서브 픽셀 (23) 의 추정 수광량은, [3.8 - (1.3 + 0.5)] = 2.0 이 된다.The numerical value written in each of the first to
단, 이 서브 픽셀 (23) 의 수광량의 추정 처리는, 결함이 존재할 가능성이 높은 결함 후보 화소로서 검출된 화소 (20) 에 대해서 실시되면 되고, 검출된 결함 후보 화소의 추정 위치를 드럼 인코더 (4) 의 정보에 기초하여 i 로 하며, 그 때의 서브 픽셀 (23) 의 수광량을 위치 정보와 관련지어 기억해 두고, 서브 픽셀 화상을 제작하면 된다. 이로써, 표면 결함이 존재할 가능성이 높은 부위에 집중하여 결함 판별 처리를 실행할 수 있어, 효율이 좋아진다. 결함 후보 화소에 대해서는, 전체의 수광량이 소정의 임계치를 초과하는 화소 (20) 를 결함 후보 화소로서 검출하면 된다.However, the estimation process for the amount of light received by the
또한, 전체의 수광량이 소정의 임계치를 초과하지 않는 화소 (20) 에 대해서는, 결함이 존재할 가능성이 낮기 때문에, 2 A 분의 화소 광량의 평균치를 화소 전체의 수광량의 1/3 로 하여 구하고, 서브 픽셀 (23) 의 수광량으로 추정하면 된다 (도 5 의 예를 들어 (i-4) 회째 또는 (i-3) 회째).In addition, for the
또, 검사 개시 후의 최초의 촬영에 대해서는, 전회의 서브 픽셀 (23) 의 추정 수광량이 존재하지 않기 때문에, 화소 전체의 수광량을 1 화소당 서브 픽셀 (23) 의 수로 나눈 평균치를, 최초의 서브 픽셀 (23) 의 수광량으로 추정하고, 이 수광량을 사용하여, 이후의 촬영에 있어서의 서브 픽셀 (23) 의 수광량을 추정하면 된다.In addition, for the first shooting after the start of inspection, since there is no estimated light reception amount of the
이와 같이 하여, 결함 후보 화소 주변에 대해서, 화소 (20) 의 화상은 아니고 1/3 화소 (2 A 분의 영역) 의 수광량으로 이루어지는 서브 픽셀 화상을 제작한다. 이로써 라인 센서 (1) 의 분해능은 3 배로 되어, 미세한 표면 결함을 양호한 정밀도로 검출, 판별할 수 있다. 요컨대, 라인 센서 (1) 및 조명 장치 (2a, 2b) 에 대해서 이동하는 피검사물 (5) 을 라인 센서 (1) 로 촬영할 경우, 라인 센서 (1) 와 피검사물 (5) 의 촬영면 사이의 거리가 안정되지 않아, 피사계 심도를 깊게 설정할 필요가 있지만, 피사계 심도를 깊게 하면 분해능이 낮아지는 트레이드 오프의 관계가 있고, 미세한 결함까지 검사할 수 없는 경우가 있지만, 1 화소보다 작은 서브 픽셀의 화상을 사용함으로써, 피사계 심도를 깊게 하지 않아도 분해능이 올라가, 보다 미세한 결함까지 검사할 수 있다.In this way, a subpixel image consisting of the light reception amount of 1/3 pixel (2 A equivalent area) is produced, rather than an image of the
조명 장치 (2a) 에 대해서 서브 픽셀 화상을 생성했지만, 조명 장치 (2b) 에 대해서도 동일하게 하여, 1/3 화소의 서브 픽셀 화상을 제작할 수 있다.Although a subpixel image was created for the
<조명 장치 (2a, 2b) 에 대한 서브 픽셀 화상의 위치 맞춤><Alignment of sub-pixel images with respect to lighting devices (2a, 2b)>
도 6 에 나타내는 바와 같이, 조명 장치 (2a) 에 대응하는 1 개의 화소 (20) 에 대한 서브 픽셀 화상의 위치를 a1, a2, a3 … 으로 하고, 조명 장치 (2b) 에 대응하는 1 개의 화소 (20) 에 대한 서브 픽셀 화상의 위치를 b1, b2, b3 … 으로 하면, 촬영시에는, 피검사물 (5) 은 라인 센서 (1) 및 조명 장치 (2a, 2b) 에 대해서 이동하고 있기 때문에, 조명 장치 (2a) 에 대한 서브 픽셀 화상과 조명 장치 (2b) 에 대한 서브 픽셀 화상은, a1, b1, a2, b2, a3, b3 … 과 같이, 조명광의 전환 시간에 상당하는 이동 거리 A 만큼, 교대로 위치 어긋남 상태가 된다.As shown in FIG. 6, the positions of the subpixel image for one
그래서, 이 위치 어긋남을 보정한다. 구체적으로는, 조명 장치 (2a) 의 위치 a2 에 대응하는 조명 장치 (2b) 의 서브 픽셀의 위치를 b2' 로 하면, So, this positional misalignment is corrected. Specifically, if the position of the subpixel of the
위치 b2' 에서의 수광량 (휘도치) = (위치 b1 에서의 수광량 + 위치 b2 에서의 수광량)/2Amount of light received at position b2' (luminance value) = (Amount of light received at position b1 + Amount of light received at position b2)/2
로서, 수광량 (휘도치) 을 보정함으로써 위치 어긋남을 보정한다. 조명 장치 (2a) 의 위치 a3, a4 … 에 대응하는 조명 장치 (2b) 의 서브 픽셀의 위치 b3', b4' … 에 대해서도 동일하다.As such, the positional misalignment is corrected by correcting the amount of light received (luminance value). Position a3, a4 of lighting device (2a)... The positions of subpixels of the
또, 조명 장치 (2a) 의 위치를, 조명 장치 (2b) 의 위치 b1, b2, b3 … 에 대응하도록 위치를 맞추어도 된다.Additionally, the position of the
상기 보정식은 조명 장치가 2 개인 경우이지만, 2 개이든 3 개 이상이든 적용 가능한 보정식은, 다음의 식으로 나타내어진다.The above correction equation is for the case where there are two lighting devices, but the correction equation that can be applied regardless of whether there are two or three or more lighting devices is expressed as the following equation.
단, i : 서브 픽셀 추정 위치의 인덱스However, i: index of subpixel estimated position
j : 점등하고 있는 조명 장치의 식별 번호 j: Identification number of the lighting device that is on
<서브 픽셀의 수광량 추정시의 보정><Correction when estimating the received light amount of subpixels>
서브 픽셀 (23) 의 수광량의 추정은, 1 화소 6 A 분의 모든 영역이 동일한 수광 감도를 갖고 있는 것으로 하여 행하였다. 그러나 실제로는, 도 7 의 감도 분포에 나타내는 바와 같이, 화소 (20) 의 각 부에 따라서 수광 감도는 상이하여, 중앙부는 상대적으로 수광 감도가 높고, 양 단부는 낮다. 도 7 에서는, 해칭 부분의 감도가 높은 것을 나타내고 있고, 동일한 양 단부에서도 제 3 영역이 제 1 영역보다 감도가 높다.The estimation of the amount of light received by the
도 5 에서 설명한 바와 같이, 금회의 촬영이 i 회째의 촬영이라고 하면, 전회의 촬영인 (i-1) 회째의 촬영에 있어서, 서브 픽셀은 1 화소의 우단부의 제 3 영역 (23) 이고, 수광 감도가 낮다. 이 서브 픽셀 (23) 은, 금회의 i 회째의 촬영에서는, 중앙의 2 A 분의 제 2 영역 (22) 과 중복되어 있고, 이 영역은 수광 감도가 높다. 이 때문에, i 회째의 촬영에 있어서의 중앙의 제 2 영역 (22) 의 수광량은, (i-1) 회째의 촬영에 있어서의 서브 픽셀 (23) 의 수광량보다 많을 것이다.As explained in FIG. 5, if the current shooting is the i-th shooting, in the (i-1)th shooting, which is the previous shooting, the subpixel is the
또, i 회째의 촬영에 있어서의 제 1 영역 (21) 의 수광량은, (i-2) 회째의 촬영에 있어서의 서브 픽셀 (23) 의 수광량이지만, (i-2) 회째의 촬영에 있어서의 서브 픽셀 (23) 의 수광량보다, i 회째의 촬영에 있어서의 제 1 영역 (21) 의 수광량이 실제로는 적을 것이다.In addition, the amount of light received by the
그래서, 화소 (20) 의 각 영역 (21 ∼ 23) 의 수광량을 보정하기 위해서, 각 영역 (21 ∼ 23) 에 맞는 가중을 행하여, 영역 (21 ∼ 23) 마다 무게 계수를 설정하고 있다. 구체적으로는, 1 화소 (20) 의 좌단부의 제 1 영역 (21) 의 무게 계수를 ε1, 중앙부의 제 2 영역 (22) 의 무게 계수를 ε2, 우단부의 제 3 영역 (23) 의 무게 계수를 ε3 으로 하여 i 회째의 촬영에 있어서의 서브 픽셀 (23) 의 수광량을 하기 식에 의해서 연산하고 있다.Therefore, in order to correct the amount of light received in each
(i 회째의 서브 픽셀의 수광량의 추정치) = (i 회째의 전체 수광량) - {((i-1) 회째의 서브 픽셀의 수광량의 추정치) * ε2/ε3 + ((i-2) 회째의 서브 픽셀의 수광량의 추정치) * ε1/ε3}(Estimated amount of light received by the i-th subpixel) = (Total amount of light received by the i-th subpixel) - {(Estimated amount of light received by the (i-1)th subpixel) * ε2/ε3 + ((i-2)th sub Estimate of the amount of light received by the pixel) * ε1/ε3}
ε1, ε2, ε3 의 구체예로서, 본 실시형태에서는, ε1 = 1/3, ε2 = 1, ε3 = 2/3 이 설정되어 있다. 도 8 에, 가중을 고려하여 산출한 각 영역 (21 ∼ 23) 의 보정 후의 수광량 추정치의 일례를 나타낸다.As specific examples of ε1, ε2, and ε3, in this embodiment, ε1 = 1/3, ε2 = 1, and ε3 = 2/3 are set. Fig. 8 shows an example of the estimated amount of light received after correction for each
도 8 의 예에서는, (i-2) 회째의 촬영시의 서브 픽셀 (23) 의 수광량을 0.3 으로 했을 때, (i-1) 회째의 촬영시의 제 2 영역 (22) 에 있어서는, 수광량이 보정되어 0.5 로 증가하고, i 회째의 촬영시의 제 1 영역 (21) 에 있어서는, 수광량이 보정되어 0.2 로 감소되어 있다. 또, (i-1) 회째의 촬영시의 서브 픽셀 (23) 의 수광량을 0.9 로 했을 때, i 회째의 촬영시의 제 2 영역 (22) 에 있어서는, 수광량이 보정되어 1.3 으로 증가되어 있다.In the example of Fig. 8, when the amount of light received by the
또, 화소 (20) 의 수광 감도뿐만 아니라, 조명 장치 (2a, 2b) 의 조사 광량의 분포가 상이하기 때문에, 도 9 에 나타내는 바와 같이, 반사광 (40) 의 수광량도 화소 (20) 의 영역에 따라서 상이한 경우가 있다. 도 9 의 예에서는, 화소 (20) 의 단부의 제 1 영역 (21) 및 제 3 영역 (23) 에 대해서는 반사광량 1 에 대해서, 중앙의 제 2 영역 (22) 에 대해서는 반사광량이 2 배인 것을 나타내고 있다. 이 때문에, 반사광량의 상이함을 보정하기 위해서, 화소 (20) 의 각 영역 (21 ∼ 23) 마다에 기초하는 무게 계수 ε1 ∼ ε3 을 설정해도 된다. 예를 들어, ε1 = 1/2, ε2 = 1, ε3 = 1/2 가 설정되어도 된다.In addition, since not only the light-receiving sensitivity of the
이와 같이, 화소 (20) 의 영역 (21 ∼ 23) 마다 수광량을 보정한 상태에서, 1 화소 전체의 수광량으로부터 중복 영역의 수광량이 빼어지기 때문에, 중복 영역의 보다 정확한 수광량을 빼어 금회의 서브 픽셀 (23) 의 수광량을 추정할 수 있고, 나아가서는 보다 정밀도가 높은 결함 판별을 행할 수 있다.In this way, with the received light amount corrected for each of the
<결함 판별><Defect determination>
서로 위치 맞춤된 서브 픽셀 화상에 기초하여 표면 결함을 판별한다.Surface defects are determined based on subpixel images aligned with each other.
오목 결함 중, "보이드 결함" 으로 불리는 구면상의 오목 결함 (51) 에 대해서는, 도 10 에 나타내는 바와 같이, 대향하여 배치된 조명 장치 (2a 및 2b) 의 상이한 방향으로부터의 조명광이 크로스되어, 조명 장치 (2a 및 2b) 의 각 위치와 반사 위치는 위치 관계가 반대로 된다. 요컨대, 위치 맞춤된 서브 픽셀 화상 (61) 에 있어서, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (61a, 61b) 이 중복되지 않으며, 또한 각 명점 (61a, 61b) 이 미리 설정된 범위 내에 있고, 게다가 명점 (61a, 61b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 반대인 위치 관계일 경우에는, 오목 결함 (51) 으로 판정한다.Among the concave defects, regarding the spherical
한편, "볼록 결함" 에 대해서는, 도 11 에 나타내는 바와 같이, 조명 장치 (2a 및 2b) 로부터 볼록 결함 (52) 에 대한 각 조명광은 크로스되지 않고, 조명 장치 (2a 및 2b) 의 각 위치와 반사 위치는 위치 관계가 동일하다. 따라서, 위치 맞춤된 서브 픽셀 화상 (62) 에 있어서, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (62a, 62b) 이 중복되지 않으며, 또한 각 명점 (62a, 62b) 이 미리 설정된 범위 내에 있고, 게다가 명점 (62a, 62b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 동일한 위치 관계일 경우에는, 볼록 결함 (52) 으로 판정한다.On the other hand, regarding the "convex defect", as shown in FIG. 11, each illumination light from the
또한, 도 10 및 도 11 에 있어서, 조명 장치 (2a) 에 대응하는 명점 (61a, 62a) 을 더블 해칭으로, 조명 장치 (2b) 에 대응하는 명점 (61b, 62b) 을 파선 해칭으로 나타내고 있다. 도 12 이후에 있어서도 동일하다.10 and 11,
오목 결함 중, "흠집 결함" 으로 불리는 평면의 결함 (53) 에 대해서는, 도 12 에 나타내는 바와 같이, 대향하여 배치된 조명 장치 (2a 및 2b) 로부터의 조명광이 크로스되어, 조명 장치 (2a 및 2b) 의 각 위치와 반사 위치는 위치 관계가 반대로 된다. 또한, 흠집면의 방향이 일정하지 않기 때문에 조명 장치 (2a) 의 조명광의 반사와 조명 장치 (2b) 의 조명광의 반사가 혼재한다. 단, 평면은 고반사율면이기 때문에 각 조명광은 혼합되어 반사되지 않는다. 따라서, 위치 맞춤된 서브 픽셀 화상 (63) 에 있어서, 조명 장치 (2a) 에 대응하는 명점 (63a) 과 조명 장치 (2b) 에 대응하는 명점 (63b) 이 중복되지 않으며, 또한 각 명점 (63a, 63b) 이 혼재하고, 명점 (63a, 63b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 반대일 경우에는, 피검사물 (5) 의 표면에 흠집 결함 (53) 이 존재한다고 판정한다.Among the concave defects, regarding the
"먼지" 나 "티클" 은, 표면이 확산 반사면이기 때문에, 조명 장치 (2a, 2b) 의 조명광을 확산 반사하고, 이 때문에, 도 13 과 같이 각 조명광은 결함 (54) 에 의해서 혼합되어 반사된다. 따라서, 위치 맞춤된 서브 픽셀 화상 (64) 에 있어서, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (64a, 64b) 이 중복되어 있을 때에는, 피검사물 (5) 의 표면에 티끌 또는 먼지가 존재한다고 판정한다.Since the surface of the “dust” or “ticle” is a diffuse reflection surface, it diffusely reflects the illumination light of the
조명 장치 (2a, 2b) 에 의한 각 서브 픽셀 화상은 모두 암시야 화상이고, 요철 결함, 흠집 결함, 먼지, 티끌 등은 백점으로서 나타난다. 화상 상의 결함 후보의 검출은 이하와 같이 하여 행한다.Each subpixel image produced by the
즉, 결함 후보의 사이즈를 화상의 면적으로 W1 이상 W2 이하, 휘도를 B2 이상으로 설정했을 때, 각 서브 픽셀 화상을 모두 B2 로 2 치화하고, 팽창 수축 처리로 이산 화소의 집결 처리를 행한다. 또한, 화소 집합마다 색 분류 등에 의한 라벨 부여를 행한다.That is, when the size of the defect candidate is set to be greater than or equal to W1 and less than or equal to W2 in terms of the image area, and the luminance is set to greater than or equal to B2, each subpixel image is all binarized to B2, and a collection process of discrete pixels is performed by expansion and contraction processing. Additionally, a label is assigned to each pixel set by color classification or the like.
집합 면적 S 가 W1 ≤ S ≤ W2 인 라벨의 화소 집합만을 남기고, 그 밖의 화소 집합을 각 서브 픽셀 화상에서 삭제한다. W1 은 단순히 최소의 결함 사이즈를 나타내는 것은 아니고, 「결함 부분」으로 간주할 수 있는 최소 사이즈를 나타낸다.Only the pixel set of the label whose set area S is W1 ≤ S ≤ W2 is left, and the other pixel sets are deleted from each subpixel image. W1 does not simply represent the minimum defect size, but represents the minimum size that can be considered a “defect part.”
그리고, 결함 사이즈를 화소수로 X 이상으로 정의했을 때, 조명 장치 (2a) 에 대한 서브 픽셀 화상에 남는 화소 집합의 각 화소의 좌표 Vi (i 는 화소 집합의 라벨) 를 조사하고, 조명 장치 (2b) 에 대한 서브 픽셀 화상의 좌표 Vi ± X/2 의 범위 내에 화소 집합이 있을 경우에는 결함으로 간주하고, 상기 서술한 결함 분류 방법에 따라서, "보이드 결함", "흠집 결함", "볼록 결함", "먼지 또는 티끌" 의 4 종류로 분류한다.Then, when the defect size is defined as 2b) If there is a set of pixels within the range of coordinates Vi ± It is classified into four types: ", "dust or dust".
구체적으로는, 도 14 에 나타내는 바와 같이, 위치 맞춤된, 조명 장치 (2a) 에 대응하는 서브 픽셀 화상 SPa 와 조명 장치 (2b) 에 대응하는 서브 픽셀 화상 SPb 를, 우측 도면과 같이 조합하면, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (61a, 61b) 이 중복되지 않으며, 또한 각 명점 (61a, 61b) 이 좌표 Vi ± X/2 의 범위 내에 있고, 게다가 명점 (61a, 61b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 반대의 위치 관계이기 때문에, 보이드 결함으로 판정한다.Specifically, as shown in FIG. 14, if the aligned subpixel image SPa corresponding to the
도 15 에 나타내는 바와 같이, 위치 맞춤된, 조명 장치 (2a) 에 대응하는 서브 픽셀 화상 SPa 와 조명 장치 (2b) 에 대응하는 서브 픽셀 화상 SPb 를, 우측 도면과 같이 조합하면, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (62a, 62b) 이 중복되지 않으며, 또한 각 명점 (62a, 62b) 이 좌표 Vi ± X/2 의 범위 내에 있고, 게다가 명점 (62a, 62b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 동일한 위치 관계이기 때문에, 볼록 결함으로 판정한다.As shown in FIG. 15 , when the aligned subpixel image SPa corresponding to the
도 16 에 나타내는 바와 같이, 위치 맞춤된, 조명 장치 (2a) 에 대응하는 서브 픽셀 화상 SPa 와 조명 장치 (2b) 에 대응하는 서브 픽셀 화상 SPb 를, 우측 도면과 같이 조합하면, 각 조명 장치 (2a, 2b) 에 대응하는 각 명점 (63a, 63b) 이 좌표 Vi ± X/2 의 범위 내에 있고, 명점 (63a, 63b) 이 중복되지 않고 혼재하여, 명점 (63a, 63b) 의 위치가 조명 장치 (2a, 2b) 의 배치 위치와 반대이기 때문에, 흠집 결함으로 판정한다.As shown in FIG. 16, when the aligned subpixel image SPa corresponding to the
도 17 에 나타내는 바와 같이, 위치 맞춤된, 조명 장치 (2a) 에 대응하는 서브 픽셀 화상 SPa 와 조명 장치 (2b) 에 대응하는 서브 픽셀 화상 SPb 를, 우측 도면과 같이 조합하면, 각 조명 장치 (2a, 2b) 에 대응하는 명점 (64a, 64b) 이 중복되어 있기 때문에, 티끌 또는 먼지로 판정한다.As shown in FIG. 17, when the aligned subpixel image SPa corresponding to the
이상에 의해서, 이동하는 피검사물 (5) 의 표면 결함을 검출 판별할 수 있다.By the above, surface defects of the moving object to be inspected 5 can be detected and discriminated.
검출 결과는 표시 장치 (6) 에 표시된다. 표시는, 바람직하게는, 도 14 ∼ 도 17 의 우측에 나타낸 2 개의 서브 픽셀 화상 SPa, SPb 의 위치 맞춤 후의 화상과 함께, 판별된 결함의 종류나, 결함마다의 좌표 Vi ± X/2 의 범위도 함께 표시되어도 된다.The detection result is displayed on the
이상, 본 발명의 일 실시형태를 설명했지만, 본 발명은 상기 실시형태에 한정되는 경우는 없다. 예를 들어, 라인 센서 (1) 및 조명 장치 (2a, 2b) 를 고정시키고, 피검사물 (5) 을 이동시키면서 촬영을 행하는 구성으로 했지만, 피검사물 (5) 을 고정시키고, 라인 센서 (1) 및 조명 장치 (2a, 2b) 를 이동시키면서 촬영을 행해도 되고, 피검사물 (5) 과 라인 센서 (1) 및 조명 장치 (2a, 2b) 중 적어도 일방이 타방에 대해서 상대적으로 이동하고 있으면 된다.Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment. For example, the
또, 피검사물 (5) 의 1 촬영당 상대적 이동 거리가 A 이고, 서브 픽셀 (23) 의 길이가 2 A 인 경우를 나타냈지만, 1 개의 조명 장치에 대해서, 금회의 촬영과 전회의 촬영에서 촬영 범위의 중복이 발생되어 서브 픽셀을 형성할 수 있으면 된다. 이 때문에, 피검사물 (5) 의 1 촬영당 상대적 이동 거리는 1 화소의 1/2 이하로 하는 것이 좋다.In addition, the case where the relative moving distance per shot of the
또, 조명 장치 (2a, 2b) 는 2 개를 사용했지만, 전술한 바와 같이 3 개 이상의 조명 장치를 순서대로 전환하여 사용하여, 각 조명 장치에 대응하는 3 종류 이상의 서브 픽셀 화상을 비교하여 결함을 검출 판별하는 편이, 조사광의 방향이 다양해지고, 보다 양호한 정밀도로 표면 결함을 검출 판별할 수 있는 점에서 바람직하다.In addition, although two
산업상 이용가능성Industrial applicability
본 발명은, 정반사 성상이 강한 표면을 갖는 제품이나 부품 등의 피검사물의 표면 결함을 판별할 때에 이용 가능하다.The present invention can be used when determining surface defects of objects to be inspected, such as products or parts having a surface with strong regular reflection properties.
1 : 라인 센서
2a, 2b : 조명 장치
4 : 드럼 인코더
5 : 피검사물
6 : 조명 장치
8 : 조명 제어부
9 : 라인 센서 제어부
10 : 컴퓨터
11 : 드럼 반송 제어부
20 : 화소
21 : 제 1 영역
22 : 제 2 영역
23 : 서브 픽셀 (제 3 영역)
30 : 결함
51 : 오목 결함 (보이드 결함)
52 : 볼록 결함
53 : 흠집 결함
54 : 티끌 또는 먼지
61a ∼ 64a : 조명 장치 (2a) 에 의한 명점
61b ∼ 64b : 조명 장치 (2b) 에 의한 명점1: Line sensor
2a, 2b: lighting device
4: Drum encoder
5: Test object
6: Lighting device
8: Lighting control unit
9: Line sensor control unit
10: computer
11: Drum conveyance control unit
20: Pixel
21: first area
22: Second area
23: Subpixel (third area)
30: defect
51: Concave defect (void defect)
52: Convex defect
53: scratch defect
54: dust or dust
61a to 64a: Bright spot by lighting device (2a)
61b to 64b: Bright spot by lighting device (2b)
Claims (29)
상기 화상 취득 수단에 의해서 취득된, 각 조명 장치에 대응하는 화상을 위치 맞춤하는 위치 맞춤 수단과,
상기 위치 맞춤 수단에 의해서 위치 맞춤된 화상으로부터, 피검사물의 표면 결함을 판별하는 판별 수단을 구비하고,
상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고,
1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 수단을 구비하며,
상기 위치 맞춤 수단은, 상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 표면 결함 판별 장치.When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, each time the illumination light from each lighting device is switched. , image acquisition means for acquiring a plurality of images in a state of positional deviation corresponding to the conversion of the illumination light by receiving and photographing reflected light from the object to be inspected with a line sensor;
Positioning means for positioning images corresponding to each lighting device acquired by the image acquisition means;
Provided with discrimination means for determining surface defects of the inspected object from the image aligned by the alignment means,
A part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting due to illumination light from one of the lighting devices being irradiated to the inspection object,
When the part of one pixel excluding the overlapping area is used as a subpixel, the received light amount of the overlapping area is estimated by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel in the current shooting to create a subpixel image. Provided with a sub-pixel image production means for producing,
A surface defect determination device wherein the alignment means aligns subpixel images corresponding to each lighting device produced by the subpixel image production means.
상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고,
1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 수단과,
서브 픽셀 화상 제작 수단에 의해서 제작된 서브 픽셀 화상에 기초하여, 피검사물의 표면 결함을 판별하는 판별 수단을 추가로 구비하고 있는 표면 결함 판별 장치.When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, each time the illumination light from each lighting device is switched. Provided with image acquisition means for acquiring a plurality of images for each illumination light by receiving and photographing reflected light from the inspected object with a line sensor,
A part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting due to illumination light from one of the lighting devices being irradiated to the inspection object,
When the part of one pixel excluding the overlapping area is used as a subpixel, the received light amount of the overlapping area is estimated by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel in the current shooting to create a subpixel image. A sub-pixel image production means for producing,
A surface defect determination device further comprising discrimination means for determining surface defects of an object to be inspected based on a subpixel image produced by a subpixel image production means.
상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 위치 맞춤 수단을 구비하고 있는 표면 결함 판별 장치.According to claim 3,
A surface defect determination device comprising alignment means for aligning subpixel images corresponding to each lighting device produced by the subpixel image production means.
상기 서브 픽셀 화상 제작 수단은, 상기 중복 영역의 수광량을 영역마다 보정한 상태에서, 화소 전체의 수광량으로부터 빼는 표면 결함 판별 장치.The method according to any one of claims 1 and 3 to 4,
A surface defect determination device in which the sub-pixel image production means subtracts the amount of light received in the overlapping area from the amount of light received in the entire pixel in a state in which the amount of light received in the overlapping area is corrected for each area.
상기 서브 픽셀 화상 제작 수단은, 상기 중복 영역의 수광량을, 전회 이전에 추정된 서브 픽셀의 수광량의 합으로부터 구하고, 구해진 수광량을 화소 전체의 수광량으로부터 빼어 금회의 서브 픽셀의 수광량을 추정하는 표면 결함 판별 장치.The method according to any one of claims 1 and 3 to 4,
The subpixel image production means determines the received light amount of the overlapping area from the sum of the received light amounts of the subpixels estimated before last time, subtracts the obtained light received amount from the light received amount of the entire pixel to estimate the light received amount of the current subpixel, and determines surface defects. Device.
상기 서브 픽셀 화상 제작 수단은, 촬영 개시 후의 최초의 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 최초의 서브 픽셀의 수광량으로 추정하는 표면 결함 판별 장치.According to claim 6,
The sub-pixel image production means estimates the average value obtained by dividing the light-receiving amount of all first pixels after the start of shooting by the number of sub-pixels per pixel as the light-receiving amount of the first sub-pixel.
상기 서브 픽셀 화상 제작 수단은, 화소 전체의 수광량이 소정의 임계치를 초과하지 않을 경우, 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 금회의 서브 픽셀의 수광량으로 추정하고, 화소 전체의 수광량이 소정의 임계치를 초과할 경우, 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하는 표면 결함 판별 장치.The method according to any one of claims 1 and 3 to 4,
When the received light amount of all pixels does not exceed a predetermined threshold, the subpixel image production means estimates the average value of the received light amount of all pixels divided by the number of subpixels per pixel as the light received amount of the current subpixel, and When the received light amount exceeds a predetermined threshold, the surface defect determination device estimates the light received amount of the current subpixel by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel.
상기 위치 맞춤 수단은, 상기 서브 픽셀 화상 제작 수단에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤을, 하기 식에 의해서 휘도치 Ki j 를 보정치 K'i j 로 보정함으로써 행하는 표면 결함 판별 장치.
단, i : 서브 픽셀 추정 위치의 인덱스
j : 점등하고 있는 조명 장치의 식별 번호According to claim 1 or 4,
The position alignment means performs alignment of the subpixel image corresponding to each lighting device produced by the subpixel image production means by correcting the luminance value K i j with the correction value K'i j according to the following equation. Defect determination device.
However, i: index of subpixel estimated position
j: Identification number of the lighting device that is on
상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되지 않으며 또한 각 명점이 미리 설정된 범위 내에 있을 경우에는, 피검사물의 표면에 오목 결함 또는 볼록 결함이 존재한다고 판정하는 표면 결함 판별 장치.According to claim 1 or 4,
The determination means determines whether, in the sub-pixel image aligned by the position alignment means, the bright points corresponding to each lighting device do not overlap and each bright point is within a preset range, the surface of the object to be inspected has a concave defect. Or a surface defect determination device that determines that a convex defect exists.
상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점의 위치가 조명 장치의 배치 위치와 반대일 경우에는 오목 결함이 존재하고, 반대가 아닐 경우에는 볼록 결함이 존재한다고 판정하는 표면 결함 판별 장치.According to claim 10,
The determination means determines that, in the subpixel image aligned by the alignment means, a concave defect exists when the position of a bright spot corresponding to each lighting device is opposite to the arrangement position of the lighting device, and when the opposite is not the case, A surface defect determination device that determines that a convex defect exists.
상기 판별 수단은, 상기 위치 맞춤 수단에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되어 있을 때에는, 피검사물의 표면에 티끌 또는 먼지가 존재한다고 판정하는 표면 결함 판별 장치.According to claim 1 or 4,
The determination means is a surface defect determination device that determines that dust or dirt is present on the surface of the object to be inspected when bright spots corresponding to each lighting device overlap in the subpixel image aligned by the alignment means. .
전체의 수광량이 소정의 임계치를 초과하는 화소를 결함 후보 화소로서 검출하고, 검출된 결함 후보 화소에 대해서, 상기 위치 맞춤 수단에 의해서 서브 픽셀 화상을 위치 맞춤하며, 또한 판정 수단에 의해서 피검사물의 표면 결함을 판별하는 표면 결함 판별 장치.According to claim 1 or 4,
Pixels whose total amount of light exceeds a predetermined threshold are detected as defect candidate pixels, sub-pixel images are aligned for the detected defect candidate pixels by the alignment means, and the judgment means is used to align the surface of the inspected object. A surface defect determination device that determines defects.
상기 조명 장치의 광원으로서, LED 또는 가시광 반도체 레이저가 사용되는 표면 결함 판별 장치.The method according to any one of claims 1 and 3 to 4,
A surface defect determination device in which an LED or a visible semiconductor laser is used as a light source of the lighting device.
상기 조명 장치는 3 개 이상이고, 상기 라인 센서를 중심으로 하는 원주 위에서, 또한 360 도 ÷ 조명 장치의 수의 각도차로 배치되어 있는 표면 결함 판별 장치.The method according to any one of claims 1 and 3 to 4,
A surface defect determination device in which three or more lighting devices are arranged on a circumference centered on the line sensor at an angle difference of 360 degrees divided by the number of lighting devices.
각 조명 장치로부터 피검사물에 조사된 조명광의 반사광을 수광 가능한 라인 센서와,
상기 피검사물을, 상기 조명 장치 및 라인 센서에 대해서 상대적으로 이동시키는 이동 수단과,
각 조명 장치로부터의 조명광을 1 개씩 소정의 주기로 전환하여 피검사물에 조사시키는 조명 제어 수단과,
상기 이동 수단에 의해서, 상기 피검사물을 상기 조명 장치 및 라인 센서에 대해서 상대적으로 이동시키면서, 상기 조명 제어 수단에 의해서, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 수광하여 촬영을 행하도록, 상기 라인 센서를 제어하는 라인 센서 제어 수단과,
제 1 항 및 제 3 항 내지 제 4 항 중 어느 한 항에 기재된 표면 결함 판별 장치를 구비한 외관 검사 장치.A plurality of lighting devices arranged at different positions,
A line sensor capable of receiving the reflected light of the illumination light irradiated from each lighting device to the object to be inspected,
moving means for moving the object to be inspected relative to the lighting device and the line sensor;
Illumination control means for switching the illumination light from each lighting device one by one at a predetermined cycle and irradiating it to the object to be inspected;
By the moving means, the inspected object is moved relative to the lighting device and the line sensor, and by the lighting control means, each time the illumination light from each lighting device is switched, reflected light from the inspected object is received. Line sensor control means for controlling the line sensor to perform imaging;
An external inspection device comprising the surface defect determination device according to any one of claims 1 and 3 to 4.
상기 프로그램은:
상이한 위치에 배치된 조명 장치 및 라인 센서에 대해서 피검사물을 상대적으로 이동시키면서, 상기 각 조명 장치로부터의 조명광을 1 개씩 전환하여 피검사물에 조사시켰을 때에, 각 조명 장치로부터의 조명광이 전환될 때마다, 피검사물로부터의 반사광을 라인 센서로 수광하여 촬영함으로써, 상기 조명광의 전환분만큼 각각 위치 어긋남 상태에서 복수의 화상을 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 의해서 취득된, 각 조명 장치에 대응하는 화상을 위치 맞춤하는 위치 맞춤 스텝과,
상기 위치 맞춤 스텝에 의해서 위치 맞춤된 화상으로부터, 피검사물의 표면 결함을 판별하는 판별 스텝을 컴퓨터에 실행시키기 위한 것이며,
상기 라인 센서의 각 화소의 일부는, 1 개의 상기 조명 장치에 의한 조명광이 피검사물에 조사되는 것에 의한 금회의 촬영과 전회의 촬영에서 촬영 범위가 중복되는 중복 영역으로 되어 있고,
1 개의 화소에 있어서의 상기 중복 영역을 제외한 부분을 서브 픽셀로 할 때, 금회의 촬영에서의 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하여 서브 픽셀 화상을 제작하는 서브 픽셀 화상 제작 스텝을 상기 컴퓨터에 실행시키고,
상기 위치 맞춤 스텝에서는, 상기 서브 픽셀 화상 제작 스텝에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상을 위치 맞춤하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.As a program stored on a recording medium,
The above program:
When the object to be inspected is moved relative to the lighting devices and line sensors arranged at different positions, the illumination light from each lighting device is switched one by one to irradiate the object to be inspected, each time the illumination light from each lighting device is switched. , an image acquisition step of acquiring a plurality of images in a state of positional deviation corresponding to the conversion of the illumination light by receiving and photographing reflected light from the inspected object with a line sensor;
a positioning step for positioning images corresponding to each lighting device acquired by the image acquisition step;
To cause the computer to execute a determination step for determining surface defects of the object to be inspected from the image aligned by the alignment step,
A part of each pixel of the line sensor is an overlapping area where the shooting range overlaps between the current shooting and the previous shooting due to illumination light from one of the lighting devices being irradiated to the inspection object,
When the part of one pixel excluding the overlapping area is used as a subpixel, the received light amount of the overlapping area is estimated by subtracting the light received amount of the overlapping area from the light received amount of the entire pixel in the current shooting to create a subpixel image. Executing the sub-pixel image production step for producing on the computer,
A program stored in a recording medium that causes the computer to execute, in the positioning step, a process for positioning a subpixel image corresponding to each lighting device produced by the subpixel image production step.
상기 서브 픽셀 화상 제작 스텝에서는, 상기 중복 영역의 수광량을 영역마다 보정한 상태에서, 화소 전체의 수광량으로부터 빼는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.According to claim 17,
A program stored in a recording medium that causes the computer to execute, in the sub-pixel image creation step, a process of subtracting the received light amount of the overlapping area from the received light amount of the entire pixel while correcting each area.
상기 서브 픽셀 화상 제작 스텝에서는, 상기 중복 영역의 수광량을, 전회 이전에 추정된 서브 픽셀의 수광량의 합으로부터 구하고, 구해진 수광량을 화소 전체의 수광량으로부터 빼어 금회의 서브 픽셀의 수광량을 추정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
In the sub-pixel image creation step, the received light amount of the overlapping area is determined from the sum of the received light amounts of the sub-pixels estimated previously, and the obtained light-received amount is subtracted from the light-received amount of the entire pixel to estimate the light-received amount of the current sub-pixel. A program stored on a recording medium that runs on a computer.
상기 서브 픽셀 화상 제작 스텝에서는, 촬영 개시 후의 최초의 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 최초의 서브 픽셀의 수광량으로 추정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.According to claim 20,
In the sub-pixel image production step, a program stored in the recording medium causes the computer to perform a process of estimating the received light amount of the first sub-pixel as the average value of the received light amount of all the first pixels after the start of shooting, divided by the number of sub-pixels per pixel. .
상기 서브 픽셀 화상 제작 스텝에서는, 화소 전체의 수광량이 소정의 임계치를 초과하지 않을 경우, 화소 전체의 수광량을 1 화소당 서브 픽셀의 수로 나눈 평균치를, 금회의 서브 픽셀의 수광량으로 추정하고, 화소 전체의 수광량이 소정의 임계치를 초과할 경우, 화소 전체의 수광량으로부터 상기 중복 영역의 수광량을 뺌으로써, 금회의 서브 픽셀의 수광량을 추정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
In the subpixel image production step, if the received light amount of all pixels does not exceed the predetermined threshold, the average value of the received light amount of all pixels divided by the number of subpixels per pixel is estimated as the light received amount of the current subpixel, and the received light amount of all pixels is estimated. A program stored in a recording medium that causes the computer to execute a process of estimating the light reception amount of the current subpixel by subtracting the light reception amount of the overlapping area from the light reception amount of the entire pixel when the received light amount exceeds a predetermined threshold.
상기 위치 맞춤 스텝에서는, 상기 서브 픽셀 화상 제작 스텝에 의해서 제작된 각 조명 장치에 대응하는 서브 픽셀 화상의 위치 맞춤을, 하기 식에 의해서 휘도치 Ki j 를 보정치 K'i j 로 보정함으로써 행하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.
단, i : 서브 픽셀 추정 위치의 인덱스
j : 점등하고 있는 조명의 식별차 번호The method of claim 17 or 19,
In the position alignment step, the position alignment of the subpixel image corresponding to each lighting device produced by the subpixel image production step is performed by correcting the luminance value K i j with the correction value K'i j according to the following equation. A program stored on a recording medium that executes on the computer.
However, i: index of subpixel estimated position
j: Identification car number of the light that is on
상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되지 않으며 또한 각 명점이 미리 설정된 범위 내에 있을 경우에는, 피검사물의 표면에 오목 결함 또는 볼록 결함이 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
In the determination step, if the bright points corresponding to each lighting device do not overlap in the subpixel image aligned by the position alignment step and each bright point is within a preset range, there is a concave defect on the surface of the object to be inspected. or a program stored in a recording medium that causes the computer to execute processing for determining that a convex defect exists.
상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 서브 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점의 위치가 조명 장치의 배치 위치와 반대일 경우에는 오목 결함이 존재하고, 반대가 아닐 경우에는 볼록 결함이 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.According to claim 24,
In the determination step, in the subpixel image aligned by the alignment step, a concave defect exists if the position of the bright spot corresponding to each lighting device is opposite to the arrangement position of the lighting device, and if the reverse is not the case, a concave defect exists. A program stored in a recording medium that causes the computer to execute a process to determine that a convex defect exists.
상기 판별 스텝에서는, 상기 위치 맞춤 스텝에 의해서 위치 맞춤된 픽셀 화상에 있어서, 각 조명 장치에 대응하는 명점이 중복되어 있을 때에는, 피검사물의 표면에 티끌 또는 먼지가 존재한다고 판정하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
In the determination step, when bright spots corresponding to each lighting device overlap in the pixel image aligned by the alignment step, the computer performs processing to determine that dust or dirt is present on the surface of the object to be inspected. A program stored on a recording medium that can be executed.
전체의 수광량이 소정의 임계치를 초과하는 화소를 결함 후보 화소로서 검출하고, 검출된 결함 후보 화소에 대해서, 상기 위치 맞춤 스텝에 의해서 서브 픽셀 화상을 위치 맞춤하며, 또한 판정 스텝에 의해서 피검사물의 표면 결함을 판별하는 처리를 상기 컴퓨터에 실행시키는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
Pixels whose total amount of light exceeds a predetermined threshold are detected as defect candidate pixels, sub-pixel images are aligned for the detected defect candidate pixels by the position alignment step, and further, the judgment step is performed on the surface of the inspected object. A program stored on a recording medium that causes the computer to execute defect determination processing.
상기 조명 장치의 광원으로서, LED 또는 가시광 반도체 레이저가 사용되는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
A program stored in a recording medium in which an LED or a visible semiconductor laser is used as a light source of the lighting device.
복수 개의 상기 조명 장치는, 상기 라인 센서를 중심으로 하는 원주 위에서 또한 360 도/(조명 장치의 개수) 의 위치에 배치되어 있는 기록 매체에 저장된 프로그램.The method of claim 17 or 19,
A program stored in a recording medium in which the plurality of lighting devices are arranged at positions of 360 degrees/(number of lighting devices) on a circumference centered on the line sensor.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2019-167576 | 2019-09-13 | ||
JP2019167576 | 2019-09-13 | ||
PCT/JP2020/032574 WO2021049326A1 (en) | 2019-09-13 | 2020-08-28 | Surface defect discerning device, appearance inspection device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220043219A KR20220043219A (en) | 2022-04-05 |
KR102684368B1 true KR102684368B1 (en) | 2024-07-11 |
Family
ID=74866162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227008488A KR102684368B1 (en) | 2019-09-13 | 2020-08-28 | Surface defect determination device, appearance inspection device and program |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7444171B2 (en) |
KR (1) | KR102684368B1 (en) |
CN (1) | CN114364973B (en) |
WO (1) | WO2021049326A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000162146A (en) * | 1998-11-24 | 2000-06-16 | Nippon Electro Sensari Device Kk | Surface inspecting device |
JP2006194828A (en) | 2005-01-17 | 2006-07-27 | Mega Trade:Kk | Inspection device |
JP2013246059A (en) | 2012-05-25 | 2013-12-09 | Sharp Corp | Defect inspection apparatus and defect inspection method |
WO2019103153A1 (en) * | 2017-11-27 | 2019-05-31 | 日本製鉄株式会社 | Shape inspecting device and shape inspecting method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118450A (en) | 1997-10-14 | 1999-04-30 | Mitsubishi Heavy Ind Ltd | Device for detecting protrusion defect of liquid crystal substrate |
DE102005031490A1 (en) * | 2005-07-04 | 2007-02-01 | Massen Machine Vision Systems Gmbh | Cost-effective multi-sensor surface inspection |
US8144973B2 (en) * | 2009-03-24 | 2012-03-27 | Orbotech Ltd. | Multi-modal imaging |
JP5673621B2 (en) * | 2012-07-18 | 2015-02-18 | オムロン株式会社 | Defect inspection method and defect inspection apparatus |
EP2999956B1 (en) | 2013-05-23 | 2021-06-30 | Rina Consulting - Centro Sviluppo Materiali S.p.A. | Method for the surface inspection of long products and apparatus suitable for carrying out such a method |
JP6470506B2 (en) | 2014-06-09 | 2019-02-13 | 株式会社キーエンス | Inspection device |
JP6370177B2 (en) * | 2014-09-05 | 2018-08-08 | 株式会社Screenホールディングス | Inspection apparatus and inspection method |
JP6447637B2 (en) * | 2015-06-25 | 2019-01-09 | Jfeスチール株式会社 | Surface defect detection apparatus, surface defect detection method, and steel material manufacturing method |
JP6682809B2 (en) | 2015-11-09 | 2020-04-15 | 大日本印刷株式会社 | Inspection system and inspection method |
JP7113627B2 (en) | 2018-02-05 | 2022-08-05 | 株式会社Screenホールディングス | Image Acquisition Device, Image Acquisition Method and Inspection Device |
-
2020
- 2020-08-28 WO PCT/JP2020/032574 patent/WO2021049326A1/en active Application Filing
- 2020-08-28 KR KR1020227008488A patent/KR102684368B1/en active IP Right Grant
- 2020-08-28 JP JP2021545215A patent/JP7444171B2/en active Active
- 2020-08-28 CN CN202080063954.0A patent/CN114364973B/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000162146A (en) * | 1998-11-24 | 2000-06-16 | Nippon Electro Sensari Device Kk | Surface inspecting device |
JP2006194828A (en) | 2005-01-17 | 2006-07-27 | Mega Trade:Kk | Inspection device |
JP2013246059A (en) | 2012-05-25 | 2013-12-09 | Sharp Corp | Defect inspection apparatus and defect inspection method |
WO2019103153A1 (en) * | 2017-11-27 | 2019-05-31 | 日本製鉄株式会社 | Shape inspecting device and shape inspecting method |
Also Published As
Publication number | Publication date |
---|---|
WO2021049326A1 (en) | 2021-03-18 |
JPWO2021049326A1 (en) | 2021-03-18 |
CN114364973B (en) | 2024-01-16 |
JP7444171B2 (en) | 2024-03-06 |
KR20220043219A (en) | 2022-04-05 |
CN114364973A (en) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110596131B (en) | Sheet glass edge flaw detection method based on image acquisition | |
US11216687B2 (en) | Image detection scanning method for object surface defects and image detection scanning system thereof | |
KR101773791B1 (en) | Method and device for inspecting surfaces of an examined object | |
KR101832081B1 (en) | Surface defect detection method and surface defect detection device | |
US6369401B1 (en) | Three-dimensional optical volume measurement for objects to be categorized | |
US7202957B2 (en) | Three-dimensional visual sensor | |
JPH0392745A (en) | Indentation type hardness meter | |
CN110596139A (en) | Screen defect detection method and system | |
Wang et al. | Online detection technique of 3D defects for steel strips based on photometric stereo | |
KR20160108644A (en) | Device for detecting defect of device | |
CN112986258A (en) | Surface defect detection device and method for judging surface where surface defect is located | |
JP2016161321A (en) | Inspection device | |
JP4318579B2 (en) | Surface defect inspection equipment | |
KR102684368B1 (en) | Surface defect determination device, appearance inspection device and program | |
JP2008286646A (en) | Surface flaw inspection device | |
JP6031751B2 (en) | Glass substrate inspection apparatus and glass substrate manufacturing method | |
CN102003941B (en) | Large mooring chain five-ring length measurement method and device based on vision | |
KR100415796B1 (en) | Method of determining a scanning interval in surface inspection | |
JP7493163B2 (en) | Defect inspection device | |
RU2810913C1 (en) | Device for surface control, surface control method, method for manufacturing steel material, method for sorting steel material, production equipment for manufacturing steel material | |
JPH1010052A (en) | Surface defect inspecting device | |
JP2010236998A (en) | Shape measuring device | |
CN108152292B (en) | Detection method for edge interference of hot rolling surface quality detection system | |
JP2023082350A (en) | Surface defect inspection device and surface defect inspection method | |
JPH08219740A (en) | Method and equipment for inspecting semiconductor device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |