[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018150607A1 - 外観検査装置、照明装置、撮影照明装置 - Google Patents

外観検査装置、照明装置、撮影照明装置 Download PDF

Info

Publication number
WO2018150607A1
WO2018150607A1 PCT/JP2017/027908 JP2017027908W WO2018150607A1 WO 2018150607 A1 WO2018150607 A1 WO 2018150607A1 JP 2017027908 W JP2017027908 W JP 2017027908W WO 2018150607 A1 WO2018150607 A1 WO 2018150607A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
color space
unit
cylindrical body
Prior art date
Application number
PCT/JP2017/027908
Other languages
English (en)
French (fr)
Inventor
真一 英
裕介 大森
隼 阿久澤
Original Assignee
Ｓｅｒｅｎｄｉｐｉｔｙ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 filed Critical Ｓｅｒｅｎｄｉｐｉｔｙ株式会社
Priority to US16/487,271 priority Critical patent/US10890537B2/en
Priority to JP2018534759A priority patent/JP6629455B2/ja
Publication of WO2018150607A1 publication Critical patent/WO2018150607A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V7/00—Reflectors for light sources
    • F21V7/04—Optical design
    • F21V7/043—Optical design with cylindrical surface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2107/00—Light sources with three-dimensionally disposed light-generating elements
    • F21Y2107/10—Light sources with three-dimensionally disposed light-generating elements on concave supports or substrates, e.g. on the inner side of bowl-shaped supports
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2113/00—Combination of light sources
    • F21Y2113/10—Combination of light sources of different colours
    • F21Y2113/13—Combination of light sources of different colours comprising an assembly of point-like light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to an appearance inspection device that determines a non-defective product and a defective product from the appearance of an object, an illumination device that illuminates the object, and a photographing illumination device that uses the illumination device.
  • an inspection process is provided after the manufacturing process of the manufacturing line, and inspections such as detection of defective products are performed.
  • inspection method there are an automatic inspection in which an inspection is automatically performed by a machine, a visual inspection (visual inspection) in which a person visually inspects, and the like.
  • visual inspection in which a person visually inspects, and the like.
  • visual inspections by human naval tactics, and various inspection devices have been developed to automate them.
  • an inspection object (object) is imaged under different optical conditions, a plurality of inspection images are acquired, and a plurality of inspection frequency images are created by Fourier transforming the acquired plurality of inspection images.
  • a defect inspection method is described in which a plurality of inspection frequency images created are processed as input signals by a neural network, and the quality of the inspection object is determined based on the output signals of the neural network.
  • Patent Document 2 captures an image of the surface of a subject (object), obtains color component information in a plurality of pixels included in the image, and in pixels included in an image of a metal surface measured in advance. Correspondence between the locus of the position on the color space based on the color component information and the thickness of the oxide film at the position where the color component information is obtained on the surface of the metal, and the position on the color space of the color component information , The thickness of the oxide film corresponding to the pixel is obtained, the specific feature amount for the thicknesses of the plurality of oxide films is obtained, and the specific feature amount is determined based on the pre-measured non-defective / defective product metal. There is described a metal surface quality evaluation method for evaluating whether a subject is a non-defective product or a defective product by comparing the feature amount with a non-defective product feature correspondence relationship obtained by machine learning.
  • Patent Document 3 describes a board inspection apparatus for inspecting the mounting state or soldering state of components mounted on a printed wiring board.
  • a ring-shaped upper illuminator that irradiates a monochromatic light onto the substrate surface from above via the upper diffusion plate, and a ring that irradiates the substrate surface with white light from an oblique side via the lower diffusion plate.
  • the lower illuminator and the upper illuminator and the lower illuminator are provided with a camera above the center of the axis, and the components are based on images taken by the camera when the upper illuminator and the lower illuminator are lit. The quality of the mounting state and soldering state is judged.
  • Patent Document 4 describes an appearance inspection device that detects the outer shape of a liquid crystal panel, and cracks and chips on the surface and end faces.
  • a CCD camera is arranged above the center of the upper, middle, and lower ring illumination lamps, and the center of these ring illumination lamps, and when each ring illumination lamp is turned on, shooting is performed with the CCD camera.
  • the surface light of the LCD panel is detected by the illumination light of the upper ring illumination lamp, and the edge and lower edge edges of the liquid crystal panel are detected by the illumination light of the intermediate ring illumination lamp and the lower ring illumination lamp. Yes.
  • a feature amount is obtained from a plurality of inspection frequency images obtained by processing an inspection image obtained by capturing an object by Fourier transform or affine transformation, or in color component information as in Patent Document 2. It is difficult to clearly define a feature quantity that can be used to determine whether the product is a good product or a defective product by using a method for obtaining a specific feature value for the thickness of the oxide film based on it. And there is a problem that it is not possible to determine a defect that does not appear as a predetermined feature amount.
  • printed circuit boards and liquid crystal panels that are subject to inspection in Patent Documents 3 and 4 are precision parts that are originally manufactured precisely, and are not easily damaged during the manufacturing process. It is possible to illuminate the scratch by simply illuminating the object. Further, in the case of a precision part, it can be determined relatively easily that it is a defective product if it is scratched regardless of the degree.
  • metal parts such as brake pad plates of automobiles may have various problems such as cracks, chips, scratches, cuts, and dents in the manufacturing process.
  • Such various problems cannot be accurately detected by the evaluation methods as in Patent Documents 1 and 2 and the illumination methods as in Patent Documents 3 and 4, and even if it is discovered that there is a problem, May not be defective.
  • the present invention has been made to solve such problems, and the object of the present invention is to accurately and efficiently inspect the visual inspection level after detecting various problems occurring in the object.
  • An object of the present invention is to provide an appearance inspection apparatus that can perform such a process. It is another object of the present invention to provide an illumination device that can illuminate various problems occurring in an object, and an imaging illumination device that can image various problems of the object illuminated by the illumination device.
  • an appearance inspection apparatus includes an image input unit to which an image including an object is input, and an image input to the image input unit on the object.
  • a color space processing unit that generates a color space processed image by performing color space processing that emphasizes the predetermined feature, and a determination unit that determines pass / fail of the object based on the color space processed image.
  • the color space processing unit generates a plurality of color space processed images having different wavelengths of the color space by the color space processing.
  • the determination unit performs the pass / fail determination of the object by a learned model obtained by machine learning of the pass / fail determination of the object based on the color space processed image.
  • the image processing apparatus further includes a preprocessing unit that positions the object and removes a background from the image input to the image input unit before the color space processing by the color space processing unit.
  • it has an imaging illumination unit that illuminates the object and captures an image to be output to the image input unit.
  • the imaging illumination unit includes a first light source that irradiates the object with surface light having coherency to the object, and a second light source that irradiates the object with light including direct light. And a photographing unit that photographs the object illuminated by the first light source and the second light source.
  • an illumination device is an illumination device that illuminates an object, has an inner surface capable of reflecting in a lens barrel, and the object is positioned on a central axis. And a first light source that emits a first light that is annularly disposed on the inner surface of the first cylinder and whose optical axis is the radial direction of the first cylinder.
  • a second cylindrical body that is disposed closer to the object than the first cylindrical body and has a cylindrical shape concentric with the first cylindrical body, and is annularly disposed on the inner surface of the second cylindrical body.
  • a second light source that emits second light having a wavelength shorter than that of the first light source with an optical axis directed toward the object, and causing the first light source to emit light. Irradiating the object as surface light having a coherent property by reflecting the light in the lens barrel by the first cylindrical body, By emit serial second light source irradiates the reflected light reflected by the direct light and the second cylindrical body of the second light to the object.
  • the first light source is white light and the second light source is blue light.
  • the first light source and the second light source sequentially emit light in the circumferential direction.
  • the first cylindrical body has an annular rib protruding toward the central axis at the edge far from the object and having a black inner surface.
  • the second cylindrical body has an annular rib projecting toward the central axis at the edge far from the object.
  • the photographing illumination device photographs the object that is arranged on the central axis of the above-described illumination device and the first cylindrical body and the second cylindrical body and is illuminated by the illumination device. And a photographing unit.
  • the photographing unit is a camera capable of acquiring image data in accordance with a sensitivity distribution of color sensitivity possessed by human eyes.
  • an appearance inspection apparatus includes the above-described photographing illumination device and a control unit that performs an inspection process on the object based on an image photographed by the photographing unit.
  • control unit performs color space processing on the image photographed by the photographing unit to inspect the object.
  • the imaging illumination device or a transport unit that relatively moves the object so that the object to be inspected can be imaged by the imaging unit.
  • the appearance inspection apparatus of the present invention using the above means it is possible to detect various defects occurring in the object and to perform the visual inspection level inspection accurately and quickly automatically.
  • the various malfunctions which arose in the target object can be illuminated.
  • the photographing illumination device of the present invention using the above means it is possible to photograph various problems of the object illuminated by the lighting device.
  • FIG. 1 is a block diagram showing the overall configuration of an appearance inspection apparatus according to an embodiment of the present invention.
  • the appearance inspection apparatus 1 mainly includes a photographing illumination device 2 that illuminates and photographs a product T (target object) to be inspected, and a predetermined pass / fail judgment based on the photographed image data. It is comprised from the control part 3 which performs an inspection process.
  • the configuration of the photographing illumination device 2 will be described later.
  • control unit 3 is a personal computer including a calculation unit 10 such as a CPU, a storage unit 11 such as a memory and a hard disk, an input unit 12 such as a keyboard and a mouse, and an output unit 13 such as a display. is there.
  • calculation unit 10 such as a CPU
  • storage unit 11 such as a memory and a hard disk
  • input unit 12 such as a keyboard and a mouse
  • output unit 13 such as a display. is there.
  • the calculation unit 10 includes a shooting control unit 21 (image input unit), a preprocessing unit 22, a color space processing unit 23, a defective portion designation unit 24, a learning unit 25, and a determination unit 26.
  • the quality determination of the product T is learned mainly by the imaging control unit 21, the preprocessing unit 22, the color space processing unit 23, the defective portion designation unit 24, and the learning unit 25, and the imaging control unit 21.
  • the pre-processing unit 22, the color space processing unit 23, and the determination unit 26 are configured to determine whether the product T is good or bad.
  • the photographing control unit 21 has a function of controlling the photographing of the product T by the photographing illumination device 2 and acquiring the photographed image data and sending it to the preprocessing unit 22.
  • the pre-processing unit 22 has a function of performing image processing of acquired image data as a pre-stage for performing learning and determination. For example, the preprocessing unit 22 recognizes the outer shape of the product T in the photographed image data, positions it at the same position as a predetermined reference image, and removes the background.
  • the color space processing unit 23 performs color space processing, specifically color space conversion (also referred to as color profile conversion or spectrum separation processing), on the image data subjected to positioning and background removal.
  • the color space processed image is generated.
  • the color space processed image corresponds to various defects that occur in the product T, and a color gamut corresponding to a wavelength range that causes optical interference is selectively synthesized according to the type of the defect. For example, in the case of a V-shaped groove flaw, a sharp change in contrast occurs at a blue wavelength. However, in the case of an image in which a false color component of a pseudo contour in a luminance change distribution appearing at the interface is emphasized, a dent, etc. An image that emphasizes the situation in which multi-colored patchy reflections occur due to different surface reflection characteristics in the uniformed contrast surface of the chromatic color, and the wavelength range corresponding to each defect is emphasized as described above. Indicated.
  • the image data before color space processing is not limited to the visible wavelength range, and the color space processing is performed by converting wrinkles caught in the ultraviolet region and infrared region into the visible color space region.
  • the image becomes a visible image.
  • the defective part designating unit 24 outputs each color space processed image generated by the color space processing unit 23 to the output unit 13, and the operator designates the defective part in the image via the input unit 12. And a function of generating defective product teacher data. At this time, for example, a rectangular grid area is designated on each color space processed image, and a defective portion is designated in units of grids. Note that the color space processed image in which the defective portion is not designated becomes non-defective teacher data.
  • Defective product teacher data and non-defective product teacher data generated by the defective part designating unit 24 are stored in the storage unit 11.
  • the defective product teacher data and the good product teacher data may be prepared separately from the control unit 3.
  • the learning unit 25 learns pass / fail judgment of the product T by machine learning (so-called deep learning) based on the defective product teacher data and the good product teacher data generated by the defective part specifying unit 24 and stored in the storage unit 11. It has a function to generate a learned model. The generated learned model is stored in the storage unit 31.
  • the determination unit 26 determines that the product T copied to the image is a non-defective product for a new color space processed image input from the color space processing unit 23. Or a defective product, and outputs the result to the output unit 13.
  • FIG. 2 is an overall configuration diagram of the photographing illumination device
  • FIG. 3 is an exploded view of the photographing illumination device
  • FIG. 4 is a longitudinal sectional view thereof. The configuration of the photographing illumination device will be described based on these drawings.
  • a photographing illumination device 2 (imaging illumination unit) is arranged on a belt conveyor 4 (conveyance unit) on which a product T to be inspected is conveyed.
  • the product T in the present embodiment is a metal part such as a plate of a brake pad of an automobile, for example.
  • the appearance inspection apparatus 1 is provided in the form of a final product T processed from a metal plate in the manufacturing process. It will be transported.
  • the photographing illumination device 2 has an external shape in which a hexagonal cylindrical cover 11 is erected on a chamber box 30 that is a rectangular parallelepiped.
  • the cover 31 can be divided into a pair of left and right (31a, 31b), and a hexagonal top plate 32 is provided at the upper opening of the cover 31 so as to close the upper opening.
  • a hexagonal intermediate plate 33 is also provided below the top plate 32. Hexagonal cylindrical ribs 32 a and 33 a projecting downward are formed on the periphery of the top plate 32 and the intermediate plate 33, and a circular hole 33 b is formed in the center of the intermediate plate 33.
  • a camera 34 (photographing unit) is provided in the space between the top plate 32 and the intermediate plate 33.
  • the camera 34 can take a picture of the lower part in the vertical direction from the lens part 34 a through the circular hole 33 b of the intermediate plate 33.
  • the camera 34 has a large sensor with a diagonal size of 1 inch or more, has no hot spot, has a resolution of 10 bits or more and a resolution of 20 million pixels or more, and matches the color sensitivity distribution of the human eye. It is a digital camera that can acquire image data, that is, image data equivalent to the color-sensitive layer of the human eye.
  • the data format of the image data is not particularly limited, and may be RAW data, JPEG data, or the like.
  • the camera 34 has a structure in which various movable parts can be fixed so that no physical operation is performed during imaging after setting various movable parts such as a shutter and a focus when the camera 34 is installed in the photographing illumination device 2. is doing.
  • a first cylindrical body 35 is disposed below the intermediate plate 33.
  • the first cylindrical body 35 is a cylinder having a vertical direction as a photographing direction as a central axis O, and has a silver surface whose inner surface reflects light and can be reflected in a lens barrel.
  • the diameter of the first cylindrical body 35 is at least larger than that of the product T, and is preferably 2 to 2.5 times the length of the product T in the longitudinal direction.
  • the length of the first cylindrical body 35 in the central axis direction (cylinder length) is preferably 2/3 to 1/3 of the diameter.
  • annular rib 35 a protruding toward the central axis O is formed on the edge of the first cylindrical body 35 on the camera side (the side far from the object).
  • the inner surface side of the rib 35a is black so as to suppress light reflection.
  • a second cylindrical body 36 is disposed with a predetermined distance from the first cylindrical body 35.
  • the distance between the first cylindrical body 35 and the second cylindrical body 36 is preferably in a range from the diameter of the first cylindrical body 35 to 1/3 of the diameter, and in particular, from 2/3 to 1 / diameter of the diameter. 3 is preferred.
  • the second cylindrical body 36 is a cylinder that is concentric with the same diameter as the first cylindrical body 35, and the length of the cylinder is shorter than that of the first cylindrical body 35.
  • the length of the second cylindrical body 36 in the central axis direction is preferably 2/10 to 1/10 of the diameter.
  • the diameter of the second cylindrical body 36 needs to be larger than that of the product T, but may be smaller than the diameter of the first cylindrical body 35. Further, the second cylindrical body 36 is disposed from the product T at an interval of 15% to 20% of the diameter of the second cylindrical body 36.
  • annular rib 36a protruding toward the central axis is formed at the edge of the second cylindrical body 36 on the camera side (the side far from the object).
  • the inner surface of the second cylindrical body 36 including the rib 36a is a silver surface.
  • the upper and lower openings of the first cylindrical body 35 and the second cylindrical body 36 have a size that does not enter at least the angle of view of the camera 34.
  • a first light source 37 is disposed on the inner surface of the first cylindrical body 35, and a second light source 38 is disposed on the second cylindrical body 36 in an annular shape. .
  • the 1st light source 37 and the 2nd light source 38 are arrange
  • the first light source 37 and the second light source 38 are each formed by continuously arranging LEDs along the inner surface of the cylindrical body.
  • the first light source 37 is an LED that emits white light (first light)
  • the second light source 38 is an LED that emits blue light (second light) having a shorter wavelength than the first light source.
  • the wavelength of white light from the first light source 37 is in the visible light range, that is, the entire range of 400 to 700 nanometers or the white light range in the RGB emission line, and the wavelength of blue light from the second light source 38. Is preferably a narrow wavelength of 260 to 450 nanometers.
  • the light source energy of the second light source 38 is smaller than that of the first light source 37, and preferably 3/4 to 1/4.
  • the first light source 37 and the second light source 38 are configured by LEDs.
  • the light source is not limited to this as long as it is a light source that emits light having directivity. It may be.
  • the wavelength range can also select the wavelength which reaches an ultraviolet-ray and infrared region.
  • the optical axis of white light emitted from each LED of the first light source 37 is installed so as to face the direction perpendicular to the central axis O of the first cylindrical body 35, that is, in the radial direction.
  • the optical axis of the blue light emitted from each LED of the second light source 38 is installed so as to face downward where the product T is located.
  • FIG. 5 is a plan view showing the light emission sequence of the first light source 37.
  • the first light source 37 is equally divided into three in the circumferential direction.
  • the ranges 37a, 37b, and 37c are divided into a plurality of (in this embodiment, n pieces in each range) LEDs 37a 1 to 37a n , 37b 1 to 37b n , and 37c 1 to 37c n. ing.
  • the first light source 37 emits light once, and in each of these three ranges 37a, 37b, and 37c, the LEDs 37a 1 , 37b 1 , and 37c 1 at one end to the LEDs 37a n , 37b n , and 37c n at the other end.
  • Emission time of the first light source 37 i.e. each range 37a, 37b, the LEDs 37a 1 at one end of the 37c, 37b 1, the emission of 37c 1 to LEDs 37a n of the other end, 37b n, of emitting 37c n ends
  • the time is set to a time at which the product T conveyed by the belt conveyor 4 can be photographed.
  • the transport speed of the product T is 7 m / min, while the light emission time of the first light source 37 is 1/1000 second.
  • the second light source 38 is also divided into three similarly to the first light source 37, and sequentially emits light in synchronization with the first light source 37.
  • the second cylindrical body 36 is provided in an opening 30 a that is opened in a substantially circular shape on the upper surface of the chamber box 30.
  • a rectangular bottom window 30b is formed on the bottom surface of the chamber box 30, and the product T flows under the bottom window 30b.
  • the imaging illumination device 2 configured as described above is covered with the chamber box 30 and the cover 31 so that the inside is in a semi-dark room state.
  • the photographing control unit 21 of the control unit 3 described above is electrically connected to the camera 34, the first light source 37, and the second light source 38 of the photographing illumination device 2.
  • the photographing control unit 21 is also connected to a product detection sensor 39 that detects the timing when the product T passes through the bottom window 10b.
  • the appearance inspection apparatus 1 configured in this manner causes the first light source 37 and the second light source 38 to emit light at the timing when the product T is positioned directly below the bottom window 10b by the imaging control unit 21 of the control unit 3. The appearance of the product T is photographed by the camera 34.
  • FIG. 6 there is shown a sequence diagram relating to light emission of the first light source 37 and the second light source 38 and photographing of the product T by the camera 34.
  • the imaging control unit 21 of the control unit 3 detects that the product T1 enters the bottom window 30b by the product detection sensor 39 (time t1)
  • the product T1 passes over the central axis O.
  • the light emission of the first light source 37 and the second light source 38 is started at the timing (time t2).
  • n LEDs sequentially emit light from one end to the other end in each of the three ranges 37a to 37c and 38a to 38c. Images taken during the light emission periods 37 (time t2 to t3) of 37 and the second light source 38 are acquired as images of the product T. In FIG. 6, the time interval between times t2 and t3 is enlarged for easy understanding.
  • the photographing of one product T is finished (t5), and the first light source 37 and the second light source are similarly applied to the product T that is subsequently conveyed.
  • Shooting by the camera 34 accompanying the light emission of 38 is performed. That is, the camera 34 is fixed in a state where the physical shutter is opened, and the first light source 37 and the first light source 37 and the first light source 37 are set against the field of view (bottom window 30b) set dark by the chamber box 30 which is a dark box.
  • the light emission of the second light source 38 plays a role of a substantial shutter to perform photographing.
  • FIG. 7 there is shown an explanatory diagram showing optical paths of white light L1 (dotted line) emitted from the first light source 37 and blue light L2 (solid line) emitted from the second light source 38.
  • white light L1 dotted line
  • blue light L2 solid line
  • the first light source 37 is installed so that the optical axis thereof is oriented in the radial direction of the first cylindrical body 35, and the inner peripheral surface of the first cylindrical body 35 is a silver surface.
  • coherent surface light most of the white light L1 is repeatedly reflected in the lens barrel in the first cylindrical body 35 and becomes coherent surface light (hereinafter referred to as coherent surface light) and strikes the product T.
  • coherent surface light the light directed in the radial direction composed of the majority of the white light L1 becomes coherent surface light composed of a bundle of light beams that have been repeatedly reflected in the lens barrel, and this strikes the surface of the product T with a higher degree of dispersion than direct light. It will be.
  • the camera 34 is preferably at an angle of view and a position where at least the white light L1 hits the product T and is reflected, that is, directly reflected light from the first light source 37 does not enter the image.
  • the second light source 38 since the second light source 38 is installed so that the optical axis faces the direction of the product T, most of the blue light L2 directly hits the surface of the product T when the second light source 38 emits light. In addition, part of the blue light L2 is reflected once or several times on the rib 36a and the inner peripheral surface because the inner surface of the second cylindrical body 36 including the rib 36a is a silver surface. Hit T. Since the second light source 38 is located closer to the product T than the first light source 37, even if the blue light L2 is direct light, the central axis O (perpendicular to the surface of the product T is more than the direct light of the white light L1. ) Will hit the product T at a large angle.
  • the white light L ⁇ b> 1 mainly emitted from the first light source 37 in the radial direction is repeatedly reflected in the lens barrel by the first cylindrical body 35, thereby being generated by the diffusion plate.
  • Surface light having coherency different from the scattered light is generated, and the product T is irradiated with the coherent surface light.
  • the blue light L2 which is direct light or light reflected by the second cylindrical body 36 one or several times from the second light source 38 close to the product T is more directed to the central axis O than the direct light of the white light L1. Can be applied to product T at a large angle.
  • the product T illuminated with such white light L1 and blue light L2 changes the illumination hue on the slopes and vertical surfaces of the uneven portions, the product T is cracked, chipped, scratched, cut, and dents. It can illuminate various problems such as. Then, by capturing this with the camera 34, it is possible to capture an image that can be separated with these defects as hue differences.
  • the light emitted from the first light source 37 is the white light L1
  • the light emitted from the second light source 38 is the blue light L2 having a shorter wavelength than the white light L1, so that the light can be viewed with the white light L1.
  • the product T can be illuminated in the maximum range, and the deposition resolution of scratches and the like can be set high by the blue light L2, so that more types of scratches can be separated more finely in the product T.
  • first light source 37 and the second light source 38 emit light sequentially in the range divided into three, each range does not emit light directly, and resolution degradation due to facing light, generation of flare and ghost, image degradation due to light diffraction Can be prevented, and scratches on the product T can be more clearly illuminated.
  • the first cylindrical body 35 has the black rib 35a on the inner surface, the white light L1 directed toward the camera 34 can be suppressed, and the coherent surface light directed toward the product T can be generated more efficiently. it can.
  • the blue light L2 can be evenly irradiated to the center of the product T.
  • the white light L1 and the blue light L2 reflected by the surface of the product T are photographed by being received by the image element 34b through the lens portion 34a of the camera 34.
  • the camera 34 can fix various movable parts at the time of photographing, photograph the product T by light emission of the first light source 37 and the second light source 38, and acquire image data that matches the sensitivity distribution of the color sensitivity of the human eye. As a result, visual inspection level image data can be obtained.
  • visual inspection level inspection can be performed by performing inspection processing based on the image data photographed as described above.
  • various defects can be detected more accurately by performing color space processing on the acquired image data and detecting defects on the surface of the product T.
  • the appearance inspection apparatus 1 can take an image of the product T in a short time during which the first light source 17 and the second light source 18 emit light and perform inspection processing based on the image data, The inspection can be performed without stopping the belt conveyor 4. Thereby, the work efficiency of inspection can be improved.
  • FIG. 8 shows a flowchart showing a learning routine by the control unit 3
  • FIG. 9 shows an explanatory diagram showing transition of image data in FIG. A learning procedure for determining whether the product T is good or bad by the control unit 3 will be described with reference to the flowchart of FIG.
  • step S1 in FIG. 8 the photographing control unit 21 of the control unit 3 photographs the product T by the photographing illumination device 2, and acquires image data.
  • step S2 the preprocessing unit 22 of the control unit 3 recognizes the outer shape of the product T in the captured image data, positions the product T at approximately the same position as a predetermined reference image, and removes the background.
  • step S3 the color space processing unit 23 of the control unit 3 performs color space processing on the image data to generate a plurality of color space processed images.
  • step S4 the defective part designation unit 24 of the control unit 3 outputs the color space processed image to the output unit 13, and if there is a defective part in the image, the operator designates the defective part in units of grids, Defective product teacher data is generated based on the grid including the defective part. On the other hand, the color space processed image in which the defective portion is not designated becomes non-defective teacher data.
  • the defective product teacher data and the non-defective product teacher data generated here are stored in the storage unit 11.
  • step S5 the learning unit 25 of the control unit 3 learns pass / fail judgment of the product T by machine learning based on the defective product teacher data and non-defective product teacher data generated by the defective location specifying unit 24 and stored in the storage unit 11. To generate a trained model.
  • the step S5 is preferably performed after a certain number of defective product teacher data and non-defective product teacher data are accumulated in the storage unit 11, but one defective product teacher data or non-defective product teacher data is generated. Each time it is done, learning in step S5 may be performed.
  • the image P1 in FIG. 9 is image data photographed by the photographing illumination device 2.
  • the position and orientation of the product T are not necessarily fixed at the stage of being photographed by the photographing illumination device 2, and are in a biased position in the image, or the orientation is inclined with respect to the image frame. There is a case.
  • the pre-processing unit 22 performs positioning so that the product T is positioned at the center of the image and has the correct orientation as shown in the image P2 following the reference image (step S2). Further, the preprocessing unit 22 removes a background portion of the product T as indicated by hatching in the image P3 (step S2).
  • FIG. 9 shows three types of color space processed images from the first color space processed image P4a to the third color space processed image P4c.
  • defects such as scratches and dents are emphasized and displayed according to the selected wavelength.
  • a V-shape is displayed in the first color space processed image P4a.
  • Groove marks S1 are emphasized in the third color space processed image P4c.
  • the defective portion designation unit 24 outputs the color space processed images P4a, P4b, and P4c to the output unit 13, and the operator designates them via the input unit 12.
  • the defective part is extracted in units of grids (step S4).
  • the first to third grids G1 to G3 designate the V-shaped groove S1 from one end to the other end.
  • the fourth grid G4 to the sixth grid G6 are designated so that the entire area of the dent S2 is included.
  • the grids G1 to G6 shown in FIG. 9 designated in this way are stored in the storage unit 11 as defective product teacher data (step S4).
  • the defects highlighted in the color space processed image are accumulated as defective product teacher data in units of grids and used for opportunity learning in the learning unit 25 (step S5).
  • FIG. 9 three color space processed images and six grids indicating defective portions are shown.
  • the number of color space processed images generated by the color space processing is not limited to this.
  • the number is not limited to this.
  • the range indicating the defective portion is not limited to the grid, and may be specified by another shape such as a circle, or may have another range specifying means.
  • FIG. 10 a flowchart showing a determination routine by the control unit 3 is shown, and the quality determination procedure of the product T will be described below based on the flowchart.
  • Steps S11 to S13 in FIG. 10 are substantially the same processing as steps S1 to S3 in FIG. 8 described above, and after photographing is performed by the photographing illumination device 2 (S11), the image data is positioned and the background is removed. (S12), converted into a color space processed image (S13).
  • step S14 the determination unit 26 of the control unit 3 uses the learned determination model to determine whether the product T copied to the input color space processed image is a non-defective product or a defective product. Is output to the output unit 13.
  • the appearance inspection apparatus 1 acquires an image photographed by the photographing illumination apparatus 2 in the control unit 3 and generates a color space processed image in which defects on the product T are emphasized. Thus, it is possible to accurately and efficiently inspect the product T at the visual inspection level.
  • the color space processing unit 23 by generating a plurality of color space processed images with different wavelengths in the color space, various defects such as scratches and dents according to each wavelength can be emphasized. Various defects can be detected by referring to the spatially processed image and viewing the product T from various angles by visual inspection.
  • the determination unit 26 performs the quality determination of the product T based on the learned model obtained by machine learning of the quality determination of the product T based on the color space processing image, thereby performing an accurate and efficient inspection without using human sea tactics. It can be carried out.
  • the pre-processing unit 22 By positioning the product T in the image by the pre-processing unit 22, it is possible to achieve consistency in the positional relationship with the product T of another image, and only the information on the product T can be obtained by removing the background. Can be extracted.
  • Such pre-processing improves learning efficiency and learning accuracy in the learning unit 25, and the determination unit 26 can perform more accurate and efficient determination.
  • the first light source 17 that irradiates the above-described coherent surface light, the second light source 18 that irradiates the product T with light including direct light, and the camera 14 that captures an object illuminated by these light sources are provided.
  • the photographing illumination device 2 having, it is possible to obtain image data that can separate various defects as hue differences.
  • various color space images can be clearly generated, and the inspection accuracy can be further improved.
  • the appearance inspection apparatus 1 According to the present embodiment, various defects occurring in the product T can be detected, and the inspection at the visual inspection level can be performed accurately and efficiently.
  • the product T to be inspected is a brake pad plate, but the object to be inspected is not limited to this, and various products can be applied as the object.
  • the quality determination based on defects such as scratches and dents is performed as the inspection, but the inspection content is not limited to the quality determination, and a predetermined feature on the object is obtained by color space processing. Any test that emphasizes and determines can be applied to other tests.
  • the determination part 26 using the learned model which machine-learned the quality determination of the product T based on the color space process image is performed, the determination part 26 is not restricted to this. Absent.
  • the color space processed image may be output to the output unit, and the operator may determine whether or not the product is good or bad based on the color space processed image via the input unit.
  • the color space processed image makes it possible to accurately and easily determine the pass / fail of the worker and improve the inspection efficiency. Can do.
  • control part 3 performs the test
  • the image data which the control part 3 uses for an inspection process Is not necessarily limited to the image data photographed by the photographing illumination device of the above-described embodiment, and inspection processing can be performed from image data photographed by another device.
  • the photographing illumination device 2 is not limited to the image data provided to the control unit of the above embodiment, and the image data can be provided to other devices.
  • the rib 35a is formed at the upper end of the first cylindrical body 35 of the above embodiment, this rib may be omitted to form a complete cylinder.
  • FIG. 11 shows an exploded view of a photographing illumination device provided with a reflection plate as a modification of the above embodiment. Has been.
  • the same components as those in the above embodiment other than the reflector 40 are denoted by the same reference numerals, and description thereof is omitted.
  • a reflection plate 40 is attached to the upper end opening of the first cylindrical body 35.
  • the reflecting plate 40 is a disc having the same diameter as the first cylindrical body 35, and a hole 40 a larger than at least the angle of view of the camera 34 is formed in the center.
  • the surface (lower surface) of the reflecting plate 40 on the first cylindrical body 35 side is a silver surface capable of reflecting light.
  • the inner surface of the rib 35a of the first cylindrical body 35 is also a silver surface.
  • the reflector 40 when the reflector 40 is provided at the upper end opening of the first cylindrical body 35, a part of the white light L1 directed upward from the first light source 37 is reflected and directed downward. Therefore, the light quantity of the coherent surface light generated by the first cylindrical body 35 due to the in-cylinder reflection increases, and hits the product T as stronger light.
  • the center side of the product T can be illuminated more brightly than in the above embodiment.
  • fine scratches that do not need to be detected can be made inconspicuous.
  • the amount of light can be suppressed by forming the inner surface black rib 35a in the upper end opening of the first cylindrical body 35 as in the above-described embodiment, or the reflector 40 can be provided as in the above-described modification.
  • the amount of light can be increased. That is, a light amount adjusting unit such as the rib 35a or the reflecting plate 40 is formed in the upper end opening of the first cylindrical body 35 according to the type of inspection target, the state of the inspection target surface, the type of scratch to be detected, and the like.
  • the amount of coherent surface light can be adjusted with.
  • the reflecting plate 40 is a different body from the 1st cylinder 35, it is good also as a 1st cylinder provided with the reflecting plate integrally instead of the rib.
  • the 1st light source 17 and the 2nd light source 18 are the structures divided
  • the number of divisions may be other or may not be divided.
  • the number of divisions in which there is no direct light source range such as three divisions or six divisions is preferable.
  • the photographing illumination device 2 is provided on the belt conveyor 4 and the product T to be inspected is moved with respect to the photographing illumination device 2, but the inspection that is difficult to move is performed.
  • the photographing illumination device may be moved with respect to the target.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

外観検査装置（１）は、撮影照明装置（２）により製品Ｔを撮影し、制御部（３）において、撮影制御部（２１）にて画像を取得し、前処理部（２２）にて製品（Ｔ）の位置決め及び背景除去を行い、色空間処理部（２３）により製品（Ｔ）の傷や打痕等の不具合が強調される色空間処理を行うことで色空間処理画像を生成し、判定部（４５）にて、色空間処理画像に基づき製品（Ｔ）の良否判定を機械学習した学習済みモデルを用いて、製品（Ｔ）の良否判定を行う。

Description

外観検査装置、照明装置、撮影照明装置
　本発明は、対象物の外観から良品と不良品を判定する外観検査装置、対象物を照明する照明装置、及びその照明装置を用いた撮影照明装置に関する。
　一般的に工業製品において、その製造ラインの製造工程後に検査工程を設けて不良品の検出等の検査が行われている。検査の手法としては、機械により自動的に検査を行う自動検査、人が目視により検査を行う目視検査（外観検査）等がある。しかし、未だに人海戦術による目視検査が多く行われており、それに対して自動化を図るべく種々の検査装置が開発されている。
　例えば、特許文献１には、被検査物（対象物）を異なる光学条件で撮像し複数の検査画像を取得し、取得した複数の検査画像を各々フーリエ変換して複数の検査周波数画像を作成し、作成された複数の検査周波数画像を入力信号としてニューラルネットワークに処理をさせ、ニューラルネットワークの出力信号に基づき被検査物の良否を判定する欠陥検査方法が記載されている。
　また、特許文献２には、被検体（対象物）の表面の画像を撮像し、画像に含まれる複数の画素における色成分情報を求め、予め測定された金属の表面の画像に含まれる画素における色成分情報による色空間上での位置の軌跡、及び、金属の表面における色成分情報を求めた位置での酸化被膜の厚さ、の対応関係と、色成分情報の色空間上での位置と、を比較して、画素に対応する酸化被膜の厚さを求め、複数の酸化被膜の厚さに対する特定特徴量を求め、この特定特徴量を、予め測定された良品／不良品となる金属の特徴量を機械学習した良品特徴量対応関係と比較して、被検体が良品か不良品かを評価する金属の表面品質評価方法が記載されている。
　さらに、特許文献３には、プリント配線基板上に実装された部品の実装状態又は半田付け状態を検査する基板検査装置が記載されている。当該特許文献３では、上側拡散板を介して基板面に上方から単色光を照射するリング状の上側照明具と、下側拡散板を介して基板面に斜め側方から白色光を照射するリング状の下側照明具と、上側照明具及び下側照明具の軸中心上方にカメラを設け、上側照明具及び下側照明具の点灯しているときにカメラにより撮影した画像に基づいて部品の実装状態や半田付け状態等の良否を判定している。
　また、特許文献４には、液晶パネルの外形形状、表面及び端面の割れ、欠けを検出する外観検査装置が記載されている。当該特許文献４では、上部・中間・下部リング照明灯と、これらのリング照明灯の軸中心上方にＣＣＤカメラを配置して、各リング照明灯を点灯させたときにＣＣＤカメラで撮影を行うことで、上部リング照明灯の照明光により液晶パネルの表面の傷、欠け、割れを、中間リング照明灯と下部リング照明灯の照明光により液晶パネルの端面及び下端縁の欠け、割れを検出している。
特開２００４－１９１１１２号公報 特開２０１１－１９１２５２号公報 実用新案登録第３１４０４６２号公報 特開２００３－２４７９５３号公報
　しかしながら、上記特許文献１のように、対象物を撮像した検査画像をフーリエ変換やアフィン変換により処理した複数の検査周波数画像から特徴量を出したり、上記特許文献２のように、色成分情報に基づく酸化被膜の厚さに対する特定特徴量を出したりする方法は、良品と不良品とを判断できる特徴量を明確に定義するのが困難である。そして、予め定めた特徴量として現れない不具合を判定することはできないという問題がある。
　また、上記特許文献３、４が検査対象としているようなプリント基板や液晶パネルは、元々精密に製造される精密部品であり、製造過程において傷が生じにくく、特許文献３、４のように単純に対象物を照明するだけでも傷を照らし出することが可能である。さらに、精密部品の場合は、その程度に関わらず傷が生じていれば不良品であると比較的容易に判定できる。
　しかしながら、例えば自動車のブレーキパッドのプレートのような金属部品は、製造過程において割れ（クラック）、欠け、擦り傷、切り傷、打痕等、様々な不具合がある程度生じる可能性がある。そのような様々な不具合は上記特許文献１、２のような評価方法、特許文献３、４のような照明方法では正確に検出できず、不具合があることが発見できたとしても不具合の程度によっては不良品でない場合もある。
　このような製品に対して、様々な不具合を検出し確実に不良品を判定することは難しく、さらに製造ラインで連続的に流れてくる製品を止めることなく検査することは、非常に困難である。
　そのため、現状は目視検査により人が一つ一つの製品を検査しているが、人による検査ではその人の経験に依存する部分が大きく検査精度にバラツキが生じ、作業効率も悪いという問題がある。
　本発明はこのような問題点を解決するためになされたもので、その目的とするところは、対象物に生じた様々な不具合を検出した上で目視検査レベルの検査を正確且つ効率的に行うことのできる外観検査装置を提供することにある。また、対象物に生じた様々な不具合を照らし出すことのできる照明装置、当該照明装置により照らし出された対象物の様々な不具合を撮影することのできる撮影照明装置を提供することにある。
　上記した目的を達成するために、本発明に係る外観検査装置は、対象物の含まれた画像が入力される画像入力部と、前記画像入力部に入力された画像に対し、前記対象物上の所定の特徴が強調される色空間処理を行うことで色空間処理画像を生成する色空間処理部と、前記色空間処理画像に基づき前記対象物の良否判定を行う判定部と、を備える。
　好ましくは、前記色空間処理部は、前記色空間処理により前記色空間の波長が異なる複数の前記色空間処理画像を生成する。
　また、好ましくは、前記判定部は、前記色空間処理画像に基づき前記対象物の良否判定を機械学習した学習済みモデルにより、前記対象物の良否判定を行う。
　また、好ましくは、前記色空間処理部による前記色空間処理前に、前記画像入力部に入力された画像に対して、前記対象物の位置決め及び背景除去を行う前処理部を有する。
　また、好ましくは、前記対象物を照明し、前記画像入力部へ出力する画像を撮影する撮影照明部を有する。
　さらに好ましくは、前記撮影照明部は、前記対象物に対しコヒーレント性を有する面光を前記対象物に照射する第１の光源と、直接光を含む光を前記対象物に照射する第２の光源と、前記第１の光源及び第２の光源により照明された前記対象物を撮影する撮影部とを有する。
　また、上記した目的を達成するために、本発明に係る照明装置は、対象物を照明する照明装置であって、鏡筒内反射可能な内面を有し、中心軸線上に前記対象物が位置するよう配置される第１の円筒体と、前記第１の円筒体の内面に環状に配置され、光軸が第１の円筒体の径方向である第１の光を発する第１の光源と、前記第１の円筒体よりも前記対象物側に配置され、前記第１の円筒体と同心の円筒形状をなす第２の円筒体と、前記第２の円筒体の内面に環状に配置され、光軸が前記対象物に向き前記第１の光源よりも短い波長の第２の光を発する第２の光源と、を備え、前記第１の光源を発光させることで、前記第１の光を前記第１の円筒体により鏡筒内反射させてコヒーレント性を有する面光として前記対象物に照射するとともに、前記第２の光源を発光させることで、前記第２の光の直接光及び第２の円筒体にて反射した反射光を前記対象物に照射する。
　好ましくは、前記第１の光源は白色光であり、第２の光源は青色光である。
　また、好ましくは、前記第１の光源及び第２の光源は円周方向に順次発光する。
　また、好ましくは、前記第１の円筒体は、前記対象物から遠い側の縁に中心軸側に突出し内面が黒色である円環状のリブを有している。
　また、好ましくは、前記第２の円筒体は、前記対象物から遠い側の縁に中心軸側に突出した円環状のリブを有している。
　さらに、本発明に係る撮影照明装置は、上述の照明装置と、前記第１の円筒体及び前記第２の円筒体の中心軸線上に配置され、前記照明装置により照明された前記対象物を撮影する撮影部と、を備える。
　好ましくは、前記撮影部は、人の目が持つ色感度の感度分布に合わせた画像データを取得可能なカメラである。
　さらに、本発明に係る外観検査装置は、上述の撮影照明装置と、前記撮影部により撮影された画像に基づき前記対象物の検査処理を行う制御部と、を備える。
　好ましくは、前記制御部は、前記撮影部により撮影された画像に対して色空間処理を行い前記対象物の検査処理を行う。
　また、好ましくは、検査対象である前記対象物を前記撮影部により撮影可能に前記撮影照明装置又は前記対象物を相対的に移動させる運搬部を備える。
　上記手段を用いる本発明の外観検査装置によれば、対象物に生じた様々な不具合を検出し、目視検査レベルの検査を正確且つ素早く自動的に行うことができる。また、上記手段を用いる本発明の照明装置によれば、対象物に生じた様々な不具合を照らし出すことができる。さらに、上記手段を用いる本発明の撮影照明装置によれば、照明装置により照らし出された対象物の様々な不具合を撮影することができる。
発明の一実施形態に係る外観検査装置の全体構成を示すブロック図である。 撮影照明装置の一部を切り欠いた構成図である。 撮影照明装置の分解図である。 撮影照明装置の縦断面図である。 第１の光源の発光順序を示した平面図である。 第１の光源及び第２の光源の発光とカメラによる製品の撮影に関するシーケンス図である。 第１の光源及び第２の光源それぞれの光路を示した説明図である。 制御部により実行される学習ルーチンを示すフローチャートである。 学習時における画像データの遷移を示す説明図である。 制御部により実行される判定ルーチンを示すフローチャートである。 変形例に係る撮影照明装置の分解図である。
　以下、本発明の実施形態を図面に基づき説明する。
　図１は本発明の一実施形態に係る外観検査装置の全体構成を示すブロック図である。
　図１に示すように、外観検査装置１は、主に、検査対象である製品Ｔ（対象物）を照明し撮影する撮影照明装置２と、その撮影した画像データに基づき良否判定等の所定の検査処理を行う制御部３から構成されている。撮影照明装置２の構成については後述する。
　図１に示すように、制御部３は、ＣＰＵ等の演算部１０、メモリ、ハードディスク等の記憶部１１、キーボードやマウス等の入力部１２、ディスプレイ等の出力部１３、を備えたパーソナルコンピュータである。
　演算部１０においては、記憶部１１に記憶された検査用のプログラムに従って実行される各処理機能を、各ブロックとして示している。詳しくは、演算部１０は、撮影制御部２１（画像入力部）、前処理部２２、色空間処理部２３、不良箇所指定部２４、学習部２５、判定部２６を有している。演算部１０では、主に撮影制御部２１、前処理部２２、色空間処理部２３、不良箇所指定部２４、及び学習部２５により、製品Ｔの良否判定の学習が行われ、撮影制御部２１、前処理部２２、色空間処理部２３、及び判定部２６により、製品Ｔの良否判定が行われるよう構成されている。
　撮影制御部２１は、撮影照明装置２による製品Ｔの撮影を制御するとともに、撮影された画像データを取得して前処理部２２に送る機能を有している。
　前処理部２２は、学習及び判定を行う前段階として、取得した画像データの画像処理を行う機能を有している。例えば前処理部２２は、撮影された画像データ内の製品Ｔの外形を認識し、予め定められた基準画像と略同位置に位置決めし、背景を除去する。
　色空間処理部２３は、位置決め及び背景除去された画像データに対して色空間処理、具体的には色空間変換（カラープロファイル変換又はスペクトル分版処理ともいう）を行い、一枚の画像から複数の色空間処理画像を生成する。色空間処理画像は、製品Ｔに生じる種々の不具合に対応し、不具合の種類に応じて光干渉を生じる波長域に該当する色域が選択合成される。例えばＶ字溝傷の場合、青色の波長におけるコントラストの急激な変化が発生するが、その界面に出現する輝度変化分布における疑似輪郭の偽色成分を強調した画像や、打痕等の場合、無彩色の均一化コントラスト面の中に面反射特性が異なることで多色相の斑状攪乱反射が発生する状況を強調した画像が生成され、以上のようにそれぞれの不具合に応じた波長域が強調されて示される。
　また、特にこの色空間処理前の画像データは可視波長の範囲に限られておらず、紫外域や赤外域により捉えられた瑕疵等についても可視領域の色空間領域に変換することで色空間処理画像は可視画像となる。
　不良箇所指定部２４は、色空間処理部２３にて生成された各色空間処理画像を出力部１３に出力し、作業者が入力部１２を介して画像中の不良箇所を指定していくことで、不良品教師データを生成する機能を有する。このとき、各色空間処理画像上では、例えば矩形のグリッド状の領域が指定され、グリッド単位で不良箇所が指定される。なお、不良箇所が指定されなかった色空間処理画像は、良品教師データとなる。
　この不良箇所指定部２４にて生成された不良品教師データ及び良品教師データは記憶部１１に記憶される。なお、不良品教師データ及び良品教師データは制御部３とは別に準備してもよい。
　学習部２５は、不良箇所指定部２４にて生成され記憶部１１に記憶された不良品教師データ及び良品教師データに基づき、機械学習（いわゆるディープラーニング）により製品Ｔの良否判定を学習して、学習済みモデルを生成する機能を有している。生成された学習済みモデルは記憶部３１に記憶される。
　判定部２６は、学習部２５により生成され記憶部１１に記憶された学習済みモデルに基づき、色空間処理部２３から入力される新たな色空間処理画像について、画像に写し出された製品Ｔが良品であるか不良品であるかの判定を行い、その結果を出力部１３に出力する機能を有している。
　続いて、撮影照明装置２の構成について説明する。
　図２は撮影照明装置の全体構成図であり、図３は撮影照明装置の分解図、図４はその縦断面図であり、これらの図に基づき撮影照明装置の構成について説明する。
　図２に示すように、検査対象である製品Ｔが運搬されるベルトコンベア４（運搬部）上に撮影照明装置２（撮影照明部）が配置されている。
　本実施形態における製品Ｔは例えば自動車のブレーキパッドのプレート等の金属部品であり、製造工程にて金属板から加工され最終的な製品Ｔの形で当該外観検査装置１が設けられた検査工程に運搬されてくる。
　撮影照明装置２は、直方体であるチャンバボックス３０上に六角筒状のカバー１１が立設した外観形状を成している。カバー３１は左右一対（３１ａ、３１ｂ）に分割可能であり、カバー３１の上開口部には、当該上開口部を塞ぐよう六角形状の天板３２が設けられている。
　天板３２の下方には同じく六角形状の中間プレート３３が設けられている。天板３２及び中間プレート３３の周縁には下方に突出した六角筒状のリブ３２ａ、３３ａが形成されており、中間プレート３３の中央には円孔３３ｂが形成されている。
　また、天板３２と中間プレート３３との間の空間内にはカメラ３４（撮影部）が設けられている。カメラ３４はレンズ部３４ａから中間プレート３３の円孔３３ｂを通して鉛直方向下方を撮影可能である。当該カメラ３４は、対角１インチ以上の大形センサを有し、ホットスポットが無く、１０ビット以上の分解能と2000万画素以上の解像度があり、人の目が持つ色感度の感度分布に合わせた画像データ、即ち人の目の感色層と同等の画像データを取得可能なデジタルカメラである。画像データのデータ形式は特に限定されず、ＲＡＷデータ、ＪＰＥＧデータ等でもよい。また、当該カメラ３４は、撮影照明装置２への設置時にシャッター、ピント等の各種可動部の設定を行った後は、撮像時に物理動作が行われないよう各種可動部を固定可能な構造を有している。
　中間プレート３３よりも下方には第１の円筒体３５が配設されている。第１の円筒体３５は、撮影方向である鉛直方向を中心軸Ｏとする円筒であり、内面が光を反射し鏡筒内反射可能な銀面をなしている。第１の円筒体３５の直径は少なくとも製品Ｔよりは大きく、特に製品Ｔの長手方向の長さに対して２倍から２．５倍が好ましい。また、第１の円筒体３５の中心軸方向の長さ（筒の長さ）は直径の２／３～１／３が好ましい。
　また当該第１の円筒体３５のカメラ側（対象物から遠い側）の縁には中心軸Ｏ側に突出した円環状のリブ３５ａが形成されている。当該リブ３５ａの内面側は光の反射を抑えるよう黒色をなしている。
　さらに第１の円筒体３５よりも下側（対象物側）には、第１の円筒体３５と所定の間隔を有して第２の円筒体３６が配設されている。第１の円筒体３５と第２の円筒体３６との間隔は、具体的には第１の円筒体３５の直径から直径の１／３の範囲が好ましく、特に直径の２／３から１／３が好ましい。
　第２の円筒体３６は、第１の円筒体３５と同心で且つ同径の円筒であり、筒の長さは第１の円筒体３５よりも短い。第２の円筒体３６の中心軸方向の長さは直径の２／１０～１／１０が好ましい。なお、当該第２の円筒体３６の直径は製品Ｔよりも大きい必要はあるが、第１の円筒体３５の直径よりも小さい径でもよい。また第２の円筒体３６は製品Ｔから、第２の円筒体３６の直径の１５％～２０％の間隔を有して配置されている。
　また当該第２の円筒体３６のカメラ側（対象物から遠い側）の縁には中心軸側に突出した円環状のリブ３６ａが形成されている。当該第２の円筒体３６はリブ３６ａを含め内面が銀面をなしている。
　また、第１の円筒体３５と第２の円筒体３６の上下開口部は、いずれも少なくともカメラ３４の画角に入らない程度の大きさを有している。
　図４に示されているように、第１の円筒体３５の内面には第１の光源３７が、第２の円筒体３６には第２の光源３８が、それぞれ環状に配設されている。第１の光源３７及び第２の光源３８は各筒体の上部に配設されている。
　第１の光源３７及び第２の光源３８は、それぞれＬＥＤが円筒体の内面に沿って連続的に配列されて形成されている。第１の光源３７は白色光（第１の光）を発するＬＥＤからなり、第２の光源３８は第１の光源よりも波長の短い青色光（第２の光）を発するＬＥＤからなる。具体的には第１の光源３７からの白色光の波長は可視光の範囲、即ち400～700ナノメートルの全域もしくはＲＧＢ輝線の中の白色光範囲、第２の光源３８からの青色光の波長は260～450ナノメートルの狭波長が好ましい。また、第１の光源３７に対して第２の光源３８の光源エネルギーは小さく、３／４から１／４が好ましい。なお、本実施形態では第１の光源３７及び第２の光源３８をＬＥＤにより構成しているが、光源は指向性を持った光を発する光源であればこれに限られるものではなく、例えばレーザであってもよい。また波長域は紫外線、赤外線域に至る波長を選択することもできる。
　第１の光源３７の各ＬＥＤから発せられる白色光の光軸は第１の円筒体３５の中心軸Ｏと直行する方向、即ち径方向に向くように設置されている。一方、第２の光源３８の各ＬＥＤから発せられる青色光の光軸は製品Ｔのある下方に向くように設置されている。
　また、ここで図５を参照すると第１の光源３７の発光順序を示した平面図が示されおり、同図に示すように、第１の光源３７は、その円周方向において均等に３分割した範囲３７ａ、３７ｂ、３７ｃに区分されており、各範囲において複数個（本実施形態では各範囲にｎ個）のＬＥＤ３７ａ１～３７ａｎ、３７ｂ１～３７ｂｎ、３７ｃ１～３７ｃｎが設けられている。第１の光源３７は１度の発光でこれら３つの範囲３７ａ、３７ｂ、３７ｃのそれぞれにおいて、一端のＬＥＤ３７ａ１、３７ｂ１、３７ｃ１から他端のＬＥＤ３７ａｎ、３７ｂｎ、３７ｃｎへと各ＬＥＤが円周方向に順次発光する。この第１の光源３７の発光時間、即ち各範囲３７ａ、３７ｂ、３７ｃの一端のＬＥＤ３７ａ１、３７ｂ１、３７ｃ１の発光から他端のＬＥＤ３７ａｎ、３７ｂｎ、３７ｃｎの発光が終了するまでの時間は、少なくともベルトコンベア４により搬送される製品Ｔを撮影可能な時間に設定される。例えば本実施形態では、製品Ｔの運搬速度が７ｍ/分であるのに対し、第１の光源３７の発光時間は1/1000秒である。なお、図示しないが第２の光源３８についても、第１の光源３７と同様に３分割されており、第１の光源３７と同期して順次発光するものとする。
　第２の円筒体３６は、チャンバボックス３０上面にて略円形に開口した開口部３０ａに設けられている。チャンバボックス３０の底面には矩形の底部窓３０ｂが形成されており、当該底部窓３０ｂの下を製品Ｔが流れる。
　このように構成された撮影照明装置２は、チャンバボックス３０及びカバー３１により覆われることで内部が半暗室状態となっている。
　図４に示すように、上述した制御部３の撮影制御部２１は、撮影照明装置２のカメラ３４、第１の光源３７、第２の光源３８と電気的に接続されている。また、撮影制御部２１は、製品Ｔが底部窓１０ｂを通るタイミングを検知する製品検知センサ３９等とも接続されている。
　このように構成された外観検査装置１は、制御部３の撮影制御部２１により製品Ｔが底部窓１０ｂの直下に位置するタイミングで第１の光源３７と第２の光源３８とを発光させて、カメラ３４により製品Ｔの外観を撮影させる。
　図６を参照すると、第１の光源３７と第２の光源３８の発光とカメラ３４による製品Ｔの撮影に関するシーケンス図が示されている。
　同図に示すように、制御部３の撮影制御部２１は、製品検知センサ３９により製品Ｔ１が底部窓３０ｂに入ってくるのを検知すると（時刻ｔ１）、製品Ｔ１が中心軸Ｏ上を通過するタイミングで第１の光源３７及び第２の光源３８の発光を開始させる（時刻ｔ２）。
　この第１の光源３７及び第２の光源３８はそれぞれの３つの範囲３７ａ～３７ｃ、３８ａ～３８ｃにおいて、一端から他端へとｎ個のＬＥＤが順次発光し、カメラ３４はこの第１の光源３７及び第２の光源３８の発光期間（時刻ｔ２～ｔ３）に撮影された画像を製品Ｔの画像として取得する。なお、図６では、理解しやすくするために時刻ｔ２～ｔ３の時間間隔を拡大して図示している。
　製品Ｔが底部窓３０ｂの範囲から抜けると、１つの製品Ｔの撮影が終了し（ｔ５）、引き続き搬送されてくる製品Ｔに対しても同じようにして第１の光源３７及び第２の光源３８の発光に伴うカメラ３４による撮影が行われる。つまり、カメラ３４は物理的なシャッターは開かれた状態で固定されており、暗箱であるチャンバボックス３０により暗く設定された撮影視野（底部窓３０ｂ）に対して、この第１の光源３７及び第２の光源３８の発光が実質的なシャッターの役割を果たして撮影を行っている。
　ここで、図７を参照すると、第１の光源３７から発せられる白色光Ｌ１（点線）及び第２の光源３８から発せられる青色光Ｌ２（実線）の光路を示した説明図が示されており、以下同図に基づき、本実施形態の撮影照明装置２の作用効果について説明する。
　第１の光源３７は光軸が第１の円筒体３５の径方向に向くよう設置されており、第１の円筒体３５の内周面は銀面であることで、第１の光源３７が発光するとその白色光Ｌ１の大部分は第１の円筒体３５内にて鏡筒内反射を繰り返してコヒーレント性を有する面光（以下、コヒーレント面光という）となって製品Ｔに当たる。つまり、白色光Ｌ１の大部分からなる径方向に向かった光は、鏡筒内反射を繰り返した光線の束からなるコヒーレント面光となり、これは直接光よりも高い分散度で製品Ｔの表面に当たることとなる。
　なお、第１の光源３７から上方に向かう一部の白色光Ｌ１は、第１の円筒体３５の上端の内面黒色のリブ３５ａに当たることで吸収される。また、第１の光源３７から下方に向かう一部の白色光Ｌ１は、第１の円筒体３５内で反射することなく直射光として製品Ｔに当たる。カメラ３４は、少なくともこの白色光Ｌ１が製品Ｔに当たって反射した光、即ち第１の光源３７からの直接反射光が画像に入り込まない画角及び位置にあるのが好ましい。
　一方、第２の光源３８は光軸が製品Ｔの方向を向くよう設置されていることから、第２の光源３８が発光するとその青色光Ｌ２の大部分は直接製品Ｔの表面に当たる。また、一部の青色光Ｌ２は、第２の円筒体３６はリブ３６ａを含めて内面が銀面であることから、当該リブ３６ａや内周面にて１度又は数回程度反射して製品Ｔに当たる。第２の光源３８は第１の光源３７よりも製品Ｔに近い位置にあることから青色光Ｌ２は直射光であっても、白色光Ｌ１の直射光よりも中心軸Ｏ（製品Ｔ表面に対する垂線）に対して大きい角度で製品Ｔに当たることとなる。
　このように、撮影照明装置２は、第１の光源３７から主に径方向に発せられた白色光Ｌ１が第１の円筒体３５による鏡筒内反射を繰り返すことにより、拡散板により生成される散乱光とは異なるコヒーレント性を有する面光を生成し、このコヒーレント面光を製品Ｔに照射する。さらに、製品Ｔに近い第２の光源３８からは直射光又は第２の円筒体３６により１又は数回反射した光である青色光Ｌ２を白色光Ｌ１の直接光よりも中心軸Ｏに対して大きい角度で製品Ｔに当てることができる。このような白色光Ｌ１及び青色光Ｌ２により照明された製品Ｔは、凹凸部における斜面や垂直面での照明色相が変化する為、製品Ｔの割れ（クラック）、欠け、擦り傷、切り傷、打痕等の様々な不具合を照らし出すことができる。そして、これをカメラ３４により撮影することで、これらの不具合を色相差として分離が可能となる画像を撮影することができる。
　特に、第１の光源３７から発せられる光が白色光Ｌ１であり、第２の光源３８から発せられる光が白色光Ｌ１よりも波長が短い青色光Ｌ２であることで、白色光Ｌ１により目視できる最大限の範囲で製品Ｔを照らし出すことができる上、青色光Ｌ２により傷等の析出解像度を高く設定できることから製品Ｔにおいてより多くの種類の傷をより細かく分離すことができる。
　また第１の光源３７及び第２の光源３８は３分割した範囲で順次発光することから各範囲が正対して発光せず、対面光による解像度低下、フレア、ゴーストの発生、光回折による画像劣化を防ぐことができ、製品Ｔの傷をより鮮明に照らし出すことができる。
　さらに、第１の円筒体３５は内面が黒色のリブ３５ａを有していることで、カメラ３４側に向かう白色光Ｌ１を抑え、より効率的に製品Ｔに向かうコヒーレント面光を生成することができる。
　また、第２の円筒体３６はリブ３６ａを有していることで、青色光Ｌ２を製品Ｔの中央にまで均等に照射させることができる。
　そして、白色光Ｌ１及び青色光Ｌ２が製品Ｔの表面にて反射された光がカメラ３４のレンズ部３４ａを介して画像素子３４ｂに受光されることで撮影される。カメラ３４は撮影時には各種可動部を固定して第１の光源３７及び第２の光源３８の発光により製品Ｔを撮影し、人の目が持つ色感度の感度分布に合わせた画像データを取得可能であることで、目視検査レベルの画像データを得ることができる。
　外観検査装置１の制御部３としては、上述のようにして撮影された画像データに基づいて検査処理を行うことで、目視検査レベルの検査を行うことができる。
　詳しくは後述するが、取得した画像データに対して色空間処理して製品Ｔの表面の不具合を検出することで、様々な不具合をより正確に検出することができる。
　また、当該外観検査装置１は、第１の光源１７及び第２の光源１８を発光させる短時間で製品Ｔの撮影を行い、その画像データに基づき検査処理を行えることから、製造ラインの流れの中で、ベルトコンベア４を止めることもなく検査を行うことができる。これにより、検査の作業効率を向上させることができる。
　ここで、撮影照明装置２により撮影された画像データに基づいて、制御部３において実行される良否判定の学習及び良否判定について、より具体的に説明する。
　まず、図８、９を参照すると、図８には制御部３による学習ルーチンを示すフローチャートが、図９には図８の画像データの遷移を示す説明図が示されている。図８のフローチャートに沿って制御部３による製品Ｔの良否判定の学習手順について説明し、その後図９の画像例に基づき画像データの遷移について説明する。
　まず図８のステップＳ１としては、制御部３の撮影制御部２１により、撮影照明装置２により製品Ｔを撮影し、画像データを取得する。
　ステップＳ２では、制御部３の前処理部２２により、撮影された画像データ内の製品Ｔの外形を認識し、予め定められた基準画像と略同位置に位置決めし、且つ背景を除去する。
　ステップＳ３では、制御部３の色空間処理部２３により、画像データに対し色空間処理を行い複数の色空間処理画像を生成する。
　ステップＳ４では、制御部３の不良箇所指定部２４により、色空間処理画像を出力部１３に出力し、画像中に不良箇所がある場合には作業者がその不良箇所をグリッド単位で指定し、その不良箇所を含むグリッドに基づいて不良品教師データを生成する。一方、不良箇所が指定されなかった色空間処理画像は良品教師データとなる。ここで生成された不良品教師データ及び良品教師データは、記憶部１１に記憶される。
　ステップＳ５では、制御部３の学習部２５により、不良箇所指定部２４により生成され記憶部１１に記憶された不良品教師データ及び良品教師データに基づき、機械学習により製品Ｔの良否判定を学習して、学習済みモデルを生成する。なお、当該ステップＳ５は、一定数以上の不良品教師データ及び良品教師データが記憶部１１に蓄積されてから実行するのが効率的に好ましいが、一つの不良品教師データ又は良品教師データが生成されるたびに、ステップＳ５の学習を行っていってもよい。
　次に、図９に基づき、学習時における画像データの遷移について説明する。
　まず、図９の画像Ｐ１は、撮影照明装置２により撮影した画像データである。画像Ｐ１として示されるように、撮影照明装置２により撮影された段階では、製品Ｔの位置や向きは一定とは限らず、画像内において偏った位置にあったり、向きも画像枠に対して傾いていたりする場合がある。
　そこで、前処理部２２が、基準画像に倣って、画像Ｐ２に示すように製品Ｔが画像中心に位置し且つ向きが正しい向きとなるように位置決めを行う（ステップＳ２）。さらに前処理部２２は、画像Ｐ３にて斜線で示すように、製品Ｔに対して背景となる部分を除去する（ステップＳ２）。
　続いて、色空間処理部２３が、１枚の画像Ｐ３からを色空間処理して色空間処理画像を生成する（ステップＳ３）。図９では第１の色空間処理画像Ｐ４ａから第３の色空間処理画像Ｐ４ｃの３種類の色空間処理画像を示している。上述したように、各色空間処理画像Ｐ４ａ、Ｐ４ｂ、Ｐ４ｃでは、選択された波長に応じて、傷や打痕等の不具合が強調されて表示され、例えば第１の色空間処理画像Ｐ４ａではＶ字溝傷Ｓ１が、第３の色空間処理画像Ｐ４ｃでは打痕Ｓ２が強調されている。第２の色空間処理画像Ｐ４ｂでは特に不具合は表れていない。
　次に、図９の画像Ｐ５ａ、Ｐ５ｃとして示すように、不良箇所指定部２４が、各色空間処理画像Ｐ４ａ、Ｐ４ｂ、Ｐ４ｃを出力部１３に出力し、作業者が入力部１２を介して指定した不具合箇所がグリッド単位で抽出される（ステップＳ４）。例えば図９の画像Ｐ５ａではＶ字溝傷Ｓ１に対して、その一端部から他端部までが第１のグリッドＧ１から第３のグリッドＧ３により指定されている。また、画像Ｐ５ｃでは打痕Ｓ２に対してその全域が含まれるように第４のグリッドＧ４から第６のグリッドＧ６により指定されている。このように指定された図９に示す各グリッドＧ１～Ｇ６が、不良品教師データとして記憶部１１に記憶される（ステップＳ４）。
　このように、色空間処理画像にて強調された不具合がグリッド単位で不良品教師データとして蓄積され、学習部２５での機会学習に用いられる（ステップＳ５）。
　なお、図９では、３つの色空間処理画像と、不良箇所を示す６つのグリッドを示したが、色空間処理により生成する色空間処理画像の数はこれに限られるものではなく、不良箇所の数もこれに限られるものではない。また、不良箇所を示す範囲もグリッドに限られるものではなく、円形等の他の形状で指定してもよいし、別の範囲指定手段を有していてもよい。
　続いて図１０を参照すると、制御部３による判定ルーチンを示すフローチャートが示されており、以下同フローチャートに基づき製品Ｔの良否判定手順を説明する。
　図１０におけるステップＳ１１からステップＳ１３までは、上述した図８におけるステップＳ１からステップＳ３とほぼ同じ処理であり、撮影照明装置２により撮影を行い（Ｓ１１）、その画像データを位置決め及び背景除去した後（Ｓ１２）、色空間処理画像に変換する（Ｓ１３）。
　ステップＳ１４では、制御部３の判定部２６が学習済み判定モデルを用いて、入力された色空間処理画像に写し出された製品Ｔが良品であるか不良品であるかを判定して、その結果を出力部１３に出力する。
　以上のように、本実施形態に係る外観検査装置１は、制御部３において、撮影照明装置２により撮影された画像を取得し、製品Ｔ上の不具合が強調された色空間処理画像を生成することで、製品Ｔに対して目視検査レベルの検査を正確且つ効率的に行うことができる。
　詳しくは、色空間処理部２３において、色空間の波長が異なる複数の色空間処理画像を生成することで、各波長に応じた傷や打痕等の様々な不具合を強調することができ、各色空間処理画像を参照すること、目視検査で製品Ｔを様々な角度から見るように、様々な不具合を検出することができる。
　また、判定部２６は、色空間処理画像に基づき製品Ｔの良否判定を機械学習した学習済みモデルにより製品Ｔの良否判定を行うことで、人海戦術によることなく正確に且つ効率的な検査を行うことができる。
　さらに、前処理部２２にて、画像内の製品Ｔの位置決めを行うことで他の画像の製品Ｔとの位置関係の整合性を取ることができ、背景除去も行うことで製品Ｔの情報のみを抽出することができる。このような前処理によって、学習部２５における学習効率の向上及び学習精度の向上が図られ、判定部２６においてもより正確で効率的な判定を行うことができるようになる。
　特に、上述したコヒーレント面光を照射する第１の光源１７と、直接光を含む光を製品Ｔに照射する第２の光源１８と、これらの光源により照明された対象物を撮影するカメラ１４を有する撮影照明装置２により、製品Ｔを撮影することで、様々な不具合を色相差として分離できる画像データを得ることができる。このような画像に対して色空間処理を行うことで、様々な色空間画像を鮮明に生成することができ、検査精度をより向上させることができる。
　以上のことから、本実施形態に係る外観検査装置１によれば、製品Ｔに生じた様々な不具合を検出し、目視検査レベルの検査を正確且つ効率的に行うことができる。
　以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。
　上記実施形態では、検査対象である製品Ｔをブレーキパッドのプレートとしているが、検査対象となる対象物はこれに限られるものではなく、種々の製品を対象物として適用可能である。また、上記実施形態では、検査として傷及び打痕等の不具合に基づく良否判定を行っているが、検査内容は良否判定に限られるものではなく、色空間処理により対象物上の所定の特徴を強調して判断する検査であれば他の検査にも適用可能である。
　また、上記実施形態では、色空間処理画像に基づき製品Ｔの良否判定を機械学習した学習済みモデルを用いた判定部２６により良否判定を行っているが、判定部２６はこれに限られるものではない。例えば、色空間処理画像を出力部に出力して、作業者が入力部を介してこの色空間処理画像に基づいた良否判定を行う判定部としてもよい。このように、対象物の不具合が強調された色空間処理画像に基づき作業者が良否判定を行うとしても、色空間処理画像によって作業者の良否判定が正確且つ容易となり、検査効率を向上させることができる。
　また、上記実施形態では、制御部３は、撮影照明装置２により撮影された画像データに基づいて対象物の検査処理（良否判定）を行っているが、制御部３が検査処理に用いる画像データは必ずしも上記実施形態の撮影照明装置に撮影された画像データに限られるものではなく、他の装置により撮影された画像データから検査処理を行うことも可能である。
　また、撮影照明装置２についても、上記実施形態の制御部に画像データに提供するものに限られず、他の装置に画像データを提供することも可能である。
　また、上記実施形態の第１の円筒体３５には上端にリブ３５ａが形成されているが、このリブを省き完全な円筒としてもよい。
　また、第１の円筒体３５の上端開口部を覆うように反射板を設けてもよく、図１１には上記実施形態の変形例として、反射板を設けた撮影照明装置についての分解図が示されている。なお、反射板４０以外の構成で上記実施形態と同じものは同じ符号を付して説明は省略する。
　図１１に示すように、変形例における外観検査装置１’は、第１の円筒体３５の上端開口部に反射板４０が取り付けられる。反射板４０は、第１の円筒体３５と同径の円板であり、中央には、少なくともカメラ３４の画角よりも大きい孔４０ａが形成されている。また、反射板４０の第１の円筒体３５側の面（下面）は光を反射可能な銀面をなしている。なお、当該変形例においては第１の円筒体３５のリブ３５ａも内面が銀面をなしている。
　このように第１の円筒体３５の上端開口部に反射板４０を設けると、第１の光源３７から上方に向かう一部の白色光Ｌ１を反射して、下方に向かわせる。したがって、第１の円筒体３５で鏡筒内反射により生成されるコヒーレント面光の光量が増加し、より強い光として製品Ｔに当たることとなる。
　これにより、例えば上記実施形態よりも製品Ｔの中央側まで明るく照らすことができる。また、検出する必要がない微細な傷を目立たなくすることができる。
　以上のことから、第１の円筒体３５の上端開口部に対して、上記実施形態のように内面黒色のリブ３５ａを形成することで光量を抑えたり、上記変形例のように反射板４０を設けることで光量を増やしたりすることができる。つまり、検査対象の種類、検査対象表面の状態、検出する傷の種類等に応じて、第１の円筒体３５の上端開口部にリブ３５ａや反射板４０のような光量調整部を形成することでコヒーレント面光の光量を調整することができる。
　なお、上記変形例では、反射板４０は第１の円筒体３５と別体であるが、リブに代えて反射板を一体に備えた第１の円筒体としてもよい。
　また上記実施形態では、第１の光源１７及び第２の光源１８が円周方向において３分割され順次発光する構成であるが、この分割数は３分割が上述した効果を発揮するのに最も好ましいが、その他の分割数としたり、分割しなくてもよい。特に、３分割、６分割等、正対する光源範囲が存在しない分割数が好ましい。
　また上記実施形態の外観検査装置１では、撮影照明装置２がベルトコンベア４上に設けられており、検査対象である製品Ｔが撮影照明装置２に対して移動しているが、移動困難な検査対象である場合等は、撮影照明装置の方を対象物に対して移動させてもよい。
　１、１’　外観検査装置
　２撮影照明装置
　３制御部
　４　ベルトコンベア（運搬部）
　１０　演算部
　１１　記憶部
　１２　入力部
　１３　出力部
　２１　撮影制御部（画像入力部）
　２２　前処理部
　２３　色空間処理部
　２４　不良箇所指定部
　２５　学習部
　２６　判定部
　３０　チャンバボックス
　３１（３１ａ、３１ｂ）　カバー
　３２　天板
　３３　中間プレート
　３４　カメラ（撮影部）
　３５　第１の円筒体
　３６　第２の円筒体
　３７　第１の光源
　３８　第２の光源
　３９　製品検知センサ
　４０　反射板
　Ｔ　製品
　Ｏ　中心軸
　Ｌ１　白色光（第１の光）
　Ｌ２　青色光（第２の光）
 

Claims (16)

  1. 　対象物の含まれた画像が入力される画像入力部と、
    　前記画像入力部に入力された画像に対し、前記対象物上の所定の特徴が強調される色空間処理を行うことで色空間処理画像を生成する色空間処理部と、
    　前記色空間処理画像に基づき前記対象物の良否判定を行う判定部と、
    　を備える外観検査装置。
  2. 　前記色空間処理部は、前記色空間処理により色空間の波長が異なる複数の前記色空間処理画像を生成する請求項１記載の外観検査装置。
  3. 　前記判定部は、前記色空間処理画像に基づき前記対象物の良否判定を機械学習した学習済みモデルにより、前記対象物の良否判定を行う請求項１又は２記載の外観検査装置。
  4. 　前記色空間処理部による前記色空間処理前に、前記画像入力部に入力された画像に対して、前記対象物の位置決め及び背景除去を行う前処理部を有する請求項１から３のいずれか一項に記載の外観検査装置。
  5. 　前記対象物を照明し、前記画像入力部へ出力する画像を撮影する撮影照明部を有する請求項１から４のいずれか一項に記載の外観検査装置。
  6. 　前記撮影照明部は、
    　前記対象物に対しコヒーレント性を有する面光を前記対象物に照射する第１の光源と、
    　直接光を含む光を前記対象物に照射する第２の光源と、
    　前記第１の光源及び第２の光源により照明された前記対象物を撮影する撮影部とを有する請求項５に記載の外観検査装置。
  7. 　対象物を照明する照明装置であって、
    　鏡筒内反射可能な内面を有し、中心軸線上に前記対象物が位置するよう配置される第１の円筒体と、
    　前記第１の円筒体の内面に環状に配置され、光軸が第１の円筒体の径方向である第１の光を発する第１の光源と、
    　前記第１の円筒体よりも前記対象物側に配置され、前記第１の円筒体と同心の円筒形状をなす第２の円筒体と、
    　前記第２の円筒体の内面に環状に配置され、光軸が前記対象物に向き前記第１の光源よりも短い波長の第２の光を発する第２の光源と、を備え、
    　前記第１の光源を発光させることで、前記第１の光を前記第１の円筒体により鏡筒内反射させてコヒーレント性を有する面光として前記対象物に照射するとともに、前記第２の光源を発光させることで、前記第２の光の直接光及び第２の円筒体にて反射した反射光を前記対象物に照射する照明装置。
  8. 　前記第１の光源は白色光であり、第２の光源は青色光である請求項７記載の照明装置。
  9. 　前記第１の光源及び第２の光源は円周方向に順次発光する請求項７又は８記載の照明装置。
  10. 　前記第１の円筒体は、前記対象物から遠い側の縁に中心軸側に突出し内面が黒色である円環状のリブを有している請求項７から９のいずれか一項に記載の照明装置。
  11. 　前記第２の円筒体は、前記対象物から遠い側の縁に中心軸側に突出した円環状のリブを有している請求項７から１０のいずれか一項に記載の照明装置。
  12. 　請求項７から１１のいずれか一項に記載の照明装置と、
    　前記第１の円筒体及び前記第２の円筒体の中心軸線上に配置され、前記照明装置により照明された前記対象物を撮影する撮影部と、
    を備える撮影照明装置。
  13. 　前記撮影部は、人の目が持つ色感度の感度分布に合わせた画像データを取得可能なカメラである請求項１２記載の撮影照明装置。
  14. 　請求項１２又は１３に記載の撮影照明装置と、
    　前記撮影部により撮影された画像に基づき前記対象物の検査処理を行う制御部と、
    　を備える外観検査装置。
  15. 　前記制御部は、前記撮影部により撮影された画像に対して色空間処理を行い前記対象物の検査処理を行う請求項１４記載の外観検査装置。
  16. 　検査対象である前記対象物を前記撮影部により撮影可能に前記撮影照明装置又は前記対象物を相対的に移動させる運搬部を備える請求項１４又は１５記載の外観検査装置。
     
PCT/JP2017/027908 2017-02-20 2017-08-01 外観検査装置、照明装置、撮影照明装置 WO2018150607A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/487,271 US10890537B2 (en) 2017-02-20 2017-08-01 Appearance inspection device, lighting device, and imaging lighting device
JP2018534759A JP6629455B2 (ja) 2017-02-20 2017-08-01 外観検査装置、照明装置、撮影照明装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017028787 2017-02-20
JP2017-028787 2017-02-20

Publications (1)

Publication Number Publication Date
WO2018150607A1 true WO2018150607A1 (ja) 2018-08-23

Family

ID=63169369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027908 WO2018150607A1 (ja) 2017-02-20 2017-08-01 外観検査装置、照明装置、撮影照明装置

Country Status (3)

Country Link
US (1) US10890537B2 (ja)
JP (2) JP6629455B2 (ja)
WO (1) WO2018150607A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041889A (ja) * 2018-09-10 2020-03-19 日本電気硝子株式会社 ワーク検査方法及びワーク検査システム
WO2020071162A1 (ja) * 2018-10-01 2020-04-09 株式会社システムスクエア 教師データ生成装置及び教師データ生成プログラム
JP2020085705A (ja) * 2018-11-28 2020-06-04 セイコーエプソン株式会社 判定装置及び判定方法
JP2020119159A (ja) * 2019-01-22 2020-08-06 ブラザー工業株式会社 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP2020153764A (ja) * 2019-03-19 2020-09-24 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2021032894A (ja) * 2019-08-16 2021-03-01 ラオンピープル株式会社 基板不良検査装置及び方法
JP2021042992A (ja) * 2019-09-06 2021-03-18 清水建設株式会社 外観検査システム、及び外観検査方法
WO2023002692A1 (ja) * 2021-07-21 2023-01-26 パナソニックＩｐマネジメント株式会社 学習装置、学習方法、および非破壊検査システム
JP7227522B1 (ja) 2021-09-14 2023-02-22 ダイキン工業株式会社 ひび割れ検査システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6936650B2 (ja) * 2017-07-27 2021-09-22 三菱パワー株式会社 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
RU2685744C1 (ru) * 2018-04-23 2019-04-23 Родион Николаевич Юрьев Способ расшифровки дефектограмм и оцифрованных сигналов исследования твёрдых тел
KR20210126934A (ko) * 2020-04-13 2021-10-21 삼성전자주식회사 광원 정보를 출력하는 방법 및 장치
TWI729836B (zh) * 2020-06-04 2021-06-01 和碩聯合科技股份有限公司 發光元件檢測裝置
JP7509033B2 (ja) * 2020-12-25 2024-07-02 新東工業株式会社 検査装置、検査方法、機械学習装置、及び機械学習方法
JP7043645B1 (ja) 2021-03-03 2022-03-29 Dmg森精機株式会社 基板検査方法
KR102360140B1 (ko) * 2021-06-17 2022-02-08 박성수 부품검사용 비전 검사 장치
KR20230067759A (ko) * 2021-11-08 2023-05-17 삼성디스플레이 주식회사 광학 검사 장치 및 이를 이용한 검사 방법
JP7544364B2 (ja) 2022-09-21 2024-09-03 株式会社御池鐵工所 再生材製造設備及び再生材製造方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183751A (ja) * 1997-09-02 1999-03-26 Dainippon Printing Co Ltd 金属試料表面の外観検査方法および外観検査装置
JP2000258353A (ja) * 1999-03-11 2000-09-22 Kobe Steel Ltd 欠陥検査方法及びその装置
JP2001041900A (ja) * 1997-11-07 2001-02-16 Yuki Gijutsu Sogo:Kk シート包装検査装置
JP2001141657A (ja) * 1999-10-29 2001-05-25 Internatl Business Mach Corp <Ibm> マクロ検査用照明装置、マクロ検査装置及び該方法
JP2009036710A (ja) * 2007-08-03 2009-02-19 Daiichi Jitsugyo Viswill Co Ltd 検査装置
US20100128968A1 (en) * 2008-11-26 2010-05-27 Cherbis Yosi System and a method for insepcting an object
JP2010249547A (ja) * 2009-04-10 2010-11-04 Denso Corp 外観検査装置及び外観検査方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2012112688A (ja) * 2010-11-22 2012-06-14 Seiko Epson Corp 検査装置
JP2013002985A (ja) * 2011-06-17 2013-01-07 Denso Corp 溶接部検査装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05332753A (ja) * 1992-06-01 1993-12-14 Miyazaki Oki Electric Co Ltd 半導体ウェハ上のパターン異常検出方法およびその装置
IL133522A0 (en) 1997-06-17 2001-04-30 Yuki Engineering System Co Ltd Device for checking sheet packaging
JP4558112B2 (ja) * 1998-10-13 2010-10-06 山形カシオ株式会社 部品搭載装置用の照明装置とその照明装置を備える部品搭載装置
JP3496644B2 (ja) 2001-01-12 2004-02-16 シーシーエス株式会社 検査用照明装置
JP2003247953A (ja) 2002-02-25 2003-09-05 Seiko Epson Corp 液晶パネル外観検査方法及び検査装置
JP2004191112A (ja) 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP3140462U (ja) 2008-01-11 2008-03-27 名古屋電機工業株式会社 基板検査装置
JP2011191252A (ja) 2010-03-16 2011-09-29 Nippon Steel Engineering Co Ltd 金属の表面品質評価方法および金属の表面品質評価装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183751A (ja) * 1997-09-02 1999-03-26 Dainippon Printing Co Ltd 金属試料表面の外観検査方法および外観検査装置
JP2001041900A (ja) * 1997-11-07 2001-02-16 Yuki Gijutsu Sogo:Kk シート包装検査装置
JP2000258353A (ja) * 1999-03-11 2000-09-22 Kobe Steel Ltd 欠陥検査方法及びその装置
JP2001141657A (ja) * 1999-10-29 2001-05-25 Internatl Business Mach Corp <Ibm> マクロ検査用照明装置、マクロ検査装置及び該方法
JP2009036710A (ja) * 2007-08-03 2009-02-19 Daiichi Jitsugyo Viswill Co Ltd 検査装置
US20100128968A1 (en) * 2008-11-26 2010-05-27 Cherbis Yosi System and a method for insepcting an object
JP2010249547A (ja) * 2009-04-10 2010-11-04 Denso Corp 外観検査装置及び外観検査方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2012112688A (ja) * 2010-11-22 2012-06-14 Seiko Epson Corp 検査装置
JP2013002985A (ja) * 2011-06-17 2013-01-07 Denso Corp 溶接部検査装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041889A (ja) * 2018-09-10 2020-03-19 日本電気硝子株式会社 ワーク検査方法及びワーク検査システム
JP7054450B2 (ja) 2018-09-10 2022-04-14 日本電気硝子株式会社 ワーク検査方法
WO2020071162A1 (ja) * 2018-10-01 2020-04-09 株式会社システムスクエア 教師データ生成装置及び教師データ生成プログラム
JP6754155B1 (ja) * 2018-10-01 2020-09-09 株式会社 システムスクエア 教師データ生成装置、検査装置およびコンピュータプログラム
JP7119949B2 (ja) 2018-11-28 2022-08-17 セイコーエプソン株式会社 判定装置及び判定方法
JP2020085705A (ja) * 2018-11-28 2020-06-04 セイコーエプソン株式会社 判定装置及び判定方法
JP2020119159A (ja) * 2019-01-22 2020-08-06 ブラザー工業株式会社 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法
JP7273358B2 (ja) 2019-01-22 2023-05-15 ブラザー工業株式会社 画像処理装置、学習済みモデル、コンピュータプログラム、および、属性情報の出力方法
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP2020153764A (ja) * 2019-03-19 2020-09-24 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
WO2020189043A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2021032894A (ja) * 2019-08-16 2021-03-01 ラオンピープル株式会社 基板不良検査装置及び方法
JP7224048B2 (ja) 2019-08-16 2023-02-17 ラオンピープル株式会社 基板不良検査装置及び方法
JP2021042992A (ja) * 2019-09-06 2021-03-18 清水建設株式会社 外観検査システム、及び外観検査方法
WO2023002692A1 (ja) * 2021-07-21 2023-01-26 パナソニックＩｐマネジメント株式会社 学習装置、学習方法、および非破壊検査システム
JP7227522B1 (ja) 2021-09-14 2023-02-22 ダイキン工業株式会社 ひび割れ検査システム
WO2023042730A1 (ja) * 2021-09-14 2023-03-23 ダイキン工業株式会社 ひび割れ検査システム
JP2023042161A (ja) * 2021-09-14 2023-03-27 ダイキン工業株式会社 ひび割れ検査システム

Also Published As

Publication number Publication date
JP6945245B2 (ja) 2021-10-06
JP2020042044A (ja) 2020-03-19
US10890537B2 (en) 2021-01-12
JP6629455B2 (ja) 2020-01-15
JPWO2018150607A1 (ja) 2019-02-21
US20200018707A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6945245B2 (ja) 外観検査装置
CN108445007B (zh) 一种基于图像融合的检测方法及其检测装置
TWI590725B (zh) 印刷電路板外觀的檢查裝置及檢查方法
TWI626438B (zh) 檢查設備及物品製造方法
TWI773032B (zh) 一種拱形照明裝置、具有其之成像系統及成像方法
JP2010112941A (ja) 表面検査装置
TW201531695A (zh) 自動外觀檢查裝置
JP2008249568A (ja) 外観検査装置
WO2021129283A1 (zh) 一种用于自动光学检测设备的照明装置及成像系统
KR101679314B1 (ko) 다중 노광을 운용한 중복 노광 화상 믹싱의 검사 방법
JP2018025439A (ja) 外観検査方法および外観検査装置
JP2018155548A (ja) 欠陥検査方法、欠陥検査プログラム、および欠陥検査装置
JP2011123019A (ja) 画像検査装置
JP5890953B2 (ja) 検査装置
JP2011208941A (ja) 欠陥検査装置およびその方法
JP2014142256A (ja) ガラスびんの印刷検査装置
JP2009236760A (ja) 画像検出装置および検査装置
JP2018132355A (ja) スクリーン版の検査方法
JP2019100851A (ja) 部品外観自動検査装置
JP4216485B2 (ja) パターン検査方法およびその装置
JP5959430B2 (ja) ボトルキャップの外観検査装置及び外観検査方法
KR101876391B1 (ko) 단색광 모아레의 다채널 이미지를 이용한 3차원 검사 장치
JP4967132B2 (ja) 対象物表面の欠陥検査方法
CN115809984A (zh) 利用颜色通道的工件检查和缺陷检测系统
JPH11326236A (ja) 表面層欠陥検出装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018534759

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896479

Country of ref document: EP

Kind code of ref document: A1