[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021065009A1 - 表面性状推定システム - Google Patents

表面性状推定システム Download PDF

Info

Publication number
WO2021065009A1
WO2021065009A1 PCT/JP2019/039387 JP2019039387W WO2021065009A1 WO 2021065009 A1 WO2021065009 A1 WO 2021065009A1 JP 2019039387 W JP2019039387 W JP 2019039387W WO 2021065009 A1 WO2021065009 A1 WO 2021065009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
surface texture
unit
feature amount
training data
Prior art date
Application number
PCT/JP2019/039387
Other languages
English (en)
French (fr)
Inventor
高橋　徹
石山　塁
賢吾 牧野
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/039387 priority Critical patent/WO2021065009A1/ja
Priority to JP2021550936A priority patent/JP7264268B2/ja
Priority to US17/764,697 priority patent/US20220326010A1/en
Publication of WO2021065009A1 publication Critical patent/WO2021065009A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/30—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
    • G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
    • G01N27/90—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents
    • G01N27/9046—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents by analysing electrical signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a surface texture estimation system, a surface texture estimation method, and a recording medium.
  • the surface texture means information on surface properties and states such as the roughness and shape of the surface of an object.
  • a typical method for grasping the surface texture is to measure the surface texture using a three-dimensional measurement sensor (for example, Patent Document 1).
  • Patent Document 2 a method has been proposed in which the surface texture is estimated from the image of the object by using an estimation model in which machine learning is performed based on the image of the surface of the object and the corresponding surface texture (for example).
  • the quality and distribution of individual products are controlled by assigning serial numbers, barcodes, QR codes, etc. to objects such as industrial products and products.
  • IC tags and RFID are attached to each product, and by wireless communication method, technology that realizes comprehensive product management from product production to distribution and sales, product loss prevention, theft prevention, and counterfeiting prevention is available. is there.
  • serial number, barcode, QR code, or individual management method for products using IC tags or RFID tags requires that these be given to individual products. Therefore, there is a problem that the cost becomes enormous in proportion to the production amount of the product. Further, for example, depending on the product such as physically small metal parts such as screws and bolts and resin parts, it is often not possible to directly enter the serial number or barcode or attach the above tag. Furthermore, even if it is possible to physically enter a barcode or the like or to attach a tag to the product, adding these will impair the design such as the appearance and design of the product. There is.
  • the surface texture can be easily grasped. Further, according to the method of extracting the feature amount peculiar to the object from the image obtained by photographing the surface of the object as described above, it is possible to easily generate an individual identifier that uniquely identifies the individual of the object.
  • the method of estimating the surface texture from the image of the surface of the object and the method of extracting the individual identifier from the image of the surface of the object were not organically related to each other. Therefore, it is difficult to estimate the surface texture from the image of the surface of the object, extract the feature amount peculiar to the object, and record the two in association with each other.
  • An object of the present invention is to provide a surface texture estimation system that solves the above-mentioned problems.
  • the surface texture estimation system is An image acquisition means for acquiring an image of the surface of an object, Using an estimation model machine-learned using an image of the surface of an object and the surface texture represented by the image as training data, an estimation means for estimating the surface texture from the acquired image, and An extraction means for extracting features unique to the image from the acquired image, and A registration means for associating the estimated surface texture with the extracted feature amount and storing it in the storage means, and Is configured to include.
  • the surface texture estimation method is Get an image of the surface of an object, Using an estimation model machine-learned using an image of the surface of an object and the surface texture represented by the image as training data, the surface texture is estimated from the acquired image. The feature amount peculiar to the image is extracted from the acquired image, and the feature amount is extracted. The estimated surface texture is associated with the extracted feature amount and stored in the storage means. It is configured as follows.
  • the computer-readable recording medium is On the computer The process of acquiring an image of the surface of an object, Using an estimation model machine-learned using an image of the surface of an object and the surface texture represented by the image as training data, a process of estimating the surface texture from the acquired image, and A process of extracting features unique to the image from the acquired image, and A process of associating the estimated surface texture with the extracted feature amount and storing it in a storage means, It is configured to record a program to do this.
  • the present invention can estimate the surface texture from the image of the surface of the object, extract the feature amount peculiar to the object, and record the two in association with each other.
  • FIG. 1 is a block diagram of the surface texture estimation system 100 according to the first embodiment of the present invention.
  • the surface texture estimation system 100 estimates the surface texture of an object from an image obtained by photographing the surface of an object such as an industrial product, extracts the feature amount peculiar to the object, and records the two in association with each other. It is a system.
  • the surface texture estimation system 100 has, as main components, a camera 110, a measurement sensor 120, a communication interface unit (hereinafter referred to as a communication I / F unit) 130, an operation input unit 140, and a screen display unit 150. , A storage unit 160 and an arithmetic processing unit 170 are provided.
  • the camera 110 is a photographing means for capturing an image of the surface of an object.
  • the camera 110 may be, for example, a visible light and color camera or a black-and-white camera equipped with a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor having a pixel capacity of about several million pixels.
  • CCD Charge-Coupled Device
  • CMOS Complementary MOS
  • the measurement sensor 120 is a sensor that measures the surface texture of an object.
  • various measurement sensors such as a stylus (contact) scanning method, an optical interferometry method, an image composition method by moving the focus, and a confocal method (laser measurement) may be used.
  • the communication I / F unit 130 is composed of a dedicated data communication circuit, and is configured to perform data communication with various devices connected via a wireless line or the like.
  • the operation input unit 140 is composed of an operation input device such as a keyboard and a mouse, and is configured to detect an operator's operation and output it to the arithmetic processing unit 170.
  • the screen display unit 150 is composed of a screen display device such as an LCD (Liquid Crystal Display) or a PDP (Plasma Display Panel), and displays various information such as a collation position on the screen in response to an instruction from the arithmetic processing unit 170. It is configured in.
  • the storage unit 160 is composed of a storage device such as a hard disk or a memory, and is configured to store processing information and a program 1601 required for various processes in the arithmetic processing unit 170.
  • the program 1601 is a program that realizes various processing units by being read and executed by the arithmetic processing unit 170, and is an external device (not shown) or an external device (not shown) via a data input / output function such as a communication I / F unit 130. It is read in advance from a recording medium (not shown) and stored in the storage unit 160.
  • the main processing information stored in the storage unit 160 includes training data 1602, estimation model 1603, image 1604, surface texture 1605, individual identifier 1606, and database 1607.
  • the training data 1602 has a plurality of pairs of an image of the surface of an object taken by the camera 110 and the surface texture represented by the image.
  • the estimation model 1603 is a model in which training is performed by an object recognition method by deep learning using the training data 1602. When an image is input, the estimation model 1603 outputs the surface texture estimated from the image.
  • Image 1604 is an image of the surface of an object taken by the camera 110.
  • the surface texture 1605 is a surface texture estimated from the image 1604 by the estimation model 1603.
  • the individual identifier 1606 is a feature amount extracted from the image 1604.
  • the database 1607 is configured to store an individual identifier of an object in association with a surface property.
  • the arithmetic processing unit 170 has a microprocessor such as an MPU and its peripheral circuits, and by reading and executing the program 1601 from the storage unit 160, the hardware and the program 1601 are made to cooperate to realize various processing units. It is configured to do.
  • the main processing units realized by the arithmetic processing unit 170 include a training data creation unit 1701, a learning unit 1702, an image acquisition unit 1703, an estimation unit 1704, an extraction unit 1705, a registration unit 1706, and a collation unit 1707.
  • the training data creation unit 1701 is configured to capture a predetermined area on the surface of the object with the camera 110. Further, the training data creation unit 1701 is configured to measure the surface texture of a predetermined region of the object surface by the measurement sensor 120. Further, the training data creation unit 1701 creates training data 1602 from an image of a predetermined region of the object surface taken by the camera 110 and the surface texture of the predetermined region of the object surface measured by the measurement sensor 120, and stores the training data 1602 in the storage unit 160. It is configured as follows.
  • the learning unit 1702 reads the training data 1602 from the storage unit 160, and uses the read training data 1602 to generate an estimation model 1603 in which the input is an image of the surface of the object and the output is the surface texture represented by the image by machine learning. It is configured to be generated and stored in the storage unit 160.
  • the learning unit 1702 is configured to build an estimation model 1603 on, for example, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the image acquisition unit 1703 is configured to photograph a predetermined area on the surface of the object with the camera 110 and store the image 1604 obtained by the image acquisition in the storage unit 160.
  • the estimation unit 1704 is configured to read the estimation model 1603 and the image 1604 from the storage unit 160, input the image 1604 to the estimation model 1603, and store the surface texture 1605 output from the estimation model 1603 in the storage unit 160. ing.
  • the extraction unit 1705 is configured to read the image 1604 from the storage unit 160, extract the feature amount peculiar to the image from the image 1604, and store the extracted feature amount in the storage unit 160 as an individual identifier 1606. .
  • any known method may be used.
  • the extraction unit 1705 determines from the image 1604 one or more places where the change in brightness is steep and the position can be stably obtained as a feature point, and digitizes the local brightness pattern around the feature point as a feature amount. It's okay.
  • the registration unit 1706 is configured to read the surface texture 1605 and the individual identifier 1606 from the storage unit 160, associate them, and store them in the database 1607.
  • the collation unit 1707 is configured to read the individual identifier 1606 from the storage unit 160 and collate the individual identifier 1606 with the individual identifier stored in the database 1607. Any known method may be used for collation of individual identifiers. For example, when the individual identifier is obtained by converting the local luminance pattern around the feature point described above into data as a feature amount, the collation unit 1707 may collate by the following method. First, the collating unit 1707 obtains the feature points that minimize the difference in the feature amount from both individual identifiers as a pair. Next, the collation unit 1707 extracts only the pair group whose relative positional relationship with the other feature points is consistent from the obtained pair group.
  • the collation unit 1707 sets the total number of feature points obtained from both individual identifiers as N, the number of feature point pairs with correct geometric arrangement as n, and the ratio s of n to N as the collation score of both individual identifiers. Calculate as. Finally, the collation unit 1707 determines that the two individual identifiers are the same if the collation score s is higher than a predetermined threshold value, and determines that the two individual identifiers are different otherwise.
  • the collation unit 1707 is configured to display the collation result on the screen display unit 150 and / and transmit it to an external device through the communication I / F unit 130.
  • the collation unit 1707 reads the surface texture stored in association with the individual identifier matched in the collation from the database 1607, displays the read surface texture on the screen display unit 150, and / and the communication I / F. It is configured to transmit to an external device through the unit 130.
  • the operation of the surface texture estimation system 100 is roughly classified into a learning operation, a registration operation, and a collation operation.
  • learning operation training data 1602 is created, and the estimated model 1603 is trained using the created training data 1602.
  • registration operation an image of the object to be registered is photographed, the surface texture is estimated from the captured image using the estimation model 1603, and the individual identifier is extracted from the captured image to obtain the estimated surface texture. It is registered in the database 1607 in association with the extracted individual identifier.
  • an image of the object to be collated is photographed, an individual identifier is extracted from the photographed image, the extracted individual identifier is collated with the individual identifier registered in the database, and the collation result is output.
  • FIG. 2 is a flowchart showing an example of the learning operation.
  • the training data creation unit 1701 repeats steps S2 to S4 a predetermined number of times (steps S1 and S5).
  • the specified number of times is arbitrary as long as it is equal to or greater than the number of times that the required amount of training data is created.
  • the surface texture estimation system 100 repeats steps S2 to S4 once or more for each learning object.
  • the training data creation unit 1701 photographs a predetermined area on the surface of the learning object with the camera 110.
  • the training data creation unit 1701 measures the surface texture of the predetermined region by the measurement sensor 120.
  • the training data creation unit 1701 creates one training data by associating the image acquired in step S2 with the surface texture acquired in step S3, and stores it in the storage unit 160.
  • FIG. 3 is a schematic diagram illustrating the operation of the training data creation unit 1701.
  • 181 is an object for learning
  • 182 is an inspection area set on the surface of the object 181.
  • the shape, size, and location of the inspection area 182 on the surface of the object are fixed in advance.
  • the surface of the object 181 is substantially flat
  • the inspection area 182 is rectangular.
  • a Cartesian coordinate system is defined in which the left lower end point of the inspection area 182 is the origin, the X axis is parallel to the major axis direction, the Y axis is parallel to the minor axis direction, and the Z axis is perpendicular to the XY plane.
  • the shape of the inspection area 182 is not limited to a rectangle, and may be any shape.
  • the coordinate system is not limited to the above-mentioned orthogonal coordinate system, and may be a polar coordinate system or the like.
  • 183 is a grayscale image of the inspection area 182 taken by the camera 110.
  • 184 is three-dimensional point cloud data of the inspection area 182 measured by the measurement sensor 120.
  • Each point data Dij represents a three-dimensional position (x, y, z) in a Cartesian coordinate system of points on the surface of an object.
  • the individual point data Dij has a one-to-one correspondence with the pixel Gij of the image 183. That is, the X coordinate value and the Y coordinate value of the point data Dij and the pixel Gij are the same.
  • the Z coordinate value of the point data Dij represents the height of the point on the inspection area 182 specified by the X coordinate value and the Y coordinate value.
  • three-dimensional point cloud data which is a collection of points corresponding to the pixels of the image 183, was used as the surface texture.
  • the surface texture is not limited to the three-dimensional point cloud data.
  • the surface texture may be surface roughness or the like that can be statistically derived from the three-dimensional point cloud data. Examples of surface roughness include surface roughness parameters such as arithmetic mean roughness (Ra) and maximum height (Rz).
  • the surface texture may be a normal vector of the surface shape corresponding to the pixels of the image 183.
  • the learning unit 1702 uses the training data 1602 created by the training data creation unit 1701 to make the input an image of the surface of the object and the output the surface texture represented by the image. Is generated by machine learning and stored in the storage unit 160 (step S6).
  • FIG. 4 is a flowchart showing an example of the registration operation.
  • the image acquisition unit 1703 photographs the inspection area on the surface of the object to be registered by the camera 110, and stores the obtained image 1604 in the storage unit 160 (step S11).
  • the estimation unit 1704 inputs the image 1604 acquired by the image acquisition unit 1703 into the trained estimation model 1603, and stores the surface texture 1605 output from the estimation model 1603 in the storage unit 160 (step S12).
  • the extraction unit 1705 extracts the image-specific feature amount from the image 1604 acquired by the image acquisition unit 1703, and stores the extracted feature amount in the storage unit 160 as the individual identifier 1606 (step S13).
  • the registration unit 1706 stores the surface texture 1605 estimated by the estimation unit 1704 and the individual identifier 1606 extracted by the extraction unit 1705 in the database 1607 in association with each other (step S14).
  • the surface texture estimation system 100 repeats the same operation as the above-described operation for the number of objects to be registered.
  • FIG. 5 is a schematic diagram illustrating the registration operation.
  • 185 is an object to be registered
  • 186 is an inspection area set on the surface of the object 185.
  • the shape, size, and location of the inspection area 186 on the surface of the object are the same as those at the time of learning.
  • 187 is a grayscale image of the inspection area 186 taken by the camera 110.
  • 188 is the surface texture of the inspection region 186 estimated from the image 186 using the estimation model 1603.
  • FIG. 6 is a flowchart showing an example of the collation operation.
  • the image acquisition unit 1703 photographs the inspection area on the surface of the object to be collated by the camera 110, and stores the obtained image 1604 in the storage unit 160 (step S21).
  • the extraction unit 1705 extracts the image-specific feature amount from the image 1604 acquired by the image acquisition unit 1703, and stores the extracted feature amount in the storage unit 160 as the individual identifier 1606 (step S22).
  • the collation unit 1707 collates the individual identifier 1606 extracted by the extraction unit 1705 with the individual identifier stored in the database 1607 (step S23).
  • the collation unit 1707 displays the collation result on the screen display unit 150 and / and transmits it to an external device through the communication I / F unit 130 (step S24).
  • FIG. 7 is a schematic diagram illustrating a collation operation.
  • 190 is an object to be collated
  • 191 is an inspection area set on the surface of the object 190.
  • the shape, size, and location of the inspection area 191 on the surface of the object are the same as those at the time of learning and at the time of registration.
  • 192 is a grayscale image of the inspection area 191 taken by the camera 110.
  • 193 is an individual identifier extracted from the image 192 by the extraction unit 1705.
  • This individual identifier 193 is collated with all individual identifiers stored in the database 1607. As a result of the collation, for example, when the individual identifier 193 matches the individual identifier 189 stored in the database 1607, a collation result indicating that the object 190 is a properly registered object is output. At that time, the surface texture 188 stored in association with the individual identifier 189 is read from the database 1607 and output together with the collation result. On the other hand, if the individual identifier 193 does not match any of the individual identifiers stored in the database 1607, a collation result indicating that the object 190 is a counterfeit product is output.
  • the surface texture estimation system 100 it is possible to estimate the surface texture from the photographed image of the surface of the object, extract the feature amount peculiar to the object, and record the two in association with each other.
  • the reason is that the image acquisition unit 1703 that acquires the image 1604 of the surface of the object, the estimation unit 1704 that estimates the surface texture 1605 from the image 1604 using the trained estimation model 1603, and the estimation unit 1704 that estimates the surface texture 1605 from the image 1604 are unique to the image.
  • it includes an extraction unit 1705 that extracts the individual identifier 1606, which is a feature quantity, and a registration unit 1706 that associates the estimated surface texture 1605 with the extracted individual identifier 1606 and stores it in the database 1607.
  • the surface texture stored in the database 1607 can be taken out and output in association with the time of registration.
  • the surface texture at the time of registration can be easily confirmed as an image at the time of collation of the genuine product.
  • the surface texture estimation system 200 is the same as the surface texture estimation system 100 except that the configuration of the training data creation unit 1701 is different from that of the surface texture estimation system 100 described with reference to FIG.
  • FIG. 8 is a block diagram of the training data creation unit 1701 in the surface texture estimation system 200.
  • the training data creation unit 1701 includes a measurement unit 17011, a correspondence table 17012, a shooting condition acquisition unit 17013, a shooting unit 17014, and a generation unit 17015.
  • the measuring unit 17011 is configured to measure the surface texture of a predetermined region of the object surface by the measuring sensor 120.
  • the surface texture is three-dimensional point cloud data.
  • Correspondence table 17012 is a database that records the surface texture of an object in association with the shooting conditions.
  • FIG. 9 shows an example of the contents of the correspondence table 17012.
  • the correspondence table 17012 is composed of a plurality of entries, and each entry has a surface texture column and a photographing condition column.
  • the imaging condition database 1153 is composed of m entries, and each entry has a one-to-one correspondence with the type of surface texture of the article.
  • the surface texture stored in each entry is three-dimensional point cloud data.
  • the shooting condition P1 for specifying the shooting condition suitable for shooting the three-dimensional shape of the object surface specified by the surface texture with good contrast is recorded.
  • the shooting conditions include, for example, an illumination angle.
  • the illumination angle is the angle at which the illumination light is incident on the surface of the object.
  • image resolution is represented by, for example, DPI (Dot Per Inch).
  • the shooting magnification may be used instead of the image resolution.
  • the shooting conditions are not limited to the above example.
  • the distance between the object and the camera, the intensity of the illumination light, the wavelength of the illumination light, the magnitude of the illumination, etc. are other examples of shooting conditions.
  • the shooting condition specified by the shooting condition P1 or the like may be one or a plurality of the shooting conditions exemplified above. It is desirable to learn the shooting conditions in advance for each type of surface texture.
  • the shooting condition acquisition unit 17013 is configured to acquire the shooting conditions of the object from the correspondence table 17012 based on the surface texture of the object measured by the measurement unit 17011. Specifically, the photographing condition acquisition unit 17013 calculates the degree of approximation between the measured surface texture of the object and the surface texture recorded in each entry in the correspondence table 17012. The method for calculating the degree of approximation between surface properties may be any method as long as the degree of approximation between information can be quantitatively compared. Next, the photographing condition acquisition unit 17013 acquires the imaging conditions recorded corresponding to the surface texture having the largest (most approximate) degree of approximation with the measured surface texture from the correspondence table 17012.
  • the shooting condition acquisition unit 17013 displays the acquired shooting condition on the screen display unit 150 and presents it to the operator.
  • the operator who performs the imaging can easily recognize the imaging conditions for photographing the surface of the object.
  • the shooting condition acquisition unit 17013 is configured to display the acquired shooting conditions on the display screen of the screen display unit 150.
  • the shooting condition acquisition unit 17013 may be configured to automatically set a shooting environment that matches the acquired shooting conditions.
  • the photographing unit 17014 is configured to photograph a predetermined area on the surface of the object with the camera 110 under the above-mentioned shooting conditions.
  • the generation unit 17015 creates training data 1602 from an image of a predetermined area of the object surface photographed by the photographing unit 17014 and the surface texture of the predetermined area of the object surface measured by the measuring unit 17011, and stores the training data 1602 in the storage unit 160. It is configured as follows.
  • the operation of the surface texture estimation system 200 is roughly classified into a learning operation, a registration operation, and a collation operation. Among them, the registration operation and the collation operation are the same as those of the surface texture estimation system 100 according to the first embodiment. The details of the learning operation will be described below.
  • FIG. 10 is a flowchart showing an example of the learning operation of the surface texture estimation system 200.
  • the training data creation unit 1701 repeats steps S32 to S35 a predetermined number of times (steps S31 and S36).
  • the specified number of times is arbitrary as long as it is equal to or greater than the number of times that the required amount of training data is created.
  • the surface texture estimation system 200 repeats steps S32 to S35 once or more for each learning object.
  • the training data creation unit 1701 measures the surface texture of a predetermined region on the surface of the learning object by the measurement sensor 120.
  • step S33 the training data creation unit 1701 acquires the imaging conditions stored in association with the surface texture that approximates the surface texture measured in step S32 from the correspondence table 17012.
  • step S34 the training data creation unit 1701 photographs a predetermined area on the surface of the learning object with the camera 110 under the imaging environment determined by the acquired imaging conditions.
  • step S35 the training data creation unit 1701 creates one training data by associating the image acquired in step S34 with the surface texture acquired in step S32, and stores it in the storage unit 160.
  • the learning unit 1702 uses the training data 1602 created by the training data creation unit 1701 to make the input an image of the surface of the object and the output the surface texture represented by the image.
  • the estimation model 1603 to be generated is generated by machine learning and stored in the storage unit 160 (step S37).
  • the training data creation unit 1701 measures the surface texture of the surface of the object using the measurement sensor 120, and corresponds to the imaging conditions recorded in association with the surface texture that approximates the measured surface texture. This is because the image is acquired from Table 17012 and the surface of the object is photographed under the acquired imaging conditions.
  • the quality of the training data composed of the photographed object surface image and the measured surface texture. Is improved, and the estimation accuracy of the estimation model 1603 is improved.
  • the three-dimensional point cloud data of the object surface is stored in the surface texture column of the object of each entry in the correspondence table 17012.
  • the surface roughness parameter for example, Ra
  • the shooting condition acquisition unit 17013 determines the surface roughness from the three-dimensional point group data of the learning object measured by the measurement unit 17011. The parameters may be calculated, and the imaging conditions corresponding to the surface roughness parameters that are close to the calculated surface roughness parameters may be acquired from the correspondence table 17012. If the surface texture of the learning object measured by the measuring unit 17011 is a parameter of the surface roughness in the first place, the above-mentioned calculation is unnecessary.
  • information that characterizes the surface of another object other than the surface texture may be recorded.
  • An example of information that characterizes the surface of another object is information that represents the material of the surface of the object. For example, metals, ceramics, resins, carbon fibers, glass, paper, wood, steel, etc. are examples of information expressing materials.
  • Yet another example of information that characterizes the surface of an object is the shape of the object (individual identification target) in the captured image. Examples of shapes include planes (rectangles), polygons, circles, rings (doughnut shapes) and the like. It can be said that the shape is a two-dimensional shape of the surface to be photographed.
  • the shape is the shape of the image region on the surface of the object from which the feature amount is extracted.
  • Other examples of data that characterize the surface of other objects include reflectance, transmittance, optical properties of the surface of the object, and processing methods such as satin finish and lathe processing.
  • FIG. 11 is a block diagram of the surface texture estimation system 300 according to the present embodiment.
  • the surface texture estimation system 300 includes an image acquisition unit 301, an estimation unit 302, an extraction unit 303, and a registration unit 304.
  • the image acquisition unit 301 is configured to acquire an image of the surface of an object.
  • the image acquisition unit 301 can be configured in the same manner as, for example, the image acquisition unit 1703 of FIG. 1, but is not limited thereto.
  • the estimation unit 302 is configured to estimate the surface texture from the image acquired by the image acquisition unit 301 by using an estimation model machine-learned using the image of the surface of the object and the surface texture represented by the image as training data. Has been done.
  • the estimation unit 302 can be configured in the same manner as, for example, the estimation unit 1704 in FIG. 1, but is not limited thereto.
  • the extraction unit 303 is configured to extract a feature amount unique to the image from the image acquired by the image acquisition unit 301.
  • the extraction unit 303 can be configured in the same manner as, for example, the extraction unit 1705 of FIG. 1, but is not limited thereto.
  • the registration unit 304 is configured to associate the surface texture estimated by the estimation unit 302 with the feature amount extracted by the extraction unit 303 and store it in a storage means (not shown).
  • the registration unit 304 can be configured in the same manner as, for example, the registration unit 1706 in FIG. 1, but is not limited thereto.
  • the surface texture estimation system 300 configured in this way operates as follows. That is, the image acquisition unit 301 acquires an image of the surface of the object. Next, the estimation unit 302 estimates the surface texture from the image acquired by the image acquisition unit 301 by using an estimation model machine-learned using the image of the surface of the object and the surface texture represented by the image as training data. Next, the extraction unit 303 extracts the feature amount peculiar to the image from the image acquired by the image acquisition unit 301. Next, the registration unit 304 stores the surface texture estimated by the estimation unit 302 and the feature amount extracted by the extraction unit 303 in association with each other in a storage means (not shown).
  • the image acquisition unit 301 uses an image acquisition unit 301 to acquire an image of the surface of the object and an estimation model machine-learned using the image of the surface of the object and the surface texture represented by the image as training data.
  • the estimation unit 302 that estimates the surface texture from the acquired image, the extraction unit 303 that extracts the feature amount unique to the image from the image acquired by the image acquisition unit 301, and the surface texture estimated by the estimation unit 302. This is because it includes a registration unit 304 that stores the feature amount extracted by the extraction unit 303 in a storage means (not shown) in association with the feature amount.
  • the present invention can be used for all systems that measure the surface texture of an object such as an industrial product and record it in association with an object identifier.
  • the training data generation means A measuring means that measures the surface texture of an object using a measuring sensor, A correspondence table that associates the surface texture with the shooting conditions, An imaging condition acquisition means for calculating the degree of approximation between the measured surface texture and the surface texture recorded in the correspondence table and acquiring imaging conditions from the correspondence table based on the calculated approximation degree. An imaging means for capturing an image of the surface of an object under the acquired imaging conditions, and A generation means for generating the training data from the captured image and the measured surface texture is provided.
  • the surface texture estimation system according to Appendix 1.
  • a collation means that collates the extracted feature amount with the feature amount stored in the storage means and outputs the surface texture stored in the storage means in association with the feature amount matching the extracted feature amount.
  • the surface texture is three-dimensional point cloud data.
  • the surface texture is a parameter of surface roughness.
  • [Appendix 6] Get an image of the surface of an object, Using an estimation model machine-learned using an image of the surface of an object and the surface texture represented by the image as training data, the surface texture is estimated from the acquired image.
  • the feature amount peculiar to the image is extracted from the acquired image, and the feature amount is extracted.
  • the estimated surface texture is associated with the extracted feature amount and stored in the storage means.
  • Surface texture estimation method [Appendix 7] In the generation of the training data, Measure the surface texture of an object using a measurement sensor, The degree of approximation between the surface texture recorded in the correspondence table for associating the surface texture and the imaging condition with the measured surface texture is calculated, and the imaging condition is acquired from the correspondence table based on the calculated approximation degree. An image of the surface of the object is taken under the acquired shooting conditions, and the image is taken. The training data is generated from the captured image and the measured surface texture.
  • the surface texture estimation method according to Appendix 6.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

表面性状推定システムは、物体の表面の画像を取得する画像取得手段と、物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、上記取得された画像から表面性状を推定する推定手段と、上記取得された画像から上記画像に固有の特徴量を抽出する抽出手段と、上記推定された表面性状と上記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、を備える。

Description

表面性状推定システム
　本発明は、表面性状推定システム、表面性状推定方法、および、記録媒体に関する。
　個々の物体（工業製品など）の表面性状を把握することは、物体の品質などを管理する上で重要である。ここで、表面性状とは、物体の表面の粗さ、形状等の表面の性質や状態に関する情報を意味する。表面性状を把握する典型的な手法は、３次元計測センサを用いて表面性状を計測することである（例えば特許文献１）。
　しかし、３次元計測センサを用いる手法は、高精度な計測が可能である反面、コスト面に課題がある。その理由は、専用ツールが必要であること、計測時間が長くなること、さらに熟練者が必要になることによる。
　そこで、物体の表面を撮影した画像とそれに対応する表面性状とに基づいて機械学習を行った推定モデルを使用して、物体を撮影した画像から表面性状を推定する手法が提案されている（例えば特許文献２）。
　一方、工業製品や商品等の物体に対して、製造番号やバーコード、ＱＲコード等を付与することで、製品個々の品質や流通管理を行っている。また、ＩＣタグやＲＦＩＤを製品個々に付与し、無線通信方式によって、効率よく製品の生産から物流、販売に至る総合的な製品管理や製品の紛失防止、盗難防止、偽造防止を実現する技術がある。
　しかし、上記製造番号やバーコード、ＱＲコード、あるいはＩＣタグやＲＦＩＤタグを用いる製品の個体管理手法は、これらを製造物個々に対して付与する必要がある。したがって、製品の生産量に比例してコストが膨大になるという課題がある。また、例えば、ネジやボルト等の物理的に小さな金属部品や樹脂製部品等、製品によっては、製造番号やバーコードを直接記入することや、上記タグを装着することができない場合も多い。さらに、バーコード等を物理的に記入することや、タグを付与することが可能な製造物であっても、これらを付与することは、製造物の外観や意匠といったデザインを損ねてしまうという課題がある。
　そこで、製品表面の微細凹凸や紋様、素材表面のランダムパターン等といった、同一製造過程で生じる自然発生的な微小な差異を、カメラ等の撮影装置を用いて画像として取得し、その撮影画像から製品個体に固有な特徴量を抽出することで、製品個々の識別や管理を行う手法が提案されている（例えば特許文献３）。
特開２０１５－１２９７５１ 特開２０１８－１５６４４２ ＷＯ２０１８／１００６６９
　上述したように物体表面を撮影した画像から表面性状を推定する手法によれば、表面性状を簡便に把握することができる。また、上述したように物体表面を撮影した画像から物体固有の特徴量を抽出する手法によれば、物体の個体を一意に識別する個体識別子を簡便に生成することができる。
　しかしながら、物体表面を撮影した画像から表面性状を推定する手法と物体表面を撮影した画像から個体識別子を抽出する手法とは、互いに有機的に関連付けられていなかった。そのため、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録するのは困難であった。
　本発明の目的は、上述した課題を解決する表面性状推定システムを提供することにある。
　本発明の一形態に係る表面性状推定システムは、
　物体の表面の画像を取得する画像取得手段と、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
　前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
を備えるように構成されている。
　また本発明の他の形態に係る表面性状推定方法は、
　物体の表面の画像を取得し、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
　前記取得された画像から前記画像に固有の特徴量を抽出し、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
ように構成されている。
　また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　物体の表面の画像を取得する処理と、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
　前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
を行わせるためのプログラムを記録するように構成されている。
　本発明は、上述したような構成を有することにより、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。
本発明の第１の実施形態に係る表面性状推定システムのブロック図である。 本発明の第１の実施形態に係る表面性状推定システムにおける学習動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおけるトレーニングデータ作成部の動作を説明する模式図である。 本発明の第１の実施形態に係る表面性状推定システムにおける登録動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおける登録動作を説明する模式図である。 本発明の第１の実施形態に係る表面性状推定システムにおける照合動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る表面性状推定システムにおける照合動作を説明する模式図である。 本発明の第２の実施形態に係る表面性状推定システムにおけるトレーニングデータ作成部のブロック図である。 本発明の第２の実施形態に係る表面性状推定システムにおける対応表の内容の一例を示す図である。 本発明の第２の実施形態に係る表面性状推定システムにおける学習動作の一例を示すフローチャートである。 本発明の第３の実施形態に係る表面性状推定システムのブロック図である。
　次に本発明を実施するための形態について詳細に説明する。
［第１の実施形態］
　図１は本発明の第１の実施形態に係る表面性状推定システム１００のブロック図である。表面性状推定システム１００は、工業製品などの物体の表面を撮影した画像からその物体の表面性状を推定すると共に物体固有の特徴量を抽出し、両者を関連付けて記録するように構成された情報処理システムである。
　表面性状推定システム１００は、主な構成要素として、カメラ１１０と、計測センサ１２０と、通信インターフェース部（以下、通信Ｉ／Ｆ部と記す）１３０と、操作入力部１４０と、画面表示部１５０と、記憶部１６０と、演算処理部１７０とを備えている。
　カメラ１１０は、物体の表面の画像を撮像するための撮影手段である。カメラ１１０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサを備えた可視光かつカラーカメラ或いは白黒カメラであってよい。
　計測センサ１２０は、物体の表面性状を計測するセンサである。計測センサ１２０としては、触針（接触）走査法、光干渉法、焦点移動による画像合成法、コンフォーカル法（レーザ計測）などの各種の計測センサを使用してよい。
　通信Ｉ／Ｆ部１３０は、専用のデータ通信回路から構成され、無線回線などを介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１４０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１７０に出力するように構成されている。画面表示部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１７０からの指示に応じて、照合位置などの各種情報を画面表示するように構成されている。
　記憶部１６０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１７０における各種処理に必要な処理情報およびプログラム１６０１を記憶するように構成されている。プログラム１６０１は、演算処理部１７０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれて記憶部１６０に保存される。記憶部１６０に記憶される主な処理情報には、トレーニングデータ１６０２、推定モデル１６０３、画像１６０４、表面性状１６０５、個体識別子１６０６、および、データベース１６０７がある。
　トレーニングデータ１６０２は、カメラ１１０によって撮影された物体の表面の画像とその画像が表す表面性状とのペアを複数有する。推定モデル１６０３は、トレーニングデータ１６０２を使用してディープラーニングによる物体認識手法により学習が行われたモデルである。推定モデル１６０３は、画像が入力されると、その画像から推定される表面性状を出力する。
　画像１６０４は、カメラ１１０によって撮影された物体の表面の画像である。表面性状１６０５は、推定モデル１６０３によって画像１６０４から推定された表面性状である。個体識別子１６０６は、画像１６０４から抽出された特徴量である。データベース１６０７は、物体の個体識別子と表面性状とを関連付けて記憶するように構成されている。
　演算処理部１７０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１６０からプログラム１６０１を読み込んで実行することにより、上記ハードウェアとプログラム１６０１とを協働させて各種処理部を実現するように構成されている。演算処理部１７０で実現される主な処理部には、トレーニングデータ作成部１７０１と学習部１７０２と画像取得部１７０３と推定部１７０４と抽出部１７０５と登録部１７０６と照合部１７０７とがある。
　トレーニングデータ作成部１７０１は、物体表面の所定領域をカメラ１１０によって撮影するように構成されている。またトレーニングデータ作成部１７０１は、物体表面の所定領域の表面性状を計測センサ１２０によって計測するように構成されている。またトレーニングデータ作成部１７０１は、カメラ１１０によって撮影した物体表面の所定領域の画像と計測センサ１２０によって計測した物体表面の所定領域の表面性状とからトレーニングデータ１６０２を作成し、記憶部１６０に記憶するように構成されている。
　学習部１７０２は、記憶部１６０からトレーニングデータ１６０２を読み込み、読み込んだトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶するように構成されている。学習部１７０２は、例えば畳み込みニューラルネットワーク（ＣＮＮ）上に推定モデル１６０３を構築するように構成されている。
　画像取得部１７０３は、物体表面の所定領域をカメラ１１０によって撮影し、その撮影して得られた画像１６０４を記憶部１６０に記憶するように構成されている。
　推定部１７０４は、記憶部１６０から推定モデル１６０３と画像１６０４とを読み込み、推定モデル１６０３に画像１６０４を入力し、推定モデル１６０３から出力される表面性状１６０５を記憶部１６０に記憶するように構成されている。
　抽出部１７０５は、記憶部１６０から画像１６０４を読み込み、その画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶するように構成されている。画像１６０４からその画像固有の特徴量を抽出する方法としては、公知の任意の方法を使用してよい。例えば、抽出部１７０５は、画像１６０４から、輝度の変化が急峻で、位置が安定して求まる場所を特徴点として１以上決定し、その特徴点周辺の局所的な輝度パターンを特徴量としてデータ化してよい。
　登録部１７０６は、記憶部１６０から表面性状１６０５と個体識別子１６０６とを読み出し、それらを関連付けてデータベース１６０７に記憶するように構成されている。
　照合部１７０７は、記憶部１６０から個体識別子１６０６を読み込み、その個体識別子１６０６とデータベース１６０７に記憶されている個体識別子とを照合するように構成されている。個体識別子の照合は、公知の任意の方法を使用してよい。例えば、個体識別子が前述した特徴点周辺の局所的な輝度パターンを特徴量としてデータ化したものである場合、照合部１７０７は以下のような方法で照合してよい。先ず、照合部１７０７は、双方の個体識別子から特徴量の差が最小となる特徴点をペアとして求める。次に照合部１７０７は、求めたペア群から、他の特徴点との相対的な位置関係が矛盾しないペア群のみを抽出する。次に照合部１７０７は、両個体識別子から求めた特徴点の数の合計をＮ、幾何的な配置が正しい特徴点ペアの数をｎとし、Ｎに対するｎの割合ｓを両個体識別子の照合スコアとして計算する。最後に照合部１７０７は、照合スコアｓが所定の閾値より高ければ、両個体識別子は同一であると決定し、そうでなければ両個体識別子は相違すると決定する。
　また照合部１７０７は、照合結果を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信するように構成されている。例えば照合部１７０７は、上記照合で合致した個体識別子に関連付けて記憶されている表面性状をデータベース１６０７から読み出し、この読み出した表面性状を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信するように構成されている。
　次に、表面性状推定システム１００の動作を説明する。表面性状推定システム１００の動作は、学習動作と登録動作と照合動作とに大別される。学習動作では、トレーニングデータ１６０２を作成し、その作成したトレーニングデータ１６０２を使用して推定モデル１６０３を学習する。登録動作では、登録対象となる物体の画像を撮影し、その撮影画像から推定モデル１６０３を使用して表面性状を推定し、また、その撮影画像から個体識別子を抽出し、上記推定した表面性状と上記抽出した個体識別子とを関連付けてデータベース１６０７に登録する。照合動作では、照合対象とする物体の画像を撮影し、その撮影画像から個体識別子を抽出し、抽出した個体識別子とデータベースに登録されている個体識別子とを照合し、その照合結果を出力する。以下、これらの動作の詳細を説明する。
＜学習動作＞
　図２は学習動作の一例を示すフローチャートである。図２を参照すると、トレーニングデータ作成部１７０１は、ステップＳ２～Ｓ４を規定回数繰り返す（ステップＳ１、Ｓ５）。規定回数は、必要な量のトレーニングデータが作成される回数以上であれば任意である。例えば、学習用の物体が複数存在する場合、表面性状推定システム１００は、ステップＳ２～Ｓ４を学習用の物体毎に１回以上繰り返す。ステップＳ２では、トレーニングデータ作成部１７０１は、学習用の物体の表面上の所定領域をカメラ１１０によって撮影する。ステップＳ３では、トレーニングデータ作成部１７０１は、上記所定領域の表面性状を計測センサ１２０によって計測する。ステップＳ４では、トレーニングデータ作成部１７０１は、ステップＳ２で取得した画像とステップＳ３で取得した表面性状とを対応付けて１つのトレーニングデータを作成し、記憶部１６０に記憶する。
　図３は、トレーニングデータ作成部１７０１の動作を説明する模式図である。図３において、１８１は学習用の物体、１８２は物体１８１の表面に設定された検査領域である。検査領域１８２の形状、サイズ、物体表面上の配置場所は事前に固定されている。以下、物体１８１の表面はほぼ平面であり、検査領域１８２は矩形とする。また、座標系として、検査領域１８２の左下端点を原点とし、長軸方向に平行にＸ軸、短軸方向に平行にＹ軸、ＸＹ平面に垂直にＺ軸をとった直交座標系を定める。但し、検査領域１８２の形状は矩形に限定されず、任意の形状であってよい。また座標系も上述した直交座標系に限定されず、極座標系などであってもよい。
　また図３において、１８３はカメラ１１０によって撮影した検査領域１８２のグレースケール画像である。画像１８３はｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図３において、１８４は計測センサ１２０によって計測した検査領域１８２の３次元点群データである。３次元点群データ１８４はｎ×ｍ個の点データＤｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。個々の点データＤｉｊは、物体表面上の点の直交座標系における３次元位置（ｘ，ｙ，ｚ）を表す。個々の点データＤｉｊは、画像１８３の画素Ｇｉｊに１対１に対応している。即ち、点データＤｉｊと画素ＧｉｊのＸ座標値およびＹ座標値は同じである。一方、点データＤｉｊのＺ座標値は、Ｘ座標値およびＹ座標値で特定される検査領域１８２上の点の高さを表している。
　図３に示す例では、表面性状として、画像１８３の画素に対応する点の集まりである３次元点群データを使用した。しかし、表面性状は３次元点群データに限定されない。表面性状は、３次元点群データから統計的に導出できる表面粗さなどであってもよい。表面粗さの例としては、算術平均粗さ（Ｒａ）、最大高さ（Ｒｚ）などの表面粗さパラメータがある。あるいは表面性状は、画像１８３の画素に対応する表面形状の法線ベクトルであってもよい。
　再び図２を参照すると、学習部１７０２は、トレーニングデータ作成部１７０１によって作成されたトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶する（ステップＳ６）。
＜登録動作＞
　図４は登録動作の一例を示すフローチャートである。図４を参照すると、画像取得部１７０３は、登録対象の物体の表面における検査領域をカメラ１１０によって撮影し、その得られた画像１６０４を記憶部１６０に記憶する（ステップＳ１１）。次に推定部１７０４は、画像取得部１７０３によって取得された画像１６０４を学習済みの推定モデル１６０３に入力し、推定モデル１６０３から出力される表面性状１６０５を記憶部１６０に記憶する（ステップＳ１２）。次に抽出部１７０５は、画像取得部１７０３によって取得された画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶する（ステップＳ１３）。次に登録部１７０６は、推定部１７０４によって推定された表面性状１６０５と抽出部１７０５によって抽出された個体識別子１６０６とを関連付けてデータベース１６０７に記憶する（ステップＳ１４）。登録対象の物体が複数存在する場合、表面性状推定システム１００は、以上説明した動作と同じ動作を登録対象の物体の数だけ繰り返す。
　図５は、登録動作を説明する模式図である。図５において、１８５は登録対象の物体、１８６は物体１８５の表面に設定された検査領域である。検査領域１８６の形状、サイズ、物体表面上の配置場所は学習時と同じである。また図５において、１８７はカメラ１１０によって撮影した検査領域１８６のグレースケール画像である。画像１８７は学習時と同じｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図５において、１８８は推定モデル１６０３を使用して画像１８６から推定した検査領域１８６の表面性状である。表面性状１８８は学習時と同じｎ×ｍ個の点データＤｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。また図５において、１８９は抽出部１７０５によって画像１８７から抽出された個体識別子である。この個体識別子１８９と表面性状１８８は、図５に示すように対応付けてデータベース１６０７に登録される。
＜照合動作＞
　図６は照合動作の一例を示すフローチャートである。図６を参照すると、画像取得部１７０３は、照合対象の物体の表面における検査領域をカメラ１１０によって撮影し、その得られた画像１６０４を記憶部１６０に記憶する（ステップＳ２１）。次に抽出部１７０５は、画像取得部１７０３によって取得された画像１６０４からその画像固有の特徴量を抽出し、その抽出した特徴量を個体識別子１６０６として記憶部１６０に記憶する（ステップＳ２２）。次に照合部１７０７は、抽出部１７０５によって抽出された個体識別子１６０６とデータベース１６０７に記憶されている個体識別子とを照合する（ステップＳ２３）。次に照合部１７０７は、照合結果を画面表示部１５０に表示し、または／および、通信Ｉ／Ｆ部１３０を通じて外部の装置へ送信する（ステップＳ２４）。
　図７は、照合動作を説明する模式図である。図７において、１９０は照合対象の物体、１９１は物体１９０の表面に設定された検査領域である。検査領域１９１の形状、サイズ、物体表面上の配置場所は学習時および登録時と同じである。また図７において、１９２はカメラ１１０によって撮影した検査領域１９１のグレースケール画像である。画像１９２は学習時および登録時と同じｎ×ｍ個の画素Ｇｉｊ（ｉ＝１，２，…，ｍ、ｊ＝１，２，…、ｎ）から構成されている。さらに図７において、１９３は抽出部１７０５によって画像１９２から抽出された個体識別子である。この個体識別子１９３がデータベース１６０７に記憶されている全ての個体識別子と照合される。その照合の結果、例えば個体識別子１９３がデータベース１６０７に記憶されている個体識別子１８９と合致した場合、物体１９０は正規に登録されている物体である旨の照合結果が出力される。その際、個体識別子１８９に対応付けて記憶されている表面性状１８８がデータベース１６０７から読み出され、照合結果と共に出力される。一方、個体識別子１９３がデータベース１６０７に記憶されている何れの個体識別子にも合致しない場合、物体１９０は偽造品である旨の照合結果が出力される。
　このように本実施形態に係る表面性状推定システム１００によれば、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。その理由は、物体の表面の画像１６０４を取得する画像取得部１７０３と、学習済みの推定モデル１６０３を用いて画像１６０４から表面性状１６０５を推定する推定部１７０４と、画像１６０４からその画像に固有の特徴量である個体識別子１６０６を抽出する抽出部１７０５と、推定された表面性状１６０５と抽出された個体識別子１６０６とを関連付けてデータベース１６０７に記憶する登録部１７０６とを備えているためである。
　また本実施形態によれば、個体識別子を用いた照合時、正規に登録されている物体であれば、登録時に関連付けてデータベース１６０７に記憶された表面性状を取り出して出力することができる。これによって、正規品の照合時に登録時の表面性状を画像として簡便に確認することができる。
［第２の実施形態］
　次に本発明の第２の実施形態に係る表面性状推定システム２００について説明する。表面性状推定システム２００は、図１を参照して説明した表面性状推定システム１００と比較して、トレーニングデータ作成部１７０１の構成が相違し、それ以外は表面性状推定システム１００と同じである。
　図８は、表面性状推定システム２００におけるトレーニングデータ作成部１７０１のブロック図である。図８を参照すると、トレーニングデータ作成部１７０１は、計測部１７０１１と対応表１７０１２と撮影条件取得部１７０１３と撮影部１７０１４と生成部１７０１５とを備えている。
　計測部１７０１１は、物体表面の所定領域の表面性状を計測センサ１２０によって計測するように構成されている。本例では、表面性状は３次元点群データである。
　対応表１７０１２は、物体の表面性状と撮影条件とを関連付けて記録するデータベースである。図９は対応表１７０１２の内容の一例を示す。この例では、対応表１７０１２は複数のエントリから構成され、各エントリは表面性状欄と撮影条件欄とを有する。表面性状がｍ種類存在する場合、撮影条件データベース１１５３はｍエントリから構成され、各エントリは物品の表面性状の種類に１対１に対応する。本例では、各エントリに記憶される表面性状は３次元点群データである。
　また対応表１７０１２の撮影条件欄には、表面性状で特定される物体表面の３次元形状をコントラスト良く撮影するのに適した撮影条件を特定する撮影条件Ｐ１などが記録される。撮影条件としては、例えば、照明角度がある。照明角度は、照明光が物体の表面に入射する角度である。また撮影条件の他の例として、画像解像度がある。画像解像度は、例えばＤＰＩ（Ｄｏｔ　Ｐｅｒ　Ｉｎｃｈ）で表される。また画像解像度と撮影倍率とには一定の因果関係があるため、画像解像度の代わりに撮影倍率を使用してもよい。但し、撮影条件は上記の例に限定されない。物体とカメラとの距離、照明光の強度、照明光の波長、照明の大きさなどが、撮影条件の他の例である。撮影条件Ｐ１などで特定する撮影条件は、上記例示した撮影条件のうちの何れか１つ、或いは複数を特定するものであってよい。撮影条件は、表面性状の種類ごとに事前に学習しておくことが望ましい。
　撮影条件取得部１７０１３は、計測部１７０１１によって計測された物体の表面性状に基づいて、その物体の撮影条件を対応表１７０１２から取得するように構成されている。具体的には、撮影条件取得部１７０１３は、計測された物体の表面性状と対応表１７０１２の各エントリに記録されている表面性状との近似度を算出する。表面性状間の近似度を計算する方法は、情報間の近似度を定量的に比較し得るものであれば如何なるものであってもよい。次に撮影条件取得部１７０１３は、計測された表面性状との間の近似度が最も大きい（最も近似している）表面性状に対応して記録されている撮影条件を対応表１７０１２から取得する。次に撮影条件取得部１７０１３は、取得した撮影条件を画面表示部１５０に表示してオペレータに提示する。これによって撮影を行うオペレータは、物体表面を撮影するための撮影条件を容易に認識することができるようになる。この例では、撮影条件取得部１７０１３は、取得した撮影条件を画面表示部１５０の表示画面に表示するように構成されている。しかし、撮影条件取得部１７０１３は、取得した撮影条件に合致する撮影環境を自動的に設定するように構成されていてもよい。
　撮影部１７０１４は、上記撮影条件の下で、物体表面の所定領域をカメラ１１０によって撮影するように構成されている。
　生成部１７０１５は、撮影部１７０１４によって撮影された物体表面の所定領域の画像と計測部１７０１１によって計測された物体表面の所定領域の表面性状とからトレーニングデータ１６０２を作成し、記憶部１６０に記憶するように構成されている。
　次に、表面性状推定システム２００の動作を説明する。表面性状推定システム２００の動作は、学習動作と登録動作と照合動作とに大別される。そのうち、登録動作と照合動作は、第１の実施形態に係る表面性状推定システム１００と同じである。以下、学習動作の詳細を説明する。
＜学習動作＞
　図１０は表面性状推定システム２００の学習動作の一例を示すフローチャートである。図１０を参照すると、トレーニングデータ作成部１７０１は、ステップＳ３２～Ｓ３５を規定回数繰り返す（ステップＳ３１、Ｓ３６）。規定回数は、必要な量のトレーニングデータが作成される回数以上であれば任意である。例えば、学習用の物体が複数存在する場合、表面性状推定システム２００は、ステップＳ３２～Ｓ３５を学習用の物体毎に１回以上繰り返す。ステップＳ３２では、トレーニングデータ作成部１７０１は、学習用の物体の表面上の所定領域の表面性状を計測センサ１２０によって計測する。ステップＳ３３では、トレーニングデータ作成部１７０１は、ステップＳ３２で計測された表面性状に近似する表面性状に対応付けて記憶されている撮影条件を対応表１７０１２から取得する。ステップＳ３４では、トレーニングデータ作成部１７０１は、上記取得した撮影条件で決定される撮影環境の下で、学習用の物体の表面上の所定領域をカメラ１１０によって撮影する。ステップＳ３５では、トレーニングデータ作成部１７０１は、ステップＳ３４で取得した画像とステップＳ３２で取得した表面性状とを対応付けて１つのトレーニングデータを作成し、記憶部１６０に記憶する。
　その後、第１の実施形態と同様に、学習部１７０２は、トレーニングデータ作成部１７０１によって作成されたトレーニングデータ１６０２を使用して、入力を物体表面の画像とし、出力をその画像が表す表面性状とする推定モデル１６０３を機械学習により生成し、記憶部１６０に記憶する（ステップＳ３７）。
　このように本実施形態によれば、学習用の物体の表面の３次元形状をコントラスト良く撮影することができる。その理由は、トレーニングデータ作成部１７０１は、計測センサ１２０を用いて物体の表面の表面性状を計測し、この計測された表面性状に近似する表面性状に対応付けて記録されている撮影条件を対応表１７０１２から取得し、その取得した撮影条件の下で物体の表面の画像を撮影するためである。
　このように本実施形態によれば、学習用の物体の表面の３次元形状をコントラスト良く撮影できるため、その撮影された物体表面の画像と計測された表面性状とから構成されるトレーニングデータの質が向上し、延いては推定モデル１６０３の推定精度が向上する。
　以上の説明では、対応表１７０１２の各エントリの物体の表面性状欄には、物体表面の３次元点群データを記憶した。しかし、対応表１７０１２の各エントリの表面性状欄には、３次元点群データでなく、３次元点群データから統計的に算出できる表面粗さのパラメータ（例えばＲａ）を記録するようにしてもよい。対応表１７０１２に表面粗さのパラメータと撮影条件との対応が記録されている場合、撮影条件取得部１７０１３は、計測部１７０１１によって計測された学習用物体の３次元点群データから表面粗さのパラメータを算出し、その算出した表面粗さのパラメータに近似する表面粗さのパラメータに対応する撮影条件を対応表１７０１２から取得するように構成してよい。なお、計測部１７０１１によって計測される学習用物体の表面性状がそもそも表面粗さのパラメータであれば、上述したような算出は不要である。
　また対応表１７０１２の各エントリの表面性状欄には、表面性状以外の、他の物体表面を特徴付ける情報を記録するようにしてもよい。他の物体の表面を特徴付ける情報の例は、物体表面の素材を表現する情報である。例えば、金属、セラミック、樹脂、炭素繊維、ガラス、紙、木材、鉄鋼などが素材を表現する情報の例である。物体の表面を特徴付ける情報の更に他の1つの例は、撮影画像中の物体（個体識別対象）の形状である。形状の例には、平面（矩形）、多角形、円、リング（ドーナツ形状）などがある。形状は、撮影対象の面の２次元的な形であるとも言える。また、形状は、特徴量を抽出する物体表面の画像領域の形状であるとも言える。他の物体の表面を特徴付けるデータの他の例は、物体の表面の反射率、透過率、光物性、梨地加工・旋盤加工などの加工方法などがある。このように他の物体の表面を特徴付ける情報が対応表に存在する場合、撮影条件取得部１７０１３は、操作入力部１４０を通じてオペレータから入力した学習用物体に係る当該他の物体の表面を特徴付ける情報をも考慮して、対応表から撮影条件を取得するようにしてもよい。
［第３の実施形態］
　次に、本発明の第３の実施形態について図１１を参照して説明する。図１１は、本実施形態に係る表面性状推定システム３００のブロック図である。
　図１１に示すように、本実施形態に係る表面性状推定システム３００は、画像取得部３０１と推定部３０２と抽出部３０３と登録部３０４とを含んで構成されている。
　画像取得部３０１は、物体の表面の画像を取得するように構成されている。画像取得部３０１は、例えば図１の画像取得部１７０３と同様に構成することができるが、それに限定されない。
　推定部３０２は、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定するように構成されている。推定部３０２は、例えば図１の推定部１７０４と同様に構成することができるが、それに限定されない。
　抽出部３０３は、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出するように構成されている。抽出部３０３は、例えば図１の抽出部１７０５と同様に構成することができるが、それに限定されない。
　登録部３０４は、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶するように構成されている。登録部３０４は、例えば図１の登録部１７０６と同様に構成することができるが、それに限定されない。
　このように構成された表面性状推定システム３００は、以下のように動作する。即ち、画像取得部３０１は、物体の表面の画像を取得する。次に推定部３０２は、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定する。次に抽出部３０３は、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出する。次に登録部３０４は、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶する。
　このように本実施形態によれば、物体表面を撮影した画像から表面性状を推定すると共に物体固有の特徴量を抽出して両者を関連付けて記録することができる。その理由は、物体の表面の画像を取得する画像取得部３０１と、物体の表面の画像とその画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、画像取得部３０１によって取得された画像から表面性状を推定する推定部３０２と、画像取得部３０１によって取得された画像からその画像に固有の特徴量を抽出する抽出部３０３と、推定部３０２によって推定された表面性状と抽出部３０３によって抽出された特徴量とを関連付けて記憶手段（図示せず）に記憶する登録部３０４とを備えているためである。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば以下のような構成も本発明に含まれる。
　本発明は、工業製品などの物体の表面性状を計測して物体識別子と対応付けて記録するシステム全般に利用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　物体の表面の画像を取得する画像取得手段と、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
　前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
を備える表面性状推定システム。
［付記２］
　トレーニングデータ生成手段を、さらに備え、
　前記トレーニングデータ生成手段は、
　計測センサを用いて物体の表面性状を計測する計測手段と、
　表面性状と撮影条件とを関連付ける対応表と、
　前記計測された表面性状と前記対応表に記録されている表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得する撮影条件取得手段と、
　前記取得された撮影条件の下で物体の表面の画像を撮影する撮影手段と、
　前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する生成手段と、を備える、
付記１に記載の表面性状推定システム。
［付記３］
　前記抽出された特徴量と前記記憶手段に記憶された特徴量とを照合し、前記抽出された特徴量に合致する特徴量に関連付けて前記記憶手段に記憶されている表面性状を出力する照合手段を、さらに備える、
付記１または２に記載の表面性状推定システム。
［付記４］
　前記表面性状は、３次元点群データである、
付記１乃至３の何れかに記載の表面性状推定システム。
［付記５］
　前記表面性状は、表面粗さのパラメータである、
付記１乃至３の何れかに記載の表面性状推定システム。
［付記６］
　物体の表面の画像を取得し、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
　前記取得された画像から前記画像に固有の特徴量を抽出し、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
表面性状推定方法。
［付記７］
　前記トレーニングデータの生成では、
　計測センサを用いて物体の表面性状を計測し、
　表面性状と撮影条件とを関連付ける対応表に記録されている表面性状と前記計測された表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得し、
　前記取得された撮影条件の下で物体の表面の画像を撮影し、
　前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する、
付記６に記載の表面性状推定方法。
［付記８］
　コンピュータに、
　物体の表面の画像を取得する処理と、
　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
　前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１００…表面性状推定システム
１１０…カメラ
１２０…計測センサ
１３０…通信Ｉ／Ｆ部
１４０…操作入力部
１５０…画面表示部
１６０…記憶部
１６０１…プログラム
１６０２…トレーニングデータ
１６０３…推定モデル
１６０４…画像
１６０５…表面性状
１６０６…個体識別子
１６０７…データベース
１７０…演算処理部
１７０１…トレーニングデータ作成部
１７０１１…計測部
１７０１２…対応表
１７０１３…撮影条件取得部
１７０１４…撮影部
１７０１５…生成部
１７０２…学習部
１７０３…画像取得部
１７０４…推定部
１７０５…抽出部
１７０６…登録部
１７０７…照合部
１８１…物体
１８２…検査領域
１８３…画像
１８４…表面性状
１８５…物体
１８６…検査領域
１８７…画像
１８８…表面性状
１８９…個体識別子
１９０…物体
１９１…検査領域
１９２…画像
１９３…個体識別子
２００…表面性状推定システム
３００…表面性状推定システム
３０１…画像取得部
３０２…推定部
３０３…抽出部
３０４…登録部

Claims (8)

  1. 　物体の表面の画像を取得する画像取得手段と、
    　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する推定手段と、
    　前記取得された画像から前記画像に固有の特徴量を抽出する抽出手段と、
    　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する登録手段と、
    を備える表面性状推定システム。
  2. 　トレーニングデータ生成手段を、さらに備え、
    　前記トレーニングデータ生成手段は、
    　計測センサを用いて物体の表面性状を計測する計測手段と、
    　表面性状と撮影条件とを関連付ける対応表と、
    　前記計測された表面性状と前記対応表に記録されている表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得する撮影条件取得手段と、
    　前記取得された撮影条件の下で物体の表面の画像を撮影する撮影手段と、
    　前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する生成手段と、を備える、
    請求項１に記載の表面性状推定システム。
  3. 　前記抽出された特徴量と前記記憶手段に記憶された特徴量とを照合し、前記抽出された特徴量に合致する特徴量に関連付けて前記記憶手段に記憶されている表面性状を出力する照合手段を、さらに備える、
    請求項１または２に記載の表面性状推定システム。
  4. 　前記表面性状は、３次元点群データである、
    請求項１乃至３の何れかに記載の表面性状推定システム。
  5. 　前記表面性状は、表面粗さのパラメータである、
    請求項１乃至３の何れかに記載の表面性状推定システム。
  6. 　物体の表面の画像を取得し、
    　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定し、
    　前記取得された画像から前記画像に固有の特徴量を抽出し、
    　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する、
    表面性状推定方法。
  7. 　前記トレーニングデータの生成では、
    　計測センサを用いて物体の表面性状を計測し、
    　表面性状と撮影条件とを関連付ける対応表に記録されている表面性状と前記計測された表面性状との近似度を算出し、前記算出した近似度に基づいて撮影条件を前記対応表から取得し、
    　前記取得された撮影条件の下で物体の表面の画像を撮影し、
    　前記撮影された画像と前記計測された表面性状とから前記トレーニングデータを生成する、
    請求項６に記載の表面性状推定方法。
  8. 　コンピュータに、
    　物体の表面の画像を取得する処理と、
    　物体の表面の画像と該画像が表す表面性状とをトレーニングデータとして機械学習された推定モデルを用いて、前記取得された画像から表面性状を推定する処理と、
    　前記取得された画像から前記画像に固有の特徴量を抽出する処理と、
    　前記推定された表面性状と前記抽出された特徴量とを関連付けて記憶手段に記憶する処理と、
    を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/039387 2019-10-04 2019-10-04 表面性状推定システム WO2021065009A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/039387 WO2021065009A1 (ja) 2019-10-04 2019-10-04 表面性状推定システム
JP2021550936A JP7264268B2 (ja) 2019-10-04 2019-10-04 表面性状推定システム
US17/764,697 US20220326010A1 (en) 2019-10-04 2019-10-04 Surface property estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039387 WO2021065009A1 (ja) 2019-10-04 2019-10-04 表面性状推定システム

Publications (1)

Publication Number Publication Date
WO2021065009A1 true WO2021065009A1 (ja) 2021-04-08

Family

ID=75336868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039387 WO2021065009A1 (ja) 2019-10-04 2019-10-04 表面性状推定システム

Country Status (3)

Country Link
US (1) US20220326010A1 (ja)
JP (1) JP7264268B2 (ja)
WO (1) WO2021065009A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777416A (ja) * 1993-09-08 1995-03-20 Tipton Mfg Corp ニューラルネットワークによる表面粗さ測定方法及び測定装置
WO2018100669A1 (ja) * 2016-11-30 2018-06-07 日本電気株式会社 個体識別装置
JP2019125112A (ja) * 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341124B2 (ja) * 2015-03-16 2018-06-13 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
JP6573311B2 (ja) * 2015-06-15 2019-09-11 パナソニック株式会社 顔認識システム、顔認識サーバ及び顔認識方法
US20170286761A1 (en) * 2016-03-31 2017-10-05 Pointgrab Ltd. Method and system for determining location of an occupant
JP2018156442A (ja) * 2017-03-17 2018-10-04 日本電信電話株式会社 推定器学習装置、法線方向推定装置、方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777416A (ja) * 1993-09-08 1995-03-20 Tipton Mfg Corp ニューラルネットワークによる表面粗さ測定方法及び測定装置
WO2018100669A1 (ja) * 2016-11-30 2018-06-07 日本電気株式会社 個体識別装置
JP2019125112A (ja) * 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKAHASHI, T. ET AL.: "Mass-produced Parts Traceability System Based on Automated Scanning of ''Fingerprint of Things", PROCEEDINGS OF THE 2017 FIFTEENTH IAPR INTERNATIONAL CONFERENCE ON MACHINE VISION APPLICATIONS(MVA, 12 May 2017 (2017-05-12), pages 202 - 206, XP033126609, ISBN: 978-4-9011-2216-0, DOI: 10.23919/MVA.2017.7986836 *

Also Published As

Publication number Publication date
JP7264268B2 (ja) 2023-04-25
JPWO2021065009A1 (ja) 2021-04-08
US20220326010A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
JP6708973B2 (ja) 判定方法、判定システム、判定装置、及びそのプログラム
JP6217886B1 (ja) 物体管理装置
JP5083395B2 (ja) 情報読取装置及びプログラム
US10775165B2 (en) Methods for improving the accuracy of dimensioning-system measurements
JP2011198349A (ja) 情報処理方法及びその装置
US10491880B2 (en) Method for identifying objects, in particular three-dimensional objects
JP6810392B2 (ja) 個体識別装置
JP6836403B2 (ja) サプライチェーン検索システムおよびサプライチェーン検索プログラム
JP2011096135A (ja) 画像処理装置、画像処理方法
JP2023040038A (ja) プログラム、情報処理方法及び情報処理装置
Babri et al. Feature based correspondence: a comparative study on image matching algorithms
JP2021086432A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、計測装置、システムおよび物品の製造方法
WO2021065009A1 (ja) 表面性状推定システム
JP5454639B2 (ja) 画像処理装置及びプログラム
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
CN111639726B (zh) 一种基于印章的身份认证系统和方法
CN101180657A (zh) 信息终端
JP7176638B2 (ja) 照合位置出力システム
GB2432029A (en) Imprint identification system using image scanner calibration
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
JP6249025B2 (ja) 画像処理装置及びプログラム
EP4120195A1 (en) A method, a computer program and a system for calibrating at least one camera
WO2023148970A1 (ja) 管理装置、管理方法、およびコンピュータ可読媒体
WO2021171493A1 (ja) 基板管理システム
Zhang et al. A novel automatic full-scale inspecting system for banknote printing plates

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947929

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550936

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947929

Country of ref document: EP

Kind code of ref document: A1