[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015107859A1 - 画像照合装置、画像センサ、処理システム、画像照合方法 - Google Patents

画像照合装置、画像センサ、処理システム、画像照合方法 Download PDF

Info

Publication number
WO2015107859A1
WO2015107859A1 PCT/JP2014/084644 JP2014084644W WO2015107859A1 WO 2015107859 A1 WO2015107859 A1 WO 2015107859A1 JP 2014084644 W JP2014084644 W JP 2014084644W WO 2015107859 A1 WO2015107859 A1 WO 2015107859A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature point
model
allowable
luminance gradient
Prior art date
Application number
PCT/JP2014/084644
Other languages
English (en)
French (fr)
Inventor
嘉典 小西
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201480069612.4A priority Critical patent/CN105849774B/zh
Priority to EP14879004.1A priority patent/EP3096289B1/en
Priority to US15/110,116 priority patent/US9978138B2/en
Publication of WO2015107859A1 publication Critical patent/WO2015107859A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • the present invention relates to a technique for performing image matching by template matching.
  • An image sensor In the FA (Factory Automation) field, a sensor device called an image sensor (visual sensor) is widely used to measure and monitor a measurement object (hereinafter also referred to as “work”) flowing through a line.
  • An image sensor is composed of a camera and an image processing device, and detects the work in the image by matching processing (template matching) with a pre-registered teacher object (hereinafter also referred to as “model” or “pattern”). It has a function to extract and measure various information.
  • the output of the image sensor is used for various purposes such as workpiece identification, inspection, and sorting.
  • Distance conversion is a technique for obtaining the shortest distance from the edge for each pixel in an image and performing matching based on this shortest distance (Patent Document 1). According to this method, matching can be performed between the model image and the input image with a tolerance for the position coordinates of the edge.
  • Elastic matching is a technique for performing matching by calculating similarity based on the correspondence (mapping function) between feature points of a model image and an input image (Patent Documents 2 and 3). According to this method, It is possible to perform matching between the model image and the input image with a tolerance for the edge position coordinates.
  • tolerance is given to the position coordinates of the edge, but there is no restriction on how each edge point is deformed, and collation is performed if there is an edge point within the allowable range in the input image. Become a success. Therefore, erroneous matching is likely to occur when there are many edges in the background. In order to improve the accuracy of matching, it is desirable to provide a more detailed tolerance scale for shape change.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of collating a variable shape object by more finely specifying an allowable shape change.
  • the present invention employs a configuration in which shape matching is performed by providing an allowable range for both the position of the feature point and the direction of the luminance gradient at the feature point.
  • the image matching apparatus includes a storage unit that stores a model image including the position of the feature point of the object to be matched and the direction of the luminance gradient at the position of each feature point, and a feature from the input image.
  • a feature amount acquisition unit that acquires a position of a point and a luminance gradient direction at the position of each feature point
  • an image verification unit that performs verification of the model image and the input image.
  • the image matching unit is configured to detect, for a feature point (model feature point) included in the model image, a luminance gradient direction in the input image corresponding to the positional deviation allowable range of the model feature point. When there is a feature point that falls within the allowable range, it is determined that a feature point corresponding to the model feature point exists in the input image, and image matching is performed.
  • the deformation tolerance can be set more finely than before in the image matching of the deformable object.
  • the allowable range of the position of the feature point can be a rectangle (square or rectangle), a circle, an ellipse, or the like with the position of the feature point in the model image as the center.
  • the shape of the allowable range may be arbitrary, but if it is a rectangle (square or rectangular), it is easy to determine whether it is within the allowable range. If it is a circle, it is possible to evenly tolerate misalignment in any direction. If an ellipse or a rectangle is used, it is possible to allow the position to shift greatly in a specific direction.
  • the allowable range of the position may be an arbitrary shape, and the center may not be the position of the feature point of the model image.
  • the allowable range of the direction of the luminance gradient can be a predetermined angle range centered on the direction of the luminance gradient in the model image.
  • a difference in angle between the clockwise direction and the counterclockwise direction may be allowed without centering on the direction of the luminance gradient in the model image.
  • any point can be adopted as long as it is obtained as a characteristic point from the image.
  • an edge point can be adopted as a feature point in the present invention.
  • other feature points such as SIFT, SURF, Harris corner point can be adopted.
  • the image collating apparatus further includes an allowable range setting unit for a user to set the allowable range of the feature point position and the luminance gradient direction at each feature point in the image verification.
  • the permissible range setting means can be configured such that the user can set either or both of the permissible ranges of the position and direction described above.
  • a specific numerical value may be set by the user, or an allowable level may be set by the user.
  • the allowable range setting means associates the combination of the allowable deformation pattern with the level of the allowable deformation amount and the combination of the allowable range of the feature point position and the allowable range in the direction of the luminance gradient at each feature point position. And accepting an allowable deformation pattern and an allowable deformation amount level from the user, and based on an input from the user, the allowable range of the feature point position and the direction of the luminance gradient at each feature point position. It can also be configured to determine an acceptable range. In this way, the user can understand the setting contents more easily.
  • the image collating apparatus is a corresponding point position storage unit that stores the position of the feature point in the input image corresponding to the model feature point detected by the image collating unit in association with the model feature point.
  • output means for outputting the position of the feature point in the input image corresponding to the model feature point stored in the corresponding point position storage means.
  • the output destination by the output means may be an output device such as a display, or a control device that controls another machine.
  • the present invention can be understood as an image collating apparatus having at least a part of the above configuration.
  • the present invention can also be understood as an image sensor having a camera that captures an object and an image collation device.
  • the present invention can also be understood as a processing system that controls a processing device that performs operations on the image sensor and the object to be collated. For example, when the image sensor outputs the position of the feature point in the input image corresponding to the model feature point, the control device performs an operation on the part determined based on the position of the feature point. By controlling the processing device, it is possible to perform an appropriate operation in consideration of the shape change of the verification target object.
  • the present invention provides a method for controlling an image collating apparatus including at least a part of the above processing, a program for causing a computer to execute the method, or a computer-readable recording medium storing the program non-temporarily. It can also be captured.
  • a method for controlling an image collating apparatus including at least a part of the above processing, a program for causing a computer to execute the method, or a computer-readable recording medium storing the program non-temporarily. It can also be captured.
  • FIG. 1 is a diagram illustrating an overall configuration of an image sensor according to an embodiment.
  • 1 is a diagram showing a hardware configuration of an image sensor according to an embodiment.
  • FIG. 3 is a diagram illustrating a functional configuration related to image collation of the image processing apparatus according to the first embodiment.
  • the flowchart which shows the flow of an image collation process.
  • the figure which shows the example of a model image.
  • the figure which shows the tolerance
  • (A) is a model image
  • (b) is an input image
  • (c) is a comparison between the model image and the input image.
  • (A) is a model image
  • (b) is a collation result for the “thin” deformation
  • (c) is a collation result for the “missing” deformation
  • (d) is a collation result for the “other” deformation.
  • (A) (b) shows the example of the setting screen of a positional deviation allowable amount and a direction deviation allowable amount, respectively.
  • (A) shows an example of a setting screen for a positional deviation allowable amount and a direction deviation allowable amount
  • (b) shows an example of a table storing the correspondence between the deformation pattern and the allowable level and the positional deviation allowable amount and the allowable direction deviation.
  • Figure. The figure which shows the modification of a position shift allowable range and a direction shift allowable range.
  • the present invention relates to a technique for detecting a predetermined object from an image taken by a camera.
  • This technology can be applied to object detection in an image sensor for FA, computer vision, machine vision, and the like.
  • an example in which the present invention is mounted on an FA image sensor that detects a workpiece in a line through which a workpiece of a deformable object flows will be described as one preferred application example of the present invention.
  • the image sensor 1 is a system that is installed on a production line or the like and detects the position of the workpiece 2 using an input image obtained by imaging a product (work 2).
  • the image sensor 1 can be equipped with various image processing functions as necessary, such as edge detection, scratch / dirt detection, and area / length / centroid measurement.
  • the workpiece 2 is an object (variable shape object) whose shape changes depending on the situation even if it is the same individual, or there is a difference in shape between individuals.
  • the image sensor 1 periodically captures an image from the camera 11, performs processing such as position detection of each workpiece 2 included in the image by the image processing device 10, displays the result on the display 12, or displays an external device ( To PLC4).
  • a PLC (Programmable Logic Controller) 4 is a device that controls a manufacturing apparatus (not shown) such as the image sensor 1, the conveyor 3, and a robot.
  • the image sensor 1 generally includes a camera 11 and an image processing device 10.
  • the camera 11 is a device for capturing the image of the workpiece 2 into the image processing apparatus 10, and for example, a CMOS (Complementary Metal-Oxide-Semiconductor) camera or a CCD (Charge-Coupled Device) camera can be suitably used.
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge-Coupled Device
  • the format of the input image is arbitrary, and may be appropriately selected according to the type of workpiece 2 and the purpose of sensing.
  • a special image other than a visible light image such as an X-ray image or a thermo image
  • a camera that matches the image may be used.
  • the image processing apparatus 10 includes a CPU (Central Processing Unit) 110, a main memory 112 and a hard disk 114 as a storage unit, a camera interface 116, an input interface 118, a display controller 120, a PLC interface 122, and a communication interface. 124 and a data reader / writer 126. These units are connected to each other via a bus 128 so that data communication is possible.
  • the camera interface 116 is a part that mediates data transmission between the CPU 110 and the camera 11, and has an image buffer 116 a for temporarily storing image data from the camera 11.
  • the input interface 118 mediates data transmission between the CPU 110 and an input unit (mouse 13, keyboard, touch panel, jog controller, etc.).
  • the display controller 120 is connected to a display 12 such as a liquid crystal monitor, and controls display on the display 12.
  • the PLC interface 122 mediates data transmission between the CPU 110 and the PLC 4.
  • the communication interface 124 mediates data transmission between the CPU 110 and a console (or a personal computer or a server device).
  • the data reader / writer 126 mediates data transmission between the CPU 110 and the memory card 14 as a storage medium.
  • the image processing apparatus 10 can be configured by a computer having a general-purpose architecture, and the CPU 110 reads and executes a program (instruction code) stored in the hard disk 114 or the memory card 14 to provide various functions. .
  • a program instruction code
  • Such a program is distributed in a non-temporarily stored state on a computer-readable recording medium such as the memory card 14 or an optical disk.
  • an OS operation for providing a basic function of the computer
  • the program according to the present embodiment may realize a target function by using a program module provided by the OS.
  • the program according to the present embodiment may be provided as a single application program, or may be provided as a module incorporated in a part of another program. Further, a part or all of the functions may be replaced with a dedicated logic circuit.
  • the image processing apparatus 10 has a function of detecting an object to be detected from an input image using a template matching technique.
  • FIG. 3 shows a functional configuration related to object detection (position detection) provided by the image processing apparatus.
  • the image processing apparatus 10 includes an image input unit 130, a collation range determination unit 131, a feature amount acquisition unit 132, an image collation unit 133, an output unit 134, a storage unit 135, and a setting unit 136 as functions related to position detection. Yes. These functional blocks are realized by the CPU 110 of the image processing apparatus 10 executing a computer program.
  • the image input unit 130 is a functional unit that acquires an image of a work photographed by the camera 11.
  • the collation range determination unit 131 is a functional unit that determines a range (collation range) for collation with the model image.
  • the size of the collation range is the same as the size of the model image, and the position is determined by the collation range determination unit 131.
  • the position of the collation range may be sequentially changed by scanning the input image, or may be determined as a position where an object is likely to exist by performing simple object detection processing.
  • the feature amount acquisition unit 132 is a functional unit that acquires a feature point and a luminance gradient direction at the position from the input image.
  • edge points are adopted as feature points. Any existing method can be adopted as the method for acquiring the edge point. For example, first, a differential filter such as a Sobel filter is applied to an input image to obtain a luminance gradient vector (luminance gradient direction), and an edge point is a point where the gradient vector takes a maximum value in the luminance gradient direction. Can be extracted. It is also preferable to perform a thinning process before and after edge detection.
  • the image collating unit 133 collates the collation range of the input images determined by the collation range determining unit 131 with the model image 135a stored in the storage unit 135, and the collation target object exists within the collation range. It is determined whether or not to do so.
  • the image matching unit 133 performs a matching process by providing predetermined tolerance ranges for the positional deviation of the feature points and the direction deviation of the luminance gradient. In order to enable such processing, the image matching unit 133 holds a misalignment allowance 133a, a direction deviation allowance 133b, and a matching threshold (determination threshold) 133c as matching parameters.
  • the output unit 134 outputs the collation result by the image collation unit 133.
  • the position in the input image where the image matching unit 133 detects the matching target object is output by highlighting or a numerical value in the image.
  • the storage unit 135 stores information (referred to as a model image) related to the verification target object.
  • FIG. 5 shows an example of the model image 135 a stored in the storage unit 135.
  • the model image 135a includes the position 51 of the edge point (feature point) of the object 50 to be collated and the direction 52 of the luminance gradient at that point.
  • eight edge points are shown in FIG. 5, the number of edge points may be arbitrary, and the number may be several tens to several hundreds or more.
  • the setting unit 136 is a functional unit that allows the user to set a positional deviation allowable amount 133a, a direction deviation allowable amount 133b, and a verification threshold value 133c, which are verification parameters used by the image verification unit 133 for verification. Details of the method of setting these parameters will be described later.
  • Image verification processing In the image matching process according to the present embodiment, when determining whether or not a feature point corresponding to a feature point (model feature point) included in the model image exists in the input image, the position of the feature point and the deviation in the luminance gradient direction are determined. Judgment is allowed. Specifically, if there is a feature point whose luminance gradient direction is within the allowable range of deviation in the luminance gradient direction at the model feature point in the input image corresponding to the allowable deviation range of the model feature point, the model feature point Is determined to exist in the input image.
  • the image processing apparatus 10 acquires an image captured by the camera 11 via the image input unit 130 (S10).
  • this image is referred to as an input image.
  • the feature amount acquisition unit 132 acquires edge points and luminance gradient directions at the respective edge points from the input image (S12).
  • the collation range determination unit 131 determines a range (collation range) to be collated with the model image from the input image (S14).
  • the collation range may be a position obtained by sequentially scanning the input image. Alternatively, a separate simple object detection process may be performed and a position where the detection target object is likely to exist may be set as the collation range. Steps S14 to S26 are performed for each collation area.
  • the image matching unit 133 resets the matching score to zero (S16), and then checks whether the corresponding edge point exists in the matching range of the input image for each edge point of the model image (S18). If the corresponding edge point exists in the input image, the collation score is increased by 1. If it does not exist, nothing is done and the next edge point is examined.
  • the matching score is an integer having the maximum number of edge points in the model image, but a value normalized with a predetermined value (for example, 100) as the maximum value may be used as the matching score.
  • the image matching process allows the positional deviation of the edge point and the deviation of the direction of the luminance gradient when determining whether or not the corresponding edge point exists.
  • the collation parameters for designating the allowable amount are a positional deviation allowable amount 133a and a direction deviation allowable amount 133b.
  • FIG. 6 is a view for explaining the positional deviation allowable amount 133a and the direction deviation allowable amount 133b.
  • the positional deviation allowable amount 133a is specified as the distance 61 from the edge point 51 in the model image. That is, a circle 62 having a predetermined radius 61 with the position of the edge point 51 in the model image as the center is an allowable position shift range.
  • the direction deviation allowable amount 133b is specified as an angle 63 with the luminance gradient direction 52 at the edge point 51 in the model image. That is, a range 64 within an angle 63 centering on the direction of the luminance gradient in the model image is an allowable range of direction deviation.
  • FIG. 7A shows a model image, which is composed of eight edge points 71a to 78a and luminance gradient directions at the respective edge points as in FIG.
  • FIG. 7B shows the edge points 71b to 78b of the input image acquired by the feature amount acquisition unit 132 and the luminance gradient direction at each edge point.
  • step S18 the image matching unit 133 checks whether an edge point corresponding to the edge point of the model image exists in the input image.
  • the positional deviation specified by the positional deviation allowable amount 133a and the direction deviation in the luminance gradient direction at the edge point position specified by the direction deviation allowable amount 133b are allowed.
  • the edge point of the model image It is determined that the corresponding edge point exists in the input image.
  • FIG. 7C is a diagram in which the model image of FIG. 7A and the input image of FIG. 7B are overlaid.
  • a misalignment allowable range centered on the edge points 71a to 78a of the model image is indicated by a circle. Illustration of the allowable direction deviation range in the luminance gradient direction is omitted.
  • the edge points 73a and 75a to 78a the edge points 73b and 75b to 78b having the same luminance gradient direction exist at the same position in the input image. Therefore, the edge points corresponding to the respective edge points Is present in the input image.
  • the edge point 71a the edge point 71b having the same luminance gradient direction is present in the positional deviation allowable range although it is not completely the same position, so it is determined that the corresponding edge point exists in the input image.
  • the edge point 72a since there is an edge point 72b that has a luminance gradient direction that is not in the same direction but in the direction deviation allowable range at the same position, it is determined that the corresponding edge point exists in the input image.
  • the edge point 74a there is an edge point 74b that is not in the same position but within the positional deviation allowable range but has a luminance gradient direction that is not in the same direction but within the direction deviation allowable range. Is determined to exist.
  • the image processing apparatus 10 repeatedly performs the processing of steps S18 to S20 as described above for all edge points in the model image, and then determines whether or not the obtained matching score is equal to or greater than a predetermined matching threshold. (S22).
  • the image collation unit 133 determines that an object to be collated exists within the search range of the input image (S24). Conversely, if the matching score is less than the matching threshold, it is determined that there is no object to be matched within the search range of the input image (S26).
  • the image processing apparatus 10 repeatedly performs the processes in steps S14 to S26 by changing the collation area, and outputs the collation result after completing the collation process for all the collation areas.
  • the collation result may be sent to the output unit 134 and displayed, or may be used as an input for another process (for example, an inspection process) in the image processing apparatus 10.
  • the first issue result is output every time the processing is completed for one collation range or an object is detected. Also good.
  • FIG. 8A is an example of a model image showing an object to be collated, and here is an object having a T-shape.
  • FIGS. 8B to 8D show the input image when the object to be verified is deformed, and the verification score in each setting.
  • “Position 0, direction 0”, “Position 0, direction 3”, “Position 3, direction 0”, etc. in FIGS. 8B to 8D indicate how much positional deviation and direction deviation are allowed.
  • the allowable deviation amounts are set at six levels from 0 to 5, with 0 being not allowed for deviation and 5 being allowed at the maximum.
  • a matching score as a result of image matching using each matching parameter is also shown. The collation score here is normalized so that the maximum value becomes 100.
  • FIG. 8B shows an input image in a case where a deformation with a narrow width occurs.
  • the position of the edge point changes without changing the luminance gradient direction at the edge point. Therefore, the collation score increases with the setting of “position 3, direction 0” that increases the allowable amount of positional deviation. That is, even when a thin or thick deformation occurs, an object can be detected correctly.
  • FIG. 8 (c) shows an input image when a portion that is originally a straight line is missing.
  • the position of the edge point does not change so much, but the luminance gradient direction at the edge point changes. Therefore, the collation score increases with the setting of “position 1, direction 4” that allows a slight positional deviation and a relatively large direction deviation. That is, even when a chipped deformation occurs, an object can be correctly detected.
  • FIG. 8D shows an input image when the shape of the object is distorted.
  • both the position of the edge point and the luminance gradient direction at the edge point change. Accordingly, the collation score increases with the setting of “position 2 and direction 3” in which both positional deviation and direction deviation are relatively large. That is, even when deformation such as distortion occurs, an object can be correctly detected.
  • a setting unit (allowable range setting means) 136 displays a setting user interface on the display 12, and the user inputs collation parameters using the mouse 13 or the like.
  • FIG. 9A shows an example of a user interface for setting collation parameters.
  • the user inputs numerical values for a positional deviation allowable amount, a direction deviation allowable amount, and a determination threshold (collation threshold).
  • the misregistration allowable amount may be specified as an absolute value such as a pixel unit, or may be specified as a relative value with respect to the size of the model image (for example, the size of the horizontal size).
  • the allowable amount of direction deviation is specified in degrees.
  • the determination threshold is specified as a numerical value between the minimum value and the maximum value (0 to 100 in this example) of the matching score.
  • FIG. 9B shows another example of a user interface for setting collation parameters.
  • a specific numerical value is not input as shown in FIG. 9A, but a level indicating an allowable error is input.
  • the positional deviation allowable amount, the direction deviation allowable amount, and the determination threshold value can all be specified in 11 stages of 0-10.
  • Each stage and specific parameter values may be determined internally in advance.
  • the parameter value increases at equal intervals according to the level.
  • the positional deviation allowable amount increases by 3 pixels per step, and the direction deviation allowable amount increases by 10 degrees per step. You may do it.
  • the number of stages that can be set may be any number other than the 11 stages shown in FIG. 9B, and the number of stages that can be set for each parameter may be different.
  • FIG. 10 (a) shows another example of a user interface for setting collation parameters.
  • the user is allowed to set the positional deviation allowable amount and the direction deviation allowable amount independently, but in this example, what deformation pattern is allowed and the degree of the allowable level Let the user set these two values.
  • three patterns of “thin / thick”, “chip” and “other” are prepared as allowable deformation patterns.
  • FIG. 10B is a table that defines a correspondence relationship between a combination of a deformation pattern and an allowable level, and a combination of a positional deviation allowable amount and a direction deviation allowable amount. Instead of storing the table, a calculation formula (function) for calculating each allowable amount from the allowable level may be stored for each deformation pattern.
  • Thinning / thickening is assumed to be a deformation in which the thickness of a wide object changes, that is, a deformation in which the position of a feature point does not change although the luminance gradient direction does not change. Therefore, the allowable positional deviation amount is set to increase as the allowable level of the deformation amount increases.
  • “Deficit” is assumed to be a deformation in which the linear boundary is jagged, that is, a deformation in which the position of the feature point slightly changes and the luminance gradient direction changes relatively greatly. Therefore, the direction deviation allowable amount is set to increase as the deformation level allowable level increases.
  • “Others” is assumed to be any modification not assumed in the above two. Accordingly, the amount of allowable positional deviation and the allowable amount of direction deviation are set to increase as the allowable level of deformation increases.
  • the numerical value shown here is only an example, and the correspondence with specific collation parameters may be determined as appropriate.
  • the allowable deformation patterns are not limited to the above three types, and may be more or less.
  • the user sets both the positional deviation allowable amount and the direction deviation allowable amount, but the user may set only one of them.
  • the description of setting the determination threshold is omitted, but the determination threshold may be specified separately, or may be automatically changed according to the allowable level.
  • FIG. 12 is a functional block diagram of the image processing device 20 of the image sensor 1 according to the present embodiment. The difference from the image processing apparatus 10 according to the first embodiment is that a corresponding point position storage unit 137 is provided.
  • the image matching unit 133 obtains a feature point in the input image corresponding to the feature point of the model image (step S18 in the flowchart of FIG. 4).
  • the image matching unit 133 stores the position of the feature point in the input image corresponding to the feature point of the model image in the corresponding point position storage unit 137.
  • the position of the corresponding feature point in the input image may be stored, or only the feature point that outputs the corresponding point position may be stored as will be described later. Good.
  • the output unit 134 When the output unit 134 outputs the detection position of the verification target object (work) as the verification result, the position of the feature point in the input image corresponding to the feature point of the model image stored in the corresponding point position storage unit 137 Is output.
  • the output destination may be the display 12 or an external device such as the PLC 4.
  • the user can specify via the setting unit 136 which feature point in the input image to which the feature point position in the input image is to be output from the output unit 134.
  • the number of feature points to be output may be arbitrary. As the corresponding points are output at higher density, the more detailed shape change can be recognized. Therefore, the number of feature points to be output may be determined according to the required shape change recognition accuracy.
  • the image sensor 1 can appropriately recognize a change in the shape of the workpiece.
  • the PLC 4 recognizes the change in the shape of the workpiece and performs an operation on a specific position (part) of the workpiece. be able to.
  • a processing system using the image sensor of this embodiment will be described.
  • the image sensor 1 of the present embodiment can be suitably used in a processing system that includes the system shown in FIGS. 1 and 2 and a vegetable processing machine, and the PLC 4 controls the processing machine.
  • the processing machine cuts off the vegetable (eg, eggplant) material. Vegetables have large individual differences, so it is necessary to identify the position of the cuts that should be cut off.
  • the position of the feature point for identifying the stagnation part is determined in the model image, and the feature point in the input image corresponding to this feature point may be set to be output from the image sensor 1 to the PLC 4.
  • the PLC 4 can identify the stagnation part based on the feature point position obtained from the image sensor 1 and instruct the processing machine to cut off the stagnation part.
  • the image sensor 1 of the present embodiment is also suitable when the PLC 4 controls the transport machine in the system shown in FIGS. 1 and 2 and the transport machine that picks up and moves the workpiece from the conveyor. Can be used.
  • the transport machine grips and moves the workpiece, it is preferable to identify the gripping position. Therefore, the position of the feature point for identifying the grasped part may be determined in the model image, and the feature point in the input image corresponding to this feature point may be set to be output from the image sensor 1 to the PLC 4.
  • the PLC 4 can identify a part to be gripped based on the feature point position obtained from the image sensor 1 and can instruct the transport machine to grip and move the part of the workpiece.
  • the above description is merely an example, and includes a processing device that performs an operation on a workpiece, an image sensor, and a control device that controls the processing device, and is based on a feature point position output from the image sensor.
  • the image sensor of this embodiment can be suitably used for a processing system in general that instructs the processing device to perform an operation.
  • the system for detecting the position of the workpiece on the production line has been described as an example.
  • the image verification according to the present invention can be applied to any application for detecting a verification target from an image.
  • an embodiment of the present invention can be implemented as a system for recognizing handwritten characters.
  • an embodiment of the present invention can be implemented as a system that acquires image data via a recording medium or a network and performs image collation for the image data.
  • an edge point is used as a feature point.
  • any feature point can be used as long as it is obtained as a characteristic point from an image.
  • feature points by various methods such as SIFT, SURF, and Harris corner points can be employed.
  • the allowable range of misalignment is a range within a predetermined distance from the position of the feature point in the model image, that is, a circular region, but this is not essential.
  • the allowable range can be an area having an arbitrary shape such as a rectangle (square and rectangle), an ellipse, or a polygon other than a circle.
  • the allowable positional deviation range can be a square centered on the feature point position. In this way, it is possible to determine whether or not the x-coordinate displacement and the y-coordinate displacement are within a predetermined range depending on whether or not the displacement is within a predetermined value, thereby reducing the processing load.
  • FIG. 11A the allowable positional deviation range can be a square centered on the feature point position.
  • the permissible amount of displacement of the x coordinate and displacement of the y coordinate may be different.
  • the rectangular allowable range as shown in FIG. 11B is obtained, and the displacement in the specific direction can be relatively large.
  • FIG. 11C shows an example in which the allowable range is a diamond. In this way, it is possible to determine whether the sum of the positional deviation of the x-coordinate and the positional deviation of the y-coordinate is within a predetermined value, so that the processing load is reduced.
  • This method can be regarded as allowing a positional deviation within a predetermined distance by adopting the Manhattan distance instead of the Euclidean distance as the distance measure.
  • the allowable range is an elliptical shape centered on the feature point position. In this way, a positional deviation in a specific direction can be allowed to be relatively large, which is preferable when an object whose direction in which the positional deviation is likely to occur is determined is targeted.
  • the allowable range can be any shape other than those shown here.
  • the allowable range of the direction deviation need not be an angle range centered on the luminance gradient direction in the model image.
  • the allowable amount of direction deviation may be varied depending on the direction. In this case, an allowable deviation amount in the clockwise direction and an allowable deviation amount in the counterclockwise direction may be set.
  • the camera and the image processing device are configured separately, but an image sensor having a configuration in which the camera and the image processing device are integrated can also be used. It is also possible to connect a plurality of cameras to the image processing apparatus and measure and monitor a plurality of lines with a single image sensor. In addition, a technique such as grid computing, a client server system, or cloud computing may be applied so that part or all of the functions of the image processing apparatus are executed by another computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　画像照合装置は、照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶部と、入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得部と、前記モデル画像と前記入力画像の照合を行う画像照合部と、を備え、前記画像照合部は、特徴点の位置および各特徴点の位置における輝度勾配の方向の両方に対して許容範囲を設けて画像照合を行う。画像照合装置は、特徴点の位置および各特徴点における輝度勾配の方向の許容範囲をユーザが設定するための許容範囲設定手段を更に備えることが好ましい。これにより、許容する形状変化をより細かく指定した可変形状物体の照合が可能となる。

Description

画像照合装置、画像センサ、処理システム、画像照合方法
　本発明は、テンプレートマッチングによって画像照合を行う技術に関する。
　ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理（テンプレートマッチング）によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。
　ところで、袋包装された物体、野菜、手書き文字や人体など、状況に応じて形状が変化したり、個体間で形状に差があったりする物体を画像中から検出したいというニーズは多い。このような形状が変化する物体（以下、「可変形状物体」とも呼ぶ）を精度良く行うための技術はこれまでも研究されており、主要な技術として「距離変換」と「弾性マッチング」が挙げられる。
　距離変換は、画像中の各画素についてエッジからの最短距離を求め、この最短距離に基づいてマッチングを行う技術である（特許文献１）。この方法によれば、モデル画像と入力画像との間において、エッジの位置座標に許容度を持たせてマッチングを行うことができる。
　弾性マッチングは、モデル画像と入力画像の特徴点の対応関係（写像関数）をもとに類似度を算出してマッチングを行う技術である（特許文献２，３）。この方法によれば、
モデル画像と入力画像との間でエッジの位置座標に許容度を持たせてマッチングを行うことができる。
特開２００８－２８６７２５号公報 米国特許出願公開第２０１０／０２８４５７７号明細書 米国特許第７０２４０４２号明細書
　距離変換では、エッジの位置座標に許容度を持たせているが、各エッジ点がどのように変形するかに関して制約を設けることができず、入力画像において許容範囲内にエッジ点があれば照合成功となる。したがって、背景にエッジが多数存在する場合には誤マッチングを起こしやすい。マッチングの精度を向上させるには、形状変化に対するより詳細な許容尺度を設けることが望ましい。
　弾性マッチングでは、特徴点の厳密な対応が必要となるので、顔や文字などのような明確な特徴点を抽出可能な物体のみにしか適用できない。また、部分ごとの位置関係を用いた照合しかできず、詳細な形状変化を考慮したマッチングは行えない。
　本発明は、上記実情に鑑みてなされたものであり、許容する形状変化をより細かく指定して可変形状物体の照合ができる技術を提供することを目的とする。
　上記目的を達成するために本発明では、特徴点の位置および当該特徴点における輝度勾配の方向の両方に対して許容範囲を設けて形状マッチングを行う、という構成を採用する。
　具体的には、本発明に係る画像照合装置は、照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶部と、入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得部と、前記モデル画像と前記入力画像の照合を行う画像照合部と、を備え、前記画像照合部は、特徴点の位置および各特徴点の位置における輝度勾配の方向の両方に対して許容範囲を設けて画像照合を行う、ことを特徴とする。画像照合部は、モデル画像に含まれる特徴点（モデル特徴点）について、当該モデル特徴点の位置ずれ許容範囲に対応する入力画像中に、輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である特徴点が存在する場合に、前記モデル特徴点に対応する特徴点が入力画像中に存在すると判断して、画像照合を行えばよい。
　この構成によれば、可変形状物体の画像照合において、変形の許容度を従来よりも細かく設定できる。照合対象の物体がどのように変形しやすいかに応じて位置ずれおよび方向ずれの許容度をそれぞれ設定することで、可変形状物体の照合を従来よりも高精度に行うことができる。
　本発明において、特徴点の位置の許容範囲は、前記モデル画像における特徴点の位置を中心とする、矩形（正方形または長方形）、円、楕円等の形状とすることができる。許容範囲の形状は任意であって構わないが、矩形（正方形または長方形）とすると許容範囲内か否かの判別処理が容易となる。円とすれば、任意の方向への位置ずれを均等に許容することができる。楕円や長方形とすれば、特定の方向について大きく位置がずれることを許容できる。ただし、位置の許容範囲は、任意形状であってよく、その中心はモデル画像の特徴点の位置でなくても構わない。
　また本発明において、輝度勾配の方向の許容範囲は、前記モデル画像における輝度勾配の方向を中心とする所定の角度範囲とすることができる。ただし、モデル画像における輝度勾配の方向を中心とせずに、時計回り方向と反時計回り方向とに異なる角度のずれを許容するようにしても構わない。
　本発明における特徴点は、画像から特徴的な点として求められる点であれば、任意のものを採用可能である。例えば、本発明における特徴点として、エッジ点を採用することができる。また、ＳＩＦＴ、ＳＵＲＦ、Ｈａｒｒｉｓコーナーポイントなどその他の特徴点を採用することもできる。
　また、本発明に係る画像照合装置は、前記画像照合における特徴点の位置および各特徴点における輝度勾配の方向の許容範囲をユーザが設定するための許容範囲設定手段を更に備える、ことも好ましい。
　許容範囲設定手段は、上記の位置および方向の許容範囲のいずれかまたは双方をユーザが設定可能なように構成されることができる。この場合、具体的な数値をユーザが設定可能であってもよいし、許容レベルをユーザが設定可能としてもよい。位置および方向の許容範囲をそれぞれユーザが設定可能とすることで、ユーザはより詳細な設定を行うことができる。
　また、許容範囲設定手段は、許容する変形パターンと許容する変形量のレベルの組合せと、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲の組合せとを対応付けて記憶しておき、許容する変形のパターンと許容する変形量のレベルをユーザから受け付け、当該ユーザからの入力に基づいて特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲を決定する、ように構成されることもできる。このようにすれば、ユーザは設定の内容をより簡易に理解することができる。
　また、本発明に係る画像照合装置は、前記画像照合部によって検出された、モデル特徴点に対応する入力画像中の特徴点の位置を、前記モデル特徴点と関連付けて記憶する対応点位置記憶手段と、前記対応点位置記憶手段に記憶されたモデル特徴点に対応する入力画像中の特徴点の位置を出力する出力手段と、を更に備えることも好ましい。なお、出力手段による出力先は、ディスプレイなどの出力装置であってもよいし、他の機械を制御する制御装置などであってもよい。モデル特徴点に対応する入力画像中の当直点の位置を出力することで、照合対象物の形状変化を適切に認識することができる。
　なお、全てのモデル特徴点について対応する特徴点の位置を出力する必要はない。どのモデル特徴点に対応する入力画像中の特徴点を出力するかの指定をユーザから受け付ける設定手段を設けて、ユーザによって指定されたモデル特徴点についてのみ対応する特徴点の位置を出力すればよい。
　なお、本発明は、上記構成の少なくとも一部を有する画像照合装置として捉えることができる。また、本発明は、物体を撮影するカメラと画像照合装置とを有する画像センサとして捉えることもできる。また、本発明は、上記の画像センサと照合対象物体に対する操作を行う処理装置を制御する処理システムとして捉えることもできる。例えば、画像センサがモデル特徴点に対応する入力画像中の特徴点の位置を出力する場合には、制御装置は、当該特徴点の位置に基づいて決定される部位に対して操作を行うように処理装置を制御することで、照合対象物体の形状変化を考慮した適切な操作が可能となる。
　また、本発明は、上記処理の少なくとも一部を含む画像照合装置の制御方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、許容する形状変化をより細かく指定して可変形状物体の照合ができる技術を提供することができる。
実施形態にかかる画像センサの全体構成を示す図。 実施形態にかかる画像センサのハードウェア構成を示す図。 第１の実施形態にかかる画像処理装置の画像照合にかかわる機能構成を示す図。 画像照合処理の流れを示すフローチャート。 モデル画像の例を示す図。 特徴点の位置ずれの許容範囲および輝度勾配方向の方向ずれの許容範囲を示す図。 画像照合部における照合処理を説明する図。（ａ）はモデル画像、（ｂ）は入力画像、（ｃ）はモデル画像と入力画像の比較を示す。 各種の変形に対して位置ずれ許容量および方向ずれ許容量を変えた場合の照合スコアを示す図。（ａ）はモデル画像、（ｂ）は「細り」の変形に対する照合結果、（ｃ）は「欠け」の変形に対する照合結果、（ｄ）は「その他」の変形に対する照合結果をそれぞれ示す。 （ａ）（ｂ）はそれぞれ、位置ずれ許容量および方向ずれ許容量の設定画面の例を示す。 （ａ）は位置ずれ許容量および方向ずれ許容量の設定画面の例、（ｂ）は変形パターンおよび許容レベルと位置ずれ許容量および方向ずれ許容量との対応関係を記憶したテーブルの例を示す図。 位置ずれ許容範囲および方向ずれ許容範囲の変形例を示す図。 第２の実施形態にかかる画像処理装置の画像照合にかかわる機能構成を示す図。
　本発明は、カメラで撮影した画像から所定の物体を検出するする技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体検出に応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、可変形状物体のワークが流れるラインにおいてワークの検出を行うＦＡ用の画像センサに本発明を実装した例を説明する。
＜第１の実施形態＞
　（画像センサ）
　図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。
　画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の位置検出などを行うシステムである。なお、画像センサ１には、位置検出のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。
　図１に示すように、コンベヤ３上にはワーク２が流れている。ワーク２は、同一の個体であっても状況に応じて形状が変化したり、個体間で形状に差があったりする物体（可変形状物体）である。画像センサ１は、カメラ１１から定期的に画像を取り込み、画像処理装置１０によって画像に含まれる各ワーク２の位置検出などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へ出力したりする。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造装置（不図示）の制御を司るデバイスである。
　（画像センサのハードウェア構成）
　図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。
　カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。
　画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
　カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。
　画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に非一時的に記憶された状態で流通する。
　汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。
　（画像処理装置の機能構成）
　画像処理装置１０は、テンプレートマッチングの技術を用いて、入力された画像の中から検出対象の物体を検出する機能を有する。図３に、画像処理装置が提供する物体検出（位置検出）にかかわる機能構成を示す。画像処理装置１０は、位置検出にかかわる機能として、画像入力部１３０、照合範囲決定部１３１、特徴量取得部１３２、画像照合部１３３、出力部１３４、記憶部１３５、設定部１３６を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。
　画像入力部１３０は、カメラ１１が撮影したワークの画像を取得する機能部である。照合範囲決定部１３１は、モデル画像との照合を行う範囲（照合範囲）を決定する機能部である。照合範囲の大きさはモデル画像の大きさと同じとし、その位置が照合範囲決定部１３１によって決定される。照合範囲の位置は、入力画像の走査によって順次変えていってもよいし、簡易的な物体検出処理を行って物体が存在しそうな位置として決定してもよい。
　特徴量取得部１３２は、入力画像から特徴点およびその位置での輝度勾配方向を取得する機能部である。本実施形態では、特徴点としてエッジ点を採用する。エッジ点の取得方法は既存の任意の手法が採用可能である。例えば、まず、入力画像に対してソーベルフィルタなどの微分フィルタを適用して輝度勾配ベクトル（輝度勾配方向）を求め、輝度勾配方向において勾配ベクトルの大きさが極大値を取る点をエッジ点として抽出することができる。なお、エッジ検出の前後に細線化処理を施すことも好ましい。
　画像照合部１３３は、照合範囲決定部１３１によって決定された入力画像のうちの照合範囲と、記憶部１３５に格納されているモデル画像１３５ａとの照合を行い、照合範囲内に照合対象物体が存在するか否かを判別する。詳細は後述するが、画像照合部１３３は、特徴点の位置ずれと輝度勾配の方向ズレにそれぞれ所定の許容範囲を設けて照合処理を実施する。このような処理を可能とするために、画像照合部１３３は、照合パラメータとして位置ずれ許容量１３３ａ、方向ズレ許容量１３３ｂおよび照合閾値（判定閾値）１３３ｃを保持する。
　出力部１３４は、画像照合部１３３による照合結果を出力する。例えば、画像照合部１３３が照合対象物体を検出した入力画像中の位置が、画像中での強調表示や数値などによって出力される。
　記憶部１３５は、照合対象物体に関する情報（モデル画像と呼ぶ）を格納する。図５は、記憶部１３５に格納されているモデル画像１３５ａの一例を示す。モデル画像１３５ａには、照合対象の物体５０のエッジ点（特徴点）の位置５１と、その点での輝度勾配の方向５２が含まれる。図５では、８個のエッジ点が示されているが、エッジ点の数は任意であってよく、その数は数十～数百個あるいはそれ以上であってよい。
　設定部１３６は、画像照合部１３３が照合の際に用いる照合パラメータである位置ずれ許容量１３３ａ、方向ズレ許容量１３３ｂおよび照合閾値１３３ｃをユーザが設定可能とするための機能部である。これらのパラメータの設定方法の詳細については後述する。
　（画像照合処理）
　本実施形態における画像照合処理では、モデル画像に含まれる特徴点（モデル特徴点）に対応する特徴点が入力画像中に存在するか否か判断するにあたり、特徴点の位置および輝度勾配方向のずれを許容して判断する。具体的には、モデル特徴点の位置ずれ許容範囲に対応する入力画像中に、輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である特徴点が存在すれば、モデル特徴点に対応する特徴点が入力画像中に存在すると判断する。
　以下、図４のフローチャートを参照しながら、本実施形態の画像処理装置１０が行う画像照合処理についてより詳細に説明する。
　まず、画像処理装置１０は、画像入力部１３０を介してカメラ１１が撮影した画像を取得する（Ｓ１０）。以下、この画像を入力画像と称する。特徴量取得部１３２は、入力画像からエッジ点および各エッジ点での輝度勾配方向を取得する（Ｓ１２）。
　照合範囲決定部１３１は、入力画像から、モデル画像との照合を行う範囲（照合範囲）を決定する（Ｓ１４）。照合範囲は、入力画像を順次走査した位置としてもよい。あるいは、別途簡易的な物体検出処理を行って検出対象物体が存在しそうな位置を照合範囲としてもよい。ステップＳ１４からＳ２６の処理は、それぞれの照合領域ごとに行われる。
　画像照合部１３３は、照合スコアをゼロにリセット（Ｓ１６）した後、モデル画像の各エッジ点について、対応するエッジ点が入力画像の照合範囲内に存在するかを調べる（Ｓ１８）。対応するエッジ点が入力画像に存在すれば照合スコアを１増加させ、存在しなければ何もせず次のエッジ点について調べる。なお本実施形態では、照合スコアはモデル画像中のエッジ点数を最大値とする整数としているが、所定の値（例えば１００）を最大値として正規化した値を照合スコアとして採用してもよい。
　画像照合処理は、対応するエッジ点が存在するか否かを判定する際に、エッジ点の位置ずれと輝度勾配の方向ズレを許容する。この許容量を指定する照合パラメータが、位置ずれ許容量１３３ａおよび方向ズレ許容量１３３ｂである。
　図６は、位置ずれ許容量１３３ａおよび方向ズレ許容量１３３ｂを説明する図である。本実施形態では、位置ずれ許容量１３３ａは、モデル画像におけるエッジ点５１からの距離６１として指定される。すなわち、モデル画像におけるエッジ点５１の位置を中心として所定の半径６１を有する円６２が、位置ずれの許容範囲となる。方向ズレ許容量１３３ｂは、モデル画像におけるエッジ点５１における輝度勾配の方向５２との角度６３として指定される。すなわち、モデル画像における輝度勾配の方向を中心として角度６３以内の範囲６４が、方向ズレの許容範囲となる。
　ステップＳ１８の処理について、図７を参照して説明する。図７（ａ）は、モデル画像を示しており、ここでは図５と同様に８個のエッジ点７１ａ～７８ａおよび各エッジ点での輝度勾配方向からなる。図７（ｂ）は、特徴量取得部１３２によって取得された入力画像のエッジ点７１ｂ～７８ｂおよび各エッジ点での輝度勾配方向を示している。
　ステップＳ１８において画像照合部１３３は、入力画像中にモデル画像のエッジ点と対応するエッジ点が存在するかどうかを調べる。この際、位置ずれ許容量１３３ａによって指定される位置ずれ、および方向ズレ許容量１３３ｂによって指定されるエッジ点位置での輝度勾配方向の方向ズレを許容する。具体的には、入力画像において、モデル画像のエッジ点位置から位置ずれ許容量１３３ａの範囲内に、輝度勾配方向が方向ズレ許容量１３３ｂ以内のエッジ点が存在すれば、モデル画像のエッジ点に対応するエッジ点が入力画像に存在すると判定する。
　図７（ｃ）を参照して説明する。図７（ｃ）は、図７（ａ）のモデル画像と図７（ｂ）の入力画像を重ね合わせて示した図である。ここで、モデル画像のエッジ点７１ａ～７８ａを中心とした位置ずれ許容範囲が円で示されている。輝度勾配方向の方向ズレ許容範囲の図示は省略している。
　エッジ点７３ａ，７５ａ～７８ａの５個のエッジ点については、入力画像中の同じ位置に、同じ輝度勾配方向を有するエッジ点７３ｂ，７５ｂ～７８ｂが存在するので、各エッジ点に対応するエッジ点が入力画像中に存在すると判断される。エッジ点７１ａについては、完全に同じ位置ではないが位置ずれ許容範囲内に、同じ輝度勾配方向を有するエッジ点７１ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。エッジ点７２ａについては、同じ位置に、同じ方向ではないが方向ズレ許容範囲内の輝度勾配方向を有するエッジ点７２ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。エッジ点７４ａについては、同じ位置ではないが位置ずれ許容範囲内に、同じ方向ではないが方向ズレ許容範囲内の輝度勾配方向を有するエッジ点７４ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。
　画像処理装置１０は、上記のようにステップＳ１８～Ｓ２０の処理を、モデル画像中の全てのエッジ点について繰り返し処理した後、得られた照合スコアが所定の照合閾値以上であるか否か判定する（Ｓ２２）。
　画像照合部１３３は、このようにして算出した照合スコアが所定の照合閾値以上であれば、入力画像の探索範囲内に照合対象の物体が存在すると判定する（Ｓ２４）。逆に、照合スコアが照合閾値未満であれば、入力画像の探索範囲内に照合対象の物体が存在しないと判定する（Ｓ２６）。
　画像処理装置１０は、照合領域を変えて上記ステップＳ１４～Ｓ２６の処理を繰り返し行い、全ての照合領域について照合処理を終えた後に、照合結果を出力する。照合結果は、出力部１３４に送られて表示されてもよいし、画像処理装置１０における別の処理（例えば、検査処理など）のための入力として用いられてもよい。なお、全ての照合範囲について照合処理が終わってから照合結果を出力するのではなく、１つの照合範囲について処理が終わる度や、物体が検出される度などに初号結果を出力するようにしてもよい。
　（照合結果）
　エッジ点の位置ずれおよび輝度勾配の方向ズレを許容した照合処理（テンプレートマッチング処理）の効果について図８を参照して説明する。図８（ａ）は、照合対象の物体を示すモデル画像の例であり、ここではＴ字形の形状を有する物体である。
　図８（ｂ）～８（ｄ）は、照合対象の物体が変形した場合の入力画像、および各設定における照合スコアを示している。図８（ｂ）～図８（ｄ）における「位置０，方向０」「位置０，方向３」「位置３，方向０」等は、位置ずれおよび方向ズレをどれだけ許容するかを表す。ここでは、それぞれのズレ許容量を０～５の６段階のレベルで設定し、０がズレを許容せず、５が最大に許容する設定とする。また、図中にはそれぞれの照合パラメータを用いて画像照合を行った結果の照合スコアも示されている。ここでの照合スコアは、最大値が１００となるように正規化されている。
　図８（ｂ）は、幅が細くなる変形が生じている場合の入力画像を示す。このような物体の幅が細くなったりあるいは太くなったりする変形では、エッジ点における輝度勾配方向は変化せずに、エッジ点の位置が変化する。したがって、位置ずれの許容量を大きくする「位置３，方向０」という設定で、照合スコアが大きくなる。すなわち、細りや太りの変形が生じた場合でも、正しく物体を検出することができるようになる。
　図８（ｃ）は、本来は直線である部分に欠けが生じている場合の入力画像を示す。このような欠けが生じる変形では、エッジ点の位置はそれほど変化しないが、エッジ点における輝度勾配方向が変化する。したがって、少しの位置ずれと比較的大きい方向ずれを許容する「位置１，方向４」という設定で、照合スコアが大きくなる。すなわち、欠けの変形が生じた場合でも、正しく物体を検出することができるようになる。
　図８（ｄ）は、物体の形状が歪んだ場合の入力画像を示す。このような変形では、エッジ点の位置およびエッジ点における輝度勾配方向の両方が変化する。したがって、位置ずれおよび方向ずれの両方を比較的大きく許容した「位置２，方向３」という設定で、照合スコアが大きくなる。すなわち、歪みなどの変形が生じた場合でも、正しく物体を検出することができるようになる。
　なお、位置ずれおよび方向ずれの許容量を大きくすれば、照合スコアが大きくなるので、検出したい物体を見逃す（偽陰性）確率は小さくできる。しかしながら、闇雲に許容量を大きくすると、誤検出（偽陽性）の確率も大きくなってしまう。そこで、検出対象物体の変形の性質に応じた位置ずれおよび方向ずれの許容量を設定することで、誤検出の可能性を最小限としつつ、検出対象物体を適切に検出することが可能となる。これは、本実施形態において、特徴点の位置ずれに加えて、輝度勾配方向の方向ずれも許容し、許容する形状変化を従来よりも細かく指定可能となったためである。
　（照合パラメータの設定方法）
　特徴点の位置のずれや各特徴点位置での輝度勾配方向のずれなどの照合パラメータの設定方法について、ここで説明する。設定部（許容範囲設定手段）１３６がディスプレイ１２に設定用のユーザインターフェイスを表示し、ユーザはマウス１３等を用いて照合パラメータを入力する。
　図９（ａ）は、照合パラメータ設定用のユーザインターフェイスの一例を示す。この例では、位置ずれ許容量、方向ずれ許容量、および判定閾値（照合閾値）をユーザが数値入力する。位置ずれ許容量は、ピクセル単位などの絶対値として指定されてもよいし、モデル画像の大きさ（例えば、横サイズの大きさ）に対する相対値として指定されてもよい。方向ずれ許容量は、度によって指定される。判定閾値は、照合スコアの最小値から最大値（この例では０から１００）の間の数値として指定される。
　また、入力された数字に応じて、位置ずれ許容範囲および方向ずれ許容範囲を表す画像を表示することが好ましい。数値が更新されると画像も更新されるようにすることで、許容量を視覚的に理解しやすくなる。また、画像上で位置ずれ許容範囲や方向ずれ許容範囲を変更することで、これらのパラメータを入力できるようにしてもよい。
　このように、具体的な数値を入力可能とすることで、ユーザは照合に関する設定を正確に指定することができる。
　図９（ｂ）は、照合パラメータ設定用のユーザインターフェイスの別の例を示す。本例では図９（ａ）のように具体的な数値を入力するのではなく、許容する誤差の大きさを示すレベルを入力する。図９（ｂ）の例では、位置ずれ許容量、方向ずれ許容量、および判定閾値をいずれも０－１０の１１段階で指定可能としている。各段階と具体的なパラメータの値は、内部的にあらかじめ定めておけばよい。例えば、位置ずれ許容量であれば１段階ごとに３ピクセルずつ増加し、方向ずれ許容量であれば１段階ごとに１０度ずつ増加するなど、レベルに応じて等間隔でパラメータの値が大きくなるようにしてもよい。また、レベルの増加に応じて等間隔で増加するのではなく、非等間隔で増加するような設定としてもよい。なお、設定可能な段階数は図９（ｂ）で示した１１段階以外の任意の数であって構わず、またパラメータごとに設定可能な段階数は異なっても構わない。
　入力されたレベルと具体的なパラメータ値の対応関係は、照合対象物に応じて変えることも望ましい。そのためには、照合対象物の種類に応じて対応関係をあらかじめ用意しておき、ユーザに照合対象物の種類を入力させたり、画像認識により照合対象物の種類を取得したりして、どの対応関係に基づいてパラメータ値を決定するかを選択すれば良い。
　このように、許容レベルを入力する形式とすることで、ユーザは照合に関する設定を直感的に理解しやすくなる。
　図１０（ａ）は、照合パラメータ設定用のユーザインターフェイスの別の例を示す。図９（ａ）（ｂ）では、位置ずれ許容量と方向ずれ許容量をそれぞれ独立してユーザに設定させていたが、この例では、どのような変形パターンを許容するかと、その許容の程度の２つの値をユーザに設定させる。許容する変形パターンとして、この例では「細り／太り」「欠け」「その他」の３つのパターンを用意している。
　ユーザは、許容する変形パターンをこれら３つのうちからいずれか１つを選択し、また、どの程度の変形量を許容するかを表す許容レベルを指定する。変形パターンおよび許容レベルの組合せと実際に設定する照合パラメータとは、あらかじめ対応付けて記憶しておけばよい。図１０（ｂ）は、変形パターンおよび許容レベルの組合せと、位置ずれ許容量および方向ずれ許容量の組合せとの対応関係を定義したテーブルである。なお、テーブルを記憶するのではなく、許容レベルから各許容量を算出するための算出式（関数）を変形パターンごとに記憶するようにしても構わない。
　「細り／太り」は、幅のある物体の太さが変わる変形、すなわち、輝度勾配方向は変化しないが特徴点位置が変化する変形を想定している。したがって、変形量の許容レベルが大きくなるにしたがって、位置ずれ許容量をより大きくする設定としている。「欠け」は、直線的な境界がぎざぎざになる変形、すなわち、特徴点位置が少し変化し輝度勾配方向が比較的大きく変化する変形を想定する。したがって、変形量の許容レベルが大きくなるにしたがって、方向ずれ許容量をより大きくする設定としている。「その他」は、上記２つで想定されない任意の変形を想定する。したがって、変形量の許容レベルが大きくなるにしたがって、位置ずれ許容量および方向ずれ許容量の量が大きくなる設定としている。
　なお、ここで示した数値は一例に過ぎず、具体的な照合パラメータとの対応は適宜決定すればよい。また、許容する変形パターンは上記の３種類に限られず、より多くても少なくても構わない。また、上述の例では、位置ずれ許容量と方向ずれ許容量の双方をユーザが設定するものとしているが、いずれか一方のみをユーザが設定するように構成しても構わない。また、この例では判定閾値の設定については記載を省略しているが、判定閾値を別途指定可能としてもよいし、許容レベルの大きさに応じて自動的に変更されるようにしてもよい。
　このように、許容する変形パターンと許容する変形量のレベルを指定することで、ユーザは照合に関する設定をより直感的に理解しやすくなる。
＜第２の実施形態＞
　本実施形態では、モデル画像中の特徴点と一致する入力画像中の特徴点の位置を記憶することで、照合対象物体の形状変化を認識可能とする。本実施形態にかかる画像センサは、第１の実施形態にかかる画像センサと基本的に同様の構成を有するので、主に異なる部分について説明する。図１２は本実施形態にかかる、画像センサ１の画像処理装置２０の機能ブロック図である。第１の実施形態にかかる画像処理装置１０との相違点は、対応点位置記憶部１３７が設けられている点である。
　画像照合部１３３は、モデル画像の特徴点と対応する入力画像中の特徴点を求める（図４のフローチャートのステップＳ１８）。ここで、画像照合部１３３は、モデル画像の特徴点と対応する入力画像中の特徴点の位置を、対応点位置記憶部１３７に記憶する。なお、モデル画像中の全ての特徴点について、入力画像中の対応する特徴点の位置を記憶してもよいし、後述するように対応点位置を出力する特徴点についてのみ記憶するようにしてもよい。
　出力部１３４は、照合結果として照合対象物体（ワーク）の検出位置を出力する際に、対応点位置記憶部１３７に記憶されているモデル画像の特徴点に対応する入力画像中の特徴点の位置を出力する。なお、出力先は、ディスプレイ１２であってもよいし、ＰＬＣ４のような外部装置であっても構わない。
　モデル画像中の特徴点のうち、どの特徴点に対応する入力画像中の特徴点の位置を出力部１３４から出力するかは、ユーザが設定部１３６を介して指定することができる。出力対象とする特徴点の数は任意であって構わない。対応点を高密度に出力するほど、詳細な形状変化を認識できるので、必要とされる形状変化の認識精度に応じて出力する特徴点の数を決定すればよい。
　本実施形態にかかる画像センサ１によれば、ワークの形状変化を適切に認識することができる。特に、モデル画像の特徴点に対応する入力画像中の特徴点の位置をＰＬＣ４に出力した場合には、ＰＬＣ４はワークの形状変化を認識して、ワークの特定の位置（部位）に対する操作を行うことができる。以下、本実施形態の画像センサを利用した処理システムについて説明する。
　例えば、図１，図２に示すシステムと野菜の加工機からなりＰＬＣ４が加工機を制御する処理システムにおいて、本実施形態の画像センサ１を好適に用いることができる。加工機が野菜（例えば茄子）のヘタを切り落とす場合を考える。野菜は、個体差が大きいため切り落とすべきヘタの位置を同定することが必要となる。そこで、ヘタの部位を同定するための特徴点の位置をモデル画像において定めておき、この特徴点に対応する入力画像中の特徴点を画像センサ１からＰＬＣ４に出力するように設定すればよい。ＰＬＣ４は画像センサ１から得られる特徴点位置に基づいて、ヘタの部位を同定して、ヘタの部位を切り落とすように加工機に対して指示することができる。
　また、図１，図２に示すシステムとコンベア上からワークを把持（ピッキング）して移動させる搬送機械からなるシステムにおいて、ＰＬＣ４が搬送機械を制御する場合にも本実施形態の画像センサ１を好適に用いることができる。搬送機械がワークを把持して移動させる場合、把持する位置を同定することが好ましい。そこで、把持部位を同定するための特徴点の位置をモデル画像において定めておき、この特徴点に対応する入力画像中の特徴点を画像センサ１からＰＬＣ４に出力するように設定すればよい。ＰＬＣ４は画像センサ１から得られる特徴点位置に基づいて把持すべき部位を同定して、ワークのこの部位を把持して移動するように搬送機械に対して指示することができる。
　なお、上記の説明は例示に過ぎず、ワークに対して操作を行う処理装置と、画像センサと、処理装置の制御を司る制御装置とからなり、画像センサから出力される特徴点位置に基づいて操作を行うように制御装置から処理装置に対して指示する処理システム一般に対して、本実施形態の画像センサを好適に用いることができる。
　このような処理システムによれば、画像センサからの出力によってワークの形状変化を適切に認識して、形状変化を考慮してワークに対して処理を行うように指示できるので、ワークに対する操作が確実に行える。
　（変形例）
　上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。
　例えば、上記では生産ラインにおけるワークの位置検出を行うためのシステムを例として説明したが、本発明に係る画像照合は、画像から照合対象物を検出するための任意の用途に適用可能である。例えば、本発明の一実施形態は、手書き文字を認識するためのシステムとして実装することもできる。また、本発明の一実施形態は、画像データを記録媒体やネットワークを経由して取得し、この画像データを対象として画像照合を行うシステムとして実装することもできる。
　また、上記の説明では、特徴点としてエッジ点を採用しているが、特徴点は、画像から特徴的な点として求められるものであれば任意のものを採用できる。エッジ点以外として、ＳＩＦＴ、ＳＵＲＦ、Ｈａｒｒｉｓコーナーポイントなど様々な手法による特徴点を採用することができる。
　また、上記の説明では、位置ずれの許容範囲を、モデル画像における特徴点の位置から所定の距離以内の範囲、すなわち円領域としているが、これも必須ではない。許容範囲は、円以外にも、矩形（正方形および長方形）、楕円、多角形など任意の形状の領域とすることができる。例えば、図１１（ａ）に示すように、位置ずれ許容範囲を、特徴点位置を中心とする正方形とすることができる。このようにすれば、ｘ座標の位置ずれとｙ座標の位置ずれがそれぞれ所定値以内であるかどうかによって許容範囲内であるかどうかを判断できるので、処理負荷が少なくなる。図１１（ａ）において、ｘ座標の位置ずれとｙ座標の位置ずれの許容量を異なるようにしてもよい。この場合は、図１１（ｂ）に示すような長方形の許容範囲となり、特定方向への位置ずれを比較的大きく許容できる。図１１（ｃ）は、許容範囲を菱形とした例である。このようにすれば、ｘ座標の位置ずれとｙ座標の位置ずれの和が所定値以内であるかどうかによって許容範囲内であるかどうかを判断できるので、処理負荷が少なくなる。この方法は、距離測度としてユークリッド距離ではなくマンハッタン距離を採用して所定の距離以内の位置ずれを許容したものと捉えることができる。また、図１１（ｄ）は、許容範囲を、特徴点位置を中心とする楕円形状とした例である。このようにすれば、特定に方向への位置ずれを比較的大きく許容できるので、位置ずれしやすい方向が決まっている物体を対象とする場合に好適である。許容範囲は、ここで示した以外にも任意の形状とすることができる。
　また、方向ずれの許容範囲をも、モデル画像における輝度勾配方向を中心とする角度範囲とする必要はない。図１１（ｅ）に示すように、方向ずれの許容量を方向に応じて異なるようにしてもよい。この場合、時計回り方向のずれ許容量と、反時計回り方向のずれ許容量をそれぞれ設定すればよい。
　また、上記の説明では、モデル画像中の全ての特徴点について、同一のずれ許容基準を適用して対応する特徴点が入力画像中に存在するか判定しているが、特徴点ごとに異なる許容基準を適用してもよい。すなわち、特徴点ごとに、許容する位置ずれ量および方向ズレ量を設定するようにしてもよい。
　図１では、カメラと画像処理装置が別体で構成されているが、カメラと画像処理装置が一体となった構成の画像センサを用いることもできる。また、画像処理装置に複数台のカメラを接続し、一つの画像センサで複数のラインの計測・監視を行うこともできる。また、グリッドコンピューティング、クライアントサーバシステム、クラウドコンピューティングなどの技術を適用し、画像処理装置の機能の一部または全部を別のコンピュータで実行するようにしてもよい。
１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
１３０：画像入力部、１３１：照合範囲決定部、１３２：特徴量取得部、１３３：画像照合部、１３４：出力部、１３５：記憶部、１３６：設定部

Claims (16)

  1. 　照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶部と、
    　入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得部と、
    　前記モデル画像と前記入力画像の照合を行う画像照合部と、
    　を備え、
    　前記画像照合部は、特徴点の位置および各特徴点の位置における輝度勾配の方向の両方に対して許容範囲を設けて画像照合を行う、
    　ことを特徴とする画像照合装置。
  2. 　前記画像照合部は、モデル画像に含まれる特徴点（以下、モデル特徴点と称する）について、当該モデル特徴点の位置ずれ許容範囲に対応する入力画像中に、輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である特徴点が存在する場合に、前記モデル特徴点に対応する特徴点が入力画像中に存在すると判断する、
    　請求項１に記載の画像照合装置。
  3. 　特徴点の位置の許容範囲は、前記モデル画像における特徴点の位置を中心とする、矩形、円、楕円のいずれかの形状である、
    　請求項１または２に記載の画像照合装置。
  4. 　輝度勾配の方向の許容範囲は、前記モデル画像における輝度勾配の方向を中心とする所定の角度範囲である、
    　請求項１から３のいずれか１項に記載の画像照合装置。
  5. 　前記特徴点はエッジ点である、
    　請求項１から４のいずれか１項に記載の画像照合装置。
  6. 　前記画像照合における特徴点の位置および各特徴点における輝度勾配の方向の許容範囲をユーザが設定するための許容範囲設定手段を更に備える、
    　請求項１から５のいずれか１項に記載の画像照合装置。
  7. 　前記許容範囲設定手段は、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲のいずれかまたは双方を、ユーザが設定可能に構成される、
    　請求項６に記載の画像照合装置。
  8. 　前記許容範囲設定手段は、
    　　許容する変形パターンと許容する変形量のレベルの組合せと、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲の組合せとを対応付けてあらかじめ記憶し、
    　　許容する変形のパターンと許容する変形量のレベルをユーザから受け付け、
    　　当該ユーザからの入力に基づいて特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲を決定する、
    　ように構成される、請求項６に記載の画像照合装置。
  9. 　前記画像照合部によって検出された、モデル特徴点に対応する入力画像中の特徴点の位置を、前記モデル特徴点と関連付けて記憶する対応点位置記憶手段と、
    　前記対応点位置記憶手段に記憶されたモデル特徴点に対応する入力画像中の特徴点の位置を出力する出力手段と、
    　を更に備える、請求項１から８のいずれか１項に記載の画像照合装置。
  10. 　どのモデル特徴点に対応する入力画像中の特徴点を出力するかの指定をユーザから受け付ける設定手段を、更に備える、
    　請求項９に記載の画像照合装置。
  11. 　物体を撮影するカメラと、
    　前記カメラから入力された画像に前記照合対象の物体が含まれるか否かを判別し、その結果を出力する、請求項１から１０のいずれか１項に記載の画像照合装置と、
    　を有する画像センサ。
  12. 　物体を撮影するカメラと、
    　前記カメラから入力された画像に前記照合対象の物体が含まれるか否かを判別し、含まれる場合には、前記出力手段から前記モデル特徴点に対応する入力画像中の特徴点の位置を出力する請求項９または１０に記載の画像照合装置と、
    　を有する画像センサ。
  13. 　照合対象物体に対する操作を行う処理装置を制御する制御装置と、
    　請求項１２に記載の画像センサと、
    　を有する処理システムであって、
    　前記画像センサの出力手段は、前記モデル特徴点に対応する入力画像中の特徴点の位置を前記制御装置に出力し、
    　前記制御装置は、前記画像センサから得られる前記モデル特徴点に対応する入力画像中の特徴点の位置に基づいて決定される部位に対して操作を行うように、前記処理装置を制御する、
    　処理システム。
  14. 　コンピュータが行う画像照合方法であって、
    　照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶ステップと、
    　入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得ステップと、
    　前記モデル画像と前記入力画像の照合を行う画像照合ステップと、
    　を含み、
    　前記画像照合ステップでは、特徴点の位置および各特徴点の位置における輝度勾配の方向の両方に対して許容範囲を設けて画像照合を行う、
    　ことを特徴とする画像照合方法。
  15. 　請求項１４に記載の物体判別方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
  16. 　請求項１５に記載のコンピュータプログラムを非一時的に記憶するコンピュータ読取可能な記録媒体。
     
PCT/JP2014/084644 2014-01-15 2014-12-26 画像照合装置、画像センサ、処理システム、画像照合方法 WO2015107859A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480069612.4A CN105849774B (zh) 2014-01-15 2014-12-26 图像对照装置、图像传感器、处理系统、图像对照方法
EP14879004.1A EP3096289B1 (en) 2014-01-15 2014-12-26 Image comparison device, image sensor, processing system, and image comparison method
US15/110,116 US9978138B2 (en) 2014-01-15 2014-12-26 Image comparison device, image sensor, processing system, and image comparison method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014005089A JP6557943B2 (ja) 2014-01-15 2014-01-15 画像照合装置、画像センサ、処理システム、画像照合方法
JP2014-005089 2014-01-15

Publications (1)

Publication Number Publication Date
WO2015107859A1 true WO2015107859A1 (ja) 2015-07-23

Family

ID=53542759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/084644 WO2015107859A1 (ja) 2014-01-15 2014-12-26 画像照合装置、画像センサ、処理システム、画像照合方法

Country Status (5)

Country Link
US (1) US9978138B2 (ja)
EP (1) EP3096289B1 (ja)
JP (1) JP6557943B2 (ja)
CN (1) CN105849774B (ja)
WO (1) WO2015107859A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018407A (zh) * 2016-01-20 2017-08-04 索尼互动娱乐股份有限公司 信息处理装置、评价用图、评价系统、以及性能评价方法
WO2023162476A1 (ja) * 2022-02-28 2023-08-31 パナソニックＩｐマネジメント株式会社 特徴点登録装置および特徴点登録方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008798A1 (ja) * 2013-07-18 2015-01-22 三菱電機株式会社 目標類識別装置
JP6348093B2 (ja) 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
CN106504231A (zh) * 2016-10-11 2017-03-15 广州视源电子科技股份有限公司 元件缺陷检测方法和系统
JP6337949B1 (ja) * 2016-12-15 2018-06-06 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
EP3404583A1 (en) * 2017-05-19 2018-11-21 MVTec Software GmbH System and method for model adaptation
JP7006111B2 (ja) * 2017-10-06 2022-01-24 株式会社ニコン 位置を決定する装置、方法、およびプログラム、画像を表示する装置、方法、およびプログラム
JP6491776B1 (ja) * 2018-04-12 2019-03-27 株式会社Ｗｉｎｄｙ 錠剤認識又は識別システム及び方法
JP7508206B2 (ja) * 2019-08-30 2024-07-01 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
DE112021000477T5 (de) * 2020-01-06 2022-12-01 Fanuc Corporation Objekterkennungsvorrichtung und modellmusterbewertungsvorrichtung
JPWO2022239202A1 (ja) * 2021-05-13 2022-11-17
US11941863B2 (en) 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249119A (ja) * 1994-03-09 1995-09-26 Daikin Ind Ltd 画像認識方法およびその装置
JPH09161054A (ja) * 1995-12-13 1997-06-20 Nec Corp 指紋分類装置
JP2003036443A (ja) * 2001-07-23 2003-02-07 Nec Software Chubu Ltd 特徴点表示装置、その方法、及びそのプログラム
US7024042B2 (en) 2000-10-04 2006-04-04 Fujitsu Limited Word recognition device, word recognition method, and storage medium
JP2007004823A (ja) * 2006-08-18 2007-01-11 Fujitsu Ltd 生体情報取得装置および生体情報による認証装置
JP2008129743A (ja) * 2006-11-20 2008-06-05 Hitachi Ltd 生体情報の特徴量変換方法、その装置およびそれを用いたユーザ認証システム
JP2008286725A (ja) 2007-05-21 2008-11-27 Mitsubishi Electric Corp 人物検出装置および方法
US20100284577A1 (en) 2009-05-08 2010-11-11 Microsoft Corporation Pose-variant face recognition using multiscale local descriptors
WO2011024927A1 (ja) * 2009-08-25 2011-03-03 日本電気株式会社 縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767143A (ja) * 1993-08-25 1995-03-10 Nippon Hoso Kyokai <Nhk> 画像のマッチング評価方法
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
US7302111B2 (en) * 2001-09-12 2007-11-27 Micronic Laser Systems A.B. Graphics engine for high precision lithography
US7164784B2 (en) * 2002-07-30 2007-01-16 Mitsubishi Electric Research Laboratories, Inc. Edge chaining using smoothly-varying stereo disparity
JP4975688B2 (ja) * 2008-07-03 2012-07-11 ファナック株式会社 画像処理装置
JP5301239B2 (ja) * 2008-08-09 2013-09-25 株式会社キーエンス 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
JP5287550B2 (ja) * 2009-07-01 2013-09-11 富士通株式会社 生体認証システム，生体認証方法，生体認証装置，生体情報処理装置，生体認証プログラムおよび生体情報処理プログラム
JP5254270B2 (ja) * 2010-04-09 2013-08-07 株式会社ニューフレアテクノロジー 検査方法および検査装置
JP5765026B2 (ja) * 2011-04-06 2015-08-19 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6049101B2 (ja) * 2013-01-17 2016-12-21 株式会社日立ハイテクノロジーズ 検査装置
CN103065135A (zh) * 2013-01-25 2013-04-24 上海理工大学 基于数字图像处理的车牌号码匹配算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249119A (ja) * 1994-03-09 1995-09-26 Daikin Ind Ltd 画像認識方法およびその装置
JPH09161054A (ja) * 1995-12-13 1997-06-20 Nec Corp 指紋分類装置
US7024042B2 (en) 2000-10-04 2006-04-04 Fujitsu Limited Word recognition device, word recognition method, and storage medium
JP2003036443A (ja) * 2001-07-23 2003-02-07 Nec Software Chubu Ltd 特徴点表示装置、その方法、及びそのプログラム
JP2007004823A (ja) * 2006-08-18 2007-01-11 Fujitsu Ltd 生体情報取得装置および生体情報による認証装置
JP2008129743A (ja) * 2006-11-20 2008-06-05 Hitachi Ltd 生体情報の特徴量変換方法、その装置およびそれを用いたユーザ認証システム
JP2008286725A (ja) 2007-05-21 2008-11-27 Mitsubishi Electric Corp 人物検出装置および方法
US20100284577A1 (en) 2009-05-08 2010-11-11 Microsoft Corporation Pose-variant face recognition using multiscale local descriptors
WO2011024927A1 (ja) * 2009-08-25 2011-03-03 日本電気株式会社 縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3096289A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018407A (zh) * 2016-01-20 2017-08-04 索尼互动娱乐股份有限公司 信息处理装置、评价用图、评价系统、以及性能评价方法
CN107018407B (zh) * 2016-01-20 2020-02-07 索尼互动娱乐股份有限公司 信息处理装置、评价用图、评价系统、以及性能评价方法
WO2023162476A1 (ja) * 2022-02-28 2023-08-31 パナソニックＩｐマネジメント株式会社 特徴点登録装置および特徴点登録方法

Also Published As

Publication number Publication date
CN105849774B (zh) 2019-01-11
JP6557943B2 (ja) 2019-08-14
JP2015133049A (ja) 2015-07-23
EP3096289B1 (en) 2019-09-04
EP3096289A1 (en) 2016-11-23
CN105849774A (zh) 2016-08-10
US9978138B2 (en) 2018-05-22
EP3096289A4 (en) 2017-08-16
US20160328834A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
US11120254B2 (en) Methods and apparatuses for determining hand three-dimensional data
JP6176388B2 (ja) 画像識別装置、画像センサ、画像識別方法
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US10456918B2 (en) Information processing apparatus, information processing method, and program
JP7197971B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
EP3223193B1 (en) Image processing device, image processing method and image processing program
JP6054831B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017090970A (ja) 物品管理装置、その方法、及びそのプログラム
US9286669B2 (en) Image processing apparatus, image processing method and program
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
JP5769559B2 (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
US11906441B2 (en) Inspection apparatus, control method, and program
CN111199533B (zh) 图像处理装置
CN109978829B (zh) 一种待检测对象的检测方法及其系统
US20180082426A1 (en) Algorithmic method for detection of documents in images
US9665938B2 (en) Image processing apparatus and specific figure detecting method
JP6156740B2 (ja) 情報表示装置及び入力情報補正プログラム並びに入力情報補正方法
JP2017120455A (ja) 情報処理装置、プログラム及び制御方法
JP7345355B2 (ja) 物体識別装置
JP2012238098A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14879004

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014879004

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014879004

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15110116

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE