[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4150390B2 - Appearance inspection method and appearance inspection apparatus - Google Patents

Appearance inspection method and appearance inspection apparatus Download PDF

Info

Publication number
JP4150390B2
JP4150390B2 JP2005267496A JP2005267496A JP4150390B2 JP 4150390 B2 JP4150390 B2 JP 4150390B2 JP 2005267496 A JP2005267496 A JP 2005267496A JP 2005267496 A JP2005267496 A JP 2005267496A JP 4150390 B2 JP4150390 B2 JP 4150390B2
Authority
JP
Japan
Prior art keywords
image
pixel
inspection object
luminance value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005267496A
Other languages
Japanese (ja)
Other versions
JP2007078540A (en
Inventor
圭司 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Priority to JP2005267496A priority Critical patent/JP4150390B2/en
Publication of JP2007078540A publication Critical patent/JP2007078540A/en
Application granted granted Critical
Publication of JP4150390B2 publication Critical patent/JP4150390B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、検査対象物の外観を検査するための外観検査方法及び外観検査装置に関する。   The present invention relates to an appearance inspection method and an appearance inspection apparatus for inspecting the appearance of an inspection object.

従来から、電子部品を撮像して画像データを出力する撮像手段と、撮像手段によって撮像された画像データに基づいて、電子部品上の検査対象範囲を特定すると共に、検査対象範囲の画像データにおける各画素に直交座標を割り当てる検査領域特定手段と、検査対象範囲内において直交座標における一方の座標軸に対して平行な方向に連なる複数の画素の平均輝度を、他方の座標毎に算出する平均輝度算出手段と、各画素の輝度とその画素に対応する平均輝度との輝度差を算出する輝度差算出手段と、を備える電子部品の外観検査装置が知られている(例えば、特許文献1参照)。
特開平6−42935号公報
Conventionally, an imaging unit that images an electronic component and outputs image data, and an inspection target range on the electronic component based on the image data captured by the imaging unit, and each of the image data in the inspection target range Inspection area specifying means for assigning orthogonal coordinates to pixels, and average brightness calculating means for calculating the average brightness of a plurality of pixels connected in a direction parallel to one coordinate axis in the orthogonal coordinates within the inspection target range for each other coordinate In addition, there is known an electronic component appearance inspection apparatus that includes a luminance difference calculating unit that calculates a luminance difference between the luminance of each pixel and the average luminance corresponding to the pixel (see, for example, Patent Document 1).
JP-A-6-42935

しかしながら、特許文献1に記載されたような外観検査装置による検査方法を用いても、検査対象物が曲面を有している場合や、検査対象物毎にそれぞれ異なる研磨筋等が形成されているような場合、検査対象物に生じた欠陥の形状によっては欠陥を検出することが困難であった。   However, even when an inspection method using an appearance inspection apparatus as described in Patent Document 1 is used, when the inspection object has a curved surface, different polishing streaks or the like are formed for each inspection object. In such a case, it is difficult to detect the defect depending on the shape of the defect generated in the inspection object.

本発明は、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる外観検査方法及び外観検査装置を提供することを目的とする。   The present invention provides an appearance inspection method and an appearance inspection apparatus capable of reliably detecting defects in an inspection object, regardless of the shape of the defect in the inspection object or different polishing streaks formed on each inspection object. The purpose is to provide.

本発明に係る外観検査方法は、検査対象物の外観検査を行うための外観検査方法であって、検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎にその第1の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎にその第2の画素列に含まれる一連の画素の輝度値の平均を算出することで、第1の方向及び第2の方向における検査対象物画像の平均輝度分布を算出する工程と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する工程と、撮像画像と基準画像とから第1補正画像を生成する工程と、ソーベルフィルタにより第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、ソーベル処理画像と第1補正画像とから第2補正画像を生成する工程と、第2補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする。   An appearance inspection method according to the present invention is an appearance inspection method for performing an appearance inspection of an inspection object, the step of imaging the inspection object and obtaining a captured image including the inspection object image, and the inspection object For each first pixel column composed of a series of pixels parallel to the first direction along the outer edge of the image, the average of the luminance values of the series of pixels included in the first pixel column is calculated, and the first direction Calculating the average of the luminance values of a series of pixels included in the second pixel column for each second pixel column composed of a series of pixels parallel to a second direction orthogonal to the first direction and A step of calculating an average luminance distribution of the inspection object image in the second direction, a step of generating a reference image serving as a reference for the inspection object image based on the average luminance distribution, and the captured image and the reference image A step of generating a first corrected image, and a Sobel filter. A step of calculating a change amount of a luminance value of each pixel in the first corrected image to generate a Sobel processed image, a step of generating a second corrected image from the Sobel processed image and the first corrected image, and a second corrected image And binarizing to identify a connected area, and comparing the number of pixels in the connected area with a threshold value.

本発明に係る外観検査方法では、検査対象物を撮像し、検査対象物画像の外縁に沿う第1の方向及び第2の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、検査対象物画像に対して基準となる基準画像を各平均輝度分布に基づいて生成し、撮像画像と基準画像とから第1補正画像を生成している。このため、各検査対象物毎に生成された基準画像に応じて、撮像画像が個別に補正されることとなるので、検査対象物に形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第1補正画像を処理することで、第2補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。   In the appearance inspection method according to the present invention, the inspection object is imaged, and the average luminance distribution is obtained for each inspection object in the first direction and the second direction along the outer edge of the inspection object image. A reference image serving as a reference for the inspection object image is generated based on each average luminance distribution, and a first corrected image is generated from the captured image and the reference image. For this reason, since the captured image is individually corrected according to the reference image generated for each inspection object, even if the polishing streaks formed on the inspection object are individually different The defect of each inspection object can be detected. Further, the second corrected image is generated by processing the first corrected image using the Sobel processed image generated by calculating the change amount of the luminance value of the first corrected image by the Sobel filter. It is possible to detect a defect in the inspection object with high accuracy, and in particular, it becomes easy to detect a crack in the inspection object and a foreign matter attached to the inspection object.

また、第1補正画像を生成する工程では、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第1補正画像を生成することが好ましい。このようにすると、第1補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。   Further, in the step of generating the first corrected image, the luminance value at each pixel of the reference image is subtracted from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image. It is preferable to generate the first corrected image. In this way, the amount of change in luminance value in the area other than the defective portion of the first corrected image is extremely small (the luminance value is substantially uniform), while the amount of change in luminance value is extremely large in the region of the defective portion. . As a result, a range in which a threshold value for binarizing the second corrected image generated thereafter can be set, and the threshold value can be easily set.

また、第2補正画像を生成する工程では、第1補正画像とソーベル処理画像とで対応する位置にある画素毎に、第1補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第2補正画像を生成することが好ましい。このようにすると、第2補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の輝度値の大きさとの差を広げることができるので、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。   Further, in the step of generating the second corrected image, the luminance at each pixel of the Sobel processed image is calculated from the luminance value at each pixel of the first corrected image for each pixel at the corresponding position in the first corrected image and the Sobel processed image. It is preferable to generate the second corrected image by subtracting the value. In this way, in the second corrected image, it is possible to widen the difference between the luminance value in the defective portion area and the luminance value other than the defective portion. Can be detected more easily.

また、微分フィルタにより第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、微分処理画像と第1補正画像とから第3補正画像を生成する工程と、第3補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。   A step of calculating a change amount of a luminance value of each pixel in the first correction image by a differential filter to generate a differential processing image; a step of generating a third correction image from the differential processing image and the first correction image; It is preferable that the method further includes a step of binarizing the third corrected image to identify a connected area and comparing the number of pixels in the connected area with a threshold value. In this way, it becomes easy to detect a defect due to a chip, in which the amount of change in luminance value can vary from a small value to a large value in the defective portion region.

また、第3補正画像を生成する工程では、微分処理画像と第1補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第1補正画像の各画素における輝度値とを加算することで第3補正画像を生成することが好ましい。このようにすると、第3補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができるので、欠けによる欠陥をより検出しやすくなる。   Further, in the step of generating the third corrected image, for each pixel at a position corresponding to the differentiated image and the first corrected image, the luminance value in each pixel of the differentiated image and the luminance in each pixel of the first corrected image. It is preferable to generate the third corrected image by adding the value. In this way, in the third corrected image, it is possible to widen the difference between the magnitude of the luminance value in the defective area and the magnitude of the luminance value in the area other than the defective area, so that it becomes easier to detect defects due to chipping. .

また、撮像画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第1補正画像では補正されてしまうような、ある程度面積の大きな剥離による欠陥についても検出することができる。   Moreover, it is preferable to further include a step of binarizing the captured image to identify a connected area and comparing the number of pixels in the connected area with a threshold value. In this way, it is possible to detect a defect due to peeling having a large area, which is corrected in the first correction image.

一方、本発明に係る外観検査装置は、検査対象物の外観検査を行うための外観検査装置であって、検査対象物を照明する照明手段と、照明手段によって照明された検査対象物を撮像する撮像手段と、撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎にその第1の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎にその第2の画素列に含まれる一連の画素の輝度値の平均を算出することで、第1の方向及び第2の方向における検査対象物画像の平均輝度分布を算出する手段と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する手段と、撮像画像と基準画像とから第1補正画像を生成する手段と、ソーベルフィルタにより第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、ソーベル処理画像と第1補正画像とから第2補正画像を生成する手段と、第2補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする。   On the other hand, an appearance inspection apparatus according to the present invention is an appearance inspection apparatus for inspecting the appearance of an inspection object, and illuminates the inspection object and images the inspection object illuminated by the illumination means. Included in the first pixel column for each first pixel column consisting of an imaging unit and a series of pixels parallel to the first direction along the outer edge of the inspection object image included in the captured image captured by the imaging unit A series of pixels included in the second pixel column for each second pixel column composed of a series of pixels parallel to a second direction orthogonal to the first direction. Means for calculating an average luminance distribution of the inspection object image in the first direction and the second direction by calculating an average of the luminance values of the pixels, and a reference image serving as a reference for the inspection object image Means for generating based on the average luminance distribution; Means for generating a first corrected image from an image image and a reference image, means for calculating a change amount of a luminance value of each pixel in the first corrected image by a Sobel filter and generating a Sobel processed image, and a Sobel processed image And means for generating a second correction image from the first correction image, means for binarizing the second correction image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value. Features.

本発明に係る外観検査装置では、撮像手段によって検査対象物を撮像し、検査対象物画像の外縁に沿う第1の方向及び第2の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、各平均輝度分布に基づいて撮像した検査対象物に対応する基準画像を生成し、撮像画像と基準画像とから第1補正画像を生成している。このため、各検査対象物に生成された基準画像に応じて、撮像画像が個別に補正されるので、検査対象物形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第1補正画像を処理することで、第2補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。   In the appearance inspection apparatus according to the present invention, the inspection object is imaged by the imaging means, and the average luminance distribution is obtained for each inspection object in the first direction and the second direction along the outer edge of the inspection object image. . Then, a reference image corresponding to the inspection object imaged based on each average luminance distribution is generated, and a first correction image is generated from the captured image and the reference image. For this reason, since the captured images are individually corrected according to the reference image generated for each inspection object, each inspection object can be obtained even when the polishing streaks formed on the inspection object are individually different. Defects can be detected. Further, the second corrected image is generated by processing the first corrected image using the Sobel processed image generated by calculating the change amount of the luminance value of the first corrected image by the Sobel filter. It is possible to detect a defect in the inspection object with high accuracy, and in particular, it becomes easy to detect a crack in the inspection object and a foreign matter attached to the inspection object.

また、第1補正画像を生成する手段は、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第1補正画像を生成することが好ましい。このようにすると、第1補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。   Further, the means for generating the first corrected image subtracts the luminance value at each pixel of the reference image from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image. It is preferable to generate the first corrected image. In this way, the amount of change in luminance value in the area other than the defective portion of the first corrected image is extremely small (the luminance value is substantially uniform), while the amount of change in luminance value is extremely large in the region of the defective portion. . As a result, a range in which a threshold value for binarizing the second corrected image generated thereafter can be set, and the threshold value can be easily set.

また、第2補正画像を生成する手段は、第1補正画像とソーベル処理画像とで対応する位置にある画素毎に、第1補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第2補正画像を生成することが好ましい。このようにすると、ソーベルフィルタにより得られた第1補正画像における各画素の輝度値の変化量(ソーベル処理画像における各画素の輝度値)を第1補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像を2値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。   Further, the means for generating the second corrected image is configured such that, for each pixel at a position corresponding to the first corrected image and the Sobel processed image, the luminance at each pixel of the Sobel processed image from the luminance value at each pixel of the first corrected image. It is preferable to generate the second corrected image by subtracting the value. In this way, by reflecting the amount of change in the luminance value of each pixel in the first corrected image obtained by the Sobel filter (the luminance value of each pixel in the Sobel processed image) in the first corrected image, Since the difference between the magnitude of the brightness value and the brightness value other than the defective portion widens, by binarizing such a second corrected image, defects such as cracks and foreign matter attached to the inspection object can be detected more. It becomes easy.

また、微分フィルタにより第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、微分処理画像と第1補正画像とから第3補正画像を生成する手段と、第3補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。   A means for calculating a change amount of a luminance value of each pixel in the first correction image by a differential filter to generate a differential processing image; a means for generating a third correction image from the differential processing image and the first correction image; It is preferable to further include means for binarizing the third corrected image to identify a connected area and comparing the number of pixels in the connected area with a threshold value. In this way, it becomes easy to detect a defect due to a chip, in which the amount of change in luminance value can vary from a small value to a large value in the defective portion region.

また、第3補正画像を生成する手段は、微分処理画像と第1補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第1補正画像の各画素における輝度値とを加算することで第3補正画像を生成することが好ましい。このようにすると、微分フィルタにより得られた第1補正画像における各画素の輝度値の変化量(微分処理画像における各画素の輝度値)を第1補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像を2値化することで、欠けによる欠陥をより検出しやすくなる。   Further, the means for generating the third correction image is configured to generate a luminance value for each pixel of the differential processing image and a luminance for each pixel of the first correction image for each pixel at a position corresponding to the differential processing image and the first correction image. It is preferable to generate the third corrected image by adding the value. In this way, the luminance value of the defective portion is reflected by reflecting, in the first corrected image, the amount of change in the luminance value of each pixel in the first corrected image obtained by the differential filter (the luminance value of each pixel in the differentiated image). Since the difference between the magnitude of the value and the magnitude of the brightness value other than the defective portion is widened, binarization of such a second corrected image makes it easier to detect defects due to chipping.

また、第1補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第1補正画像では補正されてしまうような、ある程度大きな剥離による欠陥についても検出することができる。   Moreover, it is preferable to further include a step of binarizing the first corrected image to identify a connected area and comparing the number of pixels in the connected area with a threshold value. In this way, it is possible to detect a defect due to a somewhat large peeling that is corrected in the first correction image.

本発明によれば、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる。   According to the present invention, it is possible to reliably detect the defect of the inspection object regardless of the shape of the defect in the inspection object or the different polishing streaks formed on each inspection object.

本発明の好適な実施形態について、図面を参照して説明する。なお、説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。   Preferred embodiments of the present invention will be described with reference to the drawings. In the description, the same reference numerals are used for the same elements or elements having the same function, and a duplicate description is omitted.

(外観検査装置の構成)
図1を参照して、本実施形態に係る外観検査装置10の構成について説明する。図1は、(a)が外観検査装置の構成を概略的に示す斜視図であり、(b)が検査対象物の斜視図である。
(Configuration of appearance inspection equipment)
With reference to FIG. 1, the structure of the external appearance inspection apparatus 10 which concerns on this embodiment is demonstrated. FIG. 1A is a perspective view schematically showing a configuration of an appearance inspection apparatus, and FIG. 1B is a perspective view of an inspection object.

外観検査装置10は、後述する検査対象物22の外観を検査するための装置である。そのために、外観検査装置10は、カメラ12と、画像処理部14と、ディスプレイ16と、LED照明器18a,18bとを有している。   The appearance inspection apparatus 10 is an apparatus for inspecting the appearance of an inspection object 22 to be described later. For this purpose, the appearance inspection apparatus 10 includes a camera 12, an image processing unit 14, a display 16, and LED illuminators 18a and 18b.

カメラ12は、LED照明器18a,18bによって照明された検査対象物22の外側面を撮像するものであり、例えばCCD(Charge Coupled Device)カメラを用いることができる。カメラ12では、検査対象物22の撮像画像P1,P13(図7(a)、図10(a)参照)を取得すると、その撮像画像P1のデータを画像処理部14に出力する。なお、カメラ12は、少なくとも輝度情報が得られればよいので、CMOS(Complementary Metal Oxide Semiconductor)カメラ、赤外線カメラ、白黒カメラ、カラーカメラ等であってもよい。   The camera 12 images the outer surface of the inspection object 22 illuminated by the LED illuminators 18a and 18b. For example, a CCD (Charge Coupled Device) camera can be used. When the camera 12 acquires the captured images P1 and P13 (see FIGS. 7A and 10A) of the inspection object 22, the camera 12 outputs data of the captured image P1 to the image processing unit 14. The camera 12 may be a CMOS (Complementary Metal Oxide Semiconductor) camera, an infrared camera, a black and white camera, a color camera, or the like, as long as it can obtain at least luminance information.

画像処理部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含む図示しないECU(Electronic Control Unit)等を有し、カメラ12によって出力された撮像画像の画像処理を行うものである。画像処理部14では、撮像画像P1,P13等の画像処理を行うと、その処理された画像をディスプレイ16に表示させるように、ディスプレイ16に画像信号を出力する。   The image processing unit 14 includes an unillustrated ECU (Electronic Control Unit) including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and a captured image output by the camera 12. The image processing is performed. When the image processing unit 14 performs image processing on the captured images P1, P13, and the like, the image processing unit 14 outputs an image signal to the display 16 so that the processed image is displayed on the display 16.

ディスプレイ16は、撮像画像P1,P13、後述する第1補正画像P3等の各種画像や欠陥の有無を表示するものである。このため、ディスプレイ16に表示される各種画像をオペレータが観察することで、人間の目視によっても検査対象物22の外観を検査することができるようになっている。   The display 16 displays various images such as captured images P1 and P13, a first corrected image P3 described later, and the presence or absence of defects. Therefore, the appearance of the inspection object 22 can be inspected by human eyes by observing various images displayed on the display 16 by the operator.

LED照明器18a,18bは、検査対象物22をその周囲360°方向から照明することのできるリング状の照明器具であり、検査対象物22の上方に検査対象物22が載置される載置板20と対向するようにそれぞれ設けられている。LED照明器18aは、載置板20側に配置されており、略円筒形状を呈し、その内側面に複数のLED光源が配列されている。このため、LED照明器18aでは、その内側面からLED照明器18aの中心方向に向かって照明することとなる。一方、LED照明器18bは、カメラ12側に配置されており、内側面が略円錐形状となっており、その内側面に複数のLED光源が配列されている。このため、LED照明器18bでは、その内側面から所定の角度をもって下方に向かって照明することとなる。これらのLED照明器18a,18bを用いることによって、検査対象物22に対して均一に照明を行っている。   The LED illuminators 18a and 18b are ring-shaped lighting fixtures that can illuminate the inspection object 22 from the direction of 360 ° around the LED illuminators 18a and 18b, and the inspection object 22 is placed above the inspection object 22. Each is provided so as to face the plate 20. The LED illuminator 18a is disposed on the mounting plate 20 side, has a substantially cylindrical shape, and a plurality of LED light sources are arranged on the inner surface thereof. For this reason, the LED illuminator 18a illuminates from the inner side surface toward the center of the LED illuminator 18a. On the other hand, the LED illuminator 18b is disposed on the camera 12 side, and has an inner surface of a substantially conical shape, and a plurality of LED light sources are arranged on the inner surface. For this reason, the LED illuminator 18b illuminates downward from the inner surface with a predetermined angle. By using these LED illuminators 18a and 18b, the inspection object 22 is uniformly illuminated.

ここで、検査対象物22は、本実施形態において、円柱面状とされた外周面22a及び内周面22bを有し、且つ、側面22cが円弧状となっている。この検査対象物22の外周面22a及び内周面22bには、検査対象物22を製造する工程において、円柱面状をなす外周面22a及び内周面22bの軸方向に沿うと共に、各検査対象物22毎に異なる研磨筋が形成されている。検査対象物22は、例えば、クーラー等のモータ用のマグネットとして用いられる。   Here, in this embodiment, the inspection object 22 has an outer peripheral surface 22a and an inner peripheral surface 22b that are formed into a cylindrical surface, and the side surface 22c has an arc shape. The outer peripheral surface 22a and the inner peripheral surface 22b of the inspection object 22 are in the axial direction of the outer peripheral surface 22a and the inner peripheral surface 22b that form a cylindrical surface in the process of manufacturing the inspection object 22, and each inspection object Different polishing streaks are formed for each object 22. The inspection object 22 is used as a magnet for a motor such as a cooler, for example.

検査対象物22に生じうる欠陥としては、例えば、クラック、欠け、剥離がある。クラックは、他の欠陥と比べてその欠陥の大きさ(面積)が比較的小さい。クラックは、検査対象物22の表面からの欠陥の深さ(欠陥深さ)が深いため、撮像画像の欠陥部分における輝度値の変化量が大きな値となる傾向にある。欠けは、欠陥の大きさ(面積)として小さなものから大きなものまで生じうる。欠けは、欠陥深さが浅いものから深いものまであるために、撮像画像の欠陥部分における輝度値の変化量についても小さな値から大きな値をとりうる。剥離は、欠陥の大きさ(面積)が比較的大きい。剥離では、欠陥深さが比較的浅いため、撮像画像の欠陥部分における輝度値の変化量が小さな値となる傾向にある。   Examples of defects that can occur in the inspection object 22 include cracks, chips, and peeling. A crack has a relatively small size (area) compared to other defects. Since the crack has a deep defect depth (defect depth) from the surface of the inspection object 22, the amount of change in the luminance value in the defect portion of the captured image tends to be a large value. The chipping can occur from a small to a large defect size (area). Since the defect has a defect depth from a shallow one to a deep one, the amount of change in the luminance value in the defective portion of the captured image can take a small value to a large value. In peeling, the size (area) of defects is relatively large. In peeling, since the defect depth is relatively shallow, the amount of change in the luminance value in the defect portion of the captured image tends to be a small value.

(外観検査装置による外観検査方法)
次に、図2〜図10を参照して、以上の構成を有する外観検査装置10を用いた検査対象物22の外観検査処理方法について説明する。なお、ここでは特に、検査対象物22のうち円柱面状となっている外周面22a又は内周面22bの外観検査を行う場合について説明する。
(Appearance inspection method using appearance inspection equipment)
Next, an appearance inspection processing method for the inspection object 22 using the appearance inspection apparatus 10 having the above configuration will be described with reference to FIGS. In addition, especially the case where the external appearance test | inspection of the outer peripheral surface 22a or the internal peripheral surface 22b used as the cylindrical surface shape among the test objects 22 is performed is demonstrated.

図2は、外観検査処理の開始から終了までの手順を示すフローチャートである。図3は、補正画像作成処理の開始から終了までの手順を示すフローチャートである。図4は、第1欠陥検出処理の開始から終了までの手順を示すフローチャートである。図5は、第2欠陥検出処理の開始から終了までの手順を示すフローチャートである。図6は、第3欠陥検出処理の開始から終了までの手順を示すフローチャートである。図7は、欠陥検出第1処理における各画像を示し、(a)が撮像画像を示す図であり、(b)がマスタ画像を示す図であり、(c)が第1補正画像を示す図であり、(d)がソーベル処理画像を示す図であり、(e)が第2補正画像を示す図であり、(f)が2値化画像を示す図であり、(g)が欠陥検出結果画像を示す図である。図8は、(a)が平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、(b)が軸X方向における平均輝度値の分布を示す図であり、(c)が軸Y方向における平均輝度値の分布を示す図である。図9は、欠陥検出第2処理における各画像を示し、(a)が第1補正画像を示す図であり、(b)が微分処理画像を示す図であり、(c)が第3補正画像を示す図であり、(d)が2値化画像を示す図であり、(e)が欠陥検出結果画像を示す図である。図10は、欠陥検出第3処理における各画像を示し、(a)が撮像画像を示す図であり、(b)が2値化画像を示す図である。なお、図2〜図6に示されるフローチャートでは、ステップをSと略記している。また、図7、図9及び図10では、それぞれ異なる検査対象物22を用いて、欠陥検出第1処理、欠陥検出第2処理及び欠陥検出第3処理を説明している。   FIG. 2 is a flowchart showing a procedure from the start to the end of the appearance inspection process. FIG. 3 is a flowchart showing a procedure from the start to the end of the corrected image creation process. FIG. 4 is a flowchart showing a procedure from the start to the end of the first defect detection process. FIG. 5 is a flowchart showing a procedure from the start to the end of the second defect detection process. FIG. 6 is a flowchart showing a procedure from the start to the end of the third defect detection process. FIG. 7 shows each image in the defect detection first process, (a) shows a captured image, (b) shows a master image, and (c) shows a first corrected image. (D) is a diagram showing a Sobel processed image, (e) is a diagram showing a second corrected image, (f) is a diagram showing a binarized image, and (g) is a defect detection. It is a figure which shows a result image. 8A is a diagram showing an inspection object image for explaining a method of calculating the average luminance value, FIG. 8B is a diagram showing a distribution of average luminance values in the axis X direction, and FIG. ) Is a diagram showing a distribution of average luminance values in the axis Y direction. FIG. 9 shows each image in the defect detection second process, (a) shows the first corrected image, (b) shows the differential processed image, and (c) shows the third corrected image. (D) is a figure which shows a binarized image, (e) is a figure which shows a defect detection result image. FIG. 10 shows each image in the third defect detection process, (a) shows a captured image, and (b) shows a binarized image. In the flowcharts shown in FIGS. 2 to 6, the step is abbreviated as S. 7, 9, and 10, the defect detection first process, the defect detection second process, and the defect detection third process are described using different inspection objects 22.

外観検査装置10によって外観検査処理が開始されると、図2に示されるステップ1に進んで、外観検査装置20のオペレータによる検査対象物22の位置決めが行われる。具体的には、載置板20に設けられたピン(図示せず)に対して検査対象物22をバネで押しつけることによって、検査対象物22の研磨筋が検査対象物画像P1aの短辺(図8(a)に示される軸Y方向)に沿うように、検査対象物22を載置板20に固定する。こうすると、撮像画像P1と撮像画像P1における検査対象物22を示す画像(検査対象物画像)P1aとの外縁が平行となり、撮像画像P1から後述する第1補正画像P3が容易に得られることとなる。   When the appearance inspection process is started by the appearance inspection apparatus 10, the process proceeds to Step 1 shown in FIG. 2, and the inspection object 22 is positioned by the operator of the appearance inspection apparatus 20. Specifically, by pressing the inspection object 22 against a pin (not shown) provided on the mounting plate 20 with a spring, the polishing streaks of the inspection object 22 become short sides (in the inspection object image P1a). The inspection object 22 is fixed to the mounting plate 20 along the axis Y direction shown in FIG. In this way, the outer edges of the captured image P1 and the image (inspection object image) P1a indicating the inspection object 22 in the captured image P1 are parallel, and a first corrected image P3 described later can be easily obtained from the captured image P1. Become.

続いて、ステップ2に進むと、各LED照明器18a,18bによって照明された検査対象物22をカメラ12によって撮像する(図7(a)参照)。カメラ12による検査対象物22の撮像が行われると、撮像された撮像画像P1のデータが画像処理部14に出力される。以下に述べる第1補正画像生成処理、欠陥検出第1処理、欠陥検出第2処理、欠陥検出第3処理では、撮像画像P1のデータに基づき、画像処理部14によって検査対象物22の欠陥を検出するための各種処理が行われることとなる。   Subsequently, when proceeding to Step 2, the inspection object 22 illuminated by the LED illuminators 18a and 18b is imaged by the camera 12 (see FIG. 7A). When the inspection object 22 is imaged by the camera 12, data of the captured image P <b> 1 is output to the image processing unit 14. In the first corrected image generation process, the defect detection first process, the defect detection second process, and the defect detection third process described below, the defect of the inspection target 22 is detected by the image processing unit 14 based on the data of the captured image P1. Various processes are performed for this purpose.

(第1補正画像生成処理)
続くステップ3では、第1補正画像生成処理が行われる。第1補正画像生成処理が開始されると、図3に示されるステップ11に進んで、撮像画像P1において輝度値が0でない連続する画素の領域を求めた後、その画素の領域に外接する長方形を求めることで、撮像画像P1における検査対象物画像P1aの外形領域A1を決定する処理を行う。このとき、決定された外形領域A1の面積(画素数)及び外形領域A1の位置する座標を算出する処理も行われる。ステップ12に進むと、ステップ11において決定された外形領域A1の面積が所定の閾値以上であるか否かを判定する。すなわち、欠陥を検出する対象である検査対象物画像P1aの面積(画素数)は、各検査対象物22において略同一であるから、外形領域A1の面積(画素数)が閾値以上であれば撮像されたものが検査対象物22であると判定してステップ13に進むが、そうでなければ撮像されたものが検査対象物22ではない(例えば、検査対象物22の破片)と判定して図2に示されるステップ8に進んで、外観検査処理を終了するようにしている。
(First corrected image generation process)
In the subsequent step 3, a first corrected image generation process is performed. When the first corrected image generation process is started, the process proceeds to step 11 shown in FIG. 3, and after obtaining a region of continuous pixels whose luminance value is not 0 in the captured image P <b> 1, a rectangle circumscribing the region of the pixel Is obtained to determine the outer shape area A1 of the inspection object image P1a in the captured image P1. At this time, a process of calculating the determined area (number of pixels) of the outer region A1 and the coordinates where the outer region A1 is located is also performed. In step 12, it is determined whether or not the area of the outer shape area A1 determined in step 11 is equal to or larger than a predetermined threshold value. That is, since the area (number of pixels) of the inspection object image P1a that is a target for detecting a defect is substantially the same in each inspection object 22, imaging is performed if the area (number of pixels) of the outer region A1 is equal to or greater than the threshold value. If it is determined that the object to be inspected is the inspection object 22 and the process proceeds to step 13, otherwise, it is determined that the imaged object is not the inspection object 22 (for example, a fragment of the inspection object 22). The process proceeds to step 8 shown in FIG. 2 to end the appearance inspection process.

ステップ13に進むと、外形領域A1に基づいて、撮像画像P1において処理を行う対象となる領域(処理領域)A2を決定する。この処理領域A2を決定する処理について、図8を参照して、以下に具体的に説明する。なお、図8(a)に示される外形領域A1においては、白線の格子によって囲まれる矩形の各領域がそれぞれ画素に相当しており(図示の都合上、実際よりも大きさを誇張して描いている)、長辺と平行な軸X方向に沿う画素の座標が1〜xmax、短辺と平行で軸Xと直交する軸Y方向に沿う画素の座標が1〜ymaxとなっている。また、外形領域A1における任意座標(x,y)の画素の輝度値をI(x、y)と表すこととする。 In step 13, an area (processing area) A2 to be processed in the captured image P1 is determined based on the outer area A1. The processing for determining the processing area A2 will be specifically described below with reference to FIG. In addition, in the outline area A1 shown in FIG. 8A, each rectangular area surrounded by a white line grid corresponds to a pixel (for the sake of illustration, the size is exaggerated from the actual size). The coordinates of the pixel along the axis X direction parallel to the long side are 1 to x max , and the coordinates of the pixel along the axis Y direction parallel to the short side and orthogonal to the axis X are 1 to y max . . In addition, the luminance value of a pixel at an arbitrary coordinate (x, y) in the outer region A1 is represented as I (x, y).

処理領域A2を決定する際、まず、軸X方向に平行な一連の画素についての輝度値I(1,y)〜I(xmax,y)の平均(平均輝度値)Yを、軸Y方向毎に算出する。また、軸Y方向に平行な一連の画素についての輝度値I(x,1)〜I(x、ymax)の平均(平均輝度値)Xを、軸X方向毎に算出する。図8(b),(c)に示される平均輝度分布L1、L2は、このように算出された平均輝度値X,Yの変化をそれぞれ表している。なお、Y座標がnであるときの平均輝度値Ynは下記の式(1)で表され、X座標がmであるときの平均輝度値Xmは下記の式(2)で表される。

Figure 0004150390
Figure 0004150390
これらの平均輝度値X,Yを求めた後、図8(b),(c)においてそれぞれ破線で示される閾値と平均輝度値X,Yとを比較して、閾値と等しい平均輝度値X,Yを示すx座標及びy座標をそれぞれ求める。そして、このように求められた各座標を通り、各座標が存在する軸X又は軸Yに垂直な直線によって囲まれる領域を、処理領域A2に決定する。なお、外形領域A1を複数に分割し、それぞれの領域について平均輝度値を求めることで、処理領域A2を決定してもよい。 When determining the processing area A2, first, the average (average luminance value) Y of the luminance values I (1, y) to I (x max , y) for a series of pixels parallel to the axis X direction is calculated in the axis Y direction. Calculate every time. Further, an average (average luminance value) X of the luminance values I (x, 1) to I (x, y max ) for a series of pixels parallel to the axis Y direction is calculated for each axis X direction. The average luminance distributions L1 and L2 shown in FIGS. 8B and 8C represent changes in the average luminance values X and Y calculated in this way, respectively. The average luminance value Yn when the Y coordinate is n is expressed by the following equation (1), and the average luminance value Xm when the X coordinate is m is expressed by the following equation (2).
Figure 0004150390
Figure 0004150390
After obtaining these average luminance values X and Y, the threshold values indicated by the broken lines in FIGS. 8B and 8C are compared with the average luminance values X and Y, respectively, and the average luminance values X and X equal to the threshold values are compared. An x coordinate and a y coordinate indicating Y are respectively obtained. Then, a region that passes through the coordinates thus obtained and is surrounded by a straight line perpendicular to the axis X or the axis Y where the coordinates exist is determined as the processing region A2. The processing area A2 may be determined by dividing the outer area A1 into a plurality of areas and obtaining an average luminance value for each area.

続いて、ステップ14に進むと、マスタ画像(基準画像)P2を生成する。マスタ画像P2の生成の際には、まず、処理領域A2において再び平均輝度値X´,Y´を求める。これらの平均輝度値X´,Y´に基づいて、下記の式(3)から座標(m,n)における画素の輝度値I´(m,n)を処理領域A2の全画素について算出し、マスタ画像P2を生成する(図7(b)参照)。

Figure 0004150390
ここで、式(3)におけるα,βは、それぞれ軸X,Y方向における平均輝度値の寄与率となっている。マスタ画像P2を生成する際、寄与率α,βのうち平均輝度値X´,Y´について優先させたい側の値を大きく設定することで、生成されるマスタ画像P2を調節することができる。なお、本実施形態では、軸X方向に沿う研磨筋の影響を考慮するため、βよりもαの値を大きくしている。 Subsequently, when proceeding to step 14, a master image (reference image) P2 is generated. When generating the master image P2, first, average luminance values X ′ and Y ′ are obtained again in the processing area A2. Based on these average luminance values X ′ and Y ′, the luminance value I ′ (m, n) of the pixel at the coordinates (m, n) is calculated for all the pixels in the processing area A2 from the following equation (3). A master image P2 is generated (see FIG. 7B).
Figure 0004150390
Here, α and β in Equation (3) are the contribution ratios of the average luminance values in the directions of the axes X and Y, respectively. When generating the master image P2, the master image P2 to be generated can be adjusted by setting a larger value on the side of the contribution ratios α and β to be prioritized with respect to the average luminance values X ′ and Y ′. In the present embodiment, the value of α is made larger than β in order to take into account the influence of the polishing bars along the axis X direction.

続いて、ステップ15に進むと、処理領域A2における検査対象物画像P1aとマスタ画像P2とで対応する座標に位置する画素毎に、検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算する。これにより、第1補正画像P3が生成され(図7(c)参照)、第1補正画像生成処理が終了する。   Subsequently, when proceeding to Step 15, for each pixel located at the corresponding coordinates in the inspection object image P1a and the master image P2 in the processing area A2, the master image P2 is calculated from the luminance value in each pixel of the inspection object image P1a. The luminance value at each pixel is subtracted. Thereby, the 1st correction image P3 is produced | generated (refer FIG.7 (c)), and a 1st correction image production | generation process is complete | finished.

(欠陥検出第1処理)
図2に戻り、ステップ4に進むと、欠陥検出第1処理が行われる。この欠陥検出第1処理では、例えば検査対象物22のクラックや検査対象物22に付着した異物による欠陥を検出している。欠陥検出第1処理が開始されると、図4に示されるステップ21に進んで、処理領域A2において第1補正画像P3をソーベルフィルタによって処理し、第1補正画像P3中における濃淡変化(エッジ部分)を検出する処理を行う。具体的には、第1補正画像P3における所定の画素とその画素の周囲における隣接画素とで、下記の式(4)による演算を第1補正画像P3の全ての画素について行う。これにより、第1補正画像P3における各画素の輝度値I´の変化量E1が求められ、濃淡変化が生じている箇所でエッジの検出が行われたソーベル処理画像P4が生成される(図7(d)参照)。

Figure 0004150390
また、ソーベル処理画像P4を生成した後、ソーベル処理画像P4における所定の画素とその画素の周囲における隣接画素とで、下記の式(5)による演算をソーベル処理画像P4の全ての画素について行う。これにより、ソーベル処理画像P4における各画素の輝度値I´の平均M1が求められ、ソーベル処理画像P4に生じているランダムなノイズを除去する平滑化が行われる。
Figure 0004150390
なお、本実施形態では、階調を256階調(8bit)としているため、変化量E1を求める際に、変化量E1が下限値である0を下回る場合には変化量E1を下限値である0に固定し、変化量E1が上限値である255を上回る場合には変化量E1を上限値である255に固定する処理を行っているが、階調を256階調以外として同様の処理を行ってもよい。 (Defect detection first process)
Returning to FIG. 2 and proceeding to step 4, the first defect detection process is performed. In this defect detection first process, for example, a defect due to a crack in the inspection object 22 or a foreign substance attached to the inspection object 22 is detected. When the first defect detection process is started, the process proceeds to step 21 shown in FIG. 4, where the first corrected image P3 is processed by the Sobel filter in the processing area A2, and the change in density (edge) in the first corrected image P3 is processed. (Part) is detected. Specifically, the calculation according to the following equation (4) is performed for all the pixels of the first corrected image P3 with a predetermined pixel in the first corrected image P3 and adjacent pixels around the pixel. As a result, a change amount E1 of the luminance value I ′ of each pixel in the first corrected image P3 is obtained, and a Sobel processed image P4 in which edge detection is performed at a portion where a change in shading occurs is generated (FIG. 7). (See (d)).
Figure 0004150390
In addition, after generating the Sobel processed image P4, the calculation according to the following equation (5) is performed for all the pixels of the Sobel processed image P4 with a predetermined pixel in the Sobel processed image P4 and adjacent pixels around the pixel. Thereby, the average M1 of the luminance values I ′ of each pixel in the Sobel processed image P4 is obtained, and smoothing is performed to remove random noise generated in the Sobel processed image P4.
Figure 0004150390
In the present embodiment, since the gradation is set to 256 gradations (8 bits), when the change amount E1 is less than 0, which is the lower limit value, when the change amount E1 is obtained, the change amount E1 is the lower limit value. When the change amount E1 exceeds the upper limit value of 255, the process is performed to fix the change amount E1 to the upper limit value of 255. However, the same processing is performed with gradations other than 256 gradations. You may go.

続いて、ステップ22に進むと、処理領域A2における第1補正画像P3とソーベル処理画像P4とで対応する座標に位置する画素毎に、第1補正画像P3の各画素における輝度値からソーベル処理画像P4の各画素における輝度値を減算する。これにより、第2補正画像P5が生成される(図7(e)参照)。また、第2補正画像P5を生成後、第2補正画像P5に生じているランダムなノイズを除去するために、ステップ21と同じく第2補正画像P5の平滑化を行う。   Subsequently, when proceeding to step 22, for each pixel located at the corresponding coordinates in the first corrected image P3 and the Sobel processed image P4 in the processing area A2, the Sobel processed image is calculated from the luminance value in each pixel of the first corrected image P3. The luminance value in each pixel of P4 is subtracted. Thereby, the 2nd correction image P5 is produced | generated (refer FIG.7 (e)). Further, after generating the second corrected image P5, the second corrected image P5 is smoothed in the same manner as in step 21 in order to remove random noise generated in the second corrected image P5.

続いて、ステップ23に進むと、得られた第2補正画像P5を所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を黒、その閾値より小さな輝度値である画素を白として表示した2値化画像P6を生成する(図7(f)参照)。ここで、このステップ23の2値化処理において用いられる閾値は、事前に実験を行うことによって得られた値となっている(後述するステップ33,41において用いられる閾値も同じ)。また、本実施形態では、ステップ23,33の閾値の大きさは共に同じになっており、ステップ41の閾値の大きさはステップ23,33の閾値の大きさよりも大きくなっている。これは、ステップ23,33で2値化処理を行う前の第2補正画像及び第3補正画像では、ソーベルフィルタ及び微分フィルタによって欠陥部分以外の領域における輝度値が略均一となっているので閾値を設定することのできる範囲が広いのに対し、ステップ41で2値化処理を行う前の検査対象物画像P13aでは、欠陥部分以外の領域における輝度値が略均一となっていないので閾値を設定することのできる範囲が狭いためである。そして、ステップ24に進むと、2値化画像P6のラベリング処理を行い、2値化画像P6において白で表示される画素が連結している連結領域を特定する。また、ステップ24では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。   Subsequently, when proceeding to Step 23, the obtained second corrected image P5 is binarized by a predetermined threshold value, pixels having a luminance value equal to or higher than the threshold value are black, and pixels having a luminance value smaller than the threshold value are selected. A binary image P6 displayed as white is generated (see FIG. 7F). Here, the threshold value used in the binarization process in step 23 is a value obtained by conducting an experiment in advance (the threshold values used in steps 33 and 41 described later are also the same). In this embodiment, the threshold values in steps 23 and 33 are the same, and the threshold value in step 41 is larger than the threshold values in steps 23 and 33. This is because in the second and third corrected images before the binarization processing in steps 23 and 33, the luminance values in the regions other than the defective portion are substantially uniform by the Sobel filter and the differential filter. While the range in which the threshold can be set is wide, in the inspection object image P13a before the binarization processing in step 41, the luminance value in the region other than the defective portion is not substantially uniform, so the threshold is set. This is because the range that can be set is narrow. Then, when proceeding to step 24, the binarized image P6 is labeled, and a connected area where pixels displayed in white in the binarized image P6 are connected is specified. In step 24, processing is performed to detect the number of identified connected regions, the area (number of pixels) of each connected region, and the position of each connected region in the processing region A2.

続いて、ステップ25に進むと、ステップ24で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第1処理が終了するが、そうでなければ図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理を終了する。ここで、このステップ25の判定において用いられる閾値も、事前に実験を行うことによって得られた値となっている(後述するステップ35,43において用いられる閾値も同じ)。また、本実施形態では、ステップ25,35の閾値の大きさは共に同じになっており、ステップ43の閾値の大きさはステップ25,35の閾値の大きさよりも大きくなっている。これは、欠陥検出第1処理で検出対象となっているクラックによる欠陥及び欠陥検出第2処理で検出対象となっている欠けによる欠陥の面積(画素数)が、欠陥検出第3処理で検出対象となっている剥離による欠陥の面積(画素数)よりも小さい傾向にあるためである。なお、図7(g)は、処理領域A2における検査対象物画像P1aと2値化画像P6とで対応する座標に位置する画素毎に、検査対象物画像P1aの各画素と2値化画像P6の各画素とを加算して得られた欠陥検出結果画像P7となっている。   Subsequently, when proceeding to step 25, it is determined whether or not the area (number of pixels) of each connected region is smaller than a predetermined threshold for each connected region detected in step 24. As a result, if it is determined that the area of the connected region is smaller than the threshold value for all the connected regions, the first defect detection process ends. If not, the process proceeds to step 8 in FIG. It is determined that there is a defect in the inspection object 22 on which the inspection is performed, and the appearance inspection process is terminated. Here, the threshold value used in the determination of step 25 is also a value obtained by conducting an experiment in advance (the threshold values used in steps 35 and 43 described later are also the same). In this embodiment, the threshold values in steps 25 and 35 are the same, and the threshold value in step 43 is larger than the threshold values in steps 25 and 35. This is because the area (number of pixels) of the defect due to the crack that is the detection target in the defect detection first process and the defect that is the defect that is the detection target in the defect detection second process is the detection target in the defect detection third process. This is because the area (number of pixels) of the defect due to the peeling tends to be smaller. FIG. 7G shows each pixel of the inspection object image P1a and the binarized image P6 for each pixel located at coordinates corresponding to the inspection object image P1a and the binarized image P6 in the processing area A2. A defect detection result image P7 obtained by adding the respective pixels is obtained.

(欠陥検出第2処理)
図2に戻り、ステップ5に進むと、欠陥検出第2処理が行われる。この欠陥検出第1処理では、例えば検査対象物22の欠けによる欠陥を検出している。欠陥検出第2処理が開始されると、図5に示されるステップ31に進んで、処理領域A2において第1補正画像P8(図9(a)参照)を微分フィルタによって処理し、第1補正画像P8中における濃淡変化(エッジ部分)を検出する処理を行う。具体的には、第1補正画像P8における所定の画素とその画素の周囲における隣接画素とで、下記の式(6)による演算を第1補正画像P8の全ての画素について行う。これにより、第1補正画像P8における各画素の輝度値I´の変化量E2が求められ、濃淡変化が生じている箇所でエッジの検出が行われた微分処理画像P9が生成される(図9(b)参照)。

Figure 0004150390
また、微分処理画像P9を生成した後、微分処理画像P9における所定の画素とその画素の周囲における隣接画素とで、下記の式(7)による演算を微分処理画像P9の全ての画素について行う。これにより、微分処理画像P9における各画素の輝度値I´の平均M2が求められ、微分処理画像P9に生じているランダムなノイズを除去する平滑化が行われる。
Figure 0004150390
なお、欠陥検出第2処理においても、変化量E2が下限値を下回る場合には変化量E2を下限値に固定し、変化量E2が上限値を上回る場合には変化量E2を上限値に固定する処理を行っている。 (Defect detection second process)
Returning to FIG. 2 and proceeding to step 5, the second defect detection process is performed. In this defect detection first process, for example, a defect due to a chip of the inspection object 22 is detected. When the second defect detection process is started, the process proceeds to step 31 shown in FIG. 5 where the first corrected image P8 (see FIG. 9A) is processed by the differential filter in the processing area A2, and the first corrected image is processed. Processing for detecting a change in shading (edge portion) in P8 is performed. Specifically, the calculation according to the following equation (6) is performed for all the pixels of the first corrected image P8 with a predetermined pixel in the first corrected image P8 and adjacent pixels around the pixel. As a result, a change amount E2 of the luminance value I ′ of each pixel in the first corrected image P8 is obtained, and a differentiated image P9 is generated in which the edge is detected at the portion where the shade change occurs (FIG. 9). (See (b)).
Figure 0004150390
Further, after generating the differential processed image P9, the calculation according to the following expression (7) is performed for all the pixels of the differential processed image P9 with a predetermined pixel in the differential processed image P9 and adjacent pixels around the pixel. Thereby, the average M2 of the luminance values I ′ of each pixel in the differential processing image P9 is obtained, and smoothing is performed to remove random noise generated in the differential processing image P9.
Figure 0004150390
In the second defect detection process, the change amount E2 is fixed to the lower limit value when the change amount E2 is lower than the lower limit value, and the change amount E2 is fixed to the upper limit value when the change amount E2 exceeds the upper limit value. Processing to do.

続いて、ステップ32に進むと、処理領域A2における第1補正画像P8と微分処理画像P9とで対応する座標に位置する画素毎に、第1補正画像P8の各画素における輝度値と微分処理画像P9の各画素における輝度値とを加算する。これにより、第3補正画像P10が生成される(図9(c)参照)。また、第3補正画像P10の生成後、第3補正画像P10に生じているランダムなノイズを除去するために、ステップ21と同じく第3補正画像P10の平滑化を行う。   Subsequently, when the process proceeds to step 32, the luminance value and the differential processing image in each pixel of the first correction image P8 are determined for each pixel located at the corresponding coordinates in the processing area A2 in the first correction image P8 and the differential processing image P9. The luminance value in each pixel of P9 is added. Thereby, the 3rd correction image P10 is produced | generated (refer FIG.9 (c)). Further, after the generation of the third corrected image P10, the third corrected image P10 is smoothed in the same manner as in step 21 in order to remove random noise generated in the third corrected image P10.

続いて、ステップ33に進むと、得られた第3補正画像P10を所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した2値化画像P11を生成する(図9(d)参照)。そして、ステップ34に進むと、2値化画像P11のラベリング処理を行い、2値化画像P11において白で表示される画素が連結している連結領域を特定する。また、ステップ34では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。   Subsequently, when proceeding to Step 33, the obtained third corrected image P10 is binarized by a predetermined threshold value, pixels having a luminance value equal to or higher than the threshold value are white, and pixels having a luminance value smaller than the threshold value are selected. A binary image P11 displayed as black is generated (see FIG. 9D). Then, when proceeding to step 34, the binarized image P11 is labeled, and a connected area where pixels displayed in white in the binarized image P11 are connected is specified. In step 34, processing is performed to detect the number of identified connected regions, the area (number of pixels) of each connected region, and the position of each connected region in the processing region A2.

続いて、ステップ35に進むと、ステップ34で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第2処理が終了するが、そうでなければ図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理を終了する。なお、図9(e)は、処理領域A2における図示しない検査対象物画像と2値化画像P11とで対応する座標に位置する画素毎に、検査対象物画像の各画素と2値化画像P11の各画素とを加算して得られた欠陥検出結果画像P12となっている。   Subsequently, when proceeding to step 35, it is determined whether or not the area (number of pixels) of each connected region is smaller than a predetermined threshold for each connected region detected in step 34. As a result, if it is determined that the area of the connected area is smaller than the threshold value for all the connected areas, the second defect detection process ends. If not, the process proceeds to step 8 in FIG. It is determined that there is a defect in the inspection object 22 on which the inspection is performed, and the appearance inspection process is terminated. FIG. 9 (e) shows each pixel of the inspection object image and the binarized image P11 for each pixel located at coordinates corresponding to the inspection object image (not shown) and the binarized image P11 in the processing area A2. This is a defect detection result image P12 obtained by adding the respective pixels.

(欠陥検出第3処理)
図2に戻り、ステップ6に進むと、欠陥検出第3処理が行われる。この欠陥検出第1処理では、例えば検査対象物22の剥離による欠陥を検出している。欠陥検出第3処理が開始されると、図6に示されるステップ41に進んで、処理領域A2における検査対象物画像P13aを所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した2値化画像P14を生成する(図10(b)参照)。そして、ステップ42に進むと、2値化画像P14のラベリング処理を行い、2値化画像P14において白で表示される画素が連結している連結領域を特定する。また、ステップ42では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。
(Defect detection third process)
Returning to FIG. 2 and proceeding to step 6, a third defect detection process is performed. In the first defect detection process, for example, a defect due to peeling of the inspection object 22 is detected. When the third defect detection process is started, the process proceeds to step 41 shown in FIG. 6, where the inspection object image P13a in the processing area A2 is binarized by a predetermined threshold value, and the luminance value is equal to or higher than the threshold value. A binarized image P14 is generated in which the pixels are displayed as white and the pixels having a luminance value smaller than the threshold value are displayed as black (see FIG. 10B). Then, when proceeding to step 42, the binarized image P14 is labeled, and a connected region where pixels displayed in white in the binarized image P14 are connected is specified. In step 42, processing is performed to detect the number of identified connected regions, the area (number of pixels) of each connected region, and the position of each connected region in the processing region A2.

続いて、ステップ43に進むと、ステップ42で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には2値化処理が終了し、図2のステップ7に進んで、現在外観検査が行われている検査対象物22に欠陥がないと判定して、外観検査処理が終了する。一方、いずれかの連結領域の面積が閾値以上であると判定された場合には図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理が終了する。   Subsequently, when proceeding to step 43, it is determined whether or not the area (number of pixels) of each connected region is smaller than a predetermined threshold for each connected region detected in step 42. As a result, when it is determined that the area of the connected region is smaller than the threshold value for all the connected regions, the binarization process is completed, and the process proceeds to step 7 in FIG. It is determined that the object 22 is not defective, and the appearance inspection process is completed. On the other hand, if it is determined that the area of any of the connected regions is greater than or equal to the threshold, the process proceeds to step 8 in FIG. 2 to determine that the inspection object 22 currently undergoing visual inspection is defective. Then, the appearance inspection process ends.

ところで、検査対象物22のような曲面を有する物体について外観検査を行う場合には、LED照明18a,18bから検査対象物22に入射する光が検査対象物22の外形に応じて反射してしまう。そのため、カメラ12によって検査対象物22を撮像した場合、局所的に明暗が生じてしまい、撮像画像P1,P13における輝度分布が不均一となってしまっていた。また、検査対象物22には、個別に異なる研磨筋が形成されているため、撮像画像P1,P13における輝度分布が検査対象物22毎に異なってしまっていた。従って、従来は、検査対象物22の欠陥を検出することが困難であるという問題があった。   By the way, when an appearance inspection is performed on an object having a curved surface such as the inspection object 22, light incident on the inspection object 22 from the LED illuminations 18 a and 18 b is reflected according to the outer shape of the inspection object 22. . For this reason, when the inspection object 22 is imaged by the camera 12, light and darkness is locally generated, and the luminance distribution in the captured images P1 and P13 is not uniform. Further, since different polishing streaks are individually formed on the inspection object 22, the luminance distribution in the captured images P1 and P13 is different for each inspection object 22. Therefore, conventionally, there has been a problem that it is difficult to detect a defect of the inspection object 22.

これに対し、本実施形態においては、検査対象物22毎に、軸X,Y方向についてそれぞれ平均輝度分布L1,L2を求め、これに基づいてマスタ画像P2を生成している。また、処理領域A2における検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算することで、第1補正画像P3を生成している。このため、各検査対象物22に応じてマスタ画像P2が生成され、そのマスタ画像P2により個別に処理領域A2における検査対象物画像P1aが補正されるので、検査対象物22に形成された研磨筋が個々に異なる場合であっても、各検査対象物22の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像P3の輝度値の変化量を算出して生成されたソーベル処理画像P4を用いて第1補正画像P3を処理することで、第2補正画像P5を生成しているため、高精度に検査対象物22の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。   On the other hand, in the present embodiment, the average luminance distributions L1 and L2 are obtained for the X and Y directions for each inspection object 22, and the master image P2 is generated based on the average luminance distributions L1 and L2. Further, the first corrected image P3 is generated by subtracting the luminance value at each pixel of the master image P2 from the luminance value at each pixel of the inspection object image P1a in the processing area A2. For this reason, a master image P2 is generated according to each inspection object 22, and the inspection object image P1a in the processing area A2 is individually corrected by the master image P2. Therefore, the polishing streaks formed on the inspection object 22 Even if they are different from each other, the defect of each inspection object 22 can be detected. Further, the second corrected image P5 is generated by processing the first corrected image P3 using the Sobel processed image P4 generated by calculating the change amount of the luminance value of the first corrected image P3 by the Sobel filter. Therefore, it is possible to detect the defect of the inspection object 22 with high accuracy, and in particular, it becomes easy to detect the crack of the inspection object and the foreign matter attached to the inspection object.

また、本実施形態では、処理領域A2における検査対象物画像P1aとマスタ画像P2とで対応する位置にある画素毎に、検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算することで第1補正画像P3を生成している。そのため、第1補正画像P3の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像P5を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる   Further, in the present embodiment, for each pixel at a position corresponding to the inspection object image P1a and the master image P2 in the processing area A2, the luminance value in each pixel of the inspection object image P1a is used for each pixel of the master image P2. The first corrected image P3 is generated by subtracting the luminance value. For this reason, the amount of change in luminance value in the region other than the defective portion of the first corrected image P3 is extremely small (the luminance value is substantially uniform), while the amount of change in luminance value is extremely large in the region of the defective portion. As a result, the range in which a threshold value for binarizing the second corrected image P5 generated thereafter can be set, and the threshold value can be easily set.

また、本実施形態では、第1補正画像P3とソーベル処理画像P4とで対応する位置にある画素毎に、第1補正画像P3の各画素における輝度値からソーベル処理画像P4の各画素における輝度値を減算することで第2補正画像を生成している。そのため、ソーベルフィルタにより得られた第1補正画像P3における各画素の輝度値の変化量(ソーベル処理画像P4における各画素の輝度値)を第1補正画像P3に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像P5を2値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。   Further, in the present embodiment, for each pixel at a corresponding position in the first corrected image P3 and the Sobel processed image P4, the luminance value in each pixel of the Sobel processed image P4 from the luminance value in each pixel of the first corrected image P3. Is subtracted to generate a second corrected image. Therefore, by reflecting the amount of change in the luminance value of each pixel in the first corrected image P3 obtained by the Sobel filter (the luminance value of each pixel in the Sobel processed image P4) in the first corrected image P3, Since the difference between the magnitude of the brightness value and the magnitude of the brightness value other than the defective portion is widened, by binarizing the second corrected image P5, defects such as cracks and foreign matters attached to the inspection object are further detected. It becomes easy to do.

また、本実施形態では、微分フィルタによって第1補正画像P3を処理することで第3補正画像P10を生成しているので、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。   In the present embodiment, since the third corrected image P10 is generated by processing the first corrected image P3 using the differential filter, the amount of change in the luminance value in the defective portion region takes a small value to a large value. It becomes easier to detect defects due to chipping.

また、本実施形態では、微分処理画像P9と第1補正画像P3とで対応する位置にある画素毎に、微分処理画像P9の各画素における輝度値と第1補正画像P3の各画素における輝度値とを加算することで第3補正画像P10を生成しているので、第3補正画像P10において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができ、欠けによる欠陥をより検出しやすくなる。   Further, in the present embodiment, for each pixel at a corresponding position in the differential processing image P9 and the first correction image P3, the luminance value in each pixel of the differential processing image P9 and the luminance value in each pixel of the first correction image P3. Is added to generate the third corrected image P10, and therefore, in the third corrected image P10, the difference between the magnitude of the luminance value in the defective area and the magnitude of the luminance value in the area other than the defective area is widened. This makes it easier to detect defects due to chipping.

また、本実施形態では、処理領域A2における検査対象物画像P13aを2値化して連結領域を特定しているので、検査対象物22にある程度面積の大きな剥離による欠陥についても検出することができる。   In the present embodiment, since the connection region is specified by binarizing the inspection object image P13a in the processing region A2, it is possible to detect even a defect due to peeling having a large area to the inspection object 22.

以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記した実施形態に限定されるものではない。例えば、本実施形態では外観検査処理において欠陥検出第1〜第3処理を行っているが、これらの処理のうち欠陥検出第1処理だけを行うものであってもよい。また、欠陥検出第1及び第2処理を行うものであってもよく、欠陥検出第1及び第3処理を行うものであってもよい。さらに、欠陥検出第1〜第3処理の各処理のうち、いずれの処理から実行を開始してもよい。   Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments. For example, in the present embodiment, the defect detection first to third processes are performed in the appearance inspection process, but only the defect detection first process may be performed among these processes. Further, the defect detection first and second processes may be performed, and the defect detection first and third processes may be performed. Furthermore, execution may be started from any of the processes of the defect detection first to third processes.

また、本実施形態では曲面を有する検査対象物22について外観検査を行っていたが、これに限られず、平面状の検査対象物の外観検査を行ってもよい。   In the present embodiment, the appearance inspection is performed on the inspection target 22 having a curved surface. However, the present invention is not limited to this, and the appearance inspection of a planar inspection target may be performed.

また、ステップ11において、検査対象物画像P1aのエッジを4方向から探索することによって、外形領域A1を決定してもよい。   In step 11, the outer region A1 may be determined by searching for the edge of the inspection object image P1a from four directions.

(a)は外観検査装置の構成を概略的に示す斜視図であり、(b)は検査対象物の斜視図である。(A) is a perspective view which shows the structure of an external appearance inspection apparatus roughly, (b) is a perspective view of a test target object. 外観検査処理の開始から終了までの手順を示すフローチャートである。It is a flowchart which shows the procedure from the start of an external appearance inspection process to completion | finish. 補正画像作成処理の開始から終了までの手順を示すフローチャートである。It is a flowchart which shows the procedure from the start to the completion | finish of a correction image creation process. 第1欠陥検出処理の開始から終了までの手順を示すフローチャートである。It is a flowchart which shows the procedure from the start of a 1st defect detection process to completion | finish. 第2欠陥検出処理の開始から終了までの手順を示すフローチャートである。It is a flowchart which shows the procedure from the start of a 2nd defect detection process to completion | finish. 第3欠陥検出処理の開始から終了までの手順を示すフローチャートである。It is a flowchart which shows the procedure from the start of a 3rd defect detection process to completion | finish. 欠陥検出第1処理における各画像を示し、(a)は撮像画像を示す図であり、(b)はマスタ画像を示す図であり、(c)は第1補正画像を示す図であり、(d)はソーベル処理画像を示す図であり、(e)は第2補正画像を示す図であり、(f)は2値化画像を示す図であり、(g)は欠陥検出結果画像を示す図である。Each image in defect detection 1st processing is shown, (a) is a figure showing a picked-up image, (b) is a figure showing a master image, (c) is a figure showing the 1st amendment image, d) is a diagram showing a Sobel processed image, (e) is a diagram showing a second corrected image, (f) is a diagram showing a binarized image, and (g) is a defect detection result image. FIG. (a)は平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、(b)は軸X方向における平均輝度値の分布を示す図であり、(c)は軸Y方向における平均輝度値の分布を示す図である。(A) is a figure which shows the test target object image for demonstrating the calculation method of an average luminance value, (b) is a figure which shows distribution of the average luminance value in the axis | shaft X direction, (c) is an axis | shaft Y It is a figure which shows distribution of the average luminance value in a direction. 欠陥検出第2処理における各画像を示し、(a)は第1補正画像を示す図であり、(b)は微分処理画像を示す図であり、(c)は第3補正画像を示す図であり、(d)は2値化画像を示す図であり、(e)は欠陥検出結果画像を示す図である。Each image in defect detection 2nd processing is shown, (a) is a figure showing the 1st amendment image, (b) is a figure showing a differential processing image, and (c) is a figure showing the 3rd amendment image. (D) is a figure which shows a binarized image, (e) is a figure which shows a defect detection result image. 欠陥検出第3処理における各画像を示し、(a)が撮像画像を示す図であり、(b)が2値化画像を示す図である。Each image in a defect detection 3rd process is shown, (a) is a figure which shows a captured image, (b) is a figure which shows a binarized image.

符号の説明Explanation of symbols

10…外観検査装置、12…カメラ、14…画像処理部、22…検査対象物、P1,P13…撮像画像、P1a,P13a…検査対象物画像、P2…マスタ画像、P3,P8…第1補正画像、P4…ソーベル処理画像、P5…第2補正画像、P9…微分処理画像、P10…第3補正画像。   DESCRIPTION OF SYMBOLS 10 ... Appearance inspection apparatus, 12 ... Camera, 14 ... Image processing part, 22 ... Inspection object, P1, P13 ... Captured image, P1a, P13a ... Inspection object image, P2 ... Master image, P3, P8 ... 1st correction | amendment Image, P4 ... Sobel processed image, P5 ... Second corrected image, P9 ... Differential processed image, P10 ... Third corrected image.

Claims (8)

検査対象物の外観検査を行うための外観検査方法であって、
前記検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、
前記検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する工程と、
前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する工程と、
前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで、前記撮像画像と前記基準画像とから第1補正画像を生成する工程と、
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、
前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで、前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する工程と、
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程と
微分フィルタにより前記第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、
前記微分処理画像と前記第1補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第1補正画像の各画素における輝度値とを加算することで、前記微分処理画像と前記第1補正画像とから第3補正画像を生成する工程と、
前記第3補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする外観検査方法。
An appearance inspection method for performing an appearance inspection of an inspection object,
Imaging the inspection object to obtain a captured image including the inspection object image;
For each first pixel column composed of a series of pixels parallel to a first direction along the outer edge of the inspection object image, an average of the luminance values of the series of pixels included in the first pixel column is calculated. Calculating an average of luminance values of the series of pixels included in the second pixel column for each second pixel column composed of a series of pixels parallel to the second direction orthogonal to the first direction. And calculating an average luminance distribution of the inspection object image in the first direction and the second direction;
Generating a reference image serving as a reference for the inspection object image based on the average luminance distribution;
By subtracting the luminance value at each pixel of the reference image from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image, the captured image and the reference image Generating a first corrected image from:
Calculating a change amount of a luminance value of each pixel in the first corrected image by a Sobel filter to generate a Sobel processed image;
By subtracting the luminance value at each pixel of the Sobel processed image from the luminance value at each pixel of the first corrected image for each pixel at a corresponding position in the first corrected image and the Sobel processed image, Generating a second corrected image from the Sobel processed image and the first corrected image;
Binarizing the second corrected image to identify a connected area, and comparing the number of pixels in the connected area with a threshold ;
Calculating a change amount of a luminance value of each pixel in the first corrected image by a differential filter to generate a differential processed image;
For each pixel in a position corresponding to the differential processing image and the first correction image, by adding the luminance value in each pixel of the differential processing image and the luminance value in each pixel of the first correction image, Generating a third corrected image from the differentiated image and the first corrected image;
A visual inspection method comprising: binarizing the third corrected image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value .
前記撮像画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項に記載された外観検査方法。 The visual inspection method according to claim 1 , further comprising a step of binarizing the captured image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value. 検査対象物の外観検査を行うための外観検査装置であって、
前記検査対象物を照明する照明手段と、
前記照明手段によって照明された前記検査対象物を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する手段と、
前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する手段と、
前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで、前記撮像画像と前記基準画像とから第1補正画像を生成する手段と、
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、
前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで、前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する手段と、
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段と
微分フィルタにより前記第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、
前記微分処理画像と前記第1補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第1補正画像の各画素における輝度値とを加算することで、前記微分処理画像と前記第1補正画像とから第3補正画像を生成する手段と、
前記第3補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする外観検査装置。
An appearance inspection apparatus for inspecting the appearance of an inspection object,
Illuminating means for illuminating the inspection object;
Imaging means for imaging the inspection object illuminated by the illumination means;
The series included in the first pixel column for each first pixel column composed of a series of pixels parallel to the first direction along the outer edge of the inspection object image included in the captured image captured by the imaging unit. The series of pixels included in the second pixel column for each second pixel column consisting of a series of pixels parallel to a second direction orthogonal to the first direction. Means for calculating an average luminance distribution of the inspection object image in the first direction and the second direction by calculating an average of luminance values of the pixels;
Means for generating a reference image as a reference for the inspection object image based on the average luminance distribution;
By subtracting the luminance value at each pixel of the reference image from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image, the captured image and the reference image Generating a first corrected image from:
Means for calculating a change amount of a luminance value of each pixel in the first corrected image by a Sobel filter and generating a Sobel processed image;
By subtracting the luminance value at each pixel of the Sobel processed image from the luminance value at each pixel of the first corrected image for each pixel at a corresponding position in the first corrected image and the Sobel processed image, Means for generating a second corrected image from the Sobel processed image and the first corrected image;
Means for binarizing the second corrected image to identify a connected area, and comparing the number of pixels in the connected area with a threshold ;
Means for calculating a change amount of a luminance value of each pixel in the first corrected image by a differential filter and generating a differential processed image;
For each pixel at a corresponding position in the differential processing image and the first correction image, by adding the luminance value in each pixel of the differential processing image and the luminance value in each pixel of the first correction image, Means for generating a third corrected image from the differentiated image and the first corrected image;
An appearance inspection apparatus comprising: means for binarizing the third correction image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value .
前記撮像画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項に記載された外観検査装置。 The visual inspection apparatus according to claim 3 , further comprising a step of binarizing the captured image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value. 検査対象物の外観検査を行うための外観検査方法であって、  An appearance inspection method for performing an appearance inspection of an inspection object,
前記検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、  Imaging the inspection object to obtain a captured image including the inspection object image;
前記検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する工程と、  For each first pixel column composed of a series of pixels parallel to a first direction along the outer edge of the inspection object image, an average of the luminance values of the series of pixels included in the first pixel column is calculated. Calculating an average of luminance values of the series of pixels included in the second pixel column for each second pixel column composed of a series of pixels parallel to the second direction orthogonal to the first direction. And calculating an average luminance distribution of the inspection object image in the first direction and the second direction;
前記検査対象物画像に対して基準となる基準画像を、前記第1の方向における前記検査対象物の前記平均輝度分布に第1の寄与率を乗算したもの及び前記第2の方向における前記検査対象物の前記平均輝度分布に第2の寄与率を乗算したものに基づいて生成する工程と、  A reference image serving as a reference for the inspection object image is obtained by multiplying the average luminance distribution of the inspection object in the first direction by a first contribution rate and the inspection object in the second direction. Generating based on the average luminance distribution of the object multiplied by a second contribution rate;
前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで、前記撮像画像と前記基準画像とから第1補正画像を生成する工程と、  By subtracting the luminance value at each pixel of the reference image from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image, the captured image and the reference image Generating a first corrected image from:
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、  Calculating a change amount of a luminance value of each pixel in the first corrected image by a Sobel filter to generate a Sobel processed image;
前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで、前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する工程と、  By subtracting the luminance value at each pixel of the Sobel processed image from the luminance value at each pixel of the first corrected image for each pixel at a corresponding position in the first corrected image and the Sobel processed image, Generating a second corrected image from the Sobel processed image and the first corrected image;
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする外観検査方法。  A visual inspection method comprising: binarizing the second corrected image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value.
前記検査対象物の外表面には、前記第1の方向に沿う研磨筋が形成されており、  On the outer surface of the inspection object, polishing streaks along the first direction are formed,
前記基準画像を生成する前記工程では、前記第1の寄与率が前記第2の寄与率よりも大きくなるように設定していることを特徴とする請求項5に記載された外観検査方法。  6. The appearance inspection method according to claim 5, wherein in the step of generating the reference image, the first contribution rate is set to be larger than the second contribution rate.
検査対象物の外観検査を行うための外観検査装置であって、  An appearance inspection apparatus for inspecting the appearance of an inspection object,
前記検査対象物を照明する照明手段と、  Illuminating means for illuminating the inspection object;
前記照明手段によって照明された前記検査対象物を撮像する撮像手段と、  Imaging means for imaging the inspection object illuminated by the illumination means;
前記撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する手段と、  The series included in the first pixel column for each first pixel column composed of a series of pixels parallel to the first direction along the outer edge of the inspection object image included in the captured image captured by the imaging unit. The series of pixels included in the second pixel column for each second pixel column consisting of a series of pixels parallel to a second direction orthogonal to the first direction. Means for calculating an average luminance distribution of the inspection object image in the first direction and the second direction by calculating an average of luminance values of the pixels;
前記検査対象物画像に対して基準となる基準画像を、前記第1の方向における前記検査対象物の前記平均輝度分布に第1の寄与率を乗算したもの及び前記第2の方向における前記検査対象物の前記平均輝度分布に第2の寄与率を乗算したものに基づいて生成する手段と、  A reference image serving as a reference for the inspection object image is obtained by multiplying the average luminance distribution of the inspection object in the first direction by a first contribution rate and the inspection object in the second direction. Means for generating based on the average luminance distribution of the object multiplied by a second contribution rate;
前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで、前記撮像画像と前記基準画像とから第1補正画像を生成する手段と、  By subtracting the luminance value at each pixel of the reference image from the luminance value at each pixel of the captured image for each pixel at a position corresponding to the captured image and the reference image, the captured image and the reference image Generating a first corrected image from:
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、  Means for calculating a change amount of a luminance value of each pixel in the first corrected image by a Sobel filter and generating a Sobel processed image;
前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで、前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する手段と、  By subtracting the luminance value at each pixel of the Sobel processed image from the luminance value at each pixel of the first corrected image for each pixel at a corresponding position in the first corrected image and the Sobel processed image, Means for generating a second corrected image from the Sobel processed image and the first corrected image;
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする外観検査装置。  An appearance inspection apparatus comprising: means for binarizing the second corrected image to identify a connected area, and comparing the number of pixels in the connected area with a threshold value.
前記検査対象物の外表面には、前記第1の方向に沿う研磨筋が形成されており、  On the outer surface of the inspection object, polishing streaks along the first direction are formed,
前記基準画像を生成する前記手段は、前記第1の寄与率が前記第2の寄与率よりも大きくなるように設定していることを特徴とする請求項7に記載された外観検査装置。  8. The appearance inspection apparatus according to claim 7, wherein the means for generating the reference image is set so that the first contribution rate is larger than the second contribution rate.
JP2005267496A 2005-09-14 2005-09-14 Appearance inspection method and appearance inspection apparatus Active JP4150390B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005267496A JP4150390B2 (en) 2005-09-14 2005-09-14 Appearance inspection method and appearance inspection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005267496A JP4150390B2 (en) 2005-09-14 2005-09-14 Appearance inspection method and appearance inspection apparatus

Publications (2)

Publication Number Publication Date
JP2007078540A JP2007078540A (en) 2007-03-29
JP4150390B2 true JP4150390B2 (en) 2008-09-17

Family

ID=37939023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005267496A Active JP4150390B2 (en) 2005-09-14 2005-09-14 Appearance inspection method and appearance inspection apparatus

Country Status (1)

Country Link
JP (1) JP4150390B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112123A (en) * 2014-07-09 2014-10-22 宁波摩视光电科技有限公司 Defect characteristic extraction and identification method of AOI system used for bullet apparent defect detection

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4279833B2 (en) * 2005-12-01 2009-06-17 Tdk株式会社 Appearance inspection method and appearance inspection apparatus
JP4932595B2 (en) * 2007-05-17 2012-05-16 新日本製鐵株式会社 Surface flaw inspection device
JP4973332B2 (en) * 2007-06-21 2012-07-11 株式会社サタケ Nori appearance inspection equipment
JP4973429B2 (en) * 2007-10-05 2012-07-11 株式会社コスモグラフ Transparent transport object inspection apparatus and inspection method
JP5194961B2 (en) * 2008-04-03 2013-05-08 富士通株式会社 Surface inspection system, surface inspection method, and surface inspection program
JP5402182B2 (en) * 2009-04-10 2014-01-29 Tdk株式会社 Appearance inspection method and appearance inspection apparatus
JP5765713B2 (en) * 2012-05-24 2015-08-19 レーザーテック株式会社 Defect inspection apparatus, defect inspection method, and defect inspection program
JP6800743B2 (en) * 2016-12-27 2020-12-16 リコーエレメックス株式会社 Master image data creation device
JP6843683B2 (en) * 2017-04-11 2021-03-17 東芝Itコントロールシステム株式会社 X-ray inspection equipment
CN109030384B (en) * 2018-07-04 2020-12-29 中国航空制造技术研究院 Method for monitoring polishing quality on line
JP7495282B2 (en) 2020-06-23 2024-06-04 Juki株式会社 Inspection device and inspection method
JP7342207B1 (en) 2022-07-15 2023-09-11 Ckd株式会社 Packaging inspection device and packaging inspection method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02278145A (en) * 1989-04-19 1990-11-14 Mitsubishi Electric Corp Method and apparatus for detecting damage of image
JPH09265537A (en) * 1996-03-29 1997-10-07 Hitachi Ltd Image processing method
JP3635795B2 (en) * 1996-07-31 2005-04-06 石川島播磨重工業株式会社 Method and apparatus for detecting fine line defects
JPH1152904A (en) * 1997-07-31 1999-02-26 Sanyo Electric Co Ltd Testing method for lcd panel
JP2000121631A (en) * 1998-10-19 2000-04-28 Toray Ind Inc Paint inspecting method and device
JP2001272357A (en) * 2000-03-23 2001-10-05 Hitachi Medical Corp X-ray foreign matter inspection apparatus
JP3960127B2 (en) * 2001-06-04 2007-08-15 富士電機システムズ株式会社 Appearance inspection device
JP2004219176A (en) * 2003-01-10 2004-08-05 Seiko Epson Corp Method and apparatus for detecting pixel irregulality failing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112123A (en) * 2014-07-09 2014-10-22 宁波摩视光电科技有限公司 Defect characteristic extraction and identification method of AOI system used for bullet apparent defect detection

Also Published As

Publication number Publication date
JP2007078540A (en) 2007-03-29

Similar Documents

Publication Publication Date Title
CN108445007B (en) Detection method and detection device based on image fusion
JP4707605B2 (en) Image inspection method and image inspection apparatus using the method
TWI626440B (en) Defect detection apparatus, defect detection method and program product
TWI412739B (en) Defect detection method and defect detection apparatus
JP4150390B2 (en) Appearance inspection method and appearance inspection apparatus
TW200301817A (en) A surface conduction examination method and a subtrate examination device
JP2007285754A (en) Flaw detection method and flaw detector
JP4633245B2 (en) Surface inspection apparatus and surface inspection method
JP4910800B2 (en) Screw parts inspection device and inspection method
JP2005121546A (en) Defect inspection method
JP2001209798A (en) Method and device for inspecting outward appearance
JP4279833B2 (en) Appearance inspection method and appearance inspection apparatus
JP6647903B2 (en) Image inspection device, image inspection program, computer-readable recording medium, and recorded device
JP3871963B2 (en) Surface inspection apparatus and surface inspection method
JP2006284471A (en) Pattern inspection method, pattern inspection device and pattern inspecting program
JP5402182B2 (en) Appearance inspection method and appearance inspection apparatus
JP2003247954A (en) Defect detection method for round body circumference
JP2002250700A (en) Method and device for inspecting pattern
JPH06281595A (en) Apparatus for detecting flaw on surface of object
JP2019120644A (en) Surface inspection device and surface inspection method
JP4967132B2 (en) Defect inspection method for object surface
JP2006145228A (en) Unevenness defect detecting method and unevenness defect detector
JP2004286708A (en) Defect detection apparatus, method, and program
JP2008292398A (en) Method of inspecting floating defect of component electrode and substrate inspecting device
JP2006189294A (en) Inspection method and device of irregular defect

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4150390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250