JP2023056405A - 外観検査方法 - Google Patents

Abstract

【課題】画素毎に良品及び不良品を判別する分類器を用いることにより、欠陥の箇所を詳細に抽出することで、高精度な欠陥の良否判定をすることが可能な外観検査方法及び外観検査装置を提供する。
【解決手段】方法は、評価用被検査物の評価用画像を一つ以上読み込み、評価用画像から、評価用画像を構成する画素毎に評価領域を切り出して、評価領域から評価用特徴量を抽出する評価用特徴量抽出ステップと、評価特徴量を、学習済み分類モデルに入力することによって、評価領域毎に、評価用被検物に生じた欠陥を予測する欠陥予測ステップとを有する。
【選択図】図１

Description

本発明は、外観検査方法に関する。

従来から、製品や製品部品等の被検査物を撮像した画像を用いて、被検査物の外観を検査する技術が知られている。
特に、最近は、良品及び不良品を含む複数枚の学習用画像から、機械学習、とりわけ深層学習によって抽出された特徴量を分類して、被検査物を撮像した画像に含まれる被検査物の特徴量と比較評価することによって、人を介さずに自動で被検査物の良否を判定する技術が注目されて、開発が進んでいる（例えば、特許文献１参照）。
この際、通常、良品や不良品の分類する際に分類モデル（分類器）を用いるが、分類モデルの分類精度を向上するために、欠陥の画像を含む複数の学習用画像を基にした深層学習による分類モデルの生成が行われている（例えば、特許文献２参照）。

特開２０２０－１８７６５６号公報 特開２０１８－００５６４０号公報

しかし、分類器による良品及び不良品の判別において、明瞭に良品と不良品の判別することは困難な場合が多く、分類器による判別の後に、その他処理と組み合わせて判別すること場合が多くある。
その際、分類器による判別の後で行われる処理では、分類器での良品及び不良品と分類した箇所に着目して処理を施す必要があるが、分類器では画像全体に対して分類が実施されるため、詳細な着目箇所を抽出することができず、分類器とそのほかの処理を組み合わせても高精度な欠陥の良否判定ができないという課題があった。

そこで本発明では、画素毎に、良品及び不良品を判別する分類器を用いることにより、欠陥の箇所を詳細に抽出することで、高精度な欠陥の良否判定をすることが可能な外観検査方法を提供する。

本発明の外観検査方法は、評価用被検物の評価用画像を一つ以上読み込み、前記評価用画像から、前記評価用画像を構成する画素毎に評価領域を切り出して、前記評価領域から評価用特徴量を抽出する評価用特徴量抽出ステップと、前記評価用特徴量を、学習済み分類モデルに入力することによって、前記評価領域毎に、前記評価用被検物に生じた欠陥を予測する欠陥予測ステップとを有する。

また、一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群を読み込み、前記学習用画像から、前記学習用画像を構成する画素毎に学習領域を切り出す学習領域分割ステップと、前記学習領域から学習用特徴量を抽出する学習用特徴量抽出ステップと、前記学習用特徴量から前記学習用材料の外観に生じた欠陥を学習して前記学習済み分類モデルとする機械学習ステップとをさらに有することが好ましい。

また、前記欠陥予測ステップの後に、前記欠陥予測ステップにおいて前記欠陥と予測された画素あるいは領域に対して、更なる欠陥判別処理をする欠陥判別ステップをさらに有することが好ましい。

本発明によれば、外観検査方法において、画像内での詳細な欠陥位置の特定が可能となり、その位置を、欠陥か否か判断することで判定精度を向上させることができる。

本発明の第一の実施形態の外観検査方法に関するフローチャートである。 本発明の第二の実施形態の外観検査方法に関するフローチャートである。

以下、本発明の実施形態について、図を参照しながら詳細に説明する。

（第一の実施形態）
図１は、第一の実施形態に関する外観検査方法の手順を示すフローチャートの例であり、本フローチャートに沿って第一の実施形態に関する外観検査方法を説明する。
本発明の第一の実施形態は、評価用被検物の評価用画像を一つ以上読み込み、前記評価用画像から、前記評価用画像を構成する画素毎に評価領域を切り出して、前記評価領域から評価用特徴量を抽出する評価用特徴量抽出ステップと、前記評価用特徴量を、学習済み回帰モデルに入力することによって、前記評価領域毎に、前記評価用被検物に生じた欠陥を予測する欠陥予測ステップとを有する外観検査方法である。

まず、ステップＳ０１で評価用被検査物の評価用画像を撮像する。

ステップＳ０２は、評価用被検査物の評価用画像を一つ以上読み込み、前記評価用画像から画素毎の評価用特徴量を抽出する評価用特徴量抽出ステップである。
ここで、評価用画像から、画素毎の評価用特徴量を抽出するために学習済み特徴量計算モデルを用いる。特徴量計算モデルとは、画像を入力すると、その画像を要約した、つまり、その画像の特徴を数値化した特徴量を抽出する機械学習モデルのことである。画素毎の評価用特徴量を抽出するための学習済み特徴量計算モデルとして、インターネット上で広く公開されている学習済みのＳｅｇＮｅｔやＵＮｅｔなどを使うことができる。ＳｅｇＮｅｔやＵＮｅｔは、物体が映っている画像を画素毎に分類できる畳み込みニューラルネットワークであるが、最終的に画素毎の分類処理を行うニューラルネットワークの全結合層を除いた畳み込み層は、画像から特徴量を抽出する特徴量計算モデルとして使うことができる。本実施形態では、ＳｅｇＮｅｔを用いた。

ステップ０３は、ステップ０２で抽出した評価用特徴量を、学習済み分類モデルに入力することによって、評価用画像の画素毎に、評価用被検査物に生じた欠陥を予測する欠陥予測ステップである。
分類モデルは、特徴量、すなわち説明変数を入力すると、目的変数として欠陥か否かを算出する機械学習モデルである。例えば、分類モデルとして、ランダムフォレスト、サポートベクターマシン、ニューラルネットワーク、勾配ブースティングなどが有名である。本実施形態では、ニューラルネットワークを用いた。

ステップＳ０４は、欠陥有無の判定ステップであり、ステップＳ０３の欠陥予測ステップで欠陥なしと予測された場合、ステップＳ０５の正常判定となる。

一方、ステップＳ０４において、ステップＳ０３の欠陥予測ステップで欠陥があると予測された場合、真の欠陥だけでなく、まだ欠陥に類似した正常部が含まれてしまうこともある。

そこで、外観検査の精度を向上するために、ステップＳ０３の欠陥予測ステップで欠陥と予測された、画素あるいは複数の画素から構成される領域に対して、更なる欠陥判別処理をすることが好ましく、次のステップＳ０６が、その欠陥判別処理（以下、欠陥判別ステップと示す）に対応する。

ステップＳ０６では、欠陥と予測された、画素あるいは複数の画素から構成される領域に対して、真の欠陥のみを判別する欠陥判別ステップである。ここで、真の欠陥を抽出する処理は、輝度２値化や形状識別などの処理があるが、これに限定されるものではない。例えば、真の欠陥のみを判別する学習済み分類モデルを用いてもよい。

ステップＳ０６の欠陥判別ステップにおける判別（ステップＳ０７）の結果で欠陥がないと判定された場合、ステップＳ０５の正常判定となる。

一方、ステップＳ０７において、欠陥があると判定された場合、ステップＳ０８の不良判定となる。

なお、外観検査の精度を更に向上するためには、特徴量計算モデルおよび分類モデルを学習することが好ましい。そこで、第一の実施形態に示された外観検査方法の前に、特徴量計算モデルおよび分類モデルを学習する工程（以下、学習工程と示す）を追加することができる。
ここで、学習工程は、一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群を読み込み、学習用画像から、学習用画像を構成する画素毎に学習領域を切り出す学習領域分割ステップと、学習領域から学習用特徴量を抽出する学習用特徴量抽出ステップと、学習用特徴量から学習用材料の外観に生じた欠陥を学習して学習済み回帰モデルとする機械学習ステップとをさらに有する。

（第二の実施形態）
本発明の第二の実施形態として、上述の学習工程を含む外観検査方法について説明する。図２は、本発明の第二の実施形態の外観検査方法に関するフローチャートである。
ここで、第一の実施形態で示した外観検査方法を、以下では評価工程と示す。

まず、ステップＳ１１において学習工程が必要か否かの判定を行う。学習工程が必要な場合、特徴量計算モデルおよび分類モデルを学習する学習工程をステップＳ１２から始める。学習工程が必要でない場合（学習工程をすでに終えている場合）、学習済みの特徴量計算モデルおよび分類モデルを使用して評価を行う評価工程に進む。
以下に、学習工程と評価工程について、その内容を図２のフローチャートに沿って説明する。

（学習工程）
はじめに、学習工程について説明する。ステップＳ１２において、学習用の被検査物の画像（以下、学習用画像と示す。）を準備する。準備する学習用画像は、被検物を撮像しても、予め用意されている画像を用いてもよい。

そして、ステップＳ１２で準備した学習用画像を用いて、ステップＳ１３では、特徴量計算モデルおよび分類モデルを学習するための正解ラベルを作成する。ここで、「正解ラベル」とは、画像に対する良否の判定をラベリングしたもの、つまり、画像に対して良品及び不良品のひも付けをすること、である。作成するラベルについては、この後のステップで用いる領域分割手法では、画素ごとに判定を行うため、ラベルも画素毎に付与し、画像全体分の画素に対して作成する。

次のステップＳ１４では、ステップＳ１２で準備した学習用画像と、ステップＳ１３で作成した正解ラベルを使用して、画素毎の領域分割手法を用いた特徴量計算モデル（以下、学習済み特徴量計算モデルと示す。）を作成する。ここで、本実施形態では、「領域分割手法」として、ＳｅｇＮｅｔを用いた。

ステップＳ１５では、ステップＳ１４で作成した学習済み特徴量計算モデルで抽出した特徴量を用いて、学習用画像の画素毎に、学習用被検査物に生じた欠陥を予測するように、分類モデルを学習する。学習を終えた分類モデルを学習済み分類モデルと示す。ここで、本実施形態では、分類モデルとしてニューラルネットワークを用いた。

（評価工程）
次に、ステップＳ１２からステップＳ１５までの学習工程で作成した学習済み分類モデルを用いた評価工程について説明する。まず、ステップＳ１６では、評価用の被検査物の画像を撮像する。

ステップＳ１７では、Ｓ１６の撮像画像に対して、ステップＳ１４で作成した学習済み特徴量計算モデルを用いて画素毎の評価用特徴量抽出を行う。

ステップＳ１８では、ステップＳ１７で抽出した評価用特徴量を、学習工程で学習した学習済み分類モデルに入力することによって、評価用画像の画素毎に、評価用被検査物に生じた欠陥を予測する。

ステップＳ１９は、欠陥有無の判定ステップであり、ステップＳ１８の欠陥予測ステップで欠陥がないと予測された場合、ステップＳ２０の正常判定となる。

一方、ステップＳ１９において、ステップＳ１８の欠陥予測ステップで欠陥があると予測された場合、真の欠陥だけでなく、まだ欠陥に類似した正常部が含まれてしまうこともある。

そこで、外観検査の精度を向上するために、ステップＳ１９で学習済み分類モデルに欠陥と予測された、画素あるいは複数の画素から構成される領域に対して、更なる判別処理をすることが好ましく、次のステップＳ２１が、前述の欠陥判別ステップに対応する。

ステップＳ２１では、欠陥と予測された、画素あるいは複数の画素から構成される領域に対して、真の欠陥のみを判別する処理を作成する。ここで、真の欠陥を抽出する処理は、輝度２値化や形状識別などの処理があるが、これに限定されるものではない。例えば、真の欠陥のみを判別する学習済み分類モデルを用いてもよい。

ステップＳ２１の欠陥判別ステップにおける判別（ステップＳ２２）の結果で欠陥がないと判定された場合、ステップＳ１０の正常判定となる。

一方、ステップＳ２１において、欠陥があると判定された場合、ステップＳ２３の不良判定となる。

以上のように、本発明によれば、外観検査方法において、画像を構成する画素毎に特徴量を抽出し、画素毎に欠陥予測を行うことになるので、画像内での詳細な欠陥位置を特定することが可能となり、その位置について、欠陥か否か判断することで判定精度を向上させることができる。よって、本発明は、様々な製品や製品部品の外観を、安定して、精度よく検査する上で極めて有用となる。

Ｓ０１、Ｓ０２、Ｓ０３、Ｓ０４、Ｓ０５、Ｓ０６、Ｓ０７、Ｓ０８：第一の実施形態におけるステップ
Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ１６、Ｓ１７、Ｓ１８、Ｓ１９、Ｓ２０、Ｓ２１、Ｓ２２、Ｓ２３：第二の実施形態におけるステップ

Claims (3)

1. 評価用被検査物の評価用画像を一つ以上の読み込み、前記評価用画像から、前記評価用画像を構成する画素毎に評価領域を切り出して、前記評価領域から評価用特徴量を抽出する評価用特徴量抽出ステップと、
   前記評価用特徴量を、学習済み分類モデルに入力することによって、前記評価領域毎に、前記評価用被検査物に生じた欠陥を予測する欠陥予測ステップと、
   を有することを特徴とする外観検査方法。
2. 一つ以上の学習用材料を撮像して得られた、複数の学習用画像からなる学習用画像群を読み込み、前記学習用画像から、前記学習用画像を構成する画素毎に学習領域を切り出す学習領域分割ステップと、
   前記学習領域から学習用特徴量を抽出する学習用特徴量抽出ステップと、
   前記学習用特徴量から前記学習用材料の外観に生じた欠陥を学習して前記学習済み分類モデルとする機械学習ステップと
   をさらに有することを特徴とする請求項１に記載の外観検査方法。
3. 前記欠陥予測ステップの後に、前記欠陥予測ステップにおいて前記欠陥と予測された画素あるいは領域に対して、更なる欠陥判別処理をする欠陥判別ステップをさらに有することを特徴とする請求項１又は請求項２に記載の外観検査方法。
   
   

Images