JP6795562B2

JP6795562B2 - 検査装置及び機械学習方法

Info

Publication number: JP6795562B2
Application number: JP2018170913A
Authority: JP
Inventors: 桂祐渡邊; 泰弘芝▲崎▼
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2018-09-12
Filing date: 2018-09-12
Publication date: 2020-12-02
Anticipated expiration: 2038-09-12
Also published as: US20200082297A1; CN110895716B; CN110895716A; JP2020042669A; US11521120B2; DE102019123800A1

Description

本発明は、検査装置及び機械学習方法に関する。

従来、工場等の製造業の現場において製造された製品の外観を作業者が目視で確認することで、良品と、キズや欠け等がある不良品との分類を行う外観検査が行われてきた。この様な外観検査においては、各作業者の経験の違いに基づく判断基準の違いや、体調変化により集中力を欠いたりする等の理由で、その検査精度にブレが生じ、良品を不良品としてラインから取り除いてしまうことがある。そのため、多くの現場では、不良品と判断されて一旦ラインから取り除かれた製品を、別の検査担当者が再度確認し、その確認の結果で良品と判断された製品はラインに戻すことで歩留まりを上げるという処置を取っている。また、同様の理由で、作業者が良品と判断したワークが実際は不良品であることもあり、その場合、良品に紛れて不良品も出荷されてしまうことになる。そのため、製造業の現場では、出荷される製品に含まれる不良品の率（不良品出荷率）を極力下げるために、様々な対策が取られている。

一般に、製造業の現場における外観検査の自動化を考える場合、２つの指標が重要になる。即ち、上記した「不良品出荷率」と、はじいた不良品の中に良品とすべき製品が紛れていないかを再確認する「再検査率」を低く抑えることである。更に、これらの指標は、製造された検査対象物の総数における不良品の率（「製造不良率」）に依存するため、ある生産ラインの「製造不良率」が既知であれば、限界とする「不良品出荷率」（限界不良品出荷率）と「再検査率」（限界再検査率）を満たす検査が可能な検査装置を構築すれば良いことになる。

一方で、自動化された外観検査における精度を向上させる試みとして、製品の外観を撮像手段で撮像し、撮像した画像に基づいた製品の仕分け作業や、良品と不良品との分類を行なう機械的な外観検査が行われてきた（例えば、特許文献１〜３等）。このような機械的な外観検査では、例えば、予め用意した基準画像から特徴点を抽出しておき、製品を撮像した画像から抽出された特徴点と比較した結果に基づいて製品の仕分けや選別を行なっている。また、このような機械的な外観検査に、機械学習を導入する事例も増加している（例えば、特許文献４等）。

特開２０１５−０２１７５６号公報特開２００５−０５２９２６号公報特開２０１３−１４００９０号公報特開２０１７−０４９９７４号公報

通常、機械学習、特に３層以上の層を持つニューラルネットワークを用いた深層学習の手法によりモデルの学習を進める際には、学習のイテレーションまたはエポックと呼ばれる学習サイクルにおいて、ある程度のサイクル数の計算を行う毎に学習モデルを作成する。これは、深層学習の性質上、学習モデルの質が学習するにつれてどこまでも良くなるわけではなく、ある一定のサイクル数以上学習を行った学習モデルは過学習という状態になりやすく、未知のデータに対して正しい結果を出せなくなるためである。即ち、学習の過程でいくつか学習モデルを作成した上でそれぞれの学習モデルについて評価し、その中から適した学習モデルを選択するという方法をとる。学習モデルの評価方法として、学習時のｌｏｓｓ（損失：ニューラルネットワークによる出力値と、教師データの与える正解との誤差）やａｃｃｕｒａｃｙ（正答率：ニューラルネットワークによる出力値の正答率）といった値を用いたり、検証用データを評価した際のｐｒｅｃｉｓｉｏｎ（適合率：正しいと予測したもの内、本当に正しいものの割合）やｒｅｃａｌｌ（再現率：見つけるべきもののうち、正しく見つけることができたものの割合）を用いたりすることがある。

しかしながら、実際の製造業の現場における外観検査に機械学習を用いている場合において、検査に用いる学習モデルは、例えば上記したような不良品出荷率や再検査率等のような現場で用いられる評価基準（ユーザの要求仕様）をそれぞれ満たすものである必要があり、一般的な学習モデルの評価基準で学習結果の良否を判定してもそのままでは現場で要求される評価基準を満足しているかどうかはわからないという問題がある。例えば、学習時の１つの指標であるｌｏｓｓが小さくなったからと言って、期待する不良品出荷率がその学習モデルで達成できるとは限らない。つまり、上記したｌｏｓｓやａｃｃｕｒａｃｙの値がどの様な値であれば「不良品出荷率」や「再検査率」が現場における要件を同時に満足するのかを容易に把握乃至計算する手法が今まで提案されてきていなかった。

そこで本発明の目的は、現場のユーザが要求仕様を満足する学習モデルを選択することを容易にする検査装置及び機械学習方法を提供することである。

本発明では、学習モデルの性能を評価するための指標値と、検査装置に対して現場で要求される指標値との関係に基づいて学習モデルの良否を判断し、その判断結果に基づいて学習モデルを選択する構成を検査装置に対して導入することで、上記課題を解決する。

そして、本発明の一態様は、検査対象の検査を行う検査装置において、検査対象から取得された状態データと、該検査対象に係る検査結果を示すラベルデータとに基づいて機械学習を行うことで学習モデルを生成する機械学習装置と、前記機械学習装置が生成した学習モデルに関する、学習モデルの評価に用いられる評価指標である学習モデル評価指標を算出する学習モデル評価指標算出部と、前記検査において用いられる検査指標を取得する検査指標取得部と、前記機械学習装置が生成した学習モデルについて、前記学習モデル評価指標と、前記検査指標とを比較可能に表示し、作業者による学習モデルの選択を受け付け、該選択の結果を出力する学習モデル選択部と、を備えた検査装置である。

そして、本発明の他の態様は、検査対象から取得された状態データと、該検査対象に係る検査結果を示すラベルデータとに基づいて機械学習を行うことで学習モデルを生成する第１ステップと、前記第１ステップで生成された学習モデルに関する、学習モデルの評価に用いられる評価指標である学習モデル評価指標を算出する第２ステップと、検査において用いられる検査指標を取得する第３ステップと、前記第１ステップで生成された学習モデルについて、前記学習モデル評価指標と、前記検査指標とを比較可能に表示し、作業者による学習モデルの選択を受け付け、該選択の結果を出力する第４ステップと、を備えた機械学習方法である。

本発明により、学習モデルの評価を、検査指標に定められた要求仕様に基づいて判定することができるようになるため、機械学習装置の学習の過程において、機械学習に関する知識を持たない現場の作業者であっても、現在設定されている検査指標に定められた要求仕様を満足するような学習が行われたか否かを容易に判断することができるようになり、適切な学習モデルを容易に選択できるようになる。

一実施形態による検査装置の概略的なハードウェア構成図である。一実施形態による検査装置の概略的な機能ブロック図である。ＲＯＣ曲線の例を示す図である。ＲＯＣ曲線と、限界不良品出荷率及び限界再検査率の関係について説明する図である。学習モデルの選択画面の一例を示す図である。学習モデルの選択画面の他の例を示す図である。

以下、本発明の実施形態を図面と共に説明する。
図１は本発明の一実施形態による検査装置の要部を示す概略的なハードウェア構成図である。本実施形態の検査装置１は、工場における製品検査の現場に設置されたコンピュータとして実装することができる。また、検査装置１は、工場における製品検査の現場に設置されたコンピュータとネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、エッジコンピュータ、クラウドサーバ等のコンピュータとして実装することが出来る。図１は、工場における製品検査の現場に設置されたコンピュータとして検査装置１を実装した場合の例を示している。

本実施形態による検査装置１が備えるＣＰＵ１１は、検査装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介して接続されているＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って検査装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示装置７０に表示するための表示データ及び入力装置７１を介してオペレータが入力した各種データ等が格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたＳＲＡＭやＳＳＤ等で構成され、検査装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、入力装置７１を介して入力されたデータやプログラム、インタフェース２０を介して撮像センサ３により撮像された検査対象を撮像した画像データ等が記憶される。不揮発性メモリ１４に記憶されたデータやプログラム等は、利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、検査に係る処理を行うためのシステム・プログラムや、その他の必要とされる処理を実行するためのシステム・プログラムがあらかじめ書き込まれている。

撮像センサ３は、例えばＣＣＤ等の撮像素子を有する電子カメラであり、撮像により２次元画像や距離画像を撮像面（ＣＣＤアレイ面上）で検出する機能を持つ周知の受光デバイスである。撮像センサ３は、例えば図示しないロボットのハンドに取り付けられ、該ロボットにより検査対象を撮像する撮像位置に移動され、該検査対象を撮像して得られた画像データをインタフェース２０を介してＣＰＵ１１に渡す。撮像センサ３は、例えばいずれかの位置に固定的に設置されており、ロボットがハンドで把持した検査対象を撮像センサ３で撮像可能な位置に移動させることで撮像センサ３が検査対象の画像データを撮像できるようにしても良い。撮像センサ３による検査対象の撮像に係る制御は、検査装置１がプログラムを実行することにより行うようにしても良いし、ロボットを制御するロボットコントローラや、他の装置からの制御により行うようにしても良い。

インタフェース１７は、検査装置１を有線／無線のネットワーク７と接続するためのインタフェースである。ネットワーク７には、工場内に設置された工作機械に併設されたパソコン、セルコンピュータ、エッジコンピュータ、ホストコンピュータ等のコンピュータ５等が接続され、ネットワーク７を介した情報のやり取りを相互に行っている。

インタフェース２３は、検査装置１と機械学習装置３００を接続するインタフェースである。機械学習装置３００は、機械学習装置３００全体を統御するプロセッサ３０１と、システム・プログラム等を記憶したＲＯＭ３０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ３０３、及び学習モデル等の記憶に用いられる不揮発性メモリ３０４が、バス３０５を介して接続されて構成される。機械学習装置３００は、インタフェース２３を介して検査装置１で取得可能な各情報を観測することができる。また、検査装置１は、機械学習装置３００から出力される検査対象に関する検査結果の推定に基づいてその後の処理を行う。

図２は、一実施形態による検査装置１と機械学習装置３００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した検査装置１が備えるＣＰＵ１１、及び機械学習装置３００のプロセッサ３０１が、それぞれのシステム・プログラムを実行し、検査装置１及び機械学習装置３００の各部の動作を制御することにより実現される。

本実施形態の検査装置１は、データ取得部１００、前処理部１１０，学習モデル評価指標算出部１２０、検査指標取得部１３０、学習モデル選択部１４０を備え、検査装置１が備える機械学習装置３００は、学習部３１０、推定部３２０を備えている。また、不揮発性メモリ１４上には、機械学習装置３００による学習及び推定に用いられるデータを記憶する学習データ記憶部２００が設けられており、機械学習装置３００の不揮発性メモリ３０４上には、学習部３１０による機械学習により構築された学習モデルを記憶する学習モデル記憶部３３０が設けられている。

データ取得部１００は、撮像センサ３、入力装置７１、及び他のコンピュータ５等から入力された各種データを取得する機能手段である。データ取得部１００は、例えば、検査対象を撮像センサ３で撮像して得られた画像データ、該検査対象について作業者が目視で検査した結果を示すラベルデータ、他のコンピュータ５から取得した学習データ（検査対象の画像データと、該検査対象の検査結果のラベル）等の各種データを取得し、学習データ記憶部２００に記憶する。データ取得部１００は、図示しない外部記憶装置からデータを取得するようにしても良い。

前処理部１１０は、学習データ記憶部２００に記憶された学習データに基づいて、機械学習装置３００による学習に用いられる状態データＳとラベルデータＬの組である教師データＴを作成する。前処理部１１０は、取得したデータを機械学習装置３００において扱われる統一的な形式へと変換（数値化、正規化、サンプリング等）することにより状態データＳ及びラベルデータＬを作成する。
前処理部１１０が作成する状態データＳは、少なくとも検査対象を撮像して得られた検査対象画像データＳ１を含む。検査対象画像データＳ１は、例えば検査結果を撮像して得られた画像を構成する画素値の配列データを用いて良い。
また、前処理部１１０が作成するラベルデータＬは、少なくとも検査対象の検査結果のラベルを含む検査結果データＬ１を含む。検査結果データＬ１は、例えば作業者が検査対象を目視で検査した結果を示すラベルであって良い。

学習部３１０は、前処理部１１０が作成した状態データＳ及び判定データＬを用いた教師あり学習を行い、検査対象を撮像して得られた画像データに対する該検査対象の検査結果を学習した学習モデルを生成する（学習する）機能手段である。本実施形態の学習部３１０は、例えばニューラルネットワークを学習モデルとして用いた教師あり学習を行うように構成しても良い。この様に構成する場合、学習モデルとしては入力層、中間層、出力層の三層を備えたニューラルネットワークを用いても良いが、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることで、より効果的な学習及び推論を行うように構成することも可能である。学習部３１０が生成した学習モデルは、不揮発性メモリ３０４上に設けられた学習モデル記憶部３３０に記憶され、推定部３２０による検査対象の画像データに基づく検査結果の推定処理に用いられる。

推定部３２０は、前処理部１１０から入力された状態データＳに基づいて、学習モデル記憶部３３０に記憶された学習モデルを用いた検査対象の画像データに基づく検査結果の推定を行う。推定部３２０では、学習部３１０による教師あり学習により生成された（パラメータが決定された）学習モデルに対して、前処理部１１０から入力された状態データＳ（検査対象画像データＳ１）を入力データとして入力することで検査対象の検査結果を推定（算出）する。推定部３２０が推定した検査対象の検査結果は、例えば表示装置７０に表示出力したり、ネットワーク７を介してホストコンピュータやクラウドコンピュータ等に他のコンピュータ５へと送信出力したりして利用するようにしても良い。

学習モデル評価指標算出部１２０は、学習モデル記憶部３３０に記憶された学習モデルについて、学習モデルを評価するための学習モデル評価指標を算出する機能手段である。学習モデル評価指標算出部１２０は、例えば学習モデル記憶部３３０に記憶された学習モデルに対してＲＯＣ（受信者動作特性：ＲｅｃｅｉｖｅｒＯｐｅｒａｔｉｎｇＣｈａｒａｃｔｅｒｉｓｔｉｃ）解析を行い、学習モデル評価指標としてＲＯＣ曲線を作成する。ＲＯＣ曲線は、例えば図３に例示されるように、ある学習モデルで検査を行った際に、縦軸に真陽性率（陽性を正しく予測する確率）、横軸に偽陽性率（陰性を誤って陽性と予測する確率）を表し、検査対象を陽性と推定する学習モデルの出力値の閾値を変化させた際に描かれる曲線（図３の太実線）である。学習モデル評価指標算出部１２０は、学習データ記憶部２００に記憶されている学習データの内で、学習モデルの学習に用いられていない学習データ（状態データＳ及び判定データＬ）を用いて、学習モデルの評価を行うようにしても良い。なお、本実施形態ではＲＯＣ曲線を用いた例を示すが、本発明の検査装置１では、ＲＯＣ曲線以外の学習モデル評価の指標を用いるようにしても良い。

学習モデル評価指標算出部１２０は、学習部３１０による学習が予め定めた所定回数毎に、学習モデルの評価を行うようにしても良く、また、評価を行った学習モデルについて、その評価結果と共に学習モデル記憶部３３０内でバックアップするようにしても良い。例えば、予め１０００回の学習サイクル毎に学習モデルの評価を行うように設定している場合、学習モデル評価指標算出部１２０は、学習部３１０による学習が１０００回行われた時の学習モデル、学習が２０００回行われた時の学習モデル、３０００回行われた時の学習モデル、…、について学習モデル評価指標の算出を行い、それぞれの時点での学習モデルと関連付けて、（継続して学習を行う学習モデルとは別に）学習モデル記憶部３３０に記憶する。

検査指標取得部１３０は、検査装置１による検査の現場において用いられる検査指標を取得する機能手段である。検査指標取得部１３０は、例えば入力装置７１を介して作業者が入力した検査指標の値を取得するようにしても良いし、例えばネットワーク７を介して工場における生産計画に係る情報等が管理されているホストコンピュータ等のコンピュータ５から検査指標を取得するようにしても良い。検査指標取得部が取得する検査指標の例としては、例えば限界不良品出荷率や、限界再検査率等が挙げられる。

学習モデル選択部１４０は、複数の学習モデルについて、学習モデル評価指標算出部１２０が算出した学習モデル評価指標と、検査指標取得部１３０が取得した検査指標とに基づいて、それぞれの学習モデルの学習モデル評価指標と検査指標を比較可能に表示装置７０に表示し、検査に用いる学習モデルを作業者に選択させる機能手段である。学習モデル選択部１４０は、予め設定されている指標値比較表示形式に基づいて、それぞれの学習モデルに関する学習モデル評価指標と検査指標とを比較可能に表示装置７０に表示する。そして、学習モデル選択部１４０は、表示装置７０に表示した学習モデルに関する学習モデル評価指標と検査指標を参考にして、作業者が入力装置７１を介して選択した学習モデルを、検査に用いる学習モデルとして選択し、選択した学習モデルを学習モデル記憶部３３０に記憶すると共に、その選択結果を表示装置７０に表示出力するようにしたり、ネットワーク７を介してホストコンピュータやクラウドコンピュータ等に他のコンピュータ５へと送信出力する。

学習モデル選択部１４０による表示処理について、学習モデル評価指標としてＲＯＣ曲線を、検査指標として限界不良出荷率及び限界再検査率を用いる場合で説明する。ＲＯＣ曲線に対して、限界不良品出荷率及び限界再検査率を満たす限界線をプロットしたものを図４に示す。図４において、太一点鎖線は限界不良品出荷率に基づいて以下に示す数１式で算出される値をグラフ上にプロットしたものであり、該太一点鎖線より上にある領域は、限界不良品出荷率が満足される領域を示している。なお、製造不良率については、予め過去の統計等に基づいて分かっているものとする。

一方で、図４において、太破線は限界再検査率に基づいて以下に示す数２式で算出される値をグラフ上にプロットしたものであり、該太破線より左にある領域は、限界再検査率が満足される領域を示している。なお、製造不良率については、予め過去の統計に基づいて分かっているものとする。

即ち、図中の網掛け領域にＲＯＣ曲線が入る学習モデルであれば、その領域に入った部分に対応する閾値（検査対象を陽性、即ち不良品と推定する学習モデルの出力値の閾値）を設定して用いることで、検査指標に定められた要求仕様を満足する学習モデルとして利用することができる。

学習モデル選択部１４０は、予めＲＯＣ曲線、限界不良出荷率、限界再検査率の各指標値を表示するグラフ形式のフォーマットが指標値比較表示形式が設定されている場合、それぞれの学習モデルについて、学習モデル評価指標としてのＲＯＣ曲線と、検査指標としての限界不良出荷率、限界再検査率に基づいて数１式、数２式から算出される直線をグラフ形式に描画して表示装置７０に表示する。この時、学習モデル選択部１４０は、複数の学習モデルに関するグラフを図５に例示されるように並べて表示するようにしても良い。

学習モデル選択部１４０は、更に、検査指標に定められた要求仕様を満足する状態で学習モデルを利用する条件を、学習モデル評価指標と検査指標との比較表示に併せて表示するようにしても良い。例えば、上記した例では、検査指標に定められた要求仕様を満足すると判定された学習モデルを利用する際には、ＲＯＣ曲線が図５の網掛け領域に入る部分に対応する閾値（検査対象を陽性、即ち不良品と推定する学習モデルの出力値の閾値）を設定して利用する必要がある。学習モデル選択部１４０は、図６に例示されるように、この閾値の範囲を学習モデル評価指標と検査指標との比較表示に併せて表示する表示装置７０へと表示出力するようにしても良い。この閾値の範囲は、ＲＯＣ曲線が太一点鎖線と交差する点に対応する閾値が上限値となり、ＲＯＣ曲線が太破線と交差する点に対応する閾値が下限値となる。通常、ＲＯＣ曲線は右上がりの線となるので、上限値に近いほど再検査率が低く、下限値に近いほど不良品出荷率が低くなるので、その旨も合わせて出力するようにしても良い。

上記構成を備えた検査装置１では、学習モデルの評価を、検査指標に定められた要求仕様に基づいて判定することができるようになるため、機械学習装置３００の学習の過程において、機械学習に関する知識を持たない現場の作業者であっても、現在設定されている検査指標に定められた要求仕様を満足するような学習が行われたか否かを容易に判断することができるようになり、適切な学習モデルを容易に選択できるようになる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では、外観検査による出荷可否判断の例を用いて検査装置１の説明をしているが、検査装置１は他の検査に対しても適宜適用することができ、例えば、工作機械での加工可能性を判断するための検査等にも適用することができる。この様な場合、検査装置は、対象とする機械の工作時における温度や振動、音等に基づいて工作機械の故障の度合いを示すスコア（スコアが低ければ工作機械の動作が良好、スコアが高ければ故障乃至故障に近い状態）を出力するものとして構成できる。この時、検査装置１が作成するＲＯＣ曲線図の縦軸として不良機械正解率、横軸として良好可動機械不正解率を設定し、また、検査装置１が扱う検査指標としては、例えば異常なしと判断され加工に使用される工作機械群に含まれることが実用上許容され得る不良機械の率を表す限界不良加工率と、異常ありと判断されメンテナンスに回される工作機械の率を表す限界メンテナンス率を用いるようにすれば良い。このように各パラメータを設定することで、上記した実施形態で示したのと同様に、工作機械が故障しているかを診断する場面において用いる適切な学習モデルを容易に選択できるようになる。

１検査装置
３撮像センサ
５コンピュータ
７ネットワーク
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１７，１８，１９，２０インタフェース
２２バス
２３インタフェース
７０表示装置
７１入力装置
１００データ取得部
１１０前処理部
１２０学習モデル評価指標算出部
１３０検査指標取得部
１４０学習モデル選択部
２００学習データ記憶部
３００機械学習装置
３０１プロセッサ
３０２ＲＯＭ
３０３ＲＡＭ
３０４不揮発性メモリ
３０５バス
３１０学習部
３２０推定部
３３０学習モデル記憶部

Claims

検査対象の検査を行う検査装置において、
検査対象から取得された状態データと、該検査対象に係る検査結果を示すラベルデータとに基づいて機械学習を行うことで学習モデルを生成する機械学習装置と、
前記機械学習装置が生成した学習モデルに関する、学習モデルの評価に用いられる評価指標である学習モデル評価指標を算出する学習モデル評価指標算出部と、
前記検査において用いられる検査指標を取得する検査指標取得部と、
前記機械学習装置が生成した学習モデルについて、前記学習モデル評価指標と、前記検査指標とを比較可能に表示し、作業者による学習モデルの選択を受け付け、該選択の結果を出力する学習モデル選択部と、
を備えた検査装置。
前記学習モデル評価指標は、前記機械学習装置が生成した学習モデルのＲＯＣ曲線であり、前記検査指標は、出荷される検査対象に含まれることが許容される不良品の率を表す限界不良品出荷率、検査対象の総数における検査ではじいた検査対象の率を表す限界再検査率である、
請求項１に記載の検査装置。
前記学習モデル評価指標は、前記機械学習装置が生成した学習モデルのＲＯＣ曲線であり、前記検査指標は、異常なしと判断され加工に使用される工作機械群に含まれることが許容されうる不良機械の率を表す限界不良加工率、異常ありと判断されメンテナンスに回される工作機械の率を表す限界メンテナンス率である、
請求項１に記載の検査装置。
前記学習モデル選択部は、前記学習モデルが前記検査指標を満足する条件を算出し、算出した前記学習モデルが前記検査指標を満足する条件を出力する、
請求項１〜３のいずれか１つに記載の検査装置。
検査対象から取得された状態データと、該検査対象に係る検査結果を示すラベルデータとに基づいて機械学習を行うことで学習モデルを生成する第１ステップと、
前記第１ステップで生成された学習モデルに関する、学習モデルの評価に用いられる評価指標である学習モデル評価指標を算出する第２ステップと、
検査において用いられる検査指標を取得する第３ステップと、
前記第１ステップで生成された学習モデルについて、前記学習モデル評価指標と、前記検査指標とを比較可能に表示し、作業者による学習モデルの選択を受け付け、該選択の結果を出力する第４ステップと、
を備えた機械学習方法。