JP5718781B2 - 画像分類装置および画像分類方法 - Google Patents

Description

この発明は、画像についてその特徴量を算出し、その値に基づいて当該画像を複数の分類カテゴリのいずれかに分類する画像分類装置および画像分類方法に関するものである。

半導体やプリント基板等の製造技術分野では、製品に含まれる欠陥を検出しこれを分析・評価するために、評価対象物を顕微鏡等を介して撮像し、得られた画像について複数種の特徴量を算出して自動分類を行うことが研究されている。例えば特許文献１に記載の技術では、画像から抽出されたＮ個の特徴量で表されるＮ次元特徴量空間内に、教師画像に基づく事例学習によって分類カテゴリ境界を示す超平面が設定され、未知の画像の特徴量ベクトルが特徴量空間内で超平面のどちら側にあるかによって、当該画像がどの分類カテゴリに属するかが判断される。

また、本願出願人が先に開示した特許文献２に記載の技術では、超平面に基づく分類ではなく、Ｎ個の特徴量のそれぞれごとに、当該特徴量の値が該当範囲に含まれる分類カテゴリに対して投票を行い、その得票が最も多い分類カテゴリを当該画像が属するべき分類カテゴリと判断することで、判断に係る演算処理を簡素化している。

特開２００３−３１７０８３号公報 特開２０１０−０９１４０１号公報

従来の画像分類技術においては、演算によって未知の画像がどの分類カテゴリに分類されたかの結果が提示されるが、その分類結果がどの程度確からしいかについての情報を提供することは想定されていない。すなわち、ある分類カテゴリに分類された画像が、明らかにその分類カテゴリに属すると言えるものなのか、他の分類カテゴリの特徴に近い要素をも含んだものなのか等については提示されない。

このような情報は、例えば収集された画像から教師データを作成したり、新たなタイプの欠陥を分析したり、分類装置（または方法）自体を検証する際等において有用なものであり、そのような情報を提供する画像分類装置または画像分類方法の実現が望まれる。しかしながら、簡便な方法でこれを実現する技術については、これまでのところ確立されるに至っていない。

この発明は上記課題に鑑みなされたものであり、画像の特徴量に基づき分類を行う画像分類装置および画像分類方法において、簡便な方法で、分類結果の確からしさに関する情報を提示することのできる技術を提供することを目的とする。

この発明にかかる画像分類装置は、上記目的を達成するため、画像の特徴を示す複数種の特徴量を算出する特徴量算出手段と、前記画像を、前記特徴量に基づいて複数の分類カテゴリのいずれかに分類する分類手段と、算出処理の対象となる前記画像である一の算出対象画像と、前記分類カテゴリのうち一の算出対象分類カテゴリとの組み合わせについて、当該算出対象画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標を算出する確度算出手段と、前記分類手段による分類結果と、前記確度算出手段による算出結果とを関連付けて報知出力する出力手段とを備えている。

そして、前記確度算出手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を記憶する記憶部と、前記算出対象画像を表す前記複数種の特徴量の各々について、当該特徴量の値が、前記算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定手段と、前記複数種の特徴量の種類数に対する、前記判定手段において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を前記確度指標として出力する演算部とを備えている。

このように構成された発明では、一の画像と一の分類カテゴリとの間で、当該画像を表す複数種の特徴量のうち、何種類あるかを示す比の値によって、当該画像が当該分類カテゴリに属する「確からしさ」が確度指標として定量的に示される。これにより、ユーザは単なる分類結果だけでなく、その結果の確からしさをも把握することができるので、これを分類結果の評価や分析に役立てることができる。

また、確度指標の算出は、当該画像を表す各特徴量が予め設定された典型範囲内にあるか否かを特徴量ごとに個別に判定し、その判定結果を集計することで行われるため、複雑な演算処理を用いることなく簡便な処理によって確度指標を算出することができる。

このように、この発明によれば、ユーザの作業支援に寄与する分類結果の確からしさに関する情報を、簡便な処理で算出し提示することが可能である。

具体的には、例えば、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、複数の分類カテゴリに対応する学習データを作成する学習手段を備え、分類手段は、該学習データに基づき画像を分類するようにしてもよい。このような事例学習型の分類装置自体は従来から知られており、多様な特徴を有する画像を効率よく分類することが可能である。従来の装置では分類結果の妥当性について評価する手段がなかったが、本発明では、このような事例学習型の画像分類装置において分類結果とその確度とを合わせて利用することが可能となり、画像の分類や分析、また分類結果についての評価や分析をより効率よく行うことが可能である。

また、例えば、学習手段は、事例学習の結果に基づいて典型範囲を設定し記憶部に記憶させるようにしてもよい。教師画像から抽出された特徴に基づき設定された典型範囲を用いて判定を行うことで、実際の事例とよく対応した判定を行うことができ、算出される確度指標の精度を向上させることができる。

この場合、例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の分散に基づいて、当該特徴量についての典型範囲を設定するようにしてもよい。こうすることで、各分類カテゴリに属する教師画像の特徴のばらつきを反映させた判定が可能となり、確度指標の精度をさらに向上させることができる。

あるいは例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の平均値と標準偏差とを求め、平均値を中心とする標準偏差に基づいて定めた範囲を、当該特徴量についての典型範囲とするようにしてもよい。こうすることで、設定された典型範囲には当該分類カテゴリに属する教師画像の平均的な特徴が反映されるので、確度指標の精度をさらに向上させることができる。

これらの発明においては、例えば、出力手段は、分類手段が分類対象とする一の画像について、当該画像が分類された分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された確度指標とを関連付けて報知出力するようにしてもよい。こうすることで、ユーザに対して、画像がどの分類カテゴリに分類されたかの結果とともに、その確度がどの程度あるかを確認できる情報を提示することができる。

また、例えば、画像を撮像する撮像手段をさらに備えるようにしてもよい。撮像手段を上記した画像分類装置に組み合わせることで、画像の撮像およびその分類、評価を一括して効率的に行うことが可能となる。

また、この発明にかかる画像分類方法は、教師画像を用いた事例学習を行う学習手段と、分類アルゴリズムを実行する分類手段と、ユーザへの報知出力を行う出力手段とを備えるコンピュータが、画像を分類する画像分類方法であって、上記目的を達成するため、前記コンピュータが、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記学習手段が複数の分類カテゴリに対応する学習データを作成する学習工程と、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を、前記学習工程の結果に基づき設定する典型範囲設定工程と、前記画像について、前記複数種の特徴量を算出する特徴量算出工程と、算出された前記特徴量に基づいて、前記分類手段が前記画像を前記複数の分類カテゴリのいずれかに分類する分類工程と、前記画像について算出された前記複数種の特徴量の各々について、当該特徴量の値が、前記複数の分類カテゴリのうち一の算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定工程と、前記複数種の特徴量の種類数に対する、前記判定工程において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を当該画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標とする演算工程と、前記出力手段が前記分類工程における分類結果と、前記演算工程において算出された前記確度指標とを関連付けて報知出力する出力工程とを実行することを特徴としている。

このように構成された発明では、事例学習の結果に基づいて、画像が当該算出対象分類カテゴリに属する蓋然性が高いかを定量的に示すことができる。そのため、上記した画像分類装置と同様に、分類結果に対する評価や分析において利用しやすい情報をユーザに提供することができる。

ここで、例えば、複数の分類カテゴリのうち、分類工程において当該画像が分類された分類カテゴリを算出対象分類カテゴリとするようにしてもよい。このようにすると、画像がどの分類カテゴリに分類されたかという分類結果とともに、その分類カテゴリに属する確からしさを定量的に示すことができる。

また、この発明にかかる画像分類方法では、例えば、基板の欠陥を撮像した複数の画像を収集する画像収集工程と、欠陥の種別を表す分類カテゴリごとに、収集された画像の少なくとも１つを当該分類カテゴリに対応する教師画像として設定する教師画像設定工程とをさらに備え、学習工程では、教師画像設定工程で設定された教師画像を用いて事例学習を行うようにしてもよい。

このように構成された発明は、基板の欠陥分類に本発明を適用したものであり、欠陥をその種別に応じて分類するとともに、分類結果の確からしさを確度指標として定量的に提示することができる。

この発明によれば、画像がどの分類カテゴリに分類されるかだけでなく、どの分類カテゴリにどの程度の確からしさで分類されるかを示す確度指標が定量的に提示されるので、ユーザにとっての利便性を向上させることができる。また、本発明の確度指標の算出処理は、比較的簡便な演算によって行うことが可能である。

この発明にかかる画像分類装置の一実施形態としての検査システムの概略構成を示す図である。 この検査システムにおける自動欠陥分類処理を示すフローチャートである。 この実施形態における学習処理を示すフローチャートである。 典型範囲を説明するための図である。 確度算出処理の第１の態様を示すフローチャートである。 図５の処理の処理例を示す図である。 確度算出処理の第２の態様を示すフローチャートである。 図７の処理の処理例を示す図である。 この実施形態における表示内容の例を示す第１の図である この実施形態における表示内容の例を示す第２の図である。

図１はこの発明にかかる画像分類装置の一実施形態としての検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板（以下「基板」という。）Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域を撮像する撮像装置２と、撮像装置２からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類（ＡＤＣ；automatic defect classification）する検査・分類機能および検査システム１の全体動作を制御する機能を有する制御部としてのホストコンピュータ５を有する。撮像装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。

撮像装置２は、基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２１、基板Ｓを保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動させるステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板Ｓに照明光を導くとともに基板Ｓからの光が入射する光学系２１２、および、光学系２１２により結像された基板Ｓの像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ５に設けられた装置制御部５０１がステージ駆動部２３および撮像部２１を制御することにより、基板Ｓ上の検査対象領域が撮像される。

ホストコンピュータ５は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ５は、上記の装置制御部５０１のほか、欠陥検出部５０２、欠陥分類部（ＡＤＣ）５０３、特徴量算出部５０４、教示部５０５、判定部５０６、演算部５０７などの各機能ブロックを備えている。さらに、ホストコンピュータ５は、各種データを記憶するための記憶部５１０、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部５１１および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部５１２などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム１の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。

各機能ブロックの詳細については後に説明するが、ここでは各機能ブロックの機能について簡単に説明しておく。欠陥検出部５０２は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部５０２が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置５１０に一時的に保存される。

一方、欠陥分類部５０３は、検出された欠陥をＳＶＭ（サポート・ベクタ・マシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。特徴量算出部５０４は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。教示部５０５は欠陥分類部５０３に上記アルゴリズムを機械学習させるための教示データを与える。

判定部５０６および演算部５０７はそれぞれ、欠陥分類部５０３によって分類された分類結果の妥当性を示す確度を算出するための処理を行う。具体的には、判定部５０６は欠陥画像の各特徴量の値が各分類カテゴリに適合するものであるか否かの判定を行う。また演算部５０７は判定部５０６の判定結果に基づき確度を算出する。

図２はこの検査システムにおける自動欠陥分類処理を示すフローチャートである。この処理は本発明の「画像分類方法」の一実施形態であり、まず検査対象物の画像を取得する（ステップＳ１０１）。具体的には、撮像装置２が検査対象となる基板Ｓ表面を撮像する。そして、欠陥検出部５０２は撮像された画像について欠陥検出を行う（ステップＳ１０２）。以下では、欠陥を含むとみなされる画像を「欠陥画像」と称することとする。

欠陥画像が検出されると、欠陥検出部５０２は検査対象領域の画像（欠陥画像）や検査処理の際に求められたデータ（当該検査対象領域の座標情報、差分画像、参照画像等のデータ）を出力し、これらのデータは欠陥分類部５０３に送られるほか、記憶部５１０にも書き込まれる。記憶部５１０に記憶された画像データに基づいて、特徴量算出部５０４が当該欠陥画像の特徴量を算出する（ステップＳ１０３）。

続いて、検出された欠陥の自動分類が欠陥分類部５０３により行われる（ステップＳ１０４）。欠陥分類部５０３は、機械学習アルゴリズムを実行可能となっており、教示部５０５から与えられる教師データに基づいて予め行った事例学習の結果に基づいて、欠陥画像の分類を行う。具体的には、特徴量算出部５０４により求められた欠陥画像の特徴量に基づいて、欠陥の特徴に応じて予め設定されている複数の分類カテゴリのいずれに当該欠陥画像が該当するかを決定する。なお、特徴量とは、画素値を所定の規則にて演算処理することにより得られる値を指し、特徴量の多くは、画像に何らかのフィルタを作用させることにより得られる。例えば、画像の平均輝度、テクスチャ情報、所定の条件を満たす領域の大きさ、抽出されるエッジの量等のように画像の何らかの特徴を示す指標値が特徴量とされる。複数の自己相関フィルタを用いた特徴量を用いてもよい。

欠陥分類部５０３により行われた分類の結果については、判定部５０６および演算部５０７によってその確度が算出される（ステップＳ１０５）。この「確度」は、分類結果の「確からしさ」を定量的に示す指標であり、その値が大きいほど、分類結果の蓋然性が高く信頼できるものであることを表す。

分類の結果と確度の算出結果とは適宜の表示方法により互いに関連付けられて表示部５１２に表示され（ステップＳ１０６）、ユーザに提示される。検査システム１では、欠陥検出部５０２にて欠陥が検出される毎に図２のステップＳ１０３ないしＳ１０６に示す動作がリアルタイムにて行われ、欠陥を示す多量の画像の分類が高速に行われる。こうして検出された欠陥画像は対応する分類カテゴリに分類され、その分類結果の確度とともにユーザに提示されてゆく。

次に、欠陥分類部５０３による学習処理について説明する。この実施形態では、図２の欠陥分類処理に先立って、欠陥分類部５０３等が以下に説明する学習処理を行う。学習処理では、欠陥の種類に対応する分類カテゴリごとの典型的な欠陥画像についてユーザから教示を受け、そのような欠陥画像の典型例を教師データとして学習を行うことによって、新たに検出された未知の欠陥画像をその特徴に基づいていくつかの分類カテゴリに分類することが可能となっている。

図３はこの実施形態における学習処理を示すフローチャートである。まず教師データとなる教師画像を取得する（ステップＳ２０１）。この画像は、撮像装置２によって例えばサンプル基板を撮像することで新たに取得してもよく、また欠陥画像の典型例としてライブラリ化された画像を外部装置から取り込むものであってもよい。そして、こうして取得した各教師画像の特徴量を、特徴量算出部５０４により算出する（ステップＳ２０２）。

次に、欠陥画像を何通りの、またどのような分類カテゴリに分類するかをユーザに設定入力させ、教示部５０５はそれらに対応する分類カテゴリを作成する。そして、検出された欠陥画像を順次表示部５１２に表示させて、表示された欠陥がどの分類カテゴリに分類されるべきものかについてのユーザの教示入力を受け付ける（ステップＳ２０３）。教示入力により各分類カテゴリごとに少なくとも１つの欠陥画像が指定されると、教示部５０５は、その教示入力結果と各欠陥画像の特徴量とを欠陥分類部５０３に与え、欠陥分類部５０３はこれらに基づく学習作業を行う（ステップＳ２０４）。この際の学習プロセスとしては、例えばＳＶＭ（Support Vector Machine）や判別分析法、ニューラルネットワークによるものなど、公知のものを適用することができる。

なお、こうして事例学習を行った結果に基づいて画像を分類すると、新たに提示される未知の欠陥画像についてもその特徴量の値に基づきいずれかの分類カテゴリへ分類することが可能となる。しかしながら、処理対象となる画像はそれぞれ異なった内容を有するものである。そのため、中には特徴が曖昧でどの分類カテゴリに属すべきものかが明確でないものや、既知の分類カテゴリのいずれとも大きく異なる特徴を有する新たな欠陥が含まれるもの等もあり、これらに起因する誤分類が不可避的に生じうる。

また、分類のためのアルゴリズムの検証や、ユーザが教師画像に対して付与した分類カテゴリ自体の妥当性を評価する必要がある場合もある。このため、分類結果とともにその確からしさが提示されると、ユーザにとっては便宜である。しかしながら、上記の分類方法では各画像がどの分類カテゴリに分類されたかについての結果が提示されるものの、その分類がどの程度確かなものであるかについては提示されない。

そのため、このような確からしさ（確度）を検証するための方法として、例えば教師データの部分集合を使って生成した比較的高精度の学習器の多数決を採るなどの方法が試みられているが、このような高精度の学習器を複数構成するのには複雑な演算処理と膨大な時間が必要となり、実用化されるには至っていない。一方、この実施形態では、後述するように、より簡便な方法で分類結果の確度を定量的に表せるようにしている。

これを可能とするために、事例学習の段階では、続いて後の確度算出に用いられる情報を算出する。具体的には、各分類カテゴリの各特徴量のそれぞれについて、当該カテゴリに属すると教示された各教師画像の有する当該特徴量の値の平均値と分散とを算出する（ステップＳ２０５）。分類カテゴリがＭ種類、特徴量がＮ種類ある場合、分類カテゴリと特徴量との組み合わせは（Ｍ×Ｎ）通りあり、これらの全ての組について、平均値と分散とが算出される。本実施形態の説明において示す例では、分類カテゴリを４種類（カテゴリＡ〜Ｄ）、特徴量の種類を８種類（Ｖ1〜Ｖ8）とするので、この場合は３２組の数値が算出される。

そして、これらの組における各平均値を中心として大小方向にその標準偏差σの３倍までの数値範囲を、当該組の「典型範囲」として設定し記憶部５１０に記憶保存する（ステップＳ２０６）。詳しくは次に説明するが、この典型範囲は、当該分類カテゴリの特徴を有する典型的な画像において当該特徴量が示すであろう値の範囲を示すものである。つまり、ある画像の特徴量の値が１つのカテゴリにおける典型範囲内に含まれるとき、その画像は当該カテゴリの典型的な特徴を有するものであると言うことができる。逆に特徴量の値が典型範囲から離れているとき、当該特徴量により表現される特徴がその画像には明瞭に現れていないということが示唆される。

ここまで述べたような事例学習を行うことによって、未分類の新たな欠陥画像に対して学習結果を用いた分類を行うことが可能となる。また、分類カテゴリごとに、各特徴量の典型範囲を設定することで、分類結果の妥当性を示す確度を算出することが可能となる。

図４は典型範囲を説明するための図である。ここでは原理の理解を容易にするために２種の特徴量Ｖ1、Ｖ2のみを考慮した２次元の特徴量平面を用いて説明するが、実際の概念はこの基本原理を特徴量の種類数を次元とする超空間（特徴量空間）に拡張したものである。図は２つの特徴量Ｖ1、Ｖ2をそれぞれ座標軸とする平面内に、特徴量の値（Ｖ1，Ｖ2）を該座標平面内における座標値とみなして各教師画像をプロットしたものである。白丸印はカテゴリＡに属すると教示された教師画像を、黒丸印はカテゴリＢに属すると教示された教師画像をそれぞれ示している。同一カテゴリに属する画像は共通の特徴を有するので、平面上において比較的近接した位置に分布する。

カテゴリＡに属する各教師画像の特徴量Ｖ1の平均値をＶ1aavgとし、その標準偏差をσ1aとする。このとき、平均値Ｖ1aavgを中心とする±３σ1aの範囲、すなわちＶ1amin（＝Ｖ1aavg−３σ1a）ないしＶ1amax（＝Ｖ1aavg＋３σ1a）の範囲が、カテゴリＡと特徴量Ｖ1との組み合わせにおける「典型範囲」である。同様に、カテゴリＡと特徴量Ｖ2との組み合わせにおける典型範囲は、同カテゴリに属する各教師画像の特徴量Ｖ2の平均値Ｖ2aavgを中心とするＶ2aminないしＶ2amaxの範囲である。平均値（Ｖ1aavg，Ｖ2aavg）により表される座標位置（図において×印で示す）が当該カテゴリＡの「中心」に相当する。

また、カテゴリＢと特徴量Ｖ1との組み合わせにおける典型範囲は平均値Ｖ1bavgを中心とするＶ1bminないしＶ1bmaxの範囲であり、カテゴリＢと特徴量Ｖ2との組み合わせにおける典型範囲は平均値Ｖ2bavgを中心とするＶ2bminないしＶ2bmaxの範囲である。

このように分類カテゴリごとに典型範囲を設定すると、当該カテゴリに対応する特徴が顕著な欠陥画像では、その特徴量の値が当該カテゴリの典型範囲内に入る蓋然性が高いと言える。例えばカテゴリＡに分類すべき画像の多くは、それぞれ座標（Ｖ1amin，Ｖ2amin）、（Ｖ1amax，Ｖ2amax）で表される２点を結ぶ線分を対角線とする矩形の領域ＴＲa内に分布すると予想される。またカテゴリＢに分類すべき画像は、それぞれ座標（Ｖ1bmin，Ｖ2bmin）、（Ｖ1bmax，Ｖ2bmax）で表される２点を結ぶ線分を対角線とする矩形の領域ＴＲb内に多くが分布すると予想される。特に典型範囲の広がりを平均値を中心とした標準偏差の３倍までとすることで、統計的には９９％以上の画像が典型範囲に入るということができる。

したがって、ある欠陥画像がいずれかの分類カテゴリに分類されたとき、その欠陥画像を表す複数種の特徴量のうち、当該カテゴリの各特徴量について設定された典型範囲内に入るものが多いほど、その画像が当該カテゴリに属する蓋然性が高い、つまり分類結果の妥当性が高いということができる。上記のような原理に基づき、この実施形態では次のようにして分類結果の確度を算出する。

図５はこの実施形態における確度算出処理の第１の態様を示すフローチャートである。また、図６はその処理例を示す図である。図５は、図２のステップＳ１０５に示した処理内容をより具体的に記述したものである。ここでは、新たな欠陥画像Ｘについて分類を行った結果、カテゴリＡに分類されたケースを想定する。まずＶ1〜Ｖ8で表される特徴量Ｖnを区別するための内部パラメータｎの値を０にリセットし（ステップＳ３０１）、その値ｎを１つインクリメントしてから（ステップＳ３０２）、確度算出対象とする欠陥画像Ｘ（算出対象画像）に対応する１つの特徴量Ｖn（ここではＶ1）を選択する（ステップＳ３０３）。判定部５０６は、その特徴量Ｖnの値を、確度を算出すべき分類結果、すなわちカテゴリＡ（算出対象分類カテゴリ）についての当該特徴量Ｖnの典型範囲と比較判定する（ステップＳ３０４）。

判定部５０６は、画像Ｘの特徴量Ｖnの値がカテゴリＡにおける当該特徴量Ｖnの典型範囲内にあれば当該分類カテゴリへの「投票」を行う一方、典型範囲外であれば投票しない。（ステップＳ３０５、Ｓ３０６）。ステップＳ３０２ないしＳ３０６の処理をｎ＝８になるまで繰り返し（ステップＳ３０７）、全種類の特徴量について同様の比較を行う。

ここでは、特徴量の値が典型範囲に該当するか否かを判定し、該当するものが１つある度にその数をカウントしてゆく作業を「投票」と称している。図６の例において「○」印は投票を行い、「×」印は投票を行わなかったことを示している。すなわち、算出対象画像（Ｘ）と分類結果（カテゴリＡ）との組み合わせにおいては、画像Ｘの特徴量Ｖ1の値はカテゴリＡにおけるその典型範囲（Ｖ1amin〜Ｖ1amax）内にあったものとする。同様に、特徴量Ｖ2（典型範囲：Ｖ2amin〜Ｖ2amax）、Ｖ4（典型範囲：Ｖ4amin〜Ｖ4amax）、Ｖ5（典型範囲：Ｖ5amin〜Ｖ5amax）、Ｖ7（典型範囲：Ｖ7amin〜Ｖ7amax）、Ｖ8（典型範囲：Ｖ8amin〜Ｖ8amax）についても、それぞれ画像Ｘの特徴量値が典型範囲内にあったものとする。これらについては投票が行われる。

一方、特徴量Ｖ3（典型範囲：Ｖ3amin〜Ｖ3amax）、Ｖ6（典型範囲：Ｖ6amin〜Ｖ6amax）については、画像Ｘの特徴量の値が典型範囲外であるとして投票は行われなかったとする。

このような例においては、８種の特徴量のうち６種で投票が行われ、その結果としての得票数は６となる。この結果は、８種の特徴量のうち６種までが分類結果を支持していることを意味しており、当該画像ＸをカテゴリＡに分類した今回の分類結果の妥当性が高いと言える。このように、複数の特徴量のうち何種において投票が行われたか、つまり特徴量の数に対する得票数の比をもって、分類結果の妥当性を定量的に表すことが可能である。

そこで、演算部５０７は、判定部５０６による得票数（この例では６）の、特徴量の総数（この例では８）に対する比（この例では６／８）を算出し、これを当該分類結果の確度として出力する（ステップＳ３０８）。ユーザが結果を直感的に把握することができるように、確度は例えば％表示とするのが好ましい。この例では、６６．７％（小数点以下第２位を四捨五入）という確度が得られる。

このように、分類結果の確度が比較的高い場合にはその分類結果は妥当なものと言えるが、画像によっては、欠陥分類部５０３が分類したカテゴリの確度が低い（例えば５０％未満）場合もあり得る。したがって、単に分類結果だけでなくその確度が提示されることで、ユーザは分類結果がどの程度信頼してよいかを把握して、必要に応じて分類を再検証する等の対応を取ることが可能となる。

上記した第１の態様の確度算出処理では、画像の分類アルゴリズムについては特に制約がない。すなわち、任意の分類方法で行われた分類結果に対して、上記した分類結果についての確度算出処理を適用することが可能である。一方、本願出願人が先に開示した特許文献２（特開２０１０−０９１４０１号公報）に記載の分類方法と本発明にかかる確度算出処理とを組み合わせた場合、演算過程の共通化により処理の大幅な簡素化が可能である。このようにした場合の確度算出処理について、次に説明する。

図７はこの実施形態における確度算出処理の第２の態様を示すフローチャートである。また、図８はその処理例を示す図である。この処理では、図２にステップＳ１０４として記載した欠陥画像の分類と、ステップＳ１０５として記載した確度の算出とを平行して行う。すなわち、この処理の開始時点で分類結果は確定しておらず、全ての分類カテゴリについて上記した「投票」作業を行う。

最初に、複数種の分類カテゴリから１つを選択する（ステップＳ４０１）。続くステップＳ４０２ないしＳ４０８は、第１の態様におけるステップＳ３０１ないしＳ３０７と同様の処理である。すなわち、内部パラメータｎの値をリセットしてから（ステップＳ４０２）、その値を１つずつインクリメントしながら（ステップＳ４０３）、算出対象画像Ｘの特徴量Ｖnと先に選択された分類カテゴリにおける当該特徴量の典型範囲とを比較して（ステップＳ４０４、Ｓ４０５）、典型範囲内であれば当該分類カテゴリに投票を行う（ステップＳ４０６、Ｓ４０７）、という処理を全ての特徴量Ｖ1〜Ｖ8について行う（ステップＳ４０８）。

上記を全ての分類カテゴリについて繰り返すと（ステップＳ４０９）、４種の分類カテゴリＡ〜Ｄおよび８種の特徴量Ｖ1〜Ｖ8の全ての組み合わせについて判定が行われることになる。その結果の一例を図８に示すが、図６に示したものと同じ例であって、図６は図８に示す結果のうちカテゴリＡに関する結果のみを抽出したものに相当する。図８においても、「○」は画像Ｘの特徴量の値が典型範囲内にあって投票が行われたことを示し、「×」は典型範囲外であったことを示す。

前記したように、１つの分類カテゴリに対する得票数（○の数）が多いほど、画像Ｘが当該分類カテゴリに属する蓋然性が高いと考えられる。図８の例では、カテゴリＡ、Ｂ、ＣおよびＤの得票数がそれぞれ６、２、３および１であるから、当該画像Ｘは最も得票数の多いカテゴリＡに分類されるのが妥当と考えられる。すなわち、欠陥分類部５０３は判定部５０６による判定の結果、最も得票数の多い分類カテゴリに画像Ｘを分類する（ステップＳ４１０）。

また、第１の態様と同様に、分類されたカテゴリにおける得票数の特徴量数に対する比を分類結果の確度とすることができるが（ステップＳ４１１）、この場合、分類されなかったカテゴリ（すなわちカテゴリＢ、Ｃ、Ｄ）についても得票数が判っているので、図８に示すように、それぞれその確度を算出することが可能である。

このようにすると、分類結果の妥当性だけでなく、当該画像が他の分類カテゴリに対してどの程度類似しているかが定量的に示されるので、例えば画像の撮像条件や教師画像へのカテゴリ付与、分類アルゴリズム等の妥当性を検証する等の場合に参考情報として役立てることが可能である。

なお、本実施形態のような判定演算は、最近傍法による自動欠陥分類のアルゴリズムと似ているが、両者は以下の点で相違している。すなわち、最近傍法では特徴量空間における分類カテゴリの分布中心からの距離を当該分類カテゴリ内の分散で正規化したマハラノビス距離を用いて演算を行うため、高次の演算が必要である。また、判定にほとんど影響しない特徴量まで演算に含まれるため、特に特徴量の種類が多くなると処理時間が長大となる。これを回避するためには、事前に例えば分散分析によって判定に影響しない特徴量を排除しておく必要がある。

これに対し、本実施形態では各特徴量ごとの典型範囲との個別比較という処理で済むため、正規化処理や高次の演算が不要であり、短時間での処理が可能となっている。また、典型範囲から外れた特徴量が「投票」という処理で除外されるため、判定への影響の少ない特徴量が自動的に排除されることとなる。このように、この実施形態における確度算出処理では、簡素な演算処理によってユーザに有用な情報を算出することが可能である。

図９および図１０はこの実施形態における表示内容の例を示す図である。より具体的には、図２のステップＳ１０６において表示部５１２に表示する画像内容の例を示す図である。図９は、図３に示す学習処理を行った上で該学習に用いた教師画像について再分類を行った結果を示している。

この例では、欠陥の分類カテゴリとして、「異物」、「不良黒」、「気泡」および「不良白」の４種類を用意し、図３に示す処理で教師画像に対するカテゴリ教示および事例学習を行う。そして、学習結果に基づく図２に示す処理によって、与えられた教師画像を改めて分類する作業を行っている。分類および確度算出については、図７に示す、全ての分類カテゴリについて角度を算出する処理を採用している。

図において符号Ａを付した枠内に示すように、使用されたそれぞれの教師画像には、画像ファイル名、ユーザによる教示作業で教示された分類カテゴリ、および、学習結果に基づき欠陥分類部５０３が再分類した分類結果が付されて表示される。符号Ａの例は、当該教師画像についてユーザにより教示された分類カテゴリと欠陥分類部（ＡＤＣ）５０３が再分類した分類結果とがともに「異物」カテゴリであったことを示している。

一方、符号Ｂで示す例では、ユーザにより教示された欠陥が「気泡」カテゴリであったのに対して、欠陥分類部５０３が再分類した分類結果は「不良黒」であったことを示している。例えば教師画像についてのユーザの教示内容が不適切であった場合などに、このように教示結果と分類結果とが一致しないケースが生じる。

ここで、符号Ｃで示すように、カーソルをある教師画像に重ねると、当該画像について求められた各分類カテゴリごとの確度が表示される。この例では、各カテゴリごとの確度の値が図示された通りのものであり、そのうち最も確度の大きい「不良黒」カテゴリが欠陥分類部５０３による分類結果となっている。ただし、「異物」カテゴリにおける確度との差があまり大きくないことから、教師画像の収集や教示作業の仕方によっては「異物」カテゴリに分類されるケースもあり得る。

なお、本実施形態における各分類カテゴリの確度は、欠陥画像がその分類カテゴリに属する蓋然性の高さを分類カテゴリごとの個別演算により数値として示すものであって、画像が各分類カテゴリに属する確率を表すものではない。この意味において、各分類カテゴリの確度を合計しても必ずしも１００％にはならない。したがって、例えば２つ以上の分類カテゴリの特徴をいずれも具備する画像であれば確度の合計は１００％を超えることがある一方、いずれの分類カテゴリの特徴とも類似しない画像であれば確度の合計は１００％を大きく下回ることもある。このような数値が全て提示されることで、ユーザは分類結果がどの程度信じてよいかを把握することができ、例えば複数種類の欠陥が複合的に現れた画像や、既知の分類カテゴリのいずれにも属さない新たな欠陥を含む画像等を発見しやすくなる。

また、符号Ｄで示す領域には、多数の教師画像についての教示および分類結果の集計結果が表示されている。このような表示により、教師画像のサンプル数やそのうち教示内容と分類結果とが一致したもの、一致しなかったものがどの程度あったか等の状況が把握しやすくなる。

このように、各画像について分類結果とともに各分類カテゴリごとの確度を表示させることにより、画像を分類するためのプロセス自体の評価を行うことが可能となり、したがってこのような表示は分類アルゴリズムや教示作業の最適化を図る際に、特に有用である。

これに対し図１０は、こうして最適化された分類処理により実際に基板の評価（欠陥検出および分類）を行ったときの結果を示している。画面上部中央には、基板上で検出された欠陥の分布状況が表示されている。画面下部には検出された欠陥についてのより詳細な情報が表示されており、例えば符号Ａで示す枠内には、検出された欠陥画像それぞれを識別するために付されたＩＤ番号が表示される。また符号Ｂで示す枠内には、当該欠陥画像の分類結果とその分類結果の確度とが表示されている。この場合の確度算出は、図５に示した処理によって行われる。

このような表示を行うことによって、ユーザにとっては、検出された欠陥の種類やその分布状況が判るだけでなく、それぞれの欠陥画像の分類結果の確度が示されることで、分類の妥当性や誤検出の有無、未知の新たな欠陥の存在の可能性等を容易に認識することが可能となる。この場合、ユーザの関心は主として当該画像の分類結果とその確からしさにあるから、基本画面では該当する分類カテゴリについてのみ確度を表示し、非該当の分類カテゴリの確度についてはユーザからの要求操作があったときに表示することができるようにするのが好ましい。

以上説明したように、この実施形態では、撮像装置２が本発明の「撮像手段」として機能している。また、この実施形態では、特徴量算出部５０４および欠陥分類部５０３がそれぞれ本発明の「特徴量算出手段」および「分類手段」として機能している。また、教示部５０５と欠陥分類部５０３とが一体として本発明の「学習手段」として機能している。また、判定部５０６、演算部５０７および記憶部５１０が一体として、本発明の「確度算出手段」として機能する一方、表示部５１２が本発明の「出力手段」として機能している。また確度算出手段により算出される確度が、本発明の「確度指標」に相当している。

また、本実施形態においては、図２のステップＳ１０３、Ｓ１０４およびＳ１０６がそれぞれ本発明の「特徴量算出工程」、「分類工程」および「出力工程」に相当している。また、図３のステップＳ２０１、Ｓ２０２、Ｓ２０４およびＳ２０６がそれぞれ本発明の「画像収集工程」、「教師画像設定工程」、「学習工程」および「典型範囲設定工程」に相当している。また、図５のステップＳ３０４およびＳ３０８がそれぞれ本発明の「判定工程」および「演算工程」に相当している。

また、図５の確度算出処理においては、分類の結果によって画像が分類された分類カテゴリだけが本発明の「算出対象分類カテゴリ」に相当する一方、図７の確度算出処理においては全ての分類カテゴリが「算出対象分類カテゴリ」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記した表示画面は単なる１つの構成例を示したものにすぎず、分類結果とその確度とを組み合わせて表示する方法は上記に限定されない。また、その出力の態様は「表示」に限定されるものではない。

例えば、図１０に例示した任意の分類アルゴリズムによる分類によって行う基板検査処理に、全ての分類カテゴリを算出対象分類カテゴリとした本発明にかかる確度算出処理を組み合わせて次のようにしてもよい。すなわち、分類結果によらず全ての分類カテゴリについて確度を算出し、算出された確度が最も高い分類カテゴリと分類結果とが一致しないものがある場合、そのことを画像に表示するようにしてもよい。こうすることで、疑わしい分類結果についての確認をユーザに促すことができる。

また、上記実施形態では、各分類カテゴリごとの特徴量の典型範囲を、平均値から標準偏差の３倍までの範囲としているが、典型範囲の設定の仕方はこれに限定されない。例えば、一の特徴量について、教示された全ての教師画像の特徴量の最小値から最大値までの範囲を典型範囲としてもよい。

また、上記実施形態の検査システム１は、基板表面を撮像する本発明の「撮像手段」としての撮像装置２を含む画像分類装置であるが、撮像手段を含まず、例えば通信回線を介して他の撮像装置等から画像データを受け取って分類処理を行う画像分類装置に対しても、本発明を適用することが可能である。

また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置、光学顕微鏡と組み合わせて生体細胞を観察するための装置であってもよい。

本発明は、対象物を撮像し画像に現れた特徴により画像を分類する各種の画像分類装置、特に事例学習型の画像分類装置に対して好適に適用することができる。対象物としては、半導体基板やプリント基板等の各種基板、生体細胞など種々のものが含まれうる。

１ 検査システム（画像分類装置）
２ 撮像装置（撮像手段）
５０３ 欠陥分類部（分類手段、学習手段）
５０４ 特徴量算出部（特徴量算出手段）
５０５ 教示部（学習手段）
５０６ 判定部（確度算出手段）
５０７ 演算部（確度算出手段）
５１０ 記憶部（確度算出手段）
５１２ 表示部（出力手段）
Ｓ１０３ 特徴量算出工程
Ｓ１０４ 分類工程
Ｓ１０６ 出力工程
Ｓ２０１ 画像収集工程
Ｓ２０２ 教師画像設定工程
Ｓ２０４ 学習工程
Ｓ２０６ 典型範囲設定工程
Ｓ３０４ 判定工程
Ｓ３０８ 演算工程

Claims (10)

1. 画像の特徴を示す複数種の特徴量を算出する特徴量算出手段と、
   前記画像を、前記特徴量に基づいて複数の分類カテゴリのいずれかに分類する分類手段と、
   算出処理の対象となる前記画像である一の算出対象画像と、前記分類カテゴリのうち一の算出対象分類カテゴリとの組み合わせについて、当該算出対象画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標を算出する確度算出手段と、
   前記分類手段による分類結果と、前記確度算出手段による算出結果とを関連付けて報知出力する出力手段と
   を備え、
   前記確度算出手段は、
   前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を記憶する記憶部と、
   前記算出対象画像を表す前記複数種の特徴量の各々について、当該特徴量の値が、前記算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定手段と、
   前記複数種の特徴量の種類数に対する、前記判定手段において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を前記確度指標として出力する演算部と
   を備えることを特徴とする画像分類装置。
2. 前記複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記複数の分類カテゴリに対応する学習データを作成する学習手段を備え、
   前記分類手段は、該学習データに基づき前記画像を分類する請求項１に記載の画像分類装置。
3. 前記学習手段は、前記事例学習の結果に基づいて前記典型範囲を設定し前記記憶部に記憶させる請求項２に記載の画像分類装置。
4. 前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の分散に基づいて、当該特徴量についての前記典型範囲を設定する請求項３に記載の画像分類装置。
5. 前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の平均値と標準偏差とを求め、前記平均値を中心とする前記標準偏差に基づいて定めた範囲を、当該特徴量についての前記典型範囲とする請求項３または４に記載の画像分類装置。
6. 前記出力手段は、前記分類手段が分類対象とする一の前記画像について、当該画像が分類された前記分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された前記確度指標とを関連付けて報知出力する請求項１ないし５のいずれかに記載の画像分類装置。
7. 前記画像を撮像する撮像手段を備える請求項１ないし６のいずれかに記載の画像分類装置。
8. 教師画像を用いた事例学習を行う学習手段と、分類アルゴリズムを実行する分類手段と、ユーザへの報知出力を行う出力手段とを備えるコンピュータが、画像を分類する画像分類方法において、
   前記コンピュータが、
   複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記学習手段が複数の分類カテゴリに対応する学習データを作成する学習工程と、
   前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を、前記学習工程の結果に基づき設定する典型範囲設定工程と、
   前記画像について、前記複数種の特徴量を算出する特徴量算出工程と、
   算出された前記特徴量に基づいて、前記分類手段が前記画像を前記複数の分類カテゴリのいずれかに分類する分類工程と、
   前記画像について算出された前記複数種の特徴量の各々について、当該特徴量の値が、前記複数の分類カテゴリのうち一の算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定工程と、
   前記複数種の特徴量の種類数に対する、前記判定工程において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を当該画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標とする演算工程と、
   前記出力手段が前記分類工程における分類結果と、前記演算工程において算出された前記確度指標とを関連付けて報知出力する出力工程と
   を実行することを特徴とする画像分類方法。
9. 前記複数の分類カテゴリのうち、前記分類工程において当該画像が分類された分類カテゴリを前記算出対象分類カテゴリとする請求項８に記載の画像分類方法。
10. 基板の欠陥を撮像した複数の画像を収集する画像収集工程と、
    欠陥の種別を表す前記分類カテゴリごとに、収集された前記画像の少なくとも１つを当該分類カテゴリに対応する前記教師画像として設定する教師画像設定工程と
    をさらに備え、
    前記学習工程では、前記教師画像設定工程で設定された前記教師画像を用いて事例学習を行う請求項８または９に記載の画像分類方法。

Images