JP2011179987A - 残留物測定方法及び残留物測定装置 - Google Patents

Abstract

【課題】 小さなサイズの残留物から大きなサイズの残留物まで様々なサイズの残留物を同時に検出することが可能な画像処理を行うことで測定精度を向上させた残留物測定方法を提供する。
【解決手段】
濾過フィルタ上の残留物 (屑や粉等)を撮像し、取得した画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。
【選択図】 図４

Description

本発明は、洗浄したワークに残留した残留物(屑や粉等)を測定評価する残留物測定方法及び残留物測定装置に関する。

自動車、航空機、産業機械等に用いられる機械部品や、テレビ、パソコン、携帯電話等に用いられる半導体基板等の電子部品は加工段階では一般にワークと称されており、これらワークの加工の際にはワーク自体から屑や粉等が発生することがあり、加工ツール等からの異物がワークに付着することがある。このような場合、ワークを洗浄して残留物(屑や粉等)を除去してから次工程で取り扱うこととなる。

しかし、洗浄条件が不十分（不適切）な場合、洗浄後のワークに残留物(屑や粉等)が基準値を超えて付着していることがある。そこで、ワークを洗浄後、洗浄したワークに残留した残留物(屑や粉等)を洗浄液で洗い落として当該洗浄液をフィルタにて濾過することで当該フィルタに前記残留物を付着させて乾燥させた後、当該フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法や残留物測定装置が知られている（特許文献１から４）。

前記フィルタの素材としては、セルロース、ポリカーボネート、ガラス繊維、濾紙、高分子膜等が挙げられ、金属屑（金属片）や金属粉を検査するためのフィルタの外観は主として白色または白色に近い色合いを呈している。
前記残留物(屑や粉等)の素材としては、金属、樹脂、セラミックス等が挙げられるが、機械加工が施された金属製ワークに付着した残留物の大半は金属屑（金属片）や金属粉である。

前記残留物のサイズや材質等を推定することは、ワークの洗浄品質管理上、非常に重要な検査作業である。しかしながら、前記フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行う場合、撮像素子の特性やレンズ収差、照明の不均一性等の影響によって、取得した残留物を含む画像データに輝度ムラが生じ易く、個々の残留物のサイズや材質が推定し難い。このため、従来、各種の取り組みがなされている。

特許文献１には、付着物を有するフィルタの乾燥重量から、フィルタ自体の乾燥重量を減算して付着物の総重量を求めるとともに、撮像カメラにて撮像した個々の付着物の画像データを所定の算出手段で求めたサイズの大きい順に整列した表を作成し、ワークの清浄度を判定するとの記載がある。

特許文献２には、異物が付着したフィルタを分光カメラにて撮像し、取得した画像データからの色情報に基づき異物の分類を行うことが記載されている。

特許文献３には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理を施して各付着物のイメージデータの対応する画素に着色処理し、各付着物に対応した長さと面積を求め、レーザ式変位センサによって前記各付着物に対応した高さを求めて、各付着物の体積を算出することが記載されている。

特許文献４には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理と平滑化処理を施して各付着物のイメージデータからＲＧＢデータを抽出し、ＨＳＶデータに変換して、既知のサンプルデータとのパターンマッチングをとることが記載されている。

特許第３９６７８１３号公報 特開２００８−１４６５２号公報 特開２００９−１５０６７３号公報 特開２００９−１９８４１４号公報

フィルタに付着した残留物(屑や粉等)の個々のサイズは、実際には、小さなサイズの残留物（粉）から大きなサイズの残留物（屑）まで様々である。しかしながら、既知の画像処理方法ではその処理方法に起因して、例えばその長さが数μｍ〜数十μｍ程度又は測定装置の分解能レベルの小さなサイズの残留物（粉）のイメージデータを取得しようとすると大きなサイズの残留物（屑）のイメージデータに欠損が生じ易く、大きなサイズの残留物（屑）のイメージデータを取得しようとすると小さなサイズの残留物（粉）のイメージデータが消失し易いという欠点がある。このため、既知の画像処理方法では、小さなサイズの残留物（粉）と大きなサイズの残留物（屑）を同時に検出することができず、このことが影響し、個々の残留物のサイズや材質が推定し難く、測定精度が高いとはいい難い。このように小さいもの（粉）から大きなもの（屑）まで様々な残留物を個別に精度良く検査しようとする場合には、依然として、顕微鏡やＣＣＤカメラ等によって検査員が直接、個々の残留物を目視確認してそのサイズや材質等を推定しているのが現状である。

そこで本発明の目的は、小さなサイズの残留物（粉）から大きなサイズの残留物（屑）まで様々なサイズの残留物を同時に検出することが可能な画像処理を行うことで測定精度を向上させた残留物測定方法及び残留物測定装置を提供することにある。

本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。ここで、カラーは複数の色やその濃淡、色合い等で画像を表す様式であり、モノクロは、主に白黒の単色ないしその濃淡（グレースケール）で画像を表す様式である。

本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。

本発明では、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに適宜、既知の画像処理（差分処理、二値化処理、マスキング処理、エッジ検出処理等のいずれか１種以上の画像処理）を行い、前記画像データを分岐させる。そして、前記分岐した画像データのうち少なくとも１つの画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行う。これと平行して、残りの画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。ここで、所定サイズの前記残留物とは、例えばその長さが数μｍ〜数十μｍ程度又は測定装置の分解能レベルのサイズを意味する。

そして、前記特徴抽出においては、前記残留物の検出の抜けをなくすため、所定サイズの前記残留物を検出するための画像処理領域の画素サイズをＰ以下とし、前記所定サイズよりも大きなサイズの前記残留物を検出するための画像処理領域の画素サイズをＱ以上とし、当該Ｑを前記Ｐよりも小さい値に設定する（Ｑ＜Ｐ）。そして引き続き、これら特徴抽出された画像処理領域同士を結合処理する。したがって、本発明によれば、小さなサイズの残留物（粉）から大きなサイズの残留物（屑）まで様々なサイズの残留物を同時に検出する。

ここで、オープニング処理とは、画素領域に対してn回収縮処理を行った後，n回膨張処理を行い（ｎは自然数）、主にノイズを除去するための処理である。また、クロージング処理とは、画素領域に対してn回膨張処理を行った後，n回収縮処理を行い（ｎは自然数）、主に欠損（カケ）を繋げるための処理である。そして、ラベリング処理とは、画素領域の連結成分を計算し、各領域を分割して番号付けする処理である。

本発明は、前記前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする。

本発明によれば、ノイズを除去するとともに、カケを繋げることで、前記所定サイズよりも大きなサイズの残留物の輪郭がより明確になる。

本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。

本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。

本発明によれば、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理することで、得られた画像内の輝度ムラを最小とする。

その後、本発明では、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行う。これと平行して、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理する。

ここで、動的二値化処理とは、画像内に輝度ムラがある場合に、閾値を固定せずに、画素ごとに閾値を求めて二値化処理する方法である。

本発明によれば、前記残留物の色調（色の濃淡、明暗、強弱等）が一定ない場合であっても、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。また例えば前記残留物の表面の一部が鏡面となっている場合には、この鏡面にて照明光が反射されて白色に見えることで、前記残留物内に白く見える部分と黒く見える部分ができることがあるが、前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。

本発明は、前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、ＲＧＢ分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする。

本発明によれば、前記残留物の材質を推定することができ、ＲＧＢ分割処理とカラー空間変換処理を併用することで推定精度を高められる。

ここで、ＲＧＢ分割処理とは、Red（赤色）、Green（緑色）、Blue（青色）の色情報ごとに画素解析するものであり、カラー空間変換処理とはＲＧＢ以外のカラー空間に変換するものであり、カラー空間としては、ＹＩＱ、ＹＵＶ、ＡＲＧＹＢ、ＣＩＥＸＹＺ、ＨＬＳ、ＨＳＩ、ＩＨＳ、ＩＳＦＥＵＫＬＩＤ、ＩＳＦＤＩＦＦ、ＣＩＥＬＡＢ、ＩＬＩ２Ｉ３、ＣＩＥＸＹＺ２、ＣＩＥＸＹＺ３、ＣＩＥＸＹＺ４等が挙げられる。特にＨＳＩ、ＩＨＳ、ＩＳＦＥＵＫＬＩＤは、異なる金属材質間での特性の差異が大きくなることから、前記残留物が金属材質である場合には、材質の正答率が高くなる。

本発明の残留物測定装置は、前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする。

本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。

本発明によれば、小さなサイズの残留物（粉）から大きなサイズの残留物（屑）まで様々なサイズの残留物を同時に検出する。本発明によれば、得られた画像内の輝度ムラを最小とし、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせ、また例えば前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。

本発明によれば、前記残留物の材質を推定することができ、ＲＧＢ分割処理とカラー空間変換処理を併用することで推定精度を高められる。本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のイメージデータから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。

これら本発明によって、小さなサイズの残留物（粉）から大きなサイズの残留物（屑）まで様々なサイズの残留物を同時に自動検出することができ、従来よりも測定精度の高い残留物測定装置が実現する。

本発明を適用した実施形態の残留物測定手順を例示するフローチャート図である。 上記実施形態の残留物測定手順の他の例を示すフローチャート図である。 上記実施形態の残留物測定手順の他の例を示すフローチャート図である。 上記実施形態の残留物測定手順の他の例を示すフローチャート図である。 本発明を適用した実施形態の残留物測定装置を示す斜視図である。 上記実施形態の残留物測定装置のシステム構成を示すブロック図である。 上記実施形態のフィルタを示す模式図であり、（ａ）は残留物が付着していない状態の図であり、（ｂ）は残留物が付着している状態の図である。 上記実施形態の残留物測定結果の表示画面を例示する図である。 上記実施形態の残留物が付着したフィルタの画像データを示す図であり、（ａ）は差分処理前の図であり、（ｂ）は差分処理後の図である。 上記実施形態の残留物が付着したフィルタの画像データと照明強さとの関係を示す図である。 上記実施形態の残留物が付着したフィルタの画像データを示す図であり、（ａ）は処理前の画像データを示す図であり、（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、（ｃ）は動的二値化処理を行った状態の画像データを示す図である。 上記実施形態の残留物の色調が一定でないときの画像データを示す図であり、（ａ）は処理前の画像データを示す図であり、（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、（ｃ）は動的二値化処理を行った状態の画像データを示す図である。 上記実施形態の残留物の輝度が一定でないときの画像データを示す図であり、（ａ）は処理前の画像データを示す図であり、（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、（ｃ）は動的二値化処理を行った状態の画像データを示す図である。 上記実施形態にてＲＧＢ分割処理したときの残留物の材質による赤色度と緑色度との関係を示す散布図である。 上記実施形態にてＩＨＳ変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。 上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。

本発明を実施するための最良の形態を以下に説明する。

（本発明の残留物測定方法）
本発明を適用した実施形態の残留物測定手順を例示するフローチャートを図１に示す。本実施形態の残留物測定手順は、上流から順に、差分処理（符号Ｓ１）、動的二値化処理（符号Ｓ２）、ラベリング処理（符号Ｓ３）の順で画像処理が施される。

本実施形態では、機械部品をワークとし、洗浄装置によって自動洗浄されたワークに残留した残留物(屑や粉等)９０をマニュアル作業で洗い落として当該洗浄液を白色系の濾過フィルタ２にて濾過することで当該フィルタ２に残留物９０を付着させて乾燥させた後、当該フィルタ上の残留物９０を撮像手段１０４にて撮像し、取得した残留物９０を含む画像データに画像処理を行うことで残留物９０のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法を例として、図１に示すフローチャートに沿って前記フィルタ上の残留物測定手順を以下に説明する。

本実施形態では、残留物９０を付着させる前のフィルタ２（図７（ａ）を参照）を撮像カメラ１０４にて所定の照明条件にて上方から撮像して背景画像データを取得したものを予め準備しておき（符号Ｓ１０）、次に、前記フィルタ２上の残留物９０（図７（ｂ）を参照）をフィルタ２と一緒に撮像カメラ１０４にて前記照明条件と同じ照明条件にて上方から撮像して前記残留物を含む画像データを取得し（符号Ｓ１１）、前記背景画像データと前記残留物を含む画像データとを差分処理する（符号Ｓ１２）。

図９は、残留物が付着したフィルタ２の画像データを示す図であり、図９（ａ）は差分処理前の図であり、図９（ｂ）は差分処理後の図である。撮像カメラによって撮像された画像は、一般に、画像中央部が明るくなり、画像周辺部が暗い状態となる（図９（ａ））。そこで、残留物の無いフィルタ２（例えば未使用のフィルタ）を撮像カメラ１０４にて所定の照明条件下で撮像して背景画像データを取得したものを予め準備しておき（符号Ｓ１０）、次に、残留物９０が付着したフィルタ２を撮像カメラ１０４にて前記照明条件と同じ照明条件下で撮像して前記残留物を含む画像データを取得し（符号Ｓ１１）、前記残留物を含む画像データから前記背景画像データを差し引くことで（符号Ｓ１２）、得られた画像内の輝度ムラを最小とする。

前記残留物９０が金属材質である場合、特にアルミニウム、スズ、亜鉛、銀等は白色系の色合いを呈しその表面に光沢があり、表面の一部が鏡面となっていることなどから照明の光を強く反射してハレーションが起きてしまうことがある。このような場合には照明を弱くして撮影し直す必要があるが、例えば前記背景画像データが強い照明でしか取得されていないときには、残留物９０が付着したフィルタ２を撮像する際に照明の強さを弱くすると、差分処理後の画像が著しく暗くなってしまう。
そこで、図１０の（ａ１）、（ａ２）、（ａ３）に示すように、例えば照明強さを１００％、８０％、６０％というように複数の照明条件下にて前記背景画像データを複数枚ずつ取得してそれぞれの条件ごとに平均化した画像データを予め準備しておき、残留物９０が付着したフィルタ２を撮像する際に先ほどの照明の強さと対応した適切な照明強さで撮像し、差分処理を行う。つまり、例えば残留物９０が付着したフィルタ２を撮像する際に照明強さを８０％とした場合には、図１０（ａ２）の背景画像データを使用して減算処理を行い図１０（ｂ２）の画像データを得る。減算処理は画素ごとのグレイ値に対して差分処理され、また、減算の結果、出力値が輝度値の上限値を超えるか、輝度値の下限値を下回ると、その出力値は切除される。本実施形態によれば、照明強さを変更しても均一な画像を得ることができる。

そして、差分処理（符号Ｓ１）に引き続いて、動的二値化処理（符号Ｓ２）を行う。動的二値化処理は、前記差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する第１の平均化処理を施して平均化画像を作成し（符号Ｓ２１１）、作成した平均化画像を閾値画像として動的二値化処理を行い（符号Ｓ２１２）、これと平行して、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する第２の平均化処理を施して平均化画像を作成し（符号Ｓ２２１）、作成した平均化画像を閾値画像として動的二値化処理を行い（符号Ｓ２２２）、引き続き、これら動的二値化処理された画像領域同士を結合処理する（符号Ｓ２３）。

前記差分処理によって得られた画像内の輝度ムラは小さくなるが、完全には除去しきれない。また、金属屑などの残留物は、色調（色の濃淡、明暗、強弱等）が一定せず、材質によっても色調が異なる。そこで本実施形態では、動的二値化処理を行うこととした。一般に、画像は中央付近の輝度が高く（明るく）、額縁部分（左端付近や右端付近）の輝度が低い（暗い）ため、閾値を固定せずに、原画像から平均化画像を閾値画像として差し引き、差し引いた後の画像について所定のオフセット値を指定し、オフセットすることで、二値化処理する。
平均化画像を準備する詳細な手順としては、入力画像の全てのグレイ値を用いて線形の平滑化処理を実行し、輝度値の暗い領域と輝度値の明るい領域とで別個のマスクサイズを設けて平均化画像を準備する。輝度値の暗い領域でのマスク幅は、輝度値の明るい領域でのマスク幅よりも大きく設定する。また、輝度値の暗い領域でのオフセット値は、輝度値の明るい領域でのオフセット値よりも大きく設定する。そして、動的二値化処理によって別個に検出した輝度値の暗い領域と、輝度値の明るい領域とを重ね合わせ、その和を計算により求める。

図１１は、残留物が付着したフィルタの画像データであり、画像内に輝度ムラがある場合の画像処理結果を比較した図である。図１１（ａ）は処理前の画像データを示す図であり、図１１（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、図１１（ｃ）は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、輝度の低い額縁部分（左端付近や右端付近）を誤検出してしまい、残留物９０との区別がつかない領域が少なからずある。いっぽうで本実施形態の動的二値化処理を行った場合には、輝度の低い額縁部分（左端付近や右端付近）であっても、残留物９０を正確に検出できる。

図１２は、色調が一定でない残留物の画像データを示す図であり、図１２（ａ）は処理前の画像データを示す図であり、図１２（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、図１２（ｃ）は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、色合いが薄くなっている残留物９０の輪郭部分は検出できていないが、本実施形態の動的二値化処理を行った場合には、色合いが薄くなっていても残留物９０の輪郭部分が正確に検出できている。

図１３は、輝度が一定でない残留物の画像データを示す図であり、図１３（ａ）は処理前の画像データを示す図であり、図１３（ｂ）は既知の静的二値化処理を行った状態の画像データを示す図であり、図１３（ｃ）は動的二値化処理を行った状態の画像データを示す図である。例えば残留物９０がアルミニウム、スズ、亜鉛、銀等の白色系の金属材料であり、表面の一部が鏡面となっている場合には、同一の残留物９０内であっても、照明の光を強く反射して白く見える箇所（白っぽく見える箇所）と、照明の光をあまり反射せず黒く見える箇所（黒っぽく見える箇所）とが混在していることがある。 この場合には、１つの平均化画像とオフセット値を設定するだけでは、正確に残留物９０の輪郭を検出することができない。
そこで、本実施形態では、残留物９０の白く見える箇所に合わせた平均化画像とオフセット値とを設定し、かつ、残留物９０の黒く見える箇所に合わせた平均化画像とオフセット値とを設定し、検出したこれらの画像データを重ね合わせている。本実施形態の動的二値化処理を行った場合には、同一の残留物９０に白く見える箇所と黒く見える箇所とが混在していても残留物９０の輪郭部分が正確に検出できている。
これら本実施形態によれば、前記残留物の色調（色の濃淡、明暗、強弱等）に応じて適切な処理が行われるので、画像内に輝度ムラがあったとしても前記残留物のみを確実に検出する。

そして、動的二値化処理（符号Ｓ２）に引き続いて、ラベリング処理（符号Ｓ３）を行う。ラベリング処理は、前記結合させた画像データを分岐させて、分岐した画像データのうち１つの画像データに対して直ちにラベリング処理（符号Ｓ３１３）を施して前記残留物の第１の特徴抽出（符号Ｓ３１４）を行い、これと平行して、残りの画像データに対して順番にオープニング処理（符号Ｓ３２１）、クロージング処理（符号Ｓ３２２）、ラベリング処理（符号Ｓ３２３）を連続的に施して第２の特徴抽出（符号Ｓ３２４）を行う。そして、これら特徴抽出された画像処理領域同士を結合処理する（符号Ｓ３３）。このとき、第１の特徴抽出（符号Ｓ３１４）で検出する画像処理領域の画素サイズをＰ以下とし、第２の特徴抽出（符号Ｓ３２４）で検出する画像処理領域の画素サイズをＱ以上とし、当該Ｑを前記Ｐよりも小さい値（Ｑ＜Ｐ）に設定する。

第１の特徴抽出（符号Ｓ３１４）では、検出する画像処理領域の画素サイズをＰ以下とし、サイズの小さい残留物を確実に検出する。残留物の面積を画素サイズで表したＰの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。これと平行して、順番にオープニング処理（符号Ｓ３２１）、クロージング処理（符号Ｓ３２２）、ラベリング処理（符号Ｓ３２３）、第２の特徴抽出（符号Ｓ３２４）を連続的に行う。オープニング処理（符号Ｓ３２１）では、画素領域に対して、ノイズ、小さな穴、凸凹を除去する。また、クロージング処理（符号Ｓ３２２）では、欠損（カケ）や切れている箇所を繋げ、小さな穴を埋める。第２の特徴抽出（符号Ｓ３２４）では、検出する画像処理領域の画素サイズをＱ以上とし、サイズの大きい残留物の輪郭をはっきりとさせて確実に検出する。残留物の面積を画素サイズで表したＱの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。このとき、残留物９０の検出の抜けをなくすため、Ｑ値をＰ値よりも小さい値に設定する（Ｑ＜Ｐ）。そして、これら特徴抽出された画像処理領域同士を結合処理し（符号Ｓ３３）、サイズの小さい残留物（粉）からサイズの大きい残留物（屑）までを同時に検出する。

そして、前記画像処理領域同士の結合処理（符号Ｓ３３）に引き続いて、再度のラベリング処理（符号Ｓ４）を行い、検出された残留物の番号付けを行う。そして、再度のラベリング処理（符号Ｓ４）に続いて、順番に、ＲＧＢ分割処理（符号Ｓ５）、カラー空間変換処理（符号Ｓ６）を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較し（符号Ｓ７）、その結果を表示する（符号Ｓ８）。

ここで、ＲＧＢ分割処理（符号Ｓ５）は、Red（赤色）、Green（緑色）、Blue（青色）の色情報ごとに画素解析するものであり、前記残留物が金属材質である場合には、カラー空間変換処理（符号Ｓ６）は、ＨＳＩ、ＩＨＳ、ＩＳＦＥＵＫＬＩＤのいずれか１種以上のカラー空間に変換処理することで、材質の正答率を高くすることができる。

ＲＧＢ分割処理（符号Ｓ５）の詳細な手順としては、検出された残留物の領域において、誤差を減らすために外側の輪郭部分を僅かに（数ピクセル以下で）除去した内部領域のＲＧＢ各々の輝度平均値を取得し、取得した輝度平均値をＲ、Ｇ、Ｂの三要素に分割し、ＲＧＢ成分の各平均値を求める。この平均値に基づき既知の計算式によって他のカラー空間に変換し、複数種類のカラー空間で比較を行う。例えば分割したＲＧＢ平均値をもとにＩＨＳ空間に変換し、Ｉ（明度）、Ｈ（色調）、Ｓ（飽和度）の値を取得し、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物がどのような材質であるかの推定をより正確に行うことができる。

例えば、算出したＲＧＢ平均値が、Ｒ＝１５８．７８３３、Ｇ＝１４８．６１４７、 Ｂ＝１４３．４９７であったとすると、既知の計算式によってＩＨＳ空間に変換した値は、Ｉ＝１４９．９６６、Ｈ＝７４．５６３、Ｓ＝１７．９２７となり、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物の材質が鉄であることが推定できる。

図１４は、本実施形態にてＲＧＢ分割処理したときの残留物の材質による赤色度と緑色度との関係を材料データベースとして例示する散布図であり、図の横軸がRed（赤色）であり、図の縦軸がGreen（緑色）である。図１４に示す散布図では、アルミニウムの打点と、鉄の打点と、銅の打点は互いに近接しており、区別し難い。
図１５は、本実施形態にてＩＨＳ変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。図１５に示す散布図によれば、アルミニウムの打点と、鉄の打点と、銅の打点とが離れた位置にあるため区別し易い。
本実施形態によれば、ＲＧＢ分割処理とカラー空間変換処理を併用することで前記残留物の材質の推定精度を高められる。

本発明の実施形態の残留物測定手順としては図１に示すフローチャートに限定されず、例えば図１以外にも図２ないし図４のフローチャートに示す残留物測定手順が挙げられる。同一の符号は同じ機能処理であることからそれらの説明を省略しつつ、図２から図４に示すフローチャートについて、図１との相違について以下に説明する。

図２に示すフローチャートは、ラベリング処理（符号Ｓ３）において、多分岐処理を行っている点が図１と相違する。つまり、符号Ｓ２にて動的二値化処理して結合させた画像データを分岐させて、分岐した画像データのうち１つの画像データに対して直ちにラベリング処理（符号Ｓ３１３）を施して前記残留物の第１の特徴抽出（符号Ｓ３１４）を行い、これと平行して、残りの画像データに対してオープニング処理（符号Ｓ３２１）を行い、オープニング処理（符号Ｓ３２１）した画像データを分岐させて、分岐したオープニング処理画像データのうち１つの画像データに対して直ちにラベリング処理（符号Ｓ３３３）を施して前記残留物の第３の特徴抽出（符号Ｓ３３４）を行い、これと平行して、残りのオープニング処理画像データに対してクロージング処理（符号Ｓ３２２）とラベリング処理（符号Ｓ３２３）と第２の特徴抽出（符号Ｓ３２４）を行い、引き続き、これら特徴抽出された画像処理領域同士を結合処理する（符号Ｓ３３）。このとき、第１の特徴抽出（符号Ｓ３１４）で検出する画像処理領域の画素サイズをＰ以下とし、第２の特徴抽出（符号Ｓ３２４）で検出する画像処理領域の画素サイズをＱ以上とし、第３の特徴抽出（符号Ｓ３３４）で検出する画像処理領域の画素サイズをＴ以上とし、前記Ｑを前記Ｐよりも小さい値（Ｑ＜Ｐ）に設定し、かつ、前記Ｔを前記Ｑよりも小さい値（Ｔ＜Ｑ）に設定する（Ｔ＜Ｑ＜Ｐ）。これら特徴抽出された画像処理領域同士を結合処理し（符号Ｓ３３）、サイズの小さい残留物からサイズの大きい残留物までの検出力がさらに高くなることが期待できる。

図３に示すフローチャートは、背景画像データ取得（図１の符号Ｓ１０）と差分処理（図１の符号Ｓ１２）を省いたものであり、例えば、背景画像データがない場合の残留物測定手順を示している。

図４に示すフローチャートは、例えば、背景画像データや材質データベースがない場合の残留物測定手順を示している。

（本発明の残留物測定装置）
本発明を適用した実施形態の残留物測定装置を示す斜視図を図５に示す。本実施形態の残留物測定装置１は、上述した実施形態の残留物測定方法を適用した装置であり、本体１０１の正面側にフィルタをセットし出し入れするためのトレイ１０３と、トレイ開閉ボタン１０４が配されている。コンピュータ７は本体１０１に内蔵され、ディスプレイ１０５とキーボードやマウス等の入力手段１０６が本体１０１横に付設されたテーブル上に配されている。

図６は、本実施形態の残留物測定装置１のシステム構成を示すブロック図であり、フィルタ２を載置するステージ３１と、フィルタ２の上方に配されて照明を当てる照明ランプ４１と、フィルタ２上の残留物９０を上方から撮像する撮像カメラ１０４とが本体１０１内の上部側に配置され、ステージ３１を左右（Ｘ）、前後（Ｙ）、上下（Ｚ）に可動する制御器３２と、照明ランプ４１の照明強さを可変する調光器４２と、これらを制御するコンピュータ７と当該コンピュータ７上で動作し前記画像データを画像処理する画像処理ソフトウエア５と前記画像データを蓄積するデータベース８と、コンピュータ７上で動作し制御器３２と調光器４２とを制御する制御ソフトウエア６とが本体１０１内の下部側に配置されている。撮像カメラ１０４からの信号はコンピュータ７に取り込まれて、画像処理ソフトウエア５によってデータ処理され、データベース８に蓄積される。ここで、符号１０７はプリンタやプロッタ等の印刷手段である。本実施形態では、照明ランプ４１はリング型であるが、スポットライト型とすることも可能である。

図８は、本実施形態の残留物測定結果の表示画面を例示する図であり、符号２０１は残留物９０が付着したフィルタ２を撮像した画像データを示しており、符号２０２は選択した領域の拡大画像であり、符号２０３は選択した領域のサムネイル画像であり、符号２０４は個々の残留物９０の最大長、短軸長、面積、推定材質等のデータ一覧表であり、符号２０５はサイズごとの残留物の度数分布グラフである。

本実施形態によれば、サイズの小さい残留物（粉）からサイズの大きい残留物（屑）までを同時に自動検出し、測定評価結果を瞬時に画面表示することができる。

図１６は上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。本実施形態では、ステージ３１上に柱３４が立設固定され、フィルタ２上の残留物９０を上方から撮像する撮像カメラ１０４が柱３４の横から伸びたアームに取り付けられており、かつ、上方からフィルタ２上の残留物９０の高さを計測するレーザ変位計３５が柱３４の横から伸びたアームに取り付けられて撮像カメラ１０４の視野外となる位置に配されている。そして、レーザ変位計３５はガントリー型ＸＹＺステージによって左右（Ｘ）、前後（Ｙ）、上下（Ｚ）に可動し、制御器３３を介して、コンピュータ７上で動作し制御ソフトウエア６にて制御される。撮像カメラ１０４やレーザ変位計３５からの信号は制御器３３を介してコンピュータ７に取り込まれて、画像処理ソフトウエア５によってデータ処理され、データベース８に蓄積される。図１６では、撮像カメラ１０４とレーザ変位計３５とが１本の柱に取り付けられているが、撮像カメラ１０４とレーザ変位計３５とが別個の柱に取り付けられている形態としても構わない。

本実施形態によれば、前記残留物９０の高さ寸法が計測されるので、残留物９０のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、残留物９０の体積データと候補材質の密度とを掛け合わせることで残留物９０の重量を個別に算出することができる。

以上、本発明は、上述した実施の形態に限定されるものではない。フィルタを照らす照明は上方からのみならず多角度的に照明を当ててもよく、背景画像データは、照明強さのみならず、照明の色調を変更した複数種類の背景画像データを準備することができる。ラベリング処理の前段階にて既知の画像処理（マスキング処理、エッジ検出処理等）を行うことは当然にできる。前記残留物のイメージデータは、カラーイメージに限定されるものではなく、白黒イメージやグレースケールに置き換えることも可能である。このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。

１ 残留物測定装置、
２ フィルタ（濾過フィルタ）、
５ 画像処理ソフトウエア、
７ コンピュータ、
９０ 残留物

Claims (9)

1. 濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
   前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定方法。
2. 濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
   前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定方法。
3. 前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項１または２に記載の残留物測定方法。
4. 前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、ＲＧＢ分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項１ないし３のいずれか一項に記載の残留物測定方法。
5. 濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
   前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定装置。
6. 濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物の又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
   前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Ｊとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Ｋとし当該ＫとＪはＪ＜Ｋの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをＰ以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか１種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをＱ以上とし当該ＱとＰはＱ＜Ｐの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定装置。
7. 前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項５または６に記載の残留物測定装置。
8. 前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、ＲＧＢ分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項５ないし７のいずれか一項に記載の残留物測定装置。
9. 前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする請求項５ないし８のいずれか一項に記載の残留物測定装置。
   

Images