JP2018173328A - 粉塵の種類判別方法、装置及びプログラム - Google Patents

Abstract

【課題】画像処理を用いた手法により、粉塵の種類を簡易かつ迅速に判別できるようにする。【解決手段】抽出部１０２は、入力部１０１で入力したカラー画像（明視野写真及び偏光写真）上の観察対象領域から、エッジ検出処理等により粒子部分を抽出する。特徴量生成部１０３は、特徴量として、粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖそれぞれの平均値を生成する。また、特徴量生成部１０３は、特徴量として、粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を生成する。判別部１０４は、特徴量生成部１０３で生成した複数の特徴量に基づいて、抽出部１０２で抽出した粒子部分の粉塵の種類を判別する。判別部１０４による粉塵の種類の判別には、粉塵の種類が既知であるサンプル画像を用いて学習させた判別モデルを用いる。【選択図】図１

Description

本発明は、例えば製鉄所で捕集した粉塵の種類を判別するのに利用して好適な粉塵の種類判別方法、装置及びプログラムに関する。

例えば製鉄所のように粉塵の発生源を複数持つ工場においては、粉塵の飛散防止対策のために、製鉄所由来の粉塵と外部環境由来の粉塵とを区別し、さらには製鉄所由来でもどの工程由来の粉塵であるかを調べることが重要となる。そのため、製鉄所で粉塵を捕集して、そこに含まれる粉塵の種類を判別することで、どの工程で発生したものであるか等の分析を行う必要がある。
粉塵の種類の判別は、従来より顕微鏡による目視観察で行なわれているが、観察結果を得るまでに時間がかかるとともに、観察者の熟練度によって観察結果がばらついてしまうおそれがある。

そこで、粉塵の種類の判別を自動化する画像処理を用いた手法が望まれている。
特許文献１には、透過光を用いて微粒子群を撮像した透過光画像と、反射光を用いて微粒子群を撮像した反射光画像とに基づき、粒子の明度を識別する手法が開示されている。粒子の明度を識別することにより、鉄系煤塵および石炭系煤塵からなる微粒子群と、高炉スラグ系煤塵および製鋼スラグ系煤塵からなる微粒子群とを識別することができる。
また、特許文献２には、カラー画像をもとに、黒色系の粉塵を石炭あるいはコークスの粉塵と判別し、赤色系の粉塵を鉄鉱石あるいは焼結石の粉塵と判別する手法が開示されている。

特許第５４３４７３４号公報 特許第５４７７１０２号公報

しかしながら、特許文献１、２の手法では、画像処理により、石炭系粒子（石炭やコークス）か、鉄系粒子（鉄鉱石や焼結鉱）かといった大まかな種類の判別は可能であるが、石炭であるのか、コークスであるのか、鉄鉱石であるのか、焼結鉱であるのかといった個別の種類を判別するには至っていない。
なお、特許文献１では、粒子の明度だけでは大まかな種類の判別となることから、さらに着磁性の有無に着目し、明度の高低と着磁性の有無との組み合わせにより、石炭系煤塵、鉄系煤塵、高炉スラグ系煤塵及び製鋼スラグ系煤塵の４種類に判別するようにしている。しかしながら、画像処理とは別途、着磁性／非着磁性を識別する必要があり、手間がかかってしまう。

本発明は上記のような点に鑑みてなされたものであり、画像処理を用いた手法により、粉塵の種類を簡易かつ迅速に判別できるようにすることを目的とする。

上記の課題を解決するための本発明の要旨は、以下のとおりである。
［１］ 粉塵の種類を判別する粉塵の種類判別方法であって、
粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成手順と、
前記特徴量生成手順で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別手順とを有し、
前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とする粉塵の種類判別方法。
［２］ 前記所定の色空間はＨＳＶ色空間であり、その構成要素は色相、彩度、及び明度であることを特徴とする［１］に記載の粉塵の種類判別方法。
［３］ 前記特徴量生成手順では、前記特徴量として、前記粒子部分の色相の値、彩度の値、及び明度の値うち少なくとも２以上の分布情報を生成することを特徴とする［２］に記載の粉塵の種類判別方法。
［４］ 前記粒子部分の色相の値の分布情報は、前記粒子部分を構成する画素毎の色相の値と画素数との関係を表わし、
前記粒子部分の彩度の値の分布情報は、前記粒子部分を構成する画素毎の彩度の値と画素数との関係を表わし、
前記粒子部分の明度の値の分布情報は、前記粒子部分を構成する画素毎の明度の値と画素数との関係を表わすことを特徴とする［３］に記載の粉塵の種類判別方法。
［５］ 前記特徴量生成手順では、前記特徴量として、前記粒子部分の色相、彩度、及び明度のうち少なくとも２以上の平均値を生成することを特徴とする［２］乃至［４］のいずれか一つに記載の粉塵の種類判別方法。
［６］ 前記判別手順では、粉塵の種類が既知であるサンプル画像を用いて学習させた判別モデルを用いて、粉塵の種類を判別することを特徴とする［１］乃至［５］のいずれか一つに記載の粉塵の種類判別方法。
［７］ 製鉄所で捕集した粉塵を対象とし、
前記判別手順では、少なくとも石炭、コークス、鉄鉱石及び焼結鉱を判別することを特徴とする［１］乃至［６］のいずれか一つに記載の粉塵の種類判別方法。
［８］ 粉塵の種類を判別する粉塵の種類判別装置であって、
粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成手段と、
前記特徴量生成手段で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別手段とを備え、
前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とする粉塵の種類判別装置。
［９］ 粉塵の種類を判別するためのプログラムであって、
粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成処理と、
前記特徴量生成処理で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別処理とをコンピュータに実行させ、
前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とするプログラム。

本発明によれば、画像処理を用いた手法により、粉塵の種類を簡易かつ迅速に判別することができる。

実施形態に係る粉塵の種類判別装置の機能構成を示す図である。 実施形態に係る粉塵の種類判別装置による粉塵の種類判別方法の処理手順を示すフローチャートである。 カラー画像上の観察対象領域の例を示す図であり、（ａ）は明視野写真上の観察対象領域の例を示す図、（ｂ）は偏光写真上の観察対象領域の例を示す図である。 図３（ａ）の観察対象領域から、ある粒子部分を抽出した結果を示す図である。 粒子部分の色相の値の分布情報及び彩度の値の分布情報を表わすグラフの例を示す図である。 種類別の粒子部分の色相の値の分布情報及び彩度の値の分布情報を表わすグラフの例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
本実施形態では、本発明を、製鉄所で捕集した粉塵の種類を判別するのに適用する例を説明する。なお、本願において粉塵とは、煤塵も含む広い概念であるとする。製鉄所由来の代表的な粉塵には、石炭、コークス、鉄鉱石、焼結鉱等がある。石炭やコークスは、炭素を主成分とする黒色系の粒子であり、鉄鉱石や焼結鉱は、鉄や酸化鉄を主成分とする赤色系の粒子である。

事前準備として、製鉄所内の所定の場所で、一定の期間、降下する粉塵を捕集する。捕集した粉塵を樹脂に埋込し、それを研磨して試料を作成する。そして、その試料の研磨面を顕微鏡写真として撮像したカラー画像を用意する。本実施形態では、同試料を異なる光環境で撮像した２種類のカラー画像を用意する。具体的には、同試料に対して、白色光を照射して撮像した明視野画像である明視野写真と、偏光を照射して撮像した偏光画像である偏光写真とを用意する。

本発明者は、石炭とコークス、鉄鉱石と焼結鉱で偏光特性が異なることを見出した。そこで、明視野写真だけでなく、偏光写真も用いるようにし、これにより、従来困難であった石炭とコークスの判別、鉄鉱石と焼結鉱の判別を可能にする。石炭とコークスで偏光特性が異なるのは、コークスは石炭を高温で乾留（蒸し焼きに）して製造するものであり、乾留時に揮発分が抜けることによると考えられる。また、鉄鉱石と焼結鉱で偏光特性が異なるのは、焼結鉱は鉄鉱石に石灰を混ぜて高温で焼結させて製造するが、鉄鉱石の一部と石灰が反応してカルシウムフェライト相が生成するためと考えられる。

図１に、実施形態に係る粉塵の種類判別装置１００の機能構成を示す。粉塵の種類判別装置１００は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により実現される。また、図２に、実施形態に係る粉塵の種類判別装置１００による粉塵の種類判別方法の処理手順を示す。

入力部１０１は、上述のように試料の研磨面を撮像したカラー画像を入力する（ステップＳ１）。本実施形態では、同試料に対して明視野写真及び偏光写真があるので、その両方を入力し、以下の抽出部１０２及び特徴量生成部１０３では、明視野写真及び偏光写真それぞれについて処理を実施する。

抽出部１０２は、入力部１０１で入力したカラー画像上の観察対象領域から、エッジ検出処理等により粒子部分（粉塵の画像）を抽出する（ステップＳ２）。観察対象領域には多数の粉塵が存在しているので、個々の粒子部分を順次抽出し、ナンバリングして管理する。図３（ａ）は、明視野写真上の観察対象領域の例を示す図あり、図３（ｂ）は、偏光写真上の観察対象領域の例を示す図である。また、図４は、図３（ａ）の観察対象領域から、ある粒子部分３０１を抽出した結果を示す図である。

特徴量生成部１０３は、抽出部１０２で抽出した粒子部分の色をＨＳＶ色空間で表現し、ＨＳＶ色空間の構成要素である、色相Ｈ（Hue）、彩度Ｓ（Saturation）及び明度Ｖ（Value）のうち少なくとも２以上を用いて複数の特徴量を生成する。ＨＳＶ色空間を使用するのは、人の知覚に近い表現方法であり、色に基づいて粒子の種類を判別するのに適しているからである。

本実施形態では、特徴量生成部１０３は、特徴量として、粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖそれぞれの平均値を生成する（ステップＳ３）。粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖそれぞれの平均値を生成することにより、目視観察における判断基準と同じような主要な特徴を取り込むことができる。
カラー画像の各画素において、色相Ｈ、彩度Ｓ及び明度Ｖはそれぞれ０〜２５５の値で表わされる。粒子部分の色相Ｈの平均値は、粒子部分を構成する全画素の色相の値を加算し、その画素数で除算して算出される。粒子部分の彩度Ｓの平均値、明度Ｖの平均値についても同様である。

また、特徴量生成部１０３は、特徴量として、粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を生成する（ステップＳ４）。粒子部分の色相Ｈの値の分布情報は、粒子部分を構成する画素毎の色相Ｈの値と画素数との関係を表わす。同様に、粒子部分の彩度Ｓの値の分布情報は、粒子部分を構成する画素毎の彩度Ｓの値と画素数との関係を表わす。粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を生成することにより、粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖの平均値だけでは表現できない、より詳細な特徴を取り込むことができる。

図５に、粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を表わすグラフの例を示す。区間Ａは、明視野写真における粒子部分の色相Ｈの値の分布を表わし、横軸が色相Ｈの値（０〜２５５を６４分割して０〜６３の数値で表わす）、縦軸が画素数である。また、区間Ｂは、明視野写真における粒子部分の彩度Ｓの値の分布を表わし、横軸が彩度Ｓの値（０〜２５５を６４分割して６４〜１２７の数値で表わす）、縦軸が画素数である。同様に、区間Ｃは、偏光写真における粒子部分の色相Ｈの値の分布を表わし、横軸が色相Ｈの値（０〜２５５を６４分割して１２８〜１９１の数値で表わす）、縦軸が画素数である。また、区間Ｄは、偏光写真における粒子部分の彩度Ｓの値の分布を表わし、横軸が彩度Ｓの値（０〜２５５を６４分割して１９２〜２５５の数値で表わす）、縦軸が画素数である。なお、グラフは折れ線で表現してもよいし、ヒストグラムで表現してもよい。

判別部１０４は、特徴量生成部１０３で生成した複数の特徴量に基づいて、抽出部１０２で抽出した粒子部分の粉塵の種類を判別する（ステップＳ５）。
判別部１０４による粉塵の種類の判別には、粉塵の種類が既知であるサンプル画像を用いて学習させた判別モデルを用いる。判別モデルには、例えば汎用性、判別性能の高いモデルであるサポートベクターマシンが採用される。

判別モデルを構築するに際して、粉塵の種類が既知であるサンプル画像を用いて粒子部分の特徴量を生成し、これらを教師データとする。本実施形態では、石炭、コークス、鉄鉱石及び焼結鉱をそれぞれ撮像したサンプル画像（明視野写真及び偏光写真）を用いて、特徴量生成部１０３で生成する未判別の粉塵に対する特徴量と同じもの（すなわち、粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖそれぞれの平均値、並びに粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報）を生成し、これらを教師データとする。図６は、教師データとする、種類別の粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を表わすグラフの例を示す。石炭を撮像したサンプル画像において、石炭の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報は図６（ａ）のようになる。横軸及び縦軸は図５と同じである。判別モデルでは、図６（ａ）のような分布となる粒子部分であれば、その種類は石炭であると判別する。図６（ｂ）のコークス、図６（ｃ）の鉄鉱石、図６（ｄ）の焼結鉱についても同様である。例えば石炭とコークスとは、共に炭素を主成分とする黒色系の粒子であり、図６（ａ）、（ｂ）に示すように、分布情報は一見似たものとなるが、詳細にはピークの大きさや分布幅等に差異があり、石炭とコークスとを判別することができる。このように機械学習する判別モデルを用いることにより、人では構築不可能な複雑かつ多数の特徴量を取り扱う判別モデルを構築することができる。

本実施形態では、石炭、コークス、鉄鉱石及び焼結鉱を判別するが、判別すべき粉塵の種類が増えても、サンプル画像を準備すれば、判別モデルを更新することで、より多くの粉塵の種類を判別することが可能になる。例えば砂、高炉スラグ、製鋼スラグ、石灰、グラファイト等のサンプル画像を準備すれば、砂、高炉スラグ、製鋼スラグ、石灰、グラファイト等を判別することにも応用可能である。

なお、特徴量生成部１０３で生成した特徴量を判別モデルに与えるに際して、規格化を行う。特徴量の値は大小さまざまであり、粉塵の種別の判別の際に値の大きい特徴量の影響を受けやすくなるためであり、例えば特徴量を平均０、分散１となるように標準化する。

出力部１０５は、判別部１０４による判別結果等を出力する（ステップＳ６）。ここでいう出力とは、例えば判別部１０４による判別結果等をディスプレイ１０６に表示したり、ネットワークを介して外部に送出したりすることをいう。例えばディスプレイ１０６の表示例として、図示は省略するが、元画像のカラー画像（明視野写真及び偏光写真の両方でもよいし、いずれか片方でもよい）において、判別した種類に応じて各粒子部分の輪郭の色を変えて（例えば石炭であれば輪郭を青色、コークスであれば輪郭を緑色等のように色を変える）表示する。

以上のように、同対象を異なる光環境で撮像した２以上のカラー画像を用いて、カラー画像に含まれる粒子部分の色相Ｈ、彩度Ｓ、及び明度Ｖのうち少なくとも２以上を用いて複数の特徴量を生成するようにした。本実施形態でいえば、明視野写真及び偏光写真について粒子部分の色相Ｈ、彩度Ｓ及び明度Ｖそれぞれの平均値を生成するので、６個の特徴量を生成するといえる。また、図５で説明したように、明視野写真及び偏光写真について粒子部分の色相Ｈ及び彩度Ｓを対象として横軸を２５５とした分布情報を生成するので、横軸の値毎に捉えれば２５５個の特徴量を生成するといえる。
このように一の粒子部分に対して多数の特徴量に基づいて粉塵の種類を判別するようにしたので、画像処理を用いた手法により、粉塵の種類を簡易かつ迅速に判別することができる。

（実施例）
石炭、コークス、鉄鉱石、焼結鉱、砂及びその他に判別するために、それぞれ表１に示す個数のサンプルの画像（明視野写真及び偏光写真）を準備した。判別モデルにはサポートベクターマシンを採用し、明視野写真及び偏光写真を用いて学習させた。また、比較例として、明視野写真だけを用いて学習させた。なお、本実施例において、その他とは、判別すべき粉塵以外のものとしている。例えば試料となる樹脂の研磨面のキズや汚れや研磨面に出ていなが透けて見える粉塵等、判別すべき粉塵ではないが、粒子部分として抽出される可能性があるものを学習して分類している。
こうして得られた判別モデルに未判別の粉塵４００個について、各粉塵の特徴量を与えて計算した。その結果、明視野写真だけを用いて学習させた比較例では、人手による目視観察での分析との適合率が７５％程度であったのに対し、明視野写真及び偏光写真を用いて学習させた本実施例では、適合率が９２％程度であった。このように、明視野写真及び偏光写真を用いることにより、判別精度をより高められることが実証された。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば上記実施形態では、粒子部分の色相Ｈの値の分布情報及び彩度Ｓの値の分布情報を生成するのに、明視野写真及び偏光写真について粒子部分の色相Ｈの値及び彩度Ｓの値をそれぞれ６４分割して連結するようにしたが、これに限定されるものではない。
また、上記実施形態では、明度Ｖは撮像時の環境に依存しやすいことから、粒子部分の明度Ｖの値の分布情報は生成しないようにしたが、明度Ｖの値の分布情報を生成するようにしてもよい。

また、上記実施形態では、製鉄所で捕集した粉塵の種類を判別するようにしたが、その適用先は限定されるものではなく、本発明は粉塵の種類を判別するのに広く適用可能である。
また、上記実施形態では、粒子部分の色を表現する色空間としてＨＳＶ色空間を例にしたが、明度に換えて輝度（Ｌ：luminance）を取り扱うＨＳＬ色空間としてもよい。また、ＲＧＢ色空間やＬａｂ色空間としてもよい。
また、本発明は、ソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行することによっても実現可能である。

１００：粉塵の種類判別装置
１０１：入力部
１０２：抽出部
１０３：特徴量生成部
１０４：判別部
１０５：出力部

Claims (9)

1. 粉塵の種類を判別する粉塵の種類判別方法であって、
   粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成手順と、
   前記特徴量生成手順で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別手順とを有し、
   前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とする粉塵の種類判別方法。
2. 前記所定の色空間はＨＳＶ色空間であり、その構成要素は色相、彩度、及び明度であることを特徴とする請求項１に記載の粉塵の種類判別方法。
3. 前記特徴量生成手順では、前記特徴量として、前記粒子部分の色相の値、彩度の値、及び明度の値うち少なくとも２以上の分布情報を生成することを特徴とする請求項２に記載の粉塵の種類判別方法。
4. 前記粒子部分の色相の値の分布情報は、前記粒子部分を構成する画素毎の色相の値と画素数との関係を表わし、
   前記粒子部分の彩度の値の分布情報は、前記粒子部分を構成する画素毎の彩度の値と画素数との関係を表わし、
   前記粒子部分の明度の値の分布情報は、前記粒子部分を構成する画素毎の明度の値と画素数との関係を表わすことを特徴とする請求項３に記載の粉塵の種類判別方法。
5. 前記特徴量生成手順では、前記特徴量として、前記粒子部分の色相、彩度、及び明度のうち少なくとも２以上の平均値を生成することを特徴とする請求項２乃至４のいずれか１項に記載の粉塵の種類判別方法。
6. 前記判別手順では、粉塵の種類が既知であるサンプル画像を用いて学習させた判別モデルを用いて、粉塵の種類を判別することを特徴とする請求項１乃至５のいずれか１項に記載の粉塵の種類判別方法。
7. 製鉄所で捕集した粉塵を対象とし、
   前記判別手順では、少なくとも石炭、コークス、鉄鉱石及び焼結鉱を判別することを特徴とする請求項１乃至６のいずれか１項に記載の粉塵の種類判別方法。
8. 粉塵の種類を判別する粉塵の種類判別装置であって、
   粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成手段と、
   前記特徴量生成手段で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別手段とを備え、
   前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とする粉塵の種類判別装置。
9. 粉塵の種類を判別するためのプログラムであって、
   粉塵を撮像したカラー画像に含まれる粒子部分について、その色を表現する所定の色空間の構成要素のうち少なくとも２以上を用いて複数の特徴量を生成する特徴量生成処理と、
   前記特徴量生成処理で生成した複数の特徴量に基づいて、前記粒子部分の粉塵の種類を判別する判別処理とをコンピュータに実行させ、
   前記カラー画像として、同対象を撮像した明視野画像及び偏光画像を用いることを特徴とするプログラム。

Images