JP5647878B2 - 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 - Google Patents
鋼管内部腐食解析装置及び鋼管内部腐食解析方法 Download PDFInfo
- Publication number
- JP5647878B2 JP5647878B2 JP2010274022A JP2010274022A JP5647878B2 JP 5647878 B2 JP5647878 B2 JP 5647878B2 JP 2010274022 A JP2010274022 A JP 2010274022A JP 2010274022 A JP2010274022 A JP 2010274022A JP 5647878 B2 JP5647878 B2 JP 5647878B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- steel pipe
- deterioration
- extracting
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims description 97
- 239000010959 steel Substances 0.000 title claims description 97
- 230000007797 corrosion Effects 0.000 title claims description 31
- 238000005260 corrosion Methods 0.000 title claims description 31
- 238000004458 analytical method Methods 0.000 title claims description 27
- 230000006866 deterioration Effects 0.000 claims description 95
- 230000015556 catabolic process Effects 0.000 claims description 76
- 238000006731 degradation reaction Methods 0.000 claims description 76
- 238000000605 extraction Methods 0.000 claims description 67
- 238000012937 correction Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000012706 support-vector machine Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 2
- 238000005282 brightening Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 67
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 238000004049 embossing Methods 0.000 description 6
- 241001163841 Albugo ipomoeae-panduratae Species 0.000 description 4
- 241000282412 Homo Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101100165012 Pseudomonas savastanoi pv. glycinea avrB gene Proteins 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 229910001335 Galvanized steel Inorganic materials 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 239000008397 galvanized steel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Description
この問題を解決するために、特許文献1には、鋼材から成る構造物の発錆状況について定量的な判定を行うことができる発錆状況判定装置について開示されている。これによると、錆色領域にある発錆度ごとの画素占有率を算出し、その結果を出力して発錆状況を判定している。
本発明は、かかる課題に鑑みてなされたものであり、実際のビデオ画像を元に画像処理による解析を行う際に、前処理により撮影環境をある程度統一させ、条件を統一した後に、劣化度部分の抽出と分類を行うことにより、正確に、且つ効率的に劣化部分の抽出と劣化度評価を行うことができる鋼管内部腐食解析装置、及び解析方法を提供することを目的とする。
本発明で使用した撮影画像は工業用内視鏡にて撮影された動画像と、その中から劣化部分を抜き出した静止画像である。図3にその一部を示す。図2(a)〜(d)が劣化度II〜Vに対応する。
色味について全体的に青っぽくなっているもの(特に開口部)(A部)が多く見られるが、赤味を帯びたもの(B部)も一部見受けられる。また、光量不足により暗い部分ではRGBのいずれかの値が明るく見えるCCDノイズも散見している。
画像全体の明るさ(明度)については、撮影時の照明と対象物の距離によってかなり偏りが見られる。極端な場合には照明が鋼管側面に近づくと完全に白く飛んでいる部分がある。
まずRGB画像を一度HSV(色相、彩度、明度)の色空間に変換し、このうちH(色相)とS(彩度)にぼかし効果(ローパスフィルター)を施した。これは写真加工等において良く用いられる手法である。
処理手順を以下に示す。
1)RGBをHSVに変換する。
RGB→HSV変換式:
MAXがRGB(r,g,b)のうち最大の値に、MINをRGB(r,g,b)のうち最小の値とすると、
MAXがrの場合:H=60*(g−b)/(MAX−MIN)+0
MAXがgの場合:H=60*(b−r)/(MAX−MIN)+120
MAXがbの場合:H=60*(r−g)/(MAX−MIN)+240
S=(MAX−MIN)/MAX
V=MAX
2)HとSの画像に対して各画素近傍5x5の画素値の平均を求めて、新たな画素値とする(ローパスフィルタ)。
3)HSVをRGBに変換する。
HSV→RGB変換式:
Hi=(60/H)%6(%は割った余りを意味する)
f=H/60−Hi
p=V(1−S)
q=V(1−fS)
t=V(1−(1−f)S)
Hiが0の場合:r=V,g=t,b=p
Hiが1の場合:r=q,g=V,b=p
Hiが2の場合:r=p,g=V,b=t
Hiが3の場合:r=p,g=q,b=V
Hiが4の場合:r=t,g=p,b=V
Hiが5の場合:r=V,g=p,b=q
前出の色補正(1)は局所的な色ムラを補正するものであり、カメラの色バランス特性に起因すると思われる、全体的な色のずれ(青みの強い映像)を補正することはできない。ここでは双六角錘モデルを用いて画像全体の色味を補正した。図5は双六角錘モデルを表す図である。双六角錘モデルは六角錘を上下重ね合わせた形をした色空間であり、六角錘の底辺に相当する六角形がH(色相)を表し、六角錘の先端部が明度を表している。
1)0から255の範囲の値を持つRGB値のうち、RGB全てが120−200に収まる画素を取得(値は複数毎の結果より決定した)。
2)1)の画素の平均値(avrR,avrG,avrB)を計算。
3)2)の結果をHSV変換し明度を求める(avrR,avrG,avrB)−>明度avrV。
4)同じ明度(avrV)を持ち、色相なし(H=任意)、彩度(S=0)をRGB(nR,nG,nB)に変換する(彩度0なので変換後のRGB値は全て同じ値となる)。
5)元画像のRGB平均値(avrR,avrG,avrB)をこのRGB(nR,nG,nB)にするための変換比率rateR=nR/avrRrateG=nG/avrG。
6)変換比率を全ての画素に対し、掛け合わせることで補正(ただし結果は0−255の範囲に収まるように切りつめる)。
本手法の基本的な考えは、画像全体の色相(色味)の偏りを求めて、これを色相中心へ補正することで全体的な色味の偏りを除去するものである。
全体の色味(例えば青みが強い)は(b)の本手法、(c)のPhotoShopの自動補正共に改善されている。ただしPhotoShopの自動補正では明度も同時に自動補正されている。
本手法はローパスフィルタを用いたノイズ除去手法が局所的なCCDノイズに有効であるのに対して、画像全体の色調を補正する効果があるといえる。
方法1:画像をブロック分割し、各ブロックの明度が等しくなるように補正する。
1)画像をRGBからHSVに変換する。
2)HSVに変換した画像を15x15のブロック毎に分割し、それぞれの明度(V)の平均(avrVi,j)を求める(突出した値を除去するため、平均を求める際に標準偏差35から65の範囲の値を使用する)。
3)画像全体の平均明度(avrVall)を求める。
4)ブロック毎に明度補正比率rateVi,j=avrVall/avrVi,jを求め、画像内の全ての画素の明度を更新する(このとき隣接するブロックavrVi±1,j±1を用いて各画素の補正比率を内挿する)。
5)HSV画像RGB画像に変換する。
1)画像をRGBからHSVに変換する。
2)Vの画像全体の平均明度avrVallを求める。
3)Vの画像に対して、各画素Vi,jの15x15の周辺画素の平均明度avrVi,jを求める。
4)補正後の明度V’i.jをVi,j−(avrVi,j−avrVall)とする。
5)HSV画像をRGB画像に変換する。
方法1は比較的照明ムラが除去できている。方法2も照明ムラは除去できているが、その他の劣化部分の特徴的な濃淡まで均一化されている。
階調補正を目的として、近年着目されている手法にRetinex理論がある。これは入力画像を照明光と物体の反射率の積で表されるとし、入力画像から照明光を分離することで反射率画像を補正画像として得られるものである。
GIMP2はAdobe社のPhotoShopの様な画像加工ツールの一つである。
Retinexパラメータ1:目盛り=240、目盛り分割=3、動的=1.2(デフォルト値)
Retinexパラメータ2:目盛り=120、目盛り分割=3、動的=0.8
図11の上段の画像ではRetinexパラメータ2がほぼベストの状態となったが、下段の画像ではRetinexパラメータ2よりはデフォルトのRetinexパラメータ1がほぼベストの状態である。
傾向として以下の点が挙げられる:
・陰の部分は均一化されるが、全体的に色味が抜けた感じとなる。
・色味を出すためにパラメータを変更するとカメラノイズが強調されてしまう。
通常、カメラ等を用いた撮影画像は映像周辺が膨張したように歪んだものとなる。これはレンズが広角対応になるほど顕著となる(魚眼レンズが顕著な例)。一般的な画像処理、特に物体の位置等を計測する場合には、このレンズ歪みを補正することは不可欠である。今回の鋼管内部の撮影用でもレンズ歪みの補正が必要であるかを確認する。
レンズ歪み補正(キャリブレーション)の手法には校正版等を用いて厳密に行う方法があるが、実際の現場での作業は手間がかかり現実的ではないため、簡易方法を採用した。
本手法の原理はまずレンズ1が球面であると仮定する。撮影対象物の映像(光)はこのレンズ面を通過する際に屈折してCCD面3に到達、映像として記録される。そこで図12(a)の様に撮影画像(青のライン上の画素)3を実際の絵(緑のライン上の画素)2に移動する処理を行うことで、レンズ歪みを補正できる。
劣化部分の自動抽出に必ずしも直接寄与するものではないが、検査画像を人が見て判り易くすることで自動抽出結果の確認も含めて、全体の診断効率アップが期待できる。ここでは、疑似立体表示の手法を用いた撮影画像の強調表示を試みる。図14はエンボス処理の例を示す図であり、図15はエンボスフィルタを示す図である。
疑似立体表示に用いられる手法として、いわゆるエンボス処理がある。これは画像の領域のエッジ部分に着目して、エッジの左上方向の画像を明るく、右下方向を暗くすることでその領域を立体的に浮き上がらせる物である。
エンボス処理にはいくつかの手法があるが、今回は図15のエンボスフィルタ処理を用いた。これは図14のように画像の各画素とその周辺画素に対して、上記パラメータを掛けて合計したものを新たにその画素の値とするものである。これにより輝度変化のある部分(例えば腐食領域の境界)などが立体的に強調されて見える。
「画像解析による溶融亜鉛めっき鋼材表面の劣化度評価に関する研究」ではNTTによる4段階の劣化度見本に代わり図17のように7段階の劣化度見本を作成し、これを評価基準として採用した。劣化度見本のもととなった試験体の平行部分から、連続した小領域を抽出し、それぞれのRGBの平均値を求め、RGB3次元上にプロットしたものである。
図19にこのRGB平均値を用いて、サンプル画像に対して領域抽出を行った結果を示す(この図の画像左にある劣化度表示はサンプル画像に対する5段階の手作業による診断結果であり、RGB平均値を用いた7段階分類とは異なることに注意。7段階の分類結果は図19下の「抽出劣化部分凡例」を参照)。
RGB平均値による抽出方法は以下に示す通り。
1)対象となる画像の各画素のRGB値を求める。
2)RGB値が図18に示す、どの劣化度のRGB平均値に一致するかを判断する。
・このときRGB値の許容誤差は±20とし、複数の劣化度RGB平均値±20に含まれる場合には、RGB平均値に近い方を採用する。
・たとえばある画素のRGBが(130,130,140)であれば、その画素は劣化度IIIに相当すると判断する。
RGB平均値が鋼管内部を撮影したサンプル画像の劣化部分と比較して、全体的に明るいことから、当該論文は鋼管内部ではなく、外部に露出した鉄塔表面部分を対象としていると推察できる。
「自己組織化特徴マップを用いた鋼材表面の劣化度評価システム」ではUCS座標系(y,u,v)の色空間と経験的分類を自己組織化マップを用いて定量化したパターンとを結び付けている。
UCS(Uniform Chromaticity Scale)は、色に関する眼の非線形性を補正するとともに、使用CRTで表示することのできる最大色空間を用いる表示法である。人間は、青の近辺ではわずかな色度差でも感知できるが、緑の近辺では大きな色度差がないと色の違いが感知できない非線形性をもつ。この色度差が感覚的な色の性質の差に比例するような色空間を均等知覚空間といい、この空間を用いた表示系がUCS表色系である。
ここではUCS表色系の有効性について検討した。まず劣化画像のサンプルとして、後述する図26のサンプル画像(91枚)の劣化領域毎の特徴量(RGB)を採取する。
サンプル画像(91枚)からの劣化領域毎特徴量採取は以下の様に行った。
1)画像の劣化している部分の領域に対してマスク画像を手作業で作成する(図20(a)〜(d))。
2)1)の領域の各画素のRGB値を求め、領域全体の平均値を求める。→劣化領域毎特徴量
3)以上を91枚それぞれの画像に対して行う。
次に、以下のRGB(r,g,b)からUCS(u,v,y)への変換式により、採取された劣化領域毎特徴量(RGB)をUCSへ変換する。
u=4x/(−2x+12y+3)
v=9y/(−2x+12y+3)
x=(0.49000r+0.31000g+0.2000b)/m
y=(0.1769r+0.81240g+0.01063b)/m
z=(0.00000r+0.01000g+0.99000b)/m
m=0.66697r+1.13240g+1.20063b
図21に91枚の画像から採取したUCS平均値をマッピングした。
結果は劣化度III、IV、Vはかなり入り混じっており、UCS座標系だけでは明確な分類ができているとはいい難い。
以下にRGB色空間(r,g,b)からYIQ色空間(y,i,q)への変換式を示す。
y=0.299r+0.587g+0.114b
i=0.596r−0.274g−0.322b
q=0.211r−0.522g+0.311b
いくつかの画像に対してIの値を変化させながら領域抽出を試みた結果、I=0.05以上の閾値で比較的赤さび領域が抽出できることが判った。図24、図25に抽出例を示す。(a)は元画像、(b)はIを0〜最大値で正規化した画像、(c)はIが0.05以上の領域を表す図である。なおIの値は表示のために0〜最大値をRGBの0〜255へ正規化して表示している。
赤みのやや薄い部分、白さびには対応できていないが、それ以外の目立つ赤さび領域(劣化度III以上程度)についてはほぼ抽出できている。
前節で得られたサンプル画像(91枚)の特徴量と劣化度見本A(一般環境)との比較を行った。撮影条件の違いによる明度のばらつきをなくすことは、安定した劣化度抽出には欠かせない処理である。図28に明度正規化の処理手順を示す。
1)基準となる鋼管A内における画像正規化
a)それぞれの画像に対して双六角錘モデルを用いた色補正を行う。
b)鋼管Aの補正用基準画像の作成
・鋼管A内全ての画像の同一座標にある画素の明度を取り出し、明度順に並び替えて、その中央に位置する画素の明度を代表値とする。
・この処理で作成された画像を鋼管Aの補正基準画像とする。
c)補正用基準画像もとに鋼管Aの各画像の明度補正を行う。
・それぞれの画像の平均明度とbの補正用基準画像の平均明度を求める。
・全ての画素に対して、(補正用基準画像の平均明度)/(処理対象画像の平均明度)の比率を掛けることで、鋼管A内の全ての画像の明度を均一化する。
2)他の鋼管Bの画像正規化
a〜bの処理は1)と同じ
c)鋼管Aと鋼管Bの補正用基準画像の明度平均が同じになるように、鋼管Bの補正用基準画像の明度を補正する。補正方法は1)−cと同様の手法を用いる。
d)cで得られた補正用基準画像B’を用いて、1)−c同様に鋼管Bの各画像の明度補正を行う。
鋼管全体でみると、補正前の明度平均の差が鋼管Aと鋼管Bでは0.94であったものが、明度補正後は0.96と改善されていることが判る。これは鋼管Aと鋼管Bの明度平均の差が若干ながら縮まったことを意味する。
ただし、本手法では1鋼管内の全ての画像を対象とするため、一般的な状態である鋼管中心を撮影しているものや、壁に接近して劣化部位を詳細に撮影しているものなど、異なる方向を撮影した画像を同列に処理している。また、鋼管中心を撮影した画像の場合、開口部が見えているとその部分は非常に明るいが、開口部から離れると逆に暗くなるといった照明条件の異なる画像が混在している。壁の劣化部位に着目した画像では壁側に強く照明が当たった画像となるが、どの鋼管のどの方向に劣化部位があるかによって照明が当たる部分も変わってくる。図30に補正対象画像のバリエーションを示す。
1)開口部の検出
・画像中心位置に近く、映像が白飛びしている部分RGB(255,255,255)の領域を検出し、その領域は処理対象外とする。
2)カメラ撮影方向の推定
・後述の平面展開で用いるオプティカルフローの手法を用いる。これにより開口部のあり/なしに関わらず鋼管中心位置を推定できる。
・大まかな画像全体の明度の分布状況を求め、明るい部分が極端に画像の端にあれば壁に接近して撮影していると推定できる。
劣化度毎の領域抽出にYIQのIと明度を用いるにあたって、どの劣化度がどのIと明度に相当するかを決定する必要がある。
まずは図31のようにIと明度の分布図から主観的に抽出パラメータを決定した。それぞれ劣化度毎の四角枠で囲まれた領域を抽出パラメータとする。
図33にサポートベクターマシンのイメージを示す図である。サポートベクターマシンとはニューラルネットワークを用いたパターン識別手法の一つであり、学習モデルを採用している。サポートベクターマシンとは例えばデータを二つの種類に分離するために、各データ点との距離が最大となる分離平面を求めるマージン最大化という考え方を用いるものである。図33は赤と青の2つのデータ群を分離するために、マージン最大となる境界線(黒の太線)の例である。今回はフリーのツール”libsvm”を使用した。
ここでは図34に示すように、サンプル画像から選択した91枚の画像の劣化度と特徴量(YIQのIと明度)を学習用パターンとして用い、再度この学習用データのIと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。
AdaBoostも学習モデルを用いるクラスタリングの一手法である。サポートベクターマシン同様、与えられた教師付きデータを用いて学習を行う。
AdaBoostはブースティング法と呼ばれる手法の最も基本的なもので、直接一つの判別ルール(判別器と呼ぶ)を決定するのではなく、単純な判別器を多数組み合わせることで全体として一つの判別ルールを構築するものである。与えられた教師付きデータを用いて学習を行い、その学習結果をふまえて逐次重みの調整を繰り返すことで(判別器の追加)複数の学習結果を求め、その結果を組み合わせて精度を向上させる。
結果は主観分類、サポートベクターマシンよりも良好である。サポートベクターマシンと比較してAdaBoostは必ずしも1つのクラスが1つの領域にある必要はないという柔軟性によるものである。
図37に3手法を比較した表を示す。3種の分類方式の比較結果としてはAdaBoostが最も高い一致率を示している。
本プロトタイプでは前処理として、色補正と明度補正を行い、主観分類とAdaBoostによる劣化部分の抽出と分類を行う部分を実装した。以下にその処理手順を示す。
劣化度毎領域抽出手順:
1)前処理として明度の正規化を行う
2)主観分類方法あるいはAdaboostを用いた劣化度別部位の抽出と分類を行う
また、オプションとしてエンボス処理による強調表示の処理も行うことが可能。
図41、図42にAdaboostを用いてで学習したパラメータに基づく分類結果を示す。画像左の劣化度は人間が判断した結果、右の凡例の色(番号)がAdaBoostで分類された画像中の劣化度に対応している。
図43、図44に「劣化度抽出に用いるパラメータ決定(サポートベクターマシン)」で学習したパラメータに基づく分類結果を示す。比較のためにプロトタイプ実装は行わなかったが、ツールを用いて劣化度分類したサポートベクターマシンの結果を示す。画像左の劣化度は人間が判断した結果、右の凡例の色(番号)がサポートベクターマシンで分類された画像中の劣化度に対応している。
例えば図39と図41の人間が劣化度IVと判断した画像(画像番号E、F)をみると、両者とも劣化領域はほぼ抽出できている。同じく人間が劣化度IVと判定した画像において、抽出された領域の劣化度分類に着目すると、主観分類による分類結果は劣化度V(赤く塗りつぶされた部分)と劣化度III(黄色く塗りつぶされた部分)が多く、劣化度IV(オレンジで塗りつぶされた部分)はほとんど見られない。一方AdaBoostによる分類結果は主観分類で劣化度Vと判定された部分が劣化度IVと判定され、人間の判断結果により近いものとなっている。しかしながら、人間が劣化度Vと判断した画像をみるとAdaBoostでの分類結果には劣化度Vと判定された部分ほとんどみられず、その多くが劣化度IVと判定されている。この原因のひとつとして、学習に用いたデータに劣化度Vのサンプルが少なかったこと(91サンプル中6サンプルが該当)が考えられる。
一方、サポートベクターマシンは学習データによる検証と同様、劣化度IIと劣化度IVに結果が集中している。
一見したところ人間が判断した劣化度と画像処理による劣化度分類にはあまり相関は見られないように思われる。たとえばAdaBoostの結果で見ると、劣化度IIの画像Iと劣化度Vの画像Gはグラフの傾向は似ているが、Gの画像でAdaBoostが劣化度IVと判断した領域は比較的実際の劣化部分に集中しているのに対し、Iの画像では画像周辺のCCDノイズを劣化部分と誤認識している。
「色補正(ローパスフィルター)」を施しても完全なCCDノイズは除去できないため、抽出・分類処理後に散在しているような孤立領域を除去するような処理を施すことである程度の改善は期待できるが、小さなスポット状の本来の劣化部分を除去しないための考慮が必要がある。
本手法を動画像へ適応する場合、カメラの中心軸方向が一定でないために1コマずつ手作業で入力することは現実的ではなく、自動的に鋼管中心位置を検出する手法が必要となる。本発明では優先度の関係で割愛したが、図47に鋼管中心部分の検出手法案を示す。ここでは画像処理で用いられるオプティカルフローの手法を用いる。
1)ある時刻(t)の画像に対して、明るさやエッジの強さを基準として、特徴点となる部位を複数検出する(左画像の黄緑の円内)。
2)ある時刻後(Δt)の画像に対して、1)の特徴点毎の移動ベクトルを求める(ピンクの矢印)。
3)移動ベクトルを延長し(緑の矢印)、最も交差する部分が推定された鋼管中心部分となる。
ビデオ画像は一度連番のビットマップ形式に変換する。この変換には市販のツール等を用いた。変換された連番のビットマップをソース画像とし、前処理〜明度の均一化〜領域抽出の一連の処理結果をそれぞれのフォルダに再び連番のビットマップとして格納する。
表示プログラムでは、処理結果のフォルダを選択し(最大4フォルダ)フォルダ内の画像を順次再生することで、動画表示を行う。図49に動画像再生例の一例を示す。
サンプル撮影画像を手がかりに前処理検討を行った結果、いくつかの前処理が有効であることが判った。特に照明ムラの補正はカメラ照明の不均一さによる白さび等の抽出精度低下を防ぐ意味で有用であると考えられる。
また、劣化度毎のYIQのI値と明度のデータを採取し、これを主観分類により抽出パラメータを決定した手法とAdaBoostによる学習アルゴリズムの2つで、サンプル画像に対してある程度の劣化度抽出・分類が可能となった。
1)鋼管中心位置を開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、これを用いてコマ毎の画像を展開した画像を作成する。即ち、オプティカルフローによる特徴点を抽出し、フローベクトルを用いた中心位置の推定を行い、輝度に着目した開口部を推定し、フローベクトルと輝度を用いて中心位置を推定して、図50のような鋼管全体展開画像を作成して劣化領域を抽出する。
2)コマごとの展開画像をカメラの移動位置を元に張り合わせる。
1)フーリエ変換を用いた周波数成分の抽出と傾向の検討
2)エッジ形状に着目した領域抽出と傾向の検討
3)テクスチャ特徴量を用いた領域抽出とプロトタイプによる試行
検討の結果、3)のテクスチャ特徴量を学習アルゴリズムとして用いて推定することで、比較的良好に劣化処理対象外領域を抽出することができた。
1)同時複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量(フローベクトル群)を計算する。
2)フローベクトル群から鋼管内のカメラ位置を推定する。
3)推定されたカメラ位置から再度特徴点の鋼管内の位置を推定することで特徴点の3次元座標を求める。
Claims (7)
- 鋼管内視鏡調査で得られた動画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置であって、
プログラムに従って順次処理を行う中央処理装置と、前記プログラム及びデータを格納する読出し専用メモリと、一次的にデータを記憶し、該記憶したデータを読み出して前記中央処理装置に供給する随時アクセスメモリと、を有する制御部は、
様々な条件下で得られた動画像から撮影条件の相違点を除去する前処理手段と、
前記劣化部分を予備的に抽出する劣化部分予備抽出手段と、
前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた抽出結果に基づいて、前記動画像の明度、及びYIQ色空間のI値に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段と、
実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段と、
該劣化領域検証評価手段により検証評価された劣化領域を表示する表示処理手段と、
を備えたことを特徴とする鋼管内部腐食解析装置。 - 前記前処理手段は、前記内視鏡により撮影された動画像、及び該動画像の中から劣化部分を抜き出した静止画像を使用し、
前記画像の色ムラを軽減する色補正手段と、
前記画像の照明ムラを補正する照明ムラ補正手段と、
レンズの歪み特性に起因した撮像画像の歪みを補正する画像歪み補正手段と、
前記画像領域のエッジ部分の左上方向の画像を明るくし、右下方向を暗くすることにより該画像領域を立体的に浮き上がらせる強調表示手段と、
を備えたことを特徴とする請求項1に記載の鋼管内部腐食解析装置。 - 前記色補正手段は、
前記画像の色ムラを軽減するために色相と彩度をぼかすローパスフィルタを使用した第1の色補正手段と、
前記画像の全体的な色ずれを双六角錘モデルを用いて補正する第2の色補正手段と、
を備えていることを特徴とする請求項2に記載の鋼管内部腐食解析装置。 - 前記照明ムラ補正手段は、
前記画像をブロック分割し、各ブロックの明度が等しくなるように補正する第1の明度ムラ補正手段と、
前記画像を照明光と物体の反射率の積で表し、前記画像から前記照明光を分離することで反射率画像を補正画像として取得する第2の明度ムラ補正手段と、
を備えていることを特徴とする請求項2に記載の鋼管内部腐食解析装置。 - 前記劣化部分抽出分類手段は、
各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する環境劣化度見本抽出手段と、
前記動画像の検査結果より画像を抜粋し、前記各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する動画劣化度見本抽出手段と、
前記劣化度見本と前記検査結果より抜粋した動画像とを比較する比較手段と、
前記明度を正規化する明度正規化手段と、
劣化度抽出に用いるパラメータを決定するパラメータ決定手段と、
を備えたことを特徴とする請求項1に記載の鋼管内部腐食解析装置。 - 前記パラメータ決定手段は、
劣化度を分類できるような前記明度及び前記I値を主観的に決定する主観的分類手段と、サポートベクターマシンによる前記明度及び前記I値の劣化度ごとの領域分割を行うサポートベクターマシン分類手段と、
直接1つの判別ルールを決定するのではなく、単純な判別器を複数組み合わせることで全体として1つの判別ルールを構築するアダブースト分類手段と、
を備えていることを特徴とする請求項5に記載の鋼管内部腐食解析装置。 - 前処理手段、劣化部分予備抽出手段、劣化部分抽出分類手段、劣化領域検証評価手段、及び表示処理手段を備え、鋼管内視鏡調査で得られた動画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置の腐食解析方法であって、
前記前処理手段が前記様々な条件下で得られた動画像から撮影条件の相違点を除去するステップと、
前記劣化部分予備抽出手段が前記劣化部分を予備的に抽出するステップと、
前記劣化部分抽出分類手段が前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた方針に基づいて、前記動画像の明度、及びYIQ色空間のI値に対して劣化度ごとの領域を抽出及び分類するステップと、
前記劣化領域検証評価手段が実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行うステップと、
前記表示処理手段が前記劣化領域検証評価手段により検証評価された劣化領域を表示するステップと、
を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274022A JP5647878B2 (ja) | 2010-05-31 | 2010-12-08 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010124959 | 2010-05-31 | ||
JP2010124959 | 2010-05-31 | ||
JP2010274022A JP5647878B2 (ja) | 2010-05-31 | 2010-12-08 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097545A Division JP5764238B2 (ja) | 2010-05-31 | 2014-05-09 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012013675A JP2012013675A (ja) | 2012-01-19 |
JP5647878B2 true JP5647878B2 (ja) | 2015-01-07 |
Family
ID=45600265
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010274022A Active JP5647878B2 (ja) | 2010-05-31 | 2010-12-08 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
JP2014097545A Active JP5764238B2 (ja) | 2010-05-31 | 2014-05-09 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097545A Active JP5764238B2 (ja) | 2010-05-31 | 2014-05-09 | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5647878B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5844718B2 (ja) * | 2012-11-09 | 2016-01-20 | 本田技研工業株式会社 | 画像処理方法、画像処理装置、表面検査システム及びプログラム |
JP6201922B2 (ja) * | 2014-07-23 | 2017-09-27 | マツダ株式会社 | 車両用錆検出装置、車両用錆検出システム、及び車両用錆検出方法 |
JP2016052111A (ja) | 2014-09-02 | 2016-04-11 | 株式会社東芝 | インピーダンス変換器 |
JP6218991B2 (ja) | 2015-11-13 | 2017-10-25 | オリンパス株式会社 | 内視鏡の状態推定装置の作動方法および内視鏡システム |
RU167680U1 (ru) * | 2016-01-29 | 2017-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный университет путей сообщения" | Устройство для определения количественного состава продуктов коррозии арматуры на труднодоступных поверхностях железобетонных изделий |
KR101928780B1 (ko) * | 2016-04-08 | 2019-03-15 | 한국전력공사 | 부재 열화 분석 장치, 부재 열화 측정 장치 및 컴퓨터 판독가능 기록 매체 |
JP6034529B1 (ja) * | 2016-06-14 | 2016-11-30 | 九州電力株式会社 | 表面状態診断装置 |
JP6798276B2 (ja) * | 2016-11-25 | 2020-12-09 | Jfeエンジニアリング株式会社 | 鋼構造物の保全管理システム及び劣化判定装置 |
KR101943426B1 (ko) * | 2017-02-20 | 2019-01-30 | 주식회사 한국지중정보 | 관거의 내벽 상태에 대한 도면을 생성하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체, 관거의 내벽 상태를 조사하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
JP6881347B2 (ja) * | 2018-02-16 | 2021-06-02 | 新東工業株式会社 | 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 |
JP2020067669A (ja) * | 2018-10-19 | 2020-04-30 | 株式会社ファブリカコミュニケーションズ | 情報処理装置及びプログラム |
WO2020162465A1 (ja) * | 2019-02-04 | 2020-08-13 | 旭化成株式会社 | 診断システム、診断装置、診断方法及び診断プログラム |
US20220156909A1 (en) * | 2019-03-29 | 2022-05-19 | Idemitsu Kosan Co.,Ltd. | Lubricating oil degradation evaluation system and lubricating oil degradation evaluation method |
WO2021182600A1 (ja) * | 2020-03-12 | 2021-09-16 | Hoya株式会社 | 情報処理装置、検査システム、プログラムおよび情報処理方法 |
WO2022074746A1 (ja) * | 2020-10-06 | 2022-04-14 | 日本電信電話株式会社 | 劣化検出装置、劣化検出方法、及びプログラム |
JP7101235B2 (ja) * | 2020-12-17 | 2022-07-14 | 株式会社クボタ | 検査装置及び検査方法 |
JP7444137B2 (ja) * | 2021-06-09 | 2024-03-06 | Jfeスチール株式会社 | 金属組織のセグメンテーション方法 |
CN113408473A (zh) * | 2021-07-06 | 2021-09-17 | 中国工商银行股份有限公司 | 人脸检测方法、装置、机器人及存储介质 |
RU207785U1 (ru) * | 2021-07-20 | 2021-11-16 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный университет путей сообщения" | Устройство диагностирования коррозионного состояния внутренней поверхности железобетонных опор контактной сети |
WO2024053109A1 (ja) * | 2022-09-09 | 2024-03-14 | 日本電信電話株式会社 | 劣化検出モデル学習装置、劣化検出装置、及びプログラム |
KR102643699B1 (ko) * | 2022-10-18 | 2024-03-05 | 한국가스안전공사 | 배관 안정도 추정 시스템 및 방법 |
WO2024142332A1 (ja) * | 2022-12-27 | 2024-07-04 | 日本電信電話株式会社 | 判定装置、判定方法、及びプログラム |
CN116500061B (zh) * | 2023-06-25 | 2023-09-29 | 北京英智数联科技有限公司 | 一种非侵入式管道腐蚀监测系统、方法及装置 |
CN116645372B (zh) * | 2023-07-27 | 2023-10-10 | 汉克威(山东)智能制造有限公司 | 一种制动气室外观图像智能检测方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2905232B2 (ja) * | 1989-10-13 | 1999-06-14 | 九州電力株式会社 | 配管用光学検査装置 |
JP3141048B2 (ja) * | 1992-04-06 | 2001-03-05 | オリンパス光学工業株式会社 | 3次元計測方法及び3次元計測装置 |
WO1998034195A1 (en) * | 1997-01-30 | 1998-08-06 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Generalized panoramic mosaic |
JP3013301B2 (ja) * | 1997-07-22 | 2000-02-28 | 日本電炉株式会社 | 画像処理を用いた鋼材表面の劣化度評価方法 |
JP4052609B2 (ja) * | 1998-08-27 | 2008-02-27 | 株式会社東芝 | パタン認識装置およびその方法 |
JP3568871B2 (ja) * | 2000-03-16 | 2004-09-22 | 株式会社巴コーポレーション | 管内面腐食点検における劣化度合評価方法 |
JP3608106B2 (ja) * | 2000-09-19 | 2005-01-05 | 日本電炉株式会社 | 画像処理を用いた鋼材表面の劣化度評価システム |
JP2003032674A (ja) * | 2001-07-16 | 2003-01-31 | Emaki:Kk | 管状物内壁のビデオ画像から連続した展開静止画像を自動生成するシステム |
US7324137B2 (en) * | 2004-01-29 | 2008-01-29 | Naomichi Akizuki | System for automatically generating continuous developed still image from video image of inner wall of tubular object |
JP5190566B2 (ja) * | 2006-02-16 | 2013-04-24 | 株式会社アサノ大成基礎エンジニアリング | トンネル内壁面点検システム |
-
2010
- 2010-12-08 JP JP2010274022A patent/JP5647878B2/ja active Active
-
2014
- 2014-05-09 JP JP2014097545A patent/JP5764238B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP5764238B2 (ja) | 2015-08-19 |
JP2012013675A (ja) | 2012-01-19 |
JP2014178328A (ja) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5647878B2 (ja) | 鋼管内部腐食解析装置及び鋼管内部腐食解析方法 | |
Ganesan et al. | Segmentation and edge detection of color images using CIELAB color space and edge detectors | |
US7936377B2 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
JP4997252B2 (ja) | 画像内の照明域を識別する方法 | |
US7894662B2 (en) | Method for using image depth information in identifying illumination fields | |
JP5248213B2 (ja) | 腐食度評価方法、装置及びプログラム | |
US8542917B2 (en) | System and method for identifying complex tokens in an image | |
JP3581149B2 (ja) | 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置 | |
CN102859346B (zh) | 用于设置光学检查参数的装置与方法 | |
US8559714B2 (en) | Post processing for improved generation of intrinsic images | |
US8983183B2 (en) | Spatially varying log-chromaticity normals for use in an image process | |
KR101813223B1 (ko) | 영상 표면의 결함을 검출 및 분류하는 방법 및 장치 | |
JP3608106B2 (ja) | 画像処理を用いた鋼材表面の劣化度評価システム | |
JPWO2018203514A1 (ja) | 画像解析評価方法、コンピュータプログラム、画像解析評価装置 | |
CN115018848B (zh) | 一种页岩含油级别的评定方法 | |
US8553979B2 (en) | Post processing for improved generation of intrinsic images | |
CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
US10083516B2 (en) | Method for segmenting a color image and digital microscope | |
US8842907B2 (en) | Method for performing a multi-clustering merge for use in an image process | |
US8849018B2 (en) | Log-chromaticity clustering pipeline for use in an image process | |
US8655099B2 (en) | Relationship maintenance in an image process | |
Guo et al. | Color difference matrix index for tone-mapped images quality assessment | |
US8811732B2 (en) | Weighted entropy minimization for optimizing a log-chromaticity normal for use in an image process | |
CN116012314A (zh) | 基于机器视觉的谷糙分界线识别方法、装置、设备及介质 | |
CN117760560A (zh) | 基于色度数据矩阵的平面产品表面色差检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5647878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |