JPH0767101A - 異常監視方法及びその装置 - Google Patents
異常監視方法及びその装置Info
- Publication number
- JPH0767101A JPH0767101A JP5210601A JP21060193A JPH0767101A JP H0767101 A JPH0767101 A JP H0767101A JP 5210601 A JP5210601 A JP 5210601A JP 21060193 A JP21060193 A JP 21060193A JP H0767101 A JPH0767101 A JP H0767101A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- abnormality
- monitoring
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 撮像した機器の画像情報を用いて視覚的な状
態変化を伴う機器の異常を精度良く検出する。 【構成】 監視対象領域の撮像画像のエッジ部をエッジ
抽出部3で抽出し、このエッジ部をマスク画像とする。
次に、該撮像画像と該撮像画像撮影時から時間をおいて
撮像した前記監視対象領域の撮像画像との差画像を演算
部5で求めると共に、該差画像を論理演算部7により前
記マスク画像でマスクする。この結果得られる差画像
を、論理演算部7により2値化しきい値で2値化し、2
値化画像を求め、異常判定部8は、2値化画像の面積の
大きさから異常の有無を判定する。
態変化を伴う機器の異常を精度良く検出する。 【構成】 監視対象領域の撮像画像のエッジ部をエッジ
抽出部3で抽出し、このエッジ部をマスク画像とする。
次に、該撮像画像と該撮像画像撮影時から時間をおいて
撮像した前記監視対象領域の撮像画像との差画像を演算
部5で求めると共に、該差画像を論理演算部7により前
記マスク画像でマスクする。この結果得られる差画像
を、論理演算部7により2値化しきい値で2値化し、2
値化画像を求め、異常判定部8は、2値化画像の面積の
大きさから異常の有無を判定する。
Description
【0001】
【産業上の利用分野】本発明は発電プラント等の構成機
器を撮像画像情報を用いて視覚的に監視する異常監視方
法及びその装置に係り、特に、異常の有無を短時間に検
出する好適な異常監視方法及びその装置に関する。
器を撮像画像情報を用いて視覚的に監視する異常監視方
法及びその装置に係り、特に、異常の有無を短時間に検
出する好適な異常監視方法及びその装置に関する。
【0002】
【従来の技術】監視装置の従来技術として、例えば特開
平2−171897号公報記載のものがある。この従来
技術は、侵入者等の監視を行うものであり、先ず設定モ
ードにおいて、時間をおいて撮像した複数画像の各々の
エッジ画像を蓄積して参照画像を生成し(つまり、侵入
者が無い状態で照明光線のみが変化したとき得られる画
像のエッジ画像を蓄積しておく。)、次の検知モードに
おいて撮像した画像からエッジ画像を求め、このエッジ
画像と前記参照画像とを比較して新たに出現したエッジ
画像の有無により侵入者の有無を判断しようとしてい
る。
平2−171897号公報記載のものがある。この従来
技術は、侵入者等の監視を行うものであり、先ず設定モ
ードにおいて、時間をおいて撮像した複数画像の各々の
エッジ画像を蓄積して参照画像を生成し(つまり、侵入
者が無い状態で照明光線のみが変化したとき得られる画
像のエッジ画像を蓄積しておく。)、次の検知モードに
おいて撮像した画像からエッジ画像を求め、このエッジ
画像と前記参照画像とを比較して新たに出現したエッジ
画像の有無により侵入者の有無を判断しようとしてい
る。
【0003】また、特開昭60−7593号公報記載の
従来技術では、時間をおいて撮像した2つの画像の差分
を求め、差分の画素数が設定値以上のとき異常が発生し
たと判断している。
従来技術では、時間をおいて撮像した2つの画像の差分
を求め、差分の画素数が設定値以上のとき異常が発生し
たと判断している。
【0004】
【発明が解決しようとする課題】発電プラント等では、
その構成機器の監視の自動化が望まれている。例えば配
管のフランジを監視する場合、フランジに異常が発生す
るとその異常箇所から水滴や蒸気漏れ等が発生するの
で、これらの流体漏洩の有無を自動的に検出すること
で、監視が可能となる。しかし、このような水滴等の監
視に上記の従来技術をそのまま適用することはできな
い。
その構成機器の監視の自動化が望まれている。例えば配
管のフランジを監視する場合、フランジに異常が発生す
るとその異常箇所から水滴や蒸気漏れ等が発生するの
で、これらの流体漏洩の有無を自動的に検出すること
で、監視が可能となる。しかし、このような水滴等の監
視に上記の従来技術をそのまま適用することはできな
い。
【0005】発電プラント等の監視では、ロボットに監
視カメラを搭載しこの1台の監視カメラで数十箇所の監
視対象領域の監視を行うが、このプラント監視に、特開
平2−171897号公報記載の従来技術を適用する場
合、各監視対象領域毎に参照画像を予め生成しなければ
ならなくなる。つまり、参照画像を予め生成した場合、
ある監視対象領域を監視する時は必ず決まった所定位置
に監視用ロボットを移動させる必要が生じ、監視用ロボ
ットの制御が難しくなってしまう。また、プラントの照
明光が常に一定であるとは限らないため、一ヶ所の監視
対象領域について複数の参照画像を生成しておかなけれ
ばならない事態も生じる。特に、原子力発電プラントで
は、原子炉が稼動状態に入ると次の定期点検時まで1年
位は監視用ロボットの保守点検が不可能となる。従っ
て、この従来技術を発電プラントの監視に適用すること
は実際上不可能である。
視カメラを搭載しこの1台の監視カメラで数十箇所の監
視対象領域の監視を行うが、このプラント監視に、特開
平2−171897号公報記載の従来技術を適用する場
合、各監視対象領域毎に参照画像を予め生成しなければ
ならなくなる。つまり、参照画像を予め生成した場合、
ある監視対象領域を監視する時は必ず決まった所定位置
に監視用ロボットを移動させる必要が生じ、監視用ロボ
ットの制御が難しくなってしまう。また、プラントの照
明光が常に一定であるとは限らないため、一ヶ所の監視
対象領域について複数の参照画像を生成しておかなけれ
ばならない事態も生じる。特に、原子力発電プラントで
は、原子炉が稼動状態に入ると次の定期点検時まで1年
位は監視用ロボットの保守点検が不可能となる。従っ
て、この従来技術を発電プラントの監視に適用すること
は実際上不可能である。
【0006】また、エッジ画像の累積画像に対して新た
に出現するエッジ画像から異常の有無を判定するので
は、異常の発生を見逃す虞が高いという問題もある。そ
れは、上記の例で言えば、かなり小さい水滴の画像のエ
ッジ画像の有無から判断するからである。この点は、特
開平60−7593号公報記載の従来技術の様に、時間
をおいた2つの画像の差分から求める方がプラント監視
では信頼性が高いといえる。しかし、2つの画像の差画
像を求めた場合、水滴の画像のみが抽出される訳ではな
く、様々な画像が差画像中に現れ、水滴画像がその中に
埋没してしまい、水滴の有無を装置が自動判定するの難
しい。
に出現するエッジ画像から異常の有無を判定するので
は、異常の発生を見逃す虞が高いという問題もある。そ
れは、上記の例で言えば、かなり小さい水滴の画像のエ
ッジ画像の有無から判断するからである。この点は、特
開平60−7593号公報記載の従来技術の様に、時間
をおいた2つの画像の差分から求める方がプラント監視
では信頼性が高いといえる。しかし、2つの画像の差画
像を求めた場合、水滴の画像のみが抽出される訳ではな
く、様々な画像が差画像中に現れ、水滴画像がその中に
埋没してしまい、水滴の有無を装置が自動判定するの難
しい。
【0007】更に、画像処理は撮像画像の2値化処理が
必要となるが、この2値化のしきい値の設定の仕方によ
り、検出精度は変わってくるが、上記の従来技術はこの
しきい値の問題については解決していない。
必要となるが、この2値化のしきい値の設定の仕方によ
り、検出精度は変わってくるが、上記の従来技術はこの
しきい値の問題については解決していない。
【0008】本発明の目的は、予め参照画像を生成する
ことなく、しかも、微細な変化も自動検出することの可
能なプラントの異常監視方法及びその装置を提供するこ
とにある。
ことなく、しかも、微細な変化も自動検出することの可
能なプラントの異常監視方法及びその装置を提供するこ
とにある。
【0009】
【課題を解決するための手段】上記目的は、監視対象領
域の撮像画像のエッジ部を抽出し、該撮像画像と該撮像
画像撮影時から時間をおいて撮像した前記監視対象領域
の撮像画像との差画像を求めるとき、前記エッジ部をマ
スク画像として差画像を求め、該差画像をしきい値で2
値化して2値化画像を求め、該2値化画像から異常の有
無を判定することで、達成される。
域の撮像画像のエッジ部を抽出し、該撮像画像と該撮像
画像撮影時から時間をおいて撮像した前記監視対象領域
の撮像画像との差画像を求めるとき、前記エッジ部をマ
スク画像として差画像を求め、該差画像をしきい値で2
値化して2値化画像を求め、該2値化画像から異常の有
無を判定することで、達成される。
【0010】差画像を求める差分処理における2値化し
きい値の自動設定は次のように行う。まず、予め差分処
理における画像の平均濃度と濃度差の関係を実験的に求
めておく。次に、時系列的に得られる2つの撮像画像の
差分処理を実施する前に、撮像した監視対象領域の濃淡
画像から監視画像の平均濃度を求める。この画像の平均
濃度を用い、予め求めておいた画像の平均濃度と濃度差
の関係から2値化しきい値を自動設定する。
きい値の自動設定は次のように行う。まず、予め差分処
理における画像の平均濃度と濃度差の関係を実験的に求
めておく。次に、時系列的に得られる2つの撮像画像の
差分処理を実施する前に、撮像した監視対象領域の濃淡
画像から監視画像の平均濃度を求める。この画像の平均
濃度を用い、予め求めておいた画像の平均濃度と濃度差
の関係から2値化しきい値を自動設定する。
【0011】好ましくは、この様にして得た2値画像を
累積し、累積画像の面積を求めて異常の判定を行う。
累積し、累積画像の面積を求めて異常の判定を行う。
【0012】
【作用】時系列的に得た2つの画像の差画像には様々な
ノイズが入っている。このノイズは、撮像手段である例
えばCCDの特性や照明光の微妙な変化等で発生する
が、本発明者等の実験によれば、撮像画像のエッジ部に
集中することが判明した。そこで、本発明では、エッジ
部を求め、このエッジ部をマスク画像とすることで、ノ
イズの大部分が除去できる。
ノイズが入っている。このノイズは、撮像手段である例
えばCCDの特性や照明光の微妙な変化等で発生する
が、本発明者等の実験によれば、撮像画像のエッジ部に
集中することが判明した。そこで、本発明では、エッジ
部を求め、このエッジ部をマスク画像とすることで、ノ
イズの大部分が除去できる。
【0013】異常が発生した場合、その異常により画像
濃度が変化する。この変化は、撮像画像の平均濃度に関
ってくる。例えば、水滴が漏れている場合には、その水
滴の画像が元の正常時の画像に対して増えたことにな
り、画像の平均濃度はその分だけ上がる。従って、撮像
画像の平均濃度と濃度差の関係から2値化しきい値を変
更することで、異常の有無に良好な2値化画像を得るこ
とが可能となる。
濃度が変化する。この変化は、撮像画像の平均濃度に関
ってくる。例えば、水滴が漏れている場合には、その水
滴の画像が元の正常時の画像に対して増えたことにな
り、画像の平均濃度はその分だけ上がる。従って、撮像
画像の平均濃度と濃度差の関係から2値化しきい値を変
更することで、異常の有無に良好な2値化画像を得るこ
とが可能となる。
【0014】
【実施例】以下、本発明の一実施例を図面を参照して説
明する。まず、本発明の概要を図2〜図3を用いて説明
する。図2は、水漏れなどの状態変化の時定数の短い異
常を検出するための差分処理手法の原理を説明するため
の図である。これは水滴が次の瞬間にはその位置を変え
ることを利用し、時系列に取り込んだ2つの画像間の差
分処理を行うことにより、画像間の差がある画素だけを
抽出し、異常を検出するものである。ここでは、プラン
ト内において配管22に接続されたフランジ23から水
滴21が漏れている例について説明する。
明する。まず、本発明の概要を図2〜図3を用いて説明
する。図2は、水漏れなどの状態変化の時定数の短い異
常を検出するための差分処理手法の原理を説明するため
の図である。これは水滴が次の瞬間にはその位置を変え
ることを利用し、時系列に取り込んだ2つの画像間の差
分処理を行うことにより、画像間の差がある画素だけを
抽出し、異常を検出するものである。ここでは、プラン
ト内において配管22に接続されたフランジ23から水
滴21が漏れている例について説明する。
【0015】まず、時刻tにおける監視対象の入力画像
20aを取り込む。この入力画像20aにはフランジ2
3から漏れた水滴21aが撮像されている。次に、時刻
t+Δtにおける監視対象の入力画像20bを取り込
む。この入力画像20b中の水滴21bは、Δtの間に
鉛直方向に落下しており、入力画像20aの水滴21a
とは異なる位置に撮像されている。そこで、この両画像
20a,20bの差分処理を行い、更に2値化処理を行
う。このような処理により、差分画像20cが得られ、
画像間の差がある画素すなわち水滴21cを検出するこ
とができる。しかしながら、この差分画像20cには水
滴21cだけでなく、ノイズ24も同時に検出してしま
う。このノイズは、入力画像における濃度の急激に変化
する画素すなわち画像のエッジ部から発生する。この理
由は、ITVカメラの撮像素子の特性によるものと考え
られる。図2(c)には、フランジのエッジとほぼ同じ
形状のノイズとして図示してあるが、実際には、エッジ
に対応する連続線としてノイズが出現するのではなく、
不連続でかなり乱れた破線状のノイズであり、一見して
これがフランジのエッジであるとは認識できない形状で
ある。このノイズ発生の理由は、ITVカメラの撮像素
子の特性によるものと考えらる。このノイズを除去する
従来技術として例えば特開平2−205998号公報記
載のものがある。この従来技術では、ノイズの影響をな
くすために、画面上のノイズが入らない領域にウインド
ウを設け監視領域を限定していた。このため、カメラの
撮像領域が広くても、実際に監視できるのは狭いウイン
ドウ内に限定されてしまうという問題がある。
20aを取り込む。この入力画像20aにはフランジ2
3から漏れた水滴21aが撮像されている。次に、時刻
t+Δtにおける監視対象の入力画像20bを取り込
む。この入力画像20b中の水滴21bは、Δtの間に
鉛直方向に落下しており、入力画像20aの水滴21a
とは異なる位置に撮像されている。そこで、この両画像
20a,20bの差分処理を行い、更に2値化処理を行
う。このような処理により、差分画像20cが得られ、
画像間の差がある画素すなわち水滴21cを検出するこ
とができる。しかしながら、この差分画像20cには水
滴21cだけでなく、ノイズ24も同時に検出してしま
う。このノイズは、入力画像における濃度の急激に変化
する画素すなわち画像のエッジ部から発生する。この理
由は、ITVカメラの撮像素子の特性によるものと考え
られる。図2(c)には、フランジのエッジとほぼ同じ
形状のノイズとして図示してあるが、実際には、エッジ
に対応する連続線としてノイズが出現するのではなく、
不連続でかなり乱れた破線状のノイズであり、一見して
これがフランジのエッジであるとは認識できない形状で
ある。このノイズ発生の理由は、ITVカメラの撮像素
子の特性によるものと考えらる。このノイズを除去する
従来技術として例えば特開平2−205998号公報記
載のものがある。この従来技術では、ノイズの影響をな
くすために、画面上のノイズが入らない領域にウインド
ウを設け監視領域を限定していた。このため、カメラの
撮像領域が広くても、実際に監視できるのは狭いウイン
ドウ内に限定されてしまうという問題がある。
【0016】図3は本発明の概要を説明するための図で
ある。まず、監視対象の入力画像20dを取り込む。次
にこの入力画像20dの画像のエッジ部の抽出処理を行
い、エッジ部だけが抽出されたマスク画像20eを生成
する。このマスク画像20eを参照し、図2に示す差分
画像20cをマスクする、すなわち、このマスク処理で
は画像のエッジ部だけの画素周辺は差分処理を行わな
い。さらにこのマスク処理を施した差分画像に対して2
値化処理を行う。この結果、水滴21cだけを検出した
差分画像20fが得られる。このような処理により、時
系列画像間の差分処理において監視領域を限定せずに、
監視カメラの撮像範囲全領域で異常の監視が可能とな
る。
ある。まず、監視対象の入力画像20dを取り込む。次
にこの入力画像20dの画像のエッジ部の抽出処理を行
い、エッジ部だけが抽出されたマスク画像20eを生成
する。このマスク画像20eを参照し、図2に示す差分
画像20cをマスクする、すなわち、このマスク処理で
は画像のエッジ部だけの画素周辺は差分処理を行わな
い。さらにこのマスク処理を施した差分画像に対して2
値化処理を行う。この結果、水滴21cだけを検出した
差分画像20fが得られる。このような処理により、時
系列画像間の差分処理において監視領域を限定せずに、
監視カメラの撮像範囲全領域で異常の監視が可能とな
る。
【0017】次に本発明による差分処理における2値化
しきい値の自動設定法について説明する。差分処理にお
いては同一監視対象の画像同志の差を演算しても、その
差分画像の濃度は零にはならず有意な値を持つ。これ
は、A/D(Analog to Digital)変換に伴う量子化誤差のた
めである。
しきい値の自動設定法について説明する。差分処理にお
いては同一監視対象の画像同志の差を演算しても、その
差分画像の濃度は零にはならず有意な値を持つ。これ
は、A/D(Analog to Digital)変換に伴う量子化誤差のた
めである。
【0018】図4は、差分処理における画像の平均濃度
と濃度差の最大値の関係を示す実験データであり、差分
処理を10回繰り返しその濃度差の最大値を3回測定し
たものである。ここで、「正常時」(白丸)は水滴が無
い場合、「異常時」(黒丸)は水滴を落下させた場合の
結果である。このように画像の平均的な明るさすなわち
画像の平均濃度に依存して正常時の濃度差25及び異常
時の濃度差26も線形に増加してゆく。この場合、異常
発生時と正常時では最大20程度の有意な濃度差がある
ことがわかる。したがって、画像の平均濃度に依存した
正常時の濃度差25以上のレベルに2値化しきい値26
を設定すれば、異常事象の自動検出が可能となる。ここ
では、濃度差が画像の平均濃度に依存して線形に増加し
てゆくことから、2値化しきい値を画像の平均濃度の一
次式で表す。
と濃度差の最大値の関係を示す実験データであり、差分
処理を10回繰り返しその濃度差の最大値を3回測定し
たものである。ここで、「正常時」(白丸)は水滴が無
い場合、「異常時」(黒丸)は水滴を落下させた場合の
結果である。このように画像の平均的な明るさすなわち
画像の平均濃度に依存して正常時の濃度差25及び異常
時の濃度差26も線形に増加してゆく。この場合、異常
発生時と正常時では最大20程度の有意な濃度差がある
ことがわかる。したがって、画像の平均濃度に依存した
正常時の濃度差25以上のレベルに2値化しきい値26
を設定すれば、異常事象の自動検出が可能となる。ここ
では、濃度差が画像の平均濃度に依存して線形に増加し
てゆくことから、2値化しきい値を画像の平均濃度の一
次式で表す。
【0019】2値化しきい値Tは画像の平均濃度Iとす
ると次の数1で表される。
ると次の数1で表される。
【0020】
【数1】T=A・I+B ここで、A,Bは定数である。
【0021】このように2値化しきい値を画像の平均濃
度から設定することにより、差分処理における2値化処
理の自動化が実現できる。なお、この差分処理における
画像の平均濃度と濃度差の関係はあらかじめ求めてお
き、メモリに記憶しておく。
度から設定することにより、差分処理における2値化処
理の自動化が実現できる。なお、この差分処理における
画像の平均濃度と濃度差の関係はあらかじめ求めてお
き、メモリに記憶しておく。
【0022】次に、水漏れなどの状態変化の時定数の短
い異常を対象とした場合の本発明の第1実施例の処理ア
ルゴリズムについて説明する。図5は本実施例に係るの
時系列画像の差分処理手順を示すフローチャートであ
る。まず、予め差分処理における画像の平均濃度と濃度
差の関係を求めておき、2値化しきい値と平均濃度の関
係を表す一次式の定数をメモリに記憶しておく(ステッ
プ11A)。次に、監視実行前に撮像した監視機器の濃
淡画像から画像のエッジ部を抽出したマスク画像を生成
する(ステップ11B)。次のステップ11Cでは、撮
像した監視機器の濃淡画像から画像の平均濃度を求め、
ステップ11Aで求めた2値化しきい値と平均濃度の関
係からこの監視画像における2値化しきい値を設定す
る。
い異常を対象とした場合の本発明の第1実施例の処理ア
ルゴリズムについて説明する。図5は本実施例に係るの
時系列画像の差分処理手順を示すフローチャートであ
る。まず、予め差分処理における画像の平均濃度と濃度
差の関係を求めておき、2値化しきい値と平均濃度の関
係を表す一次式の定数をメモリに記憶しておく(ステッ
プ11A)。次に、監視実行前に撮像した監視機器の濃
淡画像から画像のエッジ部を抽出したマスク画像を生成
する(ステップ11B)。次のステップ11Cでは、撮
像した監視機器の濃淡画像から画像の平均濃度を求め、
ステップ11Aで求めた2値化しきい値と平均濃度の関
係からこの監視画像における2値化しきい値を設定す
る。
【0023】次のステップ11Dで、画像間の差分処理
を行う。この差分処理では、まず、時刻tにおける監視
対象の画像g(t)を取り込み、次に時刻t+Δtにおけ
る監視対象の画像g(t+Δt)を取り込む。そして、この
取り込んだ両画像間の差分処理を行う。この差分処理に
よって得られた差分画像を、ステップ11Bで生成した
マスク画像を参照してマスク処理し(ステップ11
E)、得られた差分画像をステップ11Cで設定した2
値化しきい値で2値化して2値画像を求める(ステップ
11F)。本実施例では、更に、ここで求めた2値画像
を順次、累積してゆき、累積画像を求める(ステップ1
1G)。
を行う。この差分処理では、まず、時刻tにおける監視
対象の画像g(t)を取り込み、次に時刻t+Δtにおけ
る監視対象の画像g(t+Δt)を取り込む。そして、この
取り込んだ両画像間の差分処理を行う。この差分処理に
よって得られた差分画像を、ステップ11Bで生成した
マスク画像を参照してマスク処理し(ステップ11
E)、得られた差分画像をステップ11Cで設定した2
値化しきい値で2値化して2値画像を求める(ステップ
11F)。本実施例では、更に、ここで求めた2値画像
を順次、累積してゆき、累積画像を求める(ステップ1
1G)。
【0024】次に、この一連の処理を続けるかどうか判
定し、続ける場合はこの差分処理をさらに実行し、続け
ない場合は次のステップを実行する(ステップ11
H)。このようにして求めた累積画像の面積を演算し
(ステップ11I)、最終的にこの面積が所定値以上か
どうか判定する(ステップ11J)。この判定の結果、
累積画像の面積が所定値以上であれば異常ありとし(ス
テップ11K)、所定値未満であれば異常なしとする
(ステップ11L)。以上の処理により、状態変化の時
定数の短い異常を対象とした場合の異常監視を精度良く
行うことが可能となる。
定し、続ける場合はこの差分処理をさらに実行し、続け
ない場合は次のステップを実行する(ステップ11
H)。このようにして求めた累積画像の面積を演算し
(ステップ11I)、最終的にこの面積が所定値以上か
どうか判定する(ステップ11J)。この判定の結果、
累積画像の面積が所定値以上であれば異常ありとし(ス
テップ11K)、所定値未満であれば異常なしとする
(ステップ11L)。以上の処理により、状態変化の時
定数の短い異常を対象とした場合の異常監視を精度良く
行うことが可能となる。
【0025】図1は、上述した監視を行う異常監視装置
の構成図である。ITVカメラ1から入力された監視画
像は、入力部2を介してエッジ抽出部3及び演算部5に
入力される。エッジ抽出部3は、監視画像のエッジ抽出
処理を行い、マスク画像を生成し、画像メモリ4へ記憶
する。演算部5では濃淡画像の取り込み及び差分処理を
実行し、その演算結果を論理演算部7へ出力する。論理
演算部7では、マスク画像を参照した差分画像へのマス
ク処理及びマスクされた差分画像の2値化処理と2値画
像の累積処理を実施する。異常判定部8は、累積画像の
面積を演算し、また、この面積が所定値以上かどうか判
定して異常の有無を検出する。これらの演算結果は、出
力部9を介して表示部10に表示する。ここでは、撮像
手段としてITVカメラを用いているが、機器の熱画像
を撮像する赤外線カメラを用いることもできる。
の構成図である。ITVカメラ1から入力された監視画
像は、入力部2を介してエッジ抽出部3及び演算部5に
入力される。エッジ抽出部3は、監視画像のエッジ抽出
処理を行い、マスク画像を生成し、画像メモリ4へ記憶
する。演算部5では濃淡画像の取り込み及び差分処理を
実行し、その演算結果を論理演算部7へ出力する。論理
演算部7では、マスク画像を参照した差分画像へのマス
ク処理及びマスクされた差分画像の2値化処理と2値画
像の累積処理を実施する。異常判定部8は、累積画像の
面積を演算し、また、この面積が所定値以上かどうか判
定して異常の有無を検出する。これらの演算結果は、出
力部9を介して表示部10に表示する。ここでは、撮像
手段としてITVカメラを用いているが、機器の熱画像
を撮像する赤外線カメラを用いることもできる。
【0026】図6,図7は、本発明の第2実施例に係る
異常監視方法の説明図である。本実施例では、監視画像
を複数の領域に分割し、差分処理における2値化しきい
値を領域毎に設定し、異常を更に精度良く検出するよう
にしている。図6は監視画像を複数の領域に分割した場
合の例である。ここでは、簡単のため、画像を4つの領
域に分割している。入力画像20を図6のように4つの
領域20A〜20Dに分割し、分割した領域毎に画像の
平均濃度を求め、これからそれぞれの領域毎の2値化し
きい値を設定する。図7は、2値化しきい値の設定手順
を示すフローチャートであり、2値化しきい値の設定以
外の処理は、図5の処理と同じである。図7において、
まず、分割された領域毎の平均濃度Ia,Ib,Ic,Idを演算
する(ステップ13A)。次に、予め求めてある2値化
しきい値と平均濃度の関係を表す一次式の定数A,Bを
用い、領域毎の2値化しきい値Ta,Tb,Tc,Tdを次の数2
〜数5
異常監視方法の説明図である。本実施例では、監視画像
を複数の領域に分割し、差分処理における2値化しきい
値を領域毎に設定し、異常を更に精度良く検出するよう
にしている。図6は監視画像を複数の領域に分割した場
合の例である。ここでは、簡単のため、画像を4つの領
域に分割している。入力画像20を図6のように4つの
領域20A〜20Dに分割し、分割した領域毎に画像の
平均濃度を求め、これからそれぞれの領域毎の2値化し
きい値を設定する。図7は、2値化しきい値の設定手順
を示すフローチャートであり、2値化しきい値の設定以
外の処理は、図5の処理と同じである。図7において、
まず、分割された領域毎の平均濃度Ia,Ib,Ic,Idを演算
する(ステップ13A)。次に、予め求めてある2値化
しきい値と平均濃度の関係を表す一次式の定数A,Bを
用い、領域毎の2値化しきい値Ta,Tb,Tc,Tdを次の数2
〜数5
【0027】
【数2】Ta=A・Ia+B
【0028】
【数3】Tb=A・Ib+B
【0029】
【数4】Tc=A・Ic+B
【0030】
【数5】Td=A・Id+B により求める(ステップ13B)。
【0031】このようにして求めた2値化しきい値を用
い、領域毎に差分処理を実施する。本実施例によれば、
領域毎に2値化しきい値を設定し2値化処理を行うた
め、濃度変化の小さな異常を検出することが可能とな
る。
い、領域毎に差分処理を実施する。本実施例によれば、
領域毎に2値化しきい値を設定し2値化処理を行うた
め、濃度変化の小さな異常を検出することが可能とな
る。
【0032】次に、本発明の第3実施例について説明す
る。この実施例は、監視画像の画面上で異常発生個所が
予め既知である場合に適用する。つまり、ウインドウを
設定し監視領域を限定する。これにより、差分処理に要
する時間を短くすることが可能となる。図8は本発明の
第3実施例の概要を説明する図である。まず、監視対象
の入力画像20dにウインドウ28を設定し監視領域を
限定する。この処理により、このウインドウ28の枠の
内側の画像のみが処理の対象となる。次にこの監視対象
の入力画像20dのエッジ抽出処理を行い、ウインドウ
28内のマスク画像20eを生成する。これ以降の処理
は第1実施例と同一であるので説明は省略する。最終的
に差分画像20fが得られ、ウインドウ28内の水滴2
1cが異常として検出される。
る。この実施例は、監視画像の画面上で異常発生個所が
予め既知である場合に適用する。つまり、ウインドウを
設定し監視領域を限定する。これにより、差分処理に要
する時間を短くすることが可能となる。図8は本発明の
第3実施例の概要を説明する図である。まず、監視対象
の入力画像20dにウインドウ28を設定し監視領域を
限定する。この処理により、このウインドウ28の枠の
内側の画像のみが処理の対象となる。次にこの監視対象
の入力画像20dのエッジ抽出処理を行い、ウインドウ
28内のマスク画像20eを生成する。これ以降の処理
は第1実施例と同一であるので説明は省略する。最終的
に差分画像20fが得られ、ウインドウ28内の水滴2
1cが異常として検出される。
【0033】次に、本発明の第4実施例について図9,
図10を用いて説明する。本実施例では、水たまりや油
たまり等の状態変化のように時定数の長い異常を対象と
する場合に適用するものであり、正常時の監視対象の画
像と、監視時の画像間の差分処理を行うことにより、異
常を検出する。図9は第4実施例の概要を説明する図で
ある。ここでは、プラント内において、フランジ部から
の水漏れにより、その床面に水たまりが発生した場合
(図示せず)の異常を検出する例について説明する。
図10を用いて説明する。本実施例では、水たまりや油
たまり等の状態変化のように時定数の長い異常を対象と
する場合に適用するものであり、正常時の監視対象の画
像と、監視時の画像間の差分処理を行うことにより、異
常を検出する。図9は第4実施例の概要を説明する図で
ある。ここでは、プラント内において、フランジ部から
の水漏れにより、その床面に水たまりが発生した場合
(図示せず)の異常を検出する例について説明する。
【0034】まず、監視実行前に監視対象の正常時の画
像30aを撮像する。次に、この正常時の画像30aの
画像のエッジ部の抽出処理を行い、エッジ部だけが抽出
されたマスク画像30bを生成する。監視実行時には監
視対象の画像を取り込む。この監視時画像30cには正
常時画像30aには存在しなかった水たまり31が撮影
されている。監視時画像30cと正常時画像30aの差
分処理を行い、この差分処理の結果は、マスク画像30
bを参照しマスク処理が実施され、その後、2値化処理
を行う。この処理の結果、水たまり31による異常だけ
を検出した差分画像30dが得られる。
像30aを撮像する。次に、この正常時の画像30aの
画像のエッジ部の抽出処理を行い、エッジ部だけが抽出
されたマスク画像30bを生成する。監視実行時には監
視対象の画像を取り込む。この監視時画像30cには正
常時画像30aには存在しなかった水たまり31が撮影
されている。監視時画像30cと正常時画像30aの差
分処理を行い、この差分処理の結果は、マスク画像30
bを参照しマスク処理が実施され、その後、2値化処理
を行う。この処理の結果、水たまり31による異常だけ
を検出した差分画像30dが得られる。
【0035】図10は、この第4実施例の処理手順のう
ち画像間の差分処理についてのみ記述したフローチャー
トであり、それ以外の処理は第1実施例の処理と同じで
ある。図10において、予め記憶してある正常時画像g
nのエッジ部の抽出処理を行い、マスク画像gmを生成す
る(ステップ12A)。次に、監視時の画像ginを取り
込み、この画像における平均濃度を求め、これより2値
化しきい値を設定する(ステップ12B)。取り込んだ
監視時画像ginと予め記憶してある正常時画像gnの差
分処理を行い(ステップ12C)、この差分結果をマス
ク画像gmを参照してマスク処理する(ステップ12
D)。この差分結果をステップ12Bで求めた2値化し
きい値を用い2値化処理を行い、2値化した差分画像が
得られる(ステップ12E)。次に、ここで求めた差分
画像の面積を演算する(ステップ12F)。これ以降の
処理は、図5に示す第1実施例のアルゴリズムと同一で
あり、差分画像の面積から異常の有無を判定する。本実
施例によれば、水たまり等の状態変化の時定数の長い異
常に対しても有効である。
ち画像間の差分処理についてのみ記述したフローチャー
トであり、それ以外の処理は第1実施例の処理と同じで
ある。図10において、予め記憶してある正常時画像g
nのエッジ部の抽出処理を行い、マスク画像gmを生成す
る(ステップ12A)。次に、監視時の画像ginを取り
込み、この画像における平均濃度を求め、これより2値
化しきい値を設定する(ステップ12B)。取り込んだ
監視時画像ginと予め記憶してある正常時画像gnの差
分処理を行い(ステップ12C)、この差分結果をマス
ク画像gmを参照してマスク処理する(ステップ12
D)。この差分結果をステップ12Bで求めた2値化し
きい値を用い2値化処理を行い、2値化した差分画像が
得られる(ステップ12E)。次に、ここで求めた差分
画像の面積を演算する(ステップ12F)。これ以降の
処理は、図5に示す第1実施例のアルゴリズムと同一で
あり、差分画像の面積から異常の有無を判定する。本実
施例によれば、水たまり等の状態変化の時定数の長い異
常に対しても有効である。
【0036】図11は、上述した異常監視装置をプラン
ト内に設置するロボットの構成図である。プラント50
内には各監視機器の異常監視装置が走行するためのレ−
ル51が敷設してある。ITVカメラ1は駆動機構52
に搭載されており、レ−ル51上を移動し所定位置に停
止したITVカメラ1により監視機器54の状態を画像
として撮像する。ITVカメラ1で撮像した画像は、プ
ラント50外に設置された異常監視装置53に送られ、
状態変化の有無すなわち異常の有無を検出する。なお、
本実施例によるプラント異常監視装置では、水の滴下や
蒸気漏れ等の状態変化の時定数の短い異常事象及び水た
まりや油たまり等の状態変化の時定数の長い異常事象、
さらに各種機器における物の脱落や移動等の異常事象に
対しても適用する。
ト内に設置するロボットの構成図である。プラント50
内には各監視機器の異常監視装置が走行するためのレ−
ル51が敷設してある。ITVカメラ1は駆動機構52
に搭載されており、レ−ル51上を移動し所定位置に停
止したITVカメラ1により監視機器54の状態を画像
として撮像する。ITVカメラ1で撮像した画像は、プ
ラント50外に設置された異常監視装置53に送られ、
状態変化の有無すなわち異常の有無を検出する。なお、
本実施例によるプラント異常監視装置では、水の滴下や
蒸気漏れ等の状態変化の時定数の短い異常事象及び水た
まりや油たまり等の状態変化の時定数の長い異常事象、
さらに各種機器における物の脱落や移動等の異常事象に
対しても適用する。
【0037】図12は、図11で説明した異常監視装置
53に設置されているディスプレイ装置の表示例を示す
図である。ITVカメラ1が目的の位置に停止したと
き、オペレータが異常監視開始を指示すると、画面には
ITVカメラ1による撮像画像が表示される(図12
(a))。次に、異常監視装置はこの画像から抽出した
マスク画像を画面に表示する(図12(b))。異常監
視装置はマスク画像を生成した1回目の撮像画像と次に
撮像した2回目の撮像画像の差分処理を行うと共に2値
化しきい値を用いて差画像から2値化画像を求め、この
2値化画像を画面に表示する。そして、この画像から異
常があると判定したときはこの画面中に「異常発生」を
表示する。
53に設置されているディスプレイ装置の表示例を示す
図である。ITVカメラ1が目的の位置に停止したと
き、オペレータが異常監視開始を指示すると、画面には
ITVカメラ1による撮像画像が表示される(図12
(a))。次に、異常監視装置はこの画像から抽出した
マスク画像を画面に表示する(図12(b))。異常監
視装置はマスク画像を生成した1回目の撮像画像と次に
撮像した2回目の撮像画像の差分処理を行うと共に2値
化しきい値を用いて差画像から2値化画像を求め、この
2値化画像を画面に表示する。そして、この画像から異
常があると判定したときはこの画面中に「異常発生」を
表示する。
【0038】
【発明の効果】本発明によれば、画面上にウインドウを
設定し監視領域を限定しなくても異常の監視を精度良く
行うことができ、一度に広い領域の監視が可能となる。
さらに、予め求めた差分処理における画像の平均濃度と
濃度差の関係から、監視画像における2値化しきい値を
自動設定するため、予め監視対象機器毎に2値化しきい
値を設定する処理が不要となる。この結果、監視パラメ
−タ設定に要する時間を短縮することができる。
設定し監視領域を限定しなくても異常の監視を精度良く
行うことができ、一度に広い領域の監視が可能となる。
さらに、予め求めた差分処理における画像の平均濃度と
濃度差の関係から、監視画像における2値化しきい値を
自動設定するため、予め監視対象機器毎に2値化しきい
値を設定する処理が不要となる。この結果、監視パラメ
−タ設定に要する時間を短縮することができる。
【図1】本発明の第1実施例に係る異常監視装置のブロ
ック構成図である。
ック構成図である。
【図2】時系列画像の差分処理手法を説明する図であ
る。
る。
【図3】本発明の概要を説明する図である。
【図4】本発明による差分処理における2値化しきい値
の自動設定法を説明する図である。
の自動設定法を説明する図である。
【図5】本発明の第1実施例に係る異常監視方法の処理
手順を示すフロ−チャ−トである。
手順を示すフロ−チャ−トである。
【図6】本発明の第2実施例に係る異常監視方法の説明
図である。
図である。
【図7】本発明の第2実施例に係る異常監視方法の処理
手順のうちの要部のフロ−チャ−トである。
手順のうちの要部のフロ−チャ−トである。
【図8】本発明の第3実施例に係る異常監視方法の説明
図である。
図である。
【図9】本発明の第4実施例に係る異常監視方法の説明
図である。
図である。
【図10】本発明の第4実施例に係る異常監視方法の処
理手順のうちの要部のフロ−チャ−トである。
理手順のうちの要部のフロ−チャ−トである。
【図11】本発明の異常監視装置をプラント監視に適用
した構成図である。
した構成図である。
【図12】図11に示す異常監視装置のディスプレイの
画面表示例を示す図である。
画面表示例を示す図である。
1…ITVカメラ、3…エッジ抽出部、4,6…画像メ
モリ、5…演算部、7…論理演算部、8…異常判定部。
モリ、5…演算部、7…論理演算部、8…異常判定部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 敬二 茨城県日立市幸町三丁目1番1号 株式会 社日立製作所日立工場内
Claims (10)
- 【請求項1】 機器の状態を時系列的に撮像した複数枚
の画像間の差分処理を行い該差分処理によって得られた
差分画像を2値化処理して前記機器の異常の有無を検出
する異常監視方法において、撮像画像からエッジ部を抽
出してマスク画像とし、前記差分画像を該マスク画像で
マスクして得られた差分画像を2値化処理し、2値化処
理して得られる2値化画像から前記機器の異常を判定す
ることを特徴とする異常監視方法。 - 【請求項2】 請求項1において、2値化処理における
2値化しきい値を、予め撮像した前記機器の画像の平均
濃度と濃度差との関係から求めることを特徴とする異常
監視方法。 - 【請求項3】 請求項1において、画像をマスクする処
理が、監視領域を限定する処理と画像のエッジ部だけを
マスクする処理を組合せた処理であることを特徴とする
異常監視方法。 - 【請求項4】 請求項1において、エッジ部を抽出する
画像は、機器の状態を時系列に撮像した複数枚の画像の
うちの1つであることを特徴とする異常監視方法。 - 【請求項5】 請求項1において、差分処理に使用する
画像が正常な状態の機器を撮像した画像とこれに対応し
て監視時に機器の状態を撮像した画像であることを特徴
とする異常監視方法。 - 【請求項6】 請求項2において、2値化処理における
2値化しきい値は、機器の状態を撮像した画像を複数の
領域に分割し、各領域毎の画像の平均濃度から求めるこ
とを特徴とする異常監視方法。 - 【請求項7】 機器の状態を時系列的に撮像する撮像手
段と、該撮像手段により撮像した複数枚の画像間の差分
処理を行う差分処理手段と、該差分処理により得られた
差分画像を2値化処理する2値化処理手段と、該2値化
処理にて得られる2値化画像から前記機器の異常の有無
を検出する異常判定手段とを備える異常監視装置におい
て、撮像画像からエッジ部を抽出してマスク画像とする
手段と、前記差分画像を該マスク画像でマスクして得ら
れた差分画像を前記2値化処理手段で2値化させる手段
とを備えることを特徴とする異常監視装置。 - 【請求項8】 監視対象機器の状態を時系列的に撮像す
る撮像手段と、監視対象機器を前記撮像手段で予め撮像
して得られた撮像画像の平均濃度と濃度差との関係を格
納した記憶手段と、前記撮像手段が時系列的に撮像した
前記監視対象機器の画像のエッジ部を抽出するエッジ抽
出手段と、前記撮像手段が時系列的に撮像した前記監視
対象機器の複数の画像の差分処理を行う手段と、該差分
処理で得られる差分画像から前記エッジ部を除去した残
りの画像を求めるマスク手段と、前記差分処理を行う撮
像画像の平均濃度と前記記憶手段に格納されている関係
から2値化しきい値を設定し該2値化しきい値により前
記マスク手段から出力される画像を2値化する2値化手
段と、該2値化手段による2値化画像から前記監視対象
機器の異常の有無を判定する異常判定手段とを備えるこ
とを特徴とする異常監視装置。 - 【請求項9】 監視対象機器を撮像手段で撮像し、該撮
像画像から前記監視対象機器の異常の有無を判定して判
定結果を出力する異常監視装置において、監視時に前記
撮像手段による前記監視対象機器の画像を画面に表示
し、該画像から求めたエッジ部の画像を画面に表示し、
前記撮像手段が時系列的に撮像した複数の画像の差分画
像を前記エッジ部でマスクした結果の画像を2値化処理
した2値化画像を画面に表示する表示手段を備えること
を特徴とする異常監視装置。 - 【請求項10】 請求項7乃至請求項9のいずれかにお
いて、前記撮像手段を搭載して移動するロボット手段を
備えることを特徴とする異常監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5210601A JPH0767101A (ja) | 1993-08-25 | 1993-08-25 | 異常監視方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5210601A JPH0767101A (ja) | 1993-08-25 | 1993-08-25 | 異常監視方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0767101A true JPH0767101A (ja) | 1995-03-10 |
Family
ID=16592033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5210601A Pending JPH0767101A (ja) | 1993-08-25 | 1993-08-25 | 異常監視方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0767101A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006254206A (ja) * | 2005-03-11 | 2006-09-21 | Secom Co Ltd | 画像信号処理装置 |
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2009133085A (ja) * | 2007-11-29 | 2009-06-18 | Central Japan Railway Co | トンネル覆工のひび割れ検査装置 |
US11188047B2 (en) | 2016-06-08 | 2021-11-30 | Exxonmobil Research And Engineering Company | Automatic visual and acoustic analytics for event detection |
-
1993
- 1993-08-25 JP JP5210601A patent/JPH0767101A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006254206A (ja) * | 2005-03-11 | 2006-09-21 | Secom Co Ltd | 画像信号処理装置 |
JP4491360B2 (ja) * | 2005-03-11 | 2010-06-30 | セコム株式会社 | 画像信号処理装置 |
JP2006261761A (ja) * | 2005-03-15 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP4611776B2 (ja) * | 2005-03-15 | 2011-01-12 | セコム株式会社 | 画像信号処理装置 |
JP2006262242A (ja) * | 2005-03-18 | 2006-09-28 | Secom Co Ltd | 画像信号処理装置 |
JP2009133085A (ja) * | 2007-11-29 | 2009-06-18 | Central Japan Railway Co | トンネル覆工のひび割れ検査装置 |
US11188047B2 (en) | 2016-06-08 | 2021-11-30 | Exxonmobil Research And Engineering Company | Automatic visual and acoustic analytics for event detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
CN112082781B (zh) | 车辆及其故障检测方法和故障检测装置 | |
JP5235718B2 (ja) | 映像監視システム | |
JPH0767101A (ja) | 異常監視方法及びその装置 | |
JPH05143737A (ja) | 動きベクトルによる識別方法及び装置 | |
JPH09293141A (ja) | 移動物体検出装置 | |
JP5710230B2 (ja) | 監視システムおよび監視方法 | |
JPH06331480A (ja) | 漏洩検出方法及び装置 | |
JPH06308256A (ja) | 雲霧検出方法 | |
JPH08171689A (ja) | 変化領域検出装置 | |
WO2018207528A1 (ja) | 構造物異常診断装置 | |
JPH06103967B2 (ja) | 架空線点検用画像処理装置 | |
JPH0514891A (ja) | 画像監視装置 | |
JPH07333171A (ja) | 漏洩検出方法及び装置 | |
JP4398563B2 (ja) | 発塵・発煙の自動検出方法 | |
JP3138381B2 (ja) | 監視装置 | |
JPH04311187A (ja) | 監視画像の変化領域抽出方法 | |
JPH07192186A (ja) | 画像による異常検出方法 | |
JPH0512591A (ja) | 監視装置 | |
JP3454979B2 (ja) | 異常状態検出方法および異常状態検出装置 | |
JP2021097336A (ja) | 監視用テレビモニタ装置の故障予兆検知システム | |
JPH1042274A (ja) | 異常監視方法および装置 | |
JP3402856B2 (ja) | プラント異常検出装置 | |
JP2002191045A (ja) | 異常状態検出方法および異常状態検出装置 | |
JPH04200084A (ja) | 画像監視装置 |