JP4984575B2

JP4984575B2 - 画像処理による侵入者検知装置

Info

Publication number: JP4984575B2
Application number: JP2006057640A
Authority: JP
Inventors: 伸行藤原; 誠庭川
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2006-03-03
Filing date: 2006-03-03
Publication date: 2012-07-25
Anticipated expiration: 2026-03-03
Also published as: JP2007233919A

Description

本発明は、施設や道路における立ち入り禁止箇所等への侵入者を検知する装置に関するもので、特に立ち入り禁止箇所を監視する監視カメラを設置して、その撮像した画像を処理することにより、画像中の立ち入り禁止箇所に侵入する人物等を検出する人物等を検出する侵入者検知装置に関する。

重要な施設や道路などにおいて、立ち入り禁止箇所（侵入禁止区域ともいう）に接近する者を監視するために撮像手段が使用される場合がある。撮像手段は立ち入り禁止箇所を俯瞰する位置に設置され、一般的には警備員などが常駐する監視室のモニタに映像が表示されて、人が目視にて侵入者等の監視を行っている。最近では画像処理技術の発達により、モニタの映像を画像解析することにより侵入者等の検知を行う技術が提案されている。

従来、画像処理を用いた侵入者検知装置には、あらかじめ侵入者等のいない画像を背景画像として取得しておき、入力画像と背景画像との差分をとって入力画像の輝度が背景画像の対応画素の輝度と異なるときにその箇所に侵入者ありとする背景差分方式がある。また、前回画像を一時保存しておき、入力画像と前回画像との差分をとり、入力画像の輝度が前回画像の対応画素の輝度と異なるときにその箇所に侵入者ありとする時間差分方式もある。

さらに、動きのある箇所から確実に侵入者のみを抽出する方法として、背景差分方式で動きのある箇所を検出したあとに、動きのある箇所の動きベクトルを計算して侵入者の動きのパターンとの照合をすることにより侵入者検知を行なう背景差分と動きベクトル解析とを用いる方法（例えば、非特許文献１参照）、また、少ない計算量で侵入者を検知する方法として、画像中に多数の測定点を均一分布させ、測定点ごとの相関演算を行い、相関値が低下した測定点の数と低下した相関値の平均値を評価することにより画像中の侵入者の有無を検知する画像中に分布させた測定点の相関演算を用いる方法（例えば、特許文献１参照）などもある。

また前述したものの他に、監視カメラ及び画像処理部により装置を構成し、施設や道路などの立ち入り禁止箇所に設置された監視カメラの映像を画像処理することにより立ち入り禁止箇所への侵入者を検知するものもある（特願２００２−１２３８２０号）。

具体的には、監視カメラを立ち入り禁止箇所を見渡せる位置に設置し、監視カメラで立ち入り禁止箇所とその周辺部を撮像し、撮像した画像を画像処理部へ伝送する。画像処理部は監視カメラの画像を入力し、この画像を適当な小領域に分割する。そして、一つ一つの小領域ごとに予め取得しておく背景画像と入力画像の対応する小領域についてそれぞれ相関計算を行い、時間的な変化がある小領域を変化小領域とし、時間的な変化がない小領域を背景候補小領域として検出する。

さらに、隣接する変化小領域を結合して変化検出領域を決定し、変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内であるときに、その変化検出領域に侵入者が存在すると判断することにより、侵入者を検知してその画像中における位置を特定する。

そして、侵入禁止区域とそうでない区域を分けるフェンスや境界線への侵入を検知するため、予め監視カメラ画像中に線分を設置しておき、侵入者等による変化検出領域が設定した線分と干渉したときにこれを検知するものである。

特開２００３−３３９０４３号公報特開２００２−１２３８２０号公報特開２００２−２４８０８号公報特開２００２−１５０２９４号公報羽下、藤原、鷲見、「背景差分と動きベクトル解析を用いた屋外侵入監視システム」、第８回画像センシングシンポジウム講演論文集、２００２年、ｐ.７−１２

上述した立ち入り禁止箇所とそうでない区域との境界線における侵入者検知には、以下のような問題が考えられる。
１．画像中において、侵入者等による変化点検出領域が立ち入り禁止箇所の境界線として設定した線分と干渉したときに侵入者等を検知するため、境界線付近を徘徊する不審者を検知することが困難である。
２．侵入者等による変化点検出領域が設定した線分と干渉したときに検知するため、侵入者が境界線を越えて立ち入り禁止箇所内に入った場合、侵入後の行動を監視することが困難である。
３．侵入者等の動き方向に関わらず、侵入者等による変化検出領域が設定した線分と干渉したときに検知するため、外部から侵入する行為であるのか、内部から出て行く行為であるのかの判断が難しい。
４．変化点検出領域が設定した線分と干渉したときに侵入者等の検知を行うため、例えばノイズ等により突発的に発生した小さな変化検知領域が設定した線分と干渉した場合に侵入者等として検知するなどの誤検出が発生する虞がある。

このようなことから本発明は、監視カメラの画像を用いて重要な施設や道路等の立ち入り禁止箇所への侵入者及び境界線付近を徘徊する不審者等を検知する侵入者検知装置を提供することを目的とする。

上記の課題を解決するための本発明の請求項１に係る画像処理による侵入者検知装置は、侵入禁止区域及びその周辺部を撮像する監視カメラと、前記監視カメラが撮像したカメラ画像を取得して前記カメラ画像の解析を行なう画像処理部とを備えた画像処理による侵入者検知装置において、前記画像処理部は、前記カメラ画像中の移動物体を動き塊として検出するとともに、前記カメラ画像中に侵入禁止区域と他区域とを隔す侵入禁止線を設定する侵入禁止線設定手段と、前記侵入禁止線を包囲する所定の領域である侵入禁止線検査範囲を設定し、前記侵入禁止線検査範囲内の前記侵入禁止区域側に存在する前記動き塊を侵入した移動物体として検知し、前記侵入禁止線検査範囲内の前記他区域側に存在する前記動き塊を接近した移動物体として検出する侵入禁止線検査手段と、前記カメラ画像から検出した前記動き塊の大きさ又は位置又はその両方の時間的な変化が予め設定した変化量より小さい場合にそれぞれの前記カメラ画像中の前記動き塊を同一であると判定して前記動き塊の位置の時間的な変化を検出する動き検出手段と、前記動き検出手段によって同一と判定された前記動き塊の位置の時間的な変化に基づいて同一の前記動き塊を追跡し、前記動き塊が前記接近した移動物体から前記侵入した移動物体へと変化する過程を検出し、前記動き塊が前記接近した移動物体から前記侵入した移動物体へ変化した際に前記動き塊が前記侵入禁止線を越えて前記侵入禁止区域に侵入したと判断する侵入者線越え検査手段と、前記侵入禁止区域に侵入した前記動き塊を侵入者として検知し、前記接近した移動物体を不審者として検知する侵入者検知手段とを備えたことを特徴とする。

本発明の請求項２に係る画像処理による侵入者検知装置は、請求項１記載の画像処理による侵入者検知装置において、前記画像処理部は、前記カメラ画像を多数の小領域に分割する小領域分割手段と、予め取得した背景画像と前記カメラ画像のそれぞれ対応する前記小領域の相関計算を行う相関計算手段と、前記相関計算による相関値の時間的な変化が所定の値より大きい前記小領域を変化小領域として検出する変化検出手段と、隣接する前記変化小領域を結合して変化検出領域をなす変化領域結合手段と、前記変化検出領域の幾何学的特徴量を算出する特徴量評価手段と、前記幾何学的特徴量が予め設定した特徴量範囲内である場合に前記変化検出領域を動き塊として検出する動き塊検出手段とを備えたことを特徴とする。

上述した本発明に係る画像処理による侵入者検知装置によれば、侵入禁止区域と侵入禁止ではない他区域との境界の近傍における侵入者等を検知するために、カメラ画像中に侵入禁止線および侵入禁止線検査範囲を設け、さらに、侵入禁止線検査範囲内において検出した動き塊が侵入禁止線に干渉しない場合は接近した動き塊、すなわち不審者として検出し、侵入禁止線に干渉した場合は侵入した動き塊、すなわち侵入者として検出する構成としたため、侵入禁止区域に侵入者を検知するとともに、侵入禁止区域の近傍を徘徊する不審者を検知することができる。

侵入者等が侵入禁止線近傍に存在することを判断するための侵入禁止線検査範囲を設け、さらに、その侵入禁止線検査範囲に入った動き塊が侵入禁止線を境に他区域に存在する場合は接近した動き塊とし、侵入禁止区域に存在する場合は侵入した動き塊として検出するため、侵入者の侵入禁止区域に侵入した後の行動についても監視することができる。

動き塊の検出によって検知した侵入者に対して、接近した動き塊として検知される侵入者に対しては注意を、侵入した動き塊として検知される侵入者に対しては警告を発する等、状況に応じた対応が可能となる。

動き塊として検知した侵入者の侵入禁止区域近傍の時間的な行動を追跡するため、外部から侵入した行為であるのか、内部から外部へ出た行為であるのかの判断ができる。

外部からの侵入行為であるのか、内部から出ていった行為であるかの判断ができるため、外部からの侵入があった場合のみ警告を発し、また、内部から出て行く行為に対しては警告を発しない等、状況に応じた対応を行うことができる。

侵入者の時間的な行動を追跡するため、ノイズ等で突発的に発生した変化検知領域が侵入禁止線に干渉することによる誤検出を防ぐことができ、より環境状況変化に頑健な侵入者検知装置を構成できる。

本発明の実施の形態は、以下に示す実施例により詳細を説明するものとする。

図１〜図４に基づいて本発明の第一の実施例を詳細に説明する。本実施例は、本発明の基本的な構成の一例を示すものである。本実施例に係る画像処理による侵入者検知装置は、施設や道路などの立ち入り禁止箇所に設置された監視カメラ１の映像を画像解析することにより、立ち入り禁止箇所へ侵入する侵入者等を検知するものであり、図１に示すように、監視カメラ１と画像処理部２により構成される。

画像処理部２は、画像入力手段２０１と、小領域分割手段２０２と、相関計算手段２０３と、変化検出手段２０４と、背景画像生成手段２０５と、変化領域結合手段２０６と、特徴量評価手段２０７と、動き塊検出手段２０８と、侵入禁止線設定手段２０９と、侵入禁止線検査手段２１０と、侵入者検知手段２１１とを備えている。

監視カメラ１は立ち入り禁止箇所を見渡せる位置に設置し、一定時間ごとに立ち入り禁止箇所とその周辺部を撮像する。画像入力手段２０１は、監視カメラ１が撮像した例えば図２（ａ）に示すようなカメラ画像３を一定時間ごとに入力する。小領域分割手段２０２は、例えば図２（ｂ）に破線で示すように、入力したカメラ画像３を適当な小領域３０に分割する。

相関計算手段２０３は、一つ一つの小領域３０ごとに予め取得しておく背景画像と、この背景画像に対応するカメラ画像３との相関計算を行う。なお、本実施例では一般的に用いられる相関計算を用いて背景画像とカメラ画像３との相関値を求めることができ、例えば移動物体４が存在する小領域３０ａの相関値は大きく、移動物体４が存在しない小領域３０ｂの相関値は小さく算出される。

変化検出手段２０４は、相関計算手段２０３によって算出された各々の小領域３０における時間的な変化を基に、相関値が大きく、変化が検出された小領域３０、すなわち図２（ｂ）において移動物体４が存在する小領域３０ａを変化小領域として検出する。

背景画像生成手段２０５は、相関値が小さく、変化検出手段２０４において変化小領域として検出されない小領域、すなわち図２（ｂ）において移動物体４が存在しないすべての小領域３０ｂを背景候補小領域として検出し、この背景候補小領域３０ｂを基に背景画像を生成する。この背景画像は、相関計算手段２０３において次に入力したカメラ画像３の相関計算を行う際に背景画像として用いられる。

変化領域結合手段２０６は、変化検出手段２０４によって検出された隣接する変化小領域３０ａを結合して、図２（ｃ）に示す変化検出領域３１を形成する。そして、特徴量評価手段２０７によって、変化検出領域３１の幾何学的特徴量を測定し、変化検出領域３１の幾何学的特徴量が予め設定した特徴量範囲内であるか否かの評価を行う。動き塊検出手段２０８は、変化検出領域３１の幾何学的特徴量が侵入者に対応する特徴量範囲内であるとき、その変化検出領域３１を動き塊として検出する。

侵入禁止線設定手段２０９は、立ち入り禁止箇所へ侵入した移動物体４を検知するため、カメラ画像３中の侵入禁止区域と侵入禁止でない他区域とを隔すフェンス又は境界線等（図示せず）の位置に、予め線分（以下、侵入禁止線という）５１を設定する。

さらに、侵入禁止線検査手段２１０は図３に示すように侵入禁止線５１を取り囲み、図中斜線を施した侵入禁止区域側としての侵入側５２と他区域側としての接近側５３を含む例えば矩形の検査範囲である侵入禁止線検査範囲５を設定する。そして、図４に示す、侵入側５２に存在する動き塊３１ａ，３１ｂを侵入した移動物体として検知し、侵入禁止線検査範囲５内の接近側５３に存在する動き塊３１ｃを接近した移動物体として検出する。なお、侵入禁止検査範囲５は、移動物体４が侵入禁止線５１の近傍に存在する場合であっても移動物体４を検出できるように、侵入側５２および接近側５３の両方を含む範囲に設定している。
侵入者検知手段２１１は、侵入した移動物体である動き塊３１ａ，３１ｂを侵入者として検知し、接近した移動物体である動き塊３１ｃを不審者として検知する。

以下、本実施例における作用効果を説明する。本実施例に係る画像処理による侵入者検知装置によれば、侵入禁止線５１に対して移動物体４が近傍に存在することを判断するための侵入禁止線検査範囲５を設け、さらに、その侵入禁止線検査範囲５に入った動き塊を侵入禁止線５１を境に侵入した動き塊３１ａ，３１ｂ又は接近した動き塊３１ｃとして検出するため、立ち入り禁止箇所の近傍を徘徊する不審者を検知することができる。

さらに、立ち入り禁止箇所に侵入した後の行動についても監視することができる。また、動き塊の検出によって検知した侵入者に対して、接近した移動物体４として検知される動き塊３１ｃに対しては注意を、侵入した移動物体４として検知される動き塊３１ａ，３１ｂに対しては警告を発生する等、状況に応じた対応が可能となる。

なお、上述した相関計算手段２０３には例えば特許文献２に示される「路上静止障害物検出方法」等の方法を用いることが可能であり、変化検出手段２０４には特許文献３に示される「静止障害物検出方式」等、背景画像生成手段２０５には特許文献４に示される「背景画像獲得方式」等を利用することができる。

図５に基づいて本発明の第二の実施例について詳細に説明する。本実施例は、実施例１において説明した図１に示す構成と比較して、移動物体が侵入禁止線を越えて立ち入り禁止箇所側へ干渉したか否かの検査を追加したものである。なお、本実施例には実施例１において説明した図２〜４が適用される。

本実施例に係る画像処理による侵入者検知装置は、施設や道路などの立ち入り禁止箇所に設置された監視カメラ１の映像を画像解析することにより立ち入り禁止箇所へ侵入する侵入者等（以下、移動物体という）を検知するものであり、図５に示すように、監視カメラ１と画像処理部２により構成される。

監視カメラ１は立ち入り禁止箇所を見渡せる位置に設置するものとし、一定時間ごとに立ち入り禁止箇所とその周辺部を撮像するものとする。

画像処理部２には、画像入力手段２０１と、小領域分割手段２０２と、相関計算手段２０３と、変化検出手段２０４と、背景画像生成手段２０５と、変化領域結合手段２０６と、特徴量評価手段２０７と、動き塊検出手段２０８と、侵入禁止線設定手段２０９と、侵入禁止線検査手段２１０と、動き検出手段２１２と、侵入者線越え検査手段２１３と、侵入者検知手段２１４とが設けられている。以下、図１に示し上述した構成と同一の構成については同一符号を用いるものとして説明は省略し、異なる構成を中心に説明する。

動き検出手段２１２は、動き塊検出手段によって検出した動き塊を、侵入禁止線検出手段２０９により侵入した移動物体又は接近した移動物体として検出した後、一定時間ごとに入力されるカメラ画像３について、現在の入力画像から検出した動き塊と、前の入力画像から検出した動き塊とを比較して、動き塊同士の大きさの変化、位置の変化が予め設定しておいた変化量より小さい場合は、同一の動き塊と判断して動き塊の時間的な移動を検出する動き検出処理を行う。

侵入者線越え検査手段２１３は、動き検出手段２１２により同一の動き塊を追跡し、その動き塊が侵入禁止線検査範囲の接近側５３に存在する接近した移動物体である動き塊３１ｃから、侵入側５２に存在する侵入した移動物体である動き塊３１ａへと移動する過程を検出し、動き塊が侵入した移動物体へ変化した際に侵入禁止線５１を越えて侵入したと判断する侵入禁止線越え処理を行い、侵入者検知手段２１４によって動き塊３１ａ，３１ｂを侵入者として検出する。

本実施例の効果としては、実施例１に示した装置の効果に加え、動き塊として検知した移動物体４の立ち入り禁止区間近傍の時間的な行動を追跡しているため、外部からの侵入行為であるのか、内部から出ていった行為であるかの判断ができる。またこの機能により、移動物体４が外部から内部へ侵入した場合のみ警告を発し、内部から外部へ出て行く行為に対しては警告を発しない等、状況に応じた対応を行うことができる。また、移動物体４の時間的な行動を追跡しているため、ノイズ等で突発的に発生した変化検出領域３１が侵入禁止線５１と干渉することによる誤検出を防ぐことができ、より環境状況変化に頑健な侵入者検知装置を構成できる。

本発明は、施設や道路における立ち入り禁止箇所等への侵入者を検知する装置に適用可能であり、特に立ち入り禁止箇所を監視する監視カメラを設置して、その撮像した画像を処理することにより、画像中の立ち入り禁止箇所に侵入する人物等及び立ち入り禁止箇所近傍を徘徊する人物等を検出する侵入者検知装置に適用して好適なものである。

本発明の実施例１における画像処理による侵入者検知装置の構成を示すブロック図である。本発明の実施例１及び実施例２におけるカメラ画像の例を示す模式図である。本発明の実施例１及び実施例２における侵入禁止線検査範囲の例を示す模式図である。本発明の実施例１及び実施例２における侵入禁止線検査範囲内で検出される動き塊の例を示す模式図である。本発明の実施例２における画像処理による侵入者検知装置の構成を示すブロック図である。

符号の説明

１監視カメラ
２画像処理部
３カメラ画像
４移動物体
５侵入禁止線検査範囲
３０小領域
３０ａ変化小領域
３０ｂ背景候補小領域
３１変化検出領域
５１侵入禁止線
５２侵入側（侵入禁止区域側）
５３接近側（他区域側）
２０１画像入力手段
２０２小領域分割手段
２０３相関計算手段
２０４変化検出手段
２０５背景画像生成手段
２０６変化領域結合手段
２０７特徴量評価手段
２０８動き塊検出手段
２０９侵入禁止線設定手段
２１０侵入禁止線検査手段
２１１，２１４侵入者検知手段
２１２動き検出手段
２１３侵入者線越え検査手段

Claims

侵入禁止区域及びその周辺部を撮像する監視カメラと、前記監視カメラが撮像したカメラ画像を取得して前記カメラ画像の解析を行なう画像処理部とを備えた画像処理による侵入者検知装置において、前記画像処理部は、前記カメラ画像中の移動物体を動き塊として検出するとともに、
前記カメラ画像中に侵入禁止区域と他区域とを隔す侵入禁止線を設定する侵入禁止線設定手段と、
前記侵入禁止線を包囲する所定の領域である侵入禁止線検査範囲を設定し、前記侵入禁止線検査範囲内の前記侵入禁止区域側に存在する前記動き塊を侵入した移動物体として検知し、前記侵入禁止線検査範囲内の前記他区域側に存在する前記動き塊を接近した移動物体として検出する侵入禁止線検査手段と、
前記カメラ画像から検出した前記動き塊の大きさ又は位置又はその両方の時間的な変化が予め設定した変化量より小さい場合にそれぞれの前記カメラ画像中の前記動き塊を同一であると判定して前記動き塊の位置の時間的な変化を検出する動き検出手段と、
前記動き検出手段によって同一と判定された前記動き塊の位置の時間的な変化に基づいて同一の前記動き塊を追跡し、前記動き塊が前記接近した移動物体から前記侵入した移動物体へと変化する過程を検出し、前記動き塊が前記接近した移動物体から前記侵入した移動物体へ変化した際に前記動き塊が前記侵入禁止線を越えて前記侵入禁止区域に侵入したと判断する侵入者線越え検査手段と、
前記侵入禁止区域に侵入した前記動き塊を侵入者として検知し、前記接近した移動物体を不審者として検知する侵入者検知手段と
を備えたことを特徴とする画像処理による侵入者検知装置。
前記画像処理部は、前記カメラ画像を多数の小領域に分割する小領域分割手段と、
予め取得した背景画像と前記カメラ画像のそれぞれ対応する前記小領域の相関計算を行う相関計算手段と、
前記相関計算による相関値の時間的な変化が所定の値より大きい前記小領域を変化小領域として検出する変化検出手段と、
隣接する前記変化小領域を結合して変化検出領域をなす変化領域結合手段と、前記変化検出領域の幾何学的特徴量を算出する特徴量評価手段と、
前記幾何学的特徴量が予め設定した特徴量範囲内である場合に前記変化検出領域を動き塊として検出する動き塊検出手段と
を備えたことを特徴とする請求項１記載の画像処理による侵入者検知装置。